适用人群
本项目针对感兴趣深度学习、计算机视觉、主动学习领域的学员，可以帮助学员提升项目背景，为未来相关领域求学、职业发展提升竞争力。
你将收获
深入理解并实现经典文本分类方法
深入理解深度学习和自然语言处理的核心理论知识
项目对于留学申请会有相关背景的大幅度提升
你将学习的技能
transformer和attention机制回顾与进阶
基于BERT的文本语义理解和信息抽取
基于GPT的生成式对话任务
pytorch框架文本分类实践
课题介绍
随着ChatGPT这一现象级产品的问世，大语言模型开始风靡全球。大语言模型（LLM）是一种深度学习算法，可以通过大规模数据集训练来学习识别、总结、预测和生成文本及其他内容，可帮助人类生成解决全球棘手问题的方案。目前，大语言模型已在工业界得到广泛应用，例如帮助人们从海量文本中提取有效信息、帮助重构搜索引擎、指导聊天机器人等等。因此，学习并了解大语言模型对于在AI行业工作的小伙伴们至关重要。
课程大纲
项目要求学生了解基本的深度学习概念（至少学过一门机器学习入门课程），有较为熟练的Python编程基础，并且有基本的数学基础（微积分、线性代数以及概率统计）。总时长为8周12课时，每周约3小时的课后练习。最后完成一个结题项目
1
阅读经典论文“Attention Is All You Need
考察：代码练习
授课1小时; 学习3小时
2
用代码实现attention机制，经典面试
考察：代码练习
授课1小时; 学习3小时
3
结合经典论文回顾BERT，以及BERT微调的几种方案，了解BERT的应用场景
考察：代码练习
授课1小时; 学习3小时
4
结合经典论文回顾GPT原理，讲解BERT和GPT的区别
考察：代码练习
授课1小时; 学习3小时
5
介绍工业界比较流行的几个BERT衍生模型，以及讲解如何选取合适的模型做不同的任务
考察：代码练习
授课2小时; 学习2小时
6
介绍工业界比较流行的几个BERT衍生模型，以及讲解如何选取合适的模型做不同的任务
考察：代码练习
授课2小时; 学习2小时
7
介绍工业界比较流行的几个BERT衍生模型，以及讲解如何选取合适的模型做不同的任务
考察：代码练习
授课2小时; 学习2小时
8
介绍工业界流行的GPT衍生模型
考察：代码练习
授课2小时; 学习2小时
课程导师
Mavis
经历
互联网大厂AI研究院-AI算法研究员、NLP算法工程师毕业前拿到纽约多家数据公司数据科学岗位曾面试过50+国内外公司，拥有丰富的AI岗面试经验回国加入国内初创公司，拥有团队管理经验拥有从0到1开发相关算法的经历，并推动算法落地论文曾被教育学数据挖掘顶级会议录用
教育
罗格斯大学统计学学士纽约福特汉姆大学数据科学硕士
