unsetunset一、课程收获unsetunset

1. 理解Transformer模型的核心概念和原理
2. 掌握子词分词器和BBPE算法的实现方式
3. 构建和训练自己的Transformer模型
4. 熟悉常见的生成策略，如束搜索和Top-K、Top-P采样
5. 实践分布式数据并行训练和KV Cache技术
6. 探索Transformer的变种和改进方法，提升模型效果

unsetunset二、课程亮点unsetunset

深入浅出Transformer模型、从理论到实战

• 独立实现子词分词器和BBPE算法
• 深入解析实现自注意力机制和多头注意力机制的源码
• 构建自己的Transformer模型，包括层归一化和前馈网络
• 实战演练分布式数据并行训练和KV Cache技术
• Transformer的变种与改进方法

unsetunset三、课程大纲（9节课）unsetunset

第一节课：Transformer入门与子词分词器实现（4月25号）

• 了解Transformer模型的基本概念和原理
• 学习语言模型、神经网络语言模型和RNN的基础知识
• 实现子词分词器，包括BBPE算法和SentencePiece的应用

第二节课：多头注意力与位置编码

• 深入理解多头注意力机制的原理与作用
• 探究位置编码在Transformer中的重要性
• 实现自注意力机制和多头注意力机制的源码

第三节课：构建Transformer模型

• 理解层归一化和残差连接的作用
• 实现Transformer中的前馈网络
• 构建编码器和解码器，并将其拼装在一起

第四节课：Transformer模型的训练

• 学习标签平滑的作用与实现方法
• 探索学习率与优化器的选择
• 训练分词器和定义数据加载器
• 定义训练函数和贪心搜索策略

第五节课：分布式数据并行训练实战

• 理解和实践分布式数据并行训练的核心思想
• 使用Pytorch实现分布式数据并行训练

第六节课：KV Cache技术与阶段总结

• 研究KV Cache的原理和实现方式
• 分析KV Cache对模型效果的影响
• 对模型时间复杂度进行分析
• 探讨Mask在Transformer中的作用

第七节课：常见生成策略

• 比较贪心搜索和束搜索的优缺点
• 学习Top-K和Top-P采样策略
• 掌握温度对生成结果的影响

第八节课：Transformer的变种与改进

• 改进位置编码的方法，如可学习的位置编码和旋转位置编码
• 比较不同位置归一化策略的优劣，如pre-LN和post-LN
• 探索稀疏注意力和分组查询注意力的应用
• 研究不同的前馈网络结构和激活函数的效果

第九节课：Transformer变种实现与总结

• 实现旋转位置编码
• 实现稀疏注意力和分组查询注意力
• 不同激活函数的实现
• 课程总结

unsetunset六、讲师介绍unsetunset

Greyfoss导师

• 深圳大学毕业，曾任一线互联网大厂算法工程师，目前就职于港资制造业大厂。
• 主导工作： 公司内多个NLP项目的开发与研究，比如智能客服机器人。现致力于结合大模型推理能力实现更好的智能客服。
• CSDN百万访问量博主。
• 研究方向：Transformer、智能客服、大模型。

七、课程形式及时长

• 9节直播课，每节1小时左右

八、课程价格

九、课程服务

1. 配套课程资料：课程PPT
2. Transformer交流群（购买前：拼团交流）
3. 正式课程答疑群（购买后：直播答疑）

十一、Q&A

• Q1：有问题如何询问老师？
• A：本系列课程为直播课，可以在直播间弹幕发送提问，老师看见会一一解答。
• Q2：课程有效期及服务有效期是多久？
• A：课程有效期为1年，服务有效期至系列课程直播结束。
• Q3：我们的课程学员得到最大的价值是什么？
• A：1.学习完本课程能够独立实现子词分词器和BBPE算法

  2.掌握多头注意力的原理与实现

  3.构建自己的Transformer模型，包括层归一化和前馈网络

  4.实战演练分布式数据并行训练和KV Cache技术

  5.掌握Transformer的变种与改进方法

研梦非凡两种科研论文指导方案

选题阶段定制1v1指导

1. 自己无idea： 导师根据学员实际情况与需求，引导发现论文idea或给出论文idea
2. 自己有idea： 导师针对已有研究成果进行梳理和分析指导，让学员了解研究领域的发展状况、研究方法和趋势，确定论文idea的研究方法和目标。
3. 本阶段结束之后，导师结合己有研究成果的情况和论文idea，对学员后续的研究方法做出初步的规划和判断，给出建议。

实验阶段定制1v1指导

1. 根据你具体的实验需求或者想要达到的论文结果，进行实验设计，明确研究问题、实验目标和要用什么方法/模型
2. 数据集用自己的or用老师的or用开源的。老师会根据论文区位、实现结果和idea综合给选择建议
3. 代码coding，实验代码实现，模型训练老师都会引导、指点
4. 针对于实验的搭建模型，调参，以上的问题老师都会给你帮助

成稿（让写作professional）阶段定制1v1指导

1. 没有目标期刊会议： 如果你需要老师会根据你的论文整体情况，进行期刊会议筛选与投稿建议指导
2. 已有目标期刊会议： 根据你要发的期刊或者会议针对型的给出论文写作框架与写作格式要求
3. 然后告诉你，论文参考文献筛选与列举该怎么写，根据不同期刊会议要求把控细节
4. 老师会对你的论文文字部分进行逐字的审阅，并修改与调整措辞
5. 论文中所必要的表格与图片制作，你画的图，老师都会看，并给出修改意见的

unsetunset1对1全程论文指导unsetunset

• 非常适合科研小白：有科研需求，想融会贯通地使用算法模型，了解前沿进展和方向；
• 非常适合转专业和研究领域做敲门砖用：从事人工智能领域工作，想系统提升算法理论，高效掌握算法设计及创新思路，快速了解论文撰写技能；

课程收获

• 你的目标区位/期刊/会议的科研论文

科研进度保障

• 主讲导师：顶会审稿人，负责经典论文+前沿论文讲解+idea给予/方向建议+写作方法+投稿建议
• 私人群：每个同学都有与主讲导师私人讨论的小群（idea探讨以及课程内容答疑）；
• 全程线上语音meeting+开麦沟通。

指导周期

• 根据需要发表论文的区位不同，指导总周期在3到18个月不等。
• 核心指导期是正常的上课指导周期，维护期是学员已经写出论文投出去后，可能会收到审稿意见要求修改或者退稿的情况。
• 在核心指导期，一般是每周1次1对1会议指导课，每次在45分钟左右。

研梦非凡部分导师介绍