大模型综述11月最新升级
社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
论文链接:https://arxiv.org/abs/2303.18223 GitHub项目链接:https://github.com/RUCAIBox/LLMSurvey 中文翻译版本链接:https://github.com/RUCAIBox/LLMSurvey/blob/main/assets/LLM_Survey_Chinese.pdf
1. 总览
在Overview章节,我们新增了关于scaling law的深入讨论,主要是围绕predictable scaling和task-level predictability展开了相关介绍,并且介绍了scaling law与涌现能力间的一些讨论。同时,我们更新了GPT系列发展路径配图,加入了关于GPT-4v以及GPT-4 Turbo的文字介绍。
2. 大语言模型相关资源
3. 大语言模型预训练技术
4. 大语言模型适配技术
5. 大语言模型使用技术
6. 大语言模型应用
7. 综述定位
周昆(添加LLM for Classic NLP Task,新增图18) 李军毅(添加了自动提示优化方法的介绍) 唐天一(更新GPT发展路径图,更新解码策略章节,更新指令微调章节,添加量化实验) 王晓磊(添加 LLM-based Agent 章节,修改思维链提示章节) 侯宇蓬(添加数据调度的介绍,添加数据准备的总结,新增图8) 闵映乾(添加第三章少数模型、数据及相关介绍,更新表1,3,4、图2) 杨晨(更新表1,3,4、图2) 张北辰(添加LLM for Evaluation章节) 张君杰(添加LLM for Recommendation章节) 陈昱硕(更新解码策略章节,添加量化实验) 陈志朋(添加Process-Supervisied RLHF内容) 蒋锦昊(添加KGs for LLMs章节) 任瑞阳(添加LLM for IR章节) 汤昕宇(更新6.3节的结构和内容,新增图14,improved cot strategies章节) 刘沛羽(添加量化实验和分析) 董梓灿(添加4.2.4的long context章节) 都一凡(添加Multimodal large language model章节中的训练部分) 李依凡(添加Multimodal large language model章节中的评测部分) 刘子康(添加Multimodal large language model章节中的提升模型部分)
附件:更新日志
版本 | 时间 | 主要更新内容 |
第一章:添加了图1,在arXiv上发布的大语言论文趋势图; 第二章:添加图3以展示GPT的演变及相应的讨论; 第三章:添加图4以展示LLaMA家族及相应的讨论; 第五章:在5.1.1节中添加有关指令调整合成数据方式的最新讨论,在5.1.4节中添加有关指令调整的经验分析,在5.3节中添加有关参数高效适配的讨论,在5.4节中添加有关空间高效适配的讨论; 第六章:在6.1.3节中添加有关ICL的底层机制的最新讨论,在6.3节中添加有关复杂任务解决规划的讨论; 第七章:在7.2节中添加用于评估LLM高级能力的代表性数据集的表格10,在7.3.2节中添加大语言模型综合能力评测; 第八章:添加提示设计; 第九章:添加关于大语言模型在金融和科学研究领域应用的讨论。 | ||
第三章:表格1新增模型,图2新增模型; 第四章:在4.2.1节中新增对新型架构的讨论,在4.2.2节中新增对几种注意力机制的介绍,新增4.2.4 节解码策略的介绍; 第五章:在5.1.2节中新增指令微调的实用技巧,在5.1.4节和表格 8中新增LLaMA-13B的指令微调实验分析,在5.2.3节中新增RLHF的实用策略,新增 5.2.4节不使用RLHF的对齐方法介绍,新增 5.2.5节关于SFT和RLHF的讨论; 第六章:新增表格 9 总结了提示的代表性工作,在 6.3节中更新了规划部分对记忆的介绍; 第七章:新增7.3.2节对评测方法的讨论,新增表格11对已有评测工作进行了总结,更新了7.4节经验能力评测及表格12的评测结果。 | ||
V13 | 2023年11月23日 | 第一章:新增图1,展示四代语言模型的进化过程; 第二章:新增对扩展法则的讨论,以及涌现能力与扩展法则的关系;新增了GPT-4v以及GPT-4 Turbo的介绍; 第三章:在图2和表格中新增最新的大语言模型,在3.1节中新增最新API的介绍,3.2节中新增常用于指令微调和对齐微调的数据集介绍,3.3节中新增若干库的介绍; 第四章:在4.1节中新增关于数据调度的讨论,包括数据混合和数据课程,新增4.2节中对数据准备的总结,4.3节中关于长上下文建模的讨论,4.4节中关于解码效率问题和最新解码策略的讨论; 第五章:新增5.1节中关于实例构建和调优策略的最新讨论,5.2节中关于过程监督的RLHF的最新讨论,以及在5.3节中对量化的LLaMA模型(7B和13B)的实证研究; 第六章:新增6.1节中关于提示优化的最新讨论,并更新6.3节中关于思维链提示的内容;第七章:新增7.1节中关于语言大模型在不同研究方向应用的最新讨论; 第八章:修订了几个方面的内容。 |
扫描二维码添加小助手微信
关于我们
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。