大模型只靠 RAG 技术能实现知识学习模式的革新吗?
专题解读事件:近期,在《纽约时报》和 OpenAI 关于版权问题的争论中,学者吴恩达发文表示「重复的文章可能是通过类似于 RAG(检索增强生成)的机制产生的,而非仅仅依赖模型训练的权重。」 与此同时,同济大学等机构发表综述论文《Retrieval-Augmented Generation for Large Language Models: A Survey》。
RAG 全称为 Retrieval Augmented Generation,即检索增强生成。为大型语言模型(LLM)提供了从某些数据源检索到的信息,以此作为生成答案的基础。简单来说,RAG 技术为大型语言模型(LLM)提供从某些数据源检索到的信息,以此作为生成答案的基础。
RAG 技术作为 AI 大模型时代下的热门技术,能够真正解决大语言模型的幻觉、知识更新等问题吗?
RAG 技术是为了解决 LLM 的哪些问题?
1、模型的幻觉问题:
模型幻觉指模型输出的「事实性」内容中包含虚假、误导性信息。RAG 能通过给定 Reference,并限制 LLM 尽量在 Reference 的知识范围内进行指令执行,强化/引导模型正确输出的偏好或纠正模型错误或过时的认知。
2、与真实世界实时交互问题:
RAG 可以帮助模型对自身知识进行动态更新,同时,帮助模型在执行指令时,实时补全空白知识。LLM 的训练语料在时间(非实时)、空间(分布有限)上是受限的,LLM 在训练完成后自身的认知会局限、固化在训练语料的时空内。RAG 可以帮助 LLM 突破原有的时空限制,在更广泛的场景下得到应用。
3、数据问题:
私有数据安全问题,RAG 技术可以将私有数据作为一个外部数据库,让 LLM 在回答私有数据问题时候,直接从
外部数据检索相关信息,在结合检索出来的内容进行回答。这样不参与训练,就不会在 LLM 的模型参数中,记住私有知识。
4、可解释性问题:
通过 RAG 可以解决可解释性、信息溯源、信息验证证等问题,一旦检索的内容和生成的内容建立的关系,可以知道 LLM 模型根据哪些信息得出的回答。
RAG 和提示工程、微调(FT)等其他优化技术相比,有何异同?
1、RAG 就像是给模型一本教科书,用于定制信息检索,非常适合特定的查询;而微调(FT)就像是学生随着时间内化知识,更适合复制特定的结构、风格或格式。
2、微调可以通过加强基础模型知识、调整输出和教授复杂指令来提高模型性能和效率。但不适合整合新知识或快速迭代新用例。
3、这两种方法,RAG 和 FT,并不是相互排斥的,它们可以互补,从不同层面增强模型的能力。在某些情况下,它们的联合使用可能会产生最佳性能。涉及 RAG 和 FT 的优化过程可能需要多次迭代才能达到令人满意的结果。
表:RAG(检索增强生成)与微调的特点对比[14]
RAG 架构有哪些局限性或限制?[12]
1、RAG 技术通过检索系统引入外部信息,在外部知识源与 LLM 知识冲突时,会发生难以判断优先级的情况。检索系统本身难以处理事实性错误的误召回问题,如何通过完善相关信息提高 LLM 的分辨能力、妥善处理 Reference 之间发生冲突的生成方案,是 RAG 的局限性之一。
2、近期,self-rag、ReAct、agent 等模式相关工作出现,是否调用、何时调用、怎么调用 agent 的权限被逐渐下放到 LLM ...
RAG 有哪几种几种范式?RAG 技术在 LLM 中如何应用?RAG 效果好不好,如何评估?有哪些关键指标?RAG 架构未来有哪些挑战?... 查看完整解读请前往「机器之心PRO」业内通讯 · 2024年度#Week 02
「机器之心PRO」业内通讯 · 2024年度#Week 02
1. 模仿学习:OpenAI 放弃的路线是否已进入新篇章?
炒虾机器人的核心价值是什么?模仿学习对具身智能的价值又是什么?OpenAI 此前在模仿学习方向有多领先?模仿学习近期都有哪些发展?...
2. 大模型只靠 RAG 技术能实现知识学习模式的革新吗?
RAG 能解决 LLM 哪些问题?RAG 和 PE、FT 等优化技术有何异同?RAG 架构本身有哪些局限性?...
3. 从谷歌 Deepmind 具身智能新成果,看通往 AGI 的技术路径
做具身智能,有哪些技术路径?谷歌 Deepmind 走的是哪条路径,有哪些优劣势?谷歌 Deepmind 具身智能新成果有哪些技术细节值得关注?...
↓↓↓ 关注「机器之心 PRO 会员」服务号,点击菜单栏「收件箱」查看往期通讯。
阅读原文 最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。