大模型落地的故事，与千行百业越来越密切。当下，大模型已向大众展现了其惊人的生成能力，与此同时，我们不可否认LLM依然面临着一些有待解决的问题，比如，偶尔会生成与用户输入不符的内容、与之前生成的内容相矛盾，或者与已有的认知共识不一致的内容，这也就是大模型的生成”幻觉“(Hallucination)问题，也是目前大模型行应用需要突破的新方向。
近日，我们邀请《老刘说NLP技术》公众号作者、NLP开源爱好者老刘，在由文心大模型、百度飞桨、BV百度风投联合主办的AGI Foundathon·大模型创业松活动，线上AGI创业营第三期，围绕 “大模型落地行业问答的现实挑战及潜在的缓解策略”主题展开讨论，详细地分享了大模型用于行业问答的实现和挑战，大模型幻觉的概念、来源和评估，大模型幻觉如何缓解，最后对大模型的幻觉行业认识进行了总结。
精彩内容提示
06:40 老刘介绍
大模型用于行业问答的实现和挑战
09:50知识外挂是解决垂直行业领域问答较好途径之一。从方法论上，可以分成领域微调[增量预训以及领域微调]与上下文注入[外挂知识库]两类方法。
12:15 与大模型结合通过语料库准备、问题输入、向量搜索、计算向量相似度、Prompt优化、结果返回实现文档问答。
16:00 Langchain实现文档问答的流程:加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。
22:10 针对大模型文档问答的现实问题的优化方式有：
  • 找到更好的向量化方法提升相关性
  • 结合传统搜索做多路召回提升相关性
  • 引入关键词信息提升相关性
  • 搭建意图识别、知识库细化等组件提升相关性
大模型幻觉的概念、来源和评估
29:25 什么是大模型幻觉？
30:42 大模型幻觉来源于大模型缺乏相关知识或内化错误知识、大模型有时会高估自己的能力、有问题的对齐过程和LLM采用的生成策略。
33:27 大模型幻觉的评估方式：生成事实陈述评估和判别式基准评估。
大模型幻觉如何缓解
38:25 构造高质量预训数据缓解大模型幻觉。
41:31 通过优化解码策略缓解大模型幻觉，例如：上下文感知解码（CAD）策、KNN+LLM策略、RALM、Dola、找到对比层。
45:18 外挂知识库增强，缓解幻觉。
46:11 引入知识图谱结构化知识库，缓解幻觉。
48:21 量化结果置信度，缓解幻觉。
总结
51:43 行业文档问答落地需要关注的点：
  • 一个好的文档标准化解析组件
  • 一个好的文本切分方法
  • 一个好的向量化表示组件
  • 一个高效的向量化搜索与组件
  • 一个好的Prompt
  • 一个效果好大生成模型
53:17 大模型落地行业问答的形态主要是文档智能+kg+LLM三驾马车。
54:36 文档智能的重要性可能被低估。
AGI Foundathon 大模型创业松
当想象力被释放，我们在期待应用层的创造，寻找AI-Native创业者，探索AGI时代新可能！
大模型时代，应用层的机会属于每一个有野心、有想象力的人，我们希望与所有 AI-Native 创业者在这里聚集与相互启发，我们集结顶级投资人和技术大咖，与你一起完成从“idea”到“demo”再到公开产品的跨越，助力你探索早期增长和市场需求，迈出AI创业的第一步！
AGI Foundathon自9月11日上线后，已经吸引了1577多名优秀的大模型开发者、富有产品sense的创业者加入社群，超过350+支队伍报名参赛！我们期待更多还在观望的朋友们报名参赛，让我们一起用行动拥抱大模型时代的到来～
如果你也对生成式AI感兴趣，欢迎在留言区发表你的观点，我们将为点赞第一名的朋友送去BV百度风投周边小礼物。
如果你是AI创业者，欢迎投递你的想法至[email protected]
相关阅读：
扫描二维码进入【百度文心一言】官方交流群
关注【百度文心一言】公众号
获取更多技术内容~
继续阅读
阅读原文