作者
｜
油醋
邮箱
｜
[email protected]
以ChatGPT和Claude为代表的面向普通用户的生成式AI都面临一个类似的问题：它足够智能，但仍然不好用。
这个问题直白，却是一个相当终极的问题。大模型在一次次整体性的预训练中瞬间被灌入新的知识，但每两次预训练之间，限于训练成本等因素，总有一段不短的时间间隔。在这段时间里，新知识就变旧了。
于是虽然这些出色的大语言模型有极强的知识结构化能力，但对于更即时性的问题，以及大量的长尾知识，它们仍然一筹莫展。
持续进行预训练是大模型未来的一个进化方向，一个更大参数量级的模型在想象中可以更有效率的触及到长尾知识。但这两者似乎天然存在着成本与规模之间的矛盾。
不考虑成本，硅谷的工程师们已经在讨论怎么把1000万颗GPU联在一块做模型架构了。但这在目前仍然不是一条现实道路。
当下GPT-4的训练规模是2万颗，而要凑足1000万颗GPU，英伟达需要心无旁骛的苦干10年。
王小川在6月中旬Baichuan-7B发布的隔日去了美国，得知了“1000万颗GPU相连“的畅想，可能也更明确了百川智能在国内的前景。
大模型中的长尾知识与即时性，现阶段反而是看起来已经陈旧的传统搜索的机会。
重新出山的王小川一直在努力定义自己做大模型的正当性。他频繁强调自己和百川的搜索基因，并且在不同场合多次提到同一个故事：
“很多人说我特别适合做大模型，（但）我做了20年搜索，从来没一个人说过我特别适合做搜索。”
在王小川看来，搜索裹挟在移动互联网的大背景下，一刻慢处处慢，何况是和百度之间4年的差距。但来到大模型的战场，突然间过往皆为序章。搜索与大语言模型在技术有不少重叠处，但相比搜索，大模型更吸引人，也处处是新的。
从7月发布Baichuan-13B-Chat，短短一个月时间Baichuan-13B-Chat在Hugging Face上已经有了超过百万的下载量。而从4月公司名字官宣，到两款开源大模型的发布，四个月内百川智能已经在一些场合与智谱AI、MiniMax这些在大模型领域积累了超过两年的公司同样受人瞩目。
“现在103人了”，王小川透露，“差不多一天招一个人的速度。”
这是百川智能现在的规模。
在百川智能目前超过百人的团队里，有超过30%的人来自搜狗，这个王小川的旧事业。这个团队中最新加入的是洪涛，这位原来搜狗的首席营销官在未来将会负责百川智能的商业化业务。他在自己的朋友圈公布了这个消息，也预示百川智能的商业化即将开始。
百川智能在8月8日发布的第三个大模型似乎也在印证这一点。在7B和13B两个开源大模型后，百川智能发布Baichuan-53B，后者在参数量上相比之前大了数倍，并且这次的Baichuan-53B是一个闭源大模型。
在技术迭代上，Baichuan-53B开始“回归”搜索。
这里的“搜索”或许用“检索增强”来定义更加准确，简单来说就是给大模型外接一个通往互联网世界的路径，在接收到超出预训练范围内的提问时，模型会接入搜索引擎或知识库来进行具体的搜索，寻找答案。
2023年年初Google在AI顶级会议ICML2023发表的论文《Large Language Models Struggle to Learn Long-Tail Knowledge》曾对检索增强大语言模型有过系统的论述。
研究证明了大语言模型回答问题的能力与预训练期间看到的与该问题相关的文档数量之间有很强的依赖性。当模型变大或者见到相关问题越多的情况下，模型回答问题的能力越强。但当一个问题如果只在预训练阶段出现过10次以内，大语言模型回答正确的概率趋近于零——这点无论在Bloom或者GPT-3身上表现都相似。
但改进方法中，增加收集数据的规模或丰富程度对结果的影响微弱，而如果要扩大模型参数，Google团队的预测是一个千万亿参数级别的Bloom模型才能达到人类大脑对于长尾问题的准确率。相对来说，增加一个辅助检索模块是更有前景的方式。
最新鲜的例子就是ChatGPT Plugins。但由于OpenAI本身跟微软是两个独立的实体，搜索对于OpenAI来说“相当于一个黑盒”。
王小川表示相比其他大模型的检索增强，“（Baichuan-53B中）搜索跟模型的结合从非常底层的地方就开始去融合了 ”。他给百川智能的检索增强下了一个“搜索增强”的定义。
图源：百川智能
Baichuan-53B中的搜索增强系统融合了包括指令意图理解、智能搜索和结果增强等关键组件的多个模块。
在指令意图理解阶段， 首先指令任务被细化为16个独立类别，分别以Prompt增强技术——即通过构造特定的输入提示来引导模型生成期望的输出——进行了个性化的设计和优化；而对于超参数的设定对模型在训练和生成过程中的性能影响，动态超参数调整技术，baichuan-53B采用了动态超参数调整技术来根据任务类型的特性自动调整和优化超参数。
在搜索结果环节，Baichuan-53B中包含一个搜索结果相关性模型，该模型会对从搜索内容和知识库中获取的信息进行相关性评分。 该相关性模型也可以作为奖励模型，用于在强化学习训练阶段进一步优化意图理解模型，提高其对人类指令的对齐度，并更高效地调用搜索引擎；RLHF技术也将用于搜索结果的训练和优化，使得回答结果更准确并且人性化。
但在核心的“如何辨别这个问题是否需要调用搜索引擎或知识库”的决策上，百川智能称其“采用了一种灵活的策略”来生成精确响应，并未透露太多技术细节。对于接入的是哪一家搜索引擎，王小川表示目前还不便公开。
王小川表示，模型尺寸变大导致部署成本增加，是Baichuan-53B决定转向闭源的原因。但这个闭源的时间点仍然显得敏感。
此前Baichuan-7B以及Baichuan-13B曾经被质疑有C-eval测试集泄漏的问题，而有开发者表示Baichuan系列大模型的架构与Llama极度相似。等到开源的Llama 2在7月下旬推出，时间点在Baichuan-13B之后。相比LLaMA，花了四个月迭代出的LLaMA 2在预训练模型架构上几乎没有变化。
LLaMA在模型架构本身的优化上看起来开始停滞，这是否是形态可能也十分接近LLaMA的Baichuan-53B不再需要开源的原因？
对于这个问题，王小川表示LLaMA2比LLaMA1所新增的9个技术创新点基本都在Transformer框架层面，其中有6个在在百川自己研发的模型里已经做到了。“剩下两个没想到，有一个试完觉得不太行”。
而对于模型架构靠近LLaMA，王小川表示是出于生态兼容的考虑。
“开源之后，生态会围绕LLaMA去构建，在国外有很多开源项目是跟着LLaMA去推动的，（这也是）我们的结构为什么跟LLaMA更加接近。”
对于王小川和百川智能来说，搜索与大模型的融合将成为未来百川系列大模型稳定的亮点，Baichuan-53B的API也会在下个月开放。而按照设想，在这个50B的大模型发布后，百川智能将在Q4发布一个175B的的千亿大模型。除此之外，王小川透露，百川智能面向C端的“超级应用”也已经开始部署，并且不只一款。
一切都在紧凑的推进。而首先，“年底做出中国最好的大模型”这句话的兑现时刻已在眼前。
一场聚集人工智能产业头部公司与顶级资本的对话
点击下方图片即可报名参加活动
品玩招聘作者，资深作者及编辑，并长期开放实习生招聘。

世界不平静，我们希望在变动的技术周期和商业周期里继续我们的探索，不熄灭眼里的光。
为了和更多个优秀的你一起记录和改变这个激动人心的时代，做更多有价值的报道，品玩现开放招聘。
岗位信息：全职：4人。实习生长期招聘。工作地点：北京。
一句话总结我们在招聘的岗位的工作内容，就是：
报道最重要的商业和技术新闻，并抽丝剥茧地解释给读者它们为什么重要。
一些共同的岗位要求：
1. 尊重常识。
2.对好内容有感知，有选题发明能力。
3.掌握快速搜索梳理信息的方法，有较强的文献阅读能力，能独立拓展相关资源。
4 英文流利。有阅读英文内容的习惯，可以用英文完成沟通。
5.对真实世界有感知，心智成熟，有职业精神，沟通界面良好稳定。
在招岗位：
-新经济作者、新技术作者
新经济作者负责报道互联网商业领域最新动态；新技术作者负责报道新技术领域（AI，芯片，机器人等）最新动态；
追踪钱的流动，人的变化，商业世界的竞争与合作以及科技的变革，并把它们讲述给我们的读者；
不限工作经验，不限专业背景，我们欢迎不同背景的候选人。
-资深作者/编辑
对互联网商业领域或新技术领域有自己的研究和积累；
有自己获取信息的方法体系，有持续学习的能力；
能发明选题，撰写深度文章，同时也可以辅导初级作者。
长期招募实习生
我们为实习生提供与全职同样的指导与工作支持，并提供留用机会。
或者，以上的描述都不能定义你，但你认为你是我们需要的那个人，也可以发邮件给我们，介绍你自己。
以上岗位应聘者，请将简历及作品发送至：[email protected] 。（请标明应聘岗位）
同时，我们也在招聘其他岗位：
运营部门
岗位信息：全职：3人。实习生长期招聘。工作地点：北京。
内容运营
能够敏锐的捕捉互联网热点，并将其转化为出色的内容；
富有创新意识和强烈的主观能动性，重视流量在工作中的重要性；
有自己独特的数据分析方法论，能发现庞杂数据中的关键点，并反哺内容创作。
视频运营
具备视频的全流程的创作能力；
对各个内容平台均有深刻理解，能抓住平台规则红利；
有自己独特的数据分析方法论，能发现庞杂数据中的关键点，并反哺内容创作。
社区运营
有过国内外成熟知名社区的运营经验；
能够独立承担运营策略、节奏设计，结合运营目标、节点资源等因素制定精细化的社区运营规划；
对UGC的热点、流行趋势、话语体系有充分理解，能够通过创意、热点玩法、活动策划激发UGC参与。
长期招募实习生
我们为实习生提供与全职同样的指导与工作支持，并提供留用机会。
运营岗位应聘者，请将简历及作品发送至：[email protected] 。（请标明应聘岗位）
商务部门
销售总监/高级销售经理
岗位职责：
1. 负责品玩线上广告、线下活动类、品牌营销、市场公关、以及定制方案的商务拓展与销售工作，通过对目标行业客户的销售完成指定收入目标；
2. 对目标行业客户进行研究、识别、接洽、需求、分析、产品演示、方案规划、谈判与签约；
3. 管理与维护指定客户(包括新客户与现有客户)，提供优秀的售前与售后服务，建立长期、稳定的合作关系，对客户产品和需求进行持续性的研究与开发；
4. 与各部门保持紧密合作，回馈客户需求与最新行业动向，协助优化产品与服务；
5. 积极参加行业商务与社交活动，拓展人脉资源，持续了解与提升行业知识和洞察力
任职要求：
1. 互联网销售经验2年以上，销售经验5年以上优先;
2. 做事严谨、细心，较强的沟通协调能力;
3. 有市场营销、品牌方或者市场公关乙方工作经历优先；
4. 自我驱动，有很强的学习行业知识及专业知识的能力；
5. 具备应变能力，团队协作能力，能适应多任务处理及工作压力；
6. 拥有intel、华为、华为云、阿里、阿里云、高通等互联网行业直客资源者优先。
更多招聘信息，可以进入官网招聘页面获取。
期待品玩有你的加入。
· 文章版权归品玩所有，未经授权不得转载。
· 发送关键词 转载、合作、招聘 到品玩微信公众号，获得相应信息。
· 您亦可在微博、知乎、今日头条、百家号上关注我们。
继续阅读
阅读原文