Meta 的人工智能实验室创建和推出了一个大规模的新语言模型，它同时具有 OpenAI 开创性的神经网络 GPT-3 的非凡能力和不可避免的缺陷。对于大型科技公司来说，这是一个前所未有的举动，现在 Meta 正把它交给研究人员，并且共同探讨该语言模型的构建和训练过程中的技术细节。

“我们坚信，让其他人参与仔细检查你的工作是我们研究工作的一个重要组成部分。我们真诚地邀请这种合作模式，”长期倡导技术发展透明度的乔尔·皮诺（Joelle Pineau）说，她现在是 Meta AI 的董事总经理。
Meta 的举动是第一次向感兴趣的研究人员提供一个经过充分训练的大型语言模型。这一消息受到了许多人的欢迎，他们原本担心小团队是很难闭门打造这种强大的技术的。
“我赞赏他们的透明度，”华盛顿大学的计算语言学家艾米丽·M·本德（Emily M. Bender）说道，她经常批评语言模型的发展和部署方式。
“这是一个伟大的举动，”Hugging Face 的首席科学家托马斯·沃尔夫（Thomas Wolf）说道。Hugging Face 是一个大科学背后的人工智能初创公司，这个项目在世界各地的 1000 多名志愿者正在合作开发一个开源语言模型。“越开放的模式越好，”他补充道。
大型语言模型，作为能够生成文本段落和模拟人类对话的强大程序，已经成为过去几年人工智能领域最热门的趋势之一。但它们本身具有很深的缺陷，例如散布错误的信息、偏见和有毒的语言。
理论上，让更多的人来参与解决这个问题应该会有所帮助。然而，由于语言模型需要大量的数据和计算能力来训练，迄今为止，它们仍然是大型科技公司的特有项目。而在更广泛的关注群体例如研究界，包括担心人工智能滥用的伦理学家和社会科学家，不得不只能旁观。
Meta 表示想将要改变这一点。“我们中的很多人都是大学的研究人员，”皮诺说。“我们知道大学和行业在建立这些模式的能力方面存在着明显的差距。让研究人员共同讨论这一技术的好处是显而易见的。”她希望其他人能仔细研究他们的工作，对其进行拆解分析，或者在此基础上构建。她说，当更多的人参与进来时，突破就会更快地实现。
Meta 正在制作名为 Open Pretrained Transformer （OPT）的语言模型，并且可用于非商业用途。它还发布了其代码和记录培训过程的日志。日志包含团队成员关于训练数据的每日更新：如何将其添加到模型中，以及何时、哪些有效、哪些无效。在 100 多页的笔记中，研究人员记录了从 2021 年 10 月到 2022 年 1 月不间断运行的为期三个月的培训过程中的每个错误、崩溃和重启。
OPT 语言模型中约有 1750 亿个参数（这些参数是神经网络中在训练过程中可以被调整的参数），与 GPT-3 的规模基本相同。皮诺说，这是经过精心设计的，因为该团队在建立 OPT 时就考虑在语言任务的准确性和有害性方面与 GPT-3 相匹配。OpenAI 已经将 GPT-3 作为一种付费服务给予提供，并没有共享模型本身或其代码。皮诺说，这个想法是为了给研究人员提供一个类似的语言模型来进行研究。
OpenAI 拒绝了对 Meta 的声明发表评论的邀请。
谷歌正在探索在其搜索产品中使用大型语言模型，但也因为缺乏透明度而受到批评。该公司在 2020 年曾引发争议，因为该公司在其 AI 道德团队的主要成员进行了一项突出显示该技术问题的研究后，将该成员驱逐出境。

文化冲突

那么，Meta 为什么要这样做呢？毕竟Meta公司是一家很少提及脸书和 Instagram 背后的算法如何工作的公司，并曾以让其内部研究团队隐瞒其不利问题而闻名。Meta 采取不同方法的一个重要原因是皮诺本人，她多年来一直在推动人工智能研发过程中的透明度。
皮诺帮助建立起科研人员在几个最大的学术会议上发表研究的方式，引入了研究人员必须与结果一起提交的清单，包括代码和有关如何进行实验的详细信息。她自 2017 年加入 Meta（当时的Facebook）以来，一直在其人工智能实验室倡导这种文化。
“Meta 对开放科学的承诺是我为什么在这里的原因，”她说。“我不会因为其他条件来到这里工作。”
最终，皮诺想要改变人们判断人工智能的方式。“我们现在所研究的最先进的东西不能仅仅与性能有关，”她说。“就责任而言，它也必须是最先进的。”
尽管如此，开源其大型语言模型对于 Meta 来说是一个大胆的举措。“我不能告诉你，这种模型不会产生其他可怕的风险，”皮诺说。

权衡风险

玛格丽特·米切尔（Margaret Mitchell）是谷歌在 2020 年被迫离职的人工智能伦理研究人员之一，她现在在 Hugging Face 工作，她认为 OPT 的发布是一个积极的举措。但她认为透明度是有限度的。因为语言模型是否经过了足够严格的测试？可预见的好处是否超过了其可预见的危害？例如在这个过程中如何避免错误信息的产生，或种族主义和厌恶女性的语言？“
她说：“大型语言模型的发布对其可能有广泛受众使用它或受其输出影响的世界是有责任的。” 米切尔指出，该模型不仅能够自行生成有害内容，还可以通过研究人员在其之上构建的下游应用程序生成有害内容。
皮诺表示，Meta AI 审计了 OPT，以消除一些有害行为，但这个工作最关键的一点是发布一个可供研究人员从中学习的模型。
“有很多关于模型危险性的讨论，我们也知道这个模型在声誉方面存在着非零风险，在伤害方面也存在着非零风险，”她说。她驳斥了不应该发布模型的想法，仅仅是因为它太危险了——这就是 OpenAI 给出的不发布 GPT-3 的前身 GPT-2 的原因。“我理解这些模型的弱点，但这不是一种研究心态，”她说。
本德曾在谷歌中心与米切尔共同合作过相关研究，也担心着如何处理潜在的危害。“降低任何机器学习技术风险的真正关键是要在特定用例中进行评估和探索，”她说。“例如这个系统是用来做什么的？谁将使用它？系统输出将如何呈现给他们？”
一些研究人员因为它们有潜在的危害，所以质疑为什么要建立大型语言模型。而对于皮诺来说，这些担忧应该通过更多的公开讨论来解决，而不是减少沟通。“我相信建立信任的唯一方法是极度透明，”她说。
“世界各地的人们对于什么样的对话是合适的有不同的看法，而人工智能是对话的一部分，”她说。她不希望语言模型能说出令每个人都同意的话。“但我们该如何应对呢？那就是在讨论过程中多去听却他人的声音”她说。
-End-
参考：
https://www.technologyreview.com/2022/05/03/1051691/meta-ai-large-language-model-gpt3-ethics-huggingface-transparency/
继续阅读
阅读原文