MLNLP
社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。
转载自 | Datawhale
作者 | 张俊林等
来源 | AINLP
周末看到知乎的一个问题，有点意思，值得思考，选取几个回答，欢迎留言。
问题：ChatGPT的诞生意味着模型大一统的可行性，这会对未来5年的NLP算法从业者带来怎样的冲击？
我个人从ChatGPT上看到了很多可能性，也对未来职业生涯更加悲观，或许纳米酱说得对，薅资本主义羊毛，攒够几百万回家考公务员才是正道。
链接：https://www.zhihu.com/question/575391861

作者：张俊林@知乎

一言以蔽之：对于NLP研究人员，前景非常不乐观。ChatGPT这种Instruct based方法，能取得如此惊艳的效果，是出乎很多人意料的，当然，我个人认为它能力的强大，主要还要归因到背后依托的GPT 3.5太强了，这体现了模型规模的魔力。而这意味着很多目前独立存在的NLP研究领域，将被纳入LLM的技术体系，进而不再独立存在，逐步消失。目前大多数NLP子领域，仍然是以独立研究领域存在的，比如“机器翻译”、“文本摘要”、“QA系统“等，只是切换成在“预训练+fine-tuning／few shot prompting”框架下，面对领域独有问题，陆续提出新的改进方案。目前研究表明，很多NLP任务，随着LLM模型规模增长，效果会大幅提升。据此，我觉得也许我们可以得到如下推论：大多数某领域所谓“独有”的问题，大概率只是缺乏领域知识导致的一种外在表象，只要领域知识足够多，这个所谓领域独有的问题，就可以被很好地解决掉，其实并不需要专门针对某个具体领域问题，冥思苦想去提出专用解决方案。也许事实的真相超乎意料地简单：你只要把这个领域更多的数据交给LLM，让它自己学习更多知识即可。在这个背景下，未来的技术发展趋势应该是：追求规模越来越大的LLM模型，通过增加预训练数据的多样性，来涵盖越来越多的领域，LLM自主从领域数据中通过预训练过程学习领域知识，随着模型规模不断增大，很多问题随之得到解决。研究重心会投入到如何构建这个理想LLM模型，而非去解决某个领域的具体问题。这样，越来越多NLP的子领域会被纳入LLM的技术体系，进而逐步消失。
我认为，判断某个具体领域是否该立即停止独立研究，其判断标准可采取以下两种方法，占其一即可：
第一，判断某个任务，是否LLM的研究效果超过人类表现，对于那些LLM效果超过人类的研究领域，已无独立研究的必要。举个例子，GLUE与SuperGLUE测试集合里的很多任务，目前LLM效果已超过人类表现，与这个数据集合密切相关的研究领域，其实就没有继续独立存在的必要。
第二，对比两种模式的任务效果，第一种模式是用较大的领域专用数据进行Fine-tuning，第二种是few-shot prompting或instruct-based方法。如果第二种方法效果达到或超过第一种方法，则意味着这个领域没有继续独立存在的必要性。如果用这个标准来看，其实很多研究领域，目前fine-tuning效果还是占优的（因为这种模式领域训练数据量大），看似还可独立存在。但是考虑到很多任务随着模型规模增大，few shot prompting／instruct效果持续增长，随着更大模型的出现，这个拐点很可能短期就会达到。如果上述猜测成立，将意味着如下残酷事实：对于很多NLP领域的研究人员，将面临往何处去的选择，是继续做领域独有问题呢？还是放弃这种看似前途不大的方式，转而去建设更好的LLM？如果选择转向去建设LLM，又有哪些机构有能力、有条件去做这个事情呢？我们很多人可能早晚要面对这些问题，并给出自己的选择。当然，我个人表示情绪稳定，对我基本没啥影响，因为在T5出现之后，我就知道自己已经没有能力做LLM这个事情了。

作者：郑楚杰@知乎

对于 R&D 可能影响不大，毕竟做的事一直都是 follow 国际大厂的前沿工作，他们出什么就跟进什么就好了，对于垂直领域的可能会产生较大冲击。当 LMaaS 普遍后，竞品都基于同样的基础模型，能力下限大大提升，行业门槛大大下降。仅存的护城河就是里的数据积累（但效用会随着 LLM 变得更强而下降） 对于 NLP 研究者（包括 AI Lab、高校研究室）、特别是垂直领域可能冲击最大。通用 LLM 方法让垂直领域的细分/长尾问题上的 incremental improvement 很难再有大的价值和影响力，你费老大劲都只能缓解的问题可以被 LLM 直接解决。由于我自己还在读博，关于 3 可能感受更深，再说两句以往国内学术界/工业界对于 LLM 的传统认知是「计算开销大、生成慢、落地难，过于 magic」，即使到现在这也是「LLM 没有未来」的一个主要论据。但我们需要注意到几方面事实：OpenAI 提供的 LMaaS 服务（toB 和 toC）已经具备很高的速度（很低的 latency)，并构成了行之有效的盈利模式 2022 年的大量前沿研究都在探索和拓展 LLM 的极限和边界，这进一步促进了 1 2 中的这些研究都是出自国际大厂，国内几乎已经缺席了 LLM 的前沿研究。
由于实力的不对等，OpenAI、Google、DeepMind 等 LLM 头部玩家可能不再会公开最前沿的 LLM 研究进展（转为挤牙膏模式） 以上事实意味着：当国际大厂用上了更低成本、更好性能的 LLM 技术使其落地时（尤其是极富潜力的生产力场景），国内可能还在认为 LLM 落地难而止步不前，而这仅仅是因为前者没有公开技术或指明可能性。换而言之，等 GPT-4 出来后，国内的专家们可能又会说「大模型落地难，实际应用还得靠中小模型」，但「OpenAI 的大模型成本或许比你的中小模型还要低」，更不用说 OpenAI 的中小模型（如 6B~13B）的性能已经远超一众超大模型（如 130B~175B）。在这一趋势下，国内与国际前沿的技术鸿沟会越来越大，甚至无法追赶 那么对于研究人员来说，如何判断自己研究的问题在 LLM 时代下还有没有价值？@张俊林的回答其实说得已经很好了。我个人认为最核心的两个依据是：
这个问题是否是通用领域问题？如 LLM 的可解释性、训练与提示技巧、模型压缩和加速 这个问题是否会被 scaling 解决？如果  可以解决，或者方法带来的提升随着 scaling 而减小，那么研究的价值和影响力可能就会极为有限。如果对学术/技术影响力有更高的追求，在资源和条件允许的情况下，则应该转向通用领域的问题开展研究。

作者：多头注意力@知乎

题主用了冲击一词，应该认为影响比较负面。我倒是认为不一定，特别是应用端，以下是几点想法：
大模型再牛也需要调包侠写代码。模型应用到业务还是有很多工作需要做的。评论区有朋友说直接调用API只需要开发同学就行了，没错，【调用】这个动作确实很容易，但chatgpt 并不是个像查天气，查邮编这样确定性的api，prompt 的设计，结果的校验都是需要不少工作的。技术有突破有利于行业繁荣，特别是在一个比较短的时间内（题主问五年内）。参考2013年后卷积神经网络带来的行业热潮和2017年后预训练语言模型带来的行业热潮。从业者的工作方式肯定会改变。重要的是跟上趋势，不要抱着原来的技术和方法不放。这个情况也不是没有经历过，词向量时代大家花大量时间减少OOV ，bert 出来后几乎没人关心这个了。当时bert 出来大家也感叹以后炼丹容易了，会冲击行业，但实际结果并没有。如果在现在一个nlp 工程师还不会使用预训练语言模型，那可能对他的职业发展确实是有【冲击】。工具的进步是会释放创意潜力的，所谓学以致用，可以多思考怎么用。至于研究者，比较认可@张俊林的回答，影响会大一些。
技术交流群邀请函
△长按添加小助手
扫描二维码添加小助手微信
请备注：姓名-学校/公司-研究方向
（如：小张-哈工大-对话系统）
即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。
继续阅读
阅读原文