在百花齐放的AI大模型浪潮中，大型语言模型（LLM）无疑是一颗闪亮的明珠。ChatGPT等模型将语言类模型带入了大众的视野，而智能客服、聊天机器人、智能搜索引擎已经走入了人们的生活。
Graphcore（拟未）IPU为ChatGLM-6B、Dolly 2.0等多个LLM提供良好的支持，并持续推进更多模型在IPU上的高效能部署。下拉看看近期Graphcore又支持了哪些新模型？
Llama 2：大型语言模型采用和商业化的游戏规则改变者
Llama 2是Meta公司推出的开源大型语言模型，相比Llama早期版本，该升级版具有更好的语言理解和更快的推理速度。由于其性能可与更大型的模型相媲美，而且其宽松开源许可证允许其在商业应用中使用和分发，因此它被誉为大型语言模型采用和商业化的游戏规则改变者。
基于Graphcore开源的PopTransformer库，Graphcore工程团队快速完成了Llama 2的适配工作。运行在IPU上的Llama2模型拥有令人惊艳的推理性能，以Llama2-13B为例，在最大上下文长度为16384的情况下，其单个token的推理延时为12.4毫秒。
IPU用户不但可以在自己机房的PCIe卡C600或者Bow Pod系统上直接部署Llama 2，还可以利用云端IPU上提供的免费Llama 2前期试用。
扫描下方二维码，申请试用和评估C600：
Flan-T5：用更小且更高效的LLM实现出色效果
面对越来越多的大型语言模型，用户不得不问自己一个重要的问题——哪种模型能在性能和效率之间取得适当的平衡？虽然超大型语言模型具备广泛的能力，但对许多应用来说都有些“大材小用”。许多人正在寻找更有效的开源产品，来替代像GPT-3/4这样的产品。
2022年12月，谷歌在论文中发布了Flan-T5检查点。这些检查点以相对适中的参数数量“实现了强大的少样本性能”，“即使和大得多的模型相比”，如GPT家族中最大的成员，也是如此。根据MMLU的基准测试，Flan-T5的性能与GPT-3相当。
您现在已经可以使用float16精度在Graphcore IPU上运行Flan-T5，扫描下方二维码，亲自体验：
OpenAssistant OASST1微调版Pythia-12B：ChatGPT开源平替
OpenAssistant的OASST1微调版Pythia-12B是ChatGPT最令人兴奋的开源聊天机器人替代品之一。作为一个真正的开源模型，它可以不受限制地商用。
oasst-sft-4-pythia12b是EleutherAI的Pythia模型系列的一个变体，使用开放助理对话（OASST1）数据集进行微调，这是一个众包的“人类生成的、人类注释的助理式对话语料”。
该模型可以通过Paperspace Gradient notebook在Graphcore IPU上轻松运行。新用户可以通过Paperspace的六小时免费试用，在IPU-POD4上尝试Pythia。对于更高的性能实现，您还可以扩展到IPU-POD16。扫描下方二维码，亲自体验：
大型语言模型承载了许多知识，规模较大，在自由文本生成方面能够提供更强的性能。这在人工智能助手或聊天机器人等应用领域非常有用，不过并不能使其成为每项任务的最高效解决方案。人们可以使用更小巧、更具成本效益的模型，在各种语言类应用中实现先进性能：
BART Large：高效文本摘要
文本摘要是人工智能自然语言处理在实际应用中的最佳范例之一。每天，大量的信息被生产出来，无论是在商业还是科学研究等其他领域，快速理解、评估和处理这些信息的能力都极具价值。
2019年末，Facebook的人工智能研究人员提出了一种将双向编码器（如BERT）和自回归解码器（如GPT）结合起来的方法，并将其命名为BART，即双向自回归变换器。原论文作者认为当对文本生成和理解任务进行微调时，BART特别有效——这两者都是文本摘要所需要的。
BART也是Optimum Graphcore支持的众多NLP模型之一，扫描下方二维码，在IPU上使用BART-Large进行文本摘要：
DeBERTa：以较小模型实现高性能自然语言理解
许多自然语言处理应用都需要自然语言理解（NLU），它被应用于聊天机器人和虚拟助手、搜索引擎、医疗等方面。它还能在设计文本和图表结合的界面上发挥关键作用。
一些用户将大型语言模型用于NLU应用，但这可能会导致计算过度。使用像DeBERTa这样的较小模型可以在保持高准确性的同时实现显著的成本节约。在许多情况下，这些较小的模型甚至可以在特定任务上胜过较大的模型。
DeBERTa是一种颇为流行的自然语言理解架构，它是一种基于Transformer的模型，在各种自然语言理解任务中取得了出色的结果，包括问题回答、自然语言推理和情感分析。您可以使用由Graphcore IPU驱动的Paperspace Gradient Notebook，免费试用DeBERTa-Base推理，扫描下方二维码，亲自体验：
随着创新者不断推进AI的边界，和AI“谈笑风生”的未来或许已在拐角。与此同时，随着人们对AI模型部署重视程度的增加，对于AI性能和效率之间平衡探讨的声音逐渐增多。Graphcore以专为AI而生的独特架构和不断开发的优化技术，解锁AI模型潜力，简化AI模型部署，推进AI模型的创新和应用。如欲查看Graphcore支持的更多AI模型，敬请扫描下方二维码，移步Graphcore模型花园（model garden）：
获取更多Graphcore资讯，阅读深度技术文章，并与其他创新者们一起交流，请至中国官网graphcore.cn，以及关注Graphcore微信、微博和知乎创新社区。
Graphcore中国官网
Graphcore官方微信
Graphcore微博创新社区
Graphcore知乎创新社区
继续阅读
阅读原文