直播预约｜快来听大咖讨论大模型技术最新进展与应用！

// 澜舟NLP分享会

///

Langboat NLP Meetup

「澜舟NLP分享会」正式上线！我们期望通过系列活动，为关注自然语言处理（NLP）技术的学者、工程师打造一个技术分享平台，推动 NLP 行业交流。

7月16日，我们将在线上直播首期分享会，此次分享会邀请到了微软亚洲研究院自然语言计算组高级研究经理段楠、清华大学计算机系副教授刘知远、浙江核新同花顺网络信息股份有限公司首席技术官谌明分享他们对大模型发展的观点、研究和实践，同时我司创始人兼CEO周明、大模型技术负责人王宇龙和算法研究员华菁云分享预训练模型进展，并详细解读澜舟轻量化技术体系。

感兴趣的朋友赶紧点击下方【预约】锁定直播！

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

议题介绍

认知智能预训练模型最近进展

内容摘要

利用大规模数据经过无监督训练得到的预训练模型具有良好的泛化能力，针对一个新任务，只需用小规模标注数据进行微调就可以得到优秀的能力。这种NLP的新范式自几年前诞生以来，在NLP领域引起了学术界和工业界的广泛的关注。本讲座将简要总结预训练模型的最近一段时间以来的进展，包括语言模型、多模态模型、预训练的框架演变等。预训练模型也面临诸多挑战。本讲座最后一部分将针对预训练模型的关键挑战，探讨其未来的发展方向。

周明

澜舟科技创始人兼CEO

嘉宾简介

周明，澜舟科技创始人兼CEO，创新工场首席科学家，中国计算机学会副理事长，国际计算语言学会原主席，前微软亚洲研究院副院长。1991 年获哈尔滨工业大学博士学位。1991-1993 年清华大学博士后，随后留校任副教授直至 1999 年加入微软亚洲研究院。2021 年创立认知智能公司澜舟科技。

王宇龙

澜舟科技大模型技术负责人

嘉宾简介

王宇龙，澜舟科技大模型技术负责人，主要负责大规模预训练模型的研发以及分布式训练系统的构建。加入澜舟前，曾在创新工场参与AI商业赋能的相关工作，利用前沿 AI 技术帮助来自全球各地的合作伙伴实现业务升级和业绩增长。

澜舟轻量化技术实践

内容摘要

近期预训练模型得到了越来越多的关注，但这种新的 NLP 范式在工业界落地中却充满了挑战。澜舟科技专注于大规模预训练模型的落地，通过一系列轻量化技术，帮助企业构建更加智能、更高效的商业生态体系。本讲座将分享澜舟的轻量化技术体系与实践。

华菁云

澜舟科技算法研究员

嘉宾简介

华菁云，澜舟科技算法研究员，负责研发孟子预训练模型，该模型于 2021 年 7 月登顶中文语言理解权威评测基准 CLUE 榜单。加入澜舟前，曾在创新工场 AI 工程院进行 NLP 算法研究，研究课题为“NLP 技术辅助一级市场投资决策”；曾参与国家自然科学基金会项目、工信部智能制造 2025 工业互联网重大示范项目（研究方向为 AI 工业大数据）。

多模态自然语言处理

内容摘要

过去三年中，基于自监督学习和Transformer的底层数据表示和任务建模方法在语言、语音和视觉等不同领域不断收敛和趋同，这使得多模态研究成为人工智能领域的一个最新前沿。本报告将重点介绍语言-视觉相关的多模态理解和生成任务。通过代表性工作，总结目前多模态研究取得的一些进展和面临的主要挑战，其中包括在轻量化方面的一些探索。

段楠

微软亚洲研究院自然语言计算组高级研究经理

嘉宾简介

段楠，微软亚洲研究院自然语言计算组高级研究经理，中国科学技术大学兼职博导，天津大学兼职教授，主要从事自然语言处理、编程语言处理、多模态人工智能、机器推理等研究，多次担任NLP/AI/ML相关国际会议评测主席、高级领域主席和领域主席，发表学术论文100余篇。

Delta Tuning：大模型的小参数高效微调

内容摘要

近年来深度学习成为自然语言处理关键技术，特别是2018年以来的预训练语言模型，显著提升了自然语言处理整体性能。如何更好地激发大规模预训练模型在下游任务上的效果，是广泛关注的研究课题。但是，随着模型规模增大，如何微调大模型参数适配下游任务，变得越来越困难。最近，参数高效微调（Parameter-Efficient Learning，或者 Delta Tuning）通过固定大模型参数不动，只微调非常少的参数（Delta），就可以达到与全参数微调相当的效果，取得了很多突破性进展。本报告将介绍大模型的小参数高效微调方法、前沿动态以及未来展望。

刘知远

清华大学计算机系副教授

嘉宾简介

刘知远，清华大学计算机系副教授，已在ACL、EMNLP、IJCAI、AAAI等发表论文100余篇，Google Scholar统计引用超过2.2万次。曾获教育部自然科学一等奖（第2完成人）、中国中文信息学会科学技术奖一等奖（第2完成人），入选国家级青年人才计划、北京智源研究院青年科学家、Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人。

同花顺业务场景中的大模型技术及其优化

近年来，大规模预训练模型在各个NLP任务上都取得了比传统深度模型更优的表现，工业界也开始广泛使用大模型。本次演讲主要围绕大模型在同花顺业务场景中的应用展开，着重介绍大模型在同花顺的解析、对话、信息抽取等系统中如何使用。此外，由于工业界的特殊需求，通常会对通用大模型进行针对性的优化，本次演讲也将介绍同花顺针对大模型进行的优化，包括continue-train、轻量化等技术。

谌明

浙江核新同花顺网络信息股份有限公司首席技术官

嘉宾简介

谌明，浙江核新同花顺网络信息股份有限公司首席技术官，浙江省金融信息工程技术中心副主任，之江实验室金融大数据智能计算实验平台专家；曾主持多个国家重点项目，总投入资金数亿元；发表SCI/EI高水平学术论文20余篇，申请或授权发明专利31项；荣获中国IT年度人物杰出CTO和杰出工程师等奖项。

”

澜舟科技是一家认知智能公司，由前微软亚洲研究院NLP领军人物周明博士于2021年在京创立，针对商业场景数字化转型、以自然语言处理为基础提供商业洞见类产品，主要产品包括基于预训练模型的功能引擎（包括搜索、生成、翻译、对话等）和针对垂直行业场景的 SaaS 产品。我们致力于成为 NLP/AI 领域具有全球领导力的、以科技驱动的创新型公司。

我们最近开源了分析、生成、多模态和金融的孟子预训练模型，供大家自由使用，链接见下方二维码。期待各位的关注与建议！