今晚八点直播!AAAI 2021最佳论文分享:一作亲自解读Transformer长序列建模
AAAI 的英文全称是 Association for the Advance of Artificial Intelligence——美国人工智能协会。该协会是人工智能领域的主要学术组织之一,其主办的年会也是人工智能领域的国际顶级会议。在中国计算机学会的国际学术会议排名以及清华大学新发布的计算机科学推荐学术会议和期刊列表中,AAAI 均被列为人工智能领域的 A 类顶级会议。
AAAI 2021一共收到9034篇论文提交,其中有效审稿有7911篇,最终录取的数量为1692篇,接收率为21.4%。本届会议于2月2日-2月9日全程线上举办。
AI 科技评论现特别策划了AAAI 2021系列论文分享课程,3月 24 日(周三)20:00-21:00 ,AI 科技评论邀请到了AAAI 2021最佳论文获得者-北京航空航天大学周号益博士,作客 AI研习社 AAAI 2021论文解读直播间,为大家详细介绍他被收录的论文工作情况。嘉宾分享完还有问答环节,欢迎大家积极参与讨论,一起探讨相关学术问题。
分享主题
《长序列建模:剑走偏锋or重剑无锋?》
分享时间
北京时间 2021年3月24日(周三) 20:00-21:00
分享嘉宾
▲周号益
周号益,北京航空航天大学计算机学院、大数据科学与脑机智能高精尖创新中心博士生,研究兴趣包括人工智能、机器学习研究,专注时序分析、图像识别等技术在工业互联网、智慧医疗中的应用。
分享背景
长时间序列分析预测一直是人工智能基础理论研究的难点,对工业健康维护、疾病传播预测、网络安全分析等关键领域具有重要作用。AAAI 2021获奖论文指出“传统循环神经网络因误差逐层累积”已不能满足长序列数据分析的需求,并首次明确了Transformer神经网络架构对长序列问题建模的重要意义。该架构的核心优势是构建了自注意力机制来捕捉跨长度的前后相关性,但其伴随的重大挑战是自注意力操作具有随输入长度的二次时间复杂度,无法适用于长序列输入和输出。这是首次在长序列问题上运用Transformer神经网络架构,依靠所提出的可分析稀疏化、注意力蒸馏和生成式解码组成Informer网络结构,可以在同样硬件限制下显著提高序列分析任务性能,为解决长序列问题提供了一种全新的解决方案。
分享提纲
传统序列建模与新的挑战 为什么我们需要注意力网络 Informer模型介绍 结果讨论与工业应用 未来展望
论文地址https://arxiv.org/abs/2012.07436
代码地址
https://github.com/zhouhaoyi/Informer2020
直播间观看地址
AI研习社直播间:https://live.yanxishe.com/room/906
Bilibili直播间:http://live.bilibili.com/5612206
扫码添加小助手微信,回复【AAAI】进入AAAI交流群,如有学术工作想要分享也欢迎和我们联系沟通。
点击“阅读原文”,进入直播间预约,避免错过精彩分享!
加入AI科技评论顶会交流群,和同行学者分享学术心得!
(请加AI科技评论官方微信aitechreview,拉您进群)关键词
论文
自注意力
长序列
学术
直播间
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。