视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究
作者 | 姜雨帆
责编 | Camel
神经网络的结构学习是目前十分受关注的一个研究方向,主要包含网络结构优化和网络结构搜索两个方向。
本次报告从两方面对神经网络的结构学习进行研究,首先从网络结构优化的角度,提出了一种动态网络连接的自动学习方法。
动态的去学习网络的连接,这种连接生长和剪枝的方式完全和训练相关,参考了训练过程中的梯度,层和层之间信息流传递的有效性,可以更好的对网络连接进行动态操作,从而得到更紧凑、高效的模型结构。
除此之外,我们还对可微分的网络结构搜索方法进行改进,移除了原有的局部归一化限制,同时对网络结构进行采样的更新方法,使得可微的网络结构搜索过程更稳定、高效。
最后,我们也通过定量和定性的实验分析了提出的两种方法的有效性。
(或者到AI研习社官网观解读视频:http://www.mooc.ai/open?from=meeting)
作者简介:
姜雨帆,东北大学计算机系自然语言处理实验室研究生,师从肖桐副教授。研究方向为自然语言处理,已在EMNLP人工智能和自然语言处理顶级会议发表论文一篇。
更多论文视频解读:
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。