报告信息
主题：
Test Accuracy Is Not All You Need: Less Cost & More Reliability
嘉宾：雷博文
地点：腾讯会议：291-979-289
时间：2023年04月26日（周三） 20:00
个人简介
雷博文，德州农工大学统计学专业博士生，师从 Bani K. Mallick，研究领域为高效 (efficient) 和可靠 (reliable) 深度学习，贝叶斯机器学习，以及其在自然语言处理，计算机视觉等领域的应用。
报告题目
Test Accuracy Is Not All You Need: Less Cost & More Reliability
报告摘要
在这次演讲中，我将介绍我们最近关于可靠和高效的稀疏化训练的研究。随着深度神经网络的模型规模和训练成本的增长，稀疏化训练获得了越来越多的关注，以降低成本和实现资源的高效利用。虽然它产生的稀疏模型能够实现与原始密集模型相同的预测性能，但稀疏化约束切断了大部分参数更新路线并且产生很多虚假的局部最优点，这使得优化变得更加困难，从而产生没有校准的不确定性估计，导致不可靠的决策。具体来说，我将首先介绍我们在稀疏化神经网络训练中对分布内数据的可靠预测的贡献，通过利用权重和梯度的大小决定决定确定性掩码来有效地搜索和激活重要的权重，同时随机更新随机掩码来进行对权重空间更好的探索，从而找到更合适的权重值。然后，为了进一步实现同时有效的分布外检测和分布内校准，我将讲述我们新的稀疏训练方法，鼓励模型在早期阶段后通过损失校正来意识到什么是未知的。我们通过理论分析以及大量的实验证明了我们提出的方法的好处。
统计之都（Capital of Statistics，简称 COS）成立于 2006 年，是一个旨在推广与应用统计学、数据科学知识的公益性网站和社区。
统计之都以专业、人本、正直、团结的理念尝试推动统计和数据科学在中国的发展，促进各行业的创新和繁荣。
继续阅读
阅读原文