一文详解正则化(regularization)
©PaperWeekly 原创 · 作者|王东伟
单位|致趣百川
研究方向|深度学习
本文介绍正则化(regularization)。
现在我们添加正则化项,得到优化目标:
称为目标函数(objective function)。添加正则化项的作用是防止模型过拟合,其中,1/2 系数仅仅是为了在求梯度的时候得到 而不是 。
以下通过一个简单的实验说明正则化的作用。
▲ 图1
以上即为贝叶斯线性回归模型,其中 服从正态分布(中心极限定理告诉我们这是一个合理的假设,你可以自行了解)。
注意到上式省去了 ,那是因为我们可以通过给向量 加入常数维度 1,使得 可以被吸收到 中。即:
现在我们可以求解 。一个自然的想法是,对于给定的输入, 决定了 的概率分布,那么, 应该让测量值 出现的概率最大,即:
以上称为极大似然估计(Maximum Likelihood Estimate,MLE)。
可以看到,MLE 的优化目标与神经网络模型的最小平方误差具有相同形式。
图 3 所示,蓝色和绿色曲线都可以拟合数据点,我们可以把拟合数据点的曲线视为函数集合或者函数空间,问题是应该选择哪条曲线?
以上为最大后验估计(Maximum A Posteriori Estimate, MAP)。
可以看到 MAP 的优化目标与开篇引入正则化的目标函数有相同的形式。
图 3 展示了 Dropout 的算法原理。在模型训练阶段,每一个隐藏层神经元以概率 1-p 不被激活(也就是神经元输出置零)。在测试阶段,神经元不作 Dropout 处理,但是输出值乘以 p,这是为了保持测试阶段与训练阶段的隐藏层输出期望值不变。实验显示 p=0.5 在很多类型的神经网络模型和任务中为最优值。
h1 = x @ w1 + b1
h1 = np.maximum(h1, 0) # ReLU作为激活函数
drop = np.random.rand(*h1.shape) < p # p为神经元激活的概率
h1 = h1 * drop
h2 = h1 @ w2 + b2
h2 = np.maximum(h2, 0)
drop = np.random.rand(*h2.shape) < p
h2 = h2 * drop
out = h2 @ w3 + b3
h1 = np.maximum(x @ w1 + b1, 0) * p
h2 = np.maximum(h1 @ w2 + b2, 0) * p
out = h2 @ w3 + b3
h1 = x @ w1 + b1
h1 = np.maximum(h1, 0)
drop = (np.random.rand(*h1.shape) < p) / p # 缩放操作
h1 = h1 * drop
h2 = h1 @ w2 + b2
h2 = np.maximum(h2, 0)
drop = (np.random.rand(*h2.shape) < p) / p
h2 = h2 * drop
out = h2 @ w3 + b3
h1 = np.maximum(x @ w1 + b1, 0)
h2 = np.maximum(h1 @ w2 + b2, 0)
out = h2 @ w3 + b3
关键词
模型
函数
参数
正则化
神经元
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。