调参的一些个人拙见
最近的事。。浓缩成下面的一张图。
调参有哪些方法呢?
- 语料处理。这个是之后一切操作的基础。有人或许认为算法是最重要的,其实不然,语料处理真的真的是最重要的。就比如中文语料处理,全角转半角,繁体转简体,大写转小写(中文语料也可能有英文呀)。语料处理好了,能提高好个点。
- 代码问题。有时候你虽然调出最高的参数了,可是你不能在此还原这样一抹一样的数据,为什么呢?我有一次就是这样。原因是没有给随机数喂种子。。。这个写代码切记切记。还有一个,就是要记得每次训练语料前,shuffle一下,shuffle和不shuffle差距还真是挺大的。
- 算法。一般算法都跑一边之后,效果明显好过其他的那个算法一般就是适合这个数据的算法了。每个算法有自己的参数,
- 预训练embedding。一般情况下会有效果,前提是一定要用对预训练数据。
- 调超参数。调参的方面有很多,简单常见的有lr(经验值SGD 0.01,Adam 0.001),batch_size,embed_dim等,深入的有weight_decay(权重衰退),lr_decay(学习率衰退),初始化模型参数等。
- 不同的参数用不同的优化器优化。如果你想让Embedding稀疏parse更新(就是只更新一部分参数,其他的都是全部更新的),那么就需要用到这样的方法。
明天继续调参,争取超过论文的最高值。
阅读原文 最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。