如何通过Meta Learning实现域泛化(Domain Generalization)?
©作者 | 丘明姗
单位 | 华南理工大学
研究方向 | 领域泛化
域泛化(Domain Generalization)中有很多工作是用 meta learning 做的。Meta learning 在 few shot 中很常用,它的目的也是提升模型的泛化性,所以我们来看看 DG 中采用 meta learning 的工作。
Revisit Meta Learning
Meta learning 的motivation 就是让模型学会学习。
一个学会了如何学习的模型,自然就有好的泛化性。
以 few shot learning 背景为例,我们只有少量的样本来训练一个任务。直接用少量的样本训练模型显然会过拟合,那怎么办?Meta learning 给出的策略就是采用公用大型数据集和已有的少样本共同训练模型。它将数据集分成两类,大型数据集的样本称为 support sets,少样本称为 query sets;将训练分成两个阶段,一次学习称为一个 epoch(整个数据集),首先在 support sets 上训练并更新一次梯度,接着用 query sets 基于 support sets 更新的模型再求一次梯度,本轮 epoch 的梯度更新与 query sets 上梯度更新方向一致。
可以这么理解,support sets 的作用就是让模型有一个好的初始化,接着再用 query sets 对模型进行 fine-tune,使模型真正适用于任务场景。显然,大型数据集和拥有的少样本数据来自不同 domain,存在 distribution shift,大型数据集训练的模型在任务上只能得到次优的效果。而通过一次次 query sets 的"fine-tune",模型就能很好地适应任务场景。
这么一看,是不是跟 DG 要做的很像?所以,DG 也这么干了。但是 DG 的场景会更困难一些,因为 DG 在训练时根本不知道目标域数据,就没法用目标域数据作为 query sets。因此 DG 退而求其次的策略是将源域数据划分成 support sets 和 query sets(DG 的论文里一般称为 meta-training sets 和 meta-testing sets),核心依然是模拟 distribution shifts,训练出对 distribution shift robust 的模型,就认为模型拥有了泛化到目标域的能力。
Meta Learning与Domain Alignment对比
Domain Alignment 专注于特征的学习,学到 domain agnostic 的特征。因此它会通过 loss 或者是 domain 判别器等其他各种手段对提取的特征施加约束,认为成功实现分布对齐的模型就是泛化性好的模型。它只是简单通过不同源域的训练数据来模拟 distribution shift。
Meta learning 主要是对输入数据的设计,强调数据的 distribution shift,并通过两次梯度更新使模型 robust,认为学到 distribution shift 的模型就是泛化性好的模型。但没有对数据作显式对齐。
其实,meta learning 可以看做是一个训练 trick,它可以和所有 DG 方法结合使用。因为 meta learning 对模型结构,loss 都没有任何要求(也称为 model agnostic),只需要对训练数据和训练过程做简单的调整,就可以套在任何模型上了。因此,要是你发现自己的 DG 模型效果不够满意,可以考虑叠加这个 buff(感觉我在教坏人-_-
DG中的Meta Learning
3.1 Meta Learning实现DG
论文标题:
Learning to Generalize: Meta-Learning for Domain Generalization
https://arxiv.org/abs/1710.03463
论文标题:
MetaNorm: Learning to Normalize Few-Shot Batches Across Domains
https://openreview.net/forum?id=9z_dNsC4B5t
论文标题:
Domain Generalization via Model-Agnostic Learning of Semantic Features
论文标题:
Simultaneous Deep Transfer Across Domains and Tasks
https://openaccess.thecvf.com/content_iccv_2015/html/Tzeng_Simultaneous_Deep_Transfer_ICCV_2015_paper.html
Recall that in this setting, we have access to target labeled data for only half of our categories. We use soft label information from the source domain to provide information about the held-out categories which lack labeled target examples.
独家定制「炼丹贴纸」
限量 200 份!
扫码回复「贴纸」
立即免费参与领取
👇👇👇
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关键词
任务
数据集
阶段
作者
源域
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。