EMNLP 2021 最新综述:语言模型中的关系性知识
©作者 | 张义策
单位 | 北哈尔滨工业大学(深圳)
研究方向 | 自然语言处理
论文标题:
Relational World Knowledge Representation in Contextual Language Models: A Review
EMNLP 2021
https://arxiv.org/pdf/2104.05837.pdf
以知识库的方式保存关系性知识的优点是精确、可解释性强; 但其缺点也是明显的,需要定义复杂的实体和关系类型,灵活性不够,不够全面。
而很多工作也表明,语言模型携带了一些关系性的知识。
Language Models as Knowledge Bases?[1]
- 语言模型保存了多少关系性的知识?如何从语言模型中推理出这些知识?
是否可以向语言模型中注入更多的关系性知识?
正如前面提到的,推理语言模型中知识的典型方法就是完形填空 (cloze prompting),即将带空位的自然语言陈述输入到 BERT 中,然后让模型预测空位中的单词。可以看到,在该方法中,如何将关系性知识转化为陈述句便是关键了。
人工模板:典型的方法便是针对某个关系,人工撰写一个模板,如“出生于”对应的模板为“[marie curie] was born in [warsaw]”;“职业”对应的模板为“[obama] worked as a [president]”。
自动模板:人工模板的劣势是显然的,耗时耗力、也不一定好使。于是很多工作研究了如何自动产生模板。以Jiang et al(2020) [2] 为例,对于某个关系实例 (x, r, y),它首先识别维基百科中同时包含 x 和 y 的句子,然后将句子中 x 和 y 去掉,变成模板。这些针对关系 r 的模板通过重构(如翻译两次),生成更多模板。然后从这些候选模板中,选择性能最好的模板。下面是一些模板的例子。当然,自动模板的方法中也有不同流派,这里不展开了。
除了完形填空之外,句子打分(statement scoring)也是一种典型的抽取知识方法。我想该方法应该是主要是面向生成模型的。
align & fusion:Peters et al (2019)[10] 通过 word-to-entity attention,融合实体表示和 BERT 输出 token 表示。 early fusion:在 BERT 内部,进行句子的编码时,显式地引入 entity embeddings。输入的实体表示可以来源模型外部 [11],也可以是在模型中学习 [12]。以 ERNIE-THU [11] 为例,如下图,除了建模原本句子内部 token 之间交互外,还建模 entity 与对应的 token 的交互,以及 entity 之间的交互。
这部分内容可大致分为两类方法:
- Matching the Blanks [13]
- ERICA [14]
- KEPLER [15]
参考文献
特别鸣谢
感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
关键词
预训练
文本
方法
任务
语言模型
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。