近日，第十六届国际语义评测（The 16th International Workshop on Semantic Evaluation, SemEval 2022）的各项比赛落下帷幕。哈工大讯飞联合实验室（HFL）从30余支参赛队伍中脱颖而出，以显著领先优势斩获“多语种新闻相似度评测任务”冠军。同时，由哈工大社会计算与信息检索研究中心（HIT-SCIR）与哈工大讯飞联合实验室的联合团队在“任务二：多语种惯用语识别任务”子赛道Subtask A（one-shot）中获得冠军。本届比赛吸引了众多国内外高校和研究机构参加，包括达特茅斯学院、谢菲尔德大学、华为、纽约州立大学石溪分校、中南民族大学、云南大学等。
SemEval 2022 Task 8 比赛结果

SemEval评测简介

SemEval 2022评测由国际计算语言学协会（Association for Computational Linguistics, ACL）旗下SIGLEX主办，其包含一系列自然语言处理中有挑战性的问题与任务。ACL作为世界上影响力最大、最具活力的国际学术组织，其举办的计算语言学年会（Annual Meeting of the Association for Computational Linguistics）是国际自然语言处理的顶级会议。
SemEval 2022 Task 8
本次评测聚焦的Task 8是多语种新闻相似度评价任务。任务中给出来自多种语言的新闻篇章对，参赛队伍需要利用模型判定每一对新闻篇章是否描述了同一个事件，并以1至4分的范围为两篇新闻的相似度打分。任务共计覆盖10种语言，包括阿拉伯语、德语、英语、西班牙语、法语、意大利语、波兰语、俄语、土耳其语和中文。与普通的文章相似度任务相比，该评测任务强调考察模型的跨语言理解能力，并要求模型把握文章中描述的具体事件，而不仅是写作风格。
SemEval 2022 Task 8 任务数据样例，包含7个维度的相似度打分，分数越低越相似

夺冠系统

本次哈工大讯飞联合实验室提交的模型以总成绩0.818分，领先第二名0.016分的绝对优势位居榜首。夺冠系统选用XLM-RoBERTa作为基模型，并设计了针对该数据集的多任务联合训练目标及任务适配的R-Drop损失学习。后处理方面使用了打分裁剪，对系统结果进行进一步优化。此外，还尝试了对模型加大增宽、双塔交互等训练方式。数据方面，由于测试集相比训练集多出3种语言、7种跨语言组合，因此对未覆盖的语种进行了数据增强，并基于新闻篇章的结构特性，进行了头尾不同比例的信息融合。
更多信息请参阅系统描述文章：https://arxiv.org/abs/2204.04844
SemEval 2022 Task 8 HFL系统结构
除了本次SemEval 2022评测之外，哈工大讯飞联合实验室在多语种技术方面取得了多项突破。在去年，哈工大讯飞联合实验室在多语种理解评测XTREME任务中夺得冠军，并发布了首个面向少数民族语言的预训练模型CINO。在本次评测任务中，团队借鉴了XTREME评测任务的技术与经验，从而使模型性能获得了显著提升。

关于哈工大讯飞联合实验室（HFL）

哈工大讯飞联合实验室（HFL）是科大讯飞针对“讯飞超脑”项目计划，重点引进和布局的核心研发团队之一，由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）共同创办。根据联合实验室建设规划，双方将在语言认知计算领域进行长期、深入合作，具体开展阅读理解、预训练模型、自动阅卷、类人答题、人机对话、文本创作等前瞻课题的研究。重点突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术，支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越，并围绕教育、司法、人机交互等领域实现科研成果的规模化应用。哈工大讯飞联合实验室成立以来在阅读理解、多语言理解、多模态理解、文本校对、自然语言理解等国际重要评测中荣获10余项冠军，在国际顶级会议和期刊发表30余篇论文，申请发明专利40余项。
编辑：HFL编辑部
继续阅读
阅读原文