9月25日晚，由DISCOVER实验室主办的第二十四期AIR青年科学家论坛如期举行。本次讲座有幸邀请到上海交通大学长聘轨副教授陈思衡，为AIR的老师与同学们做了题为《图网络学习：从社交网络到车路协同》的精彩报告。
嘉宾介绍

陈思衡博士是上海交通大学长聘轨副教授、上海人工智能实验室双聘青年科学家、博士生导师、美国卡内基梅隆大学博士，入选国家重大人才工程青年项目。曾任卡内基梅隆大学博士后研究员、优步先进高科技组自主工程师、三菱电机实验室研究科学家。已发表国际顶级期刊和会议论文近百篇，包括Nature子刊，TPAMI、NeurIPS、CVPR等。获IEEE信号处理协会最佳年轻作者论文奖、IEEE GlobalSIP最佳学生论文、ASME SHM/NDE委员会最佳期刊论文亚军。研究方向包括图机器学习、联邦学习、群智交互。
报告内容

本次分享中，陈思衡博士为我们重点介绍了他的两方面工作：图信号采样理论以及图网络在多智能体协同方向的应用。
在报告中，陈思衡博士首先为我们介绍了图结构数据的特点，并为我们梳理了图网络过去十年以来的相关进展。他指出，图结构具有灵活性，可以用于表示现实世界中的许多事物，如社交网络、组织、车辆等等。早期的图网络研究发源于数据挖掘与数据分析。而随着数据的不断积累和研究不断深入，图结构逐渐成为机器学习和数据挖掘领域的主流方向之一。同时，图结构也应用于自动驾驶等领域，如多智能体协作、车路协同等。
接着，陈思衡博士为我们介绍了他的工作：图信号采样理论。他指出目前主要存在两种处理图结构的方法：一是信号处理角度出发，二是深度学习与图结构的结合。其中，信号处理更加注重频谱域的使用；而深度学习则更加关注数据分析的能力。在这些方法中，图信号采样与恢复是非常重要的。图信号采样与恢复的主要任务就是从自然生成的复杂未知的图结构数据中，采样有限的样本，并希望这些样本在恢复算子作用后与原先的图数据尽可能接近。这项任务有着非常广泛的应用。例如通过少量传感器安置获得的数据重建城市的交通环境等。
陈思衡博士首先讲述了信号采样与恢复的经典方法，即奈奎斯特采样定理。它是将连续的信号通过傅里叶变换变换到频域下，在带宽限制的条件下对信号进行处理。带宽代表了信号的平滑性。频带较窄的信号在时域中表现平缓，采样所需速率较低；而频带越宽，说明信号变化速度越快，就需要更高的速率去采样。
由此，陈思衡博士将这个理念扩展到了非规则的图结构数据中。关键问题是在图结构中采样哪些点能够获取更多的信息量。陈思衡博士指出这个问题可以在频域得到很好的解决。他设计了一个特殊的傅里叶变换，即对图的带权邻接矩阵进行特征值分解。这种图傅里叶变换与传统的傅里叶变换有着相似之处：在图退化成线性链图时，特征值分解出的特征向量恰好对应着传统离散傅里叶变换的结果。不仅如此，这种变换蕴含着更多的信息：较小特征值对应的图更加平滑，而较大特征值对应的图变化剧烈。这进一步引申出了图信号带宽的概念，即在图傅里叶变换下后的图信号，若在某一行以下的数值均为0，则该行为带宽带。
在这样的定义下，陈思衡博士将图信号采样与恢复的问题形式化成了一个优化问题。将采样算子作用于一个带限图信号，再将采样后的信号重建，最小化原始信号与重建信号的区别。
基于此，陈思衡博士提出了完美重建算子的理论。即当采样算子与图傅里叶变换算子的乘积的秩等同于带宽时，必定存在完美的重建算子。该理论的原理在于，采样算子相当于从图傅里叶变换算子中选取了特定行，而这些特定行线性独立。因此能够采样得到最能表征空间的点。
陈思衡博士同时指出，对于特别庞大的图网络，这种确定性的采样方法计算代价非常昂贵，因此需要采用概率采样方法。概率采样存在着内生性问题，即随着采样样本数的增长重建误差收敛的速率存在着上下界。基于此框架，陈思衡博士研究了三种采样类型。第一种是均匀采样，即每个节点被采样的概率相同。第二种是experimentally-designed采样，这种采样根据图结构进行了一定的设计。第三种采样是active采样，不仅基于图结构进行设计，还可以依赖反馈实时迭代调整采样策略。陈思衡博士研究表明，均匀采样的误差收敛速率远慢于后两种采样方法，但后两种采样方法在收敛速率上没有本质区别，即反馈没有给采样带来本质上优势。这从理论上解释了反馈式采样不成功的数学原因。
然而，上述理论的条件是信号存在带宽限，而真实世界中的数据往往不存在这样的完美限制。陈思衡博士采用了深度学习框架对真实数据进行了处理。他为我们介绍了他在2020年的工作Vertex Infomax Pooling。这项工作的本质是采样节点，使得每个节点的信息量最大化。它通过互信息自监督学习，具有较好的可解释性，并在很多实验上取得了SOTA结果。
基于上述的图降采样理论，陈思衡博士及其团队将其应用于许多的具体场景之中，例如社交网络，交通网络等等。陈思衡博士重点展示了自动驾驶定位方面的应用。在定位过程中需要将传感器扫描到的点云与高精地图进行匹配，而这些点云通常是非常庞大的城市级别尺寸的点云。ICP是标准的点云匹配方法，但它具有计算复杂度高的问题，导致定位速度变慢。针对这个问题，陈思衡博士采用对点云降采样的方案，希望找到这些点云中最具代表性的点。他对点云建立邻域图， 并应用了experimentally-designed图降采样算法，结果在精度和效率上都有着很大的提升。
接下来，陈思衡博士为我们介绍了第二部分内容——多智能体车路协同。车路协同也构成了一个关系网，每个节点可能是一辆车或一个路边单元。而从传感器观测的角度来说，没有一个对场景的观测是完美的，很多时候存在着遮挡的问题，需要协作才能获得更好的观测。传统的协作研究集中在决策层或控制层，不能应对复杂动态的真实环境。陈思衡博士的工作重点关注于前端的感知层方面的有效协作。
陈思衡博士指出，感知层的协作最关注的是如何尽可能去传递有意义的信息。在带宽有限、通信限制的情况下，使用更少的通信量来获得更大的信息分布意义的提升。陈思衡博士从三个方面去解决这个问题：与别人交互什么信息？与哪些人交互？如何进行信息融合？在这个框架下，陈思衡博士为我们介绍了Where2comm工作，架构包括信息的准备，交流图的建立、信息的交换与信息的融合，希望能够学习到对带宽信息的最优利用。
这篇工作在多个数据集上进行了实验。相比于其他的方法，该方法能够节省十万倍的通信量获得类似甚至更好的协同效果。且其他的方法只能在特定的带宽下工作，而该方法能够兼容不同的通信容量。陈思衡博士及团队同时发现，多轮信息交互会获得更加全面的探测信息，因此收获更好的效果。
在报告的最后，陈思衡博士总结了他所讲的两方面工作：图信号采样与车路协同。它们虽然看上去差异性很大，但具有非常类似的精神内核，即都是在一个图结构下，怎么去利用这个非规则的图结构数据与现实中不同物体相关的联系，去做一些有意义的应用与探索。演讲结束后，陈思衡博士与参会的博士和同学们对报告中的技术细节和领域前沿进展进行了热烈的讨论。
文稿撰写 / 张逸飞
排版编辑 / 王影飘
校对责编 / 黄   妍
AIR长期招聘人工智能领域优秀科研人员
点这里关注我们
关于AIR
清华大学智能产业研究院（Institute for AI Industry Research, Tsinghua University，英文简称AIR，THU）是面向第四次工业革命的国际化、智能化、产业化的校级研究机构。AIR的使命是利用人工智能技术赋能产业升级、推动社会进步。通过大学与企业创新双引擎，突破人工智能核心技术，培养智能产业领军人才，推动智能产业跨越式发展。
AIR于2020年由多媒体及人工智能领域的世界级科学家、企业家张亚勤院士创建。
智慧交通（AI＋Transportation）、智慧物联（AI＋IoT）、智慧医疗（AI＋Life Science）是清华大学智能产业研究院的三个重点研发方向。

关于DISCOVER实验室

DISCOVER实验室是AIR科研方向的横向支撑实验室之一，旨在利用机器学习、计算机视觉、计算机图形学、机器人学、运筹学、高性能计算与人机交互等前沿技术，围绕车路协同（V2I）、用户直连制造（C2M）、实验室自动化等各应用场景，构建以感知、规划、控制与决策为核心的智能算法平台体系，结合涵盖设计、工艺、计算与人因的智能系统架构体系，研究人-机-边-云四位一体的人在环路多智能体协同系统，开展具有创新性的算法理论与系统架构研究，紧贴以制造业为主的国家重点行业需求，攻克以人为中心的场景理解、人在环路机器学习、仿真到现实迁移与柔性制造工艺等关键技术瓶颈，与产业界深入合作探索自动驾驶与柔性制造的范式转移路径并实现关键技术验证与落地，推动我国在智慧交通和智能制造领域的产业升级。
往期精彩：
聂再清：科学研究需要大胆设想，不用刻意避免大模型幻觉
AIR快讯｜BioMedGPT-10B全球首个开源可商用百亿参数多模态医药大模型
AIR学术｜姚权铭：用于结构化数据的大语言模型——路在何方
倒计时10天：「数字经济人才培养项目」首期班即将起航
张亚勤：将价值观放在技术之上拥抱AI
AIR观点｜聂再清：“智能涌现”和“触类旁通”能力，助力大模型成为人工智能时代的操作系统
未来已来｜Max Tegmark & David Krueger教授谈AI发展影响和风险
多项第一！AIR@LONDON 机器人探索之旅
祝贺！AIR四篇论文获Nature & Cell子刊录用
《科技日报》刊发张亚勤院士等联合署名文章《算力网络的第一个十年》
继续阅读
阅读原文