10月14日中午，浙江大学双脑中心副主任、求是高等研究院研究员王跃明教授在医学院综合楼705带来了主题为“Dynamics Decoding Models for Cortical Neural Signals in Motor BMI (皮层运动脑机接口中的动态脑信息解析研究)”的Lunch Talk学术交流报告。
脑机接口将衍生出
一批颠覆性技术

“将大脑的信息读出来，把外部的信息输入进去，形成一个闭环。”王跃明教授用一句话揭示了脑机接口的概念。
早在1958年就已经有科学家针对大尺度运动控制进行了探索，而1999年微丝技术的诞生进一步让脑机接口技术成为可能。由于运动的可验证性等原因，过去20年的研究主要以“手”与“臂”动作的解析和控制为主，控制尺度相对较大；近几年的研究则逐渐向解析精细运动的方向发展，如通过手指运动解析文字、通过解析口面运动合成或解码语音等。脑机接口是交叉研究的前沿，已成为下一轮人工智能重要发展趋势，对推动脑科学发展有重要意义。同时，脑机接口也将衍生出一批颠覆性技术，有望成为未来战略性新兴产业制高点。
自主研发脑控机械臂
摆脱物理辅助
2020年1月，王跃明教授团队通过脑机接口技术使瘫痪多年的患者实现了脑控机械手臂完成进食、饮水及握手等动作。利用核磁共振技术，在受试者想像运动过程中定位初级运动皮层的激活区域，在该区域相邻位置植入两个Utah微电极阵列（手柄区及2mm外各一个电极阵列）。基于单阵列96通道电极获取的信号，团队提出了新颖的脑网络动态分析方法与多模型自适应集成的动态集成方法，实现了在线解码，从而完成对机械手臂的控制。
挑战与创新：
构建长时稳定的
动态解码模型
由于脑信息噪声、组织包裹、神经可塑性以及完成同种运动不同通路的影响，神经发放信息与运动参数的映射表现为一个动态过程。因此，如何构建长时稳定的动态解码模型依然存在一大挑战。
脑信息模式的动态变化特性主要表现为两个方面：一是脑信息加工过程的多样性导致脑连接动态变化，二是脑神经可塑性引起的神经发放模式不稳定；两者均导致解码模型难以长期有效。
针对第一个问题，研究团队提出了基于长短时记忆神经网络（LSTM）的格兰杰因果模型，实现了信息传输时间变化下的脑连接建模。团队采用长短时记忆神经网络拟合神经节点间的信号关系，优化门机制（gate），由“门”动态决定多长历史时间的信号可参与当前时刻信号的拟合。该机制由数据本身驱动，随着时间的推移，可自动确定适合长度的信号输入当前拟合过程，克服神经元不同传输时长的影响。
在此基础上，研究团队提出了基于黎曼流形的脑连接矩阵关系分析方法，实现了非欧向量空间中脑连接矩阵变化规律建模。采用黎曼流形表征脑连接矩阵，在黎曼流形的切空间计算点与点（矩阵与矩阵）的关系。基于这一连接矩阵的有效度量，传统的非监督聚类、时序模型均可更方便的用于连接变化建模，该方法在估计脑信息传递源时AUC性能提升了约5%。
而对于第二个挑战，团队提出了多模型自适应集成的动态解码方法。该方法可根据不同脑连接和脑电模式自动生成解码器，以适应当前脑电模式。其解码精度更高、工作时间更长。具体方法是构建一个模型池，包含大量解析能力较弱的解码器，针对任意时刻脑信号，基于上一时刻的集成参数（先验）和当前时刻观察值（脑连接和脑电模式，贝叶斯似然），从池中选择多个解码器构建组合解码器。组合参数由先验与似然动态决定并实时更新，权重越大在当前组合解码器中发挥更大的效果。相比于长短时记忆神经网络和卡尔曼滤波器，该模型解码的性能分别获得了7.6%和6.2%的提升，并且性能保持时间更长。上述解码模型应用于脑控运动系统，极大提升了临床皮层脑机接口的性能。
报告结束后，在座师生就脑机接口的技术细节及未来应用与王跃明教授进行了充分的讨论。王跃明教授为提问的师生们一一解答，并交换了广泛的意见。
报告的最后，王跃明教授也表示期待与神经科学领域的专家，进行更多学术上的交叉合作，相互促进，产出更多创造性成果。
精彩问答节选
Q
目前芯片植入接触到的神经元集群是局部随机的，如果能结合高分辨扫描技术，预先获得脑区的连接信息与知识，是否能够达到植入更精确以及简化计算的目的？
王跃明教授：
是的，如果已知神经元集群编码方法与传输知识，相当于提高了信号的质量并提供了指导计算模型的先验知识，这样就能有效提高解码性能、简化计算。
Q
脑机接口操控机械臂进行抓、握、摸等一系列动作，依靠的是系统对单一动作的解析吗？
王跃明教授：
不是，对手臂来说，这些都是连续运动，但每一个动作都可以简化为运动参数，如速度和方向。所以，通常是依靠建立神经发放与这些运动参数的映射实现操控的。
Q
对于相同动作受不同模式信号操控这一现象，假设有三种信号模式控制同一动作，这三种信号彼此之间是独立的还是联动的呢？
王跃明教授：
这是一个很好、很值得思考的问题。完成同一动作的三种神经集群(Population)是否独立或关联，一般现有研究认为是关联的。我们下一步，准备详细研究这个问题。
Q
这个模型主要解析运动皮层的信号，同时运动皮层也接受大量的感觉信号输入。这一过程中有前额叶等多脑区的调控，这一模型中也提到了动态变化的现象，这些变化可能跟感觉、情绪、动机决策都有关系。如果把这些信息都整合下来会不会更好？
王跃明教授：
融入这些信息肯定是有帮助的，但找到问题的切入点不容易。例如，如果想把视觉信息融合进去，需量化视觉信息，采集这些信息刺激产生的感觉区神经信号，并且可能需要较大的数据量，才可以挖掘出稳定的关系。
Q
屏幕击球测试可以模拟速度和方向，但是如何模拟对力量的控制？手在抓握的过程中力量是不同的，现在机器人弹钢琴也有了，如何控制机械臂力量的大小呢？
王跃明教授：
这是与感觉反馈相关的问题。上个月刚好有一篇Science论文，报道如何把感觉信息通过电刺激反馈回大脑，使大脑有机械手臂操控的触觉。举个简单的例子，机械手拿鸡蛋和铁块的所需的力量是不同的。在机械臂上安装传感器，抓握时将传感器力和触觉的信号传回感觉皮层，这样可以帮助抓握中对待不同质地的物体。
文：刘晖 黄佳睿
图：宋梓铭
排版：刘晖 
编辑：傅洁莹
往期推荐 ·
双脑中心大讲堂第8期 | 郭爱克院士做《从“天问”到“脑问”的智能之路》报告
双脑学术盛宴 | 第一届脑与脑机融合前沿科学中心学术年会召开
浙江大学
脑与脑机融合前沿科学中心
长按二维码关注我们
继续阅读
阅读原文