Krishna V. Shenoy：脑机接口与意念手写｜2021腾讯科学WE大会视频回顾

11月6日，2021腾讯科学WE大会正式举行，6位全球顶尖的“天字号”科学家与我们分享了洞察宇宙“天机”的学问。

小WE姐近期将陆续放出嘉宾的原声双语字幕版视频和演讲全文，欢迎关注！

如何实现用“意念”打字？一种方法是，通过脑机接口技术，让瘫痪患者在脑中想象移动光标，从屏幕上的键盘选取字母，组成单词。斯坦福大学教授Krishna V. Shenoy和团队却另辟蹊径，让患者在脑中想象手写字母，收集神经数据对人工智能算法进行训练，让人工智能可以识别并提前预测患者想要打出的字母。这种方法比传统方法的打字速度快了一倍！Shenoy教授将在演讲中为我们讲述人脑与机脑交互的背景、现状和未来——

以下为演讲全文：

今天很高兴有这个机会，与大家分享我们对于脑机接口的最新思考与研究。

很小的时候我就对这个领域产生了兴趣，当时我的外公Leslie Wolf罹患多发性硬化症已有40年了，之后在上世纪80年代去世了。当时他已无法正常地走路或活动，甚至吐字也不清。看着外婆照顾他的时候，我就急切地想找到方法去帮助那些失去自理能力的人。

接下来我要分享的研究工作，是关于如何倾听和读懂大脑的语言，并由此帮助有相关障碍的病患。过去20年可植入治疗设备在全球得到了更好的普及，其他研究团队的成果也表明，人工膝盖人工关节甚至人工起搏器已经得到了广泛的应用。而放眼未来几十年，我们相信与人脑的对接会是重点领域之一。

人脑大约3磅重，它很神秘，也是神经科学的研究对象。而通过连接大脑去帮助瘫痪或有其它疾病或损伤的病人，有可能彻底改变整个医学体系。

先做一下背景介绍。目前有几种治疗系统可以向大脑输入信息。我来解释一下。比如人工视网膜能帮助失明的人重见光明。我们可以把一个微小的芯片，就像手机或电脑芯片一样，植入眼中。它会像镜头一样采集光线，然后将光信息转化为电刺激信号，输入人脑中负责视觉的部分并重建视力。

人工耳蜗也是一样的原理。人工耳蜗可能是截至目前最成功且应用最广泛的神经假体技术。它的工作原理是通过刺激耳蜗周边不同的区域来重建听力。令人欣喜的是，先天性失聪患者甚至可以学习说话了。

过去10-15年的另一个热点就是深部脑刺激器。它由一些几英寸长的电极组成，通过神经外科手术植入大脑深层的一个叫做“苍白球”的区域。这个像起搏器一样的装置会输出电流，电流会阻断该区域的异常神经活动，从而让帕金森病患者停止颤抖。

这些都是非常有说服力的案例。这些治疗装置都是通过向大脑传递信号电子能量光能量甚至电磁能量，来帮助病人。

那么反过来会是怎么样的？反向研究在癫痫的治疗上有所体现。我们不仅是向大脑输入信号，同时也读取大脑发出的信号。我们将癫痫控制装置植入人脑，感知即将发生的高强度癫痫脑电波，然后做出决策去刺激大脑的另一个部分，从而阻止和避免癫痫的突然发作。

这是向全新的治疗系统的过渡，即读取大脑发出的信号。我们也在深部脑刺激器上开始了这方面的尝试。癫痫控制装置不仅可以向大脑发出电流，除了刺激电极（向大脑发出信号的电极），它还配有可以读取大脑信号的电极。

以此为背景，我们来展望一下未来。想象一下未来我们能够治疗多种神经损伤和疾病，而方法就是对几千甚至几百万个神经元进行记录。人脑中约有860亿个神经元，目前我们只能记录其中的几百或几千个。但随着纳米科学和其它工程材料学的发展，未来我们有能力对几百万个神经元进行记录。

其次，我们可以通过新的方法刺激几千甚至几百万个神经元。不只是电流刺激，还可以通过“光遗传学”的光学方式进行刺激，最终研制出可植入人脑的超低功率治疗系统。这些系统无需有形的电线，它们是微型的，植入大脑浅皮层。这些可以通过微电子和集成电路芯片产业的革命加以实现。

而这一切的基础就是科学。我们必须搞懂的一个神经科学问题是，不同的信号是在人脑的什么部位被编码的以及如何被编码的。这也涉及了人类精神生命的核心。

因此我们现在的研究重点就是读取大脑信号，比如大脑如何让肢体移动或者让人能够看到或听到。还有其它各个相关的领域，比如精神疾病和精神障碍等。

接下来我会详细说说一些重要的问题，并解释其中的原理，从而让大家真正感受到它们的重要性。

全世界的瘫痪病人不计其数，我们认为也许可以通过植入皮质内脑机接口来帮助他们。“皮质内”的意思就是在大脑皮层的内侧。大脑皮层是大脑外部的组织，人类的大脑皮层要远多于低等动物。而脑机接口的原理是，在某种程度上让脑信号与计算机信号互动。

这张照片上的人叫Christopher Reeve，他是上世纪80年代美国电影角色“超人”的扮演者。上世纪90年代中期他从马上跌落，导致颈部和脊髓严重受伤。作为公众人物他的情况也为人所熟知。他无法行走或抬起胳膊，更不幸的是，由于必须使用机械式呼吸机，他吐字不清也无法顺畅地沟通。

但我们还是想问一个老生常谈的问题，我们能否通过新的更强有力的方式来倾听大脑的活动？然后问他本人，他是否还想抬起手臂？也许那些（抬起手臂的）脑信号只是无法通过受伤的脊髓或信号通路传递到手臂而已。

那么我们就来研究一下是否可行。这是一张皮质内脑机接口侧视图。脑机接口可以用于控制义肢瘫痪的手臂以及计算机接口。它的工作原理是这样的：如果我想拿起某样东西，比如这个示例中的一杯咖啡（就像很多人每天早餐的那杯咖啡），我知道杯子在哪，因为我可以看到杯子。这条信息首先传递到大脑后部，然后向前传送到运动皮质区，在那里计划和详细指令信号通过脊髓传递给手臂的肌肉。这样我就可以伸手去拿起那杯咖啡。

如果由于损伤导致这种正常活动无法实现，那么可以通过微型芯片来解决。芯片就像指甲或阿司匹林药片那么大，4毫米见方。我们通过神经外科手术把芯片植入大脑外层，然后聆听单个神经元的电子活动。当一个神经元想和另一个神经元沟通时，这个神经元会发出一种叫做“动作电位”的微弱电子脉冲。当你想要触达不同的方向时，这些电子脉冲的样式会相应地变化。后面我会更深入地解释。

我们可以通过芯片收集这些电信号，并对其进行实时的数学计算，就像手机和电脑的工作原理一样，我们称其为“解码算法”。解码算法可以在定制的硅芯片上运行，这些芯片是高度定制化的，因此能耗极低。这不仅有助于延长植入装置的电池寿命，同时意味着我们不用担心装置过热的问题。

芯片可以读取并使用这些信号，就像第一个示例展示的那样，继续传递信号并刺激瘫痪手臂的不同肌肉，让手臂恢复活动功能。如这张图片展示的，手臂可以拿起咖啡并送到嘴边饮用，也就是通过刺激瘫痪的手臂让其恢复活动功能。

另一种方式是让机械手臂或义肢具有活动功能。这里展示的是使用者正在试图移动自己的手臂，这不需要几天几周甚至几个月的训练，你只需要想着去移动你的右臂。如果我们的装置有效，那么我们就能读取这些信号并让机械手臂做出相应的动作，比如拿起并饮用一杯咖啡，我想很多人都很喜欢喝咖啡。

而过去十年，我们的研究重点是第3种选项：一种与电脑直接沟通的解决方案。原因在于，我们想一想，某天我们在手机或平板电脑上花了多长时间，那会是一个巨大的数字。这是因为那是我们与这个世界的接口，并且这个接口会不断扩展，比如人工现实、虚拟现实、增强现实和元宇宙等等。所以与电脑互动是非常重要的。因为电脑可以与现实世界互动，那么我们能做什么？接下来我会对此进行深入阐释并做总结，同时播放一些瘫痪病人使用这些治疗装置的视频。

这里展示的电极阵列中的每个电极4毫米见方，共有100个微型电极，每个长度1.5毫米。这组电极阵列就是该研究领域的核心，它叫做“犹他电极阵列”（Utah Electrode Array），是我们从制造商Blackrock Microsystems那里采购的。它可以植入人脑，工作时间长达几年，可以为我们提供非常有用的信号。

现在我来展示一下电极阵列是如何植入人脑的。想象一下我们的大脑，通过手术在大脑上打开一个窗口，然后放入电极阵列，就像这里展示的那样。放置速度要非常快，以尽量降低对大脑的伤害。大概在大脑表皮以下1.5-2毫米处，这些电极的末梢紧挨着个体细胞和神经元。

观察其中一个电极，我们可以看到电压和时间脉冲。每次你想移动手臂的时候，你会从不同的神经元那里获得不同样式的反馈。比如当你想把你的右臂伸向右侧时，一个电极上的一个神经元每秒可能会发出许多相应的动作电位。但当你想把你的右臂伸向左侧时，刚才那个神经元可能不会发出任何动作电位，这样你就能立刻判断出是左侧而不是右侧。

这还不够。如果大脑还具有区别上下和内外的神经元，当大脑拥有一两百个神经元时，那么你能做的就不只是把手臂伸向右侧或左侧，而是对义肢或电脑屏幕上的光标进行精确的控制。

这就是如何对来自大脑的神经活动进行解码的方式。那么我们如何读取这些信号呢？就目前而言，每个电极都接通至小型连接器的不同面板上。连接器非常小且位于大脑之上，但我们可以想象一下不用这个连接器，各种活动仍然可以进行。我们可以用一个小型无线电发射器来替代，就像手机中的蓝牙或者WiFi装置。这就是微型芯片，这样头部皮肤可以保持完整，头发可以完好无损，因为外形还是很重要的。

接下来的最后一步就是，当我们想要在实验室或使用者家中记录这些信号时，我们会放置一个小型的信号扩大器，收集并放大这些极其微弱的信号，然后传输至电脑中进行解码。

我刚才所说的这些，完全有可能在不久的将来通过芯片得以实现。该领域的许多研究团队和企业都在为此而努力。

现在我们知道了如何去实现，那么我们的目的应该是什么？我们的目标应该是什么？

在与电脑和其它电子设备互动方面，我们需要提高这些皮质内脑机接口处理快速灵巧活动的性能。哪些事是人类可以做的很快的？哪些事是人类可以做的很灵巧的？

我提出这样的问题，是因为许多基础研究都来自于非灵长类动物，我们也确实取得了很多研究成果，但一旦涉及到人，一旦面对真实患者的诉求，我们的想法就会转变。我们想做出的是真正能够对人类产生帮助的成果。

这里展示的是通过使用现有的治疗装置，丧失沟通能力的患者每分钟可以表达出的单词数，比如吹吸气接口等，沿着轴线的许多点表示打字速度。当然说话是最快的沟通方式，这也是全球几个团队的主攻目标。

红点处是一个不久前表现最好的案例，使用者凭空想象去移动电脑屏幕上的光标并完成这个动作。我会展示一些相关的视频。最快打字速度可以达到每分钟8个单词。

第二个将要展示的视频来自于新近的一篇论文，我们让使用者尝试写字，而我们来解码这些字母并呈现出来，最后使用者的书写速度提高了一倍多，达到每分钟17-18个单词。

而对于语言交流而言，目前的治疗系统可以收集来自大脑表层的信号，并从字典中成千上万的单词中按照顺序进行选择。我们的目标是，了解个体神经元与说话之间存在怎样的关联，如何让人能够说出想说的任何单词，也就是所谓的“开放词汇”。

这是一张非常复杂的图表，我就不深入讲解了。我只阐述一下相关的步骤，让大家更容易理解。

这些都是经过测量的信号和数学，信号从电极装置发出，然后过滤功能可以消除一些噪音。我们对信号和绿色部分的解码模块的含义进行解读，然后这些信号用于控制这位T5志愿者面前的电脑的白色光标。

这是一位肌萎缩性脊髓侧索硬化症（ALS）患者，手臂和腿均瘫痪。那么我们如何帮助她在屏幕上打字呢？大家可以看到在这里电极阵列已经接入，她正坐在电脑屏幕前，所有字母都显示在屏幕上。这时我们问了她一个问题：“你是如何教孩子练习音乐的？”

工作原理是这样：她试着将右手伸向上下左右各个方向——其实我们在做这些动作时并不知道我们是怎么做到的，我们就是想着去那么做，然后就做到了。你就那么去想，直接试着去上下左右移动（即使你的手臂无法移动）。我们就是这样帮助患者控制光标在屏幕上的位置。

当她想要点击表示“选择该项”的信号时，字母会变成蓝色，然后在她打字的地方复制出来。她会试着收紧左手并移动手腕，类信号就可以作为点击信号。而我们帮助患者实现了非常快的打字速度。

我们测量打字速度的方式是这样的：比如我们给出一句话“when the sunlight shines strikes raindrops in the air”，让她打在屏幕上。我把字体放大，她就知道她需要打出的内容，这样就不用耽误时间去想你要说什么，而是直接打字。

这就是那套治疗装置，这是正常速度的视频。患者的打字速度约为每分钟32个正确的字母。比如我在键盘上打错了一个字母，我会去按删除键，而现在手臂瘫痪的患者也可以这么做。

这是T5志愿者的案例，接下来我再分享一下T6志愿者的案例。这位患者展示了如何通过脑机接口实现手写，这个行为是可重复的且可保持数年之久。

在移动手写义肢之前，我们需要一台平板电脑。我们在亚马逊下了单，购买了一台运行安卓5操作系统的Nexus 9平板电脑，我们没有改变任何设置，而我们实现了单词的手写和预测。

过去我们只关注于患者的原始表现，而在这个案例中她是这样做的：她看着平板电脑，而我们将平板电脑放大到电脑屏幕上，这样她就可以看得更清楚。

她曾是一位辛勤的园丁，所以她对兰花的信息更感兴趣，因此她进行了搜索并找到了导航菜单。请注意看，有些字母非常小，因此她需要进行很精确的控制。我们并没有开启放大模式，让字体变得更大，因为我们想测试一下治疗装置的精度和准确度的极限。

就像看到满屏文字的你我一样，患者觉得自己实际是想看些图片，于是返回到谷歌搜索页面，点击“图片”按钮，兰花相关的图片呈现了出来，最后选择了自己想看的那张。我们问她：“这张图片是你想选的那张吗？”而答案总是“是的。”就这样我们实现了通过相同的信号去完成页面浏览和其它各种操作。

这位患者也喜欢在钢琴上“打字”，也就是弹钢琴。大家可以看到她在移动并选择琴键。当然我们希望她的操作可以更快一些，但这已经展示出了更多可能性。对于正常人在平板电脑上的所有操作，患者现在也能完成了。

接下来的时间，我想分享来自于我们团队的Frank Willard博士最近的一些研究，关于手写的一些研究成果。

如果患者试着写出比如“hello world”，我们就能读取到那些信号。我们认为过去从没有人通过相同的电极阵列做同样的研究。现在我们可以解码指尖的轨迹运动，然后就可以在屏幕上打出“hello”。

我们的目的不是去完全重建笔迹，比如患者以前写的字母“h”是什么样的，我们只是想知道患者是想打出“h”还是“q”还是其它字母。这样就能让患者像我们用键盘一样打出自己想要的字母。

所以我们的方法就是，将两组电极阵列放入皮质运动区中负责手和手指的区域。首先我们让患者写出字母“a”，然后依次写出其它一些字母，一直写一段时间。这期间我们来收集神经数据，然后我们对递归神经网络进行训练，也就是机器学习和人工智能算法。

首先我们会自问，我们有机会成功吗？如果有，那么我们就应该能够帮助患者打出想要的字母。这是通过解码大脑来实现的。

这也是我们已经看到的，这是abc等26个英文字母，能够识别这些是字母很令人鼓舞。但还是那句话，我们的目的并不是让患者写出字体漂亮的字母，而只是想分辨出患者想打出哪个字母。这个案例告诉我们可能性很大，因为我们看到患者可以多次打出或写出不同的字母。使用者每写一个字母我们都会收集到一些小点，比如字母“s”有一些小点，字母“o”有一些小点，然后我们来对不同字母进行区分。

这是一个神经状态空间，我们看这个集群。我们可以分辨不同的集群，就像分辨夜空中不同的星群一样。这就是我们建立完整系统所需的强有力证据。

我来详细解释一下。例如你想写“paper”这个字，我们会记录来自约200个神经元的每一个动作电位和电脉冲，就像这个小长方形展示的那样。在短短20毫秒内，我们可以读取信息，然后通过经过训练的神经网络和机器学习算法来解读这些信息。而结果就是判断出使用者想要打出哪个字母，是a，b还是c。

在这个案例中，我们看到输出的结果是“tne paper”，我不知道“tne paper”是什么意思，但我想很可能是“the paper”。这确实是一个小小的错误。患者想打出的字母“h”错误输出为“n”，但这两个字母确实非常像，所以可能会被混淆。

现在我们可以做得非常好，我将在下一张幻灯片中进行展示。

机器学习可以让我们做得更好，我们可以在公开渠道找到各种语言模型的课程。这类数据库资源非常庞大，包括每两个字母组合在一起的所有可能性，因此我们可以将这些信息与大脑发出的神经信息相结合，在词汇搜索过程中将两者相互比对，然后更正错误。机器会说患者想打出的很可能不是“tne”，而是“the”，因为“the paper”是有意义的词组。这就像是电脑一样，就像我们使用的拼写和语法检查功能一样。

实际效果究竟有多好呢？这是一周的记录。通过使用我们的治疗系统，使用者每分钟可以写出约90个字母，这比之前用屏幕光标打字的速度快了一倍多（当时每分钟可以打出约40个字母）。错误率在5%左右，正确率95%。当我们加入了刚才我说的语言模型之后，错误率从5%降低至0.5%，说明未来还有巨大的提升空间。

我们来看这段视频。这是我们的T6志愿者，他上部脊髓受损，手臂和腿都无法动弹。出于试验目的，我们在患者头部放置了两组电极阵列，之后就摘掉了。患者看着屏幕上的一句话，然后试着写出每个字母。

我们来看一下整个过程，这是正常速度的视频。手写速度大概在每分钟90个字母，也就是17-18个单词左右。字母就像魔术般出现在屏幕上。

如果你看他的手，他的手并没有动，他只是在大脑中想象着写出这些字母。这说明我们已经可以很好地理解大脑的语言。

而这只是冰山一角。当未来数十年我们真的能够通过神经科学来解读大脑时，我们应该就能够在更多的领域做得更好。

最后我来说一下这个系统与过去的不同。在上方那个视频中，患者通过新的手写系统来打字，下方是三年前打字速度最快纪录的视频。比较这两段视频，可以看出在输出同一句话时，上方视频中患者的速度是下方的2倍。

这里体现出两个关键点：第一，由于这是用键盘或者手写，使用者可以写出任何字母（我们称其为“开放词汇”或“开放字典”）。我们并不是从成千上万的单词中进行选择，使用者可以打出任何想要的单词，这也是在不同情况下自然表达自我的核心要素。

第二，这两段视频都来自于T5志愿者，电极阵列已经植入3年了，而患者的打字速度提高了一倍多。也就是说这些电极阵列已经正常工作了很多年。

我们可以做的改进还有很多，许多企业和研究团队也在聚焦于此。我们乐于看到这样的努力，并希望能做出成绩。

作为总结，我们相信能够解码大脑活动的皮质内脑机接口正在快速进步，它带来了全新的与人脑对接的神经接口或沟通桥梁。它能耗很低，并可以通过神经学的发展进一步优化，此外新的脑机接口可以很好地控制2D光标，可以将使用者的打字速度提高一倍以上，就像刚才的案例中展示的那样。这也得益于神经科学和相关的机器学习与解码算法的进步，这些信号也可以用来控制机械手臂和瘫痪手臂的肌肉组织，最后这些全新的皮质内脑机接口可以将打字速度提高一倍多，而未来还有更多提升。

对于语言交流，就像我说的，在患者想要说话时，我们可以记录个体神经元发出的信号，而未来很可能会取得更大的进步。这还是得益于神经科学和相关的机器学习与解码算法的发展，因此科学与工程之间的紧密结合是非常重要的。

最后我想表达我的谢意，感谢所有曾经和正在并肩作战的学生和博士后，所有校友们，以及所有合作者们。还要特别感谢Jamie Henderson教授和Leigh Hockberg教授，我们像团队一样紧密协作，为患者开发这些治疗系统。

谢谢！