曾毅团队Patterns封面文章：面向类脑智能和脑模拟的全脉冲神经网络开源平台“智脉” | Cell Press论文速递

人脑能够自组织地协同数百项认知功能，灵活适应复杂多变的环境。如何通过计算建模整合多尺度生物可塑性法则来探索自然智能并构造人工智能是类脑人工智能和计算神经科学领域共同关注和面临的重要挑战。脉冲神经网络（Spiking Neural Network, SNN）作为第三代神经网络，从编码方式、学习法则、信息传递和处理机制等多个角度模拟了生物脑，具有更强的生物可解释性，更加适合建模大脑的各项认知功能及复杂的结构。另一方面，由于脉冲序列的稀疏表征，也使得脉冲神经网络具有潜在的低能耗特征。现有的脉冲神经网络平台有的涉及到精细的生物神经元模型、大规模神经网络模拟、神经网络动力学等较为细节的脑认知功能和结构模拟，有的关注于生物突触可塑性启发的脉冲神经网络建模，有的从深度学习领域借鉴经验来提升深度脉冲神经网络的性能。

已有的脉冲神经网络平台一般是面向人工智能或者面向脑模拟两者之中的一者作为目标，中国科学院自动化研究所曾毅研究员领衔的类脑认知智能实验室深度挖掘两者的异同，研制并发布了同时支持类脑人工智能与脑模拟的基于全脉冲神经网络的新一代人工智能开源开放平台：类脑认知智能引擎“智脉(BrainCog)”。BrainCog以多尺度神经可塑性及更具生物合理性的类脑信息处理机制为核心，将探索智能计算本质与构建类脑人工智能的科学探索深度融合。

BrainCog 支持多种有监督和无监督的训练法则，如基于突触可塑性的STDP，基于代理梯度的反向传播算法，和基于ANN到SNN的转换算法。同时在小样本以及噪声环境下取得突出的适应性。论文共同作者赵东城助理研究员介绍：“基于BrainCog完成的前馈连接与反馈连接结合的SNN，通过反馈连接引入全局的误差信号，提升了基于局部优化法则的脉冲神经网络在深层网络结构上的性能与稳定性，达到了与基于反向传播算法训练相抗衡的性能。”论文共同作者博士生申国斌介绍道：“基于BrainCog中实现的具有生物合理性的时间空间调节算法，能够训练深层的SNN模型，并在MNIST、CIFAR10、ImageNet等图像分类任务上，以及DVS-CIFAR10、DVS-Gesture等事件分类任务上，与其他的SNN相比，有先进性能的同时，展现出明显的低能耗。”论文共同作者博士生李杨介绍道：“基于BrainCog构建的ANN-SNN转换模型充分结合了反向传播算法与脉冲神经网络的优势，使SNN能以更少的能耗和更高的效率在图像分类、目标检测和语义分割等任务中完成同ANN相媲美的性能。”论文共同作者博士生董一廷说：“使用BrainCog构建的基于STDP算法的无监督脉冲神经网络模型，借由具有生物可解释性的优化算法和多种自适应机制，极大提升了网络性能与效率。实现了在少量样本下相同模型结构下优于ANN的性能。”

“BrainCog涵盖多感觉融合的概念学习框架，协同概念的多感觉信息与文本信息，构建类人的概念学习计算模型。该模型所生成的概念表征能够更为接近人类，助力概念学习的下游任务发展。”论文共同作者王寓巍助理研究员介绍道。“受量子叠加态的启发，BrainCog集成的量子编码使用时空脉冲序列表征图片像素信息和背景信息，将量子叠加态脉冲信息输入到多房室神经元模型，实现了SNN识别背景翻转的图片。”论文共同作者孙胤乾助理研究员说。

“BrainCog既支持对生物脑决策机理的建模，也包含解决复杂决策任务的类脑脉冲神经网络的构建。在对脑决策机理建模方面，BrainCog建模了哺乳动物脑前额叶皮层到基底神经节到丘脑再到运动皮层的决策神经环路，在这条环路上不同的脑区及子脑区之间相互协同又各司其职，”论文共同作者赵菲菲副研究员介绍道，“具体来说，BrainCog分别从结构和功能两个方面对脑的决策机理进行建模。在结构方面，我们调用BrainCog基类中的LIF神经元或简化的H-H神经元模型作为建模脑区的基本单元，通过赋予不同子脑区还有脑区之前的兴奋性、抑制性连接，我们构建了基底神经节脑区基类，再协同其他脑区实现了一个多脑区协同的类脑决策脉冲神经网络模型。在功能方面，我们调用BrainCog中的STDP，奖励调控的STDP来动态地调整网络的突触连接强度，由此实现了在与环境交互中的快速决策。”“此外，基于BrainCog实现的神经元和脑区模块，实现了脉冲神经网络在复杂任务上的决策功能，比如深度强化学习上的应用，BrainCog实现了脉冲神经网络DQN模型，基于多房室脉冲神经元和神经元群体编码的类脑深度值分布强化学习模型，实现了视觉输入情况下类脑决策脉冲神经网络的学习与优化，在Atari游戏上效果好于传统基于ANN的深度强化学习模型。”论文共同作者孙胤乾助理研究员介绍。

“BrainCog初步实现了利用脉冲神经网络控制人形机器人运动。受大脑运动控制机制的启发，BrainCog构建了包括前运动皮层（PMC）、辅助运动区（SMA）、基底神经节和小脑功能的多脑区协同机器人运动脉冲神经网络模型，并应用于人形机器人弹奏钢琴。”论文共同作者孙胤乾说。

“BrainCog通过融合多神经可塑性和群体编码机制进行知识表征和推理。利用类脑的音乐记忆和风格创作模型实现了音符序列的知识表征和记忆，可以生成具有不同风格的乐曲。”论文共同作者梁倩副研究员介绍到。“序列生成SNN实现了对符号序列的表征与记忆，并可根据不同的规则对符号序列进行重构。常识表征SNN将常识知识库编码进SNN，可据此网络完成概念化知识生成后续认知任务。因果推理SNN将因果图编码为脉冲神经网络，实现了演绎推理、溯因推理等认知任务。”论文共同作者方宏坚博士介绍。

论文共同作者赵宇轩副研究员和博士生赵卓雅说：“BrainCog实现了一种具有生物合理性的脑启发的社会认知脉冲神经网络模型。该模型使得智能体初步地具备了理解自我和他人的能力，能够通过多机器人镜像自我识别测试并且降低了智能体交互过程中的安全风险。前者是社会认知中自我感知的经典实验，后者则是社会认知中心理揣测（Theory of Mind）实验的变体。”

“BrainCog实现了果蝇线性、非线性决策和PFC工作记忆功能的模拟。在果蝇线性和非线性决策模拟中，BrainCog验证了非线性抉择环路在两难抉择下的赢者通吃行为，得到了与果蝇生物学实验一致的结论，相应算法还应用到了无人机平台使其获得类脑决策能力。”论文共同作者赵菲菲副研究员介绍。论文共同作者张倩副研究员和博士生杜骋骋用BrainCog实现的PFC网络，在不改变网络结构的情况下，使用人类神经元代替啮齿类动物神经元可以显著提高图像输出的准确性和完整性，这证明了生物脑结构的演化不仅仅体现在神经元和脑区尺度连接结构的演化，还体现在神经元这个基本计算单元的信息处理能力方面的优化。

BrainCog可以模拟不同规模的生物脑结构，从微环路到皮质柱到全脑结构模拟。基于解剖到成像的多尺度连接数据，BrainCog对不同类型哺乳动物脑进行多尺度模拟，构建了包含不同类型点神经元的鼠脑模拟器、猴脑模拟器（12.1亿神经元、1.3万亿突触，1/5猴脑规模）、人脑模拟器（规模达8.6亿脉冲神经元，2.5 万亿突触，1/100人脑规模）。

“基于BrainCog平台的基础组件及认知功能，BORN初步提供了一个基于人形机器人和情感驱动的乐曲创作和演奏应用。该应用需要协同BrainCog中的感知与学习功能来实现视觉情感的识别、知识表征与推理功能来创作乐曲，运动控制功能来实现乐曲的演奏，最终实现了多认知功能协同的人形机器人情感驱动的音乐创作和演奏。”论文共同作者鲁恩萌研究工程师介绍道。

赵东城，中国科学院自动化研究所类脑认知智能实验室助理研究员。研究方向为类脑脉冲神经网络、类脑深度神经网络。目前已在Patterns、IEEE TVLSI、Scientific Data、Neural Networks、Information Sciences、AAAI、IJCAI等发表论文多篇。

赵菲菲，中国科学院自动化研究所类脑认知智能实验室副研究员。研究方向为类脑决策、发育及演化脉冲神经网络。目前已在Patterns、IEEE Transactions on Cognitive and Developmental Systems、Neural Computation、Scientific Reports、Cognitive Computation、Frontiers in Neuroscience以及人工智能领域重要国际会议IJCAI等发表论文多篇。

申国斌，中国科学院自动化研究所类脑认知智能实验室2021级博士研究生，导师曾毅研究员。主要研究方向为类脑脉冲神经网络可塑性建模。目前已在Patterns，Information Sciences, ACM ToMM等发表论文多篇。

董一廷，中国科学院自动化研究所类脑认知智能实验室2020级博士生，导师为曾毅研究员。研究方向为类脑脉冲神经网络优化方法。目前已在Scientific Data、Neural Networks、Patterns等发表论文多篇。

鲁恩萌，中国科学院自动化研究所类脑认知智能实验室研究工程师。主要研究方向为类脑具身认知智能、类脑伦理道德决策等。目前已在AI and Ethics、Cognitive Computation、Frontiers in Neurorobotics/Neuroscience/Computational Neuroscience等发表论文多篇。

张倩，中科院自动化所类脑认知智能实验室副研究员，主要从事类脑认知计算建模，尤其是工作记忆计算建模，已在Patterns、IEEE TVLSI、Scientific Reports、Frontiers in Neuroscience等期刊发表多篇论文。

孙胤乾，中国科学院自动化研究所类脑认知智能实验室助理研究员。研究方向为脉冲神经网络，类脑量子计算，类脑感知与决策，类人机器人等。目前已在iScience、Patterns、Frontiers in Neuroscience等发表论文多篇。

梁倩，中国科学院自动化研究所类脑认知智能实验室副研究员。主要研究方向为类脑脉冲神经网络，类脑音乐学习，类脑音乐创作。目前已在Patterns、Frontiers in Computational Neuroscience等发表论文多篇。

赵宇轩，中国科学院自动化研究所类脑认知智能实验室副研究员。研究方向为类脑认知计算建模、高等认知功能模拟。目前已在Patterns、iScience、Frontiers in Neuroscience、Cognitive Computation等期刊发表多篇论文。

赵卓雅，中国科学院自动化研究所类脑认知智能实验室2019级博士研究生，导师为曾毅研究员。研究方向为类脑心理揣测与决策模型。目前已在Patterns、Frontiers in Neuroscience等发表论文多篇。

方宏坚，中国科学院自动化研究所类脑认知智能实验室2017级博士毕业生，导师为曾毅研究员。主要研究方向为类脑脉冲神经网络、符号表征、因果推理等。目前已在Patterns、Frontiers in Computational Neuroscience、IJCNN等发表论文多篇。

王寓巍，中国科学院自动化研究所类脑认知智能实验室助理研究员。研究方向为类人概念学习计算模型、类脑脉冲神经网络。目前已在Cognitive Computation, Frontiers in Computational Neuroscience, Frontiers in Systems Neuroscience, Scientific Reports等期刊发表论文多篇。

李杨，中国科学院自动化研究所类脑认知智能实验室2019级博士生，导师为曾毅研究员。研究方向为类脑脉冲神经网络优化方法。目前已在Patterns、Scientific Data、Neural Networks、Information Sciences、IJCAI等发表论文多篇。

刘鑫，曾任中国科学院自动化研究所类脑认知智能实验室助理研究员，从事脑模拟相关研究。目前已在Cognitive Computation等期刊发表多篇论文。

杜骋骋，中国科学院自动化研究所类脑认知智能实验室2021级博士研究生，导师曾毅研究员。主要研究方向为类脑认知智能、工作记忆建模。

孔庆群，中国科学院自动化研究所类脑认知智能实验室副研究员。研究方向为类脑视觉、连续学习等。目前已在Neural Networks、IEEE Transactions on Cognitive and Developmental Systems、Frontiers in Neuroscience 等发表论文多篇。

阮子哲，中国科学院自动化研究所类脑认知智能实验室研究工程师。研究方向为类脑生成式人工智能及类脑认知智能各应用平台的实现与开发。

毕韦达，中国科学院自动化研究所类脑认知智能实验室研究工程师，主要负责脑模拟可视化。

论文原文刊载于Cell Press细胞出版社旗下期刊Patterns上，点击“阅读原文”或扫描下方二维码查看论文

推荐阅读