李红燕/洪申达Patterns：基于深度神经网络限制性更新策略的持续疾病诊断和预后研究

交叉学科

Interdisciplinary

随着医疗信息化的发展，基于医疗时序数据持续地进行疾病诊断和预后，可以有助于避免时间敏感性疾病和突发性传染疾病的恶化，保证患者及时救治，合理分配紧缺医疗资源。然而在医疗场景中，生命体征的复杂性和动态演化性限制了现有深度学习技术在持续诊断上的精度。另外，如何将深度学习模型难以显式表达的学习过程匹配到疾病特征和机制上，帮助医生更好地理解人工智能技术的决策过程，仍有待探索。

近日，北京大学李红燕教授和洪申达助理教授团队在Cell Press细胞出版社旗下Patterns期刊发表了题为“Continuous Diagnosis and Prognosis by Controlling the Update Process of Deep Neural Networks”的文章，首次提出了时序数据的持续分类概念，并设计了一种深度神经网络的限制性更新策略，缓解了深度学习模型在建模多种数据分布时的灾难性遗忘和过拟合问题，在多个真实医疗时序数据集上表现出优越的持续诊断和预后性能，为挖掘疾病特性、典型阶段、生物标志物提供了新思路。

长按图片识别二维码阅读原文

研究亮点

1.面向持续诊断任务首次提出了时序数据持续分类的概念

2.通过控制神经网络的参数更新来缓和灾难性遗忘和过拟合问题

3.在实现持续诊断和预后的同时发现了疾病发展典型阶段和生物标志物

研究介绍

不同于理论研究中的理想场景，现实医疗应用对深度学习技术有着特殊的要求。比如在重症监护中，仅实现单次诊断对于危重症患者来说是远远不够的。重症患者的生命体征被实时监测，需要对其持续地进行状态判别、病情诊断、预后来避免病情恶化、保证及时救治。

图1. 时序数据的持续分类任务（基于生命体征时序数据的持续诊断和预后）

这种时间敏感的应用要求对时序数据进行持续分类（Continuous Classification of Time Series, CCTS），即在得到时序数据的最终标签之前，持续地给出多次分类的结果。然而，深度学习模型在实现CCTS时普遍会遇到灾难性遗忘（后期精度高而前期精度低）和过拟合（前期精度高而后期精度低）问题，导致CCTS的整体精度较低。

图2. 用于深度神经网络的限制性更新策略

为了解决上述问题，研究团队提出了一种深度神经网络的限制性更新策略RU（Restricted Update Strategy of Neural Networks），可以显著提高深度学习模型在时序数据持续分类任务上的精度，为疾病特征挖掘、疾病分期、生物标志物发现提供了新的思路，并可泛化到其它场景的CCTS任务中。具体包括：

1.持续分类模式在诊断和预后方面比单次分类模式更有潜力。通过在脓毒症的持续诊断、新冠肺炎的持续死亡预测、重症监护病房的持续疾病识别这三种医疗分类任务上开展的实验表明，具有持续分类模式的RU明显优于仅有单次分类模式的方法以及其它可进行持续分类的方法，平均精度分别达到90%，97%，85%，效果最好。

图3. 持续诊断和预后的实验精度对比图

2.限制深度学习模型的更新过程可避免灾难性遗忘和过拟合问题。RU为不同时期的时序数据设定不同的模型更新参数以及参数的更新程度，使得因时序数据动态演化而形成的多种数据分布的分类映射在模型表示空间中不会相互冲突。在此策略下，上述三种医疗持续分类任务的平均精度均可提升至少7%。

图4. 限制更新策略下的模型参数更新过程的可视化图（更新阶段可匹配到疾病阶段上）

3.对持续预后的解释可揭示疾病发展阶段和生物标志物。通过可视化模型参数的限制更新过程，发现了脓毒症的4个阶段和生物标志物（心率、呼吸、动脉压、PaCO2、血小板计数、总胆红素、肌酐）、新冠肺炎的3个阶段和生物标志物（淋巴细胞、乳酸脱氢酶、超敏C反应蛋白、间接胆红素、肌酐）。不同的疾病发展阶段具有不同的死亡风险和标志物水平、体现出某些疾病特性，如特定的生命体征变化可反映急性脓毒症的发生，具有某些先天特征更易患脓毒症等。

图5. 脓毒症和新冠肺炎的疾病阶段划分和生物标志物

4.深度神经网络限制性更新策略RU可泛化并适用于其它场景。RU使已训练模型在新数据（不同性别的患者数据、不同年龄的患者数据、不同分布的数据）上的精度下降平均小于2%，并且与模型类型和具体分类任务解耦合，可作为深度学习模型的即插即用模块应用在其它场景的CCTS任务中。本研究测试了RU在气象预测、动作识别、以及多种模拟数据、信号、传感等时序数据上的表现，精度均优于基线方法。

通讯作者介绍

李红燕

教授

李红燕，北京大学智能学院教授，中国计算机学会数据库专委会委员、中国通信学会云计算与SaaS专委会委员、人民网人工智能研究院专家委员会首批特聘专家。长期从事数据管理、分析与挖掘和机器学习方向的科研教学工作。发表学术论文百余篇，出版学术专著、教材和译著多部。主持并完成国防科技创新特区项目以及多项国家自然科学基金项目。相关研究成果在军事、航空、航天、医疗、移动通讯等领域有实际应用。曾获2022年度ICT产业木兰奖，Institute of Physics（IOP）Publishing的2021中国高被引论文奖。

洪申达

助理教授

洪申达，北京大学健康医疗大数据国家研究院助理教授、副研究员、博士生导师，研究方向为电子病历、生理信号等医疗时序数据的人工智能算法研究及临床应用。目前主持国家自然科学基金青年科学基金项目1项，发表学术论文50余篇。担任SPJ Health Data Science期刊Associate Editor，担任KDD、ICLR、ICML、NeurIPS、The Lancet Digital Health、NPJ Digital Medicine等国际会议和期刊的PC Member或审稿人。曾获得PhysioNet Challenge 2017 First Place、第五届中国"互联网+"大学生创新创业大赛全国金奖等，相关产品已取得医疗器械注册证。

李红燕/洪申达Patterns：基于深度神经网络限制性更新策略的持续疾病诊断和预后研究 | Cell Press论文速递