加入高工智能汽车专业行业群（自动驾驶，车联座舱，商用车），加微信：17157613659出示名片，仅限智能网联软硬件供应商及OEM。
座舱监控（In-cabin monitoring）是近年来兴起的一种新应用，通过实时监控整个车内环境来提高驾驶及乘客的安全。

基于计算机视觉、深度学习和人工智能技术的不断融合，座舱监控也是完整自动驾驶能力的必要配置之一。
一套完整的座舱监控功能包括，可以分析并提供座舱内所有人员身份识别、姿态分析、位置检测以及一系列生物特征的识别。同时基于这些数据采集、分析，来为各种系统功能提供感知依据。
驾驶员监控，是早期座舱监控的主要功能之一。从最早期通过其他非视觉传感器采集数据，到视觉系统的导入，来监控驾驶员的分心及注意力状态，同时提供人脸识别的身份认证功能。
比如，Euro NCAP已经决定从今年起将DMS（驾驶员监控）作为五星评级中的必备安全功能指标。
配备DMS的ADAS系统，可以判断驾驶员注意力是否集中，检测驾驶员是否丧失行为能力，甚至通过面部表情来推断驾驶员的情绪状态。
此外，通过扩展的乘员监控系统（OMS），检测座舱内其他人的感知数据来进一步提高安全性。通过OMS，系统能够确定是否有儿童或宠物以及是否使用安全带。此外，还可以监测儿童或宠物是否遗留在车内。
同时，DMS和OMS还可以提供更多的便利功能。比如，根据驾驶员及乘客的的偏好调整车内的相关功能设置，包括座椅、空调、音乐娱乐等等。
更重要的是，这是一个全新的细分市场。根据高工智能汽车研究院监测数据，目前国内市场在售车型/款的疲劳提醒功能配置比仅为15.16%，而实际搭载率更是低至10%左右。
这其中，接近90%的功能方案为基于传统的非视觉传感器，而从去年开始，搭载基于视觉感知的DMS车型开始陆续上市。高工智能汽车研究院预测，未来三年将呈现DMS搭载率快速上升的趋势。
一、DMS，趋向多传感融合
毫无疑问，不管是自动辅助驾驶还是未来的自动驾驶，这些技术在某种程度上都提高了驾驶安全性。但在这个过程中，无法忽视的正是如何帮助实现这一目标所需的基本技术支持。
以特斯拉为例，过去数起事故已经充分证明驾驶员监控系统的重要性。尽管，现有车型已经搭载了基于方向盘的力传感监控，但这种传统方式并不等同于对驾驶员注意力的监控。
许多特斯拉车主可能会在视觉上或精神上走神，即使他们的手放在方向盘上。典型的矿泉水瓶或者橘子夹在方向盘上骗过系统的案例，已经充分证明了这一点。
过去，对于自动驾驶系统的分级定义，更多关注车辆本身对道路环境的智能感知能力，但仍然忽视了一个非常重要的因素：驾驶员。一个有限的自动驾驶系统最需要知道何时/如何转移控制权。
除了确保驾驶员的手放在方向盘上，还能确保系统了解驾驶员的认知状态及其控制车辆的能力。实现这一功能的唯一方法是使用摄像头。在通用汽车推出的Super Cruises上，搭载的红外感知系统已经得到监管机构的认可。
然而，衡量司机的意识状态是非常微妙的，而且具有很多的不确定性（误报）和挑战性（漏报）。这不仅仅是关于监控司机在某个特定时间点的头部位置，还包括识别和测量司机的意识状态。
比如，第一代的Super Cruises驾驶员监控系统就存在一些硬件问题导致监测功能在一部分场景下会失效。
目前，嵌入式图像处理器也在不断针对DMS系统场景和功能定义进行性能的优化，同时包括立体摄像头、ToF等等多种技术也在验证。
不过，硬件方案的创新只是解决问题的一个方面。理论上，监测头部位置、面部、眼球是有用的，但基于更多的感知数据采集无疑将产生最准确的评估司机意识状态的能力。
比如，将传统的车身传感器数据与摄像头以及ADAS系统进行融合，通过了解个人的驾驶行为、模式和独特的特征就可以提前识别和预警异常行为。
这意味着，适用于ADAS及更高级别自动驾驶的驾驶员监控系统，并不只是一个简单的视觉感知，更是一个多传感器融合系统。
近日，全球人工智能视觉解决方案厂商Eyesight宣布，与以色列阿里尔大学的M-Lab合作，研究驾驶员在驾驶时的状态，并为Eyesight提供独特的数据集。
阿里尔大学建校时间不长，但在以色列政府的强力支持下发展非常迅速，近年来在脑科学、机器人等领域颇有一些名气。
M-Lab是一个跨学科的研究合作项目，由该所大学的计算机科学、机器人和人类学领域的专家组成，重点是设计用户界面、反馈系统和驾驶员干预模式。
此次合作目的是，通过集成到测试车辆中的传感器阵列来测试真实的驾驶场景。通过传感器收集数据和道路上驾驶环境以及监测驾驶员的状态来分析驾驶员心理变化、警觉性、疲劳(心率、呼吸、脸和眼动跟踪）以及注意力(脸和眼动跟踪)。
除了为该项目提供技术支持，Eyesight也希望利用测试和来自各种传感器的数据来提取司机状态的有价值的数据模型，从而进一步评估、监控和改进其驾驶员监控解决方案。
这背后，实际上也凸显出基于视觉的DMS解决方案的发展趋势，即基于多个系统之间的传感器融合和数据协作为系统提供更重要的可靠决策，而不仅仅是基于单一的视觉监控传感器数据。
此外，尤其是从普通的驾驶员疲劳监测，到L3级别自动驾驶需要的驾驶员接管能力的评估，DMS系统的更重要还在于检查司机是否有能力重新控制车辆。
这些前沿的技术研究，实际上更明确了驾驶员监控不是一项简单的功能（行业现状就是鱼龙混杂）。站在智能座舱和自动驾驶的系统层面，DMS是一个关键的安全功能，但一直被行业忽视。
这恰恰也是此前行业对于是否推出L3级自动驾驶系统的核心症结所在。比如，Uber两年前的致命自动驾驶测试事故，除了感知和决策的问题之外，对于司机的实时监控成为了系统设计的重大缺陷和安全隐患。
这意味着，对于驾驶员注意力的充分认知，将是整个汽车行业进入ADAS下一阶段功能演进的关键一步。
二、OMS，雷达方案突出
实际上，DMS系统的另一个延伸，就是OMS。
Euro NCAP宣布，从2022年开始对儿童车内遗留检测（child presence detection）打分，“这种功能可以检测出一个孩子独自留在车内，并向车主或紧急服务部门发出警报，以避免中暑死亡。”
美国国家公路交通安全管理局（NHTSA）也在制定新规则，强制汽车安装“预警系统”，以提醒驾驶员检查后座，尤其是儿童。
最传统的OMS功能之一，就是安全带警示功能，基于一些传感器来监测是否有系好安全带。还有OCS（乘员分类系统），基于压力传感器和一个独立的ECU。
OCS不仅仅检测重量，还读取乘客的座位位置，并确定他们是否系安全带。它也有一个安全带张力传感器，来识别当儿童座椅安装时产生的压力。
不过，传统方式仍然存在很多问题。比如，OCS不能正确地感知乘客，导致安全气囊被打开或关闭，而实际情况恰恰相反。一些体型较小的乘客，取决于坐在座位上的位置和方式。
在一些情况下，OCS又过于敏感——比如，在座位上放一个小的背包，有时候也会触发系统报警。
当然，如今最直观的方式，就是基于摄像头的监测，来确定儿童或成人是否坐在座位上，并利用这些信息相应地启动被动安全等功能。
视觉方案是很多企业很自然的第一个选择。然而，不同于驾驶员位置，副驾驶及后座乘客位置存在很多特殊问题，比如物理遮挡、隐私监管等等。
这个时候，基于摄像头的视觉方案并非唯一选择。比如，基于超声波或者毫米波雷达的方案，优势在于对光照条件不敏感、对运动高度敏感、对速度、距离和到达角的高精度估计等，最关键的是不造成任何隐私问题。
现代汽车美国公司在去年提供了一项可选功能，称为“后乘员警报”(Rear ant Alert)，从2019年上市的圣达菲和2020年上市的Palisade开始提供。
这套功能在汽车的前部舱内增加了超声波传感器来检测后座的运动物体。如果没有对可视或音频警报的响应，它还会向车主手机发送一条文本消息。
不过，相比超声波，毫米波雷达的方案日趋成为主流方案之一。现代摩比斯近日表示，已经成功开发一种通过雷达探测后排乘客的系统，并计划向全球汽车制造商进行推荐。
毫米波雷达的好处在于，提高了检测精度。此外，雷达可以穿透衣服（解决遮挡问题）并测量各种生物信号，包括呼吸、心率等具体的健康指征。同时，基于一定的机器学习算法，具有足够的精确度来区分成人、婴儿和宠物。
佛吉亚在去年也提出了类似的方案，基于雷达传感器并连接到驾驶舱域控制器，如果婴儿无人看管，汽车就可以向车主或应急机构发出警报。
利用雷达的数据，该功能可以计算出乘员的重量和类型。这样就不需要单独的昂贵的座位传感器来检查乘客是否系好了安全带。
通过传感器监测心率和呼吸速率，车辆甚至可以在事故发生后分享重要信息，以提醒救援机构有多少人在车内以及他们的位置。
这得益于近年来毫米波雷达技术的不断演进。高分辨率雷达意味着一系列关键属性的改善：物体识别、多普勒和方位或角度分辨率。
除了像NXP、英飞凌等传统雷达芯片巨头在加快高分辨率芯片研发，大量的初创公司也在高分辨率市场发起挑战。
此外，还有一些厂商推出了生物特征监测传感器，欧姆龙在去年宣布开发出一种“呼吸速率传感器”，使用无线电波来检测车辆中是否有乘客。
与传统的超声波探测方法相比，这种传感器可以捕捉到更小的身体运动，从而精确地探测到身体细微运动的物体，比如熟睡的孩子。
可以预见的是，车内多传感器技术的融合也正在成为新一轮数字座舱智能化的关键要素，为乘客提供各种安全和便利的技术将会很快导入量产车市场。
继续阅读
阅读原文