值得信赖的搭档:AI 软件可确保驾驶员安全并专注于前方路况

by Padmavathy Subramanian

NVIDIA DRIVE IX 驾驶舱感知软件可提供高级驾驶员监控、个性化、舱内情景理解和直观的 AI 助手。

编者注:这是我们 NVIDIA DRIVE Labs 系列的新发布文章,它从工程学的角度探讨了自动驾驶汽车所面临的个别挑战,以及 NVIDIA DRIVE 如何应对这些挑战。单击此处,阅读我们的所有自动驾驶相关文章。

即使高级驾驶员辅助系统能够自动执行更多驾驶功能,人类驾驶员也必须集中精力管控好方向盘,并建立对 AI 系统的信任。

传统的驾驶员监控系统通常不了解驾驶员的认知状态、行为或其他活动等微妙线索,而这些线索可以指明驾驶员是否已准备好接管驾驶控制。

NVIDIA DRIVE IX 是一个可扩展的开放式驾驶舱软件平台,提供 AI 功能,可实现全方位的舱内体验,包括采用增强现实和虚拟现实的智能可视化、对话式 AI 和内部感知。

驾驶员感知是该平台的一个关键要素,它使 AV 系统能够确保驾驶员保持警觉并关注路况。它还使 AI 系统能够执行更直观、更智能的驾驶舱功能。

在本期的 DRIVE Labs 专题中, NVIDIA 专家展示了 DRIVE IX 如何借助各种检测功能感知驾驶员注意力、活动、情绪、行为、姿势、语音、手势和情绪。

DNN 方法

面部表情是需要进行解读的复杂信号。一个简单的皱眉动作或眼神变化可能具有多种含义。

DRIVE IX 使用多个 DNN 来识别人脸,并解读车辆乘客的表情。第一个 DNN 会检测面部本身,第二个 DNN 则识别基准点或参考标记,例如眼睛位置、鼻子等。

基于这些基础网络,各种 DNN 发挥作用,确定驾驶员是否正在关注路况,或者是否需要 AI 系统执行其他操作。

GazeNet DNN 通过检测驾驶员眼睛的矢量并将其映射到道路上来追踪视线,从而检查他们是否能够看到前方的障碍物。SleepNet 用于监测疲劳程度,区分眼睛是睁开还是闭着,通过状态机确定疲劳程度。最后,ActivityNet 用于追踪驾驶员的活动,例如手机使用情况、双手是否离开方向盘以及驾驶员是否关注路况。 DRIVE IX 还可以检测驾驶员是否正确坐在驾驶座上,以专注路况。

除了驾驶员注意力之外,单独的 DNN 还可以确定驾驶员的情绪,这是衡量驾驶员能否安全驾驶汽车的关键指标。从基本人脸检测和基准点网络接收数据后, DRIVE IX 可以将驾驶员的状态分类为快乐、惊讶、平和、厌烦或生气。

它还可以判断驾驶员是在眯眼还是在尖叫,指明驾驶员的可见度或警觉性以及精神状态。

可定制的解决方案

汽车制造商可以利用 DRIVE IX 中的驾驶员监控功能,开发基于 AI 的高级驾驶员理解功能,以个性化汽车驾驶舱。

汽车可以进行编程,在驾驶员的注意力从道路上移开时提醒驾驶员;如果驾驶员的情绪高度紧张,驾驶舱可以通过调整设置来缓解驾驶员的情绪。

除了驾驶员监控,还有更多其他功能。上述 DNN 与手势 DNN 和语音功能共同支持多模态对话式 AI 服务,例如自动语音识别、自然语言处理和语音合成。

这些网络可用于舱内个性化和虚拟助理应用程序。此外,基本人脸识别和人脸关键点模型可用于基于 AI 的视频会议平台。

随着自动驾驶技术的发展, DRIVE IX 的驾驶员监控功能有助于在驾驶员和 AI 系统之间建立信任,从而打造更安全、更愉快的智能汽车体验。