NVIDIA DRIVE IX 驾驶舱感知软件可提供高级驾驶员监控、个性化、舱内情景理解和直观的 AI 助手。
编者注：这是我们 NVIDIA DRIVE Labs 系列的新发布文章，它从工程学的角度探讨了自动驾驶汽车所面临的个别挑战，以及 NVIDIA DRIVE 如何应对这些挑战。单击此处，阅读我们的所有自动驾驶相关文章。
即使高级驾驶员辅助系统能够自动执行更多驾驶功能，人类驾驶员也必须集中精力管控好方向盘，并建立对 AI 系统的信任。
传统的驾驶员监控系统通常不了解驾驶员的认知状态、行为或其他活动等微妙线索，而这些线索可以指明驾驶员是否已准备好接管驾驶控制。
NVIDIA DRIVE IX 是一个可扩展的开放式驾驶舱软件平台，提供 AI 功能，可实现全方位的舱内体验，包括采用增强现实和虚拟现实的智能可视化、对话式 AI 和内部感知。
驾驶员感知是该平台的一个关键要素，它使 AV 系统能够确保驾驶员保持警觉并关注路况。它还使 AI 系统能够执行更直观、更智能的驾驶舱功能。
在本期的 DRIVE Labs 专题中， NVIDIA 专家展示了 DRIVE IX 如何借助各种检测功能感知驾驶员注意力、活动、情绪、行为、姿势、语音、手势和情绪。
多 DNN 方法
面部表情是需要进行解读的复杂信号。一个简单的皱眉动作或眼神变化可能具有多种含义。
DRIVE IX 使用多个 DNN 来识别人脸，并解读车辆乘客的表情。第一个 DNN 会检测面部本身，第二个 DNN 则识别基准点或参考标记，例如眼睛位置、鼻子等。
基于这些基础网络，各种 DNN 发挥作用，确定驾驶员是否正在关注路况，或者是否需要 AI 系统执行其他操作。
GazeNet DNN 通过检测驾驶员眼睛的矢量并将其映射到道路上来追踪视线，从而检查他们是否能够看到前方的障碍物。SleepNet 用于监测疲劳程度，区分眼睛是睁开还是闭着，通过状态机确定疲劳程度。最后，ActivityNet 用于追踪驾驶员的活动，例如手机使用情况、双手是否离开方向盘以及驾驶员是否关注路况。 DRIVE IX 还可以检测驾驶员是否正确坐在驾驶座上，以专注路况。
除了驾驶员注意力之外，单独的 DNN 还可以确定驾驶员的情绪，这是衡量驾驶员能否安全驾驶汽车的关键指标。从基本人脸检测和基准点网络接收数据后， DRIVE IX 可以将驾驶员的状态分类为快乐、惊讶、平和、厌烦或生气。
它还可以判断驾驶员是在眯眼还是在尖叫，指明驾驶员的可见度或警觉性以及精神状态。
可定制的解决方案
汽车制造商可以利用 DRIVE IX 中的驾驶员监控功能，开发基于 AI 的高级驾驶员理解功能，以个性化汽车驾驶舱。
汽车可以进行编程，在驾驶员的注意力从道路上移开时提醒驾驶员；如果驾驶员的情绪高度紧张，驾驶舱可以通过调整设置来缓解驾驶员的情绪。
除了驾驶员监控，还有更多其他功能。上述 DNN 与手势 DNN 和语音功能共同支持多模态对话式 AI 服务，例如自动语音识别、自然语言处理和语音合成。
这些网络可用于舱内个性化和虚拟助理应用程序。此外，基本人脸识别和人脸关键点模型可用于基于 AI 的视频会议平台。
随着自动驾驶技术的发展， DRIVE IX 的驾驶员监控功能有助于在驾驶员和 AI 系统之间建立信任，从而打造更安全、更愉快的智能汽车体验。