现实与仿真之间的差距越来越小。
NVIDIA 创始人兼首席执行官黄仁勋在 GTC 大会主题演讲中宣布推出 NVIDIA Omniverse Replicator，这是一种生成具有正确标注的合成数据的引擎，用于训练 AI 网络。在演示中，黄仁勋先生展示了 Omniverse Replicator 在使用 DRIVE Sim 开发自动驾驶汽车时所展示出的强大性能。
DRIVE Sim 是一种基于 Omniverse 构建的仿真工具，它可以利用平台的许多功能。DRIVE Sim 生成的数据用于训练构成自动驾驶汽车感知系统的深度神经网络。对于 NVIDIA DRIVE 团队而言，合成数据已成为其自动驾驶汽车开发工作流程中一个有效且关键的组成部分。
为自动驾驶汽车的感知提供支持的深度神经网络由两个部分组成：算法模型和用于训练该模型的数据。工程师花费大量时间在算法改进上。但是，由于现实世界如数据收集不全、耗时且成本高昂的限制，因此作为该深度神经网络另一方的数据方面仍然不够完善。
这种不平衡往往导致 DNN 开发停滞不前，阻碍数据收集进展而使之无法满足模型需求。通过合成数据生成工具，开发者可以更好地控制数据开发，适应模型的特殊需求。
虽然现实世界数据是自动驾驶汽车训练、测试和验证的关键组成部分，但它仍带来了重大挑战。用于训练这些网络的数据由车队上的传感器在车辆实际行驶过程中收集。数据一经捕获，必须标记有正确的标注。标记数据工作由成千上万名标记员手动完成 – 这个过程既费时又成本高昂，而且可能不准确。
通过合成数据增强现实世界的数据采集，可以消除这些瓶颈问题，同时使工程师能够针对 DNN 开发采取数据驱动型方法，显著加快自动驾驶汽车开发并改进现实世界中的结果。
仿真到真实的域差距问题
合成数据生成是一种用于 AI 训练的知名工具 – 研究人员早在 2016 年就一直在电子游戏（如“侠盗飞车 (Grand Theft Auto)”）上做试验，以创建数据。
然而，与电子游戏不同，感知 DNN 的质量受到数据与现实世界之间保真度的严重影响，对数据集的训练若不转换到现实世界，则实际上可能会降低网络的性能。
这种仿真到现实的差距主要表现在两个方面。外观差距对应于仿真图像和真实图像之间的像素级差异，这是由模拟器生成数据的方式引起的。渲染器、传感器模型、3D 资产的保真度和材料属性都可能会导致出现这种差距。
内容差距可能是由于缺乏现实世界的内容多样性以及仿真和现实世界背景之间的差异造成的。当一个场景的背景与现实不匹配时，就会出现这些不一致情况。例如，现实世界中包含脏乱的道路、凹损的汽车和路边的紧急救援车辆，所有这些都必须在仿真中重现。另一个重要因素是行为者（如交通和行人）的行为 – 现实的交互是现实数据输出的关键所在。
应用 Omniverse Replicator 以缩小仿真到真实的域差距
Omniverse Replicator 旨在缩小外观和内容差距。
为了缩小外观差距，DRIVE Sim 利用 Omniverse 的 RTX 路径跟踪渲染器为摄像机、雷达、激光雷达和超声传感器生成基于物理性质的传感器数据。传感器数据中包含了现实世界的效果，包括 LED 闪烁、动态模糊、滚动快门、激光雷达束发散和多普勒效应等现象。这些详细信息甚至包括高保真车辆动态，这一点很重要，如车辆在激光雷达扫描过程中的运动会影响产生的激光点云。
此传感器方程的另一端便是材料。DRIVE Sim 中的材料经过物理模拟，可获得精确的光束反射。DRIVE Sim 包括一个内置的激光雷达材料库和一个即将建成的雷达和超声波材料库。
解决内容差距的主要方法之一是在高保真度下拥有更多样化的资产。DRIVE Sim 利用 Omniverse 的功能连接到各种内容创建工具。但是，生成适当的场景也要求背景正确无误。
接下来，Omniverse Replicator 使用称为域随机化的功能组织数据以执行快速场景操作。DRIVE Sim 包括用于此功能和场景构建的工具，这些工具在维护现实世界背景的同时创建大量不同的数据。由于 Omniverse Replicator 还具有时间准确性和确定性，数据集可以可重复的方式创建。
丰硕成果
通过 NVIDIA 的合成数据，DRIVE Sim 在加速感知开发方面已经取得了显著成果。
一个示例是迁移到新的 NVIDIA DRIVE Hyperion 传感器集。NVIDIA DRIVE Hyperion 8 平台包括用于完整生产自动驾驶汽车开发的传感器。然而，在这些传感器可用之前，NVIDIA DRIVE 团队能够使用合成数据为平台提供 DNN。DRIVE Sim 生成了数百万张图像和真值数据用于训练。因此，一旦安装传感器，网络便已准备好部署，从而节省了长达数月的宝贵开发时间。
在另一种情况下，用于检测可驾驶车道空间的 PathNet DNN 在车辆未处于车道中心时难以确定路径。收集此类数据很困难，因为车辆部分驶出车道非常危险（而且违反了 NVIDIA 的数据采集策略）。通过基于数百万条驶离车道中心行驶路径的合成图像对网络进行训练，DRIVE Sim 显著提高了 PathNet 的准确性。
用于检测交通灯的 LightNet 和用于检测和分类路标的 SignNet 也是如此。由于缺乏数据，这些网络很难从极度角识别交通灯，并在某些条件下对路标进行错误分类。工程师能够设计数据来增强现实世界的数据集并提高性能。
通过对这两个 DNN 进行涵盖这些问题领域的合成数据训练，性能得到迅速提高，消除了开发过程中的瓶颈问题。
看到人类肉眼所不能看到的事物
合成数据改变了 DNN 开发的本质。它具有时间效益和成本效益，为工程师们提供了按需生成定制数据集的自由。
开发者可以指定天气、照明、行人、道路碎石等元素。他们还可以控制元素的分布，例如在给定数据集中指定卡车、公共汽车、汽车和摩托车的特定组合。
合成数据提供了人类无法标记的正确的标注。例如深度信息、速度和多传感器追踪。这种正确的标注信息可以显著增强感知性能。
它还有助于标记难以标记（有时是不可能实现）的组件。例如，对于在汽车后方行走的行人，如果被遮挡，人们将无法正确对其贴标。但是，通过模拟，即使人们看不到信息，正确的标注仍自动可用且具有像素级准确性。
清理前方道路
作为合成数据生成工具的模块化、开放且可扩展的平台，Omniverse Replicator 为深度学习工程师带来了强大的新功能。而 DRIVE Sim 则使用这些新功能为自动驾驶汽车开发者提供模拟测试中的终极灵活性和效率，
以便工程师创建所需的数据集以加快工作进程。
其结果是 DNN 更准确，开发时间缩短，快速将更安全、更高效的自动驾驶技术应用于道路。
了解更多关于 DRIVE Sim 的信息，并立即加快开发更安全、更高效的交通。