NVIDIA以自动驾驶开发大赛3D Occupancy Prediction Challenge冠军的身份亮相CVPR2023。
此次角逐冠军的400多份参赛作品共来自10个地区近150个团队。
3D占用预测是预测场景中每个体素（即3D鸟瞰网格上的各个数据点）的状态的过程，体素可以被识别为自由、占用或未知三种状态。
3D占用网格预测对开发安全、鲁棒的自动驾驶系统至关重要。该功能利用NVIDIA DRIVE平台提供支持的先进卷积神经网络（CNN）和Transformer模型为自动驾驶汽车（AV）规划和控制堆栈提供信息。
NVIDIA学习和感知高级研究科学家Zhiding Yu表示：“NVIDIA的获奖方案包含两项重要的先进自动驾驶（AV）技术。该方案展示了具有出色鸟瞰感知能力的先进模型设计，以及具有多达10亿个参数的视觉基础模型和大规模预训练在3D占用预测方面的有效性。”
在过去几年中，自动驾驶感知已从处理2D任务，比如检测图像中的物体或自由空间等，发展到根据多个输入图像对3D世界进行推理。
NVIDIA 自动驾驶汽车应用研究总监兼杰出科学家 Jose Alvarez 表示，“这项技术能够灵活、精确而细致地呈现复杂交通场景中的物体，对于达到自动驾驶的安全感知要求至关重要。”
Yu 将在太平洋时间6月18日（星期日）上午10点20分举行的 CVPR 端到端自动驾驶研讨会以及太平洋时间6月19日（星期一）下午4点举行的自动驾驶视觉专题研讨会上介绍 NVIDIA Research 的获奖作品。
CVPR 研讨会委员会表示，除了赢得该挑战赛的第一名之外，NVIDIA 还荣获本次活动的创新奖，以表彰其“在开发视图转换模块方面的新洞察”。与之前的方法相比，其“性能大幅提升”。
阅读 NVIDIA 关于参赛作品的技术报告。
通过3D占用预测提升车辆安全性
虽然传统 3D 物体检测（通常使用 3D 边界框来检测和呈现场景中的物体）是自动驾驶汽车感知领域的一项核心任务，但它具有局限性。例如缺乏表现力，边界框可能无法呈现足够的真实世界信息。它还需要为所有可能的物体进行分类标准和 ground truth 的定义，甚至包括在现实世界中很少见的物体，比如可能从卡车上掉落的道路危险物。
相比之下，3D 占用预测能够为自动驾驶汽车的规划堆栈提供丰富信息，这对于端到端自动驾驶是必不可少的。
软件定义汽车可以不断通过升级，以添加经过证明和验证的新研发成果。研究成果（例如在 CVPR 上得到认可的研究）所带来的先进软件更新，正在推动实现新功能和更安全的驾驶能力。
NVIDIA DRIVE 平台可为汽车制造商带来加速车辆生产的解决方案，为确保安全可靠的自动驾驶汽车开发提供了从汽车到数据中心的全栈式硬件和软件。
CVPR挑战赛介绍
CVPR的3D占用预测挑战赛（3D Occupancy Prediction Challenge）要求参赛者开发在推理过程中只使用摄像头输入数据的算法。参赛者可以使用开源数据集和模型，从而推动对数据驱动算法和大型模型的探索。主办方提供了一个基准沙盒，以便参赛者将最新的先进3D占用预测算法应用于真实世界场景。
NVIDIA 参加 CVPR
NVIDIA 将在 CVPR 上发表近30篇论文和演讲。将在会上讨论自动驾驶的专家包括：
- Jose Alvarez 将在端到端自动驾驶研讨会：新兴任务和挑战研讨会上讨论自动驾驶汽车中的新3D感知挑战；并在嵌入式视觉研讨会上讨论优化用于实时推理的大型深度模型。
- NVIDIA深度学习总监Nikolai Smolyanskiy将在端到端自动驾驶研讨会：感知、预测、规划和模拟上讨论自动驾驶汽车的实时交通预测。
- NVIDIA杰出工程师Robin Jenkin将在与CVPR同时举行的 OmniCV 研讨会上讨论鱼眼相机的图像质量。
- NVIDIA自动驾驶汽车研究部门的研究科学家Xinshuo Weng将在自动驾驶视觉主题研讨会上讨论用于自动驾驶的视觉解决方案。
CVPR于6月18日至22日举行。查看议程上的其他讲座并进一步了解NVIDIA在CVPR 上的情况。
专题图片由OccNet和Occ3D提供