在“物理 AI”从概念演示走向产线落地的进程中，半导体制造是对精度、实时性与安全合规要求最严苛的场景之一。前道晶圆检测覆盖光刻、刻蚀 / 薄膜沉积、化学 / 激光抛光、离子注入与退火、关键尺寸扫描、晶圆缺陷复查等多道关键工艺环节，检测设备需在严苛环境下对 4K 乃至 8K 级图像实现高通量、高精度的实时缺陷发现。
深圳市集和诚科技开发有限公司与 NVIDIA 的共同 实践，验证了一条可行路径：基于 NVIDIA Jetson AGX Thor (Blackwell 架构) 边缘 AI 计算平台，由集和诚自研整机 BRAV-7138 (220×160×80mm) 承载，在产线边缘实现“高速 AOI 检测 + 电子束图像分析 + 设备健康监控”的一机多工，并让 30B + 参数量的视觉语言模型 (VLM) 在产线本地稳定运行，打通“侦测 — 判定 — 控制”的毫秒级闭环。
一、前道晶圆检测的五重算力困局
半导体前道检测的复杂性在于：检测设备既要“看得清”，又要“判得准”，还要在洁净室环境下 7×24 小时不间断运行。集和诚在打造这套 AI 检测边缘计算平台方案时，主要面临五重挑战：
- 算力与内存瓶颈限制大模型部署。原有的 Jetson AGX Orin 平台最大仅支持 64GB 内存，在运行多模型级联、软 RAID 与加密开销时内存吃紧，32B 以上参数量的大模型无法在本地部署，难以实现实时的缺陷根因分析；若依赖云端传输，则带来严重的时延 与晶圆图像 IP 泄露风险。
- 检测精度与速度的矛盾。先进制程要求检出亚纳米级缺陷，而高分辨率图像 (4K 甚至 8K) 数据量巨大，算力稍纵即逝。
- 多模态数据融合困难。需要同时处理光学图像、电子束图像、光谱数据与工艺参数 (FDC 数据)，传统边缘设备难以实时融合分析。
- 罕见缺陷识别难。约 90% 的缺陷集中在常见模式，但剩余 10% 的罕见缺陷对良率影响最大；传统规则算法漏检率高，且模型迭代 (OTA) 无法满足产线不停机的热更新需求。
- 产线级多任务与严苛环境。晶圆图像包含核心 IP，需满足 SEMI、IEC 62443 等严苛安全合规标准；洁净室要求设备 7×24 小时连续运行，散热与稳定性要求极高 —— 单台设备难以同时兼顾“高速 AOI 检测 + 电子束分析 + 设备健康监控”。
二、基于 Jetson AGX Thor 的“一机多工”算力基座
整体方案采用 NVIDIA Jetson AGX Thor 边缘 AI 计算平台 (Blackwell 架构)，由集和诚自研整机 BRAV-7138 承载，单台设备可同时运行高速 AOI 检测、电子束图像分析、设备健康监控等任务，实现“一机多工”。
硬件平台与系统软件
NVIDIA Jetson AGX Thor 提供 128GB 统一内存，可加载晶圆多层叠加图像 (Layer Stack) 进行跨层缺陷关联分析 (如 TSV 对准偏差)；T4000/T5000 模组兼容设计，宽温 −20℃ — 60℃、宽压 9 — 36V，配备工业级网络与高速 I/O 接口、灵活的存储扩展与 RAID 支持，尺寸紧凑、便于安装拆卸。
系统层基于 JetPack 7.0 (Ubuntu 24.04)，提供 fTPM、LUKS 全盘加密、mdadm RAID 驱动、PVA/VIC 硬件加速接口与安全启动配置，构成满足 IEC 62443 要求的安全基线。
AI 推理与加速软件栈
- NVIDIA Holoscan Sensor Bridge：将相机与工艺传感器数据以超低延迟直接传输至 GPU 内存；
- NVIDIA DeepStream 8.0：多相机流管理、帧调度与流水线管理；
- NVIDIA VPI 4：调用 PVA 硬件加速器完成图像降噪、归一化等预处理；
- NGC：预训练缺陷检测模型的容器化部署；
- CUDA 13 + cuDNN + TensorRT 10：实现 FP4 量化、层融合与内核自动调优，提升推理吞吐，减少内存需求；
- NVIDIA Triton Inference Server：同时托管 YOLOv9 (高速初筛)、UNet (像素级分割)、PatchCore (未知缺陷检测) 与 Qwen2.5-VL (VLM 根因分析) 等多模型。
多模型分工：高速初筛与精细分析
高速初筛环节，YOLOv8-X/YOLOv9 目标检测快速定位潜在缺陷坐标；UNet 分割模型完成缺陷像素级分割，区分颗粒、划痕、图形断线、桥接等图案缺陷。
精细分析环节，Qwen2.5-VL/Qwen3-VL 以缺陷 ROI 图像为输入，输出缺陷细分类别、工艺根因的自然语言文本，形成工艺闭环；PatchCore、PaDiM 异常检测模型负责小样本未知缺陷检测，识别训练集中未见过的新型缺陷。
检测模型性能指标 (p95 时延与吞吐)
| 模型名称 | 输入分辨率 | p95 时延 | 吞吐 |
| YOLOv9 | 4096×4096 扫描切片 | 34 ms | 单流 35 — 42 FPS |
| UNet | 缺陷 ROI 1024×1024 | 24 ms | 55 — 65 ROI/s |
| Qwen2.5-VL/32B | 缺陷 ROI 512 — 1024 | 950 ms | 1.2 — 2 req/s (并发工况) |
| PatchCore | 缺陷 ROI 1024×1024 | 29 ms | 48 — 58 ROI/s |
三、从选型验证到产线级落地的六步实施
硬件设计与选型验证：完成基于 AGX Thor 的 BRAV-7138 整机方案规划与散热设计，支持 1 路万兆网、4 路千兆网、4 路 USB 3.2 (接触式温 / 湿度，气体流量等传感器) 及 2 路 CAN FD，适配宽温 (−20~60℃) 与宽压 (9–36V)，满足洁净室 EFEM 顶部横梁安装及严苛环境要求。
BSP 与安全基线部署：刷写 JetPack 7.0，激活 fTPM 与 Secure Boot，完成 LUKS 全盘加密、IPSec 网络加密及软 RAID1 配置，确保数据静态与传输安全，对齐 IEC 62443 标准。
预处理流水线调优：基于 VPI/Holoscan 对接多路工业相机，将图像降噪、ROI 裁剪卸载至 PVA 硬件加速器；验证高分辨率图像持续写入 RAID 存储的 IO 压力与系统稳定性。
模型适配与优化：针对 Thor 的 Blackwell 架构完成模型量化并生成 TensorRT 引擎；对 VLM 大模型落地显存专项优化，采用 AWQ 4bit 权重量化、分页 KV-Cache、Prefill/Decode 显存隔离调度，在精度损失可控前提下将显存开销降低约 30%；部署 Triton 推理服务，配置 MIG GPU 切片以隔离 CNN 检测任务与 VLM 大模型任务，防止 VLM 显存突增挤占检测任务资源；重构 DeepStream 流水线，实现多路图像预处理、检测、VLM 根因分析的级联调度。
系统集成：完成 SECS/GEM 网关对接、MES 良率数据回传与 OTA 更新链路；打通“采集 — 预处理 — Triton 推理 — 后处理 — RAID 落盘 — MES 上报”全链路，输出缺陷坐标、分类与 VLM 根因结果；原始缺陷图像加密保存至 RAID。
压力与稳定性测试：进行 7×24 小时满载压力测试，模拟全负载相机流、SSD 故障后 RAID 降级及模型热升级，确保产线零停机。
四、量化的成果与数据
推理吞吐与并发能力
- 初筛缺陷检测推理吞吐提升 1.8 — 3 倍；
- 支持 6 — 8 路高分辨率光路同时处理，较此前方案提升一倍以上。
检测质量与准确率
- 依托本地 VLM 根因分析，缺陷细分类别数量提升 2 — 3 倍；
- 未知缺陷检出能力提升 30%；在公开缺陷数据集 (WM-811K) 上分类准确率达 99.31%；
- 误报率与缺陷逃逸率下降 30% — 40%。
晶圆处理效率
- 单片晶圆检测推理耗时下降 45% — 65%；
- 单台设备每小时晶圆处理量提升 60% — 110%。
成本收益
- 减少配套服务器硬件成本；
- 减少网络建设与数据安全合规改造成本；
- 缩短问题排查周期，减少物料浪费。
五、客户引言
“在半导体前道晶圆检测领域，算力、内存和实时性是无法妥协的铁三角。NVIDIA Jetson AGX Thor 的 128GB 统一内存和强大的 Blackwell 架构，让我们实现了在产线边缘端本地运行 30B + 参数的 VLM 大模型，彻底打通了“侦测 — 判定 — 控制”的毫秒级闭环。集和诚基于 NVIDIA Jetson AGX Thor 打造的 BRAV-7138 整机，不仅让检测吞吐量翻倍，更为晶圆厂提供了满足最高安全合规标准的“一机多工”边缘算力基座。”
—— 引言人：深圳市集和诚科技开发有限公司产品经理 苏州
面向半导体制造精细化工艺场景的深层需求，集和诚科技将持续深耕边缘 AI 算力硬件的落地。依托 NVIDIA 新一代架构与中国半导体产业的前沿积累，融合自研的边缘计算平台与多模态大模型推理技术，推动全面智能化的检测方案成为驱动良率提升的核心引擎。
公司信息
深圳市集和诚科技开发有限公司
集和诚科技 2002 年成立于深圳，二十余年深耕工业计算、边缘智能与设备控制领域。面对智能从“会思考”迈向“会行动”的产业跨越，集和诚战略升级为物理 AI 核心硬件服务商，聚焦工业、城市服务、能源、医疗与商业服务等核心落地场景，打造连接“AI 大脑”与“机器身体”的智能基础设施，提供从算力到控制的全栈解决方案。