传统的开放式手术需要很长的手术切口，以便在手术中为医生提供宽阔的术野，查看要进行手术的区域。但外科医生越来越倾向于选择微创技术，这种技术依靠微型摄像头提供实时视频，这些微型摄像头可穿过小型切口，提供更精确的视图。
这对患者的益处是显而易见的：失血少、痛苦小、恢复快。
但微创手术也对外科医生提出了更高的技术要求，因为他们必须在狭窄视野中进行手术，同时必须使用小型手术仪器，这需要非常精湛的手术技巧。
为了向外科医生提供帮助，位于旧金山的初创公司 Kaliber Labs 正在开发实时解读这些视频的 AI 模型。
该公司的深度学习模型能够识别和测量患者的解剖结构和病理的各个方面，并在手术室的视频显示器中显示关键信息和治疗建议。
Ray Rahman 是 NVIDIA 创始计划虚拟加速器项目的成员 Kaliber Labs 的创始人兼首席执行官，他说：“一台手术包括一系列步骤，我们会参与整个手术过程，为外科医生提供 AI 指导，以减少其认知负载，提高准确性并降低不确定性。”
该初创公司还开发了一种深度学习模型，该模型会在手术后对手术视频进行注解，以便患者更好地与医生沟通和了解病情。
该公司的 AI 模型使用 Keras、PyTorch 和 TensorFlow 深度学习框架进行开发，并在 NVIDIA RTX GPU（配有 Tensor Core）上进行训练和测试，从而将训练时间缩短了 5 倍以上。
为了开发在手术室内处理实时视频输入的工具，Kaliber Labs 使用 JetPack SDK 和 NVIDIA Jetson TX2 AI 计算设备在边缘设备中进行推理。该团队计划将已部署的产品在 NVIDIA Jetson AGX Xavier 上运行，从而实现实时处理所需的低延迟。
在手术室中推广 AI
Kaliber Labs 目前的 AI 工具套件重点关注骨科手术，包括肩部、膝盖、臀部和腕部手术。关节内镜检查（或微创关节手术）是极其常见的骨科手术，可用于治疗各种疾病和运动损伤。
手术开始前，Kaliber Labs 的深度学习工具利用视频确定要采取何种类型的手术以及使用何种摄像头获取视图。然后，特定于相关手术类型的 AI 模型将开始发挥作用，以提供实时指导。
外科医生先对患者的解剖结构和病理进行初步评估，然后再选择一系列手术操作。该初创公司的模型对手术过程很有帮助，因为这些模型会在手术过程中结合计算机视觉算法进行识别和测量，例如，肩关节臼窝（或肩关节盂）有 20% 的骨骼缺损。
利用这种实时定量分析，骨外科医生可以更客观地分析病情并获得更多信息，以便在手术中做出正确的决策。
到目前为止，Kaliber Labs 已经完成了其肩外科手术算法的开发，并将开发适用于膝盖和臀部手术的模型。其深度学习工具经过了数千个小时的真实手术视频的训练，这些视频首先由 AI 算法处理，该算法可对视频进行剪辑以删除有关患者和外科医生的任何个人身份信息。
该初创公司最近与一家大型医疗设备公司签署了协议，共同打造一台由 Jetson Xavier 驱动的 AI 边缘机器，该机器与手术室中的设备集成，从而可在手术中提供指导。为保证这台机器能够在外科手术过程中实时运行，Rahman 表示 GPU 在该边缘机器中必不可少。
他说：“我们运行了一系列用于检测解剖结构和病理的模型以及各种测量算法。由于我们正在进行实时视频推理，所以推理必须在 30 毫秒内完成，以避免使外科医生感觉到有所延迟。”
NVIDIA Jetson 平台具有超高的 GPU 计算性能和低能耗的特点，可实现边缘计算。Rahman 表示，Kaliber Labs 选择使用 Jetson Xavier 嵌入式模块，是因为其占用空间小且能够提供多种系统集成选项。
该初创公司的 CNN 二进制分类模型使用 NVIDIA TensorRT 软件针对推理进行优化，在 Jetson Xavier 上运行的延迟率仅为 1.5 毫秒。
记录在案：术后分析手术视频
术后，外科医生通常会对病人简单说明手术情况，并与他们分享手术过程中的重要快照。这些照片或视频片段对患者的价值有限，因为对于未经专门训练的人而言，如果没有解剖的相关环境和标签，则很难明白手术过程中发生的情况。
Rahman 说：“病人及其家属想知道外科医生在手术过程中进行哪些操作、看到了什么，但谁都没有时间对整个视频手动添加注解。这需要花费几小时甚至几天的时间，而且代价过于昂贵。”
Kaliber Labs 正在开发一套 AI 模型，用于分析和标记手术视频，并附有手术过程中每个步骤的描述。如果患者想要了解自己的手术，向他们提供已注解的手术视频是非常有用的方法，另外还可以提高手术过程的透明度。
这种手术记录还有助于实现精确的医疗编码以及高效计费。
主图像展示了一位正在进行 ACL 手术的骨外科医生。（美国空军照片/一级飞行员 Kevin Tanenbaum）