全球每年为诊断、监测和治疗各种疾病而进行的医学影像检查达到 36 亿次。
如果能够加快对 X 射线、CT 扫描、核磁共振成像(MRI)和超声波等医学影像检查的处理和评估,将大大帮助医生管理工作量,并有助于更快改善患者的健康状况。
出于这个原因,NVIDIA 推出了 MONAI,这个开源研发平台可用于开发医学影像及其他领域的 AI 应用。通过 MONAI,医生与数据科学家能够共同解锁医疗数据的力量,构建适用于医疗 AI 工作流的深度学习模型和可部署应用。
在上周举行的北美放射学会(RSNA)年会上,NVIDIA 宣布西门子医疗已使用 MONAI Deploy 模块。该模块包含在 MONAI 中,弥补了从研究到临床工作之间的差距,使医学影像 AI 工作流能够被更加快速、高效地集成到临床部署中。
全球有 15000 多台医疗设备安装了西门子医疗的 Syngo Carbon 和 syngo.via 企业影像平台。它们帮助临床医生更好地读取多种来源的医学影像并从中提炼洞察。
开发人员在构建 AI 应用时通常会使用各种框架,使应用难以被部署到临床环境中。
而 MONAI Deploy 只需几行代码,就能构建可在任何地点运行的 AI 应用。该模块可用于临床工作中医疗 AI 应用的开发、封装、测试、部署和执行,有助于简化医学影像 AI 应用的开发流程,并将其集成到临床工作流中。
西门子健康平台上的 MONAI Deploy 大大加快了 AI 集成过程。用户只需点击几下,就能将训练完毕的 AI 模型移植到现实世界的临床环境中,而过去这项工作需要耗费数月时间。这能帮助研究人员、创业者和初创公司更快地将他们的应用交付给放射科医生。
西门子医疗数字技术与研究部门主管 Axel Heitland 表示:“我们通过加快 AI 模型的部署,帮助医疗机构比以往更快用上基于 AI 的最新医学影像技术,并从中受益。借助 MONAI Deploy,研究人员可以快速定制 AI 模型并将实验室中的创新成果应用于临床实践,让全球成千上万的临床研究人员直接在他们的 syngo.via 和 Syngo Carbon 影像平台上使用 AI 驱动的先进技术。”
借助使用 MONAI 开发的应用,这些平台可以大大简化 AI 的集成。用户可以在西门子医疗 Digital Marketplace 上轻松获得和使用这些应用,还可以进行浏览、选择以及将它们无缝集成到临床工作流中。
MONAI 生态系统推动创新和应用
MONAI 已推出五年,下载量超过 350 万次,全球贡献者达 220 人。它被 3000 多篇发表的文章所认可,赢得过 17 次 MICCAI 挑战赛并被应用于众多临床产品。
最新发布的 MONAI v1.4 版本进行了多项更新,使研究人员和临床医生能够更有效地利用 MONAI 的创新成果,并为西门子医疗的 Syngo Carbon 和 syngo.via 以及西门子医疗 Digital Marketplace 做出贡献。
MONAI v1.4 和相关 NVIDIA 产品的更新内容包括加入了新的医学影像基础模型。这些模型可在 MONAI 中进行定制,并作为 NVIDIA NIM 微服务部署。目前作为 NIM 微服务正式提供的模型包括:
- MAISI(适用于合成影像的医疗 AI)是一个潜在扩散生成式 AI 基础模型,能够模拟高分辨率、全格式 3D CT 影像以及这些影像的解剖结构分割。
- VISTA-3D 是一个用于 CT 影像分割的基础模型,它提供了涵盖 120 多个主要器官类别的精准开箱即用性能以及学习分割新结构所需的有效自适应和零样本功能。
除了 MONAI 1.4 的主要功能外,现在还可以通过 MONAI 的 VLM GitHub 资源库访问新的 MONAI 多模态模型 M3。M3 是一个借助医疗 AI 专家模型(例如来自 MONAI Model Zoo、经过训练的 AI 模型)扩展所有多模态 LLM 的框架。目前在 Hugging Face 上提供的 VILA-M3 基础模型具有先进的放射影像副驾驶性能,充分展现了这一新框架的强大之处。
MONAI 为医院、医疗初创公司和研究机构牵线搭桥
全球顶尖的医疗机构、学术医疗中心、初创公司和软件供应商正在积极使用 MONAI 并推进其发展,包括:
- 德国癌症研究中心领导 MONAI 的基准和指标工作组,该工作组负责提供衡量 AI 性能的指标以及如何和何时使用这些指标的指南。
- 纪念斯隆-凯特琳癌症中心(MSK)的 Nadeem Lab 率先使用 MONAI 在云端部署了多个 AI 辅助注释流程和病理数据推理模块。
- 科罗拉多大学医学院的教师开发了基于 MONAI 的眼科工具,以便使用各种影像学方法检测视网膜疾病。该大学还使用 MONAI 引领了一些原创的联邦学习开发和临床演示。
- MathWorks 已将 MONAI Label 与其 Medical Imaging Toolbox 集成,为学术界和产业界成千上万从事医学和生物医学应用工作的 MATLAB 用户带来了医学影像 AI 和 AI 辅助注释功能。
- GSK 正在探索 MONAI 基础模型,包括用于影像分割的 VISTA-3D 和 VISTA-2D。
- Flywheel 提供了一个包含 MONAI 的平台。该平台将 MONAI 用于简化影像数据管理,实现研究工作流程的自动化和支持 AI 开发与分析,并且可以根据研究机构和生命科学组织的需求进行扩展。
- Alara Imaging 在 2024 年美国医学影像信息学学会会议上发表了将 VISTA-3D 等 MONAI 基础模型与 Llama 3 等 LLM 集成的工作。
- RadImageNet 正在探索使用 MONAI 的 M3 框架开发前沿视觉语言模型,以便利用 MONAI 的影像 AI 专家模型生成高质量的放射学报告。
- Kitware 正在提供以 MONAI 为核心的专业软件开发服务,帮助客户将 MONAI 集成到设备制造商的定制工作流以及监管机构批准的产品中。
研究人员和企业现在可以在云服务提供商上使用 MONAI 来运行和部署可扩展的 AI 应用。支持 MONAI 的云平台包括 AWS HealthImaging、Google Cloud、Microsoft Cloud for Healthcare 旗下的 Precision Imaging Network 以及 Oracle Cloud Infrastructure。
参见有关 syngo.via、Syngo Carbon 和 Digital Marketplace 产品的披露声明。