深度学习为智能医学仪器敞开大门

by 英伟达中国

几个世纪以来,医生都试图使用更好的可用工具来查看病人身体内部的状况,以帮助他们检查、诊断和治疗疾病。诊断成像技术方面的创新(例如 CT 扫描、3D 超声和 MRI)帮助挽救了数百万人的生命。这些仪器是可运行复杂数学运算的计算机,将传感器捕捉的信号转化成 2D 和 3D 图像以供医生读取。

医疗服务提供商希望这些机器可以发挥更大功用,但是这其中存在巨大的技术挑战。医生希望这些机器运行起来迅速、安全且准确。提供商需要在护理时提供较小的便携式实时诊断。与此同时,对分辨率和图像保真度不断增加的需求要求在仪器中内置超级计算机的计算能力。

Volta GPU 加快信号和算法的处理速度

现在,NVIDIA 新型计算机的开发让这成为可能。我们的新款 Volta GPU 使用大规模并行计算,能够以之前要求许多传统数据中心 CPU 才能实现的速度来处理这些信号和成像算法。

NVIDIA healthcare computer data center
通过 NVIDIA 的新款 Volta GPU,嵌入式人工智能计算机可为深度学习神经网络每秒进行 320 万亿次操作,并且运行功耗不超过 500 瓦。这相当于使用 1/60 的功耗实现 60 个 CPU 服务器节点的性能。

凭借 NVIDIA GPU 的性能,计算机科学家可以使用深度学习来应对成像挑战。深卷积神经网络受到人脑工作原理的启发,通过其在训练中看到的数据来学习直接识别物体的重要特性,并构建可应用于识别或分割图像的视觉模型,效果显著。

智能医疗仪器的新时代

深度学习、NVIDIA GPU 计算和医学成像的结合开启了智能医疗仪器的新时代。诊断成像社区中的先驱者已加入 NVIDIA GPU 平台,以在医学成像领域的各个主要环节(重建、图像处理和可视化)取得令人惊艳的成果。

pasted image 0 2
AUTOMAP 使用深度神经网络架构进行实施,该神经网络由使用双曲正切激活函数的全连接层和紧随其后使用修正非线性激活函数的卷积自动编码器组成。资料来源: https://arxiv.org/abs/1704.08841

重建是将数据采集阶段获取的信号转化为图像的过程。在过去十年间,信号处理算法方面取得多项进展,提高了重建的 CT 图像的质量,并将 X 光的用量减少了将近 80%。GE Healthcare 的新的 Revolution Frontier CT 使用 NVIDIA GPU 来执行处理复杂重建算法所需的超级计算。

来自麻省总医院、A.A.Martinos Center for Biomedical Imaging 和哈佛大学的研究人员开发了一种名为“AUTOMAP”的新的图像重建深度学习框架。传统的图像重建使用离散变换和各种过滤算法,并在实施时使用手动信号处理。AUTOMAP 使用统一的图像重建框架取代了这种方法,该框架可在无需任何专家知识的情况下学习传感器与图像域之间的重建关系。

除了重建外,医学成像的图像处理阶段还会执行检查、分类和分割。然后,它可以自动应用注释和测量值以协助放射科医生使用如今复杂的 3D 成像数据库。

新的立体卷积神经网络

慕尼黑工业大学、慕尼黑大学和约翰·霍普金斯大学的研究人员开发了一种名为“V-net”的立体卷积神经网络,可执行前列腺 MRI 数据的本地 3D 分割。在 3D 分割中,系统会对需要注意的器官进行划分,对 3D 图像中器官的每个体素进行分类并分配相同的标签。

schematic representation of fully convolutional neural network
通过执行立体分割以处理 3D 数据的完全卷积神经网络示意图。资料来源: https://arxiv.org/pdf/1606.04797.pdf

V-net 在描绘前列腺状况的 MRI 图像体上接受端到端训练,并学习一次预测整体的分割。训练 V-net 分割图像中数百万个 3D 体素中的每一个体素都需要大量的计算,因此这个团队使用了 NVIDIA GPU。

如今的可视化通过立体渲染来实现,CT 和 MRI 数据的 3D 后处理用于直观展示复杂的解剖信息。无需尝试分析多张 2D 图像,医生使用立体渲染来生成全方位 3D 图像。通过功能强大的 NVIDIA GPU,医生可以从不同角度控制并查看图像,以更好地了解解剖结构的空间关系。

使用电影渲染的解剖结构可视化图像

在约翰·霍普金斯大学,Elliot Fishman 博士和 Siemens 的研究人员开发了一种名为“电影渲染”的新方法,使用基于物理性质的光扩散模拟,以生成逼真的人体图像。电脑渲染受到了电脑动画电影中使用的计算机绘图和 GPU 技术的启发,使用全局照明,通过数千条直接和间接光线制作出一张逼真的图像。

Cinematic rendering torso image
电影渲染可以生成逼真的图像,这些图像有可能更准确地描绘解剖细节和复杂的解剖结构。“电影渲染:原理、应用和在 CT 中的观察结果”,Elliot K.Fishman,RSNA 2017 科学展。

通过这些令人惊艳的图像,放射科医生可以识别出细微的纹理变化、深度感知和与周围解剖结构的空间关系。另外,Fishman 博士和霍普金斯的团队正在研究深度学习算法如何从大幅提升的电影渲染的图像保真度中受益。

诊断成像是我们非常重要的救命技术之一,因此该技术的使用在过去十年间取得了突飞猛进的发展。每年,仅美国便会有数以亿计的成像检查。全球对于医学成像的需求不断飙升,预计到 2020 年会达到 490 亿美元。

开启新一轮的成果突破

NVIDIA GPU 计算和深度学习将开启新一轮的成果突破,提高图像保真度、降低放射量并进一步实现微型化。

通过 NVIDIA GPU,未来的医学成像系统将成为紧凑型人工智能超级计算机,可赋予医生超人般的透视能力并即时响应声音命令,以查找和突出显示需要注意的解剖区域。

早期检测是拯救生命的好方法之一,因此这些智能医学仪器将成为越来越重要的战胜疾病的武器。