什么是预训练 AI 模型？ | NVIDIA 英伟达博客

预训练 AI 模型是为了完成特定任务而在大型数据集上训练的深度学习模型。这些模型既可以直接使用，也可以根据不同行业的应用需求进行自定义。

如果要教一个刚学会走路的孩子什么是独角兽，那么我们首先应该向孩子展示这种生物的图像并描述其独有特征。

那么，如果要教一台人工智能（AI）机器什么是独角兽，该从什么地方做起呢？

预训练 AI 模型提供了解决方案。

预训练 AI 模型是一种为了完成某项特定任务而在大型数据集上进行训练的深度学习模型，它是一种类脑神经算法的表现形式，可以根据数据找到模式或进行预测。预训练 AI 模型既可以直接使用，也可以根据某个应用的具体需求进行进一步微调。

为什么使用预训练 AI 模型？

开发者可以使用预训练模型并根据需求对其进行自定义，无需从头开始构建 AI 模型。

无论是识别一匹虚构的马，检测自动驾驶汽车的安全隐患，还是根据医学影像诊断癌症，要构建一个 AI 应用，开发者首先需要一个能够完成特定任务的 AI 模型。而这个模型需要大量具有代表性的数据进行学习。

模型的学习过程需要经历好几层传入数据，并在每一层强调与目标相关的特征。

例如，在创建一个能够识别独角兽的模型时，首先会为其提供独角兽、马、猫、老虎和其他动物的图像作为传入数据。

然后再构建具有代表性的数据特征层。从线条、颜色等简单特征开始，深入到复杂的结构特征。依据计算出的概率，这些特征将被赋予不同程度的相关性。

举个例子，当一个生物看起来越像马，它是独角兽而不是猫或老虎的概率就越大。这些概率值被存储在 AI 模型的每个神经网络层。随着层数的增加，模型对表征的理解程度也在提高。

若要从头开始创建一个这样的模型，开发者通常需要调用包含数十亿行数据的巨大数据集，并且这些数据可能十分昂贵且难以获得。但如果因此在数据上让步，就会导致模型性能不佳。

预先计算的概率表征（也称权重）能够节省开发者或企业的时间、金钱和精力。已建立完成的预训练模型可通过这些权重进行训练。

高质量的预训练模型搭配大量准确且具有代表性的权重可以提高 AI 部署的成功率。

权重可以被修改，而且可以通过添加更多数据为模型进行进一步的自定义或微调。

在预训练模型基础上进行构建的开发者可以更快创建出 AI 应用，因为他们无需处理堆积如山的传入数据或去计算密集的数据层的概率。

换言之，使用预训练 AI 模型就像是用一件成衣根据自己的需求进行剪裁，而不用从布料和针线做起。

预训练 AI 模型通常被用于迁移学习，可以基于多种模型架构类型而构建。其中一种流行的架构类型是Transformer模型，一种通过追踪连续数据中的关系来学习上下文和意义的神经网络。

AI 公司 Clarifai 是 NVIDIA 初创加速计划的高级合作伙伴。Clarifai 的平台高级副总裁 Alfredo Ramos 表示，预训练模型可以将 AI 应用的开发时间缩短一年并节约数十万美元的成本。

预训练模型如何推动 AI 的发展？

预训练模型简化并加快了 AI 的开发，许多开发者和公司通过它们来加速各种 AI 用例。

预训练模型主要推动了以下几个领域的 AI 发展：

自然语言处理：预训练模型被用于翻译、聊天机器人等自然语言处理应用。大型语言模型一般基于Transformer模型架构构建，是预训练模型的延伸。世界上最大的AI模型之一NVIDIA NeMo Megatron就是一个预训练大型语言模型。
语音 AI：预训练模型能帮助语音AI应用在不同的语言下也能直接使用。用例包括呼叫中心自动化、AI助手和语音识别技术。
计算机视觉：如上文所述的独角兽模型，预训练模型可以帮助AI快速识别生物或者物体、地点和人。预训练模型通过这种方式加速计算机视觉，为体育运动、智慧城市等领域的应用提供近似于人类的视觉能力。
医疗：在医疗应用方面，MegaMolBART（NVIDIA BioNeMo服务和框架的一部分）等预训练AI模型能够理解化学语言并学习现实世界分子中原子之间的关系，为科学界提供了一种加快药物研发的强大工具。
网络安全：预训练模型为实施AI网络安全解决方案打下了基础，并帮助人类安全分析师更快的发现威胁。包括人类和机器的数字指纹及异常、敏感信息和网络钓鱼检测等多种情况。
艺术和创作流程：为推动最新的AI艺术浪潮，预训练模型可以在GauGAN和NVIDIA Canvas 等工具的帮助下加快创作流程。

预训练 AI 模型的自定义和微调为其带来了无限的应用可能性，因此也可以用于更多其他行业。

何处获取预训练 AI 模型

谷歌、Meta、微软、NVIDIA 等公司正在发明用于构建 AI 模型的尖端模型架构和框架。

这些模型有时会在模型中心或作为开放源码发布，使开发者能够对预训练 AI 模型进行微调、提高其准确性并扩展模型库。

NVIDIA NGC 汇集了通过 GPU 优化的 AI 软件、模型和 Jupyter Notebook 示例，包括各种预训练模型以及为 NVIDIA AI 平台优化的 AI 基准和训练方式。

NVIDIA AI Enterprise 是一套全面且安全的云原生 AI 与数据分析软件套件，包含未加密的预训练模型。这让希望将 NVIDIA 预训练模型整合到其自定义 AI 应用中的开发者和企业能够查看模型权重和偏差、提高可解释性并轻松进行调试。

在GitHub、Hugging Face等平台也有数千个可供使用的开源模型。

十分重要的是，在训练预训练模型时，模型数据必须透明、可解释、符合隐私要求，并且是获得同意许可且无偏见的道德数据。

NVIDIA 预训练 AI 模型

为帮助更多开发者将 AI 原型投入到生产中，NVIDIA 提供了几种开箱即用的预训练模型：

NVIDIA SegFormer 是一个在 GitHub 上提供的 Transformer 模型，可实现简单、高效、强大的语义分割。
NVIDIA的专用计算机视觉模型经数百万张图像训练而成，可用于智慧城市、停车管理等应用。
NVIDIA NeMo Megatron是一个大型可定制语言模型，包含在NVIDIA NeMo中。NeMo是一个用于构建灵活、高性能对话式AI 、语音AI和生物学应用的开源框架。
NVIDIA StyleGAN是一个基于风格的生成器架构，用于生成式对抗网络（或称 GAN）。它可以使用迁移学习来无限生成各种不同风格的绘画。