印度企业使用通过 NVIDIA AI 构建的 LLM 为十多亿当地语言使用者提供服务

作者 Vishal Dhupar

印度人打招呼的方式远不止 NamasteVanakkam Sat sri akaal 这三种。印度有 22 种宪法认可的语言,而根据印度人口普查记录,该国还有 1500 多种语言。英语是互联网上最常用的语言,而会说英语的印度居民只占到印度总人口的 10% 左右。

作为世界上人口最多的国家,印度正在快速推进数字化进程。印度企业和当地初创公司正在开发多语种 AI 模型,让更多印度人能够用自己的母语进行技术互动。这是主权 AI 的典型案例之一,主权 AI 指的是开发基于本地数据集,并且能够反映某地区特定方言、文化和习俗的本国 AI 基础设施。

这些项目正在构建各种印度语言和英语的语言模型,驱动企业的客服 AI 智能体、快速翻译内容以便更多人获取信息,并使服务更易覆盖超过 14 亿的多元化人口。

为了支持这些举措,NVIDIA 为印地语这一印度最流行且使用者超过五亿的语言推出了一个小语言模型。该模型被命名为 Nemotron-4-Mini-Hindi-4B,现已作为一项 NVIDIA NIM 微服务提供,可轻松部署在任何 NVIDIA GPU 加速系统上用于优化性能。

印度 IT 服务和咨询公司 Tech Mahindra 是首家使用 Nemotron Hindi NIM 微服务开发 AI 模型的公司。模型被命名为 Indus 2.0,主要针对印地语及其数十种方言。Indus 2.0 利用 Tech Mahindra 的高质量微调数据进一步提高模型的准确性,使银行、教育、医疗及其他行业的客户能够提供本地化服务。

Tech Mahindra 在 10 月 23 日至 25 日于孟买举行的 NVIDIA AI Summit 上展示了 Indus 2.0。该公司还使用 NVIDIA NeMo 开发了其主权大语言模型(LLM)平台 TeNo。

NVIDIA NIM 使构建印地语 AI 应用变得轻而易举

Nemotron Hindi 模型拥有 40 亿个参数,源自 NVIDIA 开发的一个 150 亿参数多语种语言模型——Nemotron-4 15B。该模型由 NVIDIA NeMo(一个用于开发生成式 AI 的端到端云原生框架和微服务套件)使用真实印地语数据、合成印地语数据和等量英语数据所组成的数据集剪枝、蒸馏和训练而成。

这个数据集由 NVIDIA NeMo Curator 创建。NeMo Curator 通过大规模处理用于训练和定制的高质量多模态数据,提高了生成式 AI 模型的准确性。它还使用 NVIDIA RAPIDS 库来加速多节点 GPU 系统上的数据处理管线,从而减少处理时间和总体拥有成本。NeMo Curator 还提供处理高质量数据所需的合成数据生成、数据过滤、分类和数据去重预建管线与构建模块。

在使用 NeMo 进行微调后,最终模型在多项针对 80 亿参数以下 AI 模型的准确性基准测试中处于领先地位。该模型被打包成一项 NIM 微服务,可轻松用于支持教育、零售、医疗等行业的用例。

其可作为 NVIDIA AI Enterprise 软件平台的一部分获取。该软件平台为企业提供技术支持、企业级安全等额外资源,帮助企业简化生产环境中的 AI 开发。

多家企业为印度的多语种人口提供服务

印度各地的创新公司、大型企业和全球系统集成商都在使用 NVIDIA NeMo 构建定制语言模型。

NVIDIA 初创加速计划会员公司正在使用 NeMo 开发多种印度语言的 AI 模型。该计划的会员均为前沿初创公司。

Sarvam AI 为企业客户提供语音转文本、文本转语音、翻译和数据解析模型。该公司开发的 Sarvam 1 是印度首个本土多语种 LLM。该模型是完全在搭载 NVIDIA Tensor Core GPU 的印度本国 AI 基础设施上训练而成的。

Sarvam 1 在开发过程中使用了包括 NeMo Curator 和 NeMo 框架在内的 NVIDIA AI Enterprise 软件,支持英语及 10 种主要印度语言,包括孟加拉语、马拉地语、泰米尔语和泰卢固语。

Sarvam AI 还使用 NVIDIA NIM 微服务、适用于对话式 AI 的 NVIDIA RivaNVIDIA TensorRT-LLM 软件和 NVIDIA Triton 推理服务器来优化和部署具有亚秒级延迟的对话式 AI 智能体。

另一家初创加速计划会员公司 Gnani.ai 构建了一个多语种语音转语音的大语言模型,为 AI 客服助手提供支持,该助手每天为印度和美国的 150 多家银行、保险和金融服务公司处理约 1000 万次实时语音交互。该模型使用 NVIDIA Hopper GPU 和 NeMo 框架,基于超过 1400 万小时的对话语音数据训练而成,支持 14 种语言。

Gnani.ai 使用 TensorRT-LLM、Triton 推理服务器和 Riva NIM 微服务来优化其虚拟客户服务助手 AI 和语音分析 AI。

使用 NeMo 构建 LLM 的大型企业包括:

  • Ola Group 拥有印度最大的网约车平台之一。该集团旗下的企业 Krutrim 正在使用 Mistral NeMo 12B 开发多语种印度语系基础模型。Mistral NeMo 12B 是一个极其先进的 LLM,由 Mistral AI 和 NVIDIA 共同开发而成。
  • 总部位于钦奈的全球技术公司 Zoho Corporation 将使用 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器为其 70 多万客户优化和提供语言模型。该公司将使用在 NVIDIA Hopper GPU 上运行的 NeMo 为 100 多个商业应用从头开始预训练窄模型、小模型、中模型和大模型。

印度的各大全球系统集成商也在为其客户提供由 NVIDIA NeMo 加速的解决方案。

  • Infosys 将利用 NVIDIA AI 堆栈开发特定工具和解决方案。该公司的卓越中心还在开发由 AI 驱动的小型语言模型,这些模型将作为服务提供给客户。
  • Tata Consultancy Services 基于 NVIDIA NIM Agent Blueprint 为电信、零售、制造、汽车和金融服务行业开发了 AI 解决方案。该公司提供的产品包括 NeMo 驱动的特定领域语言模型。这些模型经过定制后,能够处理客户查询,并回答 IT、人事或现场操作等各个企业部门员工提出的针对本企业的问题。
  • Wipro 正在使用包括 NIM Agent Blueprint 和 NeMo 在内的 NVIDIA AI Enterprise 软件,来帮助企业轻松开发定制对话式 AI 解决方案,例如支持客户服务互动的数字人等。

Wipro 和 TCS 还使用 NeMo Curator 的合成数据生成管线生成英语以外的其他语言的数据,以便为客户定制 LLM。

如需了解有关 NVIDIA 与印度企业和开发者合作的更多信息,请观看创始人兼首席执行官黄仁勋在 NVIDIA AI Summit 上的炉边谈话重播。