利用 RAG 提升新浪微博客服效能
NVIDIA 与新浪微博双方技术团队通过在数据、算法、模型微调等多个方面的合作，显著增强了大模型在新浪微博客服场景中回答用户问题的准确率，其客服问答系统准确率从 50% 提升至 81%，不仅降低了人工成本，也提升了用户满意度。
使用大模型技术应对大规模用户难题
新浪微博是中国最具影响力的社交媒体平台之一，其月活跃用户数量已达数亿级别。然而，随着用户数量的急剧增长，微博的客服系统也面临了一些挑战。用户在使用微博过程中遇到问题时，会联系人工客服寻求帮助。但因用户基数庞大，客服系统所收到的用户问题展现出多样性和口语化等特点，这对传统的、基于文本匹配的自动回复系统带来很大的挑战。
值得庆幸的是，今年以来，大模型等相关技术的快速发展为解决这一难题带来了曙光。新浪微博希望通过搭建基于大模型的自动客服问答系统，以更高效、准确的方式回答用户所遇到的问题，同时降低客服系统的人工成本。
为了实现这一目标，新浪微博基于 LLM RAG 范式，将大模型与微博私有知识与数据相结合，使大模型能够根据用户问题，在微博使用场景下提供更准确且清晰的回复。
NVIDIA AI 助力客服系统升级
大模型通过海量文本数据的训练和微调，能够提供流畅、连贯的对话体验。但是，由于训练过程没有涉及私有领域数据，所以直接将开源大模型应用在新浪微博客服场景上的效果很难让人满意。
为了解决这一难题，新浪微博与 NVIDIA 的工程师进行了协作，共同构建了基于 RAG 的 LLM 客服问答系统。该系统借助向量检索技术，将微博系统的私有领域知识与 LLM 相结合，可为用户问题提供更准确且全面的回复。
尽管 LLM 展现出强大的文本理解与生成能力，但其生成内容的不可控性以及容易出现幻觉等问题仍然存在。为此，NVIDIA 与新浪微博双方技术团队通过针对客服场景的特点和要求，在普通 RAG 流程的基础上提出了多项算法优化方法。其中包括，在处理文本时使用规则匹配和调用大模型相结合的方法，更精确地将无结构文本切割成语义明确的段落，从而提升召回准确率；借助 NVIDIA NeMo 框架，在私有领域数据上对开源大模型做了进一步的继续预训练和微调，提升大模型领域适应性；添加重排序模型增加召回精度等。双方在数据、算法、模型微调等多个方面的合作，显著增强了大模型在新浪微博客服场景中回答用户问题的准确率，其客服问答系统准确率从 50% 提升至 81%，不仅降低了人工成本，也提升了用户满意度。
智能客服模型的准确率提升，使新浪微博客服人员每天的人工质检覆盖率从 33% 提升到 100%，准确率从 91% 提升到 99%，大大提高了客服效率。质检频次也从之前的每月 1 次 33% 覆盖，提升至每日 1 次 100% 覆盖，每天质检量达到 1 万以上。
持续优化 AI 推理客服体验再升级
未来，新浪微博计划通过包括 NVIDIA Triton 推理服务器和 NVIDIA TensorRT-LLM 在内的 NVIDIA AI Enterprise 软件，进一步提高生产级 AI 的推理性能。所有的努力，旨在为用户提供更优质的客服体验，同时也体现了新浪微博在技术创新和服务优化方面的决心和实力。
新浪微博机器学习平台负责人表示：“凭借 NVIDIA 的尖端技术，本项目不仅提升了客服的效能，也铺垫了多模态与智能助手的合作基础。展望未来，其创新解决方案将进一步巩固客户在行业中的领先地位，驱动业务成长与竞争力提升。”
准备好开始了吗
访问以下网址，立即申请试用
NVIDIA NeMo：
https://www.nvidia.cn/ai-data-science/generative-ai/nemo-framework/