案例简介
- 本案例中，成交猫 (DealCat) 基于 NVIDIA DGX Spark 平台部署大语言模型推理服务，构建了具备自主行动、自我进化能力销售辅助机器人系统，并通过 Harness Engineering 保障其在业务场景下稳定可信运行，实现 AI 对话、记忆管理、自我进化与工具调用的全链路自动化，让销售转化从一句话开始。
- 本案例主要应用到 NVIDIA DGX Spark 及其搭载的 NVIDIA Blackwell GPU。
达瓦科技简介及应用背景
重庆达瓦合志影像科技有限公司广州分公司是一家专注于大模型开发和影视工业化的人工智能科技公司，依托于 120TB 专属数据集打造多模态垂直大模型，致力帮助企业实现内容工业化与客户运营提效。其核心产品 DealCat 为基于大模型的智能销售辅助机器人平台，覆盖客户触达、智能对话、意向识别、跟进提醒、内容输出等销售全链路场景，让每一次销售转化从一句话开始。
随着企业客户规模的持续扩张，平台需要同时管理大量机器人实例，并在高并发场景下实时完成多轮 AI 对话推理、长期记忆检索与复杂工具调用。传统 CPU 服务器在推理延迟和并发吞吐方面已难以满足业务需求。为此，DealCat 将大语言模型推理服务部署于 NVIDIA DGX Spark 平台，借助其强大的 Blackwell GPU 算力，并围绕模型构建完整的 Harness Engineering 工程体系，大幅提升了模型推理速度与系统并发能力，保障了智能销售辅助机器人在海量销售会话场景下的低延迟、稳定可信运行，为企业客户带来更流畅、更智能的销售辅助体验。
挑战
随着 AI 销售辅助机器人业务规模的快速扩张，DealCat 在实际运营中面临以下几大核心挑战：
一是实时推理的延迟瓶颈。销售场景对响应速度极为敏感，客户发出一条消息后往往期待秒级回复。然而大语言模型的推理计算量庞大，在 CPU 环境下单次对话推理延迟高，难以满足高频销售会话的实时性要求，直接影响客户体验与成交率。
二是高并发下的算力不足。平台需同时承载大量机器人实例与并发会话，每一轮对话不仅涉及模型推理，还需完成向量检索 (记忆召回)、工具调用、上下文管理等多个计算密集型操作。传统服务器架构在并发峰值时资源严重不足，系统稳定性难以保障。
三是记忆与知识检索的计算压力。DealCat 为每个用户维护长期销售记忆，在用户规模增长后计算开销显著上升，对底层存储与计算资源提出了更高要求。
四是多模型、多工具协同的复杂度。平台支持多端点模型降级、MCP 工具调用、直播弹幕分析等复杂业务链路，单次会话可能触发多轮模型推理与外部工具调用，整体计算链路长、资源消耗集中，急需更强的硬件算力支撑以保障端到端的低延迟响应。
五是自主执行工程治理难度极高。机器人从被动回复走向自主行动，机器人从被动回复走向自主行动，易出现上下文膨胀、推理质量下降、工具调用失败、任务卡死等问题。如何构建完善的 Harness Engineering 工程体系，确保机器人在真实销售场景中稳定、持续、可信地自主运行，成为规模化落地的核心工程难题。
面对上述挑战，依赖通用 CPU 服务器已无法支撑业务持续增长，DealCat 迫切需要引入高性能 GPU 计算平台，在保证推理质量的同时大幅提升系统吞吐能力与响应速度，并为完整的 Harness Engineering 工程体系提供坚实的算力底座。
应用方案
基于上述挑战，达瓦科技 DealCat 选择将大语言模型推理服务及 AI 计算工作负载部署于 NVIDIA DGX Spark (搭载 NVIDIA Blackwell GPU) 平台，从推理加速、并发扩展、记忆检索三个核心环节全面提升系统性能，并围绕 Harness Engineering 六层工程体系保障智能销售辅助机器人的稳定可信运行。
- NVIDIA DGX Spark 加速大模型推理，大幅降低对话延迟
DealCat 将销售辅助机器人的大语言模型推理服务迁移至 NVIDIA DGX Spark 平台后，单次对话推理延迟相比 CPU 环境显著下降，端到端响应速度大幅提升，真正实现了销售场景所需的秒级 AI 回复。在高并发会话场景下，GPU 的并行计算能力使系统吞吐量得到成倍提升，有效支撑了多机器人实例同时在线运营的业务需求。
- 支撑高并发多机器人同时在线
借助 NVIDIA DGX Spark 强大的 GPU 算力，DealCat 平台可同时承载大规模机器人实例并发运行，每个实例独立完成多轮对话推理、工具调用与上下文管理。相比原有 CPU 架构，系统在并发峰值时的稳定性显著提升，资源利用率更高，运营成本得到有效控制。
- 加速向量检索，提升记忆召回效率
DealCat 为每位用户维护长期销售记忆库以及知识库，每轮对话均需实时完成向量相似度检索以召回相关记忆注入上下文，并且 AI 可以自由调取相关记忆，确保对话的连续性。部署于 NVIDIA DGX Spark 后，向量计算与检索效率大幅提升，记忆召回延迟明显降低，确保 AI 在高并发场景下仍能为每位客户提供个性化、有记忆的销售对话体验。
- 支撑复杂业务链路的端到端低延迟响应
DealCat 平台涵盖多模型端点、数十种 MCP 工具调用、直播弹幕 AI 分析、全自动视频剪辑等复杂业务链路，单次会话可能触发多轮推理与外部工具协同。NVIDIA DGX Spark 充沛的 GPU 算力为这一复杂链路提供了稳定的算力底座，保障了从消息接入到 AI 回复的全链路低延迟闭环，让“成交从一句话开始”成为可落地的产品体验。
- Harness Engineering 六层工程体系，保障机器人稳定可信运行
DealCat 围绕 NVIDIA DGX Spark 的 GPU 算力，构建了完整的 Harness Engineering 工程体系:
- 信息边界层：为每个销售辅助机器人独立配置 skills、角色权限，精准定义 Agent 的知识范围与行为边界，确保 Agent 的信息获取能力在权限允许之内。不同业务场景下的机器人相互隔离，访客用户、普通用户等分别适配不同的响应策略，从源头避免 Agent 越界行为，确保每个机器人实例在清晰可控的信息边界内运行，确保用户信息隐私安全。
- 工具系统层：原生支持 MCP 协议，通过对 MCP 协议的改造和框架适配，实现了同步和异步任务兼容，并且支持热更新，让 AI 能看到任务状态，并且能够自动对齐任务记忆，平台内置搜索、记忆召回、网络获取、自媒体以及音视频创作等核心工具，并支持通过数据库动态注册其他工具与标准 MCP 工具，实现数十种外部能力的热插拔接入。工具调度器会定期更新工具信息，确保工具与业务能力始终保持同步。
- 执行编排层：平台驱动销售辅助机器人完整走完“理解意图 → 检索记忆 → 工具调用 → 结果回调 → 结果验证 → 生成回复”的多轮自主执行轨道。依托 NVIDIA DGX Spark 足够的算力资源，支持多端点模型配置与自动降级，当主端点不可用时无缝切换至备用端点，保障推理链路不中断。长耗时工具调用自动转入异步任务队列，通过框架自动将执行结果实时推送至对话，主对话链路不因复杂工具执行而阻塞。
- 记忆与状态层：基于 mem0 与 pgvector 向量数据库，实现多维度的跨会话长期记忆独立存储与隔离管理，为用户单独管理不同级别的对话以及私有知识库。每轮对话在推理前自动完成记忆检索，将相关历史经验注入上下文，由 AI 决定是否需要主动查找补充更多记忆，确保记忆不丢失，使销售辅助机器人对每位客户“越聊越懂”。系统维护实时会话上下文，对话历史与向量记忆双轨并行，兼顾短期连贯性与长期个性化，确保销售记忆在用户规模持续增长下仍能毫秒级完成召回。
- 约束校验与恢复层：通过消息去重机制防止同一消息被重复处理；多端点模型降级策略在推理服务异常时自动切换，保障对话不中断；调度器持续监控任务队列，自动将超时未响应的僵死任务标记为失败并触发恢复流程；平台级异常捕获与结构化日志系统提供全链路可观测性，确保销售辅助机器人在高并发真实业务场景下始终在可信边界内稳定运行。
- MCP 工具渐进式披露，优化 Token 效率
在 Harness Engineering 工具系统层的设计上，DealCat 针对 MCP 工具 Schema 注入导致的 Token 资源浪费问题提出了创新解法。传统做法将所有工具的完整 Schema 一次性注入上下文，随着平台工具数量持续增长，仅工具描述便会占用大量 Token 窗口 —— 这与 Harness Engineering 中“上下文利用率超过约 40% 时 Agent 推理质量显著下降”的规律高度吻合，直接加速销售辅助机器人进入“Dumb Zone”，影响对话质量与响应速度。
为此，DealCat 设计了两级工具暴露机制：在模型上下文中仅常驻 search_tool (工具检索) 和 execute_tool (工具执行) 两个元工具，其 Schema 极为精简，对 Token 窗口几乎无感知。当销售辅助机器人判断需要使用某项外部能力时，首先调用 search_tool 按语义检索匹配工具，动态获取目标工具的完整 Schema，再通过 execute_tool 按需调用执行。工具的详细 Schema 仅在实际需要时才注入上下文，用完即释放，不在窗口中长期占用空间。
这一机制与 OpenAI 团队在 Harness Engineering 实践中提出的“渐进式披露”思路高度一致 —— AGENTS.md 只做目录、详细规则按需加载 —— 本质上都是将“常驻最小信息、按需动态扩展”作为上下文管理的核心原则。在 NVIDIA DGX Spark 平台的强劲算力支撑下，这一机制使销售辅助机器人在具备数十种工具能力的同时，始终将上下文利用率保持在推理质量稳定区间内，实现了工具能力无限扩展与 Token 效率最优之间的平衡。
使用效果及影响
引入 NVIDIA DGX Spark 平台后，DealCat 智能销售辅助机器人系统在技术性能、产品体验与业务竞争力三个层面均取得了显著提升。
在技术层面，大语言模型推理延迟大幅下降，系统并发承载能力成倍提升，平台得以稳定支撑大规模机器人实例同时在线运营。长期记忆的向量检索效率明显改善，每一轮销售对话均能在毫秒级完成记忆召回与上下文注入，确保 AI 回复的个性化与连贯性。完整的 Harness Engineering 工程体系在 NVIDIA DGX Spark 算力支撑下稳定运行，智能销售辅助机器人实现了从被动回复到自主行动的能力跃升 —— 模型决定上限，Harness 决定底线，两者协同构筑了 DealCat 的技术竞争壁垒。
在产品层面，秒级 AI 响应显著改善了终端销售人员与客户的交互体验。销售辅助机器人能够在高频会话场景下保持稳定、流畅的对话质量，意向识别更加准确，跟进节奏更加智能，真正将“成交从一句话开始”从愿景落地为可感知的产品体验。
在业务层面，GPU 算力的引入打破了平台规模扩张的算力瓶颈，使 DealCat 能够以更低的边际成本承接更大规模的企业客户，进一步巩固了其在 AI 销售赛道的技术领先优势。
达瓦科技创始人卢琪曾提到：“AI 营销正在经历一场深刻变革，谁能率先让大模型真正跑通销售全链路，谁就掌握了下一个时代的竞争主动权。NVIDIA DGX Spark 为我们提供了坚实的算力底座，让 DealCat 基于自进化架构的智能销售辅助机器人能够在高并发、低延迟的真实业务场景中稳定可信运行。我们相信，AI 不只是效率工具，更是每一家企业的新型销售基础设施。”
NVIDIA 初创加速计划
达瓦科技是 NVIDIA 初创加速计划会员企业。
NVIDIA 初创加速计划 (NVIDIA Inception) 为免费会员制，旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构、创业孵化器、创业加速器、行业合作伙伴以及科技创业媒体等，打造创业加速生态系统。能够提供产品折扣、技术支持、市场宣传、融资对接、业务推荐等一系列服务，加速创业公司的发展。