在本周举行的Dreamforce科技大会上,Salesforce正式推出其首款推理模型Koa。该模型基于英伟达(Nvidia)开源的Nemotron权重构建,由双方合作完成后训练,专为销售、营销及客户支持等企业场景优化。

Koa的问世折射出企业AI需求与前沿实验室供给之间的分歧。相比专有AI实验室要求企业上传数据并支付高昂费用,Koa提供了更具针对性的解决方案:

  • 作为封闭前沿模型的开源权重替代方案;
  • 专注特定工作任务,而非通用高难度数学推理;
  • 仅使用合成数据进行训练,杜绝真实客户数据泄露风险;
  • 通过减少Token消耗降低AI支出;
  • 支持通过AI“网关”自动路由调度;
  • 完全符合Salesforce系统内的数据安全与合规标准。

Koa将作为Salesforce Agentforce平台的模型选项之一,用于处理客服问答、日程预约等常规任务。Salesforce AI执行副总裁Jayesh Govindarajan表示:“我们此前虽构建了多个小型任务专用语言模型,但在推理任务上始终依赖前沿模型提供商。直到如今,这一局面得以改变。”

在Koa推出前,涉及长期或多步骤推理的任务会被Agentforce的AI网关路由至Claude或ChatGPT等外部模型。Govindarajan指出,此前未自研企业级前沿模型的主要瓶颈在于缺乏合适的预训练基础模型。Nemotron的出现解决了三大关键问题:它是可用的美国主权预训练模型、处于行业领先地位,且具备清晰的数据溯源能力。

为确保数据安全,Salesforce与英伟达在后续训练中未使用任何真实客户数据,而是采用精心制作的合成数据模拟客户行为模式,包括愤怒的客户致电客服或销售人员促成交易等场景。此举旨在以更低Token成本,更高效地完成企业智能体任务。

英伟达企业生成式AI软件副总裁Kari Ann Briski强调,Nemotron的推理架构能实现Token高效化,满足主权AI、首Token时间效率及高效推理能力这三大要素,从而优化整体Token经济学。

值得注意的是,Salesforce并未完全摒弃第三方前沿模型。公司近日宣布与Anthropic建立名为“ClaudeForce”的合作伙伴关系,允许企业在确保数据留存于Salesforce记录系统并由其基础设施保障安全的前提下,使用Claude作为AI界面。