10月桑坦德银行官网发布新闻稿,披露与NVIDIA建立三年AI能力建设框架,核心做法包括自建Model Arena模型竞技场评估开源权重模型、用NeMo Customizer做垂直定制,搭配Kumo与Dynamo-Triton推理服务。The Four Week MBA等媒体转述,客服单次客户互动成本从原来的5欧元降至约0.03欧元,同时保持服务质量,整体成本优化幅度超过50%目标。桑坦德没有把所有客服问题交给外部闭源大模型API,而是先在内部竞技场比较多个开源权重模型在银行业务上的表现,挑出性价比最优者再定制微调,最后以可控成本批量部署。这一路线代表大型金融机构从调用API转向自有评估加开源定制的趋势,成本与数据自主权都由内部掌控。

5欧元到0.03欧元的差额里包含哪些成本项?

原5欧元可能含人工客服坐席分摊、电话与外包成本、通话时长费用;降到0.03欧元对应的是开源模型单次推理边际成本,主要是GPU算力摊销与少量API调用。两者口径不同,不能简单理解为同一动作降价167倍,真实比较是把能自动化的问题从人工迁移到模型,把复杂问题保留给人,从而拉低单次互动加权平均成本。质量保持是前提,否则便宜没有意义。

Model Arena为什么要自己建而不是看公开榜单?

公开榜单测通用问答,银行关心转账解释、还款提醒、合规话术与语气,这些需要用内部脱敏样本评测。自建竞技场让团队把多个开源权重模型放在同一测试集上打分,选出在风险、准确率、延迟与价格上平衡最好的候选,避免被厂商跑分误导。评测标准随业务迭代,内部掌握比依赖第三方榜单更可控。

NeMo Customizer定制开源模型能带来什么?

通用模型不懂银行产品细节与监管口径,NeMo Customizer提供低成本微调与对齐工具,把脱敏客服记录、产品手册与合规要求注入模型,减少幻觉与违规回答。开源权重可本地部署,客户数据不出行,这对银行合规是关键卖点。定制后仍需持续监控漂移与新欺诈话术,不是一次性工程。

大银行走开源加自建框架对行业意味着什么?

桑坦德案例说明,当调用闭源API的长期账单与数据出境风险上升,头部金融机构会回到开源权重加私有推理栈。三年框架意味着组织配套、运维与审计能力同步建设,而不是买一次模型。0.03欧元是标杆数字,能否在所有语言、所有产品线复制,还要看定制深度与人工兜底比例。

还要注意成本数字的可比性:0.03欧元是模型边际推理成本,不包含定制开发、合规审计、运维团队与失败交互的人工兜底,完整单次成本仍高于纯算力报价。银行AI项目真正的投入在模型治理、监控与知识库维护,这些长期成本常被对外宣传忽略。桑坦德路线的示范意义在于把选型、定制与推理放进同一框架长期运营,而不是用一次API比价决定技术栈,其他大型金融机构可参照其自建竞技场的思路,但不能直接照搬0.03欧元这一数字。

信息来源与延伸阅读?

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论