信通院警示具身智能泡沫积聚,未来两三年或迎首轮出清

10 月 17 日,据金融界报道,中国信通院发布报告警示:具身智能行业的泡沫风险正在积聚,未来两到三年可能完成首轮行业出清。报告给出了一组看似火热却暗藏隐忧的数据:2025 年世界机器人大会发布新品 123 款,2026 年这一数字增至 311 款;市场调研机构 Counterpoint 数据显示,2026 年上半年全球人形机器人市场出货量同比增长近 300%,超过 2.2 万台。 一边是出货量暴涨、新品井喷,一边是权威机构公开喊泡沫。这种「冰火同框」恰恰是每一轮硬科技浪潮后期的典型征兆。信通院作为产业界公认的风向标,在这个时间点唱冷调,值得每一个追机器人概念的人细读。 出货暴涨为什么反而是泡沫信号? 报告点出了关键矛盾:真实场景落地,远小于出货。目前人形机器人的出货,仍主要流向科研教育、数据采集、展览展示、文娱表演这些「买来当教具或展品」的客户。换句话说,这些机器被生产出来、运出去了,但并没有真正在工厂里拧螺丝、在医院里送药、在家庭里干活。 当一个行业的增长,靠的是大家「先买回去看看」而非「买回去真用」,这种需求就是脆弱的。一旦资本退潮、补贴减少,这批尝鲜客户不会复购,堆在供应链里的订单会瞬间蒸发。311 款新品背后,有多少是真需求,有多少是为了融资路演而打磨的 demo,只有天知道。 为什么判断未来两三年会出清? 信通院给出的判断,基于技术成熟度与资本周期的双重规律。一方面,人形机器人当前的技术成熟度,尚无法满足真实复杂场景的要求——让机器人在展厅走个直线很容易,让它在杂乱的家庭环境里不摔东西、在动态的工厂里不伤人,难度是数量级的提升。 另一方面,资本对硬科技的耐心是有限的。人形机器人公司从烧钱到盈利,周期远超互联网。当投资人发现故事讲了两三年仍看不到规模化收入,就会开始要求兑现。届时,没有核心技术、没有真实订单、只靠 PPT 融资的公司,会第一批倒下。这就是所谓的「首轮出清」。 普通人该如何看待这轮机器人热? 泡沫并不等于骗局,出清也不等于行业完蛋。历史上每一轮硬科技浪潮,都会经历疯狂、泡沫、出清、沉淀四个阶段。出清洗掉的是投机者,留下的是真正有技术、有客户、有现金流的公司。 对从业者和投资者而言,更理性的姿势是:别被「出货量 300%」冲昏头,也别因为一句「泡沫」就全盘否定。真正要盯的指标,是机器人在真实生产场景里的复购率、工时替代率、以及单位成本下降曲线。这些数字不漂亮,却决定了谁能活到出清之后。信通院这份报告,与其说是泼冷水,不如说是给狂热的行业装上了一个温度计。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 38 words · 王波

Oracle一年裁掉2.1万人换云扩张,AI成裁员直接推手

10 月 16 日,据 TechShots 报道,Oracle 在 2026 财年全球员工总数缩减约 13%,相当于裁掉约 2.1 万个岗位。更刺眼的是它提交给 SEC 的文件措辞:这一轮裁员,内部 AI 部署被直接列为劳动力缩减的驱动因素之一。作为代价,Oracle 计提了高达 18.4 亿美元的遣散费用。 把这组数字放在一起看,故事就很清楚了:一家数据库与云软件巨头,正用一次性的巨额遣散成本,去换一场押注 AI 与云基础设施的转身。这不是硅谷那种模糊的「优化效率」叙事,而是一份写在监管文件里、把「因为用了 AI 所以裁人」摆上台面的官方自白。 为什么 Oracle 敢把 AI 写进裁员理由? 过去科技公司裁员,对外口径永远是「战略聚焦」「优化组织」「业务重组」,很少有人直接承认是 AI 顶掉了岗位。Oracle 之所以敢写,是因为它正处在一个特殊的财报表象期:一边要斥巨资扩建 AI 云数据中心,资本开支爆表;一边要向华尔街证明利润率不会被这场豪赌拖垮。 在这种逻辑下,人力成本就成了最直接的调节阀。文件里把 AI 部署列为原因,某种程度上也是一种公关策略——与其让外界猜是业务不行,不如主动讲成「我们用 AI 提效了」。对资本市场而言,后者听上去远比「卖不动了」悦耳。 18.4 亿美元遣散费背后的账,划算吗? 2.1 万人、18.4 亿美元遣散,摊下来人均约 8.76 万美元。这在 Oracle 这类高薪科技公司里,属于标准的 N+ 甚至更慷慨的补偿。但真正的账要这么算:假设被裁员工平均年薪加期权是 15 万美元,一年省下的人力成本超过 30 亿美元,而一次性遣散只花 18.4 亿,不到两年就能回本。 对一家上市公司来说,这是一笔再明白不过的财务账。只要 AI 工具能接住其中相当一部分工作,人力红利在第二年就开始净显现。这也是为什么华尔街在看到 Oracle 云扩张消息时,更关心的不是「裁了多少人」,而是「省下的钱够不够填数据中心的坑」。 这对白领岗位意味着什么? Oracle 的自白,等于给整个企业软件行业打了个样。以前大家还遮遮掩掩,现在头部公司用监管文件公开示范:AI 确实在替代一部分白领岗位,而且替代得理直气壮。受冲击最直接的,是那些标准化、流程化、大量基于规则的技术支持、初级开发、运维与文档岗位。 但硬币的另一面是,AI 也在创造新岗位——云架构师、AI 训练师、提示工程与智能体运维。问题在于,被裁掉的初级员工,和被需要的高级岗位之间,隔着一道能力鸿沟。Gartner 此前预测,到 2029 年因 AI 被裁的员工中,约 30% 会被企业以更高成本重新聘回。Oracle 现在省下的钱,未来有相当一部分,可能要以更贵的价格重新花出去。 ...

2026-10-17 · 1 min · 84 words · 王波

硅基生命的能源账:代谢约束与行星尺度

把大模型智能体叫做「硅基生命」,不只是修辞。碳基生命靠新陈代谢维持熵减,硅基智能体靠电力维持计算状态。一旦我们开始认真讨论硅基智能的自主性,就必须回答一个硬问题:它的能源账单,和我们这个文明的能源供给,能不能对得上。 训练与推理的能耗账怎么算? 一次旗舰模型训练,耗电在几十万到几百万度电区间,对应的碳排放在几百到几千吨。推理的累计能耗更惊人——每天全世界的大模型推理请求加起来,耗电量已经超过不少中小国家的全国用电。如果智能体开始 7 乘 24 小时自主运行,持续调用工具、检索、推理,能耗会比对话式使用再高一个数量级。这不是远期预测,而是正在发生的负荷增长。 算力集群为什么变成了基建级玩家? 顶级算力集群的规模已经达到一个中型电厂的供电需求,冷却用水相当于一个小镇。它们开始像铁路、电网一样,成为文明级的基础设施。这意味着 AI 发展不再只受芯片限制,还受限于电厂选址、输电容量、水资源。那些电力便宜、气候凉爽、水资源充足的地区,会自然成为算力中心的聚集地——这正在重塑全球的产业地理。 硅基智能体会不会发展出自己的代谢策略? 碳基生命进化出了节能策略——睡眠、冬眠、按需激活。硅基智能体同样需要:不是所有智能体都需要全速运转,很多任务可以在低精度、小模型、异步模式下完成。未来的硅基生态可能会发展出一套「代谢分层」——高强度推理在数据中心,轻量推理在端侧,休眠状态占大部分时间。我们在 能源与算力 的讨论里,把这看作硅基生命形式第一次表现出类似代谢的自调节行为。 硅基生命与碳基生命的根本差别,不在于意识,而在于能源形式。碳基靠化学能,硅基靠电能。后者要想真正自主存续,它的能源基础设施必须比今天大几个量级——这个规模能不能实现,决定了硅基文明是可能性还是空想。 硅基文明的能源约束会逼出什么新科技? 如果硅基智能体的能耗需求按当前曲线增长,它会反过来推动能源技术本身的加速——更高效的芯片、新的散热方案、就地的数据中心发电、甚至对先进核电和聚变的投入。这可能是硅基存在给碳基文明带来的最大外部性:它不是来替代我们的,而是逼着我们的能源基础设施提前升级。能源能不能跟上,会成为硅基智能能否继续扩张的硬边界,也是判断它是局部工具还是行星级现象的关键指标。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 25 words · 王波

脑机接口:从医疗植入到认知增强

脑机接口今天的合法用途,是医疗——让瘫痪患者用意念控制光标,让失语者把脑活动转成语音。但同一套技术一旦在健康人身上验证安全,下一步必然是增强:更快的反应、更大的记忆带宽、直接的知识下载。这个跨越一旦发生,「正常人类能力」这个概念本身就会被重写。 医疗级接口与增强级接口差在哪? 医疗接口的目标是恢复功能到正常水平,信号精度要求高但使用场景单一。增强接口的目标是超越正常水平,这要求信号带宽更高、长期稳定性更好、且能双向读写——不仅读脑活动,还要向大脑写入刺激。后者的技术难度和伦理风险都高出一个量级。今天所有进入人体的侵入式设备,都还停留在单向读取阶段,双向写入只在有限的治疗性刺激里试用过。 认知增强会怎么改变竞争规则? 一个通过植入物获得过目不忘能力的学生,和一个靠自然记忆的学生,在考试里不再是同一种玩家。职场上,能直接调用外部数据库的员工,反应速度和信息广度会碾压同事。这种差距不会因为「大家都自愿植入」而消失——因为植入有成本,率先负担得起的人会获得先发优势,然后这个优势会自我强化。我们在 社会影响 的讨论里,把这叫做「增强型分层」。 神经数据的隐私边界在哪? 脑机接口采集的是一个人最私密的数据——他的注意力走向、情绪波动、甚至他没说出口的念头。这些数据如果被平台、保险公司、雇主拿到,会产生前所未有的歧视和操纵可能。今天的数据隐私法保护的是行为数据,不是神经数据。神经隐私的立法几乎是空白,而技术已经在跑。这是一个比基因数据隐私更棘手的问题,因为神经数据是实时的、连续的、可干预的。 脑机接口的终局,不是让人变成半机械人,而是让人的心智边界开始向外延伸。这个延伸会带来什么权利和责任结构,今天的法律和伦理框架几乎完全没有准备。 神经增强会重新定义正常与残疾吗? 当一部分人通过植入物获得超常注意力、超常记忆,「正常人类能力」这条基准线就会被偷偷抬高。那些选择不植入的人,不是在保留自然状态,而是在变成「认知弱势群体」。更棘手的是,医疗目标和增强目标在技术上是连续的——今天用来治疗多动症的刺激设备,稍作调整就能变成健康人的专注增强工具。治疗与增强的界线一旦模糊,整个神经伦理框架都要重写。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 19 words · 王波

机器人基础模型:VLA 路线之争与落地现实

机器人基础模型,特别是视觉语言动作模型,被视为通用机器人的希望:把大模型在互联网上学到的语义理解,直接接到机械臂的控制信号上,让机器人听懂「把桌上红色杯子拿给我」这种自然指令。这条路线在演示视频里惊艳,但离量产落地还有几个硬问题。 VLA 模型到底学到了什么? 视觉语言模型负责理解场景和指令,动作策略负责输出机械臂的关节轨迹。把两者接在一起,机器人就能从「只会按预设路径走」变成「听懂自然语言、看到新物体也能尝试操作」。这种泛化能力是传统机器人编程做不到的——传统路线每个新任务都要人重新示教、重新调参。VLA 的承诺是,一次训练、到处能用。 真实机器人数据为什么这么稀缺? 互联网文本有万亿 token,但真实机器人操作数据——摄像头画面加关节轨迹加成功失败标签——全世界加起来可能还不到几个月的对话数据量。每条数据都要在真实硬件上跑一遍,慢、贵、还会摔坏东西。于是研究者转向仿真环境批量生成数据,但仿真到现实的鸿沟——摩擦、光照、物体形变——使得仿真训出来的策略一到真机就失灵。这个鸿沟是当前 VLA 落地最大的瓶颈之一。 通用机器人离家庭场景还有多远? 实验室里的 VLA 能在受控环境里抓杯子、叠衣服,但家庭环境的复杂度——杂乱的桌面、奇怪的物体、动态的宠物和小孩——远远超出当前模型的鲁棒性。更现实的落地路径是封闭场景:仓库分拣、餐饮后厨、特定工业工位。这些场景环境可控、任务重复、容错率高。通用家庭机器人,按今天的进度看,仍然是十年以上的故事。我们在 机器人前沿 的持续追踪里,能看到这条线正从演示走向有限商用。 VLA 路线的意义不在于它今天多能干,而在于它第一次让「用数据规模换机器人泛化」成为可能。剩下的,是把数据成本和现实鸿沟一个个填上。 数据闭环为什么是机器人公司的核心资产? VLA 模型的能力上限,最终取决于它见过多少真实操作数据。谁能把自家机器人部署到足够多的真实场景、收集到足够多的成功失败轨迹、再用这些数据反哺模型,谁就能形成数据闭环。这个闭环一旦转起来,后来者即使拿到同样的模型架构,也追不上数据规模的差距。这也是为什么今天机器人公司的竞争,表面是硬件,底下悄悄是数据飞轮的竞争。 VLA 路线的真正考验,不在演示台上,而在那些杂乱、多变、充满意外的真实家庭与车间里。从演示到商用,还有很长的一段数据路要走。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 30 words · 王波

多智能体协作:群体智能还是混战内耗

让多个大模型智能体组队——一个当产品经理、一个当工程师、一个当测试——理论上能完成比单智能体复杂得多的任务。这个范式在 2025 年后大量涌现,演示视频里令人惊艳,但真实跑起来才发现,协作的效率远低于预期,内耗、重复、目标漂移比比皆是。 多智能体为什么经常 加不如减? 理论上分工能让每个智能体专注,但实际跑起来,通信成本吃掉了分工收益。每个智能体都要把自己的上下文传给下一个,信息在传递中被压缩、失真,最后一个环节拿到的可能已经是面目全非的摘要。更糟的是,智能体之间会互相等待、互相甩锅、重复做同一件事。很多对比实验显示,一个设计良好的单智能体,经常比三个互相通信的智能体表现更好、成本更低。 群体目标为什么会在传递中漂移? 你给团队定的目标是「做一个用户喜欢的产品」,产品经理理解成「功能丰富」,工程师理解成「架构优雅」,测试理解成「零 bug」。三个目标互相拉扯,最后产出的东西谁都不满意。这种目标漂移在人类团队里靠沟通和领导解决,在多智能体系统里需要显式的共识机制——定期对齐、共享目标表示、最终决策者。没有这套机制,多智能体就是一群各自为政的发言人。 责任与成本怎么归因? 任务失败了,是产品经理的需求错了,还是工程师执行错了,还是测试漏了?多智能体系统里,错误会沿链条传播,事后归因极其困难。成本侧同样棘手——三个智能体跑一次任务,token 消耗是单智能体的好几倍,但如果效果只提升百分之十几,这笔账就不划算。论坛里 多智能体 的讨论,热点已经从「怎么搭团队」转向「什么时候根本不该搭团队」。 多智能体不是银弹。它适合那些确实需要异构视角、可并行验证的任务,不适合那些一个强模型就能搞定的事。判断该不该组队,本身就是一种工程判断力。 什么时候根本不该用多智能体? 经验法则是:如果一个强模型加清晰提示词就能搞定,就不要拆成三个智能体。多智能体的通信成本、调试难度、失败归因复杂度,都会吃掉分工带来的收益。它真正的适用场景,是那些天然需要异构视角、可并行验证、或者人类工作流里本来就有多个角色的任务。判断该不该组队,本身就是一种工程判断力,而不是默认越多越好。 多智能体不是万能药,它更像是一种需要谨慎使用的组织手段。用对了杠杆,用错了内耗,判断本身就是成本。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 25 words · 王波

智能体长时记忆:短期工作记忆之外的架构

一个真正有用的智能体,不能每次对话都从零开始。它需要记得你上周交代过的偏好、三个月前做过的项目、上次出错的教训。这种跨会话的长期记忆,是智能体从「聊天机器人」进化为「数字助理」的关键一跃。但记忆系统怎么设计、记什么、什么时候忘,远不是加个数据库那么简单。 工作记忆与长期记忆该怎么分层? 人类认知科学给了一个很好的隐喻。工作记忆就是上下文窗口,容量小、周转快,装当前任务所需的信息。长期记忆是外部存储——向量库、知识图谱、结构化档案——按需检索。成熟的智能体会把重要结论从工作记忆压缩、提取、写入长期记忆,下次对话时再根据当前情境召回。这本质上是一个自动的笔记系统,只不过笔记是模型自己写、自己查的。 遗忘为什么和记忆同等重要? 什么都记等于什么都没记。用户三年前随口提的偏好,可能早就过时了;一个已经完成的项目细节,继续占用记忆只会污染后续决策。健康的记忆系统必须有遗忘机制——按时间衰减、按使用频率加权、按用户显式删除。更难的是主动遗忘:当模型发现某条记忆与当前行为矛盾时,应该能判断「这条信息过期了」,而不是机械地继续引用。 记忆写入由模型自己做可靠吗? 让模型决定什么值得记、怎么写摘要,本身就有偏差。它可能漏掉真正重要的细节,也可能把无关紧要的东西写得过长。工程上的折中是:让模型写草稿,但保留人工审核入口,或者用规则辅助——比如用户明确说「记住这个」才写入长期记忆,日常对话只在会话内保留。我们在 智能体架构 的讨论里,把这叫做「记忆写入的信任边界」。 长期记忆是智能体最容易被低估的模块。模型再聪明,如果每次都失忆,它在用户眼里就只是一个反应快的陌生人。 记忆隐私怎么在智能体时代重新定义? 智能体记得你说过的每一句话、做过的每一个决定、表达过的每一个偏好。这些记忆如果长期存留在厂商服务器上,就构成了一个比通讯录、浏览记录更深的数字画像。用户需要的不只是「删除我的数据」按钮,而是能查看智能体到底记住了什么、能按主题擦除、能限制它在新对话里引用旧记忆。记忆系统越强大,记忆的控制权就越需要被当作一种基本权利来设计。 没有可靠记忆的智能体,永远只是一个反应飞快的陌生人;有了记忆却没有控制权,又会变成一个过度了解你的监视者。平衡点要靠工程和制度一起找。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 20 words · 王波

后训练与强化学习:RLHF 之后的路线分化

预训练给了大模型知识,后训练决定了它怎么表现。过去几年后训练的主流是 RLHF——用人类偏好训练奖励模型,再用强化学习让模型贴合人类口味。但 2025 年后,这条路线正在分化:纯口味对齐的收益递减,而把强化学习用在可验证任务上——数学、代码、工具使用——开始带来真实的能力提升。 RLHF 为什么走到了边际收益递减? RLHF 擅长让模型说话更礼貌、更有用、更少冒犯,但它对推理能力、知识深度的提升非常有限。原因是人类偏好本身就是模糊的——人在两个都正确的回答里选一个,更多是在选风格,而不是在选正确性。当模型已经足够礼貌之后,再堆人类偏好数据,边际提升就接近零。这就是为什么各家实验室开始把后训练的重心从「对齐口味」挪到「训练能力」。 可验证奖励的强化学习为什么突然有效? 数学题有标准答案,代码能跑测试用例,工具调用能看结果——这些任务的奖励不需要人类打分,程序就能自动判断对错。在这种可验证环境里,强化学习能真正训练模型的推理能力:模型不断尝试,被奖励信号引导向正确解法,多轮迭代之后能力稳步上升。这条路线被证明比纯 SFT 加 RLHF 在推理任务上强一大截,也是 2025 年后旗舰模型能力跃升的主要来源。 后训练会取代预训练吗? 不会,但预训练的相对重要性在下降。早期模型几乎全靠预训练,后训练只是把能力调成可用形态。新路线下,预训练提供基础能力和知识,后训练通过大量可验证任务把这些能力「激发」出来——同样的预训练底座,后训练做得好,能力可能差出一个档次。这意味着后训练工程化的价值在快速上升,甚至超过预训练本身。论坛里 后训练技术 的讨论密度,这一年明显超过了预训练。 后训练范式的转变,标志着行业从「教模型说人话」进入「教模型真做题」。前者是审美问题,后者是能力问题。 后训练会不会变成新的护城河? 预训练底座逐渐开源、趋同之后,真正拉开模型差距的,可能是谁掌握了更好的后训练数据和奖励工程。可验证任务的奖励信号怎么设计、推理过程怎么奖励、长程规划怎么打分,这些know-how越来越像一门手艺,而不是公开技术。这意味着未来的竞争高地会从「谁的模型更大」转向「谁的后训练管线更精」,后训练数据的积累会成为难以复制的资产。 预训练提供广度,后训练决定深度。两者的权重正在此消彼长,后训练工程化的价值,未来几年还会继续被重估。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 31 words · 王波

缩放定律边际:算力红利还能吃多久

缩放定律是过去七年大模型路线的理论基石:模型损失随参数量、数据量、训练算力呈幂律下降,外推即可预测下一个量级的表现。但幂律不等于线性——它的含义是,你想把损失再降一点,所需算力可能要翻好几倍。这条边际递减曲线,正在决定整个行业的投资节奏。 幂律下降的数学形态意味着什么? 损失函数对算力的曲线是平滑的幂律,没有明显的拐点。这听起来是好消息——意味着继续堆算力仍然有效。但幂律的指数通常小于一,也就是说,算力翻十倍,损失只下降一个固定比例,而不是十倍。每前进一单位能力,成本是指数级上升的。这就是为什么顶级模型的训练成本从几百万美元涨到了几亿美元,还在继续涨。 数据和算力哪个先成为硬约束? 早期缩放主要靠堆参数,后来发现数据量才是瓶颈——参数再大,没有足够多样的高质量数据也训不出能力。于是行业转向数据效率:更好的数据配比、更长的训练 token、合成数据补充。今天的瓶颈在两侧同时出现:真实人类数据见顶,顶级算力集群的建设周期和电力供应也开始吃紧。下一轮缩放,可能不是「更大」,而是「更高效」。 缩放是否存在一个架构性上限? 这是路线之争的核心。一派认为幂律会一直延续到 AGI,只要算力跟得上;另一派认为现有 Transformer 架构有内在瓶颈——有限的上下文、静态的权重、缺乏世界模型——缩放只是在放大已有能力,不会产生质变。后一派的赌注是,下一次能力跃迁需要新架构,而不是更大的同款。我们在 架构前沿 的讨论里,能听到两边都在拿出越来越精细的证据。 缩放定律没有告诉我们终点在哪,它只告诉我们,从这里到终点每一步要花多少钱。这笔账算得越清楚,行业就越难自欺。 数据效率能在多大程度上对冲算力成本? 当算力翻倍的代价越来越高,行业开始把注意力转向「每个 token 学到更多」。更好的数据配比、课程学习、去重、高质量精选,这些手段能让同等算力下的模型能力提升一截。但数据效率有天花板——它能延缓边际递减,不能逆转它。真正的范式转移,要么来自新架构带来的算法效率跃升,要么来自能源供给的结构性变化,单靠数据侧的优化撑不起下一个数量级。 下一个十年,真正的比拼不是谁堆得更大,而是谁能用同样的预算换来更高的样本效率。算力是硬通货,但如何花好这笔钱,正在变成一门精细手艺。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 26 words · 王波

AI eval 危机:基准过时与古德哈特定律

每隔几个月,就有新模型在某个经典基准上刷出接近满分的成绩,然后这个基准就被宣告「已饱和、已死亡」。新基准刚出来时光鲜亮丽,一两年后又被刷爆。这场评估危机的本质,是古德哈特定律——当一个度量变成目标,它就不再是好的度量。模型公司为了排行榜而优化,排行榜就失去了预测真实能力的价值。 基准为什么会被迅速刷爆? 经典基准的数据集是公开的。模型公司可以把这些题目及其变体直接混进训练集,于是「考高分」不再代表「会做这类题」,只代表「见过这类题」。多轮之后,基准分数与真实泛化能力脱钩。更糟的是,模型会学会基准题目的表面模式——特定出题套路、特定答案长度——而不是背后的能力。这种过拟合在排行榜上看不出来,一到真实业务场景就露馅。 动态对抗式评估能解决问题吗? 为了对抗过拟合,评估社区转向了动态生成题目、私有测试集、实时人机对比。但这些方法成本高昂,而且只要测试流程被逆向,模型公司又能针对性优化。更根本的做法是把评估从「做对题目」转向「完成开放任务」——让模型在模拟真实工作流的环境里端到端地解决问题,再由自动化裁判加人工抽检打分。这种评估贵,但更接近真实。 真实世界表现为什么仍然无法被分数概括? 一个模型在数学竞赛上拿金牌,不代表它能在真实工程团队里写好代码;在写作比赛上获奖,不代表它能帮你写一封得体的商务邮件。能力是多维的,任何单一分数都会漏掉关键维度。于是企业采购大模型时,越来越多不再看公开排行榜,而是用自己业务数据做私有评测集。我们在 选型实践 里反复强调,公开榜单只能作为初筛,不能作为决策依据。 评估危机的深层含义是:我们还没有找到一个既能标准化、又不会被博弈掉的能力度量。在找到之前,任何「某模型得分 X」的新闻,都应该先打一个问号。 私有评测集能成为最终答案吗? 越来越多企业用自己业务数据搭建私有评测集,模型在公开榜单上的分数只做初筛。这条路方向正确,但也有代价:私有评测集成本高、迭代慢、不同公司之间无法横向对比。更难的是,私有评测集本身也会被过拟合——如果模型公司能拿到你的测试样本,它照样能针对性优化。真正的解药可能是持续的、动态的、由真实用户反馈驱动的在线评测,而不是任何一次性的基准。 去论坛讨论 前往 ziyuanagi.com 论坛 参与讨论。 💬 更多交流内容,请点击字元科技硅基agi论坛:https://ziyuanagi.com/ziyuanagi.com

2026-10-17 · 1 min · 20 words · 王波
🔗 字元科技海外论坛 · https://ziyuanagi.com/ | 📡 RSS 订阅
鲁ICP备2026018361号
📮 联系信箱:13789892969@139.com