大模型

十月七日前后挂出的 arXiv 2610.09372，标题就很直白：Expert Coupling in MoE Pretraining，讲的是怎么靠「相关专家放置」和「token 洗牌」两招，把 MoE 预训练里最贵的 all-to-all 通信砍掉一大截。作者发现，专家之间并不是随机被选中的——有那么几对专家经常被同一个 token 一起激活。他们利用这个相关性，把常被同时选中的专家放在同一张 GPU 上，再配一个让每个 token 只给每张 GPU 发一次的调度器，最多能砍掉 58% 的派遣行。 MoE 的 all-to-all 为什么这么贵？ MoE 前向里，每个 token 经路由器挑出几个专家，然后要靠一次 all-to-all 通信，把 token 数据送到持有对应专家的那张 GPU 上，算完再 all-to-all 收回来。模型一大、专家一多，这个「把 token 派到各张卡」的通信就成了瓶颈，在端到端时间里占掉相当大的比例。过去优化的重点是通信原语本身（更快的 all-to-all、更薄的调度），这篇论文换了个角度：能不能从一开始就让「该通信的 token」变少。 「相关专家放置」是怎么省通信的？ 关键观察是：如果专家 A 和专家 B 总是被同一个 token 同时选中，那把它们放在同一张 GPU 上，这个 token 就根本不需要跨卡——它本地就把两个专家都算完了。作者先用统计方法从训练轨迹里找出这种「专家耦合」对，再据此重新摆放专家，让耦合专家尽量同卡。配合一个「每个 token 到每张 GPU 只发一次」的调度器，本来要派往多张卡的行被合并，报告里最多减少 58% 的派遣行。token 洗牌则是在序列并行把 token 切到各卡时，提前把 token 搬到它下一层预测要去的那张卡上，藏在 reduce-scatter 的间隙里，省掉显式搬运。 这种「按相关性重新摆放」，训练时不会乱吗？ 一个天然的担心是：专家和 token 的对应关系是动态的，摆放固定下来，会不会反而造成新的负载不均？作者的回答是，他们统计的是训练中稳定存在的耦合模式，不是逐 batch 抖动的噪声——这种长期相关性足以支撑一个相对静态的放置。而且这套方法不需要改模型权重、不需要重新训练，只是在部署调度层做重排，因此可以叠加在已有 MoE 上。对那些已经被 all-to-all 卡脖子的大规模 MoE 训练集群，这是一条「不改模型、只改摆放」就能换吞吐的实在优化。 ...

九月底挂出、十月九日被技术社区重新翻出来讨论的 ID Balancing（arXiv 2609.39137），干的事听上去很跨界：它把两种主流的 MoE 负载均衡方法，统一成一个控制论里的 PID 框架。作者指出，DeepSeek 那套广为人知的「无辅助损失」负载均衡，本质上是一个固定步长的积分控制器；而 Kimi K3 用的分位数均衡，本质上是一个广义的比例控制器。在这个视角下，它们都是不完整的 PID，于是论文提出一个真正带积分和微分项的 ID 控制器，去稳定极稀疏 MoE 的训练。 MoE 训练为什么会「专家吃不饱、有的撑死」？ MoE 靠路由器把每个 token 分给几个专家，理想情况下每个专家被用到的频率差不多。但现实里路由器会「偏心」：少数几个专家越用越顺手，大部分专家常年冷门。冷门专家等于白训，模型有效容量被浪费；更糟的是训练会因此震荡、发散。传统解法是加一个辅助损失，强行惩罚不均衡——但这个损失的权重是个难调的超参，调重了模型被迫为了均衡而牺牲专业分工，调轻了又压不住。后来 DeepSeek 干脆去掉辅助损失，改成在路由器上加一个动态偏置，按历史负载微调；Kimi K3 则用分位数统计来校准路由分数。 PID 这个老框架，怎么就套到路由器头上了？ 控制论里，比例（P）控制器按当前误差大小回拉，积分（I）控制器对累积误差做修正，微分（D）控制器对误差变化率做预判。作者的洞察是：Kimi K3 的分位数均衡只看「当前负载离目标多远」并据此调整路由分数，正是比例项；DeepSeek 的无损失法按每步固定量累积修正，不随误差大小变化，正是一个没有比例、没有微分的积分项。两者都缺了一角。ID Balancing 于是保留积分项（随负载误差缩放），再补上一个微分项——只在负载误差的变化率足够大时才激活，用来在路由突然偏斜的瞬间提前刹车，而不是等偏完了再补。 这种「换个视角看老方法」，真能带来新收益吗？ 统一视角的价值，不只是好看。一旦把两种方法摆进同一个控制论坐标系，设计者就能像调工业控制器那样，系统性地考察积分饱和、微分噪声、稳定性裕度这些老问题。论文报告说这种组合在极稀疏 MoE 上训练更稳、不需要艰难调超参。它提醒的是：大模型里很多「新算法」其实是控制论、运筹学里成熟思想的转世，换个坐标系，老工程经验就能直接搬过来。对做 MoE 训练的团队，这种把调度问题翻译成控制问题的思路，比单个超参更值得收藏。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

十月初 Cloudflare 生日周放出、随后被 InfoQ 在十月八日报道的 Clef，是它第一组开放权重的「决策模型」。和所有生成式模型反着来：Clef 不替你写一段话，它吃进一个状态（可以是文本、JSON、图片甚至视频）和一组类型化的问题 schema，然后对每个允许的选项返回一个概率。它有 27B 和 9B 两档，大的基于 Qwen3.8-27B 冻结后微调，小的 Clef-Flash 从 Qwen3.5-9B 加视觉编码器后训练，64K 上下文，Apache 2.0。Flash 档把一次类型化决策压到约 38.8 毫秒。 为什么要造一个「不生成文字」的大模型？ 生成式模型在 Agent 里的老毛病是：你问它选 A 还是 B，它给你写一段三百字分析，最后才说选 A。这段分析既贵、又慢、还可能跑偏。对一个每秒要做几百次「这条消息转发给谁、这个请求走哪个分支、这个工单分给谁」的系统，你根本不需要它写作，你只需要一个干净的概率分布。Clef 的设计就是把大模型那头的生成头，换成一个对预设选项打分的决策头：输出永远是结构化的、可比较的、能直接喂给规则引擎或博弈策略的。这是把大模型从「作家」改造成「裁判」。 冻结基座再后训练，和直接微调差在哪？ 官方做法是冻结 Qwen3.8-27B 的主体，只在上面接一个面向决策的后训练与强化学习平台。冻结基座意味着语言理解的底子不被破坏，新学的只是「在这个状态下，各选项的概率该怎么排」。这种做法的好处是稳定、可移植——同一套底层表征，换个决策任务只需重训上面那层头；坏处是它的天花板受限于基座对状态的理解，复杂到需要推理的决策，纯打分头未必够。Cloudflare 还配套放了一个 RL 微调平台，让你把自己的决策任务喂进去做适配。 它和「带约束的生成」有什么本质不同？ 表面上你也能让普通模型在几个选项里选一个，但那本质是「让它生成一个 token 再 constrain 住」，模型并没有被训练成「对选项概率建模」。Clef 走的是判别路线：输出空间直接就是选项集合，概率是被优化出来的目标，不是从文本概率里间接读的。这就是为什么它能把延迟压到几十毫秒——不做自回归逐 token 生成，一次前向直接给出全部选项的分布。对那些真正在边缘、在高频、在 Agent 循环里要反复做选择的环节，这是一条和生成式路线互补、而不是替代的赛道。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

十月七日到八日，Scale AI labs 放出题为 Humanity’s Sixth Sense 的基准（arXiv 2610.08966，十月八日更新到 v2），专考「直觉式视觉推理」。结果扎眼：人类在这组任务上拿到约 93.1%，而目前最强的多模态模型 GPT-6-astra 只到约 53.6% 到 54%，个别口径下甚至跌到三成出头。也就是说，那些人眼扫一眼就懂的画面直觉，最前沿模型连及格线都摸不到。这不是又一个刷榜数字，而是把多模态模型一直藏在「看图说话很好」背后的短板，单独拎出来量了一遍。 直觉式视觉推理，到底测的是什么？ 它测的不是「图里有几只猫」这种可枚举的识别，而是那种人类靠经验一眼带过、却说不清规则的判断：这个物体该往哪倒、这个动作接下来会怎么演化、两张图之间那种微妙的因果与物理感。论文作者刻意把任务设计成小样本、人类凭常识即可作答的形态，再让人工按一致性标准打分。这类能力之所以叫「第六感」，是因为它几乎不来自显式标注，而是来自人在物理世界里摔过的无数次。模型没摔过，自然缺这一课。 为什么刷榜刷到顶的模型，在这却像换了个脑子？ 一个尴尬的解释是：模型擅长的是「把见过的图文对上号」，而不是「在脑子里跑一遍物理」。当题目落在训练分布的长尾——那种需要现场估计重心、动量、遮挡关系的画面——参数记忆帮不上忙，就得靠真正的世界模型去推演。而当前多数多模态模型的视觉侧更像一个巨大的检索器，把像素映射到语言空间，再让语言模型去编，编得头头是道，却没有一个在闭环里被物理约束训练过的模拟器。于是 benchmark 分越高，越可能只是「背题背得好」。 这个 54% 的差距，是模型不行还是基准太小？ 泼一盆冷水：任务集不大、评判又靠人，它能说明方向，却回答不了「模型迁移到真实世界能好多少」。基准的价值在于它把一个被 MMLU、MMMU 这类知识型测试掩盖住的缺陷，单独曝光了。对做产品的人，信号很直接：别相信多模态 demo 里那种一眼就懂的瞬间，那是精心挑过的；真要让模型操作机器人、读工业画面、判断现场状况，这道直觉坎还远没过。人在回路（human-in-the-loop）在这类场景里暂时撤不掉。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

十月九日，arXiv 上挂出一篇题为 Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals 的论文，作者来自包括北大、慕尼黑工业大学在内的一组机构。它要解决的问题很具体：当下大模型靠 test-time compute 变聪明，无非是让同一个网络反复前向、把中间状态在循环里转很多圈；可一旦圈数拉到几千上万步，绝大多数架构要么发散，要么直接忘了自己这一圈在算什么。这篇论文给出的答案是循环原生的注意力残差：不要再把每一圈当独立前向，而是让注意力残差沿着回路跨步携带，给漫长的递归一条稳定的记忆主干。 为什么普通循环模型转不了几千步就崩？ 递归式 transformer 这类架构，本质是把同一个权重块反复调用，试图用「重复前向」换取算力深度，而不是把网络堆深。想法很美：一个 2 层的块转一万次，等效于两万层的推理。但实测里，递归块的步数一旦过百，注意力头的分布就开始漂移，反馈回路里的微小误差被一圈圈放大，最后输出震荡、收敛到平庸解。过去的做法是加 LayerNorm、缩短递归块尺寸、在每步重新注入输入，本质都是在「压住」这个不稳定系统，代价是有效循环长度被死死锁在几十步量级。 注意力残差沿回路携带，到底改了哪根线？ 这篇论文的核心动作，是把 transformer 里本来只在单层内部流动的注意力残差，改成跨递归步持续存在的状态。普通前向里，注意力输出经过残差连接融进隐藏状态，下一层就当新的输入重来；而循环原生设计里，模型不再每圈从零算注意力，而是把上一圈算好的注意力残差作为条件带进来，让递归过程变成一个有惯性的动力系统。作者观察到，这样一来递归过程中注意力头的行为会显著稳定化，前向推理可以反复进行而不抖。配合对递归块尺寸与输入注入位置的消融，他们报告说可以把 test-time 迭代扩展到上万步量级，而强化学习回路里甚至能跑到十万 token 以上的尺度。 这和「多算几遍」的老思路差在哪？ 关键区别在记忆的位置。Chain-of-thought 式多算，是把思考写在 token 序列里，靠下一个 token 记住上一步；循环原生残差是把思考写在网络内部的一个持续状态里，不消耗上下文窗口，也不要求模型把理由逐字吐出。这意味着它更像大脑的「工作记忆」而不是「笔记本」：不需要把每一步都讲出来，却能沿着回路不断打磨同一个解。对那些需要长时间沉淀、又不希望推理成本随上下文线性膨胀的任务，这条路线值得盯紧。 当然，论文是预印本，上万步的收益究竟来自循环残差还是来自更长的等效深度，还需要独立复现。但它至少说明一件事：test-time compute 的下一仗，可能不在「多想几行字」，而在「让网络本身转得动」。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

据 Unite.AI 等报道，Mistlabs 完成两千六百万美元 Pre-A 轮融资，由 Luminous Ventures 与华勤技术领投，并同步在苹果设备上推出脱离测试版的 Ambi。Ambi 的定位不是又一个聊天助手，而是 AI 代理之间的通信层——让不同的 agent 能互相发现、协商和交接任务，而不需要人在中间逐句传话。 AI 之间为什么需要专门的通信？ 当你手机里同时住着日程代理、邮件代理、购物代理，它们如果各自为战，就得靠你当路由器。Ambi 想做的是让这些代理用一套机器对机器的协议直接对话：一个查到航班的代理，可以直接把行程交给订票代理，而不是先写成人话、再由你复制粘贴。这是从「人指挥多个工具」走向「代理替你协调代理」的关键一层。 代理互相通信，安全边界怎么办？ 让 AI 直接和 AI 谈钱、谈权限，效率上去了，攻击面也跟着放大。一个被注入的代理，可能通过通信层把恶意指令传染给相邻代理；协议里谁能发起、谁能审批、谁能动钱，都要重新设计。两千六百万美元的融资说明资本认可 A2A 这个方向，但真正的门槛不在模型，而在这套通信协议的信任模型。能不能在开放互联和可审计之间划出安全边界，决定它是下一个基础设施还是下一个漏洞入口。 代理之间直接对话，会不会打开新的攻击面？ 让 AI 互相通信，效率和风险是同一枚硬币的两面。一旦协议开放，恶意代理就能借通信层横向扩散，像蠕虫一样感染相邻代理。Ambi 们要解决的不只是让代理聊起来，更是让它们在聊的时候互相验证、互相设防。这个信任层如果做不好，A2A 通信就是下一个被滥用的接口。能不能在开放和审计之间画好线，是这个赛道的生死线。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

据 onthewire 等报道，德国 Aleph Alpha 于十月初以 Apache 2.0 发布并开放权重 Kolibri，一个德英双语的混合专家模型：总参数约七十八 B，每 token 激活约三点四六 B。在自家对比表里，Kolibri 在它纳入的 MoE 对手中综合领先。对一家主打「欧洲主权 AI」的公司来说，开源一个德英双语模型，本身就是立场表达。 欧洲为什么要自己训练双语 MoE？ 美国模型强，但训练语料和价值观偏英文互联网；中国模型便宜，但对欧洲企业有数据合规顾虑。Kolibri 把德语和英语放在同一底座，又以 Apache 2.0 开放权重，瞄准的就是不敢用美、也不敢用中的欧洲公共部门和受监管行业。三点四六 B 的激活参数说明它走的是小激活、低推理成本路线，适合在欧洲自己的数据中心里合规部署。 双语小 MoE 能打过旗舰吗？ 别指望它在通用榜头上叫板 GPT 或 Claude。它的竞争力不在刷分，而在主权、合规和德语场景的本地化。权重开放意味着机构可以离线部署、自行微调。对欧洲这种把数据主权写进监管的市场，一个能跑在自家机房的德英模型，价值不能只用 benchmark 衡量。接下来要看社区会不会为它补上法语、西语的微调生态。 主权 AI 会不会变成欧洲的新壁垒？ Kolibri 这种模型瞄准的是一个被地缘撕裂的市场：不敢全押美国、也不敢全押中国的欧洲机构。Apache 2.0 开放权重，等于把主权从口号变成了可部署的实物。但开源模型要活下来，得有社区和企业买单。如果欧洲公共部门真的按政策采购本土模型，Kolibri 们就有了稳定基本盘；否则它只是一个政治正确的 demo。 主权 AI 这面旗能不能扛下去，最终要看欧洲愿不愿意为本土模型多付一点合规溢价。毕竟数据安全和语言本地化，本身就是企业愿意为之买单的理由，而不只是一句政治口号。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

据金融界等十月九日晚间报道，OpenAI 于当日正式面向全球用户全面上线 GPT-6，取代此前的 GPT-5.6 Sol 和 GPT-5.6 Luna，免费及付费 ChatGPT 用户均可使用。新模型集成 Astra 安全技术，重点强化对网络攻击、生物风险、暴力内容等滥用场景的防护，并提升抵御越狱攻击的能力。这被业内视为一次不只是版本更新、而是进入赚钱能力大考的节点。 全量免费开放，图的是什么？ 把旗舰模型同时铺给免费和付费用户，是典型的先占心智再转化。免费用户用得越多，数据和使用习惯沉淀越深，后续向上转化为订阅的漏斗越宽。代价是推理成本随免费流量线性上升，所以 OpenAI 才要在 Astra 上把滥用和高风险调用挡在门外——不是不想免费，而是不能让免费流量被刷成安全和成本的黑洞。 Astra 安全技术到底防住了什么？ Astra 的重点是滥用面：网络攻击辅助、生物风险、暴力内容，以及越来越成熟的越狱话术。当模型能力强到能帮人写攻击代码、规划危险操作，安全就成了产品能不能商用的前提。值得追问的是：安全加固会不会反过来削掉正常用户的体验？历史上每次对齐收紧都伴随「变笨了」的抱怨。上线后社区对 GPT-6 是更聪明还是更谨慎的反馈，是接下来一周最真实的验收。 全量免费之后，OpenAI 怎么填成本窟窿？ 免费用户越多，推理成本越大，OpenAI 必须在转化和成本之间走钢丝。Astra 挡住滥用，是为了不让免费流量失控；但真正的窟窿要靠把免费用户转成订阅来填。这是一场典型的规模换转化：先把人圈进来，再用更好的功能分层收费。能不能成，看的是 GPT-6 到底值不值得用户从免费档往上爬。 从免费到付费的转化漏斗，会成为 OpenAI 下一个季度财报里最受关注的数字。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

据 Claude 平台十月七日更新、九日再次同步多语言版本的发布说明，Anthropic 将 Claude Sonnet 5.5 的提示缓存读取价格从每百万 token 零点二美元下调至零点一美元，相当于输入基准价的零点零五倍，而缓存写入和其他价格保持不变。这是一次针对高频重复上下文的定向降价，不是全面调价。 缓存读价为什么值得单独砍半？ 提示缓存命中时，模型不必重新处理整段系统提示和历史，推理成本本就低。但很多企业场景——长文档问答、多轮客服、代码库上下文——会反复命中同一段缓存，读 token 量远大于写。把读价砍半，等于直接奖励那些把上下文用对、把缓存命中率做高的用法。Anthropic 在引导开发者：别裸调，把可复用的部分缓存起来。 这对开发者的账单意味着什么？ 对高并发、长上下文的 Agent 应用，缓存读价是账单大头。一次降价就能让反复读取相同系统提示的产品边际成本显著下降。这也折射出大模型定价正在颗粒化——不再是一个输入价一个输出价，而是按写入、命中、命中后衰减分档。开发者要省钱，越来越得像调数据库缓存那样调模型上下文。价格战从标价打到了缓存这一层。 缓存分档定价会成为行业标准吗？ 当头部模型都开始按写入、命中、衰减分价，开发者优化上下文就从「好习惯」变成了「省钱必修课」。这其实把推理的一部分成本转嫁给了开发者——你要懂怎么组织提示、怎么命中缓存，才能拿到低价。对小团队这不友好，对有工程能力的公司则是优势。模型定价越颗粒化，工程能力的溢价就越高。 对做 agent 的团队，今天就该去查一眼自己的缓存命中率，那可能是账上最容易省下的一笔钱。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

翻开 DeepSeek V4 公开技术文档，多数人直奔 MoE 与上下文长度，却容易漏掉一个不起眼的名词：流形约束超连接，简称 mHC。它改的是深度学习最基础的那根骨架——残差连接。 残差连接好好的，为什么需要加约束？ 从 ResNet 以来，残差连接让深层网络可以训练，但层与层之间的信息流是自由生长的：每一层的输出随意叠加回主干。在超大 MoE 模型里，这种自由度会放大信号方差，个别层的输出可能主导整条残差流，训练后期出现不稳定。 mHC 的做法是把每层的残差映射约束到双随机矩阵构成的流形上，也就是数学上的 Birkhoff 多面体。直观理解：它要求各层对主干的贡献「既公平又归一」，既不让某一层喧宾夺主，又保证信息在深层网络里均匀流动。 mHC 这类底层改动为什么没人谈却很重要？ 这类改动不像换 MoE 专家数那样有话题度，但它直接影响两件事：训练能不能稳定跑到极致规模，以及推理时输出会不会突然跑偏。对做大模型训练的团队，mHC 这类「把结构先验写进网络」的思路，比单纯堆参数更决定上限。 把 mHC 写进 model card 对社区意味着什么？ DeepSeek 把 mHC 写进公开 model card，等于把一个原本只在内部实验室流传的训练技巧摆上桌面。开源社区可以复现、消融、改进——这也是 V4 技术文档开放的真正价值：比权重更值钱的，是设计权重时的那些约束。 这件事对自己训练模型的人有什么启发？ 如果你在微调或预训练自己的模型，残差流的稳定性往往是被忽略的瓶颈。mHC 这类约束的思路可以借鉴：不必照搬双随机矩阵，但可以给各层输出加温和的归一化约束，避免某几层在训练后期主导梯度。观察手段也简单——画出各层残差贡献随训练步数的曲线，看是否出现个别层异常突出。如果出现，就说明你的网络在「押注少数层」，长期看会限制规模上限。这类底层改动平时看不见，一旦出问题就是训练崩在半路。把约束写进网络结构，比靠调学习曲线去救要可靠得多。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：mHC超连接 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com