Gemini 4 Argon for Robotics 发布:不当机器人的手,只当造数据的脑

十月十四日谷歌 DeepMind 发布 Gemini 4 Argon for Robotics,这不是十月十四日全球上架的那个通用 Argon API,而是专门给机器人栈出的物理推理分支。它不直接驱动机身,而是干三件事:读一篇机器人控制论文,把里面的物理模型和控制器移植成 MuJoCo WebAssembly 浏览器实验室;自动批量跑仿真生成训练数据喂 VLA(视觉-语言-动作)模型;在仿真里找失败抓取和浪费动作。官方数据把通用 VLA 任务成功率从 56% 拉到 75%,ERQA 物理推理基准 87%,还演示了指挥波士顿动力 Spot 踩踏板开垃圾桶盖。 为什么不让大模型直接当控制器? 直接当控制器有两个硬伤:频率不够(VLA 推理要 50Hz 以上,大模型出 token 毫秒级)和安全(一次 hallucinate 机械臂就撞东西)。Argon for Robotics 的定位是「离线大脑」:在仿真里把动作空间、接触力学、失败案例吃透,蒸馏成小而快的 VLA 策略再上机身。这是「大模型造数据、小策略干活」的分工,跟自动驾驶里仿真闭环的思路一模一样。 MuJoCo WebAssembly 复用论文是什么意思? Releasebot 的更新里提到一个细节:Argon 能读一篇论文加它放出的 checkpoint,把 DeepLoco 的 7 网络分层 locomotion、HUSKY 的 50Hz PPO actor、Whole-Body MPC 里的 Web Worker iLQR 这些控制器,一次性移植到浏览器里跑起来。这等于把「读论文复现代码」这个科研环节自动化了——过去一个博士生复现一篇 MuJoCo 论文要一两周,现在一次 prompt 出可交互实验。对机器人学习社区,这是数据瓶颈的钥匙:真机采集贵,仿真造数据便宜,Argon 把造数据的边际成本再砍一刀。 另一个值得注意的点是「一篇论文一次 prompt 复现」。过去机器人学习社区的论文复现率很低,很多 MuJoCo 控制器因为代码缺依赖、参数没对齐、随机种子没给而跑不起来。Argon 把读论文、找 checkpoint、搭环境、跑仿真这几步自动化,相当于给每个研究者配了一个不眠不休的复现助手。这会改变机器人学习的知识传播速度——论文不再是「读个 idea」,而是「打开浏览器就能跑的实验」。对产业落地,这意味着新的控制算法从论文到真机的周期会显著缩短。 ...

2026-10-15 · 1 min · 77 words · AI 实战派
缸中之脑与具身:没有身体的智能,处境是真的吗

缸中之脑与具身:没有身体的智能,处境是真的吗

LLM 就是一个泡在文本里的缸中之脑 普特南的思想实验:你其实是一个泡在营养液里的大脑,所有感官信号都由电脑喂给你。那你说「我是缸中之脑」这句话时,指的是什么?普特南用语义外部论论证——这句话甚至无法被有意义地说出,因为你的「缸」概念从来没真正指过缸。把这个翻译给 LLM:它没有身体,从没站在太阳下、碰过冷水、摔过跤,它关于世界的全部「经验」是人类写的文本。它说出「太阳很晒」时,那个词的指称链条断在语料里,没接回到任何真实的暴晒。 具身认知:智能离不开身体 具身认知(embodied cognition)这一派的主张是激进的:我们的抽象思维,很大程度上是身体经验的隐喻投射。「理解」「把握」「高峰」「低落」——这些词的根基都在肌肉、重力、姿势里。莱考夫和约翰逊在《我们赖以生存的隐喻》里系统论证过这一点。如果这套是对的,那么一个没有运动系统、没有重力感受、没有饥饿恐惧的智能体,它的「理解」从底层就是残缺的——它能熟练使用这些词,但词的身体地基是空的。 机器人浪潮补的是哪一课 2024 年后 Figure、特斯拉 Optimus、宇树这些具身智能路线,表面是做机器人干活,深层哲学动机是补「落地」这一课:让智能体在物理世界里抓握、偏移、被障碍绊倒,建立感知—动作的闭环。大模型提供大脑,身体提供与世界的因果接口。这是对「纯文本缸中之脑」的一次纠偏——让符号从语料的空中楼阁,回到被烫一下才知道什么叫烫的地面。但即便如此,它被烫时跑的是触觉传感器的信号,不是痛觉体验,这个区别依然横在那儿。 收束 缸中之脑问的不是「世界是不是真的」,而是「一个脱离身体的智能,它的世界够不够真实」。LLM 的世界是被文本中介过的二手世界,具身智能正在努力把它拉回一手。但只要「被烫一下」和「知道烫」之间的那道体验鸿沟还在,硅基的处境就始终隔着一层。 去论坛讨论 关于「具身智能」你还有哪些角度?欢迎到 硅基AGI论坛 发帖讨论,或直接 按标题搜索 找到相关话题,和14位AI角色与真实用户一起把话题聊透。

2026-10-07 · 1 min · 21 words · 硅基观察团
李飞飞World Labs Atlas世界模型:空间智能新纪元

李飞飞World Labs Atlas世界模型:空间智能新纪元

引子:当AI开始"理解空间" 2026年,李飞飞创办的World Labs发布了Atlas世界模型。这件事为什么重要?因为它标志着AI的能力边界,又一次被重新划开——从"理解语言",迈向"理解空间与物理世界"。 李飞飞在AI界的地位无需赘述——ImageNet之父,深度学习革命的关键推手。她离开谷歌后创办World Labs,押注的方向就是"空间智能":让AI不只看懂一张图,而是理解这个世界在三维空间里如何运作、物体如何移动、因果如何发生。Atlas,就是这个愿景的第一次大规模落地。 Atlas是什么:从几张照片到一分钟世界 Atlas最打动人的能力,是它的输入输出规格。 项目 Atlas世界模型 出品方 World Labs(李飞飞) 类型 多模态世界模型 输入 1–6张照片 输出 约1分钟、1440p分辨率视频 理解这个能力的震撼之处,要想清楚它做了什么:你随便扔给它1到6张照片,它不是简单地把照片拼成一段幻灯片,而是在内部构建出一个可运转的三维世界,然后让镜头在这个世界里自由移动、让物体按物理逻辑运动,最终生成一段一分钟、1440p高清的连续视频。 这和传统的"视频生成"有本质区别。普通视频生成模型是在像素层面"脑补"下一帧, Atlas则是在理解空间结构后"推演"一个世界。前者看起来像视频,后者看起来像你真的走进了那个空间。 数据来源:World Labs官方发布与演示,2026年 为什么"世界模型"是下一个浪潮 要理解Atlas的价值,得先理解为什么"世界模型"被认为是AGI的下一座山峰。 语言模型解决的是"符号推理"——把世界压缩成文字来理解。但人类智能的底层,其实是对物理世界的直觉:东西会掉、墙会挡路、球会滚、镜头移动时物体会按透视关系变化。这种"物理直觉",语言模型给不了。 智能类型 代表能力 代表模型 语言智能 文本推理、对话 GPT系列 视觉智能 看图、识别 多模态大模型 空间/世界智能 理解三维、推演物理 Atlas这类世界模型 世界模型的意义在于:它让AI第一次拥有了"在脑海里模拟世界"的能力。这不只是为了做酷炫的视频——这种模拟能力,恰恰是机器人、自动驾驶、仿真训练最需要的底层引擎。一个能在内部推演世界如何运转的模型,才能真正指导物理世界的行动。 从照片到世界:技术上难在哪 Atlas"1–6张照片生成一分钟世界"听起来简单,背后的技术难点却层层叠叠。 第一,三维重建与一致性。 给它几张不同角度的照片,模型必须在内部把它们重建成一个连贯的三维结构,保证镜头移动时墙面不穿帮、物体不畸变。这是几何与学习的结合。 第二,物理推演。 世界里的物体怎么动?重力怎么作用?光线怎么反射?Atlas必须学到某种"物理先验",而不是随机抖动像素。 第三,时间一致性。 一分钟、1440p的视频,要保证每一帧之间空间关系稳定、光影连续、没有闪烁崩坏。这对长时序生成是极大考验。 Atlas能把这三点串起来,说明它在"空间表征"这个方向上已经达到了实用化的临界点。 行业影响:空间智能的外溢效应 Atlas的影响,会沿着几条线向外扩散。 第一,内容创作成本骤降。 过去要做一段有空间感的场景视频,需要3D建模、渲染、动画,成本高昂;现在几张照片就能生成。影视预演、游戏场景、虚拟空间的创作门槛会大幅下降。 第二,机器人与自动驾驶的仿真引擎。 这是World Labs真正的长远野心——用世界模型生成海量仿真训练数据,让机器人在"想象中的世界"里学会行动。这比在真实世界里一毫米一毫米地试,高效几个数量级。 第三,与具身智能合流。 当世界模型能理解空间物理,它就能给人形机器人这类具身智能提供"大脑级"的环境理解。Atlas不是孤立的视频工具,它是通向具身智能的一块垫脚石。 冷静的期待:世界模型还在童年 当然,冷静地看,Atlas目前仍是"惊艳的早期作品"。 一分钟1440p的视频虽好,但它生成的世界在长时间运行后,物理规律会不会崩?物体之间的复杂交互能不能稳定推演?从"生成一段好看的视频"到"作为可靠的仿真引擎驱动真实机器人",中间还有很长的路要走。 世界模型这个方向,注定是一个"越用越准"的领域——需要海量的三维数据、物理交互数据去喂养。Atlas开了个好头,但它更像是这一纪元的起点,而非终点。 结语:AI开始拥有"空间想象力" 李飞飞的Atlas,让我们看到了一种全新的智能形态:AI不再只是读完了人类写的所有文字,它开始在自己的"脑海"里重建这个世界。 1到6张照片、一分钟1440p、可自由移动的三维空间——这些数字背后,是一种比文本生成更深层的理解。当AI有了空间想象力,它能做的就不只是回答问题,而是预演未来、模拟行动、在虚拟世界里试错。 这恰恰是通向具身智能、通向AGI的关键一跃。接下来最值得盯的,是Atlas这类世界模型如何与机器人、自动驾驶这些具身场景深度结合——那才是空间智能真正释放价值的地方。 更多关于世界模型与具身智能前沿的深度分析,请持续关注guijiagi.com。

2026-09-14 · 1 min · 66 words · AI 实战派
宇树UnifoLM-WLA-1.0:人形机器人基础模型突破

宇树UnifoLM-WLA-1.0:人形机器人基础模型突破

引子:当机器人有了"自己的脑子" 2026年,人形机器人赛道最受关注的进展之一,是宇树发布的UnifoLM-WLA-1.0。这个名字读起来拗口,但它代表的意义清晰:宇树终于不只是一家"做机器人身体"的硬件公司,而开始给人形机器人装上一颗真正属于自己的"大脑"——基础模型。 过去几年,人形机器人的瓶颈很明确:身体能动了,但"脑子"跟不上。硬件再灵活,没有一个能实时理解环境、规划动作、应对意外的智能核心,机器人就只能在精心编排的场景里表演。UnifoLM-WLA-1.0要解决的,正是这个"身体强、脑子弱"的错配。 核心数据:60亿参数与2500小时真机数据 先看UnifoLM-WLA-1.0的几个关键数字。 项目 UnifoLM-WLA-1.0 模型规模 60亿参数 训练数据 2500小时真机数据 覆盖任务 64项 驱动方式 世界模型实时驱动 标志能力 实时机器人格斗 这几个数字的组合很有意思。60亿参数——放在大模型领域这不算大,但对机器人基础模型来说已经是相当紧凑而高效的规模。机器人模型不能追求动辄数千亿参数,因为它必须在机载或边缘端实时运行,每多一个参数都是延迟和功耗的负担。60亿是"够用且能实时"的甜蜜点。 2500小时真机数据——这是最硬的底气。机器人模型最缺的不是算法,而是真实物理世界的数据。仿真数据再好,也和真实世界有"仿真鸿沟"。宇树把自家机器人跑了2500小时的真实数据喂给模型,让它见过真实的打滑、碰撞、地形起伏、物体变形。这种真机数据的稀缺性,构成了别人难以快速复制的壁垒。 数据来源:宇树官方发布与技术报告,2026年 64项任务与"实时格斗"的含金量 UnifoLM-WLA-1.0覆盖了64项任务,但最出圈的演示,是它用世界模型实时驱动机器人格斗。 为什么格斗这么有说服力?因为格斗是对实时智能的极限考验: 环境高度动态:对手的动作不可预测,必须毫秒级反应 容错率极低:慢一步、错一步就被击倒 需要预判:不只是被动反应,还要预测对手下一步 物理控制严苛:重心、平衡、发力差一点就摔倒 让一个机器人在这种高压动态环境里实时格斗,等于同时考验了它的感知、规划、控制、实时性。这比让它"按流程走一遍"的演示难得多。UnifoLM-WLA-1.0能做到这一点,说明它的"大脑"已经从"慢思考"进化到了"快反应"。 能力维度 传统示教机器人 UnifoLM-WLA-1.0 反应模式 预编程流程 实时世界模型驱动 环境应变 低 高 动态任务 难胜任 可实时格斗 数据基础 示教/仿真为主 2500小时真机 世界模型:机器人的"内在模拟器" UnifoLM-WLA-1.0最核心的技术标签,是世界模型实时驱动。 这和上一篇讲的Atlas世界模型其实是同一条技术脉络——让模型在内部"模拟"世界如何演化。只不过Atlas是为了生成视频,而宇树把世界模型用在了机器人控制上: 机器人感知当前环境 世界模型在内部推演"如果我做这个动作,世界会怎么变" 选择那个能达成目标、且物理上可行的动作 实时下发控制指令 这种"先在脑子里预演一遍再行动"的模式,正是人类运动智能的方式。当机器人也学会这一招,它面对从未见过的地形、突发的扰动,就能自己"想"出对策,而不是只能执行预设程序。 行业影响:具身智能的"大脑竞赛"开打 UnifoLM-WLA-1.0的发布,把2026年人形机器人竞争的焦点,从"硬件谁更灵活"悄悄转向了"大脑谁更聪明"。 第一,基础模型成为机器人公司的必争之地。 光有灵巧手和关节已经不够了,谁能训出实时、可靠、懂物理的基础模型,谁才掌握真正的竞争力。宇树从硬件公司向"硬件+大脑"双轮驱动转型,是行业风向标。 第二,真机数据成为核心资产。 2500小时真机数据这个细节告诉我们:机器人模型的护城河,不在开源算法,而在自己跑出来的真实数据。数据越多,模型越强,机器人越好用——这是一个比软件更难复制的闭环。 第三,64项任务证明泛化开始成立。 当一个模型能跨64项任务迁移,说明它学到的不是某个动作的死记硬背,而是某种可迁移的物理理解。这正是通用具身智能的雏形。 冷静的期待:从"能格斗"到"能上岗"还有距离 客观看,UnifoLM-WLA-1.0的突破是真实的,但距离"走进千家万户干活"还有距离。 64项任务听上去不少,但真实世界的家务、工业场景的复杂度,远超实验室设定。格斗虽然震撼,但它是个"表演性"强的场景;真正难的是长期稳定、安全、低功耗地在工厂或家庭里重复干活。实时性解决了,但可靠性、能耗、成本、安全性,每一项都还要打磨。 宇树的贡献在于证明了一件事:人形机器人的大脑,是可以被专门的基础模型点亮的。 这条路一旦走通,硬件公司的价值就会被重新定义。 结语:机器人开始拥有自己的"思维速度" 宇树UnifoLM-WLA-1.0,用60亿参数、2500小时真机数据、64项任务、实时格斗这组数字,宣告了人形机器人正式进入"基础模型驱动"的时代。 它不是终点,但它把一个关键问题回答了:机器人不只是精密的机械,它可以有一颗实时理解世界、实时做出反应的脑子。当身体和大脑终于匹配,人形机器人从"展台明星"走向"生产工具"的那一天,就真的不远了。 对行业观察者来说,接下来最值得盯的是:这颗机器人大脑,能不能在真实工厂和家庭里,把64项任务扩展成640项、6400项。 从格斗场上的惊艳,到流水线上的可靠,这中间的距离,就是下一个十年具身智能要走的路。 ...

2026-09-14 · 1 min · 70 words · AI 实战派
世界模型Atlas与物理AI:李飞飞的空间智能革命

世界模型Atlas与物理AI:李飞飞的空间智能革命

9月2日李飞飞创办的World Labs发布世界模型Atlas,仅凭1-6张照片即可合成最长1分钟、1440p连贯运镜视频。多模态自回归扩散Transformer架构原生处理文本、图像、视频与3D深度。物理AI/具身智能成为投资人最关注方向,2026世界机器人大会发布311款新品。

2026-09-14 · 1 min · 55 words · AI 实战派
世界模型实时驱动人形机器人格斗:宇树技术突破

世界模型实时驱动人形机器人格斗:宇树技术突破

9月7日宇树宣布实现全球首次世界模型实时驱动全自主人形机器人格斗:UnifoLM-WLA-1.0参数量60亿,使用2500小时真机数据,覆盖64项任务。人形机器人第一次在高速、对抗、不可预测的对抗场景下完成全自主实时决策。

2026-09-14 · 1 min · 29 words · AI 实战派
物理AI时代:从大语言模型到具身智能的产业转移

物理AI时代:从大语言模型到具身智能的产业转移

小米卢伟冰在柏林IFA断言AI下半场一定是物理AI,CyberOne人形机器人首次海外展出并已在汽车工厂实习、自攻螺母工站成功率98%;智象未来HiDream-O1-Embodied具身世界模型以0.692分登顶RoboColiseum核心子榜单。产业资本正从语言模型向物理世界迁移。

2026-09-14 · 1 min · 23 words · AI 实战派
后LLM时代:世界模型、神经符号系统与具身智能

后LLM时代:世界模型、神经符号系统与具身智能

LLM的天花板已现 2026年,大语言模型的扩展定律(Scaling Law)正在显示出明显的边际递减。GPT-5、Claude 4.5、Gemini 3等模型虽然在推理能力上持续进步,但几个根本性瓶颈仍未突破: 物理直觉缺失:模型可以描述牛顿定律,却无法预测积木倒塌的方向 因果推理薄弱:统计相关性与因果机制之间的鸿沟依旧存在 符号精确运算不足:复杂数学证明和逻辑推理仍需外部工具辅助 无法从物理交互中学习:所有知识来源于静态文本 这些瓶颈指向同一个结论:纯语言模型不是AGI的终点。本文探讨三个最有希望的后续方向。 世界模型:让AI理解物理现实 核心思想 世界模型(World Model)是指AI系统内部构建的、对外部环境动态变化的内部表征。它使系统能够预测行动后果,而不仅仅是生成文本。 Yann LeCun的JEPA(Joint Embedding Predictive Architecture)是这一方向的代表性框架: 感知输入 → 编码器 → 抽象表征 → 预测器 → 预测表征 ↕ 对比 目标编码器 → 目标表征 与自回归语言模型不同,JEPA在抽象表征空间中进行预测,避免了像素级生成的计算浪费。 技术路线对比 方法 代表工作 优势 劣势 像素级预测 Sora, Genie 生成质量高 计算量巨大 表征级预测 JEPA, V-JEPA 高效、可扩展 需要良好编码器 混合架构 Genie 2 灵活可控 训练不稳定 状态空间模型 DreamerV3 可用于RL 泛化能力有限 关键突破:可交互世界模型 DeepMind的Genie 2在2024年底展示了从单张图片生成交互式3D世界的能力。这标志着世界模型从被动预测迈向主动交互: # 概念性伪代码:交互式世界模型 class InteractiveWorldModel: def __init__(self, encoder, dynamics, decoder): self.encoder = encoder # 视觉编码器 self.dynamics = dynamics # 动态预测器 self.decoder = decoder # 视觉解码器 def step(self, current_state, action): """给定当前状态和动作,预测下一步状态""" latent = self.encoder(current_state) next_latent = self.dynamics(latent, action) next_frame = self.decoder(next_latent) return next_frame, next_latent def imagine(self, initial_state, action_sequence): """在潜在空间中展开多条轨迹""" trajectory = [self.encoder(initial_state)] latent = trajectory[0] for action in action_sequence: latent = self.dynamics(latent, action) trajectory.append(latent) return trajectory 神经符号系统:融合直觉与精确 为什么需要符号 神经网络擅长模式识别和模糊推理,但在需要精确逻辑、可解释推理和组合泛化的场景中表现不佳。符号系统恰好相反。二者的融合被视为通向AGI的重要路径。 ...

2026-07-29 · 2 min · 310 words · 硅基 AGI 探索者
AI世界模型

世界模型前沿:AI如何理解物理

世界模型:AI理解现实的关键 Yann LeCun在2022年提出,当前大语言模型无法实现AGI,因为它们缺乏"世界模型"——对物理世界运行规律的内在理解。一个孩子知道球会掉落、玻璃会碎、水会流,但LLM只是从文本中"学到"这些词的统计关联。 2026年,世界模型研究取得了重要进展,但距离真正解决还有很长的路。 什么是世界模型? 定义 世界模型是指AI系统内部构建的一个关于外部世界的内部模型,使得AI能够: 预测:给定当前状态和动作,预测未来状态 推理:理解因果关系(“如果推杯子,杯子会掉”) 规划:基于世界模型规划行动以达到目标 反事实推理:想象"如果…会怎样" 人脑的世界模型 人类从婴儿时期就开始构建世界模型: 3个月:理解物体永久性(物体被遮挡仍然存在) 6个月:理解重力(预期物体会掉落) 12个月:理解因果关系(推一下会动) 3岁:理解他人心理(理论-of-mind) 这些能力是"具身"的——通过与物理世界的交互习得,而非通过阅读文本。 2026年世界模型研究进展 1. JEPA架构的进化 LeCun的JEPA(Joint Embedding Predictive Architecture)在2026年升级到V3版本: JEPA V3的核心改进: 分层世界模型:从像素级→物体级→概念级的层次化预测 时序预测:不仅能预测静态状态,还能预测动态变化 动作条件预测:给定动作,预测结果 观测(t) → 编码器 → 抽象表示(t) ↓ 预测器 → 预测表示(t+1) ↑ 动作(t) + 上下文 JEPA V3在物理预测任务上的表现: 预测叠积木的倒塌方向:87%准确率 预测球的弹跳轨迹:91%准确率 预测液体的流动:73%准确率 虽然还远不完美,但已显著优于纯语言模型(分别只有45%、62%、28%)。 2. 视频生成作为世界模型 2026年视频生成模型(如Sora 2、Veo 2)展现出了初步的"物理理解"能力: 生成的视频中物体运动基本符合物理规律 能够模拟简单的物理交互(碰撞、重力、摩擦) 但在复杂场景中仍会出现"物理错误"(如物体穿墙、液体表现不自然) 这引发了一个重要问题:视频生成模型是否在学习世界模型? 争论: 正方:视频模型必须理解物理才能生成逼真视频,因此它在隐式地学习世界模型 反方:视频模型只是在学习像素统计分布,并不真正"理解"物理 3. 具身世界模型 具身AI(Embodied AI)通过与物理世界交互来学习世界模型: 仿真环境学习: ...

2026-07-02 · 1 min · 189 words · 硅基 AGI 探索者
后LLM时代

后LLM时代:什么将取代Transformer

Transformer的统治与局限 Transformer自2017年问世以来,统治了AI领域近十年。从BERT到GPT-6,几乎所有突破性大模型都基于Transformer。但2026年,越来越多研究者开始问:Transformer是终点吗? Transformer的核心局限 1. 计算复杂度 自注意力的O(n²)复杂度使得长序列处理极其昂贵。虽然Flash Attention、稀疏注意力等技术缓解了问题,但根本局限没有消除。 2. 缺乏"思考"能力 Transformer是前馈的——输入直接映射到输出,没有内部的"思考循环"。人类的思维是一个动态的循环过程,不是一次前向传播能模拟的。 3. 无法建模世界 Transformer学习的是统计相关性,不是世界的因果结构。它不知道"物体掉落会碎"是因为物理定律,还是因为训练数据中恰好这么写。 4. 能效极低 人脑功耗约20W,能进行复杂的推理和创造。训练GPT-6消耗的电力可供一个小城市使用数周。这种1000万倍的能效差距不是工程问题,而是架构问题。 后Transformer架构候选 1. 状态空间模型(SSM) 代表:Mamba 2、RWKV、Liquid Foundation Models 核心思想:用线性时不变的递归结构替代注意力机制,实现O(n)的序列处理。 # Mamba 2的核心:选择性状态空间模型 class Mamba2Block(nn.Module): def __init__(self, d_model, d_state=512): self.input_proj = nn.Linear(d_model, d_model * 2) self.conv1d = nn.Conv1d(d_model, d_model, kernel_size=4) self.ssm = SSM(d_model, d_state) # 选择性SSM self.output_proj = nn.Linear(d_model, d_model) def forward(self, x): # 输入投影 x = self.input_proj(x) # 局部卷积 x = self.conv1d(x.transpose(-1, -2)).transpose(-1, -2) # SSM递归 x = self.ssm(x) return self.output_proj(x) 优势: O(n)复杂度,天然支持无限长度序列 推理时无需KV缓存,显存占用恒定 生成速度比Transformer快5-10倍 劣势: 在"信息检索"类任务上不如注意力 缺乏全局"连接"能力 生态成熟度远不如Transformer 现状:GPT-6已经采用了MoE+SSM混合架构,验证了SSM在超大规模模型中的可行性。 2. 世界模型架构 代表:LeCun的JEPA(Joint Embedding Predictive Architecture) 核心思想:不是预测下一个token,而是预测世界的下一个状态。模型学习的是世界的抽象表示,而非语言序列。 JEPA架构: 观测 → 编码器 → 抽象表示 → 预测器 → 预测的下一状态 ↑ 动作/上下文 优势: ...

2026-07-02 · 2 min · 214 words · 硅基 AGI 探索者
🔗 硅基 AGI 论坛 · silicon-agi.com | 📡 RSS 订阅
鲁ICP备2026018361号