循环模型

据 AICoder 对 Hugging Face 模型卡的整理（https://www.aicoder.com/news/news-20261017-nvidia-nemotron-labs-dory-1-0-4b-looped-model ），英伟达 Nemotron Labs 10 月 16 日在 Hugging Face 悄然发布 Dory1.0-4B，一款 40 亿参数、256K 上下文的循环式模型，8 层输入、20 层共享循环块、8 层输出的结构，开发者可以在运行时选择 1、2 或 4 次循环，不需要重新下载或更换检查点，官方推荐默认两圈，智能体任务用四圈。厂商自报四圈 SWE-bench Verified 得分 61.8，与 Qwen3.5-9B 的 61 相当，一到四圈分别为 50.3、59.5、61.8。模型采用循环注意力结构，最后一圈 KV 缓存保持单圈规模，循环次数增加不会让显存占用线性膨胀。权重提供 BF16、MXFP8、NVFP4 与 GGUF，采用可商用的 OpenMDW-1.1 许可，vLLM 与 llama.cpp 支持仍在 PR 阶段，尚未进入正式发布。 循环推理深度为什么能在运行时调节？ 传统模型把计算深度固化在参数里，要更快就换一个小模型，要更准就换一个大模型，中间没有连续档位。Dory 的思路是让同一个权重反复读取自身输出，一圈不够就两圈，简单任务一圈给答案，难题多转几圈再作答。循环注意力把缓存压在单圈规模，意味着多转三圈不会带来三倍显存，代价是每圈串行计算，延迟随圈数上升。对部署方，这相当于在一个本地检查点上同时拿到快速编辑模式和深度求解模式，不用为两种工作负载维护两套模型。 一个本地权重怎么同时服务快任务和难任务？ 实际场景里，用户请求天然分成两档，一类是改写、摘要、格式化，延迟敏感，多转一圈都是浪费；另一类是多文件代码修改、复杂调试，值得多花时间。固定选档要么让简单任务白等，要么让难题得不到足够推理。运行时切换把选择权交给调用方，可以先单圈试探，发现置信不足再追加圈数，也可以按任务类型预设默认圈数。对边缘设备和本地服务器，一个文件覆盖两种档位，还省掉了小模型与大模型之间的路由与权限对齐。 61.8 分的厂商自报成绩该怎么看待？ 需要注意 61.8 是英伟达自己报告的数字，独立复测尚未发布，SWE-bench Verified 上的得分还受数据集污染、提示模板与验证口径影响，不能直接等同于生产环境表现。循环结构的收益在不同基准上并不均匀，简单问答可能多圈反而绕远，代码与长程推理才是设计目标。建议企业把它放进自己的私有任务集里实测，记录不同圈数下的成功率、延迟与 token 成本，再决定默认档位。 这条路线对本地小模型意味着什么？ 循环深度可调代表小模型设计的一个新方向，不再一味堆参数，而是用时间换精度。对个人开发者，40 亿参数加上 256K 上下文可以在消费级 GPU 上承担英文文档处理与轻量编码，但模型当前仅支持英文，中文场景不能直接套用。对企业，本地部署的数据隐私优势不变，多圈深度作为可选增强，而不是另购一套大模型。真正值得跟踪的是独立测试何时出现，以及工具链支持从 PR 进入正式发布之后，循环机制在真实代码任务上的稳定性表现。 ...