南京大学 MCG-NJU 联合京东与多所高校十月十四日放出 VideoJev,arXiv 编号 2610.18615,当天登顶 Hugging Face 每日论文榜,获 175 个赞,并开源训练评估代码与 VideoJev-4B、VideoJev-35B-A3B 两个权重。它把视频理解做成结构化决策任务:模型不逐词生成回答,而是在候选列表里直接打分。
什么是系统一式视频理解?
传统视频 QA 让模型像人一样写一段自然语言回答,生成过程要逐 token 自回归,每步都要看一遍整段视觉上下文,长视频下延迟高得离谱。VideoJev 走「系统一」路线:把问题转成可枚举的选项,模型一次前向就输出每个选项的概率,答案直接落在给定列表里,程序可以直接取用。论文称在四个视频 QA 基准上,它与骨干模型思考模式性能相当,推理却快一百倍以上。
不生成答案会丢精度吗?
论文在三个时序定位基准上,VideoJev-4B 与 35B-A3B 的平均 mIoU 分别比骨干提升 6.7 和 10.8 个点,同时实测加速 2.8 到 3.1 倍。也就是说在需要「指出哪一秒发生了什么」这类结构化判断上,它不仅没退化,反而更准。原因是去掉了自由生成的随机性,把模型能力集中在判别与定位上。
谁最需要这种快?
视觉智能体要实时看屏幕、看摄像头并立刻决定下一步,等不起几十秒的生成式思考。打分式输出天然适合作为智能体的观察模块:快、可解析、可校验。这或许是具身与浏览器智能体真正缺的那块低延迟视觉判断。
打分式回答会不会限制开放性?
候选列表必须事先枚举,这对「你怎么看这段视频」这类开放问题不友好。VideoJev 的定位不是闲聊,而是给智能体做可解析的观察信号。开放问答仍由生成式模型负责,打分模型负责其中结构化、高频、要求低延迟的子任务。两者在一个智能体里共存,而不是互相取代。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论
你在部署或复现这个技术细节时踩过什么坑?欢迎到论坛交换实测数据与配置片段。