（来源：机器之心）

作者介绍

本文第一作者是李浩东，香港中文大学计算机系一年级博士生，曾入选美团 LongCat 北斗计划、腾讯混元青云计划，师从 Prof. Pheng-Ann Heng；本文通讯作者是 Pheng-Ann Heng 教授，香港中文大学卓敏计算机科学与工程学教授，谷歌学术引用量 8 万余次。

让视频看起来真实，不等于让它符合常识

黄油落进热锅后迟迟不化，密封塑料瓶被抽走空气却纹丝不动，干冰在室温中始终保持原样 —— 这些画面单看每一帧或许足够精致，连起来却很容易让人出戏。对影视制作来说，这意味着镜头缺乏可信度；对具身智能和物理仿真来说，问题则更严重，因为模型需要理解的不是像素如何平滑移动，而是事件为什么发生、又将怎样继续。

现有文生视频模型通常从一句高度压缩的提示词直接生成画面。提示词告诉模型 “发生了什么”，却很少交代变化的速度、先后次序、物体之间的作用关系，以及过程结束时应当呈现的状态。模型不得不一边补全这些隐含信息，一边合成视频。香港中文大学与中国科学技术大学的研究团队把这道缺口概括为 “因果不透明性”：人的意图被压缩在短短一句话里，但视频需要展开为完整、连续的时空过程。

VideoCoCo 的切入点由此变得很直接：与其让生成模型在像素空间里凭经验猜测，不如先用一段真正能够运行的代码，把提示词中省略的物理过程写出来，再据此生成视频。代码在这里并不是附加工具，而是一条可执行、可检查的 “过程级思维链”。

• 论文标题：VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System

• 论文链接：https://arxiv.org/abs/2607.27380

• 代码链接：https://github.com/micky-li-hd/VideoCoCo

从 CoCo 到 VideoCoCo：

把一张预览图扩展成一段过程

这项工作的思路并非凭空出现。团队此前提出的 CoCo（Code-as-CoT for Text-to-Image Preview and Rare Concept Generation）已被 ECCV 2026 收录。面对复杂空间关系或罕见概念，CoCo 不急着生成最终图像，而是先写出可执行程序，渲染一张包含布局和物体关系的预览图，再让图像模型围绕这张预览图补足细节。

这一步的价值在于，原本停留在语言层面的推理被转化成了可以运行、查看和修改的视觉结果。哪里摆错了、关系是否成立，不必等到最终成图后再猜原因，而是可以回到程序和预览图中定位。

VideoCoCo 延续了这条思路，但视频比图像多出了一条时间轴。一张图只需要解决某个瞬间的空间布局，一段视频却要交代状态如何连续变化。于是，代码不能只描述物体 “在哪里”，还要描述它 “接下来怎么动”：受热后何时开始融化，形状如何摊开，容器在内外压差变化后怎样变形。把静态预览扩展为连续动力学，正是 VideoCoCo 相比前作更关键的一步。

 pipeline 图

两个智能体接力，

把 “动得对” 和 “看得真” 分开处理

VideoCoCo 采用双引擎框架，将过程推理与视觉呈现拆成两个相对独立的环节。Coding agent 负责确定事件如何发生，Visual agent 则负责把这个过程变成具有真实质感的画面。这样的分工并不复杂，却避开了让一个模型同时承担物理推演和视觉合成的压力。

以 “黄油在滋滋作响的热锅里融化、变褐并逐渐摊开” 为例，Coding agent 会先生成一段自包含的 Blender 程序，把锅、黄油、受热、融化和铺展等信息组织成明确的时空变化。程序随后在沙箱中运行，得到一段确定性的白模视频。这个草稿未必好看，却已经把镜头、构图、运动方向和事件节奏固定下来。

白模解决了 “怎么动”，接下来才轮到 “长什么样”。Coding agent 根据原始提示和白模内容整理编辑指令，Visual agent 再同时参考白模与指令，将粗糙的仿真画面重绘为更接近真实摄影的视频。最终画面的纹理、光照和细节来自生成模型，而时序结构仍由可执行草稿约束。换句话说，代码负责搭骨架，视频模型负责补血肉。

结果不只是更好看，

而是更接近正确的物理过程

在干冰升华、密封塑料瓶抽真空塌陷等强物理场景中，基线模型 OmniWeaving 往往能够生成外观合理的物体，却没有真正完成提示词所要求的变化。加入 VideoCoCo 后，视频会沿着白模中已经确定的动力学过程演化，真实感与物理一致性不再只能二选一。

量化结果也印证了这一点。在 PhyGenBench 上，以 GPT-4o 作为评判模型时，VideoCoCo 将 OmniWeaving 的平均分从 0.475 提升至 0.558，超过开源基线 Wan2.2-TI2V-5B 的 0.544；其中 mechanics、optics 和 material 三个类别排名第一，thermal 位列第二。在 VBench-2.0 上，平均分则由 52.18% 提升至 77.88%，增加 25.70 个百分点，mechanics 达到 92.31%，thermotics 达到 72.92%。

更值得注意的是消融实验。即使不对编辑器进行微调，只把可执行草稿作为生成条件，平均分也能从 0.475 提升到 0.506。这说明物理一致性的主要增益已经来自草稿本身，而不是额外训练带来的 “刷分”。在此基础上加入 LoRA 适配后，成绩进一步升至 0.558。白模提供动力学约束，编辑器补足真实质感，两部分的作用在实验中能够被清楚地区分。

代码可能成为视频生成的中间语言

过去，生成模型常用文本计划、布局、关键帧或搜索轨迹作为中间表示。这些方式各有用处，但文本仍然偏抽象，关键帧又只能覆盖少数时刻，很难完整表达连续变化。可执行代码提供了另一种可能：它不仅描述过程，还能把过程真正跑出来，因此天然具备更高的密度，也更容易审计和修正。

VideoCoCo 所展示的 “推理者 — 渲染者” 协作，也让神经符号融合有了更具体的形态。编码智能体擅长拆解任务、组织逻辑和调用工具，生成模型则擅长处理纹理、光照与复杂视觉细节。前者保证过程可解释，后者保证画面足够丰富。二者结合后，视频生成不再只是从一句话直接跃迁到像素，而是在中间多出一个可以观察、干预和复用的过程层。

当然，这条路线也有现实边界。Blender 程序能够表达的物理过程、Coding agent 写出稳定脚本的能力，以及白模与最终画面之间的对齐质量，都会影响结果。但相比在黑箱里反复抽卡，一个可执行的中间层至少让错误有迹可循，也让人工修改和自动纠偏有了明确抓手。对于强调因果、可控和可验证的视频任务，这或许比单纯增加模型规模更值得关注。