Tempo：把「压缩器」本身变成一个会读问题的小模型

0. 本期元信息与方法说明

1.1 核心论文

所有链接均经实际抓取验证。✅ 已确认可达，⚠️ 存在但抓取受限或信息不一致，❌ 未找到。

1.2 相关工作

Small Vision-Language Models are Smart Compressors for Long Video Understanding

Junjie Fei, Jun Chen, Zechun Liu, Yunyang Xiong, Chong Zhou, Wei Wen, Junlin Han, Mingchen Zhuge, Saksham Suri, Qi Qian, Shuming Liu, Lemeng Wu, Raghuraman Krishnamoorthi, Vikas Chandra, Mohamed Elhoseiny, Chenchen Zhu
Meta AI · KAUST — ECCV 2026 — arXiv 2604.08120（2026 年 4 月）

2.1 一句话定位

这句话的关键不在「用小模型压缩」（BIMBA、LongVU 都在做压缩），而在同一次前向、双输出：相关性打分不是外挂一个 retriever 算出来的，而是从压缩器本身的隐状态上截胡出来的，因此压缩与打分严格共享同一份多模态上下文，且路由开销是 O(1)。

2.2 Motivation 与问题论证

论文指向的痛点被表述为结构性错配：视频流是密集的、时长可变的，而 LLM 上下文是固定的、稀缺的。论文原文：稠密视觉流「quickly saturate input token budgets and exacerbate the lost-in-the-middle phenomenon」（引 Liu et al., 2024c）。

这个问题的新颖之处在哪？ 不在于「长视频难」（老问题），而在于论文把它重新定义为一个带宽分配问题而非压缩率问题。此前的工作几乎全部在优化「每帧压到几个 token」这个标量（LLaMA-VID 压到 2，VideoChat-Flash 压到 16，BIMBA 压 16×），Tempo 主张：每帧压到几个 token 这件事本身就不应该是一个常数。

为什么值得解决？ 一个可量化的论据来自论文自己的表 1：Qwen2.5-VL-7B 用 1924 tokens/frame 在 Video-MME 上拿 65.1，而 Tempo 用实测均值约 2.8–3.6 tokens/frame 拿 67.8。这是约 687 倍的 token 差距换来 +2.7pp 的反向收益——说明现有系统投入的绝大部分视觉带宽是被浪费的，而这个浪费是可以被系统性回收的。

2.3 论文的故事线（论证结构）

论文的推进逻辑可拆成四步，每一步都是一个「观察 → 推断」：

1. 观察：视频的信息密度对查询高度依赖；同一段视频，问「他什么时候拧螺丝」和「总结这个视频」需要的时间分布完全不同。
   推断：压缩必须是 query-aware 的。（→ LongVU / BIMBA 已走到这里）
2. 观察：要做 query-aware 压缩，就需要一个能同时理解视觉和文本的模块；而「一个小 VLM」恰好就是这样一个模块，且它是现成的、预训练好的。
   推断：不要设计新的压缩算子，直接征用一个 SVLM 当压缩器。（→ 第一个关键转折）
3. 观察：这个 SVLM 在压缩的同时，其实「知道」这段视频跟问题有没有关系——它只是没被要求说出来。
   推断：可以从它的隐状态上免费截胡一个相关性分数。（→ 第二个关键转折，ATA 的地基）
4. 观察：有了逐段分数，全局 token 预算就不必均分了。
   推断：设计 ATA，把预算按分数连续地（而非 top-K 二值地）分配。

隐含的设计权衡（论文没明说，但从设计可读出）：

• 牺牲多轮对话效率，换取单轮压缩质量——压缩是 query-conditioned 的，换问题就得重压整段视频（论文第 6 节自承）。
• 牺牲压缩的自适应深度，换取单次前向的延迟——每段固定 k_max 个 memory token，而不让 SVLM 自回归决定要写多少（论文承认这是「a profound optimization challenge」）。
• 牺牲路由的可训练性，换取零额外成本——相关性打分完全零样本，无任何监督信号。既是优雅之处，也是最大的批判靶心（见 §2.7）。

2.4 方法论与机制解剖

2.4.1 架构总览

2.4.2 形式化定义

端到端目标——注意：没有任何辅助压缩损失、没有路由网络、没有蒸馏损失，只有一个标准自回归损失：

固定容量 k_max 本身充当结构性瓶颈，逼出压缩行为。这是本文方法上最「省」的一笔——压缩能力是训练目标的副产品，不是被显式监督出来的。

零样本相关性先验——设 h_i^rel 为 SVLM 对「这段与查询相关吗」这一二元问题作答前的最后隐状态，w_yes / w_no 为冻结的语言头权重：

这是整篇论文最漂亮的一处工程设计：把一次本该自回归解码的判断，退化成一次向量内积。且论文强调 s_i 与 H_i 在同一次前向中提取（截胡隐状态后前向继续），保证两者条件于完全相同的多模态上下文。

ATA 两阶段分配：

头部截断的合理性依据是论文提出的 「语义前置」（semantic front-loading） 假说：因果注意力会把最显著的证据压进最靠前的 memory token。这个假说在消融中被强证据支持（见 §2.5.3-C）。

2.4.3 关键机制对照表

2.4.4 工程细节

• 采样：Decord，2 FPS。训练段窗口 4 帧，推理段窗口 8 帧（训练/推理不一致，论文未解释，见 §2.7 批判 ⑥）。
• 分辨率：图像原生分辨率；视频长边最大 512。
• 硬件：64 GPU 集群 + FSDP。未给出训练总时长与卡时。
• 评测框架：lmms-eval。

四阶段渐进课程（附录表 A，模块冻结状态是关键）：

数据混合（附录表 B）：

2.5.1 基准与数据集

这个基准梯度设计得很好：时长从 473s 单调递增到 4101s，可以直接读出方法随时长的退化曲线。

2.5.2 主结果矩阵（论文表 1）

单位 pp = percentage point。粗体为该列最优。

相对提升计算（Tempo 4K vs. 最强开源长视频专用基线 VideoChat-Flash）：

与 LLaMA-VID 的闭环对比（技术脉络上最重要的一组数字）

在几乎相同的 token 预算下（LLaMA-VID 固定 2 tokens/frame vs. Tempo 实测均值 2.8 tokens/frame）：

A. 渐进训练课程

B. 段级预算分配策略（ATA 的核心辩护）

C. 段内 token 削减方案（「语义前置」假说的验证）

D. 相关性打分来源与零样本先验

E. 时间连续性（最低 token 保底）

k_min = 4 的贡献仅 +0.52pp，是五组消融里最小的。设计上它是必要的（防止时间轴断裂），但定量收益远小于 ATA（+2.00pp vs 均匀）和头部截断（+2.50pp vs 尾部）。

2.5.4 预算敏感性分析：一个被论文轻描淡写的相变

2.5.5 统计显著性

2.5.6 效率分析：一个显著的缺失

论文反复强调 ATA 的 O(1) 复杂度、"single forward pass"、"避免自回归开销"。但——

2.6 价值分析

真正的贡献是什么

不是「用小模型压缩视频」（BIMBA 已在做学习式压缩），也不是「query-aware」（LongVU 已在做）。Tempo 真正的贡献是把「压缩」和「路由」合并成同一次前向的两个输出。

这一点的关键性在于：此前所有 query-aware 方法都面临一个两难——要么用启发式打分（LongVU 的 DINOv2 相似度 + 注意力，便宜但与语义脱节），要么用外部检索器（准确但昂贵，且与压缩器的表征空间不一致）。Tempo 指出第三条路：压缩器在压缩的过程中已经「想过」这个问题了，只需要把它的想法读出来。论文表 2-D 用一个干净的对照证明了这一点——外部稠密检索器（63.14）并不优于免费截胡的内部先验（63.46）。

哪些设计可以脱离本文单独复用

1. Logit 差投影作为零样本相关性打分 s = σ((w_yes − w_no)ᵀh)。完全通用：任何基于因果 LM 的系统，只要需要一个二元判断的连续置信度，都可以用它替代自回归解码，代价 O(1)。可直接迁移到 RAG 重排、Agent 工具选择、数据清洗打分。
2. 「截头不截尾」（semantic front-loading）。表 2-C 的 +3.88pp（LVBench 上 +9.7pp）是一个可复用的经验定律：因果注意力下的压缩表征是前重后轻的。任何做 KV cache 淘汰、token 剪枝的工作都应默认从尾部丢弃。
3. memory token 置于因果序列末尾的构造。简单但关键——它把「压缩」变成一个纯粹的注意力读取问题，无需任何新算子。
4. 连续分配 > 二值 top-K 的一般原则（表 2-B，+0.86pp）。幅度不大但方向明确。
5. 压缩侧与推理侧解耦训练（Stage 3 冻住整个压缩栈只训 LLM）。这个课程设计本身就是一个可迁移配方。

对后续工作的启发

Tempo 打开的研究空间是「分层路由」：论文自己在第 6 节点出方向——让全局 LLM 变成一个主动路由 agent，按需向下请求某些片段的高分辨率表征。这实际上是把当前的「一次性压缩 + 一次性解码」变成「多轮 agentic 检索」。如果这条路走通，长视频理解会从「压缩问题」彻底转型为「Agent 检索问题」，与当前 LLM 侧的 deep research / agentic RAG 潮流合流。

第一类：论文自述的局限（第 6 节 Discussion and Future Works）

1. 路由完全零样本，未经任何后训练。原文："it operates entirely in a zero-shot manner"，作者提出未来可用 SFT 或 RL 显式激发这一能力。
2. 压缩深度固定，无法自适应分配「思考量」。原文承认受推理模型 test-time compute 启发，但 "adapting this autoregressive extraction without severely bottlenecking inference latency remains a profound optimization challenge"。
3. 多轮对话需要重新提取全部视觉特征。因为压缩是 query-conditioned 的，用户追问一句就得重跑整段视频。

第二类：补充批判（独立观察，共 8 点）

① 【失手的子任务 + 论证缺口】ATA 在本文的主战场 LVBench 上并非最优，且被三种更简单的方案击败

表 2-B 中硬 Top-K 路由在 LVBench 拿 52.7 > ATA 的 52.3；表 2-C 中 Token Merging 拿 53.0 > 52.3；表 2-D 中 Tempo SVLM 标准 prompt 拿 53.4 > 52.3——后者是全表 LVBench 最高分，比论文主表宣称的 SOTA（52.7）还高 0.7pp。论文的核心叙事是「自适应连续分配对极端长视频最关键」，但恰恰在时长最长的基准上，连续分配输给了二值分配。这与论文的主张不一致。

合理的机制解释是：LVBench 视频长达 4101s，段数 N 极大，此时 ATA 的比例回退公式 k_i = k_min + [B_res · ŝ_i / Σŝ_j] 会因 Σŝ_j 过大而把每段压到接近 k_min，退化成近似均匀分配；而硬 top-K 至少保证被选中的段拿到满容量。论文未讨论 ATA 在大 N 极限下的退化行为，这是一个明确的论证缺口。

② 【实验设计问题】消融对比未控制预算变量

表 2-A 中 w/o Stage 3 与 w/o ATA 均在 16K 预算下测量，而默认行在 8K。这使得「Stage 3 贡献 +3.80pp」和「ATA 贡献 +1.34pp」两个结论都是预算与组件混淆的产物。论文没有提供 8K 下的 w/o ATA 对照，也没有提供 16K 下的完整 Tempo。严格地说，表 2-A 无法单独归因。

③ 【缺乏关键竞品的公平对比】与同族最强模型 Qwen3-VL-8B 的差距被表格结构淡化了

Tempo 的两个组件都来自 Qwen3 family（Qwen3-VL-2B + Qwen3-LM-4B），但表 1 中 Qwen3-VL-8B 在三个共享基准上全面领先：

一个参数更多但架构更简单的同族模型，在所有共享基准上都比 Tempo 好，且差距同样随时长扩大（−2.5 → −3.6 → −5.3）。论文正确地把 Tempo 定位为 6B 规模下的 SOTA，但没有讨论：如果把 Tempo 的框架套在 8B 底座上会怎样？或者反过来，Qwen3-VL-8B 在同等 token 预算约束下会怎样？缺少这个 head-to-head，「压缩优于扩容」这一核心命题就没有被真正证明。

④ 【失手的子任务】在 Video-MME Long 上被 2024 年的启发式方法 LongVU 击败

LongVU（ICML 2025，64 tokens/frame，纯启发式无学习）在 Video-MME Long 上拿 59.5，高于 Tempo 4K 的 57.8（−1.7pp）和 Tempo 8K 的 57.0（−2.5pp）。这是本文唯一一处被更早、更简单的方法反超的子任务，论文未作讨论。考虑到 Video-MME Long 平均 2386s，正处在 Tempo 的优势区间内，这个反例削弱了「自适应分配在长视频上普遍占优」的强主张。

⑤ 【论证缺口 + 反直觉未解释】默认配置不是消融表的最优解

如 §2.5.3-D 所述，「基座模型先验 + 显式路由 prompt」均值 63.92，在 5 个基准里赢 4 个，高于论文默认的 63.46。论文既未解释「为什么微调后的 SVLM 作为路由器反而变差」，也未据此更新默认配置。这是一个方法论上的红旗：如果 Tempo 训练损害了 SVLM 的判别校准，那么「压缩器与路由器共享同一次前向」这一核心设计就存在内在张力——压缩训练的目标与路由判别的目标可能是竞争关系。这个假设完全可以用一个简单实验验证（测量 Stage 0/1/2/3 各阶段 checkpoint 的路由 AUC），但论文没有做。

⑥ 【实验设计问题】训练与推理的段窗口不一致，且未消融

训练用 4 帧/段，推理用 8 帧/段（§4.1）。这是一个 2× 的分布偏移，论文既未解释动机（推测是为了在固定 B_max 下覆盖更多帧），也未提供推理段窗口的敏感性分析。考虑到 k_max = 128 在两种设置下都不变，8 帧/段意味着推理时每帧实际只分到训练时一半的记忆容量。这可能正是 4K 预算优于 8K 的隐藏原因之一（更小的预算迫使 ATA 更激进地区分片段，部分补偿了这个偏移），但论文没有把这两件事联系起来。

⑦ 【可复现性风险 + 指标有效性】效率主张无实测支撑，且成本随时长线性增长

如 §2.5.6 所述，全文零延迟/FLOPs/显存数据。更具体的担忧：LVBench 上约 1025 次 2B 前向的开销可能抵消掉全局 LLM 侧的 token 节省。论文用 "O(1)" 描述的仅是路由打分这一步，而非整个压缩流程。把局部的 O(1) 表述用在以效率为卖点的论文标题语境中，存在误导风险。建议后续工作补一张 (延迟, 显存, 精度) 三维帕累托前沿图，与 VideoChat-Flash、STORM 直接对比。

⑧ 【统计有效性】无误差棒，而多数关键结论落在噪声量级内

表 2 中至少 5 组关键对比的差距 ≤ 0.9pp（ATA vs Top-K：0.86；默认 vs 基座先验：0.46；k_min=4 vs 硬剪枝：0.52；4K vs 8K：0.22；Token Merging vs 默认：0.82）。单次运行、无 seed 方差报告的前提下，这些差异不足以支撑「设计 X 优于设计 Y」的强结论。论文本可以只在 MLVU 和 LVBench 上跑 3 个 seed 就大幅提升可信度。

我自己分析的不完备之处（坦诚披露）

• 我读到的是 arXiv HTML v1 渲染版。表 1 中「Actual avg. toks/frame」一行的列对齐在两次独立抓取中呈现不一致（一次 6 个单元格、一次 7 个），因此 2.8 / 3.6 / 3.4 / 2.9 这四个数与具体基准的对应关系我无法 100% 确定，本报告统一表述为「4K 预算下实测均值 2.8–3.6 tokens/frame」。
• 论文的 图 3（预算×帧数扫描）与图 C（定性分配可视化）只有说明文字可读，坐标轴具体数值无法从 HTML 中提取，因此 §2.5.4 中关于 12K 预算的讨论仅基于图注文字，未能核实曲线本身。
• ECCV 2026 官方 proceedings 尚未上线，「ECCV 2026」这一 venue 信息来自 GitHub README 与项目主页的自我标注，我无法从第三方权威源交叉验证。
• 我没有运行代码，所有性能数字均为论文自报，未做任何独立复现。

3.1 LLaMA-VID — 2023.11（arXiv）/ ECCV 2024 主会（pp. 323–340）

① 解决了什么问题。 长视频塞不进 LLM 上下文。LLaMA-VID 给出了当时最激进的答案：每帧只用 2 个 token。具体是一个 Q-Former 从用户指令生成查询 Q_t，经 context attention 聚合出 1 个上下文 token；再由自适应池化产出 1 个内容 token。视觉编码器用 EVA-G。凭这个设计，64K 上下文可容纳超过 3 小时的视频。核心贡献一句话：证明了「每帧 2 token」在工程上是可行的。

② 遗留了什么缺口。 作者自己在结论中承认得非常明确：

更根本的缺口在于：这 2 个 token 的分配是静态的。无论这一秒是关键动作还是空镜头，都是 2 个 token。论文表 5 自己量化了代价——把内容压到 1 个 token 损失 2%–6%。缺口是：压缩率被当作全局常数而非局部变量。

③ 核心工作如何回应。 Tempo 直接回到了同一个 token 量级（实测均值 2.8 vs LLaMA-VID 的 2），但把 MLVU 从 33.2 抬到 75.6（+42.4pp）、Video-MME 从 25.9 抬到 67.8（+41.9pp）。Tempo 对这个缺口的回应可以概括为一句话：不是「2 个 token 不够」，而是「每帧都恰好 2 个 token」这件事错了。 ATA 让某些段拿 128 个 token、某些段只拿 4 个，均值仍在 2.8。

④ 关键设计的传递。 LLaMA-VID 的 context token（由用户指令驱动、聚合文本相关视觉线索）正是 Tempo 的 query-conditioned memory token 的直系祖先。技术迁移路径是：外挂 Q-Former 生成查询 → 直接把查询写进 SVLM 的因果序列。前者需要额外训练一个 Q-Former，后者复用 SVLM 自身的注意力机制，更简洁也更强。

3.2 LongVA（Long Context Transfer from Language to Vision）— 2024.06，arXiv 预印本（venue 未找到）

① 解决了什么问题。 LongVA 走的是完全相反的路：既然压缩会丢信息，那就别压，直接把上下文扩大。核心主张是「长上下文迁移」——把 Qwen2-7B-Instruct 的文本上下文续训到 224K（RoPE base 提到 1B，900M tokens / 1000 步），这个能力会零样本迁移到视觉，"without any video training"。配套的 UniRes 编码把视频直接当成一张 336×(336·N) 的长图，N 帧 = 144N 个 token。V-NIAH 上到约 2000 帧（≈288K token）仍近乎满分，超出了训练长度。核心贡献：证明了长上下文能力可以跨模态零样本迁移。

② 遗留了什么缺口。 三个缺口，前两个是作者自承的：

• 帧数非单调：Video-MME 上 128 帧 52.6，384 帧反降到 51.8（LongVA 表 4）。「更多帧」不等于「更好」。
• UniRes 有代价：在 AI2D、ChartQA 等低分辨率图像基准上不如 AnyRes。
• 成本爆炸（我的补充观察）：2000 帧推理的 KV cache 需要高达 100GB 显存。224K 的上限是被 8×A100-80G 的显存卡死的，不是方法上限。

最根本的缺口：扩上下文没有解决「带宽该给谁」的问题，只是把问题推给了硬件。144 tokens/frame 对每一帧一视同仁，与 LLaMA-VID 的 2 tokens/frame 在「均匀性」上是同构的，只是常数不同。

③ 核心工作如何回应。 Tempo 用表 1 直接回应了这条路线的性价比：LongVA 用 144 tokens/frame 拿 Video-MME 52.6，Tempo 用约 3.6 tokens/frame 拿 67.8——token 少 40 倍，分数高 15.2pp。更深的回应在 §2.5.4：Tempo 自己也观测到了「预算翻倍性能反降」（4K 63.68 → 8K 63.46），与 LongVA 的 128→384 帧退化是同一个现象。Tempo 的立场是：既然名义上下文的边际收益会转负，那么正确的方向是提高每个 token 的信息密度，而不是增加 token 数。

④ 关键设计的传递。 LongVA 的贡献不在被 Tempo 继承的机制上，而在于它用一个干净的反例划定了「扩上下文」路线的天花板。它提供的 V-NIAH 评测范式（反事实问题 + 困惑度打分，防止语言先验作弊）也成为后续长视频工作的标准诊断工具，VideoChat-Flash 的 10000 帧 NIAH 实验就是这一范式的延续。

3.3 LongVU — 2024.10（arXiv）/ ICML 2025 主会 Poster

① 解决了什么问题。 第一次把「query-aware」真正落地成一个完整的时空压缩流水线。三步：(i) DINOv2 在 J=8 帧窗口内算平均特征相似度，丢掉与邻帧高度冗余的帧，帧数大致减半；(ii) 跨模态文本引导——按帧特征与文本查询的注意力打分，top-N_h 帧保留 144 tokens/frame（12×12），其余降采样到 64 tokens/frame（8×8）；(iii) STC 空间 token 压缩，在 K=8 帧滑窗内剪掉与时序相邻 token 余弦相似度 >θ=0.8 的空间 token，平均再削 40.4%。最终一小时视频塞进 8K 上下文，平均约 2 tokens/frame。核心贡献：证明了「按查询分配不同分辨率」是有效的（表 3：自适应 67.62 vs 均匀 8k@64 的 66.84 与 8k@144 的 66.28）。

② 遗留了什么缺口。 这是整条链上最关键的一个缺口：LongVU 的压缩是启发式且训练无关（training-free）的。θ=0.8、J=8、K=8 全是手调阈值，没有任何东西是从数据中学出来的。DINOv2 的特征相似度衡量的是视觉冗余，而不是对当前问题的有用性——两段画面完全不同的空镜头，DINOv2 会认为都值得保留，但对「他什么时候拧螺丝」这个问题两段都是废的。此外作者自承：视频 SFT 后图像理解能力下降（表 10），因 GPU 资源限制未做混合数据训练。

③ 核心工作如何回应。 Tempo 把这三个手工模块整体替换成一个可学习的 SVLM：不再有 DINOv2 相似度阈值，不再有 top-N_h 硬选择，不再有 STC 余弦阈值——压缩行为完全由 L_AR 这一个自回归损失隐式学出。表 2-B 的对照直接量化了「学出来」相对「手调」的价值：ATA 比均匀子采样高 2.00pp，比随机高 3.70pp。而 Tempo 的四阶段课程（图像/视频/文本混合，共 ~7.71M 样本）也正面回应了 LongVU 自承的图像能力退化问题。

④ 关键设计的传递。 两项直接传递：(i) 「不同片段给不同 token 数」这一核心思想，LongVU 是二档（144/64），Tempo 推广成连续区间 [4, 128]；(ii) 文本引导的相关性打分，LongVU 用跨模态注意力算，Tempo 用 SVLM 的 yes/no logit 差算——技术迁移的具体形式是「外部注意力打分 → 模型内部的判别置信度」。

3.4 BIMBA — 2025.03（arXiv）/ CVPR 2025 主会 Poster

① 解决了什么问题。 LongVU 是启发式的，BIMBA 给出了「学习式压缩」的答案。它在视觉编码器与 LLM 之间插入一个 Mamba 选择性扫描模块：把逐帧 patch 特征展平成一条时空长序列，一组 query token 随选择性扫描前进，由输入相关的门控在每一步决定「写入状态还是丢弃」——压缩因此是内容相关的而非均匀池化。三个关键设计：query 由时空 token 的自适应 3D 平均池化初始化（而非可学习 embedding）、query 交错插入视频 token 之间（而非追加在尾部，以消除位置偏置）、双向扫描恢复 1D 扫描丢失的空间结构。问题条件化通过把 LLM 分词后的问题前置实现：Z' = [X; Z; Q]。压缩比 >16×（36,864 → 2,304 token）。核心贡献：证明了压缩策略可以被端到端学出来，且能做到亚二次复杂度。

② 遗留了什么缺口。 BIMBA 没有 Limitations 章节（这本身值得记一笔）。从缺失处推断的缺口有三个：(i) 压缩后的 token 数 M 与池化比例是固定超参（1×2×2 / 2×2×2 / 4×2×2 按帧数档位切换），不随视频内容或问题难度自适应；(ii) 问题条件化被描述为可选的、且是 prepend 式而非架构级，因此「同一视频多个问题」无法复用单次前向；(iii) 效率只给了曲线，没有绝对数字（无 FLOPs、无 ms、无 GB）。缺口一句话概括：学会了「怎么压」，但没学会「压多少」。

③ 核心工作如何回应。 Tempo 正是补上了 (i)：ATA 让每段的 k_i 随相关性在 [4, 128] 连续变化。表 2-B 中「均匀子采样」这一行（61.46）在概念上就是 BIMBA 式固定比例压缩的代理，ATA 相对它 +2.00pp。而 (iii) 这个缺口 Tempo 没有补上——如 §2.7 批判 ⑦ 所述，Tempo 同样只给了 O(1) 的定性表述，没给实测数字。这是整条演进链上唯一一个连续两代都未被填补的缺口。

④ 关键设计的传递。 BIMBA 的组件消融方法论被 Tempo 明显继承（BIMBA 表 1：可学习 query 67.67 → 平均池化初始化 68.61 → +norm 69.85 → +双向 71.68 → +交错 73.57，逐层累加的呈现方式，与 Tempo 表 2 的五分组结构同源）。更实质的传递是「在视觉编码器与 LLM 之间插入一个可学习的压缩瓶颈」这一架构位点——BIMBA 放的是 Mamba 层，Tempo 放的是一整个 2B VLM。技术迁移的形式是「专用序列算子 → 通用预训练模型」，这也是过去两年整个领域的宏观趋势。

3.5 VideoChat-Flash — 2024.12（arXiv v1）/ ICLR 2026 主会 Poster（v4: 2025-07-13）

① 解决了什么问题。 把 token 效率推到当时的极致，同时保住长上下文能力。HiCo（分层视觉 token 压缩）分两级：clip 级用视频编码器的时空注意力 + 相似 token 合并，把每帧压到均值 16 tokens；video 级在 LLM 推理时做渐进式视觉 dropout（浅层丢约 50%，深层用注意力引导选择），总压缩比约 1/50。配套一个四阶段 short-to-long 训练方案（4 帧 → 8 帧 → 64–512 帧 → 448 高分辨率后微调）。上下文扩到 128K，支持约 10,000 帧。核心贡献：NIAH 单跳检索在 10,000 帧上达到 99.1%（对比 LongVA 3,000 帧 92%、LLaMA-VID 55%）——长视频的「检索」问题基本被解决。

② 遗留了什么缺口。 一个漂亮的、由论文自己数据揭示的缺口：检索接近满分，推理却远未解决。同一篇论文的多跳 NIAVH（图 6）在 10k 帧上 CAP 仅 31.3%、QA 仅 25.4%。即「能找到那一帧」和「能把几帧串起来推理」之间存在巨大鸿沟。机制上的原因是：HiCo 的 clip 级压缩是 query-agnostic 的——16 tokens/frame 对所有帧一视同仁，压缩时并不知道用户要问什么，于是多跳推理所需的那些「看似不重要但组合起来关键」的细节在压缩阶段就已被丢弃。此外作者自承 video 级压缩只能用于推理，因与序列并行等训练加速策略不兼容。

③ 核心工作如何回应。 Tempo 的整个设计就是对「clip 级压缩 query-agnostic」这一条的正面回应：把查询提前注入到压缩的最内层。效果在表 1 上体现为随时长单调扩大的优势（LongVideoBench −0.2pp → LVBench +4.5pp）——正是在最需要跨段组合推理的极长视频上，query-aware 压缩的价值最大。同时 Tempo 的压缩在训练和推理中是一致的（不像 HiCo 的 video 级压缩仅推理可用），这消除了训练-推理不匹配。

④ 关键设计的传递。 两项：(i) short-to-long 渐进课程几乎被 Tempo 一比一继承（VideoChat-Flash：4→8→64–512 帧 + 高分辨率后微调；Tempo：1→8→128→384 帧，四阶段结构完全同构）；(ii) 「极低 tokens/frame 也能做 SOTA」这一存在性证明——VideoChat-Flash 用 16 tokens/frame 打平了用 1924 tokens/frame 的 Qwen2.5-VL，直接为 Tempo 把预算再降一个数量级（到均值 2.8）铺平了心理与经验基础。技术迁移形式是「固定的极低预算 → 均值更低但可动态起伏的预算」。

4.1 ASCII 演进树（非线性，含平行分支与汇聚点）

4.2 演进的内在逻辑

推动力一条线：静态常数 → 手工规则 → 学习算子 → 预训练模型 → 自适应分配

三个关键转折点：

1. LongVU 的转折（2024.10）：从「所有帧一视同仁」到「按查询分配不同分辨率」。这是问题定义的转折——第一次承认带宽应该是不均匀的。
2. BIMBA 的转折（2025.03）：从「手写规则」到「端到端学习」。这是方法论的转折——压缩策略成为可微目标的一部分。
3. Tempo 的转折（2026.04）：从「学习压缩什么」到「同时学习压缩多少」。这是输出空间的转折——压缩率从超参变成了模型的一个输出维度。

社区关注点的转移：

• 2023–2024 上半年：能不能塞进去。指标是最大帧数、最大上下文长度（LLaMA-VID 的 3 小时、LongVA 的 2000 帧）。
• 2024 下半年–2025：塞进去之后能不能找到。指标是 NIAH 检索准确率（VideoChat-Flash 的 99.1%@10k 帧）。这个问题在 2025 年基本被解决。
• 2025 下半年–2026：找到之后能不能推理。指标转向多跳推理与极长视频综合理解（VideoChat-Flash 自曝的多跳 25.4%、LVBench 的 4101s）。Tempo 正处在这个转折点上——它的所有增益都集中在最长的基准上，而在最短的 LongVideoBench 上是净负的。

6.1 理论层面

① 视觉 token 的「有效上下文」上界是什么？（本报告认为最高价值、最低门槛的空白）

不是泛泛地「研究长上下文」，而是一个具体的测量问题：LongVA（128→384 帧退化 0.8pp）、Tempo（4K→8K 预算退化 0.22pp）、STORM（自承有效上下文小于名义上下文）三处独立观察指向同一现象，但没有任何一篇给出这个拐点的定量刻画。

具体可操作的实验设计：固定模型、固定视频集，只扫描注入的视觉 token 数 B ∈ {1K, 2K, 4K, 8K, 16K, 32K}，在每个 B 上分别测量 (a) 端到端任务准确率、(b) 一个纯检索探针（NIAH 式）的准确率、(c) 注意力熵在视觉 token 区间上的分布。假设是：(b) 会持续上升而 (a) 在某个 B* 后转降，说明退化发生在推理而非检索环节。若成立，则「有效上下文」可以被定义为 B* = argmax_B accuracy(B)，并可进一步问：B* 是否随 LLM 规模缩放？这是一个单模型、单周实验就能做完的高价值空白。

② ATA 在大 N 极限下的退化界

如 §2.7 批判 ① 所推断，当段数 N → B_max / k_min 时，ATA 的比例回退公式会退化为近似均匀分配。具体问题：给定 B_max、k_min、段数 N 和分数分布 {ŝ_i} 的熵 H(ŝ)，能否给出 ATA 相对硬 top-K 的性能差的解析界？这直接解释了 LVBench 上 ATA 输给 top-K 的现象，且可导出一个自适应切换规则（当 N 超过阈值时自动退化为 top-K）。

③ 压缩目标与判别目标是否内在竞争？

表 2-D 显示微调后的 SVLM 作路由器不如未微调的基座（63.46 vs 63.92）。具体实验：取 Tempo 公开的 Stage0/1/2/3 四个 checkpoint，在同一批 (片段, 查询, 相关性标签) 数据上测量各自的路由 AUC。若 AUC 随训练阶段单调下降，就证实了「压缩训练损害判别校准」这一假设，并直接指向一个多任务损失的修复方案。四个 checkpoint 已全部公开，这个实验的门槛极低。

6.2 工程与应用层

④ 建立 (延迟, 显存, 精度) 三维帕累托前沿基准

这是整条演进链上连续两代（BIMBA、Tempo）都未填补的缺口。现状是每篇论文各报各的定性效率主张（BIMBA 只给曲线、Tempo 只给 O(1) 表述），无法横向比较。具体建议：在固定硬件（如单张 A100-80G）、固定视频集（LVBench 全集）下，对 LongVU / BIMBA / VideoChat-Flash / STORM / Tempo 统一测量端到端 wall-clock、峰值显存、准确率三元组。特别需要回答 §2.7 批判 ⑦ 提出的问题：Tempo 在 4101s 视频上约 1025 次 2B 前向的开销，是否真的低于 VideoChat-Flash 的一次性分层压缩？这是一个纯工程、无需新方法的高价值工作。

⑤ 多轮对话下的压缩复用

Tempo 自承的第三个局限。当前每换一个问题就要重压整段视频，成本 O(轮数 × 视频长度)。具体问题：能否设计一种「查询无关的粗压缩 + 查询相关的细化」两级缓存？粗压缩只做一次并缓存，细化在每轮只对 top-k 个候选段做。关键的实验空白：这种两级方案相对 Tempo 单级方案的精度损失是多少？在几轮之后能摊薄成本？

⑥ 在线 / 流式设置

现有全部五代工作都是离线的——假设整段视频可以被一次性访问。但真实的具身智能与视频助手场景是流式的：视频还在生成，且未来的问题尚未提出。具体问题：当 s_i 必须在看到未来片段之前就决定时，ATA 的 Min-Max 归一化（依赖全局 max(s) 与 min(s)）完全失效。需要设计一个在线版本——用滑动窗口分位数替代全局 Min-Max？还是用一个可学习的绝对阈值？这是一个定义清晰、当前完全空白的方向。

6.3 新兴方向

⑦ 从「一次性压缩」到「Agent 主动路由」

Tempo 自己在第 6 节点出：让全局 LLM 成为主动路由 agent，按需向下请求高分辨率片段。具体化这个想法：这实际上是把长视频理解转化为一个工具调用问题——LLM 的工具是 zoom_in(segment_id, resolution)。关键的对比实验空白是：「一次性最优分配」（Tempo）vs「多轮自适应检索」（Agent），在相同的总 token 预算下谁更优？这个 head-to-head 目前完全没人做，但它决定了整个子领域未来两年的走向。

⑧ 路由能力的后训练：SFT 还是 RL？

Tempo 自承路由完全零样本。论文提出可用 SFT 或 RL 增强，但没有论证哪一个更合适，这本身就是一个明确的对比实验空白。SFT 需要 (片段, 查询, 相关性) 三元组标注——可以用现有的时序定位数据集（如 Charades-STA、QVHighlights）的 ground-truth 区间自动构造。RL 则可以用最终答案正确性作为奖励，无需中间标注但信号更稀疏。建议在相同硬件预算、相同数据预算下 head-to-head 对比这两种策略，并特别关注：RL 路由是否会学到「多要 token 总没错」的退化策略（因为奖励不惩罚 token 消耗）？如果会，就需要在奖励中显式加入预算惩罚项——这直接连回了 §6.1① 的有效上下文问题。

⑨ 与音频、字幕的多模态联合路由

当前所有工作的相关性打分都只基于视觉+文本查询。但 Video-MME 的「w/ subtitles」设置普遍带来数 pp 提升（VideoChat-Flash：65.3 → 69.7，+4.4pp）。具体问题：字幕/音频轨道是否可以作为一个廉价的路由先验？即先用纯文本的字幕检索粗筛出候选段，再对候选段跑昂贵的视觉压缩。这可能把 §6.2④ 的 1025 次 SVLM 前向砍掉一个数量级。对齐目标是什么——是让音频相关性分数与视觉相关性分数在同一标度上可比，还是让它们各自路由后取并集？这是一个尚未被定义清楚的问题。

本期未展开详述，均为 CVPR 2026 Highlights 或近期高关注度预印本（同属本周二「视觉与多模态」轮转领域）。

A Mixed Diet Makes DINO An Omnivorous Vision Encoder （2026，CVPR 2026 Highlight）

DeepMind 系团队（Kabra, Ovsjanikov, Hudson, Carreira, Mitra 等）重新审视自监督视觉编码器的数据配方。值得看的原因：在 DINO 系列已成为几乎所有视频压缩工作（含 LongVU）的默认冗余度量工具的当下，改进 DINO 本身的通用性会向下游整条链传导。
CVPR 2026 Highlights

ViCA: Efficient Multimodal LLMs with Vision-Only Cross-Attention （arXiv 2602.07574）

与 Tempo 正交的效率路线：不压缩 token，而是改变视觉 token 进入 LLM 的方式（交叉注意力而非拼接）。值得看的原因：与 Tempo 放在一起读可以看清「减少 token」与「改变 token 消费方式」两条独立轴。
arXiv

Video Generation Models are General-Purpose Vision Learners （arXiv 2607.09024）

主张视频生成模型的表征可以直接迁移到判别任务。值得看的原因：若成立，长视频理解的编码器侧可能会被生成式预训练整体替换——这是对本报告整条演进链的一个潜在颠覆。
arXiv

PersonaVLM: Long-Term Personalized Multimodal LLMs （CVPR 2026 Highlight）

长期个性化多模态 LLM。值得看的原因：与 Tempo 自承的「多轮对话需重压视频」局限直接相关——个性化记忆与查询感知压缩如何共存是一个自然的交叉点。
CVPR 2026 Highlights

VS-Bench: Evaluating VLMs for Strategic Abilities in Multi-Agent Environments （CVPR 2026 Oral）

评测向工作，考察 VLM 在多智能体环境中的策略能力。值得看的原因：代表了 §4.2 中提到的「从检索转向推理」这一社区关注点转移。
项目页

Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning （CVPR 2026）

用感知证据锚定多模态推理的 RL 方法。值得看的原因：与 §6.3⑧ 提出的「路由能力后训练」直接相关——如何用 RL 让模型学会「该看哪里」。
CVF Open Access

Unified Generation and Self-Verification for VLMs via Advantage Decoupled Preference Optimization （CVPR 2026 Highlight）

统一生成与自验证。值得看的原因：其「优势解耦」思想与 Tempo 表 2-D 揭示的「压缩目标 vs 判别目标可能竞争」问题（见 §6.1③）有潜在联系。
CVPR 2026 Highlights