DEFAME：把多模态事实核查改造成动态取证循环

0. 链接验证表与证据边界

下列 URL 均在 2026‑09‑08 实际访问。数值只取自本次实际阅读的 ICML/PMLR 论文、arXiv v4 HTML 正文与附录；网页索引只用于核验 venue、版本与公开资产。核心论文 arXiv 2412.10510v4，2025‑07‑24；PMLR 正式页明确记载 ICML 2025、页码 5383–5417。OpenReview 页面触发浏览器验证，故只能确认入口存在，不能把其不可读内容作为证据。Papers with Code 与 Semantic Scholar 精确标题检索没有稳定返回核心条目；这不等于论文不存在于索引，只表示本次无法核实独立记录。

证据定位约定：例如“arXiv v4 行 192–203”指上表可逐行核验 HTML；“表 3/4/5/8”指论文自身编号。所有百分点与相对百分比均由本报告依据原表复算，并明确标注；没有从图中猜数。

1. 候选池、去重与真实随机选择

先读取 ml-report-index.md，排除最近 14 天已深度覆盖的 Visual Graph Arena、Q‑VDiT、DocVXQA、AVUT、LongLive、DreamGen 及其紧邻主题。候选从 ICML 2025 PMLR、ICLR 2026 OpenReview、EMNLP/ACL Anthology 与近期 arXiv 建立，并用 Hugging Face Daily Papers、Papers with Code、Semantic Scholar 做发现与交叉检索。完整清单另存为 candidates_2026-09-08.tsv。执行 shuf -i 1-23 -n 1，真实输出 4，命中 DEFAME；正式正文、附录、代码与数据均可访问，因此 0 次重抽。

1. Unifying 2D and 3D Vision-Language Understanding（ICML 2025）
2. Do Vision-Language Models Really Understand Visual Language?（ICML 2025）
3. ELITE: Enhanced Language-Image Toxicity Evaluation for Safety（ICML 2025）
4. DEFAME: Dynamic Evidence-based FAct-checking with Multimodal Experts（ICML 2025）
5. Improving Zero-Shot Adversarial Robustness in Vision-Language Models（ICML 2025）
6. Multimodal Time-Aligned Shared Token Recommender（ICML 2025）
7. CoreMatching: Co-adaptive Token and Neuron Pruning for VLMs（ICML 2025）
8. Agent Reviewers: Domain-specific Multimodal Agents with Shared Memory（ICML 2025）
9. Empowering World Models with Reflection for Embodied Understanding（ICML 2025）
10. video-SALMONN-o1: Reasoning-enhanced Audio-visual LLM（ICML 2025）
11. The Hidden Life of Tokens: Reducing Hallucination via Visual Information Steering（ICML 2025）
12. Compositional Condition Question Answering in Tabular Understanding（ICML 2025）
13. Orthus: Autoregressive Interleaved Image-Text Generation（ICML 2025）
14. Be Confident: Uncovering Overfitting in MLLM Multi-Task Tuning（ICML 2025）
15. Training Vision-Language Process Reward Models for Test-Time Scaling（ICLR 2026）
16. Multi-modal Data Mixtures for Vision-Language Model Training（ICLR 2026）
17. RobustVLA: Robustness of Vision-Language-Action Models（ICLR 2026）
18. VSTAT: Benchmarking Visual State Tracking（arXiv 2026）
19. HAVEN: Hierarchically Aligned Multimodal Benchmark（arXiv 2026）
20. MVU-Eval: Towards Multi-Video Understanding Evaluation（arXiv 2025）
21. Video-MMLU（arXiv 2025）
22. MT-Video-Bench（arXiv 2025）
23. MMIU: Multimodal Multi-image Understanding（ICLR 2025）

2. Motivation：为什么“看图后直接回答真假”不够

现实事实核查不是静态分类。声明可能由文字、照片、截图或复合图组成，相关证据也散落在网页文字和图片中；专业核查者检查的声明约 80% 是多模态（核心论文引言，arXiv v4 行 75–79）。然而既有 AFC 系统多为文本管线；少数视觉方法常把图像压成 caption，或只利用模型参数记忆，无法同时处理多模态声明与多模态外部证据（行 79–82）。这产生三个具体问题：知识截止后事件无法靠参数记忆回答；无来源链接的解释不可审计；单次检索无法根据新发现追问。

旧基准又可能给出虚假的安全感。AVeriTeC 声明截至 2021‑12，VERITE 覆盖 2001‑01 至 2023‑01，MOCHEG 截至 2022‑05，而论文所用 GPT‑4o 的知识截止为 2023‑10；公开 fact-check 页面可能已进入预训练语料（附录 A，行 418–433）。为此作者构造 ClaimReview2024+：300 条英文声明，来源文章在 2023‑11‑01 至 2025‑01‑18，含 160 条纯文本、140 条图文；标签分布为 Refuted 129、Supported 89、Misleading 61、NEI 21（§4，行 165–174）。它不是严格的“事件从未出现”保证，因为作者承认部分新文章可能复核旧事件，但比按发布日期早于 cutoff 的静态集更接近时间外分布。

最直观的量化证据来自表 3：直接 GPT‑4o 在旧集 AVeriTeC/MOCHEG/VERITE‑T/F 上分别为 62.1/53.7/78.7，到 ClaimReview2024+ 跌至 35.2；CoT 更低至 31.4。DEFAME 则为 70.5/59.2/83.9/69.7（arXiv v4 行 192–203）。这说明“语言模型会推理”与“系统拿到了当前证据”是两个不同变量，外部取证在新事件上比让模型多写几步思维更重要。

3. 论文故事线：由静态分类器转向可停止的取证过程

论文的故事线不是发明一个新视觉编码器，而是把散落的 AFC 子任务组装成一条动态循环。系统由一个 MLLM、四类外部工具和持续增长的 fact-check report 组成；每次 MLLM 调用都看到当前报告状态与阶段指令（§3，行 127–132）。这份报告同时是工作记忆、证据账本和最终解释的原材料。

六阶段如下：

1. Plan： 根据尚缺的信息生成动作，且记录已执行动作避免重复；动作空间含 Web Search、Image Search、Reverse Image Search（RIS）、Geolocation。
2. Execute： Web/Image Search 各取前 3 个网页；RIS 对输入图取最多 3 个含同图页面；GeoCLIP 给出可能国家。网页结果限制在声明发布日期之前，并排除主要 fact-check 站点以降低答案泄漏（行 133–153）。
3. Summarize： 抽取与当前声明有关的文字、图像和 URL；无贡献结果返回 NONE，把长网页压入报告（行 154–156）。
4. Develop： 将声明与已摘要证据做逐步推演，显式标注证据缺口（行 157–159）。
5. Judge： 输出数据集标签。若为 NEI，则返回 Plan；达到确定标签或最多 3 次迭代后停止（行 160–161）。
6. Justify： 从完整报告压缩出带超链接的短解释，避免把冗长工作轨迹直接丢给用户（行 162–164）。

其核心假设有四个：搜索引擎前列结果有足够召回；MLLM 能识别相关证据并抵抗网页提示注入；同一模型在规划、摘要、推演和裁决中的误差不会系统性自我强化；NEI 是“需要继续检索”的可靠停止信号。设计权衡也清楚：动态循环提高覆盖率和可解释性，却把可复现性从固定模型扩展到搜索索引、API、网页状态、抓取器和时间过滤器整条供应链。

4. 方程级形式化与可执行伪代码

令文本空间为 T、图像空间为 I，多模态序列空间 M=(T∪I)*，标签空间为 Y。DEFAME 是：

F: M → M × Y,       F(c) = (R_out, y_out)                         (1)

其中输入声明 c 可以交织文字与图像；R_out 是完整核查报告。一次迭代由五个阶段复合（附录 F，行 520–553）：

(R^(i+1), y^(i+1)) := F_iter(R^i)
F_iter := S5 ∘ S4 ∘ S3 ∘ S2 ∘ S1                               (2)

A_i = S1(R^i)                             # 规划动作
E_i = { τ(a) | a ∈ A_i }                  # 工具执行与证据集合
R1^i = σ(E_i, R^i)                        # 有上下文的摘要追加
R2^i = S4(R1^i)                           # 证据推演
(R3^i, y^i) = S5(R2^i)                    # 中间裁决

停止时刻为：

i* = min { i ≤ N | y^i ≠ NEI or i = N },    N = 3
y_out = y^(i*)
R_out = S6(R^(i*))                                                (3)

这一形式化揭示一个容易忽略的问题：论文把 y≠NEI 当停止条件，但 Supported/Refuted/Misleading 的置信度并未显式建模。因此，模型即使基于一条表面相似图片过早输出 Supported，也会停止；失败分析确实发现“看到匹配文字的图片就过早判断”的案例（§5.7，行 282–285；附录 O，行 706–710）。

procedure DEFAME(claim c, max_rounds = 3):
    R ← init_report(c)
    for round in 1..max_rounds:
        A ← MLLM.plan(c, R, unused_tools_and_queries)
        E ← parallel_execute(A)           # web/image/RIS/geolocation
        E ← filter_by_date_and_domain(E)
        S ← MLLM.summarize_relevant(E, R) # irrelevant → NONE
        R ← append(R, A, S, URLs, images)
        R ← MLLM.develop(c, R)
        y ← MLLM.judge(c, R, label_rules)
        if y != NEI: break
    j ← MLLM.justify(c, R, y, require_hyperlinks=True)
    return (R + j, y)

5. 关键机制与工程细节

公开 ICML 分支给出 Docker/手工安装、config/icml_experiments、批处理脚本与四类付费/免费 API；CPU-only 仅在不用本地 LLM 且关闭 geolocator 时成立。复现还需 OpenAI、Serper、Google Vision、Firecrawl/Hugging Face 凭证，其中部分付费（GitHub ICML 分支 README，实际访问行 274–334）。这比“代码公开”更接近真实可复现性边界。

6. 数据集、标签与指标

准确率适合统一比较，但 129/89/61/21 的 CR+ 标签不均衡意味着 69.7% 不能替代 macro‑F1、每类召回或校准。论文给混淆矩阵却未在正文表格提供全部逐类数字；本报告不从图像估读。

7. 完整主结果数据矩阵

表 3 实际只有四个数据集、六个可比较指标；无法诚实扩成“五基准×六方法”。下表完整保留论文提供的稀疏矩阵，“—”表示论文明确称因代码不可用或设置不兼容而未评估。* 为原论文从已有数字推导；粗体标列最优。

来源：核心论文表 3，arXiv v4 行 192–204；后三行均为 3 次运行均值±标准差。逐列相对最强非 DEFAME 对手复算：

因此“在三个旧 benchmark 都全面超过所有方法”的表述需要收窄：DEFAME 在 AVeriTeC、MOCHEG、VERITE T/MC 与 T/F 最优，但在 VERITE T/OOC 不是。它更准确的定位是跨任务综合最强、时间外分布优势突出，而不是每一列都第一。

8. 骨干替换：模块化不等于骨干无关

来源：表 2，行 185–191。GPT‑4o 换成 Llama 4 后，CR+ 下降 20.9 pp（−30.0%），VERITE 下降 11.6 pp（−13.8%）；换成 LLaVA‑1V 后 CR+ 下降 37.1 pp（−53.2%）。作者解释 LLaVA 常无法按格式输出动作，导致工具实际调用更少（行 205–208；附录 C 行 473–474）。所以“可插拔”是软件接口事实，不是性能等价；Agent 的结构遵循能力本身就是实验变量。

9. 逐层消融：检索覆盖比多写一段推理更关键

来源：表 4，行 228–262；Δ 为本报告复算。机制呈现清晰的任务相变：MOCHEG/CR+ 对 Web Search 最敏感，而视觉错配集 VERITE 对 RIS 最敏感。多轮相对 single turn 在 MOCHEG 提升 11.5 pp（+24.1%），在 VERITE 仅 1.1 pp（+1.33%），说明 follow-up 的价值取决于任务是否需要补足外部事实，而非“循环总是更聪明”。

Develop 阶段在 VERITE 只贡献 0.1 pp，远小于 RIS 的 10.2 pp；这反驳了把主要进步归功于长推理的直觉。更合理的归因是：正确工具带来的证据可识别性 > 中间自然语言推演。不过各消融表没有标准差，且可能只运行一次，差 0.1–1.0 pp 的结论不应被视为稳健。

10. 超参敏感性、成本与“相变”

论文固定温度 0.01、top‑p 0.9、每页最多 32 张图、最多 3 轮、搜索结果每动作最多 3 条（AVeriTeC 为 5）。没有报告温度、top‑p、轮数、检索 k、32 图上限、上下文截断或置信阈值的网格，因此无法判断性能是否对这些选择稳定，也无法给出统计意义上的超参相变。

可观察的结构相变只有两类。第一是模态相变：RIS 在 VERITE 的边际贡献 10.2 pp，在 MOCHEG/CR+ 仅 1.0/5.7 pp；Web Search 则在 MOCHEG 为 17.2 pp。第二是骨干相变：LLaVA‑1V 动作格式失败使搜索数降至 0.9/claim，其较快运行并非更高效推理，而是工具没有被正确执行。

来源：附录表 5，行 455–475；时间是 VERITE 上粗略估计，论文提醒硬件共享导致高方差。相对 GPT‑4o direct，完整 DEFAME 慢约 42.3×（254s/6s）、输入 token 约 21.8×、LLM API 成本至少约一个数量级；换来 VERITE T/F +5.2 pp。去掉 Planning 反而将查询从 2.2 提至 5.2（+136.4%）、输入 token 从 48K 提至 70K（+45.8%），而准确率还下降 0.5–1.7 pp，说明规划的最大价值是成本控制，而非单独贡献很多准确率。

11. 统计显著性与解释质量

主结果对 DEFAME、GPT‑4o 与 GPT‑4o CoT 报告三次运行均值±标准差，但未提供逐样本配对检验、置信区间或多重比较校正。某些差异可从标准差量级看出明显，如 CR+ 的 +34.5 pp；但 VERITE T/F 相对 CoT 的 +3.9 pp 是否在配对样本上显著，论文未报告，不能仅凭标准差宣布显著。

人评覆盖 36 条声明、共 185 份评分：DEFAME 154，CoT 31，每条至少 5 评；所有参与者具有高等教育。完整性使用 Mann–Whitney U 检验，p≈9.1×10^-9，显著优于 CoT；一致性没有显著差异（§5.6 行 268–281；附录 L 行 683–688）。然而 154:31 严重不平衡，论文未报告效应量、评分者人数、评分者间一致性，也没有把“链接存在”与“链接真正支持句子”分开，因此只能证明参与者更偏好 DEFAME 的完整性，不能证明每条引用都忠实。

自动解释指标更加矛盾。表 8 中 DEFAME 的 ROUGE‑L/BLEU/BERTScore 为 18.72/3.20/85.89，加一个 style example 后为 25.37/7.31/87.42；相对提升 +35.5%/+128.4%/+1.78%。但 1-shot BLEU 仍低于未微调基线 7.38，BERTScore 低于 MetaSumPerceiver 88.10；作者自己指出大幅变化更多暴露 n‑gram/措辞敏感性，而非解释能力骤增（附录 M，行 691–701）。

12. 真正贡献、可复用设计与迁移潜力

真正贡献一：把多模态证据保留到取证闭环。 RAGAR 会把图片转为描述，而 DEFAME 在声明、网页证据、报告和后续推演中保留交织图文；这使 RIS/地理定位结果能直接与原图比较。

真正贡献二：用 NEI 驱动自适应深度。 静态 pipeline 无论简单或困难都走同样路径；DEFAME 只有在证据不足时继续，规划消融显示它将查询量从静态 5.2 压到 2.2，同时提高准确率。

真正贡献三：用时间外 benchmark 隔离检索价值。 CR+ 虽不完美，却使直接 GPT‑4o 从旧集的较高分暴露为 35.2；这比只在旧 benchmark 报 SOTA 更能说明外部证据的作用。

可复用设计： 将 report 作为 append-only 状态；动作去重；把 irrelevant result 显式归零；按 claim timestamp 截断检索；将工具输出与可点击来源一起保存；把长调查记录与用户可读短解释分开。它们可迁移到医学证据核查、事故调查、产品合规与科学文献审计。

迁移边界： 在医学/法律场景不能把搜索排名当可信度，需加来源层级与证据冲突解析；在视频核查需引入转录、关键帧和来源时间线；在多语言环境需测试跨语检索和翻译误差；在实时系统需引入预算感知停止和高风险人工升级。

13. 相关工作：问题来源与技术来源链

RAGAR（FEVER 2024）

解决什么： CoRAG/ToRAG 让 MLLM 对政治图文声明连续提出子问题，RAGAR 报告 weighted F1 0.85，比基线推理法高 0.14（RAGAR arXiv 摘要，实际访问）。遗留缺口： 它把声明图像先语言化，只检索文本证据，且聚焦政治域。DEFAME 如何回应： 保留原图，加入 image/RIS/geolocation，并扩展到四个差异显著的 benchmark。设计如何传递： “下一问由已有证据决定”的递归思想直接演化成 NEI→Plan 循环。

MOCHEG（SIGIR 2023）

解决什么： 首次把检索、三类核查和解释生成放进端到端多模态 benchmark；最终版本含 15,601 条声明、33,880 段文本证据和 12,112 张图像证据（MOCHEG arXiv v3 摘要）。遗留缺口： 基线是训练式分段管线，检索源相对固定；解释指标易受表面重叠控制。DEFAME 如何回应： 用零样本 MLLM 和动态工具替换训练式子模块，并生成带链接报告。设计如何传递： MOCHEG 的“检索—判断—解释”三段骨架，被 DEFAME展开成六阶段并加入循环。

MetaSumPerceiver（ACL 2024 Main）

解决什么： 对多文档文字和图片做 claim-specific evidence summarization，减轻人工阅读负担。遗留缺口： 依赖已提供的证据集合，摘要器不负责开放域取证；MOCHEG 核查准确率为 48.6（DEFAME 表 3）。DEFAME 如何回应： 把摘要放在每次工具检索之后，并让摘要进入下一轮规划。设计如何传递： “证据先压缩再裁决”被保留，但摘要从终点变成循环状态更新算子 σ(E,R)。

AVeriTeC（NeurIPS 2023 D&B）

解决什么： 提供 4,568 条真实声明，来自 50 家机构，并用有来源的 QA 对描述证据链（官方 proceedings 摘要）。遗留缺口： 纯文本、静态且早于现代 MLLM cutoff；开发集 KB 与开放 Web 的噪声不同。DEFAME 如何回应： 在其 KB 上验证文本能力，同时以 CR+ 补时间外图文声明。设计如何传递： AVeriTeC 的四标签 taxonomy 和“证据不是只有文档，而是可问答的缺口”影响了 Judge 规则与 InFact 适配。

SNIFFER（2024）

解决什么： 用两阶段 instruction tuning 强化实体对齐和 OOC 差异解释，公开模型权重。遗留缺口： 以参数化识别与解释为主，不形成开放域多跳证据链。DEFAME 如何回应： 不训练专用视觉模型，靠外部工具获取出处、地点与时间。设计如何传递： SNIFFER强调“图文表面一致不等于同一语境”，DEFAME把这一需求交给 RIS 与证据报告。

非线性技术演进树

                         ┌─ AVeriTeC：真实声明 + QA证据链 ─┐
FEVER式文本核查 ─────────┤                               ├─ InFact/DEFAME 的标签与证据格式
                         └─ 规划式 LLM fact-checking ──────┘

图文一致性检测 ── SNIFFER：OOC专用调优 ───────────────┐
                                                      ├─ DEFAME：原图 + RIS + GeoCLIP
MOCHEG：检索→核查→解释 ─ MetaSum：多文档证据摘要 ─────┤        │
                                                      │        ├─ CR+：时间外评估
RAG / Agent ── RAGAR：CoRAG/ToRAG递归追问 ────────────┘        │
                                                               └─ 2026 动态 benchmark / 多Agent

演进动力与转折： 第一转折是从“图文是否相似”转向“有没有外部可验证证据”；第二转折是从固定证据包转向开放 Web；第三转折是认识到静态 benchmark 会被预训练污染，因此评测本身必须动态更新。DEFAME位于第二与第三转折之间：它把动态检索做成系统，但 CR+ 仍是一次性静态快照。

14. 论文自述限制

1. 外部证据可信度： 搜索结果可能泄漏、偏置或不可靠；系统只依赖多样化与搜索引擎自身排序，没有外部 source rating（§6，arXiv v4 行 286–290）。
2. 系统稳定性： 网页访问限制、长文档与抓取失败导致波动；开源 MLLM 对提示格式敏感，微小变化会破坏动作输出（§6，行 291）。
3. 幻觉与人评规模： 作者承认 MLLM 幻觉需进一步研究；人评仅 36 条声明，不能覆盖全部失败模式（§6 行 292；附录 L 行 688）。

15. 独立批判：每一点都从证据到推论

1. [归因有效性] 因为完整 DEFAME 同时改变了检索、图像输入、循环深度、报告记忆和提示长度，而表 4 只做单因素删除、没有同计算预算的组合消融，所以不能把 CR+ 的 +34.5 pp 单独归因于“多模态证据”；最少还需 Web-only、RIS-only、等 token 单轮和独立 judge 的 factorial 实验。
2. [全面 SOTA 表述] 因为表 3 的 VERITE T/OOC 是 78.4，低于 AITR 82.7，所以“surpasses all previous methods”只能理解为跨 benchmark 总体能力，而不能理解为逐列全胜。
3. [停止规则] 因为停止只要求 y≠NEI，失败分析又发现匹配到相似图后过早 Supported，所以系统把标签类别当置信度代理；推论是它需要基于证据覆盖、来源独立性和校准概率的停止，而不是由一个离散 verdict 触发。
4. [自我确认偏差] 因为同一个 MLLM 负责摘要、推演和裁决，且后续阶段只看到该模型压缩后的报告，所以摘要中的遗漏或误读会被下游当作既定事实；推论是应以独立 evidence entailment 模型或双模型交叉审计打断闭环。
5. [搜索生态偏差] 因为系统排除 Snopes、YouTube 等域，而附录 O 的鲨鱼图片案例恰好只在这些来源可验证，所以“防泄漏”会系统性制造 missing evidence；推论是域排除应按评测时间与页面内容做答案泄漏检测，而非整域封禁。
6. [标签与数据质量] 因为作者抽查 20 个 VERITE 错例就发现 3 个疑似错误标注（15% 的该小样本），MOCHEG 又含会随时间变化的 ground truth，所以单点准确率混合了模型错误与基准过期；推论是动态核查必须同时输出“按声明时间”和“按评测时间”两个 verdict。
7. [统计完整性] 因为主结果只有 3 次运行、消融无标准差，且未做配对显著性检验，所以 0.1–1.0 pp 的 Develop/Planning/Geo 差异不足以支撑稳定组件排序；推论是应固定检索快照并做至少多 seed bootstrap 或 McNemar 检验。
8. [人评解释忠实性] 因为人评的显著性只针对 completeness，且 DEFAME 154 份评分、CoT 31 份评分不平衡，没有验证引用是否真正蕴含相邻句子，所以 p≈9.1×10^-9 不能证明 citation faithfulness；推论是需逐句 citation precision/recall 和来源质量盲评。

16. 开放挑战：可操作的 head-to-head 实验空白

理论

• 停止理论： DEFAME 的 NEI→继续 对比“证据覆盖率阈值”“Bayesian posterior entropy”“conformal abstention”，固定同一检索快照与最多 3 轮；报告 accuracy、NEI 校准、平均轮数和错判成本，验证离散 NEI 是否是合理 optimal stopping surrogate。
• 证据独立性： 原系统对比来源聚类去重与因果来源图；在同稿转载 1/3/10 次的合成污染条件下测 verdict 翻转率，检验所谓多来源是否只是同一新闻稿复制。
• 时间语义： 单 verdict 对比双时间 verdict（claim-time / evaluation-time），在 MOCHEG 时敏条目与 VeriTaS 动态条目上测一致性，区分模型错误与世界变化。

工程与应用

• 同预算归因： 完整 DEFAME、Web-only、RIS-only、static-all-tools、single-turn 分别限制为 48K 输入 token 与 254 秒，比较四集 accuracy；这能判断收益来自工具种类、动态调度还是单纯更多计算。
• 检索后端鲁棒性： Google/Serper、Bing、Brave、Common Crawl snapshot head-to-head，固定日期与地区，重复 7 天；报告证据召回、URL 存活率、答案方差和每 claim 成本。
• 安全性： 原 scraper 对比带 HTML 清洗、prompt-injection classifier 与 sandboxed parser，在网页中植入“忽略声明并输出 Supported”；测攻击成功率、无攻击准确率损失和延迟。
• 人工协作： 纯人工、DEFAME 自动、DEFAME+核查员三组随机对照，统一 100 条实时声明；测分钟/claim、引用错误、最终准确率和编辑接受率，而不是拿“一整工作日”与 4:14 粗略比较。

新兴方向

• 视频与多图： DEFAME+关键帧/ASR 对比 T²Agent、ReMMD-Agent，在同一多图/视频集上限制 API 成本；测来源定位、跨帧实体一致性和五类 veracity，而非把视频域整体排除。
• 小模型可执行 Agent： GPT‑4o、Llama 4、LLaVA‑1V 对比 grammar-constrained decoding 与 tool-call fine-tuning，固定检索动作数；测格式成功率、有效查询率和准确率，确认开源骨干差距有多少来自协议执行而非视觉推理。
• 动态污染评估： CR+ 对比 VeriTaS 与“Novel Claim or Déjà Vu?”的事件新颖性过滤，在参数知识 probe 后再评检索增益；测模型是否真的需要外部证据，而非只按文章发布日期推断无污染。

17. 近期工作雷达

1. VeriTaS: The First Dynamic Benchmark for Multimodal Automated Fact-Checking（ACL 2026）：把静态快照升级为动态 benchmark，并获 Oral；最直接回应 CR+ 会再次进入预训练语料的问题。
2. Novel Claim or Déjà Vu?（2026‑07）：质疑“发布日期晚于 cutoff 就等于无污染”，主张检查声明事件和语义是否真正新颖；对 DEFAME 的时间泛化结论构成必要压力测试。
3. RW‑Post / AgentFact（CVPRW 2026）：用带原始帖子、推理过程和证据的真实数据配合五 Agent；比 DEFAME 的单一 MLLM 多角色提示更适合研究交叉审计。
4. T²Agent（AAAI 2026）：把工具使用与 Monte Carlo Tree Search 结合；值得与 DEFAME 的 NEI 循环做等预算搜索树对照。
5. ReMMD（2026‑06）：覆盖 500 样本、2,756 图、五种语言与多图帖子；补上 DEFAME 的单图英文评测缺口，但规模仍小。
6. Evidence Triangulation for Multimodal Fact-Checking in the Wild（2026‑06）：强调在野外证据三角验证，适合作为“来源独立性”组件，而不只是增加搜索条数。
7. RAMA（2025‑07）：以 retrieval-augmented multi-agent 处理多媒体错误信息；其多 Agent 分工提供了打断 DEFAME 自我确认偏差的候选结构。

18. 结论：该记住什么，不该过度相信什么

DEFAME最值得复用的不是六个阶段的命名，而是三个原则：把图像作为证据对象而非 caption 附件；让证据缺口驱动下一步工具；把调查轨迹与可点击来源保存在最终报告中。表 4 和成本表共同说明，动态 planning 的价值主要表现为用更少查询达到更高准确率，而核心性能的最大来源是任务匹配的检索工具——MOCHEG 看 Web，VERITE 看 RIS。

最关键的定量结论也应一分为二：在时间外 CR+，DEFAME 相对直接 GPT‑4o +34.5 pp，强力证明检索缓解参数知识截止；但它并非每个子任务全面领先，VERITE T/OOC 仍落后 AITR 4.3 pp。更重要的是，系统尚未把“搜到的网页”转化成经过来源独立性、可信度和逐句蕴含验证的证据。因此当前最合适的产品定位是核查员的证据收集与初稿助手，而不是无需人工复核的真相裁判。

文件与索引说明： 本报告以 HTML、Markdown、纯文本三份一致内容保存；ml-report-index.md 已追加本次条目。HTML 按 Warm Editorial Report 规范生成，单文件内联 CSS/JS、支持浅/深主题、移动端横向表格与键盘 tooltip；官方验证器结果为 0 warning。已实际调用本机 Playwright，但 /usr/bin/chromium、/opt/pw-browsers 与 Playwright 缓存均无 Chromium 可执行文件，启动报 executable doesn't exist；依照要求未运行 playwright install，故本次无法诚实声称完成三视图截图检查。