MM‑RLHF：多模态偏好对齐的完整闭环与证据边界

核心论文： Yi‑Fan Zhang et al. MM‑RLHF: The Next Step Forward in Multimodal LLM Alignment. ICML 2025 Main，PMLR 267:76625–76654。
报告日期： 2026‑09‑15　领域： 视觉与多模态　证据口径： ICML/PMLR 定稿优先；arXiv 仅有 v1；“本报告复算”与论文原报严格分开。

0. 链接验证与版本审计

以下 URL 均于 2026‑09‑15 实际访问。OpenReview 页面触发 Cloudflare 验证，故只能确认 PMLR 所列目标 URL，不能声称读取了审稿内容；CVPR OpenAccess 的三个入口在当前网页解析器中返回内部错误，相关事实改由对应 arXiv/GitHub 交叉核验；“未公开/未找到”表示当日公开入口没有找到。

三套公开口径并不一致

ICML 定稿表 1 给出 29,997 条查询，摘要称由此产生 120k 比较对；GitHub README 的“Key Components”却写 20k instructions / 80k pairs，Hugging Face 数据查看器当日显示训练 split 为约 16.3k rows。这三者可能对应定稿全量、清洗后发布集与网页可视 split，但作者没有给出逐阶段 manifest 或哈希映射。因为差异至少为 29,997→20,000（少 9,997，约 33.33%）再到约 16,300（较定稿少约 45.66%，均为本报告按页面数字复算），所以“数据已公开”不能自动推出“120k 训练对可原样重建”。

1. 候选池、排重与随机选择

先检查 ml-report-index.md，并结合最近报告记录排除近 14 天已深读的 AVUT（音视频捷径）、DEFAME（多模态事实核查）、Ambient Creativity（生成记忆）、VIKI‑R（多机器人）和 ThinkSLM（小模型推理评测）等主题。本轮从 ICML 2025 PMLR 论文集、EMNLP 2025 ACL Anthology、arXiv、OpenReview、Hugging Face Daily Papers、Papers with Code 与 Semantic Scholar 做标题和版本交叉检索；后四者用于发现或核验，正式会议页与论文 PDF 为定量证据源。

固定候选池 24 篇如下：

1. AGAV‑Rater: Adapting Large Multimodal Model for AI‑Generated Audio‑Visual Quality Assessment
2. CtrlSynth: Controllable Image Text Synthesis for Data‑Efficient Multimodal Learning
3. Sample‑level Early Feature Enhancement for Long‑Tail Visual Recognition
4. On Path to Multimodal Generalist: General‑Level and General‑Bench
5. Gradient Inversion of Multimodal Models
6. Imagine while Reasoning in Space: Multimodal Visualization‑of‑Thought
7. AffectGPT: A New Dataset, Model, and Benchmark for Emotion Understanding with Multimodal Large Language Models
8. OV‑MER: Towards Open‑Vocabulary Multimodal Emotion Recognition
9. Decomposition of Graphic Design with Multimodal Large Language Models
10. Graph4MM: Weaving Multimodal Learning with Structural Information
11. LMAct: A Benchmark for In‑Context Imitation Learning with Long Multimodal Demonstrations
12. SK‑VQA: Synthetic Knowledge Generation at Scale for Training Large Multimodal Models
13. A Multimodal Medical Code Tokenizer for Structured Clinical Prediction
14. MM‑RLHF: The Next Step Forward in Multimodal LLM Alignment
15. TRUST‑VLM: Thorough Red‑Teaming for Uncovering Safety Threats in Vision‑Language Models
16. Robust Multimodal Large Language Models Against Modality Conflict
17. MME‑CoT: Benchmarking Chain‑of‑Thought in Multimodal Models
18. Do Vision‑Language Models Really Understand Visual Language?
19. ReFocus: Visual Editing as a Chain of Thought for Structured Image Understanding
20. Layer‑wise Alignment for Multimodal Large Language Models
21. VisiPruner
22. Looking Beyond Text
23. Vision‑Free Retrieval
24. VLA‑Mark

执行系统命令 shuf -i 1-24 -n 1，结果为 14，即 MM‑RLHF。没有重抽：ICML 定稿 30 页、代码/数据/权重/两个 benchmark 均有公开入口，主表、对比和附录足以支持深读。

2. Motivation：缺的不是“又一批偏好对”，而是跨任务的统一闭环

多模态后训练长期有三个断点。第一，许多开源 MLLM 停在 SFT；已有偏好优化又集中在物体幻觉或对话，难回答安全、OCR、数学、视频是否共同受益。第二，标量 reward 只说“好/坏”，不给模型或研究者解释何处错；直接用通用 MLLM 当裁判，又要求它同时完成视觉理解、批评和稳定打分。第三，普通 DPO 给每对样本同一个 $\beta$，把“第 1 名对第 4 名”和“第 3 名对第 4 名”视作同强度证据。

论文用三组量化事实塑造问题。数据端从约 1,000 万多模态指令出发，经聚类、去重式采样取 29,997 条查询，再由 50+ 标注者、8 位多模态专家监督、历时两个月，形成超过 120k 排序比较对（定稿 pp.1–4，表 1）。评测端跨 10 个维度、27 个 benchmark（摘要、p.1），不是只看一个 hallucination 分数。结果端，LLaVA‑OV‑7B 的对话维度论文原报提高 19.5%，Unsafety 从 40.2 降到 13.9，即绝对 −26.3 pp、相对减少 65.42%（图 1 与附录表 9；相对值为本报告复算）。

但动机不等于结论。图 1 同时显示至少两个聚合维度为负：Hal Rate 约 +0.45%（方向越低越好，故是轻微恶化）和高分辨率/RealWorld 约 −1.59%；因此更准确的问题是：统一偏好流水线能否把强增益扩散到多数维度，同时不牺牲高分辨率与细粒度感知？

3. 论文故事线、核心假设与权衡

故事线有四步。

1. 覆盖： 从 10M 源池中按任务类型和视觉聚类重采样，得到长回答、短回答、MCQ、安全与视频五类查询。
2. 人类判别： 对每个查询的 3–5 个强模型回答，从 Helpful、Faithful、Ethical 三维打分，再给总体排序和理由；低质量平局由标注者补正例，高质量平局则人工构造含错误负例。
3. 把解释变成 reward： 先训练语言头生成 critique，再让评分头在 query、response、critique 上学习成对偏好。
4. 把 reward 变成更新强度： 对每个有序回答对计算 reward margin，以有界函数调节 DPO 的 $\beta$，并使用所有不同排名的比较对。

核心假设与代价如下。

这条故事线最漂亮的地方是“数据—reward—policy”闭环；最危险的地方也正是闭环：同一数据生态既训练 reward，又抽样 RewardBench，再用 reward 调 DPO，若不做外部分布验证，很容易把闭环内部一致性误写成广泛泛化。

4. 方程级形式化

给定多模态查询 $x$、偏好回答 $y_w$ 和非偏好回答 $y_l$，标准奖励模型采用 Bradley–Terry 损失：

$$\mathcal L_{\text{reward}}(\theta)= \mathbb E[-\log \sigma(r_\theta(y_w\mid x)-r_\theta(y_l\mid x))].$$

MM‑RLHF 把 reward 拆成 critique 生成与条件评分。对人工/扩写 critique $c$，语言头最小化：

$$\mathcal L_{\text{critique}}=-\mathbb E\sum_{t=1}^{\lvert c\rvert} \log \pi_\theta(c_t\mid c_{<t},x,y),$$

评分头则在训练时用 ground‑truth critique 做 teacher forcing：

$$\mathcal L_{\text{score}}= \mathbb E[-\log\sigma(r_\theta(x,y_w,c_w)-r_\theta(x,y_l,c_l))], \qquad \mathcal L_{\text{total}}=\mathcal L_{\text{critique}}+\mathcal L_{\text{score}}.$$

推理时先生成 $\hat c\sim\pi_\theta(\cdot\mid x,y)$，再输出 $r_\theta(x,y,\hat c)$。这一步与训练分布不同。定稿表 2 的“inference with GT annotation”把 ACC+ 从 0.67 提到 0.87，绝对 +0.20、相对 +29.85%（本报告复算），直接证明 critique 生成而非 scoring head 是当前主要瓶颈。

标准 DPO 为：

$$\mathcal L_{\text{DPO}}=-\mathbb E\log\sigma\left[ \beta\left( \log\frac{\pi_\theta(y_w\mid x)}{\pi_{ref}(y_w\mid x)}- \log\frac{\pi_\theta(y_l\mid x)}{\pi_{ref}(y_l\mid x)} \right)\right].$$

先计算 margin $\delta=r(y_w)-r(y_l)$，再设：

$$\beta(\delta)=\beta_{ori}\bigl[1+w(1-e^{-k\delta})\bigr], \quad \beta(\delta)\in[\beta_{ori},(1+w)\beta_{ori}].$$

默认 $\beta_{ori}=0.1,w=0.5,k=0.5$（附录 F，定稿 pp.28–29）。这里要谨慎：论文称之为“loss weight/update strength”，但 $\beta$ 位于 sigmoid 内并同时具有 KL/温度解释，它不是把整个样本损失简单乘权重；只有在局部梯度层面，较大 $\beta$ 才通常意味着更陡的成对间隔压力。

训练流程伪代码

输入：查询 x；同一查询的 3–5 个回答及人类排序；参考策略 π_ref
1. 枚举所有排名不同的 (y_w, y_l)，不把平局当偏好
2. 对每个回答生成/读取人类 critique；GPT-4o 只扩写既有理由
3. 联合训练 critique head 与 score head
4. 用 Reward-7B 得到 δ = r(y_w)-r(y_l)
5. 计算 β(δ)，裁在 [β_ori, (1+w)β_ori]
6. 以动态 β 的 DPO 目标更新 π_θ，并按模型选择 SFT loss 权重
7. 在对话、感知、OCR、数学、幻觉、视频、多图、高分辨率与安全上评测
输出：对齐后的 MLLM、可生成 critique 的 reward model、两个 benchmark

5. 数据与工程细节

5.1 数据构成

图像原始分布为 Long 12.17%、Short 83.68%、MCQ 4.14%，作者把采样比改为 4:5:1；图像用 CLIP ViT‑B/32 编码，KNN 取 100 个簇，每簇随机采样；视频只取首帧特征（定稿 pp.3–4）。回答来自 Qwen2‑VL‑72B、LLaVA‑OV‑72B、GPT‑4o、Claude‑3.5‑Sonnet，视频还使用 LLaVA‑Video‑72B。

5.2 关键工程设置

6. 基准、指标与“平均数”如何读

论文把 27 个 benchmark 汇总成 Conversation、Hallucination Score/Rate、General、Chart、OCR、Math、Multi‑Image、Video、RealWorld、Safety 与 Unsafety 等维度。典型 benchmark 包括 LLaVA‑Wild/Wilder、WildVision、MME/MMBench/MMStar/SeedBench/VQAv2/AI2D、ChartQA/DocVQA/InfoVQA/OCRBench/TextVQA/WebSRC、MathVista/MathVerse、POPE/MMHal/Object‑Hallucination、Video‑MME/VideoChatGPT/VideoDC、LLaVA‑Interleave/MMMU‑Pro 与多类安全攻击（附录表 8–9，PDF pp.24–27）。

RewardBench 有两个指标：ACC 是比较对层面选对优胜回答的比例；ACC+ 要求同一查询下所有回答对排序都正确，所以更严格。Safety 表同时含“越高越好”的安全识别/拒答与“越低越好”的 ASR、Unsafety；若不保留方向，简单平均会制造误导。

7. 主结果矩阵一：同一数据上的八种偏好优化算法

下表是定稿表 4（PDF p.8），全部方法在 MM‑RLHF 训练集上训练；粗体为列最优。MathVista 中基线在前文附录表使用 60.10，定稿表 4 亦为 60.10。本表足以满足五基准×六方法以上的 head‑to‑head，但论文没有给标准差或显著性。

相对最强非 MM‑DPO 基线，MM‑DPO 在 OCRBench 为 69.30−66.50=+2.80 pp（相对 +4.21%），DocVQA 为 86.11−85.88=+0.23 pp（+0.27%），MathVista 为 61.60−61.10=+0.50 pp（+0.82%），MMHal 为 4.08−3.95=+0.13（+3.29%）；LLaVA‑Wild 与 LLaVA‑Critic并列。因为后四项中有三项绝对差不超过 0.5，所以没有方差时只能说“表中最优”，不能说统计显著胜出。

8. 主结果矩阵二：把数据贡献与算法贡献拆开

定稿表 5（PDF p.9）固定 DPO，只替换偏好数据，因而比图 1 更接近“数据集本身”的对照。

MM‑RLHF 在 5 列中赢 4 列；MathVista 反而落后 MPO‑Data 1.80 pp（相对 −2.84%）。因为 MPO‑Data 更偏数学，说明“高覆盖”并不替代领域密集数据；一个可复用策略是通用偏好池作为底座，再给关键领域做混合采样，而不是期待单一全能数据集统治所有列。

9. Reward 模型：内部 benchmark 很强，外部闭源差距仍大

9.1 RewardBench 完整矩阵

定稿表 2（PDF p.7），每格为 ACC/ACC+：

从 w/o enhanced 到 full，ACC+ 0.57→0.67，绝对 +0.10、相对 +17.54%；从 w/o Task 1 到 full 是 +0.17、相对 +34.00%。但 Safety 的 full ACC/ACC+ 为 .66/.17，反而低于 GPT‑4o 的 .72/.33；“总体超过 GPT‑4o”不能外推到每个类别。

9.2 跨模型对比

定稿表 3（PDF p.8）按 General/Hallucination/Reasoning 平均：MM‑Reward‑7B 为 45.04/50.45/57.55，Avg 50.15；最佳开源对照 InternVL2‑26B 为 39.30/36.90/60.80，Avg 45.67，因此平均 +4.48、相对 +9.81%。它也超过 GPT‑4o‑mini 的 44.80（+5.35，+11.94%），但低于 Claude‑3.5‑Sonnet 53.57、GPT‑4o 62.40、Gemini‑1.5‑Pro 62.50；相对 GPT‑4o 仍少 12.25 分 / 19.63%，相对 Gemini 少 12.35 / 19.76%（均为本报告复算）。

论文正文写“comparable to or exceeding GPT‑4o”，但同页表 3 的总体平均并不支持这句；较可能指自建 RewardBench 的特定列或另一评测设置。严谨读法应是：7B reward model 是表中最强开源平均，但没有在该外部矩阵上追平 GPT‑4o。

10. 安全收益、局部回退与完整性边界

附录表 9（PDF pp.26–27）显示 LLaVA‑OV‑7B 的 Safety average 75.8→85.4（+9.6 pp，+12.66% 相对），Unsafety 40.2→13.9（−26.3 pp，−65.42% 相对）。具体地，NSFW‑Text 60.4→10.6（−49.8 pp，−82.45%），NSFW‑Image 80.1→24.2（−55.9 pp，−69.79%），Multimodal ASR 41.2→8.3（−31.9 pp，−77.43%）。这些是论文最可信的大效应。

但安全不是单调改善：Risk 82→76（−6 pp），adversarial targeted 37→40（+3 pp，若为攻击成功则更差）。部分子集极小：cross‑model ASR 与 RtA 各 18 例（附录表 6，PDF pp.22–23），单个样本就等于 5.56 pp。因此聚合“安全 +60%”适合做方向摘要，不足以代表每个威胁模型。

主 benchmark 也有明确回退。附录表 8（PDF pp.24–25）中 LLaVA‑OV‑7B 的 MME‑RealWorld English 48.36→46.95（−1.41 pp）、Chinese 54.01→53.39（−0.62 pp）、RealWorldQA 66.41→65.75（−0.66 pp）、AI2D 81.41→81.22（−0.19 pp）、MathVista format 62.50→62.20（−0.30 pp）。所以“几乎所有 benchmark 提升”是总体趋势，不是逐格事实。

11. 逐层消融、超参敏感性与相变

11.1 Critique 的三层贡献

第一层，直接 pairwise LLaVA‑Critic ACC+ 只有 0.15；加入人类 critique 任务但去掉增强后为 0.57，表明“先解释再评分”可能是主要跃迁。第二层，GPT‑4o 扩写把 0.57 提至 0.67，说明扩写有增益，但无法区分是内容更完整还是风格更接近评测器。第三层，用 GT critique 推理达到 0.87，暴露出生成阶段 0.20 的绝对缺口。因为这三层并非完全同架构/同目标的单变量链，不能把全部差额相加当成独立贡献。

11.2 算法组件

MM‑DPO 相对普通 DPO 在五列均更高，但没有“只用 all pairs、不动态 $\beta$”与“只动态 $\beta$、仍只用 hardest pair”的全量正交表。Table 4 同时比较 beta‑DPO、SimPO、LLaVA‑Critic、MIA‑DPO、MPO，回答了“整体配方是否有竞争力”，没有完全回答“all‑pairs 与 Dynamic Reward Scaling 各自贡献多少”。

11.3 小模型自改进相变

论文最多从当前策略采样 8 个回答，再用 reward model 选择偏好对（§5.3 与附录分析）。小模型在难 MCQ 上常生成多个相同错误回答；若候选支持集不含正确解，再好的 RM 也无法创造正例。三阶段 LLaVA‑Critic 在 LLaVA‑Wild/MMHal 改善，却在 OCRBench 64.20、MathVista 58.74，分别低于 MM‑DPO 5.10 与 2.86 分（表 4，p.8）。这不是 RM 排序器的单点故障，而是 on‑policy 采样的“支持集相变”：生成质量低于阈值时，自训练只能选择不同程度的错。

11.4 $k,w$ 敏感性

附录图 12（PDF p.29）只提供曲线，论文结论是 $k,w$ 太大或太小均不理想，默认二者 0.5；未报告可逐格读取的精确分数、标准差、置信区间或相变阈值。因此可以推出动态范围需要约束，不能推出“0.5 是普适最优”或具体临界点。

12. 统计显著性与可复现性结论

主结果没有报告随机种子数、标准差、置信区间、显著性检验或多重比较校正。Table 4 中 +0.13、+0.23、+0.50 这种小差额可能落在普通训练噪声内；相反，Unsafety −26.3 pp、NSFW‑Text −49.8 pp 属大效应，即使没有误差条也更值得后续复现。

复现层面已有代码、模型和数据入口是优点；但存在四个断点：公开数据口径 29,997/20k/16.3k 不一致；训练成本只报 32×H800，未报时长；GPT‑4o 扩写和若干闭源回答源会随服务版本变化；OpenReview 审稿页当日无法直接读取。结论是“可以复用框架”，而不是“可一键复现全部表格”。

13. 相关工作链：解决什么—遗留什么—MM‑RLHF 如何回应

13.1 DPO：把 RLHF 变成分类，但默认每对证据同质

解决什么： DPO 从 KL 约束 RLHF 的最优策略形式导出成对 logistic 目标，省去显式 reward model 与在线 RL（NeurIPS 2023，公式 7）。遗留缺口： 标准形式固定 $\beta$，不区分多模态偏好对的置信度，也没有处理同一查询下 3–5 个回答的完整排序。MM‑RLHF 如何回应： 枚举所有不同排名对，以 Reward‑7B margin 生成有界 $\beta(\delta)$。设计传递： 保留 reference‑relative log‑ratio 的稳定骨架，只把实例级证据质量注入温度/间隔。

13.2 LLaVA‑RLHF / Fact‑RLHF：先证明多模态 RLHF 能减幻觉

解决什么： 以事实增强 reward 缓解视觉幻觉；论文报告在 LLaVA‑Bench 达到 text GPT‑4 的 94%，对照先前 87%，并在 MMHal 改善 60%（arXiv 2309.14525，摘要/主结果）。遗留缺口： 目标集中于事实性和幻觉，数据规模与任务覆盖不能回答 OCR、数学、视频与安全是否共同改善。MM‑RLHF 如何回应： 从五类 29,997 查询生成 120k 对，并在 10 维/27 benchmark 评测。设计传递： “事实性 reward”被扩展成 Helpful/Faithful/Ethical 三维人工理由。

13.3 VLFeedback：把规模做大，但由 AI 自己写偏好

解决什么： VLFeedback 提供 82k 多模态指令的 AI feedback，原论文报告 base model 在 perception 与 cognition 分别提升 6.9% 和 9.5%（EMNLP 2024 定稿摘要/主表）。遗留缺口： AI 标注与 judge 可能共享偏差；缺少专业人工细粒度理由。MM‑RLHF 如何回应： 50+ 人工标注者先提供分数、排名与理由，再限制 GPT‑4o 只做扩写。设计传递： 大规模多源回答池保留，但“谁定义偏好”从纯 AI 改为 human‑anchored、AI‑expanded。

13.4 LLaVA‑Critic：通用多模态裁判与迭代 DPO

解决什么： 把 LLaVA 训练成可点式/成对评估多模态回答的通用 critic，并可反复采样、筛选和 DPO。遗留缺口： critic 对训练分布过拟合；小模型若采不到正确回答，迭代筛选无解。MM‑RLHF 如何回应： 自建更广的人工 benchmark 与 critique reward；用离线人工排序避免完全依赖 on‑policy 候选。设计传递： 保留“批评作为中间推理”，但把它直接纳入联合训练目标。

13.5 RLAIF‑V：开放 AI feedback 的低成本路线

解决什么： 以开源 AI feedback 构造偏好，论文报告 7B 模型 object hallucination 降 80.7%、总体 hallucination 降 33.7%（arXiv 2405.17220，摘要）。遗留缺口： 仍偏重 hallucination，且 AI feedback 的错误可能自举。MM‑RLHF 如何回应： 以人工排序做锚，并把 safety/video/general/OCR/math 纳入覆盖。设计传递： 自动化 feedback 仍可用于扩写和扩规模，但不能替代高价值人工裁决。

非线性技术演进树

                         ┌─ Fact-RLHF / RLAIF-V ── 幻觉与事实性
SFT-only MLLM ──────────┤
                         ├─ VLFeedback ─────────── 大规模 AI 偏好
                         │
文本 RLHF ─ DPO ─────────┼─ MIA-DPO / MPO ─────── 多图、数学与混合目标
                         │
                         └─ LLaVA-Critic ───────── critic → 采样 → 迭代 DPO
                                      │
                                      ├── 小模型候选支持集不足（负反馈）
                                      │
人工细粒度排序 ─ critique learning ───┴── MM-RLHF
          │                              ├─ all ranked pairs
          └─ GPT-4o constrained expansion├─ reward-margin β(δ)
                                         └─ 10维 / 27 benchmark

演进动力经历三个转折：先从“会回答”转到“少幻觉”，再从单任务偏好转到通用评价器，最后从统一标量 reward 转到含解释、含置信度的实例级更新。MM‑RLHF 的转折不是取消人工，而是把人工用在定义偏好、把模型用在扩写与规模化；这也把新风险从“无人工监督”迁移成“闭源扩写器与自建 benchmark 的循环依赖”。

跨论文对标

14. 真正贡献、可复用设计与迁移潜力

真正贡献有三点。第一，29,997 查询的五类构成与排序理由，让多模态 preference 不再等于“哪个 caption 更像图”。第二，RewardBench 的 GT‑critique 对照把 critique 生成瓶颈量化出来；这比只宣称“可解释”更有研究价值。第三，Table 4 与 Table 5 分别固定数据、固定算法，至少初步分开“数据好”与“优化器好”。

最可复用的设计不是特定指数函数，而是三段协议：人类定义错误维度 → 模型生成结构化 critique → 校准后的 margin 控制更新强度。迁移到医学影像时可把三维扩成证据定位、临床正确性、风险等级；迁移到视频 Agent 时应改用时序 embedding 取代首帧聚类；迁移到端侧模型时，应把 reward 置信度与延迟/能耗约束共同纳入 pair weighting。

15. 论文自述限制

1. 高分辨率数据不足。 作者明确把 RealWorld/高分辨率增益有限归因于超高分辨率样本少，且采样按图像相似而非分辨率优化（§5.1，PDF pp.7–8）。
2. 细粒度标注未充分使用。 结论指出 per‑dimension scores 与 ranking rationales 在当前算法中仍被低利用，未来需更高级优化方法（§6，p.9）。
3. 人工扩规模成本。 作者承认人工标注昂贵，未来需半自动策略扩展数据（§2.3 与 §6，pp.4, 9）。

16. 独立批判：每点均给“证据→推论”

1. [数据版本] 因为定稿为 29,997 queries/120k pairs，README 为 20k/80k，HF viewer 约 16.3k rows，且没有阶段 manifest，所以无法确认公开训练集等于论文训练集，也无法复算“所有不同排名对”到底产生多少条有效样本。
2. [评测闭环] 因为 RewardBench 从 MM‑RLHF 每类抽 10 条、总计 170 对，而同源数据又训练 Reward‑7B，所以表 2 的 0.85/0.67 更能证明同生态适配，不能单独证明跨分布 reward 泛化。
3. [训练—推理错位] 因为评分头训练时看 GT critique，推理时看生成 critique，且 GT 推理令 ACC+ 0.67→0.87，所以约 0.20 的绝对缺口来自可观测 exposure gap；部署稳定性取决于 critique 生成而非单纯 reward head。
4. [教师/裁判依赖] 因为 GPT‑4o 扩写训练理由，并参与多项开放式 benchmark 评价，所以提升可能同时包含“更像 GPT‑4o 的批评风格”与真实人类偏好；没有换教师/换 judge 的 2×2 实验就不能分离。
5. [视频代表性] 因为 4,235 条视频在聚类时只用首帧，所以开头相似、后续事件完全不同的视频可能被视作同簇；因此“视频覆盖”不等于时序多样性覆盖。
6. [安全平均掩盖] 因为 Unsafety 大幅下降时 Risk 82→76、targeted attack 37→40，且两个 cross‑model 子集各仅 18 例，所以聚合安全收益不能外推到每个攻击族，尤其不能据此主张全面鲁棒。
7. [优化归因] 因为 MM‑DPO 同时采用 all‑pairs、reward‑margin 动态 $\beta$、模型特定 SFT 权重与 grid search，却缺完整正交消融，所以 Table 4 的优势不能唯一归因于 Dynamic Reward Scaling。
8. [统计证据] 因为主表没有 seeds、标准差、CI 或检验，而 MM‑DPO 相对次优在 DocVQA/MathVista/MMHal 仅 +0.23/+0.50/+0.13，所以这些小差额只证明单次表值领先，不能证明稳定 SOTA。

17. 开放挑战：写成可执行的 head‑to‑head 空白

理论

• 校准 margin vs 原始 margin： 在相同 query/pairs/seed 下比较原始 $\delta$、按任务做 temperature calibration 的 $\tilde\delta$、以及二元置信区间下界；横轴按 RM calibration error 分桶，纵轴报 win rate 与 KL。若校准版只在 OOD 赢，才能证明问题来自跨任务尺度。
• 动态 $\beta$ vs 显式样本权重： 比较 $\sigma(\beta_i z_i)$ 与 $a_i\log\sigma(\beta z_i)$，匹配平均梯度范数和 KL budget；这会检验论文所谓“loss weight”是否真等价于重要性加权。
• 相关 pair 的有效样本量： 固定 120k pair 数，比较来自更多 query 的 1 pair/query 与同一 query 的 all‑pairs；按 query cluster bootstrap 报 CI，测试多对扩张是否只是重复信息。

工程应用

• 全量可复现审计： 用定稿 29,997、README 20k、HF 16.3k 三个可获得版本分别训练，固定 32×H800 等效 token/GPU‑hour；若曲线不同，发布丢失的数据不是文档问题，而是结果复现变量。
• 等算力数据×算法 2×2： MM‑RLHF/最佳外部数据 × DPO/MM‑DPO，固定训练 token、搜索 trial 和 seed≥5；同时报告均值、95% CI、TTFT、GPU‑hour，分离数据质量与调参预算。
• 视频时序采样： 首帧 CLIP、均匀 8 帧 pooling、视频 encoder 三组保持 4,235 查询不变；在 temporal reasoning 与 static VQA 分开报告，直接验证首帧聚类的盲点。
• 安全尾部风险： 对每个攻击族至少 1,000 例，比较 base、DPO、MM‑DPO；同时报告 ASR、拒答误杀率、校准曲线和最坏组 CVaR，避免 Safety/Unsafety 双均值掩盖 Risk 回退。

新兴方向

• 可验证 critique： 让 critique 输出可定位图像区域/视频时间戳，再比较纯文本 critique、grounded critique 与无 critique；以删除对应证据后的 reward 变化测忠实性，而不是只看语言流畅度。
• 小模型候选支持集修复： 在相同 8 sample 预算下比较 best‑of‑8、检索增强候选、强教师注入 1 个候选、以及离线人工 pair；按“候选集是否含正确答案”分层，验证负自举的真正瓶颈。
• 多 reward 不确定性： 单 Reward‑7B 与 5 个异构 RM ensemble head‑to‑head；用 disagreement 控制 $\beta$，观察是否能减少 RealWorld/Risk 回退，而不牺牲对话收益。

18. 近期工作雷达

1. MIA‑DPO（ICLR 2025）：把 multi‑image augmented preference optimization 做成专门路线，报告 LLaVA‑v1.5 与 InternLM‑XC2.5 分别约 +3.0%/+4.3%；适合检验 MM‑RLHF “无专门多图数据也能提升”的可迁移性。
2. OPA‑DPO（CVPR 2025 Oral）：以 on‑policy correction 修复候选与策略分布错位，仅 4.8k 数据仍进一步降低 AMBER/Object‑Hal 幻觉；它正面回应 MM‑RLHF 小模型自采样支持集不足，但仍偏单一幻觉轴。
3. RLAIF‑V（CVPR 2025 Highlight）：开放 AI feedback 成本低、幻觉降幅大，是 MM‑RLHF 人工重路线最重要的成本对照；真正空白是等 GPU‑hour、等人工小时的 head‑to‑head。
4. SPA‑VL（CVPR 2025）：专门构建视觉语言安全偏好数据，适合作为 Risk/targeted attack 回退的补充域，而非被通用池取代。
5. LLaVA‑Critic（CVPR 2025）：将通用多模态评价器与迭代 DPO 连接起来；MM‑RLHF 的结果提醒，critic 再强也受候选支持集约束。
6. VLA‑Mark（EMNLP 2025）：把对齐/所有权问题推进到 vision‑language‑action 模型水印；说明多模态后训练的可信目标正从“回答安全”扩展到动作模型治理。
7. Looking Beyond Text（EMNLP 2025）：研究多模态证据在模型行为中的真实作用；可用于审计 MM‑RLHF 的 reward 是否真正依赖视觉，而不是批评文本模板。

19. 最终判断

MM‑RLHF 值得读，因为它把一个经常被拆散的问题做成了完整系统：什么数据值得标、如何把理由变成 reward、如何把 reward 差距变成 policy 更新强度、以及应该跨哪些维度验收。 表 4/5 说明数据和算法都有效，安全大效应尤其醒目；GT‑critique 消融则准确暴露了下一阶段瓶颈。

但它不是“多模态对齐已经全面解决”的证据。更稳妥的结论是：在人类锚定、任务覆盖较广的离线偏好数据上，MM‑DPO 能把对话、安全、OCR 等多个维度同时推高；高分辨率、部分风险族和数学专门域仍可能回退。若团队要复用，优先借鉴 细粒度人工协议 + critique/score 解耦 + margin 校准，并立即补做外部分布 RewardBench、版本 manifest、等算力 2×2 与多 seed 检验。

证据脚注。 本报告所有定量结论均来自实际读取的 ICML/PMLR 定稿 PDF 或逐篇相关论文；无法从图中精确读取的敏感性曲线没有补数。ml-report-index.md 已在本地追加本次记录；若持久索引同步失败，应以本报告为准重新追加。HTML 的交互图只重绘定稿表 3 的数值，不引入新数据。Warm Editorial 结构验证器已通过；本机有 Playwright 包但没有 /usr/bin/chromium、/opt/pw-browsers 或 Playwright 缓存浏览器，实际 launch 明确失败，故无法完成浅色/深色/移动端截图检查，未虚称通过；已保留响应式表格、主题 token、原生 MathML 与静态可访问性校验。