HF论文周报 | 3月第二周：通用点云编码器登顶、异构Agent协同RL突破、实时长视频生成冲击速度天花板

扩散语言模型（DLMs）展现了自回归之外的独特优势——迭代精化、灵活引导和高效解码。但现有关键组件分散在各个 ad-hoc 代码库中，复现和对比极为困难。dLLM 围绕三个核心组件统一 DLM 开发管线：

(1) 训练模块：覆盖 Masked Diffusion 和 Block Diffusion 等主流目标，扩散逻辑与模型架构解耦，新变体只需最小改动；用户可直接复现和微调 LLaDA、Dream 等开源 DLM。(2) 推理模块：轻量抽象支持即插即用的推理算法（含高效解码优化），无需改动模型实现。(3) 评测模块：跨模型统一评测接口，可复现各模型官方结果。同时发布从 BERT 编码器或自回归 LM 转换为 DLM 的最小可复现配方及对应检查点。

dLLM 的意义在于：扩散语言模型正从各自为战走向标准化生态，就像 Hugging Face Transformers 为自回归模型做到的那样。这是 DLM 领域基础设施建设的里程碑。

人类处理复杂阅读任务时自然地提取关键节点、推断关系、构建结构——这种结构化过程是高质量理解的基础。Structure-of-Thought（SoT）是一种通用提示策略：指导模型在生成最终答案前，先将文本结构化为关键节点和关系，在 8 个主流文本处理任务和 3 个模型系列上一致显著提升性能。

基于此洞见，团队构建了 T2S-Bench——首个专门评测模型文本到结构能力的基准：1800 个样本，跨 6 个科学领域，32 种结构类型，覆盖 45 个主流模型。关键发现：45 个模型在多跳推理上平均准确率仅 52.1%，即使最先进模型的端到端提取节点准确率也只有 58.1%。

文本结构化能力是当前 LLM 的薄弱环节，SoT 和 T2S-Bench 提供了两条互补的提升路径：前者通过提示，后者通过微调数据。

LLM 在科学发现领域正快速扩展，但直接建模 P(假说|背景) 的训练面临根本障碍：从庞大知识库中检索和组合启发信息天然具有 O(N^k) 的组合复杂度，直接训练在数学上不可行。

MOOSE-Star 提出统一框架打破这一壁垒：通过分解生成过程，最优情况下将复杂度降至 O(N+k)，同时保持可扩展推理。框架支持两种互补训练策略——基于实例的 RL 与数据驱动的知识蒸馏——以及在 RLVR 设置下的融合。配套发布 TOMATO-Star 科学发现数据集和模型检查点。

这项工作为 AI 辅助科研开辟新方向：把生成式科学推理从纯推理阶段扩展到可系统训练优化的范式。

GPU Kernel 优化是深度学习基础设施的核心，需要深厚硬件知识。尽管 LLM 在通用编程上表现出色，现有方法在 CUDA Kernel 生成上仍无法与 torch.compile 竞争。CUDA Agent 是一个大规模 Agentic RL 系统，通过三个维度突破：

(1) 可扩展数据合成管线：生成广泛难度等级的训练问题，支持课程式 RL；(2) 技能增强 CUDA 开发环境：自动化验证和性能分析脚本提供可靠奖励信号，系统级隔离防止奖励作弊；(3) RL 算法稳定性：Actor/Critic 多阶段预热策略解决训练不稳定。

CUDA Agent 在 KernelBench 取得 SOTA：Level-1/2 的 100% 超越 torch.compile，Level-3 达 92%，在最难设置上超越 Claude Opus 4.5 和 Gemini 3 Pro 约 40%。这是 LLM 首次在此专业任务上实现系统性突破。

统一多模态模型（Bagel、OmniGen、Show-o 等）宣称「理解+生成一体化」带来双向互利，但生成能力是否真的提升了理解一直缺乏系统验证。UniG2U-Bench 构建了 7 大维度、30 个子任务的评测体系，严格将统一模型与其基础 VLM 配对比较。

三个核心发现：(1) 统一模型普遍不如基础 VLM，Generate-then-Answer 推理通常比直接推理更差；(2) 仅在空间智能、视觉错觉、多轮推理子任务中出现一致提升；(3) 具有相似推理结构的任务和共享架构的模型表现出相关的行为模式。

结论不是否定统一模型，而是指向更精细的训练策略需求：需要更多样化的训练数据和新范式，才能真正将生成能力转化为理解优势。

SWE Agent 的 RL 训练面临关键约束：缺乏大规模、可复现执行环境且测试套件可靠的任务集合。现有基准多针对 Python，规模有限。SWE-rebench V2 提出语言无关的自动化管线，从真实世界代码仓库大规模采集可执行 SWE 任务：

(1) 交互式安装 Agent合成仓库特定安装和测试流程；(2) LLM 集成过滤（ensemble of judges）消除不健全实例；(3) 自动适配多语言仓库，不依赖特定语言生态假设。

核心价值在于解决了 SWE Agent RL 训练的数据基础设施瓶颈，为多样化、大规模、跨语言的代码工程 Agent 训练提供了可扩展的数据供给。

原生多模态模型的设计空间仍然不透明——哪些架构和训练选择真正重要？来自 Meta FAIR 和 NYU（Yann LeCun 参与指导）的团队，在不依赖语言预训练的前提下，通过严格控制变量的从头预训练实验系统隔离核心因素。

四个关键发现：(1) RAE（Reconstruction Autoencoder）是最优统一视觉表征，同时擅长理解和生成；(2) 视觉和语言数据联合训练产生跨模态协同；(3) 世界建模能力从通用训练自然涌现，无需专项设计；(4) MoE 架构自然诱导模态专业化，通过 IsoFLOP 分析揭示视觉比语言需要更多数据的缩放不对称性。

这项工作提供了迄今最系统的多模态基础模型从头实验指导，回答了「为什么用 RAE」「为什么用 MoE」等关键设计问题。

当前 AI Agent 可以灵活调用工具执行复杂任务，但长期发展受限于缺乏技能的系统性积累和迁移。没有统一的技能管理机制，Agent 频繁「重新发明轮子」——在孤立场景中重新发现解决方案，而无法复用已有策略。

SkillNet 是一个开放基础设施，将 AI 技能组织在统一本体中：支持从异构来源创建技能、建立关系连接（相似性、组合、依赖），并进行五维评测（安全性、完整性、可执行性、可维护性、成本感知）。基础设施集成了超过 200,000 个技能的仓库、交互式平台和 Python 工具包。

在 ALFWorld、WebShop 和 ScienceWorld 上的实验表明，SkillNet 将平均奖励提升 40%、执行步数减少 30%。将技能从一次性工具升级为可演化、可组合的资产，为 Agent 从「临时经验」走向「持久掌握」奠定基础。

LLM 对齐越来越依赖基于 Rubric（评分标准）的评估来减轻表面偏见，但模型生成的 Rubric 与人类标准的对齐程度一直缺乏统一基准。RubricBench 填补这一空白：将「打出正确分数」与「生成对人类有意义的评分框架」这两个不同能力区分开来。

基准覆盖写作质量、代码正确性、推理链等多个维度的复杂生成任务，测试模型能否生成与人类评估者一致的评分标准。

随着 AI 评测越来越依赖 LLM-as-Judge，理解模型生成评估框架的质量与局限性变得尤为重要——对 RLHF 数据质量和 AI 对齐研究都有直接影响。

SWE-bench 的任务本质局限于单仓库内的函数级 Bug 修复。BeyondSWE 沿解决范围和知识范围两轴扩展，500 个实例覆盖四类设置：CrossRepo（跨仓库推理）、DomainFix（需领域专业知识的修复）、DepMigrate（依赖迁移）、Doc2Repo（从文档生成整库）。

即使最强前沿模型，成功率也低于 45%，且没有任何模型在所有任务类型上一致表现良好。搜索增强框架 SearchSWE 在某些任务上甚至降低性能。真实工程场景的多样性远超当前基准覆盖范围。