Daily Papers · 2026-09-04
📄 论文日报 | 来源：Hugging Face Daily Papers
🗓 Episode：2026.09.03 | 代码库蒸馏成AI技能；长视频世界模型可扩展
1. 从仓库到技能：将GitHub代码库蒸馏为AI4AI技能
- 英文标题：Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills
- arXiv：2609.02749v1
自主代理正开始端到端地开展机器学习（ML）研究。这些代理将模型骨干与规划、执行、记忆和验证的框架相结合，但这一架构仍将领域特定知识留在了代理之外。我们将这一缺失层称为操作知识，即区分“了解方法”与“使其奏效”的诀窍。这类知识并非在领域中缺失，而是存在于代码库和论文中，但以面向人类读者的形式呈现，且规模过大，无法在任务期间加载。一旦蒸馏为紧凑且经过验证的技能，这些知识便可在任务间复用，而非每次运行中重新发现。我们提出DisCo，一个以技能驱动的研究代理，它创建技能并在研究过程中使用这些技能。其蒸馏过程以两种互补形式运行：任务无关型，将领域广泛使用的代码库浓缩为可复用技能；以及任务导向型，生成具体任务所需的技能。前者应用于开放生态系统，产出AREX技能库，包含从1000个广泛使用的ML代码库中蒸馏出的5000多项已验证技能，并组织为20个领域和178个能力族。在GPT-5.5骨干、研究框架和下游执行预算保持固定的条件下，配备技能的研究代理在MLE-bench上得分高出134.3%，在PaperBench上高出34.4%，在FrontierCS上高出9.2%，在PassNet上高出14.0%，相较于无技能的同一代理。这些提升源于在该固定设置下添加蒸馏后的操作上下文。
2. SolarWM：面向长时程视频世界模型的开放数据与可扩展训练
- 英文标题：SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models
- arXiv：2609.02886v1
我们推出SolarWM，一个从数据准备到长时程推理的完全开放基础，用于构建交互式视频世界模型。跨异构数据源和视频骨干网络训练颇具挑战：数据集在时间尺度、相机几何、视觉质量、运动和字幕风格上各异，而视频生成器采用不同表示和架构。因此，朴素数据混合和特定模型实现会产生不一致的监督信号，使结果难以复现和比较。SolarWM通过可重构多源数据引擎和骨干原生适配框架解决这一耦合问题。该引擎将来自10个数据集的143万规范片段转换为统一的帧对齐契约，涵盖视觉观测、度量相机几何、字幕、质量元数据、选择决策和来源，同时将源处理与混合构建解耦。在共享相机条件、训练和推理接口下，我们基于Wan2.2、LTX-2.5和MiniMax-H3实例化了四个5B至33B模型，同时保留其原生表示和目标。统一的三阶段方案结合双向适配、教师强制自回归初始化和分布匹配蒸馏。所得因果模型在仅训练5秒序列后，即可实现从分钟到小时级展开的实时交互。通过发布所得数据、流程、方案、权重和框架，SolarWM为交互式世界模型研究提供了可复现且可扩展的基础。
3. EarlyEval：通过早期结果预测实现更廉价的智能体评估
- 英文标题：EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction
- arXiv：2609.02783v1
评估LLM智能体对其发展至关重要，但成本已变得过高：前沿模型在智能体基准上单次运行可能花费数百至数千美元，且在迭代开发周期中需反复支付。先前工作集中于基准蒸馏，减少了评估任务数量，但未降低每个保留任务的执行成本。本研究引入早期结果预测，作为补充效率维度，在任务内部削减成本。关键洞察是，智能体的最终结果往往在执行完成前从其中间行为中显而易见。我们据此实现EarlyEval，一个轻量框架，训练一对LightGBM成功与失败分类器，基于行为、文本和参考解特征，并在任一分类器跨越校准置信阈值时立即终止智能体运行，每步开销可忽略。在SWE-bench Verified、TerminalBench和Toolathlon三个基准上，EarlyEval可消除13%-26%的智能体步骤，最多减少44.1%输入令牌和29.4%输出令牌，预测准确率达89%-97%，同时平均仅将每个智能体的解决率扰动1-2个百分点。
4. 两相匹配：基于强化学习的生成式检索器协同进化
- 英文标题：It Takes Two to Match: Co-Evolving Generative Retriever with Reinforcement Learning
- arXiv：2609.00638v1
检索是现代搜索和广告系统的第一阶段，从大规模物品库中选择候选集供下游排序和拍卖使用。近期工作越来越多地利用大语言模型（LLM）通过查询扩展、数据合成和检索反馈训练来改进检索，但生成组件通常仅用于查询侧增强，最终匹配仍委托给下游检索器。我们提出CoGR，一种检索框架，它训练LLM直接在查询和物品两侧构建检索表示，每个生成器产生紧凑的关键词集，通过倒排索引直接匹配，保持与现有基于关键词的检索基础设施兼容。CoGR采用两阶段训练流程：监督微调首先建立对齐的关键词空间，随后协同进化强化学习通过GRPO交替优化查询侧和物品侧生成器，针对对侧冻结索引进行优化。两侧优化相同的查询到物品检索F1目标：查询侧直接接收检索F1，而物品侧接收反事实边际奖励，衡量其生成关键词引起的查询侧F1变化。在10个代表性的稀疏、密集和生成式基线中，CoGR在内部APP市场数据集和公开WANDS基准上均取得最佳性能，相比最强基线分别提升F1达10.9%和36.1%。进一步分析显示，训练过程中协同进化稳定，查询-物品关键词空间逐渐对齐。
5. 语言模型能够控制自身的注意力
- 英文标题：Language Models Can Control Their Own Attention
- arXiv：2609.02737v1
语言模型将大部分注意力集中在上下文的少数部分，却需读取整个KV缓存以找到关键标记。若用户在百万级令牌对话中询问先前细节，全局注意力层须扫描完整上下文以生成每个回复令牌。一种主流方法通过轻量级代理分数预选相关令牌来缓解此成本，但该外在评分仍每步产生O(N)开销。我们采取内在方法，源于一个简单问题：模型是否已自知哪些上下文部分相关？为此，我们引入声明式注意力（Declarative Attention, DA），一种协议，引导模型在思维链中声明其需关注的区域，将生成划分为三种模式：
6. 论像素文本表示学习的设计基础
- 英文标题：On the Design Fundamentals of Pixel Text Representation Learning
- arXiv：2609.01147v1
富含文本的视觉输入要求模型能够在像素空间中直接进行语言的阅读、检索与压缩，然而现有的像素文本编码器在固定分辨率预训练、视觉捷径学习、弱视觉锚定以及多语言视觉文本理解方面存在不足。本研究探讨了稳健视觉文本表示学习所需的基本设计原则。通过系统性受控消融实验，我们确定了四个关键组件：可变图像分辨率和渲染字体大小为高分辨率文档泛化提供空间代理；自然图像-文本对对于锚定不可或缺，并能防止纯文本崩溃；布局感知渲染有助于避免像素级捷径；两阶段多语言课程能够实现有效的跨语言对齐。将这些原则整合进可扩展的训练方案中，我们训练了Pixel Linguist II，这是一种原生分辨率视觉编码器，采用即时渲染、统一对比锚定及覆盖2.8亿训练样本的多语言课程进行训练。Pixel Linguist II在英语、跨语言和多语言Visual STS及ViDoRe基准上取得了新的最先进成果，同时提升了多模态大语言模型（MLLM）的下游评估性能。值得注意的是，Pixel Linguist II在80%视觉令牌压缩下仍保持稳健，展现出光学上下文压缩的巨大潜力。我们的代码和资源可在https://github.com/Pixel-Linguist/Pixel-Linguist-II获取。
7. 超越视觉相似性：面向知识型视觉问答的实体对齐检索
- 英文标题：Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
- arXiv：2608.21450v1
知识型视觉问答（KB-VQA）依赖检索外部信息来回答涉及长尾实体的问题。然而，现有检索流程主要采用CLIP风格的双编码器，优先考虑表面视觉相似性而非实体级语义对齐，这种范式在语义相同但视觉差异大或不同实体视觉相似时经常失效。为此，我们提出KBMR，首个专为KB-VQA设计的基于多模态大语言模型（MLLM）的嵌入检索器，利用MLLM强大的自回归能力将图像映射到能更好保留概念身份的语义空间。针对维基百科规模检索中的噪声监督挑战，我们引入基于MLLM的语义判别器生成连续实体一致性权重，指导新颖的连续语义蒸馏目标，实现有效硬负采样和超越刚性二值标签的软监督。大量实验表明，KBMR显著优于CLIP基线，检索Recall@1提升高达14.7%，端到端VQA准确率提升9.4%。代码见https://github.com/realHarryX/KBMR。
8. HarnessDev：大语言模型能否创建并演化自己的智能体执行框架？
- 英文标题：HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?
- arXiv：2609.01437v1
随着智能体从研究原型走向实际部署工具，其能力日益依赖于模型外部的执行基础设施，即智能体执行框架（agent harness）。在固定模型权重的情况下改变这一框架可显著影响任务性能。当前智能体评估通常报告在选定框架下的下游性能，而模型自身开发框架的能力则相对未被充分探索。我们引入HarnessDev基准，将评估单元从任务输出转向可运行的执行基础设施。HarnessDev涵盖两个阶段：在创建阶段，智能体从最小种子和少量案例出发，构建完整执行系统；在演化阶段，它从自身创建的框架开始，利用下游执行反馈迭代修订，以提升基准性能。随后，我们评估每个构建框架的能力（在保留基准上的任务成功率）和效率（执行令牌成本）。报告的创建结果涵盖六个创建者大语言模型、四个领域和五个下游基准，共计2,207个独特下游实例，且隐藏评估任务未参与开发。我们发现，生成的框架在代码、搜索和研究领域仍明显落后于成熟的人工工程参考，而在写作和机器学习实验领域则达到或超过所选参考，但执行成本差异较大。演化带来一定性能提升，但结果不稳定且仅部分转移到保留任务。固定运行时模型的实验进一步表明，这些提升强烈依赖于执行框架的模型，显示跨模型的迁移有限。
9. ZipTok3D：利用紧凑令牌前缀的高保真三维令牌化
- 英文标题：ZipTok3D: High-Fidelity 3D Tokenization with Compact Token Prefixes
- arXiv：2609.01740v1
紧凑的令牌序列对于高效的三维生成至关重要。然而，现有的三维令牌化器通常将潜在表示组织为空间区域或固定大小的全局令牌集合，在压缩至极低令牌预算时，两者均会出现严重的重建退化。本文提出ZipTok3D，一种专为从极短令牌序列进行高保真重建而设计的三维令牌化器。其核心思想是将对象几何结构组织为逐步信息丰富的全局令牌前缀，并通过迭代解码展开这些紧凑表示。具体而言，嵌套丢弃（nested dropout）在训练期间编码后随机截断潜在序列，并要求每个保留的前缀重建完整对象，从而将关键几何信息优先置于前导令牌中。解码器随后反复应用参数共享的Transformer块，从每个前缀恢复细粒度几何，无需独立的生成采样阶段。在相同令牌维度下，ZipTok3D在ShapeNet上仅使用一个令牌即可达到与32令牌COD-VAE基线相当的重建质量，在TRELLIS上使用四个令牌，分别实现了$32\times$和$8\times$更短的令牌序列。
10. Cliff：从第一个错误中学习过程奖励
- 英文标题：Cliff: Learning Process Rewards from the First Mistake
- arXiv：2609.02817v1
强化学习与可验证奖励（RLVR）已成为大语言模型（LLM）后训练的强大范式，但其对粗粒度结果奖励的依赖导致对中间推理过程的指导有限。现有方法如过程奖励建模和同策略蒸馏引入了额外约束，例如依赖专门奖励模型或假设师生推理模式相同。然而，我们观察到一旦推理过程首次出错，评估后续推理提供的信息有限，因为它已基于无效前缀。因此，我们提出Cliff，一种奖励塑形策略，利用现成LLM作为教师识别每次展开中的首个错误。这样，展开自然分为两部分：正确前缀和错误后缀。Cliff将此信号转换为令牌级优势，为正确前缀分配正优势，并在其后提供负反馈。在12种不同场景中的实验表明，Cliff持续提升推理性能，即使教师能力一般，也优于同策略蒸馏15%和标准GRPO 7%。此外，我们分析了“地面真值”在Cliff中的作用并研究其训练动态。这些结果确立了Cliff作为通过更丰富细粒度监督改进RLVR的简单、通用且有效的方法。
11. Aspire：模型能否从模糊目标中自我进化？
- 英文标题：Aspire: Can Models Self-Evolve from Vague Goals?
- arXiv：2608.31111v1
许多重要的人类学习形式始于模糊的目标，如“成为更好的物理学家”或“提升研究能力”。学习者必须解读目标、识别能力差距、决定如何学习，并判断是否真正进步。相比之下，现有关于大语言模型（LLM）自我进化的研究通常以人类指定的任务和评估指标为起点，将自我进化简化为优化明确目标，而非决定学什么和怎么学。我们引入ASPIRE，一个用于模糊目标驱动自我进化的基准测试。ASPIRE仅提供自然语言能力目标，而下游评估任务保持隐藏。智能体必须通过选择数据和更新方法、构建训练与验证信号，并决定何时评估来操作化该目标。ASPIRE在统一交互环境中支持模型权重和智能体框架（agent-harness）进化，并在涵盖六个目标的520项专家编写隐藏项目上评估所得系统。实验表明，模糊目标将搜索努力转向目标解读。当前智能体通常完成训练和框架编辑循环，但权重层面的收益稀疏且不稳定，最强进化框架仍低于工程化的Qwen-Agent参考。智能体常在不匹配的数据上训练，并依赖狭窄的自我评估，因此局部收益无法迁移到隐藏评估，持续搜索和训练可能抹除早期改进。
12. 影响导向蒸馏：解决采样词元在线策略蒸馏中的多样性瓶颈
- 英文标题：Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation
- arXiv：2608.29846
采样词元在线策略蒸馏（OPD）通过使用学生生成的词元高效地将能力从教师模型迁移至学生模型，仅需对采样词元获取教师概率。然而，它常遭遇多样性蒸馏失败：学生的pass@1提升，而pass@$k$停滞不前，未能继承教师的多样性。为解释此现象，我们引入一阶局部熵影响，这是一种带符号的一阶代理，将每次更新的熵效应分解为教师-学生对数概率差距和学生局部概率结构，并经验性地将熵收缩与负影响位置关联。基于此，我们提出影响导向自适应在线策略蒸馏（IDA-OPD）：它不依赖昂贵的全词汇前向KL目标，而是保留熵扩展更新，同时用发散自适应优势收缩替代熵收缩更新，仅使用教师的采样词元对数概率。在推理导向蒸馏实验表明，IDA-OPD持续提升pass@$k$，通过蒸馏继承教师多样性，以严格更低成本匹配最强教师知情方法，并广泛保持原始OPD的pass@1，且无需全词汇教师信息。
13. S3Gym：大语言模型能否将自我测试与自我评判转化为自我改进？
- 英文标题：S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement?
- arXiv：2608.31100
大语言模型（LLMs）日益与外部环境交互并积累大量行为经验，然而现有智能体基准大多将其作为固定策略进行评估。因此，尚不清楚智能体能否主动测试自身行为、评判所得经验，并利用这些经验改进未来决策。我们提出S³Gym，一个交互式基准，通过三种耦合能力评估LLM的自我改进：自我测试、自我评判和自我改进。S³Gym将宽松探索与严格留出评估分离，并在七个具有可执行环境验证器的基于文本的游戏中实例化该协议。我们评估了三种整合交互经验的路径：直接历史上下文学习、基于分数的摘要记忆和参数训练。实验揭示，自我改进既非自动也非统一；上下文级经验在多个模型-游戏组合中提升性能，但最有效路径强烈依赖任务结构：当经验可压缩为可复用策略规则时摘要有益，但当成功依赖精确的状态条件信息时，摘要往往不如原始历史。参数训练在某些任务上带来显著提升，但在其他任务上表现出不稳定改进和严重负迁移。这些发现表明，识别成功行为不足以保证改进；智能体还需将反馈转化为可执行且可迁移的策略。S³Gym为诊断这一过程及识别阻碍智能体将交互经验转化为可靠自我改进的瓶颈提供了统一框架。
14. 一瞥足矣：基于SimLoss的单遍细粒度图像描述
- 英文标题：A Glance Is All You Need: Single-Pass Fine-Grained Image Captioning with SimLoss
- arXiv：2609.00591
一图胜千言，但大多数图像描述模型仅用寥寥数语概括。现代视觉-语言模型能生成流畅的高层描述，却常遗漏使图像视觉具体的属性、数量、纹理、材质和空间关系。近期多阶段系统通过生成、分解、验证和重写恢复部分细节，但显著增加了推理延迟。我们提出SimLoss，一种无参考的嵌入空间目标，用于单遍细粒度图像描述。SimLoss通过InfoNCE对比损失训练视觉-语言模型，将其投影的隐藏状态表示与冻结图像嵌入对齐，在解码任何文本前提供密集视觉监督信号，且无需人工编写的细粒度描述或多阶段流程的伪描述。我们将其实现为SimLoss FFT（通过本地嵌入模型反向传播）和SimLoss GRPO（将该模型视为黑盒奖励）。与单遍、多阶段验证、奖励优化和感知感知基线相比，全可微微调变体SimLoss FFT达到最高精确度，几乎匹配多阶段方法的F1分数，同时保持单遍推理，运行速度约为多阶段流程的20倍。基于奖励的变体SimLoss GRPO获得最强召回率。这些结果表明，嵌入空间监督能在单遍描述器的延迟下恢复多阶段验证的质量。
15. VibeVoice-ASR-Streaming技术报告
- 英文标题：VibeVoice-ASR-Streaming Technical Report
- arXiv：2609.02812
传统的说话人属性语音识别系统将语音识别与说话人分离视为两个独立任务。近年来，端到端模型如VibeVoice-ASR已在一个模型中统一了这两项任务。然而，现有统一模型主要支持离线识别，难以满足实时语音助手和智能体的低延迟需求。为解决此问题，我们提出VibeVoice-ASR-Streaming，这是基于大语言模型（LLM）的端到端流式说话人属性语音识别方法之一。它交错处理固定大小音频块、少量前瞻音频及先前文本，使模型能在语音到达时即时生成“谁说了什么”，无需独立分离阶段。在转录准确性上，我们的7B模型在五个评估集上取得最低平均词错误率（WER）/字符错误率（CER）；在说话人属性上，它在13个评估设置中达到最佳或并列最佳12项。我们开源了1.5B和7B模型权重及推理代码。