Daily Papers · 2026-09-05

📄 论文日报 | 来源：Hugging Face Daily Papers
🗓 Episode：2026.09.04 | 终端环境可由轨迹重建；模型后训练需审慎迁移

1. 终端宇宙：将智能体轨迹转化为可扩展的终端环境

  • 英文标题：Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments
  • arXiv：2609.04148v1

随着基于终端的代码智能体日益普及，智能体轨迹已大规模积累，而真实可执行的环境仍然稀缺。然而，环境正是智能体后训练实际所需的：每个环境可被反复查询以生成多种可验证任务，并提供执行反馈，而轨迹仅是单一的冻结演示。我们观察到，现有轨迹中的工具执行历史揭示了其运行环境的结构和内容，因此无需从零生成环境，即可从轨迹本身重建这些环境。为此，我们提出终端宇宙（Terminal-Universe），一个将每条轨迹转化为可复用环境并探索其以合成新任务和持续交互的框架。具体而言，终端宇宙重放轨迹中记录的文件操作，在智能体修改前恢复每个文件，从而生成部分工作区；随后由补全智能体补充缺失文件和依赖。在此恢复的工作区上，我们既重建原始意图任务，也合成全新任务。此外，我们沿两个互补维度扩展任务：广度和深度。广度上，我们挖掘相关环境间的方向性依赖关系，并合成跨多个代码库的工作区查询，模拟开发者日常实践；深度上，我们将初始单轮查询扩展为多轮会话，通过用户智能体捕捉迭代式用户反馈和需求细化。应用于公开终端智能体轨迹后，终端宇宙生成37.3k个任务充分的环境。在此语料上对Qwen3.5-27B进行监督微调，使Terminal-Bench 2.1上的单轮性能提升11.9个百分点，EvoCode-Bench v2 MT@4上的多轮性能提升13.8个百分点。

2. 知道何时不该复用：自主大语言模型后训练中的条件经验迁移

  • 英文标题：Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training
  • arXiv：2608.26730v1

大型语言模型具备广泛能力，但将其适配到不断演变的领域、工具和需求通常需要重复的后训练。自主系统通过提出更新、训练候选模型并利用评估反馈选择后续提案来自动化此过程的部分环节。随着证据积累，一个核心问题浮现：在后续训练改变了父模型后，哪些过去的更新证据仍然有效？更新的效果取决于其父模型、数据和训练阶段，将过去的成功视为无上下文的许可可能浪费计算资源，若生成的子模型被提升，还可能恶化后续训练轨迹。我们将此问题定义为条件经验迁移，并引入边界校准干预迁移（BCIT）方法，该方法在权重改变训练前授权经验重用。BCIT将观察到的效果绑定到其源上下文，检查适用条件，否决具有命名硬冲突的候选，并在需要时通过有界训练试验获取当前状态证据。完全训练的候选仍面临共享采纳规则，仅观察事件扩展记忆。在一个跨金融推理、文本到SQL和函数调用适配的4B模型上，候选更新在评估上下文中表现出异质的目标和保留效果。在匹配候选、证据和计算条件下，BCIT授权较少有害更新，并在等预算下实现比评估替代方案更高的最终模型质量。这些结果支持将经验授权视为自主后训练中的一个独立问题。

3. LLaDA-Image：以完全开放的训练配方构建强大图像生成器

  • 英文标题：LLaDA-Image: Building Strong Image Generators with Fully Open Training Recipes
  • arXiv：2609.03796v1

我们推出了LLaDA-Image，一个统一框架，将从头训练的6B扩散变换器（DiT）与基于LLaDA2.0-Mini扩散语言模型骨干的冻结视觉-语言理解模块相结合。我们不从一开始就重度依赖成对的图像-文本数据，而是先通过仅图像预训练和中期训练构建强大的视觉生成先验。生成流程包含2.2亿个样本，其中98个为真实图像。为实现高效可扩展优化，我们在DiT中全程使用无参数RMSNorm和Muon优化器。该统一模型能生成高度逼真的图像，同时准确遵循细粒度编辑指令。我们进一步将LLaDA-Image蒸馏为LLaDA-Image-Turbo，支持2-4步采样快速推理。在Qwen-Image-Bench上，LLaDA-Image在英文和中文赛道分别取得53.53和53.38的总分，在这两个赛道均创下开源模型的新纪录。为支持高效生成模型的进一步研究，我们发布了模型权重、训练代码和详细配方。

4. LatentPress：超越文本与视觉的上下文压缩

  • 英文标题：LatentPress: Context Compression Beyond Text and Vision
  • arXiv：2609.01507v2

压缩上下文通常以人类可读文本或需解码的渲染图像形式承载，即便其消费方是语言模型。我们提出LatentPress，将对话历史与长文档写入第三种表示：连续记忆令牌（continuous memory tokens），冻结的解码器通过其输入嵌入接口直接读取，推理时无需文本重建。一个小型阅读器匹配写入器实现4-16倍压缩，仅训练适配器（4.2M-26.2M参数，约为解码器的0.1%）。在LongMemEval上，LatentPress在7.70倍压缩下达到0.504准确率，优于未压缩证据的0.490，并超越文本摘要（0.184）和基于OCR的压缩（0.426至0.312）。在LongBench-QA上，域内写入器在4-8倍压缩下匹配或超越原始上下文阅读，而16倍时略逊。写入每对话耗时43毫秒，比文本摘要或OCR重建快约一个数量级，读取比原始上下文或缓存OCR快5-9倍。我们在两种迁移设置下验证该接口，从UltraChat零样本迁移至LongMemEval记忆问答，以及从LongMemEval派生问答迁移至未见LongBench文档域，确立直接软令牌作为超越文本与视觉的实用机器面向上下文接口。实验实现见：https://github.com/HJSang/LatentPress 。

5. 通过训练进行编译：将自然语言规范转化为本地神经函数

  • 英文标题：Compile by Training: Turning Natural-Language Specifications into Local Neural Functions
  • arXiv：2609.04199v1

许多重复出现的文本功能易于描述，但难以用规则实现，而对每个输入调用大型远程模型则会带来重复成本、延迟及对供应商的依赖。我们提出“通过训练进行编译”，将自然语言规范转化为可复用的神经函数。在编译时，教师模型生成任务特定示例，用于训练紧凑解释器的小型适配器。所得函数无需教师即可运行，并可像普通软件一样存储、版本化及组合。在FuzzyBench-Hard上（Program-as-Weights快速编译器未产生任何精确匹配的子集），通过训练进行编译达到83.6%的语义准确率。这一更高准确率伴随更高的编译时成本：大约一分钟而非快速编译器的几秒。我们将编译器部署在公共交互服务中，并在多站点网站助手、语言控制的3D化身及双向英语-Claudish翻译器中展示了编译函数。

6. 随机注意力：重新思考面向高效推理的KV缓存淘汰

  • 英文标题：Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
  • arXiv：2609.03430v1

大型语言模型在需要扩展推理的任务上表现出色，但长思维链使KV缓存成为严重的内存瓶颈。现有KV缓存压缩方法遵循同一范式：通过估计每个缓存token未来重要性的分数进行排序，并保留得分最高的部分。我们证明选择信号几乎无贡献。随机注意力保留提示并均匀随机淘汰每个注意力头内的token，不计算任何分数；在四个模型和六个推理任务中，它匹配最强先验淘汰器的性能，同时在vLLM部署中吞吐量高出32-43%。受控实验解释这一现象：1) 提示是缓存中最脆弱的部分，选择器间的差距大多源于其选择信号是否恰好保留提示；2) 推理轨迹通过两层冗余自我保护免受淘汰——文本层面（模型工作时重述所需内容）和跨注意力头层面（每个头保留轨迹副本），因此一旦提示安全，随机抽取足以保留模型所需副本，无需分数选择。我们的代码公开于https://github.com/SalesforceAIResearch/Random-Attention。

7. 为什么门控DeltaNet能在4比特量化下存活：面向混合27B大语言模型循环半部分的NVFP4 W4A4量化

  • 英文标题：Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM
  • arXiv：2609.04098v1

混合大语言模型将softmax注意力与线性注意力层（如门控DeltaNet，GDN）配对，其循环状态以固定大小总结上下文。早期社区对Qwen3.8-27B（48个GDN层，16个注意力层）的4比特量化将GDN块保留在8或16比特精度——尤其是其衰减和写入强度门——基于循环中误差会在长上下文中累积的直觉。我们通过构建Minima来测试该直觉：对所有496个线性层（包括GDN）应用NVFP4 W4A4量化。在4K/32K困惑度、MMLU-Pro、GSM8K、AIME’25、GPQA-Diamond、LiveCodeBench及RULER检索至64K的评估中，Minima在种子噪声范围内匹配BF16（5任务平均差异-0.52），同时是最小（17.5 GiB）且预填充最快（+14-19%）的方案，其32K困惑度差距随位置缩小。四部分机制研究解释了原因：（i）NVFP4的16元素块缩放局部化残差流的极端异常值，均衡各层角色的激活误差；（ii）看似脆弱的门投影最不敏感——softplus/指数和sigmoid参数化将约11%的GEMM误差压缩至约2%的输出误差；（iii）delta规则循环在32K令牌上保持注入噪声的平坦平台，并在数百步内遗忘状态脉冲，因为每次写入沿当前键方向覆盖状态；（iv）每令牌量化成本随上下文消散而非累积。我们还修复了当按模块校准的NVFP4检查点由融合模块为单个GEMM的内核服务时出现的全局尺度不匹配，并展示校准的FP8 KV缓存尺度无性能损失。结果：一个实用方案——量化一切，携带KV尺度——以及混合大语言模型循环半部分为何易于量化的机制解释。检查点：https://huggingface.co/minima-ai/mnma_qwen3.8_27b_nvfp4

8. 重新思考大语言模型的同策略蒸馏（二）：一个训练示例

  • 英文标题：Rethinking On-Policy Distillation of Large Language Models II: One Training Example
  • arXiv：2609.04172v1

同策略蒸馏（OPD）结合了学生生成的轨迹与教师提供的密集词级监督。现有研究主要关注其算法行为，而训练数据的作用尚不明确。我们通过在单一查询上训练，在数据最小极限下考察了这一作用。单次OPD在数百步内持续改进，并恢复了跨任务领域和模型族中全数据OPD的大部分收益。我们通过训练期间访问的状态以及学生与教师对齐的速率来解释这一结果。我们测量状态覆盖率，即全数据OPD访问的状态中查询集轨迹所达到的比例。单一查询已达到71.5%，大部分在前100步内实现。添加语义不同的查询会同时提高覆盖率和验证准确率，直到16个查询达到98.9%并匹配全数据训练。然而，无论OPD在单查询还是整个数据集上训练，对齐速度都相似地减慢，即使固定状态集也需要数百步才能吸收。因此，OPD数据过饱和但算法饥饿。其轨迹快速暴露广泛监督，而学生吸收该监督的速度越来越慢。状态覆盖率结果扩展到多教师OPD，其中每领域16个语义多样查询匹配全数据MOPD。作为进一步压力测试，内容稀疏模板和域外WildChat查询也接近真实查询基线。任务内容和诱导状态覆盖率因此可以分离。我们希望这些发现引导未来工作关注OPD的步效率，并促使重新审视其在前沿后训练中近期成功背后的数据和机制。

9. Puffin-World：以原生3D世界状态扩展统一多模态模型

  • 英文标题：Puffin-World: Scaling a Unified Multimodal Model with Native 3D World States
  • arXiv：2609.04196v1

我们提出Puffin-World，一种统一的多模态架构，无需依赖外部离线模块即可整合物理理解、空间模拟以及3D世界生成与重建。为可靠构建和交互3D世界，我们的框架联合建模三种原生世界状态：物理（重力场和纬度）、几何（深度）和外观（图像），并配以统一的Omni-Camera表示，支持多样任务和灵活运动。除建模这些状态外，我们引入一种跨未来帧传播物理动态的策略。通过将绝对相机属性锚定于真实世界，Puffin-World实现物理一致且视觉稳定的世界生成。我们进一步在单一生成过程中耦合外观与几何，联合合成每个未来视图并重建其底层几何。这一统一范式支持跨多任务协同的交错闭环应用，包括模仿和自校准世界探索。为将Puffin-World扩展至复杂场景，我们构建了Puffin-16M，包含1500万个视觉-语言-相机三元组和100万条具有多样挑战性运动的轨迹。为促进该领域进一步研究，我们发布了代码、模型和数据集。

10. Scal3R：学习高效多相对位姿查询以实现可扩展的在线三维重建

  • 英文标题：Scal3R: Learning Efficient Multi-Relative Pose Query for Scalable Online 3D Reconstruction
  • arXiv：2609.04201

在线三维重建模型在长视频上表现不佳，这是因为相对于固定首帧锚点回归位姿迫使模型外推远超训练分布，小漂移累积并放大为显著的几何崩溃。然而，我们观察到逐帧深度在此失败过程中保持稳定，骨干网络的局部几何完好，仅全局位姿头失效。受此解耦启发，我们提出Scal3R，将在线重建重构为多参考相对位姿查询，使用轻量级可学习标记（约占参数1%）通过非对称注意力注入完全冻结的骨干网络，查询相对于多个过去关键帧的位姿，并配合带闭环的在线位姿图优化系统抑制长程漂移。Scal3R在单GPU上8小时收敛，在KITTI上相比在线基线平均ATE降低超60%，并在Virtual KITTI、Sintel、TUM-Dynamic、ScanNet和7-Scenes上达到最先进性能。项目页面：此https URL。

11. 可编辑视觉设计

  • 英文标题：Editable Visual Design
  • arXiv：2609.04034v1

扩散基础模型（如GPT-Image-2和Nano-Banana）虽展现出卓越的视觉表现力，但其端到端生成本质上产生扁平位图，文字易出错，且无法进行分层后期编辑。相反，基于代码的视觉生成通过编码代理提供精确布局控制和分离图层，却受限于缺乏全局美学直觉及复杂视觉资产编码难度。为此，我们提出可编辑视觉设计，一种由编码代理驱动的新范式。我们将视觉语言模型（VLM）指定为“创意大脑”，负责需求理解、任务规划和美学判断，同时利用图像生成模型作为按需的“视觉世界模拟器”来合成独立视觉资产。在“先想象后行动”的闭环工作流下，代理生成孤立资产、编写原生HTML/CSS，并根据视觉渲染反馈迭代优化设计。此外，代理设计回放忠实再现专业人类设计师的创意与推理轨迹。最终，系统交付具有分离图层和真实文本的可编辑产物，使用户能在图形界面上进行直观鼠标拖拽和布局调整。在海报、信息图等场景验证表明，该范式成功实现精细美学与生产级可编辑性的统一。

12. 缺失的时间链接：用于脚本驱动的音视频生成的时间上下文路由

  • 英文标题：The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
  • arXiv：2609.02367

联合音视频生成模型在视觉质量和音视频同步方面取得了显著进展，但对镜头切换和对话发声的时间控制仍有限。这一限制制约了其在脚本驱动内容创作中的应用，因为时间误差会破坏叙事连贯性和观看体验。现有联合生成器将视频和音频表示对齐到共享时间轴上，但结构化提示中指定的镜头和对话精确时间仅编码在提示的文本表示中，未与任一模态的时间坐标对齐。因此，视频和音频可能彼此同步，却都未能遵循脚本时间线。这种不匹配促使我们将时间对齐扩展到视频和音频之外，纳入结构化脚本。为此，我们引入时间上下文路由（Temporal Context Routing, TCR），将脚本时间映射到视频和音频生成的共享时间轴上，并将每个提示的指导路由到两种模态的对应位置。在200个测试脚本上，与基线相比，TCR将镜头边界平均绝对误差（Shot Boundary MAE）从1.11秒降低96%至0.042秒，并将对话准确率（Dialogue Acc@0.5s）从28.3%提升至84.1%。TCR在保持与基线相当的视觉质量和音视频同步的同时实现了这些改进。用户研究进一步表明，参与者在所有五个评估维度上均偏好TCR。

13. 超越检索：用于流式视频理解的渐进式潜在记忆演化

  • 英文标题：Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding
  • arXiv：2609.04131v1

流式视频理解要求多模态大语言模型（MLLMs）在严格因果性和有限内存条件下处理连续视觉输入并响应用户查询。现有方法通常将历史观测压缩到外部记忆库中，并检索与查询相关的证据作为额外视觉上下文。尽管有效，这种存储-检索范式将历史证据保留为外部视觉上下文，阻碍其被内化为紧凑、演化的潜在记忆以持续指导流式推理。为弥合这一差距，我们提出LatentStream，一种渐进式潜在工作记忆框架，将流式记忆从存储-检索转变为检索-内化。具体而言，LatentStream包含三个协调组件：首先，查询无关的分层流式记忆通过Jenks引导的自适应整合在固定记忆预算下将视觉历史组织为短期、中期和长期层级；一旦查询到达，分层潜在记忆演化赋予潜在记忆令牌组逐步扩展的记忆感受野，使其能够迭代检索相应范围内的历史证据并将其内化为紧凑的固定长度潜在记忆；最后，渐进置信引导的潜在记忆优化从组级预测熵构建分层进展奖励，并联合细化潜在记忆令牌和检索证据，促进日益自信的流式推理。大量实验表明，LatentStream在现有在线和离线视频基准上取得了新的最先进结果。

14. CORE：通过重排序器蒸馏提升多模态大语言模型嵌入的组合推理

  • 英文标题：CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation
  • arXiv：2609.04083v1

基于MLLM的嵌入模型在组合检索中仍存在局限，常难以区分包含相同概念但属性-对象绑定不同的场景。然而，同一骨干网络在用作交叉注意力重排序器时能解决此类区分，这促使我们将重排序器的组合判断蒸馏到嵌入模型中。我们提出CORE，该方法合成覆盖五个组合匹配级别的候选列表，并引入Rank-KL目标，训练嵌入模型以复现重排序器的细粒度排序。我们进一步引入分级评估协议，并在相同数据和调优预算下比较对比学习、成对CoSENT和列表式Rank-KL。比较显示，CoSENT和Rank-KL比对比学习更有效地利用多级监督，其中Rank-KL整体性能最强。在三个组合推理基准（COLA、SUGARCREPE++、NEGBENCH）上，CORE-RERANKER-8B达到82.7%的总平均值，优于Jina-Reranker 10.7个百分点，而CORE-EMBED-8B在所有评估嵌入模型中取得最佳总平均值（0.666）。这些改进可迁移至MCMR基准，且不牺牲COCO和Flickr30K上的检索性能。

15. RealSWE：真实用户请求下编码智能体的组合式评估

  • 英文标题：RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests
  • arXiv：2608.27831v2

编码智能体现在通常在SWE-bench系列基准上进行评估，这些基准的任务源自精选的GitHub问题：长篇幅、结构化且信息丰富。然而，真实用户请求通常要短得多且结构松散。为刻画这一差距，我们定义了一个六类信息分类法和四个语言风格维度，并将其应用于SWE-chat的真实用户提示和SWE-bench Verified及Pro的问题陈述。我们发现，仅携带问题陈述（单独或附带有限上下文）的请求占真实提示的88%，但在基准问题中仅占7%。此外，87%的真实提示为随意书写，而94%的基准问题为正式风格。基于这些观察，我们引入RealSWE，即源自SWE-bench Verified和Pro的381个多变体任务族。每个族内的变体共享相同的底层任务和黄金补丁，仅在信息构成和语言风格上有所不同。使用RealSWE评估七个当代LLM，我们发现：i) 真实输入平均将解决率降低6.4个百分点，并可能改变模型排名。受控分析进一步表明：ii) 包含期望行为和动机显著影响性能，而环境信息和复现步骤仅增加标记而无实际收益；iii) 语言风格仅有微小且依赖模型的影响。这些发现为用户和智能体提供了可操作指导：明确陈述期望行为和动机（大多数真实提示所省略的）能大幅提升LLM的软件工程性能。

Daily Papers
Daily Papers · 2026-09-05
https://www.jzzzhang35.top/2026/09/05/daily-papers-2026-09-05/
作者
zjz
发布于
2026年9月5日
许可协议