Daily Papers · 2026-09-03
📄 论文日报 | 来源：Hugging Face Daily Papers
🗓 Episode：2026.09.02 | 学生模拟器实现因材施教；自动驾驶模型融合感知规划。
1. StudentSim：训练基于大语言模型的学生模拟器
- 英文标题：StudentSim: Training LLM-based Student Simulators
- arXiv：2609.01591v1
AI辅导系统在适应每位学生的优势、劣势及偏好指导时最为有效，但关于何种指导对哪类学生有效的证据稀缺、获取缓慢且成本高昂，难以从真实学习者中收集。学生模拟器可作为代理提供此类信号，但现有方法存在局限：状态追踪模型能拟合学生行为却难以处理解释或纠正，而大语言模型角色扮演虽能流畅遵循指导却无法可靠匹配被模仿学生的能力水平。我们提出StudentSim，一种训练框架，通过池化训练后逐学生特化，将稀疏的个体数据转化为个性化模拟器，所得模拟器既能反映学生自身回应，也能在导师指导下更新这些回应。我们还引入StudentSimEval，一种标准化协议，覆盖国际象棋、第二语言英语写作和数学三个领域的60名学生，使用公开学习者数据集并共享去标识化记录以供研究。StudentSimEval测量行为保真度（F），即模拟器匹配学生回应的程度，以及指导响应性（R），即其在导师指导下更新的容易程度，所有方法均在同一记录上拟合和评估。在全部三个领域中，StudentSim在两个指标上均优于GPT-5.4。在国际象棋中，StudentSim达到F=0.51和R=0.91，而GPT-5.4为0.23和0.72，Maia2为0.45和0.27。作为概念验证，将StudentSim用作导师强化学习的奖励模型，产生了一位国际象棋导师，专家人类评价其比无强化学习基线和针对GPT-5.4模拟器奖励训练的导师更准确、指导更好且更个性化。代码可在https://github.com/microsoft/StudentSim获取。
2. Qwen-Drive-1.0：迈向自动驾驶视觉语言基础模型的第一步
- 英文标题：Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
- arXiv：2609.00111v1
我们提出Qwen-Drive-1.0，这是迈向自动驾驶视觉语言基础模型的第一步。Qwen-Drive-1.0保留了预训练视觉语言模型（VLM）的架构，并在统一框架内整合了3D感知、视觉问答和运动规划。一个外部鸟瞰图（BEV）感知头联合执行3D物体检测、语义占用预测和BEV地图分割，作为共享表示中可访问3D信息的探针，并提供对3D场景结构的显式、可检查接口。规划专家基于共享VLM表示生成未来自我轨迹。分阶段训练方案结合驾驶监督与通用视觉语言数据，以获取驾驶特定能力，同时帮助保持广泛的视觉理解和指令跟随能力。实验表明，在保持通用视觉语言能力的同时，展现出强大的3D感知和驾驶场景理解能力。跨开环、伪闭环和闭环设置的综合评估进一步显示了高度竞争力的运动规划性能。
3. SMELT：计算匹配的MoE循环Transformer的缩放定律
- 英文标题：SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
- arXiv：2609.01343v1
循环Transformer通过迭代共享层块来增加有效深度，但大多数评估在固定模型规模下进行比较，混淆了架构优势与额外FLOPs。我们研究在混合专家Transformer上的循环，同时紧密匹配每令牌FLOPs、总非嵌入参数和KV缓存。通过一系列消融实验，我们提出一种称为SMELT（稀疏MoE Transformer，中间层循环两次）的方法，该方法将中间一半层循环两次，同时在所有三个预算上匹配未循环基线。我们将SMELT扩展到四种规模，最大达540亿非嵌入参数，并为每种架构拟合独立的Chinchilla风格缩放定律。SMELT的损失随计算量下降更快，在计算最优前沿节省6.8%至18.0%的训练FLOPs。该优势在超出验证损失预测的下游基准上得以转移，在代码任务上最大，并随样本长度和上下文示例数量增长。机制分析表明，第二次访问减少了注意力汇聚，并将质量重定向到内容相关令牌，这种归纳偏差可能是观察到的性能提升的基础。这些结果表明，即使在预算匹配下，循环也能改善Transformer，提供了一种将深度重用转化为可衡量收益的实用方法。
4. UI-Venus-2技术报告
- 英文标题：UI-Venus-2 Technical Report
- arXiv：2609.00028v1
多模态GUI智能体已成为数字任务自动化的有前景范式，但从面向基准的模型转向可靠的真实世界应用仍面临挑战，原因在于环境覆盖有限、任务构建脆弱以及奖励验证不可靠。本文提出UI-Venus-2，一种通用基础GUI智能体，通过统一闭环推理-行动框架，在移动、网页和桌面环境中运行。为弥合实际部署差距，我们联合扩展三个关键维度：（1）环境，覆盖超过170个多语言移动应用及原生桌面操作系统；（2）任务，采用深度研究流程生成基于功能的指令；（3）验证，采用轨迹级和样本级评估器，结合视觉关键点与多模型投票，确保训练中强化学习信号的可靠性。此外，我们集成安全感知机制，以控制关键操作的执行。通过提供能力强大、高效且开源的基础，UI-Venus-2推动该领域向更通用、可验证且自反思的智能体发展，以服务于真实应用。
5. ZimaBlue：通过可扩展视频预训练演化可泛化的世界动作模型
- 英文标题：ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training
- arXiv：2609.00188
机器人操作面临一个根本性的扩展挑战：稳健泛化需要广泛的物理经验，然而带有动作标签的机器人轨迹采集成本高昂且多样性固有受限。第一视角视频提供了一种更具可扩展性的具身经验来源，捕捉了多样环境中的物体交互、接触动力学、工具使用和长程行为。核心挑战在于如何将这种丰富但无动作标签的经验转化为有效的机器人控制。我们提出ZimaBlue，一个从大规模视频中学习可泛化世界动作模型（WAMs）的可扩展框架。ZimaBlue采用三阶段训练课程：首先在大规模人类和机器人第一视角视频上进行因果具身视频预训练，然后通过统一动作表示的视频-动作中间训练，将学习到的视觉动力学锚定到异构机器人轨迹中，最后针对目标机器人进行专门化以适应部署。为使生成式WAMs适用于实时控制，ZimaBlue进一步采用异步慢-快双系统架构，其中高容量慢世界模型提供可泛化的时空表示，轻量快分支在NVIDIA RTX 4090上实现30 Hz动作预测。在真实机器人零样本评估中，从仅目标机器人数据扩展到超过12万小时的具身视频，成功率从36.1%提升至77.8%。ZimaBlue在多个基准测试中表现强劲，尤其在未见任务上增益显著。
6. H3-World：将语言理解转化为世界控制
- 英文标题：H3-World: Turning Language Understanding into World Control
- arXiv：2609.01560
我们提出H3-World，一个高效框架，将33B MiniMax-H3视频生成器转化为交互式世界模型。关键发现是，随着大型视频生成器能力增强，语言正成为自然的控制接口。例如，MiniMax-H3已支持通过自然语言指令对角色行为和相机运动进行零样本控制。在此基础上，H3-World将这种粗略的语言接口转化为精确、时间锚定的世界控制，无需引入专用动作模块。具体而言，我们将每个动作表示为角色和相机指令的结构化组合，并将其与对应的时间视频潜变量对齐。为实现时间精确控制，我们进一步引入时间注意力路由，限制每条指令作用于其预期时间区间，减少动作间控制泄漏。重要的是，H3-World直接复用大规模视频预训练中学到的语义表示，仅需轻量适配。仅用8000个游戏样本、10000步LoRA优化和0.199%可训练参数，H3-World即实现有效角色和相机控制，同时保持强生成质量，并泛化至未见场景。这些结果表明，大型视频生成器中涌现的控制能力可高效转化为交互式世界控制。
7. Hi-Q：层次化证据引导的多跳问答查询细化
- 英文标题：Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering
- arXiv：2608.30468
多跳问答（multi-hop QA）的核心瓶颈在于问题的表达粒度与语料证据的可检索粒度往往不一致。现有方法通过固定图结构、迭代重构查询或执行生成程序来应对这一不匹配，但未能明确判断查询单元何时已被证据支持、何时应进一步细化。我们将此瓶颈形式化为可检索粒度发现，并提出Hi-Q，一种基于证据的分层查询细化框架。在每个查询节点，解析算子测试检索到的证据是否支持当前查询单元；已解决节点终止，未解决节点由保持依赖的二元算子扩展，并由语义覆盖验证器检查。因此，Hi-Q生成的查询树拓扑由语料支持信号决定，而非固定分解模板或预构建图。我们在三个多跳问答基准上评估Hi-Q，主要在全语料检索场景下，其中依赖证据需在开放域干扰项中定位，而非小型标注池。该设置下，Hi-Q在三个基准上平均达到52.3 EM和64.0 F1，比迭代检索基线IRCoT平均高出15.1 EM / 18.2 F1，比基于图的RAG基线PropRAG在MuSiQue-full上高出11.5 EM / 12.0 F1，且无需全语料图构建。在先前工作使用的受限支持/干扰项设置中，Hi-Q同样达到最佳准确率，平均57.9 EM和69.3 F1，比PropRAG高出5.6 EM / 3.9 F1，比IRCoT高出13.7 EM / 15.8 F1。项目页面见https URL。
8. 评估多模态大语言模型作为无人机控制的通用视觉-语言-行动智能体：指挥、接近、跟踪与搜索
- 英文标题：Evaluating Multimodal LLMs as Generalist Vision-Language-Action Agents for Drone Control: Commanding, Approaching, Tracking and Searching
- arXiv：2609.01404
多模态大语言模型（MLLMs）在图像和视频感知方面表现出色。我们探究这种能力向行动延伸的程度：将MLLM直接嵌入无人机控制回路，其整个动作空间仅通过提示词声明。近期系统尝试此设置，但日益限制模型的决策能力，我们则将其重新拓宽。我们提出DroneCATS-Agent架构，其中MLLM为可替换组件，并构建DroneCATS基准，将模型视为独立变量。除简单飞向像素外，我们的智能体让模型自主偏航搜索、不确定时深思熟虑、并自我声明到达——全程无需微调或函数调用模式。评估前沿及开源模型在四项核心能力（接近可见目标、跟踪移动目标、搜索初始视野外区域、指挥多无人机编队）上的表现，揭示即使最简单的具身设置也远未解决。关键在于，为识别边缘端最先失效环节，我们的模型阵容缩小至20亿参数。结果暴露鲜明悖论：飞行并非失败点。小型开源模型常比前沿模型更可靠地导航至成功半径内，却因过早或从不声明到达而输掉回合。多无人机指挥加剧此分歧，小模型盲目复制单一坐标至不同视角而失败。作为视觉-语言-行动智能体，模型的空间感知尚可，但动作协议不足。区分可部署边缘模型与前沿模型的并非导航能力，而是维持声明协议并发出正确终止动作的纪律性。开放问题在于以机载计算成本弥合此差距——产生一个持续规划且精确知晓完成时机的快速模型——而DroneCATS正是为度量这一距离而构建。
9. 揭示原生统一多模态模型中理解与生成的协同效应：从表征、任务到系统
- 英文标题：Uncovering Understanding-Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System
- arXiv：2609.01607
尽管统一多模态模型（UMMs）在单一模型中联合执行视觉理解与生成，功能上的统一并不保证学习上的协同效应：这两种目标可能相互增强、争夺容量，或仅共存。我们在无预训练视觉先验的可控、结构原生环境中，从表征、任务和系统三个层面探究其关系。在表征层面，我们发现每个目标为对方提供有用信号：生成丰富了用于理解的视觉特征，而理解增强了用于生成的视觉-语言对齐。然而，当两个目标被迫通过同一计算路径时，一个往往趋于主导。一种任务解耦架构，专门化冲突的视觉计算同时保留语义交互，可避免这种不对称退化。在任务层面，通过三个案例研究，我们发现当理解与生成任务依赖共享知识时，存在正向双向迁移。在系统层面，我们表明端到端UMM在明确需要图像理解与生成的复杂任务上优于匹配的规划器-执行器流水线。综合这些结果，UMM的价值超越统一接口：适当专门化、共享任务知识与端到端优化可将共存转化为协同。
10. Safin-1：通过记忆原生状态演化实现由内而外的安全
- 英文标题：Safin-1: Safety from Within through Memory-Native State Evolution
- arXiv：2609.00092
长时程复杂任务要求基础模型积累信息、维持内部状态，并在长时间交互中适应变化。安全性应是模型自身的内在属性，而非仅依赖外部防护或事后对齐（如监督微调）的行为约束。这催生了“由内而外的安全”理念，即通过模型原生计算表示和调用与安全相关的能力。我们提出Safin-1，一个通过记忆路由和状态演化实现该理念的基础模型系列。Safin-1基于跨上下文历史的记忆锚定路由（MARCH）网络架构，该架构维护结构化记忆状态，并通过内容条件路由选择性检索相关历史信息。它支持持久能力状态的测试时适应，无需反复修改主干网络，从而在共享基础模型上实现受控特化。我们通过安全状态在下游安全任务中研究该接口，展示了基于状态的有效适应，并显著提升安全性。更广泛地，路由状态接口将上下文记忆和持久能力适应统一于模型原生计算中，将记忆从先前上下文的被动记录重构为维持和演化模型行为的主动基质。跨通用能力、长上下文理解、检索和效率的评估进一步验证了Safin-1。这些发现为将安全性作为状态原生且可自适应维护的能力提供了路径。本工作仅为“由内而外的安全”的初步架构探索，实现这一更广泛愿景仍需大量后续研究。
11. 从生产流量到后训练：构建覆盖企业请求组合的自托管大语言模型
- 英文标题：From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix
- arXiv：2609.01572
数据驻留限制迫使企业自托管大语言模型（LLM），但持续采用新模型而不淘汰旧模型会扩大服务集群，使有限的GPU资源碎片化。我们通过生产错误分析，沿指令遵循、函数调用和内部任务分布三个轴心消除质量差距，将来自200多个内部应用的流量整合到单一模型上。质量通过分层匹配生产流量的离线基准测试来跟踪，并由确定性验证器或校准的LLM评判器评分。我们不是联合优化所有目标（这会引起跨领域奖励干扰），而是为每个轴心训练独立的GRPO专家，并通过两阶段SLERP进行合并。每位专家的奖励暴露了不同的失败模式，即语义崩溃、过度调用和冗长攻击，每种都需要特定领域的修复。在非推理模式下，该配方在内部Arena上超越了总参数规模约7倍的基线，得分分别为69.6对65.8，指令遵循0.85对0.83，函数调用0.79对0.77，同时提升了通用对话基准。该模型吸收了平台50%的流量，每月1.16亿次请求，而服务成本仅为原来的一小部分。
12. DiagEvo：通过分层错误记忆进行诊断引导的自我进化
- 英文标题：DiagEvo: Diagnosis-Guided Self-Evolution via Hierarchical Error Memory
- arXiv：2609.00768
自我对弈是语言模型自我进化的有效范式，但缺乏引导时，求解器性能可能在各轮中停滞或下降。无引导方法通过难度、可学习性或多样性等信号指导问题生成，这些信号保持问题具有挑战性和多样性，但未指明后续轮次应针对哪些未解决的推理弱点。有引导方法从外部任务资源（如人工示例、文档语料或指定难度目标）获取方向，因此依赖自我对弈循环之外提供的任务信息。我们表明所需方向可从求解器自身的失败历史中推导。我们引入DiagEvo，其诊断器从该历史中提取重复错误原因，并将其存储在分层错误记忆（hierarchical error-cause memory）中，该记忆将相关原因分组到技能节点下，并根据针对性问题上的自一致性将每个节点跟踪为活跃或已掌握。挑战者利用这些状态和重复计数，平衡原因定向生成与自由探索。双置信度过滤仅在最常见求解器答案具有明确投票领先时保留中等难度问题。DiagEvo从自我对弈期间产生的信息中推导其课程，无需外部任务资源。使用默认的4B诊断器，DiagEvo在三个求解器（Qwen3-4B、Qwen3-8B和OctoThinker-8B）的所有九个基准测试中平均准确率均超过所有基线。在Qwen3-8B上，它在五个数学推理基准测试中达到72.3%的平均准确率，比R-Zero高4.5个百分点；在所有九个基准测试中的平均准确率为57.4%，比DARC高1.1个百分点。消融实验表明，分层错误记忆和双置信度过滤均对这些增益有所贡献。
13. EM²Mem：面向大语言模型的事件中心多模态记忆
- 英文标题：EM^2Mem: Event-Centric Multimodal Memory for Large Language Models
- arXiv：2609.00551
多模态记忆为长视频问答提供了可扩展的接口，但现有方法常将字幕、帧、转录、摘要或图事实检索为孤立片段。尽管可搜索，这些片段并非生成就绪：语言模型需在推理时重建跨模态和时间对齐，而此时上下文有限且归因困难。我们提出EM²Mem，一种事件中心多模态记忆框架，在记忆构建时将异构证据绑定到事件锚点。每个事件索引记忆单元对齐多模态记录、时间上下文、图关联关系、语义事实和来源，实现对基于多模态事件的紧凑证据读取，而非模态特定片段。在三个长视频问答基准上，EM²Mem相比最强记忆基线平均准确率提升2.0、2.4和3.7个百分点，严格事件级Top-5证据召回率提升7.0个百分点，每查询延迟降低4.67倍，总推理令牌减少63.66%（代码将集成至该https URL）。
14. Harness-of-Harness：多日持续改进的自主软件开发
- 英文标题：Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement
- arXiv：2609.01481
本文研究自主软件开发，即基于LLM的编码智能体在无需人工干预的情况下，将高层需求转化为完整、功能可用且可操作的软件系统。我们提出Harness-of-Harness（HoH）框架，使编码智能体能在自主开发过程中持续改进软件。HoH作用于现有编码智能体工具链，将其执行组织为迭代的规划-编码-测试循环。为在循环中维持改进，HoH平衡修复与能力增长，将开发细分为小而可验证的增量，区分实现期测试与独立评估，并约束可验证输出而非规定智能体工作流。它逐步暴露交付物、角色特定工具和技能，鼓励复用而非重建，并维护版本化项目历史。在GameCraft-Bench、FrontierSWE和ProgramBench上，三组工具链-模型配对（Codex与GPT-5.5、OpenCode与DeepSeek-V4-Pro、Pi与MiniMax-M3）中，HoH均优于对应独立工具链，三次迭代后平均相对提升52.25%，最大提升82.86%。在一次超过70次迭代的多日部署中，HoH自主开发了一款第一人称射击游戏，具备连贯故事线、完整核心机制、可玩体验、精致视觉效果和集成音频。GitHub：此https链接 项目页面：此https链接
15. 控制流与数据流分离：多智能体大语言模型中的稳定提示优化
- 英文标题：Control-Data Flow Separation: Stable Prompt Optimization in Multi-Agent LLMs
- arXiv：2609.00621
提示优化能够提升多智能体大语言模型（LLM）系统的性能，但被优化的提示往往承担着两种纠缠不清的角色：生成任务相关内容，以及指定执行关键协议（如消息路由、输出格式和终止信号），这些协议是底层代码所依赖的。因此，旨在改进内容生成的提示编辑可能无意中破坏协议，导致整个智能体流水线失败。我们的关键观察是，这两种角色具有不同的表示形式：执行协议通常是结构化的，而任务相关内容通常以非结构化语言表达。基于此，我们提出控制流与数据流分离，其中执行关键控制表示为类型化、验证过的程序对象，而任务相关语言则保留为可优化的数据流，用于智能体通信。该设计使优化器能够改进多智能体行为，而无需将路由或格式化接口暴露于提示漂移风险。在合成推理、协作评审生成和保险评级工作流中，我们的框架经验性地实现了100%的最终协议有效性，同时持续提升任务性能。