LHTB 2.0正式发布：77项终端任务、3小时长程评测，GPT-6 Astra以0.69分登顶
2026年10月，Lehigh University与腾讯联合团队正式发布Long-Horizon Terminal-Bench 2.0（LHTB 2.0）。这是继LHTB 1.0之后，AI Agent长程执行能力评测领域最重要的一次升级——评测时长从90分钟延长至3小时，任务规模从46项扩展至77项，并首次引入密集进度奖励机制。
LHTB 2.0的核心目标，是回答一个越来越紧迫的问题：当AI Agent需要在终端环境中持续工作数小时、执行数百步操作时，它能不能保持连贯，不“掉线”？
▲ LHTB 2.0 评测框架：77项任务、3小时预算、每30分钟记录验证器检查点
一组关键数字：任务总数从46项扩展至77项，覆盖13个领域、8种任务类型；评测时长从90分钟延长至3小时；每30分钟记录一次验证器检查点；GPT-6 Astra以密集平均奖励0.69登顶，GPT-5.6 Sol以0.67紧随其后。
从46到77：不只是数量增加
LHTB 1.0由Lehigh University和腾讯团队构建，包含46项高难度终端任务，要求Agent在Docker容器中执行数百步依赖操作，并由隐藏验证器进行连续部分信用评分。在18个前沿模型的测试中，最佳成绩（Grok 4.5）仅为0.505平均奖励，46项任务中有29项从未被任何模型完全解决。
LHTB 2.0保留了原始的46项任务，对其中31项进行了扩展，并将总数提升至77项。新增的任务通过一套系统化的重建任务流水线生成：从可运行的科学或工程制品出发，使用参数化参考实现生成多个场景，其中六个作为行为证据公开，三个被保留用于评测，并配合密集进度阶梯来奖励部分进展，同时防止模型记忆公开输出。
这意味着，LHTB 2.0不仅能测量Agent最终是否完成了任务，还能测量它在执行过程中走了多远、拐了多少弯、有没有中途放弃。正如论文所述，在30项重建任务上，二值验证器的平均得分仅为0.221，而密集阶梯评分平均达到0.653——仅看最终结果的评测方式，丢弃了大量中间进展信息。
3小时预算与30分钟检查点：真正测量“持续性”
LHTB 2.0将单任务评测预算从90分钟延长至3小时，并在每30分钟记录一次验证器检查点。这一设计使得研究者能够直接观察Agent在长时间运行中的行为曲线——它在第1小时表现如何？在第2小时是否开始退化？在第3小时能否仍然保持有效工作？
这是LHTB与大多数Agent基准测试的根本区别。大多数基准测试在几分钟内结束，暴露的是Agent的“瞬时能力”；LHTB 2.0要测量的，是Agent在长程状态管理和持续推理方面的表现——这恰恰是当前Agent系统最薄弱的环节。
从15个前沿模型、1145次模型-任务运行的数据来看，GPT-6 Astra以密集平均奖励0.69领先，在37项任务上达到奖励≥0.95；GPT-5.6 Sol以0.67紧随其后，在32项任务上达到同一阈值。开源模型方面，Kimi K3在LHTB 1.0的46项任务上取得37.8分（平均奖励×100），在开源权重模型中排名第二。
为什么LHTB 2.0值得关注？
LHTB 2.0的发布，恰逢AI Agent从“演示品”走向“生产工具”的关键节点。当企业开始部署能够自主执行数小时、数十步操作的Agent时，“它能不能持续工作”比“它能不能完成一次任务”重要得多。
LHTB 2.0暴露的恰恰是一个结构性失败模式——丢失线索。这是短基准测试在结构上无法暴露的问题。一个Agent可能在第一步表现完美，但在第200步时忘记了原始目标，或者陷入了一个无法恢复的死胡同。LHTB 2.0的密集进度阶梯和长时间预算，使得这类问题变得可测量、可比较、可改进。
对开发者而言，LHTB 2.0提供了一套过程感知的测试平台，可以用于研究Agent在数小时运行中的可靠性。对模型团队而言，它提供了一个区分“看起来聪明”和“确实能干活”的基准。
谁在用？用在哪？
AI Agent开发者与研究者。 LHTB 2.0的密集奖励机制和检查点设计，为Agent的长程可靠性研究提供了可量化的实验平台。
模型评测团队。 在77项任务、13个领域的覆盖下，LHTB 2.0可以用于评估模型在软件工程、科学计算、地球气候与能源、多模态成像等场景中的Agent能力。
企业技术选型团队。 当企业需要选择能够支撑长时间自主运行的Agent模型时，LHTB 2.0的评测结果提供了比短基准更有参考价值的信号。
常见问题解答
LHTB 2.0和LHTB 1.0有什么区别？
任务从46项扩展至77项，评测时长从90分钟延长至3小时，每30分钟记录验证器检查点，新增密集进度奖励机制，能够测量Agent执行过程中的部分进展。
目前排名第一的模型是哪个？
GPT-6 Astra以密集平均奖励0.69排名第一，GPT-5.6 Sol以0.67紧随其后。开源模型中Kimi K3表现最佳。
LHTB 2.0评测的是什么能力？
评测的是AI Agent在终端环境中长程持续执行任务的能力——能否在数百步依赖操作中保持连贯、管理状态、从死胡同中恢复，并判断任务是否真正完成。
在哪里可以查看完整榜单？
LHTB 2.0的论文已提交至arXiv，完整评测数据和排行榜可通过相关平台获取。
Agent评测正在进入“小时级”时代
LHTB 2.0的发布，标志着Agent评测正在从“分钟级”走向“小时级”。当Agent被部署到真实生产环境时，它们需要面对的不是一个干净的、几分钟就能完成的任务，而是一个充满干扰、需要持续数小时保持专注的工作流。
LHTB 2.0用77项任务、3小时预算、密集进度奖励，构建了一个更接近真实工作场景的测试台。在这个测试台上，模型的能力差距被拉得更开，失败模式被暴露得更清楚，改进方向也被定义得更具体。
对于正在构建生产级Agent的团队来说，LHTB 2.0值得认真对待。
一句话总结：LHTB 2.0是Lehigh University与腾讯联合发布的长程终端Agent评测基准，包含77项任务、覆盖13个领域，评测时长3小时，首次引入密集进度奖励机制。GPT-6 Astra以0.69分登顶，GPT-5.6 Sol以0.67分紧随其后。适合 AI Agent开发者、模型评测团队、企业技术选型团队 重点关注。
© 版权声明
© 本站文章版权归 众享AI 所有，未经许可禁止转载。
