FrontierHarness评测：同一模型下不同编码智能体框架单次成功成本相差17倍

Runta 发布 FrontierHarness Eval，对9种编码智能体框架的12种配置进行对比。评测使用同一个 Kimi K3 模型，通过 Fireworks 提供服务，覆盖 Terminal-Bench 的21个任务和 DeepSWE 的9个任务，共360次运行。

结果为209次成功、151次失败，总通过率58.1%。各配置通过率在50.0%至66.7%之间，但中位成功成本从 Exo Harness 的 1.05美元到 Claude Code 的 18.34美元，相差约17倍。Codex通过率最高，为66.7%，成本3.47美元。

Runta强调，差异属于“框架—模型—网关”组合，而不只是框架本身；这是供应商运行的基准测试，下一版计划进行完整的框架与模型交叉评测。