微软 ThinkingBox：用数据库终态而非「说完了」来评测智能体一致性

微软与 Hugging Face 于 10 月 3 日联合发文介绍 ThinkingBox：评测看的是智能体在隔离 MCP 会话中留下的终端数据库状态与副作用，而不是最终回复或「工具调用看起来像样」。基准 ThinkingBox-Bench 覆盖 507 个有状态业务工作流，每个任务对多种模型各跑 20 次，并报告 pass@1、pass@20 与观测到的 20/20。

文中举例：客服智能体连发九次工具调用后把工单标为「已解决」，但承运异常仍未处理，所需终态应为挂起。在覆盖约 12.2 万次有效试验的消融中，约 7.99 万次未通过可执行检查；其中约 67% 仍「干净结束」并调用过改状态工具，却大量出现错误字段、多余副作用或缺失必改效果。

单次成绩上 Claude Opus 5.5 整体 pass@1 约 67.16% 居前，开源权重里 Kimi-K3 最强，至少一次解出约 93.89% 任务，但 20/20 仅约 13.41%。失败签名中约 80% 归为工具使用问题。框架与数据集已通过 Hugging Face / OpenEnv 开放，相关论文为 arXiv:2608.19741。