Holdout Labs：污染报告无法自证，「复现才算数」的评测主张

Holdout Labs 的 Noah Persaud 撰文指出，2026 年基准污染争议加剧——OpenAI 2 月停报 SWE-bench Verified，因前沿模型能复现人类参考修复或题干细节。实验室对训练集做 n-gram 去污染搜索并发布报告，但报告由利益相关方自证、语料因版权无法公开、且释义/论坛题解/合成数据等「看不见的污染」匹配不到，故训练侧无法真正排除污染。

作者主张把举证责任翻到评测侧：提交物不接触标签、容器无网络、由评测方从指定 commit 自行构建并跑分；仅「verified」（评测方复现）可上榜，预构建镜像仅为 unverified_image。平台为每次评测生成含镜像摘要、数据集加盐承诺、种子与指标的可复现记录。文中亦坦承成本、测试集被分数侧信道压榨、出资方泄题等局限，并称平台尚未公开，欢迎有私有指标与预算的首批真实任务。