PCMag:AI 基准「水分很大」——自测题、缺数与版本换挡都在帮营销
评论梳理 Terminal-Bench、GeneBench、BioMysteryBench 等例子,指厂商自测、选择性对比与基准版本更迭让榜单难以对应真实体验。
PCMag 评论员 Ruben Circelli 撰文批评当前大模型基准宣传。他指出硬件跑分大致对应「更强」,而 AI 基准分数常与个人真实任务体验脱节;OpenAI、Anthropic 等在发布材料中引用 Terminal-Bench、自研 GeneBench / BioMysteryBench 等时,常见公开榜缺失、只比自家旧版、或把对手分数留空。
文章举例:同一套 Terminal-Bench 在 2.1 / 3.0 / 4.0 数月内版本更迭后,GPT‑5.6 与 Fable 5 的相对高低可翻转;厂商图表与第三方公开榜数字也不总一致。结论是:把最新「刷榜」型号当必买理由很危险,应更信任自己的任务实测。