彭博:谷歌内部对 Gemini 4 实际编码能力存疑,公司否认「表现不佳」
彭博称,谷歌在筹备 Gemini 4 发布之际,部分内部人士认为其基准出色但真实编码任务表现不稳;公司否认编码表现不佳,并称内部有大量共识认为其处于前沿。
据彭博社 9 月 30 日报道,Alphabet/谷歌在筹备 Gemini 4 之际,正面对部分员工对其关键能力——尤其是编码——的内部质疑。知情人士称,模型在行业常用基准上表现良好,但员工实际使用时在某些编码任务上吃力,前端设计能力亦不突出;另有人认为 Anthropic 的 Fable 与 OpenAI 的 Astra 进步更快。
谷歌回应称,称 Gemini 4 在编码等方面「表现不佳」并不准确,并援引 DeepMind 负责人 Koray Kavukcuoglu 近期表态:对团队有充分信任,认为公司将始终处于前沿。一名熟悉模型开发的员工称,公司内部有「高度共识」认为 Gemini 4 处于前沿,并否认其难以处理杂乱的真实编码任务。报道还称,公司曾计划 6 月发布 Gemini 3.5 Pro,但已放弃该版本;彭博情报分析师估计一次此类训练花费可高达约 4 亿美元。
知情人士亦指出 Gemini 4 体量很大、推理成本可能承压,但在多模态(如从视频提取元数据)、安全与网络安全、自然语言沟通等方面有优势。有人将其与「刷榜」(benchmaxxing)现象联系起来:过度优化基准分数未必转化为真实产品体验。