零数据自我对弈预训练：arXiv 提出 Self-Play Pretraining with Zero Data
arXiv:2609.30063（2026-09-25，cs.AI）提出从随机初始化出发、无需自然语言数据的自我对弈预训练：生成器搜索可计算结构程序，学习器做下一字节预测；零样本损失随算力可预测下降，并出现上下文学习。作者包括 Aditya Cowsik、Noah D. Goodman、Yoav Levine 等。
arXiv 论文 2609.30063（提交于 2026 年 9 月 25 日，cs.AI）提出 Self-Play Pretraining with Zero Data。作者包括 Aditya Cowsik、Kfir Dolev、Michael Y. Li、G. Bruno De Luca、Nourya Cohen、Noah D. Goodman、Yoav Levine 等。
方法从随机初始化出发：生成器提出由通用图灵机解释的程序以产生字节序列，学习器对这些序列做自回归下一 token 预测；生成器用强化学习奖励「位于学习器能力前沿」的序列，形成自适应课程。程序空间基于类 Brainfuck 的极简通用机，尽量少加领域先验。
关键实验主张：在从不训练自然语言数据的前提下，多个自然语言/图像/语音等数据集上的零样本损失随自我对弈算力呈可预测标度；学习器还表现出上下文学习，生成器训练中会发现可识别的数学序列。作者将其视为通向「由模型自己生成最有用预训练数据」愿景的概念验证，而非替代真实世界数据。