构建自动化AGI实验室：Core Automation的Jerry Tworek与Rohan Anil

Jerry Tworek曾在OpenAI主导推理研究，坚信扩展强化学习是通往AGI的路径。Rohan Anil曾共同领导Gemini预训练并开发了Shampoo优化器。如今他们联手创立Core Automation，秉持一个反主流观点：Transformer已发挥到极致，制约智能系统发展的瓶颈不再是规模，而是架构本身。缺失的能力是持续学习——模型在测试时自适应调整的能力，而Transformer无法实现。上下文学习很快达到上限（Codex约20分钟后就需要压缩），微调则容易引发灾难性遗忘。Rohan认为预训练和强化学习应实现端到端优化，且Transformer的计算效率低下。他们阐述了为何大型实验室在陷入编码智能体竞赛时不会追求替代方案，以及为何构建全球最自动化实验室要从自动化内核生成开始——这是前沿模型仍逊色于高品味人类的领域。主持人：Sonya Huang与Pat Grady，红杉资本 00:00 引言 01:46 对Transformer的赞赏 02:44 规模触及极限 04:54 架构为何重要 05:32 强化学习的现实检验 07:32 测试时学习 09:52 规模化的经济学 12:47 为何创立公司 14:24 Rohan谈Transformer 19:11 计算深度问题 20:32 Transformer的瓶颈 23:22 超越强化学习 26:41 优化与效率 34:24 构建自动化实验室 39:45 内核自动化路线图