Richard Sutton——强化学习之父认为LLMs是一条死路

理查德·萨顿是强化学习之父、2024年图灵奖得主，也是《苦涩的教训》一书的作者。他认为大语言模型是一条死胡同。在采访他之后，我对理查德立场的最佳辩护如下：大语言模型无法在工作中学习，因此无论我们如何扩展规模，都需要*某种*新架构来实现持续学习。而一旦我们拥有了这种架构，就不再需要专门的训练阶段——智能体将像所有人类、甚至所有动物一样，在过程中即时学习。这种新范式将使当前的大语言模型方法过时。在采访中，我尽力代表这样一种观点：大语言模型或许可以作为经验学习发生的基础……火花四溅。衷心感谢阿尔伯塔机器智能研究所邀请我前往埃德蒙顿，并允许我使用他们的演播室和设备。敬请欣赏！ 𝐄𝐏𝐈𝐒𝐎𝐃𝐄 𝐋𝐈𝐍𝐊𝐒 * 文字记录：https://www.dwarkesh.com/p/richard-sutton * Apple播客：https://podcasts.apple.com/us/podcast/richard-sutton-father-of-rl-thinks-llms-are-a-dead-end/id1516093381?i=1000728584744 * Spotify：https://open.spotify.com/episode/3zAXRCFrHPShU4MuuIx4V5?si=c9f4bf24fb4c43e3 𝐒𝐏𝐎𝐍𝐒𝐎𝐑𝐒 * Labelbox 使得在超逼真的强化学习环境中训练AI智能体成为可能。凭借经验丰富的应用研究团队和庞大的主题专家网络，Labelbox 确保你的训练能反映重要的现实世界细微差别。在 https://labelbox.com/dwarkesh 将你的演示项目转化为工作系统。 * Gemini Deep Research 专为深入探索难题而设计。在本期节目中，它帮助我从早期的策略梯度方法追溯到当前的方法，结合清晰的解释和精选的示例。在 https://gemini.google.com/ 亲自尝试。 * Hudson River Trading 不会将团队孤立起来。相反，HRT 的研究人员在一个单一代码库中公开交流想法并分享策略代码。这意味着你能够以惊人的速度学习，并且你的贡献将对整个公司产生影响。在 https://hudsonrivertrading.com/dwarkesh 查找空缺职位。要赞助未来的一期节目，请访问 https://dwarkesh.com/advertise 𝐓𝐈𝐌𝐄𝐒𝐓𝐀𝐌𝐏𝐒 – 大语言模型是死胡同吗？ – 人类会进行模仿学习吗？ – 经验时代 – 当前架构在分布外泛化能力差 – AI领域的意外 – 通用人工智能之后，《苦涩的教训》还会适用吗？ – 向AI的传承