Jev CEO：我创造了ChatGPT，现在正在打造下一个突破

Diogo Almeida，前OpenAI员工、GPT-4合著者，现为TypeSafeAI（Jev的创造者）CEO。他认为RLHF让模型变得极其擅长取悦人类反馈者，而这恰恰是问题所在。优化人类偏好意味着优化参与度和过度承诺——正是这种压力让模型自信地同意一段放屁音频是交响乐。这产生了两个阵营：一个是模型作为助手、人类负责纠错的场景（RLHF在此大放异彩），另一个是模型自主运行、承担真实后果的场景（此时取悦的本能悄然成为负担）。因此，接下来的时代并非Claude Code时代，而是优化目标的转变。Almeida通过Sutton的苦涩教训来阐述：任务比数据更重要，而带有可验证奖励的强化学习将模型指向真正的自动化，而非人类认可。他谨慎指出，预训练模型已经极其强大，陷阱在于在其之上叠加偏好优化——这教会了模型自信，却丢失了模式。核心脉络在于：在优化空间中，辅助与自动化朝着不同方向拉扯，而该领域才刚刚开始明确自己究竟在构建什么。演讲者信息： - https://x.com/CompleteSkeptic - https://www.linkedin.com/in/diogomda/ - https://typesafe.ai/ 时间戳： - 不是Claude Code时代 - 领域现状 - 两个阵营：辅助与自主 - 模型为何取悦人类反馈者 - RLHF实际运作方式 - 偏好与真相的对立 - 当后果变得真实 - 接下来是什么 - 辅助不等于自动化 - 预训练是问题所在吗？ - RLVR与Sutton的苦涩教训