智能效率,Ben Geist | Compile 26

智能效率,Ben Geist | Compile 26

Ramp 的研究工程师 Ben Geist 谈论智能效率:为什么为更多 token 支付更多费用会带来递减的回报,以及更好的上下文(而不仅仅是更多的计算)如何使模型更高效。 00:00 智能效率 01:00 更智能的模型并不更高效地聪明 02:04 Ramp 的 token 支出数据 03:01 熵减机器 03:45 熵的两种观点 05:01 上下文,而不仅仅是工作 06:09 潜在空间中的三个例子 06:39 具有共享上下文的多代理系统 08:56 上下文学习和稀疏注意力