记忆问题,Baseten | Compile 26

记忆问题,Baseten | Compile 26

Baseten 研究团队的 Mudith Jayasekara、Charlie O'Neill 和 Harry Partridge 谈论长时程代理的记忆问题:压缩 KV 缓存,以在推理时近乎无损地检索相关上下文。 00:00 记忆问题 03:15 选择与综合 04:22 摊销和稀疏自编码器 05:38 压缩 KV 缓存 08:39 迭代压缩 10:41 压缩缓存是 MLP