Rich Sutton:合成数据“只是一个巨大的错误”

Rich Sutton:合成数据“只是一个巨大的错误”

合成数据是一种随计算规模扩展的通用方法吗?Rich Sutton的回答是立即的。其推理基于大世界假说(Big World Hypothesis),Khurram Javed将其写成了一篇论文:世界包含无限多需要学习的事物,因此你可以永远生成数据集,但总会有更多——而人类始终决定什么值得生成。 #ai #syntheticdata #machinelearning #llm