“再早一点，我们就是世界最好的模型”| 专访Gemini前核心科学家Andrew Dai

Google其实比OpenAI更早做MoE。我们专访到了Gemini前核心科学家Andrew Dai。Andrew回忆，Google Brain在 2021 年就已经做出了比GPT-3更强的MoE大模型GLaM，PaLM 2甚至在2023年初就训练完成。但问题不在技术，而在组织。为了等Google I/O，PaLM 2被硬生生拖慢发布；而OpenAI抢在前面发布GPT-4，直接改写了市场叙事。 “早一点发布，我们可能就是世界最好的模型。”最先看到未来的人，为什么反而输了时间？