Elena Burger和Matt Bornstein与Inferact联合创始人兼CEO Simon Mo展开对话。Inferact作为开源推理引擎,正驱动着当今众多最先进的AI应用。他们共同探讨了开源AI如何从研究项目演变为关键基础设施,推理为何成为AI技术栈中最核心的层级之一,以及将前沿智能带给全球开发者需要哪些条件。
对话涵盖了vLLM的起源、开放权重模型的兴起、企业为何越来越渴望掌控AI基础设施,以及开源推理如何赋能新一代AI应用。他们还讨论了模型许可、开放权重AI的经济性、Kimi K3、蒸馏技术、AI基础设施,以及Simon为何认为开放模型与封闭模型之间的差距正在迅速消失。