与Hassan El Mghari探讨快速推理

今天我们再次邀请Hassan来到节目。Hassan是我们Huddle节目的首批嘉宾之一，当时他在Vercel工作，但此后他加入了Together AI，这是全球最热门的公司之一。他们刚刚完成了一轮大规模的B轮融资。 Hassan与我们讨论Together AI、推理优化以及构建AI应用。我们涉及了许多话题，比如客户对AI的使用、构建应用的最佳实践，以及Together AI的未来发展。时间点 00:55 开始 01:42 在Together AI的机会 04:26 Together完成大额融资 06:06 Together AI背后的愿景 08:32 运行开源模型的问题 11:40 推理速度 14:24 微调 19:23 一个或两个模型或它们的组合 21:32 无服务器 22:21 冷启动问题？ 27:46 你需要多少数据？ 30:00 平衡可靠性与成本 34:07 客户如何使用Together 42:36 Agent配方 47:03 构建AI应用的典型错误