与Arvid Kahl一起转录和索引350万播客的经验教训

与Arvid Kahl一起转录和索引350万播客的经验教训

今天我们有幸邀请到重量级嘉宾Arvid Kahl。他是我最喜欢的那类嘉宾——既深谙技术又能畅谈初创企业技术与商业挑战的创始人。本期节目精彩纷呈,不容错过。 Arvid以"自举创业者"(Bootstrapped Founder)闻名,曾完整记录2019年出售Feedback Panda的全过程。如今他正在打造Podscan,并持续分享创业历程。 Podscan是个引人入胜的项目。它让全球*所有*播客单集内容实现完全可搜索。目前已完成350万集播客的转录,并以每天3万至5万集的速度持续增长。 这涉及大量技术挑战:如何利用最新大语言模型获得最佳转录效果、该使用公共供应商API还是自建大语言模型、如何高效实现跨TB级转录数据的全文搜索。Arvid分享了多年积累的经验与尝试过的各种策略。 但项目还面临独特的商业挑战。对多数技术型企业而言,基础设施成本与客户增长成正比——更多客户意味着更多数据与服务器。而Podscan必须索引整个播客生态,无论客户多寡。这意味着在拓展客户群时需要大量前期投入。Arvid将讲述如何优化基础设施以应对这一特殊挑战。 *时间戳* 开场 如何发现所有内容? 转录基础设施 文件大小与质量权衡 优先级排序 本地运行大语言模型 系统演进历程 搜索功能 PHP Laravel框架 警报系统 独立开发者创业 再次退出?