AI可解释性与对齐：J-Space，思维链，AI人格，幻觉，与金门大桥【101视频播客】

一个模型被问：“会织网的动物有几条腿？”它回答8。问题里没有出现“蜘蛛”，但模型内部其实已经判断这个动物是蜘蛛。研究者没有改动问题，只把模型内部“蜘蛛”的表示换成“蚂蚁”，答案就变成了6。也就是说，在AI说出答案之前，它内部可能已经完成了我们看不到的判断和推理。但大模型究竟如何一步步得到答案，至今仍没有清楚的答案。本期视频，我们与AI可解释性研究者Aryaman Arora聊聊，研究者如何“打开”AI黑箱：思维链是真正的思考过程吗？模型内部会形成对世界的理解吗？我们能否通过观察和干预模型，找到它做出判断的原因？即使开始看懂模型，也不意味着我们已经有能力修改它。有时，AI为什么做对一件事，反而比它为什么犯错更容易解释。我们也聊到了AI正在呈现的新变化：模型会根据对用户的判断调整回答，也逐渐表现出不同的“性格”。可解释性的意义，不只是“看懂”AI，更是理解它为何这样判断、是否值得信任，以及我们应该在多大程度上把重要决策交给它。随着模型能力增强，理解AI也正变得越来越重要。采访嘉宾： Aryaman Arora，斯坦福大学博士主持人： Yiwen，硅谷101特约研究员【欢迎加入硅谷101 Discord讨论群】 👉https://discord.gg/PACWRvyfCm 时间轴： 00:00 AI可解释性？ 03:53 J-Space：AI没说出口的想法 08:17 思维链的作用 09:37 为什么我们需要理解AI？ 11:54 Divine Benevolence：Noam Shazeer将研究结果归因于天意 12:49 可解释性、对齐和信任AI 16:53 稀疏自编码器（Sparse Autoencoder）：翻译AI的内部表示 20:17 可解释性研究的两条路线 24:53 从语言学到Scaling Law 30:48 评测（Benchmark）：怎么衡量对AI的理解有没有进步？ 32:17 我们真的能修改AI的想法吗？ 33:32 Golden Gate Claude：把AI的思想改成金门大桥 34:51 Transluce：AI知道自己在和谁说话？ 36:51 Weird Chat：AI为什么突然说出奇怪的话？ 37:44 可解释性是不是都在研究边缘问题？ 39:18 如何理解AI幻觉 41:09 H3论文：可解释性对模型架构的改变 43:47 学术界 vs. 产业界：谁在推动可解释性？ 45:38 Goodfire与可解释性的“双重用途” 48:11 可解释性的另一目标：科学发现 48:57 可解释性已经能帮助监管AI了吗？ 50:52 AI的人格训练【关于硅谷101】我们是由海内外一线媒体记者/主持人创办的栏目，深度解析硅谷创新趋势，以轻松的风格分享科技行业的最新动态。我们采过顶级科技大佬，积累了数万小时的媒体经验，做过调查性报道，操盘过千万级传播量的知名深度稿，引发全国讨论和微博热搜；致力于将最专业的媒体素养和信息搜集能力转化为易传播的新媒体力量。旗下同名播客栏目：https://www.youtube.com/@valley101podcast 关注我们，从这里驶向未来。联系我们：video@sv101.net 【往期精彩视频】 https://www.youtube.com/watch?v=89ThCi5qq-A https://www.youtube.com/watch?v=H35nVgNGyo8 https://www.youtube.com/watch?v=NEHcGq80GQ0 https://www.youtube.com/watch?v=l5K_icg5JQA https://www.youtube.com/watch?v=svNElhOYajQ https://www.youtube.com/watch?v=cB_X6AImPjQ&t=1s https://www.youtube.com/watch?v=Hq4jFGd4YxE https://www.youtube.com/watch?v=jXZGeF6sJOc https://www.youtube.com/watch?v=nilNLfW7izg&t=2252s https://www.youtube.com/watch?v=i0t3RyLILnw https://www.youtube.com/watch?v=erIEZkMd9_w https://www.youtube.com/watch?v=9mpazu2K3qU https://www.youtube.com/watch?v=jnYWv_0MzBw https://www.youtube.com/watch?v=ULi-TCF2cQE&t=5s https://www.youtube.com/watch?v=nWc1tpQnhqY https://www.youtube.com/watch?v=y2bZdXZBeBc https://www.youtube.com/watch?v=hIdvhl8PUwc https://www.youtube.com/watch?v=x2meJPOn9ws https://www.youtube.com/watch?v=HqsTB0avrh8 https://www.youtube.com/watch?v=F7oNfszczVc https://www.youtube.com/watch?v=DZIhQeFEdXI https://www.youtube.com/watch?v=1Rh7Zwd7Vx0 https://www.youtube.com/watch?v=cqW_VWYbIcU https://www.youtube.com/watch?v=9RMvKWHgyF8 https://www.youtube.com/watch?v=qs0ovkaacls https://www.youtube.com/watch?v=g5hw1HZfwTc https://www.youtube.com/watch?v=ppRvzPXGpEw https://www.youtube.com/watch?v=HLJdElh2tFc https://www.youtube.com/watch?v=jn_H3vuUC6E https://www.youtube.com/watch?v=CIDVbaXWp64 https://www.youtube.com/watch?v=7D_8zimKtB4 https://www.youtube.com/watch?v=tzEWYNQmnmc https://www.youtube.com/watch?v=kjqOsLdvSFg https://www.youtube.com/watch?v=HjopX519nXg https://www.youtube.com/watch?v=pdcT2jwXP0s https://www.youtube.com/watch?v=uCvqXv_FJtI https://www.youtube.com/watch?v=SYuSZIIYOfI&t https://www.youtube.com/watch?v=Tzp0EF-sysI https://www.youtube.com/watch?v=CfxuqbB9dj4 https://www.youtube.com/watch?v=ZDXIUO7CRzo https://www.youtube.com/watch?v=18qSqzTdnbs https://www.youtube.com/watch?v=j13RPyHHCWk https://www.youtube.com/watch?v=VJgIENvy14k https://www.youtube.com/watch?v=thUc2wdtUTY https://www.youtube.com/watch?v=Hemlsyob1Ng https://www.youtube.com/watch?v=bO6xBjIx9JQ