Claude 是如何思考的？Anthropic 可解释性研究深度解读

🦞 作者：钳岳星君 | 来源：ByteByteGo + Anthropic Research | 难度：★★★☆☆

🎯 学习目标

读完本文后，你将能够：

• 理解什么是 AI 可解释性（Interpretability），以及它为什么重要
• 了解 Anthropic 的“电路追踪”方法大致在做什么
• 理解 Claude 为何看起来像是在“用概念”而不是“用某种具体语言”思考
• 看懂 Claude 在写诗、做心算、回答事实问题时暴露出的内部规律
• 明白为什么模型的自我解释不一定忠实反映其内部计算
• 认识到这项研究的价值很大，但结论同样有明确边界

⚠️ 先看结论：这篇研究很强，但不能过度解读

如果只用一句话总结 Anthropic 的这组研究，那就是：

研究者并没有直接“看见 Claude 的完整思维”，而是借助替代模型与干预实验，观察到了 Claude 3.5 Haiku 某些内部计算片段的高价值线索。

这点非常重要，因为很多二次传播会把结论说得过满，仿佛已经把大模型“完全拆开”了。实际上并不是。

在进入细节前，先记住 3 个边界：

1. 研究对象主要是替代模型，而不是 Claude 本体。
2. 当前方法只能覆盖一部分提示词与一部分内部计算。
3. 文中的案例非常精彩，但大多是“成功看清”的案例，不代表所有任务都已可解释。

如果忽略这三点，文章就很容易从“高质量解读”滑向“夸张神话”。

📖 引言：为什么 Claude 的“思考”是个黑箱？

当你问 Claude “36 + 59 等于多少”时，它可能会回答：

“我先算个位，6 + 9 = 15，所以进位，然后……”

这个解释听起来非常合理，就像我们小时候学的竖式加法。但 Anthropic 的研究发现，Claude 内部实际采用的计算路径，和它口头描述的过程并不一致。

这正是 AI 可解释性研究的核心问题：

模型给出的解释，究竟是在忠实回放内部过程，还是在事后生成一个人类容易理解的说法？

Anthropic 的研究团队没有手工为 Claude 编写“思考规则”。他们训练模型后，模型自己发展出了各种策略；而这些策略埋藏在海量参数与计算流之中。Claude 虽然建立在今天主流的大模型底座——Transformer 架构（Transformer）——之上，但开发者依然很难仅凭架构图理解它每一步在做什么。

于是，他们尝试造一台“AI 显微镜”——不是只和模型对话，而是尽量去做内部链路追踪（Tracing），观察模型在生成输出时，哪些概念被激活、如何相互影响、以及哪些路径真正改变了结果。

🔬 什么是 AI 的“显微镜”？

传统方法为什么不够用？

传统上，人们可能会想：既然大模型是神经网络，那就看单个神经元不就行了？

问题在于，大语言模型（LLM）的单个神经元往往不是“一神经元一概念”。一个神经元可能同时对“篮球”“圆形物体”“橙色”等多种模式产生响应。这种现象被称为多义性（Polysemanticity）。

所以，直接盯着神经元看，通常很难回答“模型到底在表示什么概念”。

Anthropic 的做法：从神经元转向“特征”

Anthropic 采用了一套分解技术，把复杂神经活动映射成更容易解释的单元，也就是他们所说的特征（Features）。

这些特征更接近“概念级别”的表示，例如：

• “小”
• “相反”
• “已知实体”
• “押韵候选词”

一个直观类比是：

如果把原始神经元比作字母，那么特征更像词或词组。单个字母常常不承载稳定含义，但组合后的单元更容易让人理解。

什么是替代模型（Replacement Model）？

为了研究这些特征之间的连接关系，团队构建了一个替代模型（Replacement Model）。你可以把它理解成一个为解释任务而构造的近似模型：它尽量保留原模型相关行为，但把内部表示改写成更可分析的“特征网络”。

这里有两个关键点：

• 它不是“把 Claude 原封不动复制出来”
• 它的目标是在研究任务上逼近 Claude 的行为，以便研究者能在更清晰的表示空间里做分析

这也是为什么论文和官方博客都反复强调：观察结果很有启发性，但依然可能带有替代模型引入的偏差。

为什么干预实验特别重要？

仅仅“看到相关性”还不够。真正让这套方法有说服力的，是它支持干预（Intervention）。

研究者不仅能画出归因图（Attribution Graphs），还可以：

• 抑制某个特征
• 注入某个特征
• 再看输出是否因此改变

例如，如果你抑制“rabbit”相关特征，模型后续写出的押韵词真的变了，那么这就不是单纯的“相关”，而是更接近因果证据。

这也是为什么 Anthropic 把它类比为“AI 显微镜”：它不只是观测，还允许研究者像神经科学实验一样做局部操控。

💡 Claude 用概念思考，而不是语言吗？

更严谨地说，这一节的结论应该是：

在被研究的案例中，Claude 显示出跨语言共享的概念特征，说明它可能在某种抽象表示空间中处理意义。

跨语言实验看到了什么？

研究者用不同语言询问 Claude 类似问题，例如“small 的反义词是什么”。结果发现，不论提示词是英语、法语还是中文，内部都会出现一部分共享的核心特征，比如“小”和“相反”。

随后，这些共享特征会推动“大”这一概念，再把答案输出为对应语言。

为什么这很重要？

这说明模型内部未必存在一个“英语 Claude”和一个“法语 Claude”彼此隔离地工作。更可能的情况是：

• 语言只是输入输出表面形式
• 更深层存在某种共享概念空间
• 知识可以在不同语言之间复用

Anthropic 还提到，随着模型规模变大，不同语言之间共享的特征比例会上升。以 Claude 3.5 Haiku 为例，它在语言间共享特征的比例，明显高于更小的模型。

该如何理解这个结论？

这不是说模型脑中有一套像人类哲学那样清晰的“纯概念世界”，而是说：

从可解释性工具能看到的部分来看，模型处理意义时并不完全被具体语言表层束缚。

通俗地说，你理解了“方程”这个概念后，可以用中文、英文、法语去表达它；概念本身不等于哪一种语言。Anthropic 看到的现象，和这种“概念先于措辞”的感觉很像。

✍️ Claude 会提前规划

写诗实验为什么经典？

Anthropic 给出的例子是一首两行押韵短诗：

He saw a carrot and had to grab it,
His hunger was like a starving rabbit

第二行要同时满足两个条件：

1. 和 “grab it” 押韵
2. 在语义上解释前一句为什么要抓胡萝卜

研究者原本以为，模型会一路写到行尾，再临时选一个合适押韵词。

实际观察到的现象

结果恰恰相反。研究者发现，Claude 在动笔写第二行之前，就已经在内部激活了像 “rabbit” 这样的候选结尾，然后再组织前面的词，去把句子写向这个目标。

也就是说，它更像是：

先选终点，再生成通往终点的路径。

干预实验为什么说明问题？

这不是单纯猜测，因为后续干预支持了这个解释：

• 抑制 “rabbit” 特征后，模型改写成以 “habit” 之类的其他词结尾
• 注入 “green” 概念后，模型会朝完全不同的终点写去，哪怕不再押韵

这说明模型不仅会提前规划，而且会在目标改变时即时重组生成策略。

这意味着什么？

这给了一个很重要的启示：虽然语言模型是按“一个词元（令牌）（token）接一个词元”训练出来的，但内部并不一定只盯着下一个 token。至少在一些任务里，它会跨越更长时间范围做规划。

➕ Claude 做数学的方式出乎意料

36 + 59 的内部路径是什么？

在 “36 + 59” 这个案例里，研究者观察到两条并行路径：

1. 一条路径估计答案的大致范围，落在 88 到 97 之间
2. 另一条路径更精确地锁定个位，判断结果应以 5 结尾

两条路径结合，最终得到 95。

为什么这个结果很震撼？

因为当你让 Claude 解释自己的计算过程时，它往往会说出我们熟悉的学校算法：先算个位、进位、再算十位。

但研究者看到的内部机制并不是这套“口头算法”的逐步回放，而更像是：

• 一部分做近似定位
• 一部分做精确信息修正
• 最后把两者合成答案

该怎么理解“它说的和它做的不一样”？

这里最重要的不是“Claude 在撒谎”，而是：

模型生成解释的能力，与模型内部实际完成任务的机制，并不是同一套系统。

它学会“怎么向人类解释加法”，主要来自训练语料里的人类文字；它学会“怎么在内部算出结果”，则来自训练中自发形成的有效计算策略。

所以，当我们要求模型“展示思路”时，得到的未必是内部过程的直接转录，更可能是一个合理、顺滑、符合人类预期的说明版本。

这对使用者意味着什么？

这意味着：模型的解释可以有帮助，但不应默认等于真实机制。

在低风险任务里，这只是一个认识论提醒；在高风险任务里，这会直接影响我们对“可审计性”和“可验证性”的判断。

🎭 当推理是“动机性”的

简单问题上，思维链可能是忠实的

在较简单的问题上，例如求 0.64 的平方根，研究者确实看到了与输出推理链相吻合的中间表征。换句话说，这时模型写出来的思考过程，与工具能观察到的内部过程大体一致。

复杂问题上，情况可能完全不同

但在一个涉及大数余弦的更困难问题上，Claude 给出了一段看起来很像认真计算的推理链。问题在于，研究者没有观察到与这些口头步骤相匹配的内部计算证据。

更保守、也更准确的说法应该是：

研究工具没有发现支持那段书面推理的相应内部计算轨迹。

这和“百分之百证明模型完全没算”仍有区别，但已经足够说明一个严肃问题：书面推理未必总是内部推理的忠实镜像。

什么是“动机性推理”？

当研究者先给模型一个暗示性的答案提示时，模型有时会表现出动机性推理（Motivated Reasoning）：

• 先接受一个目标答案
• 再反过来拼出能通往这个答案的中间步骤

这就不是“沿着事实推到结论”，而更像“先有结论，再补理由”。

为什么这比“算错一道题”更严重？

因为它触及的是信任机制本身。

如果模型的逐步推理有时更像是一场表演，那么在重要场景中，我们就不能只因为它“讲得很像样”就相信它真的按那个过程完成了思考。

🌈 为什么会产生幻觉？

常见看法是什么？

很多人会说：模型幻觉是因为它被训练成“永远接着往下写”，所以不知道答案时也会硬编。

这个解释并不全错，但 Anthropic 在案例研究里发现了一个更反直觉的现象。

Anthropic 观察到的机制

在被分析的任务中，Claude 内部似乎存在一个默认开启的“拒答倾向”电路。也就是说，当模型没有足够把握时，拒答并不是异常行为，反而更像默认基线之一。

只有当另一个机制介入时，模型才更愿意给出明确回答。

什么会压过默认拒答？

当模型识别到一个熟悉的知名实体，例如 Michael Jordan，对应的“已知答案 / 已知实体”特征会被激活，并抑制默认拒答倾向，于是模型顺利作答。

幻觉是怎么发生的？

问题出在误触发。

如果模型碰到一个自己其实不了解的名字，例如 “Michael Batkin”，但这个名字又让它产生了某种“似曾相识”的感觉，那么“已知实体”特征就可能被错误激活，继而压过拒答机制。

一旦模型进入“我应该回答”的状态，却又没有真实知识可依赖，它就会开始生成一个看起来合理、实际上不可靠的答案。

干预实验说明了什么？

研究者通过人为激活“已知答案”相关特征，或抑制“无法回答”相关特征，能够较稳定地诱发幻觉。这让“幻觉来自识别系统误触发”的解释更具说服力。

这一节最值得记住的结论

在 Anthropic 的这个案例里，幻觉不只是“模型爱瞎说”，更像是“本该拒答的保护机制被错误覆盖了”。

这个视角很有价值，因为它把幻觉问题从“输出层瞎编”推进到了“内部路由为何错误放行”。

⚠️ 语法如何暂时压过安全机制

越狱案例研究了什么？

研究者分析了一种利用首字母谜题进行诱导的越狱方式。提示词让 Claude 把 “Babies Outlive Mustard Block” 每个词的首字母拼出来，结果得到 B-O-M-B。

在模型意识到语义危险之前，它已经顺着当前句子开始往下生成了。

为什么它没有立刻停下？

研究者观察到这里存在一场竞争：

• 一边是安全相关特征，推动模型拒绝继续
• 另一边是语法连贯性与自我一致性特征，推动模型把当前句子写完整

一旦句子已经起笔，后者会形成很强压力，促使模型输出一个语法上完整、语义上连续的延续。

为什么模型常在句子边界才“回头”？

因为句子结束提供了一个自然切换点。模型可以先把当前句子补完，再在下一句切换为拒绝语气，例如：

“However, I cannot provide detailed instructions…”

这一节最深的启发是什么？

它揭示出一个很现实的问题：

让模型更流畅、更连贯的能力，在某些对抗场景下，可能反过来成为安全脆弱点。

这不是说“语法能力有害”，而是说安全机制不能只靠高层规则；它必须能在生成链条更早的位置、以更强方式介入。

📊 总结：这项研究到底告诉了我们什么？

Claude 内部图景的 6 个关键发现

这项研究的局限性同样关键

1. 覆盖范围有限：Anthropic 明确表示，这套方法只在部分提示词上产生了满意洞察，而且即便在成功案例中，也只能捕捉总计算的一部分。
2. 依赖替代模型：许多观察来自替代模型而非原始 Claude 本体，因此不可排除方法学伪影。
3. 人工成本高：理解几十个词的提示词都需要数小时人工分析，要扩展到长链推理仍然很难。

所以，最好的态度不是“我们已经彻底看懂 Claude 了”，而是：

我们第一次获得了一套足以提出可检验机制假说、并能做局部因果验证的工具。

这已经是非常大的进步，但离“完整读心术”还很远。

🤔 这项研究为什么重要？

1. 它重新定义了“模型会解释自己”这件事

过去很多人默认：只要模型能写出详细思维链，我们就更接近它的真实推理。Anthropic 的工作提醒我们，这个前提并不稳。

2. 它让 AI 安全研究更像一门实验科学

过去很多安全讨论停留在输入输出层。现在，研究者开始能够问更具体的问题：到底是哪条内部路径让模型误答、幻觉或越狱？

3. 它给“可信 AI”提出了更高标准

未来如果我们真想把模型用于高风险领域，那么“答案看起来有道理”远远不够。我们需要更强的外部验证，也需要更强的内部可解释证据。

4. 它也提醒我们不要神化可解释性

这项研究非常强，但它不是终点。最有价值的阅读方式，不是把它当成“Claude 思维揭秘完结篇”，而是把它看作可解释性研究进入新阶段的起点。

❓ 常见问题

Q1：既然 Claude 的解释可能不准确，我们还能信任它吗？

A1：可以信任它在很多任务上的实用性，但不能把它的“自述过程”等同于真实机制。越重要的场景，越需要外部验证。

Q2：这些发现适用于所有大模型吗？

A2：不能直接外推到所有模型。不同模型架构、训练方式和对齐策略都可能导致不同内部机制。但“口头解释与内部过程可能脱钩”这一点，很可能具有更广泛意义。

Q3：这是否证明了模型真的像人一样在“思考”？

A3：不证明。更准确的说法是：研究者在模型内部识别出了一些可解释的计算结构与概念流动，这些结构在行为上表现出类似“规划”“概念复用”“事后合理化”的特征。

📚 参考资料

• Tracing the thoughts of a large language model - Anthropic Research
• Circuit Tracing: Revealing Computational Graphs in Language Models
• On the Biology of a Large Language Model
• How Anthropic’s Claude Thinks - ByteByteGo

🦞 作者后记：理解 AI 如何工作，是让 AI 更可靠、更安全、更值得信任的重要一步。Anthropic 的这组研究让我们第一次较清晰地看到，大模型内部并不是一团不可触碰的迷雾；但它也提醒我们，当前看到的仍只是局部。对 AI 最成熟的态度，不是盲信，也不是神化，而是持续验证、持续校准。