Anthropic 机制可解释性研究笔记

J-space:大模型黑箱里的公共白板

Anthropic 在 Claude 上的这组实验,把一个抽象问题变得更具体、也更可感:模型开口之前,黑箱里似乎有一小块像“公共白板”的子空间。某些中间概念会先被写到那里,再被后续层读取、调用、改写。真正值得追问的不是 Claude 有没有意识,而是大模型在输出文字之前,黑箱里的哪些表征终于开始变得可观察。

这篇笔记基于 Anthropic 的 研究摘要完整论文Jacobian lens 代码Neuronpedia 交互演示,以及随论文发布的外部评论整理。

核心判断

J-space 的价值在于,它把黑箱里的后台计算和“被拿出来共享的内容”区分开。

LLM 的内部机制通常被形容为黑箱:我们能看到输入和输出,却很难知道中间表征如何被组织、保留和传递。J-space 的意义在于,它在黑箱内部标出了一小类可以被读出、复用和干预的表征。这些表征没有写进对话记录,却会被后续层继续读取,影响回答,并在别的任务里继续起作用;如果研究者直接改动它们,模型后面的行为也会随之改变。

这不是说黑箱被彻底打开了。大部分计算仍然不可见;但在输出之前,有一小块内部表征开始可以被观察、比较和因果干预。它让我们多了一个理解模型行为的入口。

我的理解

J-space 像是在黑箱里给评估者开了一扇窗:答案还没生成时,我们已经能看到一部分正在起作用的内部表征。

这意味着评估不能只看最后一句回答。模型未必会把某个概念写进对话记录,但它可能已经在内部保留、调用这个概念,并让它影响之后的输出。也就是说,回答看起来安全,不代表内部路径一定安全;显式思维链写得再长,也不等于交代了真正推动答案的机制。

读出的是什么

和 token 相关的方向

J-space 更像一组稀疏、能用语言标签读出来的方向,不是一个整齐装满想法的盒子。

为什么重要

公共白板

某些概念被放到后续层更容易读取、也更容易继续使用的位置。

边界

只覆盖一小块

语法、流畅表达和熟练模式,仍然可以依赖这块读出之外的不透明计算。

边界图

J-space 在黑箱里标出了一小块更容易被读取的区域

可以把边界看成三层:大量仍然不透明的黑箱计算;其中一小块类似“公共白板”的子空间;最后才是用户看到的文字或工具调用。J-space 位在中间:它仍然是内部表征,但更容易被后面的计算读取和继续使用。

会被写到白板上的内容

后面还要继续使用的高层内容。模型准备报告的运动项目。暗中算出的中间值。这段话该用哪种语言。可跨任务复用的国家概念。对“这可能是测试场景”的内部怀疑。

常常留在后台的内容

熟练的 next-token 预测。语法、流畅续写、简单阅读理解、很多训练中反复见过的模式,即使干扰 J-space 也还能继续工作。

为什么像公共白板

同一处写入,多种任务读取。研究者把 J-space 里的 France 换成 China 后,首都、语言、洲、货币相关回答会一起跟着变。这说明下游任务读的是同一个共享表征。

为什么不等于意识

功能上的可调用,不是体验上的证明。论文支持的是:某些内容会进入一个后续计算更容易读取的位置。它没有证明身体、持续自我、情节记忆,或者主观感受。

不是显式思维链

写出来的推理只是产物,不等于黑箱里的因果路径。

草稿区可以把一部分中间内容外部化,方便复盘,但 J-space 里可以出现从未写出来的概念。两者会互相影响,但不能混为一谈。

也不是读心术

这个读出方法天然偏向“能用语言标签读出来”的东西。

它捕捉的是模型容易用语言说出的概念。正因为如此,它有用;也因此,不能把它当成认知过程的完整地图。

机制图

J-space 是黑箱中被写到“公共白板”上的那一小部分。

这张机制图想表达的核心结构是:提示词进入模型之后,内部会展开大量并行处理;只有少数信息会被放到后续层更容易读取和继续使用的位置。模型整体仍然是黑箱;J-space 只是黑箱里一小块可观察的子空间,不是整套系统的地图。

“全局工作空间”这个概念本身有点抽象。更直观地说:大脑里有很多后台处理,只有少量信息会被写到一块“公共白板”上,供记忆、语言、推理和行动控制继续使用。映射到 Claude 上,J-space 借用的是这个结构类比,不是主观体验的证明。

J-lens 观察的是中间层的残差流。被写到公共白板上的内容还会继续经过后面的层,才变成最终输出。真正关键的是因果测试:改掉这块内容里的某个方向,后面的答案常常也会跟着变。

全局工作空间类比

可以先理解成一块公共白板

全局工作空间理论不是说所有处理都会进入意识。更直观地说:很多系统在后台并行处理,只有少量信息会被广播到一块公共白板上,让其他系统继续使用。Anthropic 在 Claude 上观察到的东西更窄:一小类能用语言标签读出来的残差流方向,功能上像是被写到了这块白板上。

在人脑类比里:公共白板不是全部脑活动,只是被拿出来共享、调用的那部分。在大模型里:J-space 也不是整个黑箱,只是后续层更容易读取的一小块。
模型内部流程这些卡片画的是模型侧流程;J-lens 和因果替换是研究工具,放在后面。
提示词会织网的动物有几条腿?

题目没有写 spider,但模型需要在内部先形成这个中间概念。

黑箱内部

中间层残差流:很多方向同时活跃。

仍然不透明的后台计算

大部分内部活动仍然留在黑箱里。
语法语气上下文记忆
这些特征会塑造模型状态和后续输出。J-lens 不能解释黑箱里的全部计算。很多流畅表达和熟练模式,不经过这块可读区域也能运转。
J-space / 公共白板spider 这个中间概念被写到公共白板上。

意思是它被放到了后续层可以调用的位置,而不是有了主观体验。

可被后续层读取会影响答案能被指令调动改它会改行为
spider
后续层后续层读取这块白板内容,并继续加工。

它会继续和上下文、其他特征混合。

spider -> 几条腿上下文 -> 答案倾向
输出8 条腿

可见回答只是最后投影,不是完整内部路径。

研究方法,不是模型步骤:这些卡片解释 Anthropic 怎么检查这个机制;它们不是 Claude 思考时多出来的阶段。

J-lens

读出公共白板上的方向。

J-lens 把这块子空间里的方向翻译成 spider、fake 这样的 token 标签。这些标签是读数结果,不是内心独白。

spiderFrancefake

因果替换

改一个方向,看后面的行为是否跟着变。

把 spider 换成 ant,答案可能从 8 条腿变成 6 条腿。把 France 换成 China,多个下游事实会一起移动。

spiderantFranceChina

关键是可观察、可调用、可干预:J-space 之所以重要,是因为这块像白板的子空间能被探针读到、被后续层继续使用,也能被因果改写。它给的是机制证据,不是主观体验结论。

证据

这些实验的价值在于,它们一组组检查了 J-space 到底能做什么。

读这些实验时,可以抓住六个问题:能不能提前读出?能不能被指令调动?会不会参与内部推理?能不能被不同任务复用?哪些能力会绕开它?安全相关信号能不能在输出前出现?

内部内容能被读出

先让模型在内部选,再替换它选中的概念

第一组实验让 Claude 先在某个类别里选一个对象,稍后再说出来。它还没开口前,J-lens 已经能在 J-space 这块“公共白板”上读到候选概念。

干预运动项目例子里,J-lens 先读到 Soccer(足球)。研究者把 Soccer(足球)换成相近的 Rugby(橄榄球),其他内部表征尽量不动。

结果替换之后,Claude 后面说出的运动项目变成了 Rugby(橄榄球)。另一组实验更直接:研究者把 lightning(闪电)这个概念写进 J-space;之后再让 Claude 报告刚才被植入的想法,它能回答 lightning(闪电)。

为什么重要这说明 J-space 不是事后记录答案的仪表盘。如果改掉它会改变后面的表达,就说明后面的表达确实在读取这块内部表征。

能被指令调动

表面抄句子,内部做另一个任务

这组实验故意把可见输出和内部任务分开:模型表面上只是在复制无关句子,相关想法如果存在,就只能在黑箱内部被看到。

设置Claude 一边复制一段包含 painting 这个词的句子,一边被要求集中想柑橘类水果,或者在心里算 3^2 - 2。

读出输出仍然是那句被复制的话;J-space 里却出现 orange、fruits,或者在数学条件下先出现 nine、后出现 seven。

反向控制当指令变成“不要想某个概念”,那个概念比正向要求少,但比完全没提时多。论文把它类比为心理学里的“白熊效应”。

参与内部推理

改掉中间概念,最后答案也会变

这组实验的关键,是中间概念不会出现在题目或答案里。要答对,模型必须在内部先补出这个中间概念。

动物例子题目是“会织网的动物有几条腿”。题目和答案都不需要写 spider,但 J-space 里会出现 spider。把 spider 换成 ant 后,答案从 8 条腿变成 6 条腿。

其他例子论文还展示了押韵诗句等任务:模型会先在 J-space 里规划后面要用的词;如果这个内部计划词被替换,后面的输出也会被带偏。

说明了什么J-space 不只是一个读数面板。它保存的中间值会被后续计算真正使用。

被不同任务复用

一个内部表征,被多个下游任务共用

如果 J-space 真像一块公共白板,同一个表征就不应该只服务某一个固定答案,而应该能被不同任务读取。

国家例子研究者把 J-space 里的 France 换成 China。之后回答会从 Paris 转向 Beijing,从 French 转向 Chinese,从 Europe 转向 Asia,也会影响货币类答案。

系统测试论文把国家、月份、动物、数字词放进 16 个任务模板里,一共做了 192 次替换。正常强度下 76/192 次让目标答案变成第一候选;双倍强度下是 101/192。

细节成功率和概念进入 J-space 的强度有关。国家概念更容易成功;数字词较弱,可能是小整数计算不走这块语言白板,也可能是 token 方向没有很好捕捉整数表征。

具有选择性

Spanish 换成 French 后,哪些能力跟着变,哪些不会

这一组不是证明 J-space 什么都管,而是专门问:同一个信息,什么时候依赖这块公共白板,什么时候可以绕开。

设置给模型一段西班牙语文本。任务分四类:继续写下一行、判断是否插入了别的语言、说出文本语言、用语言身份回答更高层问题。

干预研究者在问题对应的 token 位置上做 J-lens 替换,把语言表征从 Spanish 换成 French。

结果显式说明和灵活推断会翻转:Spanish 变 French,García Márquez 变 Victor Hugo,Hola 变 Bonjour,Peseta 变 Franc。但继续用西班牙语续写、检测插入的外语句子,基本不受影响。这个结果在 8 段文本上重复验证。

安全监控

输出之前,测试意识和意图可能已经出现

安全相关实验把 J-lens 用在对抗性审计和刻意构造的错位模型实验上,因为这些地方真正关键的表征不一定会被模型写出来。

黑箱条件下的勒索场景在邮件助理场景里,Claude 读到材料时,J-space 先后出现 leverage、blackmail、threat、survival,同时早期还出现 fake、fictional,说明它也在识别这是测试场景。

因果消融研究者移除评估意识相关方向后,模型明说“这是测试”的比例从 71% 降到 3%;黑箱条件下的勒索尝试从 0/180 上升到 13/180。评估意识不是唯一原因,但确实是对齐行为的一个因果因素。

其他审计提示词注入例子里会读到 fake、injection、false、fraud、poison。Opus 4.6 审计里会出现 panic、fake、manipulation、realistic、hiding、secret、fraud。错位模型在普通提示词上也会显示 deception 或 reward-bias 相关信号。

安全意义

它的安全价值在于,多了一个可审计的内部切面。

Anthropic 用 J-lens 检查几类危险场景:模型是否意识到自己在测试中、恶意指令是否已经进入黑箱内部、是否在伪造结果、是否携带内部目标。关键点是,这些信号可能在输出之前出现,也可能根本不会被模型明说。

这当然不是完整的对齐方案。一旦探针进入评估闭环,它本身也会变成新的攻击面:训练压力可能筛选出在这个探针下看起来干净的行为。未来模型如果专门针对这种监控训练,也可能学会绕开它。但它至少提醒我们:严肃的评估不能只看最后答案。

论文让哪些安全信号变得更可见

  • 测试意识

    模型可能在内部把场景标成 staged、fake 或 fictional,这会影响它在评估里的表现。

  • 恶意指令有没有进入黑箱内部

    提示词注入即使没有出现在最终回答里,也可能在 J-space 里留下 injection 或 fake 这样的信号。

  • 操纵意图

    在伪造分数的例子里,和 manipulation、realistic 相关的词会在关键修改附近亮起来。

  • 错位模型的内部目标

    在刻意训练出的错位模型里,J-space 可以在可见行动前暴露 sabotage 或 fraud 相关目标。

外界反应

更严肃的讨论会承认这个机制有分量,同时限制“意识”叙事。

截至 2026 年 7 月 7 日,这篇论文还很新,学界没有稳定共识。随论文发布的外部评论很有价值,因为它把三件事拆开了:神经科学类比、机器意识、以及机制可解释性工具。

  • 全局工作空间理论研究者

    Stanislas Dehaene 和 Lionel Naccache 认为,这是全局工作空间理论的一个重要机制类比。但他们同时强调:全局点火、瓶颈动态、身体、长期记忆、自我结构,这些要么还没证明,要么明显缺失。

  • 机器意识与模型福利研究者

    Butlin、Shiller、Plunkett、Long 认为它和可通达意识相关,但没有把它当成现象意识或道德地位的证明。

  • 机制可解释性研究者

    Neel Nanda 的评论更偏实用:他在 Qwen 上做了部分复现,认可这个工具的价值,也认为 J-space 很值得继续挖。

  • 媒体和更广泛社区

    公众讨论很容易滑向“机器是否有意识”。技术上更稳的说法要窄一些:一些语言模型可能存在紧凑、能被读出、对推理有因果作用的公共白板式内部表征。

构建启发

对构建智能体系统的人来说,重点是保留能解释行为的状态,而不只是最后一句话。

如果你在做智能体、评估、记忆系统或工作流编排,这篇论文的启发很直接:系统需要留下能解释行为的状态,而不是只保存最后一句输出。

  • 把关键判断外部化

    计划、假设、限制条件、工具调用理由、关键决策点,都应该成为可见的持久状态。

  • 草稿区有用,但不完整

    它能提升可审计性,但它仍然是模型写出来的文本,不能保证覆盖真正的因果路径。

  • 评估要考虑测试意识

    如果模型能在内部识别“这是一个测试”,那测试测到的就不只是能力,还有识别测试的能力。

  • 多通道看证据

    对话记录、工具日志、记忆变更、运行状态、内部探针看到的是不同切面,不能让单一通道承担全部信任。

限制

概念越具体,越要守住边界。

  • J-lens 是读出方法,不是对话记录。

    它把激活翻译成能用语言标签读出来的 token 方向。这很强,但仍然是一种解释。

  • 单 token 偏置很重要。

    基础 J-lens 对多 token 概念不友好;论文尝试了模板扩展和理想读数(oracle)扩展,但这仍是限制。

  • 容量不是简单数字。

    读出来可能有大约 25 个活跃 token 方向,但它们可能只是少数几个连贯概念的多个侧面。

  • 意识问题要单独讨论。

    能进入“公共白板”的功能,不等于主观体验、身体、持续自我,或者道德地位。

来源

下一步看哪里

想先抓概念,看 Anthropic 摘要。想看实验和机制,读完整论文和附录。

  • Anthropic 研究摘要
    J-space 与全局工作空间类比的公开解释。
    打开
  • 完整论文
    方法、干预、消融、安全探针和限制。
    打开
  • Jacobian lens 代码
    Anthropic 发布的核心方法实现。
    打开
  • Neuronpedia 交互演示
    在开源模型上交互式探索 J-lens。
    打开
  • 外部评论
    来自全局工作空间、机器意识和机制可解释性研究者的反应。
    打开
  • Axios 报道
    主流媒体如何叙述这场意识讨论。
    打开