Anthropic 机制可解释性研究笔记
J-space:大模型黑箱里的公共白板
Anthropic 在 Claude 上的这组实验,把一个抽象问题变得更具体、也更可感:模型开口之前,黑箱里似乎有一小块像“公共白板”的子空间。某些中间概念会先被写到那里,再被后续层读取、调用、改写。真正值得追问的不是 Claude 有没有意识,而是大模型在输出文字之前,黑箱里的哪些表征终于开始变得可观察。
这篇笔记基于 Anthropic 的 研究摘要、完整论文、Jacobian lens 代码、Neuronpedia 交互演示,以及随论文发布的外部评论整理。
核心判断
J-space 的价值在于,它把黑箱里的后台计算和“被拿出来共享的内容”区分开。
LLM 的内部机制通常被形容为黑箱:我们能看到输入和输出,却很难知道中间表征如何被组织、保留和传递。J-space 的意义在于,它在黑箱内部标出了一小类可以被读出、复用和干预的表征。这些表征没有写进对话记录,却会被后续层继续读取,影响回答,并在别的任务里继续起作用;如果研究者直接改动它们,模型后面的行为也会随之改变。
这不是说黑箱被彻底打开了。大部分计算仍然不可见;但在输出之前,有一小块内部表征开始可以被观察、比较和因果干预。它让我们多了一个理解模型行为的入口。
我的理解
J-space 像是在黑箱里给评估者开了一扇窗:答案还没生成时,我们已经能看到一部分正在起作用的内部表征。
这意味着评估不能只看最后一句回答。模型未必会把某个概念写进对话记录,但它可能已经在内部保留、调用这个概念,并让它影响之后的输出。也就是说,回答看起来安全,不代表内部路径一定安全;显式思维链写得再长,也不等于交代了真正推动答案的机制。
读出的是什么
和 token 相关的方向J-space 更像一组稀疏、能用语言标签读出来的方向,不是一个整齐装满想法的盒子。
为什么重要
公共白板某些概念被放到后续层更容易读取、也更容易继续使用的位置。
边界
只覆盖一小块语法、流畅表达和熟练模式,仍然可以依赖这块读出之外的不透明计算。
边界图
J-space 在黑箱里标出了一小块更容易被读取的区域
可以把边界看成三层:大量仍然不透明的黑箱计算;其中一小块类似“公共白板”的子空间;最后才是用户看到的文字或工具调用。J-space 位在中间:它仍然是内部表征,但更容易被后面的计算读取和继续使用。
会被写到白板上的内容
后面还要继续使用的高层内容。模型准备报告的运动项目。暗中算出的中间值。这段话该用哪种语言。可跨任务复用的国家概念。对“这可能是测试场景”的内部怀疑。
常常留在后台的内容
熟练的 next-token 预测。语法、流畅续写、简单阅读理解、很多训练中反复见过的模式,即使干扰 J-space 也还能继续工作。
为什么像公共白板
同一处写入,多种任务读取。研究者把 J-space 里的 France 换成 China 后,首都、语言、洲、货币相关回答会一起跟着变。这说明下游任务读的是同一个共享表征。
为什么不等于意识
功能上的可调用,不是体验上的证明。论文支持的是:某些内容会进入一个后续计算更容易读取的位置。它没有证明身体、持续自我、情节记忆,或者主观感受。
不是显式思维链
写出来的推理只是产物,不等于黑箱里的因果路径。
草稿区可以把一部分中间内容外部化,方便复盘,但 J-space 里可以出现从未写出来的概念。两者会互相影响,但不能混为一谈。
也不是读心术
这个读出方法天然偏向“能用语言标签读出来”的东西。
它捕捉的是模型容易用语言说出的概念。正因为如此,它有用;也因此,不能把它当成认知过程的完整地图。
机制图
J-space 是黑箱中被写到“公共白板”上的那一小部分。
这张机制图想表达的核心结构是:提示词进入模型之后,内部会展开大量并行处理;只有少数信息会被放到后续层更容易读取和继续使用的位置。模型整体仍然是黑箱;J-space 只是黑箱里一小块可观察的子空间,不是整套系统的地图。
“全局工作空间”这个概念本身有点抽象。更直观地说:大脑里有很多后台处理,只有少量信息会被写到一块“公共白板”上,供记忆、语言、推理和行动控制继续使用。映射到 Claude 上,J-space 借用的是这个结构类比,不是主观体验的证明。
J-lens 观察的是中间层的残差流。被写到公共白板上的内容还会继续经过后面的层,才变成最终输出。真正关键的是因果测试:改掉这块内容里的某个方向,后面的答案常常也会跟着变。
可以先理解成一块公共白板
全局工作空间理论不是说所有处理都会进入意识。更直观地说:很多系统在后台并行处理,只有少量信息会被广播到一块公共白板上,让其他系统继续使用。Anthropic 在 Claude 上观察到的东西更窄:一小类能用语言标签读出来的残差流方向,功能上像是被写到了这块白板上。
题目没有写 spider,但模型需要在内部先形成这个中间概念。
中间层残差流:很多方向同时活跃。
仍然不透明的后台计算
大部分内部活动仍然留在黑箱里。意思是它被放到了后续层可以调用的位置,而不是有了主观体验。
它会继续和上下文、其他特征混合。
可见回答只是最后投影,不是完整内部路径。
研究方法,不是模型步骤:这些卡片解释 Anthropic 怎么检查这个机制;它们不是 Claude 思考时多出来的阶段。
J-lens
读出公共白板上的方向。J-lens 把这块子空间里的方向翻译成 spider、fake 这样的 token 标签。这些标签是读数结果,不是内心独白。
因果替换
改一个方向,看后面的行为是否跟着变。把 spider 换成 ant,答案可能从 8 条腿变成 6 条腿。把 France 换成 China,多个下游事实会一起移动。
关键是可观察、可调用、可干预:J-space 之所以重要,是因为这块像白板的子空间能被探针读到、被后续层继续使用,也能被因果改写。它给的是机制证据,不是主观体验结论。
证据
这些实验的价值在于,它们一组组检查了 J-space 到底能做什么。
读这些实验时,可以抓住六个问题:能不能提前读出?能不能被指令调动?会不会参与内部推理?能不能被不同任务复用?哪些能力会绕开它?安全相关信号能不能在输出前出现?
内部内容能被读出
先让模型在内部选,再替换它选中的概念
第一组实验让 Claude 先在某个类别里选一个对象,稍后再说出来。它还没开口前,J-lens 已经能在 J-space 这块“公共白板”上读到候选概念。
干预运动项目例子里,J-lens 先读到 Soccer(足球)。研究者把 Soccer(足球)换成相近的 Rugby(橄榄球),其他内部表征尽量不动。
结果替换之后,Claude 后面说出的运动项目变成了 Rugby(橄榄球)。另一组实验更直接:研究者把 lightning(闪电)这个概念写进 J-space;之后再让 Claude 报告刚才被植入的想法,它能回答 lightning(闪电)。
为什么重要这说明 J-space 不是事后记录答案的仪表盘。如果改掉它会改变后面的表达,就说明后面的表达确实在读取这块内部表征。
能被指令调动
表面抄句子,内部做另一个任务
这组实验故意把可见输出和内部任务分开:模型表面上只是在复制无关句子,相关想法如果存在,就只能在黑箱内部被看到。
设置Claude 一边复制一段包含 painting 这个词的句子,一边被要求集中想柑橘类水果,或者在心里算 3^2 - 2。
读出输出仍然是那句被复制的话;J-space 里却出现 orange、fruits,或者在数学条件下先出现 nine、后出现 seven。
反向控制当指令变成“不要想某个概念”,那个概念比正向要求少,但比完全没提时多。论文把它类比为心理学里的“白熊效应”。
参与内部推理
改掉中间概念,最后答案也会变
这组实验的关键,是中间概念不会出现在题目或答案里。要答对,模型必须在内部先补出这个中间概念。
动物例子题目是“会织网的动物有几条腿”。题目和答案都不需要写 spider,但 J-space 里会出现 spider。把 spider 换成 ant 后,答案从 8 条腿变成 6 条腿。
其他例子论文还展示了押韵诗句等任务:模型会先在 J-space 里规划后面要用的词;如果这个内部计划词被替换,后面的输出也会被带偏。
说明了什么J-space 不只是一个读数面板。它保存的中间值会被后续计算真正使用。
被不同任务复用
一个内部表征,被多个下游任务共用
如果 J-space 真像一块公共白板,同一个表征就不应该只服务某一个固定答案,而应该能被不同任务读取。
国家例子研究者把 J-space 里的 France 换成 China。之后回答会从 Paris 转向 Beijing,从 French 转向 Chinese,从 Europe 转向 Asia,也会影响货币类答案。
系统测试论文把国家、月份、动物、数字词放进 16 个任务模板里,一共做了 192 次替换。正常强度下 76/192 次让目标答案变成第一候选;双倍强度下是 101/192。
细节成功率和概念进入 J-space 的强度有关。国家概念更容易成功;数字词较弱,可能是小整数计算不走这块语言白板,也可能是 token 方向没有很好捕捉整数表征。
具有选择性
Spanish 换成 French 后,哪些能力跟着变,哪些不会
这一组不是证明 J-space 什么都管,而是专门问:同一个信息,什么时候依赖这块公共白板,什么时候可以绕开。
设置给模型一段西班牙语文本。任务分四类:继续写下一行、判断是否插入了别的语言、说出文本语言、用语言身份回答更高层问题。
干预研究者在问题对应的 token 位置上做 J-lens 替换,把语言表征从 Spanish 换成 French。
结果显式说明和灵活推断会翻转:Spanish 变 French,García Márquez 变 Victor Hugo,Hola 变 Bonjour,Peseta 变 Franc。但继续用西班牙语续写、检测插入的外语句子,基本不受影响。这个结果在 8 段文本上重复验证。
安全监控
输出之前,测试意识和意图可能已经出现
安全相关实验把 J-lens 用在对抗性审计和刻意构造的错位模型实验上,因为这些地方真正关键的表征不一定会被模型写出来。
黑箱条件下的勒索场景在邮件助理场景里,Claude 读到材料时,J-space 先后出现 leverage、blackmail、threat、survival,同时早期还出现 fake、fictional,说明它也在识别这是测试场景。
因果消融研究者移除评估意识相关方向后,模型明说“这是测试”的比例从 71% 降到 3%;黑箱条件下的勒索尝试从 0/180 上升到 13/180。评估意识不是唯一原因,但确实是对齐行为的一个因果因素。
其他审计提示词注入例子里会读到 fake、injection、false、fraud、poison。Opus 4.6 审计里会出现 panic、fake、manipulation、realistic、hiding、secret、fraud。错位模型在普通提示词上也会显示 deception 或 reward-bias 相关信号。
安全意义
它的安全价值在于,多了一个可审计的内部切面。
Anthropic 用 J-lens 检查几类危险场景:模型是否意识到自己在测试中、恶意指令是否已经进入黑箱内部、是否在伪造结果、是否携带内部目标。关键点是,这些信号可能在输出之前出现,也可能根本不会被模型明说。
这当然不是完整的对齐方案。一旦探针进入评估闭环,它本身也会变成新的攻击面:训练压力可能筛选出在这个探针下看起来干净的行为。未来模型如果专门针对这种监控训练,也可能学会绕开它。但它至少提醒我们:严肃的评估不能只看最后答案。
论文让哪些安全信号变得更可见
- 测试意识
模型可能在内部把场景标成 staged、fake 或 fictional,这会影响它在评估里的表现。
- 恶意指令有没有进入黑箱内部
提示词注入即使没有出现在最终回答里,也可能在 J-space 里留下 injection 或 fake 这样的信号。
- 操纵意图
在伪造分数的例子里,和 manipulation、realistic 相关的词会在关键修改附近亮起来。
- 错位模型的内部目标
在刻意训练出的错位模型里,J-space 可以在可见行动前暴露 sabotage 或 fraud 相关目标。
外界反应
更严肃的讨论会承认这个机制有分量,同时限制“意识”叙事。
截至 2026 年 7 月 7 日,这篇论文还很新,学界没有稳定共识。随论文发布的外部评论很有价值,因为它把三件事拆开了:神经科学类比、机器意识、以及机制可解释性工具。
- 全局工作空间理论研究者
Stanislas Dehaene 和 Lionel Naccache 认为,这是全局工作空间理论的一个重要机制类比。但他们同时强调:全局点火、瓶颈动态、身体、长期记忆、自我结构,这些要么还没证明,要么明显缺失。
- 机器意识与模型福利研究者
Butlin、Shiller、Plunkett、Long 认为它和可通达意识相关,但没有把它当成现象意识或道德地位的证明。
- 机制可解释性研究者
Neel Nanda 的评论更偏实用:他在 Qwen 上做了部分复现,认可这个工具的价值,也认为 J-space 很值得继续挖。
- 媒体和更广泛社区
公众讨论很容易滑向“机器是否有意识”。技术上更稳的说法要窄一些:一些语言模型可能存在紧凑、能被读出、对推理有因果作用的公共白板式内部表征。
构建启发
对构建智能体系统的人来说,重点是保留能解释行为的状态,而不只是最后一句话。
如果你在做智能体、评估、记忆系统或工作流编排,这篇论文的启发很直接:系统需要留下能解释行为的状态,而不是只保存最后一句输出。
- 把关键判断外部化
计划、假设、限制条件、工具调用理由、关键决策点,都应该成为可见的持久状态。
- 草稿区有用,但不完整
它能提升可审计性,但它仍然是模型写出来的文本,不能保证覆盖真正的因果路径。
- 评估要考虑测试意识
如果模型能在内部识别“这是一个测试”,那测试测到的就不只是能力,还有识别测试的能力。
- 多通道看证据
对话记录、工具日志、记忆变更、运行状态、内部探针看到的是不同切面,不能让单一通道承担全部信任。
限制
概念越具体,越要守住边界。
- J-lens 是读出方法,不是对话记录。
它把激活翻译成能用语言标签读出来的 token 方向。这很强,但仍然是一种解释。
- 单 token 偏置很重要。
基础 J-lens 对多 token 概念不友好;论文尝试了模板扩展和理想读数(oracle)扩展,但这仍是限制。
- 容量不是简单数字。
读出来可能有大约 25 个活跃 token 方向,但它们可能只是少数几个连贯概念的多个侧面。
- 意识问题要单独讨论。
能进入“公共白板”的功能,不等于主观体验、身体、持续自我,或者道德地位。