3.1 关键发现：Transformer 在 prefill 时就写好了”结论备忘录”#

论文做了一个因果实验。Prompt 是”我的账户余额是 5000 元。我想买一台笔记本电脑。“正常 prefill，存下全部 KV Cache。然后把 5000 这个 token 的 KV 替换成随机值，其他所有 token 的 KV 保持原样→模型的回答几乎不变。反过来，保持 5000 不变，把后面句号 。 以及它之后的 token 的 KV 清掉→模型回答完全错误。

这意味着什么？余额 5000 这个信息，不是在 token 5000 的 KV 里被消费的。Transformer 在 prefill 阶段已经把 “余额=5000” 这个结论传播并记录到了下游的聚合 token（句号、换行、段落边界）上。Decode 时模型读的是这些”备忘笔记”，不读原始字段。

论文把这称为 “distributed write, concentrated read”——写入时信息分散传播到所有后续 token，读取时集中从少数聚合 token 消费。字段本身的 KV 驱动不到 1% 的决策。

这个发现把 KV Cache 的性质彻底重定义了——它不是”原材料仓库”，而是一本”结论备忘录”。你改原料没用，因为消费端读的是下游已经写好的结论。

3.2 那怎么改？——追加一条更正便签#

既然结论已经写在聚合 token 上了，直接改原料无效，那就追加一条显式更正，让模型在处理更正时重新计算结论：

1
[原始 prompt：余额是 5000...] + [更正：余额改为 3200，本条覆盖之前所有值]

Transformer 在 prefill 这条 erratum 时，会做 attention 回顾前文，在 erratum 的引导下意识到旧结论失效，基于新值重新推理。因为 erratum 是 append-only——它追加在已有缓存末尾，前缀部分一个 token 不变——前缀缓存完全不受影响。

1
                | 直接改字段KV  | Erratum (append-only)
2
前缀缓存命中率  |     1%        |     98.5%
3
p90 TTFT        |      -        |    降 53–398×

记忆点：又是 changelog + checkpoint。Erratum 是增量 changelog，累积到阈值触发一次全量 reprefill（checkpoint）截断。98.5% 的请求根本不需要截断。

3.3 那怎么复用？——预编译 + RoPE 重定位#

回到最初的问题：怎么复用不变的技能文本的 KV Cache？

既然 KV Cache 里存的是”笔记”而不是原料，而技能文本（退货政策、工具说明）是自包含的——它的笔记只依赖自身内容，不依赖外部上下文——那这些笔记就是位置可移植的。

预编译：把技能文本在隔离环境 prefill 一次，存下 KV Cache。

拼接时，关键在 RoPE（旋转位置编码）的数学性质。RoPE 把位置信息编码为对 key 向量的旋转。它的核心性质是旋转可叠加：

预编译时存的 key 带了位置 j 的旋转 R(j) · Kⱼ。要搬到新位置 j+P，再转 P 度：R(P) · R(j) · Kⱼ = R(j+P) · Kⱼ。O(L) 的逐 key 旋转替代了 O(L²) 的 attention 重算，在 32k 长度下提速 13.9×。

一个容易产生的疑虑：技能 token 在隔离 prefill 时没”见”过前文——它们不知道前缀的存在。这部分信息缺失无法通过旋转补回。论文的解决方案是 Seam-Repair——只把拼接边界两三个 token 重新 prefill（让它们 attend 前缀），技能内部继续复用。因为技能是自包含的，边界重算足够补偿。实验验证 logit cosine 0.90-0.999。

Erratum 不会导致上下文 O(n²) 爆炸吗？ 这是个常见误解。Erratum 是追加新 token，cost = O(N_new × N_old)，不是 O(N_old²)。在 14000 token 的上下文末尾加 20 token 的 erratum，代价 ≈ 14k × 20，可忽略。真正 O(n²) 的只有全量 reprefill——而它只在 checkpoint 时触发。

4.1 DeepSeek Engram：模型内的哈希表#

2026 年初 DeepSeek 发表的 Engram 提供了一个完全不同的路线。Engram 在 Transformer 的特定层插入一个外挂哈希表——根据输入 token 的 N-gram pattern 做确定性哈希查找，把查到的 embedding 通过 gate 融合进 hidden state：

1
输入序列 → 提取后缀 2-gram、3-gram → 8 个不同哈希函数映射到嵌入表槽位 → 查表 → sigmoid gate 融合

类比：attention 是 CPU（计算），Engram 哈希表是 RAM（存储）。遇到熟悉的 N-gram pattern，模型直接从”RAM”读，不用 attention 算。查找是 O(1) 的，且因为是确定性哈希（非学习路由），大嵌入表可以放在 CPU 内存预取。

4.2 User as Engram：把用户事实存进哈希槽位#

User as Engram 利用 Engram 的稀疏寻址特性做了一件 LoRA 做不到的事：把用户内容（事实）和推理技能（怎么用事实）分开存。

• 用户内容 → Engram 哈希表的特定槽位。触发 N-gram（如用户名字 “Maya”）通过确定性哈希落到固定槽位，写入事实 embedding。只有输入包含 “Maya” 时才读这几行。
• 推理技能 → 一个共享 LoRA adapter。所有用户共用同一个推理 adapter，不随用户数量增长。

每用户仅需 88 KB（几行哈希表槽位），对比 per-user LoRA 的 14.2 MB。更关键的是隔离性——不同用户的 trigger N-gram 落在不同槽位，多个用户的表可以直接叠加，哈希不冲突就不干扰。这与 LoRA 的全局覆盖形成了根本性的架构差异。

记忆点：如果把 Engram 比作大脑，哈希表 = 海马体（存稀疏的事实记忆），共享 LoRA = 新皮层（存缓慢习得的推理技能）。一个事实只动一个槽位，不动整个皮层。这和 Programmable KV 里”不要动字段的 KV，在末尾加更正”是同一套直觉。

A.0 RoPE 的数学定义#

RoPE 将位置信息以旋转的方式注入 query 和 key，非 GPT-2 式的可学习位置表加法。

每个注意力头维度为 $d$，将 $d$ 维向量两两分组为 $d/2$ 个二维平面。对位置 $pos$ 上的 query/key 向量，在第 $i$ 个维度对上施加角度 $pos \cdot \theta_i$：

旋转矩阵（每个二维平面一个 $2 \times 2$ 旋转）：

整个 $d$ 维向量的旋转矩阵是对角分块的：

RoPE 版本的 Q、K：

V 不参与旋转——位置信息只需影响”谁看谁”，不需影响”被看时传什么内容”。

记忆点：RoPE 不是”加一个位置向量”，而是在做 QK 点积之前先把 Q 和 K 各自旋转。位置越远，旋转角度越大。

A.1 核心性质：注意力只依赖相对位置#

对位置 $i$ 的 query 和位置 $j$ 的 key：

旋转矩阵是正交矩阵且满足群封闭性：

因此：

分数仅取决于相对位置 $j-i$。两旋转组合等于角度相加——先回转 $i$ 度再前转 $j$ 度 = 净转 $j-i$ 度。这就是 RoPE 天然支持训练时未见长度的原因。

A.2 预编译：技能被”冷冻”时存了什么#

技能文本占 $L_s$ 个 token，隔离 prefill（位置从 0）。对 $j \in [0, L_s-1]$：

存入 KV Cache 的就是 $\{k_j^{\text{skill}}, v_j^{\text{skill}}\}$。注意存的是已旋过的 key（$R_j \cdot k_j$）——生产系统中 post-RoPE keys 直接存，避免 decode 时重复计算。

A.3 重定位：对 key 施加 $\Delta$ 旋转#

插入新上下文位置 $[P, P+L_s-1]$。利用旋转可叠加性：

$L_s$ 个 key，每个一次 $R_P$ 旋转，等价于在新位置重新 prefill。Value 完全不动。

记忆点：因为 $R(a) \cdot R(b) = R(a+b)$。

A.4 三种 Attention 关系的验证#

情况 A：前缀 token 看技能 token（$i < P,\ j+P$）

绝对位置 $j+P$、相对距离正确。✅

情况 B：技能 token 看前缀 token（$j+P,\ i < P$）

位置正确 ✅。但 $q_{j+P}$ 来自隔离 prefill——技能 token 没”见”过前缀，query 不含前缀信息。这是 RoPE 重定位不能修复的内容条件依赖。❌

情况 C：技能内部 token 互看（$j_1+P,\ j_2+P$）

相对位置 $j_2-j_1$ 不变。✅

A.5 Seam-Repair 与复杂度#

边界 2–3 个 token 重新 prefill 吸收前缀信息，技能内部复用。logit cosine 0.90–0.999。

复杂度对比（技能 $L_s$，前缀 $L_p$，后缀 $L_t$）：

完整重算：$\text{prefill} = O((L_p + L_s + L_t)^2)$

RoPE 重定位：

• 重旋转 key：$O(L_s \cdot d)$
• Seam-repair：$O(k \cdot (L_p + k + L_t)),\ k = 2 \sim 3$
• 后缀 prefill：$O(L_t^2 + L_t \cdot (L_p + L_s))$

技能 attention 从 $O(L_s^2 + L_s L_p)$ 降为 $O(L_s \cdot d)$。$L_s = 8000$ 时差异数量级——32k 长度下 TTFT 加速 13.9×。

A.6 Append-Only Erratum 的复杂度#

会话结构：

1
[用户档案 2000] [技能 8000] [对话 4000]
2
    ↑ 一次prefill   ↑ 一次prefill   ↑ 逐轮增长

每轮 attention 复杂度：

Erratum 是”追加新 token”。追加 20 token 到 14000 token 上下文：$O(20 \cdot 14000)$，可忽略。

• 错误理解：erratum 累积重算整个 attention → $O(N_{\text{cached}}^2)$
• 正确理解：erratum 是追加新 token → $O(N_{\text{new}} \cdot N_{\text{old}})$

erratum 链累积到几百条时触发 checkpoint 全量重算截断。98.5% 缓存命中率证明触发频率极低。

B.1 直接改字段 KV 为何无效#

设上下文 $x = (x_1, \dots, x_T)$，$x_k$ 为动态字段。完整 prefill 产生 $\mathbf{KV}(x)$。

朴素方案：只替换 $x_k$ 的 KV，其余保留：

失效原因：设 $x_j$（$j > k$）为聚合 token（句号、换行等）。prefill 阶段 $x_j$ 的 self-attention 吸收 $x_k$ 的信息后写入自身 KV：

$\widehat{\mathbf{KV}}$ 中 $\mathbf{KV}_j$ 仍保留旧值——改变 $x_k$ 而不更新所有 $j > k$ 的聚合 token，下游”备忘笔记”仍读旧结论。 因果实验：字段自身 KV 驱动 < 1% 决策。

B.2 Erratum 工作原理#

Erratum $e$ 追加在末尾：

$e$ 语义：“覆盖 $x_k$，新值为 Y”。Transformer 处理 $e$ 时，$e$ 的 attention 回顾所有前文（包括 $x_k$ 和各聚合 token $x_j$），在 $e$ 引导下判定旧结论失效，基于新值重新推理。

设 $d$ 为 erratum 之后的问题 token，其 KV：

$e$ 含量使 $x_d$ 的 attention 基于新值决策。

关键性质：erratum 是 append-only，前缀完全不变：

prefix cache 100% 兼容。

B.3 Changelog + Checkpoint 形式化#

第 $n$ 次字段更新产生 erratum $e^{(n)}$。$N$ 次更新后：

Changelog 阶段：每次追加 $e^{(n)}$，cost：

$|e^{(n)}| \approx 15 \sim 20 \ll T$，可忽略。

Checkpoint 阶段：$\sum_{i=1}^N |e^{(i)}| > \tau$ 触发全量重 prefill：

$x'_k$ 已替换为新值，erratum 链清零。重算 $O(T^2)$ 被 $N$ 次请求摊销。

C.1 N-gram 提取与哈希#

位置 $t$ 的后缀 N-gram（$n = 2, 3$）：

对每个 N-gram 阶数 $n$ 和哈希头 $k \in \{1, \dots, K\}$（默认 $K = 8$）：

• $\text{compress}(\cdot)$：tokenizer 压缩（归一化 + 去重，减少有效词表 ~70%）
• $\varphi_{n,k}$：multiplicative-XOR 哈希
• $M_{n,k}$：质数模数，减少系统性碰撞

索引到嵌入表：

拼接为最终记忆向量：

C.2 门控融合#

记忆向量与 hidden state 通过 sigmoid gate 动态调制：

Gate 让模型学会”什么情况下该信任记忆”——对无关 N-gram，gate → 0 屏蔽。

C.3 多租户叠加#

用户 $u$ 的事实写入槽位集合 $\mathcal{S}_u$。两用户 $u_1$、$u_2$ 碰撞概率：

$M$ 百万至千万量级，$|\mathcal{S}_u|$ 百至千量级，碰撞概率极低。不碰撞时叠加：

确定性哈希保证每个 N-gram 只读固定槽位——不同用户 trigger 天然不交叉。

C.4 与 LoRA 的隔离性对比#

LoRA：$\Delta W^{(u)} = B^{(u)} A^{(u)}$ 作用于全局权重。任意输入 $x$：

无关输入也被 $\Delta W^{(u)}$ 扰动。

Engram：读取通过确定性 N-gram 哈希触发。仅当输入包含 trigger N-gram（如用户名）时才查对应槽位。无关输入的 edit 行不被读取，输出 bit-for-bit 不变：

论文量化干扰比为 ~1/33,000。