DeepSeek-V4 架构设计深度解析

从基础 Transformer 出发，逐组件剖析 DeepSeek-V4 的每一处创新 · Round 2

全景总览

标准 Transformer vs DeepSeek-V4：逐组件对比

DeepSeek-V4 完整架构图

下面我们按照 Transformer 的数据流从下到上，逐一讲解每个组件在 DeepSeek-V4 中的设计。

1输入 Embedding

DeepSeek-V4 使用标准的 Token Embedding，将输入 token ID 映射为 d 维向量。

• 词表大小：128K（沿用 DeepSeek-V3 的 tokenizer，略有扩展）
• 前几层特殊处理：V4-Flash 前 2 层使用纯滑动窗口注意力（SWA），V4-Pro 前 2 层使用 HCA
• 前 3 个 MoE 层：使用 Hash 路由（基于 token ID 哈希确定专家，而非学习型路由）

2位置编码：RoPE 及其 Partial 应用

2.1 为什么需要位置编码

Transformer 本身不处理序列顺序。不加位置信息，"猫吃鱼"和"鱼吃猫"对模型完全相同。位置编码给每个 token 的表示向量注入位置信息。

2.2 RoPE 的核心思想

RoPE（Rotary Position Embedding）用"旋转"编码位置。每个 token 的向量被视为若干个二维子空间上的指针，根据其位置旋转不同角度：

RoPE(x, p) = R_p · x    （R_p 是位置 p 对应的旋转矩阵）

核心性质：
  RoPE(q, t)^T · RoPE(k, s) = q^T · R_{s-t} · k
  → 注意力分数只依赖相对位置 (s-t)，不依赖绝对位置

2.3 DeepSeek-V4 的 Partial RoPE

DeepSeek-V4 只对每个向量的最后 64 维应用 RoPE，其余维度不施加旋转。

3注意力机制：CSA + HCA 混合架构

注意力机制是 DeepSeek-V4 最核心的创新点。下面从"为什么要改"开始，逐步展开。

3.1 KV Cache 压缩路线的演进

标准 Softmax 注意力的计算量为 O(n²)。当 n = 1,000,000 时，n² = 10¹²，无论从计算还是内存角度都不可承受。历代方案逐步压缩 KV Cache：

同期的另一条路线是 MiniMax (2025) 的线性注意力混合方案：用核函数 φ 近似 softmax，将 O(n²) 降到 O(n)，但牺牲精确性。DeepSeek-V4 选择了不同的哲学——保持精确计算，但只对少量关键 token 做计算。

3.2 Compressed Sparse Attention (CSA)

CSA 是 V4 的主力注意力层，分三个阶段：压缩 → 稀疏选择 → 注意力计算。

阶段一：双路重叠 KV 压缩

将每 m=4 个连续 token 的 KV 项压缩为 1 个条目：

双路压缩：
  C_a = H · W_KV_a    (当前窗口 m 个 token)
  C_b = H · W_KV_b    (前一个窗口 m 个 token)

第 i 个压缩 entry = Σ(S_a ⊙ C_a[当前窗口]) + Σ(S_b ⊙ C_b[前一窗口])
                                ↑ 2m 个元素一起做 softmax 归一化 ↑

关键设计：跨窗口重叠压缩 → 边界处信息不断裂
结果：序列长度 n → n/m (压缩 4 倍)

阶段二：Lightning Indexer 稀疏选择

n/m 个压缩 entry 还是太多。Indexer 进一步筛选出 top-k 个最相关的 entry。

Step 1: 压缩 Indexer Key（维度 c_I < c，更轻量）
  K^IComp = 与 C^Comp 同样的压缩操作，但输出维度更小

Step 2: 低秩生成 Indexer Query（先降维再升维，节省参数）
  c^Q_t = h_t · W_DQ          (d → d_c 降维)
  q^I_t = c^Q_t · W_IUQ       (d_c → c_I×n_h^I 升维)

Step 3: 打分（ReLU 激活 + 加权求和）
  I_{t,s} = Σ_h w_{t,h}^I · ReLU(q^I_{t,h} · K^IComp_s)
              ↑ 可学习头权重    ↑ 允许精确为 0 的稀疏性

Step 4: 选出 top-k 个压缩 entry
  V4-Pro: k=1024    V4-Flash: k=512

阶段三：Shared KV MQA + 分组输出投影

被选中的 k 个压缩 entry 同时充当 Key 和 Value（MQA 设计，源自 Shazeer 2019），所有 Query 头共享同一套 KV：

o_{t,i} = CoreAttn(query=q_{t,i}, key=C_t^SprsComp, value=C_t^SprsComp)

由于 c×n_h 维输出太大，采用分组输出投影：将 n_h 头分为 g 组（Pro: g=16, Flash: g=8），每组先降维到 d_g=1024，再合并投影回 d 维，降低计算量。

3.3 Heavily Compressed Attention (HCA)

HCA 比 CSA 更激进：更大压缩率，但不做稀疏选择。

两者在模型中交替排列（interleaved），形成互补：CSA 精确检索重要信息，HCA 覆盖全局背景。

3.4 辅助机制

滑动窗口补充分支 (Sliding Window)

纯压缩注意力有一个盲区：query 无法访问自己所在压缩块内的其他 token（因果性要求只能看前面的完整块）。但最近的 token 往往最重要。

解决：每个 query 额外看最近 n_win=128 个未压缩 token。最终输出 = 压缩注意力 + 滑窗注意力。

Attention Sink（注意力水槽）

s_{h,i,j} = exp(z_{h,i,j}) / ( Σ_k exp(z_{h,i,k}) + exp(z'_h) )

RMSNorm 归一化

RMSNorm(x) = x / RMS(x) × γ,  其中 RMS(x) = √(mean(x²))

4残差连接：mHC（流形约束超连接）

4.1 标准残差连接的局限

标准残差：output = x + f(x)    （系数固定为 1，不可调）

在 61 层的极深网络中，梯度需穿越所有层，容易爆炸或消失。且所有层"贡献权重"相同，缺乏灵活性。

4.2 Hyper-Connections (HC) → mHC

HC 将残差流宽度从 R^d 扩展为 R^n_hc×d（n_hc=4），通过三个可学习映射 A_l, B_l, C_l 控制信号流动：

X_{l+1} = B_l · X_l + C_l · F_l(A_l · X_l)

mHC 的核心创新：将 B_l 约束在 Birkhoff polytope（双随机矩阵流形）上：

5前馈网络层：DeepSeekMoE

DeepSeek-V4 沿用 DeepSeekMoE 的细粒度专家架构：

• 路由：前 3 层 Hash 路由（确定性、均匀分配），其余层学习型路由
• 亲和度激活：Sqrt(Softplus(·))（区别于 V3 的 Sigmoid）
• 负载均衡：辅助损失无关策略 + 序列级均衡损失（权重 0.0001）
• 激活函数：SwiGLU = x₁ ⊙ (x₂ · σ(x₂))

6输出层：Multi-Token Prediction (MTP)

标准语言模型只预测"下一个 token"。MTP 在主干之上附加额外预测头，同时预测未来多步的 token：

主预测头：预测 t+1 的 token（标准 LM Loss）
MTP 头 1：预测 t+2 的 token（额外监督）
训练时：Teacher Forcing（用真实 token 作为条件）

DeepSeek-V4 设置 MTP 深度 = 1（额外预测 1 步），损失权重 0.3（衰减后 0.1）。

一次前向传播同时获得草稿：
  主干 → 主预测头 → 草稿 token t+1
  MTP Block → 头1  → 草稿 token t+2

并行验证：
  全部正确 → 一次计算产出 2 个 token ✓
  t+1 错误 → 只产出 1 个（退化为普通推理）

效果：1.5~2× 推理吞吐提升，质量无损（有验证兜底）

7核心结果

知识与推理

长上下文效率

Agent 能力

基于 DeepSeek-V4 论文 (DeepSeek-AI, 2026) 及相关前置研究整理 | 整理日期：2026-04-27 | Round 2