主流编码器原理+数学公式（按视觉/文本/时序/多模态MoE/VQ分类，适配VLA/Pi0机器人场景）

一、视觉编码器

1. ViT（Vision Transformer，SigLIP/CLIP基础骨干）

核心原理

图像切分固定大小Patch，线性投影为Patch Token，叠加位置编码，多头自注意力全局建模像素关系。

数学公式

1. Patch分块与嵌入
   输入图像 $I\in {\mathbb{R}}^{H\times W\times 3}$，Patch尺寸 $P\times P$，Patch数量 $N=\frac{HW}{P^2}$
   $$x_p=\text{Flatten}(I_p)W_e+b_e$$
   $W_e\in {\mathbb{R}}^{3P^2\times d}$：嵌入权重，$d$ 隐藏维度；$x_p\in {\mathbb{R}}^d$ 单Patch向量
2. 位置编码（可学习）
   $$z_0=[x_1;x_2;...;x_N]+E_{pos},E_{pos}\in {\mathbb{R}}^{N\times d}$$
3. 多头自注意力 MSA
   单头注意力：
   $$\text{Attn}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}\right)V$$
   多头拼接：
   $$\text{MSA}(z)=\text{Concat}({\text{Attn}}_1,...,{\text{Attn}}_h)W_o$$
4. Encoder层标准块（LN归一化）
   $$\begin{array}{rl}{z}^{\prime }& =z+\text{MSA}(\text{LN}(z))\\ z_{\text{out}}& =z^{\prime }+\text{MLP}(\text{LN}(z^{\prime }))\end{array}$$

2. ConvNeXt（纯卷积编码器，真机低延迟）

原理

完全卷积堆叠，深度卷积+点卷积替代注意力，无多头、无位置编码，平移不变性强。

核心公式

深度卷积（单通道独立卷积）：
$${\tilde{x}}_{c,:,:}=x_{c,:,:}\ast K_{\text{depth},c}$$
1×1点卷积通道融合：
$$x_{\text{out}}=\tilde{x}{W}_{1\times 1}+b$$
块结构：深度卷积 → LN → 升维MLP → 降维MLP，残差连接
$$x_{\text{next}}=x+\text{ConvNeXtBlock}(\text{LN}(x))$$

3. DINOv2（自监督视觉编码器，无标注预训练）

基于ViT，动量教师-学生双塔，对比学习，不用标签。
损失（交叉熵匹配教师/学生token分布）：
$${\mathcal{L}}_{\text{DINO}}=-\log \frac{\exp (s\cdot t_s^{\top }{t}_t/\tau )}{{\sum }_k\exp (s\cdot t_s^{\top }{t}_{t,k}/\tau )}$$
$t_s$ 学生特征，$t_t$ 动量教师特征，$\tau$ 温度系数。

二、文本编码器（VLA语言指令编码）

1. CLIP/SigLIP Text Encoder（Pi0默认语言分支）

基于Transformer Encoder，输入文本分词Token。

1. Token嵌入
   $$t_i=\text{Emb}(w_i)+E_{pos,i}$$
2. 全局平均池化取文本表征
   $$C=\frac{1}{L}\sum _{i=1}^L{t}_i^{(L)}$$
3. 图文对齐损失（SigLIP对称对比损失）
   $$\mathcal{L}=-\frac{1}{B}\sum _b\log \frac{\exp (C_v^{\top }{C}_t/\tau )}{{\sum }_k\exp (C_v^{\top }{C}_{t,k}/\tau )}-\frac{1}{B}\sum _b\log \frac{\exp (C_t^{\top }{C}_v/\tau )}{{\sum }_k\exp (C_t^{\top }{C}_{v,k}/\tau )}$$
   $C_v$ 图像表征，$C_t$ 文本表征，$B$ 批次。

2. T5 Encoder（Seq2Seq指令编码）

仅Encoder部分，双向注意力，相对位置偏置。
区别ViT：不用绝对位置编码，注意力加相对位置偏移项：
$${\text{AttnScore}}_{i,j}=\frac{Q_i{K}_j^{\top }}{\sqrt{d_k}}+r_{i-j}$$
$r_{i-j}$ 相对位置偏置参数。

三、时序/机器人状态编码器（关节、IMU、动作序列）

1. Mamba S6 选择性状态空间（最新时序编码器）

核心原理

状态空间模型SSM，输入动态生成A/B/C/D参数，选择性记忆，复杂度 $O(N)$ 优于Transformer $O(N^2)$。

数学公式

离散状态更新：
$$\begin{array}{rl}{h}_t& ={\bar{A}}_t{h}_{t-1}+{\bar{B}}_t{x}_t\\ y_t& ={\bar{C}}_t{h}_t+{\bar{D}}_t{x}_t\end{array}$$
${\bar{A}}_t,{\bar{B}}_t$ 由输入 $x_t$ 动态生成（选择性门控）：
$${\bar{A}}_t=\exp (-{\Delta }_t\cdot A),{\bar{B}}_t={\Delta }_{t}B{x}_t$$
${\Delta }_t$ 时间步缩放因子，控制记忆衰减；长时序关节轨迹、多步动作首选。

2. LSTM（传统时序编码器）

门控机制解决梯度消失：
$$\begin{array}{rl}{f}_t& =\sigma (W_f[x_t,h_{t-1}]+b_f)(\text{遗忘门})\\ i_t& =\sigma (W_i[x_t,h_{t-1}]+b_i)(\text{输入门})\\ o_t& =\sigma (W_o[x_t,h_{t-1}]+b_o)(\text{输出门})\\ {\tilde{c}}_t& =\tanh (W_c[x_t,h_{t-1}]+b_c)\\ c_t& =f_t\odot c_{t-1}+i_t\odot {\tilde{c}}_t\\ h_t& =o_t\odot \tanh (c_t)\end{array}$$
$\odot$ 哈达玛逐元素乘；仅短时序，长序列性能弱于Mamba。

3. 1D-CNN（关节/力传感短时序）

一维卷积滑窗提取局部时序特征：
$$y[t]=\sum _{k=0}^{K-1}w[k]\cdot x[t-k]$$
$K$ 卷积核尺寸，提取相邻关节时序变化。

四、多模态融合编码器

1. Cross-Attention 跨模态融合（VLA视觉+语言交互）

Query来自文本，Key/Value来自图像Patch特征：
$$\text{CrossAttn}(T,V)=\text{softmax}\left(\frac{T{W}_Q(V{W}_K{)}^{\top }}{\sqrt{d}}\right)V{W}_V$$
文本指令去关注图像对应抓取/操作区域，是VLA融合核心模块。

2. MoE 混合专家编码器（Pi0 Aeson Action专家头）

原理

输入特征路由分配给N个独立专家FFN，仅激活少量专家，容量更大、动作细分（单臂/双臂分专家）。

公式

1. 路由权重
   $$g=\text{softmax}(x{W}_g),g\in {\mathbb{R}}^E$$
   $E$ 专家数量，取top-K权重非零。
2. 专家输出加权求和
   $$\text{MoE}(x)=\sum _{i\in \text{topK}}{g}_i\cdot {\text{Expert}}_i(x)$$
   每个Expert是独立两层MLP；双臂任务天然可以划分左右手专家，解决你LoRA微调左右手错乱问题。

五、矢量量化VQ编码器（离散Token编码器，流匹配/扩散动作离散化）

原理

连续特征映射到固定码本离散向量，压缩表征，稳定动作预测。

公式

码本 Z={z1,z2,...,zK}Z=\{z_1,z_2,...,z_K\}Z={z1​,z2​,...,zK​}，输入连续特征 $x$

1. 距离匹配
   $$q(x)=\arg \underset{z_k\in Z}{\min }\Vert x-z_k{\Vert }_2^2$$
2. 直通梯度损失
   $${\mathcal{L}}_{\text{VQ}}=\Vert sg[x]-z_q{\Vert }_2^2+\beta \Vert x-sg[z_q]{\Vert }_2^2$$
   $sg$ stop-gradient阻断梯度回传码本，$\beta$ 平衡损失权重；机器人连续动作离散token化必备。

六、统一通用组件：层归一化LN（所有编码器标配）

每层输入先归一化，稳定训练梯度：
$$\text{LN}(x)=\gamma \cdot \frac{x-\mu }{\sqrt{{\sigma }^2+ϵ}}+\beta$$
$\mu =\mathbb{E}[x],{\sigma }^2=\text{Var}(x)$，$\gamma ,\beta$ 可学习缩放偏移。