跨模态对齐方式

前置统一约定（固定基准，避免混乱）

1. 视觉输入：单张图经ViT/SigLIP/DINOv2，丢弃CLS Token，仅保留Patch序列
   视觉特征张量：$F_v\in {\mathbb{R}}^{B\times N_v\times D_v}$
   • $B$：batch size
   • $N_v$：视觉Patch Token数量（336图=576）
   • $D_v$：视觉编码器隐维（SigLIP=1024，DINOv2=768）
2. LLM文本Embedding基准：
   文本token embedding：$F_t\in {\mathbb{R}}^{B\times N_t\times D_l}$
   • $N_t$：文本长度
   • $D_l$：LLM主干隐藏维度（LLaMA-7B=4096）
3. 对齐目标：让视觉信息可被LLM Transformer计算兼容、语义空间可度量

---

一、非线性映射对齐（MLP Projector 投影对齐，LLaVA标准方案）

1. 张量维度完整变换链路

步骤1：原始视觉特征

$$F_v\in {\mathbb{R}}^{B,N_v,D_v}$$

步骤2：两层MLP+GELU非线性映射（核心非线性对齐）

$$\begin{array}{rlr}{H}_1& =F_v{W}_1+b_1,H_1=\text{GELU}(H_1)& \in {\mathbb{R}}^{B,N_v,D_l}\\ F_{v,\text{proj}}& =H_1{W}_2+b_2& \in {\mathbb{R}}^{B,N_v,D_l}\end{array}$$
最终投影视觉Token：${\mathbf{F}}_{\mathbf{v},\text{proj}}\in {\mathbb{R}}^{\mathbf{B}\times {\mathbf{N}}_{\mathbf{v}}\times {\mathbf{D}}_{\mathbf{l}}}$

步骤3：序列拼接注入LLM输入层（张量拼接）

$$F_{\text{input}}=\text{Concat}(F_{v,\text{proj}},F_t,\text{dim}=1)\in {\mathbb{R}}^{B,N_v+N_t,D_l}$$

2. 维度层面对齐解决了什么问题

1. 数值维度硬兼容：$D_v\to D_l$，保证自注意力QK^T矩阵乘法维度合法；
2. 非线性空间扭曲对齐：单层Linear仅做仿射变换，两层+激活函数可拟合非线性流形映射，把视觉表征流形嵌入LLM文本表征流形；
3. Token结构对齐：视觉保持$N_v$个时序等价Token，和文本$N_t$结构一致，Transformer平等处理两类Token。

3. 语义对齐本质（Token语义对齐底层逻辑）

• 训练约束：图文对做LM loss，迫使同一物体/场景的视觉投影Token，与对应描述文本Token在高维余弦距离靠近；
• 数学度量：$\text{sim}(F_{v,\text{proj}}[i],F_t[j])\uparrow$最大化，完成跨模态语义绑定；
• 缺陷：仅在输入层做一次映射，LLM深层解码时视觉信息会被长文本逐步稀释。

4. 简化PyTorch张量形态示例

输入: [1, 576, 1024]
→ Linear(1024→4096) + GELU → [1,576,4096]
→ Linear(4096→4096) → [1,576,4096]
concat文本[1,32,4096] → [1,608,4096]送入LLM

5. 优缺点（维度视角）

✅ 仅改变特征最后一维，序列长度不变，改动最小、可插拔；
❌ $N_v=576$导致序列过长，上下文窗口占用大；深层无二次视觉交互。

---

二、交叉注意力Cross-Attention深层对齐（BLIP2/深层注入方案）

1. 张量维度推演（两种经典形式）

形式A：LLM内部每一层插入CrossAttn（主流）

LLM当前层文本隐状态作为Query：
$$Q=F_{t,\text{layer}}\in {\mathbb{R}}^{B,N_t,D_l}$$
投影后视觉特征作为Key/Value：
$$K=V=F_{v,\text{proj}}\in {\mathbb{R}}^{B,N_v,D_l}$$

交叉注意力计算公式：
$$\text{CrossAttn}(Q,K,V)=\text{SoftMax}\left(\frac{Q{K}^{\top }}{\sqrt{D_l}}\right)V\in {\mathbb{R}}^{B,N_t,D_l}$$

张量变化关键点：

1. 视觉$N_v$长度彻底不进入主序列，主序列永远只有文本长度$N_t$，不会膨胀上下文；
2. 输出维度依然${\mathbb{R}}^{B,N_t,D_l}$，直接残差加回原文本隐状态；
3. LLM每一层前向都会重新Query视觉特征，解码全程可反复读取图像信息。

形式B：Q-Former可学习Query压缩（Token数量二次对齐）

1. 定义可学习Query向量：$Q_{learn}\in {\mathbb{R}}^{N_q,D_l}$（通常$N_q=32/64$，远小于576）
2. CrossAttn读取全部Patch视觉：
   $$F_{v,\text{compact}}=\text{CrossAttn}(Q_{learn},F_v,F_v)\in {\mathbb{R}}^{B,N_q,D_v}$$
3. 再过Projector映射到$D_l$，得到少量视觉Token再拼接输入。

2. 维度层面的对齐价值

1. 长度维度解耦对齐：视觉Patch数量不再约束LLM输入长度，解决大量视觉Token显存爆炸问题；
2. 逐层动态空间对齐：不是一次性映射，而是每一层根据文本语义动态检索视觉局部特征，对齐粒度更细；
3. 空间位置信息精准绑定：文本某个单词（如“左上角划痕”）的Query可以精准命中对应空间Patch的KV。

3. 语义对齐本质

属于动态条件语义对齐：
文本每一步隐状态作为查询，主动去视觉库中匹配空间+语义匹配的视觉向量，实现“按需取用”；
非线性对齐由CrossAttn权重+后续FFN共同完成，模态融合深度远高于单层Projector。

4. 张量直观对比

• 输入拼接投影：最终序列长度 $N_v+N_t$
• 深层交叉注意力：序列长度始终 $N_t$，视觉作为外部KV缓存

---

三、纯张量视角四种对齐横向对比表

对齐方式	视觉张量输出形状	LLM输入序列长度	非线性映射载体	语义对齐方式	计算代价
单层线性投影	$[B,N_v,D_l]$	$N_v+N_t$	仅线性仿射	全局静态向量靠近	极低
MLP非线性投影对齐	$[B,N_v,D_l]$	$N_v+N_t$	两层MLP+GELU	静态全局模态嵌入	低
深层CrossAttn对齐	KV:$[B,N_v,D_l]$ 输出:$[B,N_t,D_l]$	$N_t$不变	CrossAttn+层内FFN	动态逐层条件匹配	中高
Q-Former压缩CrossAttn	$[B,N_q,D_l]$	$N_q+N_t$	CrossAttn+MLP	压缩后静态注入	中

---

四、Token语义对齐：单独拆解数学判定标准（通用判定指标）

不管用哪种结构，最终Token语义对齐是否成功，只看三个向量空间条件

1. 同语义向量聚类（核心）

对同一物体图像$I_1,I_2$和描述文本$T$：
$$\cos (F_v(I_1{)}_{\text{aligned}},F_t(T))\approx \cos (F_v(I_2{)}_{\text{aligned}},F_t(T))\to \text{高相似度}$$
不同物体强制低相似度。

2. 模态分布对齐（分布层面对齐）

视觉对齐后Token向量的均值、方差、特征谱，与文本Embedding分布接近，避免模态偏移：
$$\mathcal{D}(F_{v,\text{aligned}})\approx \mathcal{D}(F_t)$$
MLP带LN、CrossAttn权重归一化都是为了满足这条。

3. 注意力权重可解释对齐（可观测验证）

• 投影拼接方案：文本Token与相关视觉Patch之间Attention权重显著偏高；
• CrossAttn方案：文本Query对目标区域视觉KV注意力峰值明显。

4. 失效张量特征（反向排查）

1. 投影后视觉Token向量全部坍缩为近似相同值 → 映射失效；
2. CrossAttn注意力均匀分布，无峰值 → 语义未绑定；
3. 视觉与文本向量余弦全部接近0 → 模态完全未对齐。

---

五、落地选型（张量维度约束直接决定方案）

1. 快速迭代、不改LLM结构、显存有限：MLP非线性投影对齐（Projector）
2. 长文本深度推理、需要保留精细视觉细节、防止信息遗忘：深层Cross-Attention对齐
3. 机器人VLA、大量视觉Patch、上下文紧张：Q-Former压缩CrossAttn + MLP投影二次对齐
4. 仅做轻量语义绑定、无复杂空间推理：单层Linear投影对齐

---

六、一句话高度总结张量本质

1. 投影对齐：只做最后一维$D_v\to D_l$维度扩容+非线性流形嵌入，序列结构不动；
2. 交叉注意力对齐：不改动主序列长度，用KV缓存外挂视觉特征，逐层做动态跨模态检索对齐；
3. 非线性映射：是向量空间从视觉流形弯曲嵌入文本流形的数学工具；
4. Token语义对齐：是高维向量距离度量与注意力权重匹配的最终收敛目标。

四种对齐方案：适用场景+有效对齐判定标准+后续数据流完整处理

先统一前置符号（全程不变）

• 视觉原始特征：$F_v\in [B,N_v,D_v]$，$N_v$=patch数，$D_v$=ViT维度
• LLM文本嵌入：$F_t\in [B,N_t,D_l]$，$D_l$=LLM隐层维度
• 有效对齐=张量维度兼容 + 向量空间模态分布对齐 + 语义注意力可绑定

---

一、方案1：MLP非线性投影对齐（标准Projector，LLaVA/OpenVLA）

1）适用场景

1. 快速二次开发、不修改LLM主干结构，仅外挂少量可训练参数；
2. 工业视觉检测VQA、缺陷图文描述、产线简单推理；
3. 具身VLA仿真训练+域随机大批量数据训练；
4. 部署要求低推理延迟、易于TensorRT/ONNX导出；
5. 算力一般，只能冻结LLM+LoRA微调，不想动Transformer层。

2）张量维度上【有效对齐】硬性标准

1. 维度映射合法
   $$F_v[B,N_v,D_v]\stackrel{2层MLP+GELU}{\to }{F}_{vp}[B,N_v,D_l]$$
   最后一维严格等于LLM hidden_size，自注意力内积计算无报错；
2. 数值分布对齐（训练可见）
   投影后视觉token向量均值、方差、特征谱与文本embedding接近；加入LayerNorm/Dropout可强制缩小模态偏移；
3. 注意力热力图有效
   在LLM首层Self-Attention中：描述物体/缺陷的文本token ↔ 对应空间视觉patch token 注意力权重出现明显峰值，不是均匀乱分。

3）对齐完成后下一步完整处理链路

阶段A：输入拼接送入LLM前向

input_embeds = torch.cat([F_vp, F_t], dim=1)  # [B, Nv+Nt, Dl]

阶段B：训练侧后续操作

1. 冻结视觉Encoder、冻结LLM主干，仅训练Projector做模态预对齐，损失为LLM原生Next-Token LM Loss；
2. 对齐收敛后，开启SFT：Projector + LLM LoRA联合微调；VLA任务额外解冻ViT后几层提升空间敏感度；
3. 搭配域随机：投影器加Dropout，防止仿真过拟合，提升真机迁移；

阶段C：推理侧后续分支

• 纯VLM任务：LLM decoder → 文本head输出答案；
• VLA机器人任务：LLM最后一层隐状态 → 额外Action Expert Head，做动作离散/连续输出；

4）对齐失效怎么修正

• 向量坍缩全相同：加LN、降低Projector学习率；
• 模型完全不看图片：检查是否冻结了Projector（必须可训练）；
• 长文本遗忘视觉：改用Q-Former压缩视觉token数量。

---

二、方案2：深层Cross-Attention交叉注意力对齐（BLIP2、深度多模态大模型）

1）适用场景

1. 需要长文本深度推理、多轮对话、复杂逻辑问答（长篇报告、多物体空间关系推理）；
2. 细粒度视觉定位：工业缺陷坐标定位、计数、相对位置判断；
3. 要求解码全过程持续访问视觉信息，避免后半段生成丢失图像细节；
4. 可以接受修改LLM内部结构、训练显存开销更大的场景。

2）张量维度上【有效对齐】硬性标准

1. 主序列长度完全不变
   文本Query：$Q\in [B,N_t,D_l]$，视觉KV：$K=V=F_{vp}\in [B,N_v,D_l]$
   $$CrossAttn(Q,K,V)\to [B,N_t,D_l]$$
   输出shape和输入文本隐状态完全一致，可直接残差相加回原层；
2. 逐层动态查询对齐有效
   每一层LLM前向传播，文本不同位置token能独立检索不同视觉区域KV；比如“右下角划痕”只对右下角patch产生高注意力；
3. 模态融合深度对齐
   CrossAttn权重+层内FFN共同完成非线性映射，视觉特征深度融入每一层文本表征流，而非仅输入层一次性注入。

3）对齐完成后下一步完整处理链路

结构流程

1. 视觉先过轻量化Projector映射到$D_l$维度，作为全局KV缓存；
2. LLM每一个Transformer Block内部新增CrossAttn模块；
3. 本层文本隐状态做Query，查询视觉KV，得到融合视觉信息的新隐向量；
4. 经过LN、FFN、残差连接，进入下一层LLM；

训练后续处理

1. 预训练：冻结LLM主体，只训练CrossAttn模块+视觉Projector；
2. 指令微调：解冻CrossAttn+LLM上层少量层+LoRA；
3. 可搭配Q-Former前置压缩视觉patch（$N_v=576\to N_q=32$），大幅减少KV内存占用；

推理后续处理

1. KV Cache复用：视觉KV在单张图片推理全程只计算一次，重复利用，降低重复计算；
2. 输出依旧走LLM原生解码头，逻辑和原生LLM一致；

4）对齐失效修正

• CrossAttn注意力平铺无峰值：增大交叉注意力学习率、增加图文对训练量；
• 显存爆炸：前置Q-Former做token压缩。

---

三、方案3：Q-Former压缩式交叉注意力对齐（属于CrossAttn子集，工程高频）

1）适用场景

1. 视觉patch数量巨大（高分辨率图、多目相机、机器人双目），直接拼接导致上下文超限；
2. 兼顾注入式简单结构+视觉token压缩；VLM长文档图文理解；
3. 不想改LLM内部层，只想在输入侧减少序列长度。

2）有效对齐判定

1. 张量压缩对齐：
   可学习Query $Q_l\in [N_q,D_v]$，通过CrossAttn聚合全部patch：
   $$F_{vc}=CrossAttn(Q_l,F_v,F_v)\in [B,N_q,D_v]$$
   $N_q$一般取32/64，远小于576；再MLP投影到$D_l$；
2. 压缩后的少量token保留全局+局部视觉语义，和文本token自注意力能正常关联；

3）下一步处理

压缩后视觉token直接拼接到文本embedding前面，走标准LLaVA输入拼接流程；
训练只训Q-Former+后置Projector，LLM冻结或LoRA。

---

四、方案4：纯线性投影对齐（单层Linear，极简版）

1）适用场景

1. 端侧极低算力设备（嵌入式NPU、边缘工业盒子）；
2. 只做简单图文分类、有无缺陷判断，不需要精细空间推理；
3. 模型体积严格受限，参数预算极少。

2）有效对齐标准

仅完成维度硬兼容 $D_v\to D_l$，向量空间仅做仿射变换，不具备强非线性拟合能力；只要loss下降、简单VQA精度达标即视为可用对齐。

3）后续处理

同MLP投影方案，concat后送入LLM，不做额外结构改动。

---

五、Token语义对齐（通用最终验收标准，所有方案共用）

无论哪种结构，最终有效语义对齐必须同时满足3条：

1. 向量距离对齐
   同一图像投影特征 ↔ 对应描述文本token余弦相似度显著偏高；不同物体互相低相似度；
2. 注意力绑定对齐

• 拼接方案：Self-Attention跨模态token之间有高权重关联；
• CrossAttn方案：文本query对目标视觉区域KV形成尖峰注意力；

3. 下游任务收敛对齐
   工业缺陷检测、VQA问答、机器人动作规划准确率稳定收敛，Sim2Real真机泛化无断崖下跌。

---

六、一张表直接落地选型（场景→方案→后置处理）

业务场景	首选对齐方案	对齐后下一步标准处理
工业缺陷VQA、产线检测、快速部署	MLP非线性Projector	concat输入LLM → LoRA微调 → 输出缺陷文本/坐标
机器人VLA、域随机仿真训练	MLP+LN+Dropout Projector	拼接注入LLM → 末尾加动作专家头输出连续动作
长篇图文报告、复杂空间推理	深层LLM内CrossAttn	逐层视觉查询 → KV缓存复用 → 长文本解码
高分辨率大图、多目视觉token爆炸	Q-Former压缩CrossAttn	压缩少量视觉token → 输入拼接注入LLM
边缘嵌入式超低算力	单层Linear投影	最简拼接，直接INT8量化部署

---

1. 追求简单易部署：MLP投影对齐，concat进输入，LoRA微调；
2. 追求深度看图推理：LLM内部插CrossAttn，逐层动态取视觉；
3. Token太长爆显存：Q-Former先压缩再投影；
4. 对齐好不好：看注意力热力图+图文向量余弦距离+下游任务精度。

按下游任务精度要求匹配对齐方案+落地细节+避坑要点

整体分为5大类工业/机器人主流下游任务，每一类给出：最优对齐架构 → 有效对齐判定指标 → 训练细节 → 精度保障关键点 → 常见掉点坑

前置统一基础约束

1. 视觉编码器：通用SigLIP；空间几何DINOv2；工业缺陷建议双特征concat
2. LLM基座：7B/13B通用，VLA优先动作微调底座
3. 对齐本质目标：维度兼容+模态分布对齐+语义/空间绑定，最终落在任务指标提升

---

一、任务1：工业视觉缺陷检测/缺陷VQA（目标：缺陷定位、尺寸、类型、计数高精度）

1. 首选对齐方案

主方案：带LN+Dropout的2层MLP-GELU Projector 非线性投影对齐（输入拼接注入）
进阶高精度版本：前置加Q-Former Token压缩
不推荐：LLM内部深层CrossAttn（改结构收益小于训练成本）

2. 为什么这个方案对精度最友好

1. MLP非线性映射足够拟合工件反光、材质、光照域偏移带来的视觉分布差异；
2. LN抹平视觉与文本embedding分布差，减少模态gap；Dropout适配仿真域随机，提升真机泛化精度；
3. 输入层拼接，LLM自注意力天然建立文本关键词<->缺陷Patch空间绑定，定位精度更稳。

3. 有效对齐精度判定标准（可量化）

1. 注意力热力图：“划痕、凹坑、毛刺”文本token强绑定对应缺陷区域patch；
2. 向量层面：同类缺陷不同光照下投影token余弦相似度>0.7；
3. 下游指标：缺陷漏检率↓、坐标误差↓、小缺陷识别召回率↑。

4. 对齐后下一步处理（精度优化链路）

1. 视觉特征取ViT倒数第二层纯patch，剔除CLS token，保留空间位置编码；
2. 若336分辨率patch=576过长，Q-Former压缩至32/64 query token再投影；
3. 投影后concat文本prompt送入LLM，SFT指令集强制加入：输出bbox、像素坐标、缺陷大小；
4. 损失除LM Loss外，额外加坐标回归辅助Loss（大幅提升定位精度）。

5. 保证精度关键细节&避坑

1. Projector学习率单独拉高：lr=3e-4~5e-4，LoRA学习率1e-4，投影器必须充分对齐；
2. 仿真域随机必须全开：光照、粗糙度、缺陷几何随机，Projector加Dropout防止仿真过拟合；
3. 禁止单层Linear投影：非线性不足，复杂反光缺陷精度暴跌；
4. 真实产线少量样本做第二阶段微调，收缩模态偏移。

---

二、任务2：具身机器人VLA视觉-语言-动作规划（目标：空间点位、避障、物体抓取Sim2Real真机精度）

1. 首选对齐方案

双视觉特征融合 + LN+Dropout MLP非线性投影对齐
视觉输入：DINOv2（空间几何）concat SigLIP（语义）→ 输入维度1792 → MLP映射到LLM隐维
超复杂多步长规划可升级：LLM每层插入轻量Cross-Attention深层对齐

2. 精度逻辑

1. DINOv2保证相对位置、物体几何、深度空间特征，SigLIP保证语言指令语义；
2. MLP做双模态联合流形嵌入，让LLM能把“移到杯子左侧”语言指令映射到像素空间坐标；
3. 输入拼接后LLM隐层输出接入动作专家头/流匹配解码器，对齐直接影响动作RMSE。

3. 有效对齐判定

1. 指令描述空间方位词（左/右/前/上）与对应视觉patch注意力高权重；
2. 仿真域随机（动力学+视觉）训练后，真机动作误差无断崖式跳变；
3. 连续动作输出RMSE稳定收敛。

4. 后置处理与精度技巧

1. 冻结LLM主干，仅训练Projector + Action Head + LLM LoRA；可少量解冻ViT最后2层；
2. 训练加入动力学域随机，投影器Dropout=0.1抵抗仿真与真机动力学偏差；
3. 长序列多步骤任务用Q-Former压缩视觉token，避免后期视觉信息衰减导致动作跑偏。

5. 致命精度坑

1. 只用SigLIP不用DINOv2：空间几何弱，抓取点位偏移大；
2. 投影器不加LN：视觉与文本分布不一致，语言指令无法绑定空间；
3. 视觉token过多不压缩：长规划后半段遗忘图像，动作完全失效。

---

三、任务3：深度图文推理、多轮复杂问答、长篇报告生成（目标：逻辑推理、多物体关系、长文本不遗忘视觉）

1. 首选对齐方案

LLM Transformer块内部逐层Cross-Attention交叉注意力深层对齐
视觉KV只计算一次做全局缓存，每一层文本隐状态作为Query动态查询视觉特征。

2. 精度核心优势

1. 解码每一步都能重新读取视觉，长文本生成不会出现“前面看图，后面瞎编”；
2. 细粒度条件查询：“三个物体中最高的那个”文本Query精准检索对应视觉区域，逻辑推理精度远高于输入拼接；
3. 主序列长度始终等于文本长度，不占用上下文窗口。

3. 对齐有效性判定

1. Cross-Attention注意力对指定目标物体形成尖锐单峰；
2. 多物体遮挡、嵌套关系推理正确率显著高于投影拼接方案；
3. 超长输出幻觉率大幅下降。

4. 后续处理与精度细节

1. 视觉先过一层简易MLP投影到D_l，作为全局KV缓存复用，减少重复计算；
2. 仅训练Cross-Attention模块+视觉Projector，LLM主干冻结或LoRA；
3. 输入图片分辨率拉高，Patch更细粒度，提升复杂关系推理。

5. 代价与折中方案

缺点：修改LLM结构、推理显存更高；
折中：不想改LLM则用Q-Former压缩至32token再输入拼接，作为次优高精度方案。

---

四、任务4：轻量图文分类、有无判定、简单OCR图文匹配（端侧低算力，保证可用精度）

1. 首选对齐方案

单层Linear纯线性投影对齐

2. 适用边界（精度上限）

仅做简单跨模态匹配：合格/不合格、有无物体、文字是否一致，不支持细粒度定位与复杂推理。

3. 精度保障细节

1. 视觉取CLS token一维向量而非patch序列，进一步压缩参数量；
2. 投影后直接和文本CLS embedding做相似度判别；
3. 全模型INT8量化部署，对齐只保证维度兼容即可。

4. 取舍

算力优先，精度够用即可；一旦需要定位，立刻升级两层MLP。

---

五、任务5：多目视觉/高分辨率大图/全景图理解（token爆炸导致精度下降）

1. 首选对齐方案

Q-Former可学习Query压缩Cross-Attention对齐
流程：原图大量patch → 可学习32/64 query cross-attn聚合 → MLP投影 → 输入拼接注入LLM

2. 对精度的价值

1. 把几百个冗余patch压缩为少量高信息量视觉token，避免上下文窗口被占满导致LLM推理能力下降；
2. Query强制学习全局关键目标区域，过滤无效背景噪声，提升有效特征占比。

3. 后置处理

压缩后的视觉token和文本embedding直接concat，训练只更新Q-Former+后置Projector。

---

汇总总表（直接按任务选型）

下游任务	最优对齐架构	精度核心保障细节	最容易掉精度的坑
工业缺陷检测VQA	MLP+LN+Dropout投影	取纯patch、加坐标辅助loss、域随机	只用单层Linear、未做分布归一化
机器人VLA动作规划	DINO+SigLIP双特征MLP投影	Dropout抗域偏移、解冻ViT顶层	缺失DINO空间特征、token过长不压缩
深度长文本推理	LLM内部逐层CrossAttn	KV缓存复用、逐层动态查询	只做输入层拼接，长生成遗忘视觉
端侧简单分类	单层Linear投影	CLS向量压缩、量化部署	强行上复杂结构导致推理溢出
高分辨率多目大图	Q-Former压缩CrossAttn	32–64 query聚合关键区域	大量patch直接拼接，上下文超限

---

通用三条高精度对齐铁律（所有任务通用）

1. 只要涉及空间定位/几何关系：必须保留Patch序列，丢弃CLS Token；
2. 只要涉及Sim2Real、仿真训练：Projector强制加LayerNorm + Dropout；
3. 对齐好不好最终只看两个指标：注意力可解释性 + 下游任务真实数据集指标（召回、RMSE、漏检率），不要只看训练loss。