作者｜刘冰昊 阿里巴巴达摩院算法专家

 

摘要

 

深度学习时代的DNA基础模型，一直缺少一个真正属于自己的全能"building block"。NLP有Transformer Block，CV有ResNet Block——它们都是自洽的基础单元：内部各组件有机协同，外部可自由堆叠扩展。可在基因组学领域，人们要么拿着CNN/Transformer/SSM直接"借用"，要么把多种架构机械拼接成hybrid模型，始终缺乏一个良好且全面的为DNA信息结构原生设计的基础计算单元。

 

近日，来自阿里巴巴达摩院与湖畔实验室的研究团队提出了SPU（Synergistic Plasticity Unit，协同可塑性单元）——一个以三层有机协同为核心、以多层次可塑性为设计原则的DNA建模基础单元。SPU可以像Transformer Block一样自由堆叠，构建不同尺度参数量的SPU-DNA系列模型，在多个主流评测基准上以准线性复杂度实现SOTA。该工作已被ICML 2026收录。

 

论文链接：https://openreview.net/pdf?id=coNswqxIlk

 

 

DNA建模为什么需要一个全新的"基础单元"？

 

（一）三种信号，三种偏科

 

DNA序列同时包含三种截然不同的信息模式：

 

• 局部motif：如TATA-box，几个bp内的尖锐信号，需要精确的局部定位能力；

   

• 长程依赖：如增强子-启动子互作，跨越数十万碱基，需要全局上下文建模；

   

• 周期性信号：如核小体~10bp周期、密码子三联体周期，需要频域感知能力。

 

现有的三类主流架构在面对这些模式时，几乎都是"单科满分、其余挂科"：

 

 

 

（二）更深层的问题：拼凑 ≠ 协同

 

面对"偏科"，一种常见思路是hybrid拼接——比如用CNN做局部+Transformer做全局（如Enformer）。但这种设计本质上是模块的物理混合，各组件之间缺乏信息的有机流动：

 

• 各层独立设计、独立优化，只在最终阶段"对接"；

   

• 没有统一的信息流将局部、全局、频域特征融为一体；

   

• 更没有一种机制让模型自主决定在何时放大何种信号。

 

DNA建模真正需要的，不是更复杂的"堆叠"，而是一个内部有机协同、外部可自由扩展的全新基础单元。

 

 

SPU：一个不可拆分的协同整体

 

（一）设计哲学：不是三个模块的拼接，而是一个整体的三面

 

SPU的名字中"Synergistic（协同）"是关键——它不是"LPL+DPL+SPL三个独立模块的叠加"，而是一个有明确数据流、功能互补、不可拆分的有机整体。三层之间的关系更像是一个生物系统的感知-理解-决策回路：

 

 

图1: SPU核心架构

 

• LPL（感知层）：为每个token"量身定制"局部特征表征——它的输出

  

  是后续两层的共同输入；

   

• DPL（理解层）：接收LPL的输出，同时在时域（全局卷积）和频域（小波变换）中建模跨域全局结构；

   

• SPL（决策层）：同样接收LPL的输出，沿通道和位置双轴计算"什么值得看、哪里值得看"；

   

• 协同融合：DPL的时频特征

  

  与SPL的显著性分数

  

  进行逐元素相乘——信号被选择性放大，噪声被动态压制。

 

三层缺一不可：LPL不做预处理，DPL就拿不到位点感知的输入；DPL不做全局建模，SPL就没有跨域的全局特征可供筛选；SPL不做显著性评分，DPL的输出就无法区分信号与噪声。

 

（二）LPL—感知层：让每个位点拥有"定制化"的局部表征

 

传统CNN对所有位置共享固定卷积核。LPL通过双分支设计打破这一限制：

 

• 基核分支：一组多尺度卷积核

  

  提取多种尺度下的meta-features；

   

• 权重分支：1*1卷积根据当前token上下文生成token-specific权重

  

  ；

   

• 动态重组：

  

  ——每个位点获得独属于自己的局部特征组合。

 

LPL的输出

是整个SPU的信息源头，它为后续DPL和SPL提供了已经过位点感知预处理的高质量特征。

 

（三）DPL—理解层：时域 + 频域的双路径全局建模

 

DPL接收LPL的位点感知特征，通过两条互补路径建模跨域全局结构：

 

• 卷积路径：FFT加速的全局长卷积（GC算子），

  

  复杂度捕捉时域长程依赖；

   

• 小波路径：多级离散小波变换，对特征进行J层分解 → 各频段独立处理 → 迭代重构，实现频域多分辨率分析。

 

两条路径不是简单相加——卷积路径捕获的时域序列信息与小波路径提供的多分辨率频段信息互为补充，最终融合为统一的时频表征

。

 

（四）SPL — 决策层：双轴显著性评分实现"信噪分离"

 

SPL同样接收LPL的输出，从两个正交维度进行"重要性判定"：

 

• 通道轴

  

  （"看什么"）：position pooling → MLP → 识别哪些特征通道携带关键生物信号；

   

• 位置轴

  

  （"看哪里"）：channel-wise avg/max → 深度可分离卷积 → 定位哪些序列位点具有更高信息量。

 

 

基础性与可扩展性：像Transformer Block一样堆叠

 

（一）一个基础单元，而非一个固定模型

 

SPU的设计初衷就是一个可堆叠的基础计算单元（building block），而非一个封闭的端到端模型。研究团队基于SPU构建了完整的SPU-DNA模型族：

 

• 堆叠方式：每个SPU Block可配置为Pre-Norm或Post-Norm模式（类比标准Transformer Block），多个SPU Block堆叠形成encoder；

   

• 规模跨度：论文展示了从1.9M（SPU-DNA-Small）到500M（SPU-DNA-Large） 的模型，参数量跨越超过两个数量级；

   

• 性能随规模持续提升：在Nucleotide Transformer Benchmark上，从<5M到>100M参数，SPU-DNA的优势不仅保持，而且进一步拉大——证明了架构的可扩展性（scalability）。

   

（二）规模扩展的证据

 

 

 

从小模型到大模型，SPU-DNA的性能单调递增、优势持续扩大，没有出现"scaling瓶颈"。这是一个好的基础单元应有的特性：它的设计不依赖特定规模，而是在任何规模下都能有效工作。

 

（三）任务泛化性：从短程到长程，从分类到回归

 

SPU-DNA以同一种架构覆盖了跨度极大的下游任务：

 

• 短程序列分类（Genomic Benchmark，序列长度数百~数千bp）；

   

• 长程变异效应预测（Variant Effect Prediction，输入长度12k~196kbp）；

   

• 多标签分类（Chromatin Profile，919个二分类标签）；

   

• 调控元件注释（启动子/增强子/剪切位点）。

 

这种广泛的任务泛化性进一步印证了SPU作为基础单元的通用性——它不是为某个特定任务"调"出来的，而是一种通用的DNA信息处理范式。

 

（四）效率：准线性复杂度，可处理基因组级长序列

 

SPU以最低的FLOPs实现了最优性能。其准线性复杂度

使其可以高效处理100k乃至更长的基因组级序列——这是可扩展性的基础保障。

 

 

理论根基与生物学验证

 

（一）数学保证：从测不准原理到对数多分辨率平铺

 

研究团队从时频测不准原理出发，为SPU的三层协同设计提供了严谨的理论动机：

 

• 引理（静态分辨率局限性）：证明了固定核CNN和全局FFT/Hyena各自面对的时频分辨率天花板——

   

  CNN：

  

  ,

  

  （局部好、全局频率粗）；

   

  全局长卷积：

  

  ,

  

  （全局频率好、局部模糊）。

   

• 定理（对数多分辨率平铺）：SPU显式构建了多分辨率分析（MRA）结构，时频窗口满足对数缩放律

  

  ，用一组层级递进的"海森堡盒子"覆盖整个时频平面。

 

换言之：SPU的三层协同不是拍脑袋的设计——LPL建立sub-band级初始基、DPL在时域和频域对不同层次的特征进行建模融合，SPL在融合后的表征上做选择性放大与过滤。

 

（二）生物学验证：SPU真的"看见"了生物学信号

 

 

 

• 周期性信号检测：

   

  在已知具有~0.095 cycles/bp二核苷酸周期的核小体区域，SPU特征的功率谱在0.0950–0.0955频段呈现明显的双峰响应——而CNN/Transformer/SSM等基线模型在该频段毫无反应。这直接验证了DPL多域特征融合的有效性

 

• 自主发现启动子特征：

   

  通过稀疏自编码器（SAE）对SPU预训练表征进行解耦后，模型自主学到了与启动子区域高度对齐的特征通道——激活模式与HES4、ISG15、AGRN等基因的启动子位置精确匹配，无需任何外部注释信号的引导。

 

SPU不仅性能好，更重要的是：它的表征是可被人类理解的，学到的特征对应真实的生物学实在。对于基因组AI走向可信落地，这一点至关重要。

 

 

总结与展望

 

SPU为DNA基础模型领域带来了一个核心洞察：

 

DNA建模需要的不是更复杂的模块堆叠，而是一个内部有机协同、外部可自由扩展的基础计算单元。

 

SPU通过三层协同（LPL感知+DPL理解+SPL决策）实现了一个自洽、紧凑、不可拆分的计算整体；同时作为building block，它又可以像Transformer Block一样自由堆叠、平滑扩展，从百万到数亿参数保持一致的性能增益。

 

这可能是DNA基础模型找到自己"原生计算范式"的重要一步。