1 论文信息

论文题目:In Pursuit of Pixel Supervision for Visual Pre-training
论文作者:Lihe Yang
发表单位:Meta FAIR
发表会议：CVPR2026
代码链接:https://github.com/facebookresearch/pixio

2 论文贡献

本文提出Pixio，在掩码自编码器（MAE）基础上开展最小改动，提出MetaCLIP‑S自筛选策略，基于模型重建损失从20亿张网络图像中筛选富含空间结构的数据，同时通过加深解码器、采用更大粒度掩码块、引入多个类别token改进MAE架构；大量实验表明，该模型无需大量基准导向数据，在单目深度估计、3D重建、分割及机器人学习等稠密预测任务上能够媲美甚至超越DINOv2/v3，同时揭示过度引入下游基准样本会损害模型分布外泛化能力，证实掩码自监督范式经过数据与配置优化，可有效学习面向物理世界的空间视觉表征。

3 论文主要创新点

创新点1：面向空间智能的无偏数据筛选策略MetaCLIP‑S
针对现有自监督预训练数据过度偏向下游基准、容易造成过拟合的问题，该工作基于20亿张网络爬取图像设计MetaCLIP‑S，利用模型自身重建损失实现软采样，结合颜色直方图熵过滤，筛选出空间结构丰富的图像，以极少人工干预规避基准数据集带来的分布偏差，专门服务于稠密表征学习。

创新点2：对MAE架构进行三处轻量化针对性改进
在保留MAE掩码重建核心范式前提下，不引入全新损失函数，通过加深解码器减轻编码器的像素重建负担、使用更大粒度掩码块消除重建捷径以强化空间推理、增加多个类别token来建模多样全局视觉信息，以较小的算法改动显著提升MAE在稠密任务上的表征能力。

创新点3：重新验证并拓展MAE范式在空间理解上的能力边界
过往普遍认为MAE更适配图像分类，稠密预测弱于对比学习类DINO系列，本文通过充分实验证实，经过数据与架构优化后的MAE（Pixio），即便仅使用单视图预训练，也可在深度估计、3D重建、分割、机器人学习等空间相关任务上达到甚至超越DINOv2/v3的效果，同时揭示预训练数据构建对物理世界理解类模型的关键作用。

4 方法

4.1 MetaCLIP‑S数据筛选策略

提出 MetaCLIP‑S（S 代表空间 spatial），用于筛选具备丰富空间结构的数据。
沿用 MetaCLIP收集 20 亿张网络爬取图像，采用两套互为补充的筛选策略。
第一，采用基于损失的软采样。使用在原始数据上训练得到的 Pixio 模型，预计算每张图像i的重建损失(l_i)。那么图像i被采样（保留）的概率为：
$$\mathbb{P}(i)=\min \left(l_i,1\right)$$
该策略降低容易重建样本（例如商品图片）的采样权重，同时突出那些重建难度高、空间结构丰富的内容。第二，过滤颜色直方图熵较低的图像，减少物理世界光照交互信息匮乏以及文字占比较高的图像；这类图像重建损失可能很高，但场景多样性不足。两套策略共同作用，以极小的筛选偏差保留丰富多元的视觉内容。

4.2 MAE 的重新设计

图 2. 我们的方法对 MAE 引入了四项简单却关键的更新，其动机如下。带有自筛选的网页级训练数据：IN-1K 聚焦于居中物体，缺乏学习稠密表征所需的空间多样性。更深的解码器：MAE 的解码器较浅，难以预测多样的空间结构，迫使编码器为空间重建而牺牲表征质量。更大的掩码块：单 patch 掩码会导致空间重建走捷径，且提供的上下文不足。更多 [CLS] token：单个类别 token 无法捕捉空间结构中多样的全局属性。

1. 增大解码器的深度。解码器不深，编码器不得不牺牲部分能力（例如靠后面的模块）去建模底层细节（即充当 “解码器”），
2. 更大的掩码块。单 patch 掩码会破坏局部上下文与潜在空间结构。更关键的是，模型仅仅复制邻近可见 patch 就可以得到看起来合理的重建结果，而不需要开展真正的视觉理解。因此我们采用更大粒度执行掩码，例如 4×4 的局部 patch 块.
3. 多类别 token。追加多个类别 token。当下游任务需要全局表征时，我对这些 token 取平均或者做拼接。

5 实验分析

5.1 特定域语义分割

表 4. 特定域语义分割结果，采用冻结编码器并搭配可训练的 DPT 或线性分类头。所有编码器均在我们与 DINOv3 不同的评测协议下进行评估。

5.2 消融实验

消融实验使用 ViT‑H 编码器，在 ImageNet‑21K 上训练 400 轮，批次大小 8192（约 50 亿样本）。我们选用 IN‑21K，因为它可以公开获取，能够保证实验可复现。评估时，默认深度估计任务使用 DPT 头，语义分割任务使用线性头.

图 3. 在原始 MAE 编码器不同模块上探测冻结特征，该编码器在 ImageNet-1K 上训练。相对模块深度由模块索引与模块总数之比计算得到，便于在不同架构之间进行对比（ViT-H：32 个模块，ViT-L：24 个模块）。单目深度估计（回归）与语义分割（分类）均使用线性头。

图 4. 在 IN-21K 上训练 MAE 时，使用不同深度（注意力模块数量）或宽度（特征维度）解码器的消融实验。编码器为 ViT-H（1280 维 × 32 个模块）。此处深度估计使用 DPT 头，语义分割使用线性头。

图 5. 掩码粒度（以 patch 数量衡量）的消融实验。MAE 采用单 patch（1×1）的掩码粒度。

6 个人声明