大家好，今天继续讲述关于人工智能学习的基础篇。

（1）正则自编码器

正则自编码器是深度学习领域中通过引入正则化约束改进特征学习的自编码器类型。其核心特征是通过在损失函数中添加正则化项，使模型无需限制网络深度或编码维度即可学习稀疏表示、表示的小导数及噪声鲁棒性等特性，有效提升了数据分布的捕获能力。

该模型将正则化惩罚项作用于隐藏层表示，作为重构主任务的辅助约束条件。与传统权重衰减方法不同，其正则化机制直接关联输入特征而非参数先验分布，使得过完备架构下的非线性自编码器仍能提取有效信息。常用类型包括通过L1正则化实现稀疏表征的稀疏自编码器，以及通过添加噪声训练获取鲁棒表征的降噪自编码器。

洪朝群团队在研究中使用超图正则化方法改进自编码器，相关成果涉及三维人体姿态恢复领域，其专利《基于多模态自编码模型的单视角视频人体姿态恢复方法》展现了技术应用方向。

编码维数小于输入维数的欠完备自编码器可以学习数据分布最显著的特征。我们已经知道，如果赋予这类自编码器过大的容量，它就不能学到任何有用的信息。

如果隐藏编码的维数允许与输入相等，或隐藏编码维数大于输入的过完备（overcomplete）情况下，会发生类似的问题。在这些情况下，即使是线性编码器和线性解码器也可以学会将输入复制到输出，而学不到任何有关数据分布的有用信息。

理想情况下，根据要建模的数据分布的复杂性，选择合适的编码维数和编码器、解码器容量，就可以成功训练任意架构的自编码器。正则自编码器提供这样的能力。

正则自编码器使用的损失函数可以鼓励模型学习其他特性（除了将输入复制到输出），而不必限制使用浅层的编码器和解码器以及小的编码维数来限制模型的容量。这些特性包括稀疏表示、表示的小导数、以及对噪声或输入缺失的鲁棒性。即使模型容量大到足以学习一个无意义的恒等函数，非线性且过完备的正则自编码器仍然能够从数据中学到一些关于数据分布的有用信息。

（2）随机编码器

随机编码器（Random encoder）是神经网络的一种，在自编码器基础上通过向编码器和解码器注入噪声，使其输出变为来自分布的采样。该结构由编码分布和解码分布构成，可视为包含编码分布和解码分布的生成模型。其训练目标是最小化输入与重构之间的负对数似然，损失函数形式取决于输出变量的类型（如实值、二值或离散），其中实值对应高斯分布，二值对应Bernoulli分布，离散对应softmax分布。

随机自编码器(randomized autoencoder,RAE)因表征能力强、学习速度快而备受关注，但主流方法针对标量/向量数据设计时会破坏张量数据的结构信息。研究人员提出基于卷积构造的二维矩阵随机自编码器(MRAE)，包括单边随机自编码器(OMRAE)和双边MRAE(DMRAE)，并引入基于类内散度(WSI)和类内交互距离(WID)约束的类内正则项，形成WSI-OMRAE和WID-OMRAE。通过堆叠MRAE可嵌入分层正则化最小二乘框架实施单分类无监督异常检测。

通常情况下， 编码器和解码器的分布没有必要是与唯一一个联合分布相容的条件分布。在保证足够的容量和样本的情况下，将编码器和解码器作为去噪自编码器训练，能使它们渐近地相容。

今天就讲这些，下篇文章见。