大家好，今天继续讲述关于人工智能学习的基础篇。

（1）知识蒸馏

知识蒸馏（Knowledge Distillation），又称模型蒸馏，是一种基于教师-学生模型的人工智能模型压缩技术，通过将大型教师模型的知识迁移至小型学生模型，实现降低部署成本并提升推理效率的目标。

该技术核心采用教师模型输出的软目标指导学生模型训练，通过温度参数提取概率分布中的细节信息，避免输出极端化。训练分为两阶段：先独立训练复杂教师模型，再利用加权损失函数（结合软目标与真值标签的交叉熵）训练简化学生模型。

预测阶段学生模型采用常规Softmax输出。该技术通过模仿教师模型输出，减少对原始训练数据的依赖，在目标检测任务中衍生出重点与全局知识蒸馏（FGD）方法，通过分离前背景蒸馏并结合全局语义信息提升模型性能。

具体来说，知识蒸馏使用的是Teacher—Student模型，其中teacher是“知识”的输出者，student是“知识”的接受者。知识蒸馏的过程分为2个阶段：

①教师模型训练

训练"Teacher模型", 简称为 Net-T，它的特点是模型相对复杂，也可以由多个分别训练的模型集成而成。对"Teacher模型"不作任何关于模型架构、参数量、是否集成方面的限制，因为该模型不需要部署，唯一的要求就是，对于输入X, 其都能输出Y，其中Y经过softmax的映射，输出值对应相应类别的概率值。 

②学生模型训练

训练"Student模型", 简称为Net-S，它是参数量较小、模型结构相对简单的单模型。同样，对于输入X，其都能输出Y，Y 经过softmax映射后能输出相应类别的概率值。 

知识蒸馏的通用教师 - 学生网络框架 

由于使用softmax的网络的结果很容易走向极端，即某一类的置信度超高，其他类的置信度都很低，此时学生模型关注到的正类信息可能还是仅属于某一类。除此之外，因为不同类别的负类信息也有相对的重要性，所有负类分数都差不多也不好，达不到知识蒸馏的目的。为了解决这个问题，引入温度（Temperature）的概念，使用高温将小概率值所携带的信息蒸馏出来。具体来说，在logits过softmax函数前除以温度T。

训练时首先将教师模型学习到的知识蒸馏给小模型，具体来说对样本 x，大模型的倒数第二层先除以一个温度 T，然后通过 Softmax 预测一个软目标 Soft target，小模型也一样，倒数第二层除以同样的温度 T，再通过Softmax预测一个结果，接着把这个结果和软目标的交叉熵作为训练的total loss的一部分。下一步再将小模型正常的输出和真值标签（hard target）的交叉熵作为训练的 total loss 的另一部分。Total loss把这两个损失加权合起来作为训练小模型的最终的loss。

在小模型训练好后的预测环节，就不需要再有温度T，直接按照常规的Softmax输出即可。

（2）可解释性模型

人工智能中具备透明度与可信度的模型技术

 

可解释性模型是在保障有效性的前提下，通过提升技术透明度减少算法黑箱特性的模型类型。其核心价值体现在降低对公共资源的消耗、增强用户对AI系统的信任度，以及在医疗诊断、金融风控等关键领域实现可靠应用。该模型分为基于透明算法的原生型（如线性回归、决策树）与依赖后验解释的增强型（如LIME、SHAP）两种技术路径。

截至2024年，该领域研究重点关注性能与可解释性之间的平衡优化，同时向信息安全等新兴场景拓展应用边界。

通过算法透明度保障决策过程可追溯，采用规则化结构或辅助解释技术揭示模型内在逻辑。具体涵盖两种实现方式：

原生透明模型

包括线性回归、K近邻算法等具备数学可解析性的算法

后验解释技术

通过局部代理模型（LIME）、特征归因（SHAP）等方法对复杂模型进行逆向解析。

现有技术存在解释范围局部化、需在性能与可解释性之间权衡等问题。部分解释方法在处理深层神经网络时仍面临维度灾难，且解释结果本身的可信度验证体系尚未完善。2024年研究重点聚焦于构建可量化的解释效果评价框架，并探索新型混合解释模型的开发路径。

今天就讲这些，下篇文章见。