近年来，人工智能模型规模持续膨胀，从百亿参数到千亿甚至万亿参数的大模型不断涌现。然而，这些“巨无霸”在带来强大性能的同时，也面临着部署困难、推理成本高昂、能耗巨大等问题。如何让大模型的知识“浓缩”进小模型，成为业界关注的热点。知识蒸馏（Knowledge Distillation）技术应运而生，成为模型压缩与加速的关键手段。但一个关键问题随之而来：为什么小模型在学习时，不仅要学会“答案”（硬标签），还要学习教师模型输出的“概率分布”（软标签）？

什么是知识蒸馏？

知识蒸馏由Hinton等人在2015年提出，其核心思想类似于“师傅带徒弟”——用一个性能优异但复杂度高的大模型（教师模型）来指导一个轻量级的小模型（学生模型）训练。学生模型通过学习教师模型的输出，获得超越自身规模的泛化能力。这个过程并非简单复制教师模型的参数，而是模仿其“思维方式”。

从一次考试看硬标签与软标签

为了理解软标签的价值，不妨设想一个场景：一张含有手写数字“7”的图片。教师模型输出的硬标签（即最终预测类别）是“7”，概率为1。但它的软标签（即所有类别上的概率分布）可能显示：数字“7”的概率为0.9，“1”的概率为0.05，“2”的概率为0.02，“9”的概率为0.01……这个分布揭示了教师模型的内在认知——它“认为”这张图与“1”有相似之处，与“8”几乎无关。

如果学生模型只学习硬标签“7”，它只能获得“这就是7”的二元信息。但学习软标签后，它还能学到“7与1相比7与8更接近”这类结构化的相似性知识。这种信息被称为“暗知识”（dark knowledge），它包含了类别之间的相对关系、模糊性以及教师模型的置信度。

学习概率分布为何更有效？

其一，提供更丰富的监督信号。硬标签只提供一个正例，而软标签为每个类别都给出了一个“教师评分”。这相当于学生模型在每一个类别上都被提供了梯度信号，加速收敛并增强泛化。例如在图像分类中，对于不同品种的狗，硬标签只有一种，但软标签能反映出品种间的相似度。

其二，缓解过拟合。真实数据中难免存在噪声或标注错误，硬标签可能将学生模型引入歧途。而软标签通常更为平滑，教师模型因具有泛化能力，其输出分布比原始标注更“合理”，学生模型学习这种分布，有助于抵抗噪声。

其三，实现知识迁移的“温度调节”。Hinton引入“温度”参数来软化概率分布：高温下分布更平滑，突出类别间的关系；低温下分布接近硬标签。通过调整温度，可以控制学生模型从教师模型中获得的知识深度。这一机制使得学生模型不仅会“答题”，更学会了“思考的方式”。

实践中的广泛应用

如今，知识蒸馏已渗透到各个AI领域。在自然语言处理中，BERT等大模型通过蒸馏得到TinyBERT、DistilBERT，参数量减少40%以上，推理速度提升数倍，而性能几乎无损。在计算机视觉中，ResNet等深层网络可以蒸馏给MobileNet等轻量网络，使手机也能跑通高性能模型。此外，在目标检测、语音识别、推荐系统中，蒸馏技术同样不可或缺。

未来，随着大模型进一步普及，知识蒸馏将不再仅仅是“压缩工具”，更可能成为AI民主化的重要桥梁——让昂贵的“顶级专家”知识，以极低成本惠及每一个终端设备。

这也解释了为何研究者反复强调：小模型学习的不应只是答案本身，更应是答案背后那层丰富的、关于“世界如何相似”的概率分布。毕竟，学会答案只是学会了“是什么”，而学会分布才是学会了“为什么”以及“还有什么”。