知识蒸馏知识蒸馏是对模型的能力进行迁移,将一个大模型(教师模型)在经可能保证其预测效果的前提下压缩为一个小模型(学生模型)。
知识蒸馏的核心是:知识、蒸馏算法、师生架构
按照知识来说,可以分为:基于Logits/响应、基于特征、基于关系。
2025-03-26