目标检测分类损失函数——Cross entropy、Focal loss
一、Cross Entropy Loss 交叉熵是用来判定实际的输出与期望的输出的接近程度,刻画的是实际输出与期望输出的距离,也就是交叉熵的值越小,两个概率分布就越接近。
CE Loss的定义
假设概率分布p为期望输出,概率分布q为实际输出,H(p,q)为交叉熵,则:
当 时,交叉熵取得最小值,因此可以...
知识蒸馏是一种模型压缩方法,是一种基于“教师-学生网络思想”的训练方法,由于其简单,有效,在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作: Distilling the Knowledge in a Neural Network(https://arxiv.org/pdf/1503.02531.pdf)
Knowledge Distillation,简称KD,...
triplet loss 是深度学习的一种损失函数,主要是用于训练差异性小的样本,比如人脸等;其次在训练目标是得到样本的embedding任务中,triplet loss 也经常使用,比如文本、图片的embedding。
损失函数公式:\(L=max(d(a,p)−d(a,n)+margin,0)\)
输入是一个三元组,包括锚(Anchor)示例、正(Positive)示例、负(Nega...