RepVGG: Making VGG-style ConvNets Great Again Abstract
我们提出了一种简单而强大的卷积神经网络架构,它具有一个类似于vgg的推理时间体,由3
×
3卷积和ReLU的堆栈组成,而训练时间模型具有多分支拓扑结构。这种训练时间和推理时间架构的解耦是通过结构重新参数化技术实现的,因此该模型被命名为RepVGG。在ImageNet上,RepV...
目标检测分类损失函数——Cross entropy、Focal loss
一、Cross Entropy Loss
交叉熵是用来判定实际的输出与期望的输出的接近程度,刻画的是实际输出与期望输出的距离,也就是交叉熵的值越小,两个概率分布就越接近。
CE Loss的定义
假设概率分布p为期望输出,概率分布q为实际输出,H(p,q)为交叉熵,则:
当
时,交叉熵取得最小值,因此...
知识蒸馏是一种模型压缩方法,是一种基于“教师-学生网络思想”的训练方法,由于其简单,有效,在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作:
Distilling the Knowledge in a Neural
Network(https://arxiv.org/pdf/1503.02531.pdf)
Knowledge
Distillation,简称...