抱歉，您的浏览器无法访问本站

1 什么是 timm 库？ PyTorchImageModels，简称 timm，是一个巨大的 PyTorch 代码集合，包括了一系列： image models layers utilities optimizers schedulers data-loaders / augmentations training / validation scripts 旨在将各种 SO...

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方法，由于其简单，有效，在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作： Distilling the Knowledge in a Neural Network(https：//arxiv.org/pdf/1503.02531.pdf) Knowledge Distillation，简称KD，...

Θ，既是上界也是下界(tight)，等于的意思。 Ο，表示上界(tightness unknown)，小于等于的意思。 ο，表示上界(not tight)，小于的意思。 Ω，表示下界(tightness unknown)，大于等于的意思。 ω，表示下界(not tight)，大于的意思。 O符号是用于描述函数渐近行为的数学符号。更确切地说，它是用另一个（通常更简单的）函数来描述一个...

triplet loss 是深度学习的一种损失函数，主要是用于训练差异性小的样本，比如人脸等；其次在训练目标是得到样本的embedding任务中，triplet loss 也经常使用，比如文本、图片的embedding。 损失函数公式：\(L=max(d(a,p)−d(a,n)+margin,0)\) 输入是一个三元组，包括锚（Anchor）示例、正（Positive）示例、负（Nega...

今天来填一个巨大的坑，主要是学车真的快把人热傻了外加晒成了黑炭，考不过真是be了。 神经网络叠的越深，则学习出的效果就一定会越好吗？答案无疑是否定的，人们发现当模型层数增加到某种程度，模型的效果将会不升反降。也就是说，深度模型发生了退化（degradation）情况。 那么，为什么会出现这种情况？ 首先印入脑海的就是的过拟合问题 在这个多项式回归问题中，左边的模型是欠拟合（und...

transformer最经典的图 这个图为transformer的整体结构，左侧为 Encoder block，右侧为 Decoder block。 黄色圈中的部分为Multi-Head Attention，是由多个Self-Attention组成的，可以看到 Encoder block 包含一个 Multi-Head Attention，而 Decoder block 包含两个...

还有一个问题是：现在的self-attention中没有位置的信息，一个单词向量的“近在咫尺”位置的单词向量和“远在天涯”位置的单词向量效果是一样的，没有表示位置的信息(No position information in self attention)。 所以输入”A打了B“或者”B打了A“的效果其实是一样的，因为并没有考虑位置的信息。所以在self-attention原来的paper中...

还有一种multi-head的self-attention，以2个head的情况为例: 由\(a^{i}\)生成的\(q^{i}\)进一步乘以2 个转移矩阵变为\(q^{i, 1}\)和\(q^{i, 2}\)，同理由\(a^{i}\)生成的\(k^{i}\)进一步乘以2个转移矩阵变为\(k^{i, 1}\)和\(k^{i, 2}\)，由\(a^{i}\)生成的\(v^{i}\)进一步乘以2...