抱歉，您的浏览器无法访问本站

上文提到了交叉熵这个损失函数，本来整理一下Softmax这个激活函数。 Softmax从字面上来说，可以分成soft和max两个部分。max故名思议就是最大值的意思。Softmax的核心在于soft，而soft有软的含义，与之相对的是hard硬。很多场景中需要我们找出数组所有元素中值最大的元素，实质上都是求的hardmax。 hardmax最大的特点就是只选出其中一个最大的值，即非黑即白...

熵这个概念还记得牛哥在一年前给我讲过，计算loss的时候要用到交叉熵，小整理一下。 通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -> KL散度(Kullback-L...

流形，也就是 Manifold 。嵌入，也就是Embedding。 有时候经常会在paper里看到“嵌入在高维空间中的低维流形”，以及机器学习里的Embedding层。不过高维的数据对于我们这些可怜的低维生物来说总是很难以想像（论为什么要学习高等代数），所以最直观的例子通常都会是嵌入在三维空间中的二维或者一维流形。比如说一块布，可以把它看成一个二维平面，这是一个二维的欧氏空间，现在我们（在...

这学期一直都在看ViT（Vision Transformer），现在的transformer近似于一种“大道至简”，在各个领域都可以作为一个baseline。 如果谈到Transformer那首先就会谈到self-attention。 Transformer是一个Sequence to Sequence model，特别之处在于它大量用到了self-attention。 要处理一个Se...

第一次参加这种比赛，到最后也没有分数，很难受，明年再战吧。 感觉思路并不是妹有道理的QAQ 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879...

1、Numpy numpy中文教程 官方文档 Numpy是一个用于进行数组运算的库 Numpy中最重要的对象是称为ndarray的N维数组类型 一般使用如下语句导入:import numpy as np 创建数组:numpy.array(object, dtype = None, copy = True, order = None, subok = False, ndmin ...

电场强度 库仑定律： \[ F=\frac{1}{4 \pi \varepsilon_{0}} \frac{q \cdot q_{0}}{r^{2}} \] 真空介电常量： \[ \varepsilon_{0}=8.85 \times 10^{-12} C^{2} /\left(N \cdot m^{2}\right) \] 电场强度： \[ E=\frac{1}{4 \pi \...

用数理统计方法解决多臂老虎机问题 摘要 多臂老虎机问题（Multi-Armed Bandit problem，简称MAB问题）是概率论与数理统计中一个经典问题，也属于机器学习中强化学习的范畴。 在这个问题中，赌徒必须决定在一系列试验中使用不同的老虎机中的哪一个，以最大化他的回报。这一经典问题之所以受到广泛关注，是因为它提供了一个简单的模型，在探索（尝试每个机器以找到回报最好的一台）、利...

​ 今天偶然看到了一个来自《Quake III》（雷神之锤III）的算法，平方根倒数速算法（Fast Inverse Square Root），不得不感叹卡神的智慧。 12345678910111213141516float Q_rsqrt( float number ){ long i; float x2,y; const float threehalfs =...

好久没更新了，小更一下 如下文所示 介绍一种不定长数组及字符串的输入方法（C语言实现） 12345678910111213141516int main() { int size_A; int A[1024]; char c; for (int i = 0;;i++) { scanf("%d%c",&A[i],&c); /...