指数加权平均值

假设我们要计算最近N天的温度移动平均值。 我们要做的是从0开始,然后每天,我们将其与参数权重(假设β )相乘,乘以直到现在为止所累积的值再加上当天温度的1- β倍。

Vt = β *(Vt-1)+(1- β )* NewSample

在上图中,如果β为0.9,红线显示加权平均值,如果β为0.98,绿线显示加权平均值。

通过选择β值,我们可以控制在计算平均值的最后N天要给多少重量。 1 / 1- β是记住此权重如何应用的简单方法。 当β为0.9时,我们将在温度的最后10天取平均值,而当β为0.98时,我们将考虑温度的最后50天,并因此将温度的50天取平均值。

通过在一个较大的窗口中求平均值,当温度变化时,平均值会缓慢适应。 这是因为以前的值被赋予了很多权重,而新值被赋予了更小的权重。

对该公式如何呈指数衰减有一些直觉。 正如我们在下面看到的,将1- β的值乘以当前值。 如果扩展方程,我们看到最终将当前值乘以1- β ,并且先前的β值在曲线上呈指数衰减。

指数移动平均值是一种计算平均值的高效方法。 我们不需要太多内存或计算能力即可计算此平均值。 它也非常适合机器学习优化,并且使用某种形式的指数加权平均值可能对神经网络中的简单梯度下降有所帮助。