EWMA与归一化层的渊源

EWMA (Exponentially Weighted Moving Average)

加权移动平均法，对观察值给予不同权重，越近的观察值给予更高的权重。相比传统的平均法，不需要保存过去所有的历史记录，且能够显著降低计算量

事实上，这个EWMA在深度学习的各种normalization层里，以momentum参数的形式出现，以动量控制归一化层均值和方差参数的参数更新步骤。

EWMA的计算方式如下：

$EWMA_t = \alpha \times r_t + (1 - \alpha) \times EWMA_{t-1}$

参考资料