动手学深度学习 Task3 Task5

知识点协变量偏移标签偏移概念偏移 协变量偏移 在传统机器学习中,一个常见的问题的协变量偏移(Covariate Shift)。协变量是一个统计学概念,是可能影响预测结果的统计变量。 在机器学习中,协变量可以看作是输入。一般的机器学习算法都要求输入在训练集和测试集上的分布是相似的。如果不满足这个假设,在训练集上学习到的模型在测试集上的表现会比较差。 内部协变量偏移(Internal Covariate Shift): 从机器学习角度来看,如果某个神经层的输入分布发生了改变,那么其参数需要重新学习,这种现象叫做内部协变量偏移(Internal Covariate Shift)。 在深层神经网络中,