《动手学深度学习PyTorch版》打卡_Task3过拟合欠拟合梯度消失梯度爆炸

最近参加了伯禹平台和Datawhale等举办的《动手学深度学习PyTorch版》课程,对过拟合,欠拟合,梯度消失,梯度爆炸做下笔记。 过拟合和欠拟合 模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting) 模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合 解决方法 权重衰减 权重衰减等价于 L2 范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。带有L2L2范数惩罚项的新损失函数为: 其中超参数λ>0。当权重参数均为0时,惩罚项最小。当λ较大时,惩罚项在损失函数中的比重较大