动手学深度学习 Task3 笔记

过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶 2.15-2.19 一、过拟合、欠拟合及其解决方案 1、过拟合问题 模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(overfitting)。 产生过拟合的可能原因 模型复杂度过高 训练数据过少,特别是比模型参数数量(按元素计)更少 解决过拟合的方案 降低模型复杂度 增加训练数据 在计算资源允许的范围之内,我们通常希望训练数据集大一些 2、欠拟合问题 模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting)。 解决方案 增加数据 添加特征 增加模型复杂度 二、梯度消失、梯度爆炸 解决方法