机器学习--调参经验之谈

深度学习的程序可能出错的地方有很多,这其中有一些错误发生频率比其他更高。通常我会从如下一些方面先行入手:◆从简单并且得到广泛应用的网络开始,如VGG,如果可以的话使用标准的损失函数。◆暂时去掉所有的trick,如数据增强(DataAugmentation)和正则化(regularization)。◆如果是微调(finetuning)模型,再次检查数据的预处理,保证其和原始网络训练时一致。◆检查输入数据是正确的。◆从很少量的数据开始(2-20样本),使其过拟合,然后逐渐增加样本。◆逐渐增加trick,数据增强,正则化,新的损失函数,更复杂的网络等等。如果上面的仍然不work的话,请按照下面的逐条实验。