[深度学习]动手学深度学习笔记 5

上传：宇 浏览： 23 推荐： 0 文件：PDF 大小：612.93KB 上传时间：2021-01-16 17:03:24 版权申诉

Task2——梯度消失、梯度爆炸 5.1 梯度消失与梯度爆炸的概念深度神经网络训练的时候,采用的是反向传播方式,该方式使用链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深。那么如果连乘的因子大部分小于1,最后乘积的结果可能趋于0,也就是梯度消失,后面的网络层的参数不发生变化. 那么如果连乘的因子大部分大于1,最后乘积可能趋于无穷,这就是梯度爆炸。 5.2 梯度消失与梯度爆炸的后果梯度消失会导致我们的神经网络中前面层的网络权重无法得到更新,也就停止了学习。梯度爆炸会使得学习不稳定, 参数变化太大导致无法获取最优参数。在深度多层感知机网络中,梯度爆炸会导致网络不稳定,最

深度学习动手学深度学习笔记8

Task4——注意力机制与Seq2seq模型 8.1 注意力机制所谓的注意力机制,其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统,不仅可以自主学习注意力,还可以帮助我们更

2021-01-16 11:25

深度学习动手学深度学习笔记10

Task5——卷积神经网络基础;leNet;卷积神经网络进阶 10.1 卷积神经网络(CNN)基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构,被应用在图像识别、自然语言处理甚至是语音识

2021-02-01 12:36

深度学习动手学深度学习笔记4

Task2——过拟合、欠拟合及其解决方案 4.1 欠拟合与过拟合的概念欠拟合:模型拟合不够,在训练集(training set)上表现效果差,没有充分的利用数据,预测的准确度低。过拟合:模型过度拟

2021-02-01 09:33

深度学习动手学深度学习笔记9

Task——Transformer 9.1 Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器,可用于代替 CNN 和 RNN 来提取序列的特

2021-01-09 07:17

深度学习动手学深度学习笔记6

Task-3——循环神经网络进阶 6.1 长短期记忆(LSTM) 6.1.1 理论知识理解理解LSTM网络 6.1.2 LSTM的从零开始实现以下附上代码: 导入相应的包 import numpy

2021-01-31 16:42

动手学深度学习学习笔记

文本预处理常见的四个步骤: 读入文本分词建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型 import collections import

2021-01-16 16:53

动手学习深度学习_笔记5

5.1 卷积神经网络基础主要是卷积层和池化层。二维互相关运算的输入是一个二维输入数组和一个二维核数组,输出也是一个二维数组,其中核数组称为卷积核或过滤器。 def corr2d(X, K): H,

2021-01-16 21:50

动手学深度学习学习笔记五

本文的主要内容有::卷积神经网络基础;leNet;卷积神经网络进阶一、卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。二维卷

2021-01-17 00:54

动手学深度学习学习笔记四

本文的主要内容有:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer。一、机器翻译及相关技术机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问

2021-01-15 16:11

动手深度学习笔记5

模型选择、欠拟合和过拟合训练误差(training error):指模型在训练数据集上表现出的误差。泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差

2021-01-16 10:53

动手学深度学习笔记2

模型过拟合与欠拟合首先我们需要区分训练误差和泛化误差。一般来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训

2021-02-01 01:12

动手学深度学习笔记2

第二次打卡内容 Task1 过拟合欠拟合,梯度消失,爆炸,LSTM,GRU Tsak2 机器翻译,Seq2Seq, Transformer Task3 卷积神经网络基础和进阶,leNet 过拟合与欠拟

2021-02-01 07:07

笔记2动手学深度学习

资料来源:伯禹学习平台。概念整理 K折交叉验证由于验证数据集不参与模型训练,当训练数据不够用时,预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证(K-fold cross-validat

2021-01-17 02:47

动手学深度学习笔记二

Task03 错题一.过拟合、欠拟合及解决方法二.梯度消失、梯度爆炸可以理解为在夏季的物品推荐系统与冬季相比,时间或者说季节发生了变化,导致了夏季推荐圣诞礼物的不合理的现象,这个现象是由于协变量

2021-01-17 00:10

动手学深度学习

MXNet社区的《动手学深度学习》2018-8-6pdf版，涵盖卷积神经网络、循环神经网络、计算机视觉、自然语言处理、优化算法。内容深入浅出，即使使用TensorFlow、PyTorch也可借鉴。结合

2019-05-13 17:15