动手学习深度学习_笔记5

上传：wangjunww 浏览： 16 推荐： 0 文件：PDF 大小：46.5KB 上传时间：2021-01-16 21:50:02 版权申诉

5.1 卷积神经网络基础主要是卷积层和池化层。二维互相关运算的输入是一个二维输入数组和一个二维核数组,输出也是一个二维数组,其中核数组称为卷积核或过滤器。 def corr2d(X, K): H, W = X.shape h, w = K.shape Y = torch.zeros(H - h + 1, W - w + 1) for i in range(Y.shape[0]): for j in range(Y.shape[1]): Y[i, j] = (X[i: i + h, j: j + w] * K).sum(

上传资源

动手深度学习笔记5

模型选择、欠拟合和过拟合训练误差(training error):指模型在训练数据集上表现出的误差。泛化误差(generalization error):指模型在任意一个测试数据样本上表现出的误差

2021-01-16 10:53

深度学习动手学深度学习笔记5

Task2——梯度消失、梯度爆炸 5.1 梯度消失与梯度爆炸的概念深度神经网络训练的时候,采用的是反向传播方式,该方式使用链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深。那么如果

2021-01-16 17:03

动手学习深度学习_笔记4

4.1 机器翻译机器翻译将一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译。输出序列的长度可能与源序列的长度不同。数据预处理 def preprocess_raw(text

2021-01-16 07:53

动手学深度学习学习笔记

文本预处理常见的四个步骤: 读入文本分词建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型 import collections import

2021-01-16 16:53

动手学习深度学习–笔记二

1 过拟合、欠拟合及其解决方案一类是模型无法得到较低的训练误差,我们将这一现象称作欠拟合(underfitting); 另一类是模型的训练误差远小于它在测试数据集上的误差,我们称该现象为过拟合(ov

2021-02-01 15:55

深度学习动手学深度学习笔记8

Task4——注意力机制与Seq2seq模型 8.1 注意力机制所谓的注意力机制,其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统,不仅可以自主学习注意力,还可以帮助我们更

2021-01-16 11:25

深度学习动手学深度学习笔记10

Task5——卷积神经网络基础;leNet;卷积神经网络进阶 10.1 卷积神经网络(CNN)基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构,被应用在图像识别、自然语言处理甚至是语音识

2021-02-01 12:36

深度学习动手学深度学习笔记4

Task2——过拟合、欠拟合及其解决方案 4.1 欠拟合与过拟合的概念欠拟合:模型拟合不够,在训练集(training set)上表现效果差,没有充分的利用数据,预测的准确度低。过拟合:模型过度拟

2021-02-01 09:33

深度学习动手学深度学习笔记9

Task——Transformer 9.1 Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器,可用于代替 CNN 和 RNN 来提取序列的特

2021-01-09 07:17

深度学习动手学深度学习笔记6

Task-3——循环神经网络进阶 6.1 长短期记忆(LSTM) 6.1.1 理论知识理解理解LSTM网络 6.1.2 LSTM的从零开始实现以下附上代码: 导入相应的包 import numpy

2021-01-31 16:42

动手深度学习笔记7

循环神经网络进阶 GRU(门控循环单元) 门控循环神经网络,为了更好地捕捉时间序列中时间步距离较大的依赖关系。其中,门控循环单元(gated recurrent unit,GRU)是一种常用的门控循

2021-02-01 00:20

动手深度学习笔记6

梯度消失和梯度爆炸当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为 L 的多层感知机的第 l 层 H(l) 的权重参数为 W(l) ,输出层 H(L) 的权重参数为 W(L) 。为

2021-01-17 02:29

动手深度学习笔记8

机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。主要特征:输出是单词序列而不是单个单词。输出序列的长度可能与源序

2021-01-16 22:58

动手学深度学习学习笔记五

本文的主要内容有::卷积神经网络基础;leNet;卷积神经网络进阶一、卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。二维卷

2021-01-17 00:54

动手学深度学习学习笔记四

本文的主要内容有:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer。一、机器翻译及相关技术机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问

2021-01-15 16:11