[深度学习]动手学深度学习笔记 8

上传：caoyunmei 浏览： 29 推荐： 0 文件：PDF 大小：1.29MB 上传时间：2021-01-16 11:25:40 版权申诉

Task4——注意力机制与Seq2seq模型 8.1 注意力机制所谓的注意力机制,其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统,不仅可以自主学习注意力,还可以帮助我们更好的理解神经网络。现在,在计算机视觉当中大多数都是通过掩码来生成注意力,掩码本质上是一组新的权重,可以帮助我们找到需要关注的信息。目前主要演化出了两种注意力,一种是软注意力,其重点关注的是区域或通道,这种注意力是固定的,可微的;另一种是强注意力,其重点关注的是点,不可微,一般通过强化学习获得。当我们人类在看东西时,一般会将注意力集中注视着某个地方,而不会关注全部所有信息。例如当我们一看到下面

上传资源

深度学习动手学深度学习笔记5

Task2——梯度消失、梯度爆炸 5.1 梯度消失与梯度爆炸的概念深度神经网络训练的时候,采用的是反向传播方式,该方式使用链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深。那么如果

2021-01-16 17:03

深度学习动手学深度学习笔记10

Task5——卷积神经网络基础;leNet;卷积神经网络进阶 10.1 卷积神经网络(CNN)基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构,被应用在图像识别、自然语言处理甚至是语音识

2021-02-01 12:36

深度学习动手学深度学习笔记4

Task2——过拟合、欠拟合及其解决方案 4.1 欠拟合与过拟合的概念欠拟合:模型拟合不够,在训练集(training set)上表现效果差,没有充分的利用数据,预测的准确度低。过拟合:模型过度拟

2021-02-01 09:33

深度学习动手学深度学习笔记9

Task——Transformer 9.1 Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器,可用于代替 CNN 和 RNN 来提取序列的特

2021-01-09 07:17

深度学习动手学深度学习笔记6

Task-3——循环神经网络进阶 6.1 长短期记忆(LSTM) 6.1.1 理论知识理解理解LSTM网络 6.1.2 LSTM的从零开始实现以下附上代码: 导入相应的包 import numpy

2021-01-31 16:42

动手学深度学习学习笔记

文本预处理常见的四个步骤: 读入文本分词建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型 import collections import

2021-01-16 16:53

动手深度学习笔记8

机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。主要特征:输出是单词序列而不是单个单词。输出序列的长度可能与源序

2021-01-16 22:58

动手学深度学习学习笔记五

本文的主要内容有::卷积神经网络基础;leNet;卷积神经网络进阶一、卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。二维卷

2021-01-17 00:54

动手学深度学习学习笔记四

本文的主要内容有:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer。一、机器翻译及相关技术机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问

2021-01-15 16:11

动手学深度学习笔记2

模型过拟合与欠拟合首先我们需要区分训练误差和泛化误差。一般来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训

2021-02-01 01:12

动手学深度学习笔记2

第二次打卡内容 Task1 过拟合欠拟合,梯度消失,爆炸,LSTM,GRU Tsak2 机器翻译,Seq2Seq, Transformer Task3 卷积神经网络基础和进阶,leNet 过拟合与欠拟

2021-02-01 07:07

笔记2动手学深度学习

资料来源:伯禹学习平台。概念整理 K折交叉验证由于验证数据集不参与模型训练,当训练数据不够用时,预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证(K-fold cross-validat

2021-01-17 02:47

动手学深度学习笔记二

Task03 错题一.过拟合、欠拟合及解决方法二.梯度消失、梯度爆炸可以理解为在夏季的物品推荐系统与冬季相比,时间或者说季节发生了变化,导致了夏季推荐圣诞礼物的不合理的现象,这个现象是由于协变量

2021-01-17 00:10

动手学深度学习

MXNet社区的《动手学深度学习》2018-8-6pdf版，涵盖卷积神经网络、循环神经网络、计算机视觉、自然语言处理、优化算法。内容深入浅出，即使使用TensorFlow、PyTorch也可借鉴。结合

2019-05-13 17:15

动手学深度学习

带你学深度学习，B站有配套教学视频，一起学习深度学习

2020-06-01 16:51