《动手学深度学习》学习笔记

上传：pass79909 浏览： 14 推荐： 0 文件：PDF 大小：44.02KB 上传时间：2021-01-16 16:53:03 版权申诉

文本预处理常见的四个步骤: 读入文本分词建立字典,将每个词映射到一个唯一的索引(index) 将文本从词的序列转换为索引的序列,方便输入模型 import collections import re def read_time_machine(): with open('/home/kesci/input/timemachine7163/timemachine.txt', 'r') as f: lines = [re.sub('[^a-z]+', ' ', line.strip().lower()) for line in f] return li

上传资源

深度学习动手学深度学习笔记8

Task4——注意力机制与Seq2seq模型 8.1 注意力机制所谓的注意力机制,其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统,不仅可以自主学习注意力,还可以帮助我们更

2021-01-16 11:25

深度学习动手学深度学习笔记5

Task2——梯度消失、梯度爆炸 5.1 梯度消失与梯度爆炸的概念深度神经网络训练的时候,采用的是反向传播方式,该方式使用链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深。那么如果

2021-01-16 17:03

深度学习动手学深度学习笔记10

Task5——卷积神经网络基础;leNet;卷积神经网络进阶 10.1 卷积神经网络(CNN)基础卷积神经网络是一种用来处理局部和整体相关性的计算网络结构,被应用在图像识别、自然语言处理甚至是语音识

2021-02-01 12:36

深度学习动手学深度学习笔记4

Task2——过拟合、欠拟合及其解决方案 4.1 欠拟合与过拟合的概念欠拟合:模型拟合不够,在训练集(training set)上表现效果差,没有充分的利用数据,预测的准确度低。过拟合:模型过度拟

2021-02-01 09:33

深度学习动手学深度学习笔记9

Task——Transformer 9.1 Transformer Transformer 是一种新的、基于 attention 机制来实现的特征提取器,可用于代替 CNN 和 RNN 来提取序列的特

2021-01-09 07:17

深度学习动手学深度学习笔记6

Task-3——循环神经网络进阶 6.1 长短期记忆(LSTM) 6.1.1 理论知识理解理解LSTM网络 6.1.2 LSTM的从零开始实现以下附上代码: 导入相应的包 import numpy

2021-01-31 16:42

动手学深度学习学习笔记五

本文的主要内容有::卷积神经网络基础;leNet;卷积神经网络进阶一、卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。二维卷

2021-01-17 00:54

动手学深度学习学习笔记四

本文的主要内容有:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer。一、机器翻译及相关技术机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问

2021-01-15 16:11

动手学深度学习笔记2

模型过拟合与欠拟合首先我们需要区分训练误差和泛化误差。一般来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训

2021-02-01 01:12

动手学深度学习笔记2

第二次打卡内容 Task1 过拟合欠拟合,梯度消失,爆炸,LSTM,GRU Tsak2 机器翻译,Seq2Seq, Transformer Task3 卷积神经网络基础和进阶,leNet 过拟合与欠拟

2021-02-01 07:07

笔记2动手学深度学习

资料来源:伯禹学习平台。概念整理 K折交叉验证由于验证数据集不参与模型训练,当训练数据不够用时,预留大量的验证数据显得太奢侈。一种改善的方法是K折交叉验证(K-fold cross-validat

2021-01-17 02:47

动手学深度学习笔记二

Task03 错题一.过拟合、欠拟合及解决方法二.梯度消失、梯度爆炸可以理解为在夏季的物品推荐系统与冬季相比,时间或者说季节发生了变化,导致了夏季推荐圣诞礼物的不合理的现象,这个现象是由于协变量

2021-01-17 00:10

动手学深度学习PyTorch笔记三

一过拟合、欠拟合及其解决方案欠拟合(underfitting): 一类是模型无法得到较低的训练误差,我们将这一现象称作过拟合(overfitting):模型的训练误差远小于它在测试数据集上的误差

2021-01-16 23:36

动手学深度学习PyTorch笔记四

一机器翻译及相关技术机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。主要特征:输出是单词序列而不是单个单词。输出序列的长度可能

2021-01-16 22:51

李沐动手学深度学习笔记

李沐老师b站课程的笔记

2023-01-05 18:33