本书讲述深度学习的基本原理，使用PyTorch展示涉及的深度学习算法。通过理论讲解和编程操作，使读者了解并掌握深度学习的原理和PyTorch编程技能，拉近理论与实践的距离。全书共分9章，主要内容包括PyTorch介绍、PyTorch基础编程、深度学习快速入门、神经网络训练与优化、卷积神经网络原理、卷积神经网络示例、词嵌入模型、循环神经网络原理、NLP示例。书中不但涵盖成熟的卷积神经网络和循环神经网络的原理和示例，还包含一些新的如Transformer和知识蒸馏的内容。全书源代码全部在Python 3.7.4+PyTorch 1.9.0版本上调试成功。
本书适合深度学习和PyTorch编程人员作为入门和提高的技术参考书使用，也适合用作计算机专业高年级本科生和研究生的教材或教学参考书。

第1章 PyTorch介绍
1.1 深度学习与PyTorch简介
1.1.1 深度学习介绍
1.1.2 PyTorch介绍
1.2 PyTorch安装
1.2.1 Anaconda下载
1.2.2 Windows下安装PyTorch
1.2.3 Linux Ubuntu下安装PyTorch
1.2.4 Anaconda管理
1.3 常用数据集
1.3.1 MNIST数据集
1.3.2 Fashion-MNIST数据集
1.3.3 CIFAR-10数据集
1.3.4 Dogs vs. Cats数据集
1.3.5 AG_NEWS数据集
1.3.6 WikiText2数据集
1.3.7 QIQC数据集
1.3.8 Multi30k数据集
习题
第2章 PyTorch基础编程
2.1 张量数据操作
2.1.1 张量简介
2.1.2 张量操作
2.1.3 广播机制
2.1.4 在GPU上使用Tensor
2.2 自动求导
2.2.1 自动求导概念
2.2.2 自动求导示例
2.3 数据集API
2.3.1 自定义数据集类
2.3.2 DataLoader类
2.4 torchvision工具示例
2.4.1 编写简单的图像数据集
2.4.2 Transforms模块
2.4.3 Normalize用法
2.4.4 ImageFolder用法
2.5 torchtext工具示例
2.5.1 编写文本预处理程序
2.5.2 使用torchtext
习题
第3章 深度学习快速入门
3.1 线性回归
3.1.1 线性回归介绍
3.1.2 线性回归实现
3.2 使用nn模块构建线性回归模型
3.2.1 使用nn.Linear训练线性回归模型
3.2.2 使用nn.Sequential训练线性回归模型
3.2.3 使用nn.Module训练线性回归模型
3.3 逻辑回归
3.3.1 逻辑回归介绍
3.3.2 逻辑回归实现
3.4 Softmax回归
3.4.1 Softmax回归介绍
3.4.2 Softmax回归实现
3.5 神经网络
3.5.1 神经元
3.5.2 激活函数
3.5.3 神经网络原理
3.5.4 PyTorch神经网络编程
习题
第4章 神经网络训练与优化
4.1 神经网络迭代概念
4.1.1 训练误差与泛化误差
4.1.2 训练集、验证集和测试集划分
4.1.3 偏差与方差
4.2 正则化方法
4.2.1 提前终止
4.2.2 正则化
4.2.3 Dropout
4.3 优化算法
4.3.1 小批量梯度下降
4.3.2 Momentum算法
4.3.3 RMSProp算法
4.3.4 Adam算法
4.4 PyTorch的初始化函数
4.4.1 普通初始化
4.4.2 Xavier初始化
4.4.3 He初始化
习题
第5章 卷积神经网络原理
5.1 CNN介绍
5.1.1 CNN与图像处理
5.1.2 卷积的基本原理
5.1.3 池化的基本原理
5.2 简单的CNN网络
5.2.1 定义网络模型
5.2.2 模型训练
5.2.3 模型评估
5.2.4 主函数
5.3 PyTorch实现LeNet-5网络
5.3.1 LeNet-5介绍
5.3.2 LeNet-5实现MNIST手写数字识别
5.3.3 LeNet-5实现CIFAR-10图像识别
习题
第6章 卷积神经网络示例
6.1 经典CNN网络
6.1.1 VGG
6.1.2 ResNet
6.1.3 Inception
6.1.4 Xception
6.1.5 ResNet代码研读
6.2 使用预训练的CNN
6.2.1 特征抽取
6.2.2 微调
6.3 知识蒸馏
6.3.1 知识蒸馏原理
6.3.2 知识蒸馏示例
6.4 CNN可视化
6.4.1 中间激活可视化
6.4.2 过滤器可视化
习题
第7章 词嵌入模型
7.1 词嵌入模型介绍
7.1.1 独热码
7.1.2 词嵌入
7.2 词嵌入学习
7.2.1 词嵌入学习的动机
7.2.2 Skip-Gram算法
7.2.3 CBOW算法
7.2.4 负采样
7.2.5 GloVe算法
7.3 Word2Vec算法实现
7.3.1 Skip-Gram实现
7.3.2 CBOW实现
7.3.3 负采样Skip-Gram实现
习题
第8章 循环神经网络原理
8.1 RNN介绍
8.1.1 有记忆的神经网络
8.1.2 RNN用途
8.2 基本RNN模型
8.2.1 基本RNN原理
8.2.2 基本RNN的训练问题
8.2.3 基本RNN编程
8.2.4 基本RNN示例
8.3 LSTM
8.3.1 LSTM原理
8.3.2 LSTM编程
8.4 GRU
8.4.1 GRU原理
8.4.2 GRU编程
8.5 注意力机制
8.5.1 Seq2Seq模型的缺陷
8.5.2 机器翻译中的注意力机制
8.6 Transformer模型
8.6.1 编码器
8.6.2 多头注意力层
8.6.3 前向层
8.6.4 位置编码
8.6.5 解码器
8.6.6 解码器层
8.6.7 Transformer的PyTorch实现
习题
第9章 NLP示例
9.1 情感分析
9.1.1 AG NEWS示例
9.1.2 Quora竞赛示例
9.2 语言模型
9.3 文本序列数据生成
9.3.1 向莎士比亚学写诗
9.3.2 神经机器翻译
习题
参考文献