预训练语言模型属于人工智能领域中自然语言处理领域的一个细分。 本书主要介绍预训练语言模型。预训练语言模型是自然语言处理领域的重要突破，得到了越来越广泛的关注，相关研究者和从业人员在实际应用的过程中，亟需一本理论翔实、代码细节充分的参考书。本书详细梳理了预训练语言模型的基本概念和理论基础，并通过实际代码的讲解， 阐述了具有代表性的预训练语言模型的实现细节，非常适合需要快速、全面掌握预训练语言模型的从业者阅读。

第1章 预训练语言模型简介
1.1 自然语言处理研究进展
1.2 预训练语言模型：为什么要预训练
1.2.1 预训练
1.2.2 自然语言表示
1.2.3 预训练语言模型发展史及分类
第2章 预训练语言模型基础知识
2.1 统计语言模型
2.2 神经网络语言模型
2.3 词向量：解决相似单词的距离问题
2.4 RNN 和 LSTM 基础
2.5 基于 RNN 的语言模型
2.6 ELMo：解决多义词的表示问题
第3章 Transformer 与 Attention
3.1 Transformer 的结构
3.2 Self-Attention：从全局中找到重点
3.3 位置编码：为什么有效
3.4 单向掩码：另一种掩码机制
3.5 代码解读：模型训练技巧
3.5.1 训练技巧 1：归一化层前置
3.5.2 训练技巧 2：梯度累积
第4章 GPT 系列模型
4.1 GPT 的结构：基于 Transformer Decoder
4.2 GPT 任务改写：如何在不同任务中使用 GPT
4.3 GPT 核心代码解读
4.4 GPT-2：Zero-shot Learning 的潜力
4.4.1 N-shot Learning
4.4.2 核心思想
4.4.3 模型结构
4.5 GPT-3：Few-shot Learning 的优秀表现
4.5.1 看词造句
4.5.2 语法纠错
4.5.3 GPT-3 的争议
第5章 BERT 模型
5.1 BERT：公认的里程碑
5.2 BERT 的结构：强大的特征提取能力
5.3 无监督训练：掩码语言模型和下句预测
5.3.1 MLM
5.3.2 NSP
5.3.3 输入表示
5.4 微调训练：适应下游任务
5.4.1 句对分类
5.4.2 单句分类
5.4.3 文本问答
5.4.4 单句标注
5.5 核心代码解读：预训练和微调
5.5.1 BERT 预训练模型
5.5.2 BERT 微调模型
5.6 BERT 总结
第6章 后 BERT 时代的模型
6.1 XLM：跨语言模型
6.1.1 优化方向
6.1.2 算法细节
6.1.3 小结
6.2 MT-DNN：多任务融合
6.2.1 优化方向
6.2.2 算法细节
6.2.3 小结
6.3 UniLM：获得文本生成能力
6.3.1 优化方向
6.3.2 算法细节
6.3.3 小结
6.4 SpanBERT：扩大掩码范围
6.4.1 优化方向
6.4.2 算法细节
6.4.3 小结
6.5 XLNet：置换自回归
6.5.1 优化方向
6.5.2 算法细节
6.5.3 小结
6.6 ERNIE：知识图谱
6.6.1 优化方向
6.6.2 算法细节
6.6.3 小结
6.7 VideoBERT：多模态融合
6.7.1 优化方向
6.7.2 算法细节
6.7.3 小结
6.8 ALBERT：参数共享
6.8.1 优化方向
6.8.2 算法细节
6.8.3 小结
6.9 RoBERTa：更大的模型
6.9.1 优化方向
6.9.2 算法细节
6.9.3 小结
6.10 BART：编解码结构
6.10.1 优化方向
6.10.2 算法细节
6.10.3 小结
6.11 T5：大一统模型
6.11.1 优化方向
6.11.2 算法细节
6.11.3 小结
6.12 总结
第7章 评测和应用
7.1 评测任务
7.1.1 通用评测任务
7.1.2 领域评测任务
7.1.3 其他评测任务
7.2 模型应用：Transformers 代码实战
7.2.1 安装
7.2.2 快速上手指南
7.2.3 微调训练
7.2.4 BERT 应用
7.3 模型压缩：量化、剪枝和蒸馏
7.3.1 BERT 模型分析
7.3.2 量化
7.3.3 剪枝
7.3.4 蒸馏
7.3.5 结构无损压缩
7.4 模型扩展：多模态预训练
7.4.1 单流模型
7.4.2 双流模型
第8章 总结和展望
8.1 预训练语言模型的发展现状
8.2 预训练语言模型的未来展望
参考文献