●为预训练和微调寻找合适的用例和数据集
●使用定制的加速器和GPU,为大规模训练做好准备
●配置AWS和SageMaker环境,优选限度地提高性能
●根据模型和约束条件选择参数
●使用多种并行方式分发模型和数据集
●利用作业重启、间歇性健康检查等方式避开陷阱
●定性和定量地评估模型
●部署模型，在运行时进行改进和监控

第I部分 预训练前
第1章 预训练基础模型简介3
1.1预训练和微调艺术4
1.2Transformer模型架构和自注意力6
1.3先进的视觉模型和语言模型8
1.3.1截至2023年4月的视觉模型9
1.3.2对比预训练与自然语言监督11
1.3.3截至2023年4月的语言模型12
1.3.4语言技术重点——因果建模和缩放法则14
1.4编码器和解码器15
1.5本章小结17
第2章 数据集准备：第1部分19
2.1为基础建模寻找数据集和用例19
2.2你的数据集有多大区别23
2.2.1使用缩放法则调整数据集的大小25
2.2.2基础——神经语言模型的缩放法则26
2.3偏差检测和减少28
2.4增强数据集——多语言、多模态和增强30
2.5本章小结32
第3章 模型准备35
……