精通Transformer:从零开始构建最先进的NLP模型萨瓦斯·伊尔蒂利姆,梅萨姆·阿斯加里-切纳格卢江红,余青松,余靖译书籍 pdf下载

●第1部分 导论：相关领域的近期新发展概述、环境安装和Hello World应用程序
第1章 从词袋到Transformer
1.1 技术需求
1.2 自然语言处理到Transformer的演变历程
1.3 理解分布式语义
1.3.1 词袋技术的实现
1.3.2 克服维度问题
1.3.3 语言建模与生成
1.4 利用深度学习
1.4.1 学习单词嵌入
1.4.2 循环神经网络概述
1.4.3 长短期记忆网络和门控循环单元
1.4.4 卷积神经网络概述
1.5 Transformer体系结构概述
1.5.1 注意力机制
1.5.2 多头注意力机制
1.6 在迁移学习中结合使用Transformer
1.7 本章小结
第2章 Transformer的实践操作入门
2.1 技术需求
2.2 使用Anaconda安装Transformer
2.2.1 在Linux操作系统中安装Anaconda
2.2.2 在Windows操作系统中安装Anaconda
2.2.3 在macOS操作系统中安装Anaconda
2.2.4 安装TensorFlow、PyTorch和Transformer
2.2.5 使用Google Colab安装环境
2.3 使用语言模型和分词器
2.4 使用社区提供的模型
2.5 使用基准测试和数据集
2.5.1 重要的基准测试
2.5.2 使用应用程序编程接口访问数据集
2.6 速度和内存的基准测试
2.7 本章小结
第2部分 Transformer模型：从自编码模型到自回归模型
第3章 自编码语言模型
3.1 技术需求
3.2 BERT：一种自编码语言模型
3.2.1 BERT语言模型预训练任务
3.2.2 对BERT语言模型的深入研究
3.3 适用于任何语言的自编码语言模型训练
3.4 与社区共享模型
3.5 了解其他自编码模型
3.5.1 Albert模型概述
3.5.2 RoBERTa模型
3.5.3 ELECTRA模型
3.6 使用分词算法
3.6.1 字节对编码
3.6.2 WordPiece分词算法
3.6.3 SentencePiece分词算法
3.6.4 tokenizers库
3.7 本章小结
第4章 自回归和其他语言模型
4.1 技术需求
4.2 使用自回归语言模型
4.2.1 生成式预训练模型的介绍与训练
4.2.2 Transformer-XL模型
4.2.3 XLNet模型
4.3 使用序列到序列模型
4.3.1 T5模型
4.3.2 BART概述
4.4 自回归语言模型训练
4.5 使用自回归模型的自然语言生成
4.6 使用simpletransformers进行总结和机器翻译微调
4.7 本章小结
第5章 微调文本分类语言模型
5.1 技术需求
5.2 文本分类导论
5.3 微调BERT模型以适用于单句二元分类
5.4 使用原生PyTorch训练分类模型
5.5 使用自定义数据集对多类别分类BERT模型进行微调
5.6 微调BERT模型以适用于句子对回归
5.7 使用run_glue.py对模型进行微调
5.8 本章小结
第6章 微调标记分类语言模型
6.1 技术需求
6.2 标记分类概述
6.2.1 理解命名实体识别
6.2.2 理解词性标注
6.2.3 理解问题回答系统
6.3 微调语言模型以适用于命名实体识别任务
6.4 基于标记分类的问题回答系统
6.5 本章小结
第7章 文本表示
7.1 技术需求
7.2 句子嵌入概述
7.2.1 交叉编码器与双向编码器
7.2.2 句子相似性模型的基准测试
7.2.3 使用BART模型进行零样本学习
7.3 使用FLAIR进行语义相似性实验
7.3.1 平均词嵌入
7.3.2 基于循环神经网络的文档嵌入
7.3.3 基于Transformer的BERT嵌入
7.3.4 Sentence-BERT嵌入
7.4 基于Sentence-BERT的文本聚类
7.4.1 基于paraphrase-distilroberta-base-v1的主题建模
……