深度学习基础与工程实践 pdf下载

这是一本好读又好懂的深度学习工程实践入门书。

本书以工程实践为主线，基于TensorFlow 2.0软件框架详细介绍了深度学习的工作原理和方法，并以实际代码为例，剖析了构建神经网络模型的流程、全连接网络的运行原理、卷积神经网络的结构与运行机制、循环神经网络的结构与运行机制，讨论了使用Dense、Conv1D、Conv2D、SimpleRNN、LTSM、GRU、Bidirectional等深度学习模型解决计算机视觉、序列问题的方法，并在此基础上基于具体示例介绍了深度学习的高阶实践。

本书致力于为人工智能算法工程师及从事人工智能引擎相关工作的人提供理论与实践指导，适合对人工智能及其应用感兴趣的读者阅读。

郭泽文，香港理工大学软件科技理学硕士，中国人工智能学会会员，香港理工大学北京校友会理事。在计算机行业工作近30年，长期从事产品研发与项目管理工作，曾就职于北控、盛大等企业，目前是一家知名人工智能企业的合伙人，负责创新性产品的规划与研发，致力于深度学习领域的探索与产品化实践。

第1章　搭建环境
1.1　安装Anaconda 2
1.2　安装CUDA及其加速器 3
1.3　安装TensorFlow 2.0 4
1.4　开发环境——Spyder 6
1.5　可视化分析工具——TensorBoard 7
第2章　机器学习与深度学习
2.1　机器学习 11
2.2　深度学习 13
第3章　构建神经网络模型
3.1　搭建一个全连接网络 17
3.2　确定要解决的问题 19
3.3　准备数据与数据预处理 20
3.3.1　数据集 22
3.3.2　拟合问题初探 23
3.3.3　数据集划分与数据污染 25
3.3.4　神经网络中的数据表示 26
3.3.5　张量操作 30
3.3.6　数据预处理 32
3.4　构建神经网络 34
3.4.1　构建神经网络的方法 34
3.4.2　理解Sequential Model的构建方法 35
3.4.3　理解layers与layer 37
3.4.4　理解models与model 39
3.4.5　理解Dense 39
3.4.6　激活函数 40
3.5　编译模型 42
3.5.1　优化器 43
3.5.2　损失函数 44
3.5.3　评价指标 46
3.6　训练模型 47
3.6.1　使用fit方法训练模型 47
3.6.2　使用fit_generator方法训练模型 51
3.6.3　使用TensorBoard回调函数训练模型 52
3.7　测试模型 59
3.7.1　性能评估 59
3.7.2　模型预测 60
3.8　保存模型 62
3.8.1　save方式 62
3.8.2　save_weights方式 63
3.8.3　SavedModel方式 64
3.9　使用模型 64
3.9.1　以save_weights方式保存的模型的加载方法 64
3.9.2　以save方式保存的模型的加载方法 65
3.9.3　以SavedModel方式保存的模型的加载方法 66
3.10　模型的重新训练与预测 66
3.11　使用模型在新数据上进行推理 69
第4章　全连接网络
4.1　全连接层 72
4.2　使用全连接网络解决文本分类问题 74
4.2.1　基于IMDB数据集的二分类任务 75
4.2.2　基于Reuters数据集的多分类任务 79
4.3　使用全连接网络解决标量回归问题 82
4.3.1　使用留出验证集方式训练模型 86
4.3.2　使用K折交叉验证方式训练模型 87
4.4　全连接网络图片分类问题的优化 88
4.4.1　降低模型容量：缩减模型的超参数 90
4.4.2　奥卡姆剃刀原则：正则化模型参数 91
4.4.3　初识随机失活：Dropout基础 92
第5章　卷积神经网络
5.1　使用CNN解决MNIST数据集的分类问题 96
5.2　全连接网络面临的问题 98
5.3　局部相关性与权值共享 100
5.4　构建卷积神经网络 102
5.4.1　CNN与Dense性能比较 102
5.4.2　卷积层 104
5.4.3　池化层 108
5.4.4　打平层 111
5.4.5　卷积神经网络基础架构 113
5.5　使用Conv1D解决二分类问题 115
5.5.1　EarlyStopping函数：训练终止 118
5.5.2　ModelCheckpoint函数：动态保存模型 120
5.5.3　再谈随机失活 122
第6章　循环神经网络
6.1　循环神经网络基础 126
6.1.1　序列 126
6.1.2　序列向量化 126
6.1.3　权值共享 130
6.1.4　全局语义 130
6.1.5　循环神经网络概述 131
6.1.6　循环层 132
6.2　SimpleRNN 133
6.2.1　序列数据的预处理 136
6.2.2　理解SimpleRNN层 137
6.3　LSTM网络 141
6.3.1　短时记忆与遗忘曲线 141
6.3.2　梯度问题 142
6.3.3　门控机制 143
6.3.4　理解LSTM层 144
6.4　GRU 151
6.4.1　LSTM网络面临的问题 151
6.4.2　门控机制的优化方法 152
6.4.3　理解GRU层 152
6.5　双向循环神经网络 159
6.5.1　双向LSTM网络 161
6.5.2　双向GRU 164
6.6　解决循环神经网络的拟合问题 167
6.6.1　通过正则化模型参数解决拟合问题 167
6.6.2　使用随机失活解决拟合问题 168
第7章　深度学习高阶实践
7.1　函数式API网络模型 173
7.1.1　如何实现层图共享 177
7.1.2　如何实现模型共享 180
7.1.3　如何实现模型组装与嵌套 183
7.1.4　如何实现多输入多输出模型 185
7.2　混合网络模型 189
7.3　基于Xception架构实现图片分类任务 191
7.3.1　Xception架构 191
7.3.2　使用image_dataset_from_directory函数构建数据集 194
7.3.3　数据增强技术 199
7.3.4　数据增强器的使用 201
7.3.5　二维深度分离卷积层：SeparableConv2D 202
7.3.6　数据标准化前置与中置 205
7.3.7　编译与训练模型 206
7.3.8　在新数据上进行推理 207
7.4　残差网络在CIFAR10数据集上的实践 208
7.4.1　CIFAR10数据集 208
7.4.2　深度残差网络：ResNet 209
7.4.3　基于ResNet构建多分类任务模型 211
7.5　GloVe预训练词嵌入实践 215
7.5.1　从原始文件构建训练集 216
7.5.2　解析并加载GloVe 220
7.5.3　在二分类模型中使用词嵌入矩阵 221
7.5.4　模型的编译与训练 222
7.5.5　构建测试集与模型评估 222
7.6　基于预训练网络VGG16完成图片分类任务 224
7.6.1　预训练网络 224
7.6.2　预训练网络之特征提取方法 225
7.6.3　预训练网络之微调模型方法 230
7.7　生成式深度学习实践 237
7.7.1　基于ResNet50的Deep Dream技术实践 238
7.7.2　基于VGG19网络的风格迁移实践 244
7.8　使用自定义回调函数监控模型的行为 253
7.8.1　将约束理论应用于模型调优 254
7.8.2　构建全局回调函数 255
7.8.3　构建epoch级的自定义回调函数 258
7.8.4　构建batch级的自定义回调函数 260
第8章　模型的工程封装与部署
8.1　深度学习模型的工程封装方法 263
8.2　使用Flask部署神经网络模型 264
8.2.1　Flask是什么 265
8.2.2　将模型部署成接口提供给第三方使用 267
8.2.3　深度学习模型与Web应用协同工作 270
8.3　基于TFX的部署实践 273
8.3.1　TensorFlow Serving服务模型 273
8.3.2　基于TensorFlow Serving与Docker部署深度学习模型 275
第9章　回顾与展望
9.1　神经网络的架构 281
9.2　构建神经网络模型的流程与实践 282
9.3　深度学习的局限性与展望 285

前言

观自在菩萨。行深般若波罗蜜多时。照见五蕴皆空。度一切苦厄。舍利子。色不异空。空不异色。色即是空。空即是色。受想行识。亦复如是。……乃至无老死。亦无老死尽。无苦集灭道……

——《心经》

在展开这本书的内容之前，我想先说一下佛。与佛结缘，始于2007年3月时任香港理工大学校长潘宗光先生赠予的《心经与生活智慧》《心经与现代管理》这两本书。书中说，无数大德高僧践行的佛教教义，可以解决俗世中的很多问题。生活与工作中的“色”“受”“想”“行”“识”，无一例外，被认知的局限性困扰——不懂得夫妻相处之道，家庭就不会和谐美满；不了解项目管理的理论和方法，就谈不上有效的、高质量的项目管理。但如果我们能像“观自在菩萨”一样，修为到达“行深般若波罗蜜多时”，就能“照见五蕴皆空”，进而“度一切苦厄”，尘世间的种种，均能迎刃而解。

那么，怎么才能做到“行深般若波罗蜜多时”呢？佛教的知识体系提出了“四圣谛”的理论来解决这个问题。所谓“四圣谛”，即“苦”“集”“灭”“道”。“苦”是指发现存在的问题；“集”是指找到问题的根源；“灭”是指寻求解决问题的方法；“道”是指使用正确的方法解决存在的问题。

人工智能是研究如何模拟人类认知的一门科学。认知的含义非常广泛，最朴素的理解是将“所见所闻”变成“所感”。“所见所闻”可以理解为人类的感知智能，其中，“所见”是计算机视觉要解决的问题，“所闻”是自然语言处理（或者说，计算机听觉）要解决的问题。“所感”就是人类认知智能的范畴了。认知智能表现在对“所见所闻”的内容进行理解、解释、规划、推理、演绎、归纳等一系列能力上，并能进一步作出相应的、适当的反应。

本书的重点是向读者详细介绍如何使用深度学习解决人工智能中“所见所闻”的问题，包括以下内容。

第1章详细介绍如何搭建一个以学习为主的深度学习开发环境。本书的所有程序示例都是在这个开发环境中实现的。

第2章简要介绍了人工智能的发展历程、流派，以及机器学习与深度学习的基本内容与相关概念。

第3章以一个用全连接网络实现单标签多分类任务的例子，讲解如何从零构建一个神经网络模型的工作流程和方法，剖析各个流程的相关阶段的主要任务及实现过程。

第4章详细阐述了如何使用全连网络解决计算机视觉、自然语言处理中的二分类、多分类、标量回归等问题，初步介绍了优化模型的方法、原理与实践，让读者对全连接网络有一个全面的理解。

第5章基于程序示例，系统地介绍了卷积神经网络的基本原理、思想及相关模型，帮助读者整体理解卷积神经网络的基础架构，并详细介绍了常用内置回调函数的使用方法，以及防止卷积神经网络过拟合问题的关键技术。

第6章系统地介绍了循环神经网络的基本原理，以及典型模型的演化历程及相关思想，并通过程序示例比较了SimpleRNN、LSTM、GRU、Bidirectional模型的性能优势，详细介绍了解决循环神经网络过拟合问题的方法及Dropout的独特之处。

第7章通过程序示例，详细介绍了深度学习的高阶实践，包括函数式神经网络模型、混合网络模型、基于Xception架构的实践、残差网络的实践、基于预训练词嵌入的实践、使用预训练模型实现特征提取与模型微调、生成式深度学习的实践以及如何使用自定义回调函数监控模型训练过程，并详细阐述了如何从零构建数据集、如何实现数据增强、如何进行数据的批标准化等关键技术。

第8章详细介绍了深度学习模型的封装方法与工程部署方式。

第9章对本书内容进行了概要性的回顾。

回到“四圣谛”的主题上，在佛教的知识体系中，提供了一整套指导方案，践行“四圣谛”的各个环节，比丘僧侣们藉此解决其面临的各种人生难题——解决自己的问题称为小乘，教化而替别人解决问题视为大乘。笔者不是佛教徒，不会去面对青灯古佛修习佛法，自然也没有小乘、大乘之说。不过，佛教典籍的博大精深隐隐左右着笔者的思想和行为。写这本书的目的，就是试图为AI工程师找到解决人工智能在感知问题上的“苦”“集”“灭”“道”，或许暗合大乘之意——尽管笔者连小乘都不到。

郭泽文

2021年1月于北京