动手打造深度学习框架 pdf下载

1.实战导向，分析核心代码与逻辑，并提供源代码
2.结构合理，从元编程技术到逐步打造深度学习框架
3.巩固学习，每章都配有练习题，方便读者检测学习效果
4.全程视频讲解，理解更清晰

第 1 部分 元编程基础技术
第　1 章 元编程基本方法　2
1．1　元函数与 type_traits　2
1．1．1　元函数简介　2
1．1．2　类型元函数　3
1．1．3　各式各样的元函数　5
1．1．4　type_traits　6
1．1．5　元函数与宏　6
1．1．6　本书中元函数的命名方式　7
1．2　模板型模板参数与容器模板　7
1．2．1　模板作为元函数的输入　8
1．2．2　模板作为元函数的输出 ．8
1．2．3　容器模板　9
1．3　从元函数到元对象　10
1．3．1　元对象与元数据域　11
1．3．2　元方法　12
1．4　顺序、分支与循环代码的编写　13
1．4．1　顺序执行的代码　13
1．4．2　分支执行的代码　14
1．4．3　循环执行的代码　21
1．4．4　小心：实例化爆炸与编译崩溃　27
1．4．5　分支选择与短路逻辑　29
1．5　奇特的递归模板式　30
1．6　小结　32
1．7　练习　32
第　2 章 元数据结构与算法　34
2．1　基本数据结构与算法　34
2．1．1　数据结构的表示方法　34
2．1．2　基本算法　36
2．1．3　算法的复杂度　38
2．2　基于包展开与折叠表达式的优化　41
2．2．1　基于包展开的优化　41
2．2．2　基于折叠表达式的优化　42
2．3　基于操作合并的优化　43
2．4　基于函数重载的索引算法　46
2．4．1　分摊复杂度　46
2．4．2　容器的重载结构映射　46
2．4．3　构造重载结构　47
2．4．4　索引元函数　48
2．4．5　允许重复键　48
2．4．6　集合与顺序表的索引操作　51
2．5　顺序表的索引算法　52
2．5．1　构造索引序列　52
2．5．2　索引顺序表的元函数　54
2．6　小结　55
2．7　练习　56
第　3 章 异类词典与 policy 模板　57
3．1　具名参数简介　57
3．2　异类词典　59
3．2．1　模块的使用方式　59
3．2．2　键的表示　61
3．2．3　异类词典的实现　63
3．2．4　VarTypeDict 的性能简析　69
3．2．5　将 std：：tuple 作为缓存　70
3．3　policy 模板　70
3．3．1　policy 介绍　71
3．3．2　定义 policy 与 policy 对象（模板）　73
3．3．3　使用 policy　76
3．3．4　背景知识-支配与虚继承　78
3．3．5　policy 对象与 policy 支配结构　79
3．3．6　policy 选择元函数　80
3．3．7　使用宏简化 policy 对象的声明　85
3．3．8　特殊的 policy 类型　86
3．3．9　其他与 policy 相关的元函数　89
3．4　小结　89
3．5　练习　90
第　2 部分 深度学习框架
第　4 章 深度学习概述　92
4．1　深度学习简介　92
4．1．1　从机器学习到深度学习　93
4．1．2　各式各样的人工神经网络　94
4．1．3　深度学习系统的组织与训练　96
4．2　本书所实现的框架--MetaNN　98
4．2．1　从矩阵运算工具到深度学习框架　98
4．2．2　MetaNN 概述　99
4．2．3　本书将要讨论的内容　101
4．3　小结　104
第　5 章 类型体系与基本数据类型　105
5．1　设计理念　106
5．1．1　编译期的职责划分　106
5．1．2　使用类型体系管理不同的数据类型　106
5．1．3　支持不同的计算设备与计算单元　107
5．1．4　存储空间的分配与维护　107
5．1．5　浅拷贝与写操作检测　110
5．1．6　底层接口扩展　112
5．1．7　类型转换与求值　113
5．1．8　数据接口规范　114
5．2　类型体系　114
5．2．1　类型体系概述　114
5．2．2　迭代器分类体系　116
5．2．3　将标签作为模板参数　117
5．2．4　MetaNN 的类型体系　119
5．2．5　类别标签与数据类型的关联　120
5．2．6　与类型体系相关的元函数　121
5．3　Shape 类与形状信息　123
5．3．1　模板定义与基本操作　124
5．3．2　索引与偏移量的变换　125
5．3．3　维度为 0 时的特化　127
5．3．4　Shape 的模板推导　127
5．4　Tensor 类模板　128
5．4．1　模板定义　128
5．4．2　底层访问接口　131
5．4．3　模板特化与类型别名　132
5．4．4　主体类型的相关元函数　133
5．5　TrivialTensor　134
5．6　MetaNN 所提供的其他数据类型　135
5．7　DynamicData　135
5．7．1　基类模板 DynamicBase　136
5．7．2　派生类模板DynamicWrapper　137
5．7．3　使用 DynamicData 封装指针行为　138
5．7．4　辅助函数与辅助元函数　139
5．7．5　DynamicData 与动态类型体系　139
5．8　小结　140
5．9　练习　141
第　6 章 运算与表达式模板　143
6．1　表达式模板概述　143
6．2　MetaNN 运算模板的设计思想　145
6．2．1　Add 类模板的问题　145
6．2．2　运算模板的行为分析　146
6．3　辅助元函数与辅助类模板　150
6．3．1　IsValidOper　150
6．3．2　辅助类模板 OperElementType_/ OperDeviceType_　150
6．3．3　辅助类模板 OperCateCal　151
6．3．4　辅助类模板 OperAuxParams　152
6．3．5　辅助类模板 OperShapeInfo　153
6．3．6　辅助类模板 OperSeq_　155
6．4　运算模板的框架　155
6．5　运算实现示例　157
6．5．1　Sigmoid 运算　157
6．5．2　加法运算　159
6．5．3　点乘运算　163
6．6　其他运算　167
6．6．1　四则运算　168
6．6．2　Slice 运算　168
6．6．3　Permute 运算及其相关运算　169
6．6．4　ReduceSum 运算　170
6．6．5　非线性变换与相应的梯度计算　170
6．7　运算的折中与局限性　171
6．7．1　运算的折中　171
6．7．2　运算的局限性　171
6．8　小结　172
6．9　练习　172
第　7 章 基本层　174
7．1　层的设计理念　174
7．1．1　概述　174
7．1．2　层对象的构造　176
7．1．3　参数的初始化与加载　178
7．1．4　正向传播　178
7．1．5　存储中间结果　180
7．1．6　反向传播　182
7．1．7　输出梯度的形状检测　183
7．1．8　更新参数　183
7．1．9　导出参数　184
7．1．10　层的中性检测　184
7．2　层的辅助逻辑　184
7．2．1　初始化模块　184
7．2．2　接口相关辅助逻辑　192
7．2．3　GradPolicy　195
7．2．4　MakeInferLayer 与MakeTrainLayer　196
7．2．5　通用操作函数　197
7．2．6　其他辅助逻辑　198
7．3　层的具体实现　201
7．3．1　AddLayer　202
7．3．2　MultiplyLayer　206
7．3．3　ParamSourceLayer　208
7．4　小结　214
7．5　练习　214
第　8 章 复合层　215
8．1　复合层的接口与设计理念　216
8．1．1　基本结构　216
8．1．2　结构描述语法　217
8．1．3　policy 的继承　218
8．1．4　policy 的修正　219
8．1．5　输入类型映射表的推导　219
8．1．6　复合层的构造函数　220
8．1．7　一个完整的复合层构造示例　220
8．2　policy 继承与修正逻辑的实现　222
8．2．1　policy 继承逻辑的实现　222
8．2．2　policy 修正逻辑的实现　225
8．3　ComposeTopology 的实现　225
8．3．1　功能简述　225
8．3．2　拓扑排序算法概述　226
8．3．3　ComposeTopology 包含的主要步骤　227
8．3．4　结构描述子句与其划分　227
8．3．5　结构合法性检查　229
8．3．6　拓扑排序的实现　230
8．3．7　子层实例化元函数　233
8．4　ComposeKernel 的实现　239
8．4．1　类模板的声明　239
8．4．2　子层对象管理　240
8．4．3　参数初始化、参数获取、参数梯度收集与中性检测　242
8．4．4　正向传播　244
8．4．5　反向传播　248
8．5　复合层实现示例　250
8．6　小结　251
8．7　练习　252
第　9 章 循环层　253
9．1　设计理念　253
9．1．1　子层的容器接口　253
9．1．2　确定序列所在维度　254
9．1．3　正向传播与反向传播　255
9．2　循环层的实现　256
9．2．1　主体框架　256
9．2．2　（元）数据域　256
9．2．3　KernelGenerator_的实现　257
9．2．4　ShapeDictHelper　259
9．2．5　构造函数、参数初始化等接口　260
9．2．6　正向传播　261
9．2．7　反向传播　263
9．3　循环层应用示例　265
9．3．1　以 AddLayer 作为内核的循环层　265
9．3．2　GRU　266
9．4　小结　268
9．5　练习　268
第　10 章 求值与优化　269
10．1　MetaNN 的求值模型　270
10．1．1　运算的层次结构　270
10．1．2　求值子系统的类划分　271
10．2　基本求值逻辑　280
10．2．1　主体类型的求值接口　280
10．2．2　非主体基本数据类型的求值　281
10．2．3　运算模板的求值　284
10．2．4　DynamicData 与求值　286
10．3　求值过程的优化　287
10．3．1　避免重复计算　287
10．3．2　针对运算特性的优化　289
10．3．3　同类计算合并　290
10．3．4　多运算协同优化　291
10．4　小结　297
10．5　练习　298
后记　299