深入理解MySQL主从原理 pdf下载

MySQL主从原理是高可用架构的基石。

本书彻底地分析了MySQL主从原理。

本书是作者多年来研究MySQL原理和实践的成果。

MySQL从业人员应人手一本备在身边，以防不时之需。

在超大规模流量的分布式系统环境下，无论是从系统性能的角度，还是从数据安全性的角度，掌握MySQL主从原理，都是当下技术人员的必备基本功。MySQL主从原理是高可用架构的基石，即便是MGR这种集群架构也可以看到主从的影子。要解决一个问题或者故障，最快的方式就是了解它的原理，快速定位问题。本书从源码层面抽丝剥茧般地描述MySQL主从原理，全面地介绍了GTID相关的知识点，并解析了主要Event的生成、作用和格式，以及线程的初步知识、MDL LOCK、排序等热门话题和主从相关的案例。无论是MySQL DBA和MySQL源码爱好者，还是刚进入数据库行业的小白读者，通过阅读本书，都能通过源码级分析，更好地理解和使用MySQL主从复制技术。

高鹏(网名八怪)，现任中亦安图科技有限公司数据库专家，2008年开始从事Oracle/MySQL相关工作，Oracle OCM、MySQL源码爱好者，知数堂8期学员。有丰富的数据库性能调优、故障诊断经验。

第1章 GTID 1
1．1 GTID的基本概念 1
1．1．1 GTID的作用 1
1．1．2 GTID的基本表示 1
1．1．3 server_uuid的生成 2
1．1．4 GTID的生成 2
1．1．5 GTID_EVENT和PREVIOUS_GTIDS_LOG_EVENT简介 3
1．1．6 gtid_executed表的作用 4
1．2 mysql．gtid_executed表、gtid_executed变量、gtid_purged变量的修改时机 5
1．2．1 定义 5
1．2．2 主库修改时机 7
1．2．3 从库修改时机 8
1．2．4 通用修改时机 10
1．2．5 通用修改时机源码函数简析 10
1．3 GTID模块初始化简介和参数binlog_gtid_simple_recovery 11
1．3．1 GTID模块初始化流程图 12
1．3．2 步骤解析 13
1．4 GTID中的运维 16
1．4．1 跳过一个事务 17
1．4．2 mysqldump导出行为的改变 17
1．4．3 搭建GTID AUTO_POSITION MODE的主从 18
1．4．4 主从切换 20
1．4．5 参数gitd_mode的含义 21
1．4．6 在线开启GTID 21
1．4．7 离线开启GTID 22
1．4．8 开启GTID的注意事项 23
1．4．9 统计值ONGOING_ANONYMOUS_TRANSACTION_COUNT的变更时机 23
1．4．10 设置MASTER_AUTO_POSITION = 1的影响 25
1．4．11 离线开启GTID丢失数据的测试 25
第2章 Event 28
2．1 binary log Event 的总体格式 28
2．1．1 引言 28
2．1．2 binary log综述 28
2．1．3 Event的总体格式 29
2．1．4 Event header和Event footer 29
2．1．5 具体解析 30
2．1．6 本书涉及的Event类型 31
2．2 重点Event之FORMAT_DESCRIPTION_EVENT和
PREVIOUS_GTIDS_LOG_EVENT 32
2．2．1 FORMAT_DESCRIPTION_EVENT 32
2．2．2 PREVIOUS_GTIDS_LOG_EVENT 35
2．3 重点Event之GTID_EVENT 39
2．3．1 GTID_EVENT的作用 39
2．3．2 源码重要接口 40
2．3．3 主体格式 40
2．3．4 简单解析 41
2．3．5 生成时机 41
2．3．6 ANONYMOUS_GTID_EVENT 41
2．3．7 GTID的三种模式 42
2．4 重点Event之QUERY_EVENT和MAP_EVENT 43
2．4．1 QUERY_EVENT 43
2．4．2 MAP_EVENT 46
2．5 重点Event之WRITE_EVENT和DELETE_EVENT 51
2．5．1 WRITE_EVENT 51
2．5．2 DELETE_EVENT 57
2．6 重点Event之UPDATE_EVENT和XID_EVENT 61
2．6．1 UPDATE_ROWS_EVENT 61
2．6．2 XID_EVENT 66
2．7 参数binlog_row_image的影响 68
2．7．1 参数影响 68
2．7．2 过滤方式 70
2．7．3 DML Event中的标识 70
2．8 巧用Event发现问题 73
2．8．1 工具简介 73
2．8．2 分析长期未提交的事务 74
2．8．3 分析大事务 75
2．8．4 分析binary log中Event的生成速度 75
2．8．5 分析每个表生成了多少个DML Event 75
2．8．6 工具展示 75
第3章 主库 79
3．1 binlog cache简介 79
3．1．1 binlog cache综述 79
3．1．2 使用binlog cache的流程 80
3．1．3 参数binlog_cache_size的作用及其初始化 80
3．1．4 临时文件的分配和使用 81
3．1．5 参数max_binlog_cache_size的作用 82
3．1．6 如何观察到临时文件 82
3．2 事务Event的生成和写入流程 83
3．2．1 流程综述 83
3．2．2 删除阶段流程 85
3．2．3 提交阶段流程 85
3．2．4 两个注意点 86
3．3 MySQL层事务提交流程简析 86
3．3．1 参数设置 86
3．3．2 总体流程图 87
3．3．3 步骤解析第一阶段 90
3．3．4 步骤解析第二阶段（FLUSH阶段） 90
3．3．5 步骤解析第三阶段（SYNC阶段） 92
3．3．6 步骤解析第四阶段（COMMIT阶段） 93
3．3．7 步骤解析第五阶段 94
3．3．8 提交阶段的注意点 95
3．4 基于WRITESET的并行复制方式 95
3．4．1 奇怪的last commit 96
3．4．2 WRITESET是什么 96
3．4．3 WRITESET的生成 97
3．4．4 add_pke函数的流程 98
3．4．5 WRITESET设置对last commit的处理方式 99
3．4．6 WRITESET的历史MAP 100
3．4．7 WRITESET的并行复制对last commit的处理流程 100
3．4．8 WRITESET_SESSION的方式 104
3．4．9 关于参数binlog_transaction_dependency_history_size的说明 104
3．4．10 没有主键的情况 104
3．4．11 为什么同一个session执行的事务能生成同样的last commit 105
3．4．12 WRITESET并行复制方式的优缺点 105
3．5 主库的DUMP线程 106
3．5．1 POSITION MODE和GTID AUTO_POSITION MODE的不同点 106
3．5．2 流程图 108
3．5．3 步骤解析 109
3．5．4 重点说明 112
3．6 DUMP线程查找和过滤GTID的基本算法 113
3．6．1 环境假设 113
3．6．2 检查从库的GTID是否大于主库的GTID 114
3．6．3 检查需要的binary log是否已经清理 114
3．6．4 实际扫描binary log 115
3．6．5 GTID过滤 115
第4章 从库 117
4．1 从库MTS多线程并行回放（一） 117
4．1．1 MTS综述 117
4．1．2 协调线程的分发机制 118
4．1．3 步骤解析 120
4．1．4 并行回放判定一例 124
4．2 从库MTS多线程并行回放（二） 126
4．2．1 工作线程执行Event 126
4．2．2 MTS检查点中的重要概念 127
4．2．3 MTS中执行检查点的流程 132
4．2．4 MTS的关键点 136
4．3 MTS中的“gap”测试和参数lave_preserve_commit_ order 136
4．3．1 MTS中的“gap”测试 136
4．3．2 参数slave_preserve_commit_order的影响 138
4．4 从库的I/O线程 139
4．4．1 引入 139
4．4．2 I/O线程的启动流程图 140
4．4．3 流程解析 142
4．5 从库的SQL线程（MTS协调线程）和参数sql_slave_skip_counter 146
4．5．1 SQL线程的功能 146
4．5．2 流程图 146
4．5．3 重要步骤说明 148
4．5．4 各个Event做了什么 151
4．6 从库数据的查找和参数slave_rows_search_algorithms 153
4．6．1 从一个例子出发 153
4．6．2 确认查找数据的方式 156
4．6．3 ROW_LOOKUP_HASH_SCAN方式的数据查找 159
4．6．4 从库数据查找的要点 161
4．7 从库的关闭和异常恢复流程 162
4．7．1 正常的stop slave流程 162
4．7．2 stop slave为什么会慢 163
4．7．3 从库启动需要读取的信息 164
4．7．4 关于repository表的事务性 165
4．7．5 相关参数 166
4．7．6 恢复流程 167
4．8 安全高效的从库设置 170
4．8．1 从库参数设置建议 170
4．8．2 单SQL线程模式 171
4．8．3 MTS 174
4．8．4 一个非安全设置的例子 176
4．8．5 参数sync_relay_log的影响 177
4．9 从库Seconds_Behind_Master的计算方式 177
4．9．1 Seconds_Behind_Master的计算方式 178
4．9．2 影响Seconds_Behind_Master的因素 178
4．9．3 不同操作计算延迟的方式 181
4．9．4 MTS中Seconds_Behind_Master计算误差测试 181
4．9．5 手动修改系统时间导致Seconds_Behind_Master为0 183
4．10 Seconds_Behind_Master延迟场景归纳 185
4．10．1 延迟场景 185
4．10．2 相关测试 186
4．10．3 延迟诊断的方法论 189
第5章 案例解析 190
5．1 线程简介和MySQL调试环境搭建 190
5．1．1 线程简介 190
5．1．2 PID、LWP ID、Thread TID 192
5．1．3 MySQL线程和系统LWP ID的关系 193
5．1．4 调试环境的搭建 194
5．1．5 调试环境的使用 197
5．2 MySQL排序详细解析 198
5．2．1 为什么要讨论排序 198
5．2．2 从一个问题出发 199
5．2．3 测试案例 200
5．2．4 阶段1：确认排序字段及顺序 202
5．2．5 阶段2：计算sort字段长度 202
5．2．6 阶段3：计算额外字段的空间 203
5．2．7 阶段4：确认每行的长度 205
5．2．8 阶段5：确认最大内存分配 206
5．2．9 阶段6：读取数据进行内存排序 207
5．2．10 阶段7：排序方式总结输出 210
5．2．11 阶段8：进行最终排序 211
5．2．12 排序的其他问题 212
5．2．13 使用OPTIMIZER_TRACE查看排序信息 214
5．2．14 回到问题本身 215
5．2．15 答疑 217
5．3 MySQL中的MDL Lock简介 219
5．3．1 MDL Lock综述 219
5．3．2 重要数据结构和概念 220
5．3．3 为MDL Lock增加打印函数 225
5．3．4 在合适的位置增加打印函数 227
5．3．5 常见MDL Lock类型的加锁测试 229
5．4 奇怪的FTWRL堵塞案例 237
5．4．1 两个不同的现象 237
5．4．2 sleep 函数生效点 239
5．4．3 FTWRL做了什么工作 240
5．4．4 例5-3步骤解析 242
5．4．5 例5-4步骤解析 243
5．4．6 FTWRL堵塞和被堵塞的简单总结 244
5．5 产生大量小relay log故障案例 245
5．5．1 案例现象 245
5．5．2 参数slave_net_timeout分析 245
5．5．3 原因剖析 246
5．5．4 案例模拟 246
5．5．5 实现方式 248
5．6 从库system lock原因简析 250
5．6．1 binary log的写入时间和Event中的时间 250
5．6．2 问题由来 251
5．6．3 从库system lock延迟的原因 251
5．6．4 system lock问题分析 252
5．6．5 模拟测试 253