Calcite数据管理实战 pdf下载

（1）详解Calcite解决多源异构数据管理难题的入门指南。
（2）从历史背景，到基础理论，带领读者了解Calcite如何产生并应用到多个主流开源软件。
（3）从服务层，到优化层，分层详解Calcite各个模块，源码解析与实际案例相结合，帮助读者从实践中学会内部实现过程。
（4）深入分析Calcite在开源项目Hive、Kylin、Flink中的使用方法。
（5）提供可下载的代码仓库文件，手把手帮助读者解决数据源统一管理难题。
（6）数据库领域6位学者、实践者姚延栋、王飞鹏、张亮、黄向东、林春、冯若航推荐！

Calcite 是一款开源的动态数据管理框架，其目标是一种方案适应所有需求场景，能为不同计算平台和数据源提供统一的查询引擎，它对于没有高并发、低延时的多数据源间的数据管理有着天然的优势，是解决多数据源统一管理问题的利器。
本书围绕Calcite，结合其数据库基础知识、核心理论以及相关的项目实践情况，从SQL 的解析、校验、优化、执行等流程，对Calcite 组件进行介绍。同时本书为部分章节配置对应的代码和实例，帮助读者加深理解。
本书内容由理论到实践，将源码解析与实际案例相结合，可以作为Calcite 新手的入门图书以及快速上手的参考书，也可以作为大数据开发人员和从业人员的学习用书，还可以作为相关培训机构以及高等院校的教学用书。

刘钧文
哈尔滨工业大学硕士，京东科技算法工程师，中国计算机学会（CCF）会员。负责京东时空数据引擎的开发、时空数据产品的研发工作。研究方向：时空数据的管理、时空数据库、数据库优化器的原理及其实现、分布式计算以及城市计算。

悟初境
京东科技软件开发工程师。负责京东时空数据引擎的开发，多项时空数据产品的主要参与者，并在多个项目中负责架构设计的工作。研究方向：数据库原理和实现，大数据与架构设计。

孙潇俊
北京工业大学软件工程硕士，曾任京东科技大数据开发工程师。负责京东时空数据引擎的开发。研究方向：数据库优化器的原理及其实现。

SQL 查询优化是数据库这一软件行业“皇冠上明珠”精彩的部分，也是具挑战性的部分，故而一直是学术界和工业界研究的重点领域之一。随着开源的流行，业内出现了多款开源查询优化器，其中PostgreSQL 的查询优化技术一直是开源数据库中的佼佼者。近年来又出现了多个独立的开源查询优化器项目，譬如Greenplum Orca、Apache Calcite 等。Apache Calcite 因Apache 开源基金会的完善生态而快速流行起来，成为很多新兴数据库的优化器之选。这本书系统介绍了查询优化器和Calcite 的内部实现机制，将查询优化理论和代码实践结合起来，深入浅出，非常值得阅读。
——姚延栋，四维纵横创始人，Greenplum 中文社区创始人，PostgreSQL 中文社区常委

Apache Calcite是一个开放源代码动态数据管理框架。作为一款开源SQL解析工具，它一方面极大地降低了开发人员运用SQL的入门门槛；另一方面，它实现了自己的SQL查询优化模型，实现不同数据源的数据查询和计算。今天，国内已经有越来越多的技术人员在使用Calcite，这本书值得广大从业人员学习和借鉴。
——王飞鹏，中信银行数据库团队负责人

层出不穷的创新场景，使数据库从单一品类一统天下朝着碎片化的趋势急速转向。面向异构数据源的联合查询，已经受到越来越多的开发者关注。
Apache Calcite 将查询优化器这一数据库领域的技术壁垒，抽象成可供开发者使用的基础组件，极大地降低了自研查询引擎的难度。除此之外，它还提供了可灵活扩展的 SQL 解析器和存储适配器，提供更加便捷的一站式使用模式。
对于数据领域的开发者来说，Apache Calcite 是必不可少的利器。越来越多的开源和商业项目使用它构建自己的查询体系，其中也包括我所创业的项目Apache ShardingSphere。
非常开心能在这个时间节点看到这本著作，它不但能够为 Apache Calcite 的初学者提供体系化的学习资料，也能够作为克服Calcite 陡峭的学习曲线的指路明灯。
——张亮，Apache ShardingSphere 项目主席，SphereEx 公司创始人


Apache Calcite很好地总结并吸收了过去数十年来的优秀数据库查询技术，同时也为一系列数据存储引擎、数据中台软件提供了一种增强与集成方式。期待这本书能让读者走近数据库查询引擎，走出“重复造轮子”的怪圈，走入高效多源异构数据管理的新时代。
——黄向东，清华大学助理研究员，中国通信学会高级会员，大数据系统软件国家工程实验室成员

通读本书，满目珠玑，常有醍醐灌顶之感。这本书从大处着眼，小处着手，通过源码与实战案例的结合，介绍了Calcite 基础和Calcite 的服务层、校验层、优化层等核心内容。不同需求层次的读者都可在这本书中找到属于自己的“宝藏”。请不要错过，相信你一定会受益良多！
——林春，某数字金融有限公司首席数据库专家

大数据时代，越来越多的计算引擎将Calcite 作为其SQL 解析与处理引擎，如Hive、Drill、Flink。Apache Calcite 在数据管理方面拥有着得天独厚的优势，它能为不同的计算引擎和数据源提供统一的查询，并提供一站式的解决方案。这本书从SQL 的解析、校验到优化，层层递进，深入浅出，非常值得数据领域开发者和大数据从业者深入研究和学习。
——冯若航，PostgreSQL 中文社区开源技术委员会委员

第 1 章 Calcite 的前世今生 1
1．1 数据管理系统的发展历史 1
1．2 当前数据管理系统的困境 3
1．3 Calcite 简史 3
1．3．1 发源时期 3
1．3．2 Apache Calcite 时期 4
1．3．3 项目分拆阶段 5
1．4 Calcite 生态系统 5
1．5 为什么使用Calcite 7
1．6 本章小结 7

第 2 章 Calcite 架构概述8
2．1 设计思想 8
2．1．1 聚焦查询优化 8
2．1．2 数据联邦 9
2．1．3 流式系统 10
2．2 整体架构 11
2．3 使用方式 12
2．4 核心特性 14
2．4．1 灵活可插拔 14
2．4．2 支持流式SQL 14
2．4．3 支持物化视图15
2．4．4 支持多种数据模型 16
2．5 执行流程 17
2．5．1 服务的接收 17
2．5．2 SQL 语法解析 18
2．5．3 语法树的校验 19
2．5．4 关系代数优化 19
2．5．5 执行并获取数据 20
2．6 本章小结 20

第3 章 Calcite 快速上手 21
3．1 下载、编译和运行 21
3．2 SQLLine 操作方法 23
3．2．1 SQLLine 的基本操作 23
3．2．2 SQLLine 的进阶操作 26
3．2．3 其他操作 31
3．3 集成CSV 文件开发实例 32
3．3．1 元数据定义 32
3．3．2 优化规则管理 36
3．4 本章小结 38

第4 章 数据库查询优化技术 39
4．1 什么是数据库查询优化技术 39
4．2 查询优化器的内外结构 39
4．2．1 查询优化器的内部结构 40
4．2．2 优化器的外部关系 41
4．3 逻辑计划优化 42
4．3．1 关系代数 43
4．3．2 关系代数优化规则 45
4．4 物理计划优化 47
4．4．1 代价模型 48
4．4．2 逻辑代价 49
4．4．3 物理执行代价 49
4．4．4 算法代价 51
4．5 优化模型 51
4．5．1 启发式模型 52
4．5．2 火山模型 52
4．5．3 向量化模型 53
4．6 本章小结 54

第5 章 服务层 55
5．1 Avatica 架构介绍 55
5．2 Avatica 执行结构和流程 57
5．2．1 Service 接口 57
5．2．2 Meta 接口 60
5．2．3 启动服务 62
5．3 Avatica 鉴权 62
5．3．1 BASIC 63
5．3．2 DIGEST 64
5．3．3 SPNEGO 65
5．3．4 自定义鉴权 66
5．4 客户端驱动 66
5．4．1 Java 驱动 66
5．4．2 Python 驱动 68
5．5 命令行工具 69
5．5．1 使用SQLLine 70
5．5．2 自定义命令行交互方式 71
5．6 本章小结 71

第6 章 解析层 72
6．1 语法解析过程 72
6．2 Calcite 中的解析体系 73
6．2．1 抽象语法树的概念 73
6．2．2 SqlNode 体系 74
6．3 JavaCC 78
6．3．1 JavaCC 简介 78
6．3．2 JavaCC 简单示例 78
6．3．3 Calcite 中JavaCC 的使用方法 84
6．4 Calcite 整合Antlr 方法 94
6．4．1 Antlr 简介 94
6．4．2 上手Antlr 95
6．4．3 Calcite 集成Antlr 96
6．5 Antlr 对比JavaCC 98
6．5．1 输入输出 98
6．5．2 易用性 98
6．5．3 效率 99
6．5．4 在Calcite 中如何选择 99
6．6 本章小结 99

第7 章 校验层 100
7．1 何谓校验 100
7．2 元数据定义 100
7．2．1 Calcite 中元数据的基本概念 101
7．2．2 数据模型定义 103
7．2．3 自定义表元数据实现 107
7．2．4 解析数据模型 113
7．3 校验流程 114
7．3．1 Calcite 校验过程中的核心类 114
7．3．2 校验流程 116
7．4 元数据DDL 119
7．5 本章小结 121

第8 章 优化层 122
8．1 关系代数与火山模型 122
8．1．1 关系代数 122
8．1．2 火山模型 123
8．2 优化器 123
8．2．1 优化器介绍 124
8．2．2 RBO 模型和CBO 模型 125
8．2．3 寻找关系代数最优解 127
8．3 Calcite 优化器 128
8．3．1 构建算子树 129
8．3．2 RelNode 133
8．3．3 Calcite 优化模型 134
8．4 自定义优化规则 142
8．4．1 CSV 规则 142
8．4．2 RBO 模型与CBO 模型的对比 144
8．5 本章小结 146

第9 章 数据源接入 147
9．1 Redis 147
9．1．1 配置model．json 文件 148
9．1．2 配置Schema 信息 149
9．1．3 定义表元数据 150
9．1．4 定义迭代器 151
9．2 PostgreSQL 153
9．2．1 构建元数据 154
9．2．2 自定义优化规则 155
9．2．3 整体流程 157
9．3 Janino 介绍 162
9．4 本章小结 164

第 10 章 SQL 函数扩展 165
10．1 UDF 165
10．1．1 UDF 介绍 165
10．1．2 Calcite 中如何定义UDF 166
10．2 UDAF 168
10．2．1 UDAF 介绍 168
10．2．2 Calcite 中如何定义UDAF 169
10．3 UDTF 170
10．3．1 UDTF 介绍 170
10．3．2 Calcite 中如何定义UDTF 171
10．4 执行流程 173
10．5 本章小结 176

第 11 章 空间数据查询 177
11．1 OGC 简介 177
11．2 空间数据类型 178
11．3 空间函数 185
11．3．1 创建类函数 185
11．3．2 转换类函数 186
11．3．3 属性查询函数 186
11．3．4 空间判断函数 187
11．4 使用方法 188
11．5 自定义空间函数 189
11．6 本章小结 189

第 12 章 流式处理 190
12．1 流式查询简介 190
12．2 流式查询初体验 191
12．3 流式聚合查询 195
12．4 本章小结 198

第 13 章 视图 199
13．1 普通视图 199
13．2 物化视图 200
13．2．1 Join 重写 202
13．2．2 联合重写 203
13．3 格 204
13．4 本章小结 206

第 14 章 Calcite 在开源项目中的使用 207
14．1 Hive 207
14．1．1 Hive 简介 207
14．1．2 Hive 架构与执行流程 208
14．1．3 Hive 集成Calcite 209
14．2 Kylin 221
14．2．1 Kylin 简介 221
14．2．2 Kylin 架构及执行流程 222
14．2．3 Kylin 集成Calcite 222
14．3 Flink 227
14．3．1 Flink 简介 227
14．3．2 Flink 架构与执行流程 228
14．3．3 Flink 集成Calcite 229
14．4 本章小结 232