算法与数据中台 基于Google、Facebook与微博实践

9787121392887 9787121386367 9787121390449 9787111664437

内容简介2.jpg

本书作者依据在Google、Facebook、新浪微博及滴滴出行等中美互联网公司的实际工作经历，对算法技术、数据技术，以及围绕它们进行的技术中台建设实践进行了全面的探讨，并在此基础上对信息流推荐、计算广告及智能出行等核心互联网业务进行了案例剖析。本书具有广阔的技术视野，内容颇具深度，既适合互联网行业的技术从业者阅读，也适合计算机相关专业的高年级本科生、研究生阅读。通过阅读本书，读者能加深对机器学习、深度学习、大数据、分布式系统及技术中台等相关领域的认知与理解，并从中获得一定的启发和可借鉴的经验。

目录.jpg

1章 算法与数据中台概述 1

1.1 中台的背景和意义 1

1.2 算法与数据中台的功能价值 3

1.3 算法与数据中台的技术体系 4

1.4 算法与数据中台的实践场景 6

1.5 算法与数据中台的应用前景 7

1.6 本章总结 8

2章 中台技术之基础设施 10

2.1 研发效率系统 10

2.1.1 代码组织和构建 11

2.1.2 代码审查和任务管理 13

2.1.3 持续集成 15

2.1.4 通用压测平台 17

2.2 服务通信系统 19

2.2.1 跨进程通信框架 20

2.2.2 服务注册与发现 21

2.2.3 服务治理 24

2.3 监控报警系统 25

2.3.1 通用系统架构 25

2.3.2 指标计算模型 26

2.3.3 开源解决方案 27

2.4 链路跟踪系统 29

2.4.1 应用场景与设计目标 30

2.4.2 系统架构 30

2.5 本章总结 32

3章 中台技术之在线算法系统 33

3.1 物料检索系统 34

3.1.1 倒排检索 35

3.1.2 倒排索引实例 37

3.1.3 相似检索 38

3.1.4 相似检索实例 40

3.1.5 模型粗排 40

3.2 模型预估服务 41

3.2.1 整体架构 42

3.2.2 多框架支持 43

3.2.3 模型上线 44

3.2.4 在线预估 45

3.2.5 异构设备 46

3.2.6 性能优化 47

3.2.7 效果监控 49

3.3 策略机制引擎 50

3.3.1 整体架构 50

3.3.2 计算流解释器 51

3.3.3 Lua 解释器 52

3.4 集管理平台 53

3.4.1 多租户架构 53

3.4.2 集动态管理 54

3.4.3 集性能监控 57

3.4.4 配置动态分发 59

3.5 效果评估系统 60

3.5.1 背景介绍 61

3.5.2 设计模式 61

3.5.3 系统架构 62

3.5.4 指标计算 64

3.6 本章总结 65

4章 中台技术之机器学习平台 66

4.1 机器学习平台简介 66

4.1.1 机器学习的研发流程 67

4.1.2 机器学习的研发挑战 69

4.1.3 机器学习的研发技术 69

4.2 传统机器学习算法 73

4.2.1 线性算法 73

4.2.2 因子分解机算法 77

4.2.3 决策树算法 81

4.3 深度学习算法 84

4.3.1 发展简史 85

4.3.2 神经元模型 86

4.3.3 神经网络模型 87

4.3.4 神经网络的算法原理 88

4.4 模型框架基本原理 94

4.4.1 分布式计算架构 94

4.4.2 并行计算的同步机制 99

4.4.3 梯度更新算法 102

4.5 层结构的模型框架 108

4.5.1 Caffe 109

4.5.2 DistBelief 110

4.5.3 WBLEngine 112

4.5.4 小结 116

4.6 数据流结构的模型框架 116

4.6.1 TensorFlow 116

4.6.2 PyTorch 122

4.6.3 小结 126

4.7 复合结构的模型框架 126

4.7.1 场景特点 126

4.7.2 设计思路 127

4.7.3 架构与实现 128

4.7.4 性能优化 131

4.7.5 小结 132

4.8 机器学习平台简介 132

4.8.1 单业务线开发阶段 132

4.8.2 平台化建设阶段 133

4.8.3 业界产品 134

4.9 新浪微博 WBL 机器学习平台 135

4.9.1 用户作界面 136

4.9.2 管理中心 138

4.9.3 数据中心 140

4.9.4 调度中心 141

4.9.5 智能中心 144

4.9.6 模型中心 145

4.10 本章总结 147

5章 中台技术之分布式数据库 148

5.1 分布式数据库概述 148

5.1.1 SQL 数据库 148

5.1.2 SQL 数据库 149

5.1.3 NewSQL 数据库 150

5.2 分布式数据库技术 150

5.2.1 ACID 理论 151

5.2.2 CAP 理论 151

5.2.3 BASE 理论 153

5.2.4 数据分片策略 154

5.2.5 数据复制策略 157

5.2.6 Gossip 协议 158

5.2.7 分布式一致性协议 160

5.2.8 分布式事务协议 167

5.3 分布式数据库产品 170

5.3.1 Redis 170

5.3.2 Google BigTable 170

5.3.3 Google Spanner 173

5.4 LaserDB 分布式数据库 177

5.4.1 系统架构 178

5.4.2 数据模型 179

5.4.3 分片策略 180

5.4.4 批量加载 181

5.4.5 同步机制 182

5.4.6 高可用架构 184

5.4.7 高性能方案 185

5.5 LaserDB 应用案例分析 188

5.5.1 数据缓存 188

5.5.2 特征服务 189

5.5.3 向量存储 190

5.5.4 样本拼接 190

5.6 本章总结 191

6章 中台技术之大数据平台 192

6.1 大数据平台概述 192

6.1.1 大数据的特点 192

6.1.2 大数据平台的技术栈 193

6.2 分布式协调系统 194

6.2.1 Google Chubby 195

6.2.2 Apache ZooKeeper 196

6.2.3 Consul 197

6.3 集管理系统 199

6.3.1 Google Borg 200

6.3.2 Kubernetes 202

6.3.3 Apache YARN 203

6.4 分布式文件系统 205

6.4.1 Google GFS 205

6.4.2 Apache HDFS 207

6.4.3 Dropbo MagicPocket 209

6.5 消息管道系统 210

6.5.1 Google PubSub 211

6.5.2 Apache Kafka 213

6.6 分布式计算系统 214

6.6.1 MapReduce 214

6.6.2 Apache Spark 216

6.6.3 Apache Flink 218

6.6.4 Apache Beam 220

6.7 数据仓库与分布式查询系统 221

6.7.1 Google BigQuery 222

6.7.2 Apache Hive 223

6.7.3 Facebook Presto 224

6.7.4 Facebook Scuba 226

6.8 本章总结 227

7章 中台实践之推荐系统 228

7.1 推荐系统的背景简介 228

7.1.1 场景概况 229

7.1.2 整体架构 230

7.1.3 推荐思路 233

7.2 推荐系统的算法模型 235

7.2.1 GBDT-LR 融合模型 235

7.2.2 Wide ＆ Deep 模型 237

7.2.3 DeepFM 模型 238

本书对企业数据化建设的目标、内容及定位做了相对完整的论述，详细地阐述了数据中台的定义、内容及如何支撑企业数据化整体建设，同时也介绍了数据中台在企业中的落地步骤、丰富的数据应用场景与实际效果。本书是企业数据化建设的实用参考书。

本书的内容完全基于笔者团队的实践经验。笔者团队曾经帮助十几个行业头部企业的数据中台项目成功落地，这些项目验证了本书中阐述的方体系的可行性。希望本书能够对国内数据化工作者提供一定的帮助。

1 信息认知和当前的信息化革命

1.1 信息工具的发展推动人类历史进步

1.2 信息工具的进步与历史发展

1.3 当前的信息化革命

2 企业数据化

2.1 企业数据化认知

2.2 企业数据化与企业信息化及企业的关系

2.3 企业数据化建设的内容

2.4 企业数据化的现状与问题

3 数据中台概述

3.1 数据中台是什么

3.2 数据中台的价值与建设的必要性

3.3 数据中台建设五步法

3.3.1 数据中台建设五步法概述

3.3.2 一步：数据资源的盘点与规划

3.3.3 二步：数据应用规划与设计

3.3.4 三步：数据资产建设

3.3.5 步：数据应用的详细设计与实现

3.3.6 五步：数据化组织规划

4 数据资源盘点与规划

4.1 数据资源盘点

4.2 数据资源规划

5 数据资产建设

5.1 数据资产建设概述

5.2 产品选型与技术方案设计

5.3 数据模型设计规范

5.4 数据开发规范及数据开发

6 数据应用规划与建设

6.1 数据应用规划

6.2 数据应用建设

7 数据应用之佳实践

7.1 房地产行业的数据应用方案

7.2 鞋服行业的数据应用方案

7.3 乳制品行业的数据应用方案

7.4 新零售营销的数据应用方案

7.5 人力资源领域的数据应用方案

8 数据化组织规划

8.1 数据化组织规划的必要性

8.2 数据化组织的定位与职责

8.3 数据化组织的工作内容与边界

8.4 数据化组织的岗位设置

8.5 数据化组织的人数配置、预算资金与考核建议

9 数据中台与数据质量

9.1 数据质量的常见问题

9.2 数据模型规范提升数据质量

9.3 数据管理提升数据质量

9.4 数据共享提升数据质量

9.5 清洗历史数据提升数据质量

9.6 主数据管理提升基础数据质量

9.6.1 人员主数据管理

9.6.2 账户主数据管理

9.6.3 组织主数据管理

9.6.4 客商主数据管理

9.6.5 顾客主数据管理

9.6.6 产品主数据管理

9.6.7 项目主数据管理

9.6.8 资产主数据管理

9.6.9 物料主数据管理

10 数据中台建设

10.1 数据中台建设的特点

10.2 数据中台建设的策略选择

10.3 数据中台建设的整体流程

10.4 数据中台的建设风险及应对方法

10.4.1 数据中台的定位问题

10.4.2 数据中台的管理博弈

10.4.3 数据中台的业务价值方向选择

11 数据中台的软件支撑

11.1 平台的整体架构

11.2 计算引擎

11.3 离线/流计算开发套件

11.4 实时计算开发套件

11.4.1 FlinkStreamSQL

11.4.2 数据开发

11.4.3 数据运维

11.4.4 实时采集

11.5 数据资产管理套件

11.5.1 数据地图

11.5.2 数据模型规范管理

11.6 数据质量管理套件

11.7 数据科学平台

11.7.1 算法数据资源管理

11.7.2 可视化实验开发

11.7.3 算法模型离线训练

11.7.4 模型在线部署和调用

11.8 分析引擎

11.9 数据API引擎

11.9.1 数据API引擎的常用数据源

11.9.2 API发布

11.9.3 API管理与授权

11.9.4 API申请与调用

11.9.5 API测试

11.9.6 API安全

11.10 标签引擎

11.10.1 实体管理

11.10.2 标签中心

11.10.3 组分析

11.10.4 标签数据服务

11.11 数据应用规划工具

11.11.1 业务架构梳理工具

11.11.2 数据应用规划工具

11.11.3 指标与标签体系管理工具

11.11.4 数据资源盘点工具

11.11.5 数据应用规划看板

内容简介2.jpg

目前，在基于大数据技术的数据中台建设过程中，由于缺乏完备的架构参考和类似于“脚手架”的原型项目，很多IT团队会在工程技术层面上感到无从下手。开发人员迫切地需要设计良好的架构参考和简单易用的原型项目帮助他们快速启动自己的数据中台建设，本书就是为这一目标而写作的。

本书以大数据平台的架构设计为主题，围绕一个2万行源代码的原型项目讲解和演示如何在工程技术层面构建当下流行的数据中台。全书涵盖建设一个企业数据平台所需的各个重要环节，包括基础设施建设、数据采集、主数据管理、实时计算、批处理与数据仓库、数据存储及作业调度，每个环节独立成章，每一章介绍对应主题的架构方案和技术选型，然后结合原型项目讲解具体的实现细节。

如果你是一位架构师，本书可以帮助你提升对大数据平台的整体把控力；如果你是中高级开发人员，建议你选择自己感兴趣的章节深入学习原型项目的代码；如果你是企业的CIO或数据团队的负责人，本书的1、2、4章对于你定制企业数据中台战略、规划数据平台蓝图及组建数据团队都有重要的参考价值。

1章 企业与数据 1

1.1 数据的价值 3

1.2 企业的数据应用能力 6

1.3 企业的数据技术成熟度 12

1.4 数据团队建设 14

1.4.1 大数据人才类型 14

1.4.2 数据团队的组织与管理 20

1.5 建设数据文化 25

2章 聚焦中台 27

2.1 中台简介 27

2.2 企业信息系统现状 28

2.2.1 点对点式的系统集成 29

2.2.2 重复建设 30

2.2.3 阻碍业务沉淀与发展 31

2.3 烟囱架构案例：会员管理 31

2.4 曾经的“救赎”——SOA 38

2.5 中台详解 41

2.5.1 中台架构 42

2.5.2 中台的技术体系 46

2.5.3 中台的组织架构 48

2.5.4 中台不是“银弹” 51

2.6 数据中台 52

2.6.1 企业数据资产的现状 53

2.6.2 数据中台具备的能力 54

2.6.3 数据中台建设策略 56

3章 基础设施 60

3.1 集规划 61

3.1.1 集规模与节点配置 61

3.1.2 节点角色分配 63

3.2 创建实例与组网 65

3.2.1 登录云控制台 65

3.2.2 创建专有网络 67

3.2.3 创建安全组 67

3.2.4 创建实例 72

3.2.5 申请弹性公网IP地址 78

3.3 安装集 79

3.3.1 软件清单 79

3.3.2 环境预配置 80

3.3.3 安装Redis 86

3.3.4 安装Galera（MySQL集） 87

3.3.5 搭建本地CDH Repository 100

3.3.6 安装Cloudera Manager Server 103

3.3.7 安装CDH 110

3.3.8 高可用配置 114

3.3.9 安装Spark 2 117

3.3.10 启用Spark SQL 118

3.4 安装单节点集 121

4章 架构与原型 122

4.1 大数据平台架构设计 123

4.2 原型项目业务背景 127

4.3 原型项目架构方案 132

4.4 原型项目工程结构 139

4.5 部署原型项目 142

4.5.1 配置服务器 142

4.5.2 构建与部署 151

4.5.3 小化增量部署 165

5章 数据采集 167

5.1 技术堆栈与选型 168

5.2 需求与概要设计 171

5.3 原型项目设计 173

5.4 生成dummy数据 174

5.5 基于Sqoop的批量导入 177

5.5.1 项目原型 177

5.5.2 使用Sqoop 180

5.5.3 增量导入与全量导入 184

5.6 基于Camel的实时采集 185

5.6.1 项目原型 186

5.6.2 基本的数据采集 188

5.6.3 应对采集作业时 193

5.6.4 应对数据延迟就绪 197

6章 主数据管理 202

6.1 主数管理据系统的建设策略 202

6.2 原型设计 204

6.3 项目构建与运行 205

6.4 使用主数据 209

6.5 围绕主数据进行领域建模 209

6.6 主数据在内存数据库中的组织粒度 219

..............

内容简介

中台是企业数字化转型的关键支撑系统，它将企业的业务能力和数据服务中心化、平台化、共享化、协同化，帮助在瞬息万变的市场中降低试错成本，提高创新效率，以数据驱动运营的方式谋求业绩增长，最终实现成功数字化转型的目标。

本书是国内领先的中台服务提供商云徙科技为近百家头部企业提供中台服务和数字化转型指导的经验总结。主要讲解了如下4个方面的内容：

第一，中台如何帮助企业让数字化转型落地，以及中台在资源整合、业务创新、数据闭环、应用移植、组织演进 5 个方面为企业带来的价值；

第二，业务中台、数据中台、技术平台这3大平台的建设内容、策略和方法；

第三，中台如何驱动新地产、新汽车、新直销、新零售、新渠道5大行业和领域实现数字化转型，给出了成熟的解决方案（实现目标、解决方案和实现路径）和成功案例；

第四，开创性地提出了“软件定义中台”的思想，通过对中台的进化历程和未来演进方向的阐述，帮助读者更深入地理解中台并明确未来的行动方向。

中台是企业数字化转型的技术底座，它将加速企业数字化转型的进程，让企业真正实现数据驱动运营，在实现业绩增长的同时打造极致的用户体验。

目录

作者简介

前言

第一部分 数智化转型与中台落地路径

第1章 数智化转型

1.1 数字化和智能化浪潮2

1.1.1 数智化领域4

1.1.2 数智化思维8

1.2 数智化转型路径9

1.2.1 关键路径10

1.2.2 数字化营销是切入点12

1.3 数字中台是企业应用新基建13

1.3.1 什么是数字中台14

1.3.2 数字中台是新基建16

1.4 软件定义中台17

1.4.1 软件定义中台的组成18

1.4.2 软件定义中台的6大特性21

第2章 业务和数据深度融合的中台价值

2.1 整合企业数字能力26

2.1.1 企业数字能力快速有效整合26

2.1.2 企业“共性”数字能力的沉淀、组装和共享27

2.1.3 企业上下游数字能力全链路拉通和赋能28

2.2 提效企业业务创新29

2.2.1 助力业务规划29

2.2.2 提升业务实现效率30

2.2.3 推动新业务热启动30

2.3 打造企业业务和数据的闭环31

2.3.1 投入成本大幅度降低32

2.3.2 业务创新小闭环快速实现33

2.3.3 推动企业业务、数据、运营体系良性互动33

2.4 快速移植原有应用34

2.4.1 业务应用高效化移植34

2.4.2 业务数据无流失迁移35

2.4.3 业务系统无抖动切换36

2.5 推动企业组织演进37

2.5.1 组织形式演进37

2.5.2 组织动能聚变39

2.5.3 组织专业分工39

第3章 业务中台建设

3.1 什么是业务中台41

3.1.1 业务中台定义42

3.1.2 业务中台主要建设内容44

3.2 业务中台的架构设计与组成46

3.2.1 业务中台的核心架构47

3.2.2 业务中台体系内容48

3.3 业务中台构建策略50

3.3.1 领域驱动设计50

3.3.2 需求结构化57

3.3.3 能力可配置58

3.4 业务中台构建五步法59

3.4.1 高阶规划60

3.4.2 领域分析61

3.4.3 中心设计61

3.4.4 开发交付62

3.4.5 持续运营63

3.5 业务中台与其他系统的集成64

3.5.1 业务驱动集成64

3.5.2 集成策略66

3.6 业务与数据的联动69

第4章 数据中台建设

4.1 什么是数据中台72

4.1.1 数据中台定义72

4.1.2 数据中台价值75

4.2 数据中台的架构设计与组成77

4.2.1 数据中台功能架构77

4.2.2 数据中台技术架构85

4.3 数据中台构建策略88

4.3.1 构建数据中台的挑战88

4.3.2 数据中台的构建策略91

4.3.3 数据中台构建的三大路径92

4.4 数据中台构建五步法94

4.4.1 高阶规划95

4.4.2 系统设计99

4.4.3 开发实施110

4.4.4 试运行111

4.4.5 持续运营112

4.5 用数赋智，建设企业数智大脑114

4.5.1 营销域智能114

4.5.2 商品域智能115

4.5.3 门店域智能115

4.5.4 渠道域智能116

4.5.5 物流供应链域智能117

4.5.6 服务域智能117

第5章 技术平台建设

5.1 什么是技术平台119

5.1.1 技术平台的定义120

5.1.2 技术平台的7大价值121

5.2 技术平台的架构设计与组成126

5.2.1 技术平台概览126

5.2.2 研发协作平台126

5.2.3 低代码开发平台131

5.2.4 移动开发平台133

5.2.5 数据开发平台134

5.2.6 运维监管平台137

5.2.7 多云适配137

5.2.8 网关138

5.3 技术平台构建策略139

5.3.1 困难与挑战139

5.3.2 技术平台设计原则139

5.3.3 技术平台规划演进141

5.4 技术平台构建方法论142

5.4.1 选型142

5.4.2 边界确认142

5.4.3 平台化集成143

5.4.4 数据化支撑143

第二部分 解决方案与案例

第6章 新地产行业的中台实践

6.1 实现目标148

6.1.1 降本：以运营效率为核心，加速企业内部打通，构建自上而下的经营战略148

6.1.2 增效：以转化漏斗为核心，加速线上线下打通，构建持续成长的客户经营体系149

6.1.3 创新：以生态优势为核心，加速产品与服务打通，构建新的加速引擎151

6.2 解决方案153

6.2.1 地产数据中台解决方案153

6.2.2 地产泛会员运营解决方案164

6.2.3 多业态超级会员运营解决方案171

6.3 实现路径173

6.3.1 客户中台176

6.3.2 地产中台177

6.3.3 企业中台177

6.3.4 生态平台178

6.4 案例分析：A公司双中台—智慧交易的发动机179

6.4.1 项目背景180

6.4.2 痛点聚焦180

6.4.3 中台实施183

6.4.4 项目成果192

6.4.5 未来展望194

6.5 面临的挑战195

第7章 新汽车行业的中台实践

7.1 实现目标198

7.1.1 汽车行业数智化转型198

7.1.2 汽车新零售200

7.2 解决方案204

7.2.1 客户数据洞察解决方案206

7.2.2 数字营销解决方案206

7.2.3 DMS 4.0解决方案208

7.3 实现路径214

7.4 案例分析1：爱驰汽车的中台实践与数字化破局219

7.4.1 项目背景220

7.4.2 痛点聚焦221

7.4.3 建设中台224

7.4.4 产生价值231

7.5 案例分析2：长安福特的双中台实践与数字营销破局237

7.5.1 项目背景238

7.5.2 痛点聚焦238

7.5.3 中台实施240

7.5.4 产生价值248

7.5.5 最终效果251

7.6 面临的挑战256

7.6.1 新能源车企256

7.6.2 传统主机厂257

7.6.3 总结258

第8章 新直销行业的中台实践

8.1 实现目标261

8.1.1 开源：搭建线上交易平台，线上线下全渠道融合261

8.1.2 节流：应用信息技术，打造新工具，改善经营成本262

8.1.3 转型：面向未来，推动业务模式转型263

8.2 解决方案267

8.2.1 数智商城解决方案267

8.2.2 数智营销解决方案271

8.2.3 数智工具解决方案273

8.2.4 数智门店解决方案275

8.2.5 数智客服解决方案277

8.2.6 数智供应链解决方案279

8.2.7 数智直播解决方案281

8.2.8 数智社交解决方案284

8.3 实现路径286

8.3.1 直销电商化288

8.3.2 电商社交化289

8.3.3 直销零售化290

8.4 案例分析：直销巨头B公司的数字中台实践291

8.4.1 项目背景291

8.4.2 痛点聚焦292

8.4.3 中台实施294

8.4.4 产生价值303

8.5 面临的挑战308

8.5.1 管理的挑战308

8.5.2 商业逻辑的挑战308

8.5.3 商业模式融合的挑战309

8.5.4 内部组织的挑战309

8.5.5 企业日常运营的挑战310

第9章 新零售的中台实践

9.1 实现目标311

9.1.1 线上线下渠道全覆盖312

9.1.2 公域流量和私域流量统一运营314

9.1.3 线上线下多场景交互319

9.2 解决方案320

9.2.1 全域消费者运营解决方案321

9.2.2 新零售解决方案323

9.2.3 智能配补货解决方案325

9.2.4 渠道数字化解决方案327

9.3 实现路径330

9.3.1 消费者数字化4大阵地330

9.3.2 消费者数字化6个核心能力332

9.4 案例分析：良品铺子的业务中台实践338

9.4.1 公司背景339

9.4.2 痛点聚焦339

9.4.3 中台实施343

9.4.4 产生价值348

9.5 面临的挑战359

9.5.1 思维上的挑战359

9.5.2 商业逻辑上的挑战359

9.5.3 组织上的挑战359

第10章 新渠道的中台实践

10.1 实现目标362

10.1.1 产品和服务的升级与融合362

10....