云计算刘鹏著大数据与云计算全新技术教程全国高校标准教材数据管理书计算机教材剖析大

目    录

第1章  大数据与云计算    1

1.1  大数据时代    1

1.2  云计算——大数据的计算    3

1.3  云计算发展现状    6

1.4  云计算实现机制    7

1.5  云计算压倒性的成本优势    9

习题    12

参考文献    12

第2章  Google云计算原理与应用    13

2.1  Google文件系统GFS    13

2.1.1  系统架构    14

2.1.2  容错机制    16

2.1.3  系统管理技术    17

2.2  分布式数据处理MapReduce    17

2.2.1  产生背景    17

2.2.2  编程模型    18

2.2.3  实现机制    19

2.2.4  案例分析    20

2.3  分布式锁服务Chubby    22

2.3.1  Paxos算法    23

2.3.2  Chubby系统设计    24

2.3.3  Chubby中的Paxos    26

2.3.4  Chubby文件系统    28

2.3.5  通信协议    29

2.3.6  正确性与性能    31

2.4  分布式结构化数据表Bigtable    32

2.4.1  设计动机与目标    32

2.4.2  数据模型    33

2.4.3  系统架构    34

2.4.4  主服务器    35

2.4.5  子表服务器    36

2.4.6  性能优化    40

2.5  分布式存储系统Megastore    41

2.5.1  设计目标及方案选择    41

2.5.2  Megastore数据模型    42

2.5.3  Megastore中的事务及并发控制    44

2.5.4  Megastore基本架构    45

2.5.5  核心技术——复制    47

2.5.6  产品性能及控制措施    51

2.6  大规模分布式系统的监控基础架构Dapper    52

2.6.1  基本设计目标    52

2.6.2  Dapper监控系统简介    53

2.6.3  关键性技术    56

2.6.4  常用Dapper工具    57

2.6.5  Dapper使用经验    59

2.7  海量数据的交互式分析工具Dremel    61

2.7.1  产生背景    61

2.7.2  数据模型    62

2.7.3  嵌套式的列存储    63

2.7.4  查询语言与执行    68

2.7.5  性能分析    70

2.7.6  小结    71

2.8  内存大数据分析系统PowerDrill    71

2.8.1  产生背景与设计目标    71

2.8.2  基本数据结构    72

2.8.3  性能优化    73

2.8.4  性能分析与对比    75

2.9  Google应用程序引擎    76

2.9.1  Google App Engine简介    77

2.9.2  应用程序环境    78

2.9.3  Google App Engine服务    80

习题    88

参考文献    88

第3章  Amazon云计算AWS    90

3.1  基础存储架构Dynamo    90

3.1.1  Dynamo概况    90

3.1.2  Dynamo架构的主要技术    91

3.2  弹性计算云EC2    99

3.2.1  EC2的基本架构    99

3.2.2  EC2的关键技术    100

3.2.3  EC2的安全及容错机制    102

3.3  简单存储服务S3    103

3.3.1  S3的基本概念和操作    103

3.3.2  S3的数据一致性模型    105

3.3.3  S3的安全措施    105

3.4  非关系型数据库服务SimpleDB和DynamoDB    108

3.4.1  非关系型数据库与传统关系数据库的比较    108

3.4.2  SimpleDB    108

3.4.3  DynamoDB    110

3.4.4  SimpleDB和DynamoDB的比较    111

3.5  关系数据库服务RDS    111

3.5.1  RDS的基本原理    111

3.5.2  RDS的使用    112

3.6  简单队列服务SQS    113

3.6.1  SQS的基本模型    113

3.6.2  SQS的消息    114

3.7  内容推送服务CloudFront    115

3.7.1  CDN    116

3.7.2  CloudFront    117

3.8  其他Amazon云计算服务    119

3.8.1  快速应用部署Elastic Beanstalk和服务模板CloudFormation    119

3.8.2  DNS服务Router 53    120

3.8.3  虚拟私有云VPC    120

3.8.4  简单通知服务和简单邮件服务    120

3.8.5  弹性MapReduce服务    121

3.8.6  电子商务服务DevPay、FPS和Simple Pay    122

3.8.7  Amazon执行网络服务    127

3.8.8  土耳其机器人    128

3.8.9  数据仓库服务Redshift    129

3.8.10  应用流服务AppStream和数据流分析服务Kinesis    129

3.9  AWS应用实例    130

3.9.1  照片和视频共享网站SmugMug    130

3.9.2  视频制作网站Animoto    131

3.9.3  网站排名Alexa    132

3.10  小结    132

习题    132

参考文献    133

第4章  微软云计算Windows Azure    136

4.1  微软云计算平台    136

4.2  微软云操作系统Windows Azure    137

4.2.1  Windows Azure概述    137

4.2.2  Windows Azure计算服务    138

4.2.3  Windows Azure存储服务    140

4.2.4  Windows Azure Connect    147

4.2.5  Windows Azure CDN    148

4.2.6  Fabric控制器    149

4.3  微软云关系数据库SQL Azure    150

4.3.1  SQL Azure概述    150

4.3.2  SQL Azure关键技术    151

4.3.3  SQL Azure和SQL Server对比    153

4.4  Windows Azure AppFabric    154

4.4.1  AppFabric概述    154

4.4.2  AppFabric关键技术    155

4.5  Windows Azure Marketplace    159

4.6  Windows Azure服务平台    160

4.6.1  网站    160

4.6.2  虚拟机    161

4.6.3  云服务    162

4.6.4  移动服务    163

4.6.5  大数据处理    164

4.6.6  媒体支持    165

习题    166

参考文献    166

第5章  Hadoop 2.0：主流开源云架构    168

5.1  引例    168

5.1.1  问题概述    168

5.1.2  常规解决方案    168

5.1.3  分布式下的解决方案    169

5.1.4  小结    173

5.2  Hadoop 2.0简述    173

5.2.1  Hadoop 2.0由来    173

5.2.2  Hadoop 2.0相关项目    174

5.2.3  Hadoop应用    175

5.3  Hadoop 2.0部署    175

5.3.1  部署综述    175

5.3.2  传统解压包部署    179

5.4  Hadoop 2.0体系架构    182

5.4.1  Hadoop 2.0公共组件Common    182

5.4.2  分布式文件系统HDFS    184

5.4.3  分布式操作系统Yarn    190

5.4.4  Hadoop 2.0安全机制简介    198

5.5  Hadoop 2.0访问接口    199

5.5.1  访问接口综述    199

5.5.2  浏览器接口    199

5.5.3  命令行接口    200

5.6  Hadoop 2.0编程接口    202

5.6.1  HDFS 编程    202

5.6.2  Yarn编程    205

习题    214

参考文献    214

第6章  Hadoop 2.0大家族    215

6.1  Hadoop 2.0大家族概述    215

6.1.1  分布式组件    215

6.1.2  部署概述    217

6.2  ZooKeeper    223

6.2.1  ZooKeeper简介    223

6.2.2  ZooKeeper 入门    224

6.3  Hbase    226

6.3.1  Hbase简介    226

6.3.2  Hbase入门    229

6.4  Pig    232

6.4.1  Pig简介    232

6.4.2  Pig入门    233

6.5  Hive    234

6.5.1  Hive简介    234

6.5.2  Hive入门    235

6.6  Oozie    238

6.6.1  Oozie简介    238

6.6.2  Oozie入门    238

6.7  Flume    241

6.7.1  Flume简介    241

6.7.2  Flume入门    243

6.8  Mahout    246

6.8.1  Mahout简介    246

6.8.2  Mahout入门    246

6.9  小结    247

习题    248

参考文献    248

第7章  虚拟化技术    250

7.1  虚拟化技术简介    250

7.2  服务器虚拟化    251

7.2.1  服务器虚拟化的层次    251

7.2.2  服务器虚拟化的底层实现    252

7.2.3  虚拟机迁移    253

7.2.4  隔离技术    256

7.2.5  案例分析    257

7.3  存储虚拟化    258

7.3.1  存储虚拟化的一般模型    258

7.3.2  存储虚拟化的实现方式    259

7.3.3  案例分析    260

7.4  网络虚拟化    262

7.4.1  核心层网络虚拟化    262

7.4.2  接入层网络虚拟化    262

7.4.3  虚拟机网络虚拟化    262

7.4.4  案例分析: VMware的网络虚拟化技术    263

7.5  桌面虚拟化    265

7.5.1  桌面虚拟化简介    266

7.5.2  技术现状    266

7.5.3  案例分析    267

习题    267

参考文献    268

第8章  OpenStack开源虚拟化平台    269

8.1  OpenStack背景介绍    269

8.1.1  OpenStack是什么    269

8.1.2  OpenStack的主要服务    270

8.2  计算服务Nova    272

8.2.1  Nova组件介绍    272

8.2.2  Libvirt简介    273

8.2.3  Nova中的RabbitMQ解析    275

8.3  对象存储服务Swift    282

8.3.1  Swift特性    282

8.3.2  应用场景    283

8.3.3  Swift主要组件    284

8.3.4  Swift基本原理    286

8.3.5  实例分析    290

8.4  镜像服务Glance    291

8.4.1  Glance的作用    291

8.4.2  Glance的组成部分    291

习题    292

参考文献    292

第9章  云计算数据中心    293

9.1  云数据中心的特征    293

9.2  云数据中心网络部署    294

9.2.1  改进型树结构    294

9.2.2  递归层次结构    296

9.2.3  光交换网络    299

9.2.4  无线数据中心网络    301

9.2.5  软件定义网络    301

9.3  绿色节能技术    305

9.3.1  配电系统节能技术    305

9.3.2  空调系统节能技术    307

9.3.3  集装箱数据中心节能技术    310

9.3.4  数据中心节能策略和算法研究    312

9.3.5  新能源的应用    315

9.3.6  典型的绿色节能数据中心    318

9.4  自动化管理    320

9.4.1  自动化管理的特征    320

9.4.2  自动化管理实现阶段    321

9.4.3  Facebook自动化管理    322

9.5  容灾备份    324

9.5.1  容灾系统的等级标准    325

9.5.2  容灾备份的关键技术    325

9.5.3  云存储在容灾备份中的应用    327

习题    328

参考文献    328

第10章  云计算核心算法    332

10.1  Paxos算法    332

10.1.1  Paxos 算法背景知识    332

10.1.2  Paxos 算法详解    333

10.1.3  Paxos 算法举例    336

10.2  DHT算法    338

10.2.1  DHT原理介绍    339

10.2.2  Chord中DHT的具体实现    340

10.2.3  Pastry中DHT的具体实现    342

10.2.4  CAN中DHT的具体实现    343

10.2.5  Tapestry中DHT的具体实现    345

10.3  Gossip协议    345

10.3.1  Gossip协议的特点    346

10.3.2  Gossip协议的通信方式及收敛性    346

10.3.3  Gossip节点管理算法    348

10.3.4  Cassandra中Gossip协议的具体实现方式    349

10.3.5  CoolStreaming系统中Gossip协议的具体实现方式    352

习题    354

参考文献    354

第11章  中国云计算技术    355

11.1  国内云计算发展概况    355

11.2  国产云存储技术    356

11.2.1  分布式文件系统TFS    356

11.2.2  云创存储cStor分布式文件系统    359

11.2.3  A8000超低功耗云存储一体机    364

11.3  国产大数据库技术    367

11.3.1  OceanBase    367

11.3.2  云创存储数据立方（DataCube）    371

11.4  云视频监控技术    376

11.4.1  cVideo云视频监控系统    376

11.4.2  cVideo智能分析系统    378

11.4.3  cVideo云转码系统    381

11.5  阿里云服务    383

11.5.1  阿里云计算体系架构    383

11.5.2  弹性计算服务（ECS）    384

11.5.3  开放存储服务（OSS）    385

11.5.4  开放结构化数据服务（OTS）    385

11.5.5  开放数据处理服务（ODPS）    385

11.5.6  关系型数据库（RDS）    386

11.6  云创存储万物云服务    386

11.6.1  平台简介    386

11.6.2  系统架构    387

11.6.3  功能服务    388

11.6.4  应用举例    391

习题    392

参考文献    392

第12章  总结与展望    394

12.1  主流商业云计算解决方案比较    394

12.1.1  应用场景    394

12.1.2  使用流程    396

12.1.3  体系结构    397

12.1.4  实现技术    397

12.1.5  核心业务    398

12.2  主流开源云计算系统比较    400

12.2.1  开发目的    401

12.2.2  体系结构    402

12.2.3  实现技术    403

12.2.4  核心服务    403

12.3  云计算的历史坐标与发展方向    404

12.3.1  互联网发展的阶段划分    404

12.3.2  云格（Gloud）——云计算的未来    407

习题    409

参考文献    409

内容介绍

本书是国内销量 大、被众多高校采用的教材《云计算》的 新升级版，是中国云计算专家咨询委员会秘书长刘鹏教授团队的心血之作。在应对大数据挑战的过程中，云计算技术日趋成熟，拥有大量的成功商业应用。本书追踪 新技术，相比第二版更新了60%以上的内容，包括大数据与云计算、Google云计算、Amazon云计算、微软云计算、Hadoop 2.0及其生态圈、虚拟化技术、OpenStack开源云计算、云计算数据中心、云计算核心算法和中国云计算技术等。刘鹏教授创办的中国云计算（chinacloud.cn）、中国大数据（thebigdata.cn）网站和刘鹏公众号（lpoutlook）为本书学习提供技术支撑。

作者介绍

教授、博导、学科带头人，清华大学博士。现任中国云计算专家咨询委员会秘书长、中国信息协会大数据分会副会长、工信部云计算研究中心专家。

主持完成科研项目25项，发表论文80余篇，出版书籍15本。获部级科技进步二等奖4项，三等奖4项。主编了国内 本云计算教材《云计算》和 本云计算编程书籍《实战Hadoop》。创办了知名的中国云计算(www.chinacloud.cn)和中国大数据(www.thebigdata.cn)网站。

曾率队夺得2002 PennySort计算机排序比赛 ，两次夺得全国高校科技比赛 高奖，并三次夺得清华大学科技比赛 高奖。

荣获“全军十大学习成才标兵”( )、南京“十大杰出青年”、江苏省“333高层次人才培养工程”中青年科学技术带头人、清华大学“学术新秀”等称号。

^_^:8bc31b05d944c8f388af41cea0038bc2