《能之巅:洞悉、企业与云计算》[85M]百度网盘|pdf下载|亲测有效
《能之巅:洞悉、企业与云计算》[85M]百度网盘|pdf下载|亲测有效

能之巅:洞悉、企业与云计算 pdf下载

出版社 小龙人图书专营店
出版年 2015-08
页数 390页
装帧 精装
评分 9.2(豆瓣)
8.99¥ 10.99¥

内容简介

本篇主要提供能之巅:洞悉、企业与云计算电子书的pdf版本下载,本电子书下载方式为百度网盘方式,点击以上按钮下单完成后即会通过邮件和网页的方式发货,有问题请联系邮箱ebook666@outlook.com

产品特色

编辑

适读人群 :各个企业的网络维护人员,高校计算机学生

  本书是企业和云计算环境运维人员的指导:管理员、网络管理员、数据库管理员和Web管理员、开发工程师以及其他人员。对于新接触性能优化的学生等人员,本书还提供了饱含Gregg丰富的教学经验的练习题目。

  □ 现代性能分析与调优:术语、概念、模型、方法和技术

  □ 动态跟踪技术与工具,收录DTrace、SystemTap和Perf示例

  □ 内核内幕:揭示OS在做什么

  □ 如何使用观测工具、接口和框架

  □ 理解和监控应用程序性能

  □ 优化CPU:处理器、核、硬件线程、缓存、互联与内核调度

  □ 内存优化:虚拟内存、换页、交换、内存架构、总线、地址空间与分配器

  □ 文件I/O,包括缓存

  □ 存储设备/控制器、磁盘I/O工作负载、RAID,以及内核I/O

  □ 网络相关性能问题:协议、套接字、网卡和物理连接。

  □ OS和基于硬件虚拟化的性能实现,以及云计算所遇到的新问题

  □ 基准测试:如何得到的结果并避免一般性的

内容简介

  《性能之巅:洞悉、企业与云计算》基于Linux 和Solaris阐述了适用于所有的性能理论和方法,Brendan Gregg 将业界普遍承认的性能方法、工具和指标收集于本书之中。阅读本书,你能洞悉运作的方式,学习到分析和提高与应用程序性能的方法,这些性能方法同样适用于大型企业与云计算这类较为复杂的环境的性能分析与调优。

作者简介

  Brendan Gregg,是Joyent公司的首席性能工程师,通过软件栈分析性能和扩展。在Sun Microsystem公司(之后为Oracle)作为首席性能和内核工程师期间,他的工作包括开发ZFS L2ARC,这是一个利用闪速存储器提升性能的文件。他还开发了许许多多的性能工具,部分工具收录在Mac OS X和Oracle Solaris 11的发行版中。他近从事的工作覆盖针对Linux和illumos内核分析的性能可视化。他还是《DTrace》(Prentice Hall出版社,2011年)和《Solaris Performance and Tools》的两书合著者。


  译者介绍:

  ·徐章宁,1984年生,毕业于上海交通大学,硕士毕业后一直从事软件运维工作,在云存储与虚拟化领域浸沁多年,现于百度公司担任运维工程师,致力于大数据方向运维。钟爱开源软件,平日热爱读书和写作,《算法谜题》《编程格调》合译者。


  ·吴寒思,2010年毕业于南京大学软件学院,目前就职于EMC公司核心技术部从事文件研发工作,拥有2项文件方面专利。对程序设计、存储、云计算和操作有浓厚兴趣。


  ·陈磊,1979年生,毕业于同济大学。从事网络、和IT管理14年。曾就职于EMC中国卓越研发集团,任实验室经理。目前在互联网金融企业负责基础架构。兴趣广泛,尤其热爱开源软件和其它各类新兴技术的探讨和研究。

内页插图

  我做分布式机器学习有八年了,其间很多时候要面对分析的问题。但是坦诚的说,大部分情况下我都只能尽快地找一个“近似”方法,处在没有时间深入琢磨上述问题的窘境。看到《系能之巅:洞悉、企业与云计算》一书之后,不禁眼前一亮。这本书从绪论之后,就开始介绍“方法”——概念、模型、观测和实验手段。作者不仅利用操作自带的观测工具,还自己开发了一套深入分析观测结果的脚本,这就是有名的DTrace Toolkit(大家可以直接找来使用)。《性能之巅》一书介绍的实验和观测方法,包括内存、CPU、文件、存储硬件、网络等各个方面。而且,在介绍方法之前会深入介绍原理——我没法期望更多了!

  ——王益 Linkedin主任分析师

  书的作者Gregg先生是业内性能优化方面大名鼎鼎的人物,早年在Sun公司的时候是性能主管和内核工程师,也是大名鼎鼎的DTrace的开发人员,要知道DTrace可是众多trace类工具中知名的,并且先后被移植到了很多别的OS上。全书统篇都在讨论性能优化,对于所有相关问题的认识,我相信读者在通读全书后会有不一样的感觉。记住,不要只读一遍,每一遍都必有不同的体会。

  ——丛磊 新浪SAE创始人/总负责人

  与软件瑕疵类似,性能问题也可能危害巨大!更可怕的是,性能方面的问题容易促发隐藏在软件深处的瑕疵,直接导致软件崩溃或者其它无法预计的故障。不论调试,还是调优,对软件工程师的技术要都求很高。很高兴看到有这样一本关于优化的好书引进到国内。

  ——张银奎调试专家,《软件调试》和《格蠹汇编》作者 2015年7月22日于上海格蠹轩

  纵观全书,作者建立了性能优化的体系框架,并且骨肉丰满。很明显,他不仅擅长某方面的性能优化,更是全方位的专家,加之作为DTrace(一种可动态检测进程等状态的工具)主要开发者,使得本书的说服力和含金量大增。本书让我们有机会学习和掌握性能优化的各方面,有机会建立一种高屋建瓴的全局观,在面对复杂问题时再不会手足无措,或只能盲人摸象。Linux演化至今,基础的体系架构和关键组件并未发生多大改变,这使得这本好书即使再历经多年,价值毫无衰减,反而历久弥新。

  ——萧田国 触控科技运维总监 高效运维社区创始人

  《性能之巅》以一种奇妙而到位的方式,把高屋建瓴的视角和脚踏实地的实践结合了起来,对性能这一复杂、微妙甚至有些神秘的话题进行了外科手术式的解析,读来真是让人感觉豁然开朗。

  全书以罕见的遍历式结构,对软件的每一个部件都如庖丁解牛般加以剖析,几乎涉及到业务的每一个细节。然而,这些细节并非简单的罗列,而是每一段论述都与具体的角色和场景紧密结合,取舍之间极见智慧。方法论更是不单说理,而是通过一个又一个的具体实例,逐步地建构起来,并反复运用于各个部件之上,使读者明白原理普适性的同时也知道怎样举一反三。

  ——高博 青年计算机学会论坛(YOCSEF)会员,文津奖得主,《研究之美》译者

  性能问题一直是个热门话题,分布式时代更成为摆在开发运维人员面前的巨大难题。本书采用了自下而上的结构,从底层的操作、CPU、磁盘等基础元素开始,到工作原理层面分析性能受到的各种不同影响,以及如何评估、衡量各项性能指标,让读者知其所以然,在面对实际情况时能够更有针对性地做出判断和决定,而不是机械地、教条地行事。本书提供案例,手把手展示实际性能问题的排查调优过程。读者可据此结合业务实际情况展开工作。本书还对常用性能分析工具的使用和扩展做了详细介绍,这对日常工作效率的提升有很大的帮助。无论开发还是运维人员,无论设计、编码或排查调优,本书都能发挥重要的参考作用,尤其适合常备案头。

  ——林应技术部技术专家

目录

第1章 绪论1
1.1 性能1
1.2 人员2
1.3 事情3
1.4 视角4
1.5 性能是充满挑战的4
1.5.1 性能是主观的4
1.5.2 是复杂的5
1.5.3 可能有多个问题并存6
1.6 延时6
1.7 动态跟踪7
1.8 云计算8
1.9 案例研究8
1.9.1 缓慢的磁盘9
1.9.2 软件变更10
1.9.3 更多阅读12
第2章 方法13
2.1 术语14
2.2 模型14
2.2.1 受测15
2.2.2 排队15
2.3 概念16
2.3.1 延时16
2.3.2 时间量级17
2.3.3 权衡三角18
2.3.4 调整的影响19
2.3.5 合适的层级19
2.3.6 性能建议的时间点20
2.3.7 负载vs.架构20
2.3.8 扩展性21
2.3.9 已知的未知22
2.3.10 指标23
2.3.11 使用率24
2.3.12 饱和度25
2.3.13 剖析26
2.3.14 缓存26
2.4 视角28
2.4.1 资源分析28
2.4.2 工作负载分析29
2.5 方法30
2.5.1 街灯反方法31
2.5.2 随机变动反方法32
2.5.3 责怪他人反方法32
2.5.4 ad hoc核对清单法33
2.5.5 问题陈述法33
2.5.6 科学法34
2.5.7 诊断循环35
2.5.8 工具法35
2.5.9 USE方法36
2.5.10 工作负载特征归纳42
2.5.11 向下挖掘分析43
2.5.12 延时分析44
2.5.13 R方法45
2.5.14 事件跟踪45
2.5.15 基础线统计47
2.5.16 静态性能调整47
2.5.17 缓存调优47
2.5.18 微基准测试48
2.6 建模49
2.6.1 企业vs.云49
2.6.2 可视化识别49
2.6.3 Amdahl扩展定律51
2.6.4 通用扩展定律52
2.6.5 排队理论52
2.7 容量规划56
2.7.1 资源极限56
2.7.2 因素分析58
2.7.3 扩展方案58
2.8 统计59
2.8.1 量化性能59
2.8.2 平均值60
2.8.3 标准方差、百分位数、中位数61
2.8.4 变异系数62
2.8.5 多重模态分布62
2.8.6 异常值63
2.9 监视63
2.9.1 基于时间的规律63
2.9.2 监测产品65
2.9.3 启动以来的信息统计65
2.10 可视化65
2.10.1 线图65
2.10.2 散点图66
2.10.3 热图67
2.10.4 表面图68
2.10.5 可视化工具69
2.11 练习70
2.12 参考70
第3章 操作72
3.1 术语72
3.2 背景73
3.2.1 内核73
3.2.2 栈76
3.2.2 中断和中断线程77
3.2.4 中断优先级78
3.2.5 进程78
3.2.6调用80
3.2.7 虚拟内存82
3.2.8 内存管理82
3.2.9 调度器83
3.2.10 文件84
3.2.11 缓存86
3.2.12 网络87
3.2.13 设备驱动87
3.2.14 多处理器87
3.2.15 抢占88
3.2.16 资源管理88
3.2.17 观测性89
3.3 内核89
3.3.1 UNIX90
3.3.2 基于Solaris90
3.3.3 基于Linux93
3.3.4 差异95
3.4 练习96
3.5  参考96
第4章 观测工具98
4.1 工具类型98
4.1.1 计数器99
4.1.2 跟踪100
4.1.3 剖析101
4.1.4 监视(sar)102
4.2 观测来源103
4.2.1 /proc103
4.2.2 /sys108
4.2.3 kstat109
4.2.4 延时核算111
4.2.5 微状态核算112
4.2.6 其他的观测源112
4.3 DTrace114
4.3.1 静态和动态跟踪115
4.3.2 探针116
4.3.3 provider116
4.3.4 参数117
4.3.5 D语言117
4.3.6 内置变量118
4.3.7 action118
4.3.8 变量类型119
4.3.9 单行命令121
4.3.10 脚本121
4.3.11 开销122
4.3.12 文档和资源123
4.4 SystemTap124
4.4.1 探针124
4.4.2 tapset125
4.4.3 action和内置变量125
4.4.4 示例125
4.4.5 开销127
4.4.6 文档和资源128
4.5 perf128
4.6 观测工具的观测129
4.7 练习130
4.8 参考130
第5章 应用程序131
5.1 应用程序基础131
5.1.1 目标132
5.1.2 常见情况的优化133
5.1.3 观测性134
5.1.4 大O标记法134
5.2 应用程序性能技术135
5.2.1 选择I/O尺寸135
5.2.2 缓存136
5.2.3 缓冲区136
5.2.4 轮询136
5.2.5 并发和并行137
5.2.6 非阻塞I/O139
5.2.7 处理器绑定139
5.3 编程语言140
5.3.1 编译语言140
5.3.2 解释语言141
5.3.3 虚拟机142
5.3.4 垃圾回收142
5.4 方法和分析143
5.4.1 线程状态分析143
5.4.2 CPU剖析146
5.4.3调用分析148
5.4.4 I/O剖析154
5.4.5 工作负载特征归纳155
5.4.6 USE方法155
5.4.7 向下挖掘法156
5.4.8 锁分析156
5.4.9 静态性能调优159
5.5 练习160
5.6 参考161
第6章 CPU162
6.1 术语163
6.2 模型163
6.2.1 CPU架构163
6.2.2 CPU内存缓存164
6.2.3 CPU运行队列165
6.3 概念165
6.3.1 时钟频率165
6.3.2 指令166
6.3.3 指令流水线166
6.3.4 指令宽度167
6.3.5 CPI,IPC167
6.3.6 使用率167
6.3.7 用户时间/内核时间168
6.3.8 饱和度168
6.3.9 抢占168
6.3.10 优先级反转169
6.3.11 多进程,多线程169
6.3.12 字长170
6.3.13 编译器优化171
6.4 架构171
6.4.1 硬件171
6.4.2 软件179
6.5 方法184
6.5.1 工具法184
6.5.2 USE方法185
6.5.3 负载特征归纳186
6.5.4 剖析187
6.5.5 周期分析188
6.5.6 性能监控189
6.5.7 静态性能调优189
6.5.8 优先级调优189
6.5.9 资源控制190
6.5.10 CPU绑定190
6.5.11 微型基准测试191
6.5.12 扩展191
6.6 分析192
6.6.1 uptime192
6.6.2 vmstat194
6.6.3 mpstat195
6.6.4 sar197
6.6.5 ps198
6.6.699
6.6.7 prstat200
6.6.8 pidstat201
6.6.9 time和ptime202
6.6.10 DTrace203
6.5.11 SystemTap209
6.6.12 perf209
6.6.13 cpustat215
6.6.14 其他工具216
6.6.15 可视化216
6.7 实验219
6.7.1 Ad Hoc219
6.7.2 SysBench220
6.8 调优220
6.8.1 编译器选项221
6.8.2 调度优先级和调度类221
6.8.3 调度器选项221
6.8.4 进程绑定223
6.8.5 独占CPU组224
6.8.6 资源控制224
6.8.7 处理器选项(BIOS调优)224
6.9 练习225
6.10 参考资料226
第7章 内存228
7.1 术语229
7.2 概念229
7.2.1 虚拟内存230
7.2.2 换页230
7.2.3 按需换页231
7.2.4 过度提交233
7.2.5 交换233
7.2.6 文件缓存占用233
7.2.7 使用率和饱和度234
7.2.8 分配器234
7.2.9 字长234
7.3 架构234
7.3.1 硬件235
7.3.2 软件239
7.3.3 进程地址空间244
7.4 方法248
7.4.1 工具法249
7.4.2 USE方法249
7.4.3 使用特征归纳250
7.4.4 周期分析251
7.4.5 性能监测251
7.4.6 泄漏检测252
7.4.7 静态性能调优252
7.4.8 资源控制253
7.4.9 微基准测试253
7.5 分析253
7.5.1 vmstat254
7.5.2 sar256
7.5.3 slabtop259
7.5.4 ::kmstat260
7.5.5 ps261
7.5.6 top262
7.5.7 prstat263
7.5.8 pmap264
7.5.9 DTrace265
7.5.10 SystemTap269
7.5.11 其他工具269
7.6 调优270
7.6.1 可调参数271
7.6.2 多个页面大小273
7.6.3 分配器274
7.6.4 资源控制274
7.7  练习274
7.8 参考资料276
第8章 文件278
8.1 术语279
8.2 模型279
8.2.1 文件接口279
8.2.2 文件缓存280
8.2.3 二级缓存281
8.3 概念281
8.3.1 文件延时281
8.3.2 缓存282
8.3.3 随机与顺序I/O282
8.3.4 预取283
8.3.5 预读284
8.3.6 写回缓存284
8.3.7 同步写284
8.3.8 裸I/O和直接I/O285
8.3.9 非阻塞I/O285
8.3.10 内存映射文件286
8.3.11 元数据286
8.3.12 逻辑I/O vs.物理I/O287
8.3.13 操作并非不平等288
8.3.14 特殊文件289
8.3.15 访问时间戳289
8.3.16 容量289
8.4 架构290
8.4.1 文件I/O栈290
8.4.2 VFS291
8.4.3 文件缓存291
8.4.4 文件特性296
8.4.5 文件种类297
8.4.6 卷和池302
8.5 方法303
8.5.1 磁盘分析304
8.5.2 延时分析304
8.5.3 负载特征归纳306
8.5.4 性能监控308
8.5.5 事件跟踪308
8.5.6 静态性能调优309
8.5.7 缓存调优310
8.5.8 负载分离310
8.5.9 内存文件310
8.5.10 微型基准测试310
8.6 分析312
8.6.1 vfsstat312
8.6.2 fsstat313
8.6.3 strace、truss314
8.6.4 DTrace314
8.6.5 SystemTap323
8.6.6 LatencyTOP323
8.6.7 free324
8.6.8 top324
8.6.9 vmstat324
8.6.10 sar325
8.6.11 slabtop326
8.6.12 mdb ::kmastat327
8.6.13 fcachestat327
8.6.14 /proc/meminfo328
8.6.15 mdb ::memstat328
8.6.16 kstat329
8.6.17 其他工具330
8.6.18 可视化331
8.7 实验331
8.7.1 Ad Hoc332
8.7.2 微型基准测试工具332
8.7.3 缓存写回334
8.8 调优334
8.8.1 应用程序调用335
8.8.2 ext3336
8.8.3 ZFS336
8.9 练习338
8.10 参考资料339
第9章 磁盘341
9.1 术语342
9.2 模型342
9.2.1 简单磁盘342
9.2.2 缓存磁盘343
9.2.3 控制器344
9.3 概念344
9.3.1 测量时间344
9.3.2 时间尺度346
9.3.3 缓存347
9.3.4 随机 vs 连续I/O347
9.3.5 读/写比348
9.3.6 I/O大小348
9.3.7 IOPS并不平等349
9.3.8 非数据传输磁盘命令349
9.3.9 使用率349
9.3.10 饱和度350
9.3.11 I/O等待350
9.3.12 同步 vs 异步351
9.3.13 磁盘 vs 应用程序I/O351
9.4 架构352
9.4.1 磁盘类型352
9.4.2 接口357
9.4.3 存储类型358
9.4.4 操作磁盘I/O栈360
9.5 方法363
9.5.1 工具法364
9.5.2 USE方法364
9.5.3 性能监控365
9.5.4 负载特征归纳366
9.5.5 延时分析367
9.5.6 事件跟踪368
9.5.7 静态性能调优369
9.5.8 缓存调优370
9.5.9 资源控制370
9.5.10 微基准测试370
9.5.11 伸缩371
9.6 分析372
9.6.1 iostat373
9.6.2 sar380
9.6.3 pidstat381
9.6.4 DTrace382
9.6.5 SystemTap390
9.6.6 perf390
9.6.7 iotop391
9.6.8 iosnoop393
9.6.9 blktrace396
9.6.10 MegaCli397
9.6.11 smartctl398
9.6.12 可视化399
9.7 实验402
9.7.1 Ad Hoc402
9.7.2 自定义负载生成器403
9.7.3 微基准测试工具403
9.7.4 随机读示例403
9.8 调优404
9.8.1 操作可调参数404
9.8.2 磁盘设备可调参数406
9.8.3 磁盘控制器可调参数406
9.9 练习407
9.10 参考资料408
第10章 网络410
10.1 术语411
10.2 模型411
10.2.1 网络接口411
10.2.2 控制器412
10.2.3 协议栈412
10.3 概念413
10.3.1 网络和路由413
10.3.2 协议414
10.3.3 封装414
10.3.4 包长度414
10.3.5 延时415
10.3.6 缓冲417
10.3.7 连接积压队列417
10.3.8 接口协商417
10.3.9 使用率418
10.3.10 本地连接418
10.4 架构418
10.4.1 协议418
10.4.2 硬件421
10.4.3 软件423
10.5 方法427
10.5.1 工具法428
10.5.2 USE方法428
10.5.3 工作负载特征归纳429
10.5.4 延时分析430
10.5.5 性能监测431
10.5.6 数据包431
10.5.7 TCP分析432
10.5.8 挖掘分析433
10.5.9 静态性能调优433
10.5.10 资源控制434
10.5.11 微基准测试434
10.6 分析435
10.6.1 netstat435
10.6.2 sar440
10.6.3 ifconfig442
10.6.4 ip443
10.6.5 nicstat443
10.6.6 dladm444
10.6.7 ping445
10.6.8 traceroute445
10.6.9 pathchar446
10.6.10 tcpdump446
10.6.11 snoop447
10.6.12 Wireshark450
10.6.13 DTrace450
10.6.14 SystemTap461
10.6.15 perf461
10.6.16 其他工具462
10.7 实验463
10.7.1 iperf463
10.8 调优464
10.8.1 Linux465
10.8.2 Solaris467
10.8.3 配置469
10.9 练习470
10.10 参考471
第11章 云计算473
11.1 背景474
11.1.1474
11.1.2 可扩展的架构474
11.1.3 容量规划475
11.1.4 存储477
11.1.5 多租户477
11.2 OS虚拟化478
11.2.1开销479
11.2.2 资源控制481
11.2.3 可观测性484
11.3 硬件虚拟化489
11.3.1开销490
11.3.2 资源控制495
11.3.3 可观测性498
11.4 比较503
11.5 练习505
11.6 参考资料506
第12章 基准测试508
12.1 背景508
12.1.1 事情509
12.1.2 有效的基准测试509
12.1.3 基准测试之罪511
12.2  基准测试的类型516
12.2.1 微基准测试517
12.2.2 模拟518
12.2.3 回放519
12.2.4 行业标准519
12.3 方法521
12.3.1 被动基准测试521
12.3.2 主动基准测试522
12.3.3 CPU剖析524
12.3.4 USE方法525
12.3.5 工作负载特征归纳526
12.3.6 自定义基准测试526
12.3.7 逐渐增加负载526
12.3.8 完整性检查528
12.3.9 统计分析529
12.4 基准测试问题530
12.5 练习531
12.6 参考532
第13章 案例研究534
13.1 案例研究:红鲸534
13.1.1 问题陈述535
13.1.2 支持536
13.1.3 上手537
13.1.4 选择征途538
13.1.5 USE方法539
13.1.6 我们做完了吗542
13.1.7 二度出击542
13.1.8 基础543
13.1.9 忽略红鲸544
13.1.10 审问内核545
13.1.11 为什么546
13.1.12 尾声548
13.2 结语548
13.3 附加信息549
13.4 参考549
附录A USE法:Linux551
附录B USE法:Solaris556
附录C sar 总结561
附录D DTrace单行命令563
附录E 从DTrace到SystemTap573
附录F 精选练习题答案582
附录G 性能名人录585

前言/序言

  有已知的已知;有些事情我们知道自己知道。

  我们也知道有已知的未知;这是指我们知道有些事情自己不知道。

  但是还有未知的未知——有些事情我们不知道自己不知道。

  ——美国国防部长 唐纳德·拉姆斯菲尔德 2002 年2 月12 日

  虽然上述的发言在新闻发布会上引来了记者的笑声,但是它总结出了一个重要的原则,适用于任何如地缘政治般复杂的技术:性能问题可能来源于任何地方,包括中因你一无所知而不曾检查的地方(未知的未知)。本书将揭示许多这样的领域,并为其分析提供方法和工具。

  关于本书

  欢迎来到《性能:企业与云计算》!本书以操作为背景讲解操作和应用程序的性能,针对企业环境和云计算环境编写而成。本书的目的是帮助你更好地利用自己的。当你的工作与持续开发的应用程序软件为伍,你可能会认为内核经过几十年的开发调整,操作的性能已是一个解决了的问题了,但事情并非如此!操作是一个复杂的软件体,管理着各种不断变化的物理设备,应对着不同的新应用程序的工作负载。内核也在持续地发展,不断增加新的特性以提高特定的工作负载的性能,随着继续扩展,所遇到的瓶颈被逐一移除。改进操作性能需要不断的分析和努力,这样才能带来性能的持续提升。应用程序的性能也可以在操作的背景下做分析,此点本书也覆盖了。

  操作范围

  本书的重点就是性能的研究,所用的工具、示例,乃至可调的参数都是Linux和基于Solaris 的里的。除非注明,在示例中所用到的操作的特定发行版并不重要。基于Linux 的,示例所含的范围从各种裸机到虚拟化的运行着Ubuntu、Fedora 或CentOS的云租户。对于基于Solaris 的,示例也是裸机以及基于Joyent SmartOS 或OmniTI OmniOS 的虚拟化。SmartOS 和OmniOS 用的是开源的illumos 内核:这是OpenSolaris 内核的一个活跃的分支,所基于的开发版本后来成为了Oracle Solaris 11。

  覆盖两种不同的操作给每位读者提供了一个新的视角,帮助读者可以更深入地理解这两种的特点,尤其是二者设计不同的地方,并且可以帮助读者更全面地理解性能,而不只局限于某个单一的,这样读者可以更加客观地思考操作。

  过去,开发者对基于Solaris 的做了较多的性能工作,让其成为某些情形下更好的选择。Linux 的情况也有了很大的改观。在十多年前的System Performance Tuning出版时,作者同时介绍了Linux 和Solaris,但是更侧重后者。作者的理由是:

  Solaris 机器更多地注重性能。我怀疑这是因为Sun 的平均来说要比同等的Linux贵得多。这带来的结果是,花大价钱的人更倾向于挑剔性能,因此Solaris 在这个领域做的工作更多。如果你的Linux 机器性能不够好,你可以再买一台并对工作负载做切分——毕竟便宜。如果花了你几百万美金的Ultra Enterprise 10000 性能不好,你公司也因此会每时每刻都在承受不小的损失,你会打Sun 的服务电话寻求答案。

  上面这段解释了Sun 注重性能的历史传统:Solaris 的利润是与硬件销售绑定的,不少资金频繁地花在性能的提升上。Sun 需要,也付得起,雇用超过100 名的全职性能工程师(包括我自己和穆苏梅奇(Musumeci Gian))。与Sun 的内核工程师团队一起,我们在性能领域取得了许多进展。

  Linux 在性能工作和观测工具这一块走了很长的路。尤其是现在,Linux 正在应用到大型的云计算环境之中。本书涵盖了许多Linux 的性能特性,这些特性都是在过去五年里开发起来的。

  其他内容

  示例会包括性能工具的截屏,这样做不仅是为了显示数据,而且是为了对可用的数据类型做阐释。一般来说工具展现数据的方式更为直观,很多UNIX 早期风格的工具生成的输出都是相近的,意义常常可以不言自明。这意味着屏幕截图可以很好地传递这些工具的意图,只有某些需要极少的附加说明。(如果一款工具需要费力的说明,这就很可能是一个失败的设计!)

  技术的历史演化所展示出的洞察力能深化你的理解,这些都会在书中一一讲到。除此之外,了解一些这个行业的重要人物也是很用的(这个世界很小):你很可能会碰到他们或者接触到他们在性能领域的工作成果。附录G 是一张“谁是谁”的清单。

  什么未提及

  本书着眼于性能。如果你要执行所有的示例任务,有时可能需要做些管理员的工作,包括软件的安装或编译(这些本书没有提及)。尤其是在Linux 上,你需要安装sysstat 软件包,还有很多书中用到的工具也有同样的要求。

  书中关于操作内部总结的内容会在单独的篇章中有详尽的介绍。对性能分析高阶专题的概述,是为了让你知道这些内容的存在,以便在需要的时候依靠其他的知识来源做进一步的学习。

  本书的结构

  本书的内容如下。

  第1 章,绪论。介绍性能分析,总结关键的概念并展示了与性能相关的一些例子。

  第2 章,方法。性能分析和调整的背景知识,包括术语、概念、模型、观测和实验的方法,容量规划,分析,以及统计。

  第3 章 ,操作。总结了内核内部的性能分析。对于解释和理解操作行为,这些是必要的背景知识。

  第4 章,观测工具。介绍观测工具的类型,以及构建这些工具所基于的接口和框架。

  第5 章,应用程序。讨论了应用程序性能的内容,并从操作的角度观测应用程序。

  第6 章,CPU。内容包括处理器、硬件线程、CPU 缓存、CPU 互联,以及内核调度。

  第7 章,内存。虚拟内存、换页、swapping、内存架构、总线、地址空间和内存分配器。

  第8 章,文件。文件I/O 性能,包括涉及的不同缓存。

  第9 章,磁盘。内容包括存储设备、磁盘I/O 工作负载、存储控制器、RAID,以及内核I/O子。

  第10 章,网络。 网络协议、套接字、接口,以及物理连接。

  第11 章,云计算。介绍广泛应用于云计算的操作级和硬件级虚拟化方法,以及这些方法的性能开销、隔离和观测特征。

  第12 章,基准测试。介绍如何地做基准测试,如何解读别人的基准测试结果。这是一个棘手的话题,这一章会告诉你怎样避免常见的,并试图理解这一点。

  第13 章,案例研究。包含一个性能的案例研究,讲述了如何从始至终地分析一个真实的云客户案例。

  第1~4 章提供了必要的背景知识。阅读完这几章后,你可以根据需要参考本书的其余部分。

  第13 章的写法是不同的,该章用讲故事的方法描绘了性能工程师的工作场景。如果你是性能分析的新手,想先了解个大概,可能会想先读读这一章,当读完其他章的时候还可以再次重温。

  作为未来的参考

  通过着力于性能分析的背景知识与方法,本书的编写经得起推敲。

  为了做到这一点,许多章都被分为了两个部分。一部分的内容组成是术语、概念和方法(一般附有标题),这些内容许多年后应该还依然中肯适用。另一部分的内容是前一部分如何实现的示例:架构、分析工具,还有可调参数。这部分内容即便有朝一日淘汰了,作为示例讲解也是依然有用的。

  跟踪示例

  我们经常需要深入探索操作,这项工作要用到内核跟踪工具。有很多这样的工具,它们所针对的开发阶段也各不相同,例如,ftrace、perf、DTrace、SystemTap、LTTng 和ktap。其中有一款工具被选择用在了绝大多数的跟踪示例中,并在Linux 和基于Solaris 的上都有演示:它就是DTrace。该工具提供了这些示例所需要的功能,并且关于它还有大量的外部参考资料,包括可以用于跟踪的脚本。

  你可能需要或愿意选用别的跟踪工具,这很好。DTrace 的示例展示的是你能向掷出的问题。这些问题以及提出这些问题的方法,常常才是困难的。

  目标受众

  本书的目标受众主要是管理员以及企业与云计算环境的运维工程师。所有需要了解操作和应用程序性能的开发人员、数据库管理员和网站管理员都适合参阅本书。

  作为云计算提供商的首席性能工程师,我的工作会与支持人员和顾客打交道,他们经常要承受巨大时间压力去解决多个性能问题。对于许多人来说,性能并不是他们的主要工作,但却需要了解足够多的性能知识来解决手头的问题。因为清楚读者学习本书的时间会非常有限,我将本书编写得尽可能简洁。但不会简短:有太多知识需要覆盖才能保证你是准备好了的。

  另一个受众群体是学生:本书适合作为性能课程的补充教材。在本书的编写期间(以及开始动笔的多年以前)我就曾经教授过这样的课程,并帮助学生解决仿真的性能问题(事前不会公布答案!)。这段经历帮我弄清了什么样的材料能好地引导学生解决性能问题,这也成就了本书的部分内容。

  无论你是不是学生,每章的习题都会带给你一个审视和应用知识的机会。其中有一些可选的高阶练习,可能你完成不了(也许做不到,但至少可以启发思维)。

  本书涵盖了足够的知识细节,无论是大公司还是小公司,乃至雇用了不少性能专职人员的公司,本书都可以满足其需要。对于众多的小型公司,日常用到的可能只是书中的某些部分,但本书作为参考也可备不时之需。

  排版约定

  本书贯穿始终用到的排版约定如下:

  netif_receive_skb() 函数名

  iostat(1) Man 手册

  Documentation/ . . . Linux 文档

  CONFIG_ . . . Linux 配置选项

  kernel/ . . . Linux 内核源代码

  fs/ Linux 内核源代码,文件

  usr/src/uts/ . . . 基于Solaris 内核源代码

  #用户(root)shell 提示符

  $ 普通用户(non-root)shell 提示符

  ^C 命令被中断(Ctrl+C)

  [...] 文本截断

  mpstat 1 键入的命令或高亮的文字

  致谢

  Deirdré Straughan 再次提供了不可思议的帮助,使我对技术教育的热忱得以延伸至另一本书。从想法到手稿,从开始就帮助我构想这本书是什么样子,到花费了无数的时间编辑和讨论每一页的内容,找出了许多我没有解释清楚的部分。至今我和她已经合作了超过了2000 页的技术内容(加上博客),能得到如此大的帮助我深感荣幸。

  Barbara Wood 作为拷贝编辑,花了大量的时间在本书的细节上,做了无数的修改,文字才有了现在的质量、可读性和连贯性。考虑到本书的长度和复杂性,这项工作绝不简单,我非常感谢Barbara 的帮助和他辛勤的工作。

  对于每一位给予本书反馈的人,我都心怀感激。这是一本深层次的技术书,有很多新内容需要严谨的审阅——经常需要频繁地反复确认和理解不同内核的内核代码。

  不管是深层次的技术还是材料的组织和展示,Darryl Gove 都给予了无与伦比的反馈意见。他本身就是一个作家,看到他是如此迫切地向我们的读者提供好的内容,我非常期待着他将来的著作。

  我还非常感谢Richard Lowe 和Robert Mustacchi,他们通审了整本书,发现了我所缺失的内容和一些需要做更好阐述的部分。Richard 对不同内核的内部机理的理解令人震惊,厉害得甚至有点可怕。Robert 对云计算章节给予了极大的帮助,他还将自己在KVM 上的工作专长转移到了illumos 上。

  感谢Jim Mauro 和Dominic Kay 的反馈意见:我曾经与他们一起出过书,理解艰深的技术内容,再把这些内容解释给读者,他们是此中的天才。

  Jerry Jelinek 和Max Bruning,两人都有着内核工程的专长,提供了多章的详尽反馈。

  Adam Leventhal 对“文件”一章和“磁盘”一章给予了专家级建议,特别是帮我理解了闪存当前的细微差别——他在这个领域有着长期的经验,在Sun 公司的时候就发明过不少闪存创新性的使用方法。

  David Pacheco 对“应用程序”一章给予了极好的反馈, Dan McDonald 则是对“网络”那一章,我很幸运可以让他们在自己如此了解的领域把他们自己的技术展示出来。

  Carlos Cardenas 看过了整本书,在统计分析方面给予了独特的建议,这些建议正是我之前一直所追寻的。

  我很感激Bryan Cantrill、Keith Wesolowski、Paul Eggleton、Marsell Kukuljevic-Pearce 和Adrian Cockcroft,为他们的反馈和贡献。Adrian 的意见促使我重新排列章节顺序,这让读者可以更好地关联所覆盖的内容。

  我感谢在我之前的作者们,他们的名字都列在了参考附录之中,是他们铺就了通往性

  能的道路并把自己的发现记录了下来。感谢与我一同工作多年的性能专家们,包括Bryan Cantrill、Roch Bourbonnais、Jim Mauro、Richard McDougall,等等。我从他们身上学到了很多很多。

  感谢Bryan Cantrill 对这个项目的支持,感谢 Jason Hoffman 的热忱。

  感谢Claire、Mitchell 和其他家人朋友为支持我这个项目所做出的牺牲。

  特别要感谢Pearson 公司的总监Greg Doench,感谢他的帮助、耐心和对项目的建议。

  我很享受本书编写的过程,即使期间也有过不时的气馁。要是十年前的话,我写起来会容易得多,那时候我对复杂性和性能微妙的所知不及现在,我在企业、存储和云计算领域做过软件工程师、内核工程师和工程师。无论是栈的各个层级,还是从应用程序到硬件,在所有这些地方我都处理过性能问题。这些经历,我知道还有好多都还没有记录下来。所有这些既让我受过挫,也激励着我把它们写下来。这本书是我一直想要写就的,本书的完成是我莫大的安慰。

  译者序

  作为一名运维工程师,出现一些“诡异”问题的情况并不罕见。有些时候面对束手无策的问题着实让人,这时我总会感慨,学生时代课本上计算机科学那些诸多的概念和理论所呈现出的感觉更多是在书本上,在真实中往往更多是另外一幅更为“现实”的景象。工作多年后,我自发形成了一个简单的认知:当庞大到一定程度时,其复杂性会变得不容易控制是一件很正常的事情。用技术手段把这些“失控”的点妥善摆平就是工程师价值的体现。在翻译本书的过程中,我对这个问题又有了不同的认识:

  “已知的已知,已知的未知,未知的未知。”

  这是本书多次提到过的概念,说的是有些事情我们知道自己知道,有些事情我们知道自己不知道,还有些事情我们不知道自己不知道。这个概念就(特别是复杂,诸如云计算或大数据)而言,特别贴切:就内部来说,无论用到的是某一操作,还是某一编程语言,其实本身就已经是复杂度较高的实体,要透彻掌握并非易事,何况皆由这些技术组合构建而成,方方面面无所不知是不可能做到的事情,这里的未知源于技术本身的复杂;就外部来说,如今时事变化一日千里,现在要处理的外界变化,可能初的设计者都从未想过,这里的未知来源于未来的不定。所以,有让你手足无措的问题出现其实是一种很正常的状态,对此的恐惧只是人施加给自己的情感层面的东西。与此相反,始终对未知心生敬畏才是对待未知正常的态度,更是本应有的觉悟。

  这里并不是说我们要对未知“投降”,而是说对“未知”有正确的认识才是我们取得进步的前提。其实我们多数人对“的未知”存在误区,我们常常将等同于具象的技术实体,例如某种编程语言、OS 内核、网络。总觉得出问题肯定是我某些技术知识有漏洞没学好。可惜“学海无涯,而吾生有涯,以有涯随无涯,殆矣”,拘泥于各种眼花缭乱的技术只会让自己迷失造成时间的浪费。技术都是末节,真正要把握的主体其实只是本身。道理虽简单,但舍本逐末的事情却还是屡见不鲜。

  要做好这一点,首要的是要有全局的观。更准确地说,是要有对各层知识的理解和实践能力,要有对架构的认知和理解的能力。只有对了如指掌,才有希望将已知的未知转化为已知的已知,将未知的未知转化为已知的未知,进而增加对的掌控能力,避免盲人摸象的悲剧。事实的真相是也本应是这样:技术的价值依附于及其价值,没有孤立存在的技术,价值的体现都在于本身。唯有立足本身,工程师才能打通性能这条经脉,领略到性能之巅的风采!

  回观《性能之巅》这本书,全书的安排也深有此意。本书第1~5 章可谓是精华部分,讲述了与性能相关的通用模型和通用方法;第6~12 章才落实到具体的知识细节,讲述各性能组件(CPU、内存等)的知识(第6~10 章)、云计算的基础(第11 章),基准测试的方法(第12 章)。本书后一章是一个性能分析的实例,若是让长期与打交道的工程师读来,必然感同身受;若是性能新手阅读,则可以对性能工作的日常状况有个基本的了解。

  本书是一座桥梁,作者Brendan 是在性能领域耕耘多年的技术专家,在Sun 和Oracle公司有过卓越的贡献,动态跟踪工具DTrace 就是他主力开发的,他用自己多年的经验和实践归纳并总结出了性能的理论和方法,这些理论和方法的作用就像桥梁,把业界可用的工具(或是你自己开发的工具)与内部的原理机制联通让它们有机地结合起来,让与性能相关的工作(无论是性能分析还是性能调优)做到有的放矢、有章可循!这与单纯提供知识的技术书籍截然不同,“授人以鱼不如授人以渔”,其立意确实难能可贵。

  现代IT 技术的源头并非中国,但IT 技术在这片土地上生根发芽,欣欣向荣。如今国人日常生活中所依赖的服务已经比比皆是,不信者打开自己的手机数数所装的App 自然清楚,这些App 背后多半都有远在某个数据中心的一个或多个作为支撑。随着互联网技术向各行业以及生活各方面的渗透,这样的今后会越来越多。加之伴随着云计算和大数据技术的兴起和蓬勃发展,除了越来越多之外,自身还会变得越来越庞大和复杂。在这么一个总的大趋势下,性能的重要性自然不言而喻。你会发现Brendan 所著的《性能之巅》是如此地契合我们这个时代,本书不是本论述性能的书,但本书对现有性能的方法和理论所做的提炼、概括和归纳,不敢说后无来者,但可以称得上是的了。

  全书翻译由EMC软件工程师吴寒思、点融网运维工程师陈磊与我共同完成,在此感谢二位的辛苦耕耘和我们作为团队三人之间彼此的精诚合作,一年多的翻译历程,大量的时间和精力的投入自是不提,但回过头来看整个过程于我们译者自觉仍是获益良多的。本书内容量大涉及面广,尽管我们付出了许多的辛苦和努力,还是难以避免的出现,仍会存在一些不尽如人意的地方,欢迎广大读者批评指正,以便改进。

  感谢博文视点出版社主编张春雨对本书出版的大力支持,感谢编辑贾莉对本书的悉心校对;感谢高博学长在翻译道路上给予我的指引;在本书成稿过程中,感谢EMC 蔡小华、EMC 陈立、EMC 胡世杰、百度冯玮、百度林向东、百度文立经理、的林应经理,还要感谢我所在的团队上海百度研发中心离线运维组的同事们。另外,更要感谢我的父母和女友吴颖对我的理解和支持。愿这本书的出版给你们带来快乐。

  徐章宁

  于百度上海研发中心

  2013 年7 月

^_^:21b91976705e4ccdc891e34ba0d0b8b0