可观测性工程 pdf下载

可观测性对于构建、更改和理解驱动复杂现代系统的软件至关重要。应用可观测性的团队能够快速、从容地发布代码，识别异常值和异常行为，并了解每个用户的体验。本书基于最新的可观测性理论和实践，全面介绍了可观测性的概念、原理和技术方法。同时，本书还深入探讨了可观测性工程的设计、实施和优化过程，包括监控、日志管理、故障排查等方面。本书的内容权威性强，具有很高的参考价值和实用性。

来自Honeycomb公司的三位作者解释了良好的可观测性由哪些要素构成，展示了如何利用可观测性改进现有的工作，并结合具体案例阐释了实施可观测性面临的常见挑战及有效解决方案，提供了从传统工具（如度量工具、监控工具和日志管理工具）迁移的实际注意事项，还解释了可观测性与组织文化的相互影响。

学完本书，你将了解：
*可观测性概念如何应用于大规模软件管理。
* 在交付复杂的云原生应用和系统时实践可观测性的价值。
*可观测性对整个软件开发生命周期的影响。
* 不同职能团队如何以及为什么在SLO（服务水平目标）中使用可观测性。
*如何测试代码以帮助未来的工程师理解你今天编写的代码。
*如何为上下文感知的系统调试和系统维护生成高质量的代码。
*数据丰富的分析如何帮助你调试难以捉摸的问题。

本书基于作者在可观测性领域的丰富实践经验撰写而成，旨在帮助读者在工程团队内开展可观测性实践。书中深入分析了在软件交付和运营的背景下可观测性意味着什么、如何构建基础组件来实现可观测性、可观测性对团队动力的影响、可观测性规模化的考虑因素，以及在组织中建立可观测性文化的实用方法，还通过丰富的实例展示了如何利用可观测性改进现有的工作，并提供了从传统工具（如度量工具、监控工具和日志管理工具）迁移的实际注意事项。

原书作者：

*Charity Majors是Honeycomb公司（美国一家领先的可观测性平台提供商）的联合创始人和CTO，也是Database Reliability Engineering一书的合著者。此前，她在Parse、Facebook和Linden实验室等担任系统工程师和工程主管。

*Liz Fong-Jones是Honeycomb公司的Field CTO、可观测性社区的倡导者和可观测性的国际演讲者。她曾是一名拥有超过17年经验的开发者顾问和SRE（站点可靠性工程师）。

*George Miranda是Google的SRE，曾是Honeycomb公司的系统工程师、产品营销员和GTM负责人。此前，他在金融和视频游戏行业拥有超过15年的构建大型分布式系统的经验。

翻译+审校团队：

*观测云团队 观测云团队成员由来自不同领域的资深技术专家组成，包括云计算、大数据、物联网、人工智能、研发效能等。其首发的国内全链路可观测产品「观测云」，首批获得中国信通院颁发的「可观测性平台技术能力」先进级认证，并已被国内外客户所广泛认可。同时，观测云团队也积极投入对可观测性理念的实践与布道，希望这本《可观测性工程》，能为国内广大工程师开启一个全新的技术视角。

*中国信息通信研究院云计算与大数据研究所 中国信息通信研究院云计算与大数据研究所是中国信息通信研究院的核心业务单元，专注互联网新技术、新产业、新模式和新业态的持续发展。云大所长期关注可观测性的技术价值，并通过制定标准、技术研究和能力评估等方式，推动可观测性在国内的认知和落地。

本书系统讲解了可观测性的基本理念、建设方式和落地成效，包含丰富的实践案例，可以帮助读者快速理解可观测性的技术内涵，亦可帮助广大信息技术从业人员、技术爱好者，以及寻求信息化转型的传统企业从业人员，了解、实践和应用可观测性。

——“可观测性创造繁荣技术和软件生态”，何宝宏，中国信息通信研究院云计算与大数据研究所所长

本书非常详细地描写了为什么要构建可观测性、可观测性的价值、可观测性构建过程中的原则和可能存在的陷阱，也指出了现代化软件工程的发展方向和趋势，值得每位工程师（包括所有技术管理者）好好阅读和思考。我相信，当你看完本书后，一定会迫不及待地在公司内开始构建可观测性工程。

——“为什么我们要了解可观测性工程”，蒋烁淼，观测云创始人兼CEO

本书行文方式非常落地且直观，通过实际的案例和一线软件工程师的经验分享，令人信服地把可观测性的哲学和理念变成可参考的实践，除了技术之外，也有关于团队管理以及对软件工程结合现代可观测性技术后的思考，相信无论是初学者还是行业老兵，程序员还是技术管理者，都能从本书中有所收获。

——“窥见更远：望远镜和软件观测性”，黄东旭，PingCAP创始人兼CTO

本书不是“先假设再测试”，而是以一种更有原则的方法回答了诸如“为什么系统速度 慢？”这样的运维问题，本书将成为工程师查询系统状态的分水岭。

——Lorin Hochstein，高级软件工程师兼O'Reilly作者

本书并不回避在团队中引入可观测性文化时所面临的挑战，并就如何以可持续的方式实践可观测性提供了有价值的指导，使可观测性从业者能够获得长期成功。

——Cindy Sridharan，基础设施工程师

本书涵盖了引入生产系统的可观测性并从中受益的技术和文化的各个方面。

——Sarah Wells，《金融时报》前技术总监，O'Reilly作者

对于任何希望从可观测工作中获得强大收益的工程师或者管理者来说，这本优秀的书是你的实践指南，它在简洁和全面之间取得了完美的平衡。

——Mads Hartmann, Gitpod SRE

本书从针对复杂系统的事件因素出发，通过一系列指导思路，完成了对可观测性的理论定义，并给出了系统可观测性的成熟度模型。

——陈龙，互联科技研发中心负责人

本书提供了从概念到原理、从实践到文化的全面阐述，可谓可观测性修炼手册，对深处数字化变革和敏捷转型浪潮中的实践者都大有裨益。

——陈冉，极狐（GitLab）

本书作者借用控制论思想中的度量能力来描绘，就是通过高维度、高基数的数据来推断出系统内部状态的好坏，从而使一个复杂性问题具备可观测性。如果你想深入学习可观测性，那么本书不容错过。

——杜玉杰，开放城市共同体发起人

本书通过全面系统的介绍、真实的案例、不同选型路线比对等内容，向我们展示了可观测系统的重要性以及对组织可能带来的变化，值得每一位相关领域的人阅读。

——霍太稳，极客邦科技创始人兼CEO

观测云提供了一种革命性的技术，让复杂应用系统的稳定性变得更好，也让业务连续性得到了保障。本书非常适合运维从业者阅读，由知到行，一起学习与探索。

——金霄，新钛云服联合创始人

本书给人的第一印象就是系统且全面，它不仅阐明了可观测性与监控等类似概念之间的区别与融合，还基于事件和链路提供了可观测性实现的具体内容，是兼顾理论和实践的宝贵资源。

——李宁，德邦证券CTO

可观测性已经远远超出了传统意义上的监控，作为可观测性领域圣经级著作，本书帮助软件工程师全面而深入地了解可观测性理论及实践，是一本难得的佳作。

——卢盛祺博士，上海市高等教育学会数字经济发展与研究专业委员会委员

可观测性工程是一种软件工程实践，旨在使系统更容易监测和调试，并有助于提高系统的稳定性、可靠性和可用性，而本书正是可观测性工程领域的权威著作。

——李先磊，北京合思信息技术有限公司运维总监

当前，由于业界普遍对可观测性的理解还未更新至最新版本，致使这一技术明珠蒙尘。本书可以帮助工程人员以及团队和业务的管理者更好地认识与建设可观测性这一利器，实现业务运维、系统优化、商业决策方面的降本增效。

——李修莹，前中国信息通信研究院可观测性业务主管

2020年起，“可观测性”作为“新一代监控”创新技术实践，与SRE、DevOps、云原生等一起得到了业内专家的广泛关注和认可。Honeycomb创始人以及谷歌SRE核心专家撰写的这本权威著作《可观测性工程》已经正式出版，期待在中国打开“可观测性”的新天地，也预祝SRE创新实践持续在国内发扬光大。

——刘峰，中国SRE社区发起人

如果说基于传统监控定位并解决问题的方法像老中医的望闻问切，那么可观测性则让老中医进入了现代医学阶段，有了现代诊疗手段。面对云原生时代涌现出来的更高强度的软件复杂

性，所有技术角色都可以从本书中获益良多。

——刘庆，简单云创始人

作为可观测性社区的开源领袖，本书的作者详细解释了云原生时代可观测性与传统监控的区别，高屋建瓴地阐述了工程团队应该如何从文化和工具等不同层面有效构建可观测性，更进一步指明了构建可观测性系统的技术难点和细节，创新性地提出了管理学层面的评估模型和趋势预测。本书绝对是可观测性乃至软件工程从业人员的必读好书。

——饶琛琳，《ELK Stack 权威指南》作者、日志易产品副总裁

可观测性工具将全时、全域、全栈分散的数据进行整合，从而支撑从规划设计、开发到运维运营的端到端 SLO，并支持工程师不断优化，最终达成目标，是云原生时代工程师最好的工具。

——任建华，华业天成资本董事总经理，数字化资深投资专家

正如显微镜的发明改变了人们理解疾病的方式，可观测性的实践必将改变我们对于复杂软件的掌控力。

——茹炳晟，腾讯微信支付 Tech Lead、腾讯研究院特约研究员、中国计算机学会 CCF TF 研发效能 SIG 主席

可观测性作为一种全新的软件工程文化在业界被逐渐接受，本书作为可观测性领域的少有佳作，全面介绍了可观测性的发展历程、原理及应用，非常具有学习价值。

——魏佳，汇量科技资深架构师

本书不仅涵盖了可观测性的基本知识和技术理论，还提供了详细的实践方案，是学习和实

践可观测性的最佳资料，值得推荐阅读。

——杨攀，极客邦科技副总裁 &TGO 鲲鹏会总经理

可观测性有力地推动着数字化管理水平升级、城市治理范式嬗变，并使得数字治理手段日益多样化、精确细致和专业高端，实现类似于从“X 光”到“CT”的诊疗技术飞跃，助力我们更加全方位深入地洞悉系统内部运作状态，并揭示数字治理新领域。我推荐本书作为技术管理者的良读之选。

——姚震，上海市大数据股份副总裁

本书内容对广大的软件工程师、架构师大有裨益，可以让大家对可观测性有更加清晰的认识，从而推进可观测性工程建设，帮助工程师更加主动地探索软件系统中未知的“线索”。

——张观石，虎牙直播前SRE高级经理、架构师，《SRE原理与实践》作者

“从全局把控、从痛点入手、从案例切入”是本书的核心要义，作者用轻松易懂的方式把可观测性这一抽象技术讲解得生动又通透！本书是该领域每位从业者必不可缺的核心技术宝典！

——张冠宇，马哥教育总经理、原美团点评运维架构师

本书以可观测性的概念和原理为起点，直面其能力的落地、应用和传播问题，以团队化、规模化和效益化的视角构筑并展开解决方案，颇具启发性。

——张海立，驭势科技云平台研发总监

本书系统地讲解了可观测性的概念、理论，并提供大量实践指导和案例，非常有助于在现有的工程和组织中构建可观测性能力。

——张海龙，CODING创始人

无论是个人爱好者进行学习提升，还是企业架构师进行架构优化，本书都是一位优秀的

“导师”。全书通过对“可观测性”“监控”“遥测”“AIOps”等多种技术栈进行对比，引导读者正确认识可观测性，并进一步通过案例分析带领读者快速构建可观测性能力体系。

——张红兵，「DaoCloud 道客」COO

本书并没有手把手指导你如何开发一个观测诊断平台，而是系统地介绍了可观测性的概念、原理和构建可观测性所要具备的核心能力。借助本书，你能理解在云计算已进入全面云原生时代的今天，软件系统具备可观测性是何等重要，以及将可观测性的思维引入软件系统的必要性。

——赵成阳，字节跳动软件工程师

本书会成为可观测性行业的必备书之一，更深入地推动可观测性实践，使之成为工程师团队的一个必备技能和工具，提升中国软件工程能力。

——赵隆兵，观测云

本书从理论到实践全面探讨了可观测性在现代软件工程中的重要性和实践路径，具备一定的前瞻性和创新性，为构建稳定安全运行的系统提供重要的指导。对于云时代的系统架构师、运维工程师、开发人员或管理人员来说，这本书将是不可或缺的技术参考书。

——郑立，中国信息通信研究院云计算与大数据研究所副主任

今天非常高兴有机会阅读《可观测性工程》这本书。作为云计算系统的研发者，书里提到理念、实操和工程原理都是务实的经验之谈，对当下工作和未来思考都有启发，译者翻译得也非常专业。十分期待可观测性工程技术能在国内得到更好的发展。

——周琦（简志），阿里云计算技术总监/阿里云SLS技术负责人

目录
序1
前言3
第一部分 可观测性的路径
第1章 什么是可观测性11
1.1 可观测性的数学定义11
1.2 把可观测性应用到软件系统12
1.3 关于软件可观测性的错误描述14
1.4 为什么现在可观测性很重要15
1.5 使用指标进行调试与使用可观测性进行调试的对比18
1.6 使用可观测性进行调试21
1.7 可观测性适用于现代系统22
1.8 结论23
第2章 可观测性和监控之间的调试实践有何不同24
2.1 监控数据如何用于调试24
2.2 可观测性如何实现更好的调试30
2.3 结论31
第3章 不通过可观测性扩展系统的经验教训32
3.1 关于Parse的介绍32
3.2 Parse的扩展实践33
3.3 向现代系统演进36
3.4 向现代化实践变革38
3.5 在Parse的转变实践39
3.6 结论42
第4章 可观测性与DevOps、SRE和云原生的关联43
4.1 云原生、DevOps和SRE简介43
4.2 可观测性：调试方式的过去与现在45
4.3 可观测性增强了DevOps和SRE的实践45
4.4 结论47
第二部分 可观测性基础
第5章 结构化事件—可观测性的构建块51
5.1 通过结构化事件进行调试51
5.2 指标作为构建块的局限性52
5.3 传统日志作为构建块的局限性54
5.4 在调试中有用的事件属性56
5.5 结论57
第6章 将事件拼接成链路58
6.1 分布式链路追踪及其重要性58
6.2 链路追踪的组件59
6.3 硬编码探针构建链路追踪61
6.4 将自定义字段添加到链路span64
6.5 将事件拼接到链路中66
6.6 结论67
第7章 遵照OpenTelemetry的探针68
7.1 探针简介68
7.2 开源探针标准69
7.3 使用基于代码的示例的探针69
7.4 结论75
第8章 通过事件分析实现可观测性77
8.1 从已有条件调试77
8.2 从第一性原理调试79
8.3 AIOps的误导性承诺84
8.4 结论85
第9章 可观测性和监控的融合86
9.1 监控适合的地方86
9.2 可观测性适合的地方87
9.3 系统与软件注意事项88
9.4 评估你的组织需求89
9.5 结论92
第三部分 团队的可观测性
第10章 在团队中应用可观测性实践95
10.1 参与社区95
10.2 从最大的痛点着手96
10.3 购买代替自建97
10.4 反复完善你的探针99
10.5 温和改进，积极复用100
10.6 全力冲刺101
10.7 结论102
第11章 可观测性驱动开发103
11.1 测试驱动开发103
11.2 软件开发生命周期中的可观测性104
11.3 从哪里开始调试105
11.4 微服务时代的调试106
11.5 探针如何提高可观测性107
11.6 可观测性左移108
11.7 利用可观测性加快软件交付108
11.8 结论110
第12章 使用SLO来提高可靠性111
12.1 传统监控方法造成危险的告警疲劳111
12.2 阈值告警只适用于“已知的未知”情况112
12.3 用户体验是一颗北极星114
12.4 什么是SLO115
12.5 结论120
第13章 处理和调试基于SLO的告警121
13.1 在错误预算消耗完之前发出告警121
13.2 将时间定义成一个滑动窗口123
13.3 预见性地创建预测消耗告警124
13.4 使用SLO与时间序列数据的可观测性数据134
13.5 结论136
第14章 可观测性与软件供应链137
14.1 为什么Slack需要可观测性139
14.2 探针：共享客户端库和维度140
14.3 案例研究：软件供应链的运营143
14.4 结论148
第四部分 大规模可观测性
第15章 自建与购买以及投资回报率151
15.1 如何分析可观测性的投资回报率151
15.2 自建的真实成本152
15.3 购买软件的真实成本156
15.4 购买与自建不是二元选择159
15.5 结论160
第16章 高效的数据存储161
16.1 可观测性的功能要求161
16.2 案例研究：Honeycomb的列式数据存储实现168
16.3 结论177
第17章 如何使采样精准且便宜179
17.1 使用采样策略来优化数据采集179
17.2 使用不同的采样策略180
17.3 将采样策略转化为代码183
17.4 结论193
第18章 使用流水线进行遥测管理195
18.1 遥测流水线的属性196
18.2 管理一个遥测流水线：解剖200
18.3 管理遥测流水线时的挑战202
18.4 用例：Slack的遥测管理204
18.5 开源替代方案207
18.6 管理遥测流水线：自建与购买208
18.7 结论208
第五部分 传播可观测性文化
第19章 可观测性的商业案例211
19.1 被动引入变更的方法211
19.2 可观测性的投资回报213
19.3 主动引入变更的方法214
19.4 将可观测性引入实践215
19.5 使用合适的工具216
19.6 知道何时你有足够的可观测性218
19.7 结论219
第20章 可观测性利益相关方和联盟　　 220
20.1 识别非工程可观测性需求220
20.2 在实践中创建可观测性同盟222
20.3 使用可观测性与商业智能工具225
20.4 在实践中结合使用可观测性和商业智能工具227
20.5 结论228
第21章 可观测性成熟度模型229
21.1 关于成熟度模型的说明229
21.2 为什么可观测性需要成熟度模型230
21.3 关于可观测性成熟度模型231
21.4 可观测性成熟度模型中的能力参考232
21.5 在你的组织中使用可观测性成熟度模型237
21.6 结论238
第22章 未来发展趋势239
22.1 可观测性的过去与现在239
22.2 其他资源241
22.3 可观测性发展方向的预测242

【前言】

感谢你阅读我们就现代软件系统可观测性工程所写的这本书。我们的目标是帮助你在工程团队内开展可观测性实践。本书融合了我们在可观测性实践和工具（这些工具可以提升用户的可观测性实践）开发方面的经验。

作为在软件工程中推动可观测性实践的倡导者，我们希望本书能够清晰地阐明可观测性在现代软件系统背景下的含义—“可观测性”一词最近在软件开发生态系统中得到了广泛应用。本书旨在通过对以下内容进行深入分析，帮助你将事实与炒作区分开来：

• 在软件交付和运营的背景下，可观测性的含义。

• 构建基础组件来实现可观测性。

• 可观测性对团队动力的影响。

• 可观测性规模化的考虑因素。

• 在组织中建立可观测性文化的实用方法。

【目标读者】

可观测性主要关注如何更好地理解现实世界软件的运行方式。因此，本书对负责开发生产应用程序的软件工程师非常有用。当然，任何支持在生产中运行软件的人都会从本书中受益。

此外，对于想了解可观测性实践如何为组织带来好处的软件交付和运营团队经理，本书（特别是侧重于团队动力、文化和规模的章节）将为他们提供有益参考。

任何帮助团队交付和运营生产软件的人（例如产品经理、支持工程师和利益相关者），以及对“可观测性”这一新事物感到好奇和存疑的人，都会从本书受益。

【为什么写这本书】

可观测性已成为一个热门话题，并广受关注。随着它的普及，“可观测性”不幸被误作“监控”或“系统遥测”的同义词。可观测性是软件系统的一个特征。而且，只有当团队采用新的实践进行持续开发时，才能在生产软件系统中有效利用这一特征。因此，将可观测性引入系统既是一个技术挑战，也是一个文化挑战。

我们对可观测性话题充满热情，而且直言不讳。我们对它如此热衷，以至于成立了一家公司，致力于将可观测性力量带给所有管理生产软件的团队。我们率先推出了一类新的可观测性工具，其他供应商也纷纷效仿。

虽然我们都为 Honeycomb 工作，但写这本书并不是为了向你出售工具，而是为了解释我们如何以及为什么将可观测性的原始概念应用于管理现代软件系统。你可以使用不同的工具以不同的方式实现可观测性。然而，我们相信依据我们在软件行业推进可观测性实践所做出的贡献和积累的经验，我们可以编写一份详细描述常见挑战和有效解决方案的实践指南。无论你选择何种工具，你都可以应用本书中的概念来动手构建具有可观测性的生产软件系统。

本书旨在让你了解使用可观测性管理生产软件系统的团队所面临的各种考虑因素和挑战。有时，我们可能会以 Honeycomb 为例来说明如何应对共同的挑战。这些不是对Honeycomb 的认可，而是对抽象概念的实际说明。我们的目标是向你介绍工作原则，不管你使用什么工具都可以在其他环境中应用这些原则。

【你将学到什么】

首先，你将了解什么是可观测性、如何识别可观测系统，以及为什么可观测性最适合管理现代软件系统。你还将了解可观测性与监控之间的区别，以及为什么和何时需要不同的方法。你还将了解为什么行业趋势有助于普及对可观测性的需求，以及它如何适应新兴生态系统，如云原生生态系统。

然后，我们将介绍可观测性的基本原理。我们将研究为什么结构化事件是可观测系统的构建块，以及如何将这些事件拼接成链路（trace）。事件是由内置在软件中的遥测技术生成的，你将了解开源计划，如 OpenTelemetry，这些计划有助于启动探测过程。你将了解基于数据的调查过程（用于定位可观测系统中的问题来源），以及它与传统监控中使用的基于直觉的调查过程有何实质性差异。你还将了解可观测性和监控如何共存。

在了解了这些基本的技术概念之后，你将了解随着可观测性的采用而出现的社会和文化因素。在生产环境中管理软件是一项团队运动，你将了解如何使用可观测性来更好地塑造团队动力。你还将了解可观测性如何融入业务流程、如何影响软件供应链，以及如何揭示隐藏的风险。当我们研究如何使用服务水平目标（SLO）来实现更有效的告警时，你还会了解如何将这些技术和社会概念付诸实践，并深入了解为什么在使用可观测性数据时，告警既可操作又可调试。

接着，你将了解大规模实施可观测性解决方案时面临的固有挑战。我们将首先介绍你在决定是否购买或构建可观测性解决方案时应考虑的因素。可观测性解决方案的一个基本性质是，它们必须在迭代研究期间提供快速答案。因此，我们将向你展示如何在管理超大数据集时解决高效数据存储和检索的固有挑战。你还将了解何时引入事件采样等解决方案，以及如何在权衡中找到适合你的需求的正确方法。你还将学习如何使用遥测流水线管理大量数据。

最后，我们将探讨采用可观测性文化的组织方法。除了向团队介绍可观测性之外，你还将学习跨整个组织扩展可观测性实践的实用方法。你将学习如何识别关键利益相关者并与之合作，如何使用技术方法赢得合作伙伴，并为采用可观测性实践提供商业案例。

我们大约 3 年前就开始写这本书，之所以花了这么长时间才出版，部分是因为可观测性领域正在迅速变化，实践也在不断进步。