物联网大数据分析实战 pdf下载

《物联网大数据分析实战 》详细阐述了与物联网大数据分析相关的基本解决方案，主要包括物联网分析和挑战、物联网设备和网络协议、云和物联网分析、创建AWS云分析环境、收集所有数据的策略和技术、探索物联网数据、增强数据价值、可视化和仪表板、对物联网数据应用地理空间分析、物联网分析和数据科学、组织数据的策略、物联网分析的经济意义等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。

本书适合作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学用书和参考手册。

第1章 物联网分析和挑战 1

1.1 虚拟情境 1

1.2 物联网分析的定义 4

1.2.1 分析的定义 4

1.2.2 物联网的定义 6

1.2.3 受限的概念 8

1.3 物联网数据分析的挑战 8

1.3.1 大数据量 8

1.3.2 与时间相关的问题 10

1.3.3 与空间相关的问题 12

1.3.4 数据质量问题 13

1.3.5 分析方面的挑战 14

1.4 和商业价值发现相关的考虑因素 15

1.5 小结 15

第2章 物联网设备和网络协议 17

2.1 物联网设备 17

2.1.1 物联网设备的缤纷世界 18

2.1.2 医疗保健 18

2.1.3 制造业 18

2.1.4 运输和物流 19

2.1.5 零售业 19

2.1.6 石油和天然气 19

2.1.7 家庭自动化和监控 20

2.1.8 可穿戴设备 20

2.1.9 传感器类型 20

2.2 有关网络的基础知识 21

2.3 物联网网络连接协议 23

2.3.1 电源受限时的连接协议 23

2.3.2 电源不受限时的连接协议 33

2.4 物联网网络数据消息传递协议 36

2.4.1 MQTT 36

2.4.2 超文本传输协议 44

2.4.3 CoAP 46

2.4.4 DDS 49

2.4.5 DDS的常见用例 51

2.5 分析数据以推断协议和设备特征 52

2.6 小结 54

第3章 云和物联网分析 55

3.1 构建弹性数据分析 56

3.1.1 关于云基础设施 56

3.1.2 弹性分析的概念 58

3.1.3 设计时要考虑最终结果 60

3.2 可扩展设计 60

3.2.1 解耦关键组件 60

3.2.2 封装分析 60

3.2.3 与消息队列解耦 61

3.2.4 分布式计算 63

3.2.5 避免将分析局限在一台服务器上 63

3.2.6 使用一台服务器的恰当时机 63

3.2.7 假设变化一直发生 63

3.2.8 利用托管服务 64

3.2.9 使用应用程序编程接口 64

3.3 云安全和数据分析 66

3.3.1 公钥/私钥 66

3.3.2 公共子网与私有子网 66

3.3.3 访问限制 66

3.3.4 保护客户数据的安全 67

3.4 AWS概述 67

3.4.1 AWS关键概念 69

3.4.2 AWS关键核心服务 70

3.4.3 用于物联网分析的AWS关键服务 74

3.5 Microsoft Azure概述 76

3.5.1 Azure数据湖存储 76

3.5.2 Azure分析服务 77

3.5.3 HDInsight 78

3.5.4 R服务器选项 78

3.6 ThingWorx概述 79

3.6.1 ThingWorx Core 80

3.6.2 ThingWorx Connection Services 80

3.6.3 ThingWorx Edge 81

3.6.4 ThingWorx概念 82

3.7 小结 84

第4章 创建AWS云分析环境 85

4.1 AWS CloudFormation概述 85

4.2 AWS虚拟私有云设置 87

4.2.1 为NAT和Bastion实例创建密钥对 88

4.2.2 创建S3存储桶来存储数据 90

4.3 为物联网分析创建VPC 91

4.3.1 关于NAT网关 92

4.3.2 关于Bastion主机 92

4.3.3 关于VPC架构 93

4.3.4 VPC创建演练 94

4.4 如何终止和清理环境 102

4.5 小结 105

第5章 收集所有数据的策略和技术 107

5.1 数据处理 108

5.1.1 Amazon Kinesis 108

5.1.2 AWS Lambda 108

5.1.3 AWS Athena 109

5.1.4 AWS物联网平台 110

5.1.5 Microsoft Azure IoT Hub 111

5.2 将大数据技术应用于存储 113

5.2.1 关于Hadoop 113

5.2.2 Hadoop集群架构 116

5.2.3 关于节点 117

5.2.4 节点类型 117

5.2.5 Hadoop分布式文件系统 117

5.2.6 Apache Parquet 119

5.2.7 Avro 122

5.2.8 Hive 123

5.2.9 序列化/反序列化 126

5.2.10 Hadoop MapReduce 126

5.2.11 YARN 127

5.2.12 HBase 128

5.2.13 Amazon DynamoDB 128

5.2.14 Amazon S3 129

5.3 数据处理和Apache Spark 129

5.3.1 关于Apache Spark 129

5.3.2 Apache Spark和大数据分析 130

5.3.3 单机和机器集群的比较 131

5.3.4 使用Apache Spark进行物联网数据处理 132

5.4 数据流 134

5.4.1 流数据分析 134

5.4.2 Lambda架构 135

5.5 处理更改 136

5.6 小结 137

第6章 了解数据—探索物联网数据 139

6.1 探索和可视化数据 140

6.1.1 Tableau概述 140

6.1.2 了解数据质量 142

6.1.3 查看数据 142

6.1.4 数据的完整性 144

6.1.5 数据的有效性 149

6.1.6 评估信息滞后情况 151

6.1.7 代表性 152

6.1.8 基本时间序列分析 152

6.1.9 关于时间序列 152

6.1.10 应用时间序列分析 152

6.1.11 了解数据中的分类 156

6.1.12 引入地理信息分析 156

6.2 寻找可能具有预测价值的特性 157

6.3 使用R语言 158

6.3.1 安装R和RStudio 158

6.3.2 使用R进行统计分析 158

6.4 数据探索初步结果 162

6.5 解决特定行业的分析问题 162

6.5.1 制造业 162

6.5.2 医疗保健 163

6.5.3 零售业 164

6.6 小结 164

第7章 增强数据价值—添加内部和外部数据集 165

7.1 添加内部数据集 166

7.2　添加外部数据集 168

7.2.1　外部数据集—地理 168

7.2.2　外部数据集—人口统计 175

7.2.3　外部数据集—经济 178

7.3　小结 181

第8章 与他人交流—可视化和仪表板 183

8.1 可视化设计中的常见错误 184

8.1.1 避免可视化错误的技巧 185

8.1.2 可视化错误示例 186

8.2 问题分层方法 187

8.2.1 问题分层方法概述 188

8.2.2 开发问题树 189

8.2.3 将所需的数据汇总在一起 192

8.2.4 使视图与问题流保持一致 192

8.3 物联网数据分析的可视化设计 192

8.3.1 使用位置来传达重要性 193

8.3.2 使用颜色突出显示重要数据 193

8.3.3 单一颜色对传达重要信息的影响 193

8.3.4 在视觉效果上保持一致 194

8.3.5 使图表易于解释 195

8.4 使用Tableau创建仪表板 195

8.4.1 仪表板创建演练 195

8.4.2 问题层次结构示例 196

8.4.3 使视图与思维过程保持一致 197

8.4.4 创建单独的视图 198

8.4.5 将视图组装到仪表板中 201

8.5 创建和可视化警报 203

8.5.1 警报设计原则 203

8.5.2 使用Tableau仪表板组织警报 203

8.6 小结 206

第9章 对物联网数据应用地理空间分析 209

9.1 对物联网数据应用地理空间分析的优点 210

9.2 地理空间分析的基础知识 212

9.2.1 欢迎来到空岛 212

9.2.2 坐标参考系统 213

9.2.3 地球并非完美球体 213

9.3 基于向量的方法 216

9.3.1 边界框 217

9.3.2 包含 218

9.3.3 缓冲 219

9.3.4 膨胀和侵蚀 219

9.3.5 简化 221

9.3.6 研究更多基于向量的方法 221

9.4 基于栅格的方法 221

9.5 存储地理空间数据 223

9.5.1 文件格式 223

9.5.2 关系数据库的空间数据扩展 224

9.5.3 在HDFS中存储地理空间数据 225

9.5.4 空间数据索引 225

9.5.5　R树 226

9.6 处理地理空间数据 227

9.6.1 地理空间分析软件 227

9.6.2　PostGIS空间数据函数 230

9.6.3 大数据世界中的地理空间分析 231

9.7 解决污染报告问题 231

9.8 小结 232

第10章 物联网分析和数据科学 235

10.1 机器学习 236

10.1.1 关于机器学习 236

10.1.2 表示 238

10.1.3 评估 238

10.1.4 优化 238

10.1.5 泛化 240

10.2 使用物联网数据进行特征工程 241

10.2.1 处理缺失值 241

10.2.2 居中和缩放 247

10.2.3 时间序列处理 248

10.3 验证方法 249

10.3.1 交叉验证 249

10.3.2 测试集 250

10.3.3 精确率、召回率和特异性 251

10.4 理解偏差-方差权衡 253

10.4.1 偏差 253

10.4.2 方差 254

10.4.3 权衡和复杂性 255

10.5 使用R比较不同的模型 256

10.5.1 ROC曲线 256

10.5.2 曲线下面积 260

10.6 使用R构建随机森林模型 261

10.6.1 随机森林关键概念 261

10.6.2 随机森林R示例 262

10.7 使用R构建梯度提升机模型 264

10.7.1 GBM的关键概念 265

10.7.2 梯度提升机R示例 266

10.7.3 集成方法 267

10.8 使用R进行异常检测 268

10.9 使用ARIMA进行预测 269

10.9.1 关于ARIMA 269

10.9.2 使用R预测时间序列物联网数据 270

10.10 深度学习 271

10.10.1 使用物联网数据进行深度学习的用例 272

10.10.2 深度学习纵览 272

10.10.3 在AWS上设置TensorFlow 274

10.11 小结 274

第11章 组织数据的策略 275

11.1 链接分析数据集 276

11.1.1 分析数据集 276

11.1.2 构建分析数据集 276

11.1.3 将数据集链接在一起 278

11.2 管理数据湖 281

11.2.1 防止数据湖变成数据沼泽 281

11.2.2 数据提炼 281

11.2.3 数据开发过程 282

11.3 数据保留策略 283

11.3.1 目标 284

11.3.2 物联网数据的保留策略 284

11.3.3　保留策略示例 286

11.4 小结 287

第12章 物联网分析的经济意义 289

12.1 云计算的经济意义 290

12.1.1 可变成本与固定成本 290

12.1.2 退出选项 291

12.1.3 云成本可能会迅速上升 292

12.1.4 密切监控云计费 292

12.2 开源软件的经济意义 292

12.2.1 知识产权考虑 292

12.2.2 可扩展性 293

12.2.3 技术支持 294

12.3 物联网分析的成本考虑 294

12.3.1 云服务成本 294

12.3.2 考虑未来使用需求 294

12.4 考虑增加收入的机会 294

12.4.1 对当前业务的拓展 295

12.4.2 新的收入机会 295

12.5 预测性维护的经济意义示例 297

12.5.1 预测性维护的现实情境 297

12.5.2 价值公式 297

12.5.3 价值决策示例 298

12.6 小结 305

第13章 总结和建议 307

13.1 本书关键主题回顾 307

13.1.1 物联网数据流 308

13.1.2 物联网探索性分析 309

13.1.3 物联网数据科学 310

13.1.4 通过物联网分析增加收入 311

13.2 示例挑战项目 312

13.3 小结 313

我们该如何理解物联网设备生成的大量数据？在接收数据之后，又该如何从中找到赚钱的方法？这一切都不会自行发生，但绝对有可能做到。本书展示的就是如何将一堆纷繁杂乱、难以理解的数据转变为高价值的分析结果。

我们将从处理数据这一复杂的任务开始。在用于分析之前，物联网数据往往都有复杂的流动路径，生成的数据通常也是混乱的，并且存在大量缺失值。但是，在经过清洗处理并采用可视化和统计建模等技术之后，我们很可能发现一些有价值的模式。本书将深入讨论如何使用多种分析技术从物联网大数据中提取价值。

我们还将阐释物联网设备如何生成数据，以及信息如何通过网络传播。本书将涵盖主要的物联网通信协议。云资源非常适合物联网分析，因为它易于更改容量，并且可以将数十种云服务纳入分析流程。我们将详细介绍Amazon Web Services、Microsoft Azure和PTC（parametric technology corporation）公司的ThingWorx平台，读者将了解如何创建一个安全的云环境，以在其中存储数据、利用大数据工具和应用数据科学技术。

本书还介绍采集和存储数据的策略，讨论处理数据质量问题的策略，演示如何使用Tableau快速可视化和探索物联网数据。

将物联网数据与外部数据集（例如人口统计、经济和位置来源等数据）相结合，可以增强在数据中发现价值的能力。我们介绍这些数据的若干个有用来源，以及如何使用每个来源提高物联网分析能力。

与在数据中发现价值同样重要的是如何将分析结果有效地传达给他人。读者将学习到如何使用Tableau创建有效的仪表板和视觉效果。此外，本书还介绍快速实现警报系统以获得日常运营价值的方法。

地理空间分析也是利用位置信息的一种方式。本书涵盖使用Python代码进行地理空间处理的示例。将物联网数据与环境数据相结合可增强预测能力。

本书还阐释数据科学中的关键概念以及如何将它们应用于物联网分析。读者将学习如何使用R实现一些机器学习示例。我们还将讨论物联网分析的经济意义以及增加业务价值的方法。

除上述内容外，读者还将从本书了解到如何处理数据存储和分析的规模，如何利用Apache Spark处理可扩展性，以及如何使用R和Python进行分析建模等。

内容介绍

本书共分13章，具体内容如下。

第1章“物联网分析和挑战”，出于本书讨论的需要，定义了物联网的构成、术语“分析”的含义和受限的概念等。本章还讨论物联网数据带来的特殊挑战，从大数据量到时间和空间相关问题，这些问题通常与公司内部数据集无关。读者将清晰地了解本书讨论的范围以及在后面章节的学习中需要克服的挑战。

第2章“物联网设备和网络协议”，深入介绍各种物联网设备和网络协议。读者将了解设备的使用范围和用例。我们还将讨论各种网络协议以及它们试图解决的业务需求。到本章结束时，读者将对主要类别的设备和网络协议策略有所了解，并开始学习如何从结果数据中识别设备和网络协议的特征。

第3章“云和物联网分析”，讨论基于云的基础架构在处理和分析物联网数据方面的优势。我们介绍各种云服务，包括AWS、Azure和ThingWorx等。读者将学习如何灵活地实施分析以实现各种功能。

第4章“创建AWS云分析环境”，提供有关创建AWS环境的分步演练。该环境专门针对数据分析。除了屏幕截图和设置说明，我们还将解释操作原理。

第5章“收集所有数据的策略和技术”，讨论收集物联网数据以实现分析的策略。读者将了解流式处理和批处理之间的权衡，学习如何构建数据存储的灵活性，以允许将未来的分析与数据处理集成在一起。

第6章“了解数据—探索物联网数据”，重点介绍物联网数据的探索性数据分析。读者将了解如何提出和回答有关数据的问题。本章涵盖Tableau和R示例。读者将掌握快速理解数据意义和价值的策略。

第7章“增强数据价值—添加内部和外部数据集”，介绍如何通过向物联网数据中添加额外的数据集来显著提高其价值，这些数据集可以来自内部和外部数据源。读者将学习如何寻找有价值的数据集并将它们与物联网数据结合起来以增强未来的分析能力。

第8章“与他人交流—可视化和仪表板”，讨论如何为物联网数据设计有效的可视化和仪表板。读者将学习如何利用它们对数据的了解并以易于理解的方式进行传达。本章还介绍创建和可视化警报操作。

第9章“对物联网数据应用地理空间分析”，重点介绍如何将地理空间分析应用于物联网数据。物联网设备在部署时通常具有不同的地理位置，有时甚至是移动的地理位置。这创造了通过应用地理空间分析来提取价值的机会。读者将学习如何为物联网分析实现这一点。

第10章“物联网分析和数据科学”，描述机器学习、深度学习和使用ARIMA对物联网数据进行预测的数据科学技术。读者将了解机器学习的核心概念，学习如何使用R语言对物联网数据实施机器学习方法和ARIMA预测。此外，本章还介绍深度学习以及开始在AWS上进行试验的方法。

第11章“组织数据的策略”，重点讨论如何有效地组织数据，以使数据科学家能够更轻松地提取其中的价值。本章介绍链接分析数据集的概念，读者将学习如何平衡数据的可维护性和数据科学家的工作效率。

第12章“物联网分析的经济意义”，讨论为物联网分析项目创建商业案例的经济意义。本章介绍通过最小化成本和增加收入流机会来优化投资回报的方法。读者将在预测性维护示例中学习如何应用分析来最大化价值。

第13章“总结和建议”，对本书内容进行简要回顾，并提供一些关于如何从物联网分析中获得最大价值的建议。

本书需要的软件包

本书将指导读者从物联网分析中获得最大价值，并提供一些操作示例。读者需要安装R和RStudio、Tableau和Python才能有效运行本书中的代码示例。

本书读者

本书适用于目前正在努力探索如何利用物联网数据创造价值或正在考虑在不久的将来建立这种能力的专业人士，包括应用程序开发人员、数据分析从业者、数据科学家和一般的物联网爱好者。

本书对正在研究物联网商业机遇的企业高管和经理也很有用，适合任何想要了解从海量数据中提取价值所需技术和一般策略的人。

如果读者希望了解物联网数据流的组成部分（这包括对设备和传感器、网络协议和数据采集技术的基本了解），或者希望了解数据存储的处理选项和策略，那么可以选择本书。除此之外，读者还可以从本书中寻找到可用于从物联网大数据中提取价值的分析技术。

最后，如果读者正在寻找明确的策略来建立强大的分析能力，目标是使用物联网大数据集最大化业务价值，以最佳方式利用从简单的可视化到机器学习预测模型的所有级别的分析，那么本书非常适合。

有关物联网的先验知识对阅读本书会有所帮助，但并不是必需的。当然，如果读者有一些编程经验，那会很有用。

下载示例代码文件

读者可以从www.packtpub.com下载本书的示例代码文件。具体步骤如下。

（1）登录或注册www.packtpub.com。

（2）在Search（搜索）框中输入本书名称Analytics for the Internet of Things (IoT)的一部分（不分区大小写，并且不必输入完全），即可看到本书出现在推荐下拉菜单中，如 图1所示。

图1 搜索书名

（3）单击Analytics for the Internet of Things (IoT)，在其详细信息页面中单击Download code from GitHub（从GitHub下载代码）按钮，如图2所示。需要说明的是，读者需要登录此网站才能看到该下载按钮（注册账号是免费的）。

图2 详细信息页面

本书代码包在GitHub上的托管地址如下。

https://github.com/prachiss/Analytics-for-the-Internet-of-Things-IoT

在该页面上，单击Code（代码）按钮，然后选择Download ZIP即可下载本书代码包，如图3所示。

如果代码有更新，则也会在现有GitHub存储库上更新。

下载文件后，请确保使用下列软件的最新版本解压或析取文件夹中的内容。

? WinRAR/7-Zip（Windows系统）。

? Zipeg/iZip/UnRarX（Mac系统）。

? 7-Zip/PeaZip（Linux系统）。

图3 下载代码包

下载彩色图像

我们还提供了一个PDF文件，包含本书使用的屏幕截图/图表的彩色图像。读者可以通过以下网址下载。

https://www.packtpub.com/sites/default/files/downloads/AnalyticsfortheInternetofThings(IoT)_ ColorImages.pdf

本书约定

本书使用了以下文本约定。

（1）有关代码块的设置如下所示。

IF SUM([Amount of Precipitation (inches)]) >= 0.2 THEN

"Yes"

ELSE

"No"

END

（2）任何命令行输入或输出都采用如下所示的粗体代码形式。

hdfs dfs -putlots_o_data.csv /user/hadoop/datafolder/lots_o_data.csv

（3）术语或重要单词采用中英文对照形式给出，在括号内保留其英文原文。示例如下。

简而言之，AWS CloudFormation是一种基础设施即代码（infrastructure as code，IaC）。所谓“基础设施即代码”，就是以代码来定义环境，从而实现开发环境、测试环境、生产环境的标准化。

（4）对于界面词汇则保留其英文原文，在后面使用括号添加其中文译名。示例如下。

单击Create（创建）按钮后，即可下载扩展名为 .pem 的密钥对文件（即 vpc_keypair.pem）。请确保知道文件的保存位置，现在也是将其移动到用户想要保存的安全位置的好时机。此时控制台屏幕将对其进行更新，可以看到列出的新密钥对。

（5）本书还使用了以下两个图标。

表示警告或重要的注意事项。

表示提示或小技巧。