本篇主要提供Hadoop应用开发基础电子书的pdf版本下载,本电子书下载方式为百度网盘方式,点击以上按钮下单完成后即会通过邮件和网页的方式发货,有问题请联系邮箱ebook666@outlook.com
Hadoop是一个分布式系统的基础架构,支持对
大量数据进行分布式处理,能以高效、可靠的方式
完成数据处理。本书围绕Hadoop生态圈技术进行讲
解,主要包括Hadoop环境配置、Hadoop分布式文件
系统(HDFS)、Hadoop分布式计算框架MapReduce、
Hadoop资源调度框架YARN与Hadoop新特性、Hadoop
分布式数据库HBase、Oozie工作流调度系统等内容
。
刘雯、王文兵主编的《Hadoop应用开发基础(新
技术技能人才培养系列教程)》以Linux操作系统为
平台,紧密结合实际应用,贯穿了大量实践案例。
另外,本书配以多元的学习资源和平台服务,包括
参考教案、案例素材下载、学习交流社区等,为读
者提供 的学习体验。通过系统地学习本书内
容和操作实践,读者可以掌握大数据相关技能。
本书适合作为高等学校计算机专业大数据等相
关课程的教材使用,也适合具有一定Linux、Java开
发经验且想从事大数据开发工作的人员自学使用,
还适合作为大数据分析与运维人员的参考用书。
第1章 Hadoop入门
任务1 了解大数据现状
1.1.1 大数据基本概念和特征
1.1.2 大数据带来的机遇和挑战
任务2 了解Hadoop基础
1.2.1 Hadoop概述
1.2.2 Hadoop生态圈
1.2.3 Hadoop应用案例
任务3 搭建移动通信业务的Hadoop处理平台
1.3.1 安装虚拟机
1.3.2 安装Linux操作系统
1.3.3 搭建移动通信业务的Hadoop处理平台
1.3.4 大数据集群管理平台
1.3.5 技能实训
本章总结
本章作业
第2章 Hadoop分布式文件系统HDFS
任务1 了解HDFS
2.1.1 认识HDFS
2.1.2 HDFS架构
任务2 使用HDFS处理移动通信数据文件
2.2.1 使用HDFS shell操作完成移动通信数据的管理
2.2.2 使用Java API操作完成移动通信数据的管理
2.2.3 技能实训
任务3 了解HDFS运行原理
2.3.1 HDFS读写流程
2.3.2 HDFS副本机制
2.3.3 HDFS负载均衡
2.3.4 HDFS机架感知
任务4 实现移动通信数据的行文件方式存储
2.4.1 Hadoop序列化机制
2.4.2 文件格式
2.4.3 技能实训
本章总结
本章作业
第3章 Hadoop分布式计算框架MapReduce
任务1 使用MapReduce完成词频统计功能
3.1.1 MapReduce基础
3.1.2 MapReduce编程模型
3.1.3 MapReduce词频统计编程实例
3.1.4 技能实训
任务2 按号段统计手机号码
3.2.1 MapReduce输入/输出格式
3.2.2 Combiner类
3.2.3 Partitioner类
3.2.4 Shuffle阶段
3.2.5 自定义RecordReader
3.2.6 技能实训
任务3 使用MapReduce编写应用案例
3.3.1 使用MapReduce实现join操作