案例驱动的大数据原理技术及应用 pdf下载

　　《案例驱动的大数据原理技术及应用》从大数据的定义、特征、关键技术及其平台和主要应用出发，密切结合相关案例，揭示了案例对于大数据的驱动关系。针对这一关系，书中分别介绍了Spark系统和编程方式，大数据分析基础算法和实例，面向大数据的流数据分析算法和实例、图算法和实例，大数据应用编程案例，基于时间序列数据的预测等内容。
　　《案例驱动的大数据原理技术及应用》可作为计算机专业的教材，也可作为计算机工作者、爱好者的学习参考用书。

第1章 大数据基本概念
1．1 大数据的定义与特征
1．2 大数据的关键技术
1．3 主流的大数据平台
1．4 大数据的主要应用
1．5 本章小结
1．6 习题

第2章 Spark系统与编程简介
2．1 Spark概述
2．2 Spark系统架构及运行模式
2．3 Spark系统安装
2．4 Python编程基础
2．5 Spark的编程方式
2．6 Spark的监控管理
2．7 Spark RDD
2．8 编程的基本步骤
2．9 本章小结
2．10 习题

第3章 大数据分析基础算法与实例
3．1 大数据分析概述
3．2 Spark基础算法
3．3 实例：词频统计
3．4 实例：圆周率的计算
3．5 本章小结
3．6 习题
附录

第4章 面向大数据的机器学习算法与实例
4．1 机器学习简介
4．2 Spark M Llib介绍
4．3 机器学习应用实例
4．4 本章小结
4．5 习题

第5章 面向大数据的流数据分析算法与实例
5．1 Spark Streaming简介
5．2 spark streaming架构
5．3 Spark Streaming运行原理
5．4 spark streaming实例
5．5 容错、持久化和性能优化
5．6 本章小结
5．7 习题

第6章 面向大数据的图算法与实例
6．1 图的基本概念
6．2 图计算的同步机制
6．3 GraphFrames安装和基础使用
6．5 最短路径算法及实例
6．6 网页排名
6．7 本章小结
6．8 习题

第7章 大数据应用编程案例
7．1 基于遥感数据的海冰/雪检测
7．2 基于时间序列数据的预测
7．3 本章小结
7．4 习题

参考文献

　　《案例驱动的大数据原理技术及应用》：
　　4.电信行业
　　电信与媒体市场调研公司（Informa Telecoms & Media）在2013年的调查结果显示，全球120家运营商中约有48%的运营商正在实施大数据业务。该调研公司表示，大数据业务成本平均占到运营商总IT预算的10%，并且在未来五年内将升至23%左右，成为运营商的一项战略性优势。可见，由流量经营进入大数据运营已成为大势所趋。
　　电信运营商拥有多年的数据积累，拥有诸如财务收入、业务发展量等结构化数据，也会涉及图片、文本、音频、视频等非结构化数据。从数据来源看，电信运营商的数据来自涉及移动语音、固定电话、固网接入和无线上网等所有业务，也会涉及公众客户、政企客户和家庭客户，同时也会收集到实体渠道、电子渠道、直销渠道等所有类型渠道的接触信息。整体来看，电信运营商大数据发展仍处在探索阶段。
　　目前国内运营商运用大数据主要有五方面：
　　（1）网络管理和优化。此方向包括对基础设施建设的优化和网络运营管理及优化。利用大数据实现基站和热点的选址以及资源的分配。运营商可以通过分析话单和信令中用户的流量在时间周期和位置特征方面的分布，对2G、3G的高流量区域设计4G基站和WLAN热点；同时，运营商还可以对建立评估模型对已有基站的效率和成本进行评估，发现基站建设的资源浪费问题，如某些地区为了完成基站建设指标将基站建设在人迹罕至的地方等。在网络运营层面，运营商可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率。
　　利用大数据技术实时采集处理网络信令数据，监控网络状况，识别价值小区和业务热点小区，更精准的指导网络优化，实现网络、应用和用户的智能指配。由于用户群的不同，不同小区对运营商的贡献也不同。运营商可以将小区的数据进行多维度数据综合分析，通过对小区VIP用户分布，收入分布，及相关的分布模型得到不同小区的价值，再和网络质量分析结合起来，两者叠加一起，就有可能发现某个小区价值高，但是网络覆盖需要进一步提升，进而先设定网络优化的优先级，提高投资效率。
　　德国电信建立预测城市里面的各区域无线资源占用模型，根据预测结果，灵活的提前配置无线资源，如在白天给CBD地区多分配无线资源，在晚上，则给酒吧地区多分配无线资源，使得无线网络的运行效率和利用率更高。法国电信通过分析发现某段网络上的掉话率持续过高，借助大数据手段诊断出通话中断产生的原因是网络负荷过重造成，并根据分析结果优化网络布局，为客户提供了更好的体验，获得了更多的客户以及业务增长。
　　（2）市场与精准营销。客户画像：运营商可以基于客户终端信息、位置信息、通话行为、手机上网行为轨迹等丰富的数据，为每个客户打上人口统计学特征、消费行为、上网行为和兴趣爱好标签，并借助数据挖掘技术（如分类、聚类、RFM等）进行客户分群，完善客户的360度画像，帮助运营商深入了解客户行为偏好和需求特征。
　　关系链研究：运营商可以通过分析客户通讯录、通话行为、网络社交行以及客户资料等数据，开展交往圈分析。尤其是利用各种联系记录形成社交网络来丰富对用户的洞察，并进一步利用图挖掘的方法来发现各种圈子，发现圈子中的关键人员，以及识别家庭和政企客户；或者分析社交圈子寻找营销机会。例如在一个行为同质化圈子里面，如果这个圈子大多数为高流量用户，并在这个圈子中发现异网的用户，我们可以推测该用户也是高流量的情况，便可以通过营销的活动把异网高流量的用户引导到自己的网络上，对其推广4G套餐，提升营销转化率。总之，我们可以利用社交圈子提高营销效率，改进服务，低成本扩大产品的影响力。
　　精准营销和实时营销：运营商在客户画像的基础上对客户特征的深入理解，建立客户与业务、资费套餐、终端类型、在用网络的精准匹配，并在推送渠道、推送时机、推送方式上满足客户的需求，实现精准营销。如我们可以利用大数据分析用户的终端偏好和消费能力，预测用户的换机时间尤其是合约机到期时间，并捕捉用户最近的特征事件，从而预测用户购买终端的真正需求，通过短信、呼叫中心、营业厅等多种渠道推送相关的营销信息到用户手中。个性化推荐：利用客户画像信息、客户终端信息、客户行为习惯偏好等，运营商可以为客户提供定制化的服务，优化产品、流量套餐和定价机制，实现个性化营销和服务，提升客户体验与感知；或者在应用商城实现个性化推荐，在电商平台实现个性化推荐，在社交网络推荐感兴趣的好友。
　　（3）客户关系管理。客服中心优化：客服中心是运营商和客户接触较为频繁的通道，因此客服中心拥有大量的客户呼叫行为和需求数据。可以利用大数据技术可以深入分析客服热线呼入客户的行为特征、选择路径、等候时长，并关联客户历史接触信息、客户套餐消费情况、客户人口统计学特征、客户机型等数据，建立客服热线智能路径模型，预测下次客户呼入的需求、投诉风险以及相应的路径和节点，这样便可缩短客服呼入处理时间，识别投诉风险，有助于提升客服满意度；另外，也可以通过语义分析，对客服热线的问题进行分类，识别热点问题和客户情绪，对于发生量较大且严重的问题，要及时预警相关部门进行优化。
　　客户关怀与客户生命周期管理：包括新客户获取、客户成长、客户成熟、客户衰退和客户离开等五个阶段的管理。在客户获取阶段，我们可以通过算法挖掘和发现高潜客户；在客户成长阶段，通过关联规则等算法进行交叉销售，提升客户人均消费额；在客户成熟期，可以通过大数据方法进行客户分群（RFM、聚类等）并进行精准推荐，同时对不同客户实时忠诚计划；在客户衰退期，需要进行流失预警，提前发现高流失风险客户，并作相应的客户关怀；在客户离开阶段，我们可以通过大数据挖掘高潜回流客户。国内外运营商在客户生命周期管理方面应用的案例都比较多。如SK电讯新成立一家公司SKPlanet，专门处理与大数据相关的业务，通过分析用户的使用行为，在用户做出离开决定之前，推出符合用户兴趣的业务，防止用户流失；而T-Mobile通过集成数据综合分析客户流失的原因，在一个季度内将流失率减半。
　　……

　　在构思一套新的计算机科学技术系列教材时，会有很多考虑。其一，计算机科学提供了一个系统建模、问题求解的新模式。计算机专业的本科毕业生应熟练地将计算思维用于问题求解，因此，一套计算机科学技术系列教材也应将计算思维系统地贯穿于整套教材的编写。其二，计算技术在推动社会、科技高速发展的同时，其自身也经历着从以计算为中心到以数据和交互为中心的范式转变。计算机专业的本科毕业生若能了解有关数据获取，存储，分析，利用的基本方法、技术、工具，定能在其择业和职业发展中拥有更多的机会，一套面向这一专业需求、围绕数据思维设计的计算机科学技术系列教材就会受到广大师生的欢迎。其三，在一个更加基础的层面，一套新的计算机科学技术系列教材应在重新审视本学科核心理论的基础上，在分析数据科学、人工智能、密码与信息安全、计算经济学、甚至量子计算等交叉学科的基础上，为本专业提供一个理论和数学基础课程设计，以反应计算机学科及其交叉学科对算法、计算复杂性、概率与统计、线性代数、矩阵分析、高等代数、组合数学、博弈论等数学分支的依赖。
　　计算能力的提高不仅在加大计算机科学技术影响力的广度，还在加速其影响力的深度。计算机教育界目前进行的“计算机+X”和“X+计算机”的讨论旨在推动计算机专业建设，并及时反应这一影响的广度和深度。我认为这一切都源于一个广为接受的事实：计算机科学与技术是继科学实验和数学之后，推动人类社会和科技进步的第三股力量。正如科学实验为自然科学提供了研究手段，数学为工程提供了建模方法，概率与统计为经济学提供了工具，计算机科学与技术为自然科学、工程、经济学提供了全新的研究手段、建模方法和工具。从一个高等教育工作者的角度看，这第三股力量驱动着老学科的改造和新专业的诞生。