大数据体系结构及关键技术研究 pdf下载

　　基于大数据时代的到来以及大数据技术的发展，《大数据体系结构及关键技术研究》对大数据的体系结构及关键技术进行了系统的探究。《大数据体系结构及关键技术研究》主要从四个方向进行阐述，一个方向：大数据与云计算关系密切，因此，《大数据体系结构及关键技术研究》揭示了二者的关系；二个方向：构建了大数据体系结构，本书认为大数据体系结构应包括数据的生成与采集、数据存储、数据分析；三个方向：本书对大数据处理技术、应用技术、安全技术这些大数据的关键技术进行了全面的分析；四个方向：鉴于当前的大数据环境，《大数据体系结构及关键技术研究》给出了大数据处理的建议。

,出生于1981年05月17日，重庆涪陵人。本科，中级职称。毕业于西南师范大学，现任职于重庆电子工程职业学院。主要研究方向为计算机技术、多媒体技术、电子技术等。发表科研教改论文十余篇，其中北大核心2篇，EI、ISTP收录3篇，参加省级课题多项等。

上篇 大数据与云计算
第一章 大数据概述
第一节 大数据的定义与特征
第二节 大数据的数据类型
第三节 大数据发展概况
第四节 大数据应用
第二章 大数据基础——云计算
第一节 云计算概述
第二节 云计算体系架构及主要技术
第三节 云计算实施
第四节 云计算与大数据的关系

中篇 大数据体系结构
第三章 数据的生成与采集
第一节 数据生成
第二节 数据获取
第三节 数据传输
第四节 数据预处理
第四章 数据存储
第一节 大数据存储面临的问题与未来
第二节 大数据与存储架构的整合
第三节 数据存储方案及方式
第四节 分布式存储服务
第五章 数据分析
第一节 大数据分析概述
第二节 大数据分析方法
第三节 大数据分析实践

下篇 大数据关键技术
第六章 大数据处理技术
第一节 大数据处理存在的问题及解决方案
第二节 数据挖掘技术
第三节 流处理
第七章 大数据应用技术
第一节 MapReduce
第二节 大数据获取技术
第三节 大数据分析技术
第四节 大数据的可视化
第八章 大数据安全技术
第一节 大数据时代的安全风险与应对策略
第二节 大数据安全保障技术
第三节 大数据安全应用技术
第九章 大数据治理
第一节 大数据治理概述
第二节 大数据治理框架
第三节 大数据治理准则
第四节 大数据质量管理
第五节 大数据隐私保护
参考文献

　　《大数据体系结构及关键技术研究》：
　　第四节 大数据应用
　　大数据的到来给我们带来了海量信息，这些海量信息催生了新的应用，而大数据带来的新应用又产生了更多的数据，数据与应用就这样相互缠绕着，周而复始地迭代发展，以至于我们已经难以分辨，究竟是数据催生了应用，还是应用催生了数据。
　　一、大数据催生新的应用
　　大数据的到来，使得企业应用有了挑战新的应用领域的能力，企业在意识到自己收集的数据有巨大价值之后，纷纷开拓新的业务应用。
　　（一）以推荐系统为基础的应用
　　现在大部分的推荐系统都是基于内容的系统或者基于协同过滤的系统。基于内容的系统是根据大数据分析用户行为特征，以此来衡量用户的兴趣倾向并向用户推荐具有相似特征的内容。根据用户的行为数据如用户基本信息、用户交易记录以及用户购买过程等数据，来进行用户行为的相似度分析，为用户推荐产品，包括浏览这一产品的用户还浏览了哪些产品、购买这一产品的用户还购买了哪些产品等。基于内容的推荐系统最先应用的是亚马逊，这一应用为亚马逊增加了近1/3的盈利。
　　基于协同过滤的系统是根据有相似兴趣的人群来对行为特征进行分析，并据此对用户推荐感兴趣的信息。这一推荐系统主要是基于用户社交行为的分析，通过对用户在微博、微信等社区的关注，兴趣等特征数据分析，为用户推荐感兴趣的、用户所处社交圈流行的、推荐给他朋友的，甚至是具有相似特征的同一类人购买的产品。目前基于协同过滤的推荐系统除了在电子商务公司应用比较广泛之外，互联网金融企业也根据类似用户推荐感兴趣的理财产品。
　　（二）预测方面的应用
　　预测应用是通过揭示客观事实、未来发展的趋势和规律，来帮助管理者根据不同环境进行决策制定。利用数据挖掘技术对众多的变量进行筛选，挑选出特定情形下最适合的预测变量或变量组合，并运用机器学习等方法对变量大小进行自适性调整。另外，很多预测应用都带有风险与敏感性评估，以便决策者能够快速知晓重要性决策影响因素。
　　目前，大数据预测已经应用于以下情形，包括基于社区热点的趋势预测、基于客户异常行为的客户流失预测、基于员工特定心理行为的员工绩效预测和基于时间敏感度的商品价值预测等。同时，大数据预测已经开始慢慢在各行各业中崭露头角。
　　（三）预警方面的应用
　　预警应用是通过大数据挖掘技术识别异常行为，在危机发生之前对组织进行预测报警，广义地说，预警应用是组织的一种信息反馈机制。预警大都是实时监控某一活动数据，而且随着网络数据、传感器数据等琐碎数据不断增加，预警分析的情形涉及数百甚至数千个业务维度，大数据的深入发展使得这一方面应用越来越精准。
　　预警应用源于军事，但随着社会发展的需要，预警应用越来越多的应用于经济、教育、医疗等社会领域。例如，持续监视金融交易，以识别出那些可能存在诈骗的行为，这种预警一般应用于信用卡、活期存款以及保险理赔等方面；或者持续监控传感器和RFID等数据，以识别产品实际运行超出标准线的情形。
　　（四）基于归因的应用
　　基于归因的应用是针对某一特定事件对整个事务的影响作用。现在各个行业的业务维度越来越复杂，事务流程越来越多，对于每一环节所起到的效果与价值很难评定。大数据技术使得这一应用范围越来越广泛。医疗卫生组织可以使用大数据判断不同治疗和药物在某种临床试验中的效果；市场营销者可以凭借大数据分析某个特定的营销环节在多渠道营销中起到的作用。
　　以上几点简单列举了目前大数据的新应用需求。随着大数据研究的不断深入，人们在各行各业都有能力开拓业务领域，大数据应用的范围与深度会越来越大。
　　二、大数据应用流程
　　大数据的来源非常广泛，但一般来说，大数据的基本处理流程大都是一致的。大数据处理的一般流程分为数据生成、数据采集、数据分析、数据利用四个阶段。
　　（一）数据生成
　　对于企业而言，在日常经营管理中，企业内部各个业务信息系统中会产生大量的结构化数据；同时，在企业的视频监控、产品内置传感器、门户网站以及各种APP中会产生各种各样的非结构化数据。这些结构化、非结构化以及半结构化数据共同构成了企业内部数据。同时，大量行业网站、电子商务交易平台、电子采购平台，甚至外部各种传感器数据、社区网站数据等构成了丰富的企业外部数据。这些内部数据与外部数据共同创造了企业大数据应用的数据源。
　　另外，人们生活中数字化的驱动，各种智能化设备的出现、社交网站的繁荣发展，造成了生活中数据源的大爆炸。大量数据源的存在是大数据应用的基础，是大数据应用中发现潜在价值的源头，没有这些数据源的存在，大数据应用就是无源之水。
　　……

　　信息技术的产生推进了人类文明的进步，人类开始进入信息时代。信息技术改变了我们的教学方式与学习方式，同时也改变了我们的生活。我们每天都会频繁地使用网络、电脑以及智能手机，在使用它们的过程中无时无刻不产生数据。虽然数据一直存在于我们的生活中，但是，大多数人只是产生和应用数据，对数据并没有特别多的认识与了解。其实，就现代人所产生的数据量而言，它们已经不能被单纯地被称之为数据，而是可以被称之为“大数据”了。大数据容量大、类型多种多样并且存取速度快，正是这些特征为大数据技术的应用奠定了基础。大数据在这个信息时代扮演着重要的角色。因此，各国纷纷开始进行大数据战略计划的制定与实施，不断建设大数据基础设施，不断推动大数据技术的更新，不断推进大数据技术的应用。
　　探索大数据技术应用的前提就是要掌握大数据的体系结构及关键技术。因此，很多研究者开始尝试并完善构建大数据的体系结构，从最基本的结构出发，探究大数据的奥秘。还有一些学者拨开中国大数据技术的迷雾，对几种比较关键的技术进行了重点探索，并且已经取得了一些可喜的成果。本书就是大数据最新研究成果及教学经验的结晶。本书分为三篇，上篇主要是从大数据与云计算的关系中揭示大数据的相关内容，中篇主要是从大数据的具体体系结构人手深入解剖大数据的框架，下篇主要是从大数据处理、存储、应用技术方面对大数据的关键技术进行分析与总结。这三篇内容层层推进，不仅有利于一般读者的阅读，而且也有利于大数据学习者的学习。
　　本书主要呈现出以下三个比较显著的特点：
　　第一，总结性与创新性。本书是在总结大数据相关研究资料的基础上形成的，摆脱了传统大数据书籍的零碎性，从体系结构的角度对大数据的结构框架进行了总结。这种总结虽然并不是作者的首创之举，但是，该部分内容融汇了作者的教学经验及想法，因此又具有一定的创新性。
　　第二，延展性。本书除了对大数据的体系结构及关键技术进行了重点论述外，还特别对大数据的其他内容进行了简要的介绍。当今社会，人们被无数的数据所包围，这些数据难免会有一些不良的或者有害的信息，这些信息无处不在，总会在不经意间对人产生消极的影响。因此，本书对大数据安全技术也进行了格外解读，揭示了大数据时代我们面临的安全风险，并根据这些安全风险，提出了一些可行的解决策略。当然，大数据的安全保障体系中，安全技术是基础，本书还详细分析了大数据安全保障技术及应用技术。
　　第三，理论与实践相结合。本书在介绍大数据关键技术时，不仅在理论部分进行了严谨的论述，而且为了使读者能够更清晰地理解这些复杂的技术，本书还辅以一些直观的案例。因为理论固然重要，但是没有实践的检验，终究只能是一潭死水，掀不起一丝应用的涟漪。
　　作者在写作过程中参阅了许多大数据的资料，对大数据的知识进行了系统的梳理，有选择地将一些知识纳入其中，在此，作者要向这些资料的作者表示深深的感谢！由于作者水平有限，书中的观点难免会有一些不当之处，恳请各位同行与专家批评指正。
　　李斌
　　2019年1月