实战大数据 pdf下载

　　“数据是重要资产”已成为大家的共识，众多公司都在争相分析、挖掘大数据背后的信息资源。《实战大数据》在此背景下，对目前大数据及其相关技术的发展进行总结，理论联系实践，既不缺乏理论深度又具有实用价值。
　　《实战大数据》共12章，内容包括大数据的概念、特点、发展历史，数据获取与存储，数据抽取和清洗，数据集成，数据的查询、分析与建模，异构数据采集，文档的存储与检索，异种数据的统一访问与转换，基于微博的股票市场预测系统实例，海量视频检索系统实例，HDFS云文件系统实例。
　　《实战大数据》适合大数据技术初学者、大数据从业人员和研究人员，也可以作为高等院校相关专业师生的教学参考书。

　　鲍亮，西安电子科技大学博士，西安电子科技大学副教授。主要研究方向为软件工程、软件体系结构和云计算等，主持并完成国家自然科学基金、国防预研等多项课题，发表学术论文30余篇、专著2本。

第一篇 大数据基础篇
第1章 大数据介绍
1.1 大数据相关概念
1.1.1 大数据的历史
1.1.2 大数据的定义
1.2 大数据研究内容
1.3 人数据研究现状
1.3.1 学术界现状
1.3.2 产业界现状
1.3.3 政府机构现状
1.4 大数据的应用领域
1.4.1 大数据在制造业的应用
1.4.2 大数据在服务业的应用
1.4.3 大数据在交通行业的应用
1.4.4 大数据在医疗行业的应用
1.5 本章小结

第2章 数据存储技术
2.1 数据存储技术介绍
2.2 数据采集与存储技术研究现状
2.2.1 传统关系型数据库
2.2.2 新兴数据存储系统
2.3 海量数据存储的关键技术分析
2.3.1 数据划分
2.3.2 数据一致性与可用性
2.3.3 负载均衡
2.3.4 容错机制
2.3.5 海量数据存储的硬件支持
2.4 数据存储技术的实现与工具
2.4.1 集中式数据存储管理系统Bigtable
2.4.2 非集中式的大规模数据管理系统Dynamo
2.4.3 BigTable的开源实现HBase
2.4.4 MongoDB
2.4.5 CouchDB
2.4.6 Redis
2.4.7 Hypertabie
2.4.8 其他开源NoSQL数据库
2.5 本章小结

第3章 数据抽取和清洗
3.1 数据抽取和清洗技术介绍
3.1.1 数据抽取简介
3.1.2 数据清洗简介
3.2 数据抽取和清洗研究现状
3.3 数据抽取技术的实现
3.3.1 Web数据抽取
3.3.2 非结构化数据抽取
3.3.3 基于云计算的海量数据分析
3.4 数据清洗技术的实现
3.4.1 数据清洗流程
3.4.2 数据清洗框架
3.4.3 数据清洗相关技术
3.4.4 基天Hadoop的数据清洗方案
……
第二篇 大数据深入篇
第三篇 大数据应用篇

　　在大数据管理领域，开展了包括Astro DB、Myria、Nuage、CQMS、Data Eco$y$tem和SQLShare6个有代表性的研究项目，其中Astro DB是计算机科学与工程系2008年以来一直与华盛顿大学天文学系共同合作的项目，旨在构建能够存储、管理、分析和处理天文学领域大数据的系统。Myria项目主要关注构建一个快速、灵活的大数据管理系统，将系统以云服务的形式对外暴露。Nuage项目关注大数据与云计算相关的技术问题，特别关注科学应用问题。CQMS关注辅助大数据系统使用的相关工具。Eco$y$tem项目关注大数据市场以及数据管理和定价等方面的问题。SQL Share是一个基于云计算技术的数据库即服务平台，关注关系数据库自动化使用方面的相关问题，包括安装、配置、数据库模式设计、性能调优和应用构建等问题。 在大数据可视化方面，主要通过设计交互式可视化分析工具，增强数据的分析和交流能力，该项目涉及可视化、交互技术和评估技术的研究与系统实现等方面的问题。
　　在大数据架构和编程方面，主要研究在计算机系统结构、编程和系统层面上对大数据的支持，主要包括基于PCM （Phase-Change Memory）的存储系统研究、大规模非规则并行计算（如图分析等）、硬件多线程系统，等等。
　　在大数据系统方面，主要研究超大规模内存机器、大规模并行系统中的可预测尾延迟（predictable tail-latency）技术等。
　　在Web大数据方面，主要研究Web范围内的信息抽取系统，该系统能够读取Web上的任意文本数据，抽取有意义的信息，并将其存储到一个统一的知识库中，便于后续的查询工作。 在人才培养和教育方面，计算机科学与工程系于2013年9月开始招收数据科学的博士学位（特别关注大数据问题）。华盛顿大学将利用整个大学的资源，打造一个跨学科的大数据方面的博士学位。除此以外，华盛顿大学还开设一个关于数据科学方面的认证项目，提供相关的教育与培训服务。
　　2.国内学术界大数据研究现状
　　（1）中国科学院
　　英特尔公司与中国科学院自动化研究所联合成立“中国英特尔物联技术研究院”，计划未来5年投资2亿元人民币，着力攻克大数据处理技术、传输技术和智能感知等物联网核心技术。该研究院还将与国际国内一流科研院所、院校和企业合作，建立一个开放式的研究中心。 中国科学院软件研究所2012年5月31日承办了“走进大数据时代研讨会”。国内众多知名大学教授，及行业代表围绕大数据的相关议题展开共同探讨。分析了当前大数据的行业现状，大数据的最新动态及发展趋势。“大数据”概念正在引领中国互联网行业新一轮的技术浪潮。
　　（2）清华大学
　　清华大学计算机科学与技术系、地球系统科学研究中心等机构一直从事大数据方向的研究，取得了一些成果，包括清华云存储系统、大数据存储系统、大数据处理平台、社交网络云计算和海量数据处理系统，等等。
　　……