本站支持尊重有效期内的版权/著作权,所有的资源均来自于互联网网友分享或网盘资源,一旦发现资源涉及侵权,将立即删除。希望所有用户一同监督并反馈问题,如有侵权请联系站长或发送邮件到ebook666@outlook.com,本站将立马改正
图书基本信息 | |
图书名称 | 大数据分析与挖掘 |
作者 | 石胜飞 |
定价 | 49.8元 |
出版社 | 人民邮电出版社 |
ISBN | 9787115483058 |
出版日期 | 2018-08-01 |
字数 | 459000 |
页码 | 265 |
版次 | |
装帧 | 平装 |
开本 | 16开 |
商品重量 |
内容提要 | |
《大数据分析与挖掘》主要包括:章绪论、第2章数据特征分析与预处理、第3章关联规则挖掘、第4章分类算法、第5章聚类算法、第6章分布式大数据流挖掘、第7章 综合案例——基于华为技术与设备。本书可作为高等院校数据科学与大数据技术、计算机科学与技术等相关专业的本科生教材。 |
目录 | |
章绪论1 1.1大数据分析与挖掘简介1 1.2大数据应用及挑战2 1.3大数据分析与挖掘主要技术3 1.4大数据分析与挖掘工具4 1.4.1Sklearn4 1.4.2SparkML5 1.4.3华为云的机器学习服务5 第2章数据特征分析与预处理15 2.1数据类型15 2.1.1数据集类型15 2.1.2数据属性的类型17 2.2数据的描述性特征20 2.2.1描述数据集中趋势的度量20 2.2.2描述数据离中趋势的度量22 2.2.3数据分布形态的度量24 2.2.4数据分布特征的可视化27 2.3数据的相关分析30 2.3.1相关分析31 2.3.2卡方(χ2)检验32 2.4数据预处理34 2.4.1数据变换、离散化与编码35 2.4.2数据抽样技术40 2.4.3主成分分析42 2.4.4数据清洗49 2.5Spark数据预处理功能简介52 2.5.1二值化52 2.5.2分箱器52 2.5.3哈达玛积变换53 2.5.4值标准化53 2.5.5 小—变换54 2.5.6正则化54 2.5.7多项式扩展55 2.5.8标准化55 2.5.9特征向量合并56 2.5.10类别特征索引57 习题57 第3章关联规则挖掘59 3.1基本概念59 3.2基于候选项产生—测试策略的频繁模式挖掘算法61 3.2.1Apriori算法61 3.2.2基于划分的算法64 3.2.3事务数据的存储65 3.3不需要产生候选项集的频繁模式挖掘算法66 3.3.1FP-Growth算法66 3.3.2Spark上FP-Growth算法实践71 3.4结合相关性分析的关联规则72 3.5多层关联规则挖掘算法74 3.6序列模式挖掘77 3.6.1序列模式的定义77 3.6.2PrefixSpan算法78 3.6.3与其他序列模式挖掘算法的比较和分析80 3.7其他类型关联规则简介81 3.7.1量化关联规则82 3.7.2时态关联规则82 3.7.3局部化的关联规则82 3.7.4优化的关联规则82 习题83 第4章分类与回归算法85 4.1决策树算法85 4.1.1决策树简介85 4.1.2决策树的类型86 4.1.3决策树的构造过程86 4.1.4信息论的有关概念87 4.1.5ID3算法87 4.1.6信息论在ID3算法中的应用90 4.1.7C4.5算法91 4.1.8CART算法91 4.1.9过拟合与决策树剪枝93 4.1.10决策树后剪枝策略95 4.1.11决策树的生成与可视化103 4.1.12几种属性选择度量的对比106 4.2贝叶斯分类器106 4.2.1贝叶斯决策理论106 4.2.2极大似然估计107 4.2.3朴素贝叶斯分类器108 4.2.4贝叶斯网络基础110 4.2.5通过贝叶斯网络判断条件独立111 4.2.6贝叶斯网络推理实例112 4.3基于实例的分类算法115 4.3.1KNN分类器115 4.3.2局部加权回归121 4.3.3基于案例的推理123 4.4组合分类算法130 4.4.1Adaboost算法130 4.4.2Bagging算法135 4.4.3森林140 4.5分类器算法的评估142 4.6回归分析146 4.6.1线性回归146 4.6.2岭回归149 4.6.3多项式回归149 4.6.4逻辑回归151 4.6.5决策树回归152 4.6.6梯度提升决策树155 习题160 第5章聚类算法165 5.1聚类分析概述165 5.2聚类算法的分类166 5.3距离度量166 5.3.1幂距离166 5.3.2欧式距离167 5.3.3曼哈顿距离167 5.3.4切比雪夫距离168 5.3.5余弦相似度168 5.3.6兰氏距离169 5.3.7马氏距离169 5.3.8斜交空间距离170 5.3.9杰卡德距离170 5.3.10汉明距离171 5.4基于划分的聚类算法172 5.4.1K均值算法172 5.4.2二分K均值聚类算法174 5.4.3小批量K均值算法175 5.4.4K均值++算法179 5.4.5K中心点算法180 5.4.6数据流K均值算法181 5.5基于密度的聚类算法182 5.5.1DBSCAN算法182 5.5.2OPTICS算法185 5.6基于模型的聚类算法:高斯混合模型算法189 5.6.1算法原理189 5.6.2GMM算法的参数估计190 5.6.3GMM算法实践191 5.7层次聚类193 5.7.1凝聚的层次聚类算法193 5.7.2聚类之间距离的度量方法193 5.7.3层次聚类算法的性质204 5.7.4BIRCH算法207 5.8基于网格的聚类算法211 5.8.1STING算法211 5.8.2CLIQUE算法213 5.9MeanShift聚类算法218 5.9.1基本概念218 5.9.2MeanShift算法聚类过程219 5.9.3MeanShift聚类算法实践222 5.9.4改进的MeanShift算法223 5.10聚类算法评价指标224 5.10.1调整兰德指数224 5.10.2互信息评分225 5.10.3同质性、完整性以及调和平均226 5.10.4Fowlkes-Mallows评分228 5.10.5轮廓系数229 5.10.6Calinski-Harabz指数229 习题230 第6章数据挖掘综合应用:异常检测232 6.1预备知识232 6.1.1相关统计学概念232 6.1.2异常检测评价指标234 6.1.3异常检测问题的特点234 6.1.4异常检测算法分类234 6.2基于隔离森林的异常检测算法235 6.2.1隔离与隔离树iTree236 6.2.2隔离森林的特点238 6.2.3隔离森林算法239 6.2.4应用实例240 6.3局部异常因子算法242 6.3.1基本定义242 6.3.2异常检测243 6.3.3应用实例244 6.4基于One-ClassSVM的异常检测算法245 6.4.1基本原理245 6.4.2应用实例246 6.5基于主成分分析的异常检测算法247 6.6基于集成学习的异常检测算法249 6.6.1基本原理249 6.6.2应用实例250 6.7其他有监督学习类型的检测算法253 6.7.1罕见类别检测254 6.7.2基于有监督学习的异常检测实例256 6.7.3异常检测应用实例——时空异常检测257 6.7.4Spark异常值检测实例259 6.8习题261 附录《大数据分析与挖掘》配套实验课程方案简介263 参考文献264 |
作者介绍 | |
石胜飞,哈尔滨工业大学副教授,主要研究领域数据挖掘、大数据分析。中国计算机学会数据库专家会委员。中国计算机学会数据库专家会委员。 |