统计挖掘与机器学习：大数据预测建模和分析技术 pdf下载

适读人群 ：数据挖掘从业者以及对机器学习数据挖掘感兴趣的人
本书创造性地汇编了数据挖掘技术，将统计数据挖掘和机器学习数据挖掘进行了区分，对经典和现代统计方法框架进行了扩展，以用于预测建模和大数据分析。本书为数据挖掘领域新晋的数据科学家所面临的共同问题提供了适当的解决方案，并侧重于数据科学家的需求，提供了实用且强大、简单而富有洞察力的量化技术，其中大部分使用了受新机器学习影响改进的“旧”统计方法。
在这本畅销书的新版里，作者大幅修改并重新组织章节内容，新增了一些富有创意且用途广泛的机器学习数据挖掘技术方面的内容。简单而有针对性的量化处理方法使得本书在数据挖掘图书领域别具一格。

本书是一本区分统计数据挖掘和机器学习数据挖掘的图书。它创造性地汇编了数据挖掘技术，解决了对经典和现代统计方法框架的扩展，用于预测建模和大数据分析。SM-DM为数据挖掘领域新晋的数据科学家所面临的共同问题提供了适当的解决方案。它的展示侧重于数据科学家(通常被称为统计学家、数据采矿者和数据分析师)的需求，提供实用但又强大的、简单而又有洞察力的量化技术，其中大部分使用了新机器学习影响改进的“旧”统计方法。

第3版前言
第2版前言
致谢
关于作者
第1章　引论 1
11　个人计算机与统计学 1
12　统计学和数据分析 2
13　EDA简介 3
14　EDA范式 4
15　EDA的弱点 5
16　小数据和大数据 5
161　数据规模特征 6
162　数据规模：个人观点 7
17　数据挖掘范式 7
18　统计学和机器学习 8
19　统计数据挖掘 9
参考资料 9
第2章　数据处理相关学科：统计学和数据科学 11
21　引言 11
22　背景 11
23　统计学与数据科学的比较 12
24　讨论：统计学与数据科学的不同之处 18
25　本章小结 19
26　结语 19
参考资料 19
第3章　变量评估的两种基本数据挖掘方法 21
31　引言 21
32　相关系数 21
33　散点图 22
34　数据挖掘 24
341　示例31 24
342　示例32 24
35　平滑散点图 25
36　一般关联性检验 27
37　本章小结 28
参考资料 29
第4章　用于评估成对变量的基于CHAID的数据挖掘方法 30
41　引言 30
42　散点图 30
43　平滑散点图 31
44　CHAID入门 32
45　用更平滑的散点图进行基于CHAID的数据挖掘 33
46　本章小结 36
参考资料 37
第5章　校直数据的简单性和可取性对建模十分重要 38
51　引言 38
52　数据的直度和对称度 38
53　数据挖掘是高级概念 39
54　相关系数 39
55　（xx3，yy3）散点图 40
56　挖掘（xx3，yy3）关系 41
57　基于遗传算法的数据挖掘如何处理数据 43
58　校直多个变量 43
59　本章小结 44
参考资料 44
第6章　排序数据对称化：提高数据预测能力的统计数据挖掘方法 45
61　引言 45
62　量度范围 45
63　茎叶图 47
64　箱线图 47
65　排序数据对称处理方法的图示 47
651　示例1 48
652　示例2 50
66　本章小结 56
参考资料 56
第7章　主成分分析：多变量评估的统计数据挖掘方法 57
71　引言 57
72　EDA重新表述范式 57
73　关键点 58
74　PCA基础 58
75　示例详解 58
76　PCA的代数特征 59
77　一个不常见示例 60
771　R_CD元素（X1，X2，X3，X4，X5，X6）主成分分析 61
772　R_CD元素（X1，X2，X3，X4，X5，X6）主成分分析结果 61
78　用PCA构造准交互变量 62
79　本章小结 66
第8章　市场份额估算：一个特殊的数据挖掘案例 67
81　引言 67
82　背景 67
83　一个特殊的数据挖掘案例 68
84　构建RAL的YUM市场份额模型 69
841　市场份额模型的十分位分析 76
842　YUM_3mos市场份额模型的结论 76
85　本章小结 77
附录8A 　生成 PROMO_Code哑变量 77
附录8B　PROMO_Code哑变量的PCA 77
附录8C　PROMO_Code哑变量上的逻辑斯谛回归YUM_3mos 78
附录8D　生成YUM_3mos_wo_PROMO_CodeEff 78
附录 8E　将变量标准化为位于[0， 1]内 78
参考资料 79
第9章　相关系数在[-1,+1]内取值，是这样吗 80
91　引言 80
92　相关系数的基础知识 80
93　计算相关系数 81
94　重新配对 82
95　计算经调整的相关系数 84
96　重新配对的意义 84
97　本章小结 84
第10章　逻辑斯谛回归：回应建模方法 85
101　引言 85
102　逻辑斯谛回归模型 86
1021　示例 86
1022　为LRM打分 87
103　案例分析 88
104　logit值和logit散点图 89
105　校直数据的重要性 90
106　校直数据的重述 91
1061　幂阶梯法 91
1062　突起规则 91
1063　测量校直数据 92
107　校直示例数据 92
1071　FD2_OPEN的重述 93
1072　INVESTMENT的重述 94
108　在突起规则不适用的情况下选用的技术 95
1081　拟合logit值散点图 95
1082　平滑预测值与实际值散点图 96
109　MOS_OPEN的重述 96
1010　评估变量的重要性 99
10101　计算G统计量 99
10102　单变量的重要性 100
10103　变量子集合的重要性 100
10104　不同变量子集合的重要性比较 100
1011　案例的重要变量 101
1012　变量的相对重要性 102
1013　案例变量的最佳子集合 103
1014　模型预测准确性的可视化指标 104
10141　得分组的平滑残差散点图 104
10142　基于十分位组的平滑预测与实际值散点图 106
10

第3版前言
大数据的预测分析法在本书第2版出版之后的四年来一直保持着稳定的热度。我之所以决定写作新版，不是因为第2版的成功，而是因为我收到的大量正面反馈（读者来信）。而且，重要的是，我需要分享解决问题的方法。这些问题还没有被人们普遍接受的、可靠的或者已知的解决方案。与上一版一样，约翰·图基（John Tukey）原则是推进统计学的发展以及提高灵活性、实用性、创新性和普遍性所必需的，是各章介绍的新分析法和建模方法论的试金石。
第3版的主要目标如下：
1）扩充核心内容，包括解决问题的策略和方法，它们来自顶级预测分析学术会议和统计建模研讨会，以及我对Statistics on the Table [1]的一些想法。
2）重新编辑现有章节，提高写作质量；修改结尾部分，使内容更紧凑。
3）提供本书推荐的分析方法和建模的统计子程序。我使用Base SAS和STAT/SAS。这些子程序也可以从 http://wwwgeniqnet/articleshtml#section9下载，代码很容易转换成用户喜欢的其他语言。
在第2版的基础上，本书新增了13章，它们穿插在原来的章节中间，以最大限度地保证内容的连贯性。新章节如下：
第2章介绍统计学与数据科学。如果人们不留意，可能就会按下删除键，删掉统计学和统计学家，代之以科学和数据科学家。我讨论了近期出现的术语—数据科学是否意味着统计学是一个发展更快的领域的子集合，或者数据科学是否掩盖了当前的统计学应用状况。
第8章介绍一个市场份额估算模型，其独特之处是不采用常规的基于抽样调研的市场份额情境分析，而是采用主成分分析（PCA）作为估算一个真实案例的市场份额的基础。我提供了构建这个案例研究的市场份额模型的SAS子程序。
第11章介绍无抽样调研数据预测钱包份额。这种预测钱包份额（SOW）的日常方法需要抽样调研数据。由于抽样调研工作耗时多、成本高，而且会出现不可靠数据，所以通常不采用。我提供了一种不需要数据就能预测SOW的两步法。第一步定义一个准SOW并通过模拟法对总金额进行估算。第二步采用分数逻辑斯谛回归法预测SOW_q，巧妙地将普通的逻辑斯谛回归用于比例或比率不变的因变量。我给出了详细的案例分析和SAS子程序，读者会发现这种方法很有价值。
第19章提出了一种基于模型的潜在类别分析（LCA）聚类方法。这种细分的创新型策略包含在时间序列数据的应用之中。时间序列LCA模型是一种完全不同的方法，可以作为处理截面数据集中的时间序列数据的模板。这种LCA法可以替代目前流行的基于数据的启发式k均值法。我提供了SAS子程序，数据挖掘人员可以用来执行与演示类似的市场细分工作。我还提供了一种将时间序列数据合并到其他截面数据集中的独特方法。
随后是第20章。文献通常会介绍各种可以用来进行市场细分的聚类方法，而有关如何解读细分结果的文献却寥寥无几。这一章提供了一种理解客户细分的便捷方法。我用一个常见的简单例子说明新方法，以充分展示这种方法的威力。本章提供了执行这种新方法所用的SAS子程序，数据挖掘人员可以将这个有价值的统计技术收入工具箱。
第21章是第20章的扩展。本章的目的是提供一种理解统计回归模型的简单方法，即普通最小二乘法和逻辑斯谛回归（LR）模型。我用一个LR模型演示了这种方法，展示了这种方法的威力。这种方法含有补充信息，用于弥补一直以来人们需要依靠回归系数才能理解统计回归模型的不足。我提供了SAS子程序，可以作为其他统计方法的一个有价值的补充。
第23章介绍大数据建模，接在使用CHAID作为归因方法的章节之后。缺失的数据会警告统计学家：“除非你知道如何接纳我，否则你毫无胜算。”在大数据出现之前，用传统的基于数据的方法（完整案例分析）处理任何数据集都会出现问题。这些方法能否有效用于大数据分析令人怀疑。我提出了一个两步法，即先用完整的回应数据建模，然后用PCA对不完整的回应数据建模。这两个模型可以单独使用，也可以与具体任务目标结合使用。我提供了这种方法的SAS子程序，它会成为统计建模者的一个有用工具。
第24章高度融合了艺术、科学、数字和诗歌，它们都受到了埃及金字塔、达·芬奇和爱因斯坦的启发。这一章会引发你的思考。
第27章是对前一章的补充。营销人员使用十分位分析评估他们的回应模型相对于随机获得的回应的可预测优势。我定义了两种新指标，即回应模型十分位分析精确度和随机模型十分位精确度，可以让营销人员对回应模型的优缺点进行更深入的评估。我提供了构建这两种新指标的SAS子程序，这会成为市场营销统计学家的可靠工具。
第28章将评估回应模型的方法扩展到适当使用对照组（文献中使用诸如提升或净提升度模型这类名称），以替代第27章中讨论的随机模型。有关净提升度模型的文献有很多，有些相互矛盾而且容易引起混淆。我提供了另一种方法—T-C净提升度模型，这是一个简单、直观、可靠、易于实现和理解的模型，缓解了有关这个主题的文献之间的不相容情况。我提供了T-C净提升度模型的SAS子程序，统计学家可以用于建模，而不必购买昂贵的软件。
对于统计学家来说，当踏上数据处理旅程时，第34章会给