防范互联网上的“野蛮人”：网络钓鱼检测、DDoS防御和网络攻防实战

网络钓鱼诈骗是z广泛的网络攻击行为，用于非法获取敏感信息，如信用卡号、银行账号、登录密码等。本书演示了机器学习算法在检测钓鱼网站时的准确和高效，这种方法未来可用于商业或政府组织。

目录
篇机器学习方法检测钓鱼网站
第1章背景介绍
1.1绪论
1.2研究背景
1.3问题陈述
1.4研究目的
1.5研究目标
1.6研究范围
1.7研究意义
1.8内容组织
第2章文献回顾
2.1简介
2.2网络钓鱼
2.3现有的反钓鱼方案
2.3.1与内容无关的检测方法
2.3.2基于网站内容的检测方法
2.3.3基于视觉相似性的检测方法
2.3.4基于字符的检测方法
2.4现有的反钓鱼技术
2.4.1基于特性的反钓鱼技术
2.4.2基于通用算法的反钓鱼技术
2.4.3基于身份的反钓鱼技术
2.5分类器的设计
2.5.1混合系统
2.5.2查询系统
2.5.3分类器系统
2.5.4组合系统
2.6归一化
2.7相关工作
2.8小结
第3章研究方法
3.1简介
3.2研究框架
3.3研究设计
3.3.1阶段： 数据预处理和特征提取
3.3.2第二阶段： 单个分类器的评估
3.3.3第三阶段部分(3a)： 组合分类器评估
3.3.4第三阶段第二部分(3b)： 单个分类器与组合分类器的比较
3.4实验数据
3.5小结
第4章特征提取
4.1简介
4.2数据处理
4.2.1特征提取概述
4.2.2提取出的网站特征
4.2.3数据验证
4.2.4数据归一化
4.3数据分割
4.4小结
第5章实现和结果
5.1简介
5.2研究概述
5.3实验设置
5.4训练和测试模型(基准模型)
5.5组合设计和表决方案
5.6算法比较
5.7小结
第6章结论
6.1总评
6.2研究中的注意事项
6.2.1数据有效性验证
6.2.2交叉验证
6.2.3组合算法设计
6.3研究带来的可能影响
6.4研究展望
6.5结束语
第二篇分布式拒绝服务攻击防御实践
第7章引言
7.1分布式拒绝服务攻击
7.2动机
7.3目的
7.4内容组织
第8章相关工作
8.1概述和定义
8.1.1基于源的过滤
8.1.2基于传播路径的过滤
8.1.3由受攻击者发起的过滤
8.2客户端解题方案
8.3计算密集型客户端解题方案
8.3.1基于哈希函数的问题
8.3.2重复求平方问题
8.3.3基于离散对数的问题
8.3.4子集和问题
8.3.5改进的时间锁问题
8.4计算密集型解题方案小结
8.5内存密集型方案
8.5.1函数查找方案
8.5.2基于模式的方案
8.6内存密集型方案小结
8.7现有客户端解题方案的比较
8.8多网协同检测
第9章算法实现和结果
9.1MikroTik路由器
9.2多路由网络流量绘图器
9.3生日攻击和生日悖论
9.4合法与不合法请求
9.4.1合法用户
9.4.2非法用户或攻击者
9.5流量模型
9.6假设和注意事项
9.7向网站发出并发请求的概率
9.8检测和预防
9.8.1目标服务器上的DDoS检测算法
9.8.2边界路由器上的DDoS检测算法
第10章实现结果和讨论
10.1攻击检测中的时间研究
10.2虚警和漏警错误
10.3测量性能指标
10.4权衡
10.5小结
第11章结论和建议
11.1结论
11.2建议
第三篇网络攻击与防护实战
第12章网络技术
12.1网络服务器
12.2客户端编程语言和服务器端编程语言
12.3什么是JavaScript
12.4JavaScript能做什么
12.5JavaScript不能做什么
12.6数据库
12.7什么是HTML
12.8网络技术： 把它们放在一起
12.9深入理解
12.10超文本传输协议
12.11动词
12.12特殊字符和编码
12.13Cookie、会话和身份验证
12.14小练习： Linux设置
12.15使用Burp Suite拦截代理
12.16为什么拦截代理很重要
12.17小练习： 使用Burp Suite解码器
12.18小练习： 熟悉HTTP和Burp Suite
12.19理解应用程序
12.20Burp Suite网站地图
12.21发现内容与结构
12.22理解一个应用程序
第13章漏洞
13.1规避客户端控件
13.2规避客户端控件示例
13.3规避客户端控件练习答案
13.4SQL
13.5SQL注入
13.6小练习： 使用SQLMap攻击
13.7跨站点脚本
13.8存储跨站点脚本
13.9小练习： 使用存储跨站点脚本破坏网站
第14章寻找漏洞
14.1基本过程和步骤
14.2练习： 寻找漏洞
参考文献

第3章研究方法
摘要
首先介绍本章的目的以及研究中用到的分类器。其次讨论本研究遵循的框架和操作流程，并且解释了研究中涉及的各个步骤和流程之间的交互以及每个阶段的预期产出。接着列出了我们用于计算率的公式，也就是性能度量。本章的部分讨论了研究中用到的数据集及其来源。
关键词
虚警率
率
表决
组合
钓鱼网站数据库
真阳性(预测为正，实际为正)
真阴性(预测为负，实际为负)
算法
3.1简介
本项研究专注于比较分类器组合系统和单个分类器系统(C5．0、SVM、LR、KNN)在钓鱼检测方面的性能，以了解每个算法在检测的准确率和虚警率方面的有效性。整体研究工作由一系列步骤组成。下面几节将详述本研究的目标，研究步骤和使用到的数据集。
3.2研究框架
研究框架描述项目研究过程中将采取的步骤。我们采用这种方式作为整个项目研究的指导，以确保具体工作能够专注于正确的范围而且没有遗漏。如图3．1所示为本研究所遵循的操作框架。
如图3．1所示,本研究项目分为3个阶段，每个阶段的输出是下一阶段的输入。阶段的主要工作是数据采集、处理和特征提取。第二阶段评估本研究中涉及的训练和测试分类器，主要评估点包括率、召回率、准确率和f值。第三阶段分为两部分： 部分(用3a指代)利用率、召回率、准确率和f值来评估不同分类器组成的组合系统； 第二部分(即3b阶段)则是比较单个分类器和组合分类器的性能，以此判断哪种算法在钓鱼网站检测方面效果更佳。
3.3研究设计
本研究包含3个主要阶段，以下简要介绍。
3.3.1阶段： 数据预处理和特征提取
我们对收集来的数据需要做一些预处理以满足研究的特定需求。这个过程涉及多个步骤，例如，特征提取、归一化、数据划分和属性加权。这些处理是为了确保分类器能够正确理解数据并将它们归类。这个阶段的输出直接输入到第二阶段用以评估涉及的分类器。
3.3.2第二阶段： 单个分类器的评估
对分类器的评估主要是为了测量每种特定算法的性能。为此，我们使用了两组数据： 一组用于训练分类器； 另一组是测试数据。我们先使用训练数据对分类器进行训练，然后让分类器对测试数据进行分类，通过比较分类器的输出数据和数据的真实情况来评估性能［Elkan, 2008］。因此，利用阶段得到的数据来训练和测试分类器，并评估率、召回率、f值和准确率等方面的性能就尤为重要。表3．1所示为用于计算性能的公式。
表3．1分类算法性能计算公式［Elkan, 2008］
性 能 指 标
描述
百分比分类
准确率
准确率是模型整体的正确性，它可以通过正确分类的总和除以总分类数计算获得
TN+TPTN+TP+FN+FP
率
率是对一个特定类别预测值准确率的量度
TPTP+FP
召回率
检测分类器正确检测到模式的频率
TPTP+FN
f值
f值是一个测试准确率的度量值。f值可以被解释为率和召回率的加权平均值，其中f值在1时达到其值而在0时达到其差值。
传统的f值或平衡的f值是率和召回率的调和平均值
2×率×召回率率×召回率
错误百分比/%
虚警率
被错误分类为恶意模式的正常模式平均值
FPTN+FP
漏警率
被错误分类为正常模式的恶意模式平均值
FNFP+FN

译者序
计算机网络早出现于20世纪60年代。早期的计算机网络功能比较简单，主要供科研机构内部使用，不同机构之间的网络并没有大规模地互相连接。从20世纪80年代开始，计算机网络逐渐进入大量民用领域，政府机构、商业公司和其他实体之间的计算机通过跨越国家的网络连接起来，互联网作为一种新型的跨地域通信方式应运而生。随后而来的美国信息高速公路计划则引起了互联网在范围内的爆炸式发展，电子商务、网络支付和网络游戏等新型商业模式大量涌现，经过之后二十多年的成长和演化，互联网在已经渗透到我们生活中的方方面面。统计数据显示，2016年，中国的网络经济营业收入已经超过1万亿元，而且规模仍在高速增长中。
人们常说，有人的地方就有江湖，有江湖的地方就有战争。回顾人类社会的历史，文明的发展始终伴随着侵略与被侵略。从欧洲到中国，历史上的先进文明被野蛮文明毁灭的例子层出不穷。 而每一次这类事件的后果都类似： 大量的生命和财产被毁灭，社会的文明程度大幅倒退。所以一个文明如果要长期生存、发展和繁荣，必须拥有一套完善的防御体制来抵御野蛮人的进攻。
与人类文明的发展类似，在互联网诞生和发展的过程中，与之相伴而生的是形形色色的互联网攻击。早期的攻击者大多是为了炫耀自己在计算机和网络技术方面的超人造诣，并没有涉及太多经济利益。随着互联网逐渐进入到社会经济活动中，网络攻击逐渐转向了以谋取经济利益为目的。近些年来，电子商务和互联网金融的普及使得网络攻击的规模变得更为庞大，造成的经济和其他方面的损失也更加严重。根据美国一些机构的统计，网络攻击每年对美国造成多达数百亿甚至上千亿美元的经济损失。例如，在2016年发生的针对国际支付系统（Society for Worldwide Interbank Financial Telecommunications，SWIFT）的攻击中，孟加拉国银行被窃取了高达8100万美元的资产。网络攻击的受害者不仅仅是大公司，针对个人身份及其他私密信息的犯罪则威胁着我们每个人的安全。统计数据显示，仅在2016年美国就有1500万名公民成为身份盗窃的受害者。
因而，如何防范互联网上的“野蛮人”，也就是那些使用形形色色手段发起攻击的网络犯罪者，是这个网络时代每一个公司，甚至每个人都需要认真关注的问题。然而，就像武林中的种种功夫流派一样，网络攻击的手段种类繁多。可惜的是，网络世界至今尚未出现“九阳神功”这样的无上秘籍，能够一劳永逸地防御所有类型的网络攻击。因此，针对每类特定的攻击方式，需要研究其工作原理及弱点来构建特定的防御手段进行反制。在研究和学习网络攻防的过程中，我们阅读了相关的大量文献，在此过程中，有幸研读了关于拒绝服务攻击和网络钓鱼防御的两本专著。考虑到这两类攻击发生的频率非常之高，而且造成的经济损失和其他后果相当严重，我们深感如果能够把这些专著介绍给国内的读者，会有益于网络用户和网络安全专业人员了解这两类攻击方式的原理、特点和常用防御方式。此外，我们简单介绍了使用一种开源软件破解网站的基本步骤以及破解过程中利用到的系统漏洞。所谓知己知彼、百战不殆，网络安全专业人员可以通过这个破解软件来检测网站的漏洞以及潜在的风险，来改进并提升网站的安全性。
通过机器学习来防御钓鱼攻击的专著格外引起了我们的兴趣。其实作为人工智能的核心技术，机器学习算法并非新生事物，但是直到近十年来，随着计算机硬件性能的提升、算法的改进以及海量数据的有效利用，才使得这些算法能够大量被应用在各种各样的现实场景中。尤其是近两年自动驾驶和其他各种机器人的大量涌现，更是让人惊呼人工智能主导的下一次工业革命即将到来。我们相信这本专著不但可以帮助读者了解如何利用机器学习来防御网络钓鱼，而且这些知识也有助于读者适应并投身于这场由人工智能引起的巨大变革中。
本书的内容组织为三部分： 部分专注于网络钓鱼的工作原理及如何应用机器学习算法来防御网络钓鱼； 第二部分则讨论了分布式拒绝服务攻击和防御的方法； 第三部分介绍了攻击网站服务器的基本原理，以及使用开源软件Burp Suite发动攻击的具体步骤。
我们很荣幸有机会把这些研究介绍给国内的专业人士，在翻译过程中，我们秉持尊重原著的理念，尽量在中文译本中保持原意。但是在保持原意的基础上，做了一定的修改以更加符合中文的阅读习惯。由于译者水平所限，书中难免有不准确或不之处，敬请读者不吝指正。
在本书的翻译过程中，我们得到了清华大学出版社相关人员的大力帮助，在此表示诚挚的感谢。
译者2018年7月于上海