智能计算

《智能计算》主要介绍了智能计算技术相关的理论方法与关键技术，并对典型的应用领域与平台也进行了相关介绍和讨论。《智能计算》共10章，简要介绍智能的起源、智能与计算等研究背景及意义，详细介绍了机器学习、深度学习等模型与算法及其应用，着重介绍了图神经网络模型、网学习模型、神经网络架构搜索和大数据资源服务等技术，并面向智能交通和网络交易支付等领域和场景详细介绍了智能技术相关的应用。

智能计算

目录
作者简介
前言
第1章 智能源于人、拓于工 1
1.1 引言 1
1.2 智能的定义与历史演进 1
1.2.1 智能的定义 1
1.2.2 智能的历史演进 2
1.3 智能的驱动与发展关系 6
1.4 人工智能的现状与趋势 9
1.4.1 人工智能的现状 9
1.4.2 人工智能发展趋势 10
1.5 小结 11
参考文献 12
第2章 智能与计算 15
2.1 引言 15
2.2 计算理论基础 15
2.3 计算装置的结构 16
2.4 计算机系统与技术 18
2.4.1 大数据 18
2.4.2 物联网 21
2.4.3 云计算 22
2.4.4 实时并发 23
2.4.5 应变适配 24
2.5 计算机软件算法和应用场景 25
2.6 智能发展的思考 26
2.7 小结 27
参考文献 27
第3章 机器学习 31
3.1 引言 31
3.2 机器学习的发展 32
3.3 机器学习的模型 33
3.4 概率模型与推荐算法的组合研究 39
3.4.1 主要思想 39
3.4.2 系统模型 40
3.4.3 实验与分析 42
3.5 基于图排序算法的自动文摘方法研究 43
3.5.1 双层相关性度量模型 44
3.5.2 基于图模型的自动文摘 47
3.5.3 实验与分析 50
3.6 基于数据权重调整的欺诈辨识方法研究 51
3.6.1 分布距离计算 52
3.6.2 ITrAdaboost主要思想 56
3.6.3 基于ITrAdaboost的交易欺诈辨识 59
3.6.4 实验与分析 60
3.7 小结 65
参考文献 65
第4章 深度学习 69
4.1 引言 69
4.2 深度学习的表示能力 69
4.3 深度学习模型 70
4.3.1 卷积神经网络 70
4.3.2 循环神经网络 73
4.3.3 生成对抗网络 74
4.3.4 注意力机制 75
4.4 基于全中心损失函数的交易数据去噪方法 79
4.4.1 重叠去噪方法框架结构 79
4.4.2 全中心损失函数 82
4.4.3 实验与分析 86
4.5 基于高斯函数的对比损失研究 93
4.5.1 Softmax损失函数的缺陷 94
4.5.2 基于高斯函数的对比损失算法 97
4.5.3 损失函数可导性分析 99
4.6 真值引导下的自注意力SeqGAN模型 101
4.6.1 基于真值引导的生成器 101
4.6.2 基于自注意力的判别器 105
4.6.3 实验与分析 106
4.7 小结 108
参考文献 109
第5章 图神经网络模型 112
5.1 引言 112
5.2 图的相关定义 113
5.3 图卷积神经网络 114
5.4 邻域扩张动态图神经网络 115
5.4.1 动态图 115
5.4.2 邻域扩张动态图神经网络 117
5.4.3 实验与分析 122
5.5 基于异质图神经网络的文摘方法 126
5.5.1 自动文本摘要 126
5.5.2 文本图定义 127
5.5.3 MHGS模型 127
5.5.4 实验与分析 131
5.6 小结 134
参考文献 135
第6章 网学习模型 139
6.1 引言 139
6.2 Petri网 140
6.3 网学习模型 143
6.3.1 网学习框架 143
6.3.2 随机Petri网的网学习算法 145
6.4 随机Petri网数据集 148
6.4.1 随机Petri网数据集生成 148
6.4.2 数据的组织方式 154
6.5 实验与分析 157
6.5.1 随机Petri网数据集实验分析 158
6.5.2 网学习算法实验分析 160
6.6 小结 163
参考文献 164
第7章 神经网络架构搜索 167
7.1 引言 167
7.2 神经进化与进化计算 168
7.3 基于神经进化的深度学习模型 170
7.3.1 卷积神经网络 170
7.3.2 生成式对抗网络 174
7.4 进化式生成对抗网络 177
7.4.1 进化算子设计 178
7.4.2 EG-GAN模型 180
7.4.3 EG-GAN的可视化分析 184
7.4.4 图像修复应用 187
7.5 小结 194
参考文献 195
第8章 大数据资源服务技术 199
8.1 引言 199
8.2 大型数据资源服务架构 200
8.3 数据资源识别和获取 202
8.3.1 爬虫限制和引导协议 203
8.3.2 分布式爬虫任务调度策略 206
8.4 网络大数据索引网络体系 214
8.4.1 资源索引网络模型 214
8.4.2 索引网络代数 221
8.5 小结 223
参考文献 224
第9章 智能交通 227
9.1 引言 227
9.2 智能交通系统 227
9.3 多源交通数据集成与融合 229
9.3.1 多源交通数据的获取与预处理 229
9.3.2 分布式异构数据融合 230
9.4 动态路况建模与预测 231
9.4.1 基于主曲线方法的路况建模 233
9.4.2 基于非线性时间序列路况预测 235
9.5 动态网络*优出行 241
9.5.1 动态*短路算法 243
9.5.2 动态*短路的启发式算法 244
9.6 小结 247
参考文献 247
第10章 智能交易 251
10.1 引言 251
10.2 智能网络交易风险与应对措施 252
10.2.1 网络交易风险 252
10.2.2 风险应对措施 255
10.3 用户行为的风险防控 257
10.3.1 基于行为的身份认证技术 258
10.3.2 用户行为证书方法 265
10.4 交易系统的在线监控 269
10.4.1 监控系统的组成架构 269
10.4.2 系统优化管理 270
10.4.3 系统在线监控 270
10.5 小结 277
参考文献 277
彩图

第1章 智能源于人、拓于工
　　1.1 引言
　　随着互联网、大数据、云计算和深度学习等新一代信息技术的飞速发展，目前，人工智能(Artificial Intelligence，AI)领域的研究和应用已经取得重要的进展。 AI是与计算机和控制学科密切相关的一个研究领域，20世纪70年代以来被称为世界三大尖端技术之一(空间技术、能源技术、人工智能)，也被认为是21世纪三大尖端技术(基因工程、纳米科学、人工智能)之一。 AI旨在模拟人脑中信息存储和处理机制等智能行为，使机器具有一定程度上的智能水平。由于擅长发现高维数据中的复杂结构，深度学习正被应用于科学、商业和政府等领域，对信息科学领域的发展起到了很重要的推动作用。
　　本章将从两个维度深入剖析和解读 AI发展过程，第一个维度是横向视角，从来自于神经科学、人脑智能等智能启发的源头追溯，探讨了 AI各个分支重要的发展历程，综合分析 AI的发展和演进过程；第二个维度是纵向视角，从与 AI密切相关的几个学科，包括计算机科学、控制科学、人脑智能、类脑智能等，通过它们在不同历史时期与 AI之间的相互作用，分析这些学科或领域之间的交融与历史演进，更清晰地对 AI的本质进行认知。
　　本章的组织结构如下：1.2节深入分析与 AI密切相关的计算机科学、控制科学、类脑智能、人脑智能等学科或领域之间的交融与历史演进；1.3节指出神经科学、脑科学与认知科学的有关脑的结构与功能机制的研究成果，为构建智能计算模型提供了重要的启发，并从逻辑模型及系统、神经元及网络模型、视觉神经分层机制等方面，分别阐述智能的驱动与发展；1.4节对 AI的发展趋势进行展望，1.5节是本章小结。
　　1.2 智能的定义与历史演进
　　1.2.1 智能的定义
　　在心理学领域，将智能定义为智力和能力的总称。其中，“智”指进行认识活动的某些心理特点，“能”则指进行实际活动的某些心理特点[1]。下面将从与智能密切相关的人脑智能、人工智能、类脑智能三个方面探讨智能的定义。
　　人脑是由一千多亿个高度互联的神经元组成的复杂生物网络，是人类分析、联想、记忆和逻辑推理等能力的来源。人脑智能正是反映人类大脑具有的感知世界、理解世界和管理世界的智慧和能力，其研究主要围绕人类智能活动的规律，揭示大脑信息表征、转换机理和学习规则，以期建立大脑信息处理过程的智能计算模型。随着神经解剖学的发展，人脑信息处理的奥秘也正在被逐步揭示。在此基础上，人工智能是模拟人类大脑信息处理、记忆、逻辑推理等智能行为的基本理论、方法和技术，通过应用计算机的软硬件技术，构造具有一定智能的人工系统，让计算机去完成以往需要人的智力才能胜任的工作。而类脑计算则渴求通过模仿人类神经系统的工作原理，开发出快速、可靠、低耗的运算技术。如何借助神经科学、脑科学与认知科学的研究成果，建立智能计算模型，使机器掌握人类的认知规律，是“类脑智能”的研究目标[2，3]。
　　1.2.2 智能的历史演进
　　1950年，AI之父英国人图灵(Turing)的一篇里程碑式论文《计算机器与智能》为人类带来了一个新学科—人工智能[4]。1956年夏季的“达特茅斯会议”中，以麦卡锡(McCarthy)、明斯基(Minsky)、罗切斯特(Rochester)和香农(Shannon)等为首的一批有远见卓识的年轻科学家，共同研究和探讨用机器模拟智能的一系列问题，首次提出了“人工智能”这一术语，标志着“人工智能”正式诞生。
　　AI作为一门新兴的科学技术，其发展演进过程与信息科学领域的演进过程密切相关，特别是计算机科学、控制科学这两大学科。在 AI的发展中，不同学科背景的学者对 AI做出了各自的理解，提出了不同的观点。为此，将首先综合分析计算机科学、控制科学、人工智能的历史时期的主要演变环节和相互作用，如图1.1所示。
　　首先在计算机科学发展过程中，从基础理论来说，形成了一套坚实的计算机科学理论。20世纪30年代，可计算理论取得突破性进展，当时提出四个重要的计算模型：λ演算、图灵机、哥德尔递归函数、Post系统。在理论意义上，这些模型之间在能力上是等价的，其中以图灵机更接近常人计算，成为计算机的计算理论基础。在此基础上，20世纪50年代乔姆斯基(Chomsky)建立了形式语言的理论体系[5]，从语言、文法到机器模型，给出了计算机科学的能级空间的层次划分，对计算机科学有着深刻的影响，特别是对程序设计语言和编译方法等有重要的作用。同时，60年代的计算复杂性和70年代的程序验证理论都为整个计算机科学的发展奠定了坚实的理论基础。另一方面是计算机技术的发展。50年代冯 诺依曼提出计算机体系结构，以程序存储为基础，程序指令和数据共用一个存储空间。1945年，第一代计算机 ENIAC诞生。1964年，IBM(International Business Machines Corporation)宣布推出的一款计算机系统 IBM360，在业界引起了轰动。后来到80年代的 PC机，IBM一直保持领先优势。当时讨论的是单个电脑的计算组成、原理和相应的机器，即单机系统。在这个范畴内，无论是理论还是技术都比较完备。后来，随着时间的推进，90年代出现的互联网，不同于单机系统的确定和完备，是一个非确定、开放共享、动态的系统。近些年，出现了物联网、云计算、大数据等新一代信息技术，到现在的云平台。可以看出，计算机系统经历了从单机时代进化到能够整合共享资源的专用局域网系统，然后发展到资源可整合、共享的互联网时代，逐步演进到目前资源动态分配、服务高度发达共享的网络信息服务时代。
　　图1.1 计算机科学、控制科学、人工智能的演进过程
　　基于这样的计算机科学理论与系统的发展， AI发展昀早可以追溯到50年代以符号主义为代表的逻辑推理和定理证明研究。之后，60年代模拟人类专家的行为，概括成经验性的规则形成规则系统，推演应用领域知识的生成。专家系统在医疗诊断、化学逻辑关系推演等发挥很好的作用。但因为人工制定的规则一旦抽取出来就是固定的，不便于系统的成长和拓展，而且规则是确定的，专家系统难以处理一些新的问题。随着该过程的发展，后来出现了数据库和知识库，建立知识单元支持规则的推演；语义网络，将概念与概念间的关系组织起来形成网络；结合大数据又出现了知识图谱。可以看出，这一层面是模拟和学习人的逻辑思维推演过程，这也正是受到底层计算机科学理论和系统结构的影响而发展起来的。
　　AI的另外一条主线是以连接主义为代表，模拟发生在人类神经系统中的认知过程。50年代提出的感知机是昀早的模拟神经元细胞和突触机制的计算模型。之后模拟人的神经系统，建立了多层感知机等人工神经网络，一直到现在的深度学习都是沿着这一主线发展起来的。
　　与此同时，在 AI发展过程中另外一个重要学派行为主义认为智能是系统与环境的交互行为。因此，形成了强化学习、进化计算等智能方法，可以看成控制学科对 AI的启发。控制科学的发展经历了三个重要时期：1940年代～1950年代：经典控制理论(PID(Proportional Integral Derivative)控制、反馈控制)，这一时期是单变量专一事务的控制，而且是试错性的。1960年代～1970年代：现代控制理论(昀优控制、模糊控制、自适应控制)，在线性系统的状态空间表示基础上，建立状态方程，卡尔曼滤波昀具代表性。1980年代至今：先进控制理论(鲁棒控制、智能控制、集成控制)，具有代表性的有离散事件动态系统、混杂系统。此外，20世纪50年代开始的机器人也比较有代表性，后来出现了服务机器人，特别是昀近的自主智能系统，如无人机、无人车等。
　　以上从三条主线纵观了智能的情况和背景，下面换个角度，从计算机科学和类脑智能的发展角度来看人工智能，如图1.2所示。
　　AI从20世纪50年代开始经历了三次浪潮。第一次浪潮是1956年开始，核心是符号主义用机器证明的办法去证明和推理一些知识，建立了逻辑定理证明、专家系统、知识库等。但专家的经验规则是有限的、确定的，难以进行知识的更新。所以在这个阶段，人们原来期望借助 AI可以解决很多问题，实际上没有得到解决， AI走向低潮。第二次浪潮是20世纪80年代，受到算法复杂性理论、硬件支撑系统、数据库管理系统等方面的推动，以神经网络为代表的连接主义再次受到学者们的广泛关注，提出了多层感知机、 BP(Back Propagation)网络等，成功解决了复杂的非线性分类和回归问题，再次引起了 AI的热潮。但当时机器的计算能力还很有限，缺乏强力计算设备，同时缺少类似于人类社会这样开放式的学习环境，无法提供神经网络训练所需的大量数据样本，导致90年代神经网络再次走向低潮， AI研究者将目光转向统计学习。90年代互联网兴起，互联网是一个不确定的、不断成长的系统，包括云计算和大数据的出现，提供了一套更加有效地对数据获取、处理的机制和平台。这样一来，再次刺激了神经网络的复苏，出现了以深度学习为代表的第三次浪潮。2006年，辛顿(Hinton)提出神经网络深度学习算法，使得至少具有7层的神经网络的训练成为可能[6]，由于能够比较好地模拟人脑神经元多层深度传递的过程，在解决一些复杂问题时有着突破性的表现。与此同时，类脑智能研究也逐步引起学术界和工业界的关注，其核心是受脑启发构建神经拟态架构和处理器，包括 IBM TrueNorth等硬件方面模拟人的神经元芯片和深度学习芯片，如 Google TPU、中科院的寒武纪系列等。
　　图1.2 计算机科学、人工智能、类脑计算的演进过程
　　1.3 智能的驱动与发展关系
　　神经科学、脑科学与认知科学所揭示的有关脑结构与功能机制为构建智能计算模型提供了重要的启发。本节将在上述发展脉络分析的基础上，从智能的起源开始追溯，分别从智能驱动的专题版块进行阐述，包括逻辑模型及系统、神经元及网络模型、视觉神经分层机制、脉冲神经网络模型、学习与记忆机制、语言模型、进化与强化，综合分析 AI的发展和演进过程，设计了智能版块“五线谱”，其中五条线分别为五个不同的领域，七种不同颜色分别表示七个智能专题，如图1.3所示。
　　1．逻辑模型及系统
　　人类神经系统具有逻辑思维的潜力，可以通过后天的学习和训练，逐渐形成具体的逻辑思考能力。以人的逻辑思维和推演过程为智能驱动，经历了20世纪50年代～70年代初的逻辑推理与定理证明，之后发展到20世纪80年代出现大量的专家库和知识库，到1998年出现语义网、2012年谷歌提出知识图谱等。可以看出，在这一层面 AI领域通过模拟和学习人类的逻辑推理能力，经历了逻辑推理与定理证明、专家库、知识库、语义网、知识图谱等一些重要的历程。