交通运输物流大数据分析与应用 pdf下载

针对交通运输物流领域的大数据技术应用的需求，设计了一种交通运输物流领域大数据基础技术架构，对存储、计算、资源调度管理等各个层面的应用进行支持，以满足数据增值和软件开发的需要。该技术架构主要应用在交通运输物流领域中的“流式数据实时计算”与“离线数据并行计算”两种典型应用场景中，可以有效提高大数据分析功能实现与开发效率。

针对交通运输物流领域的大数据环境特点，对大数据存储以及大数据分析方法进行分析研究，主要内容如下：大数据环境下交通运输物流领域数据资源存储、计算和资源调度管理、离线数据并行计算和在线数据实时计算等方法进行剖析，实现了实时热力分析、车货信息资源实时匹配、热点词分析、物流企业信用评价等典型的交通运输物流领域大数据应用。主要章节包括：绪 论；大数据分析平台软件技术基础架构；交通运输物流大数据的数据组织与描述；交通运输物流领域流式数据实时分析与应；交通运输物流领域离线数据并行计算与应用。

牟向伟，男 1982年4月生人，博士，大连海事大学，大数据管理与应用专业 副教授，主要研究领域为大数据分析与处理，发表论文EI/CSSCI检索论文30余篇，出版专著《模糊语义个性化信息推荐》1部，主持省部级项目4项，获发明专利1项，软件著作权8项，获得省科技进步奖一等奖1项，二等奖2项，教育部科技进步奖二等奖1项，市级科技进步奖三等奖1项

目录
1绪论(1)
1.1大数据产生的背景(1)
1.2大数据的发展历程(2)
1.2.1国外大数据的发展历程(2)
1.2.2国内大数据的发展历程(3)
1.3我国交通运输物流发展情况(4)
1.3.1我国交通运输物流系统建设情况(4)
1.3.2我国交通运输物流信息化发展情况(5)
1.4国内外交通运输物流大数据研究进展(6)
1.4.1国外交通大数据研究进展(6)
1.4.2国内交通大数据研究进展(7)
1.4.3大数据在交通运输物流行业中的应用(8)
1.5交通运输物流领域数据分析的问题(9)
1.6本章小结(11)
2大数据分析平台软件技术基础架构(12)
2.1大数据基础技术框架简介(12)
2.1.1分布式存储(12)
2.1.2分布式计算(13)
2.1.3实时计算(14)
2.1.4资源调度管理(15)
2.2大数据基础软件技术架构设计(16)
2.2.1设计原则(17)
2.2.2大数据分析平台软件基础架构设计方案(19)
2.3本章小结(49)
3交通运输物流大数据的数据组织与描述(51)
3.1泛数据生态圈(51)
3.2大数据资源的存储模式(53)
3.2.1大数据特征(53)
3.2.2交通运输物流大数据的数据存储模式(55)
3.3基于本体的交通运输物流领域知识描述方法(58)
3.3.1相关理论(59)
3.3.2交通运输物流领域大数据本体的构建(63)
3.4本章小结(68)
4交通运输物流领域流式数据实时分析与应用(69)
4.1流式数据实时分析方法(69)
4.1.1流式数据的定义(69)
4.1.2流式数据的特点(70)
4.1.3流式数据抽样统计方法(70)
4.1.4流式数据聚类方法(73)
4.2流式数据实时分析在交通运输物流领域中的应用(77)
4.2.1应用1：基于CluStream的交通运输物流活动热点实时分析(77)
4.2.2应用2：大规模流式数据环境下车货实时匹配分析(83)
4.3本章小结(98)
5交通运输物流领域离线数据并行计算与应用(99)
5.1基于MapReduce的交通运输物流热点词词频统计方法(99)
5.2基于非结构化文本分类的交通运输物流资讯新闻导览方法(105)
5.2.1文本分类技术综述(106)
5.2.2文本训练(112)
5.2.3文本分类(113)
5.2.4交通运输物流资讯分类导览系统的实现(114)
5.3大数据环境下的物流企业信用评价方法(118)
5.3.1应用背景与意义(118)
5.3.2物流企业信用评价方法(119)
5.3.3大数据环境下的物流企业信用评价指标(124)
5.3.4数据收集系统(132)
5.4本章小结(139)
6总结(141)
参考文献(144)
附录(154)
附录A“法律文书”文本分析源代码(154)
附录B物流企业信用评价数据表(部分)(161)
附录C信用等级与对应评分表(166)

大数据背景下的相关问题已引起了信息、学术、产业、金融甚至政府机构的广泛关注，推动了大数据技术和应用的空前繁荣。在交通运输物流领域，我国不仅已经成为一个交通大国，同时也是交通数据大国。
为有效实现对交通运输物流大数据的整合与应用，以及对数据产品及软件产品的增值，针对交通运输物流数据特点及对大规模数据离线处理和实时分析的迫切需要，本书对大数据分析平台软件架构方案进行了设计，对大数据环境下交通运输物流领域数据资源存储、计算和资源调度管理、离线数据并行计算和在线数据实时计算等方法进行剖析，实现了实时热力分析、车货信息资源实时匹配、热点词分析、物流企业信用评价等典型的交通运输物流领域大数据应用，受限于数据的规模和来源的局限性，本书提出的相关方法和模型在实际应用中还需要根据实际应用场景进行适当的改进，相关架构设计方案、数据分析方法和模型具有一定的理论指导意义和参考价值。
本书的主要研究内容如下。
(1) 为了满足交通运输物流领域大数据的离线与实时分析的需求，设计了一种大数据平台软件基础架构，该架构主要由分别负责离线数据分布式存储和并行计算的Batch Layer、为不同的应用提供高速用户数据视图的View Layer以及负责为流式数据提供消息队列并进行实时计算的Speed Layer组成，该软件基础框架可以应用在不同的大数据环境下，提高大数据的分析能力与开发效率。
(2) 结合分布式实时计算框架提出了一种基于CluStream流式聚类算法的交通运输物流活动区域热度实时分析方法，该方法针对流式数据实时性强和无限流入等特点，对运输车辆活动数据流基于“金字塔”时间窗口方法进行抽样与聚类分析，得到不同区域的物流活动的热度指标，该方法不仅能够解决无限流入数据存储空间效率低下的问题，也能够满足交通运输物流流式数据在进行相关分析的实时性要求。
(3) 为了提高物流公共信息平台中货运供需信息资源的匹配效率，本书结合分布式实时计算框架，建立了一种车货供需匹配数学模型，并使用改进的量子进化算法对此问题求解，实验结果表明量子进化算法表现出更好的收敛速度、准确性和稳定性，可以高效地搜索到较为优秀的车货信息资源匹配方案，为车主和货主推荐较为合理的车货供需信息资源。
(4) 结合分布式并行计算框架和非结构化文本分析技术，提出了基于MapReduce的词频统计与文本分类方法，并应用在交通运输物流热点词分析和交通运输物流新闻资讯分类导览系统中，该方法能够有效提高管理决策者对交通运输物流领域信息和知识的收集分析能力。
(5) 为了在大数据背景下更全面地分析物流企业的信用，引入了第三方评价好评率和涉案胜诉率等新的信用评价指标并结合传统指标建立了物流企业信用评价体系，通过网络爬虫收集各级人民法院公开公示的法律文书文本内容，从中抽取案件相关信息用于统计相关物流企业的涉案胜诉率，并提出了基于MG算法的第三方评价特征抽取方法，解决了大规模文本特征分析效率低下的问题。该方法对于构建科学、有效和可行的物流企业信用评价体系具有一定的现实意义。
随着交通运输领域的信息化发展和大数据技术的日新月异，相关技术方法仍然有很大的发展空间，本书的内容在今后的研究中需要进行不断改进，敬请广大读者多提宝贵意见。
本书受教育部人文社会科学研究项目(18YJC630124)和辽宁省教育厅科技研究项目(L2014203)资助出版。本书内容第1章由大连科技学院蒋晶晶编写，其余内容由大连海事大学牟向伟编写。