爬虫实战:从数据到产品贺思聪书籍

●第1章 基础知识1 1.1 什么是爬虫1 1.2 数据获取渠道2 1.3 抓包分析工具4 1.4 爬虫和反爬虫的斗争5 1.5 数据处理、分析和可视化20 1.6 延深阅读21 第2章 基于位置信息的爬虫Ⅰ23 2.1 背景及目标23 2.2 爬虫原理24 2.3 数据来源分析26 2.4 简单的矩形区域爬取方式38 2.5 高级区域爬取方式46 2.6 坐标转换49 2.7 存储数据的方式49 2.8 数据导入51 2.9 基本数据分析52 2.10 地图可视化56 2.11 轨迹可视化58 2.12 总结60 第3章 基于位置信息的爬虫Ⅱ62 3.1 背景及目标62 3.2 爬虫原理62 3.3 优化方案一71 3.4 优化方案二75 3.5 优化方案三82 3.6 导入数据到数据库97 3.7 基本数据分析及可视化100 3.8 总结117 第4章 网站信息爬取及可视化118 4.1 背景及目标118 4.2 网站API分析118 4.3 数据爬取122 4.4 数据导入129 4.5 数据分析及可视化133 4.6 总结173 第5章 基于逆向分析小程序的爬虫174 5.1 背景及目标174 5.2 数据来源分析176 5.3 数据爬取方案177 5.4 转换数据格式195 5.5 总结196 第6章 从数据到产品197 6.1 从一张机票说起197 6.2 从价值探索到交付落地201 6.3 数据爬取203 6.4 爬虫架构设计203 6.5 发现数据的价值211 6.6 创新的不确定性223 6.7 产品设计226 6.8 产品交付235 6.9 总结236