互联网数据采集技术与应用

互联网数据采集技术与应用
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
2022-11
版次: 1
ISBN: 9787302619109
定价: 49.00
装帧: 其他
开本: 16开
纸张: 胶版纸
  • 本书基于“基础知识”
      “代码示例”
      “应用案例”的模式编写,共包括 7个项目。项目 1主要介绍互联网数据采集的入门知识;项目 2通过一个入门级的简单案例,介绍互联网数据采集的基本流程;项目 3通过一个进阶的案例,详细介绍在没有给出官方开放 API的情况下,如何通过抓包工具获取 XHR请求地址;项目 4主要介绍 HTML文档数据的采集,对 HTML进行解析,以及如何提取数据的属性与文本;项目 5主要讲解批量获取数据的整理与合并技巧;项目 6重点讲解如何通过 Python的 pymysql库对 MySQL进行读写;项目 7给出了对半结构化数据进行处理的最佳实践。  本书内容条理清晰、案例丰富,可以作为职业院校大数据、人工智能、云计算等相关专业的教材,也可以作为行业从业人员的参考用书。
      本书封面贴有清华大学出版社防伪标签,无标签者不得销售。 项目 1.基础开发环境的安装与配置  1

    任务 1.1.通过 Anaconda3安装基础开发环境  4

    任务 1.2.常见问题与解决方案 13

    项目总结 20

    项目巩固与提高 20

    项目 2.通过国务院新闻网官方 API获取时政新闻  21

    任务 2.1.从开放的 API采集数据 23

    任务 2.2.将数据存储到 Excel文件 27

    项目总结 28

    项目巩固与提高 29

    项目 3.采集巨潮资讯网的股票财经信息  30

    任务 3.1. Chrome网络抓包工具的使用  33 

    任务 3.2. 通过截获 XHR请求采集数据 35 

    任务 3.3. 采集更多信息 41 

    项目总结 44

    项目巩固与提高 45 

    IV

    互联网数据采集技术与应用

    项目4 采集网络个性头像  46

    任务4.1 采集图片数据 52

    任务4.2 二进制数据的存储 60

    项目总结76

    项目巩固与提高77

    项目5 获取全国主要城市未来5 天的天气情况  78

    任务5.1 申请API 接口 79

    任务5.2 采集天气数据 81

    项目总结89

    项目巩固与提高90

    项目6 对多个MySQL 数据库进行数据整合  91

    任务6.1 数据读取与合并  104

    项目总结 109

    项目巩固与提高 110

    项目7 通过MongoDB 对半结构化Excel 数据进行高效存储  111

    任务7.1 MongoDB 安装  113

    任务7.2 MongoDB shell 工具  122

    任务7.3 pymongo 的安装与使用 124

    任务7.4 批量将Excel 数据存入MongoDB  128

    项目总结 130

    项目巩固与提高 130

    参考文献  131
  • 内容简介:
    本书基于“基础知识”
      “代码示例”
      “应用案例”的模式编写,共包括 7个项目。项目 1主要介绍互联网数据采集的入门知识;项目 2通过一个入门级的简单案例,介绍互联网数据采集的基本流程;项目 3通过一个进阶的案例,详细介绍在没有给出官方开放 API的情况下,如何通过抓包工具获取 XHR请求地址;项目 4主要介绍 HTML文档数据的采集,对 HTML进行解析,以及如何提取数据的属性与文本;项目 5主要讲解批量获取数据的整理与合并技巧;项目 6重点讲解如何通过 Python的 pymysql库对 MySQL进行读写;项目 7给出了对半结构化数据进行处理的最佳实践。  本书内容条理清晰、案例丰富,可以作为职业院校大数据、人工智能、云计算等相关专业的教材,也可以作为行业从业人员的参考用书。
      本书封面贴有清华大学出版社防伪标签,无标签者不得销售。
  • 目录:
    项目 1.基础开发环境的安装与配置  1

    任务 1.1.通过 Anaconda3安装基础开发环境  4

    任务 1.2.常见问题与解决方案 13

    项目总结 20

    项目巩固与提高 20

    项目 2.通过国务院新闻网官方 API获取时政新闻  21

    任务 2.1.从开放的 API采集数据 23

    任务 2.2.将数据存储到 Excel文件 27

    项目总结 28

    项目巩固与提高 29

    项目 3.采集巨潮资讯网的股票财经信息  30

    任务 3.1. Chrome网络抓包工具的使用  33 

    任务 3.2. 通过截获 XHR请求采集数据 35 

    任务 3.3. 采集更多信息 41 

    项目总结 44

    项目巩固与提高 45 

    IV

    互联网数据采集技术与应用

    项目4 采集网络个性头像  46

    任务4.1 采集图片数据 52

    任务4.2 二进制数据的存储 60

    项目总结76

    项目巩固与提高77

    项目5 获取全国主要城市未来5 天的天气情况  78

    任务5.1 申请API 接口 79

    任务5.2 采集天气数据 81

    项目总结89

    项目巩固与提高90

    项目6 对多个MySQL 数据库进行数据整合  91

    任务6.1 数据读取与合并  104

    项目总结 109

    项目巩固与提高 110

    项目7 通过MongoDB 对半结构化Excel 数据进行高效存储  111

    任务7.1 MongoDB 安装  113

    任务7.2 MongoDB shell 工具  122

    任务7.3 pymongo 的安装与使用 124

    任务7.4 批量将Excel 数据存入MongoDB  128

    项目总结 130

    项目巩固与提高 130

    参考文献  131
查看详情
12