数据采集与预处理

数据采集与预处理
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者: ,
2019-11
版次: 1
ISBN: 9787115519153
定价: 39.80
装帧: 平装
开本: 16开
页数: 184页
63人买过
  • 本书以任务驱动为主线,围绕企业级应用进行项目任务设计,主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践,全面地讲述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技术,以及urllib、Selenium基本库和BeautifulSoup解析库的相关知识与应用案例。
    本书内容实用,可操作性强,语言精练、通俗易懂,可作为高等院校计算机应用技术、大数据技术与应用、软件技术、云计算技术与应用等计算机相关专业的教材,也可作为大数据分析、云计算应用领域技术人员的参考用书。 米洪,主持省级项目3项;发表北大核心论文5篇;学院交通物联网技术科技创新团队骨干成员;江苏省高等职业院校教师专业带头人访问学者(东南大学);江苏省高校“青蓝工程”优秀中青年骨干教师。 项目1
    数据采集与预处理准备 1
    学习目标 1
    项目描述 1
    任务1 认识数据采集技术,熟悉数据采集平台 1
    任务描述 1
    任务目标 2
    知识准备 2
    任务实施 10
    任务2 认识数据预处理技术 13
    任务描述 13
    任务目标 13
    知识准备 13
    任务实施 19

    项目2
    网络爬虫实践 24
    学习目标 24
    项目描述 24
    任务1 使用urllib爬取北京公交线路信息 24
    任务描述 24
    任务目标 25
    知识准备 25
    任务实施 48
    任务2 使用Selenium爬取淘宝网站信息 58
    任务描述 58
    任务目标 58
    知识准备 58
    任务实施 69
    任务3 使用Scrapy爬取北京公交信息 75
    任务描述 75
    任务目标 75
    知识准备 75
    任务实施 78
    任务4 创新与拓展 86
    任务描述 86
    任务目标 86

    项目3
    日志数据采集实践 87
    学习目标 87
    项目描述 87
    任务1 Flume的安装和配置 87
    任务描述 87
    任务目标 88
    知识准备 88
    任务实施 95
    任务2 Flume采集数据上传到集群 105
    任务描述 105
    任务目标 106
    知识准备 106
    任务实施 110
    任务3 创新与拓展 118
    任务描述 118
    任务目标 118

    项目4
    数据预处理实践 119
    学习目标 119
    项目描述 119
    任务1 用Pig进行数据预处理 119
    任务描述 119
    任务目标 120
    知识准备 120
    任务实施 134
    任务2 用Kettle进行数据预处理 137
    任务描述 137
    任务目标 137
    知识准备 137
    任务实施 139
    任务3 用Pandas进行数据预处理 150
    任务描述 150
    任务目标 150
    知识准备 150
    任务实施 153
    任务4 用OpenRefine进行数据预处理 155
    任务描述 155
    任务目标 155
    知识准备 155
    任务实施 157
    任务5 用Flume Interceptor对日志信息进行数据预处理 162
    任务描述 162
    任务目标 163
    知识准备 163
    任务实施 167
    任务6 创新与拓展 176
    任务描述 176
    任务目标 176
  • 内容简介:
    本书以任务驱动为主线,围绕企业级应用进行项目任务设计,主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践,全面地讲述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技术,以及urllib、Selenium基本库和BeautifulSoup解析库的相关知识与应用案例。
    本书内容实用,可操作性强,语言精练、通俗易懂,可作为高等院校计算机应用技术、大数据技术与应用、软件技术、云计算技术与应用等计算机相关专业的教材,也可作为大数据分析、云计算应用领域技术人员的参考用书。
  • 作者简介:
    米洪,主持省级项目3项;发表北大核心论文5篇;学院交通物联网技术科技创新团队骨干成员;江苏省高等职业院校教师专业带头人访问学者(东南大学);江苏省高校“青蓝工程”优秀中青年骨干教师。
  • 目录:
    项目1
    数据采集与预处理准备 1
    学习目标 1
    项目描述 1
    任务1 认识数据采集技术,熟悉数据采集平台 1
    任务描述 1
    任务目标 2
    知识准备 2
    任务实施 10
    任务2 认识数据预处理技术 13
    任务描述 13
    任务目标 13
    知识准备 13
    任务实施 19

    项目2
    网络爬虫实践 24
    学习目标 24
    项目描述 24
    任务1 使用urllib爬取北京公交线路信息 24
    任务描述 24
    任务目标 25
    知识准备 25
    任务实施 48
    任务2 使用Selenium爬取淘宝网站信息 58
    任务描述 58
    任务目标 58
    知识准备 58
    任务实施 69
    任务3 使用Scrapy爬取北京公交信息 75
    任务描述 75
    任务目标 75
    知识准备 75
    任务实施 78
    任务4 创新与拓展 86
    任务描述 86
    任务目标 86

    项目3
    日志数据采集实践 87
    学习目标 87
    项目描述 87
    任务1 Flume的安装和配置 87
    任务描述 87
    任务目标 88
    知识准备 88
    任务实施 95
    任务2 Flume采集数据上传到集群 105
    任务描述 105
    任务目标 106
    知识准备 106
    任务实施 110
    任务3 创新与拓展 118
    任务描述 118
    任务目标 118

    项目4
    数据预处理实践 119
    学习目标 119
    项目描述 119
    任务1 用Pig进行数据预处理 119
    任务描述 119
    任务目标 120
    知识准备 120
    任务实施 134
    任务2 用Kettle进行数据预处理 137
    任务描述 137
    任务目标 137
    知识准备 137
    任务实施 139
    任务3 用Pandas进行数据预处理 150
    任务描述 150
    任务目标 150
    知识准备 150
    任务实施 153
    任务4 用OpenRefine进行数据预处理 155
    任务描述 155
    任务目标 155
    知识准备 155
    任务实施 157
    任务5 用Flume Interceptor对日志信息进行数据预处理 162
    任务描述 162
    任务目标 163
    知识准备 163
    任务实施 167
    任务6 创新与拓展 176
    任务描述 176
    任务目标 176
查看详情
相关图书 / 更多
数据采集与预处理
数据中心经营之道 唐汝林 等
唐汝林 等
数据采集与预处理
数据管理十讲 袁野 崔斌 李战怀 等
袁野 崔斌 李战怀 等
数据采集与预处理
数据要素教程
杨东 白银 著
数据采集与预处理
数据驱动式教学:如何科学、有效、系统地提高学生成绩(深度剖析教学数据,助力教学决策,实时洞察学习动态,精准教学)
(美)罗伯特·J. 马扎诺,菲利普·B. 沃里克,卡梅伦·L. 雷恩斯 ,理查德·杜富尔著,张庆彬译; 中青文 出品
数据采集与预处理
数据确权的理论基础探索
彭诚信、史晓宇 著
数据采集与预处理
数据经济学
赵昌文,戎珂
数据采集与预处理
数据库原理与实践(MySQL版)()
杨俊杰,刘忠艳主编
数据采集与预处理
数据挖掘竞赛实战:方法与案例
许可乐
数据采集与预处理
数据要素估值
刘赛红、吕颖毅、王连军
数据采集与预处理
数据驱动的物流选址与调度模型及其实践
木仁 徐志强
数据采集与预处理
数据与人工智能驱动型公司:用数据和人工智能升级企业
(西) 理查德·本杰明(Richard Benjamins)
数据采集与预处理
数据库管理系统原理与实现
杜小勇、陈红、卢卫