Hadoop大数据处理与分析教程(慕课版)

Hadoop大数据处理与分析教程(慕课版)
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
2021-02
版次: 1
ISBN: 9787115530080
定价: 59.80
装帧: 平装
开本: 其他
纸张: 胶版纸
页数: 262页
字数: 469千字
  • 第1章绪论、第2章Linux操作系统的安装、第3章Hadoop的伪分布式安装、第4章Hadoop集群的搭建及配置、第5章Hadoop HDFS命令、第6章MapReduce编程入门、第7章Hive:SQL on Hadoop、第8章Sqoop:SQL to Hadoop、第9章HBase:HadoopDatabase、第10章Spark的介绍与安装、第11章综合案例——网络爬虫大数据分析 已经在我社出版多本程序设计类书籍,包括“技术方案宝典” “开发技术大全”“自学手册” “参考大全”等多个系列,大都取得比较好的市场反响。 第1章  绪论  1

    1.1 认识大数据 2

    1.1.1 大数据的定义 2

    1.1.2 大数据的特点 2

    1.1.3 大数据行业应用 3

    1.1.4 Hadoop与大数据 5

    1.1.5 其他大数据处理平台 5

    1.1.6 大数据人才 7

    1.2 什么是Hadoop 8

    1.2.1 Hadoop简介 8

    1.2.2 Hadoop的发展历史 8

    1.2.3 Hadoop的特点 9

    1.3 Hadoop核心 10

    1.3.1 分布式文件系统—HDFS 11

    1.3.2 分布式计算框架—MapReduce 13

    1.4 Hadoop常用组件 14

    1.5 Hadoop在国内外的应用情况 16

    小结 16

    习题 16

    第2章 Linux操作系统的安装 17

    2.1 VirtualBox虚拟机的安装 18

    2.1.1 VirtualBox的下载和安装 18

    2.1.2 设置VirtualBox存储文件夹 22

    2.1.3 在VirtualBox中创建虚拟机 24

    2.2 Linux操作系统简介 28

    2.2.1 概述 28

    2.2.2 特点 28

    2.2.3 Linux操作系统的组成 29

    2.2.4 Linux基本命令 31

    2.2.5 Linux操作系统的版本 34

    2.3 Linux操作系统(Ubuntu)的安装 34

    2.3.1 Linux操作系统(Ubuntu)的

     下载 34

    2.3.2 安装Ubuntu 36

    2.3.3 启动Ubuntu 41

    2.3.4 设置终端 42

    2.3.5 设置共享剪贴板 45

    2.3.6 设置共享文件夹 49

    小结 52

    习题 52

    第3章 Hadoop的伪分布式

    安装 53

    3.1 JDK的检查与安装 54

    3.1.1 检查是否安装JDK 54

    3.1.2 安装JDK 54

    3.2 配置SSH无密码登录 58

    3.3 Hadoop的下载与安装 61

    3.3.1 Hadoop的安装模式 61

    3.3.2 Hadoop的下载 62

    3.3.3 Hadoop的安装 63

    3.3.4 配置Hadoop前准备 65

    3.4 Hadoop环境配置 66

    3.4.1 设置Hadoop环境变量 66

    3.4.2 修改Hadoop配置文件 68

    3.4.3 创建并格式化文件系统 73

    3.5 启动Hadoop 73

    3.6 查看HDFS Web页面 75

    3.7 查看YARN Web页面 76

    小结 77

    习题 77

    第4章 Hadoop集群的搭建及

    配置 78

    4.1 Hadoop集群中节点角色 79

    4.2 设置集群前的准备工作 80

    4.2.1 集群中节点的规划 80

    4.2.2 设置网络 81

    4.3 设置服务器 83

    4.3.1 设置Master服务器 83

    4.3.2 复制虚拟机 89

    4.3.3 设置Slave服务器 92

    4.3.4 设置Master服务器到Slave服务器的SSH无密码登 95

    4.3.5 格式化文件系统 96

    4.4 启动和关闭Hadoop集群 97

    4.4.1 启动和关闭Hadoop集群 97

    4.4.2 验证Hadoop集群是否启动成功 98

    4.5 查看Hadoop集群的基本信息 99

    4.5.1 查看集群的HDFS信息 99

    4.5.2 查看集群的YARN信息 101

    4.6 在Hadoop集群中运行程序 102

    小结 103

    习题 103

    第5章 Hadoop HDFS命令 104

    5.1 HDFS常用命令总览 105

    5.2 创建与查看HDFS目录 105

    5.2.1 创建HDFS目录 105

    5.2.2 查看HDFS目录 106

    5.3 本地计算机和HDFS之间的文件

     复制 107

    5.3.1 从本地计算机复制文件到

     HDFS 107

    5.3.2 将HDFS上的文件复制到本地

     计算机 110

    5.4 复制与删除HDFS文件 112

    5.5 查看HDFS文件内容 113

    小结 114

    习题 114

    第6章 MapReduce编程

    入门 115

    6.1 认识MapReduce 116

    6.1.1 MapReduce的编程思想 116

    6.1.2 MapReduce的运行环境 118

    6.2 使用Eclipse创建MapReduce工程 122

    6.2.1 下载与安装Eclipse 122

    6.2.2 配置MapReduce环境 127

    6.3 第一个MapReduce程序:

     WordCount 131

    6.3.1 WordCount的设计思路 131

    6.3.2 编写WordCount 132

    6.3.3 分析WordCount程序 140

    6.3.4 运行程序 142

    小结 144

    习题 144

    第7章 Hive 145

    7.1 Hive简介 146

    7.1.1 什么是Hive 146

    7.1.2 为什么使用Hive 146

    7.1.3 Hive的体系结构 146

    7.1.4 Hive与关系型数据库的区别 147

    7.2 安装元数据库 148

    7.2.1 下载和安装MySQL数据库 148

    7.2.2 登录MySQL数据库 153

    7.2.3 使用MySQL数据库 153

    7.3 安装与配置Hive 156

    7.3.1 准备工作 156

    7.3.2 下载Hive 156

    7.3.3 安装Hive 157

    7.3.4 配置Hive 158

    7.3.5 启动并验证Hive 161

    7.4 数据类型和存储格式 162

    7.4.1 基本数据类型 162

    7.4.2 复杂数据类型 162

    7.4.3 存储格式 163

    7.4.4 数据格式 163

    7.5 Hive中的数据定义 164

    7.5.1 操作数据库 164

    7.5.2 查看与创建数据表 166

    7.5.3 Hive中其他的数据表 169

    7.5.4 修改数据表 170

    7.5.5 删除数据表 171

    7.6 Hive中的数据操作 171

    7.6.1 加载数据 171

    7.6.2 插入数据 174

    7.6.3 导出数据 178

    小结 179

    习题 179

    第8章 Sqoop 180

    8.1 安装并配置Sqoop 181

    8.1.1 下载并安装Sqoop 181

    8.1.2 配置Sqoop 183

    8.1.3 验证Sqoop 185

    8.1.4 测试Sqoop与MySQL的连接 185

    8.2 Sqoop命令 186

    8.3 Sqoop导入 188

    8.3.1 使用Sqoop把MySQL数据导入HDFS 189

    8.3.2 使用Sqoop把MySQL数据导入Hive 191

    8.3.3 有选择地导入数据 192

    8.4 Sqoop导出 193

    8.4.1 使用Sqoop将Hadoop数据导出到MySQL 194

    8.4.2 使用Sqoop将Hive数据导出到MySQL 195

    小结 197

    习题 197

    第9章 HBase 198

    9.1 ZooKeeper集群的安装与配置 199

    9.1.1 ZooKeeper简介 199

    9.1.2 ZooKeeper安装 199

    9.1.3 配置ZooKeeper集群 201

    9.1.4 启动ZooKeeper集群 204

    9.2 HBase集群的安装与配置 206

    9.2.1 下载并安装HBase 206

    9.2.2 配置HBase 207

    9.2.3 启动并验证HBase 211

    9.3 HBase的基本应用 212

    9.3.1 创建表 212

    9.3.2 插入数据 213

    9.3.3 扫描全表的数据 213

    9.3.4 获取某一行的数据 213

    9.3.5 删除表 213

    小结 213

    习题 214

    第10章 Spark的介绍与

    安装 215

    10.1 Spark概述 216

    10.1.1 Spark系统架构 216

    10.1.2 Spark运行流程 217

    10.2 安装与配置Scala 218

    10.2.1 下载Scala 218

    10.2.2 安装Scala 219

    10.2.3 启动与应用Scala 220

    10.3 安装与配置Spark 222

    10.3.1 安装模式 222

    10.3.2 安装Spark 222

    10.3.3 配置环境变量 224

    10.3.4 启动并验证Spark 226

    10.4 运行Spark程序 227

    小结 228

    习题 228

    第11章 综合案例—网络爬虫大数据分析 229

    11.1 网络爬虫概述 230

    11.1.1 网络爬虫 230

    11.1.2 网络爬虫—快手爬票 230

    11.1.3 开发语言选择 231

    11.2 搭建Python开发环境 231

    11.2.1 开发环境概述 231

    11.2.2 安装Python 232

    11.3 搭建Qt环境 235

    11.3.1 安装Qt 235

    11.3.2 安装PyCharm开发工具 237

     11.4 主窗体设计 244

    11.4.1 Qt拖曳控件 244

    11.4.2 代码调试细节 248

    11.5 分析网页请求参数 251

    11.6 下载站名文件 253

    11.7 车票信息的请求与显示 255

    11.7.1 发送与分析车票信息的查询

     请求 255

    11.7.2 主窗体中显示查票信息 258

    11.8 Hadoop中的网络爬虫 261

    小结 262

    习题 262
  • 内容简介:
    第1章绪论、第2章Linux操作系统的安装、第3章Hadoop的伪分布式安装、第4章Hadoop集群的搭建及配置、第5章Hadoop HDFS命令、第6章MapReduce编程入门、第7章Hive:SQL on Hadoop、第8章Sqoop:SQL to Hadoop、第9章HBase:HadoopDatabase、第10章Spark的介绍与安装、第11章综合案例——网络爬虫大数据分析
  • 作者简介:
    已经在我社出版多本程序设计类书籍,包括“技术方案宝典” “开发技术大全”“自学手册” “参考大全”等多个系列,大都取得比较好的市场反响。
  • 目录:
    第1章  绪论  1

    1.1 认识大数据 2

    1.1.1 大数据的定义 2

    1.1.2 大数据的特点 2

    1.1.3 大数据行业应用 3

    1.1.4 Hadoop与大数据 5

    1.1.5 其他大数据处理平台 5

    1.1.6 大数据人才 7

    1.2 什么是Hadoop 8

    1.2.1 Hadoop简介 8

    1.2.2 Hadoop的发展历史 8

    1.2.3 Hadoop的特点 9

    1.3 Hadoop核心 10

    1.3.1 分布式文件系统—HDFS 11

    1.3.2 分布式计算框架—MapReduce 13

    1.4 Hadoop常用组件 14

    1.5 Hadoop在国内外的应用情况 16

    小结 16

    习题 16

    第2章 Linux操作系统的安装 17

    2.1 VirtualBox虚拟机的安装 18

    2.1.1 VirtualBox的下载和安装 18

    2.1.2 设置VirtualBox存储文件夹 22

    2.1.3 在VirtualBox中创建虚拟机 24

    2.2 Linux操作系统简介 28

    2.2.1 概述 28

    2.2.2 特点 28

    2.2.3 Linux操作系统的组成 29

    2.2.4 Linux基本命令 31

    2.2.5 Linux操作系统的版本 34

    2.3 Linux操作系统(Ubuntu)的安装 34

    2.3.1 Linux操作系统(Ubuntu)的

     下载 34

    2.3.2 安装Ubuntu 36

    2.3.3 启动Ubuntu 41

    2.3.4 设置终端 42

    2.3.5 设置共享剪贴板 45

    2.3.6 设置共享文件夹 49

    小结 52

    习题 52

    第3章 Hadoop的伪分布式

    安装 53

    3.1 JDK的检查与安装 54

    3.1.1 检查是否安装JDK 54

    3.1.2 安装JDK 54

    3.2 配置SSH无密码登录 58

    3.3 Hadoop的下载与安装 61

    3.3.1 Hadoop的安装模式 61

    3.3.2 Hadoop的下载 62

    3.3.3 Hadoop的安装 63

    3.3.4 配置Hadoop前准备 65

    3.4 Hadoop环境配置 66

    3.4.1 设置Hadoop环境变量 66

    3.4.2 修改Hadoop配置文件 68

    3.4.3 创建并格式化文件系统 73

    3.5 启动Hadoop 73

    3.6 查看HDFS Web页面 75

    3.7 查看YARN Web页面 76

    小结 77

    习题 77

    第4章 Hadoop集群的搭建及

    配置 78

    4.1 Hadoop集群中节点角色 79

    4.2 设置集群前的准备工作 80

    4.2.1 集群中节点的规划 80

    4.2.2 设置网络 81

    4.3 设置服务器 83

    4.3.1 设置Master服务器 83

    4.3.2 复制虚拟机 89

    4.3.3 设置Slave服务器 92

    4.3.4 设置Master服务器到Slave服务器的SSH无密码登 95

    4.3.5 格式化文件系统 96

    4.4 启动和关闭Hadoop集群 97

    4.4.1 启动和关闭Hadoop集群 97

    4.4.2 验证Hadoop集群是否启动成功 98

    4.5 查看Hadoop集群的基本信息 99

    4.5.1 查看集群的HDFS信息 99

    4.5.2 查看集群的YARN信息 101

    4.6 在Hadoop集群中运行程序 102

    小结 103

    习题 103

    第5章 Hadoop HDFS命令 104

    5.1 HDFS常用命令总览 105

    5.2 创建与查看HDFS目录 105

    5.2.1 创建HDFS目录 105

    5.2.2 查看HDFS目录 106

    5.3 本地计算机和HDFS之间的文件

     复制 107

    5.3.1 从本地计算机复制文件到

     HDFS 107

    5.3.2 将HDFS上的文件复制到本地

     计算机 110

    5.4 复制与删除HDFS文件 112

    5.5 查看HDFS文件内容 113

    小结 114

    习题 114

    第6章 MapReduce编程

    入门 115

    6.1 认识MapReduce 116

    6.1.1 MapReduce的编程思想 116

    6.1.2 MapReduce的运行环境 118

    6.2 使用Eclipse创建MapReduce工程 122

    6.2.1 下载与安装Eclipse 122

    6.2.2 配置MapReduce环境 127

    6.3 第一个MapReduce程序:

     WordCount 131

    6.3.1 WordCount的设计思路 131

    6.3.2 编写WordCount 132

    6.3.3 分析WordCount程序 140

    6.3.4 运行程序 142

    小结 144

    习题 144

    第7章 Hive 145

    7.1 Hive简介 146

    7.1.1 什么是Hive 146

    7.1.2 为什么使用Hive 146

    7.1.3 Hive的体系结构 146

    7.1.4 Hive与关系型数据库的区别 147

    7.2 安装元数据库 148

    7.2.1 下载和安装MySQL数据库 148

    7.2.2 登录MySQL数据库 153

    7.2.3 使用MySQL数据库 153

    7.3 安装与配置Hive 156

    7.3.1 准备工作 156

    7.3.2 下载Hive 156

    7.3.3 安装Hive 157

    7.3.4 配置Hive 158

    7.3.5 启动并验证Hive 161

    7.4 数据类型和存储格式 162

    7.4.1 基本数据类型 162

    7.4.2 复杂数据类型 162

    7.4.3 存储格式 163

    7.4.4 数据格式 163

    7.5 Hive中的数据定义 164

    7.5.1 操作数据库 164

    7.5.2 查看与创建数据表 166

    7.5.3 Hive中其他的数据表 169

    7.5.4 修改数据表 170

    7.5.5 删除数据表 171

    7.6 Hive中的数据操作 171

    7.6.1 加载数据 171

    7.6.2 插入数据 174

    7.6.3 导出数据 178

    小结 179

    习题 179

    第8章 Sqoop 180

    8.1 安装并配置Sqoop 181

    8.1.1 下载并安装Sqoop 181

    8.1.2 配置Sqoop 183

    8.1.3 验证Sqoop 185

    8.1.4 测试Sqoop与MySQL的连接 185

    8.2 Sqoop命令 186

    8.3 Sqoop导入 188

    8.3.1 使用Sqoop把MySQL数据导入HDFS 189

    8.3.2 使用Sqoop把MySQL数据导入Hive 191

    8.3.3 有选择地导入数据 192

    8.4 Sqoop导出 193

    8.4.1 使用Sqoop将Hadoop数据导出到MySQL 194

    8.4.2 使用Sqoop将Hive数据导出到MySQL 195

    小结 197

    习题 197

    第9章 HBase 198

    9.1 ZooKeeper集群的安装与配置 199

    9.1.1 ZooKeeper简介 199

    9.1.2 ZooKeeper安装 199

    9.1.3 配置ZooKeeper集群 201

    9.1.4 启动ZooKeeper集群 204

    9.2 HBase集群的安装与配置 206

    9.2.1 下载并安装HBase 206

    9.2.2 配置HBase 207

    9.2.3 启动并验证HBase 211

    9.3 HBase的基本应用 212

    9.3.1 创建表 212

    9.3.2 插入数据 213

    9.3.3 扫描全表的数据 213

    9.3.4 获取某一行的数据 213

    9.3.5 删除表 213

    小结 213

    习题 214

    第10章 Spark的介绍与

    安装 215

    10.1 Spark概述 216

    10.1.1 Spark系统架构 216

    10.1.2 Spark运行流程 217

    10.2 安装与配置Scala 218

    10.2.1 下载Scala 218

    10.2.2 安装Scala 219

    10.2.3 启动与应用Scala 220

    10.3 安装与配置Spark 222

    10.3.1 安装模式 222

    10.3.2 安装Spark 222

    10.3.3 配置环境变量 224

    10.3.4 启动并验证Spark 226

    10.4 运行Spark程序 227

    小结 228

    习题 228

    第11章 综合案例—网络爬虫大数据分析 229

    11.1 网络爬虫概述 230

    11.1.1 网络爬虫 230

    11.1.2 网络爬虫—快手爬票 230

    11.1.3 开发语言选择 231

    11.2 搭建Python开发环境 231

    11.2.1 开发环境概述 231

    11.2.2 安装Python 232

    11.3 搭建Qt环境 235

    11.3.1 安装Qt 235

    11.3.2 安装PyCharm开发工具 237

     11.4 主窗体设计 244

    11.4.1 Qt拖曳控件 244

    11.4.2 代码调试细节 248

    11.5 分析网页请求参数 251

    11.6 下载站名文件 253

    11.7 车票信息的请求与显示 255

    11.7.1 发送与分析车票信息的查询

     请求 255

    11.7.2 主窗体中显示查票信息 258

    11.8 Hadoop中的网络爬虫 261

    小结 262

    习题 262
查看详情
12
相关图书 / 更多
Hadoop大数据处理与分析教程(慕课版)
Hardy-Landau圆内整点问题(精)/现代数学中的著名定理纵横谈丛书
王梓坤 著;刘培杰数学工作室 编
Hadoop大数据处理与分析教程(慕课版)
Hadoop大数据平台技术与应用
孙风栋 著
Hadoop大数据处理与分析教程(慕课版)
Hadoop+Spark+Python大数据处理从算法到实战
朱春旭
Hadoop大数据处理与分析教程(慕课版)
HarmonyOS IoT设备开发实战(鸿蒙操作系统开发)
江苏润和软件股份有限公司
Hadoop大数据处理与分析教程(慕课版)
Hadoop技术与应用(高职)
魏迎
Hadoop大数据处理与分析教程(慕课版)
Hadoop理论与实践
北京百里半网络技术有限公司;李平
Hadoop大数据处理与分析教程(慕课版)
Harbor权威指南:容器镜像、HelmChart等云原生制品的管理与实践(博文视点出品)
张海宁、邹佳、王岩、尹文开、任茂盛 著
Hadoop大数据处理与分析教程(慕课版)
Hadoop应用开发与案例实战(慕课版)
穆建平、王建、商程 著
Hadoop大数据处理与分析教程(慕课版)
Hadoop大数据处理技术基础与实践(第2版)(微课版)
安俊秀、靳宇倡、郭英 著
Hadoop大数据处理与分析教程(慕课版)
Hadoop/Spark大数据机器学习
翟俊海;张素芳
Hadoop大数据处理与分析教程(慕课版)
Harvard哈佛商业评论(2020年增刊)——中国式管理探索2019年获奖案例集
《哈弗商业评论》 著
Hadoop大数据处理与分析教程(慕课版)
Hadoop 3实战指南
孙志伟