Spark编程基础
出版时间:
2018-07
版次:
1
ISBN:
9787115475985
定价:
49.80
装帧:
平装
开本:
16开
纸张:
胶版纸
正文语种:
简体中文
42人买过
-
本书以Scala作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识。全书共7章,内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。
"林子雨
厦门大学计算机科学系教师。2013年度和2017年度厦门大学教学类奖教金获得者。中国计算机学会数据库专业委员会委员,中国计算机学会信息系统专业委员会委员,厦门大学数据库实验室负责人,数据中国“百校工程”教育部专家组成员。国内高校“数字教师”的提出者和建设者,编著出版了国内高校系统介绍大数据知识的专业教材《大数据技术原理与应用》,成为国内众多高校开课教材,同时建设了国内高校大数据课程公共服务平台,为教师教学和学生学习大数据课程免费提供全方位、一站式服务,平台每年访问量超过100万次,成为国内高校大数据教学知名系列。
" 第1章 大数据技术概述 1
1.1 大数据的概念与关键技术 2
1.1.1 大数据的概念 2
1.1.2 大数据关键技术 2
1.2 代表性大数据技术 4
1.2.1 Hadoop 4
1.2.2 Spark 8
1.2.3 Flink 10
1.2.4 Beam 11
1.3 编程语言的选择 12
1.4 在线资源 13
1.5 本章小结 14
1.6 习题 14
实验1 Linux系统的安装和常用命令 15
一、实验目的 15
二、实验平台 15
三、实验内容和要求 15
四、实验报告 16
第2章 Spark的设计与运行原理 17
2.1 概述 18
2.2 Spark生态系统 19
2.3 Spark运行架构 20
2.3.1 基本概念 20
2.3.2 架构设计 21
2.3.3 Spark运行基本流程 22
2.3.4 RDD的设计与运行原理 23
2.4 Spark的部署方式 32
2.5 本章小结 33
2.6 习题 34
第3章 Spark环境搭建和使用方法 35
3.1 安装Spark 36
3.1.1 基础环境 36
3.1.2 下载安装文件 36
3.1.3 配置相关文件 37
3.1.4 Spark和Hadoop的交互 38
3.2 在spark-shell中运行代码 38
3.2.1 spark-shell命令 39
3.2.2 启动spark-shell 40
3.3 开发Spark独立应用程序 40
3.3.1 安装编译打包工具 41
3.3.2 编写Spark应用程序代码 42
3.3.3 编译打包 42
3.3.4 通过spark-submit运行程序 45
3.4 Spark集群环境搭建 45
3.4.1 集群概况 46
3.4.2 搭建Hadoop集群 46
3.4.3 在集群中安装Spark 47
3.4.4 配置环境变量 47
3.4.5 Spark的配置 47
3.4.6 启动Spark集群 48
3.4.7 关闭Spark集群 48
3.5 在集群上运行Spark应用程序 49
3.5.1 启动Spark集群 49
3.5.2 采用独立集群管理器 49
3.5.3 采用Hadoop YARN管理器 50
3.6 本章小结 51
3.7 习题 52
实验2 Spark和Hadoop的安装 52
一、实验目的 52
二、实验平台 52
三、实验内容和要求 52
四、实验报告 53
第4章 RDD编程 54
4.1 RDD编程基础 55
4.1.1 RDD创建 55
4.1.2 RDD操作 56
4.1.3 持久化 62
4.1.4 分区 63
4.1.5 一个综合实例 67
4.2 键值对RDD 69
4.2.1 键值对RDD的创建 69
4.2.2 常用的键值对转换操作 70
4.2.3 一个综合实例 74
4.3 数据读写 75
4.3.1 文件数据读写 76
4.3.2 读写HBase数据 78
4.4 综合实例 82
4.4.1 求TOP值 82
4.4.2 文件排序 84
4.4.3 二次排序 85
4.5 本章小结 87
实验3 RDD编程初级实践 87
一、实验目的 87
二、实验平台 87
三、实验内容和要求 87
四、实验报告 89
第5章 Spark SQL 90
5.1 Spark SQL简介 91
5.1.1 从Shark说起 91
5.1.2 Spark SQL架构 92
5.1.3 为什么推出Spark SQL 93
5.2 DataFrame概述 93
5.3 DataFrame的创建 94
5.4 DataFrame的保存 95
5.5 DataFrame的常用操作 96
5.6 从RDD转换得到DataFrame 97
5.6.1 利用反射机制推断RDD模式 98
5.6.2 使用编程方式定义RDD模式 99
5.7 使用Spark SQL读写数据库 101
5.7.1 通过JDBC连接数据库 101
5.7.2 连接Hive读写数据 103
5.8 本章小结 107
5.9 习题 107
实验4 Spark SQL编程初级实践 108
一、实验目的 108
二、实验平台 108
三、实验内容和要求 108
四、实验报告 109
第6章 Spark Streaming 110
6.1 流计算概述 111
6.1.1 静态数据和流数据 111
6.1.2 批量计算和实时计算 112
6.1.3 流计算概念 112
6.1.4 流计算框架 113
6.1.5 流计算处理流程 114
6.2 Spark Streaming 115
6.2.1 Spark Streaming设计 115
6.2.2 Spark Streaming与Storm的对比 116
6.2.3 从“Hadoop+Storm”架构转向Spark架构 117
6.3 DStream操作概述 118
6.3.1 Spark Streaming工作机制 118
6.3.2 编写Spark Streaming程序的基本步骤 119
6.3.3 创建StreamingContext对象 119
6.4 基本输入源 120
6.4.1 文件流 120
6.4.2 套接字流 122
6.4.3 RDD队列流 127
6.5 高级数据源 128
6.5.1 Kafka简介 129
6.5.2 Kafka准备工作 129
6.5.3 Spark准备工作 130
6.5.4 编写Spark Streaming程序使用Kafka数据源 131
6.6 转换操作 135
6.6.1 DStream无状态转换操作 135
6.6.2 DStream有状态转换操作 136
6.7 输出操作 140
6.7.1 把DStream输出到文本文件中 140
6.7.2 把DStream写入到关系数据库中 141
6.8 本章小结 143
6.9 习题 143
实验5 Spark Streaming编程初级实践 144
一、实验目的 144
二、实验平台 144
三、实验内容和要求 144
四、实验报告 145
第7章 Spark Mllib 146
7.1 基于大数据的机器学习 147
7.2 机器学习库MLlib概述 148
7.3 基本数据类型 149
7.3.1 本地向量 149
7.3.2 标注点 149
7.3.3 本地矩阵 150
7.4 机器学习流水线 151
7.4.1 流水线的概念 151
7.4.2 流水线工作过程 152
7.5 特征提取、转换和选择 153
7.5.1 特征提取 154
7.5.2 特征转换 156
7.5.3 特征选择 161
7.5.4 局部敏感哈希 162
7.6 分类算法 163
7.6.1 逻辑斯蒂回归分类器 163
7.6.2 决策树分类器 167
7.7 聚类算法 170
7.7.1 K-Means聚类算法 171
7.7.2 GMM聚类算法 173
7.8 协同过滤算法 175
7.8.1 推荐算法的原理 176
7.8.2 ALS算法 176
7.9 模型选择和超参数调整 180
7.9.1 模型选择工具 180
7.9.2 用交叉验证选择模型 181
7.10 本章小结 183
7.11 习题 183
实验6 Spark机器学习库MLlib编程实践 184
一、实验目的 184
二、实验平台 184
三、实验内容和要求 184
四、实验报告 185
参考文献 186
-
内容简介:
本书以Scala作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识。全书共7章,内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。
-
作者简介:
"林子雨
厦门大学计算机科学系教师。2013年度和2017年度厦门大学教学类奖教金获得者。中国计算机学会数据库专业委员会委员,中国计算机学会信息系统专业委员会委员,厦门大学数据库实验室负责人,数据中国“百校工程”教育部专家组成员。国内高校“数字教师”的提出者和建设者,编著出版了国内高校系统介绍大数据知识的专业教材《大数据技术原理与应用》,成为国内众多高校开课教材,同时建设了国内高校大数据课程公共服务平台,为教师教学和学生学习大数据课程免费提供全方位、一站式服务,平台每年访问量超过100万次,成为国内高校大数据教学知名系列。
"
-
目录:
第1章 大数据技术概述 1
1.1 大数据的概念与关键技术 2
1.1.1 大数据的概念 2
1.1.2 大数据关键技术 2
1.2 代表性大数据技术 4
1.2.1 Hadoop 4
1.2.2 Spark 8
1.2.3 Flink 10
1.2.4 Beam 11
1.3 编程语言的选择 12
1.4 在线资源 13
1.5 本章小结 14
1.6 习题 14
实验1 Linux系统的安装和常用命令 15
一、实验目的 15
二、实验平台 15
三、实验内容和要求 15
四、实验报告 16
第2章 Spark的设计与运行原理 17
2.1 概述 18
2.2 Spark生态系统 19
2.3 Spark运行架构 20
2.3.1 基本概念 20
2.3.2 架构设计 21
2.3.3 Spark运行基本流程 22
2.3.4 RDD的设计与运行原理 23
2.4 Spark的部署方式 32
2.5 本章小结 33
2.6 习题 34
第3章 Spark环境搭建和使用方法 35
3.1 安装Spark 36
3.1.1 基础环境 36
3.1.2 下载安装文件 36
3.1.3 配置相关文件 37
3.1.4 Spark和Hadoop的交互 38
3.2 在spark-shell中运行代码 38
3.2.1 spark-shell命令 39
3.2.2 启动spark-shell 40
3.3 开发Spark独立应用程序 40
3.3.1 安装编译打包工具 41
3.3.2 编写Spark应用程序代码 42
3.3.3 编译打包 42
3.3.4 通过spark-submit运行程序 45
3.4 Spark集群环境搭建 45
3.4.1 集群概况 46
3.4.2 搭建Hadoop集群 46
3.4.3 在集群中安装Spark 47
3.4.4 配置环境变量 47
3.4.5 Spark的配置 47
3.4.6 启动Spark集群 48
3.4.7 关闭Spark集群 48
3.5 在集群上运行Spark应用程序 49
3.5.1 启动Spark集群 49
3.5.2 采用独立集群管理器 49
3.5.3 采用Hadoop YARN管理器 50
3.6 本章小结 51
3.7 习题 52
实验2 Spark和Hadoop的安装 52
一、实验目的 52
二、实验平台 52
三、实验内容和要求 52
四、实验报告 53
第4章 RDD编程 54
4.1 RDD编程基础 55
4.1.1 RDD创建 55
4.1.2 RDD操作 56
4.1.3 持久化 62
4.1.4 分区 63
4.1.5 一个综合实例 67
4.2 键值对RDD 69
4.2.1 键值对RDD的创建 69
4.2.2 常用的键值对转换操作 70
4.2.3 一个综合实例 74
4.3 数据读写 75
4.3.1 文件数据读写 76
4.3.2 读写HBase数据 78
4.4 综合实例 82
4.4.1 求TOP值 82
4.4.2 文件排序 84
4.4.3 二次排序 85
4.5 本章小结 87
实验3 RDD编程初级实践 87
一、实验目的 87
二、实验平台 87
三、实验内容和要求 87
四、实验报告 89
第5章 Spark SQL 90
5.1 Spark SQL简介 91
5.1.1 从Shark说起 91
5.1.2 Spark SQL架构 92
5.1.3 为什么推出Spark SQL 93
5.2 DataFrame概述 93
5.3 DataFrame的创建 94
5.4 DataFrame的保存 95
5.5 DataFrame的常用操作 96
5.6 从RDD转换得到DataFrame 97
5.6.1 利用反射机制推断RDD模式 98
5.6.2 使用编程方式定义RDD模式 99
5.7 使用Spark SQL读写数据库 101
5.7.1 通过JDBC连接数据库 101
5.7.2 连接Hive读写数据 103
5.8 本章小结 107
5.9 习题 107
实验4 Spark SQL编程初级实践 108
一、实验目的 108
二、实验平台 108
三、实验内容和要求 108
四、实验报告 109
第6章 Spark Streaming 110
6.1 流计算概述 111
6.1.1 静态数据和流数据 111
6.1.2 批量计算和实时计算 112
6.1.3 流计算概念 112
6.1.4 流计算框架 113
6.1.5 流计算处理流程 114
6.2 Spark Streaming 115
6.2.1 Spark Streaming设计 115
6.2.2 Spark Streaming与Storm的对比 116
6.2.3 从“Hadoop+Storm”架构转向Spark架构 117
6.3 DStream操作概述 118
6.3.1 Spark Streaming工作机制 118
6.3.2 编写Spark Streaming程序的基本步骤 119
6.3.3 创建StreamingContext对象 119
6.4 基本输入源 120
6.4.1 文件流 120
6.4.2 套接字流 122
6.4.3 RDD队列流 127
6.5 高级数据源 128
6.5.1 Kafka简介 129
6.5.2 Kafka准备工作 129
6.5.3 Spark准备工作 130
6.5.4 编写Spark Streaming程序使用Kafka数据源 131
6.6 转换操作 135
6.6.1 DStream无状态转换操作 135
6.6.2 DStream有状态转换操作 136
6.7 输出操作 140
6.7.1 把DStream输出到文本文件中 140
6.7.2 把DStream写入到关系数据库中 141
6.8 本章小结 143
6.9 习题 143
实验5 Spark Streaming编程初级实践 144
一、实验目的 144
二、实验平台 144
三、实验内容和要求 144
四、实验报告 145
第7章 Spark Mllib 146
7.1 基于大数据的机器学习 147
7.2 机器学习库MLlib概述 148
7.3 基本数据类型 149
7.3.1 本地向量 149
7.3.2 标注点 149
7.3.3 本地矩阵 150
7.4 机器学习流水线 151
7.4.1 流水线的概念 151
7.4.2 流水线工作过程 152
7.5 特征提取、转换和选择 153
7.5.1 特征提取 154
7.5.2 特征转换 156
7.5.3 特征选择 161
7.5.4 局部敏感哈希 162
7.6 分类算法 163
7.6.1 逻辑斯蒂回归分类器 163
7.6.2 决策树分类器 167
7.7 聚类算法 170
7.7.1 K-Means聚类算法 171
7.7.2 GMM聚类算法 173
7.8 协同过滤算法 175
7.8.1 推荐算法的原理 176
7.8.2 ALS算法 176
7.9 模型选择和超参数调整 180
7.9.1 模型选择工具 180
7.9.2 用交叉验证选择模型 181
7.10 本章小结 183
7.11 习题 183
实验6 Spark机器学习库MLlib编程实践 184
一、实验目的 184
二、实验平台 184
三、实验内容和要求 184
四、实验报告 185
参考文献 186
查看详情
-
全新
北京市通州区
平均发货17小时
成功完成率89.81%
-
7
全新
河南省商丘市
平均发货16小时
成功完成率92.43%
-
全新
河北省保定市
平均发货25小时
成功完成率79.61%
-
全新
河北省保定市
平均发货26小时
成功完成率84.71%
-
spark编程基础
本店所有图书均为正版一手库存书,无笔记,未翻阅。出版最近一两年品相好,时间越久品相相对而言越差点,欢迎选购!,图片标题不一致时,请以标题即商品名称为准!配货发货只核对书号和商品名称,谢谢
全新
河北省保定市
平均发货25小时
成功完成率72.94%
-
4
全新
河南省鹤壁市
平均发货24小时
成功完成率87.5%
-
全新
四川省成都市
平均发货21小时
成功完成率89.81%
-
全新
北京市海淀区
平均发货10小时
成功完成率93.66%
-
全新
河北省保定市
平均发货24小时
成功完成率85.54%
-
全新
河北省廊坊市
平均发货27小时
成功完成率87.28%
-
全新
河北省保定市
平均发货27小时
成功完成率89.39%
-
全新
河北省保定市
平均发货21小时
成功完成率87.21%
-
全新
北京市朝阳区
平均发货13小时
成功完成率72.34%
-
全新
河北省保定市
平均发货13小时
成功完成率89.64%
-
全新
山东省泰安市
平均发货22小时
成功完成率81.61%
-
全新
北京市丰台区
平均发货16小时
成功完成率83.7%
-
全新
北京市丰台区
平均发货22小时
成功完成率88.15%
-
全新
河北省保定市
平均发货18小时
成功完成率80.24%
-
全新
河北省保定市
平均发货7小时
成功完成率84.12%
-
全新
河北省保定市
平均发货18小时
成功完成率82.03%
-
全新
广东省广州市
平均发货17小时
成功完成率95.04%
-
全新
广东省广州市
平均发货17小时
成功完成率92.69%
-
全新
广东省广州市
平均发货17小时
成功完成率94.61%
-
全新
广东省广州市
平均发货16小时
成功完成率92.54%
-
全新
北京市丰台区
平均发货7小时
成功完成率92.96%
-
Spark编程基础
重要提醒:::重要提醒::所有图书保证正版,按书名发货图片仅供参考, 有疑问请咨询客服,看清书名按书名发货
全新
北京市通州区
平均发货10小时
成功完成率91.69%
-
全新
山东省泰安市
平均发货15小时
成功完成率91.26%
-
全新
广东省广州市
平均发货10小时
成功完成率94.81%
-
全新
山东省泰安市
平均发货8小时
成功完成率92.45%
-
全新
北京市朝阳区
平均发货16小时
成功完成率77.33%
-
Spark编程基础
正版图书。概不议价!请勿催单!急单勿拍!!!套装书请咨询后再拍。小本生意,经营不易,喜欢申请违约金和退款的同行与书友请绕行
全新
湖南省邵阳市
平均发货3小时
成功完成率84.53%
-
全新
山东省潍坊市
平均发货17小时
成功完成率80.52%
-
全新
河北省保定市
平均发货32小时
成功完成率87.31%
-
全新
广东省广州市
平均发货9小时
成功完成率88.32%
-
全新
北京市西城区
平均发货11小时
成功完成率93.67%
-
全新
江苏省无锡市
平均发货8小时
成功完成率96.32%
-
全新
北京市朝阳区
平均发货12小时
成功完成率83.8%
-
全新
天津市河东区
平均发货25小时
成功完成率88.08%
-
2
全新
江苏省无锡市
平均发货10小时
成功完成率96.77%
-
全新
北京市通州区
平均发货9小时
成功完成率90.2%
-
Spark编程基础
正版图书。概不议价!请勿催单!急单勿拍!!!套装书请咨询后再拍。小本生意,经营不易,喜欢申请违约金和退款的同行与书友请绕行
全新
湖南省邵阳市
平均发货3小时
成功完成率83.44%
-
全新
北京市西城区
平均发货11小时
成功完成率93.67%
-
全新
浙江省嘉兴市
平均发货13小时
成功完成率94.59%
-
5
全新
北京市丰台区
平均发货28小时
成功完成率86.29%
-
Spark编程基础
按标题名购买,批量下载图片有时不对应,多本图片为其中一本,有问题请联系客服。
全新
河北省保定市
平均发货26小时
成功完成率89.77%
-
全新
河北省保定市
平均发货15小时
成功完成率92.03%
-
全新
北京市海淀区
平均发货9小时
成功完成率97.62%
-
全新
四川省成都市
平均发货7小时
成功完成率98.74%
-
Spark编程基础
本店所售图书,保证正版新书,有个别图片和实书封面不一样,以实书封面为准,有需要确定的可以联系客服。我店不能开发票。当天下单第二天发货。
全新
四川省成都市
平均发货32小时
成功完成率82.29%
-
全新
北京市西城区
平均发货16小时
成功完成率91.54%