孔夫子旧书网-网上买书卖书、古旧书收藏品交易平台 孔夫子旧书网-网上买书卖书、古旧书收藏品交易平台 占位居中 孔夫子旧书网-网上买书卖书、古旧书收藏品交易平台
商品
拍卖区
在售
已售
搜索历史
搜索
高级搜索

Spark大数据分析实战

Spark大数据分析实战
分享
扫描下方二维码分享到微信
打开微信，点击右上角”+“，
使用”扫一扫“即可将网页分享到朋友圈。
作者: 著
出版社: 清华大学出版社
2020-07
ISBN: 9787302556954
定价: 79.00
分类: 计算机与互联网
8 张插图图片
29人买过
  • 本书基于Spark 2.4.x新版本编写，从Spark核心编程语言Scala讲起，涵盖当前整个Spark生态系统主流的大数据开发技术。全书共9章，第1章讲解Scala语言的基础知识，包括IDEA工具的使用等；第2章讲解Spark的主要组件、集群架构原理、集群环境搭建以及Spark应用程序的提交和运行；第3~9章讲解离线计算框架Spark RDD、Spark SQL和实时计算框架Kafka、Spark Streaming、Structured Streaming以及图计算框架GraphX等的基础知识、架构原理，同时包括常用Shell命令、API操作、内核源码剖析，并通过多个实际案例讲解各个框架的具体应用以及与Hadoop生态系统框架Hive、HBase、Kafka的整合操作。 
    本书内容丰富，以实操案例为主，理论为辅，可作为Spark新手的入门书，也可作为大数据开发人员和从业者的学习用书，还可以作为培训机构或大中专院校的教学用书。 

    张伟洋 
    大数据领域资深专家，拥有多年顶j互联网公司软件研发经验，曾在互联网旅游公司任软件研发事业部经理。目前从事大数据项目讲师工作，先后多次给各大高校举行大数据专题讲座，对Hadoop及周边大数据框架ZooKeeper、Hive、HBase、Storm、Spark、Flink等有着深入的研究。高等院校云计算与大数据专业课改教材《云计算与大数据概论》《大数据开发与应用》的主要编写者。 

    目    录 
    第1章  Spark开发准备――Scala基础 1 
    1.1  什么是SCALA 1 
    1.2  安装SCALA 2 
    1.2.1  在Windows中安装Scala 2 
    1.2.2  在CentOS 7中安装Scala 3 
    1.3  SCALA基础 4 
    1.3.1  变量声明 4 
    1.3.2  数据类型 5 
    1.3.3  表达式 7 
    1.3.4  循  环 8 
    1.3.5  方法与函数 10 
    1.4  集  合 14 
    1.4.1  数  组 14 
    1.4.2  List 16 
    1.4.3  Map映射 17 
    1.4.4  元  组 19 
    1.4.5  Set 20 
    1.5  类和对象 21 
    1.5.1  类的定义 21 
    1.5.2  单例对象 22 
    1.5.3  伴生对象 22 
    1.5.4  get和set方法 23 
    1.5.5  构造器 25 
    1.6  抽象类和特质 28 
    1.6.1  抽象类 28 
    1.6.2  特  质 30 
    1.7  使用ECLIPSE创建SCALA项目 31 
    1.7.1  安装Scala for Eclipse IDE 31 
    1.7.2  创建Scala项目 33 
    1.8  使用INTELLIJ IDEA创建SCALA项目 33 
    1.8.1  在IDEA中安装Scala插件 34 
    1.8.2  创建Scala项目 37 
    第2章  初识Spark 40 
    2.1  大数据开发总体架构 40 
    2.2  什么是SPARK 42 
    2.3  SPARK主要组件 43 
    2.4  SPARK运行时架构 45 
    2.4.1  YARN集群架构 45 
    2.4.2  Spark Standalone架构 49 
    2.4.3  Spark On YARN架构 50 
    2.5  SPARK集群搭建与测试 53 
    2.5.1  Spark Standalone模式的集群搭建 53 
    2.5.2  Spark On YARN模式的集群搭建 55 
    2.5.3  Spark HA的搭建 56 
    2.6  SPARK应用程序的提交 60 
    2.7  SPARK SHELL的使用 63 
    第3章  Spark RDD弹性分布式数据集 66 
    3.1  什么是RDD 66 
    3.2  创建RDD 67 
    3.2.1  从对象集合创建RDD 67 
    3.2.2  从外部存储创建RDD 68 
    3.3  RDD的算子 69 
    3.3.1  转化算子 69 
    3.3.2  行动算子 77 
    3.4  RDD的分区 78 
    3.4.1  分区数量 79 
    3.4.2  自定义分区器 88 
    3.5  RDD的依赖 93 
    3.5.1  窄依赖 94 
    3.5.2  宽依赖 94 
    3.5.3  Stage划分 95 
    3.6  RDD的持久化 97 
    3.6.1  存储级别 98 
    3.6.2  查看缓存 100 
    3.7  RDD的检查点 102 
    3.8  共享变量 104 
    3.8.1  广播变量 104 
    3.8.2  累加器 106 
    3.9  案例分析：SPARK RDD实现单词计数 107 
    3.10  案例分析：SPARK RDD实现分组求TOPN 116 
    3.11  案例分析：SPARK RDD实现二次排序 120 
    3.12  案例分析：SPARK RDD计算成绩平均分 124 
    3.13  案例分析：SPARK RDD倒排索引统计每日新增用户 126 
    3.14  案例分析：SPARK RDD读写HBASE 130 
    3.14.1  读取HBase表数据 131 
    3.14.2  写入HBase表数据 134 
    3.15  案例分析：SPARK RDD数据倾斜问题解决 143 
    3.15.1  数据倾斜的常用解决方法 144 
    3.15.2  使用随机key进行双重聚合 145 
    3.15.3  WebUI查看Spark历史作业 149 
    第4章  Spark内核源码分析 151 
    4.1  SPARK集群启动原理分析 151 
    4.2  SPARK应用程序提交原理分析 162 
    4.3  SPARK作业工作原理分析 175 
    4.3.1  MapReduce的工作原理 175 
    4.3.2  Spark作业工作的原理 177 
    4.4  SPARK检查点原理分析 191 
    第5章  Spark SQL结构化数据处理引擎 196 
    5.1  什么是SPARK SQL 196 
    5.2  DATAFRAME和DATASET 197 
    5.3  SPARK SQL的基本使用 198 
    5.4  SPARK SQL数据源 201 
    5.4.1  基本操作 201 
    5.4.2  Parquet文件 206 
    5.4.3  JSON数据集 209 
    5.4.4  Hive表 211 
    5.4.5  JDBC 213 
    5.5  SPARK SQL内置函数 214 
    5.5.1  自定义函数 216 
    5.5.2  自定义聚合函数 218 
    5.5.3  开窗函数 220 
    5.6  案例分析：使用SPARK SQL实现单词计数 223 
    5.7  案例分析：SPARK SQL与HIVE整合 228 
    5.7.1  整合Hive的步骤 228 
    5.7.2  操作Hive的几种方式 231 
    5.8  案例分析：SPARK SQL读写MYSQL 233 
    5.9  案例分析：SPARK SQL每日UV统计 238 
    5.10  案例分析：SPARK SQL热点搜索词统计 241 
    5.11  综合案例：SPARK SQL智慧交通数据分析 244 
    5.11.1  项目介绍 244 
    5.11.2  数据准备 246 
    5.11.3  统计正常卡口数量 249 
    5.11.4  统计车流量排名前3的卡口号 249 
    5.11.5  统计车辆高速通过的卡口TOP5 250 
    5.11.6  统计每个卡口通过速度最快的前3辆车 254 
    5.11.7  车辆轨迹分析 255 
    第6章  Kafka分布式消息系统 256 
    6.1  什么是KAFKA 256 
    6.2  KAFKA架构 257 
    6.3  主题与分区 259 
    6.4  分区副本 260 
    6.5  消费者组 262 
    6.6  数据存储机制 264 
    6.7  集群环境搭建 266 
    6.8  命令行操作 268 
    6.8.1  创建主题 268 
    6.8.2  查询主题 269 
    6.8.3  创建生产者 269 
    6.8.4  创建消费者 270 
    6.9  JAVA API操作 271 
    6.9.1  创建Java工程 271 
    6.9.2  创建生产者 271 
    6.9.3  创建消费者 273 
    6.9.4  运行程序 275 
    6.10  案例分析：KAFKA生产者拦截器 277 
    第7章  Spark Streaming实时流处理引擎 285 
    7.1  什么是SPARK STREAMING 285 
    7.2  SPARK STREAMING工作原理 286 
    7.3  输入DSTREAM和RECEIVER 287 
    7.4  第一个SPARK STREAMING程序 288 
    7.5  SPARK STREAMING数据源 290 
    7.5.1  基本数据源 290 
    7.5.2  高级数据源 292 
    7.5.3  自定义数据源 293
  • 内容简介:
    本书基于Spark 2.4.x新版本编写，从Spark核心编程语言Scala讲起，涵盖当前整个Spark生态系统主流的大数据开发技术。全书共9章，第1章讲解Scala语言的基础知识，包括IDEA工具的使用等；第2章讲解Spark的主要组件、集群架构原理、集群环境搭建以及Spark应用程序的提交和运行；第3~9章讲解离线计算框架Spark RDD、Spark SQL和实时计算框架Kafka、Spark Streaming、Structured Streaming以及图计算框架GraphX等的基础知识、架构原理，同时包括常用Shell命令、API操作、内核源码剖析，并通过多个实际案例讲解各个框架的具体应用以及与Hadoop生态系统框架Hive、HBase、Kafka的整合操作。 
    本书内容丰富，以实操案例为主，理论为辅，可作为Spark新手的入门书，也可作为大数据开发人员和从业者的学习用书，还可以作为培训机构或大中专院校的教学用书。 

  • 作者简介:
    张伟洋 
    大数据领域资深专家，拥有多年顶j互联网公司软件研发经验，曾在互联网旅游公司任软件研发事业部经理。目前从事大数据项目讲师工作，先后多次给各大高校举行大数据专题讲座，对Hadoop及周边大数据框架ZooKeeper、Hive、HBase、Storm、Spark、Flink等有着深入的研究。高等院校云计算与大数据专业课改教材《云计算与大数据概论》《大数据开发与应用》的主要编写者。 

  • 目录:
    目    录 
    第1章  Spark开发准备――Scala基础 1 
    1.1  什么是SCALA 1 
    1.2  安装SCALA 2 
    1.2.1  在Windows中安装Scala 2 
    1.2.2  在CentOS 7中安装Scala 3 
    1.3  SCALA基础 4 
    1.3.1  变量声明 4 
    1.3.2  数据类型 5 
    1.3.3  表达式 7 
    1.3.4  循  环 8 
    1.3.5  方法与函数 10 
    1.4  集  合 14 
    1.4.1  数  组 14 
    1.4.2  List 16 
    1.4.3  Map映射 17 
    1.4.4  元  组 19 
    1.4.5  Set 20 
    1.5  类和对象 21 
    1.5.1  类的定义 21 
    1.5.2  单例对象 22 
    1.5.3  伴生对象 22 
    1.5.4  get和set方法 23 
    1.5.5  构造器 25 
    1.6  抽象类和特质 28 
    1.6.1  抽象类 28 
    1.6.2  特  质 30 
    1.7  使用ECLIPSE创建SCALA项目 31 
    1.7.1  安装Scala for Eclipse IDE 31 
    1.7.2  创建Scala项目 33 
    1.8  使用INTELLIJ IDEA创建SCALA项目 33 
    1.8.1  在IDEA中安装Scala插件 34 
    1.8.2  创建Scala项目 37 
    第2章  初识Spark 40 
    2.1  大数据开发总体架构 40 
    2.2  什么是SPARK 42 
    2.3  SPARK主要组件 43 
    2.4  SPARK运行时架构 45 
    2.4.1  YARN集群架构 45 
    2.4.2  Spark Standalone架构 49 
    2.4.3  Spark On YARN架构 50 
    2.5  SPARK集群搭建与测试 53 
    2.5.1  Spark Standalone模式的集群搭建 53 
    2.5.2  Spark On YARN模式的集群搭建 55 
    2.5.3  Spark HA的搭建 56 
    2.6  SPARK应用程序的提交 60 
    2.7  SPARK SHELL的使用 63 
    第3章  Spark RDD弹性分布式数据集 66 
    3.1  什么是RDD 66 
    3.2  创建RDD 67 
    3.2.1  从对象集合创建RDD 67 
    3.2.2  从外部存储创建RDD 68 
    3.3  RDD的算子 69 
    3.3.1  转化算子 69 
    3.3.2  行动算子 77 
    3.4  RDD的分区 78 
    3.4.1  分区数量 79 
    3.4.2  自定义分区器 88 
    3.5  RDD的依赖 93 
    3.5.1  窄依赖 94 
    3.5.2  宽依赖 94 
    3.5.3  Stage划分 95 
    3.6  RDD的持久化 97 
    3.6.1  存储级别 98 
    3.6.2  查看缓存 100 
    3.7  RDD的检查点 102 
    3.8  共享变量 104 
    3.8.1  广播变量 104 
    3.8.2  累加器 106 
    3.9  案例分析：SPARK RDD实现单词计数 107 
    3.10  案例分析：SPARK RDD实现分组求TOPN 116 
    3.11  案例分析：SPARK RDD实现二次排序 120 
    3.12  案例分析：SPARK RDD计算成绩平均分 124 
    3.13  案例分析：SPARK RDD倒排索引统计每日新增用户 126 
    3.14  案例分析：SPARK RDD读写HBASE 130 
    3.14.1  读取HBase表数据 131 
    3.14.2  写入HBase表数据 134 
    3.15  案例分析：SPARK RDD数据倾斜问题解决 143 
    3.15.1  数据倾斜的常用解决方法 144 
    3.15.2  使用随机key进行双重聚合 145 
    3.15.3  WebUI查看Spark历史作业 149 
    第4章  Spark内核源码分析 151 
    4.1  SPARK集群启动原理分析 151 
    4.2  SPARK应用程序提交原理分析 162 
    4.3  SPARK作业工作原理分析 175 
    4.3.1  MapReduce的工作原理 175 
    4.3.2  Spark作业工作的原理 177 
    4.4  SPARK检查点原理分析 191 
    第5章  Spark SQL结构化数据处理引擎 196 
    5.1  什么是SPARK SQL 196 
    5.2  DATAFRAME和DATASET 197 
    5.3  SPARK SQL的基本使用 198 
    5.4  SPARK SQL数据源 201 
    5.4.1  基本操作 201 
    5.4.2  Parquet文件 206 
    5.4.3  JSON数据集 209 
    5.4.4  Hive表 211 
    5.4.5  JDBC 213 
    5.5  SPARK SQL内置函数 214 
    5.5.1  自定义函数 216 
    5.5.2  自定义聚合函数 218 
    5.5.3  开窗函数 220 
    5.6  案例分析：使用SPARK SQL实现单词计数 223 
    5.7  案例分析：SPARK SQL与HIVE整合 228 
    5.7.1  整合Hive的步骤 228 
    5.7.2  操作Hive的几种方式 231 
    5.8  案例分析：SPARK SQL读写MYSQL 233 
    5.9  案例分析：SPARK SQL每日UV统计 238 
    5.10  案例分析：SPARK SQL热点搜索词统计 241 
    5.11  综合案例：SPARK SQL智慧交通数据分析 244 
    5.11.1  项目介绍 244 
    5.11.2  数据准备 246 
    5.11.3  统计正常卡口数量 249 
    5.11.4  统计车流量排名前3的卡口号 249 
    5.11.5  统计车辆高速通过的卡口TOP5 250 
    5.11.6  统计每个卡口通过速度最快的前3辆车 254 
    5.11.7  车辆轨迹分析 255 
    第6章  Kafka分布式消息系统 256 
    6.1  什么是KAFKA 256 
    6.2  KAFKA架构 257 
    6.3  主题与分区 259 
    6.4  分区副本 260 
    6.5  消费者组 262 
    6.6  数据存储机制 264 
    6.7  集群环境搭建 266 
    6.8  命令行操作 268 
    6.8.1  创建主题 268 
    6.8.2  查询主题 269 
    6.8.3  创建生产者 269 
    6.8.4  创建消费者 270 
    6.9  JAVA API操作 271 
    6.9.1  创建Java工程 271 
    6.9.2  创建生产者 271 
    6.9.3  创建消费者 273 
    6.9.4  运行程序 275 
    6.10  案例分析：KAFKA生产者拦截器 277 
    第7章  Spark Streaming实时流处理引擎 285 
    7.1  什么是SPARK STREAMING 285 
    7.2  SPARK STREAMING工作原理 286 
    7.3  输入DSTREAM和RECEIVER 287 
    7.4  第一个SPARK STREAMING程序 288 
    7.5  SPARK STREAMING数据源 290 
    7.5.1  基本数据源 290 
    7.5.2  高级数据源 292 
    7.5.3  自定义数据源 293
查看详情
相关分类
计算机理论 编程与开发 操作系统 大数据与云计算 图形图像/多媒体 网站设计与网页开发 网络与通讯 硬件、嵌入式开发 办公软件 信息安全
相关图书 / 更多
Spark大数据分析实战
Spring Framework6开发实战 Spring+Spring Web MVC+MyBatis
肖海鹏、耿卫江、王荣芝、张天怡、张志慧
￥42.78 起
Spark大数据分析实战
Spark大数据分析
作者
￥8.90 起
Spark大数据分析实战
Spark入门与大数据分析实战
迟殿委 李超
￥32.68 起
Spark大数据分析实战
Spark大数据开发（职业教育计算机系列教材）
唐春玲；周桥；陈小龙
￥25.00 起
Spark大数据分析实战
Spring Boot+Vue前后端分离项目全栈开发实战
唐文
￥29.98 起
Spark大数据分析实战
Spring快速入门到精通
明日科技 编著
￥49.88 起
Spark大数据分析实战
Spring Boot 3.0开发实战
李西明；陈立为
￥50.00 起
Spark大数据分析实战
Spark分布式处理实战
刘均 王璐烽
￥23.08 起
Spark大数据分析实战
Spring Security原理与实战：构建安全可靠的微服务
邹炎
￥39.60 起
Spark大数据分析实战
Spark原理深入与编程实战（微课视频版）
辛立伟；张帆；张会娟
￥95.24 起
Spark大数据分析实战
Spring Boot 3 +Vue 3开发实战
朱建昕
￥47.68 起
Spark大数据分析实战
Spring Cloud Alibaba核心技术与实战案例
高洪岩
￥28.00 起
您可能感兴趣 / 更多
Spark大数据分析实战
企业级大数据项目实战：用户搜索行为分析系统从0到1
张伟洋
￥35.80 起
Spark大数据分析实战
Hadoop 3.x大数据开发实战(视频教学版)
张伟洋
￥35.99 起
Spark大数据分析实战
Spark 3.x大数据分析实战（视频教学版）
张伟洋
￥30.60 起
Spark大数据分析实战
Flink大数据分析实战
张伟洋
￥10.00 起
Spark大数据分析实战
Hadoop大数据技术开发实战
张伟洋 著
￥2.00 起
© 2002-2024 Kongfz.com 孔夫子旧书网 版权所有
关于孔网 联系我们 帮助中心 版权隐私 广告业务 工作机会 移动版 图书目录 图书标签 热搜书籍 作家大全