Spark项目实战(大数据技术与应用丛书)

Spark项目实战(大数据技术与应用丛书)
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者:
2021-07
版次: 1
ISBN: 9787302581475
定价: 48.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 184页
  • 本书运用Spark计算框架的核心组件对电商数据进行分析,以项目形式呈现,其内容涵盖环境搭建、数据分析、数据持久化和数据可视化, 涉及JavaEE、ECharts、Hadoop、HBase、Spark、Kafka和ZooKeeper等技术点的综合应用。针对项目开发过程的每个环节都进行了深入讲解,使读者由浅入深地了解每个环节的知识内容。 
    本书共分为7章。第1章主要介绍项目开发的基本情况;第2章主要介绍大数据集群环境的搭建;第3章主要介绍通过Spark实现热门品类To10分析,并对分析结果进行持久化操作;第4章主要介绍通过Spark实现各区域热门商品Top3分析,并对分析结果进行持久化操作;第5章主要介绍通过Spark SQL实现网站转化率统计,并对分析结果进行持久化操作;第6章主要介绍通过Spark Streaming实现广告点击流实时统计,并实时持久化统计结果;第7章主要介绍通过可视化技术将第3~6章的分析与统计结果进行图形化展示。 
    本书配有视频、源代码、教学设计、教学PPT、教学大纲等资源。同时,为了帮助初学者更好地学习书中的内容,还提供了在线答疑,欢迎读者关注。 
    本书适合拥有Spark基础的读者阅读,也可以作为高等院校相关课程的教学参考书。读者不仅能够通过项目实战巩固基础知识的学习效果,还能学习商业智能系统的开发过程。 

    江苏传智播客教育科技股份有限公司(简称传智播客)是一家致力于培养高素质软件开发人才的科技公司,“黑马程序员”是传智播客旗下高端IT教育品牌。 目录 

     

     
    第1章项目概述1 
    1.1项目需求和目标1 
    1.2预备知识2 
    1.3项目架构设计及技术选取2 
    1.4开发环境和开发工具介绍3 
    1.5项目开发流程4 
    1.6硬件要求5 
    1.7本章小结6 
    第2章搭建大数据集群环境7 
    2.1安装准备7 
    2.1.1认识Linux操作系统 7 
    2.1.2创建虚拟机8 
    2.1.3启动虚拟机并安装Linux操作 
    系统14 
    2.1.4克隆虚拟机22 
    2.1.5配置Linux操作系统网络及主 
    机名25 
    2.1.6SSH配置29 
    2.1.7配置时间同步36 
    2.2安装JDK41 
    2.3ZooKeeper集群部署42 
    2.3.1ZooKeeper集群的安装与配置…42 
    2.3.2ZooKeeper集群的启动与关闭…44 
    2.4Hadoop集群部署46 
    2.4.1Hadoop高可用集群规划46 
    2.4.2安装Hadoop47 
    2.4.3Hadoop高可用集群配置48 
    2.4.4启动Hadoop高可用集群55 
    2.5Spark集群部署60 
    2.5.1Spark集群部署模式60 
    2.5.2Spark集群安装配置61 
    2.5.3Spark集群测试62 
    2.6HBase集群部署64 
    2.6.1HBase集群规划64 
    2.6.2HBase集群安装配置65 
    2.6.3启动HBase集群67 
    2.7Kafka集群部署69 
    2.7.1Kafka集群的安装与配置69 
    2.7.2启动Kafka集群70 
    2.8本章小结72 
    第3章热门品类Top10分析73 
    3.1数据集分析73 
    3.2实现思路分析74 
    3.3实现热门品类Top1075 
    3.3.1创建项目75 
    3.3.2创建Spark连接并读取数据集81 
    3.3.3获取业务数据82 
    3.3.4统计品类的行为类型83 
    3.3.5过滤品类的行为类型83 
    3.3.6合并相同品类的行为类型85 
    3.3.7根据品类的行为类型进行排序85 
    3.3.8数据持久化87 
    3.4运行程序92 
    3.5本章小结97 
    第4章各区域热门商品Top3分析98 
    4.1实现思路分析98 
    4.2实现各区域热门商品Top399 
    4.2.1创建Spark连接并读取数据集99 
    4.2.2获取业务数据100 
    4.2.3过滤商品的行为类型100 
    4.2.4转换数据格式101 
    4.2.5统计每个区域中的不同商品101 
    4.2.6根据区域进行分组102 
    4.2.7根据区域内商品的查看次数进行排序102 
    4.2.8数据持久化103 
    4.3运行程序106 
    4.4本章小结108 
    目录Spark项目实战第5章网站转化率统计109 
    5.1数据集分析109 
    5.2实现思路分析110 
    5.3实现网站转化率统计111 
    5.3.1生成用户浏览网页数据111 
    5.3.2修改pom.xml文件112 
    5.3.3创建Spark连接并读取数据集113 
    5.3.4统计每个页面访问次数114 
    5.3.5获取每个用户浏览网页的顺序114 
    5.3.6合并同一用户浏览的网页114 
    5.3.7统计每个单跳的次数115 
    5.3.8计算页面单跳转化率116 
    5.3.9数据持久化117 
    5.4运行程序118 
    5.5本章小结121 
    第6章广告点击流实时统计122 
    6.1数据集分析122 
    6.2实现思路分析123 
    6.3数据库设计124 
    6.4实现广告点击流实时统计125 
    6.4.1修改pom.xml文件125 
    6.4.2生产用户广告点击流数据125 
    6.4.3创建Spark Streaming连接128 
    6.4.4读取用户广告点击流数据129 
    6.4.5获取业务数据129 
    6.4.6读取黑名单用户数据130 
    6.4.7过滤黑名单用户131 
    6.4.8统计每个城市不同广告的点击次数132 
    6.4.9添加黑名单用户133 
    6.4.10数据持久化134 
    6.5运行程序135 
    6.6本章小结137 
    第7章数据可视化138 
    7.1系统概述138 
    7.1.1技术选取138 
    7.1.2系统架构139 
    7.2数据表设计与实现141 
    7.2.1数据表介绍141 
    7.2.2Phoenix集成HBase142 
    7.2.3建立Phoenix与HBase表映射143 
    7.3创建Spring Boot项目147 
    7.4实现热门品类Top10数据可视化152 
    7.4.1创建实体类Top10Entity152 
    7.4.2创建数据库访问接口Top10Dao153 
    7.4.3创建控制器类Top10Controller153 
    7.4.4创建HTML文件top10.html154 
    7.4.5运行项目实现热门品类Top10数据可视化157 
    7.5实现各区域热门商品Top3数据可视化160 
    7.5.1创建实体类Top3Entity160 
    7.5.2创建数据库访问接口Top3Dao160 
    7.5.3创建控制器类Top3Controller161 
    7.5.4创建HTML文件top3.html162 
    7.5.5运行项目实现各区域热门商品Top3数据可视化164 
    7.6实现页面单跳转化率数据可视化165 
    7.6.1创建实体类ConversionEntity165 
    7.6.2创建数据库访问接口ConversionDao165 
    7.6.3创建控制器类ConversionController166 
    7.6.4创建HTML文件conversion.html166 
    7.6.5运行项目实现页面单跳转化率数据可视化169 
    7.7实现广告点击流实时统计可视化169 
    7.7.1创建实体类AdsEntity169 
    7.7.2创建数据库访问接口AdsDao170 
    7.7.3创建控制器类AdsController170 
    7.7.4创建HTML文件ads.html171 
    7.7.5运行项目实现广告点击流实时统计可视化173 
    7.8本章小结174 

  • 内容简介:
    本书运用Spark计算框架的核心组件对电商数据进行分析,以项目形式呈现,其内容涵盖环境搭建、数据分析、数据持久化和数据可视化, 涉及JavaEE、ECharts、Hadoop、HBase、Spark、Kafka和ZooKeeper等技术点的综合应用。针对项目开发过程的每个环节都进行了深入讲解,使读者由浅入深地了解每个环节的知识内容。 
    本书共分为7章。第1章主要介绍项目开发的基本情况;第2章主要介绍大数据集群环境的搭建;第3章主要介绍通过Spark实现热门品类To10分析,并对分析结果进行持久化操作;第4章主要介绍通过Spark实现各区域热门商品Top3分析,并对分析结果进行持久化操作;第5章主要介绍通过Spark SQL实现网站转化率统计,并对分析结果进行持久化操作;第6章主要介绍通过Spark Streaming实现广告点击流实时统计,并实时持久化统计结果;第7章主要介绍通过可视化技术将第3~6章的分析与统计结果进行图形化展示。 
    本书配有视频、源代码、教学设计、教学PPT、教学大纲等资源。同时,为了帮助初学者更好地学习书中的内容,还提供了在线答疑,欢迎读者关注。 
    本书适合拥有Spark基础的读者阅读,也可以作为高等院校相关课程的教学参考书。读者不仅能够通过项目实战巩固基础知识的学习效果,还能学习商业智能系统的开发过程。 

  • 作者简介:
    江苏传智播客教育科技股份有限公司(简称传智播客)是一家致力于培养高素质软件开发人才的科技公司,“黑马程序员”是传智播客旗下高端IT教育品牌。
  • 目录:
    目录 

     

     
    第1章项目概述1 
    1.1项目需求和目标1 
    1.2预备知识2 
    1.3项目架构设计及技术选取2 
    1.4开发环境和开发工具介绍3 
    1.5项目开发流程4 
    1.6硬件要求5 
    1.7本章小结6 
    第2章搭建大数据集群环境7 
    2.1安装准备7 
    2.1.1认识Linux操作系统 7 
    2.1.2创建虚拟机8 
    2.1.3启动虚拟机并安装Linux操作 
    系统14 
    2.1.4克隆虚拟机22 
    2.1.5配置Linux操作系统网络及主 
    机名25 
    2.1.6SSH配置29 
    2.1.7配置时间同步36 
    2.2安装JDK41 
    2.3ZooKeeper集群部署42 
    2.3.1ZooKeeper集群的安装与配置…42 
    2.3.2ZooKeeper集群的启动与关闭…44 
    2.4Hadoop集群部署46 
    2.4.1Hadoop高可用集群规划46 
    2.4.2安装Hadoop47 
    2.4.3Hadoop高可用集群配置48 
    2.4.4启动Hadoop高可用集群55 
    2.5Spark集群部署60 
    2.5.1Spark集群部署模式60 
    2.5.2Spark集群安装配置61 
    2.5.3Spark集群测试62 
    2.6HBase集群部署64 
    2.6.1HBase集群规划64 
    2.6.2HBase集群安装配置65 
    2.6.3启动HBase集群67 
    2.7Kafka集群部署69 
    2.7.1Kafka集群的安装与配置69 
    2.7.2启动Kafka集群70 
    2.8本章小结72 
    第3章热门品类Top10分析73 
    3.1数据集分析73 
    3.2实现思路分析74 
    3.3实现热门品类Top1075 
    3.3.1创建项目75 
    3.3.2创建Spark连接并读取数据集81 
    3.3.3获取业务数据82 
    3.3.4统计品类的行为类型83 
    3.3.5过滤品类的行为类型83 
    3.3.6合并相同品类的行为类型85 
    3.3.7根据品类的行为类型进行排序85 
    3.3.8数据持久化87 
    3.4运行程序92 
    3.5本章小结97 
    第4章各区域热门商品Top3分析98 
    4.1实现思路分析98 
    4.2实现各区域热门商品Top399 
    4.2.1创建Spark连接并读取数据集99 
    4.2.2获取业务数据100 
    4.2.3过滤商品的行为类型100 
    4.2.4转换数据格式101 
    4.2.5统计每个区域中的不同商品101 
    4.2.6根据区域进行分组102 
    4.2.7根据区域内商品的查看次数进行排序102 
    4.2.8数据持久化103 
    4.3运行程序106 
    4.4本章小结108 
    目录Spark项目实战第5章网站转化率统计109 
    5.1数据集分析109 
    5.2实现思路分析110 
    5.3实现网站转化率统计111 
    5.3.1生成用户浏览网页数据111 
    5.3.2修改pom.xml文件112 
    5.3.3创建Spark连接并读取数据集113 
    5.3.4统计每个页面访问次数114 
    5.3.5获取每个用户浏览网页的顺序114 
    5.3.6合并同一用户浏览的网页114 
    5.3.7统计每个单跳的次数115 
    5.3.8计算页面单跳转化率116 
    5.3.9数据持久化117 
    5.4运行程序118 
    5.5本章小结121 
    第6章广告点击流实时统计122 
    6.1数据集分析122 
    6.2实现思路分析123 
    6.3数据库设计124 
    6.4实现广告点击流实时统计125 
    6.4.1修改pom.xml文件125 
    6.4.2生产用户广告点击流数据125 
    6.4.3创建Spark Streaming连接128 
    6.4.4读取用户广告点击流数据129 
    6.4.5获取业务数据129 
    6.4.6读取黑名单用户数据130 
    6.4.7过滤黑名单用户131 
    6.4.8统计每个城市不同广告的点击次数132 
    6.4.9添加黑名单用户133 
    6.4.10数据持久化134 
    6.5运行程序135 
    6.6本章小结137 
    第7章数据可视化138 
    7.1系统概述138 
    7.1.1技术选取138 
    7.1.2系统架构139 
    7.2数据表设计与实现141 
    7.2.1数据表介绍141 
    7.2.2Phoenix集成HBase142 
    7.2.3建立Phoenix与HBase表映射143 
    7.3创建Spring Boot项目147 
    7.4实现热门品类Top10数据可视化152 
    7.4.1创建实体类Top10Entity152 
    7.4.2创建数据库访问接口Top10Dao153 
    7.4.3创建控制器类Top10Controller153 
    7.4.4创建HTML文件top10.html154 
    7.4.5运行项目实现热门品类Top10数据可视化157 
    7.5实现各区域热门商品Top3数据可视化160 
    7.5.1创建实体类Top3Entity160 
    7.5.2创建数据库访问接口Top3Dao160 
    7.5.3创建控制器类Top3Controller161 
    7.5.4创建HTML文件top3.html162 
    7.5.5运行项目实现各区域热门商品Top3数据可视化164 
    7.6实现页面单跳转化率数据可视化165 
    7.6.1创建实体类ConversionEntity165 
    7.6.2创建数据库访问接口ConversionDao165 
    7.6.3创建控制器类ConversionController166 
    7.6.4创建HTML文件conversion.html166 
    7.6.5运行项目实现页面单跳转化率数据可视化169 
    7.7实现广告点击流实时统计可视化169 
    7.7.1创建实体类AdsEntity169 
    7.7.2创建数据库访问接口AdsDao170 
    7.7.3创建控制器类AdsController170 
    7.7.4创建HTML文件ads.html171 
    7.7.5运行项目实现广告点击流实时统计可视化173 
    7.8本章小结174 

查看详情
12
相关图书 / 更多
Spark项目实战(大数据技术与应用丛书)
Spring Boot从入门到实战
解承凯
Spark项目实战(大数据技术与应用丛书)
Spark快速大数据分析 第2版
[美]朱尔斯·S. 达米吉 (美) 布鲁克·韦尼希 (印) 泰瑟加塔·达斯
Spark项目实战(大数据技术与应用丛书)
SparkSQL入门与数据分析实践
杨虹、谢显中、周前能、张安文 著
Spark项目实战(大数据技术与应用丛书)
Spring Boot+Vue.js+分布式组件全栈开发训练营(视频教学版)
曹宇;胡书敏
Spark项目实战(大数据技术与应用丛书)
Spring Cloud Alibaba微服务实战
周仲清
Spark项目实战(大数据技术与应用丛书)
SpringBoot从入门到实战
章为忠 著
Spark项目实战(大数据技术与应用丛书)
Spring Boot学习指南:构建云原生Java和Kotlin应用程序
[美]马克·赫克勒(Mark Heckler)
Spark项目实战(大数据技术与应用丛书)
Spring Cloud Alibaba微服务开发从入门到实战
李伟杰 刘雪松 刘自强 王超 编著;开课吧 组编
Spark项目实战(大数据技术与应用丛书)
SpringBoot企业级开发实战(视频教学版)
迟殿委、赵媛媛、郭德先、侯传杰 著
Spark项目实战(大数据技术与应用丛书)
Spring Data JPA:入门、实战与进阶
张振华
Spark项目实战(大数据技术与应用丛书)
SpringBoot整合开发实战
莫海 著
Spark项目实战(大数据技术与应用丛书)
Spinnaker实战:云原生多云环境的持续部署方案
王炜
您可能感兴趣 / 更多
Spark项目实战(大数据技术与应用丛书)
Java EE企业级应用开发教程(Spring+Spring MVC+MyBatis)(第2版)
黑马程序员
Spark项目实战(大数据技术与应用丛书)
JavaWeb程序设计任务教程(第2版)
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
Hive数据仓库应用
黑马程序员
Spark项目实战(大数据技术与应用丛书)
C++程序设计教程(第2版)
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
Python程序开发案例教程
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
数据分析思维与可视化
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
互联网产品设计思维与实践
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
微服务架构基础(Spring Boot+Spring Cloud+Docker)
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
Objective-C程序设计案例教程
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
Java自学宝典
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
Linux编程基础
黑马程序员 著
Spark项目实战(大数据技术与应用丛书)
Java Web程序设计任务教程
黑马程序员 著