大数据概论

大数据概论
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
2022-01
版次: 1
ISBN: 9787302592563
定价: 58.00
装帧: 其他
开本: 16开
纸张: 胶版纸
7人买过
  • 本书理论联系实际,配以大量实例,系统地介绍了大数据有关的基础知识。全书共分10章,内容包括大数据概述,大数据、云计算与物联网,大数据架构与Hadoop,数据采集与预处理,大数据分析与大数据挖掘,数据存储与HDFS,MapReduce,数据可视化,大数据安全,大数据应用案例。 本书主要作为本科和高职高专相关专业的教材,也可作为相关行业从业人员的读物,还可以作为培训教材。 高腾刚,副教授,武汉大学硕士,计算机技术专业毕业,主持参与项目7项,其中1项,省级2项,校级4项,发表论文10余篇,参编教材2部。

    程星晶,副教授,贵州大学硕士,计算机应用技术专业毕业,主持参与项目4项,其中省级3项,校级1项,发表论文8余篇,编写教材3部,具有丰富的教材编写经验。 第1章大数据概述1

    1.1大数据定义和特征1

    1.1.1大数据定义1

    1.1.2大数据的特征1

    1.1.3大数据发展历程2

    1.2大数据的影响4

    1.3大数据发展趋势4

    1.4大数据的关键技术8

    1.5大数据的计算模式10

    1.6大数据的应用领域11

    1.7数据资源化和交易13

    1.7.1数据资源化13

    1.7.2大数据交易14

    1.8大数据安全与隐私15

    1.9本章小结16

    习题17

    第2章大数据、云计算与物联网18

    2.1云计算18

    2.1.1云计算概述18

    2.1.2云计算的分类19

    2.1.3云计算的基本特点20

    2.1.4云计算的关键技术21

    2.1.5云计算的应用24

    2.2物联网26

    2.2.1物联网概述27

    2.2.2物联网的发展过程27

    2.2.3物联网的特征28

    2.2.4物联网的关键技术30

    2.2.5物联网系统结构31

    2.2.6物联网的应用33

    2.3大数据、云计算与物联网三者之间的关系36

    2.4本章小结39

    目录大数据概论习题39

    第3章大数据架构与Hadoop40

    3.1大数据架构40

    3.1.1大数据架构概述40

    3.1.2数据类型41

    3.1.3大数据架构及数据解决方案42

    3.2Hadoop概述46

    3.2.1Hadoop简介46

    3.2.2Hadoop的发展历程46

    3.2.3Hadoop的特点47

    3.2.4Hadoop应用现状47

    3.2.5Hadoop的版本49

    3.3Hadoop的生态系统概述50

    3.3.1Hadoop的生态系统50

    3.3.2Hadoop的组成介绍51

    3.4Hadoop的安装55

    3.4.1安装前的准备55

    3.4.2安装VirtualBox56

    3.4.3安装Linux发行版Ubuntu57

    3.4.4创建Hadoop用户61

    3.4.5设置SSH无密码登录61

    3.4.6安装Java环境62

    3.4.7安装单机Hadoop62

    3.4.8安装伪分布式Hadoop63

    3.5本章小结66

    习题66

    第4章数据采集与预处理67

    4.1大数据采集67

    4.1.1大数据采集概述67

    4.1.2大数据采集方法70

    4.2大数据采集工具72

    4.2.1Flume73

    4.2.2Kafka75

    4.2.3Sqoop77

    4.2.4Scribe80

    4.3大数据预处理技术81

    4.3.1预处理意义81

    4.3.2预处理方法82

    4.4本章小结91

    习题92

    第5章大数据分析与大数据挖掘93

    5.1大数据分析的基本概念93

    5.1.1数据分析概论93

    5.1.2数据分析的类型94

    5.2大数据分析方法95

    5.2.1数据分析方法概述95

    5.2.2数据分析过程97

    5.2.3数据处理结果分析98

    5.3数据挖掘概述105

    5.3.1数据和知识105

    5.3.2数据挖掘的概念106

    5.3.3数据挖掘过程106

    5.3.4数据挖掘技术107

    5.4分类算法108

    5.4.1朴素贝叶斯分类109

    5.4.2SVM算法114

    5.5聚类算法117

    5.5.1kmeans算法118

    5.5.2DBSCAN算法121

    5.6Apriori频繁项集挖掘算法125

    5.6.1Apriori算法原理126

    5.6.2Apriori算法的基本思想127

    5.6.3Apriori算法流程128

    5.6.4Apriori算法的优缺点128

    5.6.5Apriori算法实例129

    5.7常用挖掘工具130

    5.7.1Mahout130

    5.7.2Spark MLlib132

    5.8本章小结135

    习题135

    第6章数据存储与HDFS136

    6.1大数据存储136

    6.1.1大数据存储概述136

    6.1.2分布式存储系统137

    6.1.3云存储140

    6.2数据仓库141

    6.2.1数据仓库概述141

    6.2.2数据仓库架构及构建143

    6.2.3数据集市147

    6.3HDFS简介148

    6.3.1HDFS概述148

    6.3.2HDFS的优点和缺点149

    6.4HDFS基本技术150

    6.4.1数据块150

    6.4.2名称节点、数据节点和第二名称节点151

    6.5HDFS体系结构154

    6.5.1HDFS体系结构概述154

    6.5.2HDFS命名空间155

    6.5.3通信协议和客户端155

    6.5.4HDFS 1.0体系结构的局限性155

    6.5.5HDFS 2.0设计156

    6.6HDFS存储原理156

    6.6.1数据的冗余存储156

    6.6.2如何存取数据157

    6.6.3如何恢复数据158

    6.7HDFS的文件读写操作过程159

    6.7.1HDFS读取数据的过程159

    6.7.2HDFS写入数据的过程161

    6.8HDFS编程实例163

    6.8.1使用Shell命令与HDFS进行交互163

    6.8.2在Web上显示HDFS165

    6.8.3使用Java API与HDFS进行交互166

    6.9本章小结170

    习题170

    第7章MapReduce171

    7.1MapReduce概述171

    7.1.1MapReduce的基本概念171

    7.1.2MapReduce的思想172

    7.1.3MapReduce的抽象方法173

    7.2Map和Reduce任务173

    7.2.1函数式编程173

    7.2.2mapper和reducer174

    7.3MapReduce执行框架和工作流程176

    7.3.1执行框架176

    7.3.2MapReduce工作流程概述178

    7.3.3Shuffle执行过程179

    7.3.4分割器和组合器182

    7.4MapReduce算法及应用183

    7.4.1概述183

    7.4.2本地聚合183

    7.4.3对和条纹188

    7.4.4相对频率191

    7.5MapReduce编程实例193

    7.6本章小结197

    习题197

    第8章数据可视化199

    8.1大数据可视化概述199

    8.1.1何为数据可视化199

    8.1.2大数据可视化方法203

    8.2大数据可视化软件工具213

    8.2.1Excel213

    8.2.2Tableau214

    8.2.3魔镜214

    8.2.4ECharts215

    8.2.5D3215

    8.3数据可视化实例216

    8.3.1用Tableau制作一个图表实例216

    8.3.2用魔镜制作一个图表实例222

    8.3.3用ECharts制作一个图表实例225

    8.4本章小结226

    习题227

    第9章大数据安全228

    9.1大数据安全概述228

    9.1.1大数据安全的基本概念228

    9.1.2云安全与大数据安全231

    9.1.3大数据安全技术分类231

    9.1.4大数据安全管理体系架构232

    9.2大数据隐私保护233

    9.2.1大数据隐私保护的意义和重要作用233

    9.2.2大数据隐私保护面临的问题与挑战234

    9.2.3大数据隐私保护技术236

    9.3大数据在安全管理中的应用239

    9.3.1大数据在公共安全管理中的应用239

    9.3.2大数据在煤矿安全管理中的应用241

    9.3.3大数据在安全管理应急方面的应用242

    9.4数据脱敏技术247

    9.4.1数据交互安全与脱敏技术247

    9.4.2静态数据脱敏技术247

    9.4.3动态数据脱敏技术248

    9.4.4数据脱敏实例248

    9.5本章小结249

    习题249

    第10章大数据应用案例250

    10.1大数据在智慧医疗中的应用250

    10.1.1大数据在医疗信息化行业的应用250

    10.1.2大数据在临床决策支持系统的功能应用252

    10.1.3大数据在远程医疗方面的应用253

    10.2大数据在金融行业中的应用256

    10.2.1民生银行在大数据上的应用256

    10.2.2大数据在阿里巴巴上的应用258

    10.2.3大数据时代信用卡的使用259

    10.2.4Kabbage 用大数据开辟新路径260

    10.3大数据在智慧校园中的应用261

    10.3.1大数据在微课方面的应用261

    10.3.2大数据在慕课方面的应用262

    10.3.3大数据在智慧教育云下的应用264

    10.3.4大数据在学习分析及干预中的应用266

    10.4大数据在智慧城市中的应用267

    10.4.1大数据在智慧城市中应用与管理方面的应用267

    10.4.2大数据在智慧城市中环境方面的应用268

    10.4.3大数据挖掘技术在智能交通中的应用269

    10.5本章小结271

    习题272

    参考文献273
  • 内容简介:
    本书理论联系实际,配以大量实例,系统地介绍了大数据有关的基础知识。全书共分10章,内容包括大数据概述,大数据、云计算与物联网,大数据架构与Hadoop,数据采集与预处理,大数据分析与大数据挖掘,数据存储与HDFS,MapReduce,数据可视化,大数据安全,大数据应用案例。 本书主要作为本科和高职高专相关专业的教材,也可作为相关行业从业人员的读物,还可以作为培训教材。
  • 作者简介:
    高腾刚,副教授,武汉大学硕士,计算机技术专业毕业,主持参与项目7项,其中1项,省级2项,校级4项,发表论文10余篇,参编教材2部。

    程星晶,副教授,贵州大学硕士,计算机应用技术专业毕业,主持参与项目4项,其中省级3项,校级1项,发表论文8余篇,编写教材3部,具有丰富的教材编写经验。
  • 目录:
    第1章大数据概述1

    1.1大数据定义和特征1

    1.1.1大数据定义1

    1.1.2大数据的特征1

    1.1.3大数据发展历程2

    1.2大数据的影响4

    1.3大数据发展趋势4

    1.4大数据的关键技术8

    1.5大数据的计算模式10

    1.6大数据的应用领域11

    1.7数据资源化和交易13

    1.7.1数据资源化13

    1.7.2大数据交易14

    1.8大数据安全与隐私15

    1.9本章小结16

    习题17

    第2章大数据、云计算与物联网18

    2.1云计算18

    2.1.1云计算概述18

    2.1.2云计算的分类19

    2.1.3云计算的基本特点20

    2.1.4云计算的关键技术21

    2.1.5云计算的应用24

    2.2物联网26

    2.2.1物联网概述27

    2.2.2物联网的发展过程27

    2.2.3物联网的特征28

    2.2.4物联网的关键技术30

    2.2.5物联网系统结构31

    2.2.6物联网的应用33

    2.3大数据、云计算与物联网三者之间的关系36

    2.4本章小结39

    目录大数据概论习题39

    第3章大数据架构与Hadoop40

    3.1大数据架构40

    3.1.1大数据架构概述40

    3.1.2数据类型41

    3.1.3大数据架构及数据解决方案42

    3.2Hadoop概述46

    3.2.1Hadoop简介46

    3.2.2Hadoop的发展历程46

    3.2.3Hadoop的特点47

    3.2.4Hadoop应用现状47

    3.2.5Hadoop的版本49

    3.3Hadoop的生态系统概述50

    3.3.1Hadoop的生态系统50

    3.3.2Hadoop的组成介绍51

    3.4Hadoop的安装55

    3.4.1安装前的准备55

    3.4.2安装VirtualBox56

    3.4.3安装Linux发行版Ubuntu57

    3.4.4创建Hadoop用户61

    3.4.5设置SSH无密码登录61

    3.4.6安装Java环境62

    3.4.7安装单机Hadoop62

    3.4.8安装伪分布式Hadoop63

    3.5本章小结66

    习题66

    第4章数据采集与预处理67

    4.1大数据采集67

    4.1.1大数据采集概述67

    4.1.2大数据采集方法70

    4.2大数据采集工具72

    4.2.1Flume73

    4.2.2Kafka75

    4.2.3Sqoop77

    4.2.4Scribe80

    4.3大数据预处理技术81

    4.3.1预处理意义81

    4.3.2预处理方法82

    4.4本章小结91

    习题92

    第5章大数据分析与大数据挖掘93

    5.1大数据分析的基本概念93

    5.1.1数据分析概论93

    5.1.2数据分析的类型94

    5.2大数据分析方法95

    5.2.1数据分析方法概述95

    5.2.2数据分析过程97

    5.2.3数据处理结果分析98

    5.3数据挖掘概述105

    5.3.1数据和知识105

    5.3.2数据挖掘的概念106

    5.3.3数据挖掘过程106

    5.3.4数据挖掘技术107

    5.4分类算法108

    5.4.1朴素贝叶斯分类109

    5.4.2SVM算法114

    5.5聚类算法117

    5.5.1kmeans算法118

    5.5.2DBSCAN算法121

    5.6Apriori频繁项集挖掘算法125

    5.6.1Apriori算法原理126

    5.6.2Apriori算法的基本思想127

    5.6.3Apriori算法流程128

    5.6.4Apriori算法的优缺点128

    5.6.5Apriori算法实例129

    5.7常用挖掘工具130

    5.7.1Mahout130

    5.7.2Spark MLlib132

    5.8本章小结135

    习题135

    第6章数据存储与HDFS136

    6.1大数据存储136

    6.1.1大数据存储概述136

    6.1.2分布式存储系统137

    6.1.3云存储140

    6.2数据仓库141

    6.2.1数据仓库概述141

    6.2.2数据仓库架构及构建143

    6.2.3数据集市147

    6.3HDFS简介148

    6.3.1HDFS概述148

    6.3.2HDFS的优点和缺点149

    6.4HDFS基本技术150

    6.4.1数据块150

    6.4.2名称节点、数据节点和第二名称节点151

    6.5HDFS体系结构154

    6.5.1HDFS体系结构概述154

    6.5.2HDFS命名空间155

    6.5.3通信协议和客户端155

    6.5.4HDFS 1.0体系结构的局限性155

    6.5.5HDFS 2.0设计156

    6.6HDFS存储原理156

    6.6.1数据的冗余存储156

    6.6.2如何存取数据157

    6.6.3如何恢复数据158

    6.7HDFS的文件读写操作过程159

    6.7.1HDFS读取数据的过程159

    6.7.2HDFS写入数据的过程161

    6.8HDFS编程实例163

    6.8.1使用Shell命令与HDFS进行交互163

    6.8.2在Web上显示HDFS165

    6.8.3使用Java API与HDFS进行交互166

    6.9本章小结170

    习题170

    第7章MapReduce171

    7.1MapReduce概述171

    7.1.1MapReduce的基本概念171

    7.1.2MapReduce的思想172

    7.1.3MapReduce的抽象方法173

    7.2Map和Reduce任务173

    7.2.1函数式编程173

    7.2.2mapper和reducer174

    7.3MapReduce执行框架和工作流程176

    7.3.1执行框架176

    7.3.2MapReduce工作流程概述178

    7.3.3Shuffle执行过程179

    7.3.4分割器和组合器182

    7.4MapReduce算法及应用183

    7.4.1概述183

    7.4.2本地聚合183

    7.4.3对和条纹188

    7.4.4相对频率191

    7.5MapReduce编程实例193

    7.6本章小结197

    习题197

    第8章数据可视化199

    8.1大数据可视化概述199

    8.1.1何为数据可视化199

    8.1.2大数据可视化方法203

    8.2大数据可视化软件工具213

    8.2.1Excel213

    8.2.2Tableau214

    8.2.3魔镜214

    8.2.4ECharts215

    8.2.5D3215

    8.3数据可视化实例216

    8.3.1用Tableau制作一个图表实例216

    8.3.2用魔镜制作一个图表实例222

    8.3.3用ECharts制作一个图表实例225

    8.4本章小结226

    习题227

    第9章大数据安全228

    9.1大数据安全概述228

    9.1.1大数据安全的基本概念228

    9.1.2云安全与大数据安全231

    9.1.3大数据安全技术分类231

    9.1.4大数据安全管理体系架构232

    9.2大数据隐私保护233

    9.2.1大数据隐私保护的意义和重要作用233

    9.2.2大数据隐私保护面临的问题与挑战234

    9.2.3大数据隐私保护技术236

    9.3大数据在安全管理中的应用239

    9.3.1大数据在公共安全管理中的应用239

    9.3.2大数据在煤矿安全管理中的应用241

    9.3.3大数据在安全管理应急方面的应用242

    9.4数据脱敏技术247

    9.4.1数据交互安全与脱敏技术247

    9.4.2静态数据脱敏技术247

    9.4.3动态数据脱敏技术248

    9.4.4数据脱敏实例248

    9.5本章小结249

    习题249

    第10章大数据应用案例250

    10.1大数据在智慧医疗中的应用250

    10.1.1大数据在医疗信息化行业的应用250

    10.1.2大数据在临床决策支持系统的功能应用252

    10.1.3大数据在远程医疗方面的应用253

    10.2大数据在金融行业中的应用256

    10.2.1民生银行在大数据上的应用256

    10.2.2大数据在阿里巴巴上的应用258

    10.2.3大数据时代信用卡的使用259

    10.2.4Kabbage 用大数据开辟新路径260

    10.3大数据在智慧校园中的应用261

    10.3.1大数据在微课方面的应用261

    10.3.2大数据在慕课方面的应用262

    10.3.3大数据在智慧教育云下的应用264

    10.3.4大数据在学习分析及干预中的应用266

    10.4大数据在智慧城市中的应用267

    10.4.1大数据在智慧城市中应用与管理方面的应用267

    10.4.2大数据在智慧城市中环境方面的应用268

    10.4.3大数据挖掘技术在智能交通中的应用269

    10.5本章小结271

    习题272

    参考文献273
查看详情
12
相关图书 / 更多
大数据概论
大数据驱动的突发事件情报感知及快速响应研究
唐明伟,庄玉良
大数据概论
大数据处理技术基础与应用(Hadoop+Spark)
许桂秋 孙海民 胡贵恒
大数据概论
大数据十讲 周烜 陈志广
周烜 陈志广
大数据概论
大数据财务分析
李峰
大数据概论
大数据时代的营销管理创新研究
高芳 著
大数据概论
大数据警务的崛起
(美)安德鲁.格思里.弗格森
大数据概论
大数据侦查法治化研究
彭俊磊
大数据概论
大数据时代思想政治教育创新发展研究
彭晓宽 著
大数据概论
大数据背景下公众参与环境治理的程度评估与作用机制研究
史亚东
大数据概论
大数据医疗:从即时检测设备进行解析
(英)波利亚·阿梅里安,(英)特鲁迪·朗,(英)弗朗索瓦·范·洛格伦伯格
大数据概论
大数据可视化编程和应用
倪振松 胡煜华 朱家全 主编 谢岳富 陈建平 副主编
大数据概论
大数据财务与会计应用
周忠宝 著;樊斌、樊斌、周忠宝 编