Hadoop/Spark大数据机器学习

Hadoop/Spark大数据机器学习
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者: ,
出版社: 科学出版社
2021-02
版次: 31
ISBN: 9787030666871
定价: 128.00
装帧: 其他
开本: 其他
纸张: 胶版纸
  • 人类已进入大数据时代。大数据是指具有海量(volume)、多模态(variety)、变化速度快(velocity)、蕴含价值高(value)和不精确性高(veracity)“5V”特征的数据。大数据给传统的机器学习带来巨大的挑战,已引起学术界和工业界的高度关注。Hadoop和Spark正是在这种背景下产生的两个大数据开源平台。《Hadoop/Spark大数据机器学习》重点介绍基于这两种大数据开源平台的机器学习,包括机器学习概述、大数据与大数据处理系统、Hadoop分布式文件系统HDFS、Hadoop并行编程框架MapReduce、Hadoop大数据机器学习和Spark大数据机器学习。 目录

    前言

    第1章 机器学习概述 1

    1.1 分类与聚类 1

    1.1.1 分类 1

    1.1.2 聚类 4

    1.2 K-近邻算法与模糊K-近邻算法 7

    1.2.1 K-近邻算法 7

    1.2.2 模糊K-近邻算法 8

    1.3 K-均值算法与模糊K-均值算法 10

    1.3.1 K-均值算法 10

    1.3.2 模糊K-均值算法 12

    1.4 决策树算法 13

    1.4.1 离散值决策树算法 13

    1.4.2 连续值决策树算法 25

    1.5 神经网络 31

    1.5.1 神经元模型 32

    1.5.2 梯度下降算法 33

    1.5.3 多层感知器模型 35

    1.6 极限学习机 40

    1.7 支持向量机 42

    1.7.1 线性可分支持向量机 42

    1.7.2 近似线性可分支持向量机 46

    1.7.3 线性不可分支持向量机 47

    1.8 主动学习 49

    第2章 大数据与大数据处理系统 53

    2.1 大数据及其特征 53

    2.2 Linux操作系统简介 54

    2.2.1 Linux版本 54

    2.2.2 Linux的文件与目录 56

    2.2.3 Linux用户与用户组 62

    2.2.4 Linux系统软件包管理 65

    2.2.5 Linux操作系统的安装 66

    2.3 大数据处理系统Hadoop 79

    2.3.1 什么是Hadoop 79

    2.3.2 Hadoop的特性 82

    2.3.3 Hadoop的体系结构 82

    2.3.4 Hadoop的运行机制 83

    2.3.5 Hadoop 1.0和Hadoop 2.0的区别 85

    2.3.6 Hadoop的安装及大数据处理环境的架构 87

    2.4 大数据处理系统Spark 95

    2.4.1 什么是Spark 95

    2.4.2 Spark的运行架构 96

    2.4.3 Spark的工作机制 97

    第3章 Hadoop分布式文件系统HDFS 106

    3.1 HDFS概述 106

    3.1.1 HDFS的优势 106

    3.1.2 HDFS的局限性 107

    3.2 HDFS的系统结构 107

    3.3 HDFS的数据存储 111

    3.3.1 数据块的存放策略 111

    3.3.2 数据的读取策略 112

    3.3.3 文件系统元数据的持久性 114

    3.3.4 HDFS的鲁棒性 114

    3.4 访问HDFS 116

    3.4.1 通过文件系统Shell访问HDFS 116

    3.4.2 通过文件系统Java API访问HDFS 120

    3.5 HDFS读写数据的过程 132

    3.5.1 HDFS读数据的过程 132

    3.5.2 HDFS写数据的过程 133

    第4章 Hadoop并行编程框架MapReduce 135

    4.1 MapReduce概述 135

    4.2 MapReduce的大数据处理过程 136

    4.2.1 Map阶段 137

    4.2.2 Shu2e阶段 138

    4.2.3 Reduce阶段 140

    4.3 一个例子:流量统计 141

    4.4 MapReduce的系统结构 144

    4.5 MapReduce的作业处理过程 146

    4.6 MapReduce算法设计 147

    4.6.1 大数据决策树算法设计 147

    4.6.2 大数据极限学习机算法设计 150

    第5章 Hadoop大数据机器学习 152

    5.1 基于Hadoop的大数据K-近邻算法 155

    5.1.1 大数据K-近邻算法的基本思想 155

    5.1.2 大数据K-近邻算法的MapReduce编程实现 156

    5.2 基于Hadoop的大数据极限学习机 170

    5.2.1 大数据极限学习机的基本思想 170

    5.2.2 大数据极限学习机的MapReduce编程实现 170

    5.3 基于Hadoop的大数据主动学习 191

    5.3.1 大数据主动学习的基本思想 191

    5.3.2 大数据主动学习的MapReduce编程实现 192

    第6章 Spark大数据机器学习 201

    6.1 SparkMLlib 201

    6.1.1 MLlib决策树算法 201

    6.1.2 MLlib决策森林算法 204

    6.1.3 MLlib K-means算法 207

    6.1.4 主成分分析 210

    6.2 基于Spark的大数据K-近邻算法 212

    6.3 基于Spark的大数据主动学习 218

    参考文献 238
  • 内容简介:
    人类已进入大数据时代。大数据是指具有海量(volume)、多模态(variety)、变化速度快(velocity)、蕴含价值高(value)和不精确性高(veracity)“5V”特征的数据。大数据给传统的机器学习带来巨大的挑战,已引起学术界和工业界的高度关注。Hadoop和Spark正是在这种背景下产生的两个大数据开源平台。《Hadoop/Spark大数据机器学习》重点介绍基于这两种大数据开源平台的机器学习,包括机器学习概述、大数据与大数据处理系统、Hadoop分布式文件系统HDFS、Hadoop并行编程框架MapReduce、Hadoop大数据机器学习和Spark大数据机器学习。
  • 目录:
    目录

    前言

    第1章 机器学习概述 1

    1.1 分类与聚类 1

    1.1.1 分类 1

    1.1.2 聚类 4

    1.2 K-近邻算法与模糊K-近邻算法 7

    1.2.1 K-近邻算法 7

    1.2.2 模糊K-近邻算法 8

    1.3 K-均值算法与模糊K-均值算法 10

    1.3.1 K-均值算法 10

    1.3.2 模糊K-均值算法 12

    1.4 决策树算法 13

    1.4.1 离散值决策树算法 13

    1.4.2 连续值决策树算法 25

    1.5 神经网络 31

    1.5.1 神经元模型 32

    1.5.2 梯度下降算法 33

    1.5.3 多层感知器模型 35

    1.6 极限学习机 40

    1.7 支持向量机 42

    1.7.1 线性可分支持向量机 42

    1.7.2 近似线性可分支持向量机 46

    1.7.3 线性不可分支持向量机 47

    1.8 主动学习 49

    第2章 大数据与大数据处理系统 53

    2.1 大数据及其特征 53

    2.2 Linux操作系统简介 54

    2.2.1 Linux版本 54

    2.2.2 Linux的文件与目录 56

    2.2.3 Linux用户与用户组 62

    2.2.4 Linux系统软件包管理 65

    2.2.5 Linux操作系统的安装 66

    2.3 大数据处理系统Hadoop 79

    2.3.1 什么是Hadoop 79

    2.3.2 Hadoop的特性 82

    2.3.3 Hadoop的体系结构 82

    2.3.4 Hadoop的运行机制 83

    2.3.5 Hadoop 1.0和Hadoop 2.0的区别 85

    2.3.6 Hadoop的安装及大数据处理环境的架构 87

    2.4 大数据处理系统Spark 95

    2.4.1 什么是Spark 95

    2.4.2 Spark的运行架构 96

    2.4.3 Spark的工作机制 97

    第3章 Hadoop分布式文件系统HDFS 106

    3.1 HDFS概述 106

    3.1.1 HDFS的优势 106

    3.1.2 HDFS的局限性 107

    3.2 HDFS的系统结构 107

    3.3 HDFS的数据存储 111

    3.3.1 数据块的存放策略 111

    3.3.2 数据的读取策略 112

    3.3.3 文件系统元数据的持久性 114

    3.3.4 HDFS的鲁棒性 114

    3.4 访问HDFS 116

    3.4.1 通过文件系统Shell访问HDFS 116

    3.4.2 通过文件系统Java API访问HDFS 120

    3.5 HDFS读写数据的过程 132

    3.5.1 HDFS读数据的过程 132

    3.5.2 HDFS写数据的过程 133

    第4章 Hadoop并行编程框架MapReduce 135

    4.1 MapReduce概述 135

    4.2 MapReduce的大数据处理过程 136

    4.2.1 Map阶段 137

    4.2.2 Shu2e阶段 138

    4.2.3 Reduce阶段 140

    4.3 一个例子:流量统计 141

    4.4 MapReduce的系统结构 144

    4.5 MapReduce的作业处理过程 146

    4.6 MapReduce算法设计 147

    4.6.1 大数据决策树算法设计 147

    4.6.2 大数据极限学习机算法设计 150

    第5章 Hadoop大数据机器学习 152

    5.1 基于Hadoop的大数据K-近邻算法 155

    5.1.1 大数据K-近邻算法的基本思想 155

    5.1.2 大数据K-近邻算法的MapReduce编程实现 156

    5.2 基于Hadoop的大数据极限学习机 170

    5.2.1 大数据极限学习机的基本思想 170

    5.2.2 大数据极限学习机的MapReduce编程实现 170

    5.3 基于Hadoop的大数据主动学习 191

    5.3.1 大数据主动学习的基本思想 191

    5.3.2 大数据主动学习的MapReduce编程实现 192

    第6章 Spark大数据机器学习 201

    6.1 SparkMLlib 201

    6.1.1 MLlib决策树算法 201

    6.1.2 MLlib决策森林算法 204

    6.1.3 MLlib K-means算法 207

    6.1.4 主成分分析 210

    6.2 基于Spark的大数据K-近邻算法 212

    6.3 基于Spark的大数据主动学习 218

    参考文献 238
查看详情
12
相关图书 / 更多
Hadoop/Spark大数据机器学习
Hadoop技术与应用()
徐鲁辉
Hadoop/Spark大数据机器学习
Hadoop生态案例详解与项目实战
王盟 王新强
Hadoop/Spark大数据机器学习
HarmonyOS移动应用开发(ArkTS版)
刘安战;余雨萍;陈争艳
Hadoop/Spark大数据机器学习
Hadoop大数据分布式计算框架--原理与应用
杨成伟;祝翠玲;刘位龙
Hadoop/Spark大数据机器学习
Hadoop大数据平台搭建与应用(工作手册式)(微课版)
时东晓
Hadoop/Spark大数据机器学习
Hadoop大数据平台构建与应用(第2版)
米洪 陈永
Hadoop/Spark大数据机器学习
Hadoop大数据技术与项目实战
王小洁
Hadoop/Spark大数据机器学习
HarmonyOS应用程序开发与实战(Java版)
姚信威
Hadoop/Spark大数据机器学习
Hadoop简明教程
刘科峰
Hadoop/Spark大数据机器学习
Harper儿童皮肤病学(上下卷),第4版(翻译版)
马琳;王华;姚志荣;徐子刚
Hadoop/Spark大数据机器学习
Hadoop大数据技术原理与应用(第2版)
黑马程序员
Hadoop/Spark大数据机器学习
Hadoop生态系统及开发
深圳市讯方技术股份有限公司