Hadoop/Spark大数据机器学习

Hadoop/Spark大数据机器学习
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者: ,
出版社: 科学出版社
2021-02
版次: 31
ISBN: 9787030666871
定价: 128.00
装帧: 其他
开本: 其他
纸张: 胶版纸
  • 人类已进入大数据时代。大数据是指具有海量(volume)、多模态(variety)、变化速度快(velocity)、蕴含价值高(value)和不精确性高(veracity)“5V”特征的数据。大数据给传统的机器学习带来巨大的挑战,已引起学术界和工业界的高度关注。Hadoop和Spark正是在这种背景下产生的两个大数据开源平台。《Hadoop/Spark大数据机器学习》重点介绍基于这两种大数据开源平台的机器学习,包括机器学习概述、大数据与大数据处理系统、Hadoop分布式文件系统HDFS、Hadoop并行编程框架MapReduce、Hadoop大数据机器学习和Spark大数据机器学习。 目录

    前言

    第1章 机器学习概述 1

    1.1 分类与聚类 1

    1.1.1 分类 1

    1.1.2 聚类 4

    1.2 K-近邻算法与模糊K-近邻算法 7

    1.2.1 K-近邻算法 7

    1.2.2 模糊K-近邻算法 8

    1.3 K-均值算法与模糊K-均值算法 10

    1.3.1 K-均值算法 10

    1.3.2 模糊K-均值算法 12

    1.4 决策树算法 13

    1.4.1 离散值决策树算法 13

    1.4.2 连续值决策树算法 25

    1.5 神经网络 31

    1.5.1 神经元模型 32

    1.5.2 梯度下降算法 33

    1.5.3 多层感知器模型 35

    1.6 极限学习机 40

    1.7 支持向量机 42

    1.7.1 线性可分支持向量机 42

    1.7.2 近似线性可分支持向量机 46

    1.7.3 线性不可分支持向量机 47

    1.8 主动学习 49

    第2章 大数据与大数据处理系统 53

    2.1 大数据及其特征 53

    2.2 Linux操作系统简介 54

    2.2.1 Linux版本 54

    2.2.2 Linux的文件与目录 56

    2.2.3 Linux用户与用户组 62

    2.2.4 Linux系统软件包管理 65

    2.2.5 Linux操作系统的安装 66

    2.3 大数据处理系统Hadoop 79

    2.3.1 什么是Hadoop 79

    2.3.2 Hadoop的特性 82

    2.3.3 Hadoop的体系结构 82

    2.3.4 Hadoop的运行机制 83

    2.3.5 Hadoop 1.0和Hadoop 2.0的区别 85

    2.3.6 Hadoop的安装及大数据处理环境的架构 87

    2.4 大数据处理系统Spark 95

    2.4.1 什么是Spark 95

    2.4.2 Spark的运行架构 96

    2.4.3 Spark的工作机制 97

    第3章 Hadoop分布式文件系统HDFS 106

    3.1 HDFS概述 106

    3.1.1 HDFS的优势 106

    3.1.2 HDFS的局限性 107

    3.2 HDFS的系统结构 107

    3.3 HDFS的数据存储 111

    3.3.1 数据块的存放策略 111

    3.3.2 数据的读取策略 112

    3.3.3 文件系统元数据的持久性 114

    3.3.4 HDFS的鲁棒性 114

    3.4 访问HDFS 116

    3.4.1 通过文件系统Shell访问HDFS 116

    3.4.2 通过文件系统Java API访问HDFS 120

    3.5 HDFS读写数据的过程 132

    3.5.1 HDFS读数据的过程 132

    3.5.2 HDFS写数据的过程 133

    第4章 Hadoop并行编程框架MapReduce 135

    4.1 MapReduce概述 135

    4.2 MapReduce的大数据处理过程 136

    4.2.1 Map阶段 137

    4.2.2 Shu2e阶段 138

    4.2.3 Reduce阶段 140

    4.3 一个例子:流量统计 141

    4.4 MapReduce的系统结构 144

    4.5 MapReduce的作业处理过程 146

    4.6 MapReduce算法设计 147

    4.6.1 大数据决策树算法设计 147

    4.6.2 大数据极限学习机算法设计 150

    第5章 Hadoop大数据机器学习 152

    5.1 基于Hadoop的大数据K-近邻算法 155

    5.1.1 大数据K-近邻算法的基本思想 155

    5.1.2 大数据K-近邻算法的MapReduce编程实现 156

    5.2 基于Hadoop的大数据极限学习机 170

    5.2.1 大数据极限学习机的基本思想 170

    5.2.2 大数据极限学习机的MapReduce编程实现 170

    5.3 基于Hadoop的大数据主动学习 191

    5.3.1 大数据主动学习的基本思想 191

    5.3.2 大数据主动学习的MapReduce编程实现 192

    第6章 Spark大数据机器学习 201

    6.1 SparkMLlib 201

    6.1.1 MLlib决策树算法 201

    6.1.2 MLlib决策森林算法 204

    6.1.3 MLlib K-means算法 207

    6.1.4 主成分分析 210

    6.2 基于Spark的大数据K-近邻算法 212

    6.3 基于Spark的大数据主动学习 218

    参考文献 238
  • 内容简介:
    人类已进入大数据时代。大数据是指具有海量(volume)、多模态(variety)、变化速度快(velocity)、蕴含价值高(value)和不精确性高(veracity)“5V”特征的数据。大数据给传统的机器学习带来巨大的挑战,已引起学术界和工业界的高度关注。Hadoop和Spark正是在这种背景下产生的两个大数据开源平台。《Hadoop/Spark大数据机器学习》重点介绍基于这两种大数据开源平台的机器学习,包括机器学习概述、大数据与大数据处理系统、Hadoop分布式文件系统HDFS、Hadoop并行编程框架MapReduce、Hadoop大数据机器学习和Spark大数据机器学习。
  • 目录:
    目录

    前言

    第1章 机器学习概述 1

    1.1 分类与聚类 1

    1.1.1 分类 1

    1.1.2 聚类 4

    1.2 K-近邻算法与模糊K-近邻算法 7

    1.2.1 K-近邻算法 7

    1.2.2 模糊K-近邻算法 8

    1.3 K-均值算法与模糊K-均值算法 10

    1.3.1 K-均值算法 10

    1.3.2 模糊K-均值算法 12

    1.4 决策树算法 13

    1.4.1 离散值决策树算法 13

    1.4.2 连续值决策树算法 25

    1.5 神经网络 31

    1.5.1 神经元模型 32

    1.5.2 梯度下降算法 33

    1.5.3 多层感知器模型 35

    1.6 极限学习机 40

    1.7 支持向量机 42

    1.7.1 线性可分支持向量机 42

    1.7.2 近似线性可分支持向量机 46

    1.7.3 线性不可分支持向量机 47

    1.8 主动学习 49

    第2章 大数据与大数据处理系统 53

    2.1 大数据及其特征 53

    2.2 Linux操作系统简介 54

    2.2.1 Linux版本 54

    2.2.2 Linux的文件与目录 56

    2.2.3 Linux用户与用户组 62

    2.2.4 Linux系统软件包管理 65

    2.2.5 Linux操作系统的安装 66

    2.3 大数据处理系统Hadoop 79

    2.3.1 什么是Hadoop 79

    2.3.2 Hadoop的特性 82

    2.3.3 Hadoop的体系结构 82

    2.3.4 Hadoop的运行机制 83

    2.3.5 Hadoop 1.0和Hadoop 2.0的区别 85

    2.3.6 Hadoop的安装及大数据处理环境的架构 87

    2.4 大数据处理系统Spark 95

    2.4.1 什么是Spark 95

    2.4.2 Spark的运行架构 96

    2.4.3 Spark的工作机制 97

    第3章 Hadoop分布式文件系统HDFS 106

    3.1 HDFS概述 106

    3.1.1 HDFS的优势 106

    3.1.2 HDFS的局限性 107

    3.2 HDFS的系统结构 107

    3.3 HDFS的数据存储 111

    3.3.1 数据块的存放策略 111

    3.3.2 数据的读取策略 112

    3.3.3 文件系统元数据的持久性 114

    3.3.4 HDFS的鲁棒性 114

    3.4 访问HDFS 116

    3.4.1 通过文件系统Shell访问HDFS 116

    3.4.2 通过文件系统Java API访问HDFS 120

    3.5 HDFS读写数据的过程 132

    3.5.1 HDFS读数据的过程 132

    3.5.2 HDFS写数据的过程 133

    第4章 Hadoop并行编程框架MapReduce 135

    4.1 MapReduce概述 135

    4.2 MapReduce的大数据处理过程 136

    4.2.1 Map阶段 137

    4.2.2 Shu2e阶段 138

    4.2.3 Reduce阶段 140

    4.3 一个例子:流量统计 141

    4.4 MapReduce的系统结构 144

    4.5 MapReduce的作业处理过程 146

    4.6 MapReduce算法设计 147

    4.6.1 大数据决策树算法设计 147

    4.6.2 大数据极限学习机算法设计 150

    第5章 Hadoop大数据机器学习 152

    5.1 基于Hadoop的大数据K-近邻算法 155

    5.1.1 大数据K-近邻算法的基本思想 155

    5.1.2 大数据K-近邻算法的MapReduce编程实现 156

    5.2 基于Hadoop的大数据极限学习机 170

    5.2.1 大数据极限学习机的基本思想 170

    5.2.2 大数据极限学习机的MapReduce编程实现 170

    5.3 基于Hadoop的大数据主动学习 191

    5.3.1 大数据主动学习的基本思想 191

    5.3.2 大数据主动学习的MapReduce编程实现 192

    第6章 Spark大数据机器学习 201

    6.1 SparkMLlib 201

    6.1.1 MLlib决策树算法 201

    6.1.2 MLlib决策森林算法 204

    6.1.3 MLlib K-means算法 207

    6.1.4 主成分分析 210

    6.2 基于Spark的大数据K-近邻算法 212

    6.3 基于Spark的大数据主动学习 218

    参考文献 238
查看详情
相关图书 / 更多
Hadoop/Spark大数据机器学习
Hadoop 3大数据技术快速入门
牛搞
Hadoop/Spark大数据机器学习
Hardy-Landau圆内整点问题(精)/现代数学中的著名定理纵横谈丛书
王梓坤 著;刘培杰数学工作室 编
Hadoop/Spark大数据机器学习
Hadoop大数据平台技术与应用
孙风栋 著
Hadoop/Spark大数据机器学习
Hadoop+Spark+Python大数据处理从算法到实战
朱春旭
Hadoop/Spark大数据机器学习
HarmonyOS IoT设备开发实战(鸿蒙操作系统开发)
江苏润和软件股份有限公司
Hadoop/Spark大数据机器学习
Hadoop技术与应用(高职)
魏迎
Hadoop/Spark大数据机器学习
Hadoop大数据开发技术
申时全;陈强;杨胜利;黎学军;姜荣正;邱林润
Hadoop/Spark大数据机器学习
Hadoop大数据开发基础项目化教程(陈秀玲)
陈井霞 主编;陈秀玲;王德选
Hadoop/Spark大数据机器学习
Hadoop应用开发与案例实战(慕课版)
穆建平、王建、商程 著
Hadoop/Spark大数据机器学习
Hadoop大数据技术与应用
智酷道捷内容与产品中心
Hadoop/Spark大数据机器学习
Hadoop大数据处理与分析教程(慕课版)
王秀友 丁小娜 刘运
Hadoop/Spark大数据机器学习
Hadoop 3实战指南
孙志伟