Hadoop 3实战指南
出版时间:
2021-05
版次:
1
ISBN:
9787115561572
定价:
69.80
装帧:
其他
开本:
其他
纸张:
胶版纸
页数:
176页
字数:
257千字
5人买过
-
本书主要分析Hadoop 3.2.0的新特性和新功能，共5章。首先简单介绍Hadoop，让刚接触Hadoop的读者对它有个基本了解； 接着介绍目前使用比较多的分布式文件系统HDFS，内容涉及NameNode 的原理、HA、HDFS Federation和HDFS 3.0中新增的特性；然后从应用管理和资源调度这两个方面介绍一个通用的资源管理平台YARN；再后讨论如何在YARN平台中运行应用，比如如何将应用迁移到YARN平台，以及非Hadoop的应用是如何兼容YARN模式的。*后，书中给出了一些工作实战指南，包括如何搭建一个生产可用的Hadoop 3.0集群；如何将现有Hadoop 2.0集群升级到Hadoop 3.0，及其在升级过程中遇到的问题；如何针对Hadoop进行二次开发，并参与社区，向社区贡献代码；一个大数据平台应具备哪些必备组件等。 孙志伟 金山云数据平台架构师，专注于Hadoop生态和数据平台建设，曾就职于网易、转转等互联网公司。对大数据处理、分布式计算与数据采集有着浓厚的兴趣。一直从事Hadoop 研发与运维工作，努力钻研技术并坚持分享。有着丰富的一线研发与运维经验，是多个社区的Contributor，积极活跃于开源社区。 硕士，毕业于华北电力大学。 目 录
第 1章 Hadoop 1
1.1 简介 1
1.1.1 Hadoop 1.0 1
1.1.2 Hadoop 2.0 3
1.2 Hadoop 3.0 4
1.3 阅读Hadoop源码 6
1.3.1 单元测试 8
1.3.2 断点调试代码 11
1.4 小结 13
第 2章 HDFS 14
2.1 HDFS简介 14
2.2 解析NameNode中的元数据及其内存结构 15
2.2.1 解析NameNode中的元数据 16
2.2.2 解析NameNode的内存结构 19
2.3 解析NameNode的HA功能 23
2.3.1 基于QJM的HA 23
2.3.2 故障转移 26
2.3.3 多NameNode模式 28
2.4 HDFS的Federation 29
2.4.1 基于viewfs的Federation 30
2.4.2 基于Router的Federation 31
2.5 纠删码 32
2.5.1 纠删码的原理 33
2.5.2 HDFS EC 35
2.5.3 HDFS EC的实现 38
2.5.4 对比HDFS EC策略与三副本策略 49
2.6 下一代对象存储系统Ozone 50
2.6.1 Ozone初体验 50
2.6.2 Ozone架构 53
2.7 小结 55
第3章 YARN 56
3.1 YARN简介 56
3.2 解析ResourceManager的HA功能 60
3.2.1 故障转移 61
3.2.2 数据恢复 63
3.3 YARN Federation 65
3.3.1 架构 65
3.3.2 Router 66
3.3.3 State Store和Policy Store 69
3.3.4 AMRMProxy 69
3.3.5 跨子集群运行 74
3.4 中央调度器 75
3.4.1 Capacity调度器 76
3.4.2 Fair调度器 78
3.4.3 调度扩展 90
3.5 分布式调度器 96
3.5.1 分布式调度器的架构 97
3.5.2 opportunistic container 98
3.6 YARN Shared Cache 99
3.6.1 资源本地化 100
3.6.2 Shared Cache的架构 101
3.6.3 Shared Cache实例 102
3.7 小结 104
第4章 Application on YARN 105
4.1 MapReduce的简介 105
4.2 MapReduce的源码分析 106
4.2.1 InputSplit 107
4.2.2 环形缓冲区 109
4.2.3 溢写和归并 112
4.2.4 Shuffle 113
4.3 MapReduce on YARN 119
4.3.1 YARN的事件机制和状态机机制 119
4.3.2 MR ApplicationMaster 123
4.4 Application on YARN 124
4.5 小结 129
第5章 实战指南 130
5.1 Hadoop 3.x的部署 130
5.1.1 Hadoop 3.x HA的部署 130
5.1.2 Hadoop 3.x Federation的部署 145
5.2 Hadoop升级 149
5.2.1 Hadoop 2.0升级为Hadoop 3.0 151
5.2.2 Hadoop 3.0降级为Hadoop 2.0 155
5.2.3 升级/降级中遇到的问题 155
5.3 二次开发 160
5.3.1 与其他自研系统融合 160
5.3.2 自身功能扩展之自动识别修复后的数据盘 163
5.3.3 合并社区Patch 166
5.3.4 提交Pull Request 167
5.4 周边系统平台 169
5.4.1 任务调度平台 169
5.4.2 监控平台 170
5.4.3 集群诊断分析平台 174
5.5 小结 176
-
内容简介:
本书主要分析Hadoop 3.2.0的新特性和新功能，共5章。首先简单介绍Hadoop，让刚接触Hadoop的读者对它有个基本了解； 接着介绍目前使用比较多的分布式文件系统HDFS，内容涉及NameNode 的原理、HA、HDFS Federation和HDFS 3.0中新增的特性；然后从应用管理和资源调度这两个方面介绍一个通用的资源管理平台YARN；再后讨论如何在YARN平台中运行应用，比如如何将应用迁移到YARN平台，以及非Hadoop的应用是如何兼容YARN模式的。*后，书中给出了一些工作实战指南，包括如何搭建一个生产可用的Hadoop 3.0集群；如何将现有Hadoop 2.0集群升级到Hadoop 3.0，及其在升级过程中遇到的问题；如何针对Hadoop进行二次开发，并参与社区，向社区贡献代码；一个大数据平台应具备哪些必备组件等。
-
作者简介:
孙志伟 金山云数据平台架构师，专注于Hadoop生态和数据平台建设，曾就职于网易、转转等互联网公司。对大数据处理、分布式计算与数据采集有着浓厚的兴趣。一直从事Hadoop 研发与运维工作，努力钻研技术并坚持分享。有着丰富的一线研发与运维经验，是多个社区的Contributor，积极活跃于开源社区。 硕士，毕业于华北电力大学。
-
目录:
目 录
第 1章 Hadoop 1
1.1 简介 1
1.1.1 Hadoop 1.0 1
1.1.2 Hadoop 2.0 3
1.2 Hadoop 3.0 4
1.3 阅读Hadoop源码 6
1.3.1 单元测试 8
1.3.2 断点调试代码 11
1.4 小结 13
第 2章 HDFS 14
2.1 HDFS简介 14
2.2 解析NameNode中的元数据及其内存结构 15
2.2.1 解析NameNode中的元数据 16
2.2.2 解析NameNode的内存结构 19
2.3 解析NameNode的HA功能 23
2.3.1 基于QJM的HA 23
2.3.2 故障转移 26
2.3.3 多NameNode模式 28
2.4 HDFS的Federation 29
2.4.1 基于viewfs的Federation 30
2.4.2 基于Router的Federation 31
2.5 纠删码 32
2.5.1 纠删码的原理 33
2.5.2 HDFS EC 35
2.5.3 HDFS EC的实现 38
2.5.4 对比HDFS EC策略与三副本策略 49
2.6 下一代对象存储系统Ozone 50
2.6.1 Ozone初体验 50
2.6.2 Ozone架构 53
2.7 小结 55
第3章 YARN 56
3.1 YARN简介 56
3.2 解析ResourceManager的HA功能 60
3.2.1 故障转移 61
3.2.2 数据恢复 63
3.3 YARN Federation 65
3.3.1 架构 65
3.3.2 Router 66
3.3.3 State Store和Policy Store 69
3.3.4 AMRMProxy 69
3.3.5 跨子集群运行 74
3.4 中央调度器 75
3.4.1 Capacity调度器 76
3.4.2 Fair调度器 78
3.4.3 调度扩展 90
3.5 分布式调度器 96
3.5.1 分布式调度器的架构 97
3.5.2 opportunistic container 98
3.6 YARN Shared Cache 99
3.6.1 资源本地化 100
3.6.2 Shared Cache的架构 101
3.6.3 Shared Cache实例 102
3.7 小结 104
第4章 Application on YARN 105
4.1 MapReduce的简介 105
4.2 MapReduce的源码分析 106
4.2.1 InputSplit 107
4.2.2 环形缓冲区 109
4.2.3 溢写和归并 112
4.2.4 Shuffle 113
4.3 MapReduce on YARN 119
4.3.1 YARN的事件机制和状态机机制 119
4.3.2 MR ApplicationMaster 123
4.4 Application on YARN 124
4.5 小结 129
第5章 实战指南 130
5.1 Hadoop 3.x的部署 130
5.1.1 Hadoop 3.x HA的部署 130
5.1.2 Hadoop 3.x Federation的部署 145
5.2 Hadoop升级 149
5.2.1 Hadoop 2.0升级为Hadoop 3.0 151
5.2.2 Hadoop 3.0降级为Hadoop 2.0 155
5.2.3 升级/降级中遇到的问题 155
5.3 二次开发 160
5.3.1 与其他自研系统融合 160
5.3.2 自身功能扩展之自动识别修复后的数据盘 163
5.3.3 合并社区Patch 166
5.3.4 提交Pull Request 167
5.4 周边系统平台 169
5.4.1 任务调度平台 169
5.4.2 监控平台 170
5.4.3 集群诊断分析平台 174
5.5 小结 176
查看详情
-
2021-05 印刷
印次: 1
九品
上海市闵行区
平均发货8小时
成功完成率93.03%
-
全新
北京市丰台区
平均发货22小时
成功完成率88.59%
-
全新
河北省保定市
平均发货21小时
成功完成率86.45%
-
全新
四川省成都市
平均发货16小时
成功完成率80.33%
-
全新
北京市海淀区
平均发货20小时
成功完成率86.01%
-
全新
四川省成都市
平均发货61小时
成功完成率83.25%
-
全新
山东省泰安市
平均发货23小时
成功完成率84.89%
-
全新
广东省广州市
平均发货20小时
成功完成率86.58%
-
全新
北京市海淀区
平均发货10小时
成功完成率92.48%
-
八五品
上海市奉贤区
平均发货12小时
成功完成率94.05%
-
全新
四川省成都市
平均发货15小时
成功完成率91.62%
-
全新
河北省廊坊市
平均发货14小时
成功完成率90.57%
-
全新
河北省廊坊市
平均发货20小时
成功完成率86.01%
-
全新
广东省广州市
平均发货21小时
成功完成率80.44%
-
全新
广东省广州市
平均发货17小时
成功完成率87.95%
-
全新
山东省泰安市
平均发货18小时
成功完成率92.12%
-
全新
北京市丰台区
平均发货8小时
成功完成率90.26%
-
全新
山东省泰安市
平均发货24小时
成功完成率92.57%
-
全新
山东省泰安市
平均发货9小时
成功完成率88.1%
-
全新
上海市黄浦区
平均发货11小时
成功完成率94.45%
-
全新
山东省泰安市
平均发货8小时
成功完成率92.71%
-
全新
山东省泰安市
平均发货13小时
成功完成率92.18%
-
全新
江苏省无锡市
平均发货10小时
成功完成率92.48%
-
全新
四川省成都市
平均发货18小时
成功完成率79.65%
-
全新
北京市通州区
平均发货9小时
成功完成率88.55%
-
全新
广东省广州市
平均发货9小时
成功完成率88.16%
-
全新
广东省广州市
平均发货18小时
成功完成率89.3%
-
全新
北京市西城区
平均发货30小时
成功完成率90.55%
-
全新
天津市河东区
平均发货29小时
成功完成率89.71%
-
全新
天津市西青区
平均发货22小时
成功完成率94.78%
-
九品
北京市海淀区
平均发货22小时
成功完成率84.42%
-
全新
天津市西青区
平均发货14小时
成功完成率90.57%
-
全新
北京市朝阳区
平均发货9小时
成功完成率96.75%
-
全新
江苏省苏州市
平均发货9小时
成功完成率95.67%
-
全新
河北省保定市
平均发货15小时
成功完成率91.04%
-
全新
天津市津南区
平均发货14小时
成功完成率93.67%
-
九品
北京市昌平区
平均发货23小时
成功完成率86.13%
-
全新
浙江省嘉兴市
平均发货10小时
成功完成率93.91%
-
全新
-
全新
江苏省无锡市
平均发货18小时
成功完成率94.43%
-
全新
广东省广州市
平均发货7小时
成功完成率90.97%
-
全新
江苏省南京市
平均发货16小时
成功完成率82.56%
-
全新
江苏省南京市
平均发货7小时
成功完成率97.62%
-
全新
江苏省南京市
平均发货8小时
成功完成率96.72%
-
全新
河北省保定市
平均发货9小时
成功完成率81.69%
-
全新
北京市东城区
平均发货12小时
成功完成率94.76%
-
全新
河北省保定市
平均发货20小时
成功完成率82.7%
-
全新
北京市西城区
平均发货29小时
成功完成率88.13%
-
全新
北京市海淀区
平均发货11小时
成功完成率93.29%
-
全新
江苏省南京市
平均发货16小时
成功完成率82.56%
占位居中
