Hadoop 2.X HDFS源码剖析

Hadoop 2.X HDFS源码剖析
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者:
出版社: 电子工业出版社
2016-03
版次: 1
ISBN: 9787121281556
定价: 108.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 516页
字数: 879千字
正文语种: 简体中文
  • HDFS是运行在通用硬件上的分布式文件系统,本书详细介绍了HDFS体系结构、基本概念、通信协议及主要流程,具体包括Hadoop RPC框架的使用及实现、文件系统目录树、数据块管理、数据节点管理、租约管理、缓存管理、ClientProtocol实现、Namenode的启动和停止、Datanode逻辑结构、Datanode存储、文件系统数据集、BlockManager、流式接口、数据块扫描器、DataNode类的实现、DFSClient实现、文件读操作与输入流、文件短路读操作、文件写操作与输出流,以及HDFS常用工具等。 徐鹏:2005-2012年在北京邮电大学完成本科以及硕士的学习,目前就职于今日头条担任基础架构研发工程师。长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发。 第1章HDFS 11.1HDFS概述 11.1.1HDFS体系结构 11.1.2HDFS基本概念 21.2HDFS通信协议 41.2.1HadoopRPC接口 41.2.2流式接口 201.3HDFS主要流程 221.3.1HDFS客户端读流程 221.3.2HDFS客户端写流程 241.3.3HDFS客户端追加写流程 251.3.4Datanode启动、心跳以及执行名字节点指令流程 261.3.5HA切换流程 27第2章HadoopRPC 292.1概述 292.1.1RPC框架概述 292.1.2HadoopRPC框架概述 302.2HadoopRPC的使用 362.2.1HadoopRPC使用概述 362.2.2定义RPC协议 402.2.3客户端获取Proxy对象 452.2.4服务器获取Server对象 542.3HadoopRPC实现 632.3.1RPC类实现 632.3.2Client类实现 642.3.3Server类实现 76第3章Namenode(名字节点) 883.1文件系统树 883.1.1INode相关类 893.1.2Feature相关类 1023.1.3FSEditLog类 1173.1.4FSImage类 1383.1.5FSDirectory类 1583.2数据块管理 1623.2.1Block、Replica、BlocksMap 1623.2.2数据块副本状态 1673.2.3BlockManager类(done) 1773.3数据节点管理 2113.3.1DatanodeDescriptor 2123.3.2DatanodeStorageInfo 2143.3.3DatanodeManager 2173.4租约管理 2333.4.1LeaseManager.Lease 2333.4.2LeaseManager 2343.5缓存管理 2463.5.1缓存概念 2473.5.2缓存管理命令 2473.5.3HDFS集中式缓存架构 2473.5.4CacheManager类实现 2483.5.5CacheReplicationMonitor 2503.6ClientProtocol实现 2513.6.1创建文件 2513.6.2追加写文件 2543.6.3创建新的数据块 2573.6.4放弃数据块 2653.6.5关闭文件 2663.7Namenode的启动和停止 2683.7.1安全模式 2683.7.2HDFSHighAvailability 2763.7.3名字节点的启动 3013.7.4名字节点的停止 306第4章Datanode(数据节点) 3074.1Datanode逻辑结构 3074.1.1HDFS1.X架构 3074.1.2HDFSFederation 3084.1.3Datanode逻辑结构 3104.2Datanode存储 3124.2.1Datanode升级机制 3124.2.2Datanode磁盘存储结构 3154.2.3DataStorage实现 3174.3文件系统数据集 3344.3.1Datanode上数据块副本的状态 3354.3.2BlockPoolSlice实现 3354.3.3FsVolumeImpl实现 3424.3.4FsVolumeList实现 3454.3.5FsDatasetImpl实现 3484.4BlockPoolManager 3754.4.1BPServiceActor实现 3764.4.2BPOfferService实现 3894.4.3BlockPoolManager实现 3964.5流式接口 3984.5.1DataTransferProtocol定义 3984.5.2Sender和Receiver 3994.5.3DataXceiverServer 4034.5.4DataXceiver 4064.5.5读数据 4084.5.6写数据(done) 4234.5.7数据块替换、数据块拷贝和读数据块校验 4374.5.8短路读操作 4374.6数据块扫描器 4374.6.1DataBlockScanner实现 4384.6.2BlockPoolSliceScanner实现 4394.7DirectoryScanner 4424.8DataNode类的实现 4434.8.1DataNode的启动 4444.8.2DataNode的关闭 446第5章HDFS客户端 4475.1DFSClient实现 4475.1.1构造方法 4485.1.2关闭方法 4495.1.3文件系统管理与配置方法 4505.1.4HDFS文件与操作方法 4515.1.5HDFS文件读写方法 4525.2文件读操作与输入流 4525.2.1打开文件 4525.2.2读操作――DFSInputStream实现 4615.3文件短路读操作 4815.3.1短路读共享内存 4825.3.2DataTransferProtocol 4845.3.3DFSClient短路读操作流程 4885.3.4Datanode短路读操作流程 5095.4文件写操作与输出流 5125.4.1创建文件 5125.4.2写操作――DFSOutputStream实现 5165.4.3追加写操作 5435.4.4租约相关 5465.4.5关闭输出流 5485.5HDFS常用工具 5495.5.1FsShell实现 5505.5.2DFSAdmin实现 552
  • 内容简介:
    HDFS是运行在通用硬件上的分布式文件系统,本书详细介绍了HDFS体系结构、基本概念、通信协议及主要流程,具体包括Hadoop RPC框架的使用及实现、文件系统目录树、数据块管理、数据节点管理、租约管理、缓存管理、ClientProtocol实现、Namenode的启动和停止、Datanode逻辑结构、Datanode存储、文件系统数据集、BlockManager、流式接口、数据块扫描器、DataNode类的实现、DFSClient实现、文件读操作与输入流、文件短路读操作、文件写操作与输出流,以及HDFS常用工具等。
  • 作者简介:
    徐鹏:2005-2012年在北京邮电大学完成本科以及硕士的学习,目前就职于今日头条担任基础架构研发工程师。长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发。
  • 目录:
    第1章HDFS 11.1HDFS概述 11.1.1HDFS体系结构 11.1.2HDFS基本概念 21.2HDFS通信协议 41.2.1HadoopRPC接口 41.2.2流式接口 201.3HDFS主要流程 221.3.1HDFS客户端读流程 221.3.2HDFS客户端写流程 241.3.3HDFS客户端追加写流程 251.3.4Datanode启动、心跳以及执行名字节点指令流程 261.3.5HA切换流程 27第2章HadoopRPC 292.1概述 292.1.1RPC框架概述 292.1.2HadoopRPC框架概述 302.2HadoopRPC的使用 362.2.1HadoopRPC使用概述 362.2.2定义RPC协议 402.2.3客户端获取Proxy对象 452.2.4服务器获取Server对象 542.3HadoopRPC实现 632.3.1RPC类实现 632.3.2Client类实现 642.3.3Server类实现 76第3章Namenode(名字节点) 883.1文件系统树 883.1.1INode相关类 893.1.2Feature相关类 1023.1.3FSEditLog类 1173.1.4FSImage类 1383.1.5FSDirectory类 1583.2数据块管理 1623.2.1Block、Replica、BlocksMap 1623.2.2数据块副本状态 1673.2.3BlockManager类(done) 1773.3数据节点管理 2113.3.1DatanodeDescriptor 2123.3.2DatanodeStorageInfo 2143.3.3DatanodeManager 2173.4租约管理 2333.4.1LeaseManager.Lease 2333.4.2LeaseManager 2343.5缓存管理 2463.5.1缓存概念 2473.5.2缓存管理命令 2473.5.3HDFS集中式缓存架构 2473.5.4CacheManager类实现 2483.5.5CacheReplicationMonitor 2503.6ClientProtocol实现 2513.6.1创建文件 2513.6.2追加写文件 2543.6.3创建新的数据块 2573.6.4放弃数据块 2653.6.5关闭文件 2663.7Namenode的启动和停止 2683.7.1安全模式 2683.7.2HDFSHighAvailability 2763.7.3名字节点的启动 3013.7.4名字节点的停止 306第4章Datanode(数据节点) 3074.1Datanode逻辑结构 3074.1.1HDFS1.X架构 3074.1.2HDFSFederation 3084.1.3Datanode逻辑结构 3104.2Datanode存储 3124.2.1Datanode升级机制 3124.2.2Datanode磁盘存储结构 3154.2.3DataStorage实现 3174.3文件系统数据集 3344.3.1Datanode上数据块副本的状态 3354.3.2BlockPoolSlice实现 3354.3.3FsVolumeImpl实现 3424.3.4FsVolumeList实现 3454.3.5FsDatasetImpl实现 3484.4BlockPoolManager 3754.4.1BPServiceActor实现 3764.4.2BPOfferService实现 3894.4.3BlockPoolManager实现 3964.5流式接口 3984.5.1DataTransferProtocol定义 3984.5.2Sender和Receiver 3994.5.3DataXceiverServer 4034.5.4DataXceiver 4064.5.5读数据 4084.5.6写数据(done) 4234.5.7数据块替换、数据块拷贝和读数据块校验 4374.5.8短路读操作 4374.6数据块扫描器 4374.6.1DataBlockScanner实现 4384.6.2BlockPoolSliceScanner实现 4394.7DirectoryScanner 4424.8DataNode类的实现 4434.8.1DataNode的启动 4444.8.2DataNode的关闭 446第5章HDFS客户端 4475.1DFSClient实现 4475.1.1构造方法 4485.1.2关闭方法 4495.1.3文件系统管理与配置方法 4505.1.4HDFS文件与操作方法 4515.1.5HDFS文件读写方法 4525.2文件读操作与输入流 4525.2.1打开文件 4525.2.2读操作――DFSInputStream实现 4615.3文件短路读操作 4815.3.1短路读共享内存 4825.3.2DataTransferProtocol 4845.3.3DFSClient短路读操作流程 4885.3.4Datanode短路读操作流程 5095.4文件写操作与输出流 5125.4.1创建文件 5125.4.2写操作――DFSOutputStream实现 5165.4.3追加写操作 5435.4.4租约相关 5465.4.5关闭输出流 5485.5HDFS常用工具 5495.5.1FsShell实现 5505.5.2DFSAdmin实现 552
查看详情
好书推荐 / 更多
Hadoop 2.X HDFS源码剖析
她们
阎连科 著
Hadoop 2.X HDFS源码剖析
爱尔兰人(同名电影2019年底强势登陆网飞,教父导演马丁西科塞斯改编执导,冲击奥斯卡的万众期待之作)
查尔斯·勃兰特(美) 著;刘建周、王凯 译
Hadoop 2.X HDFS源码剖析
家庭的牵绊-关于家庭关系的思考
[日]河合隼雄 著
Hadoop 2.X HDFS源码剖析
太平洋地缘政治学:地理与历史之间关系的研究
[德]卡尔·豪斯霍弗(Karl Haushofer) 著;刘小枫 编;马勇、张培均 译
Hadoop 2.X HDFS源码剖析
最糟也最棒的书店:松浦弥太郎人生坦白书(媲美《100个基本》,了解松浦人生和生活哲学的经典之作)
[日]松浦弥太郎 著
Hadoop 2.X HDFS源码剖析
论电影(“轻与重”文丛,提供一种哲学家看电影的独特视角和解释方式)
[法]阿兰·巴迪欧(Alain Badiou)
Hadoop 2.X HDFS源码剖析
澳门口述历史丛书·一纸风行:澳门报贩口述历史
林发钦
Hadoop 2.X HDFS源码剖析
失败笔记本
[阿根廷]尼古拉斯·迦科波恩 著
Hadoop 2.X HDFS源码剖析
伯林文集:自由及其背叛:人类自由的三个敌人
[英国]以赛亚·伯林 著;赵国新 译
Hadoop 2.X HDFS源码剖析
诗歌 译诗 论李商隐
王蒙 著
Hadoop 2.X HDFS源码剖析
逍遥游(《冬泳》作者班宇最新作品,同名小说列收获文学排行榜短篇榜首)
班宇 著