Hadoop 2.X HDFS源码剖析

Hadoop 2.X HDFS源码剖析
8.7
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者:
出版社: 电子工业出版社
2016-03
版次: 1
ISBN: 9787121281556
定价: 108.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 516页
字数: 879千字
正文语种: 简体中文
  • HDFS是运行在通用硬件上的分布式文件系统,本书详细介绍了HDFS体系结构、基本概念、通信协议及主要流程,具体包括Hadoop RPC框架的使用及实现、文件系统目录树、数据块管理、数据节点管理、租约管理、缓存管理、ClientProtocol实现、Namenode的启动和停止、Datanode逻辑结构、Datanode存储、文件系统数据集、BlockManager、流式接口、数据块扫描器、DataNode类的实现、DFSClient实现、文件读操作与输入流、文件短路读操作、文件写操作与输出流,以及HDFS常用工具等。 徐鹏:2005-2012年在北京邮电大学完成本科以及硕士的学习,目前就职于今日头条担任基础架构研发工程师。长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发。 第1章HDFS 11.1HDFS概述 11.1.1HDFS体系结构 11.1.2HDFS基本概念 21.2HDFS通信协议 41.2.1HadoopRPC接口 41.2.2流式接口 201.3HDFS主要流程 221.3.1HDFS客户端读流程 221.3.2HDFS客户端写流程 241.3.3HDFS客户端追加写流程 251.3.4Datanode启动、心跳以及执行名字节点指令流程 261.3.5HA切换流程 27第2章HadoopRPC 292.1概述 292.1.1RPC框架概述 292.1.2HadoopRPC框架概述 302.2HadoopRPC的使用 362.2.1HadoopRPC使用概述 362.2.2定义RPC协议 402.2.3客户端获取Proxy对象 452.2.4服务器获取Server对象 542.3HadoopRPC实现 632.3.1RPC类实现 632.3.2Client类实现 642.3.3Server类实现 76第3章Namenode(名字节点) 883.1文件系统树 883.1.1INode相关类 893.1.2Feature相关类 1023.1.3FSEditLog类 1173.1.4FSImage类 1383.1.5FSDirectory类 1583.2数据块管理 1623.2.1Block、Replica、BlocksMap 1623.2.2数据块副本状态 1673.2.3BlockManager类(done) 1773.3数据节点管理 2113.3.1DatanodeDescriptor 2123.3.2DatanodeStorageInfo 2143.3.3DatanodeManager 2173.4租约管理 2333.4.1LeaseManager.Lease 2333.4.2LeaseManager 2343.5缓存管理 2463.5.1缓存概念 2473.5.2缓存管理命令 2473.5.3HDFS集中式缓存架构 2473.5.4CacheManager类实现 2483.5.5CacheReplicationMonitor 2503.6ClientProtocol实现 2513.6.1创建文件 2513.6.2追加写文件 2543.6.3创建新的数据块 2573.6.4放弃数据块 2653.6.5关闭文件 2663.7Namenode的启动和停止 2683.7.1安全模式 2683.7.2HDFSHighAvailability 2763.7.3名字节点的启动 3013.7.4名字节点的停止 306第4章Datanode(数据节点) 3074.1Datanode逻辑结构 3074.1.1HDFS1.X架构 3074.1.2HDFSFederation 3084.1.3Datanode逻辑结构 3104.2Datanode存储 3124.2.1Datanode升级机制 3124.2.2Datanode磁盘存储结构 3154.2.3DataStorage实现 3174.3文件系统数据集 3344.3.1Datanode上数据块副本的状态 3354.3.2BlockPoolSlice实现 3354.3.3FsVolumeImpl实现 3424.3.4FsVolumeList实现 3454.3.5FsDatasetImpl实现 3484.4BlockPoolManager 3754.4.1BPServiceActor实现 3764.4.2BPOfferService实现 3894.4.3BlockPoolManager实现 3964.5流式接口 3984.5.1DataTransferProtocol定义 3984.5.2Sender和Receiver 3994.5.3DataXceiverServer 4034.5.4DataXceiver 4064.5.5读数据 4084.5.6写数据(done) 4234.5.7数据块替换、数据块拷贝和读数据块校验 4374.5.8短路读操作 4374.6数据块扫描器 4374.6.1DataBlockScanner实现 4384.6.2BlockPoolSliceScanner实现 4394.7DirectoryScanner 4424.8DataNode类的实现 4434.8.1DataNode的启动 4444.8.2DataNode的关闭 446第5章HDFS客户端 4475.1DFSClient实现 4475.1.1构造方法 4485.1.2关闭方法 4495.1.3文件系统管理与配置方法 4505.1.4HDFS文件与操作方法 4515.1.5HDFS文件读写方法 4525.2文件读操作与输入流 4525.2.1打开文件 4525.2.2读操作――DFSInputStream实现 4615.3文件短路读操作 4815.3.1短路读共享内存 4825.3.2DataTransferProtocol 4845.3.3DFSClient短路读操作流程 4885.3.4Datanode短路读操作流程 5095.4文件写操作与输出流 5125.4.1创建文件 5125.4.2写操作――DFSOutputStream实现 5165.4.3追加写操作 5435.4.4租约相关 5465.4.5关闭输出流 5485.5HDFS常用工具 5495.5.1FsShell实现 5505.5.2DFSAdmin实现 552
  • 内容简介:
    HDFS是运行在通用硬件上的分布式文件系统,本书详细介绍了HDFS体系结构、基本概念、通信协议及主要流程,具体包括Hadoop RPC框架的使用及实现、文件系统目录树、数据块管理、数据节点管理、租约管理、缓存管理、ClientProtocol实现、Namenode的启动和停止、Datanode逻辑结构、Datanode存储、文件系统数据集、BlockManager、流式接口、数据块扫描器、DataNode类的实现、DFSClient实现、文件读操作与输入流、文件短路读操作、文件写操作与输出流,以及HDFS常用工具等。
  • 作者简介:
    徐鹏:2005-2012年在北京邮电大学完成本科以及硕士的学习,目前就职于今日头条担任基础架构研发工程师。长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发。
  • 目录:
    第1章HDFS 11.1HDFS概述 11.1.1HDFS体系结构 11.1.2HDFS基本概念 21.2HDFS通信协议 41.2.1HadoopRPC接口 41.2.2流式接口 201.3HDFS主要流程 221.3.1HDFS客户端读流程 221.3.2HDFS客户端写流程 241.3.3HDFS客户端追加写流程 251.3.4Datanode启动、心跳以及执行名字节点指令流程 261.3.5HA切换流程 27第2章HadoopRPC 292.1概述 292.1.1RPC框架概述 292.1.2HadoopRPC框架概述 302.2HadoopRPC的使用 362.2.1HadoopRPC使用概述 362.2.2定义RPC协议 402.2.3客户端获取Proxy对象 452.2.4服务器获取Server对象 542.3HadoopRPC实现 632.3.1RPC类实现 632.3.2Client类实现 642.3.3Server类实现 76第3章Namenode(名字节点) 883.1文件系统树 883.1.1INode相关类 893.1.2Feature相关类 1023.1.3FSEditLog类 1173.1.4FSImage类 1383.1.5FSDirectory类 1583.2数据块管理 1623.2.1Block、Replica、BlocksMap 1623.2.2数据块副本状态 1673.2.3BlockManager类(done) 1773.3数据节点管理 2113.3.1DatanodeDescriptor 2123.3.2DatanodeStorageInfo 2143.3.3DatanodeManager 2173.4租约管理 2333.4.1LeaseManager.Lease 2333.4.2LeaseManager 2343.5缓存管理 2463.5.1缓存概念 2473.5.2缓存管理命令 2473.5.3HDFS集中式缓存架构 2473.5.4CacheManager类实现 2483.5.5CacheReplicationMonitor 2503.6ClientProtocol实现 2513.6.1创建文件 2513.6.2追加写文件 2543.6.3创建新的数据块 2573.6.4放弃数据块 2653.6.5关闭文件 2663.7Namenode的启动和停止 2683.7.1安全模式 2683.7.2HDFSHighAvailability 2763.7.3名字节点的启动 3013.7.4名字节点的停止 306第4章Datanode(数据节点) 3074.1Datanode逻辑结构 3074.1.1HDFS1.X架构 3074.1.2HDFSFederation 3084.1.3Datanode逻辑结构 3104.2Datanode存储 3124.2.1Datanode升级机制 3124.2.2Datanode磁盘存储结构 3154.2.3DataStorage实现 3174.3文件系统数据集 3344.3.1Datanode上数据块副本的状态 3354.3.2BlockPoolSlice实现 3354.3.3FsVolumeImpl实现 3424.3.4FsVolumeList实现 3454.3.5FsDatasetImpl实现 3484.4BlockPoolManager 3754.4.1BPServiceActor实现 3764.4.2BPOfferService实现 3894.4.3BlockPoolManager实现 3964.5流式接口 3984.5.1DataTransferProtocol定义 3984.5.2Sender和Receiver 3994.5.3DataXceiverServer 4034.5.4DataXceiver 4064.5.5读数据 4084.5.6写数据(done) 4234.5.7数据块替换、数据块拷贝和读数据块校验 4374.5.8短路读操作 4374.6数据块扫描器 4374.6.1DataBlockScanner实现 4384.6.2BlockPoolSliceScanner实现 4394.7DirectoryScanner 4424.8DataNode类的实现 4434.8.1DataNode的启动 4444.8.2DataNode的关闭 446第5章HDFS客户端 4475.1DFSClient实现 4475.1.1构造方法 4485.1.2关闭方法 4495.1.3文件系统管理与配置方法 4505.1.4HDFS文件与操作方法 4515.1.5HDFS文件读写方法 4525.2文件读操作与输入流 4525.2.1打开文件 4525.2.2读操作――DFSInputStream实现 4615.3文件短路读操作 4815.3.1短路读共享内存 4825.3.2DataTransferProtocol 4845.3.3DFSClient短路读操作流程 4885.3.4Datanode短路读操作流程 5095.4文件写操作与输出流 5125.4.1创建文件 5125.4.2写操作――DFSOutputStream实现 5165.4.3追加写操作 5435.4.4租约相关 5465.4.5关闭输出流 5485.5HDFS常用工具 5495.5.1FsShell实现 5505.5.2DFSAdmin实现 552
查看详情
好书推荐 / 更多
Hadoop 2.X HDFS源码剖析
胡迁作品:大象席地而坐
胡迁 著
Hadoop 2.X HDFS源码剖析
OPUS作品(套装上下册)
[日]今敏 著;Mrs.X 译
Hadoop 2.X HDFS源码剖析
近代能乐集(三岛由纪夫戏剧代表作,爱与美与死的永恒角力)
[日]三岛由纪夫 著;玖羽 译
Hadoop 2.X HDFS源码剖析
上海字记:百年汉字设计档案
姜庆共、刘瑞樱 著
Hadoop 2.X HDFS源码剖析
唐宋“古文运动”与士大夫文学
朱刚 著;王水照 编
Hadoop 2.X HDFS源码剖析
行星
[英]贾尔斯•斯帕罗;Giles•Sparrow
Hadoop 2.X HDFS源码剖析
马里琳·鲁滨逊作品基列三部曲:基列家书(2005年获得普利策小说奖,《卫报》21世纪百本伟大小说
玛丽莲·罗宾逊 著;李尧 译
Hadoop 2.X HDFS源码剖析
特拉法尔加战役
朱利安·S.科贝特(Julian,S.,Corbett) 著;陈骆 译
Hadoop 2.X HDFS源码剖析
大雪将至
[奥地利]罗伯特•泽塔勒 著
Hadoop 2.X HDFS源码剖析
中国叙事学(第2版)
[美]浦安迪(Andrew H.Plaks) 著
Hadoop 2.X HDFS源码剖析
肉体与石头:西方文明中的身体与城市
[美]理查德·桑内特 著;黄煜文 译
Hadoop 2.X HDFS源码剖析
维多利亚女王:作为君王和女性的一生
[英]露西·沃斯利 著;张佩 译