Hadoop 2.X HDFS源码剖析
出版时间:
2016-03
版次:
1
ISBN:
9787121281556
定价:
108.00
装帧:
平装
开本:
16开
纸张:
胶版纸
页数:
516页
字数:
879千字
正文语种:
简体中文
125人买过
-
HDFS是运行在通用硬件上的分布式文件系统，本书详细介绍了HDFS体系结构、基本概念、通信协议及主要流程，具体包括Hadoop RPC框架的使用及实现、文件系统目录树、数据块管理、数据节点管理、租约管理、缓存管理、ClientProtocol实现、Namenode的启动和停止、Datanode逻辑结构、Datanode存储、文件系统数据集、BlockManager、流式接口、数据块扫描器、DataNode类的实现、DFSClient实现、文件读操作与输入流、文件短路读操作、文件写操作与输出流，以及HDFS常用工具等。 徐鹏:2005-2012年在北京邮电大学完成本科以及硕士的学习，目前就职于今日头条担任基础架构研发工程师。长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发。 第1章HDFS 1
1．1HDFS概述 1
1．1．1HDFS体系结构 1
1．1．2HDFS基本概念 2
1．2HDFS通信协议 4
1．2．1HadoopRPC接口 4
1．2．2流式接口 20
1．3HDFS主要流程 22
1．3．1HDFS客户端读流程 22
1．3．2HDFS客户端写流程 24
1．3．3HDFS客户端追加写流程 25
1．3．4Datanode启动、心跳以及执行名字节点指令流程 26
1．3．5HA切换流程 27
第2章HadoopRPC 29
2．1概述 29
2．1．1RPC框架概述 29
2．1．2HadoopRPC框架概述 30
2．2HadoopRPC的使用 36
2．2．1HadoopRPC使用概述 36
2．2．2定义RPC协议 40
2．2．3客户端获取Proxy对象 45
2．2．4服务器获取Server对象 54
2．3HadoopRPC实现 63
2．3．1RPC类实现 63
2．3．2Client类实现 64
2．3．3Server类实现 76
第3章Namenode（名字节点） 88
3．1文件系统树 88
3．1．1INode相关类 89
3．1．2Feature相关类 102
3．1．3FSEditLog类 117
3．1．4FSImage类 138
3．1．5FSDirectory类 158
3．2数据块管理 162
3．2．1Block、Replica、BlocksMap 162
3．2．2数据块副本状态 167
3．2．3BlockManager类（done） 177
3．3数据节点管理 211
3．3．1DatanodeDescriptor 212
3．3．2DatanodeStorageInfo 214
3．3．3DatanodeManager 217
3．4租约管理 233
3．4．1LeaseManager．Lease 233
3．4．2LeaseManager 234
3．5缓存管理 246
3．5．1缓存概念 247
3．5．2缓存管理命令 247
3．5．3HDFS集中式缓存架构 247
3．5．4CacheManager类实现 248
3．5．5CacheReplicationMonitor 250
3．6ClientProtocol实现 251
3．6．1创建文件 251
3．6．2追加写文件 254
3．6．3创建新的数据块 257
3．6．4放弃数据块 265
3．6．5关闭文件 266
3．7Namenode的启动和停止 268
3．7．1安全模式 268
3．7．2HDFSHighAvailability 276
3．7．3名字节点的启动 301
3．7．4名字节点的停止 306
第4章Datanode（数据节点） 307
4．1Datanode逻辑结构 307
4．1．1HDFS1．X架构 307
4．1．2HDFSFederation 308
4．1．3Datanode逻辑结构 310
4．2Datanode存储 312
4．2．1Datanode升级机制 312
4．2．2Datanode磁盘存储结构 315
4．2．3DataStorage实现 317
4．3文件系统数据集 334
4．3．1Datanode上数据块副本的状态 335
4．3．2BlockPoolSlice实现 335
4．3．3FsVolumeImpl实现 342
4．3．4FsVolumeList实现 345
4．3．5FsDatasetImpl实现 348
4．4BlockPoolManager 375
4．4．1BPServiceActor实现 376
4．4．2BPOfferService实现 389
4．4．3BlockPoolManager实现 396
4．5流式接口 398
4．5．1DataTransferProtocol定义 398
4．5．2Sender和Receiver 399
4．5．3DataXceiverServer 403
4．5．4DataXceiver 406
4．5．5读数据 408
4．5．6写数据（done） 423
4．5．7数据块替换、数据块拷贝和读数据块校验 437
4．5．8短路读操作 437
4．6数据块扫描器 437
4．6．1DataBlockScanner实现 438
4．6．2BlockPoolSliceScanner实现 439
4．7DirectoryScanner 442
4．8DataNode类的实现 443
4．8．1DataNode的启动 444
4．8．2DataNode的关闭 446
第5章HDFS客户端 447
5．1DFSClient实现 447
5．1．1构造方法 448
5．1．2关闭方法 449
5．1．3文件系统管理与配置方法 450
5．1．4HDFS文件与操作方法 451
5．1．5HDFS文件读写方法 452
5．2文件读操作与输入流 452
5．2．1打开文件 452
5．2．2读操作――DFSInputStream实现 461
5．3文件短路读操作 481
5．3．1短路读共享内存 482
5．3．2DataTransferProtocol 484
5．3．3DFSClient短路读操作流程 488
5．3．4Datanode短路读操作流程 509
5．4文件写操作与输出流 512
5．4．1创建文件 512
5．4．2写操作――DFSOutputStream实现 516
5．4．3追加写操作 543
5．4．4租约相关 546
5．4．5关闭输出流 548
5．5HDFS常用工具 549
5．5．1FsShell实现 550
5．5．2DFSAdmin实现 552
-
内容简介:
HDFS是运行在通用硬件上的分布式文件系统，本书详细介绍了HDFS体系结构、基本概念、通信协议及主要流程，具体包括Hadoop RPC框架的使用及实现、文件系统目录树、数据块管理、数据节点管理、租约管理、缓存管理、ClientProtocol实现、Namenode的启动和停止、Datanode逻辑结构、Datanode存储、文件系统数据集、BlockManager、流式接口、数据块扫描器、DataNode类的实现、DFSClient实现、文件读操作与输入流、文件短路读操作、文件写操作与输出流，以及HDFS常用工具等。
-
作者简介:
徐鹏:2005-2012年在北京邮电大学完成本科以及硕士的学习，目前就职于今日头条担任基础架构研发工程师。长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发。
-
目录:
第1章HDFS 1
1．1HDFS概述 1
1．1．1HDFS体系结构 1
1．1．2HDFS基本概念 2
1．2HDFS通信协议 4
1．2．1HadoopRPC接口 4
1．2．2流式接口 20
1．3HDFS主要流程 22
1．3．1HDFS客户端读流程 22
1．3．2HDFS客户端写流程 24
1．3．3HDFS客户端追加写流程 25
1．3．4Datanode启动、心跳以及执行名字节点指令流程 26
1．3．5HA切换流程 27
第2章HadoopRPC 29
2．1概述 29
2．1．1RPC框架概述 29
2．1．2HadoopRPC框架概述 30
2．2HadoopRPC的使用 36
2．2．1HadoopRPC使用概述 36
2．2．2定义RPC协议 40
2．2．3客户端获取Proxy对象 45
2．2．4服务器获取Server对象 54
2．3HadoopRPC实现 63
2．3．1RPC类实现 63
2．3．2Client类实现 64
2．3．3Server类实现 76
第3章Namenode（名字节点） 88
3．1文件系统树 88
3．1．1INode相关类 89
3．1．2Feature相关类 102
3．1．3FSEditLog类 117
3．1．4FSImage类 138
3．1．5FSDirectory类 158
3．2数据块管理 162
3．2．1Block、Replica、BlocksMap 162
3．2．2数据块副本状态 167
3．2．3BlockManager类（done） 177
3．3数据节点管理 211
3．3．1DatanodeDescriptor 212
3．3．2DatanodeStorageInfo 214
3．3．3DatanodeManager 217
3．4租约管理 233
3．4．1LeaseManager．Lease 233
3．4．2LeaseManager 234
3．5缓存管理 246
3．5．1缓存概念 247
3．5．2缓存管理命令 247
3．5．3HDFS集中式缓存架构 247
3．5．4CacheManager类实现 248
3．5．5CacheReplicationMonitor 250
3．6ClientProtocol实现 251
3．6．1创建文件 251
3．6．2追加写文件 254
3．6．3创建新的数据块 257
3．6．4放弃数据块 265
3．6．5关闭文件 266
3．7Namenode的启动和停止 268
3．7．1安全模式 268
3．7．2HDFSHighAvailability 276
3．7．3名字节点的启动 301
3．7．4名字节点的停止 306
第4章Datanode（数据节点） 307
4．1Datanode逻辑结构 307
4．1．1HDFS1．X架构 307
4．1．2HDFSFederation 308
4．1．3Datanode逻辑结构 310
4．2Datanode存储 312
4．2．1Datanode升级机制 312
4．2．2Datanode磁盘存储结构 315
4．2．3DataStorage实现 317
4．3文件系统数据集 334
4．3．1Datanode上数据块副本的状态 335
4．3．2BlockPoolSlice实现 335
4．3．3FsVolumeImpl实现 342
4．3．4FsVolumeList实现 345
4．3．5FsDatasetImpl实现 348
4．4BlockPoolManager 375
4．4．1BPServiceActor实现 376
4．4．2BPOfferService实现 389
4．4．3BlockPoolManager实现 396
4．5流式接口 398
4．5．1DataTransferProtocol定义 398
4．5．2Sender和Receiver 399
4．5．3DataXceiverServer 403
4．5．4DataXceiver 406
4．5．5读数据 408
4．5．6写数据（done） 423
4．5．7数据块替换、数据块拷贝和读数据块校验 437
4．5．8短路读操作 437
4．6数据块扫描器 437
4．6．1DataBlockScanner实现 438
4．6．2BlockPoolSliceScanner实现 439
4．7DirectoryScanner 442
4．8DataNode类的实现 443
4．8．1DataNode的启动 444
4．8．2DataNode的关闭 446
第5章HDFS客户端 447
5．1DFSClient实现 447
5．1．1构造方法 448
5．1．2关闭方法 449
5．1．3文件系统管理与配置方法 450
5．1．4HDFS文件与操作方法 451
5．1．5HDFS文件读写方法 452
5．2文件读操作与输入流 452
5．2．1打开文件 452
5．2．2读操作――DFSInputStream实现 461
5．3文件短路读操作 481
5．3．1短路读共享内存 482
5．3．2DataTransferProtocol 484
5．3．3DFSClient短路读操作流程 488
5．3．4Datanode短路读操作流程 509
5．4文件写操作与输出流 512
5．4．1创建文件 512
5．4．2写操作――DFSOutputStream实现 516
5．4．3追加写操作 543
5．4．4租约相关 546
5．4．5关闭输出流 548
5．5HDFS常用工具 549
5．5．1FsShell实现 550
5．5．2DFSAdmin实现 552
查看详情
-
全新
海南省海口市
平均发货16小时
成功完成率79.27%
-
全新
海南省海口市
平均发货16小时
成功完成率79.27%
-
全新
海南省海口市
平均发货16小时
成功完成率79.27%
-
全新
海南省海口市
平均发货14小时
成功完成率82.47%
-
全新
海南省海口市
平均发货14小时
成功完成率82.47%
-
全新
海南省海口市
平均发货14小时
成功完成率82.47%
-
全新
海南省海口市
平均发货14小时
成功完成率82.47%
-
全新
海南省海口市
平均发货8小时
成功完成率81.35%
-
全新
海南省海口市
平均发货16小时
成功完成率79.27%
-
全新
海南省海口市
平均发货16小时
成功完成率79.27%
-
全新
河南省郑州市
平均发货1小时
成功完成率96.98%
-
全新
海南省海口市
平均发货24小时
成功完成率80.77%
占位居中
