未读消息消息

购物车

我的订单

个人中心

店铺

我的订单收藏

拍卖

拍卖交易我的竞拍收藏

我的好友资金账户

卖家中心

客服 |

帮助中心 9:00-20:30 在线留言

客服电话

010-89648155

服务时间

客服咨询 8:00-21:00

纠纷处理 9:00-21:00

图书审核 9:00-18:00

监督与建议

请选择

手机孔网

Hadoop权威指南：大数据的存储与分析(第4版)

作者: 王海译 , 华东译 , 刘喻译 , 吕粤海译

出版社: 清华大学出版社

出版时间: 2017-07

版次: 4

ISBN: 9787302465133

定价: 148.00

装帧: 平装

开本: 16开

纸张: 纯质纸

页数: 732页

字数: 594千字

正文语种: 简体中文

分类: 计算机与互联网

5 张插图图片

　　本书结合理论和实践，由浅入深，全方位介绍了Hadoop这一高性能的海量数据处理和分析平台。全书5部分24章，第Ⅰ部分介绍Hadoop基础知识，主题涉及Hadoop、MapReduce、Hadoop分布式文件系统、YARN、Hadoop的I/O操作。第Ⅱ部分介绍MapReduce,主题包括MapReduce应用开发；MapReduce的工作机制、MapReduce的类型与格式、MapReduce的特性。第Ⅲ部分介绍Hadoop的运维，主题涉及构建Hadoop集群、管理Hadoop。第Ⅳ部分介绍Hadoop相关开源项目，主题涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三个案例，分别来自医疗卫生信息技术服务商塞纳(Cerner)、微软的人工智能项目ADAM(一种大规模分布式深度学习框架)和开源项目Cascading(一个新的针对MapReduce的数据处理API)。　　本书是一本专业、全面的Hadoop参考书和工具书，阐述了Hadoop生态圈的新发展和应用，程序员可以从中探索海量数据集的存储和分析，管理员可以从中了解Hadoop集群的安装和运维。
　　作者简介　　TomWhite是杰出的Hadoop专家之一。自2007年2月以来，TomWhite一直是ApacheHadoop的提交者(committer)，也是Apache软件基金会的成员。Tom是Cloudera的软件工程师，他是Cloudera的首批员工，对Apache和Cloudera做出了举足轻重的贡献。在此之前，他是一名独立的Hadoop顾问，帮助公司搭建、使用和扩展Hadoop。他是很多行业大会的专题演讲人，比如ApacheCon、OSCON和Strata。Tom在英国剑桥大学获得数学学士学位，在利兹大学获得科学哲学硕士学位。他目前与家人居住在威尔士。　　译者简介　　王海博士，解放军理工大学通信工程学院教授，博导，教研中心主任，长期从事无线自组网网络的设计与研发工作，主持国家自然科学基金、国家863计划课题等多项课题，近5年获军队科技进步二等奖1项，三等奖6项，作为di一发明人申请国家发明专利十余项，发表学术论文50余篇。　　华东博士，现任南京医科大学计算机教研室教师，一直致力于计算机辅助教学的相关技术研究，陆续开发了人体解剖学网络自主学习考试平台、诊断学自主学习平台和面向执业医师考试的预约化考试平台等系统，并在各个学科得到广泛的使用，获得全国高等学校计算机课件评比一等奖和三等奖各一项。主编、副主编教材两部，获发明专利一项、软件著作权多项。　　刘喻博士，长期从事软件开发、软件测试和软件工程化管理工作，目前任教于清华大学软件所。　　吕粤海，长期从事军事通信网络技术研究与软件开发工作，先后通过华为光网络高级工程师认证、思科网络工程师认证。
第Ⅰ部分Hadoop基础知识第1章初识Hadoop3 1.1数据！数据！3 1.2数据的存储与分析5 1.3查询所有数据6 1.4不仅仅是批处理7 1.5相较于其他系统的优势8 1.6ApacheHadoop发展简史12 1.7本书包含的内容16 第2章关于MapReduce19 2.1气象数据集19 2.2使用Unix工具来分析数据21 2.3使用Hadoop来分析数据22 2.4横向扩展31 2.5HadoopStreaming37 第3章Hadoop分布式文件系统42 3.1HDFS的设计42 3.2HDFS的概念44 3.3命令行接口50 3.4Hadoop文件系统52 3.5Java接口56 3.6数据流68 3.7通过distcp并行复制76 第4章关于YARN78 4.1剖析YARN应用运行机制79 4.2YARN与MapReduce1相比82 4.3YARN中的调度85 4.4延伸阅读95 第5章Hadoop的I/O操作96 5.1数据完整性96 5.2压缩99 5.3序列化109 5.4基于文件的数据结构127 第Ⅱ部分关于MapReduce 第6章MapReduce应用开发141 6.1用于配置的API142 6.2配置开发环境144 6.3用MRUnit来写单元测试152 6.4本地运行测试数据156 6.5在集群上运行160 6.6作业调优174 6.7MapReduce的工作流176 第7章MapReduce的工作机制184 7.1剖析MapReduce作业运行机制184 7.2失败191 7.3shuffle和排序195 7.4任务的执行201 第8章MapReduce的类型与格式207 8.1MapReduce的类型207 8.2输入格式218 8.3输出格式236 第9章MapReduce的特性243 9.1计数器243 9.2排序252 9.3连接264 9.4边数据分布270 9.5MapReduce库类276 第Ⅲ部分Hadoop的操作第10章构建Hadoop集群279 10.1集群规范280 10.2集群的构建和安装284 10.3Hadoop配置288 10.4安全性305 10.5利用基准评测程序测试 Hadoop集群311 第11章管理Hadoop314 11.1HDFS314 11.2监控327 11.3维护329 第Ⅳ部分Hadoop相关开源项目第12章关于Avro341 12.1Avro数据类型和模式342 12.2内存中的序列化和反序列化特定API347 12.3Avro数据文件349 12.4互操作性351 12.5模式解析352 12.6排列顺序354 12.7关于AvroMapReduce356 12.8使用AvroMapReduce 进行排序359 12.9其他语言的Avro362 第13章关于Parquet363 13.1数据模型364 13.2Parquet文件格式367 13.3Parquet的配置368 13.4Parquet文件的读/写369 13.5ParquetMapReduce374 第14章关于Flume377 14.1安装Flume378 14.2示例378 14.3事务和可靠性380 14.4HDFSSink382 14.5扇出385 14.6通过代理层分发387 14.7Sink组391 14.8Flume与应用程序的集成395 14.9组件编目395 14.10延伸阅读397 第15章关于Sqoop398 15.1获取Sqoop398 15.2Sqoop连接器400 15.3一个导入的例子401 15.4生成代码404 15.5深入了解数据库导入405 15.6使用导入的数据409 15.7导入大对象412 15.8执行导出414 15.9深入了解导出功能416 15.10延伸阅读419 第16章关于Pig420 16.1安装与运行Pig421 16.2示例425 16.3与数据库进行比较428 16.4PigLatin429 16.5用户自定义函数446 16.6数据处理操作455 16.7Pig实战465 16.8延伸阅读468 第17章关于Hive469 17.1安装Hive470 17.2示例472 17.3运行Hive473 17.4Hive与传统数据库相比480 17.5HiveQL483 17.6表488 17.7查询数据501 17.8用户定义函数508 17.9延伸阅读516 第18章关于Crunch517 18.1示例518 18.2Crunch核心API521 18.3管线执行537 18.4Crunch库545 18.5延伸阅读547 第19章关于Spark548 19.1安装Spark549 19.2示例549 19.3弹性分布式数据集555 19.4共享变量564 19.5剖析Spark作业运行机制565 19.6执行器和集群管理器570 19.7延伸阅读574 第20章关于HBase575 20.1HBase基础575 20.2概念576 20.3安装581 20.4客户端584 20.5创建在线查询应用589 20.6HBase和RDBMS的比较598 20.7Praxis601 20.8延伸阅读602 第21章关于ZooKeeper604 21.1安装和运行ZooKeeper605 21.2示例607 21.3ZooKeeper服务615 21.4使用ZooKeeper来构建应用629 21.5生产环境中的ZooKeeper640 21.6延伸阅读643 第Ⅴ部分案例学习第22章医疗公司塞纳(Cerner) 的可聚合数据647 22.1从多CPU到语义集成647 22.2进入ApacheCrunch648 22.3建立全貌649 22.4集成健康医疗数据651 22.5框架之上的可组合性654 22.6下一步655 第23章生物数据科学：用软件拯救生命657 23.1DNA的结构659 23.2遗传密码：将DNA字符转译为蛋白质660 22.3将DNA想象成源代码661 23.4人类基因组计划和参考基因组663 22.5DNA测序和比对664 23.6ADAM，一个可扩展的基因组分析平台666 23.7使用Avro接口描述语言进行自然语言编程666 23.8使用Parquet进行面向列的存取668 23.9一个简单例子：用Spark和 ADAM做k-mer计数669 23.10从个性化广告到个性化医疗672 23.11联系我们673 第24章开源项目Cascading674 24.1字段、元组和管道675 24.2操作678 24.3Taps，Schemes和Flows680 24.4Cascading实践应用681 24.5灵活性684 24.6ShareThis中的Hadoop和 Cascading685 24.7总结689 附录A安装ApacheHadoop691 附录B关于CDH697 附录C准备NCDC气象数据699 附录D新版和旧版Java MapReduceAPI702
内容简介:
　　本书结合理论和实践，由浅入深，全方位介绍了Hadoop这一高性能的海量数据处理和分析平台。全书5部分24章，第Ⅰ部分介绍Hadoop基础知识，主题涉及Hadoop、MapReduce、Hadoop分布式文件系统、YARN、Hadoop的I/O操作。第Ⅱ部分介绍MapReduce,主题包括MapReduce应用开发；MapReduce的工作机制、MapReduce的类型与格式、MapReduce的特性。第Ⅲ部分介绍Hadoop的运维，主题涉及构建Hadoop集群、管理Hadoop。第Ⅳ部分介绍Hadoop相关开源项目，主题涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三个案例，分别来自医疗卫生信息技术服务商塞纳(Cerner)、微软的人工智能项目ADAM(一种大规模分布式深度学习框架)和开源项目Cascading(一个新的针对MapReduce的数据处理API)。　　本书是一本专业、全面的Hadoop参考书和工具书，阐述了Hadoop生态圈的新发展和应用，程序员可以从中探索海量数据集的存储和分析，管理员可以从中了解Hadoop集群的安装和运维。
作者简介:
　　作者简介　　TomWhite是杰出的Hadoop专家之一。自2007年2月以来，TomWhite一直是ApacheHadoop的提交者(committer)，也是Apache软件基金会的成员。Tom是Cloudera的软件工程师，他是Cloudera的首批员工，对Apache和Cloudera做出了举足轻重的贡献。在此之前，他是一名独立的Hadoop顾问，帮助公司搭建、使用和扩展Hadoop。他是很多行业大会的专题演讲人，比如ApacheCon、OSCON和Strata。Tom在英国剑桥大学获得数学学士学位，在利兹大学获得科学哲学硕士学位。他目前与家人居住在威尔士。　　译者简介　　王海博士，解放军理工大学通信工程学院教授，博导，教研中心主任，长期从事无线自组网网络的设计与研发工作，主持国家自然科学基金、国家863计划课题等多项课题，近5年获军队科技进步二等奖1项，三等奖6项，作为di一发明人申请国家发明专利十余项，发表学术论文50余篇。　　华东博士，现任南京医科大学计算机教研室教师，一直致力于计算机辅助教学的相关技术研究，陆续开发了人体解剖学网络自主学习考试平台、诊断学自主学习平台和面向执业医师考试的预约化考试平台等系统，并在各个学科得到广泛的使用，获得全国高等学校计算机课件评比一等奖和三等奖各一项。主编、副主编教材两部，获发明专利一项、软件著作权多项。　　刘喻博士，长期从事软件开发、软件测试和软件工程化管理工作，目前任教于清华大学软件所。　　吕粤海，长期从事军事通信网络技术研究与软件开发工作，先后通过华为光网络高级工程师认证、思科网络工程师认证。
目录:
第Ⅰ部分Hadoop基础知识第1章初识Hadoop3 1.1数据！数据！3 1.2数据的存储与分析5 1.3查询所有数据6 1.4不仅仅是批处理7 1.5相较于其他系统的优势8 1.6ApacheHadoop发展简史12 1.7本书包含的内容16 第2章关于MapReduce19 2.1气象数据集19 2.2使用Unix工具来分析数据21 2.3使用Hadoop来分析数据22 2.4横向扩展31 2.5HadoopStreaming37 第3章Hadoop分布式文件系统42 3.1HDFS的设计42 3.2HDFS的概念44 3.3命令行接口50 3.4Hadoop文件系统52 3.5Java接口56 3.6数据流68 3.7通过distcp并行复制76 第4章关于YARN78 4.1剖析YARN应用运行机制79 4.2YARN与MapReduce1相比82 4.3YARN中的调度85 4.4延伸阅读95 第5章Hadoop的I/O操作96 5.1数据完整性96 5.2压缩99 5.3序列化109 5.4基于文件的数据结构127 第Ⅱ部分关于MapReduce 第6章MapReduce应用开发141 6.1用于配置的API142 6.2配置开发环境144 6.3用MRUnit来写单元测试152 6.4本地运行测试数据156 6.5在集群上运行160 6.6作业调优174 6.7MapReduce的工作流176 第7章MapReduce的工作机制184 7.1剖析MapReduce作业运行机制184 7.2失败191 7.3shuffle和排序195 7.4任务的执行201 第8章MapReduce的类型与格式207 8.1MapReduce的类型207 8.2输入格式218 8.3输出格式236 第9章MapReduce的特性243 9.1计数器243 9.2排序252 9.3连接264 9.4边数据分布270 9.5MapReduce库类276 第Ⅲ部分Hadoop的操作第10章构建Hadoop集群279 10.1集群规范280 10.2集群的构建和安装284 10.3Hadoop配置288 10.4安全性305 10.5利用基准评测程序测试 Hadoop集群311 第11章管理Hadoop314 11.1HDFS314 11.2监控327 11.3维护329 第Ⅳ部分Hadoop相关开源项目第12章关于Avro341 12.1Avro数据类型和模式342 12.2内存中的序列化和反序列化特定API347 12.3Avro数据文件349 12.4互操作性351 12.5模式解析352 12.6排列顺序354 12.7关于AvroMapReduce356 12.8使用AvroMapReduce 进行排序359 12.9其他语言的Avro362 第13章关于Parquet363 13.1数据模型364 13.2Parquet文件格式367 13.3Parquet的配置368 13.4Parquet文件的读/写369 13.5ParquetMapReduce374 第14章关于Flume377 14.1安装Flume378 14.2示例378 14.3事务和可靠性380 14.4HDFSSink382 14.5扇出385 14.6通过代理层分发387 14.7Sink组391 14.8Flume与应用程序的集成395 14.9组件编目395 14.10延伸阅读397 第15章关于Sqoop398 15.1获取Sqoop398 15.2Sqoop连接器400 15.3一个导入的例子401 15.4生成代码404 15.5深入了解数据库导入405 15.6使用导入的数据409 15.7导入大对象412 15.8执行导出414 15.9深入了解导出功能416 15.10延伸阅读419 第16章关于Pig420 16.1安装与运行Pig421 16.2示例425 16.3与数据库进行比较428 16.4PigLatin429 16.5用户自定义函数446 16.6数据处理操作455 16.7Pig实战465 16.8延伸阅读468 第17章关于Hive469 17.1安装Hive470 17.2示例472 17.3运行Hive473 17.4Hive与传统数据库相比480 17.5HiveQL483 17.6表488 17.7查询数据501 17.8用户定义函数508 17.9延伸阅读516 第18章关于Crunch517 18.1示例518 18.2Crunch核心API521 18.3管线执行537 18.4Crunch库545 18.5延伸阅读547 第19章关于Spark548 19.1安装Spark549 19.2示例549 19.3弹性分布式数据集555 19.4共享变量564 19.5剖析Spark作业运行机制565 19.6执行器和集群管理器570 19.7延伸阅读574 第20章关于HBase575 20.1HBase基础575 20.2概念576 20.3安装581 20.4客户端584 20.5创建在线查询应用589 20.6HBase和RDBMS的比较598 20.7Praxis601 20.8延伸阅读602 第21章关于ZooKeeper604 21.1安装和运行ZooKeeper605 21.2示例607 21.3ZooKeeper服务615 21.4使用ZooKeeper来构建应用629 21.5生产环境中的ZooKeeper640 21.6延伸阅读643 第Ⅴ部分案例学习第22章医疗公司塞纳(Cerner) 的可聚合数据647 22.1从多CPU到语义集成647 22.2进入ApacheCrunch648 22.3建立全貌649 22.4集成健康医疗数据651 22.5框架之上的可组合性654 22.6下一步655 第23章生物数据科学：用软件拯救生命657 23.1DNA的结构659 23.2遗传密码：将DNA字符转译为蛋白质660 22.3将DNA想象成源代码661 23.4人类基因组计划和参考基因组663 22.5DNA测序和比对664 23.6ADAM，一个可扩展的基因组分析平台666 23.7使用Avro接口描述语言进行自然语言编程666 23.8使用Parquet进行面向列的存取668 23.9一个简单例子：用Spark和 ADAM做k-mer计数669 23.10从个性化广告到个性化医疗672 23.11联系我们673 第24章开源项目Cascading674 24.1字段、元组和管道675 24.2操作678 24.3Taps，Schemes和Flows680 24.4Cascading实践应用681 24.5灵活性684 24.6ShareThis中的Hadoop和 Cascading685 24.7总结689 附录A安装ApacheHadoop691 附录B关于CDH697 附录C准备NCDC气象数据699 附录D新版和旧版Java MapReduceAPI702

查看详情

Hadoop权威指南：大数据的存储与分析(第4版)

内容简介:

作者简介:

目录: