大规模分布式系统架构与设计实战

大规模分布式系统架构与设计实战
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者:
2014-03
版次: 1
ISBN: 9787111455035
定价: 59.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 231页
正文语种: 简体中文
原版书名: Architecture and Design of Large Scale Distributed System
119人买过
  •   《大规模分布式系统架构与设计实战》从作者的实战经验出发,深入浅出地讲解了如何建立一个Hadoop那样的分布式系统,实现对多台计算机CPU、内存、硬盘的统一利用,从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业务,工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结,并从中抽取出一套简化的框架和编程API进行讲解,方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书,这本书包含了大量精炼示例,手把手教你掌握分布式核心技术。  本书主要内容  分布式并行计算的基本原理解剖;
      分布式协调的实现,包括如何实现公共配置管理,如何实现分布式锁,如何实现集群管理等;
      分布式缓存的实现,包括如何提供完整的分布式缓存来利用多机内存能力;
      消息队列的实现,包括如何实现发送和接收模式;
      分布式文件系统的实现,包括如何像操作本地文件一样操作远程文件,并利用多机硬盘存储能力;
      分布式作业调度平台的实现,包括资源隔离、资源调度等。
      参考阅读  978-7-111-43052-0大规模分布式存储系统:原理解析与架构实战  978-7-111-40392-0分布式系统:概念与设计(原书第5版)  978-7-111-45244-7Hadoop应用开发技术详解  978-7-111-41766-8Hadoop技术内幕:深入解析HadoopCommon和HDFS架构设计与实现原理  978-7-111-42226-6Hadoop技术内幕:深入解析MapReduce架构设计与实现原理  978-7-111-44534-0Hadoop技术内幕:深入解析YARN架构设计与实现原理  978-7-111-43514-3网站数据分析:数据驱动的网站管理、优化和运营  978-7-111-42591-5数据挖掘:实用案例分析   彭渊,资深架构师,现任华为企业中间件首席架构师,主要负责中间件和大数据。前淘宝高级专家(花名:千峰),先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师,负责设计ESB。曾艰苦创业,编写和销售财务软件。在Java技术领域从业十多年,撰写过多款开源软件,其中,淘宝分布式技术框架Fourinone为其代表作。他拥有软件著作权的代表作有:BS系列软件(包括财务进销存、OA产品、CRM等)、FMS视频会议、Flash网站生成软件(华军可下载),所有软件作品均贡献99%代码。 前 言
    第1章概述 
    1.1分布式计算、并行计算、云计算概述 
    1.2分布式产品Hadoop、ZooKeeper、HBase概述 
    1.3Fourinone的产生背景 
    第2章分布式并行计算的原理与实践 
    2.1分布式并行计算模式 
    2.1.1最初想到的master-slave结构 
    2.1.2“包工头-职介所-手工仓库-工人”模式 
    2.1.3基于消息中枢的计算模式 
    2.1.4基于网状直接交互的计算模式 
    2.1.5并行结合串行模式 
    2.1.6包工头内部批量多阶段处理模式 
    2.1.7计算集群模式和兼容遗留计算系统 
    2.1.8工人计算的服务化模式 
    2.2跟Hadoop的区别 
    2.3关于分布式的一些概念与产品 
    2.4配置文件和核心API介绍 
    2.5实践与应用 
    2.5.1一个简单的示例 
    2.5.2工头工人计算模式更完整的示例 
    2.5.3工人合并互相say hello的示例 
    2.5.4 实现Hadoop经典实例Word Count 
    2.5.5分布式多机部署的示例 
    2.5.6分布式计算自动部署的示例 
    2.5.7计算过程中的故障和容灾处理 
    2.5.8计算过程中的相关时间属性设置 
    2.5.9如何在一台计算机上一次性启动多个进程 
    2.5.10如何调用C/C++程序实现 
    2.5.11如何中止工人计算和超时中止 
    2.5.12使用并行计算大幅提升递归算法效率 
    2.5.13使用并行计算求圆周率π 
    2.5.14从赌钱游戏看PageRank算法 
    2.5.15使用并行计算实现上亿排序 
    2.5.16工人服务化模式应用示例 
    2.6实时流计算 
    第3章分布式协调的实现 
    3.1协调架构原理简介 
    3.2核心API 
    3.3权限机制 
    3.4相对于ZooKeeper的区别 
    3.5与Paxos算法的区别 
    3.6实践与应用 
    3.6.1如何实现公共配置管理 
    3.6.2如何实现分布式锁 
    3.6.3如何实现集群管理 
    3.6.4多节点权限操作示例 
    3.6.5领导者选举相关属性设置 
    第4章分布式缓存的实现 
    4.1小型网站或企业应用的缓存实现架构 
    4.2大型分布式缓存系统实现过程 
    4.3一致性哈希算法的原理、改进和实现 
    4.4解决任意扩容的问题 
    4.5解决扩容后数据均匀的问题 
    4.6分布式Session的架构设计和实现 
    4.7缓存容量的相关属性设置 
    4.8缓存清空的相关属性设置 
    第5章消息队列的实现 
    5.1闲话中间件与MQ 
    5.2JMS的两种经典模式 
    5.3如何实现发送接收的队列模式 
    5.4如何实现主题订阅模式 
    第6章分布式文件系统的实现 
    6.1FTTP架构原理解析 
    6.2搭建配置FttpAdapter环境 
    6.3访问集群文件根目录 
    6.4访问和操作远程文件 
    6.5集群内文件复制和并行复制 
    6.6读写远程文件 
    6.7解析远程文件 
    6.8并行读写远程文件 
    6.9批量并行读写远程文件和事务补偿处理 
    6.10如何进行整型读写 
    6.11基于整型读写的上亿排序 
    第7章分布式作业调度平台的实现 
    7.1调度平台的设计与实现 
    7.2资源隔离的实现 
    7.3资源调度算法 
    7.4其他作业调度平台简介 
    7.4.1其他MPI作业资源调度技术 
    7.4.2Mesos和Yarn简介
  • 内容简介:
      《大规模分布式系统架构与设计实战》从作者的实战经验出发,深入浅出地讲解了如何建立一个Hadoop那样的分布式系统,实现对多台计算机CPU、内存、硬盘的统一利用,从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业务,工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结,并从中抽取出一套简化的框架和编程API进行讲解,方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书,这本书包含了大量精炼示例,手把手教你掌握分布式核心技术。  本书主要内容  分布式并行计算的基本原理解剖;
      分布式协调的实现,包括如何实现公共配置管理,如何实现分布式锁,如何实现集群管理等;
      分布式缓存的实现,包括如何提供完整的分布式缓存来利用多机内存能力;
      消息队列的实现,包括如何实现发送和接收模式;
      分布式文件系统的实现,包括如何像操作本地文件一样操作远程文件,并利用多机硬盘存储能力;
      分布式作业调度平台的实现,包括资源隔离、资源调度等。
      参考阅读  978-7-111-43052-0大规模分布式存储系统:原理解析与架构实战  978-7-111-40392-0分布式系统:概念与设计(原书第5版)  978-7-111-45244-7Hadoop应用开发技术详解  978-7-111-41766-8Hadoop技术内幕:深入解析HadoopCommon和HDFS架构设计与实现原理  978-7-111-42226-6Hadoop技术内幕:深入解析MapReduce架构设计与实现原理  978-7-111-44534-0Hadoop技术内幕:深入解析YARN架构设计与实现原理  978-7-111-43514-3网站数据分析:数据驱动的网站管理、优化和运营  978-7-111-42591-5数据挖掘:实用案例分析
  • 作者简介:
      彭渊,资深架构师,现任华为企业中间件首席架构师,主要负责中间件和大数据。前淘宝高级专家(花名:千峰),先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师,负责设计ESB。曾艰苦创业,编写和销售财务软件。在Java技术领域从业十多年,撰写过多款开源软件,其中,淘宝分布式技术框架Fourinone为其代表作。他拥有软件著作权的代表作有:BS系列软件(包括财务进销存、OA产品、CRM等)、FMS视频会议、Flash网站生成软件(华军可下载),所有软件作品均贡献99%代码。
  • 目录:
    前 言
    第1章概述 
    1.1分布式计算、并行计算、云计算概述 
    1.2分布式产品Hadoop、ZooKeeper、HBase概述 
    1.3Fourinone的产生背景 
    第2章分布式并行计算的原理与实践 
    2.1分布式并行计算模式 
    2.1.1最初想到的master-slave结构 
    2.1.2“包工头-职介所-手工仓库-工人”模式 
    2.1.3基于消息中枢的计算模式 
    2.1.4基于网状直接交互的计算模式 
    2.1.5并行结合串行模式 
    2.1.6包工头内部批量多阶段处理模式 
    2.1.7计算集群模式和兼容遗留计算系统 
    2.1.8工人计算的服务化模式 
    2.2跟Hadoop的区别 
    2.3关于分布式的一些概念与产品 
    2.4配置文件和核心API介绍 
    2.5实践与应用 
    2.5.1一个简单的示例 
    2.5.2工头工人计算模式更完整的示例 
    2.5.3工人合并互相say hello的示例 
    2.5.4 实现Hadoop经典实例Word Count 
    2.5.5分布式多机部署的示例 
    2.5.6分布式计算自动部署的示例 
    2.5.7计算过程中的故障和容灾处理 
    2.5.8计算过程中的相关时间属性设置 
    2.5.9如何在一台计算机上一次性启动多个进程 
    2.5.10如何调用C/C++程序实现 
    2.5.11如何中止工人计算和超时中止 
    2.5.12使用并行计算大幅提升递归算法效率 
    2.5.13使用并行计算求圆周率π 
    2.5.14从赌钱游戏看PageRank算法 
    2.5.15使用并行计算实现上亿排序 
    2.5.16工人服务化模式应用示例 
    2.6实时流计算 
    第3章分布式协调的实现 
    3.1协调架构原理简介 
    3.2核心API 
    3.3权限机制 
    3.4相对于ZooKeeper的区别 
    3.5与Paxos算法的区别 
    3.6实践与应用 
    3.6.1如何实现公共配置管理 
    3.6.2如何实现分布式锁 
    3.6.3如何实现集群管理 
    3.6.4多节点权限操作示例 
    3.6.5领导者选举相关属性设置 
    第4章分布式缓存的实现 
    4.1小型网站或企业应用的缓存实现架构 
    4.2大型分布式缓存系统实现过程 
    4.3一致性哈希算法的原理、改进和实现 
    4.4解决任意扩容的问题 
    4.5解决扩容后数据均匀的问题 
    4.6分布式Session的架构设计和实现 
    4.7缓存容量的相关属性设置 
    4.8缓存清空的相关属性设置 
    第5章消息队列的实现 
    5.1闲话中间件与MQ 
    5.2JMS的两种经典模式 
    5.3如何实现发送接收的队列模式 
    5.4如何实现主题订阅模式 
    第6章分布式文件系统的实现 
    6.1FTTP架构原理解析 
    6.2搭建配置FttpAdapter环境 
    6.3访问集群文件根目录 
    6.4访问和操作远程文件 
    6.5集群内文件复制和并行复制 
    6.6读写远程文件 
    6.7解析远程文件 
    6.8并行读写远程文件 
    6.9批量并行读写远程文件和事务补偿处理 
    6.10如何进行整型读写 
    6.11基于整型读写的上亿排序 
    第7章分布式作业调度平台的实现 
    7.1调度平台的设计与实现 
    7.2资源隔离的实现 
    7.3资源调度算法 
    7.4其他作业调度平台简介 
    7.4.1其他MPI作业资源调度技术 
    7.4.2Mesos和Yarn简介
查看详情
系列丛书 / 更多
大规模分布式系统架构与设计实战
大规模分布式存储系统:原理解析与架构实战
杨传辉 著
大规模分布式系统架构与设计实战
R语言数据分析与挖掘实战
张良均、云伟标、王路、刘晓勇 著
大规模分布式系统架构与设计实战
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
董西成 著
大规模分布式系统架构与设计实战
Python与数据挖掘
张良均、杨海宏、何子健、杨征 著
大规模分布式系统架构与设计实战
R语言与数据挖掘
张良均、谢佳标、杨坦、肖刚 著
大规模分布式系统架构与设计实战
大数据技术丛书:MATLAB数据分析与挖掘实战
张良均、杨坦、肖刚、徐圣兵 著
大规模分布式系统架构与设计实战
大数据挖掘:系统方法与实例分析
周英、卓金武、卞月青 著
大规模分布式系统架构与设计实战
Spark大数据分析实战
高彦杰、倪亚宇 著
大规模分布式系统架构与设计实战
Hadoop大数据分析与挖掘实战
张良均、樊哲、赵云龙、李成华 著
大规模分布式系统架构与设计实战
Spark大数据处理:技术、应用与性能优化
高彦杰 著
大规模分布式系统架构与设计实战
数据挖掘:实用案例分析
张良均、陈俊德、刘名军 著
大规模分布式系统架构与设计实战
Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理
蔡斌、陈湘萍 著
相关图书 / 更多
大规模分布式系统架构与设计实战
大规模C++软件开发 卷1:过程与架构
[美]约翰·拉科斯(John Lakos)
大规模分布式系统架构与设计实战
大规模地震预警系统理论、技术与实践
王暾;潘臻;吴军;伍良燕;林鸿潮;韦瑶;刘顺章
大规模分布式系统架构与设计实战
大规模推荐系统实战
阿星(本名:张友雷
大规模分布式系统架构与设计实战
大规模储能系统优化规划与运行技术
张澄;黄强;胡泽春
大规模分布式系统架构与设计实战
大规模存储系统数据消冗
夏文 冯丹 华宇 邹翔宇
大规模分布式系统架构与设计实战
大规模应急医用物资配置策略及其优化研究
叶永 著
大规模分布式系统架构与设计实战
大规模MIMO网络的频谱、能量和硬件效率
Emil;Bjornson(埃米尔·比约尔森)
大规模分布式系统架构与设计实战
大规模C++软件开发 卷1 过程与架构(英文版)
约翰·拉科斯(John Lakos)
大规模分布式系统架构与设计实战
大规模时滞电力系统特征值计算(第2版)
叶华;刘玉田
大规模分布式系统架构与设计实战
大规模在线学习动力与质量:社会性知识网络视角
王帆
大规模分布式系统架构与设计实战
大规模英文语义树构建技术
冶忠林 著
大规模分布式系统架构与设计实战
大规模深远海养殖模式的研究报告
林鸣