Mesos：大数据资源调度与大规模容器运行最佳实践

作者: [印度] Dharmesh Kakadia （哈米斯·卡卡迪亚）著 , 崔婧雯译 , 刘梦馨译

出版社: 电子工业出版社

出版时间: 2015-09

版次: 1

ISBN: 9787121269028

定价: 65.00

装帧: 平装

开本: 16开

纸张: 胶版纸

页数: 192页

字数: 280千字

正文语种: 简体中文

分类: 计算机与互联网

32人买过

　　本书结合大量实例介绍了Mesos的使用方法、核心原理及框架开发的相关内容。通过这些内容读者可以在数据中心环境中利用Mesos搭建分布式系统、进行大数据分析及开发分布式应用。
　　本书分为8章分别从使用、开发和运维等角度全面展示了Mesos作为数据中心内核的强大能力、设计方面的精髓及在工程中的**实践。《Mesos：大数据资源调度与大规模容器运行**实践还介绍了Mesos项目的全新进展和未来的发展方向，并给出了大量参考文献和相关链接方便读者进一步深入了解Mesos。适合分布式系统的研发、运维人员及相关技术爱好者阅读。
　　DharmeshKakadia，微软研究院的研究员，负责开发下一代集群管理系统。在加入微软研究院之前，他在海得拉巴信息技术国际研究所获得硕士学位，致力于改进云和大数据系统的任务调度。他对系统和数据的交集部分非常感兴趣，在资源管理领域发表了多篇研究报告。他热衷于开源技术，活跃在多个开源社区里。他的Twitter账号是@DharmeshKakadia。
　　DockOne.io成立于2014年，是国内大的容器社区。社区主要关注Docker、Mesos、CoreOS、Kubernetes、Ceph、OpenStack等容器生态圈相关软件，致力于为广大容器爱好者提供一个分享、学习和交流的平台，目前已有活跃会员逾50000，精品文章1000余篇。

　　刘梦馨，灵雀云软件工程师，从事CaaS平台的研发工作。曾任开发、测试、运维相关职位，专注于云计算和虚拟化技术。

　　崔婧雯，具有近10年软件测试开发经验。现就职于IBM，高级软件工程师，负责IBMWebSphere业务流程管理软件的系统测试和自动化CI测试平台的开发工作。曾就职于VMware从事桌面虚拟化产品的质量保证工作。对Dokcer，虚拟化，业务流程管理等技术有浓厚的兴趣。
前言 xiv
第1章运行Mesos 1
1.1 现代数据中心 1
1.2 集群计算框架 2
1.3 Mesos简介 2
1.3.1 master 3
1.3.2 slave 4
1.3.3 框架 4
1.4 为什么使用Mesos 4
1.5 单节点Mesos集群 5
1.5.1 Mac OS 5
1.5.2 Fedora 6
1.5.3 安装依赖软件包 6
1.5.4 构建Mesos 8
1.5.5 启动Mesos 10
1.6 运行测试框架 11
1.7 Mesos Web UI 15
1.8 多节点Mesos集群 15
1.9 Amazon EC2 上的Mesos集群 16
1.10 使用 Vagrant 运行Mesos 18
1.11 Mesos社区 19
1.11.1 案例研究 19
1.11.2 邮件列表 20
1.12小结 20
第 2 章在Mesos上运行 Hadoop 21
2.1 Hadoop 介绍 21
2.2 Mesos上的 Hadoop 22
2.3 在Mesos上安装 Hadoop 23
2.4 Hadoop 作业示例 26
2.5 Mesos上 Hadoop 的高级配置 27
2.5.1 任务资源分配 27
2.5.2 度量报告 29
2.5.3 认证 32
2.5.4 容器隔离 33
2.5.5 其他配置参数 33
2.6 小结 34
第 3 章在Mesos上运行 Spark 35
3.1 Spark 介绍 35
3.2 Spark 作业调度 36
3.3 Spark Standalone模式 38
3.4 在Mesos上的 Spark 40
3.5 在Mesos上 Spark 的调优 41
3.6 小结 43
第 4 章Mesos上的复杂数据分析44
4.1 复杂数据和 Lambda 架构的兴起 44
4.2 Storm 46
4.2.1 Mesos上的 Storm 47
4.2.2 Storm-Mesos配置 49
4.3 Spark Streaming 50
4.3.1 在Mesos上运行 Spark Streaming 52
4.3.2 Spark Streaming 调优 53
4.4 Mesos上的 NoSQL 55
4.4.1 Mesos上的 Cassandra 55
4.5 小结 57
第 5 章在Mesos上运行服务 59
5.1 服务的介绍 59
5.2 Marathon 60
5.2.1 Marathon API 61
5.2.2运行 Marathon 62
5.2.3 Marathon 样例 63
5.2.4约束条件 65
5.2.5事件总线 66
5.2.6 artifact store 66
5.2.7应用组 66
5.2.8应用程序健康检查 67
5.3 Chronos 68
5.3.1 Chronos REST API 68
5.3.2运行Chronos 70
5.3.3 Chronos样例 71
5.4 Aurora 71
5.4.1 作业的生命周期 73
5.4.2运行 Aurora 74
5.4.3 Aurora 集群配置 75
5.4.4 Aurora 作业配置 76
5.4.5 Aurora 客户端 80
5.4.6 Aurora 样例 82
5.4.7 Aurora cron作业 83
5.5 服务发现 83
5.5.1 Mesos-DNS 83
5.5.2安装Mesos-DNS 84
5.5.3 Mesos-DNS 配置 85
5.5.4运行Mesos-DNS 86
5.6 打包 87
5.7 小结 87
第 6 章理解Mesos内部机制 88
6.1Mesos架构 88
6.1.1 Mesos slave 90
6.1.2 Mesos master 91
6.1.3框架 92
6.1.4通信 92
6.1.5附属服务 93
6.2 资源分配 94
6.2.1 Mesos调度器 95
6.2.2 加权 DRF 96
6.2.3 资源预留 97
6.3 资源隔离 101
6.3.1 Mesos容器机 102
6.3.2 Docker 容器机 103
6.3.3 外部容器机 105
6.4 容错 107
6.4.1 ZooKeeper 108
6.4.2 故障检测及处理 109
6.4.3 Registry 111
6.5 扩展Mesos 112
6.5.1 Mesos模块 112
6.5.2分配模块 116
6.5.3 Mesos hook 和修饰器 119
6.5.4任务标签 119
6.6 小结 119
第 7 章开发Mesos框架 120
7.1 Mesos API 120
7.1.1 Mesos消息 121
7.1.2调度器 API 122
7.1.3调度器驱动 API 124
7.1.4执行器 API 125
7.1.5调度器驱动 API 126
7.2 开发一个Mesos框架 127
7.2.1 搭建开发环境 127
7.2.2加入框架调度器 128
7.2.3加入框架启动器 130
7.2.4部署框架 131
7.3 构建框架 133
7.3.1 给框架加入执行器 137
7.3.2 更新框架调度器 141
7.3.3 运行多个执行器 144
7.4 高级主题 147
7.4.1 一致性调解 147
7.4.2 有状态应用 148
7.5 开发者资料 148
7.5.1 框架设计模式 149
7.5.2 框架测试 149
7.5.3 RENDLER 149
7.5.4 Akka-mesos 150
7.6 小结 150
第 8 章管理Mesos 151
8.1 部署 151
8.2 升级 152
8.3 监控 153
8.3.1 容器网络监控 153
8.4 多租户 155
8.4.1 授权和鉴权 155
8.4.2 API 速率限制 158
8.5 高可用 160
8.5.1 master 高可用 160
8.5.2 限制 slave 移除速率 162
8.5.3 slave 恢复 162
8.6 维护状态 163
8.7 Mesos接口 165
8.7.1 Mesos REST 接口 165
8.7.2 Mesos CLI 167
8.8配置 170
8.8.1 Mesos master 171
8.8.2 Mesos slave 174
8.8.3 Mesos构建选项 179
小结 181
内容简介:
　　本书结合大量实例介绍了Mesos的使用方法、核心原理及框架开发的相关内容。通过这些内容读者可以在数据中心环境中利用Mesos搭建分布式系统、进行大数据分析及开发分布式应用。
　　本书分为8章分别从使用、开发和运维等角度全面展示了Mesos作为数据中心内核的强大能力、设计方面的精髓及在工程中的**实践。《Mesos：大数据资源调度与大规模容器运行**实践还介绍了Mesos项目的全新进展和未来的发展方向，并给出了大量参考文献和相关链接方便读者进一步深入了解Mesos。适合分布式系统的研发、运维人员及相关技术爱好者阅读。
作者简介:
　　DharmeshKakadia，微软研究院的研究员，负责开发下一代集群管理系统。在加入微软研究院之前，他在海得拉巴信息技术国际研究所获得硕士学位，致力于改进云和大数据系统的任务调度。他对系统和数据的交集部分非常感兴趣，在资源管理领域发表了多篇研究报告。他热衷于开源技术，活跃在多个开源社区里。他的Twitter账号是@DharmeshKakadia。
　　DockOne.io成立于2014年，是国内大的容器社区。社区主要关注Docker、Mesos、CoreOS、Kubernetes、Ceph、OpenStack等容器生态圈相关软件，致力于为广大容器爱好者提供一个分享、学习和交流的平台，目前已有活跃会员逾50000，精品文章1000余篇。

　　刘梦馨，灵雀云软件工程师，从事CaaS平台的研发工作。曾任开发、测试、运维相关职位，专注于云计算和虚拟化技术。

　　崔婧雯，具有近10年软件测试开发经验。现就职于IBM，高级软件工程师，负责IBMWebSphere业务流程管理软件的系统测试和自动化CI测试平台的开发工作。曾就职于VMware从事桌面虚拟化产品的质量保证工作。对Dokcer，虚拟化，业务流程管理等技术有浓厚的兴趣。
目录:
前言 xiv
第1章运行Mesos 1
1.1 现代数据中心 1
1.2 集群计算框架 2
1.3 Mesos简介 2
1.3.1 master 3
1.3.2 slave 4
1.3.3 框架 4
1.4 为什么使用Mesos 4
1.5 单节点Mesos集群 5
1.5.1 Mac OS 5
1.5.2 Fedora 6
1.5.3 安装依赖软件包 6
1.5.4 构建Mesos 8
1.5.5 启动Mesos 10
1.6 运行测试框架 11
1.7 Mesos Web UI 15
1.8 多节点Mesos集群 15
1.9 Amazon EC2 上的Mesos集群 16
1.10 使用 Vagrant 运行Mesos 18
1.11 Mesos社区 19
1.11.1 案例研究 19
1.11.2 邮件列表 20
1.12小结 20
第 2 章在Mesos上运行 Hadoop 21
2.1 Hadoop 介绍 21
2.2 Mesos上的 Hadoop 22
2.3 在Mesos上安装 Hadoop 23
2.4 Hadoop 作业示例 26
2.5 Mesos上 Hadoop 的高级配置 27
2.5.1 任务资源分配 27
2.5.2 度量报告 29
2.5.3 认证 32
2.5.4 容器隔离 33
2.5.5 其他配置参数 33
2.6 小结 34
第 3 章在Mesos上运行 Spark 35
3.1 Spark 介绍 35
3.2 Spark 作业调度 36
3.3 Spark Standalone模式 38
3.4 在Mesos上的 Spark 40
3.5 在Mesos上 Spark 的调优 41
3.6 小结 43
第 4 章Mesos上的复杂数据分析44
4.1 复杂数据和 Lambda 架构的兴起 44
4.2 Storm 46
4.2.1 Mesos上的 Storm 47
4.2.2 Storm-Mesos配置 49
4.3 Spark Streaming 50
4.3.1 在Mesos上运行 Spark Streaming 52
4.3.2 Spark Streaming 调优 53
4.4 Mesos上的 NoSQL 55
4.4.1 Mesos上的 Cassandra 55
4.5 小结 57
第 5 章在Mesos上运行服务 59
5.1 服务的介绍 59
5.2 Marathon 60
5.2.1 Marathon API 61
5.2.2运行 Marathon 62
5.2.3 Marathon 样例 63
5.2.4约束条件 65
5.2.5事件总线 66
5.2.6 artifact store 66
5.2.7应用组 66
5.2.8应用程序健康检查 67
5.3 Chronos 68
5.3.1 Chronos REST API 68
5.3.2运行Chronos 70
5.3.3 Chronos样例 71
5.4 Aurora 71
5.4.1 作业的生命周期 73
5.4.2运行 Aurora 74
5.4.3 Aurora 集群配置 75
5.4.4 Aurora 作业配置 76
5.4.5 Aurora 客户端 80
5.4.6 Aurora 样例 82
5.4.7 Aurora cron作业 83
5.5 服务发现 83
5.5.1 Mesos-DNS 83
5.5.2安装Mesos-DNS 84
5.5.3 Mesos-DNS 配置 85
5.5.4运行Mesos-DNS 86
5.6 打包 87
5.7 小结 87
第 6 章理解Mesos内部机制 88
6.1Mesos架构 88
6.1.1 Mesos slave 90
6.1.2 Mesos master 91
6.1.3框架 92
6.1.4通信 92
6.1.5附属服务 93
6.2 资源分配 94
6.2.1 Mesos调度器 95
6.2.2 加权 DRF 96
6.2.3 资源预留 97
6.3 资源隔离 101
6.3.1 Mesos容器机 102
6.3.2 Docker 容器机 103
6.3.3 外部容器机 105
6.4 容错 107
6.4.1 ZooKeeper 108
6.4.2 故障检测及处理 109
6.4.3 Registry 111
6.5 扩展Mesos 112
6.5.1 Mesos模块 112
6.5.2分配模块 116
6.5.3 Mesos hook 和修饰器 119
6.5.4任务标签 119
6.6 小结 119
第 7 章开发Mesos框架 120
7.1 Mesos API 120
7.1.1 Mesos消息 121
7.1.2调度器 API 122
7.1.3调度器驱动 API 124
7.1.4执行器 API 125
7.1.5调度器驱动 API 126
7.2 开发一个Mesos框架 127
7.2.1 搭建开发环境 127
7.2.2加入框架调度器 128
7.2.3加入框架启动器 130
7.2.4部署框架 131
7.3 构建框架 133
7.3.1 给框架加入执行器 137
7.3.2 更新框架调度器 141
7.3.3 运行多个执行器 144
7.4 高级主题 147
7.4.1 一致性调解 147
7.4.2 有状态应用 148
7.5 开发者资料 148
7.5.1 框架设计模式 149
7.5.2 框架测试 149
7.5.3 RENDLER 149
7.5.4 Akka-mesos 150
7.6 小结 150
第 8 章管理Mesos 151
8.1 部署 151
8.2 升级 152
8.3 监控 153
8.3.1 容器网络监控 153
8.4 多租户 155
8.4.1 授权和鉴权 155
8.4.2 API 速率限制 158
8.5 高可用 160
8.5.1 master 高可用 160
8.5.2 限制 slave 移除速率 162
8.5.3 slave 恢复 162
8.6 维护状态 163
8.7 Mesos接口 165
8.7.1 Mesos REST 接口 165
8.7.2 Mesos CLI 167
8.8配置 170
8.8.1 Mesos master 171
8.8.2 Mesos slave 174
8.8.3 Mesos构建选项 179
小结 181