云计算与大数据技术

云计算与大数据技术

分享

作者: 王鹏著 , 黄焱著 , 安俊秀著 , 张逸琴著

出版社: 人民邮电出版社

出版时间: 2014-04

版次: 1

ISBN: 9787115348036

定价: 32.00

装帧: 平装

开本: 16开

纸张: 胶版纸

页数: 179页

字数: 303千字

正文语种: 简体中文

丛书: 工业和信息化人才培养规划教材

分类: 计算机与互联网

5 张插图图片

89人买过

　　本书全面介绍了云计算与大数据的基础知识、主要技术、基于集群技术的资源整合型云计算技术和基于虚拟化技术的资源切分型云计算技术。全书共10章，主要内容包括云计算与大数据概述、相关技术、虚拟化技术、集群系统基础、MPI、Hadoop、HPCC、Storm、数据中心技术和云计算大数据仿真技术。本书注重实用，实验丰富，将实验内容融合在课程内容中，使理论紧密联系实际。
　　本书可作为高等院校云计算、大数据相关课程的教材，也可作为相关技术人员的参考用书。目　录

第1章　云计算与大数据基础　1
1．1　云计算技术概述　1
1．1．1　云计算简介　1
1．1．2　云计算的特点　2
1．1．3　云计算技术分类　3
1．2　大数据技术概述　5
1．2．1　大数据简介　5
1．2．2　主要的大数据处理系统　8
1．2．3　大数据处理的基本流程　10
1．3　云计算与大数据的发展　11
练习题　17

第2章　云计算与大数据的相关技术　19
2．1　云计算与大数据　19
2．2　云计算与物联网　21
2．3　一致性哈希算法　24
2．3．1　一致性哈希算法的基本原理　24
2．3．2　一致性哈希算法中计算和存储位置的一致性　25
2．4　非关系型数据库　27
2．4．1　从关系型数据库到非关系型数据库　27
2．4．2　非关系型数据库的定义　28
2．4．3　非关系型数据库的分类　28
2．5　集群高速通信标准InfiniBand　29
2．6　云计算大数据集群的自组织特性　30
练习题　32

第3章　虚拟化技术　33
3．1　虚拟化技术简介　33
3．1．1　虚拟化技术的发展　33
3．1．2　虚拟化的描述　34
3．1．3　虚拟化技术的优势和劣势　35
3．1．4　虚拟化技术的分类　36
3．2　常见虚拟化软件　39
3．2．1　VirtualBox　39
3．2．2　VMware Workstation　39
3．2．3　KVM　39
3．3　系统虚拟化　40
3．3．1　服务器虚拟化　41
3．3．2　桌面虚拟化　43
3．3．3　网络虚拟化　45
3．4　使用KVM构建虚拟机群　46
练习题　48

第4章　集群系统基础　49
4．1　集群系统的基本概念　49
4．2　集群系统的分类　51
4．3　单一系统映射　52
4．4　Beowulf集群　53
4．5　集群文件系统　55
4．5．1　集群文件系统概念　55
4．5．2　典型的集群文件系统Lustre　56
4．6　分布式系统中计算和数据的协作机制　　58
4．6．1　基于计算切分的分布式计算　58
4．6．2　基于计算和数据切分的混合型分布式计算技术——网格计算　60
4．6．3　基于数据切分的分布式计算技术　61
4．6．4　三种分布式系统的分析对比　63
练习题　65

第5章　MPI——面向计算的高性能集群技术　66
5．1　什么是MPI　66
5．2　MPI的架构和特点　67
5．3　MPICH并行环境的建立　68
5．3．1　配置前的准备工作　68
5．3．2　挂载NFS　68
5．3．3　配置ssh实现MPI节点间用户的无密码访问　69
5．3．4　安装MPICH2　70
5．3．5　建立并行计算环境时的注意事项　72
5．4　MPI分布式程序设计基础　72
5．4．1　最简单的并行程序　73
5．4．2　获取进程标志和机器名　76
5．4．3　有消息传递功能的并行程序　78
5．4．4　Monte Carlo法在并行程序设计中的应用　82
5．4．5　并行计算中节点间的Reduce操作　84
5．4．6　用MPI的6个基本函数实现Reduce函数功能　87
5．4．7　设计MPI并行程序时的注意事项　89
练习题　90

第6章　Hadoop——分布式大数据系统　91
6．1　Hadoop概述　91
6．2　HDFS　92
6．2．1　HDFS文件系统的原型GFS　92
6．2．2　HDFS文件的基本结构　94
6．2．3　HDFS的存储过程　95
6．3　MapReduce编程框架　96
6．3．1　MapReduce的发展历史　96
6．3．2　MapReduce的基本工作过程　96
6．3．3　LISP中的MapReduce　99
6．3．4　MapReduce的特点　100
6．4　实现Map/Reduce的C语言实例　101
6．5　建立Hadoop开发环境　104
6．5．1　相关准备工作　105
6．5．2　JDK的安装配置　105
6．5．3　下载、解压Hadoop，配置Hadoop环境变量　106
6．5．4　修改Hadoop配置文件　107
6．5．5　将配置好的Hadoop文件复制到其他节点　108
6．5．6　启动、停止Hadoop　108
6．5．7　在Hadoop系统上运行测试程序WordCount　109
练习题　111

第7章　HPCC——面向数据的高性能计算集群系统　112
7．1　HPCC简介　113
7．2　HPCC的系统架构　115
7．3　HPCC平台数据检索任务的执行过程　117
7．4　HPCC的安装部署　118
7．5　数据的加载、切分和分发　123
7．6　ECL语言基础知识　126
7．6．1　ECL语言的保留关键字　127
7．6．2　ECL语言的记录定义和操作　128
7．6．3　ECL语言集成开发环境　129
7．7　ECL语言编程实例　130
7．7．1　声明数据文件中的记录结构　130
7．7．2　读取数据文件生成数据集　131
7．7．3　统计记录条数　131
7．7．4　将数据集中的小写字母改为大写　132
7．7．5　建立索引实现对数据集的检索　133
7．7．6　发布数据　135
7．7．7　HPCC中的WordCount操作　137
练习题　139

第8章　Storm——基于拓扑的流数据实时计算系统　141
8．1　Storm简介　141
8．2　Storm原理及其体系结构　142
8．2．1　Storm编程模型原理　142
8．2．2　Storm体系结构　143
8．3　搭建Storm开发环境　144
8．3．1　Storm的安装步骤　144
8．3．2　Storm 的设置　146
8．3．3　Storm 的启动　147
8．4　Storm使用实例　148
8．4．1　使用Maven管理storm-starter　148
8．4．2　WordCountTopology实例分析　150　
练习题　154

第9章　服务器与数据中心　155
9．1 数据中心的发展历史　155
9．2　数据中心的基本单元——服务器　159
9．3　数据中心选址　161
9．4　数据中心的能耗　161
练习题　163

第10章　云计算大数据仿真技术　164
10．1　用参数定义物理设备进行仿真　164
10．2　云计算仿真系统——CloudSim　165
10．2．1　CloudSim基础　165
10．2．2　CloudSim体系结构　167
10．2．3　CloudSim的使用模型场景　169
10．2．4　CloudSim使用实例　170
10．3　云计算系统相空间模型　176
练习题　178

参考文献　179
内容简介:
　　本书全面介绍了云计算与大数据的基础知识、主要技术、基于集群技术的资源整合型云计算技术和基于虚拟化技术的资源切分型云计算技术。全书共10章，主要内容包括云计算与大数据概述、相关技术、虚拟化技术、集群系统基础、MPI、Hadoop、HPCC、Storm、数据中心技术和云计算大数据仿真技术。本书注重实用，实验丰富，将实验内容融合在课程内容中，使理论紧密联系实际。
　　本书可作为高等院校云计算、大数据相关课程的教材，也可作为相关技术人员的参考用书。
目录:
目　录

第1章　云计算与大数据基础　1
1．1　云计算技术概述　1
1．1．1　云计算简介　1
1．1．2　云计算的特点　2
1．1．3　云计算技术分类　3
1．2　大数据技术概述　5
1．2．1　大数据简介　5
1．2．2　主要的大数据处理系统　8
1．2．3　大数据处理的基本流程　10
1．3　云计算与大数据的发展　11
练习题　17

第2章　云计算与大数据的相关技术　19
2．1　云计算与大数据　19
2．2　云计算与物联网　21
2．3　一致性哈希算法　24
2．3．1　一致性哈希算法的基本原理　24
2．3．2　一致性哈希算法中计算和存储位置的一致性　25
2．4　非关系型数据库　27
2．4．1　从关系型数据库到非关系型数据库　27
2．4．2　非关系型数据库的定义　28
2．4．3　非关系型数据库的分类　28
2．5　集群高速通信标准InfiniBand　29
2．6　云计算大数据集群的自组织特性　30
练习题　32

第3章　虚拟化技术　33
3．1　虚拟化技术简介　33
3．1．1　虚拟化技术的发展　33
3．1．2　虚拟化的描述　34
3．1．3　虚拟化技术的优势和劣势　35
3．1．4　虚拟化技术的分类　36
3．2　常见虚拟化软件　39
3．2．1　VirtualBox　39
3．2．2　VMware Workstation　39
3．2．3　KVM　39
3．3　系统虚拟化　40
3．3．1　服务器虚拟化　41
3．3．2　桌面虚拟化　43
3．3．3　网络虚拟化　45
3．4　使用KVM构建虚拟机群　46
练习题　48

第4章　集群系统基础　49
4．1　集群系统的基本概念　49
4．2　集群系统的分类　51
4．3　单一系统映射　52
4．4　Beowulf集群　53
4．5　集群文件系统　55
4．5．1　集群文件系统概念　55
4．5．2　典型的集群文件系统Lustre　56
4．6　分布式系统中计算和数据的协作机制　　58
4．6．1　基于计算切分的分布式计算　58
4．6．2　基于计算和数据切分的混合型分布式计算技术——网格计算　60
4．6．3　基于数据切分的分布式计算技术　61
4．6．4　三种分布式系统的分析对比　63
练习题　65

第5章　MPI——面向计算的高性能集群技术　66
5．1　什么是MPI　66
5．2　MPI的架构和特点　67
5．3　MPICH并行环境的建立　68
5．3．1　配置前的准备工作　68
5．3．2　挂载NFS　68
5．3．3　配置ssh实现MPI节点间用户的无密码访问　69
5．3．4　安装MPICH2　70
5．3．5　建立并行计算环境时的注意事项　72
5．4　MPI分布式程序设计基础　72
5．4．1　最简单的并行程序　73
5．4．2　获取进程标志和机器名　76
5．4．3　有消息传递功能的并行程序　78
5．4．4　Monte Carlo法在并行程序设计中的应用　82
5．4．5　并行计算中节点间的Reduce操作　84
5．4．6　用MPI的6个基本函数实现Reduce函数功能　87
5．4．7　设计MPI并行程序时的注意事项　89
练习题　90

第6章　Hadoop——分布式大数据系统　91
6．1　Hadoop概述　91
6．2　HDFS　92
6．2．1　HDFS文件系统的原型GFS　92
6．2．2　HDFS文件的基本结构　94
6．2．3　HDFS的存储过程　95
6．3　MapReduce编程框架　96
6．3．1　MapReduce的发展历史　96
6．3．2　MapReduce的基本工作过程　96
6．3．3　LISP中的MapReduce　99
6．3．4　MapReduce的特点　100
6．4　实现Map/Reduce的C语言实例　101
6．5　建立Hadoop开发环境　104
6．5．1　相关准备工作　105
6．5．2　JDK的安装配置　105
6．5．3　下载、解压Hadoop，配置Hadoop环境变量　106
6．5．4　修改Hadoop配置文件　107
6．5．5　将配置好的Hadoop文件复制到其他节点　108
6．5．6　启动、停止Hadoop　108
6．5．7　在Hadoop系统上运行测试程序WordCount　109
练习题　111

第7章　HPCC——面向数据的高性能计算集群系统　112
7．1　HPCC简介　113
7．2　HPCC的系统架构　115
7．3　HPCC平台数据检索任务的执行过程　117
7．4　HPCC的安装部署　118
7．5　数据的加载、切分和分发　123
7．6　ECL语言基础知识　126
7．6．1　ECL语言的保留关键字　127
7．6．2　ECL语言的记录定义和操作　128
7．6．3　ECL语言集成开发环境　129
7．7　ECL语言编程实例　130
7．7．1　声明数据文件中的记录结构　130
7．7．2　读取数据文件生成数据集　131
7．7．3　统计记录条数　131
7．7．4　将数据集中的小写字母改为大写　132
7．7．5　建立索引实现对数据集的检索　133
7．7．6　发布数据　135
7．7．7　HPCC中的WordCount操作　137
练习题　139

第8章　Storm——基于拓扑的流数据实时计算系统　141
8．1　Storm简介　141
8．2　Storm原理及其体系结构　142
8．2．1　Storm编程模型原理　142
8．2．2　Storm体系结构　143
8．3　搭建Storm开发环境　144
8．3．1　Storm的安装步骤　144
8．3．2　Storm 的设置　146
8．3．3　Storm 的启动　147
8．4　Storm使用实例　148
8．4．1　使用Maven管理storm-starter　148
8．4．2　WordCountTopology实例分析　150　
练习题　154

第9章　服务器与数据中心　155
9．1 数据中心的发展历史　155
9．2　数据中心的基本单元——服务器　159
9．3　数据中心选址　161
9．4　数据中心的能耗　161
练习题　163

第10章　云计算大数据仿真技术　164
10．1　用参数定义物理设备进行仿真　164
10．2　云计算仿真系统——CloudSim　165
10．2．1　CloudSim基础　165
10．2．2　CloudSim体系结构　167
10．2．3　CloudSim的使用模型场景　169
10．2．4　CloudSim使用实例　170
10．3　云计算系统相空间模型　176
练习题　178

参考文献　179

查看详情

相关分类

计算机理论编程与开发操作系统大数据与云计算图形图像/多媒体网站设计与网页开发网络与通讯硬件、嵌入式开发办公软件信息安全辅助设计与工程计算软件工程/开发项目管理

云计算与大数据技术(工业和信息化人才培养规划教材) 全新正版极速发货

全新

大智慧小美丽

广东省广州市

平均发货17小时成功完成率93.25%

￥16.48

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术(工业和信息化人才培养规划教材) 全新正版极速发货

全新

书香美美

广东省广州市

平均发货16小时成功完成率92.31%

￥16.48

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术(工业和信息化人才培养规划教材) 全新正版极速发货

全新

谢岳书店

广东省广州市

平均发货17小时成功完成率94.77%

￥16.48

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术全新正版快速发货

全新

方寸之间书店的书店

天津市和平区

平均发货24小时成功完成率81.22%

￥17.20

券

100减20

立即购买加入购物车
【正版图书】云计算与大数据技术批量上传，套装书可能不全，下单前咨询在线客服！图书都是8-9成新，少量笔记，不影响阅读使用！光盘、学习卡、附件等默认不带，有特殊要求，下单前请咨询客服！

全新

思源汇书店

江西省南昌市

平均发货18小时成功完成率80.94%

￥21.17

券

100减20

立即购买加入购物车不属于本条目
【正版图书】云计算与大数据技术王鹏//黄焱//安俊秀//张逸琴9787115348036人民邮电出版社2014-05-01 批量上传，套装书可能不全，下单前咨询在线客服！图书都是8-9成新，少量笔记，不影响阅读使用！光盘、学习卡、附件等默认不带，有特殊要求，下单前请咨询客服！

全新

百叶图书

四川省成都市

平均发货12小时成功完成率82.04%

￥21.17

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术(工业和信息化人才培养规划教材) 9787115348036 全新正版可开票支持7天无理由

全新

倒爷图书专营店

浙江省嘉兴市

平均发货13小时成功完成率94.89%

￥21.18

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术(工业和信息化人才培养规划教材) 普通图书/教材教辅/教材/大学教材/计算机与互联网王鹏//黄焱//安俊秀//张逸琴人民邮电 9787115348036 新华书店全新正版书籍图书保证_可开发票_极速发货支持7天无理由

全新

學源图书专营店

浙江省嘉兴市

平均发货9小时成功完成率95.54%

￥22.60

券

100减20

立即购买加入购物车不属于本条目
全新正版云计算与大数据技术(工业和信息化人才培养规划教材) 王鹏//黄焱//安俊秀//张逸琴 9787115348036 人民邮电本店所售图书，保证正版新书，有个别图片和实书封面不一样，以实书封面为准，最快当天，一般隔天发货。支持7天无理由退换货.开票联系客服

全新

剡溪书局

北京市西城区

平均发货16小时成功完成率92.03%

￥22.64

券

100减20

立即购买加入购物车不属于本条目
【全新正版】云计算与大数据技术(工业和信息化人才培养规划教材) 全新正版图书，支持七天退换，可开具电子发票。

全新

轩天书店

上海市黄浦区

平均发货10小时成功完成率92.16%

￥23.40

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术(工业和信息化人才培养规划教材) 正版图书，可开发票，请放心购买。

全新

淘书宝店

广东省广州市

平均发货7小时成功完成率93.75%

￥24.71

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术(工业和信息化人才培养规划教材) 9787115348036 王鹏//黄焱//安俊秀//张逸琴人民邮电当天发货，全新正版书。新华书店集团直发，凡是套装书，价格异常时，请咨询后下单。

全新

白湘云书社

北京市通州区

平均发货9小时成功完成率89.67%

￥25.10

券

100减20

立即购买加入购物车不属于本条目
云计算与大数据技术(工业和信息化人才培养规划教材) 王鹏//黄焱//安俊秀//张逸琴 9787115348036 人民邮电全新正版书，当天发货。如有套装书（或图片与书名不符），价格异常，可能是单本书的价格。

全新

湘云书店

北京市通州区

平均发货9小时成功完成率93.99%

￥25.10

券

100减20

立即购买加入购物车不属于本条目