大数据技术原理与应用:概念、存储、处理、分析与应用

大数据技术原理与应用:概念、存储、处理、分析与应用
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者:
2015-08
版次: 1
ISBN: 9787115392879
定价: 45.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 250页
字数: 423千字
正文语种: 简体中文
106人买过
  •   大数据作为继云计算、物联网之后IT行业又一颠覆性的技术,备受关注。大数据处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和生活必将产生重大而深远的影响。  大数据时代的到来,迫切需要高校及时建立大数据技术课程体系,为社会培养和输送一大批具备大数据专业素养的高级人才,满足社会对大数据人才日益旺盛的需求。本书定位为大数据技术入门教材,为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术,介绍大数据技术的基本原理和大数据主要应用,帮助读者形成对大数据知识体系及其应用领域的轮廓性认识,为读者在大数据领域“深耕细作”奠定基础、指明方向。在本书的基础上,感兴趣的读者可以通过其他诸如《Hadoop权威指南》等工具书,继续深入学习和实践大数据相关技术。   林子雨,博士,厦门大学计算机科学系老师,中国高校首个“数字教师”的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累,对各个领域知识都有比较深入的了解,有比较宽泛的视野,将相关大数据知识综合成一本适合本科和研究生教学的教材。 第一篇大数据基础第1章大数据概述1.1大数据时代1.1.1第三次信息化浪潮1.1.2信息科技为大数据时代提供技术支撑1.1.3数据产生方式的变革促成大数据时代的来临1.1.4大数据的发展历程1.2大数据的概念1.2.1数据量大1.2.2数据类型繁多1.2.3处理速度快1.2.4价值密度低1.3大数据的影响1.3.1大数据对科学研究的影响1.3.2大数据对思维方式的影响1.3.3大数据对社会发展的影响1.3.4大数据对就业市场的影响1.3.5大数据对人才培养的影响1.4大数据的应用1.5大数据关键技术1.6大数据计算模式1.6.1批处理计算1.6.2流计算1.6.3图计算1.6.4查询分析计算1.7大数据产业1.8大数据与云计算、物联网1.8.1云计算1.8.2物联网1.8.3大数据与云计算、物联网的关系1.9本章小结1.10习题第2章大数据处理架构Hadoop2.1概述2.1.1Hadoop简介2.1.2Hadoop的发展简史2.1.3Hadoop的特性2.1.4Hadoop的应用现状2.2Hadoop的项目结构2.2.1Common2.2.2Avro2.2.3HDFS2.2.4HBase2.2.5MapReduce2.2.6Zookeeper2.2.7Hive2.2.8Pig2.2.9Sqoop2.2.10Chukwa2.3Hadoop的安装与使用2.3.1创建Hadoop用户2.3.2Java的安装2.3.3SSH登录权限设置2.3.4安装单机Hadoop2.3.5Hadoop伪分布式安装2.4本章小结2.5习题第二篇大数据存储第3章Hadoop分布式文件系统3.1分布式文件系统3.1.1计算机集群结构3.1.2分布式文件系统的结构3.1.3分布式文件系统的设计需求3.2HDFS简介3.3HDFS的相关概念3.3.1块3.3.2名称节点和数据节点3.4HDFS体系结构3.4.1概述3.4.2HDFS命名空间管理3.4.3通信协议3.4.4客户端3.4.5HDFS体系结构的局限性3.5HDFS的存储原理3.5.1冗余数据的保存3.5.2数据存取策略3.5.3数据错误与恢复3.6HDFS的数据读写过程3.6.1读数据的过程3.6.2写数据的过程3.7HDFS编程实践3.7.1HDFS常用命令3.7.2HDFS的Web界面3.7.3HDFS常用JavaAPI及应用实例3.8本章小结3.9习题第4章分布式数据库HBase4.1概述4.1.1从BigTable说起4.1.2HBase简介4.1.3HBase与传统关系数据库的对比分析4.2HBase访问接口4.3HBase数据模型4.3.1数据模型概述4.3.2数据模型的相关概念4.3.3数据坐标4.3.4概念视图4.3.5物理视图4.3.6面向列的存储4.4HBase的实现原理4.4.1HBase的功能组件4.4.2表和Region4.4.3Region的定位4.5HBase运行机制4.5.1HBase系统架构4.5.2Region服务器的工作原理4.5.3Store的工作原理4.5.4HLog的工作原理4.6HBase编程实践4.6.1HBase常用的Shell命令4.6.2HBase常用的JavaAPI及应用实例4.7本章小结4.8习题第5章NoSQL数据库5.1NoSQL简介5.2NoSQL兴起的原因5.2.1关系数据库法满足Web2.0的需求5.2.2关系数据库的关键特性在Web2.时代成为"鸡肋"5.3NoSQL与关系数据库的比较5.4NoSQL的四大类型5.4.1键值数据库5.4.2列族数据库5.4.3文档数据库5.4.4图形数据库5.5NoSQL的三大基石5.5.1CAP5.5.2BASE5.5.3最终一致性5.6从NoSQL到NewSQL数据库5.7本章小结5.8习题第6章云数据库6.1云数据库概述6.1.1云计算是云数据库兴起的基础6.1.2云数据库的概念6.1.3云数据库的特性6.1.4云数据库是个性化数据存储需求的理想选择6.1.5云数据库与其他数据库的关系6.2云数据库产品6.2.1云数据库厂商概述6.2.2Amazon的云数据库产品6.2.3Google的云数据库产品6.2.4微软的云数据库产品6.2.5其他云数据库产品6.3云数据库系统架构6.3.1UMP系统概述6.3.2UMP系统架构6.3.3UMP系统功能6.4云数据库实践6.4.1阿里云RDS简介6.4.2RDS中的概念6.4.3购买和使用RDS数据库6.4.4将本地数据库迁移到云端RDS数据库6.5本章小结6.6习题第三篇大数据处理与分析第7章MapReduce7.1概述7.1.1分布式并行编程7.1.2MapReduce模型简介7.1.3Map和Reduce函数7.2MapReduce的工作流程7.2.1工作流程概述7.2.2MapReduce的各个执行阶段7.2.3Shuffle过程详解7.3实例分析:WordCount7.3.1WordCount的程序任务7.3.2WordCount的设计思路7.3.3MapReduce的具体执行过程7.3.4一个WordCount执行过程的实例7.4MapReduce的具体应用7.4.1MapReduce在关系代数运算中的应用7.4.2分组与聚合运算7.4.3矩阵-向量乘法7.4.4矩阵乘法7.5MapReduce编程实践7.5.1任务要求7.5.2编写Map处理逻辑7.5.3编写Reduce处理逻辑7.5.4编写main方法7.5.5编译打包代码以及运行程序7.6本章小结7.7习题第8章流计算8.1流计算概述8.1.1静态数据和流数据8.1.2批量计算和实时计算8.1.3流计算的概念8.1.4流计算与Hadoop8.1.5流计算框架8.2流计算的处理流程8.2.1概述8.2.2数据实时采集8.2.3数据实时计算8.2.4实时查询服务8.3流计算的应用8.3.1应用场景1:实时分析8.3.2应用场景2:实时交通8.4开源流计算框架Storm8.4.1Storm简介
  • 内容简介:
      大数据作为继云计算、物联网之后IT行业又一颠覆性的技术,备受关注。大数据处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和生活必将产生重大而深远的影响。  大数据时代的到来,迫切需要高校及时建立大数据技术课程体系,为社会培养和输送一大批具备大数据专业素养的高级人才,满足社会对大数据人才日益旺盛的需求。本书定位为大数据技术入门教材,为读者搭建起通向“大数据知识空间”的桥梁和纽带。本书将系统梳理总结大数据相关技术,介绍大数据技术的基本原理和大数据主要应用,帮助读者形成对大数据知识体系及其应用领域的轮廓性认识,为读者在大数据领域“深耕细作”奠定基础、指明方向。在本书的基础上,感兴趣的读者可以通过其他诸如《Hadoop权威指南》等工具书,继续深入学习和实践大数据相关技术。
  • 作者简介:
      林子雨,博士,厦门大学计算机科学系老师,中国高校首个“数字教师”的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累,对各个领域知识都有比较深入的了解,有比较宽泛的视野,将相关大数据知识综合成一本适合本科和研究生教学的教材。
  • 目录:
    第一篇大数据基础第1章大数据概述1.1大数据时代1.1.1第三次信息化浪潮1.1.2信息科技为大数据时代提供技术支撑1.1.3数据产生方式的变革促成大数据时代的来临1.1.4大数据的发展历程1.2大数据的概念1.2.1数据量大1.2.2数据类型繁多1.2.3处理速度快1.2.4价值密度低1.3大数据的影响1.3.1大数据对科学研究的影响1.3.2大数据对思维方式的影响1.3.3大数据对社会发展的影响1.3.4大数据对就业市场的影响1.3.5大数据对人才培养的影响1.4大数据的应用1.5大数据关键技术1.6大数据计算模式1.6.1批处理计算1.6.2流计算1.6.3图计算1.6.4查询分析计算1.7大数据产业1.8大数据与云计算、物联网1.8.1云计算1.8.2物联网1.8.3大数据与云计算、物联网的关系1.9本章小结1.10习题第2章大数据处理架构Hadoop2.1概述2.1.1Hadoop简介2.1.2Hadoop的发展简史2.1.3Hadoop的特性2.1.4Hadoop的应用现状2.2Hadoop的项目结构2.2.1Common2.2.2Avro2.2.3HDFS2.2.4HBase2.2.5MapReduce2.2.6Zookeeper2.2.7Hive2.2.8Pig2.2.9Sqoop2.2.10Chukwa2.3Hadoop的安装与使用2.3.1创建Hadoop用户2.3.2Java的安装2.3.3SSH登录权限设置2.3.4安装单机Hadoop2.3.5Hadoop伪分布式安装2.4本章小结2.5习题第二篇大数据存储第3章Hadoop分布式文件系统3.1分布式文件系统3.1.1计算机集群结构3.1.2分布式文件系统的结构3.1.3分布式文件系统的设计需求3.2HDFS简介3.3HDFS的相关概念3.3.1块3.3.2名称节点和数据节点3.4HDFS体系结构3.4.1概述3.4.2HDFS命名空间管理3.4.3通信协议3.4.4客户端3.4.5HDFS体系结构的局限性3.5HDFS的存储原理3.5.1冗余数据的保存3.5.2数据存取策略3.5.3数据错误与恢复3.6HDFS的数据读写过程3.6.1读数据的过程3.6.2写数据的过程3.7HDFS编程实践3.7.1HDFS常用命令3.7.2HDFS的Web界面3.7.3HDFS常用JavaAPI及应用实例3.8本章小结3.9习题第4章分布式数据库HBase4.1概述4.1.1从BigTable说起4.1.2HBase简介4.1.3HBase与传统关系数据库的对比分析4.2HBase访问接口4.3HBase数据模型4.3.1数据模型概述4.3.2数据模型的相关概念4.3.3数据坐标4.3.4概念视图4.3.5物理视图4.3.6面向列的存储4.4HBase的实现原理4.4.1HBase的功能组件4.4.2表和Region4.4.3Region的定位4.5HBase运行机制4.5.1HBase系统架构4.5.2Region服务器的工作原理4.5.3Store的工作原理4.5.4HLog的工作原理4.6HBase编程实践4.6.1HBase常用的Shell命令4.6.2HBase常用的JavaAPI及应用实例4.7本章小结4.8习题第5章NoSQL数据库5.1NoSQL简介5.2NoSQL兴起的原因5.2.1关系数据库法满足Web2.0的需求5.2.2关系数据库的关键特性在Web2.时代成为"鸡肋"5.3NoSQL与关系数据库的比较5.4NoSQL的四大类型5.4.1键值数据库5.4.2列族数据库5.4.3文档数据库5.4.4图形数据库5.5NoSQL的三大基石5.5.1CAP5.5.2BASE5.5.3最终一致性5.6从NoSQL到NewSQL数据库5.7本章小结5.8习题第6章云数据库6.1云数据库概述6.1.1云计算是云数据库兴起的基础6.1.2云数据库的概念6.1.3云数据库的特性6.1.4云数据库是个性化数据存储需求的理想选择6.1.5云数据库与其他数据库的关系6.2云数据库产品6.2.1云数据库厂商概述6.2.2Amazon的云数据库产品6.2.3Google的云数据库产品6.2.4微软的云数据库产品6.2.5其他云数据库产品6.3云数据库系统架构6.3.1UMP系统概述6.3.2UMP系统架构6.3.3UMP系统功能6.4云数据库实践6.4.1阿里云RDS简介6.4.2RDS中的概念6.4.3购买和使用RDS数据库6.4.4将本地数据库迁移到云端RDS数据库6.5本章小结6.6习题第三篇大数据处理与分析第7章MapReduce7.1概述7.1.1分布式并行编程7.1.2MapReduce模型简介7.1.3Map和Reduce函数7.2MapReduce的工作流程7.2.1工作流程概述7.2.2MapReduce的各个执行阶段7.2.3Shuffle过程详解7.3实例分析:WordCount7.3.1WordCount的程序任务7.3.2WordCount的设计思路7.3.3MapReduce的具体执行过程7.3.4一个WordCount执行过程的实例7.4MapReduce的具体应用7.4.1MapReduce在关系代数运算中的应用7.4.2分组与聚合运算7.4.3矩阵-向量乘法7.4.4矩阵乘法7.5MapReduce编程实践7.5.1任务要求7.5.2编写Map处理逻辑7.5.3编写Reduce处理逻辑7.5.4编写main方法7.5.5编译打包代码以及运行程序7.6本章小结7.7习题第8章流计算8.1流计算概述8.1.1静态数据和流数据8.1.2批量计算和实时计算8.1.3流计算的概念8.1.4流计算与Hadoop8.1.5流计算框架8.2流计算的处理流程8.2.1概述8.2.2数据实时采集8.2.3数据实时计算8.2.4实时查询服务8.3流计算的应用8.3.1应用场景1:实时分析8.3.2应用场景2:实时交通8.4开源流计算框架Storm8.4.1Storm简介
查看详情
12
系列丛书 / 更多
大数据技术原理与应用:概念、存储、处理、分析与应用
MySQL数据库基础与实例教程(工业和信息化普通高等教育“十二五”规划教材)
孔祥盛 编
大数据技术原理与应用:概念、存储、处理、分析与应用
MATLAB实用教程(第2版)
张磊、郭莲英、丛滨 著
大数据技术原理与应用:概念、存储、处理、分析与应用
Access数据库实用教程(第2版)/21世纪高等教育计算机规划教材
郑小玲、张宏、卢山 著
大数据技术原理与应用:概念、存储、处理、分析与应用
TCP/IP协议及其应用/21世纪高等教育计算机规划教材
林成浴 著;林成浴 编
大数据技术原理与应用:概念、存储、处理、分析与应用
数据结构(Java语言描述)
罗福强 杨剑 刘英 著
大数据技术原理与应用:概念、存储、处理、分析与应用
嵌入式系统设计大学教程(第2版)
许大琴、万福、谢佑波 著
大数据技术原理与应用:概念、存储、处理、分析与应用
计算机网络技术基础(第2版)
周舸、李昕昕 著
大数据技术原理与应用:概念、存储、处理、分析与应用
Access 2010数据库教程 微课版
苏林萍、谢萍、周蓉 著
大数据技术原理与应用:概念、存储、处理、分析与应用
多媒体技术及应用
李小英 著
大数据技术原理与应用:概念、存储、处理、分析与应用
Access2010数据库应用技术/21世纪高等教育计算机规划教材
刘卫国 编
大数据技术原理与应用:概念、存储、处理、分析与应用
HTML5+CSS3+JavaScript网站开发实用技术(第2版)
任永功、唐永华、褚芸芸、刘德山 著
大数据技术原理与应用:概念、存储、处理、分析与应用
计算机网络技术与应用教程(第2版)
张基温、张展赫 著