大数据处理技术与应用

大数据处理技术与应用
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者: ,
2020-08
版次: 1
ISBN: 9787302553731
装帧: 其他
开本: 16开
纸张: 胶版纸
7人买过
  • 《大数据处理技术与应用》对大数据的概念、挖掘、应用进行了系统的介绍,并且配备了相关的案例以及实际操作过程。这种理论与实践相结合的方式能够极大地帮助读者掌握大数据领域的相关理论知识。 《大数据处理技术与应用》共分为10章,主要内容包含互联网大数据概述、互联网大数据采集与获取实战要领、做好数据预处理的实战方法、数据相关性分析与回归分析的黄金法则、如何利用关联规则进行大数据挖掘、大数据分析中的四种常见分类算法、大数据分析中的四种常见聚类算法,以及自组织神经网络算法与人工神经网络算法、互联网大数据分析应用——产品个性化推荐系统、大数据分析在具体行业中的应用等。 《大数据处理技术与应用》知识体系完善且适用,可作为高等院校大数据、人工智能等相关专业课程的教材,也可作为从事数据挖掘、机器学习工作以及其他相关工程技术工作人员的参考书。 彭进香,湖南应用技术学院信息工程学院院长,副教授,市级优秀教师,“十三五”校级首批重点建设学科——计算机应用技术学科建设负责人。近年来主持和参与省、市级教研、科研项目20多项,指导省大学生研究性学习和创新性实验计划项目2项,发表研究论文20多篇,主编和参编教材6部,专利1项,软件著作权2项。对互联网企业从事数据挖掘有较深的研究,在大数据挖掘、分析及实战场景应用方面具有深厚经验。 第1章  互联网大数据概述 1

    1.1  认识大数据 1

    1.1.1  大数据的定义 1

    1.1.2  大数据的特征 2

    1.1.3  未来十年大数据分析的

    发展趋势 3

    1.2  常用大数据处理、分析工具介绍 4

    1.2.1  大数据的存储工具 4

    1.2.2  大数据的软件开发工具 6

    1.2.3  大数据的挖掘工具 7

    1.2.4  大数据的可视化工具 9

    小结 11

    第2章  互联网大数据采集与

    获取实战要领 12

    2.1  互联网大数据采集与处理技术

    概述 12

    2.1.1  数据采集的基本流程与

    关键技术 12

    2.1.2  数据处理的基本流程与

    关键技术 14

    2.2  Web页面数据获取实战方法 15

    2.2.1  Jsoup技术与页面数据

    获取 15

    2.2.2  应对特定领域的

    Deep Web数据获取技术 20

    2.3  利用爬虫抓取互联网大数据

    实战技巧 22

    2.3.1  Python爬虫工作原理 22

    2.3.2  利用HtmlParser实现

    网页链接的提取实战 25

    小结 31

    第3章  做好数据预处理的实战

    方法 33

    3.1  数据预处理概述 33

    3.1.1  数据预处理的目的 33

    3.1.2  数据预处理的方法 33

    3.2  从问题分析到数据清洗实战

    策略 35

    3.2.1  数据清洗的步骤 36

    3.2.2  缺失值的识别与处理

    技巧 38

    3.2.3  异常值的判断、检验与

    处理 40

    3.3  数据集成与数据转换实战方法 44

    3.3.1  数据集成常见方法 44

    3.3.2  数据转换过程中的

    离散化 47

    3.4  数据的特征选择 49

    3.4.1  常用数据特征选择方法 49

    3.4.2  Relief算法与费希尔

    判别法的应用 57

    3.5  数据预处理实战案例分析 60

    小结 69

    第4章  数据相关性分析与回归    

    分析的黄金法则 70

    4.1  什么是数据集 70

    4.1.1  数据集的概念与常见

    类型 70

    4.1.2  高效进行数据度量的

    实战技巧 72

    4.2  做好数据相关性分析 75

    4.2.1  进行数据相关性分析的

    作用 75

    4.2.2  常用的数据相关分析

    方法 75

    4.3  做好数据回归分析实战要领 82

    4.3.1  数据回归分析方法概述 83

    4.3.2  数据回归分析所能

    解决的实际问题 85

    小结 90

    第5章  如何利用关联规则进行

    大数据挖掘 91

    5.1  关联规则 91

    5.1.1  什么是关联规则 91

    5.1.2  关联规则挖掘的应用

    场景 91

    5.2  关联规则挖掘实战流程分析 94

    5.2.1  关联规则常见分类与

    四个基本属性 94

    5.2.2  快速找出最大高频

    项目组的实战技巧 95

    5.3  关联规则发掘中重要的Apriori

    算法 97

    5.3.1  Apriori算法的基本原理 97

    5.3.2  Apriori算法运行的

    基本流程 99

    5.4  针对Apriori算法缺点的

    其他关联规则挖掘算法 101

    5.4.1  Apriori算法的两大缺点 101

    5.4.2  基于划分规则的算法 101

    5.4.3  FP-Growth算法 102

    小结 118

    第6章  大数据分析中的四种常见

    分类算法 119

    6.1  分类算法概述 119

    6.1.1  有关分类算法的

    基本概念 119

    6.1.2  分类算法的常见

    应用场景 120

    6.2  KNN算法 124

    6.2.1  KNN算法的工作原理与

    特点 124

    6.2.2  快速找到最优k值的

    实用策略 125

    6.3  决策树与随机森林算法 127

    6.3.1  决策树算法 127

    6.3.2  Bagging与Boosting的

    区别 134

    6.3.3  随机森林分类算法的

    优势与应用场景 135

    6.4  朴素贝叶斯分类算法 141

    6.4.1  朴素贝叶斯分类算法

    运行原理分析 141

    6.4.2  贝叶斯网络 144

    6.4.3  贝叶斯决策理论 148

    6.5  支持向量机 153

    6.5.1  支持向量机的基本思想

    与特点 153

    6.5.2  最优分类面和广义最优

    分类面 154

    6.5.3  非线性支持向量机与

    核函数 157

    小结 159

    第7章  大数据分析中的四种常见 

    聚类算法 160

    7.1  大数据分析聚类算法概述 160

    7.1.1  聚类分析的相关概念及

    应用场景 160

    7.1.2  聚类算法运行基础:簇与

    距离度量 162

    7.2  K均值聚类算法 167

    7.2.1  基于划分的K均值聚类

    算法 167

    7.2.2  二分K均值聚类算

    法运行原理 168

    7.3  基于密度的DBSCAN聚类

    方法 170

    7.3.1  DBSCAN算法原理

    解析 170

    7.3.2  DBSCAN算法的基本

    运行流程 171

    7.4  高斯混合模型聚类算法 173

    7.4.1  GMM算法原理分析 174

    7.4.2  GMM的最大期望算法 176

    7.5  层次聚类算法 179

    7.5.1  层次聚类算法的算法

    思想 179

    7.5.2  层次聚类算法的运行

    原理 179

    小结 182

    第8章  自组织神经网络算法与     

    人工神经网络算法 183

    8.1  自组织神经网络算法 183

    8.1.1  什么是自组织神经网络 183

    8.1.2  自组织映射算法运行

    原理 183

    8.1.3  进行SOM网络拓扑的

    实战方法 184

    8.2  人工神经网络算法 187

    8.2.1  神经元与人工神经网络 187

    8.2.2  BP算法的网络结构与

    反向传播 189

    小结 192

    第9章  互联网大数据分析应用——   

    产品个性化推荐系统 193

    9.1  推荐算法基本逻辑与常用

    推荐算法类型 193

    9.1.1  推荐算法的基本运行

    逻辑 193

    9.1.2  五种常用的推荐算法 196

    9.2  打造互联网产品个性化推荐

    引擎实战攻略 198

    9.2.1  基于内容关联的个性化

    推荐系统打造方法 198

    9.2.2  基于用户行为的协同

    过滤算法实战流程 200

    9.2.3  协同过滤推荐算法在电商

    个性化推荐系统中的应用

    法则 205

    9.3  经典互联网产品个性化推荐

    系统案例分析 208

    9.3.1  网易云音乐推荐算法

    机制分析 208

    9.3.2  今日头条推荐算法原理

    深度解析 212

    小结 218

    第10章  大数据分析在具体

    行业中的应用 219

    10.1  大数据分析在商业银行领域的

    应用 219

    10.1.1  利用大数据分析显著

    提升银行精准营销效率

    实战方法 219

    10.1.2  如何利用大数据分析

    提升金融风控安全性 222

    10.1.3  利用大数据分析降低

    信用卡套现概率实战

    技巧 225

    10.2  大数据分析在交通领域的

    应用 230

    10.2.1  公共交通利用出行数据

    分析合理分配运力

    实战策略 230

    10.2.2  大数据分析实现城市的

    智能交通 233

    10.3  大数据分析在安防领域的

    应用 234

    10.3.1  大数据分析对实现快速

    安检过闸的提升作用 234

    10.3.2  家庭安防系统中的

    大数据挖掘应用 235

    小结 236

    参考文献 237
  • 内容简介:
    《大数据处理技术与应用》对大数据的概念、挖掘、应用进行了系统的介绍,并且配备了相关的案例以及实际操作过程。这种理论与实践相结合的方式能够极大地帮助读者掌握大数据领域的相关理论知识。 《大数据处理技术与应用》共分为10章,主要内容包含互联网大数据概述、互联网大数据采集与获取实战要领、做好数据预处理的实战方法、数据相关性分析与回归分析的黄金法则、如何利用关联规则进行大数据挖掘、大数据分析中的四种常见分类算法、大数据分析中的四种常见聚类算法,以及自组织神经网络算法与人工神经网络算法、互联网大数据分析应用——产品个性化推荐系统、大数据分析在具体行业中的应用等。 《大数据处理技术与应用》知识体系完善且适用,可作为高等院校大数据、人工智能等相关专业课程的教材,也可作为从事数据挖掘、机器学习工作以及其他相关工程技术工作人员的参考书。
  • 作者简介:
    彭进香,湖南应用技术学院信息工程学院院长,副教授,市级优秀教师,“十三五”校级首批重点建设学科——计算机应用技术学科建设负责人。近年来主持和参与省、市级教研、科研项目20多项,指导省大学生研究性学习和创新性实验计划项目2项,发表研究论文20多篇,主编和参编教材6部,专利1项,软件著作权2项。对互联网企业从事数据挖掘有较深的研究,在大数据挖掘、分析及实战场景应用方面具有深厚经验。
  • 目录:
    第1章  互联网大数据概述 1

    1.1  认识大数据 1

    1.1.1  大数据的定义 1

    1.1.2  大数据的特征 2

    1.1.3  未来十年大数据分析的

    发展趋势 3

    1.2  常用大数据处理、分析工具介绍 4

    1.2.1  大数据的存储工具 4

    1.2.2  大数据的软件开发工具 6

    1.2.3  大数据的挖掘工具 7

    1.2.4  大数据的可视化工具 9

    小结 11

    第2章  互联网大数据采集与

    获取实战要领 12

    2.1  互联网大数据采集与处理技术

    概述 12

    2.1.1  数据采集的基本流程与

    关键技术 12

    2.1.2  数据处理的基本流程与

    关键技术 14

    2.2  Web页面数据获取实战方法 15

    2.2.1  Jsoup技术与页面数据

    获取 15

    2.2.2  应对特定领域的

    Deep Web数据获取技术 20

    2.3  利用爬虫抓取互联网大数据

    实战技巧 22

    2.3.1  Python爬虫工作原理 22

    2.3.2  利用HtmlParser实现

    网页链接的提取实战 25

    小结 31

    第3章  做好数据预处理的实战

    方法 33

    3.1  数据预处理概述 33

    3.1.1  数据预处理的目的 33

    3.1.2  数据预处理的方法 33

    3.2  从问题分析到数据清洗实战

    策略 35

    3.2.1  数据清洗的步骤 36

    3.2.2  缺失值的识别与处理

    技巧 38

    3.2.3  异常值的判断、检验与

    处理 40

    3.3  数据集成与数据转换实战方法 44

    3.3.1  数据集成常见方法 44

    3.3.2  数据转换过程中的

    离散化 47

    3.4  数据的特征选择 49

    3.4.1  常用数据特征选择方法 49

    3.4.2  Relief算法与费希尔

    判别法的应用 57

    3.5  数据预处理实战案例分析 60

    小结 69

    第4章  数据相关性分析与回归    

    分析的黄金法则 70

    4.1  什么是数据集 70

    4.1.1  数据集的概念与常见

    类型 70

    4.1.2  高效进行数据度量的

    实战技巧 72

    4.2  做好数据相关性分析 75

    4.2.1  进行数据相关性分析的

    作用 75

    4.2.2  常用的数据相关分析

    方法 75

    4.3  做好数据回归分析实战要领 82

    4.3.1  数据回归分析方法概述 83

    4.3.2  数据回归分析所能

    解决的实际问题 85

    小结 90

    第5章  如何利用关联规则进行

    大数据挖掘 91

    5.1  关联规则 91

    5.1.1  什么是关联规则 91

    5.1.2  关联规则挖掘的应用

    场景 91

    5.2  关联规则挖掘实战流程分析 94

    5.2.1  关联规则常见分类与

    四个基本属性 94

    5.2.2  快速找出最大高频

    项目组的实战技巧 95

    5.3  关联规则发掘中重要的Apriori

    算法 97

    5.3.1  Apriori算法的基本原理 97

    5.3.2  Apriori算法运行的

    基本流程 99

    5.4  针对Apriori算法缺点的

    其他关联规则挖掘算法 101

    5.4.1  Apriori算法的两大缺点 101

    5.4.2  基于划分规则的算法 101

    5.4.3  FP-Growth算法 102

    小结 118

    第6章  大数据分析中的四种常见

    分类算法 119

    6.1  分类算法概述 119

    6.1.1  有关分类算法的

    基本概念 119

    6.1.2  分类算法的常见

    应用场景 120

    6.2  KNN算法 124

    6.2.1  KNN算法的工作原理与

    特点 124

    6.2.2  快速找到最优k值的

    实用策略 125

    6.3  决策树与随机森林算法 127

    6.3.1  决策树算法 127

    6.3.2  Bagging与Boosting的

    区别 134

    6.3.3  随机森林分类算法的

    优势与应用场景 135

    6.4  朴素贝叶斯分类算法 141

    6.4.1  朴素贝叶斯分类算法

    运行原理分析 141

    6.4.2  贝叶斯网络 144

    6.4.3  贝叶斯决策理论 148

    6.5  支持向量机 153

    6.5.1  支持向量机的基本思想

    与特点 153

    6.5.2  最优分类面和广义最优

    分类面 154

    6.5.3  非线性支持向量机与

    核函数 157

    小结 159

    第7章  大数据分析中的四种常见 

    聚类算法 160

    7.1  大数据分析聚类算法概述 160

    7.1.1  聚类分析的相关概念及

    应用场景 160

    7.1.2  聚类算法运行基础:簇与

    距离度量 162

    7.2  K均值聚类算法 167

    7.2.1  基于划分的K均值聚类

    算法 167

    7.2.2  二分K均值聚类算

    法运行原理 168

    7.3  基于密度的DBSCAN聚类

    方法 170

    7.3.1  DBSCAN算法原理

    解析 170

    7.3.2  DBSCAN算法的基本

    运行流程 171

    7.4  高斯混合模型聚类算法 173

    7.4.1  GMM算法原理分析 174

    7.4.2  GMM的最大期望算法 176

    7.5  层次聚类算法 179

    7.5.1  层次聚类算法的算法

    思想 179

    7.5.2  层次聚类算法的运行

    原理 179

    小结 182

    第8章  自组织神经网络算法与     

    人工神经网络算法 183

    8.1  自组织神经网络算法 183

    8.1.1  什么是自组织神经网络 183

    8.1.2  自组织映射算法运行

    原理 183

    8.1.3  进行SOM网络拓扑的

    实战方法 184

    8.2  人工神经网络算法 187

    8.2.1  神经元与人工神经网络 187

    8.2.2  BP算法的网络结构与

    反向传播 189

    小结 192

    第9章  互联网大数据分析应用——   

    产品个性化推荐系统 193

    9.1  推荐算法基本逻辑与常用

    推荐算法类型 193

    9.1.1  推荐算法的基本运行

    逻辑 193

    9.1.2  五种常用的推荐算法 196

    9.2  打造互联网产品个性化推荐

    引擎实战攻略 198

    9.2.1  基于内容关联的个性化

    推荐系统打造方法 198

    9.2.2  基于用户行为的协同

    过滤算法实战流程 200

    9.2.3  协同过滤推荐算法在电商

    个性化推荐系统中的应用

    法则 205

    9.3  经典互联网产品个性化推荐

    系统案例分析 208

    9.3.1  网易云音乐推荐算法

    机制分析 208

    9.3.2  今日头条推荐算法原理

    深度解析 212

    小结 218

    第10章  大数据分析在具体

    行业中的应用 219

    10.1  大数据分析在商业银行领域的

    应用 219

    10.1.1  利用大数据分析显著

    提升银行精准营销效率

    实战方法 219

    10.1.2  如何利用大数据分析

    提升金融风控安全性 222

    10.1.3  利用大数据分析降低

    信用卡套现概率实战

    技巧 225

    10.2  大数据分析在交通领域的

    应用 230

    10.2.1  公共交通利用出行数据

    分析合理分配运力

    实战策略 230

    10.2.2  大数据分析实现城市的

    智能交通 233

    10.3  大数据分析在安防领域的

    应用 234

    10.3.1  大数据分析对实现快速

    安检过闸的提升作用 234

    10.3.2  家庭安防系统中的

    大数据挖掘应用 235

    小结 236

    参考文献 237
查看详情
12
相关图书 / 更多
大数据处理技术与应用
大数据驱动的突发事件情报感知及快速响应研究
唐明伟,庄玉良
大数据处理技术与应用
大数据处理技术基础与应用(Hadoop+Spark)
许桂秋 孙海民 胡贵恒
大数据处理技术与应用
大数据十讲 周烜 陈志广
周烜 陈志广
大数据处理技术与应用
大数据财务分析
李峰
大数据处理技术与应用
大数据时代的营销管理创新研究
高芳 著
大数据处理技术与应用
大数据警务的崛起
(美)安德鲁.格思里.弗格森
大数据处理技术与应用
大数据侦查法治化研究
彭俊磊
大数据处理技术与应用
大数据时代思想政治教育创新发展研究
彭晓宽 著
大数据处理技术与应用
大数据背景下公众参与环境治理的程度评估与作用机制研究
史亚东
大数据处理技术与应用
大数据医疗:从即时检测设备进行解析
(英)波利亚·阿梅里安,(英)特鲁迪·朗,(英)弗朗索瓦·范·洛格伦伯格
大数据处理技术与应用
大数据可视化编程和应用
倪振松 胡煜华 朱家全 主编 谢岳富 陈建平 副主编
大数据处理技术与应用
大数据财务与会计应用
周忠宝 著;樊斌、樊斌、周忠宝 编
您可能感兴趣 / 更多
大数据处理技术与应用
HTML5+CSS+JavaScript网页设计与制作(高等院校“十三五”应用技能培养规划教材·
彭进香、张茂红、王玉娟、叶娟、孙秀娟 著
大数据处理技术与应用
Excel物流应用教程
彭进香 编