大数据测试技术数据采集、分析与测试实践（在线实验+在线自测）

作者: 刘攀

出版社: 人民邮电出版社

出版时间: 2018-09

版次: 1

ISBN: 9787115489531

定价: 49.80

装帧: 平装

开本: 16开

纸张: 胶版纸

分类: 教材教辅考试>教材>大学教材>工程技术

58人买过

本书从工程角度出发，阐述了运用大数据技术进行软件测试的方法和实现过程。全书共11章，介绍了大数据测试思维、手机联网数据的收集方法、数据格式的转换方法、大数据的处理方法、软件缺陷挖掘技术及实践项目的应用等。本书第1章介绍了大数据的测试方法和思维方式，随后每一章都通过案例来讲解大数据技术的相关理论及其测试应用。除第1章外，每章*后都提供了思考题来帮助读者回顾和巩固本章的学习内容，本书*后还提供了思考题的参考答案。同时，本书对每一个案例进行了详细图例展示和讲解。刘攀，男，博士，副教授，上海商学院信息与计算机学院计算机系专业负责人，美国德克萨斯大学达拉斯分校的访问学者，上海协同计算与信息服务专委会成员，上海市计算机软件评测重点实验室研究员（兼职）。曾主持和参与省部级以上课题10项，在《ACM SIGSOFT Software Engineering Notes》《IJDSN》《JCST》《IJPE》《软件学报》《计算机学报》等学术杂志及QRS、ICFEM、TASE、ATS、PRDC、ICPCA、WCICA、ICIS、SPND等国际会议上发表学术论文30余篇。目前从事计算机类课程的教学，主要承担软件测试、大数据分析及可视化、软件工程、程序设计基础、高级程序设计等课程。第 1章　大数据测试的思维　1

1.1　规律是否存在　1

1.2　大数据的背后　3

1.3　大数据测试方法　4

1.4　目的及组织结构　5

第 2章　大数据收集概述　7

2.1　案例介绍　7

2.2　原理及方法　7

2.3　环境配置　8

2.3.1　配置无线网　8

2.3.2　安装分析软件　9

2.4　数据采集　10

2.4.1　软件连接　10

2.4.2　信息显示　11

2.4.3　数据包的存储　11

2.5　同步操作　12

2.6　小结　14

【思考题】　14

第3章　网络数据的采集与分析　15

3.1　物理连接及Wireshark软件的常用操作　15

3.1.1　物理连接　15

3.1.2　Wireshark软件的打开方式　15

3.1.3　构建网络　17

3.1.4　Wireshark软件功能介绍　18

3.2　数据包的采集　18

3.2.1　数据的收集　18

3.2.2　数据的存储和打开　20

3.3　数据包的自动抓取　22

3.3.1　背景介绍　22

3.3.2　脚本录制　23

3.3.3　脚本执行　24

3.4　数据包分析　25

3.4.1　数据包的分析方法　25

3.4.2　数据获取　25

3.4.3　数据包的数量　28

3.4.4　数据分析　28

3.5　小结　32

【思考题】　32

第4章　数据格式转换及Python编程　34

4.1　原理及方法　34

4.1.1　pyshark介绍　34

4.1.2　FileCapture和LiveCapture　35

4.1.3　Python基础语法　37

4.2　Python安装及配置　37

4.2.1　Python安装　37

4.2.2　配置　38

4.2.3　pyshark包下载　39

4.2.4　pyshark包安装　40

4.2.5　安装支撑文件　41

4.3　Python基础学习　42

4.3.1　Python的命令行演示　42

4.3.2　创建并运行.py文件　42

4.3.3　Python出错演示　42

4.3.4　Python注释　43

4.3.5　一行多语句　43

4.3.6　输出换行　43

4.3.7　缩进　44

4.3.8　Python帮助　44

4.4　Notepad环境　45

4.4.1　Notepad++软件　45

4.4.2　运行设置　45

4.4.3　多个变量赋值　46

4.4.4　Python的标准数据类型　47

4.4.5　删除对象的引用　50

4.4.6　Python语言的运算符　50

4.4.7　Python条件语句　52

4.5　Python编程实践　52

4.5.1　汉诺塔问题　52

4.5.2　奇偶数分离　53

4.5.3　Python中in的应用　54

4.5.4　循环使用else语句编程　54

4.6　Python面向对象　54

4.6.1　面向对象介绍　54

4.6.2　self代表类的对象　55

4.6.3　类的实例化　56

4.6.4　Python内置类属性　57

4.6.5　Python对象的销毁（垃圾回收）　57

4.6.6　类的继承　58

4.6.7　方法重写　59

4.6.8　运算符重载　60

4.6.9　类属性与方法　60

4.7　Python的集成开发环境　61

4.7.1　PyCharm软件　61

4.7.2　Jupyter软件　67

4.8　pcapng文件到CSV文件　78

4.8.1　编写代码　78

4.8.2　代码运行　80

4.8.3　转换文件　80

4.9　小结　80

【思考题】　81

第5章　Splunk软件初探　83

5.1　Splunk简介　83

5.1.1　Splunk的架构　84

5.1.2　Splunk indexer集群架构　85

5.1.3　Splunk search集群架构　86

5.1.4　SPL语言　86

5.2　Splunk的安装与配置　90

5.2.1　安装　90

5.2.2　配置　92

5.3　Splunk数据分析　94

5.3.1　构造SPL语句　94

5.3.2　确定列名　95

5.3.3　Splunk的简单操作　95

5.4　SPL高级编程　97

5.4.1　自动生成数据　97

5.4.2　构造随机数　99

5.4.3　数据统计　100

5.4.4　Splunk处理过程　101

5.4.5　报告再编辑　102

5.5　小结　102

【思考题】　102

第6章　Splunk平台实践　105

6.1　Splunk的基础命令　105

6.1.1　Search（搜索）命令　105

6.1.2　SPL的命令分类　107

6.1.3　常用命令详解　115

6.2　Splunk软件的自动数据生成　119

6.2.1　生成数据　119

6.2.2　删除无用数据　121

6.2.3　构造随机数据　121

6.2.4　创建对数列和指数列　122

6.3　可视化展示　123

6.3.1　可视化图　123

6.3.2　格式设置　123

6.3.3　保存和导入　123

6.3.4　图形修改　125

6.4　官方帮助文档　126

6.4.1　SPL语言目录　126

6.4.2　命令分析实例　133

6.5　应用分析实例　137

6.5.1　案例　137

6.5.2　案例分析　137

6.5.3　创建记录　137

6.5.4　增加统计值　138

6.5.5　创建test字段　138

6.5.6　错误解决　139

【思考题】　140

第7章　SPL案例编程　142

7.1　stats命令学习　142

7.2　数据下载和导入　144

7.2.1　数据下载　144

7.2.2　数据导入　145

7.3　问题描述及分析　148

7.3.1　自动生成的SPL语句　148

7.3.2　要求及分析　149

7.3.3　解决方案　150

【思考题】　151

第8章　数据导入及错误分析　153

8.1　背景知识介绍　153

8.1.1　时间戳　153

8.1.2　数据　153

8.2　数据选择　154

8.2.1　导入数据入口　154

8.2.2　数据类型　154

8.3　时间戳错误　155

8.3.1　手机联网数据导入　155

8.3.2　时间戳错误　157

8.4　问题分析及解决　157

8.4.1　问题分析　157

8.4.2　问题解决　158

8.5　导入配置　159

8.5.1　源类型设置　159

8.5.2　索引设置　160

8.5.3　导入成功及预览　161

8.5.4　数据搜索及分析　162

【思考题】　163

第9章　联网效率分析　164

9.1　原理及方法　164

9.1.1　效率分析　164

9.1.2　性能测试方法　164

9.2　常用分析命令　164

9.2.1　sort命令　164

9.2.2　timechart命令　165

9.2.3　outlier命令　166

9.2.4　eventstats命令　167

9.3　数据导入和处理　167

9.3.1　数据导入　167

9.3.2　从Wireshark代码到Splunk代码　167

9.3.3　字段调整　169

9.3.4　时间排序　171

9.3.5　数据分组　172

9.4　分析联网效率　175

9.4.1　创建count字段　175

9.4.2　数据过滤　176

9.4.3　数据分析　176

【思考题】　180

第 10章　Linux部署　182

10.1　原理及方法　182

10.1.1　虚拟机　182

10.1.2　数据传输　183

10.2　软件安装及运行　184

10.2.1　在虚拟机中安装Linux系统　184

10.2.2　在CentOS 7系统中安装Splunk平台　185

10.2.3　启动Splunk　186

10.2.4　Splunk的运行演示　187

10.3　网络配置　189

10.3.1　Ubuntu安装　189

10.3.2　VMware网络设置　190

10.3.3　网络验证　191

10.3.4　Ubuntu系统的网络配置　192

10.3.5　运行Splunk　193

【思考题】　196

第 11章　大数据测试实践　197

11.1　监测数据导入　197

11.1.1　运行Splunk　197

11.1.2　Web日志分析　197

11.1.3　Xftp连接　198

11.1.4　monitor方式　199

11.1.5　monitor数据导入　199

11.1.6　数据分析　203

11.1.7　查看文件和目录　204

11.1.8　小结　205

11.2　数据缺陷挖掘　205

11.2.1　方法与思路　205

11.2.2　状态码　206

11.2.3　启动Splunk服务　209

11.2.4　网络联通验证　210

11.2.5　运行Splunk　212

11.2.6　返回操作　212

11.2.7　数据挖掘及分析　214

11.2.8　可视化展示　217

11.3　非结构化数据处理　220

11.3.1　非结构化数据　220

11.3.2　正则表达式　221

11.3.3　数据处理　226

【思考题】　240

思考题答案　242
内容简介:
本书从工程角度出发，阐述了运用大数据技术进行软件测试的方法和实现过程。全书共11章，介绍了大数据测试思维、手机联网数据的收集方法、数据格式的转换方法、大数据的处理方法、软件缺陷挖掘技术及实践项目的应用等。本书第1章介绍了大数据的测试方法和思维方式，随后每一章都通过案例来讲解大数据技术的相关理论及其测试应用。除第1章外，每章*后都提供了思考题来帮助读者回顾和巩固本章的学习内容，本书*后还提供了思考题的参考答案。同时，本书对每一个案例进行了详细图例展示和讲解。
作者简介:
刘攀，男，博士，副教授，上海商学院信息与计算机学院计算机系专业负责人，美国德克萨斯大学达拉斯分校的访问学者，上海协同计算与信息服务专委会成员，上海市计算机软件评测重点实验室研究员（兼职）。曾主持和参与省部级以上课题10项，在《ACM SIGSOFT Software Engineering Notes》《IJDSN》《JCST》《IJPE》《软件学报》《计算机学报》等学术杂志及QRS、ICFEM、TASE、ATS、PRDC、ICPCA、WCICA、ICIS、SPND等国际会议上发表学术论文30余篇。目前从事计算机类课程的教学，主要承担软件测试、大数据分析及可视化、软件工程、程序设计基础、高级程序设计等课程。
目录:
第 1章　大数据测试的思维　1

1.1　规律是否存在　1

1.2　大数据的背后　3

1.3　大数据测试方法　4

1.4　目的及组织结构　5

第 2章　大数据收集概述　7

2.1　案例介绍　7

2.2　原理及方法　7

2.3　环境配置　8

2.3.1　配置无线网　8

2.3.2　安装分析软件　9

2.4　数据采集　10

2.4.1　软件连接　10

2.4.2　信息显示　11

2.4.3　数据包的存储　11

2.5　同步操作　12

2.6　小结　14

【思考题】　14

第3章　网络数据的采集与分析　15

3.1　物理连接及Wireshark软件的常用操作　15

3.1.1　物理连接　15

3.1.2　Wireshark软件的打开方式　15

3.1.3　构建网络　17

3.1.4　Wireshark软件功能介绍　18

3.2　数据包的采集　18

3.2.1　数据的收集　18

3.2.2　数据的存储和打开　20

3.3　数据包的自动抓取　22

3.3.1　背景介绍　22

3.3.2　脚本录制　23

3.3.3　脚本执行　24

3.4　数据包分析　25

3.4.1　数据包的分析方法　25

3.4.2　数据获取　25

3.4.3　数据包的数量　28

3.4.4　数据分析　28

3.5　小结　32

【思考题】　32

第4章　数据格式转换及Python编程　34

4.1　原理及方法　34

4.1.1　pyshark介绍　34

4.1.2　FileCapture和LiveCapture　35

4.1.3　Python基础语法　37

4.2　Python安装及配置　37

4.2.1　Python安装　37

4.2.2　配置　38

4.2.3　pyshark包下载　39

4.2.4　pyshark包安装　40

4.2.5　安装支撑文件　41

4.3　Python基础学习　42

4.3.1　Python的命令行演示　42

4.3.2　创建并运行.py文件　42

4.3.3　Python出错演示　42

4.3.4　Python注释　43

4.3.5　一行多语句　43

4.3.6　输出换行　43

4.3.7　缩进　44

4.3.8　Python帮助　44

4.4　Notepad环境　45

4.4.1　Notepad++软件　45

4.4.2　运行设置　45

4.4.3　多个变量赋值　46

4.4.4　Python的标准数据类型　47

4.4.5　删除对象的引用　50

4.4.6　Python语言的运算符　50

4.4.7　Python条件语句　52

4.5　Python编程实践　52

4.5.1　汉诺塔问题　52

4.5.2　奇偶数分离　53

4.5.3　Python中in的应用　54

4.5.4　循环使用else语句编程　54

4.6　Python面向对象　54

4.6.1　面向对象介绍　54

4.6.2　self代表类的对象　55

4.6.3　类的实例化　56

4.6.4　Python内置类属性　57

4.6.5　Python对象的销毁（垃圾回收）　57

4.6.6　类的继承　58

4.6.7　方法重写　59

4.6.8　运算符重载　60

4.6.9　类属性与方法　60

4.7　Python的集成开发环境　61

4.7.1　PyCharm软件　61

4.7.2　Jupyter软件　67

4.8　pcapng文件到CSV文件　78

4.8.1　编写代码　78

4.8.2　代码运行　80

4.8.3　转换文件　80

4.9　小结　80

【思考题】　81

第5章　Splunk软件初探　83

5.1　Splunk简介　83

5.1.1　Splunk的架构　84

5.1.2　Splunk indexer集群架构　85

5.1.3　Splunk search集群架构　86

5.1.4　SPL语言　86

5.2　Splunk的安装与配置　90

5.2.1　安装　90

5.2.2　配置　92

5.3　Splunk数据分析　94

5.3.1　构造SPL语句　94

5.3.2　确定列名　95

5.3.3　Splunk的简单操作　95

5.4　SPL高级编程　97

5.4.1　自动生成数据　97

5.4.2　构造随机数　99

5.4.3　数据统计　100

5.4.4　Splunk处理过程　101

5.4.5　报告再编辑　102

5.5　小结　102

【思考题】　102

第6章　Splunk平台实践　105

6.1　Splunk的基础命令　105

6.1.1　Search（搜索）命令　105

6.1.2　SPL的命令分类　107

6.1.3　常用命令详解　115

6.2　Splunk软件的自动数据生成　119

6.2.1　生成数据　119

6.2.2　删除无用数据　121

6.2.3　构造随机数据　121

6.2.4　创建对数列和指数列　122

6.3　可视化展示　123

6.3.1　可视化图　123

6.3.2　格式设置　123

6.3.3　保存和导入　123

6.3.4　图形修改　125

6.4　官方帮助文档　126

6.4.1　SPL语言目录　126

6.4.2　命令分析实例　133

6.5　应用分析实例　137

6.5.1　案例　137

6.5.2　案例分析　137

6.5.3　创建记录　137

6.5.4　增加统计值　138

6.5.5　创建test字段　138

6.5.6　错误解决　139

【思考题】　140

第7章　SPL案例编程　142

7.1　stats命令学习　142

7.2　数据下载和导入　144

7.2.1　数据下载　144

7.2.2　数据导入　145

7.3　问题描述及分析　148

7.3.1　自动生成的SPL语句　148

7.3.2　要求及分析　149

7.3.3　解决方案　150

【思考题】　151

第8章　数据导入及错误分析　153

8.1　背景知识介绍　153

8.1.1　时间戳　153

8.1.2　数据　153

8.2　数据选择　154

8.2.1　导入数据入口　154

8.2.2　数据类型　154

8.3　时间戳错误　155

8.3.1　手机联网数据导入　155

8.3.2　时间戳错误　157

8.4　问题分析及解决　157

8.4.1　问题分析　157

8.4.2　问题解决　158

8.5　导入配置　159

8.5.1　源类型设置　159

8.5.2　索引设置　160

8.5.3　导入成功及预览　161

8.5.4　数据搜索及分析　162

【思考题】　163

第9章　联网效率分析　164

9.1　原理及方法　164

9.1.1　效率分析　164

9.1.2　性能测试方法　164

9.2　常用分析命令　164

9.2.1　sort命令　164

9.2.2　timechart命令　165

9.2.3　outlier命令　166

9.2.4　eventstats命令　167

9.3　数据导入和处理　167

9.3.1　数据导入　167

9.3.2　从Wireshark代码到Splunk代码　167

9.3.3　字段调整　169

9.3.4　时间排序　171

9.3.5　数据分组　172

9.4　分析联网效率　175

9.4.1　创建count字段　175

9.4.2　数据过滤　176

9.4.3　数据分析　176

【思考题】　180

第 10章　Linux部署　182

10.1　原理及方法　182

10.1.1　虚拟机　182

10.1.2　数据传输　183

10.2　软件安装及运行　184

10.2.1　在虚拟机中安装Linux系统　184

10.2.2　在CentOS 7系统中安装Splunk平台　185

10.2.3　启动Splunk　186

10.2.4　Splunk的运行演示　187

10.3　网络配置　189

10.3.1　Ubuntu安装　189

10.3.2　VMware网络设置　190

10.3.3　网络验证　191

10.3.4　Ubuntu系统的网络配置　192

10.3.5　运行Splunk　193

【思考题】　196

第 11章　大数据测试实践　197

11.1　监测数据导入　197

11.1.1　运行Splunk　197

11.1.2　Web日志分析　197

11.1.3　Xftp连接　198

11.1.4　monitor方式　199

11.1.5　monitor数据导入　199

11.1.6　数据分析　203

11.1.7　查看文件和目录　204

11.1.8　小结　205

11.2　数据缺陷挖掘　205

11.2.1　方法与思路　205

11.2.2　状态码　206

11.2.3　启动Splunk服务　209

11.2.4　网络联通验证　210

11.2.5　运行Splunk　212

11.2.6　返回操作　212

11.2.7　数据挖掘及分析　214

11.2.8　可视化展示　217

11.3　非结构化数据处理　220

11.3.1　非结构化数据　220

11.3.2　正则表达式　221

11.3.3　数据处理　226

【思考题】　240

思考题答案　242