深度学习算法与实践

作者: 于子叶

出版社: 人民邮电出版社

出版时间: 2020-08

版次: 1

ISBN: 9787115500472

定价: 69.00

装帧: 其他

开本: 16开

纸张: 胶版纸

页数: 242页

字数: 352千字

分类: 计算机与互联网

8人买过

本书旨在为读者建立完整的深度学习知识体系。全书内容包含3个部分，*部分为与深度学习相关的数学基础；第二部分为深度学习的算法基础以及相关实现；第三部分为深度学习的实际应用。通过阅读本书，读者可加深对深度学习算法的理解，并将其应用到实际工作中。本书适用于对深度学习感兴趣并希望从事相关工作的读者，也可作为高校相关专业的教学参考书。于子叶，中国科学院博士研究生，曾就职于生物科技公司。从事数值模拟算法以及智能算法设计研究。曾参与四川地区灾害监测智能算法设计工作，将深度学习算法应用于灾害检测领域。人工智能讲师，参与AI线下课程设计，普及TensorFlow使用。第一部分

第　1章空间几何与线性代数　3

1.1　多维几何空间　3

1.1.1　空间、函数和向量　3

1.1.2　空间变换与矩阵　7

1.2　矩阵和运算　9

1.2.1　矩阵基本运算　9

1.2.2　矩阵分块运算和线性变换　10

1.2.3　矩阵分解　11

1.2.4　方阵的线性变换：特征值分解　12

1.2.5　非方阵线性变换：奇异值分解　13

1.2.6　其他线性变换：字典学习　14

1.3　实践部分　14

1.3.1　矩阵定义与计算　14

1.3.2　仿射变换实例　16

1.3.3　数据压缩　18

1.4　小结　20

第　2章概率与统计　22

2.1　概率基础概念　22

2.2　随机变量数字特征　25

2.3　信息熵　28

2.4　概率模型下的线性变换　30

2.5　最大似然估计与最大后验估计　31

2.6　常见分布　34

2.7　实践部分　36

2.8　小结　40

第3章　函数建模与优化　41

3.1　函数与建模　41

3.1.1　机器学习问题描述　42

3.1.2　函数的展开与建模　44

3.2　优化问题　45

3.2.1　多元函数展开和梯度　45

3.2.2　无约束最优化问题　46

3.2.3　约束最优化问题提出　49

3.2.4　等式约束的最优化问题示例　50

3.2.5　不等式约束的最优化问题示例　51

3.2.6　约束最优化与最大熵　53

3.3　损失函数的多元函数表示　54

3.3.1　基于梯度的优化算法　54

3.3.2　动量加入　55

3.3.3　AdaGrad与Adam算法　55

3.4　过拟合与欠拟合问题　57

3.4.1　问题阐述　57

3.4.2　过拟合与欠拟合判断　59

3.5　集成学习　61

3.5.1　方差和偏差　61

3.5.2　Bagging和Boosting　62

3.6　实践部分　63

3.6.1　线性回归问题　63

3.6.2　使用TensorFlow进行曲线拟合　65

3.6.3　多元线性回归问题　66

3.7　小结　68

第4章　机器学习库的使用　69

4.1　TensorFlow执行过程　69

4.2　建模与优化所需的函数　72

4.2.1　自动求导　72

4.2.2　矩阵以及相关的计算　73

4.2.3　从手写数字识别例子来完整学习建模和优化过程　75

4.3　多个计算图　80

4.4　变量命名　80

4.5　小结　83

第二部分

第5章　深度学习模型与全连接网络　87

5.1　多层神经网络与理解　87

5.1.1　表格类型数据与线性模型　87

5.1.2　多层神经网络模型引入　90

5.1.3　过拟合问题　94

5.2　链式求导与反向传播　96

5.2.1　矩阵相乘可训练参数导数与误差传播　96

5.2.2　偏置项导数可训练参数导数与误差传播　97

5.2.3　通过函数可训练参数导数与误差传播　97

5.3　实践部分　98

5.3.1　多层全连接网络从零实现　98

5.3.2　调用TensorFlow实现全连接网络　101

5.3.3　空间变换　102

5.3.4　TensorFlow高层API　103

5.4　小结　104

第6章　卷积神经网络　105

6.1　连续型数据　105

6.2　信号处理中的卷积　107

6.2.1　滑动互相关与特征提取　107

6.2.2　滤波概念与滑动互相关关系　109

6.3　从神经网络的角度看待卷积神经网络　112

6.4　卷积神经网络　113

6.4.1　输入数据形式　113

6.4.2　卷积的数学形式　114

6.4.3　感受野　114

6.4.4　加深网络与调整步长　115

6.4.5　池化层的数学形式　115

6.4.6　空洞卷积　116

6.4.7　图像金字塔　117

6.5　卷积神经网络反向传播算法　117

6.5.1　卷积层反向传播　118

6.5.2　池化层反向传播　118

6.5.3　展开层反向传播　118

6.6　实践部分　118

6.6.1　卷积结构滤波　118

6.6.2　卷积神经网络从零实现　121

6.6.3　卷积神经网络的TensorFlow实现　125

6.6.4　卷积神经网络其他API　127

6.7　小结　127

第7章　循环神经网络基础　128

7.1　文本数据类型　128

7.1.1　无顺序文本　128

7.1.2　顺序文本处理　130

7.2　文本问题建模　130

7.2.1　无顺序文本建模　130

7.2.2　顺序文本建模　132

7.3　循环神经网络模型　132

7.3.1　基本循环神经网络模型　132

7.3.2　循环神经网络结构改进　133

7.3.3　卷积神经网络处理时序数据　134

7.4　反向传播过程　134

7.5　实践部分　134

7.5.1　从零实现循环神经网络　134

7.5.2　文本分类问题　139

7.5.3　TensorFlow的Embedding示例　141

7.5.4　TensorFlow的RNN输入与输出示例　141

7.5.5　中文分词示例　142

7.6　小结　142

第8章　循环神经网络扩展　144

8.1　双向RNN　144

8.2　联结主义时间分类器　146

8.2.1　CTC-Loss　146

8.2.2　CTC解码　147

8.3　编码-解码结构（基于RNN）　149

8.3.1　结构说明　149

8.3.2　序列损失函数（Sequence Loss）　151

8.3.3　预测过程　151

8.4　实践部分　151

8.4.1　使用RNN进行文本分类　151

8.4.2　使用RNN进行文本生成实例　152

8.4.3　中文文本分词实践　155

8.5　小结　162

第9章　深度学习优化　163

9.1　网络结构优化　163

9.1.1　Inception结构　163

9.1.2　残差网络　164

9.1.3　注意力机制　165

9.2　神经网络辅助结构　167

9.2.1　批正则化　167

9.2.2　DropOut　168

9.3　深度学习参数优化　169

9.3.1　学习率　169

9.3.2　批尺寸　169

9.3.3　Embedding大小与DropOut数值　169

9.3.4　网格搜索方法　169

9.3.5　初始化策略　170

9.3.6　数据预处理　170

9.3.7　梯度剪裁　170

9.4　实践部分　171

9.5　小结　172

第三部分

第　10章图像处理任务　175

10.1　图像多分类问题　175

10.1.1　人脸识别类任务分析　179

10.1.2　三元损失函数　179

10.1.3　使用分类问题训练　180

10.1.4　CenterLoss　180

10.1.5　结果　181

10.2　任意大小图像处理　182

10.2.1　纯卷积结构　182

10.2.2　图像处理任务中的分类与回归问题　184

10.2.3　预测过程　186

10.3　物体检测问题　189

10.3.1　RCNN类物体检测算法　189

10.3.2　Yolo类物体检测方法　195

10.4　小结　199

第　11章自然语言处理　200

11.1　语音识别任务　200

11.1.1　语音信号特征　201

11.1.2　语音处理模型　204

11.1.3　结果输出　205

11.2　自然语言翻译　205

11.2.1　编码结构　206

11.2.2　解码结构　206

11.2.3　Attention机制　211

11.2.4　网络结构图像解释　214

11.2.5　损失函数　214

11.3　文本转语音（TTS）模型　215

11.3.1　网络模型　215

11.3.2　自定义RNN结构：ZoneoutLSTM　215

11.3.3　自定义RNN：带有卷积层的循环网络　218

11.3.4　自定义解码器　219

11.3.5　自定义Helper　221

11.3.6　自定义Attention机制　222

11.3.7　模型描述　223

11.3.8　后处理　225

11.3.9　结果展示　226

11.4　小结　227

第　12章非监督学习模型　228

12.1　对抗生成网络　228

12.1.1　反卷积结构　229

12.1.2　对抗神经网络的搭建　230

12.1.3　结果展示　234

12.2　去噪自编码器　234

12.2.1　去噪自编码器结构　235

12.2.2　去噪结果　235

12.2.3　与对抗生成网络对比　236

12.3　增强学习　236

12.3.1　游戏说明　238

12.3.2　网络模型　239

12.3.3　损失函数构建　240

12.4　小结　242
内容简介:
本书旨在为读者建立完整的深度学习知识体系。全书内容包含3个部分，*部分为与深度学习相关的数学基础；第二部分为深度学习的算法基础以及相关实现；第三部分为深度学习的实际应用。通过阅读本书，读者可加深对深度学习算法的理解，并将其应用到实际工作中。本书适用于对深度学习感兴趣并希望从事相关工作的读者，也可作为高校相关专业的教学参考书。
作者简介:
于子叶，中国科学院博士研究生，曾就职于生物科技公司。从事数值模拟算法以及智能算法设计研究。曾参与四川地区灾害监测智能算法设计工作，将深度学习算法应用于灾害检测领域。人工智能讲师，参与AI线下课程设计，普及TensorFlow使用。
目录:
第一部分

第　1章空间几何与线性代数　3

1.1　多维几何空间　3

1.1.1　空间、函数和向量　3

1.1.2　空间变换与矩阵　7

1.2　矩阵和运算　9

1.2.1　矩阵基本运算　9

1.2.2　矩阵分块运算和线性变换　10

1.2.3　矩阵分解　11

1.2.4　方阵的线性变换：特征值分解　12

1.2.5　非方阵线性变换：奇异值分解　13

1.2.6　其他线性变换：字典学习　14

1.3　实践部分　14

1.3.1　矩阵定义与计算　14

1.3.2　仿射变换实例　16

1.3.3　数据压缩　18

1.4　小结　20

第　2章概率与统计　22

2.1　概率基础概念　22

2.2　随机变量数字特征　25

2.3　信息熵　28

2.4　概率模型下的线性变换　30

2.5　最大似然估计与最大后验估计　31

2.6　常见分布　34

2.7　实践部分　36

2.8　小结　40

第3章　函数建模与优化　41

3.1　函数与建模　41

3.1.1　机器学习问题描述　42

3.1.2　函数的展开与建模　44

3.2　优化问题　45

3.2.1　多元函数展开和梯度　45

3.2.2　无约束最优化问题　46

3.2.3　约束最优化问题提出　49

3.2.4　等式约束的最优化问题示例　50

3.2.5　不等式约束的最优化问题示例　51

3.2.6　约束最优化与最大熵　53

3.3　损失函数的多元函数表示　54

3.3.1　基于梯度的优化算法　54

3.3.2　动量加入　55

3.3.3　AdaGrad与Adam算法　55

3.4　过拟合与欠拟合问题　57

3.4.1　问题阐述　57

3.4.2　过拟合与欠拟合判断　59

3.5　集成学习　61

3.5.1　方差和偏差　61

3.5.2　Bagging和Boosting　62

3.6　实践部分　63

3.6.1　线性回归问题　63

3.6.2　使用TensorFlow进行曲线拟合　65

3.6.3　多元线性回归问题　66

3.7　小结　68

第4章　机器学习库的使用　69

4.1　TensorFlow执行过程　69

4.2　建模与优化所需的函数　72

4.2.1　自动求导　72

4.2.2　矩阵以及相关的计算　73

4.2.3　从手写数字识别例子来完整学习建模和优化过程　75

4.3　多个计算图　80

4.4　变量命名　80

4.5　小结　83

第二部分

第5章　深度学习模型与全连接网络　87

5.1　多层神经网络与理解　87

5.1.1　表格类型数据与线性模型　87

5.1.2　多层神经网络模型引入　90

5.1.3　过拟合问题　94

5.2　链式求导与反向传播　96

5.2.1　矩阵相乘可训练参数导数与误差传播　96

5.2.2　偏置项导数可训练参数导数与误差传播　97

5.2.3　通过函数可训练参数导数与误差传播　97

5.3　实践部分　98

5.3.1　多层全连接网络从零实现　98

5.3.2　调用TensorFlow实现全连接网络　101

5.3.3　空间变换　102

5.3.4　TensorFlow高层API　103

5.4　小结　104

第6章　卷积神经网络　105

6.1　连续型数据　105

6.2　信号处理中的卷积　107

6.2.1　滑动互相关与特征提取　107

6.2.2　滤波概念与滑动互相关关系　109

6.3　从神经网络的角度看待卷积神经网络　112

6.4　卷积神经网络　113

6.4.1　输入数据形式　113

6.4.2　卷积的数学形式　114

6.4.3　感受野　114

6.4.4　加深网络与调整步长　115

6.4.5　池化层的数学形式　115

6.4.6　空洞卷积　116

6.4.7　图像金字塔　117

6.5　卷积神经网络反向传播算法　117

6.5.1　卷积层反向传播　118

6.5.2　池化层反向传播　118

6.5.3　展开层反向传播　118

6.6　实践部分　118

6.6.1　卷积结构滤波　118

6.6.2　卷积神经网络从零实现　121

6.6.3　卷积神经网络的TensorFlow实现　125

6.6.4　卷积神经网络其他API　127

6.7　小结　127

第7章　循环神经网络基础　128

7.1　文本数据类型　128

7.1.1　无顺序文本　128

7.1.2　顺序文本处理　130

7.2　文本问题建模　130

7.2.1　无顺序文本建模　130

7.2.2　顺序文本建模　132

7.3　循环神经网络模型　132

7.3.1　基本循环神经网络模型　132

7.3.2　循环神经网络结构改进　133

7.3.3　卷积神经网络处理时序数据　134

7.4　反向传播过程　134

7.5　实践部分　134

7.5.1　从零实现循环神经网络　134

7.5.2　文本分类问题　139

7.5.3　TensorFlow的Embedding示例　141

7.5.4　TensorFlow的RNN输入与输出示例　141

7.5.5　中文分词示例　142

7.6　小结　142

第8章　循环神经网络扩展　144

8.1　双向RNN　144

8.2　联结主义时间分类器　146

8.2.1　CTC-Loss　146

8.2.2　CTC解码　147

8.3　编码-解码结构（基于RNN）　149

8.3.1　结构说明　149

8.3.2　序列损失函数（Sequence Loss）　151

8.3.3　预测过程　151

8.4　实践部分　151

8.4.1　使用RNN进行文本分类　151

8.4.2　使用RNN进行文本生成实例　152

8.4.3　中文文本分词实践　155

8.5　小结　162

第9章　深度学习优化　163

9.1　网络结构优化　163

9.1.1　Inception结构　163

9.1.2　残差网络　164

9.1.3　注意力机制　165

9.2　神经网络辅助结构　167

9.2.1　批正则化　167

9.2.2　DropOut　168

9.3　深度学习参数优化　169

9.3.1　学习率　169

9.3.2　批尺寸　169

9.3.3　Embedding大小与DropOut数值　169

9.3.4　网格搜索方法　169

9.3.5　初始化策略　170

9.3.6　数据预处理　170

9.3.7　梯度剪裁　170

9.4　实践部分　171

9.5　小结　172

第三部分

第　10章图像处理任务　175

10.1　图像多分类问题　175

10.1.1　人脸识别类任务分析　179

10.1.2　三元损失函数　179

10.1.3　使用分类问题训练　180

10.1.4　CenterLoss　180

10.1.5　结果　181

10.2　任意大小图像处理　182

10.2.1　纯卷积结构　182

10.2.2　图像处理任务中的分类与回归问题　184

10.2.3　预测过程　186

10.3　物体检测问题　189

10.3.1　RCNN类物体检测算法　189

10.3.2　Yolo类物体检测方法　195

10.4　小结　199

第　11章自然语言处理　200

11.1　语音识别任务　200

11.1.1　语音信号特征　201

11.1.2　语音处理模型　204

11.1.3　结果输出　205

11.2　自然语言翻译　205

11.2.1　编码结构　206

11.2.2　解码结构　206

11.2.3　Attention机制　211

11.2.4　网络结构图像解释　214

11.2.5　损失函数　214

11.3　文本转语音（TTS）模型　215

11.3.1　网络模型　215

11.3.2　自定义RNN结构：ZoneoutLSTM　215

11.3.3　自定义RNN：带有卷积层的循环网络　218

11.3.4　自定义解码器　219

11.3.5　自定义Helper　221

11.3.6　自定义Attention机制　222

11.3.7　模型描述　223

11.3.8　后处理　225

11.3.9　结果展示　226

11.4　小结　227

第　12章非监督学习模型　228

12.1　对抗生成网络　228

12.1.1　反卷积结构　229

12.1.2　对抗神经网络的搭建　230

12.1.3　结果展示　234

12.2　去噪自编码器　234

12.2.1　去噪自编码器结构　235

12.2.2　去噪结果　235

12.2.3　与对抗生成网络对比　236

12.3　增强学习　236

12.3.1　游戏说明　238

12.3.2　网络模型　239

12.3.3　损失函数构建　240

12.4　小结　242

查看详情

深度学习算法与实践

内容简介:

作者简介:

目录: