机器学习 公式推导与代码实现

机器学习 公式推导与代码实现
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者:
2022-01
版次: 1
ISBN: 9787115579522
定价: 99.80
装帧: 其他
开本: 其他
纸张: 胶版纸
页数: 306页
字数: 447千字
  • 作为一门应用型学科,机器学习植根于数学理论,落地于代码实现。这就意味着,掌握公式推导和代码编写,方能更加深入地理解机器学习算法的内在逻辑和运行机制。本书在对全部机器学习算法进行分类梳理的基础之上,分别对监督学习单模型、监督学习集成模型、无监督学习模型、概率模型四个大类共26个经典算法进行了细致的公式推导和代码实现,旨在帮助机器学习学习者和研究者完整地掌握算法细节、实现方法以及内在逻辑。 鲁伟 贝叶斯统计方向硕士毕业,深度学习算法工程师,主要从事医疗数据分析、医学图像处理和深度学习应用相关研究与工作。著有《深度学习笔记》一书,也是“机器学习实验室”的主理人。 序

    前言

    第 1章 机器学习预备知识 2

    1.1 引言 2

    1.2 关键术语与任务类型 2

    1.3 机器学习三要素 3

    1.4 机器学习核心 4

    1.5 机器学习流程 5

    1.6 NumPy必学必会 7

    1.6.1 创建数组 7

    1.6.2 数组的索引与切片 9

    1.6.3 数组的基础运算 10

    1.6.4 数组维度变换 11

    1.6.5 数组合并与切分 12

    1.7 sklearn简介 13

    1.8章节安排 14

    1.9 小结 16

    第 2章 线性回归 18

    2.1 杭州的二手房房价 18

    2.2 线性回归的原理推导 19

    2.3 线性回归的代码实现 22

    2.3.1 编写思路 22

    2.3.2 基于NumPy的代码实现 23

    2.3.3 基于sklearn的模型实现 28

    2.4 小结 29

    第3章 逻辑回归 30

    3.1 App开屏广告 30

    3.2 逻辑回归的原理推导 31

    3.3 逻辑回归的代码实现 33

    3.3.1 编写思路 33

    3.3.2 基于NumPy的逻辑回归实现 34

    3.3.3 基于sklearn的逻辑回归实现 41

    3.4 小结 41

    第4章 回归模型拓展 42

    4.1 回到杭州二手房房价 42

    4.2 LASSO回归的原理推导 42

    4.3 LASSO回归的代码实现 44

    4.3.1 编写思路 44

    4.3.2 基于NumPy的LASSO回归实现 45

    4.3.3 基于sklearn的LASSO回归实现 49

    4.4 Ridge回归的原理推导 49

    4.5 Ridge回归的代码实现 50

    4.6 小结 54

    第5章 线性判别分析 55

    5.1 LDA基本思想 55

    5.2 LDA数学推导 56

    5.3 LDA算法实现 57

    5.3.1 基于NumPy的LDA算法实现 57

    5.3.2 基于sklearn的LDA算法实现 60

    5.4 小结 61

    第6章 k近邻算法 62

    6.1 “猜你喜欢”的推荐逻辑 62

    6.2 距离度量方式 63

    6.3 k 近邻算法的基本原理 64

    6.4 k 近邻算法的代码实现 64

    6.4.1 编写思路 64

    6.4.2 基于NumPy的k近邻算法实现 65

    6.4.3 基于sklearn的k近邻算法实现 71

    6.5 小结 71

    第7章 决策树 72

    7.1 “今天是否要打高尔夫” 72

    7.2 决策树 73

    7.3 特征选择:从信息增益到基尼指数 75

    7.3.1 什么是特征选择 75

    7.3.2 信息增益 75

    7.3.3 信息增益比 78

    7.3.4 基尼指数 79

    7.4 决策树模型:从ID3到CART 81

    7.4.1 ID3 81

    7.4.2 C4.5 85

    7.4.3 CART分类树 86

    7.4.4 CART回归树 86

    7.4.5 CART算法实现 88

    7.5 决策树剪枝 95

    7.6 小结 96

    第8章 神经网络 97

    8.1 无处不在的图像识别 97

    8.2 从感知机说起 98

    8.2.1 感知机推导 98

    8.2.2 基于NumPy的感知机实现 100

    8.3 从单层到多层 103

    8.3.1 神经网络与反向传播 103

    8.3.2 基于NumPy的神经网络搭建 105

    8.4 神经网络的广阔天地 114

    8.5 小结 114

    第9章 支持向量机 115

    9.1 重新从感知机出发 115

    9.2 线性可分支持向量机 116

    9.2.1 线性可分支持向量机的原理推导 116

    9.2.2 线性可分支持向量机的算法实现 120

    9.3 近似线性可分支持向量机 125

    9.3.1 近似线性可分支持向量机的原理推导 125

    9.3.2 近似线性可分支持向量机的算法实现 128

    9.4 线性不可分支持向量机 132

    9.4.1 线性不可分与核技巧 132

    9.4.2 SMO算法 135

    9.4.3 线性不可分支持向量机的算法实现 137

    9.5 小结 142

    第 10章 AdaBoost 144

    10.1 什么是Boosting 144

    10.2 AdaBoost算法的原理推导 144

    10.2.1 AdaBoost基本原理 144

    10.2.2 AdaBoost与前向分步算法 146

    10.3 AdaBoost算法实现 147

    10.3.1 基于NumPy的AdaBoost算法实现 147

    10.3.2 基于sklearn的AdaBoost算法实现 153

    10.4 小结 153

    第 11章 GBDT 154

    11.1 从提升树到梯度提升树 154

    11.2 GBDT算法的原理推导 154

    11.3 GBDT算法实现 157

    11.3.1 从零开始实现一个GBDT算法系统 157

    11.3.2 基于sklearn的GBDT实现 161

    11.4 小结 162

    第 12章 XGBoost 163

    12.1 XGBoost:极度梯度提升树 163

    12.2 XGBoost算法的原理推导 164

    12.3 XGBoost算法实现 168

    12.3.1 XGBoost实现:基于GBDT的改进 168

    12.3.2 原生库XGBoost示例 172

    12.4 小结 174

    第 13章 LightGBM 175

    13.1 XGBoost可优化的地方 175

    13.2 LightGBM基本原理 175

    13.2.1 直方图算法 175

    13.2.2 单边梯度抽样 176

    13.2.3 互斥特征捆绑算法 177

    13.2.4 leaf-wise生长策略 178

    13.3 LightGBM算法实现 179

    13.4 小结 181

    第 14章 CatBoost 182

    14.1 机器学习中类别特征的处理方法 182

    14.2 CatBoost理论基础 183

    14.2.1 目标变量统计 183

    14.2.2 特征组合 184

    14.2.3 排序提升算法 184

    14.3 CatBoost算法实现 186

    14.4 小结 188

    第 15章 随机森林 189

    15.1 Bagging:另一种集成学习框架 189

    15.2 随机森林的基本原理 190

    15.3 随机森林的算法实现 191

    15.3.1 基于NumPy的随机森林算法实现 191

    15.3.2 基于sklearn的随机森林算法实现 195

    15.4 小结 196

    第 16章 集成学习:对比与调参 197

    16.1 三大Boosting算法对比 197

    16.2 常用的超参数调优方法 201

    16.2.1 网格搜索法 201

    16.2.2 随机搜索 202

    16.2.3 贝叶斯调参 203

    16.3 小结 205

    第 17章 聚类分析与k均值聚类算法 208

    17.1 距离度量和相似度度量方式 208

    17.2 聚类算法一览 209

    17.3 k均值聚类算法的原理推导 211

    17.4 k均值聚类算法实现 212

    17.4.1 基于NumPy的k均值聚类算法实现 212

    17.4.2 基于sklearn的k均值聚类算法实现 217

    17.5 小结 217

    第 18章 主成分分析 218

    18.1 PCA算法的原理推导 218

    18.2 PCA算法实现 220

    18.2.1 基于NumPy的PCA算法实现 220

    18.2.2 基于sklearn的PCA算法实现 222

    18.3 小结 223

    第 19章 奇异值分解 224

    19.1 特征向量与矩阵分解 224

    19.2 SVD算法的原理推导 225

    19.3 SVD算法实现与应用 226

    19.3.1 SVD算法实现 226

    19.3.2 基于SVD的图像去噪 227

    19.4 小结 231

    第 20章 信息熵模型 234

    20.1 信息熵原理 234

    20.2 信息熵模型的推导 234

    20.3 小结 237

    第 21章 贝叶斯概率模型 238

    21.1 贝叶斯定理简介 238

    21.2 朴素贝叶斯 239

    21.2.1 朴素贝叶斯的原理推导 239

    21.2.2 基于NumPy的朴素贝叶斯实现 240

    21.2.3 基于sklearn的朴素贝叶斯实现 243

    21.3 贝叶斯网络 244

    21.3.1 贝叶斯网络的原理推导 244

    21.3.2 借助于pgmpy的贝叶斯网络实现 246

    21.4 小结 249

    第 22章 EM算法 250

    22.1 极大似然估计 250

    22.2 EM算法的原理推导 251

    22.3 EM算法实现 253

    22.4 小结 255

    第 23章 隐马尔可夫模型 256

    23.1 什么是概率图模型 256

    23.2 HMM的定义与相关概念 257

    23.3 HMM的三个经典问题 262

    23.3.1 概率计算问题与前向/后向算法 262

    23.3.2 参数估计问题与Baum-Welch算法 266

    23.3.3 序列标注问题与维特比算法 269

    23.4 小结 271

    第 24章 条件随机场 272

    24.1 从生活画像到词性标注问题 272

    24.2 概率无向图 273

    24.3 CRF的定义与形式 275

    24.4 CRF的三大问题 277

    24.4.1 CRF的概率计算问题 277

    24.4.2 CRF的参数估计问题 278

    24.4.3 CRF的序列标注问题 279

    24.4.4 基于sklearn_crfsuite的CRF代码实现 281

    24.5 小结 281

    第 25章 马尔可夫链蒙特卡洛方法 283

    25.1 前置知识与相关概念 283

    25.1.1 马尔可夫链 283

    25.1.2 蒙特卡洛算法 285

    25.2 MCMC的原理推导 287

    25.2.1 MCMC采样 287

    25.2.2 Metropolis-Hasting采样算法 289

    25.2.3 Gibbs采样算法 291

    25.3 MCMC与贝叶斯推断 296

    25.4 小结 296

    第 26章 机器学习模型总结 298

    26.1 机器学习模型的归纳与分类 298

    26.1.1 单模型与集成模型 300

    26.1.2 监督模型与无监督模型 301

    26.1.3 生成式模型与判别式模型 301

    26.1.4 概率模型与非概率模型 302

    26.2 本书的不足和未来展望 303

    参考文献 305
  • 内容简介:
    作为一门应用型学科,机器学习植根于数学理论,落地于代码实现。这就意味着,掌握公式推导和代码编写,方能更加深入地理解机器学习算法的内在逻辑和运行机制。本书在对全部机器学习算法进行分类梳理的基础之上,分别对监督学习单模型、监督学习集成模型、无监督学习模型、概率模型四个大类共26个经典算法进行了细致的公式推导和代码实现,旨在帮助机器学习学习者和研究者完整地掌握算法细节、实现方法以及内在逻辑。
  • 作者简介:
    鲁伟 贝叶斯统计方向硕士毕业,深度学习算法工程师,主要从事医疗数据分析、医学图像处理和深度学习应用相关研究与工作。著有《深度学习笔记》一书,也是“机器学习实验室”的主理人。
  • 目录:


    前言

    第 1章 机器学习预备知识 2

    1.1 引言 2

    1.2 关键术语与任务类型 2

    1.3 机器学习三要素 3

    1.4 机器学习核心 4

    1.5 机器学习流程 5

    1.6 NumPy必学必会 7

    1.6.1 创建数组 7

    1.6.2 数组的索引与切片 9

    1.6.3 数组的基础运算 10

    1.6.4 数组维度变换 11

    1.6.5 数组合并与切分 12

    1.7 sklearn简介 13

    1.8章节安排 14

    1.9 小结 16

    第 2章 线性回归 18

    2.1 杭州的二手房房价 18

    2.2 线性回归的原理推导 19

    2.3 线性回归的代码实现 22

    2.3.1 编写思路 22

    2.3.2 基于NumPy的代码实现 23

    2.3.3 基于sklearn的模型实现 28

    2.4 小结 29

    第3章 逻辑回归 30

    3.1 App开屏广告 30

    3.2 逻辑回归的原理推导 31

    3.3 逻辑回归的代码实现 33

    3.3.1 编写思路 33

    3.3.2 基于NumPy的逻辑回归实现 34

    3.3.3 基于sklearn的逻辑回归实现 41

    3.4 小结 41

    第4章 回归模型拓展 42

    4.1 回到杭州二手房房价 42

    4.2 LASSO回归的原理推导 42

    4.3 LASSO回归的代码实现 44

    4.3.1 编写思路 44

    4.3.2 基于NumPy的LASSO回归实现 45

    4.3.3 基于sklearn的LASSO回归实现 49

    4.4 Ridge回归的原理推导 49

    4.5 Ridge回归的代码实现 50

    4.6 小结 54

    第5章 线性判别分析 55

    5.1 LDA基本思想 55

    5.2 LDA数学推导 56

    5.3 LDA算法实现 57

    5.3.1 基于NumPy的LDA算法实现 57

    5.3.2 基于sklearn的LDA算法实现 60

    5.4 小结 61

    第6章 k近邻算法 62

    6.1 “猜你喜欢”的推荐逻辑 62

    6.2 距离度量方式 63

    6.3 k 近邻算法的基本原理 64

    6.4 k 近邻算法的代码实现 64

    6.4.1 编写思路 64

    6.4.2 基于NumPy的k近邻算法实现 65

    6.4.3 基于sklearn的k近邻算法实现 71

    6.5 小结 71

    第7章 决策树 72

    7.1 “今天是否要打高尔夫” 72

    7.2 决策树 73

    7.3 特征选择:从信息增益到基尼指数 75

    7.3.1 什么是特征选择 75

    7.3.2 信息增益 75

    7.3.3 信息增益比 78

    7.3.4 基尼指数 79

    7.4 决策树模型:从ID3到CART 81

    7.4.1 ID3 81

    7.4.2 C4.5 85

    7.4.3 CART分类树 86

    7.4.4 CART回归树 86

    7.4.5 CART算法实现 88

    7.5 决策树剪枝 95

    7.6 小结 96

    第8章 神经网络 97

    8.1 无处不在的图像识别 97

    8.2 从感知机说起 98

    8.2.1 感知机推导 98

    8.2.2 基于NumPy的感知机实现 100

    8.3 从单层到多层 103

    8.3.1 神经网络与反向传播 103

    8.3.2 基于NumPy的神经网络搭建 105

    8.4 神经网络的广阔天地 114

    8.5 小结 114

    第9章 支持向量机 115

    9.1 重新从感知机出发 115

    9.2 线性可分支持向量机 116

    9.2.1 线性可分支持向量机的原理推导 116

    9.2.2 线性可分支持向量机的算法实现 120

    9.3 近似线性可分支持向量机 125

    9.3.1 近似线性可分支持向量机的原理推导 125

    9.3.2 近似线性可分支持向量机的算法实现 128

    9.4 线性不可分支持向量机 132

    9.4.1 线性不可分与核技巧 132

    9.4.2 SMO算法 135

    9.4.3 线性不可分支持向量机的算法实现 137

    9.5 小结 142

    第 10章 AdaBoost 144

    10.1 什么是Boosting 144

    10.2 AdaBoost算法的原理推导 144

    10.2.1 AdaBoost基本原理 144

    10.2.2 AdaBoost与前向分步算法 146

    10.3 AdaBoost算法实现 147

    10.3.1 基于NumPy的AdaBoost算法实现 147

    10.3.2 基于sklearn的AdaBoost算法实现 153

    10.4 小结 153

    第 11章 GBDT 154

    11.1 从提升树到梯度提升树 154

    11.2 GBDT算法的原理推导 154

    11.3 GBDT算法实现 157

    11.3.1 从零开始实现一个GBDT算法系统 157

    11.3.2 基于sklearn的GBDT实现 161

    11.4 小结 162

    第 12章 XGBoost 163

    12.1 XGBoost:极度梯度提升树 163

    12.2 XGBoost算法的原理推导 164

    12.3 XGBoost算法实现 168

    12.3.1 XGBoost实现:基于GBDT的改进 168

    12.3.2 原生库XGBoost示例 172

    12.4 小结 174

    第 13章 LightGBM 175

    13.1 XGBoost可优化的地方 175

    13.2 LightGBM基本原理 175

    13.2.1 直方图算法 175

    13.2.2 单边梯度抽样 176

    13.2.3 互斥特征捆绑算法 177

    13.2.4 leaf-wise生长策略 178

    13.3 LightGBM算法实现 179

    13.4 小结 181

    第 14章 CatBoost 182

    14.1 机器学习中类别特征的处理方法 182

    14.2 CatBoost理论基础 183

    14.2.1 目标变量统计 183

    14.2.2 特征组合 184

    14.2.3 排序提升算法 184

    14.3 CatBoost算法实现 186

    14.4 小结 188

    第 15章 随机森林 189

    15.1 Bagging:另一种集成学习框架 189

    15.2 随机森林的基本原理 190

    15.3 随机森林的算法实现 191

    15.3.1 基于NumPy的随机森林算法实现 191

    15.3.2 基于sklearn的随机森林算法实现 195

    15.4 小结 196

    第 16章 集成学习:对比与调参 197

    16.1 三大Boosting算法对比 197

    16.2 常用的超参数调优方法 201

    16.2.1 网格搜索法 201

    16.2.2 随机搜索 202

    16.2.3 贝叶斯调参 203

    16.3 小结 205

    第 17章 聚类分析与k均值聚类算法 208

    17.1 距离度量和相似度度量方式 208

    17.2 聚类算法一览 209

    17.3 k均值聚类算法的原理推导 211

    17.4 k均值聚类算法实现 212

    17.4.1 基于NumPy的k均值聚类算法实现 212

    17.4.2 基于sklearn的k均值聚类算法实现 217

    17.5 小结 217

    第 18章 主成分分析 218

    18.1 PCA算法的原理推导 218

    18.2 PCA算法实现 220

    18.2.1 基于NumPy的PCA算法实现 220

    18.2.2 基于sklearn的PCA算法实现 222

    18.3 小结 223

    第 19章 奇异值分解 224

    19.1 特征向量与矩阵分解 224

    19.2 SVD算法的原理推导 225

    19.3 SVD算法实现与应用 226

    19.3.1 SVD算法实现 226

    19.3.2 基于SVD的图像去噪 227

    19.4 小结 231

    第 20章 信息熵模型 234

    20.1 信息熵原理 234

    20.2 信息熵模型的推导 234

    20.3 小结 237

    第 21章 贝叶斯概率模型 238

    21.1 贝叶斯定理简介 238

    21.2 朴素贝叶斯 239

    21.2.1 朴素贝叶斯的原理推导 239

    21.2.2 基于NumPy的朴素贝叶斯实现 240

    21.2.3 基于sklearn的朴素贝叶斯实现 243

    21.3 贝叶斯网络 244

    21.3.1 贝叶斯网络的原理推导 244

    21.3.2 借助于pgmpy的贝叶斯网络实现 246

    21.4 小结 249

    第 22章 EM算法 250

    22.1 极大似然估计 250

    22.2 EM算法的原理推导 251

    22.3 EM算法实现 253

    22.4 小结 255

    第 23章 隐马尔可夫模型 256

    23.1 什么是概率图模型 256

    23.2 HMM的定义与相关概念 257

    23.3 HMM的三个经典问题 262

    23.3.1 概率计算问题与前向/后向算法 262

    23.3.2 参数估计问题与Baum-Welch算法 266

    23.3.3 序列标注问题与维特比算法 269

    23.4 小结 271

    第 24章 条件随机场 272

    24.1 从生活画像到词性标注问题 272

    24.2 概率无向图 273

    24.3 CRF的定义与形式 275

    24.4 CRF的三大问题 277

    24.4.1 CRF的概率计算问题 277

    24.4.2 CRF的参数估计问题 278

    24.4.3 CRF的序列标注问题 279

    24.4.4 基于sklearn_crfsuite的CRF代码实现 281

    24.5 小结 281

    第 25章 马尔可夫链蒙特卡洛方法 283

    25.1 前置知识与相关概念 283

    25.1.1 马尔可夫链 283

    25.1.2 蒙特卡洛算法 285

    25.2 MCMC的原理推导 287

    25.2.1 MCMC采样 287

    25.2.2 Metropolis-Hasting采样算法 289

    25.2.3 Gibbs采样算法 291

    25.3 MCMC与贝叶斯推断 296

    25.4 小结 296

    第 26章 机器学习模型总结 298

    26.1 机器学习模型的归纳与分类 298

    26.1.1 单模型与集成模型 300

    26.1.2 监督模型与无监督模型 301

    26.1.3 生成式模型与判别式模型 301

    26.1.4 概率模型与非概率模型 302

    26.2 本书的不足和未来展望 303

    参考文献 305
查看详情
相关图书 / 更多
机器学习 公式推导与代码实现
机器视觉与数字图像处理基础(王强)(HALCON版)
王强 著
机器学习 公式推导与代码实现
机器学习
王贝伦
机器学习 公式推导与代码实现
机器人SLAM导航:核心技术与实战
张虎
机器学习 公式推导与代码实现
机器视觉技术
刘国华
机器学习 公式推导与代码实现
机器人学基础
樊泽明 吴娟 任静 余孝军 袁学兵 编著
机器学习 公式推导与代码实现
机器学习
江波 著
机器学习 公式推导与代码实现
机器人辅助/腹腔镜泌尿外科高难度及创新手术荟萃
张大宏
机器学习 公式推导与代码实现
机器人机构拓扑特征运动学
沈惠平
机器学习 公式推导与代码实现
机器学习入门:Python语言实现
[美]奥斯瓦尔德·坎佩萨托(Oswald Campesato)
机器学习 公式推导与代码实现
机器人SLAM技术及其ROS系统应用
徐本连 鲁明丽
机器学习 公式推导与代码实现
机器学习实践:基于Python进行数据分析
阿卜杜勒哈密特·苏巴西(沙)
机器学习 公式推导与代码实现
机器小乌龟(彩绘注音版)/阿笨猫全传
冰波 著
您可能感兴趣 / 更多
机器学习 公式推导与代码实现
深度学习笔记
鲁伟 著
机器学习 公式推导与代码实现
结晶学与岩相学
鲁伟明 主编