机器学习中的加速一阶优化算法

机器学习中的加速一阶优化算法
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者: , ,
2021-07
版次: 1
ISBN: 9787111685005
定价: 109.00
装帧: 其他
开本: 16开
纸张: 胶版纸
字数: 320千字
20人买过
  • 本书以介绍机器学习中的优化算法为主要内容,以当前机器学习会议的热门话题加速算法为主线,涵盖机器学习中常用的凸优化、非凸优化,以及随机优化和分布式优化。 推荐序一 

    推荐序二 

    推荐序三 

    中文版前言 

    英文版前言 

    致谢 

    作者介绍 

    符号表 

    第 1 章 绪论                                    1 

    1.1 机器学习中的优化问题举例                    1 

    1.1.1 正则化的经验损失模型                      1 

    1.1.2 矩阵填充及低秩学习模型                    3 

    1.2 一阶优化算法                                3 

    1.3 加速算法中的代表性工作综述                  4 

    1.4 关于本书                                    7 

    参考文献                                        7 

    第 2 章 无约束凸优化中的加速算法                14 

    2.1 梯度下降法                                  14 

    2.2 重球法                                      15 

    2.3 加速梯度法                                  16 

    2.4 求解复合凸优化问题的加速梯度法              23 

    2.4.1 种 Nesterov 加速邻近梯度法            23

    2.4.2 第二种 Nesterov 加速邻近梯度法            27 

    2.4.3 第三种 Nesterov 加速邻近梯度法            31 

    2.5 非精确加速邻近梯度法                        33 

    2.5.1 非精确加速梯度法                          42 

    2.5.2 非精确加速邻近点法                        42 

    2.6 重启策略                                    43 

    2.7 平滑策略                                    45 

    2.8 高阶加速方法                                50 

    2.9 从变分的角度解释加速现象                    55 

    参考文献                                        60 

    第 3 章 带约束凸优化中的加速算法                63 

    3.1 线性等式约束问题的一些有用结论              63 

    3.2 加速罚函数法                                66 

    3.2.1 一般凸目标函数                            71 

    3.2.2 强凸目标函数                              71 

    3.3 加速拉格朗日乘子法                          72 

    3.3.1 原始问题的解                              74 

    3.3.2 加速增广拉格朗日乘子法                    76 

    3.4 交替方向乘子法及非遍历意义下的加速算法      77 

    3.4.1 情形 1:一般凸和非光滑目标函数            82 

    3.4.2 情形 2:强凸非光滑目标函数                83  

    3.4.3 情形 3:一般凸和光滑目标函数              85 

    3.4.4 情形 4:强凸和光滑目标函数                87 

    3.4.5 非遍历意义收敛速度                        88 

    3.5 原始–对偶算法                              98 

    3.5.1 情形 1:两个函数均非强凸                  100 

    3.5.2 情形 2:只有一个函数强凸                  101 

    3.5.3 情形 3:两个函数均强凸                    103 

    3.6 Frank-Wolfe 算法                            104 

    参考文献                                        108

    第 4 章 非凸优化中的加速梯度算法                112 

    4.1 带冲量的邻近梯度法                          112 

    4.1.1 收敛性理论                                113 

    4.1.2 单调加速邻近梯度法                        120 

    4.2 快速收敛到临界点                            120 

    4.2.1 能够检测强凸性质的 AGD                    121 

    4.2.2 负曲率下降算法                            123 

    4.2.3 非凸加速算法                              125 

    4.3 快速逃离鞍点                                128 

    4.3.1 几乎凸的情形                              128 

    4.3.2 完全非凸情形                              130 

    4.3.3 非凸加速梯度下降法                        131 

    参考文献                                        136 

    第 5 章 加速随机算法                            138 

    5.1 各自凸情况                                  139 

    5.1.1 加速随机坐标下降算法                      140 

    5.1.2 方差缩减技巧基础算法                      147 

    5.1.3 加速随机方差缩减方法                      152 

    5.1.4 黑盒加速算法                              158 

    5.2 各自非凸情况                                160 

    5.3 非凸情况                                    166 

    5.3.1 随机路径积分差分估计子                    167 

    5.3.2 冲量加速                                  173 

    5.4 带约束问题                                  174 

    5.5 无穷情况                                    197 

    参考文献                                        200 

    第 6 章 加速并行算法
  • 内容简介:
    本书以介绍机器学习中的优化算法为主要内容,以当前机器学习会议的热门话题加速算法为主线,涵盖机器学习中常用的凸优化、非凸优化,以及随机优化和分布式优化。
  • 目录:
    推荐序一 

    推荐序二 

    推荐序三 

    中文版前言 

    英文版前言 

    致谢 

    作者介绍 

    符号表 

    第 1 章 绪论                                    1 

    1.1 机器学习中的优化问题举例                    1 

    1.1.1 正则化的经验损失模型                      1 

    1.1.2 矩阵填充及低秩学习模型                    3 

    1.2 一阶优化算法                                3 

    1.3 加速算法中的代表性工作综述                  4 

    1.4 关于本书                                    7 

    参考文献                                        7 

    第 2 章 无约束凸优化中的加速算法                14 

    2.1 梯度下降法                                  14 

    2.2 重球法                                      15 

    2.3 加速梯度法                                  16 

    2.4 求解复合凸优化问题的加速梯度法              23 

    2.4.1 种 Nesterov 加速邻近梯度法            23

    2.4.2 第二种 Nesterov 加速邻近梯度法            27 

    2.4.3 第三种 Nesterov 加速邻近梯度法            31 

    2.5 非精确加速邻近梯度法                        33 

    2.5.1 非精确加速梯度法                          42 

    2.5.2 非精确加速邻近点法                        42 

    2.6 重启策略                                    43 

    2.7 平滑策略                                    45 

    2.8 高阶加速方法                                50 

    2.9 从变分的角度解释加速现象                    55 

    参考文献                                        60 

    第 3 章 带约束凸优化中的加速算法                63 

    3.1 线性等式约束问题的一些有用结论              63 

    3.2 加速罚函数法                                66 

    3.2.1 一般凸目标函数                            71 

    3.2.2 强凸目标函数                              71 

    3.3 加速拉格朗日乘子法                          72 

    3.3.1 原始问题的解                              74 

    3.3.2 加速增广拉格朗日乘子法                    76 

    3.4 交替方向乘子法及非遍历意义下的加速算法      77 

    3.4.1 情形 1:一般凸和非光滑目标函数            82 

    3.4.2 情形 2:强凸非光滑目标函数                83  

    3.4.3 情形 3:一般凸和光滑目标函数              85 

    3.4.4 情形 4:强凸和光滑目标函数                87 

    3.4.5 非遍历意义收敛速度                        88 

    3.5 原始–对偶算法                              98 

    3.5.1 情形 1:两个函数均非强凸                  100 

    3.5.2 情形 2:只有一个函数强凸                  101 

    3.5.3 情形 3:两个函数均强凸                    103 

    3.6 Frank-Wolfe 算法                            104 

    参考文献                                        108

    第 4 章 非凸优化中的加速梯度算法                112 

    4.1 带冲量的邻近梯度法                          112 

    4.1.1 收敛性理论                                113 

    4.1.2 单调加速邻近梯度法                        120 

    4.2 快速收敛到临界点                            120 

    4.2.1 能够检测强凸性质的 AGD                    121 

    4.2.2 负曲率下降算法                            123 

    4.2.3 非凸加速算法                              125 

    4.3 快速逃离鞍点                                128 

    4.3.1 几乎凸的情形                              128 

    4.3.2 完全非凸情形                              130 

    4.3.3 非凸加速梯度下降法                        131 

    参考文献                                        136 

    第 5 章 加速随机算法                            138 

    5.1 各自凸情况                                  139 

    5.1.1 加速随机坐标下降算法                      140 

    5.1.2 方差缩减技巧基础算法                      147 

    5.1.3 加速随机方差缩减方法                      152 

    5.1.4 黑盒加速算法                              158 

    5.2 各自非凸情况                                160 

    5.3 非凸情况                                    166 

    5.3.1 随机路径积分差分估计子                    167 

    5.3.2 冲量加速                                  173 

    5.4 带约束问题                                  174 

    5.5 无穷情况                                    197 

    参考文献                                        200 

    第 6 章 加速并行算法
查看详情
12
相关图书 / 更多
机器学习中的加速一阶优化算法
机器视觉原理及应用教程
宋丽梅 朱新军 李云鹏 编著
机器学习中的加速一阶优化算法
机器学习数学基础
赵建容;顾先明
机器学习中的加速一阶优化算法
机器视觉技术:基础及实践
陈思遥 编著;陈兵旗;梁习卉子
机器学习中的加速一阶优化算法
机器学习:工业大数据分析
李彦夫
机器学习中的加速一阶优化算法
机器人工程基础
徐东 岳昊嵩
机器学习中的加速一阶优化算法
机器和生灵:人工智能、动物智慧与人类智识
[美]保罗·萨伽德(Paul;Thagard
机器学习中的加速一阶优化算法
机器人操作系统ROS原理及应用
牛杰 余正泓
机器学习中的加速一阶优化算法
机器人综合设计与实践
樊泽明
机器学习中的加速一阶优化算法
机器视觉与产品检测
宫海兰 著;王珺萩
机器学习中的加速一阶优化算法
机器人是怎样工作的(图解版)
[日]濑户文美
机器学习中的加速一阶优化算法
机器学习中的统计思维(Python实现)
董平
机器学习中的加速一阶优化算法
机器人焊接、激光加工与喷涂工艺及设备(应用型本科规划教材)
荆学东 编著
您可能感兴趣 / 更多
机器学习中的加速一阶优化算法
机器学习中的交替方向乘子法
林宙辰;李欢;方聪