《最优化理论与方法——基于Python的实现》是一本通俗易懂、实用性强的教材，在阐述最优化理论与方法时给出了严格的数学推导和证明，并力求以自然直观的方式进行讲解，使读者能够快速理解所学知识。首先，本书回顾了最优化理论与方法所需的数学知识，帮助读者建立起必要的数学基础。其次本书介绍了Python编程的基础知识，Python是实现最优化方法的工具。本书系统地介绍了无约束优化方法和有约束优化方法的基本理论、基本思想、算法框架以及代码实现。在这些内容的阐述中，作者通过典型应用实例帮助读者更好地理解和掌握最优化思想。此外，本书还涵盖了凸优化方法、最小二乘问题，通过具体的案例和实验结果，展示了这些方法的实际效果。各章均提供了丰富的练习，帮助读者巩固所学知识。第1章是最优化基础知识；第2章是Python的基础编程内容；第3章介绍了最优化概述；第4章主要针对无约束优化方法进行了讲解说明；第5章针对有约束优化方法进行展开；第6章是凸优化方法；第7章对于最小二乘问题求解进行分析；第8章主要是实例应用的基本思想和优化求解。

高海燕，女，理学博士，硕士生导师, 现为兰州财经大学统计与数据科学学院教授。研究方向为函数型数据分析方法与应用研究、最优化理论与方法等。作为独立或主要完成人发表论文 40 余篇，公开发明专利2项，登记软件著作权6项。主持国家级、省部级项目及其它各类科研教学项目10余项。获第三届甘肃省高校教师教学创新大赛二等奖；获兰州财经大学优秀教学奖、青年教师成才奖、“教书育人”先进个人。 黄恒君，男，经济学博士，博士生导师，现为兰州财经大学统计与数据科学学院教授。甘肃省“飞天学者”特聘教授。研究方向为数据融合、统计数据质量及函数型数据分析方法及应用研究。作为独立或主要完成人发表论文40余篇。主持国家级、省部级项目及其它各类科研项目10余项。科研、教学奖励10余项。 学术兼职有全国工业统计教学研究会青年统计学家协会副秘书长等。入选陇原创新人才扶持计划、校青年学术英才支持计划。

第1章 最优化基础知识.................... 1
1.1向量和矩阵范数.............................................................1
1.1.1向量范数..............................1
1.1.2矩阵范数.......................................3
1.1.3矩阵的迹.......................................4
1.1.4矩阵内积、克罗内克积和哈达玛积.......... 5
1.1.5矩阵求导.......................................9
1.2二次型与正定矩阵....................................................16
1.3凸集......................................................19
1.3.1凸集定义........................19
1.3.2重要的凸集.................................................19
1.3.3凸集保凸运算...........................21
1.3.4分离超平面定理.............................21
1.4凸函数...................................... 22
1.4.1凸函数定义..........................................22
1.4.2凸函数判定定理.....................................24
1.4.3凸函数保凸运算............................29
1.4.4凸函数的性质..........................30
1.5函数的可微性..................................................31
1.5.1自动微分..........................................................31
1.5.2次梯度....................................................33
本章小结................. ...........................35
习题1...........................................35
第2章 Python 编程基础.........................37
2.1开发环境安装.......................37
2.1.1安装Anaconda..........37
2.1.2Jupyter Notebook使用方法............................................40
2.2Python 语法基础...........................................42
2.2.1数据类型与基础运算........................42
2.2.2数据结构.......................................45
2.2.3 控制语句..........................................50
2.2.4 函数.............................51
2.2.5类与对象.................52
2.2.6迭代器.................................53
2.3Numpy基础.........................55
2.3.1Numpy基础数据结构..........................55
2.3.2 Numpy随机数...................................59
2.3.3Numpy矩阵运算..........................62
2.3.4Numpy线性代数.........65
2.4 Pandas基础....................................66
2.4.1Pandas基础数据结构.............................66
2.4.2Pandas 统计函数.................................68
2.4.3Pandas数据处理.......................72
2.4.4 apply函数.............................76
2.5Matplotlib绘图................................77
2.5.1Matplotlib.pyplot基础..........................77
2.5.2常用图形绘制................................78
2.5.3Matplotlib绘制组合图和子图...............81
2.5.4三维图形..........................................83
本章小结..........................................87
习题2...................................87
第3章 最优化概述...................................89
3.1最优化问题实例..........................89
3.1.1 K-.means聚类..........................90
3.1.2数据拟合问题...............................................90
3.1.3矩阵填充..................................91
3.2最优化问题的数学模型...................................92
3.3最优化问题的分类...............................93
3.4最优化问题的一般算法...........94
3.4.1可行下降方向与步长...........................95
3.4.2收敛性与收敛速度...............................................96
3.4.3终止准则.................97
本章小结............................................98
习题3
第4章 无约束优化方法...............................100
4.1无约束问题的最优性条件............................................100
4.2无约束优化问题的算法框架.............................102
4.3线搜索技术.......104
4.3.1精确线搜索.................................105
4.3.2 非精确线搜索................................128
4.4梯度法...................................134
4.4.1最速下降法............................134
4.4.2随机梯度下降法.....................................139
4.4.3动量法........................ ... ... ...............140
4.4.4Barzilar-Borwein方法............142
4.5牛顿法.....144
4.5.1牛顿法............................144
4.5.2修正牛顿法...............................147
4.6拟牛顿法.......................................151
4.6.1拟牛顿法条件..........................151
4.6.2 Broyden族校正公式........................152
4.6.3 拟牛顿法的性质.....................156
4.6.4拟牛顿法的收敛性......................162
4.7共轭梯度法............164
4.7.1共轭方向法....................................164
4.7.2 共轭梯度法....................166
4.7.3方向集法....................173
4.8 直接搜索法........................................... 179
4.8.1Hook-Jeeves方法.....................180
4.8.2坐标轮换法.....................................181
4.8.3单纯形法......................................184
4.9信赖域法....185
本章小结...............................................197
习题4................................199
第5章 有约束优化方法............................201
5.1拉格朗日乘子法..................................202
5.2最优性条件.............206
5.2.1等式约束问题的最优性条件.................206
5.2.2不等式约束问题的最优性条件.................................207
5.2.3一般约束问题的最优性条件......................208
5.2.4鞍点和对偶问题.....209
5.3罚函数法.................................213
5.3.1外点罚函数法.........................213
5.3.2 内点罚函数法.......................215
5.3.3混合罚函数法...................................219
5.4 广义乘子法..................................................220
5.4.1等式约束问题的乘子法..........................221
5.4.2一般约束问题的乘子法...........................223
5.5交替方向乘子法....................................230
5.5.1交替方向乘子法.........................230
5.5.2收敛性................................................232
5.5.3应用实例...............................237
5.6可行方向法.....................................242
5.6.1Zoutendijk可行方向法......................243
5.6.2Topkis-Veinott可行方向法.....................248
5.6.3投影算子法..........................................252
5.6.4 梯度投影法...................................253
5.6.5简约梯度法.......................................255
5.7二次逼近法.......................261
5.7.1二次规划的概念......................261
5.7.2牛顿....拉格朗日法............................. 262
5.7.3序列二次规划法......................264
5.8极大熵方法......................................................269
5.9复合优化方法...............................273
5.9.1近似点梯度法.........................273
5.9.2 Nesterov加速算法...........................277
5.9.3近似点算法...........................281
5.9.4分块坐标下降法........................282
5.9.5对偶近似点梯度法..................................285
本章小结.......................289
习题5...........................290
第6章 凸优化方法.............292
6.1凸优化....................292
6.1.1 凸优化问题.........................................292
6.1.2等价的凸问题....................................294
6.1.3 最优性条件...............295
6.2拟凸优化问题.......................................297
6.2.1拟凸函数.................................297
6.2.2拟凸优化问题.....................298
6.3线性规划................................................300
6.3.1线性规划.............................300
6.3.2单纯形法......................................305
6.3.3线性分式规划..................................311
6.4整数规划.........................................312
6.4.1分支定界法...................................312
6.4.2割平面法.....................................320
6.4.3隐枚举法......................................323
6.4.4匈牙利法..........................................326
6.5二次规划..................................333
6.5.1二次规划...................................333
6.5.2二次约束二次规划............336
6.5.3二次锥规划.........................338
6.5.4鲁棒线性规划.....................340
6.6 几何规划..........................347
6.7带广义不等式约束凸优化问题.....................350
6.7.1锥规划问题............351
6.7.2半正定规划.....................................351
6.8向量优化问题.....................355
本章小结........................357
习题6.................................358
第7章最小二乘问题............................360
7.1最小二乘问题的基本形式............................360
7.2线性最小二乘问题的求解.................................363
7.2.1满秩线性最小二乘问题.......365
7.2.2亏秩线性最小二乘问题................................374
7.2.3迭代法求解线性最小二乘问题............................377
7.3非线性最小二乘问题的求解.......................379
7.3.1Gauss-Newton法.........................................381
7.3.2Levenberg-Marquardt法.......387
7.3.3Dog-Leg法..............................403
7.3.4大残量问题的拟牛顿法...................408
本章小结.....................409
习题7..........................................410
第8章 实例应用...............................411
8.1回归模型.......... ............411
8.1.1概述................ .......... ..........411
8.1.2线性回归模型..................................412
8.1.3正则化线性回归模型.................416
8.2支持向量机......................416
8.3主成分分析........419
8.3.1基本思想...... .... ... .. ..... ........................................420
8.3.2优化求解.......... ....................421
8.4奇异值分解............. ........................423
8.4.1定义与定理...............................423
8.4.2奇异值分解的计算....................................424
8.5非负矩阵分解...............................427
8.5.1问题描述..... .... ............427
8.5.2优化求解......................428
8.5.3 收敛性证明.............430
本章小结.............................433
参考文献....................434