1. 如何用Python实现支持向量机
看这个文章
blog.csdn.net/zouxy09/article/details/17292011
机器学习算法与Python实践之（四）支持向量机（SVM）实现
2. 优化方法的理论体系 有哪些方面
1、一维优化方法
2、多维无约束优化方法
3、多维有约束优化方法
4、线性优化方法
5、多目标优化方法
6、离散变量优化方法
7、基于其他理论的优化方法
8、常见的优化算例
9、主要文献
（一）一维优化方法。主要有以下三类：1）基于盲人探路思想的试探法。以步长加倍策略将极值点确定在距离当前点单步步长之内，再以步长减半策略，使当前点接近于极值点。主要有确定极值点所在区间的进退法（应用推论1）、一维盲人探路法（在进退法基础上增加一个模块）、一阶导数符号法（应用推论2）等。2）区间削去法。比较区间内两点的目标函数值或计算一点的导数符号，根据单峰假设将极值点所在区间削短。主要有对称等比例、对称变比例区间分割法、平分法、切线交点法、自适应二分法等。3）拟合函数寻点法。主要是二次拟合函数法（抛物线法）、三角拟合函数法、二次拟合函数定点法、一次拟合导函数法等。
（二）多维无约束优化方法。主要有：1）负梯度方向法及基于盲人探路思想的折线负梯度方向法。2）多维二阶近似式方向法及其近似算法。3）坐标系拟均匀变换法，也称为坐标变换法，包括局部坐标系的建立。4）获得共轭方向的方法，主要有定义法、几何法、待定系数法、两次同方向寻优获得法、连续两次沿负梯度方向寻优获得法（四寻法、六寻法、三寻法）等。5）共轭方向轮换法，主要有几何法、待定系数法、正交向量组法等，包括方向组的概念。6）寻优方向的数值算法实现，基于二次函数假设的数值偏导数、方向导数计算式，构造二阶偏导数矩阵法、大步长探测等算法实例。7）拟合函数法，主要有多维二次拟合函数法和线性拟合梯度法。8）不求偏导数的方向组轮换法，主要有坐标方向轮换法、自适应坐标下降法、经典Powell基本算法和改进算法、构造共轭方向法等。9）无界多面体变形法，也称为单形替换法或单纯形法，与多维有约束复合形法的寻优思想相同。
（三）多维有约束优化方法。主要有：1）可行域内直接求解法，主要包括网格法、有界多面体变形法（复合形法）、随机方向法等。2）优选可用方向法，寻优到约束边界之后，寻优最好的方向继续寻优，是船到桥头自然直的正确思路。3）半步法，没有寻优到约束边界的时候采用无约束优化方法，寻到之后退半步重新选择新的寻优方向，是未雨抽聊的研究思路。4）化简法，主要有基于二阶近似式构造寻优方向法、基于一阶近似式线性化法。5）构造无约束优化问题序列法，采用加权组合的方式将目标函数和约束函数转化为无约束优化问题，权按照一定规律变化，从而构造出一系列的无约束优化方法，主要有围墙法（内点惩罚函数法，须加固围墙）和土堆法（外点惩罚函数法）。
（四）线性优化方法。对于目标函数和约束函数均为设计变量线性函数的优化问题，其约束边界和目标函数等值线均为直线，可行点的集合构成一个凸集，且为凸多面体。如果存在最优点，则必为该凸集的某个顶点。寻找最优点就是在该凸多面体上确定最优的顶点。主要方法为单纯形法，在可行域多面体的某一个顶点出发，逐渐滑向更好的顶点，最终获得最优点。
（五）多目标优化方法。主要有以下几类：1）穷举类方法。直接求出所有分目标函数的最优点，然后在各个目标之间进行协调，使其相互间作出适当“让步”，以便获得整体最优方案，选择较好的设计点。或者列出所有方案，采用专家评议、领导拍板等方式确定最优方案。2）直接重构单目标函数法。直接由各分目标函数构造一个新的目标函数，从而将多目标的优化问题转化为单目标的。如主要目标法、线性加权组合法、取最大分目标函数值法、分目标乘除法、分层序列法等，其中线性加权组合法最具有实用性。3）间接重构单目标函数法。将原分目标函数适当处理后构造一个新的目标函数。如理想点法、功率系数法（几何平均法）、协调曲线法等。
（六）离散变量优化方法。主要有三类：1）按连续变量处理法。取得最优点后，再圆整。离散变量依次确定，原优化问题依次降维。2）随机法。根据实际情况随机确定一些设计点，然后从中选取最优点。或者在初始点周围以随机方式寻找多个设计点，取其最优者作为当前点继续寻优。3）穷举法。如分支定界法、网格法。
（七）基于其他理论的优化方法。实际上，存在很多不能由标准数学模型描述的优化问题，其数学模型的建立与评价均没有固定的模式，可行域不连续，甚至只是一些零散的可行点，并且各可行点的优劣难以用统一的标准衡量，比如旅行商最佳路径问题、背包问题等。在日常生活当中也存在着类似的问题，如股市运作，何时何股入市最优；战争发起，何时何地以什么方式最有利；个人学习计划，先学习还是先工作，学什么课程做什么工作最好。借用其他学科的理论知识，可发展一些优化方法，如遗传算法、神经网络算法、基于知识的专家系统算法、蚁群算法、模拟退火算法、分形与混沌算法等。这些方法均以全域优化问题为研究对象，基于概率论和随机理论，使多个盲人按相同规律寻求全域极值点，因此也称为智能优化算法。其共同特点是“无序中寻求有序，偶然中探索必然”。
（八）常见的优化算例。1）一维单峰函数。用于一维优化方法的检验。2）二维二次函数。可绘图直观地表示寻优过程，，检验算法最直接有效。因为优化方法都是在单峰假设下提出来的，即假设目标函数为二次函数，检验结果可信。3）多维二次函数。构造共轭方向的优化方法对于二维优化问题效果明显，但是需要在多维设计空间当中检验。4）复杂函数。最典型的是Rosenbrock函数，由于存在一个弯弯的峡谷，成为许多优化方法的滑铁卢。5）目标函数没有数学表达式的优化问题。如目标函数的求取需要借助于其他计算算法。6）抽象优化问题。设计变量没有优选值问题、目标函数和约束函数难以用数学表达式表示。比如背包问题、旅行商问题、交通信号灯规划问题等。对于这些问题，穷举法是最可靠的算法。
（九）主要文献。上述综述主要是基于一下创新性文献而完成的：[1]例证多维二阶近似式法的适用性[J]. 德州学院学报, 2017,33(6):12-14.[2]多维二次拟合函数优化方法[J]. 甘肃科学学报, 2017, 29(5):26-28.[3] 基于目标函数梯度向量的相邻方向共轭法[J].甘肃科学学报,2017,29(05):15-21.[4]目标函数优化的切线交点法[J]. 机械设计与研究(核心), 2017, 33(2):17-19,24.[5]The program verification of the three-seeking and six-seeking method based on the conjugate direction[A]. . 2017 5th International Conference on Machinery, Materials and Computing Technology(ICMMCT2017), March 25-26, 2017 Beijing, China. Advances in Engineering, volume 126, pp109-114.[6]基于盲人探路寻优思想的二阶近似式定点法研究[J]. 中国石油大学学报（自然科学版）, 2017, 41(1): 144-149.[7]盲人探路负梯度方向法[J]. 甘肃科学学报, 2016, 28(5):116-122.[8] Blind-walking optimization method[J]. Journal of Networks, 2010, 5(12):1458-1466.[9]优化方法[M]. 东南大学出版社, 2009.10[10]随机方向法改进及其验证[J]. 计算机仿真, 2009, 26(1):189-192.[11]具有畸形约束极值点问题的优化[J]. 中国科技论文在线学报, 2008, 3(8):562-565.[12]形象化教学方法在“机械优化设计”课程中的应用[J]. 中国石油大学学报(社科版), 2008, 25(S): 90-92[13]加固围墙的内点惩罚函数法防越界验证[J]. 机械设计, 2007, 24(S):111-112.[14]连续负梯度方向获得共轭方向的六寻优化方法[J]. 计算机科学与探索, 2019, 13(0).