1. 如何用Python實現支持向量機
看這個文章
blog.csdn.net/zouxy09/article/details/17292011
機器學習演算法與Python實踐之（四）支持向量機（SVM）實現
2. 優化方法的理論體系 有哪些方面
1、一維優化方法
2、多維無約束優化方法
3、多維有約束優化方法
4、線性優化方法
5、多目標優化方法
6、離散變數優化方法
7、基於其他理論的優化方法
8、常見的優化算例
9、主要文獻
（一）一維優化方法。主要有以下三類：1）基於盲人探路思想的試探法。以步長加倍策略將極值點確定在距離當前點單步步長之內，再以步長減半策略，使當前點接近於極值點。主要有確定極值點所在區間的進退法（應用推論1）、一維盲人探路法（在進退法基礎上增加一個模塊）、一階導數符號法（應用推論2）等。2）區間削去法。比較區間內兩點的目標函數值或計算一點的導數符號，根據單峰假設將極值點所在區間削短。主要有對稱等比例、對稱變比例區間分割法、平分法、切線交點法、自適應二分法等。3）擬合函數尋點法。主要是二次擬合函數法（拋物線法）、三角擬合函數法、二次擬合函數定點法、一次擬合導函數法等。
（二）多維無約束優化方法。主要有：1）負梯度方向法及基於盲人探路思想的折線負梯度方向法。2）多維二階近似式方向法及其近似演算法。3）坐標系擬均勻變換法，也稱為坐標變換法，包括局部坐標系的建立。4）獲得共軛方向的方法，主要有定義法、幾何法、待定系數法、兩次同方向尋優獲得法、連續兩次沿負梯度方向尋優獲得法（四尋法、六尋法、三尋法）等。5）共軛方向輪換法，主要有幾何法、待定系數法、正交向量組法等，包括方向組的概念。6）尋優方向的數值演算法實現，基於二次函數假設的數值偏導數、方向導數計算式，構造二階偏導數矩陣法、大步長探測等演算法實例。7）擬合函數法，主要有多維二次擬合函數法和線性擬合梯度法。8）不求偏導數的方向組輪換法，主要有坐標方向輪換法、自適應坐標下降法、經典Powell基本演算法和改進演算法、構造共軛方向法等。9）無界多面體變形法，也稱為單形替換法或單純形法，與多維有約束復合形法的尋優思想相同。
（三）多維有約束優化方法。主要有：1）可行域內直接求解法，主要包括網格法、有界多面體變形法（復合形法）、隨機方向法等。2）優選可用方向法，尋優到約束邊界之後，尋優最好的方向繼續尋優，是船到橋頭自然直的正確思路。3）半步法，沒有尋優到約束邊界的時候採用無約束優化方法，尋到之後退半步重新選擇新的尋優方向，是未雨抽聊的研究思路。4）化簡法，主要有基於二階近似式構造尋優方向法、基於一階近似式線性化法。5）構造無約束優化問題序列法，採用加權組合的方式將目標函數和約束函數轉化為無約束優化問題，權按照一定規律變化，從而構造出一系列的無約束優化方法，主要有圍牆法（內點懲罰函數法，須加固圍牆）和土堆法（外點懲罰函數法）。
（四）線性優化方法。對於目標函數和約束函數均為設計變數線性函數的優化問題，其約束邊界和目標函數等值線均為直線，可行點的集合構成一個凸集，且為凸多面體。如果存在最優點，則必為該凸集的某個頂點。尋找最優點就是在該凸多面體上確定最優的頂點。主要方法為單純形法，在可行域多面體的某一個頂點出發，逐漸滑向更好的頂點，最終獲得最優點。
（五）多目標優化方法。主要有以下幾類：1）窮舉類方法。直接求出所有分目標函數的最優點，然後在各個目標之間進行協調，使其相互間作出適當「讓步」，以便獲得整體最優方案，選擇較好的設計點。或者列出所有方案，採用專家評議、領導拍板等方式確定最優方案。2）直接重構單目標函數法。直接由各分目標函數構造一個新的目標函數，從而將多目標的優化問題轉化為單目標的。如主要目標法、線性加權組合法、取最大分目標函數值法、分目標乘除法、分層序列法等，其中線性加權組合法最具有實用性。3）間接重構單目標函數法。將原分目標函數適當處理後構造一個新的目標函數。如理想點法、功率系數法（幾何平均法）、協調曲線法等。
（六）離散變數優化方法。主要有三類：1）按連續變數處理法。取得最優點後，再圓整。離散變數依次確定，原優化問題依次降維。2）隨機法。根據實際情況隨機確定一些設計點，然後從中選取最優點。或者在初始點周圍以隨機方式尋找多個設計點，取其最優者作為當前點繼續尋優。3）窮舉法。如分支定界法、網格法。
（七）基於其他理論的優化方法。實際上，存在很多不能由標准數學模型描述的優化問題，其數學模型的建立與評價均沒有固定的模式，可行域不連續，甚至只是一些零散的可行點，並且各可行點的優劣難以用統一的標准衡量，比如旅行商最佳路徑問題、背包問題等。在日常生活當中也存在著類似的問題，如股市運作，何時何股入市最優；戰爭發起，何時何地以什麼方式最有利；個人學習計劃，先學習還是先工作，學什麼課程做什麼工作最好。借用其他學科的理論知識，可發展一些優化方法，如遺傳演算法、神經網路演算法、基於知識的專家系統演算法、蟻群演算法、模擬退火演算法、分形與混沌演算法等。這些方法均以全域優化問題為研究對象，基於概率論和隨機理論，使多個盲人按相同規律尋求全域極值點，因此也稱為智能優化演算法。其共同特點是「無序中尋求有序，偶然中探索必然」。
（八）常見的優化算例。1）一維單峰函數。用於一維優化方法的檢驗。2）二維二次函數。可繪圖直觀地表示尋優過程，，檢驗演算法最直接有效。因為優化方法都是在單峰假設下提出來的，即假設目標函數為二次函數，檢驗結果可信。3）多維二次函數。構造共軛方向的優化方法對於二維優化問題效果明顯，但是需要在多維設計空間當中檢驗。4）復雜函數。最典型的是Rosenbrock函數，由於存在一個彎彎的峽谷，成為許多優化方法的滑鐵盧。5）目標函數沒有數學表達式的優化問題。如目標函數的求取需要藉助於其他計算演算法。6）抽象優化問題。設計變數沒有優選值問題、目標函數和約束函數難以用數學表達式表示。比如背包問題、旅行商問題、交通信號燈規劃問題等。對於這些問題，窮舉法是最可靠的演算法。
（九）主要文獻。上述綜述主要是基於一下創新性文獻而完成的：[1]例證多維二階近似式法的適用性[J]. 德州學院學報, 2017,33(6):12-14.[2]多維二次擬合函數優化方法[J]. 甘肅科學學報, 2017, 29(5):26-28.[3] 基於目標函數梯度向量的相鄰方向共軛法[J].甘肅科學學報,2017,29(05):15-21.[4]目標函數優化的切線交點法[J]. 機械設計與研究(核心), 2017, 33(2):17-19,24.[5]The program verification of the three-seeking and six-seeking method based on the conjugate direction[A]. . 2017 5th International Conference on Machinery, Materials and Computing Technology(ICMMCT2017), March 25-26, 2017 Beijing, China. Advances in Engineering, volume 126, pp109-114.[6]基於盲人探路尋優思想的二階近似式定點法研究[J]. 中國石油大學學報（自然科學版）, 2017, 41(1): 144-149.[7]盲人探路負梯度方向法[J]. 甘肅科學學報, 2016, 28(5):116-122.[8] Blind-walking optimization method[J]. Journal of Networks, 2010, 5(12):1458-1466.[9]優化方法[M]. 東南大學出版社, 2009.10[10]隨機方向法改進及其驗證[J]. 計算機模擬, 2009, 26(1):189-192.[11]具有畸形約束極值點問題的優化[J]. 中國科技論文在線學報, 2008, 3(8):562-565.[12]形象化教學方法在「機械優化設計」課程中的應用[J]. 中國石油大學學報(社科版), 2008, 25(S): 90-92[13]加固圍牆的內點懲罰函數法防越界驗證[J]. 機械設計, 2007, 24(S):111-112.[14]連續負梯度方向獲得共軛方向的六尋優化方法[J]. 計算機科學與探索, 2019, 13(0).