A. 如何用遺傳演算法實現多變數的最優化問題
將多個變數的數值編碼編排進去，進行組合。
B. Python怎麼做最優化
最優化
為什麼要做最優化呢？因為在生活中，人們總是希望幸福值或其它達到一個極值，比如做生意時希望成本最小，收入最大，所以在很多商業情境中，都會遇到求極值的情況。
函數求根
這里「函數的根」也稱「方程的根」，或「函數的零點」。
先把我們需要的包載入進來。import numpy as npimport scipy as spimport scipy.optimize as optimport matplotlib.pyplot as plt%matplotlib inline
函數求根和最優化的關系？什麼時候函數是最小值或最大值？
兩個問題一起回答：最優化就是求函數的最小值或最大值，同時也是極值，在求一個函數最小值或最大值時，它所在的位置肯定是導數為 0 的位置，所以要求一個函數的極值，必然要先求導，使其為 0，所以函數求根就是為了得到最大值最小值。
scipy.optimize 有什麼方法可以求根？
可以用 scipy.optimize 中的 bisect 或 brentq 求根。f = lambda x: np.cos(x) - x # 定義一個匿名函數x = np.linspace(-5, 5, 1000) # 先生成 1000 個 xy = f(x) # 對應生成 1000 個 f(x)plt.plot(x, y); # 看一下這個函數長什麼樣子plt.axhline(0, color='k'); # 畫一根橫線，位置在 y=0
opt.bisect(f, -5, 5) # 求取函數的根0.7390851332155535plt.plot(x, y)plt.axhline(0, color='k')plt.scatter([_], [0], c='r', s=100); # 這里的 [_] 表示上一個 Cell 中的結果，這里是 x 軸上的位置，0 是 y 上的位置
求根有兩種方法，除了上面介紹的 bisect，還有 brentq，後者比前者快很多。%timeit opt.bisect(f, -5, 5)%timeit opt.brentq(f, -5, 5)10000 loops, best of 3: 157 s per loopThe slowest run took 11.65 times longer than the fastest. This could mean that an intermediate result is being cached.10000 loops, best of 3: 35.9 s per loop
函數求最小化
求最小值就是一個最優化問題。求最大值時只需對函數做一個轉換，比如加一個負號，或者取倒數，就可轉成求最小值問題。所以兩者是同一問題。
初始值對最優化的影響是什麼？
舉例來說，先定義個函數。f = lambda x: 1-np.sin(x)/xx = np.linspace(-20., 20., 1000)y = f(x)
當初始值為 3 值，使用 minimize 函數找到最小值。minimize 函數是在新版的 scipy 里，取代了以前的很多最優化函數，是個通用的介面，背後是很多方法在支撐。x0 = 3xmin = opt.minimize(f, x0).x # x0 是起始點，起始點最好離真正的最小值點不要太遠plt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300); # 起始點畫出來，用圓圈表示plt.scatter(xmin, f(xmin), marker='v', s=300); # 最小值點畫出來，用三角表示plt.xlim(-20, 20);
初始值為 3 時，成功找到最小值。
現在來看看初始值為 10 時，找到的最小值點。x0 = 10xmin = opt.minimize(f, x0).xplt.plot(x, y)plt.scatter(x0, f(x0), marker='o', s=300)plt.scatter(xmin, f(xmin), marker='v', s=300)plt.xlim(-20, 20);
由上圖可見，當初始值為 10 時，函數找到的是局部最小值點，可見 minimize 的默認演算法對起始點的依賴性。
那麼怎麼才能不管初始值在哪個位置，都能找到全局最小值點呢？
如何找到全局最優點？
可以使用 basinhopping 函數找到全局最優點，相關背後演算法，可以看幫助文件，有提供論文的索引和出處。
我們設初始值為 10 看是否能找到全局最小值點。x0 = 10from scipy.optimize import basinhoppingxmin = basinhopping(f,x0,stepsize = 5).xplt.plot(x, y);plt.scatter(x0, f(x0), marker='o', s=300);plt.scatter(xmin, f(xmin), marker='v', s=300);plt.xlim(-20, 20);
當起始點在比較遠的位置，依然成功找到了全局最小值點。
如何求多元函數最小值？
以二元函數為例，使用 minimize 求對應的最小值。def g(X): x,y = X return (x-1)**4 + 5 * (y-1)**2 - 2*x*yX_opt = opt.minimize(g, (8, 3)).x # (8,3) 是起始點print X_opt[ 1.88292611 1.37658521]fig, ax = plt.subplots(figsize=(6, 4)) # 定義畫布和圖形x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, g((X, Y)), 50) # 等高線圖ax.plot(X_opt[0], X_opt[1], 'r*', markersize=15) # 最小點的位置是個元組ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax) # colorbar 表示顏色越深，高度越高fig.tight_layout()
畫3D 圖。from mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmfig = plt.figure()ax = fig.gca(projection='3d')x_ = y_ = np.linspace(-1, 4, 100)X, Y = np.meshgrid(x_, y_)surf = ax.plot_surface(X, Y, g((X,Y)), rstride=1, cstride=1, cmap=cm.coolwarm, linewidth=0, antialiased=False)cset = ax.contour(X, Y, g((X,Y)), zdir='z',offset=-5, cmap=cm.coolwarm)fig.colorbar(surf, shrink=0.5, aspect=5);
曲線擬合
曲線擬合和最優化有什麼關系？
曲線擬合的問題是，給定一組數據，它可能是沿著一條線散布的，這時要找到一條最優的曲線來擬合這些數據，也就是要找到最好的線來代表這些點，這里的最優是指這些點和線之間的距離是最小的，這就是為什麼要用最優化問題來解決曲線擬合問題。
舉例說明，給一些點，找到一條線，來擬合這些點。
先給定一些點：N = 50 # 點的個數m_true = 2 # 斜率b_true = -1 # 截距dy = 2.0 # 誤差np.random.seed(0)xdata = 10 * np.random.random(N) # 50 個 x，服從均勻分布ydata = np.random.normal(b_true + m_true * xdata, dy) # dy 是標准差plt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');
上面的點整體上呈現一個線性關系，要找到一條斜線來代表這些點，這就是經典的一元線性回歸。目標就是找到最好的線，使點和線的距離最短。要優化的函數是點和線之間的距離，使其最小。點是確定的，而線是可變的，線是由參數值，斜率和截距決定的，這里就是要通過優化距離找到最優的斜率和截距。
點和線的距離定義如下：def chi2(theta, x, y): return np.sum(((y - theta[0] - theta[1] * x)) ** 2)
上式就是誤差平方和。
誤差平方和是什麼？有什麼作用？
誤差平方和公式為：
誤差平方和大，表示真實的點和預測的線之間距離太遠，說明擬合得不好，最好的線，應該是使誤差平方和最小，即最優的擬合線，這里是條直線。
誤差平方和就是要最小化的目標函數。
找到最優的函數，即斜率和截距。theta_guess = [0, 1] # 初始值theta_best = opt.minimize(chi2, theta_guess, args=(xdata, ydata)).xprint(theta_best)[-1.01442005 1.93854656]
上面兩個輸出即是預測的直線斜率和截距，我們是根據點來反推直線的斜率和截距，那麼真實的斜率和截距是多少呢？-1 和 2，很接近了，差的一點是因為有噪音的引入。xfit = np.linspace(0, 10)yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');
最小二乘（Least Square）是什麼？
上面用的是 minimize 方法，這個問題的目標函數是誤差平方和，這就又有一個特定的解法，即最小二乘。
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小，這里的「二乘」指的是用平方來度量觀測點與估計點的遠近（在古漢語中「平方」稱為「二乘」），「最小」指的是參數的估計值要保證各個觀測點與估計點的距離的平方和達到最小。
關於最小二乘估計的計算，涉及更多的數學知識，這里不想詳述，其一般的過程是用目標函數對各參數求偏導數，並令其等於 0，得到一個線性方程組。具體推導過程可參考斯坦福機器學習講義 第 7 頁。def deviations(theta, x, y): return (y - theta[0] - theta[1] * x)theta_best, ier = opt.leastsq(deviations, theta_guess, args=(xdata, ydata))print(theta_best)[-1.01442016 1.93854659]
最小二乘 leastsq 的結果跟 minimize 結果一樣。注意 leastsq 的第一個參數不再是誤差平方和 chi2，而是誤差本身 deviations，即沒有平方，也沒有和。yfit = theta_best[0] + theta_best[1] * xfitplt.errorbar(xdata, ydata, dy, fmt='.k', ecolor='lightgray');plt.plot(xfit, yfit, '-k');
非線性最小二乘
上面是給一些點，擬合一條直線，擬合一條曲線也是一樣的。def f(x, beta0, beta1, beta2): # 首先定義一個非線性函數，有 3 個參數 return beta0 + beta1 * np.exp(-beta2 * x**2)beta = (0.25, 0.75, 0.5) # 先猜 3 個 betaxdata = np.linspace(0, 5, 50)y = f(xdata, *beta)ydata = y + 0.05 * np.random.randn(len(xdata)) # 給 y 加噪音def g(beta): return ydata - f(xdata, *beta) # 真實 y 和 預測值的差，求最優曲線時要用到beta_start = (1, 1, 1)beta_opt, beta_cov = opt.leastsq(g, beta_start)print beta_opt # 求到的 3 個最優的 beta 值[ 0.25525709 0.74270226 0.54966466]
拿估計的 beta_opt 值跟真實的 beta = (0.25, 0.75, 0.5) 值比較，差不多。fig, ax = plt.subplots()ax.scatter(xdata, ydata) # 畫點ax.plot(xdata, y, 'r', lw=2) # 真實值的線ax.plot(xdata, f(xdata, *beta_opt), 'b', lw=2) # 擬合的線ax.set_xlim(0, 5)ax.set_xlabel(r"$x$", fontsize=18)ax.set_ylabel(r"$f(x, \beta)$", fontsize=18)fig.tight_layout()
除了使用最小二乘，還可以使用曲線擬合的方法，得到的結果是一樣的。beta_opt, beta_cov = opt.curve_fit(f, xdata, ydata)print beta_opt[ 0.25525709 0.74270226 0.54966466]
有約束的最小化
有約束的最小化是指，要求函數最小化之外，還要滿足約束條件，舉例說明。
邊界約束def f(X): x, y = X return (x-1)**2 + (y-1)**2 # 這是一個碗狀的函數x_opt = opt.minimize(f, (0, 0), method='BFGS').x # 無約束最優化
假設有約束條件，x 和 y 要在一定的范圍內，如 x 在 2 到 3 之間，y 在 0 和 2 之間。bnd_x1, bnd_x2 = (2, 3), (0, 2) # 對自變數的約束x_cons_opt = opt.minimize(f, np.array([0, 0]), method='L-BFGS-B', bounds=[bnd_x1, bnd_x2]).x # bounds 矩形約束fig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X,Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 沒有約束下的最小值，藍色五角星ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 有約束下的最小值，紅色星星bound_rect = plt.Rectangle((bnd_x1[0], bnd_x2[0]), bnd_x1[1] - bnd_x1[0], bnd_x2[1] - bnd_x2[0], facecolor="grey")ax.add_patch(bound_rect)ax.set_xlabel(r"$x_1$", fontsize=18)ax.set_ylabel(r"$x_2$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()
不等式約束
介紹下相關理論，先來看下存在等式約束的極值問題求法，比如下面的優化問題。
目標函數是 f(w)，下面是等式約束，通常解法是引入拉格朗日運算元，這里使用 ββ 來表示運算元，得到拉格朗日公式為
l 是等式約束的個數。
然後分別對 w 和ββ 求偏導，使得偏導數等於 0，然後解出 w 和βiβi，至於為什麼引入拉格朗日運算元可以求出極值，原因是 f(w) 的 dw 變化方向受其他不等式的約束，dw的變化方向與f(w)的梯度垂直時才能獲得極值，而且在極值處，f(w) 的梯度與其他等式梯度的線性組合平行，因此他們之間存在線性關系。（參考《最優化與KKT條件》）
對於不等式約束的極值問題
常常利用拉格朗日對偶性將原始問題轉換為對偶問題，通過解對偶問題而得到原始問題的解。該方法應用在許多統計學習方法中。有興趣的可以參閱相關資料，這里不再贅述。def f(X): return (X[0] - 1)**2 + (X[1] - 1)**2def g(X): return X[1] - 1.75 - (X[0] - 0.75)**4x_opt = opt.minimize(f, (0, 0), method='BFGS').xconstraints = [dict(type='ineq', fun=g)] # 約束採用字典定義，約束方式為不等式約束，邊界用 g 表示x_cons_opt = opt.minimize(f, (0, 0), method='SLSQP', constraints=constraints).xfig, ax = plt.subplots(figsize=(6, 4))x_ = y_ = np.linspace(-1, 3, 100)X, Y = np.meshgrid(x_, y_)c = ax.contour(X, Y, f((X, Y)), 50)ax.plot(x_opt[0], x_opt[1], 'b*', markersize=15) # 藍色星星，沒有約束下的最小值ax.plot(x_, 1.75 + (x_-0.75)**4, '', markersize=15)ax.fill_between(x_, 1.75 + (x_-0.75)**4, 3, color="grey")ax.plot(x_cons_opt[0], x_cons_opt[1], 'r*', markersize=15) # 在區域約束下的最小值ax.set_ylim(-1, 3)ax.set_xlabel(r"$x_0$", fontsize=18)ax.set_ylabel(r"$x_1$", fontsize=18)plt.colorbar(c, ax=ax)fig.tight_layout()
scipy.optimize.minimize 中包括了多種最優化演算法，每種演算法使用范圍不同，詳細參考官方文檔。
C. 如何用遺傳演算法實現多變數的最優化問題
是不是像求函數最值那樣子？建議你了解一下遺傳演算法的實數編碼，這個對於求函數最值很方便，不用像二進制那樣需要轉換。
簡單介紹一下思路：
最重要的是確定適應度函數，只要確定這個函數就很容易了，就用你不會編程，直接調用matlab的工具箱就行了。
1st.設置種群規模，並初始化種群p，並計算各個個體的適應度。
例如，20個個體，每個個體包含5個變數，x1,x2,x3,x4,x5.
如果你用matlab來編程的話，這個可以很容易實現，會用到random('unif',a,b)這個函數吧。
例如x1的取值范圍是[0,1],那麼x1=random('unif',0,1).
2nd.採用輪盤賭選出可以產生後代的父本,p_parents。
額，輪盤賭的實質就是適應度大的被選出的概率大。這個不難，但說起來比較長，你可以自己去看一下。
3rd.雜交過程的思路隨機將p_parents中的個體隨機兩兩配對，然後隨機產生一個1到n的數（n為變數的個數），設為i,交換每對父本中i之後的變數值。交換以後的p_parents成為後代p_offspring.
這里變起來有點點復雜，不過只要耐心一點，編好配對過程和交換過程。
4th.變異過程，這個比較簡單，不過需要自己把握的較好。
基本的思路是設置一個概率，例如0.05，然後產生一個隨機數如果隨機數比0.05小那麼這個變數值就要產生微小的增加或減少。
這個變異過程要歷遍p_offspring所有的變數喔。
5th.將p和p_offspring合並起來，然後選出適應度大的，重新構成一個如原始種群規模相等的種群。
D. C語言編程解決最優化問題
C語言是一門通用計算機編程語言，廣泛應用於底層開發。C語言的設計目標是提供一種能以簡易的方式編譯、處理低級存儲器、產生少量的機器碼以及不需要任何運行環境支持便能運行的編程語言。
盡管C語言提供了許多低級處理的功能，但仍然保持著良好跨平台的特性，以一個標准規格寫出的C語言程序可在許多電腦平台上進行編譯，甚至包含一些嵌入式處理器(單片機或稱MCU)以及超級電腦等作業平台。
二十世紀八十年代，為了避免各開發廠商用的C語言語法產生差異，由美國國家標准局為C語言制定了一套完整的美國國家標准語法，稱為ANSI C，作為C語言最初的標准。 目前2011年12月8日，國際標准化組織(ISO)和國際電工委員會(IEC)發布的C11標準是C語言的第三個官方標准，也是C語言的最新標准，該標准更好的支持了漢字函數名和漢字標識符，一定程度上實現了漢字編程。
C語言是一門面向過程的計算機編程語言，與C++，Java等面向對象的編程語言有所不同。
其編譯器主要有Clang、GCC、WIN-TC、SUBLIME、MSVC、Turbo C等。