broyden演算法

❶ 最優化中的BFGS演算法英文全稱是什麼

BFGS是擬牛頓演算法中構造矩陣方法的一種，這四個字母是四個人的名字的首字母合寫，就好象PBE和PW91都算是GGA一樣。。Broyden, Fletcher, Goldfarb和Shanno的姓氏首字母命名。

❷ 韓繼業的韓繼業教授研究項目

韓繼業教授主要研究非線性優化及相關領域。二十世紀的後二十年是國際上非線性優化的蓬勃發展時期，改革開放的方針給科研工作帶來了難得的安定環境。根據國際上學科發展的動態和趨勢，他先後選擇了一些重要的具有不同結構和特徵的問題和演算法作為研究課題，涉及非線性規劃、不可微優化、變分不等式與互補問題、雙層規劃、半定規劃和組合優化等方面。這一時期他的研究工作有了長足的進展，他與研究生及其他人合作取得以下幾方面的成果：
1. 對非線性優化的共軛梯度方法、擬牛頓方法和信賴域方法的收斂性質的深入研究。這幾類方法都是求解中等規模及大規模優化問題的重要方法。文獻中共軛梯度法的全局收斂性的證明需要有「充分下降性」這一比較強的條件，韓繼業教授與合作者去掉此條件並也減弱某些其他條件下證明了幾種共軛梯度法的全局收斂性，這減少了演算法的計算步驟並擴大了演算法的應用范圍。無約束優化的著名的DFP、BFGS 和Broyden 族等擬牛頓方法在非精確線性搜索下對於非凸函數的全局收斂性從上世紀六十年代至今仍是open 問題。他與合作者證明了對於一些函數類在比較廣泛的非精確線性搜索下有全局收斂性，對此問題取得了實質性的進展。對於帶一般非線性約束的優化問題，求解演算法的全局收斂性大都需假使約束函數在解點的梯度滿足獨立性，他與合作者設計出非單調信賴域方法，並證明了新演算法在不要求此條件下具有全局收斂性和局部超線性收斂性，這擴大了演算法的應用范圍，也是對優化演算法理論的有意義的探討。
2．對抽象迭代演算法模型的收斂條件的研究。優化問題和方程組的迭代求解方法可利用一列集值映射來表述，這種抽象演算法模型的引進使得可利用集值分析的概念和結果來統一地研究迭代演算法的收斂性。文獻中W. I. Zangwill, E. Polak, P.Huard, R. R. Meyer, J. Denel,等人對抽象演算法的收斂條件先後做出了一些重要的結果。韓繼業教授與合作者給出了更廣泛的非閉的收斂條件，改進了許多已有的結果，並用以研究投影演算法的收斂性。
3. 排序和網路等組合優化問題的近似演算法的研究。韓繼業教授與合作者對於有約束的單機和多機排序問題以及網路的極大割問題等一些NP-hard 問題提出了多項式時間的近似演算法，證明了它們比文獻中已有的近似演算法有更好的「最壞情況下性能比」。
4. 變分不等式的解的存在性和解集的有界性的研究。變分不等式是近四十餘年內出現的一類新的數學問題，它與非線性優化、變分學、不動點問題、和均衡問題等有密切聯系。韓繼業教授與合作者定義了變分不等式的「例外族」的概念，基於此概念並利用拓撲度理論得到了連續映射的變分不等式有解和解集非空有界的兩個條件，並證明了新條件對於偽單調連續映射的變分不等式分別是有解和解集非空有界的充要條件，新條件也改進了文獻中某些結果。
5. 互補問題和變分不等式的求解方法的研究。這是國際上近十多年來應用數學的一研究熱點。韓繼業教授與合作者較早開展了對互補問題和變分不等式的求解演算法的系統研究，設計出了關於非線性變分不等式的牛頓型和擬牛頓型方法和關於互補問題的內點法、非內點連續化方法等，它們的迭代過程主要是解一列線性方程組，在某些條件下它們具有全局收斂性和局部平方收斂速度。
「老驥伏櫪，志在千里，烈士暮年，壯心不已」。目前，韓繼業教授雖然從中國科學院應用數學所的工作崗位上退了下來，但他退而不休，仍然以飽滿的熱情關注著本領域學術研究的前沿，像年輕人一般活躍在科研工作第一線。韓繼業教授不但仍為清華講授優化課程，還繼續與他早已畢業的研究生們及國內外同行保持著密切的學術合作與交流。同時，作為《應用數學學報》與《數學學報》的編委，韓繼業教授以他一貫的謹慎與嚴謹為提高刊物質量默默耕耘。作為優化領域的知名學者，他還常常被邀請作為博士生畢業答辯委員會主席或成員，關注著優化領域里新人的培養與成長。韓繼業教授目光明敏，思維活躍，年近古稀仍處在學術研究的「青春期」。

❸ Python怎麼做最優化

一、概觀
scipy中的optimize子包中提供了常用的最優化演算法函數實現。我們可以直接調用這些函數完成我們的優化問題。optimize中函數最典型的特點就是能夠從函數名稱上看出是使用了什麼演算法。下面optimize包中函數的概覽：
1.非線性最優化
fmin -- 簡單Nelder-Mead演算法
fmin_powell -- 改進型Powell法
fmin_bfgs -- 擬Newton法
fmin_cg -- 非線性共軛梯度法
fmin_ncg -- 線性搜索Newton共軛梯度法
leastsq -- 最小二乘
2.有約束的多元函數問題
fmin_l_bfgs_b ---使用L-BFGS-B演算法
fmin_tnc ---梯度信息
fmin_cobyla ---線性逼近
fmin_slsqp ---序列最小二乘法
nnls ---解|| Ax - b ||_2 for x>=0
3.全局優化
anneal ---模擬退火演算法
brute --強力法
4.標量函數
fminbound
brent
golden
bracket
5.擬合
curve_fit-- 使用非線性最小二乘法擬合
6.標量函數求根
brentq ---classic Brent (1973)
brenth ---A variation on the classic Brent（1980）ridder ---Ridder是提出這個演算法的人名
bisect ---二分法
newton ---牛頓法
fixed_point
7.多維函數求根
fsolve ---通用
broyden1 ---Broyden』s first Jacobian approximation.
broyden2 ---Broyden』s second Jacobian approximationnewton_krylov ---Krylov approximation for inverse Jacobiananderson ---extended Anderson mixing
excitingmixing ---tuned diagonal Jacobian approximationlinearmixing ---scalar Jacobian approximationdiagbroyden ---diagonal Broyden Jacobian approximation8.實用函數
line_search ---找到滿足強Wolfe的alpha值
check_grad ---通過和前向有限差分逼近比較檢查梯度函數的正確性二、實戰非線性最優化
fmin完整的調用形式是：
fmin(func, x0, args=(), xtol=0.0001, ftol=0.0001, maxiter=None, maxfun=None, full_output=0, disp=1, retall=0, callback=None)不過我們最常使用的就是前兩個參數。一個描述優化問題的函數以及初值。後面的那些參數我們也很容易理解。如果您能用到，請自己研究。下面研究一個最簡單的問題，來感受這個函數的使用方法：f(x)=x**2-4*x+8，我們知道，這個函數的最小值是4，在x=2的時候取到。
from scipy.optimize import fmin #引入優化包def myfunc(x):
return x**2-4*x+8 #定義函數
x0 = [1.3] #猜一個初值
xopt = fmin(myfunc, x0) #求解
print xopt #列印結果
運行之後，給出的結果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
程序准確的計算得出了最小值，不過最小值點並不是嚴格的2，這應該是由二進制機器編碼誤差造成的。
除了fmin_ncg必須提供梯度信息外，其他幾個函數的調用大同小異，完全類似。我們不妨做一個對比：
from scipy.optimize import fmin,fmin_powell,fmin_bfgs,fmin_cgdef myfunc(x):
return x**2-4*x+8
x0 = [1.3]
xopt1 = fmin(myfunc, x0)
print xopt1
print
xopt2 = fmin_powell(myfunc, x0)
print xopt2
print
xopt3 = fmin_bfgs(myfunc, x0)
print xopt3
print
xopt4 = fmin_cg(myfunc,x0)
print xopt4
給出的結果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 53
1.99999999997
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 12
Gradient evaluations: 4
[ 2.00000001]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 15
Gradient evaluations: 5
[ 2.]
我們可以根據給出的消息直觀的判斷演算法的執行情況。每一種演算法數學上的問題，請自己看書學習。個人感覺，如果不是純研究數學的工作，沒必要搞清楚那些推導以及定理雲雲。不過，必須了解每一種演算法的優劣以及能力所及。在使用的時候，不妨多種演算法都使用一下，看看效果分別如何，同時，還可以互相印證演算法失效的問題。
在from scipy.optimize import fmin之後，就可以使用help(fmin)來查看fmin的幫助信息了。幫助信息中沒有例子，但是給出了每一個參數的含義說明，這是調用函數時候的最有價值參考。
有源碼研究癖好的，或者當你需要改進這些已經實現的演算法的時候，可能需要查看optimize中的每種演算法的源代碼。在這里：https:/ / github. com/scipy/scipy/blob/master/scipy/optimize/optimize.py聰明的你肯定發現了，順著這個鏈接往上一級、再往上一級，你會找到scipy的幾乎所有源碼！

❹ 最優化方法及其Matlab程序設計的目錄

第1章 最優化理論基礎
1.1 最優化問題的數學模型
1.2 向量和矩陣范數
1.3 函數的可微性與展開
1.4 凸集與凸函數
1.5 無約束問題的最優性條件
1.6 無約束優化問題的演算法框架
習題1
第2章 線搜索技術
2.1 精確線搜索及其Matlab實現
2.1.1 黃金分割法
2.1.2 拋物線法
2.2 非精確線搜索及其Matlab實現
2.2.1 Wolfe准則
2.2.2 Armijo准則
2.3 線搜索法的收斂性
習題2
第3章 最速下降法和牛頓法
3.1 最速下降方法及其Matlab實現
3.2 牛頓法及其Matlab實現
3.3 修正牛頓法及其Matlab實現
習題3
第4章 共軛梯度法
4.1 共軛方向法
4.2 共軛梯度法
4.3 共軛梯度法的Matlab程序
習題4
第5章 擬牛頓法
5.1 擬牛頓法及其性質
5.2 BFGS演算法及其Matlab實現
5.3 DFP演算法及其Matlab實現
5.4 Broyden族演算法及其Matlab實現
5.5 擬牛頓法的收斂性
習題5
第6章 信賴域方法
6.1 信賴域方法的基本結構
6.2 信賴域方法的收斂性
6.3 信賴域子問題的求解
6.4 信賴域方法的Matlab程序
習題6
第7章 非線性最小二乘問題
7.1 Gauss-Newton法
7.2 Levenberg-Marquardt方法
7.3 L-M演算法的Matlab程序
習題7
第8章 最優性條件
8.1 等式約束問題的最優性條件
8.2 不等式約束問題的最優性條件
8.3 一般約束問題的最優性條件
8.4 鞍點和對偶問題
習題8
第9章 罰函數法
9.1 外罰函數法
9.2 內點法
9.2.1 不等式約束問題的內點法
9.2.2 一般約束問題的內點法
9.3 乘子法
9.3.1 等式約束問題的乘子法
9.3.2 一般約束問題的乘子法
9.4 乘子法的Matlab實現
習題9
第10章 可行方向法
10.1 Zoutendijk可行方向法
10.1.1 線性約束下的可行方向法
10.1.2 非線性約束下的可行方向法
10.2 梯度投影法
10.2.1 梯度投影法的理論基礎
10.2.2 梯度投影法的計算步驟
10.3 簡約梯度法
10.3.1 Wolfe簡約梯度法
10.3.2 廣義簡約梯度法
習題10
第11章 二次規劃
11.1 等式約束凸二次規劃的解法
11.1.1 零空間方法
11.1.2 拉格朗日方法及其Matlab程序
11.2 一般凸二次規劃的有效集方法
11.2.1 有效集方法的理論推導
11.2.2 有效集方法的演算法步驟
11.2.3 有效集方法的Matlab程序
習題11
第12章 序列二次規劃法
12.1 牛頓一拉格朗日法
12.1.1 牛頓一拉格朗日法的基本理論
12.1.2 牛頓一拉格朗日法的Matlab程序
12.2 SQP方法的演算法模型
12.2.1 基於拉格朗日函數Hesse矩陣的SQF·方法
12.2.2 基於修正Hesse矩陣的SQP方法
12.3 SQP方法的相關問題
12.3.1 二次規劃子問題的Hesse矩陣
12.3.2 價值函數與搜索方向的下降性
12.4 SQP方法的Matlab程序
12.4.1 SQP子問題的Matlab實現
12.4.2 SQP方法的Matlab實現
習題12
參考文獻
附錄 Matlab優化工具箱簡介
A.1 線性規劃
A.2 二次規劃
A.3 無約束非線性優化
A.4 非線性最小二乘問題
A.5 約束條件的非線性優化命令
A.6 最小最大值的優化問題