bfgs演算法matlab

① 精通MATLAB最優化計算的實 例 目 錄

第2章 MATLAB計算基礎
例2-1 元胞數組創建與顯示實例。 20
例2-2 矩陣創建實例。 22
例2-3 特殊矩陣生成函數使用實例。 23
例2-4 矩陣基本運算實例。 24
例2-5 矩陣函數運算實例。 24
例2-6 矩陣分解運算函數使用實例。 25
例2-7 復數構造實例。 26
例2-8 復數矩陣構造實例。 26
例2-9 復數函數繪圖實例。 27
例2-10 符號表達式創建實例。 29
例2-11 極限和極值的符號運算實例。 31
例2-12 微積分的符號運算實例。 31
例2-13 常微分方程符號運算實例。 32
第3章 MATLAB繪圖基礎
例3-1 工作空間直接做圖法使用實例。 34
例3-2 二維圖形繪制實例。 35
例3-3 三維曲線繪制函數使用實例。 38
例3-4 三維網格曲面圖繪制應用實例。 38
例3-5 陰影曲面繪制函數surf使用實例。 39
例3-6 繪圖命令使用實例。 41
第4章 MATLAB程序設計基礎
例4-1 M文件創建實例。 46
例4-2 return語句使用實例。 49
例4-3 匿名函數創建實例。 51
例4-4 顯示函數輸入和輸出參數的數目實例。 54
例4-5 可變數目的參數傳遞實例。 55
例4-6 函數內部的輸入參數修改實例。 56
例4-7 函數參數傳遞實例。 56
例4-8 全局變數使用實例。 57
例4-9 函數句柄創建和調用實例。 58
例4-10 處理函數句柄的函數使用實例。 59
例4-11 嵌套計算與直接求值的比較實例。 69
例4-12 嵌套計算與非嵌套計算的比較實例。 70
例4-13 例外處理機制使用實例。 71
例4-14 nargin函數應用實例。 72
例4-15 全局變數使用實例。 73
例4-16 通過varargin傳遞參數的實例。 74
第5章 MATLAB優化工具箱
例5-1 fminunc求解器應用實例。 85
例5-2 fminsearch求解器應用實例。 86
例5-3 fmincon求解器應用實例。 88
例5-4 lsqnonlin求解器應用實例。 89
例5-5 linprog求解器應用實例。 90
例5-6 ga求解器應用實例。 91
第6章 無約束一維極值問題
例6-1 進退法求解極值區間實例。 95
例6-2 黃金分割法求解極值實例。 98
例6-3 斐波那契法求解極值實例。 101
例6-4 基本牛頓法求解極值實例。 104
例6-5 全局牛頓法求解極值實例。 106
例6-6 割線法求解極值實例。 109
例6-7 拋物線法求解極值實例。 111
例6-8 三次插值法求解極值實例。 114
例6-9 Goldstein法求解極值實例。 117
例6-10 Wolfe-Powell法求解極值實例。 119
例6-11 fminbnd函數求解極值實例1。 121
例6-12 fminbnd函數求解極值實例2。 122
例6-13 fminbnd函數求解極值實例3。 123
例6-14 fminbnd函數求解極值實例4。 123
例6-15 fminbnd函數求解極值實例5。 124
例6-16 fminsearch函數求解極值實例。 125
例6-17 改進的fminbnd函數求解極值實例1。 126
例6-18 改進的fminbnd函數求解極值實例2。 126
例6-19 改進的fminbnd函數求解極值實例3。 126
例6-20 改進的fminbnd函數求解極值實例4。 127
例6-21 maple函數求極小值實例1。 128
例6-22 maple函數求極小值實例2。 128
例6-23 maple函數求極小值實例3。 129
第7章 無約束多維極值問題
例7-1 模式搜索法求解無約束多維極值問題實例。 133
例7-2 Rosenbrock法求解無約束多維極值問題實例。 136
例7-3 單純形搜索法求解無約束多維極值問題實例。 140
例7-4 Powell法求解無約束多維極值問題實例。 144
例7-5 最速下降法求解無約束多維極值問題實例。 146
例7-6 共軛梯度法求解無約束多維極值問題實例。 148
例7-7 牛頓法求解無約束多維極值問題實例。 150
例7-8 修正牛頓法求解無約束多維極值問題實例。 152
例7-9 DFP法求解無約束多維極值問題實例。 155
例7-10 BFGS法求解無約束多維極值問題實例。 157
例7-11 信賴域法求解無約束多維極值問題實例。 160
例7-12 顯式最速下降法求正定二次函數極值的應用實例。 162
例7-13 fminsearch函數求解無約束多維極值問題實例1。 163
例7-14 fminsearch函數求解無約束多維極值問題實例2。 164
例7-15 fminsearch函數求解無約束多維極值問題實例3。 168
例7-16 fminunc函數求解無約束多維極值問題實例。 169
例7-17 fminimax函數求解無約束多維極值問題實例。 174
第8章 約束優化問題
例8-1 Rosen梯度投影法求解約束優化問題實例。 178
例8-2 外點罰函數法應用實例。 181
例8-3 通用罰函數法應用實例。 183
例8-4 外點混合罰函數法應用實例。 186
例8-5 內點罰函數法求解約束優化問題實例。 188
例8-6 混合罰函數法求解約束優化問題實例。 191
例8-7 加速混合罰函數法求解約束優化問題實例。 193
例8-8 乘子法求解約束優化問題實例。 195
例8-9 坐標輪換法求解約束優化問題實例。 199
例8-10 復合形法求解約束優化問題實例。 203
例8-11 fmincon函數求解約束優化問題實例。 205
第9章 非線性最小二乘優化問題
例9-1 G-N法求解非線性最小二乘優化問題實例。 209
例9-2 修正G-N法求解非線性最小二乘優化問題實例。 211
例9-3 L-M法求解非線性最小二乘優化問題實例。 214
例9-4 lsqnonlin求解非線性最小二乘優化問題實例。 216
第10章 線性規劃
例10-1 單純形法求解線性規劃實例1。 221
例10-2 單純形法求解線性規劃實例2。 222
例10-3 修正單純形法求解線性規劃實例。 228
例10-4 大M法求解線性規劃實例。 230
例10-5 變數有界單純形法求解線性規劃實例。 231
例10-6 linprog函數求解線性規劃實例1。 234
例10-7 linprog函數求解線性規劃實例2。 234
例10-8 linprog函數求解線性規劃實例3。 235
例10-9 linprog函數求解線性規劃實例4。 235
第11章 整數規劃
例11-1 割平面法求解整數規劃實例。 243
例11-2 分支定界法求解整數規劃實例1。 248
例11-3 分支定界法求解整數規劃實例2。 249
例11-4 0-1規劃應用實例。 251
例11-5 bintprog函數求解0-1規劃實例。 252
第12章 二次規劃
例12-1 拉格朗日法求解二次規劃實例。 255
例12-2 起作用集法求解二次規劃實例。 259
例12-3 路徑跟蹤法求解二次規劃實例。 263
例12-4 quadprog函數求解二次規劃實例1。 265
例12-5 quadprog函數求解二次規劃實例2。 265
第13章 粒子群優化演算法
例13-1 基本粒子群演算法應用實例。 273
例13-2 帶壓縮因子的粒子群演算法應用實例。 278
例13-3 線性遞減權重的粒子群演算法應用實例。 281
例13-4 自適應權重的粒子群演算法應用實例。 285
例13-5 隨機權重的粒子群演算法應用實例。 288
例13-6 同步變化的學習因子粒子群演算法應用實例。 290
例13-7 同步變化的學習因子粒子群演算法應用實例。 293
例13-8 二階粒子群演算法應用實例。 296
例13-9 二階振盪粒子群演算法應用實例。 299
例13-10 混沌粒子群演算法應用實例。 302
例13-11 基於自然選擇的粒子群演算法應用實例。 305
例13-12 基於雜交的粒子群演算法應用實例。 309
例13-13 基於模擬退火的粒子群演算法應用實例。 312
第14章 遺傳演算法
例14-1 基本遺傳演算法應用實例。 317
例14-2 順序選擇遺傳演算法應用實例。 321
例14-3 適值函數標定的遺傳演算法應用實例。 324
例14-4 大變異遺傳演算法應用實例。 329
例14-5 自適應遺傳演算法應用實例。 333
例14-6 雙切點交叉遺傳演算法應用實例。 336
例14-7 多變異位自適應遺傳演算法應用實例。 340
例14-8 優化工具的ga求解器應用實例1。 341
例14-9 優化工具的ga求解器應用實例2。 342
第15章 工程最優化問題實例
例15-1 生產任務分配問題應用實例1。 346
例15-2 生產任務分配問題應用實例2。 347
例15-3 運輸問題應用實例。 350
例15-4 生產運輸問題應用實例1。 354
例15-5 生產運輸問題應用實例2。 357
例15-6 資源利用問題應用實例。 359
例15-7 下料問題應用實例。 361
例15-8 配套問題應用實例。 362
例15-9 有限選址問題應用實例。 364
例15-10 生產組織與計劃問題應用實例。 365
例15-11 選址問題應用實例。 367
例15-12 銷售利潤最大化問題應用實例。 368
例15-13 庫存問題應用實例1。 370
例15-14 庫存問題應用實例2。 370
例15-15 庫存問題應用實例3。 371
例15-16 最大體積問題應用實例。 372
例15-17 資源分配問題應用實例。 372
例15-18 和三角形有關的極值問題應用實例1。 373
例15-19 和三角形有關的極值問題應用實例2。 374
例15-20 點到曲線距離問題應用實例1。 375
例15-21 點到曲線距離問題應用實例2。 376
例15-22 點到曲線距離問題應用實例3。 377
例15-23 曲線到曲線距離問題應用實例。 379
第16章 經濟金融最優化問題實例
例16-1 未考慮銷售影響的利潤最大化問題實例。 382
例16-2 考慮銷售影響的利潤最大化問題實例。 383
例16-3 最優消費問題應用實例。 384
例16-4 最優投資分配問題應用實例。 385
例16-5 資金最優使用問題實例。 387
例16-6 古諾競爭模型應用實例。 389
例16-7 斯塔克爾伯格模型應用實例。 390
例16-8 標准均值-方差投資組合應用實例。 392
例16-9 有上界的均值-方差投資組合應用實例。 393
例16-10 有交易成本的均值-方差投資組合應用實例。 394
例16-11 自融資均值-方差投資組合應用實例。 395

② matlab 向凸優化非線性約束函數傳遞參數 fmincon

您好，un為目標函數，它可用前面的方法定義；
x0為初始值；
A、b滿足線性不等式約束 ，若沒有不等式約束，則取A=[ ]，b=[ ]；
Aeq、beq滿足等式約束 ，若沒有，則取Aeq=[ ]，beq=[ ]；
lb、ub滿足 ，若沒有界，可設lb=[ ]，ub=[ ]；
nonlcon的作用是通過接受的向量x來計算非線性不等約束 和等式約束 分別在x處的估計C和Ceq，通過指定函數柄來使用，如：>>x = fmincon(@myfun,x0,A,b,Aeq,beq,lb,ub,@mycon)，先建立非線性約束函數，並保存為mycon.m：function [C,Ceq] = mycon(x)
C = …
% 計算x處的非線性不等約束 的函數值。
Ceq = …
% 計算x處的非線性等式約束 的函數值。
lambda是Lagrange乘子，它體現哪一個約束有效。
output輸出優化信息；
grad表示目標函數在x處的梯度；
hessian表示目標函數在x處的Hessiab值。

注意：
1. fmincon 函數提供了大型優化演算法和中型優化演算法。默認時，若在 fun 函數中提供了梯度（options 參數的 GeadObj 設置為 'on'），並且只有上下界存在或只有等式約束，fmincon 函數將選擇大型演算法。 當既有等式約束又有梯度約束時，使用中型演算法。
2. fmincon 函數的中型演算法一般是使用序列二次規劃。在每一步迭代中求解二次規劃子問題，並用 BFGS 法更新 Lagrangian 乘子和 Hessian 矩陣。
3. fmincon 函數的大型演算法採用了subspace trust region 優化演算法。這種演算法是把目標函數在點x的鄰域泰勒展開（x可以認為是人為提供的初始猜測），這個展開的鄰域就是所謂的trust region，泰勒展開進行到二階項為止。
4. fmincon 函數可能會給出局部最優解，這與初始值的選取有關。

③ ​利用MATLAB優化工具箱解決如下的最小二乘問題：

這個題目本質上就是個二次函數的求極值問題。

（1）首先將式子化簡

如圖

（3）上述過程包含了計算的步驟，可以用optimtool設置方法來求解並得到過程。本來想給你結果的，分數太少，就不寫上去了。

④ 最優化方法及其Matlab程序設計的目錄

第1章 最優化理論基礎
1.1 最優化問題的數學模型
1.2 向量和矩陣范數
1.3 函數的可微性與展開
1.4 凸集與凸函數
1.5 無約束問題的最優性條件
1.6 無約束優化問題的演算法框架
習題1
第2章 線搜索技術
2.1 精確線搜索及其Matlab實現
2.1.1 黃金分割法
2.1.2 拋物線法
2.2 非精確線搜索及其Matlab實現
2.2.1 Wolfe准則
2.2.2 Armijo准則
2.3 線搜索法的收斂性
習題2
第3章 最速下降法和牛頓法
3.1 最速下降方法及其Matlab實現
3.2 牛頓法及其Matlab實現
3.3 修正牛頓法及其Matlab實現
習題3
第4章 共軛梯度法
4.1 共軛方向法
4.2 共軛梯度法
4.3 共軛梯度法的Matlab程序
習題4
第5章 擬牛頓法
5.1 擬牛頓法及其性質
5.2 BFGS演算法及其Matlab實現
5.3 DFP演算法及其Matlab實現
5.4 Broyden族演算法及其Matlab實現
5.5 擬牛頓法的收斂性
習題5
第6章 信賴域方法
6.1 信賴域方法的基本結構
6.2 信賴域方法的收斂性
6.3 信賴域子問題的求解
6.4 信賴域方法的Matlab程序
習題6
第7章 非線性最小二乘問題
7.1 Gauss-Newton法
7.2 Levenberg-Marquardt方法
7.3 L-M演算法的Matlab程序
習題7
第8章 最優性條件
8.1 等式約束問題的最優性條件
8.2 不等式約束問題的最優性條件
8.3 一般約束問題的最優性條件
8.4 鞍點和對偶問題
習題8
第9章 罰函數法
9.1 外罰函數法
9.2 內點法
9.2.1 不等式約束問題的內點法
9.2.2 一般約束問題的內點法
9.3 乘子法
9.3.1 等式約束問題的乘子法
9.3.2 一般約束問題的乘子法
9.4 乘子法的Matlab實現
習題9
第10章 可行方向法
10.1 Zoutendijk可行方向法
10.1.1 線性約束下的可行方向法
10.1.2 非線性約束下的可行方向法
10.2 梯度投影法
10.2.1 梯度投影法的理論基礎
10.2.2 梯度投影法的計算步驟
10.3 簡約梯度法
10.3.1 Wolfe簡約梯度法
10.3.2 廣義簡約梯度法
習題10
第11章 二次規劃
11.1 等式約束凸二次規劃的解法
11.1.1 零空間方法
11.1.2 拉格朗日方法及其Matlab程序
11.2 一般凸二次規劃的有效集方法
11.2.1 有效集方法的理論推導
11.2.2 有效集方法的演算法步驟
11.2.3 有效集方法的Matlab程序
習題11
第12章 序列二次規劃法
12.1 牛頓一拉格朗日法
12.1.1 牛頓一拉格朗日法的基本理論
12.1.2 牛頓一拉格朗日法的Matlab程序
12.2 SQP方法的演算法模型
12.2.1 基於拉格朗日函數Hesse矩陣的SQF·方法
12.2.2 基於修正Hesse矩陣的SQP方法
12.3 SQP方法的相關問題
12.3.1 二次規劃子問題的Hesse矩陣
12.3.2 價值函數與搜索方向的下降性
12.4 SQP方法的Matlab程序
12.4.1 SQP子問題的Matlab實現
12.4.2 SQP方法的Matlab實現
習題12
參考文獻
附錄 Matlab優化工具箱簡介
A.1 線性規劃
A.2 二次規劃
A.3 無約束非線性優化
A.4 非線性最小二乘問題
A.5 約束條件的非線性優化命令
A.6 最小最大值的優化問題

⑤ matlab中的fmincon函數怎麼用

一、fmincon函數基本介紹
求解問題的標准型為
min F(X)
s.t
AX <= b
AeqX = beq
G(x) <= 0
Ceq(X) = 0
VLB <= X <= VUB

其中X為n維變元向量，G(x)與Ceq(X)均為非線性函數組成的向量，其它變數的含義與線性規劃，二次規劃中相同，用Matlab求解上述問題，基本步驟分為三步：
1. 首先建立M文件fun.m定義目標函數F(X)：
function f = fun(X);
f = F(X)

2. 若約束條件中有非線性約束：G(x) <= 0 或 Ceq(x) = 0，則建立M文件nonlcon.m定義函數G(X)和Ceq(X);
function [G, Ceq] = nonlcon(X)
G = ...
Ceq = ...

3. 建立主程序，非線性規劃求解的函數時fmincon，命令的基本格式如下：
[轉載]Matlab <wbr>fmincon函數用法

注意：
（1）fmincon函數提供了大型優化演算法和中型優化演算法。默認時，若在fun函數中提供了梯度（options 參數的GradObj設置為'on'），並且只有上下界存在或只有等式約束，fmincon函數將選擇大型演算法，當既有等式約束又有梯度約束時，使用中型演算法。
（2）fmincon函數的中型演算法使用的是序列二次規劃法。在每一步迭代中 求解二次規劃子問題，並用BFGS法更新拉格朗日Hessian矩陣。
（3）fmincon函數可能會給出局部最優解，這與初值X0的選取有關。

二、實例
1. 第一種方法，直接設置邊界
主要是指直接設置A，b等參數。
例1：min f = -x1 - 2*x2 + 1/2*x1^2 + 1/2 * x2^2
2*x1 + 3*x2 <= 6
x1 + 4*x2 <= 5
x1, x2 >= 0

function ex131101

x0 = [1; 1];
A = [2, 3; 1, 4];
b = [6, 5];
Aeq = [];
beq = [];
VLB = [0; 0];
VUB = [];
[x, fval] = fmincon(@fun3, x0, A, b, Aeq, beq, VLB, VUB)

function f = fun3(x)
f = -x(1) - 2*x(2) + (1/2)*x(1)^2 + (1/2)*x(2)^2;

2. 第二種方法，通過函數設置邊界
例2： min f(x) = exp(x1) * (4*x1^2 + 2*x2^2 + 4*x1*x2 + 2*x2 + 1)
x1 + x2 = 0
1.5 + x1 * x2 - x1 - x2 <= 0
-x1*x2 - 10 <= 0
function youh3
clc;
x0 = [-1, 1];
A = [];b = [];
Aeq = []; beq = [];
vlb = []; vub = [];
[x, fval] = fmincon(@fun4, x0, A, b, Aeq, beq, vlb, vub, @mycon)

function f = fun4(x);
f = exp(x(1)) * (4*x(1)^2 + 2*x(2)^2 + 4*x(1)*x(2) + 2*x(2) + 1);

function [g, ceq] = mycon(x)
g = [1.5 + x(1)*x(2) - x(1) - x(2); -x(1)*x(2) - 10];
ceq = [x(1) + x(2)];

3. 進階用法，增加梯度以及傳遞參數
這里用無約束優化函數fminunc做示例，對於fmincon方法相同，只需將邊界項設為空即可。
（1）定義目標函數
function [J, grad] = costFunction(theta, X, y)
%COSTFUNCTION Compute cost and gradient for logistic regression
% J = COSTFUNCTION(theta, X, y) computes the cost of using theta as the
% parameter for logistic regression and the gradient of the cost
% w.r.t. to the parameters.

% Initialize some useful values
m = length(y); % number of training examples

% You need to return the following variables correctly
J = 0;
grad = zeros(size(theta));

% ====================== YOUR CODE HERE ======================
% Instructions: Compute the cost of a particular choice of theta.
% You should set J to the cost.
% Compute the partial derivatives and set grad to the partial
% derivatives of the cost w.r.t. each parameter in theta
%
% Note: grad should have the same dimensions as theta
%

z = X * theta;
hx = 1 ./ (1 + exp(-z));
J = 1/m * sum([-y' * log(hx) - (1 - y)' * log(1 - hx)]);

for j = 1: length(theta)
grad(j) = 1/m * sum((hx - y)' * X(:,j));
end

% =============================================================

end

（2）優化求極小值
% Set options for fminunc
options = optimset('GradObj', 'on', 'MaxIter', 400);

% Run fminunc to obtain the optimal theta
% This function will return theta and the cost
[theta, cost] = ...
fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);

% [theta, cost] = ...
% fminunc(@(t)(costFunction(t, X, y)), initial_theta);
% Print theta to screen
fprintf('Cost at theta found by fminunc: %fn', cost);
fprintf('theta: n');
fprintf(' %f n', theta);