bfgs算法matlab

① 精通MATLAB最优化计算的实 例 目 录

第2章 MATLAB计算基础
例2-1 元胞数组创建与显示实例。 20
例2-2 矩阵创建实例。 22
例2-3 特殊矩阵生成函数使用实例。 23
例2-4 矩阵基本运算实例。 24
例2-5 矩阵函数运算实例。 24
例2-6 矩阵分解运算函数使用实例。 25
例2-7 复数构造实例。 26
例2-8 复数矩阵构造实例。 26
例2-9 复数函数绘图实例。 27
例2-10 符号表达式创建实例。 29
例2-11 极限和极值的符号运算实例。 31
例2-12 微积分的符号运算实例。 31
例2-13 常微分方程符号运算实例。 32
第3章 MATLAB绘图基础
例3-1 工作空间直接做图法使用实例。 34
例3-2 二维图形绘制实例。 35
例3-3 三维曲线绘制函数使用实例。 38
例3-4 三维网格曲面图绘制应用实例。 38
例3-5 阴影曲面绘制函数surf使用实例。 39
例3-6 绘图命令使用实例。 41
第4章 MATLAB程序设计基础
例4-1 M文件创建实例。 46
例4-2 return语句使用实例。 49
例4-3 匿名函数创建实例。 51
例4-4 显示函数输入和输出参数的数目实例。 54
例4-5 可变数目的参数传递实例。 55
例4-6 函数内部的输入参数修改实例。 56
例4-7 函数参数传递实例。 56
例4-8 全局变量使用实例。 57
例4-9 函数句柄创建和调用实例。 58
例4-10 处理函数句柄的函数使用实例。 59
例4-11 嵌套计算与直接求值的比较实例。 69
例4-12 嵌套计算与非嵌套计算的比较实例。 70
例4-13 例外处理机制使用实例。 71
例4-14 nargin函数应用实例。 72
例4-15 全局变量使用实例。 73
例4-16 通过varargin传递参数的实例。 74
第5章 MATLAB优化工具箱
例5-1 fminunc求解器应用实例。 85
例5-2 fminsearch求解器应用实例。 86
例5-3 fmincon求解器应用实例。 88
例5-4 lsqnonlin求解器应用实例。 89
例5-5 linprog求解器应用实例。 90
例5-6 ga求解器应用实例。 91
第6章 无约束一维极值问题
例6-1 进退法求解极值区间实例。 95
例6-2 黄金分割法求解极值实例。 98
例6-3 斐波那契法求解极值实例。 101
例6-4 基本牛顿法求解极值实例。 104
例6-5 全局牛顿法求解极值实例。 106
例6-6 割线法求解极值实例。 109
例6-7 抛物线法求解极值实例。 111
例6-8 三次插值法求解极值实例。 114
例6-9 Goldstein法求解极值实例。 117
例6-10 Wolfe-Powell法求解极值实例。 119
例6-11 fminbnd函数求解极值实例1。 121
例6-12 fminbnd函数求解极值实例2。 122
例6-13 fminbnd函数求解极值实例3。 123
例6-14 fminbnd函数求解极值实例4。 123
例6-15 fminbnd函数求解极值实例5。 124
例6-16 fminsearch函数求解极值实例。 125
例6-17 改进的fminbnd函数求解极值实例1。 126
例6-18 改进的fminbnd函数求解极值实例2。 126
例6-19 改进的fminbnd函数求解极值实例3。 126
例6-20 改进的fminbnd函数求解极值实例4。 127
例6-21 maple函数求极小值实例1。 128
例6-22 maple函数求极小值实例2。 128
例6-23 maple函数求极小值实例3。 129
第7章 无约束多维极值问题
例7-1 模式搜索法求解无约束多维极值问题实例。 133
例7-2 Rosenbrock法求解无约束多维极值问题实例。 136
例7-3 单纯形搜索法求解无约束多维极值问题实例。 140
例7-4 Powell法求解无约束多维极值问题实例。 144
例7-5 最速下降法求解无约束多维极值问题实例。 146
例7-6 共轭梯度法求解无约束多维极值问题实例。 148
例7-7 牛顿法求解无约束多维极值问题实例。 150
例7-8 修正牛顿法求解无约束多维极值问题实例。 152
例7-9 DFP法求解无约束多维极值问题实例。 155
例7-10 BFGS法求解无约束多维极值问题实例。 157
例7-11 信赖域法求解无约束多维极值问题实例。 160
例7-12 显式最速下降法求正定二次函数极值的应用实例。 162
例7-13 fminsearch函数求解无约束多维极值问题实例1。 163
例7-14 fminsearch函数求解无约束多维极值问题实例2。 164
例7-15 fminsearch函数求解无约束多维极值问题实例3。 168
例7-16 fminunc函数求解无约束多维极值问题实例。 169
例7-17 fminimax函数求解无约束多维极值问题实例。 174
第8章 约束优化问题
例8-1 Rosen梯度投影法求解约束优化问题实例。 178
例8-2 外点罚函数法应用实例。 181
例8-3 通用罚函数法应用实例。 183
例8-4 外点混合罚函数法应用实例。 186
例8-5 内点罚函数法求解约束优化问题实例。 188
例8-6 混合罚函数法求解约束优化问题实例。 191
例8-7 加速混合罚函数法求解约束优化问题实例。 193
例8-8 乘子法求解约束优化问题实例。 195
例8-9 坐标轮换法求解约束优化问题实例。 199
例8-10 复合形法求解约束优化问题实例。 203
例8-11 fmincon函数求解约束优化问题实例。 205
第9章 非线性最小二乘优化问题
例9-1 G-N法求解非线性最小二乘优化问题实例。 209
例9-2 修正G-N法求解非线性最小二乘优化问题实例。 211
例9-3 L-M法求解非线性最小二乘优化问题实例。 214
例9-4 lsqnonlin求解非线性最小二乘优化问题实例。 216
第10章 线性规划
例10-1 单纯形法求解线性规划实例1。 221
例10-2 单纯形法求解线性规划实例2。 222
例10-3 修正单纯形法求解线性规划实例。 228
例10-4 大M法求解线性规划实例。 230
例10-5 变量有界单纯形法求解线性规划实例。 231
例10-6 linprog函数求解线性规划实例1。 234
例10-7 linprog函数求解线性规划实例2。 234
例10-8 linprog函数求解线性规划实例3。 235
例10-9 linprog函数求解线性规划实例4。 235
第11章 整数规划
例11-1 割平面法求解整数规划实例。 243
例11-2 分支定界法求解整数规划实例1。 248
例11-3 分支定界法求解整数规划实例2。 249
例11-4 0-1规划应用实例。 251
例11-5 bintprog函数求解0-1规划实例。 252
第12章 二次规划
例12-1 拉格朗日法求解二次规划实例。 255
例12-2 起作用集法求解二次规划实例。 259
例12-3 路径跟踪法求解二次规划实例。 263
例12-4 quadprog函数求解二次规划实例1。 265
例12-5 quadprog函数求解二次规划实例2。 265
第13章 粒子群优化算法
例13-1 基本粒子群算法应用实例。 273
例13-2 带压缩因子的粒子群算法应用实例。 278
例13-3 线性递减权重的粒子群算法应用实例。 281
例13-4 自适应权重的粒子群算法应用实例。 285
例13-5 随机权重的粒子群算法应用实例。 288
例13-6 同步变化的学习因子粒子群算法应用实例。 290
例13-7 同步变化的学习因子粒子群算法应用实例。 293
例13-8 二阶粒子群算法应用实例。 296
例13-9 二阶振荡粒子群算法应用实例。 299
例13-10 混沌粒子群算法应用实例。 302
例13-11 基于自然选择的粒子群算法应用实例。 305
例13-12 基于杂交的粒子群算法应用实例。 309
例13-13 基于模拟退火的粒子群算法应用实例。 312
第14章 遗传算法
例14-1 基本遗传算法应用实例。 317
例14-2 顺序选择遗传算法应用实例。 321
例14-3 适值函数标定的遗传算法应用实例。 324
例14-4 大变异遗传算法应用实例。 329
例14-5 自适应遗传算法应用实例。 333
例14-6 双切点交叉遗传算法应用实例。 336
例14-7 多变异位自适应遗传算法应用实例。 340
例14-8 优化工具的ga求解器应用实例1。 341
例14-9 优化工具的ga求解器应用实例2。 342
第15章 工程最优化问题实例
例15-1 生产任务分配问题应用实例1。 346
例15-2 生产任务分配问题应用实例2。 347
例15-3 运输问题应用实例。 350
例15-4 生产运输问题应用实例1。 354
例15-5 生产运输问题应用实例2。 357
例15-6 资源利用问题应用实例。 359
例15-7 下料问题应用实例。 361
例15-8 配套问题应用实例。 362
例15-9 有限选址问题应用实例。 364
例15-10 生产组织与计划问题应用实例。 365
例15-11 选址问题应用实例。 367
例15-12 销售利润最大化问题应用实例。 368
例15-13 库存问题应用实例1。 370
例15-14 库存问题应用实例2。 370
例15-15 库存问题应用实例3。 371
例15-16 最大体积问题应用实例。 372
例15-17 资源分配问题应用实例。 372
例15-18 和三角形有关的极值问题应用实例1。 373
例15-19 和三角形有关的极值问题应用实例2。 374
例15-20 点到曲线距离问题应用实例1。 375
例15-21 点到曲线距离问题应用实例2。 376
例15-22 点到曲线距离问题应用实例3。 377
例15-23 曲线到曲线距离问题应用实例。 379
第16章 经济金融最优化问题实例
例16-1 未考虑销售影响的利润最大化问题实例。 382
例16-2 考虑销售影响的利润最大化问题实例。 383
例16-3 最优消费问题应用实例。 384
例16-4 最优投资分配问题应用实例。 385
例16-5 资金最优使用问题实例。 387
例16-6 古诺竞争模型应用实例。 389
例16-7 斯塔克尔伯格模型应用实例。 390
例16-8 标准均值-方差投资组合应用实例。 392
例16-9 有上界的均值-方差投资组合应用实例。 393
例16-10 有交易成本的均值-方差投资组合应用实例。 394
例16-11 自融资均值-方差投资组合应用实例。 395

② matlab 向凸优化非线性约束函数传递参数 fmincon

您好，un为目标函数，它可用前面的方法定义；
x0为初始值；
A、b满足线性不等式约束 ，若没有不等式约束，则取A=[ ]，b=[ ]；
Aeq、beq满足等式约束 ，若没有，则取Aeq=[ ]，beq=[ ]；
lb、ub满足 ，若没有界，可设lb=[ ]，ub=[ ]；
nonlcon的作用是通过接受的向量x来计算非线性不等约束 和等式约束 分别在x处的估计C和Ceq，通过指定函数柄来使用，如：>>x = fmincon(@myfun,x0,A,b,Aeq,beq,lb,ub,@mycon)，先建立非线性约束函数，并保存为mycon.m：function [C,Ceq] = mycon(x)
C = …
% 计算x处的非线性不等约束 的函数值。
Ceq = …
% 计算x处的非线性等式约束 的函数值。
lambda是Lagrange乘子，它体现哪一个约束有效。
output输出优化信息；
grad表示目标函数在x处的梯度；
hessian表示目标函数在x处的Hessiab值。

注意：
1. fmincon 函数提供了大型优化算法和中型优化算法。默认时，若在 fun 函数中提供了梯度（options 参数的 GeadObj 设置为 'on'），并且只有上下界存在或只有等式约束，fmincon 函数将选择大型算法。 当既有等式约束又有梯度约束时，使用中型算法。
2. fmincon 函数的中型算法一般是使用序列二次规划。在每一步迭代中求解二次规划子问题，并用 BFGS 法更新 Lagrangian 乘子和 Hessian 矩阵。
3. fmincon 函数的大型算法采用了subspace trust region 优化算法。这种算法是把目标函数在点x的邻域泰勒展开（x可以认为是人为提供的初始猜测），这个展开的邻域就是所谓的trust region，泰勒展开进行到二阶项为止。
4. fmincon 函数可能会给出局部最优解，这与初始值的选取有关。

③ ​利用MATLAB优化工具箱解决如下的最小二乘问题：

这个题目本质上就是个二次函数的求极值问题。

（1）首先将式子化简

如图

（3）上述过程包含了计算的步骤，可以用optimtool设置方法来求解并得到过程。本来想给你结果的，分数太少，就不写上去了。

④ 最优化方法及其Matlab程序设计的目录

第1章 最优化理论基础
1.1 最优化问题的数学模型
1.2 向量和矩阵范数
1.3 函数的可微性与展开
1.4 凸集与凸函数
1.5 无约束问题的最优性条件
1.6 无约束优化问题的算法框架
习题1
第2章 线搜索技术
2.1 精确线搜索及其Matlab实现
2.1.1 黄金分割法
2.1.2 抛物线法
2.2 非精确线搜索及其Matlab实现
2.2.1 Wolfe准则
2.2.2 Armijo准则
2.3 线搜索法的收敛性
习题2
第3章 最速下降法和牛顿法
3.1 最速下降方法及其Matlab实现
3.2 牛顿法及其Matlab实现
3.3 修正牛顿法及其Matlab实现
习题3
第4章 共轭梯度法
4.1 共轭方向法
4.2 共轭梯度法
4.3 共轭梯度法的Matlab程序
习题4
第5章 拟牛顿法
5.1 拟牛顿法及其性质
5.2 BFGS算法及其Matlab实现
5.3 DFP算法及其Matlab实现
5.4 Broyden族算法及其Matlab实现
5.5 拟牛顿法的收敛性
习题5
第6章 信赖域方法
6.1 信赖域方法的基本结构
6.2 信赖域方法的收敛性
6.3 信赖域子问题的求解
6.4 信赖域方法的Matlab程序
习题6
第7章 非线性最小二乘问题
7.1 Gauss-Newton法
7.2 Levenberg-Marquardt方法
7.3 L-M算法的Matlab程序
习题7
第8章 最优性条件
8.1 等式约束问题的最优性条件
8.2 不等式约束问题的最优性条件
8.3 一般约束问题的最优性条件
8.4 鞍点和对偶问题
习题8
第9章 罚函数法
9.1 外罚函数法
9.2 内点法
9.2.1 不等式约束问题的内点法
9.2.2 一般约束问题的内点法
9.3 乘子法
9.3.1 等式约束问题的乘子法
9.3.2 一般约束问题的乘子法
9.4 乘子法的Matlab实现
习题9
第10章 可行方向法
10.1 Zoutendijk可行方向法
10.1.1 线性约束下的可行方向法
10.1.2 非线性约束下的可行方向法
10.2 梯度投影法
10.2.1 梯度投影法的理论基础
10.2.2 梯度投影法的计算步骤
10.3 简约梯度法
10.3.1 Wolfe简约梯度法
10.3.2 广义简约梯度法
习题10
第11章 二次规划
11.1 等式约束凸二次规划的解法
11.1.1 零空间方法
11.1.2 拉格朗日方法及其Matlab程序
11.2 一般凸二次规划的有效集方法
11.2.1 有效集方法的理论推导
11.2.2 有效集方法的算法步骤
11.2.3 有效集方法的Matlab程序
习题11
第12章 序列二次规划法
12.1 牛顿一拉格朗日法
12.1.1 牛顿一拉格朗日法的基本理论
12.1.2 牛顿一拉格朗日法的Matlab程序
12.2 SQP方法的算法模型
12.2.1 基于拉格朗日函数Hesse矩阵的SQF·方法
12.2.2 基于修正Hesse矩阵的SQP方法
12.3 SQP方法的相关问题
12.3.1 二次规划子问题的Hesse矩阵
12.3.2 价值函数与搜索方向的下降性
12.4 SQP方法的Matlab程序
12.4.1 SQP子问题的Matlab实现
12.4.2 SQP方法的Matlab实现
习题12
参考文献
附录 Matlab优化工具箱简介
A.1 线性规划
A.2 二次规划
A.3 无约束非线性优化
A.4 非线性最小二乘问题
A.5 约束条件的非线性优化命令
A.6 最小最大值的优化问题

⑤ matlab中的fmincon函数怎么用

一、fmincon函数基本介绍
求解问题的标准型为
min F(X)
s.t
AX <= b
AeqX = beq
G(x) <= 0
Ceq(X) = 0
VLB <= X <= VUB

其中X为n维变元向量，G(x)与Ceq(X)均为非线性函数组成的向量，其它变量的含义与线性规划，二次规划中相同，用Matlab求解上述问题，基本步骤分为三步：
1. 首先建立M文件fun.m定义目标函数F(X)：
function f = fun(X);
f = F(X)

2. 若约束条件中有非线性约束：G(x) <= 0 或 Ceq(x) = 0，则建立M文件nonlcon.m定义函数G(X)和Ceq(X);
function [G, Ceq] = nonlcon(X)
G = ...
Ceq = ...

3. 建立主程序，非线性规划求解的函数时fmincon，命令的基本格式如下：
[转载]Matlab <wbr>fmincon函数用法

注意：
（1）fmincon函数提供了大型优化算法和中型优化算法。默认时，若在fun函数中提供了梯度（options 参数的GradObj设置为'on'），并且只有上下界存在或只有等式约束，fmincon函数将选择大型算法，当既有等式约束又有梯度约束时，使用中型算法。
（2）fmincon函数的中型算法使用的是序列二次规划法。在每一步迭代中 求解二次规划子问题，并用BFGS法更新拉格朗日Hessian矩阵。
（3）fmincon函数可能会给出局部最优解，这与初值X0的选取有关。

二、实例
1. 第一种方法，直接设置边界
主要是指直接设置A，b等参数。
例1：min f = -x1 - 2*x2 + 1/2*x1^2 + 1/2 * x2^2
2*x1 + 3*x2 <= 6
x1 + 4*x2 <= 5
x1, x2 >= 0

function ex131101

x0 = [1; 1];
A = [2, 3; 1, 4];
b = [6, 5];
Aeq = [];
beq = [];
VLB = [0; 0];
VUB = [];
[x, fval] = fmincon(@fun3, x0, A, b, Aeq, beq, VLB, VUB)

function f = fun3(x)
f = -x(1) - 2*x(2) + (1/2)*x(1)^2 + (1/2)*x(2)^2;

2. 第二种方法，通过函数设置边界
例2： min f(x) = exp(x1) * (4*x1^2 + 2*x2^2 + 4*x1*x2 + 2*x2 + 1)
x1 + x2 = 0
1.5 + x1 * x2 - x1 - x2 <= 0
-x1*x2 - 10 <= 0
function youh3
clc;
x0 = [-1, 1];
A = [];b = [];
Aeq = []; beq = [];
vlb = []; vub = [];
[x, fval] = fmincon(@fun4, x0, A, b, Aeq, beq, vlb, vub, @mycon)

function f = fun4(x);
f = exp(x(1)) * (4*x(1)^2 + 2*x(2)^2 + 4*x(1)*x(2) + 2*x(2) + 1);

function [g, ceq] = mycon(x)
g = [1.5 + x(1)*x(2) - x(1) - x(2); -x(1)*x(2) - 10];
ceq = [x(1) + x(2)];

3. 进阶用法，增加梯度以及传递参数
这里用无约束优化函数fminunc做示例，对于fmincon方法相同，只需将边界项设为空即可。
（1）定义目标函数
function [J, grad] = costFunction(theta, X, y)
%COSTFUNCTION Compute cost and gradient for logistic regression
% J = COSTFUNCTION(theta, X, y) computes the cost of using theta as the
% parameter for logistic regression and the gradient of the cost
% w.r.t. to the parameters.

% Initialize some useful values
m = length(y); % number of training examples

% You need to return the following variables correctly
J = 0;
grad = zeros(size(theta));

% ====================== YOUR CODE HERE ======================
% Instructions: Compute the cost of a particular choice of theta.
% You should set J to the cost.
% Compute the partial derivatives and set grad to the partial
% derivatives of the cost w.r.t. each parameter in theta
%
% Note: grad should have the same dimensions as theta
%

z = X * theta;
hx = 1 ./ (1 + exp(-z));
J = 1/m * sum([-y' * log(hx) - (1 - y)' * log(1 - hx)]);

for j = 1: length(theta)
grad(j) = 1/m * sum((hx - y)' * X(:,j));
end

% =============================================================

end

（2）优化求极小值
% Set options for fminunc
options = optimset('GradObj', 'on', 'MaxIter', 400);

% Run fminunc to obtain the optimal theta
% This function will return theta and the cost
[theta, cost] = ...
fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);

% [theta, cost] = ...
% fminunc(@(t)(costFunction(t, X, y)), initial_theta);
% Print theta to screen
fprintf('Cost at theta found by fminunc: %fn', cost);
fprintf('theta: n');
fprintf(' %f n', theta);