broyden算法

❶ 最优化中的BFGS算法英文全称是什么

BFGS是拟牛顿算法中构造矩阵方法的一种，这四个字母是四个人的名字的首字母合写，就好象PBE和PW91都算是GGA一样。。Broyden, Fletcher, Goldfarb和Shanno的姓氏首字母命名。

❷ 韩继业的韩继业教授研究项目

韩继业教授主要研究非线性优化及相关领域。二十世纪的后二十年是国际上非线性优化的蓬勃发展时期，改革开放的方针给科研工作带来了难得的安定环境。根据国际上学科发展的动态和趋势，他先后选择了一些重要的具有不同结构和特征的问题和算法作为研究课题，涉及非线性规划、不可微优化、变分不等式与互补问题、双层规划、半定规划和组合优化等方面。这一时期他的研究工作有了长足的进展，他与研究生及其他人合作取得以下几方面的成果：
1. 对非线性优化的共轭梯度方法、拟牛顿方法和信赖域方法的收敛性质的深入研究。这几类方法都是求解中等规模及大规模优化问题的重要方法。文献中共轭梯度法的全局收敛性的证明需要有“充分下降性”这一比较强的条件，韩继业教授与合作者去掉此条件并也减弱某些其他条件下证明了几种共轭梯度法的全局收敛性，这减少了算法的计算步骤并扩大了算法的应用范围。无约束优化的着名的DFP、BFGS 和Broyden 族等拟牛顿方法在非精确线性搜索下对于非凸函数的全局收敛性从上世纪六十年代至今仍是open 问题。他与合作者证明了对于一些函数类在比较广泛的非精确线性搜索下有全局收敛性，对此问题取得了实质性的进展。对于带一般非线性约束的优化问题，求解算法的全局收敛性大都需假使约束函数在解点的梯度满足独立性，他与合作者设计出非单调信赖域方法，并证明了新算法在不要求此条件下具有全局收敛性和局部超线性收敛性，这扩大了算法的应用范围，也是对优化算法理论的有意义的探讨。
2．对抽象迭代算法模型的收敛条件的研究。优化问题和方程组的迭代求解方法可利用一列集值映射来表述，这种抽象算法模型的引进使得可利用集值分析的概念和结果来统一地研究迭代算法的收敛性。文献中W. I. Zangwill, E. Polak, P.Huard, R. R. Meyer, J. Denel,等人对抽象算法的收敛条件先后做出了一些重要的结果。韩继业教授与合作者给出了更广泛的非闭的收敛条件，改进了许多已有的结果，并用以研究投影算法的收敛性。
3. 排序和网络等组合优化问题的近似算法的研究。韩继业教授与合作者对于有约束的单机和多机排序问题以及网络的极大割问题等一些NP-hard 问题提出了多项式时间的近似算法，证明了它们比文献中已有的近似算法有更好的“最坏情况下性能比”。
4. 变分不等式的解的存在性和解集的有界性的研究。变分不等式是近四十余年内出现的一类新的数学问题，它与非线性优化、变分学、不动点问题、和均衡问题等有密切联系。韩继业教授与合作者定义了变分不等式的“例外族”的概念，基于此概念并利用拓扑度理论得到了连续映射的变分不等式有解和解集非空有界的两个条件，并证明了新条件对于伪单调连续映射的变分不等式分别是有解和解集非空有界的充要条件，新条件也改进了文献中某些结果。
5. 互补问题和变分不等式的求解方法的研究。这是国际上近十多年来应用数学的一研究热点。韩继业教授与合作者较早开展了对互补问题和变分不等式的求解算法的系统研究，设计出了关于非线性变分不等式的牛顿型和拟牛顿型方法和关于互补问题的内点法、非内点连续化方法等，它们的迭代过程主要是解一列线性方程组，在某些条件下它们具有全局收敛性和局部平方收敛速度。
“老骥伏枥，志在千里，烈士暮年，壮心不已”。目前，韩继业教授虽然从中国科学院应用数学所的工作岗位上退了下来，但他退而不休，仍然以饱满的热情关注着本领域学术研究的前沿，像年轻人一般活跃在科研工作第一线。韩继业教授不但仍为清华讲授优化课程，还继续与他早已毕业的研究生们及国内外同行保持着密切的学术合作与交流。同时，作为《应用数学学报》与《数学学报》的编委，韩继业教授以他一贯的谨慎与严谨为提高刊物质量默默耕耘。作为优化领域的知名学者，他还常常被邀请作为博士生毕业答辩委员会主席或成员，关注着优化领域里新人的培养与成长。韩继业教授目光明敏，思维活跃，年近古稀仍处在学术研究的“青春期”。

❸ Python怎么做最优化

一、概观
scipy中的optimize子包中提供了常用的最优化算法函数实现。我们可以直接调用这些函数完成我们的优化问题。optimize中函数最典型的特点就是能够从函数名称上看出是使用了什么算法。下面optimize包中函数的概览：
1.非线性最优化
fmin -- 简单Nelder-Mead算法
fmin_powell -- 改进型Powell法
fmin_bfgs -- 拟Newton法
fmin_cg -- 非线性共轭梯度法
fmin_ncg -- 线性搜索Newton共轭梯度法
leastsq -- 最小二乘
2.有约束的多元函数问题
fmin_l_bfgs_b ---使用L-BFGS-B算法
fmin_tnc ---梯度信息
fmin_cobyla ---线性逼近
fmin_slsqp ---序列最小二乘法
nnls ---解|| Ax - b ||_2 for x>=0
3.全局优化
anneal ---模拟退火算法
brute --强力法
4.标量函数
fminbound
brent
golden
bracket
5.拟合
curve_fit-- 使用非线性最小二乘法拟合
6.标量函数求根
brentq ---classic Brent (1973)
brenth ---A variation on the classic Brent（1980）ridder ---Ridder是提出这个算法的人名
bisect ---二分法
newton ---牛顿法
fixed_point
7.多维函数求根
fsolve ---通用
broyden1 ---Broyden’s first Jacobian approximation.
broyden2 ---Broyden’s second Jacobian approximationnewton_krylov ---Krylov approximation for inverse Jacobiananderson ---extended Anderson mixing
excitingmixing ---tuned diagonal Jacobian approximationlinearmixing ---scalar Jacobian approximationdiagbroyden ---diagonal Broyden Jacobian approximation8.实用函数
line_search ---找到满足强Wolfe的alpha值
check_grad ---通过和前向有限差分逼近比较检查梯度函数的正确性二、实战非线性最优化
fmin完整的调用形式是：
fmin(func, x0, args=(), xtol=0.0001, ftol=0.0001, maxiter=None, maxfun=None, full_output=0, disp=1, retall=0, callback=None)不过我们最常使用的就是前两个参数。一个描述优化问题的函数以及初值。后面的那些参数我们也很容易理解。如果您能用到，请自己研究。下面研究一个最简单的问题，来感受这个函数的使用方法：f(x)=x**2-4*x+8，我们知道，这个函数的最小值是4，在x=2的时候取到。
from scipy.optimize import fmin #引入优化包def myfunc(x):
return x**2-4*x+8 #定义函数
x0 = [1.3] #猜一个初值
xopt = fmin(myfunc, x0) #求解
print xopt #打印结果
运行之后，给出的结果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
程序准确的计算得出了最小值，不过最小值点并不是严格的2，这应该是由二进制机器编码误差造成的。
除了fmin_ncg必须提供梯度信息外，其他几个函数的调用大同小异，完全类似。我们不妨做一个对比：
from scipy.optimize import fmin,fmin_powell,fmin_bfgs,fmin_cgdef myfunc(x):
return x**2-4*x+8
x0 = [1.3]
xopt1 = fmin(myfunc, x0)
print xopt1
print
xopt2 = fmin_powell(myfunc, x0)
print xopt2
print
xopt3 = fmin_bfgs(myfunc, x0)
print xopt3
print
xopt4 = fmin_cg(myfunc,x0)
print xopt4
给出的结果是：
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 16
Function evaluations: 32
[ 2.00001953]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 53
1.99999999997
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 12
Gradient evaluations: 4
[ 2.00000001]
Optimization terminated successfully.
Current function value: 4.000000
Iterations: 2
Function evaluations: 15
Gradient evaluations: 5
[ 2.]
我们可以根据给出的消息直观的判断算法的执行情况。每一种算法数学上的问题，请自己看书学习。个人感觉，如果不是纯研究数学的工作，没必要搞清楚那些推导以及定理云云。不过，必须了解每一种算法的优劣以及能力所及。在使用的时候，不妨多种算法都使用一下，看看效果分别如何，同时，还可以互相印证算法失效的问题。
在from scipy.optimize import fmin之后，就可以使用help(fmin)来查看fmin的帮助信息了。帮助信息中没有例子，但是给出了每一个参数的含义说明，这是调用函数时候的最有价值参考。
有源码研究癖好的，或者当你需要改进这些已经实现的算法的时候，可能需要查看optimize中的每种算法的源代码。在这里：https:/ / github. com/scipy/scipy/blob/master/scipy/optimize/optimize.py聪明的你肯定发现了，顺着这个链接往上一级、再往上一级，你会找到scipy的几乎所有源码！

❹ 最优化方法及其Matlab程序设计的目录

第1章 最优化理论基础
1.1 最优化问题的数学模型
1.2 向量和矩阵范数
1.3 函数的可微性与展开
1.4 凸集与凸函数
1.5 无约束问题的最优性条件
1.6 无约束优化问题的算法框架
习题1
第2章 线搜索技术
2.1 精确线搜索及其Matlab实现
2.1.1 黄金分割法
2.1.2 抛物线法
2.2 非精确线搜索及其Matlab实现
2.2.1 Wolfe准则
2.2.2 Armijo准则
2.3 线搜索法的收敛性
习题2
第3章 最速下降法和牛顿法
3.1 最速下降方法及其Matlab实现
3.2 牛顿法及其Matlab实现
3.3 修正牛顿法及其Matlab实现
习题3
第4章 共轭梯度法
4.1 共轭方向法
4.2 共轭梯度法
4.3 共轭梯度法的Matlab程序
习题4
第5章 拟牛顿法
5.1 拟牛顿法及其性质
5.2 BFGS算法及其Matlab实现
5.3 DFP算法及其Matlab实现
5.4 Broyden族算法及其Matlab实现
5.5 拟牛顿法的收敛性
习题5
第6章 信赖域方法
6.1 信赖域方法的基本结构
6.2 信赖域方法的收敛性
6.3 信赖域子问题的求解
6.4 信赖域方法的Matlab程序
习题6
第7章 非线性最小二乘问题
7.1 Gauss-Newton法
7.2 Levenberg-Marquardt方法
7.3 L-M算法的Matlab程序
习题7
第8章 最优性条件
8.1 等式约束问题的最优性条件
8.2 不等式约束问题的最优性条件
8.3 一般约束问题的最优性条件
8.4 鞍点和对偶问题
习题8
第9章 罚函数法
9.1 外罚函数法
9.2 内点法
9.2.1 不等式约束问题的内点法
9.2.2 一般约束问题的内点法
9.3 乘子法
9.3.1 等式约束问题的乘子法
9.3.2 一般约束问题的乘子法
9.4 乘子法的Matlab实现
习题9
第10章 可行方向法
10.1 Zoutendijk可行方向法
10.1.1 线性约束下的可行方向法
10.1.2 非线性约束下的可行方向法
10.2 梯度投影法
10.2.1 梯度投影法的理论基础
10.2.2 梯度投影法的计算步骤
10.3 简约梯度法
10.3.1 Wolfe简约梯度法
10.3.2 广义简约梯度法
习题10
第11章 二次规划
11.1 等式约束凸二次规划的解法
11.1.1 零空间方法
11.1.2 拉格朗日方法及其Matlab程序
11.2 一般凸二次规划的有效集方法
11.2.1 有效集方法的理论推导
11.2.2 有效集方法的算法步骤
11.2.3 有效集方法的Matlab程序
习题11
第12章 序列二次规划法
12.1 牛顿一拉格朗日法
12.1.1 牛顿一拉格朗日法的基本理论
12.1.2 牛顿一拉格朗日法的Matlab程序
12.2 SQP方法的算法模型
12.2.1 基于拉格朗日函数Hesse矩阵的SQF·方法
12.2.2 基于修正Hesse矩阵的SQP方法
12.3 SQP方法的相关问题
12.3.1 二次规划子问题的Hesse矩阵
12.3.2 价值函数与搜索方向的下降性
12.4 SQP方法的Matlab程序
12.4.1 SQP子问题的Matlab实现
12.4.2 SQP方法的Matlab实现
习题12
参考文献
附录 Matlab优化工具箱简介
A.1 线性规划
A.2 二次规划
A.3 无约束非线性优化
A.4 非线性最小二乘问题
A.5 约束条件的非线性优化命令
A.6 最小最大值的优化问题