爬山算法和模拟退火区别

Ⅰ 遗传算法

根据问题的目标函数构造一个适值函数，对一个由多个解（每个解对应一个染色体）构成的种群进行评估、遗传、选择，经多代繁殖，获得适应值最好的个体作为问题的最优解。

1，产生一个初始种群

2，根据问题的目标函数构造适值函数

3，根据适应值的好坏不断选择和繁殖

4，若干代后得到适应值最好的个体即为最优解

1.种群和种群大小

一般越大越好，但是规模越大运算时间越大，一般设为100~1000

2. 编码方法 （基因表达方法

3. 遗传算子

包括交叉和变异，模拟了每一代中创造后代的繁殖过程。是遗传算法的精髓

交叉：性能在很大程度上取决于交叉运算的性能，交叉率Pc：各代中交叉产生的后与代数与种群中的个体数的比。Pc越高，解空间就越大，越耗时/

变异:Pm:种群中变异基因数在总基因数中的百分比。它控制着新基因导入种群的比例。太低，一些有用的基因就难以进入选择；太高，后代就可能失去从双亲继承下来的良好特性，也就失去了从过去中搜索的能力。

4.选择策略

适者生存，优胜劣汰

5.停止准则

最大迭代数

初始种群的产生：随机产生，具体依赖于编码方法

编码方法 ：二进制编码法、浮点编码法、符号编码法。顺序编码，实数编码，整数编码。

适值函数 ：根据目标函数设计

遗传运算 ： 交叉 ：单切点交叉，双切点交叉，均匀交叉，算术交叉

变异 ：基本位变异（Simple Mutation）：对个体编码串中以变异概率、随机指定的某一位或某几位仅因座上的值做变异运算。

均匀变异（Uniform Mutation）：分别用符合某一范围内均匀分布的随机数，以某一较小的概率来替换个体编码串中各个基因座上的原有基因值。（特别适用于在算法的初级运行阶段）

边界变异（Boundary Mutation）：随机的取基因座上的两个对应边界基因值之一去替代原有基因值。特别适用于最优点位于或接近于可行解的边界时的一类问题。

非均匀变异：对原有的基因值做一随机扰动，以扰动后的结果作为变异后的新基因值。对每个基因座都以相同的概率进行变异运算之后，相当于整个解向量在解空间中作了一次轻微的变动。

高斯近似变异：进行变异操作时用符号均值为P的平均值，方差为P**2的正态分布的一个随机数来替换原有的基因值。

选择策略 ：1.轮盘赌选择（Roulette Wheel Selection）：是一种回放式随机采样方法。每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例。选择误差较大。

2.随机竞争选择（Stochastic Tournament）：每次按轮盘赌选择一对个体，然后让这两个个体进行竞争，适应度高的被选中，如此反复，直到选满为止。

3.最佳保留选择：首先按轮盘赌选择方法执行遗传算法的选择操作，然后将当前群体中适应度最高的个体结构完整地复制到下一代群体中。

4.无回放随机选择（也叫期望值选择Excepted Value Selection）：根据每个个体在下一代群体中的生存期望来进行随机选择运算。方法如下:

（1） 计算群体中每个个体在下一代群体中的生存期望数目N。

（2） 若某一个体被选中参与交叉运算，则它在下一代中的生存期望数目减去0.5，若某一个体未 被选中参与交叉运算，则它在下一代中的生存期望数目减去1.0。

（3） 随着选择过程的进行，若某一个体的生存期望数目小于0时，则该个体就不再有机会被选中。

5.确定式选择：按照一种确定的方式来进行选择操作。具体操作过程如下：

（1） 计算群体中各个个体在下一代群体中的期望生存数目N。

（2） 用N的整数部分确定各个对应个体在下一代群体中的生存数目。

（3） 用N的小数部分对个体进行降序排列，顺序取前M个个体加入到下一代群体中。至此可完全确定出下一代群体中M个个体。

6.无回放余数随机选择：可确保适应度比平均适应度大的一些个体能够被遗传到下一代群体中，因而选择误差比较小。

7.均匀排序：对群体中的所有个体按期适应度大小进行排序，基于这个排序来分配各个个体被选中的概率。

8.最佳保存策略：当前群体中适应度最高的个体不参与交叉运算和变异运算，而是用它来代替掉本代群体中经过交叉、变异等操作后所产生的适应度最低的个体。

9.随机联赛选择：每次选取几个个体中适应度最高的一个个体遗传到下一代群体中。

10.排挤选择：新生成的子代将代替或排挤相似的旧父代个体，提高群体的多样性。

之前在网上看到的一个比方，觉得很有趣：

{

既然我们把函数曲线理解成一个一个山峰和山谷组成的山脉。那么我们可以设想所得到的每一个解就是一只袋鼠，我们希望它们不断的向着更高处跳去，直到跳到最高的山峰。所以求最大值的过程就转化成一个“袋鼠跳”的过程。

下面介绍介绍“袋鼠跳”的几种方式。

爬山算法：一只袋鼠朝着比现在高的地方跳去。它找到了不远处的最高的山峰。但是这座山不一定是最高峰。这就是爬山算法，它不能保证局部最优值就是全局最优值。

模拟退火：袋鼠喝醉了。它随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，它渐渐清醒了并朝最高峰跳去。这就是模拟退火算法。

遗传算法：有很多袋鼠，它们降落到喜玛拉雅山脉的任意地方。这些袋鼠并不知道它们的任务是寻找珠穆朗玛峰。但每过几年，就在一些海拔高度较低的地方射杀一些袋鼠。于是，不断有袋鼠死于海拔较低的地方，而越是在海拔高的袋鼠越是能活得更久，也越有机会生儿育女。就这样经过许多年，这些袋鼠们竟然都不自觉地聚拢到了一个个的山峰上，可是在所有的袋鼠中，只有聚拢到珠穆朗玛峰的袋鼠被带回了美丽的澳洲。

}

（把那些总是爱走下坡路的袋鼠射杀，这就是遗传算法的精粹！）

遗传算法并不保证你能获得问题的最优解，但是使用遗传算法的最大优点在于你不必去了解和操心如何去“找”最优解。（你不必去指导袋鼠向那边跳，跳多远。）而只要简单的“否定”一些表现不好的个体就行了。（把那些总是爱走下坡路的袋鼠射杀，这就是遗传算法的精粹！）

改进与变形

编码方法：

Ⅱ 模拟退火法^[1，]

模拟退火算法最早在1953年由 Metropolis等人提出。在地球物理中的最早应用是Rothman在1983年利用模拟退火算法处理地震资料的剩余静校正。模拟退火法也是类似于蒙特卡洛法的随机搜索方法。但是在产生模型的过程中引入一些规则，能有效地加快搜索速度，有时又称这类方法为启发式蒙特卡洛法。

模拟退火法概念源于统计物理学，是模拟固体熔化状态逐渐缓慢冷却最终达到能量最小的结晶状态的物理过程。对于一个熔化的金属，当处于某个温度的热平衡状态时，它的每一个分子都有它可能所处的状态，有些分子可能能量高一些，有些分子可能能量低一些，分子处于何种状态的概率由分子所具有的能量决定。设分子所有可能的能级总数为n(微观粒子的能量都是量子化的，不连续的)，则分子处于某种状态的概率满足玻尔兹曼概率分布:

地球物理反演教程

其中:Ei为第i个分子的能量;K为玻尔兹曼常数;T为绝对温度;n为分子所有可能的能级总数，分母称为配分因子;p_i为第i个分子处于能量E_i的概率。

如果把地球物理反演的模型向量看作分子，把目标函数看作分子的能量，把目标函数的极小值看成分子冷却结晶的最小能量，反演问题(最优化问题)可以模拟式(8.11)金属退火的过程，通过缓慢地减小温度进行反演，使目标函数(能量)逐渐达到极小值，这时所对应的模型(分子状态)就是反演结果。

为了改善于蒙特卡洛法的随机搜索方法，1953年 Metropolis等人在产生模型的过程中引入Metropolis接受准则，模型产生并不是完全随机，而是以前一个模型为基础随机产生。对能量减小的模型完全接受，对能量增加的模型按一定的概率接受，这样能有效地加快搜索速度，同时又有可能跳出局部极小值。具体如下:

设原来模型向量为m_i，新的模型为m_i+1(在m_i基础上随机修改产生)，各自的能量(目标函数)为E(m_i)和E(m_i+1)。如果E(m_i+1)＜E(m_i)，则目标函数在减小，新模型可以接受。如果E(m_i+1)＞E(m_i)，则目标函数在增加，按照一定概率来确定是否接受新的模型。具体规则见式(8.12):

E(m_i+1)＜E(m_i) 完全接受m_i+1为新模型

地球物理反演教程

式(8.12)就是Metropolis接受准则。它使得反演过程可以接受使目标函数增加的模型，因此也就使得模拟退火法有可能跳出局部极小，收敛于全局极小值点。由于玻尔兹曼常数K只是起到尺度因子的作用，在实际计算中K可取为1来简化公式。从式(8.12)可以看出，当温度较低时，p_i+1/p_i较小，因此接受使能量增加的新模型的可能性较小。而一般温度较低时，目标函数较小，模型比较靠近真实模型，这时基本上只接受使目标函数减小的模型，使模型尽快收敛于极小值点。

在模拟退火反演中，要求温度T随着迭代次数的增加而缓慢降温。常用的温度函数有两种。

(1)指数下降型:

T_k=T₀·exp(-ck^1/N) (8.13)

式中:k为迭代次数;c为衰减因子;N为模型参数的个数;T₀为初始温度。上式也可以改写为

地球物理反演教程

通常选择0.7≤α≤1。在实际应用中可采用0.5或1代替式(8.14)的1/N。图8.4(a)为指数降温曲线。采用参数为:T₀=200℃，α=0.99，1/N=0.9。

(2)双曲线下降型:

T=T₀α^k (8.15)

式中:T₀为初始温度;k为迭代次数;α为衰减因子，通常取0.99。初始温度T₀不能取得太高，否则增加计算时间浪费机时;T₀也不能太低，否则模型选取不能遍及整个模型空间，只是在初始模型附近选取，不能进行全局寻优。所以T₀的确定只有通过实验计算得到。图8.4(b)为双曲线降温曲线。采用参数为:T₀=200℃，α=0.99。从图8.4可以看出通过对不同温度曲线和相关参数进行选择，可以控制温度下降的方式和速度。

图8.4 模拟退火法降温曲线

模拟退火法主要有三种:

(1)MSA算法(Metropolis Simulated Annealing);

(2)HBSA算法(Heat Bath Simulated Annealing);

(3)VFSA算法(Very Fast Simulated Annealing)。

图8.5 模拟退火MSA算法程序流程图

前面介绍的利用 Metropolis接受准则的算法就是经典的模拟退火法。图8.5为模拟退火 MSA算法的程序流程图。从中可以看出 MSA算法有一套模型修改准则，依次改变模型参数，每次改变都是在原来模型基础上改变一个参数，因此容易保持已有搜索成果，持续不断地向目标函数最小值点接近，因此搜索效率比蒙特卡洛法高。此外，MSA算法允许接受使目标函数增加的模型，这样又易于跳出局部极小，达到全局极小。但 MSA算法在任何温度下和蒙特卡洛法一样都是在模型全空间进行搜索，不能根据当前温度和模型减小搜索空间，此外由于模型的修改全凭运气，所以不可能像前面介绍的最小二乘法那样目标函数基本上持续减小，而是呈不规则振荡在宏观上逐渐减小，因此效率较低。

HBSA算法与 MSA算法的不同之处是在模型的修改上。也是首先随机选择一个初始M维模型向量m₀(它具有M个参数);然后限制各个模型参数可能的取值范围，对取值离散化。假设每个模型参数都有N个可能的值，首先固定模型第2个参数m₀(2)直到第M个参数m₀(M)保持不变，只修改第1个参数m₀(1);计算m₀(1)的所有取值时的目标函数，然后按式(8.16)计算“概率”，它就是式(8.11)配分因子取1的公式。即

地球物理反演教程

选择“概率”最大的为模型第1个参数的修改值。照此依次对所有模型参数进行修改完成依次迭代计算。在每次迭代计算中保持温度不变。随着迭代次数增加，温度降低，最终达到稳定状态，获得最小能量解。这种方法的计算由于要计算某个参数的所有可能值，所以计算量也是很大的。

1989年Ingber提出了VFSA算法，由于速度较快，最为常用。它使得模拟退火法从理论走向了实际应用。VFSA算法在流程上与传统的模拟退火法相同，但是在模型修改、接受概率以及降温曲线上有所改进。

(1)模型修改:常规模拟退火法采用高斯随机分布修改模型，在任何温度下都是在模型全空间进行搜索。而Ingber提出采用依赖于温度的似cauchy分布产生新的模型。即

地球物理反演教程

y_i=Tsgn(u-0.5)[(1+1/T^|2u-1|-1](8.18)

其中:m_i为当前模型第i个参数，m'_i为修改后的模型参数;u为[0，1]的随机数;[A_i，B_i]为m_i和m'_i的取值范围;sgn( )为符号函数。

采用以上方式能在高温下进行大范围的搜索，低温时在当前模型附近搜索，而且由于似cauchy分布具有平坦的“尾巴”，使其易于迅速跳出局部极值。这一改进大大加快了模拟退火法的收敛速度。

(2)接收概率:当E(m_i+1)＞E(m_i)时，VFSA算法采用如下概率接受公式:

地球物理反演教程

上式当h→1时变为式(8.12)。h通过实验获得。

(3)降温曲线(退火计划):Ingber在1989年采用式(8.13)得出指数降温曲线。从图8.4可知，温度下降较快。

总之，VFSA算法在模型修改、接受概率以及降温曲线上的改进使得模拟退火算法收敛速度大大加快。后人在此基础上还有很多的改进，读者可以参考相关文献。

模拟退火法的优点:由于不需要计算偏导数矩阵，不需要解线性方程组(当然正演计算的除外)，结构简单，易于编程;此外，由于它搜索范围大，能接受较差模型，因此易于达到全局极小。缺点:随机搜索，计算量巨大，往往要计算成百上千次正演，这与前面的最小二乘法十几次的正演计算相比反演时间太长，因此一般应用在一维反演之中，在二维、三维等高维反演中应用较少。

Ⅲ 算法式和爬山法的区别

爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。

算法式：把解决问题的方法一一进行尝试，最终找到解决问题的答案。特点：问题解决的系列搜索，采用试误的方式解决问题，优点：一定可以找到某种解决问题的方法，缺点：耗时耗力。

爬山法与手段目的分析法的区别：

使用爬山法的每一步都在逐渐接近最终目标，不存在中途折回的情况；在使用手段目的分析法时，人们有时为了达到目的，不得不暂时扩大目标状态与初始状态的差异，以有利于达到最终目标。

比如，两兵交战，若敌我力量悬殊，我军可采取迂回战术曲线救国，先假装投降，获取情报，再一举反攻。

Ⅳ 遗传算法、数值算法、爬山算法、模拟退火 各自的优缺点

遗传算法：优点是能很好的处理约束，能很好的跳出局部最优，最终得到全局最优解，全局搜索能力强；缺点是收敛较慢，局部搜索能力较弱，运行时间长，且容易受参数的影响。
模拟退火：优点是局部搜索能力强，运行时间较短；缺点是全局搜索能力差，容易受参数的影响。
爬山算法：显然爬山算法较简单，效率高，但是处理多约束大规模问题时力不从心，往往不能得到较好的解。
数值算法：这个数值算法的含义太广，你说的是哪一种数值算法？多数数组算法与爬山算法的有优缺点类似。
PS：望采纳！

Ⅳ 遗传算法、数值算法、爬山算法、模拟退火 各自的优缺点

遗传算法：其优点是能很好地处理约束，跳出局部最优，最终得到全局最优解。缺点是收敛速度慢，局部搜索能力弱，运行时间长，容易受到参数的影响。

模拟退火：具有局部搜索能力强、运行时间短的优点。缺点是全局搜索能力差，容易受到参数的影响。

爬山算法：显然爬山算法简单、效率高，但在处理多约束大规模问题时，往往不能得到较好的解决方案。

数值算法：这个数值算法的含义太宽泛了，指的是哪种数值算法，阵列算法与爬山算法一样，各有优缺点。

(5)爬山算法和模拟退火区别扩展阅读：

注意事项：

遗传算法的机制比较复杂，在Matlab中已经用工具箱中的命令进行了打包，通过调用可以非常方便的使用遗传算法。

函数GA：［x，Fval，reason］＝GA（＠fitnessfun，Nvars，options）x为最优解，Fval为最优值，＠Fitnessness为目标函数，Nvars为自变量个数，options为其他属性设置。系统的默认值是最小值，所以函数文档中应该加上一个减号。

要设置选项，您需要以下函数：options＝GaOptimset（＇PropertyName1＇，＇PropertyValue1＇，＇PropertyName2＇，＇PropertyName3＇，＇PropertyValue3＇…）通过该函数，可以确定一些遗传算法的参数。