遗传算法求近似解

A. 遗传算法的基本原理

遗传算法的基本原理和方法

一、编码

编码：把一个问题的可行解从其解空间转换到遗传算法的搜索空间的转换方法。

解码（译码）：遗传算法解空间向问题空间的转换。

二进制编码的缺点是汉明悬崖（Hamming Cliff），就是在某些相邻整数的二进制代码之间有很大的汉明距离，使得遗传算法的交叉和突变都难以跨越。

格雷码（Gray Code）：在相邻整数之间汉明距离都为1。

（较好）有意义的积木块编码规则：所定编码应当易于生成与所求问题相关的短距和低阶的积木块；最小字符集编码规则，所定编码应采用最小字符集以使问题得到自然的表示或描述。

二进制编码比十进制编码搜索能力强，但不能保持群体稳定性。

动态参数编码（Dynamic Paremeter Coding）：为了得到很高的精度，让遗传算法从很粗糙的精度开始收敛，当遗传算法找到一个区域后，就将搜索现在在这个区域，重新编码，重新启动，重复这一过程，直到达到要求的精度为止。

编码方法：

1、 二进制编码方法

缺点：存在着连续函数离散化时的映射误差。不能直接反映出所求问题的本身结构特征，不便于开发针对问题的专门知识的遗传运算算子，很难满足积木块编码原则

2、 格雷码编码滚如：连续的两个整数所对应的编码之间仅仅只有一个码位是不同的，其余码位都相同。

3、 浮点数编码方法：个体的每个基因值用某一范围内的某个浮点数来表示，个体的编码长度等于其决策变量的位数。

4、 各参数级联编码：对含有多个变量的个体进行编码的方法。通常将各个参数分别以某种编码方法进行编码，然后再将他们的编码按照一定顺序连接在一起就组成了表示全部参数的个体编码。

5、 多参数交叉编码：将各个参数中起主要作用的码位集中在一起，这样它们就不易于被遗传算子破坏掉。

评估编码的三个规范：完备性、健全性、非冗余性。

二、选择

遗传算法中的选择操作就是用来确定如何从父代群体中按某种方法选取那些个体遗传到下一代群体中的一种遗传运算，用来确定重组或交叉个体，以及被选个体将产生多少个子代个体。

常用的选择算子：

1、 轮盘赌选择（Roulette Wheel Selection）：是一种回放式随机采样方法。每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例。选择误差较大。

2、 随机竞争选择（Stochastic Tournament）：每次按轮盘赌选择一对个体，然后让这两个个体进行竞争，适应度高的被选中，如此反复，直到选满为止。

3、 最佳保留选择：首先按轮盘赌选择方法执行遗传算法的选择操作，然后将当前群体中适应度最高的大宏启个体结构完整地复制到下一代群体中。

4、 无回放随机选择（也叫期望值选择Excepted Value Selection）：根据每个个体在下一代群体中的生存期望来进行随机选择运算。方法如下

（1） 计算群体中每个个体在下一代群体中的生存期望数目N。

（2） 若某一个体被选中参与交叉运算，则它在下一代中的生存期望数目减去0.5，若某一个体未被选中参与交叉运算，则它绝配在下一代中的生存期望数目减去1.0。

（3） 随着选择过程的进行，若某一个体的生存期望数目小于0时，则该个体就不再有机会被选中。

5、 确定式选择：按照一种确定的方式来进行选择操作。具体操作过程如下：

（1） 计算群体中各个个体在下一代群体中的期望生存数目N。

（2） 用N的整数部分确定各个对应个体在下一代群体中的生存数目。

（3） 用N的小数部分对个体进行降序排列，顺序取前M个个体加入到下一代群体中。至此可完全确定出下一代群体中M个个体。

6、无回放余数随机选择：可确保适应度比平均适应度大的一些个体能够被遗传到下一代群体中，因而选择误差比较小。

7、均匀排序：对群体中的所有个体按期适应度大小进行排序，基于这个排序来分配各个个体被选中的概率。

8、最佳保存策略：当前群体中适应度最高的个体不参与交叉运算和变异运算，而是用它来代替掉本代群体中经过交叉、变异等操作后所产生的适应度最低的个体。

9、随机联赛选择：每次选取几个个体中适应度最高的一个个体遗传到下一代群体中。

10、排挤选择：新生成的子代将代替或排挤相似的旧父代个体，提高群体的多样性。

三、交叉

遗传算法的交叉操作，是指对两个相互配对的染色体按某种方式相互交换其部分基因，从而形成两个新的个体。

适用于二进制编码个体或浮点数编码个体的交叉算子：

1、单点交叉（One－pointCrossover）：指在个体编码串中只随机设置一个交叉点，然后再该点相互交换两个配对个体的部分染色体。

2、两点交叉与多点交叉：

（1） 两点交叉（Two－pointCrossover）：在个体编码串中随机设置了两个交叉点，然后再进行部分基因交换。

（2） 多点交叉（Multi－pointCrossover）

3、均匀交叉（也称一致交叉，UniformCrossover）：两个配对个体的每个基因座上的基因都以相同的交叉概率进行交换，从而形成两个新个体。

4、算术交叉（ArithmeticCrossover）：由两个个体的线性组合而产生出两个新的个体。该操作对象一般是由浮点数编码表示的个体。

四、变异

遗传算法中的变异运算，是指将个体染色体编码串中的某些基因座上的基因值用该基因座上的其它等位基因来替换，从而形成以给新的个体。

以下变异算子适用于二进制编码和浮点数编码的个体：

1、基本位变异（SimpleMutation）：对个体编码串中以变异概率、随机指定的某一位或某几位仅因座上的值做变异运算。

2、均匀变异（UniformMutation）：分别用符合某一范围内均匀分布的随机数，以某一较小的概率来替换个体编码串中各个基因座上的原有基因值。（特别适用于在算法的初级运行阶段）

3、边界变异（BoundaryMutation）：随机的取基因座上的两个对应边界基因值之一去替代原有基因值。特别适用于最优点位于或接近于可行解的边界时的一类问题。

4、非均匀变异：对原有的基因值做一随机扰动，以扰动后的结果作为变异后的新基因值。对每个基因座都以相同的概率进行变异运算之后，相当于整个解向量在解空间中作了一次轻微的变动。

5、高斯近似变异：进行变异操作时用符号均值为P的平均值，方差为P2的正态分布的一个随机数来替换原有的基因值。

B. 遗传算法原理简介

遗传算法（Genetic Algorithm, GA）是一种进化计算（Evolutionary Computing）算法，属于人工智能技术的一部分。遗传算法最早是由John Holland和他的学生发明并改进的，源于对达芬奇物种进化理论的模仿。在物种进化过程中，为了适应环境，好的基因得到保留，不好的基因被淘汰，这样经过很多代基因的变化，物种的基因就是当前自然环境下适应度最好的基因。该算法被广泛应用于优化和搜索中，用于寻求最优解（或最优解的近似），其最主要的步骤包括交叉（crossover）和突变（mutation）。

所有的生物体都由细胞组成，每个细胞中都包含了同样的染色体（chromosome）。染色体由一串DNA组成，我们可以简单地把一个生物个体表示为一条染色体。每条染色体上都包含着基因，而基因又是由多个DNA组成的。每个基因都控制着个体某个性状的表达，例如眼睛的颜色、眼皮的单双等。在物种繁衍的过程中，首先发生交叉，来自于父母的染色体经过分裂和重组，形成后代的染色体。之后，后代有一定概率发生基因突变，即染色体上某个位置处的基因以一定概率发生变化。之后，对每一代都重复进行交叉和突变两个步骤。对于每一个后代，我们可以通过一定的方式测量其适应度。适应度越好的个体，在下一次交叉中被选中的概率越大，它的基因越容易传给下一代。这样，后代的适应度就会越来越好，直到收敛到一个稳定值。

在优化问题中，可行解总是有很多个，我们希望寻找一个最优解，它相对于其他可行解来说具有更好的适应度（即目标函数值更大或更小）。每个可行解就是一个“生物个体”，可以表示为状态空间中的一个点和适应度。每个解都是一个经过编码的序列，已二进制编码为例，每个解都是一个二进制序列。这样每个染色体就是一个二进制序列。遗传算法从从一组可行解开始，称为population，从population中随机选择染色体进行交叉产生下一代。这一做法的基于下一代的适应度会好于上一代。遗传算法的过程如下：

终止条件可以是达到了最大迭代次数，或者是前后连续几代的最优染色体的适应度差值小于一个阈值。以上算法描述也许还不够直观，我们举例说明。假设解可以用二进制编码表示，则每个染色体都是一个二进制序列。假设序列长度为16，则每个染色体都是一个16位的二进制序列：

首先，我们随机生成一个population，假设population size为20，则有20个长度为16的二进制序列。计算每个染色体的适应度，然后选取两个染色体进行交叉，如下图所示。下图在第6为上将染色体断开再重组，断开的位置是可以随机选择的。当然，断裂位置也可以不止一个。可以根据具体问题选择具体的交叉方式来提升算法性能。

之后，随机选取后代染色体上某个基因发生基因突变，突变的位置是随机选取的。并且，基因突变并不是在每个后代上都会发生，只是有一定的概率。对于二进制编码，基因突变的方式是按位取反：

上述例子是关于二进制编码的，像求解一元函数在某个区间内的最大最小值就可以使用二进制编码。例如，求解函数f(x)=x+sin(3x)+cos(3x)在区间[0,6]内的最小值。假设我们需要最小值点x保留4位小数，那么求解区间被离散成60000个数。因为2 {15}<60000<2 {16}，所以，需要16位二进制数来表示这60000个可能的解。其中0x0000表示0，0x0001表示0.0001，以此类推。针对这个例子，文末给出了demo code．

然而，在排序问题中无法使用二进制编码，应该采用排列编码（permutation encoding）。例如有下面两个染色体：

交叉：随机选取一个交叉点，从该出将两个染色体断开。染色体A的前部分组成后代1的前部分，然后扫描染色体B，如果出现了后代1中不包含的基因，则将其顺序加入后代1中。同理，染色体B的前部分组成了后代2的前部分，扫描染色体A获得后代2的后部分。注意，交叉的方式多种多样，此处只是举出其中一种方式。

( 1 5 3 2 6 | 4 7 9 8) + ( 8 5 6 7 2 | 3 1 4 9) => ( 1 5 3 2 6 8 7 4 9) + ( 8 5 6 7 2 1 3 4 9)

突变：对于一个染色体，随机选中两个基因互换位置。例如第3个基因和倒数第2个基因互换：

(1 5 3 2 6 8 7 4 9) => (1 5 4 2 6 8 7 3 9)

此外还有值编码（value encoding）和树编码（tree encoding）等，具体例子可以参考这个链接： http://obitko.com/tutorials/genetic-algorithms/encoding.php

在实际的遗传算法中，往往会保留上一代中的少数几个精英（elite），即将上一代population中适应度最好的几个染色体加入到后代的poulation中，同时去除后代population中适应度最差的几个染色体。通过这个策略，如果在某次迭代中产生了最优解，则最优解能够一直保留到迭代结束。

用GA求函数最小值的demo code： https://github.com/JiaxYau/GA_test

参考资料 ：

[1] Introction to Genetic Algorithm, http://obitko.com/tutorials/genetic-algorithms/index.php

[2] Holland J H. Adaption in natural and artificial systems

C. 遗传算法与牛顿迭代法的优劣的比较

每个算法都各自的特点和它的优劣性。
牛顿迭代法是一种求近似解的方法。遗传算法也是一种可以全程求最优值的方法，一般就算法之间没有办法说优劣性，只能是说在特定的条件下该用什么方法。
就好比专家系统是一个具有专门知识的计算机程序系统，人工神经网络有很好的学习能力，但他们也有自身的缺点。
按楼主的意思来，牛顿迭代法是一种局部算法，遗传算法是全程算法，毕竟遗传参数里迭代次数也是一个很重要的参考因素。

D. 关于遗传算法

遗传算法（Genetic Algorithm，简称GA）是美国 Michigan大学的 John Golland提出的一种建立在自然选择和群体遗传学机理基础上的随机、迭代、进化、具有广泛适用性的搜索方法。现在已被广泛用于学习、优化、自适应等问题中。图4-1 给出了 GA搜索过程的直观描述。图中曲线对应一个具有复杂搜索空间（多峰空间）的问题。纵坐标表示适应度函数（目标函数），其值越大相应的解越优。横坐标表示搜索点。显然，用解析方法求解该目标函数是困难的。采用 GA时，首先随机挑选若干个搜索点，然后分别从这些搜索点开始并行搜索。在搜索过程中，仅靠适应度来反复指导和执行 GA 搜索。在经过若干代的进化后，搜索点后都具有较高的适应度并接近最优解。

一个简单GA由复制、杂交和变异三个遗传算子组成：

图4-2 常规遗传算法流程图