最小粒子演算法

『壹』 優化演算法筆記（五）粒子群演算法（3）

(已合並本篇內容至粒子群演算法（1）)

上一節中，我們看到小鳥們聚集到一個較小的范圍內後，不會再繼續集中。這是怎麼回事呢？
猜測：
1.與最大速度限制有關，權重w只是方便動態修改maxV。
2.與C1和C2有關，這兩個權重限制了鳥兒的搜索行為。
還是上一節的實驗， 。現在我們將maxV的值有5修改為50，即maxV=50，其他參數不變。參數如下

此時得到的最優位值的適應度函數值為0.25571,可以看出與maxV=5相比，結果差了很多而且小鳥們聚集的范圍更大了。
現在我們設置maxV=1，再次重復上面的實驗，實驗結果如下：

這次最終的適應度函數值為，比之前的結果都要好0.00273。從圖中我們可以看出，小鳥們在向一個點集中，但是他們飛行的速度比之前慢多了，如果問題更復雜，可能無法等到它們聚集到一個點，迭代就結束了。
為什麼maxV會影響鳥群的搜索結果呢？
我們依然以maxV=50為例，不過這次為了看的更加清晰，我們的鳥群只有2隻鳥，同時將幀數放慢5倍以便觀察。

思路一：限制鳥的最大飛行速率,由於慣性系數W的存在，使得控制最大速率和控制慣性系數的效果是等價的，取其一即可。
方案1：使慣性系數隨著迭代次數增加而降低，這里使用的是線性下降的方式，即在第1次迭代，慣性系數W=1,最後一次迭代時，慣性系數W=0，當然，也可以根據自己的意願取其他值。
實驗參數如下：

小鳥們的飛行過程如上圖，可以看到效果很好，最後甚至都聚集到了一個點。再看看最終的適應度函數值8.61666413451519E-17，這已經是一個相當精確的值了，說明這是一個可行的方案，但是由於其最後種群過於集中，有陷入局部最優的風險。
方案2：給每隻鳥一個隨機的慣性系數，那麼鳥的飛行軌跡也將不再像之前會出現周期性。每隻鳥的慣性系數W為（0,2）中的隨機數（保持W的期望為1）。
實驗參數如下：

可以看到小鳥們並沒有像上一個實驗一樣聚集於一個點，而是仍在一個較大的范圍內進行搜索。其最終的適應度函數為0.01176，比最初的0.25571稍有提升，但並不顯著。什麼原因造成了這種情況呢？我想可能是由於慣性系數成了期望為1的隨機數，那麼小鳥的飛行軌跡的期望可能仍然是繞著一個四邊形循環，只不過這個四邊形相比之前的平行四邊形更加復雜，所以其結果也稍有提升，當然對於概率演算法，得到這樣的結果可能僅僅是因為運氣不好
我們看到慣性系數W值減小，小鳥們聚攏到一處的速度明顯提升，那麼，如果我們去掉慣性系數這個參數會怎麼樣呢。
方案3：取出慣性系數，即取W=0，小鳥們只向著那兩個最優位置飛行。

可以看見鳥群們迅速聚集到了一個點，再看看得到的結果，最終的適應度函數值為2.9086886073362966E-30，明顯優於之前的所有操作。
那麼問題來了，為什麼粒子群演算法需要一個慣性速度，它的作用是什麼呢？其實很明顯，當鳥群迅速集中到了一個點之後它們就喪失了全局的搜索能力，所有的鳥會迅速向著全局最優點飛去，如果當前的全局最優解是一個局部最優點，那麼鳥群將會陷入局部最優。所以，慣性系數和慣性速度的作用是給鳥群提供跳出局部最優的可能性，獲得這個跳出局部最優能力的代價是它們的收斂速度減慢，且局部的搜索能力較弱（與當前的慣性速度有關）。
為了平衡局部搜索能力和跳出局部最優能力，我們可以人為的干預一下慣性系數W的大小，結合方案1和方案2，我們可以使每隻鳥的慣性系數以一個隨機周期，周期性下降，若小於0，則重置為初始值。

這樣結合了方案1和方案2的慣性系數，也能得到不錯的效果，大家可以自己一試。

思路二：改變小鳥們向群體最優飛行和向歷史最優飛行的權重。
方案4：讓小鳥向全局最優飛行的系數C2線性遞減。

小鳥們的飛行過程與之前好像沒什麼變化，我甚至懷疑我做了假實驗。看看最終結果，0.7267249621552874，這是到目前為止的最差結果。看來這不是一個好方案，讓全局學習因子C2遞減，勢必會降低演算法的收斂效率，而慣性系數還是那麼大，小鳥們依然會圍繞歷史最優位置打轉，畢竟這兩個最優位置是有一定關聯的。所以讓C1線性遞減的實驗也不必做了，其效果應該與方案4相差不大。
看來只要是慣性系數不變怎麼修改C1和C2都不會有太過明顯的效果。為什麼實驗都是參數遞減，卻沒有參數遞增的實驗呢？
1.慣性系數W必須遞減，因為它會影響鳥群的搜索范圍。
2.如果C1和C2遞增，那麼小鳥的慣性速度V勢必會跟著遞增，這與W遞增會產生相同的效果。

上面我們通過一些實驗及理論分析了粒子群演算法的特點及其參數的作用。粒子群作為優化演算法中模型最簡單的演算法，通過修改這幾個簡單的參數也能夠改變演算法的優化性能可以說是一個非常優秀的演算法。
上述實驗中，我們僅分析了單個參數對演算法的影響，實際使用時（創新、發明、寫論文時）也會同時動態改變多個參數，甚至是參數之間產生關聯。
實驗中，為了展現實驗效果，maxV取值較大，一般取值為搜索空間范圍的10%-20%，按上面（-100,100）的范圍maxV應該取值為20-40，在此基礎上，方案1、方案2效果應該會更好。
粒子群演算法是一種概率演算法，所以並不能使用一次實驗結果來判斷演算法的性能，我們需要進行多次實驗，然後看看這些實驗的效果最終來判斷，結果必須使用多次實驗的統計數據來說明，一般我們都會重復實驗30-50次，為了發論文去做實驗的小夥伴們不要偷懶哦。
粒子群演算法的學習目前告一段落，如果有什麼新的發現，後面繼續更新哦！
以下指標純屬個人yy,僅供參考

目錄
上一篇 優化演算法筆記（四）粒子群演算法（2）
下一篇 優化演算法筆記（六）遺傳演算法

『貳』 粒子群優化演算法和多模態優化演算法有什麼區別

摘 要：，粒子群演算法據自己的速度來決定搜索過程，只有最優的粒子把信息給予其他的粒子，整個搜索更新過程是跟隨當前最優解的過程，所有的粒子還可以更快的收斂於最優解。由於微粒群演算法簡單，容易實現，與其它求解約束優化問題的方法相比較，具有一定的優勢。實驗結果表明，對於無約束的非線性求解，粒子群演算法表現出較好的收斂性和健壯性。
關鍵詞：粒子群演算法；函數優化；極值尋優
0 引言
非線性方程的求根問題是多年來數學家努力解決的問題之一。長期以來，人們已找出多種用於解決方程求根的方法，例如牛頓法、弦割法、拋物線法等。然而，很多傳統的方法僅能運用於相應的小的問題集，推廣性相對較差。對於一個現實世界中的優化問題，必須嘗試很多不同的方法，甚至要發明相應的新的方法來解決，這顯然是不現實的。我們需要另外的方法來克服這樣的困難。
粒子群演算法是一種現代啟發式演算法，具有推廣性強、魯棒性高等特點[1]。該演算法具有群體智能、內在並行性、迭代格式簡單、可快速收斂到最優解所在區域等優點[2]。本文採用粒子群演算法，對函數的極值進行尋優計算，實現了對函數的極值求解。
1 粒子群演算法
1.1 基本原理
粒子群演算法（PSO）是一種基於群體的隨機優化技術，它的思想來源於對鳥群捕食行為的研究與模擬。粒子群演算法與其它基於群體的進化演算法相類似，選用「群體」和「進化」的概念，按照個體的適應度值進行操作，也是一種基於迭代的尋優技術。區別在於，粒子群演算法中沒有交叉變異等進化運算元，而是將每個個體看作搜索空間中的微粒，每個微粒沒有重量和體積，但都有自己的位置向量、速度向量和適應度值。所有微粒以一定的速度飛行於搜索空間中，其中的飛行速度是由個體飛行經驗和群體的飛行經驗動態調整，通過追蹤當前搜索到的最優值來尋找全局最優值。
1.2 參數選擇
粒子群演算法需要修改的參數很少，但對參數的選擇卻十分敏感。El-Gallad A, El-Hawary M, Sallam A, Kalas A[3]主要對演算法中的種群規模、迭代次數和粒子速度的選擇方法進行了詳細分析，利用統計方法對約束優化問題的求解論證了這 3 個參數對演算法性能的影響，並給出了具有一定通用性的3 個參數選擇原則[4]。
種群規模：通常根據待優化問題的復雜程度確定。
最大速度：決定粒子在一次迭代中的最大移動距離,通常設定為不超過粒子的范圍寬度。
加速常數：加速常數c1和c2通常是由經驗值決定的，它代表粒子向pbest和gbest靠攏的加速項的權重。一般取值為：c1=c2=2。
中止條件：達到最大迭代次數或得到最小誤差要求，通常要由具體問題確定。
慣性權重：慣性權重能夠針對待優化問題調整演算法的局部和全局搜索能力。當該值較大時有利於全局搜索，較小時有利於局部搜索。所以通常在演算法開始時設置較大的慣性權重，以便擴大搜索范圍、加快收斂。而隨著迭代次數的增加逐漸減小慣性權重的值，使其進行精確搜索，避免跳過最優解。
1.3 演算法步驟
PSO演算法步驟如下：
Step1：初始化一個規模為 m 的粒子群，設定初始位置和速度。
初始化過程如下：
（1）設定群體規模m;
（2）對任意的i，s，在[-xmax, xmax]內均勻分布，產生初始位置xis；
（3）對任意的i，s，在[-vmax, vmax]內均勻分布，產生速度vis；
（4）對任意的i，設yi=xi，保存個體。
Step2：計算每個粒子的適應度值。
Step3：對每個粒子的適應度值和得到過的最好位置pis的適應度值進行比較，若相對較好，則將其作為當前的最好位置。
Step4：對每個粒子的適應度值和全局得到過的最好位置pgs的適應度值進行比較，若相對較好，則將其作為當前的全局最好位置。
Step5：分別對粒子的所在位置和速度進行更新。
Step6：如果滿足終止條件，則輸出最優解；否則，返回Step2。
1.4 粒子群演算法函數極值求解
粒子群演算法優化是計算機智能領域，除蟻群演算法外的另一種基於群體智能的優化演算法。粒子群演算法是一種群體智能的煙花計算技術。與遺傳演算法相比，粒子群演算法沒有遺傳演算法的選擇（Selection）、交叉（Crossover）、變異（Mutation）等操作，而是通過粒子在解空間追隨最優的粒子進行搜索。
粒子群演算法流程如圖所示：

粒子群為由n個粒子組成的種群X = (X1,X2,X3,…Xn).
第i個粒子表示一個D維向量Xi = (X1,X2,X3,…XD)T.
第i個粒子的速度為Vi = (Vi1,Vi2,Vi3,…ViD)T.
個體極值為Pi = (Pi1,Pi2,Pi3,…PiD)T.
全局極值為Pg = (Pg1,Pg2,Pg3,…PgD)T.
速度更新為，式中，c1和c2為其兩個學習因子的參數值；r1和r2為其兩個隨機值。
位置更新為.
2 粒子群演算法應用舉例
2.1 實驗問題
這是一個無約束函數的極值尋優，對於Ackley函數，
.
其中c1=20，e=2. 71289。
2.2 實驗步驟
對於Ackley函數圖形，選取一個凹峰進行分析，程序運行結果如圖所示。

圖1 Ackley函數圖形
可以看出，選取區間內的Ackley函數圖形只有一個極小值點。因此，對於該段函數進行尋優，不會陷入局部最小。採用粒子群演算法對該函數進行極值尋優。
首先，進行初始化粒子群，編寫的MATLAB代碼如下：
% 初始化種群
for i=1:sizepop
x1 = popmin1 (popmax1-popmin1)*rand;
% 產生隨機個體
x2 = popmin2 (popmax2-popmin2)*rand;
pop(i,1) = x1; % 保存產生的隨機個體
pop(i,2) = x2;
fitness(i) = fun([x1,x2]); % 適應度值
V(i,1) = 0; % 初始化粒子速度
V(i,2) = 0;
end
程序運行後所產生的個體值為：
表1 函數個體值

然後，根據待尋優的目標函數，計算適應度值。待尋優的目標函數為：
function y = fun(x)
y=-20*exp(-0.2*sqrt((x(1)^2x(2)^2)/2))-exp((cos(2*pi*x(1)) cos(2*pi*x(2)))/2) 20 2.71289;
根據每一組個體，通過目標函數，得到的適應度值為：

表2 函數適應度值

搜索個體最優極值，即搜索最小的適應度值，我們可利用MATLAB繪圖將所有個體的適應度值繪成plot圖查看相對最小值。

圖3 函數適應度plot圖
從圖中可看出，當個體=20時，得到相對最小值，在程序中，將其保存下來。
之後進行迭代尋優，直到滿足終止條件。
最後，得到的最優值為：

圖4 MATLAB運行得到結果
迭代後得到的運行結果圖如下：

圖5 迭代曲線圖
2.3 實驗結果
通過圖5中可看出，該函數的尋優是收斂的，最優個體和實際情況較吻合。因此，採用粒子群演算法進行函數極值尋優，快速、准確且魯棒性較好。
3 結論
本文闡述了粒子群演算法求解最化問題的過程，實驗結果表明了該演算法對於無約束問題的可行性。與其它的進化演算法相比，粒子群演算法容易理解、編碼簡單、容易實現。但是參數的設置對於該演算法的性能卻有很大的影響，例如控制收斂，避免早熟等。在未來的工作中，將努力於將其它計算智能演算法或其它優化技術應用於粒子群演算法中，以進一步提高粒子群演算法的性能。

『叄』 粒子群演算法的參數設置

從上面的例子我們可以看到應用PSO解決優化問題的過程中有兩個重要的步驟: 問題解的編碼和適應度函數 不需要像遺傳演算法一樣是二進制編碼(或者採用針對實數的遺傳操作.例如對於問題 f(x) = x1^2 + x2^2+x3^2 求解, 粒子可以直接編碼為 (x1, x2, x3), 而適應度函數就是f(x). 接著我們就可以利用前面的過程去尋優.這個尋優過程是一個疊代過程, 中止條件一般為設置為達到最大循環數或者最小錯誤
PSO中並沒有許多需要調節的參數,下面列出了這些參數以及經驗設置
粒子數: 一般取 20 – 40. 其實對於大部分的問題10個粒子已經足夠可以取得好的結果, 不過對於比較難的問題或者特定類別的問題, 粒子數可以取到100 或 200
粒子的長度: 這是由優化問題決定, 就是問題解的長度
粒子的范圍: 由優化問題決定,每一維可以設定不同的范圍
Vmax: 最大速度,決定粒子在一個循環中最大的移動距離,通常設定為粒子的范圍寬度,例如上面的例子里,粒子 (x1, x2, x3) x1 屬於 [-10, 10], 那麼 Vmax 的大小就是 20
學習因子: c1 和 c2 通常等於 2. 不過在文獻中也有其他的取值. 但是一般 c1 等於 c2 並且范圍在0和4之間
中止條件: 最大循環數以及最小錯誤要求. 例如, 在上面的神經網路訓練例子中, 最小錯誤可以設定為1個錯誤分類, 最大循環設定為2000, 這個中止條件由具體的問題確定.
全局PSO和局部PSO: 我們介紹了兩種版本的粒子群優化演算法: 全局版和局部版. 前者速度快不過有時會陷入局部最優. 後者收斂速度慢一點不過很難陷入局部最優. 在實際應用中, 可以先用全局PSO找到大致的結果,再用局部PSO進行搜索. 代碼來自2008年數學建模東北賽區B題， #includestdafx.h#include<math.h>#include<time.h>#include<iostream>#include<fstream>usingnamespacestd;intc1=2;//加速因子intc2=2;//加速因子doublew=1;//慣性權重doubleWmax=1;//最大慣性權重doubleWmin=0.6;//最小慣性權重intKmax=110;//迭代次數intGdsCnt;//物資總數intconstDim=10;//粒子維數intconstPNum=50;//粒子個數intGBIndex=0;//最優粒子索引doublea=0.6;//適應度調整因子doubleb=0.5;//適應度調整因子intXup[Dim];//粒子位置上界數組intXdown[Dim]=;//粒子位置下界數組intValue[Dim];//初始急需度數組intVmax[Dim];//最大速度數組classPARTICLE;//申明粒子節點voidCheck(PARTICLE&,int);//約束函數voidInput(ifstream&);//輸入變數voidInitial();//初始化相關變數doubleGetFit(PARTICLE&);//計算適應度voidCalculateFit();//計算適應度voidBirdsFly();//粒子飛翔voidRun(ofstream&,int=2000);//運行函數classPARTICLE//微粒類{public:intX[Dim];//微粒的坐標數組intXBest[Dim];//微粒的最好位置數組intV[Dim];//粒子速度數組doubleFit;//微粒適合度doubleFitBest;//微粒最好位置適合度};PARTICLEParr[PNum];//粒子數組intmain()//主函數{ofstreamoutf(out.txt);ifstreaminf(data.txt);//關聯輸入文件inf>>GdsCnt;//輸入物資總數Input(inf);Initial();Run(outf,100);system(pause);return0;}voidCheck(PARTICLE&p,intcount)//參數:p粒子對象,count物資數量{srand((unsigned)time(NULL));intsum=0;for(inti=0;i<Dim;i++){if(p.X>Xup)p.X=Xup;elseif(p.X<Xdown)p.X=Xdown;if(p.V>Vmax)p.V=Vmax;elseif(p.V<0)p.V=0;sum+=p.X;}while(sum>count){p.X[rand()%Dim]--;sum=0;for(inti=0;i<Dim;i++){if(p.X>Xup)p.X=Xup;elseif(p.X<Xdown)p.X=Xdown;if(p.V>Vmax)p.V=Vmax;elseif(p.V<0)p.V=0;sum+=p.X;}}voidInput(ifstream&inf)//以inf為對象輸入數據{for(inti=0;i<Dim;i++)inf>>Xup;for(inti=0;i<Dim;i++)inf>>Value;}voidInitial()//初始化數據{GBIndex=0;srand((unsigned)time(NULL));//初始化隨機函數發生器for(inti=0;i<Dim;i++)Vmax=(int)((Xup-Xdown)*0.035);for(inti=0;i{for(intj=0;j<Dim;j++){Parr.X[j]=(int)(rand()/(double)RAND_MAX*(Xup[j]-Xdown[j])-Xdown[j]+0.5);Parr.XBest[j]=Parr.X[j];Parr.V[j]=(int)(rand()/(double)RAND_MAX*(Vmax[j]-Vmax[j]/2));}Parr.Fit=GetFit(Parr);Parr.FitBest=Parr.Fit;if(Parr.Fit>Parr[GBIndex].Fit)GBIndex=i;}}doubleGetFit(PARTICLE&p)//計算對象適應度{doublesum=0;for(inti=0;i<Dim;i++)for(intj=1;j<=p.X;j++)sum+=(1-(j-1)*a/(Xup-b))*Value;returnsum;}voidCalculateFit()//計算數組內各粒子的適應度{for(inti=0;i{Parr.Fit=GetFit(Parr);}}voidBirdsFly()//粒子飛行尋找最優解{srand((unsigned)time(NULL));staticintk=10;w=Wmax-k*(Wmax-Wmin)/Kmax;k++;for(inti=0;i{for(intj=0;j<Dim;j++){Parr.V[j]=(int)(w*Parr.V[j]);Parr.V[j]+=(int)(c1*rand()/(double)RAND_MAX*(Parr.XBest[j]-Parr.X[j]);Parr.V[j]+=c2*rand()/(double)RAND_MAX*(Parr[GBIndex].XBest[j]-Parr.X[j]));}}Check(Parr,GdsCnt);for(intj=0;j<Dim;j++){Parr.X[j]+=Parr.V[j];Check(Parr,GdsCnt);}CalculateFit();for(inti=0;i{if(Parr.Fit>=Parr.FitBest){Parr.FitBest=Parr.Fit;for(intj=0;j<Dim;j++)Parr.XBest[j]=Parr.X[j];}}GBIndex=0;for(inti=0;i{if(Parr.FitBest>Parr[GBIndex].FitBest&&i!=GBIndex)GBIndex=i;}}voidRun(ofstream&outf,intnum)//令粒子以規定次數num飛行{for(inti=0;i<num;i++){BirdsFly();outf<<(i+1)<<ends<for(intj=0;j<Dim;j++)outf<outf<<endl;}cout<<Done!<<endl;}

『肆』 粒子群優化演算法

姓名：楊晶晶  學號：21011210420  學院：通信工程學院

【嵌牛導讀】

傳統的多目標優化方法是將多目標問題通過加權求和轉化為單目標問題來處理的,而粒子演算法主要是解決一些多目標優化問題的（例如機械零件的多目標設計優化）,其優點是容易實現,精度高,收斂速度快。

【嵌牛鼻子】粒子群演算法的概念、公式、調參以及與遺傳演算法的比較。

【嵌牛提問】什麼是粒子群演算法？它的計算流程是什麼？與遺傳演算法相比呢？

【嵌牛正文】

1. 概念

        粒子群優化演算法(PSO：Particle swarm optimization) 是一種進化計算技術（evolutionary computation），源於對鳥群捕食的行為研究。

        粒子群優化演算法的基本思想：是通過群體中個體之間的協作和信息共享來尋找最優解。

        PSO的優勢：在於簡單容易實現並且沒有許多參數的調節。目前已被廣泛應用於函數優化、神經網路訓練、模糊系統控制以及其他遺傳演算法的應用領域。

2. 演算法

2.1 問題抽象

        鳥被抽象為沒有質量和體積的微粒(點)，並延伸到N維空間，粒子i在N維空間的位置表示為矢量Xi＝(x1，x2，…，xN)，飛行速度表示為矢量Vi＝(v1，v2，…，vN)。每個粒子都有一個由目標函數決定的適應值(fitness value)，並且知道自己到目前為止發現的最好位置(pbest)和現在的位置Xi。這個可以看作是粒子自己的飛行經驗。除此之外，每個粒子還知道到目前為止整個群體中所有粒子發現的最好位置(gbest)(gbest是pbest中的最好值)，這個可以看作是粒子同伴的經驗。粒子就是通過自己的經驗和同伴中最好的經驗來決定下一步的運動。

2.2 更新規則

      PSO初始化為一群隨機粒子(隨機解)。然後通過迭代找到最優解。在每一次的迭代中，粒子通過跟蹤兩個「極值」(pbest，gbest)來更新自己。在找到這兩個最優值後，粒子通過下面的公式來更新自己的速度和位置。

      公式(1)的第一部分稱為【記憶項】，表示上次速度大小和方向的影響；公式(1)的第二部分稱為【自身認知項】，是從當前點指向粒子自身最好點的一個矢量，表示粒子的動作來源於自己經驗的部分；公式(1)的第三部分稱為【群體認知項】，是一個從當前點指向種群最好點的矢量，反映了粒子間的協同合作和知識共享。粒子就是通過自己的經驗和同伴中最好的經驗來決定下一步的運動。

      以上面兩個公式為基礎，形成了PSO的標准形式。

      公式(2)和 公式(3)被視為標准PSO演算法。

2.3 標准PSO演算法流程

    標准PSO演算法的流程：

    1）初始化一群微粒(群體規模為N)，包括隨機位置和速度；

    2）評價每個微粒的適應度；

    3）對每個微粒，將其適應值與其經過的最好位置pbest作比較，如果較好，則將其作為當前的最好位置pbest；

    4）對每個微粒，將其適應值與其經過的最好位置gbest作比較，如果較好，則將其作為當前的最好位置gbest；

    5）根據公式(2)、(3)調整微粒速度和位置；

    6）未達到結束條件則轉第2）步。

        迭代終止條件根據具體問題一般選為最大迭代次數Gk或(和)微粒群迄今為止搜索到的最優位置滿足預定最小適應閾值。

      公式(2)和(3)中pbest和gbest分別表示微粒群的局部和全局最優位置。

    當C1＝0時，則粒子沒有了認知能力，變為只有社會的模型(social-only)：

被稱為全局PSO演算法。粒子有擴展搜索空間的能力，具有較快的收斂速度，但由於缺少局部搜索，對於復雜問題

比標准PSO 更易陷入局部最優。

    當C2＝0時，則粒子之間沒有社會信息，模型變為只有認知(cognition-only)模型：

      被稱為局部PSO演算法。由於個體之間沒有信息的交流，整個群體相當於多個粒子進行盲目的隨機搜索，收斂速度慢，因而得到最優解的可能性小。

2.4 參數分析

        參數：群體規模N，慣性因子 ，學習因子c1和c2，最大速度Vmax，最大迭代次數Gk。

        群體規模N：一般取20～40，對較難或特定類別的問題可以取到100～200。

        最大速度Vmax：決定當前位置與最好位置之間的區域的解析度(或精度)。如果太快，則粒子有可能越過極小點；如果太慢，則粒子不能在局部極小點之外進行足夠的探索，會陷入到局部極值區域內。這種限制可以達到防止計算溢出、決定問題空間搜索的粒度的目的。

        權重因子：包括慣性因子和學習因子c1和c2。使粒子保持著運動慣性，使其具有擴展搜索空間的趨勢，有能力探索新的區域。c1和c2代表將每個粒子推向pbest和gbest位置的統計加速項的權值。較低的值允許粒子在被拉回之前可以在目標區域外徘徊，較高的值導致粒子突然地沖向或越過目標區域。

        參數設置：

        1)如果令c1＝c2＝0，粒子將一直以當前速度的飛行，直到邊界。很難找到最優解。

        2)如果＝0，則速度只取決於當前位置和歷史最好位置，速度本身沒有記憶性。假設一個粒子處在全局最好位置，它將保持靜止，其他粒子則飛向它的最好位置和全局最好位置的加權中心。粒子將收縮到當前全局最好位置。在加上第一部分後，粒子有擴展搜索空間的趨勢，這也使得的作用表現為針對不同的搜索問題，調整演算法的全局和局部搜索能力的平衡。較大時，具有較強的全局搜索能力；較小時，具有較強的局部搜索能力。

        3)通常設c1＝c2＝2。Suganthan的實驗表明：c1和c2為常數時可以得到較好的解，但不一定必須等於2。Clerc引入收斂因子(constriction factor) K來保證收斂性。

      通常取為4.1,則K＝0.729.實驗表明，與使用慣性權重的PSO演算法相比，使用收斂因子的PSO有更快的收斂速度。其實只要恰當的選取和c1、c2，兩種演算法是一樣的。因此使用收斂因子的PSO可以看作使用慣性權重PSO的特例。

        恰當的選取演算法的參數值可以改善演算法的性能。

3. PSO與其它演算法的比較

3.1 遺傳演算法和PSO的比較

  1)共性：

  (1)都屬於仿生演算法。

  (2)都屬於全局優化方法。

  (3)都屬於隨機搜索演算法。

  (4)都隱含並行性。

  (5)根據個體的適配信息進行搜索，因此不受函數約束條件的限制，如連續性、可導性等。

  (6)對高維復雜問題，往往會遇到早熟收斂和收斂 性能差的缺點，都無法保證收斂到最優點。

    2)差異：   

    (1)PSO有記憶，好的解的知識所有粒子都保 存，而GA（Genetic Algorithm），以前的知識隨著種群的改變被改變。

    (2)PSO中的粒子僅僅通過當前搜索到最優點進行共享信息，所以很大程度上這是一種單共享項信息機制。而GA中，染色體之間相互共享信息，使得整個種群都向最優區域移動。

    (3)GA的編碼技術和遺傳操作比較簡單，而PSO相對於GA，沒有交叉和變異操作，粒子只是通過內部速度進行更新，因此原理更簡單、參數更少、實現更容易。

    (4)應用於人工神經網路(ANN)

    GA可以用來研究NN的三個方面：網路連接權重、網路結構、學習演算法。優勢在於可處理傳統方法不能處理的問題，例如不可導的節點傳遞函數或沒有梯度信息。

    GA缺點:在某些問題上性能不是特別好；網路權重的編碼和遺傳運算元的選擇有時較麻煩。

    已有利用PSO來進行神經網路訓練。研究表明PSO是一種很有潛力的神經網路演算法。速度較快且有較好的結果。且沒有遺傳演算法碰到的問題。

『伍』 求粒子群演算法C#版

static void Main(string[] args)
{
PSO p = new PSO();
p.mains();
System.Console.ReadLine();
}
class PSO
{
const int S = 20; /*試驗次數 */
const int G = 2000; /*混合迭代次數*/
const int P = 40; /*個體總數*/
//#define c1 2.0 /*學習因子1*/
//#define c2 2.0 /*學習因子2*/
const int V = 30; /*個體維數*/
const double MAX = 5.12;
const double MIN = -5.12;
double D = MAX; /*蛙跳的最大值*/
int i1, i2, i3, i4;
int try_number = 0;
int try_max = 5;
double R;//0-1之間的隨機數,精度為1/10000
double Wmax = 0.9;
double Wmin = 0.4;
double PI = 3.14159265;
double W = 0.9;
double c1 = 2.0;/*學習因子1*/
double c2 = 2.0;/*學習因子2*/
double Vpso = 0.0;
double Tolerance = 0.0000001;//收斂精度
double c3 = 0.03;//擾動幅度
double e = 2.718281828459;//自然對數底數
int sm = 3;
int bz = 0;//擾動因子標志
public class Individal
{
public double[] d = new double[V];
public double fitness;
}
public class psom
{
public double[] sd = new double[V];
} public psom[] pso = new psom[P]; /*記錄每個離子各位的更新速度*/
public Individal px; /*全體中最好位置*/
public Individal[] indivial = new Individal[P]; /*全部個體*/
public Individal[] indiviala = new Individal[P]; /*全部個體——備份*/
public Individal tem; public PSO()
{
for (int i = 0; i < P; i++)
{
pso[i] = new psom();
indivial[i] = new Individal();
indiviala[i] = new Individal();
}
}
/*選擇測試函數為Sphere*/
/*選擇測試函數為Sphere*/
public double fitness(double[] a)
{
int i;
double sum = 0.0;
double sum1 = 0.0;
double s1 = 0.0, h1 = 0.0;
double[] x1 = new double[V + 1];
for (i = 0; i < V; i++) x1[i] = a[i];
for (i = 0; i < V; i++)
for (i = 0; i < V; i++)
sum = sum + (x1[i] * x1[i] - 10 * Math.Cos(2 * PI * x1[i]) + 10); return sum;
} /*對每一個個體初始化*/
public void init()
{
Random ran = new Random();
//R = ran.NextDouble(); int i, j, pmin = 0;
//srand((unsigned)time(NULL));
for (i = 0; i < P; i++)
{
for (j = 0; j < V; j++)
{
R = ran.NextDouble();
indivial[i].d[j] = R * (MAX - MIN) + MIN;
}
indivial[i].fitness = fitness(indivial[i].d);//計算初始適應值
indiviala[i] = indivial[i];//將個體復制給另一個序列
}
for (i = 0; i < P - 1; i++)
{
if (indivial[pmin].fitness > indivial[i + 1].fitness)
pmin = i + 1;//適應值小者最優
}
px = indivial[pmin];//最優者為小
}
/*按照適應度降序對全部個體進行排序和族群劃分*/ /*群組內更新*/
public void update()
{
int i, j, k, l, n;
double a;
double b;
W = Wmax - (double)(i2) * (Wmax - Wmin) / (double)(G);
for (i = 0; i < P; i++)
{ for (j = 0; j < V; j++)//更新粒子速度、位置
{//更新速度
pso[i].sd[j] = W * pso[i].sd[j] + c1 * R * (indiviala[i].d[j] - indivial[i].d[j]) + c2 * R * (px.d[j] - indivial[i].d[j]);
if (pso[i].sd[j] > D) pso[i].sd[j] = D; //D 最大速度
if (pso[i].sd[j] < -D) pso[i].sd[j] = -D;
indivial[i].d[j] = indivial[i].d[j] + pso[i].sd[j];//更新位置
}
a = fitness(indivial[i].d);//計算本次迭代的粒子適應值
// printf("old是%.16f",indivial[i].fitness);
indivial[i].fitness = a;
// printf("new是%.16f",indivial[i].fitness);
// getchar();
if (a < indiviala[i].fitness)
{
indiviala[i] = indivial[i];
if (indiviala[i].fitness < px.fitness)
px = indiviala[i];
}//比較粒子與前一次迭代的適應值 尋求最優者
}
}
public void report()
{
int i;
System.Console.WriteLine(px.fitness);

for (i = 0; i < P; i++)
{
// printf("%.16f\n",indivial[i].fitness);
// printf("%.16f\n",indiviala[i].fitness);
}
}
public void mains()
{
// int i1,i2;
//clock_t start, end;
double ave;
//FILE* f = fopen("result(SFLA).txt", "w");
//for(i4=0;i4<G+1;i4+=50)
//{
ave = 0.0;
//start = clock();
for (int i1 = 0; i1 < S; i1++)
{ init();
for (int i2 = 0; i2 < G; i2++)
{
update();
// report();
// getchar();
}
//
//
report();
ave = ave + px.fitness;
}
//end = clock();
ave = ave / S;
System.Console.WriteLine("平均極值為:");
System.Console.WriteLine(ave);
//System.Console.WriteLine("Interval=%.2fseconds\n", (double)(end - start) / ((double)CLOCKS_PER_SEC));
//printf("%d代為平均極值為%.16f\n",i4,ave);
//fprintf(f,"%d代為平均極值為%.16f\n",i4,ave);
// getchar();
//getchar();
}
}

『陸』 粒子群演算法

粒子群演算法（particle swarm optimization，PSO）是計算智能領域中的一種生物啟發式方法，屬於群體智能優化演算法的一種，常見的群體智能優化演算法主要有如下幾類：

除了上述幾種常見的群體智能演算法以外，還有一些並不是廣泛應用的群體智能演算法，比如螢火蟲演算法、布穀鳥演算法、蝙蝠演算法以及磷蝦群演算法等等。

而其中的粒子群優化演算法（PSO）源於對鳥類捕食行為的研究，鳥類捕食時，找到食物最簡單有限的策略就是搜尋當前距離食物最近的鳥的周圍。

設想這樣一個場景：一群鳥在隨機的搜索食物。在這個區域里只有一塊食物，所有的鳥都不知道食物在哪。但是它們知道自己當前的位置距離食物還有多遠。那麼找到食物的最優策略是什麼？最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。

Step1:確定一個粒子的運動狀態是利用位置和速度兩個參數描述的，因此初始化的也是這兩個參數；
Step2:每次搜尋的結果（函數值）即為粒子適應度，然後記錄每個粒子的個體歷史最優位置和群體的歷史最優位置；
Step3:個體歷史最優位置和群體的歷史最優位置相當於產生了兩個力，結合粒子本身的慣性共同影響粒子的運動狀態，由此來更新粒子的位置和速度。

位置和速度的初始化即在位置和速度限制內隨機生成一個N x d 的矩陣，而對於速度則不用考慮約束，一般直接在0~1內隨機生成一個50x1的數據矩陣。

此處的位置約束也可以理解為位置限制，而速度限制是保證粒子步長不超限制的，一般設置速度限制為[-1,1]。

粒子群的另一個特點就是記錄每個個體的歷史最優和種群的歷史最優，因此而二者對應的最優位置和最優值也需要初始化。其中每個個體的歷史最優位置可以先初始化為當前位置,而種群的歷史最優位置則可初始化為原點。對於最優值，如果求最大值則初始化為負無窮，相反地初始化為正無窮。

每次搜尋都需要將當前的適應度和最優解同歷史的記錄值進行對比，如果超過歷史最優值，則更新個體和種群的歷史最優位置和最優解。

速度和位置更新是粒子群演算法的核心，其原理表達式和更新方式：

每次更新完速度和位置都需要考慮速度和位置的限制，需要將其限制在規定范圍內，此處僅舉出一個常規方法，即將超約束的數據約束到邊界（當位置或者速度超出初始化限制時，將其拉回靠近的邊界處）。當然，你不用擔心他會停住不動，因為每個粒子還有慣性和其他兩個參數的影響。

粒子群演算法求平方和函數最小值，由於沒有特意指定函數自變數量綱，不進行數據歸一化。

『柒』 粒子群優化演算法

         粒子群演算法 的思想源於對鳥/魚群捕食行為的研究，模擬鳥集群飛行覓食的行為，鳥之間通過集體的協作使群體達到最優目的，是一種基於Swarm Intelligence的優化方法。它沒有遺傳演算法的「交叉」(Crossover) 和「變異」(Mutation) 操作，它通過追隨當前搜索到的最優值來尋找全局最優。粒子群演算法與其他現代優化方法相比的一個明顯特色就是所 需要調整的參數很少、簡單易行 ，收斂速度快，已成為現代優化方法領域研究的熱點。

         設想這樣一個場景：一群鳥在隨機搜索食物。已知在這塊區域里只有一塊食物；所有的鳥都不知道食物在哪裡；但它們能感受到當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢？

        1. 搜尋目前離食物最近的鳥的周圍區域

        2. 根據自己飛行的經驗判斷食物的所在。

        PSO正是從這種模型中得到了啟發，PSO的基礎是 信息的社會共享

        每個尋優的問題解都被想像成一隻鳥，稱為「粒子」。所有粒子都在一個D維空間進行搜索。

        所有的粒子都由一個fitness function 確定適應值以判斷目前的位置好壞。

        每一個粒子必須賦予記憶功能，能記住所搜尋到的最佳位置。

        每一個粒子還有一個速度以決定飛行的距離和方向。這個速度根據它本身的飛行經驗以及同伴的飛行經驗進行動態調整。

        粒子速度更新公式包含三部分： 第一部分為「慣性部分」，即對粒子先前速度的記憶；第二部分為「自我認知」部分，可理解為粒子i當前位置與自己最好位置之間的距離；第三部分為「社會經驗」部分，表示粒子間的信息共享與合作，可理解為粒子i當前位置與群體最好位置之間的距離。

        第1步   在初始化范圍內，對粒子群進行隨機初始化，包括隨機位置和速度

        第2步   根據fitness function，計算每個粒子的適應值

        第3步   對每個粒子，將其當前適應值與其個體歷史最佳位置（pbest）對應的適應值作比較，如果當前的適應值更高，則用當前位置更新粒子個體的歷史最優位置pbest

        第4步   對每個粒子，將其當前適應值與全局最佳位置（gbest）對應的適應值作比較，如果當前的適應值更高，則用當前位置更新粒子群體的歷史最優位置gbest

        第5步   更新粒子的速度和位置

        第6步   若未達到終止條件，則轉第2步

        【通常演算法達到最大迭代次數或者最佳適應度值得增量小於某個給定的閾值時演算法停止】

粒子群演算法流程圖如下：

以Ras函數（Rastrigin's Function）為目標函數，求其在x1,x2∈[-5,5]上的最小值。這個函數對模擬退火、進化計算等演算法具有很強的欺騙性，因為它有非常多的局部最小值點和局部最大值點，很容易使演算法陷入局部最優，而不能得到全局最優解。如下圖所示，該函數只在(0,0)處存在全局最小值0。