⑴ 高斯混合模型（GMM）及EM演算法的初步理解
高斯混合模型（Gaussian Mixed Model）指的是多個高斯分布函數的線性組合，理論上GMM可以擬合出任意類型的分布，通常用於解決同一集合下的數據包含多個不同的分布的情況（或者是同一類分布但參數不一樣，或者是不同類型的分布，比如正態分布和伯努利分布）。
如圖1，圖中的點在我們看來明顯分成兩個聚類。這兩個聚類中的點分別通過兩個不同的正態分布隨機生成而來。但是如果沒有GMM，那麼只能用一個的二維高斯分布來描述圖1中的數據。圖1中的橢圓即為二倍標准差的正態分布橢圓。這顯然不太合理，畢竟肉眼一看就覺得應該把它們分成兩類。
這時候就可以使用GMM了！如圖2，數據在平面上的空間分布和圖1一樣，這時使用兩個二維高斯分布來描述圖2中的數據，分別記為N(μ1,Σ1)和N(μ2,Σ2) 。圖中的兩個橢圓分別是這兩個高斯分布的二倍標准差橢圓。可以看到使用兩個二維高斯分布來描述圖中的數據顯然更合理。實際上圖中的兩個聚類的中的點是通過兩個不同的正態分布隨機生成而來。如果將兩個二維高斯分布N(μ1,Σ1)和N(μ2,Σ2) 合成一個二維的分布，那麼就可以用合成後的分布來描述圖2中的所有點。最直觀的方法就是對這兩個二維高斯分布做線性組合，用線性組合後的分布來描述整個集合中的數據。這就是高斯混合模型（GMM）。
高斯混合模型（GMM）的數學表示：
期望極大（Expectation Maximization）演算法，也稱EM演算法，是一種迭代演算法，由Dempster et. al 在1977年提出，用於含有隱變數的概率參數模型的極大似然估計。
EM演算法作為一種數據添加演算法，在近幾十年得到迅速的發展，主要源於當前科學研究以及各方面實際應用中數據量越來越大的情況下，經常存在數據缺失或者不可用的的問題，這時候直接處理數據比較困難，而數據添加辦法有很多種，常用的有神經網路擬合、添補法、卡爾曼濾波法等，但是EM演算法之所以能迅速普及主要源於它演算法簡單，穩定上升的步驟能相對可靠地找到「最優的收斂值」。
(個人的理解就是用含有隱變數的含參表達式不斷擬合，最終能收斂並擬合出不含隱變數的含參表達式)
模型的EM訓練過程，直觀的來講是這樣：我們通過觀察采樣的概率值和模型概率值的接近程度，來判斷一個模型是否擬合良好。然後我們通過調整模型以讓新模型更適配采樣的概率值。反復迭代這個過程很多次，直到兩個概率值非常接近時，我們停止更新並完成模型訓練。現在我們要將這個過程用演算法來實現，所使用的方法是模型生成的數據來決定似然值，即通過模型來計算數據的期望值。通過更新參數μ和σ來讓期望值最大化。這個過程可以不斷迭代直到兩次迭代中生成的參數變化非常小為止。該過程和k-means的演算法訓練過程很相似（k-means不斷更新類中心來讓結果最大化），只不過在這里的高斯模型中，我們需要同時更新兩個參數：分布的均值和標准差.[3]
GMM常用於聚類。如果要從 GMM 的分布中隨機地取一個點的話，實際上可以分為兩步：首先隨機地在這 K 個 Component 之中選一個，每個 Component 被選中的概率實際上就是它的系數Πk ，選中 Component 之後，再單獨地考慮從這個 Component 的分布中選取一個點就可以了──這里已經回到了普通的 Gaussian 分布，轉化為已知的問題。
根據數據來推算概率密度通常被稱作 density estimation 。特別地，當我已知（或假定）概率密度函數的形式，而要估計其中的參數的過程被稱作『參數估計』。
（推導和迭代收斂過程這里省略，可參考資料1）
一個實際的例子：用GMM對iris數據集進行聚類，並通過make_ellipses表示出來
make_ellipses方法概念上很簡單，它將gmm對象（訓練模型）、坐標軸、以及x和y坐標索引作為參數，運行後基於指定的坐標軸繪制出相應的橢圓圖形。
在特定條件下，k-means和GMM方法可以互相用對方的思想來表達。在k-means中根據距離每個點最接近的類中心來標記該點的類別，這里存在的假設是每個類簇的尺度接近且特徵的分布不存在不均勻性。 這也解釋了為什麼在使用k-means前對數據進行歸一會有效果。高斯混合模型則不會受到這個約束 ，因為它對每個類簇分別考察特徵的協方差模型。
K-means演算法可以被視為高斯混合模型（GMM）的一種特殊形式。 整體上看，高斯混合模型能提供更強的描述能力，因為聚類時數據點的從屬關系不僅與近鄰相關，還會依賴於類簇的形狀。n維高斯分布的形狀由每個類簇的協方差來決定。在協方差矩陣上添加特定的約束條件後，可能會通過GMM和k-means得到相同的結果。
在k-means方法中使用EM來訓練高斯混合模型時對初始值的設置非常敏感。而對比k-means，GMM方法有更多的初始條件要設置。實踐中不僅初始類中心要指定，而且協方差矩陣和混合權重也要設置。可以運行k-means來生成類中心，並以此作為高斯混合模型的初始條件。由此可見並兩個演算法有相似的處理過程，主要區別在於模型的復雜度不同。
高斯混合模型的基本假設是 已知類別的比例 和 類別的個數 ，但是不知道每個樣例的具體標簽，據此用EM的模式為每個樣本進行最優的標注。也就是說它適合的是 無標簽學習的分類問題 ，並且需要已知基本假設。
整體來看，所有無監督機器學習演算法都遵循一條簡單的模式：給定一系列數據，訓練出一個能描述這些數據規律的模型（並期望潛在過程能生成數據）。 訓練過程通常要反復迭代，直到無法再優化參數獲得更貼合數據的模型為止。
【1】https://blog.csdn.net/jinping_shi/article/details/59613054 高斯混合模型（GMM）及其EM演算法的理解
【2】https://cloud.tencent.com/developer/news/231599 機器學習中的數學（4）-EM演算法與高斯混合模型（GMM）
【3】https://zhuanlan.hu.com/p/31103654 一文詳解高斯混合模型原理
⑵ 混合遺傳演算法和遺傳演算法有什麼區別
遺傳演算法是一種全局搜索演算法，不需要目標函數的導數信息，它能夠很快搜索到最優值所處范圍范圍。
而混合遺傳演算法是在遺傳演算法的基礎上引入其它優化演算法（如局部尋優能力強的演算法），以保證遺傳演算法全局性能的基礎上大大減小計算量，提高收斂速度。一般引入的演算法有：傳統梯度類演算法、單純形法及模擬退火等等）這些演算法都很容易與遺傳演算法兼容。
⑶ 數值計算時不同階精度的演算法混合使用會不會更容易造成數值不穩定
1.精度不同的演算法,對初始數據的要求不同,有可能會由於初始數據的精度影響了整個演算法的精度
2.精度不同的演算法,有可能會穩定程度不同,混合使用時可能剛好會有放大誤差的效果
3.精度不同的演算法,有可能原理根本不同,所以不能混合使用
4.感覺上,基於迭代的演算法應該可以使用吧?
個人見解.......
⑷ 混合加密演算法有哪些
混合加密演算法是在上述基礎加密演算法的基礎上，由初始加密演算法、改進優化的維熱納爾加密演算法以及Base64加密演算法共同組成的，井且其實現的過程必須按照固定的順序依次進行，即先使用自己定義的初始加密演算法，再使用改進優化的維熱納爾加密演算法，最後使用Base64加密演算法。
⑸ 混合遺傳演演算法和遺傳演演算法有什麼區別
遺傳演演算法是一種全域性搜尋演演算法，不需要目標函式的導數資訊，它能夠很快搜索到最優值所處范圍范圍。
而混合遺傳演演算法是在遺傳演演算法的基礎上引入其它優化演演算法（如區域性尋優能力強的演演算法），以保證遺傳演演算法全域性效能的基礎上大大減小計算量，提高收斂速度。一般引入的演演算法有：傳統梯度類演演算法、單純形法及模擬退火等等）這些演演算法都很容易與遺傳演演算法相容。
遺傳演演算法（Geic Algorithm）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜尋最優解的方法。遺傳演演算法是從代表問題可能潛在的解集的一個種群（population）開始的，而一個種群則由經過基因（gene）編碼的一定數目的個體(indivial)組成。每個個體實際上是染色體(chromosome)帶有特徵的實體。染色體作為遺傳物質的主要載體，即多個基因的集合，其內部表現（即基因型）是某種基因組合，它決定了個體的形狀的外部表現，如黑頭發的特徵是由染色體中控制這一特徵的某種基因組合決定的。因此，在一開始需要實現從表現型到基因型的對映即編碼工作。由於仿照基因編碼的工作很復雜，我們往往進行簡化，如二進位制編碼，初代種群產生之後，按照適者生存和優勝劣汰的原理，逐代（generation）演化產生出越來越好的近似解，在每一代，根據問題域中個體的適應度（fitness）大小選擇（selection）個體，並藉助於自然遺傳學的遺傳運算元（geic operators）進行組合交叉（crossover）和變異（mutation），產生出代表新的解集的種群。這個過程將導致種群像自然進化一樣的後生代種群比前代更加適應於環境，末代種群中的最優個體經過解碼（decoding），可以作為問題近似最優解。
量子遺傳演演算法是量子計算與遺傳演演算法相結合的產物。目前，這一領域的研究主要集中在兩類模型上：一類是基於量子多宇宙特徵的多宇宙量子衍生遺傳演演算法(Quantum Inspired Geic Algorithm)，另塌鋒一類是基於量子位元和量子態登加特性的遺傳量子演演算法(Geic Quantum Algorithm,GQA)。
量 子遺傳演演算法(Quantum GeicA lgorithm,QGA)。QGA採用多狀態基因量子位元編碼方式和通用的量子旋轉門操作。引入動態調整旋轉角機制和量子交叉，比文獻[2]的方法更具有通用性，且效率更高。但該方法仍是一個群體獨自演化沒有利用盈子資訊的多宇宙和宇宙間的糾纏特性效率有待進一步提高。文獻[3]提出一種多宇宙並行量子遺傳演演算法(Multiuniverse Parallel Quantum Geic Algorithm,MPQGA)，演演算法中將所有的個體按照一定的拓撲結構分成團穗晌一個個獨立的子群體，稱為宇宙；採用多狀態基因量子位元編碼方式來表達宇宙中的個體；採用通用的量子旋轉門策略和動態調整旋轉角機制對個體進行演化；各宇宙獨立演化，這樣可擴大搜索空間，宇宙之間採用最佳移民、量子交叉和量子變異操作來交換資訊使演演算法的適應性更強，效率更高。
遺傳演演算法是計算數學中用於解決最佳化的搜尋演演算法，是進化演演算法的一種。
遺傳演演算法(Geic Algorithm，GA)是由Holland J．H．於20世紀70年代提出的一種優化方法，其最優解的搜尋過程模擬達爾文的進化論和「適者生存」的思想。
蟻群演演算法(Ant Colony Optimization, ACO)，是一種用來在圖中尋找優化路徑的機率型演演算法。
兩種演演算法從概念上都屬族空於隨機優化演演算法，遺傳演演算法是進化演演算法，主要通過選擇、變異和交叉運算元，其中每個基因是由二進位制串組成；蟻群演演算法是基於圖論的演演算法，通過資訊素選擇交換資訊。
:ke../view/45853.htm
多講講吧，並行機是什麼意思
function m_main()
clear
clc
Max_gen=100;% 執行代數
pop_size=100;%種群大小
chromsome=10;%染色體的長度
pc=0.9;%交叉概率
pm=0.25;%變異概率
gen=0;%統計代數
%初始化
init=40*rand(pop_size,chromsome)-20;
pop=init;
fit=obj_fitness(pop);
[max_fit,index_max]=max(fit);maxfit=max_fit;
[min_fit,index_min]=min(fit);best_indiv=pop(index_max,:);
%迭代操作
while gen<Max_gen
gen=gen+1; bt(gen)=max_fit;
if maxfit<max_fit;maxfit=max_fit;pop(index_min,:)=pop(index_max,:);best_indiv=pop(index_max,:);end
best_indiv_tmp(gen)=pop(index_max);
newpop=ga(pop,pc,pm,chromsome,fit);
fit=obj_fitness(newpop);
[max_fit,index_max]=max(fit);
[min_fit,index_min]=min(fit);
pop=newpop;
trace(1,gen)=max_fit;
trace(2,gen)=sum(fit)./length(fit);
end
%執行結果
[f_max gen_ct]=max(bt)%求的最大值以及代數
maxfit
best_indiv
%畫圖
% bt
hold on
plot(trace(1,:),'.g:');
plot( trace(2,:),'.r-');
title('實驗結果圖')
xlabel('迭代次數/代'),ylabel('最佳適應度（最大值）');%座標標注
plot(gen_ct-1,0:0.1:f_max+1,'c-');%畫出最大值
text(gen_ct,f_max+1, '最大值')
hold off
function [fitness]=obj_fitness(pop)
%適應度計算函式
[r c]=size(pop);
x=pop;
fitness=zeros(r,1);
for i=1:r
for j=1:c
fitness(i,1)=fitness(i,1)+sin(sqrt(abs(40*x(i))))+1-abs(x(i))/20.0;
end
end
function newpop=ga(pop,pc,pm,chromsome,fit);
pop_size=size(pop,1);
%輪盤賭選擇
ps=fit/sum(fit);
pscum=cumsum(ps);%size(pscum)
r=rand(1,pop_size);qw=pscum*ones(1,pop_size);
selected=sum(pscum*ones(1,pop_size)<ones(pop_size,1)*r)+1;
newpop=pop(selected,:);
%交叉
if pop_size/2~=0
pop_size=pop_size-1;
end
for i=1:2:pop_size-1
while pc>rand
c_pt=round(8*rand+1);
pop_tp1=newpop(i,:);pop_tp2=newpop(i+1,:);
newpop(i+1,1:c_pt)=pop_tp1(1,1:c_pt);
newpop(i,c_pt+1:chromsome)=pop_tp2(1,c_pt+1:chromsome);
end
end
% 變異
for i=1:pop_size
if pm>rand
m_pt=1+round(9*rand);
newpop(i,m_pt)=40*rand-20;
end
end
首先有個很神奇的現象：人類以及動物的進化都是朝著好的方向發展，雖然有的往壞的方向發展了，但是總體肯定是往好的方向發展。這看似不奇怪，但是我們知道，人類的基因組合是隨機的，沒有上帝約束。這種隨機過程的結果卻是一致的！我們的遺傳演演算法就是從這里得到啟發！比如我要求y=x1+x2的最大值，兩個變數，我不用傳統的數學方法，就用幼兒園的方法，把所有可能取值帶進去算，然後找出最大的就行了！但是，有時候取值是連續的，沒關系！使其離散化，就像把模擬訊號化成數字訊號一樣！還有個問題，如果取值太多咋辦？這就是遺傳演演算法的精髓！
首先，我不用取所有可能取值，我只取幾十個或者幾百個（自己定），然後進行處理，怎樣處理呢？讓我們回到剛開始的人類進化問題，雖然沒有上帝的幫忙，但是我們知道，自然界遵循優勝劣汰的發賊，遵循交叉變異的法則，雖然不能數字化，但是這是個趨勢！我們就是把這種法則數學化！所取的幾十個值我要剩下哪些？要拋棄哪些？要處理哪些？這都要我們自己選擇，肯定是選擇最合適的取值留下，經過一系列的處理，就生成了新的群體，然後再處理，自己約定處理到第幾次就可以了，取出現過的最大值
不用擔心取到的是不是最大值，因為數學上已經有了證明，這種方法是收斂的，概率是1，所以盡管放心的做，具體的做法要參考相關書籍，不難的。
遺傳演演算法的最大用處就是解決數學理論不能解決的問題！比如路徑規劃，排程問題……
都屬於智慧優化演演算法
但是蟻群演演算法具有一定的記憶性，遺傳演演算法沒有
蟻群演演算法有幾種原則，比如覓食原則，避障原則等，遺傳演演算法沒有
蟻群演演算法屬於群智慧優化演演算法，具有並行性，每個粒子都可以主動尋優，遺傳演演算法不行
蟻群演演算法基於資訊素在環境中的指示，遺傳演演算法是基於優勝劣汰的生物進化思想
遺傳演演算法有選擇，交叉，變異三種運算元，每種運算元又有各自的不同方法，通過對運算元方法的修改和搭配，可以得到不同的改進遺傳演演算法
蟻群演演算法則多和其他智慧演演算法相結合，得到改進的蟻群演演算法
1 初始化染色體，這一步和粒子群初始化沒啥區別
2 採用二人或多人錦標賽形式，在配對池裡產生新的染色體子代，新生代種群規模為原來種群規模的一半。
3 針對新生代群體進行交叉和變異操作，以概率的方法判決進行交叉還是變異操作，一般來說，我們以較大的概率交叉，較小的概率進行變異，具體的交叉變異操作文獻上都有，和二進位制遺傳演演算法是不一樣的，一會兒我會講到。隨機選擇的一對父母染色體進行交叉操作會產生一對新的染色體，而變異操作僅僅是針對一個單親變異，所以只產生一個新的染色體。
4 合並原來的種群和後代種群，計算適應度值，輸出最優解空間
5 演演算法結束。
⑹ 混合遺傳演算法和遺傳演算法有什麼區別
一樓回答的對，混合遺傳演算法就是將遺傳演算法與其他演算法相滲歷混合，互取所長，互補所短。比如遺傳演算法與模擬退火演算法明純的混合，就是將遺叢槐搜傳演算法的全局搜索能力與模擬退火演算法的局部搜索能力結合起來，形成一種強大的演算法。類似的還有：遺傳演算法與最速下降法的混合、蟻群演算法與遺傳演算法的混合等。