『壹』 一文解釋 GMM高斯混合模型和EM演算法
GMM高斯混合模型和EM演算法的解釋如下：
GMM高斯混合模型： 定義：GMM，即高斯混合模型，是通過多個高斯分布的線性組合來適應復雜數據分布的一種模型。 應用場景：當單一高斯分布無法精確擬合數據分布時，GMM能夠提供更靈活的建模方式。 參數估計：GMM不僅需要估計每個高斯分布的參數，還需要估計每個模型分量的所屬概率。 目標：通過觀測數據估計模型參數，以使得模型能夠更准確地描述數據分布。
EM演算法： 定義：EM演算法，即期望最大化演算法，是一種用於在存在隱變數的情況下，通過迭代求解模型參數的方法。 應用場景：在GMM中，每個數據點屬於哪個高斯分布是未知的，這種未知信息可以視為隱變數。因此，EM演算法被廣泛應用於GMM的參數估計。 步驟： E步：計算每個數據點屬於每個高斯分布的概率，這通常涉及計算聯合概率和邊緣概率。 M步：在已知每個數據點屬於每個高斯分布的概率的情況下，通過最大化似然函數來更新模型參數。這通常涉及對似然函數求導，並找到使其最大化的參數值。 迭代：E步和M步交替進行，直到模型參數收斂或達到預設的迭代次數。
總結： GMM高斯混合模型通過多個高斯分布的線性組合來適應復雜數據分布，其關鍵在於參數估計和數據分類。 EM演算法為GMM的參數估計提供了解決方案，通過逐步迭代優化模型，以更准確地擬合復雜數據分布。
『貳』 05 EM演算法 - 高斯混合模型 - GMM
04 EM演算法 - EM演算法收斂證明
GMM (Gaussian Mixture Model, 高斯混合模型)是指該演算法由多個高斯模型線性疊加混合而成。每個高斯模型稱之為component。
GMM演算法 描述的是數據的本身存在的一種分布，即樣本特徵屬性的分布，和預測值Y無關。顯然GMM演算法是無監督的演算法，常用於聚類應用中，component的個數就可以認為是類別的數量。
回到昨天說的例子：隨機選擇1000名用戶，測量用戶的身高；若樣本中存在男性和女性，身高分別服從高斯分布N(μ1,σ1)和N(μ2,σ2)的分布，試估計參數:μ1,σ1,μ2,σ2；
1、如果明確的知道樣本的情況(即男性和女性數據是分開的)，那麼我們使用極大似然估計來估計這個參數值。
2、如果樣本是混合而成的，不能明確的區分開，那麼就沒法直接使用極大似然估計來進行參數的估計。
我們可以認為當前的1000條數據組成的集X，是由兩個高斯分布疊加而成的(男性的分布和女性的分布)。
如果能找到一種辦法把每一個高斯分布對應的參數π、 μ、σ求出來，那麼對應的模型就求解出來了。
如果模型求解出來後，如何對數據進行聚類？
這個公式求出來的分別是男性和女性身高分布的概率密度，如果把π、 μ、σ都求出來，以後我們可以構建出一個 能夠根據樣本特徵 計算出樣本屬於男性或女性的可能性。
實際做樣本分類的時候，我們把樣本X的特徵x1~xn分別代入兩個公式中，求出來的兩個結果分別是：樣本X的性別是男、是女的可能性。如果是男的可能性大於是女的可能性，我們就把樣本X歸入男性的分類。
假定 GMM 由k個Gaussian分布線性疊加而成，那麼概率密度函數如下：
分析第1個等式：
p(x)： 概率密度函數，k個Gaussian分布線性疊加而成的概率密度函數。
∑p(k)p(x|k)： k個某種模型疊加的概率密度函數。
p(k)： 每個模型占的權重，即上面提到的π。
p(x|k)： 給定類別k後，對應的x的概率密度函數。
分析第2個等式： 目標 - 將公式寫成高斯分布的樣子。
π k ： 即p(k)
p(x;μ k ,∑ k )： 多元高斯(正態)分布。有了觀測數據x後，在 給定了條件 下的高斯分布。這個 條件 是 1、第k個分類的均值μ k ; 2、第k個分類的方差∑ k ;
深入分析p(x;μ k ,∑ k )的參數：
如果樣本有n個特徵，所有的特徵x1~xn一起服從一個多元的高斯分布(正態分布)，所有特徵的均值應該是一個向量 (μ 1 ~μ n )；
μ k ： 第k個分類的情況下(第k個高斯分布的情況下對應的每一列的均值)；μ k = (μ k1 ~μ kn )
∑ k ： 協方差矩陣(對稱陣)。現在有n個特徵，協方差矩陣是一個n×n的矩陣。現在我們要算的是：
cov(x1,x1)，cov(x1,x2)，...，cov(x1,xn)
cov(x2,x1)，cov(x2,x2)，...，cov(x2,xn)
....
cov(xn,x1)，cov(x1,x2)，...，cov(xn,xn)
其中， 對角線 cov(x1,x1)、cov(x2,x2)， ... ，cov(xn,xn)中，x1和x1的協方差 = x1的方差；即cov(x1,x1) = var(x1)；所以 對角線上兩個特徵的協方差 = 對應的特徵的方差。
協方差 （Covariance）在 概率論 和 統計學 中用於衡量兩個變數的總體 誤差 。而 方差 是協方差的一種特殊情況，即當兩個變數是相同的情況。
協方差表示的是兩個變數的總體的 誤差 ，這與只表示一個變數誤差的 方差 不同。 如果兩個 變數 的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那麼兩個變數之間的協方差就是正值。 如果兩個變數的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那麼兩個變數之間的協方差就是負值。
理解了公式後，再來看看公式在圖像上是如何體現的：
如果樣本X只有一個特徵x1，在二維的坐標繫上的表示出來。特徵x1是由n個單變數樣本的高斯分布疊加而成的。向量x1 k = ∑ k (x1 (1) ,x1 (2) ,~,x1 (n) )，如k=(男、女)，累加男性分類下的特徵高斯分布和女性分類下的高斯分布；
圖中 紅色曲線 表示原有數據的分布情況，我認為這個原有數據是由多個比較的高斯分布疊加而成的， 藍色曲線 表示單個單個高斯分布的分布情況。向量x1 = (x1 (1) ,x1 (2) ,~,x1 (n) )；
PS： 藍1+藍2=紅 體現的就是公式 p(x) = ∑πp(x;μ,∑k)；
在得知數據的特徵 x=(x1~xn) 後，如果我們想把數據合理得聚類到一個分類中，我們該如何去計算呢？
既然我已經得到了k個高斯分布對應的概率密度函數(現在設k=3，共3個分類)，將當前特徵的x=(x1~xn)代入我們的概率密度函數： p(x) = ∑πp(x;μ,∑k)；
我們分別計算p(藍1)、p(藍2)、p(藍3)，藍色三條線各對應k分類中的一個，哪個數大，我認為當前的樣本該分到哪一類。
GMM演算法的兩個前提：
1、數據服從高斯分布；
2、我們人為定義了分類個數k。
問：我們人為假定了高斯分布的分類個數k，就類似於我們聚簇時分的聚簇中心個數一樣。參數π、μ、σ該如何求出來?
答：和K-Means演算法一樣，我們可以用 EM演算法 來求解這個問題。 GMM也滿足EM演算法的聚類思想，首先人為得定義了聚類的個數k，從數據特徵X中發掘潛在關系的一種模型。而且我還默認數據是服從多個高斯分布的。
GMM演算法中的隱含條件是：第k個模型占的權重 - 、 第k個高斯分布的情況下對應的每一列的均值 - 、協方差矩陣 cov(xi,xj) - ；因為本質上我們是知道數據原有的分類狀況的，只是無法觀測到隱含在數據中的這些特性，使用EM的思想可以迭代得求解出這些隱含變數。
對聯合概率密度函數求對數似然函數：
對聯合概率密度函數求對數後，原本 連乘 的最大似然估計變成了 連加 的函數狀態。
EM演算法求解 - E步：
套用公式後，我們可以假定隱含變數z的分布：Q(z (i) = j)；
我們認為分布wj (i) = 第i個觀測值對應的隱含分類第z (i) 類； = 以(看不見的參數π、μ、∑)為參數的情況下，輸入第i觀測值的特徵x後得到的分類z (i) 類；
EM演算法求解 - M步：
M步第1行就是上一章通過化簡找到 下界 的那個函數：
1、對均值求偏導:
2、對方差求偏導:
3、對概率使用拉格朗日乘子法求解:
06 EM演算法 - 案例一 - EM分類初識及GMM演算法實現
『叄』 高斯混合模型（GMM）與最大期望（EM）演算法筆記
本文聚焦於高斯混合模型（GMM）及其與最大期望（EM）演算法的關系。GMM在機器學習領域中扮演著重要角色，尤其在聚類與密度估計方面展現出強大威力。
### 極大似然估計
極大似然估計法是參數估計的一種經典方法。以正態分布為例，我們旨在估計分布的參數。通過構造似然函數並對其進行優化，我們能夠找到使得數據出現概率最大的參數值。
### GMM原理
GMM假定數據是由多個高斯分布混合而成的，其核心在於通過混合多個高斯分布來擬合數據分布的復雜性。相較於單一高斯分布，GMM能夠更准確地捕捉數據的聚類特徵。GMM中的每個高斯分布稱為組件，它們共同構成了一個概率密度函數。
### EM演算法
EM演算法是一種迭代求解極大似然估計問題的高效方法，尤其適用於存在隱變數的模型。在GMM中，EM演算法通過交替進行E步驟（期望）和M步驟（最大化），逐步優化模型參數，直至收斂。
EM演算法的流程包括初始化參數，然後在E步驟中計算缺失數據的期望值，隨後在M步驟中最大化似然函數以更新參數。這一過程重復進行，直到參數值不再顯著變化。
### 應用與局限性
GMM與EM演算法在聚類任務中展現出了強大能力。它們不僅能夠實現數據分類，還能提供數據點屬於各個類別的概率，這一特性在許多實際應用中極為寶貴。然而，EM演算法的全局最優解並非總是可得，初始參數的選擇對最終結果有顯著影響。
總結而言，高斯混合模型與最大期望演算法是數據驅動分析的重要工具，尤其在處理復雜數據分布時展現出巨大潛力。通過巧妙地結合概率理論與迭代優化方法，它們為解決實際問題提供了有效手段。