變分貝葉斯演算法

⑴ 變分貝葉斯初探

原題：A Beginner's Guide to Variational Methods: Mean-Field Approximation
給初學者的變分法指導：平均場近似

這種 推斷-優化 的二元性，賦予我們強大的能力。我們既可以使用最新、最好的優化演算法來解決統計機器學習問題，也可以反過來，使用統計技術來最小化函數。

這篇文章是關於變分方法的入門教程。 我將推導出最簡單的VB方法的優化目標，稱為 平均場近似 。 這個目標，也稱為 變分下界 ，與變分自動編碼器（ VAE ）中使用的技術完全相同（我將在後續文章中相信介紹它，堪稱入木三分）。

1.問題的前提和符號約定
2.問題的表述
3.平均場近似的變分下界
4.前傳KL與反傳KL
5.與深度學習的聯系

本文假設讀者熟悉隨機變數、概率分布和數學期望等概念。如果你忘了這些概念，可以在 這里 進行復習。機器學習和統計領域的符號約定沒有被嚴格地標准化，因此在這篇文章中，我們約定如下符號，確定的符號將對理解文意很有幫助：

許多學術論文將術語「變數」、「分布」、「密度」，甚至「模型」互換使用。這種做法本身不一定導致錯誤，因為 、 和 都可以通過一對一的對應關系相互指代。但是，將這些術語混合在一起，容易讓人感到困惑。因為它們的指代范疇各不相同（比如對函數進行 抽樣 沒有意義，對分布 積分 同樣沒有意義）。

我們將系統建模為隨機變數的集合，其中一些變數（ ）是「可觀察的」，而其他變數（ ）是「隱藏的」。 【譯者按：後文稱二者為「觀察變數」和「隱變數」】我們可以通過下圖繪制這種關系：

從 到 ，通過條件分布 這條邊，將兩個變數聯系在一起。

說一個更形象的例子： 可能代表「圖像的原始像素值」，而 是二值變數。如果 是貓的圖像， 。

貝葉斯定理 給出了任意一對隨機變數之間的一般關系：

其中的各項與如下常見名稱相關聯：

是後驗概率：「給定圖像，這是貓的概率是多少？」 如果我們可以從 進行采樣，我們可以用它作一個貓分類器，告訴我們給定的圖像是否是貓。

是似然概率：「給定 的值，計算出該圖像 在該類別下的『可能』程度（{是貓/不是貓})」 如果我們可以從 進行采樣，那麼我們就可以生成貓的圖像和非貓的圖像，就像生成隨機數一樣容易。如果你想了解更多相關信息，請參閱我的關於生成模型的其他文章： [1] , [2] 。

是先驗概率。它指代我們所知道的關於 的任何先前信息——例如，如果我們認為所有圖像中，有1/3是貓，那麼 並且 。

這部分是為了感興趣的讀者准備的。請直接跳到下一部分，繼續學習本教程。

前面貓的示例提供了觀察變數、隱變數和先驗的理解角度，是傳統的一個示例。 但是請注意，我們定義隱變數/觀察變數之間的區別有些隨意，你可以自由地將圖形模型按需求進行分解。

我們可以通過交換等式的項來重寫貝葉斯定理：

現在的「後驗概率」是 。

從貝葉斯統計框架，隱變數可以解釋為附加到觀察變數的 先驗信念 。 例如，如果我們認為 是多元高斯，則隱變數 可以表示高斯分布的均值和方差。 另外，參數 上的分布是 的先驗分布。

你也可以自由選擇 和 代表的值。 例如， 可以代之以「均值、方差的立方根、以及 ，其中 」。 雖然有點突兀、奇怪，但只要相應地修改 ，結構仍然有效。

你甚至可以往系統中「添加」變數。先驗本身可能通過 依賴於其他隨機變數， 具有它們自己的 的先驗分布，並且那些先驗仍然是有先驗的，依此類推。任何超參數都可以被認為是先驗的。 在貝葉斯統計中， 先驗是無窮遞歸的 。【譯者按：1.英文中俗語「turtles all the way down」表示問題無限循環、遞歸，作者用了"priors all the way down"來詼諧地表達先驗系統的遞歸性。2.先驗的層次越深，對結果的影響越 小 】

我們感興趣的關鍵問題是隱變數 的後驗推斷或密度函數。後驗推斷的一些典型例子：

我們通常假設，我們已知如何計算似然分布 和先驗分布 【譯者按：原文為「function」函數，應為訛誤，後文類似情況以符號為准】。

然而，對於像上面的復雜任務，我們常常不知道如何從 采樣或計算 。或者，我們可能知道 的形式，但相應的計算十分復雜，以至於我們無法在合理的時間內對其評估【譯者按：「評估」的意思是給定似然函數，求出該函數在某一點上的值】。 我們可以嘗試使用像 MCMC 這樣的基於采樣的方法求解，但這類方法很難收斂。

變分推斷背後的想法是這樣的：對簡單的參數分布 （就像高斯分布）進行推斷。對這個函數，我們已經知道如何做後驗推斷，於是任務變成了調整參數 使得 盡可能接近 。【譯者按：「推斷」在這里指的是從觀察變數 的概率分布導出隱變數 的概率分布】

這在視覺上如下圖所示：藍色曲線是真實的後驗分布，綠色分布是通過優化得到的擬合藍色密度的變分近似（高斯分布）。

兩個分布「接近」意味著什麼？ 平均場變分貝葉斯（最常見的類型）使用反向KL散度作為兩個分布之間的距離度量。

反向KL散度測量出將 「扭曲（distort）」成 所需的信息量（以nat為單位或以2為底的對數bits為單位）。我們希望最小化這個量。【譯者按：1.「扭曲」的意思是，把 和 貼合在一起，即通過某種映射引發函數圖像的形變，使二者圖像一致；2.許多研究產生式模型的論文會比較不同方法下的散度值。】

根據條件分布的定義， 。 讓我們將這個表達式代入原來的KL表達式，然後使用分配律：

為了使 相對於變分參數 最小化，我們只需要最小化 ，因為 對於 來說是常數。 讓我們重新寫這個數量作為對分布 的期望。

最小化上面的式子等價於最大化負的式子：

在文獻中， 被稱為 變分下界 。如果我們能夠估計 、 、 ，我們就可以計算它。我們可以繼續調整式子里各項的順序，使之更符合直覺：

如果說采樣 是將觀察變數 「編碼」為隱變數 的過程，則采樣 是從 重建觀察變數 的「解碼」過程。

由此得出 是預期的「解碼」似然（即變分分布 能在多大程度上將樣本 解碼回樣本 ），再減去變分近似的分布與先驗 之間的KL散度【譯者按：原文是「加上」，應該是減去】。如果我們假設 是條件高斯的，那麼先驗 通常被指定為平均值0、標准偏差1的對角高斯分布。

為什麼 稱為變分下界？ 將 代入 ，我們有：


的含義，用大白話說就是，真實分布下的數據點 的對數似然 ，等於 ，加上 用來捕獲在該特定值 處 和 之間距離的差。

由於 ， 必大於（或等於） 。因此 是 的下界。 也被稱為證據下界（ELBO），通過調整公式：

注意， 本身包含近似後驗和先驗之間的KL散度，因此 中總共有兩個KL項。

KL散度函數不是對稱距離函數，即 （當 時除外）第一個被稱為「前向KL」，而後者是「反向KL」」。 我們為什麼要使用反向KL呢？因為推導的目標要求我們近似 ，所以【在 和 不能同時得到最優形式的情況下】我們要優先確保 的形式准確。

我很喜歡Kevin Murphy在 PML教科書 中的解釋，我在這里嘗試重新說明一下：

讓我們首先考慮正向KL。正如上述推導，我們可以將KL寫為，權重函數 加權下，「懲罰」函數 的期望。

只要 ，懲罰函數在任何地方都會給總KL帶來損失。對於 ， 。 這意味著前向KL將在 未能「掩蓋」 時，將會很大。

因此，當我們確保前向KL最小化時 時， 。 優化的變分分布 被稱為「避免零（zero-avoiding）」（密度 為零時 避免為零）。

如果 ，我們必須確保分母 的地方，加權功能的 ，否則KL會爆炸。這被稱為「必設零(zero-forcing)」：

在機器學習問題中，使用平均場近似時，留意反向KL的後果很重要。 如果我們將單峰分布擬合到多模態分布，我們最終會得到更多的假陰性的樣例（也就是說， 實際上存在概率，但我們依據 認為沒有可能性）。

變分法對於深度學習非常重要。 我將在後面再寫文章詳細說明。這是「太長不看版」：

結合深度學習和變分貝葉斯方法，我們可以對 極其 復雜的後驗分布進行推斷。 事實證明，像變分自動編碼器這樣的現代技術，可以優化得到上文中形式完全相同的平均場變分下界！

感謝閱讀，敬請期待！

鑒於標題，我們值得給出「平均場近似」這個名字背後的一些動機。

從統計物理學的觀點來看，「平均場」是指忽略二階效應，將困難的優化問題放鬆到更簡單的問題。例如，在圖模型的情境中，我們可以把估計 馬爾可夫隨機場 的配分函數（partition function）問題，轉為最大化吉布斯自由能（對數配分函數減去相對熵）的問題。這顯著地簡化了全概率測量空間的全局優化的形式（參見M. Mezard和A. Montanari，Sect 4.4.2）。

整體分解：

平均場近似的分解：

從演算法的觀點來看，「平均場」是指用於計算馬爾可夫隨機場邊緣概率的樸素平均場演算法（naive mean field algorithm）。回想一下，樸素平均場演算法的固定點【即最終解】是吉布斯變分問題的平均場近似的最優點。這種方法是「均值」，因為它是吉布斯采樣器的平均/期望/ LLN版本，因此忽略了二階（隨機）效應（參見，M.Wainwright和M. Jordan，（2.14）和（2.15））。

【譯者按：
1.上述說明主要針對配分函數而言的。
2.VAE的隱空間為標准高斯分布，協方差矩陣為對角單位陣，而不考慮非對角元素的影響。這體現了「平均場」的思想。
3.VAE的實驗效果顯示，產生圖像較為模糊或「平均」，不夠銳利，也許正是平均場近似的結果】

⑵ 什麼是變分貝葉斯推論

貝葉斯概率和頻率概率相對，它從確定的分布中觀測到的頻率或者在樣本空間中的比例來導出概率。
變分法的關鍵定理是歐拉－拉格朗日方程。它對應於泛函的臨界點。在尋找函數的極大和極小值時，在一個解附近的微小變化的分析給出一階的一個近似。它不能分辨是找到了最大值或者最小值（或者都不是）。

⑶ 如何才能看得懂變分貝葉斯方法

指數分布族具有一個最大熵性質，均值參數空間具有凸性，對其上的任意內部點，最小指數族都能找到相應的分布滿足一些性質。
所以一般考慮指數族。具體到VB法，E步驟是對隱變數後驗概率的求解，其實質為計算相應的充分統計量，而M步驟為優化對應的參數向量（即參數的變分分布）。這兩者可以看做一組共軛函數之間的最大熵與極大似然的共軛對偶關系。因為這是在指數分布族上的找最優分布，因此稱為變分法。

⑷ 第七章 貝葉斯網路

用點表示事件條件概率，用邊表示事件依賴關系的有向無環圖。
1.典型貝葉斯問題
2.靜態結構
在BN中描述概率的方式式每個節點上的條件概率分布。
3.聯合/邊緣/條件概率換算
4.鏈式法則與變數消元
變數消元能夠顯著減少鏈式法則計算公式的指數級別復雜度。

1.網路參數估計
精確網路參數估計有：最大似然度估計，最大後驗估計
2.網路結構
網路結構不確定式，需要從數據中學習網路結構。該問題式NP難問題，解決方法有：
啟發式搜索，Chow-Liu Tree演算法

1.蒙特卡洛方法
2.馬爾可夫鏈收斂定理
任何非周期馬爾可夫鏈最終收斂於穩定的狀態概率分布。
3.MCMC推理框架
4.Gibbs采樣
構造一個從快速收斂到平穩狀態的馬爾可夫鏈。
5.變分貝葉斯
尋找於目標分布近似的Q分布，加快推理速度。

1.共軛分布
共軛分布簡化貝葉斯網路中的概率計算。
2.隱含變數與顯式變數
共軛分布常用於為BN中的隱含變數建模。

⑸ 貝葉斯網路和貝葉斯分類演算法的區別

1、貝葉斯網路是：一種概率網路，它是基於概率推理的圖形化網路，而貝葉斯公式則是這個概率網路的基礎。貝葉斯網路是基於概率推理的數學模型,所謂概率推理就是通過一些變數的信息來獲取其他的概率信息的過程，基於概率推理的貝葉斯網路(Bayesian network)是為了解決不定性和不完整性問題而提出的，它對於解決復雜設備不確定性和關聯性引起的故障有很的優勢，在多個領域中獲得廣泛應用。
2、貝葉斯分類演算法是：統計學的一種分類方法，它是一類利用概率統計知識進行分類的演算法。在許多場合，樸素貝葉斯(Naïve Bayes，NB)分類演算法可以與決策樹和神經網路分類演算法相媲美，該演算法能運用到大型資料庫中，而且方法簡單、分類准確率高、速度快。
3、貝葉斯網路和貝葉斯分類演算法的區別：由於貝葉斯定理假設一個屬性值對給定類的影響獨立於其它屬性的值，而此假設在實際情況中經常是不成立的，因此其分類准確率可能會下降。為此，就衍生出許多降低獨立性假設的貝葉斯分類演算法，如TAN(tree augmented Bayes network)演算法。
貝葉斯分類演算法是統計學的一種分類方法，它是一類利用概率統計知識進行分類的演算法。在許多場合，樸素貝葉斯(Naïve Bayes，NB)分類演算法可以與決策樹和神經網路分類演算法相媲美，該演算法能運用到大型資料庫中，而且方法簡單、分類准確率高、速度快。
由於貝葉斯定理假設一個屬性值對給定類的影響獨立於其它屬性的值，而此假設在實際情況中經常是不成立的，因此其分類准確率可能會下降。為此，就衍生出許多降低獨立性假設的貝葉斯分類演算法，如TAN(tree augmented Bayes network)演算法。

⑹ 貝葉斯分類演算法的基本步驟

主要有以下7個步驟：
1. 收集大量的垃圾郵件和非垃圾郵件，建立垃圾郵件集和非垃圾郵件集。
2. 提取郵件主題和郵件體中的獨立字元串，例如 ABC32，￥234等作為TOKEN串並統計提取出的TOKEN串出現的次數即字頻。按照上述的方法分別處理垃圾郵件集和非垃圾郵件集中的所有郵件。
3. 每一個郵件集對應一個哈希表，hashtable_good對應非垃圾郵件集而hashtable_bad對應垃圾郵件集。表中存儲TOKEN串到字頻的映射關系。
4. 計算每個哈希表中TOKEN串出現的概率P=（某TOKEN串的字頻）/（對應哈希表的長度）。
5. 綜合考慮hashtable_good和hashtable_bad，推斷出當新來的郵件中出現某個TOKEN串時，該新郵件為垃圾郵件的概率。數學表達式為：
A 事件 ---- 郵件為垃圾郵件；
t1,t2 …….tn 代表 TOKEN 串
則 P （ A|ti ）表示在郵件中出現 TOKEN 串 ti 時，該郵件為垃圾郵件的概率。
設
P1 （ ti ） = （ ti 在 hashtable_good 中的值）
P2 （ ti ） = （ ti 在 hashtable_ bad 中的值）
則 P （ A|ti ） =P2 （ ti ） /[ （ P1 （ ti ） +P2 （ ti ） ] ；
6. 建立新的哈希表hashtable_probability存儲TOKEN串ti到P（A|ti）的映射
7. 至此，垃圾郵件集和非垃圾郵件集的學習過程結束。根據建立的哈希表 hashtable_probability可以估計一封新到的郵件為垃圾郵件的可能性。
當新到一封郵件時，按照步驟2，生成TOKEN串。查詢hashtable_probability得到該TOKEN 串的鍵值。
假設由該郵件共得到N個TOKEN 串，t1,t2…….tn,hashtable_probability中對應的值為 P1 ， P2 ， ……PN ， P(A|t1 ,t2, t3……tn) 表示在郵件中同時出現多個TOKEN串t1,t2……tn時，該郵件為垃圾郵件的概率。
由復合概率公式可得
P(A|t1 ,t2, t3……tn)=（P1*P2*……PN）/[P1*P2*……PN+（1-P1）*（1-P2）*……（1-PN）]
當 P(A|t1 ,t2, t3……tn) 超過預定閾值時，就可以判斷郵件為垃圾郵件。

⑺ 基於貝葉斯估計特徵分布融合的目標分類方法是什麼

貝葉斯法則

機器學習的任務：在給定訓練數據D時，確定假設空間H中的最佳假設。

最佳假設：一種方法是把它定義為在給定數據D以及H中不同假設的先驗概率的有關知識下的最可能假設。貝葉斯理論提供了一種計算假設概率的方法，基於假設的先驗概率、給定假設下觀察到不同數據的概率以及觀察到的數據本身。

應用

變分貝葉斯估計可以應用於完整的貝葉斯推斷（full Bayesian inference），即對後驗分布按因子展開進行近求解。在最大期望演算法（Expectation-Maximization algorithm, EM）的E步中對隱變數後驗分布的求解可以通過變分貝葉斯估計實現，形成變分貝葉斯EM（Variational Bayesian EM algorithm, VBEM）。

⑻ 樸素貝葉斯演算法

貝葉斯演算法是由英國數學家托馬斯·貝葉斯提出的，這個演算法的提出是為了解決「逆向概率」的問題。首先我們先來解釋下正向概率與逆向概率的含義：

正向概率 ：假設一個箱子里有5個黃色球和5個白色球，隨機從箱子里拿出一個球，請問取出的是黃球的概率是多少？很容易計算P（黃球）= N（黃球）/N（黃球）+ N（白球） = 5/5+5 = 1/2。
逆向概率 ：起初我們並不知道箱子里有多少個球，我們依次從箱子里取出10個球，發現這個10個球中有7個白球，3個黃球，那麼我們會根據我們觀察到的結果去推測箱子里白球與黃球的分布比例大概是7:3，但是我們無法推測出箱子里的球的個數。

貝葉斯演算法是一種基於概率統計的機器學習演算法，它會計算出每種情況發生的概率，然後對其進行分類，貝葉斯演算法經常用於文本分類問題和垃圾郵件過濾問題。假設有一篇新聞報道news report，我們使用貝葉斯演算法來判斷它們的類別，結果如下：
p(politics|news) = 0.2
p(entertainment|news) = 0.4
p(sports|news) = 0.7
因為p(sports|news)的概率最大，所以我們判斷這篇新聞報道為體育類報道。「|」左邊為要判斷的類別，右邊是我們給定的文章。

貝葉斯公式推導
接下來，我們將通過一個例子來推導貝葉斯公式。在一所學校里，男生和女生的比例分別是60%和40%，男生全部穿長褲，女生一半穿長褲，一半穿裙子。現迎面走來一個同學，你只能看清他（她）穿的是長褲，而無法分辨出他（她）的性別，請問他（她）是女生的概率？

下面我們逐步計算這個問題：
假設學校里的學生總數為N。
男生人數：N * P(boys)，女生人數：N * P(girls)。
穿長褲的男生人數：N * P(boys) * P(pants|boys)，其中P(pants|boys)是條件概率的表達形式，意思是男生中穿長褲的概率。因為男生都穿長褲，所以N * P(boys) * P(pants|boys) = 60% * N。
穿長褲的女生的人數：N * P(girs) * P(pants|girls) = 0.2 * N。
穿長褲的總人數：N * P(boys) * P(pants|boys) + N * P(girs) * P(pants|girls)
穿長褲的同學是女生的概率：P(girl|pants) = N * P(girs) * P(pants|girls) / N * P(boys) * P(pants|boys) + N * P(girs) * P(pants|girls) = P(girs)*P(pants|girls) / P(pants)，分母用P(pants)表示穿長褲的概率。
最終結果：P(girl | pants) = P(pants | girl) * P(girl) / P(pants)
其中：P(girl)我們稱為先驗概率，是已知值，在這個例子中P(girl) = 40%。先驗概率：根據以往的經驗和分析得到的結果，先驗概率和其他條件的影響不受樣本影響。
P(girl | pants)我們稱為後驗概率，根據觀察到的結果，去反推是女生的概率。
貝葉斯數學表達式

貝葉斯演算法在垃圾郵件過濾中的應用
給定一封郵件，判定它是否屬於垃圾郵件？用D 來表示這封郵件，注意D 由N 個單片語成。我們用h+ 來表示垃圾郵件，h-表示正常郵件。
有貝葉斯公式可得：
P(h+ | D) = P(D | h+) * P(h+) / P(D)
P(h- | D) = P(D | h-) * P(h-) / P(D)
其中P(h+)，P(h-)為先驗概率，假如我們有1000封郵件，其中有50封是垃圾郵件，其他都是正常郵件，那麼P(h+)，P(h-)的概率就是已知的。兩個式子的分母都是P(D)，所以P(D)對於最終結果的比較是沒有影響的。接下來就是要求P(D | h+),P(D | h-)垃圾郵件中或正常郵件中是郵件D的概率。
我們都知道一封郵件是由許多詞構成的，所以我們將P(D | h+)的表達式轉化為P(d1,d2,d3......dn | h+)，就是看垃圾郵件中出現d1,d2...dn這些詞的概率是多少。
P(d1,d2,d3......dn | h+) = P(d1 | h+) * P(d2 |d1,h+) * P(d3 |d1,d2,h+) ...
這個式子計算起來非常困難，所以在這里我們做一個假設，假設每個詞都是獨立的並且互不影響，那麼這個式子就可以表示為：
P(d1,d2,d3......dn | h+) = P(d1 | h+) * P(d2 | h+) * P(d3 | h+) ...P(dn | h+)
P(h+ | D) = {P(d1 | h+) * P(d2 | h+) * P(d3 | h+) ...P(dn | h+)}* P(h+) / P(D)
上述這個式子我們就稱為樸素貝葉斯公式，樸素貝葉斯公式是對貝葉斯公式的簡化，它建立在每個條子互相獨立的基礎上。
在現實生活中，我們寫的每一句話中詞與詞之間肯定是有相互聯系，如果沒有聯系，那麼這句話是讀不通的。那麼為什麼樸素貝葉斯能夠在計算中使用，首先是計算簡單，其次對最終結果的影響非常小。
參考資料
1.唐宇迪，《機器學習與數據分析實戰》課程。
2.Peter，《機器學習實戰》。

⑼ 貝葉斯演算法是什麼

貝葉斯演算法是統計學的一種分類方法，它是一類利用概率統計知識進行分類的演算法。在許多場合，樸素貝葉斯（Naïve Bayes，NB)分類演算法可以與決策樹和神經網路分類演算法相媲美，該演算法能運用到大型資料庫中，而且方法簡單、分類准確率高、速度快。

由於貝葉斯定理假設一個屬性值對給定類的影響獨立於其它屬性的值，而此假設在實際情況中經常是不成立的，因此其分類准確率可能會下降。為此，就衍生出許多降低獨立性假設的貝葉斯分類演算法，如TAN(tree augmented Bayes network)演算法。

貝葉斯演算法的主要步驟：

1、收集大量的垃圾郵件和非垃圾郵件，建立垃圾郵件集和非垃圾郵件集。

2、提取郵件主題和郵件體中的獨立字元串，例如ABC32，￥234等作為TOKEN串並統計提取出的TOKEN串出現的次數即字頻。按照上述的方法分別處理垃圾郵件集和非垃圾郵件集中的所有郵件。

3、每一個郵件集對應一個哈希表，hashtable_good對應非垃圾郵件集而hashtable_bad對應垃圾郵件集。表中存儲TOKEN串到字頻的映射關系。