概率編程和貝葉斯方法實踐

❶ 1.6 全概率公式與Bayes公式

例：一所學校裡面有 60% 的男生，40% 的女生。男生總是穿長褲，女生則一半穿長褲一半穿裙子。有了這些信息之後我們可以容易地計算「隨機選取一個學生，他（她）穿長褲的概率和穿裙子的概率是多大」，這個就是前面說的「正向概率」的計算。然而，假設你走在校園中，迎面走來一個穿長褲的學生（很不幸的是你高度近似，你只看得見他（她）穿的是否長褲，而無法確定他（她）的性別），你能夠推斷出他（她）是男生的概率是多大嗎？

例：設女性患某種疾病的概率為 ，男性患該病的概率為 ，已知全國的男女比例為 ，求任何一人患該病的概率。

分析：記事件 為患該疾病，事件 為女性患該病，事件 為男性患該病，則

定理：設 為樣本空間，若事件 滿足

則稱 為樣本空間 的一個 分劃 ，進而可得

也即

該公式稱為 全概率公式 （Law of Total Probability）

例：袋中有 只紅球 只白球，先從袋中任取一球，記下顏色後放回，同時向袋中放入同顏色的球 只，然後再從袋中取出一球。求第二次取到白球的概率。

解：記 ，顯然 是 的一個分劃，由全概率公式有

思考：若第2次向袋中放入同顏色的球 只，結果如何？
答：結果不變

例：有10個袋,其中甲袋二個,每袋中有紅球、白球各2個;乙袋三個,每袋中有紅球3個、白球2個;丙袋五個,每袋中有紅球2個、白球3個.從十個袋中任取一袋,再從袋中任取一球,求取到白球的概率.

解：記 分別表示取到甲、乙、丙袋， 表示取到白球。由全概率公式

問：如果將三個袋中的球混合在一起，然後任取一球，問取到白球的概率是否一樣？
答：不同！全概率公式是概率的加權平均。

例：甲、乙兩坦克的首發命中率均為0.8,經修正後的第二發命中率均為0.9, 敵目標被一發炮彈擊中而被擊毀的概率為0.2,被兩發炮彈擊中而擊毀的概率為0.5,被三發炮彈擊中必定被擊毀. 在戰斗中,甲、乙兩坦克分別向敵同一目標發射了兩發炮彈,求敵目標被擊毀的概率.

解：設 表示目標被擊毀， 表示目標被 發炮彈擊中， 。

由全概率公式

設 為樣本空間的一個分劃，且

則由乘法公式

結合全概率公式 ，可以得到

該公式稱為 Bayes公式

Bayes公式體現了一種「因」和「果」的聯系，很多時候不僅可以由因推果，也可以由果推因。

例（ 吸毒檢測 ）：假設一個常規的檢測結果的敏感度與可靠度均為 ，即吸毒者每次檢測呈陽性（+）的概率為 。而不吸毒者每次檢測呈陰性（-）的概率為 。從檢測結果的概率來看，檢測結果是比較准確的，但是Bayes定理卻可以揭示一個潛在的問題。假設某公司對全體雇員進行吸毒檢測，已知 的雇員吸毒。請問每位檢測結果呈陽性的雇員吸毒的概率有多高？

分析：令 為雇員吸毒事件， 為雇員不吸毒事件， 為檢測呈陽性事件。可得

根據上述描述，我們可以計算某人檢測呈陽性時確實吸毒的條件概率 ：

結論：盡管吸毒檢測的准確率高達99%，但Bayes定理告訴我們：如果某人檢測呈陽性，其吸毒的概率只有大約33%，不吸毒的可能性比較大。假陽性高，則檢測的結果不可靠。

類似的情況：

例：某工廠的一、二、三車間都生產同一產品，產量分別占總產量的15%,80%,5%三個車間的次品率分別為2%,1%,3%.現從匯總起來的產品中任取一個,經檢查是次品,判斷該次品是哪個車間生產的可能性較大？

分析：這是「因—果」分析問題，故應用Bayes公式

解：記 表示取得次品， 表示取到的產品是 車間生產的， ，由全概率公式

再由Bayes公式

可見該次品是第二車間生產的可能性較大。

以上的分析過程也被稱為 Bayes推斷 。

Bayes推斷

假定 為導致試驗結果的「原因」，稱 為 先驗概率 。

若試驗產生事件 ，則要探討事件發生的「原因」，稱 為 後驗概率 ，稱 為 原因概率

例：假定 為各種疾病，應用統計方法可確定患病的概率（先驗概率）

應用醫學知識確定每種疾病下指標 （例如體溫、脈搏、血象等）出現的概率（原因概率），應用Bayes公式，可以計算出該指標意味著某種疾病的概率（後驗概率）

這正是大數據在醫療系統中應用的原理。

課後思考題：習題一：20，21，22，23，24

參見 數學之美番外篇：平凡而又神奇的貝葉斯方法

例（ 拼寫糾正 ）

首先，我們的問題是我們看到用戶輸入了一個不在字典中的單詞，我們需要去猜測：「這個傢伙到底真正想輸入的單詞是什麼呢？」用剛才我們形式化的語言來敘述就是，我們需要求：

這個概率，並找出那個使得這個概率最大的猜測單詞。

顯然，我們的猜測未必是唯一的。比如用戶輸入： thew ，那麼他到底是想輸入 the ，還是想輸入 thaw ？到底哪個猜測可能性更大呢？幸運的是我們可以用Bayes公式來直接算出它們各自的概率，我們不妨將我們的多個猜測記為 （ 代表 hypothesis），它們都屬於一個有限且離散的猜測空間 （單詞總共就那麼多而已），將用戶實際輸入的單詞記為 （ 代表 Data ，即觀測數據），於是 可以抽象地記為： ，類似地，對於我們的猜測2，則是 。不妨統一記為：

運用一次Bayes公式，我們得到：

對於不同的具體猜測 ， 都是一樣的，所以在比較 和 的時候我們可以忽略這個常數。即我們只需要知道：

這個式子的抽象含義是：對於給定觀測數據，一個猜測是好是壞，取決於「這個猜測本身獨立的可能性大小（先驗概率，Prior ）」和「這個猜測生成我們觀測到的數據的可能性大小」（似然，Likelihood ）的乘積。具體到我們的那個 thew 例子上，含義就是，用戶實際是想輸入 the 的可能性大小取決於 the 本身在詞彙表中被使用的可能性（頻繁程度）大小（先驗概率）和 想打 the 卻打成 thew 的可能性大小（似然）的乘積。

下面的事情就很簡單了，對於我們猜測為可能的每個單詞計算一下 這個值，然後取最大的，得到的就是最靠譜的猜測。

類似的方法可以用來處理 自然語言的二義性問題 ，例如

到底是 The girl saw-with-a-telescope the boy 這一語法結構，還是 The girl saw the-boy-with-a-telescope 呢？兩種語法結構的常見程度都差不多（你可能會覺得後一種語法結構的常見程度較低，這是事後偏見，你只需想想 The girl saw the boy with a book 就知道了。當然，實際上從大規模語料統計結果來看後一種語法結構的確稍稍不常見一丁點，但是絕對不足以解釋我們對第一種結構的強烈傾向）。那麼到底為什麼呢？

比價合理的解釋是：如果語法結構是 The girl saw the-boy-with-a-telecope 的話，怎麼那個男孩偏偏手裡拿的就是望遠鏡——一個可以被用來 saw-with 的東東捏？這也忒小概率了吧。他咋就不會拿本書呢？拿什麼都好。怎麼偏偏就拿瞭望遠鏡？所以唯一的解釋是，這個「巧合」背後肯定有它的必然性，這個必然性就是，如果我們將語法結構解釋為 The girl saw-with-a-telescope the boy 的話，就跟數據完美吻合了——既然那個女孩是用某個東西去看這個男孩的，那麼這個東西是一個望遠鏡就完全可以解釋了（不再是小概率事件了）。

還有 中文分詞 的問題，比如

給定一個句子（字串），如：

如何對這個句子進行分詞（詞串）才是最靠譜的。例如：

這兩個分詞，到底哪個更靠譜呢？

顯然這個思想還可以推廣到 機器翻譯 的領域，甚至是 圖像識別 、 垃圾郵件過濾

❷ 貝葉斯公式應用實例

寫作話題:

貝葉斯預測模型在礦物含量預測中的應用
貝葉斯預測模型在氣溫變化預測中的應用
貝葉斯學習原理及其在預測未來地震危險中的應用
基於稀疏貝葉斯分類器的汽車車型識別
信號估計中的貝葉斯方法及應用
貝葉斯神經網路在生物序列分析中的應用
基於貝葉斯網路的海上目標識別
貝葉斯原理在發動機標定中的應用
貝葉斯法在繼電器可靠性評估中的應用

相關書籍:

Arnold Zellner 《Bayesian Econometrics: Past, Present and Future》
Springer 《貝葉斯決策》
黃曉榕 《經濟信息價格評估以及貝葉斯方法的應用》
張麗 , 閆善文 , 劉亞東 《全概率公式與貝葉斯公式的應用及推廣》
周麗琴 《貝葉斯均衡的應用》
王輝 , 張劍飛 , 王雙成 《基於預測能力的貝葉斯網路結構學習》
張旭東 , 陳鋒 , 高雋 , 方廷健 《稀疏貝葉斯及其在時間序列預測中的應用》
鄒林全 《貝葉斯方法在會計決策中的應用》
周麗華 《市場預測中的貝葉斯公式應用》
夏敏軼 , 張焱 《貝葉斯公式在風險決策中的應用》
臧玉衛 , 王萍 , 吳育華 《貝葉斯網路在股指期貨風險預警中的應用》
黨佳瑞 , 胡杉杉 , 藍伯雄 《基於貝葉斯決策方法的證券歷史數據有效性分析》
肖玉山 , 王海東 《無偏預測理論在經驗貝葉斯分析中的應用》
嚴惠雲 , 師義民 《Linex損失下股票投資的貝葉斯預測》
卜祥志 , 王紹綿 , 陳文斌 , 余貽鑫 , 岳順民 《貝葉斯拍賣定價方法在配電市場定價中的應用》
劉嘉焜 , 范貽昌 , 劉波 《分整模型在商品價格預測中的應用》
《Bayes方法在經營決策中的應用》
《決策有用性的信息觀》
《統計預測和決策課件》
《貝葉斯經濟時間序列預測模型及其應用研究》
《貝葉斯統計推斷》
《決策分析理論與實務》

❸ 貝葉斯公式的現實應用

觀點應該跟著事實不斷修訂。堅定不移不對，聽風就是雨也不對——科學的修訂，就是貝葉斯方法。

貝葉斯公式在概率論與數理統計中必學的概念，要真正的達到應用這個概念還得稍微理解一下公式：

貝葉斯公式完全是建立在一個等式P(A)*P(B|A) = P(B) * P(A|B)之上，而P(A)*P(B|A)和P(B)*P(A|B)的結果都是P(AB)，意思是事件A和事件B同時發生的概率。等式中P(A|B)指的是條件概率，即在B已經發生的情況下，A發生的概率，如果B代表下雨的概率，A代表一個人出門帶傘的概率，那P(A|B)本質上還是帶傘的概率，不過是下雨天的情況下一個人出門帶傘的概率。根據經驗可以得出，P(A|B)應該是大於P(A)的。平時我們對存在外星人（記作事件A）這一觀點的相信的概率可以用P(A)來表示，一般而言咱都不怎麼相信外星人存在的，P(A)應該無限趨於0，可是突然有一天一個正兒八經的專家說證明確實有外星人存在（記為事件B），那此時，我們相信外星人存在的概率已經不是P(A)了，而是P(A|B)，而這個值可能就要比0大不少了。要是某一天，大半個地球的人都說看到了外星人（記為C），那我們此時相信外星人存在的概率P(A|C)可能就要提高到1，也就是幾乎確定就是有外星人存在。

對上面的等式稍微一變形，就可以得到貝葉斯公式 ： P(A|B) = P(A) * P(B|A) / P(B) ，其中P(A)是我們原來對一件事的原有的判斷，叫做先驗概率；P(A|B)就代表了我們在得到一些證據B之後對原來事物的概率，叫做後驗概率。別看公式形式比較復雜，但是有個簡單的理解方法：我們把等式右邊 P(B|A) / P(B) 看作一個整體，稱之為似然比（可以簡單理解成證據的有效程度），那麼整個公式便可以簡單理解成P(你後來的觀點）= 似然比 * P(你一開始的觀點)。當有新的證據出現之後，別忙著不變，也別忙著立馬推翻自己的態度，看看證據的有效性如何，如果真的有效，那就多調整一點自己的態度，如果證據的力度不大，那就少調整一點。卡爾·薩根說過一句話：「超乎尋常的論斷需要超乎尋常的證據」，在貝葉斯看來這句話的意思不過是，要想從根本上說服我，你必須拿出唬得住我的東西來。而佛說：哪有什麼一定之論，在我眼裡，全是概率。

如果只想知道哲學上的東西，看官可就此打住，可如果看知道貝葉斯的具體威力，我們不妨來搞一下數學。在狼來了的故事中，我們用A表示小孩可信，B表示小孩說謊。不妨設我們過去對小孩子的印象為P(A)=0.8，P(~A)=0.2。現在我們來計算P(A|B)，即小孩說了一次慌滯後的可信程度。在公式中P(B)表示在任何條件下小孩子說謊的概率，可以拆分為P(A)*P(B|A)和P(~A)*P(B|~A)，P(B|A)和P(B|~A)分別表示在我們相信他時他說謊的概率和我們不相信他時他說謊的概率，分為設之為0.1和0.5。有一天小孩是說狼來了，80%的可能性狼來了，我們想吃狼肉，於是我們第一次上山打狼，發現狼沒有來，即小孩子說了謊。此時P(A|B) = P(A) * P(B|A) / P(B) = 0.8*0.1 / (0.8*0.1 + 0.2*0.5) = 0.444，表明我們上一次當之後對這個小孩的可信程度從0.8下降到了0.444。在此基礎之上，有一天小孩又說狼來了，有44.4%的可能性狼來了，本來不想去的，但是上次沒吃到狼肉心裡癢癢，於是我們又上山打狼，結果小孩又對我們撒了一次謊，狼沒有來。我們對他的可信程度P(A|B) =0.444*0.1 /(0.444*0.1 +0.556*0.5) = 0.138,我們上了這小孩兩次當，對小孩的可信程度由原來的0.8下降到了0.138。第三次小孩又喊狼來了，我們把小孩子吃了。

有時候明明可以很快用貝葉斯公式解決問題謀得巨大財富，結果我們卻遲遲不動，很多時候，並不是貝葉斯公式太難，只不過是我們不知道貝葉斯公式使用的時機。貝葉斯的應用領域極其廣泛，語音識別、垃圾郵件過濾、油井鑽探、FDA批准新葯、Xbox給你的游戲水平打分……各種你想到和想不到的應用，都在使用貝葉斯方法。但是扯這些東西和我們有點兒遠，我們的市井生活中什麼時候該用貝葉斯公式呢？很簡單： 只要還沒得到最終結果，就可以請貝葉斯爸爸出場幫你作弊。 你和兩位猥瑣而膽小的基友在操場上看到了一位身材火辣的性感女神，決定寫紙條抽簽選一人去要聯系方式。每人抽到一個簽，中彩概率都是1/3，很公平。你抽到了一張簽，覺得自己不會那麼背中彩，剛准備看，突然一個基友攤出了自己的紙條，哈哈大笑說：「看不是我，你們兩個其中之一中彩了。」此時，天真的你覺得那有啥，反正大家中彩的概率 依舊 還是1/3，而且我運氣好，不可能是我。在准備亮出你的紙條的一剎那見，你虎軀一震，隱隱約約感到有些不對勁: 三個人只有一個出了結果，還沒有得到最終結果，我可以叫貝葉斯爸爸來幫忙算一下概率 。

貝葉斯看了，笑了，說：我們記你中彩為事件A，P(A)=1/3，那個已經攤出紙條的基友沒有中彩為事件B，P(B)=2/3，傻子，你現在中彩的概率P(A|B)=P(A) * P(B|A) / P(B) = (1/3) * 1 /（2/3）= 1/2。心中暗自罵到：卧槽，他看了一眼他自己的紙條，我的gay率就由1/3變成1/2了，還好發現得早。於是機智的你搶過另一個基友還沒看的紙條，把它和你的紙條一起吃掉，說：「我太餓了，我們重新抽簽吧。「

❹ 《概率編程實戰》epub下載在線閱讀全文，求百度網盤雲資源

《概率編程實戰》（[美]艾維·費弗 (Avi Pfeffer)）電子書網盤下載免費在線閱讀

鏈接：https://pan..com/s/1t69i_7zyBDoE6ApMaHeRrQ

書名：概率編程實戰

作者：[美]艾維·費弗 (Avi Pfeffer)

譯者：姚軍

出版社：人民郵電出版社

出版年份：2017-4

頁數：368

內容簡介：

概率推理是不確定性條件下做出決策的重要方法，在許多領域都已經得到了廣泛的應用。概率編程充分結合了概率推理模型和現代計算機編程語言，使這一方法的實施更加簡便，現已在許多領域（包括炙手可熱的機器學習）中嶄露頭角，各種概率編程系統也如雨後春筍般出現。本書的作者Avi Pfeffer正是主流概率編程系統Figaro的首席開發者，他以詳盡的實例、清晰易懂的解說引領讀者進入這一過去令人望而生畏的領域。通讀本書，可以發現概率編程並非「瘋狂科學家」們的專利，無需艱深的數學知識，就可以構思出解決許多實際問題的概率模型，進而利用現代概率編程系統的強大功能解題。本書既可以作為概率編程的入門讀物，也可以幫助已經有一定基礎的讀者熟悉Figaro這一概率編程利器。

作者簡介：

Avi Pfeffer是概率編程的先驅，Figaro概率編程語言的首席設計者和開發者。在Charles River Analytics公司，Avi Pfeffer致力於Figaro在多個問題上的應用，包括惡意軟體分析、汽車健康監控、氣象模型建立和工程系統評估。在閑暇時，Avi Pfeffer是一位歌手、作曲家和音樂製作人。他和妻子及三個孩子在馬薩諸塞州坎布里奇生活。

❺ 全概率公式和貝葉斯公式怎麼用