概率编程和贝叶斯方法实践

❶ 1.6 全概率公式与Bayes公式

例：一所学校里面有 60% 的男生，40% 的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。有了这些信息之后我们可以容易地计算“随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大”，这个就是前面说的“正向概率”的计算。然而，假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是男生的概率是多大吗？

例：设女性患某种疾病的概率为 ，男性患该病的概率为 ，已知全国的男女比例为 ，求任何一人患该病的概率。

分析：记事件 为患该疾病，事件 为女性患该病，事件 为男性患该病，则

定理：设 为样本空间，若事件 满足

则称 为样本空间 的一个 分划 ，进而可得

也即

该公式称为 全概率公式 （Law of Total Probability）

例：袋中有 只红球 只白球，先从袋中任取一球，记下颜色后放回，同时向袋中放入同颜色的球 只，然后再从袋中取出一球。求第二次取到白球的概率。

解：记 ，显然 是 的一个分划，由全概率公式有

思考：若第2次向袋中放入同颜色的球 只，结果如何？
答：结果不变

例：有10个袋,其中甲袋二个,每袋中有红球、白球各2个;乙袋三个,每袋中有红球3个、白球2个;丙袋五个,每袋中有红球2个、白球3个.从十个袋中任取一袋,再从袋中任取一球,求取到白球的概率.

解：记 分别表示取到甲、乙、丙袋， 表示取到白球。由全概率公式

问：如果将三个袋中的球混合在一起，然后任取一球，问取到白球的概率是否一样？
答：不同！全概率公式是概率的加权平均。

例：甲、乙两坦克的首发命中率均为0.8,经修正后的第二发命中率均为0.9, 敌目标被一发炮弹击中而被击毁的概率为0.2,被两发炮弹击中而击毁的概率为0.5,被三发炮弹击中必定被击毁. 在战斗中,甲、乙两坦克分别向敌同一目标发射了两发炮弹,求敌目标被击毁的概率.

解：设 表示目标被击毁， 表示目标被 发炮弹击中， 。

由全概率公式

设 为样本空间的一个分划，且

则由乘法公式

结合全概率公式 ，可以得到

该公式称为 Bayes公式

Bayes公式体现了一种“因”和“果”的联系，很多时候不仅可以由因推果，也可以由果推因。

例（ 吸毒检测 ）：假设一个常规的检测结果的敏感度与可靠度均为 ，即吸毒者每次检测呈阳性（+）的概率为 。而不吸毒者每次检测呈阴性（-）的概率为 。从检测结果的概率来看，检测结果是比较准确的，但是Bayes定理却可以揭示一个潜在的问题。假设某公司对全体雇员进行吸毒检测，已知 的雇员吸毒。请问每位检测结果呈阳性的雇员吸毒的概率有多高？

分析：令 为雇员吸毒事件， 为雇员不吸毒事件， 为检测呈阳性事件。可得

根据上述描述，我们可以计算某人检测呈阳性时确实吸毒的条件概率 ：

结论：尽管吸毒检测的准确率高达99%，但Bayes定理告诉我们：如果某人检测呈阳性，其吸毒的概率只有大约33%，不吸毒的可能性比较大。假阳性高，则检测的结果不可靠。

类似的情况：

例：某工厂的一、二、三车间都生产同一产品，产量分别占总产量的15%,80%,5%三个车间的次品率分别为2%,1%,3%.现从汇总起来的产品中任取一个,经检查是次品,判断该次品是哪个车间生产的可能性较大？

分析：这是“因—果”分析问题，故应用Bayes公式

解：记 表示取得次品， 表示取到的产品是 车间生产的， ，由全概率公式

再由Bayes公式

可见该次品是第二车间生产的可能性较大。

以上的分析过程也被称为 Bayes推断 。

Bayes推断

假定 为导致试验结果的“原因”，称 为 先验概率 。

若试验产生事件 ，则要探讨事件发生的“原因”，称 为 后验概率 ，称 为 原因概率

例：假定 为各种疾病，应用统计方法可确定患病的概率（先验概率）

应用医学知识确定每种疾病下指标 （例如体温、脉搏、血象等）出现的概率（原因概率），应用Bayes公式，可以计算出该指标意味着某种疾病的概率（后验概率）

这正是大数据在医疗系统中应用的原理。

课后思考题：习题一：20，21，22，23，24

参见 数学之美番外篇：平凡而又神奇的贝叶斯方法

例（ 拼写纠正 ）

首先，我们的问题是我们看到用户输入了一个不在字典中的单词，我们需要去猜测：“这个家伙到底真正想输入的单词是什么呢？”用刚才我们形式化的语言来叙述就是，我们需要求：

这个概率，并找出那个使得这个概率最大的猜测单词。

显然，我们的猜测未必是唯一的。比如用户输入： thew ，那么他到底是想输入 the ，还是想输入 thaw ？到底哪个猜测可能性更大呢？幸运的是我们可以用Bayes公式来直接算出它们各自的概率，我们不妨将我们的多个猜测记为 （ 代表 hypothesis），它们都属于一个有限且离散的猜测空间 （单词总共就那么多而已），将用户实际输入的单词记为 （ 代表 Data ，即观测数据），于是 可以抽象地记为： ，类似地，对于我们的猜测2，则是 。不妨统一记为：

运用一次Bayes公式，我们得到：

对于不同的具体猜测 ， 都是一样的，所以在比较 和 的时候我们可以忽略这个常数。即我们只需要知道：

这个式子的抽象含义是：对于给定观测数据，一个猜测是好是坏，取决于“这个猜测本身独立的可能性大小（先验概率，Prior ）”和“这个猜测生成我们观测到的数据的可能性大小”（似然，Likelihood ）的乘积。具体到我们的那个 thew 例子上，含义就是，用户实际是想输入 the 的可能性大小取决于 the 本身在词汇表中被使用的可能性（频繁程度）大小（先验概率）和 想打 the 却打成 thew 的可能性大小（似然）的乘积。

下面的事情就很简单了，对于我们猜测为可能的每个单词计算一下 这个值，然后取最大的，得到的就是最靠谱的猜测。

类似的方法可以用来处理 自然语言的二义性问题 ，例如

到底是 The girl saw-with-a-telescope the boy 这一语法结构，还是 The girl saw the-boy-with-a-telescope 呢？两种语法结构的常见程度都差不多（你可能会觉得后一种语法结构的常见程度较低，这是事后偏见，你只需想想 The girl saw the boy with a book 就知道了。当然，实际上从大规模语料统计结果来看后一种语法结构的确稍稍不常见一丁点，但是绝对不足以解释我们对第一种结构的强烈倾向）。那么到底为什么呢？

比价合理的解释是：如果语法结构是 The girl saw the-boy-with-a-telecope 的话，怎么那个男孩偏偏手里拿的就是望远镜——一个可以被用来 saw-with 的东东捏？这也忒小概率了吧。他咋就不会拿本书呢？拿什么都好。怎么偏偏就拿了望远镜？所以唯一的解释是，这个“巧合”背后肯定有它的必然性，这个必然性就是，如果我们将语法结构解释为 The girl saw-with-a-telescope the boy 的话，就跟数据完美吻合了——既然那个女孩是用某个东西去看这个男孩的，那么这个东西是一个望远镜就完全可以解释了（不再是小概率事件了）。

还有 中文分词 的问题，比如

给定一个句子（字串），如：

如何对这个句子进行分词（词串）才是最靠谱的。例如：

这两个分词，到底哪个更靠谱呢？

显然这个思想还可以推广到 机器翻译 的领域，甚至是 图像识别 、 垃圾邮件过滤

❷ 贝叶斯公式应用实例

写作话题:

贝叶斯预测模型在矿物含量预测中的应用
贝叶斯预测模型在气温变化预测中的应用
贝叶斯学习原理及其在预测未来地震危险中的应用
基于稀疏贝叶斯分类器的汽车车型识别
信号估计中的贝叶斯方法及应用
贝叶斯神经网络在生物序列分析中的应用
基于贝叶斯网络的海上目标识别
贝叶斯原理在发动机标定中的应用
贝叶斯法在继电器可靠性评估中的应用

相关书籍:

Arnold Zellner 《Bayesian Econometrics: Past, Present and Future》
Springer 《贝叶斯决策》
黄晓榕 《经济信息价格评估以及贝叶斯方法的应用》
张丽 , 闫善文 , 刘亚东 《全概率公式与贝叶斯公式的应用及推广》
周丽琴 《贝叶斯均衡的应用》
王辉 , 张剑飞 , 王双成 《基于预测能力的贝叶斯网络结构学习》
张旭东 , 陈锋 , 高隽 , 方廷健 《稀疏贝叶斯及其在时间序列预测中的应用》
邹林全 《贝叶斯方法在会计决策中的应用》
周丽华 《市场预测中的贝叶斯公式应用》
夏敏轶 , 张焱 《贝叶斯公式在风险决策中的应用》
臧玉卫 , 王萍 , 吴育华 《贝叶斯网络在股指期货风险预警中的应用》
党佳瑞 , 胡杉杉 , 蓝伯雄 《基于贝叶斯决策方法的证券历史数据有效性分析》
肖玉山 , 王海东 《无偏预测理论在经验贝叶斯分析中的应用》
严惠云 , 师义民 《Linex损失下股票投资的贝叶斯预测》
卜祥志 , 王绍绵 , 陈文斌 , 余贻鑫 , 岳顺民 《贝叶斯拍卖定价方法在配电市场定价中的应用》
刘嘉焜 , 范贻昌 , 刘波 《分整模型在商品价格预测中的应用》
《Bayes方法在经营决策中的应用》
《决策有用性的信息观》
《统计预测和决策课件》
《贝叶斯经济时间序列预测模型及其应用研究》
《贝叶斯统计推断》
《决策分析理论与实务》

❸ 贝叶斯公式的现实应用

观点应该跟着事实不断修订。坚定不移不对，听风就是雨也不对——科学的修订，就是贝叶斯方法。

贝叶斯公式在概率论与数理统计中必学的概念，要真正的达到应用这个概念还得稍微理解一下公式：

贝叶斯公式完全是建立在一个等式P(A)*P(B|A) = P(B) * P(A|B)之上，而P(A)*P(B|A)和P(B)*P(A|B)的结果都是P(AB)，意思是事件A和事件B同时发生的概率。等式中P(A|B)指的是条件概率，即在B已经发生的情况下，A发生的概率，如果B代表下雨的概率，A代表一个人出门带伞的概率，那P(A|B)本质上还是带伞的概率，不过是下雨天的情况下一个人出门带伞的概率。根据经验可以得出，P(A|B)应该是大于P(A)的。平时我们对存在外星人（记作事件A）这一观点的相信的概率可以用P(A)来表示，一般而言咱都不怎么相信外星人存在的，P(A)应该无限趋于0，可是突然有一天一个正儿八经的专家说证明确实有外星人存在（记为事件B），那此时，我们相信外星人存在的概率已经不是P(A)了，而是P(A|B)，而这个值可能就要比0大不少了。要是某一天，大半个地球的人都说看到了外星人（记为C），那我们此时相信外星人存在的概率P(A|C)可能就要提高到1，也就是几乎确定就是有外星人存在。

对上面的等式稍微一变形，就可以得到贝叶斯公式 ： P(A|B) = P(A) * P(B|A) / P(B) ，其中P(A)是我们原来对一件事的原有的判断，叫做先验概率；P(A|B)就代表了我们在得到一些证据B之后对原来事物的概率，叫做后验概率。别看公式形式比较复杂，但是有个简单的理解方法：我们把等式右边 P(B|A) / P(B) 看作一个整体，称之为似然比（可以简单理解成证据的有效程度），那么整个公式便可以简单理解成P(你后来的观点）= 似然比 * P(你一开始的观点)。当有新的证据出现之后，别忙着不变，也别忙着立马推翻自己的态度，看看证据的有效性如何，如果真的有效，那就多调整一点自己的态度，如果证据的力度不大，那就少调整一点。卡尔·萨根说过一句话：“超乎寻常的论断需要超乎寻常的证据”，在贝叶斯看来这句话的意思不过是，要想从根本上说服我，你必须拿出唬得住我的东西来。而佛说：哪有什么一定之论，在我眼里，全是概率。

如果只想知道哲学上的东西，看官可就此打住，可如果看知道贝叶斯的具体威力，我们不妨来搞一下数学。在狼来了的故事中，我们用A表示小孩可信，B表示小孩说谎。不妨设我们过去对小孩子的印象为P(A)=0.8，P(~A)=0.2。现在我们来计算P(A|B)，即小孩说了一次慌滞后的可信程度。在公式中P(B)表示在任何条件下小孩子说谎的概率，可以拆分为P(A)*P(B|A)和P(~A)*P(B|~A)，P(B|A)和P(B|~A)分别表示在我们相信他时他说谎的概率和我们不相信他时他说谎的概率，分为设之为0.1和0.5。有一天小孩是说狼来了，80%的可能性狼来了，我们想吃狼肉，于是我们第一次上山打狼，发现狼没有来，即小孩子说了谎。此时P(A|B) = P(A) * P(B|A) / P(B) = 0.8*0.1 / (0.8*0.1 + 0.2*0.5) = 0.444，表明我们上一次当之后对这个小孩的可信程度从0.8下降到了0.444。在此基础之上，有一天小孩又说狼来了，有44.4%的可能性狼来了，本来不想去的，但是上次没吃到狼肉心里痒痒，于是我们又上山打狼，结果小孩又对我们撒了一次谎，狼没有来。我们对他的可信程度P(A|B) =0.444*0.1 /(0.444*0.1 +0.556*0.5) = 0.138,我们上了这小孩两次当，对小孩的可信程度由原来的0.8下降到了0.138。第三次小孩又喊狼来了，我们把小孩子吃了。

有时候明明可以很快用贝叶斯公式解决问题谋得巨大财富，结果我们却迟迟不动，很多时候，并不是贝叶斯公式太难，只不过是我们不知道贝叶斯公式使用的时机。贝叶斯的应用领域极其广泛，语音识别、垃圾邮件过滤、油井钻探、FDA批准新药、Xbox给你的游戏水平打分……各种你想到和想不到的应用，都在使用贝叶斯方法。但是扯这些东西和我们有点儿远，我们的市井生活中什么时候该用贝叶斯公式呢？很简单： 只要还没得到最终结果，就可以请贝叶斯爸爸出场帮你作弊。 你和两位猥琐而胆小的基友在操场上看到了一位身材火辣的性感女神，决定写纸条抽签选一人去要联系方式。每人抽到一个签，中彩概率都是1/3，很公平。你抽到了一张签，觉得自己不会那么背中彩，刚准备看，突然一个基友摊出了自己的纸条，哈哈大笑说：“看不是我，你们两个其中之一中彩了。”此时，天真的你觉得那有啥，反正大家中彩的概率 依旧 还是1/3，而且我运气好，不可能是我。在准备亮出你的纸条的一刹那见，你虎躯一震，隐隐约约感到有些不对劲: 三个人只有一个出了结果，还没有得到最终结果，我可以叫贝叶斯爸爸来帮忙算一下概率 。

贝叶斯看了，笑了，说：我们记你中彩为事件A，P(A)=1/3，那个已经摊出纸条的基友没有中彩为事件B，P(B)=2/3，傻子，你现在中彩的概率P(A|B)=P(A) * P(B|A) / P(B) = (1/3) * 1 /（2/3）= 1/2。心中暗自骂到：卧槽，他看了一眼他自己的纸条，我的gay率就由1/3变成1/2了，还好发现得早。于是机智的你抢过另一个基友还没看的纸条，把它和你的纸条一起吃掉，说：“我太饿了，我们重新抽签吧。“

❹ 《概率编程实战》epub下载在线阅读全文，求百度网盘云资源

《概率编程实战》（[美]艾维·费弗 (Avi Pfeffer)）电子书网盘下载免费在线阅读

链接：https://pan..com/s/1t69i_7zyBDoE6ApMaHeRrQ

书名：概率编程实战

作者：[美]艾维·费弗 (Avi Pfeffer)

译者：姚军

出版社：人民邮电出版社

出版年份：2017-4

页数：368

内容简介：

概率推理是不确定性条件下做出决策的重要方法，在许多领域都已经得到了广泛的应用。概率编程充分结合了概率推理模型和现代计算机编程语言，使这一方法的实施更加简便，现已在许多领域（包括炙手可热的机器学习）中崭露头角，各种概率编程系统也如雨后春笋般出现。本书的作者Avi Pfeffer正是主流概率编程系统Figaro的首席开发者，他以详尽的实例、清晰易懂的解说引领读者进入这一过去令人望而生畏的领域。通读本书，可以发现概率编程并非“疯狂科学家”们的专利，无需艰深的数学知识，就可以构思出解决许多实际问题的概率模型，进而利用现代概率编程系统的强大功能解题。本书既可以作为概率编程的入门读物，也可以帮助已经有一定基础的读者熟悉Figaro这一概率编程利器。

作者简介：

Avi Pfeffer是概率编程的先驱，Figaro概率编程语言的首席设计者和开发者。在Charles River Analytics公司，Avi Pfeffer致力于Figaro在多个问题上的应用，包括恶意软件分析、汽车健康监控、气象模型建立和工程系统评估。在闲暇时，Avi Pfeffer是一位歌手、作曲家和音乐制作人。他和妻子及三个孩子在马萨诸塞州坎布里奇生活。

❺ 全概率公式和贝叶斯公式怎么用