bayes.md

贝叶斯定律

贝叶斯公式

公式完整内容参阅《机器学习数学基础》一书。

定理： 如果事件 $$A_1,A_2,\cdots,A_n$$ 互不相容， $$B\subset\cup_{j=1}^nA_j$$ ，则 $$P(B)\gt0$$ 时，有：

$$\displaystyle{P(A_j|B)=\frac{P(A_j)P(B|A_j)}{\sum_{i=1}^nP(A_i)P(B|A_I)}$$ ，$$1\le j\le n}$$

证明

由全概率公式$$^{[3]}$$ 得：

$$P(B)=\sum_{i=1}^nP(A_i)P(B|A_i)$$

再有条件概率公式$$^{[3]}$$ 得到：

$$P(A_j|B)=\frac{P(A_jB)}{P(B)}=\frac{P(A_j)P(B|A_j)}{\sum_{i=1}^nP(A_i)P(B|A_I)}$$ ，$$1\le j\le n$$

蒙提霍尔问题

蒙提霍尔问题（Monty Hall problem），或称三门问题、山羊问题，是一个源自博弈论的数学游戏问题，出自美国的电视节目 Let's Make a Deal ，此节目的主持人是 Monty Hall $$^{[1]}$$​。

游戏玩法是：参赛者会看见三扇关闭的们，其中一扇后面是一辆汽车，另外两扇后面是山羊。参赛者选定一扇门，在未打开那扇门之前，知道门后情形的节目主持人先打开剩下两扇门中一扇，显示出一只山羊。主持人此时会问参赛者是否更换自己选定的门。

问题是：换另外一扇门是否会增加参赛者赢得汽车的概率。

解：$$^{[2]}$$

设 $$H_1,H_2,H_3$$ 为三扇门开启后赢得汽车的概率，即先验概率：

$$P(H_1)=P(H_2)=P(H_3)=\frac{1}{3}$$

假设汽车在门1的后面：

• 若参赛者选中了门1，则主持人可以在门2和门3中选择一扇打开，记作 $$Y=2$$​ 或 $$Y=3$$​ 。
• 若参赛者选中了门2（或者门3），主持人只能打开门3（或者门2）。

将主持人选择某扇门的概率用条件概率形式写出：

$$\begin{split}P(Y=2|H_1)=\frac{1}{2}&\quad P(Y=2|H_2)=0&\quad P(Y=2|H_3)=1\P(Y=3|H_1)=\frac{1}{2}&\quad P(Y=3|H_2)=1&\quad P(Y=3|H_3)=0\end{split}$$​

根据贝叶斯定律，计算上述假设下的后验概率

$$P(H_i|Y=3)=\frac{P(Y=3|H_i)P(H_i)}{P(Y=3)}$$

$$\begin{split}P(H_1|Y=3)=\frac{(1/2)(1/3)}{P(Y=3)}\P(H_2|Y=3)=\frac{(1)(1/3)}{P(Y=3)}\P(H_3|Y=3)=\frac{(0)(1/3)}{P(Y=3)}\end{split}$$​

其中 $$P(Y=3)=\frac{1}{6}+\frac{1}{3}=\frac{1}{2}$$ ，则：

$$\begin{split}P(H_1|Y=3)=\frac{1}{3}\P(H_2|Y=3)=\frac{2}{3}\P(H_3|Y=3)=0\end{split}$$​​​​​​​

所以，如果参赛者选中了一扇门，主持人打开一扇门后，参赛者更换自己的选择，赢得汽车的概率会较高。各种情况可以用下面的表格显示。

门1	门2	门3	更换	不更换
Car	-	-	Lose	Win
-	Car	-	Win	Lose
-	-	Car	Win	Lose

参考资料

[1]. 维基百科：蒙提霍尔问题

[2]. Kevin P. Murphy. Probabilistic Machine Learning An Introduction[M]:43-44. The MIT Press.

[3]. 概率基础