阿升

V1

2022/10/18阅读:35主题:默认主题

对抛硬币试验中后验概率的理解

一.贝叶斯相关公式

1.条件概率

  当条件 成立时,事件 发生的概率。如下所示:

2.先验概率

  先验概率(Prior Probability)是指根据以往经验和分析得到的概率,它不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的。比如, 都是先研概率。

3.后验概率

  后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料。如下所示:

4.全概率公式

   发生的概率是全部原因引起 发生的概率的总和,即每个原因对结果的发生有一定的作用,结果发生的可能性与各种原因的作用大小有关。如下所示:

5.贝叶斯公式

  在事件 已经发生的条件下,贝叶斯公式可用来寻找导致 发生各种原因 的概率。如下所示:

二.抛硬币试验的后验概率

1.Beta分布

  Beta分布是指一组定义在(0,1)区间的连续概率分布,它有两个参数 。其概率密度函数为:

  其中, 是Gamma函数,随机变量 服从参数 的Beta分布记为 。概率密度函数曲线如下所示:

2.Beta分布与均匀分布关系

  当 的时候,Beta分布就是一个均匀分布:

3.Beta分布与二项分布关系

(1)伯努利分布和二项分布
  伯努利分布(Bernoulli Distribution)是一种离散分布,又称为"0-1分布"或"两点分布"。满足只有两种可能,试验结果相互独立且对立的随机变量通常称为伯努利随机变量。二项分布(Binomial Distribution)也是一种离散型概率分布,又称为 重伯努利分布。
(2)Beta分布与二项分布
  进行 重伯努利试验,假设其试验成功的概率 服从先验概率密度分布 。如果试验结果出现 次试验成功,那么试验成功的概率 的后验概率密度分布为
说明:方程推导过程省略,感兴趣可参考[4]。在机器学习的主题模型中遇到的2对共轭分布,即Beta分布是二项分布的共轭分布,Dirichlet分布是多项式分布的共轭分布(Beta分布和二项式分布的多维推广)。

4.抛硬币试验后验概率更新图

  抛1次硬币就是1重伯努利分布,抛 次硬币就是 重伯努利分布。根据频率学派,每次抛硬币头朝上的概率 。但贝叶斯学派假设 ,而生成的观测数据 。一个Beta先验分布连同二项分布生成的观测数据将形成一个Beta后验分布,即 。随着抛硬币次数的增加,后验概率更新的Python脚本如下所示:

import numpy as np
from matplotlib import pyplot as plt
import scipy.stats as stats
dist = stats.beta

n_trials = [0, 1, 2, 3, 4, 5, 8, 15, 50, 500]
# 生成伯努利随机变量
data = stats.bernoulli.rvs(0.5, size=n_trials[-1])
x = np.linspace(0, 1, 100)
for k, N in enumerate(n_trials):
    sx = plt.subplot(len(n_trials) / 2, 2, k + 1)
    plt.xlabel("$p$, probability of heads"if k in [0, len(n_trials) - 1] else None
    plt.setp(sx.get_yticklabels(), visible=False)
    heads = data[:N].sum()
    y = dist.pdf(x, 1 + heads, 1 + N - heads)
    plt.plot(x, y, label="observe %d tosses, \n %d heads" % (N, heads))
    plt.fill_between(x, 0, y, color="#348ABD", alpha=0.4)
    plt.vlines(0.5, 0, 4, color="k", linestyles="--", lw=1)
    leg = plt.legend()
    leg.get_frame().set_alpha(0.4)
    plt.autoscale(tight=True)
plt.suptitle("Bayesian updating of posterior probabilities", y=1.02, fontsize=14)
plt.tight_layout()
plt.show()

后验概率更新图如下所示: 可见随着观察数据的增多,概率密度越来越靠近真实值0.5,虽然不会完全等于0.5。

参考文献:
[1]一个例子搞懂条件概率、先验概率、后验概率、全概率公式和贝叶斯公式:https://blog.csdn.net/venom_snake/article/details/89925155
[2]Think Bayes - 我所理解的贝叶斯定理:https://blog.csdn.net/csshuke/article/details/62884071
[3]贝塔分布:https://baike.baidu.com/item/%E8%B4%9D%E5%A1%94%E5%88%86%E5%B8%83/8994021
[4]深入理解Beta分布:从定义到公式推导:https://zhuanlan.zhihu.com/p/69606875
[5]scipy.stats.beta:https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.beta.html

分类:

数学

标签:

数学

作者介绍

阿升
V1

吾爱DotNet(公众号)