对于概率,相信大家都不会感到陌生,比如掷骰子这个最简单的概率场景,掷出的点数为5的概率是多少?我们会毫不犹豫地说出答案:概率为1/6。
这个问题太简单了,如果我们只满足于此,就没有什么研究意义了。接下来我给这个问题增加一个限定条件:已知掷出骰子的点数是奇数,再求抛掷点数为5的概率是多少。发现了没有,这个问题中我们没有直接问投掷出5这个事件的概率,而是增加了一个已知点数为奇数的前提。
生活中这类场景更多见,我们一般不会直接去推断一个事件发生的可能性,因为这样做的实际意义并不大,而且也不容易推断出结果。一般而言事件是不会孤立发生的,都会伴随其他一些条件。比如,我问你下雨的概率是多少。你可能会一头雾水,什么地点?什么时间?当日云层的厚度是多少?推断的前提条件都没有,是无法给出一个有意义、有价值的推断结果的。
因此,在实际应用中,我们更关心条件概率,也就是在给定部分信息的基础上,再对所关注事件的概率进行推断。这些给定的信息就是事件的附加条件,是我们研究时所关注的重点。
我们先来具体描述一下条件概率:假设知道给定事件b已经发生,在此基础上希望知道另一个事件a发生的可能性。此时我们就需要构造条件概率,先顾及事件b已经发生的信息,然后再求出事件a发生的概率。
这个条件概率描述的就是在给定事件b发生的情况下,事件a发生的概率,我们把它记作p(a|b)。
回到掷骰子的问题:在掷出奇数点数骰子的前提下,掷出点数5的概率是多少?奇数点数一共有{1,3,5} 3种,其中出现5的概率是1/3。很明显,和单独问掷出点数5的概率计算结果是不同的。
下面我们来抽象一下条件概率的应用场景。
回到最简单、最容易理解的古典概率模式进行分析:假定一个实验有n个可能结果,事件a和事件b分别包含m1个和m2个结果,m12表示公共结果,也就是同时发生a事件和b事件,即事件a∩b所包含的实验结果数。
通过图1-1再来形象地描述一下上述场景。
事件a和事件b单独发生的概率分别是多少?读者肯定能脱口而出,分别是m1/n和m2/n。那么再考虑条件概率:在事件发生的前提条件下,事件发生的概率是多少?
此时,我们的考虑范围由最开始的n个全部可能结果,缩小到现在的m2个结果,即事件b发生的结果范围,而这其中只有m12个结果对应事件a的发生,不难计算出条件概率p(a|b)=m12/m2。
为了更加深入地挖掘这里面的内涵,我们进一步对条件概率的表达式p(a|b)=m12/m2进行展开,式子上下部分同时除以全部可能的结果数:
由此,我们得到了条件概率的一般定义:p(a|b)=p(ab)/p(b)。
我们进一步分析上面的例子,事件a的无条件概率p(a)与它在给定事件b发生下的条件概率p(a|b)显然是不同的p(a|b)≠p(a),即,而这也是非常普遍的一种情况,无条件概率和条件概率的概率值一般都存在差异。
其实,这种情况也反映了两个事件之间存在着一些关联,假如满足p(a|b)>p(a),则可以说事件b的发生使得事件a发生的可能性增大了,即事件b促进了事件a的发生。
但是p(a)=p(a|b)的情况也是存在的,而且这是一种非常重要的情况,它意味着事件b的发生与否对事件a是否发生毫无影响。这时,我们就称a和b这两个事件独立,并且由条件概率的定义式进行转换可以得到:
实际上,我们使用以上表达式刻画事件独立性,比单纯使用p(a)=p(a|b)要更好一些,因为p(ab)=p(a)p(b)不受概率p(b)是否为0的因素制约。
由此可知,如果a和b这两个事件满足p(ab)=p(a)p(b),那么称事件a和事件b独立。
我们假设b1,b2,b3,…,bn为有限个或无限可数个事件,它们之间两两互斥且在每次实验中至少发生其中一个,如图1-2所示。
用表达式描述:
现在我们引入另一个事件a,如图1-3所示。
由图1-3可知,因为ω是一个必然事件(也就是整个事件的全集),因此有等式p(a)=p(aω)成立,进一步进行推导有:
p(a)=p(aω)=p(ab1 ab2 ab3 … abn)。因为事件bi、bj两两互斥,那么显然ab1,ab2,ab3,…,abn也两两互斥,于是就有:
p(a)=p(ab1) p(ab2) p(ab3) … p(abn)
再将条件概率公式p(abi)=p(bi)p(a|bi)代入:
p(a)=p(b1)p(a|b1) p(b2)p(a|b2) … p(bn)p(a|bn)
这就是我们最终得到的全概率公式,“全”字的意义在于:全部的概率p(a)被分解成了多个部分概率之和。
我们再回过头来看全概率公式的表达式,可以发现:事件a的概率p(a)应该处于最小的p(a|bi)和最大的p(a|bj)之间,它不是所有条件概率p(a|bk)的算术平均,因为事件被使用的机会权重(即p(bi))各不相同,因此全概率p(a)就是各条件概率p(a|bk)以p(bk)为权重的加权平均值。
了解了全概率公式之后,我们进一步处理条件概率的表达式,得到如下等式:
这就是大名鼎鼎的贝叶斯公式。
千万不要觉得它平淡无奇,只是数学公式的推导和罗列。实际上,这个公式里包含了全概率公式、条件概率、贝叶斯准则。我们来挖掘一下里面所蕴藏的重要内涵。
贝叶斯公式将条件概率p(a|b)和条件概率p(b|a)紧密地联系起来,其最根本的数学基础就是p(a|b)p(b)=p(b|a)p(a),它们都等于p(ab)。
那这里面具体的深刻内涵是什么呢?我们接着往下看。
在现实中,我们可以把事件a看作结果,把事件b1,b2,…,bn看作导致这个结果的各种原因。那么,我们所介绍的全概率公式
p(a)=p(b1)p(a|b1) p(b2)p(a|b2) … p(bn)p(a|bn)
就是由各种原因推理出结果事件发生的概率,是由因到果。
但是,实际上还存在着一类重要的应用场景:我们在日常生活中常常是观察到某种现象,然后去反推造成这种现象的各种原因的概率。简单来说,就是由果推因。
由贝叶斯公式
最终求得的条件概率p(bi|a),就是在观察到结果事件a已经发生的情况下,推断结果事件a是由原因bi造成的概率的大小,以支撑我们后续的判断。
概率p(bi)被称为先验概率,指的是在没有别的前提信息情况下的概率值,这个值一般需要借助我们的经验去估计。而条件概率p(bi|a)被称作后验概率,它代表了在获得“结果事件a发生”这个信息之后原因bi出现的概率,可以说后验概率是先验概率在获取了新信息之后的一种修正。
本文从概率出发,到条件概率,再到全概率公式,最终聚焦到贝叶斯公式,主要是从概念层面进行梳理,帮助读者迅速形成以条件概率为基石的认知视角。条件概率的重要性不言而喻,它将贯穿整个概率统计课程体系。