SyIvain

V1

2022/12/25阅读:19主题:山吹

“黑天鹅”不等于“灰犀牛”--《刘嘉概率论通识讲义》

与概率论和解的这个事情,是一个我尝试了十多年都没成功的事情。直到看完这本书,我和它就真的和解了,算是解开一个十多年的心结。

“黑天鹅”不等于“灰犀牛”--《刘嘉概率论通识讲义》

话说这个心结,要追溯到2008年,离现在将近15年了,当我学习了混沌理论后,发现我就无法调和自己对概率理论产生的疑问。

矛盾在于混沌理论描述的是确定性动力系统出现的不可预测,而且我越发的认识到传统的拉普拉斯妖和决定论,似乎并没有被彻底的推翻。混沌理论表明了非线性系统中的确定性是不可预测的,反过来说从数据点集中极难逆推混沌系统,并不能因为这个困难就说这是随机的。

从确定性来看,扔一个硬币,哪面朝上是确定的,不是随机的。进一步的疑问就是,那为什么要说正面的概率呢?当年有一个公司给我出面试题,说游戏中每次开宝箱能获得宝物的几率是一个值,那要获得一个宝物平均要开几次宝箱,记得当年我就拒绝回答这个问题,连式子都没给列。

因为自己对概率论的疑问找不到答案,我就先预设了概率论是有问题的,不断地用怀疑论的方式来探寻问题的答案。这十来年的努力,慢慢让自己解开了疑惑。我发现了其中的关键在于问题的前提和假设条件,当忽略了这些前提和假设的时候,我的思考是对的,但是如果考虑了这些前提,那顺着概率论的方向,就会有一片不可思议的疆野,至少出现了量子力学的各种中流砥柱的公式,它们都是基于概率。

我是个笨小孩,科学和工程的问题一旦卡壳,找不到解决办法的时候,我就不能往下思考和往下工作了。不过当下日常的工作,我并还是克服了这个弱点,毕竟日常的工作不涉及严谨的逻辑和推理,要严谨起来,我也卡壳。

概率论本质

概率论是一门解决随机问题的理论,本质上就是把局部的随机性转变成整体的确定性。这句话太关键,一下子把随机和确定调和了。看到这里,我忽然有点醒悟了。

概率论不是帮你预测下一秒会发生什么,而是为你刻画世界的整体确定性。这句话一下子把不可预测和确定性的关系给说清楚了,于是我明白了我理解的确定性是对的,但是通往确定性的道路我没有理解。我是从混沌系统通向的确定性,其实从概率论也能通往确定性。

某一次的结果,是低层次、随机的事件;而概率论,是高层次、确定性的认知。这是整体的、全局的思考框架,也是概率论的奠基石。我有时候,总会被一些不起眼的事情吸引,那些事情或许很多人一点也不会去考虑,但是在我这里卡壳,他们也都说不上个子丑寅卯。或许这种抓细节的性格,整好是我适合科研的特质,在别人不关注的地方,找到了自己的突破口,事实上也证明了我这方法有用。

随机不等于不确定

在英文里,有几个词感觉是近亲,可又有很大的差异,这分别是随机(random),不可预测(unpredict),不确定(uncertain)以及确定性(certain)。

  • 随机==不可预测,数学家的共识是:随机就等于不可预测。
  • (随机==不可预测)!=不确定,这个意思就是随机虽然等于不可预测,但是他们都不等于不确定。最大的差别在于时间可能出现的结果是否可知。随机性指的是时间出现的所有可能我们都知道,只是不知道下一次会出现哪一种结果。不确定,指的是我们完全不知道会发生什么结果。
  • 确定->(随机==不可预测),在一个确定性的公式里,即便把数字带进去,也是算不出结果的。这就是混沌,这就是为什么大气环流和长期的天气预报都是算不出来的。

因为我知道了确定性可以推导出随机和不可预测,反而就混淆了随机和不确定的概念,认为没有随机。这就是对概率论前提的预设和范围的误解。本质上来说,不确定性包含随机性,随机性只是不确定性的一种类型。这句话,让我嗨了好几天,因为这个概念困扰了我十多年。所以“黑天鹅”是不确定的描述,而“灰犀牛”是随机的表述。两者有天大的鸿沟。

然而,现实中,数学上定义的随机,在逻辑上就是绝对不可预测。但是实际上,基本上大部分我们接触的随机都是伪随机,比如计算机要生成随机数,都不可能是不可预测的,只是用了复杂的系统,让人一下子找不到规律。但确定性的混沌系统,就可以产生随机数,所以混沌系统自带了产生随机序列的光环,特别适合纳入密码学。因为我在这个小小的一亩三分地有些许认识,反而对概率的随机就产生了天大的误解,在我眼里他们没有随机(混沌和量子以外)。

事实虽然如此,但自己毕竟也绕进去了。正是因为天天想着确定的随机序列,才能在一天内完成了原有密码系统的破解,毕竟能让我一天就破解的系统,本身也是不安全的,但这正是我们搞科研努力的方向,只有越来越多的问题被攻克了,才有可能变得更安全。

绝对意义上的真随机只在于量子层面,现实中很难遇到;伪随机只是披着随机的外衣,它本身是有规律的;我们生活中遇到的大部分随机现象,都是效果随机,也就是概率这么学科研究的重点。在这个层面,我与概率再次和解了。

样本空间

**概率是对随机事件发生的可能性的定量描述**。

不是所有的事情都叫随机事件,它必须符合三个条件:

  • 设定一个明确的限制条件。比如问人能登上火星的概率是多少?这种问题就没法算,如果说2050年,人类登上火星的概率是多少,这就有计算的办法了。2050年就是一个明确的限制条件。
  • 从可能性的角度出发。可能性包括两种情况,一个是事情还没有发生;另一个是事情客观发生了,但我不知道。问明天下雨的概率多少属于前者,问家楼下有石油的概率属于后者。
  • 对某个发生结果的陈述。这个条件的意思是陈述必须是一个随机结果,不能是不确定的结果。

不管多么复杂的运算,概率计算背后的思路都是一致的就是:

计算随机事件在样本空间的比率

一件事可能发生的所有的结果,就是样本空间。随机事件的出现和样本空间是子集和全集的关系,他们的比率就是这个随机事件发生的概率。“黑天鹅”事件的无法预测,本质就在于我们不知道它,它压根就不在样本空间里。这个解释,再次让我释然。

读懂问题

当明白了概率的基本定义,接下来要用概率的理论来描述现实的问题,关键就在于读懂题目。大部分时候,没能算对概率或者没能正常的计算,是因为没有正确理解题目的描述,没有准确地把现实问题转换成对的概率问题。数学的很多问题,其实是语文的阅读理解题,但是数学不接受语文的那种发散性理解,必须用严谨的逻辑思维将文字描述转化成数学问题,再用数学的方法求解。

这是古希腊人的思维方式,他们崇尚的通识学习自由七艺(文科三艺和理科四艺),并不是文理割裂的。文科三艺指的是语法、修辞与逻辑,理科四艺指的是算术、几何、天文和音乐。只有知道语法,懂得修辞,才能读懂别人的文章,自己也才能写出像样的东西。接着在文学的基础上加上逻辑,才能进去算术和几何,接着才能明白天文,音乐倒是个相对独立的课程。

民国期间,蔡元培先生结合德国洪堡教育体系,提出了文理分科的概念,也成为了后来新中国文理学科大分家的基础。无疑,这种体制为我们的社会主义建设迅速提供了合格能上岗的人才,但是这种模式也使得文科人的数理逻辑偏弱,同时理科人的人文素养不足。

没有科学的人文是愚昧的,没有人文的科学是危险的。

概率和统计

概率和统计是两个截然不同的学科。

  • 概率研究问题的思路是,在对世界已经有了一个全景式的了解后,来判断未来会发生什么,可以说是一个上帝视角。用数学的语言来说,就是已知一个模型和参数,怎么去预测这个模型产生的结果。
  • 统计是从眼前的一堆数据中去预测世界的全景应该是什么,是人类视角,和概率的思维完全相反。

概率是已知模型和参数,推数据;统计是,一直数据,推模型和参数。这个概念与微积分的定义异曲同工。

泊松分布打破了两者的鸿沟,推开了统计推断的大门。泊松分布描述的是这么一个事情:

如果一个随机事件发生的整体概率符合正态分布,那么在某一个时间内或时间间隔内发生这个事件的概率是多少。这不是整体的发生率,而是求发生次数的概率。

于是加上数学常用的反证法,就出现了统计推断。大概就是假设一个随机事件是要发生的,根据泊松分布,那是可以算得出概率的,接着人为定义一个阈值,通常是5%,这个阈值就叫显著性水平。接着从现实的统计中看这个随机事件的发生概率,如果这个概率小于显著性水平,那么这随机事件的完全对立的另一个事件就是正确,高于这个显著性水平,什么也没发生,这个反证法就说明不了问题了。

举个例子,假设某个人能喝的出一杯奶茶是先加茶还是先加奶,如果盲测中连续6次都说对了,我们大概率是说他真的能品出。换成基于概率反证法的统计推断语言是这样:

  1. 能分辨出的事件命名为T,分辨不出靠猜的事件命名为F。T和F是对立的,一次只能出现一个,不可能同时出现。
  2. 如果我觉得他是靠猜的,那就基于事件F,看看当前的实际情况的概率,连续6杯都说对了,概率只有1.6%
  3. 把这个概率1.6%和显著性水平5%相比较,显然是1.6小于5,那就推翻了假设他是猜的事件,从而证明了他就是喝的出。

不过这是一个有瑕疵的方法,一个是选择的随机事件很有限,二是显著性的阈值的选择也会影响实际的判断,但还是能在一定程度上说明问题。因此严谨的科学论文的结论都会说,某某现象、情况在统计上出现了显著性结果。

结语

和解来的还是有点晚,如果能早点,或许我对科研就更有信心了,说不定就不会放弃硕博连读的机会了。

一切都有成本和代价的,至少如果我孩子再来问这个问题,我就可以给他解释,并推荐他们看这本书了。

分类:

文学

标签:

写作

作者介绍

SyIvain
V1