c

cqqqwq

V1

2022/03/21阅读:98主题:默认主题

信息论系列(零):香农,The Father

信息无处不在。上古岩洞的壁画,印刷品内的油墨文字,人们的轻声细语,硬盘深处的 0 和 1,空气中弥漫的无线电波......但我们对这些“信息”的了解,却是无比的模糊与抽象。

在这个系列中,我们将介绍信息论这门由香农在 1948 年奠基的学科,并挖掘其与当今计算机科学的联系。

信息无处不在。欢迎来到信息的世界。

假设有这么一个人:

他 16 岁高中毕业,考入密歇根大学,修习了数学电子工程的双学位;

他 21 岁时在 MIT 的硕士论文《继电器与开关电路的符号分析》,连接起了布尔代数和物理世界,奠定了现代计算机建造的基石

被称为“历史上最伟大的硕士论文”
被称为“历史上最伟大的硕士论文”

他 24 岁时的博士论文竟然在遗传学领域,并凭借这篇论文获得了数学博士学位:

《理论遗传学的代数学》
《理论遗传学的代数学》

他 32 岁时发表的的论文《通信的数学理论》(记得《自然哲学的数学原理》吗),单篇引用量近 140000 次,即使是近四年的引用量也高达 3 万次:

139572次引用,截至2022年3月20日
139572次引用,截至2022年3月20日

他的肖像照片,登上时尚杂志(Vogue Magazine):

香农最著名的肖像
香农最著名的肖像

他关于通信编码极限的预言,经过全世界科学家的努力,在论文发表七十年后才终于实现,在东方大国被发扬光大:

极化码是第一种达到香农极限的编码,被应用于华为的 5G 技术
极化码是第一种达到香农极限的编码,被应用于华为的 5G 技术

他就是克劳德·E·香农。


香农是一个天才式的人物。他几乎凭借一己之力构建了整个信息论科学,给后世留下无尽的财富。

现在,让我们跟随香农的脚步来看一看到底发生了什么:

首先,当我们谈论一幅画、一句话、几个字成为“信息”的时候,我们究竟在谈论什么?这是香农解决的第一个问题。香农创造性的借鉴了位(bit,Binary Digit),作为信息的单位;他还从热力学中借用了“熵” (Entropy)的概念来作为信息的量度,运用概率论中随机变量的理论框架建立起了“信息是对不确定性消除”这样的信息观念,这甚至反哺了物理学“最大熵”方法作为热力学根本方法的发展。

其次,当我们人类大声喊叫,当我们人类飞鸽传书,当我们人类视频聊天,并称之为“通信”的时候,我们究竟在谈论什么?这是香农解决的第二个问题,他提出了“通信” 的一般化模型,将“通信”、“信道”的概念形式化并给出了数学表示。

通信的一般模型,出自《通信的数学理论》
通信的一般模型,出自《通信的数学理论》

固然,没有香农或许还会有其他人发明“信息论”。当时电报早已投入使用,摩尔斯码这种“编码”形式已经投入使用,甚至已经有一点“信息压缩”的直觉。熵概念的提出是从一个公理化过程而来,因此其实其他人也可以给出同样的形式。比特的概念从 0/1 的布尔代数推广而来似乎也是很符合直觉。毕竟以上的理论都只是在正确方向上进行的理论抽象,只要尝试的人足够多,发现只是时间问题,香农只不过运用了自己“出众的”数学直觉加速了这一过程。

但是接下来的这两个成就才是香农最令人倾佩的贡献:

香农说:信息中可能有冗余可以被压缩,例如我们日常生活中可以采用大量简写来通信;但信息的压缩有不可跨越的极限,例如无论使用什么压缩软件我们不可能把一个蓝光电影压缩到几个 KB 的大小而不损失任何画质。这个极限就是熵(Entropy)

香农说:在给定信道物理性质(如噪声)的约束下,信息的传输速率有不可跨越的极限,这个极限就是信道容量(Channel Capacity),也被称为“香农极限(Shannon Limit)”。而且无论信道的噪声如何,在渐近意义上“香农极限”可以运用“编码”的方法达到,同时在即使有噪声的情况下,将差错降到足够小的量。

这两个贡献的强大之处在于:当时通信领域无论在工程上还是在理论上,还处发展的拓荒阶段,所有的发展都是凭借直觉和经验进行,最先进的通信不过是电报和电话;香农却依靠自己的数学直觉和工程实践给通信领域近百年的发展划定了清晰明确的理论上界,而这一切都发生他的一篇论文中。可以说,从香农之后,和香农的工作相比,几乎所有的通信领域的工作都只是“工程”实现而已。

而这一切,几乎都是在 1943-1949 年短短七年中发生的。


或许香农开创的信息论已经太过于深入人心,因而人们在当前对于它的伟大程度会有所低估。

香农的信息论至少和图灵的计算模型一样伟大,而对于普通人来说,可能香农对我们日常生活的影响会更大一些。编程的同学或许会非常熟悉位(bit)的概念,在编程中自如地打下 bool ,图片会有“8 / 16 / 24bit”的色深,乃至于比特币(bitcoin),字节跳动(ByteDance)这些我们耳熟能详的名字,现在的我们自觉地用比特这样的 0/1 变量来量化、测量这个世界,好像比特、字节的概念如空气一般自然,但其实回望历史,他们发现的过程并没有我们看起来这么显然。正如爱因斯坦的光速有限、一切信息的传播速度都不会大于光速的论断,在如今看来也十分的显然,但当时的人们是很难去接受,更不用说发现了。

如果没有信息论对通信做出的贡献,世界的通信或许很难进入电子时代,世界上或许仍会有收音机、电视,但是全球规模的互联网、手机移动网络、乃至 5G 技术,都是不可能诞生的。在我们这样一个由高速通信构成的世界中,香农的信息论无处不在。

信息论的并不仅仅是数学、通信的理论,它在其他领域的影响也同样显著。

信息论影响的领域
信息论影响的领域

除了奠基于信息论的现代通信理论理论计算机科学也依赖于信息论之后的工作,例如科尔莫戈洛夫(Kolmogorov)复杂度事实上是比计算模型(如图灵机)更加基础的理论工作,是我们如今学到的“空间复杂度、时间复杂度”的本质抽象。信息论中的基本量如“熵”、“相对熵”,在概率论中是刻画随机变量数字特征的的有力武器,并能够在假设检验中帮助我们找到最佳的误差指数。在物理学中,香农的信息论给出了热力学熵的另一重定义,同时也启发了量子信息(Quantum Information)等一系列领域的发展。

甚至在我看来,香农的“信息”观点也具有一定程度的哲学启发。在最冰冷的物质层次上,什么是有意义的?如维特根斯坦所说,“重言式是缺乏意义的”,不确定真假才能带来信息,或许才是有意义的。“信息”是连接人类和世界的桥梁,它描述了人对于世界的了解。“信息”这样的概念或许是人类运用理性认识世界的唯一的桥梁。

信息熵的概念也会让我们对计算机领域施加哲学思考。当代的人工智能,诸如深度学习的语言模型,输出文字能否算是在产生新的信息?我们未来的更高级的人工智能,自我意识是否又与所谓新的“信息”有一定的联系呢?

啊,这伟大的直觉啊。


很多人知道图灵是计算机之父、是人工智能之父,但不知道香农和图灵有深厚友谊,两人在二战期间经常一起吃饭,还讨论有关思考机器(thinking machine)的内容。

从某种意义上说,香农同样也是人工智能的先驱者之一。“人工智能”名称提出于1956年举办的达特茅斯会议,香农即为与会的著名科学家之一。从某种意义上来说,由于香农扎实的工程背景,他对于人工智能的设想比图灵认知相对来说现实许多。

在贝尔实验室时期,他仅仅凭借机械电子技术制作了能走迷宫的的小鼠,取名为忒修斯,这与现在的搜索技术(试想我们在人工智能导论课上所写的 PACMAN 程序?)完全一致:

贝尔实验室时期帅气的香农
贝尔实验室时期帅气的香农
能走迷宫的小鼠
能走迷宫的小鼠

他实现了世界上可能是第一个能下象棋的机器 End Game(一个真正的机器,而不只是论文),虽然这个程序只能下最后六步,但无疑也是人工智能的雏形:

香农关于下棋机器的论文
香农关于下棋机器的论文
香农设计的国际象棋机器
香农设计的国际象棋机器

他还设计了许多机器:

能自动还原魔方的机器
能自动还原魔方的机器

对于我们来说:肯定要问:为什么香农可以这么成功?

The Bit Player 剧照
The Bit Player 剧照

或许因为他真的很喜欢。他在贝尔实验室,骑独轮车的同时,还能玩着三个球杂耍;在他所获的奖项和奖章中,“Doctor of Juggling”这样的荣誉使他最为自豪。因此,科研不再是枯燥烦人的难事,而是一种享受和探索。

香农的独轮车
香农的独轮车

香农自从 1948 年之后的论文之后,就再也没有和信息论一样开天辟地的成果。人们期待他成为信息论领域的领军任务,带领学界完成他的预言。他却慢慢地隐退,兴趣也慢慢向智能机器转变,当然也有传言说他将一半的精力都花在了研究炒股上。

尽管香农可能是他那个时代最了解何为“通信”的人,但有趣的是,他似乎并不擅长与伴侣、乃至于与别人“沟通”。1940年,香农与诺尔玛·巴兹曼结婚,在他短暂的第一年婚姻。随后他又“经历”了一些恋爱之后,最终在 1949 年和贝蒂·摩尔(Betty Moore)结婚,最终度过了一生。

The Bit Player 剧照
The Bit Player 剧照
The Bit Player 剧照
The Bit Player 剧照

不过从香农和自己伴侣的经历看来,香农对自己发明的信息论的应用似乎并没有那么好。

如何用信息论与伴侣沟通?
如何用信息论与伴侣沟通?

1972年,IEEE设置克劳德·E·香农奖,成为通信领域的最高奖项,鼓励在数学、通信工程和理论计算机科学交叉领域的突出成就。首届香农奖被授予香农本人,以表示向他致敬。

1993年,香农论文集(Claude Elwood Shannon: Collected Papers)由IEEE出版,其中信息论的奠基著作论文题目“A mathematical theory of communication”的冠词由“A”变成了“The”,这个小小的改动或许代表了对他在信息论领域贡献的最大肯定。

2001年2月24日,在与阿尔兹海默病战斗数年之后,克劳德·E·香农过世,走完了他的充实的84年人生。

或许未来有一天,我们能更真切地体会到香农的理论对于人类世界的巨大影响。

We know the past but cannot control it. We control the future but cannot know it.

——Claude Elwood Shannon(1916-2001)

参考文献

香农传(A Bit Player) - 哔哩哔哩

信息论之父——香农

香农是如何想到信息论的?——知乎

MIT Professor Claude Shannon dies; was founder of digital communications

Thomas M. Cover, Joy A. Thomas: Elements of Information Theory(2nd edition)

分类:

其他

标签:

其他

作者介绍

c
cqqqwq
V1