第68篇 信息论（1）—《信息论》的创始人申农

第68篇  信息论（1）—《信息论》的创始人申农
作者：
中国医药信息学会北京分会后现代理论医学专业委员会主任委员杨鸿智
一  概括介绍
克劳德•艾尔伍•申农是美国数学家，美国全国科学院院士。信息论的创始人。1916年 4月30日生于美国密歇根州盖洛德城。1936年在密歇根大学毕业获理学士学位，1940年在麻省理工学院获理学硕士和哲学博士学位。1941～1956年间任贝尔电话实验研究所数学研究员。1956年到麻省理工学院任教，先后担任客座教授、教授，1958年后为终身教授。1957～1958年间还担任过斯坦福行为科学高级研究中心的研究员。1956年当选为美国全国科学院院士。他是美国无线电工程师学会和美国数学会的高级会员。曾获电气 和电子工程师学会(IEEE)的诺布尔奖，美国无线电工程师学会的利布曼奖，富兰克林学会的巴兰坦奖章(1955)，美国全国研究协会奖(1956)和哈维奖。香农在1948年发表《通信的数学理论》，1949年发表《噪声中的通信》。这两篇著名论文奠定了信息论的基础。1949年发表《保密系统的通信理论》，使他成为密码学的先驱。他在1956年与J.麦卡锡合编的著名论文集《自动机研究》是自动机理论方面的重要文献。他的博士论文《关于类的古典布尔代数方法在电工开关系统研究中的应用》，是数字控制系统和计算机科学的先驱工作。
克劳德•艾尔伍•申农是创造了信息时代的巨人之一。约翰•冯诺伊曼和阿伦•图灵等人发明了计算机，让信息处理成为可能，而克劳德•申农则提出了现代的信息概念。如果高科技行业仿照拉什摩尔山雕筑四大伟人的头像的话，克劳德•申农定会出现在其中。完整的信息论科学肇始于申农1948年发表的一份论文，时年32岁的申农是贝尔实验室的一名研究员。文中，他说明了怎样定义并准确量化一度还很模糊的信息概念，指出了各种信息媒介之间必然的联系：文字、电话信号、无线电波、影像等等通讯交流方式，都能够编码为一种二进制的通用语言——比特，这也是“比特”（ｂｉｔ）一词第一次出现在文字上。申农认为，信息一旦数字化，将实现无差错的传输。申农在概念上实现的巨大飞跃直接引致了ＣＤ技术的发展和成熟，他所描绘出的是一幅“数字时代的蓝图”。
二  发现的乐趣
　　
对申农来说，他所做的一切都应充满乐趣，他的研究和发现不过是一种获取乐趣的方式。“克劳德喜欢大笑，喜欢构想那些反传统的事物。”贝尔实验室退休的数学家大卫•斯莱比安说道。50年代，斯莱比安曾是申农的同事。数学对于申农来说，就像魔术师手里的戏法道具。斯莱比安说：“他常常会转上一圈然后突然从一个你想不到的角度解出答案。”要说起戏法，申农的确有个保留节目——夜里骑着独轮车穿过贝尔实验室长长的走廊，手里还一边玩着杂耍。在家里的时候，申农把空余时间都花在了制作各式各样奇形怪状的装置上，比如：用罗马数字来进行计算的“Ｔｈｒｏｂａｃ”计算器，能从迷宫里找到出路的机器鼠“Ｔｈｅｓｅｕｓ”。还有“极端机器”，这是一个在侧面上安置了一个巨大开关的盒子。拧开这个开关后，盒子的盖子会慢慢打开，一只机械手从里面伸出来，伸到开关那里去关上开关，然后再慢慢缩回去，最后这个盒子又恢复到了初始的关闭状态。幼时的申农非常喜欢组装飞机模型、收音机电路、无线控制的船模，甚至电报装置。1932年进入密歇根大学时，他就毫不犹豫地选择了电机工程专业。1936年毕业后，申农在学校的布告栏上瞥见了麻省理工学院（ＭＩＴ）提供半工半读机会的广告，于是便直接进入了ＭＩＴ，一面攻读电机工程学硕士学位，一面给ＭＩＴ副校长、工程系系主任范尼佛•布什做实验助理，给布什照看微分分析器。这个由大大小小的齿轮滑轮组成、几乎占据了整个房间的机械系统，被视为那个年代最强大的计算装置。
    三  划时代的研究
　　
在研究中，申农发现，这台分析器复杂的电路控制是通过上百个相联系的中继开关实现的。申农逐渐意识到，电路开关能够实现逻辑运算：当电路上有一个开关时，这个开关的闭合就相当于逻辑上的“是”“非”判断；当电路上串连着两个开关时，就形成了逻辑上的“与”关系，也就是说，当这两个开关同时闭合时，“电流可以从该电路通过”这一陈述为真；当电路上并连着两个开关时，就意味着当任何一个开关闭合时，电流可以通过电路，这就是逻辑上的“或”运算。显然，此前人们从来没有意识到这一点，于是申农决定将其作为他硕士论文的题目。几乎整个1937年，申农都在研究这个问题。后来申农在一次采访中说，他“这一生中从没获得过如此多的乐趣”。
　　申农发表了论文《中继和交换电路的符号分析》。他在论文中证明了逻辑代数中的真值和假值可以用数字1和0来表示，这就意味着，中继电路可以进行二进制运算，于是申农写道：“通过中继电路实现更为复杂的数学运算已成为可能。”在这篇著名的论文中，申农还画了一个能够进行二进制加法运算的电路图。更为重要的是，申农还指出这样的电路甚至能根据预设条件作出判断，比如“当数字Ｘ的值等于数字Ｙ的值时，进行Ａ操作”。申农又画了一幅图，表明了当且仅当几个按钮依照不同的顺序按下时，一个中继电路能够将一把锁打开。这一发现的深远意义在于，判断能力已不再是人类特有的财产。它激发了人工智能研究领域的灵感，申农也成为了这一领域中的研究者们共同的膜拜对象。同时，能够进行判断操作的电路也成为了二战后数字计算机诞生的契机。这就是申农于1938年发表的这篇论文被奉为二十世纪最伟大的论文的原因。才二十多岁的克劳德•申农，为十年后现代计算机的出现做了杰出的预见。这十年间，随着技术的发展，最初的电机开关演变成了只有显微镜下才看得见的蚀刻在硅片上的晶体管。
　　在范尼佛•布什的鼓励下，完成了硕士学业的申农决定继续攻读数学博士学位。仅仅在一年半之后，申农就顺利拿到了博士学位。1940年春天，毕了业的申农加入了贝尔实验室。不久，美国政府为了备战，申农被调到军队里去进行防空火力系统和密码的编写与破译的研究工作。尽管如此，申农依然有时间继续自己的工作。在贝尔实验室的工程师拉尔夫•哈特利的协助下，申农开始考虑如何使用同一种方式来传输不同讯息，以及通讯信道在受瓶颈限制和噪音干扰客观存在的情况下，如何才能保证讯息传输的准确性。1943年，申农找到了问题的答案。然而，奇怪的是，他似乎并不急于将新发现与人共享。他当时身边最亲密的合作伙伴也丝毫不知道他正在研究的正是其后令世人震惊的信息论。“当时的我更多地受到了好奇心的驱使。”1987年，申农接受采访时说道，为了发表而写作实在是一个“痛苦”的过程。但最终，在1948年的《贝尔系统技术》杂志的7月号和10月号上，申农还是发表了其具有划时代意义的论文《通讯的数学理论》。　　申农的理论顿如一石激起千层浪。“就像是晴空一声惊雷。”申农当年在贝尔实验室的好友约翰•皮尔斯回忆道。“ＭＩＴ里的人们都在说：‘太绝了！我怎么就没想到？’”申农的理论认为，所有的通信讯息，都可以编码成数字1和0传输出去，接收后再进行解码。也就是说，使用同一个平台，就能实现以往不同的通信方式的讯息的传输，不管是电话、电报，还是广播、电视。然而，其理论的重要意义不仅于此。申农指出，不管是什么通信方式，都有一个传输的极限，其数值可以用比特／秒来表示。只要不超过这个限值，不管信道中有多少干扰，也不管讯息有多么微弱，都可以实现通信的无损传输。
　　申农称自己提出的是信息论的“基础定理”，这一理论甚至让申农自己也吃了一惊，因为克服噪音干扰似乎是违背常理的。听他说差错几率可以降为零，所有的人都表示了怀疑，其中也包括日后成为了信息论主导者、ＭＩＴ的罗伯特•法诺。申农的定理确实成为了现代通信工程学的基础，50年来，人们都在为了实现他的预言而努力。申农的研究也激发了所有现代的纠错编码技术和数据压缩算法。换句话说，没有申农，就不会有音质一流的ＣＤ音碟，不会有将你与因特网相连的Ｍｏｄｅｍ，也不会有ＮＡＳＡ的飞行器从数十亿公里外的太空中传回地球的照片。因此，今天的“数字”一词才会成为高质量、高保真的同义词。
    四  数字之父的退隐
　　
不久，溢美之辞便从四面八方向申农涌来。《财富》杂志甚至称信息论是人类最值得骄傲、最罕有的创造之一，是最深远地影响了人类对世界的看法的理论。论文发表两年后，申农惊恐地发现信息论竟已成为流行于市井街巷的时髦词儿。不管有关无关，人们都爱扯上“信息论”的幌子。这让申农感到憎恶起来。1956年，申农在《信息论学报》上发表题为《花哨彩车》的文章，他指出信息论这个词已经被滥用了，“人们过度夸大了它的重要性，超过了其实际价值。”
　　申农知道反对潮流只能是无谓之争，于是开始慢慢淡出。尽管其后有一段时间他仍在陆续地发表论文，但他推掉了所有的演讲邀请，也拒绝了媒体的采访。他甚至连所有的信都不回，不管来信者是科学大师还是政界要人。他只是不想变成一个大明星。
　　多年之后，申农不光从公众视线中消失了，在研究领域中也再见不到他的身影。此时的申农其实还没完全归隐，1950年，他还在《科学美国人》杂志上发表文章，论述了计算机编程下棋的问题。60年代中期，申农放弃了他在ＭＩＴ的教职，不再理会世事。
　　1978年，62岁的申农正式宣告退休，回到了波士顿郊外的家中。由于预见到了日后高科技产业的蓬勃发展，申农早年投下的资金收益也颇为可观。1985年的一天，申农驾车外出，却忘了回家的路。后来情况开始日益恶化，1992年，电子电气工程师学会决定将申农的论文结集出版，当问到申农本人的意见时，他竟忘记了这些作品是出自他的手。1993年，他的家人终于对外证实：申农患上了老年痴呆症。2001年2月24日，申农85岁生日刚过两个月时辞世仙去。
本文资料来源：
1 摘自《大百科全书》210.29.69.12/wxjs/wxjskj/zx/xn.htm 2K 2002-8-31
2 《数字时代之父克劳德•申农》黄继新／文   2002-1-20 15:09:51
http://www.eobserver.com.cn
《论坛反应与交流》
《丁香园> 医药生命科学动态跟踪》
pengding3：衷心感谢您一如既往的支持！
《同济医学论坛> 内科学》
老革命：这样的伪理论真的好意思拿出来呀。请问主任（当然是民间组织的主任）。你的干细胞理论有什么实验依据？？没有实验依据，你的整篇的胡言乱语。除了欺骗和误导之外，有什么作用？？？就是看不得这些事实而非的伪理论

你可以像猪一样的生活，但你永远都不能像猪那样快乐。