第70篇信息论（3）—《信息论》的概念

显示全部楼层 · 2005-8-9 17:02:42

第70篇  信息论（3）—《信息论》的概念
作者：
中国医药信息学会北京分会后现代理论医学专业委员会主任委员杨鸿智

一信息的概念
1.消息是信息的外壳，信息则是消息的内核。比如，同是一分钟的消息，有的包含信息量很大；有的则可能很小。
2.信号只是信息的载体，信息则是信号所载荷的内容。同一个信息即可以用这种信号载荷，也可以用那种信号载荷。比如，用"0，1"或用"正、负"来载荷。
3.数据只是记录信息的一种形式，而且不是唯一的形式。
4.情报在汉语中只是一类专门的信息（情报在日语中就是信息）。
　　信息的定义："信息是事物运动的状态与（状态改变的）方式"。
　　信息是事物运动的状态与方式，具体地讲，是事物内部结构和外部联系运动的状态与方式。在此，"事物"泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象："运动"泛指一切意义上的变化，包括机械运动、物理运动、化学运动、生物运动；思维运动和社会运动等；"运动方式"是指事物运动在时间上所呈现的过程和规律："运动状态"则是事物运动在空间上所展示的形状与态势。
人类所拥有的一切知识，都是以信息为原材料通过科学加工而形成的。事实上，正像信息定义为事物运动的状态以及状态变化的方式，同样也可以把知识定义为"事物运动的状态以及状态变化的规律。"由变化方式上升为变化规律的过程，就是信息被科学地加工成知识的过程。没有信息，便不可能有知识。
二  《辞海》中关于信息论概念的解说
“信息”和“信息论”这两个概念，已经是我们日常工作和生活中最常用的概念了。但是，我们大多数人对于这两个名词的概念并没有正确和深入的认识。正好在网上发现有一分资料集中了各个辞书中对于“信息”和“信息论”这两个概念的解释。我转贴在这里，供大家学习。我想，在进一步了解信息论的理论内容以前，首先以辞书的方法了解一下这两个名词的概念也是有好处的。
资料来源：
http://www.wtcachina.com/3yf/2-12.htm
（一）  【信息论】《辞海》上海辞书出版社1979年版
　　
利用数学方法，研究信息的计量、传送、变换和储存的一门学科。信息是指对消息接受者来说预先不知道的报道。如广播天气预报时，收听者预先不知道明天是阴、雨或晴，则这报道对收听者来说具有信息。假如所广播的是已知的昨天天气，那就没有信息了。天气预报愈详细，则信息的分量愈多。假如广播时有外界干扰，则广播的信息受到损失。通过数学计算可以确定消息的信息量，借此又可以评定传送系统的质量。信息论的任务在于解决通信上的两个基本问题：提高传送消息的效能和保证传送消息的完整。因此信息论对通信技术有重大意义。在计算技术、自动控制和遗传学等方面也有应用。
（二）  【信息论】上海辞书出版社《辞海》1989年版
　　
研究信息及其传输的一般规律的科学。狭义指通信系统中存在的信息传递和处理的共同规律的科学，即研究概率性语法信息的科学。广义指应用数学和其他有关科学的方法，研究一切现实系统中存在的信息传递和处理及信息识别和利用的共同规律的科学。一般认为，美国科学家香农(Claude Elwood Shannon,1916-)于1948年出版的《通信的数学理论》一书是信息论正式诞生的标志。它从理论上阐明通信系统的数学模型和度量概率信息的公式，为概率信息的定量研究提供了理论根据。信息论揭示的规律具有高度的普遍性，被迅速应用于生物学、生理学、心理学、语言学和经济学等不同领域，产生和形成信息科学。20世纪70年代以来，信息论突破狭义的范围，发展成为一门研究语法、语义、语用信息的科学。
（三）  【信息论】上海辞书出版社《简明社会科学词典》1982年版
　　
曾称“通讯理论”。利用数学方法，研究信息的计量、传递、变换和储存的科学。第二次世界大战中由于改进军事通讯的需要而逐步建立，战后形成为一门独立的学科。1948年美国数学家申农(C. E. Shannon)发表《通讯的数学理论》一文，确定信息的量度——信息量及其计算公式，被认为是本学科诞生的标志。信息论的主要任务是求得通讯的高效率和可靠性。它原来主要应用于电信通讯技术的编码和抗干扰等方面，后推广应用于其他通讯技术，以及计算技术、自动控制、遗传学等方面。在建立的初期，申农等为了解决设计不同形式信号传递系统的统一理论，曾把各类不同信号的共同特征抽象出来，略去其具体内容，当作一般随机事件处理，使量和质、语法和语义、传递和使用这些本来是统一的信号样态分离，单纯从语法结构和传递上作定量的研究。在后来的发展过程中，曾被申农所审慎地排除了的东西，又被包括在内。对信息的量和质、语法和语义、传递和使用作统一的研究，是信息论的一个新的发展。
（四）  【信息论】山东人民出版社《简明自然辩证法词典》1986年版
　　
(information theory)有狭义和广义之分。狭义信息论是关于信息的形态、传输、处理和存贮的理论。广义信息论是指利用狭义信息论观点来研究一切问题的理论。一般认为，信息论的创始人是数学家申农。1948年，《贝尔系统技术杂志》发表申农的论文《通讯的数学原理》奠定了现代信息论的基础。由于控制论，电子计算机和通信技术的相互结合，信息论正在获得迅速的发展。特别是信息论与生物化学、分子生物学、计量社会学和计量心理学等领域相结合，使信息论成为现代科学问题的有力武器。
　　申农认为，信息论的基本内容，就是研究信源、信宿、信道和编码问题，他对信息论的贡献很多，主要有五点：一是他第一次从理论上阐明了通讯的基本问题，提出了通讯系统的模型；二是提出了度量信息量的数学公式；三是初步解决了如何从信息接受端提取信息源发来的消息的技术问题；四是提出了如何充分利用信道的信息容量，如何在有限的信道中以最大的速率传递最大的信息量的基本途径；五是初步解决了如何编、译才能使信源的信息充分表达、信道的容量被充分利用的问题。
　　五十年代信息论逐步向其他科学领域推广和渗透。1950年后，信息论推广到物理学；六十年代，则推广应用于生物学和神经生理学；七十年代，则广泛渗透到各个科学领域，推动其他许多新兴学科进一步发展。信息论也在解决技术问题和其他科学问题的基础上，取得了新的进展。伯格写出了一本相当完整的专论信源编码的著作。戴维森对通用编码亦作了详尽介绍。后来，信息论经过许多科学家的运用和发展，不但突破了申农信息论的范围，而且深化了申农信息论的内容。当前，人们广泛运用信息论的规律和理论，去解决物理学、化学、生物学、心理学、管理学等各种学科的问题，不但推动了这些学科的发展，而且也促进对信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的研究，一门新的系统的信息科学正在形成和发展。
（五）  【信息论】湖北人民出版社《最新社科知识手册》1987年版
　　
一门独立的边缘学科，在西方创始于本世纪四十年代，到六十年代有了迅速的发展，目前已广泛地运用于科学技术、教育、经济及生产、管理等许多领域和部门，并取得显著成果。近几年来，我国也开始重视信息研究，信息概念已在自然科学和社会科学中广泛地被采用，它的重要性也在不断地被阐明。所谓信息，简单地说，就是音信和消息，即指语言、数据、文件、图象、文字、符号等。信息具有三个基本属性，即信息对物质的依赖性，信息的传递性，信息的确定性，它的运动过程如图所示：
干扰
↓
┌───┐　┌─┴─┐　┌───┐
│信　源├→┤信　道├→┤信　宿│
└───┘　└───┘　└───┘
(产生信息)　(传递信息)　(接收信息)
信息论除研究信息的本质外，还着重研究如何运用数学工具去描述和度量信息的方法，研究传递信息、处理信息的基本原理等，它同控制论一起，成为现代科学的理论基础。
（六）  【信息论】汉语大词典出版社《图书情报词典》1990年版
　　
(information theory)探讨信息的本质，并用数学方法研究信息的计量、传递、变换和存贮的学科。基本内容是信源、信宿、信道、编码等通信方面的问题。以通信系统模型为对象，以概率论和数理统计为工具，从量的方面描述信息的传输和提取问题。它认为，任何一个通信之所以需要，就是因为接收终端在收到信息之前不知道发送的信息是什么。接收终端对发送的信息具有“不肯定性”。当获得信息之后，这种“不肯定性”就可减少或消除。信息量的大小用消除“不肯定性”的多少来表示，而事物的“不肯定性”的多少，则用概率函数来描述。通信系统的效率就是传送信息量的效率。信息论可分为狭义信息论、一般信息论、广义信息论三大类。广义信息论不仅研究通信问题，还研究其他与信息有关的领域。图书情报机构的主要功能是收集、存贮、处理和有效传递信息，在完成这些功能的过程中，必然涉及信息流的控制、通信过程的研究等问题，因此图书馆学、情报学与信息论有密切关系。美国数学家申农是信息论的创始人。他在1948年发表的论文《通信的数学理论》是信息论作为一门独立学科诞生的标志。
（七）  【信息】上海辞书出版社《辞海》1989年版
　　
①音讯；消息。李中《暮春怀故人》诗：“梦断美人沉信息，目穿长路倚楼台。”②通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。通常须通过处理和分析来提取。信息和物质、能量被称为构成系统的三大要素。信息的量值与信息的随机性有关，如在接收端无法预估消息或信号中所蕴含的内容或意义，即预估的可能性越小，信息量就越大。(附注：1979年版《辞海》未收，1989年版收入时添加在【信都】、【信鸽】之间；同样，1982年第九次修订重排的《四角号码新词典》也未收。)
（八）  【信息】上海辞书出版社《简明社会科学词典》1982年版
　　
作为日常用语，指音信，消息。作为科学术语，可以简单地理解为消息接受者预先不知道的报道，但在不同的学科中有不同的涵义。信息论的奠基人、美国数学家申农(C. E. Shannon)认为：信息是组织程度，能使物质系统有序性增强，减少破坏、混乱和噪音。控制论的创始人维纳(Norbert Wiener)认为：“信息是有秩序的量度。”一个系统的组织程度越高，它所提供的信息量越大。不同事物有不同的特征，会给人们带来不同的信息，人们正是通过获得和识别自然界和社会的不同的信息来区别不同的事物，才得以认识世界和改造世界。信息概念在目前已被广泛应用到各个领域，除了电信通讯以外，遗传密码是一种生物信息，计算机程序是一种技术信息，市场是一种社会信息等等。在一切通讯和控制系统中，信息是一种普遍联系的形式。它同材料、能源一起，被称为现代科学技术的三大支柱。苏联科学家研究结果表明：一个国家总的信息流的平均增长同其工业潜力的平方成正比。有人预测未来的社会将是信息社会，其影响最终将比十九世纪由农业社会转向工业社会更为深刻。

（九）  【信息】山东人民出版社《简明自然辩证法词典》1986年版
　　
(information)一般泛指我们所说的消息、情报、指令、数据、信号等有关周围环境的知识。维纳认为，信息是我们适应外部世界并使这种适应为外部世界所感到的过程中同外部世界进行交换内容的名称。也有人认为，信息是生活主体同外部客体之间有关情况的消息。消息和信息有一致性，又有区别。哈特莱认为，消息和信息的区别在于，信息是消息中不确定性的消除。信息与结构有密切联系，结构不同，信息则异，结构决定信息。遗传信息与核苷酸的排列顺序有关；计算机的信息与所给的指令与程序有关；社会语言信息与声、词、词形、句子的排列组合有关。因此，维纳认为信息本身就是一种模式和组织形式。信息必须有载体，但又不能同载体等同。我们不能把信息机械地归结为物质和能量，也不能认为信息可以脱离物质和能量而独立存在。应当既承认信息是以物质、能量为载体，又不否认信息与物质、能量有本质区别。各种信息，都有其特点，计算机信息也不例外。计算机信息的特点，主要是逻辑性的、预测性的和选择行动的。计算机术语中有数据和信息两个词。数据是尚未根据特定目的作出评价的各种事实。信息则是这些数据按照一定的程序经计算机处理、加工之后产生的。
（十）  【信息】湖北人民出版社《最新社科知识手册》1987年版
　　
客观世界充满着各种信息。如上下课的铃声，电信局拍发和接收的电报，书报杂志上的文章、消息，电台播放的新闻、乐曲，五颜六色的图画，色香味俱全的水果等等，其中都包含着信息。信息，并不是指事物本身，而是指用来表明事物或通过事物发出的消息、情报、指令、数据、信号中所包含的东西。不同的事物有不同特征，会给人们带来不同的信息，人们通过不同的信息来区别不同的事物，以认识世界和改造世界。信息的传递要依赖物质，它不能脱离物质而独立存在。获取信息要消耗能量，驾驭能量又需要信息。在一切通讯和控制系统中，信息是一种普遍联系的形式。它同材料、能源一起，被称为现代科学技术的三大支柱。有人预测，未来的社会将是信息社会，其影响最终将比十九世纪由农业社会转向工业社会更为深刻。信息的特征是：(1)可扩充性。随着时间的变化，大部分信息将不断扩充。(2)可压缩性。人对信息进行加工、整理、概括、归纳就可以使之精炼，从而浓缩。(3)可替代性。信息的利用可以代替资本、劳力和物资材料，减少它们的耗费。(4)可传播性。这是信息的本质特征。(5)可扩散性。由于传输的渠道多样，使信息得以迅速散布开来，保密也就极难维持了。(6)可分享性。信息与实物不同，它不能交易，但可以分享。
（十一）  【信息】汉语大词典出版社《图书情报词典》1990年版
　　
①(information)一般指数据、消息中所包含的意义，它可以使消息中所描述的事件的不肯定性减少。涉及人与人之间的消息交换；人与自动机、自动机与自动机、动物界与植物界、细胞与细胞、机体与机体之间的信号交换等。是事物的一种普遍属性，也是物质存在的方式和物质运动的规律与特点。在某些外语中，“信息”与“情报”是同一词，但情报只是人类社会特有的现象，它建立在一定的语义基础上，并隶属于信息这一大范畴。自然界、人类社会、思维领域中都存在着大量的自然信息、生物信息、社会信息等。人类自古以来就不断通过感官摄取信息，通过头脑处理信息，通过科学研究和创造性思维产生新的信息，通过语言、文字、图画等交流信息，并根据所积累的信息去进一步认识世界和改造世界。因此，信息既是主观与客观相互联系、作用的媒介，又是物质世界与精神世界相互作用、联系的桥梁。从一定意义上来说，它同物质、能源一起，成为人类社会的三大支柱。参见“知识”。②即“消息”。
  （十二）【信息】中国工人出版社《现代汉语新词新语新义词典》1990年版
　　
《现汉》：①音信；消息。②信息论中指用符号传送的报道，报道的内容是接收符号者预先不知道的。
　　△指综合性的知识、情报和可感知的力量。它和材料、能源成为当代社会三大技术支柱；它和资本、劳动共同构成生产三要素。温元凯《信息就是资源，人才就是资本》：“信息已成为各级领导都在拼命强调的一个时髦名词，而且人们已经开始认识到，信息在当前社会经济发展中，已经和材料、能源鼎足三立，成为当代社会的三大技术支柱之一。”南风《“信息”的科学含义是什么》：“一般人认为，信息即是知识，即是情报。西方企业家认为‘信息是一种能创造价值和能交换的知识，是与资本、劳动共同构成的生产三要素之一’。有的哲学家甚至说信息是‘客观存在的东西’。据不完全统计，仅信息的定义就有三十七种以上。”
（十三）  【信息量】汉语大词典出版社《图书情报词典》1990年版
　　
(amount of information, information content)具有确定概率的事件发生时所传送的信息的量度。通常用受信体被消除的不肯定性的大小来表示。设事件为Xi，事件发生的概率为p(Xi)，则受信体从该事件获得的信息量I(Xi)为p(Xi)的倒数的对数，即
I(Xi) = log 1= - log p(Xi)
———
p(Xi)
当对数底为“2”时，其单位为比特(bit)；当底为“3”时，单位为铁特(tet)；当底为“e”时，单位为奈特(nat)；当底为“10”时，单位为笛特(det)。

gopa7574 · 2014-5-2 14:04:16

介是神马？！！

第70篇 信息论（3）—《信息论》的概念

第70篇信息论（3）—《信息论》的概念