信息论
數學理論,來自於機率論和統計學領域 / 維基百科,自由的 encyclopedia
親愛的 Wikiwand AI, 讓我們通過簡單地回答這些關鍵問題來保持簡短:
你能列出最重要的事實和統計數據嗎 信息论?
為 10 歲的孩子總結這篇文章
顯示所有問題
信息论(英語:information theory)是应用数学、電子學和计算机科学的一个分支,涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展,用来找出信号处理与通信操作的基本限制,如数据压缩、可靠的存储和数据传输等。自创立以来,它已拓展应用到许多其他领域,包括统计推断、自然语言处理、密码学、神经生物学[1]、进化论[2]和分子编码的功能[3]、生态学的模式选择[4]、热物理[5]、量子计算、语言学、剽窃检测[6]、模式识别、异常检测和其他形式的数据分析。[7]
此條目需要精通或熟悉数学、计算机科学、电子学的编者参与及协助编辑。 |
此條目可参照英語維基百科相應條目来扩充。 (2019年10月28日) |
熵是信息的一个关键度量,通常用一条消息中需要存储或传输一个符号(英语:Symbol rate)的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如,指定擲硬幣的结果(两个等可能的结果)比指定掷骰子的结果(六个等可能的结果)所提供的信息量更少(熵更少)。
信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源-信道隔离定理相互联系。
信息论的基本内容的应用包括无损数据压缩(如ZIP文件)、有损数据压缩(如MP3和JPEG)、信道编码(如数字用户线路(DSL))。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解,以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量等。