驛馬嶺鐵路隧道

[拼音]：shengyudu

[英文]：redundancy

信源資訊率的多餘程度。它是描述信源統計特性的一個物理量。直觀地說，除了在傳輸和恢復訊息時所需的最少、最必要的資訊以外，其他部分都叫剩餘。而剩餘度則表示相對剩餘，即在信源中剩餘所佔的比重。為了確切說明剩餘度就必須引入資訊熵的概念。若用H0代表無記憶等概率信源的單個訊息熵，H1代表無記憶不等概率信源的單個訊息熵，Hm代表記憶長度為m的信源的單個訊息熵，H

代表記憶長度為無限時信源的單個訊息熵，則由熵的性質可得到下列表徵信源統計特性的不等式：logn＝H0≥H1≥H2≥…≥Hm≥…≥H∞≥0

因此對有記憶信源，理論上最小的單個訊息熵應為H∞。從理論上看，僅需傳送 H

即可。但實際上由於很難掌握全部信源的概率統計特性，只能多傳送一些，比如傳送Hm，這樣Hm-H∞越大，也就越不經濟。為了定量地描述信源的有效性，可規定信源的效率為

；規定信源的剩餘度為

。正是因為信源存在著剩餘，也就存在著壓縮資訊率的可能性。剩餘越大，壓縮潛力也就越大。工程上所採用的資料壓縮、頻帶壓縮均基於這個原理。以英文信源為例:英文有26個字母，加上空檔共27個。於是，H0=log227=4.76位元。根據對英文字母出現概率的統計結果可算出：

位元，H2=3.32位元，H3=3.1位元，至於H∞，由於採用的統計逼近方法或所取樣本的不同，可以有不同值，一般認為H∞≈1.4位元，則有

這一結論說明英文信源是可以壓縮的。例如對 100頁的英文書，理論上僅需傳送29頁。至於中文，若按常用的6700個漢字考慮，這時，H0=log26700≈13位元。對漢字頻數進行統計，其工作量遠大於英文。中國已有不少人作了嘗試，大致估得H1≈9位元，H2≈8位元，…，H∞≈4位元，這些數字還有待於進一步精確化，但據估計中文剩餘不比英文小。至於語聲和電視信源的剩餘度，人們尚未測得確切資料，但估計比文字信源還要大。