信息論基礎

第1章 隨機變量的信息度量
§1.1　自信息
§1.2　熵、聯(lián)合熵、條件熵
§1.3　相對熵和互信息
§1.4　信息量的一些基本性質(zhì)
§1.5　廣義熵
習題一
第2章 隨機過程的信息度量和漸近等分性
§2.1　信源和隨機過程的基本概念
§2.2　隨機過程的信息度量
§2.3　漸近等分性質(zhì)
§2.4　漸近等分性在數(shù)據(jù)壓縮中的應用——信源編碼定理
§2.5　Shannon—McMillan—Breiman定理
習題二
第3章 數(shù)據(jù)壓縮和信源編碼
§3.1　等長碼
§3.2　變長編碼
§3.3　哈夫曼（Huffman）碼
§3.4　算術碼
§3.4.1　香農(nóng)一費諾碼
§3.4.2　自適應算術碼
§3.5　通用信源編碼
§3.5.1　Lz算法
§3.5.2　LZW（LempeL-Ziv-Welch）算法
§3.5.3　Kieffer-YaIlg算法（基于語法的普適信源壓縮算法）
習題三
第4章 數(shù)據(jù)可靠傳輸和信道編碼
§4.1　離散無記憶信道和信道容量
§4.2　信道容量的計算
§4.2.1　拉格朗日乘子法
　 §4.2.2　信道容量的迭代算法
　§4.3　信道編碼理論
　§4.3.1　一些定義和概念
　 §4.3.2　聯(lián)合典型序列
　§4.3.3　信道編碼定理
　§4.4　帶反饋的信道模型
　§4.5　聯(lián)合信源——信道編碼定理
　§4.6　線性分組碼
　習題四
第5章 限失真信源編碼和率失真函數(shù)
§5.1　限失真信源編碼模型和率失真函數(shù)
§5.1.1 限失真信源編碼模型和率失真函數(shù)定義
§5.1.2　率失真函數(shù)的性質(zhì)
§5.1.3　平穩(wěn)信源的率失真函數(shù)
§5.2　率失真函數(shù)的計算
§5.2.1　一個簡單的例子
§5.2.2　拉格朗日乘子法
§5.2.3　迭代算法
§5.3　限失真信源編碼定理
習題五
第6章 連續(xù)信源和信道編碼理論
§6.1　可微熵
§6.2　相對熵和互信息
§6.3　連續(xù)信源的率失真函數(shù)
§6.3.1　率失真函數(shù)和失真率函數(shù)
§6.3.2　高斯信源的率失真函數(shù)
§6.3.3　一般連續(xù)信源的率失真函數(shù)
§6.4　高斯信道
§6.4.1　有加性噪聲的信道模型和信道容量
§6.4.2　復合高斯信道和平穩(wěn)高斯信道
習題六
第7章 網(wǎng)絡信息理論
§7.1　網(wǎng)絡通信模型
　§7.2　多變量聯(lián)合典型序列
　§7.3　多址信道
　　§7.3.1　二址信道模型和編碼定理
　　§7.3.2　多址信道容量區(qū)域的計算
　　§7.3.3　高斯多址信道
　§7.4　相關信源編碼
　　§7.4.1　Slepian-Wolf模型
　§7.5　相關信源和多址信疲乏復合編碼問題
　§7.6　網(wǎng)絡編碼
　　§7.6.1　幾個例子
　　§7.6.2　最大流最小截定理
　　§7.6.3　線性網(wǎng)絡編碼
　習題七
后記：信息論的推廣和應用
參考文獻