信息论基础

作者: 于秀兰

出版社: 电子工业出版社

出版时间: 2017-04

版次: 1

ISBN: 9787121312892

定价: 39.00

装帧: 其他

开本: 16开

纸张: 胶版纸

分类: 计算机与互联网

本书重点介绍了香农信息论的基本原理及其应用。在保持一定理论深度的基础上，尽可能简化繁杂的公式、定理的证明，采用较多的例题和图示来展示基本概念和原理的应用。叙述上力求概念清楚、重点突出、深入浅出、通俗易懂；内容上力求科学性、先进性、系统性与实用性的统一。

  本书共8章，内容包括：绪论、离散信源及其信息度量、离散信道及其信道容量、连续信源和连续信道、无失真信源编码、有噪信道编码、限失真信源编码和网络信息论初步。于秀兰，重庆邮电大学通信学院副教授，主要从事通信原理和信息论的教学和科研工作；重庆市精品课程《信息论基础》和第二负责人（实际负责人）；重庆市精品课程《通信原理》第二负责人；编著有"信息论”和"通信原理”等多部教材。第1章  绪论1

1.1  信息的概念1

1.1.1  什么是信息1

1.1.2  信息如何度量2

1.2  信息传输系统4

1.3  信息论的研究内容7

1.3.1  基本信息论的研究内容7

1.3.2  一般信息论的研究内容8

1.3.3  广义信息论的研究内容8

1.4  香农信息论的形成和发展8

习题10

第2章  离散信源及其信息度量12

2.1  离散信源的分类12

2.2  离散信源的统计特性13

2.2.1  单符号离散信源的统计特性13

2.2.2  多符号离散信源的统计特性13

2.3  离散随机变量的信息度量14

2.3.1  自信息和信息熵14

2.3.2  联合自信息和联合熵19

2.3.3  条件自信息和条件熵21

2.3.4  各类熵之间的关系24

2.4  离散信源的N次扩展信源27

2.4.1  离散信源的N次扩展信源的熵27

2.4.2  离散无记忆信源的N次扩展信源的熵28

2.5  离散平稳信源29

2.5.1  离散平稳信源的数学定义29

2.5.2  有限维离散平稳信源的条件熵31

2.5.3  二维离散平稳信源的平均符号熵32

2.5.4  离散平稳信源的极限熵33

2.5.5  计算极限熵的处理方法36

2.6  马尔可夫信源37

2.6.1  马尔可夫信源的描述37

2.6.2  齐次遍历的马尔可夫信源39

2.6.3  齐次遍历马尔可夫信源的极限熵41

2.7  离散信源的相关性和剩余度46

习题48

第3章  离散信道及其信道容量53

3.1  离散信道的分类53

3.2  离散信道的数学模型54

3.2.1  单符号离散信道的数学模型54

3.2.2  多符号离散信道的数学模型57

3.3  离散随机变量的互信息和平均互信息59

3.3.1  互信息的定义59

3.3.2  互信息的性质60

3.3.3  平均互信息的定义61

3.3.4  平均互信息的性质62

3.3.5  平均互信息与各类熵之间的关系65

3.3.6  平均联合互信息和平均条件互信息66

3.4  信道容量的定义68

3.4.1  信息传输率和信息传输速率68

3.4.2  信道容量69

3.5  单符号离散信道及其信道容量71

3.5.1  典型信道的信道容量71

3.5.2  串联信道及其信道容量75

3.5.3  信息处理定理76

3.5.4  一般离散信道的信道容量77

3.6  多符号离散信道及其信道容量85

3.6.1  多符号离散信道的平均互信息85

3.6.2  离散无记忆信道的信道容量86

3.6.3  独立并联信道及其信道容量86

3.7  信源与信道的匹配87

习题88

第4章  连续信源和连续信道93

4.1  连续信源的分类和统计特性93

4.1.1  连续信源的分类93

4.1.2  连续信源的统计特性93

4.2  连续随机变量的信息度量95

4.2.1  连续随机变量的熵96

4.2.2  连续随机变量的平均互信息98

4.3  连续信源的信息度量99

4.3.1  单符号连续信源的熵100

4.3.2  多符号连续信源的熵100

4.3.3  波形信源的熵率101

4.4  连续信源的最大熵102

4.4.1  瞬时功率受限的连续信源103

4.4.2  平均功率受限的连续信源103

4.4.3  连续信源的熵功率105

4.5  连续信源熵的变换106

4.6  连续信道和波形信道的分类108

4.6.1  连续信道的分类108

4.6.2  波形信道的分类109

4.7  连续信道的平均互信息110

4.7.1  连续信道110

4.7.2  加性信道111

4.8  连续信道的信道容量112

4.8.1  一维高斯加性信道113

4.8.2  多维无记忆高斯加性信道114

4.9  波形信道的信道容量116

4.9.1  限带AWGN信道的容量116

4.9.2  香农公式的讨论117

习题120

第5章  无失真信源编码123

5.1  信源编码的基本概念123

5.1.1  信源编码的数学模型123

5.1.2  信源编码的分类124

5.1.3  唯一可译码和即时码125

5.1.4  编码效率128

5.2  无失真信源编码定理130

5.2.1  无失真定长信源编码定理131

5.2.2  无失真变长信源编码定理135

5.3  常见的无失真信源编码方法137

5.3.1  香农（Shannon）码138

5.3.2  霍夫曼（Huffman）码139

5.3.3  费诺（Fano）码147

5.3.4  香农-费诺-埃利斯码148

5.3.5  算术码149

5.3.6  LZ码152

习题154

第6章  有噪信道编码158

6.1  错误概率158

6.1.1  错误概率和译码规则158

6.1.2  错误概率和编码方法162

6.2  有噪信道编码定理163

6.3  联合信源信道编码定理166

6.4  信道编码的基本概念167

6.4.1  信道编码的分类168

6.4.2  线性分组码的检错和纠错能力168

6.4.3  最小汉明距离译码170

6.4.4  差错控制的三种方式171

6.4.5  差错控制的途径172

6.5  线性分组码173

6.5.1  线性分组码的编码173

6.5.2  线性分组码的译码180

6.5.3  完备码和汉明码185

6.6  循环码186

6.6.1  循环码的码多项式186

6.6.2  循环码的生成多项式和生成矩阵187

6.6.3  循环码的伴随式190

6.6.4  BCH码和RS码192

6.7  卷积码194

6.7.1  卷积码的解析表示194

6.7.2  卷积码的图形描述198

6.7.3  卷积码的译码方法200

6.7.4  递归型系统卷积码202

6.8  交织码203

6.9  级联码205

6.10  Turbo码205

6.11  LDPC码207

习题208

第7章  限失真信源编码212

7.1  失真测度212

7.1.1  失真函数213

7.1.2  平均失真215

7.1.3  保真度准则216

7.2  信息率失真函数217

7.2.1  信息率失真函数的定义217

7.2.2  R(D)函数的性质217

7.3  常见信源的R(D)函数220

7.3.1  R(D)函数的参量表示法220

7.3.2  离散对称信源的R(D)函数224

7.3.3  高斯信源的R(D)函数229

7.4  限失真信源编码定理231

7.5  联合限失真信源信道编码定理232

习题233

第8章  网络信息论初步237

8.1  网络信源237

8.2  网络信道239

8.2.1  多址接入信道239

8.2.2  广播信道241

8.3  网络信源和网络信道的联合/分离242

8.4  网络编码243

8.4.1  网络编码原理243

8.4.2  线性网络编码原理244

8.4.3  网络编码的优势245

8.5  协作通信246

8.5.1  中继网络中协作策略及其容量247

8.5.2  多中继高斯信道的容量250

附录A  詹森不等式及其应用253

附录B  信息度量的常用公式260

参考文献263
内容简介:
本书重点介绍了香农信息论的基本原理及其应用。在保持一定理论深度的基础上，尽可能简化繁杂的公式、定理的证明，采用较多的例题和图示来展示基本概念和原理的应用。叙述上力求概念清楚、重点突出、深入浅出、通俗易懂；内容上力求科学性、先进性、系统性与实用性的统一。

本书共8章，内容包括：绪论、离散信源及其信息度量、离散信道及其信道容量、连续信源和连续信道、无失真信源编码、有噪信道编码、限失真信源编码和网络信息论初步。
作者简介:
于秀兰，重庆邮电大学通信学院副教授，主要从事通信原理和信息论的教学和科研工作；重庆市精品课程《信息论基础》和第二负责人（实际负责人）；重庆市精品课程《通信原理》第二负责人；编著有"信息论”和"通信原理”等多部教材。
目录:
第1章  绪论1

1.1  信息的概念1

1.1.1  什么是信息1

1.1.2  信息如何度量2

1.2  信息传输系统4

1.3  信息论的研究内容7

1.3.1  基本信息论的研究内容7

1.3.2  一般信息论的研究内容8

1.3.3  广义信息论的研究内容8

1.4  香农信息论的形成和发展8

习题10

第2章  离散信源及其信息度量12

2.1  离散信源的分类12

2.2  离散信源的统计特性13

2.2.1  单符号离散信源的统计特性13

2.2.2  多符号离散信源的统计特性13

2.3  离散随机变量的信息度量14

2.3.1  自信息和信息熵14

2.3.2  联合自信息和联合熵19

2.3.3  条件自信息和条件熵21

2.3.4  各类熵之间的关系24

2.4  离散信源的N次扩展信源27

2.4.1  离散信源的N次扩展信源的熵27

2.4.2  离散无记忆信源的N次扩展信源的熵28

2.5  离散平稳信源29

2.5.1  离散平稳信源的数学定义29

2.5.2  有限维离散平稳信源的条件熵31

2.5.3  二维离散平稳信源的平均符号熵32

2.5.4  离散平稳信源的极限熵33

2.5.5  计算极限熵的处理方法36

2.6  马尔可夫信源37

2.6.1  马尔可夫信源的描述37

2.6.2  齐次遍历的马尔可夫信源39

2.6.3  齐次遍历马尔可夫信源的极限熵41

2.7  离散信源的相关性和剩余度46

习题48

第3章  离散信道及其信道容量53

3.1  离散信道的分类53

3.2  离散信道的数学模型54

3.2.1  单符号离散信道的数学模型54

3.2.2  多符号离散信道的数学模型57

3.3  离散随机变量的互信息和平均互信息59

3.3.1  互信息的定义59

3.3.2  互信息的性质60

3.3.3  平均互信息的定义61

3.3.4  平均互信息的性质62

3.3.5  平均互信息与各类熵之间的关系65

3.3.6  平均联合互信息和平均条件互信息66

3.4  信道容量的定义68

3.4.1  信息传输率和信息传输速率68

3.4.2  信道容量69

3.5  单符号离散信道及其信道容量71

3.5.1  典型信道的信道容量71

3.5.2  串联信道及其信道容量75

3.5.3  信息处理定理76

3.5.4  一般离散信道的信道容量77

3.6  多符号离散信道及其信道容量85

3.6.1  多符号离散信道的平均互信息85

3.6.2  离散无记忆信道的信道容量86

3.6.3  独立并联信道及其信道容量86

3.7  信源与信道的匹配87

习题88

第4章  连续信源和连续信道93

4.1  连续信源的分类和统计特性93

4.1.1  连续信源的分类93

4.1.2  连续信源的统计特性93

4.2  连续随机变量的信息度量95

4.2.1  连续随机变量的熵96

4.2.2  连续随机变量的平均互信息98

4.3  连续信源的信息度量99

4.3.1  单符号连续信源的熵100

4.3.2  多符号连续信源的熵100

4.3.3  波形信源的熵率101

4.4  连续信源的最大熵102

4.4.1  瞬时功率受限的连续信源103

4.4.2  平均功率受限的连续信源103

4.4.3  连续信源的熵功率105

4.5  连续信源熵的变换106

4.6  连续信道和波形信道的分类108

4.6.1  连续信道的分类108

4.6.2  波形信道的分类109

4.7  连续信道的平均互信息110

4.7.1  连续信道110

4.7.2  加性信道111

4.8  连续信道的信道容量112

4.8.1  一维高斯加性信道113

4.8.2  多维无记忆高斯加性信道114

4.9  波形信道的信道容量116

4.9.1  限带AWGN信道的容量116

4.9.2  香农公式的讨论117

习题120

第5章  无失真信源编码123

5.1  信源编码的基本概念123

5.1.1  信源编码的数学模型123

5.1.2  信源编码的分类124

5.1.3  唯一可译码和即时码125

5.1.4  编码效率128

5.2  无失真信源编码定理130

5.2.1  无失真定长信源编码定理131

5.2.2  无失真变长信源编码定理135

5.3  常见的无失真信源编码方法137

5.3.1  香农（Shannon）码138

5.3.2  霍夫曼（Huffman）码139

5.3.3  费诺（Fano）码147

5.3.4  香农-费诺-埃利斯码148

5.3.5  算术码149

5.3.6  LZ码152

习题154

第6章  有噪信道编码158

6.1  错误概率158

6.1.1  错误概率和译码规则158

6.1.2  错误概率和编码方法162

6.2  有噪信道编码定理163

6.3  联合信源信道编码定理166

6.4  信道编码的基本概念167

6.4.1  信道编码的分类168

6.4.2  线性分组码的检错和纠错能力168

6.4.3  最小汉明距离译码170

6.4.4  差错控制的三种方式171

6.4.5  差错控制的途径172

6.5  线性分组码173

6.5.1  线性分组码的编码173

6.5.2  线性分组码的译码180

6.5.3  完备码和汉明码185

6.6  循环码186

6.6.1  循环码的码多项式186

6.6.2  循环码的生成多项式和生成矩阵187

6.6.3  循环码的伴随式190

6.6.4  BCH码和RS码192

6.7  卷积码194

6.7.1  卷积码的解析表示194

6.7.2  卷积码的图形描述198

6.7.3  卷积码的译码方法200

6.7.4  递归型系统卷积码202

6.8  交织码203

6.9  级联码205

6.10  Turbo码205

6.11  LDPC码207

习题208

第7章  限失真信源编码212

7.1  失真测度212

7.1.1  失真函数213

7.1.2  平均失真215

7.1.3  保真度准则216

7.2  信息率失真函数217

7.2.1  信息率失真函数的定义217

7.2.2  R(D)函数的性质217

7.3  常见信源的R(D)函数220

7.3.1  R(D)函数的参量表示法220

7.3.2  离散对称信源的R(D)函数224

7.3.3  高斯信源的R(D)函数229

7.4  限失真信源编码定理231

7.5  联合限失真信源信道编码定理232

习题233

第8章  网络信息论初步237

8.1  网络信源237

8.2  网络信道239

8.2.1  多址接入信道239

8.2.2  广播信道241

8.3  网络信源和网络信道的联合/分离242

8.4  网络编码243

8.4.1  网络编码原理243

8.4.2  线性网络编码原理244

8.4.3  网络编码的优势245

8.5  协作通信246

8.5.1  中继网络中协作策略及其容量247

8.5.2  多中继高斯信道的容量250

附录A  詹森不等式及其应用253

附录B  信息度量的常用公式260

参考文献263

查看详情

信息论基础

内容简介:

作者简介:

目录: