信息论基础教程

信息论基础教程
分享
扫描下方二维码分享到微信
打开微信,点击右上角”+“,
使用”扫一扫“即可将网页分享到朋友圈。
作者:
出版社: 科学出版社
2021-11
版次: 1
ISBN: 9787030697981
定价: 79.00
装帧: 平装
开本: 16开
纸张: 胶版纸
页数: 273页
字数: 420.000千字
2人买过
  • 《信息论基础教程》重点介绍经典信息论的基本理论,覆盖了经典信息论的主要内容:离散信息和连续信息的度量、离散信源和连续信源、离散信道和连续信道及其容量,以及无失真信源编码、限失真信源编码和有噪信道编码等重点内容。 目录

    第1章 绪论 1

    1.1 信息的概念 1

    1.2 通信系统模型 2

    习题 3

    第2章 离散信息的度量 4

    2.1 概率论基本知识 4

    2.1.1 样本空间与随机事件 4

    2.1.2 概率的有关概念 5

    2.1.3 全概率公式和贝叶斯公式 6

    2.1.4 先验概率和后验概率 7

    2.1.5 离散随机变量 8

    2.1.6 离散随机变量的统计特性 10

    2.2 信息度量方法的引入 11

    2.3 自信息量和信息熵 12

    2.3.1 自信息量 12

    2.3.2 信息熵 14

    2.4 联合自信息量与联合熵 16

    2.4.1 联合自信息量 16

    2.4.2 联合熵 18

    2.5 互信息量与平均互信息量 20

    2.5.1 条件自信息量 20

    2.5.2 条件熵 21

    2.5.3 互信息量 23

    2.5.4 互信息量的性质 25

    2.5.5 平均互信息量 27

    2.6 熵的性质以及各种熵之间的关系 31

    2.6.1 信息熵的性质 31

    2.6.2 各种熵之间的关系 40

    习题 44

    第3章 离散信源及信源熵 49

    3.1 随机过程基本知识 49

    3.1.1 概率空间 49

    3.1.2 随机过程 50

    3.2 信源的数学模型和分类 52

    3.2.1 信源的数学模型 53

    3.2.2 信源的分类 54

    3.3 离散单符号信源 56

    3.3.1 离散单符号信源的概念和数学模型 56

    3.3.2 离散单符号信源的信息度量 57

    3.4 离散多符号信源 57

    3.4.1 离散平稳信源的性质 57

    3.4.2 常见的离散平稳信源 58

    3.4.3 离散多符号信源的信源熵 59

    3.4.4 离散平稳无记忆信源 60

    3.4.5 离散平稳有记忆信源 67

    3.4.6 一维离散平稳信源的信源熵 69

    3.5 马尔可夫信源 71

    3.5.1 有限状态马尔可夫链 71

    3.5.2 齐次马尔可夫链及其平稳分布 74

    3.5.3 齐次马尔可夫信源 79

    3.5.4 m阶齐次马尔可夫信源 86

    3.6 信源的相关性和剩余度 90

    3.6.1 信源的相关性 90

    3.6.2 信源剩余度 93

    习题 95

    第4章 离散信道及其容量 99

    4.1 信道的基本概念、研究方法、数学模型及其分类 99

    4.1.1 信道的基本概念和研究方法 99

    4.1.2 离散信道的数学模型 102

    4.1.3 离散信道的分类 102

    4.2 离散无记忆信道 103

    4.2.1 离散信道的数学模型 103

    4.2.2 单符号离散信道 105

    4.2.3 信道疑义度 107

    4.3 离散信道中平均互信息量定理 109

    4.3.1 固定信道的平均互信息量上凸函数定理 109

    4.3.2 固定信源的平均互信息量下凸函数定理 111

    4.4 离散无记忆扩展信道 114

    4.4.1 离散无记忆扩展信道的定义 114

    4.4.2 离散无记忆N次扩展信道的数学模型 115

    4.4.3 多符号信道的平均互信息量 117

    4.4.4 N次扩展信道平均互信息量定理 122

    4.5 信道容量 123

    4.5.1 信道中平均互信息量的含义 123

    4.5.2 信道容量的概念 126

    4.5.3 离散无噪信道的信道容量 129

    4.5.4 离散对称信道的信道容量 131

    4.5.5 一般离散信道的信道容量 135

    4.5.6 离散无记忆N次扩展信道的信道容量 140

    习题 141

    第5章 无失真信源编码 145

    5.1 信源编码的相关概念 145

    5.1.1 无失真信源编码的数学模型 145

    5.1.2 信源编码的分类 147

    5.1.3 即时码存在定理及其构造方法 149

    5.2 定长码及定长编码定理 150

    5.2.1 可译定长码存在的一般条件 150

    5.2.2 定长编码定理 152

    5.3 变长码和变长码定理 156

    5.3.1 Kraft不等式和McMillan不等式 157

    5.3.2 可译码的判别准则 158

    5.3.3 紧致码平均码长界限定理 159

    5.3.4 香农定理 163

    5.4 变长码的编码方法 167

    5.4.1 香农编码 167

    5.4.2 香农-费诺-埃利斯编码 168

    5.4.3 二元霍夫曼编码 169

    5.4.4 r元霍夫曼编码 172

    习题 173

    第6章 有噪信道编码 177

    6.1 信道编码的基本概念 177

    6.1.1 编码信道 177

    6.1.2 错误概率的影响因素分析 178

    6.1.3 译码规则 179

    6.2 错误概率与编码方法 186

    6.2.1 简单重复编码降低平均错误概率 186

    6.2.2 消息符号个数 189

    6.2.3 (5,2)线性码 191

    6.3 有噪信道编码定理 195

    6.3.1 香农第二定理 195

    6.3.2 有噪信道编码逆定理 196

    6.3.3 错误概率的上界 197

    习题 198

    第7章 限失真信源编码 199

    7.1 失真测度 199

    7.1.1 试验信道 199

    7.1.2 失真函数 201

    7.1.3 平均失真 203

    7.2 信息率失真函数 203

    7.2.1 保真度准则与允许信道 203

    7.2.2 信息率失真函数的定义 204

    7.3 信息率失真函数的性质 204

    7.3.1 定义域 205

    7.3.2 R(D)是D的下凸函数 208

    7.3.3 R(D)是严格递减函数 209

    7.3.4 R(D)的典型曲线 210

    7.4 信息率失真函数的计算 211

    7.4.1 参量表示法求解R(D) 211

    7.4.2 参量表示法求解R(D)例题 217

    7.5 限失真信源编码定理和逆定理 221

    7.5.1 香农第三定理 221

    7.5.2 限失真信源编码逆定理 222

    习题 222

    第8章 连续信源和连续信道 223

    8.1 连续随机变量的基础知识 223

    8.1.1 连续随机变量与概率密度函数 223

    8.1.2 联合概率密度函数与边缘概率密度函数 224

    8.1.3 随机变量和的概率密度函数 224

    8.2 连续信源的分类和统计特性 225

    8.2.1 连续信源的分类 225

    8.2.2 连续信源的统计特性 225

    8.3 连续随机变量的信息度量 227

    8.3.1 连续随机变量的熵 227

    8.3.2 连续随机变量的联合熵、条件熵和平均互信息量 230

    8.4 连续信源的信息度量 233

    8.4.1 单符号连续信源的熵 233

    8.4.2 多符号连续信源的熵 234

    8.5 连续信源的熵 237

    8.5.1 连续信源熵的数学模型 237

    8.5.2 瞬时功率受限连续信源的熵 237

    8.5.3 平均功率受限连续信源的熵 238

    8.5.4 连续信源的熵功率 240

    8.6 连续信道和波形信道 241

    8.6.1 连续信道的分类 241

    8.6.2 波形信道的分类 242

    8.7 连续信道的平均互信息量 243

    8.7.1 连续信道 243

    8.7.2 加性信道 244

    8.8 连续信道的信道容量 245

    8.8.1 连续信道的信道容量定义 246

    8.8.2 一维高斯加性信道的信道容量 246

    8.8.3 一维非高斯加性信道的信道容量 247

    8.8.4 多维无记忆高斯加性信道的信道容量 249

    8.9 波形信道的信道容量 250

    8.9.1 限带AWGN信道的信道容量 251

    8.9.2 香农公式的意义 252

    习题 253

    附录A 凸函数的概念 255

    附录B Gibbs不等式 258

    附录C 信息熵是严格上凸函数 260

    附录D 马尔可夫链转移概率的渐近性质 262

    附录E 渐近等同分割性和ε典型序列 266

    附录F 有噪信道编码定理证明 270

    参考文献 274
  • 内容简介:
    《信息论基础教程》重点介绍经典信息论的基本理论,覆盖了经典信息论的主要内容:离散信息和连续信息的度量、离散信源和连续信源、离散信道和连续信道及其容量,以及无失真信源编码、限失真信源编码和有噪信道编码等重点内容。
  • 目录:
    目录

    第1章 绪论 1

    1.1 信息的概念 1

    1.2 通信系统模型 2

    习题 3

    第2章 离散信息的度量 4

    2.1 概率论基本知识 4

    2.1.1 样本空间与随机事件 4

    2.1.2 概率的有关概念 5

    2.1.3 全概率公式和贝叶斯公式 6

    2.1.4 先验概率和后验概率 7

    2.1.5 离散随机变量 8

    2.1.6 离散随机变量的统计特性 10

    2.2 信息度量方法的引入 11

    2.3 自信息量和信息熵 12

    2.3.1 自信息量 12

    2.3.2 信息熵 14

    2.4 联合自信息量与联合熵 16

    2.4.1 联合自信息量 16

    2.4.2 联合熵 18

    2.5 互信息量与平均互信息量 20

    2.5.1 条件自信息量 20

    2.5.2 条件熵 21

    2.5.3 互信息量 23

    2.5.4 互信息量的性质 25

    2.5.5 平均互信息量 27

    2.6 熵的性质以及各种熵之间的关系 31

    2.6.1 信息熵的性质 31

    2.6.2 各种熵之间的关系 40

    习题 44

    第3章 离散信源及信源熵 49

    3.1 随机过程基本知识 49

    3.1.1 概率空间 49

    3.1.2 随机过程 50

    3.2 信源的数学模型和分类 52

    3.2.1 信源的数学模型 53

    3.2.2 信源的分类 54

    3.3 离散单符号信源 56

    3.3.1 离散单符号信源的概念和数学模型 56

    3.3.2 离散单符号信源的信息度量 57

    3.4 离散多符号信源 57

    3.4.1 离散平稳信源的性质 57

    3.4.2 常见的离散平稳信源 58

    3.4.3 离散多符号信源的信源熵 59

    3.4.4 离散平稳无记忆信源 60

    3.4.5 离散平稳有记忆信源 67

    3.4.6 一维离散平稳信源的信源熵 69

    3.5 马尔可夫信源 71

    3.5.1 有限状态马尔可夫链 71

    3.5.2 齐次马尔可夫链及其平稳分布 74

    3.5.3 齐次马尔可夫信源 79

    3.5.4 m阶齐次马尔可夫信源 86

    3.6 信源的相关性和剩余度 90

    3.6.1 信源的相关性 90

    3.6.2 信源剩余度 93

    习题 95

    第4章 离散信道及其容量 99

    4.1 信道的基本概念、研究方法、数学模型及其分类 99

    4.1.1 信道的基本概念和研究方法 99

    4.1.2 离散信道的数学模型 102

    4.1.3 离散信道的分类 102

    4.2 离散无记忆信道 103

    4.2.1 离散信道的数学模型 103

    4.2.2 单符号离散信道 105

    4.2.3 信道疑义度 107

    4.3 离散信道中平均互信息量定理 109

    4.3.1 固定信道的平均互信息量上凸函数定理 109

    4.3.2 固定信源的平均互信息量下凸函数定理 111

    4.4 离散无记忆扩展信道 114

    4.4.1 离散无记忆扩展信道的定义 114

    4.4.2 离散无记忆N次扩展信道的数学模型 115

    4.4.3 多符号信道的平均互信息量 117

    4.4.4 N次扩展信道平均互信息量定理 122

    4.5 信道容量 123

    4.5.1 信道中平均互信息量的含义 123

    4.5.2 信道容量的概念 126

    4.5.3 离散无噪信道的信道容量 129

    4.5.4 离散对称信道的信道容量 131

    4.5.5 一般离散信道的信道容量 135

    4.5.6 离散无记忆N次扩展信道的信道容量 140

    习题 141

    第5章 无失真信源编码 145

    5.1 信源编码的相关概念 145

    5.1.1 无失真信源编码的数学模型 145

    5.1.2 信源编码的分类 147

    5.1.3 即时码存在定理及其构造方法 149

    5.2 定长码及定长编码定理 150

    5.2.1 可译定长码存在的一般条件 150

    5.2.2 定长编码定理 152

    5.3 变长码和变长码定理 156

    5.3.1 Kraft不等式和McMillan不等式 157

    5.3.2 可译码的判别准则 158

    5.3.3 紧致码平均码长界限定理 159

    5.3.4 香农定理 163

    5.4 变长码的编码方法 167

    5.4.1 香农编码 167

    5.4.2 香农-费诺-埃利斯编码 168

    5.4.3 二元霍夫曼编码 169

    5.4.4 r元霍夫曼编码 172

    习题 173

    第6章 有噪信道编码 177

    6.1 信道编码的基本概念 177

    6.1.1 编码信道 177

    6.1.2 错误概率的影响因素分析 178

    6.1.3 译码规则 179

    6.2 错误概率与编码方法 186

    6.2.1 简单重复编码降低平均错误概率 186

    6.2.2 消息符号个数 189

    6.2.3 (5,2)线性码 191

    6.3 有噪信道编码定理 195

    6.3.1 香农第二定理 195

    6.3.2 有噪信道编码逆定理 196

    6.3.3 错误概率的上界 197

    习题 198

    第7章 限失真信源编码 199

    7.1 失真测度 199

    7.1.1 试验信道 199

    7.1.2 失真函数 201

    7.1.3 平均失真 203

    7.2 信息率失真函数 203

    7.2.1 保真度准则与允许信道 203

    7.2.2 信息率失真函数的定义 204

    7.3 信息率失真函数的性质 204

    7.3.1 定义域 205

    7.3.2 R(D)是D的下凸函数 208

    7.3.3 R(D)是严格递减函数 209

    7.3.4 R(D)的典型曲线 210

    7.4 信息率失真函数的计算 211

    7.4.1 参量表示法求解R(D) 211

    7.4.2 参量表示法求解R(D)例题 217

    7.5 限失真信源编码定理和逆定理 221

    7.5.1 香农第三定理 221

    7.5.2 限失真信源编码逆定理 222

    习题 222

    第8章 连续信源和连续信道 223

    8.1 连续随机变量的基础知识 223

    8.1.1 连续随机变量与概率密度函数 223

    8.1.2 联合概率密度函数与边缘概率密度函数 224

    8.1.3 随机变量和的概率密度函数 224

    8.2 连续信源的分类和统计特性 225

    8.2.1 连续信源的分类 225

    8.2.2 连续信源的统计特性 225

    8.3 连续随机变量的信息度量 227

    8.3.1 连续随机变量的熵 227

    8.3.2 连续随机变量的联合熵、条件熵和平均互信息量 230

    8.4 连续信源的信息度量 233

    8.4.1 单符号连续信源的熵 233

    8.4.2 多符号连续信源的熵 234

    8.5 连续信源的熵 237

    8.5.1 连续信源熵的数学模型 237

    8.5.2 瞬时功率受限连续信源的熵 237

    8.5.3 平均功率受限连续信源的熵 238

    8.5.4 连续信源的熵功率 240

    8.6 连续信道和波形信道 241

    8.6.1 连续信道的分类 241

    8.6.2 波形信道的分类 242

    8.7 连续信道的平均互信息量 243

    8.7.1 连续信道 243

    8.7.2 加性信道 244

    8.8 连续信道的信道容量 245

    8.8.1 连续信道的信道容量定义 246

    8.8.2 一维高斯加性信道的信道容量 246

    8.8.3 一维非高斯加性信道的信道容量 247

    8.8.4 多维无记忆高斯加性信道的信道容量 249

    8.9 波形信道的信道容量 250

    8.9.1 限带AWGN信道的信道容量 251

    8.9.2 香农公式的意义 252

    习题 253

    附录A 凸函数的概念 255

    附录B Gibbs不等式 258

    附录C 信息熵是严格上凸函数 260

    附录D 马尔可夫链转移概率的渐近性质 262

    附录E 渐近等同分割性和ε典型序列 266

    附录F 有噪信道编码定理证明 270

    参考文献 274
查看详情
12
相关图书 / 更多
信息论基础教程
信息技术导论
刘念
信息论基础教程
信息技术与课程整合
魏雪峰 王济军
信息论基础教程
信息技术基础(Windows 10+WPS Office)(微课版)
苏丹、唐永华
信息论基础教程
信息技术(拓展篇)
王瑜琳 牟刚 刘学虎
信息论基础教程
信息技术基础
汤发俊 王清
信息论基础教程
信息系统项目管理师章节习题与考点特训(第二版)
薛大龙
信息论基础教程
信息技术与幼儿外语教育整合模式及其应用研究
马之成
信息论基础教程
信息产品设计基础
孙凌云 尤伟涛 编著
信息论基础教程
信息系统开发综合实训——指导、实践及案例
王梅源
信息论基础教程
信息技术及应用英语教程
李玉华
信息论基础教程
信息技术基础模块(下册)
刘洪海、彭艳平、罗静 编
信息论基础教程
信息技术背景下的英语翻译与教学实践
曾宇钧
您可能感兴趣 / 更多
信息论基础教程
电磁辐射风险沟通
翟明岳、武彤 编