课程概览
课程主要内容包括熵、条件熵、互信息、信源编码、信道容量和纠错编码思想。 它为理解“高效传输”和“可靠传输”提供了统一的理论视角。
COMMUNICATION
信息论
信息论关注信息如何被表示、压缩、传输和恢复，它从更抽象的层面解释通信系统的效率极限与编码思想。
面试复习主线
信息论最常被问的是“这些抽象量到底在描述什么”
- 先理解熵、条件熵、联合熵、互信息的含义和关系。
- 再理解信源编码解决的是压缩问题，信道编码解决的是可靠传输问题。
- 最后抓信道容量和 Shannon 定理，这是信息论最核心的结论。
必会知识点
信息量与熵
- 单个事件的信息量与其概率负对数相关。
- 熵衡量随机变量平均不确定性。
- 等概率时熵最大，这是高频基础结论。
条件熵与联合熵
- 条件熵表示已知一个变量后另一个变量剩余的不确定性。
- 联合熵刻画整体不确定性。
- 相关变量会降低条件熵。
互信息
- 互信息表示一个变量中包含了多少关于另一个变量的信息。
- 互信息非负，独立时为 0。
- 通信里常用互信息刻画信道有效传输能力。
信源编码
- 目标是尽量少用码字表示信息而不丢失有效内容。
- Huffman 编码是无失真信源编码的典型代表。
- 平均码长与熵之间的关系是常考点。
信道容量
- 容量表示可靠传输所能达到的最大信息率。
- AWGN 信道容量公式要会写，也要会解释各量意义。
- 提高信噪比或带宽都能提高容量，但代价不同。
信道编码思想
- 通过增加冗余提升抗差错能力。
- 信息论给出可靠传输可达的理论边界。
- 它和通信原理里的误码分析是互补关系。
高频面试问答
熵为什么能衡量不确定性？
因为熵本质上是信息量的期望，事件越随机、越难预测，平均获得的信息量越大，因此熵越高。
互信息为 0 说明什么？
说明两个随机变量相互独立，一个变量不能提供关于另一个变量的任何额外信息。
信源编码和信道编码的区别是什么？
信源编码强调压缩冗余，提高表示效率；信道编码强调人为加入冗余，提高抗差错能力，两个目标正好相反但都重要。
Shannon 容量公式想表达什么？
它给出了带宽受限、噪声存在时可靠传输的理论极限，说明系统速率不能无限提高，而要受 SNR 和带宽共同约束。
易混点与复习提醒
信息量和熵
信息量针对单个事件，熵是平均信息量；一个是样本层面，一个是总体层面。
条件熵与互信息
条件熵看“剩下多少不确定性”，互信息看“减少了多少不确定性”，二者可以相互推导。
压缩与纠错
信源编码去冗余，信道编码加冗余。这个方向性差别是面试里很容易直接问到的点。
复习顺序建议
先背概念关系和公式，再过 Huffman 和容量，最后把信息论和通信原理串起来理解。