律师网站建设 优帮云不受国内限制的浏览器下载
我们知道信息是一个抽象的概念，它既不是物质也不是能量。那么我们要如何对一个抽象的概念进行一个定量的研究呢？
信息量
1、信息的度量
通信的本质是传递信息，为了定量表征信息的度量，引入信息量的概念。消息中所含信息量与其不可预测性（不确定性）有关，因此可以概率来描述。消息所表达的事件越不可能发生，其信息量越大。
假设P(x)来表示消息发生的概率，I来表示消息中出现的信息量，则I的定义如下：
且满足3个基本性质：
对于若干个相互独立事件构成的消息，所含信息量等于各个独立事件信息量之和，如下：
2、信息量的定义
为了满足上述要求，定义如下公式为消息所含的信息量：
- 以2为底，单位为比特（bit）；
- 以e为底，单位为奈特（nat），1nat=1.44bit；
- 以10为底，单位为哈特（hat）；
- 以M为底，单位为M进制单位。
常采用以2为底的对数，即以bit作为信息量的单位。
【推广】对于等概M进制符号，每个码元包含bit的信息量。
离散信息的信息熵
1、定义
对于离散的信源，假设其含有M个可能的取值，且概率如下：
于是，每个符号的所含信息量的平均值（总信息量除以符号数），即平均信息量为：
通常称H为信息熵，代表平均信息量。
【注意】当每个符号概率相等（均为1/M）时，信息熵的值最大。
2、关于误差
对于某一离散信源，假设其有0,1,2,3共4个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。对于某条消息20101302010003……10210201（0出现23次，1出现14次，2出现13次，3出现7次，共57个字符），其信息量为：
- 基于实际概率
I总=23log8/3+14log4+13log4+7log8=108（b）
算数平均信息量：
I=108/57=1.89（b/符号）
将上面两式子结合：
I=23/57·log8/3+14/57·log4+13/57·log4+7/57·log8=1.89（b/符号）
- 基于理论概率
I=3/8·log8/3+1/4·log4+1/4·log4+1/8·log8=1.906（b/符号）
可以看出两种方法其结果有误差，而这种误差就是由实际概率和理论概率所造成的。并且此误差会随着消息序列中的符号数增加而减小。
通信系统主要性能指标
我们希望通信系统能快速（有效性）、准确（可靠性）的传递信息，但通常会牺牲有效性，来换取可靠性。
1、有效性
- 码元传输速率
定义为每秒传输码元的个数，即波特率（又称传码率、符号率），单位为波特（Baud，简写为B）。
- 信息传输速率
定义为每秒传输的bit数（信息量），单位为bit/s，简记为b/s或bps。通常又将其称之为传信率、比特率。
当二进制时，M=2，此时传码率与传信率数值上相等，但单位不同。
- 频带利用率
定义为单位带宽内的传输速率。
通过频带利用率，将信道带宽B与传输速度产生联系。
2、可靠性
