2023年联合熵与条件熵.docx

联合熵与条件熵 第6讲 联合熵与条件熵 信息熵H(X)反映了随机变量X 的取值不确定性。当X 是常量时，其信息熵最小，等于0；当X 有n 个取值时，当且仅当这些取值的时机均等时，信息熵H(X)最大，等于log n 比特。我们拓展信息熵H(X)的概念，考虑两个随机变量X 和Y 的联合熵H(XY)和条件熵H(Y|X)。 1. 联合熵 设X ，Y 是两个随机变量， 那么(X,Y)是二维随机变量，简写为XY 。 二维随机变量XY 的联合概率分布记为p (xy )，即 (){}Pr ,p xy X x Y y === 根据信息熵的定义可知，XY 的信息熵为 ,,1()()()()log () x y x y H XY p xy I xy p xy p xy = =∑∑ 定义 二维随机变量XY 的信息熵H(XY)称为X 与Y 的联合熵（joint entropy ）。 它反映了二维随机变量XY 的取值不确定性。我们把它理解为X 和Y 取值的总的不确定性。 练习： 假设有甲乙两只箱子，每个箱子里都存放着100个球。甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。试计算H(XY) 我们将联合熵概念推广到任意多离散型随机变量上。 定义 一组随机变量12,,,N X X X L 的联合熵定义为 121212,,,12()()() N N N N x x x H X X p x x x I x X x x = ∑L L L L 注：为了简化记号，我们有时把12N X X X L 记为X N ，把12N x x x L 记为x N 。 物理意义： （1）12()N X H X X L 是这一组随机变量平均每一批取值 1212,{,}N N x X x X X x ===L 所传递的信息量。 （2）假设N-维随机变量12N X X X L 表示某信源产生的任意一条长度为N 的消息，那么12()N X H X X L 是平均每条长度为N 的消息的信息量。因此，假设该信源产生一个长度为N 的消息，那么在不知道其它条件的情况下，对该消息所含信息量的最优估计为N-维信息熵12()N X H X X L 。 联合熵的性质： 联合熵熵函数的一种特殊形式，所以熵函数的任何数学性质都适用于联合熵，包括：非负性、可加性、严格上凸性和最大离散熵原理，等等。 当然，联合熵还有自己的特殊性质。 定理（联合熵的独立界）2121()()()()N N H X X H X H X H X X ≤+++L L 其中等号成立的充要条件是所有随机变量相互独立。 证明：这里仅证明()()()H Y X X H H Y ≤+，一般情形可类似证明。 设对于XY 的联合分布为p (xy )，X 和Y 的概率分布简记为p (x )，p (y )。 由于 ()()()(),, ,y x p x p x y p y p x y ==∑∑ 我们有 ()(),-=log ()() x y p x x x p y y p y p ∑左右 注意，()()p x p y 构成一个概率分布。应用信息不等式可得 ()(),()0()log x y p x p y p x p x y y ≤∑ 其中等号成立的充要条件是()()()p xy p x p y =，即X 与Y 相互独立。 证毕 2. 条件熵 条件自信息：1(|)log (|) I y x p y x = 对于任何取值x ，|Y X x =是一个带条件的随机变量，其信息熵为 (|)(|)log (|)y H Y X x p y x p y x ==-∑ 再对所有x 求熵的平均值可得如下条件熵： 定义 设X ,Y 是两个离散型随机变量，联合分布为p (xy )。X 相对于Y 的条件熵H (X|Y ) 定义为条件自信息I (X|Y )的期望，即 ,(|)()(|) x y H X Y p xy I x y =∑ 物理意义：H (X|Y )表示在Y 取值的前提下，X 取值的不确定性，亦即X 的每个取值平均所提供的与Y 无关的信息量。 定理（条件熵非负性）对于任何离散型随机变量X 与Y ，都有H(Y|X) ≥0，其中等号成立当且仅当Y 是X 的函数，即X 的取值可确定Y 的取值。 证明 根据定义 ,(|)()log (|)0 x y H Y X p xy p y x =-≥∑ 由于上述加式中各加项都≤0，所以该加式=0的充要条件是各加项=0，即对于任何x 和y ，p (y |x )=1或者p (y |x )=0，亦即对于任何x ，P (Y |x )是退化分布。这说明当X 的取值确定时，Y 的取值随即确定，即Y 是X 的函数。 证毕 定理（熵的链法那么）对于随机变量序列X 1,X 2,…和任何N ≥1 112111 ()()(|)(| ) N N N H X X H X H X X H X X X -=+++L L L 简记为 12 () N N H X H H H =+++ 其中H 1=H (X 1)，H 2=H ( X 2|X 1)，…，H N =H (X N |X 1X 2 …X N-1)。 证明：首先根据定义直接可得 H (XY )= H (X )+H (Y|X ) 应用上述等式，对N 用归纳法可证明熵的链法那么。细节略。 证毕 意义：将多个随机变量的联合熵转化为这些随机变量的条件熵之和，可简化计算。 注：链法那么与熵的可加性是等价的。 思考： 以下不等式是否成立，其中各等号成立的充要条件是什么？ 112123()()()H X H X X H X X X ≤≤ 这个性质说明什么？请读者尝试命名该性质。 定理（条件熵递减性）对于任何随机变量X 和Y ，有 H (Y |X )≤ H (Y ) 其中等号成立的充要条件是Y 与X 相互独立。 证明一：根据链法那么， H (XY )=H (X )+H (Y |X ) 再根据联合熵的独立界定理，立刻可得 H (Y |X )≤ H (Y ) 其中等号成立的充要条件是X 与Y 统计独立。 证毕 在条件熵中，条件越少，熵值越大。相反，条件越多，熵值越小。这可理解为，我们知道的越多，那么事物的不确定性越小。 证明二：应用Jessen 不等式证明。 证毕 3. 计算公式 令X ，Y 为离散的随机变量。 公式1. (|)()()H Y X H XY H X =- 公式2. (|)()((|))H Y X P X H P Y X = 其中P (X )是X 的概率分布，为行向量，P (Y |X )是X 到Y 的条件概率矩阵，((|))H P Y X 是条件概率矩阵中各个行分布(|)P Y x 的熵(|)H Y x 所组成的列向量。 证明： ,,(|)()log (|) ()(|)log (|) ()(|)log (|) ()(|) ()((|)) x y x y x y x H Y X p xy p y x p x p y x p y x p x p y x p y x p x H Y x P X H P Y X =====∑∑∑∑∑ 证毕 例 设()(0.4,0.6)P X =且 0.960.04(|)0.040.96P Y X = 那么 (|)()((|)) 0.960.04(0.4,0.6)() 0.040.96(0.96,0.04)(0.4,0.6)(0.04,0.96)(0.96,0.04) H Y X P X H P Y X H H H H = == = 记号：以后对于任何N ，我们将N 维随机向量X 1,X 2,…X N 简记为X N 。 注：上述条件熵概念可以推广到多个随机变量熵，例如 H (Y|X 1X 2 …X N ) 是在随机向量X1,X2,…X N取值的前提下，随机变量Y的不确定性，亦即Y的每个取值可以提供的与X1,X2,…X N取值无关的新信息量。 练习设p(xy)如下表所示。 试计算 (1)H(XY) (2)H(X), H(Y) (3)H(X|Y), H(Y|X) 练习平均100人中有2人患有某种疾病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于健康的人来说有一半可能为阳性、一半可能为阴性。假设X表示一个人是否罹患这种疾病，Y表示其化验结果是否为阳性，试计算H(XY)。 作业5 1.范九伦等所着教材第38页习题（三） 设X 和Y 的联合 分布(,)u x y 由下表给出： . 试计算(),(),(),(|),(|),(;)H X H Y H XY H Y X H X Y I X Y 2. 设一个信源有6种信号，先后输出的信号是独立同分布的，其概率分布为 (1/2, 1/4, 1/8, 1/16, 1/32, 1/32) （1）该信源输出1个符号所提供的平均信息量。 （2）该信源输出100个符号所提供的平均信息量。 3. 在一段时间内，某城市交通的忙闲天数按天气阴晴和气温冷暖进行分类统计如下： （1） 计算交通忙闲状态的无条件熵。 （2） 计算天气和气温状态下的条件熵。 （3） 计算从天气和气温状态所获得的关于交通状态的信息。 4. 世界职业棒球锦标赛为7场赛制，只要其中一队赢得4场，比赛就结束。设随机变量X 代表在比赛中A 队和B 队较量的可能结果。X 的可能取值为AAAA ，BABABAB 和BBBAAAA ，其中A,B 分别表示A 队和B 对获胜。设Y 代表比赛的场数，取值范围为4到7。假设A 队和B 队是同等水平的，且每场比赛相互独立。试计算H(X)，H(Y), H(Y|X)和H(X|Y)。 晴 阴 暖 8天 忙 冷 27天 暖 16天 晴阴 暖 15天 闲 冷 4天 暖 12天 冷 12天 冷 8天