集X的平均自信息量又称作是集X的信息熵,简称熵,它是为了在观测之前,确定集X中出现一个事件平均所需的信息量。下面小编就用一个例题来跟大家介绍一下它的求法,希望对大家有所帮助。
操作方法
(01)首先画出它的一阶马尔克夫信源的状态图,如下图所示。
(02)然后根据切普曼—柯尔莫哥洛夫方程,可以得到相关表达式,如下图所示。
(03)接着把p(0),p(1),p(2)求出来。
(04)然后根据第一小问的答案,求出它的信源熵,注意不要漏了单位。
(05)接着根据题意可知:无记忆信源的符号的概率分布等于平稳分布。
(06)可以写出此时信源的概率空间。
(07)然后求出信源的信息熵。
(08)最后可以比较出它们的大小。