还剩3页未读,继续阅读
文本内容:
第五章无失真信源编码定理
5.1有一信源,它有六个可能的输出其概率分布如下表所示,表中给出了对应的码A,B,C,D,E和F1求这些码中哪些是唯一可译码;2求哪些是非延长码即时码;3对所有唯一可译码求出其平均码长;习题
5.1表消息P%A Bc DE Fal1/200000000a21/400101101010100a31/16010Oil110110J\101041/16Oil0111111011101101110a51/16100011111111010111110111a61/1610101111111111011011111Oil1上述码字中,A为等长码,且为非奇异码,因此码A为惟一可怪码;码B中,根据惟一可怪码的判断方法,可求得其尾随后缀集合为{1,11,111,1111,11111,且其中任何后缀均不为码字,因此码B是惟一可在码码C为逗点码,因此码C为惟一可怪码;码D不是惟一可怪码,因为其尾随后缀集合中包含0,而0又是码字;码E的尾随后缀集合为空集,因此码E是惟一可洋码;码F不是惟一可译码,因为其尾随后缀集合中包含0,而0又是码字,因此F不是惟一可怪码2码A、C、E是即时码非延长码〉3码A的平均码长为3;码B的平均码长为
2.125;码C的平均码长为
2.125;码F的平均码长为2E P1■1,将此信源编码为,元唯一可译变长码(即码符号集X二{1,2,.,r}),其对应的码长为(小,・・・・・6)二(1,1,2,3,2,3),求r值的最佳下限yZ=1r-1+r-2+r-3s当r=2时,上述不等式不成立;当r=3时,成立因此r值的下限为3;;1r=2,码长4=1,2,3,3,42r=2,码长2产1,3,3,3,4,5,5;4r=5,码长4=1,1,1,1,1,3,43r=4,码长/产1,1,1,2,2,3,3,3,4答案:1略2略3略4略
525.41=^Lp^JL.8,O0,2-每秒发出
2.66个信源符号将此信源的输出符号送入
5.3根据下列的r和码长3判断是否存在这样条件的即时码为什么某一个二元信道中进行传输(假设信道是无噪无损的)而信道每秒只传递两个二元符号试问信源不通过编码能否直接与信道连接若通过适当编码能否在此信道中进行无失真传输若能连接试说明如何编码并说明原因如果不通过编码,即信道的两个码符号对应两个信源符号,而信道传输码符号的速度小于信源发出信源符号的速度,因此势必会造成信源符号的堆积,因此不通过编码是无法将信源与信道直接连接信源平均每秒发出的信息量为
2.66*H(S)=-
2.66*S P(s)log P(s)=
1.921比特,秒而该信道的信道容蚩为1比特符号,平均每秒能够传输的最大信息量为2比特,因此通过编码可以实现二者的连接若要连接,需要对扩展信源的信源符号进行编码,目的是使送入信道的信息蚩小于信道每秒能接收的最大信息蚩(或使每秒钟编码后送入信道的码符号个数必须小于信道所能接受的最大码符号个数),具体编码方法将在第八章进行
5.5设某无记忆二元信源,概率pi=P1=
0.1,po=P0=
0.9,采用下述游程编码方案见习题55表第一步根据0的游程长度编成8个码字第二步将8个码字变换成二元变长码1试问最后的二元变长码是否是唯一可译码;2试求中间码对应的信源序列的平均长度£;3试求中间码对应的二元变长码码字的平均长度4计算比值/[并解释它的意义并计算这种游程编码的编码效率;£5将上述游程编码方法一般化,可把2s+1个信源序列上例中s=3变换成二元变长码,即2s个连零的信源序列编为码字0而其他信源序列都编成s+1位的码字若信源输出零的概率为Po,求[/]的一般表达式并求Po=
0.995时s的最佳21值答案1是否是唯一可译码给定的游程编码方案第一步根据0的游程长度编成8个码字,然后进行二元变长编码这个过程中,游程长度为0的码字唯一对应的是0,而游程长度大于0的码字都是不同的因此,最后的二元变长码是唯一可译码2中间码对应的信源序列的平均长度乙根据题目的要求,中间码是根据0的游程长度进行编码的,共有8个码字首先计算每个码字对应的概率,然后根据概率计算平均长度对于长度为0的码字,概率为=P0连续的游程长度为0二P—8因为有8个连续的0oP1对于长度为1的码字,概率为p P0连续的游程长度为1=8*p/7*pi o2P0连续的游程长度为2=8*p/5*pi3对于长度为3的码字,概率为p二P0连续的游程长度为34对于长度为2的码字,概率为p3平均长度幺=1*Pi+2*P2+3*P33中间+3*P4码对应的二元变长码码字的平均长度%给定的二元变长码中,码字0对应的长度为s+1,其他码字都对应的长度为1对于码字3概率为P0=POo对于其他码字,概率为Pl=1-P0=1-po平均长度七二Po*s+1+1-po*14比值%/乙和编码效率计算比值幺2/幺=[po*s+1+1-po]/[1*Pl+2*P2+3*P3+3*P4]编码效率是指所用的编码平均长度与信息源的自信息率的比值5一般情况下的表达式和最佳值对于一般情况下,可以将2飞+1个信源序列进行变换成二元变长码,其中有2飞个连续的零信源输出0的概率为POo则中间码对应的信源序列的平均长度幺和中间码对应的二元变长码码字的平均长度九的一般表达式为2=E[i=0to s]i+1*2T*pos-i*1-po公二po*s+1+1-po*1求解p°=
0.995时的最佳值s,可以通过计算不同s对应的公/匕的值,选择使得公41最小的s值作为最佳值需要注意的是,s的取值范围是非负整数。