还剩10页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
令连续燧的性质连续%商可为负值・.可加性连续信源也有与离散信源类似的可加性即H XY=H X+H Y/XCC CHXY=HY+HX/Y下面莪们证曲式H XY=-pep pxylog pxydxdyc2R2=-pp pxylog pxdxdy-pp pxylog py/xdxdy22R2R2=-piog px[p pxydy]dx+H Y/X2R R=HX+HY/XC C其中,p pxy dy=p xR同理,可证明式连续信源燧的可加性可以推广到个变量的情况即H XX…X=HX+HX/X+HX/X X+...+HX/X X…Xc12N121312N12N-1H[qx X]=-Jwqx logqxdx3c02=jwqx log F|
1.」2Lqx pxlo二二「必jwqxlog pxdx+jw qx log I2J|dxLqx J-w2-w2共一仅—jwqxlog-11et]dx+log ejwqx l~|[dx2L nrij—Lqx J—w2w■•二o=log m.jwqxdx+log ejw_^qx€b、,---------------‘m2o2o=log me=H[px,X]2c总结连续信源与离散信源不同,它不存在绝对的最大牖其最大焙与信源的限制条件有关,在不同的限制条件下,有不同的最大连续蜡值令燧功率设连续信源在为时达到最大端值除此Px H[px,X]之外的其它任何达至广的牖值为两燧之差qx H[qx,X]即表示信源的剩余记为广,也叫信息变差或者信源p,q的冗余即信源从一种转到另一种时,信源Px qx所含信息量发生的变化I=H[px X]-H[qx,X]5p,q c c从信息变差的概念出发,连续信源的燧可理解为最大燧与信息变差之间的差值H[qx X]=H[px X]-l55c cp,q讨论均值为零、平均功率限定为的连续信源的冗余问题当为高斯分布时达到最大端仅随限定功率H[px,X]=loo27iePC/2的变化而变化假定限定的功率为相应P,的燧为若则有H[px,X_],PVP,c PH[px X.]H[px X]55C pC当为其它任何分布时,也有qxH[qx X]H[px X]53总:能找到某二个使PSP,1H[qx X]=H[px XJ=log2neP5522C Cp此即的大小决定了实际信源的力商值称户p为连续信源在为时的皤功率它与信息变差之qx间的关系P1I=_log_2pP-q2总结信源的冗余度决定于平均功率的限定值P与信源的牖功率之比P.平均互信息的非负性定义连续信源的无条件焙和条件端之差为连续信源的平均互信息记为即有I X;Y,0I X;Y=H X-H X/Yc c cI Y;X=H Y-H Y/Xc cc连续信源的平均互信息仍保留了非负性即IX;Y=1Y;X0证明条帚商小于奉于无条件麻即H X/Y H X C CH Y/XH Ycc现在我们证明式H X/Y-H X=-pppxylog px/ydxdy+Cp pxlogpxdxc c22R2RRH X/Y-H X=-pppxylog px/ydxdy+p pxylogpxdxdyc c2R2R2押「凶=_PPIP XVOCVdxdv ppxvlogdxdypx2px/y2R2R2根据对数变换关系log z=log eIn z2和著名不等式lnzz-1z0并注意到PX0,px/y0故有P X0Px/y令二,只要不恒为则,z PxpX Z0Px/y「HX/Y-HX/Fijpxy px-1]idxdyc cLpx/y J1R2pxn=jjpypx/y-1]dxdyLpx/y JR2••••=JpxdJpydy JJpxydxdyR R R2即不HX/Y HXC C其中j pxdx=1j pydy=1jj pxydxdy=1RR2由式辑同理可得IX;Y0cI Y;X0c.平均互信息的对称性容易证明,连续信源的平均互信息也满足对称性即I X;Y=I Y;X=HX+H Y-H XYCC ccc.满足数据处理定理止匕外,连续信源还满足数据处理定理换句话说,把连续随机变量处理成另一随机变量时,普通也会丢失信息即共IX;ZIX;YCC令最大连续焙定理限峰值功率的最大崎定理若代表信源的维随机变量的取值被限制在一定的范围之内,则在有限的定义域内,均匀分布的连续信源具有最大燧设维随机变量回,其均匀分布的概率密=nX bjba度函数为1______x=Hb-anNb-a Ji〈,iPx=f=l茫o n-x除均匀分布以外的其彳也在益概率密度函数记为并用和分别表示均匀分布qx,H[px,x[H[qx,x]和任意非药匀益布连续信源的燧在4J pdx dx dx=bJ jqxdx dxdx=1x,I r712N12N为J-*aN J-的条件下有二-J fqxlog qxdxd\bj IqxlogF|
1.Px]dxdx『\...2Lqx pxN%一=-bj fqxlogpxdx dx+21N•••bI px X Xlogdxdx21…N令有Z=Px,z0q2运用著名不等式共则Inz z-1z0共」1H[qx,X]f qxlogdxdx+2nNb-a1N小i iaii=121「bj fqxI Px-dxdXN..._Lqx J1a=log nb-a+1-1=H[px,X]c至此已证明了在定义域有限的2i i条件下,以均匀分布的焙为最大在实际问题中,随机变量的取值限制在士X之间,峰值为如果他取值看做是•■b Ib I输出楂号的幅度,则加应的峰值功率就是所以上述定理被称为峰值功率受限条件b2o*卡的最大连续焙定理此时最大燧值为H[px,X]=log VN[b--b]=log VN2bc2i i2ii=1i=1限平均功率的最大燧定理若信源输出信号的平均功率和均值被限定,则其输出信号幅度的概率密度函数为高斯分布时,信源具有最大焙值单变量连续信源呈高斯分布时,[x-m2P x=e2o2J2g2当是高斯分布以外的其它任意分布时,记为qx由约束条件已知w wJpxdx=J qx=1-co[W,x wJ xp{x}dx=Jxqx=m.-00xJ X2pxdx=J X2qx=P神1一8-W由于随机变量的方差二装当E[X-m2]=E[X2]-m2=P2-m22均值为时,平均功率就等于方差装可见2=P,对平均功率和均值的限制就等于对方差的限制用和分别表H[px,x]H[qx,x]CC示高斯分布和任意非高斯分布连续信源的由前面的讨论已知爪装H[pxX]=g e52H[qx X]=-Jwqxlog qxdx3-w2=jw qxlogFl
1.2Lqx pxJ-w「Jw qxlogpxdx-jw qxlogI Px,dx2Lqx J-w2-wi•1log e.dx4x2共几Jog2eQ+Jw qx几=Log2e2+1-1=H[px,X]22c其中1x-m2Jw qxlogpxdx=-Jw qx[log e-]dx22几-w,2-w222二十qx[log1+log]dx22V27m-w=log田儿2+log eJw qxdx2二/几log2+2log e*二1log2rLe222均值受限条件下的最大连续燧定理若连续信源输出非负信号的均值受限,则其输出信号幅度呈指数分布时,连续信源具有最大燧值连续信源为指数分布时为1Xpx=er x0m用和〕分别表示指数分布和任意H[px,X]H[qx,XCC非指数分布连续信源的牖记限制条件为
②P8p xdx=p qx=100p8xp xdx=p00xq x=m00任意其它分布的信源幅H[px,X]=log mec2为。