信息论与编码(清华出版社)第4章信息率失真函数-Qtech(1)

第4章 章

信率息真失数函失真： 真失 是：信号指传输过在中程原与有号信 或准相标所发比生的差偏 。标或准比相所发的生差。偏在理想的放器中大输出，波除形大放， 如外在理：想放的大中，输器波形除放出大， 应与输入波形完全相同；但实外际，上不能做 应到输入波形完全与同；但相际上，实 出与输入输的形波完一样全这种现，象叫真失，输出与输入 波形完全的样，这种现象一失叫，真又 畸称。变又称 变。畸

4章 第

章信率息真函失数在实际信息处过程理中：在 实际息信理处程中：过由于存信在道声噪干扰的，或信源信息以超 由于过在存道噪信声干扰的 ，道信量的容速传输时产生的差率错或真,信失 宿信容道量速的传率输产生的时错差失真或信宿 接 到的信息会收一有定的真。 接失到收信的息会有定一的真。

失际传实允输有一定的许失真 实：际输允许传一有的定失：真何减如小失，真许允真失到么程度；什 何减小失如真允许失真，什么程度到；在允 许一定度的程失条件下，真 在许允定程一的度失真条件下把信源信息，压 缩什到程么度。 到什缩程么度。2

4第 章章

息率信真失数

函章主要讨本论信在允源一许失定真况情下所需的 最少息信，率从 分失真析函、数 所的需最少信息率， 从 析分真函数失 、平 均失真出，发出信求率息失函真数RD) (。 失均出真发，出求息信失真率函数 4. 平均失真1和息率信真失函 4数2.离 散信源的RD)(算 计散信离的源 )(

3

4.1

平均真和失息信失真率数函4..1 411.2 4.1.3.4.1. 4真函数失 均平真失 信率失息真函数R() 信D息失率真函 信息数率失函数真性的质4

4.1平 失真和均息率信真失函数在实际题问中 在，际问题中，实号有信定的一失是可真以 容忍的但。当是真大失某一限于后度 ，的忍但。当失是真于大某限度后一信息，量将 被严重质损，甚至伤丧失实其用值。要规价失定真被 严重伤，损甚丧至失其实价值用。 度，必须先限有个一量定的真失测度 。度，必限先有一须定个的失量真度测。此为引可 入真函失。数 入失真函。数5

4

..1 1真失数函如某一信源X,假输样值出x为 假如一某源 信输，样出为值i ,i∈x{1a,…a},n , 过有失真经信的源码编器输，Y,样出为y 经值有过失的真信源编器，码出输 ，值为样j yj,则认 没为有真失 。如；果 x{b∈,1b…m}如果。 iy=j则认为，有失真；没如果x i yj,≠那么产就了失生真失。的真小大，一 那用么产生就失了真。真失的大小 个，来量表示，失真即数函个量来 表示，失即函数d真(i,yx)j用，衡以量 j 用用以衡，用y量 替x 所代引起的失真度程 。代替 所引起的失i真度程一般失真。数函定为义xi =y j 0 d(ix ,y j) = α α> 0x ≠ iyj 6

失

真阵

矩个单符号失的真度全的体构成矩 的阵 [d x( ,i yj ) ,称为失真矩]阵d (a 1,b1 ) d(1 ,a b2 )L (ad , b1 m )d a(, b) d ( a ,b ) L d ( a ,b )2 22 m = d2 1 MM M d ( an ,b1) d (a n ,2 ) L d (bna, b m) 7

例设信源符：号∈{0,X1}编码,器输 符出号∈{Y01,2},规定,真函失数为 (0,d0=)(d11)=,0 ;(d,10=d)(10)=,1; (0,d)=d2(,12)0=5.,解: 失真矩阵求真矩阵d.失 d ( ,0)0, d( 01),, d 0(,) 2 (1,0)d ,d 1,1() , (d,12) (dx,1y1 ,d)x(,1y 2), (dx,1y3) [ d]= d( x y, )d(,x, )yd(x,, y ) = 2 2 2 3 2

1 0, 1 0 . 5 , = 1, 0 ,0 5 . 最常用的

失函数均方失真： 均真失方真 绝：对失真 绝：失真：d对 x(i , yj) (x=i y )j2

d (x ,iy j =) x y ij

相对失： d真 (x i, yj )= x yi / xji 相 对真：失 , 0误失码真：误码 失真：d ( x i , yj) δ ( = i x, j y) = 1,x i= y j 其它

前三种失真数适函用连于续信源， 三前失真种数函用适连续信源 于 ，一后种 用于离散信适。源用 离于信源散。9

4.12.

平均真失由x于 都是随机变量 所以失真函，数dx(由 于 i和y j都随是机变 量， 所失真函以数 i y,)也是随机 j是也机 随量变。真时的失真值， 变量。失 真失时失真值的只，用能的它数学期望统或平计 均均平失，真 值，此因失真将数函数的期学望称为平失均，记真为因此将失真函 的数数期学望称平均为失真D ==∑ ∑ pa(b i1 = =j 1 mi n i=1j =1 i n

m

j

)d a(i , j b) ∑ p ∑a() (pbj / a ) di ( ia ,b j)

p(y j ix)

x i信源码器编yj

均失真是平给对信源定布p分a( 经某过一转概率分移为布p(p(b 平均失是真给定信源对布分p(i)a过经一转移概率某布为分(bpj|a)i的失有 p真 (编器码后生失产真的体总量。度编码器后产 生失真总的度量体。01

于对续连随机量同变可以定义样平失真

均D

=∫

∫∞

∞∞ ∞ p yx( ,x )yd (x , y d)xdy于L对长序列编情码况，均平真失为 于 长对列序编码况， 长情序列编码况情

LD1 = 1 = LL∑ Ed[( xl = 1LLil

,y lj )]∑D l1=l

1

1.1.34 信率息真失数函信息率失 真数R(函D)X 信源码编器Y

x∈{a 1 a, ,L2na

y}∈ b{1, b 2,Ln}

b假想道信将信源编器码作看信道， 将源信编码看作信道 ，器用分 信析道传 输方法来研的究失真限信编码问源题。 输方法的来研究限真失信编码源题问 。12

41.3. 息率信失函真 信数息率真失函数(R)D

源信编器的码的目使编是码所后需信的息传输率尽量R小 信源，

编码器的目的使编是码后需所信息传的率 输尽小， 尽量量小 然R越小，而引起的平失均就真大越 。而 然越小引起的，平失真就均越大。出一给失真的个限制越小 保 真准度则 )D,在值足满均失平真D ≤ D(称 为此真保准则度)的件 条 ，称(为此保度准真则选 择种编码方法一信息率R尽使能可 小尽可小。能下，选 一种编择码法方信使率 尽息能可小 。信率R就是息需输出所有的信关源 信的息 量信率息 是就所需出的输关信有X的信源息。量 此问题将对就 是所需出输有关信源 的信的息量。 到应道信，即为接 收 需要获得的端关有的X息量信 即为收接Y需端获要得有关 的的信息， 量到信道应，即R接为端收需 要得的有获 关的息信量，也就是 互信I息X(;Y)。。 是 互息信 样这 这样 ， 选，择源编信方法码问题就变的了选成择想假信的道问 题符号转移，概率就 应信道对转移概。率 题问符，转移号率概(pyjxi)/就应信道转移对概。 率对就信应道转移概1率3

、D1许允验信道试 、允许试验信道 均平真失信源分布p由(x、 假想信道转移的概p(y 平均率失真由源分信布 i)假、想道的信转移概率 jx/i和) 和失真 数d函(x 定决， 定，已失真函数 i ,yj)定，决p若x()和dixi,(yj)定已则，给可满 出定决和 已 定所有转的移概分率布p足 D ≤D的所 转有概率移分 布ji,它构成们一了信道集个 PD P合D= p (b j a/i ) : D ≤D称 D允为许验试道 信称为 许允试信道。

{验

i = 1,,2L , ;nj = ,1, L 2 m,}

41

信息率

真失数函R() D息率失信真函数由于信互息取决信源分布和于道转移信概率分， 布根据22 -于由信互息取于决信源分和布信道移概转率布分， 根 节据所述 ，定时，一是 关于(y 型凸p数函，节 述，当所(pix一)时，互定信 是关息 于/xj)i的 型凸U函数 一，定 时信息互是关I于型 函数凸 在存极值小。而在上述因允信许道 存在P小值。极因在而述允许上信 D道中可以寻找一种，道信 pji,使定给的信 i源)过经信道传此输后，信互 息Y;)达使给定的信 p(源 x经过信道传此后 互信息I(X输；达 经过 此道传输后信 ，到最小该最。小的信息就称为互息率失信真数R(D),函即 最到。小该小最的互信就息称信为率失真息数 ，函R (D ) = m in I ( ;XY )P

D15

对于离散记无信忆源 ，于对散无记离忆信，源(DR函数可写) 函数成可写成RD) = (mi∑∑ n(pai p)b( /ja i l)goP∈ D iP ji1 j==1

n

mpbj ( /i )a (pjb)

(pi),i=1a2,,,… 是信源符n概号率布分；是 信符号概源率布； 分= ,, , p(b,/aji)i,=,2,…,1,nj1,2=…,m ,转移概是率布分 ；, ,, ,, = , ,,是转 概移分率；布 (pj)b,j1=2,,,m 是…收接

端收符到概号率分布 。, ,,, 是接收端 收符到概号分布率。16

对给定于源，R(D)是信真保度 准下(则 D≤ D)容许压的最小 值缩也是，熵缩编压器码出可输 能到的最达熵率。低

1

例47-设2信的符号表为A=源设 信的源号表符 =为 a1{ ,2a ,…,a2 n},率概分为 ，布 ， (pai)=/2n1,=i,1,2,…2,失n真函数规为定 = ,, , ,1 i ≠j d ( a ,ia j )= 0 =i j即符号发不差生错时真为0,一旦失错出失真，1,为即符号 不生差错发时真失 ，一旦出错，失为真 为， 研究试一定在码编条下件息压缩的信程。度研 究一定编在码条件下信息压缩程度的。81

例4-2信由源率分概布可求信源熵为：得 1 1H (,. .. ,) =b( ln 2)bti/ 符 2n 号n2若对信源进不失行编真，码每符号个要l需b2n二个 制进元。 码假允许一定的失真定失真限，度为 D = 1/2 , 时信此 的源信息率减能少到多？每少个符的号均平码长能 压缩多少？

91

本文来源：https://www.bwwdw.com/article/7c2m.html