参考《分布式视频编码-答辩.ppt》

分布式视频编码演讲稿

1.

各位老师好，我毕业论文的题目是，分布式视频编码中WZ帧编码技术研究。分布式视频编码是一种新兴的编码技术，它和传统编码技术不同，传统的视频编码技术基本都是，编码端 比较复杂，解码端比较简单。而分布式编码的编码端比较简单，解码端则比较复杂。 2.

为了达到这个目的，学术界提出了很多实现方案，在这些方案之中，最为著名的，是斯坦福大学研究小组提出的分布式编码方案。就像图中所示，整个视频序列被划分为关键帧和WZ帧，它们使用两个独立的系统进行编码。

关键帧使用传统的帧内编码方法传输，它主要负责生成高质量的边信息，边信息是分布式视频编码里的新概念，它实际上就是，需要解码的WZ帧的估计信息。

比如，像上面这幅图中所示，第一帧和第四帧为关键帧，中间的第二帧和第三帧为WZ帧。 关键帧首先传输到解码端，也就是第一帧和第四帧，然后两个关键帧使用某种算法生成第二帧和第三帧的估计数据，这个估计数据就可以被称为边信息。

再来看一下WZ帧的传输，它的处理比较复杂，因为WZ帧的编解码算法决定了整个系统的压缩效率和传输质量。

WZ帧首先要进行DCT变换，然后对DCT系数做量化，最后进行信道编解码，信道码可以使用turbo码或者是LDPCA码，LDPCA码的效果较好。

和传统的信道编解码不同，分布式编码的编码端只需要将编码后的校验位，传输到解码端就可以了。然后，解码端利用自己估计好的边信息，以及传输获得的校验位就可以进行纠错解码了。这个WZ帧的传输系统就是我毕业论文的研究内容了。

3.

在这个方案中，我们还可以看到，为了能够更好的去除图像的空间冗余，使用的是DCT变换。在传统编码领域，我们知道，除了DCT变换，还有另外一种选择，就是小波变换。下面这幅图就是小波变换的分布式编码架构，从图中可以看出，两种方案不同的地方只是，一个使用DCT，一个使用小波。从前人的研究成果来看，这两种主流架构，在码率压缩方面都比较差，而且它们都不适应传输带宽不稳定的环境。

4.

为了解决这些问题，我提出了两种方法。一种是高频填充方法，它在一定程度上解决了码率的问题。另外一种是分级编码的思想，它可以让系统工作在不稳定的带宽环境中。那么，我的研究内容也包括两块，一块是将这两种方法应用在，基于DCT的WZ帧编码系统中，另一块是，将它们应用在基于小波的WZ帧编码系统中。

5.

首先来介绍一下高频填充方法，在基于DCT变换的分布式编码系统中的应用。DCT变换之后，整幅图像会被划分为高低频信息，其中LL区为低频区，LH、HL区为高频区，HH为甚高频区。图中 左边为待解码的WZ帧的高低频信息， 右边是边信息的高低频信息，刚才已经说过，边信息实际上就是解码端为WZ帧做的估计。高频填充方法就是指用边信息的高频区来填充WZ帧的高频区。具体来说，就是用边信息的HH、LH、HL区来填充WZ帧相应的高频区。

我们可以假设一下，如果这种方法可行的话，系统的码率就会降低到原来码率的1/4，因为，这个时候需要传输的只是LL低频区。

6.

下面来证明一下这种方法的可行性。表3-1和表3-2是foreman图像和coastguard图像的， DCT变换系数的统计特性。包括高低频系数的均值，方差和能量。foreman图像运动较为缓慢，coastguard图像运动较为剧烈。从表中可以看出，图形的低频信息包含了图像90%的能量，高频信息含有的能量非常低。从人眼的角度来说，低频信息也远比高频信息要重要。 另外，还可以看出，高频信息的平均值非常接近于零。

7.

根据这些分析，我提出了四种不同的填充方法。HH填充边信息HH填充零值 HH/HL/LH填充边信息HH/HL/LH填充零值

8.

然后我对这四种填充方法进行了对比，在对比他们的效果之前，我要说明一下，我做实验使用的边信息生成的方法是，关键帧复制法，这种方法就是将WZ帧的前一个关键帧作为边信息，就像图中，如果要解码第二帧，那么就将第一帧关键帧作为边信息。还有一点需要说明一下，人眼可以接受的解码质量必须在30dB以上，因为在这种情况下，人眼比较难分辨出两幅图像的差距。

9.

下面来看一下foreman图像的填充结果。我们可以得出结论，对于这种运动比较缓慢的图像， 四种填充方法都是可以接受的，因为它们都超过了30dB。另外，对比一下码率就知道，最好的填充方法是，HH/HL/LH填充边信息，它的码率是1/4。

10.

再来看一下，coastguard图像的填充结果。只有两种方法超过了30dB，HH填充零值或者边信息。而且这两种方法的填充效果几乎一样，码率也一样。所以，这两种方法都行。 11.

为了能够说明这种方法的可行性，我又做了几组视频。前三个视频属于那种运动比较缓慢的，所以它们的填充方法，和foreman类似，最后那个bus图像，它的运动比较剧烈，所以 就用coastguard图像的填充方法。从它们的实验结果上来看，效果还是可以的。 12.

刚才已经把高频填充方法介绍完了，下面来介绍一下分级编码。分级编码一般会根据间隔的度来划分，粗间隔的分级编码和精细间隔的分级编码，我在这里使用的精细间隔的分级编码。 然后我用高频填充方法和分级编码方法构造了，新的WZ帧传输架构。就像图中所示。 编码端按照从低频到高频的顺序，依次向解码端传输信息，传输到一定程度之后，就不在传输了，然后解码端就利用边信息或者零值直接填充剩下的部分。需要说明一下，为了能够体现出我的实验成果，所以在边信息生成算法上，我使用了最简单的关键帧复制法。 13.

来看一下实验结果。横轴是码率，纵轴是图像的解码质量。左边是foreman的实验结果，右边是coastguard的实验结果。两幅图像的实验结果基本类似。从图中可以看出改进的架构在解码效果上基本相当于H.263+ 帧内解码的水平。低于H.264 帧内解码的水平。

14.

这是在200kbps信道带宽的情况下，图像的解码质量。foreman的解码质量要更好一些。 15.

下面来介绍一下，基于小波的WZ帧编码架构。我们知道，DCT变换易于产生块效应，而小波变换就没有这样的问题。从图中也可以看出来。基于小波的WZ帧编码架构和基于DCT变换的架构基本类似。

16.

那么我也用了同样的方法来改进这个架构。高频填充方法和分级编码思想。简化小波计算方

法的计算效率很高，比较适合应用于WZ帧编码。WZ帧在经过小波运算之后，也会形成类似的高低频系数。其中，LLL和LLH可以被视为低频信息，类似于DCT变换后的LL区。H2和LH可以被视为高频区，类似于DCT变换后的LH和HL区。H区是甚高频区，类似于这里的HH区。

17.

和基于DCT的架构一样，填充方法有四种，H填充边信息H填充零值 H/H2/LH填充边信息 H/H2/LH填充零值

18.

这是foreman图像的填充效果。从这个图中可以看出，效果最好的还是H2/LH/H填充零值， 此时，码率只有1/8,图像的解码质量大于在32dB左右。

20.

这是coastguard的填充效果。这个实验效果，与之前所做的所有实验都不一样，之前的实验，都是填充边信息比填充零值要好，而这里，出现了，高频的H区填充零值比填充边信息更好。高频的H2区和LH区则是填充边信息比零值更好的情况。我认为出现这种情况的原因是：coastguard图像变化太快，使得边信息的H高频区与WZ帧的H高频区之间的相关性较小。于其填充边信息，不如什么都不填。

21.

所以，接下来我又做了一个实验，引入一种混合的填充方法。H填充零+H2/LH填充边信息，然后与之前的方法做了对比，从实验结果来看，这种方法的填充效果最好。

图像的解码质量大约在31dB左右，码率只有1/8。

22.

讨论完高频填充方法，再来看一下，分级编码。这个比较简单，和刚才所说的基于DCT的架构一样使用就可以了。当信道传输能力有限时，就少传一些高频信息，然后在解码端使用零值或者边信息直接填充。新的架构就像图中所示。与基于DCT的编码架构基本一致。 23.

最后来看一下，新架构的实验效果。总的来说，改进的基于小波的WZ帧编码架构，它的解码效果大致相当于H.264帧内编码的水平。他要比之前介绍的基于DCT的改进架构要更好。 24.

这是在200kbps信道带宽的情况下，图像的解码质量。foreman的解码质量要更好一些。 25.

总结一下论文的成果，通过我的改进，基于DCT的WZ帧编码方案在解码质量上大致相当于H.263+帧内编码的水平。而基于小波的WZ帧编码方案，在解码质量上基本可以达到H.264帧内编码的水平。

第二篇：分布式视频编码方法研究

第13卷 第3期20xx年3月

中国图象图形学报JournalofImageandGraphics

Vo.l13,No.3

Mar.,2008

分布式视频编码方法研究

蒋刚毅

1)

1),2)

金智鹏 郁 梅

1)

2)

1),2)

(宁波大学信息科学与工程学院,宁波 315211) (北京大学视听信息处理国家重点实验室,北京 100871)

摘 要 分布式视频编码(DistributedVideoCoding,DVC)是一种新颖的视频压缩方法,具有极低的编码复杂度和良好的抗噪声鲁棒性。为了使人们对该编码方法有所了解,该文首先详细介绍了分布式视频编码的理论基础和特点,然后讨论了分布式视频编码的两大关键技术,包括编码端高效压缩和解码端边信息(sideinformation)插值;最后总结分析了分布式视频编码在低复杂度编码和视频信号鲁棒传输等两大应用领域的研究现状,并对其研究前景进行了探讨。关键词 分布式视频编码 边信息 低复杂度编码 鲁棒传输

中图法分类号:TP391141 文献标识码:A 文章编号:1006-8961(2008)03-0386-08

ResearchonDistributedVideoCoding

JIANGGang-yi

1)2)

1),2)

,JINZh-ipeng,YUMei

1)1),2)

(FacultyofInformationScienceandEngineering,NingboUniversity,Ningbo315211)(NationalKeyLaboratoryofMachinePerception,PekingUniversity,Beijing100871)

Abstract Distributedvideocodingisanewparadigmforvideocompression,withlowencodingcomplexityandrobustness

tochannellosses.Inthispaper,principleandcharacteristicsofdistributedvideocodingisfirstlyintroduced,followedbytwokeytechniquesincludinghighlyeffectivecompressionandinterpolationofsideinformation.Then,recentdevelopmentoftheresearchontwomainapplicationareasofdistributedvideocodingisreviewed,alongwiththefuturetrendsofdistrib-utedvideocoding.Keywords distributedvideocoding(DVC),sideinformation,low-complexityencoding,robusttransmission

能力和存储容量等资源都十分有限,难以执行复杂

1 引 言

随着视频技术的发展,许多视频系统要求客户终端必须具有双向功能,即要求客户终端不仅可以实现传统编码标准的低复杂度解码,还要求终端设备具有视频信号实时编码、传输等功能。比如移动可视电话、无线视频监视系统、无线PC摄像机、多媒体网络传感器以及无线多视点视频编码等。值得注意的是,此类系统的视频编码有其明显不同于普通视频压缩与通信的特点:

(1)受制于设备成本等因素,客户终端的计算

的帧间预测编码过程;

(2)从客户端的无线化、便携式及电池容量等角度考虑,要求终端设备的视频压缩算法必须是低复杂度、低功耗的。

现有的MPEG、H.26X

[1]

视频编码标准在编码

端都采用了运动补偿预测技术,充分利用视频序列帧间相关性进行预测编码,以获取高的率失真性能。由于使用了高度复杂的运动估计与补偿等帧间预测技术,其编码器复杂度通常是解码器的5~10倍

[2]

。

因而,其编码器与解码器相比,要求具有更高的计算能力、存储容量等。基于帧间预测编码的视频编码

基金项目:国家自然科学基金项目(60472100,60672073);浙江省自然科学基金项目(RC01057,Y105577);教育部科学技术研究重点项目(206059);浙江省科技攻关项目(2004C31105);宁波市自然科学基金项目(2007A610037)

收稿日期:2006-04-18;改回日期:2006-11-08

第一作者简介:蒋刚毅(1964~ ),男,教授,博士生导师。主要研究领域为图像处理与视频信号编码、多媒体信息传输与信息安全、基于E-li.edu.

第3期蒋刚毅等:分布式视频编码方法研究 387

标准主要适用于服务器端的视频信号处理,即视频内容经一次高效编码压缩后传输给广大低端用户下载和解码播放,如广播系统、视频点播系统等/一对多0类型的应用场合。

分布式视频编码(distributedvideocoding,DVC)突破了传统视频编码的束缚,采用/帧内编码+帧间解码0技术,通过在解码端发掘视频信号的相关性进行/帧间预测解码0,从而去掉了编码端复杂的帧间预测,具有低复杂度编码的特性,能较好地满足客户终端视频编码与通信的需求,是当前国内外

[3]

的研究热点。分布式视频编码本身又以信道编码技术为基础,对信道噪声污染有先天的鲁棒性,为实现视频信号的鲁棒传输提供了新思路。

解码复杂,但其率失真性能也要比像素域的方法高2~215dB。因此,这里以变换域分布式视频编码为基础来讨论分布式视频编码的系统结构。分布式视频编码由/关键帧(Key帧)0编码器和/Wyner-Ziv帧(W帧)0编码器两部分组成,Key帧编码器采用传统的帧内编解码技术。W帧编码时,先进行基于块的DCT变换并量化,然后将DCT量化系数按位平面分层送至Slepian-Wolf编码器进行熵编码。编码器将编码生成的校验码存于编码端缓存器中,根据解码端的反馈请求发送校验码给解码器作迭代纠错解码。解码时,Slepian-Wolf解码器根据解码边信息和接收到的校验比特从最高位平面开始进行迭代解码,若根据当前已接收到的校验信息仍不能实现正确的解码,则需通过反馈信道请求编码端缓存器继续发送校验码。解码端再重新进行解码,直至将解码误比特率降低至预定要求。在完成DCT量化系数解码后将依据下式对解码的DCT量化系数进行钳制和重建,并进行反量化和逆DCT变换得到解码图像Wc。

xmc=E(xm qc,x^m)m

(3)

这里,xmc为重构的DCT变换量化系数,xm为编码时W帧的DCT变换量化系数,qmc为Slepian-Wolf解码得到的DCT变换量化系数,x^m为解码边信息的DCT量化系数。采用重建钳制策略

[7,8]

[6]

2 分布式视频编码原理与系统

分布式信源编码利用帧内编码技术相互独立地编码两个或多个相关信源,并将其码流发送到接收端联合解码,在解码端通过发掘各信源间相关性,进

行联合预测解码。若互相独立地编码两路信号X和Y,设它们的熵分别为H(X)和H(Y),相应的码率为RX和RY,两路信号的联合熵为H(X,Y),则总码率为

R=RX+RY\H(X)+H(Y)\H(X,Y)(1) Slepian和Wolf分析了分布式信源编码的码率极限,并证明:互相独立地编码两路信号X和Y,其总码率R=RX+RY依然可达到两路信号的联合熵H(X,Y)

[4]

可以将解码重建

,如下式所示:

RX+RY\H(X,Y)Y)RX\H(X RY\H(Y X)

(2)

Wyner与Ziv在此基础上提出了边信息辅助解[5]

码的分布式信源编码方案,无论边信息Y是仅仅作用在解码端,还是同时作用在编码端与解码端,对X序列均方率失真性能的影响是相同的。Slepian-Wolf理论以及Wyner-Ziv理论为分布式视频编码的发展奠定了理论基础,其中无损的分布式信源编码通常被称为/Slepian-Wolf编码0,在Slepian-Wolf编码前加上量化器而构成Wyner-Ziv编码器。

近年来,随着多媒体终端设备的视频编码越来越受关注,鲁棒性强且编码复杂度极低的分布式视频编码成为学术界研究热点。DCT变换域分布式

(a)基于像素域

(b)基于DCT变换域

图1 基于像素域和DCT变换域的分布式视频编解码框图ig. Pldominv

388中国图象图形学报第13卷

图像的最大误差限制在一个量化级别之内,有效地去除严重影响视觉质量的大幅噪声点,改善重建图像质量。在过去的研究中,人们为Slepian-Wolf编

[9]

码器选择过多种纠错编码技术,如turbo码、LDPC码

[10]

法首先对K帧重建图像进行低通滤波,然后在前后K帧间实施运动估计,并采用加权中值滤波平滑运动矢量场,以摒弃孤立的运动矢量。最后,该算法依

据预测运动矢量,通过双向加权预测来插值边信息。实验结果显示该方法可将率失真性能提高018dB左右。

MC-I算法与传统预测编码中B帧预测相类似,其预测精度较高。但是由于要用到后一个关键帧的重建图像,因此其解码顺序和输出顺序并不一致(decodedou-to-forder);而且要等待下一个K帧的解

码完成才能解码处于关键帧之间的W帧,其解码延时将不可避免。因此,MC-I算法比较适合于对实时性要求不高的应用场合中。

3.2 基于运动补偿的外插插值法(MC-E)

图3中的MC-E算法先计算t-2和t-1时刻重建图像间的运动矢量,再根据前后运动矢量一致性假设来线性外推t-1至t时刻的运动矢量,并根据t-1时刻的解码图像插值得到t时刻的边信息。

、网格码

[11]

、RS码

[12]

等等。近年来,LDPC码

以其优异的性能、简洁的形式及良好的应用前景备受青睐。

3 关键技术之一:解码边信息重建

在接收端,W帧的Slepian-Wolf纠错解码时需要一个相应的边信息。解码边信息实际上是在解码端对编码的W帧进行估计,它要求在W帧未知的情况下,利用视频序列的帧间相关性对编码的W帧做出准确的估计。而在传统的视频编码标准中,编码端帧间预测补偿都是在本帧信息已知的前提下到参考帧中搜索最佳匹配块。解码端边信息的预测精度很大程度上决定着分布式视频编码的率失真性能。边信息对W帧的预测越准确,则解码器正确解码所需的校验比特越少,编码率失真性能就越好。因此,如何准确地生成边信息是分布式视频编码的关键所在;生成边信息方法主要分为基于运动补偿的内插插值法(motioncompensationbasedinterpola-tion,MC-I)、基于运动补偿的外推插值法(motioncompensationbasedextrapolation,MC-E)和基于hashcode运动补偿法等。

3.1 基于运动补偿的内插插值法(MC-I)图2是MC-I方法示意图。解码端先进行前后相邻K帧解码图像间的运动估计,获取准确的运动矢量场;再依据此运动矢量V1及W帧所处位置来预测W帧的运动矢量,如图2中的?V2、?V3和?V4;最后根据W帧各自的预测运动矢量和前后帧解码图像,通过线性插值等方式获得解码边信息

[6,7]

图3 MC-E插值法重建边信息

Fig13 MC-Ebasedreconstructionofsideinformation

MC-E算法实际是直接用前一时刻的运动矢量作为当前时刻的运动矢量,且仅有前面时刻的解码

图像可作为参考帧。因此,MC-E算法的预测精度较低。此外,当K帧之间嵌有多个W帧时,易出现预测精度逐级递减的问题,尤其是当相邻帧之间的运动比较剧烈、无规则的时候。但是为了实现低延时乃至实时解码,W帧的解码边信息即可考虑采用外推插值方式。为提高MC-E算法的精度,文献[14]提出了采用块边缘重叠方式做运动估计,并把相邻块运动矢量的均值作为当前块的外推运动矢量,以增强外推的运动矢量场的有效性和空间平滑性。该算法可使率失真性获得012dB以上的提高。313 基于hashcode的运动估计补偿法(MC-H)

显然,在W帧自身信息未知的情况下,要准确地生成其解码边信息是非常困难的。倘若编码端能

。鉴于运动矢量的空间相关性,文献[13]提

出了基于双向预测补偿+空间平滑度约束的MC-I插值改进算法。为增强运动矢量场的有效性,该算

图2 MC-I内插算法重建边信息

.2 Iofsidemon

传送W帧的一些特征信息(如图像边缘、纹理等

第3期蒋刚毅等:分布式视频编码方法研究 389

行运动估计,则能增强运动矢量的有效性,提高边信息的预测精度,图4即为基于hashcode的边信息重建示意图。文献[15]将高频DCT量化系数作为hashcode信息,对其采用VLC编码并传到解码端。在解码端首先解码此hashcode信息(即高频DCT量化系数),然后依据此高频DCT量化系数在解码端进行运动估计,并选取参考帧中的最佳匹配块作

为解码边信息。

弱,则解码端难以获得高质量的解码图像。鉴于此,文献[16]设法在编码端分割出那些在解码端不能准确预测的区域(相关性较弱的区域),如剧烈运动区、运动对象边缘区域等,并加强对这些感兴趣区域的编码。该文提出了像素域感兴趣区提取算法,即以前后帧相同位置像素值的差为依据,结合使用权重模板来提取感兴趣区域,该算法的率失真性能要比H1264帧内预测编码高3dB。

文献[17]、[18]则对相关性不强的区域采用帧内编码,在编码端计算当前块和参考帧相同位置块像素的绝对差之和(SAD);在解码端计算前后K帧最佳匹配块的SAD值。若某块的SAD值较大,则将该块采用帧内编码。最后联合编码端判定的块编码模式和解码端反馈回来的块编码模式,进行W帧编码。该算法对/News0序列能获得5dB的改善。文献[19]考虑在视频序列的前后帧中存在大量的相似块(如背景区、平滑区等),若避免对视频序列前后帧中相同或相似块的编码,则可大幅节省码率和编码时间。因此,提出了一种DCT变换域的感兴趣区提取算法QDCT,即以前后帧中DCT量化系数的加权SAD值为依据来提取感兴趣区;其率失真性能要优于H1263+帧间编码。

此外,通过在编码端判断视频序列的时域相关性,文献[20]、[21]等提出的算法可自适应地选择K帧编码的间隔和W帧的各种块编码模式(如skip、intra等),提高编码率失真性能。为保持分布式视频编码的极低编码复杂度特性,此类算法中的感兴趣区提取算法都比较直观、简单。412 基于预测残差编码的分布式视频编码

文献[22]先对W帧进行CR预测

[23]

图4 加传hashcode特征信息的示意图

Fig14 Hashcodebasedreconstructionofsideinformation

MC-H算法的预测精度要高于MC-E和MC-I,

提高了解码图像的客观质量,但是MC-H算法也并非尽善尽美。首先,如何挑择合适的特征信息,使其既能很好地代表原始帧信息又不会占用过多的码率,仍是值得研究的课题。文献[15]将高频DCT量化系数作为hashcode信息,则hashcode信息的代表性随着量化步长的改变而改变。其次,将hashcode信息采用VLC编码严重地破坏了分布式编码的抗噪声鲁棒性,使高频DCT量化系数失去了信道纠错码的保护。MC-H算法与MC-E和MC-I算法的结合使用是一种有效途径。尤其是对MC-E算法,若在解码端能利用一些特征信息进行运动估计,则可大幅提高解码边信息重建质量。

,然后对

4 关键技术之二:高效编码压缩

虽然Slepian-Wolf理论已证明分布式视频编码可以获得良好的率失真性能,但在实际系统中,分布式视频编码的码率完全依靠解码端的反馈信息控制,其率失真性能多数还达不到H1263+帧间预测

[3]

编码的水平,与H1264/AVC的差距比较大。为了在不增加编码复杂度的同时提高分布式视频编码的率失真性能,国内外学者做了大量的研究,可以分为基于感兴趣区提取的分布式视频编码、基于预测残差编码的分布式编码等。

411 基于感兴趣区提取的分布式视频编码

预测残差进行Slepian-Wolf编码。该方案使分布式视频编码在编码端可以利用视频信号的部分时域相关信息进行编码,虽然增加了一定的编码负担,但却有效地提高了率失真性能。实验结果表明,该算法的率失真性能要比无编码端预测的分布式视频编码高2~3dB。文献[24]提出了基于网络驱动的分布式视频编码方法,将原先的关键帧帧内编码改为帧间预测编码,用以降低K帧的编码码率,提高整体率失真性能。该算法在解码端进行运动估计,并通过反馈信道将运动矢量传回至编码端,在编码端根据传来的运动矢量来预测编码K帧。

虽然由解码端外推预测所提供的运动矢量并不

390中国图象图形学报第13卷

确,但是与原先的帧内编码相比,它利用了视频序列的时域相关性,能较好地提高率失真性能。该算法的K帧设置需相对密集,否则将大大降低运动矢量外推预测的有效性。此外,该算法对不同运动特征的视频序列效果相差比较大,对全局剧烈运动的foreman序列,率失真性能可提高017~115dB,而对背景静止对象运动较缓和的silent序列,率失真性能的提高可达5dB。

格式,而后再由网络中心结点将转码后的视频流传输给客户接收端。该系统方案的突出优点在于充分利用了网络中心结点强大的计算和存储能力,对终端设备而言,无论是发送方还是接收方,都只需进行低复杂度的编码与解码计算。

此外,分布式视频编码系统中,仅仅改善解码端边信息的插值质量即可大幅提高系统的率失真性能。这意味着在该无线视频通信系统中只需运营商改善网络中心节点的转码性能,就可使客户在无需升级更改现有设备的情况下,接收到更佳质量的视频服务。512 低复杂度多视点视频编码

多视点视频是一个能够提供立体感和交互操作

[25]

功能的新型视频技术,在视频监视、影视娱乐等方面有广泛的应用前景。无线多视点视频编码需要采用低复杂度、低功耗的视频压缩算法。现有的多视点视频压缩算法

[26~28]

5 典型应用之一:低复杂度视频编码

511 无线视频的低复杂度编解码

由于分布式视频编码与传统视频编码具有互补性,因此,点对点无线移动视频信号的编解码与传输

可采取如图5所示的方案。即发送方采用分布式视频编码压缩并传输视频流至网络中心结点,由网络中心结点将其进行转码,转换至MPEG/H126X

码流

由于编码计算复杂度很高,

不能很好地适应无线多视点视频低复杂度编码的要求。为解决大相机阵列无线视频系统编码的问题,Griod等人提出基于分布式视频编码的低复杂度多视点视频压缩方法,尝试了对同一时刻下的不同视点图像采用分布式编码,其率失真性能仅仅略优于JPEG2000,与主流视频编码标准的编码性能差距较大。此外,Fujii等人也分别提出了密集相机环

[30~33]

境下的无线多视点视频编码系统,其率失真性

[29]

图5 基于分布式编码的无线视频通讯Fig15 Distributedvideocodingbasedwireless

videocommunication

能与H1263+的帧内编码相当,仍有待改进。

图6为基于分布式视频编码的大相机阵列低复杂度视频压缩框图

[34]

。它利用前后帧之间DCT量

图6 基于Wyner-Ziv理论的多视点视频压缩ig16 WZtheoryltivwvideoion

第3期蒋刚毅等:分布式视频编码方法研究 391

化系数相似性来捕获需编码的感兴趣区域,以提高编码率失真性能,解决基于分布式视频编码的多视点视频编码算法压缩效率不高的问题。在解码端,算法对左右关键视点解码图像进行双向视差估计和视差校正补偿,并插值生成中间视点的解码边信息。该算法有极低的编码复杂度和良好的率失真性能。

强层的Wyner-Ziv编码码流是完全冗余的。在相同码率下,LWZ编码比传统的使用FEC等差错控制技术有更强的纠错能力。

文献[41]等进一步提出了嵌套式LWZ编码的思想,即在粗量化的Wyner-Ziv编码器A内再嵌入一个精细量化的Wyner-Ziv编码器B。精细量化的Wyner-Ziv编码器B将Wyner-Ziv编码器A的解码图像作为边信息,对解码图像再做更精细的纠错解码,以进一步提高解码图像质量。LWZ编码具有非常好的传输鲁棒性,但是与单层编码相比,码率显得过大。原因之一是现有的算法中只利用了基本层(或底下几个增强层)的解码图像作为解码边信息,而并没有利用视频邻近帧之间的相关性信息。文献[42]充分利用视频图像的时域相关性,由相邻帧解码图像和本帧基本层解码图像共同生成增强层的解码边信息,改善率失真性能。实验结果显示,该算法的率失真性能要比没有利用时域相关性的LWZ算法高015dB。

此外,文献[43]将分布式视频编码引入到JPEG2000的ROI编码压缩中,提高其压缩效率和传输鲁棒性;实验证明,该算法可使率失真性能获得1~2dB的提高。文献[44]、[45]等提出了WZS(Wyner-Zivscalable)编码,即将Wyner-Ziv编码引入到可分级编码中,作为可分级编码的增强层编码;结果表明,WZS的率失真性能要比传统的可分级编码高2dB左右。

6 典型应用之二:鲁棒传输

MPEG和H.26X等都采用预测编码技术,虽可实现高效的编码压缩,但是其码流在噪声信道上的传输会因为误码、丢包而导致重建视频质量的下降。为了在噪声信道上实现视频鲁棒传输,通常采用FEC、ARQ等技术对码流中的关键信息加以保护。ARQ本身是一种非常有效的抗噪措施,它根据解码器的反馈信息重传丢失包,不会浪费带宽。但是由于重传丢失包必然导致延时,因此ARQ不适合应用于实时解码系统。FEC则是通过加入冗余校验信息来实现检错和纠错。但是当信道的出错率超出FEC的纠错能力时,会发生/崩溃0现象(/cliff0effect),严重削弱解码图像质量,而且仅仅保护码流中的关键信息是不够的,因为在预测编码中残差数据的丢失也会严重影响到解码图像的质量。

分布式视频编码实际上属于信源信道联合编解码技术,具有天生的传输鲁棒性及纠错能力,可应用于数字视频传输的错误恢复。分布式视频编码将解码边信息理解为W帧被噪声污染后的信息,其本质是通过校验码去纠正W帧和解码边信息之间的/错误0。文献[35]~[37]显示传输错误对传统帧间预测编码的影响很大,且可能导致解码错误的帧间蔓延;而分布式视频编码可将由信道噪声带来的影响控制在最小的范围内,避免了灾难性的解码错误。利用分布式视频编码是信源信道联合编码技术的特点,文献[38]提出了将其用于数字视频的鲁棒传输及错误恢复。进一步,文献[39]、[40]提出了LWZ编码(layeredWyner-Zivscheme),用于噪声信道视频信号传输的差错保护。视频信号分基本层和增强层两路同时进行编码与传输,视频信号经传统编码标准压缩后作为基本层信息;增强层为视频信号经粗量化后的Wyner-Ziv编码码流。解码时,将基本层的解码图像作为Wyner-Ziv解码的边信息,用以纠正传统编码标准在解码时的传输错误,获[12]

7 结 论

分布式编码是对传统视频编码方法的革新,它在编码复杂度、码流传输鲁棒性等方面具有明显的优势,因此受到国内外越来越多学者的重视。分布

式视频编码采用帧内编码帧间预测解码方式,将计算复杂度成功地由编码端转移到解码端,可以实现极低复杂度的视频编码。与传统的基于运动估计补偿的混合编码相比,分布式编码的计算复杂度降低了10倍以上,适合于无线终端的视频编码与传输。

分布式视频编码其本质是一种信源信道联合编码技术,对信道噪声污染有与生俱来的强鲁棒性。它从编码原理上解决了传统视频编码标准中的预测误匹配问题,克服了其码流传输脆弱的缺点。分布式视频编码的这些独特优点使其可被广泛应用于视

392中国图象图形学报

13AscensoJ,BritesC,PereiraF.

第13卷

Improvingframeinterpolationwith

前正处于探索研究阶段,有许多问题亟待研究,同时也提供了许多富有挑战性的研究课题:

(1)研究提高解码边信息对W帧的预测精度,

尤其是提高MC-E算法的预测精度。

(2)研究提高分布式视频编码的率失真性能,缩小与H1264等先进视频编码的差距。

(3)研究完善解码端纠错码的信道模型估计算法。

我们相信,随着研究的逐步深入,分布式视频编码将不断地得到提高和完善。

参考文献(References)

1 JVT-G050,JointVideoTeam(JVT)ofISO/IECMPEGandITU-TVCEG[S].

2 OstermannJ,BormansJ,ListP,etal.VideocodingwithH.264/AVC:tools,performance,andcomplexity[J].SystemsMagazine,2004,4(1):7~28.

3 GirodB,AaronA,RaneS,etal.Distributedvideocoding[J].Pro-ceedingsoftheIEEE,2005,93(1):71~83.

4 SlepianJD,WolfJK.Noiselesscodingofcorrelatedinformation

sources[J].

IEEETransactionsonInformationTheory,

1973,

19(4):471~480.

5 WynerA,ZivJ.Therate-distortionfunctionforsourcecodingwith

sideinformationatthedecoder[J].IEEETransactionsonInformationTheory,1976,22(1):1~10.

6 AaronA,RaneS,SettonE,etal.Transform-domainWyner-Zivco-decforvideo[A].In:ProceedingsofSPIEVisualCommunicationsandImageProcessing2004[C],SanJose,California,USA,2004:520~528.

7 AaronA,SettonE,GirodB.TowardspracticalWyner-Zivcodingof

video[A].

In:

InternationalConferenceonImageProcessing[C],

In:

Barcelona,Spain,2003,3:869~872.

8 SunJ,LiH.MotioncompensatedWyner-Zivvideocoding[A].

ha,iChina,2005:1~4.

9 AaronA,GirodB.Compressionwithsideinformationusingturbo

codes[A].In:DataCompressionConference[C],Snowbird,Utah,USA,2002:252~261.

10SehgalA,JagohanA,AhujaN.Wyner-Zivcodingofvideo:anerror-resilientcompressionframework[J].IEEETransactionsonMultime-dia,2004,6(2):249~258.

11PradhanSS,RamchandranK.Distributedsourcecodingusingsyn-dromes(DISCUS):Designandconstruction[A].In:ProceedingsofDataCompressionConference[C],Snowbird,Utah,USA,1999:158~167.

12RaneS,AaronA,GirodB.Systematiclossyforwarderrorprotection

forerrorresilientdigitalvideobroadcasting[A].In:IEEEInterna-tionalConferenceonImageProcessing[C],Singapore,2004:3101InternationalWorkshoponMultimediaSignalProcessing[C],Shang-IEEECircuitsand

spatialmotionsmoothingforpixeldomaindistributedvideocoding[EB/OL].http://www.img.lx.it.pt/~fp/artigos/EURASIP05_DVC_fina.lpd.f

14Nat?rioL,BritesC,AscensoJ.Extrapolatingsideinformationfor

low-delaypixe-ldomaindistributedvideocoding[J].LectureNotesinComputerScience,2005,3893:16~21.

15AaronA,RaneS,GirodB.Wyner-Zivvideocodingwithhash-basedmotioncompensationatthereceiver[A].3100.

16YamanS,AlRegibG.Alow-complexityvideoencoderwithdecodermotionestimator[A].In:ProceedingsofIEEEInternationalConfer-enceonAcoustics,Speech,andSignalProcessing[C],Montrea,lCanada,2004,3:157~60.

17TagliasacchiM,TrapaneseA.Intramodedecisionbasedonspatio-temporalcuesinpixeldomainWyner-Zivvideocoding[A].[C],Toulouse,France,2006,2:57~60.

18TrapaneseA,TagliasacchiM.Embeddingablock-basedintramode

inframe-basedpixeldomainWyner-Zivvideocoding[EB/OL].h-ttp://www.img.lx.it.pt/~fp/artigos/VLVB2005_WZ_mode_dec-ision_fina.lpd.f

19JiangG,JinZ,YuM,etal.Newapproachtowirelessvideocom-pressionwithlowcomplexity[J].LectureNotesinComputerSc-ience,2006,4179:485~492.

20LiangK,SunL,ZhongY.Adaptivedistributedvideocodingfor

videoapplicationsinad-hocnetworks[A].In:Pacific-RimCon-ferenceonMultimedia[C],465.

21YangF,DingG,DaiQ,etal.AdaptivekeyframeselectionWyner-Zivvideocoding[A].In:ProceedingsofInternationalWorkshoponMultimediaSignalProcessing2005[C],Shangha,iChina,2005:1~4.

22AaronA,VarodayanD,GirodB.Wyner-Zivresidualcodingofvideo

[A].In:ProceedingsofPictureCodingSymposium2006[C],Be-ijing,China,2006.

23RabinerW,ChandrakasanA.Network-drivenmotionestimationforwirelessvideoterminals[J].IEEETransactionsonCircuitsandSys-temsforVideoTechnology,1997,7(4):644~653.

24LiuL,LiuY,DelpE.Network-drivenWyner-Zivvideocodingusing

forwardprediction[A].USA,2005:641~651.

25NaB,FujiiT,TanimotoM.Experimentalsystemoffreeviewpoint

television[A].

In:ProceedingsofIS&TSPIEElectronicImaging

2003[C],SantaClara,California,USA,2003:554~563.26ISO/IECJTC1/SC29/WG11N6909,SurveyofalgorithmsusedforMVC[S].

27ISO/IECJTC1/SC29/WG11,N8019.mtsinM].

Descriptionofcoreexper-i

In:ProceedingsofSPIEImageandVideo

SanJose,California,

CommunicationsandProcessing2005[C],

JejuIsland,Korea,

2005:455~

In:In-ternationalConferenceonAcoustics,SpeechandSignalProcessing

In:

IEEEInternational2004:

3097~

ConferenceonImageProcessing[C],Singapore,

第3期蒋刚毅等:分布式视频编码方法研究

Processing[C],Barcelona,Spain,2003:617~620.

393

28LopezJ,KimJ,OrtegaA,etal.Block-basedilluminationcompen-sationandsearchtechniquesformultiviewvideocoding[A].In:Pro-ceedingsofPictureCodingSymposium[C],SanFrancisco,USA,2004:509~514.

29ZhuX,AaronA,GirodB.Distributedcompressionforlargecamera

arrays[A].

In:ProceedingsofIEEEWorkshoponStatisticalSignal

Processing[C],StLouis,Missour,iUSA,2003:30~33.

30TehraniM,FujiiT,TanimotoM.Distributedsourcecodingofmult-i

viewimages[A].5308:300~309.

31ToffettiG,TagliasacchiM,MarconM,etal.Imagecompressioninamult-icamerasystembasedonadistributedsourcecodingapproach[EB/OL].tions.htm.

32GuoX,LuY,GaoW,etal.Distributedmult-iviewvideocoding

[A].

In:ProceedingsofSPIEVisualCommunicationsandImage

SanJose,

California,USA,

2006,

6077:

Processing2006[C],290~297.

33GuoX,LuY,WuF,etal.Freeviewpointswitchinginmult-iview

videostreamingusingWyner-Zivvideocoding[A].In:ProceedingofSPIEVisualCommunicationsandImageProcessing2006[C],SanJose,California,USA,2006,6077:298~305.

34JinZ,YuM,JiangG,Lowcomplexityvideocompressionindense

cameraarray[J].JournalofImageandGraphics,2006,11(11):78~82.[金智鹏,郁梅,蒋刚毅.一种密集相机阵列的低复杂度视频压缩方法[J].中国图象图形学报,2006,11(11):78~82.]

35PuriR,RamchandranK.

codingparadigm[A].4:856~859.

36PuriR,RamchandranK.PRISM:A-reversed.multimediacoding

paradigm[A].In:proceedingsofInternationalConferenceonImage

PRISM:Anuplink-friendlymultimediaIn:ProceedingofInternationalConferenceon

http://www.elet.polim.iit/upload/tagliasa/publica-In:ProceedingsofSPIEVisualCommunications

andImageProcessing2004[C],SanJose,California,USA,2004,

37SehgalA,AhujaN.RobustpredictivecodingandtheWyner-Ziv

problem[A].In:ProceedingsofDataCompressionConference[C],Snowbird,Utah,USA,2003:103~112.

38ShamaiS,VerduS,ZamirR.Systematiclossysource/channelcod-ing[J].

IEEETransactionson

InformationTheory,

1998,

44(2):564~579.

39AaronA,RaneS,ZhangR,etal.Wyner-Zivcodingforvideo:Ap-plicationstocompressionanderrorresilience[A].In:ProceedingsofDataCompressionConference[C],Snowbird,Utah,USA,2003:93~102.

40XuQ,XiongZ.LayeredWyner-Zivvideocoding[A].In:Proceed-ingsofSPIEVisualCommunicationsandImageProcessing2004[C],SanJose,California,USA,2004,5308:83~91.

41RaneS,AaronA,GirodB.Systematiclossyforwarderrorprotection

forerrorresilientdigitalvideobroadcasting-aWyner-Zivcodingap-proach[A].

In:ProceedingsofInternationalConferenceonImage

Processing[C],Singapore,2004:3101~3104.

42DingG,DaiQ,YinY,etal.ScalablevideocodingbasedonWyner-Zivframework[A].In:ProceedingsofSPIEVisualCommunicationsandImageProcessing2005[C],517~524.

43DingG,DaiQ,YangF,etal.Anewregion-o-finterestimagecom-pressionmethodbasedonWyner-Zivcoding[A].In:ProceedingsofSPIEVisualCommunicationsandImageProcessing2005[C],Be-ijing,China,2005:849~856.44SehgalA,

JagmohanA,

AhujaN.

Scalablevideocodingusing

ece.ucdavis.

edu/

Wyner-Zivcodes[EB/OL].

http://www.Beijing,

China,

2005,

5960:

PCS2004/pdf/ss_emai%l20284_SehgalJApcs2004.pd.f

45WangH,OrtegaA.Scalablepredictivecodingbynestedquantizationwithlayeredsideinformation[A].1758.

In:ProceedingsofInternational

ConferenceonImageProcessing[C],Singapore,2004,3:1755~

Acoustics,Speech,andSignalProcessing[C],HongKong,2003,