CN1574970A - 使用图像残余预测编码/解码图像的方法和设备 - Google Patents

Abstract

公开了一种图像编码/解码方法和设备。所述编码方法包括：相对于原始图像中的每一分量，获得对应于原始图像和预测图像之间的差值的残余；对所述原始图像的预定分量的残余进行编码；恢复预定分量的编码残余，并将恢复的残余变换为包括恢复的残余值的预定值；并且对与没有被编码的原始图像的每一分量残余和被恢复并被变换为预定值的残余之间的差值相对应的预测残余进行编码。由于预测残余是使用图像分量的残余和图像分量之间的相关性编码和解码的，所以大大地减少了数据量。此外，由于不存在在没有将R－G－B图像变换为Y－Cr－Cb图像的情况下对R－G－B图像直接编码所产生的图像质量损失，所以获得了高质量的图像信息。

Description

使用图像残余预测编码/解码图像的方法和设备

技术领域

本发明涉及图像编码和解码，更具体来讲，涉及使用图像的残余预测的图像编码/解码方法和设备。

背景技术

一般来讲，为了增加压缩比率，由装置输出的R-G-B图像被变换为适用于压缩的Y-Cr-Cb图像。然而，当R-G-B图像被变换为Y-Cr-Cb图像的时候，图像质量受到损害。一般来讲，当Y-Cr-Cb被压缩的时候，为了压缩效率，通过将Cr和Cb分量的数值减少4倍对Cr和Cb分量编码。因此，在Y-Cr-Cb图像被编码之后，难以以高质量恢复原始图像。

如果R-G-B分量中的每一个均是在传统的Y-Cr-Cb编码器中独立地编码，以便减少Y-Cr-Cb图像的变换损失，由于R-G-B分量之间的相关性无法被使用，所以编码效率下降。这一方面的常规压缩方法出现于由ISO/IEC MPE和ITU-T VCEG小组联合开发的AVC/H.264标准中。在“Text of ISO/IEC FDIS14496-10：Information Technology-Coding of audio-visual objects-Part 10：Advanced Video Coding”(ISO/IEC JTC 1/SC 29/WG 11，N5555，March，2003)中公开了这一方法的详细说明。

发明内容

本发明提供了一种使用图像残余预测编码/解码图像的方法和设备，其能够通过为了高图像质量地编码R-G-B分量而在不将R-G-B图像变换为Y-Cr-Cb图像的情况下直接对R-G-B分量编码、同时有效地除去R-G-B分量之间的冗余信息，对R-G-B分量进行编码。

依照本发明的一个方面，提供了一种使用图像的残余预测的图像编码方法，其对包括至少两种分量以上的原始图像进行编码，该方法包括：相对于原始图像的每一分量、获得与原始图像和预测图像之间的差值相对应的残余；对原始图像的预定彩色分量的残余编码；恢复预定彩色分量的编码残余，并将该恢复残余变换为包括恢复残余值的预定值；以及，对与没有被编码的原始图像的分量的每一残余和被恢复和被变换为预定值的残余之间的差值相对应的预测残余编码。

优选的是，使用原始图像的分量之间的相关性将该残余变换为预定值。

优选的是，原始图像是R-G-B图像、Y-Cb-Cr图像、以及X-Y-Z图像之一。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像编码方法，该方法包括：通过估计当前帧和前一帧之间的运动，相对于彩色图像的R-G-B分量、获得与原始图像和预测图像之间差值相对应的时间残余；对G分量的残余编码；恢复G分量的编码残余，并将G分量的恢复残余变换为包括G分量的恢复残余值的预定值；以及对与没有被编码的、原始图像的R和B分量的每一残余和被变换为预定值的G分量的残余之间的差值相对应的预测残余编码。

优选的是，以预定尺寸块为单位执行运动估计。

优选的是，使用R、G和B分量之间的相关性，将G分量的恢复残余变换为预定值。

优选的是，通过将G分量的恢复残余值乘以预定值、并将一偏移量与相乘得到的值相加，使用线性变换将G分量的恢复残余变换为预定值。

优选的是，依照当在根据前一帧以块为单位补偿运动的时候使用的块尺寸，各不相同地应用该线性变换。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像编码方法，该方法包括：通过估计与空间地接近于当前帧的像素块的像素所成的预测方向，相对于彩色图像的R-G-B分量、获得与原始图像和预测图像之间的差值相对应的空间残余；对G分量的残余编码；恢复G分量的编码残余，并将该G分量的恢复残余变换为包括该G分量的恢复残余值的预定值；以及对与没有被编码的、原始图像的R-B分量的每一残余和被变换为预定值的G分量的残余之间的差值相对应的预测残余编码。

优选的是，通过将G分量的恢复残余值乘以预定值、并将一偏移量与相乘得到的值相加，使用线性变换将G分量的恢复残余变换为预定值。

优选的是，依照在当获得R-G-B分量的残余的时候使用的空间预测方向，各不相同地应用该线性变换。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像编码方法，其对R-G-B彩色图像编码，该方法包括：(1)在相互模式中，通过相对于每一彩色分量、以预定尺寸的块为单位估计前一帧和当前帧之间的动作，获得预测图像，并通过从原始图像中减去该预测图像产生时间残余；(2)在内部模式中，通过估计与每一彩色分量的当前帧的像素块的空间相邻像素所成的预测方向，获得预测图像，并且通过从原始图像中减去该预测图像产生空间残余；(3)对G分量残余编码，并且恢复编码的G分量残余；(4)使用在步骤(3)中恢复的G分量残余、以及在步骤(1)或(2)中产生的R-B分量的残余，获得R-B分量的预测残余；(5)对在步骤(4)中获得的R-B分量的预测残余值编码，并恢复编码的R-B分量的预测残余图像；以及(6)使用恢复的G分量的残余图像和恢复的R-B分量的预测残余图像获得恢复的R-G-B分量的残余值，并通过将该恢复的R-G-B分量的残余值与预测图像值相加产生恢复的R-G-B分量图像。

优选的是，步骤(3)包括为了压缩G分量残余而执行G分量残余的频率变换、量化、和可变长度编码，并通过再次执行该量化值的逆量化和逆频率变换获得恢复的G分量的残余图像，以及步骤(5)包括对在步骤(4)中获得的R-B分量的预测残余值执行频率变换、量化、和可变长度编码，并通过再次执行该量化值的逆量化和逆频率变换获得恢复的R-B分量的预测残余图像。

优选的是，步骤(4)包括：通过将恢复的G分量的残余值乘以预定值、并将该相乘值加上一个偏移量，执行线性变换；以及，获得与没有被编码的、原始图像的R-B分量的每一残余之间的差值相对应的预测残余，以及线性变换的G分量残余。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像编码设备，其对包括至少两种分量以上的原始图像进行编码，所述装置包括：残余生成器，其相对于原始图像的每一彩色分量、产生原始图像和预测图像之间的差值；残余编码器，其对由残余生成器产生的原始图像的预定彩色分量的残余以及由预测残余生成器产生的预测残余进行编码；残余变换器，其对编码的预定彩色分量的残余进行恢复，并将该恢复的残余变换为包括该恢复残余值的预定值；以及，预测残余生成器，其产生没有被编码的原始图像的彩色分量的每一残余与被恢复和被变换为预定值的残余之间的差值。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像编码设备，其对R-G-B彩色图像进行编码，所述装置包括：运动预测图像生成器，其以预定尺寸的块为单位估计当前帧和前一帧之间的运动，并输出对应的块；残余生成器，其相对于彩色图像的R-G-B分量、产生与由运动预测图像生成器产生的图像和当前帧中的对应块差值相对应的时间残余；压缩编码器，其对由残余生成器产生的G分量残余和由预测残余生成器产生的R-B分量的预测残余进行压缩和编码；逆压缩解码器，其对压缩和编码数据进行解码，并产生恢复的G分量残余和恢复的R-B分量的预测残余；残余变换器，其使用R-G-B分量之间的相关性，将恢复的G分量残余变换为包括恢复的G分量的残余值的预定值；以及，预测残余生成器，其产生由残余生成器产生的R-B分量的每一残余和由残余变换器变换的G分量残余之间的差值。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像编码设备，其对R-G-B彩色图像编码，所述装置包括：空间预测图像生成器，其估计与空间接近于当前帧的一个像素块的像素所成的预测方向，并且输出对应的块；残余生成器，其相对于彩色图像的R-G-B分量、产生与由空间预测图像生成器产生的图像和当前帧的对应块的差值相对应的空间残余；压缩编码器，其对由残余生成器产生的G分量残余和由预测残余生成器产生的R-B分量的残余进行压缩和编码；逆压缩解码器，其对压缩和编码数据解码，并且产生恢复的G分量残余和恢复的R-B分量的预测残余；残余变换器，其使用R-G-B分量之间的相关性将恢复的G分量残余变换为包括恢复的G分量的残余值的预定值；预测残余生成器，其产生由残余生成器产生的R-B分量的每一残余和由残余变换器变换的G分量残余之间的差值。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像编码设备，其对R-G-B彩色图像编码，所述装置包括：运动预测图像生成器，其以预定尺寸的块为单位估计当前帧和前一帧之间的运动，并输出对应块；空间预测图像生成器，其估计与空间接近于当前帧的一个像素块的像素所成的预测方向，并且输出对应块；残余生成器，其在相互模式中，产生与由运动预测图像生成器产生的图像和当前帧的对应块之间的差值相对应的时间残余，或者在内部模式中，产生与由空间预测图像生成器产生的图像和当前帧的对应块之间的差值相对应的空间残余；压缩编码器，其对由残余生成器产生的G分量残余和由预测残余生成器产生的R-B分量的预测残余进行压缩编码；逆压缩解码器，其对压缩和编码数据解码，并产生恢复的G分量残余和恢复的R-B分量的预测残余；残余变换器，其对由逆压缩解码器产生的恢复的G分量残余执行线性变换；预测残余生成器，其产生由残余生成器产生的R-B分量的每一残余和由残余变换器变换的值之间的差值；残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加，产生恢复的R-B分量的残余；以及，原始图像生成器，其在相互模式中，通过将由残余补偿部件产生的R-B分量的残余和由逆压缩解码器产生的G分量残余与由运动预测图像生成器产生的预测图像相加产生原始图像，或者在内部模式中，通过将由残余补偿部件产生的R-B分量的残余和由逆压缩解码器产生的G分量残余与由空间预测图像生成器产生的预测图像相加产生原始图像。

优选的是，运动预测图像生成器包括：运动估计部件，其以预定尺寸的块为单位估计当前帧和前一帧之间的运动；以及运动预测部件，其输出对应于由运动估计部件产生的运动矢量的块，以及所述空间预测图像生成器包括：空间估计部件，其估计与空间接近于当前帧的一个像素块的像素所成的预测方向；以及空间预测部件，其输出与由空间估计部件预测的方向相对应的块。

优选的是，所述压缩编码器包括：频率变换器，其对由残余生成器产生的G分量残余和由预测残余生成器产生的R-B分量的预测残余进行压缩；量化器，其对由所述频率变换器压缩的数据进行量化；以及熵编码器，其对所述量化数据执行熵编码，并且所述逆压缩解码器包括：逆量化器，其对所述量化数据进行逆量化；逆频率变换器，其对所述逆量化数据执行逆频率变换，并且产生恢复的G分量残余和恢复的R-B分量的预测残余。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码方法，其对包括至少两种分量以上的编码原始图像进行解码，其中残余被定义为原始图像和预测图像之间的差值，并且预测残余被定义为原始图像的每一分量的残余与预定彩色分量的编码残余被恢复和被变换为预定值的值之间的差值，所述方法包括：对编码原始图像的预定彩色分量的残余解码；将解码残余变换为预定值；对没有被解码的所述分量的预测残余进行解码；通过将被变换为预定值的值与预测残余相加，获得没有被解码的所述分量的残余；以及通过将预测图像与每一分量的残余相加恢复原始图像。

优选的是，使用构成原始图像的分量之间的相关性将解码的残余变换为预定值。

优选的是，原始图像是R-G-B图像、Y-Cb-Cr图像、以及X-Y-Z图像之一。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码方法，其对包括R-G-B分量的编码图像进行解码，其中时间残余被定义为通过相对于R-G-B分量、估计当前帧和前一帧之间的的运动得到的原始图像和预测图像之间的差值，并且预测残余被定义为预定彩色分量的编码残余被恢复和被变换为预定值的值与没有被变换的分量残余之间的差值，所述方法包括：对来自包括R-G-B分量的编码图像的G分量的时间残余解码；将G分量的解码残余变换为预定值；对没有被解码的R-B分量的预测残余进行解码；通过将被变换为预定值的值与预测残余相加，获得R-B分量残余；通过将预测图像与R-G-B分量残余相加恢复原始图像。

优选的是，所述运动估计是以预定尺寸的块为单位执行的。

优选的是，使用R-G-B分量之间的相关性将恢复的G分量残余变换为预定值。优选的是，通过将G分量的恢复残余值乘以预定值、并将一偏移量与相乘得到的值相加，使用线性变换将G分量的恢复残余变换为预定值。

优选的是，依照当根据前一帧以块为单位补偿运动的时候所使用的块尺寸，各不相同地应用该线性变换。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码方法，其对包括R-G-B分量的编码原始图像进行解码，其中空间残余被定义为原始图像与预测图像之间的差值，在所述预测图像中，预测方向是相对于R-G-B分量、根据空间接近于当前帧的像素估计得到的，并且预测残余被定义为预定彩色分量的编码空间残余被恢复和被变换为预定值的值与没有被变换的分量残余之间的差值，所述方法包括：对G分量残余解码；将解码的G分量残余变换为包括解码的G分量残余值的预定值；对没有被解码的R-B分量的预测残余解码；通过把将G分量残余变换为预定值的值与预测残余相加，获得R-B分量残余；并且通过将预测图像与R-G-B分量残余相加恢复原始图像。

优选的是，使用R-G-B分量之间的相关性将恢复的G分量残余变换为预定值。

优选的是，通过将G分量的恢复残余值乘以预定值、并将一偏移量与相乘得到的值相加，使用线性变换将G分量的恢复残余变换为预定值。

优选的是，依照在当获得R-G-B分量的残余的时候使用的相邻像素的空间预测方向，各不相同地应用该线性变换。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码方法，其解码R-G-B彩色图像，其中残余被定义为该彩色图像和预测图像之间的差值，并且预测残余被定义为原始图像的每一分量的残余与预定彩色分量的编码残余被恢复和被变换为预定值的值之间的差值，该方法包括：(1)根据编码图像数据恢复G分量的残余图像；(2)根据编码图像数据获得R-B分量的残余图像，并且通过将R-B分量的残余图像与通过对在步骤(1)中获得的恢复残余值进行线性变换所获得的值相加，产生R-B分量的恢复残余图像；(3)在相互模式中，通过将自步骤(1)和(2)中恢复的R-G-B分量的残余值与通过对前一帧的分量执行时间运动补偿所获得的预测图像相加，恢复R-G-B分量的彩色图像；以及(4)在内部模式中，通过将在步骤(1)和(2)中恢复的R-G-B分量的残余值与通过估计与空间相邻像素所成的预测方向所获得的预测图像相加，恢复R-G-B分量的彩色图像。

优选的是步骤(1)包括通过对编码数据执行逆可变长度解码、逆量化和逆频率变换获得恢复的G分量的残余图像，并且步骤(2)包括通过对编码数据执行逆可变长度解码、逆量化、和逆频率变换获得R-B分量的残余图像，并且通过将R-B分量的残余图像与通过对在步骤(1)中所获得的恢复残余值进行线性变换所获得的值相加，产生R-B分量的恢复残余图像。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码设备，其对包括至少两种分量以上的编码原始图像进行解码，其中残余被定义为该原始图像和预测图像之间的差值，并且预测残余被定义为该原始图像的每一分量的残余与预定彩色分量的编码残余被恢复和被变换为预定值的值之间的差值，该设备包括：逆压缩解码器，其解码该编码图像数据，并且产生该图像的预定彩色分量的恢复残余图像，以及没有被恢复的对应于残余的分量的恢复预测残余；残余变换器，其将由逆压缩解码器产生的分量的恢复残余变换为包括该分量的恢复残余值的预定值；残余补偿部件，其通过将由逆压缩解码器产生的预测残余与由残余变换器变换的值相加产生恢复残余；以及原始图像生成器，其通过将预测图像与由残余补偿部件产生的每一残余和由逆压缩解码器产生的预定彩色分量的残余相加，产生原始图像。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码设备，其对包括R-G-B分量的编码原始图像进行解码，其中时间残余被定义为该原始图像和通过相对于每一R-G-B分量、对当前帧和前一帧之间的运动进行估计得到的预测图像之间的差值，并且预测残余被定义为预定彩色分量的编码残余被恢复和被变换为预定值的值与没有被变换的分量的残余之间的差值，该设备包括：运动补偿部件，其产生时间运动补偿的预测图像；逆压缩解码器，其解码该编码图像数据，并产生恢复的G分量的残余图像和恢复的R-B分量的预测残余；残余变换器，其对由逆压缩解码器产生的恢复的G分量残余执行线性变换；残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加，产生恢复的R-B分量残余，以及原始图像生成器，其通过将由运动补偿部件产生的预测图像与由残余补偿部件产生的R-B分量残余和由逆压缩解码器产生的G分量残余相加，产生原始图像。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码设备，其对包括R-G-B分量的编码原始图像进行解码，其中空间残余被定义为原始图像和通过相对于每一R-G-B分量估计与空间接近于当前帧的像素所成的预测方向得到的预测图像之间的差值，并且预测残余被定义为预定彩色分量的编码空间残余被恢复和被变换为预定值的值与没有被变换的分量的残余之间的差值，该设备包括：空间预测部件，其产生通过估计与空间相邻像素所成的预测方向获得的预测图像；逆压缩解码器，其解码该编码图像数据，并产生恢复的G分量的残余图像和恢复的R-B分量的预测残余；残余变换器，其对由逆压缩解码器产生的恢复的G分量残余执行线性变换；残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加，产生恢复的R-B分量残余；以及原始图像生成器，其通过将由空间预测部件产生的预测图像与由残余补偿部件产生的R-B分量残余和由逆压缩解码器产生的G分量残余相加，产生原始图像。

依照本发明的另一方面，提供了一种使用图像的残余预测的图像解码设备，其对包括至少两种分量以上的编码原始图像进行解码，其中残余被定义为该原始图像和预测图像之间的差值，并且预测残余被定义为该原始图像的每一分量的残余与预定彩色分量的编码残余被恢复和被变换为预定值的值之间的差值，该设备包括：运动补偿部件，其产生时间运动补偿预测图像；空间预测部件，其产生通过估计与空间相邻像素所成的预测方向获得的预测图像；逆压缩解码器，其解码编码图像数据，并产生恢复的G分量残余图像和恢复的R-B分量预测残余；残余变换器，其对由逆压缩解码器产生的恢复的G分量残余执行线性变换；残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加产生恢复的R-B分量的残余；以及原始图像生成器，其通过将由残余补偿部件产生的R-B分量残余和由逆压缩解码器产生的G分量残余在相互模式中与由运动补偿部件产生的预测图像相加或者在内部模式中与由空间预测部件产生的预测图像相加，产生原始图像。

优选的是，逆压缩解码器包括：熵解码器，其执行编码图像数据的熵解码；逆量化器，其对熵解码数据进行逆量化；以及逆频率变换器，其通过对逆量化数据执行逆频率变换，产生恢复的G分量残余和恢复的R-B分量预测残余。

本发明还提供了一种计算机可读介质，在其上记录有用于执行上面描述的方法的计算机可读程序。

附图说明

本发明的上述及其他特征和优点将通过参照结合附图、详细说明其示例性实施例而变得更加清楚，其中：

图1是依据本发明一个实施例使用图像的残余预测的图像编码设备的方框图。

图2是依据本发明一个实施例使用图像的残余预测的图像解码设备的方框图。

图3是图示出依据本发明一个实施例对R-G-B彩色图像执行残余预测的方法的方框图。

图4图示出用于划分用作图1中的运动估计(ME)部件和运动预测(MP)部件以及图3中的时间预测中的基本运动单位的宏块的方法。

图5A图示出用于图1中的空间估计部件和空间预测部件以及用于图3中的空间预测的相邻像素的位置以及将被预测的当前块的像素位置；图5B图示出通过投射到空间相邻像素上预测当前块的从0到8的9个预测方向。

图6图示出R-G-B群(1280×720)图像以及通过图1的ME部件和MP部件相对于该R-G-B群(1280×720)图像进行时间预测得到的残余图像；

图7图示出通过对R-G-B彩色图像进行时间/空间预测所获得的残余之间的相关性；以及

图8图示出通过在根据本发明的分量时间/空间预测得到的R-G-B分量残余之中进行预测的方法所获得的解码结果(标作“提议”)与通过常规方法获得的解码结果(标作“常规”)的比较。

具体实施方式

现在将在下文中参照附图更充分地说明本发明，其中示出了本发明的示例性实施例。根据本发明，由图像装置输出的R-G-B彩色图像能够在不被变换为常规Y-Cr-Cb图像的情况下，被直接压缩。R、G和B三个分量之一是通过常规方法编码的，以编码为Y分量，并且其他两个分量是通过使用对应于该Y分量的恢复的分量残余值、预测根据空间相邻像素或者时间相邻像素产生的残余图像而进行编码的。

图1是依据本发明一个实施例使用图像的残余预测的图像编码设备的方框图。在图1中，包括绿色(G)、红色(R)、以及蓝色(B)分量的彩色图像被编码。首先，说明术语残余和预测残余。残余是原始图像和预测图像之间的差值。预测残余是原始图像的每一彩色分量的残余与通过恢复和变换预定彩色分量的编码残余获得的值之间的差值。

参见图1，该图像编码设备包括当前图像存储部件100、前一图像存储部件105、运动预测(MP)图像生成器10、空间预测(SP)图像生成器20、残余生成器130、压缩编码器30、逆压缩解码器40、残余变换器165、预测残余生成器135、残余补偿部件170、原始图像生成器175、环形滤波器180、和恢复图像存储部件185。

当前图像存储部件100接收和存储R-G-B彩色图像。前一图像存储部件105存储先前被解码的R-G-B彩色图像。

MP图像生成器10包括运动估计(ME)部件110和MP部件115，其以块为单位估计当前帧和前一帧之间的运动，并且输出对应的块。块基本上是如图4中的16×16宏块，并且MP图像生成器10将宏块划分为例如16×16、16×8、8×16和8×8之类的不同尺寸的块，计算每块的运动矢量，并且预测时间图像值。特别是，能够通过将8×8的块再次划分具有诸如8×8、8×4、4×8和4×4之类的不同尺寸的块，感测细微的运动。

ME部件110以块为单位估计当前帧和前一帧之间的运动。MP部件115将对应于由ME部件110产生的运动矢量的块输出。

SP图像生成器20包括空间估计(SE)部件120和SP部件125，其估计与空间接近于当前帧的一个像素块的像素所成的预测方向，并且输出对应块。

SE部件120估计与空间接近于当前帧的一个像素块的像素所成的预测方向。SP部件125输出对应于由SE部件120估计的方向的块。如图5中所示的SE和SP将在稍后进行说明。

在相互模式中，残余生成器130产生与由MP图像生成器10输出的块和当前帧中的对应块之间的差值相对应的时间残余，或者在内部模式中，产生与由SP图像生成器20输出的块和当前帧的对应块之间的差值相对应的空间残余。

压缩编码器30包括频率变换器140、量化器145、和熵编码器150，其对由残余生成器130产生的G分量的残余以及由预测残余生成器135产生的R-B分量的预测残余进行压缩和编码。频率变换器140对由残余生成器130产生的G分量残余以及由预测残余生成器135产生的R-B分量的预测残余进行压缩。量化器145对由频率变换器140压缩的数据进行量化。熵编码器150对量化数据执行熵编码。

逆压缩解码器40包括逆量化器155和逆频率变换器160，其对压缩和编码数据解码，并产生恢复的G分量残余和恢复的R-B分量的预测残余。逆量化器155执行量化数据的逆量化。逆频率变换器160执行逆量化数据的逆频率变换，并且产生恢复的G分量残余以及恢复的R-B分量的预测残余。

残余变换器165对由逆压缩解码器40产生的恢复的G分量残余执行线性变换。被线性变换的值还包括恢复的G分量的残余值。残余变换器165使用构成原始图像的分量(在本实施例中，是R，G和B分量)之间的相关性执行该线性变换。详细来讲，该线性变换是通过将G分量的恢复的残余值ΔG′_n乘以恒定的值a和c、并且将得到的结果值与偏移量b和d相加来执行的。值a、b、c和d是通过等式4至9来确定的，其将在稍后进行说明。

预测残余生成器135产生由残余变换器165变换的值与由残余生成器130产生的R-B分量的每一残余ΔR_n和ΔB_n之间的差值Δ²R_n和Δ²B_n。

残余补偿部件170通过将由逆压缩解码器40产生的R-B分量的预测残余与由残余变换器165变换的值相加，产生恢复的R-B分量残余。

原始图像生成器175，在相互模式中，通过将由残余补偿部件170产生的R-B分量的残余和由逆压缩解码器40产生的G分量残余与由MP图像生成器10产生的预测图像相加产生原始图像，或者在内部模式中，通过将由残余补偿部件170产生的R-B分量的残余和由逆压缩解码器40产生的G分量残余与由空间预测图像生成器产生的预测图像相加产生原始图像。环形滤波器180减少恢复图像的块效应。

现在将详细说明本发明的本实施例。图像编码设备的彩色输入图像F_n是R-G-B图像。图像在图像编码设备中是以块为单位处理的。图像编码设备使用相互模式和内部模式预测图像，以便提高编码效率。在相互模式中，使用了ME部件110和MP部件115，它们通过估计与前一帧图像F’_n-1的运动来预测图像。在内部模式中使用了SE部件120和SP部件125，它们根据空间相邻块预测图像。

首先，通过残余生成器130获得输入图像和通过上面描述的方法预测的图像之间的残余值R_n。分别获得三个分量R、G和B的残余值。为了使用这三个分量之间的相关性，在预测残余生成器135和残余补偿部件170中使用了残余预测方法和残余补偿方法。这三个分量的G分量的残余值ΔG_n在频率变换器140中被离散余弦变换或者离散整数变换，在量化器145中被量化，在熵编码器150中被熵编码，并且被压缩。离散余弦变换(DCT)参照ISO/IEC的MPEG-4第2部分标准，并且离散整数变换参照ISO/IEC MPEG和ITU-TVCEG的联合视频小组的AVC/H.264标准。G分量的恢复的残余值ΔG′_n是如此获得的：所述压缩值在逆量化器155中被逆量化，并且在逆频率变换器160中被逆离散余弦变换或被逆离散整数变换，以便该压缩值被用于在空间相邻块或者时间上进一步的图像中的预测。

使用没有被直接编码的G分量的恢复的残余值ΔG′_n对其他两个分量R和B的残余值进行编码。更详细来说，经由预测残余生成器135，产生B分量的预测残余Δ²B_n和R分量的预测残余Δ²R_n。通过从由残余生成器130产生的R-B分量的残余ΔB_n和ΔR_n中减去借由对G分量的恢复的残余值ΔG′_n进行线性变换所产生的值，产生预测残余Δ²B_n和Δ²R_n。在通过对G分量的恢复的残余值ΔG′_n进行线性变换所产生的值中，还包括G分量的恢复的残余值ΔG′_n。该预测残余在频率变换器140中被离散余弦变换或者离散整数变换，在量化器145中被量化，在熵编码器150中被熵编码，并且被压缩。

对于类似于在G分量的残余值的情况中的预测，通过在逆量化器155中执行逆量化并且在逆频率变换器160中执行逆离散余弦变换或者逆离散整数变换，根据压缩值获得恢复的预测残余值Δ²B′_n和Δ²R′_n。恢复的残余值ΔB′_n和ΔR′_n是通过在残余补偿部件170中将恢复的预测残余值Δ²B′_n和Δ²R′_n与由残余变换器165变换的值相加而获得的。

将在图像解码设备中恢复的图像F’n能够被如此获得：经由原始图像生成器175，在相互模式中，将三个分量的恢复的残余值ΔG′_n、ΔB′_n和ΔR′_n与由ME和MP部件110和115预测的块值相加，或者在内部模式中，将三个分量的残余值ΔG′_n、ΔB′_n和ΔR′_n与由SE和SP部件120和125预测的值相加，并且经过环形滤波器180被传送以便减少块效应。图像F’_n被存储在恢复图像存储部件185中，并在ME部件110、MP部件115、SE部件120和SP部件125中用作前一图像。

在图1中由附图标记50标示的部分是使用彩色分量残余预测方法的核心部分，用于提高本发明中的R-G-B分量编码效率。

在通过上面描述的本发明、使用彩色图像的残余对图像编码的方法和设备中，分量是按照G、R和B的顺序进行输入的，并且图像是通过首先获取G分量残余、然后获取R-B分量的预测残余来进行编码的。然而，该编码方法在G分量具有大多数待编码的图像信息的时候是很有效的。因此，当R分量具有大多数待编码的图像信息的时候，即当R分量是主分量的时候，在本发明中，获得R分量的残余，并且能够使用该R分量的残余获得G-B分量的预测残余。同样地，当B分量是主分量的时候，获得B分量的残余，并且能够通过同样地应用本发明的精神，使用该B分量的残余获得R-G分量的预测残余。

此外，上面描述的实施例被用于包括R、G和B分量的彩色图像，然而它同样能够被用于Y-Cr-Cb或者X-Y-Z图像。

图2是依据本发明的一个实施例的使用图像的残余预测的图像解码设备的方框图。

图像解码设备通过经由与图1中的编码处理相反的处理，根据压缩位流恢复图像。

在图2中，对编码彩色R-G-B图像进行解码。该图像解码设备包括运动补偿部件240、空间预测部件245、逆压缩解码器280、残余变换器225、残余补偿部件230、原始图像生成器235、环形滤波器和恢复图像存储部件260。

运动补偿部件240产生时间运动补偿预测图像。空间预测部件245产生通过估计与根据空间相邻像素所成的预测方向获得的预测图像。

逆压缩解码器280包括熵解码器200、逆量化器205和逆频率变换器210，其对编码图像数据解码，并产生恢复的G分量的残余图像和恢复的R-B分量的预测残余。熵解码器200对编码图像数据执行熵解码。逆量化器205对熵解码数据进行逆量化。逆频率变换器210通过对逆量化数据执行逆频率变换，产生G分量的恢复残余ΔG′_n和R-B分量的恢复预测残余Δ²B′_n和Δ²R′_n。

残余变换器225对由逆压缩解码器280产生的恢复的G分量残余执行线性变换。被线性变换的值还包括恢复的G分量的残余值。残余变换器225使用构成原始图像的分量(在本实施例中，是R，G和B分量)之间的相关性执行该线性变换。详细来讲，该线性变换是通过将G分量的恢复的残余值ΔG′_n乘以恒定的值a和c、并且将得到的结果值与偏移量b和d相加来执行的。值a、b、c和d是通过等式4至9来确定的，其将在稍后进行说明。

残余补偿部件230通过将由逆压缩解码器280恢复的R-B分量的预测残余Δ²B′_n和Δ²R′_n与由残余变换器225变换的值相加，产生恢复的R-B分量残余ΔB′_n和ΔR′_n。

原始图像生成器235通过在相互模式中将由残余补偿部件230恢复的R-B分量的残余ΔB′_n和ΔR′_n和由逆压缩解码器280产生的G分量的残余ΔG′_n与由运动补偿部件240产生的预测图像相加产生存在块效应的原始图像，或者在内部模式中将由残余补偿部件230恢复的R-B分量的残余ΔB′_n和ΔR′_n和由逆压缩解码器280产生的G分量的残余ΔG′_n与由空间预测部件245产生的预测图像相加产生存在块效应的原始图像。能够通过让存在块效应的原始图像经过环形滤波器255来减少块效应，获得减少了块效应的原始图像F’_n。

现在将更详细地说明所述图像解码设备的操作。通过让压缩数据经过熵解码器200、逆量化器205和逆频率变换器210获得G分量的恢复残余值ΔG′_n。在相互模式的情况下，通过将G分量的残余值与由运动补偿部件240产生的前一图像F’_n-1的预测值相加获得恢复的G分量值，并且在内部模式的情况下，通过将G分量的残余值与由空间预测部件245产生的空间相邻块的预测值相加获得恢复的G分量值。通过让恢复的G分量的残余值经过环形滤波器255以减少块效应，获得G分量的恢复图像F’_n。

为了恢复R和B分量，通过让位流被熵解码器200熵解码、被逆量化器205逆量化、被逆频率变换器210逆离散余弦变换或者逆离散整数变换，获得R-B分量的恢复预测残余值Δ²B′_n和Δ²R′_n。在残余补偿部件230中，通过将该恢复的预测残余值Δ²B′_n和Δ²R′_n与由残余变换器225变换的值相加，获得R-B分量的恢复残余值ΔB′_n和ΔR′_n。

通过将恢复的R-B分量的残余值ΔB′_n和ΔR′_n与由运动补偿部件240在相互模式中预测的块值或者由空间估计部件245在内部模式中预测的块值经由原始图像生成器235相加、并使其经过环形滤波器255以减少块效应，能够获得恢复的R-B分量图像F’_n。

在通过上面描述的本发明、使用彩色图像的残余对图像解码的方法和设备中，按照G、R和B的顺序输入分量，首先对G分量残余解码，对R-B分量的预测残余解码，并且通过使用G分量残余获得R-B分量残余来恢复原始图像。然而，该解码方法在G分量具有大多数待编码的图像信息的时候是很有效的。因此，当R分量具有大多数待编码的图像信息的时候，即当R分量是主分量的时候，在本发明中，获得R分量的残余，并且能够使用该R分量的残余获得G-B分量的预测残余。同样地，当B分量是主分量的时候，获得B分量的残余，并且能够通过应用本发明的精神，使用该B分量的残余获得R-G分量的预测残余。

此外，上面描述的实施例被用于包括R、G和B分量的彩色图像，然而它同样能够被用于Y-Cr-Cb或者X-Y-Z类型图像。

图3是图示出依据本发明的一个实施例的对R-G-B彩色图像执行残余预测的方法的方框图。也就是说，现在将详细说明对应于图1中附图标记50的块以及对应于图2中附图标记270的块。

首先，类似于在常规编码器中，通过从G分量300中减去使用空间相邻图像或者时间相邻图像310预测的值，获得G分量的残余315。G分量的残余值能够由等式1表示。

[等式1]

ΔG＝G-G_P

这里，G_P对应于图3中的附图标记310。G分量的残余值被熵编码。

这时，R、G和B分量之间的相关性仍然很高。为了使用分量之间的相似性，与G分量的情形类似地执行R和B分量的时间/空间预测325和360。作为预测结果的R-B分量的残余值由等式2和等式3来表示。

[等式2]

ΔR＝R-R_P

[等式3]

ΔB＝B-B_P

这里，R_P和B_P分别是使用空间相邻图像或者时间相邻图像预测的R-B分量的残余值330和365。残余值350和385是再一次使用G分量的恢复残余345和380的被线性变换的值340和375，通过等式4和等式5、根据残余值ΔR和ΔB预测的。

[等式4]

Δ²R_n＝ΔR-f(ΔG)＝ΔR-(a·ΔG+b)

[等式5]

Δ²B_n＝ΔB-f(ΔG)＝ΔB-(c·ΔG+d)

由于与使用R-B分量的时间/空间预测误差时的情形相比，使用预测残余值350和385时减少了待编码的数据量，所以改善了编码效率。数据量的减少是因为：由于ΔG、ΔR和ΔB之间的相关性很高，通过使用线性函数表示ΔG和ΔB之间的以及ΔG和ΔR之间的相关性，ΔR和ΔB能够被近似为ΔG的函数。这里，a和b分别是当使用G分量残余预测R分量的残余的时候，被近似的线性函数的梯度和偏差，而c和d分别是当使用G分量残余预测B分量的残余的时候，被近似的线性函数的梯度和偏差。a、b、c和d能够分别由等式6、等式7、等式8和等式9来表示。

[等式6]

$a=\frac{\mathrm{cov}(\mathrm{\ΔG},\mathrm{\ΔR})}{{\mathrm{\σ}}_{\mathrm{\ΔG}}^2}$

[等式7]

b＝E(ΔR)-a·E(ΔG)

[等式8]

$c=\frac{\mathrm{cov}(\mathrm{\ΔG},\mathrm{\ΔB})}{{\mathrm{\σ}}_{\mathrm{\ΔG}}^2}$

[等式9]

d＝E(ΔB)-c·E(ΔG)

这里，cov(·)表示协方差，E(·)表示平均值，并且σ²表示方差。此外，a和c可以等于1，而b和d可以等于0。也就是说，在这时候，ΔG的函数值f(ΔG)成为恢复的G分量的残余值。

图4图示出用于划分用作图1中的ME部件110和MP部件115的、以及图3中的时间预测305、325和360中的基本运动单位的宏块的方法。该方法符合诸如ISO/IEC 14496-10 2002和ITU-T Rec H.264之类的编码标准。不同于其他方法，在本方法中允许将一个宏块划分为多块不同尺寸的块。基本上，16×16的宏块被划分为诸如16×16、16×8、8×16和8×8之类的不同尺寸，获得每块的运动矢量，并且预测时间图像值。特别是，通过将8×8的块再次划分为具有诸如8×8、8×4、4×8和4×4之类的不同尺寸的块，能够精确地感测细微运动。

图5A图示出图1中的SE部件120和SP部件125中的、以及图3的空间预测305、325和360中的相邻像素的位置，并且图示出待预测的当前块的像素位置。图5A中所使用的方法与诸如ISO/IEC 14496-10 2002和ITU-T RecH.264之类的标准编码方法中使用的方法相同。在图5A中，为了预测4×4数据块P_a，P_b，...，P_q使用了先前被编码和恢复的空间相邻数据P₀，P₁，...，P₁₂。图5B图示出从0至8的9个预测方向，用于通过从当前块中的任一像素向任一相邻像素投射一条线来预测当前块。例如，在0方向的情况中，通过将相邻像素值P₁、P₂、P₃和P₄投射到垂直方向上，P_a、P_e、P_i和P_m被预测为P₁，P_b、P_f、P_j和P_n被预测为P₂，P_c、P_g、P_k和P_o被预测为被预测为P₃，以及，P_d、P_h、P₁和P_q被预测为P₄。同样地，也经由投影预测其他方向。

图6图示出R-G-B群(1280×720)图像以及在R-G-B群(1280×720)图像上、通过图1的ME部件110和MP部件115中的时间预测获得的残余图像。参见图6，R-G-B图像之间的相似性很低，然而在大多数的区域中残余图像之间的相似性相当高。对于通过图1中的SE部件120和SP部件125中的预测产生的残余值，R-G-B分量之间的相似性也相当高。

图7图示出通过对R-G-B彩色图像进行时间/空间预测所获得的残余之间的相关性。图7中的图形(a)和(b)示出通过图1中的ME部件110和MP部件115中的时间预测获得的分量残余值之间的相关性。图形(a)示出以G分量的残余值作为横轴、并且R分量的残余值作为纵轴时的值。图形(b)示出以G分量的残余值作为横轴、并且B分量的残余值作为纵轴时的值。参见图7中的图形(a)和(b)，R或者B分量的残余值与G分量的残余值之间的相关性很高，并且能够通过对G分量的残余值的线性回归预测R或者B分量的残余值。图7中的图形(c)和(d)示出通过图1中的SE部件120和SP部件125中的空间预测获得的分量残余值之间的相关性。类似于图7中的图形(a)和(b)，图7中的图形(c)和(d)分别示出R或者B分量的残余值与G分量的残余值之间的相关性。在空间预测方法中，R或者B分量的残余值与G分量的残余值之间的相关性也很高，并且能够通过对G分量的残余值的线性回归预测R或者B分量的残余值。R-G-B分量的残余之间的线性回归能够由等式6、等式7、等式8和等式9表示。

图8图示出通过在根据本发明的分量的空间/时间预测在R-G-B彩色分量残余之间进行预测的方法所获得的解码结果(标作“提议”)与通过常规方法获得的解码结果(标作“常规”)的比较。参见图8，针对于一个群(1280×720，60hz)图像的比较结果被表示为4位速率处的峰值信号-噪声比(PSNR，功率信噪比)，该群图像是一种高清晰度(HD)图像。图形(a)表示当仅仅使用内部模式中的空间预测的时候的结果，而图形(b)示出当使用所有时间/空间预测的时候的结果。参见图8，在相同的位速率处获得了超过3-4分贝的增益。

上面描述的实施例提供了共同使用相互模式和内部模式的情况。然而，可以仅仅使用相互模式和内部模式之一，该情况可以由本领域中的技术人员很容易的推断出来。

本发明还可以作为计算机可读记录介质上的计算机可读代码来具体实现。计算机可读记录介质是能够存储数据的任何数据存储装置，所存储的数据之后可由计算机系统读取。计算机可读记录介质的范例包括只读存储器(ROM)，随机存取存储器(RAM)，CD-ROM，磁带，软盘，光数据存储器件，和载波(诸如经由因特网的数据传输)。计算机可读记录介质还可以在网络耦合的计算机系统上分布，以致计算机可读代码是以分布式方式存储和执行的。

如上所述，根据本发明，由于预测残余是使用图像分量的残余和图像分量之间的相关性编码和解码的，所以高度地减少了数据量。

此外，由于不存在在没有将R-G-B图像变换为Y-Cr-Cb图像的情况下对R-G-B图像直接编码所产生的图像质量损失，所以获得了高质量的图像信息。因此，本发明适合于要求高质量图像的数字电影和数字档案应用。

此外，通过采用本发明的、通过时间/空间分量预测获得残余R-G-B分量之间的预测的方法，与常规方法相比、在相同的位速率获得了超过3分贝PSNR的增益。

虽然已经参照该发明的最佳实施例具体示出和说明了该发明，但是本领域中技术人员将理解的是：可以在其中作出形式和细节上的各种改变，而不会背离如所附权利要求书中所定义的发明精神和范围。应仅仅从说明的意义方面考虑最佳实施例，而非为了限制的目的。因此，本发明的范围不是由发明的详细说明定义的，而是由所附的权利要求书所定义的，并且在该范围内的所有差异都应被看作属于本发明。

Claims (49)

1.一种使用图像的残余预测的图像编码方法，其对包含至少两种分量以上的原始图像进行编码，该方法包括：

相对于该原始图像的每一分量，获得对应于该原始图像和预测图像之间的差值的残余；

对该原始图像的预定分量的残余进行编码；

恢复该预定分量的编码残余，并将恢复的残余变换为包括恢复的残余值的预定值；以及

对与没有被编码的原始图像的分量的每一残余与被恢复并被变换为预定值的残余之间的差值相对应的预测残余进行编码。

2.如权利要求1所述的方法，其中使用原始图像的分量之间的相关性将所述残余变换为预定值。

3.如权利要求1所述的方法，其中所述原始图像是R-G-B图像、Y-Cb-Cr图像、以及X-Y-Z图像之一。

4.一种使用图像的残余预测的图像编码方法，所述方法包括：

通过估计当前帧和前一帧之间的运动，相对于彩色图像的R-G-B分量，获得与原始图像和预测图像之间的差值相对应的时间残余；

对G分量残余进行编码；

恢复编码的G分量残余，并将所恢复的G分量残余变换为包括所恢复的G分量的残余值的预定值；以及

对与没有被编码的原始图像的R-B分量的每一残余与被变换为所述预定值的G分量残余之间的差值相对应的预测残余进行编码。

5.如权利要求4所述的方法，其中所述运动估计是以预定尺寸的块为单位执行的。

6.如权利要求4所述的方法，其中使用R-G-B分量之间的相关性将所恢复的G分量残余变换为预定值。

7.如权利要求书4或5所述的方法，其中通过将所恢复的G分量的残余值乘以预定值、并将相乘得到的值与一偏移量相加，使用线性变换将所恢复的G分量残余变换为所述预定值。

8.如权利要求7所述的方法，其中所述线性变换对在根据前一帧以块为单位补偿运动时使用的块尺寸进行不同地线性变换。

9.如权利要求4所述的方法，其中获得G彩色分量的残余以及使用所述G彩色分量的残余获得并编码R和B彩色分量的预测残余包括：获得R彩色分量的残余，以及使用所述R彩色分量的残余获得并编码G和B彩色分量的预测残余。

10.如权利要求4所述的方法，其中获得G分量残余以及使用所述G彩色分量的残余获得并编码R和B分量的预测残余包括：获得B分量残余，以及使用所述B分量残余获得并编码G和R分量的预测残余。

11.一种使用图像的残余预测的图像编码方法，所述方法包括：

通过估计与相对于空间接近于当前帧的像素块的像素所成的预测方向，相对于彩色图像的R-G-B分量，获得与原始图像和预测图像之间的差值相对应的空间残余；

对G分量残余进行编码；

恢复编码的G分量残余，并将所恢复的G分量残余变换为包括所恢复的G分量的残余值的预定值；以及

对与没有被编码的原始图像的R-B分量的每一残余与被变换为所述预定值的G分量残余之间的差值相对应的预测残余进行编码。

12.如权利要求11所述的方法，其中使用R、G和B分量之间的相关性，将所恢复的G分量残余变换为预定值。

13.如权利要求11所述的方法，其中通过将所恢复的G分量的残余值乘以预定值、并将相乘得到的值与一偏移量相加，使用线性变换将所恢复的G分量残余变换为所述预定值。

14.如权利要求13所述的方法，其中所述线性变换对在获得R-G-B分量残余时使用的空间预测方向进行不同的线性变换。

15.如权利要求11所述的方法，其中获得G分量残余以及使用所述G分量残余获得并编码R和B分量的预测残余包括：获得R分量残余，以及使用所述R分量残余获得并编码G和B分量的预测残余。

16.如权利要求11所述的方法，其中获得G分量残余以及使用所述G分量残余获得并编码R和B分量的预测残余包括：获得B分量残余，以及使用所述B分量残余获得并编码G和R分量的预测残余。

17.一种使用图像的残余预测的图像编码方法，其对R-G-B彩色图像进行编码，该方法包括：

(1)在相互模式中，通过相对于每一彩色分量、在前一帧和当前帧之间以预定尺寸的块为单位估计运动获得预测图像，并且通过从原始图像中减去所述预测图像产生时间残余；

(2)在内部模式中，通过估计与相对于每一彩色分量的当前帧的像素块的空间相邻像素所成的预测方向而获得预测图像，并且通过从原始图像中减去所述预测图像产生空间残余；

(3)对所述G分量残余进行编码并且恢复所编码的G分量残余；

(4)使用在步骤(3)中恢复的所述G分量残余以及在步骤(1)或者(2)中产生的R-B分量的残余，获得R-B分量的预测残余；

(5)对在步骤(4)中获得的R-B分量的预测残余值进行编码，并且恢复编码的所述R-B分量的预测残余图像；以及

(6)使用所恢复的G分量的残余图像和所恢复的R-B分量的预测残余图像获得恢复的R-G-B分量的残余值，并通过将该恢复的R-G-B分量的残余值与预测图像值相加来产生恢复的R-G-B分量图像。

18.如权利要求17所述的方法，其中步骤(3)包括：

对G分量残余执行频率变换、量化、和可变长度编码，以便压缩所述G分量残余，并且通过对所述量化值再次执行逆量化和逆频率变换而获得恢复的G分量的残余图像，以及

步骤(5)包括：

对在步骤(4)中获得的所述R-B分量的预测残余值执行频率变换、量化、和可变长度编码，并且通过对所述量化值再次执行逆量化和逆频率变换而获得恢复的R-B分量的预测残余图像。

19.如权利要求17所述的方法，其中步骤(4)包括：

通过将恢复的G分量的残余值乘以预定值、并将相乘得到的值与一偏移量相加，执行线性变换；以及

获得对与没有被编码的原始图像的R-B分量的每一残余与被线性变换的G分量残余之间的差值相对应的预测残余。

20.一种使用图像的残余预测的图像编码设备，其对包括至少两种分量以上的原始图像进行编码，该设备包括：

残余生成器，其相对于该原始图像的每一分量，产生该原始图像和预测图像之间的差值；

残余编码器，其对由所述残余生成器产生的原始图像的预定分量的残余以及由预测残余生成器产生的预测残余进行编码；

残余变换器，其恢复所编码的预定分量的残余，并将该恢复的残余变换为包括该恢复的残余值的预定值；以及

预测残余生成器，其产生没有被编码的原始图像的分量的每一个残余与被恢复并被变换为预定值的残余之间的差值。

21.一种使用图像的残余预测的图像编码设备，其对R-G-B彩色图像进行编码，该设备包括：

运动预测图像生成器，其以预定尺寸的块为单位估计当前帧和前一帧之间的运动，并且输出对应的块；

残余生成器，其相对于所述彩色图像的R-G-B分量，产生与由所述运动预测图像生成器产生的图像和当前帧中的对应块之间的差值相对应的时间残余；

压缩编码器，其对由所述残余生成器产生的G分量残余和由预测残余生成器产生的R-B分量的预测残余进行压缩和编码；

逆压缩解码器，其对所压缩和编码的数据进行解码，并且产生恢复的G分量残余和恢复的R-B分量的预测残余；

残余变换器，其使用R-G-B分量之间的相关性，将恢复的G分量残余变换为包括恢复的G分量的残余值的预定值；以及

预测残余生成器，其产生由残余生成器产生的R-B分量的每一残余与由残余变换器变换的G分量残余之间的差值。

22.一种使用图像的残余预测的图像编码设备，其对R-G-B彩色图像进行编码，该设备包括：

空间预测图像生成器，其估计与相对于空间接近于当前帧的像素块的像素所成的预测方向，并且输出对应的块；

残余生成器，其相对于所述彩色图像的R-G-B分量，产生与由所述空间预测图像生成器产生的图像和当前帧中的对应块之间的差值相对应的空间残余；

压缩编码器，其对由所述残余生成器产生的G分量残余和由预测残余生成器产生的R-B分量的预测残余进行压缩和编码；

逆压缩解码器，其对所压缩和编码的数据进行解码，并且产生恢复的G分量残余和恢复的R-B分量的预测残余；

残余变换器，其使用R-G-B分量之间的相关性，将所恢复的G分量残余变换为包括所恢复的G分量的残余值的预定值；以及

预测残余生成器，其产生由所述残余生成器产生的R-B分量的每一残余与由所述残余变换器变换的G分量残余之间的差值。

23.一种使用图像的残余预测的图像编码设备，其对R-G-B彩色图像进行编码，该设备包括：

运动预测图像生成器，其以预定尺寸的块为单位估计当前帧和前一帧之间的运动，并且输出对应的块；

空间预测图像生成器，其估计与相对于空间接近于当前帧的像素块的像素所成的预测方向，并且输出对应的块；

残余生成器，其在相互模式中，产生与由运动预测图像生成器产生的图像和当前帧的对应块之间的差值相对应的时间残余，或者在内部模式中，产生与由空间预测图像生成器产生的图像和当前帧的对应块之间的差值相对应的空间残余；

压缩编码器，其对由所述残余生成器产生的G分量残余和由预测残余生成器产生的R-B分量的预测残余进行压缩和编码；

逆压缩解码器，其对所压缩和编码的数据进行解码，并且产生恢复的G分量残余和恢复的R-B分量的预测残余；

残余变换器，其对由逆压缩解码器产生的恢复的G分量残余执行线性变换；

预测残余生成器，其产生由残余生成器产生的R-B分量的每一残余与由残余变换器变换的值之间的差值；

残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加，产生恢复的R-B分量残余；和

原始图像生成器，其在相互模式中，通过将由残余补偿部件产生的R-B分量的残余和由逆压缩解码器产生的G分量残余与由运动预测图像生成器产生的预测图像相加而产生原始图像，或者在内部模式中，通过将由残余补偿部件产生的R-B分量残余和由逆压缩解码器产生的G分量残余与由空间预测图像生成器产生的预测图像相加而产生原始图像。

24.如权利要求23所述的设备，其中所述运动预测图像生成器包括：

运动估计部件，其以预定尺寸的块为单位估计当前帧和前一帧之间的运动；以及

运动预测部件，其输出与由所述运动估计部件产生的运动矢量相对应的块，以及

所述空间预测图像生成器包括：

空间估计部件，其估计与相对于空间接近于当前帧的像素块的像素所成的预测方向；以及

空间预测部件，其输出与由所述空间估计部件预测的方向相对应的块。

25.如权利要求23所述的设备，其中所述压缩编码器包括：

频率变换器，其对由所述残余生成器产生的G分量残余和由所述预测残余生成器产生的R-B分量的预测残余进行压缩；

量化器，其对由所述频率变换器压缩的数据进行量化；以及

熵编码器，其对所量化的数据进行熵编码，以及

所述逆压缩解码器包括：

逆量化器，其对所量化的数据进行逆量化；以及

逆频率变换器，其对逆量化数据执行逆频率变换，并且产生恢复的G分量残余以及恢复的R-B分量的预测残余。

26.一种使用图像的残余预测的图像解码方法，其对包括至少两种分量以上的编码原始图像进行解码，其中残余被定义为该原始图像和预测图像之间的差值，并且预测残余被定义为该原始图像的每一分量的残余与预定分量的编码残余被恢复并被变换为预定值的值之间的差值，该方法包括：

对该编码的原始图像的预定分量的残余进行解码；

将解码的残余变换为预定值；

对没有被解码的分量的预测残余解码；

通过把被变换为预定值的值与预测残余相加，获得没有被解码的分量的残余；和

通过将预测图像与每一分量残余相加来恢复原始图像。

27.如权利要求26所述的方法，其中使用原始图像的分量之间的相关性将所解码的残余变换为预定值。

28.如权利要求26所述的方法，其中所述原始图像是R-G-B类型图像、Y-Cb-Cr类型图像、以及X-Y-Z类型图像之一。

29.一种使用图像的残余预测的图像解码方法，其对包括R-G-B分量的编码原始图像进行解码，其中时间残余被定义为该原始图像和通过相对于每一R-G-B分量对当前帧和前一帧之间的运动进行估计得到的预测图像之间的差值，并且预测残余被定义为预定分量的编码残余被恢复并被变换为预定值的值与没有被变换的分量的残余之间的差值，该方法包括：

对来自包括R-G-B分量的该编码图像的G分量的时间残余进行解码；

将解码的G分量残余变换为预定值；

对没有被解码的R-B分量的预测残余解码；

通过把将被变换为预定值的值与预测残余相加，获得R-B分量的残余；以及

通过将预测图像与所述R-G-B分量残余相加恢复原始图像。

30.如权利要求29所述的方法，其中所述运动估计是以预定尺寸的块为单位执行的。

31.如权利要求29所述的方法，其中使用R-G-B分量之间的相关性将恢复的G分量残余变换为预定值。

32.如权利要求29或30所述的方法，其中通过将恢复的G分量的残余值乘以预定值、并将相乘得到的值与一偏移量相加，使用线性变换将恢复的G分量残余变换为所述预定值。

33.如权利要求32所述的方法，其中所述线性变换对在根据前一帧以块为单位补偿运动时使用的块尺寸进行不同地线性变换。

34.如权利要求29所述的方法，其中获得G分量残余以及使用所述G分量残余获得并编码R和B分量的预测残余包括：获得R分量的残余，以及使用所述R分量的残余获得并编码G和B分量的预测残余。

35.如权利要求29所述的方法，其中获得G分量残余以及使用所述G分量残余获得并编码R和B分量的预测残余包括：获得B分量的残余，以及使用所述B分量的残余获得并编码G和R分量的预测残余。

36.一种使用图像的残余预测的图像解码方法，其对包括R-G-B分量的编码原始图像进行解码，其中空间残余被定义为原始图像和通过相对于所述R-G-B分量、估计与相对于空间接近于当前帧的像素所成的预测方向得到的预测图像之间的差值，并且预测残余被定义为预定分量的编码空间残余被恢复和被变换为预定值的值与没有被变换的分量的残余之间的差值，该方法包括：

对G分量残余进行解码；

将所解码的G分量残余变换为包括所解码的G分量的残余值的预定值；

对没有被解码的R-B分量的预测残余解码；

通过把将G分量残余变换为预定值的值与预测残余相加，获得R-B分量残余；以及

通过将预测图像与所述R-G-B分量残余相加恢复原始图像。

37.如权利要求36所述的方法，其中使用R-G-B分量之间的相关性将恢复的G分量残余变换为预定值。

38.如权利要求36所述的方法，其中通过将恢复的G分量的残余值乘以预定值、并将相乘得到的值与一偏移量相加，使用线性变换将恢复的G分量残余变换为所述预定值。

39.如权利要求38所述的方法，其中所述线性变换对在获得R-G-B分量的残余时使用的空间预测方向进行不同的线性变换。

40.如权利要求36所述的方法，其中解码G分量残余以及使用所述G分量残余解码R和B分量的预测残余包括：解码R平面的残余，以及使用所述R分量的残余解码G和B分量的预测残余。

41.如权利要求36所述的方法，其中解码G分量残余以及使用所述G分量残余解码R和B分量的预测残余包括：解码B分量的残余，以及使用所述B分量的残余解码和编码G和R分量的预测残余。

42.一种使用图像的残余预测的图像解码方法，其对R-G-B彩色图像进行解码，其中残余被定义为该彩色图像和预测图像之间的差值，并且预测残余被定义为原始图像的每一分量的残余与预定分量的编码残余被恢复和被变换为预定值的值之间的差值，该方法包括：

(1)根据编码图像数据，恢复G分量图像的残余；

(2)根据编码图像数据获得R-B分量的残余图像，并且通过将R-B分量的残余图像与通过对在步骤(1)中获得的恢复残余值进行线性变换所获得的值相加，产生R-B分量的恢复残余图像；

(3)在相互模式中，通过将在步骤(1)和(2)中恢复的R-G-B分量的残余值与通过执行前一帧的彩色分量的时间运动补偿获得的预测图像相加恢复R-G-B分量的彩色图像；以及

(4)在内部模式中，通过将在步骤(1)和(2)中恢复的R-G-B分量的残余值与通过估计与空间相邻像素所成的预测方向所获得的预测图像相加，恢复R-G-B分量的彩色图像。

43.如权利要求42所述的方法，其中步骤(1)包括：

通过对编码数据执行逆可变长度解码、逆量化和逆频率变换获得恢复的G分量的残余图像，以及

其中步骤(2)包括：

通过对编码数据执行逆可变长度解码、逆量化和逆频率变换获得R-B分量的残余图像，并且通过将所述R-B分量的残余图像与通过对在步骤(1)中获得的恢复残余值进行线性变换所获得的值相加，产生R-B分量的恢复残余图像。

44.一种使用图像的残余预测的图像解码设备，其对至少包括两种分量以上的编码原始图像进行解码，其中残余被定义为该原始图像和预测图像之间的差值，并且预测残余被定义为该原始图像的每一分量的残余与预定分量的编码残余被恢复和被变换为预定值的值之间的差值，该设备包括：

逆压缩解码器，其对所述编码图像数据进行解码，并且产生图像的预定分量的恢复残余图像以及对应于没有被恢复的残余的分量的恢复预测残余；

残余变换器，其将由逆压缩解码器产生的恢复的分量残余变换为包括所述分量的恢复残余值的预定值；

残余补偿部件，其通过将由逆压缩解码器产生的预测残余与由残余变换器变换的值相加，产生恢复残余；以及

原始图像生成器，其通过将预测图像与由残余补偿部件产生的每一残余以及由逆压缩解码器产生的预定分量的残余相加，产生原始图像。

45.一种使用图像的残余预测的图像解码设备，其对包括R-G-B分量的编码原始图像进行解码，其中时间残余被定义为该原始图像和通过相对于每一R-G-B分量对当前帧和前一帧之间的运动进行估计得到的预测图像之间的差值，并且预测残余被定义为预定分量的编码残余被恢复和被变换为预定值的值与没有被变换的分量的残余之间的差值，该设备包括：

运动补偿部件，其产生时间运动补偿预测图像；

逆压缩解码器，其对所述编码图像数据进行解码，产生恢复的G分量的残余图像和恢复的R-B分量的预测残余；

残余变换器，对由逆压缩解码器产生的恢复的G分量残余执行线性变换；

残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加，产生恢复的R-B分量残余；和

原始图像生成器，其通过将由运动补偿部件产生的预测图像与由残余补偿部件产生的R-B分量残余和由逆压缩解码器产生的G分量残余相加，产生原始图像。

46.一种使用图像的残余预测的图像解码设备，其对包括R-G-B分量的编码原始图像进行解码，其中空间残余被定义为该原始图像和通过相对于R-G-B分量对与空间接近于当前帧的像素所成的预测方向进行估计得到的预测图像之间的差值，并且预测残余被定义为预定分量的编码空间残余被恢复和被变换为预定值的值与没有被变换的分量的残余之间的差值，该设备包括：

空间预测部件，其产生通过估计与空间相邻像素所成的预测方向获得的预测图像；

逆压缩解码器，其对所述编码图像数据进行解码，产生恢复的G分量的残余图像和恢复的R-B分量的预测残余；

残余变换器，其对由逆压缩解码器产生的恢复的G分量残余执行线性变换；

残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加，产生恢复的R-B分量残余；和

原始图像生成器，其通过将由空间预测部件产生的预测图像与由残余补偿部件产生的R-B分量的残余和由逆压缩解码器产生的G分量残余相加，产生原始图像。

47.一种使用图像的残余预测的图像解码设备，其对包括至少两种分量以上的编码原始图像进行解码，其中残余被定义为该原始图像和预测图像之间的差值，并且预测残余被定义为该原始图像的每一分量的残余与预定分量的编码残余被恢复和被变换为预定值的值之间的差值，该设备包括：

运动补偿部件，其产生时间运动补偿预测图像；

空间预测部件，其产生通过估计与空间相邻像素所成的预测方向获得的预测图像。

逆压缩解码器，其对所述编码图像数据进行解码，并且产生恢复的G分量残余图像和恢复的R-B分量预测残余；

残余变换器，对由逆压缩解码器产生的恢复的G分量残余执行线性变换；

残余补偿部件，其通过将由逆压缩解码器产生的R-B分量的预测残余与由残余变换器变换的值相加，产生恢复的R-B分量残余；以及

原始图像生成器，其通过将由残余补偿部件产生的R-B分量残余和由逆压缩解码器产生的G分量残余在相互模式中与由运动补偿部件产生的预测图像相加、或者在内部模式中与由空间预测部件产生的预测图像相加，产生原始图像。

48.如权利要求47所述的设备，其中所述逆压缩解码器包括：

熵解码器，其对所述编码图像数据执行熵解码；

逆量化器，其对所熵解码的数据进行逆量化；以及

逆频率变换器，其通过对逆量化的数据执行逆频率变换，产生恢复的G分量残余以及恢复的R-B分量的预测残余。

49.一种具有记录在其上的计算机可读程序的计算机可读介质，所述计算机可读程序用于执行权利要求1至19以及26至43中所述的任一种方法。

Images