CN1294764C - 用于编码双向预测视频对象面的方法及其解码装置 - Google Patents

用于编码双向预测视频对象面的方法及其解码装置 Download PDF

Info

Publication number
CN1294764C
CN1294764C CNB2004100369258A CN200410036925A CN1294764C CN 1294764 C CN1294764 C CN 1294764C CN B2004100369258 A CNB2004100369258 A CN B2004100369258A CN 200410036925 A CN200410036925 A CN 200410036925A CN 1294764 C CN1294764 C CN 1294764C
Authority
CN
China
Prior art keywords
video object
base layer
vop
motion vector
basic unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2004100369258A
Other languages
English (en)
Other versions
CN1551636A (zh
Inventor
陈学敏
阿贾伊·卢特拉
加内什·拉詹
曼德阿姆·纳拉辛汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google Technology Holdings LLC
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of CN1551636A publication Critical patent/CN1551636A/zh
Application granted granted Critical
Publication of CN1294764C publication Critical patent/CN1294764C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

一种用于对双向预测的视频对象面(B-VOP)编码的方法，包括：缩放包括多个视频对象面(VOP)的输入视频序列，以在相应基层和增强层中传送；在所述基层中提供对应于所述输入视频序列VOP的第一和第二基层VOP；根据运动向量MVp，由所述第一基层VOP预测所述第二基层VOP；在增强层中处于所述第一和第二基层VOP中间的时间位置提供所述B-VOP；和利用通过缩放所述运动向量MVp而得到的下列之一来编码所述B-VOP：(a)向前运动向量MVf，和(b)向后运动向量MVB。

Description

用于编码双向预测视频对象面的方法及其解码装置
技术领域
本发明涉及为数字视频序列中包括视频对象面的视频图像提供时间和空间缩放的方法和装置。特别是提出一种适用于可缩放帧模式或场模式视频的运动补偿方案。也提出一种利用空间变换如离散余弦变换(DCT)对场模式视频进行自适应压缩的方案。
背景技术
本发明尤其适用于各种多媒体应用，且与此处作为参考引用的文献ISO/IEC/JTC1/SC29/WG11 N1642中标题为″MPEG-4视频校验模式7.0版″，1997年4月，所描述的MPEG-4校验模式(VM)7.0标准兼容。本发明还可提供立体视频编码、画中画、预览频道和异步传输模式(ATM)传送。
MPEG-4是一种提供灵活框架及用于对数字音频视频数据进行传送、访问和操作的开放式编码工具集合的新编码标准。这些工具支持广泛的特征。MPEG-4灵活的框架支持编码工具的各种组合及其由计算机、远程传送和娱乐(如，电视和电影)业所要求应用的相应功能，如数据库浏览、信息检索和交互式传送。
MPEG-4提供标准核心技术，允许在多媒体环境中高效存贮、发送和操纵视频数据。MPEG-4取得高效的压缩、目标缩放、空间和时间缩放及误差回弹。
MPEG-4视频V M编码器/解码器(编码解码器)是带有运动补偿的基于块和目标的混合编码器。通过采用重叠块运动补偿用9×9 DCT对纹理进行编码。目标形状被表示为alpha图并利用基于内容的算术编码(CAE)算法或改进的DCT编码器进行编码，二者均利用时间预测。该编码器可处理由计算机图形得到的子图形。其它编码方法，如小波和子图形编码，也可用于特殊应用。
运动补偿纹理编码是众所周知的视频编码方法。该方法可构造成三级过程模型。第一级是包括运动估计和补偿(ME/MC)和二维空间变换的信号处理。ME/MC和空间变换的目标是利用视频序列中时间和空间相关性优化复杂限制情况下量化和熵编码的比率失真性能。最常见的ME/MC技术是块匹配，最常见的空间变换是DCT。然而，对于任意形状VOP边界块的ME/MC和DCT编码产生特殊的关注。
MPEG-2主要轮廓是MPEG-4标准的前身，且在文献ISO/IECJTC1/SC29/WG11 N0702中，标题为″信息技术-运动图像和相关音频通用编码，建议H.262″，1994年3月25日，中描述，此处作为参考文献引用。对MPEG-2主要轮廓进行可缩放延伸已被定义，其为两个或更多独立位流或层提供。每一层可被结合以形成单个高质量信号。例如，基层可提供低质量视频信号，而增强层提供可增强基层图像的附加信息。
尤其是，时间和空间可缩放可提供不同视频标准或解码器功能间的兼容性。通过空间可缩放，基层视频可具有比输入视频序列低的空间分辨率，在该情况下，增强层载有将基层分辨率恢复到输入序列的分辨率水平的信息。例如，对应国际电信联盟-无线电部(ITU-R)601标准(分辨率720×576像素)的输入视频序列可载于对应公共交换格式(CIF)标准(分辨率360×299像素)的基层。在该情况下，增强层载有被解码器用来将基层视频恢复到ITU-R601标准的信息。或者，增强层可能具有减小的空间分辨率。
利用时间可缩放，基层可具有比输入视频序列低的时间分辨率(即，帧频)，而增强层载有丢失帧。当在解码器结合时，原有的帧频可被恢复。
因此，期望提供用于视频信号(包括视频对象面(VOP)，如用于MPEG-4标准中的)编码的时间和空间可缩放功能。期望具备立体视频编码、画中画、预览频道和异步传输模式(ATM)传送功能。
还期望具有较低复杂性和低成本的编码解码器设计，其中，搜索范围被减小，用于对双向预测VOP(B-VOP)进行增强层预测编码的运动估计。还期望在确定残余并对数据进行空间转换之前通过自适应重排序增强层VOP的像素线对交错视频输入信号进行高效编码。本发明提供一具备上述和其它优点的系统。
发明内容
根据本发明，提出一种为数字视频序列中的视频图像如视频对象面提供时间和空间的缩放的方法和装置。VOP可包括整个帧和/或帧的子集，且可为任意形状。此外，多个VOP可在一帧中提供或瞬时重合。
按照本发明的一个方面，提出一种用于对包含视频对象面(VOP)的输入视频序列进行缩放的方法，用以在相应的基层和增强层中进行传送，其中，向下取样数据被载于基层。输入视频序列中的VOP具有相关的空间分辨率和时间分辨率(例如帧频)；
输入视频序列的第一特定VOP的像素数据被向下取样，以提供具有减小的空间分辨率的第一基层VOP；第一基层VOP的至少一部分的像素数据被向上取样，以在增强层提供第一向上取样VOP；第一向上取样VOP利用输入视频序列的第一特定VOP被进行差分编码，且被提供于增强层中对应于第一基层VOP的时间位置；
差分编码包括根据第一向上取样VOP的像素数据与输入视频序列的第一特定VOP的像素数据间的差确定残余的步骤，残余利用例如DCT被空间转换以提供转换因子；其中
输入视频序列的VOP是场模式VOP时，若像素数据行满足重排序准则，差分编码包括在确定残余之前，将第一向上取样VOP的像素数据行重排序为场模式。该准则是，是否对立场行(例如，奇对偶，偶对奇)的亮度值之差的和值大于相同场行(奇对奇，偶对偶)的亮度数据之差与偏差项的和值。
第一基层VOP的向上取样像素数据可为整个第一基层VOP的子集，以致于未向上取样的第一基层VOP的余下部分比已向上取样的像素数据具有较低的空间分辨率。
第二基层VOP和增强层中的向上取样VOP可以类似方式提供。第一基层VOP和第二基层VOP之一或两者可被用于预测对应于第一和第二向上取样VOP的中间VOP。中间VOP被编码，用于在增强层中进行第一和第二向上取样VOP间的传送。
而且，当在第一和第二基层VOP间无中间基层VOP时，增强层可能比基层具有较高的时间分辨率。
在特定应用中，基层和增强层提供画中画(PIP)功能(其中，PIP图像被载于基层)，或预览频道功能(其中，预览图像被载于基层)。在此应用中，可以接受PIP图像或自由预览图像具有减少的空间和/或时间分辨率。在ATM应用中，较高优先级、低比特率数据可在基层中提供，而较低优先级、高比特率数据可在增强层中提供。在此情况下，基层被分配一保用带宽，但增强层可能偶然丢失。
一种用于对包括视频对象面的输入视频序列进行可缩放的方法(其中，向下取样数据被载于增强层，而不是基层)被提出。通过此方法，输入视频序列的第一特定VOP被作为第一基层VOP提供于基层，例如不改变空间分辨率。至少一部分第一基层VOP的像素数据被向下取样，以在增强层中对应于第一基层VOP的时间位置提供相应的第一向下取样VOP。第一特定VOP的相应像素数据被向下取样，以提供一比较VOP，且第一向下取样VOP利用比较VOP被差分编码。
基层和增强层可提供立体视频功能，其中，增强层中的图像数据比基层中的图像数据具有较低的空间分辨率。
本发明提供一种用于对双向预测的视频对象面编码的方法，包括下列步骤：缩放包括多个视频对象面的输入视频序列，以在相应基层和增强层中传送；在所述基层中提供对应于所述输入视频序列视频对象面的第一和第二基层视频对象面；根据运动向量MVp，由所述第一基层视频对象面预测所述第二基层视频对象面；在增强层中处于所述第一和第二基层视频对象面中间的时间位置提供所述双向预测的视频对象面；和利用通过缩放所述运动向量MVp而得到的向前运动向量MVf或向后运动向量MVb来编码所述双向预测的视频对象面。
对应输入视频序列VOP的第一和第二基层VOP被提供于基层中。第二基层VOP是P-VOP(其可根据运动向量MVP从第一基层VOP预测)。B-VOP被提供于增强层中第一和第二基层VOP之间。B-VOP利用通过对运动向量MVp按缩放所得的向前运动向量MVf和向后运动向量MVB中的至少一个编码。此高效编码技术避免需在参考VOP中进行独立的耗时的搜索。时间间隔TRP分离第一和第二基层VOP，而时间间隔TRB分离第一基层VOP和B-VOP。
比值m/n被定义为第一和第二基层VOP的空间分辨率与B-VOP的空间分辨率的比值。即，基层VOP或增强层中的B-VOP可相对输入视频序列的VOP以比值m/n被向下取样。假定基层或增强层VOP与输入视频序列具有相同的空间分辨率。向前运动向量MVf根据关系式MVf＝(m/n)·TRB·MVP/TRP确定，向后运动向量MVb根据关系式MVb＝(m/n)·(TRB-TRP)·MVP/TRP确定。m/n是任一正数，包括分数值。
B-VOP利用第一基层VOP的搜索区(其中心根据向前运动向量MVf确定)和第二基层VOP的搜索区(其中心根据向后运动向量MVB确定)编码。
相应的解码器方法和装置也被提出。
本发明还提出一种用于恢复数据流中包括有多个视频对象面的输入视频序列的方法，所述输入视频序列在相应基层和增强层中经过缩放并传送，且其中视频对象面具有相关的空间和时间分辨率，其中：在所述基层中提供对应于所述输入视频序列视频对象面的第一和第二基层视频对象面；根据运动向量MVp，由所述第一基层视频对象面预测所述第二基层视频对象面；在增强层中处于所述第一和第二基层视频对象面中间的时间位置处提供双向预测的视频对象面；且采用通过对所述运动向量MVp进行缩放而得到的向前运动向量MVf和向后运动向量MVb编码所述双向预测的视频对象面；
所述方法包括下列步骤：
从所述数据流中恢复所述向前运动向量MVf和向后运动向量MVb；且
利用所述向前运动向量MVf和所述向后运动向量MVb解码所述双向预测的视频对象面。
本发明还提出一种用于恢复数据流中包括多个视频对象面的输入视频序列的解码装置，所述输入视频序列在相应基层和增强层中经过缩放并传送，且其中的视频对象面具有相关的空间和时间分辨率，其中：在所述基层中提供对应于所述输入视频序列视频对象面的第一和第二基层视频对象面；根据运动向量MVp，所述第二基层视频对象面由所述第一基层视频对象面预测；在增强层中处于所述第一和第二基层视频对象面中间的时间位置处提供双向预测视频对象面；且采用通过对所述运动向量MVp进行缩放而得到的向前运动向量MVf和向后运动向量MVb编码所述双向预测的视频对象面；所述装置包括：
恢复构件，用于由所述数据流中恢复向前运动向量MVf和向后运动向量MVb；和解码构件，利用所述向前运动向量MVf和所述向后运动向量MVb解码所述双向预测的视频对象面的装置。
附图说明
图1是根据本发明的视频对象面(VOP)编码和解码过程图。
图2是根据本发明的VOP编码器和解码器框图。
图3是根据本发明的像素向上取样图。
图4是基层与增强层VOP间预测过程的示例图。
图5是根据本发明的VOP空间和时间缩放图。
图6描述根据本发明由帧到场模式像素行重排序。
图7是根据本发明的带有空间和时间缩放的画中画(PIP)或预览频道应用图。
图8是根据本发明的立体视频应用图。
具体实施方式
提出一种为数字视频序列中包括视频对象面的视频图像提供时间和空间缩放的方法和装置。
图1描述了根据本发明的对视频目标进行编码和解码过程的图。帧105包括三个图形单元，包括方形前景单元107，椭圆形前景单元108，和背景单元109。在帧115中，该单元是采用分段掩膜设计，从而VOP117代表方形前景单元107，VOP118代表椭圆形前景单元108，VOP119代表背景单元109。VOP可具有任意形状，一系列VOP被称作一视频目标。一整个矩形视频帧也可被称作一VOP。由此，术语″VOP″在此处使用以表明任意或非任意图像区域形状。可利用已知技术获得分段掩膜，且具有类似于ITU-R601亮度数据的格式。每一像素被确认为属于视频帧中某一区域。
帧105和来自帧115的VOP数据被提供给独立的编码功能。尤其是，VOP117、118和119分别在编码器137、138和139处进行形状、运动和纹理编码。通过形状编码，二进制和灰度级形状信息被编码。通过运动编码，利用一帧中的运动估计来编码形状信息。通过纹理编码，进行空间变换如DCT以获取可被变长编码而用于压缩的变换系数。
编码的VOP数据此后在多路器(MUX)140结合以通过信道145传输。或者，该数据可被存贮于记录媒质。所接收到的编码VOP数据通过解多路复用器150分离，以便被分离的VOP117-119被解码并恢复。帧155、165和175分别示出VOP117、118和119已被解码和恢复，且由此可利用合成器160(其例如与视频库170接口)各自独立处理。
合成器可为一例如可安放于用户家中的个人计算机以允许编辑所接收的数据从而提供特制的图像。例如，用户的个人视频库170可包括先前存贮的与所接收VOP不同的VOP178(例如，一个圆)。用户可制作其中圆形VOP178替换方形VOP117的帧185。帧185由此包括所接收的VOP118和119，和当地存贮的VOP179。
在另一例中，背景VOP109可由用户所选择的背景取代。例如，当观看电视新闻时，播讲员可被作为与背景，如新闻演播室分离的VOP编码。用户可由库170或其它电视节目，如带有股票价格或天气信息的频道，选择背景。用户由此可作为视频编辑者。
视频库170也可存贮通过信道145所接收的VOP，且可通过网络如Internet访问VOP或其它图像单元。
可以理解，帧105可能包括不是VOP的区域，由此不能被独立操作。而且，帧105无需具有VOP。通常，一视频段可包含单个VOP，或一个VOP序列。
图1中的视频目标编码和解码过程可带来许多娱乐、商业和教育应用，包括个人计算机游戏、虚拟环境、图形用户界面、可视会议、Internet应用及其它。尤其是，根据本发明的VOP时间和空间缩放的能力可提供更强大的功能。
图2是根据本发明的视频目标编码器和解码器的框图。编码器201，其对应图1所示单元137-139，包括接收输入视频数据序列″in″的可缩放预处理器205。为对比增强层具有较低空间分辨率的基层取得空间缩放，″in″被空间向下取样，以获得信号″in_0″，它又通过路径217被提供给基层编码器220。″in_0″在基层编码器220处编码，且被编码的数据被提供给多路器(MUX)230。MPEG-4系统和描述语言(MSDL)MUX可被使用。
应注意，当输入视频序列″in″是场(交错)模式时，由于向下取样不保留奇和偶场的像素数据，向下取样信号″in_0″将处于帧(顺序)模式。当然，″in″为帧模式时，″in_0″也将处于帧模式。
经路径218将重建的图像数据从基层编码器220提供给完成像素向上取样的中处理器215，联系图3下文将详细描述。处于帧模式的向上取样图像数据此后经路径212提供给增强层编码器210，在其中利用从预处理器205经路径207提供给编码器210的输入图像数据进行差分编码。具体说，该向上取样像素数据(例如，亮度数据)从输入图像数据中减去以获得残余，此后利用DCT或其它空间变换可对该残余编码。
根据本发明，当输入视频序列为场模式时，通过将对应输入视频序列的初始偶(顶部)和奇(底部)场的向上取样增强层图像的像素行分组，编码效率可被提高。这样在某些情形下可减小残余幅度，因为一场内的像素数据与相同场内其它像素数据常具有比对立场数据更大的相关性。因此，通过减小残余的幅度，更少的比特被要求用于对图像数据编码。参考图6和相关讨论，下面进行更详尽的描述。
增强层中向上取样图像的编码残余被提供给MUX 230，用以通过信道245与基层数据一起传输。或者数据可本地存贮。注意，MUX 230、信道245和DEMUX 250分别对应图1中的单元140、145和150。
注意，从基层编码器220提供给中处理器215的图像数据可为整个视频图像，如全帧VOP，或为整个图像一子集的VOP。而且，多个VOP可提供给中处理器215。MPEG-4目前支持到256VOP。
在解码器299，编码数据在解多路复用器(DEMUX)250，如一MPEG-4MSDL DEMUX被接收。在本例中比基层数据具有更高的空间分辨率的增强层数据被提供给增强层解码器260。基层数据被提供给基层解码器270，其中信号″0ut_0″被恢复并经路径267提供给中处理器265，经路径277提供给缩放后处理器280。该中处理器通过对基层数据向上取样来恢复全分辨率图像，以与编码器侧的中处理器215类似的方式工作。该图像经路径262被提供给增强层解码器260用于恢复增强层数据信号″out_1″，其此后经路径272被提供到缩放后处理器280。缩放后处理器280完成例如对解码基层数据进行空间向上取样以作为信号″outp_0″显示，增强层数据被输出以作为信号″outp_1″显示的操作。
当编码器201被用于时间缩放时，预处理器205对于例如基层完成时间分路(例如，拉开过程或帧抛弃)以减小帧频。例如，为将帧频由30帧/秒减小到15帧/秒，每隔一帧被抛弃。
下面的表1示出中处理器215和265、缩放预处理器205和缩放后处理器280的24个可能的配置。
                                           表1
  配置   层   时间分辨率   空间分辨率   可缩放预处理器   中处理器   可缩放预处理器
  1   基层   低(高)   低   向下取样滤波   向上取样滤波   N/C
  增强层   低(高)   高   N/C   N/A   N/C
  2   基层   低   低   向下取样滤波和拉开处理   向上取样滤波   N/C
  增强层   高   高   N/C   N/A   N/C
  3   基层   高   低   向下取样滤波   向上取样滤波   N/C
  增强层   低   高   拉开处理   N/A   N/C
  4   基层   低(高)   高   N/C   向下取样滤波   N/C
  增强层   低(高)   低   向下取样滤波   N/A   向上取样滤波
  5   基层   低   高   拉开处理   向下取样滤波   N/C
  增强层   高   低   向下取样滤波   N/A   向上取样滤波
  6   基层   高   高   N/C   向下取样滤波   N/C
  增强层   低   低   向下取样滤波和拉开处理   N/A   向上取样滤波
  7   基层   低(高)   高   N/C   N/C   N/C
  增强层   低(高)   高   N/C   N/A   N/C
  8   基层   低   高   拉开处理   N/C   N/C
  增强层   高   高   N/C   N/A   N/C
  9   基层   高   高   N/C   N/C   N/C
  增强层   低   高   拉开处理   N/A   N/C
  10   基层   低(高)   低   向下取样滤波   N/C   向上取样滤波
  增强层   低(高)   低   向下取样滤波   N/A   向上取样滤波
  11   基层   低   低   向下取样滤波和拉开处理   N/C   向上取样滤波
  增强层   高   低   向下取样滤波   N/A   向上取样滤波
  12   基层   高   低   向下取样滤波   N/C   向上取样滤波
  增强层   低   低   向下取样滤波和拉开处理   N/A   向上取样滤波
表1中，第一列指明配置数，第二列指明层，第三列指明层的时间分辨率(例如，高或低)。当″低(高)″被列出，基层和增强层的时间分辨率或均为高或均为低。第四列指明空间分辨率。第五、第六和第七列指明缩放预处理器205、中处理器215和265及后处理器280的相应动作。″N/C″表示在时间或空间分辨率上无变化，即进行通常处理过程。″N/A″意味着″不可用″。中处理器215、265动作不影响增强层。
空间可缩放编码采用配置1作为实例描述。如上所述，当可缩放编码器201被用于编码VOP时，预处理器205生成两个具有不同空间分辨率的VOP子流。如表1所示，基层具有较低的空间分辨率，增强层具有对应输入序列分辨率的较高的空间分辨率。因此，基层序列″in_0″在可缩放预处理器205处由输入视频序列″in″的向下取样过程生成。增强层序列通过在可缩放中处理器215、265处对向下取样基层序列进行向上取样滤波生成，以取得与″in″相同的高空间分辨率。后处理器280完成常规过程，即，它不改变″out_1″或″out_0″的时间或空间分辨率。
例如，基层CIF分辨率序列(360×298像素)可由对ITU-R 601分辨率输入序列(720×576像素)进行2∶1向下取样滤波生成。可使用任意整数或非整数比率向下取样。
时间和空间可缩放编码采用配置2作为实例描述。此处，输入视频序列″in″，其具有较高的空间和时间分辨率，被转换为具有较低的空间和时间分辨率的基层序列，和具有较高的空间和时间分辨率的增强层序列。由表1所示，通过在预处理器205进行向下取样滤波和拉开处理以提供信号″in_0″，在中处理器215和265中进行向上取样滤波，在后处理器280中进行常规处理，来获得上述转换。
通过配置3，具有低或高时间分辨率和高空间分辨率的输入视频序列″in″被转换为具有相应的低或高的时间分辨率和高空间分辨率的基层序列，和具有相应低或高时间分辨率和低空间分辨率的增强层序列。通过在预处理器205进行对于增强层序列″in_1″的向下取样滤波，在中处理器215和265进行向下取样滤波，在后处理器280进行增强层序列″out_1″的向上取样滤波，来获得上述转换。
其它配置可由上述实例理解。
图3是根据本发明的像素向上取样图。向上取样滤波可通过表1的配置1由中处理器215和265完成。例如，具有CIF分辨率(360×298像素)的VOP可通过2∶1向上取样转换为ITU-R 601分辨率(720×576像素)。CIF图像的像素310、320、330和340可被取样以生成ITU-R 601图像的像素355、360、365、370、375、380、395和390。具体说，ITU-R 601的像素360通过分别如箭头312和322所示对CIF像素310和320取样获得。类似地，ITU-R 601的像素365也通过分别如箭头314和324所示对CIF像素310和320取样获得。
图4是基层和增强层中VOP间预测过程的示例图。在图2所示增强层编码器210中，增强层VOP可被编码为P-VOP或B-VOP。在本例中，增强层中的VOP具有比基层VOP更大的空间分辨率，由此被画成较大区域。时间分辨率(例如帧频)对于两层是相同的。VOP以出现顺序从左到右示出。
基层包括I-VOP405，B-VOP415和420，及P-VOP430。增强层包括P-VOP450和490，B-VOP 460和480。B-VOP415如箭头410和440所示由其它基层VOP预测，B-VOP420如箭头425和435所示也由其它基层VOP预测。P-VOP430如箭头445所示由I-VOP405预测。P-VOP450如箭头455所示通过对基层VOP向上取样来得到，P-VOP480如箭头485所示通过对基层VOP向上取样得出。B-VOP460如箭头465和475所示由基层VOP预测，B-VOP490如箭头470和495所示由基层VOP预测。
通常，与基层I-VOP瞬间重合(如在显示或出现顺序中)的增强层VOP被编码为P-VOP。例如，VOP450与I-VOP405瞬时重合，由此被编码为P-VOP。与基层P-VOP瞬间重合的增强层VOP被编码为P-或B-VOP。例如，VOP490与P-VOP430瞬间重合而被编码为P-VOP。与基层B-VOP瞬间重合的增强层VOP被编码为B-VOP。例如，见B-VOP460与490。
I-VOP405和P-VOP430已知为固定(anchor)VOP，因为它们被用作增强层VOP的预测参考。I-VOP405和P-VOP430由此在增强层对应预测VOP编码之前被编码。增强层P-VOP的预测参考由MPEG-4兼容语法中的向前(预测)时间参考指示器forward_temporal_ref指定。该指示器是指向瞬时重合的基层I-VOP的非负整数。增强层B-VOP的预测参考由ref_select_code、forward_temporal_ref和backward_temporal_ref指定。如下面表2所示。注意该表对于MPEG-2和MPEG-4VM 3.0可缩放方案是不同的。
                         表2
  Ref-select-code   向前时间参考VOP   向后前时间参考VOP
  00   基层   基层
  01   基层   增强层
  10   增强层   基层
  11   增强层   增强层
表2示出了对于增强层中B-VOP的预测参考选择。例如，假定基层中的I-VOP405和P-VOP430的时间参考码temporal_ref分别为0和3。同时，令增强层中P-VOP450的temporal_ref为0。则图4中，对于P-VOP 450有forward_temporal_ref＝0。分别如箭头465和475，470和485所指示的B-VOP460和490的预测参考由ref_select_code＝00，forward_temporal_ref＝0和backward_temporal_ref＝3确定。P-VOP490的预测参考由ref_select_code＝10，forward_temporal_ref＝0和backward_temporal_ref＝3指定。
在对基层和增强层编码中，预测模式可由下面表3所示2位字VOP_prediction_type指明。
            表3
  VOP-prediction-type   Code
  I   00
  P   01
  B   10
″I″预测类型指明一内部编码VOP，″P″预测类型指明一预测的VOP，″B″预测类型指明双向预测VOP。基层序列″in_0″的编码与非可缩放编码过程相同，例如，根据MPEG-2主框架或H.263标准。
图6描述根据发明将像素行由帧到场重排序或置换。如上所述，当输入VOP为场模式且被向下取样时，所产生的VOP将为帧模式。由此，当向下取样图像被在空间向上取样时，所产生的VOP也将为帧模式。然而，当向上取样VOP通过从向上取样VOP中减去输入VOP而被差分编码时，若空间变换如DCT被随后在残余上操作时，所产生的残余可能不会产生最优的编码效率。即，在许多情形下，残余值可通过对向上取样图像行置换(即重排序)以对偶数和奇数行分组而减小，因为在相同场的像素之间比对立场像素间可能有更大的相关性。
一代表增强层中向上取样像素(例如亮度)数据的图像示于600。例如，假定图像600是一通过对一9×9的块进行2∶1向上取样而得到的16×16的宏块。该宏块包括偶数行602、604、606、608、610、612、614和616，以及奇数行603、605、607、609、611、613、615和617。偶数和奇数行分别组成顶部场和底部场。宏块600包括四个9×9的亮度块，包括由区域620与行602至609相交所定义的第一块，由区域625与行602至609相交所定义的第二块，由区域620与行610至617相交所定义的第三块，由区域625与行610至617相交所定义的第四块。
根据本发明，在确定残余并进行DCT之前，当图像600中的像素行被置换以形成相同场亮度块时，650处所示的宏块被形成。示于645的箭头指明行602至617的重排序。例如，偶数行602，其为宏块600的第一行，也是宏块650的第一行。偶数行604为宏块650的第二行。类似地，偶数行606、608、610、612、614和616被分别作为宏块650的第三行至第八行。因此，带有偶数行的16×9的亮度区680被作成。第一9×9块由区域690与670相交定义，而第二9×9的块由区域690与675相交定义。
类似地，奇数行被移至16×9的区域685。区域685包括由区域685与670相交所定义的第一9×9的块，而第二9×9的块由区域685与675相交所定义。区域685由此包括奇数行603、605、607、609、611、613、615和617。
根据宏块600是否如宏块650所示被重排序，作用于残余的DCT此处被称为″场DCT″或″帧DCT″或其它。但是，应当理解，本发明可适用于其它空间变换。当采用场DCT时，宏块空间域的亮度行(或亮度误差)被由帧DCT取向置换到顶部(偶)和底部(奇)场DCT配置。所产生的宏块被按常规转换、量化并变长编码。当一场DCT宏块被解码时，在所有亮度块由反向DCT(IDCT)获得之后进行反向置换。4:2:0的色度数据不受该模式影响。
根据本发明选择场模式或帧模式DCT的准则如下所述。在下面情况下应选择场DCT：
Σ i = 0 6 Σ j = 0 15 | P 2 i , j - P 2 i + 1 , j | + | P 2 i + 1 , j - P 2 i + 2 , j | > Σ i = 0 6 Σ j = 0 15 | P 2 i , j - P 2 i + 2 , j | + | P 2 i + 1 , j - P 2 i + 3 , j | + bias
其中，pi，j是在DCT作用于每一9×9亮度块之前的空间亮度差分(如残余)数据。其优势在于，该式仅使用一阶差分，由此可使运算简便而廉价。项″bias″是考虑未被计算在内的非线性影响的因子。例如，bias＝64可被采用。若上述关系不成立，则采用帧DCT。
注意，在上式的左手侧，误差项指对立场像素差(如，偶对奇，奇对偶)。因此，左手侧是对立场行亮度值之差的和。在右手侧，误差项指相同场像素差(如，偶对偶，奇对奇)。因此，右手侧是相同场行亮度数据差值与偏差项的和。
或者，通过修正上式以取每一误差项的平方值而不是绝对值，二阶式可被用于确定是帧还是场DCT可被使用。在此情况下，″bias″项不被要求。
图5是描述根据本发明的VOP空间和时间缩放的图。通过基于目标的缩放，所选VOP的帧频和空间分辨率可被增强，以使其比其余区域具有更高的质量，例如，所选目标的帧频和/或空间分辨率可比其余区域高。例如，新闻播讲员的VOP可被提供比演播室背景更高的分辨率。
轴505和506指明帧数。在基层，包括VOP520的帧510被提供于帧0的位置，而带有VOP532(对应于VOP520)的帧530被提供于帧3的位置。而且，帧530由帧510预测，如箭头512所示。增强层包括VOP522、524、526和542。这些VOP相对于VOP520和532具有增加的空间分辨率，由此被画成较大区域。
P-VOP522如箭头570所示由向上取样VOP520得出。B-VOP524和526由基层VOP520和532预测，分别如箭头572和576，及574和578所示。
用于生成基层和增强层序列的输入视频序列具有全分辨率(例如，对于对应国家电视标准委员会(NTSC)的ITU-R 601为720×490或对于对应相位变化线(PAL)的ITU-R为720×576)和全帧频(对于对应NTSC的ITU-R为30帧/60场或对于对应PAL的ITU-R 601为25帧/50场)。可缩放编码被实行，以通过利用增强层编码使物体的分辨率和帧频被保留。基层的视频目标，包括VOP520和532，具有较低的分辨率(如全分辨率VOP的四分之一)和较低的帧频(如初始帧频的三分之一)。而且，在增强层，只有VOP520被增强。帧510的其余部分未被增强。虽然仅一个VOP被示出，实际上，可提供任意数量的VOP。而且，当两个或更多数量的VOP被提供时，所有或只有所选择的VOP可被增强。
基层序列可由对原始序列进行向下取样和帧抛弃而生成。然后基层VOP通过顺序编码工具被编码为I-VOP或P-VOP。当输入视频序列是交错的，交错的编码工具如场/帧运动估计和补偿，及场/帧DCT不被使用，因为输入交错视频序列的向下取样生成顺序视频序列。增强层VOP利用时间和空间可缩放工具编码。例如，在增强层，VOP522和VOP542被利用空间可缩放编码为P-VOP。VOP524和VOP526利用时间可缩放工具分别由基层参考VOP的向上取样VOP，即VOP520和VOP532，被编码为B-VOP。
本发明的另一方面揭示了一种通过减少运动向量搜索范围以减少B-VOP的运动估计编码复杂性的技术。该技术可应用于帧模式和场模式输入视频序列。尤其是，参考VOP的搜索中心通过对相应基层VOP的运动向量调整，而不是通过在参考VOP中进行独立的耗时的搜索来确定。该耗时的搜索一般覆盖，例如水平+/-64像素和垂直+/-49像素的范围，因此没有所揭示技术高效。
增强层B-VOP 524和526的运动向量搜索中心由下式决定：
MVf＝(m/n·TRB·MVP)/TRP
MVb＝(m/n·(TRB-TRP)·MVP)/TRP
其中，MVf是向前运动向量，MVb是向后运动向量，MVp是基层中P-VOP(如VOP 532)的运动向量，TRB是已往参考VOP(如VOP520)与增强层中当前B-VOP之间的时间间隔，TRP是已往参考VOP与基层未来参考P-VOP(如VOP532)之间的时间间隔。m/n是基层VOP空间分辨率对增强层VOP空间分辨率之比值。即，基层VOP或增强层中的B-VOP可相对于输入视频序列以比值m/n被向下取样。在图5的实例中，m/n是随后被向上取样以提供增强层VOP的基层VOP的向下取样率。m/n可能小于、等于或大于1。例如，对于B-VOP524，TRB＝1，TRP＝3，且2∶1向下取样(即，m/n＝2)，我们可得MVf＝2/3MVp，且MVb＝-4/3MVp。注意所有运动向量是二维的。运动向量搜索范围是16×16方形区域，例如，其中心由MVf和MVb确定。运动向量与传输数据流中的增强层和基层视频数据传送，且由用于对视频数据解码的解码器恢复。
通常，为根据本发明对交错视频编码，交错编码工具被用于获取更好的性能。这些工具包括用于宏块内和差分间宏块的场/帧DCT，以及场预测，即，顶部场到底部场、顶部场到顶部场、底部场到顶部场和底部场到底部场。
对于上述表1中的配置，这些交错编码工具被结合如下。
(1)对于两层均具有低空间分辨率的配置，只有顺序(帧模式)编码工具被使用。在此情况下，两层将编码不同的视频序列，例如，在立体视频信号中。为编码立体视频，对右视图(增强层)序列的运动估计搜索范围是9×9像素。该9×9(全像素)搜索范围集中于对应VOP的基层中相应宏块的同类型运动向量周围。
(2)对于基层具有低空间分辨率、增强层具有高空间分辨率的配置，交错编码工具只用于增强层序列。用于对增强层序列编码的运动估计搜索范围是9×9(全像素)。该9×9搜索范围集中于对应VOP的基层中相应宏块的重可缩放(即因子为2)同类型运动向量周围。基于场的估计和预测将仅被用于增强层的搜索和补偿。
(3)对于基层具有高空间分辨率、增强层具有低空间分辨率的配置，交错编码工具只用于基层序列，如MPEG-2主框架的主层。用于对增强层序列编码的运动估计搜索范围是4×4(全像素)。该4×4搜索范围集中于对应VOP的基层中相应宏块的重可缩放(即，1/2倍)同类型运动向量周围。对于表1中的配置2，如上所述，例如，两层序列的编码具有不同的时间单位频率。
图7是根据本发明带有空间和时间缩放的画中画(PIP)或预览频道应用图。通过PIP，次级节目被作为电视上所见到的主要节目的子集而提供。由于次级节目占有较小区域，观众不关心减小了分辨率的图像，于是PIP图像的时间和/或空间分辨率可被减小以保留带宽。
类似地，预览频道节目可给用户提供节目(该节目可用一定费用购买)的免费低分辨率样本。此应用提供授权频道(如，Pay-Per-View为每幅画面付费)的几分钟免费浏览以进行预览。在预览频道编码的视频可具有较低的分辨率和较低的帧频。解码器为此类预览频道控制浏览时间。
表1中时间和空间可缩放编码的配置2，如上所述，可被用于提供具有比基层和增强层解码输出更低空间分辨率的基层解码输出。基层的视频序列可用较低的帧频编码，而增强层用较高帧频编码。
例如，基层中的视频序列可具有CIF分辨率和15帧/秒的帧频，增强层中的对应视频序列具有ITU-R 601分辨率和30帧/秒的帧频。在此情况下，增强层可符合NTSC标准，而PIP或预览功能由基层提供，其可符合CIF标准。由此，PIP功能可由具有与MPEG-2主框架MainLevel标准相类似的编码复杂度和效率的可缩放编码提供。
基层包括低空间分辨率VOP705和730。而且，基层的时间分辨率是增强层的1/3。增强层包括高空间分辨率VOP750、760、780和790。P-VOP750由向上取样I-VOP705得到，如箭头755所示。B-VOP760如箭头765和775所示由基层VOP预测。B-VOP780如箭头770和785所示由基层VOP预测。P-VOP 790由向上取样P-VOP 730而获得，如箭头795所示。
如图8所示是根据本发明立体视频应用图。立体视频功能被提供于MPEG-2多视图框架(MVP)系统，在文献ISO/IEC/JTC1/SC29/WG11 N1196中描述。基层被分配到左视图，增强层被分配到右视图。
为提高编码效率，增强层图像可用比基层低的分辨率编码。例如，表1的配置4可被用于基层具有ITU-R 601空间分辨率，增强层具有CIF空间分辨率的情况。用于预测增强层图像的基层参考图像被向下取样。由此，增强层的解码器包括向上取样过程。此外，自适应帧/场DCT编码可被用于基层，但不可用于增强层。
基层包括VOP805、815、820和830，增强层包括VOP850、860、880和890。B-VOP 815和820分别如箭头810、840，和835、825所示由其它基层VOP预测。P-VOP830如箭头845所示由I-VOP805预测。P-VOP850如箭头855所示由I-VOP805向下取样得出。B-VOP 860如箭头865和875所示由基层VOP预测。B-VOP 880如箭头870和885所示由基层VOP预测。P-VOP 890如箭头895所示由P-VOP830向下取样得出。
或者，为使基层和增强层具有相同的空间分辨率和帧频，表1中的配置7可被采用。在此情况下，基层的编码过程可与非可缩放编码过程相同，例如，如MPEG-4VM非可缩放编码或MPEG-2主框架Main Level标准所描述，自适应帧/场DCT编码被用于增强层中。
在本发明的进一步应用中，异步传输模式(ATM)传送技术被提供。一般地说，通过ATM网络传输视频信号的趋势迅速增长。这是由于这些网络较固定比特率(CBR)传输可提供许多优势的变比特率(VBR)性质。例如，在VBR信道，可获得大致稳定的图像质量。而且，在ATM网络中的视频源可被按统计特性多路传输，要求比通过CBR信道传输低的传输比特率，因为CBR系统中的弹性缓冲使得视频信号的长期平均数据率小于短期平均值。
但是，尽管ATM网络具有许多优势，其主要不足在于拥塞。在拥塞的网络中，视频包被排队以寻找输出路径。长期延迟包可能到达太晚从而在接收机处无用，结果被解码器抛弃。视频编码解码器必须设计成可经受包丢失。
为使视频编码器几乎不受包丢失的影响，可使用本发明的时间和空间可缩放编码技术。尤其是，来自基层的视频数据可以高优先级被发送，并被提供ATM网络保用的比特率。若发生拥塞，由于信道不是保证的，来自增强层的视频数据包可能丢失。若增强层包被接收到，则图像质量提高。一采用表1中配置1的编码方案可取得该结果。该方案可如图4所示被实现，如上结合预测模式的描述，其中，基层是高优先级层。因此，在基层进行高优先级低比特率传送，在增强层进行低优先级高比特率传送。
类似地，该可缩放编码可用于视频编码和通过Internet、intranet和其它传送网的传输。
由此，可以看出，本发明提供为一数字视频序列中包括视频对象面(VOP)的视频图像提供时间和空间缩放的方法和装置。本发明一方面通过自适应压缩可缩放的场模式输入视频序列使编码效率提高。基于线性准则，增强层中的向上取样VOP被重排序以提供与原始视频序列更大的相关性。通过使用例如DCT的空间变换对所产生的残余编码。本发明另一方面，提出通过可缩放运动向量(其已对基层VOP确定)对增强层VOP编码的运动补偿方案。减小的搜索区域被定义(其中心由可缩放运动向量定义)。此技术适用于可缩放帧模式或场模式输入视频信号。
此外，各种编码解码器处理器配置被提出以取得特定的可缩放编码结果。可缩放编码的应用，包括立体视频、画中画、预览频道和ATM传送，也被描述。
尽管本发明已结合特定的实施例被描述，本领域的技术人员可理解，在不偏离权利要求中所提出的发明的精神与范围的情况下，可对其进行各种改进。例如，虽然两可缩放层被描述，也可提供多于两层。而且，虽然为简便起见，在一些图中采用方形或长方形VOP，本发明同样适用于任意形状的VOP。

Claims (9)

1.一种用于对双向预测的视频对象面编码的方法，包括下列各步：
缩放包括多个视频对象面的输入视频序列，以在相应基层和增强层中传送；
在所述基层中提供对应于所述输入视频序列视频对象面的第一和第二基层视频对象面；
根据运动向量MVp，由所述第一基层视频对象面预测所述第二基层视频对象面；
在增强层中处于所述第一和第二基层视频对象面中间的时间位置提供所述双向预测的视频对象面；和
利用通过缩放所述运动向量MVp而得到的下列之一来编码所述双向预测的视频对象面：
(a)向前运动向量MVf，和
(b)向后运动向量MVb。
2.权利要求1的方法，其中：
所述第一和第二基层视频对象面之间相隔时间间隔TRp；
所述第一基层视频对象面和所述双向预测的视频对象面之间相隔时间间隔TRB；
至少下列之一：
(a)所述向前运动向量MVf根据关系式MVf＝(m/n)·TRB·MVP/TRP确定；且
(b)所述向后运动向量MVb根据关系式MVb＝(m/n)·(TRB-TRP)·MVP/TRP确定；
其中，m/n是第一和第二基层视频对象面的空间分辨率与双向预测的视频对象面空间分辨率的比值。
3.权利要求1或2的方法，还包括步骤：
利用至少下述之一编码所述双向预测的视频对象面：
(a)所述第一基层视频对象面的搜索区，其中心根据所述向前运动向量MVf确定；和
(b)所述第二基层视频对象面的搜索区，其中心根据所述向后运动向量MVb确定。
4.一种用于恢复数据流中包括有多个视频对象面的输入视频序列的方法，所述输入视频序列在相应基层和增强层中经过缩放并传送，且其中视频对象面具有相关的空间和时间分辨率，其中：
在所述基层中提供对应于所述输入视频序列视频对象面的第一和第二基层视频对象面；
根据运动向量MVp，由所述第一基层视频对象面预测所述第二基层视频对象面；
在增强层中处于所述第一和第二基层视频对象面中间的时间位置处提供双向预测的视频对象面；且
采用通过对所述运动向量MVp进行缩放而得到的向前运动向量MVf和向后运动向量MVb编码所述双向预测的视频对象面；
所述方法包括下列步骤：
从所述数据流中恢复所述向前运动向量MVf和向后运动向量MVb；且
利用所述向前运动向量MVf和所述向后运动向量MVb解码所述双向预测的视频对象面。
5.权利要求4的方法，其中：
所述第一和第二基层视频对象面之间相隔时间间隔TRp；
所述第一基层视频对象面和所述双向预测的视频对象面之间相隔时间间隔TRB；
至少为下列之一：
(a)所述向前运动向量MVf根据关系式MVf＝(m/n)·TRB·MVP/TRP确定；且
(b)所述向后运动向量MVb根据关系式MVb＝(m/n)·(TRB-TRP)·MVP/TRP确定；
其中，m/n是第一和第二基层视频对象面的空间分辨率与双向预测的视频对象面空间分辨率的比值。
6.权利要求4或5的方法，其中：
利用至少下述之一编码所述双向预测的视频对象面：
(a)所述第一基层视频对象面的搜索区，其中心根据所述向前运动向量MVf确定；和
(b)所述第二基层视频对象面的搜索区，其中心根据所述向后运动向量MVb确定。
7.一种用于恢复数据流中包括多个视频对象面的输入视频序列的解码装置，所述输入视频序列在相应基层和增强层中经过缩放并传送，且其中的视频对象面具有相关的空间和时间分辨率，其中：
在所述基层中提供对应于所述输入视频序列视频对象面的第一和第二基层视频对象面；
根据运动向量MVp，所述第二基层视频对象面由所述第一基层视频对象面预测；
在增强层中处于所述第一和第二基层视频对象面中间的时间位置处提供双向预测视频对象面；且
采用通过对所述运动向量MVp进行缩放而得到的向前运动向量MVf和向后运动向量MVb编码所述双向预测的视频对象面；
所述装置包括：
恢复构件，用于由所述数据流中恢复向前运动向量MVf和向后运动向量MVb；和
解码构件，利用所述向前运动向量MVf和所述向后运动向量MVb解码所述双向预测的视频对象面的装置。
8.权利要求7的装置，其中：
所述第一和第二基层视频对象面之间相隔时间间隔TRp；
所述第一基层视频对象面和所述双向预测的视频对象面之间相隔时间间隔TRB；
至少下列之一：
(a)所述向前运动向量MVf根据关系式MVf＝(m/n)·TRB·MVP/TRP确定；且
(b)所述向后运动向量MVb根据关系式MVb＝(m/n)·(TRB-TRP)·MVP/TRP确定；
其中，m/n是第一和第二基层视频对象面的空间分辨率与双向预测的视频对象面的空间分辨率的比值。
9.权利要求7或8的装置，其中：
利用至少下述之一编码所述双向预测的视频对象面：
(a)所述第一基层视频对象面的搜索区，其中心根据所述向前运动向量MVf确定；和
(b)所述第二基层视频对象面的搜索区，其中心根据所述向后运动向量MVb确定。
CNB2004100369258A 1997-06-05 1998-06-05 用于编码双向预测视频对象面的方法及其解码装置 Expired - Lifetime CN1294764C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/869,493 US6057884A (en) 1997-06-05 1997-06-05 Temporal and spatial scaleable coding for video object planes
US08/869,493 1997-06-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN98109558A Division CN1209020A (zh) 1997-06-05 1998-06-05 视频目标平面的时间和空间可变尺度编码

Publications (2)

Publication Number Publication Date
CN1551636A CN1551636A (zh) 2004-12-01
CN1294764C true CN1294764C (zh) 2007-01-10

Family

ID=25353640

Family Applications (2)

Application Number Title Priority Date Filing Date
CN98109558A Pending CN1209020A (zh) 1997-06-05 1998-06-05 视频目标平面的时间和空间可变尺度编码
CNB2004100369258A Expired - Lifetime CN1294764C (zh) 1997-06-05 1998-06-05 用于编码双向预测视频对象面的方法及其解码装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN98109558A Pending CN1209020A (zh) 1997-06-05 1998-06-05 视频目标平面的时间和空间可变尺度编码

Country Status (10)

Country Link
US (1) US6057884A (zh)
EP (1) EP0883300B1 (zh)
JP (1) JPH1118085A (zh)
KR (1) KR19990006678A (zh)
CN (2) CN1209020A (zh)
AU (1) AU733055B2 (zh)
BR (1) BR9801762A (zh)
CA (1) CA2238900C (zh)
NO (1) NO982508L (zh)
TW (1) TW406512B (zh)

Families Citing this family (214)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
ES2323358T3 (es) * 1997-04-01 2009-07-14 Sony Corporation Codificador de imagenes, metodo de codificacion de imagenes, descodificador de imagenes, metodo de descodificacion de imagenes, y medio de distribucion.
US6741748B1 (en) * 1997-06-19 2004-05-25 Samsung Electronics Co. Scan interleaving method based on context values of neighboring pixels, improved encoding/decoding method of binary shape data and encoding/decoding apparatus suitable for the same
US6993201B1 (en) 1997-07-08 2006-01-31 At&T Corp. Generalized scalability for video coder based on video objects
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
JP4014263B2 (ja) * 1997-10-01 2007-11-28 松下電器産業株式会社 映像信号変換装置及び映像信号変換方法
KR100535632B1 (ko) * 1997-10-17 2006-04-12 주식회사 팬택앤큐리텔 적응적으로 보더링하는 모양정보 부호화/복호화 장치 및 방법
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
DE19746611A1 (de) * 1997-10-22 1999-04-29 Bosch Gmbh Robert Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung
US6144772A (en) * 1998-01-29 2000-11-07 Canon Kabushiki Kaisha Variable compression encoding of digitized images
KR100374717B1 (ko) * 1998-03-05 2003-03-04 주식회사 팬택앤큐리텔 비월주사방식 영상을 위한 색차신호 모양정보 추출방법 및 장치
US6621932B2 (en) * 1998-03-06 2003-09-16 Matsushita Electric Industrial Co., Ltd. Video image decoding and composing method and video image decoding and composing apparatus
JP3382173B2 (ja) * 1998-03-10 2003-03-04 株式会社ハイニックスセミコンダクター 飛越し走査方式の映像信号に対するｖｏｐ境界矩形の設定方法及び装置
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
KR100705992B1 (ko) * 1998-07-17 2007-04-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 코드화된 데이터를 디멀티플렉싱하는 장치
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
JP4018266B2 (ja) * 1998-11-13 2007-12-05 キヤノン株式会社 機器制御装置、端末装置、ネットワークシステム、制御方法、及び記憶媒体
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
US6529552B1 (en) * 1999-02-16 2003-03-04 Packetvideo Corporation Method and a device for transmission of a variable bit-rate compressed video bitstream over constant and variable capacity networks
JP4332249B2 (ja) * 1999-02-18 2009-09-16 キヤノン株式会社 ビットストリーム復号化装置、方法及び記憶媒体
FI106421B (fi) * 1999-03-11 2001-01-31 Nokia Multimedia Network Termi Menetelmä ja järjestely videokuvien yhdistämiseksi
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US7085319B2 (en) * 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US7082162B2 (en) * 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
US6600786B1 (en) 1999-04-17 2003-07-29 Pulsent Corporation Method and apparatus for efficient video processing
KR20020047031A (ko) * 1999-04-17 2002-06-21 펄센트 코포레이션 효율적인 화상 처리 방법 및 장치
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US8595764B2 (en) * 1999-06-25 2013-11-26 Jlb Ventures, Llc Image-oriented electronic programming guide
US6501797B1 (en) 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US7245663B2 (en) * 1999-07-06 2007-07-17 Koninklijke Philips Electronis N.V. Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images
JP2001145020A (ja) * 1999-11-12 2001-05-25 Canon Inc 画像編集装置及び方法
US7743092B2 (en) * 1999-11-12 2010-06-22 Wood Lawson A Method for recognizing and distributing music
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US7093028B1 (en) * 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
US7389356B2 (en) * 1999-12-15 2008-06-17 Microsoft Corporation Generalized differentiation methods and arrangements for adaptive multimedia communications
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
US7103103B2 (en) * 2000-04-17 2006-09-05 Pts Corporation Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information
US6888894B2 (en) * 2000-04-17 2005-05-03 Pts Corporation Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation
US7082166B2 (en) * 2000-04-17 2006-07-25 Pts Corporation Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
FR2813485B1 (fr) * 2000-08-24 2003-12-26 France Telecom Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
DE60120762T2 (de) * 2000-11-23 2007-05-31 Koninklijke Philips Electronics N.V. Videodekodierungsverfahren und entsprechender dekodierer
KR20020077891A (ko) * 2000-11-23 2002-10-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩 방법 및 대응하는 인코더
DE60120745T2 (de) * 2000-12-01 2007-05-24 Koninklijke Philips Electronics N.V. Verfahren und gerät zur zusammenstellung von videoszenen aus verschiedenartigen daten
US20020149696A1 (en) * 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
US6728318B2 (en) 2001-03-02 2004-04-27 Redrock Semiconductor, Ltd. Error recovery of corrupted MPEG-4 bitstreams using fuzzy decoding of start codes and resync markers
US6778610B2 (en) 2001-03-02 2004-08-17 Redrock Semiconductor, Ltd. Simultaneous search for different resync-marker patterns to recover from corrupted MPEG-4 bitstreams
US7133451B2 (en) * 2001-03-05 2006-11-07 Intervideo, Inc. Systems and methods for refreshing macroblocks
FR2822330B1 (fr) * 2001-03-14 2003-05-02 Thomson Multimedia Sa Procede de codage par blocs, de type mpeg, dans lequel on affecte une resolution a chaque bloc
US20020135695A1 (en) * 2001-03-26 2002-09-26 Edelson Steven D. Video data reduction by selected frame elimination
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6608867B2 (en) 2001-03-30 2003-08-19 Koninklijke Philips Electronics N.V. Detection and proper scaling of interlaced moving areas in MPEG-2 compressed video
JP4765194B2 (ja) 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
KR100388820B1 (ko) * 2001-05-16 2003-06-25 주식회사 넷앤티비 미세입자 스케일러블 코딩의 적응적 선택 강화 적용 방법
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
CA2453056A1 (en) * 2001-07-06 2003-01-16 Vision Iii Imaging, Inc. Image segmentation by means of temporal parallax difference induction
US6975680B2 (en) * 2001-07-12 2005-12-13 Dolby Laboratories, Inc. Macroblock mode decision biasing for video compression systems
US20030048846A1 (en) * 2001-07-31 2003-03-13 Myeong-Hwan Lee Motion image compression apparatus capable of varying frame rate and method of compressing motion image using the same
JP2003116053A (ja) * 2001-10-05 2003-04-18 Hitachi Ltd 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法
KR20040054746A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 스케일가능 압축 방법 및 장치
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US20030138045A1 (en) * 2002-01-18 2003-07-24 International Business Machines Corporation Video decoder with scalable architecture
AU2003237289A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Maintaining a plurality of codebooks related to a video signal
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
BR0316559A (pt) * 2002-11-25 2005-10-04 Thomson Licensing Sa Decodificador em duas camadas para dvd hìbrido de alta definição
EP1568221B1 (en) * 2002-12-03 2012-04-04 Thomson Licensing Media for standard-definition and high-definition video formats
US20040131122A1 (en) * 2002-12-09 2004-07-08 Kei Kudo Encoding device and encoding method
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
EP1597919A1 (en) * 2003-02-17 2005-11-23 Koninklijke Philips Electronics N.V. Video coding
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
US8761252B2 (en) * 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
KR100965881B1 (ko) * 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
KR20050077874A (ko) * 2004-01-28 2005-08-04 삼성전자주식회사 스케일러블 비디오 스트림 송신 방법 및 이를 이용한 장치
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US20060168632A1 (en) * 2004-02-20 2006-07-27 Yoshimasa Honda Video reception device, video transmission device, and video transmission system
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
US20060210174A1 (en) * 2004-03-18 2006-09-21 Bevan Peter T System and method for transforming graphics data
KR100631777B1 (ko) 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
CN100466735C (zh) * 2004-07-15 2009-03-04 三星电子株式会社 视频编码和解码方法以及视频编码器和解码器
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
KR100718133B1 (ko) * 2004-07-15 2007-05-15 삼성전자주식회사 움직임정보 부호화장치 및 방법, 움직임정보 복호화장치 및방법, 이를 채용한 스케일러블 영상 부호화장치 및 방법과스케일러블 영상 복호화장치 및 방법
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
KR100584603B1 (ko) * 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
KR100640900B1 (ko) 2004-10-20 2006-11-02 엘지전자 주식회사 바코드 라벨 스티커
FR2876860A1 (fr) * 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage hierarchique d'images video
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
KR100779875B1 (ko) * 2005-01-14 2007-11-27 주식회사 휴맥스 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체
KR100703751B1 (ko) * 2005-02-14 2007-04-06 삼성전자주식회사 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
JP5213456B2 (ja) 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
US8638862B2 (en) * 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8660180B2 (en) * 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR100878824B1 (ko) * 2005-04-01 2009-01-14 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
EP1878250A4 (en) * 2005-04-01 2012-11-28 Lg Electronics Inc METHOD OF ENCODING AND DECODING THAT CAN BE SCALED ON A VIDEO SIGNAL
KR100878825B1 (ko) * 2005-04-01 2009-01-14 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
KR100883604B1 (ko) * 2005-04-01 2009-02-13 엘지전자 주식회사 스케일러블 비디오 신호 인코딩 및 디코딩 방법
CN101176349B (zh) * 2005-04-01 2010-09-01 Lg电子株式会社 可对视频信号缩放地进行编码和解码的方法
US20090129467A1 (en) * 2005-04-08 2009-05-21 Agency For Science, Technology And Research Method for Encoding at Least One Digital Picture, Encoder, Computer Program Product
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
WO2007007923A1 (en) * 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image
US8755434B2 (en) * 2005-07-22 2014-06-17 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
WO2007020233A2 (fr) * 2005-08-18 2007-02-22 Thomson Licensing Procede de codage et de decodage d'images entrelacees a haute resolution et progressives a basse resolution
US8670437B2 (en) * 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
WO2007044556A2 (en) * 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
US9131247B2 (en) 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
KR101420885B1 (ko) * 2005-11-15 2014-07-17 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘, 엘티디. 비디오 시놉시스 생성 방법 및 시스템
US8949235B2 (en) 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
FR2894422A1 (fr) 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
WO2007077116A1 (en) * 2006-01-05 2007-07-12 Thomson Licensing Inter-layer motion prediction method
EP2424245B1 (en) * 2006-01-09 2019-09-04 Dolby International AB Methods and apparatus for illumination and color compensation for multi-view video coding
WO2007081908A1 (en) 2006-01-09 2007-07-19 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
WO2007081140A1 (en) * 2006-01-09 2007-07-19 Lg Electronics Inc. Inter-layer prediction method for video signal
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
KR100772873B1 (ko) * 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8937997B2 (en) * 2006-03-16 2015-01-20 Apple Inc. Scalable video coding/multiplexing compatible with non-scalable decoders
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
WO2008049052A2 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
WO2008061164A2 (en) * 2006-11-14 2008-05-22 Qualcomm Incorporated Systems and methods for channel switching
JP2010510725A (ja) * 2006-11-15 2010-04-02 クゥアルコム・インコーポレイテッド チャネル切り替えフレームを用いたアプリケーションのシステム及び方法
US7876808B2 (en) * 2006-11-30 2011-01-25 Broadcom Corp. Method and apparatus for adaptive noise and/or signal filtering in an HSDPA channel quality indicator (CQI) selection
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
EP2135221A1 (fr) * 2007-02-01 2009-12-23 France Telecom Procédé de codage de données répresentatives d'une texture multidimensionnelle, dispositif de codage, procédé et dispositif de décodage, signal et programme correspondants
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
WO2009034487A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for motion estimation and motion compensation in video image data
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
US20090135916A1 (en) * 2007-11-26 2009-05-28 Mediatek Inc. Image processing apparatus and method
CN101478671B (zh) * 2008-01-02 2011-05-11 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
US8855199B2 (en) * 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
JP4670902B2 (ja) * 2008-05-30 2011-04-13 ソニー株式会社 送信装置、送信方法および受信装置
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
KR101557504B1 (ko) * 2009-04-13 2015-10-07 삼성전자주식회사 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템
US8773505B2 (en) 2009-04-27 2014-07-08 Lg Electronics Inc. Broadcast receiver and 3D video data processing method thereof
EP2489196A4 (en) 2009-10-13 2014-03-05 Lg Electronics Inc BROADCAST RECEIVER AND METHOD FOR PROCESSING 3D VIDEO DATA THEREFOR
US9503757B2 (en) * 2010-02-01 2016-11-22 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
WO2011128366A1 (en) 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
HUE045693T2 (hu) 2010-04-13 2020-01-28 Ge Video Compression Llc Videó kódolás képek multi-fa struktúrájú alosztásainak használatával
RS62794B1 (sr) 2010-04-13 2022-02-28 Ge Video Compression Llc Nasleđivanje u podeli sa više stabala na nizu uzoraka
CN106412606B (zh) 2010-04-13 2020-03-27 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法
CN106131574B (zh) * 2010-04-13 2019-09-10 Ge视频压缩有限责任公司 跨平面预测
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
US20110317755A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Systems and methods for highly efficient compression of video
US20130156113A1 (en) * 2010-08-17 2013-06-20 Streamworks International, S.A. Video signal processing
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US20130194386A1 (en) * 2010-10-12 2013-08-01 Dolby Laboratories Licensing Corporation Joint Layer Optimization for a Frame-Compatible Video Delivery
IT1403450B1 (it) 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
US20120257675A1 (en) * 2011-04-11 2012-10-11 Vixs Systems, Inc. Scalable video codec encoder device and methods thereof
ITTO20110439A1 (it) * 2011-05-17 2012-11-18 Sisvel Technology Srl Method for generating, transmitting and receiving stereoscopic images, and related devices
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
CN103202021B (zh) * 2011-09-13 2017-06-13 松下知识产权经营株式会社 编码装置、解码装置、再现装置、编码方法及解码方法
EP2761877B8 (en) 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
TWI508530B (zh) * 2011-10-06 2015-11-11 Mstar Semiconductor Inc 影像壓縮方法、媒體資料檔案與解壓縮方法
US20130089153A1 (en) * 2011-10-06 2013-04-11 Mstar Semiconductor, Inc. Image compression method, and associated media data file and decompression method
CN107241606B (zh) 2011-12-17 2020-02-21 杜比实验室特许公司 解码系统、方法和设备以及计算机可读介质
JP6012014B2 (ja) * 2012-03-30 2016-10-25 サン パテント トラスト 画像符号化方法および画像復号方法
JP2013232775A (ja) * 2012-04-27 2013-11-14 Sharp Corp 動画像復号装置、および動画像符号化装置
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
US9420280B2 (en) 2012-06-08 2016-08-16 Qualcomm Incorporated Adaptive upsampling filters
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
TW201424380A (zh) 2012-12-07 2014-06-16 Ind Tech Res Inst 影像與訊息編碼系統、編碼方法、解碼系統及解碼方法
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
US10158861B2 (en) 2016-02-03 2018-12-18 Evertz Microsystems Ltd. Systems and methods for improving video compression efficiency
EP3474225B1 (en) * 2017-10-18 2019-09-25 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
GB2618298A (en) * 2021-09-21 2023-11-08 V Nova Int Ltd Low complexity enhancement video coding with temporal scalability

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5049991A (en) * 1989-02-20 1991-09-17 Victor Company Of Japan, Ltd. Movement compensation predictive coding/decoding method
JPH07170514A (ja) * 1993-07-13 1995-07-04 At & T Corp ビデオ信号多層符号化と復号化装置
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
CN1134583A (zh) * 1995-01-30 1996-10-30 株式会社东芝 数据记录媒体、再现和记录方法和装置及传输系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
KR100186979B1 (ko) * 1994-12-28 1999-05-01 김주용 영상데이터의 물체별 배경 정보 부호화 방법 및 장치
KR0175741B1 (ko) * 1995-02-20 1999-05-01 정선종 호환적 영상부호화를 위한 이동보상 상향변환 방법
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US5692063A (en) * 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5778100A (en) * 1996-03-08 1998-07-07 Lucent Technologies Inc. Method and apparatus for reducing the bit rate in a video object planes sequence coder
KR100249029B1 (ko) * 1996-06-12 2000-03-15 전주범 영상신호의 윤곽선 부호화 방법 및 그 장치
KR100235347B1 (ko) * 1996-09-19 1999-12-15 전주범 윤곽선 영상신호 부호화 방법 및 장치
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5049991A (en) * 1989-02-20 1991-09-17 Victor Company Of Japan, Ltd. Movement compensation predictive coding/decoding method
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
JPH07170514A (ja) * 1993-07-13 1995-07-04 At & T Corp ビデオ信号多層符号化と復号化装置
CN1134583A (zh) * 1995-01-30 1996-10-30 株式会社东芝 数据记录媒体、再现和记录方法和装置及传输系统

Also Published As

Publication number Publication date
EP0883300A3 (en) 2000-12-20
NO982508D0 (no) 1998-06-02
CA2238900C (en) 2003-10-21
US6057884A (en) 2000-05-02
BR9801762A (pt) 1999-06-29
JPH1118085A (ja) 1999-01-22
EP0883300B1 (en) 2013-01-23
NO982508L (no) 1998-12-07
KR19990006678A (ko) 1999-01-25
CN1209020A (zh) 1999-02-24
MX9804502A (es) 1998-12-31
TW406512B (en) 2000-09-21
CA2238900A1 (en) 1998-12-05
EP0883300A2 (en) 1998-12-09
CN1551636A (zh) 2004-12-01
AU6993498A (en) 1998-12-10
AU733055B2 (en) 2001-05-03

Similar Documents

Publication Publication Date Title
CN1294764C (zh) 用于编码双向预测视频对象面的方法及其解码装置
Ebrahimi et al. MPEG-4 natural video coding–An overview
JP4326743B2 (ja) 予測符号化オブジェクトベース画像信号を予測符号化ブロックベース画像信号にトランスコーディングするトランスコーディング方法およびトランスコーダ
Sikora The MPEG-4 video standard verification model
EP0863674B1 (en) Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6005980A (en) Motion estimation and compensation of video object planes for interlaced digital video
US6222883B1 (en) Video encoding motion estimation employing partitioned and reassembled search window
CN1372768A (zh) 用于修改编码图像区域的电路和方法
CN1226786A (zh) 用于立体视频编码的视图偏移估算
CN102084655A (zh) 通过过滤器选择进行的视频编码
CN1615656A (zh) 对数字视频内容的图像级自适应帧/场编码
CN1812577A (zh) 译码数字影像位流所含画面的方法及其数字影像译码系统
US8351509B1 (en) Video codec systems and methods for optimal motion vector with variable size blocks
CN1378749A (zh) 用于将一系列编码图像帧分别格式化为相应区域的电路和方法
CN1297147C (zh) 对交错数字视频的双向预测的视频目标平面的预测和编码
Sikora MPEG digital video coding standards
USRE38564E1 (en) Motion estimation and compensation of video object planes for interlaced digital video
JPH09331536A (ja) 誤り訂正デコーダ及び誤り訂正デコーディング方法
JP2002314998A (ja) 同時的フォーマット縮小方法、及びエンコード・ビデオ信号のデコード方法
McVeigh et al. A software-based real-time MPEG-2 video encoder
Reusens et al. Dynamic coding of visual information
Uchihara et al. Fast H. 264/AVC stream joiner for interactive free view-area multivision video
US6788225B2 (en) System and method for intraframe timing in multiplexed channel
Tsung et al. Video encoder design for high-definition 3D video communication systems
Bhaskaran et al. The MPEG Video Standards

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MOTOROLA MOBILITY LLC

Free format text: FORMER OWNER: GENERAL INSTRUMENT HOLDING CO., LTD.

Effective date: 20130917

Owner name: GENERAL INSTRUMENT HOLDING CO., LTD.

Free format text: FORMER OWNER: GENERAL INSTRUMENT CORPORATION

Effective date: 20130917

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130917

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: California, USA

Patentee before: General Instruments Holding Co.,Ltd.

Effective date of registration: 20130917

Address after: California, USA

Patentee after: General Instruments Holding Co.,Ltd.

Address before: American Pennsylvania

Patentee before: GENERAL INSTRUMENT Corp.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160309

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC

CX01 Expiry of patent term

Granted publication date: 20070110

CX01 Expiry of patent term