CN101378507B - 块效应去除系统和方法 - Google Patents

块效应去除系统和方法 Download PDF

Info

Publication number
CN101378507B
CN101378507B CN2008100055441A CN200810005544A CN101378507B CN 101378507 B CN101378507 B CN 101378507B CN 2008100055441 A CN2008100055441 A CN 2008100055441A CN 200810005544 A CN200810005544 A CN 200810005544A CN 101378507 B CN101378507 B CN 101378507B
Authority
CN
China
Prior art keywords
pixel
segment
block boundary
pixel groups
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008100055441A
Other languages
English (en)
Other versions
CN101378507A (zh
Inventor
南建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101378507A publication Critical patent/CN101378507A/zh
Application granted granted Critical
Publication of CN101378507B publication Critical patent/CN101378507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Abstract

提供一种块效应去除系统和方法。一种块效应去除系统，包括：像素片段提取单元，对于与图像的块边界相邻的每一像素组提取满足均匀性的像素片段；滤波模式确定单元，通过考虑提取的像素片段的大小确定与滤波方向相应的滤波模式；方向向量确定单元，考虑滤波模式确定应用到与块边界相邻的像素的方向向量；和像素片段滤波单元，根据滤波方向对与块边界相邻的像素片段的整个区域滤波。

Description

块效应去除系统和方法
本申请要求于2007年8月30日提交到韩国知识产权局的第2007-87681号韩国专利申请的优先权，该申请公开于此以资参考。
                        技术领域
本发明的多方面涉及一种块效应去除系统和方法，更具体地讲，涉及一种提取同种像素片段，根据方向向量对提取的像素片段滤波从而可去除块效应的块效应去除系统和方法。
                        背景技术
图像数据的编码对经由具有固定带宽的网络发送图像或将图像存储在存储介质中是关键的。已经对高效地发送和存储图像进行了很多研究。最广泛地使用基于变换的编码方法，更具体地讲，广泛地使用离散余弦变换(DCT)技术。
基于局部DCT的编解码器(例如，运动图像专家组(MPEG)、联合图像专家组(JPEG)和H.264)利用图像的局部相关性。也就是，这种编解码器将图像分为多个包括N×N像素的块，并且对每块单独应用DCT。在这种情况下，由于对每块应用DCT，因此断开了相邻块之间的连接，并且不连续的频率显示在块边界。
随后，当基于DCT的编解码器处理图像时，可明显地看出图像按边界被分为块。边界被称为块伪像(blocking artifact)，并且块效应指示发生块伪像的效应。
MPEG2是数字广播的标准，并且移动装置(例如DMB)使用块基于DCT的编解码器(例如，作为运动图像的标准的H.264)。因此，需要开发去块技术。
可通过使用滤波器(例如，低通滤波器(LPF))并对块边界应用平滑化来解决块效应。然而，当对块边界应用平滑化时，需要不破坏包括在原始图像中的高频元素(例如，边缘)。
在传统技术中，存在控制用于每个像素的滤波强度的方法。在该方法中， 基于块边界的相邻块被分为光滑对(smooth pair)和细节对(detailed pair)。另外，存在控制用于每块的滤波强度的方法。在该方法中，对每一像素做出图像的边缘图。在滤波方法中，已经使用执行重叠的DCT并且选择性地去除由于块效应的高频的方法。
然而，传统技术中的上述方法的缺点不适合可适用于移动终端的低复杂性方法。具体地讲，在例如DMB的移动广播中，由于传输线的限制，根据相对比特率压缩图像，因此容易产生块伪像。
因此，需要一种可适用于各种设备并且最小化操作的复杂性和存储器使用的方法。
                            发明内容
本发明的多方面提供一种基于块边界对均匀像素片段滤波并且去除块效应的块效应去除系统和方法。
本发明的多方面还提供一种在均匀像素片段内滤波并且防止边缘区域的不期望破坏的块效应去除系统和方法。
本发明的多方面还提供一种基于块边界在相同方向上在像素片段内滤波并且可获得具有较少伪像的恢复图像的块效应去除系统和方法。
本发明的多方面还提供一种根据像素片段的长度改变滤波模式并且基于块边界进行方向性滤波以减小附加平滑化的块效应去除系统和方法。
根据本发明的一方面，提供一种块效应去除系统，包括：像素片段提取单元，对于与图像的块边界相邻的每一像素组提取满足均匀性的像素片段；滤波模式确定单元，通过考虑提取的像素片段的大小确定与滤波方向相应的滤波模式；方向向量确定单元，考虑滤波模式确定应用到与块边界相邻的像素的方向向量；和像素片段滤波单元，根据滤波方向对与块边界相邻的像素片段的整个区域滤波。
像素片段提取单元包括：像素组插值单元，使用像素组的开始像素的像素值和结束像素的像素值在开始像素和结束像素之间插值；均匀性确定单元，比较在对像素组的每一像素位置插值之前的像素值和插值之后的像素值，并且确定像素组的均匀性；和像素组分割单元，基于均匀性分割像素组，并且从分割的部分选择块边界部分。
根据本发明的一方面，提供一种块效应去除方法，包括：对与图像的块 边界相邻的每一像素组提取满足均匀性的像素片段；通过考虑提取的像素片段的大小确定与滤波方向相应的滤波模式；通过考虑滤波模式确定应用到与块边界相邻的像素的方向向量；和根据滤波方向对与块边界相邻的像素片段的整个区域滤波。
确定方向向量的步骤确定具有最小像素值差的方向为方向向量，通过使用与像素组的特定像素垂直、平行和对角的方向上的像素间的像素值差获得该最小像素值差。
所述对像素片段的整个区域滤波的步骤通过对与块边界相邻的像素应用相同的滤波方向来对像素片段的区域滤波。
将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。
                            附图说明
通过下面结合附图对实施例进行的描述，本发明的这些和/或方面和有点将会变得更加清楚和更易于理解，其中：
图1示出根据本发明实施例的块效应去除系统；
图2示出图1的块效应去除系统的像素片段提取单元；
图3示出根据本发明实施例的通过重复分割像素组提取像素片段的操作；
图4示出根据本发明实施例的插入像素组并确定均匀性的操作；
图5示出根据本发明实施例的确定是否分流像素片段并确定滤波模式的操作；
图6示出根据本发明实施例的根据通过使用像素组确定的方向向量对像素片段滤波的操作；
图7是根据本发明实施例的块效应去除方法；和
图8是详细描述图7的提取像素片段的方法的流程图。
                            具体实施方式
现在将对本发明实施例进行详细参照，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述示例性实施例以解释本发明。
图1示出根据本发明实施例的块效应去除系统。
参照图1，块效应去除系统包括：像素片段提取单元101、分流确定单元102、滤波模式确定单元103、方向向量确定单元104和像素片段滤波单元105。
对于与图像的块边界相邻的每一像素组，像素片段提取单元101可提取满足均匀性的像素片段。例如，对于与图像的块边界相邻的每一像素组，像素片段提取单元101可重复分割像素组，直到均匀性满足均匀性的预定标准。对像素组进行分割，像素片段提取单元101可从分割的部分选择块边界部分。
具体地讲，对于每一像素组，像素片段提取单元101可根据均匀性是否满足预定均匀性来分割像素组。另外，根据均匀性是否满足预定均匀性，对分割的像素组进行再分割。也就是，像素片段提取单元101可根据均匀性通过重复分割来从像素组提取满足预定均匀性的像素组。
作为另一示例，像素片段提取单元101可顺序提取像素片段。首先，像素组可被分为可被分割的片段单元。此外，像素片段提取单元101可对分割为片段单元的整个像素组确定均匀性。显示满足预定标准的均匀性的像素组中具有最大大小的像素组可被提取作为像素片段。
例如，每一像素组是与基于图像的块边界两侧相邻的单行像素。也就是，每一像素组指示基于图像的块边界面向彼此的单行像素。
这里，尽管每一像素组是单行像素，但是本发明不限于所述示例性实施例。因此，每一像素组可以是至少两行像素。然而，在本说明书中，每一像素组被设置为单行像素。
例如，像素片段提取单元101使用像素组的开始像素的像素值和结束像素的像素值在开始像素和结束像素之间进行插值。此外，像素片段提取单元101将对像素组的每一像素位置插值之前的像素值和插值之后的像素值进行比较，并且确定像素组的均匀性。此外，像素片段提取单元101基于均匀性分割像素组，并且从分割的部分选择块边界部分。将参照图2更加详细地描述像素片段提取单元101。
分流确定单元102可使用像素片段中与块边界两侧相邻的像素的像素值差确定是否分流像素片段。例如，当与块边界两侧相邻的像素的像素值差小于预定阈值时，分流确定单元102可将像素片段发送给滤波模式确定单元103。相反，当与块边界两侧相邻的像素的像素值差大于预定阈值时，分流确定单元102可将像素片段发送给分流106以执行分流。
滤波模式确定单元103可通过考虑提取的像素片段的大小确定与滤波方向相应的滤波模式。滤波模式确定单元103可确定第一滤波模式和第二滤波模式中的任何一个。第一滤波模式使用像素片段的大小在与块边界垂直的方向上滤波，第二滤波模式根据方向向量滤波。
例如，当像素片段的大小大于预定阈值时，滤波模式确定单元103可将像素片段确定为平滑直流(DC)区域，从而可将滤波模式确定为在与块边界垂直的方向上滤波的第一滤波模式。
当确定像素片段为平滑DC区域时，可将像素片段识别为人眼中的最敏感块。因此，当确定滤波模式为第一滤波模式时，可在与块边界垂直的方向上对块边界进行强滤波。
此外，当像素片段的大小小于预定阈值时，滤波模式确定单元103可将像素片段确定为复合DC区域，从而可将滤波模式确定为根据方向向量滤波的第二滤波模式。滤波模式确定单元103可将滤波片段传送给方向向量确定单元104。
当确定像素片段为复合DC区域时，可以理解该图像的边缘区域被包括在相应的像素片段中。在这种情况下，当在与块边界垂直的方向上进行滤波时，可能破坏边缘区域。因此，当确定像素片段包括边缘区域时，滤波模式确定单元103可确定滤波模式为根据方向向量滤波的第二滤波模式。
当滤波模式确定单元103确定了第二滤波模式时，方向向量确定单元104可考虑滤波模式确定将应用到与块边界相邻的像素的方向向量。
方向向量确定单元104使用像素组的像素值、与像素组相邻的上像素组的像素值以及与像素组相邻的下像素组的像素值确定将应用到与块边界相邻的像素的方向向量。方向向量确定单元104可使用像素组(而不是像素片段)确定方向向量。
此外，方向向量确定单元104可将具有最小像素值差的方向确定为方向向量。通过使用与像素组的特定像素垂直、平行和对角的方向上的像素之间的像素值差来获得最小像素值差。
当确定方向向量是与块边界平行的方向时，通过应用低通滤波(LPF)对块边界平滑滤波的效果微不足道。因此，当确定方向向量为与块边界平行的方向时，像素片段可被分流(106)，无需滤波。
这里，特定像素可以是与块边界相邻的像素中与块边界最邻近的像素。 也就是，所述特定像素可指示从块边界开始起的第二像素。参照图6更加详细地描述方向向量确定单元104。
像素片段滤波单元105可根据滤波方向基于块边界对像素片段的整个区域滤波。也就是，当滤波模式确定单元103确定第一滤波模式时，像素片段滤波单元105可以在与块边界垂直的方向上对像素片段的整个区域滤波。
此外，当滤波模式确定单元103确定第二滤波模式时，像素片段滤波单元105可根据方向向量对像素片段的整个区域滤波。
像素片段滤波单元105可通过对与块边界相邻的像素应用相同的滤波方向来对像素片段的区域滤波。也就是，基于块边界通过在相同滤波方向上滤波可恢复具有较少锯齿状边缘的图像。此外，像素片段滤波单元105可仅在提取的像素片段内滤波来防止图像的边缘区域被破坏。
图2示出图1的块效应去除系统的像素片段提取单元101。
参照图2，像素片段提取单元101可包括像素组插值单元201、均匀性确定单元202和像素组分割单元203。
像素组插值单元201可使用像素组的开始像素的像素值和结束像素的像素值在开始像素和结束像素之间插值。也就是，可使用作为锚(anchor)的像素组的开始像素和结束像素对作为相应像素组的区域执行插值。
像素组插值单元201可对与块边界两侧相邻的所有像素块插值。当像素组插值单元201完成插值时，可确定像素组的开始像素和结束像素之间的每一位置的新的像素值。
像素组插值单元201可通过应用各种插值方法进行插值。然而，当像素组是与基于图像的块边界的两侧相邻的单行像素时，最好使用线性插值方法。
均匀性确定单元202可使用对于像素组的每一像素位置的插值之前的像素值与插值之后的像素值之间的像素值差确定像素组的均匀性。例如，均匀性确定单元202可使用根据像素值差的异常值(outlier)的数量确定像素组的均匀性。这里，异常值可指示这样一种像素，在该像素中，插值之前的像素值和插值之后的像素值之间的差大于预定阈值。
例如，当异常值的数量大于预定阈值时，均匀性确定单元202可确定像素组的均匀性不满足预定标准。
像素组分割单元203可考虑均匀性分割像素组。例如，当像素组的均匀性不满足预定标准时，像素组分割单元203可将像素组分成两半。此外，像 素组分割单元203可从分割的像素组选择块边界部分。
例如，像素片段提取单元101可重复分割像素组，直到均匀性满足预定标准。具体地讲，当像素组分割单元203分割像素组时，像素组插值单元201可对分割的像素组插值。此外，均匀性确定单元202可确定分割的像素组的均匀性，并且像素组分割单元203可根据分割的像素组的均匀性再次分割已分割的像素组。
根据本发明实施例，像素片段提取单元101可通过与上述重复操作分离的顺序操作提取像素片段。首先，可将像素组分割为可被分割的片段单元。此外，像素片段提取单元101可用新的像素值在分割为片段单元的整个像素组的开始像素和结束像素之间插值。
此外，像素片段提取单元101可将对像素组的每一像素位置插值之前的像素值与插值之后的像素值进行比较，并且确定均匀性。在显示满足预定标准的均匀性的像素组中具有最大大小的像素组可被提取作为像素片段。
也就是，与图2的像素片段提取单元101相反，该提取像素片段的顺序操作将像素组分割为可被分割的片段单元，并且提取显示满足预定标准的均匀性的像素组中具有最大大小的像素组作为像素片段。
图3示出根据本发明实施例的通过重复分割像素组提取像素片段的操作。
图3示出与图像的块边界相邻的像素组A和像素组B。像素组A和像素组B可以是整个块的一部分。在图3中，尽管单个块包括8×8像素，但是本发明不限于8×8像素。像素组A和像素组B可以是与块边界相邻的单行像素。
为了提取像素片段，使用与块边界两侧相邻的像素组A和像素组B。将参照图3详细描述像素组A。可以以与像素组A的相同方式从像素组B提取像素片段。
像素组A可包括基于块边界标识为A(8)至A(1)的像素。像素组插值单元可使用像素组的开始像素的像素值和结束像素的像素值在开始像素和结束像素之间插值。也就是，像素组插值单元使用指派给A(1)和A(8)的像素值对A(2)、A(3)、A(4)、A(5)、A(6)和A(7)的每一像素位置插入像素值。
也就是，使用A(1)和A(8)之间的关系指派对于A(2)、A(3)、A(4)、A(5)、A(6)和A(7)的每一像素位置的新的像素值。
在插值之后，均匀性确定单元可使用对每一像素位置的插值之前的像素值和插值之后的像素值确定整个像素组的均匀性。通过均匀性的确定，当整个像素组的均匀性不满足预定标准时，如图3所示，像素组分割单元可将像素组A分为两半，并且选择块边界部分。
像素片段提取单元可重复分割像素组A，直到像素组A的均匀性满足预定标准。如图3所示，像素片段提取单元可通过两个分割操作提取像素片段A。对于每一像素组，分割的数量可变化。
供参考，图3示出重复分割像素组A的操作。作为本发明示例性实施例，已经参照图2描述顺序提取像素片段的方法。也就是，可通过顺序操作从像素组A提取像素片段A。可以以与像素组A相同的方式从像素组B提取像素片段。
图4示出根据本发明实施例的对像素组插值并确定均匀性的操作。
像素组A包括如图2所示的定义为A(1)至A(8)的像素。像素组A具有每一像素位置的像素值。像素值代表像素特征，并且可包括亮度值、饱和度值、色彩值等。然而，像素值不限于特定像素特征，并且可根据系统被不同地确定。
例如，参照图4，以每一像素位置的A(1)至A(8)的顺序，像素组A可具有像素值73、75、77、79、78、76、73和71。这里，像素组插值单元可使用像素组A的开始像素A(1)和结束像素A(8)对A(2)、A(3)、A(4)、A(5)、A(6)和A(7)的像素值进行插值。参照图4，对于标识为A’(1)至A’(8)的每一像素位置，插入的值可具有新像素值73、72.x、72.x、72.x、71.x、71.x、71.x和71。
对每一像素位置插值之前的像素值和插值之后的像素值之间的差大于预定阈值的像素可被设置为异常值。这里，当异常值与具有差大于1的像素相应时，在图4中存在六个异常值。
可使用异常值的数量根据相应像素组的均匀性是否满足预定标准来确定像素组A的均匀性。当异常值的数量大于预定值时，可确定相应像素组的均匀性不满足预定对于均匀性的标准。
例如，假设要求异常值的数量小于四以满足像素组的均匀性。参照图4，由于像素组A的异常值的数量是六，因此像素组A不满足均匀性。因此，像素组A可被分为两半，并且可从分割的部分选择与块边界部分相应的从A(5)到A(8)的像素组。
此外，使用被分为两半的像素组A的开始像素A(5)和结束像素A(8)再次执行插值，从而可确定均匀性。通过重复的操作，像素组A可被重复分割，直到均匀性满足预定标准。可通过重复的分割操作，从像素组A提取均匀的像素片段。
图5示出根据本发明实施例的确定是否分流像素片段并且确定滤波模式的操作。
图5示出从像素组A提取的像素片段A、从像素组B提取的像素片段B。
分流确定单元可使用像素片段A和像素片段B中与块边界两侧相邻的像素的像素值差来确定是否分流像素片段A和像素片段B。
例如，分流确定单元可根据像素片段A的A(8)与像素片段B的B(1)之间的像素值差是否大于预定阈值来确定是否分流像素片段A和像素片段B。像素片段A的A(8)与像素片段B的B(1)与块边界两侧相邻。
当A(8)和B(1)之间的像素值差不大于预定阈值时，滤波模式确定单元对包括像素片段A和像素片段B的整个像素片段确定滤波模式。相反，当A(8)和B(1)之间的像素差大于预定阈值时，像素片段A和像素片段B可分流，而无需滤波。
滤波模式确定单元可通过考虑像素片段的大小确定与滤波方向相应的滤波模式。例如，可将像素片段的大小确定为像素片段A的长度与像素片段B的长度的和(像素片段的长度：L)。像素片段A和像素片段B与块边界相邻。
例如，当像素片段的大小大于预定阈值时，滤波模式确定单元可将像素片段确定为平滑DC区域。像素片段可指示包括像素片段A和像素片段B的区域。
在这种情况下，滤波模式确定单元可将滤波模式确定为在与块边界垂直的方向上滤波的第一滤波模式。平滑DC区域可指示图像的边缘区域没有包括在像素片段的区域中。
当像素片段的滤波模式被确定为第一滤波模式时，像素片段滤波单元可在与块边界垂直的方向上对像素片段的区域滤波。像素片段滤波单元可不考虑方向向量进行滤波。
相反，当像素片段的大小小于预定阈值时，滤波模式确定单元可将像素片段确定为复合区域。像素片段可指示包括像素片段A和像素片段B的区域。
在这种情况下，滤波模式确定单元可确定滤波模式为根据方向向量滤波 的第二滤波模式。复合区域可指示图像的边缘区域包括在像素片段的区域中。
图6示出根据本发明实施例的根据通过使用像素组确定的方向向量对像素片段滤波的操作。参照图6描述的方向向量确定单元与图1中的方向向量确定单元104相同。
当确定滤波模式为根据方向向量滤波的第二滤波模式时，方向向量确定单元104可确定将应用到像素片段的方向向量。例如，可使用像素组601的像素值、与像素组相邻的上像素组的像素值以及与像素组相邻的下像素组的像素值来确定应用到与块边界相邻的像素的方向向量。
像素组601指示像素组A和像素组B。例如，根据本发明实施例的方向向量确定单元104可通过以下操作确定方向向量。
首先，方向向量确定单元104可基于块边界对像素组A设置三个范围。此外，方向向量确定单元104可参照上像素组Aup和下像素组Adown。可对像素组B应用上述操作。当确定方向向量时，不考虑对每一像素组提取的像素片段的大小，而可考虑提取像素片段之前的像素组。
此外，方向向量确定单元104可分别对像素组A的像素、上像素组Aup 的像素和下像素组Adown的像素做索引。因此，对像素组A的每一像素从块边界开始可被分别索引为A(1)、A(2)和A(3)。当应用相同方法时，对于每一像素，上像素组Aup可被索引为Aup(1)、Aup(2)和Aup(3)，对于每一像素，下像素组Adown可被索引为Adown(1)、Adown(2)和Adown(3)。对于像素组B可应用上述索引方法。
此外，方向向量确定单元104可比较与像素组A和像素组B的块边界垂直的方向的方向向量的大小，从而可选择与具有较大大小的方向向量相应的像素组。也就是，比较|A(1)-A(3)|和|B(1)-B(3)|，并且可选择具有较大大小的像素组。这里，假设选择A。
此外，方向向量确定单元104可将具有最小像素值差的方向确定为方向向量。通过使用与像素组的特定像素垂直的方向上的像素、与像素组的特定像素平行的方向上的像素以及与像素组的特定像素对角的方向上的像素之间的像素值差获得该最小像素值差。
这里，垂直方向可指示|Aup(2)-Adown(2)|，平行方向可指示|A(1)-A(3)|，对角方向可指示|Aup(1)-Adown(3)|和|Aup(3)-Adown(1)|。方向向量确定单元104可将该最小像素值差确定为方向向量。
例如，当垂直方向|Aup(2)-Adown(2)|是最小像素值差时，由于垂直方向与块边界平行因此应用滤波来平滑块边界可能无效。当垂直方向是最小像素值差并且平行方向满足预定标准时，像素片段可被分流。相反，当平行方向不满足预定标准时，方向向量确定单元104可将第二最小像素值差确定为方向向量。
像素片段滤波单元可在对于与块边界相邻的像素的方向向量相同的方向上对像素片段602的区域滤波。像素片段滤波单元可基于块边界使用LPF执行平滑化。然而，为了不破坏高频分量(也就是，包括在实际图像中的边缘区域)，需要执行该平滑。根据本发明的多方面，可通过像素片段的分类确定滤波模式。此外，根据本发明的多方面，可对包括边缘的块边界执行方向滤波。
如图6所示，假设像素片段602包括像素片段A和像素片段B。
当确定方向向量为对角方向|Aup(3)-Adown(1)|时，对于与像素片段A和像素片段B中的块边界相邻的像素，可将滤波方向指派为对角方向。此外，像素片段滤波单元可在整个像素片段范围内滤波。由于滤波范围限于均匀像素片段，因此图像的边缘不被破坏，并且可仅对块边界滤波。
图7是根据本发明实施例的块效应去除方法。
在操作S701，块效应去除方法重复分割图像的像素组并且提取像素片段。
像素组可以是与块边界两侧相邻的单行像素。
在操作S702，块效应去除方法使用像素片段中与块边界两侧相邻的像素的像素值差来确定是否分流像素片段。
在操作S703，块效应去除方法通过考虑像素片段的大小确定与滤波方向相应的滤波模式。
操作S703中的确定步骤使用像素片段的大小确定第一滤波模式和第二滤波模式中的任何一个。第一滤波模式在与块边界垂直的方向上滤波，第二滤波模式根据方向向量滤波。
在操作S704，块效应去除方法考虑滤波模式确定应用到与块边界相邻的像素的方向向量。
操作S704中的确定步骤可使用像素组的像素值、与像素组相邻的上像素组的像素值和与像素组相邻的下像素组的像素值来确定应用到与块边界相邻的像素的方向向量。
操作S704中的确定步骤可确定具有最小像素值差的方向为方向向量。通过使用与像素组的特定像素垂直、平行和对角的方向上的像素之间的像素值差来获得最小像素值差。
在操作S705，块效应去除方法可根据滤波方向基于块边界对像素片段的整个区域滤波。
当确定第一滤波模式时，操作S705中的滤波步骤可在与块边界垂直的方向上对像素片段的整个区域滤波。
当确定第二滤波模式时，操作S705中的滤波步骤可根据滤波方向基于块边界对像素片段的整个区域滤波。
操作S705中的滤波步骤可通过对与块边界相邻的像素应用相同的滤波方向对像素片段的整个区域滤波。
由于参照图7没有进行的描述与参照图6进行的描述相同，因此省略相同的描述。
图8是详细描述图7的提取像素片段的方法。
在操作S801，像素片段提取方法可使用像素组的开始像素的像素值和结束像素的像素值在开始像素和结束像素之间插值。
在操作S802，像素片段提取方法可使用对像素组的每一像素位置的插值之前的像素值与插值之后的像素值之间的像素值差确定像素组的均匀性。
可使用根据像素值差的异常值的数量确定均匀性。
在操作S803，像素片段提取方法可基于均匀性分割像素组，并且从分割的部分选择块边界。
像素片段提取方法可重复分割像素组，直到均匀性满足预定标准。
由于参照图8没有进行的描述与参照图1至7进行的描述相同，因此省略相同的描述。
本发明的上述实施例可被记录在包括执行由计算机实现的各种操作的程序指令的计算机可读介质上。介质也可以只包括程序指令或者包括与程序指令相结合的数据文件、数据结构等。介质和程序指令可以是为本发明的目的特别设计并构建的介质和程序指令，或者可以是计算机软件领域的技术人员公知和可用的介质和程序指令。计算机可读介质的例子包括磁介质(例如硬盘、软盘和磁带)；光学介质(例如CD和DVD)；磁光介质(例如，光盘)；以及特别配制用于存储并执行程序指令的硬件装置(例如，只读存储器(ROM)、 随机存取存储器(RAM)、闪存等)。介质也可以是包括传输规定程序指令、数据结构等的信号的载波的传输介质(例如光学线或金属线、波导等)。程序指令的例子包括例如由编译器产生的机器码和包含可使用解释器由计算机执行的高级代码的文件。描述的硬件装置可被配制为用作一个或多个软件模块以执行本发明上述实施例的操作。
根据本发明的多方面，块效应去除系统和方法基于块边界对均匀像素片段滤波并且去除块效应。
根据本发明的另一方面，块效应去除系统和方法在均匀像素片段内滤波，并且防止不期望的边缘区域破坏。
根据本发明的另一方面，块效应去除系统和方法基于块边界在相同方向上在像素片段内滤波，并且可获得具有很少伪像的恢复图像。
根据本发明的另一方面，块效应去除系统和方法根据像素片段的长度改变滤波模式，并且基于块边界方向滤波以减小附加平滑化。
尽管已经显示和描述了本发明的一些实施例，但是本领域的技术人员应该理解，在不脱离本发明的精神和范围的情况下，可以对这些实施例进行各种改变，本发明的范围由权利要求及其等同物限定。

Claims (22)

1.一种块效应去除系统，包括： 
像素片段提取单元，对于与图像的块边界相邻的每一像素组提取满足均匀性的像素片段； 
滤波模式确定单元，通过考虑提取的像素片段的大小确定与滤波方向相应的滤波模式； 
方向向量确定单元，考虑滤波模式确定应用到与块边界相邻的像素的方向向量；和 
像素片段滤波单元，根据滤波方向对与块边界相邻的像素片段的整个区域滤波。 
2.如权利要求1所述的块效应去除系统，其中，每一像素组是与图像的块边界两侧相邻的单行像素。 
3.如权利要求1所述的块效应去除系统，其中，像素片段提取单元包括： 
像素组插值单元，使用像素组的开始像素的像素值和结束像素的像素值在开始像素和结束像素之间插值； 
均匀性确定单元，比较在对像素组的每一像素位置插值之前的像素值和插值之后的像素值，并且确定像素组的均匀性；和 
像素组分割单元，基于均匀性分割像素组，并且从分割的部分选择块边界部分。 
4.如权利要求3所述的块效应去除系统，其中，根据异常值的数量确定均匀性，在异常值中插值之前的像素值与插值之后的像素值的差大于预定值。 
5.如权利要求3所述的块效应去除系统，其中，对于与图像的块边界相邻的每一像素组，像素片段提取单元重复分割像素组，直到均匀性满足均匀性的预定标准。 
6.如权利要求1所述的块效应去除系统，还包括： 
分流确定单元，使用像素片段中与块边界两侧相邻的像素的像素值差确定是否分流像素片段。 
7.如权利要求1所述的块效应去除系统，其中，滤波模式确定单元确定第一滤波模式和第二滤波模式中的任何一个，第一滤波模式使用像素片段的大小在与块边界垂直的方向上滤波，第二滤波模式根据方向向量滤波。 
8.如权利要求7所述的块效应去除系统，其中，当确定第一滤波模式时，像素片段滤波单元在与块边界垂直的方向上对像素片段的区域滤波。 
9.如权利要求1所述的块效应去除系统，其中，方向向量确定单元使用像素组的像素值、与像素组相邻的上像素组的像素值以及与像素组相邻的下像素值来确定应用到与块边界相邻的像素的方向向量。 
10.如权利要求9所述的块效应去除系统，其中，方向向量确定单元确定具有最小像素值差的方向为方向向量，通过使用与像素组的特定像素垂直、平行和对角的方向上的像素间的像素值差获得该最小像素值差。 
11.如权利要求1所述的块效应去除系统，其中，像素片段滤波单元通过对与块边界相邻的像素应用相同的滤波方向来对像素片段的区域滤波。 
12.一种块效应去除方法，包括： 
对于与图像的块边界相邻的每一像素组提取满足均匀性的像素片段； 
通过考虑提取的像素片段的大小确定与滤波方向相应的滤波模式； 
通过考虑滤波模式确定应用到与块边界相邻的像素的方向向量；和 
根据滤波方向对与块边界相邻的像素片段的整个区域滤波。 
13.如权利要求12所述的块效应去除方法，其中，每一像素组是与图像的块边界两侧相邻的单行像素。 
14.如权利要求12所述的块效应去除方法，其中，所述提取步骤包括： 
使用像素组的开始像素的像素值和结束像素的像素值在开始像素和结束像素之间插值； 
比较在对像素组的每一像素位置插值之前的像素值和插值之后的像素值，并且确定像素组的均匀性；和 
基于均匀性分割像素组，并且从分割的部分选择块边界部分。 
15.如权利要求14所述的块效应去除方法，其中，根据异常值的数量确定均匀性，在异常值中插值之前的像素值与插值之后的像素值的差大于预定值。 
16.如权利要求14所述的块效应去除方法，其中，所述提取步骤，对于与图像的块边界相邻的每一像素组，重复分割像素组，直到均匀性满足均匀性的预定标准。 
17.如权利要求12所述的块效应去除方法，还包括： 
使用像素片段中与块边界两侧相邻的像素的像素值差确定是否分流像素 片段。 
18.如权利要求12所述的块效应去除方法，其中，所述确定滤波模式的步骤确定第一滤波模式和第二滤波模式中的任何一个，第一滤波模式使用像素片段的大小在与块边界垂直的方向上滤波，第二滤波模式根据方向向量滤波。
19.如权利要求18所述的块效应去除方法，其中，当确定第一滤波模式时，所述对像素片段的整个区域滤波的步骤在与块边界垂直的方向上对像素片段的区域滤波。
20.如权利要求12所述的块效应去除方法，其中，所述确定方向向量的步骤使用像素组的像素值、与像素组相邻的上像素组的像素值和与像素组相邻的下像素组的像素值来确定应用到与块边界相邻的像素的方向向量。
21.如权利要求20所述的块效应去除方法，其中，所述确定方向向量的步骤确定具有最小像素值差的方向为方向向量，通过使用与像素组的特定像素垂直、平行和对角的方向上的像素间的像素值差获得该最小像素值差。
22.如权利要求12所述的块效应去除方法，其中，所述对像素片段的整个区域滤波的步骤通过对与块边界相邻的像素应用相同的滤波方向来对像素片段的区域滤波。 
CN2008100055441A 2007-08-30 2008-02-15 块效应去除系统和方法 Active CN101378507B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2007-0087681 2007-08-30
KR1020070087681A KR101392482B1 (ko) 2007-08-30 2007-08-30 블록킹 효과 제거 시스템 및 방법
KR1020070087681 2007-08-30

Publications (2)

Publication Number Publication Date
CN101378507A CN101378507A (zh) 2009-03-04
CN101378507B true CN101378507B (zh) 2010-12-22

Family

ID=40407611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100055441A Active CN101378507B (zh) 2007-08-30 2008-02-15 块效应去除系统和方法

Country Status (4)

Country Link
US (1) US8131106B2 (zh)
JP (1) JP5231097B2 (zh)
KR (1) KR101392482B1 (zh)
CN (1) CN101378507B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012113574A1 (en) * 2011-02-25 2012-08-30 Panasonic Corporation Efficient decisions for deblocking
US8995749B2 (en) * 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
RU2684193C1 (ru) * 2015-05-21 2019-04-04 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ для компенсации движения в видеоизображении
WO2020184461A1 (ja) * 2019-03-08 2020-09-17 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717053A (zh) * 2004-07-02 2006-01-04 三星电子株式会社 用于消除基于块编码的图像的不连续性的滤波器及其方法
CN1820512A (zh) * 2004-03-11 2006-08-16 学校法人大洋学园 消除块效应的方法、介质和滤波器
CN1937780A (zh) * 2005-09-23 2007-03-28 逐点半导体（上海）有限公司 压缩视频中分块效应的消除方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0269092A (ja) * 1988-09-02 1990-03-08 Matsushita Electric Ind Co Ltd サブナイキスト符号化装置
CA2171574C (en) * 1996-03-12 2000-10-03 Brian W. Tansley Photometric measurement apparatus
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6219097B1 (en) * 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
JP4002655B2 (ja) * 1998-01-06 2007-11-07 株式会社日立製作所 パターン検査方法およびその装置
JPH11298898A (ja) * 1998-04-16 1999-10-29 Victor Co Of Japan Ltd ブロック歪低減回路
US6486915B2 (en) * 1999-04-20 2002-11-26 Intel Corporation Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit
JP4112762B2 (ja) * 1999-10-05 2008-07-02 株式会社東芝 画像処理装置およびｘ線診断装置
FR2818862A1 (fr) * 2000-12-26 2002-06-28 Koninkl Philips Electronics Nv Procede de traitement de donnees
FR2825817B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de traitement d'images pour l'extraction automatique d'elements semantiques
JP3930360B2 (ja) * 2002-03-29 2007-06-13 株式会社東芝 動画像復号装置
JP4183993B2 (ja) * 2002-07-16 2008-11-19 シャープ株式会社 フィルタ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1820512A (zh) * 2004-03-11 2006-08-16 学校法人大洋学园 消除块效应的方法、介质和滤波器
CN1717053A (zh) * 2004-07-02 2006-01-04 三星电子株式会社 用于消除基于块编码的图像的不连续性的滤波器及其方法
CN1937780A (zh) * 2005-09-23 2007-03-28 逐点半导体（上海）有限公司 压缩视频中分块效应的消除方法

Also Published As

Publication number Publication date
CN101378507A (zh) 2009-03-04
US20090060376A1 (en) 2009-03-05
JP2009060588A (ja) 2009-03-19
KR20090022376A (ko) 2009-03-04
KR101392482B1 (ko) 2014-05-07
US8131106B2 (en) 2012-03-06
JP5231097B2 (ja) 2013-07-10

Similar Documents

Publication Publication Date Title
KR101199498B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
CN111091091A (zh) 目标对象重识别特征的提取方法、装置、设备及存储介质
CN110115038A (zh) 编码设备、编码方法和程序、解码设备、解码方法和程序
US20100142617A1 (en) Method and apparatus for processing a video signal
EP3200459B1 (en) Encoding and decoding methods, encoding and decoding apparatuses
US20110262049A1 (en) Vision-based compression
CN105631813A (zh) 图像处理方法
JP4616564B2 (ja) デジタルウォーターマーキングを利用した動画像符号化／復号化装置及びその方法
CN101378507B (zh) 块效应去除系统和方法
CN108492342B (zh) 合并碎图的方法、装置、处理器、存储介质和终端
WO2014013673A1 (ja) 動画像生成装置および動画像生成方法
US8363978B2 (en) System and method for block edge location with varying block sizes and offsets in compressed digital video
US6538688B1 (en) Method and apparatus for performing an automated inverse telecine process
WO2010151785A1 (en) Time compressing video content
KR101281850B1 (ko) 영상 디스크립터 생성 장치
CN102722855B (zh) 一种可逆水印嵌入方法、提取方法以及装置和系统
CN112584158B (zh) 视频质量增强方法和系统
Tudoroiu et al. Block map implementation of difference expansion reversible watermarking
Milani et al. Compression of photo collections using geometrical information
US9031333B2 (en) Image processing device, image processing method, and program
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
EP3537379B1 (en) Image difference determination device, method and program
JP2015041796A (ja) 画像処理方法、画像処理装置、画像処理プログラム、およびデータ構造
JP2018085617A (ja) 画像処理装置、画像処理システム及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant