CN1179064A - 动态矢量高速测算装置和动态矢量测算方法 - Google Patents
动态矢量高速测算装置和动态矢量测算方法 Download PDFInfo
- Publication number
- CN1179064A CN1179064A CN97116551A CN97116551A CN1179064A CN 1179064 A CN1179064 A CN 1179064A CN 97116551 A CN97116551 A CN 97116551A CN 97116551 A CN97116551 A CN 97116551A CN 1179064 A CN1179064 A CN 1179064A
- Authority
- CN
- China
- Prior art keywords
- square
- motion vector
- treatment element
- search window
- measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 243
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000011068 loading method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 11
- 210000004027 cell Anatomy 0.000 description 43
- 238000012544 monitoring process Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 21
- 238000013500 data storage Methods 0.000 description 20
- 210000000352 storage cell Anatomy 0.000 description 20
- 241001269238 Data Species 0.000 description 16
- 238000007792 addition Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 6
- 238000005265 energy consumption Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
在一个动态矢量测算装置中,一实时图象存储单元存储实时图象的图象数据,和一参考图象存储单元存储参考图象的图象数据,一检索窗确定单元确定已测算的动态矢量的测算历程,和根据测算的历程确定检索窗。检索窗的形状、尺寸和位置是由测算历程所决定,检索窗是由若干矩形参考区所组成。一方块对比电路用于对实时方块和检索窗中每个参考区的方块作对比处理,以确定动态矢量,检索窗可因方块对比电路的电压温度和负载而受限制。
Description
本发明是有关一种测算动态矢量的装置和方法以用于动态影像预编码处理时补偿图象的运动。
常规的测算动态矢量的方法和装置中,用预编码处理展现的实时图象是分成很多方块,如:水平方向和垂直方向各有16个象素的方块,这种方块称为实时方块。在参考图象中为每个上述的实时方块预定出一个检索区,使每个实时方块中一个象素的位置就是该检索区位置中相应的水平位置和垂直位置的中心。在参考图象中的预定检索区称为检索窗,方块对比处理是在一个特定的实时方块和相应于该特定实时方块的检索窗之间进行的,用以测算出一个位置,并在该位置上用预定评估公式计算求出最小值,依此而得到动态矢量。常规的动态矢量测算装置是致力于达到能更正确地获取动态矢量。
常规动态矢量测算装置的第一个实例是公布于例如日本特许公报JP-A-昭和61-201583中。其中参考区是受一限定值的限制的,即在实时帧之前的一帧中检测动态矢量的变化量时只要动态矢量的变化量超过限定值,即将该限定值输出。
常规动态矢量测算装置的第二个实例是由日本特许公报JP-a-平成5-328333中所建议其中有一些检索窗或检索区中的动态矢量的位置是各不相同的。在这些检索窗或区中相应于从实时帧之前的一帧中检出的动态矢量的变化量而选出一个检索窗或区。
常规动态矢量测算装置的第三个实例是由日本特许公报JP-A-平成-7-203457所公开。其中,将方块对比处理时在平行状态算出的差值的绝对值进行累计处理。于是在累计处理时信号缓冲寄存器的容量减少,从而使处理速度提高。
常规动态矢量测算装置的第四个实例是日本特许公开JP-A-平成-7-250328。其中,用于补偿运动图象预测的动态矢量是按照与很多有少量硬件数的预测状态相应而进行测算的。
在上述这些常规实例的动态矢量测算技术中存在很多问题如下:
1.第一个问题的要点是:在第一个实例中,动态矢量的检索区受限定值的限制,功率损耗不能够下降,那是因为日本特许公开JP-A-昭和-61-201583所描述的动态矢量测算装置中限定值仅仅被引入参考区,所以对方块对比处理所需的计算时间和计算量实际上都不能得以减少,亦即,正因为计算时间和计算量都减少了,所以动态矢量测算装置的功率损耗不可能减少。
按照日本特许公报JP-A-平成-70250328和JP-A-平成-7-203457中的描述,方块对比处理中,因采用并行处理可使时间减少。但是,运行时间实际上都减少不了,这是因为:如按日本特许公报JP-A-昭和-61-201583所述那样在动态矢量测算装置中具有限定值的话,则上述的并行处理过程的并行度即会减少,从而使运行时间不能减少。
2.第二个问题是:在常规的动态矢量测算装置为日本特许公报JP-A-平成-5-328333中那样为动态矢量备有若干个参考区,时,并不能获得正确的动态矢量,这是因为当图象中有一个以上的目标处在运动之中的复雅图象需要采用从预备好的参考区中选出最佳参考区时,目标的运动方向就无法唯一地确定下来,从而就无法从预备好的若干个参考区中选出最佳参考区。
而且,上述日本特许公报JP-A-平成-5-328333中新述的动态矢量测算装置中,如果参考区的尺寸和形状不能预先确定,则执行方块对比处理的装置的并行度就要降低,于是,因参考区形状的限制使适当的参考区不能被利用,导致不能获得正确的动态矢量。
3.第三个问题是:在日本特许公报JP-A-平成-7203457所述的动态矢量测算装置中,在并行状态中进行累计处理时计算绝对值的差值是采用小的信号缓冲寄存器。但是实际上,在执行平行状态中绝对值差值的累计处理过程中,方块对比电路的硬件数量是增加了,因此用于方块对比电路的芯片面积也增加了,从而使能耗也随之增加。又因为在日本特许公报JP-A-平成-203457和日本特许公报JP-A平成-7250328中所述的动态矢量测算装置中,需要采用大量的引线以用于作为最小单元的方块对比电路的处理单元。使有效数据能连续不断地进入相应的各个处理单元,所以并行度就增加了。其结果将因引线而使芯片所需面积略有增加。
此外,上述日本特许公报JPA-平成-7-203457和JPA平成-7250328所述动态矢量测算装置中,还有一个问题,即最小值确定单元确定了相应各处理元件中累计的差值的绝对值总和的最小值,且用于引线的芯片面积相应增加,因为连续最小值确定单元需要总量极大的引线。
4.第四个问题是:如果在并行状态下作绝对值差值累计计算的动态矢量测算装置中允许改变参考区的大小和形状,则进行并行状态下绝对差值累计计算的方块对比电路的硬件数量将增加。从而芯片面积将增加而能耗亦增加。此时,并行度下降,因为需要大量的引线用于连续将有效数据送入构成方块对比电路中最小单元的处理元件中去。
亦即,因为随着参考区形状和大小的改变,处理元件中数据输入的次序有很大变化,从而使从存储单元中读出的参考数据的过程十分复杂,导致芯片面积以及能耗的增加。
5.第五个问题是在动态矢量用许多预定模式测算的动态矢量测算装置中方块对比电路的芯片面积要增加,这是因为在日本特许公报JPA-平成-7-250328中所描述的那种动态矢量测算装置中,为了确定各处理元件上所累计的绝对值差值的最小值,就需要大量引线以便与最小值确定单元连续起来,其结果就因引线的需要而使芯片面积有所增加。
此外,用于方块对比电路所需的FIFO(先进先出)级数也会增加。
因此,本发明的目的就是要解决上述的各种问题,于是,本发明的一个目的就是要提供一种动态矢量的测算方法和测算装置,以使用很低的功耗及很省的芯片面积来高精度地测算动态矢量。
本发明的另一目的是提供一种动态矢量的测算方法和测算装置,其中当一方块对此处理施行一并行处理时,其并行度是不会降低的。
本发明的另一目的是提供一种动态矢量的测算方法和测算装置,其中很多种预定模式的动态矢量都可以被测算,而方块对比电路的芯片面积都还能有所节省。
本发明的又一目的是提供一种动态矢量的测算装置,其中的方块对比电路新用芯片所节省,且与参考区的形状和大小无关。
为了实现本发明的一个方案是:一种动态矢量测算装置包括:一实时图象存储单元用于存储一实时图象的图象数据,一参考图象存储单元用于存储参考图象的图象数据,一检索窗确定单元用以确定已测动态矢量的测算历程和按该测算历程确定检索窗,其特征在于:检索窗由矩形参考区所组成,一方块对比电路用于对实时方块和检索窗中的每个参考方块进行方块对比处理以确定一动态矢量,和一控制电路用以从实时图象存储单元中读出实时方块的图象数据并提供给方块对比电路、又用以从参考图象存储单元中读出检索窗中每个参考方块的图象数据并提供给方块对比电路,又用以控制方块对比电路使其对实时方块和检索窗中的每个参考方块作方块对比处理。
根据测定历程至少确定出一个检索窗的形状、一个检索窗的尺寸和一个检索窗的位置。
检索窗确定单元确定出在先测定过的动态矢量的数量是否超过预定数量,当确定出在先测定动态矢量数小于预定数时,检索窗确定单元即略去在先测算的动态矢量并确定检索窗的最佳尺寸和形状,不然,当确定出在先测算动态矢量超过预定数时,检索窗确定单元即产生一个二维图,用水平值和垂直值来绘出每个动态矢量的矢量图。于是,检索窗确定单元即确定出检索窗的最佳尺寸和形状以便检索窗包含了在先测算动态矢量的历程,而且,检索窗确定单元再分别计算在先被测算动态矢量在水平和垂直方向上的变化的平均值,并确定出检索窗的最佳位置,以致使检索窗的中心位置按平均值移动。按此方式尺寸、形状和位置都可独立地被确定下来。否则,尺寸、形状和位置则综合确定下来。
动态矢量测算装置还包括:一负载检测电路用于检测动态矢量测算装置中心的一个负载或者检测方块对比电路的一个负载。此时,检索窗确定单元根据测算历程和被检负载确定检索窗。而且,动态矢量测算装置还包括一电压检测电路用于检测电源电压。此时,检索窗确定单元就根据测算历程和被检电源压确定检索窗。而且动态矢量测算装置还包括温度检测电路用于检测方块对比电路的芯片温度。此时,检索窗确定单元就根据测算历程和被检温度来确定检索窗。此外检索窗确定单元还可根据测算历程确定出至少一个以象素为单元的检索窗中的无用区,并在该无用区中的每个象素上设置一个标记。以便根据无用区中象素上的标记使进行方块对比处理时,凡是包含有无用区中任何象素的参考方块都一律作废。
方块对比电路还包括具有M列N行(M和N都是正整数)的处理元件,以便在实时图象和每个参考方块之间类似流水处理的方式进行计算,此时方块对比电路还包括:一分级选择器结构以便使每个处理元件由每个参考方块中的一个象素数据提供。而且动态矢量测算装置还包括分别由M列和N行组成的(M+N)参考数据总线,和由N行组成的实时数据总线。此时,每个(M+N)参考数据总线在流水处理的一个单位时间内传递给任何一个参考方块一个象素数据。而每一实时方块由M列和N行组成。
处理元件在N行中是逐级相连接的,并且N行也是逐级相连的。
另一种情况是,处理元件在N行中是逐级相连的(N是偶数)。而上半部的N行中的每个奇数行通过第一组先进先出(FIFO)单元组逐级相连,即每个第一先进先出(FIFO)单元供给两个相邻的奇数行;上半部的N行中的每个偶数行则通过第二组先进先出(FIFO)单元组逐级相连,即每个第三先进先出(FIFO)单元供给两个相邻的偶数行;而下半部N行中的每个奇数行通过第三组先进先出(FIFO)单元组逐级相连,即每个第三先进先出(FIFO)单元供给两个相邻的奇数行;下半部的N行中的每个偶数行通过第四组先进先出(FIFO)单元组逐级相连,即每个第四先进先出(FIFO)单元供给两个相邻的偶数行。而且动态矢量测算装置还包括第五和第六组先进先出(FIFO)单元组,分别与上半部的奇数行和偶数行已经逐级相连的处理元件的最后一级连接。此时,每个从第一到第四先进先出(FIFO)单元组的级数是M,而第五组先进先出单元组的级数则是(M×N/2+M),第六组先进先出单元组的级数则是(M×N/2)。
为了实现本发明的另一方案是:一种动态矢量测算装置包括:M列N行处理元件(M和N是正整数),其特征在于N行中每行的处理元件都逐级相连的,其中每个处理元件计算出相应各实时方块中象表数据和各参考方块中象素数据之间的差值的绝对值,并将此绝对值加到处理元件的前一级的输出中去,然后再将此相加后的结果输出到处理元件的后一级中去。其特征在于:其中N行是逐级相连的,以便允许作流水处理,M列上分别提供有M个参考数据列总线,N行上分别提供有N个参考数据行总线,有M×N个选择器分别提供给处理元件,以便使相应的M个参考数据列总线上有一个象素数值,和相应的N个参考数据行总线上也有一个象素数值到达相应的处理元件上从而构成参考方块象素数据,而且,实时方块象素数据总线将实时方块象素数据传递给每个处理元件。
动态矢量测算装置还包括:一参考方块数据总线组有将参考方块按行为单位的象素数据作为象素数据序列传输,一第一选择器组用以分别供给M个参考数据列总线,其中每个选择器在一个序列中选出一个象素数据供给相应的参考数据列总线,以及一第二选择器组用以分别供给N个参考数据行总线,其中每个选择器在一个序列中选出一个象素数据供给相应的参考数据行总线。此时一旦相应的实时方块象素数据是通过实时方块象素数据总线供给时,则每个处理元件即将相应的实时方块象素数据加以闭锁。而且,每个处理元件是与时钟信号同步完成对差值绝对值的计算和相加计算,以及将此相加结果输出并送达下一级处理元件中去,于是,处理元件计算一个参考方块的周期大约是从第一次到第(M×N)次的时间,而计算另一个参考方块的周期大约是从第二次到(M×N+1)次的时间。
实时方块是由M和N行的象素所组成。
一种情况是,处理元件是在N行的每行中逐级相连的,而各行N又都逐级相连。
另一种情况是处理元件是在N行的每行中逐级相连的(N是偶数),而且,上半部的N行中的各奇数行通过第一先进先出(FIFO)单元组逐级相连,即其中每个先进先出(FIFO)单元供给两个相邻的奇数行;上半部的N行中的偶数行通过第二先进先出(FIFO)单元组逐级相连,其中每个先进先出(FIFO)单元供给两个相邻的偶数行,下半部的N行中的奇数行通过第三先进先出单元组逐级相连,其中每一个是供给两个相邻的奇数行,下半部的N行中的偶数行是通过第四先进先出单元组逐级相连,其中每一个是供给两个相邻的偶数行。而且,方块对比电路还包括第五和第六先进先出(FIFO)单元组与上半部的奇数行和偶数行的已处在级连之中的处理元件最后一级分别连接。此时每个从第一到第四FIFO单元中的级数是(M×N/2+M),第六FIFO单元中的级数是(M×N/2),动态矢量测算装置还包括:一个第一加法器用于将第五和第六FIFO单元输出的结果相加;一个第二加法器用于将第五FIFO单元的输出和下半部奇数级相连的最后一级中的处理元件的输出相加;一个第三加法器用于将第六FIFO单元的输出和下半部偶数级连的最后一级的处理元件的输出相加;一个第四加法器用于将下半部偶数级连的最后一级中处理元件的输出相加;和一个第五加法器用于将第二加法器的输出和第三加法器的输出相加。
又一情况是,N行(N是一偶数)的每一行中的处理元件是逐级相连的,而且,上半部中N行的每一行都通过第一先进先出(FIFO)单元组逐级相连,其中的每一个都提供给两个相邻的行。下半部N行中每行都通过第二FIFO单元组逐级相连,其中每一个都供给相邻两行,此外,方块对比电路还包括一个第三FIFO单元组用于与上半部级连的最后一级中的处理元件连接,此时第一和第二FIFO单元组中的第一个的级数是M,而第三FIFO单元的级数是(M×N/2)。动态矢量测算装置还可包括:一个加法器用于将第三FIFO单元的输出和下半部中级连的最后一级中的处理元件的输出相加。
再一情况是:N行(N是一偶数)的每一行中的处理元件是逐级相连的,而且,N行中的每奇数行是通过第一FIFO单元组逐级相连的,其中的每一个供给两个相邻的奇数行;N行中每个偶数行是通过第二FIFO单元组逐级相连的,其中每一个都供给相邻两行,此时,第一和第二FIFO单元组中每一个的级数是M。动态矢量测算装置还可包括:一个加法器用于将奇数级连的最后一级中的处理元件的输出和偶数级连的最后一级中的处理元件的输出相加。
为了实现本发明的另一方案是:一种测算动态矢量的方法,其特征在于包括下列各步骤:
从在先测算的动态矢量中确定测算历程;
根据测算历程确定检索窗,其中的检索窗是由若干矩形参考区所组成;和对实时方块和检索窗的参考方块进行方块对比处理用以确定动态矢量。
附图的图面说明如下
图1是根据本发明的第一实施例的动态矢量测算装置的结构的方框图;
图2是如图1所示第一实施例的动态矢量测算装置中方块对比单元的结构的方框图;
图3是解释如图2所示第一实施例中方块对比单元中处理元件连接关系的接线图;
图4是说明图3中处理元件内部结构的方框图;
图5是如图1所示第一实施例的动态矢量测算装置中说明动态矢量监测单元结构的框图;
图6A是本发明第一实施中说明检索窗是由许多矩形集聚而成的示意图;
图6B是如图6A所示检索窗的局部放大图;
图7是解释在先图象,包括参考方块的检索窗和一实时图象中实时方块之间相互关系的示意图;
图8A和8B是本发明第一实施例中解释方块对比单元中方块对比处理过程的草图;
图9A到9F是本发明第一实施例中解释方块对比单元和参考方块图象数据的选择和供给的方块对比处理过程的草图。
图10是本发明的第一实施例中解释参考方块图象数据的选择和供给的草图;
图11是本发明的第二实施中说明方块对比电路的框图;
图12是本发明第三实施例中说明方块对比电路的框图;
图13是如图12所示本发明第三实施例中说明参考方块图象数据选择和供给的示意图;
图14是本发明第四实施例中动态矢量监测单元结构示意图;
图15是如图14的第四实施例中解释动态矢量监测单元工作情况的示意图;
图16是说明第四实施例中方块对比电路中处理元件内部结构的框图;
图17是说明本发明第五实施例的动态矢量测算装置的结构的框图;
本发明矢量测算装置将参考附图详细说明如下:
图1是本发明第一实施例的动态矢量测算装置的结构示意框图,现参考图1可见,第一实施例的动态矢量侧示装置是由实时图象数据存储单元1,参考图象数据存贮单元2,方块对比单元3,动态矢量监测单元4,和动态矢量存储单元5所组成。
实时图象存储单元1存有实时图象的图象数据,并被方块对比单元3通过信号线101从存贮单元1中读出实时方块名象素中的象素数据C,参考图象数据存贮单元2存贮参考图象的图象数据,并且由方块对比单元3通过信号线121从存贮器2中读出预定检索窗中的参考方块各象素中的象素。参考图象可以是实时图象前的在先图象,或者是用于测算动态矢量的另一图象。
方块对比单元3从实时图象数据存储单元1中读出实时方块象素数据,也从参考图象数据存储单元2中读参考方块图象数据,并进行对比处理。方块对比单元3对实时方块象素数据和参考方块数据的方块对比处理运算是按照下列等式(1)进行的: 等式(1)
其中 Ci,j 是实时方块的一个象素数据,
Ri,j 是参考方块的一个象素数据,
M和N 是分别代表实时方块中的列数和行数。
参考方块具有一最大似然值,亦即,方块对比处理运算的结果得到一最小值就被确定用于测算动态矢量。
动态矢量存储单元5存储在先测算的动态矢量,动态矢量监测单元4是将方块对比单元3中输出的动态矢量存储在动态矢量存储单元5中,动态矢量监测单元4也根据存储在存储单元5中的动态矢量输出一个检索窗指定数据给方块对比单元3,换言之,动态矢量监测单元4是根据存储在动态矢量存储单元5中的动态矢量来确定动态矢量的测算历程,动态矢量监测单元4又根据已定的测算历程再确定检索窗的位置、形状和大小。这样,动态矢量监测单元4参照动态矢量存储单元5来确定在先已测算的动态矢量的数量是否超过了预定值,当确认在先已测算的动态矢量的数比预定值为小时,动态矢量监测单元4即略去在先已测算的动态矢量并根据实时方块确定检索窗的最佳形状和大小。当确认在先测算的动态矢量数比预定值为大时,动态矢量监测单元4即产生一二维图,其中在先已测算的各个动态矢量均按水平和垂直值制成矢量图。这样动态矢量监测单元4即确定检索窗的最佳形状和大小,以使检索窗包括在先已测算的动态矢量历程。动态矢量监测单元4还分别计算动态矢量在水平和垂直方向上变化的平均值,并确定出检索窗的最佳位置,以使检索窗的中心位置根据平均值作移动,这样形状大小和位置都是独立地被确定的,反之,则形状大小和位置可被综合确定。
动态矢量监测单元4输出检索窗指定数据161给方块对比单元3,这样,检索窗的形状大小和位置可随检索窗指定数据或必要时而逐帧、逐块地改变。于是检索窗的确定过程就不致成为限制方块对比处理速度的瓶颈。
就这样,检索窗的形状大小和位置是根据在先动态矢量的测算历程而确定的,然后,方块对比处理是在实时方块和检索窗中每个参考方块之间进行的以便检测动态矢量。
本发明中,检索窗的形状大小和位置也可自适应地确定下来,因此检索窗的形状大小和位置是可变的。
图2是表示本发明第一实施例中方块对比单元3的结构的框图,参考图2,方块对比单元3是由控制电路10-1和方块对比电路300-1所组成,方块对比单元3是制作在半导体芯片上。但是只有其中的方块对比电路300-1是制作在半导体芯片之上。
控制电路10-1接收来自动态矢量监测单元4的检索窗指定数据161并从实时图象数据存储单元1中读出实时方块象素数据及读出检索窗中的每个参考方块的象素数据。
方块对比电路300-1是由许多处理元件21安排成M列和N行组合而成(M和N都是正整数,在本实施例中M=4,N=4)。
处理元件21是按行逐级相连,每行又逐级相连。最后一个级连的处理元件PE4,4和最小值检测电路25相连,该最小值检测电路25在方块对比处理过程中在检索窗中检测出具有最小值的参考方块,并输出该最小值方块作为动态矢量。
并不要求处理元件的数量等于实时方块中象素的数量,然而如果处理元件PEM N的总数等于实时方块的象素量,则在常规系统中需要的先进出单元(FIFO单元)即可省略,其结果可使方块对比单元的芯片面积减少而使功耗下降。
方块对比电路300-1也可以由(P+Q)个参考方块象素数据总线(P或Q都是大于1的正整数)、一个第一M选择器组和一个第二N选择器组所组成。在这个实例中参考方块象素数据总线是Rv1,Rv2,Rh1,Rh2;即本例的参考方块象素数据总线301,302,303,304。参考方块的象素数据序列是由参考图象数据存储单元2向Rv1,Rv2,Rh1和Rh2,即参考方块象素数据总线301,302,303和304提供。选择器2211到2214是作为第一组M个选择器提供的,并与RV1和RV2参考方块象素数据总线301,302相连;选择器2221到2224是作为第二组N个选择器提供的,并与Rh1和Rh2参考方块象素数据总线303,304相连;选择器2211到2214及2221到2224是响应于从控制电路C-1来控制信号,而得以控制。
方块对比电路300-1还包括Rh参考数据总线206-1到206-4,Rv参考数据总线207-1到207-4和实时数据总线208-1到208-4。Rh参考数据总线206-1到206-4中的每一个分别供给选择器2221到2224中的一个选择器,Rv参考数据总线207-1到207-4中的每一个分别供给选择器2211到2214中的一个选择器。参考数据总线206-1到206-4和207-1到207-4中的每一个分别传递由相应的选择器选出一个参考方块的象素数据。在本实施例中实时数据总线208-1到208-2中的每一个分别提供给处理元件21各行中的一行;以及实时数据总线208-1到208-4是互相连在一起的,每一个处理元件也连接到相应的Rh参考数据总线206-1到206-4中的一个,及相应的Rv参考数据总线207-1到207-4中的一个及相应的实时数据总线208-1到208-4中的一个。应该注意到虽然实时数据总线208-1到208-4在本结构实例中是连接到一起的如图2所示,但实时数据总线208-1到208-4却并不经常总是连接在一起的。
方块对比电路300-1还包括电路11,该电路11将从参考图象数据存储单元2中读出的象素数据在参考方块象素数据总线301和304之间切换。电路11可包括移位寄存器,其中的每一个闭锁一行参考象素数据并逐行输出这些象素数据。这样,即可使从参考图象数据存储单元2中的读出过程得到简化。但是,参考方块象素数据总线301到304可以直接连接到参考图象数据存储单元2中。此时,电路11可以省略而读出过程是由控制电路10-1所控制。
图3是描述第一实施例中许多处理元件21中每一个及其周边部分的结构的示意框图,参考图3,处理元件(PE)21是通过信号线203与前一级处理元件21的输出端Do相连,又通过信号线204与下一级的处理元件21的输入端Di相连。处理元件还在端子C上与相应的实时数据总线208相连,也通过选择器23与相应的Rh和Rv参考数据总线206和207相连,选择器23是响应于由控制电路10-1所得的控制信号而得以控制。通过选择器23从相应的Rh参考数据总线206的参考象素数据或Rv参考数据总线207的参考象素数据中选出一个。然后,处理元件21即响应于控制电路10-1来的控制信号对来自相应的实时数据总线208的实时象素数据的选出的参考象素数据进行计算,在计算中,将实时象素数据和被选出的参考象素数据之间的差值的绝对值计算出来,再响应于控制电路10-1中的控制信号,将该计算结果加到在Di端点上接收到的由前一级处理元件来的数据上,将此相加的结果从端点Do处输出到下一级处理元件中去,就如所给的流水处理那样。计算和相加过程都是响应于控制电路10-1来的控制信号和时钟信号在处理元件之间同步进行的。于是,方块对比处理过程即可按流水方式实现。
图4是说明如图2中所示方块对比电路300结构中最小单元即处理元件的结构的方框示意图,参考图4,处理元件是由寄存器11a,11b,11c;一个计算元件12和一个加法元件13所组成。寄存器11a,11b,11c都是流水寄存器,计算单元12用来计算一个差值的绝对值(T=|IR-CI|)205,亦即:实时方块的象素数据CI,它是通过信号线202由实时数据总线送来的和参考方块的象数据IR,它是通过信号线201由选择器23供给的,这两者IR和CI之间差值的绝对值。加法元件13将在Di端接收到的来自信号线203的数据Di和绝对值T 205相加(即Di+T),而后将此总和通过端点Do输出到信号线204上,由此而实现流水处理。
图5是说明动态矢量监测单元4的框图。参考图5,动态矢量监测单元4是由滤波器1201,检索窗确定电路1202和窗数据存储单元1203所组成,滤波器1201将方块对比单元3测算得到的动态矢量进行滤波,被滤波后的动态矢量存储在动态矢量存储单元5中的在先测算过的动态矢量的测算历程中确定出一检索窗,检索窗确定电路1202还将一指定已确定检索窗的数据存储在窗数据存储单元203中,注意滤波器1201是可以用任何滤波器置换也可以省略。
上述检索窗指定数据是,例如,由每个被确定检索窗的矩形检索区的左上位置,和高、宽所组成,下面将对此详细描述。
图5a和图6b就是本发明所用检索窗的一个例子,6A是说明检索窗的一个略图,图6B是图6A所示检索窗的局部放大图,参考图6A检索窗1100是由很多矩形检索区1101,1102,1103和1104互相重叠的区所组成,即,参考区1101,1102,1103和1104是集聚而组成检索窗1100,本发明中检索窗1100不一定如常规系统那样必需是矩形的,本发明第一实施例的方块对比单元3中,即使当检索窗不是矩形,而是有一凹区或凸区时,这种检索窗亦可分成许多矩形参考区组成。
另一方面,常规的检索窗1110是在图6A中用虚线画出,且是矩形的,而检索窗1110不同于常规实例的地方则在1111,1112,1113和1114这些区上。这些由检索窗确定电路1202所确定的检索区并不需要用来进行方块对比处理。在本发明中,方块对比处理并不在1111,1112,1113和1114区中进行。因此,方块对比处理就可用高速完成。即使当方块对比处理是按这种方式进行的话仍因处理元件21运算速度可维持在100%,故检索窗的形状也不会对处理时间和功耗产生不利影响。
返过来再参考图1,动态矢量监测单元4将从方块对比单元3中得到的动态矢量监测和存储在动态矢量存储单元5中去。动态矢量监测单元4根据存储在动态矢量存储单元5中的动态矢量,即在先已测算过的动态矢量的测算历程,改变检索窗的形状、大小和位置。因为根据本发明的第一实施例,方块对比单元3是加到具有任何有凹区或凸区的检索窗上的,所以方块对比处理的效率并不下降,其结果是,因在先已测算动态矢量的测算历程更为有效地作了反映所以没有必要对无用的参考区,1111,1112,1113和1114进行方块对比处理。于是实际处理时间和实际的功耗都能减少。
而且,即使检索窗的尺寸如果根据动态矢量测算历程而有所改变,也仅仅有参考区数量的增加或减少。而象素数据序列输入到方块对比单元3中去的规则却如下所述而并未改变。按本实施例,其结果是检索窗的形状、大小和位置的改变并未使方块对比单元3复杂化。
在本发明中,检索窗的形状、尺寸和位置是适从于先前的动态矢量而改变的,于是,对于原来并未要求作方块对比处理的1111到1114区就不会进行方块对比处理,所以处理时间和处理量就会减少,所以方块对比处理所需的功耗也就减少,也就不存在用方块对比处理对不适合的区进行运算,和以此来检测任何差错的动态矢量。
下面,将详细描述根据本发明的第一实施例的动态矢量测算装置中方块对比处理的运作,在本实施例中,假定实时方块由4×4(C1,1到C4,4)16个象素所组成,检索窗就如图6A所示,检索窗的参考区1101是由7×7(R1,1到R7,7)象素49个所组成。检索窗的参考区1102则由105个(7×15)象素所组成,假定方块对比电路300包括(4×4)个处理元件如图2所示。
图7表示3在先已测算动态矢量、检索窗、参考方块和实时方块之间相互关系。
在方块对比处理的起初,动态矢量监测单元4参照动态矢量存储单元5并根据在先已测算的动态矢量未确定检索窗。此时动态矢量监测单元4从在先测算过的动态矢量中确定在1111到1114区中并未找到新的动态矢量,并确定检索窗,就如图6A所示,然后,就确定参考区1101到1104组成了检索窗,指定各个1101到1104参考区的数据即被存入窗数据存储单元1203中,指定参考区的数据即作为检索窗指定数据而送入方块对比单元3中的控制电路10-1中,控制电路10-1即从实时图象数据存储单元1中和参考图象数据存储单元2中确定需读出的象素数据,这些象素数据从实时图象数据存储单元1和参考图象数据存储单元2中读出后,即即送入方块对比单元3中的方块对比电路300-1。然后方块对比处理即被启动。
图8A和8B是说明方块对比处理的流水过程的草图,在图8A和8B中,横坐标代表时间,符号C1,1到C4,4代表实时方块的象素数据。符号S1,1到R7,7代表参考区1101的象素数据,符号S1,1到S4,4和R5,1到R7,7等等则代表参考区1102的象素数据,如图6B,此外,符号D1,1到D4,4代表相应参考区的象素数据,而且这些都送入最小值检测电路25,根据下列等式(2)对这类数据进行计算: 等式(2)
在此方程中,符号“k”是选为1至4,
符号“m”是选为1至4
由图8A和8B显而易见,供给处理元件的四个象素数据序列81,82,83,84分别用符号○,×,□和△来表示。如图8A和8B所说明,这些象素数据序列81到84是连续向方块对比电路300-1提供的,亦即,在时间1时,实时方块的象素C1,即通过实时数据总线208-1送给处理元件PE1,1。与此同时,参考区1101(图6B)的参考方块的象素数据R1,1自象素数据序列送给处理元件PE1,1,在处理元件PE1,1中,这些象素数据都被寄存器11a和11b闭锁,而这些象素数据之间的差值的绝对值,即|R2,1-C1,1|,即由计算元件12算出,因为处理元件PE1,1是级连元件中的为首一个元件,所以从寄存器11c中送出的数据Di是“0”,处理元件PE1,1,即在时间2时,从输出端Do处输出差值的绝对值给下一级处理元件PE2,1的输入端Di上。
在时间2时,实时方块的象素数据C2,1即取自并通过实时数据总线208-1送向处理元件PE2,1。与此同时,参考方块的象素数据R2,1也从象素数据序列81中取出而送达处理元件PE1,1和PE2,1。
在处理元件PE1,1中,因为象素数据C1,1已被寄存器11a闭锁,象素数据R2,1已被寄存器11b闭锁,所以这些象素数据R2,1和C1,1之间的差值和绝对值,即|R2,1-C1,1|即被计算元件12算出,处理元件PE1,1在时间3时从输出端Do将差的绝对值输出到下一级处理元件PE2,1的输入端Di上,在处理元件PE2,1中,象素数据C2,1和R2,1都分别被寄存器11a和11b闭锁,且这些象素数据的差值的绝对值|R2,1-C2,1|即被计算元件12计算出来,加法元件13将此差值的绝对值加到由处理元件PE1,1通过输入端Di而送来的加法结果|R1,1-C1,1|中,处理元件PE2,1再将此差值绝对值的和,在时间3时,从输出端Do输出到下一级处理元件PE3,1的输入端Di上。
在时间4之后,处理元件PE1,1,PE2,1,PE3,1和PE4,1都处在如下保持状况,即处理元件PE4,1中存有数据|R1,1-C1,1|+|R2,1-C2,1|+|R3,1-C3,1|+|R4,1-C4,1|。与此相似,在处理元件PE3,1中存有数据|R2,1-C1,1|+|R3,1-C2,1|+|R4,1-C3,1|。在处理元件PE1,1中,存有数据|R4,1-C1,1|。
在时间5时,实时方块的象素数据C1,2即取自和通过实时方块象素数据C1,2即在处理元件PE1,2中被闭锁,与此同时,参考方块象素数据R1,2即从象素数据序无82中送到处理元件PE1,1和PE1,2中,而且,参考方块象素数据R5,1也从象素数据序列81中送到处理元件PE2,1,PE3,1和PE4,1中去。
在处理元件PE1,1中。因为象素数据C1,1已被寄存器11a闭锁,象素数据R1,2已被寄存器11b闭锁,故这些象素数据R1,2和C1,1的差值的绝对值,即|R1,2-C1,1|即被计算元件12计算出来。处理元件PE1,1将此差值的绝对值,在时间6时,从输出端Do输出到下一级处理元件PE2,1的输入端Di上。
在处理元件PE2,1中也因为象素数据C2,1被寄存器11a闭锁,象素数据R5,1被寄存器11b所闭锁,故在这些象素数据间的差值的绝对值即|R5,1-C2,1|即被计算元件12计算出来,加法元件将差值的绝对值的和在时间6时,从输出端Do输出到下一级处理元件PE3,1的输入端Di上。
在处理元件PE1,2中,也因为象素数据C1,2和R1,2被寄存器11a和11b闭锁,这些象素数据的差值绝对值|R1,2-C1,2|即被计算元件12计算出来。加法元件13将差值绝对值加到由处理元件PE4,1通过输入端Di送来的计算结果中,处理元件PE1,2在时间6时将此差值绝对值的和从输出端Do输出到下一级处理元件PE2,2的输入端Di上。
上述的运作一直从时间6重复到时间16。在时间17时,具有象素数据R1,1到R4,4的的参考方块的类似数值D1,1可以得到。按此情况,从时间17到时间32的时间间隔内,通过流水过程,参考区1101的参考方块的类似数值D1,1到D4,4都可以逐个得到。
在时间17的同时,下一参考区1102(图6B)的象素数据S1,1是由象素数据83序列未经不必要停顿也送到处理元件PE1,1,象素数据S1,1就同象素数据C1,1一起用来计算象素数据S1,1的C1,1之间的差值的绝对值。此时,对下一参考区1102的方块对比处理是紧跟着参考区1101连续地开始进行,而未浪费处理时间。
此时,实时方块的16个象素在此刻是充分地利用了,但是,因为在相同的处理元件中采用了相同的实时方块象素,所以,如果已供象素数据都已闭锁的话,则此时将被供给的实时方块的象素量可减到“1”。换言之,如图8A和8B所示的方块对比处理过程,就因方块对比处理是针对同一实时方块进行的,所以实时方块的象素数据C1,1到C4,4输入到处理元件PE1,1到PE4,4就可以从时间1到时间16之间完成。此刻被输入的象素的量就选作1。
另一方面,参考区的象素是同时向1,2,3或4处理元件提供的。象素序列81和象素序列82是代表同一参考区1101中的象素,如图6A和6B,而象素序列83和象素序列84也是代表同一参考区1102中的象素。即使当该两参考区互相重叠时,也不存在问题。
根据本发明的第一实施例,检索窗的形状、大小和位置均可灵活确定,因此方块对比电路300-1的总线布置是适用于分成很多参考区的检索窗的,所以,即使当方块对比处理是并行进行的,此并行度亦并未降低,方块对比处理可以在短时间内完成,功耗就能降低,而且,根据本发明的第一实施例,即使当检索窗很小时,动态矢量也能用很高精度检测出来。
下面将详细描述参考区象素的供给方式。图9A表示如图2所示的处理元件PE1,1到PE4,4逐级连接。图9B到9F是显示了如图8A和8B中当时间分别是1,2,5,9和17时的参考区象素数据供给方式。
参考图9B,象素数据序列81中的象素数据R1,1,例如,是供给Rv1参考方块象素数据总线301,此时,选择器2211是受来自控制电路10-1的控制信号所控制而选择Rv1参考方块象素数据总线301上的象素,以使所选出的象素送到参考数据总线207-1上。而且对应于处理元件PE1,2上的选择器23受来自控制电路10-1的控制不选Rh参考数据总线206-1上的象素,而选Rv参考数据总线207-1上的象素。于是象素R1,1即能供给到处理元件PE1,1上。
此后,如图9C所示,在时间2时,象素数据R2,1即如同按象素数据R1,1相同的方式供出。对应于处理元件PE1,1和PE2,1上的选择器23即受控制电路10-1来的控制信号所控制选出Rv参考数据总线207-1和207-2上的象素,而不选Rh参考数据总线206-1上的象素。这样,象素数R2,1即能供给到处理元件PE1,1和PE2,1上了。
此后,如图9D所示,在时间5时,象素数据序列81中的象素数据R5,1以如图象素数据R1,1一样的方式在Rv参考方块象素数据总线301上传送。而且,象素数据序列82中的象素数据R1,2,例如,被送到Rv参考方块象素数总线302上,此时,选择器2211受来自控制电路10-1的控制信号的控制选出Rv参考方块象素数据总线301上的象素R1,2,并使选出的象素数据传递到参考数据总线207-1上。与处理元件PE2,1到PE4,1相应的选择器23受来自控制电路10-1的控制信号的控制不选Rh参考数据总线206-1上而选Rv参考数据总线207-1到207-4上的象素数据R5,1于是,象素数据R5,1即供给到处理元件PE2,1到PE4,1,相应于处理元件PE1,1到PE1,2的选择器23受控制电路10-1来的控制信号的控制而选出Rv参考数据总线207-1上而非Rh参考数据总线206-1和206-2上的象素数据R1,2,于是象素数R1,2即可被送到处理元件PE1,1和PE1,2上。
此后,如图9E所示,在时间9时,选择器2211,2221和2222都受来自控制电路10-1中控制信号的控制使象素数据序列81中的象素数据R1,3被送入Rv参考数据总线207-1,使象素数据序列82中的象素数据R5,2被送入Rh参考数据总线206-1和206-2。然后,相应于处理元件PE1,1到PE1,3选择23受控制电路10-1的控制信号的控制选出Rv参考数据总线207-1上而非Rh参考数据总线201-1和206-2上的象素数据R1,2,于是,象素数据R1,2即可被送入处理元件PE1,1和PE1,2上。
其后,如图9E所示,在时间9时选择器2211,2221和2222受来自控制电路10-1的控制信号的控制,而使象素数据序列81中的象素数据R1,3供到Rv参考数据总线207-1上,且象素数据序列82中的象素数据R5,2供到Rh参考数据总线206-1和206-2上,然后相应于PE1,1和PE1,3的选择受来自控制电路10-1的控制使象素数据R5,2即送达处理元件PE2,1到PE4,1和PE2,2到PE4,2。
此后,如图9F所示,在时间17时,象素数据序列83和象素数据序列82都分别送到Rh1参考方块象素数据总线303,Rh2参考方块象素数据总线301,选择器2211到2214受控制电路10-1中控制信号的控制而使象素数据R5,4送到Rv参考数据总线207-1到207-4上。选择器2221到2222受控制电路10-1中控制信号的控制而使象素数据S1,1转送到参考数据总线206-1而象素数据R1,5则转到参考数据总线206-2到206-4上,相应于处理元件PE2,1到PE4,1,PE2,2到PE4,2,PE2,3到PE4,3和PE2,4到PE4,4,的选择器23受控制电路10-1的控制而使象素数据R5,4送到处理元件PE2,1到PE4,1,PE2,2到PE4,2,PE2,3到PE4,3和PE2,4到PE4,4上。相应于处理元件PE1,1的选择器23受控制电路10-1的控制而使象素数据S1,1送到处理元件PE1,1上,而相应于处理元件PE1,2到PE1,4的选择器23受控制电路10-1的控制而使象素数据R1,5送到处理元件PE1,2到PE1,4上。
图10是当有四种象素数据在某时送到处理元件上时,说明向处理元件提供象素的方法的示意图。如图10所示,处理元件是用边界线1131,1132和1133分成四个区,即1121,1122,1123和1124。
表示在图10中的例子是相应于在图8A和8B中时间22时的状态,这时象素数据从4参考方块象素数据总线301到304供给到图10中4参考区1121到1124是受移动边界线1131到1133控制的。亦即,选择器2211和2212受控于控制电路10-1而使象素数据序列84可被送到Rv参考数据总线207-1和207-2,选择器2213和2214受控于控制电路10-1而使象素数据序列81可被送到Rv参考数据总线207-3和207-4。选择器2221和2222受控制电路10-1的控制而使象素数据序列83可被送到Rh参考数据总线206-1和206-2,选择器2223和2224受控制电路10-1的控制而使象素数据序列82可被送到Rh参考数据总线206-3和206-4。如果相应于处理元件PE1,1到PE4,4的选择器23得到控制,则四种类型的象素数据序列就能送入处理元件PE1,1至PE4,4。如图10所示。亦即本发明的第一实施的方块对比单元3中的四种类型的象素数据即可在同一时刻通过适当地移动边界线1131到1133而被送到处理元件中去。
这样,因为在检索区上可以最大提供四种类型的象素数据和一种实时方块的象素数据,所以处理元件的运行速度可增加到100%。
即使当方块对比处理是在许多参考区上进行,而参考区改变时,方块对比处理仍可持续地进行而保持处理元件的运行速度为100%。于是在本实施例中,方块对比处理过程所需的时间周期就能缩短。如果假定,进行方块对比处理的时间周期是一预定的常数时,则方块对比单元3的时钟信号运行频率即可比常规系统降低。其结果是使方块对比电路的功耗下降。
同时,因为完成必要方块对比处理的时间周期可缩短,所以方块对比处理就可以在更为宽阔的参考区上进行。
按照本发明参考区象素数据是通过一个分级选择器结构,亦即两级选择器,送达与方块对比电路300-1中最小单元即处理元件相连接的总线上。其结果是,即使当方块对比处理过程是在许多参考区1101到1104上进行的,也仍可以如此来进行方块对比处理,即使得方块对比电路300-1的流程是连续饱满而不存在无用的处理时间。亦即,方块对比处理的并行度并未减少,于是,即便当检索窗分成很多检索区时,方块对比处理的处理时间,也没有增加,所以功耗也未增加。
此外,图4中的局部接线203,204是在方块对比电路300-1中用于连接其最小单元即处理元件之用的,所以,当从差值绝对值之和中求出最小值时,从各个处理元件连到最小值检测电路25中去的连接导线的总量就可压缩,于是动态矢量测算装置即可用较小的芯片和较低的功耗来实现。
下面将描述本发明第二实施例的动态矢量测算装置。
图11是第二实施例的动态矢量测算装置中方块对比单元3的结构示意图。该方块对比单元3可是由如同在实施1中的控制电路10-1一样的控制电路10-2和方块对比电路300-2所组成。
方块对比电路300-2包括处理元件PE1,1到PEM,N,其中M是列数,N是行数(M、N都是正整数中的偶数)。每个处理元件都和第一实施中的一样。在本实施中M是4,N是8。实时方块是由M×N个象素组成,即本例中为4×8个象素。处理元件是通过输出端和输入端逐级相连而在单元中排列成行。第一行是通过一个先进先出(FIFO)单元24-1与第三行逐级相连。一最小值检测电路28-1通过一先进先出(FIFO)单元24-2接在最后一级的处理元件PE4,3上,第二行是通过一个先进先出(FIFO)单元25-1与第四行逐级相连。一最小值检测电路28-2是通过一先进先出(FIFO)单元25-2接在最后一级的处理元件PE4,4上。与此相似,第五行是通过一个先进先出(FIFO)单元28-3则直接接在最后一级的处理元件PE4,7。第六行是通过先进先出(FIFO)单元27-1与第八行相连,一最小值检测电路28-4则直接接在最后一级处理元件PE4,8上。
换言之,如图11所示,在方块对比电路300-2的上半部奇数行的处理元件中,输入输出端203和204是通过先进先出(FIFO)单元24-1和24-2逐级相连的。方块对比电路300-2的上半部偶数行中的处理元件中,输入端和输出端203和204是通过先进先出(FIFO)单元25-1和25-2逐级相连的,在方块对比电路300-2的下半部奇数行的处理元件中,输入端和输出端203和204是通过先进先出(FIFO)单元26-1逐级相连的。在方块对比电路300-2的下半部偶数行中的处理元件中,输入输出端203和204是通过先进先出(FIFO)单元27-1逐级相连的。
先进先出(FIFO)单元24-1,25-1,24-2,25-2,26-1,和27-1的级数分别是4,4,20,16,4和4。如图11所示。
Rh参考数据总线206-1到206-8分别是按行供给,而Rv参考数据总线207-1到207-4是分别是按列供给。每一个处理元件和相应的Rh和Rv参考数据总线之间的关系是和第一实施例中完全一样。Rv参考方块象素数据总线301和302是通过选择器2211到2214分别由其中之一和Rv参考数据总线207-1到207-4相连并供给数据。Rh参考方块象素数据总线303和304也是通过选择器2221到2228分别由其中之一与Rh参考数据总线206-1到206-8相连并提供数据。
实时数据总线208-1到208-8是分别按行供给并相互连接,应该注意到,虽然实时数据总线208-1到208-8是在如图11的结构实例中连接在一起的。但是这些实是数据总线208-1到208-8却并非总是连接在一起的。
在Rv和Rh参考方块象素数据总线301到304上的四个序列的象素数据中的每一个都通过选择器2211到2214中的一个选择器和选择器2221到2228中一个选择器以及随后相应于处理元件的选择器而送达到一个处理元件中去,就如第一实施例中一样。
在图11中,如果处理元件总量是和实时方块象素M×N的数量相等,则每一先进先出(FIFO)单元中的级数,即可减少,其结果是,方块对比电路300-2的芯片面积可进一步减少,于是功耗亦可减少。
在图11中,如果假定每个先进先出(FIFO)单元24-1,25-1,26-1和27-1的级数是选为M,先进先出单元24-2的级数则为选为(M×N)/2+M,而且先进先出单元25-2的级数则被选为(M×N)/2。此时,从先进先出(FIFO)单元24-2的输出305,先进先出(FIFO)单元25-2的输出306,处理元件PEM,N-1的输出307,以及处理元件PRM,N的输出308的总和就可以等于图2中所示的输出310。按照本发明的第二实施例,从参考区送来的数据输入是可以安排成使得每个先进先出单元的级数都可同时减少,其结果是,方块对比电路可以在芯片面积减少和功耗降低的情况下实现。
当本发明是应用于MPEG-2(ISO/IEC 13818-2)中时,如果采用如图11所示的电路结构,则在同一时间内可以获得:帧结构动态补偿预测中一帧动态补偿预测所需的数据、场结构动态补偿预测中一场动态补偿预测的数据,以及16×8动态补偿预测所需的数据。此外,处理元件被分成四种类型,即分别属于上半部奇数行,上半部偶数行,下半部奇数行和下半部偶数行四个方面的处理元件。因此,动态矢量可以同时在MPEG-2(ISO/I EC 13818-2)装置中按多种预测模式而被得到。此时,在与处理元件相连接的接线中只存在局部的接线,所以芯片的面积就可以减少。
下面描述本发明的第三实施例的动态矢量测算装置,图12表示了第三实施例中方块对比电路300-3的结构。方块对比电路300-3包括8列和16行的处理元件。方块对比电路的结构思路如图12所示,是和第二实施例中的方块对比电路相同,只不过处理元件的数量不同而已。
如同第二实施例相似,方块对比电路300-3的上半部奇数行处理元件中,各输入输出端203和204是通过三个先进先出(FIFO)单元逐级相连的。方块对比电路300-3的上半部偶数行的处理元件中,各输入输出端203和204也通过三年FIFO单元逐级相连,方块对比电路300-3下半部奇数行中处理元件,其输入输出端203和204是通过三个FIFO单元逐级相连。方块对比电路300-3下半部偶数行的处理元件,其输入输出端203和204是通过三个FIFO单元逐级相连。上述的每个FIFO单元都有8级。
上半部奇数行的最后一级处理元件是通过一个具有72级的FIFO单元和加法器31和32相连。上半部偶数行的最后一级处理元件是通过一个具有64级的FIFO单元和加法器31和加法器33相连。下半部奇数行的最后一级处理元件是直接与加法器32和加法器34相连。下半部偶数行的最后一级处理元件是直接和加法器32和34相连。加法器32和33的输出接到加法器35上。
在本实施例中,虽然每个FIFO单元中的级数减少,但在同一时间仍能获得MPEG-2所需的帧结构的三个对比数据,即16×16,16×8(顶部)和16×8(底部),还有,在同时可获得场结构的三个对比数据,好16×16,16×8(上部)和16×8(下部)。
图13是说明参考方块象素数据供给方式的草图,参考方块象素数据是和第一实施例一样,从四条参考象素数据总线在边界线变化时传送过来。为此不再详述。
下面描述本发明第四实施例的动态矢量测算装置。第四实施例的动态矢量测算装置的基本结构是和第一实施例基本相同,而其不同之点将描述如下:
图14表示第四实施例的动态矢量测算装置的动态矢量检测单元4′是由滤波器1201用于获自方块对比单元3的动态矢量的滤波之用,检索窗确定电路1202,窗数据存储单元1203,和位图存储单元(bitmap storage unit)1203。滤波器1201和窗数据存储单元1203是和第一实施例中的完全相同。
检索窗确定电路1202确定从动态矢量存储单元5中所得的在先测得动态矢量测算历程,从测算历程中确定检索窗,并将指定该检索窗的标志(pointets)存储在窗数据存储单元1203中。检索窗确定电路1202确定位图区(bit-map region)1501和1502,如图15所示,并将此位图区1501和1502存储在位图存储单元1204中。应该注意到,如需要则提供滤波器1201,上述的每个标认(pointer)是由,例如,检索窗每个矩形参考区的右上部位置,每个参考区的高,每个参考区的宽等所组成。
参见图6A组成检索窗1100的检索区1101到1104都是呈矩形的。而与此相反,每个位图区1501和1502都是由自由曲线以象素为单位所限定,见图15中的白圈。此时,可以用1位标志数据加到检索窗中的检索区1101到1104中的每个象素数据中以便送到方块对比单元3中去。该1位标志数据指明了该象素数据是否有效或无效。
图16是说明处理元件的结构图,第四实施例中的方块对比电路中的处理元件是具有一寄存器11d用于稳定地保持最大值,和一选择器14用于从寄存器11d的输出中和从受控制电路10-1的控制信号所控制加法元件13中输出中选出一个输出。
当象素数据送到方块处理单元3时,控制电路10-1即检查象素数据的标志数据,当标志数据表明这此象素数据是包含在如图15所示的位图区1501或1502中,并且又是无效时,控制电路10-1即输出控制信息给将被提供无效象素数据的那些处理元件,使得通过选择器14将寄存器11d中的内容从输出端Do输出。其结果是,凡包含有位图区中无效象素数据的参考方块即可从所有动态矢量都必须经检测的区域中排除出去,于是这些象素数据就不能从参考图象数据存储单元2中读出,所以差值绝对值的计算和相加就不能在处理元件中进行,从而功耗即能减少。
还有这种情况即:参考区在邻近左、右、上、下的边缘部分是很少的,即使确实存在这些很少的参考区,也因检索窗的参考区中的象素数据上附有标志数据,而使方块对比处理过程是根据这些象素数据上的标导数据而有选择地进行的。所以这时方块对电路3的结构必然不会很复杂,如上所述,即使当参考区的数据宽度至多有1位的增加,也没有必要改变方块对比单元3电路结构。
根据本发明第四实施例的动态矢量测算装置,方块对比处理是在检索窗内某个实时方块和参考方块之间进行以检测动态矢量的。第四实施例中的方块对比电路的结构和图2,11或12相类似。每个具有有效标志的象素数据也以与图8A和图8B所示相似的方式供给。
在本发明的实施例中如上所述。因为检索窗可以自由确定,所以在处理元件中的无用计算和在参考图象数据存储单元2中读出无用数据的情况都减少了,所以功耗也可下降。
图17是说明本发明第五实施例的动态矢量测算装置的结构的方框图。参照图17第五实施例的动态矢量测算装置是由温度检测单元6,负荷检测电路7,电源电压检测电路8,加上图1所示的结构所组成。在此实施例中。动态矢量监测单元4具有位图存储单元1204,如实施例4一样。
就像第一实施例一样,方块对比电路是制作在芯片上的,温度检测电路6就用于检测制有方块对比单元3的芯片的温度,然后,温度检测电路6即根据检测结果产生一检索窗限制数据送到动态矢量监测单元4′中。
负载检测电路7检测方块对比单元3的系统负荷,亦即方块对比处理的次数或将送达方块对比单元3中数据的总量。然后负载检测电路7根据检测结果产生一检索窗限制数据送到动态矢量监测单元4′中。
电源电压检测电路8检测动态矢量测算装置的电源电压并根据检测结果产生一检索窗限制数据送到动态矢量监测单元4′中。
这样,动态矢量监测单元不仅根据动态矢量测算历程而且还至少根据温度系统负荷和电源电压中的一种来确定检索窗。
例如,当检测到温度高于某一参考温度时,当检测到的系统负荷超过某一参考负荷时,或当检测到的电源电压低于某一参考电压时除了改变形状和位置外检索窗即可确定为一个较小的尺寸。这样,检索窗的形状,尺寸,和位置就可以根据动态矢量在先测算的历程,以及被检温度、负荷和电压最适当地加以确定。然后,在检索窗内的实时方块和各参考方块之间进行方块对上处理。
在本发明中,检索窗的形状、尺寸和位置不可以根据系统负荷,比如方块对比单元3的负荷,主块对比单元3的芯片温度和电源电压适当地加以确定。此时,当系统负荷很重时,即意味着整个系统需要进行动态矢量处理的量很大,于是,检索窗的形状尺寸和位置亦可随之改变。
因为检索窗的形状,大小和位置是根据如上所述的系统负荷而适当确定的,所以动态矢量测算装置在处理能力上就不会接受过量的系统负荷。换言之,例如,当芯片温度升高时,检索窗就会缩小,在此,由于检索窗缩小,于是方块对比单元3的计算量即受限制,LSI芯片的热耗要受限制,与此相似,当电源电压(比如由电池供给)下降时检索窗即可根据所检电压而自然缩小,于是在采用电池的便携式终端设备中,工作时间就延长了。
在本发明中,在先于实时帧中动态矢量的前一帧的动态矢量,在先于实时场中动态矢量的前一场的动态矢量,和实时参考区相同一帧的动态矢量和与实时参考区相同一场的动态矢量就可以作为在先已测算的动态矢量测算历程之用。
利用参考区象素数据的特点,例如,运动的图象数据和电影的图象数据都可以用于决定动态矢量的测算历程。
在常规的动态矢量测算方法中,不论是帧或是场中实时方块的同样位置就被用作确定参考区的中心位置。
而另一方面在本发明的实施例中,检索窗的位置都可根据上述动态动态矢量的测算历程而适应地改变,亦即,参考动态矢量的测算历程,当动态矢量的平均值是指向预定方向时,则检索窗中心的位置即可按此方向移动,此时虽然检索窗缩小了,但却可检测出正确的动态矢量。
类似于动态矢量的测算历程,检索窗的形状或大小,也会参照动态矢量检索装置的负载电源电压和芯片温度而自然改变。换言之,例如,在监测动态矢量装置安装的LSI芯片温度过程中,当该温度升高时则参考区缩小,此时,因为检索窗的缩小,由大规模集成电路(KSI)所作计算的量减少而抑制了LSI上的热耗。
与之相类似,当监测电源功率的剩余能量时,例如动态矢量测算装置用电池作电源时,检索窗可根据该剩余短量而自然地缩小,此时,假如,在便携式终端中采用了电池,则其运行时间就可延长。
此外,在本发明的实施例中,检索窗确定电路1202可以采用微处理机或类似设备来实现,于是,检索窗确定电路1202即可装在另一个大规模集成电路(KSI)上,这是因为检索窗形状、大小和或位置的变化运算是在一帧,一场或某一周期一次进行,所以确定检索窗所需处理时间并不妨碍整体的动作。此时,因为确定检索窗的计算可以按程序进行,所以检索窗即可更为灵活地被确定下来。例如,当某个图象数据是从运动的图象变化到电影图象,而这种改变是由人为操作时,检索窗也能随之改变。
如上所述,本发明即能达到下面所说的效果。
首先,在本发明中动态矢量可以很高的精度并用很低的功耗来检测出来,这是因为检索窗的形状,尺寸和位置可以根据在先测算出的动态矢量而自适应地确定下来,而且检索窗的形状大小和位置还可以根据动态矢量测算装置的负荷,如动态矢量测算装置的温度,电源电压和方块对比处理的次数而自适应地确定下来。
第二,在本发明中,当方块对比处理是并行进行时,并行对比处理可以在短时内完成,而功耗可降低。根据本发明即使当检索窗很小时动态矢量也以高精度进行检测,这是因为检索窗可被灵活地确定,并可分成许多参考区。这也是因为作出了很好的数据供给方案。
第三,在本发明中方块对比处理的芯片面积节省了,功耗下降了,这是因为输入参考方块象素数据所需的总线数量较少。这也是因为参考方块象素数据的输入方案设计成在先进先出FIFO单元中的级数可以减少的缘故。
第四,在本发明中,即使当方块对比处理是在许多参考区上进行,也有可能使方块对比处理是在方块对比电路永远处在饱满的流水过程中进行。亦即,处理的并行度没有降低,其结果则可根据本发明,即使当参考区被再进一步分成很多小的子区,即不会增加处理量或功耗。
这是因为,检索窗的参考方块象素数据是通过两级选择器而提供与处理元件相连的总线的。
第五,在本发明中,当最小值或其似然值是由差值的绝对值的和计算出来时,所有从各处理元件到最小值检测电路的导线总量不会增加,其结果是,按本发明的动态矢量测算装置可以用较小的芯片和较低的功耗来实现。这是因为连接各处理元件的导线中采用了元件内局部的导线。
第六,在本发明中,动态矢量可以响应于MPEG-2(ISO/IEC13818-2)的许多预测模式而同时获得。此时,根据本发明,在连接来自处理元件的导线中只仅仅有局部的导线,所以芯片的面积能减少,这是因为处理元件被分成四种,即分别使处理元件属于偶数行和奇数行,上半部的行和下半部的行。
Claims (40)
1.一种动态矢量测算装置,其特征在于包括:
一实时图象存储单元用以存储实时图象的图象数据;
一参考图象存储单元用以存储参考图象的图象数据;
一检索窗确定单元用于确定在先已测算动态矢量的测算历程,和根据所述测算历程确定检索窗,其中所说的检索窗是由矩形参考区所组成。
一方块对比电路用于对实时方块和所说检索窗中的参考方块进行方块对比处理,并确定一动态矢量;和
一控制电路用于:从所说的实时图象存储单元中读出实时方块图象数据以供给所说的方块对比电路、从所说的参考图象存储单元之中读出所述检索窗口参考方块图象数据以供给所说的方块对比电路、以及用于控制所说的方块对比电路使对所说的实时方块和所说的检索窗的每个参考方块进行所说的方块对比处理。
2.一种按权利要求1所说的动态矢量测算装置其特征在于,其中所说检索窗的形状、检索窗的尺寸和检索窗的位置的至少一种是根据所说的测算历程来决定的。
3.一种按权利要求2所说的动态矢量测算装置其特征在于,其中所说的检索窗确定单元确定出是否在先已测算的动态矢量的数量已超过一预定数,并当明确在先已测算的动态矢量的数量少于该预定数时,即略去在先已测定的动态矢量以确定所说的检索窗的尺寸和形状。
4.一种按权利要求2所说的动态矢量测算装置其特征在于,其中所说的检索窗确定单元确定出是否在先已测算的动态矢量的数量已超过一预定数,并当明确在先已测算的动态矢量的数量已超过该预定数时,即产生出一二维图将每个所说的在先已测算的动态矢量按其水平值和垂直值绘制在该二维图中,并根据所说的二维图确定检索窗的所说的形状和尺寸。
5.一种按权利要求2所说的动态矢量测算装置其特征在于,其中所说的检索窗确定单元计算出所有在先已测算动态矢量的平均矢量,并利用该所说平均矢量确定所说检索窗的位置。
6.一种按权利要求1所说的动态矢量测算装置其特征在于,还包括一负荷检测电路用于检测所说动态矢量测算装置中的一种负荷或检测所说方块对比电路中的负荷,和
其中所说的检索窗确定单元根据所说测算历程和已检测的负荷确定所说的检索窗。
7.一种按权利要求1所说的动态矢量测算装置其特征在于,还包括一电源电压检测电路用于检测电源电压,和
其中所说的检索窗确定单元根据所说的测算历程和已检测的电源电压确定所说的检索窗。
8.一种按权利要求1所说的动态矢量测算装置其特征在于,还包括一温度检测电路用于检测所说方块对比电路所在芯片的温度,和
其中所说的检索窗确定单元根据所说的测算历程和已检测到的温度确定所说的检索窗。
9.一种按权利要求1到8中任一项的动态矢量测算装置其特征在于,其中所说的检索窗确定单元根据所说的测算历程在所说的检索窗中确定至少一个以象素为单位的无用区,并在所说的无用区的各象素上设一标志,以便根据所说无用区中象素上的标志,使对包括任何所说的无用区象素的所说参考方块的所说方块对比处理成为无效。
10.一种按权利要求9所说的动态矢量测算装置其特征在于,其中所说的方块对比电路包括有M列和N行的处理元件(M和N都是正整数),并且使得在其中所作的有关所说实时方块和所说每个参考方块间的计算是通过流水处理方式进行的。
11.一种按权利要求10所说的动态矢量测算装置其特征在于,其中所说的方块对比电路还包括一个分级选择器结构,以便使每个所说的处理元件是按所说的每个参考方块中的一个象素提供的。
12.一种按权利要求10所说的动态矢量测算装置其特征在于,其中所说的方块对比电路还分别包括(M+N)个参考数据总线,以供给M列和N行;和N个实时数据总线,以供给N行。
13.一种按权利要求10所说的动态矢量测算装置其特征在于,其中的方块对比电路包括:
M列和N行(M和N都是正整数)处理元件,其中所说的处理元件是在每行中逐级相连的,其中的每个所说的处理元件计算出在相应实时方块的一个象素数据和各个参考方块的一个象素数据之间的差值的绝对值,并将此绝对值加到来自前一级处理元件的输出中,再输出此相加结果到下一级的处理元件中去,而其中所说的N行是逐级相连以可作流水处理;
M个参考数据列总线,分别供给M列;
N个参考数据行总线,分别供给N行;
(M×N)个选择器,分别供给所说的处理元件,以便使所说M参考数据列总线中的相应一总线上的一个象素数据和所说N参考数据行总线中的相应一总线上的一个象素数据,其中的某一个数据作为参考方块象素数据而送到相应的处理元件中去;和
一实时方块象素数据总线将实时方块象素数据转送到各个所说的处理元件中去。
14.一种按权利要求13所说的动态矢量测算装置其特征在于,还包括:
一参考方块数据总线组用于将所说参考方块的象素数据以行为单位作为象素数据序列传递;
一第一选择器组分别接在所说的M列参考数据总线上,其中每一个选择器选出所说的一个序列中的一个象素数据以供给相应的参考数据列总线;和
一第二选择器组分别接在所说的N行参考数据行总线上,其中每一选择器选出所说的一个序列中的一个象素数据,以供给相应的参考数据行总线。
15.一种按权利要求13所说的动态矢量测算装置其特征在于,其中一旦相应的实时方块象素数据是通过所说的实时方块象素数据总线而送到时,每一个所说的处理元件即将该相应的实时方块象素数据加以闭锁。
16.一种按权利要求13所说的动态矢量测算装置其特征在于,其中每个所说处理元件是根据时钟信号同步进行差值绝对值的计算,相加,并将此相加结果输入下一级的处理元件中去。
17.一种按权利要求16所说的动态矢量测算装置其特征在于,其中所说的处理元件对某一个所说参考方块进行计算,计算周期是从第一次到第(M×N)次,并对另一个所说参考方块进行计算,计算周期则是从第二次到第(M×N+1)次。
18.一种按权利要求13所说的动态矢量测算装置其特征在于,其中所说的实时方块是由M列和N行象素所组成。
19.一种按权利要求13所说的动态矢量测算装置其特征在于,其中所说的处理元件是在所说N行的每行中逐级相连的,而所说N行也是逐级相连的。
20.一种按权利要求13所说的动态矢量测算装置其特征在于,其中所说的处理元件是在所说N行的每个中逐级相连的(N是一偶数),在上半部N行中的奇数行是通过第一先进先出(FIFO)单元组逐级相连,其中每一FIFO单元由两相邻的奇数行供给,在上半部N行中的偶数行是通过第二先进先出(FIFO)单元组相连的,其中每一FIFO单元由两相邻的偶数行供给,在下半部N行的奇数行是通过第三先进先出FIFO单元组逐级相连的,其中每一个FIFO单元由两上相邻的奇数行供给,在下半部N行中的偶数行是通过第四先进先出单元组逐级相连的,其中每一FIFO单元是由两相邻的偶数行供给,和
其中所说的方块对比电路还包括第五和第六先进先出(FIFO)单元组分别与所说的上半部中各奇数行和偶数行中最后一级的处理元件逐级相连。
21.一种如权利要求17的动态矢量测算装置其特征在于:其中从所说的第一到第四先进先出(FIFO)单元组中每一单元的级数是M,所说的第五先进先出(FIFO)单元的级数是(M×N/2+M),和所说的第六先进先出(FIFO)单元的级数是(M×N/2)。
22.一种按权利要求20所说的动态矢量测算装置其特征在于,还包括:
一第一加法器将所说的第五FIFO单元的输出和所说的第六FIFO单元的输出相加;
一第二加法器将所说第五FIFO单元的输出和所说的下半部奇数逐级相连的最后一级处理元件的输出相加;
一第三加法器将第六FIFO单元的输出和所说的下半部偶数逐级相连的最后一级处理元件的输出如下;
一第四加法器将下半部奇数逐级相连的最后一级的处理元件的输出和下半部偶数逐级相连的最后一级的处理元件的输出相加,和
第五加法器将所说的第二加法器的输出和第三加法器的输出相加。
23.一种按权利要求13所说的动态矢量测算装置其特征在于,其中所说的处理元件是在所说N行的每一行中逐级相连的(N是一偶数)。其中上半部N行中每一行是通过第一先进先出(FIFO)单元组逐级相连,其中每一单元由两相邻行供给,下半部N行中每一行是通过第二先进先出(FIFO)单元逐级相连;其中每一单元由两相邻行供给,和
其中所说方块对比电路还包括一第三FIFO单元与上半部逐级相连的最后一级处理元件相连。
24.一种按权利要求24所说的动态矢量测算装置其特征在于,其中所说第一和第二先进先出(FIFO)单元组中每一个单元的级数是M,所说的第三先进先出(FIFO)单元的级数是(M×N/2)。
25.一种按权利要求23所说的动态矢量测算装置其特征在于,还包括:
一加法器将所说第三先进先出(FIFO)单元的输出和下半部逐级相连的最后一级处理元件的输出相加。
26.一种按权利要求13所说的动态矢量测算装置其特征在于,其中处理元件是在所说N行的每一行中逐级相连的(N是一偶数),其中所说N行的各奇数行是通过第一先进先出(FIFO)单元组逐级相连,其中每一单元是由两相邻奇数行供给,其中所说N行的各偶数行是通过第二先进先出(FIFO)单元组逐级相连的,其中每一单元是由两相邻偶数行供给。
27.一种按权利要求26所说的动态矢量测算装置其特征在于,其中第一和第二先进先出(FIFO)单元组的每一单元的级数是M。
28.一种按权利要求26所说的动态矢量测算装置其特征在于,还包括:
一加法器将奇数逐级相连的最后一级处理元件的输出和偶数相连的最后一级处理元件的输出相加。
29.一种测算动态矢量的方法包括下列步骤:
从在先已测算的动态矢量中确定测算历程;
根据所说测算历程确定一检索窗,其中所说的检索窗是由若干矩形参考区所组成;和
对一实时的方块和所说检索窗的各参考方块进行方块对比处理,以确定动态矢量。
30.一种按权利要求29所说的动态矢量测算装置其特征在于,根据所说测算历程确定所说检索窗的形状,检索窗的尺寸和检索窗的位置之中的至少一种。
31.一种按权利要求30所说的方法,其特征在于,其中所说的确定测算历程的步骤包括确定是否在先已测算过的动态矢量超过了一预定数,和
所说确定检索窗的步骤包括当明确在先已测算动态矢量数小于预定数时,略去在先已测算动态矢量而根据所说实时方块确定所说检索窗的尺寸和形状。
32.一种按权利要求30所说的方法,其特征在于,其中所说的确定测算历程的步骤包括:
确定是否在先已测算动态矢量数超过了一预定数;和
当明确在先已测算动态矢量数超过预定数时,产生一二维图,其中每一所说的在先已测动态矢量均按其水平值和垂直值绘制出来。和
其中所说确定检索窗的步骤包括根据所说二维图确定检索窗的形状和尺寸。
33.一种按权利要求30所说的方法,其特征在于,其中所说的确定测算历程的步骤包括计算所说在先已测算动态矢量的平均矢量,和
其中所说的确定检索窗的步骤包括利用该平均矢量确定所说检索窗的位置。
34.一种按权利要求29所说的方法,其特征在于,其中还包括有步骤:
检测所说动态矢量测算装置的一种负荷或所说方块对比电路的负荷:
检测电源电压;和
检测所说方块对比电路制作在其上的芯片温度,和所说的确定检索窗的步骤中包括根据所说测算历程和所检测的负荷,所检测的电源电压和所检测的温度之中的至少一种检测结果确定检索窗。
35.一种按权利要求29至34中任何一项的方法,其特征在于,还包括有步骤:
确定检索窗包括根据所说测算历程确定检索窗中以象素为单位的至少一个无用区;和
在所说的无用区的各象素上设置一标志,以便根据该所说无用区的象素上的标志使所说方块对比处理时因该参考方块中包括了所说无用区的任何象素而使对该方块的处理成为无效。
36.一种如权利要求35所说的方法,其特征在于,其中所说的进行方块对比处理步骤包括利用M列和N行(M和N都是正整数)的处理元件而在方块对比处理时实现流水方式处理。
37.一种按权利要求36所说的方法,其特征在于,其中所说的按流水处理进行方块对比处理步骤中包括:在每个处理元件中进行相应所说实时方块象素数据和所说各参考方块中一个象素数据之间的差值的绝对值的计算;
将该绝以值加到前一级处理元件的输出上;和
将其相加的结果输出到下一级处理元件上。
38.一种按权利要求37所说的方法,其特征在于,其中所说的计算步骤包括:在每个处理元件中一旦相应的实时方块象素数通过所说的实时方块象素数据总线而送达时,即闭锁相应的实时方块象素数据。
39.一种按权利要求37所说的方法,其特征在于,其中所说的按流水处理进行方块对比处理的步骤包括在每个处理元件中是按时钟信号同步计算差值的绝对值和相加和将相加结果输出到下一级处理元件中。
40.一种按权利要求39所说的方法,其特征在于,其中所说的按流水处理进行方块对比处理的步骤包括:
对所说的一个参考方块进行计算的时间周期是从第一次到第(M×N)次;和
对所说的另一个参考方块进行计算的时间周期是从第二次到第(M×N+1)次。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27175696A JP3019787B2 (ja) | 1996-09-20 | 1996-09-20 | 動きベクトル検出装置 |
JP271756/96 | 1996-09-20 | ||
JP271756/1996 | 1996-09-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1179064A true CN1179064A (zh) | 1998-04-15 |
CN1178464C CN1178464C (zh) | 2004-12-01 |
Family
ID=17504407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB971165513A Expired - Fee Related CN1178464C (zh) | 1996-09-20 | 1997-09-19 | 运动矢量高速测算装置和运动矢量测算方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US6249550B1 (zh) |
EP (1) | EP0831642A3 (zh) |
JP (1) | JP3019787B2 (zh) |
KR (1) | KR100273629B1 (zh) |
CN (1) | CN1178464C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103929647A (zh) * | 2013-01-16 | 2014-07-16 | 索尼公司 | 图像处理装置以及图像处理方法 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6137629A (en) * | 1997-05-20 | 2000-10-24 | Draper, Inc. | Projection screen system with circuitry for multi-stage installation |
JPH11252550A (ja) * | 1998-03-02 | 1999-09-17 | Sony Corp | デイジタル信号符号化装置、デイジタル信号復号化装置、デイジタル信号伝送装置及び方法 |
JP3646845B2 (ja) * | 1998-03-03 | 2005-05-11 | Kddi株式会社 | ビデオ符号化装置 |
US6195389B1 (en) | 1998-04-16 | 2001-02-27 | Scientific-Atlanta, Inc. | Motion estimation system and methods |
KR100325253B1 (ko) | 1998-05-19 | 2002-03-04 | 미야즈 준이치롯 | 움직임벡터 검색방법 및 장치 |
JP4004653B2 (ja) * | 1998-08-03 | 2007-11-07 | カスタム・テクノロジー株式会社 | 動きベクトル検出方法および装置、記録媒体 |
EP1119975B1 (en) * | 1998-10-13 | 2003-04-23 | STMicroelectronics Asia Pacific Pte Ltd. | Motion vector detection with local motion estimator |
JP3538055B2 (ja) | 1999-02-15 | 2004-06-14 | 日本電気株式会社 | 動きベクトル検出装置 |
EP1181828B1 (en) | 1999-05-13 | 2010-03-17 | STMicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
JP2001285874A (ja) | 2000-03-28 | 2001-10-12 | Nec Corp | 動きベクトル探索装置、方法及びプログラムを記録した記録媒体 |
FI110909B (fi) * | 2001-09-06 | 2003-04-15 | Nokia Corp | Menetelmä liike-estimoinnin suorittamiseksi videokoodauksessa, videokoodausjärjestelmä sekä videokoodauslaite |
PT3525467T (pt) | 2002-04-19 | 2021-04-08 | Panasonic Ip Corp America | Método e aparelho de descodificação de fluxo de bits |
KR100865034B1 (ko) | 2002-07-18 | 2008-10-23 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
SG111093A1 (en) * | 2002-11-18 | 2005-05-30 | St Microelectronics Asia | Motion vector selection based on a preferred point |
JP3832431B2 (ja) * | 2002-12-25 | 2006-10-11 | ソニー株式会社 | 画像処理装置 |
JP2004221757A (ja) * | 2003-01-10 | 2004-08-05 | Renesas Technology Corp | 動き検出装置及び探索領域形状可変動き検出器 |
US7342964B2 (en) * | 2003-07-15 | 2008-03-11 | Lsi Logic Corporation | Multi-standard variable block size motion estimation processor |
US20070150697A1 (en) * | 2005-05-10 | 2007-06-28 | Telairity Semiconductor, Inc. | Vector processor with multi-pipe vector block matching |
JP4793070B2 (ja) * | 2006-04-12 | 2011-10-12 | ソニー株式会社 | 動きベクトル探索方法及び装置 |
GB2439119B (en) * | 2006-06-12 | 2011-04-20 | Tandberg Television Asa | Motion estimator |
US20080002772A1 (en) * | 2006-06-28 | 2008-01-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Motion vector estimation method |
JP4807582B2 (ja) * | 2007-03-16 | 2011-11-02 | カシオ計算機株式会社 | 画像処理装置、撮像装置及びそのプログラム |
GB2497812B (en) * | 2011-12-22 | 2015-03-04 | Canon Kk | Motion estimation with motion vector predictor list |
TWI571828B (zh) * | 2013-01-02 | 2017-02-21 | 奇高電子股份有限公司 | 光學導航方法以及相關裝置 |
KR101449853B1 (ko) * | 2013-05-23 | 2014-10-13 | 경희대학교 산학협력단 | 스테레오 영상의 블록 매칭 장치 |
US20150146784A1 (en) * | 2013-11-26 | 2015-05-28 | Vixs Systems Inc. | Motion compensation with moving window |
JP7426611B2 (ja) * | 2019-01-24 | 2024-02-02 | パナソニックIpマネジメント株式会社 | 校正方法および校正装置 |
CN113785323A (zh) * | 2019-02-26 | 2021-12-10 | 莫维迪乌斯有限公司 | 改进图像差异计算的效率 |
WO2021000883A1 (en) * | 2019-07-04 | 2021-01-07 | Beijing Bytedance Network Technology Co., Ltd. | Storage of motion information in history-based motion vector prediction table |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61201583A (ja) | 1985-03-04 | 1986-09-06 | Toshiba Corp | 動きベクトル検出装置 |
US4897720A (en) * | 1988-03-14 | 1990-01-30 | Bell Communications Research, Inc. | Circuit implementation of block matching algorithm |
JPH0220988A (ja) | 1988-07-08 | 1990-01-24 | Fujitsu Ltd | 動画像符号化装置における動ベクトル検出方式 |
JP2943870B2 (ja) | 1988-08-26 | 1999-08-30 | 富士通株式会社 | 画像伝送装置の動き量伝送方法および装置 |
JPH02226888A (ja) | 1989-02-28 | 1990-09-10 | Fujitsu Ltd | 動き補償符号化装置の動ベクトル作成方式 |
JP2753024B2 (ja) | 1989-03-14 | 1998-05-18 | 松下電器産業株式会社 | 画像の動きベクトル予測装置および検出装置 |
JP3001897B2 (ja) | 1989-03-03 | 2000-01-24 | 松下電器産業株式会社 | 画像の動きベクトル検出方法および画像の動きベクトル検出装置 |
US5047850A (en) | 1989-03-03 | 1991-09-10 | Matsushita Electric Industrial Co., Ltd. | Detector for detecting vector indicating motion of image |
JPH04127690A (ja) | 1990-09-19 | 1992-04-28 | Hitachi Ltd | 動画像動きベクトル推定方式 |
JPH04138790A (ja) | 1990-09-28 | 1992-05-13 | Nec Corp | 動画像信号の符号化装置 |
EP0476603B1 (en) | 1990-09-20 | 1997-06-18 | Nec Corporation | Method and apparatus for coding moving image signal |
JPH04150284A (ja) | 1990-10-09 | 1992-05-22 | Olympus Optical Co Ltd | 動ベクトル検出方法およびその装置 |
JPH04189093A (ja) | 1990-11-22 | 1992-07-07 | Victor Co Of Japan Ltd | 動き補償装置 |
SE469866B (sv) * | 1991-04-12 | 1993-09-27 | Dv Sweden Ab | Metod för estimering av rörelseinnehåll i videosignaler |
JPH05328333A (ja) * | 1992-05-15 | 1993-12-10 | Toshiba Corp | 動きベクトル検出装置 |
JP3084170B2 (ja) | 1992-08-13 | 2000-09-04 | 三菱電機株式会社 | 動きベクトル検出装置 |
DE4322343C2 (de) | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
US5822007A (en) * | 1993-09-08 | 1998-10-13 | Thomson Multimedia S.A. | Method and apparatus for motion estimation using block matching |
JPH07115646A (ja) * | 1993-10-20 | 1995-05-02 | Sony Corp | 画像処理装置 |
JP2885039B2 (ja) | 1993-12-24 | 1999-04-19 | 松下電器産業株式会社 | 動きベクトル検出回路 |
US5659364A (en) | 1993-12-24 | 1997-08-19 | Matsushita Electric Industrial Co., Ltd. | Motion vector detection circuit |
JPH07203457A (ja) | 1993-12-27 | 1995-08-04 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
JPH07250328A (ja) | 1994-01-21 | 1995-09-26 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
JP3623967B2 (ja) * | 1995-03-08 | 2005-02-23 | 株式会社 日立製作所 | 携帯用マルチメディア通信端末装置 |
JP2768646B2 (ja) * | 1995-04-05 | 1998-06-25 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動きベクトル探索方法および探索装置 |
JP3283159B2 (ja) | 1995-07-07 | 2002-05-20 | 日本電信電話株式会社 | ソフトウェアによる画像符号化方法 |
US5699129A (en) * | 1995-10-17 | 1997-12-16 | Zapex Technologies, Inc. | Method and apparatus for motion vector determination range expansion |
US5682209A (en) * | 1995-11-13 | 1997-10-28 | Tektronix, Inc. | Motion estimation using limited-time early exit with prequalification matrices and a predicted search center |
US5661524A (en) * | 1996-03-08 | 1997-08-26 | International Business Machines Corporation | Method and apparatus for motion estimation using trajectory in a digital video encoder |
US5973742A (en) * | 1996-05-24 | 1999-10-26 | Lsi Logic Corporation | System and method for performing motion estimation with reduced memory loading latency |
US5812199A (en) * | 1996-07-11 | 1998-09-22 | Apple Computer, Inc. | System and method for estimating block motion in a video image sequence |
JPH1079947A (ja) * | 1996-09-03 | 1998-03-24 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
US5864372A (en) * | 1996-12-10 | 1999-01-26 | United Microelectronics Corporation | Apparatus for implementing a block matching algorithm for motion estimation in video image processing |
-
1996
- 1996-09-20 JP JP27175696A patent/JP3019787B2/ja not_active Expired - Fee Related
-
1997
- 1997-09-11 EP EP19970250264 patent/EP0831642A3/en not_active Withdrawn
- 1997-09-16 US US08/931,650 patent/US6249550B1/en not_active Expired - Lifetime
- 1997-09-19 CN CNB971165513A patent/CN1178464C/zh not_active Expired - Fee Related
- 1997-09-20 KR KR1019970047878A patent/KR100273629B1/ko not_active IP Right Cessation
-
2000
- 2000-08-31 US US09/652,135 patent/US6366616B1/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103929647A (zh) * | 2013-01-16 | 2014-07-16 | 索尼公司 | 图像处理装置以及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1178464C (zh) | 2004-12-01 |
KR100273629B1 (ko) | 2000-12-15 |
US6249550B1 (en) | 2001-06-19 |
EP0831642A3 (en) | 2000-12-13 |
KR19980024800A (ko) | 1998-07-06 |
EP0831642A2 (en) | 1998-03-25 |
JPH1098730A (ja) | 1998-04-14 |
JP3019787B2 (ja) | 2000-03-13 |
US6366616B1 (en) | 2002-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1178464C (zh) | 运动矢量高速测算装置和运动矢量测算方法 | |
CN1258154C (zh) | 多处理器系统、数据处理系统和数据处理方法 | |
CN1120575C (zh) | 动作向量检测装置及动作向量检测方法 | |
CN1252999C (zh) | 用于隔行至渐进式变换的高级边缘自适应插值方法和系统 | |
CN1638447A (zh) | 基于边缘的图像自适应去除隔行扫描的方法和设备 | |
CN1168052A (zh) | 图象数据内插设备 | |
CN1774071A (zh) | 使用二维处理元件阵列的移动估计装置及其方法 | |
CN1522417A (zh) | 拾取图象管理装置及确定组名的方法 | |
CN1581982A (zh) | 基于模式分析的运动矢量补偿装置和方法 | |
CN1782837A (zh) | 触摸感应显示装置 | |
CN1815543A (zh) | 液晶显示器及其驱动设备 | |
CN1816154A (zh) | 用于运动估计的方法和装置 | |
CN1645907A (zh) | 考虑水平和垂直图形的全局运动补偿的顺序扫描方法 | |
CN1717702A (zh) | 利用多帧图像的静止图像的生成 | |
CN1222173C (zh) | 运动向量检测方法和装置 | |
CN1748413A (zh) | 投影仪及其投影图像校正方法 | |
CN1121018C (zh) | 纹理数据的方法和设备 | |
CN1202774A (zh) | 异步传输模式通信设备 | |
CN1753035A (zh) | 图形处理系统、装置及其材质数据的处理方法 | |
CN1256849C (zh) | 1/4像素精度插值的方法和装置 | |
CN1278421C (zh) | 半导体装置 | |
CN1112057C (zh) | Atm交换器及其自选路由方法 | |
CN1165007C (zh) | 数据传送设备、显示器及数据发送机、接收机和传送方法 | |
CN1606345A (zh) | 进行反向电视电影处理的装置与方法 | |
CN1278276C (zh) | 图像检测处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20041201 Termination date: 20100919 |