WO2003003306A1 - Appareil et procede de traitement d'images - Google Patents

Description

明細書

画像処理装置および方法 技術分野

本発明は、 画像処理装置および方法に関し、 特に、 撮像した画像を実時間で、 前景成分画像と背景成分画像に分離し、 さらに、 前景成分画像については、 動き ボケ処理を実時間で実行できるようにした画像処理装置および方法に関する。 背景技術

撮像した画像を加工する技術が一般に普及しつつある。

これまで、 異なる 2つの画像の合成や、 動きのある被写体を撮像した場合に生 じる動きボケを除去するには、 一度撮像した画像を撮像終了後にそれぞれ合成す るか、 または、 動きボケを除去する必要がある。

ところで、 後者の動きのある被写体を撮像した場合、 動きにより生じる動きボ ケを除去するには、 実時間 （リアルタイム） で実行する方法がある。 すなわち、 例えば、 図 1 Aで示すように、 ゴルフスイングを行っている被写体を撮像した場 合、 表示画像には、 ゴルフクラブの動きによりゴルフクラブがにじんで表示され る。 このにじんだように表示される現象が、 いわゆる動きボケである。

この動きボケをリアルタイムで除去しようとするためには、 図 1 Bで示すよう に、 高速度カメラにより撮像する方法が考えられる。 ただし、 高速度カメラによ り撮像を実施すると、 撮像時の明るさが不足する （1回のシャツタ時間が短いの で取り込める光の量が少なくなり、 その分明るさが不足する） ことになるため、 特殊な強い光を放つ照明を被写体に照射したり、 図 2で示すようにシャッタと同 じタイミングで被写体に強い光を放つフラッシュを照射し、 高速度カメラで撮像 する必要がある。

しかしながら、 上述の方法では、 画像の合成処理は、 リアルタイムで行うこと ができないため、 合成の処理を行う際、 合成に必要な画像が存在しないと、 再び 同じ場所で撮像しなければならないと言う課題があった。 また、 動きボケの除去 処理は、 リアルタイムで実行する方法があるものの、 例えば、 夜間における野生 動物の生態観察を目的とした撮影の場合、 上述の方法では、 強力な照明を使用す る必要があるため、 被写体となる野生動物に対して警戒感を与え、 本来の生態を 観察することができなくなってしまうという課題があった。 発明の開示

本発明はこのような状況に鑑みてなされたものであり、 画像の加工処理におけ る合成処理と動きボケの調整処理をリアルタイムで実現できるようにするもので ある。

本発明の画像処理装置は、 それぞれ時間積分効果を有する所定数の画素を含む 撮像素子によって取得された所定数の画素データからなる画像データを入力する 入力手段と、 入力手段により入力された画像データの、 画像データの前景ォブジ エタ トを構成する前景オブジェク ト成分と、 画像データの背景オブジェク トを構 成する背景ォブジェク ト成分が混合された混合領域の混合比を推定する混合比推 定手段と、 混合比推定手段により推定された混合比に基づいて、 入力手段により 入力された画像データを、 画像データの前景オブジェク トを構成する前景ォブジ ェク ト成分からなる前景成分画像と、 画像データの背景ォブジェク トを構成する 背景オブジェク ト成分からなる背景成分画像に、 実時間で分離する分離手段と、 分離手段により分離された前景成分画像、 および、 背景成分画像を実時間で記憶 する記憶手段とを備えることを特徴とする。

前記画像を構成する光を光電変換し、 光電変換することで得られた電荷を時間 的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された画 像を構成する光の量に応じて決定される画素値からなる画像データとして撮像す る撮像手段をさらに設けるようにさせることができる。

前記撮像手段に対して撮像を指令する撮像指令手段と、 撮像指令手段の指令に 応じて課金処理を実行する撮像課金手段とをさらに設けるようにさせることがで さる。

前記分離手段により実時間で分離された前景成分画像、 および、 背景成分画像、 並びに、 記憶手段により既に記憶された前景成分画像、 および、 背景成分画像を 表示する画像表示手段と、 画像表示手段により表示された、 分離手段により実時 間で分離された前景成分画像、 および、 背景成分画像、 並びに、 記憶手段により 既に記憶された前景成分画像、 および、 背景成分画像のうち、 所望とする前景成 分画像、 および、 背景成分画像を指定する画像指定手段と、 指定手段により指定 された所望とする前景成分画像、 および、 背景成分画像を合成する合成手段とを さらに設けるようにさせることができる。

前記合成手段に対して画像の合成を指令する合成指令手段と、 合成指令手段の 指令に応じて課金処理を実行する合成課金手段とをさらに設けるようにさせるこ とができる。

前記記憶手段に対して、 分離手段により分離された前景成分画像、 および、 背 景成分画像の実時間での記億をするか否かを指令する記憶指令手段と、 記憶指令 手段の指令に応じて課金処理を実行する記憶課金手段とをさらに設けるようにさ せることができる。

前記分離手段により実時間で分離された前景成分画像、 または、 記憶手段によ り既に記憶されている前景成分画像の動きボケを調整する動きボケ調整手段をさ らに設けるようにすることができる。

前記動きボケ調整手段により動きボケ調整された前景成分画像を表示する動き ボケ調整画像表示手段をさらに設けるようにさせることができる。

前記動きボケ調整手段により動きボケ調整されている、 前景成分画像と背景成 分画像とを合成する合成手段をさらに設けるようにさせることができ、 動きボケ 調整画像表示手段には、 動きボケ調整手段により動きボケ調整されている、 前景 成分画像と背景成分画像とが、 合成手段により合成された画像を表示させるよう にすることができる。

前記動きボケ調整手段が、 前景成分画像の動きボケを調整する時間を計測する 処理時間計測手段と、 処理時間計測手段により計測された時間に応じて課金処理 を実行する動きボケ調整課金手段とをさらに設けるようにさせることができる。 自らの稼働時間を計測する稼働時間計測手段と、 稼動時間計測手段により計測 された時間に応じて課金処理を実行する稼動課金手段とをさらに設けるようにさ せることができる。

本発明の画像処理方法は、 それぞれ時間積分効果を有する所定数の画素を含む 撮像素子によつて取得された所定数の画素データからなる画像データを入力する 入力ステップと、 入力ステップの処理で入力された画像データの、 画像データの 前景オブジェク トを構成する前景オブジェク ト成分と、 画像データの背景ォブジ タ トを構成する背景オブジェク ト成分が混合された混合領域の混合比を推定す る混合比推定ステツプと、 混合比推定ステップの処理で推定された混合比に基づ いて、 入力ステップの処理で入力された画像データを、 画像データの前景ォブジ ェク トを構成する前景オブジェク ト成分からなる前景成分画像と、 画像データの 背景ォブジェク トを構成する背景オブジェク ト成分からなる背景成分画像に、 実 時間で分離する分離ステップと、 分離ステップの処理で分離された前景成分画像、 および、 背景成分画像を実時間で記憶する記憶ステツプとを含むことを特徴とす る。

前記画像を構成する光を光電変換し、 光電変換することで得られた電荷を時間 的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された画 像を構成する光の量に応じて決定される画素値からなる画像データとして撮像す る撮像ステップをさらに含ませるようにすることができる。

前記撮像ステップの処理に対して撮像を指令する撮像指令ステップと、 撮像指 令ステップの処理での指令に応じて課金処理を実行する撮像課金ステップとをさ らに含ませるようにすることができる。

前記分離ステップの処理により実時間で分離された前景成分画像、 および、 背 景成分画像、 並びに、 記憶ステップの処理により既に記憶された前景成分画像、 および、 背景成分画像を表示する画像表示ステップと、 画像表示ステップの処理 により表示された、 分離ステップの処理により実時間で分離された前景成分画像、 および、 背景成分画像、 並びに、 記憶ステップの処理により既に記憶された前景 成分画像、 および、 背景成分画像のうち、 所望とする前景成分画像、 および、 背 景成分画像を指定する画像指定ステップと、 指定ステップの処理により指定され た所望とする前景成分画像、 および、 背景成分画像を合成する合成ステップとを さらに含ませるようにすることができる。

前記合成ステップの処理に対して画像の合成を指令する合成指令ステップと、 合成指令ステップの処理での指令に応じて課金処理を実行する合成課金ステツプ とをさらに含ませるようにすることができる。

前記記憶ステップの処理に対して、 分離ステップの処理により分離された前景 成分画像、 および、 背景成分画像の実時間での記憶をするか否かを指令する記憶 指令ステップと、 記憶指令ステップの処理での指令に応じて課金処理を実行する 記憶課金ステップとをさらに含ませるようにすることができる。

前記分離ステップの処理により実時間で分離された前景成分画像、 または、 記 憶ステップの処理により既に記憶されている前景成分画像の動きボケを調整する 動きボケ調整ステップをさらに含ませるようにすることができる。

前記動きボケ調整ステップの処理により動きボケ調整された前景成分画像を表 示する動きボケ調整画像表示ステップをさらに含ませるようにすることができる。 前記動きボケ調整ステップの処理により動きボケ調整されている、 前景成分画 像と背景成分画像とを合成する合成ステップをさらに含ませるようにすることが でき、 動きボケ調整画像表示ステップの処理には、 動きボケ調整ステップの処理 により動きボケ調整されている、 前景成分画像と背景成分画像とが、 合成ステツ プの処理により合成された画像を表示させるようにすることができる。

前記動きボケ調整ステップの処理が、 前景成分画像の動きボケを調整する時間 を計測する処理時間計測ステップと、 処理時間計測ステップの処理により計測さ れた時間に応じて課金処理を実行する動きボケ調整課金ステップとをさらに含ま せるようにすることができる。 自らの稼働時間を計測する稼働時間計測ステップと、 稼動時間計測ステップの 処理により計測された時間に応じて課金処理を実行する稼動課金ステップとをさ らに含ませるようにすることができる。

本発明の記録媒体のプログラムは、 それぞれ時間積分効果を有する所定数の画 素を含む撮像素子によって取得された所定数の画素データからなる画像データの 入力を制御する入力制御ステップと、 入力制御ステップの処理で入力された画像 データの、 画像データの前景オブジェク トを構成する前景オブジェク ト成分と、 画像データの背景ォブジェク トを構成する背景オブジェク ト成分が混合された混 合領域の混合比の推定を制御する混合比推定制御ステップと、 混合比推定制御ス テツプの処理で推定された混合比に基づいて、 入力制御ステップの処理で入力さ れた画像データを、 画像データの前景オブジェク トを構成する前景オブジェク ト 成分からなる前景成分画像と、 画像データの背景オブジェク トを構成する背景ォ ブジェク ト成分からなる背景成分画像との、 実時間での分離を制御する分離制御 ステップと、 分離制御ステップの処理で分離された前景成分画像、 および、 背景 成分画像の実時間での記憶を制御する記憶制御ステツプとを含むことを特徴とす る。

前記画像を構成する光を光電変換し、 光電変換することで得られた電荷の時間 的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された画 像を構成する光の量に応じて決定される画素値からなる画像データとしての撮像 を制御する撮像制御ステップをさらに含ませるようにすることができる。

前記撮像制御ステップの処理に対しての撮像の指令を制御する撮像指令制御ス テツプと、 撮像指令制御ステップの処理での指令に応じた課金処理の実行を制御 する撮像課金制御ステップとをさらに含ませるようにすることができる。

前記分離制御ステップの処理により実時間での分離が制御された前景成分画像、 および、 背景成分画像、 並びに、 記憶制御ステップの処理により既に記憶が制御 された前景成分画像、 および、 背景成分画像の表示を制御する画像表示制御ステ ップと、 画像表示制御ステップの処理により表示が制御された、 分離制御ステツ プの処理により実時間での分離が制御された前景成分画像、 および、 背景成分画 像、 並びに、 記憶制御ステップの処理により既に記憶が制御された前景成分画像、 および、 背景成分画像のうち、 所望とする前景成分画像、 および、 背景成分画像 の指定を制御する画像指定制御ステップと、 指定制御ステップの処理により指定 が制御された所望とする前景成分画像、 および、 背景成分画像の合成を制御する 合成制御ステップとをさらに含ませるようにすることができる。

前記合成制御ステップの処理に対しての画像の合成の指令を制御する合成指令 制御ステップと、 合成指令制御ステツプの処理で制御された指令に応じて課金処 理の実行を制御する合成課金制御ステップとをさらに含ませるようにすることが できる。

前記記憶制御ステップの処理に対して、 分離制御ステップの処理により分離が 制御された前景成分画像、 および、 背景成分画像の実時間での記憶をするか否か の指令を制御する記憶指令制御ステップと、 記憶指令制御ステツプの処理で制御 された指令に応じて課金処理の実行を制御する記憶課金制御ステップとをさらに 含ませるようにすることができる。

前記分離制御ステップの処理により実時間で分離が制御された前景成分画像、 または、 記憶制御ステップの処理により既に記憶が制御されている前景成分画像 の動きボケの調整を制御する動きボケ調整制御ステップをさらに含ませるように することができる。

前記動きボケ調整制御ステップの処理により動きボケ調整が制御された前景成 分画像の表示を制御する動きボケ調整画像表示制御ステップをさらに含ませるよ うにすることができる。

前記動きボケ調整制御ステップの処理により動きボケ調整が制御されている、 前景成分画像と背景成分画像との合成を制御する合成制御ステップをさらに含ま せるようにすることができ、 動きボケ調整画像表示制御ステップの処理には、 動 きボケ調整制御ステップの処理により動きボケ調整が制御されている、 前景成分 画像と背景成分画像とが、 合成制御ステップの処理により合成が制御された画像 の表示を制御させるようにすることができる。

前記動きボケ調整制御ステップの処理が、 前景成分画像の動きボケの調整を制 御する時間の計測を制御する処理時間計測制御ステップと、 処理時間計測制御ス テップの処理により計測が制御された時間に応じて課金処理の実行を制御する動 きボケ調整課金制御ステップとをさらに含ませるようにすることができる。

自らの稼働時間の計測を制御する稼働時間計測制御ステップと、 稼動時間計測 制御ステップの処理により計測が制御された時間に応じて課金処理の実行を制御 する稼動課金制御ステップとをさらに含ませるようにすることができる。

本発明のプログラムは、 それぞれ時間積分効果を有する所定数の画素を含む撮 像素子によって取得された所定数の画素データからなる画像データの入力を制御 する入力制御ステップと、 入力制御ステップの処理で入力された画像データの、 画像データの前景オブジェク トを構成する前景オブジェク ト成分と、 画像データ の背景オブジェク トを構成する背景オブジェク ト成分が混合された混合領域の混 合比の推定を制御する混合比推定制御ステップと、 混合比推定制御ステップの処 理で推定された混合比に基づいて、 入力制御ステップの処理で入力された画像デ ータを、 画像データの前景ォブジェク トを構成する前景オブジェク ト成分からな る前景成分画像と、 画像データの背景オブジェク トを構成する背景オブジェク ト 成分からなる背景成分画像との、 実時間での分離を制御する分離制御ステツプと、 分離制御ステップの処理で分離された前景成分画像、 および、 背景成分画像の実 時間での記憶を制御する記憶制御ステップとをコンピュータに実行させることを 特徴とする。

前記画像を構成する光を光電変換し、 光電変換することで得られた電荷の時間 的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された画 像を構成する光の量に応じて決定される画素値からなる画像データとしての撮像 を制御する撮像制御ステップをさらに含ませるようにすることができる。

前記撮像制御ステップの処理に対しての撮像の指令を制御する撮像指令制御ス テツプと、 撮像指令制御ステツプの処理での指令に応じた課金処理の実行を制御 する撮像課金制御ステップとをさらに含ませるようにすることができる。

前記分離制御ステップの処理により実時間での分離が制御された前景成分画像、 および、 背景成分画像、 並びに、 記憶制御ステップの処理により既に記憶が制御 された前景成分画像、 および、 背景成分画像の表示を制御する画像表示制御ステ ップと、 画像表示制御ステップの処理により表示が制御された、 分離制御ステツ プの処理により実時間での分離が制御された前景成分画像、 および、 背景成分画 像、 並びに、 記憶制御ステップの処理により既に記憶が制御された前景成分画像、 および、 背景成分画像のうち、 所望とする前景成分画像、 および、 背景成分画像 の指定を制御する画像指定制御ステップと、 指定制御ステップの処理により指定 が制御された所望とする前景成分画像、 および、 背景成分画像の合成を制御する 合成制御ステップとをさらに含ませるようにすることができる。

前記合成制御ステップの処理に対しての画像の合成の指令を制御する合成指令 制御ステツプと、 合成指令制御ステップの処理で制御された指令に応じて課金処 理の実行を制御する合成課金制御ステップとをさらに含ませるようにすることが できる。

前記記億制御ステップの処理に対して、 分離制御ステップの処理により分離が 制御された前景成分画像、 および、 背景成分画像の実時間での記憶をするか否か の指令を制御する記憶指令制御ステツプと、 記憶指令制御ステップの処理で制御 された指令に応じて課金処理の実行を制御する記憶課金制御ステップとをさらに 含ませるようにすることができる。

前記分離制御ステップの処理により実時間で分離が制御された前景成分画像、 または、 記憶制御ステップの処理により既に記憶が制御されている前景成分画像 の動きボケの調整を制御する動きボケ調整制御ステップをさらに含ませるように することができる。

前記動きボケ調整制御ステップの処理により動きボケ調整が制御された前景成 分画像の表示を制御する動きボケ調整画像表示制御ステップをさらに含ませるよ うにすることができる。 前記動きボケ調整制御ステップの処理により動きボケ調整が制御されている、 前景成分画像と背景成分画像との合成を制御する合成制御ステップをさらに含ま せるようにすることができ、 動きボケ調整画像表示制御ステップの処理には、 動 きボケ調整制御ステップの処理により動きボケ調整が制御されている、 前景成分 画像と背景成分画像とが、 合成制御ステップの処理により合成が制御された画像 の表示を制御させるようにすることができる。

前記動きボケ調整制御ステップの処理が、 前景成分画像の動きボケの調整を制 御する時間の計測を制御する処理時間計測制御ステップと、 処理時間計測制御ス テツプの処理により計測が制御された時間に応じて課金処理の実行を制御する動 きボケ調整課金制御ステップとをさらに含ませるようにすることができる。 自らの稼働時間の計測を制御する稼働時間計測制御ステップと、 稼動時間計測 制御ステップの処理により計測が制御された時間に応じて課金処理の実行を制御 する稼動課金制御ステップとをさらに含ませるようにすることができる。

本発明の画像処理装置および方法、 並びにプログラムにおいては、 それぞれ時 間積分効果を有する所定数の画素を含む撮像素子によって取得された所定数の画 素データからなる画像データが入力され、 入力された画像データの、 画像データ の前景オブジェク トを構成する前景オブジェク ト成分と、 画像データの背景ォブ ジェク トを構成する背景ォブジェク ト成分が混合された混合領域の混合比が推定 され、 推定された混合比に基づいて、 入力された画像データが、 画像データの前 景ォブジェク トを構成する前景オブジェク ト成分からなる前景成分画像と、 画像 データの背景オブジェク トを構成する背景オブジェク ト成分からなる背景成分画 像に、 実時間で分離され、 分離された前景成分画像、 および、 背景成分画像が実 時間で記憶される。 図面の簡単な説明

図 1 Aは、 従来の画像処理方法を示す図である。

図 1 Bは、 従来の画像処理方法を示す図である。 図 2は、 従来の画像処理方法を示す図である。

図 3は、 本発明を適用した画像処理システムの一実施の形態の構成を示す図で ある。

図 4は、 図 3のカメラ端末装置の構成を示す図である。

図 5は、 図 3のテレビジョン受像機端末装置の構成を示す図である。

図 6は、 図 4のカメラ端末装置の構成を示すプロック図である。

図 7は、 図 5のテレビジョン受像機端末装置の構成を示すブロック図である。 図 8は、 図 6の信号処理部の構成を示すプロック図である。

図 9は、 画像処理装置を示すブロック図である。

図 1 0は、 センサによる撮像を説明する図である。

図 1 1は、 画素の配置を説明する図である。

図 1 2は、 検出素子の動作を説明する図である。

図 1 3 Aは、 動いている前景に対応するオブジェク トと、 静止している背景に 対応するォブジェク トとを撮像して得られる画像を説明する図である。

図 1 3 Bは、 動いている前景に対応するォブジェク 卜と、 静止している背景に 対応するォブジェク トとを撮像して得られる画像を説明する図である。

図 1 4は、 背景領域、 前景領域、 混合領域、 カバードバックグラウンド領域、 およびアンカバードバックグラウンド領域を説明する図である。

図 1 5は、 静止している前景に対応するォブジェク トおよび静止している背景 に対応するオブジェク トを撮像した画像における、 隣接して 1列に並んでいる画 素の画素値を時間方向に展開したモデル図である。

図 1 6は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 1 7は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 1 8は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。 図 1 9は、 前景領域、 背景領域、 および混合領域の画素を抽出した例を示す図 である。

図 2 0は、 画素と画素値を時間方向に展開したモデルとの対応を示す図である ₍ 図 2 1は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 2 2は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 2 3は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 2 4は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 2 5は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 2 6は、 動きボケの量の調整の処理を説明するフローチヤ一トである。

図 2 7は、 領域特定部 1 0 3の構成の一例を示すブロック図である。

図 2 8は、 前景に対応するオブジェク トが移動しているときの画像を説明する 図である。

図 2 9は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 3 0は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 3 1は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 3 2は、 領域判定の条件を説明する図である。

図 3 3 Aは、 領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 3 3 Bは、 領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 3 3 Cは、 領域特定部 1 0 3の領域の特定の結果の例を示す図である。 図 3 3 Dは、 領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 3 4は、 領域特定部 1 0 3の領域の特定の結果の例を示す図である。

図 3 5は、 領域特定の処理を説明するフローチヤ一トである。

図 3 6は、 領域特定部 1 0 3の構成の他の一例を示すプロック図である。

図 3 7は、 画素値を時間方向に展開し、 シャッタ時間に対応する期間を分割し たモデル図である。

図 3 8は、 背景画像の例を示す図である。

図 3 9は、 2値ォブジェク ト画像抽出部 3 0 2の構成を示すブロック図である _c 図 4 O Aは、 相関値の算出を説明する図である。

図 4 0 Bは、 相関値の算出を説明する図である。

図 4 1 Aは、 相関値の算出を説明する図である。

図 4 1 Bは、 相関値の算出を説明する図である。

図 4 2は、 2値オブジェク ト画像の例を示す図である。

図 4 3は、 時間変化検出部 3 0 3の構成を示すプロック図である。

図 4 4は、 領域判定部 3 4 2の判定を説明する図である。

図 4 5は、 時間変化検出部 3 0 3の判定の例を示す図である。

図 4 6は、 領域判定部 1 0 3の領域特定の処理を説明するフローチャートであ る。

図 4 7は、 領域判定の処理の詳細を説明するフローチヤ一トである。

図 4 8は、 領域特定部 1 0 3のさらに他の構成を示すブロック図である。

図 4 9は、 口バス ト化部 3 6 1の構成を説明するプロック図である。

図 5 0は、 動き補償部 3 8 1の動き補償を説明する図である。

図 5 1は、 動き補償部 3 8 1の動き補償を説明する図である。

図 5 2は、 領域特定の処理を説明するフローチャートである。

図 5 3は、 ロバス ト化の処理の詳細を説明するフローチャートである。

図 5 4は、 混合比算出部 1 0 4の構成の一例を示すプロック図である。

図 5 5は、 理想的な混合比 αの例を示す図である。 図 5 6は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 5 7は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 5 8は、 前景の成分の相関を利用した近似を説明する図である。

図 5 9は、 C , N、 および Pの関係を説明する図である。

図 6 0は、 推定混合比処理部 4 0 1の構成を示すプロック図である。

図 6 1は、 推定混合比の例を示す図である。

図 6 2は、 混合比算出部 1 0 4の他の構成を示すプロック図である。

図 6 3は、 混合比の算出の処理を説明するフローチャートである。

図 6 4は、 推定混合比の演算の処理を説明するフローチヤ一トである。

図 6 5は、 混合比 αを近似する直線を説明する図である。

図 6 6は、 混合比 αを近似する平面を説明する図である。

図 6 7は、 混合比 αを算出するときの複数のフレームの画素の対応を説明する 図である。

図 6 8は、 混合比推定処理部 4 0 1の他の構成を示すプロック図である。 図 6 9は、 推定混合比の例を示す図である。

図 7 0は、 カバードバックグラウンド領域に対応するモデルによる混合比推定 の処理を説明するフローチヤ一トである。

図 7 1は、 前景背景分離部 1 0 5の構成の一例を示すブロック図である。 図 7 2 Αは、 入力画像、 前景成分画像、 および背景成分画像を示す図である。 図 7 2 Βは、 入力画像、 前景成分画像、 および背景成分画像を示す図である。 図 7 3は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 7 4は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 7 5は、 画素値を時間方向に展開し、 シャツタ時間に対応する期間を分割し たモデル図である。

図 7 6は、 分離部 6 0 1の構成の一例を示すブロック図である。

図 7 7 Aは、 分離された前景成分画像、 および背景成分画像の例を示す図であ る。

図 7 7 Bは、 分離された前景成分画像、 および背景成分画像の例を示す図であ る。

図 7 8は、 前景と背景との分離の処理を説明するフローチヤ一トである。 図 7 9は、 動きボケ調整部 1 0 6の構成の一例を示すブロック図である。 図 8 0は、 処理単位を説明する図である。

図 8 1は、 前景成分画像の画素値を時間方向に展開し、 シャツタ時間に対応す る期間を分割したモデル図である。

図 8 2は、 前景成分画像の画素値を時間方向に展開し、 シャツタ時間に対応す る期間を分割したモデル図である。

図 8 3は、 前景成分画像の画素値を時間方向に展開し、 シャツタ時間に対応す る期間を分割したモデル図である。

図 8 4は、 前景成分画像の画素値を時間方向に展開し、 シャツタ時間に対応す る期間を分割したモデル図である。

図 8 5は、 動きボケ調整部 1 0 6の他の構成を示す図である。

図 8 6は、 動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量 の調整の処理を説明するフローチャートである。

図 8 7は、 動きボケ調整部 1 0 6の構成の他の一例を示すブロック図である。 図 8 8は、 画素値と前景の成分のとの対応を指定するモデルの例を示す図であ る。

図 8 9は、 前景の成分の算出を説明する図である。

図 9 0は、 前景の成分の算出を説明する図である。

図 9 1は、 前景の動きボケの除去の処理を説明するフローチャートである。 図 9 2は、 画像処理装置の機能の他の構成を示すブロック図である。 図 9 3は、 合成部 1 0 0 1の構成を示す図である。

図 9 4は、 画像処理装置の機能のさらに他の構成を示すプロック図である。 図 9 5は、 混合比算出部 1 1 0 1の構成を示すブロック図である。

図 9 6は、 前景背景分離部 1 1 0 2の構成を示すブロック図である。

図 9 7は、 画像処理装置の機能のさらに他の構成を示すブロック図である。 図 9 8は、 合成部 1 2 0 1の構成を示す図である。

図 9 9は、 カメラ端末装置の合成サービスの処理を説明するフローチャートで ある。

図 1 0 0は、 合成サービスの課金処理を説明するフローチャートである。

図 1 0 1は、 合成サービスの課金処理を説明する図である。

図 1 0 2 Aは、 合成サービスの課金処理を説明する図である。

図 1 0 2 Bは、 合成サービスの課金処理を説明する図である。

図 1 0 2 Cは、 合成サービスの課金処理を説明する図である。

図 1 0 3は、 カメラ端末装置によるリアルタイム合成サービスを説明する図で ある。

図 1 0 4は、 カメラ端末装置の別の実施例を説明する図である。

図 1 0 5は、 カメラ端末装置によるリアルタイム合成サービスの処理を説明す るフローチヤ一トである。

図 1 0 6は、 カメラ端末装置によるリアルタイム合成サービスを説明する図で ある。

図 1 0 7は、 カメラ端末装置によるリアルタイム合成サービスを説明する図で ある。 発明を実施するための最良の形態

図 3は、 本発明に係る画像処理システムの一実施の形態を示す図である。 本発明の画像処理システムは、 例えば、 インターネットなどのネットワーク 1 上に、 カメラ端末装置 2、 テレビジョン端末装置 3、 課金サーバ 5、 金融サーバ (顧客用） 6、 および、 金融サーバ （提供者用） 7が、 接続されており相互にデ ータを授受できる構成となっている。 カメラ端末装置 2は、 画像を撮像し、 撮像 した画像を実時間で分離したり、 合成して、 表示する。 このとき、 画像の分離や 合成といった処理に対しては、 料金が発生する構成となっている。 従って、 この カメラ端末装置 2は、 例えば、 貸し出されるものとして、 画像の分離や合成とい つた処理に係る料金は、 ネッ トワーク 1を介して課金サーバ 5によりその使用者 の金融サーバ 6から提供者 （例えば、 カメラ端末装置 2を貸し出している業者） の金融サーバ 7に課金されるものとしてもよい。 テレビジョン受像機端末装置 3 は、 カメラ装置 4により撮像された画像を実時間で分離したり、 合成して、 表示 する。 この画像の分離や合成にかかる料金についても、 カメラ端末装置 2と同様 にすることができる。

図 4は、 本発明に係るカメラ端末装置 2の構成を示す図である。 CPU

(Centra l Process i ng Uni t) 2 1は、 ROM (Read On l y Memory) 2 2、 または 記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Access Memory) 2 3には、 CPU 2 1が実行するプログラムやデータ などが適宜記憶される。 これらの CPU 2 1、 ROM 2 2 , および RAM 2 3は、 ノ ス 2 4により相互に接続されている。

CPU 2 1にはまた、 バス 4 4を介して入出力ィンタフェース 2 5が接続されて いる。 入出力インタフェース 2 5には、 キーボード、 マウス、 マイクロホンなど よりなる入力部 2 6、 ディスプレイ、 スピーカなどよりなる出力部 2 7が接続さ れている。 CPU 2 1は、 シャツタボタンや、 各種の入力キーなどからなる入力部 2 6から入力される指令に対応して各種の処理を実行する。 また、 入力部 2 6に は、 撮像素子としてのセンサ 2 6 aが接続されており、 撮像された画像が入力さ れる。 そして、 CPU 2 1は、 処理の結果得られた画像や音声等を出力部 2 7に出 力し、 画像については、 LCD ( Li qu id Crystal Di splay) 2 7 aに表示させる _c 入出力ィンタフェース 2 5に接続されている記憶部 2 8は、 例えばハードディ スクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する _c 通信部 2 9は、 インターネッ ト、 その他のネットワークを介して外部の装置と通 信する。

また、 通信部 2 9を介してプログラムを取得し、 記憶部 2 8に記憶してもよい。 入出力インタフェース 2 5に接続されているドライブ 3 0は、 磁気ディスク 4 1、 光ディスク 4 2、 光磁気ディスク 4 3、 或いは半導体メモリ 4 4などが装着 されたとき、 それらを駆動し、 そこに記録されているプログラムやデータなどを 取得する。 取得されたプログラムやデータは、 必要に応じて記憶部 2 8に転送さ れ、 記憶される。

図 5は、 本発明に係るテレビジョン受像機 3の構成を示す図である。 テレビジ ヨン受像機 3の構成は、 基本的にカメラ端末装置 2の構成と同じ構成となってい る。 すなわち、 テレビジョン受像機端末装置 3の CPU 5 1、 R0M 5 2、 RAM 5 3、 バス 5 4、 入出力ィンタフェース 5 5、 入力部 5 6、 出力部 5 7、 記憶部 5 8、 通信部 5 9、 ドライブ 6 0、 磁気ディスク 6 1、 光ディスク 6 2、 光磁気デイス ク 6 3、 および、 半導体メモリ 6 4は、 カメラ端末装置 2の CPU 2 1、 ROM 2 2、 RAM 2 3 , バス 2 4、 入出力インタフェース 2 5、 入力部 2 6、 出力部 2 7、 記 憶部 2 8、 通信部 2 9、 ドライブ 3 0、 磁気ディスク 4 1、 光ディスク 5 2、 光 磁気ディスク 5 3、 および、 半導体メモリ 5 4に、 それぞれ対応している。 なお、 この例においては、 テレビジョン受像機端末装置 3の通信部 5 9には、 図 1 Aと 図 1 Bで示すように、 カメラ装置 4が接続され、 撮像された画像が入力される。 尚、 課金サーバ 5、 金融サーバ （顧客用） 6、 および、 金融サーバ （提供者 用） 7については、 その基本構成がテレビジョン受像機端末装置 3と同様である ので、 その説明は省略する。

次に、 図 6を参照して、 カメラ端末装置 2について説明する。 .

カメラ端末装置 2の信号処理部 7 1は、 撮像部 7 4 (図 4のセンサ 7 6 aに相 当する） より入力される画像、 または、 それ以外の入力により入力される画像に 基づいて、 入力画像をそのまま表示部 7 3に表示させるほか、 入力画像の前景、 入力画像の背景、 入力画像の前景と画像蓄積部 7 2に予め蓄積された背景との合 成画像、 入力画像の背景と画像蓄積部 7 2に予め蓄積された前景との合成画像、 画像蓄積部 7 2に予め蓄積された前景と背景の合成画像、 画像蓄積部 7 2に予め 蓄積された前景、 および、 画像蓄積部 7 2に予め蓄積された背景のいずれかを生 成して表示部 7 3に表示させる。

また、 信号制御部 7 1に入力される画像は、 必ずしも画像でなくてもよい。 す なわち、 信号制御部 7 1は、 上述の各種の出力画像を表示部 7 3に表示させる際、 各画像毎に IDを付して （前景成分画像、 背景成分画像、 または、 合成画像のい ずれに対しても IDを付して） 、 画像蓄積部 7 2に蓄積させるので、 蓄積された 画像を指定する画像 IDを入力することで、 信号制御部 7 1は、 画像蓄積部 7 2 に蓄積された画像のうち画像 I Dに対応する画像を入力画像として使用すること ができる。

課金処理部 7 5は、 信号処理部 7 1の画像分離処理、 または、 画像合成処理に かかる料金について、 ネットワーク 1を介して課金サーバ 5と共に課金処理を実 行する。 課金処理部 7 5は、 自らの I Dを記憶しており、 課金処理の際、 使用者 の ID、 認証情報、 および、 利用金額と共に課金サーバ 5に送信する。

尚、 信号処理部 7 1の詳細については図 8を参照して後述する。

次に、 図 7を参照してテレビジョン受像機端末装置 3の構成について説明する _c テレビジョン受像機端末装置 3については、 カメラ端末装置 2に設けられていた 撮像部 7 4が設けられておらず、 代わりに外部のカメラ装置 4により撮像された 画像、 または、 図示せぬアンテナより受信される電波より NTSC (Nat i ona l

Te l ev i s ion Standards Commi t tee) 信号として信号処理部 8 1に画像を出力す るチューナ 8 4以外の構成は同様である。 すなわち、 テレビジョン受像機端末装 置 3の信号処理部 8 1、 画像蓄積部 8 2、 表示部 8 3、 および、 課金処理部 8 5 は、 カメラ端末装置 2の信号処理部 7 1、 画像蓄積部 7 2、 表示部 7 3、 および、 課金処理部 7 5に対応するものであるので、 その説明は省略する。

次に、 図 8を参照して、 信号処理部 7 1の構成について説明する。

信号処理部 7 1の分離部 9 1は、 撮像部 7 4から入力される入力画像、 その他 の入力画像、 または、 画像 IDにより指定された画像蓄積部 7 2に蓄積された画 像を前景成分画像と背景成分画像に分離し、 所望とする画像を合成部 9 2に出力 する。 すなわち、 所望とする画像とは、 出力しょうとする画像が前景成分画像で ある場合には、 分離した画像のうち前景成分画像だけを合成部 9 2に出力し、 逆 に、 出力しょうとする画像に必要な画像が背景成分画像である場合には、 分離し た画像のうち背景成分画像のみを合成部 9 2に出力する。 また、 このとき、 合成 部 9 2に出力した画像については、 各画像毎に IDを付して画像蓄積部 7 2に蓄 積させる。 もちろん、 分離部 9 1は、 入力された画像を分離処理することなくそ のまま合成部 9 2に出力することもできる。 その際も、 分離部 9 1は、 出力画像 に IDを付して画像蓄積部 7 2に蓄積させる。

合成部 9 2は、 分離部 9 1より入力される画像に、 必要に応じて画像蓄積部 7 2に蓄積された画像を合成して合成画像として出力する。 すなわち、 入力画像の 前景、 入力画像の背景を出力する場合、 合成部 9 2は、 分離部 9 1より入力され た前景成分画像か、 または、 背景成分画像をそのまま出力する。 また、 入力画像 の前景と画像蓄積部 7 2に予め蓄積された背景との合成画像、 入力画像の背景と 画像蓄積部 7 2に予め蓄積された前景との合成画像を出力する場合、 合成部 9 2 は、 分離部 9 1より入力された前景成分画像、 または、 背景成分画像に、 画像蓄 積部 7 2に予め蓄積された背景成分画像、 または、 前景成分画像を合成して出力 する。 さらに、 画像蓄積部 7 2に予め蓄積された前景と背景の合成画像、 画像蓄 積部 7 2に予め蓄積された前景、 または、 画像蓄積部 7 2に予め蓄積された背景 を出力する場合、 合成部 9 2は、 画像蓄積部 7 2に予め蓄積された前景成分画像 と背景成分画像を合成して出力するか、 または、 画像蓄積部 7 2に予め蓄積され た前景成分画像、 若しくは、 背景成分画像をそのまま出力する。

また、 課金処理部 7 5は、 分離部 9 1の分離処理時、 および、 合成部 9 2の合 成処理時に課金処理を行う。 従って、 分離部 9 1において、 分離処理がなされず、 そのまま合成部 9 2に出力される場合、 および、 合成部 9 2において、 合成処理 がなされないまま出力される場合は、 課金されないようにしてもよい。 図 9は、 分離部 9 1を示すブロック図である。

なお、 分離部 9 1の各機能をハードウェアで実現するか、 ソフトウェアで実現 するかは問わない。 つまり、 本明細書の各ブロック図は、 ハードウェアのブロッ ク図と考えても、 ソフトウエアによる機能プロック図と考えても良い。

分離部 9 1に供給された入力画像は、 オブジェク ト抽出部 1 0 1、 領域特定部 1 0 3、 混合比算出部 1 0 4、 および前景背景分離部 1 0 5に供給される。

オブジェク ト抽出部 1 0 1は、 入力画像に含まれる前景のオブジェク トに対応 する画像ォブジ -ク トを粗く抽出して、 抽出した画像オブジェク トを動き検出部 1 0 2に供給する。 オブジェク ト抽出部 1 0 1は、 例えば、 入力画像に含まれる 前景のオブジェク トに対応する画像オブジェク トの輪郭を検出することで、 前景 のオブジェク トに対応する画像オブジェク トを粗く抽出する。

オブジェク ト抽出部 1 0 1は、 入力画像に含まれる背景のオブジェク トに対応 する画像オブジェク トを粗く抽出して、 抽出した画像オブジェク トを動き検出部

1 0 2に供給する。 オブジェク ト抽出部 1 0 1は、 例えば、 入力画像と、 抽出さ れた前景のオブジェク 卜に対応する画像オブジェク トとの差から、 背景のォブジ ェク トに対応する画像オブジェク トを粗く抽出する。

また、 例えば、 オブジェク ト抽出部 1 0 1は、 内部に設けられている背景メモ リに記憶されている背景の画像と、 入力画像との差から、 前景のオブジェク トに 対応する画像オブジェク ト、 および背景のオブジェク トに対応する画像オブジェ タ トを粗く抽出するようにしてもよい。

動き検出部 1 0 2は、 例えば、 ブロックマッチング法、 勾配法、 位相相関法、 およびペルリカーシブ法などの手法により、 粗く抽出された前景のオブジェク ト に対応する画像オブジェク トの動きべク トルを算出して、 算出した動きべク トル および動きべク トルの位置情報 （動きべク トルに対応する画素の位置を特定する 情報） を領域特定部 1 0 3および動きボケ調整部 1 0 6に供給する。

動き検出部 1 0 2が出力する動きべク トルには、 動き量 Vに対応する情報が 含まれている。 また、 例えば、 動き検出部 1 0 2は、 画像オブジェク トに画素を特定する画素 位置情報と共に、 画像オブジェク ト毎の動きべク トルを動きボケ調整部 1 0 6に 出力するようにしてもよい。

動き量 Vは、 動いているオブジェク トに対応する画像の位置の変化を画素間 隔を単位として表す値である。 例えば、 前景に対応するオブジェク トの画像が、 あるフレームを基準として次のフレームにおいて 4画素分離れた位置に表示され るように移動しているとき、 前景に対応するォブジェク トの画像の動き量 V は、 4とされる。

なお、 オブジェク ト抽出部 1 0 1および動き検出部 1 0 2は、 動いているォブ ジェク トに対応した動きボケ量の調整を行う場合に必要となる。

領域特定部 1 0 3は、 入力された画像の画素のそれぞれを、 前景領域、 背景領 域、 または混合領域のいずれかに特定し、 画素毎に前景領域、 背景領域、 または 混合領域のいずれかに属するかを示す情報 （以下、 領域情報と称する） を混合比 算出部 1 0 4、 前景背景分離部 1 0 5、 および動きボケ調整部 1 0 6に供給する _c 混合比算出部 1 0 4は、 入力画像、 および領域特定部 1 0 3から供給された領 域情報を基に、 混合領域に含まれる画素に対応する混合比 （以下、 混合比 αと称 する） を算出して、 算出した混合比を前景背景分離部 1 0 5に供給する。

混合比 αは、 後述する式 （3 ) に示されるように、 画素値における、 背景のォ ブジェク トに対応する画像の成分 （以下、 背景の成分とも称する） の割合を示す 値である。

前景背景分離部 1 0 5は、 領域特定部 1 0 3から供給された領域情報、 および 混合比算出部 1 0 4から供給された混合比 αを基に、 前景のオブジェク トに対応 する画像の成分 （以下、 前景の成分とも称する） のみから成る前景成分画像と、 背景の成分のみから成る背景成分画像とに入力画像を分離して、 前景成分画像を 動きボケ調整部 1 0 6および選択部 1 0 7に供給する。 なお、 分離された前景成 分画像を最終的な出力とすることも考えられる。 従来の混合領域を考慮しないで 前景と背景だけを特定し、 分離していた方式に比べ正確な前景と背景を得ること が出来る。

動きボケ調整部 1 0 6は、 動きべク トルからわかる動き量 Vおよび領域情報 を基に、 前景成分画像に含まれる 1以上の画素を示す処理単位を決定する。 処理 単位は、 動きボケの量の調整の処理の対象となる 1群の画素を指定するデータで ある。

動きボケ調整部 1 0 6は、 分離部 9 1に入力された動きボケ調整量、 前景背景 分離部 1 0 5から供給された前景成分画像、 動き検出部 1 0 2から供給された動 きべク トルおよびその位置情報、 並びに処理単位を基に、 前景成分画像に含まれ る動きボケを除去する、 動きボケの量を減少させる、 または動きボケの量を増加 させるなど前景成分画像に含まれる動きボケの量を調整して、 動きボケの量を調 整した前景成分画像を選択部 1 0 7に出力する。 動きべク トルとその位置情報は 使わないこともある。

ここで、 動きボケとは、 撮像の対象となる、 現実世界におけるオブジェク トの 動きと、 センサの撮像の特性とにより生じる、 動いているオブジェク トに対応す る画像に含まれている歪みをいう。

選択部 1 0 7は、 例えば使用者の選択に対応した選択信号を基に、 前景背景分 離部 1 0 5から供給された前景成分画像、 および動きボケ調整部 1 0 6から供給 された動きボケの量が調整された前景成分画像のいずれか一方を選択して、 選択 した前景成分画像を出力する。

次に、 図 1 0乃至図 2 5を参照して、 分離部 9 1に供給される入力画像につい て説明する。

図 1 0は、 センサによる撮像を説明する図である。 センサは、 例えば、 固体撮 像素子である CCD (Charge-Coup l ed Dev i ce) エリアセンサを備えた CCDビデオ カメラなどで構成される。 現実世界における、 前景に対応するォブジェク ト 1 1 2は、 現実世界における、 背景に対応するオブジェク ト 1 1 1と、 センサとの間 を、 例えば、 図中の左側から右側に水平に移動する。

センサは、 前景に対応するオブジェクト 1 1 2を、 背景に対応するォブジェク ト 1 1 1と共に撮像する。 センサは、 撮像した画像を 1フレーム単位で出力する _c 例えば、 センサは、 1秒間に 3 0フレームから成る画像を出力する。 センサの露 光時間は、 1 Z 3 0秒とすることができる。 露光時間は、 センサが入力された光 の電荷への変換を開始してから、 入力された光の電荷への変換を終了するまでの 期間である。 以下、 露光時間をシャツタ時間とも称する。

図 1 1は、 画素の配置を説明する図である。 図 1 1中において、 A乃至 Iは、 個々の画素を示す。 画素は、 画像に対応する平面上に配置されている。 1つの画 素に対応する 1つの検出素子は、 センサ上に配置されている。 センサが画像を撮 像するとき、 1つの検出素子は、 画像を構成する 1つの画素に対応する画素値を 出力する。 例えば、 検出素子の X方向の位置は、 画像上の横方向の位置に対応し、 検出素子の Y方向の位置は、 画像上の縦方向の位置に対応する。

図 1 2に示すように、 例えば、 CCDである検出素子は、 シャツタ時間に対応す る期間、 入力された光を電荷に変換して、 変換された電荷を蓄積する。 電荷の量 は、 入力された光の強さと、 光が入力されている時間にほぼ比例する。 検出素子 は、 シャツタ時間に対応する期間において、 入力された光から変換された電荷を、 既に蓄積されている電荷に加えていく。 すなわち、 検出素子は、 シャツタ時間に 対応する期間、 入力される光を積分して、 積分された光に対応する量の電荷を蓄 積する。 検出素子は、 時間に対して、 積分効果があるとも言える。

検出素子に蓄積された電荷は、 図示せぬ回路により、 電圧値に変換され、 電圧 値は更にデジタルデータなどの画素値に変換されて出力される。 従って、 センサ から出力される個々の画素値は、 前景または背景に対応するオブジェク トの空間 的に広がりを有するある部分を、 シャツタ時間について積分した結果である、 1 次元の空間に射影された値を有する。

分離部 9 1は、 このようなセンサの蓄積の動作により、 出力信号に埋もれてし まった有意な情報、 例えば、 混合比 αを抽出する。 分離部 9 1は、 前景の画像ォ ブジェクト自身が混ざり合うことによる生ずる歪みの量、 例えば、 動きボケの量 などを調整する。 また、 分離部 9 1は、 前景の画像オブジェク トと背景の画像ォ ブジェク トとが混ざり合うことにより生ずる歪みの量を調整する。

図 1 3 A， 図 1 3 Bは、 動いている前景に対応するォブジェク トと、 静止して いる背景に対応するオブジェク トとを撮像して得られる画像を説明する図である 図 1 3 Aは、 動きを伴う前景に対応するォブジェク トと、 静止している背景に対 応するオブジェク トとを撮像して得られる画像を示している。 図 1 3 Aに示す例 において、 前景に対応するォブジェク トは、 画面に対して水平に左から右に動い ている。

図 1 3 Bは、 図 1 3 Aに示す画像の 1つのラインに対応する画素値を時間方向 に展開したモデル図である。 図 1 3 Bの横方向は、 図 1 3 Aの空間方向 Xに対応 している。

背景領域の画素は、 背景の成分、 すなわち、 背景のオブジェク トに対応する画 像の成分のみから、 その画素値が構成されている。 前景領域の画素は、 前景の成 分、 すなわち、 前景のオブジェク トに対応する画像の成分のみから、 その画素値 が構成されている。

混合領域の画素は、 背景の成分、 および前景の成分から、 その画素値が構成さ れている。 混合領域は、 背景の成分、 および前景の成分から、 その画素値が構成 されているので、 歪み領域ともいえる。 混合領域は、 更に、 カバードバックダラ ゥンド領域およびアンカバードバックグラウンド領域に分類される。

カバードバックグラウンド領域は、 前景領域に対して、 前景のオブジェク トの 進行方向の前端部に対応する位置の混合領域であり、 時間の経過に対応して背景 成分が前景に覆い隠される領域をいう。

これに対して、 アンカバードバックグラウンド領域は、 前景領域に対して、 前 景のォブジェク トの進行方向の後端部に対応する位置の混合領域であり、 時間の 経過に対応して背景成分が現れる領域をいう。

このように、 前景領域、 背景領域、 またはカバードバックグラウンド領域若し くはアンカバードバックグラウンド領域を含む画像が、 領域特定部 1 0 3、 混合 比算出部 1 0 4、 および前景背景分離部 1 0 5に入力画像として入力される。 図 1 4は、 以上のような、 背景領域、 前景領域、 混合領域、 カバードバックグ ラウンド領域、 およびアンカバードバックグラウンド領域を説明する図である。 図 1 3 A , 図 1 3 Bに示す画像に対応する場合、 背景領域は、 静止部分であり、 前景領域は、 動き部分であり、 混合領域のカバードバックグラウンド領域は、 背 景から前景に変化する部分であり、 混合領域のアンカバードバックグラウンド領 域は、 前景から背景に変化する部分である。

図 1 5は、 静止している前景に対応するォブジェク トおよび静止している背景 に対応するォブジェク トを撮像した画像における、 隣接して 1列に並んでいる画 素の画素値を時間方向に展開したモデル図である。 例えば、 隣接して 1列に並ん でいる画素として、 画面の 1つのライン上に並んでいる画素を選択することがで さる。

図 1 5に示す F01乃至 F04の画素値は、 静止している前景のオブジェク トに 対応する画素の画素値である。 図 1 5に示す B01乃至 B04の画素値は、 静止し ている背景のオブジェク トに対応する画素の画素値である。

図 1 5における縦方向は、 時間に対応し、 図中の上から下に向かって時間が経 過する。 図 1 5中の矩形の上辺の位置は、 センサが入力された光の電荷への変換 を開始する時刻に対応し、 図 1 5中の矩形の下辺の位置は、 センサが入力された 光の電荷への変換を終了する時刻に対応する。 すなわち、 図 1 5中の矩形の上辺 から下辺までの距離は、 シャッタ時間に対応する。

以下において、 シャツタ時間とフレーム間隔とが同一である場合を例に説明す る。

図 1 5における横方向は、 図 1 3 Aで説明した空間方向 Xに対応する。 より 具体的には、 図 1 5に示す例において、 図 1 5中の" F01 " と記載された矩形の 左辺から" B04" と記載された矩形の右辺までの距離は、 画素のピッチの 8倍、 すなわち、 連続している 8つの画素の間隔に対応する。

前景のオブジェク トおよび背景のオブジェク トが静止している場合、 シャツタ 時間に対応する期間において、 センサに入力される光は変化しない。 ここで、 シャッタ時間に対応する期間を 2つ以上の同じ長さの期間に分割する。 例えば、 仮想分割数を 4とすると、 図 1 5に示すモデル図は、 図 9に示すモデル として表すことができる。 仮想分割数は、 前景に対応するオブジェクトのシャツ タ時間内での動き量 Vなどに対応して設定される。 例えば、 4である動き量 V に対応して、 仮想分割数は、 4とされ、 シャツタ時間に対応する期間は 4つに分 割される。

図中の最も上の行は、 シャツタが開いて最初の、 分割された期間に対応する。 図中の上から 2番目の行は、 シャツタが開いて 2番目の、 分割された期間に対応 する。 図中の上から 3番目の行は、 シャツタが開いて 3番目の、 分割された期間 に対応する。 図中の上から 4番目の行は、 シャツタが開いて 4番目の、 分割され た期間に対応する。

以下、 動き量 Vに対応して分割されたシャッタ時間をシャッタ時間/ Vとも称 する。

前景に対応するォブジェク トが静止しているとき、 センサに入力される光は変 化しないので、 前景の成分 FO l /vは、 画素値 F01を仮想分割数で除した値に等 しい。 同様に、 前景に対応するオブジェク 卜が静止しているとき、 前景の成分 F02/v は、 画素値 F02 を仮想分割数で除した値に等しく、 前景の成分 F03/v は、 画素値 F03を仮想分割数で除した値に等しく、 前景の成分 F04/vは、 画素値 F04を仮想分割数で除した値に等しい。

背景に対応するオブジェク トが静止しているとき、 センサに入力される光は変 化しないので、 背景の成分 BO l/vは、 画素値 B01を仮想分割数で除した値に等 しい。 同様に、 背景に対応するオブジェク トが静止しているとき、 背景の成分 B02/vは、 画素値 B02を仮想分割数で除した値に等しく、 B03/vは、 画素値 B03 を仮想分割数で除した値に等しく、 B04/vは、 画素値 B04を仮想分割数で除した 値に等しい。

すなわち、 前景に対応するオブジェク トが静止している場合、 シャツタ時間に 対応する期間において、 センサに入力される前景のオブジェク トに対応する光が 変化しないので、 シャツタが開いて最初の、 シャツタ時間/ Vに対応する前景の 成分 FO l/vと、 シャツタが開いて 2番目の、 シャツタ時間/ Vに対応する前景の 成分 FO l/vと、 シャツタが開いて 3番目の、 シャツタ時間/ Vに対応する前景の 成分 FO l/vと、 シャツタが開いて 4番目の、 シャツタ時間/ Vに対応する前景の 成分 FO l/vとは、 同じ値となる。 F02/v乃至 F04/Vも、 FO l/v と同様の関係を有 する。

背景に対応するオブジェク トが静止している場合、 シャツタ時間に対応する期 間において、 センサに入力される背景のォブジェク トに対応する光は変化しない ので、 シャツタが開いて最初の、 シャツタ時間/ Vに対応する背景の成分 BO l/v と、 シャツタが開いて 2番目の、 シャツタ時間/ Vに対応する背景の成分 BO l/v と、 シャツタが開いて 3番目の、 シャツタ時間/ Vに対応する背景の成分 BO l/v と、 シャツタが開いて 4番目の、 シャツタ時間 /vに対応する背景の成分 BO l/v とは、 同じ値となる。 B02/v乃至 B04/vも、 同様の関係を有する。

次に、 前景に対応するォブジェク トが移動し、 背景に対応するオブジェク トが 静止している場合について説明する。

図 1 7は、 前景に対応するォブジェク トが図中の右側に向かって移動する場合 の、 カバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時 間方向に展開したモデル図である。 図 1 7において、 前景の動き量 Vは、 4で ある。 1フレームは短い時間なので、 前景に対応するオブジェク トが剛体であり、 等速で移動していると仮定することができる。 図 1 7において、 前景に対応する オブジェク トの画像は、 あるフレームを基準として次のフレームにおいて 4画素 分右側に表示されるように移動する。

図 1 7において、 最も左側の画素乃至左から 4番目の画素は、 前景領域に属す る。 図 1 7において、 左から 5番目乃至左から 7番目の画素は、 カバードバック グラウンド領域である混合領域に属する。 図 1 7において、 最も右側の画素は、 背景領域に属する。

前景に対応するォブジェク トが時間の経過と共に背景に対応するオブジェク ト を覆い隠すように移動しているので、 カバードバックグラウンド領域に属する画 素の画素値に含まれる成分は、 シャツタ時間に対応する期間のある時点で、 背景 の成分から、 前景の成分に替わる。

例えば、 図 1 7中に太線枠を付した画素値 Mは、 式 （1 ) で表される。

M=B02/v+B02/v+F07/v+F06/v ( 1 )

例えば、 左から 5番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成 分を含み、 3つのシャツタ時間/ Vに対応する前景の成分を含むので、 左から 5 番目の画素の混合比 α は、 1/4である。 左から 6番目の画素は、 2つのシャツ タ時間/ Vに対応する背景の成分を含み、 2つのシャツタ時間 /νに対応する前景 の成分を含むので、 左から 6番目の画素の混合比 α は、 1/2である。 左から 7 番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシ ャッタ時間/ Vに対応する前景の成分を含むので、 左から 7番目の画素の混合比 α は、 3/4である。

前景に対応するオブジェク トが、 剛体であり、 前景の画像が次のフレームにお いて 4画素右側に表示されるように等速で移動すると仮定できるので、 例えば、 図 1 7中の左から 4番目の画素の、 シャツタが開いて最初の、 シャツタ時間/ V の前景の成分 F07/Vは、 図 1 7中の左から 5番目の画素の、 シャツタが開いて 2番目のシャツタ時間 /νに対応する前景の成分に等しい。 同様に、 前景の成分 F07/vは、 図 1 7中の左から 6番目の画素の、 シャツタが開いて 3番目のシャツ タ時間/ Vに対応する前景の成分と、 図 1 7中の左から 7番目の画素の、 シャツ タが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、 それぞれ等し レ、。 '

前景に対応するォブジェク トが、 剛体であり、 前景の画像が次のフレームにお いて 4画素右側に表示されるように等速で移動すると仮定できるので、 例えば、 図 1 7中の左から 3番目の画素の、 シャツタが開いて最初のシャツタ時間/ Vの 前景の成分 F06/vは、 図 1 7中の左から 4番目の画素の、 シャツタが開いて 2 番目のシャツタ時間/ Vに対応する前景の成分に等しい。 同様に、 前景の成分 F06/vは、 図 1 7中の左から 5番目の画素の、 シャツタが開いて 3番目のシャツ タ時間/ Vに対応する前景の成分と、 図 1 7中の左から 6番目の画素の、 シャツ タが開いて 4番目のシャッタ時間 /vに対応する前景の成分とに、 それぞれ等し レ、。

前景に対応するオブジェク トが、 剛体であり、 前景の画像が次のフレームにお いて 4画素右側に表示されるように等速で移動すると仮定できるので、 例えば、 図 1 7中の左から 2番目の画素の、 シャツタが開いて最初のシャツタ時間/ Vの 前景の成分 F05/vは、 図 1 7中の左から 3番目の画素の、 シャツタが開いて 2 番目のシャツタ時間 /vのに対応する前景の成分に等しい。 同様に、 前景の成分 F05/vは、 図 1 7中の左から 4番目の画素の、 シャツタが開いて 3番目のシャツ タ時間/ Vに対応する前景の成分と、 図 1 7中の左から 5番目の画素の、 シャツ タが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、 それぞれ等し レ、。

前景に対応するオブジェク トが、 剛体であり、 前景の画像が次のフレームにお いて 4画素右側に表示されるように等速で移動すると仮定できるので、 例えば、 図 1 7中の最も左側の画素の、 シャツタが開いて最初のシャツタ時間/ Vの前景 の成分 F04/vは、 図 1 7中の左から 2番目の画素の、 シャツタが開いて 2番目 のシャツタ時間/ Vに対応する前景の成分に等しい。 同様に、 前景の成分 F04/V は、 図 1 7中の左から 3番目の画素の、 シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、 図 1 7中の左から 4番目の画素の、 シャツタが開 いて 4番目のシャッタ時間 /vに対応する前景の成分とに、 それぞれ等しい。 動いているオブジェク トに対応する前景の領域は、 このように動きボケを含む ので、 歪み領域とも言える。

図 1 8は、 前景が図中の右側に向かって移動する場合の、 アンカバードバック グラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモ デル図である。 図 1 8において、 前景の動き量 Vは、 4である。 1フレームは 短い時間なので、 前景に対応するオブジェク トが剛体であり、 等速で移動してい ると仮定することができる。 図 1 8において、 前景に対応するオブジェク トの画 像は、 あるフレームを基準として次のフレームにおいて 4画素分右側に移動する。 図 1 8において、 最も左側の画素乃至左から 4番目の画素は、 背景領域に属す る。 図 1 8において、 左から 5番目乃至左から 7番目の画素は、 アンカバードバ ックグラウンドである混合領域に属する。 図 1 8において、 最も右側の画素は、 前景領域に属する。

背景に対応するオブジェク トを覆っていた前景に対応するォブジェク トが時間 の経過と共に背景に対応するオブジェク トの前から取り除かれるように移動して いるので、 アンカバードバックグラウンド領域に属する画素の画素値に含まれる 成分は、 シャツタ時間に対応する期間のある時点で、 前景の成分から、 背景の成 分に替わる。

例えば、 図 1 8中に太線枠を付した画素値 M'は、 式 （2 ) で表される。

M' =F02/v+F01 /v+B26/v+B26/v ( 2 )

例えば、 左から 5番目の画素は、 3つのシャツタ時間 /vに対応する背景の成 分を含み、 1つのシャツタ時間/ Vに対応する前景の成分を含むので、 左から 5 番目の画素の混合比 α は、 3/4である。 左から 6番目の画素は、 2つのシャツ タ時間 /νに対応する背景の成分を含み、 2つのシャツタ時間/ Vに対応する前景 の成分を含むので、 左から 6番目の画素の混合比 α は、 1 /2である。 左から 7 番目の画素は、 1つのシャツタ時間 /νに対応する背景の成分を含み、 3つのシ ャッタ時間/ Vに対応する前景の成分を含むので、 左から 7番目の画素の混合比 α は、 1 /4である。

式 （ 1 ) および式 （2 ) をより一般化すると、 画素値 Μは、 式 （3 ) で表さ れる。

M= - B +∑Fi/^ (3)

ここで、 cc は、 混合比である。 Bは、 背景の画素値であり、 Fi/vは、 前景の 成分である。

前景に対応するォブジ-ク トが剛体であり、 等速で動く と仮定でき、 かつ、 動 き量 vが 4であるので、 例えば、 図 1 8中の左から 5番目の画素の、 シャツタ が開いて最初の、 シャツタ時間/ Vの前景の成分 FO l/vは、 図 1 8中の左から 6 番目の画素の、 シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成 分に等しい。 同様に、 FO l /vは、 図 1 8中の左から 7番目の画素の、 シャツタが 開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、 図 1 8中の左から 8 番目の画素の、 シャッタが開いて 4番目のシャッタ時間/ Vに対応する前景の成 分とに、 それぞれ等しい。

前景に対応するオブジェク トが剛体であり、 等速で動く と仮定でき、 かつ、 仮 想分割数が 4であるので、 例えば、 図 1 8中の左から 6番目の画素の、 シャツタ が開いて最初の、 シャツタ時間/ Vの前景の成分 F02/vは、 図 1 8中の左から 7 番目の画素の、 シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成 分に等しい。 同様に、 前景の成分 F02/ は、 図 1 8中の左から 8番目の画素の、 シャッタが開いて 3番目のシャツタ時間 /vに対応する前景の成分に等しい。

前景に対応するォブジェク トが剛体であり、 等速で動く と仮定でき、 かつ、 動 き量 Vが 4であるので、 例えば、 図 1 8中の左から 7番目の画素の、 シャツタ が開いて最初の、 シャツタ時間/ Vの前景の成分 F03/vは、 図 1 8中の左から 8 番目の画素の、 シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成 分に等しい。

図 1 6乃至図 1 8の説明において、 仮想分割数は、 4であるとして説明したが、 仮想分割数は、 動き量 Vに対応する。 動き量 Vは、 一般に、 前景に対応するォ ブジェク トの移動速度に対応する。 例えば、 前景に対応するオブジェク トが、 あ るフレームを基準として次のフレームにおいて 4画素分右側に表示されるように 移動しているとき、 動き量 Vは、 4とされる。 動き量 Vに対応し、 仮想分割数 は、 4とされる。 同様に、 例えば、 前景に対応するオブジェク トが、 あるフレー ムを基準として次のフレームにおいて 6画素分左側に表示されるように移動して いるとき、 動き量 Vは、 6とされ、 仮想分割数は、 6とされる。

図 1 9および図 2 0に、 以上で説明した、 前景領域、 背景領域、 カバードバッ クグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域 と、 分割されたシャッタ時間に対応する前景の成分および背景の成分との関係を 示す。

図 1 9は、 静止している背景の前を移動しているオブジェク トに対応する前景 を含む画像から、 前景領域、 背景領域、 および混合領域の画素を抽出した例を示 す。 図 1 9に示す例において、 前景に対応するォブジェク ト Aは、 画面に対して 水平に移動している。

フレーム #n+ lは、 フレーム #nの次のフレームであり、 フレーム #n+2は、 フレ 一 A#n+ 1の次のフレームである。

フレーム 乃至フレーム #n+2 のいずれかから抽出した、 前景領域、 背景領域、 および混合領域の画素を抽出して、 動き量 Vを 4として、 抽出された画素の画 素値を時間方向に展開したモデルを図 2 0に示す。

前景領域の画素値は、 前景に対応するオブジェク ト Aが移動するので、 シャツ タ時間 /v の期間に対応する、 4つの異なる前景の成分から構成される。 例えば、 図 2 0に示す前景領域の画素のうち最も左側に位置する画素は、

F01/v，F02/v, F03/v、ぉょびF04/vから構成される。 すなわち、 前景領域の画素 は、 動きボケを含んでいる。

背景に対応するォブジェク 卜が静止しているので、 シャツタ時間に対応する期 間において、 センサに入力される背景に対応する光は変化しない。 この場合、 背 景領域の画素値は、 動きボケを含まない。

カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域か ら成る混合領域に属する画素の画素値は、 前景の成分と、 背景の成分とから構成 される。

次に、 オブジェク トに対応する画像が動いているとき、 複数のフレームにおけ る、 隣接して 1列に並んでいる画素であって、 フレーム上で同一の位置の画素の 画素値を時間方向に展開したモデルについて説明する。 例えば、 オブジェク 卜に 対応する画像が画面に対して水平に動いているとき、 隣接して 1列に並んでいる 画素として、 画面の 1つのライン上に並んでいる画素を選択することができる。 図 2 1は、 静止している背景に対応するォブジェク トを撮像した画像の 3つの フレームの、 隣接して 1列に並んでいる画素であって、 フレーム上で同一の位置 の画素の画素値を時間方向に展開したモデル図である。 フレーム #nは、 フレー ム #n- 1の次のフレームであり、 フレーム #n+l は、 フレーム #nの次のフレームで ある。 他のフレームも同様に称する。

図 2 1に示す B01乃至 B 12の画素値は、 静止している背景のオブジェク トに 対応する画素の画素値である。 背景に対応するォブジェク トが静止しているので, フレーム #n- l乃至フレーム n+ 1において、 対応する画素の画素値は、 変化しな レ、。 例えば、 フレーム #n- lにおける B05の画素値を有する画素の位置に対応す る、 フレーム における画素、 およびフレーム ίίη+ l における画素は、 それぞれ、

Β05の画素ィ直を有する。

図 2 2は、 静止している背景に対応するォブジェク トと共に図中の右側に移動 する前景に対応するオブジェク トを撮像した画像の 3つのフレームの、 隣接して 1列に並んでいる画素であって、 フレーム上で同一の位置の画素の画素値を時間 方向に展開したモデル図である。 図 2 2に示すモデルは、 カバードバックグラウ ンド領域を含む。

図 2 2において、 前景に対応するォブジ-ク トが、 剛体であり、 等速で移動す ると仮定でき、 前景の画像が次のフレームにおいて 4画素お側に表示されるよう に移動するので、 前景の動き量 Vは、 4であり、 仮想分割数は、 4である。

例えば、 図 2 2中のフレーム ίίη- 1の最も左側の画素の、 シャツタが開いて最 初のシャツタ時間/ Vの前景の成分は、 F 12/vとなり、 図 2 2中の左から 2番目 の画素の、 シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/v となる。 図 2 2中の左から 3番目の画素の、 シャツタが開いて 3番目のシャツタ 時間/ Vの前景の成分、 および図 2 2中の左から 4番目の画素の、 シャツタが開 いて 4番目のシャッタ時間/ Vの前景の成分は、 F 12/ vとなる。

図 2 2中のフレーム #η- 1の最も左側の画素の、 シャッタが開いて 2番目のシ ャッタ時間/ vの前景の成分は、 F l l/vとなり、 図 2 2中の左から 2番目の画素 の、 シャツタが開いて 3番目のシャツタ時間/ V の前景の成分も、 F l l /v となる。 図 2 2中の左から 3番目の画素の、 シャッタが開いて 4番目のシャッタ時間/ V の前景の成分は、 F l l /v となる。

図 2 2中のフレーム #n- lの最も左側の画素の.、 シャツタが開いて 3番目のシ ャッタ時間/ Vの前景の成分は、 Fl O/vとなり、 図 ² 2中の左から 2番目の画素 の、 シャツタが開いて 4番目のシャツタ時間/ V の前景の成分も、 F lO/v となる。 図 2 2中のフレーム #n- 1の最も左側の画素の、 シャッタが開いて 4番目のシャ ッタ時間/ Vの前景の成分は、 F09/v となる。

背景に対応するオブジェク トが静止しているので、 図^{2 2}中のフレーム #n_ l の左から 2番目の画素の、 シャッタが開いて最初のシャッタ時間/ Vの背景の成 分は、 BO l/v となる。 図 2 2中のフレーム #n- lの左から 3番目の画素の、 シャ ッタが開いて最初および 2番目のシャツタ時間/ Vの背景の成分は、 B02/vとな る。 図 2 2中のフレーム #η- 1の左から 4番目の画素の、 シャツタが開いて最初 乃至 3番目のシャツタ時間/ Vの背景の成分は、 Β03/νとなる。

図 2 2中のフレーム ίίη- lにおいて、 最も左側の画素は、 前景領域に属し、 左 側から 2番目乃至 4番目の画素は、 カバードバックグラウンド領域である混合領 域に属する。

図 2 2中のフレーム tin- 1の左から 5番目の画素乃至 1 2番目の画素は、 背景 領域に属し、 その画素値は、 それぞれ、 B04乃至 B 1 1 となる。

図 2 2中のフレーム ttnの左から 1番目の画素乃至 5番目の画素は、 前景領域 に属する。 フレーム #nの前景領域における、 シャツタ時間/ Vの前景の成分は、 F05/v乃至 F 12/vのいずれかである。

前景に対応するォブジェク トが、 剛体であり、 等速で移動すると仮定でき、 前 景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、 図 2 2中のフレーム #nの左から 5番目の画素の、 シャッタが開いて最初のシャ ッタ時間/ V の前景の成分は、 F 12/v となり、 図 2 2中の左から 6番目の画素の, シャツタが開いて 2番目のシャツタ時間/ vの前景の成分も、 F 12/v となる。 図 2 2中の左から 7番目の画素の、 シャツタが開いて 3番目のシャツタ時間/ Vの 前景の成分、 および図 2 2中の左から 8番目の画素の、 シャツタが開いて 4番目 のシャツタ時間/ Vの前景の成分は、 F12/vとなる。

図 2 2中のフレーム #nの左から 5番目の画素の、 シャツタが開いて 2番目の シャツタ時間/ Vの前景の成分は、 F l l/v となり、 図 2 2中の左から 6番目の画 素の、 シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分も、 Fl l/vとな る。 図 2 2中の左から 7番目の画素の、 シャツタが開いて 4番目のシャツタ時間 /vの前景の成分は、 Fl l /vとなる。

図 2 2中のフレーム #nの左から 5番目の画素の、 シャツタが開いて 3番目の シャツタ時間/ Vの前景の成分は、 F lO/v となり、 図 2 2中の左から 6番目の画 素の、 シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 FlO/vとな る。 図 2 2中のフレーム #nの左から 5番目の画素の、 シャツタが開いて 4番目 のシャツタ時間/ Vの前景の成分は、 F09/v となる。

背景に対応するオブジェク トが静止しているので、 図 2 2中のフレーム ttnの 左から 6番目の画素の、 シャッタが開いて最初のシャッタ時間/ Vの背景の成分 は、 B05/vとなる。 図 2 2中のフレーム の左から 7番目の画素の、 シャツタ が開いて最初および 2番目のシャツタ時間/ Vの背景の成分は、 B06/ vとなる。 図 2 2中のフレーム #nの左から 8番目の画素の、 シャッタが開いて最初乃至 3 番目の、 シャツタ時間/ Vの背景の成分は、 B07/vとなる。

図 2 2中のフレーム #nにおいて、 左側から 6番目乃至 8番目の画素は、 カバ 一ドバックグラウンド領域である混合領域に属する。

図 2 2中のフレーム tinの左から 9番目の画素乃至 1 2番目の画素は、 背景領 域に属し、 画素値は、 それぞれ、 B08乃至 B1 1 となる。

図 2 2中のフレーム #n+ lの左から 1番目の画素乃至 9番目の画素は、 前景領 域に属する。 フレーム ttn+ 1の前景領域における、 シャツタ時間/ Vの前景の成分 は、 FO l/v乃至 F12/vのいずれかである。 前景に対応するォブジェク トが、 剛体であり、 等速で移動すると仮定でき、 前 景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、 図 2 2中のフレーム #n+lの左から 9番目の画素の、 シャッタが開いて最初のシ ャッタ時間/ Vの前景の成分は、 F12/vとなり、 図 2 2中の左から 1 0番目の画 素の、 シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/ vとな る。 図 2 2中の左から 1 1番目の画素の、 シャツタが開いて 3番目のシャツタ時 間/ Vの前景の成分、 および図 2 2中の左から 1 2番目の画素の、 シャツタが開 いて 4番目のシャッタ時間/ Vの前景の成分は、 F12/vとなる。

図 2 2中のフレーム #n+lの左から 9番目の画素の、 シャツタが開いて 2番目 のシャツタ時間/ Vの期間の前景の成分は、 Fl l/ vとなり、 図 2 2中の左から 1 0番目の画素の、 シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分も、 Fl l/v となる。 図 2 2中の左から 1 1番目の画素の、 シャツタが開いて 4番目の、 シャツタ時間/ Vの前景の成分は、 Fl l/v となる。

図 2 2中のフレーム #n+lの左から 9番目の画素の、 シャッタが開いて 3番目 の、 シャツタ時間/ Vの前景の成分は、 FlO/vとなり、 図 2 2中の左から 1 0番 目の画素の、 シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 FlO/v となる。 図 2 2中のフレーム #n+lの左から 9番目の画素の、 シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェク トが静止しているので、 図 2 2中のフレーム #n+l の左から 1 0番目の画素の、 シャツタが開いて最初のシャツタ時間/ Vの背景の 成分は、 B09/vとなる。 図 2 2中のフレーム #n+ lの左から 1 1番目の画素の、 シャッタが開いて最初および 2番目のシャッタ時間/ Vの背景の成分は、 BlO/v となる。 図 2 2中のフレーム #n+lの左から 1 2番目の画素の、 シャツタが開い て最初乃至 3番目の、 シャツタ時間/ Vの背景の成分は、 Bl l/v となる。

図 2 2中のフレーム #n+l において、 左側から 1 0番目乃至 1 2番目の画素は、 カバードバックグラウンド領域である混合領域に対応する。

図 2 3は、 図 2 2に示す画素値から前景の成分を抽出した画像のモデル図であ る。

図 2 4は、 静止している背景と共に図中の右側に移動するオブジェク トに対応 する前景を撮像した画像の 3つのフレームの、 隣接して 1列に並んでいる画素で あって、 フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図 である。 図 2 4において、 アンカバードバックグラウンド領域が含まれている。 図 2 4において、 前景に対応するオブジェク トは、 剛体であり、 かつ等速で移 動していると仮定できる。 前景に対応するォブジェク トが、 次のフレームにおい て 4画素分右側に表示されるように移動しているので、 動き量 V は、 4である _c 例えば、 図 2 4中のフレーム ίίη- lの最も左側の画素の、 シャツタが開いて最 初の、 シャツタ時間/ Vの前景の成分は、 F13/vとなり、 図 2 4中の左から 2番 目の画素の、 シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F13/v となる。 図 2 4中の左から 3番目の画素の、 シャツタが開いて 3番目のシャツタ 時間/ Vの前景の成分、 および図 2 4中の左から 4番目の画素の、 シャツタが開 いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 2 4中のフレーム - 1の左から 2番目の画素の、 シャツタが開いて最初の シャツタ時間/ Vの前景の成分は、 F 14/v となり、 図 2 4中の左から 3番目の画 素の、 シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 14/ vとな る。 図 2 4中の左から 3番目の画素の、 シャツタが開いて最初の、 シャツタ時間 /νの前景の成分は、 F15/vとなる。

背景に対応するオブジェク トが静止しているので、 図 2 4中のフレーム #η- 1 の最も左側の画素の、 シャツタが開いて 2番目乃至 4番目の、 シャツタ時間/ V の背景の成分は、 Β25/νとなる。 図 2 4中のフレーム #η - 1の左から 2番目の画 素の、 シャツタが開いて 3番目および 4番目の、 シャツタ時間/ Vの背景の成分 は、 Β26/νとなる。 図 2 4中のフレーム ttn- 1の左から 3番目の画素の、 シャツ タが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B27/vとなる。

図 2 4中のフレーム #n- 1において、 最も左側の画素乃至 3番目の画素は、 ァ ンカバードバックグラウンド領域である混合領域に属する。 図 2 4中のフレーム fin- 1の左から 4番目の画素乃至 1 2番目の画素は、 前景 領域に属する。 フレームの前景の成分は、 F13/v乃至 F24/vのいずれかである。 図 2 4中のフレーム ttnの最も左側の画素乃至左から 4番目の画素は、 背景領 域に属し、 画素値は、 それぞれ、 B25乃至 B28となる。

前景に対応するオブジェク トが、 剛体であり、 等速で移動すると仮定でき、 前 景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、 図 2 4中のフレーム #nの左から 5番目の画素の、 シャッタが開いて最初のシャ ッタ時間/ V の前景の成分は、 F 13/v となり、 図 2 4中の左から 6番目の画素の、 シャツタが開いて 2番目のシャツタ時間 /vの前景の成分も、 F 13/v となる。 図 2 4中の左から 7番目の画素の、 シャツタが開いて 3番目のシャツタ時間/ Vの 前景の成分、 および図 2 4中の左から 8番目の画素の、 シャツタが開いて 4番目 のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 2 4中のフレーム t の左から 6番目の画素の、 シャッタが開いて最初のシ ャッタ時間/ Vの前景の成分は、 F14/vとなり、 図 2 4中の左から 7番目の画素 の、 シャツタが開いて 2番目のシャツタ時間/ V の前景の成分も、 F 14/v となる _c 図 2 4中の左から 8番目の画素の、 シャッタが開いて最初のシャッタ時間/ Vの 前景の成分は、 F15/vとなる。

背景に対応するォブジェク トが静止しているので、 図 2 4中のフレーム #nの 左から 5番目の画素の、 シャッタが開いて 2番目乃至 4番目のシャッタ時間/ V の背景の成分は、 B29/v となる。 図 2 4中のフレーム ftnの左から 6番目の画素 の、 シャッタが開いて 3番目および 4番目のシャッタ時間/ Vの背景の成分は、 B30/vとなる。 図 2 4中のフレーム #nの左から 7番目の画素の、 シャツタが開 いて 4番目のシャツタ時間/ Vの背景の成分は、 B31 /vとなる。

図 2 4中のフレーム #nにおいて、 左から 5番目の画素乃至 7番目の画素は、 アンカバードバックグラウンド領域である混合領域に属する。

図 2 4中のフレーム ttnの左から 8番目の画素乃至 1 2番目の画素は、 前景領 域に属する。 フレーム #nの前景領域における、 シャツタ時間/ Vの期間に対応す る値は、 F 13/v乃至 F20/vのいずれかである。

図 2 4中のフレーム #n+ lの最も左側の画素乃至左から 8番目の画素は、 背景 領域に属し、 画素値は、 それぞれ、 B25乃至 B32 となる。

前景に対応するオブジェク トが、 剛体であり、 等速で移動すると仮定でき、 前 景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、 図 2 4中のフレーム ftn+1の左から 9番目の画素の、 シャッタが開いて最初のシ ャッタ時間/ Vの前景の成分は、 F13/vとなり、 図 2 4中の左から 1 0番目の画 素の、 シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 13/v とな る。 図 2 4中の左から 1 1番目の画素の、 シャツタが開いて 3番目のシャツタ時 間/ Vの前景の成分、 および図 2 4中の左から 1 2番目の画素の、 シャツタが開 いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 2 4中のフレーム #n+ lの左から 1 0番目の画素の、 シャッタが開いて最初 のシャツタ時間/ Vの前景の成分は、 F14/v となり、 図 2 4中の左から 1 1番目 の画素の、 シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F14/v となる。 図 2 4中の左から 1 2番目の画素の、 シャツタが開いて最初のシャツタ 時間/ Vの前景の成分は、 F15/vとなる。

背景に対応するォブジェク トが静止しているので、 図 2 4中のフレーム ίίη+ 1 の左から 9番目の画素の、 シャツタが開いて 2番目乃至 4番目の、 シャツタ時間 /νの背景の成分は、 Β33/νとなる。 図 2 4中のフレーム #η+ 1の左から 1 0番目 の画素の、 シャツタが開いて 3番目および 4番目のシャツタ時間/ Vの背景の成 分は、 B34/V となる。 図 2 4中のフレーム ttn+ 1の左から 1 1番目の画素の、 シ ャッタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B35/vとなる。

図 2 4中のフレーム ίίη+ lにおいて、 左から 9番目の画素乃至 1 1番目の画素 は、 アンカバ一ドバックグラウンド領域である混合領域に属する。

図 2 4中のフレーム #η+ 1の左から 1 2番目の画素は、 前景領域に属する。 フ レーム ttn+ 1の前景領域における、 シャツタ時間/ Vの前景の成分は、 F13/v乃至 F16/vのいずれかである。 図 2 5は、 図 2 4に示す画素値から前景の成分を抽出した画像のモデル図であ る。

図 9に戻り、 領域特定部 1 0 3は、 複数のフレームの画素値を用いて、 前景領 域、 背景領域、 カバードバックグラウンド領域、 またはアンカバードバックグラ ゥンド領域に属することを示すフラグを画素毎に対応付けて、 領域情報として、 混合比算出部 1 0 4および動きボケ調整部 1 0 6に供給する。

混合比算出部 1 0 4は、 複数のフレームの画素値、 および領域情報を基に、 混 合領域に含まれる画素について画素毎に混合比 αを算出し、 算出した混合比ひを 前景背景分離部 1 0 5に供給する。

前景背景分離部 1 0 5は、 複数のフレームの画素値、 領域情報、 および混合比 αを基に、 前景の成分のみからなる前景成分画像を抽出して、 動きボケ調整部 1 0 6に供給する。

動きボケ調整部 1 0 6は、 前景背景分離部 1 0 5から供給された前景成分画像、 動き検出部 1 0 2から供給された動きべク トル、 および領域特定部 1 0 3から供 給された領域情報を基に、 前景成分画像に含まれる動きボケの量を調整して、 動 きボケの量を調整した前景成分画像を出力する。

図 2 6のフローチヤ一トを参照して、 分離部 9 1による動きボケの量の調整の 処理を説明する。 ステップ S 1 1において、 領域特定部 1 0 3は、 入力画像を基 に、 入力画像の画素毎に前景領域、 背景領域、 カバードバックグラウンド領域、 またはアンカバードバックグラウンド領域のいずれかに属するかを示す領域情報 を生成する領域特定の処理を実行する。 領域特定の処理の詳細は、 後述する。 領 域特定部 1 0 3は、 生成した領域情報を混合比算出部 1 0 4に供給する。

なお、 ステップ S 1 1において、 領域特定部 1 0 3は、 入力画像を基に、 入力 画像の画素毎に前景領域、 背景領域、 または混合領域 （カバードバックグラウン ド領域、 またはアンカバードバックグラウンド領域の区別をしない） のいずれか に属するかを示す領域情報を生成するようにしてもよい。 この場合において、 前 景背景分離部 1 0 5および動きボケ調整部 1 0 6は、 動きべク トルの方向を基に、 混合領域がカバードバックグラウンド領域であるか、 またはアンカバードバック グラウンド領域であるかを判定する。 例えば、 動きベク トルの方向に対応して、 前景領域、 混合領域、 および背景領域と順に並んでいるとき、 その混合領域は、 カバードバックグラウンド領域と判定され、 動きべク トルの方向に対応して、 背 景領域、 混合領域、 および前景領域と順に並んでいるとき、 その混合領域は、 ァ ンカバードバックグラウンド領域と判定される。

ステップ S 1 2において、 混合比算出部 1 0 4は、 入力画像および領域情報を 基に、 混合領域に含まれる画素毎に、 混合比 αを算出する。 混合比算出の処理の 詳細は、 後述する。 混合比算出部 1 0 4は、 算出した混合比 αを前景背景分離部 1 0 5に供給する。

ステップ S 1 3において、 前景背景分離部 1 0 5は、 領域情報、 および混合比 αを基に、 入力画像から前景の成分を抽出して、 前景成分画像として動きボケ調 整部 1 0 6に供給する。

ステップ S 1 4において、 動きボケ調整部 1 0 6は、 動きベク トルおよび領域 情報を基に、 動き方向に並ぶ連続した画素であって、 アンカバードバックグラウ ンド領域、 前景領域、 およびカバードバックグラウンド領域のいずれかに属する ものの画像上の位置を示す処理単位を生成し、 処理単位に対応する前景成分に含 まれる動きボケの量を調整する。 動きボケの量の調整の処理の詳細については、 後述する。

ステップ S 1 5において、 分離部 9 1は、 画面全体について処理を終了したか 否かを判定し、 画面全体について処理を終了していないと判定された場合、 ステ ップ S 1 4に進み、 処理単位に対応する前景の成分を対象とした動きボケの量の 調整の処理を繰り返す。

ステップ S 1 5において、 画面全体について処理を終了したと判定された場合、 処理は終了する。

このように、 分離部 9 1は、 前景と背景を分離して、 前景に含まれる動きボケ の量を調整することができる。 すなわち、 分離部 9 1は、 前景の画素の画素値で あるサンプルデータに含まれる動きボケの量を調整することができる。

以下、 領域特定部 1 0 3、 混合比算出部 1 0 4、 前景背景分離部 1 0 5、 およ び動きボケ調整部 1 0 6のそれぞれの構成について説明する。

図 2 7は、 領域特定部 1 0 3の構成の一例を示すブロック図である。 図 2 7に 構成を示す領域特定部 1 0 3は、 動きベク トルを利用しない。 フレームメモリ 2 0 1は、 入力された画像をフレーム単位で記憶する。 フレームメモリ 2 0 1は、 処理の対象がフレーム #nであるとき、 フレーム の 2つ前のフレームであるフ レーム ttn_2、 フレーム #n の 1つ前のフレームであるフレーム ίίη- 1、 フレーム #η、 フレーム #ηの 1つ後のフレームであるフレーム #η+ 1、 およびフレーム #ηの 2つ 後のフレームであるフレーム #η+2を記憶する。

静動判定部 2 0 2— 1は、 フレーム の領域特定の対象である画素の画像上 の位置と同一の位置にあるフレーム ttn+2の画素の画素値、 およびフレーム t の 領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n+lの 画素の画素値をフレームメモリ 2 0 1から読み出して、 読み出した画素値の差の 絶対値を算出する。 静動判定部 2 0 2— 1は、 フレーム #n+²の画素値とフレー ム #n+ lの画素値との差の絶対値が、 予め設定している閾値 Thより大きいか否か を判定し、 差の絶対値が閾値 Thより大きいと判定された場合、 動きを示す静動 判定を領域判定部 2 0 3 - 1に供給する。 フレーム #n+2の画素の画素値とフレ 一ム#11+ 1の画素の画素値との差の絶対値が閾値 Th以下であると判定された場合、 静動判定部 2 0 2— 1は、 静止を示す静動判定を領域判定部 2 0 3— 1に供給す る。

静動判定部 2 0 2— 2は、 フレーム の領域特定の対象である画素の画像上 の位置と同一の位置にあるフレーム #n+ lの画素の画素値、 およびフレーム ttnの 対象となる画素の画素値をフレームメモリ 2 0 1から読み出して、 画素値の差の 絶対値を算出する。 静動判定部 2 0 2— 2は、 フレーム ttn+ 1の画素値とフレー ム ίίηの画素値との差の絶対値が、 予め設定している閾値 Thより大きいか否かを 判定し、 画素値の差の絶対値が、 閾値 Thより大きいと判定された場合、 動きを 示す静動判定を領域判定部 2 0 3 - 1および領域判定部 2 0 3 - 2に供給する。 フレーム #n+lの画素の画素ィ直とフレーム #nの画素の画素値との差の絶対値が、 閾値 Th以下であると判定された場合、 静動判定部 2 0 2— 2は、 静止を示す静 動判定を領域判定部 2 0 3 - 1および領域判定部 2 0 3— 2に供給する。

静動判定部 2 0 2— 3は、 フレーム ttn の領域特定の対象である画素の画素値、 およびフレーム の領域特定の対象である画素の画像上の位置と同一の位置に あるフレーム #n- lの画素の画素値をフレームメモリ 2 0 1から読み出して、 画 素値の差の絶対値を算出する。 静動判定部 2 0 2— 3は、 フレーム #nの画素値 とフレーム #_n- lの画素値との差の絶対値が、 予め設定している閾値 Thより大き いか否かを判定し、 画素値の差の絶対値が、 閾値 Thより大きいと判定された場 合、 動きを示す静動判定を領域判定部 2 0 3一 2および領域判定部 2 0 3— 3に 供給する。 フレーム #nの画素の画素値とフレーム #n-lの画素の画素値との差の 絶対値が、 閾値 Th以下であると判定された場合、 静動判定部 2 0 2— 3は、 静 止を示す静動判定を領域判定部 2 0 3— 2および領域判定部 2 0 3— 3に供給す る。

静動判定部 2 0 2— 4は、 フレーム ttnの領域特定の対象である画素の画像上 の位置と同一の位置にあるフレーム #n-lの画素の画素値、 およびフレーム ttnの 領域特定の対象である画素の画像上の位置と同一の位置にあるフレーム #n-2の 画素の画素値をフレームメモリ 2 0 1から読み出して、 画素値の差の絶対値を算 出する。 静動判定部 2 0 2— 4は、 フレーム ίίη- 1の画素値とフレーム ttn- 2の画 素値との差の絶対値が、 予め設定している閾値 Thより大きいか否かを判定し、 画素値の差の絶対値が、 閾値 Thより大きいと判定された場合、 動きを示す静動 判定を領域判定部 2 0 3— 3に供給する。 フレーム ίίη- 1の画素の画素値とフレ —ム ttn - 2の画素の画素値との差の絶対値が、 閾値 Th以下であると判定された場 合、 諍動判定部 2 0 2— 4は、 静止を示す静動判定を領域判定部 2 0 3— 3に供 給する。

領域判定部 2 0 3— 1は、 静動判定部 2 0 2 - 1から供給された静動判定が静 止を示し、 かつ、 静動判定部 2 0 2— 2から供給された静動判定が動きを示して いるとき、 フレーム ttnにおける領域特定の対象である画素がアンカバードバッ クグラウンド領域に属すると判定し、 領域の判定される画素に対応するアンカバ -ドバックグラウンド領域判定フラグに、 ァンカバードバックグラウンド領域に 属することを示す" 1 " を設定する。

領域判定部 2 0 3— 1は、 静動判定部 2 0 2 - 1から供給された静動判定が動 きを示すか、 または、 静動判定部 2 0 2— 2から供給された静動判定が静止を示 しているとき、 フレーム における領域特定の対象である画素がアンカバード バックグラウンド領域に属しないと判定し、 領域の判定される画素に対応するァ ンカバードバックグラウンド領域判定フラグに、 アンカバードバックグラウンド 領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 1は、 このように" 1 " または" 0 " が設定されたアンカ バードバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4 に供給する。

領域判定部 2 0 3— 2は、 静動判定部 2 0 2— 2から供給された静動判定が静 止を示し、 かつ、 静動判定部 2 0 2— 3から供給された静動判定が静止を示して いるとき、 フレーム における領域特定の対象である画素が静止領域に属する と判定し、 領域の判定される画素に対応する静止領域判定フラグに、 静止領域に 属することを示す" 1 " を設定する。

領域判定部 2 0 3— 2は、 静動判定部 2 0 2— 2から供給された静動判定が動 きを示すか、 または、 静動判定部 2 0 2— 3から供給された静動判定が動きを示 しているとき、 フレーム ίίηにおける領域特定の対象である画素が静止領域に属 しないと判定し、 領域の判定される画素に対応する静止領域判定フラグに、 静止 領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 2は、 このように" 1 " または" 0 " が設定された静止領 域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

領域判定部 2 0 3— 2は、 静動判定部 2 0 2一 2から供給された静動判定が動 きを示し、 かつ、 静動判定部 2 0 2— 3から供給された静動判定が動きを示して いるとき、 フレーム における領域特定の対象である画素が動き領域に属する と判定し、 領域の判定される画素に対応する動き領域判定フラグに、 動き領域に 属することを示す" 1 " を設定する。

領域判定部 2 0 3— 2は、 静動判定部 2 0 2— 2から供給された静動判定が静 止を示すか、 または、 静動判定部 2 0 2— 3から供給された静動判定が静止を示 しているとき、 フレーム #nにおける領域特定の対象である画素が動き領域に属 しないと判定し、 領域の判定される画素に対応する動き領域判定フラグに、 動き 領域に属しないことを示す" 0 " を設定する。

領域判定部 2 0 3— 2は、 このように" 1 " または" 0 " が設定された動き領 域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供給する。

領域判定部 2 0 3— 3は、 静動判定部 2 0 2一 3から供給された静動判定が動 きを示し、 かつ、 静動判定部 2 0 2— 4から供給された静動判定が静止を示して いるとき、 フレーム における領域特定の対象である画素がカバードバックグ ラウンド領域に属すると判定し、 領域の判定される画素に対応するカバードバッ クグラウンド領域判定フラグに、 カバードバックグラウンド領域に属することを 示す" 1 " を設定する。

領域判定部 2 0 3— 3は、 静動判定部 2 0 2— 3から供給された静動判定が静 止を示すか、 または、 静動判定部 2 0 2— 4から供給された静動判定が動きを示 しているとき、 フレーム tinにおける領域特定の対象である画素がカバードバッ クグラウンド領域に属しないと判定し、 領域の判定される画素に対応するカバー ドバックグラウンド領域判定フラグに、 カバードバックグラウンド領域に属しな いことを示す" 0 " を設定する。

領域判定部 2 0 3— 3は、 このように" 1 " または" 0 " が設定されたカバー ドバックグラウンド領域判定フラグを判定フラグ格納フレームメモリ 2 0 4に供 給する。

判定フラグ格納フレームメモリ 2 0 4は、 領域判定部 2 0 3 - 1から供給され たアンカバードバックグラウンド領域判定フラグ、 領域判定部 2 0 3— 2から供 給された静止領域判定フラグ、 領域判定部 2 0 3一 2から供給された動き領域判 定フラグ、 および領域判定部 2 0 3— 3から供給されたカバ一ドバックグラウン ド領域判定フラグをそれぞれ記憶する。

判定フラグ格納フレームメモリ ² 0 4は、 記憶しているアンカバードバックグ ラウンド領域判定フラグ、 静止領域判定フラグ、 動き領域判定フラグ、 および力 バードバックグラウンド領域判定フラグを合成部 2 0 5に供給する。 合成部 2 0 5は、 判定フラグ格納フレームメモリ 2 0 4から供給された、 アンカバ一ドバッ クグラウンド領域判定フラグ、 静止領域判定フラグ、 動き領域判定フラグ、 およ びカバードバックグラウンド領域判定フラグを基に、 各画素が、 アンカバードバ ックグラウンド領域、 静止領域、 動き領域、 およびカバードバックグラウンド領 域のいずれかに属することを示す領域情報を生成し、 判定フラグ格納フレームメ モリ 2 0 6に供給する。

判定フラグ格納フレームメモリ 2 0 6は、 合成部 2 0 5から供給された領域情 報を記憶すると共に、 記憶している領域情報を出力する。

次に、 領域特定部 1 0 3の処理の例を図 2 8乃至図 3 2を参照して説明する。 前景に対応するォブジェク トが移動しているとき、 オブジェク トに対応する画 像の画面上の位置は、 フレーム毎に変化する。 図 2 8に示すように、 フレーム #nにおいて、 Yn (x, y)で示される位置に位置するォブジェク トに対応する画像は、 次のフレームであるフレーム #n+lにおいて、 Yn+1 (X, y)に位置する。

前景のオブジェク 卜に対応する画像の動き方向に隣接して 1列に並ぶ画素の画 素値を時間方向に展開したモデル図を図 2 2に示す。 例えば、 前景のオブジェク トに対応する画像の動き方向が画面に対して水平であるとき、 図 2 9におけるモ デル図は、 1つのライン上の隣接する画素の画素値を時間方向に展開したモデル を示す。

図 2 9において、 フレーム ίίηにおけるラインは、 フレーム #η+ 1におけるライ ンと同一である。 フレーム #nにおいて、 左から 2番目の画素乃至 1 3番目の画素に含まれてい るォブジェク トに対応する前景の成分は、 フレーム ttn+ 1において、 左から 6番 目乃至 1 7番目の画素に含まれる。

フレーム ftnにおいて、 カバードバックグラウンド領域に属する画素は、 左か ら 1 1番目乃至 1 3番目の画素であり、 アンカバードバックグラウンド領域に属 する画素は、 左から 2番目乃至 4番目の画素である。 フレーム #n+lにおいて、 カバードバックグラウンド 域に属する画素は、 左から 1 5番目乃至 1 7番目の 画素であり、 アンカバードバックグラウンド領域に属する画素は、 左から 6番目 乃至 8番目の画素である。

図 2 9に示す例において、 フレーム #nに含まれる前景の成分が、 フレーム

#n+ l において 4画素移動しているので、 動き量 V は、 4である。 仮想分割数は、 動き量 Vに対応し、 4である。

次に、 注目しているフレームの前後における混合領域に属する画素の画素値の 変化について説明する。

図 3 0に示す、 背景が静止し、 前景の動き量 Vが 4であるフレーム^におい て、 カバードバックグラウンド領域に属する画素は、 左から 1 5番目乃至 1 7番 目の画素である。 動き量 Vが 4であるので、 1つ前のフレーム #n- lにおいて、 左から 1 5番目乃至 1 7番目の画素は、 背景の成分のみを含み、 背景領域に属す る。 また、 更に 1つ前のフレーム - 2において、 左から 1 5番目乃至 1 7番目 の画素は、 背景の成分のみを含み、 背景領域に属する。

ここで、 背景に対応するオブジェク トが静止しているので、 フレーム #η- 1の 左から 1 5番目の画素の画素値は、 フレーム - 2の左から 1 5番目の画素の画 素値から変化しない。 同様に、 フレーム - 1の左から 1 6番目の画素の画素値 は、 フレーム #η-2の左から 1 6番目の画素の画素値から変化せず、 フレーム - 1の左から 1 7番目の画素の画素ィ直は、 フレーム #η-2の左から 1 7番目の画素 の画素値から変化しない。

すなわち、 フレーム #ηにおけるカバードバックグラウンド領域に属する画素 に対応する、 フレーム #n- lおよびフレーム #n-2の画素は、 背景の成分のみから 成り、 画素値が変化しないので、 その差の絶対値は、 ほぼ 0の値となる。 従って、 フレーム #nにおける混合領域に属する画素に対応する、 フレーム #n- lおよびフ レーム - 2の画素に対する静動判定は、 静動判定部 2 0 2— 4により、 静止と 判定される。

フレーム #nにおけるカバードバックグラウンド領域に属する画素は、 前景の 成分を含むので、 フレーム #n- lにおける背景の成分のみから成る場合と、 画素 値が異なる。 従って、 フレーム ttnにおける混合領域に属する画素、 および対応 するフレーム #n- lの画素に対する静動判定は、 静動判定部 2 0 2— 3により、 動きと判定される。

このように、 領域判定部 2 0 3— 3は、 静動判定部 2 0 2 - 3から動きを示す 静動判定の結果が供給され、 静動判定部 2 0 2— 4から静止を示す静動判定の結 果が供給されたとき、 対応する画素がカバードバックグラウンド領域に属すると 判定する。

図 3 1に示す、 背景が静止し、 前景の動き量 Vが 4であるフレーム ttnにおい て、 アンカバードバックグラウンド領域に含まれる画素は、 左から 2番目乃至 4 番目の画素である。 動き量 V が 4であるので、 1つ後のフレーム ttn+ 1 において、 左から 2番目乃至 4番目の画素は、 背景の成分のみを含み、 背景領域に属する。 また、 更に 1つ後のフレーム #n+2 において、 左から 2番目乃至 4番目の画素は, 背景の成分のみを含み、 背景領域に属する。

ここで、 背景に対応するオブジェク トが静止しているので、 フレーム #n+2の 左から 2番目の画素の画素値は、 フレーム #η+ 1の左から 2番目の画素の画素値 から変化しない。 同様に、 フレーム ttn+2の左から 3番目の画素の画素値は、 フ レーム ί η+ lの左から 3番目の画素の画素値から変化せず、 フレーム #η+2の左力 ら 4番目の画素の画素値は、 フレーム #η+1の左から 4番目の画素の画素値から 変化しない。

すなわち、 フレーム ttnにおけるアンカバードバックグラウンド領域に属する 画素に対応する、 フレーム ttn+ 1およびフレーム #η+2の画素は、 背景の成分のみ から成り、 画素値が変化しないので、 その差の絶対値は、 ほぼ 0の値となる。 従 つて、 フレーム ttnにおける混合領域に属する画素に対応する、 フレーム ί η+ lお よびフレーム #η+2の画素に対する静動判定は、 静動判定部 2 0 2— 1により、 静止と判定される。

フレーム におけるアンカバードバックグラウンド領域に属する画素は、 前 景の成分を含むので、 フレーム #η+ 1における背景の成分のみから成る場合と、 画素値が異なる。 従って、 フレーム #ηにおける混合領域に属する画素、 および 対応するフレーム #η+ 1の画素に対する静動判定は、 静動判定部 2 0 2— 2によ り、 動きと判定される。

このように、 領域判定部 2 0 3 _ 1は、 静動判定部 2 0 2 - 2から動きを示す 静動判定の結果が供給され、 静動判定部 2 0 2— 1から静止を示す静動判定の結 果が供給されたとき、 対応する画素がアンカバードバックグラウンド領域に属す ると判定する。

図 3 2は、 フレーム #η における領域特定部 1 0 3の判定条件を示す図である _c フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレー ム #n- 2の画素と、 フレーム #nの判定の対象となる画素の画像上の位置と同一の 位置にあるフレーム ίίη-lの画素とが静止と判定され、 フレーム の判定の対象 となる画素の画像上の位置と同一の位置にあるフレーム #η- 1の画素と、 フレー ム #ηの画素とが動きと判定されたとき、 領域特定部 1 0 3は、 フレーム #ηの判 定の対象となる画素がカバードバックグラウンド領域に属すると判定する。

フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフレ ーム #η- 1 の画素と、 フレーム ίίηの画素とが静止と判定され、 フレーム #ηの画素 と、 フレーム #ηの判定の対象となる画素の画像上の位置と同一の位置にあるフ レーム ttn+ 1の画素とが静止と判定されたとき、 領域特定部 1 0 3は、 フレーム #nの判定の対象となる画素が静止領域に属すると判定する。

フレーム #nの判定の対象となる画素の画像上の位置と同一の位置にあるフレ ーム #n - 1の画素と、 フレーム #nの画素とが動きと判定され、 フレーム #nの画素 と、 フレーム の判定の対象となる画素の画像上の位置と同一の位置にあるフ レーム ttn+ 1の画素とが動きと判定されたとき、 領域特定部 1 0 3は、 フレーム #nの判定の対象となる画素が動き領域に属すると判定する。

フ ^一ム ttnの画素と、 フレーム の判定の対象となる画素の画像上の位置と 同一の位置にあるフレーム #n+ lの画素とが動きと判定され、 フレーム #nの判定 の対象となる画素の画像上の位置と同一の位置にあるフレーム ίίη+lの画素と、 フレーム の判定の対象となる画素の画像上の位置と同一の位置にあるフレー ム ttn+2の画素とが静止と判定されたとき、 領域特定部 1 0 3は、 フレーム ίίηの 判定の対象となる画素がアンカバードバックグラウンド領域に属すると判定する。 図 3 3 A乃至図 3 3 Dは、 領域特定部 1 0 3の領域の特定の結果の例を示す図 である。 図 3 3 Aにおいて、 カバードバックグラウンド領域に属すると判定され た画素は、 白で表示されている。 図 3 3 Bにおいて、 アンカバードバックグラウ ンド領域に属すると判定された画素は、 白で表示されている。

図 3 3 Cにおいて、 動き領域に属すると判定された画素は、 白で表示されてい る。 図 3 3 Dにおいて、 静止領域に属すると判定された画素は、 白で表示されて いる。

図 3 4は、 判定フラグ格納フレームメモリ 2 0 6が出力する領域情報の内、 混 合領域を示す領域情報を画像として示す図である。 図 3 4において、 カバードバ ックグラウンド領域またはアンカバードバックグラウンド領域に属すると判定さ れた画素、 すなわち混合領域に属すると判定された画素は、 白で表示されている _c 判定フラグ格納フレームメモリ 2 0 6が出力する混合領域を示す領域情報は、 混 合領域、 および前景領域内のテクスチャの無い部分に囲まれたテクスチャの有る 部分を示す。

次に、 図 3 5のフローチャートを参照して、 領域特定部 1 0 3の領域特定の処 理を説明する。 ステップ S 2 0 1において、 フレームメモリ 2 0 1は、 判定の対 象となるフレーム ttnを含むフレーム #n-2乃至フレーム ίίη+2の画像を取得する。 ステップ S 2 0 2において、 静動判定部 2 0 2— 3は、 フレーム ίίη- lの画素 とフレーム #ηの同一位置の画素とで、 静止か否かを判定し、 静止と判定された 場合、 ステップ S 2 0 3に進み、 静動判定部 2 0 2— 2は、 フレーム ttnの画素 とフレーム #n+ lの同一位置の画素とで、 静止か否かを判定する。

ステップ S 2 0 3において、 フレーム ttnの画素とフレーム #n+ lの同一位置の 画素とで、 静止と判定された場合、 ステップ S 2 0 4に進み、 領域判定部 2 0 3 一 2は、 領域の判定される画素に対応する静止領域判定フラグに、 静止領域に属 することを示す" 1 " を設定する。 領域判定部 2 0 3— 2は、 静止領域判定フラ グを判定フラグ格納フレームメモリ 2 0 4に供給し、 手続きは、 ステップ S 2 0 5に進む。

ステップ S 2 0 2において、 フレーム #n- 1の画素とフレーム の同一位置の 画素とで、 動きと判定された場合、 または、 ステップ S 2 0 3において、 フレー ム^の画素とフレーム #n+ lの同一位置の画素とで、 動きと判定された場合、 フ レーム の画素が静止領域には属さないので、 ステップ S 2 0 4の処理はスキ ップされ、 手続きは、 ステップ S 2 0 5に進む。

ステップ S 2 0 5において、 静動判定部 2 0 2— 3は、 フレーム ttn- 1 の画素 とフレーム #_nの同一位置の画素とで、 動きか否かを判定し、 動きと判定された 場合、 ステップ S 2 0 6に進み、 静動判定部 2 0 2— 2は、 フレーム ίίηの画素 とフレーム Hn+ 1の同一位置の画素とで、 動きか否かを判定する。

ステップ S 2 0 6において、 フレーム #nの画素とフレーム Ιίη+ 1の同一位置の 画素とで、 動きと判定された場合、 ステップ S 2 0 7に進み、 領域判定部 2 0 3 一 2は、 領域の判定される画素に対応する動き領域判定フラグに、 動き領域に属 することを示す" 1 " を設定する。 領域判定部 2 0 3 _ 2は、 動き領域判定フラ グを判定フラグ格納フレームメモリ 2 0 4に供給し、 手続きは、 ステップ S 2 0 8に進む。

ステップ S 2 0 5において、 フレーム ίίη- 1 の画素とフレーム #ηの同一位置の 画素とで、 静止と判定された場合、 または、 ステップ S 2 0 6において、 フレー ム #nの画素とフレーム #n+ lの同一位置の画素とで、 静止と判定された場合、 フ レーム の画素が動き領域には属さないので、 ステップ S 2 0 7の処理はスキ ップされ、 手続きは、 ステップ S 2 0 8に進む。

ステップ S 2 0 8において、 静動判定部 2 0 2— 4は、 フレーム #n- 2の画素 とフレーム ίίη- 1の同一位置の画素とで、 静止か否かを判定し、 静止と判定され た場合、 ステップ S 2 0 9に進み、 静動判定部 2 0 2— 3は、 フレーム #η- 1 の 画素とフレーム #ηの同一位置の画素とで、 動きか否かを判定する。

ステップ S 2 0 9において、 フレーム ttn-1 の画素とフレーム #nの同一位置の 画素とで、 動きと判定された場合、 ステップ S 2 1 0に進み、 領域判定部 2 0 3 — 3は、 領域の判定される画素に対応するカバードバックグラウンド領域判定フ ラグに、 カバードバックグラウンド領域に属することを示す" 1 " を設定する。 領域判定部 2 0 3— 3は、 カバードバックグラウンド領域判定フラグを判定フラ グ格納フレームメモリ 2 0 4に供給し、 手続きは、 ステップ S 2 1 1に進む。 ステップ S 2 0 8において、 フレーム ttn- 2の画素とフレーム #η- 1 の同一位置 の画素とで、 動きと判定された場合、 または、 ステップ S 2 0 9において、 フレ ーム ttn - 1 の画素とフレーム #nの同一位置の画素とで、 静止と判定された場合、 フレーム #nの画素がカバードバックグラウンド領域には属さないので、 ステッ プ S 2 1 0の処理はスキップされ、 手続きは、 ステップ S 2 1 1に進む。

ステップ S 2 1 1において、 静動判定部 2 0 2— 2は、 フレーム #nの画素と フレーム ίίη+ lの同一位置の画素とで、 動きか否かを判定し、 動きと判定された 場合、 ステップ S 2 1 2に進み、 静動判定部 2 0 2 _ 1は、 フレーム #η+ 1の画 素とフレーム ttn+2の同一位置の画素とで、 静止か否かを判定する。

ステップ S 2 1 2において、 フレーム ίίη+lの画素とフレーム #η+2の同一位置 の画素とで、 静止と判定された場合、 ステップ S 2 1 3に進み、 領域判定部 2 0 3— 1は、 領域の判定される画素に対応するアンカバードバックグラウンド領域 判定フラグに、 アンカバードバックグラウンド領域に属することを示す" 1 " を 設定する。 領域判定部 2 0 3— 1は、 アンカバードバックグラウンド領域判定フ ラグを判定フラグ格納フレームメモリ 2 0 4に供給し、 手続きは、 ステップ S 2 1 4に進む。

ステップ S 2 1 1において、 フレーム ί!ηの画素とフレーム #η+ 1の同一位置の 画素とで、 静止と判定された場合、 または、 ステップ S 2 1 2において、 フレー ム #η+ 1の画素とフレーム #η+2の同一位置の画素とで、 動きと判定された場合、 フレーム ίίηの画素がアンカバードバックグラウンド領域には属さないので、 ス テツプ S 2 1 3の処理はスキップされ、 手続きは、 ステップ S 2 1 4に進む。 ステップ S 2 1 4において、 領域特定部 1 0 3は、 フレーム の全ての画素 について領域を特定したか否かを判定し、 フレーム #ηの全ての画素について領 域を特定していないと判定された場合、 手続きは、 ステップ S 2 0 2に戻り、 他 の画素について、 領域特定の処理を繰り返す。

ステップ S 2 1 4において、 フレーム ttnの全ての画素について領域を特定し たと判定された場合、 ステップ S 2 1 5に進み、 合成部 2 0 5は、 判定フラグ格 納フレームメモリ 2 0 4に記憶されているアンカバードバックグラウンド領域判 定フラグ、 およびカバードバックグラウンド領域判定フラグを基に、 混合領域を 示す領域情報を生成し、 更に、 各画素が、 アンカバードバックグラウンド領域、 静止領域、 動き領域、 およびカバードバックグラウンド領域のいずれかに属する ことを示す領域情報を生成し、 生成した領域情報を判定フラグ格納フレームメモ リ 2 0 6に設定し、 処理は終了する。

このように、 領域特定部 1 0 3は、 フレームに含まれている画素のそれぞれに ついて、 動き領域、 静止領域、 アンカバードバックグラウンド領域、 またはカバ 一ドバックダラゥンド領域に属することを示す領域情報を生成することができる。 なお、 領域特定部 1 0 3は、 アンカバードバックグラウンド領域およびカバー ドバックグラウンド領域に対応する領域情報に論理和を適用することにより、 混 合領域に対応する領域情報を生成して、 フレームに含まれている画素のそれぞれ について、 動き領域、 静止領域、 または混合領域に属することを示すフラグから 成る領域情報を生成するようにしてもよい。 前景に対応するオブジェク トがテクスチャを有す場合、 領域特定部 1 0 3は、 より正確に動き領域を特定することができる。

領域特定部 1 0 3は、 動き領域を示す領域情報を前景領域を示す領域情報とし て、 また、 静止領域を示す領域情報を背景領域を示す領域情報として出力するこ とができる。

なお、 背景に対応するオブジェクトが静止しているとして説明したが、 背景領 域に対応する画像が動きを含んでいても上述した領域を特定する処理を適用する ことができる。 例えば、 背景領域に対応する画像が一様に動いているとき、 領域 特定部 1 0 3は、 この動きに対応して画像全体をシフ トさせ、 背景に対応するォ ブジェク トが静止している場合と同様に処理する。 また、 背景領域に対応する画 像が局所毎に異なる動きを含んでいるとき、 領域特定部 1 0 3は、 動きに対応し た画素を選択して、 上述の処理を実行する。

図 3 6は、 領域特定部 1 0 3の構成の他の一例を示すブロック図である。 図 3 6に示す領域特定部 1 0 3は、 動きベク トルを使用しない。 背景画像生成部 3 0 1は、 入力画像に対応する背景画像を生成し、 生成した背景画像を 2値オブジェ クト画像抽出部 3 0 2に供給する。 背景画像生成部 3 0 1は、 例えば、 入力画像 に含まれる背景のオブジェク 卜に対応する画像オブジェク トを抽出して、 背景画 像を生成する。

前景のォブジェク トに対応する画像の動き方向に隣接して 1列に並ぶ画素の画 素値を時間方向に展開したモデル図の例を図 3 7に示す。 例えば、 前景のォブジ ェク トに対応する画像の動き方向が画面に対して水平であるとき、 図 3 7におけ るモデル図は、 1つのライン上の隣接する画素の画素値を時間方向に展開したモ デルを示す。

図 3 7において、 フレーム #nにおけるラインは、 フレーム ttn- 1およびフレー ム ίΐη+ 1におけるラインと同一である。

フレーム #_ηにおいて、 左から 6番目の画素乃至 1 7番目の画素に含まれてい るオブジェク トに対応する前景の成分は、 フレーム #η- 1において、 左から 2番 目乃至 1 3番目の画素に含まれ、 フレーム ttn+ 1において、 左から 1 0番目乃至 2 1番目の画素に含まれる。

フレーム #n- lにおいて、 カバードバックグラウンド領域に属する画素は、 左 から 1 1番目乃至 1 3番目の画素であり、 アンカバードバックグラウンド領域に 属する画素は、 左から 2番目乃至 4番目の画素である。 フレーム #nにおいて、 カバードバックグラウンド領域に属する画素は、 左から 1 5番目乃至 1 7番目の 画素であり、 アンカバードバックグラウンド領域に属する画素は、 左から 6番目 乃至 8番目の画素である。 フレーム #n+ lにおいて、 カバードバックグラウンド 領域に属する画素は、 左から 1 9番目乃至 2 1番目の画素であり、 アンカバード バックグラウンド領域に属する画素は、 左から 1 0番目乃至 1 2番目の画素であ る。

フレーム #n- lにおいて、 背景領域に属する画素は、 左から 1番目の画素、 お よび左から 1 4番目乃至 2 1番目の画素である。 フレーム ίίηにおいて、 背景領 域に属する画素は、 左から 1番目乃至 5番目の画素、 および左から 1 8番目乃至 2 1番目の画素である。 フレーム ttn+1において、 背景領域に属する画素は、 左 から 1番目乃至 9番目の画素である。

背景画像生成部 3 0 1が生成する、 図 3 7の例に対応する背景画像の例を図 3

8に示す。 背景画像は、 背景のオブジェク トに対応する画素から構成され、 前景 のオブジェク トに対応する画像の成分を含まない。

2値オブジェク ト画像抽出部 3 0 2は、 背景画像および入力画像の相関を基に、

2値オブジェク ト画像を生成し、 生成した 2値オブジェク ト画像を時間変化検出 部 3 0 3に供給する。

図 3 9は、 2値ォブジェク ト画像抽出部 3 0 2の構成を示すプロック図である _c 相関値演算部 3 2 1は、 背景画像生成部 3 0 1から供給された背景画像および入 力画像の相関を演算し、 相関値を生成して、 生成した相関値をしきい値処理部 3

2 2に供給する。

相関値演算部 3 2 1は、 例えば、 図 4 O Aに示すように、 X 4を中心とした 3 X 3の背景画像の中のブロックと、 図 4 0 Bに示すように、 背景画像の中のブロ ックに対応する Y 4を中心とした 3 X 3の入力画像の中のブロックに、 式 （4 ) を適用して、 Y 4に対応する相関値を算出する。 相関値 = (4)

∑Xi

i=0

X =

9

8

∑Yi

i= 0

Y = (6)

9

相関値演算部 3 2 1は、 このように各画素に対応して算出された相関値をしき い値処理部 3 2 2に供給する。

また、 相関値演算部 3 2 1は、 例えば、 図 4 1 Aに示すように、 X 4を中心と した 3 X 3の背景画像の中のプロックと、 図 4 1 Bに示すように、 背景画像の中 のプロックに対応する Y 4を中心とした 3 X 3の入力画像の中のプロックに、 式 ( 7 ) を適用して、 Y 4に対応する差分絶対値を算出するようにしてもよい。 差分絶対値和 = έι( -^) I (?) 相関値演算部 3 2 1は、 このように算出された差分絶対値を相関値として、 し きい値処理部 3 2 2に供給する。

しきい値処理部 3 2 2は、 相関画像の画素値としきい値 thOとを比較して、 相関値がしきい値 thO以下である場合、 2値オブジェク ト画像の画素値に 1を 設定し、 相関値がしきい値 thOより大きい場合、 2値オブジェクト画像の画素 値に 0を設定して、 0または 1が画素値に設定された 2値ォブジェクト画像を出 力する。 しきい値処理部 3 2 2は、 しきい値 thOを予め記憶するようにしても よく、 または、 外部から入力されたしきい値 thO を使用するようにしてもよい _c 図 4 2は、 図 3 7に示す入力画像のモデルに対応する 2値ォブジェク ト画像の 例を示す図である。 2値ォブジェク ト画像において、 背景画像と相関の高い画素 には、 画素値に 0が設定される。

図 4 3は、 時間変化検出部 3 0 3の構成を示すブロック図である。 フレームメ モリ 3 4 1は、 フレーム ttnの画素について領域を判定するとき、 2値オブジェ ク ト画像抽出部 3 0 2から供給された、 フレーム #n-l、 フレーム #n、 およびフ レーム #n+ l の 2値ォブジェク ト画像を記憶する。

領域判定部 3 4 2は、 フレームメモリ 3 4 1に記憶されているフレーム tin- 1 - フレーム #n、 およびフレーム Hn+ 1の 2値オブジェク ト画像を基に、 フレーム の各画素について領域を判定して、 領域情報を生成し、 生成した領域情報を出力 する。

図 4 4は、 領域判定部 3 4 2の判定を説明する図である。 フレーム #nの 2値 オブジェク ト画像の注目している画素が 0であるとき、 領域判定部 3 4 2は、 フレーム の注目している画素が背景領域に属すると判定する。

フレーム #nの 2値ォブジェク ト画像の注目している画素が 1であり、 フレー ム ίίη- lの 2値オブジェク ト画像の対応する画素が 1であり、 フレーム #η+1の 2 値オブジェク ト画像の対応する画素が 1であるとき、 領域判定部 3 4 2は、 フ レーム の注目している画素が前景領域に属すると判定する。

フレーム ίίηの 2値ォブジェク ト画像の注目している画素が 1であり、 フレー ム - 1の 2値オブジェク ト画像の対応する画素が 0であるとき、 領域判定部 3 4 2は、 フレーム #ηの注目している画素がカバードバックグラウンド領域に属 すると判定する。

フレーム #ηの 2値ォブジェク ト画像の注目している画素が 1であり、 フレー ム ttn+ 1の 2値ォブジェク ト画像の対応する画素が 0であるとき、 領域判定部 3 4 2は、 フレーム #nの注目している画素がアンカバードバックグラウンド領域 に属すると判定する。

図 4 5は、 図 3 7に示す入力画像のモデルに対応する 2値オブジェク ト画像に ついて、 時間変化検出部 3 0 3の判定した例を示す図である。 時間変化検出部 3 0 3は、 2値オブジェク ト画像のフレーム #nの対応する画素が 0なので、 フレ ーム の左から 1番目乃至 5番目の画素を背景領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェク ト画像のフレーム ίίηの画素が 1で あり、 フレーム #η+1の対応する画素が 0なので、 左から 6番目乃至 9番目の画 素をアンカバードバックグラウンド領域に属すると判定する。

時間変化検出部 3 0 3は、 2値オブジェク ト画像のフレーム ttnの画素が 1で あり、 フレーム #n-l の対応する画素が 1であり、 フレーム #n+l の対応する画素 が 1なので、 左から 1 0番目乃至 1 3番目の画素を前景領域に属すると判定す る。

時間変化検出部 3 0 3は、 2値オブジェク ト画像のフレーム #ηの画素が 1で あり、 フレーム ttn- 1の対応する画素が 0なので、 左から 1 4番目乃至 1 7番目 の画素をカバードバックグラウンド領域に属すると判定する。

時間変化検出部 3 0 3は、 2値ォブジェク ト画像のフレーム ίίηの対応する画 素が 0なので、 左から 1 8番目乃至 2 1番目の画素を背景領域に属すると判定 する。

次に、 図 4 6のフローチヤ一トを参照して、 領域判定部 1 0 3の領域特定の処 理を説明する。 ステップ S 3 0 1において、 領域判定部 1 0 3の背景画像生成部 3 0 1は、 入力画像を基に、 例えば、 入力画像に含まれる背景のオブジェク トに 対応する画像オブジェク トを抽出して背景画像を生成し、 生成した背景画像を 2 値オブジェク ト画像抽出部 3 0 2に供給する。

ステップ S 3 0 2において、 2値オブジェク ト画像抽出部 3 0 2は、 例えば、 図 4 0 Α , 図 4 0 Βを参照して説明した演算により、 入力画像と背景画像生成部 3 0 1から供給された背景画像との相関値を演算する。 ステップ S 3 0 3におい て、 2値ォブジェク ト画像抽出部 3 0 2は、 例えば、 相関値としきい値 thOと を比較することにより、 相関値およびしきい値 thOから 2値オブジェク ト画像 を演算する。

ステップ S 3 0 4において、 時間変化検出部 3 0 3は、 領域判定の処理を実行 して、 処理は終了する。

図 4 7のフローチヤ一トを参照して、 ステップ S 3 0 4に対応する領域判定の 処理の詳細を説明する。 ステップ S 3 2 1において、 時間変化検出部 3 0 3の領 域判定部 3 4 2は、 フレームメモリ 3 4 1に記憶されているフレーム tinにおい て、 注目する画素が 0であるか否かを判定し、 フレーム #nにおいて、 注目する 画素が 0であると判定された場合、 ステップ S 3 2 2に進み、 フレーム #nの注 目する画素が背景領域に属すると設定して、 処理は終了する。

ステップ S 3 2 1において、 フレーム #nにおいて、 注目する画素が 1である と判定された場合、 ステップ S 3 2 3に進み、 時間変化検出部 3 0 3の領域判定 部 3 4 2は、 フレームメモリ 3 4 1に記憶されているフレーム ί!ηにおいて、 注 目する画素が 1であり、 かつ、 フレーム ίίη- lにおいて、 対応する画素が 0であ るか否かを判定し、 フレーム #ηにおいて、 注目する画素が 1であり、 かつ、 フ レーム ttn- 1において、 対応する画素が 0であると判定された場合、 ステップ S 3 2 4に進み、 フレーム #nの注目する画素がカバードバックグラウンド領域に 属すると設定して、 処理は終了する。

ステップ S 3 2 3において、 フレーム #nにおいて、 注目する画素が 0である か、 または、 フレーム #n- lにおいて、 対応する画素が 1であると判定された場 合、 ステップ S 3 2 5に進み、 時間変化検出部 3 0 3の領域判定部 3 4 2は、 フ レームメモリ 3 4 1に記憶されているフレーム #nにおいて、 注目する画素が 1 であり、 かつ、 フレーム #n+ lにおいて、 対応する画素が 0であるか否かを判定 し、 フレーム #nにおいて、 注目する画素が 1であり、 かつ、 フレーム #n+ lにお いて、 対応する画素が 0であると判定された場合、 ステップ S 3 2 6に進み、 フレーム ίίηの注目する画素がアンカバードバックグラウンド領域に属すると設 定して、 処理は終了する。

ステップ S 3 2 5において、 フレーム #ηにおいて、 注目する画素が 0である か、 または、 フレーム #η+ 1において、 対応する画素が 1であると判定された場 合、 ステップ S 3 2 7に進み、 時間変化検出部 3 0 3の領域判定部 3 4 2は、 フ レーム ίίηの注目する画素を前景領域と設定して、 処理は終了する。

このように、 領域特定部 1 0 3は、 入力された画像と対応する背景画像との相 関値を基に、 入力画像の画素が前景領域、 背景領域、 カバードバックグラウンド 領域、 およびアンカバードバックグラウンド領域のいずれかに属するかを特定し て、 特定した結果に対応する領域情報を生成することができる。

図 4 8は、 領域特定部 1 0 3の他の構成を示すブロック図である。 図 4 8に示 す領域特定部 1 0 3は、 動き検出部 1 0 2から供給される動きべク トルとその位 置情報を使用する。 図 3 6に示す場合と同様の部分には、 同一の番号を付してあ り、 その説明は省略する。

ロバス ト化部 3 6 1は、 2値オブジェク ト画像抽出部 3 0 2から供給された、 Ν個のフレームの 2値ォブジェク ト画像を基に、 ロバス ト化された 2値オブジェ ク ト画像を生成して、 時間変化検出部 3 0 3に出力する。

図 4 9は、 ロバス ト化部 3 6 1の構成を説明するブロック図である。 動き補償 部 3 8 1は、 動き検出部 1 0 2から供給された動きべク トルとその位置情報を基 に、 Ν個のフレームの 2値オブジェク ト画像の動きを補償して、 動きが補償され た 2値ォブジェク ト画像をスィッチ 3 8 2に出力する。

図 5 0および図 5 1の例を参照して、 動き補償部 3 8 1の動き補償について説 明する。 例えば、 フレーム ίίηの領域を判定するとき、 図 5 0に例を示すフレー ム t - 1、 フレーム #n、 およびフレーム #n+ lの 2値オブジェク ト画像が入力され た場合、 動き補償部 3 8 1は、 動き検出部 1 0 2から供給された動きべク トルを 基に、 図 5 1に例を示すように、 フレーム #n- lの 2値オブジェク ト画像、 およ びフレーム + 1の 2値オブジェク ト画像を動き補償して、 動き補償された 2値 オブジェク ト画像をスィツチ 3 8 2に供給する。

スィツチ 3 8 2は、 1番目のフレームの動き補償された 2値ォブジェク ト画像 をフレームメモリ 3 8 3— 1に出力し、 2番目のフレームの動き補償された 2値 オブジェク ト画像をフレームメモリ 3 8 3— 2に出力する。 同様に、 スィッチ 3 8 2は、 3番目乃至 N— 1番目のフレームの動き補償された 2値ォブジェク ト画 像のそれぞれをフレームメモリ 3 8 3— 3乃至フレームメモリ 3 8 3— （N— 1 ) のいずれかに出力し、 N番目のフレームの動き補償された 2値オブジェク ト 画像をフレームメモリ 3 8 3—Nに出力する。

フレームメモリ 3 8 3— 1は、 1番目のフレームの動き捕償された 2値ォブジ ェク ト画像を記憶し、 記憶されている 2値オブジェク ト画像を重み付け部 3 8 4 — 1に出力する。 フレームメモリ 3 8 3— 2は、 2番目のフレームの動き補償さ れた 2値オブジェク ト画像を記憶し、 記憶されている 2値オブジェク ト画像を重 み付け部 3 8 4— 2に出力する。

同様に、 フレームメモリ 3 8 3— 3乃至フレームメモリ 3 8 3— （N— 1 ) の それぞれは、 3番目のフレーム乃至 N— 1番目のフレームの動き補償された 2値 オブジェク ト画像のいずれかを記憶し、 記憶されている 2値ォブジェク ト画像を 重み付け部 3 8 4— 3乃至重み付け部 3 8 4 _ ( N— 1 ) のいずれかに出力する。 フレームメモリ 3 8 3—Nは、 N番目のフレームの動き補償された 2値オブジェ ク ト画像を記憶し、 記憶されている 2値オブジェク ト画像を重み付け部 3 8 4— Nに出力する。

重み付け部 3 8 4— 1は、 フレームメモリ 3 8 3— 1から供給された 1番目の フレームの動き補償された 2値ォブジェク ト画像の画素値に予め定めた重み wl を乗じて、 積算部 3 8 5に供給する。 重み付け部 3 8 4— 2は、 フレームメモリ 3 8 3一 2から供給された 2番目のフレームの動き補償された 2値ォブジェク ト 画像の画素値に予め定めた重み w2を乗じて、 積算部 3 8 5に供給する。

同様に、 重み付け部 3 8 4— 3乃至重み付け部 3 8 4— ( N - 1 ) のそれぞれ は、 フレームメモリ 3 8 3— 3乃至フレームメモリ 3 8 3— ( N— 1 ) のいずれ かから供給された 3番目乃至 N— 1番目のいずれかのフレームの動き補償された 2値ォブジェク ト画像の画素値に予め定めた重み w3乃至重み w (N- l )のいずれか を乗じて、 積算部 3 8 5に供給する。 重み付け部 3 8 4— Nは、 フレームメモリ 3 8 3 _ Nから供給された N番目のフレームの動き補償された 2値オブジェク ト 画像の画素値に予め定めた重み wNを乗じて、 積算部 3 8 5に供給する。 積算部 3 8 5は、 1乃至 N番目のフレームの動き補償され、 それぞれ重み wl 乃至 _WNのいずれかが乗じられた、 2値オブジェク ト画像の対応する画素値を積 算して、 積算された画素値を予め定めたしきい値 thO と比較することにより 2 値オブジェク ト画像を生成する。

このように、 ロバスト化部 3 6 1は、 N個の 2値オブジェク ト画像から口バス ト化された 2値オブジェト画像を生成して、 時間変化検出部 3 0 3に供給するの で、 図 4 8に構成を示す領域特定部 1 0 3は、 入力画像にノイズが含まれていて も、 図 3 6に示す場合に比較して、 より正確に領域を特定することができる。 次に、 図 4 8に構成を示す領域特定部 1 0 3の領域特定の処理について、 図 5 2のフローチャートを参照して説明する。 ステップ S 3 4 1乃至ステップ S 3 4 3の処理は、 図 4 6のフローチヤ一トで説明したステップ S 3 0 1乃至ステップ S 3 0 3とそれぞれ同様なのでその説明は省略する。

ステップ S 3 4 4において、 ロバスト化部 3 6 1は、 ロバス ト化の処理を実行 する。

ステップ S 3 4 5において、 時間変化検出部 3 0 3は、 領域判定の処理を実行 して、 処理は終了する。 ステップ S 3 4 5の処理の詳細は、 図 4 7のフローチヤ 一トを参照して説明した処理と同様なのでその説明は省略する。

次に、 図 5 3のフローチャートを参照して、 図 5 2のステップ S 3 4 4の処理 に対応する、 ロバス ト化の処理の詳細について説明する。 ステップ S 3 6 1にお いて、 動き補償部 3 8 1は、 動き検出部 1 0 2から供給される動きべク トルとそ の位置情報を基に、 入力された 2値ォブジェク ト画像の動き補償の処理を実行す る。 ステップ S 3 6 2において、 フレームメモリ 3 8 3— 1乃至 3 8 3—Nのい ずれかは、 スィッチ 3 8 2を介して供給された動き補償された 2値ォブジェク ト 画像を記憶する。

ステップ S 3 6 3において、 ロバス ト化部 3 6 1は、 N個の 2値オブジェク ト 画像が記憶されたか否かを判定し、 N個の 2値オブジェク ト画像が記憶されてい ないと判定された場合、 ステップ S 3 6 1に戻り、 2値オブジェク ト画像の動き 補償の処理および 2値オブジェク ト画像の記憶の処理を繰り返す。

ステップ S 3 6 3において、 N個の 2値オブジェク ト画像が記憶されたと判定 された場合、 ステップ S 3 6 4に進み、 重み付け部 3 8 4— 1乃至 3 8 4—Nの それぞれは、 N個の 2値オブジェク ト画像のそれぞれに w l乃至 のいずれか の重みを乗じて、 重み付けする。

ステップ S 3 6 5において、 積算部 3 8 5は、 重み付けされた N個の 2値ォブ ジェク ト画像を積算する。

ステップ S 3 6 6において、 積算部 3 8 5は、 例えば、 予め定められたしきい 値 th l との比較などにより、 積算された画像から 2値ォブジェク ト画像を生成 して、 処理は終了する。

このように、 図 4 8に構成を示す領域特定部 1 0 3は、 ロバスト化された 2値 オブジェク ト画像を基に、 領域情報を生成することができる。

以上のように、 領域特定部 1 0 3は、 フレームに含まれている画素のそれぞれ について、 動き領域、 静止領域、 アンカバードバックグラウンド領域、 または力 バードバックグラウンド領域に属することを示す領域情報を生成することができ る。

図 5 4は、 混合比算出部 1 0 4の構成の一例を示すブロック図である。 推定混 合比処理部 4 0 1は、 入力画像を基に、 カバードバックグラウンド領域のモデル に対応する演算により、 画素毎に推定混合比を算出して、 算出した推定混合比を 混合比決定部 4 0 3に供給する。

推定混合比処理部 4 0 2は、 入力画像を基に、 アンカバードバックグラウンド 領域のモデルに対応する演算により、 画素毎に推定混合比を算出して、 算出した 推定混合比を混合比決定部 4 0 3に供給する。

前景に対応するォブジェク トがシャッタ時間内に等速で動いていると仮定でき るので、 混合領域に属する画素の混合比 αは、 以下の性質を有する。 すなわち、 混合比 αは、 画素の位置の変化に対応して、 直線的に変化する。 画素の位置の変 化を 1次元とすれば、 混合比 αの変化は、 直線で表現することができ、 画素の位 置の変化を 2次元とすれば、 混合比 αの変化は、 平面で表現することができる。 なお、 1フレームの期間は短いので、 前景に対応するオブジェク トが剛体であ り、 等速で移動していると仮定が成り立つ。

この場合、 混合比ひの傾きは、 前景のシャツタ時間内での動き量 Vの逆比と なる。

理想的な混合比 aの例を図 5 5に示す。 理想的な混合比 αの混合領域における 傾き 1は、 動き量 Vの逆数として表すことができる。

図 5 5に示すように、 理想的な混合比 αは、 背景領域において、 1の値を有し， 前景領域において、 0の値を有し、 混合領域において、 0を越え 1未満の値を有 する。

図 5 6の例において、 フレーム ttnの左から 7番目の画素の画素値 C06は、 フ レーム ttn- 1の左から 7番目の画素の画素値 P06を用いて、 式 （8 ) で表すこと ができる。

C06 = B06/v + B06/v + FOllv + F02lv

= P06lv + P06/V + FOllv + F02/v

= 2lvP06 +∑Filv (8) 式 （8 ) において、 画素値 C06を混合領域の画素の画素値 Mと、 画素値 P06 を背景領域の画素の画素値 Bと表現する。 すなわち、 混合領域の画素の画素値 M および背景領域の画素の画素値 Bは、 それぞれ、 式 （9 ) および式 （1 0 ) の ように表現することができる。

=C06 ( 9 )

B=P06 ( 1 0 )

式 （8 ) 中の 2/vは、 混合比 ひ に対応する。 動き量 Vが 4なので、 フレーム #nの左から 7番目の画素の混合比 a は、 0. 5 となる。

以上のように、 注目しているフレーム #nの画素値 Cを混合領域の画素値と見 なし、 フレーム の前のフレーム #n- 1の画素値 Pを背景領域の画素値と見なす ことで、 混合比 ひ を示す式 （3 ) は、 式 （ 1 1 ) のように書き換えられる。 C=a - P+f ( 1 1 )

式 （ 1 1 ) の f は、 注目している画素に含まれる前景の成分の和 ∑iFi/vで ある。 式 （ 1 1 ) に含まれる変数は、 混合比 α および前景の成分の和 f の 2つ である。

同様に、 アンカバードバックグラウンド領域における、 動き量 V が 4であり、 時間方向の仮想分割数が 4である、 画素値を時間方向に展開したモデルを図 5 7 に示す。

アンカバードバックグラウンド領域において、 上述したカバードバックグラウ ンド領域における表現と同様に、 注目しているフレーム #nの画素値 Cを混合領 域の画素値と見なし、 フレーム ίίηの後のフレーム #n+lの画素値 Nを背景領域の 画素値と見なすことで、 混合比 α を示す式 （3) は、 式 （ 1 2 ) のように表現 することができる。

C= a - N+f ( 1 2)

なお、 背景のオブジェク トが静止しているとして説明したが、 背景のオブジェ タ トが動いている場合においても、 背景の動き量 Vに対応させた位置の画素の 画素値を利用することにより、 式 （8 ) 乃至式 （ 1 2 ) を適用することができる _c 例えば、 図 5 6において、 背景に対応するオブジェク トの動き量 V が 2であり、 仮想分割数が 2であるとき、 背景に対応するオブジェク トが図中の右側に動いて いるとき、 式 （ 1 0) における背景領域の画素の画素値 Bは、 画素値 P04とさ れる。

式 （1 1 ) および式 （ 1 2 ) は、 それぞれ 2つの変数を含むので、 そのままで は混合比 αを求めることができない。 ここで、 画像は一般的に空間的に相関が強 いので近接する画素同士でほぼ同じ画素値となる。

そこで、 前景成分は、 空間的に相関が強いので、 前景の成分の和 f を前また は後のフレームから導き出せるように式を変形して、 混合比 α を求める。

図 5 8のフレーム の左から 7番目の画素の画素値 Mcは、 式 （1 3) で表す ことができる。 Mc= ^-'B06+∑Fi/v (13) y i=ll

式 （1 3 ) の右辺第 1項の 2/vは、 混合比 _α に相当する。 式 （1 3 ) の右辺 第 2項は、 後のフレーム +1の画素値を利用して、 式 （1 4) のように表すこ ととする。

ここで、 前景の成分の空間相関を利用して、 式 （1 5 ) が成立するとする。

F=F05=F06=F07=F08=F09=F10=F11=F12 ( 1 5) 式 （1 4) は、 式 （1 5) を利用して、 式 （1 6 ) のように置き換えることが できる。

∑Fi/v = F

»·= ノ

= . (16) 結果として、 /3は、 式 （1 7 ) で表すことができる。

]3=2/4 ( 1 7 )

一般的に、 式 （1 5 ) に示すように混合領域に関係する前景の成分が等しいと 仮定すると、 混合領域の全ての画素について、 内分比の関係から式 （1 8) が成 立する。

β =1- α ( 1 8 )

式 （1 8 ) が成立するとすれば、 式 （1 1 ) は、 式 （1 9 ) に示すように展開 することができる。

T+V-ゾ

= -P+(l- )-∑Fi/v

= -P+(l- )-N ひ9) 同様に、 式 （1 8 ) が成立するとすれば、 式 （1 2 ) は、 式 （2 0) に示すよ うに展開することができる。

C = a*N+f

r+v-i

= -N+(l-a)'∑F v

i=r

= -N+(l-a)-p (20) 式 （ 1 9) および式 （20) において、 C， N、 および Pは、 既知の画素値な ので、 式 （1 9) および式 （20) に含まれる変数は、 混合比 ひ のみである。 式 （ 1 9) および式 （2 0) における、 C， N、 および P の関係を図 5 9に示す。 Cは、 混合比 α を算出する、 フレーム #ηの注目している画素の画素値である。 Νは、 注目している画素と空間方向の位置が対応する、 フレーム ίίη+lの画素の 画素値である。 Ρは、 注目している画素と空間方向の位置が対応する、 フレーム #η-1の画素の画素値である。

従って、 式 （1 9) および式 （20) のそれぞれに 1つの変数が含まれること となるので、 3つのフレームの画素の画素値を利用して、 混合比ひを算出するこ とができる。 式 （1 9) および式 （2 0) を解くことにより、 正しい混合比 αが 算出されるための条件は、 混合領域に関係する前景の成分が等しい、 すなわち、 前景のオブジェク トが静止しているとき撮像された前景の画像オブジェク トにお いて、 前景のオブジェク トの動きの方向に対応する、 画像オブジェク トの境界に 位置する画素であって、 動き量 Vの 2倍の数の連続している画素の画素値が、 一定であることである。

以上のように、 カバードバックグラウンド領域に属する画素の混合比 αは、 式 (2 1 ) により算出され、 アンカバードバックグラウンド領域に属する画素の混 合比ひは、 式 （2 2) により算出される。

α = (C— Ν) / (Ρ- Ν) (2 1 )

a = (C-P)/(N-P) (2 2)

図 6 0は、 推定混合比処理部 4 0 1の構成を示すブロック図である。 フレーム メモリ 4 2 1は、 入力された画像をフレーム単位で記憶し、 入力画像として入力 されているフレームから 1つ後のフレームをフレームメモリ 4 2 2および混合比 演算部 4 2 3に供給する。

フレームメモリ 4 2 2は、 入力された画像をフレーム単位で記憶し、 フレーム メモリ 4 2 1から供給されているフレームから 1つ後のフレームを混合比演算部 4 2 3に供給する。

従って、 入力画像としてフレーム #n+lが混合比演算部 4 2 3に入力されてい るとき、 フレームメモリ 4 2 1は、 フレーム #n を混合比演算部 4 2 3に供給し、 フレームメモリ 4 2 2は、 フレーム - 1を混合比演算部 4 2 3に供給する。

混合比演算部 4 2 3は、 式 （2 1 ) に示す演算により、 フレーム #nの注目し ている画素の画素値 c、 注目している画素と空間的位置が対応する、 フレーム ttn+ 1の画素の画素値 N、 および注目している画素と空間的位置が対応する、 フ レーム #n- 1の画素の画素値 Pを基に、 注目している画素の推定混合比を算出し て、 算出した推定混合比を出力する。 例えば、 背景が静止しているとき、 混合比 演算部 4 2 3は、 フレーム ttnの注目している画素の画素値 注目している画 素とフレーム内の位置が同じ、 フレーム #n+lの画素の画素値 N、 および注目し ている画素とフレーム内の位置が同じ、 フレーム # の画素の画素ィ直 P を基に、 注目している画素の推定混合比を算出して、 算出した推定混合比を出力する。 このように、 推定混合比処理部 4 0 1は、 入力画像を基に、 推定混合比を算出 して、 混合比決定部 4 0 3に供給することができる。

なお、 推定混合比処理部 4 0 2は、 推定混合比処理部 4 0 1が式 （2 1 ) に示 す演算により、 注目している画素の推定混合比を算出するのに対して、 式 （2 2 ) に示す演算により、 注目している画素の推定混合比を算出する部分が異なる ことを除き、 推定混合比処理部 4 0 1と同様なので、 その説明は省略する。

図 6 1は、 推定混合比処理部 4 0 1により算出された推定混合比の例を示す図 である。 図 6 1に示す推定混合比は、 等速で動いているオブジェク トに対応する 前景の動き量 V が 1 1である場合の結果を、 1ラインに対して示すものである _c 推定混合比は、 混合領域において、 図 5 5に示すように、 ほぼ直線的に変化し ていることがわかる。

図 5 4に戻り、 混合比決定部 4 0 3は、 領域特定部 1 0 3から供給された、 混 合比 c の算出の対象となる画素が、 前景領域、 背景領域、 カバードバックグラウ ンド領域、 またはアンカバードバックグラウンド領域のいずれかに属するかを示 す領域情報を基に、 混合比ひを設定する。 混合比決定部 4 0 3は、 対象となる画 素が前景領域に属する場合、 0を混合比ひに設定し、 対象となる画素が背景領域 に属する場合、 1を混合比 αに設定し、 対象となる画素がカバードバックグラウ ンド領域に属する場合、 推定混合比処理部 4 0 1から供給された推定混合比を混 合比 αに設定し、 対象となる画素がアンカバードバックダラゥンド領域に属する 場合、 推定混合比処理部 4 0 2から供給された推定混合比を混合比 _αに設定する。 混合比決定部 4 0 3は、 領域情報を基に設定した混合比 αを出力する。

図 6 2は、 混合比算出部 1 0 4の他の構成を示すプロック図である。 選択部 4 4 1は、 領域特定部 1 0 3から供給された領域情報を基に、 カバードバックダラ ゥンド領域に属する画素および、 これに対応する前および後のフレームの画素を 推定混合比処理部 4 4 2に供給する。 選択部 4 4 1は、 領域特定部 1 0 3から供 給された領域情報を基に、 アンカバードバックグラウンド領域に属する画素およ び、 これに対応する前および後のフレームの画素を推定混合比処理部 4 4 3に供 給する。

推定混合比処理部 4 4 2は、 選択部 4 4 1から入力された画素値を基に、 式 ( 2 1 ) に示す演算により、 カバードバックグラウンド領域に属する、 注目して いる画素の推定混合比を算出して、 算出した推定混合比を選択部 4 4 4に供給す る。

推定混合比処理部 4 4 3は、 選択部 4 4 1から入力された画素値を基に、 式 ( 2 2 ) に示す演算により、 アンカバードバックグラウンド領域に属する、 注目 している画素の推定混合比を算出して、 算出した推定混合比を選択部 4 4 4に供 給する。

選択部 4 4 4は、 領域特定部 1 0 3から供給された領域情報を基に、 対象とな る画素が前景領域に属する場合、 0である推定混合比を選択して、 混合比 αに設 定し、 対象となる画素が背景領域に属する場合、 1である推定混合比を選択して、 混合比 αに設定する。 選択部 4 4 4は、 対象となる画素がカバードバックグラウ ンド領域に属する場合、 推定混合比処理部 4 4 2から供給された推定混合比を選 択して混合比ひに設定し、 対象となる画素がアンカバードバックグラウンド領域 に属する場合、 推定混合比処理部 4 4 3から供給された推定混合比を選択して混 合比 αに設定する。 選択部 4 4 4は、 領域情報を基に選択して設定した混合比 α を出力する。

このように、 図 6 2に示す他の構成を有する混合比算出部 1 0 4は、 画像の含 まれる画素毎に混合比ひを算出して、 算出した混合比ひを出力することができる _c 図 6 3のフローチヤ一トを参照して、 図 5 4に構成を示す混合比算出部 1 0 4 の混合比 αの算出の処理を説明する。 ステップ S 4 0 1において、 混合比算出部 1 0 4は、 領域特定部 1 0 3から供給された領域情報を取得する。 ステップ S 4 0 2において、 推定混合比処理部 4 0 1は、 カバードバックグラウンド領域に対 応するモデルにより推定混合比の演算の処理を実行し、 算出した推定混合比を混 合比決定部 4 0 3に供給する。 混合比推定の演算の処理の詳細は、 図 6 4のフロ 一チャートを参照して、 後述する。

ステップ S 4 0 3において、 推定混合比処理部 4 0 2は、 アンカバードバック グラウンド領域に対応するモデルにより推定混合比の演算の処理を実行し、 算出 した推定混合比を混合比決定部 4 0 3に供給する。

ステップ S 4 0 4において、 混合比算出部 1 0 4は、 フレーム全体について、 混合比ひを推定したか否かを判定し、 フレーム全体について、 混合比 αを推定し ていないと判定された場合、 ステップ S 4 0 2に戻り、 次の画素について混合比 aを推定する処理を実行する。

ステップ S 4 0 4において、 フレーム全体について、 混合比 αを推定したと判 定された場合、 ステップ S 4 0 5に進み、 混合比決定部 4 0 3は、 画素が、 前景 領域、 背景領域、 カバードバックグラウンド領域、 またはアンカバードバックグ ラウンド領域のいずれかに属するかを示す、 領域特定部 1 0 3から供給された領 域情報を基に、 混合比ひを設定する。 混合比決定部 4 0 3は、 対象となる画素が 前景領域に属する場合、 0を混合比 αに設定し、 対象となる画素が背景領域に属 する場合、 1を混合比ひ に設定し、 対象となる画素がカバードバックグラウンド 領域に属する場合、 推定混合比処理部 4 0 1から供給された推定混合比を混合比 αに設定し、 対象となる画素がアンカバードバックグラウンド領域に属する場合、 推定混合比処理部 4 0 2から供給された推定混合比を混合比 _αに設定し、 処理は 終了する。

このように、 混合比算出部 1 0 4は、 領域特定部 1 0 3から供給された領域情 報、 および入力画像を基に、 各画素に対応する特徴量である混合比 _αを算出する ことができる。

図 6 2に構成を示す混合比算出部 1 0 4の混合比 αの算出の処理は、 図 6 3の フローチャートで説明した処理と同様なので、 その説明は省略する。

次に、 図 6 3のステップ S 4 0 2に対応する、 カバードバックグラウンド領域 に対応するモデルによる混合比推定の処理を図 6 4のフローチヤ一トを参照して 説明する。

ステップ S 4 2 1において、 混合比演算部 4 2 3は、 フレームメモリ 4 2 1力 ら、 フレーム itnの注目画素の画素値 Cを取得する。

ステップ S 4 2 2において、 混合比演算部 4 2 3は、 フレームメモリ 4 2 2力、 ら、 注目画素に対応する、 フレーム #n- lの画素の画素値 Pを取得する。

ステップ S 4 2 3において、 混合比演算部 4 2 3は、 入力画像に含まれる注目 画素に対応する、 フレーム #n+ lの画素の画素値 Nを取得する。

ステップ S 4 2 4において、 混合比演算部 4 2 3は、 フレーム #nの注目画素 の画素値 フレーム ίίη- 1の画素の画素ィ直 P、 およびフレーム #n+ lの画素の画 素値 Nを基に、 推定混合比を演算する。

ステップ S 4 2 5において、 混合比演算部 4 2 3は、 フレーム全体について、 推定混合比を演算する処理を終了したか否かを判定し、 フレーム全体について、 推定混合比を演算する処理を終了していないと判定された場合、 ステップ S 4 2 1に戻り、 次の画素について推定混合比を算出する処理を繰り返す。

ステップ S 4 2 5において、 フレーム全体について、 推定混合比を演算する処 理を終了したと判定された場合、 処理は終了する。

このように、 推定混合比処理部 4 0 1は、 入力画像を基に、 推定混合比を演算 することができる。

図 6 3のステップ S 4 0 3におけるアンカバードバックグラウンド領域に対応 するモデルによる混合比推定の処理は、 アンカバードバックグラウンド領域のモ デルに対応する式を利用した、 図 6 4のフローチヤ一トに示す処理と同様なので、 その説明は省略する。

なお、 図 6 2に示す推定混合比処理部 4 4 2および推定混合比処理部 4 4 3は、 図 6 4に示すフローチヤ一トと同様の処理を実行して推定混合比を演算するので、 その説明は省略する。

また、 背景に対応するオブジェク トが静止しているとして説明したが、 背景領 域に対応する画像が動きを含んでいても上述した混合比 αを求める処理を適用す ることができる。 例えば、 背景領域に対応する画像が一様に動いているとき、 推 定混合比処理部 4 0 1は、 背景の動きに対応して画像全体をシフ トさせ、 背景に 対応するオブジェク トが静止している場合と同様に処理する。 また、 背景領域に 対応する画像が局所毎に異なる背景の動きを含んでいるとき、 推定混合比処理部 4 0 1は、 混合領域に属する画素に対応する画素として、 背景の動きに対応した 画素を選択して、 上述の処理を実行する。

また、 混合比算出部 1 0 4は、 全ての画素について、 カバードバックグラウン ド領域に対応するモデルによる混合比推定の処理のみを実行して、 算出された推 定混合比を混合比ひとして出力するようにしてもよい。 この場合において、 混合 比ひは、 カバードバックグラウンド領域に属する画素について、 背景の成分の割 合を示し、 アンカバードバックグラウンド領域に属する画素について、 前景の成 分の割合を示す。 アンカバードバックグラウンド領域に属する画素について、 こ のように算出された混合比ひと 1 との差分の絶対値を算出して、 算出した絶対値 を混合比 αに設定すれば、 分離部 9 1は、 アンカバードバックグラウンド領域に 属する画素について、 背景の成分の割合を示す混合比 αを求めることができる。 なお、 同様に、 混合比算出部 1 0 4は、 全ての画素について、 アンカバードバ ックグラウンド領域に対応するモデルによる混合比推定の処理のみを実行して、 算出された推定混合比を混合比 αとして出力するようにしてもよい。

次に、 混合比 αが直線的に変化する性質を利用して混合比 αを算出する混合比 算出部 1 0 4について説明する。

上述したように、 式 （1 1 ) および式 （ 1 2 ) は、 それぞれ 2つの変数を含む ので、 そのままでは混合比 αを求めることができない。

そこで、 シャツタ時間内において、 前景に対応するオブジェク トが等速で動く ことによる、 画素の位置の変化に対応して、 混合比 αが直線的に変化する性質を 利用して、 空間方向に、 混合比 αと前景の成分の和 f とを近似した式を立てる。 混合領域に属する画素の画素値および背景領域に属する画素の画素値の組の複数 を利用して、 混合比 ひ と前景の成分の和 f とを近似した式を解く。

混合比 αの変化を、 直線として近似すると、 混合比 αは、 式 （2 3 ) で表され る。

a =i l+p ( 2 3 )

式 （2 3 ) において、 iは、 注目している画素の位置を 0とした空間方向のィ ンデックスである。 1は、 混合比 a の直線の傾きである。 pは、 混合比 a の直 線の切片である共に、 注目している画素の混合比 a である。 式 （2 3 ) におい て、 インデックス iは、 既知であるが、 傾き 1および切片 pは、 未知である。 インデックス i、 傾き 1、 および切片 pの関係を図 6 5に示す。 尚、 図 6 5に おいては、 白丸が注目画素を、 黒丸が近傍画素をそれぞれ示している。

混合比 aを式 （2 3 ) のように近似することにより、 複数の画素に対して複数 の異なる混合比ひは、 2つの変数で表現される。 図 6 5に示す例において、 5つ の画素に対する 5つの混合比は、 2つの変数である傾き 1および切片 pにより 表現される。

図 6 6に示す平面で混合比 αを近似すると、 画像の水平方向および垂直方向の 2つの方向に対応する動き Vを考慮したとき、 式 （2 3 ) を平面に拡張して、 混合比 ひ は、 式 （2 4) で表される。 尚、 図 6 6においては、 白丸が注目画素 を示している。

=jm+kq+p ( 2 4 )

式 （2 4 ) において、 jは、 注目している画素の位置を 0とした水平方向のィ ンデックスであり、 kは、 垂直方向のインデックスである。 mは、 混合比 α の 面の水平方向の傾きであり、 qは、 混合比 α の面の垂直方向の傾きである。 ρ は、 混合比 ひ の面の切片である。

例えば、 図 5 6に示すフレーム ίίηにおいて、 C05乃至 C07について、 それぞ れ、 式 （2 5) 乃至式 （2 7) が成立する。

C05=a05*B05/v+f05 ( 2 5 )

C07=a07-B07/v+f07 ( 2 7 )

前景の成分が近傍で一致する、 すなわち、 F01乃至 F03が等しいとして、 F01 乃至 F03を Fcに置き換えると式 （2 8) が成立する。

f (χ) = (1-α (χ)) · Fc ( 2 8 )

式 （2 8 ) において、 xは、 空間方向の位置を表す。

( X ) を式 （2 4) で置き換えると、 式 （2 8) は、 式 （2 9 ) として表す ことができる。

f (x) = (l-(jm+kq+p)) · Fc

=j · ( Fc) +k · (- q · Fc) +((l-p) - Fc)

= js+kt+u ( 2 9)

式 （2 9 ) において、 （-m · Fc) 、 （- q . Fc) 、 および（ 1- p) · Fcは、 式 ( 3 0) 乃至式 （3 2) に示すように置き換えられている。

s=-m · Fc ( 3 0) t=-q， Fc ( 3 1 )

u=(l-p) · Fc ( 3 2)

式 （2 9 ) において、 jは、 注目している画素の位置を 0とした水平方向のィ ンデックスであり、 kは、 垂直方向のインデックスである。

このように、 前景に対応するオブジェク トがシャツタ時間内において等速に移 動し、 前景に対応する成分が近傍において一定であるという仮定が成立するので、 前景の成分の和は、 式 （2 9 ) で近似される。

なお、 混合比 αを直線で近似する場合、 前景の成分の和は、 式 （3 3 ) で表す ことができる。

f (x)=is+u ( 3 3)

式 （1 3 ) の混合比ひおよび前景成分の和を、 式 （2 4 ) および式 （2 9) を 利用して置き換えると、 画素値 Mは、 式 （3 4) で表される。

M=(jm+kq+p) - B+js+kt+u

=jB - m+kB · q+B · p+j · s+k · t+u (3 4)

式 （3 4) において、 未知の変数は、 混合比 αの面の水平方向の傾き m、 混合 比 α の面の垂直方向の傾き q、 混合比 α の面の切片 p、 s、 t、 および uの 6つ である。

注目している画素の近傍の画素に対応させて、 式 （3 4) に示す正規方程式に. 画素値 Mまたは画素値 Bを設定し、 画素値 Mまたは画素値 Bが設定された複数 の正規方程式を最小自乗法で解いて、 混合比 α を算出する。

例えば、 注目している画素の水平方向のインデックス jを 0とし、 垂直方向 のインデックス k を 0とし、 注目している画素の近傍の 3 X 3の画素について. 式 （3 4 ) に示す正規方程式に画素値 Mまたは画素値 Bを設定すると、 式 （3 5) 乃至式 （4 3) を得る。

Μ-ぃ ,= (-1) · B—い i . m+(-l) · Β—, _-t · q+B—! ^ · p+(_l) · s+ (- 1) · t+u

( 3 5 ) ο,.^ίΟ) · Bo,,! · m+(-l) · Bo,.! · q+B。 _L ■ p+ (0) · s+(- 1) - t+u ( 3 6 ) (+1) - B 1,一 1 m+(-l) · B₊ q+B +1, -1 p+(+l) · s+(-l) · t+u

(3 7)

M_₁, o=(-l) · B · m+(0) · B__1>0 · · p+(- 1) · s+(0) · t+u (3 8)

M₀,₀=(0) · B , · m+(0) · B , · q+B , · p+ (0) · s+(0) · t+u (3 9) M₊₁, =( + l) · B , · m+(0) ■ B₊₁,₀ · q+B_+1>0 · p+(+l) · s+(0) · t+u (40) M._li+1=(-1) · B._l · m+(+l) · B__li+1 · q+B— ■ p+(- 1) · s+(+l) · t+u

(4 1)

M_0>+1=(0) · B ₊₁ · m+(+l) · B ,₊₁ · q+B ,₊₁ · p+(0) · s+(+l) · t+u (4 2) M+_li+1=(+l) · B₊₁,₊₁. m+(+l) · B₊₁,₊₁ . q+B₊₁,₊₁ · p+(+l) . s+(+l) . t+u

(4 3) 注目している画素の水平方向のインデックス jが 0であり、 垂直方向のイン デックス k が 0であるので、 注目している画素の混合比 α は、 式 （24) より、 j=0および k=0のときの値、 すなわち、 切片 pに等しい。

従って、 式 （3 5) 乃至式 （4 3) の 9つの式を基に、 最小自乗法により、 水 平方向の傾き m、 垂直方向の傾き q、 切片 p s t、 および uのそれぞれの値を 算出し、 切片 pを混合比 α として出力すればよい。

次に、 最小自乗法を適用して混合比 αを算出するより具体的な手順を説明する _c ィンデックス i およびィンデックス k を 1つのィンデックス X で表現すると、 インデックス i、 インデックス およびインデックス Xの関係は、 式 （44) で表される。

x=(j + l) · 3+(k+l) (44)

水平方向の傾き tn、 垂直方向の傾き q、 切片 p s t、 および uをそれぞれ変 数 wO, wl,w2,w3 w4、 および W5と表現し、 jB, kB B, j k、 および 1をそれぞれ a0 al a2, a3 a4、 および a5と表現する。 誤差 exを考慮すると、 式 （3 5) 乃 至式 （4 3) は、 式 （4 5) に書き換えることができる。

式 （45) において、 xは、 0乃至 8の整数のいずれかの値である。

式 （45) から、 式 （46) を導くことができる。

ここで、 最小自乗法を適用するため、 誤差の自乗和 Eを式 （4 7) に示すよ うにに定義する。

E=∑ex² (47)

X = 0 誤差が最小になるためには、 誤差の自乗和 Eに対する、 変数 Wvの偏微分が 0 になればよレ、。 ここで、 Vは、 0乃至 5の整数のいずれかの値である。 従って、 式 （48) を満たすように wyを求める。

ΘΕ_ d€x

= 2-∑ex

dWv x = 0 0W\

= 2>∑ex-av = o (48)

x^o

式 （48) に式 （46) を代入すると、 式 （49) を得る。

∑(av∑ay Wy) =∑avMx (49)

x=0 y =0 x= 0 式 （49) の vに o乃至 5の整数のいずれか lつを代入して得られる 6つの 式に、 例えば、 掃き出し法 （Gauss-Jordanの消去法） などを適用して、 wyを算 出する。 上述したように、 w0は水平方向の傾き mであり、 wlは垂直方向の傾き qであり、 w2 は切片 pであり、 w3は sであり、 w4は t であり、 w5は uである _c 以上のように、 画素値 Mおよび画素値 Bを設定した式に、 最小自乗法を適用 することにより、 水平方向の傾き m、 垂直方向の傾き q、 切片 p、 s、 t、 および uを求めることができる。

式 （35) 乃至式 （43) に対応する説明において、 混合領域に含まれる画素 の画素値を Mとし、 背景領域に含まれる画素の画素値を Bとして説明したが、 注目している画素が、 カバードバックグラウンド領域に含まれる場合、 またはァ ンカバードバックグラウンド領域に含まれる場合のそれぞれに対して、 正規方程 式を立てる必要がある。

例えば、 図 5 6に示す、 フレーム ίίηのカバードバックグラウンド領域に含ま れる画素の混合比 _α を求める場合、 フレーム #ηの画素の C04乃至 C08、 および フレーム #n-lの画素の画素値 P04乃至 P08力 正規方程式に設定される。

図 5 7に示す、 フレーム ίίηのアンカバードバックグラウンド領域に含まれる 画素の混合比 α を求める場合、 フレーム #ηの画素の C28乃至 C32、 およびフレ ーム #n+lの画素の画素値 N28乃至 N321) 正規方程式に設定される。

また、 例えば、 図 6 7に示す、 カバードバックグラウンド領域に含まれる画素 の混合比 αを算出するとき、 以下の式 （5 0) 乃至式 （5 8) が立てられる。 混 合比 αを算出する画素の画素値は、 Mc5である。 尚、 図 6 7において、 白丸は、 背景と見なす画素を示し、 黒丸は、 混合領域の画素と見なす画素を、 それぞれ示 している。

Mcl=(-1) - Bel - m+(-l) · Bel - q+Bcl · p+(-l) - s+ (- 1) · t+u (50) Mc2=(0) · Bc2 · m+(- 1) · Bc2 · q+Bc2 · p+(0) · s+(_l) · t+u (5 1 ) Mc3=(+1) · Bc3 - m+(-l) · Bc3 - q+Bc3 · p+(+l) · s+ (- 1) - t+u ( 5 2) Mc4= (- 1) · Bc4 · m+(0) - Bc4 · q+Bc4 - p+ (- 1) - s+(0) - t+u (5 3) Mc5=(0) - Bc5 · m+(0) · Bc5 · q+Bc5 · p+(0) · s+(0) - t+u (5 4) Mc6=(+1) · Bc6 · m+(0) · Bc6 - q+Bc6 · p+(+l) · s+(0) - t+u (5 5) Mc7= (- 1) · Bc7 · m+(+l) · Bc7 · q+Bc7 · p+(- 1) · s+(+l) · t+u (5 6) Mc8=(0) - Bc8 · m+(+l) · Bc8 · q+Bc8 - p+ (0) - s+(+l) - t+u (5 7)

Mc9=(+1) · Bc9 · m+(+l) · Bc9 - q+Bc9 · p+(+l) · s+(+l) - t+u (5 8) フレーム #_ηのカバードバックグラウンド領域に含まれる画素の混合比 α を算 出するとき、 式 （5 0) 乃至式 （5 8) において、 フレーム ίίηの画素に対応す る、 フレーム #η- 1 の画素の背景領域の画素の画素値 Bel 乃至 Bc9が使用される _c 図 6 7に示す、 アンカバードバックグラウンド領域に含まれる画素の混合比 α を算出するとき、 以下の式 （5 9) 乃至式 （6 7) が立てられる。 混合比ひを算 出する画素の画素値は、 Mu5である。

Mul=(-1) · Bui · m+(-l) - Bui · q+Bul - p+(-l) - s+(- 1) - t+u ( 5 9) Mu2=(0) · Bu2 - m+(-l) · Bu2 · q+Bu2 - p+(0) - s+(- 1) - t+u (6 0) u3=(+1) · Bu3 · m+(-l) · Bu3 - q+Bu3 · p+(+l) · s+ (- 1) - t+u (6 1 ) Mu4=(-1) - Bu4 · m+(0) - Bu4 - q+Bu4 - p+(- 1) · s+(0) - t+u (6 2)

Mu5= (0) · Bu5 · m+ (0) · Bu5 - q+Bu5 · p+ (0) · s+ (0) · t+u (6 3) Mu6=(+1) - Bu6 · m+(0) - Bu6 · q+Bu6 - p+(+l) - s+(0) - t+u (6 4) Mu7= (- 1) - Bu7 · m+(+l) - Bu7 - q+Bu7 - p+(- 1) · s+(+l) - t+u (6 5) Mu8=(0) · Bu8 · m+(+l) - Bu8 · q+Bu8 - p+(0) · s+(+l) - t+u (6 6) Mu9=(+1) - Bu9 - m+(+l) - Bu9 - q+Bu9 - p+(+l) - s+(+l) - t+u (6 7) フレーム #nのアンカバードバックグラウンド領域に含まれる画素の混合比 α を算出するとき、 式 （5 9) 乃至式 （6 7) において、 フレーム #ηの画素に対 応する、 フレーム ttn+1の画素の背景領域の画素の画素値 Bui乃至 Bu9が使用さ れる。

図 6 8は、 推定混合比処理部 4 0 1の構成を示すブロック図である。 推定混合 比処理部 4 0 1に入力された画像は、 遅延回路 5 0 1および足し込み部 5 0 2に 供給される。

遅延回路 5 0 1は、 入力画像を 1フレーム遅延させ、 足し込み部 5 0 2に供給 する。 足し込み部 5 0 2に、 入力画像としてフレーム ί!η が入力されているとき、 遅延回路 5 0 1は、 フレーム #η-1を足し込み部 5 0 2に供給する。

足し込み部 5 0 2は、 混合比ひを算出する画素の近傍の画素の画素値、 および フ I ^一ム #η- 1の画素値を、 正規方程式に設定する。 例えば、 足し込み部 5 0 2 は、 式 （5 0) 乃至式 （5 8) に基づいて、 正規方程式に画素値 Mcl乃至 Mc9 および画素値 Bel乃至 Bc9を設定する。 足し込み部 5 0 2は、 画素値が設定さ れた正規方程式を演算部 5 0 3に供給する。

演算部 5 0 3は、 足し込み部 5 0 2から供給された正規方程式を掃き出し法な どにより解いて推定混合比を求め、 求められた推定混合比を出力する。 このように、 推定混合比処理部 4 0 1は、 入力画像を基に、 推定混合比を算出 して、 混合比決定部 4 0 3に供給することができる。

なお、 推定混合比処理部 4 0 2は、 推定混合比処理部 4 0 1と同様の構成を有 するので、 その説明は省略する。

図 6 9は、 推定混合比処理部 4 0 1により算出された推定混合比の例を示す図 である。 図 6 9に示す推定混合比は、 等速で動いているオブジェク トに対応する 前景の動き Vが 1 1であり、 7 X 7画素のブロックを単位として方程式を生成 して算出された結果を、 1ラインに対して示すものである。

推定混合比は、 混合領域において、 図 6 8に示すように、 ほぼ直線的に変化し ていることがわかる。

次に、 図 6 8に構成を示す推定混合比処理部 4 0 1による、 カバードバックグ ラウンド領域に対応するモデルによる混合比推定の処理を図 7 0のフローチヤ一 トを参照して説明する。 '

ステップ S 5 2 1において、 足し込み部 5 0 2は、 入力された画像に含まれる 画素値、 および遅延回路 5 0 1から供給される画像に含まれる画素値を、 カバー ドバックグラウンド領域のモデルに対応する正規方程式に設定する。

ステップ S 5 2 2において、 推定混合比処理部 4 0 1は、 対象となる画素につ いての設定が終了したか否かを判定し、 対象となる画素についての設定が終了し ていないと判定された場合、 ステップ S 5 2 1に戻り、 正規方程式への画素値の 設定の処理を繰り返す。

ステップ S 5 2 2において、 対象となる画素についての画素値の設定が終了し たと判定された場合、 ステップ S 5 2 3に進み、 演算部 1 7 3は、 画素値が設定 された正規方程式を基に、 推定混合比を演算して、 求められた推定混合比を出力 する。

このように、 図 6 8に構成を示す推定混合比処理部 4 0 1は、 入力画像を基に、 推定混合比を演算することができる。

アンカバードバックグラウンド領域に対応するモデルによる混合比推定の処理 は、 アンカバードバックグラウンド領域のモデルに対応する正規方程式を利用し た、 図 7 0のフローチャートに示す処理と同様なので、 その説明は省略する。 なお、 背景に対応するオブジェク トが静止しているとして説明したが、 背景領 域に対応する画像が動きを含んでいても上述した混合比を求める処理を適用する ことができる。 例えば、 背景領域に対応する画像が一様に動いているとき、 推定 混合比処理部 4 0 1は、 この動きに対応して画像全体をシフ トさせ、 背景に対応 するオブジェク トが静止している場合と同様に処理する。 また、 背景領域に対応 する画像が局所毎に異なる動きを含んでいるとき、 推定混合比処理部 4 0 1は、 混合領域に属する画素に対応する画素として、 動きに対応した画素を選択して、 上述の処理を実行する。

このように、 混合比算出部 1 0 2は、 領域特定部 1 0 1から供給された領域情 報、 および入力画像を基に、 各画素に対応する特徴量である混合比 aを算出する ことができる。

混合比 αを利用することにより、 動いているオブジェク トに対応する画像に含 まれる動きボケの情報を残したままで、 画素値に含まれる前景の成分と背景の成 分とを分離することが可能になる。

また、 混合比ひに基づいて画像を合成すれば、 実世界を実際に撮影し直したよ うな動いているオブジェク トのスピードに合わせた正しい動きボケを含む画像を 作ることが可能になる。

次に、 前景背景分離部 1 0 5について説明する。 図 7 1は、 前景背景分離部 1 0 5の構成の一例を示すプロック図である。 前景背景分離部 1 0 5に供給された 入力画像は、 分離部 6 0 1、 スィッチ 6 0 2、 およびスィツチ 6 0 4に供給され る。 カバードバックグラウンド領域を示す情報、 およびアンカバードバックダラ ゥンド領域を示す、 領域特定部 1 0 3から供給された領域情報は、 分離部 6 0 1 に供給される。 前景領域を示す領域情報は、 スィッチ 6 0 2に供給される。 背景 領域を示す領域情報は、 スィッチ 6 0 4に供給される。

混合比算出部 1 0 4から供給された混合比 αは、 分離部 6 0 1に供給される。 分離部 6 0 1は、 カバードバックグラウンド領域を示す領域情報、 アンカバー ドバックグラウンド領域を示す領域情報、 および混合比 αを基に、 入力画像から 前景の成分を分離して、 分離した前景の成分を合成部 6 0 3に供給するとともに、 入力画像から背景の成分を分離して、 分離した背景の成分を合成部 6 0 5に供給 する。

スィッチ 6 0 2は、 前景領域を示す領域情報を基に、 前景に対応する画素が入 力されたとき、 閉じられ、 入力画像に含まれる前景に対応する画素のみを合成部 6 0 3に供給する。

スィッチ 6 0 4は、 背景領域を示す領域情報を基に、 背景に対応する画素が入 力されたとき、 閉じられ、 入力画像に含まれる背景に対応する画素のみを合成部 6 0 5に供給する。

合成部 6 0 3は、 分離部 6 0 1から供給された前景に対応する成分、 スィッチ 6 0 2から供給された前景に対応する画素を基に、 前景成分画像を合成し、 合成 した前景成分画像を出力する。 前景領域と混合領域とは重複しないので、 合成部 6 0 3は、 例えば、 前景に対応する成分と、 前景に対応する画素とに論理和の演 算を適用して、 前景成分画像を合成する。

合成部 6 0 3は、 前景成分画像の合成の処理の最初に実行される初期化の処理 において、 内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、 前景成分画像の合成の処理において、 前景成分画像を格納 （上書き） する。 従つ て、 合成部 6 0 3が出力する前景成分画像の内、 背景領域に対応する画素には、 画素値として 0が格納されている。

合成部 6 0 5は、 分離部 6 0 1から供給された背景に対応する成分、 スィ ッチ 6 0 4から供給された背景に対応する画素を基に、 背景成分画像を合成して、 合 成した背景成分画像を出力する。 背景領域と混合領域とは重複しないので、 合成 部 6 0 5は、 例えば、 背景に対応する成分と、 背景に対応する画素とに論理和の 演算を適用して、 背景成分画像を合成する。

合成部 6 0 5は、 背景成分画像の合成の処理の最初に実行される初期化の処理 において、 内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、 背景成分画像の合成の処理において、 背景成分画像を格納 （上書き） する。 従つ て、 合成部 6 0 5が出力する背景成分画像の内、 前景領域に対応する画素には、 画素値として 0が格納されている。

図 7 2 Aと図 7 2 Bは、 前景背景分離部 1 0 5に入力される入力画像、 並びに 前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像を示す図 である。

図 7 2 Aは、 表示される画像の模式図であり、 図 7 2 Bは、 図 7 2 Aに対応す る前景領域に属する画素、 背景領域に属する画素、 および混合領域に属する画素 を含む 1ラインの画素を時間方向に展開したモデル図を示す。

図 7 2 Aおよび図 7 2 Bに示すように、 前景背景分離部 1 0 5から出力される 背景成分画像は、 背景領域に属する画素、 および混合領域の画素に含まれる背景 の成分から構成される。

図 7 2 Aおよび図 7 2 Bに示すように、 前景背景分離部 1 0 5から出力される 前景成分画像は、 前景領域に属する画素、 および混合領域の画素に含まれる前景 の成分から構成される。

混合領域の画素の画素値は、 前景背景分離部 1 0 5により、 背景の成分と、 前 景の成分とに分離される。 分離された背景の成分は、 背景領域に属する画素と共 に、 背景成分画像を構成する。 分離された前景の成分は、 前景領域に属する画素 と共に、 前景成分画像を構成する。

このように、 前景成分画像は、 背景領域に対応する画素の画素値が 0とされ、 前景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設 定される。 同様に、 背景成分画像は、 前景領域に対応する画素の画素値が 0とさ れ、 背景領域に対応する画素および混合領域に対応する画素に意味のある画素値 が設定される。

次に、 分離部 6 0 1が実行する、 混合領域に属する画素から前景の成分、 およ び背景の成分を分離する処理について説明する。 図 7 3は、 図中の左から右に移動するオブジェク トに対応する前景を含む、 2 つのフレームの前景の成分および背景の成分を示す画像のモデルである。 図 7 3 に示す画像のモデルにおいて、 前景の動き量 Vは 4であり、 仮想分割数は、 4 とされている。

フレーム ttnにおいて、 最も左の画素、 および左から 1 4番目乃至 1 8番目の 画素は、 背景の成分のみから成り、 背景領域に属する。 フレーム ίίηにおいて、 左から 2番目乃至 4番目の画素は、 背景の成分および前景の成分を含み、 アンカ バードバックグラウンド領域に属する。 フレーム #ηにおいて、 左から 1 1番目 乃至 1 3番目の画素は、 背景の成分および前景の成分を含み、 カバードバックグ ラウンド領域に属する。 フレーム ttnにおいて、 左から 5番目乃至 1 0番目の画 素は、 前景の成分のみから成り、 前景領域に属する。

フレーム #n+ lにおいて、 左から 1番目乃至 5番目の画素、 および左から 1 8 番目の画素は、 背景の成分のみから成り、 背景領域に属する。 フレーム #n+lに おいて、 左から 6番目乃至 8番目の画素は、 背景の成分および前景の成分を含み、 アンカバードバックグラウンド領域に属する。 フレーム #n+ lにおいて、 左から 1 5番目乃至 1 7番目の画素は、 背景の成分および前景の成分を含み、 カバード バックグラウンド領域に属する。 フレーム #n+ lにおいて、 左から 9番目乃至 1 4番目の画素は、 前景の成分のみから成り、 前景領域に属する。

図 7 4は、 カバードバックグラウンド領域に属する画素から前景の成分を分離 する処理を説明する図である。 図 7 4において、 ひ 1乃至ひ 1 8は、 フレーム #nにおける画素のぞれぞれに対応する混合比である。 図 7 4において、 左から 1 5番目乃至 1 7番目の画素は、 カバードバックグラウンド領域に属する。

フレーム fin の左から 1 5番目の画素の画素値 C 15 は、 式 （6 8 ) で表される _c C15=B15/v+F09/v+F08/v+F07/v

= α 15 - B15+F09/v+F08/v+F07/v

= α 15 - P 15+F09/v+F08/v+F07/v ( 6 8 ) ここで、 α 15は、 フレーム ίίηの左から 1 5番目の画素の混合比である。 P 15 は、 フレーム ttn-1の左から 1 5番目の画素の画素値である。

式 （6 8) を基に、 フレーム #ηの左から 1 5番目の画素の前景の成分の和 Π5は、 式 （6 9) で表される。

fl5=F09/v+F08/v+F07/v

=C15-a 15-P15 (6 9) 同様に、 フレーム ίίηの左から 1 6番目の画素の前景の成分の和 Π6は、 式 ( 7 0) で表され、 フレーム の左から 1 7番目の画素の前景の成分の和 Π7 は、 式 （7 1 ) で表される。

fl6=C16-a 16-P16 ( 70)

fl7=C17-a 17-P17 ( 7 1 )

このように、 カバードバックグラウンド領域に属する画素の画素値 Cに含ま れる前景の成分 fcは、 式 （7 2) で計算される。

fc=C-a ·Ρ ( 7 2)

Ρは、 1つ前のフレームの、 対応する画素の画素値である。

図 7 5は、 アンカバ一ドバックグラウンド領域に属する画素から前景の成分を 分離する処理を説明する図である。 図 7 5において、 ひ 1乃至0； 1 8は、 フレー ム ίίηにおける画素のぞれぞれに対応する混合比である。 図 7 5において、 左か ら 2番目乃至 4番目の画素は、 ァンカバードバックグラウンド領域に属する。 フレーム #ηの左から 2番目の画素の画素値 C02は、 式 （7 3) で表される。

C02=B02/v+B02/v+B02/v+F01/v

= a2-B02+F01/v

= a2-N02+F01/v (7 3)

ここで、 a 2は、 フレーム ttnの左から 2番目の画素の混合比である。 N02は、 フレーム #n+lの左から 2番目の画素の画素値である。

式 （7 3) を基に、 フレーム ίίηの左から 2番目の画素の前景の成分の和 f02 は、 式 （7 4) で表される。

f02=F01/v =C02 - α2·Ν02 (7 4) 同様に、 フレーム ttnの左から 3番目の画素の前景の成分の和 f03は、 式 （7 5) で表され、 フレーム #nの左から 4番目の画素の前景の成分の和 f04は、 式 (7 6) で表される。

f03=C03 - α3·Ν03 ( 7 5)

f04=C04-a4-N04 (7 6)

このように、 アンカバードバックグラウンド領域に属する画素の画素値 Cに 含まれる前景の成分 fuは、 式 （7 7) で計算される。

fu=C-a ·Ν (7 7)

Νは、 1つ後のフレームの、 対応する画素の画素値である。

このように、 分離部 6 0 1は、 領域情報に含まれる、 カバードバックグラウン ド領域を示す情報、 およびアンカバードバックグラウンド領域を示す情報、 並び に画素毎の混合比ひを基に、 混合領域に属する画素から前景の成分、 および背景 の成分を分離することができる。

図 7 6は、 以上で説明した処理を実行する分離部 6 0 1の構成の一例を示すプ ロック図である。 分離部 60 1に入力された画像は、 フレームメモリ 6 2 1に供 給され、 混合比算出部 1 04から供給されたカバードバックグラウンド領域およ びアンカバードバックグラウンド領域を示す領域情報、 並びに混合比ひは、 分離 処理ブロック 6 2 2に入力される。

フレームメモリ 6 2 1は、 入力された画像をフレーム単位で記憶する。 フレー ムメモリ 6 2 1は、 処理の対象がフレーム tinであるとき、 フレーム #nの 1つ前 のフレームであるフレーム ίίη-1、 フレーム #η、 およびフレーム ί!ηの 1つ後のフ レームであるフレーム #η+1を記憶する。

フレームメモリ 6 2 1は、 フレーム #η-1、 フレーム ίίη、 およびフレーム #η+1 の対応する画素を分離処理ブロック 6 2 2に供給する。

分離処理ブロック 6 2 2は、 カバードバックグラウンド領域およびアンカバー ドバックグラウンド領域を示す領域情報、 並びに混合比 aを基に、 フレームメモ リ 6 2 1から供給されたフレーム #n- l、 フレーム #n、 およびフレーム #n+ l の対 応する画素の画素値に図 7 4および図 7 5を参照して説明した演算を適用して、 フレーム #nの混合領域に属する画素から前景の成分および背景の成分を分離し て、 フレームメモリ 6 2 3に供給する。

分離処理ブロック 6 2 2は、 アンカバード領域処理部 6 3 1、 カバード領域処 理部 6 3 2、 合成部 6 3 3、 および合成部 6 3 4で構成されている。

アンカバード領域処理部 6 3 1の乗算器 6 4 1は、 混合比 αを、 フレームメモ リ 6 2 1から供給されたフレーム #η+ 1の画素の画素値に乗じて、 スィツチ 6 4 2に出力する。 スィッチ 6 4 2は、 フレームメモリ 6 2 1から供給されたフレー ム #ηの画素 （フレーム #η+ 1の画素に対応する） がアンカバードバックグラウン ド領域であるとき、 閉じられ、 乗算器 6 4 1から供給された混合比 ひ を乗じた 画素値を演算器 6 4 3および合成部 6 3 4に供給する。 スィツチ 6 4 2から出力 されるフレーム ttn+ 1の画素の画素値に混合比 oc を乗じた値は、 フレーム の 対応する画素の画素値の背景の成分に等しい。

演算器 6 4 3は、 フレームメモリ 6 2 1から供給されたフレーム ttnの画素の 画素値から、 スィッチ 6 4 2から供給された背景の成分を減じて、 前景の成分を 求める。 演算器 6 4 3は、 アンカバードバックグラウンド領域に属する、 フレー ム #nの画素の前景の成分を合成部 6 3 3に供給する。

カバード領域処理部 6 3 2の乗算器 6 5 1は、 混合比 αを、 フレームメモリ 6 2 1から供給されたフレーム #η- 1の画素の画素値に乗じて、 スィッチ 6 5 2に 出力する。 スィッチ 6 5 2は、 フレームメモリ 6 2 1から供給されたフレーム #ηの画素 （フレーム #η- 1 の画素に対応する） がカバードバックグラウンド領域 であるとき、 閉じられ、 乗算器 6 5 1から供給された混合比 α を乗じた画素値 を演算器 6 5 3および合成部 6 3 4に供給する。 スィッチ 6 5 2から出力される フレーム #η- 1の画素の画素値に混合比 α を乗じた値は、 フレーム の対応す る画素の画素値の背景の成分に等しい。

演算器 6 5 3は、 フレームメモリ 6 2 1から供給されたフレーム #ηの画素の 画素値から、 スィッチ 6 5 2から供給された背景の成分を減じて、 前景の成分を 求める。 演算器 6 5 3は、 カバードバックグラウンド領域に属する、 フレーム #nの画素の前景の成分を合成部 6 3 3に供給する。

合成部 6 3 3は、 フレーム の、 演算器 6 4 3から供給された、 アンカバー ドバックグラウンド領域に属する画素の前景の成分、 および演算器 6 5 3から供 給された、 カバードバックグラウンド領域に属する画素の前景の成分を合成して、 フレームメモリ 6 2 3に供給する。

合成部 6 3 4は、 フレームでの、 スィッチ 6 4 2から供給された、 アンカバ 一ドバックグラウンド領域に属する画素の背景の成分、 およびスィッチ 6 5 2か ら供給された、 カバードバックグラウンド領域に属する画素の背景の成分を合成 して、 フレームメモリ 6 2 3に供給する。

フレームメモリ 6 2 3は、 分離処理ブロック 6 2 2から供給された、 フレーム ttnの混合領域の画素の前景の成分と、 背景の成分とをそれぞれに記憶する。

フレームメモリ 6 2 3は、 記憶しているフレーム #nの混合領域の画素の前景 の成分、 および記憶しているフレーム #nの混合領域の画素の背景の成分を出力 する。

特徴量である混合比 αを利用することにより、 画素値に含まれる前景の成分と 背景の成分とを完全に分離することが可能になる。

合成部 6 0 3は、 分離部 6 0 1から出力された、 フレーム tinの混合領域の画 素の前景の成分と、 前景領域に属する画素とを合成して前景成分画像を生成する _c 合成部 6 0 5は、 分離部 6 0 1から出力された、 フレーム #nの混合領域の画素 の背景の成分と、 背景領域に属する画素とを合成して背景成分画像を生成する。 図 7 7 A , 図 7 7 Bは、 図 7 3のフレーム ίίηに対応する、 前景成分画像の例 と、 背景成分画像の例を示す図である。

図 7 7 Αは、 図 7 3のフレーム ttnに対応する、 前景成分画像の例を示す。 最 も左の画素、 および左から 1 4番目の画素は、 前景と背景が分離される前におい て、 背景の成分のみから成っていたので、 画素値が 0とされる。 左から 2番目乃至 4番目の画素は、 前景と背景とが分離される前において、 ァ ンカバードバックグラウンド領域に属し、 背景の成分が 0とされ、 前景の成分が そのまま残されている。 左から 1 1番目乃至 1 3番目の画素は、 前景と背景とが 分離される前において、 カバードバックグラウンド領域に属し、 背景の成分が 0 とされ、 前景の成分がそのまま残されている。 左から 5番目乃至 1 0番目の画素 は、 前景の成分のみから成るので、 そのまま残される。

図 7 7 Bは、 図 7 3のフレーム #nに対応する、 背景成分画像の例を示す。 最 も左の画素、 および左から 1 4番目の画素は、 前景と背景とが分離される前にお いて、 背景の成分のみから成っていたので、 そのまま残される。

左から 2番目乃至 4番目の画素は、 前景と背景とが分離される前において、 ァ ンカバードバックグラウンド領域に属し、 前景の成分が 0とされ、 背景の成分が そのまま残されている。 左から 1 1番目乃至 1 3番目の画素は、 前景と背景とが 分離される前において、 カバードバックグラウンド領域に属し、 前景の成分が 0 とされ、 背景の成分がそのまま残されている。 左から 5番目乃至 1 0番目の画素 は、 前景と背景とが分離される前において、 前景の成分のみから成っていたので、 画素値が 0とされる。

次に、 図 7 8に示すフローチャートを参照して、 前景背景分離部 1 0 5による 前景と背景との分離の処理を説明する。 ステップ S 6 0 1において、 分離部 6 0 1のフレームメモリ 6 2 1は、 入力画像を取得し、 前景と背景との分離の対象と なるフレーム #nを、 その前のフレーム ttn- 1およびその後のフレーム #n+ l と共に edfeする。

ステップ S 6 0 2において、 分離部 6 0 1の分離処理プロック 6 2 2は、 混合 比算出部 1 0 4から供給された領域情報を取得する。 ステップ S 6 0 3において、 分離部 6 0 1の分離処理プロック 6 2 2は、 混合比算出部 1 0 4から供給された 混合比ひを取得する。

ステップ S 6 0 4において、 アンカバード領域処理部 6 3 1は、 領域情報およ び混合比 αを基に、 フレームメモリ 6 2 1から供給された、 アンカバードバック グラウンド領域に属する画素の画素値から、 背景の成分を抽出する。

ステップ S 6 0 5において、 アンカバード領域処理部 6 3 1は、 領域情報およ び混合比 αを基に、 フレームメモリ 6 2 1から供給された、 アンカバードバック グラウンド領域に属する画素の画素値から、 前景の成分を抽出する。

ステップ S 6 0 6において、 カバード領域処理部 6 3 2は、 領域情報および混 合比ひを基に、 フレームメモリ 6 2 1から供給された、 カバードバックグラウン ド領域に属する画素の画素値から、 背景の成分を抽出する。

ステップ S 6 0 7において、 カバード領域処理部 6 3 2は、 領域情報および混 合比 αを基に、 フレームメモリ 6 2 1から供給された、 カバードバックグラウン ド領域に属する画素の画素値から、 前景の成分を抽出する。

ステップ S 6 0 8において、 合成部 6 3 3は、 ステップ S 6 0 5の処理で抽出 されたアンカバードバックグラウンド領域に属する画素の前景の成分と、 ステツ プ S 6 0 7の処理で抽出されたカバードバックグラウンド領域に属する画素の前 景の成分とを合成する。 合成された前景の成分は、 合成部 6 0 3に供給される。 更に、 合成部 6 0 3は、 スィッチ 6 0 2を介して供給された前景領域に属する画 素と、 分離部 6 0 1から供給された前景の成分とを合成して、 前景成分画像を生 成する。

ステップ S 6 0 9において、 合成部 6 3 4は、 ステップ S 6 0 4の処理で抽出 されたアンカバードバックグラウンド領域に属する画素の背景の成分と、 ステツ プ S 6 0 6の処理で抽出されたカバードバックグラウンド領域に属する画素の背 景の成分とを合成する。 合成された背景の成分は、 合成部 6 0 5に供給される。 更に、 合成部 6 0 5は、 スィッチ 6 0 4を介して供給された背景領域に属する画 素と、 分離部 6 0 1から供給された背景の成分とを合成して、 背景成分画像を生 成する。

ステップ S 6 1 0において、 合成部 6 0 3は、 前景成分画像を出力する。 ステ ップ S 6 1 1において、 合成部 6 0 5は、 背景成分画像を出力し、 処理は終了す る。 このように、 前景背景分離部 1 0 5は、 領域情報および混合比 αを基に、 入力 画像から前景の成分と、 背景の成分とを分離し、 前景の成分のみから成る前景成 分画像、 および背景の成分のみから成る背景成分画像を出力することができる。 次に、 前景成分画像の動きボケの量の調整について説明する。

図 7 9は、 動きボケ調整部 1 0 6の構成の一例を示すブロック図である。 動き 検出部 1 0 2から供給された動きべク トルとその位置情報は、 処理単位決定部 8 0 1、 モデル化部 8 0 2、 および演算部 8 0 5に供給される。 領域特定部 1 0 3 から供給された領域情報は、 処理単位決定部 8 0 1に供給される。 前景背景分離 部 1 0 5から供給された前景成分画像は、 足し込み部 8 0 4に供給される。

処理単位決定部 8 0 1は、 動きべク トルとその位置情報、 および領域情報を基 に、 処理単位を生成し、 生成した処理単位をモデル化部 8 0 2および足し込み部 8 0 4に供給する。

処理単位決定部 8 0 1が生成する処理単位 Αは、 図 8 0に例を示すように、 前 景成分画像のカバードバックグラウンド領域に対応する画素から始まり、 アンカ バードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素、 またはアンカバードバックグラウンド領域に対応する画素から始まり、 カバード バックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素を示す。 処理単位 Aは、 例えば、 左上点 （処理単位で指定される画素であって、 画像上で 最も左または最も上に位置する画素の位置） および右下点の 2つのデータから成 る。

モデル化部 8 0 2は、 動きベク トルおよび入力された処理単位 Aを基に、 モデ ル化を実行する。 より具体的には、 例えば、 モデル化部 8 0 2は、 処理単位 Aに 含まれる画素の数、 画素値の時間方向の仮想分割数、 および画素毎の前景の成分 の数に対応する複数のモデルを予め記憶しておき、 処理単位 A、 および画素値の 時間方向の仮想分割数を基に、 図 8 1に示すような、 画素値と前景の成分との対 応を指定するモデルを選択する。

例えば、 処理単位 Aに対応する画素の数が 1 2でありシャツタ時間内の動き量 vが 5であるときにおいては、 モデル化部 8 0 2は、 仮想分割数を 5とし、 最も 左に位置する画素が 1つの前景の成分を含み、 左から 2番目の画素が 2つの前景 の成分を含み、 左から 3番目の画素が 3つの前景の成分を含み、 左から 4番目の 画素が 4つの前景の成分を含み、 左から 5番目の画素が 5つの前景の成分を含み、 左から 6番目の画素が 5つの前景の成分を含み、 左から 7番目の画素が 5つの前 景の成分を含み、 左から 8番目の画素が 5つの前景の成分を含み、 左から 9番目 の画素が 4つの前景の成分を含み、 左から 1 0番目の画素が 3つの前景の成分を 含み、 左から 1 1番目の画素が 2つの前景の成分を含み、 左から 1 2番目の画素 が 1つの前景の成分を含み、 全体として 8つの前景の成分から成るモデルを選択 する。

なお、 モデル化部 8 0 2は、 予め記憶してあるモデルから選択するのではなく、 動きべク トル、 および処理単位 Aが供給されたとき、 動きべク トル、 および処理 単位を基に、 モデルを生成するようにしてもよい。

モデル化部 8 0 2は、 選択したモデルを方程式生成部 8 0 3に供給する。

方程式生成部 8 0 3は、 モデル化部 8 0 2から供給されたモデルを基に、 方程 式を生成する。 図 8 1に示す前景成分画像のモデルを参照して、 前景の成分の数 が 8であり、 処理単位 Aに対応する画素の数が 1 2であり、 動き量 Vが 5であ り、 仮想分割数が 5であるときの、 方程式生成部 8 0 3が生成する方程式につい て説明する。 .

前景成分画像に含まれるシャッタ時間 /vに対応する前景成分が FOl/v乃至

F08/vであるとき、 FOl/v乃至 F08/Vと画素値 C01乃至 C12 との関係は、 式 （7 8 ) 乃至式 （8 9) で表される。

C01=F01/v ( 7 8 )

C02=F02/v+F01/v ( 7 9 )

C03=F03/v+F02/v+F01/v ( 8 0)

C04=F04/v+F03/v+F02/v+F01/v ( 8 1 )

C05=F05/v+F04/v+F03/v+F02/v+F01/v (8 2) C06=F06/v+F05/v+F04/v+F03/v+F02/v (8 3)

C07=F07/v+F06/v+F05/v+F04/v+F03/v (84)

C08=F08/v+F07/v+F06/v+F05/v+F04/v (8 5)

C09=F08/v+F07/v+F06/v+F05/v (86)

C10=F08/v+F07/v+F06/v (87)

Cll=F08/v+F07/v (88)

C12=F08/v (89) 方程式生成部 803は、 生成した方程式を変形して方程式を生成する。 方程式 生成部 80 3が生成する方程式を、 式 （90) 乃至式 （1 0 1) に示す。

C01 = :1 • FOl/v+0 • F02/v+0 ■ F03/v+0 · F04/v+0 ■ F05/v

+0 ■ F06/v+0 • F07/v+0 ' F08/v ( 9 0)

C02= :1 • FOl/v+1 • F02/v+0 ' F03/v+0 ' F04/v+0 ' F05/v

+0 ■ F06/v+0 • F07/v+0 • F08/v ( 9 1 )

C03= ^;1 • FOl/v+1 • F02/v+l ■ F03/v+0 ' F04/v+0 ■ F05/v

+0 • F06/v+0 ■ F07/v+0 ■ F08/v ( 9 2)

C04= :1 • FOl/v+1 • F02/v+l ■ F03/v+l ■ F04/v+0 ■ F05/v

+0 • F06/v+0 ■ F07/v+0 • F08/v ( 9 3)

C05= :1 • FOl/v+1 • F02/v+l ■ F03/v+l - F04/v+l ' F05/v

+0 • F06/v+0 ■ F07/v+0 • F08/v ( 9 4)

C06= :0 • FOl/v+1 • F02/V+1 · F03/v+l ' F04/v+l ' F05/v

+1 ■ F06/v+0 - F07/v+0 • F08/v ( 9 5)

C07= :0 • FOl/v+0 • F02/V+1 ■ F03/v+l ' F04/V+1 F05/v

+1 • F06/V+1 - F07/v+0 • F08/v ( 9 6 )

C08= :0 • FOl/v+0 • F02/V+0 F03/v+l F04/v+l F05/v

+1 • F06/v+l ' F07/v+l • F08/v ( 9 7)

C09= :0 • FOl/v+0 • F02/v+0 F03/v+0 F04/v+l F05/v

+1 • F06/v+l • F07/v+l • F08/v ( 9 8 ) C10=0 - FOl/v+0 - F02/v+0 · F03/v+0 · F04/v+0 - F05/v

+1 · F06/v+l · F07/v+l · F08/v (9 9)

C11=0 · FOl/v+0 · F02/v+0 - F03/v+0 · F04/v+0 - F05/v

+0 - F06/V+1 · F07/v+l · F08/v (1 00)

C12=0 - FOl/v+0 - F02/v+0 - F03/v+0 - F04/v+0 - F05/v

+0 · F06/v+0 · F07/v+l - F08/v (1 0 1) 式 （90) 乃至式 （1 0 1) は、 式 （1 02) として表すこともできる <

08

Cj =∑aij'Fi/v (102)

1 = 0/

式 （1 02) において、 jは、 画素の位置を示す。 この例において、 jは、 1 乃至 1 2のいずれか 1つの値を有する。 また、 iは、 前景値の位置を示す。 この 例において、 iは、 1乃至 8のいずれか 1つの値を有する。 aijは、 iおよび j の値に対応して、 0または 1の値を有する。

誤差を考慮して表現すると、 式 （ 1 02) は、 式 （ 103) のように表すこと ができる。

08

Cj =∑_iaij'Fi/v + ej (103)

i=0i

式 （10 3) において、 ejは、 注目画素 Cjに含まれる誤差である。

式 （103) は、 式 （104) に書き換えることができる。

08

ei = Cj-∑aij-Fi/v (14)

i=0J

ここで、 最小自乗法を適用するため、 誤差の自乗和 Eを式 （105) に示す ように定義する。

12

.2

E =∑ej (105)

j=oi

誤差が最小になるためには、 誤差の自乗和 Eに対する、 変数 Fkによる偏微分 の値が 0になればよい。 式 （106) を満たすように Fkを求める。 U

dE

= 2-∑ej

dFk =01

12 08

= 2 -∑{(Cj -∑aij*Filv)* (- akjlv) = 0 (106)

j=01 1 = 07

式 （ 106) において、 動き量 vは固定値であるから、 式 （ 107) を導く ことができる。

12 08 ^ ,

∑akj'(Cj-∑aij*Filv) = o (107)

j=OJ i=01 式 （1 0 7) を展開して、 移項すると、 式 （1 08) を得る。

122 08 12

∑ (akj*∑aij*Fi) = v'∑akj' Cj (los)

=01 :01 j= J 式 （ 1 08) の kに 1乃至 8の整数のいずれか 1つを代入して得られる 8つ の式に展開する。 得られた 8つの式を、 行列により 1つの式により表すことがで きる。 この式を正規方程式と呼ぶ。

このような最小自乗法に基づく、 方程式生成部 803が生成する正規方程式の 例を式 （1 09) に示す。

式 （ 109) を A'F=v'Cと表すと、 C,A vが既知であり、 Fは未知である。 ま た、 A, Vは、 モデル化の時点で既知だが、 Cは、 足し込み動作において画素値を 入力することで既知となる。 最小自乗法に基づく正規方程式により前景成分を算出することにより、 画素 C に含まれている誤差を分散させることができる。

方程式生成部 8 0 3は、 このように生成された正規方程式を足し込み部 8 0 4 に供給する。

足し込み部 8 0 4は、 処理単位決定部 8 0 1から供給された処理単位を基に、 前景成分画像に含まれる画素値 Cを、 方程式生成部 8 0 3から供給された行列 の式に設定する。 足し込み部 8 0 4は、 画素値 Cを設定した行列を演算部 8 0 5に供給する。

演算部 8 0 5は、 掃き出し法 （Gauss- Jordanの消去法） などの解法に基づく 処理により、 動きボケが除去された前景成分 Fi/ vを算出して、 動きボケが除去 された前景の画素値である、 0乃至 8の整数のいずれかの iに対応する Fiを算 出して、 図 8 2に例を示す、 動きボケが除去された画素値である Fiから成る、 動きボケが除去された前景成分画像を動きボケ付加部 8 0 6および選択部 8 0 7 に出力する。

なお、 図 8 2に示す動きボケが除去された前景成分画像において、 C03乃至 C10のそれぞれに F01乃至 F08のそれぞれが設定されているのは、 画面に対する 前景成分画像の位置を変化させないためであり、 任意の位置に対応させることが できる。

動きボケ付加部 8 0 6は、 動き量 V とは異なる値の動きボケ調整量 v '、 例え ば、 動き量 Vの半分の値の動きボケ調整量 v'や、 動き量 Vと無関係の値の動き ボケ調整量 v'を与えることで、 動きボケの量を調整することができる。 例えば、 図 8 3に示すように、 動きボケ付加部 8 0 6は、 動きボケが除去された前景の画 素値 Fiを動きボケ調整量 v'で除すことにより、 前景成分 Fi/v'を算出して、 前 景成分 Fi/v'の和を算出して、 動きボケの量が調整された画素値を生成する。 例 えば、 動きボケ調整量 v'が 3のとき、 画素値 C02は、 （F01 ) /v'とされ、 画素 値 C03は、 （F01+F02) /v'とされ、 画素値 C04は、 （FO 1+F02+F03) /v'とされ、 画素値 C05は、 （F02+F03+F04) /v'とされる。 動きボケ付加部 8 0 6は、 動きボケの量を調整した前景成分画像を選択部 8 0 7に供給する。

選択部 8 0 7は、 例えば使用者の選択に対応した選択信号を基に、 演算部 8 0 5から供給された動きボケが除去された前景成分画像、 および動きボケ付加部 8 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選 択して、 選択した前景成分画像を出力する。

このように、 動きボケ調整部 1 0 6は、 選択信号および動きボケ調整量 v'を 基に、 動きボケの量を調整することができる。

また、 例えば、 図 8 4に示すように、 処理単位に対応する画素の数が 8であり、 動き量 Vが 4であるとき、 動きボケ調整部 1 0 6は、 式 （1 1 0 ) に示す行列 の式を生成する。

= - ∑Ci (U )

∑Ci

∑Ci

∑C

∑Ci 動きボケ調整部 1 0 6は、 このように処理単位の長さに対応した数の式を立て て、 動きボケの量が調整された画素値である Fiを算出する。 同様に、 例えば、 処理単位に含まれる画素の数が 1 0 0あるとき、 1 0 0個の画素に対応する式を 生成して、 Fiを算出する。

図 8 5は、 動きボケ調整部 1 0 6の他の構成を示す図である。 図 7 9に示す場 合と同様の部分には同一の番号を付してあり、 その説明は省略する。

選択部 8 2 1は、 選択信号を基に、 入力された動きべク トルとその位置信号を そのまま処理単位決定部 8 0 1およびモデル化部 8 0 2に供給するか、 または動 きべクトルの大きさを動きボケ調整量 v'に置き換えて、 その大きさが動きボケ 調整量 v'に置き換えられた動きべク トルとその位置信号を処理単位決定部 8 0 1およびモデル化部 8 0 2に供給する。

このようにすることで、 図 8 5の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、 動き量 Vと動きボケ調整量 v'との値に対応して、 動き ボケの量を調整することができる。 例えば、 動き量 Vが 5であり、 動きボケ調 整量 v'が 3であるとき、 図 8 5の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、 図 8 1に示す動き量 Vが 5である前景成分画像に対し て、 3である動きボケ調整量 v'対応する図 8 3に示すようなモデルに従って、 演算を実行し、 （動き量 V) I (動きボケ調整量 ν' ) = 5/3、 すなわちほぼ 1. 7 の動き量 Vに応じた動きボケを含む画像を算出する。 なお、 この場合、 算出さ れる画像は、 3である動き量 Vに対応した動きボケを含むのではないので、 動き ボケ付加部 8 0 6の結果とは動き量 V と動きボケ調整量 v'の関係の意味合いが 異なる点に注意が必要である。

以上のように、 動きボケ調整部 1 0 6は、 動き量 Vおよび処理単位に対応し て、 式を生成し、 生成した式に前景成分画像の画素値を設定して、 動きボケの量 が調整された前景成分画像を算出する。

次に、 図 8 6のフローチャートを参照して、 動きボケ調整部 1 0 6による前景 成分画像に含まれる動きボケの量の調整の処理を説明する。

ステップ S 8 0 1において、 動きボケ調整部 1 0 6の処理単位決定部 8 0 1は、 動きベク トルおよび領域情報を基に、 処理単位を生成し、 生成した処理単位をモ デル化部 8 0 2に供給する。

ステップ S 8 0 2において、 動きボケ調整部 1 0 6のモデル化部 8 0 2は、 動 き量 Vおよび処理単位に対応して、 モデルの選択や生成を行う。 ステップ S 8 0 3において、 方程式生成部 8 0 3は、 選択されたモデルを基に、 正規方程式を 作成する。

ステップ S 8 0 4において、 足し込み部 8 0 4は、 作成された正規方程式に前 景成分画像の画素値を設定する。 ステップ S 8 0 5において、 足し込み部 8 0 4 は、 処理単位に対応する全ての画素の画素値の設定を行ったか否かを判定し、 処 理単位に対応する全ての画素の画素値の設定を行っていないと判定された場合、 ステップ S 8 0 4に戻り、 正規方程式への画素値の設定の処理を繰り返す。 ステップ S 8 0 5において、 処理単位の全ての画素の画素値の設定を行ったと 判定された場合、 ステップ S 8 0 6に進み、 演算部 8 0 5は、 足し込み部 8 0 4 から供給された画素値が設定された正規方程式を基に、 動きボケの量を調整した 前景の画素値を算出して、 処理は終了する。

このように、 動きボケ調整部 1 0 6は、 動きべク トルおよび領域情報を基に、 動きボケを含む前景画像から動きボケの量を調整することができる。

すなわち、 サンプルデータである画素値に含まれる動きボケの量を調整するこ とができる。

図 8 7は、 動きボケ調整部 1 0 6の構成の他の一例を示すプロック図である。 動き検出部 1 0 2から供給された動きべク トルとその位置情報は、 処理単位決定 部 9 0 1および補正部 9 0 5に供給され、 領域特定部 1 0 3から供給された領域 情報は、 処理単位決定部 9 0 1に供給される。 前景背景分離部 1 0 5から供給さ れた前景成分画像は、 演算部 9 0 4に供給される。

処理単位決定部 9 0 1は、 動きべク トルとその位置情報、 および領域情報を基 に、 処理単位を生成し、 動きべク トルと共に、 生成した処理単位をモデル化部 9 0 2に供給する。

モデル化部 9 0 2は、 動きべク トルおよび入力された処理単位を基に、 モデル 化を実行する。 より具体的には、 例えば、 モデル化部 9 0 2は、 処理単位に含ま れる画素の数、 画素値の時間方向の仮想分割数、 および画素毎の前景の成分の数 に対応する複数のモデルを予め記憶しておき、 処理単位、 および画素値の時間方 向の仮想分割数を基に、 図 8 8に示すような、 画素値と前景の成分との対応を指 定するモデルを選択する。

例えば、 処理単位に対応する画素の数が 1 2であり動き量 Vが 5であるとき においては、 モデル化部 9 0 2は、 仮想分割数を 5とし、 最も左に位置する画素 が 1つの前景の成分を含み、 左から 2番目の画素が 2つの前景の成分を含み、 左 から 3番目の画素が 3つの前景の成分を含み、 左から 4番目の画素が 4つの前景 の成分を含み、 左から 5番目の画素が 5つの前景の成分を含み、 左から 6番目の 画素が 5つの前景の成分を含み、 左から 7番目の画素が 5つの前景の成分を含み、 左から 8番目の画素が 5つの前景の成分を含み、 左から 9番目の画素が 4つの前 景の成分を含み、 左から 1 0番目の画素が 3つの前景の成分を含み、 左から 1 1 番目の画素が 2つの前景の成分を含み、 左から 1 2番目の画素が 1つの前景の成 分を含み、 全体として 8つの前景の成分から成るモデルを選択する。

なお、 モデル化部 9 0 2は、 予め記憶してあるモデルから選択するのではなく、 動きべク トル、 および処理単位が供給されたとき、 動きべク トル、 および処理単 位を基に、 モデルを生成するようにしてもよい。

方程式生成部 9 0 3は、 モデル化部 9 0 2から供給されたモデルを基に、 方程 式を生成する。

図 8 8乃至図 9 0に示す前景成分画像のモデルを参照して、 前景の成分の数が 8であり、 処理単位に対応する画素の数が 1 2であり、 動き量 Vが 5であると きの、 方程式生成部 9 0 3が生成する方程式の例について説明する。

前景成分画像に含まれるシャッタ時間/ Vに対応する前景成分が FOl/v乃至 F08/vであるとき、 FOl/v乃至 F08/vと画素値 C01乃至 C12との関係は、 上述し たように、 式 （7 8) 乃至式 （8 9) で表される。

画素値 C12および C11に注目すると、 画素値 C12は、 式 （1 1 1 ) に示すよ うに、 前景の成分 F08/vのみを含み、 画素値 C11は、 前景の成分 F08/vおよび 前景の成分 F07/vの積和から成る。 従って、 前景の成分 F07/vは、 式 （1 1 2) で求めることができる。

F08/v=C12 ( 1 1 1)

F07/v=Cll-C12 ( 1 1 2)

同様に、 画素値 CIO乃至 C01に含まれる前景の成分を考慮すると、 前景の成 分 F06/v乃至 FOl/vは、 式 （1 1 3) 乃至式 （1 1 8) により求めることがで さる。 F06/v=C10-Cll ( 1 1 3 ) F05/v=C09-C10 ( 1 1 4)

F04/v=C08-C09 ( 1 1 5 )

F03/v=C07-C08+C12 ( 1 1 6 )

F02/v=C06-C07+Cll-C12 ( 1 1 7)

F01/v=C05_C06+C10 - Cll ( 1 1 8)

方程式生成部 9 0 3は、 式 （1 1 1 ) 乃至式 （1 1 8) に例を示す、 画素値の 差により前景の成分を算出するための方程式を生成する。 方程式生成部 9 0 3は、 生成した方程式を演算部 9 0 4に供給する。

演算部 9 0 4は、 方程式生成部 9 0 3から供給された方程式に前景成分画像の 画素値を設定して、 画素値を設定した方程式を基に、 前景の成分を算出する。 演 算部 9 0 4は、 例えば、 式 （1 1 1 ) 乃至式 （1 1 8 ) が方程式生成部 9 0 3か ら供給されたとき、 式 （1 1 1 ) 乃至式 （1 1 8 ) に画素値 C05乃至 C12を設 定する。

演算部 9 0 4は、 画素値が設定された式に基づき、 前景の成分を算出する。 例 えば、 演算部 9 0 4は、 画素値 C05乃至 C12が設定された式 （1 1 1 ) 乃至式 ( 1 1 8) に基づく演算により、 図 8 9に示すように、 前景の成分 FOl/v乃至 F08/vを算出する。 演算部 9 0 4は、 前景の成分 FOl/v乃至 F08/vを補正部 9 0 5に供給する。

補正部 9 0 5は、 演算部 9 0 4から供給された前景の成分に、 処理単位決定部 9 0 1から供給された動きべクトルに含まれる動き量 Vを乗じて、 動きボケを 除去した前景の画素値を算出する。 例えば、 補正部 9 0 5は、 演算部 9 0 4から 供給された前景の成分 FOl/v乃至 F08/Vが供給されたとき、 前景の成分 FOl/v 乃至 F08/vのそれぞれに、 5である動き量 Vを乗じることにより、 図 9 0に示 すように、 動きボケを除去した前景の画素値 F01乃至 F08を算出する。

補正部 9 0 5は、 以上のように算出された、 動きボケを除去した前景の画素値 から成る前景成分画像を動きボケ付加部 9 0 6および選択部 9 0 7に供給する。 動きボケ付加部 9 0 6は、 動き量 V とは異なる値の動きボケ調整量 v '、 例え ば、 動き量 Vの半分の値の動きボケ調整量 v'、 動き量 Vと無関係の値の動きボ ケ調整量 v'で、 動きボケの量を調整することができる。 例えば、 図 8 3に示す ように、 動きボケ付加部 9 0 6は、 動きボケが除去された前景の画素値 Fiを動 きボケ調整量 v'で除すことにより、 前景成分 Fi/v'を算出して、 前景成分

Fi/v'の和を算出して、 動きボケの量が調整された画素値を生成する。 例えば、 動きボケ調整量 v'が 3のとき、 画素値 C02は、 （F01 ) /v'とされ、 画素値 C03 は、 （F01+F02) /v'とされ、 画素値 C04は、 （F01 +F02+F03) /v'とされ、 画素 値 C05は、 （F02+F03+F04) /v'とされる。

動きボケ付加部 9 0 6は、 動きボケの量を調整した前景成分画像を選択部 9 0 7に供給する。

選択部 9 0 7は、 例えば使用者の選択に対応した選択信号を基に、 補正部 9 0 5から供給された動きボケが除去された前景成分画像、 および動きボケ付加部 9 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選 択して、 選択した前景成分画像を出力する。

このように、 動きボケ調整部 1 0 6は、 選択信号および動きボケ調整量 v'を 基に、 動きボケの量を調整することができる。

次に、 図 8 7に構成を示す動きボケ調整部 1 0 6による前景の動きボケの量の 調整の処理を図 9 1のフローチヤ一トを参照して説明する。

ステップ S 9 0 1において、 動きボケ調整部 1 0 6の処理単位決定部 9 0 1は、 動きベク トルおよび領域情報を基に、 処理単位を生成し、 生成した処理単位をモ デル化部 9 0 2および補正部 9 0 5に供給する。

ステップ S 9 0 2において、 動きボケ調整部 1 0 6のモデル化部 9 0 2は、 動 き量 Vおよび処理単位に対応して、 モデルの選択や生成を行う。 ステップ S 9 0 3において、 方程式生成部 9 0 3は、 選択または生成されたモデルを基に、 前 景成分画像の画素値の差により前景の成分を算出するための方程式を生成する。 ステップ S 9 0 4において、 演算部 9 0 4は、 作成された方程式に前景成分画 像の画素値を設定し、 画素値が設定された方程式を基に、 画素値の差分から前景 の成分を抽出する。 ステップ S 9 0 5において、 演算部 9 0 4は、 処理単位に対 応する全ての前景の成分を抽出したか否かを判定し、 処理単位に対応する全ての 前景の成分を抽出していないと判定された場合、 ステップ S 9 0 4に戻り、 前景 の成分を抽出の処理を繰り返す。

ステップ S 9 0 5において、 処理単位に対応する全ての前景の成分を抽出した と判定された場合、 ステップ S 9 0 6に進み、 補正部 9 0 5は、 動き量 Vを基 に、 演算部 9 0 4から供給された前景の成分 FO l/v乃至 F08/vのそれぞれを補 正して、 動きボケを除去した前景の画素値 F01乃至 F08を算出する。

ステップ S 9 0 7において、 動きボケ付加部 9 0 6は、 動きボケの量を調整し た前景の画素値を算出して、 選択部 9 0 7は、 動きボケが除去された画像または 動きボケの量が調整された画像のいずれかを選択して、 選択した画像を出力して、 処理は終了する。

このように、 図 8 7に構成を示す動きボケ調整部 1 0 6は、 より簡単な演算で、 より迅速に、 動きボケを含む前景画像から動きボケを調整することができる。 ウィナー， フィルタなど従来の動きボケを部分的に除去する手法が、 理想状態 では効果が認められるが、 量子化され、 ノイズを含んだ実際の画像に対して十分 な効果が得られないのに対し、 図 8 7に構成を示す動きボケ調整部 1 0 6におい ても、 量子化され、 ノイズを含んだ実際の画像に対しても十分な効果が認められ、 精度の良い動きボケの除去が可能となる。

以上のように、 図 9に構成を示す分離部 9 1は、 入力画像に含まれる動きボケ の量を調整することができる。

図 9 2は、 分離部 9 1の機能の他の構成を示すブロック図である。

図 9に示す部分と同様の部分には同一の番号を付してあり、 その説明は適宜省 略する。

領域特定部 1 0 3は、 領域情報を混合比算出部 1 0 4および合成部 1 0 0 1に 供給する。 混合比算出部 1 0 4は、 混合比 αを前景背景分離部 1 0 5および合成部 1 0 0 1に供給する。

前景背景分離部 1 0 5は、 前景成分画像を合成部 1 0 0 1に供給する。

合成部 1 0 0 1は、 混合比算出部 1 0 4から供給された混合比ひ、 領域特定部 1 0 3から供給された領域情報を基に、 任意の背景画像と、 前景背景分離部 1 0 5から供給された前景成分画像とを合成して、 任意の背景画像と前景成分画像と が合成された合成画像を出力する。

図 9 3は、 合成部 1 0 0 1の構成を示す図である。 背景成分生成部 1 0 2 1は、 混合比 αおよび任意の背景画像を基に、 背景成分画像を生成して、 混合領域画像 合成部 1 0 2 2に供給する。

混合領域画像合成部 1 0 2 2は、 背景成分生成部 1 0 2 1から供給された背景 成分画像と前景成分画像とを合成することにより、 混合領域合成画像を生成して、 生成した混合領域合成画像を画像合成部 1 0 2 3に供給する。

画像合成部 1 0 2 3は、 領域情報を基に、 前景成分画像、 混合領域画像合成部 1 0 2 2から供給された混合領域合成画像、 および任意の背景画像を合成して、 合成画像を生成して出力する。

このように、 合成部 1 0 0 1は、 前景成分画像を、 任意の背景画像に合成する ことができる。

特徴量である混合比 αを基に前景成分画像を任意の背景画像と合成して得られ た画像は、 単に画素を合成した画像に比較し、 より自然なものと成る。

図 9 4は、 動きボケの量を調整する分離部 9 1の機能の更に他の構成を示すブ ロック図である。 図 9に示す分離部 9 1が領域特定と混合比 αの算出を順番に行 うのに対して、 図 9 4に示す分離部 9 1は、 領域特定と混合比ひの算出を並行し て行う。

図 9のブロック図に示す機能と同様の部分には同一の番号を付してあり、 その 説明は省略する。

入力画像は、 混合比算出部 1 1 0 1、 前景背景分離部 1 1 0 2、 領域特定部 1 0 3、 およびオブジェク ト抽出部 1 0 1に供給される。

混合比算出部 1 1 0 1は、 入力画像を基に、 画素がカバードバックグラウンド 領域に属すると仮定した場合における推定混合比、 および画素がアンカバードバ ックグラウンド領域に属すると仮定した場合における推定混合比を、 入力画像に 含まれる画素のそれぞれに対して算出し、 算出した画素がカバードバックグラウ ンド領域に属すると仮定した場合における推定混合比、 および画素がアンカバー ドバックグラウンド領域に属すると仮定した場合における推定混合比を前景背景 分離部 1 1 0 2に供給する。

図 9 5は、 混合比算出部 1 1 0 1の構成の一例を示すブロック図である。

図 9 5に示す推定混合比処理部 4 0 1は、 図 5 4に示す推定混合比処理部 4 0 1と同じである。 図 9 5に示す推定混合比処理部 4 0 2は、 図 5 4に示す推定混 合比処理部 4 0 2と同じである。

推定混合比処理部 4 0 1は、 入力画像を基に、 カバードバックグラウンド領域 のモデルに対応する演算により、 画素毎に推定混合比を算出して、 算出した推定 混合比を出力する。

推定混合比処理部 4 0 2は、 入力画像を基に、 アンカバードバックグラウンド 領域のモデルに対応する演算により、 画素毎に推定混合比を算出して、 算出した 推定混合比を出力する。

前景背景分離部 1 1 0 2は、 混合比算出部 1 1 0 1から供給された、 画素が力 バードバックグラウンド領域に属すると仮定した場合における推定混合比、 およ び画素がアンカバードバックグラウンド領域に属すると仮定した場合における推 定混合比、 並びに領域特定部 1 0 3から供給された領域情報を基に、 入力画像か ら前景成分画像を生成し、 生成した前景成分画像を動きボケ調整部 1 0 6および 選択部 1 0 7に供給する。

図 9 6は、 前景背景分離部 1 1 0 2の構成の一例を示すプロック図である。 図 7 1に示す前景背景分離部 1 0 5と同様の部分には同一の番号を付してあり、 その説明は省略する。 選択部 1 1 2 1は、 領域特定部 1 0 3から供給された領域情報を基に、 混合比 算出部 1 1 0 1から供給された、 画素がカバードバックグラウンド領域に属する と仮定した場合における推定混合比、 および画素がアンカバードバックグラウン ド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、 選択した推定混合比を混合比 αとして分離部 6 0 1に供給する。

分離部 6 0 1は、 選択部 1 1 2 1から供給された混合比ひおよび領域情報を基 に、 混合領域に属する画素の画素値から前景の成分および背景の成分を抽出し、 抽出した前景の成分を合成部 6 0 3に供給すると共に、 背景の成分を合成部 6 0 5に供給する。

分離部 6 0 1は、 図 7 6に示す構成と同じ構成とすることができる。

合成部 6 0 3は、 前景成分画像を合成して、 出力する。 合成部 6 0 5は、 背景 成分画像を合成して出力する。

図 9 4に示す動きボケ調整部 1 0 6は、 図 9に示す場合と同様の構成とするこ とができ、 領域情報および動きべク トルを基に、 前景背景分離部 1 1 0 2から供 給された前景成分画像に含まれる動きボケの量を調整して、 動きボケの量が調整 された前景成分画像を出力する。

図 9 4に示す選択部 1 0 7は、 例えば使用者の選択に対応した選択信号を基に、 前景背景分離部 1 1 0 2から供給された前景成分画像、 および動きボケ調整部 1 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選 択して、 選択した前景成分画像を出力する。

このように、 図 9 4に構成を示す分離部 9 1は、 入力画像に含まれる前景のォ ブジェク トに対応する画像に対して、 その画像に含まれる動きボケの量を調整し て出力することができる。 図 9 4に構成を示す分離部 9 1は、 第 1の実施例と同 様に、 埋もれた情報である混合比ひを算出して、 算出した混合比ひを出力するこ とができる。

図 9 7は、 前景成分画像を任意の背景画像と合成する分離部 9 1の機能の他の 構成を示すプロック図である。 図 9 2に示す分離部 9 1が領域特定と混合比ひの 算出をシリアルに行うのに対して、 図 9 7に示す分離部 9 1は、 領域特定と混合 比 αの算出をパラレルに行う。

図 9 4のプロック図に示す機能と同様の部分には同一の番号を付してあり、 そ の説明は省略する。

図 9 7に示す混合比算出部 1 1 0 1は、 入力画像を基に、 画素がカバードバッ クグラウンド領域に属すると仮定した場合における推定混合比、 および画素がァ ンカバードバックグラウンド領域に属すると仮定した場合における推定混合比を、 入力画像に含まれる画素のそれぞれに対して算出し、 算出した画素がカバードバ ックグラウンド領域に属すると仮定した場合における推定混合比、 および画素が アンカバードバックグラウンド領域に属すると仮定した場合における推定混合比 を前景背景分離部 1 1 0 2および合成部 1 2 0 1に供給する。

図 9 7に示す前景背景分離部 1 1 0 2は、 混合比算出部 1 1 0 1から供給され た、 画素がカバードバックグラウンド領域に属すると仮定した場合における推定 混合比、 および画素がアンカバードバックグラウンド領域に属すると仮定した場 合における推定混合比、 並びに領域特定部 1 0 3から供給された領域情報を基に、 入力画像から前景成分画像を生成し、 生成した前景成分画像を合成部 1 2 0 1に 供給する。

合成部 1 2 0 1は、 混合比算出部 1 1 0 1から供給された、 画素がカバードバ ックグラウンド領域に属すると仮定した場合における推定混合比、 および画素が アンカバードバックグラウンド領域に属すると仮定した場合における推定混合比、 領域特定部 1 0 3から供給された領域情報を基に、 任意の背景画像と、 前景背景 分離部 1 1 0 2から供給された前景成分画像とを合成して、 任意の背景画像と前 景成分画像とが合成された合成画像を出力する。

図 9 8は、 合成部 1 2 0 1の構成を示す図である。 図 9 3のプロック図に示す 機能と同様の部分には同一の番号を付してあり、 その説明は省略する。

選択部 1 2 2 1は、 領域特定部 1 0 3から供給された領域情報を基に、 混合比 算出部 1 1 0 1から供給された、 画素がカバードバックグラウンド領域に属する と仮定した場合における推定混合比、 および画素がアンカバードバックグラウン ド領域に属すると仮定した場合における推定混合比のいずれか一方を選択して、 選択した推定混合比を混合比ひとして背景成分生成部 1 0 2 1に供給する。

図 9 8に示す背景成分生成部 1 0 2 1は、 選択部 1 2 2 1から供給された混合 比 αおよび任意の背景画像を基に、 背景成分画像を生成して、 混合領域画像合成 部 1 0 2 2に供給する。

図 9 8に示す混合領域画像合成部 1 0 2 2は、 背景成分生成部 1 0 2 1から供 給された背景成分画像と前景成分画像とを合成することにより、 混合領域合成画 像を生成して、 生成した混合領域合成画像を画像合成部 1 0 2 3に供給する。 画像合成部 1 0 2 3は、 領域情報を基に、 前景成分画像、 混合領域画像合成部 1 0 2 2から供給された混合領域合成画像、 および任意の背景画像を合成して、 合成画像を生成して出力する。

このように、 合成部 1 2 0 1は、 前景成分画像を、 任意の背景画像に合成する ことができる。

なお、 混合比ひは、 画素値に含まれる背景の成分の割合として説明したが、 画 素値に含まれる前景の成分の割合としてもよい。

また、 前景となるオブジェク トの動きの方向は左から右として説明したが、 そ の方向に限定されないことは勿論である。

以上においては、 3次元空間と時間軸情報を有する現実空間の画像をビデオ力 メラを用いて 2次元空間と時間軸情報を有する時空間への射影を行った場合を例 としたが、 本発明は、 この例に限らず、 より多くの第 1の次元の第 1の情報を、 より少ない第 2の次元の第 2の情報に射影した場合に、 その射影によって発生す る歪みを補正したり、 有意情報を抽出したり、 またはより自然に画像を合成する 場合に適応することが可能である。

なお、 センサは、 CCDに限らず、 固体撮像素子である、 例えば、 BBD (Bucket Br i gade Dev i ce) 、 CID (し narge Inj ect i on Devi ce) 、 CPD (Charge Primi ng Dev ice) 、 または CMOS (Compl ementary Mental Oxi de Semi conductor) セン サでもよく、 また、 検出素子がマトリックス状に配置されているセンサに限らず、 検出素子が 1列に並んでいるセンサでもよい。

次に、 図 9 9のフローチャートを参照して、 カメラ端末装置 2がリアルタイム で撮像した画像の前景成分画像に、 指定された背景成分画像を合成した画像を出 力する合成サービスの処理について説明する。 尚、 カメラ端末装置 2は、 使用者 に対して貸し出されているものとして、 分離処理と合成処理のそれぞれに課金さ れる場合の例について説明する。

ステップ S 1 0 0 1において、 シャッタボタンが押下されたか否かが判定され、 シャッタボタンが押下されるまでこの処理が繰り返され、 シャッタボタンが押下 されると、 ステップ S 1 0 0 2において、 信号制御部 7 1は、 撮像部 7 4より入 力される画像を背景成分画像と前景成分画像に分離する処理を実行する。 この画 像の分離の処理は、 上述の分離部 9 1によって実行される一連の処理であり、 す なわち、 図 3 5のフローチャートを参照して説明した領域特定の処理、 図 6 3を 参照して説明した混合比の算出の処理、 図 7 8のフローチャートを参照して説明 した前景と背景の分離の処理、 および、 図 8 6のフローチャートを参照して説明 した前景成分画像の動きボケ量の調整の処理によって実行される、 入力画像を前 景成分画像と背景成分画像に分離する処理である。 尚、 ここの処理については、 上述と同様であるので、 その説明は、 省略する。

ステップ S 1 0 0 3において、 課金処理部 7 5は、 ネッ トワーク 1を介して課 金サーバ 5に対して課金処理を実行する。 また、 同時にステップ S 1 0 2 1にお いて、 課金サーバ 5は、 カメラ端末装置 2に対して課金処理を実行する。

ここで、 図 1 0 0のフローチャートを参照して、 上述の課金処理を説明する。 尚、 課金処理にあたり、 カメラ端末装置 2を借りた使用者は、 例えば、 使用開始 前に予め自らの口座 ID (クレジッ トカードのカード番号などでもよい） と認証 情報を入力するものとする。

ステップ S 1 1 0 1において、 図 1 0 1で示すように、 課金処理部 7 5は、 処 理内容 （サービス） を指定して使用者 （画像の分離を依頼する使用者） を識別す る I D情報、 認証情報 （パスワード等） 、 利用金額、 および、 自らに記憶されて いる ID (提供者を識別する ID) をネッ トワーク 1を介して課金サーバ 5に送信 する。 今の場合、 サービスとして画像の分離処理が指定されたことになる。

ステップ S 1 1 2 1において、 図 1 0 1で示すように、 課金サーバ 2 4は、 力 メラ端末装置 2より送信されてきた （使用者の） IDに基づいて、 認証情報、 顧 客口座 ID、 および、 利用金額を、 顧客口座の金融機関が管理する金融サーバ 6 に問い合わせる。

ステップ S 1 1 4 1において、 図 1 0 1で示すように、 金融サーバ （顧客用） 6は、 顧客口座 IDと認証情報に基づいて、 認証処理を実行し、 認証結果と利用 の可否の情報を課金サーバ 5に通知する。

ステップ S 1 1 2 2において、 図 1 0 1で示すように、 課金サーバ 5は、 認証 結果と利用可否の情報をカメラ端末装置 2に送信する。 尚、 以下の説明において は、 認証結果が問題なく、 その利用が可能であるとの条件の下に説明を進める。 また、 認証結果に問題があり、 その利用が認められないとの情報が受信された場 合、 その処理は、 終了することになる。

ステップ S 1 1 0 2において、 図 1 0 1で示すように、 カメラ端末装置 2は、 認証結果に問題がなく、 金融機関の利用が可能であるとの条件の場合、 サービス を提供する。 すなわち、 今の場合、 カメラ端末装置 2は、 画像の分離の処理を実 行する。

ステップ S 1 1 0 3において、 カメラ端末装置 2は、 サービスの利用通知を課 金サーバ 5に送信する。 ステップ S 1 1 2 3において、 課金サーバ 5は、 顧客口 座 ID、 利用金額、 および、 提供者口座 IDを金融サーバ （顧客用） 6に通知する。 ステップ S 1 1 4 2において、 金融サーバ （顧客用） 6は、 顧客口座 IDの口 座から利用金額を提供者金融サーバ （提供者用） 7に振り込む。

ここで、 図 9 9のフローチャートの説明に戻る。

ステップ S 1 0 0 4において、 信号制御部 7 1は、 画像蓄積部 7 2に分離した 画像を保存する。 ステップ S 1 0 0 5において、 課金処理部 7 5は、 シャツタが 押下され続けているか否かを判定し、 押下され続けていると判定した場合、 その 処理は、 ステップ S 1 0 0 2に戻る。 すなわち、 押下されて続けている間は課金 処理が実行され続けることになる。

ステップ S 1 0 0 5において、 シャッタが押下されていないと判定された場合、 ステップ S 1 0 0 6において、 信号制御部 7 1は、 背景成分画像として選択され る画像の IDが入力されたか否かを判定し、 入力されるまでその処理を繰り替え す。 尚、 背景成分画像を指定する IDは、 使用開始前に設定するようにしてもよ いし、 予め設定がない場合には、 デフォルトで指定される IDが入力されるよう にしておいてもよく、 シャツタが押下されてから分離処理および合成処理がスム ーズに行われるようにしてもよレ、。

ステップ S 1 0 0 7において、 信号制御部 7 1は、 指定された IDの背景成分 画像を、 分離処理により分離した前景成分画像と合成する。 例えば、 図 1 0 2 A で示すような画像が撮像部 7 4により撮像されると、 信号制御部 7 1は、 その画 像を前景成分画像と背景成分画像に分離する。 その後、 ステップ S 1 0 0 6の処 理で、 図 1 0 2 Bで示すように、 画像蓄積部 7 2に蓄積された画像 （背景 B 1乃 至 B 3、 および、 前景 F 1乃至 F 3 ) のうち、 背景 B 3が選択されると、 信号制 御部 7 1は、 背景 B 3と図 1 0 2 Aの中心部の前景成分画像とを合成して、 図 1 0 2 Cで示すような合成画像を生成する。

ステップ S 1 0 0 8， S 1 0 2 2において、 カメラ端末装置 2の課金処理部 7 1と課金サーバ 5は、 合成処理に対しての課金処理を実行する。 尚、 課金処理に ついては、 図 1 0 0のフローチヤ一トを参照して、 説明した処理と同様であるの で、 その説明は省略する。

ステップ S 1 0 0 9において、 カメラ端末装置 2の信号制御部 7 1は、 合成画 像を表示部 7 3に表示すると共に、 その画像に IDを付して画像蓄積部 7 2に保 存させる。

以上の例においては、 シャツタボタンが押下されている時間において、 分離処 理が繰り返され、 それに応じた課金も実行され続ける例について説明してきたが- シャッタが押下される度に課金されるようにしても良い。

次に、 図 1 0 3で示すように、 動く被写体をカメラ装置 4により撮像してリア ルタイムで動きボケを除去して表示させる力、 または、 図 1 0 4で示すように、 リアルタイムで動きボケを除去して、 さらに別の背景成分画像を合成する処理を 実現できるテレビジョン受像機端末装置 3について、 図 1 0 5を参照して説明す る。

尚、 図 1 0 5で示すテレビジョン受像機端末装置 3は、 図 1 0 4で示すように、 野生動物の夜間観察などで使用するために貸し出されるものであるとする。 この とき、 テレビジョン受像機端末装置 3に対しての課金処理は、 貸し出し時間に対 する料金 （施設利用時間に対応する料金） と、 動きボケ除去処理と合成処理に対 する料金であるものとする。 また、 動きボケ除去処理と合成処理は、 被写体の画 像 （前景成分画像） に動きがある状態のときにのみ課金されるものとする。

テレビジョン受像機端末装置 3の施設利用時間計測部 2 0 0 1は、 テレビジョ ン受像機端末装置 3が貸し出されてからの時間を計測するものであり、 計測され た時間をカウンタ 2 0 0 1 aに記憶させていき、 最終的に計測された施設利用時 間を課金処理部 8 5に出力する。 静動判定部 2 0 0 2は、 カメラ装置 4より入力 される撮像された画像をスキャンして、 被写体の画像 （前景成分画像） に動きが 生じたか否かを判定し、 動きがあった場合、 動きがあったことを示す信号を処理 時間計測部 2 0 0 3に出力する。 処理時間計測部 2 0 0 3は、 静動判定部 2 0 0 2より動きがあったことを示す信号が入力されると、 その信号が入力されている 時間を計測しカウンタ 2 0 0 3 aに記憶させていき、 最終的に課金処理時にカウ ンタ 2 0 0 3 aに記憶された処理時間を課金処理部 8 5に出力する。 このとき課 金処理部 8 5は、 施設利用時間計測部 2 0 0 1より入力された施設利用時間と、 処理時間計測部 2 0 0 3より入力された処理時間に応じて利用金額を算出し、 課 金サーバ 5に対して課金処理を実行する。

信号処理部 8 1の構成は、 図 8で示した信号処理部 7 1と同様であるのでその 説明を省略する。 次に、 図 1 0 6のフローチャートを参照して、 野生動物の夜間観察に使用する 場合、 テレビジョン受像機端末装置 3により リアルタイム合成サービスの処理に ついて説明する。

ステップ S 1 2 0 1において、 テレビジョン受像機端末装置 3の施設利用時間 計測部 2 0 0 1は、 施設利用時間の計測を開始する。 このタイミングでカメラ装 置 4により撮像された画像が順次信号処理部 7 1と静動判定部 2 0 0 2に出力さ れはじめる。 ステップ S 1 2 0 2において、 静動判定部 2 0 0 2は、 被写体に動 きがあつたか否かを判定し、 動きがあると判定されるまでその処理を繰り返し、 動きがあると判定された場合、 その処理は、 ステップ S 1 2 0 3に進む。

ステップ S 1 2 0 3において、 静動判定部 2 0 0 2より動きが検出されたこと を示す信号が出力されることにより処理時間計測部 2 0 0 3は、 処理時間の計測 を開始する。

ステップ S 1 2 0 4において、 信号制御部 8 1の分離部 9 1が入力された画像 の分離の処理を実行する。 この処理は、 図 9 9のフローチャート中のステップ S 1 0 0 2の処理と同様であり、 動きボケ量の調整の処理 （図 8 6のフローチヤ一 ト参照） が含まれており、 その処理により画像の分離処理と共に、 前景成分画像 の動きボケの調整処理により動きボケを除去することができる。 尚、 今の場合、 画像が分離された後、 前景成分画像のみが、 合成部 9 2に出力される。

ステップ S 1 2 0 5において、 合成部 9 2は、 合成しようとする背景成分画像 を画像蓄積部 7 2より読み込み、 ステップ S 1 2 0 6において、 合成部 9 2は、 読み込んだ背景成分画像と、 分離部 9 1より入力された動きボケ除去された前景 成分画像を合成し、 表示部 8 3に出力し、 表示させる。

ステップ S 1 2 0 7において、 静動判定部 2 0 0 2は、 動きがあるか、 すなわ ち、 依然として動きが継続的にあるか否かを判定し、 動きがあると判定された場 合、 その処理は、 ステップ S 1 2 0 4に戻り、 それ以降の処理が繰り返される。 ステップ S 1 2 0 7において、 動きが無いと判定された場合、 ステップ S 1 2 0 8において、 処理時間計測部 2 0 0 3は、 実際の分離処理 （動きボケ除去処 理） と合成処理にかかった時間を計測し、 カウンタ 2 0 0 3 aに記憶させる。 ステップ S 1 2 0 9において、 施設利用時間計測部 2 0 0 1は、 施設利用が終 了したか否かを判定し、 例えば、 施設利用が終了した場合、 ステップ S 1 2 1 0 において、 カウンタ 2 0 0 1 aに記憶されていた施設利用時間を計測し、 課金処 理部 7 5に出力する。

ステップ S 1 2 1 1 , S 1 1 2 1において、 テレビジョン受像機端末装置 3の 課金処理部 8 5と課金サーバ 5は、 施設利用時間と動きボケ除去処理と合成処理 の処理時間に基づいて課金処理を算出すると共に、 対応する課金処理を実行する。 尚、 課金処理については、 図 1 0 0のフローチャートを参照して、 説明した処理 と同様であるので、 その説明は省略する。

以上のような処理により、 野生動物の夜間観察のように微弱な光でも、 動きボ ケ処理した画像を撮像することができるサービスを提供することができ、 さらに、 テレビジョン受像機端末装置 3の貸し出し時間 （施設利用時間） と、 処理時間 (動きボケ処理と合成処理にかかる時間） に応じた課金処理が実現できるので、 夜間において、 動物が動かずにしている時間は、 分離および合成の処理にかかる 費用が発生しないので、 使用者は、 分離処理や合成処理が必要とされる状況が発 生したタイミングにだけ料金を支払うことになる。

また、 図 1 0 6のフローチヤ一トを参照して説明したリアルタイム合成サービ スの処理で、 貸し出し時間による課金処理をなく し、 処理時間のみで課金するよ うにして、 ゴルフスウィングの確認のために、 例えば、 ゴルフ場などでテレビジ ヨン受像機端末装置 3を貸し出す場合の処理について図 1 0 7のフローチャート を参照して説明する。

この処理は、 図 1 0 6のフローチャートにおけるステップ S 1 2 0 1 , S 1 2

1 0の処理を省いたものとなる。 すなわち、 ステップ S 1 3 0 1において、 静動 判定部 2 0 0 2は、 被写体に動きがあつたか否かを判定し、 動きがあると判定さ れるまでその処理を繰り返し、 動きがあると判定された場合、 その処理は、 ステ ップ S 1 3 0 2に進む。 すなわち、 使用者が、 ゴルフスウィングをするまでは、 その処理は実行されず、 課金処理もされない。

ステップ S 1 3 0 2において、 静動判定部 2 0 0 2より動きが検出されたこと を示す信号が出力されることにより処理時間計測部 2 0 0 3は、 処理時間の計測 を開始する。

ステップ S 1 3 0 3において、 信号制御部 8 1の分離部 9 1が入力された画像 の分離の処理を実行する。 この処理は、 図 9 9のフローチャート中のステップ S 1 0 0 2の処理と同様であり、 動きボケ量の調整の処理が含まれており、 その処 理により画像の分離処理と共に、 前景成分画像の動きボケの調整処理により動き ボケを除去することができる。

ステップ S 1 3 0 4において、 合成部 9 2は、 合成しょうとする背景成分画像 を画像蓄積部 8 2より読み込み、 ステップ S 1 3 0 5において、 合成部 9 2は、 読み込んだ背景成分画像と、 分離部 9 1より入力された動きボケ除去された前景 成分画像を合成し、 表示部 8 3に出力し、 表示させる。 今の場合、 ゴルフクラブ のスウィングが動きボケ除去された状態で表示されていれば良いので、 撮像され た画像と異なる背景成分画像を特に合成する必要はないので、 必ずしも画像蓄積 部 8 2より背景成分画像を読み出さなくても良い。

ステップ S 1 3 0 6において、 静動判定部 2 0 0 2は、 動きがあるか、 すなわ ち、 依然として動きが継続的あるか否かを判定し、 動きがあると判定された場合, その処理は、 ステップ S 1 2 0 4に戻り、 それ以降の処理が繰り返される。

ステップ S 1 3 0 6において、 動きが無いと判定された場合、 ステップ S 1 3 0 7において、 処理時間計測部 2 0 0 3は、 実際の分離処理 （動きボケ除去処 理） と合成処理にかかった時間を計測し、 カウンタ 2 0 0 3 aに記憶させる。 ステップ S 1 3 0 8において、 施設利用時間計測部 2 0 0 1は、 施設利用が終 了したか否かを判定し、 例えば、 施設利用が終了した場合 （カメラ端末装置 2を 返却する場合） 、 ステップ S 1 3 0 9 , S 1 3 2 1において、 カメラ端末装置 2 の課金処理部 7 1と課金サーバ 5は、 施設利用時間と動きボケ除去処理と合成処 理の処理時間に基づいて課金処理を算出すると共に、 対応する課金処理を実行す る。 尚、 課金処理については、 図 1 0 0のフローチャートを参照して、 説明した 処理と同様であるので、 その説明は省略する。

以上においては、 テレビジョン受像機端末装置 3の動作について説明してきた が、 例えば、 カメラ端末装置 2により同様の処理を実行させることも可能である _c 以上によれば、 本発明の分離部 9 1は、 撮像した画像を実時間で、 前景成分画 像 （前景成分画像） と前景成分画像 （前景成分画像） に分離し、 前景成分画像に ついては、 実時間で動きボケ調整処理を施すことが可能となる。

本発明の信号処理を行うプログラムを記録した記録媒体は、 図 4 , 5に示すよ うに、 コンピュータとは別に、 ユーザにプログラムを提供するために配布される、 プログラムが記録されている磁気ディスク 4 1 , 6 1 (フレキシブルディスクを 含む） 、 光ディスク 4 2 , 6 2 (CD-ROM (Compact Di sc-Read Only

Memory) , DVD (Digital Versat i le Di sc)を含む） 、 光磁気ディスク 4 3 , 6 3

(MD (Mi n i-Di sc) (商標） を含む） 、 もしくは半導体メモリ 4 4 , 6 4など よりなるパッケージメディアにより構成されるだけでなく、 コンピュータに予め 組み込まれた状態でユーザに提供される、 プログラムが記録されている R0M 2 2 , 5 2や、 記憶部 2 8， 5 8に含まれるハードディスクなどで構成される。

なお、 本明細書において、 記録媒体に記録されるプログラムを記述するステツ プは、 記載された順序に沿って時系列的に行われる処理はもちろん、 必ずしも時 系列的に処理されなく とも、 並列的あるいは個別に実行される処理をも含むもの である。 産業上の利用可能性

本発明によれば、 撮像した画像を実時間で、 前景成分画像 （前景成分画像） と 前景成分画像 （前景成分画像） に分離し、 前景成分画像については、 実時間で動 きボケ調整処理を施すことが可能となる。

Claims

請求の範囲

1 . それぞれ時間積分効果を有する所定数の画素を含む撮像素子によって取得 された所定数の画素データからなる画像データを入力する入力手段と、

前記入力手段により入力された画像データの、 前記画像データの前景オブジェ ク トを構成する前景オブジェク ト成分と、 前記画像データの背景オブジェク トを 構成する背景オブジェク ト成分が混合された混合領域の混合比を推定する混合比 推定手段と、

前記混合比推定手段により推定された混合比に基づいて、 前記入力手段により 入力された画像データを、 前記画像データの前景オブジェク トを構成する前景ォ ブジェク ト成分からなる前景成分画像と、 前記画像データの背景オブジェク トを 構成する背景ォブジェク ト成分からなる背景成分画像に、 実時間で分離する分離 手段と、

前記分離手段により分離された前記前景成分画像、 および、 前記背景成分画像 を実時間で記憶する記憶手段と

を備えることを特徴とする画像処理装置。

2 . 画像を構成する光を光電変換し、 光電変換することで得られた電荷を時間 的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された画 像を構成する光の量に応じて決定される画素値からなる画像データとして撮像す る撮像手段をさらに備える

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記撮像手段に対して撮像を指令する撮像指令手段と、

前記撮像指令手段の指令に応じて課金処理を実行する撮像課金手段とをさらに 備える

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記分離手段により実時間で分離された前記前景成分画像、 および、 前記 背景成分画像、 並びに、 前記記憶手段により既に記憶された前記前景成分画像、 および、 前記背景成分画像を表示する画像表示手段と、 前記画像表示手段により表示された、 前記分離手段により実時間で分離された 前記前景成分画像、 および、 前記背景成分画像、 並びに、 前記記憶手段により既 に記憶された前記前景成分画像、 および、 前記背景成分画像のうち、 所望とする 前景成分画像、 および、 背景成分画像を指定する画像指定手段と、

前記指定手段により指定された所望とする前景成分画像、 および、 背景成分画 像を合成する合成手段とをさらに備える

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

5 . 前記合成手段に対して画像の合成を指令する合成指令手段と、

前記合成指令手段の指令に応じて課金処理を実行する合成課金手段とをさらに 備える

ことを特徴とする請求の範囲第 4項に記載の画像処理装置。

6 . 前記記憶手段に対して、 前記分離手段により分離された前記前景成分画像、 および、 前記背景成分画像の実時間での記憶をするか否かを指令する記憶指令手 段と、

前記記憶指令手段の指令に応じて課金処理を実行する記憶課金手段とをさらに 備える

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

7 . 前記分離手段により実時間で分離された前記前景成分画像、 または、 前記 記憶手段により既に記憶されている前記前景成分画像の動きボケを調整する動き ボケ調整手段をさらに備える

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

8 . 前記動きボケ調整手段により動きボケ調整された前記前景成分画像を表示 する動きボケ調整画像表示手段をさらに備える

ことを特徴とする請求の範囲第 7項に記載の画像処理装置。

9 . 前記動きボケ調整手段により動きボケ調整されている、 前記前景成分画像 と前記背景成分画像とを合成する合成手段をさらに備え、

前記動きボケ調整画像表示手段は、 前記動きボケ調整手段により動きボケ調整 されている、 前記前景成分画像と前記背景成分画像とが、 前記合成手段により合 成された画像を表示する

ことを特徴とする請求の範囲第 8項に記載の画像処理装置。

1 0 . 前記動きボケ調整手段が、 前記前景成分画像の動きボケを調整する時間 を計測する処理時間計測手段と、

前記処理時間計測手段により計測された時間に応じて課金処理を実行する動き ボケ調整課金手段とをさらに備える

ことを特徴とする請求の範囲第 7項に記載の画像処理装置。

1 1 . 自らの稼働時間を計測する稼働時間計測手段と、

前記稼動時間計測手段により計測された時間に応じて課金処理を実行する稼動 課金手段とをさらに備える

ことを特徴とする請求の範囲第 8項に記載の画像処理装置。

1 2 . それぞれ時間積分効果を有する所定数の画素を含む撮像素子によって取 得された所定数の画素データからなる画像データを入力する入力ステップと、 前記入力ステップの処理で入力された画像データの、 前記画像データの前景ォ ブジェク トを構成する前景オブジェク ト成分と、 前記画像データの背景オブジェ クトを構成する背景ォブジェクト成分が混合された混合領域の混合比を推定する 混合比推定ステップと、

前記混合比推定ステップの処理で推定された混合比に基づいて、 前記入力ステ ップの処理で入力された画像データを、 前記画像データの前景オブジェク トを構 成する前景ォブジェクト成分からなる前景成分画像と、 前記画像データの背景ォ ブジェクトを構成する背景ォブジェク ト成分からなる背景成分画像に、 実時間で 分離する分離ステップと、

前記分離ステップの処理で分離された前記前景成分画像、 および、 前記背景成 分画像を実時間で記憶する記憶ステップと

を含むことを特徴とする画像処理方法。

1 3 . 画像を構成する光を光電変換し、 光電変換することで得られた電荷を時 間的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された 画像を構成する光の量に応じて決定される画素値からなる画像データとして撮像 する撮像ステップをさらに含む

ことを特徴とする請求の範囲第 1 2項に記載の画像処理方法。

1 4 . 前記撮像ステップの処理に対して撮像を指令する撮像指令ステップと、 前記撮像指令ステップの処理での指令に応じて課金処理を実行する撮像課金ス テツプとをさらに含む

ことを特徴とする請求の範囲第 1 3項に記載の画像処理方法。

1 5 . 前記分離ステップの処理により実時間で分離された前記前景成分画像、 および、 前記背景成分画像、 並びに、 前記記憶ステップの処理により既に記憶さ れた前記前景成分画像、 および、 前記背景成分画像を表示する画像表示ステップ と、

前記画像表示ステップの処理により表示された、 前記分離ステップの処理によ り実時間で分離された前記前景成分画像、 および、 前記背景成分画像、 並びに、 前記記憶ステップの処理により既に記憶された前記前景成分画像、 および、 前記 背景成分画像のうち、 所望とする前景成分画像、 および、 背景成分画像を指定す る画像指定ステップと、

前記指定ステップの処理により指定された所望とする前景成分画像、 および、 背景成分画像を合成する合成ステップとをさらに含む

ことを特徴とする請求の範囲第 1 2項に記載の画像処理方法。

1 6 . 前記合成ステップの処理に対して画像の合成を指令する合成指令ステツ プと、

前記合成指令ステップの処理での指令に応じて課金処理を実行する合成課金ス テツプとをさらに含む

ことを特徴とする請求の範囲第 1 5項に記載の画像処理方法。

1 7 . 前記記憶ステップの処理に対して、 前記分離ステップの処理により分離 された前記前景成分画像、 および、 前記背景成分画像の実時間での記憶をするか 否かを指令する記憶指令ステップと、

前記記憶指令ステップの処理での指令に応じて課金処理を実行する記憶課金ス テツプとをさらに含む

ことを特徴とする請求の範囲第 1 2項に記載の画像処理方法。

1 8 . 前記分離ステップの処理により実時間で分離された前記前景成分画像、 または、 前記記憶ステップの処理により既に記憶されている前記前景成分画像の 動きボケを調整する動きボケ調整ステップをさらに含む

ことを特徴とする請求の範囲第 1 2項に記載の画像処理方法。

1 9 . 前記動きボケ調整ステップの処理により動きボケ調整された前記前景成 分画像を表示する動きボケ調整画像表示ステップをさらに含む

ことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 0 . 前記動きボケ調整ステップの処理により動きボケ調整されている、 前記 前景成分画像と前記背景成分画像とを合成する合成ステツプをさらに含み、 前記動きボケ調整画像表示ステツプの処理は、 前記動きボケ調整ステップの処 理により動きボケ調整されている、 前記前景成分画像と前記背景成分画像とが、 前記合成ステップの処理により合成された画像を表示する

ことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 1 . 前記動きボケ調整ステップの処理が、 前記前景成分画像の動きボケを調 整する時間を計測する処理時間計測ステップと、

前記処理時間計測ステップの処理により計測された時間に応じて課金処理を実 行する動きボケ調整課金ステップとをさらに含む

ことを特徴とする請求の範囲第 1 8項に記載の画像処理方法。

2 2 . 自らの稼働時間を計測する稼働時間計測ステップと、

前記稼動時間計測ステップの処理により計測された時間に応じて課金処理を実 行する稼動課金ステップとをさらに含む

ことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 3 . それぞれ時間積分効果を有する所定数の画素を含む撮像素子によって取 得された所定数の画素データからなる画像データの入力を制御する入力制御ステ ップと、

前記入力制御ステップの処理で入力された画像データの、 前記画像データの前 景ォブジェク トを構成する前景ォブジェク ト成分と、 前記画像データの背景ォブ ジェク トを構成する背景ォブジェク ト成分が混合された混合領域の混合比の推定 を制御する混合比推定制御ステップと、

前記混合比推定制御ステップの処理で推定された混合比に基づいて、 前記入力 制御ステップの処理で入力された画像データを、 前記画像データの前景オブジェ ク トを構成する前景オブジェク ト成分からなる前景成分画像と、 前記画像データ の背景オブジェク トを構成する背景オブジェク ト成分からなる背景成分画像との、 実時間での分離を制御する分離制御ステップと、

前記分離制御ステップの処理で分離された前記前景成分画像、 および、 前記背 景成分画像の実時間での記憶を制御する記憶制御ステップと

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。

2 4 . 画像を構成する光を光電変換し、 光電変換することで得られた電荷の時 間的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された 画像を構成する光の量に応じて決定される画素値からなる画像データとしての撮 像を制御する撮像制御ステップをさらに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 3項に記載の記録媒体。

2 5 . 前記撮像制御ステップの処理に対しての撮像の指令を制御する撮像指令 制御ステップと、

前記撮像指令制御ステップの処理での指令に応じた課金処理の実行を制御する 撮像課金制御ステップとをさらに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 4項に記載の記録媒体。

2 6 . 前記分離制御ステップの処理により実時間での分離が制御された前記前 景成分画像、 および、 前記背景成分画像、 並びに、 前記記憶制御ステップの処理 により既に記憶が制御された前記前景成分画像、 および、 前記背景成分画像の表 示を制御する画像表示制御ステップと、

前記画像表示制御ステップの処理により表示が制御された、 前記分離制御ステ ップの処理により実時間での分離が制御された前記前景成分画像、 および、 前記 背景成分画像、 並びに、 前記記憶制御ステップの処理により既に記憶が制御され た前記前景成分画像、 および、 前記背景成分画像のうち、 所望とする前景成分画 像、 および、 背景成分画像の指定を制御する画像指定制御ステップと、

前記指定制御ステップの処理により指定が制御された所望とする前景成分画像、 および、 背景成分画像の合成を制御する合成制御ステップとをさらに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 3項に記載の記録媒体。

2 7 . 前記合成制御ステップの処理に対しての画像の合成の指令を制御する合 成指令制御ステップと、

前記合成指令制御ステップの処理で制御された指令に応じて課金処理の実行を 制御する合成課金制御ステップとをさらに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 6項に記載の記録媒体。

2 8 . 前記記憶制御ステップの処理に対して、 前記分離制御ステップの処理に より分離が制御された前記前景成分画像、 および、 前記背景成分画像の実時間で の記憶をするか否かの指令を制御する記憶指令制御ステップと、

前記記憶指令制御ステップの処理で制御された指令に応じて課金処理の実行を 制御する記憶課金制御ステップとをさらに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 3項に記載の記録媒体。

2 9 . 前記分離制御ステップの処理により実時間で分離が制御された前記前景 成分画像、 または、 前記記憶制御ステップの処理により既に記憶が制御されてい る前記前景成分画像の動きボケの調整を制御する動きボケ調整制御ステップをさ らに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 3項に記載の記録媒体。

3 0 . 前記動きボケ調整制御ステップの処理により動きボケ調整が制御された 前記前景成分画像の表示を制御する動きボケ調整画像表示制御ステップをさらに 含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 9項に記載の記録媒体。

3 1 . 前記動きボケ調整制御ステップの処理により動きボケ調整が制御されて いる、 前記前景成分画像と前記背景成分画像との合成を制御する合成制御ステツ プをさらに含み、

前記動きボケ調整画像表示制御ステップの処理は、 前記動きボケ調整制御ステ ップの処理により動きボケ調整が制御されている、 前記前景成分画像と前記背景 成分画像とが、 前記合成制御ステップの処理により合成が制御された画像の表示 を制御する

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 3 0項に記載の記録媒体。

3 2 . 前記動きボケ調整制御ステップの処理が、 前記前景成分画像の動きボケ の調整を制御する時間の計測を制御する処理時間計測制御ステップと、

前記処理時間計測制御ステップの処理により計測が制御された時間に応じて課 金処理の実行を制御する動きボケ調整課金制御ステップとをさらに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 2 9項に記載の記録媒体。

3 3 . 自らの稼働時間の計測を制御する稼働時間計測制御ステップと、 前記稼動時間計測制御ステップの処理により計測が制御された時間に応じて課 金処理の実行を制御する稼動課金制御ステップとをさらに含む

ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている 請求の範囲第 3 0項に記載の記録媒体。

3 4 . それぞれ時間積分効果を有する所定数の画素を含む撮像素子によって取 得された所定数の画素データからなる画像データの入力を制御する入力制御ステ ップと、

前記入力制御ステップの処理で入力された画像データの、 前記画像データの前 景オブジェク トを構成する前景オブジェク ト成分と、 前記画像データの背景ォブ ジェク トを構成する背景オブジェク ト成分が混合された混合領域の混合比の推定 を制御する混合比推定制御ステップと、

前記混合比推定制御ステップの処理で推定された混合比に基づいて、 前記入力 制御ステツプの処理で入力された画像データを、 前記画像データの前景オブジェ ク トを構成する前景ォブジェク ト成分からなる前景成分画像と、 前記画像データ の背景オブジェク トを構成する背景オブジェク ト成分からなる背景成分画像との、 実時間での分離を制御する分離制御ステツプと、

前記分離制御ステップの処理で分離された前記前景成分画像、 および、 前記背 景成分画像の実時間での記憶を制御する記憶制御ステップと

をコンピュータに実行させるプログラム。

3 5 . 画像を構成する光を光電変換し、 光電変換することで得られた電荷の時 間的に積分する所定数の撮像素子により、 画素毎に、 かつ、 時間的に積分された 画像を構成する光の量に応じて決定される画素値からなる画像データとしての撮 像を制御する撮像制御ステップをさらに含む

処理をコンピュータに実行させる請求の範囲第 3 4項に記載のプログラム。

3 6 . 前記撮像制御ステップの処理に対しての撮像の指令を制御する撮像指令 制御ステップと、

前記撮像指令制御ステップの処理での指令に応じた課金処理の実行を制御する 撮像課金制御ステップとをさらに含む 処理をコンピュータに実行させる請求の範囲第 3 5項に記載のプログラム。

3 7 . 前記分離制御ステップの処理により実時間での分離が制御された前記前 景成分画像、 および、 前記背景成分画像、 並びに、 前記記憶制御ステップの処理 により既に記憶が制御された前記前景成分画像、 および、 前記背景成分画像の表 示を制御する画像表示制御ステップと、

前記画像表示制御ステップの処理により表示が制御された、 前記分離制御ステ ップの処理により実時間での分離が制御された前記前景成分画像、 および、 前記 背景成分画像、 並びに、 前記記憶制御ステップの処理により既に記憶が制御され た前記前景成分画像、 および、 前記背景成分画像のうち、 所望とする前景成分画 像、 および、 背景成分画像の指定を制御する画像指定制御ステップと、

前記指定制御ステップの処理により指定が制御された所望とする前景成分画像、 および、 背景成分画像の合成を制御する合成制御ステップとをさらに含む

処理をコンピュータに実行させる請求の範囲第 3 4項に記載のプログラム。

3 8 . 前記合成制御ステップの処理に対しての画像の合成の指令を制御する合 成指令制御ステップと、

前記合成指令制御ステップの処理で制御された指令に応じて課金処理の実行を 制御する合成課金制御ステップとをさらに含む

処理をコンピュータに実行させる請求の範囲第 3 7項に記載のプログラム。

3 9 . 前記記憶制御ステップの処理に対して、 前記分離制御ステップの処理に より分離が制御された前記前景成分画像、 および、 前記背景成分画像の実時間で の記憶をするか否かの指令を制御する記憶指令制御ステップと、

前記記憶指令制御ステップの処理で制御された指令に応じて課金処理の実行を 制御する記憶課金制御ステップとをさらに含む

処理をコンピュータに実行させる請求の範囲第 3 4項に記載のプログラム。

4 0 . 前記分離制御ステップの処理により実時間で分離が制御された前記前景 成分画像、 または、 前記記憶制御ステップの処理により既に記憶が制御されてい る前記前景成分画像の動きボケの調整を制御する動きボケ調整制御ステップをさ らに含む

処理をコンピュータに実行させる請求の範囲第 3 4項に記載のプログラム。

4 1 . 前記動きボケ調整制御ステップの処理により動きボケ調整が制御された 前記前景成分画像の表示を制御する動きボケ調整画像表示制御ステップをさらに 含む

処理をコンピュータに実行させる請求の範囲第 4 0項に記載のプログラム。

4 2 . 前記動きボケ調整制御ステップの処理により動きボケ調整が制御されて いる、 前記前景成分画像と前記背景成分画像との合成を制御する合成制御ステツ プをさらに含み、

前記動きボケ調整画像表示制御ステップの処理は、 前記動きボケ調整制御ステ ップの処理により動きボケ調整が制御されている、 前記前景成分画像と前記背景 成分画像とが、 前記合成制御ステップの処理により合成が制御された画像の表示 を制御する

処理をコンピュータに実行させる請求の範囲第 4 1項に記載のプログラム。

4 3 . 前記動きボケ調整制御ステップの処理が、 前記前景成分画像の動きボケ の調整を制御する時間の計測を制御する処理時間計測制御ステップと、

前記処理時間計測制御ステップの処理により計測が制御された時間に応じて課 金処理の実行を制御する動きボケ調整課金制御ステップとをさらに含む

処理をコンピュータに実行させる請求の範囲第 4 0項に記載のプログラム。

4 4 . 自らの稼働時間の計測を制御する稼働時間計測制御ステップと、 前記稼動時間計測制御ステップの処理により計測が制御された時間に応じて課 金処理の実行を制御する稼動課金制御ステップとをさらに含む

処理をコンピュータに実行させる請求の範囲第 4 1項に記載のプログラム。