WO2003003307A1

WO2003003307A1 - Image processing apparatus and method, and image pickup apparatus

Info

Publication number: WO2003003307A1
Application number: PCT/JP2002/006385
Authority: WO
Inventors: Tetsujiro Kondo; Takahiro Nagano; Junichi Ishibashi; Takashi Sawao; Naoki Fujiwara; Seiji Wada; Toru Miyake
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-06-27
Filing date: 2002-06-26
Publication date: 2003-01-09
Anticipated expiration: 2003-12-27
Also published as: EP1400925A1; US20040028259A1; CN1471694A; CA2420069C; JP4840630B2; US7181080B2; CN1313975C; EP1400925A4; JP2003008991A; MXPA03001576A; KR100894923B1; KR20040014951A; CA2420069A1

Description

明細書

画像処理装置および方法、並びに撮像装置技術分野

本発明は、画像処理装置および方法、並びに撮像装置に関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置および方法、並びに撮像装置に関する。背景技術

現実世界における事象をセンサで検出し、画像センサが出力するサンプリングデータを処理する技術が広く利用されている。

例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。

しかしながら、静止している背景の前で物体が移動するとき、移動する物体の画像自身の混ざり合いによる動きボケのみならず、背景の画像と移動する物体の画像との混ざり合いが生じる。従来は、背景の画像と移動する物体の画像との混ざり合いの状態に対応する処理は、考えられていなかった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、背景の画像の領域、移動する物体の画像の領域、および混ざり合いが生じている画像の領域を特定することができるようにすることを目的とする。

本発明の画像処理装置は、画像データの注目フレームの注目画素に対応する、注目フレームの周辺の周辺フレームの画素データを、画像データの複数のォブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、注目フレームに存在する注目画素の注目画素データを抽出し、注目画素について、注目画素データおよび背景画素データの関係を示す、複数の関係式を生成する関係式生成手段と、関係式に基づいて、注目画素に対応して、現実世界において複数であるオブジェクトの混合状態を示す混合比を検出する混合比検出手段と、混合比検出手段により検出された混合比を関係式に代入することにより予測誤差を演算する予測誤差演算手段と、予測誤差を基に、注目画素の属する領域が、複数のオブジェク卜が混合されてなる混合領域であって、複数のォブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、混合領域であって、前景ォブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックグラウンド領域アンカバードバックグラウンド領域特定手段と、注目画素の属する領域が、前景ォブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定手段とを含むことを特徴とする。

混合比検出手段は、関係式に基づいて、注目画素に対応して、注目画素に含まれる前景オブジェクト成分を検出すると共に、混合比を検出し、予測誤差演算手段は、混合比検出手段により検出された混合比および注目画素に含まれる前景ォブジェクト成分を関係式に代入することにより予測誤差を演算するようにすることができる。

関係式生成手段は、注目画素に対応する、周辺フレームの画素データを、背景オブジェクトに相当する背景画素データとして抽出すると共に、注目画素の注目画素データ、および注目フレーム内の注目画素の近傍に位置する、近傍画素の近傍画素データを抽出し、注目画素について、注目画素データおよび近傍画素データ、並びに注目画素データまたは近傍画素データに対応する背景画素データの関係を示す、複数の関係式を生成するようにすることができる。

関係式生成手段は、注目画素データおよび近傍画素データに含まれる、前景ォブジェクト成分が等しいとする第 1の近似、および混合領域において混合比の変化が混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成手段は、注目画素データおよび近傍画素データに含まれる、前景ォブジェクト成分が等しいとする第 1の近似、および混合領域において混合比の変化が混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

混合比検出手段は、複数の関係式を最小自乗法で解くことにより、混合比を検出するようにすることができる。

関係式生成手段は、注目画素が、カバードバックグラウンド領域に属するとした場合、注目フレームの前のフレームの画素データを、背景画素データとして抽出し、注目画素が、アンカバードバックグラウンド領域に属するとした場合、注目フレームの次のフレームの画素データを、背景画素データとして抽出し、複数の関係式を生成するようにすることができる。

関係式生成手段は、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データにの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームとは異なるフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成するようにすることができる。

関係式生成手段は、混合画素データに対応する前景オブジェクト成分が等しいとする第 1の近似、および注目フレームおよび周辺フレームから抽出された混合画素データは一定であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成手段は、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景オブジェクトの動きを基に、混合画素データが抽出されたフレームの前のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域アンカバードバックグラウンド領域特定手段は、予測誤差が所定の閾値以上である領域をアンカバードバックグラウンド領域であると特定するようにすることができる。

関係式生成手段は、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景オブジェクトの動きを基に、混合画素データが抽出されたフレームの次のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域ァンカバードバックグラウンド領域特定手段は、予測誤差が所定の閾値以上である領域をカバードバックグラウンド領域であると特定するようにすることができる。

本発明の画像処理方法は、画像データの注目フレームの注目画素に対応する、注目フレームの周辺の周辺フレームの画素データを、画像データの複数のォブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、注目フレームに存在する注目画素の注目画素データを抽出し、注目画素について、注目画素データおよび背景画素データの関係を示す、複数の関係式を生成する関係式生成ステップと、関係式に基づいて、注目画素に対応して. 現実世界において複数であるォブジェクトの混合状態を示す混合比を検出する混合比検出ステップと、混合比検出ステップの処理により検出された混合比を関係式に代入することにより予測誤差を演算する予測誤差演算ステップと、予測誤差を基に、注目画素の属する領域が、複数のォブジェクトが混合されてなる混合領域であって、複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、混合領域であって、前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックグラウンド領域アンカバードバックグラウンド領域特定ステップと、注目画素の属する領域が、前景ォブジェクトを構成する前景オブジェクト成分のみからなる前景領域である力または、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定ステップとを含むことを特徴とする。混合比検出ステップは、関係式に基づいて、注目画素に対応して、注目画素に含まれる前景ォブジェクト成分を検出すると共に、混合比を検出し、予測誤差演算ステップは、混合比検出ステップの処理により検出された混合比および注目画素に含まれる前景ォブジェクト成分を関係式に代入することにより予測誤差を演算するようにすることができる。

関係式生成ステップは、注目画素に対応する、周辺フレームの画素データを、背景オブジェクトに相当する背景画素データとして抽出すると共に、注目画素の注目画素データ、および注目フレーム内の注目画素の近傍に位置する、近傍画素の近傍画素データを抽出し、注目画素について、注目画素データおよび近傍画素データ、並びに注目画素データまたは近傍画素データに対応する背景画素データの関係を示す、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素データおよび近傍画素データに含まれる、前景ォブジヱクト成分が等しいとする第 1の近似、および混合領域において混合比の変化が混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素データおよび近傍画素データに含まれる、前景ォブジュクト成分が等しいとする第 1の近似、および混合領域において混合比の変化が混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

混合比検出ステップは、複数の関係式を最小自乗法で解くことにより、混合比を検出するようにすることができる。

関係式生成ステップは'、注目画素が、カバードバックグラウンド領域に属するとした場合、注目フレームの前のフレームの画素データを、背景画素データとして抽出し、注目画素が、アンカバードバックグラウンド領域に属するとした場合, 注目フレームの次のフレームの画素データを、背景画素データとして抽出し、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データにの個々に対応して、背景ォプジェクトの動きを基に、混合画素データが抽出されたフレームとは異なるフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成するようにすることができる。

関係式生成ステップは、混合画素データに対応する前景オブジェクト成分が等しいとする第 1の近似、および注目フレームおよび周辺フレームから抽出された混合画素データは一定であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景ォブジエタトの動きを基に、混合画素データが抽出されたフレームの前のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域アンカバードバックグラウンド領域特定ステップは、予測誤差が所定の閾値以上である領域をァンカバードバックグラウンド領域であると特定するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のォブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームの次のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域アンカバードバックグラウンド領域特定ステップは- 予測誤差が所定の閾値以上である領域をカバードバックグラウンド領域であると特定するようにすることができる。

本発明の記録媒体のプログラムは、画像データの注目フレームの注目画素に対応する、注目フレームの周辺の周辺フレームの画素データを、画像データの複数のオブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、注目フレームに存在する注目画素の注目画素データを抽出し、注目画素について、注目画素データおよび背景画素データの関係を示す、複数の関係式を生成する関係式生成ステップと、関係式に基づいて、注目画素に対応して、現実世界において複数であるオブジェクトの混合状態を示す混合比を検出する混合比検出ステップと、混合比検出ステップの処理により検出された混合比を関係式に代入することにより予測誤差を演算する予測誤差演算ステップと. 予測誤差を基に、注目画素の属する領域が、複数のオブジェクトが混合されてなる混合領域であって、複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、混合領域であって、前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定する力バードバックグラウンド領域アンカバードバックグラウンド領域特定ステップと、注目画素の属する領域が. 前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定ステツプとを含むことを特徴とする。

混合比検出ステップは、関係式に基づいて、注目画素に対応して、注目画素に含まれる前景オブジェクト成分を検出すると共に、混合比を検出し、予測誤差演算ステップは、混合比検出ステップの処理により検出された混合比および注目画素に含まれる前景オブジェクト成分を関係式に代入することにより予測誤差を演算するようにすることができる。

関係式生成ステップは、注目画素データおよび近傍画素データに含まれる、前景ォブジェクト成分が等しいとする第 1の近似、および混合領域において混合比の変化が混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素データおよび近傍画素データに含まれる、前景オブジェクト成分が等しいとする第 1の近似、および混合領域において混合比の変化が混合領域の画素の位置に对して平面的であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素が、カバードバックグラウンド領域に属するとした場合、注目フレームの前のフレームの画素データを、背景画素データとして抽出し、注目画素が、アンカバードバックグラウンド領域に属するとした場合、注目フレームの次のフレームの画素データを、背景画素データとして抽出し、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のォブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データにの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームとは異なるフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームの前のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域アンカバードバックグラウンド領域特定ステツプは、予測誤差が所定の閾値以上である領域をアンカバードバックグラウンド領域であると特定するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームの次のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域アンカバードバックグラウンド領域特定ステップは, 予測誤差が所定の閾値以上である領域をカバードバックグラウンド領域であると特定するようにすることができる。

本発明のプログラムは、コンピュータに、画像データの注目フレームの注目画素に対応する、注目フレームの周辺の周辺フレームの画素データを、画像データの複数のオブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、注目フレームに存在する注目画素の注目画素データを抽出し、注目画素について、注目画素データおよび背景画素データの関係を示す、複数の関係式を生成する関係式生成ステップと、関係式に基づいて、注目画素に対応して、現実世界において複数であるオブジェクトの混合状態を示す混合比を検出する混合比検出ステップと、混合比検出ステップの処理により検出された混合比を関係式に代入することにより予測誤差を演算する予測誤差演算ステップと、予測誤差を基に、注目画素の属する領域が、複数のオブジェクトが混合されてなる混合領域であって、複数のオブジェクトのうちの前景となる前景ォブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、混合領域であって、前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックダラゥンド領域アンカバードバックグラウンド領域特定ステップと、注目画素の属する領域が、前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定ステツプとを実行させることを特徴とする。

関係式生成ステップは、注目画素データおよび近傍画素データに含まれる、前景ォブジェクト成分が等しいとする第 1の近似、および混合領域において混合比の変化が混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データにの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームとは異なるフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成するようにすることができる。

関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景ォブジエタトの動きを基に、混合画素データが抽出されたフレームの前のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域アンカバードバックダラゥンド領域特定ステップは、予測誤差が所定の閾値以上である領域をアンカバードバックグラウンド領域であると特定するようにすることができる。関係式生成ステップは、注目画素に対応して、前景オブジェクトの動きを基に- 注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームの次のフレームから, 背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域アンカバードバックグラウンド領域特定ステップは, 予測誤差が所定の閾値以上である領域をカバードバックグラゥンド領域であると特定するようにすることができる。

本発明の撮像装置は、時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、画像データの注目フレームの注目画素に対応する、注目フレームの周辺の周辺フレームの画素データを、画像データの複数のオブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、注目フレームに存在する注目画素の注目画素データを抽出し、注目画素について、注目画素データおよび背景画素データの関係を示す、複数の関係式を生成する関係式生成手段と、関係式に基づいて、注目画素に対応して、現実世界において複数であるオブジェクトの混合状態を示す混合比を検出する混合比検出手段と、混合比検出手段により検出された混合比を関係式に代入することにより予測誤差を演算する予測誤差演算手段と、予測誤差を基に、注目画素の属する領域が、複数のオブジェクトが混合されてなる混合領域であって、複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域である力、または、混合領域であって、前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックグラウンド領域ァンカバードバックグラウンド領域特定手段と、注目画素の属する領域が、前景オブジェクトを構成する前景ォブジエタト成分のみからなる前景領域であるか、または、背景オブジェクトを構成する背景ォブジュクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定手段とを含むことを特徴とする。

混合比検出手段は、関係式に基づいて、注目画素に対応して、注目画素に含まれる前景オブジェクト成分を検出すると共に、混合比を検出し、予測誤差演算手段は、混合比検出手段により検出された混合比および注目画素に含まれる前景ォブジエクト成分を関係式に代入することにより予測誤差を演算するようにすることができる。

関係式生成手段は、注目画素が、カバードバックグラウンド領域に属するとした場合、注目フレームの前のフレームの画素データを、背景画素データとして抽出し、注目画素が、アンカバードバックグラウンド領域に属するとした場合、注目フレームの次のフレームの画素データを、背景画素データとして抽出し、複数の関係式を生成するようにすることができる。関係式生成手段は、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データにの個々に対応して、背景ォブジェクトの動きを基に、混合画素データが抽出されたフレームとは異なるフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成するようにすることができる。

関係式生成手段は、混合画素データに対応する前景ォブジェクト成分が等しいとする第 1の近似、および注目フレームおよび周辺フレームから抽出された混合画素データは一定であるとする第 2の近似に基づいて、複数の関係式を生成するようにすることができる。

関係式生成手段は、注目画素に対応して、前景オブジェクトの動きを基に、注目フレームおよび周辺フレームから、複数のオブジェクトが混合状態にある混合画素データを抽出すると共に、混合画素データの個々に対応して、背景オブジェクトの動きを基に、混合画素データが抽出されたフレームの前のフレームから、背景オブジェトに相当する背景画素データを抽出し、複数の関係式を生成し、力バードバックグラウンド領域ァンカバードバックグラウンド領域特定手段は、予測誤差が所定の閾値以上である領域をアンカバードバックグラウンド領域であると特定するようにすることができる。

画像データの注目フレームの注目画素に対応する、注目フレームの周辺の周辺フレームの画素データを、画像データの複数のオブジェク卜のうちの背景となる背景ォブジェクトに相当する背景画素データとして抽出すると共に、注目フレームに存在する注目画素の注目画素データを抽出し、注目画素について、注目画素データおよび背景画素データの関係を示す、複数の関係式が生成され、関係式に基づいて、注目画素に対応して、現実世界において複数であるォブジェクトの混合状態を示す混合比が検出され、検出された混合比を関係式に代入することにより予測誤差が演算され、予測誤差を基に、注目画素の属する領域が、複数のォブジェクトが混合されてなる混合領域であって、複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラゥンド領域であるか、または、混合領域であって、前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかが特定され、注目画素の属する領域が、前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかが特定される。

これにより、背景の画像の領域、移動する物体の画像の領域、および混ざり合いが生じている画像の領域を特定することができる。図面の簡単な説明

図 1は、本発明に係る画像処理装置の一実施の形態を示す図である。

図 2は、画像処理装置を示すブロック図である。

図 3は、センサによる撮像を説明する図である。

図 4は、画素の配置を説明する図である。

図 5は、検出素子の動作を説明する図である。

図 6 Aは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。

図 6 Bは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像のモデルを説明する図である。図 7は、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。

図 8は、静止している前景に対応するォブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。

図 9は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 0は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 1は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 2は、前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。

図 1 3は、画素と画素値を時間方向に展開したモデルとの対応を示す図である, 図 1 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 5は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 6は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 7は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 8は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 1 9は、動きボケの量の調整の処理を説明するフローチャートである。

図 2 0は、混合比算出部 1 0 3の構成を示すブロック図である。

図 2 1は、理想的な混合比ひの例を示す図である。図 2 2は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 3は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 2 4は、画素の選択を説明する図である。

図 2 5は、画素の選択を説明する図である。

図 2 6は、推定混合比処理部 2 0 1の構成を示すプロック図である。

図 2 7は、推定混合比の算出の処理を説明するフローチャートである。

図 2 8は、カバードバックグラウンド領域に対応するモデルによる混合比推定の算出の処理を説明するフローチャートである。

図 2 9は、混合比算出部 1 0 3の他の構成を示すプロック図である。

図 3 0は、混合比ひを近似する直線を説明する図である。

図 3 1は、混合比 a を近似する平面を説明する図である。

図 3 2は、混合比 Οί を算出するときの複数のフレームの画素の対応を説明する図である。

図 3 3は、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理を説明するフローチヤ一トである。

図 3 4は、混合比算出部 1 0 3のさらに他の構成を示すプロック図である。図 3 5は、領域特定部 1 0 4の構成を示すプロック図である。

図 3 6は、アンカバードバックグラウンド領域判定部 3 0 3の判定の処理を説明する図である。

図 3 7は、アンカバードバックグラウンド領域判定部 3 0 3の判定の処理を説明する図である。

図 3 8は、入力画像の例を示す図である。

図 3 9は、領域判定の結果の例を示す図である。

図 4 0は、領域判定の結果の例を示す図である。

図 4 1は、入力画像の例を示す図である。図 4 2は、領域判定の結果の例を示す図である。

図 4 3は、領域判定の結果の例を示す図である。

図 4 4は、領域特定部 1 0 4の他の構成を示すブロック図である。

図 4 5は、領域特定部 1 0 4のさらに他の構成を示すブロック図である。図 4 6は、領域特定部 1 0 4のさらに他の構成を示すブロック図である。図 4 7は、領域特定の処理を説明するフローチヤ一トである。

図 4 8は、カバードバックグラウンド領域の特定の処理を説明するフローチヤ一トである。

図 4 9は、アンカバードバックグラウンド領域の特定の処理を説明するフローチャートである。

図 5 0は、前景背景分離部 1 0 5の構成の一例を示すプロック図である。図 5 1 Aは、入力画像、前景成分画像、および背景成分画像を示す図である。図 5 1 Bは、入力画像、前景成分画像、および背景成分画像を示す図である。図 5 2は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 3は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 4は、画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 5 5は、分離部 6 0 1の構成の一例を示すブロック図である。

図 5 6 Aは、分離された前景成分画像の例を示す図である。

図 5 6 Bは、分離された背景成分画像の例を示す図である。

図 5 7は、前景と背景との分離の処理を説明するフローチャートである。図 5 8は、動きボケ調整部 1 0 6の構成の一例を示すブロック図である。図 5 9は、処理単位を説明する図である。

図 6 0は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。図 6 1は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 2は、前景成分画像の画素値を時間方向に展開し、シャツタ時問に対応する期間を分割したモデル図である。

図 6 3は、前景成分画像の画素値を時間方向に展開し、シャツタ時間に対応する期間を分割したモデル図である。

図 6 4は、動きボケ調整部 1 0 6の他の構成を示す図である。

図 6 5は、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明するフローチヤ一トである。

図 6 6は、動きボケ調整部 1 0 6の構成の他の一例を示すブロック図である。図 6 7は、画素値と前景の成分のとの対応を指定するモデルの例を示す図である。

図 6 8は、前景の成分の算出を説明する図である。

図 6 9は、前景の成分の算出を説明する図である。

図 7 0は、前景の動きボケの除去の処理を説明するフローチャートである。発明を実施するための最良の形態

図 1は、本発明に係る画像処理装置の一実施の形態を示す図である。 CPU (Central Process ing Unit) 2 1は、 ROM (Read Onl y Memory) 2 2、または記憶部 2 8に記憶されているプログラムに従って各種の処理を実行する。 RAM (Random Access Memory) 2 3には、 CPU 2 1が実行するプログラムやデータなどが適宜記憶される。これらの CPU 2 1、 ROM 2 2 , および RAM 2 3は、ノくス 2 4により相互に接続されている。

CPU 2 1にはまた、バス 2 4を介して入出力インタフェース 2 5が接続されている。入出力インタフェース 2 5には、キーボード、マウス、マイクロホンなどよりなる入力部 2 6、ディスプレイ、スピーカなどよりなる出力部 2 7が接続されている。 CPU 2 1は、入力部 2 6から入力される指令に対応して各種の処理を実行する。そして、 CPU 2 1は、処理の結果得られた画像や音声等を出力部 2 7 に出力する。

入出力ィンタフェース 2 5に接続されている記憶部 2 8は、例えばハードディスクなどで構成され、 CPU 2 1が実行するプログラムや各種のデータを記憶する, 通信部 2 9は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部 2 9はセンサの出力を取り込む取得部として働く, また、通信部 2 9を介してプログラムを取得し、記憶部 2 8に記憶してもよい, 入出力ィンタフェース 2 5に接続されているドライブ 3 0は、磁気ディスク 5 1、光ディスク 5 2、光磁気ディスク 5 3、或いは半導体メモリ 5 4などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部 2 8に転送され、記憶される。

図 2は、画像処理装置を示すブロック図である。

なお、画像処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウエアによる機能プロック図と考えても良い。

この明細書では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。

画像処理装置に供給された入力画像は、オブジェクト抽出部 1 0 1、混合比算出部 1 0 3、領域特定部 1 0 4、および前景背景分離部 1 0 5に供給される。オブジェクト抽出部 1 0 1は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部

1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のォブジェク卜に対応する画像オブジェクトを粗く抽出する。

オブジェクト抽出部 1 0 1は、入力画像に含まれる背景のオブジェク卜に対応する画像ォブジェクトを粗く抽出して、抽出した画像ォブジェクトを動き検出部 1 0 2に供給する。オブジェクト抽出部 1 0 1は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のォブジェクトに対応する画像オブジェクトを粗く抽出する。

また、例えば、オブジェクト抽出部 1 0 1は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。

動き検出部 1 0 2は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のォブジヱクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きべクトルの位置情報（動きべクトルに対応する画素の位置を特定する情報）を混合比算出部 1 0 3および動きボケ調整部 1 0 6に供給する。

動き検出部 1 0 2が出力する動きべクトルには、動き量 Vに対応する情報が含まれるている。

また、例えば、動き検出部 1 0 2は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きべクトルを動きボケ調整部 1 0 6に出力するようにしてもよい。

動き量 Vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて 4画素分離れた位置に表示されるように移動しているとき、前景に対応するォブジェクトの画像の動き量 V は,

4とされる。

なお、オブジェクト抽出部 1 0 1および動き検出部 1 0 2は、動いているォブジェタトに対応した動きボケ量の調整を行う場合に必要となる。

混合比算出部 1 0 3は、入力画像、および動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、画素が混合領域の 1つであるカバードバックグラウンド領域に属すると仮定したとき、推定される混合比（以下、混合比と称する）である推定混合比およびこれに対応する混合比関係情報を生成すると共に、画素が混合領域の他の 1つであるアンカバードバックグラウンド領域に属すると仮定したとき、推定される混合比である推定混合比およびこれに対応する混合比関係情報を生成し、生成した 2つの推定混合比およびこれらに対応する混合比関係情報を領域特定部 1 0 4に供給する。

混合比 or は、後述する式（3 ) に示されるように、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。

カバードバックグラウンド領域およびァンカバードバックグラウンド領域の詳細については、後述する。

領域特定部 1 0 4は、入力画像、並びに混合比算出部 1 0 3から供給された 2 つの推定混合比およびこれらに対応する混合比関係情報を基に、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報 (以下、領域情報と称する）を前景背景分離部 1 0 5および動きボケ調整部 1 0 6に供給する。

領域特定部 1 0 4は、生成した領域情報、並びに混合比算出部 1 0 3から供給された 2つの推定混合比およびこれらに対応する混合比関係情報を基に、混合比を生成し、生成した混合比ひを前景背景分離部 1 0 5に供給する。

前景背景分離部 1 0 5は、領域特定部 1 0 4から供給された領域情報および混合比ひを基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きボケ調整部 1 0 6および選択部 1 0 7に供給する。なお、分離された前景成分画像を最終的な出力とすることも考えられる。従来の混合領域を考慮しないで前景と背景だけを特定し、分離していた方式に比べ正確な前景と背景を得ることが出来る。

動きボケ調整部 1 0 6は、動きべクトルからわかる動き量 Vおよび領域情報を基に、前景成分画像に含まれる 1以上の画素を示す処理単位を決定する。処理単位は、動きボケの量の調整の処理の対象となる 1群の画素を指定するデータである。

動きボケ調整部 1 0 6は、画像処理装置に入力された動きボケ調整量、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きボケを除去する、動きボケの量を減少させる、または動きボケの量を増加させるなど前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を選択部 1 0 7に出力する。動きべクトルとその位置情報は使わないこともある。

ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。

選択部 1 0 7は、例えば使用者の選択に対応した選択信号を基に、前景背景分離部 1 0 5から供給された前景成分画像、および動きボケ調整部 1 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

次に、図 3乃至図 1 8を参照して、画像処理装置に供給される入力画像について説明する。

図 3は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子である CCD (Charge-Coupled Devi ce) エリアセンサを備えた CCDビデオ力メラなどで構成される。現実世界における、前景に対応するォブジェクト 1 1 1 は、現実世界における、背景に対応するオブジェクト 1 1 2と、センサとの間を, 例えば、図中の左側から右側に水平に移動する。

センサは、前景に対応するォブジェクト 1 1 1を、背景に対応するォブジェクト 1 1 2と共に撮像する。センサは、撮像した画像を 1フレーム単位で出力する _t 例えば、センサは、 1秒間に 3 0フレームから成る画像を出力する。センサの露光時間は、 1 3 0秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャツタ時間とも称する。

図 4は、画素の配置を説明する図である。図 4中において、 A乃至 Iは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。 1つの画素に対応する 1つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、 1つの検出素子は、画像を構成する 1つの画素に対応する画素値を出力する。例えば、検出素子の X方向の位置は、画像上の横方向の位置に対応し、検出素子の Y方向の位置は、画像上の縦方向の位置に対応する。

図 5に示すように、例えば、 CCDである検出素子は、シャツタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャツタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャツタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するォブジェクトの空間的に広がりを有するある部分を、シャツタ時間について積分した結果である、 1 次元の空間に射影された値を有する。

画像処理装置は、このようなセンサの蓄積の動作により、出力信号に埋もれてしまった有意な情報、例えば、混合比ひを抽出する。画像処理装置は、前景の画像オブジェクト自身が混ざり合うことによる生ずる歪みの量、例えば、動きボケの量などを調整する。また、画像処理装置は、前景の画像オブジェクトと背景の画像オブジェクトとが混ざり合うことにより生ずる歪みの量を調整する。

図 6 Aは、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図 6 Bは、動いている前景に対応するォブジェクトと、静止している背景に対応するォブジェクトとを撮像して得られる画像のモデルを説明する図である。

図 6 Aは、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図 6 Aに示す例において、前景に対応するォブジェクトは、画面に対して水平に左から右に動いている。

図 6 Bは、図 6 Aに示す画像の 1つのラインに対応する画素値を時間方向に展開したモデル図である。図 6 Bの横方向は、図 6 Aの空間方向 Xに対応している, 背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。

混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックグラゥンド領域およびァンカバードバックグラウンド領域に分類される。

カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。

これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のォブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。

このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはアンカバードバックグラウンド領域を含む画像が、領域特定部 1 0 4、混合比算出部 1 0 3、および前景背景分離部 1 0 5に入力画像として入力される。図 7は、以上のような、背景領域、前景領域、混合領域、カバードバックダラゥンド領域、およびアンカバードバックグラウンド領域を説明する図である。図 6 Aに示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。

図 8は、静止している前景に対応するォブジェクトおよび静止している背景に対応するォブジェクトを撮像した画像における、隣接して 1列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。

図 8に示す F01乃至 F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図 8に示す B01乃至 B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。

図 8における縦方向は、時間に対応し、図中の上から下に向かって時間が経過する。図 8中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図 8中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図 8中の矩形の上辺から下辺までの距離は、シャツタ時間に対応する。

以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。

図 8における横方向は、図 6 Aで説明した空間方向 Xに対応する。より具体的には、図 8に示す例において、図 8中の" F01 " と記載された矩形の左辺から" B04" と記載された矩形の右辺までの距離は、画素のピッチの 8倍、すなわち、連続している 8つの画素の間隔に対応する。

前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される光は変化しない。

ここで、シャツタ時間に対応する期間を 2つ以上の同じ長さの期間に分割する, 例えば、仮想分割数を 4とすると、図 8に示すモデル図は、図 9に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャツタ時間内での動き量 Vなどに対応して設定される。例えば、 4である動き量 Vに対応して、仮想分割数は、 4とされ、シャツタ時間に対応する期間は 4つに分割される。

図中の最も上の行は、シャツタが開いて最初の、分割された期間に対応する。図中の上から 2番目の行は、シャツタが開いて 2番目の、分割された期間に対応する。図中の上から 3番目の行は、シャツタが開いて 3番目の、分割された期間に対応する。図中の上から 4番目の行は、シャツタが開いて 4番目の、分割された期間に対応する。

以下、動き量 Vに対応して分割されたシャツタ時間をシャツタ時間/ Vとも称する。

前景に対応するォブジェクトが静止しているとき、センサに入力される光は変化しないので、前景の成分 FO l/vは、画素値 F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェク卜が静止しているとき、前景の成分

F02/v は、画素値 F02 を仮想分割数で除した値に等しく、前景の成分 F03/v は、画素値 F03を仮想分割数で除した値に等しく、前景の成分 F04/vは、画素値 F04を仮想分割数で除した値に等しい。

背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分 BO l/vは、画素値 B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分 B02/vは、画素値 B02を仮想分割数で除した値に等しく、 B03/vは、画素値 B03 を仮想分割数で除した値に等しく、 B04/vは、画素値 B04を仮想分割数で除した値に等しい。

すなわち、前景に対応するオブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vと、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する前景の成分 FO l/vとは、同じ値となる。 F02/v乃至 F04/vも、 FO l/vと同様の関係を有する。

背景に対応するォブジェクトが静止している場合、シャツタ時間に対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャツタが開いて最初の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 2番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 3番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v と、シャツタが開いて 4番目の、シャツタ時間/ Vに対応する背景の成分 BO l/v とは、同じ値となる。 B02/v乃至 B04/vも、同様の関係を有する。

次に、前景に対応するォブジェクトが移動し、背景に対応するォブジェクトが静止している場合について説明する。

図 1 0は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 0において、前景の動き量 Vは、 4である。 1フレームは短い時間なので、前景に対応するオブジェクトが剛体であり等速で移動していると仮定することができる。図 1 0において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動する。

図 1 0において、最も左側の画素乃至左から 4番目の画素は、前景領域に属する。図 1 0において、左から 5番目乃至左から 7番目の画素は、カバードバックグラウンド領域である混合領域に属する。図 1 0において、最も右側の画素は、背景領域に属する。

前景に対応するォブジェクトが時間の経過と共に背景に対応するォブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。

例えば、図 1 0中に太線枠を付した画素値 Mは、式（1 ) で表される。

M=B02/v+B02/v+F07/v+F06/v ( 1 )

例えば、左から 5番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比は、 1/4である。左から 6番目の画素は、 2つのシャツタ時間 /vに対応する背景の成分を含み、 2つのシャツタ時間 /vに対応する前景の成分を含むので、左から 6番目の画素の混合比ひは、 1/2である。左から 7 番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比は、 3/4である。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 4番目の画素の、シャツタが開いて最初の、シャツタ時間/ V の前景の成分 F07/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F07/vは、図 1 0中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しレ、₀

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 3番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分 F06/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 2 番目のシャツタ時間 /vに対応する前景の成分に等しい。同様に、前景の成分 F06/vは、図 1 0中の左から 5番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 6番目の画素の、シャツタが開いて 4番目のシャッタ時間 /vに対応する前景の成分とに、それぞれ等しレ、。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の左から 2番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分 F05/vは、図 1 0中の左から 3番目の画素の、シャツタが開いて 2 番目のシャツタ時間 /vのに対応する前景の成分に等しい。同様に、前景の成分 F05/vは、図 1 0中の左から 4番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 0中の左から 5番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vに対応する前景の成分とに、それぞれ等しレ、。

前景に対応するォブジェクトが、剛体であり、前景の画像が次のフレームにおいて 4画素右側に表示されるように等速で移動すると仮定できるので、例えば、図 1 0中の最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分 F04/vは、図 1 0中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F04/v は、図 1 0中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間 /vに対応する前景の成分と、図 1 0中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しい。動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。

図 1 1は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、 1つのライン上の画素の画素値を時間方向に展開したモデル図である。図 1 1において、前景の動き量 Vは、 4である。 1フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図 1 1において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて 4画素分右側に移動する, 図 1 1において、最も左側の画素乃至左から 4番目の画素は、背景領域に属する。図 1 1において、左から 5番目乃至左から 7番目の画素は、アンカバードバックグラウンドである混合領域に属する。図 1 1において、最も右側の画素は、前景領域に属する。

背景に対応するオブジェクトを覆っていた前景に対応するォブジェクトが時間の経過と共に背景に対応するォブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャツタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。

例えば、図 1 1中に太線枠を付した画素値 M'は、式（2 ) で表される。

M' =F02/v+F01/v+B26/v+B26/v ( 2 )

例えば、左から 5番目の画素は、 3つのシャツタ時間/ Vに対応する背景の成分を含み、 1つのシャツタ時間/ Vに対応する前景の成分を含むので、左から 5 番目の画素の混合比は、 3/4である。左から 6番目の画素は、 2つのシャツタ時間/ Vに対応する背景の成分を含み、 2つのシャツタ時間 /vに対応する前景の成分を含むので、左から 6番目の画素の混合比ひは、 1/2である。左から 7 番目の画素は、 1つのシャツタ時間/ Vに対応する背景の成分を含み、 3つのシャッタ時間/ Vに対応する前景の成分を含むので、左から 7番目の画素の混合比 a は、 1/4である。

式（1 ) および式（2 ) をより一般化すると、画素値 Mは、式（3 ) で表される。

M= -B +∑Fi/v (3)

i

ここで、ひは、混合比である。 Bは、背景の画素値であり、 Fi/vは、前景の成分である。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 5番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 FO l/vは、図 1 1中の左から 6 番目の画素の、シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成分に等しい。同様に、 FO l/vは、図 1 1中の左から 7番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分と、図 1 1中の左から 8 番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vに対応する前景の成分とに、それぞれ等しい。

前景に対応するォブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が 4であるので、例えば、図 1 1中の左から 6番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F02/vは、図 1 1中の左から 7 番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vに対応する前景の成分に等しい。同様に、前景の成分 F02/v は、図 1 1中の左から 8番目の画素の, シャッタが開いて 3番目のシャツタ時間/ Vに対応する前景の成分に等しい。

前景に対応するォブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量 Vが 4であるので、例えば、図 1 1中の左から 7番目の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分 F03/vは、図 1 1中の左から 8 番目の画素の、シャッタが開いて 2番目のシャッタ時間/ Vに対応する前景の成分に等しい。

図 9乃至図 1 1の説明において、仮想分割数は、 4であるとして説明したが、仮想分割数は、動き量 Vに対応する。動き量 Vは、一般に、前景に対応するォブジェクトの移動速度に対応する。例えば、前景に対応するォブジェクトが、あるフレームを基準として次のフレームにおいて 4画素分右側に表示されるように移動しているとき、動き量 Vは、 4とされる。動き量 Vに対応し、仮想分割数は、 4とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて 6画素分左側に表示されるように移動しているとき、動き量 Vは、 6とされ、仮想分割数は、 6とされる。

図 1 2および図 1 3に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバ一ドバックグラウンド領域から成る混合領域と、分割されたシャッタ時間に対応する前景の成分および背景の成分との関係を示す。

図 1 2は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図 1 2に示す例において、 Aで示す、前景に対応するォブジェクトは、画面に対して水平に移動している。

フレーム #_n+lは、フレーム #nの次のフレームであり、フレーム #n+2は、フレーム #n+ lの次のフレームである。

フレーム ίίη 乃至フレーム ttn+2 のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量 Vを 4として、抽出された画素の画素値を時間方向に展開したモデルを図 1 3に示す。

前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャツタ時間/ Vの期間に対応する、 4つの異なる前景の成分から構成される。例えば、図 1 3に示す前景領域の画素のうち最も左側に位置する画素は、

FO l/v, F02/v, F03/v、および F04/Vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。

背景に対応するォブジェクトが静止しているので、シャツタ時間に対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。

カバードバックグラウンド領域若しくはァンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。

次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して 1列に並んでいる画素として、画面の 1つのライン上に並んでいる画素を選択することができる。図 1 4は、静止している背景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム #nは、フレーム ίίη- lの次のフレームであり、フレーム ίίη+ l は、フレーム #ηの次のフレームである。他のフレームも同様に称する。

図 1 4に示す B01乃至 B12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム #η-1乃至フレーム η+ 1において、対応する画素の画素値は、変化しなレ、。例えば、フレーム ίίη-lにおける Β05の画素値を有する画素の位置に対応する、フレーム #η における画素、およびフレーム #η+ 1 における画素は、それぞれ、 Β05の画素ィ直を有する。

図 1 5は、静止している背景に対応するォブジェクトと共に図中の右側に移動する前景に対応するォブジェクトを撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 5に示すモデルは、カバードバックグラウンド領域を含む。

図 1 5において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、前景の動き量 Vは、 4であり、仮想分割数は、 4である。

例えば、図 1 5中のフレーム ίΐη- 1の最も左側の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F12/v となり、図 1 5中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/v となる。図 1 5中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム - 1の最も左側の画素の、シャッタが開いて 2番目のシャッタ時間/ Vの前景の成分は、 Fl l/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 3番目のシャツタ時間/ v の前景の成分も、 Fl l /v となる。図 1 5中の左から 3番目の画素の、シャツタが開いて 4番目のシャツタ時間/ V の前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム ίίη- 1の最も左側の画素の、シャッタが開いて 3番目のシャッタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ V の前景の成分も、 FlO/v となる。図 1 5中のフレーム ttn- 1の最も左側の画素の、シャッタが開いて 4番目のシャッタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するオブジェクトが静止しているので、図 1 5中のフレーム #n-l の左から 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの背景の成分は、 BO l/vとなる。図 1 5中のフレーム #n-lの左から 3番目の画素の、シャッタが開いて最初および 2番目のシャツタ時間/ Vの背景の成分は、 B02/vとなる。図 1 5中のフレーム #n- lの左から 4番目の画素の、シャツタが開いて最初乃至 3番目のシャツタ時間/ Vの背景の成分は、 B03/Vとなる。

図 1 5中のフレーム - 1において、最も左側の画素は、前景領域に属し、左側から 2番目乃至 4番目の画素は、カバードバックグラウンド領域である混合領域に属する。

図 1 5中のフレーム #n- 1の左から 5番目の画素乃至 1 2番目の画素は、背景領域に属し、その画素値は、それぞれ、 B04乃至 B 1 1 となる。

図 1 5中のフレーム ίίηの左から 1番目の画素乃至 5番目の画素は、前景領域に属する。フレーム #ηの前景領域における、シャツタ時間 /νの前景の成分は、 F05/v乃至 F12/vのいずれかである。

前景に対応するォブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム #ηの左から 5番目の画素の、シャツタが開いて最初のシャッタ時間/ V の前景の成分は、 F 12/v となり、図 1 5中の左から 6番目の画素の, シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/v となる。図 1 5中の左から 7番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 8番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分は、 Fl l/vとなり、図 1 5中の左から 6番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分も、 Fl l/v となる。図 1 5中の左から 7番目の画素の、シャツタが開いて 4番目のシャツタ時間 /vの前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 6番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 FlO/vとなる。図 1 5中のフレーム #nの左から 5番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレームの左から 6番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの背景の成分は、 B05/vとなる。図 1 5中のフレーム ttnの左から 7番目の画素の、シャツタが開いて最初および 2番目のシャツタ時間/ Vの背景の成分は、 B06/vとなる。図 1 5中のフレーム ίίηの左から 8番目の画素の、シャツタが開いて最初乃至 3 番目の、シャツタ時間/ Vの背景の成分は、 Β07/ν となる。

図 1 5中のフレーム #ηにおいて、左側から 6番目乃至 8番目の画素は、カバ一ドバックグラウンド領域である混合領域に属する。

図 1 5中のフレーム #ηの左から 9番目の画素乃至 1 2番目の画素は、背景領域に属し、画素値は、それぞれ、 Β08乃至 B 11 となる。

図 1 5中のフレーム ίίη+ lの左から 1番目の画素乃至 9番目の画素は、前景領域に属する。フレーム ίίη+ lの前景領域における、シャツタ時間/ Vの前景の成分は、 FO l/v乃至 F 12/vのいずれかである。

前景に対応するォブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 5中のフレーム #n+ lの左から 9番目の画素の、シャッタが開いて最初のシャッタ時間/ Vの前景の成分は、 F12/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F12/vとなる。図 1 5中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 5中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F12/vとなる。

図 1 5中のフレーム itn+ 1の左から 9番目の画素の、シャッタが開いて 2番目のシャツタ時間/ Vの期間の前景の成分は、 Fl l/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分も、

Fl l/v となる。図 1 5中の左から 1 1番目の画素の、シャッタが開いて 4番目の、シャツタ時間/ Vの前景の成分は、 Fl l/vとなる。

図 1 5中のフレーム #n+ lの左から 9番目の画素の、シャッタが開いて 3番目の、シャツタ時間/ Vの前景の成分は、 FlO/vとなり、図 1 5中の左から 1 0番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分も、 FlO/v となる。図 1 5中のフレーム #n+lの左から 9番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vの前景の成分は、 F09/vとなる。

背景に対応するォブジェクトが静止しているので、図 1 5中のフレーム ίίη+ 1 の左から 1 0番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの背景の成分は、 Β09/νとなる。図 1 5中のフレーム ttn+1の左から 1 1番目の画素の、シャッタが開いて最初および 2番目のシャッタ時間/ Vの背景の成分は、 B lO/v となる。図 1 5中のフレーム #n+lの左から 1 2番目の画素の、シャツタが開いて最初乃至 3番目の、シャツタ時間/ Vの背景の成分は、 Bl l/vとなる。

図 1 5中のフレーム #n+l において、左側から 1 0番目乃至 1 2番目の画素は、カバードバックグラウンド領域である混合領域に対応する。

図 1 6は、図 1 5に示す画素値から前景の成分を抽出した画像のモデル図である。図 1 7は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の 3つのフレームの、隣接して 1列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図 1 7において、アンカバードバックグラウンド領域が含まれている。図 1 7において、前景に対応するォブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて 4画素分右側に表示されるように移動しているので、動き量 V は、 4である, 例えば、図 1 7中のフレーム #n-lの最も左側の画素の、シャツタが開いて最初の、シャツタ時間/ Vの前景の成分は、 F13/vとなり、図 1 7中の左から 2番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F13/V となる。図 1 7中の左から 3番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 7中の左から 4番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F13/vとなる。

図 1 7中のフレーム ttn- 1の左から 2番目の画素の、シャッタが開いて最初のシャツタ時間/ Vの前景の成分は、 F14/v となり、図 1 7中の左から 3番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F14/vとなる。図 1 7中の左から 3番目の画素の、シャツタが開いて最初の、シャツタ時間 Λの前景の成分は、 Fl ⁵/v となる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレーム #n- l の最も左側の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間/ V の背景の成分は、 B25/v となる。図 1 7中のフレーム #n - 1の左から 2番目の画素の、シャツタが開いて 3番目および 4番目の、シャツタ時間/ Vの背景の成分は、 B26/vとなる。図 1 7中のフレーム #n- lの左から 3番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの背景の成分は、 B27/vとなる。

図 1 7中のフレーム #n- 1において、最も左側の画素乃至 3番目の画素は、了ンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム ttn- 1の左から 4番目の画素乃至 1 2番目の画素は、前景領域に属する。フレームの前景の成分は、 F 13/v乃至 F24/vのいずれかである。図 1 7中のフレーム ίίηの最も左側の画素乃至左から 4番目の画素は、背景領域に属し、画素値は、それぞれ、 Β25乃至 Β28となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレームの左から 5番目の画素の、シャッタが開いて最初のシャッタ時間/ V の前景の成分は、 F 13/v となり、図 1 7中の左から 6番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 13/Vとなる。図 1 7中の左から 7番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 7中の左から 8番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F 13/vとなる。

図 1 7中のフレーム ίίηの左から 6番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F 14/vとなり、図 1 7中の左から 7番目の画素の、シャツタが開いて 2番目のシャツタ時間/ V の前景の成分も、 F 14/v となる _c 図 1 7中の左から 8番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F15/Vとなる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレームの左から 5番目の画素の、シャッタが開いて 2番目乃至 4番目のシャッタ時間/ V の背景の成分は、 Β29/νとなる。図 1 7中のフレーム tinの左から 6番目の画素の、シャツタが開いて 3番目および 4番目のシャツタ時間/ Vの背景の成分は、 B30/vとなる。図 1 7中のフレームの左から 7番目の画素の、シャツタが開いて 4番目のシャッタ時間/ Vの背景の成分は、 B31 /vとなる。

図 1 7中のフレーム #nにおいて、左から 5番目の画素乃至 7番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム #nの左から 8番目の画素乃至 1 2番目の画素は、前景領域に属する。フレーム ftnの前景領域における、シャツタ時間/ Vの期間に対応する値は、 F 13/v乃至 F20/vのいずれかである。図 1 7中のフレーム ίίη+ lの最も左側の画素乃至左から 8番目の画素は、背景領域に属し、画素値は、それぞれ、 Β25乃至 Β32 となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて 4画素右側に表示されるように移動するので、図 1 7中のフレーム ttn+ 1の左から 9番目の画素の、シャツタが開いて最初のシャッタ時間/ Vの前景の成分は、 F 13/Vとなり、図 1 7中の左から 1 0番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 13/v となる。図 1 7中の左から 1 1番目の画素の、シャツタが開いて 3番目のシャツタ時間/ Vの前景の成分、および図 1 7中の左から 1 2番目の画素の、シャツタが開いて 4番目のシャツタ時間/ Vの前景の成分は、 F 13/vとなる。

図 1 7中のフレーム #n+ lの左から 1 0番目の画素の、シャッタが開いて最初のシャツタ時間/ Vの前景の成分は、 F 14/v となり、図 1 7中の左から 1 1番目の画素の、シャツタが開いて 2番目のシャツタ時間/ Vの前景の成分も、 F 14/v となる。図 1 7中の左から 1 2番目の画素の、シャツタが開いて最初のシャツタ時間/ Vの前景の成分は、 F 15/v となる。

背景に対応するォブジェクトが静止しているので、図 1 7中のフレーム #n+ l の左から 9番目の画素の、シャツタが開いて 2番目乃至 4番目の、シャツタ時間 /vの背景の成分は、 B33/vとなる。図 1 7中のフレーム #n+ lの左から 1 0番目の画素の、シャッタが開いて 3番目および 4番目のシャッタ時間/ Vの背景の成分は、 B34/vとなる。図 1 7中のフレーム ttn+ 1の左から 1 1番目の画素の、シャッタが開いて 4番目のシャッタ時間/ Vの背景の成分は、 Β35/νとなる。

図 1 7中のフレーム #η+ 1において、左から 9番目の画素乃至 1 1番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図 1 7中のフレーム ίίη+ lの左から 1 2番目の画素は、前景領域に属する。フレーム + 1の前景領域における、シャツタ時間/ Vの前景の成分は、 F 13/v乃至 F 16/vのいずれかである。

図 1 8は、図 1 7に示す画素値から前景の成分を抽出した画像のモデル図である。

図 2に戻り、混合比算出部 1 0 3は、入力画像、および動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、画素がカバードバックグラウンド領域に属すると仮定したときの、推定混合比およびこれに対応する混合比関係情報を生成すると共に、画素がアンカバードバックグラウンド領域に属すると仮定したときの、推定される混合比である推定混合比およびこれに対応する混合比関係情報を生成する。混合比算出部 1 0 3は、生成した 2つの推定混合比およびこれらに対応する混合比関係情報を領域特定部 1 0 4に供給する。

領域特定部 1 0 4は、入力画像、並びに混合比算出部 1 0 3から供給された 2 つの推定混合比およびこれらに対応する混合比関係情報を基に、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し, 画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す領域情報を前景背景分離部 1 0 5、および動きボケ調整部 1 0 6に供給する。

前景背景分離部 1 0 5は、複数のフレームの画素値、領域情報、および混合比 a を基に、前景の成分のみからなる前景成分画像を抽出して、動きボケ調整部 1 0 6に供給する。

動きボケ調整部 1 0 6は、前景背景分離部 1 0 5から供給された前景成分画像、動き検出部 1 0 2から供給された動きべクトル、および領域特定部 1 0 4から供給された領域情報を基に、前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を出力する。

図 1 9のフローチャートを参照して、画像処理装置による動きボケの量の調整の処理を説明する。ステップ S I 1において、混合比算出部 1 0 3は、入力画像、および動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、画素がカバードバックグラウンド領域に属すると仮定したとき、推定される混合比である推定混合比およびこれに対応する混合比関係情報を算出すると共に、画素がアンカバードバックグラウンド領域に属すると仮定したとき、推定される混合比である推定混合比およびこれに対応する混合比関係情報を算出する。混合比算出部 1 0 3は、算出した 2つの推定混合比およびこれらに対応する混合比関係情報を領域特定部 1 0 4に供給する。混合比算出の処理の詳細は、後述する。

ステップ S 1 2において、領域特定部 1 0 4は、入力画像、並びに混合比算出部 1 0 3から供給された 2つの推定混合比およびこれらに対応する混合比関係情報を基に、入力画像の画素毎に、画素が、前景領域、背景領域、カバードバックグラウンド領域、またはアンカバードバックグラウンド領域のいずれかに属するかを示す領域情報を生成する領域特定の処理を実行する。領域特定の処理の詳細は、後述する。領域特定部 1 0 4は、生成した領域情報、並びに混合比算出部 1 0 3から供給された 2つの推定混合比およびこれらに対応する混合比関係情報を基に、混合比 a を生成し、生成した混合比ひを前景背景分離部 1 0 5に供給する。

ステップ S 1 3において、前景背景分離部 1 0 5は、領域情報、および混合比ひを基に、入力画像から前景の成分を抽出して、前景成分画像として動きボケ調整部 1 0 6に供給する。

ステップ S 1 4において、動きボケ調整部 1 0 6は、動きベクトルおよび領域情報を基に、動き方向に並ぶ連続した画素であって、アンカバードバックグラウンド領域、前景領域、およびカバードバックグラウンド領域のいずれかに属するものの画像上の位置を示す処理単位を生成し、処理単位に対応する前景成分に含まれる動きボケの量を調整する。動きボケの量の調整の処理の詳細については、後述する。

ステップ S 1 5において、画像処理装置は、画面全体について処理を終了したか否かを判定し、画面全体について処理を終了していないと判定された場合、ステツプ S 1 4に進み、処理単位に対応する前景の成分を対象とした動きボケの量の調整の処理を繰り返す。

ステップ S 1 5において、画面全体について処理を終了したと判定された場合、処理は終了する。

このように、画像処理装置は、前景と背景を分離して、前景に含まれる動きボケの量を調整することができる。すなわち、画像処理装置は、前景の画素の画素値であるサンプルデータに含まれる動きボケの量を調整することができる。

以下、混合比算出部 1 0 3、領域特定部 1 0 4、前景背景分離部 1 0 5、および動きボケ調整部 1 0 6のそれぞれの構成について説明する。

図 2 0は、混合比算出部 1 0 3の構成を示すブロック図である。推定混合比処理部 2 0 1は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。推定混合比処理部 2 0 1が出力する混合比関係情報は、例えば、前景の成分の和などからなる。

推定混合比処理部 2 0 2は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに入力画像を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。推定混合比処理部 2 0 2が出力する混合比関係情報は、例えば、前景の成分の和などからなる。

前景に対応するォブジェクトがシャッタ時間内に等速で動いていると仮定できるので、混合領域に属する画素の混合比は、以下の性質を有する。すなわち, 混合比ひは、画素の位置の変化に対応して、直線的に変化する。画素の位置の変化を 1次元とすれば、混合比ひの変化は、直線で表現することができ、画素の位置の変化を 2次元とすれば、混合比ひの変化は、平面で表現することがでさる。

なお、 1フレームの期間は短いので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定が成り立つ。

この場合、混合比ひの傾きは、前景のシャツタ時間内での動き量 Vの逆比となる。

理想的な混合比ひの例を図 2 1に示す。理想的な混合比ひの混合領域における傾き 1は、動き量 Vの逆数として表すことができる。

図 2 1に示すように、理想的な混合比ひは、背景領域において、 1の値を有し、前景領域において、 0の値を有し、混合領域において、 0を越え 1未満の値を有する。

図 2 2の例において、フレーム ttnの左から 7番目の画素の画素ィ直 C06は、フレーム #n-lの左から 7番目の画素の画素値 P06を用いて、式（4 ) で表すことができる。

C06 = B06/v + B06/V + FOllv + F02lv

= P06/v + P06/V + FOllv + F02/v

= 2lvP06 +∑FUv (4) 式（4 ) において、画素値 C06を混合領域の画素の画素値 Mと、画素値 P06 を背景領域の画素の画素値 Bと表現する。すなわち、混合領域の画素の画素値 M および背景領域の画素の画素値 Bは、それぞれ、式（5 ) および式（6 ) のように表現することができる。

=C06 ( 5 )

B=P06 ( 6 )

式（4 ) 中の 2/vは、混合比ひに対応する。動き量 Vが 4なので、フレーム #nの左から 7番目の画素の混合比ひは、 0. 5となる。

以上のように、注目しているフレーム #nの画素値 Cを混合領域の画素値と見なし、フレームの前のフレーム -1の画素値 Pを背景領域の画素値と見なすことで、混合比ひを示す式（3 ) は、式（7 ) のように書き換えられる。

C=Oi - P+f ( 7 )

式（7 ) の f は、注目している画素に含まれる前景の成分の和 ∑ iFi/vである。式（7 ) に含まれる変数は、混合比ひおよび前景の成分の和 f の 2つである。同様に、アンカバードバックグラウンド領域における、動き量 V が 4であり時間方向の仮想分割数が 4である、画素値を時間方向に展開したモデルを図 2 3 に示す。アンカバードバックグラウンド領域において、上述したカバードバックダラゥンド領域における表現と同様に、注目しているフレーム #nの画素値 Cを混合領域の画素値と見なし、フレーム #nの後のフレーム #n+lの画素値 Nを背景領域の画素値と見なすことで、混合比ひを示す式（3 ) は、式（8 ) のように表現することができる。

C= a - N+f ( 8 )

なお、背景のオブジェクトが静止しているとして説明したが、背景のオブジェクトが動いている場合においても、背景の動き量 Vに対応させた位置の画素の画素値を利用することにより、式（4 ) 乃至式（8 ) を適用することができる。例えば、図 2 2において、背景に対応するォブジェクトの動き量 V が 2であり仮想分割数が 2であるとき、背景に対応するォブジェクトが図中の右側に動いているとき、式（6 ) における背景領域の画素の画素値 Bは、画素値 P04とされる。

式（7 ) および式（8 ) は、それぞれ 2つの変数を含むので、そのままでは混合比を求めることができない。

そこで、前景のオブジェクトの動き量 Vに合わせて、混合領域に属する画素と、対応する背景領域に属する画素との組について式を立て、混合比 α を求める。

動き量 Vとして、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報が利用される。

推定混合比処理部 2 0 1による、カバードバックグラウンド領域に対応するモデルを基にした、動き量 Vを使用した推定混合比の算出について説明する。

カバ一ドバックグラウンド領域に対応する図 2 2に示す例において、フレーム ίίη- 1の Ρ02について、式（9 ) が成立し、フレーム ίίηの C06について、式（1 0 ) が成立する。

Ρ02 = 2/ν - Β02 +Σ Filv (9) C06 = 2/v · B06 +∑ Fi/v (10) 式（9) および式（ 1 0) において、混合比 a に対応する値は、 2/v であり同一である。式（9) および式（10) において、前景の成分の和に対応する値

∑Fi/v

は、であり、同一である。

すなわち、フレーム ttn- 1の P02およびフレームの C06の混合比ひおよび前景の成分の和は、同一であり、フレーム #nの C06は、前景のオブジェクトの動きにより、フレーム #n-lの P02に対応していると言える。

複数フレームにわたって、前景に対応するオブジェクトが等速で動くという仮定と、前景の成分が一定であるという仮定を持ち込むことで、このように、前景のォブジェクトの動き量 Vに対応して、混合比および前景の成分の和が同一である混合領域に属する画素と、対応する背景領域に属する画素との複数の組を選択することができる。例えば、混合領域に属する画素と、対応する背景領域に属する画素との複数の組を 5つの組とすることができる。

例えば、図 24に示すように、前景のオブジェクトの動き量 Vに対応して、フレーム #n-3乃至フレーム ίίη+2から、混合領域に属する画素 Mtl乃至 Mt5と、対応する背景領域に属する画素 Btl乃至 Bt5とを選択することができる。図 2 4において、白丸は、背景領域に属すると見なす画素を示し、黒丸は、混合領域に属すると見なす画素を示す。

画素 Mtl乃至 Mt5、および画素 Btl乃至 Bt5について、式（1 1) 乃至式 (1 5) が成立する。

Mtl=ひ - Btl+f (1 1)

t2=Qi - Bt2+f (1 2)

Mt3=a · Bt3+f (1 3)

Mt4=ひ · Bt4+f (1 4)

Mt5=or · Bt5+f (1 5) 式（1 1 ) 乃至式（1 5 ) の f は、前景の成分の和 ∑iFi/vである。

式（1 1 ) 乃至式（1 5 ) の 5つの式は、共通する変数である混合比ひおよび前景の成分の和 f を含むので、式（1 1 ) 乃至式（1 5 ) に最小自乗法を適用して、混合比ひおよび前景の成分の和 f を求めることができる。

例えば、推定混合比処理部 2 0 1は、混合比ひおよび前景の成分の和 f を算出するための正規方程式を予め記憶し、記憶している正規方程式に混合領域に属する画素値、および対応する背景領域に属する画素値を設定して、行列解法により混合比 Of および前景の成分の和 f を算出する。

なお、背景が動いているとき、図 2 5に例を示すように、推定混合比処理部 2 0 1は、背景の動き量 ν'に対応させて、正規方程式に混合領域に属する画素値、および対応する背景領域に属する画素値を設定して、行列解法により混合比ひおよび前景の成分の和 f を算出する。図 2 5において、白丸は、背景領域に属すると見なす画素を示し、黒丸は、混合領域に属すると見なす画素を示す。

このように推定混合比処理部 2 0 1は、カバードバックグラウンド領域に対応するモデルを基に、動き量 Vを使用して推定混合比を算出する。

推定混合比処理部 2 0 2は、同様に、アンカバードバックグラウンド領域に対応するモデルを基に、動き量 Vを使用して推定混合比を算出する。アンカバードバックグラウンド領域に対応するモデルにおいて、対応する背景領域に属する画素は、注目している画素のフレームの後のフレームから選択される。

図 2 6は、カバードバックグラウンド領域に対応するモデルを基に、動き量 V を使用して推定混合比を算出する推定混合比処理部 2 0 1の構成を示すプロック図である。

正規方程式加算部 2 2 1は、動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、予め記憶している正規方程式に、入力画像の M個のフレームの画像に含まれる、混合領域に属する画素値、および対応する背景領域に属する画素値を設定する。正規方程式加算部 2 2 1は、混合領域に属する画素値、および対応する背景領域に属する画素値が設定された正規方程式を、演算部 2 2 2 に供給する。

演算部 2 2 2は、正規方程式加算部 2 2 1から供給された、画素値が設定された正規方程式を、掃き出し法（Gauss-Jordanの消去法）などの行列解法を適用して解き、推定混合比を算出し、算出した推定混合比を出力する。演算部 2 2 2 は、推定混合比の算出に伴い、求められた前景の成分の和を混合比関係情報として出力する。

このように、推定混合比処理部 2 0 1は、カバードバックグラウンド領域に対応するモデルを基に、動き量 Vを使用して推定混合比を算出する。推定混合比処理部 2 0 1は、混合比関係情報として前景の成分の和を出力する。

推定混合比処理部 2 0 2は、推定混合比処理部 2 0 1と同様の構成を有するので、その説明は省略する。

このように、混合比算出部 1 0 3は、入力画像、および動き検出部 1 0 2から供給された動きべクトルとその位置情報を基に、画素がカバードバックグラウンド領域に属すると仮定したときの、推定混合比およびこれに対応する混合比関係情報を生成すると共に、画素がアンカバードバックグラウンド領域に属すると仮定したときの、推定される混合比である推定混合比およびこれに対応する混合比関係情報を生成することができる。

図 2 7のフローチヤ一トを参照して、混合比算出部 1 0 3の推定混合比の算出の処理を説明する。ステップ S 2 0 1において、推定混合比処理部 2 0 1は、入力画像、並びに動き検出部 1 0 2から供給された動きべクトルおよびその位置情報を基に、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理を実行する。混合比推定の処理の詳細は、図 2 8のフローチャートを参照して、後述する。

ステップ S 2 0 2において、推定混合比処理部 2 0 2は、入力画像、並びに動き検出部 1 0 2から供給された動きベクトルおよびその位置情報を基に、アンカバードバックグラウンド領域に対応するモデルによる混合比推定の処理を実行する。ステップ S 2 0 3において、混合比算出部 1 0 3は、フレーム全体について、混合比を推定したか否かを判定し、フレーム全体について、混合比を推定していないと判定された場合、ステップ S 2 0 1に戻り、次の画素について混合比を推定する処理を実行する。

ステップ S 2 0 3において、フレーム全体について、混合比を推定したと判定された場合、処理は終了する。

このように、混合比算出部 1 0 3は、動き検出部 1 0 2から供給された動きべクトルおよびその位置情報、並びに入力画像を基に、各画素に対応する推定混合比を算出することができる。

次に、図 2 7のステップ S 2 0 1に対応する、推定混合比処理部 2 0 1が実行する、カバードバックグラウンド領域に対応するモデルによる混合比推定の算出の処理を図 2 8のフローチヤ一トを参照して説明する。

ステップ S 2 2 1において、正規方程式加算部 2 2 1は、動き検出部 1 0 2力、ら供給された動きべクトルおよびその位置情報を読み込み、動き量 Vを取得する。

ステップ S 2 2 2において、正規方程式加算部 2 2 1は、動き量 Vを基に、入力された M個のフレームの画像から画素を選択して、予め記憶している正規方程式に選択した画素の画素値を設定する。

ステップ S 2 2 3において、正規方程式加算部 2 2 1は、対象となる画素について画素値の設定を終了したか否かを判定し、対象となる画素について画素値の設定を終了していないと判定された場合、ステップ S 2 2 2に戻り、画素値の設定の処理を繰り返す。

ステップ S 2 2 3において、対象となる画素について画素値の設定を終了したと判定された場合、ステップ S 2 2 4に進み、正規方程式加算部 2 2 1は、画素値を設定した正規方程式を演算部 2 2 2に供給し、演算部 2 2 2は、画素値が設定された正規方程式に掃き出し法（Gauss-Jordanの消去法）などを適用して正規方程式を解き、推定混合比を算出して、処理は終了する。演算部 2 2 2は、推定混合比の算出に伴い、求められた各画素に対応する前景の成分の和を混合比関係情報として出力する。

このように、推定混合比処理部 2 0 1は、推定混合比を算出することができる, 図 2 7のステップ S 2 0 2における、推定混合比処理部 2 0 2が実行する、ァンカバードバックグラウンド領域に対応するモデルによる混合比推定の処理は、アンカバードバックグラウンド領域のモデルに対応する正規方程式を利用した、図 2 8のフローチヤ一トに示す処理と同様なので、その説明は省略する。

図 2 9は、混合比算出部 1 0 3の他の構成を示すブロック図である。図 2 9に構成を示す混合比算出部 1 0 3は、動きべクトルを使用しない。

推定混合比処理部 2 4 1は、入力画像を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。推定混合比処理部 2 4 1が出力する混合比関係情報は、例えば、前景の成分の和、および混合比の傾きなどからなる。

推定混合比処理部 2 4 2は、入力画像を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。推定混合比処理部 2 4 2が出力する混合比関係情報は、例えば、前景の成分の和、および混合比の傾きなどからなる。

図 3 0乃至図 3 2を参照して、推定混合比処理部 2 4 1および推定混合比処理部 2 4 2による、混合比の推定の処理を説明する。

図 2 2および図 2 3を参照して説明したように、式（7 ) および式（8 ) は、それぞれ 2つの変数を含むので、そのままでは混合比を求めることができなレ、。

そこで、推定混合比処理部 2 4 1または推定混合比処理部 2 4 2は、シャツタ時間内において、前景に対応するオブジェクトが等速で動くことにより、画素の位置の変化に対応して、混合比 α が直線的に変化する性質を利用して、空間方向に、混合比ひと前景の成分の和 f とを近似した式を立てる。混合領域に属する画素の画素値および背景領域に属する画素の画素値の組の複数を利用して、混合比ひと前景の成分の和 f とを近似した式を解く。

混合比ひの変化を、直線として近似すると、混合比ひは、式（1 6) で表される。

ひ =il+p ( 1 6)

式（1 6) において、 iは、注目している画素の位置を 0とした空間方向のインデッタスである。 1は、混合比 aの直線の傾きである。 pは、混合比 Of の直線の切片である共に、注目している画素の混合比 a である。式（1 6) において、インデックス iは、既知であるが、傾き 1および切片 pは、未知である。

インデックスお傾きおよび切片 pの関係を図 3 0に示す。図 3 0において、白丸は、注目画素を示し、黒丸は、近傍画素を示す。

混合比ひを式（1 6) のように近似することにより、複数の画素に対して複数の異なる混合比ひは、 2つの変数で表現される。図 3 0に示す例において、 5つの画素に対する 5つの混合比は、 2つの変数である傾き 1および切片 pにより表現される。

図 3 1に示す平面で混合比 a を近似すると、画像の水平方向および垂直方向の 2つの方向に対応する動き V を考慮したとき、式（ 1 6) を平面に拡張して, 混合比ひは、式（1 7) で表される。図 3 1において、白丸は、注目画素を示す。

a=jm+kq+p ( 1 7)

式（1 7) において、 jは、注目している画素の位置を 0とした水平方向のインデックスであり、 kは、垂直方向のインデックスである。 mは、混合比ひの面の水平方向の傾きであり、 q は、混合比ひの面の垂直方向の傾きである。 p は、混合比 Of の面の切片である。

例えば、図 2 2に示すフレーム #nにおいて、 C05乃至 C07について、それぞれ、式（1 8) 乃至式（20) が成立する。 C05=ひ 05'B05/v+f05 ( 1 8)

C06= 06，B06/v+f06 ( 1 9)

C07=ひ 07-B07/v+f07 ( 2 0)

前景の成分が近傍で一致する、すなわち、 F01乃至 F03が等しいとして、 F01 乃至 F03を Fcに置き換えると式（2 1) が成立する。

f (χ) = (ΐ-α (x)) - Fc (2 1)

式（2 1 ) において、 Xは、空間方向の位置を表す。

ひ（ X ) を式（ 1 7) で置き換えると、式（2 1 ) は、式（2 2) として表すことができる。

f (x) = (l-(jm+kq+p)) - Fc

=j - (- m · Fc) +k · (- q · Fc) +((l-p) · Fc)

=js+kt+u (2 2)

式（2 2) において、（-m■ Fc) 、 (-q - Fc) 、および（1- p) . Fcは、式 (2 3) 乃至式（2 5) に示すように置き換えられている。

s=-m · Fc (2 3)

t=-q - Fc (24)

u=(l-p) . Fc (2 5)

式（2 2) において、 jは、注目している画素の位置を 0とした水平方向のィンデックスであり、 kは、垂直方向のインデックスである。

このように、前景に対応するオブジェクトがシャツタ時間内において等速に移動し、前景に対応する成分が近傍において一定であるという仮定が成立するので. 前景の成分の和は、式（2 2) で近似される。

なお、混合比ひを直線で近似する場合、前景の成分の和は、式（2 6) で表すことができる。

f (x)=is+u (2 6)

式（1 6) の混合比ひおよび前景成分の和を、式（1 7) および式（2 2) を利用して置き換えると、画素値 Mは、式（2 7) で表される。 M=(jm+kq+p) - B+js+kt+u

= j'B · ra+kB · q+B · p+j · s+k · t+u (27)

式（27) において、未知の変数は、混合比ひの面の水平方向の傾き m、混合比ひの面の垂直方向の傾き q、混合比ひの面の切片 p、 s、 t、および uの 6 つである。

注目している画素の近傍の画素に対応させて、式（27) に、画素値 Mおよび画素値 Bを設定し、画素値 Mおよび画素値 Bが設定された複数の式に対して最小自乗法で解くことにより、混合比を算出する。

例えば、注目している画素の水平方向のインデックス jを 0とし、垂直方向のィンデックス k を 0とし、注目している画素の近傍の 3 X 3の画素について. 式（27) に対応する正規方程式に画素値 Mまたは画素値 Bを設定すると、式

(28) 乃至式（36) を得る。

M_, .!=(-1) , B—い i · m+(-l) · B—い _t · q+B.! .! · p+(- 1) · s+ (- 1) · t+u (28) M₀,— ^(0) · Bo,.! · m+(-l) · Bo,.! · q+B_0i-1 · p+ (0) · s+ (- 1) · t+u (29) Μ_+1ι_!=(+1) · B₊₁,_! . m+(-l) · B₊₁,_! . q+B₊₁,_, . p+(+l) ■ s+(— 1) · t+u (30) M._li0=(-1) · B__li0 · m+(0) · B— 。 · q+B—u · p+(- 1) · s+(0) · t+u (3 1) M₀,₀=(0) · B。,。■ ra+(0) ■ B。,。 · q+B。,。 · p+(0) · s+ (0) · t+u (32) M₊₁,₀=(+l) · B₊₁,₀ · m+(0) · B₊₁,₀ · q+B₊₁,₀ · p+(+l) · s+(0) · t+u (3 3) M一い L=(—1) · B__lj+1 · m+(+l) · B—い L · q+B._1>+1 · p+ (- 1) · s+(+l) ■ t+u (34) M_0i+1=(0) · B₀,₊₁■ m+(+l) . B₀,₊₁ · q+B₀,₊₁ · p+(0) · s+(+l) . t+u (35)

M +1, +1 (+1) · B₊ m+(+l) - B₊ q+B +1, +1 p+(+l) · s+(+l) · t+u (36) 注目している画素の水平方向のインデックス jが 0であり、垂直方向のインデッタス k が 0であるので、注目している画素の混合比ひは、式（ 1 7) より j=0および k=0のときの値、すなわち、切片 pに等しい。

従って、式（28) 乃至式（36) の 9つの式を基に、最小自乗法により、水平方向の傾き m、垂直方向の傾き q、切片 p、 s、 t、および uのそれぞれの値を算出し、切片 pを混合比として出力すればよレ、。次に、最小自乗法を適用して混合比を算出するより具体的な手順を説明する。

インデックス i およびィンデックス k を 1つのィンデックス Xで表現するとインデックスおインデックスおよびインデックス Xの関係は、式（37) で表される。

x=(j + l) · 3+(k+l) (3 7)

水平方向の傾き m、垂直方向の傾き q、切片 p、 s、 t、および uをそれぞれ変数 w0， wl, w2, w3， w4、および w5と表現し、 jB, kB， B, j, k、および 1をそれぞれ aO, al,a2, a3, a4_v および a5 と表現する。誤差 exを考慮すると、式（28) 乃至式（36) は、式（38) に書き換えることができる。

式（38) において、 Xは、 0乃至 8の整数のいずれかの値である。

式（38) から、式（3 9) を導くことができる。

5

ex = Mx - ^ayWy (39)

y = ここで、最小自乗法を適用するため、誤差の自乗和 Eを式（40) に示すようにに定義する。

E=∑ex² (40)

x = 0 誤差が最小になるためには、誤差の自乗和 Eに対する、変数 Wvの偏微分が 0 になればよい。ここで、 Vは、 0乃至 5の整数のいずれかの値である。従って、式（4 1) を満たすように wyを求める。

dE . ,y dex

8

= 2-∑ex-av = 0 (41)

x = 0

式（4 1) に式（39) を代入すると、式（42) を得る。 ∑(av∑ay Wy) =∑a_V ' Mx (⁴²) x= 0 y = 0 x= 0

式（4 2 ) の vに 0乃至 5の整数のいずれか 1つを代入して得られる 6つの式からなる正規方程式に、例えば、掃き出し法（Gauss- Jordanの消去法）などを適用して、 wyを算出する。上述したように、 wOは水平方向の傾き mであり、 wlは垂直方向の傾き qであり、 w2は切片 pであり、 w3は sであり、 w4は tであり、 w5は uである。

以上のように、画素値 Mおよび画素値 Bを設定した式に、最小自乗法を適用することにより、水平方向の傾き m、垂直方向の傾き q、切片 p、 s、 t、および uを求めることができる。

ここで、切片 p力インデックス i, kが 0の点、すなわち中心位置における混合比ひとなっているので、これを出力する。

式（2 8 ) 乃至式（3 6 ) に対応する説明において、混合領域に含まれる画素の画素値を Mとし、背景領域に含まれる画素の画素値を Bとして説明したが、注目している画素が、カバードバックグラウンド領域に含まれる場合、またはァンカバードバックグラウンド領域に含まれる場合のそれぞれに対して、正規方程式を立てる必要がある。

例えば、図 2 2に示す、フレーム ttnのカバードバックグラウンド領域に含まれる画素の混合比ひを求める場合、フレーム #_nの画素の C04乃至 C08、およびフレーム #n-lの画素の画素値 P04乃至 P08が、正規方程式に設定される。

図 2 3に示す、フレーム #nのアンカバードバックグラウンド領域に含まれる画素の混合比ひを求める場合、フレーム #nの画素の C28乃至 C32、およびフレーム ίίη+ lの画素の画素値 Ν28乃至 Ν32が、正規方程式に設定される。

また、例えば、図 3 2に示す、カバードバックグラウンド領域に含まれる画素の混合比ひを算出するとき、以下の式（4 3 ) 乃至式（5 1 ) が立てられる。図 3 2において、白丸は、背景と見なす画素を示し、黒丸は、混合領域の画素と見なす画素を示す。混合比ひを算出する画素の画素値は、 Mc5である。 Mcl=(-1) - Bel · m+(-l) · Bel · q+Bcl · p+(_l) · s+ (- 1) · t+u (4 3

Mc2=(0) - Bc2 · m+(-l) - Bc2 - q+Bc2 · p+ (0) · s+ (- 1) - t+u (44

Mc3=(+1) · Bc3 · m+ (- 1) · Bc3 · q+Bc3 · p+(+l) · s+(_l) - t+u (4 5

Mc4= (- 1) - Bc4 - m+(0) - Bc4 · q+Bc4 · p+(_l) - s+(0) - t+u (4 6

Mc5=(0) · Bc5 - m+(0) · Bc5 - q+Bc5 · p+(0) - s+(0) - t+u (4 7

Mc6=(+1) · Bc6 · m+(0) - Bc6 · q+Bc6 · p+(+l) · s+(0) - t+u (4 8

Mc7=(-1) - Bc7 - m+(+l) - Bc7 - q+Bc7 · p+(-l) - s+(+l) - t+u (4 9

Mc8=(0) - Bc8 · m+(+l) ■ Bc8 · q+Bc8 - p+(0) · s+(+l) - t+u (5 0 Mc9=(+1) · Bc9 - m+(+l) · Bc9 · q+Bc9 · p+(+l) · s+(+l) - t+u (5 1 フレームのカバードバックグラウンド領域に含まれる画素の混合比ひを算出するとき、式（4 3) 乃至式（5 1) において、フレーム ttnの画素に対応する、フレーム ίίη- 1 の画素の背景領域の画素の画素値 Bel 乃至 Bc9が使用される ₍ 図 3 2に示す、アンカバードバックグラウンド領域に含まれる画素の混合比ひを算出するとき、以下の式（5 2) 乃至式（6 0) が立てられる。混合比を算出する画素の画素値は、 Mu5である。

Mul=(-1) - Bui · m+(-l) - Bui ■ q+Bul - p+ (- 1) · s+ (- 1) - t+u (5 2 Mu2= (0) - Bu2 - m+ (- 1) · Bu2 - q+Bu2 · p+ (0) · s+ (-1) - t+u (5 3 Mu3=(+1) · Bu3 - m+(-l) - Bu3 · q+Bu3 · p+(+l) - s+(- 1) - t+u (5 4

Mu4=(_l) - Bu4 · m+(0) - Bu4 · q+Bu4 - p+ (- 1) - s+(0) - t+u (5 5 Mu5=(0) ■ Bu5 - m+ (0) · Bu5 · q+Bu5 - p+ (0) · s+(0) - t+u (5 6

Mu6=(+1) · Bu6 - m+(0) · Bu6 · q+Bu6 · p+(+l) - s+(0) - t+u (5 7

Mu7=(-1) - Bu7 - m+(+l) · Bu7 · q+Bu7 · p+ (- 1) - s+(+l) - t+u (5 8

Mu8=(0) · Bu8 · m+(+l) · Bu8 · q+Bu8 · p+ (0) · s+(+l) - t+u (5 9

Mu9=(+1) · Bu9 · m+(+l) - Bu9 · q+Bu9 · p+(+l) · s+(+l) - t+u (6 0 フレーム #nのアンカバードバックグラウンド領域に含まれる画素の混合比 Qi を算出するとき、式（5 2) 乃至式（6 0) において、フレーム #nの画素に対応する、フレーム #n+lの画素の背景領域の画素の画素値 Bui乃至 Bu9が使用される。

混合比推定処理部 2 4 1および混合比推定処理部 2 4 2は、混合比処理部 2 0 1と同様の構成を有するので、その説明は省略する。

図 2 9に構成を示す混合比算出部 1 0 3による推定混合比の算出の処理は、図 2 7のフローチャートを参照して説明した処理と同様なので、その説明は省略する。

次に、推定混合比処理部 2 4 1が実行する、図 2 7のステップ S 2 0 2に対応する、カバードバックグラウンド領域に対応するモデルによる混合比推定の処理を図 3 3のフローチヤ一トを参照して説明する。

ステップ S 2 4 1において、推定混合比処理部 2 4 1は、入力された画像に含まれる画素値を、カバードバックグラウンド領域のモデルに対応する正規方程式に設定する。

ステップ S 2 4 2において、推定混合比処理部 2 4 1は、対象となる画素についての設定が終了したか否かを判定し、対象となる画素についての設定が終了していないと判定された場合、ステップ S 2 4 1に戻り、正規方程式への画素値の設定の処理を繰り返す。

ステップ S 2 4 2において、対象となる画素についての画素値の設定が終了したと判定された場合、ステップ S 2 4 3に進み、推定混合比処理部 2 4 1は、画素値が設定された正規方程式を解くことにより、推定混合比を演算して、求められた推定混合比を出力する。推定混合比処理部 2 4 1は、推定混合比の算出に伴レ、、求められた前景の成分の和および推定混合比の傾きを混合比関係情報として出力する。

このように、推定混合比処理部 2 4 1は、入力画像を基に、推定混合比を演算することができる。推定混合比処理部 2 4 1は、混合比関係情報として前景の成分の和および推定混合比の傾きを出力する。

推定混合比処理部 2 4 2による、アンカバードバックグラウンド領域に対応するモデルによる混合比推定の処理は、アンカバードバックグラウンド領域のモデルに対応する正規方程式を利用した、図 3 3のフローチャートに示す処理と同様なので、その説明は省略する。

図 3 4は、コンポーネント信号として入力される入力画像から混合比を推定する、混合比算出部 1 0 3のさらに他の構成を示すプロック図である。

この明細書において、コンポーネントとは、コンポーネント信号における、輝度信号および色差信号、または R G B (Red-green-blue) 信号などの個別の信号をいう。

以下の説明において、コンポーネント 1は、輝度値 Yとし、コンポーネント 2は、色差 Uとし、コンポーネント 3は、色差 Vとした例を基に説明する。推定混合比処理部 2 4 1— 1は、入力画像のコンポーネント 1を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。推定混合比処理部 2 4 1— 1が出力する混合比関係情報は、例えば、前景の成分の和、および混合比の傾きなどからなる。

推定混合比処理部 2 4 2— 1は、入力画像のコンポーネント 1を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。推定混合比処理部 2 4 2 - 1が出力する混合比関係情報は、例えば、前景の成分の和、および混合比の傾きなどからなる。

推定混合比処理部 2 4 1— 2は、入力画像のコンポーネント 2を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。

推定混合比処理部 2 4 2— 2は、入力画像のコンポーネント 2を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。推定混合比処理部 2 4 1— 3は、入力画像のコンポーネント 3を基に、カバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。

推定混合比処理部 2 4 2— 3は、入力画像のコンポーネント 3を基に、アンカバードバックグラウンド領域のモデルに対応する演算により、画素毎に推定混合比を算出して、推定混合比の算出に伴い算出される混合比関係情報と共に、推定混合比を出力する。

このように、図 3 4に構成を示す混合比算出部 1 0 3は、コンポーネント信号として入力される入力画像を基に、各コンポーネント毎に、カバードバックダラゥンド領域に対応するモデルによる推定混合比、およびアンカバードバックダラゥンド領域に対応するモデルによる推定混合比を演算することができる。混合比算出部 1 0 3は、各コンポーネント毎の、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する、前景の成分の和および推定混合比の傾きからなる混合比関係情報を出力する。

なお、混合比算出部 1 0 3は、コンポーネント信号として入力される入力画像から混合比を推定するとき、推定混合比処理部 2 0 1および推定混合比処理部 2

0 2で説明した処理により、各コンポーネント毎に、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比を演算し、推定混合比と共に、対応する混合比関係情報を出力するようにしてもよい。

また、背景に対応するオブジェクトが静止しているとして説明したが、背景領域に対応する画像が動きを含んでいても上述した混合比を求める処理を適用することができる。例えば、背景領域に対応する画像が一様に動いているとき、混合比算出部 1 0 3は、この動きに対応して画像全体をシフトさせ、背景に対応するオブジェクトが静止している場合と同様に処理する。また、背景領域に対応する画像が局所毎に異なる動きを含んでいるとき、混合比算出部 1 0 3は、混合領域に属する画素に対応する画素として、動きに対応した画素を選択して、上述の処理を実行する。

次に、領域特定部 1 0 4について説明する。

図 3 5は、領域特定部 1 0 4の構成を示すブロック図である。予測誤差演算部 3 0 1は、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値（推定混合比に対応する予測誤差）を算出し、算出した誤差値をアンカバードバックグラウンド領域判定部 3 0 3に供給する。

例えば、混合比算出部 1 0 3が、式（1 1 ) 乃至式（1 5 ) に最小自乗法を適用して混合比を推定するとき、予測誤差演算部 3 0 1は、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびバードバックグラウンド領域に対応するモデルによる推定混合比に対応する前景の成分の和である混合比関係情報を基に、式（6 1 ) に対応する演算により、誤差値 Sである最小自乗誤差和を算出する。

S =∑{M - ( - B +∑ Fi/v) (61) 式（6 1 ) において、 α は、推定混合比を示し、は、混合比の算出に用いら

∑ Filv

れたフレームの数を示す。 i は、混合比関係情報である前景の成分の和を示す。

予測誤差演算部 3 0 2は、アンカバードカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値をカバードバックグラウンド領域判定部 3 0 4に供給する。なお、予測誤差演算部 3 0 1および予測誤差演算部 3 0 2は、例えば、 5画素 X 5画素からなるプロックなど複数の画素からなるプロック毎に、各画素に対応する誤差値を算出するようにしてもよい。

また、予測誤差演算部 3 0 1および予測誤差演算部 3 0 2は、 tを予め定めておいても良く、または、 tを混合比関係情報として、混合比算出部 1 0 3から取得するようにしてもよい。

アンカバードバックグラウンド領域判定部 3 0 3は、画素毎に、予測誤差演算部 3 0 1から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がアンカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてアンカバードバックグラウンド領域を示すフラグを設定する。アンカバードバックグラウンド領域判定部 3 0 3は、画素毎に設定された、アンカバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

カバードバックグラウンド領域判定部 3 0 4は、画素毎に、予測誤差演算部 3 0 2から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がカバ一ドバックグラウンド領域に属すると判定し、注目している画素にカバードバックグラウンド領域を示すフラグを設定する。カバードバックグラウンド領域判定部 3 0 4は、画素毎に設定された、カバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

前景背景領域判定部 3 0 5は、入力画像を基に、前景領域および背景領域を判定する。

例えば、前景背景領域判定部 3 0 5は、注目しているフレーム ttnの注目している注目画素の画素値と、フレーム #n- 1の注目画素に対応する画素の画素との差分を基に、注目画素について動き判定する。前景背景領域判定部 3 0 5は、注目しているフレーム ttnの注目している注目画素の画素値と、フレーム #n+ lの注目画素に対応する画素の画素との差分を基に、注目画素について動き判定する。前景背景領域判定部 3 0 5は、注目画素が、フレーム #n- lからフレーム #ηについて動きと判定され、フレームからフレーム #n+ lについて動きと判定されたとき、注目画素を前景領域に属すると判定する。

例えば、前景背景領域判定部 3 0 5は、注目画素が、フレーム #_n-lからフレームについて静止と判定され、フレーム #n力らフレーム #n+lについて静止と判定されたとき、注目画素を背景領域に属すると判定する。

前景背景領域判定部 3 0 5は、画素毎に設定された、前景領域を示すフラグ、および背景領域を示すフラグを合成部 3 0 6に供給する。

合成部 3 0 6は、アンカバードバックグラウンド領域判定部 3 0 3から供給されたアンカバードバックグラウンド領域を示すフラグ、カバードバックグラウンド領域判定部 3 0 4から供給されたカバードバックグラウンド領域を示すフラグ、並びに前景背景領域判定部 3 0 5から供給された前景領域を示すフラグ、および背景領域を示すフラグを基に、画素毎に、アンカバードバックグラウンド領域、カバードバックグラウンド領域、前景領域、および背景領域のいずれかを示す領域情報を合成する。合成部 3 0 6は、合成した領域情報を混合比決定部 3 0 7に供給すると共に、領域情報を出力する。

混合比決定部 3 0 7は、合成部 3 0 6から供給された領域情報を基に、混合比ひを決定する。より具体的には、混合比決定部 3 0 7は、対象となる画素が前景領域に属する場合、 0を混合比ひに設定し、対象となる画素が背景領域に属する場合、 1を混合比ひに設定する。混合比決定部 3 0 7は、対象となる画素がカバードバックグラウンド領域に属する場合、カバードカバードバックダラゥンド領域に対応するモデルによる推定混合比を混合比ひに設定し、対象となる画素がアンカバードバックグラウンド領域に属する場合、アンカバードカバードバックグラウンド領域に対応するモデルによる推定混合比を混合比ひに設定する。混合比決定部 3 0 7は、領域情報を基に決定した混合比ひを出力する。

図 3 6および図 3 7を参照して、アンカバードバックグラウンド領域判定部 3 0 3の判定の処理を説明する。図 3 6に示すように、背景に対応するオブジェクトが静止しているので、注目しているフレーム ίίηの背景領域に属する注目画素の画素値は、フレーム ίίηの次のフレーム #η+ 1 の注目画素に対応する画素の画素値と等しい。図 3 6において、 Wは、背景領域を示す。同様に、背景に対応するオブジェクトが静止しているので、注目画素を元に動きベクトルで示される、フレーム #π+ 1 の画素の画素値は, フレーム ttn+2の対応する画素の画素値と等しい。

これにより、背景領域に属する画素に対応する、カバードカバ一ドバックダラゥンド領域に対応するモデルによる推定混合比は、ほぼ 1となり、前景の成分の和は、〖まぼ 0となる。

従って、式（6 1 ) に対応する演算により、算出される誤差値 Sは、ほぼ 0 となる。

図 3 6において、 Xで示す前景領域に属する注目画素において、動き補償しているので、注目しているフレーム #nの注目画素の画素値は、注目画素を元に動きベクトルで示される、フレーム #n+lの画素の画素値と等しい。また、前景のオブジェクトについて、空間方向の相関が強いので、前景の成分の値は、ほぼ等しい。

これにより、厳密な意味では、物理的なモデルとの対応は成り立っていないが、前景領域に属する注目画素において、最小自乗法により算出された推定混合比および前景の成分の和の最小自乗誤差和は、比較的小さな値となる。

図 3 6において、 Yで示すカバードバックグラウンド領域について、最小自乗法により算出された推定混合比および前景の成分の和の最小自乗誤差和は、当然に、ほぼ 0となる。

これに対して、図 3 7に示すように、図中において Zで示すアンカバードバックグラウンド領域に属する、注目しているフレームの注目画素の画素値に含まれる前景の成分は、フレーム ttnの次のフレーム lln+ 1の注目画素に対応する画素の画素値に含まれる前景の成分と異なる。同様に、注目画素を元に動きべクトルで示される、フレーム #n+ lの画素の画素値に含まれる前景の成分は、フレーム ίίη+2の対応する画素の画素値に含まれる前景の成分と異なる。

最小自乗法により、推定混合比および前景の成分の和を未知の変数として、解を算出したとき、式に設定された画素値に含まれる前景の成分の和が変化しているので、前景の成分の和は算出できない。

従って、カバードカバードバックグラウンド領域に対応するモデルを基に、最小自乗法により算出された推定混合比および前景の成分の和の最小自乗誤差和は, 注目画素がアンカバードバックグラウンド領域に属するとき、大きな値となる。このように、アンカバードバックグラウンド領域判定部 3 0 3は、カバードカバードバックグラウンド領域に対応するモデルを基に、最小自乗法により算出された推定混合比および前景の成分の和についての誤差値 Sが閾値 Th以上であるか否かの判定により、対応する画素がアンカバードバックグラウンド領域に属するか否かを判定することができる。

同様に、カバードバックグラウンド領域判定部 3 0 4は、アンカバードカバードバックグラウンド領域に対応するモデルを基に、最小自乗法により算出された推定混合比および前景の成分の和についての誤差値 Sが閾値 Th以上であるか否かの判定により、対応する画素がカバードバックグラウンド領域に属するか否かを判定することができる。

図 3 8乃至図 4 3は、入力画像、および入力画像に対応する領域特定部 1 0 4 による領域の判定の結果の例を示す図である。

図 3 8は、入力画像を示す図である。図 3 8の入力画像において、前景のォブジェクトは、図中の左側から右側に移動している。

図 3 9に示す画像は、図 3 8に示す入力画像について、混合比算出部 1 0 3により、 7フレームを用いて算出された推定混合比および前景の成分の和を基に、領域特定部 1 0 4が、 1つの画素毎に、閾値 Thを 7 0として判定した結果を示す図である。

図 4 0に示す画像は、図 3 8に示す入力画像について、混合比算出部 1 0 3により、 3フレームを用いて算出された推定混合比および前景の成分の和を基に、領域特定部 1 0 4が、 5画素 X 5画素からなるブロック毎に、ブロックについて混合比を一定と仮定して、プロックについての誤差値 Sの和の閾値 Thを 7 5 0 とし、ブロック内の 1つの画素の誤差値 Sの閾値 Thを 1 0として判定した結果を示す図である。

図 4 1は、入力画像を示す図である。図 4 1の入力画像において、前景のォブジェクトは、図中の左側から右側に移動している。

図 4 2に示す画像は、図 4 1に示す入力画像について、混合比算出部 1 0 3により、 7フレームを用いて算出された推定混合比および前景の成分の和を基に、領域特定部 1 0 4が、 1つの画素毎に、閾値 Thを 7 0として判定した結果を示す図である。

図 4 3に示す画像は、図 4 1に示す入力画像について、混合比算出部 1 0 3により、 3フレームを用いて算出された推定混合比および前景の成分の和を基に、領域特定部 1 0 4が、 5画素 X 5画素からなるブロック毎に、ブロックについて混合比を一定と仮定して、ブロックについての誤差値 Sの和の閾値 Thを 7 5 0 とし、ブロック内の 1つの画素の誤差値 Sの閾値 Thを 1 0として判定した結果を示す図である。

図 3 9乃至図 4 3において、カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に位置し、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に位置する。

図 3 8乃至図 4 3に示すように、領域特定部 1 0 4は、ほぼ正確に、領域を判定することができる。

次に、混合比算出部 1 0 3が、式（2 8 ) 乃至式（3 6 ) に最小自乗法を適用して混合比を推定し、推定混合比と共に、推定混合比の傾きを示すデータを混合比関係情報として出力するときの、領域特定部 1 0 4の処理について説明する。注目画素の画素値 Mは、式（2 7 ) より、式（6 2 ) で表される。

M= (jm+kq+p) · B+j - s+k - t+u ( 6 2 ) 式（6 2 ) において、 jは、注目している画素の位置を 0とした水平方向のインデックスであり、 kは、垂直方向のインデックスである。 mは、混合比の面の水平方向の傾きであり、 q は、混合比ひの面の垂直方向の傾きである。 p は、混合比ひの面の切片である。 s， t、および uは、式（2 3 ) 乃至式（2 5 ) に示すように、 m， q、および Pと前景の成分との関係を示す変数である。

予測誤差演算部 3 0 1は、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する、 j，k，m，q，p, _S，t、および u を含む混合比関係情報を基に、式（6 3 ) に対応する演算により、誤差値 Sである最小自乗誤差和を算出することができる。

S =∑{M - [(jm +kq+p) 'B +j- s +k * t + u ] (63) 予測誤差演算部 3 0 2は、アンカバードカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックダラゥンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、式（6 3 ) に対応する演算により、各画素に対応する誤差値を算出し、算出した誤差値をカバードバックグラウンド領域判定部 3 0 4に供給する。

アンカバードバックグラウンド領域判定部 3 0 3は、画素毎に、予測誤差演算部 3 0 1から供給された誤差値が、予め記憶している.閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がアンカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてアンカバードバックグラウンド領域を示すフラグを設定する。アンカバードバックグラウンド領域判定部 3 0 3は、画素毎に設定された、アンカバ一ドバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

カバ一ドバックグラウンド領域判定部 3 0 4は、画素毎に、予測誤差演算部 3 0 2から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がカバ一ドバックグラウンド領域に属すると判定し、注目している画素にカバードバックグラウンド領域を示すフラグを設定する。カバードバックグラウンド領域判定部 3 0 4は、画素毎に設定された、カバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

前景背景領域判定部 3 0 5は、入力画像を基に、前景領域および背景領域を判定し、画素毎に設定された、前景領域を示すフラグ、および背景領域を示すフラグを合成部 3 0 6に供給する。

合成部 3 0 6は、アンカバードバックグラウンド領域判定部 3 0 3から供給されたアンカバードバックグラウンド領域を示すフラグ、カバードバックグラウンド領域判定部 3 0 4から供給されたカバードバックグラウンド領域を示すフラグ並びに前景背景領域判定部 3 0 5から供給された前景領域を示すフラグ、および背景領域を示すフラグを基に、画素毎に、アンカバードバックグラウンド領域、カバードバックグラウンド領域、前景領域、および背景領域のいずれか 1つを示す領域情報を合成する。合成部 3 0 6は、合成した領域情報を混合比決定部 3 0 7に供給すると共に、領域情報を出力する。

混合比決定部 3 0 7は、合成部 3 0 6から供給された領域情報を基に、混合比 a を決定する。

このように、領域特定部 1 0 4は、混合比算出部 1 0 3の混合比の推定の方法に対応して、推定混合比および混合比関係情報を基に、領域情報を生成することができる。

図 4 4は、コンポーネント信号毎に推定された混合比およびこれらに対応する混合比関係情報、並びにコンポーネント信号として入力される入力画像を基に、領域を特定する領域特定部 1 0 4の構成を示すプロック図である。図 3 5に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。

予測誤差演算部 3 0 1— 1は、入力画像のコンポーネント 1から算出された、カバ一ドバックグラウンド領域に対応するモデルによる推定混合比、およびカバ一ドバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値を加算部 3 2 1に供給する。

予測誤差演算部 3 0 1 _ 2は、入力画像のコンポーネント 2から算出された、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびカバ一ドバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値を加算部 3 2 1に供給する。

予測誤差演算部 3 0 1— 3は、入力画像のコンポーネント 3から算出された、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値を加算部 3 2 1に供給する。

予測誤差演算部 3 0 2 _ 1は、入力画像のコンポーネント 1から算出された、アンカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバ一ドバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値を加算部 3 2 2に供給する。

予測誤差演算部 3 0 2— 2は、入力画像のコンポーネント 2から算出された、アンカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値を加算部 3 2 2に供給する。

予測誤差演算部 3 0 2— 3は、入力画像のコンポーネント 3から算出された、アンカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値を加算部 3 2 2に供給する。加算部 3 2 1は、予測誤差演算部 3 0 1 - 1から供給された誤差値、予測誤差演算部 3 0 1 一 2から供給された誤差値、および予測誤差演算部 3 0 1 _ 3から供給された誤差値を加算し、加算した誤差値をアンカバ一ドバックグラウンド領域判定部 3 0 3に供給する。

加算部 3 2 2は、予測誤差演算部 3 0 2— 1から供給された誤差値、予測誤差演算部 3 0 2— 2から供給された誤差値、および予測誤差演算部 3 0 2— 3から供給された誤差値を加算し、加算した誤差値をカバードバックグラウンド領域判定部 3 0 4に供給する。

加算部 3 2 3は、入力画像のコンポーネント 1、入力画像のコンポーネント 2、および入力画像のコンポーネント 3を加算し、加算したコンポーネント 1、コンポーネント 2、およびコンポーネント 3を前景背景領域判定部 3 0 5に供給する _c アンカバードバックグラウンド領域判定部 3 0 3は、画素毎に、加算部 3 2 1 から供給された誤差値が、予め記憶している閾値 Th 以上であるか否かを判定し. 誤差値が閾値 Th以上であると判定された場合、注目している画素がアンカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてアンカバードバックグラウンド領域を示すフラグを設定する。アンカバードバックグラウンド領域判定部 3 0 3は、画素毎に設定された、アンカバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

カバードバックグラウンド領域判定部 3 0 4は、画素毎に、加算部 3 2 2から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がカバードバックグラウンド領域に属すると判定し、注目している画素にカバードバックダラゥンド領域を示すフラグを設定する。カバードバックグラウンド領域判定部 3 0 4 は、画素毎に設定された、カバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

前景背景領域判定部 3 0 5は、加算されたコンポーネント 1、コンポーネント 2、およびコンポーネント 3を基に、前景領域および背景領域を判定し、画素毎に設定された、前景領域を示すフラグ、および背景領域を示すフラグを合成部 3 0 6に供給する。

合成部 3 0 6は、アンカバードバックグラウンド領域判定部 3 0 3から供給されたアンカバードバックグラウンド領域を示すフラグ、力バードバックグラウンド領域判定部 3 0 4から供給されたカバードバックグラウンド領域を示すフラグ. 並びに前景背景領域判定部 3 0 5から供給された前景領域を示すフラグ、および背景領域を示すフラグを基に、画素毎に、アンカバードバックグラウンド領域、カバ—ドバックグラウンド領域、前景領域、および背景領域のいずれかを示す領域情報を合成する。合成部 3 0 6は、合成した領域情報を混合比決定部 3 0 7に供給すると共に、領域情報を出力する。

このように、図 4 4に示す領域特定部 1 0 4は、コンポーネント信号毎に推定された混合比およびこれらに対応する混合比関係情報、並びにコンポーネント信号として入力される入力画像を基に、領域を特定することができる。図 4 4に構成を示す領域特定部 1 0 4は、図 3 5に構成を示す領域特定部 1 0 4に比較して、より正確に、領域を特定することができる。

図 4 5は、コンポーネント信号毎に推定された混合比およびこれらに対応する混合比関係情報、並びにコンポーネント信号として入力される入力画像を基に、領域を特定する領域特定部 1 0 4の他の構成を示すプロック図である。

図 4 4に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

予測誤差演算部 3 0 1— 1は、入力画像のコンポーネント 1から算出された、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびカバ一ドバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値をアンカバ一ドバックグラウンド領域判定部 3 0 3— 1に供給する。

予測誤差演算部 3 0 1 _ 2は、入力画像のコンポーネント 2から算出された、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびカバ一ドバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値をアンカバ一ドバックグラウンド領域判定部 3 0 3— 2に供給する。

予測誤差演算部 3 0 1— 3は、入力画像のコンポーネント 3から算出された、カバードバックグラウンド領域に対応するモデルによる推定混合比、およびカバ一ドバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値をアンカバ一ドバックグラウンド領域判定部 3 0 3— 3に供給する。

予測誤差演算部 3 0 2— 1は、入力画像のコンポーネント 1から算出された、アンカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値をカバードバックグラウンド領域判定部 3 0 4 - 1に供給する。

予測誤差演算部 3 0 2— 2は、入力画像のコンポーネント 2から算出された、アンカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値をカバードバックグラウンド領域判定部 3 0 4— 2に供給する。

予測誤差演算部 3 0 2— 3は、入力画像のコンポーネント 3から算出された、アンカバードバックグラウンド領域に対応するモデルによる推定混合比、およびアンカバードバックグラウンド領域に対応するモデルによる推定混合比に対応する混合比関係情報を基に、各画素に対応する誤差値を算出し、算出した誤差値をカバードバックグラウンド領域判定部 3 0 4 _ 3に供給する。

ァンカバードバックグラウンド領域判定部 3 0 3— 1は、画素毎に、予測誤差演算部 3 0 1— 1から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がアンカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてアンカバードバックグラウンド領域を示すフラグを設定する。ァンカバードバックグラウンド領域判定部 3 0 3— 1は、画素毎に設定された、了ンカバードバックグラウンド領域を示すフラグを論理和演算部 3 4 1に供給する < アンカバードバックグラウンド領域判定部 3 0 3— 2は、画素毎に、予測誤差演算部 3 0 1— 2から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がアンカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてアンカバードバックグラウンド領域を示すフラグを設定する。ァンカバードバックグラウンド領域判定部 3 0 3— 2は、画素毎に設定された、ァンカバードバックグラウンド領域を示すフラグを論理和演算部 3 4 1に供給する ₍ アンカバードバックグラウンド領域判定部 3 0 3— 3は、画素毎に、予測誤差演算部 3 0 1 _ 3から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がアンカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてアンカバードバックグラウンド領域を示すフラグを設定する。ァンカバードバックグラウンド領域判定部 3 0 3— 3は、画素毎に設定された、了ンカバードバックグラウンド領域を示すフラグを論理和演算部 3 4 1に供給する, カバードバックグラウンド領域判定部 3 0 4— 1は、画素毎に、予測誤差演算部 3 0 2— 1から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてカバードバックグラウンド領域を示すフラグを設定する。カバードバックグラウンド領域判定部 3 0 4— 1は、画素毎に設定された、カバードバックダラゥンド領域を示すフラグを論理和演算部 3 4 2に供給する。

カバードバックグラウンド領域判定部 3 0 4— 2は、画素毎に、予測誤差演算部 3 0 2— 2から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてカバードバックグラウンド領域を示すフラグを設定する。カバードノックグラウンド領域判定部 3 0 4— 2は、画素毎に設定された、カバードバックダラゥンド領域を示すフラグを論理和演算部 3 4 2に供給する。

カバードバックグラウンド領域判定部 3 0 4 _ 3は、画素毎に、予測誤差演算部 3 0 2— 3から供給された誤差値が、予め記憶している閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、注目している画素がカバードバックグラウンド領域に属すると判定し、注目している画素に対応させてカバードバックグラウンド領域を示すフラグを設定する。カバードノくックグラウンド領域判定部 3 0 4— 3は、画素毎に設定された、カバードバックグラゥンド領域を示すフラグを論理和演算部 3 4 2に供給する。

前景背景領域判定部 3 0 5— 1は、コンポーネント 1を基に、前景領域および背景領域を判定し、画素毎に設定された、前景領域を示すフラグ、および背景領域を示すフラグを論理和演算部 3 4 3に供給する。

前景背景領域判定部 3 0 5— 2は、コンポーネント 2を基に、前景領域および背景領域を判定し、画素毎に設定された、前景領域を示すフラグ、および背景領域を示すフラグを論理和演算部 3 4 3に供給する。

前景背景領域判定部 3 0 5— 3は、コンポーネント 3を基に、前景領域および背景領域を判定し、画素毎に設定された、前景領域を示すフラグ、および背景領域を示すフラグを論理和演算部 3 4 3に供給する。

論理和演算部 3 4 1は、アンカバードバックグラウンド領域判定部 3 0 3 - 1 から供給されたアンカバードバックグラウンド領域を示すフラグ、アンカバードバックグラウンド領域判定部 3 0 3— 2から供給されたアンカバードバックダラゥンド領域を示すフラグ、およびァンカバードバックグラウンド領域判定部 3 0 3— 3から供給されたアンカバードバックグラウンド領域を示すフラグを基に、ァンカバードバックグラウンド領域判定部 3 0 3— 1から供給されたフラグが示すアンカバードバックグラウンド領域、アンカバードバックグラウンド領域判定部 3 0 3— 2から供給されたフラグが示すァンカバードバックグラウンド領域、およびァンカバードバックグラウンド領域判定部 3 0 3— 3から供給されたフラグが示すアンカバードバックグラウンド領域の論理和を演算して、論理和により演算されたアンカバードバックグラウンド領域を示すフラグを生成する。論理和演算部 3 4 1は、生成したアンカバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

論理和演算部 3 4 2は、カバードバックグラウンド領域判定部 3 0 4— 1から供給されたカバードバックグラウンド領域を示すフラグ、カバードバックグラウンド領域判定部 3 0 4 - 2から供給されたカバードバックグラウンド領域を示すフラグ、およびカバードバックグラウンド領域判定部 3 0 4— 3から供給されたカバードバックグラウンド領域を示すフラグを基に、カバードバックグラウンド領域判定部 3 0 4一 1から供給されたフラグが示すカバードバックグラウンド領域、カバードバックグラウンド領域判定部 3 0 4一 2から供給されたフラグが示すカバードバックグラウンド領域、および力バードバックグラウンド領域判定部 3 0 4— 3から供給されたフラグが示すカバードバックグラウンド領域の論理和を演算して、論理和により演算されたカバードバックグラウンド領域を示すフラグを生成する。論理和演算部 3 4 2は、生成したカバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

論理和演算部 3 4 3は、前景背景領域判定部 3 0 5 - 1から供給された前景領域を示すフラグ、前景背景領域判定部 3 0 5— 2から供給された前景領域を示すフラグ、および前景背景領域判定部 3 0 5— 3から供給された前景領域を示すフラグを基に、前景背景領域判定部 3 0 5— 1から供給されたフラグが示す前景領域、前景背景領域判定部 3 0 5— 2から供給されたフラグが示す前景領域、および前景背景領域判定部 3 0 5— 3から供給されたフラグが示す前景領域の論理和を演算して、論理和により演算された前景領域を示すフラグを生成する。論理和演算部 3 4 3は、生成した前景領域を示すフラグを合成部 3 0 6に供給する。論理和演算部 3 4 3は、前景背景領域判定部 3 0 5— 1から供給された背景領域を示すフラグ、前景背景領域判定部 3 0 5— 2から供給された背景領域を示すフラグ、および前景背景領域判定部 3 0 5— 3から供給された背景領域を示すフラグを基に、前景背景領域判定部 3 0 5— 1から供給されたフラグが示す背景領域、前景背景領域判定部 3 0 5— 2から供給されたフラグが示す背景領域、および前景背景領域判定部 3 0 5— 3から供給されたフラグが示す背景領域の論理和を演算して、論理和により演算された背景領域を示すフラグを生成する。論理和演算部 3 4 3は、生成した背景領域を示すフラグを合成部 3 0 6に供給する。合成部 3 0 6は、論理和演算部 3 4 1から供給されたアンカバードバックダラゥンド領域を示すフラグ、論理和演算部 3 4 2から供給されたカバードバックグラウンド領域を示すフラグ、並びに論理和演算部 3 4 3から供給された前景領域を示すフラグ、および背景領域を示すフラグを基に、画素毎に、アンカバードバックグラウンド領域、カバードバックグラウンド領域、前景領域、および背景領域のいずれかを示す領域情報を合成する。合成部 3 0 6は、合成した領域情報を出力する。

図 4 5に構成を示す領域特定部 1 0 4は、前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域の各領域を漏らさず特定した領域情報を出力することができる。

図 4 6は、コンポーネント信号毎に推定された混合比およびこれらに対応する混合比関係情報、並びにコンポーネント信号として入力される入力画像を基に、領域を特定する領域特定部 1 0 4のさらに他の構成を示すブロック図である。図 4 5に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。

論理積演算部 3 6 1は、アンカバードバックグラウンド領域判定部 3 0 3— 1 から供給されたアンカバードバックグラウンド領域を示すフラグ、アンカバードバックグラウンド領域判定部 3 0 3— 2から供給されたアンカバードバックダラゥンド領域を示すフラグ、およびアンカバードバックグラウンド領域判定部 3 0 3 _ 3カゝら供給されたアンカバ一ドバックグラウンド領域を示すフラグを基に、アンカバードバックグラウンド領域判定部 3 0 3 - 1から供給されたフラグが示すァンカバードバックグラウンド領域、ァンカバードバックグラウンド領域判定部 3 0 3— 2から供給されたフラグが示すアンカバードバックグラウンド領域、およびアンカバードバックグラウンド領域判定部 3 0 3 - 3から供給されたフラグが示すアンカバードバックグラウンド領域の論理積を演算して、論理積により演算されたアンカバードバックグラウンド領域を示すフラグを生成する。論理積演算部 3 6 1は、生成したアンカバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

論理積演算部 3 6 2は、カバードバックグラウンド領域判定部 3 0 4— 1から供給されたカバードバックグラウンド領域を示すフラグ、カバードバックグラウンド領域判定部 3 0 4 _ 2から供給されたカバードバックグラウンド領域を示すフラグ、およびカバードバックグラウンド領域判定部 3 0 4— 3から供給されたカバードバックグラウンド領域を示すフラグを基に、カバードバックグラウンド領域判定部 3 0 4— 1から供給されたフラグが示すカバードバックグラウンド領域、カバードバックグラウンド領域判定部 3 0 4— 2から供給されたフラグが示すカバードバックグラウンド領域、および力バードバックグラウンド領域判定部 3 0 4 _ 3から供給されたフラグが示すカバードバックグラウンド領域の論理積を演算して、論理積により演算されたカバードバックグラウンド領域を示すフラグを生成する。論理積演算部 3 6 2は、生成したカバードバックグラウンド領域を示すフラグを合成部 3 0 6に供給する。

論理積演算部 3 6 3は、前景背景領域判定部 3 0 5— 1から供給された前景領域を示すフラグ、前景背景領域判定部 3 0 5— 2から供給された前景領域を示すフラグ、および前景背景領域判定部 3 0 5— 3から供給された前景領域を示すフラグを基に、前景背景領域判定部 3 0 5 — 1から供給されたフラグが示す前景領域、前景背景領域判定部 3 0 5— 2から供給されたフラグが示す前景領域、および前景背景領域判定部 3 0 5— 3から供給されたフラグが示す前景領域の論理積を演算して、論理積により演算された前景領域を示すフラグを生成する。論理積演算部 3 6 3は、生成した前景領域を示すフラグを合成部 3 0 6に供給する。論理積演算部 3 6 3は、前景背景領域判定部 3 0 5一 1から供給された背景領域を示すフラグ、前景背景領域判定部 3 0 5— 2から供給された背景領域を示すフラグ、および前景背景領域判定部 3 0 5— 3から供給された背景領域を示すフラグを基に、前景背景領域判定部 3 0 5— 1から供給されたフラグが示す背景領域、前景背景領域判定部 3 0 5— 2から供給されたフラグが示す背景領域、および前景背景領域判定部 3 0 5— 3から供給されたフラグが示す背景領域の論理積を演算して、論理積により演算された背景領域を示すフラグを生成する。論理積演算部 3 6 3は、生成した背景領域を示すフラグを合成部 3 0 6に供給する。合成部 3 0 6は、論理積演算部 3 6 1から供給されたアンカバードバックダラゥンド領域を示すフラグ、論理積演算部 3 6 2から供給されたカバードバックグラウンド領域を示すフラグ、並びに論理積演算部 3 6 3から供給された前景領域を示すフラグ、および背景領域を示すフラグを基に、画素毎に、アンカバードバックグラウンド領域、カバードバックグラウンド領域、前景領域、および背景領域のいずれかを示す領域情報を合成する。合成部 3 0 6は、合成した領域情報を出力する。

図 4 6に構成を示す領域特定部 1 0 4は、エラーのより少ない領域情報を出力することができる。

図 4 7のフローチヤ一トを参照して、領域特定部 1 0 4による、領域特定の処理を説明する。ステップ S 3 0 1において、領域特定部 1 0 4は、誤差値を基に画素毎に、カバードバックグラウンド領域の特定の処理を実行する。カバードバックグラウンド領域の特定の処理の詳細は、後述する。

ステップ S 3 0 2において、領域特定部 1 0 4は、誤差値を基に、画素毎に、アンカバードバックグラウンド領域の特定の処理を実行する。アンカバードバックグラウンド領域の特定の処理の詳細は、後述する。

ステップ S 3 0 3において、前景背景領域判定部 3 0 5は、入力画像を基に、画素毎に、前景領域および背景領域を特定し、処理は、終了する。図 4 8のフローチャートを参照して、ステップ S 3 0 1に対応する、カバードバックグラウンド領域の特定の処理を説明する。

ステップ S 3 2 1において、予測誤差演算部 3 0 2は、アンカバードバックグラウンド領域に対応するモデルによる誤差値を計算する。予測誤差演算部 3 0 2 は、計算した誤差値をカバードバックグラウンド領域判定部 3 0 4に供給する。ステップ S 3 2 2において、カバードバックグラウンド領域判定部 3 0 4は、予測誤差演算部 3 0 2から供給された誤差値が、閾値 Th以上であるか否かを判定し、誤差値が閾値 Th 以上であると判定された場合、ステップ S 3 2 3に進み、誤差値に対応する画素に、カバ一ドバックグラウンド領域を示すフラグを設定し- 手続きは、ステップ S 3 2 4に進む。

ステップ S 3 2 2において、誤差値が閾値 Th以上でないと判定された場合、カバードバックグラウンド領域ではないので、ステップ S 3 2 3の処理は、スキップされ、手続きは、ステップ S 3 2 4に進む。

ステップ S 3 2 4において、領域特定部 1 0 4は、画面全体について処理をしたか否かを判定し、画面全体について処理をしていないと判定された場合、ステップ S 3 2 1に戻り、カバードバックグラウンド領域の判定の処理を繰り返す。ステップ S 3 2 4において、画面全体について処理をしたと判定された場合、ステップ S 3 2 5に進み、カバードバックグラウンド領域判定部 3 0 4は、カバ一ドバックグラウンド領域を示すフラグを出力して、処理は終了する。

図 4 9のフローチャートを参照して、ステップ S 3 0 2に対応する、アンカバ一ドバックグラウンド領域の特定の処理を説明する。

ステップ S 3 4 1において、予測誤差演算部 3 0 1は、カバードバックグラウンド領域に対応するモデルによる誤差値を計算する。予測誤差演算部 3 0 1は、計算した誤差値をアンカバードバックグラウンド領域判定部 3 0 3に供給する。ステップ S 3 4 2において、アンカバードバックグラウンド領域判定部 3 0 3 は、予測誤差演算部 3 0 1から供給された誤差値が、閾値 Th以上であるか否かを判定し、誤差値が閾値 Th以上であると判定された場合、ステップ S 3 4 3に進み、誤差値に対応する画素に、アンカバードバックグラウンド領域を示すフラグを設定し、手続きは、ステップ S 3 4 4に進む。

ステップ S 3 4 2において、誤差値が閾値 Th以上でないと判定された場合、アンカバードバックグラウンド領域ではないので、ステップ S 3 4 3の処理は、スキップされ、手続きは、ステップ S 3 4 4に進む。

ステップ S 3 4 4において、領域特定部 1 0 4は、画面全体について処理をしたか否かを判定し、画面全体について処理をしていないと判定された場合、ステップ S 3 4 1に戻り、アンカバードバックグラウンド領域の判定の処理を繰り返す。

ステップ S 3 4 4において、画面全体について処理をしたと判定された場合、ステップ S 3 4 5に進み、アンカバードバックグラウンド領域判定部 3 0 3は、アンカバードバックグラウンド領域を示すフラグを出力して、処理は終了する。以上のように、領域特定部 1 0 4は、推定混合比および推定混合比に対応する混合比関係情報を基に、誤差値を演算し、演算された誤差値を基に、カバードバックグラウンド領域およびアンカバードバックグラウンド領域を特定することができる。

領域特定部 1 0 4は、生成した領域情報を基に、混合比ひを決定して、決定した混合比ひを出力することができる。

混合比ひを利用することにより、動いているオブジェクトに対応する画像に含まれる動きボケの情報を残したままで、画素値に含まれる前景の成分と背景の成分とを分離することが可能になる。

図 4 4に構成を示す領域特定部 1 0 4は、加算された誤差値を基に、カバードバックグラウンド領域またはアンカバードバックグラウンド領域を特定する点を除き、図 4 7乃至図 4 9のフローチヤ一トを参照して説明した処理と同様の処理により、領域を特定するので、その処理の詳細な説明は省略する。

図 4 5に構成を示す領域特定部 1 0 4は、各コンポーネント毎に、領域を特定し、特定された領域の論理和により最終的な領域を求める点を除き、図 4 7乃至図 4 9のフローチヤ一トを参照して説明した処理と同様の処理により、領域を特定するので、その処理の詳細な説明は省略する。

図 4 6に構成を示す領域特定部 1 0 4は、各コンポーネント毎に、領域を特定し、特定された領域の論理積により最終的な領域を求める点を除き、図 4 7乃至図 4 9のフローチャートを参照して説明した処理と同様の処理により、領域を特定するので、その処理の詳細な説明は省略する。

次に、前景背景分離部 1 0 5について説明する。図 5 0は、前景背景分離部 1 0 5の構成の一例を示すブロック図である。前景背景分離部 1 0 5に供給された入力画像は、分離部 6 0 1、スィッチ 6 0 2、およびスィッチ 6 0 4に供給される。カバードバックグラウンド領域を示す情報、およびアンカバードバックダラゥンド領域を示す、領域特定部 1 0 4から供給された領域情報は、分離部 6 0 1 に供給される。前景領域を示す領域情報は、スィッチ 6 0 2に供給される。背景領域を示す領域情報は、スィツチ 6 0 4に供給される。

混合比算出部 1 0 3から供給された混合比ひは、分離部 6 0 1に供給される, 分離部 6 0 1は、カバードバックグラウンド領域を示す領域情報、アンカバードバックグラウンド領域を示す領域情報、および混合比 α を基に、入力画像から前景の成分を分離して、分離した前景の成分を合成部 6 0 3に供給するとともに、入力画像から背景の成分を分離して、分離した背景の成分を合成部 6 0 5に供給する。

スィッチ 6 0 2は、前景領域を示す領域情報を基に、前景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる前景に対応する画素のみを合成部 6 0 3に供給する。

スィッチ 6 0 4は、背景領域を示す領域情報を基に、背景に対応する画素が入力されたとき、閉じられ、入力画像に含まれる背景に対応する画素のみを合成部 6 0 5に供給する。

合成部 6 0 3は、分離部 6 0 1から供給された前景に対応する成分、スィッチ 6 0 2から供給された前景に対応する画素を基に、前景成分画像を合成し、合成した前景成分画像を出力する。前景領域と混合領域とは重複しないので、合成部 6 0 3は、例えば、前景に対応する成分と、前景に対応する画素とに論理積の演算を適用して、前景成分画像を合成する。

合成部 6 0 3は、前景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し, 前景成分画像の合成の処理において、前景成分画像を格納（上書き）する。従つて、合成部 6 0 3が出力する前景成分画像の内、背景領域に対応する画素には、画素値として 0が格納されている。

合成部 6 0 5は、分離部 6 0 1から供給された背景に対応する成分、スィッチ 6 0 4から供給された背景に対応する画素を基に、背景成分画像を合成して、合成した背景成分画像を出力する。背景領域と混合領域とは重複しないので、合成部 6 0 5は、例えば、背景に対応する成分と、背景に対応する画素とに論理積の演算を適用して、背景成分画像を合成する。

合成部 6 0 5は、背景成分画像の合成の処理の最初に実行される初期化の処理において、内蔵しているフレームメモリに全ての画素値が 0である画像を格納し、背景成分画像の合成の処理において、背景成分画像を格納（上書き）する。従つて、合成部 6 0 5が出力する背景成分画像の内、前景領域に対応する画素には、画素値として 0が格納されている。

図 5 1 Aは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像を示す図である。図 5 1 Bは、前景背景分離部 1 0 5に入力される入力画像、並びに前景背景分離部 1 0 5から出力される前景成分画像および背景成分画像のモデルを示す図である _c 図 5 1 Aは、表示される画像の模式図であり、図 5 1 Bは、図 5 1 Aに対応する前景領域に属する画素、背景領域に属する画素、および混合領域に属する画素を含む 1ラインの画素を時間方向に展開したモデル図を示す。

図 5 1 Aおよび図 5 1 Bに示すように、前景背景分離部 1 0 5から出力される背景成分画像は、背景領域に属する画素、および混合領域の画素に含まれる背景の成分から構成される。

図 5 1 Aおよび図 5 1 Bに示すように、前景背景分離部 1 0 5から出力される前景成分画像は、前景領域に属する画素、および混合領域の画素に含まれる前景の成分から構成される。

混合領域の画素の画素値は、前景背景分離部 1 0 5により、背景の成分と、前景の成分とに分離される。分離された背景の成分は、背景領域に属する画素と共に、背景成分画像を構成する。分離された前景の成分は、前景領域に属する画素と共に、前景成分画像を構成する。

このように、前景成分画像は、背景領域に対応する画素の画素値が 0とされ、前景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。同様に、背景成分画像は、前景領域に対応する画素の画素値が 0とされ、背景領域に対応する画素および混合領域に対応する画素に意味のある画素値が設定される。

次に、分離部 6 0 1が実行する、混合領域に属する画素から前景の成分、および背景の成分を分離する処理について説明する。

図 5 2は、図中の左から右に移動するオブジェクトに対応する前景を含む、 2 つのフレームの前景の成分および背景の成分を示す画像のモデルである。図 5 2 に示す画像のモデルにおいて、前景の動き量 Vは 4であり、仮想分割数は、 4 とされている。

フレーム #nにおいて、最も左の画素、および左から 1 4番目乃至 1 8番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム ttnにおいて、左から 2番目乃至 4番目の画素は、背景の成分および前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム #nにおいて、左から 1 1番目乃至 1 3番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #nにおいて、左から 5番目乃至 1 0番目の画素は、前景の成分のみから成り、前景領域に属する。

フレーム itn+ Ιにおいて、左から 1番目乃至 5番目の画素、および左から 1 8 番目の画素は、背景の成分のみから成り、背景領域に属する。フレーム #n+lにおいて、左から 6番目乃至 8番目の画素は、背景の成分および前景の成分を含み、アンカバードバックグラウンド領域に属する。フレーム ttn+1において、左から 1 5番目乃至 1 7番目の画素は、背景の成分および前景の成分を含み、カバードバックグラウンド領域に属する。フレーム #n+lにおいて、左から 9番目乃至 1 4番目の画素は、前景の成分のみから成り、前景領域に属する。

図 5 3は、カバードバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 5 3において、 1乃至 1 8は、フレーム #nにおける画素のぞれぞれに対応する混合比である。図 5 3において、左から 1 5番目乃至 1 7番目の画素は、カバードバックグラウンド領域に属する。

フレーム tin の左から 1 5番目の画素の画素値 C15 は、式（6 4) で表される _c C15=B15/v+F09/v+F08/v+F07/v

= al5-B15+F09/v+F08/v+F07/v

=α 15-P15+F09/v+F08/v+F07/v (64)

ここで、ひ 15 は、フレーム #n の左から 1 5番目の画素の混合比である。 P15 は- フレーム #η- 1の左から 1 5番目の画素の画素値である。

式（6 4) を基に、フレーム ttnの左から 1 5番目の画素の前景の成分の和 Π5は、式（6 5) で表される。

fl5=F09/v+F08/v+F07/v

=C15-ひ 15·Ρ15 (6 5)

同様に、フレーム ίίηの左から 1 6番目の画素の前景の成分の和 Π6は、式 (6 6) で表され、フレーム #ηの左から 1 7番目の画素の前景の成分の和 Π7 は、式（6 7) で表される。

f 16=C16-a 16-P16 (6 6)

fl7=C17-al7-P17 (6 7)

このように、カバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fcは、式（6 8) で計算される。 fc=C -ひ ·Ρ (6 8)

Pは、 1つ前のフレームの、対応する画素の画素値である。

図 5 4は、アンカバードバックグラウンド領域に属する画素から前景の成分を分離する処理を説明する図である。図 5 4において、ひ 1乃至ひ 1 8は、フレーム tinにおける画素のぞれぞれに対応する混合比である。図 5 4において、左から 2番目乃至 4番目の画素は、アンカバードバックグラウンド領域に属する。フレーム #nの左から 2番目の画素の画素値 C02は、式（6 9) で表される。

C02=B02/v+B02/v+B02/v+F01/v

=ひ 2-B02+F01/v

=a2-N02+F01/v (6 9)

ここで、 2は、フレーム ίίηの左から 2番目の画素の混合比である。 Ν02は、フレーム #η+1の左から 2番目の画素の画素値である。

式（6 9) を基に、フレーム #ηの左から 2番目の画素の前景の成分の和 f02 は、式（70) で表される。

f02=F01/v

=C02_ 2·Ν02 ( 7 0)

同様に、フレーム #ηの左から 3番目の画素の前景の成分の和 f03は、式（7 1 ) で表され、フレーム ίίηの左から 4番目の画素の前景の成分の和 f04は、式 (7 2) で表される。

f03=C03 -ひ 3·Ν03 (7 1)

f04=C04 -ひ 4·Ν04 ( 7 2)

このように、アンカバードバックグラウンド領域に属する画素の画素値 Cに含まれる前景の成分 fuは、式（7 3) で計算される。

fu=C-a ·Ν (7 3)

Νは、 1つ後のフレームの、対応する画素の画素値である。

このように、分離部 60 1は、領域情報に含まれる、カバードバックグラウンド領域を示す情報、およびアンカバードバックグラウンド領域を示す情報、並びに画素毎の混合比を基に、混合領域に属する画素から前景の成分、および背景の成分を分離することができる。

図 5 5は、以上で説明した処理を実行する分離部 6 0 1の構成の一例を示すブロック図である。分離部 6 0 1に入力された画像は、フレームメモリ 6 2 1に供給され、混合比算出部 1 0 3から供給されたカバードバックグラウンド領域およびァンカバードバックグラウンド領域を示す領域情報、並びに混合比ひは、分離処理ブロック 6 2 2に入力される。

フレームメモリ 6 2 1は、入力された画像をフレーム単位で記憶する。フレームメモリ 6 2 1は、処理の対象がフレーム ίίηであるとき、フレーム tfnの 1つ前のフレームであるフレーム 1、フレーム #η、およびフレーム #nの 1つ後のフレームであるフレーム ifn+ 1を記憶する。

フレームメモリ 6 2 1は、フレーム #n- 1、フレーム #n、およびフレーム #n+l の対応する画素を分離処理ブロック 6 2 2に供給する。

分離処理ブロック 6 2 2は、カバードバックグラウンド領域およびアンカバードバックグラウンド領域を示す領域情報、並びに混合比ひを基に、フレームメモリ 6 2 1から供給されたフレーム #n-l、フレーム ttn、およびフレーム #n+lの対応する画素の画素値に図 5 3および図 5 4を参照して説明した演算を適用して. フレーム tinの混合領域に属する画素から前景の成分および背景の成分を分離して、フレームメモリ 6 2 3に供給する。

分離処理ブロック 6 2 2は、アンカバード領域処理部 6 3 1、カバード領域処理部 6 3 2、合成部 6 3 3、および合成部 6 3 4で構成されている。

アンカバード領域処理部 6 3 1の乗算器 6 4 1は、混合比ひを、フレームメモリ 6 2 1から供給されたフレーム ttn+ 1の画素の画素値に乗じて、スィツチ 6 4 2に出力する。スィッチ 6 4 2は、フレームメモリ 6 2 1から供給されたフレームの画素（フレーム ίίη+1の画素に対応する）がアンカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 4 1から供給された混合比ひを乗じた画素値を演算器 6 4 3および合成部 6 3 4に供給する。スィツチ 6 4 2から出力されるフレーム ttn+1の画素の画素値に混合比ひを乗じた値は、フレームの対応する画素の画素値の背景の成分に等しい。

演算器 6 4 3は、フレームメモリ 6 2 1から供給されたフレーム #nの画素の画素値から、スィッチ 6 4 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 4 3は、アンカバ一ドバックグラウンド領域に属する、フレーム ttnの画素の前景の成分を合成部 6 3 3に供給する。

カバード領域処理部 6 3 2の乗算器 6 5 1は、混合比ひを、フレームメモリ 6 2 1から供給されたフレーム ttn- 1の画素の画素値に乗じて、スィツチ 6 5 2 に出力する。スィッチ 6 5 2は、フレームメモリ 6 2 1から供給されたフレーム ttnの画素（フレーム #n-lの画素に対応する）がカバードバックグラウンド領域であるとき、閉じられ、乗算器 6 5 1から供給された混合比 a を乗じた画素値を演算器 6 5 3および合成部 6 3 4に供給する。スィツチ 6 5 2から出力されるフレーム ttn_ lの画素の画素値に混合比ひを乗じた値は、フレームの対応する画素の画素値の背景の成分に等しい。

演算器 6 5 3は、フレームメモリ 6 2 1から供給されたフレーム ίίηの画素の画素値から、スィッチ 6 5 2から供給された背景の成分を減じて、前景の成分を求める。演算器 6 5 3は、カバードバックグラウンド領域に属する、フレーム #ηの画素の前景の成分を合成部 6 3 3に供給する。

合成部 6 3 3は、フレームでの、演算器 6 4 3から供給された、アンカバードバックグラウンド領域に属する画素の前景の成分、および演算器 6 5 3から供給された、カバードバックグラウンド領域に属する画素の前景の成分を合成して. フレームメモリ 6 2 3に供給する。

合成部 6 3 4は、フレームの、スィッチ 6 4 2から供給された、アンカバードバックグラウンド領域に属する画素の背景の成分、およびスィッチ 6 5 2から供給された、カバードバックグラウンド領域に属する画素の背景の成分を合成して、フレームメモリ 6 2 3に供給する。

フレームメモリ 6 2 3は、分離処理ブロック 6 2 2から供給された、フレーム «nの混合領域の画素の前景の成分と、背景の成分とをそれぞれに記憶する。

フレームメモリ 6 2 3は、記憶しているフレーム #ηの混合領域の画素の前景の成分、および記憶しているフレーム ttnの混合領域の画素の背景の成分を出力する。

特徴量である混合比ひを利用することにより、画素値に含まれる前景の成分と背景の成分とを完全に分離することが可能になる。

合成部 6 0 3は、分離部 6 0 1から出力された、フレーム ttnの混合領域の画素の前景の成分と、前景領域に属する画素とを合成して前景成分画像を生成する, 合成部 6 0 5は、分離部 6 0 1から出力された、フレーム ίίηの混合領域の画素の背景の成分と、背景領域に属する画素とを合成して背景成分画像を生成する。図 5 6 Αは、図 5 2のフレーム ίίηに対応する、前景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景が分離される前において、背景の成分のみから成っていたので、画素値が 0とされる。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバードバックグラウンド領域に属し、背景の成分が 0とされ、前景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、背景の成分が 0 とされ、前景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景の成分のみから成るので、そのまま残される。 ' 図 5 6 Βは、図 5 2のフレーム #ηに対応する、背景成分画像の例を示す。最も左の画素、および左から 1 4番目の画素は、前景と背景とが分離される前において、背景の成分のみから成っていたので、そのまま残される。

左から 2番目乃至 4番目の画素は、前景と背景とが分離される前において、ァンカバードバックグラウンド領域に属し、前景の成分が 0とされ、背景の成分がそのまま残されている。左から 1 1番目乃至 1 3番目の画素は、前景と背景とが分離される前において、カバードバックグラウンド領域に属し、前景の成分が 0 とされ、背景の成分がそのまま残されている。左から 5番目乃至 1 0番目の画素は、前景と背景とが分離される前において、前景の成分のみから成っていたので- 画素値が 0とされる。

次に、図 5 7に示すフローチャートを参照して、前景背景分離部 1 0 5による前景と背景との分離の処理を説明する。ステップ S 6 0 1において、分離部 6 0 1のフレームメモリ 6 2 1は、入力画像を取得し、前景と背景との分離の対象となるフレーム ttnを、その前のフレーム ίίη-lおよびその後のフレーム ttn+1 と共に

BDfe"9 る。

ステップ S 6 0 2において、分離部 6 0 1の分離処理ブロック 6 2 2は、混合比算出部 1 0 3から供給された領域情報を取得する。ステップ S 6 0 3において. 分離部 6 0 1の分離処理ブロック 6 ² 2は、混合比算出部 1 0 3から供給された混合比 a を取得する。

ステップ S 6 0 4において、アンカバード領域処理部 6 3 1は、領域情報および混合比を基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 6 0 5において、アンカバード領域処理部 6 3 1は、領域情報および混合比 α を基に、フレームメモリ 6 2 1から供給された、アンカバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 6において、カバード領域処理部 6 3 2は、領域情報および混合比ひを基に、フレームメモリ 6 2 1から供給された、カバードバックグラウンド領域に属する画素の画素値から、背景の成分を抽出する。

ステップ S 6 0 7において、カバード領域処理部 6 3 2は、領域情報および混合比ひを基に、フレームメモリ 6 2 1から供給された、カバードバックグラウンド領域に属する画素の画素値から、前景の成分を抽出する。

ステップ S 6 0 8において、合成部 6 3 3は、ステップ S 6 0 5の処理で抽出されたアンカバ一ドバックグラウンド領域に属する画素の前景の成分と、ステツプ S 6 0 7の処理で抽出されたカバードバックグラウンド領域に属する画素の前景の成分とを合成する。合成された前景の成分は、合成部 6 0 3に供給される。更に、合成部 6 0 3は、スィッチ 6 0 2を介して供給された前景領域に属する画素と、分離部 6 0 1から供給された前景の成分とを合成して、前景成分画像を生成する。

ステップ S 6 0 9において、合成部 6 3 4は、ステップ S 6 0 4の処理で抽出されたアンカバードバックグラウンド領域に属する画素の背景の成分と、ステツプ S 6 0 6の処理で抽出されたカバードバックグラウンド領域に属する画素の背景の成分とを合成する。合成された背景の成分は、合成部 6 0 5に供給される。更に、合成部 6 0 5は、スィッチ 6 0 4を介して供給された背景領域に属する画素と、分離部 6 0 1から供給された背景の成分とを合成して、背景成分画像を生成する。

ステップ S 6 1 0において、合成部 6 0 3は、前景成分画像を出力する。ステップ S 6 1 1において、合成部 6 0 5は、背景成分画像を出力し、処理は終了する。

このように、前景背景分離部 1 0 5は、領域情報および混合比を基に、入力画像から前景の成分と、背景の成分とを分離し、前景の成分のみから成る前景成分画像、および背景の成分のみから成る背景成分画像を出力することができる, 次に、前景成分画像の動きボケの量の調整について説明する。

図 5 8は、動きボケ調整部 1 0 6の構成の一例を示すブロック図である。動き検出部 1 0 2から供給された動きべクトルとその位置情報は、処理単位決定部 8 0 1、モデル化部 8 0 2、および演算部 8 0 5に供給される。領域特定部 1 0 4 から供給された領域情報は、処理単位決定部 8 0 1に供給される。前景背景分離部 1 0 5から供給された前景成分画像は、足し込み部 8 0 4に供給される。

処理単位決定部 8 0 1は、動きべクトルとその位置情報、および領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 8 0 2および足し込み部 8 0 4に供給する。

処理単位決定部 8 0 1が生成する処理単位は、図 5 9に Aで例を示すように、前景成分画像のカバードバックグラウンド領域に対応する画素から始まり、アンカバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素、またはアンカバードバックグラウンド領域に対応する画素から始まり、カバ一ドバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素を示す。処理単位は、例えば、左上点（処理単位で指定される画素であって、画像上で最も左または最も上に位置する画素の位置）および右下点の 2つのデータから成る。

モデル化部 8 0 2は、動きべクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部 8 0 2は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図 6 0に示すような、画素値と前景の成分との対応を指定するモデルを選択する。

例えば、処理単位に対応する画素の数が 1 2でありシャツタ時間内の動き量 V が 5であるときにおいては、モデル化部 8 0 2は、仮想分割数を 5とし、最も左に位置する画素が 1つの前景の成分を含み、左から 2番目の画素が 2つの前景の成分を含み、左から 3番目の画素が 3つの前景の成分を含み、左から 4番目の画素が 4つの前景の成分を含み、左から 5番目の画素が 5つの前景の成分を含み、左から 6番目の画素が 5つの前景の成分を含み、左から 7番目の画素が 5つの前景の成分を含み、左から 8番目の画素が 5つの前景の成分を含み、左から 9番目の画素が 4つの前景の成分を含み、左から 1 0番目の画素が 3つの前景の成分を含み、左から 1 1番目の画素が 2つの前景の成分を含み、左から 1 2番目の画素が 1つの前景の成分を含み、全体として 8つの前景の成分から成るモデルを選択する。

なお、モデル化部 8 0 2は、予め記憶してあるモデルから選択するのではなく動きべクトル、および処理単位が供給されたとき、動きべクトル、および処理単位を基に、モデルを生成するようにしてもよい。

モデル化部 8 0 2は、選択したモデルを方程式生成部 8 0 3に供給する。方程式生成部 8 0 3は、モデル化部 8 0 2から供給されたモデルを基に、方程式を生成する。図 6 0に示す前景成分画像のモデルを参照して、前景の成分の数が 8であり、処理単位に対応する画素の数が 1 2であり、動き量 V が 5であり仮想分割数が 5であるときの、方程式生成部 8 0 3が生成する方程式について説明する。

前景成分画像に含まれるシャッタ時間/ Vに対応する前景成分が FOl/v乃至 F08/vであるとき、 FOl/v乃至 F08/vと画素値 C01乃至 C12との関係は、式（7 4) 乃至式（8 5) で表される。

C01=F01/v (74)

C02=F02/v+F01/v (7 5)

C03=F03/v+F02/v+F01/v (7 6)

C04=F04/v+F03/v+F02/v+F01/v (7 7)

C05=F05/v+F04/v+F03/v+F02/v+F01/v (7 8) C06=F06/v+F05/v+F04/v+F03/v+F02/v (7 9) C07=F07/v+F06/v+F05/v+F04/v+F03/v (8 0)

C08=F08/v+F07/v+F06/v+F05/v+F04/v (8 1) C09=F08/v+F07/v+F06/v+F05/v (8 2)

C10=F08/v+F07/v+F06/v (8 3)

Cll=F08/v+F07/v (8 4)

C12=F08/v (8 5) 方程式生成部 8 0 3は、生成した方程式を変形して方程式を生成する。方程式生成部 8 0 3が生成する方程式を、式（8 6) 乃至式（9 7) に示す。

C01 = l - FOl/v+0 · F02/v+0 - F03/v+0 - F04/v+0 - F05/v

+0 - F06/v+0 - F07/V+0 · F08/v (8 6)

C02=l · FOl/v+1 · F02/v+0 · F03/v+0 · F04/v+0 · F05/v

+0 - F06/v+0 · F07/v+0 - F08/v (8 7)

C03=l · FOl/v+1 · F02/v+l · F03/v+0 · F04/v+0 - F05/v +0 · F06/v+0 · F07/v+0 · F08/v 88) C04=l - FOl/v+1 - F02/v+l - F03/v+l · F04/v+0 - F05/v

+0 - F06/v+0 · F07/v+0 · F08/v 8 9) C05=l · FOl/v+1 · F02/v+l - F03/v+l · F04/v+l - F05/v

+0 · F06/v+0 · F07/v+0 · F08/v 90) C06=0 · FOl/v+1 · F02/v+l - F03/v+l - F04/v+l · F05/v

+1 - F06/v+0 · F07/v+0 - F08/v 9 1) C07=0 - FOl/v+0 · F02/v+l · F03/v+l · F04/v+l · F05/v

+1 · F06/v+l · F07/v+0 - F08/v 92) C08=0 · FOl/v+0 · F02/v+0 - F03/v+l · F04/v+l · F05/v

+1 · F06/v+l - F07/v+l · F08/v 93) C09=0 · FOl/v+0 · F02/v+0 · F03/v+0 · F04/v+l · F05/v

+1 · F06/V+1 · F07/v+l - F08/v 94) CI 0=0 - FOl/v+0 - F02/v+0 - F03/v+0 · F04/v+0 · F05/v

+1 - F06/v+l - F07/v+l - F08/v 95) C11=0 - FOl/v+0 · F02/v+0 · F03/v+0 · F04/v+0 - F05/v

+0 · F06/v+l · F07/v+l · F08/v 96) C12=0 · FOl/v+0 · F02/v+0 · F03/v+0 · F04/v+0 - F05/v

+0 - F06/v+0 · F07/v+l · F08/v 9 7) 式（86) 乃至式（9 7) は、式（98) として表すこともできる

08

Ci= .aij'Filv (98)

--01

式（98) において、 jは、画素の位置を示す。この例において、 jは、 1乃至 1 2のいずれか 1つの値を有する。また、 iは、前景値の位置を示す。この例において、 iは、 1乃至 8のいずれか 1つの値を有する。 aijは、 iおよび jの値に対応して、 0または 1の値を有する。

誤差を考慮して表現すると、式（98) は、式（99) のように表すことがでさる。

08

Cj=∑aij'Fi/v + ej (99)

i=01

式（9 9 ) において、 ejは、注目画素 Cjに含まれる誤差である。

式（9 9 ) は、式（1 0 0 ) に書き換えることができる。 '

08

ej = -∑ai Fi/v (扇)

i=01 ここで、最小自乗法を適用するため、誤差の自乗和 Eを式（1 0 1 ) に示すように定義する。

12

E =∑ej (101)

--0J 誤差が最小になるためには、誤差の自乗和 Eに対する、変数 Fkによる偏微分の値が 0になればよい。式（1 0 2 ) を満たすように Fkを求める。 dFk ~ ³ ^Fk

12 OS

= 2,∑{(Cj -∑aij*Fi )'(-akjlv) = 0 (102)

j-ϋΐ i=01

式（1 0 2 ) において、動き量 vは固定値であるから、式（1 0 3 ) を導くことができる。

12 OS

∑ akj · (Cj -∑aii-Fi/v) = 0 (103)

j=oi i=oi 式（1 0 3 ) を展開して、移項すると、式（1 0 4 ) を得る。

12 08 12

∑ ( kj'∑aij-Fi) = v∑ akj

Cj (io4)

j=01 i=01 j= 1 式（1 0 4 ) の kに 1乃至 8の整数のいずれか 1つを代入して得られる 8つの式に展開する。得られた 8つの式を、行列により 1つの式により表すことができる。この式を正規方程式と呼ぶ。

このような最小自乗法に基づく、方程式生成部 8 0 3が生成する正規方程式の例を式（1 0 5 ) に示す。

式（ 1 0 5 ) を A ' F=v ' Cと表すと、 C, A， Vが既知であり、 Fは未知である。また、 A, Vは、モデル化の時点で既知だが、 Cは、足し込み動作において画素値を入力することで既知となる。

最小自乗法に基づく正規方程式により前景成分を算出することにより、画素 C に含まれている誤差を分散させることができる。

方程式生成部 8 0 3は、このように生成された正規方程式を足し込み部 8 0 4 に供給する。

足し込み部 8 0 4は、処理単位決定部 8 0 1から供給された処理単位を基に、前景成分画像に含まれる画素値 Cを、方程式生成部 8 0 3から供給された行列の式に設定する。足し込み部 8 0 4は、画素値 Cを設定した行列を演算部 8 0 5に供給する。

演算部 8 0 5は、掃き出し法（Gauss-Jordanの消去法）などの解法に基づく処理により、動きボケが除去された前景成分 Fi/vを算出して、動きボケが除去された前景の画素値である、 0乃至 8の整数のいずれかの iに対応する Fiを算出して、図 6 1に例を示す、動きボケが除去された画素値である Fiから成る、動きボケが除去された前景成分画像を動きボケ付加部 8 0 6および選択部 8 0 7 に出力する。なお、図 6 1に示す動きボケが除去された前景成分画像において、 C03乃至 C 10のそれぞれに F01乃至 F08のそれぞれが設定されているのは、画面に対する前景成分画像の位置を変化させないためであり、任意の位置に対応させることができる。

動きボケ付加部 8 0 6は、動き量 Vとは異なる値の動きボケ調整量 v'、例えば、動き量 Vの半分の値の動きボケ調整量 V'や、動き量 Vと無関係の値の動きボケ調整量 V'を与えることで、動きボケの量を調整することができる。例えば、図 6 2に示すように、動きボケ付加部 8 0 6は、動きボケが除去された前景の画素値 Fiを動きボケ調整量 v'で除すことにより、前景成分 Fi/v'を算出して、前景成分 Fi /v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量 v'が 3のとき、画素値 C02は、（F01 ) /ν'とされ、画素値 C03は、（F01 +F02) /ν'とされ、画素値 C04は、（FO 1+F02+F03) /ν'とされ、画素 : C05は、（F02+F03+F04) /v'とされる。

動きボケ付加部 8 0 6は、動きボケの量を調整した前景成分画像を選択部 8 0 7に供給する。

選択部 8 0 7は、例えば使用者の選択に対応した選択信号を基に、演算部 8 0

5から供給された動きボケが除去された前景成分画像、および動きボケ付加部 8

0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

このように、動きボケ調整部 1 0 6は、選択信号および動きボケ調整量 v'を基に、動きボケの量を調整することができる。

また、例えば、図 6 3に示すように、処理単位に対応する画素の数が 8であり , 動き量 Vが 4であるとき、動きボケ調整部 1 0 6は、式（1 0 6 ) に示す行列の式を生成する。

動きボケ調整部 1 0 6は、このように処理単位の長さに対応した数の式を立てて、動きボケの量が調整された画素値である Fiを算出する。同様に、例えば、処理単位に含まれる画素の数が 1 0 0あるとき、 1 0 0個の画素に対応する式を生成して、 Fiを算出する。

図 6 4は、動きボケ調整部 1 0 6の他の構成を示す図である。図 5 8に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。

選択部 8 2 1は、選択信号を基に、入力された動きべクトルとその位置信号をそのまま処理単位決定部 8 0 1およびモデル化部 8 0 2に供給するか、または動きベクトルの大きさを動きボケ調整量 v'に置き換えて、その大きさが動きボケ調整量 v'に置き換えられた動きべクトルとその位置信号を処理単位決定部 8 0 1およびモデル化部 8 0 2に供給する。

このようにすることで、図 6 4の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、動き量 Vと動きボケ調整量 v 'との値に対応して、動きボケの量を調整することができる。例えば、動き量 Vが 5であり、動きボケ調整量 v'が 3であるとき、図 6 4の動きボケ調整部 1 0 6の処理単位決定部 8 0 1乃至演算部 8 0 5は、図 6 0に示す動き量 Vが 5である前景成分画像に対して、 3である動きボケ調整量 v'対応する図 6 2に示すようなモデルに従って、演算を実行し、（動き量 V ) I (動きボケ調整量 ν ' ) = 5/3、すなわちほぼ 1. 7 の動き量 Vに応じた動きボケを含む画像を算出する。なお、この場合、算出される画像は、 3である動き量 Vに対応した動きボケを含むのではないので、動きボケ付加部 8 0 6の結果とは動き量 Vと動きボケ調整量 v 'の関係の意味合いが異なる点に注意が必要である。

以上のように、動きボケ調整部 1 0 6は、動き量 Vおよび処理単位に対応して、式を生成し、生成した式に前景成分画像の画素値を設定して、動きボケの量が調整された前景成分画像を算出する。

次に、図 6 5のフローチャートを参照して、動きボケ調整部 1 0 6による前景成分画像に含まれる動きボケの量の調整の処理を説明する。

ステップ S 8 0 1において、動きボケ調整部 1 0 6の処理単位決定部 8 0 1は、動きべクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 8 0 2に供給する。

ステップ S 8 0 2において、動きボケ調整部 1 0 6のモデル化部 8 0 2は、動き量 Vおよび処理単位に対応して、モデルの選択や生成を行う。ステップ S 8 0 3において、方程式生成部 8 0 3は、選択されたモデルを基に、正規方程式を作成する。

ステップ S 8 0 4において、足し込み部 8 0 4は、作成された正規方程式に前景成分画像の画素値を設定する。ステップ S 8 0 5において、足し込み部 8 0 4 は、処理単位に対応する全ての画素の画素値の設定を行ったか否かを判定し、処理単位に対応する全ての画素の画素値の設定を行っていないと判定された場合、ステップ S 8 0 4に戻り、正規方程式への画素値の設定の処理を繰り返す。

ステップ S 8 0 5において、処理単位の全ての画素の画素値の設定を行ったと判定された場合、ステップ S 8 0 6に進み、演算部 8 0 5は、足し込み部 8 0 4 から供給された画素値が設定された正規方程式を基に、動きボケの量を調整した前景の画素値を算出して、処理は終了する。

このように、動きボケ調整部 1 0 6は、動きべクトルおよび領域情報を基に、動きボケを含む前景画像から動きボケの量を調整することができる。

すなわち、サンプルデータである画素値に含まれる動きボケの量を調整することができる。

図 6 6は、動きボケ調整部 1 0 6の構成の他の一例を示すブロック図である。動き検出部 1 0 2から供給された動きべクトルとその位置情報は、処理単位決定部 9 0 1および補正部 9 0 5に供給され、領域特定部 1 0 4から供給された領域情報は、処理単位決定部 9 0 1に供給される。前景背景分離部 1 0 5から供給された前景成分画像は、演算部 9 0 4に供給される。

処理単位決定部 9 0 1は、動きべクトルとその位置情報、および領域情報を基に、処理単位を生成し、動きべクトルと共に、生成した処理単位をモデル化部 9 0 2に供給する。

モデル化部 9 0 2は、動きベクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部 9 0 2は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図 6 7に示すような、画素値と前景の成分との対応を指定するモデルを選択する。

例えば、処理単位に対応する画素の数が 1 2であり動き量 Vが 5であるときにおいては、モデル化部 9 0 2は、仮想分割数を 5とし、最も左に位置する画素が 1つの前景の成分を含み、左から 2番目の画素が 2つの前景の成分を含み、左から 3番目の画素が 3つの前景の成分を含み、左から 4番目の画素が 4つの前景の成分を含み、左から 5番目の画素が 5つの前景の成分を含み、左から 6番目の画素が 5つの前景の成分を含み、左から 7番目の画素が 5つの前景の成分を含み、左から 8番目の画素が 5つの前景の成分を含み、左から 9番目の画素が 4つの前景の成分を含み、左から 1 0番目の画素が 3つの前景の成分を含み、左から 1 1 番目の画素が 2つの前景の成分を含み、左から 1 2番目の画素が 1つの前景の成分を含み、全体として 8つの前景の成分から成るモデルを選択する。

なお、モデル化部 9 0 2は、予め記憶してあるモデルから選択するのではなく，動きベクトル、および処理単位が供給されたとき、動きべクトル、および処理単位を基に、モデルを生成するようにしてもよい。

方程式生成部 9 0 3は、モデル化部 9 0 2から供給されたモデルを基に、方程式を生成する。

図 6 7乃至図 6 9に示す前景成分画像のモデルを参照して、前景の成分の数が 8であり、処理単位に対応する画素の数が 1 2であり、動き量 Vが 5であるときの、方程式生成部 9 0 3が生成する方程式の例について説明する。

前景成分画像に含まれるシャッタ時間/ Vに対応する前景成分が FOl/v乃至 F08/vであるとき、 FOl/v乃至 F08/vと画素値 C01乃至 C12との関係は、上述したように、式（74) 乃至式（8 5) で表される。

画素値 C12および C11に注目すると、画素値 C12は、式（1 0 7) に示すように、前景の成分 F08/vのみを含み、画素値 C11は、前景の成分 F08/vおよび前景の成分 F07/vの積和から成る。従って、前景の成分 F07/vは、式（1 0 8) で求めることができる。

F08/v=C12 ( 1 0 7)

F07/v=Cll - C12 ( 1 0 8)

同様に、画素値 C10乃至 C01に含まれる前景の成分を考慮すると、前景の成分 F06/v乃至 FOl/vは、式（1 0 9) 乃至式（1 1 4) により求めることがでさる。

F06/v=C10-Cll ( 1 0 9)

F05/v=C09 - C10 ( 1 1 0)

F04/v=C08-C09 ( 1 1 1)

F03/v=C07-C08+C12 ( 1 1 2)

F02/v=C06-C07+Cll-C12 ( 1 1 3)

F01/v=C05 - C06+C10 - Cll ( 1 1 4)

方程式生成部 9 0 3は、式（1 0 7) 乃至式（1 1 4) に例を示す、画素値の差により前景の成分を算出するための方程式を生成する。方程式生成部 9 0 3は、生成した方程式を演算部 9 04に供給する。

演算部 904は、方程式生成部 903から供給された方程式に前景成分画像の画素値を設定して、画素値を設定した方程式を基に、前景の成分を算出する。演算部 9 0 4は、例えば、式（1 0 7 ) 乃至式（1 1 4 ) が方程式生成部 9 0 3から供給されたとき、式（1 0 7 ) 乃至式（1 1 4 ) に画素値 C05乃至 C12を設定する。

演算部 9 0 4は、画素値が設定された式に基づき、前景の成分を算出する。例えば、演算部 9 0 4は、画素値 C05乃至 C12が設定された式（1 0 7 ) 乃至式 ( 1 1 4 ) に基づく演算により、図 6 8に示すように、前景の成分 FO l/v乃至 F08/vを算出する。演算部 9 0 4は、前景の成分 FO l/v乃至 F08/vを補正部 9 0 5に供給する。

補正部 9 0 5は、演算部 9 0 4から供給された前景の成分に、処理単位決定部 9 0 1から供給された動きベクトルに含まれる動き量 Vを乗じて、動きボケを除去した前景の画素値を算出する。例えば、補正部 9 0 5は、演算部 9 0 4から供給された前景の成分 FO l/v乃至 FOS/vが供給されたとき、前景の成分 FO l/v 乃至 F08/vのそれぞれに、 5である動き量 Vを乗じることにより、図 6 9に示すように、動きボケを除去した前景の画素値 F01乃至 F08を算出する。

補正部 9 0 5は、以上のように算出された、動きボケを除去した前景の画素値から成る前景成分画像を動きボケ付加部 9 0 6および選択部 9 0 7に供給する。動きボケ付加部 9 0 6は、動き量 Vとは異なる値の動きボケ調整量 v'、例えば、動き量 Vの半分の値の動きボケ調整量 v'、動き量 Vと無関係の値の動きボケ調整量 v'で、動きボケの量を調整することができる。例えば、図 6 2に示すように、動きボケ付加部 9 0 6は、動きボケが除去された前景の画素値 Fiを動きボケ調整量 v'で除すことにより、前景成分 Fi/v'を算出して、前景成分 Fi/v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量 v'が 3のとき、画素値 C02は、（F01 ) /v'とされ、画素値 C03 は、（F01+F02) /v'とされ、画素値 C04は、（F01+F02+F03) /v'とされ、画素値 C05は、（F02+F03+F04) /v'とされる。

動きボケ付加部 9 0 6は、動きボケの量を調整した前景成分画像を選択部 9 0 7に供給する。選択部 9 0 7は、例えば使用者の選択に対応した選択信号を基に、補正部 9 0 5から供給された動きボケが除去された前景成分画像、および動きボケ付加部 9 0 6から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。

次に、図 6 6に構成を示す動きボケ調整部 1 0 6による前景の動きボケの量の調整の処理を図 7 0のフローチヤ一トを参照して説明する。

ステップ S 9 0 1において、動きボケ調整部 1 0 6の処理単位決定部 9 0 1は、動きべクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部 9 0 2および捕正部 9 0 5に供給する。

ステップ S 9 0 2において、動きボケ調整部 1 0 6のモデル化部 9 0 2は、動き量 Vおよび処理単位に対応して、モデルの選択や生成を行う。ステップ S 9 0 3において、方程式生成部 9 0 3は、選択または生成されたモデルを基に、前景成分画像の画素値の差により前景の成分を算出するための方程式を生成する。ステップ S 9 0 4において、演算部 9 0 4は、作成された方程式に前景成分画像の画素値を設定し、画素値が設定された方程式を基に、画素値の差分から前景の成分を抽出する。ステップ S 9 0 5において、演算部 9 0 4は、処理単位に対応する全ての前景の成分を抽出したか否かを判定し、処理単位に対応する全ての前景の成分を抽出していないと判定された場合、ステップ S 9 0 4に戻り、前景の成分を抽出の処理を繰り返す。

ステップ S 9 0 5において、処理単位に対応する全ての前景の成分を抽出したと判定された場合、ステップ S 9 0 6に進み、補正部 9 0 5は、動き量 Vを基に、演算部 9 0 4から供給された前景の成分 FO l /v乃至 FOS/vのそれぞれを補正して、動きボケを除去した前景の画素値 F01乃至 F08を算出する。

ステップ S 9 0 7において、動きボケ付加部 9 0 6は、動きボケの量を調整した前景の画素値を算出して、選択部 9 0 7は、動きボケが除去された画像または動きボケの量が調整された画像のいずれかを選択して、選択した画像を出力して, 処理は終了する。

このように、図 6 6に構成を示す動きボケ調整部 1 0 6は、より簡単な演算で、より迅速に、動きボケを含む前景画像から動きボケを調整することができる。

ウィナー，フィルタなど従来の動きボケを部分的に除去する手法が、理想状態では効果が認められるが、量子化され、ノイズを含んだ実際の画像に対して十分な効果が得られないのに対し、図 6 6に構成を示す動きボケ調整部 1 0 6においても、量子化され、ノイズを含んだ実際の画像に対しても十分な効果が認められ, 精度の良い動きボケの除去が可能となる。

以上のように、図 2に構成を示す画像処理装置は、入力画像に含まれる動きボケの量を調整することができる。

なお、混合比ひは、画素値に含まれる背景の成分の割合として説明したが、画素値に含まれる前景の成分の割合としてもよい。

また、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。

以上においては、 3次元空間と時間軸情報を有する現実空間の画像をビデオ力メラを用いて 2次元空間と時間軸情報を有する時空間への射影を行った場合を例としたが、本発明は、この例に限らず、より多くの第 1の次元の第 1の情報を、より少ない第 2の次元の第 2の情報に射影した場合に、その射影によって発生する歪みを捕正したり、有意情報を抽出したり、またはより自然に画像を合成する場合に適応することが可能である。

なお、センサは、 CCDに限らず、固体撮像素子である、例えば、 BBD (Bucket Bri gade Deviceノ、 CID (Charge Inject ion Device) 、 CPD (Charge Priming Device) 、または CMOS (Compl ementary Mental Oxide Semiconductor) センサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が 1列に並んでいるセンサでもよい。

本発明の信号処理を行うプログラムを記録した記録媒体は、図 1に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 5 1 (フロッピ（登録商標）ディスクを含む）、光ディスク 5 2 (CD-ROM (Compact Di sc-Read Only Memory) ,

DVD (Digi tal Versat i le Di sc)を含む）、光磁気ディスク 5 3 (M D (Min i- Di sc) (商標）を含む）、もしくは半導体メモリ 5 4などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている R0M 2 2や、記憶部 2 8に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

本発明によれば、背景の画像の領域、移動する物体の画像の領域、および混ざり合いが生じている画像の領域を特定することが可能となる。

Claims

請求の範囲

1 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理装置において、前記画像データの注目フレームの注目画素に対応する、前記注目フレームの周辺の周辺フレームの前記画素データを、前記画像データの複数のオブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、前記注目フレームに存在する前記注目画素の注目画素データを抽出し、前記注目画素について、前記注目画素データおよび前記背景画素データの関係を示す、複数の関係式を生成する関係式生成手段と、

前記関係式に基づいて、前記注目画素に対応して、現実世界において複数である前記ォブジェクトの混合状態を示す混合比を検出する混合比検出手段と、前記混合比検出手段により検出された前記混合比を前記関係式に代入することにより予測誤差を演算する予測誤差演算手段と、

前記予測誤差を基に、前記注目画素の属する領域が、前記複数のオブジェクトが混合されてなる混合領域であって、前記複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、前記混合領域であって、前記前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックグラウンド領域ァンカバードバックグラウンド領域特定手段と、前記注目画素の属する領域が、前記前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、前記背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定手段と

を含むことを特徴とする画像処理装置。

2 . 前記混合比検出手段は、前記関係式に基づいて、前記注目画素に対応して. 前記注目画素に含まれる前記前景ォブジェクト成分を検出すると共に、前記混合比を検出し、前記予測誤差演算手段は、前記混合比検出手段により検出された前記混合比および前記注目画素に含まれる前記前景オブジェクト成分を前記関係式に代入することにより前記予測誤差を演算する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記関係式生成手段は、前記注目画素に対応する、前記周辺フレームの前記画素データを、前記背景オブジェクトに相当する前記背景画素データとして抽出すると共に、前記注目画素の注目画素データ、および前記注目フレーム内の前記注目画素の近傍に位置する、近傍画素の近傍画素データを抽出し、前記注目画素について、前記注目画素データおよび前記近傍画素データ、並びに前記注目画素データまたは前記近傍画素データに対応する前記背景画素データの関係を示す、前記複数の関係式を生成する

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記関係式生成手段は、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、前記複数の関係式を生成する

ことを特徴とする請求の範囲第 3項に記載の画像処理装置。

5 . 前記関係式生成手段は、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、前記複数の関係式を生成する

6 . 前記混合比検出手段は、前記複数の関係式を最小自乗法で解くことにより、前記混合比を検出する

7 . 前記関係式生成手段は、前記注目画素が、前記カバードバックグラウンド領域に属するとした場合、前記注目フレームの前のフレームの前記画素データを、前記背景画素データとして抽出し、前記注目画素が、前記アンカバードバックグラウンド領域に属するとした場合、前記注目フレームの次のフレームの前記画素データを、前記背景画素データとして抽出し、前記複数の関係式を生成することを特徴とする請求の範囲第 3項に記載の画像処理装置。

8 . 前記関係式生成手段は、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のォブジェク卜が混合状態にある混合画素データを抽出すると共に、前記混合画素データにの個々に対応して、前記背景オブジェク卜の動きを基に、前記混合画素データが抽出されたフレームとは異なるフレームから、前記背景オブジェトに相当する前記背景画素データを抽出し、複数の関係式を生成する

9 . 前記関係式生成手段は、前記混合画素データに対応する前記前景オブジェクト成分が等しいとする第 1の近似、および前記注目フレームおよび前記周辺フレームから抽出された前記混合画素データは一定であるとする第 2の近似に基づいて、複数の関係式を生成する

ことを特徴とする請求の範囲第 8項に記載の画像処理装置。

1 0 : 前記関係式生成手段は、前記注目画素に対応して、前記前景ォブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のォブジェクトが混合状態にある混合画素データを抽出すると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの前のフレームから、前記背景オブジェトに相当する前記背景画素データを抽出し、複数の関係式を生成し、

前記力バードバックグラウンド領域アンカバードバックグラウンド領域特定手段は、前記予測誤差が所定の閾値以上である領域をアンカバードバックグラウンド領域であると特定する

1 1 . 前記関係式生成手段は、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のォブジェクトが混合状態にある混合画素データを抽出すると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの次のフレームから、前記背景オブジェトに相当する前記背景画素データを抽出し、複数の関係式を生成し、

前記カバードバックグラウンド領域アンカバードバックグラウンド領域特定手段は、前記予測誤差が所定の閾値以上である領域をカバードバックグラウンド領域であると特定する

1 2 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理方法において、前記画像データの注目フレームの注目画素に対応する、前記注目フレームの周辺の周辺フレームの前記画素データを、前記画像データの複数のオブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、前記注目フレームに存在する前記注目画素の注目画素データを抽出し、前記注目画素について、前記注目画素データおよび前記背景画素データの関係を示す、複数の関係式を生成する関係式生成ステップと、

前記関係式に基づいて、前記注目画素に対応して、現実世界において複数である前記オブジェクトの混合状態を示す混合比を検出する混合比検出ステップと、前記混合比検出ステップの処理により検出された前記混合比を前記関係式に代入することにより予測誤差を演算する予測誤差演算ステップと、

前記予測誤差を基に、前記注目画素の属する領域が、前記複数のオブジェクトが混合されてなる混合領域であって、前記複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、前記混合領域であって、前記前景オブジェクトの動き方向の後端側に形成されるアンカバ一ドバックグラウンド領域であるかを特定するカバードバックグラウンド領域ァンカバードバックグラウンド領域特定ステツプと、

前記注目画素の属する領域が、前記前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、前記背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定ステップと

を含むことを特徴とする画像処理方法。

1 3 . 前記混合比検出ステップにおいて、前記関係式に基づいて、前記注目画素に対応して、前記注目画素に含まれる前記前景オブジェクト成分が検出されると共に、前記混合比が検出され、

前記予測誤差演算ステップにおいて、前記混合比検出ステップの処理により検出された前記混合比および前記注目画素に含まれる前記前景オブジェタト成分を前記関係式に代入することにより前記予測誤差が演算される

ことを特徴とする請求の範囲第 1 2項に記載の画像処理方法。

1 4 . 前記関係式生成ステップにおいて、前記注目画素に対応する、前記周辺フレームの前記画素データが、前記背景オブジェクトに相当する前記背景画素データとして抽出されると共に、前記注目画素の注目画素データ、および前記注目フレーム内の前記注目画素の近傍に位置する、近傍画素の近傍画素データが抽出され、前記注目画素について、前記注目画素データおよび前記近傍画素データ、並びに前記注目画素データまたは前記近傍画素データに対応する前記背景画素データの関係を示す、前記複数の関係式が生成される

ことを特徴とする請求の範囲第 1 3項に記載の画像処理方法。

1 5 . 前記関係式生成ステップにおいて、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、前記複数の関係式が生成されることを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 6 . 前記関係式生成ステップにおいて、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、前記複数の関係式が生成されることを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 7 . 前記混合比検出ステップにおいて、前記複数の関係式を最小自乗法で解くことにより、前記混合比が検出される

ことを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 8 . 前記関係式生成ステップにおいて、前記注目画素が、前記カバードバックグラウンド領域に属するとした場合、前記注目フレームの前のフレームの前記画素データが、前記背景画素データとして抽出され、前記注目画素が、前記アンカバードバックグラウンド領域に属するとした場合、前記注目フレームの次のフレームの前記画素データが、前記背景画素データとして抽出され、前記複数の関係式が生成される

1 9 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のォブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データにの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームとは異なるフレームから、前記背景ォブジエトに相当する前記背景画素データが抽出され、複数の関係式が生成されることを特徴とする請求の範囲第 1 3項に記載の画像処理方法。

2 0 . 前記関係式生成ステップにおいて、前記混合画素データに対応する前記前景オブジェクト成分が等しいとする第 1の近似、および前記注目フレームおよび前記周辺フレームから抽出された前記混合画素データは一定であるとする第 2 の近似に基づいて、複数の関係式が生成される

ことを特徴とする請求の範囲第 1 9項に記載の画像処理方法。

2 1 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの前のフレームから、前記背景オブジェトに相当する前記背景画素データが抽出され、複数の関係式が生成され、

前記力バ一ドバックグラウンド領域ァンカバードバックグラウンド領域特定ステツプにおいて、前記予測誤差が所定の閾値以上である領域がアンカバードバックグラウンド領域であると特定される

2 2 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの次のフレームから、前記背景オブジェトに相当する前記背景画素データが抽出され、複数の関係式が生成され、

前記カバードバックグラウンド領域ァンカバードバックグラウンド領域特定ステツプにおいて、前記予測誤差が所定の閾値以上である領域がカバードバックグラウンド領域であると特定される

2 3 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理する画像処理用のプログラムであって、

前記画像データの注目フレームの注目画素に対応する、前記注目フレームの周辺の周辺フレームの前記画素データを、前記画像データの複数のォブジヱクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、前記注目フレームに存在する前記注目画素の注目画素データを抽出し、前記注目画素について、前記注目画素データおよび前記背景画素データの関係を示す、複数の関係式を生成する関係式生成ステップと、

前記予測誤差を基に、前記注目画素の属する領域が、前記複数のオブジェクトが混合されてなる混合領域であって、前記複数のォブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、前記混合領域であって、前記前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックグラウンド領域アンカバードバックグラウンド領域特定ステツプと、

前記注目画素の属する領域が、前記前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、前記背景オブジェクトを構成する背景ォブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定ステップと

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

2 4 . 前記混合比検出ステップにおいて、前記関係式に基づいて、前記注目画素に対応して、前記注目画素に含まれる前記前景オブジェクト成分が検出されると共に、前記混合比が検出され、

前記予測誤差演算ステップにおいて、前記混合比検出ステップの処理により検出された前記混合比および前記注目画素に含まれる前記前景オブジェクト成分を前記関係式に代入することにより前記予測誤差が演算される

ことを特徴とする請求の範囲第 2 3項に記載の記録媒体。

2 5 . 前記関係式生成ステップにおいて、前記注目画素に対応する、前記周辺フレームの前記画素データが、前記背景ォブジェクトに相当する前記背景画素データとして抽出されると共に、前記注目画素の注目画素データ、および前記注目フレーム内の前記注目画素の近傍に位置する、近傍画素の近傍画素データが抽出され、前記注目画素について、前記注目画素データおよび前記近傍画素データ、並びに前記注目画素データまたは前記近傍画素データに対応する前記背景画素データの関係を示す、前記複数の関係式が生成される

ことを特徴とする請求の範囲第 2 4項に記載の記録媒体。

2 6 . 前記関係式生成ステップにおいて、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、前記複数の関係式が生成されることを特徴とする請求の範囲第 2 5項に記載の記録媒体。

2 7 . 前記関係式生成ステップにおいて、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、前記複数の関係式が生成されることを特徴とする請求の範囲第 2 5項に記載の記録媒体。

2 8 . 前記混合比検出ステップにおいて、前記複数の関係式を最小自乗法で解くことにより、前記混合比が検出される

ことを特徴とする請求の範囲第 2 5項に記載の記録媒体。

2 9 . 前記関係式生成ステップにおいて、前記注目画素が、前記カバードバックグラウンド領域に属するとした場合、前記注目フレームの前のフレームの前記画素データが、前記背景画素データとして抽出され、前記注目画素が、前記アンカバードバックグラウンド領域に属するとした場合、前記注目フレームの次のフレームの前記画素データが、前記背景画素データとして抽出され、前記複数の関係式が生成される

ことを特徴とする請求の範囲第 2 5項に記載の記録媒体。

3 0 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データにの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームとは異なるフレームから、前記背景ォブジエトに相当する前記背景画素データが抽出され、複数の関係式が生成されることを特徴とする請求の範囲第 2 4項に記載の記録媒体。

3 1 . 前記関係式生成ステップにおいて、前記混合画素データに対応する前記前景オブジェクト成分が等しいとする第 1の近似、および前記注目フレームおよび前記周辺フレームから抽出された前記混合画素データは一定であるとする第 2 の近似に基づいて、複数の関係式が生成される

ことを特徴とする請求の範囲第 3 0項に記載の記録媒体。

3 2 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの前のフレームから、前記背景オブジェトに相当する前記背景画素データが抽出され、複数の関係式が生成され、

前記カバードバックグラウンド領域ァンカバードバックグラウンド領域特定ステツプにおいて、前記予測誤差が所定の閾値以上である領域がアンカバ一ドバックグラウンド領域であると特定される

ことを特徴とする請求の範囲第 3 0項に記載の記録媒体。

3 3 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの次のフレームから、前記背景オブジェトに相当する前記背景画素データが抽出され、複数の関係式が生成され、前記カバードバックグラウンド領域アンカバードバックグラウンド領域特定ステツプにおいて、前記予測誤差が所定の閾値以上である領域がカバードバックグラウンド領域であると特定される

ことを特徴とする請求の範囲第 3 0項に記載の記録媒体。

3 4 . 時間積分効果を有する所定数の画素を有する撮像素子によって取得された所定数の画素データからなる画像データを処理するコンピュータに、

前記画像データの注目フレームの注目画素に対応する、前記注目フレームの周辺の周辺フレームの前記画素データを、前記画像データの複数のオブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、前記注目フレームに存在する前記注目画素の注目画素データを抽出し、前記注目画素について、前記注目画素データおよび前記背景画素データの関係を示す、複数の関係式を生成する関係式生成ステップと、

前記予測誤差を基に、前記注目画素の属する領域が、前記複数のォブジュクトが混合されてなる混合領域であって、前記複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、前記混合領域であって、前記前景オブジェクトの動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックグラウンド領域ァンカバードバックグラウンド領域特定ステツプと、

前記注目画素の属する領域が、前記前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、前記背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定ステップとを実行させるプログラム。

3 5 . 前記混合比検出ステップにおいて、前記関係式に基づいて、前記注目画素に対応して、前記注目画素に含まれる前記前景オブジェクト成分が検出されると共に、前記混合比が検出され、

ことを特徴とする請求の範囲第 3 4項に記載のプログラム。

3 6 . 前記関係式生成ステップにおいて、前記注目画素に対応する、前記周辺フレームの前記画素データが、前記背景オブジェクトに相当する前記背景画素データとして抽出されると共に、前記注目画素の注目画素データ、および前記注目フレーム内の前記注目画素の近傍に位置する、近傍画素の近傍画素データが抽出され、前記注目画素について、前記注目画素データおよび前記近傍画素データ、並びに前記注目画素データまたは前記近傍画素データに対応する前記背景画素データの関係を示す、前記複数の関係式が生成される

ことを特徴とする請求の範囲第 3 5項に記載のプログラム。

3 7 . 前記関係式生成ステップにおいて、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、前記複数の関係式が生成されることを特徴とする請求の範囲第 3 6項に記載のプログラム。

3 8 . 前記関係式生成ステップにおいて、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、前記複数の関係式が生成されることを特徴とする請求の範囲第 3 6項に記載のプログラム。

3 9 . 前記混合比検出ステップにおいて、前記複数の関係式を最小自乗法で解くことにより、前記混合比が検出される

ことを特徴とする請求の範囲第 3 6項に記載のプログラム。

4 0 . 前記関係式生成ステップにおいて、前記注目画素が、前記カバードバックグラウンド領域に属するとした場合、前記注目フレームの前のフレームの前記画素データが、前記背景画素データとして抽出され、前記注目画素が、前記アンカバードバックグラウンド領域に属するとした場合、前記注目フレームの次のフレームの前記画素データが、前記背景画素データとして抽出され、前記複数の関係式が生成される

ことを特徴とする請求の範囲第 3 6項に記載のプログラム。

4 1 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データにの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームとは異なるフレームから、前記背景ォブジエトに相当する前記背景画素データが抽出され、複数の関係式が生成されることを特徴とする請求の範囲第 3 5項に記載のプログラム。

4 2 . 前記関係式生成ステップにおいて、前記混合画素データに対応する前記前景オブジェクト成分が等しいとする第 1の近似、および前記注目フレームおよび前記周辺フレームから抽出された前記混合画素データは一定であるとする第 2 の近似に基づいて、複数の関係式が生成される

ことを特徴とする請求の範囲第 4 1項に記載のプログラム。

4 3 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの前のフレームから、前記背景オブジェトに相当する前記背景画素データが抽出され、複数の関係式が生成され、前記カバ一ドバックグラウンド領域アンカバードバックグラウンド領域特定ステツプにおいて、前記予測誤差が所定の閾値以上である領域がアンカバードバックグラウンド領域であると特定される

ことを特徴とする請求の範囲第 4 1項に記載のプログラム。

4 4 . 前記関係式生成ステップにおいて、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のオブジェクトが混合状態にある混合画素データが抽出されると共に、前記混合画素データの個々に対応して、前記背景オブジェク卜の動きを基に、前記混合画素データが抽出されたフレームの次のフレームから、前記背景オブジェトに相当する前記背景画素データが抽出され、複数の関係式が生成され、

前記力バードバックグラウンド領域ァンカバードバックグラウンド領域特定ステツプにおいて、前記予測誤差が所定の閾値以上である領域がカバードバックグラウンド領域であると特定される

ことを特徴とする請求の範囲第 4 1項に記載のプログラム。

4 5 . 時間積分効果を有する所定数の画素を有する撮像素子によって撮像された被写体画像を、所定数の画素データからなる画像データとして出力する撮像手段と、

前記画像データの注目フレームの注目画素に対応する、前記注目フレームの周辺の周辺フレームの前記画素データを、前記画像データの複数のオブジェクトのうちの背景となる背景オブジェクトに相当する背景画素データとして抽出すると共に、前記注目フレームに存在する前記注目画素の注目画素データを抽出し、前記注目画素について、前記注目画素データおよび前記背景画素データの関係を示す、複数の関係式を生成する関係式生成手段と、

前記関係式に基づいて、前記注目画素に対応して、現実世界において複数である前記ォブジェク卜の混合状態を示す混合比を検出する混合比検出手段と、前記混合比検出手段により検出された前記混合比を前記関係式に代入することにより予測誤差を演算する予測誤差演算手段と、前記予測誤差を基に、前記注目画素の属する領域が、前記複数のオブジェクトが混合されてなる混合領域であって、前記複数のオブジェクトのうちの前景となる前景オブジェクトの動き方向の先端側に形成されるカバードバックグラウンド領域であるか、または、前記混合領域であって、前記前景オブジェク卜の動き方向の後端側に形成されるアンカバードバックグラウンド領域であるかを特定するカバードバックグラウンド領域ァンカバードバックグラウンド領域特定手段と、前記注目画素の属する領域が、前記前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域であるか、または、前記背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域であるかを特定する前景領域背景領域特定手段と

を含むことを特徴とする撮像装置。

4 6 . 前記混合比検出手段は、前記関係式に基づいて、前記注目画素に対応して、前記注目画素に含まれる前記前景オブジェクト成分を検出すると共に、前記混合比を検出し、

前記予測誤差演算手段は、前記混合比検出手段により検出された前記混合比および前記注目画素に含まれる前記前景オブジェクト成分を前記関係式に代入することにより前記予測誤差を演算する

ことを特徴とする請求の範囲第 4 5項に記載の撮像装置。

4 7 . 前記関係式生成手段は、前記注目画素に対応する、前記周辺フレームの前記画素データを、前記背景オブジェクトに相当する前記背景画素データとして抽出すると共に、前記注目画素の注目画素データ、および前記注目フレーム内の前記注目画素の近傍に位置する、近傍画素の近傍画素データを抽出し、前記注目画素について、前記注目画素データおよび前記近傍画素データ、並びに前記注目画素データまたは前記近傍画素データに対応する前記背景画素データの関係を示す、前記複数の関係式を生成する

ことを特徴とする請求の範囲第 4 6項に記載の撮像装置。

4 8 . 前記関係式生成手段は、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して直線的であるとする第 2の近似に基づいて、前記複数の関係式を生成する

ことを特徴とする請求の範囲第 4 7項に記載の撮像装置。

4 9 . 前記関係式生成手段は、前記注目画素データおよび前記近傍画素データに含まれる、前記前景オブジェクト成分が等しいとする第 1の近似、および前記混合領域において前記混合比の変化が前記混合領域の画素の位置に対して平面的であるとする第 2の近似に基づいて、前記複数の関係式を生成する

ことを特徴とする請求の範囲第 4 7項に記載の撮像装置。

5 0 . 前記混合比検出手段は、前記複数の関係式を最小自乗法で解くことにより、前記混合比を検出する

ことを特徴とする請求の範囲第 4 7項に記載の撮像装置。

5 1 . 前記関係式生成手段は、前記注目画素が、前記カバードバックグラウンド領域に属するとした場合、前記注目フレームの前のフレームの前記画素データを、前記背景画素データとして抽出し、前記注目画素が、前記アンカバードバックグラウンド領域に属するとした場合、前記注目フレームの次のフレームの前記画素データを、前記背景画素データとして抽出し、前記複数の関係式を生成することを特徴とする請求の範囲第 4 7項に記載の撮像装置。

5 2 . 前記関係式生成手段は、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のォブジェクトが混合状態にある混合画素データを抽出すると共に、前記混合画素データにの個々に対応して、前記背景ォブジェクトの動きを基に、前記混合画素データが抽出されたフレームとは異なるフレームから、前記背景オブジェトに相当する前記背景画素データを抽出し、複数の関係式を生成する

ことを特徴とする請求の範囲第 4 6項に記載の撮像装置。

5 3 . 前記関係式生成手段は、前記混合画素データに対応する前記前景ォブジエタト成分が等しいとする第 1の近似、および前記注目フレームおよび前記周辺フレームから抽出された前記混合画素データは一定であるとする第 2の近似に基づいて、複数の関係式を生成する

ことを特徴とする請求の範囲第 5 2項に記載の撮像装置。

5 4 . 前記関係式生成手段は、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のォブジェク卜が混合状態にある混合画素データを抽出すると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの前のフレームから、前記背景オブジェ卜に相当する前記背景画素データを抽出し、複数の関係式を生成し、

前記カバードバックグラウンド領域ァンカバードバックグラウンド領域特定手段は、前記予測誤差が所定の閾値以上である領域をアンカバードバックグラウンド領域であると特定する

ことを特徴とする請求の範囲第 5 2項に記載の撮像装置。

5 5 . 前記関係式生成手段は、前記注目画素に対応して、前記前景オブジェクトの動きを基に、前記注目フレームおよび前記周辺フレームから、前記複数のォブジェクトが混合状態にある混合画素データを抽出すると共に、前記混合画素データの個々に対応して、前記背景オブジェクトの動きを基に、前記混合画素データが抽出されたフレームの次のフレームから、前記背景オブジェトに相当する前記背景画素データを抽出し、複数の関係式を生成し、

前記カバードバックグラウンド領域ァンカバードバックグラウンド領域特定手段は、前記予測誤差が所定の閾値以上である領域をカバードバックグラウンド領域であると特定する

ことを特徴とする請求の範囲第 5 2項に記載の撮像装置。