JPH03112282A - 背景画像生成方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、動画像から、動く被写体の背景領域を予測
しその領域の画像（背景画像）を生成する方法及びその
実施に好適な装置に関するものである。

（従来の技術） 近年、画像符号化の分野において、フレーム内予測、動
き補償フレーム間予測等の予測符号化方法か検討されて
いる。予測符号化方法とは、過去の入力画像信号から次
の入力画像信号を予測して差分をとり、得られた差分信
号を伝送することにより通信を行なうものである。

このような予測符号化方法の一つとして背景予測方法と
呼ばれるものがあった。この背景予測方法とは、テレビ
会議、テレビ電話等において被写体の人物の背景領域に
ついて、符号化器・復号化器を用いて背景画像をメモリ
上に生成し、人物の動きに従い見え隠れする背景を上述
の生成背景画像を用いて予測するというものであった。

これによれば、被写体の動きか激しい場合でも画品質の
改善が図れる。このような背景画像生成方法は、通信の
分野のみならす監視システム等のリモートセンシングの
分野でも用いられる。

この種の従来の背景画像生成方法としては例えば文献（
電子情報通信学会　技術研究報告　ＩＥ８３１００（１
９Ｂ４．２．２４）　ｐｐ、　　１〜５）に開示されて
いるものかあった。

この文献に開示されている方法によれば、以下に説明す
るような手順で背景画像の生成か行なわれていた。なお
、この説明を第６図を参照して行なう。ここで第６図は
、この方法の実施に好適な従来の背景画像生成装置の構
成を概略的に示すブロック図である。

先ず、原画像は、ＴＶ（テレビ）カメラ６０１の撮像管
の走査によって光の濃淡分布を表わす電気信号に変換さ
れ、さらにＡ／Ｄ変換器６０２によって画素に標本化さ
れて、ディジタル画像信号に変換される。この入力ディ
ジタル画像信号１画面分（１フレーム）は、入力フレー
ムメモリ６０３に記憶される。

次に、背景生成回路６０５は、入力フレームメモリ６０
３に記憶された入力ディジタル画像信号と、遅延フレー
ムメモリ６０４に記憶されている１フレーム前のディジ
タル画像信号とを用い、背景メモリ６０６に、以下に説
明する手順に従い背景画像を生成する。

■・・・遅延フレームメモリ６０４に記憶されている１
フレーム前の画像信号を、入力フレームメモリ６０３に
記憶されている入力画像信号から差し引いてフレーム間
差分信号を求める。

■・・・このフレーム間差分信号の絶対値がある閾値り
より大きいときその画素は被写体の動領域（動く物体の
領域）に含まれていると考えて背景メモリ６０６のこの
画素に対応する内容（画素値）は更新しない。

■・・・フレーム間差分信号の絶対値がＬ以下（零は含
まない）のときはその画素は被写体の静止している部分
（背景領域）に含まれているとみなして、背景メモリ６
０６のこの画素（こ対応する画素値を入力画像の画素値
にＭだけ近づけた値に更新する（但しＭは所定の固定値
）。

■・・・フレーム間差分信号か零のときは背景メモリの
この画素に対応する画素値は更新しない。

■・・・上記■における更新は、Ｎフレームに１回だけ
行なう（但し、Ｎは所定の正の整数。）。

連続する動画像について■〜■の処理を行なうことによ
って、背景メモリ６０６上に背景画像が生成出来た。

（発明が解決しようとする課題） しかしなから、上述した従来の背景画像生成方法では、
以下に説明するような問題点があった。

■・・・フレーム間差分信号に対して閾値を設定して背
景領域の判定を行なっているが、最適な閾値の設定か困
難である。

■・・・背景領域の判定に際しては判定に用いる信号中
に背景であることを示す特徴部分を出来るだけ多く含ん
だほうが背景領域の判定を精度良く行なえる。しかし、
従来方法は、背景領域の判定を画素単位で行なっている
ので背景゛□であることを示す特徴部分か含まれない場
合が生し易く、この結果、背景領域の誤検出が生じ易い
。

■・・・背景メモリの内容がみたりに書き換えられない
ようにするために、背景メモリの１回の更新量を固定値
（上述のＭ）とし、ざらに更新の回数もＮフレームに１
回としているために、背景メモリの画素値か真の背景画
像の画素値に収束するのか遅い。ざらに、この収束速度
は、入力画像の画素値と背景メモリの画素値との差が大
きいほど遅くなるというように、入力画像に依存する。

なおここで、「真の背景画像」とは、視覚的に見て真に
背景であると判断される背景画像のことである。

この発明はこのような点に鑑みなされたものであり、従
ってこの発明の目的は、背景領域の検出時の誤検出か少
なく、然も背景メモリの画素値の真の画素イ０への収束
速度が早くかつこの速度か入力画像に依存することなく
背景画像を生成出来る方法と、その実施に好適な装置と
を提供することにある。

（課題を解決するための手段） この目的の達成を図るため、この出願の第一発明によれ
ば、動領域と背景領域とを含む画像の背景領域になると
ころを、入力画像信号及びこの入力画像信号の過去の信
号を用いて予測して背景画像を生成する方法において、 ある検定画素か背景領域に属するか、動領域に属するか
の判定を、入力画像信号中の前述の検定画素及びこの検
定画素周辺の所定画素それぞれの画像信号と、前述の入
力画像信号の過去の信号中の前記検定画素及び前記所定
画素に対応する各画素の画像信号との差分を用い、具体
例で云えば、例えば両信号の差分信号の電力又は振幅を
予め定めた閾値と比較することにより行ない、 前述の検定画素か背景領域に属すると判定された場合は
、背景画像中の検定画素に対応する画素値に、前記入力
画像信号の画素値と、背景画像中の検定画素に対応する
画素値との差に比例した値を加えて前述の背景画像を更
新することを特徴とする。

また、この出願の第二発明によれば、動領域と背景領域
とを含む画像の背景領域になるところを、入力画像信号
及びこの入力画像信号の過去の信号を用いて予測して背
景画像を生成する装置において、 入力画像信号を記憶する入力フレームメモリと、 この入力画像信号の過去の信号を記憶する遅延フレーム
メモリと、 これら入力フレームメモリ及び遅延フレームメモリ夫々
から所定のブロックの画像信号を切り出すメモリアクセ
ス回路と、 背景画像を記憶する背景メモリと、 前述の入力画像信号と、前述の過去の信号との差分を求
め、この差分信号を所定の閾値と比較して入力画像信号
の各画素が動領域に属するか背景領域に属するかを判定
すると共に、前記背景メモリの、背景領域に属すると判
定された画素に対応する画素値を、該画素値と、入力画
像信号における該画素の画素値との差に応じた値で更新
する背景生成回路と を具えたことを特徴とする。

（作用） 第一発明の背景画像生成方法によれば、先ず、検定画素
が背景領域に属するか否かの判定を、検定画素及び該検
定画素周辺の画素夫々の入力画像信号及びこの信号の過
去の信号の差分信号を用いて行なう。従って、背景領域
の判定に用いる信号中に背景であることを示す特徴部分
か含まれ易くなるので、検定画素が背景領域に属するか
否かの判定即ち背景領域の検出を精度良く行なえる。

次に、検定画素か背景領域に属すると判定された場合は
、背景画像中のこの検定画素に対応する画素値に、入力
画像信号の画素値と、背景画像中の検定画素に対応する
画素値との差に比例した値を加えて背景画像を更新する
ので、背景画像の画素＠を真の背景画像の画素値に適切
に然も素早く収束させることが出来る。

また、この出願の第二発明の背景画像生成装置によれば
、第一発明の背景画像生成方法の実施か容易になる。

（実施例） 以下、図面を参照してこの出願の背景画像生成方法の実
施例及びこの背景画像生成方法の実施に用いて好適な背
景画像生成装Ｈの実施例につきそれぞれ説明する。

なお、以下の実施例の説明中で云う入力画像信号は、第
２図に示すように、空間、時間の３次元信号と考え、Ｉ
（ｘ、ｙ、ｔ）と表記することにする。

２′　画　生　°　のｎ８ 先ず、第一発明の背景画像生成方法の実施に好適な第二
発明の背景画像生成装Ｍ（以下、生成製雪と略称するこ
ともある。）の実施例につき説明する。第１図はその説
明に供する図であり、実施例の生成製雪の構成を概略的
に示した図である。

第１図において、１０１は画像入力用ＴＶカメラ、１０
２はＴＶカメラ１０１から入力された画像を標本化して
ディジタルの入力画像信号Ｉ（ｘ、ｙ、ｔ）とするＡ／
Ｄ変換器、１０３は入力画像信号Ｉ（ｘ、ｙ、ｔ）　７
ｉ記憶する入力フレームメモリ、１０４は入力画像信号
Ｉ　（ｘ、ｙ、ｔ）の過去のこの例では］フレム前の信
号Ｉ　（ｘ、　ｙ、　ｔ−１）　ｌＦｒ記憶する遅延フ
レームメモリをそれぞれ示す。遅延フレームメモリ＋０
４は、入力フレームメモリ１０３の後段に接続しである
。またこの入力フレームメモリ１０３は、入力画像信号
Ｉ　（ｘ’、　ｙ、　ｔ）についで後述するような背景
画像生成処理が終了した後は、この入力画像信号■（ｘ
、ｙ、ｔ）を過去の信号Ｉ　（ｘ、　ｙ、　ｔ−１）と
して遅延フレームメモリ１０４に転送する。

さらに第１図において、１０５はメモリアクセス回路、
１０６は背景生成回路、＋０７は背景メモリを夫々示す
。

これら構成成分１０５．１０６及び１０７０機能は、後
述の背景画像生成方法の項で詳細に説明するが、簡単に
述べれば以下の通っである。

メモリアクセス回路１０５は、入力フレームメモリ１０
３及び遅延フレームメモリ１０４夫々から、ある画素（
以下、検定画素と称する。）　Ｉ　（ｘｏ、ｙ。

、ｔ）％中心とする任意の大きざの処理ブロック（画像
信号の一部）を切り出しこれを後段の背景生成回路１０
６（こ出力する回路である。

また、背景メモリ１０７は背景画像を記憶するメモリで
ある。詳細は後述するが、この背景メモリ１０７に記憶
されている背景画像は背景生成回路１０６によって更新
される。

また背景生成回路１０６は、入力フレームメモリ１０３
及び遅延フレームメモリ１０４夫々がらメモリアクセス
回路に１０５によって切り出された夫々の処理ブロック
の信号間の差分をとり、その差分信号電力を所定の閾偵
と比較して入力画像信号の各画素か動領域に属するか背
景領域に属するかを判定する。ざら（こ、この背景生成
回路１０６は、背景メモリ１０７内に記憶されている背
景画像のうちの、背景領域に属すると判定された画素に
対応する画素値を、この画素値と、入力画像信号におけ
る該画素の画素値との差に応じた値で更新する。

なお、この実施例の背景生成回路１０６は、第３図に示
すように、背景領域を判定す るための背景領域判定回路１０６ａと、背景メモリ１０
７の背景画像を更新するための背景メモリ更新回路１０
６ｂとを具えた構成としである。

北　画　生　　法の８日 次に、第１図を用いて説明した背景画像生成装置を用い
た例により第一発明の背景画像生成方法の実施例につき
説明する。

ＴＶカメラ１０１及びＡ／Ｄ変換器１０２により生成さ
れた入力画像信号Ｉ（ｘ、ｙ、ｔ）は、入力フレムメモ
リ１０３に記憶される。

背景生成回路１０６の背景領域判定回路１０６ａは、メ
モリアクセス回路１０５ヲ介して、入力フレームメモリ
１０３から、第４図に示すように画素Ｉ　（ｘｏ。

ｙｏ、ｔ）　＠検定画素としこれを中心とする所定の画
素この場合ＮＸＮ（Ｎは所定の正の整数）個の画素で構
成される処理ブロックＢ（ｘｏ、　ｙｏ、　ｔ）２００
を切り出す。ざらに、遅延フレームメモリ１０４からは
処理ブロックＢ（ｘｏ、　ｙｏ、　ｔ）に対応する、画
素Ｉ（ｘｏ。

ｙｏ、ｔ−１）　’ｌ中心とする処理ブロック８（ｘｏ
、ｙｏ、ｔ−１）を切り出す。そして、切り出した両ブ
ロック中の全画素の画素値ヲ用い下記（１） ＥＭ［１（ＸＯ，Ｖｏ、　ｔ）’ｆｆｉ求める。

式に従い自乗誤差 ＥＭｅ（Ｘｏ＋）’、Ｏ＋　ｏ＝Σ（Ｂ（ｘｏ、　Ｙｏ
＋　ｔ）−Ｂ（ｘｏ、　Ｖｏ＋　ｔ−１））２／Σ（Ｂ
（ｘｏ、ｙｏ、ｔ））２・”（１）さらに背景領域判定
回路１０６ａは、検定画素Ｉ　（ｘｏ、ｙｏ、　ｔ）の
自乗誤差ＥＭ８（ＸＯ，Ｖｏ、　ｔ）か所定の閾（ａＥ
Ｍｅｔｈに対して、 ＥＭｅ（Ｘｏ、）’ｏ、ｔ）≦ＥＭ［ｌｔｈならば該検
定画素は背景領域に含まれると判定し、また ＥＭＩＩ（ＸＯ，’ｉｏ、　ｔ）　＞　ＥＭｅｔｈなら
ば該検定画素は動領域に含まれると判定する。そして、
背景領域判定回路１０６ａは、背景領域と判定した場合
には「１」、動領域と判定した場合には「ｏ」という判
定結果を、背景メモリ更新回路１０６ｂに出力する。

上述の背景領域の判定手順によれば、検定画素か背景領
域、動領域のいずれの領域に属するかを判定する際に検
定画素の周辺の画素についても考慮しているので、背景
領域の判定に用いる信号中に背景であることを示す特徴
部分が含まれ易くなり、この結果、背景領域検出の精度
が向上するという効果が得られる。

次に、背景生成回路の背景メモリ更新回路＋０６ｂは、
背景領域判定回路１０６ａｌこよって背景領域「１」と
判定された画素についての、入力フレムメモリ１０３に
記憶されている入力画像信号の画素値Ｉ（ｘ、ｙ、ｔ）
と、背景メモリ１０７に記憶されている背景画像の画素
値ＢＧ（ｘ、　ｙ、ｔ−１）とを夫々読出し、背景メモ
リ１０７の背景画像の画素値を下記（２）式に従い更新
する。但し、（２）式中のαとは、０〈α〈１の範囲内
の設計に応しで決められる値である。

８Ｇ（ｘ、ｙ、ｔ）＝ＢＧ（ｘ、ｙ、ｔ−１）＋　ａ　
Ｘ　（Ｉ（ｘ、　ｙ、　ｔ）−ＢＧ（ｘ、　ｙ、　ｔ−
１））・・・（２） この（２） 式からも明らかなように、 背景メモリ 内の背景画像の更新量は、（２）式中の第２項で得られ
る値即ち、入力画像と背景メモリ内の背景画像との差に
比例した値になる。このため、背景画像が真の背景画像
に収束する速度は、入力画像の違いにかかわらず一定に
出来る。なお、（２）式中のαは、背景メモリ内に記憶
されている背景画像が真の背景画像に収束する速度を調
節するパラメータである。このαを変えた場合の収束速
度の変化の様子を、第５図に示した。ここで第５図中、
横軸は収束時間でありフレーム数で示しでいる、縦軸は
収束の度合（％）であり（生成した背景画像の画素値）
ｘｌＯＯ／（真の背景画像の画素イ直）で示しである。

以上かこの出願の背景画像生成方法及び背景画像生成装
置の実施例の説明である。しかしこれら発明は上述の実
施例のみに限定されるものではなく以下に説明するよう
な種々の変更を加えることが出来る。

上述の各実施例では、検定画素が動領域に属するか背景
領域に属するかの判定を入力画像信号及び過去の信号の
差分信号電力により行なっていた。しかし、この判定は
差分信号の振幅により行なっても良い。

（発明の効果） 上述した説明からも明らかなように、この出願の背景画
像生成方法によれば、先ず、検定画素が背景領域に属す
るか否かの判定を、検定画素及び該検定画素周辺の画素
夫々の入力画像信号及びこの信号の過去の信号の差分信
号を用いて行なう。

従って、背景領域の判定に用いる信号中に背景であるこ
とを示す特徴部分か含まれ易くなるので、背景領域の検
出を精度良く行なえる。

次に、検定画素が背景領域に属すると判定された場合は
、背景画像中のこの検定画素に対応する画素値に、入力
画像信号の画素値と、背景画像中の検定画素に対応する
画素値との差に比例した値を加えて背景画像を更新する
ので、どのような入力画像に対しても一定の時間で背景
画像が生成出来る。

また、この出願の第二発明の背景画像生成装置よれば、
第一発明の背景画像生成方法の実施が容易になる。

【図面の簡単な説明】

第１図は、この発明の背景画像生成方法の実施に好適な
装置を示すブロック図、 第２図は、画像信号の表記法の説明に供する図、 第３図は、背景生成回路の内部構成を示すブロック図、 第４図は、背景領域の判定に用いる処理ブロックの説明
に供する図、 第５図は、背景画像の収束速度の説明に供する図、 第６図は、従来の背景画像生成方法の説明に供する図で
ある。 １０１・・・ＴＶカメラ、　　１０２・・・Ａ／Ｄ変換
器１０３・・・入力フレームメモリ １０４・・・遅延フレームメモリ １０５・・・メモリアクセス回路 ０６ ・・・背景生成回路 １０６ａ・・・背景領域判定回路 １０６ｂ・・・背景メモリ更新回路 ０７ ・・・背景メモリ、 ００ ・・・処理ブロック。 特 許 出 願 人 沖電気工業株式会社

Claims (2)

【特許請求の範囲】
1. （１）動領域と背景領域とを含む画像の背景領域になる
   ところを、入力画像信号及び該入力画像信号の過去の信
   号を用いて予測して背景画像を生成する方法において、 ある検定画素が背景領域に属するか動領域に属するかの
   判定を、入力画像信号中の前記検定画素及び該検定画素
   周辺の所定画素それぞれの画像信号と、前記入力画像信
   号の過去の信号中の、前記検定画素及び前記所定画素に
   対応する各画素の画像信号との差分を用いて行ない、 前記検定画素が背景領域に属すると判定された場合は、
   背景画像中の該検定画素に対応する画素値に、前記入力
   画像信号の画素値と、背景画像中の該検定画素に対応す
   る画素値との差に比例した値を加えて前記背景画像を更
   新すること を特徴とする背景画像生成方法。
2. （２）動領域と背景領域とを含む画像の背景領域になる
   ところを、入力画像信号及び該入力画像信号の過去の信
   号を用いて予測して背景画像を生成する装置において、 入力画像信号を記憶する入力フレームメモリと、 該入力画像信号の過去の信号を記憶する遅延フレームメ
   モリと、 これら入力フレームメモリ及び遅延フレームメモリ夫々
   から所定のブロックの画像信号を切り出すメモリアクセ
   ス回路と、 背景画像を記憶する背景メモリと、 前記入力画像信号と、前記過去の信号との差分を求め、
   該差分信号を所定の閾値と比較して入力画像信号の各画
   素が動領域に属するか背景領域に属するかを判定すると
   共に、前記背景メモリの、背景領域に属すると判定され
   た画素の画素値を、該画素値と、入力画像信号における
   該画素の画素値との差に応じた値で更新する背景生成回
   路とを具えたことを特徴とする背景画像生成装置。