JPH0634232B2 - 映像入力装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は映像入力装置に関し、特に、撮影装置を用い
て物体の映像を入力する場合に、入力された映像から特
定の物体の映像のみを抽出して入力するような映像入力
装置に関する。

［従来の技術および発明が解決しようとする課題］ 従来より、撮影装置によって撮影された入力映像から特
定の物体の像のみを抽出して入力する方式として、クロ
マキー方式がある。このクロマキー方式では、特定色の
スクリーンを用意し、そのスクリーンを背景にして対象
物体を撮影し、入力映像信号からその特定色に相当する
信号を除去することにより、背景映像を消去し、対象物
体の映像を抽出している。しかしながら、クロマキー方
式では、前述のごとく、入力に際して特定色を塗布した
専用のスクリーン設備を用意する必要があり、その上抽
出対象物体が背景スクリーンと同一色の場合には抽出が
困難になるという欠点がある。

一方、別の従来方式として、入力映像の連続する２つの
フレーム間での差異を検出し、差異の生じた部分のみの
映像を抽出する方式がある。この従来方式では、クロマ
キー方式のような特殊な背景を必要としない。しかしな
がら、抽出対象物体が時間経過とともに場所を移動して
いなければ、フレーム間での差異として検出されないば
かりでなく、背景部分に変化が生じた場合には、これも
差異として検出されてしまい、抽出対象と混同して抽出
されてしまうという欠点がある。

それゆえに、この発明の主たる目的は、上述の欠点を解
消し得て、入力映像から特定の物体の映像のみを抽出し
て入力できるような映像入力装置を提供することであ
る。

［課題を解決するための手段］ この発明は映像入力装置であって、それぞれが一定間隔
を隔てて配置され、同時に物体を撮影する少なくとも第
１および第２の撮影手段と、これらの撮影手段に対応し
て設けられ、第１および第２の撮影手段の位置から見た
物体の背景映像を予め記憶する映像記憶手段と、各撮影
手段のそれぞれに対応して設けられ、対応する撮影手段
によって撮影された物体の映像と、映像記憶手段から読
出された背景映像とを比較し、差異の生じる部分を検出
する差異検出手段と、各差異検出手段によって検出され
た差異の生じた部分の画面内での位置を各撮影手段から
の入力映像ごとの視差の間で比較して検出する視差検出
手段と、検出された位置が予め定めるしきい値内にある
か否かに応じてラベル付けし、各撮影手段から物体まで
の距離を検出する距離検出手段と、検出された各撮影手
段から所定の距離にある物体の映像を抽出する抽出手段
とを備えて構成される。

［作用］ この発明に係る映像入力装置は、入力の対象となる物体
を含まない映像と、その物体を含む映像とで差異の生じ
る部分を検出し、検出された差異の生じた部分の画面内
での位置を各入力映像ごとの視差の間で比較して検出さ
れた位置が予め定めるしきい値内にあるか否かに応じて
ラベル付けし、撮影位置から物体までの距離を検出し、
撮影位置から特定の距離にある物体の映像のみを抽出す
る。

［発明の実施例］ 第１図はこの発明の一実施例の概略ブロック図であり、
第２図はこの発明の一実施例における撮影装置と対象物
体と背景の位置関係を模式的に表わした図である。

まず、第１図および第２図を参照して、この発明の一実
施例の構成について説明する。映像の入力は、撮影対象
に対して平行に一定間隔を隔てて配置した２台あるいは
３台以上の撮影装置を用いて行なわれるが、ここでは説
明を簡潔にするために、第２図に示すように、背景１の
前方に入力対象物体２を設定し、これに対向して左右平
行に並べて２台の撮影装置３，４が設けられているもの
とする。右側の撮影装置３によって出力された映像信号
は右側の入力部１１に入力され、左側の撮影装置４によ
って出力された映像信号は左側の入力部１２に与えられ
る。

なお、ここで、映像信号とは、白黒画像の場合は輝度信
号、カラー画像の場合はＲ（赤）成分，Ｇ（緑）成分，
Ｂ（青）成分の輝度信号、あるいはＮＴＳＣ方式におけ
るＹ（輝度信号）成分，Ｉ，Ｑ（色度信号）成分であ
る。以下の説明においては、便宜上、白黒画像の場合に
ついてのみ述べるが、カラー画像の場合についても、カ
ラー画像の各成分について、白黒画像における動作を、
並列あるいは繰返して適用することにより実現すること
ができるため、この発明の構成上、白黒画像，カラー画
像のいずれでも差支えない。

入力部１１と１２は同一の動作を行ない、撮影装置３，
４から出力される映像信号をフレーム単位に行ない、横
Ｈ画素，縦Ｖ画素（Ｈ，Ｖは正の整数）からなるマトリ
ックス状の画素ごとにディジタル量で与えられる映像信
号に変換して切換スイッチ２１，２２に出力する。切換
スイッチ２１は入力部１１の出力信号を背景蓄積部３１
または差異検出部４１および抽出部７１に切換えて出力
するものであり、切換スイッチ２２は入力部１２の出力
を背景蓄積部３２または差異検出部４２および抽出部７
２に切換えて出力するためのものである。

背景蓄積部３１，３２は第２図に示した背景画像１を予
め記憶しておくものである。差異検出部４１，４２はそ
れぞれ背景蓄積部３１，３２から背景映像の１フレーム
を読出し、これと入力部１１，１２から出力された入力
映像のフレームとを比較してその差異を検出するもので
ある。差異検出部４１，４２のそれぞれの検出出力は視
差検出部５に与えられる。視差検出部５は差異検出部４
１と４２から送られてくる２つの差異マトリックスから
差異領域のフレーム内での位置を比較して視差を検出
し、その検出結果をマスク生成部６に与える。マスク生
成部６は視差検出部５の検出出力に基づいて、マスクす
べき画像データを作成するものである。このマスク生成
部６の出力は抽出部７１，７２に与えられる。抽出部７
１，７２はそれぞれ入力部１１，１２から与えられる映
像信号のうち、マスク生成部６からの画像データにより
マスクして必要な映像信号を出力するものである。

第３図は差異検出部から出力される差異マトリックスを
示す図であり、第４図は差異領域を説明するための図で
あり、第５図は視差検出部５によって作成される比較結
果リストを示す図であり、第６図はマスク生成部によっ
て切換えられる差異マトリックスの例を示す図である。

次に、第１図ないし第６図を参照して、この発明の一実
施例のより具体的な動作について説明する。まず、対象
となる物体２の入力に先立って、対象物体２を含まない
背景１の映像を入力する。この際、切換スイッチ２１，
２２はＡ端子側に切換えられている。入力部１１，１２
から出力される映像信号は背景蓄積部３１，３２に与え
られる。背景蓄積部３１，３２は映像信号をそれぞれ１
フレーム分蓄積する。この蓄積されたフレームは入力部
１１，１２から送られてくる最初の１フレームであって
もよく、あるいは数フレーム分を加算平均して生成され
る１フレームであってもよい。

次に、切換スイッチ２１，２２をＢ端子側に倒し、背景
１の前方に対象物体２を設定して映像の入力が行なわれ
る。入力部１１，１２から出力される映像信号は、１フ
レームを一区切りとして、差異検出部４１，４２および
抽出部７１，７２に与えられ、それぞれ一時記憶され
る。差異検出部４１，４２は背景蓄積部３１，３２から
背景映像の１フレームを読出し、これと入力映像のフレ
ームとを比較し、その差異を検出する。差異の検出は、
それぞれ横Ｈ画素，縦Ｖ画素から背景映像のフレームと
入力映像のフレームの間で、同じ位置にある画素の信号
値の一致，不一致を既知の画像処理手法を用いて判定す
ることにより行なわれる。一致，不一致の判定は、たと
えば両者の信号値の差分値が、与えられたしきい値未満
であれば一致、しきい値以上であれば不一致とすること
によって行なわれる。すなわち、一致の場合は差異無
し，不一致の場合は差異有りと判定される。

差異検出部４１，４２は入力映像の１フレーム内のＨ画
素×Ｖ画素すべてについて差異の有無を検出し、差異有
りの場合は値「１」，差異無の場合は「０」を発生して
差異マトリックスを作成し、これを視差検出部５へ出力
する。差異マトリックスは、第４図に示すように、１フ
レームの画素数に対応するＨ個×Ｖ個の０あるいは１の
値を持つ要素からなるマトリックスのことである。

視差検出部５は差異検出部４１と４２から送られてくる
２つの差異マトリックスから差異領域のフレーム内での
位置を比較する。位置の比較は以下のないしの手順
によって行なわれる。ここで、第４図を例にして説明す
る。

差異マトリックス内の値「１」を持つ要素で構成され
る閉領域を差異領域として検出し、その領域の大きさ
（領域に含まれる要素の数），中心位置（マトリックス
の左上端の要素を原点とし、行方向をｘ軸，列方向をｙ
軸とみなし、ｘ，ｙ座標値で表わす）を求める。中心位
置は領域内に含まれる各要素の質量を１とみなして、そ
の重心位置を算出することにより得られる。たとえば、
第４図における領域１０１の中心Ｇ_１０１の位置は次式
で与えられる。_１０１ ＝（ｘ_１０１，ｙ_１０１） ＝（１／Ｎ_１０１）Σ_{１０１ １０１} ：領域１０１に含まれる要素Ｐ_１０１の位置 Ｎ_１０１：領域１０１に含まれる要素の個数 左側と右側の差異マトリックスで検出された差異領域
の対応づけを行なう。この対応づけは、左右の各差異領
域の間で領域の大きさと中心位置のｙ座標をそれぞれ比
較し、値が近いものどうしを対応する領域と判定するこ
とによって行なわれる。たとえば、第４図の例において
は、領域１０１と１０２，領域２０１と２０２が対応関
係にあると判定される。

左右で対応する差異領域ごとにその中心位置のｘ座標
の差分値を視差量として算出する。第４図に示した例で
は、領域１０１と１０２についての視差量ｄ_１は ｄ_１＝ｘ_１０１−ｘ_１０２ のごとく算出される。

視差検出部５は以上の比較結果から第５図に示す比較結
果リストを作成し、差異マトリックスとともにマスク生
成部６に与える。

マスク生成部６は比較結果リストを参照し、各差異領域
の視差量が指定されたしきい値の範囲内にあるか否かを
判定し、範囲内にあるものであれば、その領域に関して
差異マトリックス内の要素の値を「２」に書換える。一
般に、撮影位置から遠くにあるものほど視差量は小さ
く、近くにあるものほど視差量は大きいことが知られて
いる。この判定および書換え動作は、撮影位置から特定
の距離にある物体を抽出する動作に他ならない。マスク
生成部６は第６図に示すような書換えた差異マトリック
スを抽出部７１，７２に与える。

抽出部７１，７２は差異マトリックスの要素の値を参照
し、一時記憶していた入力映像の１フレームをもとに２
種類の映像信号を作成する。その１つは、入力映像のフ
レームにおいて差異マトリックスの要素の値「２」以外
である要素に対応する入力映像の画素、すなわち値が
「０」，「１」である要素に対応する入力映像の画素の
信号値をダミーの信号値に置換えた映像、２つ目は入力
映像のフレームにおいて、差異マトリックスの要素の値
が「１」以外である要素に対応する入力映像の画素、す
なわち値が「０」，「２」である要素に対応する入力映
像信号の画素の信号値をダミーの信号値に置換えた映像
である。前述の１つ目の映像は入力対象物体を抽出し
た、この発明の処理結果であるところの映像として出力
される。

一方、２つ目の映像は背景蓄積部３１，３２に与えられ
る。背景蓄積部３１，３２は送られてくる映像と蓄積し
ている映像を合成し、背景画像を更新する。このように
することにより、対象物体２の映像を入力している最中
に、背景１などの対象物体２以外の部分に変化が生じた
としても、その影響を受けることなく安定した入力動作
を続けることができる。

以上のようにして、入力画像の１フレームに対する物体
の切り出し、入力動作が完了する。この動作は入力映像
の連続するフレームに対して繰返すことにより、動きの
ある対象物体についても切出し，入力が可能になる。

なお、上述の説明では、撮影装置３，４を２台設けた場
合について述べたが、これに限ることなく、撮影装置を
３台以上に増やし、それに接続する入力部，切換スイッ
チ，差異検出部，背景蓄積部および抽出部を追加して構
成することにより、３箇所以上の位置から撮影する映像
を用いて動作させれば、複雑な形状を有する対象物体に
おいて、１つの撮影位置からでは隠れが生じて撮影でき
ない部分も撮影することが可能となり、対象物体の切出
し精度を向上させることができることは明らかである。

［発明の効果］ 以上のように、この発明によれば、入力対象となる物体
を含まない映像とその物体を含む映像とで差異の生じる
部分を検出し、複数の撮影位置から同様に検出した差異
の生じた部分の画面内での位置を入力映像ごとの視差の
間で比較して検出し、検出された位置が予め定めるしき
い値内にあるか否かに応じてラベル付けし、撮影位置か
ら物体までの距離を検出し、撮影位置から特定の距離に
ある物体の映像のみを切り出して入力することにより、
特殊な背景を設定する必要がないばかりでなく、背景の
一部分が変化するような環境においても、撮影位置から
特定の距離にある物体の映像のみを切り出して入力する
ことが可能となる。また、対象物体が静止しているか否
かにもかかわらず入力することができる。

【図面の簡単な説明】

第１図はこの発明の一実施例の概略ブロック図である。
第２図はこの発明の一実施例を動作させる際の撮影位
置，対象物体，背景の位置関係を模式的に表わした図で
ある。第３図は差異検出部で作成される差異マトリック
スの一例を示す図である。第４図は差異領域を説明する
ための図である。第５図視差検出部で作成される比較結
果リストの例を示す図である。第６図はマスク生成部で
書換えられる差異マトリックスの一例を示す図である。 図において、１は背景画像、２は対象物体、３，４は撮
影装置、５は視差検出部、６はマスク生成部、１１，１
２は入力部、３１，３２は背景蓄積部、４１，４２は差
異検出部、７１，７２は抽出部を示す。

フロントページの続き (56)参考文献 特開 昭62−125478（ＪＰ，Ａ) 特開 昭63−76081（ＪＰ，Ａ)

Claims (1)

【特許請求の範囲】
1. 【請求項１】それぞれが一定間隔を隔てて配置され、同
   時に物体を撮影する少なくとも第１および第２の撮影手
   段、 前記少なくとも第１および第２の撮影手段に対応して設
   けられ、前記第１および第２の撮影手段の位置から見た
   前記物体の背景映像を予め記憶する映像記憶手段、 前記少なくとも第１および第２の撮影手段のそれぞれに
   対応して設けられ、対応する撮影手段によって撮影され
   た物体の映像と、前記映像記憶手段から読出された背景
   映像とを比較し、差異の生じる部分を検出する差異検出
   手段、 前記各差異検出手段によって検出された差異の生じた部
   分の画面内での位置を、前記各撮影手段からの入力映像
   ごとの視差の間で比較して検出する視差検出手段、 前記視差検出手段によって検出された位置が予め定める
   しきい値内にあるか否かに応じてラベル付けし、前記各
   撮影手段から前記物体までの距離を検出する距離検出手
   段、および 前記距離検出手段によって検出された前記各撮影手段か
   ら所定の距離にある物体の映像を抽出する抽出手段を備
   えた、映像入力装置。