JPH02195486A - 映像入力装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は映像入力装置に関し、特に、撮影装置を用い
て物体の映像を入力する場合に、入力された映像から特
定の物体の映像のみを抽出して入力するような映像入力
装置に関する。

［従来の技術および発明が解決しようとする課題］従来
より、撮影装置によって撮影された入力映像から特定の
物体の像のみを抽出して入力する方式として、クロマキ
一方式がある。このクロマキ一方式では、特定色のスク
リーンを用意し、そのスクリーンを背景にして対象物体
を撮影し、入力映像信号からその特定色に相当する信号
を除去することにより、背景映像を消去し、対象物体の
映像を抽出している。しかしながら、クロマキ一方式で
は、前述のごとく、入力に際して特定色を塗布した専用
のスクリーン設備を用意する必要があり、その上抽出対
象物体が背景スクリーンと同一色の場合には抽出が困難
になるという欠点がある。

一方、別の従来方式として、入力映像の連続する２つの
フレーム間での差異を検出し、差異の生じた部分のみの
映像を抽出する方式がある。この従来方式では、クロマ
キ一方式のような特殊な背景を必要としない。しかしな
がら、抽出対象物体が時間経過とともに場所を移動して
いなければ、フレーム間での差異として検出されないば
かりでなく、背景部分に変化が生じた場合には、これも
差異として検出されてしまい、抽出対象と混同して抽出
されてしまうという欠点がある。

それゆえに、この発明の主たる目的は、上述の欠点を解
消し得て、入力映像から特定の物体の映像のみを抽出し
て入力できるような映像入力装置を提供することである
。

［課題を解決するための手段］ この発明は映像入力装置であって、それぞれが一定間隔
を隔てて配置され、同時に物体を撮影する複数の撮影手
段と、物体の背景映像を予め記憶する映像記憶手段と、
複数の撮影手段のそれぞれに対応して設けられ、対応す
る撮影手段によって撮影された物体の映像と映像記憶手
段から続出された背景映像とを比較し、差異の生じる部
分を検出する差異検出手段と、各差異検出手段によって
検出された差異の生じた部分の画面内での位置を、各撮
影手段からの入力映像ごとの検出結果の間で比較し、各
撮影手段から物体までの距離を検出する距離検出手段と
、距離検出手段によって検出された各撮影手段から特定
の距離にある物体の映像を抽出する抽出手段とを備えて
構成される。

［作用］ この発明にかかる映像入力装置は、入力の対象となる物
体を含まない映像と、その物体を含む映像とで差異の生
じる部分を検出し、複数の撮影位置から同様に検出した
差異の生じた部分どうしの位置関係を比較することによ
り、撮影位置から物体までの距離を検出し、撮影位置か
ら特定の距離にある物体の映像のみを抽出することによ
り、特殊な背景を設定する必要がないばかりでなく、背
景の一部分の変化するような環境においても、撮影位置
から特定の距離にある物体の映像のみを抽出して入力す
ることが可能となる。

［発明の実施例］ 第１図はこの発明の一実施例の概略ブロック図であり、
第２図はこの発明の一実施例における撮影装置と対象物
体と背景の位置関係を模式的に表わした図である。

まず、第１図および第２図を参照して、この発明の一実
施例の構成について説明する。映像の入力は、撮影対象
に対して平行に一定間隔を隔てて配置した２台あるいは
３台以上の撮影装置を用いて行なわれるが、ここでは説
明を簡潔にするために、第２図に示すように、背景１の
前方に入力対象物体２を設定し、これに対向して左右平
行に並べて２台の撮影装置３．４が設けられているもの
とする。右側の撮影装置３によって出力された映像信号
は右側の入力部１１に入力され、左側の撮影装置４によ
って出力された映像信号は左側の入力部１２に与えられ
る。

なお、ここで、映像信号とは、白黒画像の場合は輝度信
号、カラー画像の場合はＲ（赤）成分。

Ｇ（緑）成分、Ｂ（青）成分の輝度信号、あるいはＮＴ
ＳＣ方式におけるＹ（輝度信号）成分、Ｉ。

Ｑ（色度信号）成分である。以下の説明においては、便
宜上、白黒画像の場合についてのみ述べるが、カラー画
像の場合についても、カラー画像の各成分について、白
黒画像における動作を、並列あるいは繰返して適用する
ことにより実現することができるため、この発明の構成
上、白黒画像。

カラー画像のいずれでも差支えない。

入力部１１と１２は同一の動作を行ない、撮影装置３，
４から出力される映像信号をフレーム単位に行ない、横
Ｈ画素、縦Ｖ画素（Ｈ，Ｖは正の整数）からなるマトリ
ックス状の画素ごとにディジタル量で与えられる映像信
号に変換して切換スイッチ２１．２２に出力する。切換
スイッチ２１は入力部１１の出力信号を背景蓄積部３１
または差異検出部４１および抽出部７１に切換えて出力
するものであり、切換スイッチ２２は入力部１２の出力
を背景蓄積部３２または差異検出部４２および抽出部７
２に切換えて出力するためのものである。

背景蓄積部３１．３２は第２図に示した背景画像１を予
め記憶しておくものである。差異検出部４１．４２はそ
れぞれ背景蓄積部３１．３２から背景映像の１フレーム
を読出し、これと入力部１１．１２から出力された入力
映像のフレームとを比較してその差異を検出するもので
ある。差異検出部４１．４２のそれぞれの検出出力は視
差検出部５に与えられる。視差検出部５は差異検出部４
１と４２から送られてくる２つの差異マトリックスから
差異領域のフレーム内での位置を比較して視差を検出し
、その検出結果をマスク生成部６に与える。マスク生成
部６は視差検出部５の検出出力に基づいて、マスクすべ
き画像データを作成するものである。このマスク生成部
６の出力は抽出部７１．７２に与えられる。抽出部７１
．７２はそれぞれ入力部１１．１２から与えられる映像
信号のうち、マスク生成部６からの画像データによりマ
スクして必要な映像信号を出力するものである。

第３図は差異検出部から出力される差異マトリックスを
示す図であり、第４図は差異領域を説明するための図で
あり、第５図は視差検出部５によって作成される比較結
果リストを示す図であり、第６図はマスク生成部によっ
て切換えられる差異マトリックスの例を示す図である。

次に、第１図ないし第６図を参照して、この発明の一実
施例のより具体的な動作について説明する。まず、対象
となる物体２の入力に先立って、対象物体２を含まない
背景１の映像を入力する。

この際、切換スイッチ２１．２２はＡ端子側に切換えら
れている。入力部１１．１２から出力される映像信号は
背景蓄積部３１．３２に与えられる。

背景蓄積部３１．３２は映像信号をそれぞれ１フレ一ム
分蓄積する。この蓄積されたフレームは入力部１１．１
２から送られてくる最初の１フレームであってもよく、
あるいは数フレーム分を加算平均して生成される１フレ
ームであってもよい。

次に、切換スイッチ２１．２２をＢ端子側に倒し、背景
１の前方に対象物体２を設定して映像の入力が行なわれ
る。入力部１１．１２から出力される映像信号は、１フ
レームを一区切りとして、差異検出部４１．４２および
抽出部７１，７２１．：与えられ、それぞれ−時記憶さ
れる。差異検出部４１．４２は背景蓄積部３１．３２か
ら背景映像の１フレームを読出し、これと入力映像のフ
レームとを比較し、その差異を検出する。差異の検出は
、それぞれ横Ｈ画素、縦■画素から背景映像のフレーム
と入力映像のフレームの間で、同じ位置にある画素の信
号値の一致、不一致を既知の画像処理手法を用いて判定
することにより行なわれる。

一致、不一致の判定は、たとえば両者の信号値の差分値
が、与えられたしきい値未満であれば一致、しきい値以
上であれば不一致とすることによって行なわれる。すな
わち、一致の場合は差異無し。

不一致の場合は差異有りと判定される。

差異検出部４１．４２は入力映像の１フレーム内のＨ画
素×ｖ画素すべてについて差異の有無を検出し、差異有
りの場合は値「１」、差異無の場合は「０」を発生して
差異マトリックスを作成し、これを視差検出部５へ出力
する。差異マトリックスは、第４図に示すように、１フ
レームの画素数に対応するＨ個×ｖ個の０あるいは１の
値を持つ要素からなるマトリックスのことである。

視差検出部５は差異検出部４１と４２から送られてくる
２つの差異マトリックスから差異領域のフレーム内での
位置を比較する。位置の比較は以下の■ないし■の手順
によって行なわれる。ここで、第４図を例にして説明す
る。

■　差異マトリックス内の値「１」を持つ要素で構成さ
れる閉領域を差異領域として検出し、その領域の大きさ
（領域に含まれる要素の数）、中心位置（マトリックス
の左上端の要素を原点とし、行方向をＸ軸２列方向をｙ
軸とみなし、ｘ、ｙ座標値で表わす）を求める。中心位
置は領域内に含まれる各要素の質量を１とみなして、そ
の重心位置を算出することにより得られる。たとえば、
第４図における領域１０１の中心Ｇ、。、の位置は次式
で与えられる。

Ｇ＋ｏ＋−（Ｘ＋ｏ＋＋　　）’＋ｏ＋）”　（１／Ｎ
＋　ｏ　＋　）ΣＰ１０１ｐｌｏｔ：領域１０１に含ま
れる要素ＰＩＯＩの位置 Ｎ、。、：領域１０１に含まれる要素の個数■　左側と
右側の差異マトリックスで検出された差異領域の対応づ
けを行なう。この対応づけは、左右の各差異領域の間で
領域の大きさと中心位置のＸ座標をそれぞれ比較し、値
が近いものどうしを対応する領域と判定することによっ
て行なわれる。たとえば、第４図の例においては、領域
１０１と１０２．領域２０１と２０２が対応関係にある
と判定される。

■　左右で対応する差異領域ごとにその中心位置のＸ座
標の差分値を視差量として算出する。第４図に示した例
では、領域１０１と１０２についての視差量ｄ１は ｄｌ　””ＸＩ　Ｏ＋　−ｘｌ　Ｏ２ のごとく算出される。

視差検出部５は以上の比較結果から第５図に示す比較結
果リストを作成し、差異マトリックスとともにマスク生
成部６に与える。

マスク生成部６は比較結果リストを参照し、各差異領域
の視差量が指定されたしきい値の範囲内にあるか否かを
判定し、範囲内にあるものであれば、その領域に関して
差異マトリックス内の要素の値を「２」に書換える。一
般に、撮影位置から遠くにあるものほど視差量は小さく
、近くにあるものほど視差量は大きいことが知られてい
る。この判定および書換え動作は、撮影位置から特定の
距離にある物体を抽出する動作に他ならない。マスク生
成部６は第６図に示すような書換えた差異マトリックス
を抽出部７１．７２に与える。

抽出部７１．７２は差異マトリックスの要素の値を参照
し、−時記憶していた入力映像の１フレームをもとに２
種類の映像信号を作成する。その１つは、入力映像のフ
レームにおいて差異マトリックスの要素の値「２」以外
である要素に対応する入力映像の画素、すなわち値がｒ
ＯＪ、ｒｌＪである要素に対応する入力映像の画素の信
号値をダミーの信号値に置換えた映像、２つ目は入力映
像のフレームにおいて、差異マトリックスの要素の値が
「１」以外である要素に対応する入力映像の画素、すな
わち値がｒＯＪ、ｒ２Ｊである要素に対応する入力映像
信号の画素の信号値をダミーの信号値に置換えた映像で
ある。前述の１つ目の映像は入力対象物体を抽出した、
この発明の処理結果であるところの映像として出力され
る。

一方、２つ目の映像は背景蓄積部３１，３２１：ｌ：与
えられる。背景蓄積部３１．３２は送られてくる映像と
蓄積している映像を合成し、背景画像を更新する。この
ようにすることにより、対象物体２の映像を入力してい
る最中に、背景１などの対象物体２以外の部分に変化が
生じたとしても、その影響を受けることなく安定した入
力動作を続けることができる。

以上のようにして、入力画像の１フレームに対する物体
の切り出し、入力動作が完了する。この動作は入力映像
の連続するフレームに対して繰返すことにより、動きの
ある対象物体についても切出し、入力が可能になる。

なお、上述の説明では、撮影装置３，４を２台設けた場
合について述べたが、これに限ることなく、撮影装置を
３台以上に増やし、それに接続する入力部、切換スイッ
チ、差異検出部、背景蓄積部および抽出部を追加して構
成することにより、３箇所以上の位置から撮影する映像
を用いて動作させれば、複雑な形状を有する対象物体に
おいて、１つの撮影位置からでは隠れが生じて撮影でき
ない部分も撮影することが可能となり、対象物体の切出
し精度を向上させることができることは明らかである。

［発明の効果］ 以上のように、この発明によれば、入力対象となる物体
を含まない映像とその物体を含む映像とで差異の生じる
部分を検出し、複数の撮影位置から同様に検出した差異
の生じた部分どうしの位置関係を比較し、撮影位置から
物体までの距離を検出し、撮影位置から特定の距離にあ
る物体の映像のみを切出して入力することにより、特殊
な背景を設定する必要がないばかりでなく、背景の一部
分が変化するような環境におＣ）ても、撮影位置から特
定の距離にある物体の映像のみを切出して入力すること
が可能となる。また、対象物体が静止しているか否かに
もかかわらず入力することができる。

【図面の簡単な説明】

第１図はこの発明の一実施例の概略ブロック図である。 第２図はこの発明の一実施例を動作させる際の撮影位置
、対象物体、背景の位置関係を模式的に表わした図であ
る。第３図は差異検出部で作成される差異マトリックス
の一例を示す図である。第４図は差異領域を説明するた
めの図である。 第５図視差検出部で作成される比較結果リストの例を示
す図である。第６図はマスク生成部で書換えられる差異
マトリックスの一例を示す図である。 図において、１は背景画像、２は対象物体、３゜４は撮
影装置、５は視差検出部、６はマスク生成部、１１．１
２は入力部、３１．３２は背景蓄積部、４１．４２は差
異検出部、７１．７２は抽出部を示す。 第２図 篇１図 第３図 第４図 第５図 手 続 補 正 書 （方式） ％式％ ２、発明の名称 映像人力装置 ３、補正をする者 事件との関係

Claims (1)

1. 【特許請求の範囲】 それぞれが一定間隔を隔てて配置され、同時に物体を撮
   影する複数の撮影手段、 前記物体の背景映像を予め記憶する映像記憶手段、 前記複数の撮影手段のそれぞれに対応して設けられ、対
   応する撮影手段によって撮影された物体の映像と、前記
   映像記憶手段から読出された背景映像とを比較し、差異
   の生じる部分を検出する差異検出手段、 前記各差異検出手段によって検出された差異の生じた部
   分の画面内での位置を、前記各撮影手段からの入力映像
   ごとの該検出結果の間で比較し、前記各撮影手段から前
   記物体までの距離を検出する距離検出手段、および 前記距離検出手段によって検出された前記各撮影手段か
   ら所定の距離にある物体の映像を抽出する抽出手段を備
   えた、映像入力装置。