JPH0353390A - 運動体の輪郭識別装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ビデオカメラで撮影された上半身が動いて
いる人物の映像について、移動する顔の部分を追跡し、
顔の部分だけを抽出して表示する場合などに応用される
運動体の輪郭識別装置に関するものである。

（従来の技術） 第６図は従来の運動体の輪郭追跡装置の回路例のブロッ
ク図である。この図で、１はビデオカメラであり、その
出力信号はＡ／Ｄコンバータ２によってディジタル化さ
れ、輝度信・号抽出手段３によって輝度信号が抽出され
る。４は連続する２個のフレームの映像信号の輝度信号
につき、対応する各画素ごとの差分信号を求める差分器
であり、差分器４で得られた差分信号はコンバレータ７
によって２値化される。２値化のためのしきい値はしき
い値発生千段８によって付与される。前記のコンバレー
タ７によってしきい値より大きいと判定される画素の大
部分は、ビデオカメラ１で撮影された映像の動く部分の
輪郭上に存在する。すなわち、コンバレータ７によって
検出された画素群は近似的な輪郭線を表す。

第７図は従来の運動体の輪郭追跡装置の回路の他のブロ
ック図である。これは第６図の回路にブロック化手段９
．ＩＩ１領域ブロック検出手段１０，孤立ブロック除去
手段２３が接続されたものである。ブロック化手段９は
１フレーム中の２値化された画素群を、隣接する縦横ｎ
ｘｎ個の画素からなるブロックに分ける回路である。動
領域ブロック検出手段１０は差分器４の出力である輝度
信号の差分が、しきい値発生手段８で与えられたしきい
値より大きい画素がブロック化手段９で作られた各ブロ
ック内に何個あるかを計数し、所定の数より大きいか小
さいかを判定する。所定の数より大きいときは、そのブ
ロックを動領域ブロックと認定する。動領域ブロック検
出手段１ｏの出力、すなわち、動領域ブロックの集合は
ビデオカメラ１で撮影された映像の動く部分の輪郭を含
む部分の上に存在する。すなわち、これらのブロックは
近似的な輪郭を表す。ブロック化しない場合の輪郭はと
ぎれとぎれになり易いのに比べると、ブロック化された
輪郭は連続した領域になり易い利点がある。

動きが無い部分の画素に対しては差分器４の出力電圧は
小さく、動きが無い部分の画素だけを含むブロックは本
来動領域ブロックと認定されることはないはずであるが
、照明．振動，電気的なノイズなどの影響により本来動
きがないはずの部分に対しても、勧領域ブロックが検出
されることがある。この場合は、検出された動領域ブロ
ックは孤立していることが多い。したがづて、動領域ブ
ロック検出手段１０の後に孤立ブロック除去手段２３が
接続された場合は、動きの無い部分にノイズとして現れ
る点の多くが除去され、Ｓ／Ｎの改善に効果がある。

〔発明が解決しようとするＫＩＤ） 第６図の例の場合は、コンパレータ７から出力された点
の大部分は輪郭上にあるが、前記のように輪郭以外の部
分にも点がノイズとして出力される。コンバレータ７の
しきい値を大きくすればノイズの点は減るが、輪郭を構
成する点の数も減少し、連続した線を構成しなくなる欠
点がある。すなわち、明瞭な輪郭線が出にくい。逆にし
きい値を小さくすると輪郭は明瞭に出るが、ノイズの点
が多くなる欠点がある。最適なしきい値の範囲は非常に
狭く、また、動きの激しさなどによって差分値が変わる
ため最適なしきい値が変化するので、一定値をしきい値
とする場合は良質の輪郭線を得るのが困難である。

第７図の例の場合は、２値化した後でブロック化する処
理が付加されている。コンバレータ７によって差分値が
しきい値より大きいと判断された点の密度が高い輪郭部
は、動領域ブロックとして識別される確率が高く、また
、動領域として識別されるブロックには、差分値がコン
バレータ７によってしきい値より大きいと見なされなか
った点も含まれている場合も多いので、輪郭部が連続領
域として明瞭に出やすい一方、動きの少ない部分は、差
分値がコンパレータ７によってしきい値より大きいと判
断された点を含めて非動領域と判定され易いので、ノイ
ズは減少しやすい利点がある。すなわち、Ｓ／Ｈの良い
輪郭部領域が得られる。しかし、ブロック化していると
いうことは、ブロックの大きさで輪郭部を塗り潰したの
と同等であり、ゴツゴツした太い輪郭部しか得られない
欠点がある。

第７図において、孤立ブロック除去千段２３を接続した
場合は、孤立ブロックが除去されることにより一層Ｓ／
Ｎの良い輪郭が得られるが、ゴツゴッした太い輪郭しか
得られない点は同じである。

この発明は上記問題点を解決するためになされたもので
、運動体の輪郭が明瞭に得られる運動体の輪郭識別装置
を提供することを目的とする。

〔課題を解決するための手段） この発明にかかる運動体の輪郭識別装置の請求項（１）
　．　（２）に記載の発明は、動領域ブロックを検出し
、そのブロックの領域内だけまたはそのブロックとその
ブロックに隣接するブロック内のしきい値を小さくし、
それ以外の部分のしきい値を大きくして差分信号を再度
２値化するものである。

〔作用〕

この発明にかかる請求項　（１）．　　（２）　　に記
載の発明は、輪郭が存在するブロック化された動領域の
内部だけ、またはそのブロックとそのブロックに隣接す
るブロック内のしきい値を小さくして差分侶号を再度２
値化するため、輪郭がほぼ連続した線として明瞭に検出
される。一方、ブロック化により動領域と見なされなか
った領域の差分信号はしきい値を大きくして再度２値化
するため、ノイズが検出される確率が減少する。

〔実施例〕

第１図はこの発明の実施例を示す回路のブロック図であ
る。１はビデオカメラであり、その出力信号はＡ／Ｄコ
ンバータ２によってディジタル化され、輝度信号抽出手
段３によって輝度信号が抽出される。４は連続する２個
のフレームの映像信号の輝度信号につき対応する各画素
ごとの差分信号を求める差分器であり、差分器４で得ら
れた差分値はフレームメモリ５に格納される。フレーム
メモリ５の書込みと読出しは書込み読出し制御千段６に
よって制御される。一方、差分器４で得られた差分信号
はコンパレータ７によって２値化される。２値化によっ
て有意と判定された画素の集合は、暫定的な輪郭線を構
成する。しかし、この暫定的な輪郭線は２値化のしきい
値が完全には適切でないため、切れ切れな線となってい
る場合が多い。この２値化のためのしきい値はしきい値
発生手段８によって付与される。このしきい値は一応最
適値と判断される暫定的に適宜選んだ値とする。９はブ
ロック化手段であり、・１フレーム中の２値化された画
素群を隣接する縦横ｎｘｎ個の画素からなるブロックに
分ける回路である。１０は動領域ブロック検出手段であ
り、差分器４の出力である輝度信号の差分値が、しきい
値発生手段８で与えられたしきい値より大きい画素が、
プロツク化手段９で作られた各ブロック内に何個あるか
を計数し、所定の数より大きいか小さいかを判定する。

所定の数より大きいときは、そのブロックを勤領域ブロ
ックと認定する。１１はしきい値設定手段であり、勤領
域ブロック内（輪郭部）の画素じ対してはしきい値発生
手段８が発生するしきい値より小さいしきい値を設定し
、非動領域ブロック内（非輪郭部）の画素に対してはし
きい値発生手段８が発生するしきい値より大きいしきい
値を設定する。輪郭部に対して小さい値のしきい値を設
定する場合と、非輪郭部に対して大きな値のしきい値を
設定する場合は、最適なしきい値として選べる値の範囲
は広いので、差分値にばらつきがあっても安定に輪郭の
検出ができる。設定されたしきい値はフレームメモリ１
２に格納される。

しきい値の設定が終ったとき、しきい値設定手段１１か
らしきい値の設定が終ったことを表す信号を読み出し開
始信号発生千段１３に送信し、読み出し開始信号発生手
段１３はこの信号を受けて書き込み読み出し制御手段６
、１４の読出し機能を同期させて動作させる。１５はコ
ンバレータであり、フレームメモリ５から読み出される
各画素の差分値に対して、フレームメモリ１２から同期
して読み出されてくるしきい値を基にして２値化を行う
。コンパレータ１５の出力は、コンバレータ７の出力で
ある暫定的な輪郭線の一部または全部が連結された線と
なり、ビデオカメラ１が撮像した動きつつある被写体の
輪郭に一層近いものとなる。

第２図は、第１図のコンパレータ７によって２値化され
有意と判定された連続した画素（第２図では黒く塗りつ
ぶした小正方形）群１６乃至１９と、ブロック化手段９
によってブロック化された後、動領域ブロック検出手段
１０で検出された動領域ブロック（第２図では太線で囲
まれた２×２の４個の画素群）２０．２１を示す図であ
る。画素群１６乃至１９はブロック２０−１内、２１−
１内および２０−２内２１−２間で不連続となっている
。上記実施例によってブロック２０内、２１内のしきい
値を小さくして再度２値化することにより、これらのブ
ロック内に新たに有意と見なせる画素が生じ、画素群１
６と１７および画素群１８と１９が連続した画素群にな
る可能性が強い。

上記においては、動領域ブロック内の画素に対してのみ
しきい値を小さくして再度２値化したが、動領域ブロッ
クに隣接するブロック内も合せてしきい値を小さくする
と、コンバレータ７によって得られた暫定的な輪郭線は
一層連結されやすくなる。

第３図は動領域ブロックに隣接するブロック内も合わせ
てしきい値を小さくする場合の画素と動領域ブロックの
図である。第３図において、ハッチされた部分２２は動
領域ブロック２０．２１に隣接するブロック内の画素領
域である。このハッチされた領域２２には、動領域ブロ
ック２０−２と動領域ブロック２１−２の間にある画素
が含まれている。動領域ブロック２０−２と動領域ブロ
ック２１−２の間にある領域は、画素群１７と１８を連
結する輪郭が存在する領域であり、第３図のように、動
領域ブロックに隣接するブロック内も合せてしきい値を
小さくする場合には、勤領域ブロック２０−２と動領域
ブロック２１−２の間にある領域で、画素群１７と１８
を連結する輪郭線を構成する画素群が検出される可能性
が強い。したがって、第３図のように、動領域ブロック
に隣接するブロック内も合せてしきい値を小さくする場
合は、第２図のように、動領域ブロック内だけのしきい
値を下げる場合より、検出される輪！ＩＢ線は連結され
やすい利点がある。

第４図はこの発明の他の実施例の回路のブロック図であ
る。第４図の回路は第１図の回路の動領域ブロック検出
手段１０としきい値設定手段１１との間に孤立ブロック
除去手段２３が挿入されたものである。動きが無い部分
の画素に対しては差分器４の出力電圧は小さく、動きが
無い画素だけを含むブロックは本来勤領域ブロックと認
定されることはないばずであるが、照明，振動．電気的
なノイズなどの影響により、動きがない部分に対しても
動領域ブロックが検出されることがある。

この場合は検出された動領域ブロックは孤立しているこ
とが多い。したがって、孤立ブロックを除去することに
より第１図の回路を使用する場合より一層Ｓ／Ｎの良い
輪郭線が得られる。

第５図はこの発明のさらに実施例の回路図である。第５
図は、第１図の回路図にフレームメモリ２４．２５を接
続したものである。フレームメモリ２４．２５はフレー
ムメモリ５に格納された差分値とフレームメモリ１２に
格納されたしきい値を用いてコンパレータ１５が２値化
の処理を行っている間に、差分器４が出力する次の差分
値データとしきい値設定回路１１が出力する次のしきい
値データとをそれぞれ格納するためのメモリである。フ
レームメモリ５．１２はフレームメモリ２４に格納され
た差分値とフレームメモリ２５に格納されたしきい値と
を用いて、コンパレータ１５が２値化の処理を行ってい
る間に差分器４が出力する次の差分値データと、しきい
値設定手段１１が出力する次のしきい値データとをそれ
ぞれ格納する。

以上においては、ブロックを２×２の４個の画素群とし
て説明したが、３Ｘ３，２Ｘ３など、他の数の画素でブ
ロック化してもよいことは当然である。

〔発明の効果） 以上の説明から明らかなように、この発明にかかる請求
項　（１），　　（２）に記載の発明によれば、連続す
る２フレームの対応する画素の差分値を２値化するとき
のしきい値は、運動体の映像の輪郭が存在する領域およ
びその付近のみ小さく、その他の領域は大きいので、輪
郭が連続した明瞭な線として得られ、かつ輪郭部以外の
部分に生じるノイズが少なくなる利点がある。しかも、
輪郭が存在する部分とそれ以外の部分で異なるしきい値
を使用するために、映像の状態の変化によって差分値の
大きさが変化しても安定に輪郭が検出できるしきい値の
範囲が広い利点がある。このため、画質によらず最適な
しきい値を選ぶのが容易となる。

したがって、この発明を、例えばテレビ会議に適用し、
ビデオカメラで撮影された人物の顔の部分だけを抽出し
て表示装置に表示するようにした場合、映像の中の動く
部分の輪郭が明瞭に検出できる結果、顔の位置の追跡が
容易となり、表示された顔の位置の変動が少なく相手の
顔が見易いテレビ会議を実現できる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示す回路図、第２図およ
び第３図はこの発明においてしきい値を新たに設定する
場合の領域を示す図、第４図．第５図はそれぞれこの発
明の他の実施例を示す回路図、第６図および第７図は従
来の運動体の輪郭識別装置の例を示す回路図である。 図中、１はビデオカメラ、２はＡ／Ｄコンバータ、３は
輝度信号抽出手段、４は差分器、５はフレームメモリ、
６は書き込み読み出し制御手段、７はコンパレータ、８
はしきい値発生手段、９はブロック化手段、１０は勅領
域ブロック検出手段、１１はしきい値設定手段、１２は
フレームメモリ、１３は読み出し開始信号発生手段、１
４は書き込み読み出し制御手段、１５はフレームメモリ
、１６乃至１９はコンバレータ７によって有意と判定さ
れた画素群、２０．２１は動領域ブロック、２２は動領
域ブロックに隣接するブロックの画素領域、２３は孤立
ブロック除去手段、２４．２５はフレームメモリである
。 第 ２ 図 第 ３ 図 ブロックの画看憧填

Claims (2)

【特許請求の範囲】
1. （１）連続する２フレームの映像信号について対応する
   画素ごとの差分信号を作る手段と、この差分信号を格納
   するフレームメモリと、前記差分信号を所定のしきい値
   により２値化する手段と、この２値化された映像信号を
   持つ画素を所定の画素数を持つブロックに分けるブロッ
   ツク化手段と、このブロック内にあり、かつ差分値が前
   記所定のしきい値以上であった画素の数を計数し、この
   画素の数が所定の数以上であるか否かを判別する動領域
   ブロック検出手段と、前記画素の数が所定の数以上であ
   るブロック内の領域に対しては前記所定のしきい値以下
   の値のしきい値を、また所定の数以下であるブロック内
   の領域に対しては前記所定のしきい値以上の値のしきい
   値を付与するしきい値設定手段と、このしきい値設定手
   段によって付与されたしきい値に基づいて前記フレーム
   メモリに格納された各画素の差分信号を２値化する手段
   とを有することを特徴とする運動体の輪郭識別装置。
2. （２）連続する２フレームの映像信号について対応する
   画素ごとの差分信号を作る手段と、この差分信号を格納
   するフレームメモリと、前記差分信号を所定のしきい値
   により２値化する手段と、この２値化された映像信号を
   持つ画素を所定の画素数を持つブロックに分けるブロッ
   ク化手段と、このブロック内にあり、かつ差分値が前記
   所定のしきい値以上であった画素の数を計数し、この画
   素の数が所定の数以上であるか否かを判別する動領域ブ
   ロック検出手段と、前記画素の数が所定の数以上である
   ブロックと、そのブロックとこれに隣接した領域に存在
   する所定の数のブロック内の領域に対しては、前記所定
   のしきい値以下の値のしきい値を、またそれ以外の領域
   に対しては前記所定のしきい値以上の値のしきい値を付
   与するしきい値設定手段と、このしきい値設定手段によ
   つて付与されたしきい値に基づいて前記フレームメモリ
   に格納された各画素の差分信号を２値化する手段とを有
   することを特徴とする運動体の輪郭識別装置。