JPH0898079A - 画像信号処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、画像信号処理装置において、画像内
の動体を検出する際に誤認識を有効に除去して有用性を
向上する。 【構成】入力される画像信号（Ｓ２）をデイジタル化し
て、周期的に画像データ（Ｙ、Ｒ、Ｂ）として画像メモ
リ（１０）に記憶し、画像メモリ（１０）に記憶された
画像データ（Ｙ、Ｒ、Ｂ）とその画像データ（Ｙ、Ｒ、
Ｂ）から所定時間遅延された遅延画像データ（Ｙ、Ｒ、
Ｂ）との間で、任意の特徴的な輝度及び色の画素に関し
て、輝度の変化分が所定の閾値以上の画素を抽出し、抽
出された画素の数をカウントして画像データ（Ｙ、Ｒ、
Ｂ）内の動体を検出をする。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１、図６及び図１０） 作用（図１、図６及び図１０） 実施例 （１）第１実施例のビデオカメラシステム（図１〜図
５） （２）第２実施例のビデオカメラシステム（図６〜図
９） （３）第３実施例のビデオカメラシステム（図１０〜図
１３） （４）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像信号処理装置に関
し、例えばテレビジヨンカメラを目標物体の動きに合わ
せて動かして目標を追尾するビデオカメラシステムに適
用し得る。

【０００３】

【従来の技術】従来、ビデオカメラシステムとして、輝
度に関する画像のフレーム間差分より自動追尾を行うも
のがある。このビデオカメラシステムでは、２枚の連続
したフレームの画像データの全ての画素に対して輝度に
関する差分をとり、差分値がある閾値を超えた画素を前
の画像から変化した画素としてカウントし、それらの画
素集合の重心を求めることにより動体検出を行つてい
る。そして被写体追尾を行うために検出された動体の画
面内の位置の中心からの距離の差に応じて、ビデオカメ
ラのパンモータやチルトモータの制御を行う。

【０００４】

【発明が解決しようとする課題】ところがかかる構成の
ビデオカメラシステムのように、従来の動体検出による
自動追尾方法では、２枚の画像データの全ての画素に対
して輝度に関する差分をとり、その差分値に注目してい
るため、被写体と全く違う色や輝度の物体であつても、
その画素に輝度変化があると、その画素を動きのあつた
点、つまり被写体としてカウントしてしまうという問題
があつた。また被写体追尾のためにカメラブロツクやビ
デオカメラ本体を動かしているときに動体検出を行う
と、画面内のランダムな画素に対して動き検出をしてし
まうという欠点があつた。

【０００５】また従来、ビデオカメラシステムの一機能
として、画像の焦点を自動であわせるオートフオーカス
がある。これは画面中央に設定された領域内の輝度に関
する空間周波数の高周波成分を大きくするように、フオ
ーカスレンズの制御を行なつている。フオーカスレンズ
を動かすことによつて、画面中央の検波枠内の評価値が
高くなるようにレンズを動かす方向を決める「山登り
法」「ウオブリング法」が一般的に用いられている。

【０００６】ところがかかる構成のビデオカメラシステ
ムのように、従来の画面中央に固定されている領域にの
み注目したオートフオーカス機能は、目標物体が画面中
央から外れた場合、中央にある背景に合焦してしまい、
被写体に焦点をあわせるという本来の目的が果たせない
という欠点があつた。

【０００７】本発明は以上の点を考慮してなされたもの
で、画像内の動体を検出する際に誤認識を有効に除去し
て有用性を向上し得る画像信号処理装置を提案しようと
するものである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力される画像信号（Ｓ２）をデ
イジタル化して、周期的に画像データ（Ｙ、Ｒ、Ｂ）と
して画像メモリ（１０）に記憶する画像記憶制御手段
（９）と、画像メモリ（１０）に記憶された画像データ
（Ｙ、Ｒ、Ｂ）とその画像データ（Ｙ、Ｒ、Ｂ）から所
定時間遅延された遅延画像データ（Ｙ、Ｒ、Ｂ）との間
で、任意の特徴的な輝度及び色の画素に関して、輝度の
変化分が所定の閾値以上の画素を抽出する特徴画素抽出
手段（１１）と、その特徴画素抽出手段（１１）で抽出
された画素の数をカウントして、画像データ（Ｙ、Ｒ、
Ｂ）内の動体を検出をする動体検出手段（１１）とを設
けるようにした。

【０００９】また本発明においては、画像信号（Ｓ２）
はテレビジヨンカメラ（１、２、３、４）より入力さ
れ、特徴画素抽出手段（１１）はテレビジヨンカメラ
（１、２、３、４）の画角が変わつていないとき、任意
の特徴的な輝度及び色の画素に関して、輝度の変化分が
所定の閾値以上の画素を抽出するようにした。

【００１０】また本発明においては、画像データ（Ｙ、
Ｒ、Ｂ）を周期的に画像メモリ（１０）に記憶する画像
記憶制御手段（９）を用いて、画像データ（Ｙ、Ｒ、
Ｂ）内の目標物体の輝度及び色情報に関する特徴量を設
定する特徴量設定手段（１１）と、設定された特徴量か
ら目標物体の特徴を示す特徴モデルを決定する特徴モデ
ル決定手段（１１）と、決定された特徴モデルを用い
て、画像データ（Ｙ、Ｒ、Ｂ）内から目標物体の候補と
なる画素を検出する画素判定手段（１１）と、検出され
た画素集合の水平、垂直方向の重心を求め、画像データ
（Ｙ、Ｒ、Ｂ）内の目標物体の位置を検出する座標仮決
定手段（１１）と、画像データ（Ｙ、Ｒ、Ｂ）内の動体
を検出する動体検出手段（１１）を用いて、検出された
目標物体の位置の確からしさを検定する位置検定手段
（１１）と、その位置検定手段（１１）で検定された目
標物体の位置に応じて、テレビジヨンカメラ（１、２、
３、４）を制御するカメラ制御手段（１２、１３）とを
設け、画像データ（Ｙ、Ｒ、Ｂ）内の目標物体を追尾す
るようにした。

【００１１】また本発明においては、画像データ（Ｙ、
Ｒ、Ｂ）を周期的に画像メモリ（１０）に記憶する画像
記憶制御手段（９）を用いて、輝度及び色情報に関して
起動時の初期画像全体を画像メモリ（１０）に記憶する
初期画像記憶手段（９）と、画像データ（Ｙ、Ｒ、Ｂ）
内の動体を検出する動体検出手段（１１）を用いて、画
像メモリ（１０）に記憶された初期画像から、輝度変化
が所定の閾値以上あつた画素を検出する動点検出手段
（１１）と、検出された画素から初期画像から変化のあ
つた領域を検出する変化領域検出手段（１１）と、その
変化領域検出手段（１１）により、初期画像からの変化
領域が検出されていないときに、初期画像を一定時間毎
に設定し直す初期画像再設定手段（１１）とを設けるよ
うにした。

【００１２】また本発明においては、初期画像からの変
化領域を検出する変化領域検出手段（１１）を用いて、
初期画像から変化のあつた領域が検出されたときのみに
画像録画状態に入る録画制御手段（１５）と、変化のあ
つた領域を囲む枠表示を、映像信号に重畳する枠表示手
段（１４）とを設けるようにした。

【００１３】また本発明においては、画像データ（Ｙ、
Ｒ、Ｂ）内の動体を検出する動体検出手段（１１）を用
いて、連続した２枚の画像データ（Ｙ、Ｒ、Ｂ）の間で
の相関を検出する相関検出手段（１１）と、相関検出手
段（１１）によつて入力される画像信号（Ｓ２）内のシ
ーンチエンジを検出するシーンチエンジ検出手段（１
１）とを設けるようにした。

【００１４】また本発明においては、画像データ（Ｙ、
Ｒ、Ｂ）内から抽出された目標物体を含む領域を設定す
る目標物体領域設定手段（１１）と、目標物体領域設定
手段（１１）により設定された目標物体領域中で、画像
データ（Ｙ、Ｒ、Ｂ）の空間高周波成分を大きくするよ
うに、テレビジヨンカメラ（１）のフオーカスレンズ
（２）を制御するレンズ制御手段（１４、１５、１６）
を設けるようにした。

【００１５】

【作用】画像内の動体検出による位置決めの検定を行う
ことにより、自動追尾を行う場合を誤認識することを避
けることがある程度できる。また比較する画像データを
動体検出したときのみ更新することにより、毎フレーム
更新する時には出にくかつた動き量が大きく出るように
なる。

【００１６】また初期設定された初期画像から比較をす
ることにより、変化のあつた場合のみ録画を行い、変化
の位置を検出することにより、対象物に対するオートパ
ンニングやチルテイングを行うことができる。また画像
処理により動体検出をするため、システムも従来のもの
からそれほど大きくならずにすむ。またシーンチエンジ
検出情報源は画像情報からのみ行うのでシーンチエンジ
を確実に検出し得る。

【００１７】目標物体に追尾した領域に関する画像デー
タの空間高周波成分が大きくなるように、フオーカスレ
ンズを制御することにより、目標物体が画面のどこにい
ても、目標物体に対して焦点のあつた画像が得られる。

【００１８】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１９】（１）第１実施例のビデオカメラシステム 図１においては全体として、本発明による動体検出を用
いた被写体追尾機能を有するビデオカメラシステムの一
実施例を示す。以下輝度をＹ、色差Ｒ−Ｙ信号をＲ、色
差Ｂ−Ｙ信号をＢとし、後述するメモリ内の画像で垂直
方向にｉ番目、水平方向にｊ番目の画素の値を、Ｙにつ
いてはＹ_ij、ＲについてはＲ_ij、ＢについてはＢ_ijとす
る。このシステムにおいては、被写体から到来する撮像
光がレンズブロツク１のレンズ２、アイリス３を通つ
て、例えばＣＣＤでなる撮像素子４で受けられ、この結
果被写体像を表す撮像出力信号Ｓ１が信号分離／自動利
得調整回路部（ＡＧＣ）５に与えられる。

【００２０】信号分離／自動利得調整回路部５は撮像出
力信号Ｓ１をサンプルホールドすると共に、オートアイ
リス（ＡＥ）システム（図示せず）からの制御信号によ
つて所定のゲインを持つように利得制御され、かくして
得られる撮像出力信号Ｓ２をアナログ／デイジタル変換
回路部６を介してデイジタルカメラ処理回路７に供給す
る。デイジタルカメラ処理回路７はデイジタル化された
撮像出力信号に基づいて輝度信号Ｙ、クロマ信号Ｃ、色
差信号Ｒ及びＢを形成し、輝度信号Ｙ及びクロマ信号Ｃ
をデイジタル／アナログ変換回路部８を介してビデオ信
号Ｓ３として送出する。

【００２１】これに加えて、デイジタルカメラ処理回路
７は被写体追尾検出画像信号Ｓ４として輝度Ｙ、色差信
号Ｒ及びＢを追尾制御回路部９に供給し、追尾制御回路
部９はこの被写体追尾検出信号画像Ｓ４に基づいてレン
ズブロツク１について設けられたパンニング駆動モータ
１２及びチルテイング駆動モータ１３に対する追尾制御
信号Ｓ９を発生する。追尾制御回路部９は色差信号Ｒ及
びＢを輝度信号Ｙと共に、例えばフレームメモリで構成
された画像メモリ１０に、マイクロプロセツサ構成の追
尾信号処理回路１１から送出される書き込み許可信号Ｓ
５が来た後、Ｙ、Ｒ、Ｂ独立に各画素単位で記憶する。

【００２２】画像メモリ１０に被写体追尾検出画像信号
Ｓ４の格納が終了すると、追尾信号処理回路１１に対し
読みだし許可信号Ｓ６を送出する。追尾信号処理回路１
１は読みだし許可信号Ｓ６を確認した後、任意のメモリ
アドレス信号Ｓ７を画像メモリ１０に与えることによ
り、画像メモリ１０内は所定の位置のデータをデータ信
号Ｓ８として追尾信号処理回路１１に供給する。追尾信
号処理回路１１内で動体検出を含む被写体位置の算出処
理が終了後、書き込み許可信号Ｓ５が再び発生し、これ
を画像メモリ１０が確認した後、画像メモリ１０はメモ
リの書き換えを行う。

【００２３】次に、追尾信号処理回路１１の内部で行わ
れる一連の処理を述べる。図２は被写体認識処理手順を
示し、このステツプＳＰ０は最初に被写体が画面の中央
にあるという条件より、画面中央を中心とする領域Ｄ０
（例えば５×５ピクセルのブロツク）から被写体情報を
取得する処理である。また次のステツプＳＰ１はステツ
プＳＰ０で得られた被写体情報を元にＹとＲ、ＹとＢに
関する２次近似曲線に許容誤差を含めた特徴モデルを決
定する処理である。

【００２４】さらに続くステツプＳＰ２はステツプＳＰ
１で求められた特徴モデルを用いて、画面内の各画素に
対して被写体の候補点かどうかを決定する各画素の判定
処理である。またステツプＳＰ３はステツプＳＰ２で被
写体の一部と決定された画素から、被写体の座標を仮に
決定する処理である。さらにまた次のステツプＳＰ４は
画像内の動き検出を行つて、ステツプＳＰ３で仮決定さ
れた被写体座標の信憑性を検定する動き検定の処理であ
る。

【００２５】以下に各ステツプの一例を示す。ステツプ
ＳＰ０の被写体情報取得処理で、領域Ｄ０内の（Ｙ_ij、
Ｒ_ij、Ｂ_ij）の組はノイズを持つているということと、
被写体の代表点に過ぎないということから被写体情報に
有る程度幅を持たせるために（Ｙ_ij、ＨＲ_ij、Ｈ
Ｂ_ij）、（Ｙ_ij、ＬＲ_ij、ＬＢ_ij）を被写体情報として
持つ。ここで被写体情報ＨＲ_ij、ＨＢ_ij、ＬＲ_ij、ＬＢ
_ijは許容誤差を10〔％〕として、それぞれ次式

【数１】

【数２】

【数３】

【数４】 で与えられる。

【００２６】ステツプＳＰ１の特徴モデル決定処理は、
ステツプＳＰ０の被写体情報取得処理で得られた被写体
情報（Ｙ_ij、ＨＲ_ij、ＨＢ_ij）、（Ｙ_ij、ＬＲ_ij、ＬＢ
_ij）の組より、Ｙに関するＲとＢの２次近似関数による
特徴モデルを決定する。このとき、任意の被写体に対し
て２次近似した特徴モデルがある程度一定の形を持つよ
うに、Ｙ軸上の切片Ｒ_low 、Ｒ_high、Ｂ_low 、Ｂ_highを
定数として持つておき、最小自乗法により以下の係数Ａ
₀ 〜Ａ₄ を決定し、Ｙに関するＲとＢの特徴モデルＨＦ
_r （Ｙ）、ＨＦ_b （Ｙ）、ＬＦ_r （Ｙ）、ＬＦ_b （Ｙ）
を次式

【数５】

【数６】

【数７】

【数８】 のように決定する。

【００２７】ステツプＳＰ２の各画素判定処理は、各画
素に関してステツプＳＰ１の特徴モデル決定処理で求め
られた特徴モデルにあてはまるかどうか、つまり画素
Ｒ、Ｂが共に、Ｙに関するＲとＢの特徴モデルＨＦ
_r （Ｙ）、ＨＦ_b （Ｙ）、ＬＦ_r （Ｙ）、ＬＦ_b （Ｙ）
として、図３に示すハツチング部に入るかどうかを決定
する。つまり、次式

【数９】 かつ、次式

【数１０】 ならばその画素は被写体の一部と判断する。

【００２８】ステツプＳＰ３の座標仮決定処理は、ステ
ツプＳＰ２の各画素判定処理で被写体の一部と判断され
た複数の画素の水平、垂直方向の重心を求めることによ
り、被写体の座標として決定する。ここで、ステツプＳ
Ｐ２の各画素判定処理において被写体と判断される画素
が一つもない場合、画面内に被写体はいないと判断され
る。

【００２９】次にステツプＳＰ４では、カメラのレンズ
ブロツク１を動かしているパンニング駆動モータ１２、
チルテイング駆動モータ１３が動いているかどうかを検
出する。これによりパンニング駆動モータ１２、チルテ
イング駆動モータ１３が動いているとき、つまり画角が
変わつているときは、これ以降の動体検出を用いた動き
検定は行わず、ステツプＳＰ３の座標仮決定処理で算出
された座標を被写体座標として決定する。続くステツプ
ＳＰ５では、ステツプＳＰ３の座標仮決定処理で算出さ
れた座標が、１フレーム前の座標から例えば５ピクセル
以上動いているかどうかを検出している。これにより、
座標が過去の座標に比べて大きく動いた場合のみ、これ
以降の動き検定を行い、座標が変化していない場合はパ
ンニング駆動モータ１２、チルテイング駆動モータ１３
が動いていないときと同様に動き検定を行わずに、ステ
ツプＳＰ３の座標仮決定処理で算出された座標を被写体
座標として決定する。

【００３０】さらに次のステツプＳＰ６では、現フレー
ムでの被写体座標が前フレームでの位置より大きく動い
ていると判断されているのだから、当然前フレームから
被写体の動き量が座標近傍で検出されるはずであるとし
て、前フレームでの座標と新しく算出された座標との近
傍での動き抽出を行う。動き量が検出されなかつた場
合、被写体座標の移動は被写体の移動によるものでな
く、ステツプＳＰ２及びＳＰ３の各画素判定処理及び座
標仮決定処理の被写体認識処理での誤認識と判断し、新
しく算出された座標は無効とし、前フレームでの座標を
保持する。動き量が検出された場合は新しく算出された
座標へ被写体が移動したことを動き検定により確認した
ことになるため、現フレームで算出された座標を被写体
位置として採用する。

【００３１】ステツプＳＰ６における動き量の抽出方法
の第１の方法としては、例えば図４に示すように、算出
された座標と前フレームで算出された座標を囲む近傍領
域Ｄ１内で、ステツプＳＰ０の被写体情報取得処理で最
初に被写体が設定されるときに覚えた被写体のＲ、Ｂで
あるＲ_org とＢ_org の近傍、つまり次式

【数１１】 かつ次式

【数１２】 を満たす画素に対して、輝度に関する差分をとる。この
差分値が有る閾値をこえた場合、その画素については動
き量が検出されたと判断する。こうして領域Ｄ１内で動
きの有つたと判断された画素数Ｎ_move1 がＤ１内の総画
素数Ｎ_D1のある割合Ｐ₁ を越えたとき、Ｄ１内で被写体
の動きがあつたと判断する。

【００３２】また動き量抽出方法の第２の方法として、
例えば図５に示すように、領域Ｄ１内の画素について、
ステツプＳＰ２の各画素判定処理の条件を満たす画素を
値「１」、そうでない画素を値「０」としたような評価
データ画像を前フレーム、現フレームに関して持つてお
き、その２つの間に共通しない画素を動いた点として判
断する。その後は上述と同様に動いたと判断された画素
数Ｎ_move2 がＤ１内の総画素数Ｎ_D1のある割合Ｐ2 を越
えたとき、Ｄ１内で被写体の動きがあつたと判断する。

【００３３】ステツプＳＰ７の処理は、前フレームの評
価データ、つまり上述した第１の例ならば、図４に示さ
れるような、（11）、（12）式を満たす画素に対する輝
度データ、第２の例ならば、図５に示されるような、ス
テツプＳＰ２における各画素判定処理の条件を満たす点
を値「１」、そうでない画素を値「０」としたような前
フレームの評価データ画像を更新する。

【００３４】以上の構成によれば、画像内の動体検出に
よる位置決めの検定を行うことにより、自動被写体追尾
を行う場合に被写体の誤認識をある程度避けることがで
き、また比較する画像データを動体検出したときのみ更
新することにより、毎フレーム更新する時には出にくか
つた動き量が大きく出るようになるテレビカメラシステ
ムを実現できる。

【００３５】（２）第２実施例のビデオカメラシステム 上述した第１実施例の動体検出を用いたビデオカメラシ
ステムを応用した、監視用のビデオカメラシステムとし
て、初期画像から動体検出して画面に変化があつたとき
のみ録画する一実施例について説明する。このビデオカ
メラシステムの構成を図１との対応部分に同一符号を付
した図６に示す。また図７は、初期画像からの動体検出
処理手順を示し、ステツプＳＰ１０は初期画像の輝度デ
ータを格納する処理で、次のフレームからはこの初期画
像輝度データＤ_org1と比較して輝度の変化による動体検
出を行う。

【００３６】次のステツプＳＰ１１は動点抽出を行う処
理である。初期画像輝度データＤ_org1（図８（Ａ））と
現フレーム画像輝度データＤ_now1との間で、各画素につ
いて差分をとり、この差分がある閾値α₁ を超えたと
き、この画素に初期状態からの変化があつたと判断す
る。こうして全画素について動点抽出を行い、ステツプ
ＳＰ１２のように変化があつたと判断された画素数Ｎ_c
がある閾値α₂ を超えたとき、画面内に侵入者が入つて
きた等、初期状態からの画面の変化があつたと判断し
（図８（Ｂ））、ステツプＳＰ１３の録画状態に入る。
この後ステツプＳＰ１４の枠表示処理を行い、図８
（Ｃ）に示すように動点として判断された画素の上端、
下端、右端、左端の画素を囲むような枠出し信号Ｓ１０
（図６）を発生させ、映像信号に枠を乗せる。

【００３７】またステツプＳＰ１２において、変化があ
つたと判断される画素数Ｎ_c が閾値α₂ を超えなかつた
場合、画面に初期状態からの変化はなかつたと判断し、
ステツプＳＰ１５で録画待機状態に入り、侵入者や変化
点を示す枠を消去する。次にステツプＳＰ１６で、変化
があつたと判断される画素数Ｎ_c ＜閾値α₂ の状態が一
定時間連続して続いたかどうかを判断し、続いた場合に
はステツプＳＰ１７に移つて初期画像輝度データＤ_org1
の更新を行う。

【００３８】この図６のビデオカメラシステムの応用例
として、画像信号内のシーンチエンジを検出する処理手
順を図９に示す。このシーンチエンジ検出処理手順でス
テツプＳＰ２０は、前フレームの画像の輝度データＤ
_org2を格納する処理である。次のステツプＳＰ２１で
は、現フレームの画像の輝度データＤ_now2と前フレーム
の画像の輝度データＤ_org2との間で各画素について差分
をとり、この差分がある閾値α₃ を超えたとき、この画
素に前フレームからの変化があつたと判断する。

【００３９】こうして全画素について動点抽出を行い、
ステツプＳＰ２２において輝度の変化の有つた（すなわ
ち動いた）と判断された画素数Ｎ_d がある閾値α₄ を超
えたとき、両画面の間の相関が著しく下がつたと判断
し、ステツプＳＰ２３でシーンチエンジの検出信号を出
す。この後、シーンチエンジ検出の有無にかかわらず、
ステツプＳＰ２４で現フレームの画像の輝度データＤ
_now2を前フレームの画像の輝度データＤ_org2に置き換え
た後ステツプＳＰ２１に戻る。

【００４０】以上の構成によれば、セキユリテイシステ
ムへの応用として、初期設定画像からの比較をすること
により、侵入者のあつた場合のみ録画を行い、侵入者の
位置を検出することにより、対象物に対するオートパン
ニングやチルテイングを行うことができる。また画像処
理により動体検出をするため、システムも従来のものか
らそれほど大きくならずにすむ。またシーンチエンジ検
出情報源は画像情報からのみ行うので、記録されたテー
プに依存せずにシーンチエンジが検出できる。

【００４１】さらに上述の構成によれば、従来のセキユ
リテイシステムに応用されている監視カメラのように、
一定のアングルや一定のパンニングでのみ、しかも連続
的に撮影を行わなければならないという問題を改善で
き、また赤外線センサを用いた動体検出に比較して、格
段的に小型な監視カメラを実現できる。

【００４２】さらに上述の構成によれば、従来考えられ
てきたシステムでのシーンチエンジ検出のように、ビデ
オテープに記録されているタイムコードを読み取り、そ
の連続性が途切れたところを見つける場合に比較して、
ビデオテープにタイムコードが打たれていないものやタ
イムコードの規格が異なるものに対しても、有効にシー
ンチエンジを検出することができ、有用性を格段的に向
上し得る。

【００４３】（３）第３実施例のビデオカメラシステム 上述した第１実施例の被写体抽出を用いたビデオカメラ
システムを応用した、目標物体の入る領域内の輝度信号
に注目したオートフオーカス機能の一実施例について説
明する。このビデオカメラシステムの構成を図１との対
応部分に同一符号を付した図１０に示す。

【００４４】図１０において、追尾信号処理回路１１か
ら送出される目標物体領域座標信号Ｓ９より、ビデオ信
号検波器１６が検波領域を設定し、この検波領域に関し
てデイジタルカメラ処理回路７から送出されたデイジタ
ルＹ信号を基に合焦のための検波を行なう。ビデオ信号
処理回路１７は受けた検波出力を元に、フオーカスモー
タ１８をどのように動かすか判定し、フオーカスモータ
１８を制御する。以下にこの一連の処理についてそれぞ
れ説明する。

【００４５】図２に上述した被写体認識処理手順のステ
ツプＳＰ２で、候補点かどうかの判定をした各画素のよ
うすを図１１に示す。図において候補点と判断された画
素は斜線部で、そうでない点は白抜きで表している。ま
たステツプＳＰ８で決定された被写体座標を（Ｘｔ、Ｙ
ｔ）とし、被写体領域の初期枠座標として、枠の左上の
座標を（Ｘ１、Ｙ１）、右下の座標を（Ｘ２、Ｙ２）と
する。また被写体領域の中に有る画素のうち、被写体の
候補点と判定されている画素、つまり図１１における斜
線部に含まれる画素の数をＮ_t とする。

【００４６】この状態で、まずＸ１を画面左方向に１画
素分ずらし、その時Ｎ_t がＸ₁ をずらしたことにより大
きくなつたならば、Ｘ１はずらした位置に変更する。逆
にＮ _t が増えていないのならばＸ１は元の位置に戻す。

【００４７】次にＹ１を同様に１画素分上にずらし、そ
の時のＮ_t が増えたならば、Ｙ１はずらした位置に変更
し、逆に増えていないのならば元の位置に戻す。同様な
処理を続けてＸ２を右にずらし、次にＹ２をした方向に
ずらす。この一連のルーチンをＮ_t が増えなくなるまで
続ける。最終的な（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）の座
標を被写体領域の座標として、追尾信号処理回路１１は
ビデオ信号検波器１６に送出する。

【００４８】ビデオ信号検波器１６では、受け取つた被
写体領域に関して、Ｙ信号の検波を行なう。デイジタル
カメラ処理回路７から送られるＹ信号について、１ライ
ン分だけ横方向にハイパスフイルタをかけ、更にその絶
対値をとつて整流する（図１２）。このデータの最大値
をこのラインの評価値とする。同様に全てのラインにつ
いて評価値を求め、その中の最大値を検波出力としてビ
デオ信号処理回路１７に通信する。

【００４９】ビデオ信号処理回路１７ではビデオ信号検
波器１６からの検波出力を元にフオーカスモータ１８の
制御を行なう。このアルゴリズムには様々な手法がある
が、今回はその中で「ウオブリング法」について説明す
る。すなわち合焦したかどうかの判定は検波出力値が最
大になるようにフオーカスレンズ２を動かす。つまり、
図１３に示すように、横軸をレンズの位置、縦軸を検波
出力にとつた評価カーブの頂点部分が合焦位置となる。

【００５０】まずフオーカスレンズ２を微小に15〔Hz〕
程度で動かすことにより、レンズの微小位置変動の最大
と最小の時の検波出力を元に現在レンズが評価カーブの
どの位置にいるかを判断し、レンズ２を動かす方向を決
める。つまり図１３においてはレンズを正の方向に動か
せば合焦に向かうことがわかる。評価値が最大値に収束
した、つまり評価カーブの頂点付近に来たと判断された
とき、合焦したと判定する。

【００５１】以上の一連の操作によつて、フオーカスモ
ータ１８の制御を行なうことにより、被写体に追尾した
オートフオーカスを行なう。またステツプＳＰ８で被写
体がいない、もしくはわからない、と判断された場合は
検波枠を中心に固定した通常のオートフオーカスに戻
る。

【００５２】（４）他の実施例 なお上述の実施例においては、本発明を目標を自動的に
追尾するビデオカメラシステム、セキユリテイシステム
に適用した場合について述べたが、本発明はこれに限ら
ず、テレビジヨン会議システムやマルチメデイアシステ
ム等のように、テレビジヨンカメラで被写体を目標追尾
するものや、画像内の被写体の位置より被写体にロツク
したオートフオーカス、オートアイリス、オートズー
ム、手ぶれ補正するテレビジヨンカメラに広く適用して
好適なものである。

【００５３】

【発明の効果】上述のように本発明によれば、画像内の
動体検出による位置決めの検定を行うことにより、自動
追尾を行う場合に目標物体の誤認識を避けることがある
程度でき、また比較画像データを動体検出したときのみ
更新することにより、毎フレーム更新する時には出にく
かつた動き量が大きく出るようになり、かくして画像内
の動体を検出する際に誤認識を有効に除去して有用性を
向上し得る画像信号処理装置を実現できる。

【００５４】また初期設定画像からの変化を検出したと
きのみ録画状態に入ることにより、従来セキユリテイシ
ステムの監視カメラなどでは連続して録画していなけれ
ばならなかつたのを、侵入者があつたときや状況に変化
があつたときのみを録画するようにできる。さらに初期
設定画像を固定でなく、動体検出していない間、一定時
間毎に更新することにより、屋外にカメラを設置した場
合など、昼間から夕方にゆつくり変化した場合には画面
に変化があつたと誤判断しなくなる。さらに動体検出を
用いたことにより、簡単なシステムでシーンチエンジ検
出を行うことができる。

【００５５】また被写体に追尾し、被写体の大きさにあ
わせた検波枠を用いたオートフオーカスをすることによ
り、被写体が画面のどこにいても画像の焦点が被写体に
あつた映像を撮影者が得ることが出来る。

【図面の簡単な説明】

【図１】本発明の一実施例として動体検出を用いた被写
体追尾機能を有するビデオカメラシステムの構成を示す
ブロツク図である。

【図２】動体検出による検定を行う被写体認識処理手順
を示すフローチヤートである。

【図３】被写体認識処理手順中で被写体特徴モデル設定
処理の説明に供する略線図である。

【図４】動き検定としてフレーム間差分による動き量の
抽出方法の説明に供する略線図である。

【図５】動き検定としてフレーム間差分による動き量の
抽出方法の説明に供する略線図である。

【図６】図１のビデオカメラシステムの応用として初期
画像からの動体検出を有するビデオカメラシステムの構
成を示すブロツク図である。

【図７】初期画像からの動体検出処理手順を示すフロー
チヤートである。

【図８】初期画像からの変化点抽出と枠表示の説明に供
する略線図である。

【図９】シーンチエンジ検出処理手順を示すフローチヤ
ートである。

【図１０】図１のビデオカメラシステムの応用として目
標物体に追尾した領域に注目してオートフオーカスする
ビデオカメラシステムの構成を示すブロツク図である。

【図１１】各画素について被写体の候補点かどうかの判
定の説明に供する略線図である。

【図１２】被写体領域内のＹ信号から検波出力を算出す
るための処理過程の説明に供する略線図である。

【図１３】レンズ位置と評価値の関係を表す評価カーブ
を示す特性曲線図である。

【符号の説明】

１……レンズブロツク、２……レンズ、３……アイリ
ス、４……撮像素子、５……信号分離／自動利得調整回
路部（ＡＧＣ）、６……アナログ／デイジタル変換回路
部、７……デイジタルカメラ処理回路、８……デイジタ
ル／アナログ変換回路部、９……追尾制御回路部、１０
……画像メモリ、１１……追尾信号処理回路、１２……
パンニング駆動モータ、１３……チルテイング駆動モー
タ、１４……枠付け回路、１５……録画コントロール回
路、１６……ビデオ信号検波器、１７……ビデオ信号処
理回路、１８……フオーカスモータ。

Claims (7)

【特許請求の範囲】
1. 【請求項１】入力される画像信号をデイジタル化して、
   周期的に画像データとして画像メモリに記憶する画像記
   憶制御手段と、 上記画像メモリに記憶された上記画像データと当該画像
   データから所定時間遅延された遅延画像データとの間
   で、任意の特徴的な輝度及び色の画素に関して、輝度の
   変化分が所定の閾値以上の画素を抽出する特徴画素抽出
   手段と、 当該特徴画素抽出手段で抽出された上記画素の数をカウ
   ントして、上記画像データ内の動体を検出をする動体検
   出手段とを具えることを特徴とする画像信号処理装置。
2. 【請求項２】上記画像信号はテレビジヨンカメラより入
   力され、上記特徴画素抽出手段は上記テレビジヨンカメ
   ラの画角が変わつていないとき、上記任意の特徴的な輝
   度及び色の画素に関して、上記輝度の変化分が所定の閾
   値以上の上記画素を抽出するようにしたことを特徴とす
   る請求項１に記載の画像信号処理装置。
3. 【請求項３】上記画像データを周期的に上記画像メモリ
   に記憶する上記画像記憶制御手段を用いて、上記画像デ
   ータ内の目標物体の輝度及び色情報に関する特徴量を設
   定する特徴量設定手段と、 上記設定された上記特徴量から上記目標物体の特徴を示
   す特徴モデルを決定する特徴モデル決定手段と、 決定された上記特徴モデルを用いて、上記画像データ内
   から上記目標物体の候補となる画素を検出する画素判定
   手段と、 上記検出された画素集合の水平、垂直方向の重心を求
   め、上記画像データ内の上記目標物体の位置を検出する
   座標仮決定手段と、 上記画像データ内の動体を検出する上記動体検出手段を
   用いて、上記検出された上記目標物体の位置の確からし
   さを検定する位置検定手段と、 当該位置検定手段で検定された上記目標物体の位置に応
   じて、上記テレビジヨンカメラを制御するカメラ制御手
   段とを具え、上記画像データ内の上記目標物体を追尾す
   ることを特徴とする請求項２に記載の画像信号処理装
   置。
4. 【請求項４】上記画像データを周期的に上記画像メモリ
   に記憶する上記画像記憶制御手段を用いて、輝度及び色
   情報に関して起動時の初期画像全体を上記画像メモリに
   記憶する初期画像記憶手段と、 上記画像データ内の動体を検出する上記動体検出手段を
   用いて、上記画像メモリに記憶された上記初期画像か
   ら、輝度変化が所定の閾値以上あつた画素を検出する動
   点検出手段と、 上記検出された画素から、上記初期画像から変化のあつ
   た領域を検出する変化領域検出手段と、 当該変化領域検出手段により、上記初期画像からの変化
   領域が検出されていないときに、上記初期画像を一定時
   間毎に設定し直す初期画像再設定手段とを具えることを
   特徴とする請求項１に記載の画像信号処理装置。
5. 【請求項５】上記初期画像からの変化領域を検出する上
   記変化領域検出手段を用いて、上記初期画像から変化の
   あつた領域が検出されたときのみに画像録画状態に入る
   録画制御手段と、 上記変化のあつた領域を囲む枠表示を、映像信号に重畳
   する枠表示手段とを具えることを特徴とする請求項４に
   記載の画像信号処理装置。
6. 【請求項６】上記画像データ内の動体を検出する動体検
   出手段を用いて、連続した２枚の画像データの間での相
   関を検出する相関検出手段と、 上記相関検出手段によつて上記入力される画像信号内の
   シーンチエンジを検出するシーンチエンジ検出手段とを
   具えることを特徴とする請求項１に記載の画像信号処理
   装置。
7. 【請求項７】上記画像データ内から抽出された上記目標
   物体を含む領域を設定する目標物体領域設定手段と、 上記目標物体領域設定手段により設定された目標物体領
   域中で、上記画像データの空間高周波成分を大きくする
   ように、上記テレビジヨンカメラのフオーカスレンズを
   制御するレンズ制御手段とを具えることを特徴とする請
   求項２に記載の画像信号処理装置。