JPH0894729A - 目標類別方法 - Google Patents

Abstract

(57)【要約】 【目的】 TVカメラを介して入力したディジタル画像か
ら抽出された微小目標を追尾する画像処理システムで使
用する目標類別方法に関し、輝度レベルの変動が大きい
目標の抽出もれを減少させ、継続的なスキャン間追尾を
可能にすることを目的とする。 【構成】 上記のディジタル画像から取り出した輝度レ
ベルの高い目標のうち、第１のしきい値以上の輝度レベ
ルを持つ目標を抽出し、抽出した目標の輝度レベルを含
む特徴量を算出して記憶し、記憶した今回抽出時の輝度
レベルのうち、第２のしきい値以上の輝度レベルを持つ
目標をスキャン間追尾する類別目標と判定するが、次回
抽出時の輝度レベルが該第２のしきい値よりも低下した
時、抽出されていれば同一の類別目標とみなし、前回と
今回の特徴量を比較し、特徴量の差分が設定範囲内であ
れば２つの類別目標は同一目標と同定して追尾可能とな
るように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビカメラを介して入
力したディジタル画像から抽出された微小目標を追尾す
る画像処理システムで使用する目標類別方法に関するも
のである。

【０００２】例えば、赤外線用テレビカメラを介して入
力したディジタル画像から目標を抽出して追跡する際、
前回のスキャンで抽出された目標が今回のスキャンでは
抽出されず、次回のスキャンで抽出された時、新たな目
標と判定されてスキャン間追尾が持続できない場合があ
る。

【０００３】そこで、輝度レベルの変動が大きい目標の
抽出もれを減少させて、継続的なスキャン間追尾を可能
にすることが必要である。

【０００４】

【従来の技術】図４はディジタル画像生成説明図、図５
は目標類別手段の要部構成図、図６は従来例の目標類別
方法説明図、図７はフィルタ概略説明図で、(a) は前処
理フィルタの一例、(b) は抽出フィルタの一例である。

【０００５】以下、図４〜図７の説明を行なう。図４に
おいて、赤外線検出器12には入射する赤外線パワーを光
電変換して電荷を出力する複数のフォトダイオードが配
置されている。

【０００６】そこで、赤外線検出器12は光学系11を通っ
て入射した赤外線から、赤外線パワーに対応する電荷を
取り出すが、この電荷は図示しないマルチプレクサで一
連の電流信号に変換された後、電圧信号に変換されてA/
D 変換器13に加えられる。

【０００７】A/D 変換器は電圧信号をディジタル信号(
ディジタル画像) に変換し、オフセット・感度調整部分
14を介して目標類別処理手段に送出する。目標類別処理
手段は図５に示す様に、CPU 21, 図６に示す処理フロー
（ステップS 25〜S 27で構成されている) をCPU に実行
させる為のプログラムが格納されているプログラムROM
22, RAM 25及び外部装置とのインタフェースを取るイン
タフェース部分23, 24を持っており、上記のディジタル
画像がインタフェース部分24を介してRAM 25に格納され
る。

【０００８】そこで、CPU 21は図６に示す処理フローに
従って格納したディジタル画像を読み出して前処理フィ
ルタS 25をかけ、この画像中の輝度レベルの明るい微小
目標を抽出するが、これは全てソフト的に処理する。

【０００９】この為、図７(a) に示す様に、例えば、中
枠３×３画素（図中の"IN"の部分で、IN側と云う) 、外
枠５×５画素（図中"OUT" の部分で、OUT 側と云う) か
らなるフィルタをディジタル画像の端から画素毎に順次
かけて、IN側の輝度レベルの合計とOUT 側の輝度レベル
の合計の差( ΣIN側−ΣOUT 側) を新たな画像として置
き換えて行くが、一画面全部について実行する( この処
理が前処理) 。

【００１０】これにより、輝度レベルの高い( 明るい)
部分だけが抽出されるので、このフィルタはIN側の部分
をOUT 側の部分に対して目立たせる様な機能を持つ。ま
た、５画素×５画素を越える明るい大きな目標があった
場合、( ΣIN側−ΣOUT 側) の値が共に同じ為に差をと
ると真黒になり、前処理画面上では消去される。

【００１１】しかし、この目標の境目の部分において
は、境目の内と外（背景）とで輝度レベルに差があるの
でこの部分は残る。なお、上記の枠の大きさはソフト的
に決める。

【００１２】つまり、入力したディジタル画像に対して
前処理フィルタをかけることにより、輝度レベルの高い
微小目標が取り出せる。さて、前処理フィルタをかけた
ディジタル画像に対して、更に、図６-S 26 に示す抽出
フィルタをかけるが、このフィルタは図７(b) に示す様
に、内枠(IN),中枠(MID),外枠(OUT) の３つの枠がある
が、従来例では中間枠は使用せず、( ΣIN側−ΣOUT
側) の値を求めてIN側とOUT 側の背景の比較を行なう。

【００１３】ここで、図６に示す様に、抽出フィルタに
は目標しきい値が印加するが、このしきい値は入力した
ディジタル画像中の背景と目標の輝度レベル差の比率(S
/N)で決定するが、雑音を加えた背景の輝度レベルの最
も高い部分よりも高く設定する。

【００１４】例えば、前処理フィルタと抽出フィルタを
通って抽出された目標の輝度レベルが15〜20の場合、目
標抽出しきい値を、例えば、約半分の７にする。さて、
前処理フィルタをかけて得られたディジタル画像に対し
て３つの枠を持つフィルタを用いて( ΣIN側−ΣOUT
側) の項を求め、差分が目標抽出しきい値以上の輝度レ
ベルを持つ微小目標を抽出し、その特徴量（例えば、目
標レベル、目標サイズ、目標位置）を算出する。

【００１５】ここで、目標レベルは目標抽出しきい値以
上の輝度レベルの値、目標サイズはIN側に入った画素の
サイズで、最小１画素〜最大９画素の間の値、目標位置
は画像内の目標の位置と画像自体がどの方向を向いてい
るかと云う情報である。

【００１６】そして、算出した今回のスキャンにおける
特徴量を現スキャンの目標データ記憶部251 に格納する
が、前回のスキャンにおける目標データが前スキャンの
目標データ記憶部252 に格納されている。

【００１７】そこで、図６-S 27 の目標同定部では２つ
の記憶部に格納されている特徴量の比較による同定処理
を行なって、前回のスキャンで抽出した微小目標と今回
のスキャンで抽出した微小目標が同一目標か否かを同定
し、次回の比較の為に今回のスキャンによる特徴量を前
スキャンの目標データ記憶部252 に格納する。

【００１８】同定は前回のスキャンの傾向から今回のス
キャンの状態（位置状態）を推定して、算出位置が推定
位置とほぼ同じであれば同一目標と同定するが、この他
に目標サイズや輝度レベルについても比較する。

【００１９】そして、判定が終了すれば、再び、S 25の
前処理フィルタに戻って上記の処理を繰り返す。

【００２０】

【発明が解決しようとする課題】図８は輝度レベル変動
原因説明図（２素子の場合）である。上記の様に、前処
理をかけたディジタル画像では微小目標だけでなく、大
きな目標( 船など) のエッジも抽出してしまうことがあ
るので、エッジ背景の輝度レベルをカットし、微小目標
のみを抽出する為には抽出フィルタの目標抽出しきい値
を高く設定する必要があった。

【００２１】しかし、抽出された微小目標の信号レベル
( 検出素子が出力する信号レベル)は、例えば素子の特
性のバラツキや外乱などにより、常に一定とは限らない
ので、信号レベルが低くなった時は目標抽出しきい値以
下になる場合がある。

【００２２】ここで、輝度レベルの変動の原因の例とし
て、検知素子感度のバラツキ及び目標検知位置の違いが
上げられる。図８において、図中の〜はスキャン回
数である。画像の検知素子は単一ではなく、複数の検知
素子で撮像することが多い。Ａ素子（奇数列）とＢ素子
（偶素子）で感度が異なる場合、一定の放射輝度で、一
定サイズの目標を撮像しても素子が検出するレベルは異
なる。

【００２３】例えば、図中との検知位置では１素子
に目標が含まれる為、素子の感度は変化せず、それぞれ
の輝度レベルは同じである。しかし、の様に２つの画
素に跨がった場合、両側は同一感度とは限らないので輝
度レベルは異なる。

【００２４】この為、前回のスキャンで抽出された微小
目標が、今回のスキャンでは抽出されず、次回のスキャ
ンで抽出された時には本来なら同一目標の筈が、新たな
目標と判断されてスキャン追尾が継続できない場合が生
ずる。

【００２５】本発明は、輝度レベルの変動が大きい目標
の抽出もれを減少させ、継続的なスキャン間追尾を可能
にすることを目的とする。

【００２６】

【課題を解決するための手段】本発明は、ディジタル画
像から取り出した輝度レベルの高い目標のうち、第１の
しきい値以上の輝度レベルを持つ目標を抽出し、抽出し
た目標について輝度レベルを含む特徴量を算出して記憶
する。そして、記憶した今回抽出時の輝度レベルのう
ち、第２のしきい値以上の輝度レベルを持つ目標をスキ
ャン間追尾する類別目標と判定する。しかし、今回判定
した類別目標の輝度レベルが次回抽出時に第２のしきい
値よりも低下した時、抽出されていれば同一の類別目標
とみなして、前回と今回の特徴量を比較し、特徴量の差
分が設定範囲内であれば２つの類別目標は同一目標と同
定して追尾可能にした。

【００２７】

【作用】図１は本発明の原理説明図である。従来の目標
抽出方法は、微小目標の輝度レベルが目標抽出しきい値
（上記では、７）を越える値を持つことが抽出条件であ
った。

【００２８】本発明では図１中の抽出フィルタS 22の目
標抽出しきい値を、従来よりも下げたことにより（例え
ば、３）微小目標の輝度レベルの変動に対応でき、微小
目標の抽出もれを減らすことが可能になった。

【００２９】また、従来の目標抽出しきい値を、本発明
では類別目標判定処理(S 23)の目標類別開始しきい値
（例えば、７）とし、それ以上の輝度レベルを持つ微小
目標を分類が同じ目標、即ち、類別目標とする。

【００３０】しかし、急なレベル変動で、次回のスキャ
ンにおいて輝度レベルが目標類別開始しきい値を下回っ
ても、抽出フィルタS 22で抽出されていれば、同一類別
目標とみなし、目標同定部でスキャン間追尾できる様に
した。

【００３１】なお、この場合は今回と次回のスキャン時
の特徴量の差が許容範囲内にあることが必要である。こ
れにより、輝度レベルの変動が大きい目標の抽出もれを
減少させ、継続的なスキャン間追尾を可能になる。

【００３２】

【実施例】図２は本発明の実施例の要部説明図、図３は
図２の動作説明図である。ここで、全図を通じて同一符
号は同一対象物である。また、上記で詳細説明した部分
については概略説明し、本発明の部分について詳細説明
する。以下、図３を用いて図２の動作を説明する。

【００３３】なお、ソフトを用いて実施するには上記で
説明した様に、図４のプログラムROM に図２の点線部分
の手順を実行するプログラムを格納し、ブログラムに従
ってCPU を制御すればよい。

【００３４】図２において、赤外線用テレビカメラ15で
取得された画像はアナログ/ ディジタル(A/D) 変換器で
ディジタル化されて前処理フィルタS 21に送られる。前
処理フィルタS 21は入力したディジタル画像にフィルタ
をかけて、ディジタル画像中の輝度レベルの高い( 明る
い) 微小目標を抽出して抽出フィルタに送出する。

【００３５】抽出フィルタS 22は、前処理フィルタをか
けられて得られたディジタル画像の中から目標抽出しき
い値以上のレベルを持つ微小目標を抽出し、抽出した微
小目標の特徴量を算出する。

【００３６】ここで、目標抽出しきい値は入力したディ
ジタル画像中の背景と目標の輝度レベル差の比率（S/N
) で決定される。また、この値はディジタル画像によ
って変わり、従来よりも低く設定されているので、目標
輝度レベルから最大ノイズレベルを引いた値、つまり目
標と思われるものは必ず抽出できる値( 例えば、３）に
する。

【００３７】例えば、抽出した目標の輝度レベルが15〜
20の時、ノイズが０〜１であれば、しきい値を３程度に
する。これにより、この抽出フィルタで輝度が３以上の
目標が全て抽出できる。

【００３８】更に、抽出した微小目標の特徴量( 目標レ
ベル、目標サイズ、目標位置) を算出する。そして、目
標データ記憶部251 には今回のスキャン時に算出した微
小目標の特徴量を格納し、目標データ記憶部252 には前
回のスキャン時に算出した微小目標の特徴量を格納して
おく。

【００３９】さて、類別目標判定処理部S 23は、目標デ
ータ記憶部251 に格納された今回のスキャン時の微小目
標に対して、操作部34より加えられた目標類別開始しき
い値よりも高い輝度レベルを持つ微小目標を、スキャン
間追尾を開始する類別目標と判定し、対応する特徴量を
目標同定部S 24に送出する。

【００４０】なお、類別開始しきい値は抽出フィルタS
22で抽出された目標と思われるものの中から、微小目標
ではないもの( 例えば、上記の様な船等の大きな目標)
を除去できる値（例えば、７）にする。

【００４１】目標同定部S 24は、目標データ記憶部252
から読み出した前回のスキャン時の特徴量と類別目標判
定処理部S 23から送出された特徴量との比較による同定
処理を行い、同一目標か否かを判定する。

【００４２】これにより、急なレベル変動で、次回のス
キャンにおいて輝度レベルが目標類別開始しきい値を下
回っても、抽出フィルタS 22で抽出されていれば、同一
類別目標とみなし、目標同定部S 24でスキャン間追尾で
きる様にした( 図３を用いて後述する）。この場合は今
回と次回のスキャン時の特徴量の差が許容範囲内にある
ことが必要である。

【００４３】そして、目標同定部S 24は、今回の特徴量
を前回の特徴量として目標データ記憶部252 に格納する
と共に、同定結果を目標類別部32を介して表示器33に送
出する。

【００４４】さて、図３では従来例のスキャン間追尾を
行なった場合と本発明のスキャン間追尾を行なった場合
を比較している。ここで、目標類別開始しきい値（従来
の目標抽出しきい値）が７、目標抽出しきい値が３と
し、二重しきい値設定抽出法は本発明の抽出法の名称で
ある。また、横軸はスキャン番号で１〜13までを示して
ある。 (1) 従来例の場合 類別目標判定処理部における目標しきい値が目標抽出し
きい値と同じ値である為、７スキャンで始めて目標抽出
しきい値をこえた輝度レベルを持つ微小目標が抽出され
たので、この微小目標に目標番号１が付与される。

【００４５】しかし、９スキャンではレベルが目標抽出
しきい値を下回る為に抽出されず、10スキャンで再び抽
出された時は、新たな微小目標と判定されて目標番号２
が付与される。目標番号が新たに付与された為、目標番
号１とは同一目標と判別されず、８スキャンでスキャン
間追尾が途切れることになる。 (2) 本発明の場合 本発明は、抽出フィルタS 22において、従来例の場合よ
りも低いしきい値３で目標抽出を行なう。４スキャンで
しきい値を越えるが、この時はしきい値７をこえていな
いので目標候補と云うことで番号は付与されない。

【００４６】７スキャンで類別目標判定処理部S 23にお
ける目標類別開始しきい値７をこえたので目標番号が付
与され、ここからスキャン間追尾が開始する。しかし、
９スキャンではしきい値７より低下するが、８スキャン
と９スキャンの特徴量を比較すると、差分が予め設定し
た範囲内であることから、２つの微小目標は同一と見な
され番号は変わらない。10スキャンではしきい値７を越
えるが、９スキャンと10スキャンの特徴量を比較すると
差分が予め設定した範囲内であることから２つの微小目
標は同一と判定されるこれにより、４スキャン以降は微
小目標が連続して抽出されるので、継続したスキャン間
追尾が可能である。

【００４７】つまり、２つのしきい値を設定することに
より 輝度レベルの変動が大きい目標の抽出もれを減少さ
せることができる。 継続的なスキャン間追尾を行なうことができる。

【００４８】 類別処理を行なう目標数の増加を防ぐ
ことができる。 処理時間が減少する。

【００４９】

【発明の効果】以上詳細に説明した様に本発明によれ
ば、輝度レベルの変動が大きい目標の抽出もれを減少さ
せ、継続的なスキャン間追尾が可能になると云う効果が
ある。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の実施例の要部説明図である。

【図３】図２の動作説明図である。

【図４】ディジタル画像生成説明図である。

【図５】目標類別処理手段の要部構成図である。

【図６】従来例の目標類別方法説明図である。

【図７】フィルタ概略説明図で、(a) は前処理フィルタ
の一例、(b) は抽出フィルタの一例である。

【図８】輝度レベル変動原因説明図（２素子の場合）で
ある。

【符号の説明】

S 21 前処理フィルタ S 22 抽出フ
ィルタ S 23 類別目標判定処理 S 24 目標同
定部 21 CPU 22 プログ
ラムRAM 23, 24 インタフェース 25 RAM

───────────────────────────────────────────────────── フロントページの続き (72)発明者 西内 秀和 神奈川県川崎市中原区上小田中1333番地 株式会社富士通システム統合研究所内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ＣＰＵとメモリを有し、入力したディジ
   タル画像から抽出した目標のうち、設定条件を満たす目
   標に対してスキャン間追尾を行なう画像処理システムに
   おける目標類別方法において、 上記のディジタル画像から取り出した輝度レベルの高い
   目標のうち、第１のしきい値以上の輝度レベルを持つ目
   標を抽出し、抽出した目標の輝度レベルを含む特徴量を
   算出して記憶し、記憶した今回抽出時の輝度レベルのう
   ち、第２のしきい値（第２のしきい値＞第１のしきい
   値）以上の輝度レベルを持つ、目標をスキャン間追尾す
   る類別目標と判定するが、次回抽出時の輝度レベルが該
   第２のしきい値よりも低下した時、抽出されていれば同
   一の類別目標とみなし、前回と今回の特徴量を比較し、
   特徴量の差分が設定範囲内であれば２つの類別目標は同
   一目標と同定して追尾可能にしたことを特徴とする目標
   類別方法。