JPH0611562A - Ｍｔｉプロセッサ用振幅比弁別システム - Google Patents
Ｍｔｉプロセッサ用振幅比弁別システムInfo
- Publication number
- JPH0611562A JPH0611562A JP5048337A JP4833793A JPH0611562A JP H0611562 A JPH0611562 A JP H0611562A JP 5048337 A JP5048337 A JP 5048337A JP 4833793 A JP4833793 A JP 4833793A JP H0611562 A JPH0611562 A JP H0611562A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image data
- difference signal
- spatial filter
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
- G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 本発明は、ＭＴＩ処理法により情景中の目標
を検知するシステムの誤警報率を低下させ、検知確率を
高くすることを目的とする。 【構成】 入力信号Ｉo のイメージデータの第１のフレ
ームを記憶するメモリ12と、第１の空間フィルタ出力信
号ηs Ｉo を供給するイメージデータの第２のフレーム
を処理する第１の空間フィルタ手段16と、ηD をイメー
ジデータの第１、第２のフレームの目標一致の尺度とし
て、イメージデータの第２のフレームから第１のフレー
ムを減算して差信号ηD Ｉo を出力する減算器14と、空
間的にフィルタ処理された差信号ηs ηD Ｉo を出力す
る第２の空間フィルタ手段18と、目標一致の前記尺度η
D を得るために形式ηs ηD Ｉo の空間的にフィルタ処
理された差信号を処理する手段30とを備えていることを
特徴とする。
を検知するシステムの誤警報率を低下させ、検知確率を
高くすることを目的とする。 【構成】 入力信号Ｉo のイメージデータの第１のフレ
ームを記憶するメモリ12と、第１の空間フィルタ出力信
号ηs Ｉo を供給するイメージデータの第２のフレーム
を処理する第１の空間フィルタ手段16と、ηD をイメー
ジデータの第１、第２のフレームの目標一致の尺度とし
て、イメージデータの第２のフレームから第１のフレー
ムを減算して差信号ηD Ｉo を出力する減算器14と、空
間的にフィルタ処理された差信号ηs ηD Ｉo を出力す
る第２の空間フィルタ手段18と、目標一致の前記尺度η
D を得るために形式ηs ηD Ｉo の空間的にフィルタ処
理された差信号を処理する手段30とを備えていることを
特徴とする。
Description
【０００１】
【産業上の利用分野】本発明は、目標検知および獲得方
法および装置に関し、特に極めてクラッタを含む背景環
境における小さい目標の検知および獲得に関する。
法および装置に関し、特に極めてクラッタを含む背景環
境における小さい目標の検知および獲得に関する。
【０００２】
【従来の技術】従来クラッタを含む背景における小さい
目標の検知および獲得は幾つかの問題があった。このた
めに、クラッタを含む背景は一般に同等の寸法および強
度を有するイメージにおいて多くの目標が存在するもの
として見なされている。幾つかの技術は従来において知
られているが、それらはいずれもクラッタを含む背景イ
メージの明るいクラッタを抑制するのに十分に有効でな
い。
目標の検知および獲得は幾つかの問題があった。このた
めに、クラッタを含む背景は一般に同等の寸法および強
度を有するイメージにおいて多くの目標が存在するもの
として見なされている。幾つかの技術は従来において知
られているが、それらはいずれもクラッタを含む背景イ
メージの明るいクラッタを抑制するのに十分に有効でな
い。
【０００３】例えば、空間フィルタ処理は次元基準また
は寸法に基づいた目標弁別を含む静的技術である。しか
しながら、背景が物体の大きさに近似した大きさの多く
の目標を含むとき、空間フィルタ処理は現在の多くの応
用には適応できない。
は寸法に基づいた目標弁別を含む静的技術である。しか
しながら、背景が物体の大きさに近似した大きさの多く
の目標を含むとき、空間フィルタ処理は現在の多くの応
用には適応できない。
【０００４】したがって、幾つかの技術は目標獲得およ
び検知が背景に関する目標の運動に基づいて行われる方
向に発展した。そのような１つの技術は1990年６月26日
のロー氏他の米国特許4,937,878 号明細書に開示されて
いる。この開示された技術は、まず現在のイメージフレ
ームと前の時間に得られたイメージフレームの差を発生
し、次に現在のイメージフレームと別の前のイメージフ
レーム（第１のイメージフレームより一層以前の）の差
を発生することによって物体のイメージが発生されるイ
メージ処理獲得システムについて開示されている。この
減算過程は３つのイメージフレームの背景情景が本質的
に同じであるので背景クラッタをある程度除去する。２
つのイメージフレームの差は関係する目標の現在の位置
のみが検知されるように論理的にアンド処理される。
び検知が背景に関する目標の運動に基づいて行われる方
向に発展した。そのような１つの技術は1990年６月26日
のロー氏他の米国特許4,937,878 号明細書に開示されて
いる。この開示された技術は、まず現在のイメージフレ
ームと前の時間に得られたイメージフレームの差を発生
し、次に現在のイメージフレームと別の前のイメージフ
レーム（第１のイメージフレームより一層以前の）の差
を発生することによって物体のイメージが発生されるイ
メージ処理獲得システムについて開示されている。この
減算過程は３つのイメージフレームの背景情景が本質的
に同じであるので背景クラッタをある程度除去する。２
つのイメージフレームの差は関係する目標の現在の位置
のみが検知されるように論理的にアンド処理される。
【０００５】クラッタを含む背景内の運動目標を検知す
る第２の運動ベースの方法が1991年３月４日のSacks 氏
他の米国特許出願07/229,196号明細書に開示されてい
る。この明細書において、３つの連続するイメージの関
係する目標を含むイメージフレームは共に相関される。
相関されたイメージフレームの各画素位置に対する中間
値が選択され、各中間画素値は差イメージを形成するた
めにイメージフレームの１つの画素値から減算される。
しきい強度値は各画素位置に対して決定される。しきい
値は関係する物体に関連する。
る第２の運動ベースの方法が1991年３月４日のSacks 氏
他の米国特許出願07/229,196号明細書に開示されてい
る。この明細書において、３つの連続するイメージの関
係する目標を含むイメージフレームは共に相関される。
相関されたイメージフレームの各画素位置に対する中間
値が選択され、各中間画素値は差イメージを形成するた
めにイメージフレームの１つの画素値から減算される。
しきい強度値は各画素位置に対して決定される。しきい
値は関係する物体に関連する。
【０００６】
【発明が解決しようとする課題】これらの２つのシステ
ムは有効であるが、さらに技術の改良が必要である。19
90年11月20日のBanh氏の米国特許出願07/616,267号明細
書ではビデオデータの２つの一致したフレームの単一の
減算を用いて情景内の運動目標を検知する技術が開示さ
れている。２つの一致したフレームの単一の減算によっ
て関係する目標を背景クラッタから分離する能力は情景
減算、最小差プロセッサ（ＭＤＰ）フィルタによるフィ
ルタ処理、およびフィルタ処理された差イメージとフィ
ルタ処理された生のイメージとの乗算の組合わせによっ
て実現される。
ムは有効であるが、さらに技術の改良が必要である。19
90年11月20日のBanh氏の米国特許出願07/616,267号明細
書ではビデオデータの２つの一致したフレームの単一の
減算を用いて情景内の運動目標を検知する技術が開示さ
れている。２つの一致したフレームの単一の減算によっ
て関係する目標を背景クラッタから分離する能力は情景
減算、最小差プロセッサ（ＭＤＰ）フィルタによるフィ
ルタ処理、およびフィルタ処理された差イメージとフィ
ルタ処理された生のイメージとの乗算の組合わせによっ
て実現される。
【０００７】背景クラッタ漏洩を消去するのに幾分の効
果があるが、例えばイメージセンサの不正確な一致およ
びデッドセルによりさらに改良が必要である。一致問題
に関して、クラッタ消去による関連したシステムの特性
はイメージ一致の正確さに結び付けられることが発見さ
れた。極端な一致の正確さを達成するのは困難である。
それ故に、従来からこの制限が除かれないままである。
果があるが、例えばイメージセンサの不正確な一致およ
びデッドセルによりさらに改良が必要である。一致問題
に関して、クラッタ消去による関連したシステムの特性
はイメージ一致の正確さに結び付けられることが発見さ
れた。極端な一致の正確さを達成するのは困難である。
それ故に、従来からこの制限が除かれないままである。
【０００８】デッドセルは平均と異なって動作するイメ
ージセンサの素子である。すなわち、カメラが移動する
とき、目標物体平面のセルの軌跡は２つのイメージフレ
ームの背景データの減算を阻止する。それ故、デッドセ
ルおよび他のカメラアーチファクト（例えば利得不平
衡）は背景クラッタ漏洩に悪影響を与える。
ージセンサの素子である。すなわち、カメラが移動する
とき、目標物体平面のセルの軌跡は２つのイメージフレ
ームの背景データの減算を阻止する。それ故、デッドセ
ルおよび他のカメラアーチファクト（例えば利得不平
衡）は背景クラッタ漏洩に悪影響を与える。
【０００９】したがって、低い誤警報率および高い検知
確率を与える通常のフレーム減算ＭＴＩ処理法をさらに
改良する技術が必要である。
確率を与える通常のフレーム減算ＭＴＩ処理法をさらに
改良する技術が必要である。
【００１０】
【課題を解決するための手段】技術の必要性は情景中の
目標物体を検知するシステムを提供する本発明によって
解決される。本発明は複数の入力信号Ｉo によって示さ
れたイメージデータの第１のフレームを記憶するメモリ
を含む。空間フィルタが設けられて複数の入力信号Ｉo
によって示されたイメージデータの第２のフレームを空
間的にフィルタ処理し、形式ηs Ｉo の第１の空間フィ
ルタ出力信号を供給する。第２のフレームは形式ηD Ｉ
o の差信号を供給するためにイメージデータの第１のフ
レームから減算され、ここでηD はイメージデータの２
つのフレームにおける目標物体の一致の尺度を示す。第
２の空間フィルタは差信号を空間的にフィルタ処理する
ために設けられており、形式ηs ηD Ｉo の空間的にフ
ィルタ処理された差信号を供給する。最後に、信号は目
標物体の一致品質ηD の測定値を得るために処理され
る。
目標物体を検知するシステムを提供する本発明によって
解決される。本発明は複数の入力信号Ｉo によって示さ
れたイメージデータの第１のフレームを記憶するメモリ
を含む。空間フィルタが設けられて複数の入力信号Ｉo
によって示されたイメージデータの第２のフレームを空
間的にフィルタ処理し、形式ηs Ｉo の第１の空間フィ
ルタ出力信号を供給する。第２のフレームは形式ηD Ｉ
o の差信号を供給するためにイメージデータの第１のフ
レームから減算され、ここでηD はイメージデータの２
つのフレームにおける目標物体の一致の尺度を示す。第
２の空間フィルタは差信号を空間的にフィルタ処理する
ために設けられており、形式ηs ηD Ｉo の空間的にフ
ィルタ処理された差信号を供給する。最後に、信号は目
標物体の一致品質ηD の測定値を得るために処理され
る。
【００１１】本発明は抑制されるべきクラッタ素子の強
度から一致の正確さの必要性を減少させることによって
減算プロセスの一致の正確さの要求を和らげる。これは
システムを減算されるべきイメージ間の利得不平衡に耐
えるようにし、捜索者が獲得プロセス中に情景を近似的
に追跡しているとき、補償されていないデッドセルまた
は大きい偏差固定パターン雑音の誤警報を抑制するよう
に制限された能力を与える。
度から一致の正確さの必要性を減少させることによって
減算プロセスの一致の正確さの要求を和らげる。これは
システムを減算されるべきイメージ間の利得不平衡に耐
えるようにし、捜索者が獲得プロセス中に情景を近似的
に追跡しているとき、補償されていないデッドセルまた
は大きい偏差固定パターン雑音の誤警報を抑制するよう
に制限された能力を与える。
【００１２】
【実施例】本発明は、不一致から生じる点クラッタ、減
算されるイメージ間の利得不平衡、および補償されてい
ない可能性のあるデッドセルにおける残留誤警報を抑制
するためにBanh氏他の上記特許明細書07/616,267号に記
載された基本的な２フレーム運動目標指示器（ＭＴＩ）
技術を改善する。
算されるイメージ間の利得不平衡、および補償されてい
ない可能性のあるデッドセルにおける残留誤警報を抑制
するためにBanh氏他の上記特許明細書07/616,267号に記
載された基本的な２フレーム運動目標指示器（ＭＴＩ）
技術を改善する。
【００１３】本発明は抑制されるべきクラッタ素子の強
度から一致の正確さの必要性を減少させることによって
減算プロセスの一致の正確さの要求を和らげる。これは
システムを減算されるべきイメージ間の利得不平衡に耐
えるようにし、捜索者が獲得プロセス中に情景を近似的
に追跡しているとき、補償されていないデッドセルまた
は大きい偏差の固定パターン雑音による誤警報を抑制す
るように制限された能力を与える。
度から一致の正確さの必要性を減少させることによって
減算プロセスの一致の正確さの要求を和らげる。これは
システムを減算されるべきイメージ間の利得不平衡に耐
えるようにし、捜索者が獲得プロセス中に情景を近似的
に追跡しているとき、補償されていないデッドセルまた
は大きい偏差の固定パターン雑音による誤警報を抑制す
るように制限された能力を与える。
【００１４】Banh氏他の２フレーム減算ＭＴＩ方法は長
い目標物体、エッジ、および線形構造から生じる誤警報
の抑制に有効であることがわかった。しかしながら、こ
の方法は情景が目標物体のような高いコントラスト点を
含むとき誤警報を生じた。これらの誤警報は正確な情景
一致および減算からの良好なクラッタ消去でさえ生じ
た。これらの誤警報のソースはイメージ中の補償されて
いないデッドセル、合成のイメージ中にアーチファク
ト、および高いコントラストを有する点クラッタ目標を
含む。
い目標物体、エッジ、および線形構造から生じる誤警報
の抑制に有効であることがわかった。しかしながら、こ
の方法は情景が目標物体のような高いコントラスト点を
含むとき誤警報を生じた。これらの誤警報は正確な情景
一致および減算からの良好なクラッタ消去でさえ生じ
た。これらの誤警報のソースはイメージ中の補償されて
いないデッドセル、合成のイメージ中にアーチファク
ト、および高いコントラストを有する点クラッタ目標を
含む。
【００１５】高いコントラストの点クラッタに対する誤
警報はBanh氏他の２フレーム減算技術に特有のものであ
る。この技術は幾何平均動作を通して目標「イメージ」
または「ゴースト」を消去する演算法の部分に関連す
る。この誤警報の問題の原因を十分に認識するために、
２フレーム減算技術を簡潔に以下説明する。
警報はBanh氏他の２フレーム減算技術に特有のものであ
る。この技術は幾何平均動作を通して目標「イメージ」
または「ゴースト」を消去する演算法の部分に関連す
る。この誤警報の問題の原因を十分に認識するために、
２フレーム減算技術を簡潔に以下説明する。
【００１６】図１は通常の２フレーム減算システム10'
の高レベルブロック図である。システム10' はデジタル
化されたイメージデータの第１のフレームを記憶するメ
モリ12' を含む。記憶されたフレームは減算器14' によ
ってイメージデータの現在のデジタル化されたフレーム
から減算される。減算器14' は差信号を出力する。第１
および第２のフィルタ16',18' が含まれている。第１の
空間フィルタ16' は現在のフレームに基づいて動作す
る。空間フィルタ16' の出力はプロセッサ20' に入力さ
れ、第１の比較器22' によってしきい値検知される。第
１の比較器22' の出力もまた「穏やかな情景」の検知と
してプロセッサ20' に入力される。差信号は空間的にフ
ィルタ処理され、幾何平均回路24' に入力される。幾何
平均回路24' の出力はプロセッサ20' に入力され、第２
の比較器26' によってしきい値検知される。第２の比較
器26' の出力もまたＭＴＩの検知としてプロセッサ20'
に入力される。
の高レベルブロック図である。システム10' はデジタル
化されたイメージデータの第１のフレームを記憶するメ
モリ12' を含む。記憶されたフレームは減算器14' によ
ってイメージデータの現在のデジタル化されたフレーム
から減算される。減算器14' は差信号を出力する。第１
および第２のフィルタ16',18' が含まれている。第１の
空間フィルタ16' は現在のフレームに基づいて動作す
る。空間フィルタ16' の出力はプロセッサ20' に入力さ
れ、第１の比較器22' によってしきい値検知される。第
１の比較器22' の出力もまた「穏やかな情景」の検知と
してプロセッサ20' に入力される。差信号は空間的にフ
ィルタ処理され、幾何平均回路24' に入力される。幾何
平均回路24' の出力はプロセッサ20' に入力され、第２
の比較器26' によってしきい値検知される。第２の比較
器26' の出力もまたＭＴＩの検知としてプロセッサ20'
に入力される。
【００１７】動作において、１つ以上の分解能素子だけ
背景に関して移動される目標に対して時間的に十分に離
れた２つのイメージは背景が一致され減算される。理論
的に、一致された背景は差イメージ中において除去さ
れ、運動目標が残される。差イメージは現在のイメージ
と同じ座標系を有するように限定される。差イメージは
目標およびその「ゴースト」（ここでは目標は以前のイ
メージである）を含む。実際、減算されるべきイメージ
間の一致は完全ではなく、残留クラッタ漏洩は差イメー
ジ中に残される。不一致によって生じる大抵の漏洩は情
景中の目標のエッジである傾向がある。空間フィルタ1
8' はこの漏洩を抑制するために使用される。目標のゴ
ーストは目標の以前の位置に対応する差イメージ中の位
置で生じ、目標の反対の極性を有する。目標のゴースト
を消去するために、差イメージは幾何平均回路24' によ
って現在のイメージの空間的フィルタ処理形態によって
幾何学的に平均にされる。幾何平均動作の規則は次の通
りである：（１）乗算される対応する画素が反射符号の
とき幾何平均からの出力はゼロであり、（２）幾何平均
への入力が同じ符号を有するとき出力の大きさは入力の
積の平方根であり、出力の符号は入力の符号と同じであ
る。乗算されたイメージにおいて、目標は整列されてお
り、一方差イメージ中の目標のゴーストは空間的にフィ
ルタ処理されたイメージ中に対照物を有しない。理想的
な条件下において、幾何平均動作からの出力は比較的低
いレベルのクラッタ漏洩および雑音を有する目標であ
る。幾何平均の出力はそれからしきい値との比較によっ
てしきい値検知される。時間的持続処理は雑音を消去す
るためにしきい値検知された目標によって実行される。
背景に関して移動される目標に対して時間的に十分に離
れた２つのイメージは背景が一致され減算される。理論
的に、一致された背景は差イメージ中において除去さ
れ、運動目標が残される。差イメージは現在のイメージ
と同じ座標系を有するように限定される。差イメージは
目標およびその「ゴースト」（ここでは目標は以前のイ
メージである）を含む。実際、減算されるべきイメージ
間の一致は完全ではなく、残留クラッタ漏洩は差イメー
ジ中に残される。不一致によって生じる大抵の漏洩は情
景中の目標のエッジである傾向がある。空間フィルタ1
8' はこの漏洩を抑制するために使用される。目標のゴ
ーストは目標の以前の位置に対応する差イメージ中の位
置で生じ、目標の反対の極性を有する。目標のゴースト
を消去するために、差イメージは幾何平均回路24' によ
って現在のイメージの空間的フィルタ処理形態によって
幾何学的に平均にされる。幾何平均動作の規則は次の通
りである：（１）乗算される対応する画素が反射符号の
とき幾何平均からの出力はゼロであり、（２）幾何平均
への入力が同じ符号を有するとき出力の大きさは入力の
積の平方根であり、出力の符号は入力の符号と同じであ
る。乗算されたイメージにおいて、目標は整列されてお
り、一方差イメージ中の目標のゴーストは空間的にフィ
ルタ処理されたイメージ中に対照物を有しない。理想的
な条件下において、幾何平均動作からの出力は比較的低
いレベルのクラッタ漏洩および雑音を有する目標であ
る。幾何平均の出力はそれからしきい値との比較によっ
てしきい値検知される。時間的持続処理は雑音を消去す
るためにしきい値検知された目標によって実行される。
【００１８】分解されていないクラッタからの残留信号
が信号処理連鎖を横切るクラッタ信号の段階を示す図１
のシステムの簡単なブロック図である図２を参照して示
されている。図２は第１の空間フィルタ16' によって通
過される分解されていないクラッタの場合を検討する。
クラッタ目標は入力振幅Ｉo を有するパルスである。空
間フィルタ16' は乗算係数ηs によってクラッタ振幅を
減少する。したがって、空間フィルタ16' からの出力は
ηs Ｉo である。分解されていない目標は空間フィルタ
によって通過されるので、ηs は１に近似する。減算路
において、クラッタ振幅はフレームの一致および減算プ
ロセスの結果として量ηD だけ抑制される。したがっ
て、減算器14' からの出力はηD Ｉo である。差イメー
ジの空間フィルタ処理の後、クラッタ目標の振幅はηs
ηD Ｉo である。それから、幾何平均動作はηs Ｉo η
s ηD Ｉo ＝ηs Ｉo （ηD ）1/2 に等しい出力を有す
る。減算はηD の平方根だけクラッタの振幅を減少した
だけにすぎないことに注意すべきである。したがって、
ηD ＝０．１であるならば、減算は０．３１６だけクラ
ッタの振幅を抑制しただけにすぎない。典型的に、情景
の一致はクラッタ目標に対して０．２５以下の値を生成
する。運動目標は減算される２つのイメージに一致して
いない。したがって、ηD は運動目標に対して１．０に
近似している。ηD は運動目標に対してほぼ１であるの
で、大きい振幅値Ｉo を有する目標は不一致の量が実用
的でない０に近似しない（小さいηD に導かれる）かぎ
り検知される。振幅ＩT を有する目標からの振幅ＩC を
有するクラッタの弁別はクラッタの出力よりも実質上大
きい目標の出力を必要とする。ηD は運動目標に対して
１．０に近似しているので、ηs ＩT ＞＞ηs （ηD ）
1/2 ＩC 、或いはηD ＜＜（ＩT ／ＩC ）2 であるが必
要である。目標が振幅（ＩT ＜ＩC ）のクラッタより弱
いならば、ηD は非常に小さくなければならず、非常に
正確な情景一致を必要とする。
が信号処理連鎖を横切るクラッタ信号の段階を示す図１
のシステムの簡単なブロック図である図２を参照して示
されている。図２は第１の空間フィルタ16' によって通
過される分解されていないクラッタの場合を検討する。
クラッタ目標は入力振幅Ｉo を有するパルスである。空
間フィルタ16' は乗算係数ηs によってクラッタ振幅を
減少する。したがって、空間フィルタ16' からの出力は
ηs Ｉo である。分解されていない目標は空間フィルタ
によって通過されるので、ηs は１に近似する。減算路
において、クラッタ振幅はフレームの一致および減算プ
ロセスの結果として量ηD だけ抑制される。したがっ
て、減算器14' からの出力はηD Ｉo である。差イメー
ジの空間フィルタ処理の後、クラッタ目標の振幅はηs
ηD Ｉo である。それから、幾何平均動作はηs Ｉo η
s ηD Ｉo ＝ηs Ｉo （ηD ）1/2 に等しい出力を有す
る。減算はηD の平方根だけクラッタの振幅を減少した
だけにすぎないことに注意すべきである。したがって、
ηD ＝０．１であるならば、減算は０．３１６だけクラ
ッタの振幅を抑制しただけにすぎない。典型的に、情景
の一致はクラッタ目標に対して０．２５以下の値を生成
する。運動目標は減算される２つのイメージに一致して
いない。したがって、ηD は運動目標に対して１．０に
近似している。ηD は運動目標に対してほぼ１であるの
で、大きい振幅値Ｉo を有する目標は不一致の量が実用
的でない０に近似しない（小さいηD に導かれる）かぎ
り検知される。振幅ＩT を有する目標からの振幅ＩC を
有するクラッタの弁別はクラッタの出力よりも実質上大
きい目標の出力を必要とする。ηD は運動目標に対して
１．０に近似しているので、ηs ＩT ＞＞ηs （ηD ）
1/2 ＩC 、或いはηD ＜＜（ＩT ／ＩC ）2 であるが必
要である。目標が振幅（ＩT ＜ＩC ）のクラッタより弱
いならば、ηD は非常に小さくなければならず、非常に
正確な情景一致を必要とする。
【００１９】本発明はこの問題を解決する。本発明の原
理によると、幾何平均回路の出力と現在のイメージに対
する空間フィルタの出力との比率は目標の不一致の尺度
として検査される。この比率はηD の平方根の値を公称
的に持つ（以下「差比率」と呼ばれる）。この値は２つ
のイメージ中の目標の整列の程度を測定するので、振幅
を参照することなく公称的に一致されたクラッタ（ηD
は０．２５未満である）から運動目標（ηD は１．０に
近似する）を弁別するために使用されることができる。
理によると、幾何平均回路の出力と現在のイメージに対
する空間フィルタの出力との比率は目標の不一致の尺度
として検査される。この比率はηD の平方根の値を公称
的に持つ（以下「差比率」と呼ばれる）。この値は２つ
のイメージ中の目標の整列の程度を測定するので、振幅
を参照することなく公称的に一致されたクラッタ（ηD
は０．２５未満である）から運動目標（ηD は１．０に
近似する）を弁別するために使用されることができる。
【００２０】図３は２フレーム減算および振幅比弁別を
利用する本発明の運動目標検知システム10の１実施例の
ハードウェア構成のブロック図である。通常のシステム
10'と同様に本発明のシステム10は振幅Ｉo を有するデ
ジタル化されたイメージデータの第１のフレームを記憶
するメモリ12を含む。記憶されたフレームは減算器14に
よってイメージデータの現在のデジタル化されたフレー
ムから減算される。減算器14は差信号ＩD ＝ηD Ｉo を
出力する。第１および第２の空間フィルタ16,18 が備え
られている。第１の空間フィルタ16は現在のフレームに
基づいて動作し、第１の空間的にフィルタ処理された信
号ＩSP＝ηs Ｉo を出力する。第１の空間フィルタ16の
出力は幾何平均回路24および本発明の原理によって構成
されたユニークな新しい振幅比弁別回路30の乗算器32に
入力される。差信号は第２の空間フィルタ18によって空
間的にフィルタ処理され、幾何平均回路24に入力され
る。幾何平均回路24の出力ＩGM＝ηs （ηD ）1/2 Ｉo
は比較器26に入力される。第２の比較器26の出力はまた
本発明の振幅比弁別回路に入力される。振幅比弁別回路
30は目標の不一致ηD の測定値を得るために形式ηs Ｉ
o （ηD ）1/2 の空間的にフィルタ処理された差信号お
よび空間的フィルタ処理された信号ηs Ｉo を処理する
手段を備える。
利用する本発明の運動目標検知システム10の１実施例の
ハードウェア構成のブロック図である。通常のシステム
10'と同様に本発明のシステム10は振幅Ｉo を有するデ
ジタル化されたイメージデータの第１のフレームを記憶
するメモリ12を含む。記憶されたフレームは減算器14に
よってイメージデータの現在のデジタル化されたフレー
ムから減算される。減算器14は差信号ＩD ＝ηD Ｉo を
出力する。第１および第２の空間フィルタ16,18 が備え
られている。第１の空間フィルタ16は現在のフレームに
基づいて動作し、第１の空間的にフィルタ処理された信
号ＩSP＝ηs Ｉo を出力する。第１の空間フィルタ16の
出力は幾何平均回路24および本発明の原理によって構成
されたユニークな新しい振幅比弁別回路30の乗算器32に
入力される。差信号は第２の空間フィルタ18によって空
間的にフィルタ処理され、幾何平均回路24に入力され
る。幾何平均回路24の出力ＩGM＝ηs （ηD ）1/2 Ｉo
は比較器26に入力される。第２の比較器26の出力はまた
本発明の振幅比弁別回路に入力される。振幅比弁別回路
30は目標の不一致ηD の測定値を得るために形式ηs Ｉ
o （ηD ）1/2 の空間的にフィルタ処理された差信号お
よび空間的フィルタ処理された信号ηs Ｉo を処理する
手段を備える。
【００２１】図３の例示した好ましいハードウェア構成
において、振幅比弁別回路30は比較器22、乗算器32、お
よびアンドゲート34を含む。乗算器32はスケール係数ｋ
で第１の空間フィルタ16の出力を乗算する。スケール係
数ｋはプロセッサ20によって与えられ、好ましい実施例
ではほぼ０．７５である。この実施例において、第１の
比較器22は追跡特性の測定を行うために現在のイメージ
を表す空間的にフィルタ処理された信号ＩSP＝ηs Ｉo
と差信号ＩGMの幾何平均との比率を試験するように作用
する。第１の比較器22の出力はアンドゲート34によって
第２の比較器26の出力とアンドゲートでアンド処理され
る。第２の比較器26は幾何平均回路24の出力としきい値
Ｔを比較する。しきい値Ｔは雑音レベルの数倍に設定さ
れる。第２の比較器26は候補の目標に対する十分な差を
監視し、この場合小さい差は運動しない物体を表す。ア
ンドゲートの出力は追跡ファイル処理のためにプロセッ
サ20に入力される。当業者はここに記載されたような差
比率に基づいた目標の不一致特性の測定値を得る他の技
術を認識するであろう。
において、振幅比弁別回路30は比較器22、乗算器32、お
よびアンドゲート34を含む。乗算器32はスケール係数ｋ
で第１の空間フィルタ16の出力を乗算する。スケール係
数ｋはプロセッサ20によって与えられ、好ましい実施例
ではほぼ０．７５である。この実施例において、第１の
比較器22は追跡特性の測定を行うために現在のイメージ
を表す空間的にフィルタ処理された信号ＩSP＝ηs Ｉo
と差信号ＩGMの幾何平均との比率を試験するように作用
する。第１の比較器22の出力はアンドゲート34によって
第２の比較器26の出力とアンドゲートでアンド処理され
る。第２の比較器26は幾何平均回路24の出力としきい値
Ｔを比較する。しきい値Ｔは雑音レベルの数倍に設定さ
れる。第２の比較器26は候補の目標に対する十分な差を
監視し、この場合小さい差は運動しない物体を表す。ア
ンドゲートの出力は追跡ファイル処理のためにプロセッ
サ20に入力される。当業者はここに記載されたような差
比率に基づいた目標の不一致特性の測定値を得る他の技
術を認識するであろう。
【００２２】例えば、図４は２フレーム減算および振幅
比弁別を利用する本発明の運動目標検知システムの例示
したソフトウェア構成のフローチャートである。この構
成において、２つの追跡ファイルの一方は空間フィルタ
出力に対して維持され、他方はＭＴＩプロセッサ出力に
対して維持される。「穏やかな情景」追跡ファイルは空
間フィルタ追跡ファイルである。ＩGM＞Ｔを有する画素
はＭＴＩ追跡ファイル処理のためにプロセッサ20に送ら
れる。同様に、ＩSP＞Ｔを有する画素は穏やかな情景追
跡ファイル処理のためにプロセッサ20に送られる。標準
の２フレーム減算処理において、持続性ＭＴＩ追跡ファ
イルは候補の目標であることが明らかである。持続性非
目標ＭＴＩ追跡ファイルの弁別は持続性ＭＴＩ追跡ファ
イルの強度と空間的に一致する穏やかな情景追跡ファイ
ルとを比較することによって追跡ファイルレベルで実行
されることができる。持続性ＭＴＩ追跡ファイルの強度
が対応する穏やかな情景追跡ファイルの強度のｋ倍より
少ないならば（ここで、ｋは（ηD ）1/2 の尺度であ
り、理想的には約０．７である）、ＭＴＩ追跡ファイル
は非目標として見なされ消去される。比較は空間的に一
致する穏やかな情景追跡ファイルを有するＭＴＩ追跡フ
ァイルのみに対して行うことができる。すなわち、プロ
グラムは出力の大きさを比較し、所定の画素「ｉ」に対
して、ＭＴＩ出力ＩMTI の振幅と空間フィルタ出力Ｉ
BSC の振幅との比率はｋ以上であるならば、目標の指示
を与える。
比弁別を利用する本発明の運動目標検知システムの例示
したソフトウェア構成のフローチャートである。この構
成において、２つの追跡ファイルの一方は空間フィルタ
出力に対して維持され、他方はＭＴＩプロセッサ出力に
対して維持される。「穏やかな情景」追跡ファイルは空
間フィルタ追跡ファイルである。ＩGM＞Ｔを有する画素
はＭＴＩ追跡ファイル処理のためにプロセッサ20に送ら
れる。同様に、ＩSP＞Ｔを有する画素は穏やかな情景追
跡ファイル処理のためにプロセッサ20に送られる。標準
の２フレーム減算処理において、持続性ＭＴＩ追跡ファ
イルは候補の目標であることが明らかである。持続性非
目標ＭＴＩ追跡ファイルの弁別は持続性ＭＴＩ追跡ファ
イルの強度と空間的に一致する穏やかな情景追跡ファイ
ルとを比較することによって追跡ファイルレベルで実行
されることができる。持続性ＭＴＩ追跡ファイルの強度
が対応する穏やかな情景追跡ファイルの強度のｋ倍より
少ないならば（ここで、ｋは（ηD ）1/2 の尺度であ
り、理想的には約０．７である）、ＭＴＩ追跡ファイル
は非目標として見なされ消去される。比較は空間的に一
致する穏やかな情景追跡ファイルを有するＭＴＩ追跡フ
ァイルのみに対して行うことができる。すなわち、プロ
グラムは出力の大きさを比較し、所定の画素「ｉ」に対
して、ＭＴＩ出力ＩMTI の振幅と空間フィルタ出力Ｉ
BSC の振幅との比率はｋ以上であるならば、目標の指示
を与える。
【００２３】以上、特別の適用に対する特別の実施例を
参照してここに本発明を説明したが、当業者は本発明の
技術的範囲内の付加的な変更、適用、および実施例を認
識するであろう。
参照してここに本発明を説明したが、当業者は本発明の
技術的範囲内の付加的な変更、適用、および実施例を認
識するであろう。
【００２４】したがって、本発明の技術的範囲内のその
ような任意の全ての適用、変更、および実施例は添付特
許請求の範囲によってカバーされる。
ような任意の全ての適用、変更、および実施例は添付特
許請求の範囲によってカバーされる。
【図１】通常の２フレーム減算技術を利用する例示的な
運動目標検知システムのブロック図。
運動目標検知システムのブロック図。
【図２】信号処理連鎖を横切るクラッタ信号の段階を示
す図１のシステムの簡単なブロック図。
す図１のシステムの簡単なブロック図。
【図３】２フレーム減算および振幅比弁別を利用する本
発明の運動目標検知システムの１実施例のハードウェア
構成のブロック図。
発明の運動目標検知システムの１実施例のハードウェア
構成のブロック図。
【図４】２フレーム減算および振幅比弁別を利用する本
発明の運動目標検知システムの１実施例のソフトウェア
構成のフローチャート。
発明の運動目標検知システムの１実施例のソフトウェア
構成のフローチャート。
10…検知システム、12…メモリ、14…減算器、16,18 …
空間フィルタ、22,26…比較器、24…幾何平均回路、34
…アンドゲート。
空間フィルタ、22,26…比較器、24…幾何平均回路、34
…アンドゲート。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 デボラ・シー・ロテイ アメリカ合衆国、カリフォルニア州 91307、ウエスト・ヒルズ、バンオウエ ン・ストリート 23727
Claims (10)
- 【請求項１】 複数の入力信号Ｉo によって表されたイ
メージデータの第１のフレームを記憶する手段と、 形式ηs Ｉo の第１の空間フィルタ出力信号を供給する
ために複数の入力信号Ｉo によって表されたイメージデ
ータの第２のフレームを空間的にフィルタ処理する第１
の空間フィルタ手段と、 ηD がイメージデータの前記第１および第２のフレーム
の目標一致の尺度を示すものとして、形式ηD Ｉo の差
信号を供給するためにイメージデータの前記第２のフレ
ームからイメージデータの前記第１のフレームを減算す
る手段と、 形式ηs ηD Ｉo の空間的にフィルタ処理された差信号
を供給するために前記差信号を空間的にフィルタ処理す
る第２の空間フィルタ手段と、 目標一致の前記尺度ηD を得るために形式ηs ηD Ｉo
の前記空間的にフィルタ処理された差信号を処理する手
段とを備えていることを特徴とする情景中の目標を検知
するシステム。 - 【請求項２】 目標一致の前記尺度ηD を得るために形
式ηs ηD Ｉo の前記空間的にフィルタ処理された差信
号を処理する前記手段は、形式ηs Ｉo の第１の空間フ
ィルタ出力信号と形式ηD Ｉo の前記差信号を乗算し、
幾何平均出力信号ＩGMを得るために積の幾何平均を形成
する手段を備えている請求項１記載のシステム。 - 【請求項３】 前記幾何平均出力信号ＩGMの振幅と前記
第１の空間フィルタ手段の出力の振幅を比較する第１の
比較手段を備えている請求項２記載のシステム。 - 【請求項４】 複数の入力信号Ｉo によって表されたイ
メージデータの第１のフレームを記憶する手段と、 形式ηs Ｉo の第１の空間フィルタ出力信号を供給する
ために複数の入力信号Ｉo によって表されたイメージデ
ータの第２のフレームを空間的にフィルタ処理する第１
の空間フィルタ手段と、 ηD が目標一致の尺度を示すものとして、形式ηD Ｉo
の差信号を供給するためにイメージデータの前記第２の
フレームからイメージデータの前記第１のフレームを減
算する手段と、 形式ηs ηD Ｉo の空間的にフィルタ処理された差信号
を供給するために前記差信号を空間的にフィルタ処理す
る第２の空間フィルタ手段と、 目標一致の前記尺度ηD を得るために形式ηs ηD Ｉo
の前記空間的にフィルタ処理された差信号を処理する手
段とを備え、前記差信号を処理する手段は前記差信号の
振幅と前記第１の空間フィルタ手段の出力の振幅とを比
較する手段を含んでいることを特徴とするミサイル用追
跡システム。 - 【請求項５】 目標一致の前記尺度ηD を得るために形
式ηs ηD Ｉo の前記空間的にフィルタ処理された差信
号を処理する前記手段は、形式ηs Ｉo の第１の空間フ
ィルタ出力信号と形式ηD Ｉo の前記差信号を乗算し、
幾何平均出力信号ＩGMを供給するために積の幾何平均を
形成する手段を備えている請求項４記載のシステム。 - 【請求項６】 前記幾何平均出力信号ＩGMの振幅と前記
第１の空間フィルタ手段の出力の振幅を比較する第１の
比較手段を備えている請求項５記載のシステム。 - 【請求項７】 スケール係数ｋによって前記第１の空間
フィルタ手段の出力をスケールする手段を備えている請
求項６記載のシステム。 - 【請求項８】 前記幾何平均信号ＩGMとしきい値Ｔを比
較する第２の比較手段を備えている請求項７記載のシス
テム。 - 【請求項９】 前記第１の比較手段の出力および前記第
２の比較手段の出力を局部的にアンド処理する手段を備
えている請求項８記載のシステム。 - 【請求項１０】 複数の入力信号Ｉo によって表された
イメージデータの第１のフレームを記憶し、 形式ηs Ｉo の第１の空間フィルタ出力信号を供給する
ために複数の入力信号Ｉo によって表されたイメージデ
ータの第２のフレームを空間的にフィルタ処理し、 ηD が目標一致の尺度を示すものとして、形式ηD Ｉo
の差信号を供給するためにイメージデータの前記第２の
フレームからイメージデータの前記第１のフレームを減
算し、 形式ηs ηD Ｉo の空間的にフィルタ処理された差信号
を供給するために前記差信号を空間的にフィルタ処理
し、 形式ηs ηD Ｉo の前記空間的にフィルタ処理された差
信号を処理して目標一致の前記尺度ηD を得るステップ
を含んでいる情景中の目標を検知する方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/848,604 US5386480A (en) | 1992-03-09 | 1992-03-09 | Amplitude ratio discrimination for MTI processors |
| US848604 | 1992-03-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0611562A true JPH0611562A (ja) | 1994-01-21 |
| JP2618172B2 JP2618172B2 (ja) | 1997-06-11 |
Family
ID=25303766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5048337A Expired - Lifetime JP2618172B2 (ja) | 1992-03-09 | 1993-03-09 | Ｍｔｉプロセッサ用振幅比弁別システム |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US5386480A (ja) |
| EP (1) | EP0560540B1 (ja) |
| JP (1) | JP2618172B2 (ja) |
| CA (1) | CA2087468C (ja) |
| DE (1) | DE69325197T2 (ja) |
| ES (1) | ES2132184T3 (ja) |
| IL (1) | IL104790A (ja) |
| NO (1) | NO302542B1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5805742A (en) * | 1995-08-16 | 1998-09-08 | Trw Inc. | Object detection system with minimum-spanning gradient filter for scene clutter suppression |
| US7088860B2 (en) * | 2001-03-28 | 2006-08-08 | Canon Kabushiki Kaisha | Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus |
| US7046823B2 (en) * | 2002-08-01 | 2006-05-16 | Raytheon Company | Correlation tracker breaklock detection |
| TWI353778B (en) * | 2007-12-21 | 2011-12-01 | Ind Tech Res Inst | Moving object detection apparatus and method |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4590607A (en) * | 1982-09-17 | 1986-05-20 | Environmental Research Institute Of Michigan | Image correspondence techniques using serial neighborhood processing |
| US4989259A (en) * | 1984-09-04 | 1991-01-29 | Fondazione Projuventute Don Carlo Gnocchi | Optical correlator for incoherent light images |
| US4731859A (en) * | 1985-09-20 | 1988-03-15 | Environmental Research Institute Of Michigan | Multispectral/spatial pattern recognition system |
| GB2215938B (en) | 1988-02-15 | 1991-12-04 | British Aerospace | Background differencing operator for target motion detection |
| US5109435A (en) * | 1988-08-08 | 1992-04-28 | Hughes Aircraft Company | Segmentation method for use against moving objects |
| US4937878A (en) * | 1988-08-08 | 1990-06-26 | Hughes Aircraft Company | Signal processing for autonomous acquisition of objects in cluttered background |
| US5168530A (en) * | 1988-08-29 | 1992-12-01 | Raytheon Company | Confirmed boundary pattern matching |
| US5020111A (en) * | 1988-10-14 | 1991-05-28 | The United States Of America As Represented By The Secretary Of The Army | Spatial symmetry cueing image processing method and apparatus |
| JPH0650534B2 (ja) * | 1988-11-30 | 1994-06-29 | 株式会社東芝 | マーク検出方式 |
| FR2662282A1 (fr) * | 1990-05-18 | 1991-11-22 | Philips Electronique Lab | Dispositif de detection d'objets dans une sequence d'images. |
| US5150426A (en) * | 1990-11-20 | 1992-09-22 | Hughes Aircraft Company | Moving target detection method using two-frame subtraction and a two quadrant multiplier |
-
1992
- 1992-03-09 US US07/848,604 patent/US5386480A/en not_active Expired - Lifetime
-
1993
- 1993-01-18 CA CA002087468A patent/CA2087468C/en not_active Expired - Lifetime
- 1993-02-18 IL IL10479093A patent/IL104790A/en not_active IP Right Cessation
- 1993-03-05 DE DE69325197T patent/DE69325197T2/de not_active Expired - Lifetime
- 1993-03-05 ES ES93301673T patent/ES2132184T3/es not_active Expired - Lifetime
- 1993-03-05 EP EP93301673A patent/EP0560540B1/en not_active Expired - Lifetime
- 1993-03-08 NO NO930847A patent/NO302542B1/no not_active IP Right Cessation
- 1993-03-09 JP JP5048337A patent/JP2618172B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69325197D1 (de) | 1999-07-15 |
| US5386480A (en) | 1995-01-31 |
| ES2132184T3 (es) | 1999-08-16 |
| NO302542B1 (no) | 1998-03-16 |
| IL104790A (en) | 1996-12-05 |
| DE69325197T2 (de) | 1999-10-14 |
| NO930847D0 (no) | 1993-03-08 |
| EP0560540A2 (en) | 1993-09-15 |
| EP0560540B1 (en) | 1999-06-09 |
| EP0560540A3 (en) | 1995-01-11 |
| CA2087468C (en) | 1999-09-07 |
| JP2618172B2 (ja) | 1997-06-11 |
| CA2087468A1 (en) | 1993-09-10 |
| NO930847L (no) | 1993-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6061100A (en) | Noise reduction for video signals | |
| EP0380658B1 (en) | Signal processing for autonomous acquisition of objects in cluttered background | |
| Tom et al. | Morphology-based algorithm for point target detection in infrared backgrounds | |
| JPH07120425B2 (ja) | ２フレーム減算を使用した運動目標検出方法および装置 | |
| GB2242299A (en) | Knowledge and model based adaptive signal processor | |
| JPH0620243B2 (ja) | 画像処理システム | |
| US7388603B2 (en) | Method and imaging system with intelligent frame integration | |
| Yang et al. | Variance WIE based infrared images processing | |
| US5453800A (en) | Apparatus for judging a hand movement of an image | |
| US8558891B2 (en) | Method of detecting an object in a scene comprising artifacts | |
| JPH08201464A (ja) | テレビジョン映像信号のｓ／ｎ値検出方法 | |
| Hwang et al. | Difference-based image noise modeling using skellam distribution | |
| JPH0611562A (ja) | Ｍｔｉプロセッサ用振幅比弁別システム | |
| EP3667610A1 (en) | Spatially dynamic fusion of images of different qualities | |
| CN111259311A (zh) | 尖峰噪声处理方法 | |
| CN112305548B (zh) | 一种主动声呐回波图中运动小目标的实时检测方法 | |
| Medennikov | Algorithm for detecting and determining the coordinates of a point object | |
| US5384860A (en) | Real time connectivity algorithm system | |
| KR930006386B1 (ko) | 이동 목표물을 분절하여 검출하는 방법 및 검출장치 | |
| WO2001061993A1 (en) | Noise reduction for video signals | |
| CN111274904A (zh) | 针对尖峰噪声的信号处理系统 | |
| EP0648359B1 (en) | Correlation signal processing | |
| Montgomery et al. | Tactical mid-infrared background suppression in heavy clutter environments | |
| Sanders-Reed et al. | Multi-target tracking in clutter | |
| KR0129971B1 (ko) | 이동거리 측정 방법 및 그에 적합한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 15 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 16 |
|
| EXPY | Cancellation because of completion of term |