JP2552010B2 - 入力信号のマスク可能なバイレベル相関を行う方法及びその装置 - Google Patents

入力信号のマスク可能なバイレベル相関を行う方法及びその装置

Info

Publication number
JP2552010B2
JP2552010B2 JP1507445A JP50744589A JP2552010B2 JP 2552010 B2 JP2552010 B2 JP 2552010B2 JP 1507445 A JP1507445 A JP 1507445A JP 50744589 A JP50744589 A JP 50744589A JP 2552010 B2 JP2552010 B2 JP 2552010B2
Authority
JP
Japan
Prior art keywords
bit
image
mask
polarity
gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP1507445A
Other languages
English (en)
Other versions
JPH03501901A (ja
Inventor
ロ，トーマス・ケイ
サツクス，ジヤツク・エム
シモニ，ウエイン・ピー
リー，レオナード・エー
ヌグエン，ハリソン
カーリン，リンネ・エム
クエン，アンデイ・エル
ホソカワ，カズオ・アール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Hughes Aircraft Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hughes Aircraft Co filed Critical Hughes Aircraft Co
Publication of JPH03501901A publication Critical patent/JPH03501901A/ja
Application granted granted Critical
Publication of JP2552010B2 publication Critical patent/JP2552010B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Complex Calculations (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】 発明の背景 1.技術分野 この発明はイメージ処理技術に関し、特に範囲相関器
を使用するマッチングパターン用の技術に関する。
2.検討 範囲相関は、多くのイメージ処理に於ける重要な信号
処理機能である。応用は、トラッカ、パターン認識、背
景安定、及びセンサ照準線（LOS）整列を含んでいる。
伝統的な範囲相関は、グレーレベル積相関またはバイレ
ベル相関の何れかを使用して満たしてきている。これら
２つの技術は、性能／複雑さのトレードオフで正反対の
ものを表している。
前記積相関器はライブイメージの相応する画素でレフ
ァレンスイメージの各画素を掛けて、前記積の和を蓄積
することによるマッチング機能を実行する。センサイメ
ージ比（代表的に60Hz）に遅れないため、ハードウエア
の並列処理は通常必要とされる。高価なコスト、高い電
力消費及び扱いにくいハードウエアに於けるこの結果
は、利用可能な量が少ない応用のため不適切なものとな
る。加えて、大きな数の乗算は、また相関器のサーチ範
囲を限定する傾向がある。これは、センサ間のLOSオフ
セットが大きいと、相関器がマッチングを検出すること
ができないことを意味する。この限定は、ボアサイト整
列応用のために不適切なものを作成する。
前記バイレベル相関器は、前記レファレンスイメージ
とライブイメージとの間の空間的なグラジエントの極性
を比較することによるマッチング機能を実行する。グラ
ジエントオペレータはそのグレーレベルイメージに供給
され、各画素はその空間的グラジエントの極性により元
に戻される。マッチ機能は、極性が一致する２つのイメ
ージに於ける画素対の数を蓄積することによって計算さ
れる。このプロセスは、ロジカル「排他的ノア」動作で
積相関器の「乗算」を効果的に実行し、スループットの
相応する改善でハードウエアの平易化が結果ととして生
じる。故に、バイレベル相関器は、利用できる量が小さ
い応用のために適切な、相対的に安価なコスト及びコン
パクトなハードウエアで満たすことができる。スループ
ットが増大するとサーチ領域も広がるので、相関器がセ
ンサを配置することに適用できる。
バイレベル相関器の問題は、前記レファレンスイメー
ジの全ての画素が等しく取扱われることである。前記背
景内容が相対的に一様であるそれらの画素に於いて、グ
ラジエントの振幅は小さいものであり、そしてグラジエ
ントの極性はノイズによってしばしば左右される。統計
学的に、ノイズのある画素の相関は、等しい確率で相関
関数に加えるか、または減ずることができる。故に、ノ
イズのある画素の包含は、その変化は増加するが相関関
数の平均ピークに加えない。これは、前記相関器の出力
で信号雑音比を有効に低減する。レファレンスイメージ
の大半がかなり一様で平坦な背景に於いて、前記ノイズ
のある画素が多数の信号占有した画素の数に勝ることが
できる。この環境に於いて、前記バイレベル相関器は十
分に実行されていない。
発明の摘要 この発明は、バイレベル相関器の有利な特徴を保持す
る一方、ノイズのある画素の問題を軽減するマスク可能
なバイレベル相関器を開示している。この相関器概念の
副産物は、レファレンス範囲のための高密度の信号占有
画素の範囲を選択する自動相関可能な範囲選択技術であ
る。この特徴は、穏やかな背景の相関器性能を大いに高
めている。したがって、前記マスク可能なバイレベル相
関器は、アルゴリズム適合のための背景の「クラッタネ
ス」の測定を提供する。
この発明に従って、生のイメージ及びレファレンスイ
メージの表している信号は各画素位置のための極性ビッ
ト及びマスクビットを提供するために差別化されて閾値
が設定される。前記マスクビットの値は、アナログ信号
の振幅が２つの前選択された閾値の間にあれば第１のデ
ジタル（オフ）状態となり、前記振幅が閾値より大きけ
れば第２のデジタル（オン）状態となるものである。前
記極性ビットの値は、前記信号の振幅が正か負かに依存
されるものである。結果的なイメージの前記極性ビット
及びマスクビットは、オフ状態を表している第１のデジ
タル状態のマスクビットを有するそれらの画素位置用に
無視される極性ビット値の相関関数を発生させるために
使用される。
図面の簡単な説明 この発明の種々の利益は、以下の明細書の検討及び図
面を参照することによって、当業者により明らかにされ
るであろう。
第１図は先行技術の一般的な相関関数の理解に於いて
有用な波形及びグラフ図、 第２図は生のイメージが相対的に穏やかなときの先行
技術の相関器に関連した問題を理解するのに有用な波形
及び関連した表示図、 第３図はこの発明によって提供された改善点を示す他
は第２図と同様のものであり、 第４図はこの発明の好ましい実施例の技術を実行する
ためのハードウエアの機能的ブロック図、 第５図は回旋プロセスに於いてフレームストアからの
相関ビデオの取得の理解に有効なものである。
好ましい実施例の説明 大抵全ての相関器は、レファレンスイメージはライブ
イメージと称される大きいイメージの補助イメージを形
成するという前提で作用する。それは前記レファレンス
イメージに極めて似ているライブイメージの部分に配置
するための相関器の関数である。相関器は、各オフセッ
トでの類似点の測定を計算すると共に、レファレンスイ
メージを異なったオフセットを伴うライブイメージの上
に連続的に乗せることによってこの機能を実行する。前
記類似点の測定は、相関関数と称される。相関関数の最
も総括的な位置は、レファレンスイメージとライブイメ
ージ間のオフセットの最も高い評価をもたらす。
前記バイレベル相関機能は、第１図に示されるよう
な、２つのイメージ間の極性が一致した画素の数を蓄積
することによって明らかにされる。各画素はマッチング
プロセスで使用されると共に等しい重み付けがなされる
ことに注意する。信号マグニチュードが前記ノイズより
小さいそれらの画素に於いて、前記画素に割当てられた
極性は前記ノイズの極性によって決定される。これらの
画素は、２つの閾値間の信号が正または負の極性となる
べく等しくなる。ノイズはイメージ毎に独立しているの
で、レファレンス画素が抑えられたノイズは、ライブイ
メージ内の対応する画素とマッチするかまたはミスマッ
チするおそれがある。統計学的に、これらの画素は、ピ
ークマグニチュードの変化または変動が増加するが相関
ピークのマグニチュードに寄与しない。レファレンス画
素の大部分は、第２図に示されるようにノイズが抑えら
れた平坦な背景に於いて、前記ピークマグニチュードの
変動が平均ピークと比べて大きいので、相関関数のピー
ク位置は、もはや２つのイメージ間の真のオフセットを
表示しない。
この発明のマスク可能なバイレベル相関器は、概念的
に非常に簡単な手法の穏やかな背景問題に打ち勝つ。そ
れは、画素を抑えたノイズは、その統計学的変動を増加
するが、相関ピークのマグニチュードを高める方に寄与
しないので、これらは相関器の相関能力を落とすと論じ
ている。それ故、これらは相関プロセスから除外されね
ばならない。前記相関プロセスのレファレンスイメージ
に於けるあらゆる画素を使用する代わりに、画素を抑え
たノイズを無視する。入力する背景の平均グラジエント
振幅についてｋσとされる一対の閾値を計算することに
よって、それは行われる。（ｋは１乃至２の範囲で通常
一定であり、σは前記イメージのノイズの標準偏差であ
る）。閾値対の間のマグニチュードを伴ったそれらのレ
ファレンスイメージ画素は低い信号雑音比を有し、マス
クオフされる。前記閾値対によって制限された領域の外
側のマグニチュードを伴ったレファレンスイメージ画素
は良好な信号雑音比を有し、マスクされないものであ
る。機能的に、マスクされない画素のみ相関プロセスに
て使用される。
マスキングのプロセスは第３図に示されるもので、こ
こで「０」はマスクオフされた画素を示している。前記
相関プロセスに於いて、マスクされた画素は無視され
る。マスクされた画素の無視は、マスクビット及び極性
ビットで各画素を示すことによって達成される。前記極
性ビットは、前記極性の極性を指定する。前記マスクビ
ットは、マスクされた画素を「０」の値で、マスクされ
ない画素を「１」の値で受ける。畳み込み演算プロセス
に於いて、前記極性ビットはバイレベル相関器により、
「排他的ノア」を使用して論理的に比較される。排他的
ノアの出力は、極性一致用の「１」及び不一致の「０」
である。「排他的ノア」の出力は、レファレンス画素用
のマスクビットでロジカルに「AND」される。マスクビ
ット「０」の画素のため、「AND」関数の出力は比較さ
れる画素対の極性一致に依存されない「０」に常にされ
る。前記マスクビットが「１」であるとき、前記出力は
極性が一致するとき「１」となる。第３図は、第２図と
して同じ波形を使用しているマスク可能なバイレベル相
関器で得られる相関関数を示している。第２図のバイレ
ベル相関ピークは、第３図のマスク可能なバイレベル相
関器が訂正した結果を生ずるのに対して誤ったオフセッ
トを示していることに注意する。マスキングの特徴によ
って、マスク可能なバイレベル相関器は、作用するため
にバイレベル相関器のための平坦なものとなる背景に対
して相関器の動作上の限定を追求することが可能であ
り。
マスク可能なバイレベル相関器の第２の利益は、イメ
ージの一部分をもぎ取るその能力であり、細部に貴重な
ものであり、この故に良好なレファレンスイメージであ
る。前記マスクビットは、その信号雑音比に従って各画
素を付加する（すなわち、マスクビット値「１」のそれ
らは良好な信号雑音比を有するのに対し、値「０」のそ
れらは低い信号雑音比を有する）。相関性能は、レファ
レンス範囲内で使用された画素を抑えた信号数で単調に
改善する。乗物誘導用に使用する最も実際的な相関器の
ため、前記レファレンスイメージは「ライブ」イメージ
から抽出されて、ブートストラップ法の次のイメージに
対して相関される。レファレンスセル範囲のサイズは、
抽出されるそれからのライブイメージの次元と比較して
小さいものである。代表的に、前記レファレンスイメー
ジはライブイメージのサイズの１％から２％とすること
ができる。故に、これらが前記レファレンスセルによっ
て走査されるライブイメージの期間の自由度となる。各
画素で、マスクされない画素の密度は計算されて、RAM
に記憶される。最も高いマスクされない画素密度のロケ
ーションは、良好なレファレンス範囲を表す。
マスク可能なバイレベル相関器の第３の用法は、マル
チモード信号プロセッサの使用のための背景「クラッタ
ネス」の決定である。多くの応用に於いて、信号処理ア
ルゴリズムは、背景内容を基礎として適応性のあるもの
である。前記イメージのマスクされない画素の数は、前
記背景の「クラッタネス」の測定を提供する。マスクさ
れない画素の高密度は、背景が大きな空間的グラジエン
トの高密度を有することを全体的に表している。この状
態は、前記背景が明暗度の大きな変化で空間的に同質で
ないものであり、それ故「クラッタされた」ものである
ことを意味する。それはまた、背景が大いに相関可能で
あることを示している。背景「クラッタネス」のこの知
識は、信号処理アルゴリズムの適応性のある選択のため
の入力として使用することができる。
この発明のマスク可能なバイレベル相関器方法は、多
くの手段のハードウエアで満たすことができる。ここで
説明した選択は、現在のシステム応用に於いて最大の適
応性を生ずるために選出されたものである。
このような相関器システム10の１つが、第４図に示さ
れる。それは、フレームストア及びデータスタッキング
ネットワーク12と、フレームストアアドレス発生器14
と、データセレクタ16と、畳み込み演算器及び加算器18
と、スクラッチパッドRAM20と、スクラッチパッドアド
レス発生器22と、アリスメティカルユニット24と、タイ
ミング制御回路26とから成っている。これらの補助シス
テムの機能は、以下に説明される。
前記相関器の中心となるのは比較関数（畳み込み演算
器）18である。この機能は、前記ライブ及びレファレン
スイメージの排他的ノアゲートの出力と、レファレンス
イメージのマスクビット出力とを『アンドゲート』に入
力するとして前述した。DeMorganの定理を使用すると、
前記排他的ノアゲートとアンドゲートの組み合わせに用
いられた何れの入力でも、同一の出力を生ずるために論
理素子を別の組合せに変更することができる。この論理
素子の変更は、今日利用可能な技術の長所となる。ゲー
ト17を経たライブ及びレファレンスイメージの『排他的
オアゲート』17を備えたブレッドボードシステム用の選
択されたメカニズムは、インバータ21を介して反転され
たレファレンスのマスクビットと共に、ノアゲート19に
出力される。この排他的オアゲート17、ノアゲート19及
びインバータ21で構成される回路の出力は、先に説明し
た方法と同じ結果を得るもので、前記ライブ及びレファ
レンスがマスクされないレファレンスと極性が一致する
と『１』、そうでなければ『０』となる。
簡単なハードウエアであるが、ビット毎に比較する
と、大きなサーチ範囲で大きなレファレンスを相関付け
るのに時間の制約を受けて、畳み込み演算器の能力を限
定する。この場合、多数のレファレンスで60Hzで動作す
る。スループットを高めるため、前記レファレンスは８
つの水平画素及び８つの垂直ライン（範囲で64画素ロケ
ーションをカバーする）を含んでいるセル内に分割され
る。８掛ける８のフォーマットは、利用可能なRAMメモ
リデバイスの８ビット幅のデーダを使用するために選出
されたものである。前記ビット畳み込み演算器は、64の
ライブ画素、64のリファレンス画素及び64のマスクビッ
トに応じて拡張される。
前処理回路30からのビデオは、前述した差別化及び閾
値プロセスに従った各画素位置に割当てられていた極性
ビット及びマスクビットから成っている。簡単に、前処
理回路30はデジタルグレーレベルイメージ中にセンサか
ら粗のアナログ信号をデジタル化するために周知のアナ
ログ−デジタル（A/D）コンバータのような適切な手段
を含んでいる。グラジエントプロセッサは、各画素値が
隣接した画素値間の空間的グラジエントまたは差の関数
であるグラジエントイメージを発生するためにこのデジ
タルグレーレベルイメージ上を動作する。この発明は、
各画素位置用の極性及びマスクビットを発生するために
このようなグラセジエントイメージ上を好ましく動作す
る。与えられた画素位置でのグラジエント信号値がそれ
ぞれ正または負の閾値ｋσの上または下であれば、前記
マスクビットはデジタル１値を割当てる。さもなけれ
ば、マスクビットは画素位置用にデジタルゼロ値が与え
られる。極性ビットは、与えられた画素位置での前記グ
ラジエント信号の振幅の極性の関数である。前記振幅が
正であれば極性ビットは１のデジタル値が割当てられる
のに対し、グラジエント信号値が負となれば０のデジタ
ル値が割当てられる。この実施例に於いて、前記レファ
レンスイメージは、スクラッチパッドRAM20の結果的な
データを、この差別化及び閾値プロセスを受けると共に
記憶することによって引き出されるもので、その後に同
様に発生したイメージデータから成るライブイメージ
と、後に比較することができる。
同様に前処理された（マスクに極性を加えた）「ライ
ブ」信号は、シフトレジスタ34を介してフレームストア
RAM32に記憶される。フレームストアは、多重セルがタ
イムシーケンスされた手法に於いて１つの畳み込み演算
器でイメージを隅々まで畳み込み演算することができる
ので、前記イメージを捕らえるために使用される。フレ
ームストアのないビデオのリアルタイム畳み込み演算
は、前記レファレンス内の各セルのための１つの畳み込
み演算器を一般に要求するか、または部分的に重ならな
いレファレンスサーチロケーションの単一の畳み込み演
算器を要求する。二つのフレームストアは、リアルタイ
ム動作を生ずるためにピンポン様式で使用される。フレ
ームストアメモリの１つのセットは、第２のセットが前
記相関器10によって使用される間、プリプロセッサ30に
よってロードされる。フレームストア32に対する入力の
シフトレジスタ34は、畳み込み演算によって並列にアク
セスするための８ビットワード中にデータをスタックす
るために使用される。
前記相関器10は、フレームストアアドレス発生器14に
よって出力するアドレスでフレームストアRAM32からの
データを抽出し、セレクタ16を介してデータをパスす
る。アドレス発生器14は、前記レファレンスの走査の水
平及び垂直方向を表している（それぞれカウンタ36及び
38を経て）Ｘ及びＹアドレスから成る。Ｘ軸のアドレス
は『ビットロケーション』であり、低い３つのアドレス
ラインは畳み込み演算に入力データを整列するためにデ
ータセレクタにより使用される。前記Ｙアドレスはビデ
オラインロケーションである。２つの連続的な８ビット
データワードは、特有のビットロケーションにそれらに
整列するために混合されたときアクセスされる。第５図
は機能上プロセスを示す。
前記データセレクタ16は、２つのレジスタ33及び35と
マックスセレクタ回路39で構成される。第５図に示され
るように、セレクタ16は畳み込み演算器に出力される８
ビットバイトの１つを得るためにフレームストアに２つ
のアクセスを要求する。前記フレームストアに対する第
１のアクセスで、前記８ビットデータはレジスタ33にセ
ーブされる。第２のアクセスからのデータはレジスタ35
にセーブされる。前記２つのレジスタはセレクタマック
ス39が特有のビットロケーションにそれらを整列する
間、安定したデータを保持する。この時間中、次のアク
セスはフレームストアに対して初期化される。
マックス41は、ピンポンフレームストアRAM32を制御
するために使用される。これらはフレームストアから成
る２つのメモリの各々のためのマルチプレクサの１つの
セットである。前記マルチプレクサは前記フレームスト
アメモリの各々に入力されるアドレス及び制御ラインを
選択する。ビデオの何れかの単一フィールド間で、マッ
クス41はフレームストアアドレス発生器14を互いに入力
する前記ビデオアドレス及びフレームストアメモリの１
つに選択する。これは、フレームストアメモリの要求さ
れたピンポン動作を生ずる各フィールドを交互にするも
のである。
フレームストアRAM32から選択された８ビットのデー
タは、前記畳み込み演算器のライブストレージレジスタ
に入力される。これは、８つの８ビットシフトレジスタ
として単調化される（その１つが40として分類して示さ
れる）。これらのレジスタは、セルの８×８フォーマッ
ト中に入力データをスタックするために使用され、畳み
込み演算器に64画素で現れる。この選択はまた、４つの
16ビットワードとしてのスクラッチパッドRAM46から各
々ロードされた64ビットレファレンスレジスタ42及び64
ビットマスクレジスタ44を含んでいる。これら３つの64
ビットレジスタは、畳み込み演算器ビット比較に対する
入力である。前記64ビット比較は、前述したように、畳
み込み演算器ゲート17及び19によって達成される。加算
ネットワーク23は、前記ビット比較からのマッチ数（１
の）を加えるための畳み込み演算器に従い、閾値ライブ
及びレファレンスイメージ間の相関関数の出力を提供す
る。特に、加算器23は、ライブイメージがレファレンス
イメージに相関されるときピークになる（第１図を見
よ）。
アリスメティックユニット24を供給する畳み込み演算
器加算ネットワークは、マルチプレクサ43と、レジスタ
45と、アリスメティックロジックユニット47を含んでい
る。アリスメティックユニットは、相関面を蓄積するた
めに使用されるもので、マスクされない画素面を蓄積
し、空間的相関面を加算または減算する。
前記スクラッチパッド20は、相関ハードウエアによっ
て要求されたデータ及び全ての変化のためのストレージ
ロケーションである。これらのデータは以下のように定
義される。
1. レファレンスストレージ…多重８×８レファレンス
セルが連続的なメモリロケーション中にパックされる。
2. マスクストレージ…レファレンスの各々に相応する
多重８×８マスクセルがこれらの関連したレファレンス
として同じフォーマットに記憶される。
3. 面ストア…畳み込み演算の和の２次元アレイがセル
または多重セルの相関面を表している。
4. 相関可能な領域…２次元アレイが各々可能なレファ
レケンスロケーションでマスクされない画素の和を表し
ている。
5. インストラクションストア…インストラクションリ
スト及びコンスタントが、相関器、セルの数、セル配
置、サーチ範囲及びデータストレージ範囲にポイントす
るアドレスの動作のシーケンスを明らかにする。
前記スクラッチパッドアドレス発生器22は、RAMメモ
リ49と、マルチプレクサ51と、アドレスレジスタ53と、
インクリメンタ55で構成される。アドレス発生器は、相
関器に於ける場所を現在得る全てのプロセスのための現
在のアドレスを維持するために確実なものである。RAM4
9は、スクラッパッドメモリロケーションに対するアド
レスポインタを含む16×16ワードストレージデバイスで
ある。RAM49のデータは以下のようになる。
０…プログラムカウンタ １…畳み込み演算イネーブルテーブルアドレス ２…ピークテーブルアドレス ３…サーチサイズテーブルアドレス ４…セルロケーションテーブルアドレス ５…セルマスクアドレス ６…セルレファレンスアドレス ７…蓄積されたマスク加算テーブルアドレス ８…面テーブルアドレス ９…リフレッシュイネーブルテーブルアドレス 10…リフレッシュテーブルアドレス 11…一時アドレス 12…一時アドレス 13…一時アドレス 14…一時アドレス 15…一時アドレス RAM49の第１のロケーショは、相関器によって実行す
るべく次のインストラクションに対するアドレスとな
る。ロケーション１乃至10は、相関インストラクション
の間、使用した要求された情報に対するアドレスを含
む。これらのアドレスは、正確なデータのための次のア
ドレスロケーションに対して常にポイントするようにイ
ンクリメンタ55によってインクリメントされる。ロケー
ション11〜15は、相関面データを加算、減算、移動、ま
たはクリアするためのデータマニピュレーションインス
トラクションによる一時アドレスロケーションとして使
用される。Mux51は、RAM49に入力されるべくデータを選
択する。新しい相関用のRAMを最新化するとき、Mux51は
パラメータアドレスのローカル最新化のためのインクリ
メンタからのデータを選択する。アドレスレジスタ53
は、RAM49がインクリメンタ55から新たにインクリメン
トされた値で最新化される間、スクラッチパッドRAM20
に安定したアドレスを維持している。
自動相関可能な範囲選択は面を蓄積することによって
達成されるもので、フィールドの領域ロケーションまた
は何れかのセルでの多くのマスクされない画素で構成さ
れる。前記相関器で満たされたピーク方向インストラク
ションは、何れか位置的に明確にされた領域（例えば視
野の象限）内の最高のピーク『ｎ』を見出すために使用
される。ピーク検出器からの座標は、最も相関可能な領
域を表示している。
第４図を参照すると、この関数はライブ背景のマスク
ビットの相関を実行することによって機械化される。RA
M32は（セルレファレンスマスクを最新化するために要
求されたような同じ手法の）マスクビットを出力するた
めに選択される。前記データセレクタ16は、前述したよ
うにデータを整列し、相関器及び加算器10にそれを出力
する。レジスタ40は、64ビット相関用の８×８セル配置
の中にマスクビットをスタックする。マスク蓄積のた
め、前記レファレンスレジスタ42は、ゼロ（マスクされ
ない画素の状態である『０』）に対して比較されるべく
マスクビットを与えるゼロにクリアされるもので、マス
クレジスタ44は畳み込み演算に於いてマスクされた画素
のないことを表すゼロにクリアされる。ゲート19の出力
はあらゆるマスクされない画素用の『１』となり、加算
器23の出力は８×８画素領域またはセル内の多くのマス
クされない画素となる。８×８領域が全体のビデオフィ
ールドに渡って一掃されると、アリスメティックユニッ
ト24は視野内の相関性を表示するマスクされない画素値
の２次元面を築くものである。
この発明はその特定の例に関連して述べてきたが、当
業者は図面、明細書及び以下の請求の範囲を考慮するの
に可能な利益を有するので、この発明の精神から逸脱す
ることなく作成することのできる他の変形を識別するこ
とができるということが理解されるべきである。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 サツクス，ジヤツク・エム アメリカ合衆国 カリフォルニア州 91362 サウザンド・オークス，テンプ ル・ストリート 815 (72)発明者 シモニ，ウエイン・ピー アメリカ合衆国 カリフォルニア州 91304 カノガ・パーク，インゴナー・ ストリート 23926 (72)発明者 リー，レオナード・エー アメリカ合衆国 カリフォルニア州 91306 カノガ・パーク，オソ・アベニ ユー 8100 (72)発明者 ヌグエン，ハリソン アメリカ合衆国 カリフォルニア州 91762 オンタリオ，ウエスト・エール 1064 (72)発明者 カーリン，リンネ・エム アメリカ合衆国 カリフォルニア州 91326 ノースリツジ，ベツクフオー ド・アベニユー 11101 (72)発明者 クエン，アンデイ・エル アメリカ合衆国 カリフォルニア州 91307 カノガ・パーク，サリスベリ ー・ロード 7156 (72)発明者 ホソカワ，カズオ・アール アメリカ合衆国 カリフォルニア州 91307 カノガ・パーク，パツト・アベ ニユー 6438

Claims (16)

    (57)【特許請求の範囲】
  1. 【請求項１】ライブイメージ及びレファレンスイメージ
    に関連して２つの入力信号を相関する方法に於いて、 ａ） 各画素位置用の極性ビット及びマスクビットを提
    供するために少なくとも前記レファレンスイメージを処
    理するもので、前記マスクビットの値は、前記信号の振
    幅が２つの前選択された閾値の間にあると第１のデジタ
    ル状態とし、前記振幅が前記閾値の外側であれば第２の
    デジタル状態とし、前記極性ビットの値は、前記画素位
    置で前記振幅が正であれば第１のデジタル状態とし、前
    記振幅が負であれば第２のデジタル状態とする工程と、 ｂ） 相関出力を発生するために前記ライブイメージに
    より処理されたレファレンス信号を相関する工程と を具備する方法。
  2. 【請求項２】前記相関する工程は前記第２のデジタル状
    態を定義するマスクビットの密度を測定する工程と、 前記ライブイメージと相関するためにこのようなマスク
    ビットの最も高い密度で前記レファレンスイメージ内の
    それらの領域を使用する工程とを含む請求の範囲１に記
    載の方法。
  3. 【請求項３】ライブイメージを表している信号は、前記
    処理されたレファレンス及びライブ信号の極性ビットを
    論理的にゲートする工程と、前記第１のデジタル状態の
    マスクビットと関連することによってマスクされる他は
    相関関数を発生させるためにその出力を使用する工程と
    を含む前記相関する工程により同様に処理される請求の
    範囲１に記載の方法。
  4. 【請求項４】前記極性ビットは排他的オアゲートでゲー
    トされる請求の範囲３に記載の方法。
  5. 【請求項５】前記排他的オアゲートの出力はノアゲート
    の入力に結合され、前記ノアゲートのもう１つの入力は
    前記レファレンス信号の前記マスクビットの受取りのた
    めに結合される請求の範囲４に記載の方法。
  6. 【請求項６】前記ノアゲートの出力は前記ノアゲートか
    らの多くの論理１を加算する加算器に結合され、前記加
    算器の出力は前記ライブイメージが前記レファレンスイ
    メージと相関されるときピークになる出力を提供する請
    求の範囲５に記載の方法。
  7. 【請求項７】ライブイメージ及びレファレンスイメージ
    と関連して２つのグラジエントイメージ信号を相関する
    方法であって、 前記レファレンスイメージ内の各画素位置用の極性ビッ
    ト及びマスクビットを提供するために前記レファレンス
    グラジエントイメージを処理するもので、前記マスクビ
    ットの値は、前記信号の振幅が２つの前選択された閾値
    の間にあると第１のデジタル状態とし、前記振幅が前記
    閾値の外側であれば第２のデジタル状態とし、前記極性
    ビットの値は、前記画素位置で前記振幅が正であれば第
    １のデジタル状態とし、前記振幅が負であれば第２のデ
    ジタル状態とする工程と、 前記ライブイメージ内の各画素位置用の極性ビット及び
    マスクビットを提供するために前記ライブグラジエント
    イメージを処理するもので、前記マスクビットの値は、
    前記信号の振幅が２つの前選択された閾値の間にあると
    第１のデジタル状態１とし、前記振幅が前記閾値の外側
    であれば第２のデジタル状態とし、前記極性ビットの値
    は、前記画素位置で前記振幅が正であれば第１のデジタ
    ル状態とし、前記振幅が負であれば第２のデジタル状態
    とする工程と、 相関関数を発生させるために前記処理されたレファレン
    ス及びライブイメージの極性ビット及びマスクビットを
    相関する工程と を具備する方法。
  8. 【請求項８】前記ライブグラジエントイメージを処理す
    る工程は、前記レファレンスイメージ内の関連したマス
    クビットが前記第１のデジタル状態にされる結果を無視
    するが、前記処理されたレファレンス及びライブイメー
    ジの極性ビットを論理的にゲートする工程を含む請求の
    範囲７に記載の方法。
  9. 【請求項９】前記極性ビットは排他的オアゲートである
    請求の範囲８に記載の方法。
  10. 【請求項１０】前記排他的オアゲートの出力はノアゲー
    トの入力に結合され、前記ノアゲートのもう１つの入力
    は前記処理されたレファレンスイメージの前記マスクビ
    ットの受取りのために結合される請求の範囲９に記載の
    方法。
  11. 【請求項１１】前記ノアゲートの出力は前記ノアゲート
    からの多くの論理１を加算する加算器に結合され、前記
    加算器の出力は前記ライブイメージが前記レファレンス
    イメージと相関されるときピークになる出力を提供する
    請求の範囲10に記載の方法。
  12. 【請求項１２】センサからのイメージデータが、その空
    間的グラジエントを表している値を有するグラジエント
    ビットで各画素を提供するためにグラジエントプロセッ
    サによってデジタル化されて作用され、レファレンスイ
    メージ及びライブイメージの極性ビット間のマッチ数が
    相関出力合計を提供するために蓄積されるバイレベル相
    関器に於いて、 選択された極性ビットが前記相関出力の和に含まれるこ
    とを防止するマスク手段と を具備するバイレベル相関器。
  13. 【請求項１３】前記マスク手段は前記グラジエントビッ
    ト値が低ければ論理値０の、そうでなければ論理値１の
    マスクビットで各画素位置を提供するために前記レファ
    レンスイメージ内のグラジエントビットの閾値を設定す
    る手段から成る請求の範囲12に記載のバイレベル相関
    器。
  14. 【請求項１４】前記グラジエントビットが正のとき論理
    値１及び前記グラジエントビットが負のとき論理値０の
    極性ビットで各画素位置を付加的に提供する手段を更に
    備える請求の範囲13に記載のバイレベル相関器。
  15. 【請求項１５】前記レファレンスイメージの極性ビット
    を記憶する極性ビット記憶手段と、 前記レファレンスイメージのマスクビット用のマスクビ
    ット記憶手段と を更に備える請求の範囲14に記載のバイレベル相関器。
  16. 【請求項１６】前記レファレンス極性ビット記憶手段に
    接続された１つの入力、及び前記ライブイメージの極性
    ビットの受取りのために接続されたもう１つの入力を有
    する排他的オアゲートと、 前記排他的オアゲートの出力に結合された入力、及び前
    記レファレンスマスクビット記憶手段にインバータを介
    して結合された入力とを有するロジカルノアゲートと、 前記ライブ及びレファレンスイメージ間でマッチするマ
    スクされない極性ビットの数を表す論理値１を蓄積する
    前記ノアゲートの出力に結合された加算手段とを更に備
    える請求の範囲14に記載のバイレベル相関器。
JP1507445A 1988-08-08 1989-07-03 入力信号のマスク可能なバイレベル相関を行う方法及びその装置 Expired - Lifetime JP2552010B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US229,407 1988-08-08
US07/229,407 US5020113A (en) 1988-08-08 1988-08-08 Maskable bilevel correlators
US229407 1999-01-13

Publications (2)

Publication Number Publication Date
JPH03501901A JPH03501901A (ja) 1991-04-25
JP2552010B2 true JP2552010B2 (ja) 1996-11-06

Family

ID=22861118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1507445A Expired - Lifetime JP2552010B2 (ja) 1988-08-08 1989-07-03 入力信号のマスク可能なバイレベル相関を行う方法及びその装置

Country Status (12)

Country Link
US (1) US5020113A (ja)
EP (1) EP0386181B1 (ja)
JP (1) JP2552010B2 (ja)
KR (1) KR930002338B1 (ja)
AU (1) AU616986B2 (ja)
CA (1) CA1316264C (ja)
DE (1) DE68918263T2 (ja)
ES (1) ES2016050A6 (ja)
IL (1) IL90984A (ja)
NO (1) NO177472C (ja)
TR (1) TR24992A (ja)
WO (1) WO1990001744A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958378A (en) * 1989-04-26 1990-09-18 Sun Microsystems, Inc. Method and apparatus for detecting changes in raster data
US5239496A (en) * 1989-12-27 1993-08-24 Nynex Science & Technology, Inc. Digital parallel correlator
DE4009610A1 (de) * 1990-03-26 1991-10-02 Philips Patentverwaltung Schaltungsanordnung zur bestimmung der lage von extremalen werten einer aehnlichkeitsfunktion
US5261010A (en) * 1991-09-27 1993-11-09 Hughes Aircraft Comany Automatic mask threshold
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US7242988B1 (en) 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5317644A (en) * 1992-06-16 1994-05-31 Mcgill University Method for the enhancement of cell images
US5588067A (en) * 1993-02-19 1996-12-24 Peterson; Fred M. Motion detection and image acquisition apparatus and method of detecting the motion of and acquiring an image of an object
CA2135240A1 (en) * 1993-12-01 1995-06-02 James F. Frazier Automated license plate locator and reader
US5917960A (en) * 1996-01-31 1999-06-29 Canon Kabushiki Kaisha Image correlator, an image processing apparatus using the same, and a signal adder used in the image correlator
JP3434979B2 (ja) * 1996-07-23 2003-08-11 富士通株式会社 局所領域画像追跡装置
KR100255648B1 (ko) * 1997-10-10 2000-05-01 윤종용 그래디언트 패턴 정합에 의한 영상 움직임 검출장치 및 그 방법
US6088488A (en) * 1998-04-17 2000-07-11 General Electric Company Vascular imaging with adaptive averaging
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
WO2004049240A1 (en) * 2002-11-28 2004-06-10 Nokia Corporation Method and device for determining and outputting the similarity between two data strings
US7359565B2 (en) * 2004-05-03 2008-04-15 International Business Machines Corporation Method of filtering pixels in a video encoding process
US7783694B2 (en) * 2006-05-12 2010-08-24 International Business Machines Corporation Identification of relevant metrics
US10237559B2 (en) 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
US9813721B2 (en) 2014-11-20 2017-11-07 Getgo, Inc. Layer-based video encoding
EP3035204B1 (en) 2014-12-19 2018-08-15 Intel Corporation Storage device and method for performing convolution operations

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2541256A (en) * 1946-01-22 1951-02-13 Manning Maxwell & Moore Inc Pressure cooker gauge
FR949337A (fr) * 1946-08-28 1949-08-26 Nat Pressure Cooker Co Manomètre
US3597083A (en) * 1969-04-16 1971-08-03 Itek Corp Method and apparatus for detecting registration between multiple images
DE2510808C2 (de) * 1975-03-12 1982-09-09 Silit-Werke Gmbh & Co Kg, 7940 Riedlingen Dampfdruckkochtopf
US4244029A (en) * 1977-12-12 1981-01-06 Goodyear Aerospace Corporation Digital video correlator
FR2445714A1 (fr) * 1979-01-03 1980-08-01 Seb Sa Soupape de fonctionnement pour autocuiseur
EP0005918B1 (en) * 1979-05-09 1983-05-04 Hughes Aircraft Company Scene tracker system
DE3002204C2 (de) * 1980-01-22 1986-05-28 Württembergische Metallwarenfabrik, 7340 Geislingen Dampfdruckkochtopf
DE3108017C2 (de) * 1981-03-03 1988-07-07 Fissler Gmbh, 6580 Idar-Oberstein Druckanzeigeeinrichtung an einem Dampfdruckkochtopf
US4475238A (en) * 1982-04-05 1984-10-02 Everhart Glenn C Magnetoresistive image correlation device
DE3486194T2 (de) * 1983-06-03 1993-11-18 Fondazione Pro Juventute Don C Modular ausbaufähiges System zur Echtzeit-Verarbeitung einer TV-Anzeige, besonders brauchbar zur Koordinatenerfassung von Objekten von bekannter Form und Verfahren zur Benutzung dieses Systems bei Röntgenaufnahmen.
JPS60157375A (ja) * 1983-12-21 1985-08-17 Fuji Xerox Co Ltd 中間調表現方式
US4864629A (en) * 1985-12-31 1989-09-05 Schlumberger Technologies, Inc. Image correlation system
US4750144A (en) * 1985-12-31 1988-06-07 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Real time pipelined system for forming the sum of products in the processing of video data
JPS63228881A (ja) * 1987-03-17 1988-09-22 Minolta Camera Co Ltd 画像処理方式
US4959714A (en) * 1988-08-08 1990-09-25 Hughes Aircraft Company Segmentation method for terminal aimpoint determination on moving objects and apparatus therefor
KR930006386B1 (ko) * 1988-08-08 1993-07-14 휴우즈 에어크라프트 캄파니 이동 목표물을 분절하여 검출하는 방법 및 검출장치
CA1320586C (en) * 1988-12-20 1993-07-20 Chris Malachowsky Method and apparatus for sorting line segments for display and manipulation by a computer system

Also Published As

Publication number Publication date
IL90984A0 (en) 1990-02-09
JPH03501901A (ja) 1991-04-25
NO177472B (no) 1995-06-12
AU616986B2 (en) 1991-11-14
CA1316264C (en) 1993-04-13
EP0386181B1 (en) 1994-09-14
AU3851089A (en) 1990-03-05
KR900702466A (ko) 1990-12-07
WO1990001744A1 (en) 1990-02-22
IL90984A (en) 1993-01-31
EP0386181A1 (en) 1990-09-12
KR930002338B1 (en) 1993-03-29
NO901531L (no) 1990-04-04
DE68918263T2 (de) 1995-04-13
DE68918263D1 (de) 1994-10-20
TR24992A (tr) 1992-08-21
NO901531D0 (no) 1990-04-04
NO177472C (no) 1995-09-20
US5020113A (en) 1991-05-28
ES2016050A6 (es) 1990-10-01

Similar Documents

Publication Publication Date Title
JP2552010B2 (ja) 入力信号のマスク可能なバイレベル相関を行う方法及びその装置
US4754493A (en) Automatic recognition and guidance arrangements
US4623923A (en) Real-time video image enhancement system
JPH05165715A (ja) 情報処理装置
US6643412B1 (en) Method and apparatus for high speed convolution
US3982227A (en) Pattern recognition machine for analyzing line orientation
US4298858A (en) Method and apparatus for augmenting binary patterns
EP0725356B1 (en) Semiconductor device, semiconductor circuit using the device, and correlation calculation device, signal converter, and signal processing system using the circuit
CN115131209A (zh) 一种基于dsp的实时视频拼接方法
Graf et al. Reconfigurable neural net chip with 32K connections
Ben-Tzvi et al. Analogue implementation of the Hough transform
Fish et al. An adaptive center of mass detection system employing a 2-D dynamic element matching algorithm for object tracking
JP3036497B2 (ja) 画像データの拡大率・縮小率検出装置、及び検出方法
Shapiro et al. Real-time Hough/Radon transform: algorithm and architectures
EP0704711B1 (en) Digital image processing apparatus
Raj et al. Simplified SIFT histogram of oriented gradients bin locator on FPGA
Fan et al. Fpga implementation of real-time star centroid extraction algorithm
Długosz et al. A Method Supporting Hardware Implementation of Vector Quantization Module in HoG Algorithm
WO2001061467A1 (en) Performing calculation in digital signal processing equipment
Lane et al. A stereo vision processor
Prasad et al. High performance algorithms for object recognition problem by multiresolution template matching
SU1495820A1 (ru) Устройство дл обработки многотоновых изображений
Méribout et al. A Real Time Low Level Image Processing: Edge Detection and Edge Tracking Accelerator
SU1388915A1 (ru) Устройство дл обработки изображений
Cheng et al. Parallel VLSI-oriented algorithm and architecture for computing histogram of images

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090822

Year of fee payment: 13

EXPY Cancellation because of completion of term