JPH02278387A - 動かない背景を有するデイジタル像列内の動く対象物の検出および追跡のための方法 - Google Patents

動かない背景を有するデイジタル像列内の動く対象物の検出および追跡のための方法

Info

Publication number
JPH02278387A
JPH02278387A JP2049105A JP4910590A JPH02278387A JP H02278387 A JPH02278387 A JP H02278387A JP 2049105 A JP2049105 A JP 2049105A JP 4910590 A JP4910590 A JP 4910590A JP H02278387 A JPH02278387 A JP H02278387A
Authority
JP
Japan
Prior art keywords
background
image
segments
images
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2049105A
Other languages
English (en)
Inventor
Klaus-Peter Karmann
クラウスペーター、カルマン
Brandt Achim Von
アヒム、フオン、ブラント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Corp
Original Assignee
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corp filed Critical Siemens Corp
Publication of JPH02278387A publication Critical patent/JPH02278387A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、動かない背景を有するディジタル像列内の
動く対象物の検出および追跡のための方法に関するもの
である。
（従来の技術） 機械的なＵＮ　（情景解析、自律的な自動車制御、監視
課題）の種々の応用の際に、ディジタル像の１つの時間
的列の評価により、動く対象物を発見し、その形状およ
び位置を決定し、またその運動を追跡することが重要で
ある。これは全り一般的に、１つの像の内部でセグメン
トが対象物にグループ化される像列の適当なセグメント
化により行われる０種々の像のなかの対象物は互いに識
別され、また相応のセグメントグループが軌道にまとめ
られる。こうして発生されたセグメント像の列および対
象物軌道はその後に人間または情景解析インテリジェン
トシステムによる以後の評価のために近接可能にされ得
る。
従って、対象物の認識および追跡のためには下記の問題
を解決する必要がある： １、動かない背景から動く像範囲を分離、２６各動く対
象物にセグメントのｌっのグループが対応付けられ得る
ように、対象物を互いに分離、すなわち動く像範囲のセ
グメント化、３、対象物軌道への列の像の間のセグメン
トグループの正しい対応付け（対応問題）。
対象物運動とならんで照明変化および種々のノイズ源も
明るさの時間的変化に寄与する。対象物追跡のために技
術的に使用可能なシステムは対象物運動を他の動的プロ
セスから区別することができなければならない。従って
、運動推定が対象物追跡における中心的な役割をする。
検出された対象物の運動パラメータの知識も、対象物マ
スクセグメントを対象物に正確にまとめるため、また対
応問題を解決するための１つの重要な前提である。
これまでに知られている追跡のための方法はより一般的
に、動く対象物に関係なく下記の２つの部類に別けられ
得る。
ａ　　　　に　　する　の　　による この部類に属する方法（ビー、スボエル（Ｐ、Ｓｐ。
ｅｒ）、゛テンボラルーフレームーディフェレンスアキ
ュミュレーションによる運動対象物検出”ディジタル信
号処理８４、ブイ、カベリュ（Ｖ、Ｃａｐｐｅｌｌｉｎ
ｉ）およびエイ、ジー、コンスタンテイニデス（Ａ、Ｇ
、Ｃｏｎ５ｔａｎｔｉｎｉｄｅｓ）　（Ｉ集）、フロー
レンス１９８４、第９００〜９０７頁およびジエイ、ウ
ィルクルンド（ＪｙＷｉｌｋｌｕｎｄ）、ジー、エイチ
、グランルンド（Ｇ、Ｈ，Ｇｒａｎｌｕｎｄ）、１対象
物追跡のための像シーケンス解析°゛、像解析に関する
第５回スカンジナビア会議論文集、ストックホルム、１
９８７年６月、第６４１〜６４８頁）は列の時間的に相
続く像からの差像の評価に基づいている。これらの差像
はしきい評価を受け、それによりしきい値判定に相応す
る２値像が発生される。これは−般にまだ１、適当なフ
ィルタ操作（メディアンフィルタ、低域通過フィルタ、
１つのしきいよりも大きさが小さいすべてのセグメント
の消去）により消去され得る残留ノイズ（ノイズ画素）
を含んでいる。
この処置の目的は、背景から動く像範囲を分離すること
、またそのセグメントが対象物の形状および位置を識別
可能にする対象物マスクを得ることである。その際に２
つの問題が一般に困難を生じる。
１、理想的な条件（完全にノイズがないこと、対象物が
背景から明白にきわだつコントラストの十分な通過する
テクスチエアを有すること）のもとでさえ、こうして発
生された対象物マスクのセグメントは対象物の数および
その形状と筒車な且つ一義的な仕方で再構成可能な関係
にない、それどころか、こうして得られる２値像は対象
物位置を２つの異なる時点で表す２つの２値像の合一集
合に相応する。
２、対象物の内部のわずかな明るさ勾配を有する領域が
対象物マスクの相応するセグメントのなかの穴あけに通
ずる。１つのセグメントが複数の部分に崩壊し得る。
ｂ　　　ベクトル　のセグメント １つの動く対象物は、その内部で運動ベクトル場が連続
的であり、またその縁で運動ベクトル場が一般に不連続
個所を有する１つの像セグメントに相応する。このアイ
デアは、列の像から出発して種々の方法（エイ、ブイ、
プラント（Ａ、ｖ、ＢｒａｎｄＬ）、ダブり二一、テン
グラ−（Ｗ、Ｔｅｎ（Ｉｅｒ）　、”変形されたブロッ
クマツチングによる平滑化された光学的フローフィール
ドの取得”、像解析に関する第５回スカンジナビア会議
論文集、ストックホルム、１９８７年６月２〜５日、第
２巻、第５３２〜５２９頁およびビー、ケイ、ビー、ホ
ーン（Ｂ、に、Ｐ、１（ｏｒｎ）　、ビー、ジー、シュ
ンク（Ｂ、Ｇ、５ｃｈｕｎｃｋ）、゛光学的フローの決
定′°、人口知能、第１７巻、第１８５〜２０３頁、１
９８１年）を用いて運動ベクトル場を推定し、またこれ
を続いて適当な連続性規範によりセグメント化するいく
つかの方法の基礎になっている（エイチ、キルヒナ−（
Ｈ，Ｋｉｒｃｈｎｅｒ）、”′運動ベクトル場に基づく
対象物セグメント化″、情報第５講座、エアランゲンニ
ュールンヘルク大学、西独、１９８７年およびダブリュ
ー、テングラ−（Ｗ、Ｔｅｎｇｌｅｒ）　、エイチ。
キルヒナ−（Ｈ，Ｘ１ｒｃｈｎｅｒ）、エイ、ブイ、プ
ラント（Ａ、ｖ、Ｂｒａｎｄｔ）、′光学的フローフィ
ールドからの対象物セグメント化”、多次元信号処理（
ＭＤＳＰ）に関する第５回Ｉ　ＥＥＥワークショップに
おけるポスター展示、Ｎｏｏｒｄｗｉ３ｋｅｒｈｏｕｔ
　、オランダ、１９８７年９月１４〜１６日）。
このような処置は変化検出と結び付けられた問題を迂回
するのに基本的に適している。しかし、この処置の１つ
の主な困難は、所望の連続性特性を有する運動ベクトル
場を推定するために対象物境界の知識が固有に既に仮定
されなければならないことにある。しかしこれらはコン
セプトによれば初めて続いて運動ベクトル場のセグメン
ト化により得られなければならない。
情景が純粋な並進運動とならんで本質的に回転運動を有
する対象物をも含んでいると、運動推定のための通常の
方法は使用不可能な結果を生ずる。
従って、運動ベクトル場のセグメント化は回転する対象
物を有する像列の解析のためにはあまり適していない。
〔発明が解決しようとする課題〕
本発明の課題は、冒頭に記載した種類の方法であって、
１つの像列の像のコントラスト不足にもかかわらず、改
善されたノイズ抑制と、動く対象物と動く対象物に起因
しない像内の変化、特に照度変化による変化との間の改
善された弁別とを可能にする方法を提供することである
。
〔課題を解決するための手段］ この課題を解決するため、本発明の方法においては、−
列の２値対象物マスクが計算され、それらのセグメント
が動く対象物の形状および位置を表し、その際にこれら
のセグメントのマツチングにより動く対象物の運動ベク
トルが求められ、−列の背景像が入力像列の空間的に選
択的かつ時間的に再帰的な平均化により計算され、その
なかに動く対象物は含まれておらず、しかし動く対象物
に起因しない背景の他の変化は含まれており、−列の２
値対象物マスクが１つのしきいを用いて入力像列および
背景像列からの差像列の２値化により計算され、それら
の値が背景像列の計算の際に空間的選択性の制’＜’Ｂ
のために使用され、またそれらのセグメントがそれらの
大きさおよび重心位置と一緒に決定され、また 検出された対象物の運動ベクトルが、ずらされたマスク
セグメントの交わり集合にわたり平均化された二乗され
たグレイ値差の最小化により決定され、その際に対応す
るセグメントの重心ベクトルの差が最小化の際に開始ベ
クトルとして利用されるものである。
本発明の有利な構成は請求項２以下にあげられている。
〔実施例〕 以下、図面により本発明の詳細な説明する。
本発明による方法は像列Ｔｋから背景像Ｂ、（動的背景
メモリ）の１つの列を計算する。この背景メモリのなか
に、速く変化するすべての動的プロセスが抑制されてい
る。しかし緩やかに進行するプロセスおよび元の列のす
べての静的像内容は背景列のなかで不変に可視である。
追跡すべき対象物がその運動により照明変化またはたと
えば天候の影響による表面反射性の変化と比較して速く
変化する明るさ変化を発生するという仮定のちとに、動
く対象物は動かない対象物および他の緩やかな明るさ変
化から、元の像列からの背景列の差し引きにより分離さ
れ得る。
相応の差像列（Ｄｗ　）−（ｔ、−Ｂｗ）への適当なし
きいの応用により（第２図参照）、最初はまだノイズ画
素を含んでいるが相応のフィルタの応用により通常の仕
方で消去され得る対象物マスク（Ｍ、）の１つの２値列
が発生される。この対象物マスクは、元の列の時間的に
隣接する像の差像から得られる゛°フレームーディフエ
レンス“マスクとは下記の特性により異なっている。
１、理想的な条件（完全にノイズがないこと、対象物と
背景との間のコントラストが十分であること）のもとで
は、対象物マスク（Ｍ、）のセグメントは動く対象物の
実際の位置および形状に相応する。セグメントの形状は
特に、゛フレームーディフェレンス”マスクの場合がそ
うであるように、対象物の速度に関係しない。
２、他の（速いプロセスにより生ずる）明るさ変化にく
らべて背景に対する明るさの相違が大きいならば、完全
な均等な対象物でさえ位置および形状を正しく認識され
る。
それによって“フレームーディフ二しンス”マスクの決
定的な欠点が回避される。同時に、背景メモリにより発
生される対象物マスクは理想的な仕方で、追跡すべき対
象物の運動パラメータの推定のために適している。その
セグメントが動く対象物の位置および形状を良好な近似
で表すので、それらは運動ベクトル場のセグメントとし
て解釈され得る。対象物が主に並進運動的に動かされて
いるならば、その内部で運動ベクトル場は近似的に一定
である。
対象物マスクの計算の後にすぐ次のステップで２値対象
物マスク（Ｍ、）のセグメント化が行われ（第り図参照
）、その際にすべてのセグメントの大きさおよび重心位
置が等しく一緒に計算される。それらの値は線形カルマ
ンフィルタに対する測定量として解釈され、それを用い
てセグメントの以前の大きさ、重心位置および速度から
それらの瞬時の推定値がそれらの共分散を含めて計算さ
れる。推定誤差−共分散の最小化により時間的に隣接す
る対象物マスクの間のセグメントの正しい対応付けが見
い出される（対応問題）。
運動ベクトルの正確な決定がいま、カルマンフィルタの
推定値から出発して、マスクセグメントの内部のグレイ
値のマツチングにより可能である。
それに属する機能は各運動ベクトルに対する推定値の１
つの小さい周囲で評価されることが必要なだけである。
対応問題が最初にいったん解決されており、また運動ベ
クトルおよび対象物マスクのセグメントへのその正しい
対応付けが知られていれば、対象物へのセグメントの正
しいグループ化（第１図参照）およびその追跡はもはや
問題を生じない。
列Ｉ、の継続する像は時間ｋにわたる空間的に選択的な
平均化により動的背景メモリＢ、の計算のために使用さ
れる。その際に外部撮影の実際の像列のなかに往々にし
て明るさおよびコントラストの変動が天候の影響により
生じ、またこれらが記憶された背景からの瞬時の可視の
背景の偏差に通じてはならないという事実を考慮に入れ
るため、（２）式の補助量（背景予測）を用いて、（１
）式の再帰式による平均化が行われる。
Ｂｖ（ｐ）：＝（１−ａ　ｍ−＋（ｐ））　Ｂｈ−＋（
ｐ）　＋　ａ　ｍ−＋（ｐ）ｌｉｔ−＋（ｐ）・・・（
１） Ｂｖ（ｐ）：＝　Ｂｍ（ｐ）十ｙ　（Ｂｍ（ｐ）　−Ｂ
ｈ−＋（ｐ＞）・・・（２） ここで、ｐは像平面内の１つの点の座標である。
量γはＯｏＯと１．０との間の重み付は係数である。
もしγ＝０が選定されると、Ｂ＋＝−Ｂｍであり、また
式（１）では節単にＩｂ　　（ｐ）にわたる平均化のた
めの再帰式である。γ−〇（典型的にｒ”０．７）によ
りいま追加的に最後の両背景像Ｂ。
およびＢ、−２の差が背景予測のために使用され、従っ
て天候の影￥ｊ（たとえば曇り）により１つの像点が漸
次に明るくまたは暗くなることは現在の背景と記憶され
た背景との間の偏差に通じ得ない。
この場合、式（２）から明らかなように、２つの像、す
なわちＢｋ−１およびＢｍ−ｉ　　（またはＢ、−１お
よび差Δ□、　−３に−１Ｂｋ−Ｘ　）の記憶が必要で
ある。
以下では背景マスクと呼ばれる２値像列（ａヮ（ｐ））
は動いたと認識された像領域をグレイ値像Ｈｍ　ｌの列
からブレンドアウトするための役割をする。その計算は
そのつどの時点ですべての運動対象物の位置および形状
のできるかぎり良好な知識を前提とし、従って各時点ｋ
に対して最終の方法ステップで初めて行われる（第１図
参照）。
背景マスクは下記の特性を有する： 数αおよびβは、分離すべき動的プロセスの典型的な時
間スケールを考慮して選定する必要がある。βは、動く
対象物が背景のなかでまさにもはや可視でないように小
さく選定する必要がある。
しかし、それは、ノイズが背景のなかに入らないように
十分に大きくなければならない。αの最大値は同じく有
効なノイズ抑制の要求により決定される。しかしαは過
度に小さく選定されてはならない。なぜならば、さもな
いと背景の更新が継続する像により十分な度合で与えら
れなかったからである８画数に対するそのつどの限界が
広く離れているほど、すなわち緩やかなプロセスおよび
速いプロセスの時間スケールがより大きく区別されるほ
ど、緩やかに変化する背景からの動く対象物の分離が一
層良好に達成される。
（たとえば最初の像の間に）動く対象物の位置および形
状に関する情報がまだ存在しなければ、または背景が（
同じく初期化段階で）まだ完全に未知であれば、ａｋ　
　（ｐ）−βがすべての値ｐに対して選定される。これ
によって、推定された背景がまだ過度に強く実際の背景
から偏差するならば、弐（１）の収れんは加速される。
元の像列のなかの動く対象物を検出するため、この方法
ステップで２値対象物マスク が計算される。ここでＤｗ　　（ｐ）：＝Ｉ＊　　（ｐ
）Ｂｈ　　（ｐ）は推定された背景に対する継続するグ
レイ値像の差像である。このように定義された差像は時
間的に隣接するグレイ値像の通常使用される差と基本的
に異なっている。対象物のグレイ値とそれにより覆われ
る背景の部分との間の差がノイズに起因する明るさ変動
よりも大きい場合には、（４）式中のｍｊｎｄｉｆに対
して背景からの対象物の分離を達成する１つの値が存在
する。この場合、対象物マスクＭｗ　　（ｐ）は互いに
絶縁された対象物セグメント（ｓ、、、）の１つの集合
から成っており、それらの重心および大きさは容易に求
められ得る。それらは以下で（Ｘ、、、）または（ｇｖ
、−１と表される。
（４）式中で定義された対象物マスクは一般にまだ種々
のノイズ源からの寄与を含んでいる。これらのノイズ画
素は晟も簡単にはそれらの大きさにより固有の対象物セ
グメントと異なっている。
従って、ノイズは、大きさが１つのしきい“ｌ１ｉｎｓ
ｉｚｅ　　　（第２図参照）に達しないセグメントの消
去により消去され得る。ノイズ画素の消去は対象物マス
クのセグメント化に対して平行して行われ得る。
対象物マスクＭ＊（ｐ）から、すぐ次の背景像Ｂｍ　　
（ｐ）の計算のために必要とされる背景マスクａｍ　　
（ｐ）が ａ、（ｐ）：　−ａＭｗ　　（ｐ）＋β（Ｉ　　Ｍｍ　
　（ｐ））・・・（５） により計算される。
係数を決定するための規範に関しては既に（１）で主な
ことが述べられている。背景マスクの空間的選択性は特
に方法の初期化段階の間に妨げとなり、また最も簡単に
はこの段階の間に“−４ｎｄ　ｉｆ“（第２図参照）に
対する１つの相応に高い値の選定により抑制され得る。
２つの時間的に隣接する対象物マスクＭ＊　　（ｐ）お
よびＭｋ−＋（ｐ）は主としてたいてい時間的に緩やか
にしか変化しない対象物セグメントの位置およびそれら
の大きさにより相違している。重心（Ｘう１．）および
［ｘ、−、、、）から簡単な仕方で、引き続く運動ベク
トルの引き続（決定に対して開始値として使用され得る
相応のセグメントの間の重心差 ｄｋ＋ＩＩ＋１１’””Ｘｍ＋ａＸ１１−１＋ａ・・・
　（６） が計算され得る。
開始ベクトルはいま対象物マスクのセグメントに属する
グレイ値のマツチングによる固有の運動推定により改善
される。これはたとえばｋ・ｊ・皺（ｖ）　：　＝ Σｓ　（ｐ＋ｖ、ｋ）ｓ（ｐ、に−１）　ｌ　Ｉ（ｐ＋
ｖ、ｋ）−１（ｐ、に−１）Σｓ　７（ｐ＋ｖ、ｋ＞　
　ｓ　ｔ（ｐ、に−１）・・・　（７） の最小化により行われる−　ＫｉＪ、ｋ（ｖ）の最小化
は開始ベクトルｄｗ＊ＩＪの適当に選定された周囲から
のすべてのりに対する関数の簡単な評価により最も良好
に行われる。開始ベクトルは既に正確な運動ベクトルに
対するまさに良好な近似である（ともかくこの運動ベク
トルを有する１つの対象物が存在する場合）ので、この
周囲は相応に小さく選定され得る。局部的最小化方法（
例えばニュートン又は勾配法）は信頼できない結果に通
ずる。
なぜならば、関数は一般に非常に多くの局部的極小を有
するからである。この和がその極小をとるベクトルｙ、
はセグメント対Ｎ、ｊ）に属する運動ベクトルである。
ここに説明した運動推定のための方法の利点は、ここで
マツチングのために使用される対象物セグメントが一実
際に選定されたブロックと異なり一完全に対象物縁の内
部に位置していることにある。
従って、純粋に並進運動的に運動する剛固な物体がしか
も一定である場合、運動ベクトル場はこのセグメントの
内部で滑らかである。対象物マスクＭｂ（ｐ）のセグメ
ントのこの特性は運動推定のための前記の特に簡単な方
法の応用を可能にする。
本方法は、純粋に並進運動的な運動とならんで像平面の
内部で回転をもする対象物の追跡への応用に適している
。
複数の対象物が無関係に動く一般的な場合には、時間的
に隣接する対象物マスクの間のセグメントの正しい対応
付けは困難な問題であり得る。対象物は像縁を介してま
たは像の内部で消滅し、隠れまたはこれまで背景に参入
された静止する対象物により覆われ得る。１つの対象物
に属するセグメントの数は時間的に変動し得る。従って
、各セグメントが１つの先行物または後続物を有すると
は限らず、１つのセグメントに対して１つよりも多い先
行物または後続物が存在し得る。
この問題は文献中に対応問題として知られており、その
解決のために種々の提案がされている。
ここに説明する方法では、公知のカルマンフィルタの理
論がこの問題の解決のために採用されるべきである。カ
ルマン理論の応用は線形システムモデルおよび特定の形
態での線形測定モデルを前提とする。従って、ここで、
対象物マスクのセグメントの特定の特性、たとえば重心
位置、運動ベクトル、セグメントの大きさなどがそれら
の時間的展開中に線形システム ｘ　＋（ｋ）ｉ　　＝　ｘ　＋（ｋ−１）　＋　ｖ　＋
（ｋ−１）　　・＝（８ａ）３’＋（ｋ）：　　＝ｘ＋
（ｋ−１）　　　　　　　　　・・・（８ｂ）ｖ＋（ｋ
）：　　−ｖｌ（ｋ−１）＋ｗ　　　　　　−（８ｃ）
ＧＩ（ｋ）：　　−ｃ＋（ｋ−１）＋θ　　　　　・・
・（８ｄ）Ｎ（ｋ）　　：　　−Ｎ（ｋ−１）　　＋δ
　　　　　・＝（８ｅ）により記述されることが仮定さ
れるべきである。
その際に７１　、ｔ＋　はセグメント１の重心または運
動ベクトルを表し、ＧＩ　（ｋ）は時点にでのセグメン
ト１の大きさ（画素の数）を表し、またＮ（ｋ）は対象
物マスクＭ　（ｋ）のなかのセグメントの数を表す。（
８）式中のシステム−ノイズ量は平均的に一定と仮定さ
れる状ａｔの期待される変動範囲をモデル化する（エル
、レウィス（Ｌ、Ｌｅｗｉｓ）　、光学的推定、ライレ
イ、１９８６年参照）。
いくつかのセグメント特性（例えばセグメントの大きさ
又は敗）の代わりに、またはこれらに追加して、他の状
態量（たとえば形状係数、加速度ベクトルなど）が使用
されるシステム−モデルの多数の変形が考えられる。カ
ルマン理論はどの場合にもその測定の前後に状Ｂ量を推
定するための１つの最適線形フィルタを示す。モデル−
ノイズ量および測定モデルの統計的特性（共分散マトリ
ックス）の適当な選定により、その際に公知の仕方で、
たとえば追跡すべき動く対象物の期待される連動学的挙
動に関する仮定が重心位置および運動ベクトルの推定の
ために考慮され得る。こうして（７）式による運動推定
に対する開始値の計算が決定的に改善される。
カルマンフィルタの通常の応用の拡張では、隣接する時
点での対象物マスク内のセグメントの対応付けの問題は
、各可能な対応付けに対して１つの固有の測定モデルが
結び付けられることにより解決され得る。すべてのこれ
らの測定モデルに対して次いで予測誤差−共分散マトリ
ックスが更新される。最もわずかな予測誤差−分散を有
するセグメントの対応付けが一般に時間的に隣接するマ
スクの間の正しい対応付けであり得る。
本発明による方法では、前記の問題点を解決するため、
−列の２値対象物マスクが計算され、それらのセグメン
トが動く対象物の形状および位Ｕを表し、その隙にこれ
らのセグメントのマンチングにより動く対象物の運動ベ
クトルが求められる。
さらに、−列の背景像が入力像列の空間的に選択的かつ
時間的に再帰的な平均化により計算され、そのなかに動
く対象物は含まれておらず、しかし動く対象物に起因し
ない背景の他の変化は含まれている。従って、−列の２
値対象物マスクが１つのしきいを用いて入力像列および
背景像列からの差像列の２値化により計算され、それら
の値が背景像列の計算の際に空間的選択性の制御のため
に使用され、またそれらのセグメントがそれらの大きさ
および重心位置と一緒に決定される。最後に、検出され
た対象物の運動ベクトルが、ずらされたマスクセグメン
トの交わり集合にわたり平均化された二乗されたグレイ
値差の最小化により決定され、その際に対応するセグメ
ントの重心ベクトルの差が最小化の際に開始ベクトルと
して利用される。
対象物マスクのなかの必要なノイズ抑制がメディアンフ
ィルタの応用により行われることは存利である。背景は
、１つの動く対象物が可視であるような個所で、継続す
る像により更新される。
運動推定に対する機能中に、二乗されたグレイ値差の代
わりに特定の個所における２つの像のグレイ値の偏差に
対する他の尺度が使用され得る。
本発明によれば、さらに、運動推定に対する機能中に予
め備えるべきカウンタに適当に選定された定数が加えら
れる。運動推定に対する開始ベクトルの予測がカルマン
フィルタの使用により行われることは有利である。
隣接する対象物マスクの間の各可能な対応付けに対して
相応の測定モデル（カルマンフィルタ）が使用される。
正しい対応付けの選定は予測誤差共分散マトリックスの
評価を介して行われ、その際に特に、予測誤差−共分散
マトリックスの適当に選定された規準を最小化する対応
付けが選定される。
本発明により１つだけでなく２つの背景像（または１つ
の背景像および２つの背景像の間の差）またはなお多く
の背景像が１つの背景メモリのなかに保存されることは
有利である。背景像を計算するため、漸次の明るさおよ
びコントラスト変化が現在の背景像と記憶された背景像
との間の偏差の原因とならないようにする、記憶された
像に基づく適当な１つの再帰公式が使用される。
必要な評価重みα、βおよびγはたとえばカルマンフィ
ルタまたは公知の“最小二乗平均（ＬＭＳ）゛アルゴリ
ズムにより位置および時間に関係して適応的に現在の像
信号統計に適応される。
最後に、運動対象物マスクは測定された像と背景像との
間の差から簡単化された仕方で、すなわち例えば相続く
像の運動対象物マスクの内部の強度値の比較なしに、ま
た運動ベクトルの計算なしに得られる。
【図面の簡単な説明】
第１図は本発明による方法のフローチャート、第２図は
本方法を実施するための複数の機能ブロックを有するブ
ロック回路図である。 Ｂｋ・・・背景像 Ｉｋ・・・像列 り、・・・差像列 Ｍｋ・・・対象物マスク

Claims (1)

  1. 【特許請求の範囲】 １）動かない背景を有するディジタル像列内の動く対象
    物を像列と計算された背景像列との比較により検出しか
    つ追跡するための方法において、 一列の２値対象物マスクが計算され、それらのセグメン
    トが動く対象物の形状および位置を表し、その際にこれ
    らのセグメントのマッチングにより動く対象物の運動ベ
    クトルが求められ、 一列の背景像が入力像列の空間的に選択的かつ時間的に
    再帰的な平均化により計算され、そのなかに動く対象物
    は含まれておらず、しかし動く対象物に起因しない背景
    の他の変化は含まれており、 一列の２値対象物マスクが１つのしきいを用いて入力像
    列および背景像列からの差像列の２値化により計算され
    、それらの値が背景像列の計算の際に空間的選択性の制
    御のために使用され、またそれらのセグメントがそれら
    の大きさおよび重心位置と一緒に決定され、また 検出された対象物の運動ベクトルが、ずらされたマスク
    セグメントの交わり集合にわたり平均化された二乗され
    たグレイ値差の最小化により決定され、その際に対応す
    るセグメントの重心ベクトルの差が最小化の際に開始ベ
    クトルとして利用される ことを特徴とする動かない背景を有するディジタル像列
    内の動く対象物の検出および追跡のための方法。 ２）対象物マスクのなかのノイズ抑制がメディアンフィ
    ルタの応用により行われることを特徴とする請求項１記
    載の方法。 ３）背景が、１つの動く対象物が可視であるような個所
    で、継続する像により更新されることを特徴とする請求
    項１記載の方法。 ４）運動推定に対する機能中に、二乗されたグレイ値差
    の代わりに特定の個所における２つの像のグレイ値の偏
    差に対する１つの他の尺度が使用されることを特徴とす
    る請求項１記載の方法。 ５）運動推定に対する機能中に予め備えるべきカウンタ
    に適当に選定された定数が加えられることを特徴とする
    請求項１記載の方法。 ６）運動推定に対する予測がカルマンフィルタの使用に
    より行われることを特徴とする請求項１記載の方法。 ７）隣接する対象物マスクの間の各可能な対応付けに対
    して相応の測定モデル（カルマンフィルタ）が使用され
    、また正しい対応付けの選定が予測誤差−共分散マトリ
    ックスの評価を介して行われ、その際に特に、予測誤差
    −共分散マトリックスの適当に選定された規準を最小化
    する対応付けが選定されることを特徴とする請求項１記
    載の方法。 ８）１つだけでなく２つの背景像（または１つの背景像
    および２つの背景像の間の差）またはなお多くの背景像
    が背景メモリのなかに保存され、また背景像を計算する
    ため、漸次の明るさおよびコントラスト変化が現在の背
    景像と記憶された背景像との間の偏差の原因とならない
    ようにする、記憶された像に基づく適当な１つの再帰公
    式が使用されることを特徴とする請求項１記載の方法。 ９）評価重みα、βおよびγがたとえばカルマンフィル
    タまたは“最小二乗平均（ＬＭＳ）”アルゴリズムによ
    り位置および時間に関係して適応的に現在の像信号統計
    に適応されることを特徴とする請求項１記載の方法。 １０）運動対象物マスクが測定された像と背景像との間
    の差から簡単化された仕方で、すなわちたとえば相続く
    像の運動対象物マスクの内部の強度値の比較なしに、ま
    た運動ベクトルの計算なしに得られることを特徴とする
    請求項１記載の方法。
JP2049105A 1989-03-01 1990-02-28 動かない背景を有するデイジタル像列内の動く対象物の検出および追跡のための方法 Pending JPH02278387A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE3906483.2 1989-03-01
DE3906483 1989-03-01

Publications (1)

Publication Number Publication Date
JPH02278387A true JPH02278387A (ja) 1990-11-14

Family

ID=6375243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2049105A Pending JPH02278387A (ja) 1989-03-01 1990-02-28 動かない背景を有するデイジタル像列内の動く対象物の検出および追跡のための方法

Country Status (9)

Country Link
US (1) US5034986A (ja)
EP (1) EP0385384B1 (ja)
JP (1) JPH02278387A (ja)
AT (1) ATE156921T1 (ja)
CA (1) CA2011049A1 (ja)
DE (1) DE59010752D1 (ja)
DK (1) DK0385384T3 (ja)
ES (1) ES2107413T3 (ja)
GR (1) GR3024929T3 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191051A (ja) * 1994-11-14 2002-07-05 Sarnoff Corp 圧縮システム、監視システム、および場面の交替を検出する方法

Families Citing this family (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170352A (en) * 1990-05-07 1992-12-08 Fmc Corporation Multi-purpose autonomous vehicle with path plotting
US5583947A (en) * 1990-05-18 1996-12-10 U.S. Philips Corporation Device for the detection of objects in a sequence of images
US5257209A (en) * 1990-06-26 1993-10-26 Texas Instruments Incorporated Optical flow computation for moving sensors
EP0541567B1 (de) * 1990-07-27 1995-09-27 Siemens Aktiengesellschaft Verfahren zur analyse zeitlicher folgen digitaler bilder
US5278914A (en) * 1990-08-06 1994-01-11 Mitsubishi Jukogyo Kabushiki Kaisha Detector systems for existence or non-existence and stagnation of refuse and system for preventing stagnation of refuse
JP3037383B2 (ja) * 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
DE69124777T2 (de) * 1990-11-30 1997-06-26 Canon Kk Gerät zur Detektion des Bewegungsvektors
US5305400A (en) * 1990-12-05 1994-04-19 Deutsche Itt Industries Gmbh Method of encoding and decoding the video data of an image sequence
US5283839A (en) * 1990-12-31 1994-02-01 Neurosciences Research Foundation, Inc. Apparatus capable of figure-ground segregation
US5577130A (en) * 1991-08-05 1996-11-19 Philips Electronics North America Method and apparatus for determining the distance between an image and an object
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JPH05181970A (ja) * 1991-12-27 1993-07-23 Toshiba Corp 動画像処理装置
US5309237A (en) * 1992-03-31 1994-05-03 Siemens Corporate Research, Inc. Apparatus and method of compensating image-sequences for motion
US5500904A (en) * 1992-04-22 1996-03-19 Texas Instruments Incorporated System and method for indicating a change between images
JP2917661B2 (ja) * 1992-04-28 1999-07-12 住友電気工業株式会社 交通流計測処理方法及び装置
US5471544A (en) * 1992-05-18 1995-11-28 Markandey; Vishal Condition number-based smoothins of optical flow fields
JP2940317B2 (ja) * 1992-06-24 1999-08-25 三菱電機株式会社 画像処理装置
DE4224750A1 (de) * 1992-07-27 1994-02-03 Gsf Forschungszentrum Umwelt Verfahren zur quantitativen Bewegungsanalyse von mehreren Objekten im selben Medium
US5797843A (en) * 1992-11-03 1998-08-25 Eastman Kodak Comapny Enhancement of organ wall motion discrimination via use of superimposed organ images
US5321767A (en) * 1992-08-28 1994-06-14 Kabushiki Kaisha Komatsu Seisakusho Method of forming a mask in image processing operation
DE59306293D1 (de) * 1992-11-30 1997-05-28 Siemens Ag Verfahren zur detektion bewegter objekte
US6081605A (en) * 1993-03-08 2000-06-27 The United States Of America As Represented By The Secretary Of The Navy Clutter rejection through edge integration
US6430303B1 (en) 1993-03-31 2002-08-06 Fujitsu Limited Image processing apparatus
JP3288474B2 (ja) * 1993-03-31 2002-06-04 富士通株式会社 画像処理装置
USRE43462E1 (en) 1993-04-21 2012-06-12 Kinya (Ken) Washino Video monitoring and conferencing system
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
DE69433074D1 (de) * 1993-07-02 2003-10-02 Siemens Corp Res Inc Hintergrundrückgewinnung in monokularer Bildverarbeitung
US5596509A (en) * 1994-05-12 1997-01-21 The Regents Of The University Of California Passive infrared bullet detection and tracking
FR2721124B1 (fr) * 1994-06-14 1996-07-12 Thomson Csf Procédé d'acquisition d'une cible dans une séquence d'images.
US5521634A (en) * 1994-06-17 1996-05-28 Harris Corporation Automatic detection and prioritized image transmission system and method
US5889878A (en) * 1994-07-29 1999-03-30 Kabushiki Kaisha Toshiba Moving object image pickup apparatus
US5627905A (en) * 1994-12-12 1997-05-06 Lockheed Martin Tactical Defense Systems Optical flow detection system
US6044166A (en) * 1995-01-17 2000-03-28 Sarnoff Corporation Parallel-pipelined image processing system
MY132441A (en) * 1995-01-17 2007-10-31 Sarnoff Corp Method and apparatus for detecting object movement within an image sequence
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles
US5581629A (en) * 1995-01-30 1996-12-03 David Sarnoff Research Center, Inc Method for estimating the location of an image target region from tracked multiple image landmark regions
JP3268953B2 (ja) * 1995-02-27 2002-03-25 三洋電機株式会社 追尾領域設定装置，動きベクトル検出回路およびそれを用いた被写体追尾装置
US5995670A (en) * 1995-10-05 1999-11-30 Microsoft Corporation Simplified chain encoding
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
DE19601005A1 (de) * 1996-01-15 1997-07-17 Bosch Gmbh Robert Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US5982438A (en) * 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
GB2319421B (en) * 1996-11-15 1999-02-10 Daewoo Electronics Co Ltd Method and apparatus for target tracking
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US5892856A (en) * 1996-12-23 1999-04-06 Intel Corporation Method of presence detection using video input
US5995900A (en) * 1997-01-24 1999-11-30 Grumman Corporation Infrared traffic sensor with feature curve generation
US6298143B1 (en) * 1997-04-03 2001-10-02 Kabushiki Kaisha Toshiba Moving target detecting system and moving target detecting method
US5930379A (en) * 1997-06-16 1999-07-27 Digital Equipment Corporation Method for detecting human body motion in frames of a video sequence
US6141433A (en) * 1997-06-19 2000-10-31 Ncr Corporation System and method for segmenting image regions from a scene likely to represent particular objects in the scene
JP3114668B2 (ja) * 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
EP0908846A3 (en) * 1997-10-07 2000-03-29 Canon Kabushiki Kaisha Moving object detection apparatus and method
US6556708B1 (en) * 1998-02-06 2003-04-29 Compaq Computer Corporation Technique for classifying objects within an image
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
SE9802919L (sv) * 1998-08-31 2000-03-01 Alfa Laval Agri Ab Anordning och förfarande för övervakning av ett djurrelaterat område
SE9802920L (sv) * 1998-08-31 2000-03-01 Alfa Laval Agri Ab Anordning för övervakning av en djurrelaterad volym
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
KR100289054B1 (ko) 1998-11-17 2001-05-02 정선종 매크로블록 단위 영역 분할 및 배경 모자이크구성방법
DE19930598A1 (de) * 1998-12-16 2000-07-13 Univ Ruprecht Karls Heidelberg Zeitaufgelöste Analyse und/oder Visualisierung dynamischer Prozesse in dynamischen biologischen Systemen
WO2000060541A1 (en) * 1999-03-30 2000-10-12 Koninklijke Philips Electronics N.V. Image processing method, system and apparatus for noise reduction in an image sequence representing a threadlike moving object
AU774180B2 (en) * 1999-05-28 2004-06-17 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
US7133537B1 (en) * 1999-05-28 2006-11-07 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
US6591006B1 (en) * 1999-06-23 2003-07-08 Electronic Data Systems Corporation Intelligent image recording system and method
US6738424B1 (en) 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6707940B1 (en) * 2000-03-31 2004-03-16 Intel Corporation Method and apparatus for image segmentation
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
CN1606758A (zh) 2000-08-31 2005-04-13 雷泰克公司 传感器和成像系统
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
US7139409B2 (en) * 2000-09-06 2006-11-21 Siemens Corporate Research, Inc. Real-time crowd density estimation from video
JP4596201B2 (ja) * 2001-02-01 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
KR100371868B1 (ko) * 2001-02-19 2003-02-12 학교법인 한국정보통신학원 영상 압축/복원 시스템에서 객체 기반 액세스를 위한 객체마스크 추적 장치
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
WO2003005299A2 (en) * 2001-07-06 2003-01-16 Vision Iii Imaging, Inc. Image segmentation by means of temporal parallax difference induction
GB0118020D0 (en) * 2001-07-24 2001-09-19 Memco Ltd Door or access control system
US7084910B2 (en) * 2002-02-08 2006-08-01 Hewlett-Packard Development Company, L.P. System and method for using multiple images in a digital image capture device
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7321699B2 (en) 2002-09-06 2008-01-22 Rytec Corporation Signal intensity range transformation apparatus and method
US7539915B1 (en) 2003-01-07 2009-05-26 Marvell Israel (Misl) Ltd. Integrated circuit testing using segmented scan chains
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
AT500925A1 (de) * 2003-03-05 2006-04-15 Walter Dipl Ing Lorenz Verfahren und einrichtung zur überwachung des einstiegsbereiches von fahrzeugen
JP2006521616A (ja) * 2003-03-18 2006-09-21 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ データセットを最適に整合させるための方法及び装置
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8133115B2 (en) 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7587064B2 (en) * 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
JP4015157B2 (ja) * 2004-07-20 2007-11-28 シャープ株式会社 液晶表示装置の駆動装置、プログラムおよび記録媒体、並びに、液晶表示装置
US7746242B2 (en) * 2004-07-21 2010-06-29 Honeywell International Inc. Low battery indicator
US7907764B2 (en) * 2004-08-09 2011-03-15 Hirochika Matsuoka Apparatus, program and method for motion analysis in internal body
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
FR2876201A1 (fr) * 2004-10-06 2006-04-07 France Telecom Procede et dispositif de determination de points de reference dans une image
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
US8264441B2 (en) 2005-03-31 2012-09-11 Sharp Kabushiki Kaisha Method for driving liquid crystal display apparatus
JP4574676B2 (ja) 2005-03-31 2010-11-04 シャープ株式会社 液晶表示装置の駆動方法
EP1867167A4 (en) * 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION
US7636126B2 (en) 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
JP4755012B2 (ja) 2005-06-29 2011-08-24 株式会社エヌ・ティ・ティ・ドコモ 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム
JP4613724B2 (ja) * 2005-07-15 2011-01-19 ソニー株式会社 撮像装置および撮像方法
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
CN100480933C (zh) * 2005-12-31 2009-04-22 清华大学 一种机车定位纠偏系统及其运动跟踪方法
CN100362531C (zh) * 2006-02-23 2008-01-16 上海交通大学 结合时域差分和空域分级的运动人像实时自动跟踪方法
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
US7880746B2 (en) 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US20080123959A1 (en) * 2006-06-26 2008-05-29 Ratner Edward R Computer-implemented method for automated object recognition and classification in scenes using segment-based object extraction
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
US7936949B2 (en) * 2006-12-01 2011-05-03 Harris Corporation Panchromatic modulation of multispectral imagery
JP4886850B2 (ja) * 2007-06-28 2012-02-29 パナソニック株式会社 画像処理装置、画像処理方法、プログラム
US20090062002A1 (en) * 2007-08-30 2009-03-05 Bay Tek Games, Inc. Apparatus And Method of Detecting And Tracking Objects In Amusement Games
EP2208021B1 (en) * 2007-11-07 2011-01-26 Tele Atlas B.V. Method of and arrangement for mapping range sensor data on image sensor data
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
WO2009108645A1 (en) 2008-02-27 2009-09-03 Sony Computer Entertainment America Inc. Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8094960B2 (en) * 2008-07-07 2012-01-10 Harris Corporation Spectral calibration of image pairs using atmospheric characterization
US8078009B2 (en) * 2008-07-08 2011-12-13 Harris Corporation Optical flow registration of panchromatic/multi-spectral image pairs
US8073279B2 (en) * 2008-07-08 2011-12-06 Harris Corporation Automated atmospheric characterization of remotely sensed multi-spectral imagery
US8229228B2 (en) * 2008-09-16 2012-07-24 Robert Bosch Gmbh Image analysis using a pre-calibrated pattern of radiation
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
AU2008261195B2 (en) * 2008-12-23 2010-09-09 Canon Kabushiki Kaisha Video object fragmentation detection and management
US8478067B2 (en) * 2009-01-27 2013-07-02 Harris Corporation Processing of remotely acquired imaging data including moving objects
KR101016095B1 (ko) * 2009-02-20 2011-02-17 성균관대학교산학협력단 이진영상들 및 하프변환을 이용한 영상 배경 변화량 검출 장치 및 방법
WO2010141119A2 (en) * 2009-02-25 2010-12-09 Light Prescriptions Innovators, Llc Passive electro-optical tracker
US8260086B2 (en) * 2009-03-06 2012-09-04 Harris Corporation System and method for fusion of image pairs utilizing atmospheric and solar illumination modeling
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) * 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) * 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
US8594199B2 (en) * 2010-03-08 2013-11-26 Qualcomm Incorporated Apparatus and method for motion vector filtering based on local image segmentation and lattice maps
JP2011211628A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
JP2013535047A (ja) * 2010-05-28 2013-09-09 クゥアルコム・インコーポレイテッド 動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成
DE102010038905A1 (de) * 2010-08-04 2012-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von Rad- und Karosseriebewegungen eines Fahrzeuges
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
JP6110857B2 (ja) * 2011-09-15 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザフィードバックを伴うジェスチャベースのユーザインターフェイス
US9369742B2 (en) 2012-12-06 2016-06-14 Avaya Inc. System and method to estimate end-to-end video frame delays
CN103020941A (zh) * 2012-12-28 2013-04-03 昆山市工业技术研究院有限责任公司 基于全景拼接的旋转摄像头背景建立法及运动物体检测法
CN103440667B (zh) * 2013-07-19 2016-08-10 杭州师范大学 一种遮挡状态下运动目标稳定追踪的自动装置
CN104330075B (zh) * 2014-10-20 2016-07-06 中北大学 栅格化极坐标系目标定位方法
CN104751490B (zh) * 2015-04-09 2018-04-17 阔地教育科技有限公司 一种基于在线课堂的目标锁定方法及装置
CN104881882A (zh) * 2015-04-17 2015-09-02 广西科技大学 一种运动目标跟踪与检测方法
US9449258B1 (en) 2015-07-02 2016-09-20 Agt International Gmbh Multi-camera vehicle identification system
US12561884B2 (en) * 2023-08-28 2026-02-24 Adobe Inc. Pattern-guided coordinate mapping for digital image retexturing
CN119888954A (zh) * 2025-02-28 2025-04-25 中国长江电力股份有限公司 基于气象卫星的大型山地光伏环境火险识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4133004A (en) * 1977-11-02 1979-01-02 Hughes Aircraft Company Video correlation tracker
IL69327A (en) * 1983-07-26 1986-11-30 Elscint Ltd Automatic misregistration correction
US4739401A (en) * 1985-01-25 1988-04-19 Hughes Aircraft Company Target acquisition system and method
JPH0766446B2 (ja) * 1985-11-27 1995-07-19 株式会社日立製作所 移動物体像を抽出する方法
DE3711918C2 (de) * 1987-04-08 1998-05-28 Gsf Forschungszentrum Umwelt Verfahren zur automatischen Verfolgung von jeweils einem Teilchen unter mehreren Teilchen
US4849906A (en) * 1987-08-24 1989-07-18 Hughes Aircraft Company Dual mode video tracker

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191051A (ja) * 1994-11-14 2002-07-05 Sarnoff Corp 圧縮システム、監視システム、および場面の交替を検出する方法

Also Published As

Publication number Publication date
CA2011049A1 (en) 1990-09-01
ES2107413T3 (es) 1997-12-01
ATE156921T1 (de) 1997-08-15
DK0385384T3 (da) 1998-03-23
DE59010752D1 (de) 1997-09-18
EP0385384A3 (de) 1994-01-05
US5034986A (en) 1991-07-23
GR3024929T3 (en) 1998-01-30
EP0385384A2 (de) 1990-09-05
EP0385384B1 (de) 1997-08-13

Similar Documents

Publication Publication Date Title
JPH02278387A (ja) 動かない背景を有するデイジタル像列内の動く対象物の検出および追跡のための方法
US10782688B2 (en) Method, control apparatus, and system for tracking and shooting target
Karasulu et al. Moving object detection and tracking in videos
US5471252A (en) Method and apparatus for estimating motion vector fields by rejecting local outliers
US6529613B1 (en) Motion tracking using image-texture templates
US7986813B2 (en) Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor
CN109387204A (zh) 面向室内动态环境的移动机器人同步定位与构图方法
CN100499778C (zh) 用于使用迭代质心来估计摄像机模型参数的方法和装置
US20140056358A1 (en) Temporal Motion Vector Filtering
CN110276780A (zh) 一种多目标跟踪方法、装置、电子设备及存储介质
JP2000306108A (ja) オプティカルフロー推定方法
US20110075025A1 (en) System and method producing high definition video from low definition video
CN108319976A (zh) 建图方法及装置
CN114399532A (zh) 一种相机位姿确定方法和装置
Harville et al. Adaptive video background modeling using color and depth
CN120318327B (zh) 基于3d高斯泼溅模型和视频融合的人员定位方法及系统
JP3505872B2 (ja) 画像内動体追尾装置
EP1683108A2 (en) Object tracking within video images
JP2006323437A (ja) 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置
Kumlu et al. Variable rate adaptive color-based particle filter tracking
US20050129312A1 (en) Unit for and method of segmentation
Ben-Ezra et al. Motion segmentation using convergence properties
Wirayuda et al. Development methods for hybrid motion detection (frame difference-automatic threshold)
JP6468642B2 (ja) 情報端末装置
Chen et al. Online learning of region confidences for object tracking