JP6650657B2 - フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム - Google Patents

Description

関連出願の相互参照
本願は、本願出願人に譲渡された「フィンガープリントを使用して一連の画像を処理するための方法及びシステム」と題する当該出願日の出願で、代理人識別番号１２−０１７８−ＵＳ−ＮＰによって識別される米国特許出願第１３／６３１，７０５号に関し、参照によって本明細書に組み込まれる。

本開示は概して画像処理に関し、具体的には画像内での移動オブジェクトの検出及び追跡に関する。さらに具体的には、本開示は移動オブジェクトに対してフィンガープリントを作成することによって画像内での移動オブジェクトの検出及び追跡を行うためのシステム及び方法に関する。

ビデオなどの一連の画像内での移動オブジェクトの検出及び追跡に関しては、種々のタイプの技術が現在利用可能である。しかしながら、このような現在利用可能な技術によっては、所望の精度レベルで移動オブジェクトの検出及び／又は追跡ができないことがある。例えば、一部の現在利用可能な技術では、一連の画像内の一又は複数の画像内で移動オブジェクトが部分的に遮蔽される場合には、移動オブジェクトの検出及び／又は追跡ができないことがある。

加えて、一部の現在利用可能な技術では、所望の精度レベルで移動オブジェクトの輪郭を特定できないことがある。本明細書で使用しているように、オブジェクトの輪郭はオブジェクトのアウトライン又はオブジェクトの形状であってもよい。このアウトラインはオブジェクトの外表面のアウトラインであってもよい。

セグメント化は、画像内のオブジェクトの輪郭を決定するために使用される処理の一例である。本明細書で使用しているように、「セグメント化」とは画像を複数のセグメントに分割する処理である。各セグメントは、同様な視覚的特徴を共有するように特定されているピクセル群を含む。この視覚的特徴は、例えば、限定しないが、色、質感、強度、又は他の何らかのタイプの特性であってもよい。このように、互いに隣接するセグメントは、何らかの選択された閾値を超える特定の視覚的特性に関して異なっている。

セグメント化は、セグメント化画像が元の画像と比較して解析しやすくなるように、画像の表現を簡略化及び／又は変更するために利用される。例えば、画像が分割されてセグメント化画像が形成される場合には、セグメント化画像内の特徴は、元の画像と比較してより容易に認識できるようになる。具体的には、元の画像内で捕捉されたオブジェクトの輪郭及び／又は特徴は、セグメント化画像内でより容易に認識できるようになる。

しかしながら、一部の現在利用可能なセグメント化技術では、１つの移動オブジェクトの輪郭を所望どおりに正確に定義するような方法で画像をセグメント化することができない。例えば、色に基づいて画像が分割されてセグメント化画像が形成される場合には、画像内で２色以上の色を有するものとして捉えられるオブジェクトについては、セグメント化画像内の複数のセグメントによって表現されることがある。

その結果、セグメント化画像内のオブジェクトの輪郭は、所望どおりに容易に認識できないことがある。さらに、このようなタイプのセグメントによって表現される特徴についての情報を抽出すると、要求精度に満たない情報が出てくることがある。したがって、少なくとも上述の問題点の幾つかと、起こりうる他の問題点を考慮する方法及び装置を有することは有利であろう。

１つの例示的な実施形態では、画像処理システムは画像セグメント装置、整合性チェッカー、及びフィンガープリント装置を含む。画像セグメント装置は、一連の画像内の現行画像を複数の画像に分割してセグメント化画像を形成し、同一の運動プロファイルに属する複数セグメントの内のセグメントを一体融合して一組のマスターセグメントを形成するように構成されている。整合性チェッカーは、一組のマスターセグメントから一組のターゲットセグメントを特定するように構成されている。一組のターゲットセグメントは、現行画像内の一組の移動オブジェクトを表わす。フィンガープリント装置は、一連の画像内の任意の数の後続画像内で、一組の移動オブジェクトの追跡に使用される一組のフィンガープリントを作成するように構成されている。

別の例示的な実施形態では、一連の画像内の移動オブジェクトを追跡するためにコンピュータ実装方法が提供される。一連の画像内の現行画像は複数のセグメントに分割される。同一の運動プロファイルに属する複数のセグメント内のセグメントは、一体融合されて一組のマスターセグメントを形成する。一組のターゲットセグメントは、一組のマスターセグメントから特定される。一組のターゲットセグメントは、現行画像内の一組の移動オブジェクトを表わす。一組のフィンガープリントは、一連の画像内の任意の数の後続画像内で、一組の移動オブジェクトの追跡に使用するために作成される。

別の例示的な実施形態では、一連の画像内の移動オブジェクトを追跡するためにコンピュータ実装方法が提供される。現行画像内で局所的運動と大局的運動が特定される。運動画像を形成するため、局所的運動から大局的運動が差し引かれる。運動画像は一組の運動プロファイルを含む。一連の画像内の現行画像は、セグメント化画像を形成するため、複数のセグメントに分割される。同一の運動プロファイルに属する複数のセグメント内のセグメントは、一体に融合されて一組のマスターセグメントを有するマスター画像を形成する。一組のターゲットセグメントは、一組のマスターセグメントから特定されて、ターゲット画像を形成する。一組のターゲットセグメントは、現行画像内の一組の移動オブジェクトを表わす。一組のフィンガープリントは、一連の画像内の任意の数の後続画像内で、一組の移動オブジェクトの追跡に使用するために作成される。

特徴及び機能は、本開示の様々な実施形態で独立に実現することが可能であるか、以下の説明及び図面を参照してさらなる詳細が理解されうる、さらに別の実施形態で組み合わせることが可能である。

例示的な実施形態の特徴と考えられる新規の機能は、添付の特許請求の範囲に明記される。しかしながら、例示的な実施形態と、好ましい使用モードと、さらにはその目的及び特徴とは、添付図面を参照して本開示の例示的な実施形態の後述の詳細な説明を読むことにより最もよく理解されるであろう。

例示的な実施形態が実装されうるブロック図の形態で画像処理環境が図解されている。 例示的な実施形態によるブロック図の形態でフィンガープリントが図解されている。 例示的な実施形態による画像が図解されている。 例示的な実施形態による運動画像が図解されている。 例示的な実施形態による運動画像の一部の拡大ビューが図解されている。 例示的な実施形態によるセグメント化画像が図解されている。 例示的な実施形態によるセグメント化画像の一部が図解されている。 例示的な実施形態による移動セグメント画像が図解されている。 例示的な実施形態によるマスター画像が図解されている。 例示的な実施形態によるマスター画像の一部の拡大ビューが図解されている。 例示的な実施形態による画像が図解されている。 例示的な実施形態によるマスター画像が図解されている。 例示的な実施形態によるフロー図の形態で画像処理を実施するプロセスが図解されている。 例示的な実施形態によるフロー図の形態で一組のマスターセグメントから一組のターゲットセグメントを確定するプロセスが図解されている。 例示的な実施形態によるフロー図の形態でフィンガープリントを作成するプロセスが図解されている。 例示的な実施形態によるフロー図の形態で一組のマスターセグメントを形成するためのプロセスが図解されている。 例示的な実施形態によるデータ処理システムが図解されている。

種々の例示的な実施形態は、種々の検討事項を認識し且つ考慮している。例えば、種々の例示的な実施形態は、オブジェクトとりわけ移動オブジェクトを検出し追跡するために現在利用可能な幾つかのシステム及び方法は、所望どおりに機能しないことを認識し且つ考慮している。

具体的には、ビデオ内のオブジェクトを検出し追跡するために現在利用可能な幾つかの方法は、ビデオを形成する一又は複数の画像内で少なくとも部分的に遮蔽されるオブジェクトを、所望の正確度レベルで追跡できないことがある。さらに、これらの現在利用可能な方法は、ビデオ内である一定の時間ビデオカメラの視野から一時的に外れるオブジェクトを追跡できないことがある。さらには、オブジェクトを追跡するために現在利用可能な方法の幾つかは、検索して追跡するオブジェクトのタイプに関する指示が必要になることがある。例えば、これらの方法は、検出して追跡するオブジェクトのタイプがわからないと、オブジェクトとりわけ移動オブジェクトを追跡できないことがある。

したがって、種々の例示的な実施形態は、一連の画像全体で移動オブジェクトの検出及び追跡に使用するため、一連の画像内の１つの画像で検出される移動オブジェクトのフィンガープリントを生成するシステム及び方法を提供する。具体的には、フィンガープリントは、移動オブジェクトが部分的に遮蔽される、又は画像の視野に入っていない場合であっても、一連の画像内の１つの画像で移動オブジェクトを検出し追跡するために使用しうる。

ここで図面を参照すると、特に図１は、例示的な実施形態による画像処理環境がブロック図の形態で描かれている。図１では、画像処理環境１００は撮像システム１０２及び画像処理システム１０４を含む。

これらの例示的な実施例では、撮像システム１０２はシーン１０８に対して画像データ１０６を生成するように構成された任意のタイプのセンサーシステムであってもよい。撮像システム１０２は、例えば、限定しないが、電気光学（ＥＯ）撮像システム、赤外線（ＩＲ）撮像システム、レーダー撮像システム、熱撮像システム、超音波撮像システム、光検出・測距（ＬＩＤＡＲ）システム、及び他の何らかの好適なタイプの撮像システムから選択されてもよい。このように、撮像システム１０２によって生成される画像データ１０６は、電気光学画像、赤外線画像、レーダー画像、熱画像、光検出・測距画像、又は他の何らかのタイプの画像を含みうる。電気光学画像は、例えば可視光画像であってもよい。

このような例示的な実施例において、画像データ１０６は一連の画像１１０の形態をとることがある。本明細書で使用しているように、「画像」とは行と列で構成されたピクセルを含むデジタルの２次元画像である。各ピクセルは、当該ピクセルに対する色及び／又は明るさを表わす値を有することがある。さらに、「一連の画像」とは、本明細書で使用されているように、時間順に連続して生成される２点以上の画像のことである。

シーン１０８に対して生成された一連の画像１１０は、シーン１０８のビデオ１１２と呼ばれることがある。一連の画像１１０がビデオ１１２と呼ばれるときには、一連の画像１１０の各画像は「フレーム」と呼ばれることがある。

シーン１０８は、例えば、限定しないが、都市エリア、近隣地区、海上エリア、森林エリア、砂漠エリア、市街、地理的エリア、製造施設内エリア、建物の床面、高速道路の一部、又は他の何らかの好適なタイプのエリア、などの物理的なエリアであってもよい。

移動オブジェクト群１１４は、シーン１０８内にあってもよい。本明細書で使用しているように、「移動オブジェクト」は、移動オブジェクト１１６のように、撮像システム１０２の視野に対して移動している任意のオブジェクトであってもよい。移動オブジェクト１１６は、シーン１０８の移動オブジェクト群１１４の１つの実施例である。

このように、移動オブジェクト１１６は、シーン１０８内で静止していない任意のオブジェクト形態を取りうる。例えば、移動オブジェクト１１６は、シーン１０８内で歩いている又は走っている人物、車両、移動構造物、移動車両上に配置されているオブジェクト、又は他の何らかの好適なタイプの移動オブジェクトの形態を取りうる。シーン１０８の車両は、例えば、限定しないが、自動車、トラック、航空機、バン、戦車、無人航空機、宇宙船、ミサイル、ロケット、又は他の何らかの好適なタイプの車両の形態を取りうる。

幾つかの場合には、移動オブジェクト１１６は、一緒に移動する２つ以上のオブジェクトの組合せであってもよい。例えば、移動オブジェクト１１６は、互いに結合されて、同じタイプの動きで一緒に移動する２つ以上のオブジェクトを含みうる。

加えて、移動オブジェクト１１６は、撮像システム１０２が向けられている角度及び／又は撮像システム１０２の位置が変わるにつれて、撮像システム１０２の視野に対して移動する任意のオブジェクトの形態を取りうる。例えば、移動オブジェクト１１６は、撮像システム１０２が動いているとき一連の画像１１０内で動いているように見える固定されたオブジェクトであってもよい。

撮像システム１０２は、任意の数の通信リンク１２０を使用して画像処理システム１０４に画像データ１０６を送信するように構成されている。本明細書で使用されているように、「任意の数の」アイテムは、一又は複数のアイテムを意味する。このように、任意の数の通信リンク１２０は、一又は複数の通信リンクであってもよい。任意の数の通信リンク１２０は、例えば、有線通信リンク、無線通信リンク、光通信リンク、及び他の何らかのタイプの通信リンクのうちの少なくとも１つを含みうる。

本明細書で使用されているように、列挙されたアイテムと共に使用される「〜のうちの少なくとも１つ」という表現は、列挙されたアイテムの一又は複数の様々な組み合わせが使用可能であり、且つ列挙された各アイテムのうちの一つだけあればよいということを意味する。例えば、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、例えば、限定しないが、「アイテムＡ」、又は「アイテムＡとアイテムＢ」を含む。この例は、「アイテムＡとアイテムＢとアイテムＣ」、又は「アイテムＢとアイテムＣ」も含む。他の例として、「〜のうちの少なくとも１つ」は、例えば、限定しないが、「２個のアイテムＡと１個のアイテムＢと１０個のアイテムＣ」、「４個のアイテムＢと７個のアイテムＣ」、又は他の適切な組み合わせを含む。

画像処理システム１０４は、ハードウェア、ソフトウェア、又はその二つの組み合わせを使用して実装される。これらの例示的な実施例では、画像処理システム１０４は、コンピュータシステム１２２で実装される。コンピュータシステム１２２は、任意の数のコンピュータを備えてもよい。コンピュータシステム１２２内に複数のコンピュータが存在する場合には、これらのコンピュータは相互に通信することができる。

画像処理システム１０４は、撮像システム１０２から受信した画像データ１０６を処理するように構成されている。幾つかの例示的な実施例では、画像処理システム１０４は、撮像システム１０２によって画像が生成されるに従って、一連の画像１１０を１つずつ受信してもよい。例えば、画像処理システム１０４は、画像が生成されるに従って、実質的にリアルタイムで一連の画像１１０を受信することができる。他の例示的な実施例では、画像処理システム１０４は、一連の画像１１０が生成された後のある時点で一連の画像１１０全体を受信することもある。

画像処理システム１０４は一連の画像１１０を処理して、一連の画像１１０内で移動オブジェクトの存在を検出して追跡する。図示されているように、画像処理システム１０４は運動検出装置１２４及びオブジェクト追跡装置１２６を含む。運動検出装置１２４は一連の画像１１０の運動の存在を検出するように構成されている。オブジェクト追跡装置１２６は一連の画像１１０について移動オブジェクトを追跡するように構成されている。

例えば、運動検出装置１２４は処理のため一連の画像１１０内の現行画像１２８を受信する。運動検出装置１２４は現行画像１２８内の運動を検出するように構成されている。１つの例示的な実施形態では、運動検出装置１２４は現行画像１２８及び先行画像１３４を使用して、運動画像１３６を形成する。先行画像１３４とは、一連の画像１１０内で現行画像１２８の直前の画像であって、現行画像１２８と先行画像１３４との間には画像を含まない。さらに、先行画像１３４は運動検出装置１２４によって先に処理された画像である。

運動検出装置１２４は現行画像１２８及び先行画像１３４を使用して、現行画像１２８の局所的運動及び大局的運動を特定する。本明細書で使用しているように、現行画像１２８の「大局的運動」は現行画像１２８の全体的な運動となることがある。大局的運動は、例えば、先行画像１３４の背景特徴に対する現行画像１２８の背景特徴の運動を含むことがある。このような背景特徴は、例えば、限定しないが、木々、空、道路、潅木、草木、草地、建物、人工構造物、及び／又は他のタイプの背景特徴を含みうる。このように、現行画像１２８での大局的運動は、先行画像１３４のシーン１０８全体に対するシーン１０８全体の相対的な運動となる。

本明細書で使用しているように、「局所的運動」は大局的運動とは異なる運動を含む。局所的運動は、例えば、先行画像１３４に対する現行画像１２８内での移動オブジェクト１１４など、前景特徴の運動を含みうる。運動検出装置１２４は、現行画像１２８で特定された局所的運動から、現行画像１２８で特定された大局的運動を差し引いて、運動画像１３６を形成することができる。

これらの例示的な実施例では、運動画像１３６は一組の運動プロファイル１３５を含みうる。本明細書で使用しているように、「一組の」アイテムは、ゼロ又は一以上のアイテムを意味する。つまり、一組のアイテムは、０個すなわち空の組であってもよい。このように、場合によっては、一組の運動プロファイル１３５は、１個、２個、３個、５個、１０個、又は他の任意の数の運動プロファイルを含みうる。他の場合には、一組の運動プロファイル１３５は空の組であってもよい。

本明細書で使用しているように、「運動プロファイル」は運動画像１３６の局所的運動を表わす運動画像１３６の一部である。例えば、運動プロファイルは運動画像１３６の背景とは異なる色を有する運動画像１３６の一部であってもよい。この色は、例えば、シーン１０８の移動オブジェクト１１６などの移動オブジェクトを表わすことがある。

オブジェクト追跡装置１２６は処理のため現行画像１２８及び運動画像１３６を受信するように構成されている。図解されているように、オブジェクト追跡装置１２６は画像セグメント装置１３０、任意の数のデータ構造１５８、整合性チェッカー１３２、及びフィンガープリント装置１３３を含む。

画像セグメント装置１３０は、現行画像１２８を複数のセグメント１３８にセグメント化、すなわち分割し、セグメント化画像１４０を形成するように構成されている。これらの例示的な実施例では、複数のセグメント１３８内の各セグメントは、一又は複数のピクセルを含む。セグメント内に２つ以上のピクセルが存在する場合、これらのピクセルは隣接するピクセルである。すなわち、セグメント内の各ピクセルはセグメント内の別のピクセルに隣り合っており、これら２つのピクセルの間に配置されるセグメントに属していない他のピクセルは存在しない。

これらの例示的な実施例では、画像セグメント装置１３０は、複数のセグメント１３８内の各セグメントの全ピクセルが同様な視覚的特性を共有するように、現行画像１２８をセグメント化する。視覚的特性は、例えば、色、明度、質感、又は他の何らかのタイプの視覚的特性であってもよい。例えば、複数のセグメント１３８内の特定のセグメントの全てのピクセルは、選択された色を表わす選択された範囲内の値を有してもよい。

画像セグメント装置１３０は、シーン１０８の移動オブジェクト１１６などの移動オブジェクトの異なる部分が現行画像１２８内で異なる視覚的特性を有しうることを考慮している。例えば、移動オブジェクト１１６が自動車の場合、自動車の車体は現行画像１２８内で１つの色で表示されるが、自動車の窓ガラスは現行画像１２８内で別の色で表示されることがある。

その結果、移動オブジェクト１１６は、複数のセグメント１３８内の幾つかのセグメントによってセグメント化画像１４０として表示されることがある。複数のセグメント１３８内のどのセグメントが実際に移動オブジェクト１１６を表わしているのかを識別することは容易ではないことがある。

そのため、画像セグメント装置１３０は、複数のセグメント１３８内でセグメントをグループ化し、運動画像１３６を使用する一組のマスターセグメント１４２を形成するように構成されている。具体的には、画像セグメント装置１３０は、同一の運動プロファイルに属する複数のセグメント１３８を一体融合して、一組のマスターセグメント１４２を有するマスター画像１４３を形成する。

より具体的には、運動画像１３６の一組の運動プロファイル１３５内の同一の運動プロファイルに属する複数のセグメント１３８内のセグメントは一体融合されて、一組のマスターセグメント１４２内の１つのマスターセグメントを形成する。これらの例示的な実施例では、複数のセグメント１３８内の１つのセグメントは、特定の運動プロファイルに重なるセグメント内のピクセル数が選択されたある閾値よりも大きい場合には、一組の運動プロファイル１３５内の特定の１つの運動プロファイルに「属する」ものとみなされることがある。言うまでもなく、他の例示的な実施例では、他の基準及び／又は因子は、複数のセグメント１３８内のどのセグメントが一体融合されて一組のマスターセグメント１４２を形成するのか、を判断するために使用されることがある。

これらの例示的な実施例では、画像セグメント装置１３０は、隣接するセグメントを一体融合するだけのこともある。すなわち、複数のセグメント１３８内の２つのセグメントは、これら２つのセグメントが互いに隣接している場合にのみ一体融合されることがある。このように、一組のマスターセグメント１４２内の各マスターセグメントは、任意の数の隣接セグメントを含む。

幾つかの例示的な実施例では、画像セグメント装置１３０は運動画像１３６をセグメント化画像１４０と統合して、移動セグメント画像１４５を形成する。移動セグメント画像１４５は、例えば、限定しないが、セグメント化画像１４０の上に運動画像１３６を重ねることによって作成されてもよい。一組の運動プロファイル１３５によって重ねられた複数のセグメント１３８内のセグメントの一部は、「移動セグメント」とみなされることがある。各運動プロファイルに関しては、当該運動プロファイルによって重ねられた移動セグメントは一体融合されて、マスターセグメントを形成する。このように、一組のマスターセグメント１４２は任意の数の異なる方法で形成されうる。

その後、画像セグメント装置１３０は一組のマスターセグメント１４２に対してマスター統計値１４４を生成する。１つの例示的な実施例として、画像セグメント装置１３０は一組のマスターセグメント１４２の各マスターセグメントに対してセグメントデータ１４６を特定する。特定のマスターセグメント用のセグメントデータ１４６は、例えば、限定しないが、彩度データ、輝度データ、ピクセル位置データ、エントロピーデータ、及び／又は他のタイプのデータを含みうる。

彩度データは、例えば、マスターセグメント内の各ピクセルに対して彩度の値を含みうる。彩度値は、明度又は飽和値であってもよい。彩度データは、例えば、マスターセグメント内の各ピクセルに対する彩度の値を含みうる。彩度値は輝度値であってもよい。ピクセル位置データは、例えば、マスター画像１４３のピクセルの行及び列に関して、マスターセグメント内の各ピクセルの位置を含みうる。エントロピーデータは、エントロピーフィルタを使用してフィルタ処理された彩度データを含みうる。

この例示的な実施例では、画像セグメント１３０は、セグメントデータ１４６を数学モデル１４８に適合することによって、マスター統計値１４４を生成する。場合によっては、数学モデル１４８は、例えば、限定しないが、一般化線形モデル（ＧＬＭ）などの線形回帰モデルになることがある。一般化線形モデルは、例えば、全共分散ガウスモデルであってもよい。

さらに処理を行うため、画像セグメント装置１３０はマスター画像１４３及びマスター統計値１４４を整合性チェッカー１３２に送信する。整合性チェッカー１３２は、一組のマスターセグメント１４２内の各マスターセグメントが実際に移動オブジェクトを表わしているかどうかを判定するように構成されている。すなわち、整合性チェッカー１３２は、一組のマスターセグメント１４２内のマスターセグメントが移動オブジェクト又は画像の変形を表わしているかどうかを判定する。

１つの例示的な実施例では、整合性チェッカー１３２は、一組のマスターセグメント１４２内のマスターセグメント１５２を、先行画像１３４に対して特定された既に特定済みのマスターセグメントに一致させてもよい。整合性チェッカー１３２は、マスターセグメント１５２のマスター統計値１４４と既に特定済みのマスターセグメントとの差異が選択されたある閾値よりも大きいかどうかを判定する。

差異が選択された閾値よりも大きくない場合には、マスターセグメント１５２は一組のターゲットセグメント１５４に追加される。このように、整合性チェッカー１３２は現行画像１２８に対して一組のターゲットセグメント１５４を作成する。一組のターゲットセグメント１５４は、一組のマスターセグメントを一部含む、全く含まない、或いは全て含むことがある。

一組のターゲットセグメント１５４の各ターゲットセグメントは、現行画像１２８内の移動オブジェクトを表わす。すなわち、一組のターゲットセグメント１５４は一組の移動オブジェクト１５５を表わす。一組の移動オブジェクト１５５は、実装に応じて、シーン１０８の移動オブジェクト１１４を一部含む、全く含まない、或いは全て含むことがある。例えば、ある場合には、一組の移動オブジェクト１５５は移動オブジェクト１１６を含むことがある。

幾つかの例示的な実施例では、整合性チェッカー１３２は、マスターセグメント１５２を既に特定済みのマスターセグメントに一致させることができないことがある。このような場合には、マスターセグメント１５２が変形又はこれまでに検出されなかった新しい移動オブジェクトを表わしているかどうかを判定するため、マスターセグメント１５２は解析されることがある。マスターセグメント１５２が新しい移動オブジェクトを表わすものと特定されると、マスターセグメント１５２は一組のターゲットセグメント１５４に追加される。整合性チェッカー１３２は、一組のターゲットセグメント１５４をターゲット画像１５７としてフィンガープリント装置１３３に送信する。

フィンガープリント装置１３３はターゲット画像１５７を受信し、ターゲット画像１５７の一組のターゲットセグメント１５４に対して一組のフィンガープリント１５６を特定する。本明細書で使用されているように、ターゲットセグメントの「フィンガープリント」とは、当該ターゲットセグメントによって表される移動オブジェクトの独自の特徴を記述したものである。一組のフィンガープリント１５６は、一連の画像１１０内の任意の数の後続画像内で、一組の移動オブジェクト１５５の追跡に使用するように構成されている。

フィンガープリント装置１３３は、任意の数のデータ構造１５８に一組のフィンガープリント１５６を保存する。任意の数のデータ構造１５８内の１つのデータ構造は、例えば、限定しないが、表、スプレッドシート、チャート、データベース、レポート、連想メモリ、又は他の何らかのタイプのデータ構造の形態を取りうる。

１つの例示的な実施例として、一組のフィンガープリント１５６は、今後移動オブジェクトを検出及び追跡するために、任意の数のデータ構造１５８内のフィンガープリントデータベース１６０に保存されてもよい。フィンガープリントデータベース１６０は、一連の画像１１０内で検出及び追跡されるシーン１０８の移動オブジェクト１１４の一部に対して生成されるフィンガープリントを含む。

オブジェクト追跡装置１２６はフィンガープリントデータベース１６０に保存されている一組のフィンガープリント１５６を使用して、一連の画像１１０内の任意の数の後続画像１６２内の一組の移動オブジェクト１５５を追跡できるようにする確率を高めてもよい。具体的には、一組のフィンガープリント１５６は、一又は複数のこれらの移動オブジェクトが部分的に又は完全に遮蔽された後であっても、或いは一又は複数のこれらの移動オブジェクトが撮像システム１０２の視野の外へ移動する場合であっても、任意の数の後続画像１６２内の一組の移動オブジェクト１５５の追跡に使用されうる。任意の数の後続画像１６２は、現行画像１２８の後の一連の画像１１０内の画像であってもよい。

これらの例示的な実施例では、一組のフィンガープリント１５６内の各フィンガープリントは軽量フィンガープリントである。本明細書で使用されているように、「軽量フィンガープリント」とは、空間的及び時間的な複雑性が最小化される対応ターゲットセグメントによって表わされた移動オブジェクトの特徴を記述したものである。このように、一組のフィンガープリント１５６の保存に必要となる記憶スペースの量は低減可能である。

幾つかの例示的な実施例では、画像セグメント装置１３０は、運動画像１３６に対して追加的に又は代替的に一組のマスターセグメント１４２を形成するため、複数のセグメント１３８のうちのどれを一体融合すべきかを判定するためにフィンガープリントを使用することがある。１つの例示的な実施例では、画像セグメント装置１３０はセグメント化画像１４０をフィンガープリント装置１３３に送信する。フィンガープリント装置１３３は、セグメント化画像１４０内の複数のセグメント１３８に対して複数のセグメントフィンガープリント１６４を作成する。複数のセグメントフィンガープリント１６４の各々は、複数のセグメント１３８内の１つの対応するセグメントのフィンガープリントである。

フィンガープリント装置１３３は、複数のセグメントフィンガープリント１６４を、画像セグメント装置によって使用されるフィンガープリントデータベース１６０に保存する。画像セグメント装置１３０は複数のセグメントフィンガープリント１６４及び一組の先行セグメントフィンガープリント１６６をフィンガープリントデータベース１６０から読み出し、これらの種々のフィンガープリントを使用して、一組のマスターセグメント１４２を形成する。

一組の先行セグメントフィンガープリント１６６は、先行画像１３４に対して特定されたターゲットセグメントに基づいて、先行画像１３４に対して既に特定済みの一組のフィンガープリントを含みうる。この例示的な実施例では、画像セグメント装置１３０は、一組の先行セグメントフィンガープリント１６６内の特定のフィンガープリントに一致する複数のセグメントフィンガープリント１６４の隣接するセグメントフィンガープリントをグループ化して、マスターセグメントを形成する。

次に図２を参照すると、例示的な実施形態によるフィンガープリントがブロック図の形態で図解されている。図２では、図１のフィンガープリント１３３がより詳細に描かれている。

図示されているように、フィンガープリント１３３は、処理のためターゲット画像１５７を受信する。フィンガープリント装置１３３は特徴解析装置２０２及びフィンガープリントマネージャ２０４を含む。特徴解析装置２０２は、ターゲット画像１５７の一組のターゲットセグメント１５４内の各ターゲットセグメントに対して特徴解析２０６を実施して、一組のフィンガープリント１５６を形成するように構成されている。これらの例示的な実施例では、特徴解析２０６を実施することは、一組のターゲットセグメント１５４内の各セグメントについて特徴データ２０８を抽出すること、及び特徴データ２０８を任意の数の数学モデル２１０に適合することを含みうる。

任意の数の数学モデル２１０は種々のタイプのモデルを含みうる。任意の数の数学モデル２１０内の１つのモデルは、例えば、限定しないが、パラメトリック又は非パラメトリックであってもよい。本明細書で使用されているように、「パラメトリックモデル」とは有限のパラメータ数を用いて記述可能な分布族である。これとは対照的に、「非パラメトリックモデル」は、本明細書で使用されているように、任意の分布に属するように適合されたデータに依存しない。

さらに、任意の数の数学モデル２１０内の１つのモデルは、例えば、限定しないが、空間認識的又は空間不可知的であってもよい。空間認識モデルは、位置、空間的定位、及び／又は特徴の配置を考慮してもよい。しかしながら、空間不可知モデルは、位置、空間的定位、及び／又は特徴の配置を考慮しなくてもよい。

空間的に一般化した線形モデル２１２及び特徴のみを一般化した線形モデル２１４は、パラメトリックモデル２２０の例である。スパシオグラム２１６及びヒストグラム２１８は、非パラメトリックモデル２２２の例である。さらに、空間的に一般化した線形モデル２１２及びスパシオグラム２１６は、空間認識モデル２２４の例である。さらに、特徴のみを一般化した線形モデル２１４及びヒストグラム２１８は、空間不可知モデル２２６の例である。

一組のターゲットセグメント１５４内の各ターゲットセグメントの特徴データ２０８は、一組のターゲットセグメント１５４内の各ターゲットセグメントに適合したデータ２２８を形成するため、任意の数の数学モデル２１０の一又は複数に適合していてもよい。例えば、特徴データ２０８は、ターゲットセグメント２３０に適合したデータ２２８を形成するため、一組のターゲットセグメント１５４内のターゲットセグメント２３０の特徴データ２０８を、空間的に一般化した線形モデル２１２、特徴のみを一般化線形モデル２１４、スパシオグラム２１６、ヒストグラム２１８、又はこれらの何らかの組合せに適合してもよい。

フィンガープリント装置１３３が図１に記述されているように、複数のセグメントフィンガープリント１６４を作成するように構成されている場合には、特徴データ２０８は図１の複数のセグメント１３８の各々に対して抽出され、上述の方法と同様の方法で任意の数の数学モデル２１０に適合されることがある。具体的には、複数のセグメント１３８に対する特徴データ２０８は、任意の数の数学モデル２１０に適合され、複数のセグメント１３８内の各セグメントに適合したデータ２２８を形成することがある。

フィンガープリントマネージャ２０４は、一組のターゲットセグメント１５４に適合したデータ２２８を受信して、一組のフィンガープリント１５６を作成するように構成されている。一組のターゲットセグメント１５４内の各ターゲットセグメントに適合したデータ２２８は、一組のフィンガープリント１５６内の１つのフィンガープリントを形成するために使用される。例えば、ターゲットセグメント２３０に適合したデータ２２８はフィンガープリント２３２を形成するために使用される。１つの例示的な実施例では、ターゲットセグメント２３０は図１の移動オブジェクト１１６を表わす。その結果、フィンガープリント２３２は移動オブジェクト１１６のフィンガープリントとなる。

このように、一組のフィンガープリント１５６は図１の現行画像１２８に対して作成される。フィンガープリントマネージャ２０４は、図１の一連の画像１１０内の任意の数の後続画像１６２の処理に使用するため、任意の数のデータ構造１５８内の一組のフィンガープリント１５６を保存するように構成されている。例えば、一組のフィンガープリント１５６は、フィンガープリントデータベース１８０内の他のフィンガープリントと共に保存されてもよい。

フィンガープリントマネージャ２０４が、特徴解析装置２０２から図１の複数のセグメント１３８に適合したデータ２２８を受信すると、フィンガープリントマネージャ２０４は複数のセグメント１３８に適合したデータ２２８を使用して、複数のセグメントフィンガープリント１６４を作成する。フィンガープリントマネージャ２０４は、複数のセグメントフィンガープリント１６４を任意の数のデータ構造１５８に保存、及び／又は複数のセグメントフィンガープリント１６４を図１の画像セグメント装置１３０に送信してもよい。

図１の任意の数の後続画像１６２を処理している間に、図１の一又は複数の一組の移動オブジェクト１５５は部分的に遮蔽されること、又は見えなくなることがある。例えば、図１の移動オブジェクト１１６は、任意の数の後続画像１６２のうちの一又は複数で部分的に遮蔽されることがある。その結果、移動オブジェクト１１６はこれらの後続画像で検出できなくなることがある。しかしながら、移動オブジェクト１１６のフィンガープリント２３２を使用して、移動オブジェクト１１６の軌跡を再取得することができる。

例えば、図１の現行画像１２８の後の画像に対して新たに作成された新しいフィンガープリントは、一組のフィンガープリント１５６及びフィンガープリントデータベース１６０に保存されている既に作成済みの他の任意のフィンガープリントと比較されてもよい。この比較を利用して、任意の新しいフィンガープリントが、既にフィンガープリントが作成されている移動オブジェクトのものであるかどうかを判定することができる。

１つの例示的な実施例として、図１の任意の数の後続画像１６２内の１つは処理されて、この後続画像に対して新しいフィンガープリント２３４が作成されてもよい。この例示的な実施例では、フィンガープリントマネージャ２０４は新しいフィンガープリント２３４をフィンガープリントデータベース１６０に保存されている種々のフィンガープリントと比較して、新しいフィンガープリント２３４が既にフィンガープリントが作成されている移動オブジェクトのものであるかどうかを判定する。

例えば、フィンガープリントマネージャ２０４は、新しいフィンガープリント２３４をフィンガープリント２３２と比較してもよい。新しいフィンガープリント２３４が選択された許容誤差範囲内のフィンガープリント２３２に一致する場合、フィンガープリントマネージャ２０４は、新しいフィンガープリント２３４とフィンガープリント２３２が同一移動オブジェクト、すなわち移動オブジェクト１１６のものであると判定する。

幾つかの例示的な実施例では、フィンガープリントマネージャ２０４は、新しいフィンガープリント２３４とフィンガープリント２３２との平均値を求め、フィンガープリントデータベース１６０内のフィンガープリント２３２を置換する修正されたフィンガープリントを作成する。他の例示的な実施例では、フィンガープリントマネージャ２０４は、フィンガープリント２３２をフィンガープリントデータベース１６０内の新しいフィンガープリント２３４で置換する。このように、フィンガープリントは、移動オブジェクトを追跡し、図１の一連の画像１１０内の移動オブジェクトの軌跡を再取得する。

場合によっては、フィンガープリントマネージャ２０４は、静止オブジェクトを追跡するため、既に作成済みのフィンガープリントを使用するように構成されてもよい。例えば、場合によっては、フィンガープリントが既に作成済みの移動オブジェクトは、一連の画像１１０が生成される間、静止した状態になることがある。既に作成済みのフィンガープリントは、オブジェクトが移動していない場合であっても、当該オブジェクトを追跡し続けるために使用されることがある。

図１の画像処理環境１００及び図２のフィンガープリント１３３の図解は、例示的な実施形態が実装される方法に対する物理的又は構造的な制限を示唆することを意図していない。図示したコンポーネントに加えて又は代えて、他のコンポーネントを使用することができる。幾つかのコンポーネントは任意選択になることもある。また、幾つかの機能コンポーネントを図解するためにブロックが表示されている。例示的な実施形態において実装される場合、これらのブロックの一又は複数を、異なるブロックに統合、分割、或いは統合且つ分割することができる。

例えば、画像セグメント装置１３０、整合性チェッカー１３２、及びフィンガープリント装置１３３は、場合によっては全て同一モジュールの部品であってもよい。幾つかの例示的な実施例では、図２の任意の数の数学モデル２１０として、記述されているモデルに加えて、及び／又は代わりに他の数学モデルが使用されてもよい。他の例示的な実施例では、整合性チェッカー１３２は画像セグメント装置１３０の代わりに、マスター統計値１４４を生成するように構成されてもよい。

ここで図３を参照すると、例示的な実施形態による画像が図示されている。画像３００は、図１の撮像システム１０２などの撮像システムによって生成される画像の一例である。

具体的には、画像３００は、図１の一連の画像１１０の実装態様の一例である。さらに、画像３００は、図１の現行画像１２８の実装態様の一例である。図示されているように、画像３００は背景３０２及び一組の移動オブジェクト３０４を含む。画像３００の一組の移動オブジェクト３０４内の移動オブジェクトの実施例は、限定されるものではないが、車両３０６、３０８、３１０、及び３１２を含む。

ここで図４を参照すると、例示的な実施形態による運動画像が図示されている。運動画像４００は、図１の運動画像１３６の実装態様の一例である。図３の画像３００は、運動画像４００を形成するため、図１の運動検出装置１２４などの運動検出装置によって処理されてもよい。

図示されているように、画像４００は背景４０２及び一組の運動プロファイル４０２を含む。さらに、図３の画像３００の移動オブジェクト３０４は、運動画像４００内でも依然として見えている。背景４０２は、図３の画像３００の大局的運動に寄与する画像３００の一部を示している。画像３００の大局的運動は、例えば、画像３００のシーン全体の運動であってもよい。

一組の運動プロファイル４０４は、図１の一組の運動プロファイル１３５の実装態様の一例である。一組の運動プロファイル４０４の各々は、図３の局所的運動画像３００を表わす。局所的運動は、何らかの選択された閾値を超える画像３００の大局的運動とは異なる運動である。

一組の画像プロファイル４０４の運動プロファイルの実施例は、限定されるものではないが、運動プロファイル４０６、４０８、４１０、４１２、４１４、及び４１６を含む。この例示的な実施例では、運動プロファイル４０６、４０８、４１０、及び４１２は、それぞれ車両３０６、３０８、３１０、及び３１２の運動を含む局所的運動を表わす。これらの運動プロファイルは、これらの車両の運動が図３の画像３００で捕捉されるシーン全体の運動とは異なっていることを示している。運動画像４００の一部４１８は、下記の図５にさらに詳しく図示されている。

ここで図５を参照すると、例示的な実施形態による図４の運動画像４００の一部４１８の拡大ビューが図示されている。図示されているように、運動プロファイル４０８は運動画像４００の車両３０８の上に重ねられている。運動プロファイル４０８は、車両３０８の運動を含む局所的運動を表わしている。さらに、図解されているように、運動プロファイル４０８は、車両３０８の影を含む局所的運動も表わしている。

ここで図６を参照すると、例示的な実施形態によるセグメント化画像が図示されている。セグメント化画像６００は、図１のセグメント化画像１４０の実装態様の一例である。図３の画像３００は、セグメント化画像６００を形成するため、例えば、図１の画像セグメント装置１３０によって処理されてもよい。

図示されているように、セグメント化画像６００は複数のセグメント６０２を含む。複数のセグメント６０２は、図１の複数のセグメント１３８の実施態様の一例である。複数のセグメント６０２の各々は、一又は複数の隣接ピクセルを含む。複数のセグメント６０２の特定のセグメントを形成する隣接ピクセルは、同様な視覚的特性を共有する図３の画像３００の連続ピクセル３００に対応している。複数のセグメント６０２内の１つのセグメントを形成するピクセルはすべて、視覚的特性を表わす同一の値が割り当てられる。

複数のセグメント６０２内のセグメントの実施例は、限定されるものではないが、セグメント６０４、６０６、６０８、６１０、６１２、６１４、及び６１６を含む。これらのセグメントの各々は、図３の画像３００の特定の機能を表わすことがある。例えば、セグメント６０４は、図３の画像３００内で車両３０６、３０８、３１０、及び３１２が移動する道路を表わす。さらに、セグメント６０６及びセグメント６１４は、図３の画像３００の背景３０２にある草を表わす。

セグメント６０８は図３の車両３０６のボンネットを表わす。セグメント６１０は図３の車両３１０のボンネットを表わし、一方、セグメント６１２は車両３１０のフロントガラスを表わす。セグメント６１６は図３の画像３００の車両３１２による影を表わしている。セグメント化画像６００の一部６１８は、下記の図７にさらに詳しく図示されている。

ここで図７を参照すると、例示的な実施形態によるセグメント化画像６００の一部６１８が図示されている。図示されているように、セグメント化画像６００の複数のセグメント６０２内のセグメント７０２、７０４、７０６、及び７０８は、このビューではより明瞭に見える。

セグメント７０２は図３の画像３００の車両３０８の車体上部を表わしている。セグメント７０４は図３の車両３０８の少なくともボンネットの一部を表わしている。セグメント７０６は図３の画像３００の車両３０８による影を表わしている。さらに、セグメント７０８は図３の車両３０８の右ドアを表わしている。

ここで図８を参照すると、例示的な実施形態による移動セグメント画像が図示されている。図８では、移動セグメント画像８００は図１の移動セグメント画像１４５に対する実装態様の一例である。図４の移動画像４００及び図６のセグメント化画像６００は、例えば、図１の画像セグメント装置１３０によって統合されて、移動セグメント画像８００を形成している。

図示されているように、移動セグメント画像８００は背景セグメント８０２及び移動セグメント８０４を含む。移動セグメント８０４は、図４の運動画像４００の一組の運動プロファイル４０４によって重ね合わせられる、図６のセグメント化画像６００の複数のセグメント６０２のセグメントである。同一の運動プロファイルによって重ね合わせられるセグメントは、一体融合されてマスターセグメントを形成してもよい。

ここで図９を参照すると、例示的な実施形態によるマスター画像が図示されている。マスター画像９００は、図１のマスター画像１４３の実装態様の一例である。この例示的な実施例では、同一の運動プロファイルによって重ね合わせられる図８の移動セグメント画像８００内の移動セグメント８０４は、例えば、図１の画像セグメント装置１３０によって融合され、マスター画像９００の一組のマスターセグメント９０１を形成する。

一組のマスターセグメント９０１は、図１の一組のマスターセグメント１４２の実装態様の一例である。一組のマスターセグメント９０１内のマスターセグメントの実施例は、限定されるものではないが、マスターセグメント９０２、９０４、９０６、９０８、及び９１０を含む。これらのマスターセグメントの各々は、図４の一組の運動プロファイル４０４の同一の運動プロファイルに属する図８の移動セグメント画像８００の移動セグメントを含む。マスターセグメント９０４を含むマスター画像９００の一部９１２は、下記の図１０にさらに詳しく図示されている。

一組のマスターセグメント９０１の各マスターセグメントは、図３の画像３００の前に処理される画像に対して既に特定済みの一組のマスターセグメントと比較されることがある。この比較は、マスターセグメントが実際に移動オブジェクト、何らかの無関係な特徴、又は変形を表わしているかどうか判定するために利用されてもよい。

例えば、マスターセグメント９０２は、マスターセグメント９０２が移動オブジェクトを表わすかどうかを判定するために、先行画像に対して特定された一組のマスターセグメントと比較されてもよい。マスターセグメント９０２が既に特定済みの任意のマスターセグメントと一致しない場合には、マスターセグメント９０２が未検出の移動オブジェクト、変形、又は何らかの他の無関係な特徴を表わしているかどうか判定するために、解析が実施されることがある。

ここで図１０を参照すると、例示的な実施形態による図９のマスター画像９００の一部９１２の拡大ビューが図示されている。この例示的な実施例では、マスターセグメント９０４は、マスターセグメント９０４の輪郭１０００が図３の画像３００の車両３０８の輪郭と選択された許容誤差の範囲内で一致するように形成されてもよい。

ここで図１１を参照すると、例示的な実施形態による画像が図示されている。図１１では、画像１１００は、図１の撮像システム１０２などの撮像システムによって生成される画像の一例である。

具体的には、画像１１００は、図１の一連の画像１１０内の１つの画像に対する実装態様の一例である。さらに、画像１１００は、図１の現行画像１２８の実装態様の一例であってもよい。図示されているように、画像１１００は背景１１０２及び一組の移動オブジェクト１１０４を含む。画像１１００の一組の移動オブジェクト１１０４内の移動オブジェクトの実施例は、限定されるものではないが、車両１１０６、１１０８、１１１０、１１１２、１１１４、及び１１１６を含む。

ここで図１２を参照すると、例示的な実施形態によるマスター画像が図示されている。マスター画像１２００は、図１のマスター画像１４３の実装態様の一例である。図１１の画像１１００は、マスター画像１２００を形成するため、図１のオブジェクト追跡装置１２６によって処理されてもよい。

図示されているように、マスター画像１２００は背景１２０２及び一組のマスターセグメント１２０４を含む。一組のマスターセグメント１２０４は、マスターセグメント１２０６、１２０８、１２１０、１２１２、１２１４、及び１２１６を含む。この例示的な実施例では、マスターセグメント１２０６、１２０８、１２１０、１２１２、１２１４、及び１２１６は、それぞれ車両１１０６、１１０８、１１１０、１１１２、１１１４、及び１１１６を表わす。

一組のマスターセグメント１２０４内の各マスターセグメントは、セグメント化画像の複数のセグメントを融合することによって形成された。一組のマスターセグメント１２０４を形成するためにどのセグメントを融合すべきかという選択は、図１１の画像１１００よりも前に処理される画像に対して先行するフィンガープリントを使用して実施された。

ここで図１３を参照すると、例示的な実施形態による画像処理を実施するためのプロセスがフロー図の形態で図示されている。図１３に示されたプロセスは、図１の画像処理システム１０４を使用して実施可能である。

プロセスは、処理のため現行画像を受け取ることにより開始される（操作１３００）。たとえば、現行画像は、図１の現行画像１２８とすることができる。その後、現行画像の大局的運動及び現行画像の局所的運動が特定される（操作１３０２）。現行画像の大局的運動は現行画像の局所的運動から差し引かれて、運動画像が一組の運動プロファイルを含む運動画像を形成する（操作１３０４）。操作１３０２及び操作１３０４は、たとえば、図１の運動検出装置１２４を使用して実施される。

次に、現行画像は複数のセグメントに分割されて、セグメント化画像を形成する（操作１３０６）。操作１３０６は、たとえば、図１の画像セグメント装置１３０を使用して実施される。同一の運動プロファイルに属する複数のセグメント内のセグメントは、一体融合されて一組のマスターセグメントを形成する（操作１３０８）。その後、フィンガープリント化される一組のターゲットセグメントは、一組のマスターセグメントから特定される（操作１３１０）。操作１３１０では、一組のターゲットセグメント内の１つのターゲットセグメントは１つの移動オブジェクトを表わす。

次に、任意の数の後続画像（操作１３１２）内の移動オブジェクトの追跡に使用される一組のターゲットセグメント内の各ターゲットセグメントに対してフィンガープリントが作成され、その後プロセスは終了する。操作１３１２は、たとえば、図１〜２のフィンガープリント装置１３３を使用して実施される。フィンガープリント装置は、マスターセグメントの機能解析を実施することによって操作１３１０を実施してもよい。

次に図１４を参照すると、例示的な実施形態による一組のマスターセグメントから一組のターゲットセグメントを確定するためのプロセスがフロー図の形態で図解されている。図１４に図解されたプロセスは、図１３の操作１３１０が実装される方法の一実施例であってもよい。このプロセスは、例えば、図１の画像セグメント装置１３０及び整合性チェッカー１３２によって実施されてもよい。

一組のマスターセグメント内の各マスターセグメントに対してマスター統計値を生成することによってプロセスは開始される（操作１４００）。その後、処理のため一組のマスターセグメントから１つのマスターセグメントが選択される（操作１４０２）。

選択されたマスターセグメントは処理された先行画像に対して最もよく一致すると特定されたマスターセグメントにリンクされる（操作１４０４）。最もよく一致したマスターセグメントは、例えば、現行画像内の選択されたマスターセグメントの位置に最も近い先行画像の位置を有する既に特定済みのマスターセグメントであってもよい。言うまでもなく、他の例示的な実施例では、最もよく一致したマスターセグメントは、選択されたマスターセグメントに対して生成されたマスター統計値、及び先行画像について既に特定済みの一組のマスターセグメントに対して特定されたマスター統計値に基づいていてもよい。

次に、一組のマスターセグメント内に未処理のマスターセグメントがさらに存在するかどうかを判定する（操作１４０６）。追加の未処理のマスターセグメントが存在する場合には、上述のようにプロセスは操作１４０２に戻る。未処理のマスターセグメントが存在しない場合には、プロセスはリンクされた各セグメントペアの間で類似性スコアを計算する（操作１４０８）。この類似性スコアは、例えば、限定しないが、カルバック・ライブラー（ＫＬ）ダイバージェンス値であってもよい。

操作１４０８では、類似性スコアは、現行画像のマスターセグメントに対して、及び先行画像について既に特定済みのマスターセグメントに対して特定されたマスター統計値に基づいて計算されてもよい。幾つかの例示的な実施例では、類似性スコアは、現行画像に関しては任意の数の既に処理済の画像に対して計算される。

その後、選択された閾値範囲内の類似性スコアを有するマスターセグメントが一組のターゲットセグメントに追加され（操作１４１０）、その後プロセスは終了する。このように、既に特定済みのマスターセグメントと整合性のあるマスターセグメントのみがターゲットセグメントとして選択され、さらなる処理が行われる。

次に図１５を参照すると、例示的な実施形態によるフィンガープリント作成のプロセスがフロー図の形態で図解されている。図１５に図解されたプロセスは、図１３の操作１３１２が実装される方法の一実施例であってよい。このプロセスは図１〜２のフィンガープリント１３３を使用して実施されてもよい。

一組のマスターセグメント内の各マスターセグメントに対してターゲットピクセルを特定することによってプロセスは開始される（操作１５００）。ターゲットピクセルは他ゲットセグメント内にあるピクセルである。その後、一組のターゲットセグメント内の各ターゲットセグメントの各ターゲットピクセルに対して特徴データが特定される（操作１５０２）。ターゲットピクセルの特徴データは、例えば、彩度データ、ピクセル位置データ、エントロピーデータ、他のピクセルデータ、又は当該ターゲットピクセルに対する上記の組合せであってもよい。

適合したデータは、各ターゲットセグメントのターゲットピクセルに対して生成された特徴データに基づいて、一組のターゲットセグメント内の各ターゲットセグメントに対して生成される（操作１５０４）。次に、適合したデータに基づいて一組のターゲットセグメント内の各ターゲットセグメントに対してフィンガープリントが作成され（操作１５０６）、その後プロセスは終了する。操作１５０６では、一組のターゲットセグメントに対して一組のフィンガープリントが作成される。これらのフィンガープリントは、後続画像内の移動オブジェクトを今後検出し追跡するため保存される。

次に図１６を参照すると、例示的な実施形態による一組のマスターセグメントを形成するためのプロセスがフロー図の形態で図解されている。図１６に図解されたプロセスは、図１３の操作１３０８が実装される方法の一実施例であってもよい。このプロセスは図１〜２のフィンガープリント１３３を使用して実施されてもよい。

プロセスはセグメント化画像の複数のセグメントに対して複数のセグメントフィンガープリントを作成することによって開始される（操作１６００）。操作１６００では、複数のセグメント内の各セグメントに対して作成される。

１つの例示的な実施例では、各セグメントフィンガープリントを作成するためガウス共分散モデルが使用される。使用されるモデルは次のようになることがある。

ここでμ_Ｐは、セグメントＰ内の各ピクセルに対する特徴データ｛ａ、ｂ、Ｌ^ｅ、ａ^ｅ、ｂ^ｅ、ｕ、ｖ｝についての１行７列行列の平均値である。ΣＰは特徴データについての７行７列の全共分散行列である。ａ及びｂは各ピクセルに対する彩度コンポーネントで、彩度データとみなされている。εはエントロピーのフィルタ処理された値で、ｕ及びｖはピクセルの位置データである。具体的には、ｕは画像内のピクセルの水平位置で、ｖは画像内のピクセルの垂直位置である。

幾つかの例示的な実施例では、複数のセグメント内のすべてのセグメントがフィンガープリント化されるわけではない。複数のセグメント内の１つのセグメントがフィンガープリント化されているかどうかを判定するため、一組の基準が使用されることがある。これらの基準は、例えば、限定しないが、セグメント内の任意の数のピクセルが１２を超えること、１つのセグメント内のすべてのピクセルに対して特徴データが一定でないこと、セグメントはピクセル単位で２以上の高さ及び幅を有すること、画像のエッジとセグメントとの間のピクセル単位での距離は少なくとも選択された閾値であること、セグメントはピクセル単位で画像全体の大きさの半分未満であること、及び／又は他のタイプの基準を含みうる。

その後、セグメント化画像の背景に対して背景フィンガープリントが作成される（操作１６０２）。操作１６０２では、セグメント化画像の背景は、複数のセグメントを除いた画像のすべての部分であってもよい。背景フィンガープリントはまた、ガウス共分散モデルを使用して作成されてもよい。

各セグメントフィンガープリントは、一組の適合したセグメントフィンガープリントを形成するため、背景フィンガープリントに加えて一組の先行するセグメントフィンガープリントに対して適合される（操作１６０４）。操作１６０４では、この適合は任意の数の異なる方法で実行されてもよい。例えば、類似性スコアを使用して、操作１６０４のマッチングを実施してもよい。場合によっては、画像登録はマッチング操作１６０４を実施するために利用される。

１つの例示的な実施例では、各セグメントフィンガープリントと既に特定済みのセグメントフィンガープリントとの間のカルバック・ライブラーダイバージェンス値が計算される。選択された閾値を下回るカルバック・ライブラーダイバージェンス値を有する一組の先行するセグメントフィンガープリントの１つに一致する各セグメントフィンガープリントは、一組の一致したセグメントフィンガープリントに追加されてもよい。選択された閾値を下回るカルバック・ライブラーダイバージェンス値を有する背景フィンガープリントに一致する各セグメントフィンガープリントは、一組の一致したセグメントフィンガープリントに追加されてもよい。

その後、プロセスは、一組の一致したセグメントフィンガープリント内で互いに一致し、互いに隣接するセグメントフィンガープリントに対応するセグメントを一体融合して、一組のマスターセグメントを形成し（操作１６０６）、その後プロセスは終了する。例えば、操作１６０６では、第１セグメントと第２セグメントにそれぞれ対応し、互いに隣接している一組の一致したセグメントフィンガープリント内の第１セグメントフィンガープリントと第２セグメントフィンガープリントが特定される。第１セグメントフィンガープリントと第２セグメントフィンガープリントとの間の類似性スコアが選択された閾値の範囲内に入っているかどうかが判定されることがある。

第１セグメントフィンガープリントと第２セグメントフィンガープリントとの間の類似性スコアが選択された閾値の範囲内に入っているという判定に対応して、第１セグメントと第２セグメントが一体融合されることがある。操作１６０６では、第１セグメントと第２セグメントは少なくとも１つに融合されて、一組のマスターセグメントに追加され、一組のマスターセグメント内の既存のマスターセグメントに融合されて新しいマスターセグメントを形成する。

図示されている種々の実施形態のフロー図及びブロック図は、例示的な実施形態で実装可能な装置及び方法の構造、機能、及び操作を示している。これに関し、フロー図又はブロック図の各ブロックは、１つの操作又はステップの１つのモジュール、セグメント、機能及び／又は部分を表わすことができる。例えば、一又は複数のブロックは、ハードウェア内のプログラムコードとして、又はプログラムコードとハードウェアの組合せとして実装可能である。ハードウェアにおいて実装される場合、ハードウェアは、例えば、フロー図又はブロック図の一又は複数のプロセスを実施するように製造又は構成された集積回路の形態をとることができる。

例示的な実施形態の幾つかの代替的な実装態様では、ブロックに記載された一又は複数の機能は、図中に記載の順序を逸脱して現れることがある。例えば、場合によっては、連続して示されている二つのブロックがほぼ同時に実行されること、又は時には含まれる機能によってはブロックが逆順に実施されることもありうる。また、フロー図又はブロック図に描かれているブロックに加えて他のブロックが追加されることもありうる。

ここで図１７を参照すると、例示的な実施形態によりデータ処理システムがブロック図の形態で図示されている。この例示的な実施例では、データ処理システム１７００を使用して、図１のコンピュータシステム１２２に一又は複数のコンピュータを実装することができる。

この例示的な実施例では、データ処理システム１７００は通信フレームワーク１７０２を含み、これによりプロセッサ装置１７０４、メモリ１７０６、固定記憶域１７０８、通信装置１７１０、入出力装置１７１２、及びディスプレイ１７１４の間の通信を可能にする。通信フレームワーク１７０２は、幾つかの実施例ではバスシステムとして実装されてもよい。

プロセッサ装置１７０４は、任意の数の命令を実施するためメモリ１７０６に読込まれるソフトウェアのための命令を実行するように働く。プロセッサユニット１７０４は、特定の実装形態に応じて、任意の数のプロセッサ、マルチプロセッサコア、又は他のタイプのプロセッサであってもよい。場合によっては、プロセッサ装置１７０４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス、又は他の好適なタイプのハードウェアなどのハードウェア装置の形態をとってもよい。

幾つかの場合には、運動検出装置１２４及び／又はオブジェクト追跡装置１２６は、プロセッサ装置１７０４内のプロセッサとして実装されうる。さらに、図１の画像セグメント装置１３０、整合性チェッカー１３２、及びフィンガープリント装置１３３は、プロセッサ装置１７０４の一又は複数のプロセッサ内のモジュールとして実装されうる。

メモリ１７０６及び固定記憶域１７０８は、記憶デバイス１７１６の例である。記憶デバイス１７１６は、通信フレームワーク１７０２を介してプロセッサ装置１７０４と通信を行ってもよい。記憶デバイスはまた、コンピュータ可読記憶デバイスと呼ばれることもあるが、例えば、限定しないが、機能的な形態のプログラムコード、及び／又は他の好適な情報などの情報を、一時的及び／又は永続的に保存することができるハードウェアの任意の部分である。メモリ１７０６は、たとえば、ランダムアクセスメモリ又は任意の他の好適な揮発性または不揮発性の記憶デバイスであってもよい。

固定記憶域１７０８は、具体的な実装に応じて様々な形態を取り、任意の数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域１７０８は、ハードドライブ、フラッシュメモリ、書換え型光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせであってもよい。実装に応じて、固定記憶域１７０８によって使用される媒体は着脱式であってもよく、着脱式でなくてもよい。

通信装置１７１０はこれらの実施例では、他のデータ処理システム又はデバイスとの通信を行う。通信装置１７１０は、物理的通信リンク及び無線通信リンクのいずれか一方又は両方を使用することによって、通信を提供することができる。

入出力ユニット１７１２は、データ処理システム１７００に接続される他のデバイスとのデータの入出力を可能にする。例えば、入出力ユニット１７１２は、キーボード、マウス、及び／又は他の何らかの好適な入力デバイスを介してユーザー入力への接続を提供すること、及び／又はプリンタへ出力を送ることができる。ディスプレイ１７１４はユーザーに情報を表示する機構を提供する。

オペレーティングシステム、アプリケーション、及び／又はプログラムに対する命令は、固定記憶域１７１６上に配置される。異なる実施形態のプロセスは、コンピュータに実装される命令を使用してプロセッサ装置１７０４によって実施されてもよい。これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータ可読プログラムコードと呼ばれ、プロセッサ装置１７０４内の一又は複数のプロセッサによって読取及び実行される。

これらの実施例では、プログラムコード１７１８は、選択的に着脱可能でコンピュータで読取可能な媒体１７２０上に機能的な形態で配置され、プロセッサ装置１７０４での実行用のデータ処理システム１７００に読込み又は転送することができる。プログラムコード１７１８及びコンピュータ可読媒体１７２０は、これらの実施例ではコンピュータプログラム製品１７２２を形成する。幾つかの例示的な実施例では、運動検出装置１２４及び／又はオブジェクト追跡装置１２６は、コンピュータプログラム製品１７２２内に具現化されうる。場合によっては、図１の画像セグメント装置１３０、整合性チェッカー１３２、及びフィンガープリント装置１３３は、プログラムコード１７１８内のソフトウェアモジュールとして実装されてもよい。

コンピュータ可読媒体１７２０は、コンピュータ可読記憶媒体１７２４又はコンピュータ可読信号媒体１７２６であってもよい。コンピュータ可読記憶媒体１７２４は、プログラムコード１７１８を伝搬又は転送する媒体よりはむしろプログラムコード１７１８を保存するために使用される物理的な又は有形の記憶デバイスである。コンピュータ可読記憶媒体１７２４は、例えば、限定しないが、データ処理システム１７００に接続される光又は磁気ディスク或いは固定記憶デバイスの形態をとりうる。

代替的には、プログラムコード１７１８は、コンピュータ可読信号媒体１７２６を使用してデータ処理システム１７００に転送されてもよい。コンピュータで読取可能な信号媒体１７２６は、例えば非限定的に、プログラムコード１７１８を含む伝播されたデータ信号であってもよい。このデータ信号は、物理的及び／又は無線の通信リンクを介して伝送されうる、電磁信号、光信号、及び／又は他の何らかの好適なタイプの信号であってもよい。

データ処理システム１７００に例示されている種々のコンポーネントは、アーキテクチャ的に制限することを意図したものではなく、種々の実施形態が実装可能である。種々の例示的な実施形態は、データ処理システム１７００に対して図解されているコンポーネントに対して追加的又は代替的なコンポーネントを含むデータ処理システム内に実装される。図１７に示した他のコンポーネントは、示されている例示的な実施例と異なることがある。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを使用して実装することができる。１つの実施例として、データ処理システムは無機コンポーネントと一体化した有機コンポーネントを含むことができ、及び／又は人間を除く有機コンポーネントを完全に含むことができる。例えば、記憶デバイスは有機半導体を含んでいてもよい。

種々の例示的な実施形態の説明は、例示及び説明を目的として提供されているものであり、網羅的な説明であること、又は開示された形態に実施形態を限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。

さらに、種々の例示的な実施形態は、他の例示的な実施形態とは異なる特徴を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。

３００ 画像
３０２ 背景
３０４ 移動オブジェクト
３０６、３０８、３１０、３１２ 車両
４００ 運動画像
４０２ 背景
４０４ 画像プロファイル
４０６、４０８、４１０、４１２、４１４、４１６ 運動プロファイル
４１８ 運動画像の一部
６００ セグメント化画像
６０２、６０４、６０６、６０８、６１０、６１２、６１４、６１６ セグメント
６１８ セグメント化画像の一部
７０２、７０４、７０６、７０８ セグメント
８００ 移動セグメント画像
８０２ 背景セグメント
８０４ 移動セグメント
９００ マスター画像
９０１、９０２、９０４、９０６、９０８、９１０ マスターセグメント
９１２ マスター画像の一部
１０００ 輪郭
１１００ 画像
１１０２ 背景
１１０４ 移動オブジェクト
１１０６、１１０８、１１１０、１１１２、１１１４、１１１６ 車両
１２００ マスター画像
１２０２ 背景
１２０４、１２０６、１２０８、１２１０、１２１２、１２１４、１２１６ マスターセグメント

Claims (10)

1. 一連の画像（１１０）内の現行画像（１２８）の局所的運動及び大局的運動を特定し、前記現行画像（１２８）の前記局所的運動から前記大局的運動を差し引いて、一組の運動プロファイルを有する運動画像（１３６）を形成するように構成されている運動検出装置（１２４）と、
   前記一連の画像（１１０）内の前記現行画像（１２８）を複数のセグメント（１３８）に分割してセグメント化画像（１４０）を形成し、且つ同一の運動プロファイルに属する複数のセグメント（１３８）内のセグメントを一体融合して一組のマスターセグメント（１４２）を形成するように構成されている画像セグメント装置（１３０）と、
   前記現行画像（１２８）内の一組の移動オブジェクト（１５５）を表わす一組のターゲットセグメント（１５４）を一組のマスターセグメント（１４２）から特定するように構成されている整合性チェッカー（１３２）と、
   前記一組のターゲットセグメント（１５４）に対して、一組のフィンガープリント（１５６）を作成するように構成されたフィンガープリント装置（１３３）であって、前記一組のフィンガープリント（１５６）は、前記一連の画像（１１０）内の任意の数の後続画像（１６２）内の前記一組の移動オブジェクト（１５５）の追跡に使用される、フィンガープリント装置（１３３）と、を備え、
   前記フィンガープリント装置（１３３）は、前記複数のセグメント（１３８）に対して、複数のセグメントフィンガープリント（１６４）を作成するように構成され、前記複数のセグメントフィンガープリント（１６４）の各々は、前記複数のセグメント（１３８）の１つに対応するセグメントのフィンガープリントであり、
   前記画像セグメント装置（１３０）は、前記現行画像（１２８）に先行する先行画像（１３４）に対する複数のセグメントフィンガープリント（１６６）の各々に一致するセグメントフィンガープリントを有し、同一の運動プロファイルに属する、前記現行画像（１２８）に対する前記複数のセグメント（１３８）内の隣接するセグメントを一体融合することによって、前記一組のマスターセグメント（１４２）を形成するように構成されている、画像処理システム（１０４）。
2. 前記整合性チェッカー（１３２）は、前記マスターセグメント（１５２）に対して生成されたマスター統計値（１４４）に基づいて、前記一組のマスターセグメント（１４２）内のマスターセグメント（１５２）は前記一組のターゲットセグメント（１５４）に追加されるかどうかを判定するようにさらに構成されている、請求項１に記載の画像処理システム（１０４）。
3. 前記画像セグメント装置（１３０）は、前記マスターセグメント（１５２）に対してセグメントデータ（１４６）を生成すること及び前記セグメントデータ（１４６）を数学モデル（１４８）に適合することによって、前記マスターセグメント（１５２）に対して前記マスター統計値（１４４）を生成するように構成されている、請求項２に記載の画像処理システム（１０４）。
4. 前記数学モデル（１４８）は一般化した線形モデル（２１２）である、請求項３に記載の画像処理システム（１０４）。
5. 前記フィンガープリント装置（１３３）は、前記一組のターゲットセグメント（１５４）内のターゲットセグメント（２３０）の特徴解析（２０６）を実施して、前記一組のフィンガープリント（１５６）に追加される前記ターゲットセグメントのフィンガープリント（２３２）を形成し、
   前記一組のターゲットセグメント（１５４）内の各ターゲットセグメント（２３０）に対して特徴データ（２０８）を特定し、適合データ（２２８）を生成するため前記特徴データ（２０８）を任意の数の数学モデル（２１０）に適合し、前記適合データ（２２８）を使用して前記一組のフィンガープリント（１５６）を作成するように、さらに構成されており、
   前記任意の数の数学モデル（２１０）は、空間的に一般化した線形モデル（２１２）、特徴のみを一般化した線形モデル（２１４）、スパシオグラム（２１６）、及びヒストグラム（２１８）のうちの少なくとも１つを含む、
   請求項１に記載の画像処理システム（１０４）。
6. 一連の画像（１１０）内の移動オブジェクト（１５５）を追跡するためのコンピュータ実装方法であって、該コンピュータ実装方法は、
   前記一連の画像（１１０）内の現行画像（１２８）の局所的運動と大局的運動を特定し、前記局所的運動から前記大局的運動を差し引いて、一組の運動プロファイル（１３５）を含む運動画像（１３６）を形成することと、
   前記一連の画像（１１０）内の前記現行画像（１２８）を複数のセグメント（１３８）に分割することと、
   前記複数のセグメント（１３８）に対して、複数のセグメントフィンガープリント（１６４）を作成することであって、前記複数のセグメントフィンガープリント（１６４）の各々は、前記複数のセグメント（１３８）の１つに対応するセグメントのフィンガープリントである、複数のセグメントフィンガープリント（１６４）を作成することと、
   前記現行画像（１２８）に先行する先行画像（１３４）に対する複数のセグメントフィンガープリント（１６６）の各々に一致するセグメントフィンガープリントを有し、同一の運動プロファイルに属する、前記現行画像（１２８）に対する前記複数のセグメント（１３８）内の隣接するセグメントを一体融合して一組のマスターセグメント（１４２）を形成することと、
   前記現行画像（１２８）内の一組の移動オブジェクト（１５５）を表わす一組のターゲットセグメント（１５４）を前記一組のマスターセグメント（１４２）から特定することと、
   前記一組のターゲットセグメント（１５４）に対して、一組のフィンガープリント（１５６）を作成することと、を含み、
   前記一組のフィンガープリント（１５６）は、前記一連の画像（１１０）内の任意の数の後続画像（１６２）内の前記一組の移動オブジェクト（１５５）の追跡に使用される、コンピュータ実装方法。
7. 前記一組のマスターセグメント（１４２）から前記一組のターゲットセグメント（１５４）を特定することは、
   前記一組のマスターセグメント（１４２）内のマスターセグメント（１５２）に対してマスター統計値（１４４）を生成することと、
   前記マスターセグメント（１５２）に対する前記マスター統計値（１４４）に基づいて、前記一組のターゲットセグメント（１５４）に前記マスターセグメント（１５２）が追加されるかどうかを判定することとを含み、
   前記一組のマスターセグメント（１４２）内の前記マスターセグメント（１５２）に対して前記マスター統計値（１４４）を生成することは、
   前記マスターセグメント（１５２）に対してセグメントデータ（１４６）を生成することと、
   数学モデル（１４８）に前記セグメントデータ（１４６）を適合して、前記マスターセグメント（１５２）に対して前記マスター統計値（１４４）を生成することとを含み、
   前記セグメントデータ（１４６）を前記数学モデル（１４８）に適合して、前記マスターセグメント（１５２）に対して前記マスター統計値（１４４）を生成することは、
   一般化した線形モデル（２１２）である前記数学モデル（１４８）に前記セグメントデータ（１４６）を適合して、前記マスターセグメント（１５２）に対する前記マスター統計値（１４４）を生成することを含む、
   請求項６に記載のコンピュータ実装方法。
8. 前記一連の画像（１１０）内の前記任意の数の後続画像（１６２）内の前記一組の移動オブジェクト（１５５）の追跡に使用するために前記一組のフィンガープリント（１５６）を作成することは、
   前記一組のターゲットセグメント（１５４）内のターゲットセグメント（２３０）の特徴解析（２０６）を実施して、前記ターゲットセグメント（２３０）に対して前記一組のフィンガープリント（１５６）内にフィンガープリント（２３２）を形成することを含む、請求項６に記載のコンピュータ実装方法。
9. 前記一連の画像（１１０）内の前記任意の数の後続画像（１６２）内の前記一組の移動オブジェクト（１５５）の追跡に使用するために前記一組のフィンガープリント（１５６）を作成することは、
   前記一組のターゲットセグメント（１５４）内の各ターゲットセグメント（２３０）に対して特徴データ（２０８）を特定することと、
   前記特徴データ（２０８）を任意の数の数学モデル（２１０）に適合して、適合データ（２２８）を生成することと、
   前記適合データ（２２８）を使用して前記一組のフィンガープリント（１５６）を作成することとを含み、
   前記特徴データ（２０８）を前記任意の数の数学モデル（２１０）に適合して、前記適合データ（２２８）を生成することは、
   空間的に一般化した線形モデル（２１２）、特徴のみを一般化した線形モデル（２１４）、スパシオグラム（２１６）、及びヒストグラム（２１８）のうちの少なくとも１つを含む前記任意の数の数学モデル（２１０）に前記特徴データ（２０８）を適合して前記適合データ（２２８）を生成することを含む、請求項６に記載のコンピュータ実装方法。
10. 前記一連の画像（１１０）内の任意の数の後続画像（１６２）内で、前記一組の移動オブジェクト（１５５）の追跡に使用するために一組のフィンガープリント（１５６）を作成することを含んで、一連の画像（１１０）内の移動オブジェクト（１５５）を追跡するための方法を実施するように構成されている、請求項３に記載の画像処理システム（１０４）。