JP6708368B2 - 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム - Google Patents

Description

本発明は、変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステムに関する。

映像分析を介した車両追跡は、いくつかの輸送用途に関連している。これらの用途は、これらに限定されるものではないが、とりわけ、路上駐車占有検出、合流ポイントにおける自動車両順序付け、短期駐車違反検出及びドライブスルー車両追跡を含むことができる。これら全ての用途における一般的な課題は、シーン内の他の車両に起因する部分的な隠蔽である。これらのアプリケーションのいくつかにおいて、カメラの設置に柔軟性がある場合、隠蔽の問題は、例えば、十分に高いカメラを設置するか又は道路を横切る代わりに道路に沿って監視するためにカメラを設置することにより、カメラのジオメトリ及び構造を最適化することによって回避又は軽減される。他のいくつかにおいては、しかしながら、場所の基盤となるインフラストラクチャは、カメラのジオメトリ及び構造に制限をもたらし、したがって、カメラの構造を最適化することができない。これらの設定において、部分的な隠蔽は、堅牢で信頼性の高い車両追跡のためになお課題である。

本開示の１つの実施形態において、撮像装置によって撮像されたシーン内の部分的に隠蔽した物体を追跡するコンピュータ実装方法において、ａ）撮像装置を介して連続的に関心領域を監視することと、ｂ）撮像装置によって撮像された候補フレームを識別することであり、候補フレームの１つ以上が１つ以上の定義されたＲＯＩ（関心領域）内の車両を含むことと、ｃ）トレーニングサンプルのセットの非隠蔽部分から抽出された特徴を使用してトレーニングされた１つ以上の分類器を使用して候補フレームのうちの１つ以上における車両の非隠蔽部分を検出することと、ｄ）複数の映像フレームにわたって車両の非隠蔽部分を追跡することとを備える、方法が記載されている。

本開示の他の実施形態において、メモリと、メモリと動作可能に関連付けられ、シーンのディジタル画像を受信して撮像装置によって撮像されたシーン内の部分的に隠蔽された物体を追跡する方法を行うための命令を実行するように構成されたプロセッサとを備え、方法が、ａ）撮像装置を介して連続的に関心領域を監視することと、ｂ）撮像装置によって撮像された候補フレームを識別することであり、候補フレームの１つ以上が１つ以上の定義されたＲＯＩ（関心領域）内の車両を含むことと、ｃ）トレーニングサンプルのセットの非隠蔽部分から抽出された特徴を使用してトレーニングされた１つ以上の分類器を使用して候補フレームのうちの１つ以上における車両の非隠蔽部分を検出することと、ｄ）複数の映像フレームにわたって車両の非隠蔽部分を追跡することとを備える、画像処理システムが記載されている。

本開示のさらに他の実施形態において、イベント順序を更新するシステムであって、プロセッサと通信するメモリ及びプロセッサを含む自動順序付け装置を備え、プロセッサが、各画像ソースが画像平面と関連付けられた少なくとも１つの画像ソースからキュー領域の映像データを取得し、対象がキュー領域における複数のキューのうちの１つに位置するときに各イベント要求が受信される多数の個々のイベント要求を複数の対象から受信し、弾性変形モデルを使用して映像データを処理し、各開始ポイントが映像データにおける複数のキューのうちの１つと関連付けられた位置に対応するような複数の開始ポイントのうちの少なくとも１つに位置する対象を検出し、後続の一連のフレームにわたってキュー領域を通る各検出対象の移動を追跡し、追跡された対象の位置が、キュー領域における複数のキューが単一のキューレーンに収束する画像平面上での所定の合流ポイントに到達したかどうかを判定し、追跡された対象が所定の合流ポイントに到達したのに応じて、追跡された対象が既に合流ポイントを過ぎた及び単一のキューレーンにおける終了イベントポイントに接近する他の対象に対して位置する観察順序を算出し、単一のキューレーンにおける対象の観察順序と一致するようにイベントの順序を更新するように構成されている、システムが記載されている。

図１は、隣り合ったドライブスルーレーンと関連付けられた車間隠蔽の例を図示している。 図２は、隣り合ったドライブスルーレーンと関連付けられた車間隠蔽の例を図示している。 図３は、本開示の例示的な実施形態にかかる、隣り合ったドライブスルーレーンについての（離れた）注文ポイントＡについて定義されたＲＯＩ（関心領域）を図示している。 図４は、本開示の例示的な実施形態にかかる、隣り合ったドライブスルーレーンについての（近い）注文ポイントＢについて定義されたＲＯＩを図示している。 図５は、本開示の例示的な実施形態にかかる注文ポイントＡについて定義されたＲＯＩを横断する車両についてモデル化した車両上部及び車両側面を図示している。 図６は、本開示の例示的な実施形態にかかる注文ポイントＢについて定義されたＲＯＩを横断する車両についてモデル化した車両上部及び車両側面を図示している。 図７は、本開示の例示的な実施形態にかかる、検出車両の部分と、注文ポイントＡについて定義されたＲＯＩを横断する車両についての関連する検出ランドマークを図示している。 図８は、本開示の例示的な実施形態にかかる、検出車両の部分と、注文ポイントＢについて定義されたＲＯＩを横断する車両についての関連する検出ランドマークを図示している。 図９は、本開示にかかる注文順序を更新する方法の概要を記載するフローチャートである。 図１０は、複数の対象が合流されたキューレーンに移行する順序に一致する注文順序を自動的に生成する視覚ベースシステムの概略図である。 図１１Ａは、複数の対象が複数のキューから単一のキューに合流する順序に一致するイベント順序を自動的に生成する方法を説明する詳細なフローチャートである。 図１１Ｂは、複数の対象が複数のキューから単一のキューに合流する順序に一致するイベント順序を自動的に生成する方法を説明する詳細なフローチャートである。 図１２は、カメラの視野内のキュー領域を含むサンプル画像フレームを示している。 図１３は、図１２に示される画像フレームについて生成されたサンプルマスクを示している。

本開示は、車両追跡のための部分的な隠蔽の影響を軽減する方法及びシステムを提供する。本方法及びシステムは、車両の非隠蔽部分、例えば、シーン内において他の車両によって通常隠蔽されない車両の上部を追跡開始し、車両追跡プロセスは、動き／前景ブロブ特性を使用して車両のランダム部分について車両追跡部を開始する代わりに、車両の上部が関心領域内で検出された後に開始することができる。そして、車両追跡部は、車両が移動するときに映像フレームの順序にわたって検出された車両の一部を追跡する。車両の特定の部分の検出は、弾性変形モデルを使用することによって達成することができる。Ｘ． Ｚｈｕ， Ｄ． Ｒａｍａｎａｎ， “Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ， Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ， ａｎｄ Ｌａｎｄｍａｒｋ Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｔｈｅ Ｗｉｌｄ”， ２０１２ ＣＶＰＲを参照のこと。弾性変形モデルは、トレーニングのためにオフライン段階が必要である。オフライントレーニング段階中に、例示的な実施形態によれば、１４の異なるランドマークが検出対象の車両の非隠蔽部分に位置している。変形可能モデルは、トレーニング画像のセットについて配置されたランドマークを使用してトレーニングされる。動作段階中に、候補フレームは、関心領域（ＲＯＩ）内の動き／前景ブロブ特性に基づいて最初に検出される。ＲＯＩ内の車両の存在を示す候補フレームが識別された後に、車両の非隠蔽部分は、オフライン段階中に展開された、トレーニングされた変形可能モデルを使用して検出される。そして、車両追跡部は、車両の被検出部を追跡するために初期化され、車両追跡部は、カメラのＦＯＶの外に移動するまで車両を追跡し続ける。

本開示及び本願明細書に記載された例示的な実施形態は、１つ以上の追跡車両の部分的隠蔽に適合する車両追跡方法及びシステムを含む映像分析を適用する。具体的には、本願明細書に記載された例示的な実施形態は、通常は顧客注文及び取得のためにいくつかのレストランによって設けられる隣り合った車両ドライブスルーと関連付けられ、そこで顧客は、運転する車両に残りながら、食品を注文し、注文した食品の支払いを行い、注文した食品を取得する。記載される例示的な実施形態は、ドライブスルーに関連するが、部分的隠蔽物体の苦しみを提供する開示された映像分析は、背景技術において述べたものなどの他の輸送用途に限定されるものではないことが理解されることになっている。

従来の構造に対するその増加した顧客のスループットに起因して、隣り合ったドライブスルー構造は、その多くの既存のレストランが移行している構造とともに、新規に構築されたレストランが付随する標準構造となっている。顧客が到着し、行列が長すぎるか又は予定よりも長く待つ必要があり、そのため去る決断をする「走り去り」の発生の数を低減することにより、隣り合ったドライブスルー構造は、レストランが達成可能な時間率あたりの最大ドライブスルー顧客に関して利点を有するが、レストラン経営者に新たな課題を提示している。１つのそのような課題は、車両は、隣り合った構造の並列性質に起因して、ドライブスルー顧客によって注文が出された時間と顧客が注文した商品を受領した時間との間でシャッフルされるようになることができることから、正しい顧客注文順序の判定である。「署名ベースのドライブスルー注文追跡システム及び方法（ＳＩＧＮＡＴＵＲＥ ＢＡＳＥＤ ＤＲＩＶＥ−ＴＨＲＯＵＧＨ ＯＲＤＥＲ ＴＲＡＣＫＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ）」と名称が付されたＫｏｚｉｔｓｋｙらに対する２０１３年３月１９日に付与された米国特許第８，４０１，２３０号明細書と、「映像からの低速条件のもとでの車両の自動順序付けシステム及び方法（ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＴＯＭＡＴＥＤ ＳＥＱＵＥＮＣＩＮＧ ＯＦ ＶＥＨＩＣＬＥ ＵＮＤＥＲ ＬＯＷ ＳＰＥＥＤ ＣＯＮＤＩＴＩＯＮＳ ＦＲＯＭ ＶＩＤＥＯ）」と名称が付されたＧｒｏｓｓらによる２０１３年８月２３日に提出された米国特許出願第１３／９７５，２４５号と、「目的レーンに合流する移動物体の元レーンの判定（ＤＥＴＥＲＭＩＮＩＮＧ ＳＯＵＲＣＥ ＬＡＮＥ ＯＦ ＭＯＶＩＮＧ ＩＴＥＭ ＭＥＲＧＩＮＧ ＩＮＴＯ ＤＥＳＴＩＮＡＴＩＯＮ ＬＡＮＥ）」と名称が付されたＬｏｃｅらによる２０１３年９月９日に提出された米国特許出願第１４／０２２，４８８号とを参照のこと。ラインが注文コンソールを有する２つの別個のレーンに分割する単一レーンとして開始し、２つのレーンが支払い及び取得のために単一のレーンに再度合流することから、２つの別個の注文ポイント及びレーンの再合流は、注文がとられた順序と支払い及び取得カウンタに到着する車両の順序との間のミスマッチを引き起こす可能性がある。この「順序逸脱（ｏｕｔ ｏｆ ｓｅｑｕｅｎｃｉｎｇ）」は、顧客への誤った勘定及び／又は顧客への誤った食品の供給をもたらすことがあり、顧客の不満に大きく貢献する。供給順序の精度が維持されている場合であっても、これらの順序逸脱現象は、キューにおける車両と一致するように従業員が注文を再順序付けすることが必要とされることから、かなりの時間の消失、すなわち非効率性をもたらす。

各注文ポイントにおいて車両を特定し、合流ポイントを介して特定された車両を追跡するためにビデオカメラを使用して合流後順序を正確に判定する自動化された方法は、全体的な合流順序付け精度を維持するために正確で信頼性の高い追跡を必要とする。合流ポイント領域に対するビデオカメラの視野角に応じて、正確に追跡する車両は、車両１２が車両１０を部分的に隠蔽する図１及び図２に図示されたように他のレーン（通常はカメラから遠いレーン）における車両を部分的に隠蔽する１つのレーン（通常はカメラに近いレーン）における車両に起因して困難であることがある。

自動合流ポイント注文判定に関連する開示に関連する他の特許は、以下を含む。

「署名ベースのドライブスルー注文追跡システム及び方法（ＳＩＧＮＡＴＵＲＥ ＢＡＳＥＤ ＤＲＩＶＥ−ＴＨＲＯＵＧＨ ＯＲＤＥＲ ＴＲＡＣＫＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ）」と名称が付されたＫｏｚｉｔｓｋｙらに対する２０１３年３月１９日に付与された米国特許第８，４０１，２３０号明細書。

「映像からの低速条件のもとでの車両の自動順序付けシステム及び方法（ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＴＯＭＡＴＥＤ ＳＥＱＵＥＮＣＩＮＧ ＯＦ ＶＥＨＩＣＬＥ ＵＮＤＥＲ ＬＯＷ ＳＰＥＥＤ ＣＯＮＤＩＴＩＯＮＳ ＦＲＯＭ ＶＩＤＥＯ）」と名称が付されたＧｒｏｓｓらによる２０１３年８月２３日に提出された米国特許出願第１３／９７５，２４５号。

「目的レーンに合流する移動物体の元レーンの判定（ＤＥＴＥＲＭＩＮＩＮＧ ＳＯＵＲＣＥ ＬＡＮＥ ＯＦ ＭＯＶＩＮＧ ＩＴＥＭ ＭＥＲＧＩＮＧ ＩＮＴＯ ＤＥＳＴＩＮＡＴＩＯＮ ＬＡＮＥ）」と名称が付されたＬｏｃｅらによる２０１３年９月９日に提出された米国特許出願第１４／０２２，４８８号。

本開示は、車両追跡における部分的隠蔽の影響を軽減する方法及びシステムを記載している。本方法は、ＲＯＩ（画像フレーム／シーンと関連付けられた関心領域）において通常はシーン内の他の車両によって隠蔽されない車両の特定部分、例えば、車両の上部を検出する車両追跡部を初期化することによって部分的隠蔽を処理する。そして、車両追跡部は、複数のフレームにわたって車両の検出部分を追跡する。車両追跡部は、特徴のセット（例えば、ＳＩＦＴ、ＳＵＲＦ、ＨＯＧ、ＳＭＱＴなど）を抽出し、１つ以上の分類器（例えば、ＳＶＭ、ＳＮＯＷ、ニューラルネットワークなど）をトレーニングすることにより、１つ以上の方法を使用することによって車両の特定部分の検出を行い、１つの方法は、Ｘ． Ｚｈｕ， Ｄ． Ｒａｍａｎａｎ， “Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ， Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ， ａｎｄ Ｌａｎｄｍａｒｋ Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｔｈｅ Ｗｉｌｄ”， ２０１２ ＣＶＰＲによって顔検出のために最初に提案された弾性変形モデルを使用することを含む。弾性変形モデルは、トレーニングのためにオフライン段階が必要である。オフライン段階中に、１４の異なるランドマークが検出したい車両の特定部分に位置しており、変形可能モデルは、トレーニング画像のセットに位置するランドマークを使用して展開される。動作段階中に、候補フレームは、シーンに関連付けられたＲＯＩ内の動き／前景ブロブ特性に基づいて最初に検出される。ＲＯＩ内の車両の存在を示す候補フレームが識別された後、車両部分は、オフライン段階中に展開された弾性変形モデルを使用して検出される。そして、車両追跡部は、シーンに向けられたカメラのＦＯＶの外に移動するまで車両を追跡するために初期化される。

例示的な方法は、以下のステップを含む：
１）ビデオカメラを介して関心領域を連続的に監視すること。
２）カメラのＦＯＶ内に関心領域を定義すること（必要に応じて）。
３）車両が定義されたＲＯＩ内に存在することがある候補フレームを識別すること。
４）識別された候補フレームにおいて車両の部分を検出すること。
５）検出された車両部分が既に追跡されているかどうかを検査すること。
６）車両の非隠蔽部分を追跡し、複数の映像フレームにわたって車両を追跡し続けるために追跡部を初期化すること。

変形可能部分モデルの背景
Ｘ． Ｚｈｕ， Ｄ． Ｒａｍａｎａｎ， “Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ， Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ， ａｎｄ Ｌａｎｄｍａｒｋ Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｔｈｅ Ｗｉｌｄ”， ２０１２ ＣＶＰＲにおいて、Ｚｈｕ及びＲａｍａｎａｎは、顔検出及び姿勢推定のために物体の弾性変形可能な３Ｄ構造を符号化するための単純なアプローチを有する顔検出モデルを展開した。それは、各ランドマークの位置で定義された部分の共有プールとツリー（姿勢）の混合を使用する。そして、視点によるトポロジの変化をモデル化するためにグローバル混合を使用する。論文は、グローバル混合がまた単一視点についての粗変形変更を捕捉するために使用可能であることを示している。Ｘ． Ｚｈｕ， Ｄ． Ｒａｍａｎａｎ， “Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ， Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ， ａｎｄ Ｌａｎｄｍａｒｋ Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｔｈｅ Ｗｉｌｄ”， ２０１２ ＣＶＰＲは、以下の式（１）に示されるようなスコア関数により、所定の画像Ｉについて部分Ｌ＝｛ｌ_ｉ：ｉ∈Ｖ｝の各特定の構成を評価する。

ここで、Ｓは、分析される画像Ｉの関数としてのスコアであり、１つ以上のランドマークポイントＬは混合ｍについて調整され、φ（Ｉ，ｌ_ｉ）は、位置ｌ_ｉで抽出されたＨｏＧ（勾配ヒストグラム）特徴であり、Ａｐｐ_ｍは、画像の位置ｌ_ｉにおける混合ｍについて調整された部分についてのテンプレート

の配置についての外観証拠の合計である。Ｓｈａｐｅ_ｍは、部分Ｌの混合の特定の空間的配置のスコアである（ｄｘ及びｄｙは、部分ｊに対する部分ｉのｘ軸及びｙ軸の変位であり、パラメータ（ａ，ｂ，ｃ及びｄ）は、部分対ｉ及びｊの間の空間コスト制約を指定する）又は１つ以上のランドマークポイント間の幾何学的関係（例えば、眼の隅部と瞼との間のいくつかの画素）であり、α^ｍは、混合ｍの定数である。Ｖ_ｍは、混合ｍに属する部分のプールを表している。Ｅ_ｍは、Ｖ_ｍにおける部分のプール間のエッジの集合を表している。

推論中において、式（１）は、Ｌ及びｍにわたって最大化される。

本開示において、モデルは、Ｚｈｕら， “Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ， Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ， ａｎｄ Ｌａｎｄｍａｒｋ Ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｔｈｅ Ｗｉｌｄ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１２に記載されたモデルを利用して、１４のランドマークが動作段階中に使用されることになる車両部分モデルを展開するためにトレーニング画像のセット上に位置している。記載された例示的な実施形態は、１４のランドマークを含んでいるが、例えば２−１３又は１５以上など、より多くの又はより少ないランドマークが使用可能であると理解されることになっている。

本方法及びシステムの様々な態様がここで記載される。

１）ビデオカメラを介して関心領域を連続的に監視すること
映像取得モジュールは、関心領域の映像をキャプチャする少なくとも１つのビデオカメラを備える。空間的又は時間的解像度の面で特別な要件は必要ない。しかしながら、従来の監視カメラは、通常、ＶＧＡ及び上記（６４０×４８０）の画素解像度並びに１５ｆｐｓ（フレーム毎秒）及び上記のフレームレートを有するＩＰカメラである。１つの例示的な実施形態によれば、システムは、３２０×２４０画素解像度及び３０ｆｐｓのフレームレートを有する自動露出ＲＧＢカメラを含むことができる。

２）カメラのＦＯＶ内に関心領域を定義すること（必要に応じて）
必要に応じて、関心領域（ＲＯＩ）は、画像平面上に定義されることができる。図３及び図４は、例えば、図１及び図２に示されるような隣り合ったドライブスルー設定における車両の自動順序付けについて定義された２つの関心領域３０及び４０をそれぞれ図示している。ＲＯＩのそれぞれは、シーン内の注文ポイントの１つに対応している。ＲＯＩは、カメラ設置中に手動で定義可能である。ＲＯＩの定義は、追跡部の初期化前に車両部分検出処理のための検索スペースを低減することから、映像分析アルゴリズムの計算負荷を低減する。

３）車両が定義されたＲＯＩ内に存在することがある候補フレームを検出すること
キャプチャされた映像の全てのフレームにおける関心領域内の車両部分検索を実行すると、特にキャプチャされた映像の解像度及びフレームレートが高い場合には計算的に高価である。リアルタイム処理を満たす車両追跡システムを提供するために、キャプチャされた映像は、通常、車両が定義されたＲＯＩ内に存在することができる候補フレームを識別するように処理される。車両部分検出処理は、候補フレームためにのみ実行され、それにより、システムの計算効率を高め、車両追跡システムの車両検知性能、すなわち検出精度も高める。検出精度は、候補フレーム中のみの車両部分検出を行うことが検索スペースを低減し、したがって非候補フレームから可能な誤検出を排除することから改善される。候補フレームは、これらに限定されるものではないが、以下を含むいくつかの方法で識別されることができる。

静的カメラが映像フィードをキャプチャするために使用されているときに背景差分法を使用する。前景物体が関心領域内で検出された場合に候補フレームが識別される。いかなる前景物体もない背景の画像が利用可能である場合、背景除去は、映像シーケンスにおける既知の背景画像と各画像との間の絶対強度／色差を算出する。輝度／色空間において算出された距離が小さい画素が背景画素として分類される。ガウス混合モデルに基づくもの、Ｃ． Ｓｔａｕｆｆｅｒ ａｎｄ Ｗ． Ｅ． Ｌ． Ｇｒｉｍｓｏｎ． “Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ”， Ｉｎ Ｐｒｏｃ． ｏｆ ｔｈｅ １９９９ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ ’９９）， ２２４６−２２５２ページ、１９９９年を参照、主成分分析を使用する固有背景、Ｏｌｉｖｅｒ， Ｎ．Ｍ．； Ｒｏｓａｒｉｏ， Ｂ．； Ｐｅｎｔｌａｎｄ， Ａ．Ｐ．， “Ａ Ｂａｙｅｓｉａｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｆｏｒ Ｍｏｄｅｌｉｎｇ Ｈｕｍａｎ Ｉｎｔｅｒａｃｔｉｏｎｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ， ８３１−８４３ページを参照、又は、移動平均の算出、新しいフレームが到来すると段階的に背景を更新するＢ．Ｐ．Ｌ． Ｌｏ ａｎｄ Ｓ．Ａ． Ｖｅｌａｓｔｉｎ， “Ａｕｔｏｍａｔｉｃ ｃｏｎｇｅｓｔｉｏｎ ｄｅｔｅｃｔｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｕｎｄｅｒｇｒｏｕｎｄ ｐｌａｔｆｏｒｍｓ，” Ｐｒｏｃ． ｏｆ ２００１ Ｉｎｔ． Ｓｙｍｐ． ｏｎ Ｉｎｔｅｌｌ． Ｍｕｌｔｉｍｅｄｉａ， Ｖｉｄｅｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃｅｓｓｉｎｇ， １５８−１６１ページを参照、など背景推定のためのいくつかの技術がある。

画像平面上に定義された関心領域内の動き検出方法を使用する。時間差分法は、例えば、変化領域を検出するための閾値に続く後続の映像フレームを減算する、「複数の路上駐車空間についての利用可能な駐車スペース推定システム及び方法（ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＶＡＩＬＡＢＬＥ ＰＡＲＫＩＮＧ ＳＰＡＣＥ ＥＳＴＩＭＡＴＩＯＮ ＦＯＲ ＭＵＬＴＩＳＰＡＣＥ ＯＮ−ＳＴＲＥＥＴ ＰＡＲＫＩＮＧ）」と名称が付されたＢｕｌａｎらに対する２０１３年１０月１０日に公開された米国特許出願公開第２０１３−０２６５４１９号明細書、及び、ＭＡＫＡＲＯＶら， “Ｉｎｔｒｕｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｍｏｖｉｎｇ Ｅｄｇｅｓ”， １２ｔｈ ＩＡＰＲ Ｉｎｔ’ｌ Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖ．１， １９９４年， ８０４−８０７ページを参照。映像シーケンス内の動き領域はまた、画素レベルオプティカルフロー法を使用して抽出可能である。“Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ，” Ｂ． Ｋ． Ｐ． Ｈｏｒｎ ａｎｄ Ｂ． Ｇ． Ｓｃｈｕｎｃｋ， Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ １７ （１９８１年）， １８５−２０３ページを参照。また、ブロックマッチングアルゴリズムを使用して抽出可能である。ＨＵＡＮＧら， “Ｓｕｒｖｅｙ ｏｎ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｒｃｈｉｔｅｃｔｕｒｅｓ Ｗｉｔｈ Ｎｅｗ Ｒｅｓｕｌｔｓ”， Ｊｏｕｒｎａｌ ｏｆ ＶＬＳＩ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ４２， ２００６年， ２９７−３２０ページを参照。

前景／動きブロブが画像平面上に定義されたＲＯＩ内で検出された場合、候補フレームが識別される。そして、これらの候補フレームは、検出された車両の特定部分を識別するために次のステップにおいてさらに分析される。

４）候補フレームにおいて車両の部分を検出すること
このステップにおいて、手で最も効果的なユーザの情報を作成するために、２つの別個のモデルが、注文ポイントＡ １４（図５）及び注文ポイントＢ １６（図６）から到来する車両について展開される。これらのモデルのそれぞれは、注文ポイントＡ １４における視点と注文ポイントＢ １６におけるものとの間で利用可能な情報を区別することに焦点を当てている。注文ポイントＡ １４から到来する車両について、車両上部モデルは、フロントガラスやサイドウィンドウの境界に１４のランドマーク２０、２２、２４、２６、２８、３０、３２、３４、３６、３８、４０、４２、４４及び４６を配置することによって展開される。上部モデルのランドマークが図７に示されており、得られたモデルは図５に示されている。このモデルが注文ポイントＡから到来する車両について展開された理由は、車両の上部が通常はシーン内の他の車両によって隠蔽されないためである。これは、バン１２がセダン１０を部分的に隠蔽するが、セダン１０の上部はなおも視認可能である図１及び図２にみることができる。したがって、セダンについての追跡部は、セダンのフロントガラスやサイドウィンドウで開始された場合には隠蔽によって影響を受けない。

他の車両部分モデルが注文ポイントＢ １６から到来する車両について展開されている。この目的のために、１４のランドマーク６０、６２、６４、６６、６８、７０、７２、７４、７６、７８、８０、８２、８４及び８６が、図８に示されるように車両側面に位置しており、ランドマークは、側面において最も特徴的な位置から選択される。図６は、得られた側面の部分モデルを示している。

オフライン段階中に生成された車両上部及び側面部分モデルは、候補フレームが前のステップにおいて識別された場合、動作段階中にここで使用される。車両上部モデルは、注文ポイントＡ １６について定義されたＲＯＩのために車両検出を行い、側面モデルは、注文ポイントＢについて定義されたＲＯＩのために車両検出を行う。

５）検出された車両部分が既に追跡されているかどうかを検査すること
車両部分が関心領域内で検出された場合、検出された部分は、それが既に追跡されている車両部分に対応するかどうかを判定するために最初に検査される。注文ポイントにおける車両が異なる別個の時間セグメントで異なる動きを呈することがあることから、この検査は有益である。例えば、車両は、高トラフィックシナリオにおいては注文ポイントにおいてのろのろ運転タイプの動き特性を示すことがある。この場合、異なる追跡部は、その動きを含む２つの別個の時間セグメントについて同じ車両に誤って割り当てられることがあった。

このプロセスは、１つのみの追跡部が検出車両に割り当てられるのを保証し、したがって、システムに関連する誤警報を低減する。ここで留意すべきは、この検査もまた、前のステップにおいて変形可能部分モデルを使用した車両部分検出を実行する前に行うことができるということである。車両部分検出前に検査を実行すると、追跡部が既に車両について開始されている場合には、検出ステップをバイパスすることができる。この検査は、後続のプロセスにおいて使用される追跡アルゴリズムに依存し、以下のようないくつかの方法で行うことができる。

ａ）追跡のために、例えば、平均シフト、粒子フィルタリングなどの領域ベースの追跡アルゴリズムが使用される場合、例えば、動き検出された領域からの色ヒストグラム、等配向勾配ヒストグラムなどの属性が抽出され、既に追跡されている車両の属性と比較されることができる。

ｂ）例えば、平均シフト、粒子フィルタリングなどの領域ベースの追跡アルゴリズムが使用される場合、検出された動きブロブの距離が画像平面において既に追跡されている車両のそれぞれに対して算出されることができる。検出された動きブロブが既に追跡されている車両から十分に遠い場合には、新しい追跡部が検出車両のために開始される。

ｃ）追跡のために、例えば、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）追跡などのポイント追跡部が使用される場合、特徴のセットが動き検出された領域から抽出されることができ、これらの特徴は、既に追跡されている特徴のセットと比較される。所定数以上の特徴が一致した場合、車両が既に追跡されていると結論付けることができる。

ｄ）追跡のために、例えば、ＫＬＴ追跡などのポイント追跡が使用される場合、現在追跡されている特徴の数は、動き検出された領域において算出されることができる。新しい追跡部は、動き検出された領域において現在追跡されている特徴の数が指定された閾値よりも小さい場合にのみ開始される。このアプローチの背後にあるロジックは、既に追跡車両が移動しているとき、動き検出された領域は、追跡されている車両を含み、既に追跡されている特徴のセットを含むというものである。

６）車両の非隠蔽部分についての追跡部を開始し、映像フレームにわたって車両を追跡する。
検出車両部分が既に追跡されている車両部分のリストにない場合、属性／特徴のセットが車両部分検出領域から抽出される。抽出された属性／特徴は、使用される追跡部の種類に依存する。ポイント追跡部、例えばＫＬＴが追跡のために使用される場合、抽出された特徴は、以下の１つ以上を含むことができる。

ａ）スケール不変特徴変換（ＳＩＦＴ）［１３，１９］特徴又は高速化ロバスト特徴（ＳＵＲＦ、ＢＡＹら， “ＳＵＲＦ： Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ”， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖ． １１０．３， ２００８年， ３４６−３５９ページを参照）などのスケール不変特徴。

ｂ）ハリスコーナー特徴などの関心ポイント、ＨＡＲＲＩＳら， “Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ”， Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， Ｖｏｌ． １５， １９８８年， １４７−１５２ページを参照、高速加速セグメントテスト（ＦＡＳＴ）、ＲＯＳＴＥＮら， “Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｈｉｇｈ−Ｓｐｅｅｄ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ”， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ＥＣＣＶ ２００６年， ４３０−４４３ページを参照、又は、最小固有値アルゴリズム特徴、ＴＯＭＡＳＩら， “Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ”， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＣＳ−９１−１３２， Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， １９９１年を参照。

ｃ）最大限に安定化した外部領域（ＭＳＥＲ）特徴、ＰＩＬＬＡＲ， Ｒｅａｌ Ｖａｌｕｅ ｉｎ Ｖｉｄｅｏ Ａｎａｌｙｔｉｃｓ， Ｉｎｔｅｇｒａｔｅｄ Ｓｏｌｕｔｉｏｎｓ ｆｏｒ Ｒｅｔａｉｌｅｒｓ， ２０１０年７月２６日， ｈｔｔｐ：／／ｗｗｗ．ｒｅｔａｉｌｓｏｌｕｔｉｏｎｓｏｎｌｉｎｅ．ｃｏｍ／ｄｏｃ／ｒｅａｌ−ｖａｌｕｅ−ｉｎ−ｖｉｄｅｏ−ａｎａｌｙｔｉｃｓ−０００１を参照。

追跡のために、領域ベースの追跡部（例えば、平均シフト、パーティクルフィルタリングなど）が使用される場合、抽出された属性のセットは、以下の１つ以上を含む。

ｄ）検出された領域の色属性（例えば、領域から抽出された色ヒストグラムや他の色統計量）。

ｅ）検出されたブロブの幾何学的属性（例えば、向き、アスペクト比、偏心など）。

ｆ）検出された領域から抽出された形状属性（例えば、ＤＡＬＡＬら， “Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”， ２００５年、エッジ、コーナーのヒストグラムなど）。

検出された領域から特徴／属性のセットを抽出した後、それらは、撮像された映像のフレームにわたって追跡される。できる限り長く車両がカメラのＦＯＶ内にとどまるように追跡が行われる。平均シフト追跡、Ｃｏｍａｎｉｃｉｕら， “Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｎｏｎ−Ｒｉｇｉｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ Ｍｅａｎ Ｓｈｉｆｔ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０００年， １４２−１４９ページを参照、輪郭追跡、Ｋａｓｓら， “Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ”， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， １９８８年， ３２１−３３１ページを参照、カルマンフィルタリング、並びにＫＬＴ追跡及びパーティクルフィルタリング、Ｇｕｓｔａｆｓｓｏｎら， “Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒｓ ｆｏｒ Ｐｏｓｉｔｉｏｎｉｎｇ， Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ２００２年を参照、などのいくつかの代わりの追跡技術が、このステップにおいて使用可能である。

ここで、上述したように変形可能部品モデルを使用して車両検出及び追跡が行われる複数のキューレーンにおいて各イベント要求をとった後に対象がランダムに単一のキューレーンに合流するときにイベント順序を更新して訂正する自動方法及びシステムが記載される。

本願明細書において想定される「対象」は、カスタム／個体要求及び／又はイベントについての順序をとった後、カスタマイズされた商品及び／又はサービス（「イベント履行」）を受信するために順番にキューを一般に待機する車両や歩行者などを含むことができる。例示の目的のために、本願明細書において称される対象は車両を含み、それぞれは、物品を購入する顧客と関連付けられている。しかしながら、「対象」及びキューの最終目的に対して本願明細書において行われる限定はない。

本願明細書において想定されるような「合流ポイント」は、対象が複数のキューのうちの１つから単一のキューレーンに入る及び／又は合流し、最終イベントポイントに接近するキューの一部であると考えられるカメラ視野内に定義された領域である。例示の目的のために、本願明細書において称される合流ポイントは、複数の隣り合った注文ポイントのうちの１つにおいて注文した後、車両が複数のキューのうちの１つからの単一のキューレーンに入る及び／又は合流し、サービス（支払い及び取得）ウィンドウに接近するキューの一部であるとここでは考えられる領域を含むことができる。

図９は、本開示にかかる注文順序を更新する方法１００の概要を説明するフローチャートである。本方法は、Ｓ１１２において開始される。システムは、Ｓ１１４において、関心領域（「キュー領域」）を監視する少なくとも１つの映像ソースから映像データを取得する。映像データは、別個のキューにおける２つ以上の注文ポイントと別個のキューレーンが単一のキューレーンに後に合流する合流ポイントとを含む個々の又は組み合わせられた視野を有する少なくとも１つのビデオカメラから生成される。システムは、Ｓ１１６において、候補フレームを取得するために、映像データのフレームにおける注文ポイントの少なくとも近くに位置する物体について、フレーム又はフレームにおいて定義された関心領域（ＲＯＩ）を検索する。１つの実施形態において、システムは、キューレーンの１つにおいて対象によってとられた注文に応じてフレームを検索することができる。あるいは、システムは、少なくとも注文ポイントのＲＯＩの近くに位置する関心のある前景又は移動物体について連続的に検索することができる。この場合、システムは、注文ポイントにおいてとられた注文と注文ポイントに最も近い物体を関連付ける。実施形態はまた、対象が注文ポイントにおいて注文をとらない場合も想定している。これらの実施形態において、注文ポイントは、開始ポイントに置き換えることができ、いくつかのトリガは、キューが複数の開始ポイントのそれぞれにおいて形成する限り、各開始ポイントにおける検索を開始することができ、合流ポイントにおいてともに到来することができる。述べられた実施形態において、背景差分や動き検出のための既存のモデルベースのアプローチが、候補フレームを識別する物体を検出するために使用可能である。次に、対象、例えば車両部分がトレーニングされた変形可能部分モデルを使用して検出された場合、システムは、Ｓ１１８において、各検出物体を候補対象として関連付ける。１つの実施形態において、システムはまた、注文ポイントにおいて候補対象と（例えば、注文）識別子を関連付けることができる。一般に、システムは、Ｓ１２０において、候補対象が以前に割り当てられた追跡部か又はシーンに対して新しいかどうかを次に判定する。主に、この判定を行うために使用されるアプローチは、属性、他の対象からの距離、特徴のセット、及び／又は、領域内の多数の追跡された特徴などの記述子又は値を算出すること、候補対象の外観を記述すること、及び、閾値又は現在追跡されている他の対象の対応する記述子と記述子／値を比較することを含む。算出された記述子／値は、システムによって適用されている追跡アルゴリズムの種類に基づいている。同様に、システムによって適用された追跡アルゴリズムは、候補物体を検出するために使用される本願明細書に記載された変形可能部分モデルベースのアプローチに依存することができる。比較の結果に基づいて、システムは、関心のある新しい対象及び現在追跡されている対象クラス若しくはカテゴリのうちの１つに属しているものとして各候補対象を分類する。関心のある新しい対象として分類される候補対象に応じて、システムは、Ｓ１２２において、新たな対象に追跡部を割り当てる。各対象の移動は、Ｓ１２４において、後続の一連のフレームにわたって監視されるキュー領域内及びその周囲において追跡される。一般に、各追跡対象は、その位置が、複数のキューが単一のキューレーンに収束する所定の／予め定義された合流ポイントを満たすまで、一連のフレームにわたって追随される。追跡対象が予め定義された合流ポイントに到達したのに応じて、Ｓ１２６において、システムは、サービスポイントに接近する対象の観察順序を算出する。この観察順序は、追跡対象が他の追跡対象に対して単一のキューレーンに移行したときに対応する。そして、システムは、Ｓ１２８において、単一のキューレーンにおける対象の観察順序と一致するように注文の順序を更新する。１つの実施形態において、注文識別子は、追跡部に関連付けられ、一連のフレームにわたって対象を追い続ける。システムは、各対象がサービスポイントに到達するために予想される順序で注文が履行されることができるように、更新された注文順序を算出するために注文識別子を使用することができる。本方法は、Ｓ１３０において終了する。

図１０は、合流されたキューレーンに複数の対象が移行する順序と一致する注文順序を自動的に生成する視覚ベースのシステム２００の概略図である。システム２００は、自動順序付け装置２０２と、本願明細書においてはネットワークと称される通信リンクによって互いに結合された画像ソース２０４とを含む。１つの実施形態において、システム２００は、ユーザ装置２０６とさらに通信してもよい。これらの構成要素は、以下においてより詳細に説明される。

図１０に図示された自動順序付け装置２０２は、装置２０２の一部であるか又は装置２０２と関連付けられたコントローラ２１０を含む。例示的なコントローラ２１０は、システム２００によって受信した画像フレーム又は映像データ（以下、「映像データ」）の分析を制御するために構成されている。コントローラ２１０は、プロセッサ２１２に接続されたメモリ２１４に格納された処理命令の実行によって装置２０２の動作全体を制御するプロセッサ２１２を含む。

メモリ２１４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスク若しくはテープ、光ディスク、フラッシュメモリ又はホログラフィックメモリなどの任意の種類の有形のコンピュータ読み取り可能な媒体を表すことができる。１つの実施形態において、メモリ２１４は、ランダムアクセスメモリ及び読み出し専用メモリの組み合わせを含む。ディジタルプロセッサ２１２は、シングルコアプロセッサ、デュアルコアプロセッサ（又はより一般的にはマルチコアプロセッサによる）、ディジタルプロセッサ、及び、協働する数値演算コプロセッサ、ディジタルコントローラなどによって様々に具現化されることができる。ディジタルプロセッサは、装置２０２の動作を制御することに加えて、図９、図１１Ａ及び図１１Ｂに概略される方法の一部を実行するためにメモリ２１４に格納された命令を実行する。いくつかの実施形態において、プロセッサ２１２及びメモリ２１４は、単一チップに組み合わされてもよい。

装置２０２は、中央サーバ、ネットワークコンピュータなどのシステム２００が接続されるネットワーク上の他の場所に配置されるか又はネットワーク全体に分散される若しくはそれにアクセス可能であり得ることが想定されるものの、装置２０２は、画像ソース２０４などのネットワーク装置において具現化されることができる。換言すれば、処理は、ネットワークを介して映像データを転送した後、サイト上で又は中央処理オフライン若しくはサーバコンピュータにおいて画像ソース２０４内で行われることができる。１つの実施形態において、画像ソース２０４は、装置２０２に対して映像データ２３０を中継及び／又は送信するように構成された装置とすることができる。他の実施形態において、映像データ２３０は、ワークステーション、データベース、メモリ記憶装置、ディスクなどの任意の適切なソースから入力されることができる。画像ソース２０４は、プロセッサ２１２及びメモリ２１４を含むコントローラ２１０と通信する。

本願明細書に開示された段階は、メモリ２１４に含まれる命令に応じてプロセッサ２１２によって実行される。特に、メモリ２１４は、キュー領域の映像から映像データを取得する映像バッファリングモジュール２１６と、キュー領域に含まれる複数のキュー内の候補対象を検出する物体検出モジュール２１８と、新しい各対象についての特徴を抽出する特徴抽出モジュール２２０と、追跡対象が所定の／予め定義された合流ポイントに到達するまで、監視されるキュー領域内及びその周囲において各検出対象の位置を追跡する対象追跡モジュール２２２と、追跡対象が予め定義された合流ポイントに到達したのに応じてサービスポイントに接近する対象の観察された順序を算出する合流ポイント調停モジュール２２４と、システムと、単一のキューレーンにおける対象の観察された順序と一致するように注文履行の順序を更新するイベント報告モジュール２２５とを格納する。さらに、想定される実施形態はまた、各候補対象が新たな対象や現在追跡されている対象であるかを判定する対象検証モジュール２１９を含むことができる。これらの命令が、単一のモジュール内に又は異なる装置に具現化された複数のモジュールとして格納されることができる実施形態が想定される。モジュール２１６−２２５は、例示的な方法を参照して後述する。

本願明細書において使用されるソフトウェアモジュールは、ソフトウェアの目的であるタスクを実行するためにコンピュータ又は他のディジタルシステムを構成するように、装置２０２又は他のディジタルシステムによって実行可能な命令の任意のコレクション又はセットを包含するように意図される。本願明細書において使用される用語「ソフトウェア」は、ＲＡＭ、ハードディスク、光ディスクなどの記憶媒体に格納されたそのような命令を包含するように意図され、ＲＯＭなどに格納されたソフトウェアであるいわゆる「ファームウェア」を包含するようにも意図される。そのようなソフトウェアは、様々な方法で構成されることができ、ライブラリとして構成されたソフトウェア部分、リモートサーバ上などに格納されたインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能なコードなどを含むことができる。ソフトウェアは、所定の機能を実行するために、システムレベルコード又はサーバ（図示しない）若しくは他の場所に存在する他のソフトウェアへのコールを呼び出すことができることが想定される。装置２０２の様々な部分は、バス２２６によって全て接続されてもよい。

図１０を引き続き参照すると、装置２０２はまた、外部装置と通信するためにネットワークインターフェースなどの１つ以上の通信インターフェース２２８を含む。通信インターフェース２２８は、例えば、モデム、ルータ、ケーブル及び／又はイーサネット（登録商標）ポートなどを含むことができる。通信インターフェース２２８は、入力として映像データ２３０を受信するように構成されている。

装置２０２は、サーバコンピュータ、コントローラ又は例示的な方法を実行するための命令を実行することができる任意の他のコンピューティングデバイスなどの１つ以上の特殊目的又は汎用コンピューティングデバイスを含むことができる。

図１０は、さらに、電子形式の映像データを取得及び／又は提供するために画像ソース２０４に接続された装置２０２を図示している。ソース２０４（以下、「ビデオカメラ２０４」）は、関心のあるシーン（キュー領域）からの映像をキャプチャする１つ以上の監視カメラを含むことができる。カメラの数は、監視されるキュー領域の拡張及び位置に応じて変化し得る。キューの長さが単一のカメラ視野を容易に越える場合には複数のカメラが必要となることがある。複数のカメラの組み合わせ視野は、通常、注文／開始ポイントから合流ポイントまでを囲む領域全体を把握することが想定される。外部照明源がない又は周囲ソースからの不規則な照明がある領域において夜間に本方法を実行するために、ビデオカメラ２０４は、近赤外（ＮＩＲ）機能を含むことができる。さらにまた、本開示において使用されるビデオカメラ２０４は、予想される速度でシーンを通過する１つ以上の対象を処理することが可能な（十分に高い）フレームレートで映像をキャプチャするように動作する。

図１０を引き続き参照すると、映像データ２３０は、観察された対象順序２３２及び／又は更新された注文順序２３６を出力するように装置２０２による処理を受ける。

さらにまた、システム２００は、グラフィックユーザインターフェース（ＧＵＩ）２３４上で適切な形式で出力を表示することができる。ＧＵＩ２３４は、ユーザに対して情報を表示するためのディスプレイ、入力として命令を受信するために、キーボードやタッチ若しくは書き込み可能スクリーンなどのユーザ入力装置、及び／又は、ユーザ入力情報及びコマンド選択をプロセッサ２１２に通信するために、マウス、タッチパッド、トラックボールなどのカーソル制御装置を含むことができる。あるいは、装置２０２は、ユーザの支払い及び／又は注文履行などの出力をユーザに表示することができるユーザ装置２０６に出力を提供することができる。さらにまた、１つの想定される実施形態において、観察された対象順序２３２及び／又は更新された注文順序２３６は、効率及び利益の潜在性を最大化するためにスループットモデルを再設計するために、データに対して追加の処理を実行することができる他のコンピュータアプリケーションに送信することができる。

図１１Ａ−Ｂは、複数の対象が複数のキューから単一のキューに合流する順序と一致するイベント順序を自動的に生成する方法３００を説明する詳細なフローチャートである。本方法は、Ｓ３０２において開始される。システムは、Ｓ３０４において、関心領域（「キュー領域」）を監視する少なくとも１つの映像ソースから映像データを取得する。映像データは、別個のキューにおける２つ以上の開始ポイント及び別個のキューレーンが単一のキューレーンに後に合流する合流ポイントを含む個々の又は組み合わせた視野を有する少なくとも１つ以上のビデオカメラから生成される。例としての画像フレームが図１２に図示されており、本方法は、ファストフードのドライブスルーにおいて実施されることができる。この図示された例において、開始ポイントは、注文がマイクロフォンを使用してとられるメニューの位置に対応する隣り合った注文エントリポイント１４、１６を含む。合流ポイント４４６は、画像空間内の線としてマークされる（図１２における４４６を参照）。ビデオカメラは、少なくとも開始ポイントから合流ポイントまでの対象（図１２における車両４４８）の動きをキャプチャするために十分に広い個々の又は組み合わせた視野を含む。カメラ視野は、開始ポイント前に位置する別個のキューのエントリ部４４１、４４３、すなわち対象が別個のキューいずれか１つに入る場所と、サービスポイントなどの合流ポイント後に位置する単一のキューの終了部とを含むキュー領域の追加領域を包含することができる。

映像データは、ビデオカメラから又はビデオカメラからの映像データを中継及び／又は格納する中間画像ソースから直接取得することができる。それにかかわらず、ビデオカメラの配置は、シーンにおいて観察される隠蔽を回避する及び／又は最小化するように開始及び合流ポイントの近くに固定することができる。１つの実施形態において、ビデオカメラは、特に（ビデオカメラの近くに位置する）第１のキューにおいて移動している対象が（ビデオカメラから遠くに位置する）第２のキューにおいて移動している対象を遮るのを回避するために、開始及び合流ポイントの一般的平面図をキャプチャするようにキュー領域の上方に搭載されることができる。しかしながら、本開示は、映像バッファリングモジュール２１６が他の場所に配置されたビデオカメラから取得された映像データのジオメトリをサポートすることができることを想定する。換言すれば、本願明細書に開示されたシステムは、既存の監視インフラストラクチャに含まれるカメラから取得した映像データを処理することができる。

図１１Ａに戻ると、映像バッファリングモジュール２１６は、処理のために対象検出モジュール２１８に対して映像データから取得した映像フレームを送信する。モジュール２１８は、順序内の各フレーム又は全てのｎ番目のフレームを処理することができる。同様に、モジュール２１８は、画像フレーム全体又はフレーム内に定義された関心領域（ＲＯＩ）を処理することができる。より具体的には、ＲＯＩは、新しい物体が、開始ポイント又は開始ポイント前の右に位置するキュー部分などのキュー領域に現れることが予想される画像フレームのＲＯＩを含むことができる。指定されたＲＯＩの処理の１つの態様は、キュー領域を越えて出現及び／又は移動する対象の検出（「誤検出」）を防止するということである。画像フレーム内にＲＯＩを定義することにより、システムは、（交通フローについていくようにリアルタイム要件が与えられた）対象検出段階の計算負荷を制限することができ、誤検出の数を低減することができる。

したがって、キュー領域を含むＲＯＩは、Ｓ３０６において、１つの想定される実施形態において定義されることができる。ＲＯＩは、ビデオカメラが設定されて校正されたときにユーザによって手動で定義されることができる。ビデオカメラが固定されたままである限り、キュー領域は変化しないことから、このＲＯＩは一度に定義されることができる。（例えば、ズーム、パン、チルト又は平行移動のために）カメラの設定を変更すると、定義された領域は、再校正手順中に更新されることができる。

他の実施形態において、ＲＯＩは、オフライン学習段階で識別されることができる。トラフィックの大部分は、開始ポイントと合流ポイントとの間に位置するキュー領域において発生することから、システムは、時間とともにシーン全体における動きについて（例えば、フレーム差分又はモデルベースのアプローチを使用して）検索することによってキュー領域を識別することができる。特に、モジュール２２０は、Ｓ３０８において、経時的な各画素位置における画素毎の動き情報を蓄積し、この情報を使用して（対象の動きの軌跡を表す）ヒートマップを生成することができる。

モジュール２２０は、さらにまた、ヒートマップ上の閾値処理を行うことにより、関心のあるキュー領域の外側に検出された物体（「外れ値」）を除去することができる。特に、モジュール２２０は、Ｓ３１０において、ヒートマップを表すマスクを生成することができ、その後にハイライト領域の外側で検出された任意の物体を破棄することができる。図１３は、図１２に示される画像フレームについて生成されたサンプルマスクを示している。そして、モジュール２１８は、Ｓ３１２において、ＲＯＩ（関心のあるキュー領域）とマスクを関連付ける。

この学習アプローチは、大量の無関係な背景ノイズ又は「ファントム」物体を除去するために使用されることができる。代替の実施形態は、潜在的な新しい関心物体が検出される可能性を判定するために、これらの学習されたルートの中心からの距離を適用することができる。

図１１Ａに戻ると、対象検出モジュール２１８は、Ｓ３１４において、移動する前景物体について定義されたＲＯＩ（又はフレーム全体）を検索する。映像における前景物体検出は、多数の異なる方法によって達成することができる。映像データに対する分析を実行するアプリケーションにおいて使用される動き検出の２つの一般的な方法は、フレーム間差分と背景推定及び減算（「背景減算」）を含む。フレーム差分アプローチは、通常はフレームレートとカメラジオメトリに対する物体の速度の非常に狭い範囲に調整することを必要とする、映像ストリームにおける連続フレーム間の画素毎の差分を算出することによってカメラ視野内の移動物体を検出する。これらの差分を閾値化することにより、移動物体を含む領域（「動き検出された領域」）を容易に識別することができる。

あるいは、動き／前景検出のためのモデルベースのアプローチが使用可能である。１つの実施形態において、システム１００は、背景減算アプローチを行う。背景減算アプローチは、移動物体よりもむしろ前景物体を検出する。しかしながら、移動物体はまた、それらの外観が背景推定とは異なることから、前景検出をトリガする。例えば、いかなる前景物体もない背景の画像が利用可能である場合、モデルは、共通の画素値を推定するためにトレーニングされる。主に、背景減算は、公知又は推定された背景モデルと映像シーケンス内の各現在フレームとの間の絶対強度／色差を算出する。背景モデルと各現在フレームを比較することにより、輝度／色空間において算出された距離が所定の閾値を満たしていない画素が背景画素として分類され、輝度／色空間において算出された距離が閾値を満たして超えている（すなわち、既存の背景モデルに適合しない）画素は、前景画素として分類される。検出された前景画素は、前景物体／動き検出領域を示している。

背景モデル又は推定値を維持するために使用される戦略は、各画素についての歴史的統計モデル（例えば、ガウス混合モデル（ＧＭＭ）ベースのアプローチなどのパラメトリック記述子密度モデル又はカーネルベースの推定などの非パラメトリック記述子密度モデル）、（主成分分析を使用する）固有背景、（各次フレーム後に背景を段階的に更新する）平均実行演算、及びメディアンフィルタなどを含む。背景モデルは、通常、シーンの背景における遅い変動から構成するために動的に調整される。想定される実施形態において、背景推定値は、所定の学習率係数によって制御された速度で各入力フレームによって連続的に更新されることができる。しかしながら、背景推定値がより遅いレートで更新されることができる実施形態が想定される。他の選択肢もまた、現在の背景モデルを構築するために想定される。

画素分類を使用してバイナリマスク／差分画像（すなわち、前景物体マスク）が生成される。１つの実施形態において、当該技術分野において理解されているモルフォロジ演算は、架空の動きのソースを除去するために且つ前景又は移動物体に関連する画素を正確に検出するために差分画像に適用することができる。例としてのフィルタリング技術は、物体が誤って少数の別個の前景要素に分割されたバイナリマスクにおける孔を充填して領域における小さな間隙を跨ぐために拡張及び閉鎖動作を適用することを含むことができる。連結成分分析（ＣＣＡ）はまた、バイナリマスクにおいて動きが検出される小さな余分な領域を除去するために使用可能である。これらの動き検出領域は、関心が小さすぎる前景物体（例えば、シーンを通して飛んでいる鳥）から又は一般画像ノイズから生じることができる。ＣＣＡスクリーニングにおいて使用される一般的な特徴は、物体領域、方位角及び充填密度である。

Ｓ３１６において、モジュール２１８は、トレーニングされた変形可能部分モデルを使用して関心のある候補対象と各検出物体／動き検出領域を関連付ける。モジュール２１８は、複数のフレームにおける同一の物体／動き領域に対応する物体部分を検出することができることから、対象検証モジュール２１９は、Ｓ３１８において、１つの追跡部のみが候補対象毎に割り当てられていることを確認することができる。同じ対象の「複数の目撃」が複数の候補対象として扱われるのを回避するために、対象検証モジュール２１９は、１つの追跡部のみが各検出対象に割り当てられていることを保証する。追跡部の割り当てを管理することにより、モジュール２１９は、基本的に、複数の追跡部が複数のフレームにわたって検出された同一対象に割り当てられるのを防止することができる。この検証手順の１つの態様は、追跡段階において必要とされる計算負荷を低減することができるということである。この検証手順の他の態様は、誤ったイベント順序検出の数を低減することができるということである。

モジュール２１９は、Ｓ３２０において、各候補対象の記述子を抽出する。システムは、想定される実施形態において１つの追跡アルゴリズムを適用することから、記述子は、選択された追跡アプローチに対応している。

本願明細書において想定される例としての追跡アルゴリズムは、領域ベースの追跡アルゴリズム及びポイント追跡部を含む。領域ベースの追跡アルゴリズムの例は、平均シフト及びパーティクルフィルタリングを含むことができる。領域ベースの追跡アルゴリズムについて抽出されることができる例としての記述子は、色ヒストグラム及び／又は等配向勾配ヒストグラムなど、及び、各現在追跡対象に対する検出された動き領域の距離などの属性を含む。主に、これらの追跡アルゴリズムは、領域として対象全体を考える。ポイント追跡部の例は、ＫＬＴ追跡を含むことができる。ポイント追跡部について抽出されることができる例としての記述子は、動き検出された領域からの特徴又は動き検出された領域における多数の現在追跡されている特徴のセットを含む。主に、ポイント追跡部は、候補対象（前景物体）のハードエッジ、コーナー及び特徴点などのローカライズされたエントリのセットを考える。

モジュール２１９は、Ｓ３２２において、所定の閾値及び現在追跡されている記述子のうちの１つと各記述子を比較する。比較に基づいて、モジュール２１９は、Ｓ３２４において、新たな対象及び現在追跡されている対象のうちの一方に属するものとして各候補対象を分類する。

領域ベースの追跡アルゴリズムについて、抽出された記述子が候補対象の属性である場合、属性は、現在追跡されている対象の属性と比較される。任意の現在追跡されている対象の属性と一致しない動き検出領域の属性に応じて、モジュール２１９は、新たな対象に属するものとして候補対象を分類する。現在追跡されている対象の属性と一致する動き検出領域の属性に応じて、モジュール２１９は、現在追跡されている対象に属するものとして候補対象を分類する。

抽出された記述子が画像平面上の動き検出された領域と各現在追跡されている対象との間の算出された距離である場合には、算出された距離は、所定の距離閾値と比較される。算出された距離が所定の閾値を満たして超えるのに応じて、モジュール２１９は、新しい対象に属するものとして候補対象を分類する。算出された距離が所定の閾値を満たしていないことに応じて、モジュール２１９は、現在追跡されている対象に属するものとして候補対象を分類する。

ポイント追跡部について、抽出された記述子が動き検出された領域からの特徴のセットである場合、特徴のセットは、現在追跡されている対象の特徴のセットと比較される。一致する特徴の数がカウントされる。特徴の数が所定の閾値数を満たしていないことに応じて、モジュール２１９は、新たな対象に属するものとして候補対象を分類する。特徴の数が所定の閾値数を満たして超えるのに応じて、モジュール２１９は、現在追跡されている対象に属するものとして候補対象を分類する。

同様に、抽出された記述子が動き検出された領域内のいくつかの現在追跡されている特徴を含む場合には、この数は所定の閾値と比較される。現在追跡されている特徴の数が所定の閾値数を満たしていないことに応じて、モジュール２１９は、新たな対象に属するものとして候補対象を分類する。現在追跡されている特徴の数が所定の閾値数を満たして超えるのに応じて、モジュール２１９は、現在追跡されている対象に属するものとして候補対象を分類する。このアプローチの背後にあるロジックは、追跡される車両が移動しているとき、動き検出されたブロブが追跡車両と重複し、既に追跡されている特徴のセットを含むというものである。

しかしながら、１つの実施形態は、追跡モードの独立した検証を実行することが想定される。例えば、対象検出モジュール２１８が候補対象を検出すると、モジュール２１９は、検出された候補対象が次のフレームにおいて検出された所定の割合の候補対象と重複するかどうかを判定することができる。重複が所定の割合を満たして超えるのに応じて、モジュール２１９は、重複閾値が満たされた連続フレーム数を判定することができる。連続フレーム数が所定の閾値数を満たして超えるのに応じて、モジュール２１９は、新しい対象に属するものとして候補対象を分類する。連続フレーム数が所定の閾値数を満たしていないことに応じて、モジュール２１９は、現在追跡されている対象に属するものとして候補対象を分類する。１つの実施形態において、閾値数は、５つの連続画像フレームとすることができる。

候補対象が現在追跡されている対象に属するものとして分類されるのに応じて、モジュール２１９は、Ｓ３２６において、対象を破棄する。しかしながら、特徴抽出モジュール２２０は、Ｓ３２８において、新しい各対象に追跡部を割り当てる。より具体的には、モジュール２２０は、追跡部に対してＳ３２０において抽出された記述子（属性や特徴）を割り当てる。しかしながら、検証手順（Ｓ３１８−Ｓ３２４）を省略する実施形態について、記述子は、新しい各対象について抽出される。上述したように、記述子は、システムによって後に適用される追跡アルゴリズムに基づくことができる。例えば、ＫＬＴなどのポイント追跡部が適用された場合、抽出された特徴は、ハリスコーナー、スケール不変特徴変換（ＳＩＦＴ）特徴、及び、高速化ロバスト特徴（ＳＵＲＦ）からなる群から選択されることができる。同様に、平均シフトなどの領域ベースの追跡部が使用される場合には、抽出された特徴は、色ヒストグラムなどの対象領域の色属性を含むことができる。

特徴は、カラー又はグレースケール画像のいずれかから抽出されることができる。ＮＩＲ照明が使用される実施形態において、モジュール２２０は、グレースケール画像からハリスコーナー特徴又はグレーレベルヒストグラムを抽出することができる。

あるいは、１つの実施形態において、検出された動き領域のテンプレート（すなわち、新たな関心のある対象のクロッピングされたサブ画像）が特徴のセットとして使用可能である。

抽出された記述子（以下、「特徴」）は、Ｓ３３０において、映像ストリームにおける後続フレームにわたって抽出された特徴を追跡する車両追跡モジュール２２２に対して送信される。モジュール２２２によって使用される追跡アルゴリズムは、前のモジュール２１９、２２０によって抽出されたものと一致している特徴を処理する。上述したように、モジュール２２２は、これらに限定されるものではないが、平均シフト追跡、輪郭タッキング、カルマンフィルタ、ＫＬＴ追跡及びパーティクルフィルタリングなどを含むいくつかの異なる追跡アプローチのうちの１つを適用することができる。一般に、モジュール２２０は、追跡部を使用して後続フレームにわたって追跡される各対象の位置を判定する。モジュール２２０は、対象がシーン内のキューによって移動すると予想し、したがって、位置は、時間経過とともに変化する。対象がカメラ（又は組み合わせカメラ）の視野内に残る各フレームについて、モジュール２２０は、Ｓ３３２において、画素座標における対象の位置を示す追跡データを生成する。

１つの実施形態において、モジュール２２０は、Ｓ３３４において、追跡される特徴の動きが剛体のものと一致することを確認するために動きの一貫性の検査を行うことができる。所定の対象についての特徴のセットの全体的な動き／移動を監視することにより、セットと共同して移動していない特徴、すなわち、動き検出された領域から最初は抽出されたが、同じポイントにおいてシーンの他の要素上に漂流している特徴が識別されて特徴セットから除去される。このテストは、例えば、追跡された関心のある対象をすぐに囲む背景領域において誤って選択された初期の特徴を検出するか、又は、追跡された対象のカメラの視野を隠蔽する他の対象若しくは物体に対応する特徴を除去するために実行されることができる。特に、第１及び第２の車両のうちの一方が初期位置から移動した場合又は双方の車両が僅かに異なる方向に移動するときにこの除去が生じる。この種の剪定は、より滑らかでより堅牢な追跡性能を生成することができ、特に閉鎖されたレイアウト及び多数の開始及び停止イベントを有するキュー構造について、本システムの全体的な精度を向上させることができる。

例示的な例について、システムによって使用される追跡アプローチがハリスのコーナー特徴を有するＫＬＴポイント追跡部を含む実施形態において、追跡されたハリスコーナー特徴点のセットは、「よく」ない特徴を考慮して動的に調整（剪定）されることができる。

１つの代替の追跡実施形態において、検出された動き領域のテンプレート（すなわち、新たな関心のある対象のクロッピングされたサブ画像）は、特徴のセットとして使用可能である。テンプレートマッチングのアプローチは、後続フレームにおいてこのテンプレートについての最良の一致を見つけるために使用される。テンプレートは、遅く変化する照明、ポーズなどに対処するために、新しい位置が判定されるたびに更新される。

対象追跡モジュール２２２は、合流点調停モジュール２２４に対して追跡データ／位置情報を送信する。所定のフレームについて、合流ポイント調停モジュール２２４は、Ｓ３３６において、合流ポイント領域の位置を定義することができる。あるいは、仮想線が画像平面上に定義されることができる。カメラ構造及びキュー構造が同じままである限り、合流ポイントは変化しないことから、このステップは、一度だけ実行されることができる。

追跡される各対象と関連付けられた位置情報を使用して、モジュール２２４は、Ｓ３３８において、追跡される対象が定義された合流ポイントに到達したか又は通過したかを判定する。追跡対象が所定の画像フレームの合流ポイント領域を横断するのに応じて（Ｓ３３８においてはい）、モジュール２２４は、Ｓ３４０において、単一のキューに合流されるものとして対象を関連付ける。この時点で、モジュール２２４は、後続フレームにおいてその対象を追跡し続けない。追跡対象が所定の画像フレームの合流領域に到達していないことに応じて（Ｓ３３８においていいえ）、モジュール２２４は、対象について対象追跡モジュール２２２から追跡データを受信し続け、次フレームが処理されるためにＳ３３８における判定を繰り返す。

Ｓ３３８における判定は、合流ポイントの位置まで追跡された特徴位置のいずれかの統計量を算出して比較することができる。例えば、１つの実施形態において、単一ポイントは、追跡された対象の位置を概ね特定する位置情報から算出されることができる。ＫＬＴ追跡部などのポイント追跡部について、この単一のポイントは、追跡された特徴位置の重心とすることができる。他の例示的な統計量は、合流ポイント領域内を通過する、重心、メディアン中心位置、第１のポイント、所定の割合の特徴点及び最後のポイントなどを含むことができる。あるいは、モジュール２２４は、追跡されるポイントを含む凸包を算出することができる。モジュール２２４は、外殻と定義された合流領域との間の所定の割合の重複が発生した場合に合流イベントを検出することができる。カーネル又は領域ベースの追跡部がシステムによって適用される場合には同様のアプローチを使用することができ、追跡部のカーネルと合流領域との間の重複が測定可能であり、合流イベントは、重複の度合いが所定の閾値を満たして超える場合にトリガされる。

対象が、Ｓ３４０において、単一のキューに合流されたものとして分類されると、モジュール２２４は、Ｓ３４２において、サービスポイントに接近する対象の観察順序を算出する。この計算の一環として、モジュール２２４は、基本的に、対象の観察された順序における追跡された関心のある対象の場所を算出する。モジュール２２４は、イベント報告モジュール２２５に対してこの算出された観察順序を送信することができる。

システムは、それらの各注文エントリポイントから対象を追跡することから、イベント報告モジュール２２５は、観察された順序と一致する（図示された実施形態においては「注文」など）各対象に関連する情報の正確な順序を判定することができる。モジュール２２５は、Ｓ３４４において、終了イベント順序を訂正及び／又は更新する。図示された例において、終了イベントは、支払い及び取得ポイントの一方又は双方において満たされる必要がある注文を含むことができる。特に、モジュール２２５は、前記対象が検出された場合には各対象に割り当てられた識別子を使用して終了イベント順序を更新することができる。識別子は、追跡部によって対象を追随していることから、モジュール２２５は、対象が終了ポイントに到達するのと同じ順序で各識別子と関連付けられたイベントを満たすように順序を更新することができる。

モジュール２２５は、図示された例においては、レストランの販売時点管理（ＰＯＳ）システムなどのユーザコンピュータ装置２０６に対して、この更新された順序を提供することができる。要約すると、モジュール２２５は、新しい各合流対象をユーザ装置に対するメッセージに変換する。代替の実施形態において、イベント報告モジュール２２５はまた、非合流イベントを報告することもできる。これらの非合流イベントは、対象がキューから逸脱するか又はキューに割り込むときを示すことができる。本方法は、Ｓ３４６において終了する。

本開示によって算出された再順序付け情報は、処理が隣り合ったキューにおいて開始され且つ隣り合ったキューが収束した後に単一レーンキューにおいて終了する、特に、処理及びその出力がキューにおける人に追随する同様の環境の影響を受けやすい。本開示を使用することができるビジネスの非限定的な例は、銀行（屋内及びドライブスルーの窓口レーン）、食料品小売店（チェックアウトレーン）、空港（セキュリティチェックポイント、発券キオスク、搭乗領域及びプラットフォーム）、レストラン（ファストフードカウンタ及びドライブスルーなど）、劇場、洗車場などを含む。

方法３００は、一連の動作又はイベントの形態で図示されて上述されているが、本開示の様々な方法又は処理は、そのような動作又はイベントの図示された順序によって限定されるものではないことが理解される。これに関して、以下において具体的に提供されるのを除き、いくつかの動作又はイベントは、本開示にかかる本願明細書において図示されて記載されたものから離れて、異なる順序で及び／又は他の動作又はイベントと同時に生じてもよい。さらに留意すべきは、図示された全てのステップが本開示にかかる処理又は方法を実施するために必要とされ得るとは限らず、１つ以上のそのような動作が組み合わされてもよいということである。本開示の図示された方法及び他の方法は、本願明細書に記載された制御機能を提供するために、ハードウェア、ソフトウェア又はそれらの組み合わせにおいて実現されてもよく、上記図示されたシステム２００（限定されるものではない）を含む任意のシステムにおいて使用されてもよく、本開示は、本願明細書に図示されて記載された特定の用途及び実施形態に限定されるものではない。

本願明細書における詳細な説明のいくつかの部分は、中央処理装置（ＣＰＵ）、ＣＰＵ用のメモリ記憶装置及び接続された表示装置を含む従来のコンピュータ部分によって実行されるデータビットに対する操作のアルゴリズム及び記号表現に関して提示される。これらのアルゴリズムの説明及び表現は、他の当業者に作業の内容を最も効果的に伝えるためにデータ処理分野の当業者によって用いられる手段である。アルゴリズムは、一般に、所望の結果をもたらす首尾一貫した一連のステップとして認識される。ステップは、物理量の物理的操作を必要とするものである。通常、必須ではないものの、これらの量は、格納、転送、結合、比較及びその他の操作が可能な電気又は磁気信号の形態をとる。ビット、値、要素、記号、文字、用語、数字などとしてこれらの信号を参照することは、主に一般的使用の理由のために、時には便利であることが証明されている。

しかしながら、これらの及び類似の用語の全ては、適切な物理量と関連付けられ、単にこれらの量に適用される便利なラベルであることが理解されるべきである。特に明記しない限り、本願明細書における説明から明らかなように、説明全体を通して、「処理」又は「計算」又は「算出」又は「判定」又は「表示」などの用語を利用する議論は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）量として表されるデータを操作して、コンピュータシステムメモリ若しくはレジスタ又は他のそのような情報記憶装置、送信又は表示装置内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子計算装置の動作及び処理を指すことが理解される。

例示的な実施形態はまた、本願明細書において説明された動作を実行する装置に関する。この装置は、必要な目的のために特別に構成されてもよく、又は、コンピュータに格納されたコンピュータプログラムによって選択的に起動若しくは再構成される汎用コンピュータを備えてもよい。そのようなコンピュータプログラムは、これらに限定されるものではないが、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ及び光磁気ディスクを含む任意の種類のディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光カード、又は、それぞれコンピュータシステムバスに結合された電子命令を格納するのに適した任意の種類の媒体などのコンピュータ読み取り可能な記憶媒体に格納されてもよい。

本願明細書において提示されるアルゴリズム及び表示は、本質的に、特定のコンピュータ又は他の装置に関連するものではない。様々な汎用システムが本願明細書の教示にかかるプログラムとともに使用されてもよく、又は、本願明細書に記載された方法を実行するためにより特化した装置を構成することも便利であることがわかる。様々なこれらのシステムについての構成は、上記説明から明らかである。さらに、例示的な実施形態は、任意の特定のプログラミング言語を参照しながら説明されていない。様々なプログラミング言語が本願明細書に記載された例示的な実施形態の教示を実施するために使用されてもよいことが理解される。

機械読み取り可能な媒体は、機械（例えば、コンピュータ）によって読み取り可能な形式で情報を格納又は送信する任意の機構を含む。例えば、機械読み取り可能な媒体は、ほんの一例言及すると、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置、及び、電気的、光学的、音響的又は他の形式の伝搬信号（例えば、搬送波、赤外線信号、ディジタル信号など）を含む。

明細書全体にわたって図示された方法は、コンピュータ上で実行可能なコンピュータプログラム製品において実施することができる。コンピュータプログラム製品は、ディスク、ハードドライブなどの制御プログラムが記録される非一時的なコンピュータ読み取り可能な記録媒体を含むことができる。非一時的なコンピュータ読み取り可能な媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ若しくは任意の他の磁気記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ又は他の任意の光媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ又は他のメモリチップ若しくはカートリッジ、又は、コンピュータが読み取って使用することができる他の任意の有形媒体を含むことができる。

あるいは、本方法は、電波及び赤外線データ通信中に生成されるような音波又は光波などの伝送媒体を使用してデータ信号として制御プログラムが具現化される搬送波などの一時的な媒体において実施することができる。

Claims (10)

1. メモリと、メモリと動作可能に関連付けられ、シーンのディジタル画像を受信して撮像装置によって撮像されたシーン内の他の物体によって部分的に隠蔽された物体を追跡する方法を行うための命令を実行するように構成されたプロセッサとを備え、方法が、
   ａ）撮像装置を介して連続的に関心領域を監視することと、
   ｂ）撮像装置によって撮像された候補フレームを識別することであり、候補フレームの１つ以上が１つ以上の定義されたＲＯＩ（関心領域）内の車両を含む可能性があることと、
   ｃ）トレーニングサンプルのセットの他の車両によって隠蔽されていない非隠蔽部分から抽出された特徴を使用してトレーニングされた１つ以上の分類器を使用して候補フレームのうちの１つ以上における車両の非隠蔽部分を検出することと、
   ｄ）撮像装置によって撮像された連続する複数の映像フレームにわたって車両の前記非隠蔽部分を追跡することとを備える画像処理システム。
2. ステップｄ）の前に、方法が、
   車両の検出された非隠蔽部分が既に追跡されているかどうかを検査することを備える、 請求項１に記載の画像処理システム。
3. ステップｂ）の前に、方法が、
   撮像装置と関連付けられた視野（ＦＯＶ）と関連付けられた関心領域（ＲＯＩ）を定義することを備える、請求項１に記載の画像処理システム。
4. ステップｂ）の前に、方法が、
   隣り合ったドライブスルー構造における車両の自動順序付けのために２つ以上のＲＯＩを定義することを備える、請求項３に記載の画像処理システム。
5. ガウス混合モデル、固有背景、主成分分析又は移動平均算出を含む背景減算処理を使用して候補フレームが識別される、請求項１に記載の画像処理システム。
6. プロセッサと通信するメモリ及びプロセッサを含む自動順序付け装置を備え、イベント順序を更新するシステムであって、プロセッサが、
   各画像ソースが画像平面と関連付けられている少なくとも１つの画像ソースからキュー領域の映像データを取得し、
   対象がキュー領域における複数のキューのうちの１つに位置するときに各イベント要求が受信される多数の個々のイベント要求を複数の対象から受信し、
   弾性変形モデルを使用して映像データを処理し、各開始ポイントが映像データにおける複数のキューのうちの１つと関連付けられた位置に対応するような複数の開始ポイントのうちの少なくとも１つに位置する対象を検出し、
   後続の連続する一連のフレームにわたってキュー領域を通る各検出対象の移動を追跡し、
   追跡された対象の位置が、キュー領域における複数のキューが単一のキューレーンに収束する画像平面上での所定の合流ポイントに到達したかどうかを判定し、
   追跡された対象が所定の合流ポイントに到達したのに応じて、追跡された対象が既に合流ポイントを過ぎた及び単一のキューレーンにおける終了イベントポイントに接近する他の対象に対して位置する観察順序を算出し、
   単一のキューレーンにおける対象の観察順序と一致するようにイベントの順序を更新し、
   検出されて追跡された前記対象が他の対象によって部分的に隠蔽され、前記対象の非隠蔽部分が弾性変形モデルによって検出されて追跡される、
   ように構成されているシステム。
7. 動き内の物体を検出するのに応じて、検出された動き内の物体を候補対象として関連付ける、請求項６に記載のイベント順序を更新するシステム。
8. メモリ及びプロセッサが、さらに、
   取得した映像データを処理して候補対象を判定し、
   新たな対象及び現在追跡されている対象のうちの一方に属するものとして各候補対象を分類し、
   候補対象が新たな対象であることに応じて、追跡部を新たな対象に割り当て、
   候補対象が現在追跡されている対象であることに応じて、候補対象を破棄するように構成されている、請求項７に記載のイベント順序を更新するシステム。
9. 候補対象が、背景減算処理及び動き検出処理のうちの一方を使用して識別される候補映像フレームから判定される、請求項８に記載のイベント順序を更新するシステム。
10. メモリ及びプロセッサが、さらに、
    検出された各候補対象から特徴記述子を抽出し、
    閾値及び現在の追跡部の対応する記述子のうちの一方と抽出された特徴記述子を比較し、
    比較に基づいて、新たな対象及び現在追跡されている対象のうちの一方に属するものとして検出された各候補対象を分類するように構成されている、請求項８に記載のイベント順序を更新するシステム。

Images