JP5656567B2

JP5656567B2 - 映像処理装置および方法

Info

Publication number: JP5656567B2
Application number: JP2010248977A
Authority: JP
Inventors: 敦史川野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-11-05
Filing date: 2010-11-05
Publication date: 2015-01-21
Anticipated expiration: 2030-11-05
Also published as: US10417503B2; EP2450832B1; EP3518146A1; US9953225B2; CN102457680A; EP3518146B1; CN104639840B; JP2012103752A; US20120114176A1; US20180204070A1; CN104639840A; CN102457680B; EP2450832A1

Description

本発明は、映像から検出した物体を追尾する映像処理装置および方法に関する。

従来、カメラの映像から検出した物体や人体を追尾する技術がある。たとえば、特許文献１では、動きベクトルから物体を検出し、次フレームでの探索位置を推定しテンプレートマッチングにより物体追尾を行う。特許文献２では、顔の検出を行い、現在フレームと過去フレームの相関から検出した動き情報から顔追尾を行う。

特開２００２−３７３３３２号公報特開２０１０−５０９３４号公報

しかしながら、カメラの映像では被写体の顔や人体としての特徴が検出しやすい方向に映るとは限らない。このため、顔や人体を検出し続けることは難しく、顔追尾や人体追尾を行った場合、適切な追尾結果が得られるとは限らない。また、物体を検出し追尾する場合、特定の物体に限定した追尾ではなく、特定の物体の移動を解析する用途には不適である。

本発明は上述した問題を解決するためになされたものであり、被写体の顔等の特定の物体としての特徴が検出しにくい映像においても特定の物体を正確に追尾することを目的とする。

上記目的を達成するための一手段として、本発明の映像処理装置は以下の構成を備える。

すなわち、映像から物体を検出する物体検出手段と、
前記検出した物体を追尾する追尾手段と、
前記追尾した物体の軌跡を管理する軌跡管理手段と、
映像から特定の物体を検出する特定物体検出手段と、
前記物体検出手段が検出した物体の領域と前記特定物体検出手段が検出した特定物体の領域とが前記映像において重畳する部分の面積に基づいて、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応するかを判断する判断手段と、
前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応すると前記判断手段が判断した場合に、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とを対応づける対応付け手段とを有し、
前記軌跡管理手段は、軌跡を管理する物体が前記対応付け手段により特定の物体に対応
付けられたことを管理することを特徴とする。

以上の構成からなる本発明によれば、被写体の顔等の特定の物体としての特徴が検出しにくい映像においても特定の物体を正確に追尾することができる。

映像処理装置のブロック図である。物体と人体の対応付けの例を示す図である。物体の移動情報管理の例を示す図である。位置情報更新の例を示す図である。判定パラメータの例を示す図である。線分通過判定の例を示す図である。処理フローチャート図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は追尾装置である映像処理装置１００のシステム構成を示すものである。追尾装置である映像処理装置１００は、画像取得部１０１と、物体検出部１０２と、物体追尾部１０３と、人体検出部１０４と、物体対応付部１０５と、軌跡管理部１０６を有する。追尾装置である映像処理装置１００は、さらに、判定パラメータ設定部１０７と、軌跡情報判定部１０８と、外部出力部１０９を有する。

画像取得部１０１は、処理対象の画像を時系列順に外部の装置から取得する。この外部の装置はカメラやサーバであるが、外部メモリなどに保存された画像を取得してもよい。

物体検出部１０２は、画像取得部１０１で取得した画像から背景差分法により物体を検出する。ここで検出される物体は、例えば、移動物体である。あるいは、背景差分法により検出された前景である。または、背景ではないと判定された部分でもよい。検出した物体の情報は、画面上位置と外接矩形と物体のサイズとからなる。物体検出部１０２では、画像から物体を検出する処理であり、背景差分法に限定されるものではない。

物体追尾部１０３は、物体検出部１０２が検出した物体と前画像で検出された物体とを対応付けることにより、検出した物体を追尾する。新規に出現した物体には、新規にオブジェクトＩＤ（物体識別子）を付与し、前画像と対応付けることができた物体には、前画像で付与したオブジェクトＩＤを付与する。

人体検出部１０４は、物体検出部１０２が物体を検出した領域からパターンマッチング処理により人体を検出する。人体検出部１０４の処理は、映像から人体を検出する処理であり、パターンマッチング処理に限定されるものではない。また、必ずしも物体検出部１０２が検出した領域から人体検出を行う必要はなく、画像全体に対して人体検出の処理を行ってもよい。また、検出対象は、人体に限定されるものではなく、特定の物体（特定の特徴を有する物体、あるいは、特定のパターンを有すると判定される物体）であることを検出すればよい。例えば、物体が自動車であることや動物であることを検出してもよい。

物体対応付部１０５は、物体検出部１０２が検出した物体と人体検出部１０４が検出した人体の対応付けを決定する。図２に検出した物体と検出した人体の対応付けの例を示す。図２（ａ）は検出した物体の外接矩形２０１に検出した人体の外接矩形２０２が内包されない場合である。なお、外接矩形２０１は、物体検出部１０２が検出した物体の外接矩形である。また、人体の外接矩形２０２は、人体検出部１０４が検出した人体の外接矩形である。このとき、物体の外接矩形２０１に対する人体の外接矩形２０２の重畳率が予め設定した閾値を超えた場合に、検出した物体と検出した人体が対応したとする。重畳率とは、物体の外接矩形２０１と人体の外接矩形２０２とが重畳する部分の面積と人体の外接矩形２０２の面積との割合である。

人体検出部１０４は、画像の人体と思われる特徴量を抽出し、人体であるかを判定する。人体の右半身の特徴量のみで十分に人体と決定できる場合、人体検出部１０４は、左半身の形状の抽出は行わず、人体形状は推測で決定し、人体の外接矩形を出力する。このため、動体の外接矩形内に人体としての特徴量を十分に抽出でき、動体の外接矩形内に人体の右半身の特徴量しか存在しない場合、左半身の形状は推測して人体外接矩形を出力するので、動体の外接矩形に内包されない。

図２（ｂ）は検出した物体の外接矩形２０３から複数の人体を検出した場合である。このとき、人体の外接矩形２０４および人体の外接矩形２０５それぞれと物体の外接矩形２０３との重畳率が予め設定した閾値を超えた場合にそれぞれ対応とする。この場合、人体の外接矩形２０４と２０５が物体の外接矩形２０３と対応するので、外接矩形２０３の物体は、二人の人体を含むと判定される。

軌跡管理部１０６は、物体追尾部１０３で追尾した物体の移動情報を管理する。また、軌跡管理部１０６は、物体対応付部１０５で物体に対応付けられた人体の情報を物体の属性として管理する。すなわち、軌跡管理部１０６は、追尾した物体が物体対応付部１０５により人体（特定の物体）に対応付けられたことを管理する。

図３に軌跡管理部１０６による物体の移動情報管理の例を示す。物体の移動情報（追尾情報）３０１はオブジェクトＩＤごとにオブジェクト情報３０２として管理される。オブジェクト情報３０２は、物体を最初に検出した時間、および、物体を検出したときの時間と画面上の位置と外接矩形とサイズと物体の属性と属性数とからなる位置情報３０３の組からなる。ここで物体の属性は、「なし」もしくは「人体」であり、属性数は、物体対応付部１０５にて物体に対応付けられた人体の数である。図２（ｂ）の例であれば、人体の数は「２」である。例えば、オブジェクトＩＤが「３２」のオブジェクト情報３０２は、最初に検出した時間が、２００９年３月２日１２時３４分５４秒である。そして、２００９年３月２日１２時３４分５８秒に検出されたときには、外接矩形の中心位置が（１５、２０）であり、外接矩形は（１０，１０）と（２０、３０）で表され、物体のサイズは２００である。また、属性は「人体」であり、人体の数は「１」である。

物体の属性と属性数は、人体検出部１０４にて人体を検出し、物体対応付部１０５の結果に従い対応する位置情報の属性と属性数を更新する。更に、過去の位置情報の属性と属性数も同結果に従い更新する。また、その後の位置情報の属性と属性数も同結果を設定する。

図４に位置情報更新の例を示す。例えば、地点４０３にて物体に人体が対応付けられた場合、以降の位置情報に地点４０３で対応付けられた属性と属性数を設定することで軌跡４０４は人体属性をもつ物体として扱う。また、過去の位置情報に地点４０３で対応付けられた属性と属性数を設定することで軌跡４０２は人体属性をもつ物体として扱うことができる。軌跡４０２、４０４は、地点４０３は、所定時間間隔で検出された物体の外接矩形の中心の位置に対応する。地点４０３で物体に人体が対応付けられた場合、地点４０３を示す位置情報に属性が人体であることが記憶される。そして、軌跡４０２を示す位置情報にも属性が人体であることが記憶される。なお、４０１は画面、４０５は物体である。以上のように、軌跡管理部１０６は、物体検出部１０２により検出した物体と人体検出部１０４により検出した人体とが対応付けられた場合、その物体が存在した位置の情報を、人体の属性を付加して管理する。ここでは、人体と対応付けられた物体がその対応付けが行われた時点（物体が地点４０３に存在した時点）よりも過去の時点において存在した位置の情報を、人体に対応付けて管理する。この過去の時点は、物体が軌跡４０２を移動していた時点である。

上述したように、物体の属性は、本実施例においては人体検出部１０４により属性を決定しているが、前述のものに限定されるものではない。属性としては、顔、自動車、動物等、物体に対して、対象物を認識して判定できる属性であれば何でもよい。更に、複数種類の特定物体検出部があり、同時に複数の属性を持てば、物体に複数の種類かつその属性数を持たせてもよい。すなわち、位置情報３０３の物体の属性として、「人体」、「自動車」、「動物」などを記憶するようにしてもよい。また、位置情報３０３の属性数として、「人体」、「自動車」、「動物」等毎に、検出された物体の数を記憶してもよい。例えば、物体検出部１０２により検出された１つの物体に、２つの人体と１つの自動車が含まれる場合、軌跡を管理する物体の属性が人体と自動車であること、人体の数が２であり、自動車の数が１であることを管理する。

判定パラメータ設定部１０７は、物体の軌跡情報を判定するための判定パラメータを外部から軌跡情報判定部１０８に設定する。判定パラメータは、判定を行う場所を示す座標の組と、座標の組の扱いを「領域」もしくは「線」から決定する領域タイプと、物体サイズの範囲と、物体属性および属性数と、画面内での存在時間の範囲と検出イベントからなる。図５に判定パラメータの例を示す。これは、座標（１０，１０）と座標（２０，３０）とを結ぶ線分を、サイズが１００から２５０であり、属性が人体であり、属性数が１であり、存在時間が１秒以上である物体が通過したことを検出する例である。

図６に線分通過判定の例を示す。通過の判定は、判定線分５０１を前画像での物体の外接矩形５０２の中心点と現画像での物体の外接矩形５０３の中心点を結ぶ線分５０４が交差したか否かで判定する。線分５０４は、物体の移動ベクトルである。ここでは、外接矩形の中心点で判定したが、外接矩形のいずれかが通過したことで通過を判定してもよい。判定パラメータが「領域」の場合、その領域に物体が入ったこと、その領域から出たことを判定する。入ったことを検出するか、出たことを検出するかは、判定パラメータの検出イベントで指定できる。

軌跡情報判定部１０８は、軌跡管理部１０６で管理される物体の軌跡情報を判定パラメータ設定部１０７で設定された判定パラメータに従って判定することで、所望の物体を検出する。軌跡情報の判定処理は、設定された判定パラメータすべてに対して、軌跡管理部１０６において軌跡情報が更新されるたびに実施する。例えば、軌跡情報判定部１０８は、追尾した物体が特定の場所を通過したことを判定する。

これにより、図５に示す判定パラメータにより判定をする場合、以下の検出が可能になる。すなわち、物体が判定線分５０１を超えた時点では人体の属性が対応付けられていなくても、その後、人体の属性が対応付けられた時点で、人体の属性が対応付けられた物体の線分通過として検出可能となる。なお、この人体の属性の対応付けは、物体対応付部１０５により行われる。

外部出力部１０９は、軌跡管理部１０６で管理される物体の軌跡情報と軌跡情報判定部１０８の判定結果を外部に出力する。

図７は処理のフローチャートである。

ｆ１において、処理を継続するか終了するかを決定する。処理を継続する場合、画像取得部１０１において外部から画像を取得する（ｆ２）。次に、取得した画像を物体検出部１０２において物体検出処理を行う（ｆ３）。ｆ３では、例えば、物体検出部１０２は、２つの画像を比較し、異なる部分に物体が存在すると判断する。ｆ４において、物体検出処理結果の判定を行い、物体を検出した場合ｆ５に進み、物体を検出していない場合ｆ１に戻る。

物体を検出した場合、物体追尾部１０３において物体の追尾処理を行い（ｆ５）、追尾処理結果を軌跡管理部１０６において移動情報（追尾情報）を更新する（ｆ６）。ｆ５では、例えば、物体追尾部１０３は、物体検出部１０２が第１の画像中に物体を検出し、第２の画像中に物体を検出した場合、それらの２つの物体の距離が所定の距離より近いと判断した場合には、同じ物体であると判断する。軌跡管理部１０６は、物体検出部１０２が検出した物体の位置を時刻ごとに記憶することにより、追尾した物体の軌跡を管理する。軌跡管理部１０６が管理する移動情報については、図３を用いて説明したとおりである。

次に、物体検出部１０２が物体を検出した領域から人体を検出する人体検出処理を人体検出部１０４にて行い（ｆ７）、その結果をｆ８において判定する。人体を検出した場合はｆ９に進み、人体を検出していない場合はｆ１１に進む。ｆ８で行う人体検出は、特定の物体の検出の一例である。ｆ８で検出する特定の物体は、人体に限らず、動物や自動車などでもよい。

ｆ８で人体を検出した場合、物体対応付部１０５において物体と人体の対応付け処理を行い（ｆ９）、結果に基づき軌跡管理部１０６において移動情報（追尾情報）を更新する（ｆ１０）。物体検出部１０２が検出した物体と人体検出部１０４が検出した人体が所定以上の割合で重複する場合、物体対応付部１０５は、物体検出部１０２が検出した物体が人体であると判断し、物体検出部１０２が検出した物体に人体の属性を付与する。人体検出の代わりに、自動車であること、動物であることが検出された場合、物体検出部１０２が検出した物体にその属性が付与される。軌跡管理部１０６は、物体追尾部１０３が追尾している物体が、人体検出部１０４により人体であると判断され、物体対応付部１０５により物体を属性が対応付けられたことを移動情報として記憶し、物体の軌跡と属性を管理する。この属性はその物体が特定の物体であることを示す。

このように、軌跡管理部１０６が、物体検出部１０２により検出した物体と人体検出部１０４により検出した人体とが対応付けられた場合、物体を以下のように管理する。すなわち、軌跡管理部１０６は、人体と対応付けられた物体が当該対応付けられた時点（図４の地点４０３に対応する時点）よりも過去の時点において存在した位置の情報を、人体に対応付けて管理する。この対応付けられた時点（図４の地点４０３に対応する時点）よりも過去の時点は、図４の軌跡４０２に対応する時点である。したがって、人体等の特定の物体が移動した軌跡を正確に管理することができる。

そして、軌跡情報判定部１０８において軌跡情報の判定処理を行い（ｆ１１）、その結果、および、軌跡管理部１０６で管理される物体の軌跡情報を外部に出力する（ｆ１２）。軌跡情報判定部１０８は、例えば、追尾した物体が特定の場所を通過したことを判定する。なお、軌跡管理部１０６が、軌跡情報判定部１０８の機能を含むように構成し、軌跡情報の判定も行ってもよい。

このように、本発明の実施形態によれば、被写体の顔や人体としての特徴が検出しにくい映像においても人体追尾を行い、更に追尾情報を更新することで精度の高い人体のカウントができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

すなわち、図１の映像処理装置（追尾装置）１００の一部又は全部をコンピュータにより実現することもできる。図１の映像処理装置（追尾装置）１００の全部をコンピュータにより実現する形態では、図７のフローチャートは、コンピュータのプログラムの流れを示す。

また、図７のｆ３の物体検出処理、ｆ７の人体検出処理の両方又は一方はハードウェアで行い、そのほかの処理はコンピュータによるソフトウェア処理により行うことも可能である。この形態は、以下の手順をコンピュータに実行されるためのプログラムにより実現される。すなわち、この形態では、映像から物体が検出されたか判断する物体判断手順ｆ４、検出した物体を追尾する追尾手順ｆ５、さらに、移動情報（軌跡情報）を更新することにより、追尾した物体の軌跡を管理する軌跡管理手順ｆ６を行う。移動情報は、図３に示した情報である。また、映像から特定の物体（人体）が検出されたか判断する特定物体判断手順ｆ８を行う。そして、物体判断手順ｆ４で検出されたと判断した物体と特定物体判断手順ｆ８で検出されたと判断した特定の物体とを対応付ける対応付け手順ｆ９と、移動情報（軌跡情報）を更新する。このように更新することにより、追尾した物体が特定の物体に対応付けられたことを管理する特定物体管理手順ｆ１０を行う。

特定物体管理手順ｆ１０では、特定の物体（人体）と対応付けられた物体が当該対応付けられた時点よりも過去の時点において存在した位置の情報を、特定の物体（人体）に対応付けて管理する。さらに、追尾した物体が特定の場所を通過したことを判定する（ｆ１１）。

以上、実施形態例を詳述したが、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

１０１画像取得部
１０２物体検出部
１０３物体追尾部
１０４人体検出部
１０５物体対応付部
１０６軌跡管理部
１０７判定パラメータ設定部
１０８軌跡情報判定部
１０９外部出力部

Claims

映像から物体を検出する物体検出手段と、
前記検出した物体を追尾する追尾手段と、
前記追尾した物体の軌跡を管理する軌跡管理手段と、
映像から特定の物体を検出する特定物体検出手段と、
前記物体検出手段が検出した物体の領域と前記特定物体検出手段が検出した特定物体の領域とが前記映像において重畳する部分の面積に基づいて、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応するかを判断する判断手段と、
前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応すると前記判断手段が判断した場合に、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とを対応付ける対応付け手段とを有し、
前記軌跡管理手段は、前記追尾した物体が前記対応付け手段により特定の物体に対応付けられたことを管理することを特徴とする映像処理装置。
前記軌跡管理手段は、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した複数の特定の物体が対応付けられた場合、前記追尾した物体と検出した特定の物体の数を対応付けて管理することを特徴とする請求項１に記載の映像処理装置。
前記軌跡管理手段は、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した複数種類の特定物体が対応付けられた場合、前記追尾した物体と検出した複数種類の物体を対応付けて管理することを特徴とする請求項１又は２に記載の映像処理装置。
前記軌跡管理手段は、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応付けられた場合、前記特定の物体と対応付けられた物体が当該対応付けられた時点よりも過去の時点において存在した位置の情報を、前記特定の物体に対応付けて管理することを特徴とする請求項１から請求項３のいずれか１項に記載の映像処理装置。
前記軌跡管理手段は、前記追尾手段が追尾する物体であって前記特定物体と対応付けられていない物体が特定の場所を通過した場合であって、前記追尾手段が追尾する該物体が前記特定の場所を通過した後に前記特定の物体と対応付けられた場合に、前記特定の物体が前記特定の場所を通過したと判定することを特徴とする請求項１から請求項４のいずれか１項に記載の映像処理装置。
物体検出手段が、映像から物体を検出し、
追尾手段が、前記検出した物体を追尾し、
軌跡管理手段が、前記追尾した物体の軌跡を管理し、
特定物体検出手段が、映像から特定の物体を検出し、
前記物体検出手段が検出した物体の領域と前記特定物体検出手段が検出した特定物体の領域とが前記映像において重畳する部分の面積に基づいて、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応するかを判断し、
前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応すると判断した場合に、対応付け手段が、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とを対応付け、
前記軌跡管理手段が、前記追尾した物体が前記対応付け手段により特定の物体に対応付けられたことを管理することを特徴とする映像処理方法。
前記軌跡管理手段が、前記物体検出手段により検出した物体と前記特定物体検出手段により検出した特定の物体とが対応付けられた場合、前記特定の物体と対応付けられた物体が当該対応付けられた時点よりも過去の時点において存在した位置の情報を、前記特定の物体に対応付けて管理することを特徴とする請求項６に記載の映像処理方法。
前記軌跡管理手段が、前記追尾手段が追尾する物体であって前記特定の物体と対応付けられていない物体が特定の場所を通過した場合であって、前記追尾手段が追尾する該物体が前記特定の場所を通過した後に前記特定の物体と対応付けられた場合に、前記特定の物体が前記特定の場所を通過したと判定することを特徴とする請求項６又は７に記載の映像処理方法。
映像から物体が検出されたか判断する物体判断手順と、
前記検出した物体を追尾する追尾手順と、
前記追尾した物体の軌跡を管理する軌跡管理手順と、
映像から特定の物体が検出されたか判断する特定物体判断手順と、
前記物体判断手順において検出した物体の領域と前記特定物体判断手順において検出した特定物体の領域とが前記映像において重畳する部分の面積に基づいて、前記物体判断手順において検出した物体と前記特定物体判断手順において検出した特定の物体とが対応するかを判断する判断手順と、
前記物体判断手順において検出した物体と前記特定物体判断手順において検出した特定の物体とが対応すると判断した場合に、前記物体判断手順で検出されたと判断した物体と前記特定物体判断手順で検出されたと判断した特定の物体とを対応付ける対応付け手順と、
前記追尾した物体が前記特定の物体に対応付けられたことを管理する特定物体管理手順をコンピュータに実行させるためのプログラム。
前記軌跡管理手順は、前記物体判断手順で検出されたと判断した物体と前記特定物体判断手順で検出されたと判断した特定の物体とが対応付けられた場合、前記特定の物体と対応付けられた物体が当該対応付けられた時点よりも過去の時点において存在した位置の情報を、前記特定の物体に対応付けて管理することを特徴とする請求項９に記載のプログラム。
前記軌跡管理手順は、前記追尾手順において追尾する物体であって前記特定の物体と対応付けられていない物体が特定の場所を通過した場合であって、追尾する該物体が前記特定の場所を通過した後に前記特定の物体と対応付けられた場合に、前記特定の物体が前記特定の場所を通過したと判定することを特徴とする請求項９又は１０に記載のプログラム。