JP2016197345A - 画像解析装置、画像解析方法、およびプログラム - Google Patents

Abstract

【課題】追尾処理の精度を向上させる。
【解決手段】画像解析装置は、動画を構成する複数の画像を取得し、取得された画像から検出された被写体の特徴量と位置とのうち、少なくとも何れかを用いて他の画像の被写体と対応付け、該対応付けされた被写体の特徴量を更新し、取得された画像から検出された被写体が他の被写体と交錯しているか否かを判定する。画像解析装置は、取得された画像から検出された被写体のうち、交錯していると判定された被写体の特徴量を更新しない。
【選択図】 図２

Description

本発明は被写体の特徴情報を用いた画像解析方法に関する。

ネットワークに接続されたカメラによる撮像画像を解析するための画像解析技術として、例えば顔認識技術が知られている。また、顔認識技術を用いて構築された人物検索装置は、特定人物や迷子が映り込んでいる映像の絞り込みに使われている。

人物検索装置では、検索対象となる人物の顔や、服装から得られる特徴情報(特徴量)が事前に取得・解析され、検索しやすい形式で記録される。応答速度、検索精度などの仕様を満足するため、人物検索装置では検索対象となる人物の上限数が決められている。カメラから取得された画像の各フレームや、検出された各結果に対して抽出された特徴量がそのまま人物検索装置へ登録されると、類似した情報が多数記録され、人物検索装置の能力が圧迫されてしまう。結果として、検索可能な人物数の減少、検索時間の長期化が引き起こされ、システムパフォーマンスの低下につながる。

人物検索装置では、検索対象となる人物の顔や、服装から得られる特徴情報(特徴量)が事前に取得・解析され、検索しやすい形式で記録される。応答速度、検索精度などの仕様を満足するため、人物検索装置では検索対象となる人物の上限数が決められている。カメラから取得された画像の各フレームや、検出された各結果に対して抽出された特徴量がそのまま人物検索装置へ登録されると、類似した情報が多数記録され、人物検索装置の能力が圧迫されてしまう。結果として、検索可能な人物数の減少、検索時間の長期化が引き起こされ、システムパフォーマンスの低下につながる。

この課題に対して、特許文献1には、人物の見え方が最適な候補画像を選択する第1のサーバと、画像検索用キーを生成する第2のサーバを用意したシステムが記載されている。また特許文献１には、第１のサーバにより選択された画像が第１のサーバから第２のサーバへ伝送され、第２のサーバで処理されることが記載されている。また、特許文献2では、検出した複数の動体を、大きさを元に人や車といった種別へ分類し、種別ごとに記憶部に格納する方法が開示されている。いずれの方法も何らかの手段で同一の人物であることを判定し、抽出した特徴量をまとめて人物検索装置へ送ることにより、登録処理・検索処理の効率化を図っている。

特許第3612220号号公報 特開2013-239205号公報

しかしながら、特許文献1や特許文献2の方法を用いて追尾処理を行った場合、追尾処理の精度が低下してしまうケースが考えられる。追尾処理とは、複数のフレームで検出された人物の同定を行う処理である。すなわち、特許文献1や特許文献2ではそれぞれ、連続する2フレームの差分、検出した動体サイズといった非常に簡単な情報を用いて、フレーム間をまたいだ人物の同定を行っている。一方、追尾処理は追尾中の人物の交差や混雑の環境を苦手とする。このような環境では、追尾が途切れたり、追尾対象と他の人物が入れ替わったりすることがある。そのため、特許文献1及び2の方法で追尾処理を行うと、追尾処理の精度が低下する恐れがある。また、このような環境で抽出した追尾対象の特徴量が人物検索装置へ記録されると、人物検索システムとしての精度低下につながる可能性がある。

本発明は上記課題に鑑みてなされたものであり、追尾処理の精度を向上させることを目的とする。

上記目的を達成するための一手段として、本発明の画像解析装置は以下の構成を有する。すなわち、動画を構成する複数の画像を取得する取得手段と、前記取得手段により取得された画像から検出された被写体の特徴量と位置とのうち、少なくとも何れかを用いて他の画像の被写体と対応付ける第１の統合手段と、前記第１の統合手段により対応付けされた被写体の特徴量を更新する更新手段と、前記取得手段により取得された画像から検出された被写体が他の被写体と交錯しているか否かを判定する交錯判定手段とを有し、前記更新手段は、前記取得手段により取得された画像から検出された被写体のうち、前記交錯判定手段により交錯していると判定された被写体の特徴量を更新しないことを特徴とする。

本発明によれば、追尾処理の精度を向上させることが可能となる。

第１の実施形態におけるネットワーク接続構成を示す図。 第１実施形態における人物検索システムの機能ブロックの一例を示す図。 第１実施形態における人物検索システムのハードウェア構成の一例を示す図。 画像解析装置３００での処理フロー図。 交錯判定部３０３で実施する交錯判定を説明する図。 画像解析装置３００で抽出する特徴量を説明する図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
図１は、第１の実施形態における人物検索システム（画像解析システム）のネットワーク接続構成を示す図である。第１の実施形態における人物検索システムの構成要素として、ネットワークカメラ（以下、カメラ）１００、ネットワークストレージ装置（以下、ストレージ装置）２００、画像解析装置３００、人物検索装置４００、画像表示装置５００が、ネットワーク回線であるＬＡＮ６００によって接続されている。カメラ１００は撮像装置であり、符号化された画像データをＬＡＮ６００経由で配信する機能を有する。ストレージ装置２００は、カメラ１００から配信される画像データを、ＬＡＮ６００を介して受信して記録する。

画像解析装置３００は、カメラ１００又はストレージ装置２００に記録された画像（動画）データをＬＡＮ６００経由で読み込み、後述する人物検索システムの登録情報を生成する。人物検索装置４００は、検索対象となる人物の特徴量を取得し、それらを記録する。また、人物検索装置４００は、ユーザからの検索指示に基づいて人物検索処理を実行する。画像表示装置５００は、カメラ１００から配信される画像データ、およびストレージ装置２００に記録された画像データの再生・表示を行う。また、画像表示装置５００は、検索用のユーザインタフェースを表示し、ユーザ指示に基づいて検索対象や人物属性情報を人物検索装置４００へ送信する。

図２は、本実施形態における人物検索システムの機能ブロックの一例を示す図である。カメラ１００は画像取得部１０１、符号化部１０２、および通信部１０３から構成される。画像取得部により取得され画像処理が施された画像データは、符号化部１０２によりＬＡＮ６００で通信できる形式へと変換される。変換された画像データは、通信部１０３を通じてストレージ装置２００、画像解析装置３００および画像表示装置５００へと配信される。ストレージ装置２００は、ＬＡＮ６００から通信部２０１を介して配信画像を受信し、記録部２０２に記録する。

画像解析装置３００は、ＬＡＮ６００から通信部３０１を介して、カメラ１００、およびストレージ装置２００に記録された画像を読み込む。画像解析装置３００は、人物検出部３０２、第1の統合部３０３、第1の判定部３０４、第2の統合部３０５にてフレームをまたいだ人物の同定を行う。次に、画像解析装置３００は、第２の判定部３０６と特徴量抽出部３０７にて特徴量の抽出・更新を行う。次に、画像解析装置３００は、登録判定部３０８１および登録特徴量送信部３０８２から構成される人物登録部３０８にて登録する人物特徴量を人物検索装置４００へ送る。

人物検索装置４００は、ＬＡＮ６００から通信部４０１を介して登録人物情報、および人物検索要求を受け取り記録部４０２、および検索部４０３でそれぞれ処理を実行する。最後に画像表示装置５００はＬＡＮ６００から通信部５０１を介して配信画像、および人物検索結果を受け取り、表示部５０２において画面に表示する。

図３は、本実施形態における人物検索システムの各構成要素のハードウェア構成の一例を示す図である。ＣＰＵ３１は、各構成要素の動作を制御する。ＲＯＭ３２は、制御命令つまりプログラムを格納する。ＲＡＭ３３は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。通信部３４は、外部の装置と通信するための制御を行う。表示部３５は、各種表示を行う。ユーザＩ／Ｆ（インタフェース）３６は、利用者の操作を受け付ける。人物検索システムの各構成要素１００〜５００による処理は、ＣＰＵ３１がＲＯＭ３２に格納されたプログラムを実行することにより行われてもよく、また、専用のハードウェアにより行われてもよい。

次に、本実施形態における人物検索システムの処理について詳細を説明する。まず、カメラ１００が行う処理について説明する。画像取得部１０１は、CMOSなどの撮像素子から取得したデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、RGBやYUVなどのデジタル画像を現像する。また、画像取得部１０１は、現像を施した後のデジタル画像に対してホワイトバランス、シャープネス、コントラスト、色変換などの画像補正処理を行い、画像データを生成する。画像取得部１０１により生成された画像データは、符号化部１０２へ渡される。符号化部１０２は、ネットワークを介して画像を配信するためにJPEGやMotion JPEG、H.264といった圧縮フォーマットで画像データの符号化を施す。符号化部１０２で符号化された画像データは、通信部１０３を通してＬＡＮ６００を介し、ストレージ装置２００、画像解析装置３００、および画像表示装置５００へ渡される。

ストレージ装置２００では、通信部２０１が画像データを受信し、記録部２０２は受信された画像データをストレージに記録する。記録部２０２は、配信時の画像ファイルフォーマットそのままでストレージに記録してもよく、また、読み書きのアクセス性能向上のため複数ファイル、または複数ディスクに分割してストレージに記録してもよい。また、ストレージ装置２００は、画像解析装置３００、および画像表示装置５００からの要求に応じて、過去映像の画像解析・表示のために、記録済みの画像データを通信部２０１経由で配信する処理も行う。

画像解析装置３００は、カメラ１００およびストレージ装置２００から受け取ったデータに対して統合処理を行い、人物検索装置４００へ送信する人物特徴量の抽出を行う。図４に画像解析処理のフローを示す。なお、本実施形態ではカメラ１００、ストレージ装置２００、画像解析装置３００、人物検索装置４００、及び画像表示装置５００が、それぞれ別の装置である場合の例を説明しているが、この例に限らない。例えば、カメラ１００と画像解析装置３００が一体の装置であっても良いし、カメラ１００トストレージ装置２００が一体の装置であっても良いし、画像解析装置３００と人物検索装置４００が一体の装置であっても良い。

まずステップＳ４００１にて、通信部３０１は、カメラ１００と必要に応じてストレージ装置２００から画像データを読み込む。次にステップＳ４００２で、人物検出部３０２と第1の統合部３０３により、第1の統合処理が行われる。第1の統合処理では、連続する画像フレーム間に登場する人物、すなわち追尾対象の同定が行われる。第1の統合処理のために、まず、人物検出部３０２は、追尾技術を用いてSIFT特徴量等の特徴量を検出する。第1の統合部３０３は、人物検出部３０２により検出された特徴量を用いて、連続する画像フレーム間で同一の追尾対象の同定を行い、同定した追尾対象に対してユニークなIDを付与する。すなわち、第1の統合部３０３は、連続する画像フレーム間で同一の追尾対象を対応付ける。

次にステップＳ４００３では、第1の判定部３０４は、第1の統合部３０３によりIDが付与された検出対象を参照し、新規の追尾対象が発生したか否かを確認する。第1の統合部３０３により、全ての追尾対象にはユニークなIDが付与されているため、判定部は、前フレームの画像を処理した際のIDを記録しておくことにより、新規の追尾対象が発生したか否かを判定できる。新規の追尾対象が発生した場合（ステップＳ４００３でＮＯ）、第2の統合部３０５は、ステップＳ４００４で第2の統合処理を行う。なお、第2の統合処理を省略し、処理はステップＳ３００３の後ステップＳ３００５へ進んでもよい。

第2の統合部３０５は、新規に発生した追尾対象が、過去に検出された追尾対象のいずれかと一致するかを判定する。具体的には、第2の統合部３０５は、顔認識技術を用いて、新規に発生した追尾対象のスコア値を算出し、該スコア値に基づいて、新規に発生した追尾対象が、過去に検出された追尾対象のいずれかと一致するか否かを判定する。新規に発生した追尾対象が過去に検出された追尾対象のいずれかと一致すると判定された場合、第2の統合部３０５は、該2つの追尾対象は同一であるとしてユニークなIDを付与する。すなわち、第2の統合部３０５は、現画像フレームと過去の画像フレーム間で同一の追尾対象を対応付ける。例えば、第2の統合部３０５は、過去に検出された追尾対象のIDを新規に発生した追尾対象に付与する。一方、新規に発生した追尾対象が過去に検出された追尾対象のいずれかと一致しないと判定された場合、新規に発生した追尾対象は第1の統合部３０３により付与されたIDを有した状態となる。

次に、ステップＳ４００５では、第2の判定部３０６は、検出された追尾対象が交錯しているか否かを判定する。一般的な追尾処理では、追尾対象が何等かの物体に一時隠れることに対応するため、同一対象であるかが多少疑わしい状況であっても、一時隠れる前と後の対象を統合されている。したがって、これにより、人物の交差、および混雑環境下では、人物情報が混在してしまう可能性がある。そこで本実施形態における第2の判定部３０６は、追尾対象の位置情報を検出し、該位置情報を用いることで交錯しているか否かを判定する。交錯しているか否かを判定するための条件としては、他の追尾対象との距離、および他の追尾対象がいくつ存在するかといったことが考えられる。

図５は、交錯領域の考え方を示したものである。追尾対象の位置情報としては顔領域や人物枠の矩形情報が取得できる。第2の判定部３０６は、例えば矩形中心の座標をそれぞれ計算し、他の座標とのユークリッド距離を求めることで、追尾対象間の距離を求める。また、第2の判定部３０６は、他の追尾対象がいくつ存在するかを、所定の閾値1以上に距離が近い検出枠の数を数えることで計算することができる。第2の判定部３０６は、この値を所定の閾値２と比較することで交錯領域か否かを追尾対象枠毎に判断することができる。交錯判定の結果、交錯状態にあると判定された場合（ステップＳ３００５でＹＥＳ）、ステップＳ３００６で第1の統合処理を中断する（ステップＳ４００６）。すなわち、交錯状態にあると判定された場合、後に特徴量が抽出されても、その抽出量を用いて更新処理は行われない。この処理は、例えば、第1の統合部３０３により検出された追尾結果が、以降の処理に渡されないことで実現できる。これにより、交差状態にあると判定された追尾対象は、ステップＳ４００７以降の処理対象とはならず、特徴量の更新は行われない。

ステップＳ４００７では、特徴量抽出部３０７は、追尾対象毎に人物特徴量を抽出し、更新する。図６は、抽出される人物特徴量の例を示している。顔器官位置とその周囲の色の勾配情報を表すSIFT、LBP、HOGなどの低レベル特徴量の他に年齢、性別、眼鏡、ひげ、髪色、服色といった高レベルの特徴量もある。1フレームにおける抽出結果だけでは認識処理の結果が安定せず、振れることがあるため、複数フレームにわたって結果を総合的に判断すると、より高い精度の解析結果が取得できる。例えば、過去フレームを含めて多数決処理を行い、最も多く検出された結果を採用することで実現できる。顔器官の位置や年齢、色情報といったバリエーションがるものでは平均値を求めることで同様に安定した解析結果を得ることができる。

ステップＳ４００８では、登録判定部３０８１は、追尾対象の人物の特徴量を登録可能かを判定する。登録判定部３０８１は、例えば、第1の統合処理の結果として得られる追尾開始からの経過秒数、交錯判定結果として得られる直前に交錯条件下に入っていないか、第2の統合処理の結果として得られる交錯条件下に入ってから一定の時間が経過していないかといった情報に基づいて登録可能か否かを判定することができる。また、登録判定部３０８１は、人物特徴量取得結果を参照し、抽出・更新した人物属性がどの程度の期間変化がないかを参照することにより、十分な数の特徴量が取得できたかを判断し、登録可能かどうかの判定基準とすることができる。

追尾対象の人物の特徴量を登録可能と判定された場合（ステップＳ４００８のでＹＥＳ）、最後にステップＳ４００９では、登録特徴量送信部３０８２は、登録対象となった人物特徴量を人物検索装置４００へ伝送して処理を完了する。

人物検索装置４００は、通信部４０１を介して画像解析装置３００から送られる人物情報の登録処理、および画像表示装置５００から送られる人物情報の検索処理を行う。渡された人物情報は、後で検索しやすい形式で記録部４０２にて蓄積される。具体的には、人物検索装置４００は、検索応答時間ができるだけ短くなるように、登録情報として渡される特徴量に基づいてクラスタリング処理を事前に施したり、検索インデックスや検索対象のデータをメモリ上にあらかじめ置いたりしく。

最後に、画像表示装置５００は、通信部５０１を介して読み込んだ配信画像データ、人物検索結果、および検索用のユーザインタフェースを、表示部５０２で表示する。人物検索結果は、人物検索装置４００から返される情報を元に、時系列順、類似度順、地図上へ重畳表示などの工夫を施されてユーザにとって分かりやすい形式で表示される。また、画像表示装置５００は、検索用のユーザインタフェースを介して、ユーザ操作により検索対象や人物属性情報を取得し、取得した検索対象や人物属性情報を、人物検索装置４００への問い合わせ時に使用する。

このように、本実施形態によれば、追尾が途切れたり、追尾対象と他の人物が入れ替わるような、混雑した環境において抽出された追尾対象の特徴量は更新されず、人物検索システムとしての精度低下を防ぐことが可能となる。言い換えれば、交錯時か否かによって人物特徴量の統合方法を切り替えることで、人物検索装置に登録される特徴量の効率化を図り、人物検索システムの性能向上、応答時間の短縮、および検索精度の向上が実現される。なお、本実施形態では追尾対象は人物であるとして説明をしたが、人物以外の被写体であっても構わない。

［その他の実施形態］
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施形態をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である

１００ ネットワークカメラ、１０１ 画像取得部、１０２ 符号化部、１０３ 通信部、２００ ネットワークストレージ装置、２０１ 通信部、２０２ 記録部、３００ 画像解析装置、３０１ 通信部、３０２ 人物検出部、３０３ 第1の統合部、３０４ 第1の判定部、３０５ 第2の統合部、３０６ 第2の判定部、３０７ 特徴量取得部、３０８ 人物登録部、３０８１ 登録判定部、３０８２ 登録特徴量送信部、４００ 人物検索バ装置、４０１ 通信部、４０２ 記録部、４０３ 検索部、５００ 画像表示装置、５０１ 通信部、５０２ 表示部、６００ ＬＡＮ

Claims (9)

1. 動画を構成する複数の画像を取得する取得手段と、
   前記取得手段により取得された画像から検出された被写体の特徴量と位置とのうち、少なくとも何れかを用いて他の画像の被写体と対応付ける第１の統合手段と、
   前記第１の統合手段により対応付けされた被写体の特徴量を更新する更新手段と、
   前記取得手段により取得された画像から検出された被写体が他の被写体と交錯しているか否かを判定する交錯判定手段とを有し、
   前記更新手段は、前記取得手段により取得された画像から検出された被写体のうち、前記交錯判定手段により交錯していると判定された被写体の特徴量を更新しないことを特徴とする画像解析装置。
2. 前記第１の統合手段は、前記取得手段により取得された連続する画像に現れる被写体を同定する追尾処理を行うことを特徴とする請求項１に記載の画像解析装置。
3. 前記第１の統合手段により対応付けされなかった被写体を、該被写体の特徴量に基づいて、過去に検出された同一の被写体と対応付ける第２の統合手段をさらに有し、
   前記更新手段は、さらに、前記第２の統合手段により対応付けされた被写体の特徴量を更新することを特徴とする請求項１または２に記載の画像解析装置。
4. 前記第２の統合手段は、前記取得手段により取得された過去の画像に現れる被写体を同定する顔認識の処理を行うことを特徴とする請求項３に記載の画像解析装置。
5. 前記交錯判定手段は、前記取得手段により取得された画像において、前記第１の統合手段により対応付けされた被写体と他の被写体の数とその間の距離に基づいて、交錯しているか否かを交錯判定することを特徴とする請求項１から４のいずれか１項に記載の画像解析装置。
6. 更新された特徴量を外部装置へ登録するために該外部装置へ送信する送信手段をさらに有することを特徴とする請求項１から５のいずれか１項に記載の画像解析装置。
7. 前記外部装置へ登録するための所定の条件を満たしているかを判定する登録判定手段をさらに有することを特徴とする請求項６に記載の画像解析装置。
8. 動画を構成する複数の画像を取得する取得工程と、
   前記取得工程において取得された画像から検出された被写体の特徴量と位置とのうち、少なくとも何れかを用いて他の画像の被写体と対応付ける第１の統合工程と、
   前記第１の統合工程において対応付けされた被写体の特徴量を更新する更新工程と、
   前記取得工程において取得された画像から検出された被写体が他の被写体と交錯しているか否かを判定する交錯判定工程とを有し、
   前記更新工程では、前記取得工程において取得された画像から検出された被写体のうち、前記交錯判定工程においてにより交錯していると判定された被写体の特徴量を更新しないことを特徴とする画像解析方法。
9. 請求項１から請求項７のいずれか１項に記載の画像解析装置の各手段としてコンピュータを機能させるプログラム。

Images