JP5111934B2 - 監視装置 - Google Patents

Description

本発明は、監視装置に関するものであり、特に、監視画像等のビデオ画像から人物等の監視対象者を検出して、監視対象者の挙動を監視する監視装置に関するものである。

従来の監視装置は、一般的に、監視画像に基づいて人物や人物の顔部を検出して、人物または顔部の画像や人物の動線軌跡をリアルタイムに画面に表示し、過去の動線軌跡の情報を再現して人物の行動を監視していた。

また、その他の監視装置では、現在の動線軌跡と過去の動線軌跡を分割画面で同時に表示することにより、人物の行動を監視していた（例えば、特許文献１参照）。
特開２００３−１０１９９９号公報

しかしながら、従来の監視装置においては、人物の画像や人物の巡った動線軌跡が情報としてリアルタイムに表示されるが、人物が何を見ているか、つまり人物の視野に何があり、人物の注目対象が何であるかは判らないという問題があった。また、従来の監視装置を用いた場合、人物の動線軌跡の情報により人物の行動を監視するが、人物の注目対象が何であるか判らないため、人物の視野情報に基づいて人物の挙動を監視できないという問題があった。

本発明は、従来の問題を解決するためになされたもので、人物等の監視対象者の視野に対応する画像を画面に表示することができ、監視対象者の視野情報に基づいた人物の挙動の監視を可能にする監視装置を提供することを目的とする。

本発明の監視装置は、監視領域における監視対象者の画像を入力する画像入力部と、画像入力部から入力された画像から、監視対象者の空間位置を算出する空間位置算出部と、画像入力部から入力された画像から、監視対象者の視線方向を検出する視線方向検出部と、撮影位置と撮影方向を付加した画像データを記憶する視線画像記憶部と、空間位置と視線方向に基づいて、空間位置における視線方向の画像を視線画像として視線画像記憶部から抽出する視線画像抽出部と、空間位置と視線方向に基づいて、視線画像のうち、監視対象者の視野角に対応する画像を視野画像として出力する視野画像出力部と、視野画像出力部により出力された視野画像を表示する表示部とを備える。

この構成によれば、監視画像から検出された監視対象者の空間位置及び視線方向に基づいて、監視対象者の視野角に対応する視野画像を画面に表示することができ、監視対象者の注目対象が何であるかを判断することができる。

本発明の監視装置は、監視対象者の空間位置を追跡して、監視対象者の動線軌跡を検出する動線軌跡検出部と、動線軌跡から監視対象者の進行方向を推定し、視線方向と進行方向の情報に基づいて、監視対象者が不審者であるか否かを判定する視線挙動判定部とを備える。

この構成によれば、監視画像から検出された監視対象者の進行方向と視線方向に基づいて、監視対象者が不審者であるか否かを判断することができ、監視画像から不審者を発見することができる。

本発明の監視装置では、視線挙動判定部は、進行方向に対する視線方向の相対角度を算出し、相対角度が所定の閾角度を超えた回数に基づいて、監視対象者が不審者であるか否かを判定する。

この構成によれば、監視対象者の進行方向に対する視線方向の相対角度に基づいて、監視対象者の不審挙動を検出し、監視対象者が不審者であるか否かを判断することができ、監視画像から不審者を発見することができる。

本発明の監視装置は、空間位置及び視線方向に基づいて、所定の対象物が監視対象者の視野に含まれる時間を注目時間として計測する注目時間計測部と、注目時間が所定の閾時間を超えた場合に対象物の情報を出力する注目挙動判定部とを備える。

この構成によれば、所定の対象物が監視対象者の視野に含まれている注目時間を計測することにより、監視対象者の注目対象を特定することができる。

本発明の監視装置では、注目挙動判定部は、注目時間が閾時間を超えた場合に、監視対象者が不審者であると判定する。

この構成によれば、注目時間に基づいて、監視対象者の不審挙動を検出することにより、監視対象者が不審者であるか否かを判断することができ、監視画像から不審者を発見することができる。
本発明の監視装置では、表示部は、監視対象者の画像と視野画像とを同時に表示する。

この構成によれば、監視対象者の画像とともに視野画像を画面に表示することができ、不審者であると判断された監視対象者の画像と視野画像を同時に監視することができる。

本発明は、人物等の監視対象者の視野に対応する画像を画面に表示することができ、監視対象者の視野情報に基づいて監視対象者の挙動の監視を可能にする監視装置を提供することができるものである。

（第１の実施の形態）
以下、本発明の実施の形態にかかる監視装置について、図面を用いて説明する。
本発明の第１の実施の形態にかかる監視装置１００を図１に示す。

図１において、監視装置１００は、カメラ部１、画像処理部２、空間位置算出部３、視線方向検出部４、視線推定部５、視線画像抽出部６、視線画像記憶部７、視野画像出力部８、及び表示部９を備える。

カメラ部１は、監視領域における監視対象者（例えば、人物）のビデオ画像等の監視画像を出力する。画像処理部２は、カメラ部１により入力された監視画像をデジタル画像に変換する処理等の画像処理を行う。なお、カメラ部１と画像処理部２は、監視領域における監視対象者の画像を入力する画像入力部として機能する。

空間位置算出部３は、画像処理部２により画像処理された画像データを入力し、入力された監視画像から、監視対象者の空間位置を算出する。例えば、空間位置算出部３は、監視画像から監視対象者の顔部を検出して、二次元座標における顔部の位置を特定し、予め測定されたカメラキャリブレーション情報を用いて、三次元座標における顔部の位置を算出することにより、監視対象者の空間位置を算出する。

視線方向検出部４は、画像処理部２から入力された画像データから、監視対象者の顔部を検出し、検出された顔部の画像情報に基づいて、三次元座標における監視対象者の視線方向を検出する。視線推定部５は、空間位置算出部３により算出された監視対象者の空間位置及び視線方向検出部４により検出された視線方向に基づいて、空間位置における視線方向を監視対象者の視線情報として推定する。視線情報とは、監視対象者が何処から何処の方向を見ているかを表す情報であり、視点からの視線のベクトルの情報ということもできる。ここでは、監視対象者の空間位置及び視線方向の組み合わせが、視線情報として用いられる。

視線画像抽出部６は、視線推定部５により推定された監視対象者の視線情報に対応する視線画像を、視線画像記憶部７から抽出する。視線画像記憶部７は、監視領域の周辺画像を格納する。

視野画像出力部８は、監視対象者の視線情報、即ち、空間位置と視線方向に基づいて、視線画像抽出部６により抽出された視線画像のうち、監視対象者の視野角に対応する画像を視野画像として出力する。表示部９は、視野画像出力部８により出力された視野画像を表示する。
次に、本実施の形態にかかる監視装置１００の動作について、図を用いて説明する。

カメラ部１は、監視領域の画像をリアルタイムに出力する監視カメラ等によって構成されており、リアルタイムに撮影された監視画像の画像信号を出力する。カメラ部１により出力された画像信号は、キャプチャーボード等の画像入力デバイスによって、画像処理部２へ転送される。画像処理部２は、入力された画像信号をデジタル信号に変換し、デジタル画像を生成する。例えば、図２に示すように、画像処理部２は、監視対象者２１を含むデジタル画像２０（例えば、ＲＧＢカラー画像）を生成する。

空間位置算出部３は、画像処理部２から入力された画像データから、監視対象者の顔部を検出し、二次元座標における顔部の位置を特定する。例えば、図３に示すように、空間位置検出部３は、デジタル画像２０における監視対象者２１の顔部２２を検出し、顔部２２の重心位置を顔部位置Ｐ１として特定する。この場合、顔部位置Ｐ１は、二次元座標（ｘ１，ｙ１）で表される。そして、空間位置検出部３は、カメラ部１のキャリブレーション情報を用いて、三次元座標における顔部位置を算出する。例えば、図４に示すように、空間位置検出部３は、カメラ部１のカメラ位置Ｃ１（Ｘ１，Ｙ１，Ｚ１)、カメラ部１の画角、及びカメラ部１の焦点距離等のキャリブレーション情報に基づいて、図３に示すような二次元座標（ｘ，ｙ）における顔部位置Ｐ１（ｘ１，ｙ１）から図４に示すような三次元座標（Ｘ，Ｙ，Ｚ）における顔部位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）を監視対象者２１の空間位置として算出する。

視線方向検出部４は、画像処理部２から入力された画像データから、デジタル画像における顔部の正面方向を視線方向として検出し、二次元座標において検出された視線方向に基づいて、三次元座標における視線方向を検出する。例えば、図５に示すように、視線方向検出部４は、デジタル画像２０における視線方向Ｄ１の角度を検出する。この場合、視線方向検出部４は、様々な角度の顔部のテンプレートとデジタル画像２０における顔部２２とをマッチングさせることにより、顔部２２に近似するテンプレートから視線方向Ｄ１の角度を検出する。そして、視線方向検出部４は、二次元のデジタル画像２０上での視線方向Ｄ１に基づいて、図６に示すように、三次元座標における視線方向Ｄ２を検出する。

視線推定部５は、空間位置算出部３から監視対象者の空間位置が入力され、視線方向検出部４から監視対象者の視線方向が入力される。そして、視線推定部５は、空間位置における視線方向を監視対象者の視線情報として推定する。例えば、図６に示すように、視線推定部５は、三次元座標における顔部位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）における視線方向Ｄ２を監視対象者２１の視線情報として推定する。なお、視線情報は、前述したように、空間位置と視線方向の組み合わせである。

視線画像記憶部７は、監視領域の周辺画像を予め格納する。ここで、視線画像記憶部７に格納される周辺画像の作成手法について説明する。視線画像記憶部７に格納される周辺画像は、監視領域内においてカメラを移動させることにより撮影された周辺画像の画像データに、カメラ位置とカメラ方向のデータを付加することにより作成される。例えば、図７に示すように、監視領域の周辺画像は、カメラ３０が撮影した監視領域の周辺画像の画像データにカメラ３０のカメラ位置Ｃ２（Ｘ３，Ｙ３，Ｚ３）とカメラ方向θの情報を付加することにより作成され、作成された周辺画像は、視線画像記憶部７に格納される。また、監視対象として重要な重要対象物が監視領域内にある場合、重要対象物及びその周辺の画像を詳細に撮影することにより、重要対象物の周辺画像が作成される。例えば、図７に示すように、カメラ位置Ｃ２，Ｃ３，Ｃ４及びカメラ方向θを細かく変えることにより、重要対象物の詳細な周辺画像が作成される。このような周辺画像の作成手法は、例えば特許３４３３８８２号公報に記載されている。

視線画像抽出部６は、視線推定部５により推定された監視対象者の視線情報が入力され、監視対象者の視線情報に対応する視線画像を、監視領域の周辺画像を格納する視線画像記憶部７から抽出する。この場合、視線画像抽出部６は、視線画像記憶部７に格納された周辺画像に付加されているカメラ位置及びカメラ方向の情報を参照して、監視対象者の空間位置及び視線方向に最も近いカメラ位置及びカメラ方向で撮影された周辺画像を、視線画像として視線画像記憶部７から抽出する。例えば、図８（ａ）に示すように、視線画像抽出部６は、監視対象者の空間位置Ｐ３に最も近いカメラ位置Ｃ５における視線方向Ｄ３の画像を視線画像として抽出する。この場合、視線画像抽出部６は、監視対象者の空間位置Ｐ３の後方からの画像を視線画像として抽出することにより、監視対象者の視野を含む視線画像を抽出する。

視野画像出力部８は、視線画像抽出部６により抽出された視線画像が入力され、視線画像のうち監視対象者の視野角に対応する画像を視野画像として出力する。ここでは、監視対象者の標準的な視野角の値が予め記憶されており、視野画像出力部８は、この標準的な視野角に基づいて、監視対象者の視野角の範囲の画像を視線画像から取り出す。例えば、図８（ａ）に示すように、視野画像出力部８は、監視対象者の空間位置Ｐ３における監視対象者の視野角に対応する画像を視野画像として出力する。この場合、図８（ｂ）に示すように、視線画像に含まれる視野画像が、視野画像出力部８により出力される。表示部９は、視野画像出力部８により出力された視野画像を表示する。また、表示部９は、監視対象者の監視画像と視野画像とを同時に表示することができる。例えば、図９に示すように、表示部９は、監視対象者２１のリアルタイムの監視画像９０と視野画像９１を表示画面４０に同時に表示する。また、表示部９は、監視対象者２１の視線方向Ｄ４を監視画像９０に表示してもよい。

以上説明したように、本実施の形態によれば、監視画像から検出された監視対象者の空間位置及び視線方向に基づいて、監視対象者の視野角に対応する視野画像を画面に表示することができ、監視対象者の注目対象が何であるかを判断することができる。

また、本実施の形態によれば、監視対象者の画像とともに視野画像を画面に表示することができ、不審者であると判断された監視対象者の画像と視野画像を同時に監視することができる。

（第２の実施の形態）
本発明の第２の実施の形態にかかる監視装置２００を図１０に示す。
図１０において、監視装置２００は、動線軌跡検出部１０及び視線挙動判定部１１を備える点で、図１に示す第１の実施の形態にかかる監視装置１００と異なる。但し、第１の実施の形態の監視装置１００と同様の構成については、同様の符号を付しており、同様の機能及び動作を担うため、説明を省略する。

動線軌跡検出部１０は、空間位置算出部３により算出された監視対象者の空間位置を入力し、監視対象者の空間位置を追跡して、監視領域における監視対象者の動線軌跡を検出する。視線挙動判定部１１は、動線軌跡検出部１０により検出された動線軌跡から監視対象者の進行方向を推定し、監視対象者の視線方向と進行方向の情報に基づいて、監視対象者が不審者であるか否かを判定する。
次に、本実施の形態にかかる監視装置２００の動作について、図を用いて説明する。

動線軌跡検出部１０は、空間位置算出部３により算出された監視対象者の空間位置を入力し、空間位置算出部３で連続的に検出される監視対象者の空間位置の時間的変化により、監視対象者の動線軌跡を検出する。例えば、図１１に示すように、動線軌跡検出部１０は、時間的に変化する監視対象者の空間位置を連続的にプロットすることにより、ＸＹ平面における監視対象者の動線軌跡５０を検出する。

動線軌跡検出部１０により検出された動線軌跡の情報は、視線推定部５に入力される。視線推定部５は、動線軌跡検出部１０から入力された動線軌跡と視線方向検出部４から入力された視線方向に基づいて、動線軌跡上の監視対象の空間位置における視線方向を監視対象者の視線情報として推定する。例えば、図１１に示すように、視線推定部５は、動線軌跡５０上の監視対象の空間位置Ｐ５〜Ｐ８における視線方向Ｄ５〜Ｄ８を監視対象者の視線情報として推定する。

動線軌跡上の監視対象者の視線情報は、視線挙動判定部１１に入力される。視線挙動判定部１１は、監視対象者の動線軌跡に基づいて監視対象者の進行方向を推定し、監視対象者の視線方向と進行方向の情報に基づいて監視対象者が不審者であるか否かを判定する。例えば、図１２に示すように、視線挙動判定部１１は、動線軌跡５０の接線を監視対象者の進行方向Ｌ５〜Ｌ８と推定する。そして、視線挙動判定部１１は、進行方向Ｌ５〜Ｌ８に対する視線方向Ｄ５〜Ｄ８の相対角度α５〜α８を算出し、相対角度α５〜α８が所定の閾角度を超えた回数に基づいて、監視対象者が不審者であるか否かを判定する。具体的には、視線挙動判定部１１は、相対角度が所定の閾角度を超える回数が所定回数を超えた場合に、監視対象者が不審者であると判定する。監視対象者が不審者であると判定された場合、視線挙動判定部１１は、表示部９へ警告信号を出力し、表示部９は、警告表示を行って不審者発見を監視員等に知らせる。

このように、視線挙動判定部１１は、相対角度が閾角度を超える超過回数が所定の基準回数と比較される。この超過回数の測定時間は適切に設定されてよい。例えば、監視対象者が監視画像に登場してから退場するまでの時間における超過回数が測定される。また、単位時間当たりの超過回数が測定されてもよい。

また、視線挙動判定部１１が不審者か否かを判定するための基準回数は適切に設定されてよい。一般に、不審者以外の監視対象者は、主に視線方向に進行する傾向があり、進行方向に対する視線方向の相対角度が所定の角度内に収まる傾向が強い。これに対し、不審者は、周囲を気にして、進行方向と異なる方向を頻繁に見る傾向があり、進行方向に対する視線方向の相対角度が所定の角度を超える頻度が高くなる傾向が強い。よって、監視対象者が不審者か否かを判定するための基準回数は、この頻度を考慮して、不審者を識別できるように設定される。この基準回数は、予め記憶されて、視線挙動判定部１１により参照される。なお、この基準回数は、不審者による超過回数の標準値及びばらつきを考慮して、標準値からばらつきを引いた値に設定されてもよい。

以上説明したように、本実施の形態によれば、監視画像から検出された監視対象者の進行方向と視線方向に基づいて、監視対象者が不審者であるか否かを判断することができ、監視画像から不審者を発見することができる。

また、本実施の形態によれば、監視対象者の進行方向に対する視線方向の相対角度に基づいて、監視対象者の不審挙動を検出し、監視対象者が不審者であるか否かを判断することができ、監視画像から不審者を発見することができる。

（第３の実施の形態）
本発明の第３の実施の形態にかかる監視装置３００を図１３に示す。
図１３において、監視装置３００は、注目時間計測部１２及び注目挙動判定部１３を備える点で、図１に示す第１の実施の形態にかかる監視装置１００と異なる。但し、第１の実施の形態の監視装置３００と同様の構成については、同様の符号を付しており、同様の機能及び動作を担うため、説明を省略する。

注目時間計測部１２は、監視対象者の空間位置及び視線方向に基づいて、所定の対象物が監視対象者の視野に含まれる時間を注目時間として計測する。注目挙動判定部１３は、注目時間が所定の閾時間を超えた場合に、監視対象者の視野に含まれる対象物の情報を出力する。また、注目挙動判定部１３は、注目時間計測部１２により計測された注目時間が所定の閾時間を超えた場合に、監視対象者が不審者であると判定する。
次に、本実施の形態にかかる監視装置３００の動作について、図を用いて説明する。

注目時間計測部１２は、上述したように、監視対象者の空間位置及び視線方向に基づいて、所定の対象物が監視対象者の視野に含まれる時間を注目時間として計測する。具体的な動作としては、注目時間計測部１２には、視野画像出力部８から視野画像が入力される。そして、視野画像に所定の対象物が含まれる時間が、注目時間として計測される。

例えば、図１４では、視野画像９１に基づいて、対象物９２が視野画像９１に含まれる時間が計測される。この場合、視野画像９１のフレーム間差分が順次算出される。そして、差分が所定の範囲内にある時間が、注目時間として計測される。注目時間計測部１２により計測された注目時間は、注目挙動判定部１３に入力される。

上記の計測処理では、監視対象者の空間位置及び視線方向に基づいて得られた視野画像が用いられ、視野画像内に所定の対象物が存在する時間が計測される。このように、注目時間計測部１２は、監視対象者の空間位置及び視線方向に基づいて注目時間を計測する。

注目挙動判定部１３は、注目時間計測部１２により計測された注目時間が所定の閾時間を超えた場合に、監視対象者の視野に含まれる対象物の情報を出力する。この判定処理は、標準的な不審者の挙動に基づいている。一般的に、不審者は、注目している特定の物体を見続ける傾向がある。よって、所定の閾時間は、このような傾向を考慮して、不審者を識別できるような注目時間に応じて設定される。この閾時間は、予め記憶されて、注目挙動判定部１３により参照される。なお、この閾時間は、不審者の注目時間の標準値とばらつきを考慮して、標準値よりもばらつき分だけ閾時間を小さく設定することが好適である。

そして、注目時間が閾時間を超えると、対象物の情報が出力される。例えば、注目挙動判定部１３は、注目時間が所定の閾時間を超えた場合に、図１４に示す対象物９２の情報を出力する。ここで、対象物９２の情報とは、例えば、対象物９２の画像、対象物９２を含む視野画像９１、対象物９２の座標位置、対象物９２を注目する監視対象者の画像、及び対象物９２の注目時間等である。

また、注目挙動判定部１３は、注目時間計測部１２により計測された注目時間が上記の閾時間を超えた場合に、監視対象者が不審者であると判定する。そして、監視対象者が不審者であると判定された場合、注目挙動判定部１３は、表示部９へ警告信号を出力し、表示部９は、警告表示を行って不審者発見を監視員等に知らせる。

以上説明したように、本実施の形態によれば、所定の対象物が監視対象者の視野に含まれている注目時間を計測することにより、監視対象者の注目対象を特定することができる。

また、本実施の形態によれば、注目時間に基づいて、監視対象者の不審挙動を検出することにより、監視対象者が不審者であるか否かを判断することができ、監視画像から不審者を発見することができる。

（その他の実施の形態）
第１乃至第３の実施の形態では、空間位置算出部３は、カメラキャリブレーション情報を用いて、三次元座標における顔部の位置を算出するが、監視対象者の空間位置を特定する様々な手法を適用してよい。

また、第１乃至第３の実施の形態では、視線方向検出部４は、顔部の正面方向を視線方向として検出したが、監視対象者の視線方向を検出する様々な手法を適用してよい。例えば、顔部の方向及び眼球の方向から視線方向を検出してもよい。また、顔部の眼部及び鼻部の相対位置から視線方向を検出してもよい。

また、第１乃至第３の実施の形態では、視線画像記憶部７が周辺画像を予め格納し、視線画像抽出部６が視線画像記憶部７から視線画像を抽出するが、視線画像抽出部６は、複数のカメラにより撮影されたリアルタイムの画像から、監視対象者の空間位置における視線方向の画像に最も近い画像を視線画像として抽出してよい。

また、第２の実施の形態では、視線挙動判定部１１は、動線軌跡の接線を監視対象者の進行方向と推定するが、監視対象者の両肩部の位置から監視対象者の体部の正面方向を検出し、この正面方向を進行方向として推定してもよい。

また、第３の実施の形態では、注目時間計測部１２は、監視対象者の空間位置及び視線方向に基づいて、監視対象者の空間位置における視線方向の視野画像信号の差分に基づいて注目時間を計測するが、監視対象者の視線が対象物周辺の所定の範囲内にある時間を注目時間として計測してよい。このように、監視対象者の空間位置及び視線方向に基づく視野画像を用いなくても、空間位置及び視線方向から直接的に監視対象者が対象物を注目しているか否かを判断でき、その注目時間を測定することができる。また、注目時間計測部１２は、監視対象として重要な重要対象物の座標位置を予め入力しておき、監視対象者の視野に重要対象物の座標位置が含まれる時間を注目時間として計測してもよい。

また、第３の実施の形態では、注目挙動判定部１３は、注目時間が所定の閾時間を超えたときに監視対象者が不審者であると判定するが、監視対象者が顧客等である場合は、注目時間が所定の閾時間を超えたときは、顧客等が注目する対象物を関心商品であると判定して、顧客等の嗜好分析を行ってもよい。

本発明にかかる監視装置は、人物等の監視対象者の視野に対応する画像を画面に表示することができ、監視対象者の視野情報に基づいて監視対象者の挙動の監視を可能にするという効果を有し、人物等の挙動監視を行う監視装置等として有用である。

本発明の第１の実施の形態にかかる監視装置のブロック図 監視対象者を撮影したデジタル画像の一例を示した図 二次元座標において検出された監視対象者の顔部の一例を示した図 三次元座標において検出された監視対象者の顔部の一例を示した図 二次元座標において検出された監視対象者の視線方向の一例を示した図 三次元座標において検出された監視対象者の視線方向の一例を示した図 視線画像記憶部に格納される周辺画像の作成手法の一例を説明する図 視線画像の抽出と視野画像の生成の一例を説明する図 表示部が表示する画面の一例を示した図 本発明の第２の実施の形態にかかる監視装置のブロック図 監視対象者の動線軌跡と視線方向の一例を示した図 監視対象者の進行方向に対する視線方向の相対角度の一例を示した図 本発明の第３の実施の形態にかかる監視装置のブロック図 注目時間計測部による注目時間の計測を説明する図

符号の説明

１ カメラ部
２ 画像処理部
３ 空間位置算出部
４ 視線方向検出部
５ 視線推定部
６ 視線画像抽出部
７ 視線画像記憶部
８ 視野画像出力部
９ 表示部
１０ 動線軌跡検出部
１１ 視線挙動判定部
１２ 注目時間計測部
１３ 注目挙動判定部
１００，２００，３００ 監視装置

Claims (6)

1. 入力された画像から、監視対象者の空間位置を算出する空間位置算出部と、
   前記入力された画像から、前記監視対象者の視線方向を検出する視線方向検出部と、
   撮影位置と撮影方向を付加した画像データを記憶する視線画像記憶部と、
   前記視線画像記憶部に記憶されている画像データのうち、前記空間位置に近い撮影位置と前記視線方向に近い撮影方向とが付加された画像を、視線画像として前記視線画像記憶部から抽出する視線画像抽出部と、
   を備えることを特徴とする監視装置。
2. 前記視線画像の中から、前記前記空間位置と前記視線方向に基づいて、前記視線画像のうち、前記監視対象者の視野角に対応する画像を視野画像として出力する視野画像出力部と、
   前記視野画像出力部により出力された前記視野画像を表示する表示部と
   を備えることを特徴とする請求項１に記載の監視装置。
3. 前記監視対象者の前記空間位置を追跡して、前記監視対象者の動線軌跡を検出する動線軌跡検出部と、
   前記動線軌跡から前記監視対象者の進行方向を推定し、前記視線方向と前記進行方向の情報に基づいて、前記監視対象者が不審者であるか否かを判定する視線挙動判定部と
   を備えることを特徴とする請求項１または２に記載の監視装置。
4. 前記視線挙動判定部は、前記進行方向に対する前記視線方向の相対角度を算出し、前記相対角度が所定の閾角度を超えた回数に基づいて、前記監視対象者が不審者であるか否かを判定することを特徴とする請求項３に記載の監視装置。
5. 前記空間位置及び前記視線方向に基づいて、所定の対象物が前記監視対象者の視野に含まれる時間を注目時間として計測する注目時間計測部と、
   前記注目時間が所定の閾時間を超えた場合に前記対象物の情報を出力する注目挙動判定部と
   を備えることを特徴とする請求項１乃至４の何れかに記載の監視装置。
6. 監視対象者の画像を入力する画像入力ステップと、
   前記入力された画像から、前記監視対象者の空間位置を算出する空間位置算出ステップと、
   前記入力された画像から、前記監視対象者の視線方向を検出する視線方向検出ステップと、
   撮影位置と撮影方向を付加した画像データを記憶する視線画像記憶ステップと、
   前記記憶されている画像データのうち、前記空間位置に近い撮影位置と前記視線方向に近い撮影方向とが付加された画像を、視線画像として前記視線画像記憶部から抽出する視線画像抽出ステップと、
   を含むことを特徴とする監視方法。

Images