JP2018206253A - 注視方向計測装置 - Google Patents

Abstract

【課題】単眼の撮像装置から得られる映像データのみを用いて、ユーザの注視方向を測定することができる、注視方向計測装置を提供する。【解決手段】注視方向計測装置１０１の撮像装置１０６は、ユーザ１０２の視線の方向と、顔の方向の何れかを検出して、表示部１０４を分割した、領域Ａ１０５ａ〜Ａ１０５ｄのどれを注視しているのかを測定する。【効果】目の動きだけで情報処理装置に対する座標情報の入力が可能になる。また、眼鏡等でユーザの瞳孔の検出が不可能である等の場合でも、顔の向きで座標情報の入力が可能になる。【選択図】図１

Description

本発明は、コンピュータや電子機器等のディスプレイに対し、利用者が注視する方向を測定して、その測定結果情報を所定の情報処理装置の利用に供する、注視方向計測装置に関する。

テレビジョン放送（以下「ＴＶ放送」）において放送される映像コンテンツが、どれだけ視聴者に視聴されているのかを示す指標として、従来から「世帯視聴率」が用いられている。ＴＶ放送における世帯視聴率の計測は、サンプルとなる家庭に視聴率を測定するための機器を設置し、その機器が、テレビジョン受像機（以下「ＴＶ」）がオン状態で表示しているチャンネルに関する情報をほぼリアルタイムで集計拠点へ送信する。すなわち世帯視聴率とは、視聴時間と視聴チャンネルに関する情報を集計した結果であり、世帯視聴率という情報から視聴者がどのような状態で番組（映像コンテンツ）を視聴したのかはわからない。
例えば、視聴者がＴＶ番組に対し、画面を注視せずラジオのように聞き流すような視聴形態である場合には、当該番組は視聴者にとって集中した状態で視聴されていないこととなる。このような視聴形態では、ＴＶ番組に挟まれるコマーシャル（以下「ＣＭ」）の宣伝効果はあまり期待できない。

視聴者がＴＶ番組をどの程度集中して視聴しているのかを知るための技術が、幾つか検討されている。
特許文献１には、ＴＶ番組に対し、視聴者がどの程度集中しているのかを「集中度」と定義し、その集中度を習得して利用する技術が開示されている。

特開２００３−１１１１０６号公報

前述の特許文献１に示されるように、視聴者の集中度に関連して、対象となるコンテンツ（contents）は必ずしもＴＶ番組に限らない。あらゆるコンテンツが対象となる。ここで、コンテンツとは、オンライン若しくはオフラインにて、コンピュータや電子機器を介して提供される文字列、音声、静止画像、映像（動画）、またこれらが組み合わされたプレゼンテーションやゲーム等の、対象者が理解可能な内容にて享受する情報を総称したものをいう。またこれ以降、本明細書では、コンテンツを享受及び／または利用する者を、視聴者ではなくユーザと総称する。

発明者らはこれまで集中度を測定する機器を開発してきた。そして、機器の開発の過程において、発明者らは、人がある事象に対して集中するという状態は、能動的な要因のみではなく、受動的な要因もあるということに気付いた。
例えば、人がある課題に直面して、その課題を解決するために集中するという行為は、能動的な要因に基づいている。つまり、当該行為は「当該事象に集中しなければならない」という意識に起因する。これに対し、人が面白いことや楽しいこと等の事象を見て、興味を惹かれるという行為は、ある意味で受動的な要因に基づく。つまり、当該行為は「当該事象に思わず惹かれてしまう」という感情に起因する。

発明者らは、このように相反する意識や感情に起因する行動を「集中度」という言葉で表現することが必ずしも適切ではないと考えた。そこで発明者らは、ある対象者が、ある事象に対し、能動的または受動的な要因の如何に関わらず、注目している状態を、「エンゲージメント（Engagement）」という言葉で定義することとした。そして、発明者らは、これまで開発してきた機器を、集中度を測定する機器ではなく、エンゲージメントを測定する機器と定義付けた。

以上のような背景のもと、発明者らはこのエンゲージメント測定技術を改良するに連れ、ユーザがディスプレイを注視しているか否かのみならず、ユーザの注視方向をより高い精度で測定することが実現できることが判明した。
そして、そのためには、この注視方向を測定する技術を実用的に実現し、利用するアプリケーションが重要であることも分かった。

本発明はかかる課題に鑑みてなされたものであり、単眼の撮像装置から得られる映像データのみを用いて、ユーザの注視方向を測定することができる、注視方向計測装置を提供することを目的とする。

上記課題を解決するために、本発明の注視方向計測装置は、表示部と、表示部を見るユーザの顔を撮影可能な方向に設置される撮像装置と、撮像装置から出力される画像データストリームからユーザの顔の存在を検出し、ユーザの顔を抽出した顔抽出画像データを出力する顔検出処理部と、顔抽出画像データから、ユーザの顔の、二次元空間内における座標情報を有する特徴点の集合体である特徴点データを出力する特徴点抽出部とを具備する。
更に、特徴点データに基づき、ユーザの顔の向きを示す顔方向ベクトルから、ユーザが表示部の中心位置を注視している時点における顔方向ベクトルである初期顔方向ベクトルを差し引いた顔方向ベクトル差分情報を所定のサンプリングレートにて生成するベクトル解析部と、特徴点データと顔抽出画像データに基づき、ユーザの目の瞳孔の座標を示す瞳孔座標情報から、ユーザが表示部の中心位置を注視している時点における瞳孔の座標情報である初期瞳孔座標情報を差し引いた瞳孔座標差分情報を所定のサンプリングレートにて生成する瞳孔座標検出部とを具備する。
方向判定処理部は、瞳孔座標差分情報と顔方向ベクトル差分情報とを入力され、判定モード情報が視線方向判定モードの場合、瞳孔座標差分情報に基づいてユーザの注視方向を判定して方向判定結果情報を出力し、判定モード情報が顔方向判定モードの場合、顔方向ベクトル差分情報に基づいてユーザの注視方向を判定して方向判定結果情報を出力する。

本発明により、単眼の撮像装置から得られる映像データのみを用いて、ユーザの注視方向を測定することが可能になる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る注視方向計測装置の全体像を示す概略図である。 注視方向計測装置のハードウェア構成を示すブロック図である。 注視方向計測装置のソフトウェア機能を示すブロック図である。 目の画像データの一例を示す概略図と、目の画像データから瞳孔の中心位置と目頭の位置の一例を示す概略図と、瞳孔の中心位置と目頭の位置を示す概略図である。 注視方向計測装置の処理手順を示すフローチャートである。 注視方向計測装置の処理手順を示すフローチャートである。

［全体構成］
図１Ａは、本発明の実施形態に係る注視方向計測装置１０１の全体像を示す概略図である。
図１Ｂは、注視方向計測装置１０１の表示部１０４に表示されるマーカーパターン１０５を示す概略図である。
図１Ａに示されるように、ユーザ１０２はパソコン１０３の表示部１０４に表示されているマーカーパターン１０５（図１Ｂ参照）を見る。液晶ディスプレイ等よりなる表示部１０４の上部には、いわゆるｗｅｂカメラと呼ばれる撮像装置１０６が設けられている。撮像装置１０６はユーザ１０２の顔を撮影し、画像データストリームを出力する。

パソコン１０３は、その内部に注視方向測定機能を有している。そして、ユーザ１０２がマーカーパターン１０５のどの方向を注視しているのかを示す情報が、パソコン１０３の注視方向測定機能によって測定される。
パソコン１０３は、測定の結果得られた注視方向情報を、表示部１０４に表示されているマーカーパターン１０５に表示する。
図１Ｂは、ユーザ１０２が視線を表示部１０４の左上方向を注視した状態における、マーカーパターン１０５を示す。
マーカーパターン１０５は上下左右にそれぞれ左上領域Ａ１０５ａ、右上領域Ａ１０５ｂ、左下領域Ａ１０５ｃ、右下領域Ａ１０５ｄと、四分割されている。

マーカーパターン１０５の、左上領域Ａ１０５ａ及び右上領域Ａ１０５ｂと、左下領域Ａ１０５ｃ及び右下領域Ａ１０５ｄとの間には、横方向に形成された細長いモードインジケータＡ１０５ｅが設けられている。
また、マーカーパターン１０５の中心には、初期値取得用マーカーＡ１０５ｆが初期化時にのみ表示される。
図１Ｂでは、表示の一例として、ユーザ１０２が表示部１０４の左上側を注視したことを受けて、左上領域Ａ１０５ａが例えば青色等に着色表示される。
また、測定の結果得られた注視方向情報は、例えばアンケートプログラム等の様々なアプリケーションプログラムに利用される。

［ハードウェア構成］
図２は、注視方向計測装置１０１のハードウェア構成を示すブロック図である。
パソコン１０３のバス２０６には、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、不揮発性ストレージ２０４、操作部２０５が接続されている。そして、注視方向計測装置１０１において重要な役割を持つ表示部１０４と撮像装置１０６もバス２０６に接続されている。不揮発性ストレージ２０４には、パソコン１０３を注視方向計測装置１０１として稼働させるためのプログラム等が格納されている。
注視方向情報を外部に出力する場合は、例えばバス２０６に接続されたＮＩＣ（Network Interface Card）２０７を通じて、不図示のネットワークを介して不図示のサーバに注視方向情報を出力することもある。

［ソフトウェア機能］
次に、注視方向計測装置１０１のソフトウェア機能について説明する。
図３は、本発明の実施形態に係る注視方向計測装置１０１のソフトウェア機能を示すブロック図である。
撮像装置１０６から出力される画像データストリームは、入出力制御部３０１の機能の一部を構成する顔検出処理部３０２に供給される。
顔検出処理部３０２は、撮像装置１０６から出力される画像データストリームを時間軸上で連続する静止画として捉え、この時間軸上で連続する静止画の各画像データに対し、例えばＶｉｏｌａ−Ｊｏｎｅｓ法等の周知のアルゴリズムを用いて、ユーザ１０２の顔の存在を検出する。そして、ユーザ１０２の顔だけを抽出した顔抽出画像データを出力する。

顔検出処理部３０２が出力する顔抽出画像データは、特徴点抽出部３０３に供給される。
特徴点抽出部３０３は、顔抽出画像データに含まれるユーザ１０２の顔の画像に、ポリゴン解析等の処理を施す。そして、ユーザ１０２の顔の眉、目、鼻、口等の輪郭と、瞳を示す顔の特徴点よりなる特徴点データを生成する。
特徴点抽出部３０３が出力する特徴点データは、パソコン１０３のＣＰＵ２０１の演算処理能力に応じて、例えば１００ｍｓｅｃ等の、所定の時間間隔（サンプリングレート）で出力される。
なお、特徴点抽出部３０３が出力する特徴点データは、撮像装置１０６が単眼のカメラであるため、特徴点データの座標情報は縦と横の成分よりなる２次元の座標情報である。

また、特徴点抽出部３０３が出力する特徴点データは、ベクトル解析部３０４に供給される。
ベクトル解析部３０４は、顔抽出画像データに基づく特徴点データから、ユーザ１０２の顔の向きを示すベクトル（以下「顔方向ベクトル」）を、特徴点抽出部３０３と同じサンプリングレート（例えば、１００ｍｓｅｃ等）にて生成する。

前述の通り、特徴点抽出部３０３が出力する特徴点データは、あくまで２次元の座標情報である。単眼のカメラである撮像装置１０６が出力する画像データストリームはあくまでも２次元の画像データであるため、このままでは３次元の立体であるユーザ１０２の顔の向きを検出することはできない。しかし、標準的な顔の３Ｄモデル上に特徴点をプロットしたものを撮影して、特徴点が写った２次元の画像データが得られたと仮定すると、計算により撮影された顔の向きやカメラまでの距離を推定することができる。

このような、２次元の画像から３次元の立体を推定する技術は、ＰｎＰ（Perspective n Points）問題として既知である。そして、ＰｎＰ問題を解くための計算方法も、ＤＬＴ（Direct Linear Transform）法等で既知である。

入出力制御部３０１は、予め不揮発性ストレージ２０４（図２参照）に記憶されている標準３ＤモデルをＲＡＭ２０３上に展開している。ベクトル解析部３０４は、この標準３Ｄモデルに対し、特徴点抽出部３０３から得られる２次元座標情報をプロットする。そして、この標準モデルを撮影することにより、顔画像データが得られたものと仮定して、ＰｎＰ問題を解く。これにより、ユーザ１０２の顔の向きを示す顔方向ベクトルが算出される。
ベクトル解析部３０４は、初期化時には初期顔方向ベクトル３０７をＲＡＭ２０３に出力し、初期顔方向ベクトル３０７を出力した以降は初期顔方向ベクトル３０７と現在の顔方向ベクトルとの差分である顔方向ベクトル差分情報を方向判定処理部３０８へ出力する。

一方、顔検出処理部３０２が出力する顔抽出画像データと特徴点抽出部３０３が出力する特徴点データは、瞳孔座標検出部３０５に入力される。
瞳孔座標検出部３０５は、顔抽出画像データから特徴点データを参照してユーザ１０２の目の画像を切り出し、ユーザ１０２の両目について、各々の目の目頭から瞳孔の相対的な二次元位置情報を検出する。

瞳孔座標検出部３０５の動作の詳細について、図４を参照して説明する。
図４Ａは、目４０１の画像データの一例を示す概略図である。図４Ｂは、目４０１の画像データから黒目の重心位置と瞳孔の位置及び目頭の位置の一例を示す概略図である。図４Ｃは、瞳孔の中心位置と目頭の位置を示す概略図である。なお、図４Ａ、図４Ｂ及び図４Ｃでは、左目のみ図示している。

図４Ａに示すように、画像データの観点で目４０１を観察すると、目４０１の画像データは、白目Ａ４０１ａ、虹彩Ａ４０１ｂ、瞳孔Ａ４０１ｃの３要素で構成される。そこで、目４０１の画像データを構成するピクセルの明るさを所定の閾値で分類すると、明るさが暗い方に属するピクセルは、概ね虹彩Ａ４０１ｂと瞳孔Ａ４０１ｃで構成される黒目に属すると考えることができる。
そこで、目４０１の画像データから暗いピクセルを抜粋して、その重心位置Ｐ４０１ｄを計算すると、図４Ｂのように、瞳孔Ａ４０１ｃにほぼ近い位置が得られる。

瞳孔座標検出部３０５は、図４Ｂに示すように、こうして算出した暗いピクセルの重心位置Ｐ４０１ｄを瞳孔Ａ４０１ｃの中心位置とする。次に瞳孔座標検出部３０５は、特徴点抽出部３０３が出力した特徴点データから目頭の位置Ｐ４０１ｅを取得する。すると、図４Ｃに示すように、目頭の位置Ｐ４０１ｅを基準点として、瞳孔Ａ４０１ｃの中心位置Ｐ４０１ｄの相対的な位置を数値化することが可能になる。
ここでは瞳孔位置の検出を重心位置の算出によって行ったが、このほかにも楕円検知によって黒目を楕円として検出しその中心を求める等の方法を使用してもよい。

図４Ｃでは、左目の瞳孔の中心位置について、Ｘ軸方向（横方向）をＬｘ、Ｙ軸方向（縦方向）をＬｙとして数値化する。また、図示はしていないが、右目の瞳孔の中心位置についても、Ｘ軸方向（横方向）をＲｘ、Ｙ軸方向（縦方向）をＲｙとして数値化する。
瞳孔座標検出部３０５は、初期化時には初期瞳孔座標情報３０６として右目の瞳孔の中心位置の座標情報（Ｒｘ，Ｒｙ）と左目の瞳孔の中心位置の座標情報（Ｌｘ，Ｌｙ）をＲＡＭ２０３に出力する。そして、初期瞳孔座標情報３０６を出力した以降、瞳孔座標検出部３０５は初期瞳孔座標情報３０６と現在の瞳孔の中心位置の座標との差分である瞳孔座標差分情報（ΔＲｘ，ΔＲｙ）及び（ΔＬｘ，ΔＬｙ）を方向判定処理部３０８へ出力する。

図３に戻ってブロック図の説明を続ける。
ベクトル解析部３０４から出力される顔方向ベクトル差分情報と瞳孔座標検出部３０５から出力される瞳孔座標差分情報は、方向判定処理部３０８に入力される。方向判定処理部３０８は、判定モード情報と方向判定結果情報を出力する。
判定モード情報は、現在の判定モードが視線方向判定モードか、顔方向判定モードかを示す情報である。
方向判定結果情報は、判定の結果、ユーザが何処を注視しているのか、あるいはユーザが何処も注視していないのかを示す情報である。

判定モード情報が視線方向判定モードである場合、方向判定処理部３０８は瞳孔座標差分情報（ΔＲｘ，ΔＲｙ）及び（ΔＬｘ，ΔＬｙ）を、Ｘ軸方向成分とＹ軸方向成分とでそれぞれ加算して、ユーザ１０２の視線が、表示部１０４のどの方向に向いているのか、あるいは視線の方向の検出が不可能であるのかを判定する。ΔＲｘ＋ΔＬｘが所定の閾値を超えた正の値であれば右方向、ΔＲｘ＋ΔＬｘが所定の閾値を超えた負の値であれば左方向、ΔＲｙ＋ΔＬｙが所定の閾値を超えた正の値であれば上方向、ΔＲｙ＋ΔＬｙが所定の閾値を超えた負の値であれば下方向と判断する。
判定モード情報が顔方向判定モードである場合、方向判定処理部３０８は顔方向ベクトル差分情報から、ユーザ１０２の顔が、表示部１０４のどの方向に向いているのか、あるいは顔の方向の検出が不可能であるのかを判定する。

判定モード情報と方向判定結果情報は、表示処理部３０９に入力される。表示処理部３０９は、方向判定結果情報に応じて、表示部１０４に表示するマーカーパターン１０５の左上領域Ａ１０５ａ、右上領域Ａ１０５ｂ、左下領域Ａ１０５ｃ、右下領域Ａ１０５ｄのうち、何れか一つの着色表示を変更する。また、判定モード情報に応じて、表示部１０４に表示するマーカーパターン１０５のモードインジケータＡ１０５ｅの着色表示を変更する。

［動作］
図５及び図６は、注視方向計測装置１０１の動作手順を示すフローチャートである。
処理を開始すると（Ｓ５０１）、入出力制御部３０１は表示処理部３０９を通じて、表示部１０４の中央に初期値取得用マーカーＡ１０５ｆを表示する（Ｓ５０２）。
次に、入出力制御部３０１はベクトル解析部３０４を通じて、初期顔方向ベクトル３０７の取得を試みる（Ｓ５０３）。
もし、初期顔方向ベクトル３０７を取得できなければ（Ｓ５０４のＮＯ）、入出力制御部３０１は初期顔方向ベクトル３０７を取得できるまで処理を繰り返す。
初期顔方向ベクトル３０７を取得できたら（Ｓ５０４のＹＥＳ）、入出力制御部３０１はベクトル解析部３０４から取得した初期顔方向ベクトル３０７をＲＡＭ２０３に記憶する（Ｓ５０５）。

次に、入出力制御部３０１は図示しないタイマを起動する（Ｓ５０６）。
そして、入出力制御部３０１は瞳孔座標検出部３０５を通じて、初期瞳孔座標情報３０６の取得を試みる（Ｓ５０７）。
もし、初期瞳孔座標情報３０６を取得できなければ（Ｓ５０８のＮＯ）、入出力制御部３０１はタイマがタイムアウトしたか否かを確認する（Ｓ５０９）。
タイムアウトしていなければ（Ｓ５０９のＮＯ）、入出力制御部３０１は初期瞳孔座標情報３０６を取得できるまで処理を繰り返す。
タイムアウトしていれば（Ｓ５０９のＹＥＳ）、入出力制御部３０１は初期瞳孔座標情報３０６の取得を諦め、顔方向ベクトルに基づく判定処理（図６の○Ａ以降の処理）に移行する。

もし、ステップＳ５０８で初期瞳孔座標情報３０６を取得できたならば（Ｓ５０８のＹＥＳ）、この時点で、入出力制御部３０１は判定モード情報を視線方向判定モードに設定する。そして入出力制御部３０１は、瞳孔座標検出部３０５から取得した初期瞳孔座標情報３０６をＲＡＭ２０３に記憶する（Ｓ５１０）。ステップＳ５１０以降、入出力制御部３０１は方向判定処理部３０８を通じて、瞳孔座標差分情報に基づく方向判定処理を実行する。

次に入出力制御部３０１は表示処理部３０９を通じて、ステップ５０２において表示部１０４の中央に表示されていた初期値取得用マーカーＡ１０５ｆを消去する（Ｓ５１１）。そして入出力制御部３０１は表示処理部３０９を通じて、表示部１０４にモードインジケータＡ１０５ｅを、視線モードを示す色、例えば青色で表示する（Ｓ５１２）。
方向判定処理部３０８は、ベクトル解析部３０４から顔方向ベクトル差分情報を取得し、顔方向ベクトル差分情報が所定の閾値を超えたか否か、転じて、ユーザ１０２がある角度以上、首または頭を動かして顔の方向を変えたか否かを確認する（Ｓ５１３）。

顔方向ベクトル差分情報が所定の閾値を超えていなければ（Ｓ５１３のＹＥＳ）、方向判定処理部３０８は次に瞳孔座標検出部３０５から取得した瞳孔座標差分情報に基づく方向判定が可能か否かを確認する（Ｓ５１４）。
ステップＳ５１３で、顔方向ベクトル差分情報が所定の閾値を超えている場合には（Ｓ５１３のＮＯ）、図６の○Ｂ以降の処理に移行する。

瞳孔座標検出部３０５から取得した瞳孔座標差分情報に基づく方向判定が可能であれば（Ｓ５１４のＹＥＳ）、方向判定処理部３０８は方向判定結果情報を出力して（Ｓ５１５）、ステップＳ５１３から処理を繰り返す。
瞳孔座標検出部３０５から取得した瞳孔座標差分情報に基づく方向判定が可能でなければ（Ｓ５１４のＮＯ）、方向判定処理部３０８は方向判定結果情報を出力することなく、ステップＳ５１３から処理を繰り返す。

図６を参照して、フローチャートの説明を続ける。
前述したように、ステップＳ５０９でタイマがタイムアウトしていた場合（Ｓ５０９のＹＥＳ）と、ステップＳ５１３で顔方向ベクトル差分情報が所定の閾値を超えていた場合（Ｓ５１３のＮＯ）には、入出力制御部３０１は判定モード情報を顔方向判定モードに設定する。すなわち、方向判定処理部３０８は瞳孔座標差分情報に基づく判定処理から、顔方向ベクトルに基づく判定処理に移行する。そしてステップＳ５１４以降、入出力制御部３０１は方向判定処理部３０８を通じて、顔方向ベクトル差分情報に基づく方向判定処理を実行する。

ステップＳ５０９でタイマがタイムアウトしていたら（Ｓ５０９のＹＥＳ）、この時点で、入出力制御部３０１は判定モード情報を顔方向判定モードに設定する（Ｓ６１６）。次に入出力制御部３０１は表示処理部３０９を通じて、ステップＳ５０２において表示部１０４の中央に表示されていた初期値取得用マーカーＡ１０５ｆを消去する（Ｓ６１７）。

ステップＳ５１３で顔方向ベクトル差分情報が所定の閾値を超えていたら（Ｓ５１３のＮＯ）、この時点で、入出力制御部３０１は判定モード情報を顔方向判定モードに設定する（Ｓ６１８）。なお、この時点ではステップＳ５１１において既に初期値取得用マーカーＡ１０５ｆが消去されているので、ステップＳ６１６とは異なりステップＳ６１７の処理は行わない。

ステップＳ６１７を実行した後、あるいはステップＳ６１８を実行した後、入出力制御部３０１は表示処理部３０９を通じて、表示部１０４にモードインジケータＡ１０５ｅを、顔方向モードを示す色、例えば緑色で表示する（Ｓ６１９）。

次に方向判定処理部３０８は、ベクトル解析部３０４から取得した顔方向ベクトルに基づく方向判定が可能か否かを確認する（Ｓ６２０）。
ベクトル解析部３０４から取得した顔方向ベクトルに基づく方向判定が可能であれば（Ｓ６２０のＹＥＳ）、方向判定処理部３０８は方向判定結果情報を出力して（Ｓ６２１）、ステップＳ６２０から処理を繰り返す。
ベクトル解析部３０４から取得した顔方向ベクトルに基づく方向判定が可能でなければ（Ｓ６２０のＮＯ）、方向判定処理部３０８は方向判定結果情報を出力することなく、ステップＳ６２０から処理を繰り返す。

このフローチャートは実行されると無限ループになる。
実行の停止は操作部２０５のスペースキーを押す（割り込み）ことで、強制終了、そして再実行となる。

なお、上記の実施形態では、判定モード情報が視線方向判定モードである場合、方向判定処理部３０８は瞳孔座標差分情報（ΔＲｘ，ΔＲｙ）及び（ΔＬｘ，ΔＬｙ）を、Ｘ軸方向成分とＹ軸方向成分とでそれぞれ加算して、ユーザ１０２の視線が、表示部１０４のどの方向に向いているのか、あるいは視線の方向の検出が不可能であるのかを判定していた。この処理に代えて、瞳孔座標差分情報の右目の成分（ΔＲｘ，ΔＲｙ）と左目の成分（ΔＬｘ，ΔＬｙ）の絶対値の大小を比較して、利き目を判定して、利き目のみの瞳孔座標差分情報を視線方向の判定に使用してもよい。

本発明の実施形態においては、注視方向計測装置１０１を開示した。
ユーザ１０２の視線の方向と、顔の方向の何れかを検出して、表示部１０４を四分割した領域のどれを注視しているのかを測定する。すなわち、目の動きだけで情報処理装置に対する座標情報の入力が可能になる。また、眼鏡等でユーザ１０２の瞳孔の検出が不可能である等の場合でも、顔の向きで座標情報の入力が可能になる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…注視方向計測装置、１０２…ユーザ、１０３…パソコン、１０４…表示部、１０５…マーカーパターン、１０６…撮像装置、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…不揮発性ストレージ、２０５…操作部、２０６…バス、２０７…ＮＩＣ、３０１…入出力制御部、３０２…顔検出処理部、３０３…特徴点抽出部、３０４…ベクトル解析部、３０５…瞳孔座標検出部、３０６…初期瞳孔座標情報、３０７…初期顔方向ベクトル、３０８…方向判定処理部、３０９…表示処理部、４０１…目

Claims (2)

1. 表示部と、
   前記表示部を見るユーザの顔を撮影可能な方向に設置される撮像装置と、
   前記撮像装置から出力される画像データストリームから前記ユーザの顔の存在を検出し、前記ユーザの顔を抽出した顔抽出画像データを出力する顔検出処理部と、
   前記顔抽出画像データから、前記ユーザの顔の、二次元空間内における座標情報を有する特徴点の集合体である特徴点データを出力する特徴点抽出部と、
   前記特徴点データに基づき、前記ユーザの顔の向きを示す顔方向ベクトルから、前記ユーザが前記表示部の中心位置を注視している時点における顔方向ベクトルである初期顔方向ベクトルを差し引いた顔方向ベクトル差分情報を所定のサンプリングレートにて生成するベクトル解析部と、
   前記特徴点データと前記顔抽出画像データに基づき、前記ユーザの目の瞳孔の座標を示す瞳孔座標情報から、前記ユーザが前記表示部の中心位置を注視している時点における前記瞳孔の座標情報である初期瞳孔座標情報を差し引いた瞳孔座標差分情報を所定のサンプリングレートにて生成する瞳孔座標検出部と、
   前記瞳孔座標差分情報と前記顔方向ベクトル差分情報とを入力され、判定モード情報が視線方向判定モードの場合、前記瞳孔座標差分情報に基づいて前記ユーザの注視方向を判定して方向判定結果情報を出力し、判定モード情報が顔方向判定モードの場合、前記顔方向ベクトル差分情報に基づいて前記ユーザの注視方向を判定して前記方向判定結果情報を出力する方向判定処理部と
   を具備する、注視方向計測装置。
2. 更に、
   前記判定モード情報と前記方向判定結果情報を入力され、前記表示部の表示領域を分割するマーカーパターンと、前記判定モード情報が視線方向判定モードか顔方向判定モードかの何れかの状態に応じて表示形態を異ならせるモードインジケータと、前記初期瞳孔座標情報及び前記初期顔方向ベクトルを取得するための初期値取得用マーカーを前記表示部に表示させる表示処理部と
   を具備する、請求項１に記載の注視方向計測装置。
   

Images