JP6201520B2 - 生理指標を用いる視線分析システムおよび方法 - Google Patents

Description

本発明は，被験者の視線と被験者の心理状態を対応付けて分析するための発明である。

マーケティング分野等において、視線追跡（アイトラッキング）試験を行うことで，視線追跡試験の被験者が視線を向けた対象物上の位置を分析することは重要なことである。例えば，消費者が商品を見たときに得る視覚刺激（目に見える情報）は，消費者の商品選択に多大な影響を及ぼすことが知られており，商品選択時における消費者の視線を分析できれば、商品のパッケージデザインや商品配置の評価に役立てることができる。

しかし，視線追跡試験の時に被験者が得る視覚刺激には、そもそも目立ちやすい個所やそうでない個所があり，外部刺激により視線を向けるボトムアップ型の視線が目立ちやすい個所に向いてしまうなど、被験者の視線と被験者の意識とは必ずしも相関がない場合も少なくない。

また，意識的に視線を向けるトップダウン型の視線を向けているときの被験者の心理状態も様々で，視線を向けているときに被験者の心理状態は快（快い）の状態もあれば，逆に不快（快くない）の状態もある。更には，文字を読んでいるなどの特に感情的な起伏のない状態もある。

このように，視線追跡試験の被験者が視線を向けた対象物上の位置を分析するだけでは得られない情報が数多く存在するため，視線追跡試験の被験者が視線を向けた対象物上の位置と他の情報（例えば，感情）を関連付けて分析することが重要になる。

被験者の視線と対象物画像内の顕著性を関連付けて分析する技術として，特許文献１において，ユーザの視線方向と映像内の顕著性（Saliency ）との相関を算出する発明が開示されている。なお，顕著性とは，画像内における目立ちやすさを示す指標を意味し，画像内における顕著性の分布を示した顕著性マップを生成する技術については，非特許文献１などで開示されている。

また，被験者の心理状態を評価する技術として，被験者のストレス状態を評価する発明が特許文献２，３で，被験者のリラックス度を評価する発明が特許文献４で，被験者の快適感を評価する発明が特許文献５，６で，被験者の覚醒度を評価する発明が特許文献７で，そして，被験者の基本感情を評価する発明が特許文献８でそれぞれ開示されている。

しかしながら，従来の技術では，視線追跡試験で得られた被験者の視線と被験者の心理状態を対応付けて分析できる技術は開示されていなかった。

ＷＯ２０１２／１０５１９６号公報 特開２００９-６６０１７号公報 特開２０１２−５０７１１号公報 特開平９−７０３９９号公報 特開２００６−１４９４７０号公報 特開２０００−１１６６１４号公報 ＷＯ２０１０／１４０２７３号公報 特開２００２−１１２９６９号公報

"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis," Laurent Itti, Christof Koch, and Ernst NieburIEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254-1259, November, 1998

そこで，本発明は，視線追跡試験で得られた被験者の視線と被験者の心理状態を対応付けて分析できるシステムおよび視線追跡試験で得られた被験者の視線と被験者の心理状態を対応付けて分析するために必要な装置を提供する。

上述した課題を解決する第１の発明は，被験者の注視点の時系列データである視線データを取得する視線追跡装置と，被験者の生理指標の時系列データである生理指標データを取得する生理指標計測装置と，前記視線データと前記生理指標データが入力される視線分析装置とから少なくとも構成したシステムである。

第１の発明に係る視線分析装置は，被験者の視線と被験者の心理状態を対応付けて分析するために，前記視線データを解析して，対象物画像内の注視点の集中度を示した注視点マップと対象物画像内の顕著度を記した顕著性マップを生成し，少なくとも注視点の集中度が集中度の閾値以上の領域である関心領域として，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の下閾値以下の領域を認知に係る前記関心領域として抽出し，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の上閾値以上の領域を印象に係る前記関心領域として抽出する処理を実行する関心領域抽出手段と，前記視線データと前記生理指標データを参照して，前記関心領域内の注視点を計測した時の生理指標を集計し，この生理指標の集計結果から推定した心理状態を前記関心領域の心理状態として取得する処理を前記関心領域毎に実行する心理状態推定手段と，前記心理状態推定手段が取得した前記関心領域の心理状態の種別毎に異なる色分布を割り当てた後，前記注視点マップを参照し，前記関心領域の心理状態の種別に割り当てた色分布を用い前記関心領域内の注視点の集中度をこの色分布内の色で示した色画像を前記関心領域毎に生成し，前記色画像を対象物画像に重ね合わせた視線分析画像を生成する処理を実行する視線分析画像生成手段を備えている。

第１の発明によれば，前記関心領域における注視点の集中度を示す色画像を生成する時に用いる色分布は，前記関心領域の心理状態の種別に応じて決まるため，この前記色画像を見れば，被験者が視線を向けた位置とその時の心理状態を関連付けて分析できる。

更に，第１の発明によれば，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の下閾値以下の領域は，視線が向けられた頻度は高いが，顕著度は低い領域になるため，被験者の認知に影響を与えている可能性のある領域と考えられる。よって，このような領域を前記関心領域として抽出すれば，この前記関心領域の心理状態から，被験者が認知に係る影響を受けた時の心理状態がわかる。

更に，第１の発明によれば，注視点の集中度が注視点の閾値以上で，かつ，顕著度が顕著度の上閾値以上の領域は，視線が向けられた頻度が高く，顕著度も高い領域になるため，被験者の印象に影響を与えている可能性のある領域と考えられる。よって，このような領域を前記関心領域として抽出すれば，この前記関心領域の心理状態から，被験者が印象に係る影響を受けた時の心理状態がわかる。

更に，第２の発明は，第１の発明に記載した視線分析システムにおいて，前記視線分析装置の前記視線分析画像生成手段は，前記視線分析画像を生成する際，前記関心領域における注視点の集中度を，注視点に対応する顕著度で重み付けすることを特徴とする。前記関心領域における注視点の集中度を，注視点に対応する顕著度で重み付けすることで，前記関心領域における顕著度の傾向を前記視線分析画像から把握できる。

更に，第３の発明は，第１の発明または第２の発明に記載した視線分析システムにおいて，前記視線分析装置の前記心理状態推定手段は，前記関心領域内の注視点を計測した時の時刻に対応する生理指標が計測されていない場合，前記生理指標データに含まれる生理指標を用いて計測されていない生理指標を補間することを特徴とする。

前記生理指標計測装置のサンプリング間隔は，前記視線追跡装置のサンプリング間隔と一致しないことが一般的であるため，第３の発明のように，前記関心領域内の注視点を計測した時の時刻に対応する生理指標が計測されていない場合，前記生理指標データに含まれる生理指標を用いて計測されていない生理指標を補間することが望ましい。

更に，第４の発明は，第１の発明から第３の発明のいずれか一項に記載した視線分析システムに記載の視線分析装置である。

このように，本発明によれば，視線追跡試験で得られた被験者の視線と被験者の心理状態を対応付けて分析できるシステムおよび視線追跡試験で得られた被験者の視線と被験者の心理状態を対応付けて分析するために必要な装置を提供できる。

本実施形態に係る視線分析システムの構成を説明する図。 視線分析装置のブロック図。 視線分析装置の動作を説明する図。 関心領域抽出処理を説明する図。 顕著性マップを生成する処理を説明する図。 注視点マップを説明する図。 顕著性マップを説明する図。 関心領域を説明する図。 心理状態推定処理を説明する図。 関心領域を区分する内容を説明する図。 生理指標データの補間処理を説明する図。 視線分析画像生成処理を説明する図。 視線分析画像を説明する図。

ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。

図１は，本実施形態に係る視線分析システム１の構成を説明する図である。図１で図示した視線分析システム１は，被験者の視線と視線を向けた時の被験者の心理状態を対応付けて分析できるように開発されたシステムである。

図１で図示したように，視線分析システム１は，被験者の視線を計測する視線追跡装置３と，被験者の生理指標を計測する生理指標計測装置４と，被験者の生理指標から被験者の心理状態を推定し，被験者の視線と被験者の心理状態を対応付けて分析できるように開発された視線分析装置２とから少なくとも構成される。

視線分析システム１に含まれる視線追跡装置３は，被験者の視線が向けられた対象物画像上の注視点の時系列データである視線データとして，所定のサンプリング間隔毎に，被験者の視線が向けられた対象物画像上の注視点と注視点を計測した時の時刻を取得するヘッドマウント型の装置である。

このような視線追跡装置３は既に市販化されており，視線追跡装置３に係る発明としては，例えば，空間的基準点として用いる１つ以上の赤外線（ＩＲ）信号源と、被験者が着用する少なくとも１つのメガネと、被験者の注視点を算出する装置を具備するシステムが特表２０１２−５１５５７９号公報で開示されている。なお，特表２０１２−５１５５７９号公報で開示されているシステムのメガネは，ＩＲ信号源からのＩＲ信号を検出し、ＩＲ信号源追跡信号を生成するように構成された画像センサと、被験者の注視方向を決定し、視線追跡信号を生成するように構成された視線追跡部と、被験者が見ているシーン映像を取得するように構成されたカメラユニットとを具備する。

視線分析システム１に含まれる生理指標計測装置４は，被験者の生理指標の時系列データである生理指標データとして，所定の生理指標と生理指標を計測した時の時刻を取得する装置である。本実施形態において生理指標とは，被験者の脳波や自律神経・呼吸系に係る指標で、自律神経・呼吸系の生理指標には、心拍数、心拍変動、血圧、心拍出量、血液容積脈、呼吸数、一回換気量、皮膚コンダクタンス反応、皮膚電位反応、核心温度、皮膚温などがある。

図１では，生理指標計測装置４を脈拍計として図示しているが，自律神経系、呼吸系の生理指標を計測する生理指標計測装置４としては、例えば、心拍計測装置、脈波・コロトロフ音記録器、皮膚電位計等を利用できる。心拍計測装置は、心拍数や心電図等を計測する装置である。脈波・コロトロフ音記録器は、血圧値、脈拍数、循環機能の指標であるＫＳＧ（コロトロフ音図）等を計測する装置である。また，皮膚電位計とは、皮膚電気活動（ＥＤＡ；Electro Dermal Activity）を測定する装置である。

本実施形態において，被験者の生理指標を計測するのは，被験者の生理指標から被験者の心理状態を推定するためである。計測する被験者の生理指標は，推定したい心理状態に依存する。例えば，特許文献２，３では，脈拍計が計測する被験者の脈拍から被験者のストレス度を推定している。また，公知の先行研究としては，「自律神経系の指標は感情を快・不快に分離するだけでなく、深い感情を細分化し得る（Ekman et al. 1983, Levenson et al., 1990）」や，「複数の自律神経系の指標を組み合わせることによって感情の弁別が可能となる（Collet et al., 1997）」などが知られ、脳波や自律神経系の生理指標を用いてストレス／リラックス状態、快／不快、基本感情の弁別方法が提案されている。

視線分析システム１に含まれる視線分析装置２は，視線追跡試験で得られた被験者の視線と被験者の心理状態を対応付けて分析できるように開発された装置で，汎用のコンピュータを利用して実現される。

図２は，視線分析装置２のブロック図である。本実施形態において視線分析装置２への入力は，視線追跡装置３が取得した視線データ，生理指標計測装置４が取得した生理指標データおよび対象物画像で，視線分析装置２の出力は，生理指標データから推定した被験者の心理状態が目視できる形態で視線データの分析結果を対象物画像に重畳した視線分析画像になる。

視線データと生理指標データを視線分析装置２に入力する手法としては，有線通信や無線通信を利用して視線分析装置２へ入力する手法と，メモリカード等のデータ記憶媒体を利用して視線分析装置２へ入力する手法がある。対象物画像については，視線追跡装置３がカメラを有している場合は，視線追跡試験中に視線追跡装置３が撮影した対象物画像が視線分析装置２に入力される。また，視線追跡装置３がカメラを有していない場合は，予めデジタルカメラで撮影した対象物画像が視線分析装置２に入力される。

図２に図示したように，視線分析装置２は，被験者の視線と被験者の心理状態を対応付けて分析するために，視線分析装置２として用いるコンピュータの記憶装置に記憶するコンピュータプログラムによって実現される手段として，視線データを解析して対象物画像内の注視点の集中度を示した注視点マップを生成し，少なくとも注視点の集中度が集中度の閾値以上の領域を関心領域として抽出する処理を実行する関心領域抽出手段２０と，視線データと前記生理指標データを参照して，関心領域内の注視点を計測した時の生理指標を集計し，この生理指標の集計結果から推定した心理状態を関心領域の心理状態として取得する処理を関心領域毎に実行する心理状態推定手段２１と，心理状態推定手段が取得した関心領域の心理状態の種別毎に異なる色分布を割り当てた後，注視点マップを参照し，関心領域の心理状態の種別に割り当てた色分布を用い関心領域内の注視点の集中度をこの色分布内の色で示した色画像を関心領域毎に生成し，色画像を対象物画像に重ね合わせた視線分析画像を生成する処理を実行する視線分析画像生成手段２２を備えている。

ここから，視線分析装置２の動作を説明しながら，視線分析装置２が備える各手段について詳細に説明する。

図３は，視線分析装置２の動作を説明する図である。視線データ等が入力されると，視線追跡装置３は，視線データを解析して対象物画像内の注視点の集中度を記した注視点マップを生成し，少なくとも注視点の集中度が注視点の閾値以上の領域を関心領域として抽出する関心領域抽出処理（Ｓ１）を実行する。

関心領域を抽出すると，視線追跡装置３は，視線データと生理指標データを参照し，関心領域内の注視点を計測した時の時刻に対応する生理指標を集計して，この生理指標の集計結果から推定した心理状態を前記関心領域の心理状態として取得する処理を関心領域毎に推定する心理状態推定処理（Ｓ２）を実行する。

関心領域毎の心理状態を推定すると，視線追跡装置３は，心理状態推定処理（Ｓ２）で取得した関心領域の心理状態の種別毎に異なる色分布を割り当てた後，注視点マップを参照し，関心領域の心理状態の種別に割り当てた色分布を用い関心領域内の注視点の集中度をこの色分布内の色で示した色画像を関心領域毎に生成し，色画像を対象物画像に重ね合わせた視線分析画像を生成する視線分析画像生成処理（Ｓ３）を実行して，この手順を終了する。

ここから，関心領域抽出処理（Ｓ１）について説明する。図４は，関心領域抽出処理（Ｓ１）を説明する図である。

視線追跡試験で得られた視線データを分析する操作が視線追跡装置３上でなされると，まず，視線分析装置２の関心領域抽出手段２０が作動し，視線分析装置２の関心領域抽出手段２０は，視線追跡装置３が計測した視線データから，対象物画像内の注視点の集中度を記した注視点マップを生成する（Ｓ１０）。なお，注視点の集中度は，注視点の頻度や注視点の滞留時間に基づいて算出される。

視線分析装置２の関心領域抽出手段２０は注視点マップを生成すると，次に，対象物画像の顕著性マップを生成する（Ｓ１１）。なお，本実施形態では，注視点マップを生成した後に顕著性マップを生成しているが，対象物画像の顕著性マップを生成するタイミングはこれより前であってもよい。

図５は，顕著性マップを生成する処理を説明する図である。なお，顕著性マップを生成する処理についての詳細は，上述している特許文献１や非特許文献１に加え，様々な文献に説明がある。

入力画像の顕著性マップを生成する際，視線分析装置２の関心領域抽出手段２０は，対象物画像から数種類の基礎特徴を抽出することで，基礎特徴毎に基礎特徴画像を生成する（Ｓ１１０）。なお，入力画像から抽出する基礎特徴としては，数式１の輝度特徴（Ｉ），数式２の色差特徴（Ｒ，Ｇ，Ｂ，Ｙ），および，多重解像度表現された輝度特徴（Ｉ）に対してガボールフィルタを適用することで得られる角度特徴（Ｏ）を用いるのが一般的である。

次に、視線分析装置２の関心領域抽出手段２０は，基礎特徴毎に，基礎特徴画像の多重解像度表現を構成する（Ｓ１１１）。例えば，輝度特徴（Ｉ）の多重解像度表現は、輝度特徴（Ｉ）のガウシアンピラミッドを９つのスケール（c∈0..8）で生成することで得られる。

次に、視線分析装置２の関心領域抽出手段２０は，基礎特徴毎に，基礎特徴画像の多重解像度表現を用いて、それぞれ解像度が異なる基礎特徴画像の差分を６通り算出し，基礎特徴毎のＦｅａｔｕｒｅ＿Ｍａｐを生成し，生成したＦｅａｔｕｒｅ＿Ｍａｐを正規化する（Ｓ１１２）。例えば，輝度特徴（Ｉ）における基礎特徴画像の差分は数式３で求めることができる。

Ｆｅａｔｕｒｅ＿Ｍａｐの正規化は，［０〜Ｍ]の範囲 になるようにＦｅａｔｕｒｅ＿Ｍａｐを正規化し，最大値Ｍを取らない局所領域の最大値の平均値ｍを求めた後，全ての値に（Ｍ−ｍ）の２乗を掛けることで行われる。

次に、視線分析装置２の関心領域抽出手段２０は，基礎特徴毎に，正規化したＦｅａｔｕｒｅ＿Ｍａｐを加算することで，顕著性マップの前段階となるマップであるＣｏｎｓｐｉｃｕｉｔｙ＿Ｍａｐを生成した後，Ｆｅａｔｕｒｅ＿Ｍａｐと同様な手順でＣｏｎｓｐｉｃｕｉｔｙ＿Ｍａｐを正規化する（Ｓ１１３）。

次に、視線分析装置２の関心領域抽出手段２０は，数式４に従い，正規化したＣｏｎｓｐｉｃｕｉｔｙ＿Ｍａｐ全てを加算平均することで，入力画像の顕著性マップを生成して（Ｓ１１４），図５の手順は終了する。

ここから，図４の説明に戻る。対象物画像の顕著性マップを生成すると，視線分析装置２の関心領域抽出手段２０は，少なくとも注視点の集中度が集中度の閾値以上の領域を関心領域として抽出して（Ｓ１２），この手順を終了する。

視線分析装置２の関心領域抽出手段２０が抽出する関心領域は，単に，注視点の集中度が注視点の閾値以上の領域としてもよいが，本実施形態では，注視点マップと顕著性マップを参照し，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の上閾値以上の領域，および，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の下閾値以下の領域を関心領域として抽出する。

注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の上閾値以上の領域は，視線が向けられた頻度が高く，かつ，顕著度も高い領域になるため，被験者の印象に影響を与えている可能性のある関心領域と考えられる。また，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の下閾値以下の領域は，視線が向けられた頻度は高いが，顕著度は低い領域になるため，被験者の認知に影響を与えている可能性のある関心領域と考えられる。

関心領域の抽出例について説明する。図６は，注視点マップを説明する図である。図６（ａ）は対象物画像の一例で，図６（ｂ）は，対象物画像を用いた視線追跡試験を行うことで得られた注視点マップの一例である。図６（ｂ）の注視点マップでは，白黒の濃淡を用いて注視点の集中度が表示され，図６（ｂ）では注視点の集中度が高くなるほど黒くなるようにしている。図６（ｃ）は，注視点の集中度が集中度の閾値以上の領域を示す図で，具体的には，図６（ｂ）においては，あるレベルより階調が暗い領域である。

図７は，顕著性マップを説明する図である。図７（ａ）は，白黒の濃淡を用いて対象物画像内の顕著性を示した顕著性マップで，図７（ａ）の顕著性マップでは，顕著度が高くなるほど白くなるようにしている。図７（ｂ）は，顕著度が顕著度の上閾値以上の画素の領域で，具体的には，図７（ａ）においては，あるレベルより階調が明るい領域である。図７（ｃ）は，顕著性マップにおける顕著度が顕著度の下閾値以下の画素の領域で，具体的には，図７（ａ）においては，あるレベルより階調が暗い領域である。

図８は，関心領域を説明する図である。図８（ａ）は，印象に影響を与えている可能性のある関心領域，すなわち，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の上閾値以上の領域で，この領域は，図６（ｃ）で図示した領域と図７（ｂ）で図示した領域において重複した領域になる。

また，図８（ｂ）は，認知に影響を与えている可能性のある関心領域，すなわち，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の下閾値以下の領域で，この領域は，図６（ｃ）で図示した領域と図７（ｃ）で図示した領域において重複した領域になる。

図８（ｃ）は，最終的に得られる関心領域を説明する図である。図８（ｃ）では，図８（ａ）の領域と図８（ｂ）の領域を合成することで，４つの関心領域（図８（ｃ）では，黒く塗り潰している領域）が得られている。

次に，心理状態推定処理（Ｓ２）について説明する。図９は，心理状態推定処理（Ｓ２）を説明する図である。

視線分析装置２の関心領域抽出手段２０が関心領域を抽出すると，視線分析装置２の心理状態推定手段２１が作動し，心理状態推定手段２１は，関心領域の心理状態を関心領域毎に推定するために，関心領域を複数の区分領域に区分する（Ｓ２０）。

図１０は，関心領域を区分する内容を説明する図である。関心領域を複数の区分領域に区分する手法としては，関心領域の形状に基づいて複数の区分領域に区分する手法も考えられるが，図１０に図示したように，本実施形態では，対象物画像全体を格子状に区分することで，関心領域を複数の区分領域に区分している。

次に，視線分析装置２の心理状態推定手段２１は，生理指標計測装置４が計測した生理指標データのサンプリング間隔内のデータを埋める補間処理を実施する（Ｓ２１）。

図１１は，生理指標データの補間処理を説明する図である。生理指標データの補間処理を行うのは，図１１に図示したように，視線追跡装置３が注視点を計測するサンプリング間隔と，生理指標計測装置４が生理指標を計測するサンプリング間隔とが一致しておらず，視線追跡装置３が計測した注視点に対応する生理指標が全て計測できないためである。そこで，本実施形態の心理状態推定手段２１は，生理指標データに含まれる生理指標から生理指標の補間曲線を算出し，視線座標値を計測した時刻に対応する生理指標が無い場合，補間曲線からこの時刻に対応する生理指標を取得する。

次に，視線分析装置２の心理状態推定手段２１は，視線データに含まれる注視点を時系列でトラッキングし，注視点が関心領域の区分領域に含まれる場合，注視点を計測した時の生理指標をこの関心領域の区分領域に関連付けて記憶し，関心領域内の区分領域に関連付けられた生理指標を集計（例えば，平均値の算出）する処理を行う（Ｓ２２）。

次に，視線分析装置２の心理状態推定手段２１は，関心領域の心理状態を生理指標の集計値から推定する処理を関心領域毎に行い（Ｓ２３），この手順は終了する。生理指標か心理状態を推定する手法についてはすでに上述しているが，例えば，特許文献２，３によれば，脈拍計が計測する被験者の脈拍から被験者のストレス度を推定できる。

次に，視線分析画像生成処理（Ｓ３）について説明する。図１２は，視線分析画像生成処理（Ｓ３）を説明する図である。

まず，視線分析装置２の視線分析画像生成手段２２は，心理状態推定手段２１が推定した心理状態ごとに色分布を決定する（Ｓ３０）。具体的には，可視光線の色分布は青色から赤色になるため，関心領域の心理状態の数に応じて可視光線の色分布を分割し，分割した色分布を心理状態に割り当てることになる。例えば，関心領域の心理状態の種別としてストレス状態およびリラックス状態の２つが得られた場合，可視光線の色分布を青から緑までの色分布と緑から赤までの色分布に分割し，緑から赤までの色分布をストレス状態に割り当て，青から緑までの色分布をリラックス状態に割り当てる。

次に，視線分析装置２の視線分析画像生成手段２２は，関心領域における注視点の集中度を，注視点に対応する顕著度で重み付けした後，心理状態推定手段２１が取得した関心領域の心理状態の種別毎に異なる色分布を割り当てた後，注視点マップを参照し，関心領域の心理状態の種別に割り当てた色分布を用い関心領域内の注視点の集中度をこの色分布内の色で示した色画像を関心領域毎に生成し，色画像を対象物画像に重ね合わせた視線分析画像を生成する処理を実行して（Ｓ３１），この手順を終了する。

関心領域における注視点の集中度を，注視点に対応する顕著度で重み付けする手法としては様々考えられるが，例えば，注視点の集中度に注視点に対応する顕著度を加算することで重み付けすることができる。また，色画像に変換する際は，顕著度で重み付けした注視点の集中度に設定された閾値を色分布の中心とし，注視点の集中度に対応する色を，この閾値から注視点の集中度までの距離に応じた色にするとよい。

図１３は，視線分析画像を説明する図である。図１３で図示した視線分析画像は，図６（ａ）の対象物画像と図８（ｃ）の関心領域を用いて生成された画像である。なお，図１３では，上述した色画像を丸で囲っている。

図１３において，実線で囲った色画像は，関心領域の心理状態の種別がリラックス状態の関心領域に対応する色画像で，リラックス状態の色分布を青から緑までの色分布とし，顕著度で重み付けした注視点の集中度が高いほど青くなるようにしている。また，二重線で囲った色画像は，関心領域の心理状態の種別がストレス状態の関心領域に対応する色画像で，リラックス状態の色分布を緑から赤までの色分布とし，顕著度で重み付けした注視点の集中度が高いほど赤くなるようにしている。

上述したように，関心領域内における注視点の集中度の表示に用いる色分布は関心領域の心理状態によって決まるため，視線分析画像上にある色画像を見れば，被験者が頻繁に視線を向けた位置とその時の心理状態を分析できる。

なお，本実施形態では，注視点の集中度を顕著度で重み付けしているが，これは，関心領域における顕著度の傾向を視線分析画像から把握できるようにするためで，この必要性がない場合は，顕著度による重み付けを実施しなくともよい。上述しているように，関心領域内における注視点の集中度の表示に用いる色分布は関心領域の心理状態によって決まるため，顕著度による重み付けを実施しなくとも本発明の効果を得ることができる。

１ 視線分析システム
２ 視線分析装置
２０ 関心領域抽出手段
２１ 心理状態推定手段
２２ 視線分析画像生成手段
３ 視線追跡装置
４ 生理指標計測装置

Claims (4)

1. 被験者の注視点の時系列データである視線データを取得する視線追跡装置と，被験者の生理指標の時系列データである生理指標データを取得する生理指標計測装置と，前記視線データと前記生理指標データが入力される視線分析装置とから少なくとも構成したシステムであって，
   前記視線分析装置は，前記視線データを解析して，対象物画像内の注視点の集中度を示した注視点マップと対象物画像内の顕著度を記した顕著性マップを生成し，少なくとも注視点の集中度が集中度の閾値以上の領域である関心領域として，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の下閾値以下の領域を認知に係る前記関心領域として抽出し，注視点の集中度が集中度の閾値以上で，かつ，顕著度が顕著度の上閾値以上の領域を印象に係る前記関心領域として抽出する処理を実行する関心領域抽出手段と，前記視線データと前記生理指標データを参照して，前記関心領域内の注視点を計測した時の生理指標を集計し，この生理指標の集計結果から推定した心理状態を前記関心領域の心理状態として取得する処理を前記関心領域毎に実行する心理状態推定手段と，前記心理状態推定手段が取得した前記関心領域の心理状態の種別毎に異なる色分布を割り当てた後，前記注視点マップを参照し，前記関心領域の心理状態の種別に割り当てた色分布を用い前記関心領域内の注視点の集中度をこの色分布内の色で示した色画像を前記関心領域毎に生成し，前記色画像を対象物画像に重ね合わせた視線分析画像を生成する処理を実行する視線分析画像生成手段を備えている，
   ことを特徴とする視線分析システム。
2. 前記視線分析装置の前記視線分析画像生成手段は，前記視線分析画像を生成する際，前記関心領域における注視点の集中度を，注視点に対応する顕著度で重み付けすることを特徴とする，請求項１に記載した視線分析システム。
3. 前記視線分析装置の前記心理状態推定手段は，前記関心領域内の注視点を計測した時の時刻に対応する生理指標が計測されていない場合，前記生理指標データに含まれる生理指標を用いて計測されていない生理指標を補間することを特徴とする，請求項１または請求項２に記載した視線分析システム。
4. 請求項１から請求項３のいずれか一項に記載した視線分析システムに記載した視線分析装置。