JPH04282129A - 注視点解析装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、注視点を解析する注視
点解析装置に関するものである。近年、コンピュータシ
ステムは、急速に進歩し、多彩な機能を備えたシステム
が広範な分野に普及している。これに伴ってその複雑化
したシステムをコンピュータに関して非専門家である利
用者にも容易に扱えるようなマンマシンインタフェース
の実現が望まれている。その１つの手段として、視線を
利用したものがある。これは、視線をマウスのようなポ
インティング・インタフェースとして利用しようという
ものである。通常、人が物を見るとき、その見たい物の
特徴的な部分が視野の中心になるように眼を動かしなが
らその物体の認識を行う。このとき、背景や見ている物
の認識に不必要な部分にあまり眼を向けない。この動作
を無意識に行っている。認識のために必要な特徴が何か
ということを知らなくても、眼をそこに向けるのである
。この事実を利用すれば、ディスプレイ上に表示されて
いる画像を見ている利用者の視線を捉えて、その利用者
が何に着目しているかなどが判り、それに従った処理を
実行することが可能となる。また、利用者は表示された
画像を観察するだけでよいので、操作を行うという意識
を必要とせず、自然のマンマシンインタフェースを実現
できる。また、データ圧縮する際に、着目度に応じて画
像を認識する際に重要な情報を失うことなく、高画質・
高圧縮することも実現できる。

【０００２】

【従来の技術】従来の視線検出技術は、心理学などの学
術的な実験調査の用途において使われることが多かった
。近年、ポインティング・インタフェースへの応用が研
究されるようになり、その手法および装置が幾つか開発
されている。その技術の１例を図７に示す。このシステ
ムは、眼鏡式のアイカメラと磁気センサおよびデータ処
理用ワークステーションから構成する。アイカメラは、
ＬＢＭ方式のアイカメラを使用し、眼球運動を計測して
いる。磁気センサを頭部に固定し、机に取りつけた磁気
ソースから発生する磁界を捕らまえて、その３次元位置
を検出するものである。ワークステーションは、アイカ
メラおよび磁気センサの出力から視線ベクトルを算出し
、それをディスプレイ座標に変換して注視点を求め、そ
こにカーソルを表示するものである。従って、このシス
テムの利用者は、アイカメラおよび磁気センサを装着し
てディスプレイに対面し、カーソルを動かしたい位置に
眼を向けるだけで、カーソルをディスプレイ上の目的の
位置に移動させることができる。

【０００３】

【発明が解決しようとする課題】上述したような視線の
インタフェースへの応用は、マウスの代用であって、操
作性が著じるしく向上したとは言えない問題がある。従
って、より操作性の良いインタフェース、利用者の意図
を反映したインタフェースとして、注視点（着目点）の
時間的・空間的な位置変化を解析し、利用者の意図を推
測したり、この意図を反映して画像を圧縮する際に、重
要な情報を失うことなく、高画質・高圧縮することが望
まれている。

【０００４】本発明は、利用者の画面上の注視回数をも
とに着目度を求めて処理を実行、着目度をもとに類似度
の高いリストを作成、着目度をもとに画像をブロック化
して圧縮し、利用者の意図を反映した処理、操作性の簡
略化、重要な情報を失うことなく高画質・高圧縮を行っ
たりすることを目的としている。

【０００５】

【課題を解決するための手段】図１および図５を参照し
て課題を解決するための手段を説明する。図１において
、注視点検出部１は、眼の注視点を検出して求めた視線
ベクトルから中心視野面積を算出するものである。注視
点解析部２は、中心視野面積を蓄積した注視回数がしき
い値以上の点を切り出してラベル付与、クラスタリング
を行い、ラベル領域毎の注視回数の総和を求めて着目度
を算出するものである。

【０００６】

【作用】本発明は、図１に示すように、注視点検出部１
が眼の注視点を検出して求めた視線ベクトルから中心視
野面積を算出し、注視点解析部２が中心視野面積を蓄積
した注視回数がしきい値以上の点を切り出してラベル付
与、クラスタリングを行い、ラベル領域毎の注視回数の
総和を求めて着目度を算出し、これを出力するようにし
ている。また、着目度をもとに対応する領域の画像につ
いて、データベースなどを検索して類似データを検索す
るようにしている。また、図５に示すように、着目度に
応じて入力画像を分割したブロックをクラス分けしてビ
ットを割り当て、離散コサイン変換（ＤＣＴ）、量子化
して圧縮するようにしている。

【０００７】従って、利用者が画面上に表示されている
画像を注視したときの注視回数をもとに着目度を求めた
り、着目度をもとに類似度の高いリストを作成したり、
入力画像をブロック化して着目度でビットを割り当てて
圧縮したりすることにより、利用者の意図を反映した処
理、操作性を簡略化、重要な情報を失うことなく高画質
・高圧縮を行うことが可能となる。

【０００８】

【実施例】次に、図１ないし図６を用いて本発明の実施
例の構成および動作を順次詳細に説明する。図１におい
て、注視点検出部１は、視線検出部１１、中心視野算出
部１２、データ蓄積部１３などから構成され、目の注視
点を検出してその視線ベクトルから画像上の中心視野の
面積を算出して蓄積するものである。

【０００９】視線検出部１１は、利用者がディスプレイ
３上に表示された画像を観察したときの注視点の視線ベ
クトルを検出するものである。この視線ベクトルの検出
は、利用者がアイカメラおよび磁気センサを装着してデ
ィスプレイ３の前に座ると、机に取りつけた磁気ソース
から発生する磁界を検出してその３次元位置を検出し、
頭部に固定したアイカメラで眼球運動を計測して求める
。

【００１０】中心視野算出部１２は、画面上の中心視野
の面積を求めるものである。この面積は、視線算出部１
１によって求めた視線ベクトルをディスプレイ座標に変
換して画面上の注視点を求め、注視する角度は通常３度
位であるので、眼から画面までの距離をもとに当該画面
上で注視できる範囲を求める。データ蓄積部１３は、中
心視野算出部１２によって算出した中心視野の面積内の
ドットに注視回数（あるいは注視時間）を累積し、注視
度合を蓄積するものである。ここで、人間は静止してい
る物を見る場合、２５０ｍｓ程度、一点を固視し、次に
数十ｍｓの跳躍運動（眼球の素早い運用：ｓａｃｃａｄ
）により注視点を移動するという動作を繰り返し、必要
な情報を収集して対象を認識しているので、この注視の
回数（あるいは時間）を各ドットに累積して注視度合を
ある一定時間の間、累積する。これにより、入力画像に
ドット対応で一定時間、蓄積した注視の回数（あるいは
時間）の累積値を求めることができる。

【００１１】注視点解析部２は、ラベリング処理部２１
、および着目度算出部２２などから構成されるものであ
って、蓄積した注視回数がしきい値以上の点を切り出し
てラベル付与、クラスタリングを行い、ラベル領域毎の
注視回数の総和を求めて着目度を算出するものである。 ラベリング処理部２１は、蓄積した注視回数がしきい値
以上の点を切り出し、隣接する点をまとめて領域にする
ものである。

【００１２】着目度算出部２２は、まとめた領域内の注
視回数の総和（着目度）を算出するものである。次に、
図２を用いて図１の構成の動作を詳細に説明する。図２
において、Ｓ１は、視線ベクトルを検出する。これは、
図１の視線検出部１１が既述したようにして、利用者が
ディスプレイ３の画面上に表示された、例えば右側に示
す■の画像を注視したときの視線ベクトルを検出する。

【００１３】Ｓ２は、中心視野面積の算出を行う。これ
は、図１の中心視野算出部１２が既述したようにして、
画面上の中心視野の面積を算出する。Ｓ３は、データ蓄
積する。これは、Ｓ２で算出した画像上の中心視野面積
内のドットについて、注視回数を加算して累積値を蓄積
する（例えば右側に示す■の画像中の○の累積値を蓄積
する）。

【００１４】Ｓ４は、利用者からのコマンド入力があっ
たか否か判別する。ＹＥＳの場合には、一定時間が経過
してコマンド入力があったので、Ｓ５に進む。ＮＯの場
合には、一定時間が経過していなく、未だ、コマンド入
力がないので、Ｓ１ないしＳ３を繰り返して注視回数の
累積値を求めることを続ける。Ｓ５は、注視回数がしき
い値以上の点を切り出す。これは、Ｓ３で蓄積したドッ
ト単位の注視回数がしきい値以上の点（ドット）を切り
出す。

【００１５】Ｓ６は、クラスタリングしてラベル付与す
る。これは、Ｓ５でしきい値以上の切り出したドットに
ついて隣接するものをまとめ（クラスタリング）、この
まとめた領域にラベル（例えば右側の■の画像中のＡ、
Ｂ、Ｃ、Ｄ）を付与する。Ｓ７は、各ラベル領域内の注
視回数の総和を算出する。Ｓ８は、総和の量に基づいて
着目度を算出する。

【００１６】以上によって、利用者が■の画像を注視し
たときに、このときの視線ベクトルをもとめこの■の画
像上の中心視野面積内のドットに注視回数を加算して蓄
積し（■の画像）、一定時間経過後に、これら蓄積した
注視回数がしきい値以上の点（ドット）を切り出し、こ
の切り出した点の隣接するものをまとめて領域としてラ
ベル（■の画像のＡ、Ｂ、Ｃ、Ｄ）を付与する。そして
、このラベルを付与した領域内の注視回数の総和を求め
て着目度とし、この着目度を利用者の意図を反映した画
像中の領域として出力する。

【００１７】次に、図３および図４を用い、着目度をも
とに類似データリストを作成する他の実施例の構成およ
び動作を詳細に説明する。図３において、注視点解析装
置３０は、図１の注視点検出部１および注視点解析部２
であって、利用者が画像を注視したときの着目点を出力
するものである。特徴切り出し部３１は、注視点解析装
置３０から通知された、既述した着目度の大きい順にラ
ベル付けした領域を切り出すものである。例えば図４の
（ロ）の入力画像の周囲に記載した、把手、上部、底部
、図柄の領域を切り出す。

【００１８】類似度算出部３２は、切り出した領域につ
いて、データベース３３を検索して類似度を算出し、類
似度の高いデータ（画像）のリストを取り出したりする
ものである。ここで、類似度は、データベース上の画像
に関して、部分毎に特徴が記述されているものを類似検
索して算出したり、あるいは特徴領域をテンプレートと
したテンプレートマッチングにより算出したりする。

【００１９】類似データリスト作成部３４は、類似度算
出部３２で算出された類似度をもとに、類似度の高いデ
ータのリストを作成するものである。データベース３３
は、類似度を算出するために、画像の部分毎に特徴を記
載したデータや、特徴領域をテンプレートとしたものの
集まりである。次に、図４を用いて図３の構成の動作を
詳細に説明する。

【００２０】図４の（イ）において、Ｓ１１は、着目度
の高い順に注視領域を切り出す。これは、図２のフロー
チャートに従って入力画像から算出した着目度について
、高い順に注視領域を、例えば図２のＡ、Ｂ、Ｃ、Ｄと
いうように切り出す。Ｓ１２は、データベース上の各デ
ータと注視領域のマッチングを行う。これは、例えば図
４の（ロ）の入力画像の把手と、図４の（ハ）の■の画
像の把手とのマッチングを行う。ここでは、一致する。

【００２１】Ｓ１３は、類似度の高いデータリストを作
成する。これは、Ｓ１１で切り出した例えば図４の（ロ
）の入力画像の把手、上部、底部、図柄について、それ
ぞれ図４の（ハ）のデータベース中の画像■、■、■に
ついて把手、上部、底部、図柄とそれぞれマッチングを
行い、類似度の高いデータリストを作成する。類似度は
、着目度の高い注視領域に高い評価点を与え、着目度の
低い注視領域に低い評価点を与え、これらの総和が大き
い順に類似度が高いとしてそのリストを作成する。

【００２２】図４の（ロ）は、入力画像を示す。ここで
、中央の画像が入力画像であり、右側、下側の把手、上
部、底部、図柄が図２のフローチャートに従って着目度
を算出した注視領域である。図４の（ハ）は、データベ
ースの例を示す。■ないし■の中央の画像が全体の画像
であり、右側、下側の把手、上部、底部、図柄が特徴領
域として記述したデータ（画像）である。

【００２３】以上のように、利用者が例えば図４の（ロ
）の中央の入力画像を注視するのみで、自動的に算出し
た着目度の高い順に注視領域を切り出し、これら切り出
した注視領域について、図４の（ハ）データベース中の
特徴領域との類似度を算出して高いデータのリストを出
力することが可能となる。次に、図５および図６を用い
、入力画像を分割したブロックについて、着目度をもと
にクラス分けを行ってビットを割り当て、圧縮するとき
の構成および動作を詳細に説明する。ここで、注目点検
出部１、注視点解析部２は、図１と同一であるので、説
明を省略する。

【００２４】図５において、クラス分類部１５は、注視
解析部２で求めた着目度（注視回数の総和）をもとに、
ヒストグラムを作成して、ブロックを複数のクラスに分
類するものである。ビット割当部１６は、各クラスにお
ける注視回数の比率を求め、比率にもとづいて各クラス
に割り当てるビット数を決定するものである。そして、
この割り当てたビット数に合うように、各クラスのスペ
クトル毎に割り当てるビット数を決定する。このビット
割当は、予め定められた比率にもとづいて算出する。

【００２５】量子化処理部１９は、原画像の各ブロック
について、割り当てられたビット数をもとに離散コサイ
ン変換（ＤＣＴ、Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔ
ｒａｎｓｆｏｒｍ　ｃｏｄｉｎｇ）および量子化を行い
、データを圧縮するものである。画像入力部１７は、画
像を入力するものである。画像分割部１８は、原画像を
ブロックに分割するものである。

【００２６】圧縮データ出力部２０は、量子化処理部１
９で圧縮されたデータを出力するものである。次に、図
６を用いて図５の構成の動作を詳細に説明する。図６の
（イ）において、Ｓ２１は、視線ベクトルを検出する。 これは、利用者が例えば右側に示す■画像を観察したと
きの、眼から注視点への視線ベクトルを検出する（図２
のＳ１参照）。

【００２７】Ｓ２２は、中心視野面積の算出を行う（図
２のＳ２参照）。Ｓ２３は、データ蓄積する（図２のＳ
３参照）。これは、右側の■画像に示すように、中心視
野面積内の点（ドット）について、注視回数を累積して
蓄積する。Ｓ２４は、コマンド入力か否かを判別する（
図２のＳ４参照）。

【００２８】Ｓ２５は、各ブロック内の注視回数の総和
を求める。これは、右側の■画像に示すように、■画像
で蓄積した注視回数について、ブロック毎に総数を求め
る。Ｓ２６は、Ｓ２５で求めた総和の量に基づいて着目
度を算出する。Ｓ２７は、着目度に応じてブロックをク
ラス分けする。これは、Ｓ２５、Ｓ２６で求めたブロッ
ク毎の注視回数の総和の多い順にクラス分けする。

【００２９】Ｓ２８は、各クラスにビットを割り当てる
。これは、Ｓ２７で注視回数の多い順にクラス１、２、
３、４というようにクラス分けした各クラスに、圧縮す
る際のビットを割り当てる。Ｓ２９は、ＤＣＴ（離散コ
サイン変換）を行う。Ｓ３０は、量子化する。

【００３０】以上によって、利用者が例えば■画像を注
視するのみで、自動的に視線ベクトル算出、注視回数の
蓄積、ブロック毎の注視回数の総和の算出、注視回数の
総和の順に入力画像を分割したブロックの分類、ビット
割り当てを行い、ＤＣＴ、量子化を行って圧縮すること
が可能となる。図６において、■画像は、入力画像であ
る。

【００３１】■画像は、注視回数を蓄積した画像を模式
的に表わしたものである。■画像は、■画像を分割した
ブロックに、■画像の注視回数の多い順にクラス分けし
た様子を示す。ここで、クラス１、２、３、４の順に各
クラス内の注視回数が多く、注視回数が多い程、多くの
ビットを割り当てるようにする。これにより、利用者が
注視した回数の多いブロック程、多くのビットを割り当
て、圧縮時に重要な情報が失われないようにすることが
できる。

【００３２】また、上述した実施例は、注視回数によっ
てクラス分類、ビット数割り当てを行ったが、入力画像
の統計量によるクラス分類と本実施例による注視回数に
よるクラス分類とを組み合わせてもよい。この場合、統
計量によってクラス分類した後、更にその各クラス内の
ブロックを、注視回数に基づいてクラス分類（サブクラ
ス）する。このときのビット割り当ては、サブクラス毎
に行う。このように統計量と利用者の意図を組み合わせ
て圧縮することにより、見落しによるデータの欠落を防
ぎ、かつ効率の良いデータ圧縮が可能となる。

【００３３】

【発明の効果】以上説明したように、本発明によれば、
利用者が画面上に表示されている画像を注視したときの
注視回数をもとに着目度を求めたり、着目度をもとに類
似度の高いリストを作成したり、入力画像をブロック化
して着目度でビットを割り当てて圧縮したりする構成を
採用しているため、利用者の意図を反映した処理、操作
性を簡略化、重要な情報を失うことなく高画質・高圧縮
を行うことができる。これにより、 （１）　　利用者が表示された画像を見るだけで、その
意図を推測して処理を続行することができ、操作性を簡
略化できる。

【００３４】（２）　　また、画像処理の前処理として
利用し、利用者の意図にあった特徴領域を抽出して類似
度検索を行うことができる。 （３）　　画像から利用者が重要とした領域にビットを
多く割り当て、重要な情報の欠落を防いだ高効率の圧縮
を行うことができる。

【図面の簡単な説明】

【図１】本発明の１実施例構成図である。

【図２】本発明の動作説明図である。

【図３】本発明の他の実施例構成図である。

【図４】本発明の他の動作説明図である。

【図５】本発明の他の実施例構成図である。

【図６】本発明の他の動作説明図である。

【図７】従来技術の説明図である。

【符号の説明】

１：注視点検出部 １１：視線検出部 １２：中心視野算出部 １３：データ蓄積部 ２：注視点解析部 ２１：ラベリング処理部 ２２：着目度算出部 ３：：ディスプレイ ４：指示部 ３０：注視点解析装置 ３１：特徴切り出し部 ３２：類似度算出部 ３３：データベース ３４：類似データリスト作成部 １５：クラス分類部 １６：ビット割当部 １７：画像入力部 １８：画像分割部 １９：量子化処理部 ２０：圧縮データ出力部

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　注視点を解析する注視点解析装置にお
   いて、眼の注視点を検出して求めた視線ベクトルから中
   心視野面積を算出する注視点検出部（１）と、この中心
   視野面積を蓄積した注視回数がしきい値以上の点を切り
   出してラベル付与、クラスタリングを行い、ラベル領域
   毎の注視回数の総和を求めて着目度を算出する注視点解
   析部（２）とを備え、この着目度を利用者の意図する情
   報として出力するように構成したことを特徴とする注視
   点解析装置。
2. 【請求項２】　　上記着目度をもとに対応する領域の画
   像について、類似するデータを検索するように構成した
   ことを特徴とする請求項第１項記載の注視点解析装置。
3. 【請求項３】　　注視点を解析する注視点解析装置にお
   いて、眼の注視点を検出して求めた視線ベクトルから中
   心視野面積を算出する注視点検出部（１）と、この中心
   視野面積を蓄積した注視回数がしきい値以上の点を切り
   出してラベル付与、クラスタリングを行い、ラベル領域
   毎の注視回数の総和を求めて着目度を算出する注視点解
   析部（２）とを備え、入力画像をブロック化してこの着
   目度でクラス分けしてビットを割り当て、離散コサイン
   変換、量子化して圧縮するように構成したことを特徴と
   する注視点解析装置。