JPH0981306A

JPH0981306A - 情報処理装置

Info

Publication number: JPH0981306A
Application number: JP7233570A
Authority: JP
Inventors: Hisashi Aoki; 恒青木
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-12
Filing date: 1995-09-12
Publication date: 1997-03-28
Anticipated expiration: 2015-09-12
Also published as: JP3456806B2

Abstract

(57)【要約】【目的】本発明は、情報処理装置においてマルチメデ
ィア情報を取り扱う際に、利用者にとって重要である部
分と、重要度の高低を平易な操作で効率よく取得し、そ
れを元に情報分類・加工・提示できる装置を提供するこ
とを目的とする。【構成】情報視聴時の利用者の視線を記録し、それを
元に原情報に対する重要度の高低を推定する。重要度の
推定は、まず眼球運動の種別を判定し、視覚系が高効率
で情報を獲得できていたと考えられる時間を判別する。
この情報収集効率をもとに視覚系の活動の活発不活発を
数値化し、カット、シーンごとの活発さを指標にして情
報に対する重要度を推定する。これにより利用者の特別
な操作なしに原情報中で利用者にとって重要な部分と、
重要さの度合が推定される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像・音声・文書などを
統合的に表示・記録・再生・編集するマルチメディア情
報処理装置に関する。

【０００２】

【従来の技術】パーソナルコンピュータなどに搭載され
るマイクロプロセッサ性能向上はめざましく、普及型の
パーソナルコンピュータで大量の情報を高速に処理でき
る環境が整いつつあることは周知であろう。近年の光通
信技術、通信制御技術や光磁気ディスク、高密度集積回
路によるメモリ素子などの発展もあり、一方で情報伝送
路が、一方で情報蓄積装置が大容量化していることも作
用し、家庭やオフィスでも安価な装置で大量の情報を電
子的に入手することができる世界が実現しつつある。ま
た、同様に簡単な操作で情報を発信できるため、これま
で放送局や新聞社などに限られていた情報発信の特権が
一般の利用者へと広がり、さらに大量の情報が行き交う
ようになりつつある。このことは現在のパソコン通信や
電子メール、電子ニュースなどの普及からうかがい知る
ことができる。また、パーソナルコンピュータに限らず
このように情報をやり取りできる端末は、電子手帳、携
帯電話、ファクシミリなど、あらゆる装置の形で浸透し
ている。そして、それらが扱うことのできる情報の種類
も、従来の文字情報（テキストデータ）だけから、音声
・音楽情報、静止画像情報、動画像情報へと広がり、そ
の品質もそれぞれ飛躍的に向上している。

【０００３】しかし、情報分類の手法に関しては旧来の
方法がとられている場面が多い。電子ニュースの世界を
例にとれば、ニュースグループ（＝話題ごとの「くく
り」）が何百と存在し、各ニュースグループには１日数
十もの投稿がなされる。ユーザは、その中から自分が必
要とする／関心のあるニュースを探すために少なからず
時間を費やさなければならない。これは各ニュースが、
「ニュースグループ→ニュース」という、ごく単純な、
そしてユーザが通常自分では定義できない層構造でとり
あつかわれているためである。音楽テープやビデオテー
プにおいても、楽曲／番組ごとの開始位置は、無音部分
あるいは録画開始のインデックス信号を検出することで
判定できるが、その楽曲／番組の内容、あるいは特に関
心のある場面や部分を指し示す情報は記録できないた
め、ユーザはそれらのラベルなどに自ら書き込むより他
に方法がない。

【０００４】これら情報の分類、あるいは情報の中から
特徴となる部分を抽出する作業を自動化しようとする開
発は、現在も盛んに行われている。しかし、それらの中
の多くは人間の判断機構を代用することを目標としてお
り、高度な人工知能を必要とし、開発の時間の面から
も、費用の面からも、現時点ではコストがかかるといわ
ざるを得ない。また、そのような自動分類システムに
は、ユーザは自分が望むものを指示してやる必要があ
り、何が見たい、どんな風な情報を得たい、というビジ
ョンのはっきりしないユーザには扱いづらい。このよう
な不案内なユーザは情報があふれる時代にこそ、激増す
るものと想定できる。

【０００５】むしろ必要とされるのは、「重要だと感じ
る場所がここである」としめす情報であり、必ずしもそ
の内容を記述することを必要としているわけではない。
たとえば映画の中で１場面だけ魅力的な俳優が出演して
いたとき、その俳優が誰なのか、男なのか女なのか、さ
らにそのオブジェクト（被写体）が人間なのか、という
情報は常には必要ではなく、ただその場面を指し示して
くれる装置であれば十分用件は満たされる場合が多い。
それなのに現在の情報分類の流れでは、「情報を装置が
精査する→特徴となる部分を候補として抽出する→ユー
ザが入力した要求情報と照合する→分類・提示を行う」
という手順であるため、いったん情報内容の解析を入念
に行わなくてはならなくなる。

【０００６】一方、一般の利用者が情報発信源となりつ
つある現在、情報加工ツールの要求も高まっている。こ
れまでの加工ツールとしては文書情報のためのワードプ
ロセッサ、図形情報のためのＣＡＤ（Computer Aided D
esign ）や描画ソフトウェアなどがある。しかし、とり
わけビデオや音声に関しては操作性のよい一般向けのツ
ールはきわめて少ないといわざるをえない。利用者は２
台のデッキを接続して、一方のデッキでは目的となる場
所を探して再生し、他方のデッキでそれを録画するとい
う作業で「切り張り」編集を行っている。「切り張り」
編集を行うためには最低でも２台のデッキが必要で、ま
た操作も繁雑であるために、一般の利用者は編集作業を
敬遠しがちである。現在、提案されている編集方法の中
には、コンピュータのメモリやハードディスクなどの記
憶媒体にビデオ／音声情報をいったん蓄積して、コンピ
ュータの編集環境で情報加工するものもあるが、このた
めには大容量の記憶媒体を必要とするうえコストが高
く、根本的には「切り張り」の編集であるために操作性
の特段の向上は期待できない。

【０００７】以上のように簡便で効率的な情報自動分類
機構や情報加工手段がないことは、今後のマルチメディ
ア統合環境が普及することへの大きな妨げになる恐れが
ある。

【０００８】

【発明が解決しようとする課題】以上のように、従来の
情報処理装置では、多種で多様な情報を、情報の種類を
越えて効率よく、かつ利用者の意図を反映して分類・整
理などを行う手段がなかった。このために利用者はその
情報の処理作業に時間と労力を割かなければならず、こ
れを装置として自動で行う場合にも、必ずしも個々の利
用者に適応して処理できないという欠点があった。また
従来は情報の加工方法も繁雑で、その実現のためには高
コストとなりやすいという欠点もあった。

【０００９】本発明は、上記のような課題を解決するた
めになされたもので、多種多量の情報から簡便な操作で
効率よく利用者が必要とする情報を加工・提示できる情
報処理装置を提供する。

【００１０】

【課題を解決するための手段】前記課題のうち、画像中
から被写体境界を判別せずに重要度水準の時間変化を推
定するという課題を解決するために、本発明に係る情報
処理装置は、画像、および画像と音声の情報を利用者に
提示する装置において、該情報を視察または視聴してい
る利用者の眼球運動を観測する手段と、この手段で観測
した利用者の眼球運動の速度成分を逐次生成する手段
と、この手段で生成した速度成分から眼球運動の活発さ
の度合いを求める手段と、この求める手段で求めた眼球
運動の活発さの度合いをもとに該情報の重要度を推定す
る手段ととを含む。

【００１１】

【作用】この発明における情報処理装置では、視線を利
用して利用者が提示情報をどれだけ重要と認識している
のかを数値で表現できる。利用者の意思表示の一部を視
線の自然な動きから得るので、利用者は操作への習熟の
手間が軽くなり、利用者にとっても計測されているとい
う意識が少ないままに意思の入力が行われる。このよう
にして、原情報中で利用者が重要と認識している部分と
その度合が平易な入力手法で得られるため、「重要部
分」に偏った提示、並べ替えなどの処理を行うことが可
能になり、情報アクセスの効率向上を望むことができ
る。

【００１２】

【実施例】以下、本発明の第１の実施例を図面に基づい
て説明する。図１は本発明の一実施例に係わる情報処理
装置の構成を示すブロック図である。また、図１２〜図
１４は以下の処理の流れを説明するフローチャートであ
る。

【００１３】記録媒体１１６に保存されているマルチメ
ディア情報は、読み出し制御部１１４で読み出され、提
示形態作成部１１３を経由して画像情報提示部１１０、
音声情報提示部１１１、音楽情報提示部１１２などによ
って利用者１０１に提示される。提示形態作成部１１３
とは、具体的にはビデオＲＡＭ、ビデオプロセッサ、あ
るいはサウンドマネージャ、スピーカードライバやＭＩ
ＤＩインタフェースなどのことを指す。以上の過程にお
いては、テレビジョンとビデオテープレコーダー（ＶＴ
Ｒ）を組みあわせたものや、ＣＤ−ＲＯＭドライブを搭
載したパーソナルコンピュータなど、従来のマルチメデ
ィア機器の情報提示の方法と違いはない。

【００１４】一方、このようにして提示された情報を視
聴している利用者１０１の視線は視線検出器１０２にで
測定され、視点演算部１０３に送られる。視線検出器に
はどのような形態のものを用いてもよいが、以下では視
点の２次元座標上の位置に対応して２チャンネルの電圧
値を出力するような視線検出器を想定して説明する。視
線検出器１０２から視点演算部１０３に送られるデータ
は例えば図４ａのようなものである（図１２においては
ａの場所で図４のａのようなデータが流れている。以下
同様である）。視点演算部１０３では、この電圧値を画
面内の位置に変換し一時記憶部１０８に蓄積する（図１
２のＳ１２０１）。視点演算部１０３が出力するデータ
は図４ｂのようなものである。この座標データを元に、
眼球運動種別判定部１０４が時刻時刻の眼球運動の種類
を判定し、再び一時記憶部１０８に蓄積する（図１２の
Ｓ１２０３〜Ｓ１２０９）。

【００１５】人間の眼球運動は大きく分けて図２に示す
ように固視微動と追跡運動によって成っており、速度成
分をみることで跳躍運動は固視微動や随従運動から区別
することが可能である。図３には動画像視聴時の実際の
視線の様子を模式化して示した。画面内には人物３０１
とテレビ台３０２という主に２つのオブジェクト（被写
体）が写っている。図３中の丸印（○）は６０分の１秒
ごとに記録した視点である。ここに示したように、オブ
ジェクトを見ている間は低速の運動が続き（３０３）、
オブジェクト間を移動する際には高速の運動を行ってい
る（３０４）ことがわかる。

【００１６】図５には、同様に実際に記録された視点の
データを横軸に時間経過、縦軸に座標値をとって示し
た。図中実線と破線はそれぞれＸ座標とＹ座標を表して
いる。図では３秒分を示しているが、極めて短時間のう
ちに急激に座標が変化する様子が５回みられる（５０
１）。これが跳躍運動に相当する。一方、跳躍運動より
もはるかに大きいパルス状の運動も３回みられる（５０
２）が、これはまばたきである。視線検出器の特性によ
ってこのような動きになるが、パルス状の動きの前後で
座標値がほとんど変化していないことから跳躍運動と弁
別できる。

【００１７】以上のようにして、眼球運動を「まばた
き」、「跳躍」、およびそれ以外の「注視」の３種類に
区別するのが図１の眼球運動種別判定部１０４である。
眼球運動種別判定部１０４によって判定されたデータは
図４ｃのような形をとる。なお、まばたきの最中に視点
を移動させたものは、オブジェクトの移動を伴っている
ことから「跳躍」とみなすべきであり、眼球運動種別判
定部１０４でもそのように判定されるものとする。眼球
運動種別判定部１０４によって時刻時刻の眼球運動種別
は再び一時記憶部１０８に蓄積される。

【００１８】さて人間の視覚特性については、跳躍運動
のあと２００ミリ秒程度の間に見えている画像の解像度
が低下している、ということが知られている。このこと
についてはたとえば「眼球運動の実験心理学」（名古屋
大学出版会、1993年）などに記述されている。したがっ
て、実際に通常の解像度でオブジェクトを注視できてい
るのは跳躍運動後２００ミリ秒後からといってよいだろ
う。したがってひとつひとつのオブジェクトを見ていた
時間は図５の５０３のようになる。５０４は跳躍運動の
ために解像度低下が起こっている時間である。過去の単
位時間あたりに「ひとつひとつのオブジェクトを見てい
た時間」すなわち跳躍運動とその後２００ミリ秒をのぞ
いた時間を「情報獲得率」と定義する（図１３のＳ１３
０２〜Ｓ１３０５）。ここでいう跳躍運動とは、まばた
きの間にオブジェクトを移動した場合を含んでいる。逆
にまばたきの前後での視点が大きく変化していないとき
（図５の５０２）は、オブジェクトの移動をともなって
いないので、以下の過程では注視と同様に取り扱われ
る。情報獲得率計算部１０５ではこのようにして眼球運
動種別の時間推移から情報獲得率を計算し、再び一時記
憶部１０８に保存する。このデータは例えば図４ｄのよ
うな形態をとる。

【００１９】情報獲得率が低下するときは、視覚系は跳
躍運動による解像度低下という代償を払ってでも多くの
オブジェクトをみようとしているということができる。
逆に画面内にとくに見るべきオブジェクトが少ない場
合、情報獲得率が高い時間が長いものと考えられる。そ
こで、情報獲得率が低下している時間を視覚系が情報収
拾に活発であったとみなし、その活発さを評価する時間
関数を「視覚活性水準」として定義する。視覚活性水準
とは、過去単位時間内に情報獲得率が低下に向かってい
た時間とする。「情報獲得率が低下に向かう」時間は、
情報獲得率の時間による２階微分が０になる瞬間のうち
連続した２回に囲まれる時間区間で、情報獲得率の極小
値を含むものとする。すなわち図６の６０１の時間区間
などである。図６で６０２は情報獲得率、６０３は情報
獲得率６０２の２階微分が０になる時間、６０４は情報
獲得率６０２の極小値である。実際のコンピュータ内部
の計算では時間方向に離散的な値をとるため、上記の
「微分」は「差分」と置き換えて計算を行ってもよい。
このような計算を行うのが視覚活性水準計算部１０６で
ある。視覚活性水準計算部１０６ではこれまでに計算さ
れた情報獲得率から上記のような計算過程を経て時刻時
刻に眼球運動が「活発」「不活発」のどちらであったか
を判定して出力する。この出力は再び一時記憶１０８に
保存される（Ｓ１３０６〜Ｓ１３０８）。出力データは
例えば図４ｅのような形態である。

【００２０】以上の過程の時間解像度は本発明の処理シ
ステムの能力によって規定されるものであるが、これを
利用者にとって理解しやすい時間単位に分割する。シス
テムによって規定される時間解像度は例えば３０分の１
秒、６０分の１秒、１００分の１秒などであり、利用者
にとって理解しやすい時間単位とは、例えば「カット」
や「シーン」あるいは３０秒、３分、といったものであ
る。重要度情報生成部１０７は、こうした利用者に理解
しやすい時間単位で情報獲得率を演算し、その演算結果
とその時間単位を重要度情報として出力する。つまり
「カットナンバー１４は３分２３秒１５フィールドから
３分２９秒２７フィールドまで。その重要度は０．７
３」などといったデータである。ここでいうカットのよ
うな時間単位があらかじめ原情報とともに記録されてい
る場合には、開始時刻や終了時刻に関する情報は省くこ
とが可能である。また、どのような時間単位で重要度情
報を付与するかは上記の「カット」、「シーン」、何
秒、といった中から利用者の選択を許容してもよい。

【００２１】この時間単位は情報単位検出部１０９によ
って判定され、重要度情報生成部１０７に送られる。原
情報に情報の切れ目が記録されていないような場合、情
報単位検出部１０９は、画像情報の中で色調や輝度が急
激に変化する瞬間などを検出することでシーンチェンジ
などを検出する。これら情報単位の定義方法は、どのよ
うなものでもよい。また、情報単位検出部１０９が自動
検出した情報の区切りを利用者が特に訂正したい場合に
は、利用者が新たに定義した情報の区切りを重要度情報
のための時間単位としてもよい。さらに、原情報にこの
ような時間単位があらかじめ記録されている場合には、
情報単位検出部１０９は記録されているその時間単位を
利用してもよい。

【００２２】時間単位内の重要度情報のうち、重要度の
算出方法は例えば以下のようなものである。上述のよう
に情報獲得率の「活発」「不活発」が時刻ごとにわかっ
ているので、その時間単位に対して「活発」であった時
間の割合を重要度として採用する（図１４）。長さが１
０秒のカットに対して「活発」であった時間が合計４秒
ならば重要度は０．４０、長さが３分のシーンに対して
「活発」であった時間が合計２分６秒ならば０．７０、
長さが２時間の映画に対して「活発」であった時間が合
計４０分ならば０．３３などとなる。重要度情報は再び
一時記憶部１０８に蓄積され、適切な時機に原情報と関
連づけて記録媒体に記録される。適切な時機とは、シス
テムの動作環境によって異なる。記録媒体１１６および
その周辺の機構が、情報再生と同時に記録が可能なもの
である時には、以上の過程を情報提示と同時に進行さ
せ、再生・提示と平行して重要度情報を記録していって
もよい。また情報提示が終了するまで一時記憶部１０８
に蓄積したままにしておき、提示終了後に一括して重要
度情報の記録にとりかかってもよい。一方、図１では記
録媒体１１６として光ディスクのようなものを想定して
描いているが、記録媒体１１６の形態は特にこれに限定
されず、また、原情報と異なる媒体に重要度情報を記録
してもよい。原情報や重要度情報記録のための記録媒体
１１６としては、光ディスクや光磁気ディスク（Ｍ
Ｏ）、ビデオテープなどの磁気テープ、フロッピーディ
スクやハードディスクなどの磁気ディスク、ＩＣメモリ
ー、あるいは通信ケーブルを介して遠隔のコンピュータ
などを用いてもよい。

【００２３】このようにして記録された重要度は、同じ
方法で時間単位を設定した他の重要度情報との比較に有
効である。例えば家庭用ビデオカメラで撮影した家族旅
行のビデオに上記の手段によって重要度が記録されてい
るとき、再生装置は重要度０．３５が付与されたカット
と重要度０．６４が付与されたカットでは後者の方が時
間経過後に検索される可能性が高いものとシステムは推
定して、あらかじめメモリー素子にそのカットの先頭数
秒の画像音声情報を格納しておく。あらかじめメモリー
素子に蓄積された情報はアクセスの高速化がはかれるた
め、利用者のより円滑に目的の画像に到達できることが
期待できる。あるいは重要度０．２０の映画と重要度
０．７７の映画の光ディスクがあったとき、ディスクチ
ェンジャ（複数のディスクを格納できる再生装置）は後
者を取り出し易い位置に格納しておくことで、同様の効
果が期待できる。

【００２４】次に上記の方法で重要度を付与し、利用者
が実際に考えていた重要度との合致を比較した実験結果
を図７に示す。図７は５つのシーンからなる一連の動画
像を被験者に提示し、そのシーンを被験者が「面白い／
重要だと思った」順に並べ替えた際、その１位、２位、
３位…の画像に本発明の方法を用いたシステムがどのよ
うな重要度を付与したかを示すグラフである。なお、画
像は映画、ＣＭ、風景、音楽ビデオ、サッカーをそれぞ
れ30秒ずつ、15秒の無地画面をはさんで連続させたもの
である。本発明の方法が妥当であればグラフは単調減少
の傾向を示すはずである。図７を見ると、被験者ＫＮＴ
においては被験者が申告した重要順と本システムが付与
した重要度順が合致していることがわかる。また、被験
者ＮＺＳにおいても３位の画像以外では順序が合致して
いる。さらに被験者ＫＴＳのようなデータでも、１、２
位と３〜５位の分別は可能である。

【００２５】ＣＧ（コンピュータグラフィックス）など
により生成された画像では、画面内のどの位置はどのオ
ブジェクトに属すべきものかが既知である場合がある。
このような場合には視点位置とオブジェクトとの関係を
利用して、以上の方法の精度をあげられる可能性がある
ので、その方法について説明する。

【００２６】図８ａのような画像があったとき、そのオ
ブジェクト領域は図８ｂの人物８０１、紙８０２などの
ように既知で、それぞれの境界線が定義されていたとす
る。その際、視点が図８ｂの「○」あるいは「×」のよ
うであったとすると、それら視点のうち「×」であるも
のは２つのオブジェクトのどちらにも属さない場所にあ
る。図８ｂでいくつか見られる跳躍運動のうち、これま
でに説明した重要度推定の手順では定義済みオブジェク
ト内の移動（８０３）、あるいは定義済みオブジェクト
間の移動（８０４）と、非オブジェクト領域への移動
（８０５）、非オブジェクト領域内での移動（８０６）
は、まったく同等に扱われていた。このために、非オブ
ジェクト領域に関する移動でありながら跳躍運動が多け
れば「活発」とみなされ、高い重要度が付与される恐れ
がある。オブジェクト領域があらかじめ定義されている
ような場合には、その動きの終端が定義済みオブジェク
トである場合に限って跳躍運動（オブジェクト間移動）
とみなし、以下の情報獲得率、視覚活性水準、重要度の
計算を行えばよい。この場合には記録媒体１１６に記録
されているオブジェクト定義情報を読み出し制御部１１
４で読みだし、オブジェクト情報として眼球運動種別判
定部１０４に渡すなどして、対応する。また、オブジェ
クト領域があらかじめ定義されていない場合でも、若干
の画像解析機能を備えたシステムでは、システム自身が
画像の解析を行って、オブジェクト領域を定義して同様
に用いてもよい。この解析に関しては、画像からオブジ
ェクトの切り出しが可能であればどのような方法を用い
てもよい。

【００２７】一方、オブジェクト情報に、さらにその動
きに関する情報も含まれている場合、オブジェクトの動
きと視点の動きの類似度により「活発」「不活発」を判
定してもよい。図９ａのような動画像があり、サッカー
ボール９０１は選手９０２に向かって飛んできているも
のとする。このとき、サッカーボールの動きベクトルが
９０３のようであれば、ボールへの追随によって跳躍運
動９０４が生じることが有り得る。ベクトル９０３とベ
クトル９０４の内積を計算すると、両ベクトルが「似て
いる」時には大きな数値となる。一方、視点がベクトル
９０５のように動いたとき、これはオブジェクトの動き
９０３とは無関係で、ベクトル９０５とベクトル９０３
の内積は小さな（あるいは大きな負の）数値になる。画
面内の全オブジェクトに対して領域情報に加えて動きが
定義されている場合、視点の近くに視点ベクトルとの内
積が大きな値をとるオブジェクトが存在しない場合、こ
れは「オブジェクトをふまえない視点の動き」と考える
ことができる。このような場合には上述の場合と同様に
重要度を計算するための跳躍運動とみなさない。

【００２８】次に本発明の第２の実施例を図面に基づい
て説明する。図１０は本発明の一実施例に係わる情報処
理装置の構成を示すブロック図である。また、図１５は
以下の処理の流れを説明するフローチャートである。

【００２９】記録媒体１０１３に記録された画像が画像
情報提示部１００９によって提示されるまでの過程につ
いては第１の実施例の冒頭で述べたのと同様であるか
ら、ここでは省略する。画像を試聴している利用者１０
０１の視線はやはり視線検出器１００２によって検出さ
れ、第１の実施例と同様に視点演算部１００３で画面上
の位置として一時記憶部１００６に送られる（図１５の
Ｓ１５０１）。一方、動き検出部１００８は記録媒体１
０１３に記録された画像情報から、輝度、色などを手が
かりにしてオブジェクト領域の推定とその動き方向を検
出する（Ｓ１５０２）。この動き検出の手段は現在用い
られている方法を含め、どのようなものでもよい。動き
検出部１００８は各時刻でのオブジェクトの領域とその
動きをベクトル比較部１００４に送る。ベクトル比較部
１００４はこの動きと一時記憶部１００６に蓄積されて
いる視線の動きとを比較する（Ｓ１５０３）。図１１に
はベクトル比較部１００４で行われる演算の様子を模式
的に示す。画像が時間経過に伴って図１１のａ、ｂ、ｃ
のように変化したとき、動き検出部はオブジェクト領域
１１０１およびそのオブジェクトの動きベクトル１１０
２を出力する（図ではａとｄ、ｂとｅ、ｃとｆが対応し
ている）。一方、そのときの視線の様子が図１１ｄ〜ｆ
の「○」のようであったとすると、ｄ〜ｆそれぞれの瞬
間から過去数データの平均をみることで視線の動きの傾
向１１０３が得られる。さてオブジェクトの動きベクト
ル１１０２と視線の動きベクトル１１０３との内積をと
ると、同じ方向に移動しているときに大きな数値とな
る。視点がオブジェクトの上あるいはその近傍にあり、
かつ視点とオブジェクトの動きベクトルの内積が大きな
数字（それら２ベクトルの長さの積の７０〜８０％程度
以上）であるとき、視線はそのオブジェクトに追従して
おり、利用者にとってそのオブジェクトが関心のあるも
のであったといえるだろう。こうして一つのオブジェク
トに対して、視点がその上または近傍にある場合には、
視点動きとオブジェクト動きベクトルの内積（あるいは
その内積を両ベクトルの長さで除算したものでもよい。
このとき除算した結果の数値は両ベクトルのなす角の余
弦である）をもって重要度の指針とすることが可能にな
る。ベクトル比較部１００４はこの内積の結果を一時記
憶部１００６に蓄積する。重要度情報生成部１００５で
は、こうして蓄積された内積、および動き検出部１００
８が定義したオブジェクト領域の位置と動きを、情報単
位検出部１００７によって定義された情報の区切り（利
用者が操作して決定してもよい。これについては第１の
実施例で説明した）の単位で演算した結果とあわせて記
録媒体に書き戻す形式に整えて再び一時記憶部１００６
に送る（Ｓ１５０４）。この重要度情報は適切な時機に
書き込み制御部１０１２を経由して記録媒体１０１３に
記録される。「適切な時機」については第１の実施例で
説明した。また、原情報と重要度情報が別の記録媒体で
もよく、これについても第１の実施例で説明したのでこ
こでは省略する。さらに、原情報にオブジェクト領域や
その動きに関する情報があらかじめ記録されている場合
には、動き検出部１００８は機能しなくてもよい。

【００３０】以上のようにして、動きをてがかりにして
オブジェクトの重要度が記録されている場合、次のよう
な活用法が見込まれる。たとえば図１１において、人物
１１０４以外のオブジェクトが存在しており、その重要
度は人物１１０４よりも低かったとする。するとこのシ
ーン（あるいはカット）でもっとも主要なオブジェクト
は人物１１０４であったと判断されるので、シーン検索
のためのキー映像として主要オブジェクトが中心にある
画像、すなわち図１１ｂが選択される。

【００３１】

【発明の効果】本発明により、マルチメディア情報に対
しての重要度という付加情報を生成することが可能にな
り、その重要度情報を用いることによって、利用者は自
分にとって必要な情報に容易に、手早く到達できること
が期待できる。また、視線を用いることによって、重要
度情報の入力作業を、特に操作の意識なく行うことがで
きる。これは大量のマルチメディア情報が誰にでも手に
入るような環境において、操作に不慣れな利用者にとっ
ても使いやすい情報検索・アクセス環境を提供する。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる情報処理装置の構成
を示すブロック図である。

【図２】本発明の一実施例に係わる眼球運動の速度によ
る分類を示す図である。

【図３】本発明の一実施例に係わる人間の実際の視点の
動きの例を示す図である。

【図４】本発明の一実施例に係わる情報処理装置の計算
経過を示す図である。

【図５】本発明の一実施例に係わる人間の実際の眼球運
動の例を示す図である。

【図６】本発明の一実施例に係わる情報処理装置の処理
方法を示すグラフの図である。

【図７】本発明の一実施例で示した方法で行った実験結
果を示すグラフの図である。

【図８】本発明の一実施例に係わる人間の視点の動きを
示す概念図である。

【図９】本発明の一実施例に係わる人間の視点の動きを
示す概念図である。

【図１０】本発明の一実施例に係わる情報処理装置の構
成を示すブロック図である。

【図１１】本発明の一実施例に係わる情報処理装置の処
理方法を示す概念図である。

【図１２】本発明の一実施例に係わる情報処理装置の処
理方法を示すフローチャートである。

【図１３】本発明の一実施例に係わる情報処理装置の処
理方法を示すフローチャートである。

【図１４】本発明の一実施例に係わる情報処理装置の処
理方法を示すフローチャートである。

【図１５】本発明の一実施例に係わる情報処理装置の処
理方法を示すフローチャートである。

【符号の説明】３０３…注視しているときの視点３０４…眼球が跳躍運動するときの視点の動き５０１…眼球が跳躍運動しているときの視点座標の変化５０２…まばたきを行ったときのデータの乱れ５０４…視覚系の解像度が低下している時間６０１…眼球運動が活発である時間６０３…情報獲得率の２階差分が０になる時間６０４…情報獲得率の極小点８０３…オブジェクト内での跳躍運動８０４…オブジェクト間の跳躍運動８０５…オブジェクト外への跳躍運動８０６…オブジェクト外での跳躍運動９０３…ボールの動きベクトル９０４…ボールに追随した眼球運動の動きベクトル９０５…ボールの動きと無関係な眼球運動の動きベクト
ル１１０２…オブジェクトの動きベクトル１１０３…視点の動きベクトル

Claims

【特許請求の範囲】

【請求項１】画像、および画像と音声の情報を利用者に
提示する装置において、該情報を視察または視聴している利用者の眼球運動を観
測する手段と、この手段で観測した利用者の眼球運動の速度成分を逐次
生成する手段と、この手段で生成した速度成分から眼球運動の活発さの度
合いを求める手段と、この求める手段で求めた眼球運動の活発さの度合いをも
とに該情報の重要度を推定する手段とを有することを特
徴とする情報処理装置。
【請求項２】画像、および画像と音声の情報を利用者に
提示する装置において、該情報を視察または視聴している利用者自身の眼球運動
を観測する手段と、該情報の画像中のオブジェクトの動きであるオブジェク
ト動き情報を求める手段と、この手段で求めたオブジェクト動き情報と前記観測する
手段で観測した眼球運動とを比較する手段と、この手段で眼球運動とオブジェクト動き情報とを比較し
た結果をもとに、利用者にとって重要となる画像中のオ
ブジェクトを推定する手段とを有することを特徴とする
情報処理装置。