JPH07200632A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【目的】使用者に負担をかけずに、効率的な処理で画像
情報検索のための索引を作成し、目的とする画像を適切
に検索する。 【構成】画像情報を記録する記憶媒体４０１に対するア
クセスの際に使用者の画像情報に対する視線の位置を位
置検出器４１７で検出し、画像情報と関連付けて記憶す
る。画像と視線の対応解析の際には、検出された視線に
基づいて注視点決定器４１９で注視点の座標を求め、エ
ッジ認識部４０４および画像部分抽出器４０５で注目し
た部分の画像を抽出する。これに基づき画像検索の際の
索引が生成される。この索引画像を画像の情報再生時に
提示することによって、目的とする画像を選択するため
のリストが生成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理装置に係り、
特に画像情報の検索に適した画像情報アクセス装置、簡
易な遠隔操作を実現する遠隔操作装置及びファイルのリ
ンク構造を表示装置上にマップとして表示させる機能を
有する情報記録装置に関する。

【０００２】

【従来の技術】画像を記録する装置は、使用者が撮影し
たい風景の光学的情報を直接フィルム上の粒子の化学変
化に変換、あるいは同情報を電磁的信号に変換して媒体
に残存させる。直接フィルムに記録するものとして写真
カメラや映画撮影機、信号として媒体に記録するものと
して電子スチルカメラやビデオレコーダーが実用化され
ており、媒体には磁性体のテープやディスク、光学的な
特性を部分的に変化させる光ディスクや記憶を保持する
機能を備えた集積回路などが用いられている。記憶媒体
の性能の向上や記録方法の改善により、単一の媒体に記
録できる画像情報の量は増大し、今後も更なる向上が期
待されている。

【０００３】このような画像記録装置では、蓄積された
画像情報の中から別途、目的の画像を探す際に効率よく
探索できるような目印をつけることが望まれる。これは
写真カメラやビデオカメラで撮影日付・時間をフィルム
に写し込む機能や、ＶＴＲ（ビデオテープレコーダー）
で録画開始の位置に特別な信号を記録するインデックス
機能として実用化されている。しかしこれらの場合、画
像内容に関する情報管理は人間に任されており、目的と
する内容を含む画像部分を検索するためには、記録場所
についての使用者の記憶をたどるか、記憶がなければす
べての画像を精査する必要がある。あるいは、あらかじ
め手作業で内容に関する記述と対応する記録場所とを記
録し、保存しておかなければならない。

【０００４】この場合、不特定の使用者からの検索に対
応した内容記述を行うためには、画像中の検索対象とな
りうる、より多くの物体について客観的に記述しておか
なければならない一方で、物体の状態や相互の関係から
の検索を許容するためには、著述的に内容を描写してお
く必要がある。これは利用者に大きな作業量を要求する
だけでなく、索引情報に極めて大きい記憶領域を用意す
る必要をも生じ、媒体の使用量が増大する。

【０００５】内容の理解・記述をすべて自動化しようと
すると、様々な物体が明るさと色の違いだけで表されて
いる画面の中から、すべての物体について、物体同士の
分離、物体の認識、状態の記述といった過程をたどらな
ければならず、高度な知能的処理を備えたシステムが必
要となる。また前記のような著述的な描写には、さらに
大規模な知識データベースが必要とされ、この理由から
いまだ完成されたものは見られない。

【０００６】したがって従来、特定の画像を検索する際
には、画像を総覧しながら目的の部分を探索するか、内
容についてあらかじめ緻密に記述された索引を参照して
探索するか、あるいは高度な処理系によって自動的に付
与された客観的で細分化された表現から探索することが
要求され、それぞれ使用者、索引製作者、システム設計
者に多大な負担を必要とした。また、意図した画像を装
置に理解させるためには、キーボードやマウスなど入力
装置による煩雑な作業を必要とし、さらに、使用者以外
の者あるいはシステムが用意した索引は、必ずしも特定
の使用者に適合した索引ではないという問題もあった。

【０００７】一方、従来、実現されていた遠隔操作装置
は、操作者が手に持って操作を行うものであった。家庭
用で、最も普及している遠隔操作装置はいわゆる赤外線
リモコンである。これは操作者が手に持って、赤外線放
射部を機械に向けてボタンを押すことにより、機械に赤
外線を投射し、所定の指示を出すものである。

【０００８】また、画像認識技術を利用して手振り認識
や身ぶり認識などを行い、これを遠隔操作に応用すると
いう研究もなされている。しかし画像処理によりこれら
を認識するためには背景を単調にしなければならないと
か、画面の中央にどのくらいの大きさで手が写っていな
くてはならないとか、制約条件が厳しく、いまだ実用化
には至っていない。

【０００９】この他、三角測量の原理を用いたステレオ
法によって物体の３次元的な形状を把握し、認識に役立
てようとする研究もある。

【００１０】一方、コンピュータ等の情報機器におい
て、ある記録媒体上にどのようなファイルが記録されて
いるのかを確認する機能は、従来からほとんどのシステ
ムにおいて使われていた。これは、記録媒体上に記録さ
れた情報が直接目でみることができないため、ユーザは
システムに情報を読みとらせ、ファイル名等のファイル
に関する情報を表示装置を使って表示するといったもの
である。

【００１１】カセットテープやビデオテープに音楽、ビ
デオを記録した場合には、ユーザは自分で記録内容を記
述したシールをテープに直接張り付けることによって記
録媒体上の情報ファイルの内容がわかるようにしてい
る。このような方法は記録媒体上に記録できるファイル
数が少ない場合のみ可能である。ファイル数が多くなる
場合には、ファイルを構造化し、記録しておくことと、
それを見やすく表示することが必要になってくる。

【００１２】ファイルの構造で最も単純なのは、ファイ
ルが１次元的に順番に並んでいるものである。このよう
なファイルを表示する場合には、ファイル名を順番に表
示するとか、ファイルをアイコンで表現して順番に並べ
るといった方法がとられる。ときには、表示の順番をフ
ァイルの持つ何らかの属性、例えばファイル名のアルフ
ァベット順や記録時間に従って並べ替え、表示すること
もある。

【００１３】もう少し複雑なファイル構造としては、木
構造がある。これはディレクトリと呼ばれる単位にファ
イルが属しており、このディレクトリは親ディレクトリ
と子ディレクトリとを持つ。一つのディレクトリは複数
の子ディレクトリを持つこともあるが、親ディレクトリ
は一般に一つである。このようにファイルを木構造にす
ることにより、ユーザは多くのファイルを扱うことが容
易になった。すなわち、先に述べた１次元的なファイル
構造は、一つのディレクトリに全てのファイルが存在し
ていることになり、これを表示させるとファイル数が多
い場合には目的のファイルを見つけるのが困難であっ
た。そこで、ユーザは関係のあるファイルを同じディレ
クトリにまとめることにより、関係のないファイルを見
ることなく、比較的少ないファイルの表示の中から目的
のファイルを探すことができるようになった。このよう
なファイル構造の表示方法としては、一つのディレクト
リの中のファイルだけを表示する方法、ディレクトリの
木構造をマップとして表示する方法などがある。

【００１４】これに対し、最近ではファイルの木構造で
は表現できないようなファイルの関係も表せるような構
造を作ろうとすることがなされている。従来の木構造で
は、ファイルは必ず一つのディレクトリに属し、これと
別のディレクトリに属しているファイルとの関係は自由
に定義できなかった。これに対して、関係しているファ
イル同士をリンクで結び、関係のあることを示すという
構造が取り入れられるようになってきた。これはいわゆ
るハイパーテキストと呼ばれる構造で、このような構造
ならば任意の２つのファイルの関係を自由に表せる。ま
た、ファイル同士だけでなく、ファイルの中にまで、立
ち入ることもできる。例えば、画像ファイルとして風景
の写真の中に猫がいる画像があった場合に、この画像の
猫の部分と猫の鳴き声の音声ファイルとをリンクで結ぶ
ことができる。このようなことまで考えると、ハイパー
テキストは非常に複雑な関係までも表現が可能な構造と
なっている。

【００１５】しかしその一方で、構造が複雑になりす
ぎ、ユーザ自身がどのような構造になっているのか把握
しづらいといった問題も生じてきた。これを解消するた
めの方法の一つに、ファイルのハイパーテキスト構造を
マップとして表示するという方法がある。これはファイ
ルをアイコンで表し、さらにファイルに張られたリンク
を線で表現し、ファイル間を結ぶことにより構造を表現
するものである。マップによりファイルのハイパーテキ
スト構造を直接表示することで、ユーザは全体の構造、
注目しているファイルの他のファイルとの関係などを知
ることができるようになる。

【００１６】しかし、このようにファイルのハイパーテ
キスト構造をマップ表示した場合に、ファイルアイコン
をファイル名のアルファベット順、記録時間順などによ
って並べると、ファイル間に張られたリンクに従ってフ
ァイルアイコンを線で結んだ場合にリンク線が複雑にな
り、結局構造がよくわからないということになる。ま
た、一見近くにあるファイル同士が関係ありそうに見え
るのにリンクは張られておらず無関係で、遠くにあるフ
ァイル同士が実はリンクで結ばれていたりといった不具
合も生じてしまう。これは、マップ表示する際に、ファ
イルの位置とリンクが密接な関係を持っているにも関わ
らず、ファイル間に張られたリンクを考慮していないた
めである。

【００１７】

【発明が解決しようとする課題】上述したように従来の
画像記録再生装置では、使用者の意図する画像を検索す
るための索引を、検索しやすい形で利用するためには、
大規模な索引を映像製作者側が用意するか、複雑で高度
な画像認識システムに客観的な内容記述をさせることが
要求され、索引が冗長で、使用者にとって必ずしも効率
的でない、処理時間が増大する、処理系が複雑で高価で
ある、使用者の負担が大きいという問題があった。

【００１８】また、従来の遠隔操作装置は、手に持って
操作しなくてはならず、装置が手元にない場合は操作す
ることができない。また汚れた手で操作するのは好まし
くないという問題があった。画像処理による手振り認識
などの技術においても、認識技術の未熟さから、ノイズ
の影響を受け、操作者の手を正確に認識することが難し
い。このため、特に家庭内において、リモコン装置など
のいかなるデバイスも手に持ったり装着したりすること
なく、素手のみで遠隔操作できる環境を提供すること
は、非常に望ましいにも拘らず実現されていない。

【００１９】更に、従来の情報記録装置では、記録され
たファイルのハイパーテキスト構造をマップ表示した場
合、ファイルアイコンの位置とリンクとの関係が考慮さ
れていないためにファイル構造が複雑でわかり難いとい
う問題があった。

【００２０】本発明は、使用者に負担をかけずに、効率
的な処理で画像情報検索のための索引を作成し、目的と
する画像を適切に検索することができる画像情報アクセ
ス装置を提供することを第１の目的とする。

【００２１】また、本発明は、いかなるデバイスを手に
持つことなく、操作者の素手のみでシステムを操作する
ことができる遠隔操作装置を提供することを第２の目的
とする。

【００２２】更に、本発明は、ファイルのリンク構造が
容易に分かる情報記録装置を提供することを第３の目的
とする。

【００２３】

【課題を解決するための手段】本発明に係る画像情報ア
クセス装置は、画像情報を記録する画像情報記録手段
と、この画像情報記録手段に対するアクセスの際に使用
者の前記画像情報に対する視線の位置を検出する視線検
出手段と、この視線検出手段で検出された視線の位置を
前記画像情報と関連付けて記憶する視線位置情報記憶手
段と、この視線位置情報記憶手段に記憶された視線の位
置に基づいて前記画像情報記録手段に記録された画像情
報中の注目部分を抽出し前記画像情報の検索のための索
引情報を生成する索引情報生成手段とを備えたことを特
徴とする。

【００２４】本発明に係る遠隔操作装置は、距離画像を
入力する距離画像入力手段と、この距離画像入力手段に
入力された距離画像の変化量を検出する変化量検出手段
と、得られた距離画像およびその変化量から動いている
物体の大きさ、方向及び移動距離を算出し、これらの情
報から動いている物体が操作者の手であることを認識す
る動き物体検出手段と、この動き物体検出手段で検出さ
れた手の画面内での動きを追跡する動き物体追跡手段
と、この動き物体追跡手段での追跡結果に従って画面上
にカーソルを表示するカーソル表示手段と、前記動き物
体追跡手段で追跡していた手が所定時間静止したことを
検出したら、又は予め決められた動きをしたことを検出
したら、そのカーソル位置に基づいて予め登録された所
定のコマンドを実行するコマンド実行手段とを備えたこ
とを特徴とする。

【００２５】本発明に係る情報記録装置は、複数のファ
イルを関連のあるもの同士リンクによって相互に関連付
けて記憶する記録手段と、この記録手段に記録された複
数のファイルとそれらの間のリンクの構造を表示する際
の見やすさを決定するパラメータを評価して最適なパラ
メータを求める最適化手段と、この最適化手段によって
求められた最適なパラメータによって特定される前記複
数のファイルの間のリンク構造をファイルアイコンとそ
れを関連付ける情報で表示する表示手段とを備えたこと
を特徴とする。

【００２６】

【作用】本発明の画像情報アクセス装置によれば、画像
記録または再生時の使用者の視線の位置を検出して画像
情報と関連付けて記録し、その記録内容から画像情報内
での視線の位置、動き、および停留時間等を根拠に、画
像情報内の使用者が注目している部分を選択的に抽出
し、画像情報の検索のための索引を生成する。これによ
り、使用者がとりわけ興味をひいた物体や部分を全画像
の中から選択し、選択された部分を索引とすることがで
きる。

【００２７】本発明では、画像の通常の観察、記録又は
再生の過程で、特別な情報入力操作を必要とせずに関心
の高い部分のみが特定されて索引が生成されるため、使
用者の負担を大幅に削減することができる。また、注目
点を中心に解析を行うので、全画像に関する認識、理解
を必要とせず、処理が簡素化される。

【００２８】また、本発明の遠隔操作装置によれば、形
状の分析によって手であると判断するのではなく、大体
の形状とその動きの情報から、手であることを判断す
る。具体的には、例えば操作者が手を前方に（これから
操作を行うという意思と共に）伸ばしたとき、それを手
であると判断できるように、手と同程度の大きさのもの
がある程度の距離（例えば片腕の長さの半分くらい）だ
け、前方に移動したことを検出し、それを手であると判
断する。そのあとはその部分を追跡することにより、手
の動きが入力できるので、画面上のポインティングデバ
イスとして用いることができる。したがって、例えば一
定時間停止したり、特定の動きをした場合に、カーソル
位置に基づいて特定のコマンドを実行することができ
る。

【００２９】本発明によって、リモコン装置などの一切
のデバイスを手に持つことなく、また装着することな
く、素手のみでシステムを操作する環境が実現できる。

【００３０】更に、本発明の情報記録装置によれば、マ
ップの見やすさのパラメータとして、例えば表示したと
きのリンクを表す線の交差数、リンクを表す線の分散、
リンクを表す線の長さの総和の一つ、もしくはいくつか
を複合して用い、このパラメータの値を最適にするファ
イルアイコンの表示位置の組み合わせを組み合わせ最適
化手段を用いて見つけ出し、表示させるようにしている
ので、表示装置上にファイルのハイパーテキスト構造を
マップとして表示したときに、あるパラメータを最適に
する位置にファイルアイコンが表示される。このパラメ
ータは見やすさを代表するものを選んでいるので、この
値を最適にする表示位置は見やすさの点で優れているは
ずである。このようにマップ表示することにより、マッ
プ表示の本来の役割である。ユーザがファイル構造を理
解する、という意味において優れた表示が可能になる。

【００３１】

【実施例】以下、図面を参照して本発明の実施例につい
て説明する。

【００３２】まず、図１〜図６を参照して、本発明の実
施例に係る画像情報アクセス装置について説明する。

【００３３】図１は、画像記録装置の構成を示すブロッ
ク図で、光ディスクを用いたディジタルビデオ装置の例
を示している。この装置は、撮影者が自分で被写体に装
置を向ける場合で、動画撮影時に撮影者の視線を観察
し、画像中の索引となりうる物体を選択する例である。

【００３４】記録される映像信号は入力端子１０１を介
して入力され、Ａ／Ｄ変換装置１０２によって量子化さ
れた後、符号化装置１０３によって記録に適した信号に
変換され、記録信号発生装置１０４を通じて記憶媒体１
０５に記録される。

【００３５】これと同時に入力端子１０６には、撮影者
の眼球の動きが電気信号で供給される。この眼球運動信
号はＡ／Ｄ変換装置１０７によって量子化された後、位
置検出器１０８によって画像中の視点位置情報として計
算される。計算された視点位置情報は符号化装置１０９
によって記録に適した信号に変換されて、映像信号とと
もに記録信号発生装置１０４の出力により記憶媒体１０
５に記録される。

【００３６】ここで、視点位置情報は映像信号の記録信
号発生装置１０４と異なる記録信号発生装置によって、
記憶媒体１０５の映像信号と異なる領域に格納してもよ
い。また記憶信号発生装置、記憶媒体ともに映像信号と
異なるものを用いて記録してもよい。

【００３７】入力端子１１０にはスイッチ、ボタンなど
を通じて撮影者の指示をシステムコントローラ１１１に
伝える信号が供給される。この信号により画像記録装置
は録画の開始、終了やズームイン、ズームアウトなどを
制御する。装置の制御情報１１２は、符号化装置１１３
によって、やはり記録に適した信号に変換されて映像信
号、視線位置情報とともに、記録信号発生装置１０４の
出力により記憶媒体１０５に記録される。

【００３８】撮影者による指示方法としては、索引とし
たい物体に注目しつつ撮影している際に装置にそれを知
らせる入力信号を用意して、入力端子１１０から上記の
経路を経る装置制御情報１１２に含めてもよい。

【００３９】ここで装置制御情報は、符号化装置１１３
の後、映像信号の記録信号発生装置１０４と異なる記録
信号発生装置によって、記憶媒体１０５の映像信号と異
なる領域に格納してもよい。また記憶信号発生装置、記
憶媒体ともに映像信号と異なるものを用いて記録しても
よい。

【００４０】図２は索引作成装置の構成を示すブロック
図である。この装置は、図１の画像記録装置によって記
録された映像信号、視線位置情報および装置制御情報に
基づいて、索引を作成するものである。

【００４１】記憶媒体２０１に記憶された映像信号、視
線位置情報および装置制御情報は記憶信号読出装置２０
２によって取り出され、映像信号２０３、視線位置情報
２１７および装置制御情報２１２に分けられる。ここ
で、記憶媒体は前記のように映像信号、視線位置情報、
装置制御情報で異なるものを用いてもよい。また、同一
記憶媒体を用いても異なる読みだし装置を用いて、あら
かじめ記録された異なる領域から取り出してもよい。映
像信号２０３は復号器２０４によって記録信号からディ
ジタル画像信号に変換され、画像蓄積部２０５に一定時
間分の画像が蓄えられる。

【００４２】一方、装置制御情報２１２も同様に復号器
２１３によって記録信号からディジタル制御信号に変換
され、システムコントローラ２１４に供給される。シス
テムコントローラ２１４では、入力端子２１５から入力
される使用者の指示を受け、装置全体を管理するととも
に、記録されていた装置制御情報から連続した録画が途
切れる箇所（カット）を検出し、これをカット情報２１
６として前記画像蓄積部２０５に供給する。画像蓄積部
２０５はこれを受けて、カット単位で画像を蓄える。

【００４３】さらに視線位置情報２１７も同様に復号器
２１８によって記録信号からディジタル信号に変換され
る。この段階の信号は撮影の各フレームでの視線の位置
を表しているにすぎない。眼球運動は、一点を凝視して
いる時にも微妙な振動をする固視微動と、運動する対象
を追跡する際の随従運動、および視対象間を移動する際
の跳躍運動の３つに大別される。種別判定機２１９は、
復号器２１８によってディジタル化された視線位置情報
から、こうした運動の性格を判断し、その種類に関する
情報を視線位置情報に付加する。眼球運動の種類に関す
る情報を付加された視線位置情報は、注視点決定器２２
０に供給される。注視点決定器２２０では、種別判定器
２１９からの運動種情報に基づいて注視点と判断できる
画面上の座標をエッジ認識装置２０６に供給する。

【００４４】一方、エッジ認識装置２０６には前記画像
蓄積部２０５から一連のカット内の画像が画像の走査単
位（１フレーム）、または連続したフレームのまとまり
として供給され、その画像情報と注視点決定器２２０か
ら供給される注視点座標情報とから、注視している対象
物とその背景および前景との境界線（エッジ）を判定す
る。ここでエッジ認識装置２０６にはシステムコントロ
ーラ２１４を通じて使用者の指示を与え、指示に即して
エッジを認識させてもよい。

【００４５】画像情報は、注視点の存在するフレームに
は注視点を含む物体の輪郭に関する情報が付加されて画
像部分抽出器２０７に供給される。画像部分抽出器２０
７では注視点を含む物体（注目物体）を、注視点の存在
するフレームすべてについて部分画像として抽出し、重
複検査器２０８に供給する。ここで注目物体はカット内
や同一フレーム内に複数存在してもよい。

【００４６】重複検査器２０８では、異なるフレームで
異なる姿勢であったり、ズームによって大きさが異なっ
ている同一物体について、それらが同一のものであると
いうことを検査し、供給された注目物体の画像とともに
重複情報として画像選定器２０９に供給する。ここで重
複検査器２０８は、検査中のカットだけでなくカットを
越えて重複の有無を検査してもよい。また、前記の画像
記録装置であらかじめ索引としたい物体を見ているとき
にそれを知らせる指示が記録されている場合、これを直
接索引候補の物体に加えてもよい。

【００４７】画像選定器２０９は、注目物体画像と重複
情報に加えて登場回数、注視時間、大きさなど注目物体
画像から得られる副次的情報に基づいて、複数供給され
た注目物体の中から索引に適した対象物を選定するとと
もに、重複した同一物体の画像の中で、索引に適した状
態のものを選定する。ここで選定される索引は、カット
継続時間に対するその物体への注視時間の割合が一定値
を越えるものすべてを候補にするなどの方法を用いて、
カット内で複数存在してもよい。また索引に、同一物体
が違う状態で複数存在してもよい。さらにここでの選定
作業はシステムコントローラ２１４を通じて使用者の指
示を与え、指示に即して索引とする画像を選択してもよ
い。

【００４８】以上のようにして索引と決定された対象物
は、抽出された部分画像そのもの、あるいは索引とされ
た画像のフレームを表す情報および索引とする画像領域
を表す情報として出力され、あわせてその対象物が含ま
れる他のフレームの情報（関連フレーム情報）も重複情
報に基づいて作成され、出力される。

【００４９】画像選定器２０９から出力された索引画像
あるいは索引画の存在領域情報、関連フレーム情報は符
号化装置２１０を通じて記録に適した信号に変換され、
記録信号発生装置２１１の出力により記憶媒体２０１に
再記録される。ここで、索引の記録に用いる記憶媒体
は、元の画像および視線位置情報が記録された記憶媒体
２０１と異なるものを用いてもよい。

【００５０】図３は画像再生検索装置の構成を示すブロ
ック図である。この装置は図２の索引作成装置によって
記録された映像信号、索引画信号および関連フレーム情
報に基づいて、索引を提示して使用者の目的画像の検索
を可能にするものである。

【００５１】記憶媒体３０１に記憶された映像信号、索
引画信号および関連フレーム情報は記憶信号読出装置３
０２によって取り出され、映像信号３０３、索引画信号
３１４および関連フレーム情報３０８に分けられる。こ
こで、記憶媒体は前記のように映像信号、索引画信号、
関連フレーム情報で異なるものを用いてもよい。また、
同一記憶媒体を用いても異なる読み出し装置を用いて、
あらかじめ記録された異なる領域から取り出してもよ
い。

【００５２】索引参照を必要とする通常の再生の場合、
映像信号３０３は復号器３０４によって記録信号からデ
ィジタル画像信号に変換され、入力端子３１１を通じて
使用者の指示を受けたシステムコントローラ３１２の指
示に基づいて、画面作成器３０５で色、表示範囲、字幕
などの加工を受け、Ｄ／Ａ変換器３０６でモニターテレ
ビに出力されるべき信号に変換された後、出力される。
ここで、モニターテレビがディジタルデータを許容する
ものである場合、Ｄ／Ａ変換器３０６は作用しなくても
よい。

【００５３】一方、使用者による検索に備えて索引画信
号３１４は復号器３１５によりディジタル画像信号に変
換され、索引画格納部３１６に蓄積される。ここで前記
のように索引画ではなく、索引画となるべき画像の存在
位置（アドレス）およびそのフレームの中での表示領域
を記録する方法の場合、この存在位置、表示領域情報に
基づいて画像データを参照し、画像として同様に索引画
格納部３１６に蓄積される。

【００５４】索引で参照すべき物体が存在するフレーム
を記録した関連フレーム情報３０８は、復号器３０９に
よってディジタル信号に変換され、索引関連情報格納部
３１０に蓄積される。この索引関連情報格納部３１０で
は索引として指示する画像の索引画格納部３１６内での
蓄積場所や、その索引と対応する物体の存在するフレー
ムのアドレスが蓄積されており、システムコントローラ
３１２にこの情報を供給したり、入力端子３１１から使
用者の指示を受けたシステムコントローラ３１２の指示
によってこの対応関係を変更、更新できる。

【００５５】システムコントローラ３１２は、使用者の
検索要求指示に従って一覧表作成装置３１７に索引一覧
表を作成させる。一覧表作成装置３１７は索引画格納部
３１６から使用者の希望する範囲の索引画の供給を受
け、画面作成器３０５にそれを送る。画面作成器３０５
ではシステムコントローラ３１３の指示を通じて使用者
に提示すべき画面を、元の映像信号、索引一覧表を組み
合わせて作成し、Ｄ／Ａ変換器３０６に供給する。Ｄ／
Ａ変換器３０６はモニターテレビに出力されるべき信号
に変換し、出力端子３０７に出力する。ここで、モニタ
ーテレビがディジタルデータを許容するものである場
合、Ｄ／Ａ変換器３０６は作用しなくてもよい。

【００５６】使用者は指示された索引から、目的とする
対象物を選択しスイッチ、ボタンなどの入力手段を通じ
て入力端子３１１に指示を伝達する。ここで目的となる
対象物は複数でもよい。また索引を選択する手段として
再び視線を利用し、選択したい画像を注視したことを選
択の意志表示ととらえる方法を用いてもよい。

【００５７】システムコントローラ３１２は選択された
索引と関連するフレームを索引関連情報格納部３１０に
問い合わせ、通常の再生と同様の方法で画面に目的の画
像を供給する。

【００５８】上記実施例では視線位置の検出と索引画の
作成および検索再生をそれぞれ別の装置で行っている
が、これらの中の任意の二つ、または三つすべてを同一
の装置で行ってもよい。

【００５９】図４は画像記録装置兼索引作成装置の構成
を示すブロック図で、視線位置の検出と索引画の作成を
同一の装置で行う場合の実施例を示す図ある。

【００６０】記録される映像信号は入力端子４０１に供
給され、Ａ／Ｄ変換装置４０２によって量子化された
後、符号化装置４１１によって記録に適した信号に変換
され、記録信号発生装置４０９を通じて記憶媒体４１０
に記録される。同時に画像蓄積部４０３に一定時間分の
画像が蓄えられる。

【００６１】一方、同時に入力端子４１５には撮影者の
眼球の動きが電気信号で供給される。この眼球運動信号
はＡ／Ｄ変換装置４１６によって量子化された後、位置
検出器４１７によって画像中の視点位置情報として計算
される。計算された視点位置情報は種別判定器４１８に
よってその運動の性格を判定される。眼球運動の種類に
関する情報を付加された視線位置情報は、注視点決定器
４１９に供給される。注視点決定器４１９では、種別判
定器４１８からの運動種情報に基づいて注視点と判断で
きる画面上の座標をエッジ認識装置４０４に供給する。

【００６２】入力端子４１２にはスイッチ、ボタンなど
を通じて撮影者の指示をシステムコントローラ４１３に
伝える信号が供給される。この信号により画像記録装置
は録画の開始、終了やズームイン、ズームアウトなどを
制御する。装置の制御情報４２０は、符号化装置４２１
によって、やはり記録に適した信号に変換されて映像信
号、索引画情報とともに、記録信号発生装置４０９の出
力により記憶媒体４１０に記録される。また、システム
コントローラ４１３は、連続した録画の単位（カット）
を検出し、これをカット情報４１４として画像蓄積部４
０３に供給する。画像蓄積部４０３はこれを受けて、カ
ット単位で画像を蓄える。

【００６３】一方、エッジ認識装置４０４には画像蓄積
部４０３から一連のカット内の画像が画像の走査単位
（１フレーム）、または連続したフレームのまとまりと
して供給され、その画像情報と注視点決定器４１９から
供給される注視点座標情報とから、注視している対象物
と、その背景および前景との境界線（エッジ）を判定す
る。ここでエッジ認識装置４０４にはシステムコントロ
ーラ４１３を通じて使用者の指示を与え、指示に即して
エッジを認識させてもよい。

【００６４】画像情報は、注視点の存在するフレームに
は注視点を含む物体の輪郭に関する情報が付加されて画
像部分抽出器４０５に供給される。画像部分抽出器４０
５では注視点を含む物体（注目物体）を、注視点の存在
するフレームすべてについて部分画像として抽出し、重
複検査器４０６に供給する。ここで注目物体はカット内
や同一フレーム内に複数存在してもよい。

【００６５】重複検査器４０６では、異なるフレームで
異なる姿勢であったり、ズームによって大きさが異なっ
ている同一物体について、それらが同一のものであると
いうことを検査し、供給された注目物体の画像とともに
重複情報として画像選定器４０７に供給する。ここで重
複検査器４０６は、検査中のカットだけでなくカットを
越えて重複の有無を検査してもよい。

【００６６】画像選定器４０７は、注目物体画像と重複
情報に加えて登場回数、注視時間、大きさなど注目物体
画像から得られる副次的情報に基づいて、複数供給され
た注目物体の中から索引に適した対象物を選定するとと
もに、重複した同一物体の画像の中で、索引に適した状
態のものを選定する。ここで選定される索引は、カット
継続時間に対するその物体への注視時間の割合が一定値
を越えるものすべてを候補にするなどの方法を用いて、
カット内で複数存在してもよい。また索引に、同一物体
が違う状態で複数存在してもよい。さらにここでの選定
作業はシステムコントローラ４１３を通じて使用者の指
示を与え、指示に即して索引とする画像を選択してもよ
い。

【００６７】以上のようにして索引と決定された対象物
は、抽出された部分画像そのもの、あるいは索引とされ
た画像のフレームを表す情報および索引とする画像領域
を表す情報として出力され、あわせてその対象物が含ま
れる他のフレームの情報も重複情報に基づいて作成さ
れ、出力される。

【００６８】画像選定器４０７から出力された索引画像
あるいは索引画の存在領域情報、関連フレーム情報は符
号化装置４０８を通じて記録に適した信号に変換され、
記録信号発生装置４０９の出力により記憶媒体４１０に
記録される。ここで、索引の記録に用いる記憶媒体は、
元の画像および装置制御情報が記録された記憶媒体４１
０と異なるものを用いてもよい。

【００６９】撮影者の指示としては、索引としたい物体
に注目しつつ撮影している際に装置にそれを知らせる入
力信号を用意して、入力端子４１２から上記の経路を経
る装置制御情報４２０に含めてもよい。

【００７０】以上の中で映像信号、索引画信号と関連フ
レーム情報、装置制御情報は符号化装置４２１の後、そ
れぞれ異なる記録信号発生装置によって、記憶媒体４１
０の異なる領域に格納してもよい。また記憶信号発生装
置、記憶媒体ともにそれぞれ異なるものを用いて記録し
てもよい。

【００７１】図５は、他の光ディスクを用いたディジタ
ルビデオ装置等の画像記録装置の概念を示す図で、動画
撮影時に撮影者の視線を観察し、視線の方向に自動的に
装置を向けつつ、画像中の索引となりうる物体を同時記
録する例を示している。本実施例は、撮影者自身が記録
装置の撮影方向を変化させない点で先の実施例とは異な
る。また、ここでは例として索引画像を記録するための
専用の光学系をもち、撮影者が意図した撮影画像を記録
する媒体と索引画像を記録する媒体が異なる場合を説明
する。

【００７２】画像記録装置本体５０１は、前記のように
撮影者が意図した撮影をするための光学系と、索引画を
撮影するための光学系の２つを持っている。撮影者５０
４の目の部分には、視線検出器５０２が装着され、本体
５０１とは有線または無線で結ばれている。本体５０１
あるいは視線検出器５０２は、互いの位置関係を察知す
る機能を持っており、その位置関係は本体５０１によっ
て把握される。撮影者５０４は端末５０３を手に持ち、
これによって装置本体５０１を制御する。端末５０３
は、本体５０１とは有線または無線で結ばれている。５
０５は仮に撮影者５０４が撮影しようとしている被写体
である。

【００７３】本体５０１によって撮影されている画像５
０６，５０８のうち、一方の画像５０６は、撮影者５０
４の指示によるズームを行っているもの（ユーザ画像）
である。撮影者５０４が被写体５０５に注視すると、本
体５０１は自動で被写体５０５の方向へ向きを変え、端
末５０３によって撮影者５０４に指示された拡大率で撮
影を行う。ユーザ画像５０６中の記号５０７は、仮に撮
影者５０４の視点が表示されているものである。他方の
画像５０８は索引画像で、ユーザ画像５０６と別の光学
系を用い、装置側であらかじめ決められた拡大率で注視
点を中心に撮影されるものである。

【００７４】図６はこの画像記録装置の構成を示すブロ
ック図であり、図５の概念図では本体５０１の内部の処
理装置に対応する。

【００７５】二つの光学系から入力された映像信号はユ
ーザ画像信号６０１、索引画像信号６０６として装置に
供給される。ユーザ画像信号はＡ／Ｄ変換装置６０２に
よってディジタル信号に変換された後、符号化装置６０
３によってそのまま符号化され、記録信号発生装置６０
４の出力を介して記憶媒体６０５に記録される。ここで
符号化の前に電気信号上での拡大処理であるディジタル
ズームを施してもよい。

【００７６】一方、入力端子６０６から供給された索引
画像信号も同様にＡ／Ｄ変換装置６０７によってディジ
タル信号に変換され、ディジタルズーム６０８に供給さ
れる。カメラは撮影者の注視点を向いているため、その
まま入力された索引画像信号は注目物体を含んでいる。
ディジタルズーム６０８はその注視点を中心にあらかじ
め決められたズームを施した画像信号を画像蓄積部６０
９に供給する。

【００７７】撮影と同時に入力端子６２０からは眼球運
動信号が、入力端子６２４からは視線検出器と本体（撮
影装置）との位置関係を示す信号が供給される。この二
信号はそれぞれＡ／Ｄ変換器６２１、Ａ／Ｄ変換器６２
５によってディジタル信号に変換される。この後、眼球
運動信号は位置検出器６２２によって視野内での視線の
位置に変換される。これと並行して検出器位置信号が位
置検出器６２６によって本体の向き、検出器の向きと本
体・検出器の向きと距離などの情報に変換され、前記の
視線情報とともに注視点決定器６２３に供給される。

【００７８】注視点決定器６２３では、本体、検出器の
位置関係、および撮影者の両眼の視線方向から、撮影者
の注視点の絶対位置を決定し、三次元座標としてシステ
ムコントローラ６１５に伝える。システムコントローラ
６１５では得られた注視点座標からカメラを向けるべき
方向、光学系の焦点を合わせるべき距離を計算し、カメ
ラ方向変位信号として出力端子６１９に出力する。

【００７９】一方、撮影者は制御端末から装置に指示を
与えるが、その信号が入力端子６１８からシステムコン
トローラ６１５に提供される。システムコントローラ６
１５は、指示に従ってユーザ画像ズームフォーカス信号
として出力端子６１４にズーム指示を伝達し、光学系の
ズームを行う。ここで、前記の符号化装置６０３の前に
ディジタルズームを設けるなどして、光学的なズームお
よび焦点合わせの必要がないときにはこの出力はなくて
もよい。また、カメラと被写体との距離の情報に基づ
き、あらかじめ決められた拡大率で注視点周辺のズーム
画を撮影するためのズームコントロール信号を出力端子
６１７から出力する。

【００８０】カット検出器６１６は、入力端子６１８か
らシステムコントローラ６１５に入力した撮影者の指示
の中から、録画の開始、終了に関するものをカット信号
として取り出し、画像蓄積部６０９に蓄積の単位として
供給する。画像蓄積部６０９は画像信号を１フレームま
たは連続したフレームのまとまりとして画像選定器６１
０に送る。画像選定器６１０では注目物体が移っている
画像の中から、登場回数、注視時間など注目物体画像か
ら得られる副次的情報に基づいて、複数供給された注目
物体の中から索引に適した対象物を選定するとともに、
重複した同一物体の画像の中で、索引に適した状態のも
のを選定する。ここで選定される索引は、カット継続時
間に対するその物体への注視時間の割合が一定値を越え
るものすべてを候補にするなどの方法を用いて、カット
内で複数存在してもよい。また索引に、同一物体が違う
状態で複数存在してもよい。ここでの選定作業はシステ
ムコントローラ６１８を通じて使用者の指示を与え、指
示に即して索引とする画像を選択してもよい。

【００８１】こうして決定された索引画像は符号装置６
１１によって記録に適した信号に変換され、記録信号発
生装置６１２の出力により、記憶媒体６１３に記録され
る。ここで、記憶媒体に映像信号の記録媒体６０５と同
一のものを用いて、媒体６０５の映像信号と異なる領域
に記憶させてもよい。また、符号化装置６１１によって
符号化された索引画像信号を、符号化装置６０３によっ
て符号化された映像信号と混合し、記録信号発生装置６
０４の出力により記憶媒体６０５に記憶させてもよい。

【００８２】さらに本実施例では注視点周辺の画像の拡
大のみを索引として用いたが、実施例の第一と同様に、
対象物のエッジを認識して部分画像として取り出しても
よい。このとき、映像および視線記録装置と索引作成装
置は一体でもよく、異なる装置でもよい。

【００８３】その他の実施例として、動画再生時に視
（聴）者の視線を観察し、画像中の索引となりうる物体
を記録する例を説明する。本実施例は、録画時ではなく
再生時の使用者の視線を観察する点で先の実施例と異な
る。

【００８４】本実施例の構成を示すブロック図は図４と
類似であるので、図４を参照しながら、先の実施例との
相違を示しつつ説明する。なお本実施例は映像信号と索
引信号を同一の媒体に記録するディジタルビデオ装置で
ある。

【００８５】映像信号は再生画面として視（聴）者に提
供されると同時に入力端子４０１にも供給される。映像
信号はＡ／Ｄ変換装置４０２によってディジタル信号に
変換され、画像蓄積部４０３に一定時間分の画像が蓄え
られる。画像蓄積部４０３では提供された画像の中から
カットを検出し、それを蓄積の単位とする。なお本実施
例ではＡ／Ｄ変換装置４０２と画像蓄積部４０３の中間
から符号化装置４１１を結ぶ流路、および符号化装置４
１１は必要としない。

【００８６】一方、視（聴）者の眼球運動は、眼球運動
検出器と再生画面との位置関係の情報も含めて入力端子
４１５からＡ／Ｄ変換装置４１６に供給され、ディジタ
ル信号に変換される。変換されたディジタル信号は位置
検出器４１７で画面内での視線の位置として計算され
る。計算の結果は種別判定器４１８に供給され、眼球運
動の種類が解析される。その解析結果は注視点決定器４
１９に与えられ、画面内での注視点としてエッジ認識装
置４０４に注視点情報を与える。

【００８７】エッジ認識装置４０４には前記画像蓄積部
４０３から一連のカット内の画像が１フレーム、または
連続したフレームのまとまりとして供給され、その画像
情報と注視点決定器４１９から供給される注視点座標情
報とから、注視している対象物のエッジを判定する。こ
こでエッジ認識装置４０４にはシステムコントローラ４
１３を通じて使用者の指示を与え、指示に即してエッジ
を認識させてもよい。

【００８８】画像情報は、注視点の存在するフレームに
は注視点を含む物体の輪郭に関する情報とともに画像部
分抽出器４０５に供給される。画像部分抽出器４０５で
は注視点を含む物体（注目物体）を、注視点の存在する
フレームすべてについて部分画像として抽出し、重複検
査器４０６に供給する。ここで注目物体はカット内や同
一フレーム内に複数存在してもよい。

【００８９】重複検査器４０６では、異なるフレームで
異なる姿勢であったり、ズームによって大きさが異なっ
ている同一物体について、それらが同一のものであると
いうことを検査し、供給された注目物体の画像とともに
重複情報として画像選定器４０７に供給する。ここで重
複検査器４０６は、検査中のカットだけでなくカットを
越えて重複の有無を検査してもよい。

【００９０】画像選定器４０７は、注目物体画像と重複
情報に加えて登場回数、注視時間、大きさなど注目物体
画像から得られる副次的情報に基づいて、複数供給され
た注目物体の中から索引に適した対象物を選定するとと
もに、重複した同一物体の画像の中で、索引に適した状
態のものを選定する。ここで選定される索引は、カット
継続時間に対するその物体への注視時間の割合が一定値
を越えるものすべてを候補にするなどの方法を用いて、
カット内で複数存在してもよい。また索引に、同一物体
が違う状態で複数存在してもよい。さらにここでの選定
作業はシステムコントローラ４１３を通じて使用者の指
示を与え、指示に即して索引とする画像を選択してもよ
い。

【００９１】以上のようにして索引と決定された対象物
は、抽出された部分画像、あるいは索引とされた画像の
フレームを表す情報および索引とする画像領域を表す情
報として出力され、あわせてその対象物が含まれるフレ
ームの情報も重複情報に基づいて作成され、出力され
る。

【００９２】画像選定器４０７から出力された索引画像
あるいは索引画の存在領域情報、関連フレーム情報は符
号化装置４０８を通じて記録に適した信号に変換され、
記録信号発生装置４０９の出力により記録媒体４１０に
記録される。ここで、索引の記録に用いる記憶媒体は、
元の画像および装置制御情報が記録された記憶媒体４１
０と異なるものを用いてよい。

【００９３】視（聴）者の指示として、画面の中の索引
としたい物体を注目している際に装置にそれを知らせる
入力信号を用意して、入力端子４１２から上記の経路を
経る装置制御情報４２０に含めてもよい。

【００９４】以上の中で、索引画信号と索引関連情報、
装置制御情報は符号化装置４２１の後、それぞれ異なる
記録信号発生装置によって、記憶媒体４１０の異なる領
域に格納してもよい。また記憶信号発生装置、記憶媒体
ともにそれぞれ異なるものを用いて記録してもよい。

【００９５】本実施例では視線の検出と索引の作成を同
一の装置で行ったが、視線検出装置と索引作成装置が異
なるものでもよい。また、眼球運動検出器を複数用意し
て、同時に複数名の視点を分析し、それを画像選定器４
０７の判断基準に用いてもよい。さらに、同一画像が繰
り返し再生された際に、前回までの索引と新たな視点情
報とを併せて判断基準として画像選定器４０７に入力
し、索引を更新してもよい。

【００９６】この実施例では、画像再生検索装置として
図３の実施例と同じものを用いる。ここで、上記視線検
出装置兼索引生成装置と画像再生検索装置が一体のもの
でもよい。

【００９７】以上の実施例の中では、記録方式がディジ
タル方式であるとして説明を行ったが、アナログ方式の
ビデオに用いてもよい。また記録媒体としては光ディス
クのほか、磁気ディスク、磁気テープ、メモリ素子など
を用いてもよい。また動画に関して説明を行ったが、静
止画を記録する装置に本発明を用いてもよい。また視点
検出装置内で画像内での視線の位置を計算する例で説明
を行ったが、視点の方向だけを記録し、索引作成装置で
画像内の視線の位置を計算させてもよい。また先の実施
例では、対象物体のエッジを利用して対象物の抽出を行
ったが、撮影時に画像内のすべての物体に対してカメラ
からの距離を計測して記録し、その情報から注視点を含
む同程度の距離の集合として対象物を抽出してもよい。
また図５の実施例に関して、索引画像撮影用にユーザ画
像撮影用とは異なる光学系を用いたが、これを同一の光
学系を用いて撮影してもよい。この場合には一つの入力
画像を二つに分岐させ、前記実施例と同じ処理を行って
もよいし、時間的に分割してユーザ画像撮影と索引画像
撮影を交互に行ってもよい。

【００９８】以上の画像情報アクセス装置によれば、索
引をつけるべき画像を提示した際の人間の眼球運動を観
測し、その運動状態から注視点を判定し、注視点を中心
とした画像部分に特徴となる画像要素を求めるので、画
像中のすべての物体に対する認識を行うことなく索引を
作成することができる。また、そうして作成された索引
には撮影者が関心を示した物体が抽出されており、効率
のよい索引を作成することができる。

【００９９】さらに画像認識で取り扱うべき領域が減少
するため、索引作成処理が簡素化され、処理速度の向上
が望める。また記録量も減少するため、記録媒体の節約
が可能になる。

【０１００】次に、図７〜図９を参照して、本発明の実
施例に係る遠隔操作装置について説明する。

【０１０１】図７は、この遠隔操作装置の機能ブロック
図である。

【０１０２】まずユーザの手の存在する領域を距離画像
入力手段７０１で入力し、変化量検出手段７０２で距離
画像の時間差分を求める。動き物体検出手段７０３は、
距離画像とその時間差分から、どの程度の大きさの物体
がどの方向へ移動したかを計算する。この一連の処理に
より、ユーザが手を前方に伸ばしたときに、その動きを
検出することができる。

【０１０３】上述したそれぞれの手段について、より詳
細に説明する。

【０１０４】図９のステップＳ１〜Ｓ４は、この装置で
の処理の流れを示している。

【０１０５】先ず、距離画像から動き領域を抽出する
（Ｓ１）。距離画像入力手段７０１としては様々なもの
が提案されている。非接触で距離を測定できるものとし
て、三角測量の原理を利用したステレオ法、レンズ焦点
面の検出による方法、変調光の投射と反射光の位相差ま
たは時間差による計測などがある。変化量検出手段７０
２では、時間軸で連続した２つのフレームの差分をとる
ことにより、変化のない背景画像を除去する。動き物体
検出手段７０３は距離画像および距離画像の変化量から
動きのある物体を検出する。

【０１０６】次に動き領域の中で距離が近い画素を分離
して同一オブジェクトであると判定する（Ｓ２）。そし
て、オブジェクトの距離と大きさとから手であるかどう
かを判定する（Ｓ３）。手を伸ばしたときにそれを検出
することを目的とするならば、手と同程度の大きさの物
体を検出できれば良い。この時たまたま手に何かを持っ
たまま操作をすることも考えられるため、厳密に手の形
状を判定する必要はない。むしろ、手と同程度の物体を
誤って手と判断してしまわないよう、この物体がどのよ
うな動きをしたときに手と判断するかというところを最
適に決めねばならない。ここでは、手を前方に伸ばした
ときに検出されるようにする。したがって手と同程度の
大きさの物体が、検出器に向かってある範囲の距離だけ
前進してきたことを検出する（Ｓ４）。

【０１０７】ノイズを低減したいならば、手と同程度の
物体が近づいてきた後、一定時間静止したとき手と判断
させるようにすれば良い。また、指の太さより細かい空
間分解能があれば、手と同程度の大きさの物体があり、
さらにその一部が局所的に検出器の方向に出っぱってい
るときにも手であると判定する方法もある。この場合
は、指を検出器の方向に向けて、手を伸ばしたときに検
出される。また、ペンなどの棒状のものを検出器に向け
て手を伸ばしても同様の効果が得られ、人がポイントす
る作業において自然な形である。

【０１０８】図８は本発明の他の遠隔操作装置の実施例
を示す機能ブロック図である。

【０１０９】距離画像入力手段８０１、変化量検出手段
８０２及び動き物体検出手段８０３は図１と同じもので
あり、動き物体検出手段８０３が手を検出したあとの処
理を下側の部分で行っている。図９は、この装置の処理
を示している。

【０１１０】動き物体追跡手段８０３が手と同程度の大
きさの物体が手前に近付いて来たことを検出すると（Ｓ
４）、以降の処理は動き物体追跡手段８０４に任され
る。処理が動き物体検出手段８０３に移ると、カーソル
表示手段８０５は動き物体追跡手段８０４の追跡結果に
したがって手の指し示す部分にカーソルを表示する（Ｓ
５）。動き物体追跡手段８０４で検出された動きベクト
ルは順次動きベクトル蓄積部８０６に蓄積されていく
（Ｓ６）。動きコマンド判定部８０７は、手があらかじ
め与えられた特別な動きをしたとき、それを検知する
（Ｓ７）。特別な動きが検出された場合には、コマンド
実行部８０９が、あらかじめ登録されたコマンドを実行
する（Ｓ８）。どのうよな動きをしたときにどのような
コマンドを実行するかは、あらかじめ動きコマンド登録
部８０８に登録されている。ここに登録される手の動き
及びそれに対応するコマンドとしては、例えば、一定時
間静止した場合、そのポイントにあるメニューを選択す
る、一定時間静止した後わずかな距離だけに下方に動
き、またもとに戻ってきたとき（つまり、ボタンを“押
す”ような動作をしたとき）、そのポイントにあるメニ
ューを選択する、ある場所で、開いていた手を握り、動
かしてまた開くことで、マウスのドラッグ操作をする
（開いた閉じたは、手と検知した物体の大きさの変化を
捕らえる）、など様々考えられる。

【０１１１】次に、図１０〜図１２を参照して、本発明
の実施例に係る情報記録装置について説明する。

【０１１２】図１０は、本発明の実施例に係る情報再生
機器の機能ブロック図である。

【０１１３】本実施例では一つの動画像、静止画像、音
声、テキストなどの情報ファイルはマップ上では一つの
アイコンで表現し、情報ファイル間に張られたリンクは
それぞれの情報ファイルに対応するアイコンを線で結ぶ
ことにより表現する。

【０１１４】入力インタフェース９０１は、リモコンボ
タン、手書き入力装置、キーボード、またはマウス、ト
ラックボールなどのポインティングデバイスである。情
報ファイルとリンクの構造をマップ表示させる命令は、
ユーザが入力インタフェース９０１を通して行う。情報
ファイル・リンク記録装置９０２は、ハードディスクや
光ディスク等の大容量記録媒体である。ここには、動画
像、静止画像データのほか、音声データやテキストデー
タも記録することができ、また、これらの間に張られた
リンクの情報も記録されている。表示装置９０３は、映
像、メッセージなど、ユーザへの表示を行う。組み合わ
せ最適化手段９０４は、情報ファイルのアイコンの配置
の中から、与えられたパラメータを最大、もしくは最小
にする組み合わせを計算し、出力する。最も単純な組み
合わせ最適化手段９０４は全探索を行うもので、すべて
の組み合わせについてパラメータの値を計算し、この値
を最大もしくは最小にする組み合わせを出力する。制御
装置９０５は、システム全体の制御を行う。

【０１１５】ユーザは、情報ファイルとそのファイル間
に張られたリンクの構造が知りたいときには、入力イン
タフェース９０１にマップ表示の命令を入力する。マッ
プ表示の命令が入力されると、制御装置９０５は情報フ
ァイル・リンク記録装置９０２から情報ファイル及び情
報ファイル間に張られたリンク情報を読みとる。情報フ
ァイル・リンク記録装置９０２がハードディスク、光デ
ィスク、又はフロッピーディスクである場合には、ファ
イル名、どのようなアイコンを表示させるかといった情
報ファイルに関する情報、及びリンク情報をいったんバ
ッファに読み込んでおき、マップ表示の命令があったと
きには、バッファから情報ファイルに関する情報、リン
ク情報を読み込んでも良い。読み込まれた情報ファイル
に関する情報・リンク情報は、組み合わせ最適化手段９
０４に送られ、表示装置９０３上での情報ファイル・リ
ンクの表示位置が決定される。

【０１１６】この表示位置の決定により、例えば、通常
ならば図１１のように表示される情報ファアル・リンク
のマップが、図１２のようにより見やすくなって表示さ
れる。ただし、（１）〜（２）は映像ファイルのアイコ
ン、これらを結ぶ線は情報ファイルの間に張られている
リンクを表している。

【０１１７】表示位置決定は、例えば次のように行われ
る。まず、表示装置９０３の表示用画面をいくつかの区
画に分割する。この区画には情報ファイルを表す情報フ
ァイルアイコンが表示される。一つの区画には最大で１
つの情報ファイルアイコンが表示される。リンクの張ら
れたファイル同士はそれを表す情報ファイルアイコン同
士が、リンクを表す線で結ばれるように表示される。情
報ファイルアイコンの表示位置の組み合わせは、情報フ
ァイルアイコンの個数をＮ，区画の数をＭとすると、Ｍ
！／（Ｍ−Ｎ）！通りある。この組み合わせの中から、
組み合わせ最適化手段９０４は一つの組み合わせを選ぶ
のだが、それは組み合わせによって特定される見やすさ
を代表するパラメータの値により決められる。すなわ
ち、見やすさの代表パラメータとして、リンクを表す線
の交差の数が採用される場合には、この値を最小にする
組み合わせを選ぶ、パラメータを最小にする組み合わせ
が複数存在する場合にはどれを選んでも良い。この見や
すさの代表パラメータとしては交差しているリンク線の
数のほかに、リンク線の長さの分散、リンク線の長さの
総和なども使うことができる。これらの一つを使って最
適な組み合わせを選ぶこともできるし、また、いくつか
のパラメータを複合して新たに一つのパラメータを作
り、それを使って最適な組み合わせを選んでも良い。こ
のほか、一画面内に表示できるか、情報ファイルアイコ
ンの表示に片寄りがないか等を考慮しても良い。

【０１１８】組み合わせ最適化手段９０４はこれらパラ
メータを最適にする組み合わせを選ぶのだが、それには
最も単純な方法として、すべての組み合わせについてパ
ラメータを計算し、最適なものを選ぶという方法があ
る。一般にこの方法はＮやＭが大きくなると大変な計算
を要する。そのため、すべてについて計算するのではな
く、一部の組み合わせについてパラメータを計算し、そ
の中で最適なものを選び、実際の最適解に近似するとい
う方法もある。一般には、全ての組み合わせについて計
算しなければ最適な組み合わせは得られないが、必ずし
も最適でなくてもある程度の最適化が計られていれば良
い場合には、最適解の近似法を用いることが多い。本実
施例においても、このような近似を用いても良い。

【０１１９】組み合わせ最適化手段９０４により情報フ
ァイルアイコン・リンクの表示位置が決まると、それに
従って表示装置９０３にマップが表示される。このと
き、マップの部分的なズームやパンを入力インタフェー
ス９０１を介しての命令入力によって行うことも可能で
ある。

【０１２０】

【発明の効果】以上述べたように、本発明の画像情報ア
クセス装置によれば、画像記録または再生時の使用者の
視線を検出し、それを画像情報とともに記録して、使用
者にとって特徴的な物体を自動的かつ選択的に抽出する
ようにしているので、使用者の負担が少なく、簡単な処
理系で効率的な索引作成、および処理時間や記録媒体消
費量の削減が可能になる。

【０１２１】また、本発明の遠隔操作装置によれば、リ
モコン装置などの一切のデバイスを手に持つことなく、
また装着することなく、素手のみでシステムを操作する
環境を実現することができる。これにより、家庭内での
現在のリモコンの置き換えに留まらず、手にものを持ち
ながら操作を行いたい、汚れた手で機械を操作したいと
いった要求にも応えることができる。

【０１２２】また、本発明の情報記録装置によれば、フ
ァイルアイコンの表示位置とファイル間に張られている
リンクの表示の関係をも考慮してファイルアイコンの表
示位置を決定しているため、複雑な構造であるハイパー
テキスト構造になっているファイルのマップ表示におい
ても、ユーザにとって見やすい表示ができるようにな
る。その結果、ユーザが自分の探しているファイルを素
早く見つけたり、自分の見ているファイルの位置づけの
把握やハイパーテキスト構造を容易に再構築したりとい
うことが可能になる。本発明は、ハイパーテキスト構造
を有する全てのもののマップ表示に適用可能である。

【図面の簡単な説明】

【図１】 本発明の実施例に係る画像記録装置の構成を
示すブロック図。

【図２】 本発明の実施例に係る索引作成装置の構成を
示すブロック図。

【図３】 本発明の実施例に係る画像再生検索装置の構
成を示すブロック図。

【図４】 本発明の実施例に係る画像記録装置兼索引装
置の構成を示すブロック図。

【図５】 本発明の実施例に係る他の画像記録装置の構
成を示す概念図。

【図６】 図５の画像記録装置の構成を示すブロック
図。

【図７】 本発明の実施例に係る遠隔操作装置の機能ブ
ロック図。

【図８】 本発明の実施例に係る他の遠隔操作装置の機
能ブロック図。

【図９】 同装置の処理を示すフローチャート。

【図１０】 本発明の実施例に係る情報再生機器の機能
ブロック図。

【図１１】 同装置における最適化前のマップを示す
図。

【図１２】 同装置における最適化後のマップを示す
図。

【符号の説明】

１０１…映像信号、１０４…記録信号発生装置、１０５
…記憶媒体、１０６…眼球運動信号、１０８…眼球位置
検出器、１１０…操作信号、２０２… 記憶信号読出装
置、２０６…エッジ認識装置、２０７…画像部分抽出
器、２０８…重複検査器、２０９…画像選定器、２１９
…種別判定器、２２０…注視点決定器、３０３…映像信
号、３０５…画面作成器、３０７…モニター出力端子、
３０８…関連フレーム情報、３１７…一覧表作成装置、
４０１…映像信号、４１２…操作信号、４１５…眼球運
動信号、５０１…画像記録装置本体、５０２…視線検出
器、５０４…撮影者、５０５…被写体、５０８…索引画
像、６０１…ユーザ画像信号、６０６…索引画像信号、
６０８…ディジタルズーム、６１４…ユーザ画像ズーム
フォーカス信号、６１６…カット検出器、６１７…ズー
ムコントロール信号、６１８…操作信号、６１９…カメ
ラ方向変位信号、６２０…眼球運動信号、６２４…検出
器位置信号、７０１，８０１…距離画像入力手段、７０
２，８０２…変化量検出手段、７０３，８０３…動き物
体検出手段、８０４…動き物体追跡手段、８０７…動き
コマンド判定部、９０１…入力インタフェース、９０２
…情報ファアル・リンク記録装置、９０３…表示装置、
９０４…組み合わせ最適化手段、９０５…制御装置。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 7/00 Ｇ０６Ｆ 15/62 ３８０ ４１５

Claims (4)

【特許請求の範囲】
1. 【請求項１】画像情報を記録する画像情報記録手段と、 この画像情報記録手段に対するアクセスの際に使用者の
   前記画像情報に対する視線の位置を検出する視線検出手
   段と、 この視線検出手段で検出された視線の位置を前記画像情
   報と関連付けて記憶する視線位置情報記憶手段と、 この視線位置情報記憶手段に記憶された視線の位置に基
   づいて前記画像情報記録手段に記録された画像情報中の
   注目部分を抽出し前記画像情報の検索のための索引情報
   を生成する索引情報生成手段とを備えたことを特徴とす
   る画像情報アクセス装置。
2. 【請求項２】距離画像を入力する距離画像入力手段と、 この距離画像入力手段に入力された距離画像の変化量を
   検出する変化量検出手段と、 得られた距離画像およびその変化量から動いている物体
   の大きさ、方向及び移動距離を算出し、これらの情報か
   ら動いている物体が操作者の手であることを認識する動
   き物体検出手段と、 この動き物体検知手段で検出された手の画面内での動き
   を追跡する動き物体追跡手段と、 この動き物体追跡手段での追跡結果に従って画面上にカ
   ーソルを表示するカーソル表示手段と、 前記動き物体追跡手段で追跡していた手が所定時間静止
   したことを検出したらそのカーソル位置に基づいて予め
   登録された所定のコマンドを実行するコマンド実行手段
   とを備えたことを特徴とする遠隔操作装置。
3. 【請求項３】距離画像を入力する距離画像入力手段と、 この距離画像入力手段に入力された距離画像の変化量を
   検出する変化量検出手段と、 得られた距離画像およびその変化量から動いている物体
   の大きさ、方向及び移動距離を算出し、これらの情報か
   ら動いている物体が操作者の手であることを認識する動
   き物体検出手段と、 この動き物体検知手段で検出された手の画面内での動き
   を追跡する動き物体追跡手段と、 この動き物体追跡手段での追跡結果に従って画面上にカ
   ーソルを表示するカーソル表示手段と、 前記動き物体追跡手段で追跡していた手が予め決められ
   た動きをしたことを検出したらそのカーソル位置に基づ
   いて予め登録された所定のコマンドを実行するコマンド
   実行手段とを備えたことを特徴とする遠隔操作装置。
4. 【請求項４】複数のファイルを関連のあるもの同士リン
   クによって相互に関連付けて記憶する記録手段と、 この記録手段に記録された複数のファイルとそれらの間
   のリンクの構造を表示する際の見やすさを決定するパラ
   メータを評価して最適なパラメータを求める最適化手段
   と、 この最適化手段によって求められた最適なパラメータに
   よって特定される前記複数のファイルの間のリンク構造
   をファイルアイコンとそれを関連付ける情報で表示する
   表示手段とを備えたことを特徴とする情報記録装置。