JPH08255171A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【目的】多種多量の情報から簡便な操作で効率よく利用
者が必要とする情報を加工、提示することのできる情報
処理装置を提供する。 【構成】情報の提示と並行して利用者により入力される
該提示情報に関する評価値を記録し、この入力された評
価値の高低について、所定の範囲を超えたために該範囲
内に変更されて記録されたものがあったときに、自動的
にその評価値を推測して補正し、又は利用者の指示によ
って記録された評価値を修正し、さらに、このようにし
て補正・修正された評価値の高低の数値に従って上記情
報の要約提示を行うことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば映像、音声、文
書等の情報を統合的に表示、記録、再生、編集するマル
チメディア情報処理装置に関する。

【０００２】

【従来の技術】パーソナルコンピュータ（ＰＣ）などに
搭載されるマイクロプロセッサの性能向上はめざまし
く、普及型のＰＣで大量の情報を高速に処理できる環境
が整いつつあることは周知である。また、近年の光通信
技術や通信制御技術、及び光磁気ディスクや高密度集積
回路によるメモリ素子等の発展により前者において情報
伝送路が大容量化し、後者において情報蓄積装置が大容
量化していることも作用して、家庭やオフィスでも安価
な装置で大量の情報を電子的に入手することができると
いったことが実現しつつある。

【０００３】また、同様に簡単な操作で情報を発信する
ことができるため、これまで放送局や新聞社などに限ら
れていた情報発信の特権が、一般の利用者へと広がり、
さらに大量の情報が行き交うようになりつつある。この
ことは、現在のパソコン通信や電子メールや電子ニュー
ス等の普及からもうかがい知ることができる。また、Ｐ
Ｃに限らずこのように情報をやり取りできる端末は、電
子手帳、携帯電話、ファクシミリ等、あらゆる装置の形
で浸透している。そして、それらが扱うことのできる情
報の種類も、従来の文字情報（テキストデータ）のみか
ら、音声・音楽情報、静止画像情報、動画像情報へと広
がり、その品質もそれぞれ飛躍的に向上している。

【０００４】しかし、情報分類の手法に関しては、旧来
の方法がとられている場面が多く、例えば電子ニュース
の世界を例にとれば、ニュースグループ（＝話題ごとの
「くくり」）が何百と存在し、かつ各ニュースグループ
には１日数十もの投稿がなされる。そして、ユーザは、
その中から自分が必要とする、又は関心のあるニュース
を探すために少なからず時間を費やさなければならな
い。これは各ニュースが、「ニュースグループ→ニュー
ス」という、ごく単純な、かつユーザが通常自分では定
義できない層構造で取り扱われているためである。音楽
テープやビデオテープにおいても、楽曲・番組ごとの開
始位置は、無音部分や録画開始のインデックス信号を検
出すること等で判定できるが、その楽曲・番組の内容、
又は特に関心のある場面や部分を指し示す情報は記録で
きないため、ユーザは、それらのラベル等に自らそれら
を示す情報を書き込む等より他に方法がない。

【０００５】これらの情報の分類、又は複数の情報の中
から特徴となる部分を抽出する作業を自動化しようとす
る開発は、現在も盛んに行われている。しかし、それら
の中の多くは人間の判断機構を代替することを目標とし
ており、高度な人工知能を必要とし、開発の時間の面か
らも、また費用の面からも、現時点ではコストがかかり
すぎるといわざるを得ない。また、そのような自動分類
システムには、ユーザは自分が望むものを指示してやる
必要があり、何が見たい、どのような情報を得たい、と
いったビジョンのはっきりしないユーザには扱いづら
い。このような不案内なユーザは、情報があふれる時代
にこそ激増するものと想定できる。

【０００６】むしろ必要とされるのは、「おもしろい
（＝interesting ）と感じる場所がここである」と示す
情報であり、必ずしもその内容を記述することを必要と
しているわけではない。たとえば映画の中で１場面だけ
魅力的な俳優が出演していたとき、その俳優が誰なの
か、男なのか女なのか、さらにそのオブジェクト（被写
体）が人間なのか、という情報は常に必要ではなく、た
だその場面を指し示してくれる装置であれば十分要件は
満たされる場合が多い。にも関わらず、現在の情報分類
の流れでは、「情報を装置が精査する→特徴となる部分
を候補として抽出する→ユーザが入力した要求情報と照
合する→分類・提示を行う」という手順であるため、い
ったん情報内容の解析を入念に行わなくてはならなくな
る。

【０００７】一方、一般の利用者が情報発信源となりつ
つある現在、情報加工ツールの要求も高まっている。こ
れまでの加工ツールとしては文書情報のためのワードプ
ロセッサ、図形情報のためのＣＡＤ（Computer Aided D
esign ）や描画ソフトウェア等がある。しかし、とりわ
けビデオや音声に関しては操作性のよい一般向けのツー
ルはきわめて少ないといわざるをえない。利用者は、２
台のデッキを接続して、一方のデッキでは目的となる場
所を探して再生し、他方のデッキでそれを録画するとい
う作業により「切り張り」編集を行っている。「切り張
り」編集を行うためには最低でも２台のデッキが必要で
あり、また操作も繁雑であるために、一般の利用者は編
集作業を敬遠しがちである。現在提案されている編集方
法の中には、コンピュータのメモリやハードディスクな
どの記憶媒体にビデオ・音声情報をいったん蓄積して、
コンピュータの編集環境で情報加工するものもあるが、
このためには大容量の記憶媒体を必要とするうえにコス
トが高く、根本的には「切り張り」の編集であるために
操作性の特段の向上は期待できない。

【０００８】以上のように、簡便で効率的な情報自動分
類機構や情報加工手段がないことは、今後のマルチメデ
ィア統合環境が普及することへの大きな妨げになる恐れ
がある。

【０００９】

【本発明が解決する課題】以上詳述したように、従来の
情報処理装置では、多種多様の情報を、情報の種類を越
えて効率よく、かつ利用者の意図を反映して分類・整理
などを行う手段がなかった。このために、利用者は、そ
の情報の処理作業に時間と労力を割かなければならず、
これを装置として自動で行う場合にも、必ずしも個々の
利用者に適応して処理できないという欠点があった。ま
た従来は情報の加工方法も繁雑で、その実現のためには
高コストとなりやすいという欠点もあった。

【００１０】本発明は、上記実情に鑑みなされたもので
あり、多種多量の情報から簡便な操作で効率よく利用者
が必要とする情報を加工、提示することのできる情報処
理装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は、画像情報及び
音声情報の少なくとも一方を利用者に提示する情報処理
装置であって、上記情報を提示する画面と同一の画面内
において、上記提示された情報に対し所定の情報単位に
所望の評価値を入力、修正する手段を具備してなること
を特徴とする。

【００１２】また、本発明は、上記入力修正手段が、同
一の情報に対して複数種類の評価値を入力、修正する手
段を含むことを特徴とする。

【００１３】また、本発明は、さらに上記複数種類の評
価値の中からいずれかの評価値を選択する手段と、上記
情報の中から上記選択された評価値が所定の値以上の情
報のみを抽出して提示する手段とを具備してなることを
特徴とする。

【００１４】また、本発明は、上記選択手段が、二つ以
上の評価値を選択する手段を含み、さらに上記選択手段
により二つ以上の評価値が選択された際に、これらの評
価値から所定の数値演算により新たな評価値を算出する
手段とを設け、上記提示手段は、この新たに算出された
評価値に基づいて抽出を行うことを特徴とする。

【００１５】また、本発明は、上記評価値が所定の範囲
内において設定される値であって、上記評価値の最低値
又は最高値のいずれかが既に設定された後に、この最低
値を下回る評価又は最高値を上回る評価を上記提示され
た情報に対応づける必要が生じた際に、上記入力修正手
段は、上記最低値を下回る評価又は上記最高を上回る評
価を示す評価値を暫定的に入力、修正する手段を含み、
さらに上記最低値を下回る評価又は上記最高を上回る評
価を示す評価値が暫定的に入力、修正されたときに、こ
の評価値を最低値又は最高値に置き換え、この新たに置
き換えられた最低値又は最高値に基づいて、既に対応づ
けられた他の評価値を所定の期間内において平滑補正す
る手段を具備してなることを特徴とする。

【００１６】また、本発明は、さらに上記評価値による
情報間の順位を管理し、上記情報の順位関係を操作する
ことにより上記評価値を訂正する手段を具備してなるこ
とを特徴とする。

【００１７】また、本発明は、さらに上記提示された情
報を視察する際の利用者の眼球運動を観測する手段と、
この観測された眼球運動から眼球運動の速度成分を逐次
算出する手段と、この算出された速度成分から上記情報
に対する評価値を得る手段とを具備してなることを特徴
とする。

【００１８】即ち、本発明に係る情報処理装置は、利用
者が提示されている情報に対し、同一画面内において、
例えば「重要である／ない」等の評価値を情報提示に即
して逐次入力、修正する手段と、入力された上記評価値
のうち所定の範囲を越えざるをえない入力に対して自動
修正する手段と、入力された上記評価値を利用者の順位
操作に基づいて訂正する手段と、入力され、修正・変更
された上記評価値に基づいて元の情報の中から提示する
部分を抽出し提示する手段とを含むことを特徴とする。

【００１９】

【作用】本発明に係る情報処理装置によれば、利用者が
独自の基準で情報に対して抱いている、例えば「重要で
ある／ない」等といった評価値を、同一画面内において
提示されている情報と関連づけて入力修正処理を行う。
このため、画像解析、音声認識等の高度な情報処理を多
く用いることなく、利用者にとっての情報価値を得るこ
とができる。また、このようにして入力された上記評価
値は、自ずと利用者に固有のものであって、情報内容だ
けから自動的に装置が判断した情報価値と比べても、よ
り利用者に適応していることが期待できる。

【００２０】また、本発明に係る情報処理装置は、上記
入力された例えば「重要である／ない」等といった評価
値を利用者の操作に従って修正する。このため利用者の
価値基準が情報提示中に変化した場合でも、適切な情報
価値の序列を得ることが期待できる。

【００２１】さらに、上述のように利用者による情報価
値が付与されている情報においては、重要部分の抽出な
どの加工は上記「重要である／ない」といった評価値に
基づいて行えばよく、その機構が単純である。また、原
情報から重要部分だけを抽出した要約情報の保管に関し
ても、上記評価値の数値だけを保管しておけばよく、従
来のように要約情報を完全な形で保存しておく必要がな
い（即ち、２時間の映像から３０分の要約を作成する
際、従来であれば２時間３０分分の格納場所を必要とし
ていたが、本発明の方法では２時間の原映像と評価値の
数値を記録するだけでよい）ために、記憶媒体の使用量
節約が期待できる。

【００２２】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００２３】（第１実施例）図１は第１実施例に係る情
報処理装置の構成を示すブロック図である。

【００２４】同実施例では、利用者の「重要である／な
い」についての評価値を入力する方法として、利用者の
視線を検出し、その視点の移動の様子から上記評価値
（以下、重要度レベルという）を自動判定する場合につ
いて説明する。なお、視点の移動から重要度レベルを算
出する方法については第３実施例において詳述する。

【００２５】記録媒体１０７から読み出し制御部１０５
を介して読み取られた情報は、提示部１０６に表示され
るが、そのときの利用者の視点は検出器１０１によって
位置検出される。判定部１０２内では上記視点情報が一
定時間分記録されて処理される。この処理は、例えば５
秒分の利用者の視点を１／３０秒ごとに検出し、１５０
個データが集まるごとに重要度推定計算を行うなどとい
うように行われる。判定部１０２では、送られてきた視
点データから、その記録時間内での重要度レベルを算出
する。この例では、５秒ごとに、前５秒の重要度レベル
が出力されるというように行われる。ここで、重要度レ
ベル算出は、記録間隔と同じ周期で行われる場合に限ら
ない。例えば、今回送られてきた５秒分のデータのうち
過去側２．５秒の視点データと、前回送られてきた５秒
分のデータのうち現在側２．５秒のデータとを併せて重
要度レベル算出を行う、という過程を間に入れることに
よって、２．５秒間隔で重要度レベル出力が可能にな
る。当然、同様の方法で出力間隔をさらに短くすること
も可能である。

【００２６】判定部１０２より一定の出力間隔で送られ
る重要度レベルは、提示情報全体にわたって重要度情報
一時記憶部１１０に記憶され、記録媒体１０７に記録さ
れる。ここでいう提示情報全体とは、１番組分、映画１
本分、写真アルバムの１旅行分等のストーリーの１まと
まりに対応する区間等で、通常これらは従来の方法で既
に区切りがはっきりしている（ＶＴＲのインデックス信
号、映画ソフトの１巻、アルバムの見出し、あるいはコ
ンピュータデータの１ファイル等）。記録媒体１０７
は、提示情報が記録されていたものと同一の媒体でも異
なる媒体でも構わない。例えば、光磁気ディスクから読
み出して提示した画像情報に関する重要度レベル情報
は、もとの光磁気ディスクに保存してもよいし、重要度
レベル保存用のメモリＩＣを用いてもよい。あるいは通
信ネットワークで結ばれた遠隔の記録装置から読み出し
て提示した情報（たとえばビデオ・オン・デマンド等）
に関する重要度レベル情報を、ネットワークを介して元
の記録装置に戻して記録してもよいし、利用者が端末と
して利用しているコンピュータ側で記録しておいてもよ
い。この例では、提示情報全体にわたって重要度情報を
重要度情報一時記憶部１１０に一時記憶する場合を述べ
たが、情報提示中でも判定部１０２が、逐次、重要度判
定を行い、記録媒体１０７において原情報提示と重要度
情報記録が同時に行えるような条件下では、情報提示と
並行して重要度情報を記録媒体１０７に記録してもよ
い。

【００２７】次に、重要度情報を変更したい際、記録さ
れた重要度レベルは、記録媒体１０７から読み出され、
提示情報全体に関して修正が施される。この修正は、修
正演算部１０４によって装置が自動的に行うものと、利
用者の操作に従って行われるものとがある。まず修正演
算部１０４によって自動的に行われる修正について説明
する。

【００２８】重要度レベルを逐次入力していく場合、時
間的に後に入力したレベルほど自由度が低い。たとえ
ば、２時間の映画を見ながら０から１００までの重要度
レベルを入力する場合、５５分経過時に最も高い関心を
おぼえてレベル１００を付与したとする。しかしその
後、１時間４０分経過時に前よりも高い関心をもったと
感じても、前を上回る最高のレベルを付与することはも
はやできない。そこで以下の方法により、入力限度最高
のレベルが持続した場合、実際には入力限度を上回るレ
ベルに達していたと考え、実際の最高レベルを推定す
る。

【００２９】図２は同実施例に係る情報処理装置におい
て重要度レベルを修正するアルゴリズムを示すフローチ
ャートである。

【００３０】この動作は、実際には図１中の修正演算部
１０４が、重要度情報一時記憶部１１０と重要度レベル
情報をやり取りしながら行われる。以下の説明、及び図
２中で、ＤＡＴＡは修正すべきデータ数、ｔn はｎ番目
（ｎは０から始まる）のサンプリング時刻、Ｉn は時刻
ｔn での重要度レベルである。また（ｔave,k ，Ｉave,
k ）は、（ｔn ，Ｉn ）を平滑化したときのｋ番目の座
標である。ｔhold，Ｉhold，ｎ，ｋはこのアルゴリズム
内でのみ使用する仮の変数である。Ｉmax は許容される
重要度レベルの最高値で、例えば０から１００の範囲で
重要度の高さを入力しようという場合にはＩmax は１０
０となる。

【００３１】図２に示すフローチャートでは、重要度レ
ベルの時間推移を平滑化する部分だけを示している。平
滑後レベルＩave はステップＳ２０１、ステップＳ２１
８に示すように、元の重要度レベルＩと同じ初期値、終
了値を持つ。また、重要度レベルが最大値Ｉmax である
状態が３サンプル続いたとき、この区間（以下でオーバ
ーフロー区間という）にＩmax を越えるレベルが存在し
えたと推定し（ステップＳ２０６、ステップＳ２１
１）、オーバーフロー区間の入口と出口を元の重要度レ
ベルと一致させる（ステップＳ２１３〜ステップＳ２１
７）。後処理でオーバーフロー区間を検出し、区間内の
仮想的な最高レベルを推定する。それ以外の区間では、
極大値と極小値の中点を平滑後レベルの座標点としてい
る（ステップＳ２０７、ステップＳ２１２）。

【００３２】次に、平滑後レベル（ｔave,k ，Ｉave,k
）を利用してオーバーフロー区間の重要度レベルの変
化を推定するが、これについて図３を用いて説明する。

【００３３】オーバーフロー区間３０１内では、区間の
入口３０２および出口３０３で区間外の変化と同じ値、
同じ傾きを持つような２次又は３次関数と推定する（境
界条件）。例えばオーバーフロー区間３０１の入口３０
２、出口３０３の時刻がそれぞれｔs ，ｔe 、入口での
平滑後レベルの傾きがＡ、出口での傾きが（−Ｂ）であ
ったとすると、オーバーフロー区間３０１内で推定され
る時刻ｔでの重要度レベルＩ´（３０４）の式は

【００３４】

【数１】 となる。

【００３５】次に、このように描かれた連続曲線３０４
上で、元の時刻ｔi にあるものを新しいＩi として置き
換える。以上の過程は、それぞれ必要なデータが揃い次
第逐次行うことができるので、重要度レベルデータの入
力と平行して処理し、入力の終了時にはオーバーフロー
区間を推定したＩi を確定させることができる。

【００３６】さて、ここまでで確定したＩi ではオーバ
ーフロー区間においてデータはＩmax 以上の値となって
いることがありうるため、全体を０からＩmax の範囲内
に圧縮する必要がある。そこで、以下の式をもってＩi
を変換する。

【００３７】

【数２】 ここでＷmax は全体の重要度レベルデータの中での最高
値である。ただし、Ｗmax がＩmax を越えていない場合
にはこの変換は行わない。この変換は、大きな値ほど強
く圧縮されるため、元からＩmax の範囲内にあったデー
タが受ける影響が少なくて済むという特徴を持つ。ま
た、この変換によって元のデータの大小関係が失われる
ことはない。さらに、平滑化したデータをもとにオーバ
ーフロー区間の推定を行っているために、オーバーフロ
ー区間の入口直前、出口直後の局所的なＩi の急峻／緩
慢な立ち上がりの影響が小さい。

【００３８】以上では、重要度レベルが規定値の範囲の
最大に達している場合の修正について説明したが、重要
度レベルの規定値の最小に達している場合についても同
様の方法で修正を施してもよい。

【００３９】次に、利用者の操作によって重要度レベル
の変更・修正を行う場合の例について図４を用いて説明
する。

【００４０】この操作は図１中では以下のようにして処
理される。まず利用者は、マウス等の入力装置、又は先
に用いた視線検出器をポインティングデバイスとして転
用することによって、同実施例の情報処理装置に指示を
与える。この指示は、操作インタフェース１０９によっ
て受け止められ、操作インタフェース１０９は利用者の
入力に応じた画面／音声変化（これに関しては後で説明
する）を出力すべくアドレス生成部１１２に信号を送
る。アドレス生成部１１２では、表示すべき原情報の位
置を記録媒体１０７上の格納場所（アドレス）として出
力し、読み出し制御部１０５へと送る。読み出し制御部
１０５は、記録媒体１０７を機械的にコントロールし、
媒体上のしかるべき位置から原情報をとりだす。取り出
された原情報は原情報一時記憶部１１３へ送られ、既に
入力されている重要度情報とともに画面作成部１１４に
おいてグラフィカル・ユーザインタフェースとなり、画
像提示部１０６及び音声提示部１１６を介して利用者に
提示される。

【００４１】一方、利用者は、この画面を見ながら重要
度レベルを修正するわけだが、この操作に伴う重要度レ
ベルの変更は、修正演算部１０４を介して行われる。既
に入力されている重要度レベルは重要度情報一時記憶部
１１０に蓄積され、この操作によって修正演算部１０４
で修正され、再び重要度情報一時記憶部１１０に帰還す
る。修正が終了すると、一時記憶された重要度レベル情
報は、記録制御部１０３へ出力され、記録媒体１０７上
でアドレス生成部１１２によって指定されたしかるべき
格納場所へ記録される。当然ながら、重要度情報をいく
つかに分割して、分割の一つを重要度情報一時記憶部１
１０に蓄積し、修正→帰還→記録→次の分割を一時蓄
積、という動作を繰り返してもよい。

【００４２】ここで、図４に戻り実際の処理について述
べる。

【００４３】上述の方法で重要度レベルを入力した後、
本発明の情報処理装置は重要度レベルの極大値、極小値
と、それぞれを記録した時刻を列挙する。そして極大値
の大きなものから順に、極大値を記録した画像４０２を
画面上に提示する（図４の（ａ））。ここで提示する画
像の数は、３枚、５枚、１０枚等、任意に設定すること
ができる（図４では３枚の例を示す）。また、提示する
画像４０２は、必ずしも極大値を示した瞬間の画像でな
くてもよく、その極大値を含むカット（２つの連続した
シーンチェンジの間）の先頭画面でもよく、また、提示
された画面をマウスでクリックすることで、その最大値
を含むカット全体にわたって再生を行うようなものであ
ってもよい。

【００４４】この提示された画面４０２から、利用者は
本装置が利用者自身の重要度レベルをどう推定したかを
知ることができる。提示された推定重要度レベルに違和
感があるとき、利用者は、この画像を並べ替えることに
よって、本装置に順位の訂正を指示する。例えば、本装
置が２位と推定した場面４０３が、実は１位と推定した
場面４０４よりも「重要である」と利用者が感じた場
合、利用者は２位の画面４０３を１位の画面の上へと変
更する指示を行う。並べ替えの操作は、図１中の入力装
置１０８により行うが、キーボード、ボタン又はリモー
トコントローラのキーパッド等で訂正したい画像（上の
例では２位の画面４０３）を選び、次に新しい順位の場
所（１位の画像の上の位置４０５）を選ぶ。あるいは、
同様の操作をマウスを用いて行ってもよい。また、視線
検出装置１０１を利用して、該画面を注視することによ
って選択を行ってもよい。

【００４５】順位の訂正が指示されると、本装置は指示
された画面前後での重要度レベルをどの値に変更すべき
かを決定する。例えば、２位と３位の中間へと訂正を行
った場合、２位の重要度レベルと３位の重要度レベルの
中間値等となる。あるいは、１位を上回るレベルへの訂
正を行った場合、１位と２位の重要度レベルの差と同じ
だけ１位の重要度レベルより高い値等となる。例えば、
１位のレベルが８０、２位のレベルが７８、３位のレベ
ルが７０であるようなとき、１位の部分を２位と３位の
間に訂正すると、１位の部分の変更先の重要度レベルは
７４となる。また、同じ例で、２位の部分を１位の上に
訂正すると、変更先の重要度レベルは９０となる（移動
対象となっている２位＝７８は計算に用いないので、８
２とはならない）。この訂正の結果は改めて画面に（例
えば図４の（ｂ）のように）表示され、利用者は自分の
訂正の結果を知ることができる。

【００４６】以上のように、変更先の重要度レベルが決
定されたときの変更手続きを、図５を用いて以下で説明
する。

【００４７】まず、重要度レベルを下方に変更する場合
（図５の（ａ））、変更したい極大値５０３をはさん
で、その前後の極大値（５０４、５０５）の間の範囲を
変更する。変更前の極大値をＩp 、変更先の重要度レベ
ルをＩadj とすると、変更したい極大値の前後の極大値
（５０４、５０５）から、前後の極小値（５０６、５０
７）の間（５０４から５０６までと、５０７から５０５
まで）は、ＩからＩadj／Ｉp の間を線形に変化する関
数を、もとの重要度レベルにかけ合わせる。前後の極小
値にはさまれた区間（５０６から５０７まで）では、一
定値Ｉadj ／Ｉpをかけ合わせて、新たな重要度レベル
とする。図５の（ａ）の下部に示したのは、そのかけ合
わせる関数の概形である。一方、重要度レベルを上方に
変更する場合（図５の（ｂ））、変更したい極大値５０
８をはさんで、その前後の極小値（５０９、５１０）の
間を変更する。下方に変更する場合と同様にＩp 、Ｉad
j を定義すると、前後の極小値（５０９、５１０）から
変更する極大値５０８まで、ＩからＩadj ／Ｉp の間で
線形に変化する関数を、もとの重要度レベルにかけ合わ
せる。同様に図５の（ｂ）の下部に示したのは、そのか
け合わせる関数の概形である。

【００４８】もし、この変更の結果、重要度レベルが予
め設定された重要度レベルの最大値Ｉmax を越えた場
合、図３をもちいて上述したのと同様の方法で、Ｉmax
に収まる範囲へと補正する。この補正は、すべての順位
変更が終わってから行ってもよいし、必要に応じて順位
変更ごとに行ってもよい。

【００４９】最後に、以上のようにして入力・補正され
た重要度レベルを用いて、自動的にもとの情報を加工・
提示する方法について説明する。

【００５０】この場合、図１においては原情報と重要度
レベル情報との両者が記録媒体１０７から読み出し制御
部１０５を介して読み出され、それぞれ原情報一時記憶
部１１３、重要度情報一時記憶部１１０に蓄積される
が、重要度情報一時記憶部１１０の重要度レベル情報に
基づいて原情報のうちの提示すべき部分が提示部分選択
部１１１によって選択される。これについては後で詳し
く述べる。アドレス生成部１１２では、選択された部分
に関する情報を提示部分選択部１１１より受け、記録媒
体１０７上で提示すべき情報が記録されている場所をア
ドレスとして出力する。読み出し制御部１０５では、こ
のアドレス情報に基づいて選択的に記録媒体１０７にア
クセスし、原情報の部分を原情報一時記憶部１１３に送
る。以降の過程はすでに説明した画面表示方法と同じで
ある。

【００５１】ここでもちろん、アドレス生成部１１２で
は記録媒体からの読み出し場所を制御する代わりに、原
情報一時記憶部１１３からの読み出し場所を制御しても
よい。この場合、一般的に読み出しスピードの向上を望
むことができる（現状では一般に記録媒体１０７に用い
られる光磁気ディスクなどのアクセススピードよりも、
原情報一時記憶部１１３に用いられる半導体メモリ素子
の方が早い）。以下では提示部分選択部１１１で原情報
の部分選択を行う過程を具体的に説明する。

【００５２】ここで説明する加工・提示の方法は、情報
の意味的区切り（動画像のシーンチェンジ、音声・文書
の文章単位や段落単位、音楽のフレーズ＝４〜１６小節
程度で構成される展開のパターン）を、既存の画像認
識、音声認識など別の方法で検出し、その区切りを利用
する場合と、しない場合の２通りがある。

【００５３】まず、区切りを利用しない場合について図
６を用いて説明する。

【００５４】利用者は、情報加工の結果として生成され
る提示情報に希望する時間的長さを入力する。これはボ
リュームつまみのようなものによってもよいし、キーボ
ードを用いて直接「何分何秒」と入力してもよい。即
ち、時間長を入力する方法であれば、一般に用いられて
いるいかなる方法でも構わない。本装置では、しきい値
６０１を、規定の重要度レベル最大値Ｉmax ６０２より
徐々に下げてゆき、重要度レベルの時間推移６０３の中
で、しきい値６０１を越える時間区間６０４の合計を計
算する。この計算結果が入力された提示希望時間を越え
るまで、しきい値６０１を下げる過程を続ける。このよ
うにして提示希望時間を越える直前のしきい値６０１が
決定したとき、本装置はしきい値６０１を越える時間区
間６０４だけを順次提示する。あるいは、重要度レベル
のしきい値以上の極大値６０５の瞬間の情報を画面に列
挙しておき、その画面をマウスまたは注視などで選択し
たときには、この極大値を含んでしきい値を越える時間
区間を提示するという方法もある。これによって、利用
者は情報の全時間のうち、特に重要度の高い部分だけを
選択的に見ることができる。

【００５５】次に、情報の意味的区切りが既知で、それ
を利用する場合について図７を用いて説明する。

【００５６】まず情報が動画像である場合について説明
する。

【００５７】動画像に対応して重要度レベル７０１が付
与されており、動画像の意味的区切りであるシーンチェ
ンジ７０２がわかっているとする。時間的にとなりあう
２つのシーンチェンジ７０２間の時間区間をカット７０
３と呼ぶことにする。１つのカット７０３内では、重要
度レベルはそのカット７０３での最大の値７０４に一致
させる。こうすることによって、上記の情報の区切りを
利用しない場合と同じ方法が利用できる。

【００５８】即ち、しきい値７０５を徐々に下げ、しき
い値７０５を越える時間区間の合計が設定された提示希
望時間を越える直前のしきい値７０５を求める。このと
き、しきい値７０５を越える時間区間、即ちカットを順
次提示することによって、カット単位で要約を作成する
ことができる。

【００５９】また、カット７０３内の重要度レベルを、
そのカットでの最大の極大値を用いるかわりに、カット
７０３内の重要度レベルの積分値をカット７０３の長さ
で割った「重要度レベル密度」７０６に一致させて、上
記と同様のカット選択を行うこともできる。

【００６０】この２つの選択方法が持つ意味の違いは、
前者（カット７０３内の重要度レベルは最大の極大値７
０４）が、瞬間的な最大の印象の強さでカット７０３を
評価するのに対して、後者（カット７０３内の重要度レ
ベルはカット７０３内での平均値７０６）は、カット７
０３全体が与えた印象の強さで評価していることであ
る。

【００６１】以上の中で「順次提示」を行う際のアドレ
ス生成部１１２の動作の例を図８を用いて説明する。

【００６２】図８中の折れ線グラフのうち、右にあるも
の（（ｂ））は図６のグラフを９０度回転したものであ
る。図６を用いて説明した方法で選択された部分がハッ
チングして示してある。この様な場合、選択された部分
を順次提示する時には、アドレス生成部１１２は、図８
の左（（ａ））に示すようなアドレスを出力する（ただ
しこれは記録媒体１０７上に原情報の時間経過と線形に
記録がなされた場合である。時間経過と因果関係のない
配置で原情報が記録されている場合、図８左のグラフの
縦軸はアドレスの代わりに提示すべき時刻位置を示
す）。即ち、要約提示の際、選択された時間区間では正
常な動作速度で再生され、そうでない場所はスキップさ
れる。選択された部分が上述のようにカット単位の場合
でも動作は同じである。

【００６３】上記のようにして選択されたカットは、選
ばれたカットを時間的に前にあるものから順次提示する
方法の他に、カットの重要度レベルが高いものから順に
提示する方法がある。その他にも、選択されたカットの
先頭画面だけを小画面として画面に列挙し、利用者がそ
の小画面をマウスや視線などで選択すると、そのカット
の動画像が提示されるという方法もある。ここで、カッ
トを代表させる画面はカットの先頭画面である必要はな
く、そのカット中で最も高い重要度レベルを示した瞬間
の画面を表示してもよい。あるいは、上で述べてきたよ
うな方法で提示すべき場所だけを選定しておき、それぞ
れの区間の提示時間の早さや方向、順序などは利用者の
操作によって自由に変化させられるようになっていても
よい。このようにすると、例えば１０秒ずつ３０枚提示
される静止画が原情報であるような場合、特に重要な画
像１０枚だけを重要度レベルのしきい値をもちいて選択
しておき、その１０枚中の１枚１枚は好きな時間だけ見
る、といったことが可能になる。

【００６４】次に、情報が音楽（曲）であって、情報の
区切りがわかっている場合の例を図９を用いて説明す
る。

【００６５】図９にあるように、例に示す曲８０１は１
０のフレーズで構成されている。ダッシュ（´）のつけ
られた部分は、同じ記号でダッシュのない部分の変形で
ある。Ａは前奏（イントロ）、Ｄは間奏、Ｆは後奏（エ
ンディング）と一般にいわれる部分で、歌の部分がＢＢ
´Ｃ（１番＝１コーラス目）、Ｂ´ＣＥＣ´（２番＝２
コーラス目）である。Ａ、Ｂ、などというフレーズを図
７を用いた説明でのカット７０３に置き換えて同様の処
理を行い、重要度レベルの高いフレーズ８０２を抜き出
せば、その曲全体を聞くことなく、もっとも印象深い部
分だけを聞くことができる。目的の曲を探すような場合
に、こうして作られた曲の要約だけを次々に聞いていけ
ば、印象に残った部分に達するまでの時間を節約できる
ので、検索に要する時間が短くなることが期待できる。

【００６６】（第２実施例）次に第２実施例として、本
発明の情報処理装置においてユーザが行う処理、及び提
示部での表示について図を用いてより詳細に説明する。

【００６７】同実施例では入力のためのポインティング
デバイスにマウスを使用することを仮定しているが、本
発明に係る情報処理装置においては、いかなるポインテ
ィングデバイスでも使用可能である。

【００６８】まず、ユーザが重要度レベルを利用して動
画像の提示を行う場合のユーザの操作、及び提示部での
表示について説明する。

【００６９】ユーザが動画像を提示させるときには、提
示部にはたとえば図１０又は図１１のような表示を行
う。図１０は表示させる動画像を大きく表示させてお
り、一方図１１では動画像に付与された重要度レベルを
同一画面内で明示している。これらの表示方法は、用途
によってユーザが選べるようにしておく。ここで、１０
００は重要度レベルを利用して動画の表示を行うときに
重要度レベルのしきい値を調節するためのレバーで、レ
バーを上に上げれば動画像の重要度レベルの高い部分の
みが提示されるようになり、逆に下に下げれば重要度レ
ベルの低い部分までも提示されるようになる。これは、
第１実施例で図６や図７を用いて説明したのと同様であ
る。

【００７０】１００１は、提示時間表示窓であり、レバ
ー１０００によって重要度レベルのしきい値が設定され
たときに、一つの動画の中でしきい値を上回る重要度レ
ベルが付与された部分の合計がどの程度の時間になるか
を表示するものである。この図の例では１２分４１秒と
なっている。ユーザは動画の大まかな内容をある時間内
で見てしまいたいときには、窓１００１の中の時間を見
ながらレバー１０００を調整すればよい。もちろん、第
１実施例で説明したように、直接窓１００１の中に時間
を打ち込むことにより、重要度レベルのしきい値を設定
することも可能である。この際には、窓１００１にマウ
スカーソルをあわせてクリックし、次にキーボード等の
入力装置から時間を入力する。希望の時間に設定ができ
たら、１００８の操作ボタンのうち、「はじめから再生
する」ボタンを押すことにより、動画の中の重要度レベ
ルの高い部分だけを希望の時間内で見ることができる。
この際には、第１実施例で説明した情報の意味的区切り
を利用する場合、及び利用しない場合のどちらでも場合
においても同様の手続きによって動画の提示を行うこと
ができる。

【００７１】１００３は、重要度レベル表示窓であり、
この中には動画の時間軸に対応して付与された重要度レ
ベル１００４が表示されている。また、１００９は、重
要度レベルしきい値設定レバー１０００によって設定さ
れたしきい値のレベルを示している。窓１００３の中に
は通常、動画全体のうちの一部分が表示されており、動
画全体の中のどの部分であるかは１００６の窓内に表示
される。図１１の例では、動画全体が６５分であるのに
対し、重要度レベル設定窓内に表示されているのは約２
０分から３５分までの間の１５分程度である。ユーザは
窓１００３の中に表示された重要度レベルを見ながら、
レバー１０００を動かすことにより重要度レベルのしき
い値を調整することができる。たとえば、動画の中の現
在表示されているフレーム付近に大変興味があり、その
周辺をもっと見てみたいと感じたときには、一時的に
（再生を一時停止するなどして）重要度レベルのしきい
値を下げてから動画の再生を行い、興味のある部分を見
てしまったら再び重要度レベルのしきい値を元のレベル
に戻す、といったことができる。

【００７２】以上の操作は、動画だけではなく静止画群
や音声に対しても行うことができる。ここでいう静止画
群は、何らかの順序を持った静止画の集まりである。例
えば、旅行に行ったときに撮った写真は、撮影した順番
を持った静止画の集合であるから、ここで言う静止画群
である。静止画群を提示する際には、窓１００３の横軸
は時間ではなく、静止画の何番目という順序を表すこと
になる。また、映像を持たない音声は、１００２の表示
窓に音声の波形を表示したり、または特定の音のオン・
オフの情報をバーチャート形式で表示するようにしても
よい。波形の場合には１００３上のカーソルの位置に対
応した時間を中心にその前後の時間にわたる波形が表示
される。音のオン・オフの情報を表示する場合には、マ
ウスカーソルの位置に対応した一瞬の状態の表示、又は
波形の場合と同じく前後の時間にわたるオン・オフ状態
の表示を行う。

【００７３】また、動画像、静止画群、音声のどの場合
も、ユーザの設定した重要度レベルのしきい値により選
択された部分を再生する際に、再生速度、もしくは再生
時間はユーザによって自由に選択できるようにしてもよ
い。例えば、動画や音声の場合は、通常の再生速度で表
示するほか、再生速度をその部分の重要度によって決め
られた倍率だけ変化させて提示する方法や、カットで区
切られた一つのシーン（音声の場合は、一小節などの区
切り）は同一の時間で表示させるように再生速度をコン
トロールするなどの方法から選んで再生する。静止画群
の場合は、ユーザの指示があるまで次の静止画を表示さ
せない方法、一枚の静止画につき一定の時間だけ表示さ
せる方法、または重要度によって決められた時間だけ表
示させる方法などから選択できる。

【００７４】ここまで重要度レベルは動画一つにつき一
種類しか付与されていないことを前提に説明してきた
が、重要度レベルは複数付与することも可能である。例
えば、一つの動画や音声、静止画群に対しても利用者ご
とに重要度レベルを用意することもできるし、また、目
的別によっていくつかの重要度レベルを付与することも
可能である。具体的には、例えば動画がドラマであった
ときに、アクションシーンを見るといった目的や、泣か
せるシーンを見たいといった目的でそれぞれ別の重要度
レベルを付与することができる。

【００７５】１００５は、重要度レベル選択ボタンで、
それぞれのボタンに用意されている重要度レベルの名前
が表示されている。例えば、利用者の名前であったり、
アクションシーン、泣かせるシーンといった目的別の名
前などが表示されている。他の重要度レベルを使って動
画の提示を行うためには、ボタン１００５を選択し直せ
ばよい。窓１００３の中では他の重要度レベルを選択す
ると、それに応じて指定されたボタンに対応する重要度
レベルを表示するよう変更される。

【００７６】重要度レベルの種類として、ユーザの履歴
を設けることもできる。これは、動画の中でユーザが既
に見てしまった部分とまだ見ていない部分とを重要度レ
ベルとして明示させるためのものである。まだ見ていな
い部分には高い重要度レベル、そして既に見てしまった
部分については低い重要度レベルを付与しておけば、重
要度レベルのグラフを見ることによってそれぞれの分類
が一目瞭然になる。むろん、重要度レベルのしきい値設
定レバー１０００を調整してまだ見ていない部分のみを
選択して提示させることも可能になる。この場合、重要
度レベルはユーザが動画を見るたびに更新されなければ
ならない。

【００７７】複数の重要度レベルの中から一つの重要度
レベルを選択して動画の再生時に利用するほかに、複数
の重要度レベルを選択し、選択された重要度レベルに所
定の演算を施して新たな重要度レベルを定義し、利用す
ることもできる。例えば、二つの重要度レベルを選択
し、どちらかつ重要度レベルがユーザの設定したしきい
値を上回る部分を選択して表示させたい場合には、二つ
の重要度レベルの論理和をとればよい。より具体的に
は、「スリル」という重要度レベルと「美女」という重
要度レベルが用意されているときに、スリルがある、又
は美女が登場しているシーンだけを選択して見たいもの
とする。そして、「スリル」の重要度レベルが図１２の
（ａ）、「美女」の重要度レベルが図１２の（ｂ）のご
とくであったものとする。ユーザは「スリル」と「美
女」の重要度レベルを選択し、さらに「どちらかがしき
い値を上回る部分の提示」を行う旨を指示し、重要度レ
ベルのしきい値を入力する。これらの重要度情報はユー
ザが重要度レベルの選択を行ったとき、又は動画、音
声、制止画群など源情報を選択したときに、記録媒体１
０７から読み出され、重要度情報一時記憶部１１０に保
存される。そして、二つの重要度情報の演算を行うため
にそれぞれの重要度情報は修正演算部１０４に送られ
る。

【００７８】修正演算部１０４では、「スリル」があ
る、又は「美女」が出ている場面を選択して提示するた
めに、まずそれぞれの重要度レベルについて、操作イン
タフェース１０９より入力された重要度レベルのしきい
値を上回る部分に１、下回る部分に０を割り当て、２値
化する（図１２の（ｃ）、（ｄ））。そして、対応する
フレームごとに２値化された重要度レベルの論理和をと
る（図１２の（ｅ））。

【００７９】このとき、演算結果として１が得られたフ
レームが提示されるフレームである。このようにして二
つの重要度レベルの演算により新たに作られた重要度レ
ベルは重要度情報一時記憶部１１０に送られる。必要で
あれば、新たに作られた重要度レベルは記録制御部１０
３を介して記録媒体１０７に記録される。重要度情報一
時記憶部１１０に記録された新たな重要度レベルは、実
際にユーザに提示される部分を決定するため、提示部分
選択部に送られ、しきい値との比較の結果、提示部分が
決定される。

【００８０】二つの重要度レベルの間の演算としては、
上記の論理和のほか、論理積を使うこともできる。これ
は、二つの重要度レベルの両方が指定したしきい値を越
えている場面だけを見たい場合に利用することができ
る。上記の例では、「スリル」があってなおかつ「美
女」も登場している場面を見たいときに利用できる。二
つの重要度レベルの論理和を求めるには、修正演算部１
０４に送られた二つの重要度レベルを先程と同様にしき
い値と比較をして２値化する。そして、２値化された重
要度レベルの論理積をとって新たな重要度レベルとし、
重要度情報一時記憶部１１０に送る。その後の処理は論
理和の時と同様である。

【００８１】また、その他の演算として二つの重要度レ
ベルの平均（和）も利用できる。これは、例えば複数の
人が同一の映像に対して重要度レベルを付与した場合
に、利用者がなるべく客観的な重要度レベルを利用した
いと思っている場合や、様々な目的別の重要度レベルが
付与されている映像に対して、全体的な重要度レベルを
利用したいときなどに便利である。平均重要度レベルを
求めるため、まず論理和を行うときと同様に二つの重要
度レベルが重要度情報一時記憶部１１０から修正演算部
１０４に送られる。修正演算部では二つの重要度レベル
の平均を計算し、新たな重要度レベルとする。新たな平
均重要度レベルは重要度情報一時記憶部１１０に送り返
され、先程と同様、必要があれば記録媒体１０７に記録
される。そして提示部分を決定するため、新たな平均重
要度レベルは提示部分選択部へ送られ、操作インタフェ
ース１０９に入力されたしきい値との比較により提示部
分の選択が行われる。

【００８２】重要度レベル間の演算を行って新たな重要
度レベルを求める方法は、二つの重要度レベルだけに限
られるものではない。もっと多くの重要度レベルを選択
し、それらの間の複数の演算を組み合わせて新たな重要
度レベルを求め、利用することも可能である。

【００８３】また、図１０や図１１のような提示の他
に、図１３や図１４のような提示の方法を選択できるよ
うにしておく。

【００８４】図１３では重要度レベルの設定レバー１０
００や時間表示窓１００１は図１０や図１１と同様であ
る。しかし、レバー１０００が設定されると、付与され
た重要度レベルがしきい値を上回る部分の中から代表的
なフレームが選ばれ、提示される点が異なる（１１０
０）。代表フレームは重要度レベルの高いフレームを表
示可能な枚数だけ選択するのがよいが、時間的に隣接し
たフレームばかりが表示されないように所定の時間幅を
設けて、その時間幅内では一つのフレームしか表示され
ないようにすると、動画全体から代表フレームが選ばれ
て都合がよい。また、重要度レベルのしきい値を低く設
定すると提示される動画の時間が長くなり、これに伴っ
て表示する代表フレーム数も多くなってしまう。このよ
うな場合は複数のページにまたがって代表フレームの表
示を行うようにするとよい。

【００８５】代表フレームにマウスカーソルを合わせ、
クリックして指定すると、図１５のように動画を表示す
る窓１１０１が表示され、指定されたフレームから動画
が再生される。

【００８６】図１４の表示は図１３のような代表フレー
ムの表示と重要度レベルのグラフとを同時に表示させた
ものである。代表フレームが動画像のどの部分に対応し
ているかを明示させているので、このような表示を行う
ことによりユーザは自分で動画のどの部分を見るのかが
明らかになる。

【００８７】静止画群の場合には、表示窓１１００には
やはり重要度レベルによって選ばれた静止画が表示され
る。ただし、重要度レベル表示窓１００３の横軸は時間
ではなく、静止画の順序を表している。音声の場合に
は、表示窓１１００には表示窓１００２と同様に音声波
形や特定の音のオン・オフの状態を示すバーチャートが
表示される。

【００８８】以上のような手続きでユーザはすでに付与
されている重要度レベルを利用して、動画の中の興味の
ありそうな部分だけを選択的に提示することができる。

【００８９】次に、ユーザが手入力で動画、静止画群ま
たは音声に重要度レベルを付与する場合、及び既に付与
されている重要度レベルを修正する（第１実施例とは異
なる）場合のユーザの手続き、及び提示部への提示につ
いて説明する。

【００９０】図１６は手入力により動画の重要度レベル
の付与、もしくはすでに付与されている動画の重要度レ
ベルの手入力による修正を行う場合の、提示部に提示さ
れる画面の例である。

【００９１】重要度レベル入力もしくは修正に先立っ
て、入力もしくは修正したい重要度レベルを重要度レベ
ル選択ボタン１００５で選択しておく。１２００は重要
度レベル設定窓で、この中で重要度レベルの入力もしく
は修正を行う。１００６は重要度レベル設定窓１００３
に表示されている時間部分を表示したものであり、窓全
体が動画像全体、そして斜線部分が窓１００２に表示さ
れている時間部分に相当する。１２０１は現在１００２
に表示されているフレームがどの部分であるかを表示す
るための表示フレーム位置マークである。

【００９２】重要度レベル設定窓１２００は、左右方向
に動画の時間が対応しており、重要度レベル設定窓の上
部には時間の目盛りが表示されている。重要度レベル設
定窓内にマウスカーソル１００７が入ると、マウスカー
ソルの位置に対応した時間のフレームが自動的に１００
２に表示される。また、重要度レベル設定窓１２００内
からマウスカーソルが外に出るときには、マウスカーソ
ルが出る瞬間のカーソル位置に対応した時刻の映像を表
示したままになる。静止画群に対して付与された重要度
レベルの編集を行っているときには、静止画群の再生の
際と同じように重要度レベル設定窓１２００の横軸は静
止画の何枚目という順番を表す。マウスカーソルが重要
度レベル設定窓内にあるときには、マウスカーソルの横
方向の位置に対応した順番の静止画が常に表示窓１００
２に表示される。一方、音声に付与された重要度レベル
の編集を行うときには、表示窓１００２には重要度レベ
ル設定窓１２００内のカーソルの横方向の位置に対応し
た時間を中心とするその前後にわたる区間の波形が表示
される。波形ではなく、特定の音のオン・オフを示すバ
ーチャートの表示でもよい。そして、重要度レベル設定
窓１２００内でマウスカーソルを移動させると、移動さ
せた速度に合わせて対応した時間の音を出力する。マウ
スカーソルをゆっくり動かせばゆっくりとした音が出力
され、すばやく動かせば早い音が出力される。このと
き、マウスカーソルを動かした速度によって音の高低が
変化してしまうので、これを抑制する処理を行うように
してもよい。重要度レベルの設定を行うには、図１７乃
至図１９のような操作を行うので、以下で説明する。

【００９３】まだ重要度レベルが付与されていないとき
には、全ての部分で基準レベルの重要度レベルが付与さ
れている。従って、重要度レベル設定窓内の重要度レベ
ル表示は基準レベルだけの平坦なものである。まず、重
要度レベルを付与したい部分の最初のフレームを表示さ
せるように重要度レベル設定窓内でマウスカーソルを動
かす。最初のフレームが１００２の表示窓に表示された
らマウスボタンを押す（図１７）。マウスボタンは押し
たままマウスカーソルを移動させ（ドラッグ）、重要度
レベルを付与したい最後のフレームを表示させるように
マウスカーソルを移動させる。このとき、重要度レベル
設定窓内でのマウスカーソルの動きは、左右方向は動画
の時間に対応し、上下方向は重要度レベルに対応してい
る。従って、重要度レベルを付与する部分の最後のフレ
ームを表示させるように左右にマウスカーソルを移動さ
せつつ、マウスカーソルを上下方向にも移動して希望の
重要度レベルに合わせる（図１８）。目的のフレームの
表示と付与したいい重要度レベルが同時に得られたなら
ば、マウスボタンを離す（図１９）。以上の操作によ
り、はじめは平坦であった重要度レベルが図１９のよう
に指定した部分だけ変更される。

【００９４】一度の操作で複数の重要度レベルを設定さ
れた部分には、同じ重要度レベルの値が付与される。ま
た、ここでは、はじめに重要度レベルを付与したい区間
のはじめのフレームを指定し、次に最後のフレームをマ
ウスで指定したが、はじめに重要度レベルを付与したい
区間の最後のフレームを指定し、次にはじめのフレーム
と重要度レベルを同時に指定することも可能である。

【００９５】図１７から図１９では、重要度レベルは基
準レベルよりも上に設定されたが、基準レベルよりも下
側の重要度レベルを指定し、負の重要度レベルを設定す
ることも可能である。動画の中にあまり表示させたくな
い部分が含まれるような場合には、負の重要度レベルを
設定するとよい。重要度レベルが設定されていない部分
に重要度レベルを付与するには、以上のような操作を繰
り返し行えばよい。

【００９６】一度設定された重要度レベルに変更を加え
る（指定した範囲内の重要度レベルを一定倍率で拡大／
縮小する）ときには、まずマウスカーソルを重要度レベ
ル設定窓内の変更したい部分のはじめの部分にマウスカ
ーソルを合わせる。表示窓１００２に表示されたフレー
ムが修正開始部分のはじめのフレームであることを確認
した後、マウスボタンを押す（図２１、図２１）。マウ
スボタンを押したままマウスカーソルを移動させると、
左右方向の移動で重要度レベルを変更する範囲を、そし
て上下方向の移動で変更範囲内の重要度レベルの拡大／
縮小レベルを指定する（図２２）。このとき、拡大／縮
小の倍率は変更範囲内の最大の重要度レベルがマウスカ
ーソルの上下方向の位置に対応するように設定される。
即ち、変更区間の重要度レベルの最高値がＩmax 、マウ
スカーソルの上下方向の位置に対応する重要度レベルが
Ｉc であるとき、変更範囲内の重要度レベルは全てＩc
／Ｉmax 倍される。変更範囲と変更値が決定したらマウ
スボタンを離し、変更を確定させる（図２３）。このと
き、マウスをドラッグしたまま重要度レベルの基準値よ
りも低い位置にマウスカーソルを合わせて確定すると、
変更範囲内の正の重要度レベルを負の重要度レベルに変
更することができる。もちろん同様の操作で負の重要度
レベルを正に変更することもできる（図２４の（ａ）〜
（ｃ））。

【００９７】また、最後に基準レベルの位置に合わせて
マウスボタンをはなせば、変更範囲が全て基準レベルに
設定し直されるので、重要度レベルをキャンセルする際
に利用することができる。

【００９８】以上の説明では、重要度レベルを新たに設
定する手続きと、設定されている重要度レベルを修正す
る手続きとは同じものである。新たな設定と修正のどち
らが行われるかは、マウスをドラッグして左右に動かす
ことによって指定する時間範囲に、既に設定された重要
度レベルが存在するか否かによって決定される。指定時
間範囲内の重要度レベルが全て基準レベルであれば新た
な重要度レベルの設定になり、指定時間範囲内に基準レ
ベル以外の重要度レベルが含まれていれば修正が行われ
る。

【００９９】また、重要度レベルの設定及び修正は、重
要度レベル設定窓１２００内に表示された時間範囲内で
しか行えない。重要度レベル設定窓内の時間範囲を変更
するには、表示範囲指定窓１００６を使う（図２５〜図
２７）。表示範囲指定窓全体は動画全体を表し、そのう
ち斜線部分が重要度レベル設定窓内に表示されている時
間範囲である。表示範囲指定窓の上部には対応する時間
が表示されている。重要度レベル設定窓内の表示時間範
囲を変更するには、表示範囲指定窓内の斜線部分にマウ
スカーソルを合わせ、ドラッグしたまま左右に移動さ
せ、適当なところでマウスボタンを離して移動先を確定
させる。このように斜線部分を移動させると、表示され
る範囲の長さを変更せずに、表示時間範囲を移動するこ
とができる。一方、斜線部分の先頭、もしくは終端部分
をドラッグして移動させると、ドラッグされた先頭、も
しくは終端部分がマウスカーソルとともに移動する。こ
のとき、表示範囲指定窓内の斜線部分の大きさはマウス
カーソルの動きに伴って変化し、従って重要度レベル設
定窓内に表示される時間範囲の長さも変化する。

【０１００】重要度レベル設定窓に表示される時間範囲
（静止画群の場合は何番目から何番目という順番の範囲
になる）の変更は、表示範囲指定窓内で行うほか、図１
６の１２０２や１２０３のボタンをマウスでクリックす
ることによっても行うことができる。１２０２は左右へ
のスクロールボタンで、マウスカーソルをこのボタンに
合わせてマウスボタンを押すことによって、重要度レベ
ル設定窓に表示される時間範囲がボタンに表示されてい
る方向に移動する。表示時間範囲の移動に伴って、表示
範囲指定窓１００６の中の斜線部分も移動する。図２５
は右（時間の順方向）へのスクロールボタンを押してい
るときの表示例である。スクロールを行っているときに
は、重要度レベル指定窓に対して表示フレーム位置マー
ク１２０１は動かない。従って、スクロールボタンを押
してスクロールを行っている最中は、画像表示窓１００
２に表示されるフレームは表示フレーム位置マーク１２
０１の指し示す時刻に対応して刻々と変化する。従っ
て、スクロールボタンは図１６のように重要度レベル設
定窓の右端と左端に配置するのが好ましい。なぜなら
ば、まず右にスクロールする際には、重要度レベル表示
窓内の右端の映像を表示させておくとどこまでスクロー
ルすべきかが決定しやすい。そこで右のスクロールボタ
ンを重要度レベル設定窓の右端に設定しておくと、マウ
スカーソルが重要度レベル設定窓内を出る位置が自然に
右端に近い位置になる。その結果として表示フレーム位
置マークも右端に固定されて、表示されるフレームも重
要度レベル設定窓の右端の部分になるためである。左
（時間をさかのぼる方向）へのスクロールボタンは同様
の理由で重要度レベル設定窓の左端が望ましい。

【０１０１】１２０３は表示時間範囲の倍率変更ボタン
で、ボタンに「２」と表示されているボタンをクリック
すると、重要度レベル設定窓内に表示されている時間区
間内の表示の詳細さが２倍になる。すなわち、重要度レ
ベル設定窓内に表示される範囲は半分になるが、その分
大きく、詳しく表示されるようになる。このとき、表示
フレーム位置マーク１２０１に対応しているフレームが
重要度レベル設定窓内で位置を変えないように表示され
る。図２６は倍率変更ボタン１２０３を押す前の表示例
で、倍率変更ボタンの「２」を押した後は図２７の表示
に変わる。倍率変更ボタン１２０３の「２」を押した後
では、表示フレーム位置マークの左右の表示時間範囲が
半分になっている。表示倍率変更ボタン１２０３の「１
／２」は、「２」とは逆に表示の詳細さを半分にして、
表示される時間範囲を２倍にするボタンである。やはり
倍率を変えたときには表示フレーム位置マークのフレー
ムが重要度レベル設定窓内で位置を変えないように表示
される。また、いずれの表示倍率の変更も、変更を指定
した後には表示位置指定窓１００６内の斜線部分の大き
さが、２倍もしくは１／２になる。表示倍率変更ボタン
１２０３は、重要度レベル設定窓１２００の中心付近に
配置することが望ましい。これはスクロールボタンの配
置と同様の理由による。即ち、表示の倍率を変更する際
には、倍率変更後でも重要度レベル設定窓１２００内の
中心部分を表示させておきたい場合が多い。そのために
は表示フレーム位置マークを重要度レベル設定窓１２０
０内の中心部分においておく必要がある。従って、マウ
スカーソルが重要度レベル設定窓１２００内から出る位
置を中心部分にしなければならず、結局、倍率変更ボタ
ン１２０３を中心部分に設定しておけば自然にこのよう
な操作が行えることになるからである。

【０１０２】なお、同実施例では変更できる倍率が２倍
と１／２倍の２種類のみであるが、もっと多くの倍率を
用意したり、ユーザが倍率を指定できるようにしておい
てもよい。

【０１０３】以上のような重要度レベルの選択、新規設
定、変更、及び重要度レベルを付与する範囲の変更を行
えば、動画や音声、静止画群に対する重要度レベルの設
定が行える。

【０１０４】次に、いったん重要度レベルを付与した後
に、もう一度変更がないかどうか確かめるプレビュー操
作について説明する。

【０１０５】重要度レベルを付与した後に、妥当なレベ
ル付けを行ったかどうかを確かめる操作がプレビューで
ある。プレビューは図２８のような表示のもとで行う。
図２８の表示は右側の一部分を除いて図１１の表示と同
じである。従って、図１１と同一の部分を利用すれば、
通常の再生と全く同様の操作が行える。ここで、何回か
異なる重要度レベルのしきい値設定を行って動画の再生
を行い、もしも重要度レベルの設定が満足のいくもので
あれば変更を加えることなく重要度レベルの設定を終了
すればよい。

【０１０６】しかしながら、満足のいかない重要度レベ
ルが付与されている部分や、修正したい部分がいくつか
見つかり、修正を行う必要が生じることがある。このよ
うな場合には、マーキングボタン１３００やジャンプボ
タン１３０１を使う。マーキングボタンは修正したいと
ころをマーキングしておき、後でまとめて修正する場合
に有効である。プレビューで再生を行い、修正したいと
ころが見つかるたびにマーキングボタン１３００を押し
ておく。一通りプレビューによる再生が終わったら、再
び手入力による重要度レベルの付与、修正を行う画面の
表示に戻る（図２９）。このとき、マーキングされた位
置にはマーキングを示す印１３０２が表示されている。
従ってこの部分を見つけて重要度レベルの修正を行えば
よい。修正の操作は上述したとおりであるが、マーキン
グされた位置の重要度レベルが変更されたときには、マ
ーキングは自動的に消えるようにしておく。また、動画
中にマーキングされた部分が存在するときには、マーキ
ングへのジャンプボタン１３０３が表示される。このボ
タンを押すと、現在表示されているフレーム位置よりも
時間的に先の部分でマーキングされているところを探し
て、その部分が表示されるように重要度レベル指定窓内
の時間範囲が変更される。このボタンの利用により、次
々にマーキングポイントにジャンプして効率的に修正が
行える。

【０１０７】ジャンプボタン１３０１は、プレビュー中
に直ちに重要度レベルの修正を行いたい場合に利用す
る。プレビュー中にジャンプボタンを押すと、直ちに図
１６の手入力による重要度レベルの付与、修正の表示が
行われる。重要度レベル設定窓内の範囲はジャンプボタ
ンを押したときにプレビューで表示されていたフレーム
を中心とするように設定されている。従って、ジャンプ
ボタンを押したときのフレーム付近の重要度レベルが直
ちに修正できる。

【０１０８】以上のようなプレビュー及び修正を繰り返
し、修正する部分がなくなれば、重要度レベルの付与、
修正作業は終了する。

【０１０９】（第３実施例）次に、本発明に係る情報処
理装置で、重要度レベルを推定する方法として眼球運動
観察を利用した例について、図面を参照して説明する。

【０１１０】図３０は第３実施例に係る情報処理装置に
おいて、視点移動の様子から重要度レベルを推定する方
法を示すグラフである。

【０１１１】以下で説明する重要度レベル推定の過程
は、上述した第１実施例において説明した判定部１０２
の内部処理に相当する部分である。眼球運動測定装置か
ら出力されるデータは、適切な補正と演算処理を施して
画面上で利用者が実際に見ている視点データへと変換さ
れる。眼球運動測定装置から視点データを出力するまで
の過程は任意の方法でよい。眼球運動測定装置には現在
のところ、眼球に赤外線を照射して強膜からの反射光強
度を観測するもの、目の周辺に電極を取り付けて眼球内
の電位差を観測するもの、電磁石を内蔵したコンタクト
レンズを装着して磁界を検出するもの、あるいは目の画
像を撮影して画像処理によって視点を計算するもの等が
知られている。

【０１１２】以上のようにして得られた視点データの時
間差分（微分）をとり、時刻ごとの視点移動速度９０１
を求める。人間の眼球運動の中で最も早い運動であるサ
ッケードは、主に視対象を２０〜５０ミリ秒の間に移す
ときに起こるが、同実施例の情報処理装置では、上記視
点移動速度９０１がしきい値９０２を越える部分をサッ
ケード期間９０３とみなす。サッケード中は速い眼球運
動のため、視覚に入力される解像度は低いことが知られ
ているが、サッケードの前（９０４）数十ミリ秒から、
サッケードの後（９０５）２００ミリ秒程度までの間、
不鮮明な像となることが解明されている。したがって、
一連のサッケード前９０４、サッケード期間９０３、サ
ッケード後９０５の間は利用者が画面から得ている情報
量は少ないものとみなすことができる。従って、重要度
レベルを得たい期間９０６に対し、「利用者が画像から
情報を効率よく得た時間」すなわち高情報密度時間９０
７の合計の、重要度レベル測定期間９０６に対する比を
もって重要度の高さの指標とすることができる。重要度
レベル測定期間９０６は、第１実施例の中では５秒単
位、カット単位などとして説明した。ここで、しきい値
９０２は、１０〜５０［度／秒］程度の値である。

【０１１３】図３１に同実施例の方法により視線解析か
ら重要度レベルを推定した実験の結果を示す。この実験
においては、被験者は静止画像を１５枚提示され、１枚
ごとに自由な時間だけ見ることを許されている。従っ
て、被験者が視察を終えるまでの時間を被験者自身の重
要度の高さを評価する一つの尺度としてよい。図中で横
軸は視察時間、縦軸は本発明の方法で推定した重要度レ
ベルである。両者の間には、約８０％の相関関係が見ら
れた。もしもサッケードが画像内容に関わらず一定頻度
で起こるものであるならば、提示時間と比例してサッケ
ード回数も増加するために重要度レベルは一定となる。
つまり、図中では水平線上に点が並ぶはずであるが、図
３１に見られるように長く見た（＝重要度が高かったと
考えられる）画像では比較的高い重要度レベルを推定し
ており、同実施例の方法の可能性を裏付けるものであ
る。

【０１１４】以上により、画像を見ている際の利用者の
無意識で自然な反応である眼球運動から、利用者の重要
度レベルを推定することができる。

【０１１５】

【発明の効果】以上詳述したように、本発明に係る情報
処理装置によれば、マルチメディア情報に例えば重要度
レベルという付加情報を付与、修正することが可能にな
り、その重要度レベルを用いた情報の特徴抽出が、利用
者の意図を反映した形式で、かつ高度な知識処理を必要
とせず実現することができる。

【０１１６】このように、情報の特徴抽出が容易になる
ことで、利用者が情報にアクセスする時間の短縮が可能
になり、ネットワークへの負担軽減に寄与するとともに
利用者に専門的な知識を強要することのない使いやすい
情報アクセスのインタフェースを提供できる。

【図面の簡単な説明】

【図１】本発明の実施例に係る情報処理装置の構成を示
すブロック図。

【図２】第１実施例に係る情報処理装置の重要度レベル
を修正するアルゴリズムを示すフローチャート。

【図３】第１実施例に係る情報処理装置のオーバーフロ
ー区間の重要度レベルの変化を推定する方法を説明する
ための概念図。

【図４】第１実施例に係る情報処理装置の重要度レベル
の変更・修正を行う際の操作方法を説明するための概念
図。

【図５】第１実施例に係る情報処理装置の変更先の重要
度レベルが決定されたときの変更手続き方法を説明する
ための概念図。

【図６】第１実施例に係る情報処理装置の情報の意味的
区切りを利用しない加工・提示の方法を説明するための
概念図。

【図７】第１実施例に係る情報処理装置の情報の意味的
区切りを利用した加工・提示の方法を説明するための概
念図。

【図８】第１実施例に係る情報処理装置の「順次提示」
を行う際のアドレス生成部の動作原理を説明するための
概念図。

【図９】第１実施例に係る情報処理装置の情報が音楽
（曲）であって、情報の区切りがわかっている場合の動
作原理を説明するための概念図。

【図１０】第２実施例に係る情報処理装置の提示部の表
示例を示した図。

【図１１】第２実施例に係る情報処理装置の提示部の表
示例を示した図。

【図１２】第２実施例に係る情報処理装置の複数の重要
度レベルを利用した処理方法を説明するための概念図。

【図１３】第２実施例に係る情報処理装置の提示部の表
示例を示した図。

【図１４】第２実施例に係る情報処理装置の提示部の表
示例を示した図。

【図１５】第２実施例に係る情報処理装置の提示部の表
示例を示した図。

【図１６】第２実施例に係る情報処理装置の提示部の表
示例を示した図。

【図１７】第２実施例に係る情報処理装置の重要度レベ
ルを設定する際の操作方法を説明するための概念図。

【図１８】第２実施例に係る情報処理装置の重要度レベ
ルを設定する際の操作方法を説明するための概念図。

【図１９】第２実施例に係る情報処理装置の重要度レベ
ルを設定する際の操作方法を説明するための概念図。

【図２０】第２実施例に係る情報処理装置の重要度レベ
ルに変更を加える際の操作方法を説明するための概念
図。

【図２１】第２実施例に係る情報処理装置の重要度レベ
ルに変更を加える際の操作方法を説明するための概念
図。

【図２２】第２実施例に係る情報処理装置の重要度レベ
ルに変更を加える際の操作方法を説明するための概念
図。

【図２３】第２実施例に係る情報処理装置の重要度レベ
ルに変更を加える際の操作方法を説明するための概念
図。

【図２４】第２実施例に係る情報処理装置の重要度レベ
ルに変更を加える際の操作方法を説明するための概念
図。

【図２５】第２実施例に係る情報処理装置の重要度レベ
ルの設定及び修正を行う際の操作方法を説明するための
概念図。

【図２６】第２実施例に係る情報処理装置の重要度レベ
ルの設定及び修正を行う際の操作方法を説明するための
概念図。

【図２７】第２実施例に係る情報処理装置の重要度レベ
ルの設定及び修正を行う際の操作方法を説明するための
概念図。

【図２８】第２実施例に係る情報処理装置のプレビュー
操作を説明するための概念図。

【図２９】第２実施例に係る情報処理装置のプレビュー
操作を説明するための概念図。

【図３０】第３実施例に係る情報処理装置の視点移動の
様子から重要度レベルを推定する方法を示すグラフ。

【図３１】第３実施例で示した方法により視線解析から
重要度レベルを推定した実験の結果を示す図。

【符号の説明】

１０１…検出器、１０２…判定部、１０３…記録制御
部、１０４…修正演算部、１０５…読み出し制御部、１
０６…画像提示部、１０７…記録媒体、１０８…入力装
置、１０９…操作インタフェース、１１０…重要度情報
一時記憶部、１１１…提示部分選択部、１１２…アドレ
ス生成部、１１３…原情報一時記憶部、１１４…画面作
成部、１１５…音声作成部、１１６…音声提示部、３０
１…オーバーフロー区間、３０２…オーバーフロー区間
の入口、３０３…オーバーフロー区間の出口、３０４…
推定される重要度レベル、４０２…重要度レベルが極大
値を記録した画面、４０３…順位変更を行いたい画面、
４０５…順位変更先の位置、６０１…しきい値、６０３
…重要度レベルの時間推移、６０４…選択される時間区
間、６０５…選択される時間区間内での極大値、７０２
…シーンチェンジ、７０３…カット、７０４…カットご
との最大値、７０５…しきい値、７０６…重要度レベル
密度、８０２…重要度レベルの高いフレーズ、９０２…
サッケードのしきい値、９０４…サッケード前の低情報
期間、９０５…サッケード後の低情報期間。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 画像情報及び音声情報の少なくとも一方
   を利用者に提示する情報処理装置であって、 上記情報を提示する画面と同一の画面内において、上記
   提示された情報に対し所定の情報単位に所望の評価値を
   入力、修正する手段を具備してなることを特徴とする情
   報処理装置。
2. 【請求項２】 上記入力修正手段は、同一の情報に対し
   て複数種類の評価値を入力、修正する手段を含むことを
   特徴とする請求項１記載の情報処理装置。
3. 【請求項３】 さらに上記複数種類の評価値の中からい
   ずれかの評価値を選択する手段と、上記情報の中から上
   記選択された評価値が所定の値以上の情報のみを抽出し
   て提示する手段とを具備してなることを特徴とする請求
   項１又は２記載の情報処理装置。
4. 【請求項４】 上記選択手段は、二つ以上の評価値を選
   択する手段を含み、さらに上記選択手段により二つ以上
   の評価値が選択された際に、これらの評価値から所定の
   数値演算により新たな評価値を算出する手段とを設け、
   上記提示手段は、この新たに算出された評価値に基づい
   て抽出を行うことを特徴とする請求項３記載の情報処理
   装置。
5. 【請求項５】 上記評価値は、所定の範囲内において設
   定される値であって、上記評価値の最低値又は最高値の
   いずれかが既に設定された後に、この最低値を下回る評
   価又は最高値を上回る評価を上記提示された情報に対応
   づける必要が生じた際に、上記入力修正手段は、上記最
   低値を下回る評価又は上記最高を上回る評価を示す評価
   値を暫定的に入力、修正する手段を含み、さらに上記最
   低値を下回る評価又は上記最高を上回る評価を示す評価
   値が暫定的に入力、修正されたときに、この評価値を最
   低値又は最高値に置き換え、この新たに置き換えられた
   最低値又は最高値に基づいて、既に対応づけられた他の
   評価値を所定の期間内において平滑補正する手段を具備
   してなることを特徴とする請求項１、２、３又は４記載
   の情報処理装置。
6. 【請求項６】 さらに上記評価値による情報間の順位を
   管理し、上記情報の順位関係を操作することにより上記
   評価値を訂正する手段を具備してなることを特徴とする
   請求項１、２、３又は４記載の情報処理装置。
7. 【請求項７】 さらに上記提示された情報を視察する際
   の利用者の眼球運動を観測する手段と、この観測された
   眼球運動から眼球運動の速度成分を逐次算出する手段
   と、この算出された速度成分から上記情報に対する評価
   値を得る手段とを具備してなることを特徴とする請求項
   １、２、３、４、５又は６記載の情報処理装置。