JP3579111B2 - 情報処理装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、例えば映像、音声、文書等の情報を統合的に表示、記録、再生、編集するマルチメディア情報処理装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータ（ＰＣ）などに搭載されるマイクロプロセッサの性能向上はめざましく、普及型のＰＣで大量の情報を高速に処理できる環境が整いつつあることは周知である。また、近年の光通信技術や通信制御技術、及び光磁気ディスクや高密度集積回路によるメモリ素子等の発展により前者において情報伝送路が大容量化し、後者において情報蓄積装置が大容量化していることも作用して、家庭やオフィスでも安価な装置で大量の情報を電子的に入手することができるといったことが実現しつつある。
【０００３】
また、同様に簡単な操作で情報を発信することができるため、これまで放送局や新聞社などに限られていた情報発信の特権が、一般の利用者へと広がり、さらに大量の情報が行き交うようになりつつある。このことは、現在のパソコン通信や電子メールや電子ニュース等の普及からもうかがい知ることができる。また、ＰＣに限らずこのように情報をやり取りできる端末は、電子手帳、携帯電話、ファクシミリ等、あらゆる装置の形で浸透している。そして、それらが扱うことのできる情報の種類も、従来の文字情報（テキストデータ）のみから、音声・音楽情報、静止画像情報、動画像情報へと広がり、その品質もそれぞれ飛躍的に向上している。
【０００４】
しかし、情報分類の手法に関しては、旧来の方法がとられている場面が多く、例えば電子ニュースの世界を例にとれば、ニュースグループ（＝話題ごとの「くくり」）が何百と存在し、かつ各ニュースグループには１日数十もの投稿がなされる。そして、ユーザは、その中から自分が必要とする、又は関心のあるニュースを探すために少なからず時間を費やさなければならない。これは各ニュースが、「ニュースグループ→ニュース」という、ごく単純な、かつユーザが通常自分では定義できない層構造で取り扱われているためである。音楽テープやビデオテープにおいても、楽曲・番組ごとの開始位置は、無音部分や録画開始のインデックス信号を検出すること等で判定できるが、その楽曲・番組の内容、又は特に関心のある場面や部分を指し示す情報は記録できないため、ユーザは、それらのラベル等に自らそれらを示す情報を書き込む等より他に方法がない。
【０００５】
これらの情報の分類、又は複数の情報の中から特徴となる部分を抽出する作業を自動化しようとする開発は、現在も盛んに行われている。しかし、それらの中の多くは人間の判断機構を代替することを目標としており、高度な人工知能を必要とし、開発の時間の面からも、また費用の面からも、現時点ではコストがかかりすぎるといわざるを得ない。また、そのような自動分類システムには、ユーザは自分が望むものを指示してやる必要があり、何が見たい、どのような情報を得たい、といったビジョンのはっきりしないユーザには扱いづらい。このような不案内なユーザは、情報があふれる時代にこそ激増するものと想定できる。
【０００６】
むしろ必要とされるのは、「おもしろい（＝ｉｎｔｅｒｅｓｔｉｎｇ ）と感じる場所がここである」と示す情報であり、必ずしもその内容を記述することを必要としているわけではない。たとえば映画の中で１場面だけ魅力的な俳優が出演していたとき、その俳優が誰なのか、男なのか女なのか、さらにそのオブジェクト（被写体）が人間なのか、という情報は常に必要ではなく、ただその場面を指し示してくれる装置であれば十分要件は満たされる場合が多い。にも関わらず、現在の情報分類の流れでは、「情報を装置が精査する→特徴となる部分を候補として抽出する→ユーザが入力した要求情報と照合する→分類・提示を行う」という手順であるため、いったん情報内容の解析を入念に行わなくてはならなくなる。
【０００７】
一方、一般の利用者が情報発信源となりつつある現在、情報加工ツールの要求も高まっている。これまでの加工ツールとしては文書情報のためのワードプロセッサ、図形情報のためのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ ）や描画ソフトウェア等がある。しかし、とりわけビデオや音声に関しては操作性のよい一般向けのツールはきわめて少ないといわざるをえない。利用者は、２台のデッキを接続して、一方のデッキでは目的となる場所を探して再生し、他方のデッキでそれを録画するという作業により「切り張り」編集を行っている。「切り張り」編集を行うためには最低でも２台のデッキが必要であり、また操作も繁雑であるために、一般の利用者は編集作業を敬遠しがちである。現在提案されている編集方法の中には、コンピュータのメモリやハードディスクなどの記憶媒体にビデオ・音声情報をいったん蓄積して、コンピュータの編集環境で情報加工するものもあるが、このためには大容量の記憶媒体を必要とするうえにコストが高く、根本的には「切り張り」の編集であるために操作性の特段の向上は期待できない。
【０００８】
以上のように、簡便で効率的な情報自動分類機構や情報加工手段がないことは、今後のマルチメディア統合環境が普及することへの大きな妨げになる恐れがある。
【０００９】
【本発明が解決する課題】
以上詳述したように、従来の情報処理装置では、多種多様の情報を、情報の種類を越えて効率よく、かつ利用者の意図を反映して分類・整理などを行う手段がなかった。このために、利用者は、その情報の処理作業に時間と労力を割かなければならず、これを装置として自動で行う場合にも、必ずしも個々の利用者に適応して処理できないという欠点があった。また従来は情報の加工方法も繁雑で、その実現のためには高コストとなりやすいという欠点もあった。
【００１０】
本発明は、上記実情に鑑みなされたものであり、多種多量の情報から簡便な操作で効率よく利用者が必要とする情報を加工、提示することのできる情報処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
前述した目的を達成するために、この発明の情報処理装置は、画像情報及び音声情報の少なくとも一方を利用者に提示する提示手段と、前記提示手段により提示されている前記情報の任意の区間に対して連続的に評価値を入力、修正する入力修正手段と、画像情報におけるカットまたは音声情報におけるフレーズの区切りを示す前記情報の意味的区切り間における前記評価値に基づいて、該意味的区切り間の時間区間の評価値を算出する算出手段と、前記算出手段により算出された評価値がしきい値を越える時間区間の合計が所望の時間内で最大となるしきい値を求め、このしきい値を越える評価値の時間区間からなる所望の時間分の時間区間単位の要約を作成する要約作成手段とを具備することを特徴とする。
【００１２】
また、この発明の情報処理装置は、前記算出手段が、前記情報の意味的区切り間における前記評価値の最大値を該意味的区切り間の時間区間の評価値とすることを特徴とする。
【００１３】
また、この発明の情報処理装置は、前記算出手段が、前記情報の意味的区切り間における前記評価値の平均値を該意味的区切り間の時間区間の評価値とすることを特徴とする。
【００１５】
また、この発明の情報処理装置は、画像情報を利用者に提示する提示手段と、前記提示手段により提示されている前記画像情報の任意の区間に対して連続的に評価値を入力、修正する入力修正手段と、前記画像情報のシーンチェンジ間における前記評価値に基づいて、該シーンチェンジ間のカットの評価値を算出する算出手段と、前記算出手段により算出された評価値がしきい値を越えるカットの合計が所望の時間内で最大となるしきい値を求め、このしきい値を越える評価値のカットからなる所望の時間分のカット単位の要約を作成する要約作成手段とを具備することを特徴とする。
【００１９】
【作用】
本発明に係る情報処理装置によれば、例えば動画像を見ながら逐次入力した評価値からいわゆるカット単位の評価値が算出されるので、その結果、該動画像から所望の時間分の動画像を評価値の高い順にカット単位で抽出することが簡単に行えるようになる等、簡便な操作で効率よく利用者が必要とする情報を加工、提示することが可能となる。
【００２２】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
【００２３】
（第１実施例）
図１は第１実施例に係る情報処理装置の構成を示すブロック図である。
【００２４】
同実施例では、利用者の「重要である／ない」についての評価値を入力する方法として、利用者の視線を検出し、その視点の移動の様子から上記評価値（以下、重要度レベルという）を自動判定する場合について説明する。なお、視点の移動から重要度レベルを算出する方法については第３実施例において詳述する。
【００２５】
記録媒体１０７から読み出し制御部１０５を介して読み取られた情報は、提示部１０６に表示されるが、そのときの利用者の視点は検出器１０１によって位置検出される。判定部１０２内では上記視点情報が一定時間分記録されて処理される。この処理は、例えば５秒分の利用者の視点を１／３０秒ごとに検出し、１５０個データが集まるごとに重要度推定計算を行うなどというように行われる。判定部１０２では、送られてきた視点データから、その記録時間内での重要度レベルを算出する。この例では、５秒ごとに、前５秒の重要度レベルが出力されるというように行われる。ここで、重要度レベル算出は、記録間隔と同じ周期で行われる場合に限らない。例えば、今回送られてきた５秒分のデータのうち過去側２．５秒の視点データと、前回送られてきた５秒分のデータのうち現在側２．５秒のデータとを併せて重要度レベル算出を行う、という過程を間に入れることによって、２．５秒間隔で重要度レベル出力が可能になる。当然、同様の方法で出力間隔をさらに短くすることも可能である。
【００２６】
判定部１０２より一定の出力間隔で送られる重要度レベルは、提示情報全体にわたって重要度情報一時記憶部１１０に記憶され、記録媒体１０７に記録される。ここでいう提示情報全体とは、１番組分、映画１本分、写真アルバムの１旅行分等のストーリーの１まとまりに対応する区間等で、通常これらは従来の方法で既に区切りがはっきりしている（ＶＴＲのインデックス信号、映画ソフトの１巻、アルバムの見出し、あるいはコンピュータデータの１ファイル等）。記録媒体１０７は、提示情報が記録されていたものと同一の媒体でも異なる媒体でも構わない。例えば、光磁気ディスクから読み出して提示した画像情報に関する重要度レベル情報は、もとの光磁気ディスクに保存してもよいし、重要度レベル保存用のメモリＩＣを用いてもよい。あるいは通信ネットワークで結ばれた遠隔の記録装置から読み出して提示した情報（たとえばビデオ・オン・デマンド等）に関する重要度レベル情報を、ネットワークを介して元の記録装置に戻して記録してもよいし、利用者が端末として利用しているコンピュータ側で記録しておいてもよい。この例では、提示情報全体にわたって重要度情報を重要度情報一時記憶部１１０に一時記憶する場合を述べたが、情報提示中でも判定部１０２が、逐次、重要度判定を行い、記録媒体１０７において原情報提示と重要度情報記録が同時に行えるような条件下では、情報提示と並行して重要度情報を記録媒体１０７に記録してもよい。
【００２７】
次に、重要度情報を変更したい際、記録された重要度レベルは、記録媒体１０７から読み出され、提示情報全体に関して修正が施される。この修正は、修正演算部１０４によって装置が自動的に行うものと、利用者の操作に従って行われるものとがある。まず修正演算部１０４によって自動的に行われる修正について説明する。
【００２８】
重要度レベルを逐次入力していく場合、時間的に後に入力したレベルほど自由度が低い。たとえば、２時間の映画を見ながら０から１００までの重要度レベルを入力する場合、５５分経過時に最も高い関心をおぼえてレベル１００を付与したとする。しかしその後、１時間４０分経過時に前よりも高い関心をもったと感じても、前を上回る最高のレベルを付与することはもはやできない。そこで以下の方法により、入力限度最高のレベルが持続した場合、実際には入力限度を上回るレベルに達していたと考え、実際の最高レベルを推定する。
【００２９】
図２は同実施例に係る情報処理装置において重要度レベルを修正するアルゴリズムを示すフローチャートである。
【００３０】
この動作は、実際には図１中の修正演算部１０４が、重要度情報一時記憶部１１０と重要度レベル情報をやり取りしながら行われる。以下の説明、及び図２中で、ＤＡＴＡは修正すべきデータ数、ｔｎ はｎ番目（ｎは０から始まる）のサンプリング時刻、Ｉｎ は時刻ｔｎ での重要度レベルである。また（ｔａｖｅ，ｋ ，Ｉａｖｅ，ｋ ）は、（ｔｎ ，Ｉｎ ）を平滑化したときのｋ番目の座標である。ｔｈｏｌｄ，Ｉｈｏｌｄ，ｎ，ｋはこのアルゴリズム内でのみ使用する仮の変数である。Ｉｍａｘ は許容される重要度レベルの最高値で、例えば０から１００の範囲で重要度の高さを入力しようという場合にはＩｍａｘ は１００となる。
【００３１】
図２に示すフローチャートでは、重要度レベルの時間推移を平滑化する部分だけを示している。平滑後レベルＩａｖｅ はステップＳ２０１、ステップＳ２１８に示すように、元の重要度レベルＩと同じ初期値、終了値を持つ。また、重要度レベルが最大値Ｉｍａｘ である状態が３サンプル続いたとき、この区間（以下でオーバーフロー区間という）にＩｍａｘ を越えるレベルが存在しえたと推定し（ステップＳ２０６、ステップＳ２１１）、オーバーフロー区間の入口と出口を元の重要度レベルと一致させる（ステップＳ２１３〜ステップＳ２１７）。後処理でオーバーフロー区間を検出し、区間内の仮想的な最高レベルを推定する。それ以外の区間では、極大値と極小値の中点を平滑後レベルの座標点としている（ステップＳ２０７、ステップＳ２１２）。
【００３２】
次に、平滑後レベル（ｔａｖｅ，ｋ ，Ｉａｖｅ，ｋ ）を利用してオーバーフロー区間の重要度レベルの変化を推定するが、これについて図３を用いて説明する。
【００３３】
オーバーフロー区間３０１内では、区間の入口３０２および出口３０３で区間外の変化と同じ値、同じ傾きを持つような２次又は３次関数と推定する（境界条件）。例えばオーバーフロー区間３０１の入口３０２、出口３０３の時刻がそれぞれｔｓ ，ｔｅ 、入口での平滑後レベルの傾きがＡ、出口での傾きが（−Ｂ）であったとすると、オーバーフロー区間３０１内で推定される時刻ｔでの重要度レベルＩ´（３０４）の式は
【００３４】
【数１】

となる。
【００３５】
次に、このように描かれた連続曲線３０４上で、元の時刻ｔｉ にあるものを新しいＩｉ として置き換える。以上の過程は、それぞれ必要なデータが揃い次第逐次行うことができるので、重要度レベルデータの入力と平行して処理し、入力の終了時にはオーバーフロー区間を推定したＩｉ を確定させることができる。
【００３６】
さて、ここまでで確定したＩｉ ではオーバーフロー区間においてデータはＩｍａｘ 以上の値となっていることがありうるため、全体を０からＩｍａｘ の範囲内に圧縮する必要がある。そこで、以下の式をもってＩｉ を変換する。
【００３７】
【数２】

ここでＷｍａｘ は全体の重要度レベルデータの中での最高値である。ただし、Ｗｍａｘ がＩｍａｘ を越えていない場合にはこの変換は行わない。この変換は、大きな値ほど強く圧縮されるため、元からＩｍａｘ の範囲内にあったデータが受ける影響が少なくて済むという特徴を持つ。また、この変換によって元のデータの大小関係が失われることはない。さらに、平滑化したデータをもとにオーバーフロー区間の推定を行っているために、オーバーフロー区間の入口直前、出口直後の局所的なＩｉ の急峻／緩慢な立ち上がりの影響が小さい。
【００３８】
以上では、重要度レベルが規定値の範囲の最大に達している場合の修正について説明したが、重要度レベルの規定値の最小に達している場合についても同様の方法で修正を施してもよい。
【００３９】
次に、利用者の操作によって重要度レベルの変更・修正を行う場合の例について図４を用いて説明する。
【００４０】
この操作は図１中では以下のようにして処理される。まず利用者は、マウス等の入力装置、又は先に用いた視線検出器をポインティングデバイスとして転用することによって、同実施例の情報処理装置に指示を与える。この指示は、操作インタフェース１０９によって受け止められ、操作インタフェース１０９は利用者の入力に応じた画面／音声変化（これに関しては後で説明する）を出力すべくアドレス生成部１１２に信号を送る。アドレス生成部１１２では、表示すべき原情報の位置を記録媒体１０７上の格納場所（アドレス）として出力し、読み出し制御部１０５へと送る。読み出し制御部１０５は、記録媒体１０７を機械的にコントロールし、媒体上のしかるべき位置から原情報をとりだす。取り出された原情報は原情報一時記憶部１１３へ送られ、既に入力されている重要度情報とともに画面作成部１１４においてグラフィカル・ユーザインタフェースとなり、画像提示部１０６及び音声提示部１１６を介して利用者に提示される。
【００４１】
一方、利用者は、この画面を見ながら重要度レベルを修正するわけだが、この操作に伴う重要度レベルの変更は、修正演算部１０４を介して行われる。既に入力されている重要度レベルは重要度情報一時記憶部１１０に蓄積され、この操作によって修正演算部１０４で修正され、再び重要度情報一時記憶部１１０に帰還する。修正が終了すると、一時記憶された重要度レベル情報は、記録制御部１０３へ出力され、記録媒体１０７上でアドレス生成部１１２によって指定されたしかるべき格納場所へ記録される。当然ながら、重要度情報をいくつかに分割して、分割の一つを重要度情報一時記憶部１１０に蓄積し、修正→帰還→記録→次の分割を一時蓄積、という動作を繰り返してもよい。
【００４２】
ここで、図４に戻り実際の処理について述べる。
【００４３】
上述の方法で重要度レベルを入力した後、本発明の情報処理装置は重要度レベルの極大値、極小値と、それぞれを記録した時刻を列挙する。そして極大値の大きなものから順に、極大値を記録した画像４０２を画面上に提示する（図４の（ａ））。ここで提示する画像の数は、３枚、５枚、１０枚等、任意に設定することができる（図４では３枚の例を示す）。また、提示する画像４０２は、必ずしも極大値を示した瞬間の画像でなくてもよく、その極大値を含むカット（２つの連続したシーンチェンジの間）の先頭画面でもよく、また、提示された画面をマウスでクリックすることで、その最大値を含むカット全体にわたって再生を行うようなものであってもよい。
【００４４】
この提示された画面４０２から、利用者は本装置が利用者自身の重要度レベルをどう推定したかを知ることができる。提示された推定重要度レベルに違和感があるとき、利用者は、この画像を並べ替えることによって、本装置に順位の訂正を指示する。例えば、本装置が２位と推定した場面４０３が、実は１位と推定した場面４０４よりも「重要である」と利用者が感じた場合、利用者は２位の画面４０３を１位の画面の上へと変更する指示を行う。並べ替えの操作は、図１中の入力装置１０８により行うが、キーボード、ボタン又はリモートコントローラのキーパッド等で訂正したい画像（上の例では２位の画面４０３）を選び、次に新しい順位の場所（１位の画像の上の位置４０５）を選ぶ。あるいは、同様の操作をマウスを用いて行ってもよい。また、視線検出装置１０１を利用して、該画面を注視することによって選択を行ってもよい。
【００４５】
順位の訂正が指示されると、本装置は指示された画面前後での重要度レベルをどの値に変更すべきかを決定する。例えば、２位と３位の中間へと訂正を行った場合、２位の重要度レベルと３位の重要度レベルの中間値等となる。あるいは、１位を上回るレベルへの訂正を行った場合、１位と２位の重要度レベルの差と同じだけ１位の重要度レベルより高い値等となる。例えば、１位のレベルが８０、２位のレベルが７８、３位のレベルが７０であるようなとき、１位の部分を２位と３位の間に訂正すると、１位の部分の変更先の重要度レベルは７４となる。また、同じ例で、２位の部分を１位の上に訂正すると、変更先の重要度レベルは９０となる（移動対象となっている２位＝７８は計算に用いないので、８２とはならない）。この訂正の結果は改めて画面に（例えば図４の（ｂ）のように）表示され、利用者は自分の訂正の結果を知ることができる。
【００４６】
以上のように、変更先の重要度レベルが決定されたときの変更手続きを、図５を用いて以下で説明する。
【００４７】
まず、重要度レベルを下方に変更する場合（図５の（ａ））、変更したい極大値５０３をはさんで、その前後の極大値（５０４、５０５）の間の範囲を変更する。変更前の極大値をＩｐ 、変更先の重要度レベルをＩａｄｊ とすると、変更したい極大値の前後の極大値（５０４、５０５）から、前後の極小値（５０６、５０７）の間（５０４から５０６までと、５０７から５０５まで）は、ＩからＩａｄｊ ／Ｉｐ の間を線形に変化する関数を、もとの重要度レベルにかけ合わせる。前後の極小値にはさまれた区間（５０６から５０７まで）では、一定値Ｉａｄｊ ／Ｉｐ をかけ合わせて、新たな重要度レベルとする。図５の（ａ）の下部に示したのは、そのかけ合わせる関数の概形である。一方、重要度レベルを上方に変更する場合（図５の（ｂ））、変更したい極大値５０８をはさんで、その前後の極小値（５０９、５１０）の間を変更する。下方に変更する場合と同様にＩｐ 、Ｉａｄｊ を定義すると、前後の極小値（５０９、５１０）から変更する極大値５０８まで、ＩからＩａｄｊ ／Ｉｐ の間で線形に変化する関数を、もとの重要度レベルにかけ合わせる。同様に図５の（ｂ）の下部に示したのは、そのかけ合わせる関数の概形である。
【００４８】
もし、この変更の結果、重要度レベルが予め設定された重要度レベルの最大値Ｉｍａｘ を越えた場合、図３をもちいて上述したのと同様の方法で、Ｉｍａｘ に収まる範囲へと補正する。この補正は、すべての順位変更が終わってから行ってもよいし、必要に応じて順位変更ごとに行ってもよい。
【００４９】
最後に、以上のようにして入力・補正された重要度レベルを用いて、自動的にもとの情報を加工・提示する方法について説明する。
【００５０】
この場合、図１においては原情報と重要度レベル情報との両者が記録媒体１０７から読み出し制御部１０５を介して読み出され、それぞれ原情報一時記憶部１１３、重要度情報一時記憶部１１０に蓄積されるが、重要度情報一時記憶部１１０の重要度レベル情報に基づいて原情報のうちの提示すべき部分が提示部分選択部１１１によって選択される。これについては後で詳しく述べる。アドレス生成部１１２では、選択された部分に関する情報を提示部分選択部１１１より受け、記録媒体１０７上で提示すべき情報が記録されている場所をアドレスとして出力する。読み出し制御部１０５では、このアドレス情報に基づいて選択的に記録媒体１０７にアクセスし、原情報の部分を原情報一時記憶部１１３に送る。以降の過程はすでに説明した画面表示方法と同じである。
【００５１】
ここでもちろん、アドレス生成部１１２では記録媒体からの読み出し場所を制御する代わりに、原情報一時記憶部１１３からの読み出し場所を制御してもよい。この場合、一般的に読み出しスピードの向上を望むことができる（現状では一般に記録媒体１０７に用いられる光磁気ディスクなどのアクセススピードよりも、原情報一時記憶部１１３に用いられる半導体メモリ素子の方が早い）。以下では提示部分選択部１１１で原情報の部分選択を行う過程を具体的に説明する。
【００５２】
ここで説明する加工・提示の方法は、情報の意味的区切り（動画像のシーンチェンジ、音声・文書の文章単位や段落単位、音楽のフレーズ＝４〜１６小節程度で構成される展開のパターン）を、既存の画像認識、音声認識など別の方法で検出し、その区切りを利用する場合と、しない場合の２通りがある。
【００５３】
まず、区切りを利用しない場合について図６を用いて説明する。
【００５４】
利用者は、情報加工の結果として生成される提示情報に希望する時間的長さを入力する。これはボリュームつまみのようなものによってもよいし、キーボードを用いて直接「何分何秒」と入力してもよい。即ち、時間長を入力する方法であれば、一般に用いられているいかなる方法でも構わない。本装置では、しきい値６０１を、規定の重要度レベル最大値Ｉｍａｘ ６０２より徐々に下げてゆき、重要度レベルの時間推移６０３の中で、しきい値６０１を越える時間区間６０４の合計を計算する。この計算結果が入力された提示希望時間を越えるまで、しきい値６０１を下げる過程を続ける。このようにして提示希望時間を越える直前のしきい値６０１が決定したとき、本装置はしきい値６０１を越える時間区間６０４だけを順次提示する。あるいは、重要度レベルのしきい値以上の極大値６０５の瞬間の情報を画面に列挙しておき、その画面をマウスまたは注視などで選択したときには、この極大値を含んでしきい値を越える時間区間を提示するという方法もある。これによって、利用者は情報の全時間のうち、特に重要度の高い部分だけを選択的に見ることができる。
【００５５】
次に、情報の意味的区切りが既知で、それを利用する場合について図７を用いて説明する。
【００５６】
まず情報が動画像である場合について説明する。
【００５７】
動画像に対応して重要度レベル７０１が付与されており、動画像の意味的区切りであるシーンチェンジ７０２がわかっているとする。時間的にとなりあう２つのシーンチェンジ７０２間の時間区間をカット７０３と呼ぶことにする。１つのカット７０３内では、重要度レベルはそのカット７０３での最大の値７０４に一致させる。こうすることによって、上記の情報の区切りを利用しない場合と同じ方法が利用できる。
【００５８】
即ち、しきい値７０５を徐々に下げ、しきい値７０５を越える時間区間の合計が設定された提示希望時間を越える直前のしきい値７０５を求める。このとき、しきい値７０５を越える時間区間、即ちカットを順次提示することによって、カット単位で要約を作成することができる。
【００５９】
また、カット７０３内の重要度レベルを、そのカットでの最大の極大値を用いるかわりに、カット７０３内の重要度レベルの積分値をカット７０３の長さで割った「重要度レベル密度」７０６に一致させて、上記と同様のカット選択を行うこともできる。
【００６０】
この２つの選択方法が持つ意味の違いは、前者（カット７０３内の重要度レベルは最大の極大値７０４）が、瞬間的な最大の印象の強さでカット７０３を評価するのに対して、後者（カット７０３内の重要度レベルはカット７０３内での平均値７０６）は、カット７０３全体が与えた印象の強さで評価していることである。
【００６１】
以上の中で「順次提示」を行う際のアドレス生成部１１２の動作の例を図８を用いて説明する。
【００６２】
図８中の折れ線グラフのうち、右にあるもの（（ｂ））は図６のグラフを９０度回転したものである。図６を用いて説明した方法で選択された部分がハッチングして示してある。この様な場合、選択された部分を順次提示する時には、アドレス生成部１１２は、図８の左（（ａ））に示すようなアドレスを出力する（ただしこれは記録媒体１０７上に原情報の時間経過と線形に記録がなされた場合である。時間経過と因果関係のない配置で原情報が記録されている場合、図８左のグラフの縦軸はアドレスの代わりに提示すべき時刻位置を示す）。即ち、要約提示の際、選択された時間区間では正常な動作速度で再生され、そうでない場所はスキップされる。選択された部分が上述のようにカット単位の場合でも動作は同じである。
【００６３】
上記のようにして選択されたカットは、選ばれたカットを時間的に前にあるものから順次提示する方法の他に、カットの重要度レベルが高いものから順に提示する方法がある。その他にも、選択されたカットの先頭画面だけを小画面として画面に列挙し、利用者がその小画面をマウスや視線などで選択すると、そのカットの動画像が提示されるという方法もある。ここで、カットを代表させる画面はカットの先頭画面である必要はなく、そのカット中で最も高い重要度レベルを示した瞬間の画面を表示してもよい。あるいは、上で述べてきたような方法で提示すべき場所だけを選定しておき、それぞれの区間の提示時間の早さや方向、順序などは利用者の操作によって自由に変化させられるようになっていてもよい。このようにすると、例えば１０秒ずつ３０枚提示される静止画が原情報であるような場合、特に重要な画像１０枚だけを重要度レベルのしきい値をもちいて選択しておき、その１０枚中の１枚１枚は好きな時間だけ見る、といったことが可能になる。
【００６４】
次に、情報が音楽（曲）であって、情報の区切りがわかっている場合の例を図９を用いて説明する。
【００６５】
図９にあるように、例に示す曲８０１は１０のフレーズで構成されている。ダッシュ（´）のつけられた部分は、同じ記号でダッシュのない部分の変形である。Ａは前奏（イントロ）、Ｄは間奏、Ｆは後奏（エンディング）と一般にいわれる部分で、歌の部分がＢＢ´Ｃ（１番＝１コーラス目）、Ｂ´ＣＥＣ´（２番＝２コーラス目）である。Ａ、Ｂ、などというフレーズを図７を用いた説明でのカット７０３に置き換えて同様の処理を行い、重要度レベルの高いフレーズ８０２を抜き出せば、その曲全体を聞くことなく、もっとも印象深い部分だけを聞くことができる。目的の曲を探すような場合に、こうして作られた曲の要約だけを次々に聞いていけば、印象に残った部分に達するまでの時間を節約できるので、検索に要する時間が短くなることが期待できる。
【００６６】
（第２実施例）
次に第２実施例として、本発明の情報処理装置においてユーザが行う処理、及び提示部での表示について図を用いてより詳細に説明する。
【００６７】
同実施例では入力のためのポインティングデバイスにマウスを使用することを仮定しているが、本発明に係る情報処理装置においては、いかなるポインティングデバイスでも使用可能である。
【００６８】
まず、ユーザが重要度レベルを利用して動画像の提示を行う場合のユーザの操作、及び提示部での表示について説明する。
【００６９】
ユーザが動画像を提示させるときには、提示部にはたとえば図１０又は図１１のような表示を行う。図１０は表示させる動画像を大きく表示させており、一方図１１では動画像に付与された重要度レベルを同一画面内で明示している。これらの表示方法は、用途によってユーザが選べるようにしておく。ここで、１０００は重要度レベルを利用して動画の表示を行うときに重要度レベルのしきい値を調節するためのレバーで、レバーを上に上げれば動画像の重要度レベルの高い部分のみが提示されるようになり、逆に下に下げれば重要度レベルの低い部分までも提示されるようになる。これは、第１実施例で図６や図７を用いて説明したのと同様である。
【００７０】
１００１は、提示時間表示窓であり、レバー１０００によって重要度レベルのしきい値が設定されたときに、一つの動画の中でしきい値を上回る重要度レベルが付与された部分の合計がどの程度の時間になるかを表示するものである。この図の例では１２分４１秒となっている。ユーザは動画の大まかな内容をある時間内で見てしまいたいときには、窓１００１の中の時間を見ながらレバー１０００を調整すればよい。もちろん、第１実施例で説明したように、直接窓１００１の中に時間を打ち込むことにより、重要度レベルのしきい値を設定することも可能である。この際には、窓１００１にマウスカーソルをあわせてクリックし、次にキーボード等の入力装置から時間を入力する。希望の時間に設定ができたら、１００８の操作ボタンのうち、「はじめから再生する」ボタンを押すことにより、動画の中の重要度レベルの高い部分だけを希望の時間内で見ることができる。この際には、第１実施例で説明した情報の意味的区切りを利用する場合、及び利用しない場合のどちらでも場合においても同様の手続きによって動画の提示を行うことができる。
【００７１】
１００３は、重要度レベル表示窓であり、この中には動画の時間軸に対応して付与された重要度レベル１００４が表示されている。また、１００９は、重要度レベルしきい値設定レバー１０００によって設定されたしきい値のレベルを示している。窓１００３の中には通常、動画全体のうちの一部分が表示されており、動画全体の中のどの部分であるかは１００６の窓内に表示される。図１１の例では、動画全体が６５分であるのに対し、重要度レベル設定窓内に表示されているのは約２０分から３５分までの間の１５分程度である。ユーザは窓１００３の中に表示された重要度レベルを見ながら、レバー１０００を動かすことにより重要度レベルのしきい値を調整することができる。たとえば、動画の中の現在表示されているフレーム付近に大変興味があり、その周辺をもっと見てみたいと感じたときには、一時的に（再生を一時停止するなどして）重要度レベルのしきい値を下げてから動画の再生を行い、興味のある部分を見てしまったら再び重要度レベルのしきい値を元のレベルに戻す、といったことができる。
【００７２】
以上の操作は、動画だけではなく静止画群や音声に対しても行うことができる。ここでいう静止画群は、何らかの順序を持った静止画の集まりである。例えば、旅行に行ったときに撮った写真は、撮影した順番を持った静止画の集合であるから、ここで言う静止画群である。静止画群を提示する際には、窓１００３の横軸は時間ではなく、静止画の何番目という順序を表すことになる。また、映像を持たない音声は、１００２の表示窓に音声の波形を表示したり、または特定の音のオン・オフの情報をバーチャート形式で表示するようにしてもよい。波形の場合には１００３上のカーソルの位置に対応した時間を中心にその前後の時間にわたる波形が表示される。音のオン・オフの情報を表示する場合には、マウスカーソルの位置に対応した一瞬の状態の表示、又は波形の場合と同じく前後の時間にわたるオン・オフ状態の表示を行う。
【００７３】
また、動画像、静止画群、音声のどの場合も、ユーザの設定した重要度レベルのしきい値により選択された部分を再生する際に、再生速度、もしくは再生時間はユーザによって自由に選択できるようにしてもよい。例えば、動画や音声の場合は、通常の再生速度で表示するほか、再生速度をその部分の重要度によって決められた倍率だけ変化させて提示する方法や、カットで区切られた一つのシーン（音声の場合は、一小節などの区切り）は同一の時間で表示させるように再生速度をコントロールするなどの方法から選んで再生する。静止画群の場合は、ユーザの指示があるまで次の静止画を表示させない方法、一枚の静止画につき一定の時間だけ表示させる方法、または重要度によって決められた時間だけ表示させる方法などから選択できる。
【００７４】
ここまで重要度レベルは動画一つにつき一種類しか付与されていないことを前提に説明してきたが、重要度レベルは複数付与することも可能である。例えば、一つの動画や音声、静止画群に対しても利用者ごとに重要度レベルを用意することもできるし、また、目的別によっていくつかの重要度レベルを付与することも可能である。具体的には、例えば動画がドラマであったときに、アクションシーンを見るといった目的や、泣かせるシーンを見たいといった目的でそれぞれ別の重要度レベルを付与することができる。
【００７５】
１００５は、重要度レベル選択ボタンで、それぞれのボタンに用意されている重要度レベルの名前が表示されている。例えば、利用者の名前であったり、アクションシーン、泣かせるシーンといった目的別の名前などが表示されている。他の重要度レベルを使って動画の提示を行うためには、ボタン１００５を選択し直せばよい。窓１００３の中では他の重要度レベルを選択すると、それに応じて指定されたボタンに対応する重要度レベルを表示するよう変更される。
【００７６】
重要度レベルの種類として、ユーザの履歴を設けることもできる。これは、動画の中でユーザが既に見てしまった部分とまだ見ていない部分とを重要度レベルとして明示させるためのものである。まだ見ていない部分には高い重要度レベル、そして既に見てしまった部分については低い重要度レベルを付与しておけば、重要度レベルのグラフを見ることによってそれぞれの分類が一目瞭然になる。むろん、重要度レベルのしきい値設定レバー１０００を調整してまだ見ていない部分のみを選択して提示させることも可能になる。この場合、重要度レベルはユーザが動画を見るたびに更新されなければならない。
【００７７】
複数の重要度レベルの中から一つの重要度レベルを選択して動画の再生時に利用するほかに、複数の重要度レベルを選択し、選択された重要度レベルに所定の演算を施して新たな重要度レベルを定義し、利用することもできる。例えば、二つの重要度レベルを選択し、どちらかつ重要度レベルがユーザの設定したしきい値を上回る部分を選択して表示させたい場合には、二つの重要度レベルの論理和をとればよい。より具体的には、「スリル」という重要度レベルと「美女」という重要度レベルが用意されているときに、スリルがある、又は美女が登場しているシーンだけを選択して見たいものとする。そして、「スリル」の重要度レベルが図１２の（ａ）、「美女」の重要度レベルが図１２の（ｂ）のごとくであったものとする。ユーザは「スリル」と「美女」の重要度レベルを選択し、さらに「どちらかがしきい値を上回る部分の提示」を行う旨を指示し、重要度レベルのしきい値を入力する。これらの重要度情報はユーザが重要度レベルの選択を行ったとき、又は動画、音声、制止画群など源情報を選択したときに、記録媒体１０７から読み出され、重要度情報一時記憶部１１０に保存される。そして、二つの重要度情報の演算を行うためにそれぞれの重要度情報は修正演算部１０４に送られる。
【００７８】
修正演算部１０４では、「スリル」がある、又は「美女」が出ている場面を選択して提示するために、まずそれぞれの重要度レベルについて、操作インタフェース１０９より入力された重要度レベルのしきい値を上回る部分に１、下回る部分に０を割り当て、２値化する（図１２の（ｃ）、（ｄ））。そして、対応するフレームごとに２値化された重要度レベルの論理和をとる（図１２の（ｅ））。
【００７９】
このとき、演算結果として１が得られたフレームが提示されるフレームである。このようにして二つの重要度レベルの演算により新たに作られた重要度レベルは重要度情報一時記憶部１１０に送られる。必要であれば、新たに作られた重要度レベルは記録制御部１０３を介して記録媒体１０７に記録される。重要度情報一時記憶部１１０に記録された新たな重要度レベルは、実際にユーザに提示される部分を決定するため、提示部分選択部に送られ、しきい値との比較の結果、提示部分が決定される。
【００８０】
二つの重要度レベルの間の演算としては、上記の論理和のほか、論理積を使うこともできる。これは、二つの重要度レベルの両方が指定したしきい値を越えている場面だけを見たい場合に利用することができる。上記の例では、「スリル」があってなおかつ「美女」も登場している場面を見たいときに利用できる。二つの重要度レベルの論理和を求めるには、修正演算部１０４に送られた二つの重要度レベルを先程と同様にしきい値と比較をして２値化する。そして、２値化された重要度レベルの論理積をとって新たな重要度レベルとし、重要度情報一時記憶部１１０に送る。その後の処理は論理和の時と同様である。
【００８１】
また、その他の演算として二つの重要度レベルの平均（和）も利用できる。これは、例えば複数の人が同一の映像に対して重要度レベルを付与した場合に、利用者がなるべく客観的な重要度レベルを利用したいと思っている場合や、様々な目的別の重要度レベルが付与されている映像に対して、全体的な重要度レベルを利用したいときなどに便利である。平均重要度レベルを求めるため、まず論理和を行うときと同様に二つの重要度レベルが重要度情報一時記憶部１１０から修正演算部１０４に送られる。修正演算部では二つの重要度レベルの平均を計算し、新たな重要度レベルとする。新たな平均重要度レベルは重要度情報一時記憶部１１０に送り返され、先程と同様、必要があれば記録媒体１０７に記録される。そして提示部分を決定するため、新たな平均重要度レベルは提示部分選択部へ送られ、操作インタフェース１０９に入力されたしきい値との比較により提示部分の選択が行われる。
【００８２】
重要度レベル間の演算を行って新たな重要度レベルを求める方法は、二つの重要度レベルだけに限られるものではない。もっと多くの重要度レベルを選択し、それらの間の複数の演算を組み合わせて新たな重要度レベルを求め、利用することも可能である。
【００８３】
また、図１０や図１１のような提示の他に、図１３や図１４のような提示の方法を選択できるようにしておく。
【００８４】
図１３では重要度レベルの設定レバー１０００や時間表示窓１００１は図１０や図１１と同様である。しかし、レバー１０００が設定されると、付与された重要度レベルがしきい値を上回る部分の中から代表的なフレームが選ばれ、提示される点が異なる（１１００）。代表フレームは重要度レベルの高いフレームを表示可能な枚数だけ選択するのがよいが、時間的に隣接したフレームばかりが表示されないように所定の時間幅を設けて、その時間幅内では一つのフレームしか表示されないようにすると、動画全体から代表フレームが選ばれて都合がよい。また、重要度レベルのしきい値を低く設定すると提示される動画の時間が長くなり、これに伴って表示する代表フレーム数も多くなってしまう。このような場合は複数のページにまたがって代表フレームの表示を行うようにするとよい。
【００８５】
代表フレームにマウスカーソルを合わせ、クリックして指定すると、図１５のように動画を表示する窓１１０１が表示され、指定されたフレームから動画が再生される。
【００８６】
図１４の表示は図１３のような代表フレームの表示と重要度レベルのグラフとを同時に表示させたものである。代表フレームが動画像のどの部分に対応しているかを明示させているので、このような表示を行うことによりユーザは自分で動画のどの部分を見るのかが明らかになる。
【００８７】
静止画群の場合には、表示窓１１００にはやはり重要度レベルによって選ばれた静止画が表示される。ただし、重要度レベル表示窓１００３の横軸は時間ではなく、静止画の順序を表している。音声の場合には、表示窓１１００には表示窓１００２と同様に音声波形や特定の音のオン・オフの状態を示すバーチャートが表示される。
【００８８】
以上のような手続きでユーザはすでに付与されている重要度レベルを利用して、動画の中の興味のありそうな部分だけを選択的に提示することができる。
【００８９】
次に、ユーザが手入力で動画、静止画群または音声に重要度レベルを付与する場合、及び既に付与されている重要度レベルを修正する（第１実施例とは異なる）場合のユーザの手続き、及び提示部への提示について説明する。
【００９０】
図１６は手入力により動画の重要度レベルの付与、もしくはすでに付与されている動画の重要度レベルの手入力による修正を行う場合の、提示部に提示される画面の例である。
【００９１】
重要度レベル入力もしくは修正に先立って、入力もしくは修正したい重要度レベルを重要度レベル選択ボタン１００５で選択しておく。１２００は重要度レベル設定窓で、この中で重要度レベルの入力もしくは修正を行う。１００６は重要度レベル設定窓１００３に表示されている時間部分を表示したものであり、窓全体が動画像全体、そして斜線部分が窓１００２に表示されている時間部分に相当する。１２０１は現在１００２に表示されているフレームがどの部分であるかを表示するための表示フレーム位置マークである。
【００９２】
重要度レベル設定窓１２００は、左右方向に動画の時間が対応しており、重要度レベル設定窓の上部には時間の目盛りが表示されている。重要度レベル設定窓内にマウスカーソル１００７が入ると、マウスカーソルの位置に対応した時間のフレームが自動的に１００２に表示される。また、重要度レベル設定窓１２００内からマウスカーソルが外に出るときには、マウスカーソルが出る瞬間のカーソル位置に対応した時刻の映像を表示したままになる。静止画群に対して付与された重要度レベルの編集を行っているときには、静止画群の再生の際と同じように重要度レベル設定窓１２００の横軸は静止画の何枚目という順番を表す。マウスカーソルが重要度レベル設定窓内にあるときには、マウスカーソルの横方向の位置に対応した順番の静止画が常に表示窓１００２に表示される。一方、音声に付与された重要度レベルの編集を行うときには、表示窓１００２には重要度レベル設定窓１２００内のカーソルの横方向の位置に対応した時間を中心とするその前後にわたる区間の波形が表示される。波形ではなく、特定の音のオン・オフを示すバーチャートの表示でもよい。そして、重要度レベル設定窓１２００内でマウスカーソルを移動させると、移動させた速度に合わせて対応した時間の音を出力する。マウスカーソルをゆっくり動かせばゆっくりとした音が出力され、すばやく動かせば早い音が出力される。このとき、マウスカーソルを動かした速度によって音の高低が変化してしまうので、これを抑制する処理を行うようにしてもよい。重要度レベルの設定を行うには、図１７乃至図１９のような操作を行うので、以下で説明する。
【００９３】
まだ重要度レベルが付与されていないときには、全ての部分で基準レベルの重要度レベルが付与されている。従って、重要度レベル設定窓内の重要度レベル表示は基準レベルだけの平坦なものである。まず、重要度レベルを付与したい部分の最初のフレームを表示させるように重要度レベル設定窓内でマウスカーソルを動かす。最初のフレームが１００２の表示窓に表示されたらマウスボタンを押す（図１７）。マウスボタンは押したままマウスカーソルを移動させ（ドラッグ）、重要度レベルを付与したい最後のフレームを表示させるようにマウスカーソルを移動させる。このとき、重要度レベル設定窓内でのマウスカーソルの動きは、左右方向は動画の時間に対応し、上下方向は重要度レベルに対応している。従って、重要度レベルを付与する部分の最後のフレームを表示させるように左右にマウスカーソルを移動させつつ、マウスカーソルを上下方向にも移動して希望の重要度レベルに合わせる（図１８）。目的のフレームの表示と付与したいい重要度レベルが同時に得られたならば、マウスボタンを離す（図１９）。以上の操作により、はじめは平坦であった重要度レベルが図１９のように指定した部分だけ変更される。
【００９４】
一度の操作で複数の重要度レベルを設定された部分には、同じ重要度レベルの値が付与される。また、ここでは、はじめに重要度レベルを付与したい区間のはじめのフレームを指定し、次に最後のフレームをマウスで指定したが、はじめに重要度レベルを付与したい区間の最後のフレームを指定し、次にはじめのフレームと重要度レベルを同時に指定することも可能である。
【００９５】
図１７から図１９では、重要度レベルは基準レベルよりも上に設定されたが、基準レベルよりも下側の重要度レベルを指定し、負の重要度レベルを設定することも可能である。動画の中にあまり表示させたくない部分が含まれるような場合には、負の重要度レベルを設定するとよい。重要度レベルが設定されていない部分に重要度レベルを付与するには、以上のような操作を繰り返し行えばよい。
【００９６】
一度設定された重要度レベルに変更を加える（指定した範囲内の重要度レベルを一定倍率で拡大／縮小する）ときには、まずマウスカーソルを重要度レベル設定窓内の変更したい部分のはじめの部分にマウスカーソルを合わせる。表示窓１００２に表示されたフレームが修正開始部分のはじめのフレームであることを確認した後、マウスボタンを押す（図２１、図２１）。マウスボタンを押したままマウスカーソルを移動させると、左右方向の移動で重要度レベルを変更する範囲を、そして上下方向の移動で変更範囲内の重要度レベルの拡大／縮小レベルを指定する（図２２）。このとき、拡大／縮小の倍率は変更範囲内の最大の重要度レベルがマウスカーソルの上下方向の位置に対応するように設定される。即ち、変更区間の重要度レベルの最高値がＩｍａｘ 、マウスカーソルの上下方向の位置に対応する重要度レベルがＩｃ であるとき、変更範囲内の重要度レベルは全てＩｃ ／Ｉｍａｘ 倍される。変更範囲と変更値が決定したらマウスボタンを離し、変更を確定させる（図２３）。このとき、マウスをドラッグしたまま重要度レベルの基準値よりも低い位置にマウスカーソルを合わせて確定すると、変更範囲内の正の重要度レベルを負の重要度レベルに変更することができる。もちろん同様の操作で負の重要度レベルを正に変更することもできる（図２４の（ａ）〜（ｃ））。
【００９７】
また、最後に基準レベルの位置に合わせてマウスボタンをはなせば、変更範囲が全て基準レベルに設定し直されるので、重要度レベルをキャンセルする際に利用することができる。
【００９８】
以上の説明では、重要度レベルを新たに設定する手続きと、設定されている重要度レベルを修正する手続きとは同じものである。新たな設定と修正のどちらが行われるかは、マウスをドラッグして左右に動かすことによって指定する時間範囲に、既に設定された重要度レベルが存在するか否かによって決定される。指定時間範囲内の重要度レベルが全て基準レベルであれば新たな重要度レベルの設定になり、指定時間範囲内に基準レベル以外の重要度レベルが含まれていれば修正が行われる。
【００９９】
また、重要度レベルの設定及び修正は、重要度レベル設定窓１２００内に表示された時間範囲内でしか行えない。重要度レベル設定窓内の時間範囲を変更するには、表示範囲指定窓１００６を使う（図２５〜図２７）。表示範囲指定窓全体は動画全体を表し、そのうち斜線部分が重要度レベル設定窓内に表示されている時間範囲である。表示範囲指定窓の上部には対応する時間が表示されている。重要度レベル設定窓内の表示時間範囲を変更するには、表示範囲指定窓内の斜線部分にマウスカーソルを合わせ、ドラッグしたまま左右に移動させ、適当なところでマウスボタンを離して移動先を確定させる。このように斜線部分を移動させると、表示される範囲の長さを変更せずに、表示時間範囲を移動することができる。一方、斜線部分の先頭、もしくは終端部分をドラッグして移動させると、ドラッグされた先頭、もしくは終端部分がマウスカーソルとともに移動する。このとき、表示範囲指定窓内の斜線部分の大きさはマウスカーソルの動きに伴って変化し、従って重要度レベル設定窓内に表示される時間範囲の長さも変化する。
【０１００】
重要度レベル設定窓に表示される時間範囲（静止画群の場合は何番目から何番目という順番の範囲になる）の変更は、表示範囲指定窓内で行うほか、図１６の１２０２や１２０３のボタンをマウスでクリックすることによっても行うことができる。１２０２は左右へのスクロールボタンで、マウスカーソルをこのボタンに合わせてマウスボタンを押すことによって、重要度レベル設定窓に表示される時間範囲がボタンに表示されている方向に移動する。表示時間範囲の移動に伴って、表示範囲指定窓１００６の中の斜線部分も移動する。図２５は右（時間の順方向）へのスクロールボタンを押しているときの表示例である。スクロールを行っているときには、重要度レベル指定窓に対して表示フレーム位置マーク１２０１は動かない。従って、スクロールボタンを押してスクロールを行っている最中は、画像表示窓１００２に表示されるフレームは表示フレーム位置マーク１２０１の指し示す時刻に対応して刻々と変化する。従って、スクロールボタンは図１６のように重要度レベル設定窓の右端と左端に配置するのが好ましい。なぜならば、まず右にスクロールする際には、重要度レベル表示窓内の右端の映像を表示させておくとどこまでスクロールすべきかが決定しやすい。そこで右のスクロールボタンを重要度レベル設定窓の右端に設定しておくと、マウスカーソルが重要度レベル設定窓内を出る位置が自然に右端に近い位置になる。その結果として表示フレーム位置マークも右端に固定されて、表示されるフレームも重要度レベル設定窓の右端の部分になるためである。左（時間をさかのぼる方向）へのスクロールボタンは同様の理由で重要度レベル設定窓の左端が望ましい。
【０１０１】
１２０３は表示時間範囲の倍率変更ボタンで、ボタンに「２」と表示されているボタンをクリックすると、重要度レベル設定窓内に表示されている時間区間内の表示の詳細さが２倍になる。すなわち、重要度レベル設定窓内に表示される範囲は半分になるが、その分大きく、詳しく表示されるようになる。このとき、表示フレーム位置マーク１２０１に対応しているフレームが重要度レベル設定窓内で位置を変えないように表示される。図２６は倍率変更ボタン１２０３を押す前の表示例で、倍率変更ボタンの「２」を押した後は図２７の表示に変わる。倍率変更ボタン１２０３の「２」を押した後では、表示フレーム位置マークの左右の表示時間範囲が半分になっている。表示倍率変更ボタン１２０３の「１／２」は、「２」とは逆に表示の詳細さを半分にして、表示される時間範囲を２倍にするボタンである。やはり倍率を変えたときには表示フレーム位置マークのフレームが重要度レベル設定窓内で位置を変えないように表示される。また、いずれの表示倍率の変更も、変更を指定した後には表示位置指定窓１００６内の斜線部分の大きさが、２倍もしくは１／２になる。表示倍率変更ボタン１２０３は、重要度レベル設定窓１２００の中心付近に配置することが望ましい。これはスクロールボタンの配置と同様の理由による。即ち、表示の倍率を変更する際には、倍率変更後でも重要度レベル設定窓１２００内の中心部分を表示させておきたい場合が多い。そのためには表示フレーム位置マークを重要度レベル設定窓１２００内の中心部分においておく必要がある。従って、マウスカーソルが重要度レベル設定窓１２００内から出る位置を中心部分にしなければならず、結局、倍率変更ボタン１２０３を中心部分に設定しておけば自然にこのような操作が行えることになるからである。
【０１０２】
なお、同実施例では変更できる倍率が２倍と１／２倍の２種類のみであるが、もっと多くの倍率を用意したり、ユーザが倍率を指定できるようにしておいてもよい。
【０１０３】
以上のような重要度レベルの選択、新規設定、変更、及び重要度レベルを付与する範囲の変更を行えば、動画や音声、静止画群に対する重要度レベルの設定が行える。
【０１０４】
次に、いったん重要度レベルを付与した後に、もう一度変更がないかどうか確かめるプレビュー操作について説明する。
【０１０５】
重要度レベルを付与した後に、妥当なレベル付けを行ったかどうかを確かめる操作がプレビューである。プレビューは図２８のような表示のもとで行う。図２８の表示は右側の一部分を除いて図１１の表示と同じである。従って、図１１と同一の部分を利用すれば、通常の再生と全く同様の操作が行える。ここで、何回か異なる重要度レベルのしきい値設定を行って動画の再生を行い、もしも重要度レベルの設定が満足のいくものであれば変更を加えることなく重要度レベルの設定を終了すればよい。
【０１０６】
しかしながら、満足のいかない重要度レベルが付与されている部分や、修正したい部分がいくつか見つかり、修正を行う必要が生じることがある。このような場合には、マーキングボタン１３００やジャンプボタン１３０１を使う。マーキングボタンは修正したいところをマーキングしておき、後でまとめて修正する場合に有効である。プレビューで再生を行い、修正したいところが見つかるたびにマーキングボタン１３００を押しておく。一通りプレビューによる再生が終わったら、再び手入力による重要度レベルの付与、修正を行う画面の表示に戻る（図２９）。このとき、マーキングされた位置にはマーキングを示す印１３０２が表示されている。従ってこの部分を見つけて重要度レベルの修正を行えばよい。修正の操作は上述したとおりであるが、マーキングされた位置の重要度レベルが変更されたときには、マーキングは自動的に消えるようにしておく。また、動画中にマーキングされた部分が存在するときには、マーキングへのジャンプボタン１３０３が表示される。このボタンを押すと、現在表示されているフレーム位置よりも時間的に先の部分でマーキングされているところを探して、その部分が表示されるように重要度レベル指定窓内の時間範囲が変更される。このボタンの利用により、次々にマーキングポイントにジャンプして効率的に修正が行える。
【０１０７】
ジャンプボタン１３０１は、プレビュー中に直ちに重要度レベルの修正を行いたい場合に利用する。プレビュー中にジャンプボタンを押すと、直ちに図１６の手入力による重要度レベルの付与、修正の表示が行われる。重要度レベル設定窓内の範囲はジャンプボタンを押したときにプレビューで表示されていたフレームを中心とするように設定されている。従って、ジャンプボタンを押したときのフレーム付近の重要度レベルが直ちに修正できる。
【０１０８】
以上のようなプレビュー及び修正を繰り返し、修正する部分がなくなれば、重要度レベルの付与、修正作業は終了する。
【０１０９】
（第３実施例）
次に、本発明に係る情報処理装置で、重要度レベルを推定する方法として眼球運動観察を利用した例について、図面を参照して説明する。
【０１１０】
図３０は第３実施例に係る情報処理装置において、視点移動の様子から重要度レベルを推定する方法を示すグラフである。
【０１１１】
以下で説明する重要度レベル推定の過程は、上述した第１実施例において説明した判定部１０２の内部処理に相当する部分である。眼球運動測定装置から出力されるデータは、適切な補正と演算処理を施して画面上で利用者が実際に見ている視点データへと変換される。眼球運動測定装置から視点データを出力するまでの過程は任意の方法でよい。眼球運動測定装置には現在のところ、眼球に赤外線を照射して強膜からの反射光強度を観測するもの、目の周辺に電極を取り付けて眼球内の電位差を観測するもの、電磁石を内蔵したコンタクトレンズを装着して磁界を検出するもの、あるいは目の画像を撮影して画像処理によって視点を計算するもの等が知られている。
【０１１２】
以上のようにして得られた視点データの時間差分（微分）をとり、時刻ごとの視点移動速度９０１を求める。人間の眼球運動の中で最も早い運動であるサッケードは、主に視対象を２０〜５０ミリ秒の間に移すときに起こるが、同実施例の情報処理装置では、上記視点移動速度９０１がしきい値９０２を越える部分をサッケード期間９０３とみなす。サッケード中は速い眼球運動のため、視覚に入力される解像度は低いことが知られているが、サッケードの前（９０４）数十ミリ秒から、サッケードの後（９０５）２００ミリ秒程度までの間、不鮮明な像となることが解明されている。したがって、一連のサッケード前９０４、サッケード期間９０３、サッケード後９０５の間は利用者が画面から得ている情報量は少ないものとみなすことができる。従って、重要度レベルを得たい期間９０６に対し、「利用者が画像から情報を効率よく得た時間」すなわち高情報密度時間９０７の合計の、重要度レベル測定期間９０６に対する比をもって重要度の高さの指標とすることができる。重要度レベル測定期間９０６は、第１実施例の中では５秒単位、カット単位などとして説明した。ここで、しきい値９０２は、１０〜５０［度／秒］程度の値である。
【０１１３】
図３１に同実施例の方法により視線解析から重要度レベルを推定した実験の結果を示す。この実験においては、被験者は静止画像を１５枚提示され、１枚ごとに自由な時間だけ見ることを許されている。従って、被験者が視察を終えるまでの時間を被験者自身の重要度の高さを評価する一つの尺度としてよい。図中で横軸は視察時間、縦軸は本発明の方法で推定した重要度レベルである。両者の間には、約８０％の相関関係が見られた。もしもサッケードが画像内容に関わらず一定頻度で起こるものであるならば、提示時間と比例してサッケード回数も増加するために重要度レベルは一定となる。つまり、図中では水平線上に点が並ぶはずであるが、図３１に見られるように長く見た（＝重要度が高かったと考えられる）画像では比較的高い重要度レベルを推定しており、同実施例の方法の可能性を裏付けるものである。
【０１１４】
以上により、画像を見ている際の利用者の無意識で自然な反応である眼球運動から、利用者の重要度レベルを推定することができる。
【０１１５】
【発明の効果】
以上詳述したように、本発明に係る情報処理装置によれば、マルチメディア情報に例えば重要度レベルという付加情報を付与、修正することが可能になり、その重要度レベルを用いた情報の特徴抽出が、利用者の意図を反映した形式で、かつ高度な知識処理を必要とせず実現することができる。
【０１１６】
このように、情報の特徴抽出が容易になることで、利用者が情報にアクセスする時間の短縮が可能になり、ネットワークへの負担軽減に寄与するとともに利用者に専門的な知識を強要することのない使いやすい情報アクセスのインタフェースを提供できる。
【図面の簡単な説明】
【図１】本発明の実施例に係る情報処理装置の構成を示すブロック図。
【図２】第１実施例に係る情報処理装置の重要度レベルを修正するアルゴリズムを示すフローチャート。
【図３】第１実施例に係る情報処理装置のオーバーフロー区間の重要度レベルの変化を推定する方法を説明するための概念図。
【図４】第１実施例に係る情報処理装置の重要度レベルの変更・修正を行う際の操作方法を説明するための概念図。
【図５】第１実施例に係る情報処理装置の変更先の重要度レベルが決定されたときの変更手続き方法を説明するための概念図。
【図６】第１実施例に係る情報処理装置の情報の意味的区切りを利用しない加工・提示の方法を説明するための概念図。
【図７】第１実施例に係る情報処理装置の情報の意味的区切りを利用した加工・提示の方法を説明するための概念図。
【図８】第１実施例に係る情報処理装置の「順次提示」を行う際のアドレス生成部の動作原理を説明するための概念図。
【図９】第１実施例に係る情報処理装置の情報が音楽（曲）であって、情報の区切りがわかっている場合の動作原理を説明するための概念図。
【図１０】第２実施例に係る情報処理装置の提示部の表示例を示した図。
【図１１】第２実施例に係る情報処理装置の提示部の表示例を示した図。
【図１２】第２実施例に係る情報処理装置の複数の重要度レベルを利用した処理方法を説明するための概念図。
【図１３】第２実施例に係る情報処理装置の提示部の表示例を示した図。
【図１４】第２実施例に係る情報処理装置の提示部の表示例を示した図。
【図１５】第２実施例に係る情報処理装置の提示部の表示例を示した図。
【図１６】第２実施例に係る情報処理装置の提示部の表示例を示した図。
【図１７】第２実施例に係る情報処理装置の重要度レベルを設定する際の操作方法を説明するための概念図。
【図１８】第２実施例に係る情報処理装置の重要度レベルを設定する際の操作方法を説明するための概念図。
【図１９】第２実施例に係る情報処理装置の重要度レベルを設定する際の操作方法を説明するための概念図。
【図２０】第２実施例に係る情報処理装置の重要度レベルに変更を加える際の操作方法を説明するための概念図。
【図２１】第２実施例に係る情報処理装置の重要度レベルに変更を加える際の操作方法を説明するための概念図。
【図２２】第２実施例に係る情報処理装置の重要度レベルに変更を加える際の操作方法を説明するための概念図。
【図２３】第２実施例に係る情報処理装置の重要度レベルに変更を加える際の操作方法を説明するための概念図。
【図２４】第２実施例に係る情報処理装置の重要度レベルに変更を加える際の操作方法を説明するための概念図。
【図２５】第２実施例に係る情報処理装置の重要度レベルの設定及び修正を行う際の操作方法を説明するための概念図。
【図２６】第２実施例に係る情報処理装置の重要度レベルの設定及び修正を行う際の操作方法を説明するための概念図。
【図２７】第２実施例に係る情報処理装置の重要度レベルの設定及び修正を行う際の操作方法を説明するための概念図。
【図２８】第２実施例に係る情報処理装置のプレビュー操作を説明するための概念図。
【図２９】第２実施例に係る情報処理装置のプレビュー操作を説明するための概念図。
【図３０】第３実施例に係る情報処理装置の視点移動の様子から重要度レベルを推定する方法を示すグラフ。
【図３１】第３実施例で示した方法により視線解析から重要度レベルを推定した実験の結果を示す図。
【符号の説明】
１０１…検出器、１０２…判定部、１０３…記録制御部、１０４…修正演算部、１０５…読み出し制御部、１０６…画像提示部、１０７…記録媒体、１０８…入力装置、１０９…操作インタフェース、１１０…重要度情報一時記憶部、１１１…提示部分選択部、１１２…アドレス生成部、１１３…原情報一時記憶部、１１４…画面作成部、１１５…音声作成部、１１６…音声提示部、３０１…オーバーフロー区間、３０２…オーバーフロー区間の入口、３０３…オーバーフロー区間の出口、３０４…推定される重要度レベル、４０２…重要度レベルが極大値を記録した画面、４０３…順位変更を行いたい画面、４０５…順位変更先の位置、６０１…しきい値、６０３…重要度レベルの時間推移、６０４…選択される時間区間、６０５…選択される時間区間内での極大値、７０２…シーンチェンジ、７０３…カット、７０４…カットごとの最大値、７０５…しきい値、７０６…重要度レベル密度、８０２…重要度レベルの高いフレーズ、９０２…サッケードのしきい値、９０４…サッケード前の低情報期間、９０５…サッケード後の低情報期間。

Claims (6)

1. 画像情報及び音声情報の少なくとも一方を利用者に提示する提示手段と、
   前記提示手段により提示されている前記情報の任意の区間に対して連続的に評価値を入力、修正する入力修正手段と、
   画像情報におけるカットまたは音声情報におけるフレーズの区切りを示す前記情報の意味的区切り間における前記評価値に基づいて、該意味的区切り間の時間区間の評価値を算出する算出手段と、
   前記算出手段により算出された評価値がしきい値を越える時間区間の合計が所望の時間内で最大となるしきい値を求め、このしきい値を越える評価値の時間区間からなる所望の時間分の時間区間単位の要約を作成する要約作成手段と
   を具備することを特徴とする情報処理装置。
2. 前記算出手段は、前記情報の意味的区切り間における前記評価値の最大値を該意味的区切り間の時間区間の評価値とすることを特徴とする請求項１記載の情報処理装置。
3. 前記算出手段は、前記情報の意味的区切り間における前記評価値の平均値を該意味的区切り間の時間区間の評価値とすることを特徴とする請求項１記載の情報処理装置。
4. 画像情報を利用者に提示する提示手段と、
   前記提示手段により提示されている前記画像情報の任意の区間に対して連続的に評価値を入力、修正する入力修正手段と、
   前記画像情報のシーンチェンジ間における前記評価値に基づいて、該シーンチェンジ間のカットの評価値を算出する算出手段と、
   前記算出手段により算出された評価値がしきい値を越えるカットの合計が所望の時間内で最大となるしきい値を求め、このしきい値を越える評価値のカットからなる所望の時間分のカット単位の要約を作成する要約作成手段と
   を具備することを特徴とする情報処理装置。
5. 画像情報及び音声情報の少なくとも一方を利用者に提示する提示手段と、
   前記提示手段により提示されている前記情報の任意の区間に対して連続的に評価値を入力、修正する入力修正手段と、
   画像情報におけるカットまたは音声情報におけるフレーズの区切りを示す前記情報の意味的区切り間における前記評価値に基づいて、該意味的区切り間の時間区間の評価値を算出する算出手段と、
   前記算出手段により算出された評価値がしきい値を越える時間区間の合計が所望の時間内で最大となるしきい値を求め、このしきい値を越える評価値の時間区間を順次提示する要約提示手段と
   を具備することを特徴とする情報処理装置。
6. 画像情報を利用者に提示する提示手段と、
   前記提示手段により提示されている前記画像情報の任意の区間に対して連続的に評価値を入力、修正する入力修正手段と、
   前記画像情報のシーンチェンジ間における前記評価値に基づいて、該シーンチェンジ間のカットの評価値を算出する算出手段と、
   前記算出手段により算出された評価値がしきい値を越えるカットの合計が所望の時間内で最大となるしきい値を求め、このしきい値を越える評価値のカットを順次提示する要約提示手段と
   を具備することを特徴とする情報処理装置。

Images