JPH0887870A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、マルチメディア情報を取り扱う際
に、利用者にとって関心の高い部分と、その高さの度合
を平易な操作で効率よく取得し、それを元に情報分類・
加工・提示できる情報処理装置を提供することを目的と
する。 【構成】 情報に対する関心の高さを利用者が入力する
デバイス、または利用者の状態から自動推測する部分を
設け、利用者はこれを利用して情報に逐次、独自の関心
度を数値として付与する。付与された数値は原情報と関
連づけて出力、記録される。一方、情報提示時には付与
された数値から、大きさ、時間的長さなどの情報サイズ
をシステムが加工し、利用者の要求にあった情報部分を
出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像・音声・文書など
の情報を統合的に表示・記録・再生・編集するマルチメ
ディア情報処理装置に関する。

【０００２】

【従来の技術】情報を表示・記録・再生・編集する装置
としては、文書情報のためのワードプロセッサ、映像・
音声情報のためのビデオテープレコーダー（ＶＴＲ）や
カセットテープレコーダーなどに代表されるように、個
々の情報体系ごとに技術分野を確立してきた。半導体技
術、回路基盤技術の革新による処理能力の向上、フロッ
ピーディスクや磁気テープ、光ディスクなど記録媒体の
高密度化による蓄積容量の増大により、普及型の安価な
装置でも大量の情報を扱うことができるようになった。
それに伴い、その多量の情報の中から利用者が必要とす
るものを簡便かつ効率よく提示できるような方法が各技
術分野ごとに工夫されてきた。たとえばワードプロセッ
サのかな漢字変換における単語の頻度学習や、電子新聞
に関する技術が開示されている特開平４−１９２７５１
などがある。

【０００３】しかし特に映像・音声に関しては、このよ
うな効率のよい提示のための手がかり、すなわち利用者
特有の関心の高さの評価を入力、記録し、それに基づい
て提示を行うという手段は、人手に負うところが大きか
った。ＶＴＲを例に挙げれば、録画の開始位置にインデ
ックス信号が自動的に記録されるものの、利用者は後の
利用に備えてその番組名や出演者名を書き留めておかな
くてはならなかった。音声のみを記録再生するカセット
テープレコーダーでは、一般に、無音か有音かの他に記
録の開始位置を示す情報もなく、一つのカセットテープ
に複数の情報を連続して記録すると、その区切りさえ不
明になるおそれがあった。

【０００４】近年、これらの情報をコンピュータを応用
して統合的に処理できる装置の開発が進展し、一度に処
理・蓄積できる情報量も莫大なものになろうとしてい
る。このような環境において、前述のように情報に対す
る利用者特有の関心の高さの評価を入力、記録し、それ
に基づいて提示を行う手段は、ワードプロセッサ、電子
新聞、ＶＴＲなど個々の技術分野に適応していた手段が
そのまま用いられており、装置の特徴である異種情報の
統合性に対応して関心の高さの評価を処理できる手段は
十分でなかった。新たに異種の情報相互の関連を示すリ
ンク構造を持ったものはあるが、個々の情報と利用者と
の関連度すなわち関心の高さの評価を取り扱うものはな
い。このため利用者は、多種多量の情報を享受できる装
置は手にしながらも、情報の種類と量の多さから、かえ
って目的とする情報を簡単に得ることができない。自分
に必要な情報を多量に入手し、短時間にその概要を得た
いときにも、どの情報を優先的に見ればあるいは聞けば
よいのかを規定するものがない。したがって、情報アク
セスの効率が悪く、装置の機能を十分に生かせないとい
う事態が生じるおそれもある。これを避けるために、関
心の高さの評価を行おうとしても、前述のように評価す
べき情報量が多いので、評価すること自体が利用者に負
担を強いる。

【０００５】一方で、利用者に対する情報の関心の高さ
評価をシステムとして自動で行う研究も進められてい
る。しかし、情報が入手されてから利用者にとって意味
のある単位に部分分割し（文章から単語、映像から人物
など）、関心の度合いを評価するまでの過程全てを自動
化するためには、人間の高度な情報処理機構を模さなく
てはならず、システムの複雑化を招く。また、例えば１
枚の映像を扱う際にも、ある者は映像全体の印象に好感
を抱き、ある者は映像中の人物のアクセサリーに関心を
持つかもしれないために、アクセサリーという極めて詳
細な単位までを認識する映像処理を行うなど、利用者の
多様な主観に応えるためには、処理すべき情報単位の細
分化は免れない。このとき細分化されて処理された情報
のほとんどは、ほとんどの利用者のためには不要なもの
になる。細分化を避けるためには「少数派」利用者の評
価は棄却せねばならず、このときには装置を利用できな
い人が生じうる。これは、利用者の意図の介在なしに情
報処理が行われたためである。

【０００６】

【本発明が解決しようとする課題】以上のように、従来
の情報処理装置では、多種多様の情報を、情報の種類を
越えて効率良くかつ利用者の意図を反映して分類・整理
などの処理を行う手段がなかった。このために利用者は
その情報の処理作業に時間と労力を割かなければなら
ず、これを装置として自動で行う場合にも、必ずしも個
々の利用者に適応して処理できないという欠点があっ
た。

【０００７】本発明は、上記事情を考慮してなされたも
のであり、多種多量の情報のうちから利用者が必要とす
る情報を簡便な操作で効率良く提示できる情報処理装置
を提供することを目的とする。

【０００８】

【課題を解決するための手段】第１の発明に係る情報処
理装置は、記録された情報を再生する情報再生手段と、
この情報再生手段によって再生された情報を提示する提
示手段と、この提示手段に提示された情報に対し、所望
の情報単位に関する評価値を入力するための入力手段
と、この入力手段によって入力された評価値を前記情報
単位に対応づけて記録する評価値記録手段とを具備した
ことを特徴とする。

【０００９】第２の発明に係る情報処理装置は、第１の
発明に係る情報処理装置において、前記提示手段にて提
示された情報のうちの特定のオブジェクトに関する評価
値が前記入力手段から入力された場合、該評価値の入力
対象となった該特定のオブジェクトの提示状態を該評価
値に応じて変更する制御を行う提示状態制御手段をさら
に具備したことを特徴とする。

【００１０】第３の発明に係る情報処理装置は、記録さ
れた情報を再生する情報再生手段と、この情報再生手段
によって再生された情報を提示する提示手段と、この提
示手段に提示された情報に対し、所望の情報単位に関す
る評価値をあらかじめ記録してなる評価値記録手段と、
この評価値記録手段にて前記評価値が所定の情報単位に
対応づけられて記録された前記情報を再度提示する場
合、前記評価値に基づき、前記情報再生手段による再生
または前記提示手段による提示の少なくとも一方を制御
する制御手段とを具備したことを特徴とする。

【００１１】第４の発明に係る情報処理装置は、利用者
の負担の少ない操作で装置に要／不要を段階的に入力す
る手段と、上記利用者の操作に基づいて提示情報中で関
心の高い部分を判定する手段と、上記利用者の操作に基
づいて関心の高さを数値で示す手段と、上記提示情報と
上記「関心の高さの数値」を対応づけて出力する手段
と、出力された上記提示情報と上記「関心の高さの数
値」を記録する手段と、記録された上記「関心の高さの
数値」に基づいて、それが付された情報を提示する部分
を制御する手段と、同一情報の数次提示に伴って、付さ
れる「関心の高さの数値」を累積・演算し更新する手段
とを具備したことを特徴とする。

【００１２】第５の発明に係る情報処理装置は、光信号
または電気信号として伝送しうる情報を利用者に提示す
る装置において、利用者が装置に接触した操作によっ
て、または利用者が自分自身の体の部分の距離を装置に
対して変化させる操作によって、回路中の素子の電気的
特性（導通、抵抗、容量またはインダクタンスのうちの
少なくとも１つ）を変化させ、変化した回路定数、また
はその変化の頻度を提示情報に対する利用者の評価値と
して連続値信号または３個以上の異なった値の中から１
つ選ばれた離散値信号に変換し出力する評価値出力部を
もち、上記評価値を提示情報と対応づけて出力すること
を特徴とする。

【００１３】第６の発明に係る情報処理装置は、光信号
または電気信号として伝送しうる情報を利用者に提示す
る装置において、利用者が自分自身の体または道具を用
いて発生させた音の高さまたは大きさあるいはその高さ
または大きさの変化頻度を提示情報に対する利用者の評
価値として連続値信号または３個以上の異なった値の中
から１つ選ばれた離散値信号に変換し出力する評価値出
力部をもち、上記評価値を提示情報と対応づけて出力す
ることを特徴とする。

【００１４】第７の発明に係る情報処理装置は、光信号
または電気信号として伝送しうる情報を利用者に提示す
る装置において、利用者の生体的状態変化を測定する利
用者状態出力部をもち、上記利用者状態出力部から出力
された値またはその値の変化頻度に基づいて提示情報に
対する利用者の評価値として連続値信号または３個以上
の異なった値の中から１つ選ばれた離散値信号に変換し
出力する評価値出力部をもち、上記評価値を提示情報と
対応づけて出力することを特徴とする。

【００１５】第８の発明に係る情報処理装置は、第５の
発明、第６の発明、または第７の発明の情報処理装置に
おいて、利用者が上記評価値を入力するときに、入力し
ている評価値の大小に応じて提示情報を強調または劣化
させることを特徴とする。

【００１６】第９の発明に係る情報処理装置は、第５の
発明、第６の発明、または第７の発明の情報処理装置に
おいて、上記評価値を付加した提示情報に対しては、付
加した評価値の大小に応じて提示情報の部分的選択を行
って再提示することを特徴とする。

【００１７】第１０の発明に係る情報処理装置は、光信
号または電気信号として伝送しうる情報を利用者に提示
する装置において、二次元平面内または三次元空間内で
利用者によって指示された一点の座標を出力する指示座
標出力部をもち、指示された点の移動履歴に基づいて、
提示情報に対する利用者の主観的評価を連続値信号また
は３個以上の異なった値の中から１つ選ばれた離散値信
号として与え、上記評価値を提示情報と対応づけて出力
することを特徴とする。

【００１８】第１１の発明に係る情報処理装置は、第１
０の発明の情報処理装置において、利用者が上記評価値
を入力するときに、入力している評価値の大小に応じて
提示情報を強調または劣化させることを特徴とする。

【００１９】第１２の発明に係る情報処理装置は、第１
０の発明の情報処理装置において、上記評価値を付加し
た提示情報に対しては、付加した評価値の大小に応じて
提示情報の部分的選択を行って再提示することを特徴と
する。

【００２０】第１３の発明に係る情報処理装置は、光信
号または電気信号として伝送しうる情報を利用者に提示
する装置において、二次元平面内または三次元空間内で
利用者によって指示された一点の座標を出力する指示座
標出力部をもち、指示された点の移動履歴に基づいて、
提示情報に対する利用者の主観的評価を連続値信号また
は３個以上の異なった値の中から１つ選ばれた離散値信
号の、提示情報上の分布として与え、上記評価値分布を
提示情報と対応づけて出力することを特徴とする。

【００２１】第１４の発明に係る情報処理装置は、第１
３の発明の情報処理装置において、利用者が上記評価値
分布を入力するときに、入力している評価値の大小に応
じて提示情報または提示情報の部分を強調または劣化さ
せることを特徴とする。

【００２２】第１５の発明に係る情報処理装置は、第１
３の発明の情報処理装置において、上記評価値を付加し
た提示情報に対しては、付加した評価値の大小に応じて
提示情報の部分的選択を行って再提示することを特徴と
する。

【００２３】第１６の発明に係る情報処理装置は、光信
号または電気信号として伝送しうる情報を利用者に提示
する装置において、鍵盤またはキーボードまたは一次元
状に配列されたセンサを用いて、一次元軸上の度数分布
を利用者が一度に指示し、または上記鍵盤、キーボー
ド、一次元配列センサを用いて逐次指し示した１点の動
きの経路から一次元軸上の度数分布を装置が推定し、そ
の度数分布を信号に変換し出力する評価値分布出力部を
もち、上記評価値分布を提示情報と対応づけて出力する
ことを特徴とする。

【００２４】第１７の発明に係る情報処理装置は、光信
号または電気信号として伝送しうる情報を利用者に提示
する装置において、三次元空間内で利用者によって指示
された、提示された二次元情報の各点に対する評価値分
布として出力する評価値分布出力部をもち、上記評価値
分布を提示情報と対応づけて出力することを特徴とす
る。

【００２５】第１８の発明に係る情報処理装置は、第１
７の発明の情報処理装置において、利用者が上記評価値
分布を入力するときに、入力している評価値の大小に応
じて提示情報または提示情報の部分を強調または劣化さ
せることを特徴とする。

【００２６】第１９の発明に係る情報処理装置は、第１
７の発明の情報処理装置において、上記評価値を付加し
た提示情報に対しては、付加した評価値の大小に応じて
提示情報の部分的選択を行って再提示することを特徴と
する。

【００２７】

【作用】本発明に係る情報処理装置では、提示されるべ
き文書、映像、音声など種々の情報に関連させて、その
情報に対する利用者特有の評価とその評価の対象となっ
た範囲を、利用者自身の操作により、あるいは情報にア
クセスしている利用者の状態（例えば注視点、体温な
ど）を観察することにより、あるいはそれら操作や観察
を発端に演算を行ってシステムが推測することにより、
情報の種類およびその情報全体か部分かの別によらず、
同一基準で付与する手段をもつ。

【００２８】したがって、情報再生の際には、付与され
た利用者の評価および被評価範囲に関する記録に基づい
て、利用者は重要な情報から優先的にアクセスすること
ができる。

【００２９】これによって、供給された原情報が多種多
量であっても、短時間で効率よく情報全体を把握した
り、その多種多量の情報の中から、目的のものを探索す
ることが容易になる。

【００３０】

【実施例】以下、図面を参照しながら本発明の実施例を
説明する。

【００３１】（第１の実施例）第１の実施例では、興味
を入力するディバイスとして１次元軸上の強度分布を入
力するものを利用する。図１は、本実施例で用いられる
表示装置７００の概念図であり、装置本体に興味入力パ
ッド７０１が取り付けられている。この興味入力パッド
７０１は、画面７０２下部に画面の幅に対応して横長に
取付られた圧力分布センサーであり、圧力に応じて抵抗
値が変化する圧電素子を棒状に（図中の縦方向に）伸ば
し、これを図中の横方向にアレイ状に並べたものであ
る。従って、興味入力パッド７０１によれば、図中の横
方向の圧力分布を逐次検出することが出来る。このよう
なものには例えば、ピアノ鍵盤の白鍵部分などがある。

【００３２】画面を見ている人は、自分の興味あるもの
が表示された位置に応じて、またその興味の度合いに応
じて、興味入力パッド７０１を押す位置とその強さを随
意に加減することが出来る。図１では、３人の人物が表
示され、その中の左の人物に対して興味を入力している
状態を示している。このとき、画面上では画面上下に三
角の興味インジケータ７０３がスーパーインポーズされ
る。この興味インジケータ７０３は、興味入力パッド７
０１に入力された興味の最も強い位置とその強さを、位
置と輝度によって操作する者に教える。

【００３３】画面７０２と興味入力パッド７０１の位置
関係はこの実施例に限定されず、たとえば画面横に興味
パッドを縦に配置することももちろん可能である。この
場合は、興味の分布は縦方向となる。また、透明な圧力
センサーを用いることで興味入力パッドを画面に重ねて
配置することも可能である。この場合には、圧力センサ
ーの構成により、興味の分布として縦方向にも横方向に
も設定可能である。いずれにしても、従来の選択キーあ
るいは圧電式操作シートが位置情報のみを入力できるの
にすぎないのに対し、このような興味入力パッド７０１
は、圧力分布を検出することができるので、位置に関す
る強度分布情報として入力できる点が本質的に異なる。
興味の入力には、このように融通性のある入力手段を用
いると、非常に効果的である。

【００３４】また、興味インジケータ７０３の手段も、
種々の方法が考えられる。たとえば、興味の強さを表す
のにインジケータの明るさではなく、青から赤への色の
変化を利用することもできる。また、次に述べるオブジ
ェクト検出により興味のあるオブジェクトを推定し、そ
の輪郭輝度を興味の強さによって変化させるといったこ
とも考えられる。ともかく、強度分布に応じてその特徴
を画面中に表示する事によって、興味の入力を容易にす
ることが出来る。また、指示するところは興味が最大の
ところに特定されない。たとえば、２ヶ所に興味があ
り、その位置と興味の度合いを興味入力パッドにより入
力したとき、その２ヶ所について興味インジケータを付
けることもできる。これは興味インジケータの圧力分布
からそのピークを検出することにより容易に実現でき
る。また、興味の分布を地形図の等高線あるいはそれに
準じる表現方法で画面上に表すことも有効な方法であ
る。

【００３５】さらに、興味入力装置として前述したよう
な圧力分布センサー以外にも、種々の装置が考えられ
る。また、従来の圧電シートのような位置情報装置を、
この代用とする事も可能である。次に、これについて述
べる。

【００３６】圧電シートからは本来は位置情報しか得ら
れないが、そこに仮想的な興味分布があると仮定する。
これを図２に示す。図２では、ペンが置かれた位置Ａに
興味があるという情報により、この位置を中心として滑
らかな山形の興味分布を仮定している。この分布はペン
が置かれた位置で時間と共に強度を増し、ペンが置かれ
ていない位置では時間と共に減衰する。従って、画面を
見ている人が興味に従って動かすペンの動きが小さい位
置では興味の度合いは時間と共に強くなり、ペンの動き
が大きい位置では興味の度合いは小さいものとなる。こ
れは、一般的に興味ある対象ほど細かい点まで注目する
ため、ペンの動きは自然に小さなものとなるのに良く対
応している。このことは、ペンによる位置の入力の代わ
りに視線による位置の入力を考えてみた場合により明か
となる。すなわち、興味ある対象は、比較的長い時間凝
視する。従って、このような興味分布を時間的に累積さ
せることで、興味の度合いをはかることが出来る。

【００３７】さて、興味の位置がＡからＢに移ったとす
ると図３で示すように、位置Ａにあった興味の分布は速
やかに減衰し、変わって位置Ｂを中心とした興味分布が
増加することになる。このように瞬時の興味の変化に対
してもとの興味はある時定数を持って減衰していくため
誤った興味位置の入力を避けることが出来る。これは視
線入力を仮定すると説明し易い。すなわち、なにか変わ
ったものを見かけると視線はそちらを向き、そこに興味
があるように入力されるが、実はそれが何物かが理解で
きたときに興味の対象からはずされるといったことが頻
繁に起きる。この場合、いままで興味の対象となってい
たものの強度分布をある程度保持することが必要となる
からである。

【００３８】このような興味分布の時間的な増加あるい
は減少は、それが人の興味というパラメータであるため
に独特の処理がされる。図４は人があるものを見ていた
時間に対する、そのものに対する興味の度合いを示した
グラフである。直感的に明らかなように、人は興味の度
合いに応じてそれを長時間凝視する。しかし、このグラ
フは、ある時間以上の凝視は実はそのものに対しておお
きな興味を持っているわけではないことを示している。
たとえば、大きな風景を見たときに視線は自然に画面中
央に集まるが、それは画面中央の雲に興味があるわけで
はない。また、興味を入力するペンが、ある位置に長時
間静止しているときは、操作する人がその位置にあるも
のに強い興味を持っているわけでなく、逆に興味のある
対象を特定できない場合が多い。このような人の興味の
時間特性により、興味位置に累積される興味強度分布の
増加と減少は時間の関数となる。

【００３９】図５は、入力された興味が特定の位置に滞
在する時間に対する、この位置を中心とした興味分布の
単位時間あたりの増加量を示している。すなわち、滞在
時間が小さいときは増加量は正となり、先に述べたよう
に時間と共に興味の度合いは増加する。しかし、ある時
間ｔ０をすぎてからは、この位置に特定の興味はない可
能性が高いとみなして興味分布は減衰に移る。図５は、
言うまでもなく図４を微分した形となっており、これに
よって人の興味を忠実に反映することが出来る。なお、
興味分布が正から負へと転換する時間ｔ０は、入力ディ
バイスによってもちろん異なり、また、操作する人の個
性や習熟度によってもまちまちであるため、本実施例で
は、時間ｔ０を任意に調節できるようにする。

【００４０】また、対象となる画像の性質によってもこ
のパラメータは変化するため、本実施例では、画像と共
に記録されたインデックス情報によって、画像表示開始
と共に自動的にパラメータを設定されるようにする。こ
のインデックス情報には、映画、音楽、風景、対話とい
った内容に関する情報や、圧縮伸張などの信号処理に関
する情報、あるいはこのパラメータ操作の目的で特別に
付加された情報などが含まれる。

【００４１】図６は、本実施例の興味パラメータ作成時
の概略ブロック図である。画像記録再生部７０４からあ
るいは外部から入力された画像信号７０５は、ディスプ
レイ部７０６によって表示される。このディスプレイ部
７０６の画面近傍には、図１で示したように興味を入力
するディバイスである興味入力部７０７が備え付けられ
ている。

【００４２】先に説明したように、操作者は、この興味
入力部７０７を使って画面を見ながら自分の興味ある対
象の位置とその興味の強さを入力する。この入力を受け
て、興味入力部７０７は、前述した所定の信号処理を行
った後、興味分布信号７０８を発生する。そして、この
興味分布信号７０８が画像と共に、画像記録再生部７０
４に記録される。このとき、興味分布と画像とが時間的
に一致するように、同期処理を施しておく。

【００４３】上記処理と並行して、興味の対象位置とそ
の強さはインジケータ合成部７０９にも送られ、インジ
ケータ合成部７０９ではインジケータを合成する映像信
号を発生させ、これをディスプレイ部７０６に画像信号
と共にスーパーインポーズする。これによって、操作者
は、興味入力部７０７からの入力状況を容易に確認する
ことが出来る。

【００４４】オブジェクト検出部７１０は、画像信号か
ら画像オブジェクトを抽出する機能を有する。ここで言
う画像オブジェクトとは、画像の内容に関する、画像を
構成する個々の要素画像を指す。たとえば、人や木など
はそれぞれ外形的な特徴を持っているため画像から分離
可能である。あるいは、画像の輪郭検出処理により、一
つの画像が円、正方形といった単純な形によって構成さ
れていると見ることもできる。このような場合、その単
純な形の一つ一つを画像オブジェクトとみなすこともで
きる。オブジェクト検出部７１０では、画像を構成する
オブジェクトを逐次分離し、それらに適当なラベルを付
加するとともに、興味パラメータの分布を参考にしなが
ら意味の上で統合すべきオブジェクトを統合する。

【００４５】この統合に関して例を示して説明する。例
えば、図７（ａ）のように人物８０１が写っている画面
８０２において、図７（ｂ）のように輪郭検出処理から
得られた顔８０３と上着８０８があったとする。ここで
操作する者は「顔」だけをオブジェクトとして認識して
いるのではなく、「顔」と「上着」をあわせて「人物」
としての認識をしている。この場合、顔８０３の領域と
上着８０８の領域は、興味パラメータに大きな差が生じ
ないこと（図７（ｃ））を根拠にして、「人物」として
統合すべきものと判定できる。一方、「顔」と「背景」
では明らかに興味パラメータの格差があるので、これら
は統合すべきでない。実際には輪郭検出で得られた領域
Ａと同様にして得られた領域Ｂに対応する部分の興味パ
ラメータ分布を算出し、Ａ、Ｂの値が所定のしきい値以
下のものを統合し、統合オブジェクトＣとする。

【００４６】このオブジェクトの特徴に関する情報をオ
ブジェクト情報７１１として記録部７０４に興味分布信
号７０８と共に記録することが出来る。

【００４７】このオブジェクト検出部７１０と興味入力
部７０７は、互いに協調することで極めて効率的に機能
する。すなわち、オブジェクト検出部７１０は画像を見
ている人の興味の対象となる位置（分布）を知ることが
出来るため、解析の画像範囲をこの位置の近傍に限定す
ることで、興味の対象となっていない部分については解
析処理を省略することが出来る。これにより、オブジェ
クト検出部７１０のハードウェアを簡単にすることが出
来る。一方、検出したオブジェクト情報はインジケータ
合成部７０９に送られることによって、今興味あるオブ
ジェクトを特定することが出来る。オブジェクト情報に
は、オブジェクトの位置だけでなくその外形に関する情
報も含まれている。従って、インジケータ合成部７０９
は、興味の度合いを示すインジケータとして、興味の対
象となっている画像オブジェクト（人や木など）の輪郭
輝度を変化させることが出来る。すなわち、自分が興味
があり、その度合いを入力している画像対象の輪郭が、
興味の度合いによって明るくなりあるいは色が変化する
といったぐあいに確認することが出来るため、興味の入
力がよりいっそう容易となる。言い換えると、画像を見
ている人が操作を何も行っていない時には画像を適度に
見難くし、高い興味を意味する入力がなされた部分だ
け、入力に応じて見やすくする方法も考えられる。この
場合、上記のように（操作がない部分は）輪郭を不明確
にする、明るさを暗くする、色を変質させる、といった
方法のほかに、解像度を下げるなどのやり方がある。

【００４８】図８は、本実施例の再生時の概略ブロック
図である。オブジェクト情報、興味分布信号と共に記録
された画像信号は、記録再生部７０４で再生されてディ
スプレイ７０６で画像となり、これを鑑賞することを可
能にする。同時に再生されるオブジェクト情報７１１
は、オブジェクト表示部７１２によって適当な加工が施
され、原画像と共にディスプレイ部７０６に表示され
る。これによって、オブジェクトの輪郭を際だたせた
り、オブジェクトに付随している情報から、オブジェク
トに番号やラベルなどを表示することが出来る。

【００４９】興味分析部７１３は、再生された興味分布
信号７０８から興味あるシーンを識別して、これに応じ
て記録再生部７０４にコントロール信号７１４を送り、
これを制御する。また、画像中の興味の対象となるオブ
ジェクトをオブジェクト表示部７１２に指示することに
よって、このオブジェクトを際だたせたりする事が可能
となる。

【００５０】次に、興味分析部７１３で行う分析アルゴ
リズムについて説明する。

【００５１】一つのオブジェクトに着目した興味の時間
変化は、図９に示すような特性になる。すなわち、シー
ンのスタートからある時間ｔ１まではシーンが変わった
ことによって、それを見る人が興味の対象となるものを
画面中から探す時間である。このオブジェクトが興味の
対象となる場合、興味の強度は速やかに立ち上がる。そ
の後、画像を見ている人は興味に応じてそれを凝視して
理解する時間が続く。このときの興味の度合いは、瞬間
的な興味の強さに応じると予想される。さらに、一応の
理解と認識が終わり次の興味対象を探し始めると、興味
の強さは徐々に減衰を始める。そして、興味の強さは０
に成らないままシーンは終了することになる（図中のエ
ンド）。本発明者は、このような興味の一般的な時間推
移によってこのオブジェクトの興味を特徴づけるパラメ
ータとして、あるスレショルドレベルＰ０を切る時間ｔ
１からｔ２までの時間間隔とその間のピークレベルＰ１
の積、すなわち、 興味パラメータ＝（ｔ２−ｔ１）×Ｐ１ を用いることが非常に有効であることを発見した。

【００５２】本実施例の興味分析部７１３では、上記の
ような計算を行い、オブジェクトの興味パラメータとし
ている。ところで、ニュースシーンなどで２人の人物が
対話しているような場合、興味の強さの強度分布は時間
的に複数のピークが現れる。すなわち、発言している人
に対する興味が自然に高くなるため、一つのシーンで興
味の対象が行き来し、これによって図１０のように複数
の興味ピークが現れる。このときは、それぞれのピーク
ついて興味を計算し加算することによって、興味パラメ
ータを得ることが出来る。この例では興味パラメータ
は、 興味パラメータ＝Ｐ１＊（ｔ２−ｔ１）＋Ｐ２＊（ｔ４
−ｔ３） となる。

【００５３】あるいは、興味パラメータが所定のしきい
値を超える時間に関して興味パラメータの時間積分を行
い、その値をそのオブジェクトに関する興味パラメータ
としてもよい。

【００５４】さて、図８に戻って再生時の動作を説明す
る。記録再生部７０４で再生された興味分布信号７０８
は、興味分析部７１３により、それぞれのシーンに登場
するオブジェクトごとに上記のようにして興味パラメー
タが付けられる。その際、用いられる基準興味強度に
は、あらかじめ決められた値を用いてもよいが、図６の
興味入力部７０７によって任意に設定することも出来
る。

【００５５】この興味パラメータは、興味の度合いに応
じたオブジェクトを検索するために使われる。例えば、
あるレベルより興味の大きなオブジェクトの登場するシ
ーンを時間順に再生させることによって、画像内容を短
時間に把握できるダイジェストを自動的に作成すること
が出来る。さらに、時間とは無関係に興味の大きさ順に
再生させることにより、所望の画像を短時間に検索する
ことが可能となる。また、オブジェクト情報に個別の名
前が与えられ、それぞれのシーンでのオブジェクトの一
致が明確な場合では、番組中のオブジェクトごとに、そ
れを見る人の興味の大きさをはかることが出来、番組全
体を魅力の大きな作品にする有力な手段となる。また、
このような番組が実際に放映され、その視聴率の時間推
移が判明したときには、視聴率の高いシーンでどのオブ
ジェクトが注目を集めていたかが直ちに明らかとなり、
高視聴率の番組製作に役立てることが出来る。これらの
効果は、同一の情報シーケンス（番組、映画作品など）
を、異なった鑑賞者が見たときの興味の度合をそれぞれ
測定・記録しておき、（あるオブジェクトに関する各人
の興味パラメータの合計）÷（人数）などの累積演算を
施すことで、より客観性を増すことが期待できる。この
ような累積演算は、常に異なった鑑賞者に対してのみ行
う必要もなく、同一人物が同一シーケンスを複数回見た
ときにも同様の処理を行えば、その人の関心が淘汰され
た興味パラメータを得ることが期待できることは言うま
でもない。

【００５６】（第２の実施例）図１１は、本発明の第２
の実施例の概略ブロック図である。

【００５７】以下では、評価を行うべき対象となる原情
報を２次元動画像とし、利用者が評価を与える手段とな
る入力装置をいわゆるマウス（平面上で動くポインティ
ングデバイス）とした例について説明する。

【００５８】利用者は、画面上（図示せず）で動画像を
見ながらマウス５０１を操作する。利用者は、原則的に
は画面内の自由な場所を差し示してよいが、後述する方
法などを用いて自分が特に興味を持った部分を自然と差
し示すようにしておく。マウスの動きはデバイスドライ
バ５０２で逐次計算されており、デバイスドライバ５０
２からは利用者の操作に対応した画面内の一点を指し示
す座標情報５０３が供給される。一方、画面は格子状に
分割されており、分割された各領域（あるいは素子）ご
とに記憶部５０４が割り当てられている。蓄積制御部５
０５では、決められた時間間隔で、その時のマウス５０
１があった座標情報５０３に対応する記憶部５０４にマ
ウス停留カウントとして「１」を加算していく。したが
ってマウスの動きが停止していれば、その領域に対応す
る記憶部５０４に記憶されている数値は増加して行く。
このようにして、画面全体に関する利用者の興味分布５
０９が得られる。一方、提示されている画像情報５０６
は、領域推定部５０７へ入力される。領域推定部５０７
では、フレーム間差分からのエッジ検出など公知の画像
処理方法で画像解析が行われ、上記格子状に分割された
領域の連続関係が推定される。連続関係の推定について
は、第１の実施例において説明したが、興味の度合の入
力が２次元の広がりを持つものであった場合について、
改めてここで説明する。

【００５９】例えば図１２（ａ）のように人物６０１が
写っている画面６０２において、肌色領域検出から得ら
れた顔６０３を一部でも含む領域６０４は、連続グルー
プ６０５として記録される（図１２（ｂ））。同様にし
て、上着６０８を含む領域６０６は別の連続グループ６
０７として扱われる。領域推定部５０７は、上記手法に
よって分割領域のグループ情報５０８を、グループ統合
部５１９に報告する。グループ統合部５１９では、上記
のようにして得られたグループ情報５０８によるグルー
プ境界線の内外でのマウス停留カウント数を比較し、差
が決められた値より大きかった境界を存続させ、小さか
った境界を消滅させて複数のグループを統合していく。
このように統合されるグループは、人間が感覚の上で分
ける境界に近いものと考えられる。すなわち、同じ人物
を見ていても、その人物全体に興味が存在する場合には
マウス停留は人物全体に及ぶであろうし、特に顔だけに
興味が存在する場合には顔に集中すると期待できるから
である。こうして統合されたグループを、以下では「オ
ブジェクト」と呼ぶことにする。

【００６０】次に、オブジェクト興味判断部５１０は、
決定されたオブジェクトおよび興味分布５０９を元に、
オブジェクトごとの利用者の興味の高さを計算する。こ
の処理は、着目オブジェクト中の興味分布５０９の総和
すなわち所定時間内に着目オブジェクトにマウスが停留
したカウント数をオブジェクトの大きさで除算し、これ
を着目時間内の着目オブジェクトに関する興味の度合す
なわちオブジェクト興味情報５１１とすることでなされ
る。また、第１の実施例で説明したように、興味情報の
値の高さが所定値以上の時間区間幅に、その時間区間内
の最大興味情報の値を積算した値を用いるという方法、
あるいは興味情報の値の高さが所定のしきい値を超える
時間に関して、興味情報の値を時間積分し、その積分値
をオブジェクトに関する興味情報の値とする方法などで
もよい。

【００６１】領域推定部５０７は、興味分布５０９やオ
ブジェクト興味情報５１１のフィードバックを受け、時
間経過によるオブジェクトの連続性を補償する。これに
よって、あるフレームでＡと認識されたオブジェクト
が、連続する別のフレーム中で場所が変化していてもＡ
と認識される。上記のようにして得られたオブジェクト
興味情報５１１は、元となった画像情報５０６との同期
がとられ、オブジェクト領域情報５１２とともに出力さ
れる。

【００６２】記録部５１３では、オブジェクト興味情報
５１１、オブジェクト領域情報５１２を元となった画像
情報５０６とともに、あるいはその格納場所情報ととも
に記録する。これは、例えば図１３のようなデータとな
る。一方、オブジェクトごとにオブジェクト興味情報５
１１を時間積分し、これをそのオブジェクトの登場時間
で除算するなどの処理によって、提示単位（たとえば映
画１本）全体での興味の度合を演算し、オブジェクト累
計興味情報５１４として同様に記録する。

【００６３】記録されたオブジェクト興味情報５１１
は、別途利用者が画像の再生を行う際に作用させること
ができる。以下にその方法を示す。

【００６４】興味情報解読部５１５は、既に記録されて
いるオブジェクト興味情報５１１を再生部５１８を通じ
て読み出し、一旦、興味情報蓄積部５１６に全部保存し
ておく。興味情報処理部５１７は、全体を通じて興味の
高かったオブジェクトを上位から順に決定する。次に、
興味情報処理部５１７の指令に基づいて、再生部５１８
は必要部分だけを出力端子５２０より再生する。「必要
部分だけを再生する」とは、具体的には図１４に示すよ
うに、全体を通常通り再生する際に、興味の低かったオ
ブジェクトはマスキングする（図１４（ａ）中の６１
１）、興味の高かったオブジェクトを含む場面だけを再
生する（図１４（ｂ）中の６１２）、興味の高さが上位
のオブジェクトを２つ以上含む場面だけを再生する（図
１４（ｃ）中の６１３）などである。このような手法に
より、利用者は改めて複雑な操作をすることなく、自分
に適応した要約を得ることができる。また、オブジェク
ト興味情報５１１およびオブジェクト累計興味情報５１
４を、同じメディアを見た同じ利用者、別の利用者ごと
に測定し、累積することによって、安定した、あるいは
客観的な関心に収束することが期待できる。これを利用
して、レンタルソフトやネットワーク上の共有メディア
において、登場人物（すなわちオブジェクト）ごとの人
気投票も行うことができる。

【００６５】本実施例では、原情報として２次元動画像
を挙げたが、マウスが３次元中の１点を示すことができ
るようなものであれば、３次元（立体）の動画像に同様
の手法を適用してもよい。また、マウスの動きを１次元
に投影することにより、左右のみの広がりをもった情報
（音楽や、会議をステレオ録音したもの）に適用し、オ
ブジェクトとして楽器や話者ごとに興味を関知してもよ
い。

【００６６】本実施例では、動画像、音楽など、情報が
時間的に推移するものを挙げたが、静止画像に対して
も、同様の手法を用いることができる。これによって写
真などにオブジェクト興味情報５１１を付与し、出力、
記録することができる。同様にして、文書を静止画像と
して取り扱うこともできる。また、このように静止した
情報の場合、再生部５１８は興味の高かったオブジェク
トのみを自動的に整列させ、空間的な要約を作成するこ
とができる。

【００６７】本実施例では、利用者が評価を与える手段
となる入力装置としてマウスを挙げたが、ペン、タブレ
ット、トラックボール、タッチパネル、ジョイスティッ
ク、ディジタイザなど同様にポインティングの機能をも
つデバイスであれば他のものでもよい。また、上記のよ
うにマウスの差し示している場所を検出する代わりに、
視線検出を利用し、見ている場所に対して前述と同様の
処理を行ってもよい。この場合、人間は興味をもってい
る部分にほとんど無意識のうちに目を向けるため、より
抵抗感が少なく、かつ真の興味の度合に近いオブジェク
ト興味情報５１１が得られると期待できる。

【００６８】本実施例の最初に述べたように、利用者は
自分が特に興味を持った部分を自然と差し示すようにし
ておく方法もある。これは高い興味を入力している部分
以外を、画像であれば解像度を下げる、暗くする、色を
変えるなど、音声であれば音量を下げる、音質を変化さ
せる、などの方法で変成させ、見にくくあるいは聞こえ
にくくしておくことである。これによって、利用者は、
自分が見たいあるいは聞きたいと思う部分に必然的に高
い興味を示す操作をするように仕向けられる。

【００６９】（第３の実施例）本発明の第３の実施例を
説明する。

【００７０】図１５は、本実施例を示す概略ブロック図
である。本実施例では、評価を行うべき対象となる原情
報を２次元の動画像とし、利用者の入力手段としては２
次元上の座標を指定するマウスを用いるものとする。

【００７１】評価を行うべき対象となる２次元動画像
は、符号化処理を施された形で原情報蓄積部３０５に蓄
積されている。この情報を再生するため、原情報はデコ
ーダ３０４に送られる。デコーダ３０４は、送られてき
た原情報を逐次復号し、２次元動画像情報を表示装置
（図示せず）に適した信号に変換する。また、このとき
デコーダは、現在動画像のどの部分が再生されているの
か、といった情報（例えばタイムコードなど）を時間制
御部３０２に逐次送る。

【００７２】利用者は、映像出力端子３０７に接続され
た表示装置に表示される２次元の動画像を見ながら、そ
の動画像に対する興味、関心度の評価を逐次行う。興
味、関心度の入力は、利用者が評価を入力したいと感じ
た任意の時間に、マウス信号入力端子３０６に接続され
た平面上を動かすことのできるマウスを操作することに
より行う。すなわち、利用者は、動画像の評価を行った
とき、その評価に対応するある決められたマウス操作を
行うことにより、評価を入力する。操作の方法として
は、例えばマウスボタンを押しながら○，△，×の形に
マウスを動かすといった方法や、同様にマウスボタンを
押しながら１，２，３，・・・といった数字を入力す
る、といった方法が考えられる。ここでは、マウスをク
リックしたまま◎，○，△，×の形にマウスを動かすこ
とにより興味、関心度の評価を入力する場合について説
明する。ただし、興味が大のとき◎、やや大のとき○、
中のときは何も入力しない、やや小のとき△、小のとき
×の形を入力するものとしている。

【００７３】利用者は、興味、関心度の評価を入力した
いと感じたときにまず、マウスボタンを押す。この時点
で、マウスボタンが押されていることを示す信号がカー
ソル位置履歴情報蓄積部３００に送られる。マウスから
は、このボタン・ダウン信号のほか、一定の短い時間間
隔でマウスカーソルの表示画面上の位置移動情報が、逐
次カーソル位置履歴情報蓄積部３００に送られている。

【００７４】ボタン・ダウン信号を受け取ったカーソル
位置履歴情報蓄積部３００は、その後の一定時間、マウ
スボタンが押された状態、すなわちボタン・ダウン信号
が送られている状態でのマウスカーソルの位置情報を蓄
積する。このようなカーソル位置履歴情報は、２次元座
標上の点に対し、ボタンが押されたままマウスカーソル
が通過したか否かを２値で表現する方法や、ボタンが押
されたままマウスカーソルが通過した座標のみをリスト
として表現する方法などにより表現することができる。

【００７５】マウスボタンが押し下げられはじめてから
一定時間が経過した後、カーソル位置履歴情報蓄積部３
００は、カーソル位置履歴情報を２次元パターン認識部
３０１に送る。また、同時にマウスボタンが押し下げら
はじめたときに、利用者が入力を開始したことを示す信
号が時間制御部３０２に送られる。上記では入力パター
ンの例として、◎、○などを挙げたが、パターンはこれ
に限られない。例えば、画面内でのマウスの動きの集中
／発散を認識して、興味パラメータに変換するなどの方
法もある。

【００７６】２次元パターン認識部３０１では、受け取
ったカーソル位置履歴情報を利用者の入力した２次元の
パターンとして認識し、大きさの正規化等の前処理を行
う。そして、あらかじめ決められている入力パターン
◎，○，△，×と利用者の入力した２次元のパターンと
の類似度を計算し、もっとも類似したパターンを選択す
る。選択されたパターンは、利用者の入力したパターン
と認識され、興味パラメータ変換部３０３に送られる。

【００７７】興味パラメータ変換部３０３は、２次元パ
ターン認識部から送られたパターンと、時間制御部３０
２から送られた時間情報とから、動画像のどの時間部分
に興味の度合いを示す興味パラメータとして、いかなる
値を与えるかを決定する。

【００７８】時間制御部３０２から送られる時間情報
は、利用者が評価を与えようとしていたと思われる動画
像の再生時間を推定して算出したものである。時間制御
部３０２では、利用者が入力を開始した時点で、動画像
のどの部分が再生されていたかを知ることができる。こ
れは、例えば動画像に付与されたタイムコード等により
一意に特定することができる。一般的には、利用者が興
味、関心度を付与しようと決断してから、実際にマウス
ボタンを押し下げるまでにはわずかに時間差があると思
われる。この時間差を考慮し、実際にマウスボタンが押
された時点で再生されていた部分より、わずかに前の時
点で再生されていた部分に興味、関心度を付与するよう
な調整を時間制御部３０２において行うと効果的であ
る。

【００７９】興味パラメータ変換部３０３は、時間制御
部３０２から送られた時間情報に基づいて、動画像の特
定部分（例えばフレーム）に２次元パターン認識部３０
１から送られたパターンに相当する興味パラメータを付
与する。この際、一つのフレームのみに興味パラメータ
を付与することも可能であるが、実際には、前後の数フ
レームにわたって滑らかに変化する興味パラメータを付
与するとより効果的である。例えば、図１６に示すよう
に、時間方向に滑らかに変化する興味パラメータＩ
（ｔ）を付与する。興味パラメータ変換部３０３の出力
は、時間情報とその時間情報に対応する動画像の一部に
付与された興味パラメータの組の集合であり、これは原
情報蓄積部３０５に送られる。

【００８０】原情報蓄積部３０５では、興味パラメータ
変換部３０３から送られた情報に従い、実際に興味パラ
メータを動画像に関係づけて記録する。

【００８１】以上は、動画像の任意の時点に対して興
味、関心度を示す興味パラメータを付与する方法の説明
であったが、興味パラメータは一つの動画像に対してた
だ一つの値を付与することも可能である。このような興
味パラメータの値は、例えば、動画像の全時点での興味
パラメータの値の時間平均を計算し、付与することによ
り実現できる。また、平均値だけでは動画像間の差が出
にくいので、第１の実施例で説明したように、興味パラ
メータが所定値以上の時間区間、あるいは動画像全体の
時間区間幅に、その時間区間内の最大興味パラメータ値
を積算した値を用いるという方法、あるいは興味パラメ
ータが所定のしきい値を超える時間に関して、興味パラ
メータを時間積分し、その積分値を動画像全体の興味パ
ラメータとする方法などでもよい。興味パラメータの値
に所望の統計処理を施した値、例えば興味パラメータの
最大値、最小値、分散などの値も付与しておくことも有
効である。

【００８２】本実施例では、２次元動画像を原情報とし
て用いたが、その他の原情報として立体動画像、音声、
音楽などを用いても同様の方法で興味パラメータの付与
が出きる。また、時間的に変化しない情報、例えば、２
次元静止画、立体静止画、文書等においては、ただ一回
のマウスを用いた評価により興味パラメータの付与がで
きるので、より簡単に実現することができる。

【００８３】また、上記ではマウスボタンが押されてい
る時のカーソルの動きから◎、△などの記号や数字を入
力していたが、利用者はこのような記号の入力開始と終
了のみをクリックによって知らせ、そのほかの時間はボ
タンを押さない、という方法も可能である。また、これ
ら興味の度合を示す記号の入力に関しては、まったくマ
ウスボタンを用いず、カーソル位置の経時変化を常に観
測しておき、記号と認識できる動きがあったときに入力
とみなす方法も可能である。

【００８４】さらに、本実施例で用いたマウスのほか、
入力装置としては、３次元マウス、トラックボール、タ
ッチパネル、ジョイスティック、タブレット、ディジタ
イザなどのポインティングデバイスを用いても、あるい
は視線検出を利用して、利用者の視点を入力に用いた
り、ＣＣＤカメラを利用して指などで利用者が指示する
動作を入力に用いても、同様の方法で興味パラメータの
付与ができることは明らかである。

【００８５】（第４の実施例）本発明の第４の実施例を
説明する。

【００８６】図１７は、本実施例を示す概略ブロック図
である。本実施例では、評価されるべき原情報を２次元
静止画像とし、利用者の入力手段として２次元上の座標
を指定するマウスを用いるものとして説明する。

【００８７】映像出力端子３１５に接続された表示装置
（図示せず）には、原情報蓄積部３１３に記録されてい
る静止画が複数表示されている。表示制御部３１０は、
複数の静止画を表示装置のどの位置にどの様な大きさで
表示するかを制御している。複数の静止画が重なって表
示されているような場合には、静止画の上下関係の制御
も行っている。また、静止画を表示するため、所望の静
止画データを原情報蓄積部３１３に読み出すように要求
し、静止画データを受け取る。

【００８８】本実施例の表示制御部３１０は、表示装置
に表示される静止画の解像度を、マウス入力端子３１４
に接続されたマウスからの入力に依存して変化させるこ
とを特徴としている。すなわち、利用者がマウスカーソ
ルを所望の静止画上に移動し、クリックすることによ
り、指定された静止画の解像度が向上し、一方、指定さ
れた以外の静止画の解像度は極度に悪くなるよう、表示
制御部が制御する。従って、利用者は、興味を感じる静
止画を選択し、マウスにより指定しなければ静止画を高
解像度で見ることが許されない。このため、必然的に興
味の高い静止画ほどよく指定し、高解像度で表示させ、
興味の低い静止画は高解像度で表示させた時間が短くな
る。このように、本実施例の表示制御を用いると、静止
画ごとの高解像度表示時間に利用者の興味の度合いが反
映される。

【００８９】利用者が一つの静止画をマウスにより指定
し、指定した静止画の解像度を向上させる（同時に他の
静止画の解像度を悪くする）と、指定された静止画を特
定する情報および指定した時刻が表示時間計測部３１１
に送られる。表示時間計測部３１１では、静止画ごとに
高解像度で表示された時間の累計を計算し、記憶してい
る。そして、一定の時間が経過し、もしくは利用者によ
り指定され、あるいは静止画が表示画面上から消去され
るなど、表示時間の何らかの単位が経過すると、表示時
間計測部３１１は、累計高解像度表示時間を静止画別に
興味パラメータ変換部３１２に送る。

【００９０】興味パラメータ変換部３１２では、送られ
てきた静止画別の累計高解像度表示時間を、利用者の興
味の度合いを表す興味パラメータに変換する。一般に、
累計高解像度表示時間の長い静止画ほど、興味パラメー
タの値は大きくなるように変換される。そして、静止画
を特定する情報および興味パラメータの値の組を原情報
蓄積部３１３に送る。

【００９１】原情報蓄積部３１３では、興味パラメータ
変換部３１２からの情報に従って、静止画データの属性
データに興味パラメータの値を書き込む。

【００９２】以上では、表示されている静止画の解像度
が、利用者の入力に依存して変化する例を述べたが、例
えば解像度を利用者が入力した時点からの経過時間に依
存させるように静止画表示することも可能である。すな
わち、各々の静止画の解像度が、利用者のマウスによる
指定から時間が経過するごとに悪くなるよう、表示制御
部３１０は制御する。例えば、図１８に示すように解像
度を変化させるものである。このように制御することに
より、利用者が高解像度で見たいと思う静止画に対して
は、定期的にマウスカーソルを動かし、クリックしなけ
ればならない。従って、利用者の静止画に対する興味の
度合いが高解像度表示時間のほか、クリック回数にも反
映される。従って、クリック回数を静止画ごとに計測す
ることによって興味パラメータの値を算出することもで
きる。

【００９３】以上の例では、利用者の興味パラメータ
は、同時に表示された静止画の組み合わせに依存すると
ころが大きい。すなわち、利用者がそれほど興味を持っ
ていない静止画でも同時に表示されている静止画が興味
の低いものばかりであると、それほどの興味を持ってい
ない静止画に対しても大きな値の興味パラメータが付与
されてしまうことがある。このような不都合をなくすた
めに、累計高解像度表示時間を逐次更新できるようにし
ておき、さまざまな静止画の組み合わせに対しての平均
的な興味パラメータが付与されるようにすると良い。こ
のときには、静止画の属性データとして、興味パラメー
タのほかに累計高解像度表示時間も記録しておく必要が
ある。

【００９４】本実施例で用いている入力装置は２次元座
標を指定することのできるマウスであるが、これは勿論
トラックボール、タッチパネル、ジョイスティック、ラ
イトペン、タブレット、ディジタイザ等のポインティン
グデバイスや、３次元マウスなどの３次元座標上の点を
指定するポインティングデバイスを用いても実現可能で
ある。

【００９５】以上、入力デバイスを介して利用者の興味
の時間的変化を入力する方法を述べた。

【００９６】以下では、入力された興味の度合いを利用
する方法について述べる。

【００９７】実時間で興味の度合いに応じて再生画像・
音声を処理する方法として、入力された利用者の興味の
度合いにより、興味がある（興味の度合いが高い）箇所
について再度再生する。興味がない（興味の度合いが低
い）箇所については、早送りして飛ばすなどの処置があ
る。

【００９８】教育用ビデオソフトを例にとれば、興味が
高い（よく判らない、あるいは詳しく知りたい）シーン
では、スロー再生をし、興味が低い（よく理解した、あ
るいはわかりきっている）シーンでは早送りやスキップ
で次のシーンへ移るなどの処理が施されるのである。

【００９９】興味の度合いが多くの段階で入力された場
合やアナログ信号のように入力されている場合には、そ
の値の大きさに応じて再生速度を変化させる方法があ
る。例えば、値が大きい場合は通常再生で、値が少し小
さい場合には早送りし、値が０に近い箇所ではスキップ
してしまうという方法がある。

【０１００】上述の処理は、実時間で入力された興味の
度合いを用いても可能であるし、興味の度合いを記録し
ておき、記録された興味の度合いを用いても可能であ
る。

【０１０１】記録された興味の度合いを用いる他の例と
して、再度対象となる画像・音声を再生する場合、興味
の度合いの高いところのみを再生し、ダイジェスト版の
ように再生する方法がある。

【０１０２】さらに興味の度合いが大きい１シーン（例
えば、興味の度合いが所定しきい値以上の時間区間をシ
ーンとみなし、シーン内の興味パラメータの時間積分が
高いシーン、あるいはシーンごとに第１の実施例のよう
に、興味の度合がしきい値を超えている時間に、その時
間区間内の興味パラメータの最大値を積算し、その積算
値の高いシーン）をアイコンの様に画面に出力し、利用
者は好みのシーンを選択して再生する方法がある。

【０１０３】また、興味の度合いの変化量の傾きを求
め、その傾きが急峻なシーンを前述のようにアイコン化
して画面に出力し、選択する方法がある。

【０１０４】また、原情報として２次元静止画像を取り
上げて説明したが、これは動画像、文書などでも同様の
処理で興味パラメータを付加することができる。また、
音声についても、解像度ではなく音声レベルを変化させ
ることにより、同様の処理で興味パラメータが付与でき
る。

【０１０５】（第５の実施例）以下、本発明の第５の実
施例について説明する。

【０１０６】図１９に、第５の実施例の概略ブロック図
を示す。

【０１０７】まず、利用者の興味の高さを３値により指
示する例について説明する。

【０１０８】ここで、利用者が画像・音声・文字を見聞
きしたとき、面白いとか悲しいとか楽しいなどの感情の
高ぶりを、興味の高さまたは興味の度合いという。

【０１０９】例えば、興味の高さを図２０の様に、 １・・・興味あり ０・・・普通 −１・・・全く興味無し とする。

【０１１０】ＶＴＲに代表される記録再生機器２０７か
ら再生部２０６にて再生されディスプレイ２０２などの
画像表示装置により示された動画・静止画・文字画像、
またはオーディオ機器などに代表される記録再生機器２
０７から再生されスピーカ２０３などに出力される音楽
・音声について、利用者は入力デバイス２０１から興味
の高さを入力する。

【０１１１】ここでは、興味を感じた場合は「１」を、
あまり興味を感じなかった場合は「０」を、全く興味が
ないと感じた場合は「−１」を入力する。例えば、２ボ
タンマウス（図２０中の２０１−１）の場合、左ボタン
をクリックすれば「１」が入力され、右ボタンがクリッ
クされれば「−１」が入力される。「０」は、右または
左ボタンを２度クリックするなど、「１」または「−
１」を入力する方法以外の方法がとられる。他の入力デ
バイスとして、３点スイッチ（図２０中の２０１−２）
やボタンスイッチ（図２０中の２０１−３）など３値の
入力が行えるものが考えられる。なお、後述するよう
に、さらに細かく興味の度合いを分けて指示できるよう
にすることも可能である。

【０１１２】指示入力された値は、例えば図中２１２の
ような波形の信号として興味パラメータ処理部２０４に
与えられる。興味パラメータ処理部２０４では、この信
号に基づき興味パラメータを生成し、記録媒体２０７と
制御部２０５に与える。記録媒体２０７では、興味パラ
メータを情報に関連付けて格納する。また、制御部２０
５は、興味パラメータに基づき、所定の再生制御などを
再生部２０６に対して施す。

【０１１３】次に、さらに細かく興味の度合いを分けた
場合について説明する。

【０１１４】例えば、図２１の様に、興味の度合いを１
１段階で表現する場合を考える。この様な場合、興味の
度合いを指示する方法として、 画面上に度合いを表示しない 画面上に度合いを表示する という２つの方法が考えられる。

【０１１５】度合いを表示しない場合とは、画面上に表
示できない（例えば表示することにより気分が損なわれ
る）状況や音楽・音声を聞く状況であって、このときに
は図２２の様に予め入力デバイスに数値が表示されてい
てもよい。利用者は、画面を見ながら、または音楽・音
声を聞きながら興味の度合いに応じてその数値を選択す
る。

【０１１６】画面上に度合いを表示する場合、図２３に
示すように利用者はポインティングデバイスを操作する
ことにより興味の度合いを指示し入力する。

【０１１７】次に、興味の度合いが無段階で表現される
場合について説明する。この様な場合、図２４に示すよ
うに興味の度合いはアナログ信号の形態となる。

【０１１８】この場合も興味の度合いを指示する方法と
して、 画面上に度合いを表示しない 画面上に度合いを表示する という２つの方法が考えられる。表示しない場合、利用
者は入力デバイスを興味に応じて操作し、興味の度合い
を出力する。

【０１１９】度合いを表示する場合、利用者は入力デバ
イスを用いて、画面上に表示された興味の値を自分の興
味に合わせて変化させる。

【０１２０】画面上に興味の値を表示させる場合、再生
時間中常に表示しておいても良いし、ある時間ごと、例
えば映画やドラマのシーンチェンジごとに表示しても良
い。

【０１２１】あるいは、第４の実施例で説明したよう
に、表示される画像の解像度を、入力された値に依存し
て変化させるようにしてもよい。すなわち、ユーザが高
い値を与えた場面では解像度が向上し、一方、指定され
た以外の画像の解像度は極度に悪くなるよう、制御部２
０５が制御する。従って、ユーザは興味を感じる静止画
に高い興味の値を指定しなければ静止画を高解像度で見
ることが許されない。このため、必然的に興味の高い静
止画ほど高く指定し、高解像度で表示させ、興味の低い
静止画は高解像度で表示させた時間が短くなる。このよ
うに、本実施例の表示制御を用いると、ユーザは必然的
に興味の度合に応じた入力操作を促される。

【０１２２】これら変化する興味の度合いを入力するデ
バイスとして、マウス、トラックボール、タブレット、
タッチパネル、ライトペン、デジタイザなどに代表され
るポインティングデバイスや、可変抵抗器の様な回転機
構やスライド機構などをようするもの、多接点スイッチ
の様に幾つかの異なる信号を出力するものが挙げられ
る。また、歪みゲージなど曲げ応力を利用したもの、距
離センサを用いて利用者は体の一部を近づけ／遠ざける
ことで値を入力するもの、利用者が回転物を回し、その
回転数を利用するものなどがある。

【０１２３】さらに、利用者が無意識に興味の度合いを
入力する方法として、利用者の発汗量、脈拍、心拍数、
脳波、筋肉の緊張、まばたきの回数など、外部及び内部
刺激により心理的に変化する量を検知し、その変化量に
応じて興味の度合いの変化量を入力する方法がある。ま
た、利用者の音声を利用する方法がある。これは、利用
者が笑い声など発声した箇所やトーンが変化した箇所で
は興味が高いとするものである。この音声を利用した場
合の例としては、映画館などで観客の興味が高くなった
シーンを観客の笑い声や叫び声などから特定することが
できる。

【０１２４】以上、入力デバイスを介して利用者の興味
の時間的変化を入力する方法を述べた。

【０１２５】以下では、入力された興味の度合いを利用
する方法について述べる。

【０１２６】実時間で興味の度合いに応じて再生画像・
音声を処理する方法として、入力された利用者の興味の
度合いにより、興味がある（興味の度合いが高い）箇所
について再度再生する。興味がない（興味の度合いが低
い）箇所については、早送りして飛ばすなどの処置があ
る。

【０１２７】教育用ビデオソフトを例にとれば、興味が
高い（よく判らない、あるいは詳しく知りたい）シーン
では、スロー再生をし、興味が低い（よく理解した、あ
るいはわかりきっている）シーンでは早送りやスキップ
で次のシーンへ移るなどの処理が施されるのである。

【０１２８】興味の度合いが多くの段階で入力された場
合やアナログ信号のように入力されている場合には、そ
の値の大きさに応じて再生速度を変化させる方法があ
る。例えば、値が大きい場合は通常再生で、値が少し小
さい場合には早送りし、値が０に近い箇所ではスキップ
してしまうという方法がある。

【０１２９】上述の処理は、実時間で入力された興味の
度合いを用いても可能であるし、興味の度合いを記録し
ておき、記録された興味の度合いを用いても可能であ
る。

【０１３０】記録された興味の度合いを用いる他の例と
して、再度対象となる画像・音声を再生する場合、興味
の度合いの高いところのみを再生し、ダイジェスト版の
ように再生する方法がある。

【０１３１】さらに興味の度合いの変化量の絶対値の積
分値を求め、その値が大きい１シーン（例えば、興味の
度合いが−から＋になり、再び−となるまでの時間の最
初のシーン、あるいはシーンごとに第１の実施例のよう
に、興味の度合がしきい値を超えている時間に、その時
間区間内の興味パラメータの最大値を積算し、その積算
値の高いシーン）をアイコンの様に画面に出力し、利用
者は好みのシーンを選択して再生する方法がある。

【０１３２】また興味の度合いの変化量の傾きを求め、
その傾きが急峻なシーンを前述のようにアイコン化して
画面に出力し、選択する方法がある。

【０１３３】この興味の度合いを音楽情報に利用し、新
しく曲を作ることができる。図２５に方法を示す。図２
５では、曲１のＡ（イントロ）が興味が高く、曲２では
Ｂ及びＣの部分が興味が高く、曲３では、Ｄ（エンディ
ング）が興味が高い。それぞれの曲はキー（ヘ長調、嬰
ホ短調などの「調子」）や拍子（３拍子＝３／４、４拍
子＝４／４など）、テンポが異なるため、このままつな
げただけでは曲にはならない。そこで利用者は、自分が
作りたい曲のキー、拍子、テンポを入力する。入力され
たパラメータを元に、選ばれた曲１−Ａ、曲２−Ｂ、
Ｃ、曲３−Ｄは変調され、編曲され出力される。この様
に、音楽の知識が少ない利用者でも、自分の好むフレー
ズを利用し、簡単に作曲を行うことができる。ここでの
音楽部分（Ａ、Ｂなど）の選び方においては、例えば、
部分ごとに第１の実施例のように、興味の度合がしきい
値を超えている時間に、その時間区間内の興味パラメー
タの最大値を積算し、その積算値が、他の曲の対応部分
よりも高いものを採用するなどの方法がとられる。

【０１３４】また、この音楽ソフトがＭＩＤＩ信号で記
録されている場合には、各パートの楽器の音も興味に応
じて用いることができる。

【０１３５】さらに、利用者が作曲したフレーズを組み
合わせて作曲することも可能である。

【０１３６】以下では、興味の度合いを統計的に処理し
た度合いの累積値を用いる例について述べる。

【０１３７】例えば音楽のソフトでは、曲ごとの興味の
度合いの統計をとり、その統計量が最も大きい曲から優
先的に再生したり、曲の順序を変更したりする。

【０１３８】また、ビデオソフトでは、一本のビデオテ
ープの中で興味の度合いの統計量に、応じてインデック
ス表示しサーチする。

【０１３９】レンタルソフトなどでは、この統計量を利
用してレンタルされた回数による人気度だけでなく、興
味の高さによる人気度を測ることができる。例えば、前
評判は高くなかったが、実際観ると意外と面白かったと
いうような場合にこの方法が非常に有効である。

【０１４０】以上、興味の度合いを測定して利用する方
法について述べた。これらは、様々な記録媒体に記録さ
れた再生信号に対して行われるものである。

【０１４１】記録媒体に記録された再生信号以外にも、
興味の度合いを利用する方法がある。例えば双方向通信
において、ＴＶ番組やラジオ番組などで単に視聴率調査
だけではなく、番組の中で視聴者の興味が高いシーンな
どを選ぶことも可能であるし、音楽番組などでは自動的
にヒットチャートを作成することも可能である。

【０１４２】（第６の実施例）本発明の第６の実施例を
説明する。第６の実施例は、興味パラメータの入力のた
めに距離画像検出を行うことを特徴とする。図２６は、
第６の実施例の概略的な構成を示している。ここでは、
パラメータを付与する情報は、動画像であるとする。

【０１４３】距離画像検出部９０１は、使用者の手など
によって作られる距離画像を検出し出力する。距離画像
検出のための手段としては、光源を対象物体に当て、そ
の反射光を位置検出素子で捕らえ三角法で距離を算出す
る手段（例えばカメラのオートフォーカス機構などに使
われているもの）を２次元的に走査するなどの方法が考
えられる。使用者は、現在表示されている映像の中で興
味のある場所に対応した場所に手を指し伸ばすなどの動
作を行うことにより、興味のある場所とその強さを、距
離画像中の距離値の小さい領域の場所とその距離値とし
て入力することができる。このとき距離画像情報９０２
をカーソル表示部９０３に入力し、カーソル表示部９０
３が距離の最小点に応じた画面（図示せず）上の場所に
カーソルを表示すれば、使用者の入力操作がより行い易
くなる。

【０１４４】距離画像検出部９０１から出力される距離
画像情報９０２はそのまま使用者の興味パラメータとな
っているので、距離画像もしくはこれを正規化したもの
（興味パラメータ画像と呼ぶ）と原画像を同時に記録し
ておけば、後で興味パラメータで原画像を制御して再生
することができる。

【０１４５】フレーム興味パラメータ算出部９０４は、
ある１フレーム内での興味パラメータの総和（フレーム
興味パラメータ９１３）を計算する。このフレーム興味
パラメータを時間軸でながめると、使用者のその動画像
に関する興味の度合いが時間と共にどのように変化して
いったかを知ることができる。このとき動画像に対する
評価の基準は、時間とともに変化していくことも考えら
れる。そこで、動画像全体のフレーム興味パラメータ入
力が終了した段階で、評価基準補正部９０５が評価基準
の変動を補正した結果を出力する。ここでは、評価基準
の補正結果が出てからフレーム興味パラメータを記録す
る方法をとっても良いし、補正の情報のみ（例えばフレ
ーム興味パラメータの基準値の変動のみ）を記録してお
き、後でフレーム興味パラメータを利用するときに再生
しながら補正情報で補正する方法も考えられる。また、
補正情報を記録しておけば、興味パラメータ画像を再生
するときに補正することもできる。図２６では後者とし
て記述してある。

【０１４６】使用者の動画像に対する興味パラメータと
して入力される動画像と同時に、原画像９０６が入力さ
れる。シーンチェンジ検出部９０７は、原画像のシーン
チェンジ部を検出する。ここでは、色分布情報などの時
間的変化の急峻なところをシーンチェンジ部として取り
出すことができる。また、シーン興味パラメータ付与部
９０８は、一つのシーンについてのフレーム興味パラメ
ータの平均を求め、シーン興味パラメータ９０９として
出力する。この出力情報を後の再生時に利用すれば、シ
ーン興味パラメータがある値以上のシーンを取り出して
再生することができる。

【０１４７】オブジェクト抽出部９１０は、動画像をオ
ブジェクト単位に分割し、オブジェクト情報９１１を出
力する。このようにして分割されたオブジェクトは、第
２の実施例で説明したように、オブジェクト内外の興味
パラメータの差の評価から、複数のオブジェクトを統合
し、新たに大きな一つのオブジェクトとして取り扱って
もよい。このオブジェクト情報は、フレームごとに存在
するオブジェクトの識別情報とその存在領域の情報を含
む。

【０１４８】オブジェクト興味パラメータ付与部９１２
は、オブジェクト情報９１１、距離画像情報９１３およ
びシーンチェンジ情報９１５を用いてオブジェクトに対
する興味パラメータ（オブジェクト興味パラメータ）９
１４を出力する。１フレーム内でのオブジェクトに対す
る興味パラメータは、オブジェクト存在領域における興
味パラメータの平均値として決めても良いし、オブジェ
クト存在領域における興味パラメータの最大値（距離は
最小）をもって決めてもよい。オブジェクト興味パラメ
ータとしては、あるオブジェクトに対する時間的に変化
する興味パラメータ、同一シーン内での同一オブジェク
トの興味パラメータの平均値、動画像全体を通して同一
オブジェクトに対する興味パラメータの平均値が算出さ
れる。この算出の方法は、第１の実施例で説明したよう
に、シーンなど所定時間区間内でそのオブジェクトに関
して最高を記録した興味パラメータの値に、その時間区
間幅を積算したものをオブジェクトに対するそのシーン
の興味パラメータとするなどの方法がとられる。

【０１４９】これまでに述べられた、原画像、興味パラ
メータ画像、フレーム興味パラメータ、シーン興味パラ
メータ、オブジェクト興味パラメータ、は、内部で施さ
れる処理の負荷の違いにより、生成される時刻にずれが
生じる。時間差補正部９１６は、これらの時間の差を吸
収し、すべての情報を時間的に同期をとって出力する。
また、本実施例では、５種類の情報を出力しているが、
このうちのいくつかを出力するような（図２６から対応
するいくつかの構成要素を除いた）構成も当然考えられ
る。

【０１５０】次に、静止画像を扱う場合について述べ
る。静止画像を扱う場合は、図２６の構成のうち一部を
動作させれば良い。すなわち、静止画像は時間軸方向の
変化が無いので、フレーム興味パラメータ算出部９０
４、シーンチェンジ検出部９０７、シーン興味パラメー
タ算出部９０８、時間差補正部９１６、評価基準変動補
正部９０５は動作しなくて良い。入力された静止画像
は、オブジェクト抽出部９１０によってオブジェクト抽
出される。距離画像検出部９０１から出力される興味パ
ラメータ画像は、静止画像を一定時間見ているときの使
用者の興味としての意味を持つ。オブジェクト興味パラ
メータ付与部９１２は、あるオブジェクトの存在領域の
なかでの興味パラメータ値の和をさらに時間的に合計
し、そのオブジェクトへの興味パラメータとする。

【０１５１】（第７の実施例）次に、本発明の第７の実
施例について述べる。本実施例の概略構成は、図２７に
示される通りで、画像処理部９２０以外の構成は図２６
と同様であり、各構成部分の働きも同様である。画像処
理部９２０は、使用者の入力する興味パラメータに応じ
て原画像に処理を施す手段である。この原画像の処理
は、使用者が興味を示すことによって、その興味を示し
たところをその度合いに応じてより見やすくなるように
施される。例えば興味パラメータ値がある値（例えば
ｔ）以上の領域については原画像をそのまま表示し、興
味パラメータがｂ以下の領域については原画像の画素値
にｐ（＜１）を掛け合わせて表示する（すなわち一定の
割合で暗くする）。興味パラメータがｔからｂの間の値
ｘをとっているときは、原画像の画素値に（ｘ−ｂ）
（１−ｐ）／（ｔ−ｂ）＋ｐを掛けて表示する。使用者
が強い興味パラメータを与えることにより、その部分を
より鮮明に見ることができるので、より自然に興味パラ
メータを入力することができる。原画像の処理の仕方は
これにとどまらず、例えば、モザイク処理を施す、エッ
ジ部分をぼかす、などが考えられる。

【０１５２】（第８の実施例）次に、本発明の第８の実
施例について述べる。本実施例の概略構成は、図２８に
示される通りで、情報蓄積部９３０、ダイジェスト作成
指示部９３１、ダイジェスト作成部９３２を設けた点以
外は図２７と同様であり、対応する各構成部分の働きも
同様である。

【０１５３】第６および第７の実施例では、原画像と距
離パラメータとしての距離画像から興味パラメータを導
き出すだけであったが、本実施例では、原画像と興味パ
ラメータ情報を蓄積する情報蓄積部９３０を設け、さら
に再生時において興味パラメータを用いて効率的な再生
を行うためにダイジェスト作成部９３２、ダイジェスト
作成指示部９３１を設けた。

【０１５４】本実施例によれば、使用者は、一度記録し
たこれらの情報を再生するときに、興味パラメータを用
いて効率的な再生を指示することができる。例えば、フ
レーム興味パラメータがある値以上のフレームを抜き出
してダイジェスト再生する、ある値以上の興味パラメー
タが得られたオブジェクトをリストアップする、シーン
興味パラメータが高い順に選び５分以内のダイジェスト
を作成する、あるいはその値の大きさに応じて再生速度
を変化させる、といった指示ができ、これらはダイジェ
スト作成指示部９３１によって入力される。

【０１５５】ダイジェスト作成部９３２は、この指示に
したがい、ダイジェストを作成するものである。

【０１５６】（第９の実施例）次に、本発明の第９の実
施例について述べる。図２９に、本実施例の概略構成を
示す。本実施例は、使用者による距離画像の入力を、オ
ブジェクトを抽出する手段としても利用するようにした
ものである。すなわち、第６〜第８の実施例において
は、原画像から直接オブジェクト抽出を行っていたが、
本実施例では、オブジェクト抽出処理を使用者の意志を
用いて行うことにより簡単化する。例えば図３０のよう
に使用者が動画像全体に渡って、同一オブジェクトを同
じ形の手で追跡することにより、それが同一のオブジェ
クトであることをシステムに入力する。これによって、
オブジェクト抽出処理の負荷を軽くすることができる。

【０１５７】図２９は、距離画像と原画像からオブジェ
クト情報を抽出するまでの構成のみを示している。距離
画像検出部９４０は、第６〜第８の実施例と同様、使用
者の手の動きなどを距離画像として検出する。形状検出
部９４１は、距離画像から手の形状を認識する。例えば
１本指、２本指、グー、パーなどの形を検出する。オブ
ジェクト分割部９４２は、原画像９４５からエッジ検出
などの手段によりオブジェクト単位に分割するが、その
オブジェクトが何であるかの判断は行わない。同一シー
ン内ではオブジェクトを追跡することができるが、シー
ンチェンジの前後で同一オブジェクトを判断することは
できない。オブジェクト特定部９４３は、同じ形の手で
追跡されたオブジェクトを同じオブジェクトであると判
断し、オブジェクト識別情報９４４を出力する。したが
って、動画像を何度か再生しオブジェクトを手で追跡す
る操作を行えば、高コストな処理系を用いずとも、（第
６〜８の実施例と同様の）オブジェクト抽出結果を得る
ことができる。また、オブジェクト特定作業を行いなが
らも手の距離値によって、そのオブジェクトに対する興
味パラメータを同時に入力することもできる。

【０１５８】これまでの例では、距離画像を興味パラメ
ータの入力手段として用いた。距離画像は２次元的な広
がりを持った１次元情報であるので、２次元情報（動画
像の１フレーム、静止画像）全体への興味パラメータ付
与が同時に行える（例えばマウスを用いると、同時には
画像中の１点に対してしか興味パラメータ付与ができな
い）。同様な情報を入力できるデバイスとして、圧力セ
ンサアレイなどがある。これは、圧力センサをアレイ上
に並べて構成したもので、圧力という１次元情報の２次
元分布を入力することができる。圧力センサアレイは、
第６〜８の実施例において距離画像検出部と置き換える
ことができる。また、圧力センサアレイを透明部材で構
成し、表示装置に重ねれば、映像を見ながら、直接興味
のある部分を押せる、というより操作し易い環境が実現
できる。

【０１５９】なお、本発明は上述した各実施例に限定さ
れるものではなく、その要旨を逸脱しない範囲で、種々
変形して実施することができる。

【０１６０】

【発明の効果】本発明によれば、マルチメディア情報に
評価値（例えば１元多値の興味パラメータという単純な
指標）を付与することができる。この評価値は、利用者
も容易な操作で付与することができ、装置側でも処理し
やすい情報である。この評価値を用いると、要約作成な
ど、利用者の要求に応じた情報加工・提示を半自動で実
現することができ、利用者が情報にアクセスする時間の
短縮や、情報分類・格納の効率化が期待できる。

【０１６１】このように本発明によれば、供給された原
情報が多種多量であっても、短時間で効率よく情報全体
を把握したり、その多種多量の情報の中から、目的のも
のを探索することが容易になる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る情報処理装置の構
成を示す概念図

【図２】同情報処理装置の信号処理方法を示す概念図

【図３】同情報処理装置の信号処理方法を示す概念図

【図４】同情報処理装置の信号処理方法を示す概念図

【図５】同情報処理装置の信号処理方法を示す概念図

【図６】同情報処理装置の構成を示すブロック図

【図７】同情報処理装置の信号処理方法を示す概念図

【図８】同情報処理装置の構成を示すブロック図

【図９】同情報処理装置の信号処理方法を示す概念図

【図１０】同情報処理装置の信号処理方法を示す概念図

【図１１】本発明の第２の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図１２】同情報処理装置の信号処理方法を示す概念図

【図１３】同情報処理装置の出力データを示す概念図

【図１４】同情報処理装置の信号処理方法を示す概念図

【図１５】本発明の第３の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図１６】同情報処理装置の信号処理方法を示す概念図

【図１７】本発明の第４の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図１８】同情報処理装置の信号処理方法を示す概念図

【図１９】本発明の第５の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図２０】同情報処理装置の信号処理方法を示す概念図

【図２１】同情報処理装置の入力形態を示す概念図

【図２２】同情報処理装置の入力部分を示す概念図

【図２３】同情報処理装置の入力部分を示す概念図

【図２４】同情報処理装置の信号処理方法を示す概念図

【図２５】同情報処理装置の信号処理方法を示す概念図

【図２６】本発明の第６の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図２７】本発明の第７の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図２８】本発明の第８の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図２９】本発明の第９の実施例に係わる情報処理装置
の概略構成を示すブロック図

【図３０】同情報処理装置の入力方法を示す概念図

【符号の説明】

２０１…入力デバイス、２０２…ディスプレイ、２０３
…スピーカ、２０４…興味パラメータ処理部、２０５…
制御部、２０６…再生部、２０７…記録媒体、３００…
カーソル位置履歴情報蓄積部、３０１…２次元パターン
認識部、３０２…時間制御部、３０３…興味パラメータ
変換部、３０４…デコーダ、３０５…原情報蓄積部、３
０６…マウス信号入力端子、３０７…映像信号出力端
子、３１０…表示制御部、３１１…表示時間計測部、３
１２…興味パラメータ変換部、３１３…原情報蓄積部、
３１４…マウス入力端子、３１５…映像出力端子、５０
１…マウス、５０２…デバイスドライバ、５０３…座標
情報、５０４…記憶部、５０５…蓄積制御部、５０６…
画像情報、５０７…領域推定部、５０９…興味分布、５
１０…オブジェクト興味判断部、５１１…オブジェクト
興味情報、５１２…オブジェクト領域情報、５１３…記
録部、５１４…オブジェクト累積興味情報、５１５…興
味情報解読部、５１６…興味情報蓄積部、５１７…興味
情報処理部、５１８…再生部、５２０…出力端子、６０
５…顔領域の連続グループ、６０７…上着領域の連続グ
ループ、７００…表示部、７０１…興味入力パッド、７
０２…画面、７０３…興味インジケータ、７０４…画像
記録再生部、７０６…ディスプレイ７０６、７０７…興
味入力部、７０９…インジケータ合成部、７１０…オブ
ジェクト検出部、７１２…オブジェクト表示部、７１３
…興味分析部、８０３…顔領域、８０４…上着領域、９
０１…距離画像検出部、９０２…距離画像情報、９０３
…カーソル表示部、９０４…フレーム興味パラメータ算
出部、９０５…評価基準補正部、９０６…原画像、９０
７…シーンチェンジ検出部、９０８…シーン興味パラメ
ータ付与部、９０９…シーン興味パラメータ、９１０…
オブジェクト抽出部、９１１…オブジェクト情報、９１
２…オブジェクト興味パラメータ付与部、９１３…距離
画像情報、９１４…オブジェクト興味パラメータ、９１
５…シーンチェンジ情報、９１６…時間差補正部、９２
０…画像処理部、９３０…情報蓄積部、９３１…ダイジ
ェスト作成指示部、９３２…ダイジェスト作成部、９４
０…距離画像検出部、９４１…形状検出部、９４２…オ
ブジェクト分割部、９４３…オブジェクト特定部、９４
４…オブジェクト識別情報、９４５…原画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 加藤 岳久 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 金子 敏充 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 沼崎 俊一 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (3)

【特許請求の範囲】
1. 【請求項１】記録された情報を再生する情報再生手段
   と、 この情報再生手段によって再生された情報を提示する提
   示手段と、 この提示手段に提示された情報に対し、所望の情報単位
   に関する評価値を入力するための入力手段と、 この入力手段によって入力された評価値を前記情報単位
   に対応づけて記録する評価値記録手段とを具備したこと
   を特徴とする情報処理装置。
2. 【請求項２】前記提示手段にて提示された情報のうちの
   特定のオブジェクトに関する評価値が前記入力手段から
   入力された場合、該評価値の入力対象となった該特定の
   オブジェクトの提示状態を該評価値に応じて変更する制
   御を行う提示状態制御手段をさらに具備したことを特徴
   とする請求項１に記載の情報処理装置。
3. 【請求項３】記録された情報を再生する情報再生手段
   と、 この情報再生手段によって再生された情報を提示する提
   示手段と、 この提示手段に提示された情報に対し、所望の情報単位
   に関する評価値をあらかじめ記録してなる評価値記録手
   段と、 この評価値記録手段にて前記評価値が所定の情報単位に
   対応づけられて記録された前記情報を再度提示する場
   合、前記評価値に基づき、前記情報再生手段による再生
   または前記提示手段による提示の少なくとも一方を制御
   する制御手段とを具備したことを特徴とする情報処理装
   置。