JP2000331009A - 映像検索方法および装置と映像検索プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 利用者の手間をかけずに検索効率を向上し得
るとともに映像を閲覧しながら検索を可能とする映像検
索方法および装置と映像検索プログラムを記録した記録
媒体を提供する。 【解決手段】 検索部４０からの検索結果を映像配列部
１００を介して検索結果表示部５０に表示し、この表示
された検索結果から目的の映像に類似した映像を利用者
に選択させ、この選択された映像を目的の映像との類似
性または非類似性に基づいて１つ以上のカテゴリに分類
して映像分類部６０の分類領域に表示し、この分類領域
に表示された映像に関する映像情報を映像情報抽出部８
０により映像情報データベース７０から抽出し、この抽
出された映像情報および分類領域に分類された分類情報
から目的の映像に関する特徴量を判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、検索結果に対する
利用者の評価結果をフィードバックして、検索結果を改
善する映像検索方法および装置に関し、更に詳しくは、
検索と検索結果の分類を統合することにより分類によっ
て得られた情報を基に検索結果を改善するとともに、分
類された映像を閲覧しながらの検索を可能とすることに
より利用者の利便性を向上する映像検索方法および装置
と映像検索プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】従来の映像検索システムでは、数百から
数千時間にも及ぶ映像データの中から目的の映像を如何
に素早く見つけられるかということが利用者にとって大
きな問題となる。

【０００３】一般的な映像検索システムである"Informe
dia"（文献 "Multimedia Abstractions for Digital Vi
deo Library",Dhristel,M.,Winkler,D.,and Taylor,R.,
Proceedings of ACM Digital Libraries '97 Conferenc
e,Philadelphia,PA July 1997.URL:http://informedia.
cs.cmu.edu/ ）では、１２００時間にも及ぶデジタルア
ーカイブに対し、利用者が目的の映像をより素早く見つ
けられるように検索結果に対していくつかの粒度の要約
処理を用意している。例えば図７に示すように、タイト
ルと代表画像のみの場合（１）や、"Videostrips" と呼
ばれるカット点毎の代表画像の集合（２）、あるいは音
声に対して言語処理を行い、重要な単語の出てくる部分
を繋ぎ合わせた要約映像（３）などである。このよう
に、利用者が内容をどの程度把握したいかによって要約
の粒度、すなわち検索対象の要約の内容の程度を変える
ことで、映像の中身の把握を簡便化し、検索時間の効率
化を図っている。

【０００４】しかしこのようなシステムでは、大量の映
像が検索されてしまった場合、目的の映像を素早く検索
することが難しくなる。そのため１９７０年代から情報
検索で利用されている関連フィードバックと呼ばれる方
法が複合的に用いられることが多い。

【０００５】関連フィードバックとは、利用者が検索結
果に対してなんらかの評価を行い、その情報をシステム
側にフィードバックすることで、検索結果を改善した
り、あるいは新たな情報を検索したりする方法のことで
ある。

【０００６】例えば、文献 "Color-Based Pseudo Objec
t Model for Image Retrieval withRelevance Feedbac
k"（Tat-Seng Chua and Chun-Xin Chu,pp.148-162,Proc
eedings of AMCP '98,Japan,Nov,1998）では、図８に示
すように、初期入力に対する検索結果に対して、"Relev
ance（関連性あり）" と "No-Relevance（関連性無
し）" の２つのボタンを用意している。目的の画像と比
較して、類似した画像に対しては "Relevance"を、明ら
かに異なる画像が検索されている場合は "No-Relevanc
e" を選ぶことで、利用者は目的とする画像の特徴を明
示的にシステムに対して与える。システムは選択された
画像から画像情報を抽出し反復的に利用することによ
り、初期入力からでは判別できなかった目的の画像に対
する情報を補完し、目的の画像を絞り込んでいく。

【０００７】

【発明が解決しようとする課題】上記のような従来の関
連フィードバックを用いたシステムでは、利用者に対し
明示的に入力を促すため、多量の検索結果に対しての入
力に手間が多くかかり、必然的に検索効率が下がるとい
う問題があった。

【０００８】フィードバックを行うための入力方法も、
上記のような嗜好に合致しているかいないかというＹｅ
ｓ，Ｎｏの入力を用いた場合、フィードバックされる多
量の映像情報のどれが利用者の嗜好と合致しているのか
わからないため、間違った情報もフィードバックされて
しまうという問題があった。逆に数値入力などによっ
て、どのような情報がどの程度嗜好と合致しているのか
という入力を促す場合、利用者の手間がかかり過ぎるた
め検索時間は大幅に増え、また入力する値が感覚的にわ
かり辛く、利用者の経験が必要となるという問題点もあ
った。

【０００９】また、このような検索システムを用いた場
合、検索、フィードバック、再検索あるいは再順序付け
というサイクルを繰り返すことになるが、フィードバッ
ク時に選択した映像とそのフィードバック値が再検索後
にクリアされてしまうため、どの情報に対してどのよう
な評価をシステムが行ったのか利用者にはわからなくな
ってしまうという問題があった。

【００１０】更に、フィードバックを用いて再検索ある
いは再順序付けを行った時に、選択した映像がどこにあ
るのかわからなくなってしまう場合も考えられる。イメ
ージを先行させるような漠然とした映像の検索を行う場
合では、利用者は興味ある映像を比較、吟味しながら検
索することが考えられるため、上述したように選択映像
がどこにあるのかわからなくなってしまうという問題を
解決する必要性がある。

【００１１】本発明は、上記に鑑みてなされたもので、
その目的とするところは、利用者の手間をかけずに検索
効率を向上し得るとともに映像を閲覧しながら検索を可
能とする映像検索方法および装置と映像検索プログラム
を記録した記録媒体を提供することにある。

【００１２】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、検索結果に対する利用者
の評価結果をフィードバックして、検索結果を改善する
映像検索方法であって、入力された検索条件に基づいて
映像データベースを検索して得られた検索結果の映像集
合を表示し、この表示された検索結果から目的の映像に
類似した映像を利用者に選択させ、この選択された映像
を目的の映像との類似性または非類似性に基づいて１つ
以上のカテゴリに分類して分類領域に表示し、この分類
領域に表示された映像に関する映像情報を映像情報デー
タベースから抽出し、この抽出された映像情報および前
記分類領域に分類された分類情報から目的の映像に関す
る特徴量を判定することを要旨とする。

【００１３】請求項１記載の本発明にあっては、検索結
果の映像集合を表示し、この表示された検索結果から目
的の映像に類似した映像を利用者に選択させ、この選択
された映像を目的の映像との類似性または非類似性に基
づいて１つ以上のカテゴリに分類して分類領域に表示
し、この分類領域に表示された映像に関する映像情報お
よび分類領域に分類された分類情報から目的の映像に関
する特徴量を判定するため、従来のように利用者の手間
をかけることなく目的の映像に関する適確な特徴量を簡
単に判定することができる。

【００１４】また、請求項２記載の本発明は、請求項１
記載の発明において、前記映像を利用者に選択分類させ
て分類領域に表示する処理が、マウスを含むポインティ
ングデバイスを用いたドラッグ・アンド・ドロップ処理
により行うことを要旨とする。

【００１５】請求項２記載の本発明にあっては、マウス
を含むポインティングデバイスを用いたドラッグ・アン
ド・ドロップ処理により映像を選択して分類領域に表示
するため、映像の選択および分類を円滑に行うことがで
きる。

【００１６】請求項３記載の本発明は、請求項１または
２記載の発明において、前記映像を選択させ分類して分
類領域に表示する処理が、利用者により選択された映像
を利用者の類似性に関する直感により自由に分類領域に
分類しながら区分けして貼り付け表示することを要旨と
する。

【００１７】請求項３記載の本発明にあっては、利用者
により選択された映像を利用者の類似性に関する直感に
より自由に分類領域に分類しながら区分けして貼り付け
表示するため、分類のカテゴリを規定することなく、ま
た利用者に特別に負担となる手間をかけさせることな
く、比較的簡単な操作により映像を分類できるととも
に、この簡単な分類処理により従来の例えばＹｅｓ，Ｎ
ｏなどによる入力に比べて利用者の嗜好に基づいた重要
な映像情報を抽出することができる。

【００１８】更に、請求項４記載の本発明は、請求項１
乃至３のいずれかに記載の発明において、前記分類領域
が、前記検索条件に基づいて検索して得られた検索結果
の映像集合を表示する検索結果表示領域とは異なる領域
に形成され、分類領域に表示されている映像が検索結果
表示領域の表示内容の変更に関わらず変更されることな
く保持されていることを要旨とする。

【００１９】請求項４記載の本発明にあっては、分類領
域は検索結果の映像集合を表示する検索結果表示領域と
は異なる領域に形成され、分類領域に表示されている映
像は検索結果表示領域の表示内容の変更に関わらず変更
されることなく保持されているため、再検索などを行っ
た場合でも選択した映像を見失うことなく、比較検討を
行いながらの検索を行うことができる。

【００２０】請求項５記載の本発明は、請求項１乃至４
のいずれかに記載の発明において、前記特徴量を判定す
る処理が、前記映像情報データベースから抽出された映
像情報に対して前記分類領域への映像の分類処理に基づ
いて重要度を付与することを要旨とする。

【００２１】請求項５記載の本発明にあっては、映像情
報データベースから抽出された映像情報に対して分類領
域への映像の分類処理に基づいて重要度を付与するた
め、映像情報に対する重要度を従来に比較して簡単かつ
厳密に付与することができる。

【００２２】また、請求項６記載の本発明は、請求項５
記載の発明において、前記特徴量を判定する処理が、前
記映像情報に対して付与された重要度を用いて、目的の
映像に関する映像情報を抽出することを要旨とする。

【００２３】請求項６記載の本発明にあっては、映像情
報に対して付与された重要度を用い、目的の映像に関す
る映像情報を抽出するため、従来に比較して厳密な特徴
量を判定することができる。

【００２４】更に、請求項７記載の本発明は、検索結果
に対する利用者の評価結果をフィードバックして、検索
結果を改善する映像検索装置であって、入力された検索
条件に基づいて映像データベースを検索して得られた検
索結果の映像集合を表示する表示手段と、この表示され
た検索結果から目的の映像に類似した映像を利用者に選
択させ、この選択された映像を目的の映像との類似性ま
たは非類似性に基づいて１つ以上のカテゴリに分類して
分類領域に表示する選択分類手段と、この分類領域に表
示された映像に関する映像情報を映像情報データベース
から抽出し、この抽出された映像情報および前記分類領
域に分類された分類情報から目的の映像に関する特徴量
を判定する特徴量判定手段とを有することを要旨とす
る。

【００２５】請求項７記載の本発明にあっては、検索結
果の映像集合を表示し、この表示された検索結果から目
的の映像に類似した映像を利用者に選択させ、この選択
された映像を目的の映像との類似性または非類似性に基
づいて１つ以上のカテゴリに分類して分類領域に表示
し、この分類領域に表示された映像に関する映像情報お
よび分類領域に分類された分類情報から目的の映像に関
する特徴量を判定するため、従来のように利用者の手間
をかけることなく目的の映像に関する適確な特徴量を簡
単に判定することができる。

【００２６】請求項８記載の本発明は、請求項７記載の
発明において、前記選択分類手段が、マウスを含むポイ
ンティングデバイスを用いたドラッグ・アンド・ドロッ
プ処理により映像を選択するように構成されていること
を要旨とする。

【００２７】請求項８記載の本発明にあっては、マウス
を含むポインティングデバイスを用いたドラッグ・アン
ド・ドロップ処理により映像を選択して分類領域に表示
するため、映像の選択および分類を円滑に行うことがで
きる。

【００２８】請求項９記載の本発明は、請求項７または
８記載の発明において、前記選択分類手段が、利用者に
より選択された映像を利用者の類似性に関する直感によ
り自由に分類領域に分類しながら区分けして貼り付け表
示する手段を有することを要旨とする。

【００２９】請求項９記載の本発明にあっては、利用者
により選択され映像を利用者の類似性に関する直感によ
り自由に分類領域に分類しながら区分けして貼り付け表
示するため、分類のカテゴリを規定することなく、また
利用者に特別に負担となる手間をかけさせることなく、
比較的簡単な操作により映像を分類できるとともに、こ
の簡単な分類処理により従来の例えばＹｅｓ，Ｎｏなど
による入力に比べて利用者の嗜好に基づいた重要な映像
情報を抽出することができる。

【００３０】また、請求項１０記載の本発明は、請求項
７乃至９のいずれかに記載の発明において、前記分類領
域が、前記検索条件に基づいて検索して得られた検索結
果の映像集合を表示する検索結果表示領域とは異なる領
域に形成され、分類領域に表示されている映像は検索結
果表示領域の表示内容の変更に関わらず変更されること
なく保持されていることを要旨とする。

【００３１】請求項１０記載の本発明にあっては、分類
領域は検索結果の映像集合を表示する検索結果表示領域
とは異なる領域に形成され、分類領域に表示されている
映像は検索結果表示領域の表示内容の変更に関わらず変
更されることなく保持されているため、再検索などを行
った場合でも選択した映像を見失うことなく、比較検討
を行いながらの検索を行うことができる。

【００３２】更に、請求項１１記載の本発明は、請求項
７乃至１０のいずれかに記載の発明において、前記特徴
量判定手段が、前記映像情報データベースから抽出され
た映像情報に対して前記分類領域への映像の分類処理に
基づいて重要度を付与する重要度付与手段を有すること
を要旨とする。

【００３３】請求項１１記載の本発明にあっては、映像
情報データベースから抽出された映像情報に対して分類
領域への映像の分類処理に基づいて重要度を付与するた
め、映像情報に対する重要度を従来に比較して簡単かつ
厳密に付与することができる。

【００３４】請求項１２記載の本発明は、請求項１１記
載の発明において、前記特徴量判定手段が、前記映像情
報に対して付与された重要度を用いて、目的の映像に関
する映像情報を抽出する手段を有することを要旨とす
る。

【００３５】請求項１２記載の本発明にあっては、映像
情報に対して付与された重要度を用いて、目的の映像に
関する映像情報を抽出するため、従来に比較して厳密な
特徴量を判定することができる。

【００３６】また、請求項１３記載の本発明は、検索結
果に対する利用者の評価結果をフィードバックして、検
索結果を改善する映像検索プログラムを記録した記録媒
体であって、入力された検索条件に基づいて映像データ
ベースを検索して得られた検索結果の映像集合を表示
し、この表示された検索結果から目的の映像に類似した
映像を利用者に選択させ、この選択された映像を目的の
映像との類似性または非類似性に基づいて１つ以上のカ
テゴリに分類して分類領域に表示し、この分類領域に表
示された映像に関する映像情報を映像情報データベース
から抽出し、この抽出された映像情報および前記分類領
域に分類された分類情報から目的の映像に関する特徴量
を判定する映像検索プログラムを記録媒体に記録するこ
とを要旨とする。

【００３７】請求項１３記載の本発明にあっては、検索
結果の映像集合を表示し、この表示された検索結果から
目的の映像に類似した映像を利用者に選択させ、この選
択された映像を目的の映像との類似性または非類似性に
基づいて１つ以上のカテゴリに分類して分類領域に表示
し、この分類領域に表示された映像に関する映像情報お
よび分類領域に分類された分類情報から目的の映像に関
する特徴量を判定する映像検索プログラムを記録媒体に
記録しているため、該記録媒体を用いて、その流通性を
高めることができる。

【００３８】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。図１は、本発明の一実施形態に係る
映像検索装置の構成を示すブロック図である。同図に示
す映像検索装置は、映像条件を入力する入力部１０と、
１つ以上の映像を有する映像データベース２０と、検索
条件と映像データベース２０に蓄えられた映像とを関連
付けた映像検索インデックス３０と、入力された検索条
件と映像検索インデックス３０を用いて、映像データベ
ース２０から映像を検索する検索部４０と、検索された
１つ以上の映像を表示し、利用者の目的の映像に類似す
る１つ以上の映像を選択可能とする検索結果表示部５０
と、検索結果表示部５０から選択された映像を分類し貼
り付けるための領域を用意する映像分類部６０と、映像
に対して付与された映像情報を有する映像情報データベ
ース７０と、選択された映像から映像情報データベース
７０を用いて映像情報を取り出す映像情報抽出部８０
と、映像分類部６０における映像の分類と、映像情報抽
出部８０より抽出されたそれぞれの映像情報より、利用
者がどのような情報に対して興味を示しているのか否か
を判定する映像情報判定部９０と、映像情報判定部９０
により判定された映像情報を用いて、検索された映像を
順序付けする映像配列部１００とによって構成される。

【００３９】次に、図２に示すフローチャートを参照し
て、上述したように構成される本実施形態の映像検索装
置の作用について説明する。

【００４０】図１に示す映像検索装置では、まず利用者
が入力部１０から検索条件を入力すると、この検索条件
は検索部４０に供給される。検索部４０はこの検索条件
および映像検索インデックス３０を用いて、映像データ
ベース２０から検索条件に合致した映像を検索する（ス
テップＳ２１０）。この検索結果の映像は映像配列部１
００を介して検索結果表示部５０の検索結果表示領域に
表示される（ステップＳ２３０）。なお、検索部４０か
らの検索結果を映像配列部１００を介することにより映
像配列部１００は情報抽出部９０からの映像情報の重要
度に基づいた配列情報に従って検索部４０からの検索結
果を配列して検索結果表示部５０に供給し、検索結果表
示部５０ではこの配列に従って検索結果を表示するが、
映像配列部１００に情報抽出部９０からの配列情報がフ
ィードバックされていない初期状態などにおいては映像
配列部１００は検索結果を映像データベース２０上の登
録順に配列して検索結果表示部５０に供給する。

【００４１】上述したように、検索結果が検索結果表示
部５０の検索結果表示領域に表示されると、利用者はこ
の検索結果の表示を見て、この表示中に目的の映像があ
るかどうかをチェックし（ステップＳ２５０）、映像を
見付けた場合には、処理を終了するが、目的の映像が見
付からない場合には、検索結果表示部５０の検索結果表
示領域に表示された映像のうち目的の映像に類似してい
る映像を利用者が１つ以上選択したか否かがチェックさ
れる（ステップＳ２７０）。映像の選択が行われない場
合には、処理を終了するが、映像が選択された場合に
は、この選択した映像を映像分類部６０の制御により該
映像分類部６０に設けられた分類領域に貼り付けて表示
するために該分類領域が足りているか否かをチェックし
（ステップＳ２９０）、足りない場合には、分類領域を
増加する（ステップＳ３１０）。

【００４２】そして、このように設けられた分類領域に
上述したように選択された映像を貼り付けて表示する
（ステップＳ３３０）。なお、この映像分類部６０によ
る映像の選択および貼り付け表示において、利用者は目
的の映像に類似している映像を選択した後、この選択し
た映像を分類領域に貼り付けて表示するに当たっては各
映像を更に細かく分類し、具体的には選択した映像の中
において更に類似しているもの同士が同じカテゴリ、す
なわち同じグループになるように分類しながら映像の貼
り付け表示を行う（ステップＳ３３０）。この選択およ
び貼り付け表示には、マウスなどのポインティングデバ
イスを用いたドラッグ＆ドロップなどの操作を用いて、
直感的な操作で行うことができる。

【００４３】上記ステップＳ３３０における映像分類部
６０による映像の分類および貼り付け表示処理について
更に詳細に説明する。利用者によって選択された映像
は、利用者にとって興味ある映像、すなわち目的の映像
に類似した映像であるが、映像の細かい特徴によって映
像は更に細かく分類される。例えば、画像全体の色の雰
囲気は似ているが細かい物体の配置が目的の映像と異な
る映像グループ、すなわち映像カテゴリ、物体の配置は
大まかには同じであるが物体の色情報が目的の映像と異
なる映像カテゴリなどのような種々の映像カテゴリに各
映像は細かく分類され、該当する分類領域に分けて貼り
付け表示される。このように、利用者によって選択され
た各映像は、目的の映像に類似しているが異なる特徴
量、すなわち画像全体の色の雰囲気は似ているが細かい
物体の配置が異なるという特徴量や物体の配置は大まか
には同じであるが物体の色情報が異なるという特徴量な
どのそれぞれ異なる特徴量を有する映像集合として利用
者の直感によりいくつかのカテゴリに分類され、映像分
類部６０の分類領域に表示される。

【００４４】これらのカテゴリを作るための分類領域で
は、初期状態としてはどのような特徴量によるカテゴリ
であるかということを規定せず、すなわち利用者が特に
各カテゴリの特徴量を明示するものではなく、利用者が
映像を直感的に分類しながら区分けして貼り付けていく
ものであり、この分類貼り付け過程で各カテゴリが生成
され、利用者は特に各カテゴリの特徴量を明示するもの
ではないが、このように利用者により直感的に分類しな
がら区分けして貼り付けられた結果の各カテゴリの特徴
量は後述するように映像情報判定部９０によって判定さ
れることになる。すなわち、利用者はいくつかの用意さ
れた分類領域に直感的に類似した映像を貼り付けて表示
するだけのものである。

【００４５】なお、カテゴリの増加に応じた分類領域の
増加は、例えば初期状態では分類領域を１つのみ用意
し、利用者によって新たなカテゴリが生成された場合
に、新たな分類領域を１つ動的に増加させたり、または
初期状態で用意された１つの分類領域に対してあるカテ
ゴリの映像が貼り付けられた場合に、次の新たなカテゴ
リのために新たな分類領域を１つ予め自動的に作成して
おくというような方法でも対処することができる。

【００４６】また、分類領域では、画像の移動も削除も
可能であり、分類領域内の映像に対して再生などの操作
も可能である。映像分類用に用意された分類領域は利用
者がどのような映像を貼り付けたのかを容易に把握でき
るように例えばシーンの代表画像が静止画として表示さ
れている。

【００４７】上述したように設けられた分類領域は、検
索結果を表示する検索結果表示部５０とは独立して別の
表示領域に形成され、この分類領域に表示されている映
像は検索結果表示領域の表示内容の変更に関わらず影響
を受けることなく、すなわち変更されることなく保持さ
れているため、再検索などを行った場合でも選択した映
像を見失うことなく、比較検討を行いながらの再検索を
行うことができる。すなわち、利用者は分類領域に表示
された画像を見ることにより、どのような画像を選択し
ているのかや、どのような分類を行っているのかなどを
いつでも容易に把握できるとともに、また分類領域に表
示された映像に対して再生などの操作も行うことができ
るため、選択した映像の操作、比較、検討などを行いな
がらの検索が可能となる。

【００４８】上述したように、検索結果表示部５０に表
示された検索結果が利用者によって選択され、この選択
された映像が利用者により直感的に分類されながら分類
領域に貼り付けられて表示されると、利用者はこの分類
領域に表示された映像を用いて再検索または再順序付け
を行うか否かの判定を行う（ステップＳ３５０）。再検
索または再順序付けを行わない場合には、前に戻って分
類処理を同様に繰り返し行うが、分類領域に表示された
映像を用いて再検索または再順序付けを行う場合には、
ステップＳ３７０に進む。

【００４９】ステップＳ３７０では、映像情報抽出部８
０が映像情報データベース７０を用いて映像分類部６０
の分類領域に表示された映像に対する映像情報を抽出す
る。なお、映像情報としては、映像の色情報やカメラの
動き情報、物体の位置や動き、属性情報、または製作者
や製作日などの付加情報などのような映像に対して付与
される情報などがある。

【００５０】映像情報抽出部８０は、映像情報データベ
ース７０から映像情報を抽出すると、この映像情報を映
像情報判定部９０に供給する。映像情報判定部９０は、
この映像情報と映像分類部６０からの分類情報、すなわ
ち分類領域に表示された映像の分類情報とを用いて、目
的の映像を判定するための特徴量を判定する（ステップ
Ｓ３７０）。

【００５１】上述したように、映像分類部６０は利用者
に対して目的の映像に類似した映像を選択させ、更にこ
の選択した映像を分類して分類領域に貼り付けて表示さ
せるものであるため、利用者によって選択されて分類領
域に表示された映像に含まれる映像情報は目的の映像を
判定する際の目安となるものであるが、この映像情報の
すべてを目的の映像の検索のために検索部４０にフィー
ドバックすることはできないので、映像情報判定部９０
は映像情報抽出部８０により映像情報データベース７０
から抽出された映像情報と映像分類部６０においてどの
ような映像が分類されているかという分類情報とに基づ
いて目的の映像を判定する際の特徴量を判定する。この
特徴量は、利用者により特別に明示されるものでなく、
上述したように利用者により映像を直感的に分類しなが
ら区分けして分類領域に貼り付けられた分類情報および
映像情報とから映像情報判定部９０により自動的に判定
されるものである。

【００５２】例えば、同じカテゴリに分類されている映
像間に共通する映像情報は、比較的重要な情報と類推で
きる。逆に、例えばニュース映像で男性と女性のキャス
タの映っている映像を同じカテゴリに分類した場合のよ
うな共通しない映像情報に対しては利用者は注目してい
ないことが類推される。また、異なるカテゴリ間で共通
する映像情報は目的の映像を探す際の有力な情報となり
得る。更に、カテゴリ間で共通しないが、それぞれのカ
テゴリ内では重要と判断される映像情報に関しては、そ
の情報を基にカテゴリ分けしている可能性があるため、
重要な情報と判断できる。

【００５３】上述したように、映像情報判定部９０は、
映像情報と分類情報とから特徴量となる重要な映像情報
が判定されると、この結果からどの映像情報がどの程度
重要であるかを推定し、各映像情報に対して重要度、す
なわち利用者がどのような映像を求めているかを判別す
るための重要度を付与、すなわち算出する（ステップＳ
３９０）。なお、この重要度の付与方法は、例えば学習
などの方法を用いることができる。

【００５４】このように算出された映像情報の重要度
は、映像情報判定部９０から検索部４０に入力され、検
索部４０において映像を再検索する際の検索条件の一部
として使用されるとともに、また映像配列部１００にも
入力され、検索部４０からの検索結果をその映像情報の
重要度によって再順序付けするために使用される。

【００５５】次に、図３を参照して、上述した本実施形
態の映像検索装置をネットワークに適用した具体例につ
いて説明する。図３は、本実施形態の映像検索装置をネ
ットワーク上での映像検索サーバと映像検索クライアン
トに適用したものであり、図３において１はネットワー
ク、３は映像検索サーバ、５は映像検索クライアント、
７は映像データ、９は映像情報データ、３０は映像検索
インデックスである。また、図４は、本具体例において
映像検索クライアント５に適用された表示部５０に表示
された画面表示イメージとその各部の名称を示している
ものである。

【００５６】このようにネットワーク上での映像検索サ
ーバと映像検索クライアントに適用された映像検索装置
の作用について図５に示すフローチャートを参照して説
明する。

【００５７】まず、ステップＳ１０００において、入力
部１０が利用者から検索条件を受け取る。この場合の検
索条件として、図４に示す表示画面では入力部１０とし
て示す部分に青空、雲、家などのキーワードを用いてい
るが、映像の色情報を数値で入力するなどのように映像
情報に関する検索条件の入力方法には種々のものが考え
られる。ここでは一例としてキーワードが入力された場
合について説明する。

【００５８】入力された検索条件は、ステップＳ１０１
０として検索部４０に送られる。検索部４０では検索条
件と映像検索インデックス３０を用いて、映像データベ
ース２０から映像を検索する。すなわち、検索条件をイ
ンデックスとし、映像検索インデックス３０を用いるこ
とで映像データベース内から検索条件に符合する映像集
合を取り出す。検索条件を用いて映像を検索する方法に
関しては、例えば検索条件にマッチした映像をデータベ
ース上の登録順に出力したり、検索条件と映像情報との
類似性によって順序付けを行ったりする方法が上げられ
るが、これらは従来の方法を用いることができる。本具
体例では仮に、検索条件にマッチした映像をデータベー
ス上の登録順に出力することを考える。また、ネットワ
ーク１を利用した本具体例の場合、検索部４０、映像デ
ータベース２０、映像検索インデックス３０は、映像検
索サーバ３上に実装されているものとする。

【００５９】次のステップＳ１０２０においては、映像
配列部１００を用いて検索部４０の出力結果を配列す
る。ステップＳ１０５０以降の処理が行われていない
時、すなわち始めて検索を行った際には、検索部４０の
検索結果をそのまま用いる。本具体例では、検索条件に
マッチした映像をデータベース２０上の登録順に配列す
る。ステップＳ１０５０以降の処理が行われていてステ
ップＳ１０２０を実行する場合、映像配列部１００で
は、映像情報判定部９０からの出力結果を用いて映像を
配列する。映像情報判定部９０では、利用者が目的の映
像に類似した映像をどのように分類したのかという情報
を用いて、重要な映像情報を判定する。映像配列部１０
０では、映像情報判定部９０から出力される映像情報の
重要度と映像情報データベース７０を用いて、重要度の
高い映像情報を有する映像を上位に順序付けするように
検索部４０の検索結果の映像を再配列する。重要度を用
いた順序付け方法に関しては、例えば映像の有する重要
度の重み付き総和を用いたり、平均値を用いるなどの方
法が挙げられる。

【００６０】ステップＳ１０３０では、検索結果表示部
５０において、映像配列部１００の結果を用いて映像を
画面上に出力する。図４では、それぞれの映像の先頭画
像を代表画面として出力した場合を仮定している。検索
結果表示部内にすべての映像を表示できない場合、次の
検索結果を表示するためのボタンなどを用いて対応す
る。表示された映像は、選択用のカーソルなどによって
利用者によって選択することを可能とし、ドラッグ＆ド
ロップのような直感的な操作によって、映像分類部６０
によって用意された分類用領域に貼り付けることを可能
とする。

【００６１】検索部４０からの検索結果が映像配列部１
００を介して検索結果表示部５０に表示された結果、こ
の表示された検索結果内に目的の映像が見付かった場合
には、処理は終了する（ステップＳ１０４０）。

【００６２】ステップＳ１０５０では、目的の映像が見
付からない場合あるいは検索結果の映像が数が多すぎて
検索に時間がかかるなどの場合、利用者は、図４に示す
ように映像分類部６０上に目的の映像に類似した映像を
分類しながら貼り付けていく。図４ではすでに２つのカ
テゴリ、すなわち２つの映像グループに分類された３つ
の映像がある場合を仮定している。更に映像を貼り付け
る場合を図にしたものが、図６である。映像選択用のカ
ーソルなどのインタフェースを用いて、利用者は目的の
映像に類似した映像を選択し、直感的に類似した映像集
合を作るように分類領域に映像を貼り付ける。

【００６３】この場合の直感的な分類とは、目的の映像
と類似しているが異なった映像情報も有する映像を、シ
ステムの内部処理を考慮に入れず利用者の自由に、類似
している映像情報によって分類するということである。
例えば画像全体の色のイメージは類似しているが、細か
い物体の配置が異なる映像同士を同じカテゴリに分類す
る場合や、カメラの移動する方向と速度が類似している
画像を同じカテゴリに分類する場合などである。一般的
な分類システムの場合、それぞれのカテゴリに利用者が
属性を設け、その属性（例えば家の位置が似通ってい
る）を用いて映像を分類するが、本方法の場合、以下に
述べるステップ上で自動的にこの属性を判定するため、
利用者による明示的なカテゴリ属性を決める必要性はな
い。

【００６４】また、ステップＳ１０６０で述べる再検索
や再順序付けを行った際には、検索結果表示部５０の表
示は変化するが、映像分類部６０に貼り付けられた映像
とその分類情報は変化しない。映像分類部６０上に貼り
付けられた映像から検索結果表示部５０上の映像にリン
クしておくことで、いつでも再生などの操作を行うこと
が可能となり、再検索により映像が探せ出せなくなるな
どの弊害は生じなくなる。

【００６５】ステップＳ１０６０では、利用者が分類し
た映像を用いて映像を再検索あるいは再順序付けするか
どうかの判定を行う。これには、図４のような再検索ボ
タンなどを用い利用者の入力を促す。再検索などを行わ
ない場合は、利用者による類似映像の分類を繰り返し行
う。再検索などを行う場合は、ステップＳ１０７０へと
進む。

【００６６】ステップＳ１０７０では、映像情報抽出部
８０は、映像情報データベース７０を用いて映像分類部
６０上の映像から映像情報を抽出する。映像情報として
は、映像の色情報やカメラの動き情報、物体の位置や動
き、属性情報、あるいは製作者や製作日などの付加情報
など、映像に対して付与された情報が挙げられる。ネッ
トワークを用いた本具体例の場合、映像情報データベー
ス７０は映像検索サーバ３上にある方が望ましい。サー
バ上の映像情報データベース７０は、検索結果を出力す
る際に、同時に映像情報を映像配列部１００、映像情報
抽出部８０に引き渡す。

【００６７】ステップＳ１０８０においては、映像情報
判定部９０は、映像分類部６０においてどのように映像
が分類されているかという情報と、映像情報抽出部８０
によって出力された各映像の映像情報を用いて、どのよ
うな映像情報が利用者の目的の映像を検索する際に利用
できるかという重要度の判定を行う。重要性の判定に
は、例えば以下のような規則を用いることができる。

【００６８】１．同じカテゴリ内にある映像で頻度の低
い映像情報は重要度の変更を行わない。

【００６９】２．カテゴリ内で頻出し、かつカテゴリ間
でも頻出する映像情報は大幅に重要度を高める。

【００７０】３．他のカテゴリでは１が適用されている
が、そのカテゴリ内では頻出する映像情報は重要度を高
める。

【００７１】４．同じカテゴリ内にある映像で頻出する
映像情報は重要度を高める。

【００７２】規則１は、利用者がその映像情報に対して
何ら注目していないことを示している。例えば図６にお
いて新たな映像をカテゴリ２の領域に貼り付けた場合、
利用者は家の数が２つに増えたにも関わらずカテゴリ２
に分類している。これは増えた家に対してなんら注目し
ておらず、他の映像情報によりカテゴリ２を規定してい
ることを示している。

【００７３】規則２は、利用者がどのような映像情報を
用いてすべての映像を選択しているのかを示している。
利用者は目的の映像に類似した映像を選択し、分類領域
に貼り付けているため、すべての映像には共通した映像
情報があるはずである。規則２はその映像情報に対して
重要度を上げる効果をもたらす。

【００７４】規則３は、それぞれのカテゴリがどのよう
な映像情報を用いて分類されているのかを判定する。他
のカテゴリで１が適応されているにも関わらず、あるカ
テゴリでは頻出する情報は、その情報によってそのカテ
ゴリが規定されている可能性が高い。

【００７５】規則４は規則３と同様に、そのカテゴリが
どの情報によって規定されているかについて重要度を用
いて判定する。

【００７６】以上のような規則を用意し用いることで、
選択され映像から重要な映像情報を、その重要度を用い
て判定する。重要度の値の計算方法は、学習を用いる場
合や定数を用いる場合などが考えられるが、これらは従
来の技術を用いて実現する。求めた重要度を出力し、次
にステップＳ１０９０の処理を行うことにより、重要度
の高い映像情報を新しい検索条件として再検索を行った
り、重要度が高い映像情報を持つ映像を検索結果の上位
として配列するように再順序付けを行ったりする。

【００７７】ステップＳ１０９０では、利用者が再順序
付けを希望する場合、映像配列部１００は映像情報判定
部９０の出力を用いて、検索部４０の結果である映像集
合を再順序付けする。また、利用者が再検索を希望する
場合、検索部４０は映像情報判定部９０の出力のうち、
重要度の高い映像情報を検索条件とすることで映像の再
検索を行う。その後、検索された映像は映像配列部１０
０において、映像情報判定部９０の出力を用いて再順序
付けされ、検索結果表示部５０に表示される。

【００７８】上述したように検索結果の映像を分類領域
上に直感的に分類していくことにより、利用者が注目す
る映像情報を自動的に抽出し、それを用いて映像を再検
索あるいは再順序付けすることで、目的の映像を検索す
る速度を向上する。また、どのような映像を選択し分類
したかという情報を検索結果表示と独立した分類領域上
に保持しているため、利用者は映像の比較、検討を行い
ながらの検索が可能となる。

【００７９】なお、上記実施形態の処理をプログラムと
して記録媒体に記録することにより該記録媒体を用い
て、その流通性を高めることができる。

【００８０】

【発明の効果】以上説明したように、本発明によれば、
検索結果の映像集合を表示し、この表示された検索結果
から目的の映像に類似した映像を利用者に選択させ、こ
の選択された映像を目的の映像との類似性に基づきカテ
ゴリに分類して分類領域に表示し、この分類領域に表示
された映像に関する映像情報および分類領域に分類され
た分類情報から目的の映像に関する特徴量を判定するの
で、従来のように利用者の手間をかけることなく目的の
映像に関する特徴量を簡単かつ適確に判定することがで
きる。

【００８１】また、本発明によれば、マウスを含むポイ
ンティングデバイスを用いたドラッグ・アンド・ドロッ
プ処理により映像を選択して分類領域に表示するので、
映像の選択および分類を円滑に行うことができる。

【００８２】更に、本発明によれば、利用者により選択
された映像を利用者の類似性に関する直感により自由に
分類領域に分類しながら区分けして貼り付け表示するの
で、分類のカテゴリを規定することなく、また利用者に
特別に負担となる手間をかけさせることなく、比較的簡
単な操作により映像を分類できるとともに、この簡単な
分類処理により従来の例えばＹｅｓ，Ｎｏなどによる入
力に比べて利用者の嗜好に基づいた重要な映像情報を抽
出することができる。

【００８３】本発明によれば、分類領域は検索結果を表
示する検索結果表示領域とは異なる領域に形成され、分
類領域に表示された映像は検索結果表示領域の表示内容
の変更に関わらず変更されることなく保持されているの
で、再検索などを行った結果が検索結果表示領域に表示
された場合でも選択した映像を見失うことなく、比較検
討を行いながらの検索を行うことができる。

【００８４】また、本発明によれば、映像情報データベ
ースから抽出された映像情報に対して分類領域への映像
の分類処理に基づいて重要度を付与するので、映像情報
に対する重要度を従来に比較して簡単かつ厳密に付与す
ることができる。

【００８５】更に、本発明によれば、映像情報に対して
付与された重要度を用いて、目的の映像に関する映像情
報を抽出するので、従来に比較して厳密な特徴量を判定
することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る映像検索装置の構成
を示すブロック図である。

【図２】図１に示す映像検索装置の作用を示すフローチ
ャートである。

【図３】図１に示す実施形態の映像検索装置をネットワ
ークに適用した具体例の構成を示す図である。

【図４】図３に示す具体例において映像検索クライアン
トに適用された表示部に表示された画面表示イメージと
その各部の名称を示す図である。

【図５】図３に示すようにネットワーク上での映像検索
サーバと映像検索クライアントに適用された映像検索装
置の作用を示すフローチャートである。

【図６】従来の一般的な映像検索システム "Informedi
a" における映像要約処理を説明するための図である。

【図７】関連フィードバックを用いて従来の画像検索シ
ステムにおける利用者のフィードバック方法を説明する
ための図である。

【図８】関連フィードバックを用いた画像検索システム
における、利用者のフィードバック方法を説明するため
の図である。

【符号の説明】

１０ 入力部 ２０ 映像データベース ３０ 映像検索インデックス ４０ 検索部 ５０ 検索結果表示部 ６０ 映像分類部 ７０ 映像情報データベース ８０ 映像情報抽出部 ９０ 映像情報判定部 １００ 映像配列部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B050 CA08 EA18 FA02 FA09 FA12 GA08 5B075 ND06 NK06 NK25 NK39 NR12 PP03 PP12 PP22 PQ02 PR06 QM08

Claims (13)

【特許請求の範囲】
1. 【請求項１】 検索結果に対する利用者の評価結果をフ
   ィードバックして、検索結果を改善する映像検索方法で
   あって、 入力された検索条件に基づいて映像データベースを検索
   して得られた検索結果の映像集合を表示し、 この表示された検索結果から目的の映像に類似した映像
   を利用者に選択させ、この選択された映像を目的の映像
   との類似性または非類似性に基づいて１つ以上のカテゴ
   リに分類して分類領域に表示し、 この分類領域に表示された映像に関する映像情報を映像
   情報データベースから抽出し、この抽出された映像情報
   および前記分類領域に分類された分類情報から目的の映
   像に関する特徴量を判定することを特徴とする映像検索
   方法。
2. 【請求項２】 前記映像を利用者に選択分類させて分類
   領域に表示する処理は、マウスを含むポインティングデ
   バイスを用いたドラッグ・アンド・ドロップ処理により
   行うことを特徴とする請求項１記載の映像検索方法。
3. 【請求項３】 前記映像を選択させ分類して分類領域に
   表示する処理は、利用者により選択された映像を利用者
   の類似性に関する直感により自由に分類領域に分類しな
   がら区分けして貼り付け表示することを特徴とする請求
   項１または２記載の映像検索方法。
4. 【請求項４】 前記分類領域は、前記検索条件に基づい
   て検索して得られた検索結果の映像集合を表示する検索
   結果表示領域とは異なる領域に形成され、分類領域に表
   示されている映像は検索結果表示領域の表示内容の変更
   に関わらず変更されることなく保持されていることを特
   徴とする請求項１乃至３のいずれかに記載の映像検索方
   法。
5. 【請求項５】 前記特徴量を判定する処理は、前記映像
   情報データベースから抽出された映像情報に対して前記
   分類領域への映像の分類処理に基づいて重要度を付与す
   ることを特徴とする請求項１乃至４のいずれかに記載の
   映像検索方法。
6. 【請求項６】 前記特徴量を判定する処理は、前記映像
   情報に対して付与された重要度を用いて、目的の映像に
   関する映像情報を抽出することを特徴とする請求項５記
   載の映像検索方法。
7. 【請求項７】 検索結果に対する利用者の評価結果をフ
   ィードバックして、検索結果を改善する映像検索装置で
   あって、 入力された検索条件に基づいて映像データベースを検索
   して得られた検索結果の映像集合を表示する表示手段
   と、 この表示された検索結果から目的の映像に類似した映像
   を利用者に選択させ、この選択された映像を目的の映像
   との類似性または非類似性に基づいて１つ以上のカテゴ
   リに分類して分類領域に表示する選択分類手段と、 この分類領域に表示された映像に関する映像情報を映像
   情報データベースから抽出し、この抽出された映像情報
   および前記分類領域に分類された分類情報から目的の映
   像に関する特徴量を判定する特徴量判定手段とを有する
   ことを特徴とする映像検索装置。
8. 【請求項８】 前記選択分類手段は、マウスを含むポイ
   ンティングデバイスを用いたドラッグ・アンド・ドロッ
   プ処理により映像を選択するように構成されていること
   を特徴とする請求項７記載の映像検索装置。
9. 【請求項９】 前記選択分類手段は、利用者により選択
   された映像を利用者の類似性に関する直感により自由に
   分類領域に分類しながら区分けして貼り付け表示する手
   段を有することを特徴とする請求項７または８記載の映
   像検索装置。
10. 【請求項１０】 前記分類領域は、前記検索条件に基づ
    いて検索して得られた検索結果の映像集合を表示する検
    索結果表示領域とは異なる領域に形成され、分類領域に
    表示されている映像は検索結果表示領域の表示内容の変
    更に関わらず変更されることなく保持されていることを
    特徴とする請求項７乃至９のいずれかに記載の映像検索
    装置。
11. 【請求項１１】 前記特徴量判定手段は、前記映像情報
    データベースから抽出された映像情報に対して前記分類
    領域への映像の分類処理に基づいて重要度を付与する重
    要度付与手段を有することを特徴とする請求項７乃至１
    ０のいずれかに記載の映像検索装置。
12. 【請求項１２】 前記特徴量判定手段は、前記映像情報
    に対して付与された重要度を用いて、目的の映像に関す
    る映像情報を抽出する手段を有することを特徴とする請
    求項１１記載の映像検索装置。
13. 【請求項１３】 検索結果に対する利用者の評価結果を
    フィードバックして、検索結果を改善する映像検索プロ
    グラムを記録した記録媒体であって、 入力された検索条件に基づいて映像データベースを検索
    して得られた検索結果の映像集合を表示し、 この表示された検索結果から目的の映像に類似した映像
    を利用者に選択させ、この選択された映像を目的の映像
    との類似性または非類似性に基づいて１つ以上のカテゴ
    リに分類して分類領域に表示し、 この分類領域に表示された映像に関する映像情報を映像
    情報データベースから抽出し、この抽出された映像情報
    および前記分類領域に分類された分類情報から目的の映
    像に関する特徴量を判定することを特徴とする映像検索
    プログラムを記録した記録媒体。