JP2000331008A - 映像検索方法および装置と映像検索プログラムを記録した記録媒体 - Google Patents
映像検索方法および装置と映像検索プログラムを記録した記録媒体Info
- Publication number
- JP2000331008A JP2000331008A JP11137328A JP13732899A JP2000331008A JP 2000331008 A JP2000331008 A JP 2000331008A JP 11137328 A JP11137328 A JP 11137328A JP 13732899 A JP13732899 A JP 13732899A JP 2000331008 A JP2000331008 A JP 2000331008A
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- user
- search
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 利用者による映像の操作を記録した履歴情報
を用いて利用者の明示的入力を不要とし、目的の映像に
関する重要な映像情報を用いて再検索および再順序付け
を可能とする映像検索方法および装置と映像検索プログ
ラムを記録した記録媒体を提供する。 【解決手段】 検索部３０からの検索結果は配列部４０
を介して表示部５０に表示され、検索結果に対して操作
部６０を用いて利用者により操作され、この操作は履歴
部７０に履歴情報として記録され、情報抽出部９０は履
歴部７０に記録された利用者の操作履歴のうち映像に関
する情報を用いて映像情報を抽出し、情報判定部１００
は履歴部７０において記録された利用者の操作履歴のう
ち、利用者が行った操作に関する情報を用いて、情報抽
出部９０で抽出された映像情報の重要性を判定し、その
重要度を各映像情報に対して付与し、検索部３０に再入
力する。
を用いて利用者の明示的入力を不要とし、目的の映像に
関する重要な映像情報を用いて再検索および再順序付け
を可能とする映像検索方法および装置と映像検索プログ
ラムを記録した記録媒体を提供する。 【解決手段】 検索部３０からの検索結果は配列部４０
を介して表示部５０に表示され、検索結果に対して操作
部６０を用いて利用者により操作され、この操作は履歴
部７０に履歴情報として記録され、情報抽出部９０は履
歴部７０に記録された利用者の操作履歴のうち映像に関
する情報を用いて映像情報を抽出し、情報判定部１００
は履歴部７０において記録された利用者の操作履歴のう
ち、利用者が行った操作に関する情報を用いて、情報抽
出部９０で抽出された映像情報の重要性を判定し、その
重要度を各映像情報に対して付与し、検索部３０に再入
力する。
Description
【０００１】
【発明の属する技術分野】本発明は、検索結果に対する
利用者の評価結果をフィードバックして、検索結果を改
善する映像検索方法および装置に関し、更に詳しくは、
検索結果に対する利用者の操作履歴を記録しておき、こ
の操作履歴を解析することにより得られる情報に基づい
て再検索や検索結果の改善を行って、利用者の利便性を
向上する映像検索方法および装置と映像検索プログラム
を記録した記録媒体に関する。
利用者の評価結果をフィードバックして、検索結果を改
善する映像検索方法および装置に関し、更に詳しくは、
検索結果に対する利用者の操作履歴を記録しておき、こ
の操作履歴を解析することにより得られる情報に基づい
て再検索や検索結果の改善を行って、利用者の利便性を
向上する映像検索方法および装置と映像検索プログラム
を記録した記録媒体に関する。
【０００２】
【従来の技術】従来の映像検索システムでは、数百から
数千時間にも及ぶ映像データの中から目的の映像を如何
に素早く見つけられるかということが利用者にとって大
きな問題となる。
数千時間にも及ぶ映像データの中から目的の映像を如何
に素早く見つけられるかということが利用者にとって大
きな問題となる。
【０００３】一般的な映像検索システムである"Informe
dia"（文献 "Multimedia Abstractions for Digital Vi
deo Library",Dhristel,M.,Winkler,D.,and Taylor,R.,
Proceedings of ACM Digital Libraries '97 Conferenc
e,Philadelphia,PA July 1997.URL:http://informedia.
cs.cmu.edu/ ）では、１２００時間にも及ぶデジタルア
ーカイブに対し、利用者が目的の映像をより素早く見つ
けられるように検索結果に対していくつかの粒度の要約
処理を用意している。例えば図６に示すように、タイト
ルと代表画像のみの場合（１）や、"Videostrips" と呼
ばれるカット点毎の代表画像の集合（２）、あるいは音
声に対して言語処理を行い、重要な単語の出てくる部分
を繋ぎ合わせた要約映像（３）などである。このよう
に、利用者が内容をどの程度把握したいかによって要約
の粒度、すなわち検索対象の要約の内容の程度を変える
ことで、映像の中身の把握を簡便化し、検索時間の効率
化を図っている。
dia"（文献 "Multimedia Abstractions for Digital Vi
deo Library",Dhristel,M.,Winkler,D.,and Taylor,R.,
Proceedings of ACM Digital Libraries '97 Conferenc
e,Philadelphia,PA July 1997.URL:http://informedia.
cs.cmu.edu/ ）では、１２００時間にも及ぶデジタルア
ーカイブに対し、利用者が目的の映像をより素早く見つ
けられるように検索結果に対していくつかの粒度の要約
処理を用意している。例えば図６に示すように、タイト
ルと代表画像のみの場合（１）や、"Videostrips" と呼
ばれるカット点毎の代表画像の集合（２）、あるいは音
声に対して言語処理を行い、重要な単語の出てくる部分
を繋ぎ合わせた要約映像（３）などである。このよう
に、利用者が内容をどの程度把握したいかによって要約
の粒度、すなわち検索対象の要約の内容の程度を変える
ことで、映像の中身の把握を簡便化し、検索時間の効率
化を図っている。
【０００４】しかしこのようなシステムでは、大量の映
像が検索されてしまった場合、目的の映像を素早く検索
することが難しくなる。そのため１９７０年代から情報
検索で利用されている関連フィードバックと呼ばれる方
法が複合的に用いられることが多い。
像が検索されてしまった場合、目的の映像を素早く検索
することが難しくなる。そのため１９７０年代から情報
検索で利用されている関連フィードバックと呼ばれる方
法が複合的に用いられることが多い。
【０００５】関連フィードバックとは、利用者が検索結
果に対してなんらかの評価を行い、その情報をシステム
側にフィードバックすることで、検索結果を改善した
り、あるいは新たな情報を検索したりする方法のことで
ある。
果に対してなんらかの評価を行い、その情報をシステム
側にフィードバックすることで、検索結果を改善した
り、あるいは新たな情報を検索したりする方法のことで
ある。
【０００６】例えば、文献 "Color-Based Pseudo Objec
t Model for Image Retrieval withRelevance Feedbac
k"（Tat-Seng Chua and Chun-Xin Chu,pp.148-162,Proc
eedings of AMCP '98,Japan,Nov,1998）では、図７に示
すように、初期入力に対する検索結果に対して、"Relev
ance（関連性あり）" と "No-Relevance（関連性無
し）" の２つのボタンを用意している。目的の画像と比
較して、類似した画像に対しては "Relevance"を、明ら
かに異なる画像が検索されている場合は "No-Relevanc
e" を選ぶことで、利用者は目的とする画像の特徴を明
示的にシステムに対して与える。システムは選択された
画像から画像情報を抽出し反復的に利用することによ
り、初期入力からでは判別できなかった目的の画像に対
する情報を補完し、目的の画像を絞り込んでいく。
t Model for Image Retrieval withRelevance Feedbac
k"（Tat-Seng Chua and Chun-Xin Chu,pp.148-162,Proc
eedings of AMCP '98,Japan,Nov,1998）では、図７に示
すように、初期入力に対する検索結果に対して、"Relev
ance（関連性あり）" と "No-Relevance（関連性無
し）" の２つのボタンを用意している。目的の画像と比
較して、類似した画像に対しては "Relevance"を、明ら
かに異なる画像が検索されている場合は "No-Relevanc
e" を選ぶことで、利用者は目的とする画像の特徴を明
示的にシステムに対して与える。システムは選択された
画像から画像情報を抽出し反復的に利用することによ
り、初期入力からでは判別できなかった目的の画像に対
する情報を補完し、目的の画像を絞り込んでいく。
【０００７】
【発明が解決しようとする課題】上記のような従来の関
連フィードバックを用いたシステムでは、利用者に対し
明示的に入力を促すため、多量の検索結果に対しては入
力に手間が多くかかり、必然的に検索効率が下がるとい
う問題があった。
連フィードバックを用いたシステムでは、利用者に対し
明示的に入力を促すため、多量の検索結果に対しては入
力に手間が多くかかり、必然的に検索効率が下がるとい
う問題があった。
【０００８】フィードバックを行うための入力方法も、
上記のような嗜好に合致しているかいないかというＹｅ
ｓ，Ｎｏの入力を用いた場合、フィードバックされる多
量の映像情報のどれが利用者の嗜好と合致しているのか
わからないため、間違った情報もフィードバックされて
しまうという問題があった。逆に数値入力などによっ
て、どのような情報がどの程度嗜好と合致しているのか
という入力を促す場合、利用者の手間がかかり過ぎるた
め検索時間は大幅に増えてしまい、また入力する値が感
覚的にわかり辛く、利用者の経験が必要となるという問
題点もあった。
上記のような嗜好に合致しているかいないかというＹｅ
ｓ，Ｎｏの入力を用いた場合、フィードバックされる多
量の映像情報のどれが利用者の嗜好と合致しているのか
わからないため、間違った情報もフィードバックされて
しまうという問題があった。逆に数値入力などによっ
て、どのような情報がどの程度嗜好と合致しているのか
という入力を促す場合、利用者の手間がかかり過ぎるた
め検索時間は大幅に増えてしまい、また入力する値が感
覚的にわかり辛く、利用者の経験が必要となるという問
題点もあった。
【０００９】本発明は、上記に鑑みてなされたもので、
その目的とするところは、利用者による映像の閲覧時の
操作を記録した履歴情報を用いて利用者の明示的入力を
不要とし、目的の映像に関する重要な映像情報を用いて
再検索および再順序付けを可能とする映像検索方法およ
び装置と映像検索プログラムを記録した記録媒体を提供
することにある。
その目的とするところは、利用者による映像の閲覧時の
操作を記録した履歴情報を用いて利用者の明示的入力を
不要とし、目的の映像に関する重要な映像情報を用いて
再検索および再順序付けを可能とする映像検索方法およ
び装置と映像検索プログラムを記録した記録媒体を提供
することにある。
【００１０】
【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、検索結果に対する利用者
の評価結果をフィードバックして、検索結果を改善する
映像検索方法であって、入力された検索条件に基づいて
映像データベースを検索して得られた検索結果の映像を
表示し、この表示された検索結果に対して利用者によっ
て行われた利用者の操作を履歴情報として記録してお
き、前記利用者の操作において利用者により選択された
検索結果の映像に関連する前記履歴情報を取り出し、こ
の履歴情報を用いて前記映像に関する映像情報を映像情
報データベースから抽出し、この抽出した映像情報およ
び前記履歴情報を用いて、重要な映像情報を判定するこ
とを要旨とする。
め、請求項１記載の本発明は、検索結果に対する利用者
の評価結果をフィードバックして、検索結果を改善する
映像検索方法であって、入力された検索条件に基づいて
映像データベースを検索して得られた検索結果の映像を
表示し、この表示された検索結果に対して利用者によっ
て行われた利用者の操作を履歴情報として記録してお
き、前記利用者の操作において利用者により選択された
検索結果の映像に関連する前記履歴情報を取り出し、こ
の履歴情報を用いて前記映像に関する映像情報を映像情
報データベースから抽出し、この抽出した映像情報およ
び前記履歴情報を用いて、重要な映像情報を判定するこ
とを要旨とする。
【００１１】請求項１記載の本発明にあっては、表示さ
れた検索結果に対する利用者の操作を履歴情報として記
録しておき、利用者により選択された映像に関連する履
歴情報を用いて映像に関する映像情報を抽出し、この映
像情報および履歴情報を用いて重要な映像情報を判定す
るため、利用者の明示的な入力を不要とし、従来に比べ
て簡便な方法により厳密な特徴量の判定を行うことがで
き、また利用者の履歴情報を記録しておくことにより履
歴情報から抽出された映像情報を新たな検索を行う際の
補助的な情報として利用することができる。
れた検索結果に対する利用者の操作を履歴情報として記
録しておき、利用者により選択された映像に関連する履
歴情報を用いて映像に関する映像情報を抽出し、この映
像情報および履歴情報を用いて重要な映像情報を判定す
るため、利用者の明示的な入力を不要とし、従来に比べ
て簡便な方法により厳密な特徴量の判定を行うことがで
き、また利用者の履歴情報を記録しておくことにより履
歴情報から抽出された映像情報を新たな検索を行う際の
補助的な情報として利用することができる。
【００１２】また、請求項２記載の本発明は、請求項１
記載の発明において、前記履歴情報を記録する処理が、
利用者が映像を閲覧する際に行った再生、停止、早送り
を含む操作、該操作を行った時間、選択された映像のフ
ァイル名および場所を含む情報を履歴情報として逐一す
べて記録することを要旨とする。
記載の発明において、前記履歴情報を記録する処理が、
利用者が映像を閲覧する際に行った再生、停止、早送り
を含む操作、該操作を行った時間、選択された映像のフ
ァイル名および場所を含む情報を履歴情報として逐一す
べて記録することを要旨とする。
【００１３】請求項２記載の本発明にあっては、利用者
が映像を閲覧する際に行った操作、時間、選択された映
像に関する履歴情報として逐一すべて記録するため、利
用者の明示的な入力を必要とせずに目的の映像に関する
情報を適確に取得することができる。
が映像を閲覧する際に行った操作、時間、選択された映
像に関する履歴情報として逐一すべて記録するため、利
用者の明示的な入力を必要とせずに目的の映像に関する
情報を適確に取得することができる。
【００１４】更に、請求項３記載の本発明は、請求項１
または２記載の発明において、前記映像情報を抽出する
処理が、前記記録された履歴情報のうち、選択された映
像に関する情報を用いて、該映像に関する映像情報を抽
出することを要旨とする。
または２記載の発明において、前記映像情報を抽出する
処理が、前記記録された履歴情報のうち、選択された映
像に関する情報を用いて、該映像に関する映像情報を抽
出することを要旨とする。
【００１５】請求項３記載の本発明にあっては、記録さ
れた履歴情報のうち、選択された映像に関する情報を用
いて、該映像に関する映像情報を抽出するため、利用者
の明示的な入力を必要とすることなく、映像情報を取得
することが可能となる。
れた履歴情報のうち、選択された映像に関する情報を用
いて、該映像に関する映像情報を抽出するため、利用者
の明示的な入力を必要とすることなく、映像情報を取得
することが可能となる。
【００１６】請求項４記載の本発明は、請求項１乃至３
のいずれかに記載の発明において、前記映像情報を判定
する処理が、前記記録された履歴情報のうち、利用者が
行った操作履歴を用いて、前記抽出された映像情報に対
して重要度を付与することを要旨とする。
のいずれかに記載の発明において、前記映像情報を判定
する処理が、前記記録された履歴情報のうち、利用者が
行った操作履歴を用いて、前記抽出された映像情報に対
して重要度を付与することを要旨とする。
【００１７】請求項４記載の本発明にあっては、記録さ
れた履歴情報のうち、利用者が行った操作履歴を用い
て、抽出された映像情報に対して重要度を付与するた
め、利用者の明示的な入力を必要とすることなく、目的
の映像に関する重要な映像情報を厳密に判定することが
できる。
れた履歴情報のうち、利用者が行った操作履歴を用い
て、抽出された映像情報に対して重要度を付与するた
め、利用者の明示的な入力を必要とすることなく、目的
の映像に関する重要な映像情報を厳密に判定することが
できる。
【００１８】また、請求項５記載の本発明は、請求項４
記載の発明において、前記映像情報を判定する処理が、
前記抽出された映像情報に付与された重要度を用いて、
利用者が注目する映像に関する重要な映像情報を抽出す
ることを要旨とする。
記載の発明において、前記映像情報を判定する処理が、
前記抽出された映像情報に付与された重要度を用いて、
利用者が注目する映像に関する重要な映像情報を抽出す
ることを要旨とする。
【００１９】請求項５記載の本発明にあっては、抽出さ
れた映像情報に付与された重要度を用いて、利用者が注
目する映像に関する重要な映像情報を抽出するため、利
用者が注目する映像に関する重要な映像情報を用いて再
検索や再順序付けを行うことができる。
れた映像情報に付与された重要度を用いて、利用者が注
目する映像に関する重要な映像情報を抽出するため、利
用者が注目する映像に関する重要な映像情報を用いて再
検索や再順序付けを行うことができる。
【００２０】更に、請求項６記載の本発明は、検索結果
に対する利用者の評価結果をフィードバックして、検索
結果を改善する映像検索装置であって、入力された検索
条件に基づいて映像データベースを検索して得られた検
索結果の映像を表示し、この表示された検索結果に対し
て利用者によって行われた利用者の操作を履歴情報とし
て記録する履歴情報記録手段と、前記利用者の操作にお
いて利用者により選択された検索結果の映像に関連する
前記履歴情報を前記履歴情報記録手段から取り出し、こ
の履歴情報を用いて前記映像に関する映像情報を映像情
報データベースから抽出する情報抽出手段と、この抽出
した映像情報および前記履歴情報を用いて、重要な映像
情報を判定する情報判定手段とを有することを要旨とす
る。
に対する利用者の評価結果をフィードバックして、検索
結果を改善する映像検索装置であって、入力された検索
条件に基づいて映像データベースを検索して得られた検
索結果の映像を表示し、この表示された検索結果に対し
て利用者によって行われた利用者の操作を履歴情報とし
て記録する履歴情報記録手段と、前記利用者の操作にお
いて利用者により選択された検索結果の映像に関連する
前記履歴情報を前記履歴情報記録手段から取り出し、こ
の履歴情報を用いて前記映像に関する映像情報を映像情
報データベースから抽出する情報抽出手段と、この抽出
した映像情報および前記履歴情報を用いて、重要な映像
情報を判定する情報判定手段とを有することを要旨とす
る。
【００２１】請求項６記載の本発明にあっては、表示さ
れた検索結果に対する利用者の操作を履歴情報として記
録しておき、利用者により選択された映像に関連する履
歴情報を用いて映像に関する映像情報を抽出し、この映
像情報および履歴情報を用いて重要な映像情報を判定す
るため、利用者の明示的な入力を不要とし、従来に比べ
て簡便な方法により厳密な特徴量の判定を行うことがで
き、また利用者の履歴情報を記録しておくことにより履
歴情報から抽出された映像情報を新たな検索を行う際の
補助的な情報として利用することができる。
れた検索結果に対する利用者の操作を履歴情報として記
録しておき、利用者により選択された映像に関連する履
歴情報を用いて映像に関する映像情報を抽出し、この映
像情報および履歴情報を用いて重要な映像情報を判定す
るため、利用者の明示的な入力を不要とし、従来に比べ
て簡便な方法により厳密な特徴量の判定を行うことがで
き、また利用者の履歴情報を記録しておくことにより履
歴情報から抽出された映像情報を新たな検索を行う際の
補助的な情報として利用することができる。
【００２２】請求項７記載の本発明は、請求項６記載の
発明において、前記履歴情報記録手段が、利用者が映像
を閲覧する際に行った再生、停止、早送りを含む操作、
該操作を行った時間、選択された映像のファイル名およ
び場所を含む情報を履歴情報として逐一すべて記録する
ように構成されていることを要旨とする。
発明において、前記履歴情報記録手段が、利用者が映像
を閲覧する際に行った再生、停止、早送りを含む操作、
該操作を行った時間、選択された映像のファイル名およ
び場所を含む情報を履歴情報として逐一すべて記録する
ように構成されていることを要旨とする。
【００２３】請求項７記載の本発明にあっては、利用者
が映像を閲覧する際に行った操作、時間、選択された映
像に関する履歴情報として逐一すべて記録するため、利
用者の明示的な入力を必要とせずに目的の映像に関する
情報を適確に取得することができる。
が映像を閲覧する際に行った操作、時間、選択された映
像に関する履歴情報として逐一すべて記録するため、利
用者の明示的な入力を必要とせずに目的の映像に関する
情報を適確に取得することができる。
【００２４】また、請求項８記載の本発明は、請求項６
または７記載の発明において、前記映像情報抽出手段
が、前記履歴情報記録手段に記録された履歴情報のう
ち、選択された映像に関する情報を用いて、該映像に関
する映像情報を映像情報データベースから抽出するよう
に構成されていることを要旨とする。
または７記載の発明において、前記映像情報抽出手段
が、前記履歴情報記録手段に記録された履歴情報のう
ち、選択された映像に関する情報を用いて、該映像に関
する映像情報を映像情報データベースから抽出するよう
に構成されていることを要旨とする。
【００２５】請求項８記載の本発明にあっては、記録さ
れた履歴情報のうち、選択された映像に関する情報を用
いて、該映像に関する映像情報を抽出するため、利用者
の明示的な入力を必要とすることなく、映像情報を取得
することが可能となる。
れた履歴情報のうち、選択された映像に関する情報を用
いて、該映像に関する映像情報を抽出するため、利用者
の明示的な入力を必要とすることなく、映像情報を取得
することが可能となる。
【００２６】更に、請求項９記載の本発明は、請求項６
乃至８のいずれかに記載の発明において、前記情報判定
手段が、前記履歴情報記録手段に記録された履歴情報の
うち、利用者が行った操作履歴を用いて、前記情報抽出
手段で抽出された映像情報に対して重要度を付与する重
要度付与手段を有することを要旨とする。
乃至８のいずれかに記載の発明において、前記情報判定
手段が、前記履歴情報記録手段に記録された履歴情報の
うち、利用者が行った操作履歴を用いて、前記情報抽出
手段で抽出された映像情報に対して重要度を付与する重
要度付与手段を有することを要旨とする。
【００２７】請求項９記載の本発明にあっては、記録さ
れた履歴情報のうち、利用者が行った操作履歴を用い
て、抽出された映像情報に対して重要度を付与するた
め、利用者の明示的な入力を必要とすることなく、目的
の映像に関する重要な映像情報を厳密に判定することが
できる。
れた履歴情報のうち、利用者が行った操作履歴を用い
て、抽出された映像情報に対して重要度を付与するた
め、利用者の明示的な入力を必要とすることなく、目的
の映像に関する重要な映像情報を厳密に判定することが
できる。
【００２８】請求項１０記載の本発明は、請求項９記載
の発明において、前記情報判定手段が、前記情報抽出手
段で抽出された映像情報に対して前記重要度付与手段で
付与された重要度を用いて、利用者が注目する映像に関
する重要な映像情報を抽出する手段を有することを要旨
とする。
の発明において、前記情報判定手段が、前記情報抽出手
段で抽出された映像情報に対して前記重要度付与手段で
付与された重要度を用いて、利用者が注目する映像に関
する重要な映像情報を抽出する手段を有することを要旨
とする。
【００２９】請求項１０記載の本発明にあっては、抽出
された映像情報に付与された重要度を用いて、利用者が
注目する映像に関する重要な映像情報を抽出するため、
利用者が注目する映像に関する重要な映像情報を用いて
再検索や再順序付けを行うことができる。
された映像情報に付与された重要度を用いて、利用者が
注目する映像に関する重要な映像情報を抽出するため、
利用者が注目する映像に関する重要な映像情報を用いて
再検索や再順序付けを行うことができる。
【００３０】また、請求項１１記載の本発明は、検索結
果に対する利用者の評価結果をフィードバックして、検
索結果を改善する映像検索プログラムを記録した記録媒
体であって、入力された検索条件に基づいて映像データ
ベースを検索して得られた検索結果の映像を表示し、こ
の表示された検索結果に対して利用者によって行われた
利用者の操作を履歴情報として記録しておき、前記利用
者の操作において利用者により選択された検索結果の映
像に関連する前記履歴情報を取り出し、この履歴情報を
用いて前記映像に関する映像情報を映像情報データベー
スから抽出し、この抽出した映像情報および前記履歴情
報を用いて、重要な映像情報を判定することを要旨とす
る。
果に対する利用者の評価結果をフィードバックして、検
索結果を改善する映像検索プログラムを記録した記録媒
体であって、入力された検索条件に基づいて映像データ
ベースを検索して得られた検索結果の映像を表示し、こ
の表示された検索結果に対して利用者によって行われた
利用者の操作を履歴情報として記録しておき、前記利用
者の操作において利用者により選択された検索結果の映
像に関連する前記履歴情報を取り出し、この履歴情報を
用いて前記映像に関する映像情報を映像情報データベー
スから抽出し、この抽出した映像情報および前記履歴情
報を用いて、重要な映像情報を判定することを要旨とす
る。
【００３１】請求項１１記載の本発明にあっては、抽出
された映像情報に付与された重要度を用いて、利用者が
注目する映像に関する重要な映像情報を抽出する映像検
索プログラムを記録媒体に記録しているため、該記録媒
体を用いて、その流通性を高めることができる。
された映像情報に付与された重要度を用いて、利用者が
注目する映像に関する重要な映像情報を抽出する映像検
索プログラムを記録媒体に記録しているため、該記録媒
体を用いて、その流通性を高めることができる。
【００３２】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。図１は、本発明の一実施形態に係る
映像検索装置の構成を示すブロック図である。同図に示
す映像検索装置は、検索条件を入力する入力部１０と、
１つ以上の映像を有する映像データベース２０と、検索
条件に合致する映像を検索する検索部３０と、検索され
た１つ以上の映像を配列する配列部４０と、配列された
映像を画面上に表示する表示部５０と、表示部５０にお
いて表示された映像を選択し、再生や巻き戻しなどの操
作を行う操作部６０と、操作部６０において利用者が行
った操作の履歴を記録する履歴部７０と、映像データベ
ース上の映像に関する映像情報を有する映像情報データ
ベース８０と、履歴部７０において記録された履歴か
ら、選択された映像に関する情報と映像情報データベー
ス８０を用いて、その映像に関する映像情報を抽出する
情報抽出部９０と、履歴部７０において記録された履歴
から、選択した映像に対する操作情報を用いて、情報抽
出部９０において抽出された映像情報に対して重要度を
付加する情報判定部１００とによって構成される。
の形態を説明する。図１は、本発明の一実施形態に係る
映像検索装置の構成を示すブロック図である。同図に示
す映像検索装置は、検索条件を入力する入力部１０と、
１つ以上の映像を有する映像データベース２０と、検索
条件に合致する映像を検索する検索部３０と、検索され
た１つ以上の映像を配列する配列部４０と、配列された
映像を画面上に表示する表示部５０と、表示部５０にお
いて表示された映像を選択し、再生や巻き戻しなどの操
作を行う操作部６０と、操作部６０において利用者が行
った操作の履歴を記録する履歴部７０と、映像データベ
ース上の映像に関する映像情報を有する映像情報データ
ベース８０と、履歴部７０において記録された履歴か
ら、選択された映像に関する情報と映像情報データベー
ス８０を用いて、その映像に関する映像情報を抽出する
情報抽出部９０と、履歴部７０において記録された履歴
から、選択した映像に対する操作情報を用いて、情報抽
出部９０において抽出された映像情報に対して重要度を
付加する情報判定部１００とによって構成される。
【００３３】次に、図２に示すフローチャートを参照し
て、上述したように構成される本実施形態の映像検索装
置の作用について説明する。
て、上述したように構成される本実施形態の映像検索装
置の作用について説明する。
【００３４】図１に示す映像検索装置では、まず利用者
が入力部１０から検索条件を入力すると、この検索条件
は検索部３０に供給され、検索部３０はこの検索条件に
合致した映像を映像データベース２０から検索する。こ
の検索結果の映像は配列部４０で配列され、この配列さ
れた映像は表示部５０の画面に表示される。
が入力部１０から検索条件を入力すると、この検索条件
は検索部３０に供給され、検索部３０はこの検索条件に
合致した映像を映像データベース２０から検索する。こ
の検索結果の映像は配列部４０で配列され、この配列さ
れた映像は表示部５０の画面に表示される。
【００３５】次に、利用者が表示部５０に表示された検
索結果である映像に対して操作部６０を用いて操作を行
う（図２のステップＳ２００）。この操作部６０による
操作には、例えば複数の検索結果の映像が表示部５０に
表示されていたとすると、この複数の映像のうち例えば
検索条件に最も近いと思われる映像をマウスなどにより
利用者が選択するという操作、この選択した映像を再生
したり、巻き戻したり、早送りしたり、停止させるなど
の操作、更にはこの操作が行われた映像上の時間、例え
ば映像の先頭から５秒後に再生した場合にはこの５秒と
いう時間の操作などがある。
索結果である映像に対して操作部６０を用いて操作を行
う（図２のステップＳ２００）。この操作部６０による
操作には、例えば複数の検索結果の映像が表示部５０に
表示されていたとすると、この複数の映像のうち例えば
検索条件に最も近いと思われる映像をマウスなどにより
利用者が選択するという操作、この選択した映像を再生
したり、巻き戻したり、早送りしたり、停止させるなど
の操作、更にはこの操作が行われた映像上の時間、例え
ば映像の先頭から５秒後に再生した場合にはこの５秒と
いう時間の操作などがある。
【００３６】このように、利用者が表示部５０に表示さ
れた検索結果の映像に対して操作部６０を用いて上述し
たような操作を行うと、この操作は履歴部７０に履歴情
報として記録される（ステップＳ２１０）。すなわち、
履歴部７０に履歴情報として記録される情報は、上述し
たように、表示部５０において表示された映像のうち、
利用者がどのような映像を選択したかという情報と、操
作部６０において利用者が行った再生、巻き戻し、早送
り、停止などの操作と、その操作が行われた映像上の時
間（例えば映像の先頭から５秒後に再生）といった操作
に関する情報である。これらは利用者が操作を行った際
に自動的に記録されるため、利用者が明示的な入力を行
うことなく、情報抽出部９０、情報判定部１００を経
て、目的の映像に関する映像情報とその重要度を取得す
ることが可能となる。
れた検索結果の映像に対して操作部６０を用いて上述し
たような操作を行うと、この操作は履歴部７０に履歴情
報として記録される（ステップＳ２１０）。すなわち、
履歴部７０に履歴情報として記録される情報は、上述し
たように、表示部５０において表示された映像のうち、
利用者がどのような映像を選択したかという情報と、操
作部６０において利用者が行った再生、巻き戻し、早送
り、停止などの操作と、その操作が行われた映像上の時
間（例えば映像の先頭から５秒後に再生）といった操作
に関する情報である。これらは利用者が操作を行った際
に自動的に記録されるため、利用者が明示的な入力を行
うことなく、情報抽出部９０、情報判定部１００を経
て、目的の映像に関する映像情報とその重要度を取得す
ることが可能となる。
【００３７】また、利用者が表示部５０に表示された検
索結果の映像を見て、またはこのように表示された映像
に対して操作部６０を用いて上述したような映像の選
択、再生、巻き戻し、早送りなどの操作を行った結果、
検索条件に合致した目的の映像を見つけた場合には（ス
テップＳ２３０）、ここで本検索処理は終了するが、目
的の映像が見つからない場合には、再検索または再順序
付けを行うか否かの問い合わせが行われる（ステップＳ
２５０）、再検索も再順序付けも行わない場合には、最
初のステップに戻るが、再検索または再順序付けを行う
場合には、次のステップＳ２７０に進む。このステップ
Ｓ２７０では、情報抽出部９０は履歴部７０において記
録された利用者の操作履歴のうち映像に関する情報を用
いて映像情報を映像情報データベース８０から抽出す
る。
索結果の映像を見て、またはこのように表示された映像
に対して操作部６０を用いて上述したような映像の選
択、再生、巻き戻し、早送りなどの操作を行った結果、
検索条件に合致した目的の映像を見つけた場合には（ス
テップＳ２３０）、ここで本検索処理は終了するが、目
的の映像が見つからない場合には、再検索または再順序
付けを行うか否かの問い合わせが行われる（ステップＳ
２５０）、再検索も再順序付けも行わない場合には、最
初のステップに戻るが、再検索または再順序付けを行う
場合には、次のステップＳ２７０に進む。このステップ
Ｓ２７０では、情報抽出部９０は履歴部７０において記
録された利用者の操作履歴のうち映像に関する情報を用
いて映像情報を映像情報データベース８０から抽出す
る。
【００３８】この抽出される情報としては、例えば選択
された映像の情報として、そのタイトル、製作者、製作
会社、製作日時などの付加的な情報があげられる。これ
らは、表示部５０において利用者がどのような映像を選
択したかという情報と、映像情報データベース８０から
取得できる。また、利用者が閲覧した映像上の情報も取
得される。例えば通常再生を行った際に映像上に表示さ
れている物体の名前、位置、動きやカメラの動き、位
置、あるいは出演者がしゃべった会話の情報などであ
る。これらは履歴部７０によって記録された履歴上の、
利用者が映像を閲覧した際の時間情報と、映像情報デー
タベース８０から取得される。これらは自動的に抽出さ
れるため、利用者の明示的な入力を必要としない。ま
た、利用者が操作した時間を用いて利用者が閲覧した映
像上の映像情報を抽出するため、従来のように選択され
た映像上のすべての映像情報を用いてフィードバックを
行う場合に比べて、必要な情報のみを用いて目的の映像
情報を推定することが可能となる。
された映像の情報として、そのタイトル、製作者、製作
会社、製作日時などの付加的な情報があげられる。これ
らは、表示部５０において利用者がどのような映像を選
択したかという情報と、映像情報データベース８０から
取得できる。また、利用者が閲覧した映像上の情報も取
得される。例えば通常再生を行った際に映像上に表示さ
れている物体の名前、位置、動きやカメラの動き、位
置、あるいは出演者がしゃべった会話の情報などであ
る。これらは履歴部７０によって記録された履歴上の、
利用者が映像を閲覧した際の時間情報と、映像情報デー
タベース８０から取得される。これらは自動的に抽出さ
れるため、利用者の明示的な入力を必要としない。ま
た、利用者が操作した時間を用いて利用者が閲覧した映
像上の映像情報を抽出するため、従来のように選択され
た映像上のすべての映像情報を用いてフィードバックを
行う場合に比べて、必要な情報のみを用いて目的の映像
情報を推定することが可能となる。
【００３９】上述したように、情報抽出部９０により映
像情報が抽出されると、次に情報判定部１００が履歴部
７０において記録された利用者の操作履歴のうち、利用
者が行った操作に関する情報を用いて、情報抽出部９０
で抽出された映像情報の重要性を判定し、その重要度を
各映像情報に対して付与する（ステップＳ２９０）。
像情報が抽出されると、次に情報判定部１００が履歴部
７０において記録された利用者の操作履歴のうち、利用
者が行った操作に関する情報を用いて、情報抽出部９０
で抽出された映像情報の重要性を判定し、その重要度を
各映像情報に対して付与する（ステップＳ２９０）。
【００４０】例えば、利用者が通常再生を行っている場
合、映像上にある映像情報は重要であるのか重要でない
のか判定は難しい。しかし、ある部分で巻き戻しを行い
通常再生を行った場合、利用者が見返した部分には注目
する映像情報があると類推される。また、早送りを行っ
た部分に関する映像情報は利用者が注目していないとも
類推される。これらの操作から類推される利用者の注目
の度合いを用いて、どの映像情報がどの程度重要である
かを情報判定部１００で推定し、各映像情報に対してそ
の重要度を付与する。重要度の付与の方法は、学習など
従来の方法を用いることができる。
合、映像上にある映像情報は重要であるのか重要でない
のか判定は難しい。しかし、ある部分で巻き戻しを行い
通常再生を行った場合、利用者が見返した部分には注目
する映像情報があると類推される。また、早送りを行っ
た部分に関する映像情報は利用者が注目していないとも
類推される。これらの操作から類推される利用者の注目
の度合いを用いて、どの映像情報がどの程度重要である
かを情報判定部１００で推定し、各映像情報に対してそ
の重要度を付与する。重要度の付与の方法は、学習など
従来の方法を用いることができる。
【００４１】このように求めた映像情報の重要度を検索
部３０に再入力することにより映像を再検索することが
可能となる。また、この映像情報の重要度を配列部４０
に入力することにより、検索された映像をその映像情報
の重要度によって再順序付けして配列し直すことができ
る。
部３０に再入力することにより映像を再検索することが
可能となる。また、この映像情報の重要度を配列部４０
に入力することにより、検索された映像をその映像情報
の重要度によって再順序付けして配列し直すことができ
る。
【００４２】次に、図３を参照して、上述した本実施形
態の映像検索装置をネットワークに適用した具体例につ
いて説明する。図３は、本実施形態の映像検索装置をネ
ットワーク上での映像検索サーバと映像検索クライアン
トに適用したものであり、図３において１はネットワー
ク、３は映像検索サーバ、５は映像検索クライアント、
７は映像データ、９は映像情報データである。また、図
４は、本具体例において映像検索クライアント５に適用
された表示部５０に表示された画面表示イメージとその
各部の名称を示しているものである。
態の映像検索装置をネットワークに適用した具体例につ
いて説明する。図３は、本実施形態の映像検索装置をネ
ットワーク上での映像検索サーバと映像検索クライアン
トに適用したものであり、図３において１はネットワー
ク、３は映像検索サーバ、５は映像検索クライアント、
７は映像データ、９は映像情報データである。また、図
４は、本具体例において映像検索クライアント５に適用
された表示部５０に表示された画面表示イメージとその
各部の名称を示しているものである。
【００４３】このようにネットワーク上での映像検索サ
ーバと映像検索クライアントに適用された映像検索装置
の作用について図５に示すフローチャートを参照して説
明する。
ーバと映像検索クライアントに適用された映像検索装置
の作用について図５に示すフローチャートを参照して説
明する。
【００４４】まず、ステップＳ１０００において、入力
部１０が利用者から検索条件を受け取る。この場合の検
索条件として、図４に示す表示画面では入力部１０とし
て示す部分に青空、雲、家などのキーワードを用いてい
るが、映像の色情報を数値で入力するなどのように映像
情報に関する検索条件の入力方法には種々のものが考え
られる。ここでは一例としてキーワードが入力された場
合について説明する。
部１０が利用者から検索条件を受け取る。この場合の検
索条件として、図４に示す表示画面では入力部１０とし
て示す部分に青空、雲、家などのキーワードを用いてい
るが、映像の色情報を数値で入力するなどのように映像
情報に関する検索条件の入力方法には種々のものが考え
られる。ここでは一例としてキーワードが入力された場
合について説明する。
【００４５】入力された検索条件は、ステップＳ１０１
０として検索部３０に送られる。検索部３０では検索条
件を用いて、映像データベース２０から検索条件に符合
する映像集合を取り出す。検索条件を用いて映像を検索
する方法に関しては、例えば検索条件にマッチした映像
をデータベース上の登録順に出力したり、検索条件と映
像情報との類似性によって順序付けを行ったりする方法
があげられるが、これらは従来の方法を用いることがで
きる。本具体例では仮に、検索条件にマッチした映像を
データベース上の登録順に出力することを考える。
０として検索部３０に送られる。検索部３０では検索条
件を用いて、映像データベース２０から検索条件に符合
する映像集合を取り出す。検索条件を用いて映像を検索
する方法に関しては、例えば検索条件にマッチした映像
をデータベース上の登録順に出力したり、検索条件と映
像情報との類似性によって順序付けを行ったりする方法
があげられるが、これらは従来の方法を用いることがで
きる。本具体例では仮に、検索条件にマッチした映像を
データベース上の登録順に出力することを考える。
【００４６】また、検索部３０では、すでに以前に行っ
た操作の履歴が残っている場合、それを検索時の補助的
な情報として利用することも可能である。検索条件のみ
から取得される情報だけでなく、以前利用者が行った検
索における履歴情報を用いることで、そこから取得され
る映像情報も検索条件として利用可能となり、新たな検
索を行う際の絞り込みを行うことができる。
た操作の履歴が残っている場合、それを検索時の補助的
な情報として利用することも可能である。検索条件のみ
から取得される情報だけでなく、以前利用者が行った検
索における履歴情報を用いることで、そこから取得され
る映像情報も検索条件として利用可能となり、新たな検
索を行う際の絞り込みを行うことができる。
【００４７】ネットワークを利用した本具体例の場合、
検索部３０、映像データベース２０は、映像検索サーバ
３上に実装されているものとする。
検索部３０、映像データベース２０は、映像検索サーバ
３上に実装されているものとする。
【００４８】ステップＳ１０２０として、配列部４０を
用いて検索部３０の出力結果を配列する。ステップＳ１
０５０以降の処理が行われていない時、すなわち始めて
検索を行った際には、検索部３０の検索結果をそのまま
用いる。本例では、検索条件にマッチした映像をデータ
ベース上の登録順に配列する。ステップＳ１０５０以降
の処理が行われていてステップＳ１０２０を実行する場
合、配列部４０では、情報判定部１００からの出力結果
を用いて映像を配列する。情報判定部１００では、利用
者が目的の映像に類似した映像をどのように閲覧したの
か、という操作情報を用いて重要な映像情報を判定す
る。配列部４０では、情報判定部１００から出力される
映像情報の重要度を用いて、重要度の高い映像情報を有
する映像を上位に順序付けするように、検索部３０の検
索結果を再配列する。重要度を用いた順序付け方法に関
しては、例えば映像情報の有する重要度の重み付き総和
を用いたり、平均値を用いるなどの方法があげられる。
用いて検索部３０の出力結果を配列する。ステップＳ１
０５０以降の処理が行われていない時、すなわち始めて
検索を行った際には、検索部３０の検索結果をそのまま
用いる。本例では、検索条件にマッチした映像をデータ
ベース上の登録順に配列する。ステップＳ１０５０以降
の処理が行われていてステップＳ１０２０を実行する場
合、配列部４０では、情報判定部１００からの出力結果
を用いて映像を配列する。情報判定部１００では、利用
者が目的の映像に類似した映像をどのように閲覧したの
か、という操作情報を用いて重要な映像情報を判定す
る。配列部４０では、情報判定部１００から出力される
映像情報の重要度を用いて、重要度の高い映像情報を有
する映像を上位に順序付けするように、検索部３０の検
索結果を再配列する。重要度を用いた順序付け方法に関
しては、例えば映像情報の有する重要度の重み付き総和
を用いたり、平均値を用いるなどの方法があげられる。
【００４９】ステップＳ１０３０として、表示部５０で
は、配列部４０の結果を用いて映像を画面上に出力す
る。図４では、それぞれの映像の先頭画像を代表画面と
して出力した場合を仮定している。検索結果表示部内に
すべての映像を表示できない場合、次の検索結果を表示
するためのボタンなどを用いて対応する。表示された映
像は、選択用のカーソルなどによって利用者によって選
択することを可能とし、操作部６０での操作を可能とす
る。
は、配列部４０の結果を用いて映像を画面上に出力す
る。図４では、それぞれの映像の先頭画像を代表画面と
して出力した場合を仮定している。検索結果表示部内に
すべての映像を表示できない場合、次の検索結果を表示
するためのボタンなどを用いて対応する。表示された映
像は、選択用のカーソルなどによって利用者によって選
択することを可能とし、操作部６０での操作を可能とす
る。
【００５０】ステップＳ１０４０においては、利用者は
目的の映像を見つけるために、再生などの操作を行って
映像を閲覧する。多くの映像検索システムでは、図４に
見られるように、代表的な静止画を表示することで映像
の内容を閲覧できるようにし、明らかに関連性の低い映
像と関連性のありそうな映像を類別できるようにしてい
る。しかし目的の映像を探す場合、更にそれを閲覧する
ということが必要となる。つまり利用者は関連性のあり
そうな映像の静止画を選択し閲覧することで、本当に目
的としている映像であるのかという確認を行う必要性が
ある。
目的の映像を見つけるために、再生などの操作を行って
映像を閲覧する。多くの映像検索システムでは、図４に
見られるように、代表的な静止画を表示することで映像
の内容を閲覧できるようにし、明らかに関連性の低い映
像と関連性のありそうな映像を類別できるようにしてい
る。しかし目的の映像を探す場合、更にそれを閲覧する
ということが必要となる。つまり利用者は関連性のあり
そうな映像の静止画を選択し閲覧することで、本当に目
的としている映像であるのかという確認を行う必要性が
ある。
【００５１】閲覧時の操作としては操作部６０におい
て、再生、巻き戻し、早送り、停止など、映像を閲覧す
る際に必要な操作を行う。また、操作部６０の機能によ
っては、次のカット点まで飛ばしたり、カット点まで早
送り、巻き戻しをするなどの操作も可能である。
て、再生、巻き戻し、早送り、停止など、映像を閲覧す
る際に必要な操作を行う。また、操作部６０の機能によ
っては、次のカット点まで飛ばしたり、カット点まで早
送り、巻き戻しをするなどの操作も可能である。
【００５２】また、次のステップＳ１０５０で処理を終
了するまで、操作部６０でのすべての操作は履歴として
履歴部７０で記録する。ステップＳ１０５０において、
検索結果内に目的の映像が見つかった場合、処理は終了
する。
了するまで、操作部６０でのすべての操作は履歴として
履歴部７０で記録する。ステップＳ１０５０において、
検索結果内に目的の映像が見つかった場合、処理は終了
する。
【００５３】ステップＳ１０６０として、利用者が行っ
た一連の操作の履歴を用いて、再検索、あるいは再順序
付けするかどうかの判定をする。これには、図４のよう
な再検索ボタンなどを用い利用者の入力を促す。再検索
などを行わない場合は、ステップＳ１０４０に戻り、利
用者による映像の選択、操作を繰り返し行う。再検索な
どを行う場合は、ステップＳ１０７０へと進む。
た一連の操作の履歴を用いて、再検索、あるいは再順序
付けするかどうかの判定をする。これには、図４のよう
な再検索ボタンなどを用い利用者の入力を促す。再検索
などを行わない場合は、ステップＳ１０４０に戻り、利
用者による映像の選択、操作を繰り返し行う。再検索な
どを行う場合は、ステップＳ１０７０へと進む。
【００５４】ステップＳ１０７０では、情報抽出部９０
は、映像情報データベース８０と履歴部７０の履歴情報
を用いて映像情報を抽出する。映像情報としては、映像
の色情報やカメラの動き情報、物体の位置や動き、属性
情報、あるいは製作者や製作日などの付加情報など、映
像に対して付与された情報があげられる。ネットワーク
を用いた本具体例の場合、映像情報データベース８０は
映像検索サーバ３上にある方が望ましい。サーバ上の検
索部４０は、検索結果を出力する際に、同時に映像情報
を情報抽出部９０に引き渡し、情報抽出部９０はその中
から必要な映像情報だけを抽出する。
は、映像情報データベース８０と履歴部７０の履歴情報
を用いて映像情報を抽出する。映像情報としては、映像
の色情報やカメラの動き情報、物体の位置や動き、属性
情報、あるいは製作者や製作日などの付加情報など、映
像に対して付与された情報があげられる。ネットワーク
を用いた本具体例の場合、映像情報データベース８０は
映像検索サーバ３上にある方が望ましい。サーバ上の検
索部４０は、検索結果を出力する際に、同時に映像情報
を情報抽出部９０に引き渡し、情報抽出部９０はその中
から必要な映像情報だけを抽出する。
【００５５】ステップＳ１０８０として、情報判定部１
００では、履歴部７０においてどのように映像が操作さ
れたかという情報と、情報抽出部９０によって出力され
た各映像の映像情報を用いて、どのような映像情報が利
用者の目的の映像を検索する際に利用できるかという重
要度の判定を行う。重要性の判定には、例えば以下のよ
うな規則を用いることができる。
００では、履歴部７０においてどのように映像が操作さ
れたかという情報と、情報抽出部９０によって出力され
た各映像の映像情報を用いて、どのような映像情報が利
用者の目的の映像を検索する際に利用できるかという重
要度の判定を行う。重要性の判定には、例えば以下のよ
うな規則を用いることができる。
【００５６】１．再生されなかった部分（例えば再生停
止後の映像）の映像情報は重要度を低くする。 ２．通常再生部分の映像情報は重要度を少し高める。 ３．早送りをした部分の映像情報は重要度を低くする。 ４．巻き戻しを行い再度見直した部分に関する映像情報
は重要度を高くする。 ５．何度も閲覧した部分は、その回数に応じて重要度を
高くする。
止後の映像）の映像情報は重要度を低くする。 ２．通常再生部分の映像情報は重要度を少し高める。 ３．早送りをした部分の映像情報は重要度を低くする。 ４．巻き戻しを行い再度見直した部分に関する映像情報
は重要度を高くする。 ５．何度も閲覧した部分は、その回数に応じて重要度を
高くする。
【００５７】以上のような規則を用意し用いることで、
選択、操作された映像から重要な映像情報を抽出する。
重要度の値の計算方法は、学習を用いる場合や定数を用
いる場合などが考えられるが、これらは従来の技術を用
いて実現する。求めた重要度を出力し、次にステップＳ
１０９０の処理を行うことにより、重要度の高い映像情
報を新しい検索条件として再検索を行ったり、重要度が
高い映像情報を持つ映像を検索結果の上位として配列す
るように再順序付けを行ったりする。
選択、操作された映像から重要な映像情報を抽出する。
重要度の値の計算方法は、学習を用いる場合や定数を用
いる場合などが考えられるが、これらは従来の技術を用
いて実現する。求めた重要度を出力し、次にステップＳ
１０９０の処理を行うことにより、重要度の高い映像情
報を新しい検索条件として再検索を行ったり、重要度が
高い映像情報を持つ映像を検索結果の上位として配列す
るように再順序付けを行ったりする。
【００５８】ステップＳ１０９０として、利用者が再順
序付け（再ランキング）を希望する場合、配列部４０は
情報判定部１００の出力を用いて、検索部３０の結果で
ある映像集合を再順序付けする。また利用者が再検索を
希望する場合、検索部３０は情報判定部１００の出力の
うち、重要度の高い映像情報を検索条件とすることで映
像の再検索を行う。その後、検索された映像は配列部４
０において、情報判定部１００の出力を用いて再順序付
けされ、表示部４０に表示される。
序付け（再ランキング）を希望する場合、配列部４０は
情報判定部１００の出力を用いて、検索部３０の結果で
ある映像集合を再順序付けする。また利用者が再検索を
希望する場合、検索部３０は情報判定部１００の出力の
うち、重要度の高い映像情報を検索条件とすることで映
像の再検索を行う。その後、検索された映像は配列部４
０において、情報判定部１００の出力を用いて再順序付
けされ、表示部４０に表示される。
【００５９】上述したように、検索結果から目的の映像
を探す際に利用者が必ず行う映像の閲覧操作から、利用
者が注目する映像情報を自動的に抽出し、それを用いて
映像を再検索、あるいは再順序付けすることで、目的の
映像を検索する速度を向上する。また、履歴を保持し再
利用することで、新たな検索を行う際の補助的な情報と
して利用することが可能となる。
を探す際に利用者が必ず行う映像の閲覧操作から、利用
者が注目する映像情報を自動的に抽出し、それを用いて
映像を再検索、あるいは再順序付けすることで、目的の
映像を検索する速度を向上する。また、履歴を保持し再
利用することで、新たな検索を行う際の補助的な情報と
して利用することが可能となる。
【００６０】なお、上記実施形態の処理をプログラムと
して記録媒体に記録することにより該記録媒体を用い
て、その流通性を高めることができる。
して記録媒体に記録することにより該記録媒体を用い
て、その流通性を高めることができる。
【００６１】
【発明の効果】以上説明したように、本発明によれば、
表示された検索結果に対する利用者の操作を履歴情報と
して記録しておき、利用者により選択された映像に関連
する履歴情報を用いて映像に関する映像情報を抽出し、
この映像情報および履歴情報を用いて重要な映像情報を
判定するので、利用者の明示的な入力を不要とし、従来
に比べて簡便な方法により利用者が目的とする映像に関
する特徴量を厳密に判定することができるとともに、ま
た利用者の履歴情報を記録しておくことにより履歴情報
から抽出された映像情報を新たな検索を行う際に入力さ
れる検索条件の補助的な情報として利用することができ
る。
表示された検索結果に対する利用者の操作を履歴情報と
して記録しておき、利用者により選択された映像に関連
する履歴情報を用いて映像に関する映像情報を抽出し、
この映像情報および履歴情報を用いて重要な映像情報を
判定するので、利用者の明示的な入力を不要とし、従来
に比べて簡便な方法により利用者が目的とする映像に関
する特徴量を厳密に判定することができるとともに、ま
た利用者の履歴情報を記録しておくことにより履歴情報
から抽出された映像情報を新たな検索を行う際に入力さ
れる検索条件の補助的な情報として利用することができ
る。
【００６２】また、本発明によれば、利用者が映像を閲
覧する際に行った操作、時間、選択された映像に関する
履歴情報として逐一すべて記録するので、利用者の明示
的な入力を必要とせずに目的の映像に関する情報を適確
に取得することができる。
覧する際に行った操作、時間、選択された映像に関する
履歴情報として逐一すべて記録するので、利用者の明示
的な入力を必要とせずに目的の映像に関する情報を適確
に取得することができる。
【００６３】更に、本発明によれば、記録された履歴情
報のうち、選択された映像に関する情報を用いて、該映
像に関する映像情報を抽出するので、利用者の明示的な
入力を必要とすることなく、選択された映像から厳密に
映像情報を抽出することが可能となる。
報のうち、選択された映像に関する情報を用いて、該映
像に関する映像情報を抽出するので、利用者の明示的な
入力を必要とすることなく、選択された映像から厳密に
映像情報を抽出することが可能となる。
【００６４】本発明によれば、記録された履歴情報のう
ち、利用者が行った操作履歴を用いて、抽出された映像
情報に対して重要度を付与するので、利用者の明示的な
入力を必要とすることなく、目的の映像に関する重要な
映像情報を厳密に求めることができる。
ち、利用者が行った操作履歴を用いて、抽出された映像
情報に対して重要度を付与するので、利用者の明示的な
入力を必要とすることなく、目的の映像に関する重要な
映像情報を厳密に求めることができる。
【００６５】また、本発明によれば、抽出された映像情
報に付与された重要度を用いて、利用者が注目する映像
に関する重要な映像情報を抽出するので、利用者が注目
する映像に関する重要な映像情報を用いて再検索や再順
序付けを行うことができる。
報に付与された重要度を用いて、利用者が注目する映像
に関する重要な映像情報を抽出するので、利用者が注目
する映像に関する重要な映像情報を用いて再検索や再順
序付けを行うことができる。
【図１】本発明の一実施形態に係る映像検索装置の構成
を示すブロック図である。
を示すブロック図である。
【図２】図１に示す実施形態の映像検索装置の作用を示
すフローチャートである。
すフローチャートである。
【図３】図１に示す実施形態の映像検索装置をネットワ
ークに適用した具体例の構成を示す図である。
ークに適用した具体例の構成を示す図である。
【図４】図３に示す具体例において映像検索クライアン
トに適用された表示部に表示された画面表示イメージと
その各部の名称を示す図である。
トに適用された表示部に表示された画面表示イメージと
その各部の名称を示す図である。
【図５】図３に示すようにネットワーク上での映像検索
サーバと映像検索クライアントに適用された映像検索装
置の作用を示すフローチャートである。
サーバと映像検索クライアントに適用された映像検索装
置の作用を示すフローチャートである。
【図６】従来の一般的な映像検索システム "Informedi
a" における映像要約処理を説明するための図である。
a" における映像要約処理を説明するための図である。
【図７】関連フィードバックを用いて従来の画像検索シ
ステムにおける利用者のフィードバック方法を説明する
ための図である。
ステムにおける利用者のフィードバック方法を説明する
ための図である。
１０ 入力部 ２０ 映像データベース ３０ 検索部 ４０ 配列部 ５０ 表示部 ６０ 操作部 ７０ 履歴部 ８０ 映像情報データベース ９０ 情報抽出部 １００ 情報判定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B075 ND12 PP03 PP12 PQ02 PR03 PR08 QM05 5C052 AC08 DD04 DD08
Claims (11)
- 【請求項１】 検索結果に対する利用者の評価結果をフ
ィードバックして、検索結果を改善する映像検索方法で
あって、 入力された検索条件に基づいて映像データベースを検索
して得られた検索結果の映像を表示し、この表示された
検索結果に対して利用者によって行われた利用者の操作
を履歴情報として記録しておき、 前記利用者の操作において利用者により選択された検索
結果の映像に関連する前記履歴情報を取り出し、この履
歴情報を用いて前記映像に関する映像情報を映像情報デ
ータベースから抽出し、 この抽出した映像情報および前記履歴情報を用いて、重
要な映像情報を判定することを特徴とする映像検索方
法。 - 【請求項２】 前記履歴情報を記録する処理は、利用者
が映像を閲覧する際に行った再生、停止、早送りを含む
操作、該操作を行った時間、選択された映像のファイル
名および場所を含む情報を履歴情報として逐一すべて記
録することを特徴とする請求項１記載の映像検索方法。 - 【請求項３】 前記映像情報を抽出する処理は、前記記
録された履歴情報のうち、選択された映像に関する情報
を用いて、該映像に関する映像情報を抽出することを特
徴とする請求項１または２記載の映像検索方法。 - 【請求項４】 前記映像情報を判定する処理は、前記記
録された履歴情報のうち、利用者が行った操作履歴を用
いて、前記抽出された映像情報に対して重要度を付与す
ることを特徴とする請求項１乃至３のいずれかに記載の
映像検索方法。 - 【請求項５】 前記映像情報を判定する処理は、前記抽
出された映像情報に付与された重要度を用いて、利用者
が注目する映像に関する重要な映像情報を抽出すること
を特徴とする請求項４記載の映像検索方法。 - 【請求項６】 検索結果に対する利用者の評価結果をフ
ィードバックして、検索結果を改善する映像検索装置で
あって、 入力された検索条件に基づいて映像データベースを検索
して得られた検索結果の映像を表示し、この表示された
検索結果に対して利用者によって行われた利用者の操作
を履歴情報として記録する履歴情報記録手段と、 前記利用者の操作において利用者により選択された検索
結果の映像に関連する前記履歴情報を前記履歴情報記録
手段から取り出し、この履歴情報を用いて前記映像に関
する映像情報を映像情報データベースから抽出する情報
抽出手段と、 この抽出した映像情報および前記履歴情報を用いて、重
要な映像情報を判定する情報判定手段とを有することを
特徴とする映像検索装置。 - 【請求項７】 前記履歴情報記録手段は、利用者が映像
を閲覧する際に行った再生、停止、早送りを含む操作、
該操作を行った時間、選択された映像のファイル名およ
び場所を含む情報を履歴情報として逐一すべて記録する
ように構成されていることを特徴とする請求項６記載の
映像検索装置。 - 【請求項８】 前記映像情報抽出手段は、前記履歴情報
記録手段に記録された履歴情報のうち、選択された映像
に関する情報を用いて、該映像に関する映像情報を映像
情報データベースから抽出するように構成されているこ
とを特徴とする請求項６または７記載の映像検索装置。 - 【請求項９】 前記情報判定手段は、前記履歴情報記録
手段に記録された履歴情報のうち、利用者が行った操作
履歴を用いて、前記情報抽出手段で抽出された映像情報
に対して重要度を付与する重要度付与手段を有すること
を特徴とする請求項６乃至８のいずれかに記載の映像検
索装置。 - 【請求項１０】 前記情報判定手段は、前記情報抽出手
段で抽出された映像情報に対して前記重要度付与手段で
付与された重要度を用いて、利用者が注目する映像に関
する重要な映像情報を抽出する手段を有することを特徴
とする請求項９記載の映像検索装置。 - 【請求項１１】 検索結果に対する利用者の評価結果を
フィードバックして、検索結果を改善する映像検索プロ
グラムを記録した記録媒体であって、 入力された検索条件に基づいて映像データベースを検索
して得られた検索結果の映像を表示し、この表示された
検索結果に対して利用者によって行われた利用者の操作
を履歴情報として記録しておき、 前記利用者の操作において利用者により選択された検索
結果の映像に関連する前記履歴情報を取り出し、この履
歴情報を用いて前記映像に関する映像情報を映像情報デ
ータベースから抽出し、 この抽出した映像情報および前記履歴情報を用いて、重
要な映像情報を判定することを特徴とする映像検索プロ
グラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11137328A JP2000331008A (ja) | 1999-05-18 | 1999-05-18 | 映像検索方法および装置と映像検索プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11137328A JP2000331008A (ja) | 1999-05-18 | 1999-05-18 | 映像検索方法および装置と映像検索プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000331008A true JP2000331008A (ja) | 2000-11-30 |
Family
ID=15196110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11137328A Pending JP2000331008A (ja) | 1999-05-18 | 1999-05-18 | 映像検索方法および装置と映像検索プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000331008A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002046961A1 (en) * | 2000-12-06 | 2002-06-13 | Sony Corporation | Information processing device |
| JP2005518587A (ja) * | 2002-02-25 | 2005-06-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 適切なオーディオ−ビデオ推薦システム |
| JP2007148891A (ja) * | 2005-11-29 | 2007-06-14 | Victor Co Of Japan Ltd | 楽曲検索再生装置 |
| WO2007125882A1 (ja) * | 2006-04-24 | 2007-11-08 | Panasonic Corporation | 映像操作履歴を基にした重要度情報付与装置及び方法 |
| JP2010239363A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 動画処理装置、動画再生方法、動画録画方法、及びプログラム |
| KR101928410B1 (ko) * | 2016-08-31 | 2018-12-12 | 주식회사 유비온 | 동영상 재생 트래킹 방법 및 컴퓨터 프로그램 |
-
1999
- 1999-05-18 JP JP11137328A patent/JP2000331008A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002046961A1 (en) * | 2000-12-06 | 2002-06-13 | Sony Corporation | Information processing device |
| KR100853917B1 (ko) * | 2000-12-06 | 2008-08-25 | 소니 가부시끼 가이샤 | 정보 처리 장치 및 방법, 정보 처리 시스템, 및 기록 매체 |
| US7599987B2 (en) | 2000-12-06 | 2009-10-06 | Sony Corporation | Information processing device for obtaining high-quality content |
| JP2005518587A (ja) * | 2002-02-25 | 2005-06-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 適切なオーディオ−ビデオ推薦システム |
| JP2007148891A (ja) * | 2005-11-29 | 2007-06-14 | Victor Co Of Japan Ltd | 楽曲検索再生装置 |
| WO2007125882A1 (ja) * | 2006-04-24 | 2007-11-08 | Panasonic Corporation | 映像操作履歴を基にした重要度情報付与装置及び方法 |
| US8189994B2 (en) | 2006-04-24 | 2012-05-29 | Panasonic Corporation | Device and method for giving importance information according to video operation history |
| JP2010239363A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 動画処理装置、動画再生方法、動画録画方法、及びプログラム |
| KR101928410B1 (ko) * | 2016-08-31 | 2018-12-12 | 주식회사 유비온 | 동영상 재생 트래킹 방법 및 컴퓨터 프로그램 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250061145A1 (en) | Searching for Segments Based on an Ontology | |
| US20230325437A1 (en) | User interface for viewing targeted segments of multimedia content based on time-based metadata search criteria | |
| US8595375B1 (en) | Segmenting video based on timestamps in comments | |
| US7739597B2 (en) | Interactive media frame display | |
| US8196045B2 (en) | Various methods and apparatus for moving thumbnails with metadata | |
| US7933338B1 (en) | Ranking video articles | |
| KR101382499B1 (ko) | 영상 태깅 방법 및 이를 사용하는 영상 재생 장치. | |
| US8826117B1 (en) | Web-based system for video editing | |
| JP4652462B2 (ja) | メタデータ処理方法 | |
| US8934717B2 (en) | Automatic story creation using semantic classifiers for digital assets and associated metadata | |
| US8700643B1 (en) | Managing electronic media collections | |
| US7387254B2 (en) | Information processing system and method, information processing apparatus and method, and program | |
| US20130007620A1 (en) | System and Method for Visual Search in a Video Media Player | |
| JP2006155384A (ja) | 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
| CN112597396A (zh) | 搜索召回排序方法、系统及计算机可读存储介质 | |
| JP2001028722A (ja) | 動画像管理装置及び動画像管理システム | |
| US20080085053A1 (en) | Sampling image records from a collection based on a change metric | |
| US20250371077A1 (en) | Styling a query response based on a subject identified in the query | |
| US20170220869A1 (en) | Automatic supercut creation and arrangement | |
| US7873905B2 (en) | Image processing system | |
| JPWO2008136466A1 (ja) | 動画編集装置 | |
| US20040056881A1 (en) | Image retrieval system | |
| JP2005501343A (ja) | マルチメディアコンテンツにおけるユーザ選択からの自動的質問構築 | |
| JP2000331008A (ja) | 映像検索方法および装置と映像検索プログラムを記録した記録媒体 | |
| US20090024573A1 (en) | Method and system for performing search on a client device |