JPH0981590A - マルチメディア情報検索装置 - Google Patents
マルチメディア情報検索装置Info
- Publication number
- JPH0981590A JPH0981590A JP7259470A JP25947095A JPH0981590A JP H0981590 A JPH0981590 A JP H0981590A JP 7259470 A JP7259470 A JP 7259470A JP 25947095 A JP25947095 A JP 25947095A JP H0981590 A JPH0981590 A JP H0981590A
- Authority
- JP
- Japan
- Prior art keywords
- natural language
- information
- video information
- search
- search condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 映像情報と文字情報とを統合したマルチメデ
ィア情報の中から所望の映像情報を容易に検索すること
ができるマルチメディア情報検索装置を提供する。 【解決手段】 映像・文字情報蓄積部１０８に蓄積され
ている文字情報としての自然言語を文字情報解析部１０
６により解析することにより作成された内容意味表現３
０３と、検索条件として入力された自然言語を検索条件
解析部１０２により解析することにより作成された検索
条件意味表現３０５とのマッチングを判定し、マッチン
グに成功したと判定された場合は、内容意味表現蓄積部
１０３に内容意味表現３０１と共に蓄積した位置情報に
基づいて、映像・文字情報蓄積部１０８内の対応する自
然言語が検索され、検索された自然言語と映像情報との
対応づけを検索することにより、所望の映像情報が蓄積
されている位置が求められる。
ィア情報の中から所望の映像情報を容易に検索すること
ができるマルチメディア情報検索装置を提供する。 【解決手段】 映像・文字情報蓄積部１０８に蓄積され
ている文字情報としての自然言語を文字情報解析部１０
６により解析することにより作成された内容意味表現３
０３と、検索条件として入力された自然言語を検索条件
解析部１０２により解析することにより作成された検索
条件意味表現３０５とのマッチングを判定し、マッチン
グに成功したと判定された場合は、内容意味表現蓄積部
１０３に内容意味表現３０１と共に蓄積した位置情報に
基づいて、映像・文字情報蓄積部１０８内の対応する自
然言語が検索され、検索された自然言語と映像情報との
対応づけを検索することにより、所望の映像情報が蓄積
されている位置が求められる。
Description
【０００１】
【発明の属する技術分野】本発明は、映像情報と自然言
語を含む文字情報とを統合したマルチメディア情報を検
索するマルチメディア情報検索装置及びマルチメディア
情報検索方法に関する。
語を含む文字情報とを統合したマルチメディア情報を検
索するマルチメディア情報検索装置及びマルチメディア
情報検索方法に関する。
【０００２】
【従来の技術】従来、動画等の映像情報を再生する映像
情報再生装置によれば、一連の映像情報中の特定のシー
ンの映像情報の検索は、再生を開始すべきコマの位置を
指定することにより行われていた。
情報再生装置によれば、一連の映像情報中の特定のシー
ンの映像情報の検索は、再生を開始すべきコマの位置を
指定することにより行われていた。
【０００３】
【発明が解決しようとする課題】従って、従来の映像情
報再生装置によれば、オペレータがある特定の映像情報
を検索しようとした場合、その映像情報を簡単に指定す
ることができなかった。
報再生装置によれば、オペレータがある特定の映像情報
を検索しようとした場合、その映像情報を簡単に指定す
ることができなかった。
【０００４】例えば、フットボールの試合を記録した映
像情報の中からある特定の選手がタッチダウンを決めた
シーンを再生したい場合、従来の映像情報再生装置によ
れば、映像情報を最初から再生することにより所望の映
像情報を探し出す、又は、映像情報を記録した位置情報
を別に記録しておき、その位置を指定することにより所
望の映像情報を検索しなければならないので、その操作
が繁雑であるという問題点があった。
像情報の中からある特定の選手がタッチダウンを決めた
シーンを再生したい場合、従来の映像情報再生装置によ
れば、映像情報を最初から再生することにより所望の映
像情報を探し出す、又は、映像情報を記録した位置情報
を別に記録しておき、その位置を指定することにより所
望の映像情報を検索しなければならないので、その操作
が繁雑であるという問題点があった。
【０００５】一方、ハイパーテキストという形式に代表
されるマルチメディアソフトの場合、映像情報は分割さ
れて断片的なデータとして取り扱われ、文字情報と合わ
せて例えば書籍における章或いは段のような構造化がな
され、その構造である章や段に例えば「第１クォーター
のファーストダウン」という見出しが付されて記録され
ており、このような見出しに基づいて映像情報の検索が
行われている。従って、ある特定の選手がタッチダウン
を決めたシーンに「ＸＸ選手のタッチダウン」という見
出しや索引が付されていない場合は検索することができ
ないという問題点があった。
されるマルチメディアソフトの場合、映像情報は分割さ
れて断片的なデータとして取り扱われ、文字情報と合わ
せて例えば書籍における章或いは段のような構造化がな
され、その構造である章や段に例えば「第１クォーター
のファーストダウン」という見出しが付されて記録され
ており、このような見出しに基づいて映像情報の検索が
行われている。従って、ある特定の選手がタッチダウン
を決めたシーンに「ＸＸ選手のタッチダウン」という見
出しや索引が付されていない場合は検索することができ
ないという問題点があった。
【０００６】また、このようなマルチメディアソフトの
場合は、解説として映像情報と共に記録されている文字
情報の部分で「ＸＸ選手」又は「タッチダウン」等の文
字列を検索する手法も考えられるが、この場合は、間違
った候補が幾つも上げられてしまうことがあり、所望の
映像情報を特定するための処理が繁雑であるという問題
点があった。
場合は、解説として映像情報と共に記録されている文字
情報の部分で「ＸＸ選手」又は「タッチダウン」等の文
字列を検索する手法も考えられるが、この場合は、間違
った候補が幾つも上げられてしまうことがあり、所望の
映像情報を特定するための処理が繁雑であるという問題
点があった。
【０００７】本発明は、上記問題点を解決するためにな
されたもので、映像情報と文字情報とを統合したマルチ
メディア情報の中から所望の映像情報を容易に検索する
ことができるマルチメディア情報検索装置及びマルチメ
ディア情報検索方法を提供することを目的とする。
されたもので、映像情報と文字情報とを統合したマルチ
メディア情報の中から所望の映像情報を容易に検索する
ことができるマルチメディア情報検索装置及びマルチメ
ディア情報検索方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するため
に、請求項１のマルチメディア情報検索装置は、映像情
報と自然言語を含む文字情報とを統合したマルチメディ
ア情報を記録する記録手段と、前記記録手段に記録され
ている自然言語を解析して第１の意味表現を作成する第
１の作成手段と、検索条件として自然言語を入力する入
力手段と、前記入力された自然言語を解析して第２の意
味表現を作成する第２の作成手段と、前記第１の意味表
現と前記第２の意味表現とのマッチングを判定するマッ
チング判定手段と、前記マッチング判定手段の判定結果
に応じて前記記録手段に記録されている映像情報の中か
ら前記入力された自然言語に対応する映像情報を検索す
る検索手段とを備えることを特徴とする。
に、請求項１のマルチメディア情報検索装置は、映像情
報と自然言語を含む文字情報とを統合したマルチメディ
ア情報を記録する記録手段と、前記記録手段に記録され
ている自然言語を解析して第１の意味表現を作成する第
１の作成手段と、検索条件として自然言語を入力する入
力手段と、前記入力された自然言語を解析して第２の意
味表現を作成する第２の作成手段と、前記第１の意味表
現と前記第２の意味表現とのマッチングを判定するマッ
チング判定手段と、前記マッチング判定手段の判定結果
に応じて前記記録手段に記録されている映像情報の中か
ら前記入力された自然言語に対応する映像情報を検索す
る検索手段とを備えることを特徴とする。
【０００９】請求項２のマルチメディア情報検索装置
は、上記請求項１のマルチメディア情報検索装置におけ
る入力手段が、自然言語を音声入力するように構成され
るものである。
は、上記請求項１のマルチメディア情報検索装置におけ
る入力手段が、自然言語を音声入力するように構成され
るものである。
【００１０】請求項３のマルチメディア情報検索装置
は、上記請求項１又は２のマルチメディア情報検索装置
に加えて、検索された映像情報の再生表示を行う再生表
示手段を備えるようにしたものである。
は、上記請求項１又は２のマルチメディア情報検索装置
に加えて、検索された映像情報の再生表示を行う再生表
示手段を備えるようにしたものである。
【００１１】請求項４のマルチメディア情報検索装置
は、上記請求項１から３のいずれか１項に記載のマルチ
メディア情報検索装置における再生表示手段が、検索手
段により検索された映像情報が複数ある場合に、複数の
映像情報をメニュー形式で表示するように構成されるも
のである。
は、上記請求項１から３のいずれか１項に記載のマルチ
メディア情報検索装置における再生表示手段が、検索手
段により検索された映像情報が複数ある場合に、複数の
映像情報をメニュー形式で表示するように構成されるも
のである。
【００１２】請求項５のマルチメディア情報検索方法
は、映像情報と自然言語を含む文字情報とを統合したマ
ルチメディア情報中の自然言語を解析して第１の意味表
現を作成し、検索条件としての自然言語を解析して第２
の意味表現を作成し、前記第１の意味表現と前記第２の
意味表現とのマッチングを判定し、その判定結果に応じ
て前記マルチメディア中の映像情報の中から前記検索条
件としての自然言語に対応する映像情報を検索すること
を特徴とする。
は、映像情報と自然言語を含む文字情報とを統合したマ
ルチメディア情報中の自然言語を解析して第１の意味表
現を作成し、検索条件としての自然言語を解析して第２
の意味表現を作成し、前記第１の意味表現と前記第２の
意味表現とのマッチングを判定し、その判定結果に応じ
て前記マルチメディア中の映像情報の中から前記検索条
件としての自然言語に対応する映像情報を検索すること
を特徴とする。
【００１３】
【発明の実施の形態】以下、本発明の実施の形態を、図
面を参照して説明する。
面を参照して説明する。
【００１４】図１は、本発明の実施の一形態にかかるマ
ルチメディア情報検索装置の構成を示すブロック図であ
る。本実施の形態では、映像情報に自然言語からなる文
字情報を付したマルチメディア情報、例えばドラマとシ
ナリオ、スポーツと解説、ドキュメンタリとナレーショ
ン等のように映像情報とその映像情報を説明する文字情
報とが同期がとれるように対応づけされているマルチメ
ディア情報において特定の映像情報を検索する場合につ
いて説明する。
ルチメディア情報検索装置の構成を示すブロック図であ
る。本実施の形態では、映像情報に自然言語からなる文
字情報を付したマルチメディア情報、例えばドラマとシ
ナリオ、スポーツと解説、ドキュメンタリとナレーショ
ン等のように映像情報とその映像情報を説明する文字情
報とが同期がとれるように対応づけされているマルチメ
ディア情報において特定の映像情報を検索する場合につ
いて説明する。
【００１５】図１において、１０１はオペレータがマル
チメディア情報を検索するための検索条件及び検索を終
了する指示等を入力するための入力手段としての検索条
件入力部である。検索条件入力部１０１は、例えばキー
ボード等の入力装置から構成され、検索条件は自然言語
で入力される。
チメディア情報を検索するための検索条件及び検索を終
了する指示等を入力するための入力手段としての検索条
件入力部である。検索条件入力部１０１は、例えばキー
ボード等の入力装置から構成され、検索条件は自然言語
で入力される。
【００１６】検索条件入力部１０１は検索条件を解析す
る第２の作成手段としての検索条件解析部１０２に接続
されており、検索条件解析部１０２は、マッチング部１
０３を介して、後述する手法によりマルチメディア情報
として記憶されている文字情報から生成される内容意味
表現を蓄積する内容意味表現蓄積部１０４に接続されて
いる。マッチング部１０３は、検索条件解析部１０２に
よる解析結果と内容意味表現蓄積部１０４により蓄積さ
れている内容意味表現とのマッチングを行うものであ
る。
る第２の作成手段としての検索条件解析部１０２に接続
されており、検索条件解析部１０２は、マッチング部１
０３を介して、後述する手法によりマルチメディア情報
として記憶されている文字情報から生成される内容意味
表現を蓄積する内容意味表現蓄積部１０４に接続されて
いる。マッチング部１０３は、検索条件解析部１０２に
よる解析結果と内容意味表現蓄積部１０４により蓄積さ
れている内容意味表現とのマッチングを行うものであ
る。
【００１７】内容意味表現蓄積部１０４は第１の作成手
段としての文字情報解析部１０６を介して記録手段とし
ての映像・文字情報蓄積部１０８に接続されている。映
像・文字情報蓄積部１０８に蓄積されている文字情報は
文字情報解析部１０６により解析され、内容意味表現と
して表わされて内容意味表現蓄積部１０４に蓄積され
る。検索条件解析部１０２及び文字情報解析部１０６
は、解析処理のための解析辞書１０５を有する。
段としての文字情報解析部１０６を介して記録手段とし
ての映像・文字情報蓄積部１０８に接続されている。映
像・文字情報蓄積部１０８に蓄積されている文字情報は
文字情報解析部１０６により解析され、内容意味表現と
して表わされて内容意味表現蓄積部１０４に蓄積され
る。検索条件解析部１０２及び文字情報解析部１０６
は、解析処理のための解析辞書１０５を有する。
【００１８】マッチング部１０３は検索手段及び再生表
示手段としての検索結果表示部１０７に接続されてお
り、マッチング部１０３によるマッチングの判定結果に
基づいて映像・文字情報蓄積部１０８から取り出される
映像情報は、検索結果表示部１０７に表示される。
示手段としての検索結果表示部１０７に接続されてお
り、マッチング部１０３によるマッチングの判定結果に
基づいて映像・文字情報蓄積部１０８から取り出される
映像情報は、検索結果表示部１０７に表示される。
【００１９】図２は、上述したマルチメディア情報検索
装置による検索手順を示すフローチャートである。
装置による検索手順を示すフローチャートである。
【００２０】まず最初に、映像・文字情報蓄積部１０８
に蓄積されている文字情報が文字情報解析部１０６によ
り解析され、文字情報の内容を示す内容意味表現が作成
される。上述したように文字情報は自然言語からなり、
該自然言語の解析には、自然言語処理技術が採用され
る。即ち、自然言語からなる文章は「文」に分割された
後、形態素解析により「語」に分割され、更に係受け解
析により「句」の係受けが決定されて、意味解析が行わ
れる。これにより、動作の主体及び対象等を記述する内
容意味表現が作成される（ステップ２０１）。作成され
た内容意味表現は、内容意味表現蓄積部１０４に蓄積さ
れる。このとき、蓄積した内容意味表現に対応する自然
言語が記憶されている、映像・文字情報蓄積部１０８内
の位置情報も内容意味表現蓄積部１０４に蓄積される。
に蓄積されている文字情報が文字情報解析部１０６によ
り解析され、文字情報の内容を示す内容意味表現が作成
される。上述したように文字情報は自然言語からなり、
該自然言語の解析には、自然言語処理技術が採用され
る。即ち、自然言語からなる文章は「文」に分割された
後、形態素解析により「語」に分割され、更に係受け解
析により「句」の係受けが決定されて、意味解析が行わ
れる。これにより、動作の主体及び対象等を記述する内
容意味表現が作成される（ステップ２０１）。作成され
た内容意味表現は、内容意味表現蓄積部１０４に蓄積さ
れる。このとき、蓄積した内容意味表現に対応する自然
言語が記憶されている、映像・文字情報蓄積部１０８内
の位置情報も内容意味表現蓄積部１０４に蓄積される。
【００２１】例えば、図３に示すように、映像情報３０
１と「スミスが華麗にタッチダウンを決めました」とい
う文字情報３０２とからなるマルチメディア情報は、文
字情報解析部１０６による解析の結果、内容意味表現３
０３で示す形式で、内容意味表現蓄積部１０４に蓄積さ
れる。
１と「スミスが華麗にタッチダウンを決めました」とい
う文字情報３０２とからなるマルチメディア情報は、文
字情報解析部１０６による解析の結果、内容意味表現３
０３で示す形式で、内容意味表現蓄積部１０４に蓄積さ
れる。
【００２２】この状態で、マルチメディア情報検索装置
は検索条件入力部１０１からの入力待ちとなる（ステッ
プＳ２０２）。
は検索条件入力部１０１からの入力待ちとなる（ステッ
プＳ２０２）。
【００２３】検索条件入力部１０１からの入力が検知さ
れると、入力された内容が検索条件としての自然言語の
入力であるか否かが判別され（ステップＳ２０３）、そ
の答が否定（ＮＯ）である場合、即ち検索の終了指示の
入力等であった場合はそのまま本手順を終了する。ま
た、ステップＳ２０３の答が肯定（ＹＥＳ）である場合
は、入力された自然言語の解析が行われる（ステップＳ
２０４）。即ち、自然言語からなる文章は「文」に分割
された後、形態素解析により「語」に分割され、更に係
受け解析により「句」の係受けが決定されて意味解析が
行われる。これにより、検索条件を示す検索条件意味表
現が作成される。例えば、図３に示すように、「スミス
がタッチダウンを決めた」という自然言語が入力される
と、検索条件解析部１０２による解析の結果、検索条件
意味表現３０５で示す形式で表現される。
れると、入力された内容が検索条件としての自然言語の
入力であるか否かが判別され（ステップＳ２０３）、そ
の答が否定（ＮＯ）である場合、即ち検索の終了指示の
入力等であった場合はそのまま本手順を終了する。ま
た、ステップＳ２０３の答が肯定（ＹＥＳ）である場合
は、入力された自然言語の解析が行われる（ステップＳ
２０４）。即ち、自然言語からなる文章は「文」に分割
された後、形態素解析により「語」に分割され、更に係
受け解析により「句」の係受けが決定されて意味解析が
行われる。これにより、検索条件を示す検索条件意味表
現が作成される。例えば、図３に示すように、「スミス
がタッチダウンを決めた」という自然言語が入力される
と、検索条件解析部１０２による解析の結果、検索条件
意味表現３０５で示す形式で表現される。
【００２４】検索条件としての自然言語の解析の後、検
索条件意味表現３０５と、ステップＳ２０１で内容意味
表現蓄積部１０３に蓄積された内容意味表現３０３との
対応づけが行われ（ステップＳ２０５）、内容意味表現
３０３と検索条件意味表現３０５とのマッチングが判定
される（ステップＳ２０６）。具体的には、ステップＳ
２０５における対応づけにおいて、検索条件意味表現３
０５が内容意味表現３０３のサブセットである場合、即
ち検索条件意味表現３０５が内容意味表現３０３の一部
と一致する場合は、マッチングに成功したと判定され
る。
索条件意味表現３０５と、ステップＳ２０１で内容意味
表現蓄積部１０３に蓄積された内容意味表現３０３との
対応づけが行われ（ステップＳ２０５）、内容意味表現
３０３と検索条件意味表現３０５とのマッチングが判定
される（ステップＳ２０６）。具体的には、ステップＳ
２０５における対応づけにおいて、検索条件意味表現３
０５が内容意味表現３０３のサブセットである場合、即
ち検索条件意味表現３０５が内容意味表現３０３の一部
と一致する場合は、マッチングに成功したと判定され
る。
【００２５】例えば、「スミスがタッチダウンを決め
た」という検索条件意味表現３０５は、「スミスが華麗
にタッチダウンを決めた」という内容意味表現のサブセ
ットであるので、この場合はマッチングに成功したと判
別される。一方、検索条件意味表現が「スミスがどうに
かタッチダウンを決めた」である場合は、検索条件意味
表現中の「どうにか」と内容意味表現中の「華麗に」と
が対応しないので、マッチングに失敗したと判定され
る。
た」という検索条件意味表現３０５は、「スミスが華麗
にタッチダウンを決めた」という内容意味表現のサブセ
ットであるので、この場合はマッチングに成功したと判
別される。一方、検索条件意味表現が「スミスがどうに
かタッチダウンを決めた」である場合は、検索条件意味
表現中の「どうにか」と内容意味表現中の「華麗に」と
が対応しないので、マッチングに失敗したと判定され
る。
【００２６】ステップＳ２０６においてマッチングに成
功したと判定された場合は、内容意味表現蓄積部１０３
に内容意味表現３０１と共に蓄積した位置情報に基づい
て、当該内容意味表現３０３に対応する自然言語が検索
され、検索された自然言語と映像情報との対応づけを検
索することにより、映像・文字情報蓄積部１０８内の、
所望の映像情報が蓄積されている位置が求められる（ス
テップＳ２０７）。求められた位置に蓄積されている映
像情報は、図３に示すように、映像情報３０６として検
索結果表示部１０７により再生表示される（ステップＳ
２０８）。ステップＳ２０８における映像情報の再生表
示が終了すると、上述したステップＳ２０２の入力待ち
状態に戻る。
功したと判定された場合は、内容意味表現蓄積部１０３
に内容意味表現３０１と共に蓄積した位置情報に基づい
て、当該内容意味表現３０３に対応する自然言語が検索
され、検索された自然言語と映像情報との対応づけを検
索することにより、映像・文字情報蓄積部１０８内の、
所望の映像情報が蓄積されている位置が求められる（ス
テップＳ２０７）。求められた位置に蓄積されている映
像情報は、図３に示すように、映像情報３０６として検
索結果表示部１０７により再生表示される（ステップＳ
２０８）。ステップＳ２０８における映像情報の再生表
示が終了すると、上述したステップＳ２０２の入力待ち
状態に戻る。
【００２７】また、ステップＳ２０６においてマッチン
グに失敗したと判定された場合は、ステップＳ２０８で
その旨が検索結果表示部１０７に表示され、ステップＳ
２０２の入力待ち状態に戻る。
グに失敗したと判定された場合は、ステップＳ２０８で
その旨が検索結果表示部１０７に表示され、ステップＳ
２０２の入力待ち状態に戻る。
【００２８】以上説明したように、本実施の一形態によ
れば、映像情報と対応づけられた文字情報としての自然
言語から生成される内容意味表現と、検索条件である自
然言語から生成される検索条件意味表現とのマッチング
を判定することにより、所望の映像情報の検索を行うこ
とが可能となる。また、自然言語で検索条件を入力でき
るので、検索を容易に実行することができる。
れば、映像情報と対応づけられた文字情報としての自然
言語から生成される内容意味表現と、検索条件である自
然言語から生成される検索条件意味表現とのマッチング
を判定することにより、所望の映像情報の検索を行うこ
とが可能となる。また、自然言語で検索条件を入力でき
るので、検索を容易に実行することができる。
【００２９】なお、本実施の形態ではキーボードやマウ
ス等の入力装置から検索条件を入力するように構成した
が、音声認識部を設けて、マイクからの音声入力を検索
条件として用いることができるように構成してもよい。
これにより、より容易に且つ正確に検索条件を入力する
ことが可能となる。
ス等の入力装置から検索条件を入力するように構成した
が、音声認識部を設けて、マイクからの音声入力を検索
条件として用いることができるように構成してもよい。
これにより、より容易に且つ正確に検索条件を入力する
ことが可能となる。
【００３０】また、意味表現のマッチングを行う際に、
概念の階層関係を記述したシソーラスを用い、検索条件
の意味表現が、内容意味表現の上位概念に該当する場合
にもマッチングに成功したと判別するように構成しても
よい。例えば、「タッチダウンを決める」の上位概念と
して「得点する」という記述がシソーラスにある場合
は、「スミスが得点した」という検索条件意味表現に対
して、「スミスが華麗にタッチダウンを決めた」という
内容意味表現がマッチングすると判別することができ
る。
概念の階層関係を記述したシソーラスを用い、検索条件
の意味表現が、内容意味表現の上位概念に該当する場合
にもマッチングに成功したと判別するように構成しても
よい。例えば、「タッチダウンを決める」の上位概念と
して「得点する」という記述がシソーラスにある場合
は、「スミスが得点した」という検索条件意味表現に対
して、「スミスが華麗にタッチダウンを決めた」という
内容意味表現がマッチングすると判別することができ
る。
【００３１】更に、検索結果として表示される映像情報
として複数の候補が上げられる場合はすぐに映像情報を
再生せず、例えば複数の候補をメニュー形式で表示し、
再生すべき映像情報をオペレータに選択させるように構
成してもよい。
として複数の候補が上げられる場合はすぐに映像情報を
再生せず、例えば複数の候補をメニュー形式で表示し、
再生すべき映像情報をオペレータに選択させるように構
成してもよい。
【００３２】
【発明の効果】以上説明したように、請求項１のマルチ
メディア情報検索装置によれば、マッチング判定手段に
より、記録手段に記録されている自然言語を解析するこ
とにより作成される第１の意味表現と検索条件としての
自然言語を解析することにより作成される第２の意味表
現とのマッチングを判定することにより、所望の映像情
報の検索を行うことができるという効果が得られる。ま
た、検索条件として自然言語を入力するように構成した
ので、オペレータは所望の映像情報を容易に検索するこ
とができるという効果が得られる。
メディア情報検索装置によれば、マッチング判定手段に
より、記録手段に記録されている自然言語を解析するこ
とにより作成される第１の意味表現と検索条件としての
自然言語を解析することにより作成される第２の意味表
現とのマッチングを判定することにより、所望の映像情
報の検索を行うことができるという効果が得られる。ま
た、検索条件として自然言語を入力するように構成した
ので、オペレータは所望の映像情報を容易に検索するこ
とができるという効果が得られる。
【００３３】請求項２のマルチメディア情報検索装置に
よれば、検索条件としての自然言語は音声入力されるの
で、検索条件をより容易に且つ正確に入力することがで
きるという効果が得られる。
よれば、検索条件としての自然言語は音声入力されるの
で、検索条件をより容易に且つ正確に入力することがで
きるという効果が得られる。
【００３４】請求項４のマルチメディア情報検索装置に
よれば、検索手段により検索された映像情報が複数ある
場合は、複数の映像情報がメニュー形式で表示されるの
で、所望の映像情報を確実に再生することができるとい
う効果が得られる。
よれば、検索手段により検索された映像情報が複数ある
場合は、複数の映像情報がメニュー形式で表示されるの
で、所望の映像情報を確実に再生することができるとい
う効果が得られる。
【００３５】請求項５のマルチメディア情報検索方法に
よれば、記録手段に記録されている自然言語を解析する
ことにより作成される第１の意味表現と検索条件として
の自然言語を解析することにより作成される第２の意味
表現とのマッチングを判定することにより、所望の映像
情報の検索を行うことができるという効果が得られる。
よれば、記録手段に記録されている自然言語を解析する
ことにより作成される第１の意味表現と検索条件として
の自然言語を解析することにより作成される第２の意味
表現とのマッチングを判定することにより、所望の映像
情報の検索を行うことができるという効果が得られる。
【図１】本発明の実施の一形態にかかるマルチメディア
情報検索装置の構成を示すブロック図である。
情報検索装置の構成を示すブロック図である。
【図２】図１に示したマルチメディア情報検索装置によ
る検索手順を示すフローチャートである。
る検索手順を示すフローチャートである。
【図３】映像情報の検索手順を示す説明図である。
１０１ 検索条件入力部 １０２ 検索条件解析部 １０３ マッチング部 １０６ 文字情報解析部 １０７ 検索結果表示部 １０８ 映像・文字情報蓄積部
Claims (5)
- 【請求項１】 映像情報と自然言語を含む文字情報とを
統合したマルチメディア情報を記録する記録手段と、前
記記録手段に記録されている自然言語を解析して第１の
意味表現を作成する第１の作成手段と、検索条件として
自然言語を入力する入力手段と、前記入力された自然言
語を解析して第２の意味表現を作成する第２の作成手段
と、前記第１の意味表現と前記第２の意味表現とのマッ
チングを判定するマッチング判定手段と、前記マッチン
グ判定手段の判定結果に応じて前記記録手段に記録され
ている映像情報の中から前記入力された自然言語に対応
する映像情報を検索する検索手段とを備えることを特徴
とするマルチメディア情報検索装置。 - 【請求項２】 前記入力手段は前記自然言語を音声入力
するように構成される請求項１に記載のマルチメディア
情報検索装置。 - 【請求項３】 前記検索された映像情報の再生表示を行
う再生表示手段を備えることを特徴とする請求項１又は
２に記載のマルチメディア情報検索装置。 - 【請求項４】 前記再生表示手段は、前記検索手段によ
り検索された映像情報が複数ある場合に、前記複数の映
像情報をメニュー形式で表示するように構成される請求
項１から３のいずれか１項に記載のマルチメディア情報
検索装置。 - 【請求項５】 映像情報と自然言語を含む文字情報とを
統合したマルチメディア情報中の自然言語を解析して第
１の意味表現を作成し、検索条件としての自然言語を解
析して第２の意味表現を作成し、前記第１の意味表現と
前記第２の意味表現とのマッチングを判定し、その判定
結果に応じて前記マルチメディア中の映像情報の中から
前記検索条件としての自然言語に対応する映像情報を検
索することを特徴とするマルチメディア情報検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7259470A JPH0981590A (ja) | 1995-09-13 | 1995-09-13 | マルチメディア情報検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7259470A JPH0981590A (ja) | 1995-09-13 | 1995-09-13 | マルチメディア情報検索装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0981590A true JPH0981590A (ja) | 1997-03-28 |
Family
ID=17334529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7259470A Pending JPH0981590A (ja) | 1995-09-13 | 1995-09-13 | マルチメディア情報検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0981590A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10301953A (ja) * | 1997-04-28 | 1998-11-13 | Just Syst Corp | 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JPH11261909A (ja) * | 1998-03-12 | 1999-09-24 | Toshiba Corp | マルチメディアデータ処理装置および方法，記録媒体 |
| KR100350793B1 (ko) * | 1999-11-29 | 2002-09-10 | 엘지전자 주식회사 | 2진 칼라 히스토그램을 이용한 멀티미디어 객체의 특징소 추출방법과 특징소 정보의 생성방법 및 멀티미디어 검색방법 |
| JP2002312370A (ja) * | 2001-04-11 | 2002-10-25 | J-Fit Co Ltd | マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム |
| KR100370247B1 (ko) * | 1999-08-26 | 2003-01-29 | 엘지전자 주식회사 | 등장인물 관계 기반 동영상 검색 방법 |
| US7664794B2 (en) | 2000-02-14 | 2010-02-16 | Nice Systems Ltd. | Content-based storage management |
| JP2015106203A (ja) * | 2013-11-28 | 2015-06-08 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US12444420B2 (en) | 2023-04-27 | 2025-10-14 | International Business Machines Corporation | Audiobook visual aid assistance |
-
1995
- 1995-09-13 JP JP7259470A patent/JPH0981590A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10301953A (ja) * | 1997-04-28 | 1998-11-13 | Just Syst Corp | 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6161108A (en) * | 1997-04-28 | 2000-12-12 | Justsystem Corp. | Method and apparatus for managing images, a method and apparatus for retrieving images, and a computer-readable recording medium with a program for making a computer execute the methods stored therein |
| JPH11261909A (ja) * | 1998-03-12 | 1999-09-24 | Toshiba Corp | マルチメディアデータ処理装置および方法，記録媒体 |
| KR100370247B1 (ko) * | 1999-08-26 | 2003-01-29 | 엘지전자 주식회사 | 등장인물 관계 기반 동영상 검색 방법 |
| KR100350793B1 (ko) * | 1999-11-29 | 2002-09-10 | 엘지전자 주식회사 | 2진 칼라 히스토그램을 이용한 멀티미디어 객체의 특징소 추출방법과 특징소 정보의 생성방법 및 멀티미디어 검색방법 |
| US7664794B2 (en) | 2000-02-14 | 2010-02-16 | Nice Systems Ltd. | Content-based storage management |
| JP2002312370A (ja) * | 2001-04-11 | 2002-10-25 | J-Fit Co Ltd | マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム |
| JP2015106203A (ja) * | 2013-11-28 | 2015-06-08 | Ｎｅｃパーソナルコンピュータ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US12444420B2 (en) | 2023-04-27 | 2025-10-14 | International Business Machines Corporation | Audiobook visual aid assistance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7739116B2 (en) | Subtitle generation and retrieval combining document with speech recognition | |
| JP5257330B2 (ja) | 発言記録装置、発言記録方法、プログラム及び記録媒体 | |
| JP4873018B2 (ja) | データ処理装置、データ処理方法、及び、プログラム | |
| US20040266337A1 (en) | Method and apparatus for synchronizing lyrics | |
| JP2004533756A (ja) | 自動コンテンツ分析及びマルチメデイア・プレゼンテーションの表示 | |
| JP3938096B2 (ja) | インデックス作成装置、インデックス作成方法、および、インデックス作成プログラム | |
| JPH0981590A (ja) | マルチメディア情報検索装置 | |
| JP3685733B2 (ja) | マルチメディアデータ検索装置、マルチメディアデータ検索方法およびマルチメディアデータ検索プログラム | |
| US20060084047A1 (en) | System and method of segmented language learning | |
| KR20060100646A (ko) | 영상물의 특정 위치를 검색하는 방법 및 영상 검색 시스템 | |
| JP2005190232A (ja) | 質問回答装置の精度向上支援装置及び精度向上支援方法ならびにそのプログラム | |
| JPH08123976A (ja) | アニメーション作成装置 | |
| JPH08153118A (ja) | 音声データ処理装置 | |
| JPH06231179A (ja) | 情報検索方式 | |
| KR101014661B1 (ko) | 멀티미디어 콘텐츠 관리 시스템 및 그 방법 | |
| JP2003230094A (ja) | チャプター作成装置及びデータ再生装置及びその方法並びにプログラム | |
| JP2002324071A (ja) | コンテンツ検索システム、コンテンツ検索方法 | |
| US20250348269A1 (en) | Storing, determining, and rendering subsets of correlated information for language translations | |
| CN115457948B (zh) | 播放进度的调节方法、车辆及音频播放设备 | |
| JP2005038014A (ja) | 情報提示装置及び情報提示方法 | |
| JP2002049625A (ja) | 画像検索装置および画像検索方法 | |
| KR20230123409A (ko) | 음성 인식을 통한 영상 검색 시스템 및 방법 | |
| JP2006195900A (ja) | マルチメディアコンテンツ生成装置及び方法 | |
| JPH11331760A (ja) | 映像の要約方法および記憶媒体 | |
| JPH11272706A (ja) | 検索装置 |