JPH0728687A - マルチメディア知識ベ−ス装置，及び、情報提供装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、静止画，動画，音声，テキスト等
のマルチメディアを、人間にとって意味を持つ構造化デ
ータに統合した情報を単位として利用する知識ベース装
置，又は、情報提供装置に関し、マルチメディア情報を
比較的に安いコストで記述し、意味を持つメディア群間
でリンクを張ることで、リンク関係の作成コストを削減
し、各メディア群を丁度辞書のように有効利用を図る。 【構成】 静止画，動画，音声，テキスト等のマルチメ
ディア情報を、一定の意味を持つまとまり（構造化デー
タ）として構成し、その構造化データに、計算機が処理
できる意味的記述を付与して、「アーティクル」と呼ぶ
情報の管理単位とし、その情報管理単位を元に、所定の
推論規則に基づいて、推論エンジンが、上記情報管理単
位を検索して、ユーザに必要な情報を提供する。又、上
記情報管理単位を辞書として利用し、上記構造化データ
に付与されている意味的記述により、より複雑な情報を
構成して、ユーザに提供する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、静止画，動画，音声，
テキスト等のマルチメディア情報を、一定の意味を持
つまとまり（構造化データ) として統合し構成される
知識ベースシステム, 及び、そのような知識ベースシス
テムを利用した情報提供装置に関する。

【０００２】最近のデータ処理、特に、知識ベースシス
テムの分野においては、人間の持っている知識をどのよ
うな形で、データ処理装置に入力, 格納しておき、不特
定多数のユーザに提供するかの研究が行われている。

【０００３】一方、最近のデータ処理システムにおいて
は、静止画，動画，音声，テキスト等のマルチメディア
情報が扱われるようになっており、ハイパーテキストシ
ステムとか、マルチメディアデータベースシステム等
が、その業界に普及しつつある。

【０００４】然して、従来のハイパーテキストや、マル
チメディアデータベースシステムでは、静止画，動画，
音声，テキスト等のマルチメディア情報を、名前や、属
性や、ハイパーリンクによって、個々に管理しているた
め、従来のデータベーステクノロジーで検索するか、上
記ハイパーリンクによって辿っていき、所望のマルチメ
ディア情報を得るしか方法はなかった。

【０００５】つまり、ハイパーテキスト等は、人間の記
憶が持つ複雑な知識情報の構造を、複雑なまま表現する
手段であり、マルチメディアデータを含めて人間の記憶
を自然に表現するのには優れた方法であるが、その記憶
されている情報を、他の人間に提供するためには、人間
の持っている複雑な知識構造を整理して、再構成する必
要がある。

【０００６】又、人間の情報に対する認知は、元々、マ
ルチメディアであり、例えば、料理の包丁の使い方のよ
うなとき、従来のハイパーテキストやマルチメディアデ
ータベースシステムのような、テキストや記号だけでは
表現することが困難であり、例えば、視覚的な情報が必
要である。

【０００７】このような状況に鑑み、従来のハイパーテ
キストの如く、情報検索, 情報提供の困難さのある、静
止画，動画，音声，テキスト等のマルチメディア情報
を、独立したデータとしてみるのではなく、これらのマ
ルチメディア情報を統合したものを、人間にとって意味
のある情報群として取り扱うことができれば、上記従来
のハイパーテキストの情報検索, 情報提供の困難さを解
消することができる。

【０００８】

【従来の技術】図５は、従来のマルチメディアデータべ
ース装置を説明する図である。従来のマルチメディアデ
ータベース装置は、図示されているように、複数個のテ
キスト等から、その名前，属性や、ハイパーリンク等
によって、静止画，動画，音声等の非言語情報が管理さ
れている。

【０００９】従って、所望の静止画，動画，音声等のマ
ルチメディア情報を検索するためには、従来のデータ
べーステクノロジーで検索するか、ハイパーリンク
を、順にたどっていく方法しかなかった。

【００１０】例えば、テキストを先ず検索して、テキス
トから、上記ハイパーリンクによって画像等を検索す
ることしかできず、知りたい情報を意味的に検索するこ
とはできなかった。

【００１１】

【発明が解決しようとする課題】然して、人間の情報に
対する認知は、前述のように、元々、マルチメディアで
あり、例えば、料理の包丁の使い方のようなとき、従来
のハイパーテキストやマルチメディアデータベースシス
テムのような、テキストや記号だけでは表現することが
困難であり、例えば、視覚的な知識情報が必要である。

【００１２】このような知識情報は、テキストや、知識
表現言語などで記述するよりも、動画などの形式にして
おく方が、知識情報を構築する上で簡単であり、利用者
にとってわかり易い表現となる。

【００１３】然し、一方で、ひもの結び方を教えるとき
の結び方の名前や，用途や，気を付ける点など言葉とし
て知ることも大切である。従って、該知識を記号的に記
述することも重要である。

【００１４】然して、従来のマルチメディアデータべー
スシステムなどでは、前述のように、動画や静止画像や
音声などの非言語情報は、その名前や，属性や、ハイパ
ーリンクなどによって、個別に管理されているため、テ
キストをまず検索して、テキストからのハイパーリンク
によって画像等を検索し、検索した画像から、所定の部
分の説明文が欲しい場合には、該所定の部分をボタンで
指示して、説明のための音声を検索することしかでき
ず、知りたい情報を意味的に検索することができないと
いう問題があった。

【００１５】又、利用者は、動画のような情報は、予
め、編集された動画データを完全に見てゆくか、又は、
固定的なリンク関係をたどって見てゆくしか方法がなか
った。又、マルチメディアデータを、色々な用途で有効
に利用する方法も、上記のような事情で、個別にリンク
関係を定義するしかなく、上記色々な用途の情報を検索
するのに、有効な検索手段がないというのが現状であっ
た。

【００１６】本発明は上記従来の欠点に鑑み、動画，静
止画，音声などのマルチメディア情報を、それぞれ、独
立したデータとみるのではなく、これらを複合して、人
間にとって、一定の意味を持つ情報の基本とし、これ
に、計算機で推論が可能な意味的表現を付加したものを
マルチメディア情報の単位（アーテイクル）すること
で、上記マルチメディア情報のかたまりに、付加されて
いる意味的な表現，記述を用いて、推論エンジンによ
り、意味的に検索する方法を提供することを目的とする
ものである。

【００１７】

【課題を解決するための手段】図１，図２は、本発明の
原理説明図であり、図１は、全体の構成例を示し、図２
は、本発明の「アーテイクル」の構成例を示している。
上記の問題点は、下記のように構成したマルチメディア
知識べース装置, 及び、情報提供装置とによって解決さ
れる。

【００１８】(1) 静止画，動画，音声，テキスト等のマ
ルチメディア情報を、一定の意味を持つまとまり（構
造化データ) として構成し、その構造化データに、
計算機が処理できる意味的記述を付与して、「アーテ
ィクル」と呼ぶ情報の管理単位とし、その情報管理単
位を元に、アーティクルデータベースを構築し、予
め、記述されている推論規則に基づいて、推論エンジン
4が、上記情報管理単位を検索して、ユーザに必要な
情報を提供するように構成する。

【００１９】(2) 上記(1) 項に記載のマルチメディア情
報の管理単位を、辞書 6として利用し、該マルチメデ
ィア情報の管理単位に付加されている意味的記述を
用いて、提供情報構成部 3が、より複雑な情報を構成
し、ユーザにマルチメディア情報を提供するように構成
する。

【００２０】(3) 上記(1) 項に記載のマルチメディア情
報の管理単位を、情報の構成単位とし、上記構成単位
に付加されている意味的記述を利用して、他の情報の
管理単位との間にハイパーリンクを張るように構成
する。

【００２１】(4) 上記(1) 項に記載のマルチメディア情
報の管理単位を、所定の通信媒体、例えば、CD-ROMや
通信回線を用いて、不特定多数のユーザに提供するよう
に構成する。

【００２２】

【作用】即ち、本発明では、マルチメディア知識べース
システムにおいて、動画や, 静止画や, 音声や, テキス
トなどのマルチメディア情報を、統合して、人間にと
って一定の意味を持つ構造化データを構成し、更に、
そのデータに、計算機が処理できる意味的記述を付加
して、「アーティクル」とよぶ情報の単位として、マ
ルチメディア情報を構成し、この情報の単位を元に、
上記付加されている意味的記述の情報により、アーテ
ィクルデータべースを構築しておき、そのアーティクル
データべースに対して、例えば、分類知識体系を構成し
ている知識べースを備えて、その分類項目から各アーテ
ィクルへのリンクを作成しておくことにより、予め、記
述されている推論規則に基づいて、推論エンジンによ
り、その各分類に対応する各アーティクル, 或いは、ア
ーティクルの集合を特定して、上記人間にとって意味の
ある情報、即ち、アーティクル、具体的には、動画、静
止画、音声, テキストの複合体と、計算機が認識できる
意味的記述との対を検索し、その意味的記述を介して、
上記動画、静止画、音声, テキストの複合体,及び、複
合体の群を検索するようにしたものである。

【００２３】従って、動画、静止画、音声, テキストの
複合体を、意味的に記述された情報によって検索した
り、その意味的記述の各フィールド内容に基づいて、よ
り複雑な複合的な情報を構成することができる。

【００２４】上記の方法によれば、従来の知識べースの
ように、論理式, 数式というような形式では記述し切れ
ない, 或いは、記述には多大なコストを必要とするよう
な多様な知識を、上記のマルチメディア情報 (即ち、ア
ーティクル) の利用により、比較的に安いコストで記述
ができるようになる。且つ、従来のマルチメディアデー
タべースのように、動画, 静止画, 音声, テキストとい
うような各メディア毎の関係のリンクを張るのではな
く、各動画, 静止画, 音声, テキストの複合体に付加さ
れている意味的記述の関係を用いてリンクを張るので、
リンク関係の作成コストを削減することができる。

【００２５】又、各アーティクルに付加されている、前
述の意味的記述の各フィールドを利用して、各フィール
ドの値と、相互の関係等に基づいて、他のアーティクル
に対してハイパーリンクを張って、その意味的記述の
各フィールドの持つ制約条件を満たすアーティクルの具
体例を検索する手段により、より複雑でダイナミックな
マルチメディア情報を構成することができ、利用者に、
有為な情報を提供することができる。

【００２６】又、上記動画、静止画、音声, テキストの
複合体と、計算機が認識できる意味的記述との対で構成
される情報の単位であるアーティクルを辞書として利用
し、該情報の単位に付加されている意味的記述を用いる
ことにより、より複雑な情報を構成して利用者に有為な
マルチメディア情報を提供することができる。

【００２７】更に、上記マルチメディア情報を、CD-ROM
や、通信回線などの通信媒体を介して、不特定多数の利
用者と接続しておくことにより、多数の不特定多数の利
用者に、情報提供サービスを行うことができる。

【００２８】

【実施例】以下本発明の実施例を図面によって詳述す
る。前述の図１，図２は、本発明の原理説明図であり、
図３，図４は、本発明の一実施例を示した図であって、
図３は、マルチメディア知識べース装置の構成例を示
し、図４は、検索処理を流れ図で示している。

【００２９】本発明においては、静止画，動画，音声，
テキスト等のマルチメディア情報を、一定の意味を持
つまとまり（構造化データ) として構成し、その構造
化データに、計算機が処理できる意味的記述を付与
して、「アーティクル」と呼ぶ情報の管理単位とし、
その情報管理単位を元に、アーティクルデータベース
6を構築し、予め、記述されている推論規則に基づい
て、推論エンジン 4が、上記情報管理単位を検索し
て、ユーザに必要な情報を提供する手段が、本発明を実
施するのに必要な手段である。尚、全図を通して同じ符
号は同じ対象物を示している。

【００３０】先ず、本発明のマルチメディア知識べース
では、図２に示されているように、静止画，動画，音
声，テキスト等のマルチメディア情報が、一定の意味
を持つまとまり（構造化データ) として構成されてお
り、更に、その構造化データに、計算機が処理できる
意味的記述が付与されている。この動画、静止画、音
声, テキストの複合体と、計算機が認識できる意味的
記述との対で構成される情報の単位を、「アーティク
ル」と呼び、このアーティクルをマルチメディア知
識べース情報の単位とする。

【００３１】上記の複合体は、例えば、必要とする情
報が「みじん切り」であっても、「玉葱」の「みじん切
り」と，「牛蒡」の「みじん切り」等があることから、
各メディアを人間が理解できる最小の単位に分割して、
上記の例では、「玉葱のみじん切り」，「牛蒡のみじん
切り」等が、上記複合体の単位となるようにまとめると
か、或いは、「みじん切り」，「玉葱」，「牛蒡」を単
位としたアーティクルを生成しておき、利用者からの要
求内容によって、上記のアーティクルを組み合わせて提
供するようにしてもよい。

【００３２】図１は、本発明のマルチメディア知識べー
ス装置の全体構成を模式的に示したものであり、知識体
系とアーティクルとの関係を模式的に示している。知識
体系 5は、知識の利用目的毎に、例えば、図示の例で
は、 "つり", "料理", "生物" といった利用目的毎に、
複数の体系を持つことができる。この知識体系 5は、例
えば、木状に分類し、例えば、最下位に分類された項目
と、各アーティクルに付加されている図２の意味表現
の各フィールドの内容とリンクを張っておくことで、利
用者の要求する条件から、上記知識体系 5を辿って、該
当の条件に最も適した知識項目を抽出して、該当のアー
ティクルを取り出し、利用者に提供するようにすること
ができる。

【００３３】上記各アーティクルに付加されている意
味的記述は、従来の知識べースで記述されている意味
表現の方法と同等でよく、例えば、図２に示されている
如くに、知識のタイプ(=鱒),知識の素性, 構造(=分類項
目, 意味的表現のフィールド),特徴(=解剖学的特徴, 運
動の特徴, 求餌行動の特徴等) 等からなり、それぞれの
フィールドの内容が指示している制約条件に対応して、
他のアーティクルをポイントするように構成しておく
ことで、利用者からの要求に対して、複合化されたアー
ティクル群を抽出して、より複雑な知識情報を提供する
ことができるようになる。

【００３４】上記のような制約条件に基づくリンクの作
成は、従来の固定的なハイパーリンクとは異なり、ダ
イナミックにリンクを生成するようにしてもよい。例え
ば、社内手続きの知識において、該社内手続きの承認の
ために、課長の情報が必要だとすると、申込者の課長
は、実際の申込者に応じて違ってくるが、承認者という
フィールドの制約条件に課長という分類属性で、申込者
との所属関係を満たすものという制約条件としてリンク
を定義しておくと、実際の申込者に応じて、顔写真な
ど、マルチメディア情報を含む適切な課長の情報を持つ
アーティクルが、上記社内手続きアーティクルにダ
イナミックにリンクされることになる。

【００３５】次に、図３，図４によって、本発明のマル
チメディア知識べース装置の構成と動作とを説明する。 1) 先ず、利用者から、知識検索要求、例えば、「鱒の
生態」とか、「料理、例えば、カレーの作り方」, 或い
は、「カレー」とは？といった「生態」「方法」「定
義」「手順」・・・等の要求が出される。｛図４の処理
ステップ 100参照｝ 2) 1)の知識検索要求の内容に基づいて、検索要求解析
部 2は、利用者の要求している情報が満たすべき必須条
件を抽出する。図１，図２の例では、「鱒の生態」であ
り、他の例として、前述の「カレーの作り方」，或い
は、「玉葱のみじん切り方法」等であってもよい。｛図
４の処理ステップ 101参照｝ 3) 提供情報構成部 3では、実際に、要求のあった利用
者に提供する情報の構造、例えば、知識体系の分類項
目, 該分類項目に対応するアーティクルの意味表現
の所定のフィールド等を認識し、知識べース (アーティ
クルデータべース)6 から検索すべき情報の制約条件リ
ンク｛ハイパーリンク等｝を決定する。｛図４の処理
ステップ 102参照｝ 4) 推論エンジン 4は、上記の制約条件から、知識体系
5を利用して、アーティクルデータべース 6を検索し、
アーティクルの持つ意味表現の各フィールドを利用
して、上記制約条件を満たすアーティクルを引き出
す。｛図４の処理ステップ 103参照｝ 5) 引き出されたアーティクルは、提供情報構成部 3
において、上記 3) 項で決定されている意味表現に基づ
いて、複合的なアーティクルとして再構成され、要求の
あった利用者に提供される。｛図４の処理ステップ 10
4,105参照｝ 上記アーティクルデータべース 6の個々の情報は、前述
のように、アーティクル、即ち、静止画, 動画、音声,
テキストの複合体と、上記意味表現の対である。ア
ーティクルには、図１に示されているように、上記意
味表現の各フィールドを介して、他のアーティクル
を、知識記述の要素として持つこともできる。

【００３６】上記アーティクルを、知識の記述構成要
素として持つ場合、例えば、前述の料理の知識ならば、
「玉葱のみじん切り方法」という知識が、色々な料理の
手順知識から参照されて共有される。このように、本発
明によるマルチメディア知識べース装置では、利用者か
らの要求条件に対応して、各アーティクルの組み合わせ
ることにより、より複雑な知識を提供することができ
る。

【００３７】又、図示しなかったが、上記アーティクル
を、ＣＤ−ＲＯＭや、通信回線などの通信媒体を通じ
て、多数の不特定多数の利用者からの要求に応じたマル
チメディア情報の提供サービスを行うことができる。

【００３８】このように、本発明によるマルチメディア
知識べース装置は、静止画，動画，音声，テキスト等の
マルチメディア情報を、一定の意味を持つまとまり（構
造化データ）として構成し、その構造化データに、計
算機が処理できる意味的記述を付与したものを「アー
ティクル」と呼ぶ情報の管理単位とし、その情報管理
単位を元に、所定の推論規則に基づいて、推論エンジ
ンが、上記情報管理単位を検索して、ユーザに必要な
情報を提供する。又、上記情報管理単位を辞書として利
用し、上記構造化データに付与されている意味的記述
により、より複雑な情報を構成して、ユーザに提供す
るようにしたところに特徴がある。

【００３９】

【発明の効果】以上、詳細に説明したように、本発明の
マルチメディア知識べース装置によれば、静止画，動
画，音声，テキストなどのマルチメディア情報の複合体
を、付加されている意味的情報で検索したり、意味
内容に基づいて、該複合体を要素として、更に、複合的
情報を構成することができる。又、従来の知識べースの
ように、論理式のような形式では、記述し切れなかっ
た、若しくは、その記述に多大なコストを必要としてい
たような多様な知識を、上記アーティクルというマル
チメディア情報のまとまりを利用することで、比較的に
安いコストで記述することを可能にし、且つ、従来のマ
ルチメディアデータべースのように、静止画，動画，音
声，テキストといった各メディア毎に、ハイパーリンク
を張るのではなく、意味的な関係でダイナミックにリ
ンクを張ることにより、リンク関係の作成コストを削減
することができる。更に、各アーティクルに付加され
ている意味表現を利用してリンクを張ることで、各ア
ーティクルを、複合化して利用することができるの
で、各アーティクルを丁度辞書のように、多様なマル
チメディア情報を構成して有効利用を図ることができ
る。

【図面の簡単な説明】

【図１】本発明の原理説明図（その１）

【図２】本発明の原理説明図（その２）

【図３】本発明の一実施例を示した図（その１）

【図４】本発明の一実施例を示した図（その２）

【図５】従来のマルチメディアデータべース装置を説明
する図

【符号の説明】

1 検索要求 2 検索要求解
析部 3 提供情報構成部 4 推論エンジ
ン 5 知識体系 6 アーティク
ルデータべース 100 〜105 処理ステップ 静止画, 動画, 音声, テキスト等のマルチメディ
ア情報 構造化データ，複合体 意味的記述，意味表現 アーティクル，情報管理単位, まとまり

Claims (4)

【特許請求の範囲】
1. 【請求項１】静止画，動画，音声，テキスト等のマルチ
   メディア情報 () を、一定の意味を持つまとまりであ
   る構造化データ () として構成し、その構造化データ
   () に、計算機が処理できる意味的記述 () を付与
   して、「アーティクル」と呼ぶ情報の管理単位 () と
   し、その情報管理単位 () を元に、アーティクルデー
   タベースを構築し、予め、記述されている推論規則に基
   づいて、推論エンジン4が、上記情報管理単位 () を
   検索して、ユーザに必要な情報を提供することを特徴と
   するマルチメディア知識ベース装置。
2. 【請求項２】上記請求項１に記載のマルチメディア情報
   の管理単位 () を、辞書(6) として利用し、該マルチ
   メディア情報の管理単位 () に付加されている意味的
   記述() を用いて、提供情報構成部 3が、より複雑な
   情報を構成し、ユーザにマルチメディア情報を提供する
   ことを特徴とする情報提供装置。
3. 【請求項３】上記請求項１に記載のマルチメディア情報
   の管理単位（）を、情報の構成単位とし、上記構成単
   位に付加されている意味的記述（）を利用して、他の
   情報の管理単位（）との間にハイパーリンク（）を
   張ることを特徴とするマルチメディア知識ベース装置。
4. 【請求項４】上記請求項１に記載のマルチメディア情報
   の管理単位（）を、所定の通信媒体を用いて、不特定
   多数のユーザに提供することを特徴とする情報提供装
   置。