JPH08249449A - 映像情報検索方法及び映像情報検索装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は複数の被写体構造を含む構造化され
た被写体構造を取り扱い得る映像情報検索方法及び装置
の提供を目的とする。 【構成】 本発明の映像情報検索方法は、映像の各フレ
ームを順次に表示する画面中で指定する画面位置と画面
位置が指定された時点で表示されている表示中フレーム
を決定する画面位置取得段階（ステップ１０）と、表示
中フレームに含まれる被写体を含むオブジェクトの立体
的構造の構造情報及び見え方の視点情報に基づいて画面
位置にある情報検索対象の被写体を識別する被写体識別
段階（ステップ２０）と、識別された情報検索対象の被
写体に関する情報を被写体情報記憶部から検索する被写
体情報検索段階（ステップ３０）とからなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像に関する情報を検索
する映像情報検索装置に係り、特に、映像を表示しなが
ら、利用者が映像中の被写体を指示することで、映像中
の被写体に関する情報を検索できる映像情報検索装置に
関する。

【０００２】

【従来の技術】上記の如くの映像情報検索装置の利用者
が、映像中の被写体に関する情報を検索する場合、映像
を再生しながら映像表示画面中でインタラクティブに被
写体を指示できることが望ましい。このようなインタラ
クティブな検索インタフェースを実現する従来の映像情
報検索装置として、例えば、情報処理学会データベース
システム研究会の1994年DBS-99-38 号掲載の論文「ビデ
オリアリティ：映像を用いた情報検索の高度化」に示さ
れている如くの映像情報検索装置がある。

【０００３】上記従来の映像情報検索装置は、図１０に
示す如く、被写体を撮影した映像の各フレームをディジ
タル化して記憶する映像記憶部２０と、利用者による被
写体の指示を映像表示画面中の画面位置を指定すること
により受け付ける被写体指示手段３０と、被写体に関連
する情報を記憶する被写体情報記憶部４０と、映像記憶
部２０から映像の各フレームを時系列順に読み出して映
像を表示し、被写体指示部３０で指示された被写体に関
連する情報を被写体情報記憶部４０から検索して表示す
る映像管理部５０と、フレーム中での被写体の位置を示
す位置座標を記憶する被写体位置記憶部１６０と、被写
体の位置情報を用いて利用者が指示した被写体を識別す
る被写体識別部１８０とを具備する。従来の映像情報検
索装置において、利用者が被写体指示部３０を用いて映
像表示画面中の特定の被写体を指示すると、映像管理部
５０は指示された時点で画面に表示中のフレーム及び利
用者が指示した画面位置を決定して被写体識別部１８０
に通知する。被写体識別部１８０は、通知されたフレー
ムに含まれる被写体の位置座標を被写体位置記憶部１６
０から読み出し、読み出した位置座標のうち通知された
画面位置との距離が最も短い位置座標を持つ被写体を決
定して映像管理部５０に通知する。映像管理部５０は通
知された被写体に関連する情報を被写体情報記憶部４０
から読み出すことにより、利用者が指示した映像中の被
写体に関する情報を検索する。

【０００４】従って、上記従来の映像情報検索装置によ
れば、映像管理部５０を用いて映像を表示しながら、利
用者が被写体指示部３０を用いて映像表示画面で映像中
の被写体を直接に指示して被写体に関する情報をインタ
ラクティブに検索できるようになる。

【０００５】一方、映像情報検索装置の応用例として、
ビデオハイパーメディアシステムが知られている。ビデ
オハイパーメディアとは、映像中の登場物体をノードと
して利用し、利用者は興味のある登場物体を映像上で指
定してその物体に関連した情報を検索することができる
ハイパーメディアである。平田 恭二、川崎 成人、高
野 元、原 良憲による“ネットワーク環境下における
動画ハイパーメディアの実装方式”、ＡＤＢＳ’９４、
ｐｐ．１６５−１７３（１９９４）に記載されている如
く、ビデオハイパーメディアは多種多様な情報を含む映
像をインデックスとして利用できるので、マルチメディ
ア情報を検索する際に有効な手段である。

【０００６】

【発明が解決しようとする課題】しかし、従来提案され
ているビデオハイパーメディアでは、登場物体とその関
連情報との間には固定的な結合関係（以下では、リンク
と呼ぶ。）が張られ、物体の表示状態の時間的な変化の
如くの映像特有の情報がナビゲーションに生かされない
という問題がある。

【０００７】その上、上述の従来例の映像情報検索装置
では、複数の被写体がまとまりのあるオブジェクトとし
てフレームの時系列に合わせて動いているため、オブジ
ェクトに含まれる被写体の立体空間中での相対的な位置
関係が変わらない映像が映像記憶部に記憶されている場
合でも、オブジェクトに含まれる全ての被写体に対する
位置情報を被写体ごとに被写体位置記憶部に記憶する必
要がある。従って、記憶すべき被写体構造の作成が煩雑
であるという問題点がある。

【０００８】本発明は、上記従来の映像情報検索装置の
問題点に鑑み、複数の被写体構造を含む構造化された被
写体構造を取り扱い得る映像情報検索方法の提供を目的
とする。本発明は、さらに、上記構造化された被写体構
造を取り扱い得る映像情報検索方法を使用する映像情報
検索装置の提供を目的とする。

【０００９】

【課題を解決するための手段】本発明の映像の画面中の
被写体に関する情報を被写体情報記憶部から検索する映
像情報検索方法は、図１の本発明の原理説明図に示す如
く、順次の映像のフレームから一のフレームと、一のフ
レーム中の位置とを決定する画面位置取得段階（ステッ
プ１０）と、一のフレームに含まれる位置的に関連のあ
る被写体の立体的構造情報及び一のフレームの見え方を
示す視点情報に基づいて、決定された一のフレーム中の
位置に対応する情報検索対象の被写体を識別する被写体
識別段階（ステップ２０）と、識別された情報検索対象
の被写体に関する情報を該被写体情報記憶部から検索す
る被写体情報検索段階（ステップ３０）とからなる。

【００１０】上記被写体識別段階は、オブジェクトの構
造情報を視点情報に従って画面に対応する２次元座標系
に投影する段階（ステップ２２）と、指定された画面位
置を含む領域に対応する２次元座標系の領域に投影され
たオブジェクトの構造情報を判定する段階（ステップ２
４）と、判定された構造情報に対応する被写体を情報検
索対象の被写体として識別する段階（ステップ２６）と
を有する。

【００１１】図２は本発明の映像情報検索装置の原理構
成図であり、同図に示す如く、本発明の映像情報検索装
置１０は、被写体の映像を記憶する映像記憶部２０と、
記憶された映像が表示される画面中の画面位置を指定す
る被写体指示部３０と、被写体に関連する情報を記憶す
る被写体情報記憶部４０と、映像記憶部２０から映像の
各フレームを順次に読み出し表示し、画面位置が指定さ
れた時点で表示されている表示中フレームを決定し、情
報検索対象の被写体に関連する情報を被写体情報記憶部
４０から検索して表示する映像管理部５０とからなる。
本発明の映像情報検索装置１０は、少なくとも一の被写
体を含むオブジェクトの立体的構造の構造情報を記憶す
る被写体構造記憶手段６０と、フレームに含まれるオブ
ジェクトの見え方を示すフレームの視点情報を記憶する
視点情報記憶手段７０と、指定された画面位置とオブジ
ェクトの構造情報と視点情報を受けて、表示中フレーム
内の被写体の中から情報検索対象の被写体を識別する被
写体識別手段８０とを更に有する。

【００１２】

【作用】本発明の映像情報検索方法及び映像情報検索装
置は、複数の被写体がまとまりのあるオブジェクトとし
てフレームの時系列に合わせて動いている場合であって
も、オブジェクトに含まれる被写体の立体空間中での相
対的な位置関係が変わらない映像が映像記憶部から供給
されるならば、オブジェクトに含まれる複数の立体空間
での相対的な位置は変化しないという原理に基づいてい
る。従って、オブジェクトの立体としての構造情報と、
フレームに含まれるオブジェクトの見え方を示す視点情
報を用意し、オブジェクトの構造情報とフレームの視点
情報とから利用者が指示した画面位置にある被写体を決
定することによって、構造化された被写体構造であるオ
ブジェクトを被写体構造記憶手段に記憶することができ
るようになる。これにより、被写体構造の作成の煩雑さ
が緩和される。

【００１３】

【実施例】図３は本発明の一実施例の映像情報検索装置
の構成図である。本実施例では、映像の各フレーム及び
被写体に関連する情報を画面にウィンドウを開いて表示
するディスプレイ１１０を備えた計算機を用いて映像情
報検索装置を実現する。

【００１４】被写体の映像を記憶する映像記憶部２０
は、例えば、ハードディスクで実現され、この映像記憶
部２０に記憶される映像は、すべての被写体がまとまり
のあるオブジェクトとしてフレームの時系列に合わせて
動き、オブジェクトに含まれる被写体の立体空間中での
相対的な位置関係は変わらない。

【００１５】記憶された映像が表示される画面中の画面
位置を指定する被写体指示部３０は、例えば、マウスデ
バイスで実現され、利用者による被写体の指示は、この
マウスデバイスを用いて映像を表示するウィンドウの一
部をクリック（映像上でマウスで指示）することにより
行なわれる。

【００１６】被写体に関連する情報を記憶する被写体情
報記憶部４０は、例えば、ハードディスクで実現され、
すべての被写体に対し被写体を一意に識別する被写体識
別番号及び被写体に関連するテキスト形式の情報を記憶
する。映像の各フレームを順次に読み出し表示し、表示
中フレームを決定し、被写体に関連する情報を被写体情
報記憶部４０から検索して表示する映像管理部５０は、
映像記憶部２０からフレームを時系列順に読み込んで、
ディスプレイ１１０の画面上でウィンドウを開いて表示
する映像表示部５２と、利用者が被写体指示部３０を用
いて被写体を指示したとき、ディスプレイ１１０に表示
しているフレーム及び利用者が指示したウィンドウ中の
一点の座標を決定する計算機上の被写体指示処理部５４
と、被写体情報記憶部４０から被写体の関連情報を読み
出す計算機上の被写体情報検索部又は被写体情報部５６
とからなる。

【００１７】オブジェクトの立体的構造の構造情報を記
憶する被写体構造記憶手段６０は、例えば、ハードディ
スクで実現され、映像中の複数の被写体を含むオブジェ
クトの立体としての構造情報として、オブジェクトの立
体形状を示す、例えば、ポリゴンモデルを記憶する。か
かるオブジェクトのポリゴンモデルは、３次元座標系で
の座標と方向ベクトルとをもつ小さな多角形平面である
ポリゴンの集合として映像中のオブジェクトの立体形状
を作成する。上記のオブジェクトの立体としての構造情
報は、上記ポリゴンの集合の中のポリゴンの位置に対応
する映像中の被写体を決定し、その被写体を一意に識別
する識別番号をポリゴンにラベルとして付与することに
よって作成することができる。

【００１８】フレームに含まれるオブジェクトの見え方
を示すフレームの視点情報を記憶する視点情報記憶手段
７０は、例えば、ハードディスクによって実現され、該
当するフレーム中のオブジェクトの見え方を示す視点情
報として、３次元座標系での座標変換マトリクスを記憶
する。かかる座標変換マトリクスで表わされる視点情報
の作成法は後で説明する。

【００１９】表示中フレーム内の被写体の中から情報検
索対象の被写体を識別する被写体識別手段８０は、フレ
ームの識別番号を用いて視点情報記憶手段７０から該当
フレームの映像中のオブジェクトの立体空間中での座標
変換マトリクスを読み出す視点情報検索部８２と、オブ
ジェクトの座標変換マトリクスと被写体構造記憶部６０
から読み出したオブジェクトのポリゴンモデルと、利用
者が指示したウィンドウ上の座標とから、利用者が指示
した被写体の識別番号を決定するグラフィック処理部８
４とから構成される。

【００２０】以下に、図４に示す本発明の一実施例の映
像情報検索装置の動作フローチャートを参照して、映像
情報検索装置の動作を詳細に説明する。映像表示部５２
は、映像記憶部２０からフレームを時系列順に読み込
み、ディスプレイ１１０の画面上でウィンドウを開いて
表示する（ステップ１００）。

【００２１】利用者によって被写体指示部３０を用いて
ウィンドウ中の一点がクリックされると、被写体指示部
３０は被写体指示処理部５４に対し、指示イベントを送
出する（ステップ１１０）。指示イベントを受けた被写
体指示処理部５４は、上記ウィンドウ中の一点の座標を
決定して視点情報検索部８２に通知し、映像表示部５２
からディスプレイ１１０に表示中のフレームの識別番号
を読み出し視点情報検索部８２に通知する（ステップ１
２０）。

【００２２】ウィンドウ中の一点の座標と、フレームの
識別番号とを受けた視点情報検索部８２は、通知された
フレームの識別番号を用いて視点情報記憶部７０から該
当フレームのオブジェクトの座標変換マトリクスを読み
出し、上記ウィンドウ中の一点の座標及びフレームの識
別番号と共にグラフィック処理部８４に通知する（ステ
ップ１３０）。

【００２３】座標変換マトリクスを受けたグラフィック
処理部８４は、被写体構造記憶部６０からオブジェクト
のポリゴンモデルを読み出す（ステップ１４０）。グラ
フィック処理部８４は、読み出したポリゴンモデルを３
次元座標空間に配置し（ステップ１５０）、通知された
座標変換マトリクスを用いて座標変換して中心投影で２
次元座標系に投影する（ステップ１６０）。

【００２４】次いで、グラフィック処理部８４は、投影
されたポリゴンモデルの中から、通知されたウィンドウ
中の座標にあるポリゴンを決定し（ステップ１７０）、
決定されたポリゴンのラベルに付けられた被写体の識別
番号を読み出し、被写体情報部５６に通知する（ステッ
プ１８０）。

【００２５】被写体情報部５６は、通知された被写体の
識別番号を用いて被写体情報記憶部４０から対応する被
写体の被写体情報を読み出し（ステップ１９０）、読み
出された情報をディスプレイ１１０上に表示する（ステ
ップ２００）。上記本発明の一実施例の映像情報検索装
置によれば、一つのオブジェクトの立体としての構造情
報と、各フレーム毎のオブジェクトの３次元座標空間で
の変換マトリクスを作成し、それらを被写体構造記憶部
６０と視点情報記憶部７０とに記憶させることにより、
利用者がマウスデバイスを用いて指示した被写体を正し
く識別し、その被写体に関する情報を被写体情報記憶部
４０から検索することができる。

【００２６】かくして、利用者は、表示中の映像を見な
がら画面中に表示された被写体を指定することにより、
被写体に関連する情報を検索することができる。上記本
発明の一実施例によれば以下の特有の効果を得ることが
できる。即ち、従来の映像情報検索装置において、読み
出された位置座標の中で利用者が指示した画面位置との
距離が最も短い位置座標を持つ被写体が識別されるのに
対し、上記本発明の一実施例によれば、利用者が指示し
た画面位置にあるポリゴンを含む被写体を識別すること
により、利用者が指示した被写体を正確に識別できる。

【００２７】尚、上述の中心投影は、日本写真測量学会
編、“写真による３次元測定−応用写真測量−”、共立
出版、ｐｐ．１７１−１７８（１９８３）に記載される
如くの周知の方法によって実現することが可能である。
図５は、本発明の一実施例によるグラフィック処理部８
４の構成をより詳細に示す図である。同図に示す如く、
グラフィック処理部８４は、被写体構造記憶部６０から
オブジェクトのポリゴンモデルを読み出し、読み出した
ポリゴンモデルを３次元座標空間に配置する３次元座標
空間配置部８６と、通知された座標変換マトリクスを用
いて３次元座標空間に配置されたポリゴンモデルを座標
変換して中心投影で２次元座標系に投影する２次元座標
投影部８７と、投影されたポリゴンモデルの中から、通
知されたウィンドウ中の座標にあるポリゴンを決定する
構造情報決定部８８と、決定されたポリゴンの構造情報
の中から被写体の識別番号を読み出し被写体を識別する
識別部８９とから構成してもよい。

【００２８】図６は本発明の一実施例による視点情報記
憶部７０に記憶される視点情報を作成する処理のフロー
チャートである。以下に、同図を参照して視点情報、例
えば、上述の座標変換マトリクスの作成法に関し説明す
る。最初に映像中の１フレームを映像表示画面に表示す
る（ステップ３００）。表示されたフレームに含まれる
被写体に対応するオブジェクトのポリゴンモデルを被写
体構造記憶部６０から読み出し（ステップ３１０）、読
み出されたポリゴンモデルを３次元座標空間に配置する
（ステップ３２０）。

【００２９】次いで、３次元空間に配置されたポリゴン
モデルを適当な初期値の設定された座標変換マトリクス
を用いて座標変換して中心投影で２次元座標系に投影
し、画面に表示する（ステップ３３０）。２次元座標系
に投影され画面に表示されたポリゴンモデルと、映像表
示画面のフレームのオブジェクトの見え方を比較し、見
え方が一致している場合は、ステップ３６０に進む（ス
テップ３４０）。

【００３０】見え方が一致していない場合には、２次元
座標系に投影する際に使用する上記座標変換マトリクス
を修正し（ステップ３５０）、ステップ３３０に戻り、
２次元座標への投影を行なう。見え方が一致している場
合には、この時に使用した座標変換マトリクスを視点情
報に記憶する座標変換マトリクスとして決定する（ステ
ップ３６０）。

【００３１】以下、本発明の他の実施例であるビデオハ
イパーメディアについて説明する。「ビデオハイパーメ
ディア」とは、上述の如く、映像中の登場物体及びその
関連情報をノードとしてハイパーメディアを意味する。
さらに、以下の説明では、映像中の登場物体に対応する
ノードを「オブジェクト」と呼び、関連情報に対応する
ノードを「情報ノード」と呼ぶ。

【００３２】ビデオハイパーメディアで扱うオブジェク
トの構造が単純な場合、従来技術の如く、オブジェクト
と情報ノードとの間に固定的なリンクを張ることによ
り、利用者が指示したオブジェクトからナビゲーション
先を一意に決めることができる。

【００３３】しかし、本発明の如く、扱う対象が構造を
持つ複合オブジェクトである場合には、その構造を考慮
したオブジェクト管理が必要となる。例えば、「車」と
いう複合オブジェクトをノード化するときに、車全体の
情報だけではなく、「ボディ」や「タイヤ」の如くの部
品個別の情報の管理が必要となる。従って、本発明の他
の実施例によれば、一つのオブジェクトに対し、その空
間的な構造に対応した複数のノードを作成する。

【００３４】その上、複合オブジェクトを取り扱う場
合、利用者がクリックした位置だけでは提示すべき情報
を一意に決めることができないという問題がある。例え
ば、「車」が画面の片隅に小さく写っている場合と、画
面全体に大きく写っている場合とを想定する。利用者が
両方の場面で同じ部品の位置をクリックした場合、前者
では車全体に関心があり、後者では部品そのものに関心
があると考えられる。従って、提供すべき情報は画面に
応じて変えるべきである。このように、利用者が指示し
たときの状況に合わせて提示情報を変えること（以下で
は、「状況依存検索」と呼ぶ。）が複合オブジェクトを
取り扱う際に必要となる。かかる検索に利用できる状況
としては、オブジェクトの表示状況、ユーザの検索履歴
など種々の状況があり得るが、本発明の他の実施例で
は、以下に説明する如く、オブジェクトの表示状況の一
つである画面中でのオブジェクトの大きさを利用する。

【００３５】図７は本発明の他の実施例によるビデオハ
イパーメディアシステムの概略的な構成を示す図であ
る。ビデオ表示システム２００は、ビデオの再生及び利
用者のクリックイベント処理を行う。ＣＧ処理システム
２２０は、クリックされた部品を識別して以下に説明す
る状況依存検索法に従って利用者に対し情報ノードを提
供する。

【００３６】ビデオハイパーメディアシステムに利用さ
れるビデオは、屡々ビデオカメラで撮影されたものであ
る。かかるビデオ中のオブジェクトは、本来３次元の構
造を持つオブジェクトを中心射影（透視射影）で２次元
に射影したものであり、かかる中心射影は上述の如く従
来周知の方法によって実現することができる。従って、
本発明の他の実施例において、ビデオ中のオブジェクト
の動きは、オブジェクトを３次元モデル化することによ
りＣＧ（コンピュータグラフィック）でシミュレーショ
ンする。

【００３７】かかるシミュレーションを実現するため
に、ＣＧ技術を応用して複合オブジェクトに対応したノ
ードを実現する。即ち、（１）オブジェクトの３次元モ
デルを作成し、（２）ＣＧシミュレーションを作成し、
（３）ビデオとシミュレーションを連動させる。ここ
で、利用者がビデオ画面上で行うクリックイベントをシ
ミュレーション画面に伝達することにより、ＣＧのピッ
キング機能を利用してクリック位置にある３次元モデル
の部品を選択することができる。

【００３８】上記の如くの本発明の他の実施例によるノ
ード作成法によれば、二つの著しい利点を得ることがで
きる。第１に、オブジェクトの位置決めを行うだけで、
そのオブジェクトの全ての構成部品に対する位置決めが
できるので、オブジェクトが複雑になってもノードを作
成する際の負担が増加しない。第２に、以下に説明する
状況依存検索で利用されるオブジェクト又は部品の表示
の大きさは、３次元モデルの部品の大きさや位置の情報
から計算で得ることができる。

【００３９】ここで、ビデオとＣＧの位置合わせは、例
えば、本発明の一実施例に関し、上記図６を参照して説
明した視点情報の作成法に従ってビデオとＣＧ映像を見
ながらインタラクティブに行うことが可能である。或い
は、モデルの基準点を幾つか定め、その基準点がフレー
ム画面中のどの座標に対応しているかを得ることによ
り、位置合わせの正確さを向上させることが可能であ
る。

【００４０】上記のノード作成によって利用者がクリッ
クした複合オブジェクトの部品と、その表示状況（部品
の大きさ）が得られるので、これらの情報を利用して提
示すべき情報ノードを決定する状況依存検索法について
以下に説明する。クリックされた複合オブジェクトの部
品、及び、部品階層中で上記部品の上位にある部品のす
べてが情報ノードの候補として状況依存検索に与えられ
る。状況依存検索アルゴリズムは、かかる候補部品の中
から、表示面積がビデオ表示画面中で占める割合が一定
の値（最適割合）に最も近い部品を選ぶ役割を果たす。

【００４１】上記アルゴリズムを実現するために、部品
の大きさの評価関数Ｅを次式： Ｅ（ｐ）＝ ｅ
^{-(Area(p)- S x WindowSize)*(Area(p)- S x WindowSiz
e)} の如く定める。上式において、ｐは部品の識別番号、Ａ
ｒｅａ（ｐ）は部品ｐの表示面積、ＷｉｎｄｏｗＳｉｚ
ｅはビデオ表示画面全体の大きさ、Ｓは最適割合（０＜
Ｓ≦１）を夫々表わす。かかる評価関数Ｅは、表示がビ
デオ画面中に占める割合がＳに近い程大きい値を有す
る。

【００４２】図８は上記状況依存検索アルゴリズムの動
作を示すフローチャートである。最初に、候補部品の部
品識別番号と、評価値の最大値の保存領域と、結果格納
領域とを初期化する（ステップ４００）。次いで、最初
の候補部品に対し上記の評価関数Ｅを計算する（ステッ
プ４１０）。評価関数Ｅの値が最大であるかどうかを判
定し、最大ではない場合にステップ４４０に進む（ステ
ップ４３０）。最大である場合は、提供すべき情報ノー
ドの候補となる部品の識別番号と、評価関数Ｅの最大値
を更新する（ステップ４４０）。

【００４３】上位部品が更にあるかどうかを判定し、上
位部品がある場合にはステップ４５０に進み（ステップ
４４０）、評価関数Ｅを計算する部品の識別番号に新し
い上位部品の識別番号を設定し、ステップ４１０に戻
る。上位部品がこれ以上存在しない場合は、提示すべき
情報ノードとしてこの時点で最大の評価関数Ｅの値を有
する候補となる部品の情報ノードを決定し（ステップ４
６０）、一連の状況依存検索を終了する。

【００４４】図９は本発明の他の実施例によるビデオハ
イパーメディアシステムのインタフェース画面を示す図
である。本実施例では、１台の車が走行している状況を
撮影したビデオをビデオ映像として利用し、車を複合オ
ブジェクトとして、車の各部品（２０点）に対して情報
ノードを付加している。同図に示す如く、ユーザインタ
フェースの表示部２００は、ビデオ表示部２６０と、情
報ノードのグラフィック表示部２７０と、情報ノードの
テキスト表示部２８０と、操作用のパネル表示部２９０
から構成される。

【００４５】上記の如く、本発明の他の実施例によれ
ば、複合オブジェクトの管理と状況依存検索とによって
ビデオハイパーメディアの機能を向上させ得る。

【００４６】

【発明の効果】以上説明したように、本発明によれば、
複数の被写体がまとまりのあるオブジェクトとしてフレ
ームの系列に合わせて動き、オブジェクトに含まれる被
写体の立体空間中での相対的な位置関係が変わらない映
像が映像源から供給される場合に、オブジェクトの立体
としての構造情報と、フレームに含まれるオブジェクト
の見え方を示す視点情報を用意し、かかるオブジェクト
の構造情報とフレームの視点情報とを用いて利用者が指
示した画面位置にある被写体を決定することができる。
従って、利用者は、従来の映像情報検索装置よりも容易
に被写体構造を作成して、映像を表示しながら映像表示
画面で映像中の被写体を直接に指示して被写体に関する
情報をインタラクティブに検索できる利点が得られる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の原理構成図である。

【図３】本発明の一実施例の映像情報検索装置の構成図
である。

【図４】本発明の一実施例による映像情報検索装置の動
作フローチャートである。

【図５】本発明の一実施例によるグラフィック処理部の
構成図である。

【図６】本発明の一実施例による視点情報の作成のフロ
ーチャートである。

【図７】本発明の他の実施例によるビデオハイパーメデ
ィアシステムの略構成図である。

【図８】本発明の他の実施例による状況依存検索の動作
フローチャートである。

【図９】本発明の他の実施例によるビデオハイパーメデ
ィアシステムのインタフェース画面である。

【図１０】従来の映像情報検索装置の構成図である。

【符号の説明】

１０ 映像情報検索装置 ２０ 映像源 ３０ 被写体指示部 ４０ 被写体情報記憶部 ５０ 映像管理部 ５２ 映像表示部 ５４ 被写体指示処理部 ５６ 被写体映像検索部（被写体情報部） ６０ 被写体構造記憶部 ７０ 視点情報記憶部 ８０ 被写体識別部 ８２ 視点情報検索部 ８４ グラフィック処理部 ８６ ３次元座標空間配置部 ８７ ２次元座標投影部 ８８ 構造情報決定部 ８９ 識別部 １１０ 表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 井上 潮 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 映像の画面中の被写体に関する情報を被
   写体情報記憶部から検索する映像情報検索方法におい
   て、 順次の映像のフレームから一のフレームと、該一のフレ
   ーム中の位置とを決定する画面位置取得段階と、 該一のフレームに含まれる位置的に関連のある被写体の
   立体的構造情報及び該一のフレームの見え方を示す視点
   情報に基づいて、該決定された一のフレーム中の位置に
   対応する情報検索対象の被写体を識別する被写体識別段
   階と、 該識別された情報検索対象の被写体に関する情報を該被
   写体情報記憶部から検索する被写体情報検索段階とから
   なる映像情報検索方法。
2. 【請求項２】 映像の画面中の被写体に関する情報を被
   写体情報記憶部から検索する映像情報検索方法におい
   て、 映像の各フレームを順次に表示する画面中で指定する画
   面位置と該画面位置が指定された時点で表示されている
   表示中フレームを決定する画面位置取得段階と、 該表示中フレームに含まれる被写体を含むオブジェクト
   の立体的構造の構造情報及び見え方の視点情報に基づい
   て該画面位置にある情報検索対象の被写体を識別する被
   写体識別段階と、 該識別された情報検索対象の被写体に関する情報を該被
   写体情報記憶部から検索する被写体情報検索段階とから
   なる映像情報検索方法。
3. 【請求項３】 前記被写体識別段階は、 前記オブジェクトの前記構造情報を前記視点情報に従っ
   て該画面に対応する２次元座標系に投影する段階と、 該指定された画面位置を含む領域に対応する該２次元座
   標系の領域に投影された該オブジェクトの該構造情報を
   判定する段階と、 該判定された構造情報に対応する被写体を前記情報検索
   対象の被写体として識別する段階とを有する請求項２記
   載の映像情報検索方法。
4. 【請求項４】 被写体の映像を供給する映像源と、該供
   給された映像が表示される画面中の画面位置を指定する
   被写体指示部と、該被写体に関連する情報を記憶する被
   写体情報記憶部と、該映像源から該映像の各フレームを
   順次に読み出し表示し、該画面位置が指定された時点で
   表示されている表示中フレームを決定し、情報検索対象
   の被写体に関連する情報を該被写体情報記憶部から検索
   して表示する映像管理部とを具備する映像情報検索装置
   において、 少なくとも一の該被写体を含むオブジェクトの立体的構
   造の構造情報を記憶する被写体構造記憶手段と、 該フレームに含まれる該オブジェクトの見え方を示す視
   点情報を記憶する視点情報記憶手段と、 該指定された画面位置と該オブジェクトの該構造情報と
   該視点情報を受けて、該表示中フレーム内の該被写体の
   中から該情報検索対象の被写体を識別する被写体識別手
   段とからなる映像情報検索装置。
5. 【請求項５】 前記被写体識別手段は、 前記視点情報記憶手段から該表示中フレームに含まれる
   該オブジェクトの見え方を示す前記視点情報を得る視点
   情報検索手段と、 該表示中フレーム内の該オブジェクトの視点情報と該表
   示中フレーム内の該オブジェクトの構造情報とに基づい
   て該オブジェクトの立体的構造の構造情報を２次元座標
   空間に投影し、前記画面位置と該２次元空間に投影され
   た構造情報とに応じて前記情報検索対象の被写体を識別
   するグラフィック処理手段とからなる、請求項４記載の
   映像情報検索装置。
6. 【請求項６】 前記グラフィック処理手段は、 前記オブジェクトの構造情報に基づいて該オブジェクト
   を３次元座標空間に配置する手段と、 該３次元座標空間に配置された前記構造情報を該オブジ
   ェクトの前記視点情報の座標変換によって２次元座標空
   間に投影する手段と、 該投影された構造情報の中から前記画面位置の近傍にあ
   る構造情報を決定する手段と、 該決定された構造情報に対応する該オブジェクトに含ま
   れる該被写体の中から前記情報検索対象の被写体を識別
   する手段とからなる、請求項５記載の映像情報検索装
   置。
7. 【請求項７】 被写体を撮影した映像の各フレームをデ
   ィジタル化して記憶する映像記憶部と、利用者による該
   被写体の指示を映像表示画面中の画面位置を指定するこ
   とにより受け付ける被写体指示部と、該被写体に関連す
   る情報を記憶する被写体情報記憶部と、該映像記憶部か
   ら該映像の各フレームを時系列順に読み出して該映像を
   表示し、該被写体指示部で指示された該被写体に関連す
   る情報を該被写体情報記憶部から検索して表示する映像
   管理手段とからなる映像情報検索装置において、 該被写体の立体としての構造情報を記憶する被写体構造
   記憶手段と、 該フレームに含まれる被写体の見え方を示すフレームの
   視点情報を記憶する視点情報記憶手段と、 該被写体の構造情報と該フレームの視点情報とを用いて
   上記利用者が指定した該被写体を識別する被写体識別手
   段を更に有する映像情報検索装置。
8. 【請求項８】 前記映像管理手段は、前記被写体指示部
   による前記画面位置の指定に応じて表示中のフレーム及
   び該指定された画面位置を決定し前記被写体識別手段に
   通知する手段と、 該被写体識別手段によって識別された該被写体に関連す
   る情報を該被写体情報記憶部から検索する手段とを有
   し、 該被写体識別手段は、該映像管理手段から通知された該
   表示中のフレームに対応する前記視点情報を前記視点情
   報記憶手段から読み出す手段と、 該表示中のフレームに含まれる前記被写体の構造情報を
   前記被写体構造記憶手段から読み出す手段と、 該読み出された視点情報と、該読み出された構造情報
   と、該映像管理手段から通知された画面位置にある被写
   体を決定し該映像管理部に通知する手段を更に有する請
   求項７記載の映像情報検索装置。