JP2000287165A - 画像情報記述方法、映像検索方法、映像再生方法、映像検索装置、及び映像再生装置 - Google Patents

Abstract

(57)【要約】 【課題】ＣＰＵの能力の低い機器でも、ＭＰＥＧ−２等
の圧縮符号化映像データについて、代表フレーム表示や
可変速再生を行い、映像の内容を確認して検索を容易に
行う。 【解決手段】元映像データ１０１の映像フレーム群を時
間的に任意の間隔でかつ空間的に任意の大きさにサンプ
リングして得た標本画像フレーム群に関する標本画像情
報として、標本画像フレーム群のそれぞれに対応する元
映像フレームのフレーム番号と各標本画像フレームの大
きさの情報等を記述し、さらに元映像フレーム群のシー
ンチェンジ位置情報やフレーム間の画面変化量情報２０
３を付帯情報として併せて記述した時・空間標本映像メ
タデータ１０２を元映像データ１０１に対応付けてデー
タベースを構築し、この時・空間標本映像メタデータ１
０２を用いて元映像データの代表フレーム表示や可変速
再生を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像情報、特に映像
フレーム群を時間的に任意の間隔でかつ空間的に任意の
大きさでサンプリングした標本画像フレーム群に関する
標本画像情報を記述する方法および該標本画像情報を用
いた映像検索並びに映像再生の方法及び装置に関する。

【０００２】

【従来の技術】近年、半導体技術およびディジタル信号
処理技術の進歩により、動画像（映像）情報をアナログ
データからディジタルデータに変換して圧縮する処理を
リアルタイムに行うことが可能となっている。実際、デ
ィジタル衛星放送では、動画像圧縮の国際標準規格であ
るＭＰＥＧ−２により圧縮符号化されたディジタル映像
データが配信され、各家庭で圧縮映像データをリアルタ
イムで伸長復号化してテレビ受像機で映画等を観賞でき
るようになっている。

【０００３】また、光ディスクの高密度化により、ＭＰ
ＥＧ−２等で圧縮されたディジタル映像データを記録す
る技術も実用段階に達しつつある。このような光ディス
ク媒体の代表的なものとして、ＤＶＤ−ＲＡＭやＣＤ−
ＲＷがある。ＤＶＤ−ＲＡＭより記録時間は短いが、Ｈ
ＤＤにおいてもディジタル映像データの記録が可能であ
る。今後、ＤＶＤ−ＲＡＭ等に記録されたディジタル映
像データについても、ディジタル化された文字や静止画
データと同様に、容易に検索できるようにすることが要
求されると考えられる。

【０００４】映像検索の古典的手法は、映画等の映像フ
ァイル毎にタイトル名、およびキーワードを定めてお
き、タイトル名およびキーワードのいずれか一方または
両方によって検索するというものである。この方法は、
検索そのものは容易であるが、映像の内容に応じた細か
な検索ができず、実際に映像を再生表示しないと所望の
映像かどうかが分からないのが欠点である。

【０００５】圧縮されたディジタル映像データを記録す
る際、映像を静止画像フレームの連続として扱うことが
できるため、画像処理技術によって元の映像から代表フ
レームと呼ばれる特徴的な画像フレームを選択し、一覧
表示する方法が考えられている。代表フレームとして
は、シーンチェンジと呼ばれる画面が切り替わる部分を
用いる場合が多い。しかし、シーンチェンジは数秒に一
回、場合によっては数十秒に一回といった頻度でしか起
こらないため、代表フレームで映像の内容を表現するに
は限界がある。シーンチェンジとシーンチェンジの間の
フレームの映像を確認しようとすると、元の映像データ
を復号して表示するしかない。

【０００６】ＭＰＥＧ−１，ＭＰＥＧ−２といった国際
標準規格で圧縮されたディジタル映像データには、ある
程度ランダムアクセスするための仕組みが入っており、
ランダム再生、早送り再生等の可変速再生（トリックプ
レイ）ができるようになっている。しかし、これらの可
変速再生はディジタル映像データそのものを操作するこ
とにより行われるために処理が重く、計算機パワーの小
さい家庭用の受信機器では処理の負担が大きい。また、
ビデオ・オン・デマンドやインターネットでのブラウズ
のように、遠隔地に設置されたサーバからネットワーク
を通してディジタル映像データを配信し、家庭のコンピ
ュータやテレビ受像機で受信するような環境で上記の可
変速再生を行うことは、ネットワークのトラフィックを
増大させてしまうという困難がある。

【０００７】

【発明が解決しようとする課題】上述したように、従来
の一般的な映像検索は映像ファイルに付与されたタイト
ル名やキーワードで検索する程度であり、映像の内容を
確認して検索するという環境は十分に提供されていない
のが実情である。

【０００８】また、元の映像からシーンチェンジの部分
を代表フレームとして選択して一覧表示する方法では、
シーンチェンジとシーンチェンジの間のフレームの映像
を確認することができないという問題点がある。

【０００９】さらに、ＭＰＥＧ−１，ＭＰＥＧ−２のよ
うな動画像圧縮の国際標準規格に組み込まれた可変速再
生の仕組みでは、ディジタル映像データそのものを操作
することで可変速再生を行うことから、計算機パワーの
小さい機器では処理の負担が大きく、またネットワーク
を通して配信されるディジタル映像データを受信するよ
うな環境で可変速再生を行おうとすると、ネットワーク
のトラフィックを増大させてしまうという問題点があっ
た。

【００１０】本発明は、映像の内容を確認しての検索や
表示を行うことができる画像情報記述方法を提供するこ
とを主たる目的とする。

【００１１】また、所望のフレームがシーンチェンジと
シーンチェンジの間に存在するような場合でも良好な映
像検索ができるようにすることを目的としている。

【００１２】さらに、映像の可変速再生等を行う場合の
処理量を軽減し、計算機パワーの小さな機器やネットワ
ーク上でも容易に実現できるようにすることを目的とす
る。

【００１３】

【課題を解決するための手段】上記の課題を解決するた
め、本発明に係る画像情報記述方法は、映像フレーム群
を時間的に任意の間隔でかつ空間的に任意の大きさにサ
ンプリングして得た標本画像フレーム群に関する標本画
像情報として、該標本画像フレーム群のそれぞれに対応
する映像フレームを特定するための属性情報を記述する
ことを基本的な特徴とする。

【００１４】また、このような属性情報からなる標本画
像情報に加え、該標本画像フレーム群のそれぞれに対応
する映像フレームを特定するための属性情報を記述し、
さらに映像フレーム群に関する付帯情報を記述すること
を特徴とする。

【００１５】ここで、属性情報は、標本画像フレーム群
のそれぞれに対応する映像フレームの時間軸上の位置を
示す位置情報、標本画像フレームの大きさに関する情報
のいずれかまたはその両方を含む。

【００１６】付帯情報は、映像フレーム群のシーンチェ
ンジ位置情報、映像フレーム群のフレーム間の画面変化
量の情報のいずれか、またはその両方を含む。

【００１７】標本画像情報としては、標本画像フレーム
群の画像データまたは該標本画像フレーム群の前記映像
フレーム群へのポインタを併せて記述してもよい。

【００１８】また、本発明によると、上記のような画像
情報記述方法により記述された標本画像情報または標本
画像情報および付帯情報を映像フレームの画像データと
共に、あるいは該画像データとは別に格納した記録媒体
が提供される。

【００１９】さらに、本発明によると、上記のような画
像情報記述方法により記述された標本画像情報または標
本画像情報および付帯情報を用いて、以下のように標本
画像フレーム群を対象とした映像検索や映像再生を行う
環境を提供することができる。

【００２０】すなわち、本発明に係る第１の映像検索方
法／装置は、映像フレーム群を時間的に任意の間隔でか
つ空間的に任意の大きさにサンプリングして得た標本画
像フレーム群に関する標本画像情報として、少なくとも
該標本画像フレーム群のそれぞれに対応する映像フレー
ムの時間軸上の位置を示す第１の位置情報を記述してお
き、第１の位置情報と与えられた所望の映像フレームの
時間軸上の位置を示す第２の位置情報に基づいて、第２
の位置情報に最も近い第１の位置情報を有する標本画像
フレームを検索することを特徴とする。

【００２１】このように本発明により記述された標本画
像情報を用いることで、計算機パワーやトラフィックに
負担をかけることなく、所望フレームの映像検索を容易
に行うことが可能となる。

【００２２】本発明に係る他の映像検索方法／装置は、
映像フレーム群を時間的に任意の間隔でかつ空間的に任
意の大きさにサンプリングして得た標本画像フレーム群
に関する標本画像情報として、少なくとも該標本画像フ
レーム群のそれぞれに対応する映像フレームの時間軸上
の位置を示す第１の位置情報を記述し、さらに映像フレ
ーム群のシーンチェンジ位置情報を付帯情報として併せ
て記述しておき、第１の位置情報と与えられた所望の映
像フレームの時間軸上の位置を示す第２の位置情報およ
びシーンチェンジ位置情報に基づいて、第２の位置情報
とこれに最も近いシーンチェンジ位置情報との時間的な
前後関係に応じて該シーンチェンジ位置情報より時間的
に前または後の第２の位置情報に最も近い第１の位置情
報を有する標本画像フレームを検索することを特徴とす
る。

【００２３】より具体的には、所望のフレームに最も近
いシーンチェンジ位置を検出し、所望のフレームがその
シーンチェンジ位置から時間的に前か後にあるかを判定
して、前者の場合はそのシーンチェンジ位置より前で所
望のフレームに最も近い映像フレームを検索し、後者の
場合はそのシーンチェンジ位置より後で所望のフレーム
に最も近い映像フレームを検索する。

【００２４】このようにシーンチェンジ位置情報を付帯
情報として記述することによって、所望のフレームとよ
り類似した標本画像フレームの検索が可能となる。

【００２５】本発明に係るさらに別の映像検索方法／装
置は、映像フレーム群を時間的に任意の間隔でかつ空間
的に任意の大きさにサンプリングして得た標本画像フレ
ーム群に関する標本画像情報として、少なくとも該標本
画像フレーム群のそれぞれに対応する映像フレームの時
間軸上の位置を示す位置情報を記述しておき、検索対象
画像を提示し、標本画像フレーム群から該検索対象画像
との差分が所定の閾値以下の標本画像フレームを検索す
ることを特徴とする。この場合、検索対象画像との差が
所定の閾値以下の標本画像フレームに対して記述された
位置情報を検索結果として記録するようにしてもよい。

【００２６】このように検索対象画像と各標本画像フレ
ームの画像との差分、例えば絶対値差分の合計を求め、
この値が小さい標本画像フレームを検索することによっ
ても、所望フレームの検索ができる。

【００２７】本発明に係る映像再生方法／装置は、映像
フレーム群を時間的に任意の間隔でかつ空間的に任意の
大きさにサンプリングして得た標本画像フレーム群に関
する標本画像情報として、少なくとも該標本画像フレー
ム群のそれぞれに対応する映像フレームの時間軸上の位
置を示す位置情報を記述し、さらに映像フレーム群のフ
レーム間の画面変化量の情報を付帯情報として併せて記
述しておき、標本画像フレーム群を用いて、画面変化量
の情報に応じて標本画像フレームの取得位置を変化させ
ることにより映像の可変速再生を行うことを特徴とす
る。

【００２８】すなわち、画面変化量が画面変化量が大き
いところでは再生速度を遅く、また画面変化量が小さい
ところで再生速度を遅くすることで、画面変化量を一定
に保った見やすい可変速再生を標本画像フレームに対し
て実現することが可能となる。

【００２９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００３０】図１は、本発明の一実施形態に係るシステ
ムアーキテクチャを示している。このシステムは大きく
分けてデータベース１００、映像表示エンジン１０４、
検索エンジン／標本画像表示エンジン１０５、コントロ
ーラ１０６および表示部１０７からなる。データベース
１００の内容は、後に詳しく説明する元映像データ１０
１と時・空間標本映像メタデータ１０２、および両者を
対応付ける対応テーブル１０３（対応関数テーブルでも
よい）の３つのコンポーネントからなっている。

【００３１】データベース１００は一箇所に集中配置さ
れていてもよいし、複数箇所に分散配置されていてもよ
く、要は映像表示エンジン１０４や検索エンジン／標本
画像表示エンジン１０５でアクセスすることができれば
よい。元映像データ１０１と時・空間標本映像メタデー
タ１０２は、別々の媒体に格納されていてもよいし、同
一の媒体に格納されていてもよい。媒体としては、例え
ばＤＶＤ等が用いられる。また、元映像データ１０１は
一箇所に記憶されるのではなく、ネットワークを介して
伝送されるデータであってもよい。

【００３２】映像表示エンジン１０４は、コントローラ
１０６による制御の下で元映像データ１０１を表示部１
０７で表示させるための処理を行う。さらに、映像表示
エンジン１０４は、検索エンジン／標本画像表示エンジ
ン１０５により時・空間標本映像メタデータ１０２に基
づいて元映像データ１０１が検索された場合には、元映
像データ１０１の検索された部分を表示部１０７で表示
させるための処理も行う。

【００３３】検索エンジン／標本画像表示エンジン１０
５は、コントローラ１０６による制御の下で、後に詳し
く説明する時・空間標本映像メタデータ１０２から、元
映像データ１０１の所望フレーム近傍の適切な標本画像
フレームを検索し、それらを代表フレームとして表示部
１０７で表示させたり、時・空間標本映像メタデータ１
０２を用いてコントローラ１０６を介して元映像データ
１０１の検索を行う。

【００３４】ここで、検索エンジン／標本画像表示エン
ジン１０５と、映像表示エンジン１０４との違いについ
て説明すると、前者は容量の少ない時・空間標本映像メ
タデータ１０２の中の標本画像フレーム群を処理するの
で、受信機器に内蔵の能力の低いＰＣ上のソフトウェア
として実装しても十分な処理速度を得ることができる。

【００３５】後者はＭＰＥＧ−２映像データやアナログ
映像データである元映像データ１０１を処理するもので
あるため、特別のハードウェアを実装する必要がある場
合が多い。具体的には、元映像データ１０１がＭＰＥＧ
−２による圧縮映像データの場合は、映像表示エンジン
１０４には特別なデコードボード（ＭＰＥＧ−２デコー
ダ）が用いられ、また元映像データ１０１がアナログ映
像信号の場合は、映像表示エンジン１０４としては早送
り、巻き戻しをコントロールできるＶＴＲのような映像
再生装置が用いられる。

【００３６】なお、元映像データ１０１がＭＰＥＧ−１
やＭＰＥＧ−４による圧縮映像データの場合は、ＰＣ上
のソフトウェアでも映像表示エンジン１０４の実装は可
能であり、システムのアーキテクチャとして分離する必
要はない。

【００３７】対応テーブル１０３における上下の線のコ
ネクションは概念的なもので、対応テーブル１０３は元
映像データ１０１および時・空間標本映像メタデータ１
０２と物理的につながっている必要はない。従って、元
映像データ１０１が格納された媒体は、映像表示エンジ
ン１０４と同一筐体内に納められる場合があり、また時
・空間標本映像メタデータ１０２が格納された媒体は、
検索エンジン／標本画像表示エンジン１０５と同じ筐体
内に納められる場合もある。

【００３８】時・空間標本映像メタデータ１０２が格納
された媒体と検索エンジン／標本画像表示エンジン１０
５が離れた位置に存在していたとしても、両者を接続す
る回線としては、伝送容量の比較的小さい、例えば１０
Ｍｂｐｓのネットワークでも十分である。一方、元映像
データ１０１が格納された媒体と映像表示エンジン１０
４を接続する回線は、メデイアの種類によっては１００
Ｍｂｐｓ以上の回線を用意する必要がある。

【００３９】図１に示したようなシステムアーキテクチ
ャの有利な点は、検索を元映像データ１０１を対象にし
て行うのではなく、それよりデータサイズが小さい時・
空間標本映像メタデータ１０２を対象に行うため、イン
タラクティブな操作を快適に行うことができ、また全体
的にトラフィックを低く抑えることができるという点で
ある。

【００４０】図２は、元映像データ１０１と時・空間標
本映像メタデータ１０２の概念図である。元映像データ
１０１は、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４
等により圧縮されたディジタル映像データまたはアナロ
グデータであり、動画像を構成する映像フレームの集合
（映像フレーム群）からなっている。また、元映像デー
タ１０１には、各映像フレームの時間軸上の位置を示す
位置情報、例えばメディア時間（以下、単に時間と称す
る）またはフレーム番号という位置情報が関連付けられ
ている。元映像データ１０１と時・空間映像メタデータ
１０２の関連付けは、対応テーブル１０３により時間ま
たはフレーム番号で行われる。

【００４１】時・空間標本映像メタデータ１０２は、標
本画像情報２０１_１〜２０１_ｎを主体として構成され、
さらに本実施形態の例では付帯情報としてシーンチェン
ジ位置情報２０２および画面変化量情報２０３も含まれ
る。

【００４２】標本画像情報２０１_１〜２０１_ｎは、元映
像データ１０１を構成する映像フレーム群を時間的に任
意の間隔でかつ空間的に任意の大きさにサンプリングし
て得られた標本画像フレーム群と、各標本画像フレーム
にそれぞれ対応する元映像フレームの時間軸上の位置を
示す位置情報（時間またはフレーム番号）と、各標本画
像フレームの大きさを示す大きさ情報等の該標本画像フ
レームを特定するための属性情報とからなる。これらの
属性情報のうち、前者の各標本画像フレームにそれぞれ
対応する元映像フレームの時間軸上の位置を示す位置情
報（時間またはフレーム番号）は、対応テーブル１０３
を参照して記述される。

【００４３】元映像データ１０１が圧縮されたディジタ
ル映像データのように既にディジタル化されている場合
には、時・空間標本映像メタデータ１０２の標本画像情
報２０１_１〜２０１_ｎの中の標本画像フレーム群は、元
映像データ１０１の所望のフレームを復号または部分復
号することで作成される。元映像データ１０１がアナロ
グデータの場合は、これをディジタル化してから標本画
像フレーム群を作成すればよい。

【００４４】次に、元映像データ１０１がＭＰＥＧ−２
圧縮映像データである場合について、属性情報のうちの
前者、すなわち各標本画像フレームにそれぞれ対応する
元映像フレームの時間軸上の位置を示す位置情報（時間
またはフレーム番号）を説明する。この場合は、ＭＰＥ
Ｇ−２圧縮映像データである元映像データ１０１を復号
して例えば３０フレームに１枚、かつ大きさを縦横１／
８ずつ縮小して標本画像フレーム群２０１_１〜２０１_ｎ
を作成する。また、このように固定の時間サンプリング
と固定の空間サンブリングで標本画像フレーム群を作成
するのでなく、これらを適宜変化させて標本画像フレー
ム群を作成することもできる。画面変化量が少ないとこ
ろでは、時間方向に粗くサンプリングし、画面変化量の
多いところでは時間方向に細かくサンプリングすること
も有効である。

【００４５】ＭＰＥＧ−２圧縮映像データには、Ｉピク
チャ（フレーム内符号化フレーム）と呼ばれるフレーム
内の相関のみを用いて圧縮したフレームが間欠的に存在
する。ＩピクチャはＰピクチャ（前方予測フレーム間符
号化フレーム）やＢピクチャ（双方向予測フレーム間符
号化フレーム）のようにフレーム間の相関を用いて圧縮
していないために、復号が容易である。そこで、標本画
像フレーム群を作成するに当たり元映像データ１０１の
Ｉピクチャのみについて、しかもＩピクチャのＤＣＴ
（離散コサイン変換）係数のうちのＤＣ成分のみを復号
すれば、より容易に時間的かつ空間的にサンプリングし
た標本画像フレーム群を得ることができる。

【００４６】Ｉピクチャは、必ずしもー定のフレーム間
隔で存在することが保証されていないが、ＭＰＥＧ−２
により圧縮された映像データからビデオレート以上のス
ビードで、時間的かつ空間的にサンプリングした標本画
像フレーム群を作成するにはＩピクチャを用いる方法が
有効である。

【００４７】このようにＩピクチャから標本画像フレー
ム群を作成する方法は、処理量が少ないために、特別な
ハードウェアを用いなくとも、ＰＣ上のソフトウェアだ
けで処理が可能である利点がある。また、ネットワーク
を介して元映像データ１０１から標本画像フレーム群を
作成する際にも、Ｉピクチャを用いると、トラフィック
増大の問題を容易に回避することができる。

【００４８】一方、標本画像フレーム群を作成する際の
元映像データ１０１の空間方向のサンプリングも固定で
ある必要はなく、適宜可変とすることができ、場合によ
っては縮小のみでなく、特に重要な画面のフレームにつ
いては拡大しても構わない。上述したように、標本画像
情報２０１は標本画像フレーム群と標本画像フレームの
属性情報が含まれており、属性情報に標本画像フレーム
群の大きさ情報が含まれているので、検索または表示時
に標本画像フレームを適宜所望の大きさに変換してから
用いることができる。

【００４９】図３に、標本画像情報２０１の具体的な記
述例を示す。標本画像情報は標本画像フレーム群の各フ
レーム毎に記述される情報であり、この例では（１）当
該標本画像フレームに対応する元映像データのフレーム
番号または時間、（２）当該標本画像フレームの大きさ
（高さ×幅）、（３）次の標本画像フレームまでのフレ
ーム数または時間、（４）ＪＰＥＧ，ＲＧＢ，ＹＵＶと
いった標本画像フレームの画像形式、（５）標本画像フ
レームの画像データ（または元映像データ１０１へのポ
インタ）からなっている。ここで、（３）、（４）、
（５）は必須でなく、いずれかが省略されていてもよ
い。また、（１）〜（５）以外の付加的情報がさらに含
まれていてもよい。

【００５０】標本画像フレーム群を時間的に連続したフ
レーム群からなる映像データ（後述する標本映像）とし
て扱ってもよい。その映像データを例えばＡＶＩファイ
ルやＭＰＥＧ−４ファイルに圧縮することにより、さら
にコンパクトにすることも可能である。その場合、その
映像データは、元映像データ１０１の映像フレームへの
ファイルポインタとフレーム番号となる。従って、その
映像データから任意のフレームの画像を取得するための
インタフェースが必要となる。

【００５１】図４は、メタデータ１０２の管理構造を示
している。この例では、標本画像情報２０１_１，２０１
_２、…を管理するためにリスト構造を利用している。Ｒ
ｏｏｔ４０１からフレーム番号の小さい順に標本画像情
報２０１_１，２０１_２、…へのポインタとなるリスト４
０２、４０３、４０４、４０５をつなげてゆき、Ｅｎｄ
４０６が最終のフラグとなる。リスト４０２，４０３，
４０４，４０５の番号ＩＤ１，ＩＤ２，ＩＤ３，ＩＤ４
は概念的なもので、この順番に各リスト４０２，４０
３，４０４，４０５が並んでいることを意味する。この
例ではリスト４０２，４０３、４０４，４０５から実際
の標本画像情報２０１_１，２０１_２、２０２_３、２０２
_４のある場所を指し示しポインタが張られている。

【００５２】このようなリスト構造にすると、標本画像
情報の追加・削除が容易である。新しい標本画像フレー
ムを追加するときは、フレーム番号を順に調べてゆき、
フレーム番号の大小が逆転しないように標本画像情報の
追加を行う。標本画像フレームを削除するときは、対応
する標本画像情報をリストから取り外せばよい。

【００５３】このように標本画像情報２０１の管理をリ
スト構造として追加・削除を容易にする理由は、標本画
像フレームとして最初に決められたものだけでなく、後
から追加したい場合が多々あることを考慮している。例
えば、ＭＰＥＧ−２圧縮映像データのＩピクチャを標本
画像フレームとして登録した後に、ＭＰＥＧ−２圧縮映
像のシーンチェンジ位置を検出し、そのシーンチェンジ
位置のフレームを標本画像フレームとして登録したい場
合が生じる。この場合、先に述べたＩピクチャからの標
本画像フレームについてはＤＣ成分のみからなる縮小画
像として登録し、シーンチェンジ位置の標本画像フレー
ムについては重要なフレームなので、フルサイズの画像
フレームとして登録することも可能である。

【００５４】なお、標本画像情報の他の記述例について
は、後述する。

【００５５】次に、図５を用いて標本画像情報２０１の
記述方法の具体的な手順を元映像データ１０１がＭＰＥ
Ｇ−２圧縮映像データである場合を例にとり説明する。
図５は、標本画像情報２０１の記述を含む時・空間標本
映像メタデータ１０２の記録手順を示すフローチャート
である。

【００５６】先ず、元映像データ１０１の映像フレーム
群を読み込み（ステップＳ１１）、元映像フレームを時
間的にサンプリングする（ステップＳ１２）。元映像デ
ータのシーンチェンジ位置を検出する（ステップＳ１
３）。シーンチェンジ位置は、例えば読み込んだ元映像
データ１０１の隣接するフレーム間の画面変化量を計算
し、一定値以上の変化があったところをシーンチェンジ
位置として検出する。

【００５７】ステップＳ１２での元映像データ１０１の
時間的なサンプリングは、例えば動きの大きい領域は細
かく、動きの小さい領域は粗くサンプリングする等の処
理を行うこともできる。この例では元映像データ１０１
がＭＰＥＧ−２圧縮映像データであるため、ステップＳ
１２においては標本画像フレームを作成するためにＩピ
クチャを抽出し、また画面変化量を検出するためにＰピ
クチャを抽出する。

【００５８】次に、ステップＳ１２で抽出されたＩピク
チャを空間的にサンプリングすることにより、一枚の標
本画像フレームを作成する（ステップＳ１４）。より具
体的には、ステップＳ１４では主としてＩピクチャの画
素間引きを行って、縮小画像からなる標本画像フレーム
を作成する。但し、Ｉピクチャがシーンチェンジ位置の
ような重要なフレームであれば、縮小せずに元映像デー
タのフレームをそのまま標本画像フレームとするか、場
合によっては画素補間により拡大を行って標本画像フレ
ームを作成してもよい。

【００５９】一方、ステップＳ１２で抽出されたＰピク
チャから画面変化量、つまり隣接する画面間の画像の変
化の大きさの情報を取得する（ステップＳ１５）。Ｐピ
クチャには、前フレームからの動きベクトルの情報がサ
イド情報として付加されているので、この動きベクトル
の大きさや分布から画面変化量を求めることができる。

【００６０】次に、ステップＳ１４で作成された標本画
像フレームを必要に応じて圧縮加工した後（ステップＳ
１６）、この圧縮標本画像フレームと、ステップＳ１３
で検出されたシーンチェンジ位置、およびステップＳ１
５で取得された画面変化量の情報を用いて、図２、図３
に示すような時・空間標本映像メタデータ１０２を記録
し（ステップＳ１７）、処理は終了する。

【００６１】すなわち、ステップＳ１７では時・空間標
本映像メタデータ１０２として、図２に示したように標
本画像情報２０１、シーンチェンジ位置情報２０２、画
面変化量情報２０３の３つの情報を記録する。また、標
本画像情報２０１は、図３に示したように、（１）当該
標本画像フレームに対応する元映像データのフレーム番
号または時間、（２）当該標本画像フレームの大きさ
（高さ×幅）、（３）次の標本画像フレームまでのフレ
ーム数または時間、（４）ＪＰＥＧ，ＲＧＢ，ＹＵＶと
いった標本画像フレームの画像形式、（５）標本画像フ
レームの画像データ（または元映像データ１０１へのポ
インタ）を含んでいる。（５）の標本画像フレームの画
像データとは、この例ではステップＳ１２で抽出され、
ステップＳ１４で空間的なサンプリングが施され、さら
に必要に応じてステップＳ１６で圧縮加工された、ある
いは圧縮加工されないＩピクチャの画像データである。

【００６２】次に、このようにして記録された時・空間
標本映像メタデータ１０２の利用形態について説明す
る。

【００６３】（１）シーンチェンジ位置情報を用いた標
本画像フレームの検索 所望の映像フレームを表示したい場合、その所望映像フ
レームを元映像データ１０１から直接検索しようとする
と、処理に時間がかかってしまうことは前述した通りで
ある。その代わり、元映像データをサンプリングして得
られた時・空間標本映像メタデータ１０２を検索するこ
とにより所望フレームを探せば、処理時間が短くて済
む。しかし、標本画像フレーム群は時間的にサンプリン
グされているので、所望フレームの画像が含まれている
とは限らない。そこで、最も簡単には所望フレームに時
間的に最も近い標本画像フレームを検索して表示すれば
よいことになる。図２の例では、破線で示す所望フレー
ムに、時間的に最も近い標本画像情報２０１_ｎの標本画
像フレームを表示用の画像フレームとする。

【００６４】この場合、標本画像フレーム群がどの程度
の時間サンプリングで作成されているかによって、所望
フレームと表示用の画像フレームとのずれが決まる。こ
のずれは標本画像フレーム群が十分に短い間隔で時間サ
ンプリングされていれば小さいので、ほとんど問題はな
い。しかし、シーンチェンジがある場合は、必ずしも所
望フレームに時間的に最も近い標本画像フレームが表示
用の画像フレームとして適当とは限らない。すなわち、
所望フレームとそれに最も近い標本画像情報２０１_ｎに
含まれる標本画像フレームとの間にシーンチェンジがあ
ると、標本画像情報２０１_ｎよりも一つ前の標本画像情
報２０１_ｎ−１に含まれる標本画像フレームの方が所望
フレームに類似する表示用の画像フレームとして適当で
ある。本実施形態によれば、図２に示したように時・空
間標本映像メタデータ１０２にシーンチェンジ位置情報
２０２を付帯情報として付加することによって、この問
題を解決することができる。

【００６５】図６に示すフローチャートを参照して、上
記のようにしてシーンチェンジ情報２０２を用いて所望
フレームを代表する標本画像フレームを検索する処理手
順を説明する。なお、ここではシーンチェンジ情報２０
２は、シーンチェンジ位置のフレーム番号（シーンチェ
ンジフレーム番号という）で表されるものとする。

【００６６】先ず、検索したい所望フレームのフレーム
番号が与えられると、当該フレーム番号に一番近いシー
ンチェンジフレーム番号を検索する（ステップＳ２
１）。

【００６７】次に、（元映像データの）開始フレーム番
号からステップＳ２１で検索されたシーンチェンジフレ
ーム番号までの間に所望のフレーム番号が存在するかど
うかを判定する（ステップＳ２２）。

【００６８】ステップＳ２２の判定の結果、所望のフレ
ーム番号が開始フレーム番号〜シーンチェンジフレーム
番号の間にあることが分かれば、開始フレーム番号〜シ
ーンチェンジフレーム番号の間において、所望のフレー
ム番号に時間的に（あるいは空間的に）最も近い標本画
像フレームを検索する（ステップＳ２３）。

【００６９】また、ステップＳ２２の判定の結果、所望
のフレーム番号が開始フレーム番号〜シーンチェンジフ
レーム番号の間にないことが分かれば、シーンチェンジ
フレーム番号〜（元映像データの）最終フレーム番号の
間において、所望のフレーム番号に時間的に（あるいは
空間的に）最も近い標本画像フレームを検索する（ステ
ップＳ２４）。

【００７０】そして、検索された標本画像フレームを所
望フレームに最も類似する画像として表示し（ステップ
Ｓ２５）、処理は終了する。

【００７１】（２）標本画像フレームの検索 次に、図７に示すフローチャートを参照して、時・空間
標本映像メタデータ１０２を対象としてある画像に類似
する画像を検索する手順について説明する。

【００７２】先ず、検索対象画像Ｒ、つまり検索してほ
しい画像を提示する（ステップＳ３１）。

【００７３】次に、時・空間標本映像メタデータ１０２
から標本画像フレームを順次１枚ずつ取得する（ステッ
プＳ３３）。

【００７４】検索対象画像ＲをステップＳ３３で取得さ
れた標本画像フレームの大きさに正規化する（ステップ
Ｓ３４）。これは、標本画像フレームは一枚一枚サイズ
が異なるからである。

【００７５】ステップＳ３３で取得された標本画像フレ
ームと、ステップＳ３４で正規化された検索対象画像Ｒ
との間の類似度、例えば画素毎の絶対値差分の合計を計
算する（ステップＳ３５）。

【００７６】この絶対値差分の合計がある閾値以下かど
うかを判定する（ステップＳ３６）。ステップＳ３６の
判定の結果、絶対値差分の合計が閾値以下ならば、ステ
ップＳ３３で取得された標本画像フレームが検索対象画
像Ｒとほぼ同じであると判断して、その標本画像フレー
ムのフレーム番号を検索結果として記録する（ステップ
Ｓ３７）。

【００７７】以上の一連の処理をステップＳ３２で全て
の標本画像フレームが取得されたと判定されるまで繰り
返して、処理は終了する。

【００７８】次に、図７のフローチャートに示した手順
に従った処理の終了後、以下のようにして検索結果を表
示する。

【００７９】ステップＳ３７で検索結果として得られた
標本画像フレームのフレーム番号に基づき、検索された
標本画像フレームを図１における検索エンジン／標本画
像表示エンジン１０５によって表示部１０７で表示す
る。

【００８０】あるいは、ステップＳ３７で検索結果とし
て得られた標本画像フレームのフレーム番号に基づき、
元映像データ１０１をそのフレーム番号の位置から再生
したい場合は、図１に示した対応テーブル１０３（また
は対応関数テーブル）を用いて、その標本画像フレーム
のフレーム番号に対応する元映像データ１０１のフレー
ム番号を調べる。そして、コントローラ１０６にそのフ
レーム番号の情報と表示コマンドを送ることにより、映
像表示エンジン１０４を用いて元映像データ１０１の該
当フレームから再生を行い、表示部１０７で表示する。

【００８１】（３）時・空間標本映像メタデータを用い
た早送り再生 図２に示したように、本実施形態では時・空間標本化ビ
デオメタデータ１０２には、標本画像情報２０１以外の
付帯情報として、シーン位置情報２０２のほか、画面変
化量情報２０３も記述されている。

【００８２】画面変化量情報２０３は、元映像データ１
０１の飛び飛びに存在する映像フレーム間の画面変化量
を示す情報であり、例えばフレーム間の絶対値差分の合
計を用いたり、また元映像データ１０１がＭＰＥＧ圧縮
映像データであれば、フレーム間動き補償のデータから
画面全体の動きベクトルの大きさの平均（平均パワー）
を計算して求めることができる。このような画面変化量
情報２０３を時・空間標本化ビデオメタデータ１０２に
付帯させることより、高度な可変速再生を行うことがで
きる。

【００８３】特開平１０−２４３３５１号（特願平０９
−０４２６３７号）「映像再生装置」で述べられている
ように、映像を画面の変化が大きいところではゆっくり
と再生し、画面の変化が小さいところでは速く再生する
ことにより、画面の変化量を一定にして見やすい早送り
再生を実現する技術は知られている。この特許では、各
フレーム毎に画面変化が存在し、かつ全てのフレームを
用いることが前提となっているが、本発明のように時間
的に離散した標本画像フレームを対象とし、かつ画面変
化量も時間的に離散して得られる場合については言及さ
れていない。そこで、本実施形態では時間的に離散した
標本画像フレームおよび画面変化量に対して同様の効果
が得られる可変速再生を実現する方法を提供する。

【００８４】最初に、図８に示すフローチャートを参照
して、標本画像フレームを用いて可変速再生を行う場合
の基本的な処理手順を説明する。

【００８５】先ず、可変速再生（この場合は、早送り再
生）を行う範囲の指定を行う（ステップＳ４１）。可変
速再生範囲の開始フレーム番号をＦｓ、終了フレーム番
号をＦｅとする。

【００８６】次に、再生速度倍率ｍ、つまり何倍速で早
送り再生を行うかを指定する（ステップＳ４２）。

【００８７】次に、再生方向の指定、つまり早送り再生
を順方向再生で行うか逆方向再生で行うかの指定を行う
（ステップＳ４３）。

【００８８】次に、標本画像フレームの再生フレームレ
ートｒ［フレーム／秒］を指定する（ステップＳ４
４）。再生フレームレートｒは、テレビジョン方式によ
って異なり、例えばＮＴＳＣの場合は３０［フレーム／
秒］、ＰＡＬの場合は２４［フレーム／秒］である。

【００８９】ここで、元映像データ１０１のフレームレ
ートがＲ［フレーム／秒］であったとすると、これを基
に可変速再生時に標本画像フレーム群について読み飛ば
すフレーム数を後述のようにして計算する（ステップＳ
４５）。

【００９０】そして、再生フレームレートｒ［フレーム
／秒］で標本画像フレームの再生を行うために、１／ｒ
秒のサイクルで標本画像フレームを取得して表示を行う
（ステップＳ４６）。

【００９１】順方向再生の場合は、フレームＦｓに対応
する標本画像フレーム番号から再生を開始し、フレーム
番号を増加させる方向で読み飛ばす。逆方向再生の場合
は、フレームＦｅに対応する標本画像フレームから再生
を開始し、フレ一ム番号を減少させる方向で読み飛ばす
ことになる。

【００９２】ここで、ステップＳ４６の処理についてさ
らに詳しく説明すると、順方向の早送り再生の場合は、
１サイクル当たりフレーム番号を（ｍ×Ｒ／ｒ）フレー
ムずつ増加させながら標本画像フレームを取得する。す
なわち、（ｍ×Ｒ／ｒ）がステップＳ４５で計算された
順方向に読み飛ばすフレーム数であり、ステップＳ４６
ではＦｓ＋（ｍ×Ｒ／ｒ）×ｔのフレーム番号における
最近傍の標本画像フレームを再生して表示することにな
る。ここで、ｔはサイクル数である。

【００９３】同様に、逆方向の早送り再生の場合も、１
サイクル当たり（ｍ×Ｒ／ｒ）フレームずつ減少させな
がら標本画像フレームを取得する。すなわち、（ｍ×Ｒ
／ｒ）がステップＳ４５で計算された逆方向に読み飛ば
すフレーム数であり、ステップＳ４６ではＦｅ−（ｍ×
Ｒ／ｒ）×ｔのフレーム番号における最近傍の標本画像
フレームを再生して表示する。

【００９４】このようにして、標本画像フレーム群を用
いて任意の再生速度倍率の可変速再生が可能になる。な
お、毎サイクルで取り出す標本画像フレームに違いがな
い場合は、同じフレームを継続して表示するようにして
もよく、それにより処理効率を上げることができる。

【００９５】上述の説明では、ユーザが変更しない限
り、再生速度倍率ｍは一定であるとしたが、次に、前述
した画面変化量情報２０３を利用して、より円滑な可変
速再生を行う方法について述べる。この可変速再生の基
本は、画面変化量情報２０３に応じて標本画像フレーム
を用いた可変速再生での再生速度を時時刻刻変化させ
る、というものである。説明を簡単にするために、可変
速再生の範囲を特に指定せず、元映像データ１０１全体
を対象に早送り再生を行う場合を考える。

【００９６】先ず、以下のパラメータを定義する。

【００９７】元映像データ１０１の全フレーム数：Ｋ
［フレーム］ 元映像データ１０１のフレームレート：Ｒ［フレーム／
秒］ 標本画像フレームの再生フレームレート：ｒ［フレーム
／秒］ 再生速度倍率：ｍ 画面変化量情報：Ｐｉ（ｉ＝０，…，ｎ） 画面変化量に対応して再生速度に与える重み：Ｗｉ 標本画像フレームに対応する元映像データのフレーム番
号：Ｆｉ（ｉ＝０，…，ｎ−１） 元映像データの各フレームに対応して再生速度に与える
重み：Ｗｊ（ｊ＝０，…，Ｋ−１） 今、激しい動きに対して与える標本画像フレームの画面
変化量の限界値をＬとし、限界値Ｌを超えないような値
［Ｐｉ］を考える。

【００９８】 ［Ｐｉ］＝Ｌ， Ｐｉ＞Ｌの場合， ［Ｐｉ］＝Ｐｉ， その他の場合 …（１） また、画面変化量に対応して再生速度に与えられる重み
をＷｉ＝［Ｐｉ］とする。

【００９９】次に、各フレームの再生速度に対する重み
を考える。離散的な再生速度に対応する重みＷｉを線形
補間して、次式に示すＷｊを求める。

【０１００】 Ｗｊ ＝ Ｗｉ ＋ （Ｗ（ｉ＋１）−Ｗｉ）／（Ｆ（ｉ＋１）−Ｆｉ）×ｔ ここで、ｔ＝０，…，Ｆ（ｉ＋１）−Ｆｉ、 ｊ＝Ｆｉ，…，Ｆ（ｉ＋１）−１、 ｉ＝０，…，ｎ−１ …（２） Ｗｊを全体の和が１．０になるように正規化したものをＷ’ｊとすると、 Ｗ’ｊ ＝ Ｗｊ／ΣＷｊ ここで、ｊ＝０，…，ｋ …（３） ここで、再生速度倍率ｍ、再生フレームレートｒ［フレ
ーム／秒］で再生する場合に必要な表示回数Ｎは次式と
なる。

【０１０１】 Ｎ ＝ Ｋ／（ｍ×Ｒ／ｒ） …（４） 再生速度に対して与える重みを考慮して、標本画像フレ
ーム群から表示用画像フレームを取得する場合、各標本
画像フレームに割り付けられた重みＷ’ｊを加算してゆ
き、その加算値がＴｈ＝ｐ／Ｎ（ｐ＝０，…，Ｎ−１）
なる閾値を超えたときの標本画像フレームを取得する。
すなわち、加算値が閾値Ｔｈを超えたときのフレーム番
号に対応する最近傍の標本画像フレームが表示用画像フ
レームとなる。

【０１０２】上記の計算に従って表示用画像フレームを
予め取得しておき、フレームレートｒ［フレーム／秒］
で表示すれば、画面変化量が大きい時には遅めに、また
画面変化量が小さい時には早目に可変速再生することに
なるが、結果としては所望の再生速度倍率ｍで画像を表
示できる。上記の計算を用いれば、ある時間長の映像番
組をそれより短い任意の時間内で再生することが可能と
なる。再生速度に対して与える重みＷ’ｊに対してスム
ージングをかけたり、シーンチェンジや静止画の部分で
特殊な重み付けを行うことで、可変速再生にさらに特殊
効果を加えることも可能である。

【０１０３】ここでは、元映像データ１０１の全体に対
して可変速再生を行う場合について述べたが、部分再生
の場合も全く同様の考え方で可変速再生を行うことがで
きる。すなわち、元映像データ１０１全体のＷ’ｊが計
算できれば、部分再生の問題は容易に解決できる。ま
た、元映像データ１０１の全体に対しての可変速再生の
場合の説明では、可変速再生の開始フレームと終了フレ
ームに画面変化量情報が存在すると仮定したが、これら
がない場合は適当に近傍の画面変化量情報を流用する
か、デフォルトの値を与えるかして計算すればよい。

【０１０４】以下、図９に示すフローチャートを参照し
て、上述のように画面変化量情報２０３を利用して、よ
り円滑な可変速再生を行う場合の具体的な処理手順を説
明する。図９において、ステップＳ５１〜Ｓ５４の処理
は図８におけるステップＳ４１〜Ｓ４４の処理と基本的
に同様である。

【０１０５】すなわち、先ず画面変化量を一定にして可
変速再生（この場合は、早送り再生）を行う範囲の指定
を行う（ステップＳ５１）。可変速再生範囲の開始フレ
ームをＦｓ、終了フレームをＦｅとする。次に、再生速
度倍率ｍ、つまり何倍速で早送り再生を行うかを指定す
る（ステップＳ５２）。次に、再生方向の指定、つまり
早送り再生を順方向再生で行うか逆方向再生で行うかの
指定を行う（ステップＳ５３）。次に、標本画像フレー
ムの再生フレームレートｒ［フレーム／秒］を指定する
（ステップＳ５４）。

【０１０６】この後、式（４）により必要な表示回数Ｎ
を計算する（ステップＳ５５）。また、式（３）に示し
た重みＷ’ｊの加算値がＴｈ ＝ ｐ／Ｎ（ｐ＝０，
…，Ｎ−１）なる閾値を超えるときの標本画像フレーム
の位置、つまり加算値が閾値Ｔｈを超えたときのフレー
ム番号に対応する最近傍の標本画像フレームを表示用画
像フレーム位置として計算し、これをテーブルに記録す
る（ステップＳ５６）。

【０１０７】そして、再生フレームレートｒ［フレーム
／秒］で標本画像フレームを再生して表示するために、
１／ｒ秒のサイクルで上記テーブルを用いて表示用標本
画像フレームを取得して表示を行う（ステップＳ５
７）。

【０１０８】このように標本画像フレーム群を用いて可
変速再生を行う場合、画面変化量に応じて再生速度を変
化させる、つまり画面変化量が大きいところでは再生速
度を遅く、また画面変化量が小さいところで再生速度を
遅くすることで、先に示した特開平１０−２４３３５１
号（特願平０９−０４２６３７号）「映像再生装置」と
同様の画面変化量を一定に保った見やすい早送り再生を
標本画像フレームに対して実現することが可能である。

【０１０９】（４）その他の利用形態 図１０は、上記で述べた方法で選択したシーンチェンジ
位置（カット点）近傍の標本画像フレーム５０１，５０
２，…を一覧表示した例である。元映像データから画像
フレームを取り出すことをしないので、このような一覧
画面５００を高速に作成することができる。

【０１１０】図１１は、元映像全体を時間軸方向に延び
た一本のバー６０１で表示し、さらにバー６０１の指定
した一部分を拡大したバー６０２で表示した例である。
拡大したバー６０２には、この部分の元映像に含まれる
カット点のフレームの画像が見出しとして表示されてい
る。さらに拡大したバー６０２の上にマウスカーソル６
０３を当てると、カット点の位置を考慮して、指定点の
画像フレームに最も類似する近傍の標本画像フレーム６
０４を選択し、アイコンとして表示できる。この処理が
高速に行えるため、マウスアイコンを左右にスライドさ
せることにより、アイコンイメージをリアルタイムに動
画のように表示することができる。

【０１１１】一方、監視システムの応用を考えたとき、
たまに起る事象を効率よく発見したいという要求があ
る。例えば、常時は監視画面に背景画像のみが映ってい
るが、あるとき侵入者が映ったとする。侵入者は、背景
画像の差分画像として容易に発見することができる。ま
た、映像を記録すると同時に、画面の変化のないところ
では標本画像フレームを時間的に粗くサンプリングし、
画面の変化があったところでは時間的に細かくサンブリ
ングすることにより、侵入者を確実に記録することがで
きる。侵入者が映った画面に、付加情報としてカット点
の管理等のための情報を貯えておき、後で一覧表示を行
うことが可能となる。また、侵入者があったときだけ、
標本画像フレームの空間的サンブリングを精細にするこ
とにより、標本画像フレームでも侵入者を確認するよう
にすることもできる。

【０１１２】さらに、侵入者が入った時に元映像よりも
高精細な静止画像を取得し、それを標本画像フレームと
して管理することも有効である。通常の映像では解像度
が不十分な場合、それよりも高解像度の静止画像を用い
て侵入者の判別を行うことが可能となる。

【０１１３】以上説明したように、本実施形態によれ
ば、元映像データ以外に、元映像フレーム群を時間的に
任意の間隔でかつ空間的に任意の大きさにサンプリング
して得た標本画像フレーム群の画像データと属性情報か
らなる標本画像情報を記録しておき、元映像データでは
なく標本画像情報を検索することにより、計算機パワー
やトラフィックに負担をかけることなく、所望フレーム
の映像検索を容易に行うことが可能となる。また、標本
画像情報にシーンチェンジ位置情報を付帯情報として記
述することによって、所望のフレームとより類似した標
本画像フレームの検索が可能となる。さらに、検索対象
画像と各標本画像フレームの画像との差分、例えば絶対
値差分の合計を求め、この値が小さい標本画像フレーム
を検索することによっても、所望フレームの検索ができ
る。さらに、画面変化量が大きいところでは再生速度を
遅く、画面変化量が小さいところで再生速度を遅くする
ことで、画面変化量を一定に保った見やすい可変速再生
を標本画像フレームに対して実現することも可能とな
る。

【０１１４】以下、本発明の他の実施形態を説明する。
他の実施形態の説明において第１の実施形態と同一部分
は同一参照数字を付してその詳細な説明は省略する。

【０１１５】第１実施形態では時・空間標本映像メタデ
ータ１０２は複数の標本画像情報２０１_１〜２０１_ｎを
有するとしたが、その詳細な記述例は説明しなかった。
この記述例の具体例に関する第２実施形態を以下に説明
する。

【０１１６】図１２は第２実施形態の標本画像情報の記
述例を示している。ここでは、標本画像フレーム群を一
つの映像（標本映像）として扱い、その集合として標本
映像情報７０１を構成する。標本映像は標本映像情報７
０１とは別に用意し、標本映像情報７０１にその場所を
ＵＲＬ等により記述してもよいし、標本映像を標本映像
情報７０１として直接記述してもよい。

【０１１７】標本画像情報７０２は標本映像情報７０１
で示される標本映像内の標本画像フレームと元映像デー
タフレームとの対応付けを示し、標本映像に含まれる標
本画像フレーム数に応じて、複数記述される。標本画像
情報７０２は元映像フレームのメディア時間７０３と標
本映像のメディア時間７０４より構成される。元映像フ
レームのメディア時間７０３は標本画像フレームに対応
する元映像のフレームを示す。元映像のフレームを一意
に決めることができれば、タイムスタンプ等の時間であ
ってもよいし、フレーム番号等であってもよい。また、
元映像フレームが一定間隔でサンプリングされている場
合など、演算によって対応する元映像フレームが求めら
れる場合は、演算に必要な情報（例えばサンプリング間
隔）を記述して、元映像フレームのメディア時間７０３
を省略してもよい。標本映像のメディア時間７０４は標
本映像情報７０１で示される標本映像内の特定の標本画
像フレームを示す。標本映像のメディア時間７０４は標
本画像フレームを一意に決めることができれば、フレー
ム番号等であってもよいし、標本映像を通常の映像とし
て扱った場合のタイムスタンプ等の時間であってもよ
い。また、標本映像と順次対応付けが行われる場合は省
略しても構わない。

【０１１８】図１３は標本画像情報の別の記述例を示し
ている。標本画像情報８０１は各標本画像フレームと元
映像データフレームとの対応付けを示し、標本画像フレ
ーム数に応じて、複数記述される。標本画像情報８０１
は元映像フレームのメディア時間８０２と標本画像デー
タ８０３より構成される。メディア時間８０２は図１２
で示される記述例におけるメディア時間７０３と同様に
標本画像フレームに対応する元映像データのフレーム位
置を示す。なお、本メディア時間８０２もメディア時間
７０３と同様に省略してもよい。標本画像は標本画像デ
ータ８０１とは別に個々に用意し、標本画像データ８０
１にその場所をＵＲＬ等により記述してもよいし、標本
画像を標本画像データとして標本画像データ８０１に直
接記述してもよい。また、標本画像のかわりにその内容
を示すイラスト等の他の画像を標本画像データとしても
よい。

【０１１９】図１４は標本画像情報の別の記述例を示し
ている。図１４で示される記述例は図１２及び図１３で
示される記述例の両方を含んでいる。標本映像情報９０
１は図１２で示される記述例における標本映像情報７０
１と同様で、標本映像の場所を示すＵＲＬあるいは標本
映像自体を示す。標本画像情報９０２は各標本画像フレ
ームと元映像データフレームとの対応付けを示し、標本
画像フレーム数に応じて、複数記述される。標本画像情
報９０２は元映像フレームのメディア時間９０３と標本
映像のメディア時間９０４Ａあるいは標本画像データ９
０４Ｂのいずれかにより構成される。元映像フレームの
メディア時間９０３は図１２で示される記述例における
メディア時間７０３と同様に標本画像フレームに対応す
る元映像データのフレームを示す。なお、本メディア時
間９０３もメディア時間７０３と同様に省略してもよ
い。標本映像のメディア時間９０４Ａは図１２で示され
る記述例におけるメディア時間７０４と同様で、標本映
像情報９０１で示される標本映像内の特定の標本画像フ
レームを示す。該メディア時間９０４Ａが標本映像と順
次対応付けされる場合は省略しても構わない。標本画像
データ９０４Ｂは図１３で示される記述例における標本
画像データ８０３と同様で、個々の標本画像フレームの
場所や標本画像フレーム自体を示す。

【０１２０】図１４の記述例によれば、標本映像の一部
を差し替えたり、別の標本画像を追加することができ
る。

【０１２１】次に、図１２〜図１４で示される記述例を
利用して、所望メディア時間の標本画像データを抽出す
る処理を説明する。図１５はその基本フローである。ス
テップＳ６１で所望の標本画像フレームに対応する元映
像フレームのメディア時間を入力する。メディア時間は
タイムスタンプやフレーム番号等、メディア内での時間
的な位置を一意に示すものである。ステップＳ６２では
図１２〜図１４の記述例で記述される標本画像情報群の
中から最初の標本画像情報を取り出す。ステップＳ６３
で、所望のメディア時間と標本画像情報に含まれる元映
像フレームのメディア時間とを比較し、両者が同一、あ
るいは、所望のメディア時間の方が後になる場合はステ
ップＳ６４へ進み、標本画像情報で示されている標本画
像データを取り出す。標本画像データの抽出方法は記述
方法によって異なり、標本フレーム番号が記述されてい
る場合は標本映像の該当標本画像データを抽出し、標本
画像データが記述されている場合はそれを用いる。標本
画像情報に含まれるメディア時間の方が所望メディア時
間より後の場合はステップＳ６５へ進み、標本画像情報
群から次の標本画像情報を取り出して、再びステップＳ
６３へ進みメディア時間の比較を行う。

【０１２２】図１６は図１２〜図１４で示される記述例
に標本画像フレームの属性情報を付加する記述例であ
る。標本映像は、大きさの異なる標本画像を用いたり、
元映像データの一部の領域のみを切り出して、標本画像
として用いることができるので、これらのパラメータを
属性情報として記述するための一例が図１６に示す記述
例である。

【０１２３】標本画像フレーム群情報１００１は図１２
〜図１４で示される記述例等による情報を示す。標本属
性情報１００２は個々の標本画像フレームの属性情報
で、標本映像に含まれる標本画像フレーム数に応じて、
複数記述される。標本属性情報１００２は標本番号１０
０３、解像度情報１００４、領域情報１００５により構
成される。

【０１２４】標本番号１００３は標本画像フレーム群情
報１００１で示される標本画像フレーム群に含まれる特
定の標本画像フレームに対応する番号である。標本フレ
ーム番号１００３が標本画像フレーム群内の標本画像フ
レームと順次対応する場合は省略しても構わない。

【０１２５】解像度情報１００４は標本番号１００３で
示される標本画像フレームの元映像データの対応フレー
ムに対する解像度を示す。例えば、画像を何分の１に縮
小したか等を記述する。

【０１２６】領域情報１００５は標本番号１００３で示
される標本画像フレームの元映像データの対応フレーム
における該当傾城を示す。標本画像フレームが元映像デ
ータの対応フレームの一部を切り出している場合はその
領域を記述する。標本画像フレームが元映像データの対
応フレーム全体に相当する場合は領域情報を省略しても
よい。

【０１２７】なお、これら属性情報は図示しないが、図
１２〜図１４で示した記録例における各標本画像情報内
に記述するようにしてもよい。

【０１２８】図１７は図１６で示される記述方法を用い
た実際の記述例である。元映像フレーム１４０１の中に
は物体が一部のみに存在しているとする。元映像フレー
ム１４０１の標本画像フレームを作成する場合、両画全
体のサンプリングするよりも一部のみを取り出してサン
プリングした方が、画像の内容をより反映した標本画像
フレームが作成できる。そこで、元映像フレーム１４０
１内の矩形領域１４０２を取り出して、縦横がそれぞれ
１／２となるようにサンプリングを行い標本画像フレー
ム１４０３を作成する。このときの解像度情報、領域情
報の記述例は１４０４のようになる。

【０１２９】図１８はユーザの要求に応じて標本画像フ
レームの一覧表示を行う基本フローである。スナッブＳ
７１ではユーザが一覧表示するレベルを入力する。入力
方法は表示レベルに応じて連続的に変化するスライダー
等のＧＵＩを用いてもよいし、数字で直接入力してもよ
い。あるいは、計算機等に接読されたホイールやダイヤ
ル等の入力装置を用いてもよい。

【０１３０】ステップＳ７２では、ステップＳ７１で入
力されたレベル値から一覧表示する標本画像の枚数を計
算する。例えば、最大表示レベルをＬｍａｘ、最大表示
標本画像フレーム数をＴｍａｘとし、現在の表示レベル
がＬであるとすると、表示標本画像フレーム数Ｔ＝Ｔｍ
ａｘ×Ｌ／Ｌｍａｘで求められる。

【０１３１】ステップＳ７３では、表示標本画像フレー
ム数に応じて一覧表示する標本画像フレームの選択を行
う。例えば、一定時間間隔や一定フレーム間隔で標本画
像フレームを選択する。あるいは、カット点情報等の付
加情報が与えられている場合は、カット点やシーンの先
頭フレーム等のより重要度の高いフレームから優先的に
選択してもよい。

【０１３２】ステップＳ７４では選択された標本画像の
一覧を作成して、表示する。

【０１３３】図１９は図１８で示される基本フローを用
いた標本画像フレームの一覧表示のインターフェースを
示す。画面１１０１上には表示レベルを指定するための
スライダー１１０２と標本画像一覧１１０３が存在す
る。スライダー１１０２を画面１１０４内のスライダー
１１０５に示すような位置に移動させて表示レベルを大
きくすると、一覧表示される標本画像の枚数が一覧表示
１１０６に示されるように増加する。このようなインタ
ーフェースを用いることによって、ユーザは映像の内容
に応じて必要なだけの標本画像を直感的に表示すること
が可能である。

【０１３４】図２０は図１６で示される記述例を用いた
画面表示の例である。図１６で示される記述例を用いる
ことにより、解像度の異なる標本画像フレームや画面の
一部の領域のみを切り出した標本画像フレームを扱うこ
とができる。一方、画像中には字幕部分等の高解像度で
サンプリングすることが望ましい領域と、背景等の低解
像度でサンプリングすれば十分な領域が混在している。
そこで、同一フレームから作成した解像度と領域の異な
る標本画像フレームを含む標本画像フレーム群１２０１
を用意し、画面表示例１２０２に示すようにこれらを重
ね合わせて表示することにより、字幕を高解像度で背景
を低解像度で表示することが可能となる。

【０１３５】図２１は図１６で示される記述例を用いた
画面表示の別の例である。画像１３０１は低解像度でサ
ンプリングされた標本画像フレームである。字幕部分
等、ユーザがより詳細な画像を所望する領域１３０２を
マウス等で指し示すと、領域１３０２のみをより高解像
度でサンプリングした標本画像フレーム１３０３がポッ
プアップ等によって表示される。通常は、画像１３０１
のような低解像度な標本画像フレームが表示されている
ので、画像の大きさを小さくすることができ、一覧表示
等により多くの画像を表示することができる。

【０１３６】なお、本発明は上述した実施例に限定され
るものではなく、種々変形して実施可能である。

【０１３７】

【発明の効果】以上説明したように、本発明の画像情報
記述方法によれば、映像の内容を確認しての検索や表示
を行うことができる。

【０１３８】また、元映像データをサンプリングして得
られた標本画像に基づいて検索を行う場合、所望のフレ
ームがシーンチェンジとシーンチェンジの間に存在する
ような場合でも良好な映像検索ができる。

【０１３９】さらに、標本画像に基づいて可変速再生を
行うことができるので処理量が軽減でき、計算機パワー
の小さな機器やネットワーク上でも容易に可変速再生を
実現できる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係るシステムアーキテク
チャを示す図。

【図２】元映像データおよび時・空間標本映像メタデー
タの構造を示す概念図。

【図３】時・空間標本映像メタデータに含まれる標本画
像情報の説明図。

【図４】標本画像情報の管理構造を示す図。

【図５】標本画像情報の記述手順を説明するための時・
空間標本映像メタデータの記録手順を示すフローチャー
ト。

【図６】時・空間標本映像メタデータに含まれるシーン
チェンジ情報を用いた標本画像フレームの検索手順を示
すフローチャート。

【図７】時・空間標本映像メタデータを対象とした標本
画像フレームの検索手順を示すフローチャート。

【図８】標本画像フレームを用いた可変速再生の手順を
示すフローチャート。

【図９】標本画像フレームと画面変化量情報を用いて円
滑な可変速再生の手順を示すフローチャート。

【図１０】時・空間標本映像メタデータに含まれるシー
ンチェンジ情報を用いた標本画像フレームの一覧表示の
例を示す図。

【図１１】時・空間標本映像メタデータを用いた元映像
データと標本画像フレームの表示例を示す図。

【図１２】標本画像情報の他の記述例を示す図。

【図１３】標本画像情報の別の記述例を示す図。

【図１４】標本画像情報のさらに他の記述例を示す図。

【図１５】図１２〜図１４の記述例に従った標本画像情
報を用いた標本画像データの検索を示すフローチャー
ト。

【図１６】標本画像情報のさらに別の記述例を示す図。

【図１７】図１６の記述例に従った標本画像情報の具体
例を示す図。

【図１８】表示レベルに応じて表示枚数を可変する標本
画像一覧表示の動作を示すフローチャート。

【図１９】表示レベルが可変された場合の標本画像一覧
表示の変化を示す図。

【図２０】図１６の記述例に従った標本画像情報により
解像度と領域の異なる複数の標本画像を重ねて表示する
例を示す図。

【図２１】図１６の記述例に従った標本画像情報により
解像度と領域の異なる複数の標本画像を重ねて表示する
他の例を示す図。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三田 雄志 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 山本 晃司 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B075 ND12 NK10 NK31 NK44 NK50 NK54 PP28 PQ02 PQ32 PQ46 PQ60 PR06 QM08 QP05 QS20 5C052 AA01 AA02 AA04 AA17 AC06 CC11 DD04 5C053 FA21 FA23 FA25 FA27 GA10 GA18 GB06 GB27 GB28 GB36 GB37 GB38 HA21 HA29 HA33

Claims (26)

【特許請求の範囲】
1. 【請求項１】 複数の映像フレームからなる映像情報を
   時間的に任意の間隔でかつ空間的に任意の大きさにサン
   プリングして得た複数の標本画像フレームに関する標本
   画像情報として、該標本画像フレームのそれぞれに対応
   する前記映像情報の映像フレームを特定するための属性
   情報を記述することを特徴とする画像情報記述方法。
2. 【請求項２】 前記映像情報に関する付帯情報も前記標
   本画像情報として記述することを特徴とする請求項１記
   載の画像情報記述方法。
3. 【請求項３】 前記属性情報は、前記標本画像フレーム
   に対応する映像フレームの時間軸上の位置を示す位置情
   報を含むことを特徴とする請求項１、または請求項２記
   載の画像情報記述方法。
4. 【請求項４】 前記属性情報は、前記標本画像フレーム
   の大きさもしくは解像度に関する情報を含むことを特徴
   とする請求項１乃至請求項３のいずれか１項記載の画像
   情報記述方法。
5. 【請求項５】 前記付帯情報は、前記映像情報のシーン
   チェンジ位置情報を含むことを特徴とする請求項２記載
   の画像情報記述方法。
6. 【請求項６】 前記付帯情報は、前記映像情報の画面変
   化量の情報を含むことを特徴とする請求項２、または請
   求項５記載の画像情報記述方法。
7. 【請求項７】 前記標本画像情報として、前記標本画像
   フレームの画像データまたは該標本画像フレームへのポ
   インタを記述することを特徴とする請求項１乃至請求項
   ６のいずれか１項記載の画像情報記述方法。
8. 【請求項８】 請求項１乃至請求項７のいずれか１項に
   記載の画像情報記述方法により記述された前記標本画像
   情報を格納する記録媒体。
9. 【請求項９】 複数の映像フレームからなる映像情報を
   時間的に任意の間隔でかつ空間的に任意の大きさにサン
   プリングして得た複数の標本画像フレームに関する標本
   画像情報を用いて所望の映像情報を検索する映像検索方
   法において、前記標本画像フレームに対応する前記映像
   フレームを特定するために少なくとも時間軸上の位置を
   示す第１の位置情報を含む属性情報を前記標本画像情報
   として記述し、 前記第１の位置情報と前記所望の映像の時間軸上の位置
   を示す第２の位置情報に基づいて、該第２の位置情報に
   最も近い第１の位置情報を有する標本画像フレームを検
   索することを特徴とする映像検索方法。
10. 【請求項１０】 複数の映像フレームからなる映像情報
    を時間的に任意の間隔でかつ空間的に任意の大きさにサ
    ンプリングして得た複数の標本画像フレームに関する標
    本画像情報を用いて所望の映像を検索する映像検索方法
    において、 前記標本画像フレームに対応する前記映像フレームを特
    定するために少なくとも時間軸上の位置を示す第１の位
    置情報を含む属性情報を前記標本画像情報として記述
    し、 前記標本画像情報に前記映像情報のシーンチェンジ位置
    情報を付帯情報として記述し、 前記第１の位置情報、前記所望の映像の時間軸上の位置
    を示す第２の位置情報、及び前記シーンチェンジ位置情
    報に基づいて、該シーンチェンジ位置情報より時間的に
    前または後の第２の位置情報に最も近い第１の位置情報
    を有する標本画像フレームを検索することを特徴とする
    映像検索方法。
11. 【請求項１１】 複数の映像フレームからなる映像情報
    を時間的に任意の間隔でかつ空間的に任意の大きさにサ
    ンプリングして得た複数の標本画像フレームに関する標
    本画像情報を用いて所望の映像を検索する映像検索方法
    において、 前記標本画像フレームに対応する前記映像フレームを特
    定するために少なくとも時間軸上の位置を示す位置情報
    を含む属性情報を前記標本画像情報として記述し、 前記所望の画像との差分が所定の閾値以下の標本画像フ
    レームを検索することを特徴とする映像検索方法。
12. 【請求項１２】 前記所望の画像との差分が所定の閾値
    以下の標本画像に対して記述された前記位置情報を検索
    結果として記録することを特徴とする請求項１１記載の
    映像検索方法。
13. 【請求項１３】 複数の映像フレームからなる映像情報
    を時間的に任意の間隔でかつ空間的に任意の大きさにサ
    ンプリングして得た複数の標本画像フレームに関する標
    本画像情報を用いて映像の可変速再生を行う映像再生方
    法において、 前記標本画像フレームと、前記標本画像フレームに対応
    する前記映像フレームを特定するために少なくとも時間
    軸上の位置を示す位置情報を含む属性情報を標本画像情
    報として記述し、 前記標本画像情報に前記映像情報の画面変化量の情報を
    付帯情報として記述し、 前記画面変化量の情報に応じて前記標本画像フレームの
    再生速度を変化させることにより映像の可変速再生を行
    うことを特徴とする映像再生方法。
14. 【請求項１４】 複数の映像フレームからなる映像情報
    を時間的に任意の間隔でかつ空間的に任意の大きさにサ
    ンプリングして得た複数の標本画像フレームに関する標
    本画像情報を用いて所望の映像を検索する映像検索装置
    において、 前記標本画像フレームに対応する前記映像フレームを特
    定するために少なくとも時間軸上の位置を示す第１の位
    置情報を含む属性情報とからなる標本画像情報と、 前記標本画像情報に付加される前記映像情報のシーンチ
    ェンジ位置情報を示す付帯情報と、 前記第１の位置情報、前記所望の映像の時間軸上の位置
    を示す第２の位置情報、及び前記シーンチェンジ位置情
    報に基づいて、該シーンチェンジ位置情報より時間的に
    前または後の第２の位置情報に最も近い第１の位置情報
    を有する標本画像フレームを検索する検索エンジンと、 を具備することを特徴とする映像検索装置。
15. 【請求項１５】 複数の映像フレームからなる映像情報
    を時間的に任意の間隔でかつ空間的に任意の大きさにサ
    ンプリングして得た複数の標本画像フレームに関する標
    本画像情報を用いて所望の映像を検索する映像検索装置
    において、 前記標本画像フレームに対応する前記映像フレームを特
    定するために少なくとも時間軸上の位置を示す位置情報
    を含む属性情報とからなる標本画像情報と、 前記所望の画像との差分が所定の閾値以下の標本画像フ
    レームを検索する検索エンジンと、 を具備することを特徴とする映像検索装置。
16. 【請求項１６】 複数の映像フレームからなる映像情報
    を時間的に任意の間隔でかつ空間的に任意の大きさにサ
    ンプリングして得た複数の標本画像フレームに関する標
    本画像情報を用いて映像の可変速再生を行う映像再生装
    置において、 前記標本画像の画像データと、前記標本画像フレームに
    対応する前記映像フレームを特定するために少なくとも
    時間軸上の位置を示す位置情報を含む属性情報とからな
    る標本画像情報と、 前記標本画像情報に付加される前記映像情報の画面変化
    量を示す付帯情報と、 前記画面変化量の情報に応じて前記標本画像フレームの
    再生速度を変化させることにより映像の可変速再生を行
    う表示エンジンと、 を具備することを特徴とする映像再生装置。
17. 【請求項１７】 前記標本画像フレームは前記映像情報
    の１枚の画像の任意の部分のみを時間的に任意の間隔で
    かつ空間的に任意の大きさにサンプリングして得たもの
    を含むことを特徴とする請求項１乃至請求項７のいずれ
    か１項記載の画像情報記述方法。
18. 【請求項１８】 前記標本画像フレームは前記映像情報
    の１枚の画像の任意の部分のみを時間的に任意の間隔で
    かつ空間的に任意の大きさにサンプリングして得たもの
    を含むことを特徴とする請求項９乃至請求項１２のいず
    れか１項記載の映像検索方法。
19. 【請求項１９】 前記標本画像フレームは前記映像情報
    の１枚の画像の任意の部分のみを時間的に任意の間隔で
    かつ空間的に任意の大きさにサンプリングして得たもの
    を含むことを特徴とする請求項１３記載の映像再生方
    法。
20. 【請求項２０】 前記標本画像フレームは前記映像情報
    の１枚の画像の任意の部分のみを時間的に任意の間隔で
    かつ空間的に任意の大きさにサンプリングして得たもの
    を含むことを特徴とする請求項１４、または請求項１５
    記載の映像検索装置。
21. 【請求項２１】 前記標本画像フレームは前記映像情報
    の１枚の画像の任意の部分のみを時間的に任意の間隔で
    かつ空間的に任意の大きさにサンプリングして得たもの
    を含むことを特徴とする請求項１６記載の映像再生装
    置。
22. 【請求項２２】 前記複数の標本画像フレームを１つの
    映像情報として記憶することを特徴とする請求項１乃至
    請求項７のいずれか１項記載の画像情報記述方法。
23. 【請求項２３】 前記複数の標本画像フレームを１つの
    映像情報として記憶することを特徴とする請求項９乃至
    請求項１２のいずれか１項記載の映像検索方法。
24. 【請求項２４】 前記複数の標本画像フレームを１つの
    映像情報として記憶することを特徴とする請求項１３記
    載の映像再生方法。
25. 【請求項２５】 前記複数の標本画像フレームを１つの
    映像情報として記憶することを特徴とする請求項１４、
    または請求項１５記載の映像検索装置。
26. 【請求項２６】 前記複数の標本画像フレームを１つの
    映像情報として記憶することを特徴とする請求項１６記
    載の映像再生装置。