JPH0519731A - 動画像情報表示装置 - Google Patents

Abstract

(57)【要約】 【構成】 本発明によれば、複数の動画像情報を同時に
表示する際に、表示対象となる各動画像情報の全フレー
ム情報を復号するのではなく、使用目的（検索）上必要
かつ同時表示可能な一部データ（一部フレーム）のみを
復号して表示する。 【効果】 動画像情報の記憶媒体または記憶デバイスの
共有が可能になると同時に、従来ではなし得なかった高
度な機能（複数動画像の同時表示）を廉価かつコンパク
トなシステムにおいて実現することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像データベースか
ら必要な動画像情報を検索する際などに好適な、動画像
情報表示装置に関する。

【０００２】

【従来の技術】従来から、既存情報を効率的に活用する
手段として、情報を蓄積／検索するデータベースシステ
ムが利用されてきた。このようなデータベースシステム
は蓄積された情報をキーワードにより検索するリレーシ
ョナルデータベース方式が多く、キーワードの登録／運
用方法にシステムの機能／能力／規模が大きく左右され
るなどの問題があった。

【０００３】近年、これに代わり、蓄積された情報をよ
りダイナミックかつ直接的に関連付けをする（リンクを
張る）オブジェクト指向データベースシステムが提案さ
れ、ハイパーテキストまたはハイパーメディアとして一
般に知られている。

【０００４】これらのシステムはテキスト画像または静
止画像の全体または一部に対して関連情報間とリンクを
張るものである。

【０００５】なお、このリンクを張る際の対象は一般に
オブジェクトと呼ばれる。

【０００６】さらに従来より、画像情報のデータベース
システムは静止画像を中心としたものであった。

【０００７】しかし、近年、光ディスクや光磁気ディス
クに代表される安価な大容量記憶デバイスの開発や高速
ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉ
ｔ），ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏ
ｃｅｓｓｏｒ）などの演算専用ＬＳＩの開発、および、
高効率な動画像符号化方式の提案に伴い動画像も扱える
データベースシステムの開発が進められている。

【０００８】このようなデータベースシステムは、一般
にマルチメディアデータベースと呼ばれており、以下の
２種に大別できる。１つは、読み出し専用システムであ
り、ＣＤ−ＲＯＭなどのパッケージメディアに蓄積し供
給されるソフトを運用するものである。もう１つは、読
み出し／編集／書き込みが自在にできるシステムであ
り、希望する画像情報を効率よく選択する手段、すなわ
ち効率のよい検索手段が必要になる。

【０００９】しかし、動画像は静止画像に比べて多くの
情報を含んでおり、かつ情報の性格も静止画像とは大き
く異なるため、従来の静止画やテキストに対する検索手
段として一般的だったキーワード検索では、画像中の物
体の動きやシーンチェンジおよびストーリーなどの、動
画像特有の特徴記述という点で限界がある。

【００１０】そこで、動画像情報の新しい検索手段とし
て、視覚情報を利用した色々な方法が検討／提案されて
いる（電子情報通信学会技術研究報告 ＩＥ８９−３
３）。

【００１１】図５は、複数の縮小動画像情報を同時に表
示し、所望の動画像を得る方法を示している。本図中の
１０１〜１０６は各々異なる動画像情報ファイルであ
り、１０９はこれらの動画像情報ファイルを縮小して同
時表示した場合の表示画面の様子、１１０〜１１５は各
々動画像１０１〜１０６の縮小された表示画像を示して
いる。

【００１２】図６は、図５に示したシステムを具体的に
実現する手段を示すものである。本図中の３０１〜３０
６は各々磁気ディスクや光ディスクなどによりなる記憶
デバイスであり、各記憶デバイス３０１〜３０６には個
々に動画像１０１〜１０６（図２参照）が圧縮された符
号化データ形式で蓄積されている。

【００１３】また、図６中の３０７〜３１２は記憶デバ
イス３０１〜３０６より読み出された各動画像符号化デ
ータを一時格納する符号化データバッファであり、各動
画像符号化データは必ずしも同一タイミングで読み出さ
れる訳ではないために、各動画像符号化データの同期を
取るものである。

【００１４】また図６中の３１３〜３１７は、各動画像
符号化データを表示可能な元の画像データに戻す復号器
である。さらに、３１９は、復号された各画像データを
一つの動画像として表示するために同時表示可能なサイ
ズにまで各動画像を縮小する縮小器である。３２０は表
示のためのフレームメモリ、３２１は表示装置である。

【００１５】

【発明が解決しようとする課題】動画像情報の検索にお
いては、いかにして短時間かつ正確に内容を把握するか
が重要であり、従来例では複数の画像情報から希望する
画像情報を選択するには適しているが、図３から判るよ
うに、同時表示される各動画像は各々異なる記憶媒体ま
たは記憶デバイスに格納されていなければならず、シス
テム規模は必然的に大きくならざるを得ないという欠点
がある。しかも、同一の記憶媒体または記憶デバイスに
記憶されている動画像情報は、同時には表示し得ないと
いうシステム的な欠陥がある。

【００１６】さらに、記憶媒体または記憶デバイスを効
率的かつ高速に活用するために、符号化（圧縮ともい
う）したデータを蓄積するのが通常であり、記憶媒体ま
たは記憶デバイスから読み出した圧縮データを表示する
ためには復号化しなければならない。

【００１７】しかし、高い符号化効率を実現するため、
その符号化手法（例えば、ＩＳＯ標準化手法ＭＰＥＧ）
は複雑であり、実時間で完全な情報を復号化することは
困難である。

【００１８】よって、本発明の第１の目的は、上述の点
に鑑み、簡易なシステム構成にも拘りなく、複数の動画
像情報を迅速に処理して、必要とされる動画像情報の同
時表示を可能とした動画像情報表示装置を提供すること
にある。

【００１９】また、本発明の第２の目的は、同一記憶デ
バイス上に蓄積されている複数の動画像情報を同時に表
示し、検索用動画像表示を行うことを可能とした動画像
情報表示装置を提供することにある。

【００２０】

【課題を解決するための手段】かかる目的を達成するた
めに本発明は、複数の動画像情報を表示する動画情報表
示装置において、符号化された前記動画像情報から特定
の復号化対象フレームを識別する手段と、識別された当
該特定の復号化対象フレームを復号する手段とを備え、
複数の動画像を同時表示する際に、当該特定の復号化対
象フレームを識別・復号して表示するものである。

【００２１】

【作用】本発明によれば、符号化データ中、検索に必要
かつ同時表示可能な一部データ（具体的には、リフレッ
シュフレーム）のみを用いることで、同一記憶デバイス
上に蓄積されている複数の動画像情報を同時に表示し、
検索用動画像表示を行うことができる。

【００２２】

【実施例】以下、本発明の実施例を詳細に説明する。

【００２３】図１は、本発明の一実施例全体を示す図面
であり、同図において１０１〜１０６は各々異なる動画
像情報ファイルである。

【００２４】図１中の１０７，１０８および同一の表記
で示すものは、各動画像情報中のリフレッシュフレーム
と称する、ある特定のフレームであり、このリフレッシ
ュフレームとリフレッシュフレームの間が動画像情報１
０１〜１０６を符号化する際の一つの符号化単位となっ
ている。

【００２５】１０９はこれらは動画像情報ファイルを縮
小して同時表示した場合の表示画面、１１０〜１１５は
各々動画像情報１０１〜１０６の縮小された画像を示し
ている。

【００２６】図２は、図１に示したシステムを具体的に
実現する手段を示すものである。

【００２７】図２中の４０１は磁気ディスクや光ディス
クなどよりなる記憶デバイスであり、この記憶デバイス
４０１には複数の動画像情報１０１〜１０６が、圧縮さ
れた符号化データ形式で蓄積されている。

【００２８】また図中の４０２は、記憶デバイス４０１
より読み出された各動画像符号化データ１０１〜１０６
を一時格納する符号化データバッファであり、各動画像
符号化データ１０１〜１０６は必ずしも同一タイミング
で読み出される訳ではないために、各動画像符号化デー
タ１０１〜１０６の同期を取るものである。

【００２９】図中の４０３は識別コード判別器であり、
復号化の対象となるフレーム（具体的には、リフレッシ
ュフレーム）を識別して抽出するものであり、通常はコ
ードテーブルとの一致／不一致を監視することにより実
現可能である。なお、識別コードについては図４におい
て詳細に述べる。

【００３０】図中の４０４は、各動画像符号化データ１
０１〜１０６中から、先に説明したリフレッシュフレー
ムに関する符号化データのみを復号化する一部データ復
号器であり、近年盛んに用いられるＤＣＴ（ディスクリ
ートコサイン変換）符号化方式を適用したものであれ
ば、積和演算器を中心に構成された処理器により逆ＤＣ
Ｔを施し復号可能である。

【００３１】さらに、３１９は復号された各画像データ
を一つの動画像として表示するために同時表示可能なサ
イズにまで各動画像を縮小する縮小器であり、３２０は
表示するためのフレームメモリ、３２１は表示装置であ
る。

【００３２】図３は、図１および図２で説明した内容に
ついてさらに詳細に説明を加えるものであり、一般的な
動画像情報の符号化方式を示している。これにより、リ
フレッシュフレームとその他のフレームの関係を明確に
する。

【００３３】図３中の５０１，５０２はリフレッシュフ
レームであり、本実施例では１５フレーム周期としてあ
る。このリフレッシュフレームは一般にＤＣＴ（離散コ
サイン変換符号化）などにより１枚の静止画像として符
号化されるもので、原画像の情報を比較的良好に保存し
ているものである。

【００３４】５０３および同一の表記をしているもの
は、予測符号化によって符号化された予測フレームであ
り、第４フレーム５０３はリフレッシュフレーム５０１
である第１フレームを元に予測し、第７フレームは予測
された第４フレーム５０３を元に予測する、というよう
に順次符号化されるものである。

【００３５】５０４，５０５および同一の表記をしてい
るフレーム画像は、復号時に前後のフレーム画像を基に
補間して得られるものであり、直接的な符号化データと
しては存在しない。

【００３６】補間フレーム画像５０４の補間に際して
は、５０７に示すように直前のフレーム画像５０１と２
フレーム先の画像５０３を参照し、補間フレーム画像５
０５の補間に際しては５０８に示すように２フレーム前
の画像５０１と直後のフレーム画像５０３を参照する。

【００３７】以下のフレームに対しても同様の処理を施
すことで、再現されるものである。

【００３８】以上述べてきた図３に関する説明からわか
るように、全フレーム画像を復号するには既に復号した
フレーム画像を用いるために、復号化に多くの処理時間
を要する。

【００３９】図４は符号化されたデータを記憶媒体また
は記憶デバイス４０１（図２参照）に蓄積する際のデー
タ構造を示しており、階層的な構成となっている。

【００４０】図中の６０１は最大の管理単位である動画
像情報ファイルを示しており、これまでに説明した動画
像符号化データ１０１〜１０６の各々に相当するもので
ある。

【００４１】６０２はファイル管理情報であり、動画像
情報ファイル６０１の関する各種属性データ、例えば、
動画像情報ファイルであることの識別コード，画像サイ
ズ（水平画素数，垂直画素数）、フレームレートなどが
表記されている。

【００４２】６０３はリフレッシュフレーム５０１から
次のリフレッシュフレーム５０２までを１単位とするフ
レーム集合であり、図３で説明したとおり符号化の際に
は最上位単位となっている。

【００４３】図中（Ｂ）は各フレーム集合６０３のデー
タ構造を示している。６０４はファイル管理情報であ
り、フレーム集合に関する各種属性データ（識別コー
ド，フレームのサイクル，動き補償に関する情報など）
が表記されている。

【００４４】６０５はフレーム集合中の各フレームのデ
ータであり、本実施例ではリフレッシュフレームを１５
フレームサイクルとして説明しているため、第１フレー
ムから第１５フレームまでの各フレーム情報が格納され
ることになる。ただし、本実施例において必要とされる
ものは、これら１５フレーム中第１フレーム、すなわち
リフレッシュフレームに関する符号化データのみであ
る。

【００４５】図中（Ｃ）は、各フレーム６０５のデータ
構造を示している。

【００４６】６０６はファイル管理情報であり、フレー
ム情報に関する各種属性データ（識別コード，符号化手
法など）が表記されている。

【００４７】なお、各フレーム画像はサイズ８×８程度
の多数の小さな画素ブロックに分割された後、各画素ブ
ロック単位で符号化するのが一般的であり、６０７はこ
れらの各画素ブロックのデータである。

【００４８】図中（Ｄ）は各画素ブロック６０７のデー
タ構造を示している。６０８はファイル管理情報であ
り、画素ブロック情報に関する属性データ（識別コー
ド，符号化手法など）が表記されている。６０９は具体
的な符号化データであり、ＤＣＴ符号化であればＤＣ成
分に関するデータ、ＡＣ成分に関するデータなどが表記
されるものである。

【００４９】他の実施例 次に、他の実施例について説明する。

【００５０】これまで述べた実施例においては、同時表
示する動画像情報ファイルの数を６として説明したが、
これに限定することはない。ただし、これらの数を多く
すれば一般に、図２中、符号化データバッファ４０２等
のハードウェア規模は大きくなったり、一部データ復号
器４０４や縮小器３１９等に処理の高速性が要求される
ようになる。

【００５１】上記実施例では、リフレッシュフレームを
１５フレームサイクルとしたが、これに限定することは
なく、一般にフレームサイクルを大きく設定すれば符号
化効率は向上するが画質劣化がより顕著になり、逆にフ
レームサイクルを小さく設定すれば符号化効率は低下す
るが画質は良好となる。

【００５２】上記実施例においては、符号化手法をＤＣ
Ｔや予測符号化としたがこれに限定することはなく、符
号化効率，画質，処理時間，データ互換性等を考慮の
上、最適な手法が選択されるべきものである。

【００５３】上記実施例において、図２中に符号化デー
タバッファ４０２を用いたが、記憶デバイスが高速化さ
れるかまたは大容量半導体メモリ等への置き換えが可能
になれば不要となる可能性がある。

【００５４】上記実施例において、図２中に示した一部
データ復号器４０４は、実際のシステムにおいては特別
に備えるのではなく、全情報を復号する機能を備えた復
号器（図６の３１３に相当）を兼用する形態をとるのが
一般的であろう。

【００５５】上記実施例においては、同時表示を行う際
に各動画像を空間的に縮小したが、縮小しなくても同時
表示可能な大きさの表示装置が使用可能ならばこの限り
ではない。

【００５６】上記実施例において、復号化されるフレー
ムはリフレッシュフレームのみとしたが、他の予測フレ
ームも復号しても構わないが、この場合は絶対的当然処
理速度は低下する。ただし、これに見合うコスト，高速
処理が可能になれば、より動きのスムーズな画像が得ら
れる。

【００５７】上記実施例においては、一連の処理をハー
ドウェアで処理するかのように示したが、ＣＰＵ等を用
いたソフトウェア処理も可能なことはいうまでもない。
一般的にハードウェアで実現した場合は高速処理が可能
になり、ソフトウェアにより処理した場合は比較的安価
に実現可能となる。

【００５８】

【発明の効果】以上説明したとおり、本発明によれば、
複数の動画像情報を同時に表示する際に、表示対象とな
る各動画像情報の全フレーム情報を復号するのではな
く、使用目的（検索）上必要かつ同時表示可能な一部デ
ータ（一部フレーム）のみを復号して表示することで、
動画像情報の記憶媒体または記憶デバイスの共有が可能
になると同時に、従来ではなし得なかった高度な機能
（複数動画像の同時表示）を廉価かつコンパクトなシス
テムにおいて実現することが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例全体を示す説明図である。

【図２】本実施例を説明する機能ブロック図である。

【図３】本実施例に用いた動画像符号化方式の説明図で
ある。

【図４】動画像符号化データのデータ構造を示す図であ
る。

【図５】従来例を説明する図である。

【図６】従来例を説明する機能ブロック図である。

【符号の説明】

１０１〜１０６ 動画像情報ファイル（動画像符号化デ
ータ） １０７，１０８，５０１，５０２ リフレッシュフレー
ム ４０３ 識別コード判別器 ４０４ 一部データ復号器 ６０１ 動画像情報ファイル ６０２ フレーム集合 ６０５ フレーム ６０７ 画素ブロック

Claims (1)

1. 【特許請求の範囲】 【請求項１】 複数の動画像情報を表示する動画情報表
   示装置において、 符号化された前記動画像情報から特定の復号化対象フレ
   ームを識別する手段と、 識別された当該特定の復号化対象フレームを復号する手
   段とを備え、 複数の動画像を同時表示する際に、当該特定の復号化対
   象フレームを識別・復号して表示することを特徴とする
   動画像情報表示装置。