JPH0520368A - 動画像情報処理方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 複数の動画像情報の各一部を迅速に同時表示
すること。 【構成】 符号化データバッファ８０２内の特定の符号
化データがまとめて蓄積された各動画像符号化データか
ら識別コード判別器８０３によって復号化の対象となる
フレームを識別し抽出し、抽出したフレームの特定の符
号化データを一部データ復号器８０４で復号し、フレー
ムメモリ３２０を介して表示装置３２１に同時表示す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は例えば動画像データベー
スから必要な動画像情報を検索する際に用いる動画像情
報処理方法および装置に関する。

【０００２】

【従来の技術】従来より既存情報を効率的に活用する手
段として、情報を蓄積／検索するデータベースシステム
が利用されてきた。このようなデータベースシステムは
蓄積された情報をキーワードにより検索するリレーショ
ナルデータベース方式が多く、キーワードの登録／運用
方法にシステムの機能／能力／規模が大きく左右される
等の問題が有った。

【０００３】近年、これに代わり、蓄積された情報をよ
りダイナミックかつ直接的に関連付けをする（リンクを
張る）オブジェクト指向データベースシステムが提案さ
れ、ハイパーテキストまたはハイパーメディアとして一
般に知られている。

【０００４】これらのシステムはテキスト画像または静
止画像の全体又は一部に対して関連情報間とリンクを張
るものである。

【０００５】尚、このリンクを張る際の対象は一般にオ
ブジェクトと呼ばれる。

【０００６】更に従来より、画像情報のデータベースシ
ステムは静止画像を中心としたものであった。

【０００７】しかし近年、光ディスクや光磁気ディスク
に代表される安価な大容量記憶デバイスの開発や高速Ｍ
ＰＵ（Ｍicro Ｐrocessing Ｕnit ）、ＤＰＳ（Ｄigit
alＳignal Ｐrocessor）等の演算専用ＬＳＩの開発、及
び高効率な動画像符号化方式の提案に伴い動画像も扱え
るデータベースシステムの開発が進められている。

【０００８】このようなデータベースシステムは一般に
マルチメディアデータベースと呼ばれており２種に大別
できる。１つは読みだし専用システムであり、ＣＤ−Ｒ
ＯＭ等のパッケージメディアに蓄積し供給されるソフト
を運用するものである。もう１つは読みだし／編集／書
き込みが自在に出来るシステムであり、希望する画像情
報を効率よく選択する手段即ち効率のよい検索手段が必
要になる。

【０００９】しかし、動画像は静止画像に比べて多くの
情報を含んでおり、かつ情報の性格も静止画像とは大き
く異なる為、従来の静止画やテキストに対する検索手段
として一般的だったキーワード検索では画像中の物体の
動きやシーンチェンジ及びストーリー等の動画像特有の
特徴記述という点で限界が有る。

【００１０】そこで、動画像情報の新しい検索手段とし
て、視覚情報を利用した色々な方法が検討／提案されて
いる（電子情報通信学会技術研究報告 ＩＥ８９−３
３）。

【００１１】図２は、複数の縮小動画像情報を同時に表
示し所望の動画像を得る方法を示している。図中２０１
〜２０６は各々異なる動画像情報ファイルであり、２０
７はこれらの動画像情報ファイルを縮小し同時表示した
場合の表示画面、２０８〜２１３は各々動画像２０１〜
動画像２０６の縮小された画像を示している。

【００１２】図３は、図２に示したシステムを具体的に
実現する手段を示すものである。

【００１３】図中３０１〜３０６は各々磁気ディスクや
光ディスク等よりなる記憶デバイスであり、各記憶デバ
イス３０１〜３０６には個々に動画像２０１〜２０６が
圧縮された符号化データ形式で蓄積されている。

【００１４】また図中３０７〜３１２は記憶デバイス３
０１〜３０６より読み出された各動画像符号化データを
一時格納する符号化データバッファであり、各動画像符
号化データは必ずしも同一タイミングで読み出される訳
ではない為に、各動画像符号化データの同期を取るもの
である。

【００１５】また図中３１３〜３１７は各動画像符号化
データを表示可能な元の画像データに戻す復号器であ
る。更に、３１９は復号された各画像データを一つの動
画像として表示するために同時表示可能なサイズにまで
各動画像を縮小する縮小器であり、３２０は表示するた
めのフレームメモリ、３２１は表示装置である。

【００１６】図４は、一般的な動画像情報の符号化方式
を示しており、一定フレーム間隔毎に設定されるリフレ
ッシュフレームから次のリフレッシュフレームを１サイ
クルとして符号化するものである。

【００１７】図中４０１，４０２はリフレッシュフレー
ムであり、本実施例では１５フレーム周期としている。
このリフレッシュフレームは一般にＤＣＴ（離散コサイ
ン変換符号化）等により一枚の静止画像として符号化さ
れるもので原画像の情報を比較的良好に保存しているも
のである。

【００１８】４０３及び同一の表記をしているものは予
測符号化によって符号化された予測フレームであり、第
４フレーム４０３はリフレッシュフレーム４０１である
第１フレームを元に予測し、第７フレーム４０９は予測
された第４フレーム４０３を元に予測する、というよう
に順次符号化されるものである。

【００１９】４０４，４０５及び同一の表記をしている
フレーム画像は、復号時に前後のフレーム画像を基に補
間して得られるものであり、直接的な符号化データとし
ては存在しない。補間フレーム画像４０４の補間に際し
ては４０７に示すように直前のフレーム画像４０１と２
フレーム先の画像４０３を参照し、補間フレーム画像４
０５の補間に際しては４０８に示すように２フレーム前
の画像４０１と直後のフレーム画像４０３を参照する。
以下のフレームに対しても同様の処理を施すことで再現
されるものである。

【００２０】以上の図４に関する説明からわかるよう
に、全フレーム画像を復号するには既に復号したフレー
ム画像を用いるために、復号化に多くの処理時間を要す
る。

【００２１】図５は符号化されたデータを記憶媒体又は
記憶デバイスに蓄積する際のデータ構造を示しており、
階層的な構成となっている。

【００２２】図中５０１は最大の管理単位である動画像
情報ファイルを示しており、これまでに説明した動画像
符号化データ（２０１〜２０６）の各々に相当するもの
である。５０２はファイル管理情報であり、動画像情報
ファイル５０１に関する各種属性データ例えば、動画像
情報ファイルであることの識別コード、画像サイズ（水
平画素数、垂直画素数）、フレームレート等が表記され
ている。５０３はリフレッシュフレーム４０１から次の
リフレッシュフレーム４０２までを１単位とするフレー
ム集合であり、図４で説明したとおり符号化の際には最
上位単位となっている。

【００２３】図中（Ｂ）は各フレーム集合５０３のデー
タ構造を示している。５０４はファイル管理情報であ
り、フレーム集合に関する各種属性データ（識別コー
ド、フレームのサイクル、動き補償に関する情報等）が
表記されている。５０５はフレーム集合中の各フレーム
のデータであり、本実施例ではリフレッシュフレームを
１５フレームサイクルとして説明しているため、第一フ
レームから第十五フレームまでの各フレーム情報が格納
されることになる。但し、各フレームに対しては図４に
示したように各々に応じた符号化手法が施される。

【００２４】図中（Ｃ）は各フレーム５０５のデータ構
造を示している。５０６はファイル管理情報であり、フ
レーム情報に関する各種属性データ（識別コード、符号
化手法等）が表記されている。尚、各フレーム画像はサ
イズ８×８程度の多数の小さな画素ブロックに分割され
た後、各画素ブロック単位で符号化するのが一般的であ
り５０７はこれらの各画素ブロックのデータである。

【００２５】図中（Ｄ）は各画素ブロック５０７のデー
タ構造を示している。５０８はファイル管理情報であ
り、画素ブロック情報に関する属性データ（識別コー
ド、符号化手法等）が表記されている。５０９は具体的
な符号化データであり、ＤＣＴ符号化データ中のＤＣ成
分に関するデータ、同様に５１０はＡＣ成分に関するデ
ータが表記されるものである。

【００２６】

【発明が解決しようとする課題】動画像情報の検索に於
いては如何にして短時間かつ正確に内容を把握するかが
重要であり、従来例では複数の画像情報から希望する画
像情報を選択するには適しているが、図３から判るよう
に、同時表示される各動画像は各々異なる記憶媒体又は
記憶デバイスに格納されていなければならず、システム
規模は必然的に大きくならざるを得ない。しかも、同一
の記憶媒体又は記憶デバイスに記憶されている動画像情
報は同時には表示し得ないという、システム的欠陥があ
る。

【００２７】更に、記憶媒体又は記憶デバイスを効率的
かつ高速に活用するために、符号化（圧縮ともいう）し
たデータを蓄積するのが通常であり、記憶媒体又は記憶
デバイスから読み出した圧縮データを表示するためには
復号化しなければならない。

【００２８】しかし、高い符号化効率を実現するため、
その符号化手法（例、ＩＳＯ標準化手法ＭＰＥＧ）は複
雑であり実時間で完全な情報を復号化することは困難で
ある。

【００２９】一般に磁気ディスク等の記憶デバイスに於
ては、物理的な記憶領域をトラック（同心円方向）／セ
クタ（回転角方向）という概念により区分しており、そ
のセクタ長は２５６バイトまたは５１２バイトとなって
いる。通常、蓄積すべきデータをどのトラックのどのセ
クタに記憶するかは、ディスクコントローラの管理の元
に決定され、ランダム（このほうが効率がよい）に配置
される場合が多い。この事は読み出し対象となるデータ
が多くのセクタに渡っているとディスクのシーク時間が
大きくなり読みだし効率が低下する事を意味する。

【００３０】そこで本発明の目的は以上のような問題を
解消した動画像情報処理装置を提供することにある。

【００３１】

【課題を解決するための手段】上記目的を達成するため
本発明は符号化された複数の動画像情報の各々について
特定の復号化対象フレームの特定の符号化データをまと
めて蓄積する蓄積手段と、該蓄積手段からとり出した各
符号化データから動画像情報を復号する復号手段と、該
復号手段によって複合された複数の動画像情報を同時に
表示する手段とを具えたことを特徴とし、さらに符号化
された複数の動画像情報の各々について特定の復号化対
象フレームの特定の符号化データをまとめて蓄積し、該
蓄積された各符号化データから動画像情報を復号し、該
復号された複数の動画像情報を同時に表示することを特
徴とする。

【００３２】

【作用】本発明によれば複数の動画像情報の各々から同
時表示可能な一部の情報がとり出され、迅速に同時表示
が行なわれる。

【００３３】

【実施例】図１は本発明の特徴を最も良く表す図面であ
り、磁気ディスク等の記憶デバイス上に記憶される物理
的な様子を示すものである。図中１０１は磁気ディスク
盤であり、１０２は磁気ディスク盤１０１上のあるセク
タを表しており、１０３はディスクの回転方向を示して
いる。

【００３４】図中（Ｂ）は従来方式によるセクタ１０２
へのデータ書き込みの様子を示しており、１０２は
（Ａ）で示したセクタと同一のものであり、１セクタ当
り２５６バイトまたは５１２バイトの記憶エリアにより
構成されるのが一般的である。図中１０４，１０５は各
々フレーム画像中の第ｉ番目の画素ブロックをＤＣＴ符
号化した際のＤＣ成分とＡＣ成分であり、以降次の第ｉ
＋１番目画素ブロックのＤＣ成分／ＡＣ成分というよう
に、画素ブロック毎に記憶されていく。

【００３５】図中（Ｃ）は本実施例によるセクタ１０２
への書き込みの様子を示しており、１０４は（Ｂ）と同
様にフレーム画像中の第ｉ番目の画素ブロックをＤＣＴ
符号化した際のＤＣ成分、１０６はフレーム画像中の第
ｉ＋１番目の画素ブロックをＤＣＴ符号化した際のＤＣ
成分であり、図からもわかるようにＤＣＴ成分単位で記
憶されていく。尚、ＡＣ成分に対しても同様の記憶方式
がとられているものである。

【００３６】尚、ＤＣ成分／ＡＣ成分共に各々１つのセ
クタに全ブロック分を記憶できるものではないため複数
のセクタに分散されることになる。但し、その数は従来
方式に比較すれば充分に小さいものである。

【００３７】このような記憶方式を採用することで、磁
気ディスク固有のシーク時間による時間損失を最小限に
しつつ、複数の縦横１／８縮小動画像を得るものであ
る。

【００３８】図６は本実施例における動画像符号化デー
タのデータ構造を示す図面であり、図中図５と同一の項
目に対しては同一の番号を付してあり、これに関する説
明も略すものとする。

【００３９】図６に於て図５と異なる点はフレーム単位
のデータ構造であり、図６（Ｃ）に示すとおり符号化デ
ータをブロック毎ではなく、ＤＣＴ符号化結果のＤＣ成
分集合とＤＣＴ符号化結果のＡＣ成分集合に分けて各々
を一括管理するところにある。

【００４０】以下、図面に従って説明する。図中６０１
は各フレームをＤＣＴ符号化した際のＤＣ成分ばかりを
集めて並べ替えたＤＣＴ−ＤＣ成分集合であり、６０２
は同様にＤＣＴ−ＡＣ成分集合である。

【００４１】６０３はファイル管理情報であり、ＤＣＴ
−ＤＣ成分集合に関する各種属性データ（識別コード
等）が表記されている。６０４は各々、フレーム中の各
画素ブロックをＤＣＴ符号化した際のＤＣ成分である。
尚、ＤＣＴ符号化を施した際のＤＣ成分とは画素ブロッ
ク中のいわゆる直流成分であり、これは画素ブロックの
平均画素値と等価である。従って、画素ブロックをその
ＤＣ成分と置き換えることで１対のブロックサイズの縮
小画像、即ち本実施例の場合であれば縦横１／８縮小画
像を得ることが出来るものである。

【００４２】同様に６０５はファイル管理情報であり、
ＤＣＴ−ＡＣ成分集合に関する各種属性データ（識別コ
ード等）が表記されている。６０６は各々、フレーム中
の各画素ブロックをＤＣＴ符号化した際のＡＣ成分であ
る。但し、本実施例に限っては利用しないため特に意味
を持たない。

【００４３】図７は本発明の特徴を最も良く表す図面で
あり、同図において２０１〜２０６は各々異なる動画像
情報ファイルである。

【００４４】図中７０１，７０２及び同一の表記で示す
ものは各々各動画像情報中のリフレッシュフレームと称
する、ある特定のフレームであり、このリフレッシュフ
レームとリフレッシュフレームの間が動画像情報２０１
〜２０６の符号化の際の一つの符号化単位となってい
る。

【００４５】また２０７はこれらの動画像情報ファイル
を縮小し同時表示した場合の表示画面、２０８〜２１３
は各々動画像２０１〜動画像２０６の縮小された画像を
示している。

【００４６】図８は、図７に示したシステムを具体的に
実現する手段を示すものである。

【００４７】図中８０１は磁気ディスクや光ディスク等
よりなる記憶デバイスであり、記憶デバイス８０１には
複数の動画像符号化データ２０１〜２０６が圧縮された
符号化データ形式で蓄積されている。

【００４８】また図中８０２は記憶デバイス８０１より
読み出された各動画像符号化データ２０１〜２０６を一
時格納する符号化データバッファであり、各動画像符号
化データ２０１〜２０６は必ずしも同一タイミングで読
み出される訳ではない為に、各動画像符号化データ２０
１〜２０６の同期を取るものである。

【００４９】図中８０３は識別コード判別器であり、復
号化の対象となるフレーム（具体的にはリフレッシュフ
レーム）を識別し抽出するものであり、通常はコードテ
ーブルとの一致／不一致を監視することにより実現可能
である。尚、識別コードについては図５において詳細に
述べた。

【００５０】また図中８０４は各動画像符号化データ２
０１〜２０６中から、先に説明した所のリフレッシュフ
レームに関する符号化データのみを復号化する一部デー
タ復号器であり、近年盛んに用いられるＤＣＴ（ディス
クリートコサイン変換）符号化方式を適用したものであ
れば積和演算器を中心に構成された処理器により逆ＤＣ
Ｔを施し復号可能である。

【００５１】３２０は表示する復号化データを記憶する
ためのフレームメモリ、３２１はフレームメモリ３２０
内のデータを表示するための表示装置である。

【００５２】（他の実施例）前記実施例に於いては、同
時表示する動画像情報ファイルの数を６として説明した
がこれに限定することはない。但し、これらの数を多く
すれば一般に、図８中の符号化データバッファ８０２等
のハードウエア規模は大きくなったり、一部データ復号
器８０３や縮小器３１９等に処理の高速性が要求される
ようになる。

【００５３】前記実施例では、リフレッシュフレームを
１５フレームサイクルとしたがこれに限定することはな
く、一般にフレームサイクルを大きく設定すれば符号化
効率は向上するが画質劣化がより顕著になり、逆にフレ
ームサイクルを小さく設定すれば符号化効率は低下する
が画質は良好となる。

【００５４】前記実施例において、符号化手法をＤＣＴ
や予測符号化としたがこれに限定することはなく、符号
化効率、画質、処理時間、データ互換性等を考慮の上、
最適な手法が選択されるべきものである。

【００５５】前記実施例において、図８中符号化データ
バッファを用いたが記憶デバイスが高速化されるか又は
大容量半導体メモリ等への置き換えが可能になれば不要
となる可能性がある。

【００５６】前記実施例において、図８中に示した一部
データ復号器８０４は、実際のシステムにおいては特別
に備えるのではなく、全情報を復号する機能を供えた復
号器（図３の３１３相当品）を兼用する形態をとるのが
一般的であろう。

【００５７】前記実施例において、復号化されるフレー
ムはリフレッシュフレームのみとしたが、他の予測フレ
ームも復号しても構わないが、この場合は絶対的に当然
処理速度は低下する。但しこれに見合うコスト、高速処
理が可能になればより動きのスムーズな画像が得られ
る。

【００５８】前記実施例において、一連の処理をハード
ウエアで処理するかのように示したが、ＣＰＵ等を用い
たソフトウエア処理も可能なことは言うまでもない。一
般的にハードウエアで実現した場合は高速処理が可能に
なり、ソフトウエアにより処理した場合は比較的安価に
実現可能となる。

【００５９】

【発明の効果】以上説明したように、本発明によれば複
数の動画像情報をきわめて迅速に処理して同時表示する
ことができる。また本発明により動画像情報の記憶媒体
又は記憶デバイスの共有が可能になると同時に、自動的
に縮小画像の同時表示が可能になった。更に、従来では
なし得なかった高度な機能（複数動画像の同時表示）を
低価格かつコンパクトなシステムにおいて実現すること
が可能になった。

【図面の簡単な説明】

【図１】記憶媒体の説明図およびデータ構造を示す図で
ある。

【図２】従来例を説明するブロック図である。

【図３】従来例を説明する機能ブロック図である。

【図４】動画像符号化方式の説明図である。

【図５】従来の動画像符号化データ構造を示す図であ
る。

【図６】本発明における動画像符号化データ構造を示す
図である。

【図７】本発明実施例の主要部を説明する図である。

【図８】本発明実施例のブロック図である。

【符号の説明】

１０２ 記憶デバイス上のセクタ ２０１〜２０６ 動画像情報ファイル（動画像符号化デ
ータ） ４０１，４０２，７０１，７０２ リフレッシュフレー
ム ５０１ 動画像情報ファイル ５０２ フレーム集合 ５０５ フレーム ５０７ 画素ブロック ６０１ ＤＣＴ−ＤＣ成分集合 ６０２ ＤＣＴ−ＡＣ成分集合 ８０３ 識別コード判別器 ８０４ 一部データ復号器

Claims (2)

【特許請求の範囲】
1. 【請求項１】 符号化された複数の動画像情報の各々に
   ついて特定の復号化対象フレームの特定の符号化データ
   をまとめて蓄積する蓄積手段と、該蓄積手段からとり出
   した各符号化データから動画像情報を復号する復号手段
   と、該復号手段によって復号された複数の動画像情報を
   同時に表示する手段とを具えたことを特徴とする動画像
   情報処理装置。
2. 【請求項２】 符号化された複数の動画像情報の各々に
   ついて特定の復号化対象フレームの特定の符号化データ
   をまとめて蓄積し、該蓄積された各符号化データから動
   画像情報を復号し、該復号された複数の動画像情報を同
   時に表示することを特徴とする動画像情報処理方法。