JPH0630442A - 画像符号化／復号装置及び画像区分方法 - Google Patents

Abstract

(57)【要約】 【目的】 圧縮された動きを伴うビデオ画像を実時間で
圧縮を解除し、表示させるのに十分な計算能力を有する
アーキテクチャを提供すること。 【構成】 複数の計算モジュール、好ましい実施例で
は、並列に結合される合わせて４つの計算モジュールを
具備する。それぞれの計算モジュールはプロセッサと、
デュアルポートメモリと、スクラッチパッドメモリと、
アービトレーションメカニズムとを有する。第１のバス
は計算モジュールとホストプロセッサとを結合する。最
後に、装置は、第２のバスによってホストプロセッサ
と、計算モジュールとに結合されている共用メモリを具
備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオイメージングシス
テムに関し、特に、ビデオ符号化／復号化のための改良
された方法及び装置に関する。

【０００２】

【従来の技術】記憶装置に課される必要条件のため、ビ
デオメイル、テレビ電話、ビデオテレコンファレンス、
イメージデータベース走査、マルチメディアなどの適用
用途におけるフルモーションビデオについて、近年、ビ
デオ圧縮に関する規格を導入することが要求されてき
た。３５ｍｍスライド品質分解能をもつ１つの画像をコ
ンピュータシステムで表示するためには、５０メガバイ
トのデータが必要である（この数は、水平×垂直分解能
にフルカラーレンジを表示するためのビット数を乗算す
ることにより得られる。すなわち、４０９６×４０９６
×８×３［Ｒ＋Ｇ＋Ｂ］１８＝５０３３，１６４８バイ
ト）。７２０×４８０個の画素を含むデジタル化ＮＴＳ
Ｃ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａ
ｎｄａｒｄｓＣｏｍｍｉｔｔｅｅ）品質の１つのフレー
ムは、その画像を表示するために約二分の一メガバイト
のデジタルデータ（画素ごとに７２０×４８０×１．５
バイト）を必要とする。従って、毎秒約３０フレームで
動作するＮＴＳＣシステムでは、デジタル化ＮＴＳＣ品
質ビデオは毎秒約１５．５５２メガバイトのデータを生
成することになる。圧縮を行わない場合、アクセス時間
が毎秒２メガバイトで、記憶能力は１ギガバイトである
と仮定すると、ａ．６５秒間の生ビデオをディスクに記
憶し、それを毎秒３フレームの速度で再生すること；及
びｂ．２１の高画質スチル画像を記憶し、そのような画
像の１つを２４秒かけて記憶又は検索することが可能で
ある。毎秒２００メガビットの帯域幅を伴ってファイバ
分散データインタフェース（ＦＤＤＩ）を利用できるも
のと仮定すると、１．５チャネル分のライブビデオを受
容するか、あるいは、２秒ごとに１つの速度で３５ｍｍ
画質のスチル画像を伝送することができる。ビデオを含
む製品に関わる分散形と思われる媒体であるＣＤ−ＲＯ
Ｍにおいて現在利用できる技術によれば、現時点での転
送速度は毎秒約０．１８メガバイトである。近い将来、
ＣＤ−ＲＯＭについて毎秒０．３７メガバイトが得られ
るようになるであろう。

【０００３】例を示して説明するために、水平分解能及
び垂直分解能と、フレーム速度について可変パラメータ
を挙げ、各画素を表示するために２４ビットを使用する
ものと仮定する。Ｄは縦又は横の寸法を表し、縦横比は
４：３であると仮定する。フレーム速度及び画像サイズ
の関数としての毎秒メガバイト単位のデータ転送速度は
次の通りである。

【０００４】 少し異なる方法で明確に表すと、６００メガバイトのデ
ィスクへの記憶時間（分）は次のようになる。

【０００５】 データ転送速度と記憶装置を考慮すると、フルモーショ
ンビデオを実現するためにデータの圧縮が必要であるこ
とは自明である。

【０００６】このような記憶と転送速度の問題を考える
と、記憶の量を減少させると共に、ＮＴＳＣにごく近い
画質でフルモーションビデオを表示するのに必要なスル
ープットを向上させるためには、何らかの形態のビデオ
圧縮が要求される。写真画像や、さらに大きな割合で動
きのある画像は、一般的には、多量の反復、スムースな
モーション、冗長情報を含む情報を表している。それに
相当する語句で言いかえれば、多くの場合、１つの画像
の複数の領域は互いに相関しており、時間の経過に従っ
た画像のシーケンスも、また、同様である。これらの事
実に留意して、ビデオ画像を記憶量が少なくて済むより
管理しやすいサイズに圧縮するためにビデオ画像形成に
おける冗長性を排除し、かなりの高速で画像を表示でき
るようにするいくつかの方式が確立されている。単純な
圧縮方式には次のようなものがある。

【０００７】１．水平及び垂直サブサンプリング：画像
に沿って水平又は垂直の方向に限定された数の画素のみ
をサンプリングする。分解能の低下が要求されるので、
画質は悪くなる。 ２．画素ごとのビット数の減少：現在、画素ごとのビッ
ト数を２４から８に減らすために、カラールックアップ
テーブルの使用を含む方式を採用して、成功をおさめて
いる。約３：１の減少がこの方式の有効限界である。

【０００８】３．ブロック切捨て符号化及びカラーセル
方式：ブロック切捨て符号化（ＢＴＣ）は、低い圧縮率
と高画質の適用用途を目指して、１９８０年代の初めに
Ｂｏｂ Ｍｉｔｃｈｅｌｌにより開発された（Ｒｏｂｅ
ｒｔ Ｍｉｔｃｈｅｌｌ他のＩｍａｇｅ Ｃｏｍｐｒｅ
ｓｓｉｏｎ Ｕｓｉｎｇ Ｂｌｏｃｋ Ｔｒｕｎｃａｔ
ｉｏｎ Ｃｏｄｉｎｇ，ＩＥＥＥ Ｔｒａｎｓ．，Ｃｏ
ｍｍ．，１３３５〜１３４２ページ，第Ｃｏｍ−２７巻
第９号，１９７９年９月）。この方式では、各画素ブロ
ックの一次統計（平均）と二次統計（分散）を取出し、
伝送する。それら２つの量を使用して、画像を再構成す
る。（Ｇｒａｈａｍ ＣａｍｐｂｅｌｌのＴｗｏ Ｂｉ
ｔ／Ｐｉｘｅｌ Ｆｕｌｌ Ｃｏｌｏｒ Ｅｎｃｏｄｉ
ｎｇ，２１５〜２２３ページ，Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆ ＳＩＧＧＲＡＰＨ’８６，第２０巻第４号，１
９８６年８月）には、４×４のブロックサイズで、８−
１の圧縮比が実証されている。

【０００９】４．ベクトル量子化（ＶＱ）：単純なＶＱ
は、不連続なＫ次元ベクトルを伝送又は記憶のためにデ
ジタルシーケンスにマッピングする。各ベクトル（４×
４画素又は３×３画素のブロック）をコードブロックの
いくつかのテンプレートと比較し、最も良く整合するテ
ンプレートの索引を受信器へ伝送する。受信器はテーブ
ルルックアップのためにその索引を使用して、画像を再
構成する。単純なＶＱは良い画質をもって約２０：１の
圧縮を可能にすると思われる、さらに複雑なＶＱ方式
は、ＣＣＩＴＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ
ｓｕｌｔａｔａｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒＴｅ
ｌｅｐｈｏｎｙ ＆ Ｔｅｌｅｇｒａｐｈｙ） ＤＣＴ
（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒ
ｍａｔｉｏｎ）方式勧告Ｈ．２６１に類似する画質を与
える（Ｔ．ＭｕｒａｋａｍｉのＳｃｅｎｅ Ａｄａｐｔ
ｉｖｅ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ ｆ
ｏｒ Ｉｍａｇｅ Ｃｏｄｉｎｇ，Ｇｌｏｂｅｃｏｍ，
１９８８年）。

【００１０】５．予測方式：これに属する方法の基本を
成す仮定は、隣接する画素が相関しているということで
ある。そのため、画素値をその隣接画素に基づいて予測
することにより、データ縮小を実現できる。次に、予測
画素値と実際画素値との差を符号化する。この方式とそ
の変形方式については広範囲にわたる研究が行われてい
る（Ｊ．Ｂ．Ｏ’ＮｅｉｌのＰｒｅｄｉｃｔｉｖｅＱｕ
ａｎｔｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ ｆｏｒ Ｔｒ
ａｎｓｍｉｓｓｉｏｎ ｏｆ ＴＶ Ｓｉｇｎａｌｓ，
Ｂｅｌｌ Ｓｙｓｔｅｍ Ｔｅｃｈｎｉｃａｌ Ｊｏｕ
ｒｎａｌ，６８９〜７２１ページ，１９６６年５／６
月）。これらの単純な方法のそれぞれから期待しうる圧
縮比は４：１から８：１である。

【００１１】さらに複雑なビデオ圧縮方式も従来から知
られている。先に述べたようなより単純な方式のいくつ
かを使用することにより、４：１から８：１のデータ圧
縮を実現できる。２０：１から４０：１の圧縮比でもそ
れに匹敵する画質を得るには、方式を著しく複雑化して
ゆかなければならない。この場合、圧縮プロセスを単純
な１ステップの手順として考えるのは適切ではない。

【００１２】一般的に、損失のない圧縮方式はソース信
号を白色化、すなわち、相関解除しようとするものであ
る。直覚的には、これは、相関解除信号をそれ以上圧縮
できない、すなわち、それ以上圧縮して表示できないと
いう意味と了解される。２０：１を越える圧縮比を得る
ために、プロセスのいずれかの箇所に損失要素を導入し
なければならない。これは、通常、量子化プロセスと関
連して時間分解能又は空間分解能を低下させることによ
り実行される。圧縮比を大きくしながら知覚画質をおだ
やかに劣化させるように、量子化器を配置すべきであ
る。

【００１３】すぐれた方法の多くは複雑であるが、一連
のより単純なステップに分解できる。圧縮プロセスをい
くつかの線形変換と、その後に続く量子化としてとらえ
ることができる。その量子化の後に損失のない符号化プ
ロセスがさらに続いている。画像に適用される変換は、
具象的な空間的及び時間的意味で冗長を少なくするよう
に設計されている。それぞれの変換について個別に説明
する。

【００１４】相関解除 デジタル化画像のＲＧＢ表示は共通であり、有用ではあ
るが、特に効率が良いわけではない。赤，緑，青の構成
要素は潜在的には帯域幅一杯であるが、情報の多くはプ
レーン間で相関している。圧縮プロセスの第１のステッ
プは、それら３つの成分の相関を解除する。精密な変換
を使用したならば、それは画像に依存すると考えられる
ので、その結果、計算の消耗は大きくなる。画像統計に
依存しない有用な近似は次の通りである。

【００１５】

【数１】

【００１６】ＮＴＳＣ画像の場合、結果として得られる
ＵとＶ（カラー情報を含む色成分）成分はＹ（白黒情報
を含む輝度成分）より帯域幅が狭い。一般的には、Ｕ成
分とＶ成分はＹ成分より知覚の重要性の点で劣る。圧縮
プロセスの次の段階は、通常、Ｕ及びＶを水平方向と、
垂直方向に二分の一又は四分の一にサブサンプリングす
ることから成る。これは、低域フィルタリングと、その
後の１０進化とにより実行される。プロセスのこの時点
で、プレーン間冗長の多くは除去されてしまっており、
データは二分の一に縮小している。

【００１７】時間的冗長の減少 時間的冗長の減少は、単に連続するフレームの差を求め
ることにより得られるであろう。動きがなく、シーンの
変化のない場合には、このフレーム差は０になる。フレ
ーム間に動きがあるときには、状況はより複雑である。
この場合、フレーム差を求めるのに先立って、画像のう
ち動いた部分の何らかの再重ね合わせが必要である。こ
れは、フレーム間で画素がどれほど動いたかを推定する
ことにより実行される。この動きを考慮に入れて、対応
する画素を再び減じる（Ｒｏｎａｌｄ Ｐｌｏｍｐｅｎ
他のＭｏｔｉｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ＣＣＩ
ＴＴ ＳＧＸＶ−Ｔｈｅ Ｖｉｄｅｏ Ｓｏｕｒｃｅ
Ｃｏｄｉｎｇ，９９７〜１００４ページ，ＩＥＥＥ Ｇ
ｌｏｂａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ
Ｃｏｎｆｅｒｅｎｃｅ，１９８８年１２月）。モーショ
ンベクトルを符号化し、圧縮ビットストリームと共に伝
送する。それらのベクトルを復号プロセスを再び使用し
て、画像を再構成する。フレーム差計算と、モーション
推定を使用する差計算との区別を次のように表しても良
いであろう。単純な差計算の場合、フレーム間誤差は、 e(x,y,t)=f(x,y,t+1)-f(x,y,t) として計算されるが、モーション推定を使用すると、誤
差は e(x,y,t)=f(x+x(-),y+y(-),t+1)-f(x,y,t) のように表されるであろう。式中、ｘ（−）とｙ（−）
は、それぞれ、ｘ方向とｙ方向の計算変位である。

【００１８】空間的冗長の減少 大半の画像においては、隣接する画素は相関している。
空間的冗長の減少は、この相関を除去することから成
る。その除去は空間データに対して線形変換を使用して
行われる。理想的な場合、この変換は画像統計に依存し
ているべきである。そのような変換は既にあり、ホテリ
ング（Ｈｏｔｅｌｌｉｎｇ）又はカルハウネン・ルエヴ
（Ｋａｒｈｏｕｎｅｎ Ｌｏｕｅｖｅ）（ＫＬ）変換と
して知られている（Ｎ．Ｓ．Ｊａｙａｎｔ，Ｐｅｔｅｒ
ＮｏｌｌのＤｉｇｉｔａｌ Ｃｏｄｉｎｇ ｏｆ Ｗ
ａｖｅｆｏｒｍｓ，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，Ｓｉ
ｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｓｅｒｉｅｓ，５８
ページ）。この方法は計算を大量に必要とし、高速アル
ゴリズム実現をしないので、他の変換を評価するための
基準としてのみ使用される。この問題には多様な他の変
換が適用されている。それには、フーリエ，ウオルシ
ュ，スラント，ハダマード（Ａｒｕｎ Ｎ．Ｎｅｔｒａ
ｖａｌｉ，Ｂａｒｒｙ Ｇ．ＨａｓｋｅｌｌのＤｉｇｉ
ｔａｌ Ｐｉｃｔｕｒｅｓ Ｒｅｐｒｅｓｅｎｔａｔｉ
ｏｎ ａｎｄ Ｃｏｍｐｒｅｓｓｉｏｎ，Ｐｌｅｎｕｍ
Ｐｒｅｓｓ）が含まれる。余弦変換は（ＫＬ変換に近
いという意味で）最良の性能を示す。分散余弦変換は次
のように定義される。

【００１９】

【数２】

【００２０】式中、ｘ（ｍ，ｎ）はＮ×Ｎフィールド
（ブロックサイズ）であり、ｋ，ｌ，ｍ，ｎは全て０か
らＮ−１の範囲にあり、α（０）＝１／√２，α（ｊ）
＝１；ｊ≠０となっている。画像圧縮に関してある範囲
のＤＴＣ「ブロックサイズ」が研究されており（Ａ．Ｎ
ｅｔｒａｖａｌｉ他のＰｉｃｔｕｒｅ Ｃｏｄｉｎｇ：
Ａ Ｒｅｖｉｅｗ，Ｐｒｏｃ．ＩＥＥＥ，３０６〜４０
６ページ，１９８０年３月）、規格の本文は、明らかに
任意として、８×８ブロックが「最良」であると決定し
ている。適応ブロックサイズも考慮しており、その適応
は変換すべき領域における画像アクテイビティにより駆
動される（Ｃ．Ｔ．Ｃｈｅｎの「Ａｄａｐｔｉｖｅ Ｔ
ｒａｎｓｆｏｒｍ Ｃｏｄｉｎｇ Ｖｉａ Ｑｕａｄ‐
Ｔｒｅｅ‐Ｂａｓｅｄ Ｖａｒｉａｂｌｅ Ｂｌｏｃｋ
Ｓｉｚｅ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＡＳ
ＳＰ’８９，１８５４〜１８５７ページ）。要するに、
生ビデオ画像に適用される上記の方式の組合わせは次の
ように実行されると考えられる。

【００２１】１．画像をデジタル化する； ２．ＲＧＢをＹＵＶに変換する； ３．（フレーム差計算及びモーション補正を経て）時間
的冗長を除去する； ４．（分散余弦伝達を経て）空間的冗長を除去する；そ
して、 ５．（ハフマン符号化を使用して）データをエントロピ
ー符号化する。 この方法は、従来の方式を使用する中で最大限の圧縮を
実現する。

【００２２】圧縮の規格 上記の方式のいくつかを使用する従来の圧縮方法の例と
しては、ＣＣＩＴＴＨ．２６１（ｔｈｅ Ｉｎｔｅｒｎ
ａｔｉｏｎａｌ Ｃｏｎｓｕｌｔｉｖｅ Ｃｏｍｍｉｔ
ｔｅｅ ｆｏｒ Ｔｅｌｅｐｈｏｎｙ ａｎｄ Ｔｅｌ
ｅｇｒａｐｈｙ）；ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏ
ｇｒａｐｈｅｒｓ ＥｘｐｅｒｔｓＧｒｏｕｐ）；及び
ＭＰＥＧ（ｔｈｅ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅ
ｘｐｅｒｔｓ Ｇｒｏｕｐ）の３つが知られている。Ｊ
ＰＥＧ規格は写真スチル画像を符号化するために開発さ
れたもので、ビデオイメージデータを符号化する基本的
な方式である。この方式は、ソース画像の複数の８×８
画素ブロックを離散的余弦伝達（ＤＣＴ）関数を使用し
て変換するのであるが、各画素ブロックはＹＵＶソース
フォーマット（そのブロックの輝度及び色情報を表す）
で表示される。次に、サイコビジュアル閾値マトリクス
を使用するＤＣＴ係数の閾値ブロックを使用して、ソー
ス画像の８×８ＤＣＴマクロブロックの結果を量子化す
る。最後に、それぞれのブロックをエントロピー符号化
する。復号プロセスはこれらのステップの逆である。

【００２３】ＣＣＩＴＴ Ｈ．２６１規格は、ビデオテ
レコンファレンス及びテレビ電話の用途で使用するため
に開発された。この方式は毎秒６４キロビット（Ｋビッ
ト）から１．９２メガビット（Ｍビット）で動作するこ
とができ、共通中間フォーマット（ＣＩＦ）に基づいて
５２５本から６２５本までの画像について動作できる。
これは図１に示すような方法を使用して実行される。

【００２４】ＣＣＩＴＴエンコーダ１００はＤＣＴ，ジ
グザグ走査量子化及びハフマン符号化から成る。ＤＣＴ
１０１と、量子化器１０２と、可変長符号化１０３の各
ブロックは符号化機能を実行する。最後に、マルチプレ
クサ１０４は可変長符号化ブロック１０３からのハフマ
ンコードと、モーション推定ブロック１０５からのモー
ションベクトルデータと、量子化器ブロック１０２から
の量子化器データと、イントラ／インターブロック１０
６からのイントラ／インター型情報とを組合せ、書式化
及び直列化と、ビデオ同期と、ブロックアドレス指定と
を実行する。フレームメモリ１０７は、モーション推定
ブロック１０５を使用して、先行フレームと現在フレー
ムとの差を確定するために使用される。ＣＣＩＴＴエン
コーダ１００は、フレーム差情報を提供するために、反
転量子化器１０８と、反転ＤＣＴ機能ブロック１０９と
をさらに具備する。最後に、マルチプレクサ１０４によ
り多重化された情報は、圧縮ビットストリーム１２０と
して出力されるために、速度制御ブロック１１１と、バ
ッファ１１２とに供給される。

【００２５】ＣＣＩＴＴデコーダは図２に２００として
示されている。デマルチプレクスブロック２０１は符号
化ビットストリーム２１０を受取り、その構成要素を識
別し、それらをデコーダ２００の関連する部分へ送り出
す。可変長復号ブロック２０２及び反転量子化器ブロッ
ク２０３の主要な機能は、ＤＣＴ係数をそのハフマン符
号化値から再構成し、それらを再スケーリングして、反
転ＤＣＴブロック２０４に供給することである。反転Ｄ
ＣＴブロック２０４は係数を８×８ブロックの形で受取
り、下方に位置する空間ビデオ情報を再構成する。マク
ロブロックをイントラ符号化する場合、モーション推定
を呼出さない。マクロブロックをインター符号化する場
合には、このフレームの情報と、最前のフレームのモー
ション補正情報との差が出力となる。「副情報」信号２
０８を経てデマルチプレクサ２０１から伝送されるモー
ションベクトルは、最前のフレームからの再構成に使用
すべき最良のブロックを確定する。モーション補正は、
フレームバッファ２０７の現在画像の情報からブロック
２０６により実行される。これは復号ストリーム２０５
に戻され、その後、ＣＩＦフォーマットの復号出力情報
２２０として出力される。Ｙ成分とＵＶ成分は同一のモ
ーションベクトル情報を共用する。ＣＣＩＴＴ Ｈ．２
６１規格の詳細な説明は、ＣＣＩＴＴ ＳＧ ＸＶ Ｗ
ｏｒｋｉｎｇＰａｒｔｙ ＸＶ／１より１９８９年１１
月１０日に刊行されたＳｐｅｃｉａｌｉｓｔｓ Ｇｒｏ
ｕｐ ｏｎ Ｃｏｄｉｎｇ Ｆｏｒ Ｖｉｓｕａｌ Ｔ
ｅｌｅｐｈｏｎｙによる文書番号５８４，タイトル［Ｄ
ｒａｆｔ Ｒｅｖｉｓｉｏｎｏｆ Ｒｅｃｏｍｍｅｎｄ
ａｔｉｏｎ Ｈ．２６１」の文書の中に見られる。

【００２６】ＭＰＥＧ規格は、モーションビデオに関連
する移送方法を使用するための圧縮仕様としては最新の
ものである。完全には定まっていないが、ＭＰＥＧ仕様
の目標は、ビデオについて毎秒約１．５メガビットのビ
ットレートの画像の再構成時にＶＨＳ品質を得ることで
ある。これにより、総圧縮比は約４０：１となる。ＭＰ
ＥＧがＪＰＥＧやＣＣＩＴＴ Ｈ．２６１と明確に異な
る特徴は、ＭＰＥＧがＪＰＥＧと同様にＣＣＩＴＴ
Ｈ．２６１より高い画質を与えるが、モーションも可能
であるという点である。これは、スチルフレーム画像の
みを与え、オーディオ機能を含まないＪＰＥＧとは対照
的である。その上、ＭＰＥＧは、完成の域には達してい
ないものの、符号化ビデオデータに伴って同期音声とい
う付加的特徴を加える。ＭＰＥＧの詳細な説明は、Ｉｎ
ｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ
ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ＩＯＳ‐Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ８，Ｃｏｄｅｄ Ｒｅｐ
ｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｐｉｃｔｕｒｅ ａｎ
ｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ ＩＳＯ‐Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ８Ｎ ＭＰＥＧ９０／
（ＰＴＴ ＲｅｓｅａｒｃｈのＡ．Ｋｏｓｔｅｒにより
刊行）による文書「ＭＰＥＧ Ｖｉｄｅｏ Ｓｉｍｕｌ
ａｔｉｏｎ Ｍｏｄｅｌ ３（ＳＭ３）‐Ｄｒａｆｔ
Ｎｏ．１」に見られるであろう。

【００２７】様々な符号化アルゴリズムを相対的に見た
ときの利点と欠点を次に挙げる。ＪＰＥＧはモーション
ビデオを全く記述していない。ＭＰＥＧはすべてに対処
できる規格（正方向モーション、逆方向モーション及び
スチルフレームを皆規定している）ではあるが、まだ開
発中であり、改訂の可能性がある。ＣＣＩＴＴ Ｈ．２
６１はテレコンファレンス及びテレビ電話に適用すべく
開発されたものであるので、動くソースを規定している
が、逆方向のモーションピクチャ画像の観察を規定して
いないし、また、スチルフレーム観察の手段も全く規定
していない。従って、ＣＣＩＴＴ Ｈ．２６１規格のよ
うに相当に考慮され尽くしてはいるが、ＭＰＥＧ規格の
ように形の整った圧縮システムのあらゆる能力（逆方向
再生やスチルフレームを含む）をも提供するシステムが
要求されるのである。

【００２８】ＣＣＩＴＴ Ｈ．２６１は、フルモーショ
ンビデオを実現するために、図３に示すような方式を使
用する。図３は、動きのある映像の特定の一部分を表す
一連のフレームを示す。３０１と３０２は一連のフレー
ムの始まりにある画像に関する完全シーン情報を含む。
３０１及び３０２は、ＣＣＩＴＴ Ｈ．２６１で使用す
る「イントラ」フレーム、すなわち、キーフレームとし
て知られている。各イントラフレーム３０１又は３０２
は、それらが現れる時点におけるフレームの完全シーン
記述を含む。圧縮されてはいるが、イントラフレーム３
０１及び３０２は相当の情報を含む。２つのイントラフ
レーム３０１及び３０２の間に介在するフレームは、そ
れぞれ、「インター」フレーム３０３，３０４及び３０
５として知られている。３０３〜３０５のような各イン
ターフレームは、先行フレームに追加すべき情報を含
む。たとえば、インターフレーム３０３は、イントラフ
レーム３０１以後に動いた情報のみを含む。従って、イ
ンターフレームはモーションデータのみを含み、フレー
ム全体に関わる完全シーン情報を含んでいるわけではな
いので、フレーム３０３〜３０５に表されている情報は
フレーム３０１及び３０２に含まれる情報より実質的に
少ない。そのため、介在するインターフレーム３０３〜
３０５の圧縮比はかなり高くなる。図３に示すようなＣ
ＣＩＴＴ Ｈ．２６１では、イントラフレーム３０１の
ようなキーフレームは時間的にそのイントラフレーム３
０１に続くインターフレーム３０３〜３０５に関わる情
報を確定するだけであるので、逆方向のモーションビデ
オの実行は不可能である。言いかえれば、３０３〜３０
５はイントラフレーム３０２からのモーション情報を含
まず、イントラフレーム３０１以後に動いた情報のみを
含んでいるのである。そのようなフレームのシーケンス
を逆方向に再生しようとすると、動いている画像にかな
りのゆがみが生じる。

【００２９】実時間モーションビデオについては毎秒約
３０フレーム（ＦＰＳ）の圧縮解除速度が要求されるの
で、復号プロセスを実行するプロセッサは相当に広い帯
域幅を有していなければならないと共に、復号プロセス
で必要となる全てのマトリクス間乗算演算を短時間のう
ちに処理することができなければならない。これまでに
は、毎秒３０フレームの速度でＮＴＳＣ品質を得るよう
なデータを利用可能とするために、必要な速度で入力圧
縮ビットストリームを圧縮するのに必要な計算能力を単
独で備えた装置はなかった。

【００３０】

【発明が解決しようとする課題】本発明の目的の１つ
は、圧縮された動きを伴うビデオ画像を実時間で圧縮を
解除し且つ表示させるのに十分な計算能力を有するアー
キテクチャ及び方法を提供することである。

【００３１】

【課題を解決するための手段】本発明の上記の目的及び
その他の目的は、複数の計算モジュール、好ましい実施
例では合わせて４つの並列に結合された計算モジュール
を具備し、実時間で圧縮／圧縮解除のためにビデオデー
タを処理する装置により与えられる。それぞれの計算モ
ジュールはプロセッサと、デュアルポートメモリと、ス
クラッチパッドメモリと、アービトレーションメカニズ
ムとを有する。好ましい実施例では、プロセッサはデジ
タル信号プロセッサであり、装置は１６キロバイトのデ
ュアルポートダイナミックランダムアクセスメモリと、
６４キロバイトの局所「スクラッチパッド」ダイナミッ
クランダムアクセスメモリとから構成される。第１のバ
スは計算モジュールとホストプロセッサとを結合する。
好ましい実施例では、ホストプロセッサは、表示装置
と、メモリと、他の周辺装置とを具備する完成したコン
ピュータシステムに結合しており、第１のバスは相対的
に遅い速度で動作する制御バスとして知られている。最
後に、装置は、第２のバスによってホストプロセッサ
と、計算モジュールとに結合された共用メモリを具備す
る。この第２のバスは、好ましい実施例においては、
「ビデオ」バスとして知られており、「制御」バスより
相当に速い速度で動作する。好ましい実施例では、共用
メモリは、ビデオバスを介する計算モジュールからのア
クセスを可能にすると共に、ホストプロセッサによるア
クセスを可能にするために、２メガバイトのスタティッ
クランダムアクセスメモリから構成されており、そのア
クセスはアービトレーションメカニズムにより先入れ先
出し（Ｆ１Ｆ０）の順序で制御される。アービトレーシ
ョンメカニズムは、好ましい実施例においては、ゲート
アレイ又は他の別個の回路である。別の実施例では、
「ビデオ」バスにフレームバッファが結合し、そのフレ
ームバッファに結合する表示手段は、通常ホストに接続
している表示装置の代わりに、システムの表示装置とし
て動作する。これにより、特にビデオ圧縮解除タスクに
おいて、システムの性能は全体として向上する。

【００３２】本発明の上記の目的及びその他の目的は、
コンピュータシステムにおいて並列計算システムによる
処理のために画像を区分する方法により提供する。並列
計算システムは、Ｎ個の計算装置を具備する。まず、１
つの画像の全長を確定し、それをＮ等分する。次に、被
除数を第１の値に記憶するが、好ましい実施例では、第
１の値は各並列計算装置に割当てるべき画像の幅であ
る。画像の第１の領域は第１の計算装置に割当てられ、
その第１の領域は第１の位置で始まり、第１の位置から
第１の値だけ外れた位置で終わる。従って、好ましい実
施例では、全幅の画像に対して、画像の長さ、すなわち
高さをＨとし、プロセッサの総数をＮとするとき、画像
の一部はＨ／Ｎを割当てられる。Ｎ個のプロセッサは、
それぞれ、第１のプロセッサに対する相対位置に従って
画像の対応する部分を割当てられ、それぞれ、画像の全
幅を有し、長さはＨ／Ｎである１つの部分を有すること
になる。好ましい実施例では、高さと幅の情報は、輝度
及び色情報を含むブロックの形で表される。添付の図面
の図は本発明を例示しており、限定的な意味をもつもの
ではない。尚、図面中、同じ図中符号は同じ素子を指示
する。

【００３３】

【実施例】本発明はビデオ符号化／復号化のための方法
及び装置に関する。以下の説明中、本発明を完全に理解
させるために、便宜上、特定の値、信号、符号化形式、
回路及び入力形式を挙げるが、そのような特定の詳細な
事項がなくとも本発明を実施しうることは当業者には明
白であろう。また、場合によっては、本発明を無用にわ
かりにくくしないために、周知の回路や装置をブロック
線図の形態で示すこともある。

【００３４】この特許明細書の開示の一部は、著作権保
護に関わる資料を含む。Ｐａｔｅｎｔ ａｎｄ Ｔｒａ
ｄｅｍａｒｋ Ｏｆｆｉｃｅの特許記録ファイルに見ら
れるように、著作権所有者はどのような特許開示による
ファクシミリ複写に対しても異議を唱えることがない
が、それ以外の点についてはあらゆる著作権の権利を保
有する。

【００３５】図４を参照すると、４００は、好ましい実
施例において動きのあるビデオ画像の圧縮／圧縮解除の
ために使用される並列処理システムのアーキテクチャを
示す。好ましい実施例のアーキテクチャは、モーション
ビデオで要求されるフレーム速度（たとえば、毎秒３０
フレーム）でビデオ画像を圧縮解除するために必要な帯
域幅を有する４０１〜４０４などの複数のビデオ処理モ
ジュールの並列結合を実行する。好ましい実施例では、
モジュール４０１〜４０４は制御バス４１２を介してコ
ンピュータシステムバス４２５に結合している。システ
ムバス４２５には、フレームバッファ４２７に結合する
表示制御器４２６も結合している。フレームバッファ４
２７自体は情報を表示する表示装置４２８に結合してい
る。好ましい実施例では、モジュール４０１〜４０４又
はホストプロセッサ４１０が情報をシステムバス４２５
へ送り出し、表示制御器４２６はその情報を読取って、
フレームバッファ４２７に入力し、表示装置４２８で表
示させる。好ましい実施例においては、ホストプロセッ
サ４１０がシステムバス４２５のバスマスターである
が、時折、表示制御器４２６がシステムバス４２５の制
御を行う。未圧縮データをモジュール４０１〜４０４で
受信させ、必要な時点でフレームバッファ４２７に記憶
させるために、表示制御器４２６はシステムバス４２５
の基準スループットを増加させることができる。好まし
い実施例では、表示制御器４２６はカリフォルニア州サ
ニーヴェールのＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖ
ｉｃｅｓで製造しているＡＭＤ２９０００ＲＩＳＣプロ
セッサである。ホストプロセッサ４１０は、イリノイ州
シャウムブルクのＭｏｔｏｒｏｌａ，Ｉｎｃ．で製造し
ている６８０３０又は６８０２０などの６８０００マイ
クロプロセッサシリーズの１つである。図４に示すシス
テム４００は、Ｍａｃｉｎｔｏｓｈ（商標）パーソナル
コンピュータシリーズの中の１つ、たとえば、カリフォ
ルニア州キュパーティノのＡｐｐｌｅ（商標）Ｃｏｍｐ
ｕｔｅｒｓ，Ｉｎｃ．で製造しているＭａｃｉｎｔｏｓ
ｈ（商標）II などのコンピュータシステムにおいて実
現される（Ａｐｐｌｅ（商標）とＭａｃｉｎｔｏｓｈ
（商標）はカリフォルニア州キュパーティノのＡｐｐｌ
ｅ Ｃｏｍｐｕｔｅｒ，Ｉｎｃ．の登録商標である）。
システムバス４２５は、当業者には良く知られているよ
うに１０ＭＨｚで動作することができると共に、毎秒約
１８Ｍバイトの最高速度でデータを転送することができ
る標準コンピュータシステムバスである。

【００３６】好ましい実施例のシステム４００は、２メ
ガバイト（３２ビット長語のエントリを約５１２，００
０個を含む）のスタティックランダムアクセスメモリ
（ＳＲＡＭ）から構成される共用メモリスペース４０５
を形成する。共用メモリスペース４０５は信号線４１１
を介してシステムバス４２５に結合すると共に、高速
「ビデオ」バス４２０にも結合している。ビデオバス４
２０は毎秒約８０メガバイトの最高速度でデータを転送
できると思われ、２０ＭＨｚでクロッキングされる。制
御バス４１１は毎秒１０メガバイトの最高速度でデータ
を転送し、また、１０ＭＨｚでクロッキングされる。共
用メモリスペース４０５は２つの明確に異なる領域に分
割される。このスペース４０５には、ホスト情報と、計
算モジュール４０１〜４０４により共用メモリに導入さ
れる情報との間の高速データピンポンのために、等しい
大きさの２つのバンクが設けられている。

【００３７】さらに、メモリスペース４０５はホスト４
１０と、計算モジュール４０１〜４０４との間の通信と
タスク同期のための小さなメールボックス領域を含む。
このメールボックス領域の長さはジョブの大きさによっ
て異なり、その範囲は１長語（３２ビット）からメモリ
スペース４０５の全長にわたる。好ましい実施例では４
つの並列処理モジュール４０１〜４０４のみを示した
が、並列処理装置の数は３つ以下又は５つ以上であって
も良く、各計算モジュールの追加又は省略に対応して計
算パワーを増減すれば良い。

【００３８】計算モジュール４０１，４０２，４０３及
び４０４は「低速」制御バス４１２にも接続しており、
制御バス４１２はそれぞれの計算モジュールに結合する
と共に、計算モジュール間の通信及びホストプロセッサ
４１０との間のタスク同期のためにシステムバス４２５
に結合している。さらに、別の実施例においては、別の
フレームバッファ４３０をビデオバス４２０に直接結合
しても良く、このフレームバッファを図４に示す４４０
のような表示装置に結合すれば良い。好ましい実施例で
は、表示制御器４２６、フレームバッファ４２７及び表
示装置４２８の表示能力を通常はモジュール４０１〜４
０４により処理された情報を処理するために使用すると
考えられるが、別の実施例によれば、各モジュール４０
１〜４０４はフレームバッファ４３０及び表示装置４４
０を使用し、未圧縮データを表示のためにフレームバッ
ファ４３０に直接導入しても良い。４０１〜４０４のよ
うな計算モジュールの１つを図５にさらに詳細に示す。

【００３９】図５は、図４に示すシステムの計算モジュ
ールの中の１つ４０１のブロック線図である。その他の
計算モジュールは（そのモジュールの一意の識別を行う
ためにアービトレーションメカニズム５０２に組込まれ
ているコードを除いて）本質的に同一であるので、図５
では計算モジュール４０１のみを説明する。モジュール
４０１の構造は、図４に示す４０２〜４０４のような他
の計算モジュールにもそれぞれ適用される。４０１のよ
うな各計算モジュールは、図５に示すように１６キロバ
イト（約４０００個の３２ビット長語）のデュアルポー
トランダムアクセスメモリ５０４を含む。このデュアル
ポートランダムアクセスメモリ５０４は、計算モジュー
ル４０１と、ホストプロセッサ４１０や表示制御器４２
６などの装置とのバス４２５を介する通信のために、制
御バス４１２に結合している。デュアルポートメモリ５
０４は内部バス５３０にもさらに結合しており、このバ
ス５３０は計算モジュール４０１のデジタル信号プロセ
ッサ５０１に結合している。デジタル信号プロセッサ
（ＤＳＰ）５０１はデータの処理及び計算モジュール４
０１の様々な部分の間の通信の全てを実行する。ＤＳＰ
５０２は、先に図１及び図２に関連して論じたビデオデ
ータの符号化機能と復号化機能を実行する。先に述べた
通り、ＤＳＰ５０１は内部バス５３０を介してデュアル
ポートメモリ５０４に結合している。内部バス５３０は
完全３２ビット幅データバスであり、デュアルポートメ
モリ５０４を介してホストプロセッサ４１０と通知す
る。ＤＳＰ５０１は、アービトレーションメカニズム５
０２及び局所メモリ５０３と通信するために、内部高速
バス５２０にも結合している。好ましい実施例では、Ｄ
ＳＰ５０１はテキサス州ダラスのＴｅｘａｓ Ｉｎｓｔ
ｒｕｍｅｎｔｓ（ＴＩ）で製造しているＴＭＳ３２０
Ｃ３０デジタル信号プロセッサである。デジタル信号プ
ロセッサ５０１は局所バス５２０を介して局所メモリ５
０３に結合している。局所メモリ５０３は、ＤＳＰ５０
１が実行する様々な処理動作に備えて設けられた作業用
メモリ、すなわち、スクラッチパッドメモリを形成す
る。局所メモリ５０３は、６４キロバイトのダイナミッ
クランダムアクセスメモリ（すなわち、約１６０００個
の３２ビット長語）を含む。

【００４０】さらに、ＤＳＰ５０１は局所バス５２０を
介してアービトレーションメカニズム５０２に結合して
いる。アービトレーションメカニズム５０２は、図４に
示すような共用メモリスペース４０５へのバス４２０を
介するアクセスを計算モジュール４０１に許可するため
の回路である。図５に示すアービトレーションメカニズ
ム５０２では、それぞれの計算モジュール４０１〜４０
５とホストプロセッサ４１０は固有の識別番号を有す
る。共用メモリスペース４０５へのアクセスの要求と許
可は次のように実行される。この論理により実行される
アービトレーションは、各装置のバス要求（ＢＲＱ）番
号に従って先入れ先出し（Ｆ１Ｆ０）の順序で共用メモ
リ及びホストプロセッサに対するアクセスを許可する。
ホストプロセッサ４１０はＢＲＱ０のバス要求番号を有
する。バス肯定応答（ＢＡＣＫ）が発行されると、アク
セスは得られる。ところが、リセット後に計算モジュー
ル４０１〜４０４とホストプロセッサ４１０が同時に要
求を発した場合には、ホストプロセッサ４１０が優先順
位を獲得し、共用メモリスペース４０５に対するアクセ
スを得る。計算モジュール４０１は第２位の優先順位
（ＢＲＱ１）を有し、モジュール４０２は第３位の優先
順位（ＢＲＱ２）を有し、モジュール４０３は第４位の
優先順位（ＢＲＱ３）を有し、モジュール４０４は最終
優先順位（ＢＲＱ４）を有する。別の実施例では、ホス
トプロセッサ４１０に割込み能力を与えても良く、その
場合、計算モジュール４０１〜４０４により実行されて
いる動作はホストプロセッサ４１０により強制排除され
る。好ましい実施例においては、アービトレーションメ
カニズム５０２はゲートアレイ装置として実現される。
このアービトレーション方式に関わるコードを表１〜表
３（連続したもの）に示す。

【００４１】

【表１】

【００４２】

【表２】

【００４３】

【表３】

【００４４】好ましい実施例では、表示制御器４２６は
並列処理システム４００から圧縮解除データを読取り、
そのデータを未圧縮イーメジデータとしてフレームバッ
ファ４２７へ伝送する。本質的には、それぞれの計算モ
ジュール４０１〜４０４におけるデュアルポートメモリ
５０４へのアクセスが利用可能となったとき、表示制御
器４２６はシステムバス４２５の制御を実行し、そこ
で、バスマスターとなる。表示制御器４２６がバスマス
ターになると、計算モジュール４０１〜４０４と、対応
するデュアルポートメモリ５０４のそれぞれとから未圧
縮データを読取り、その情報をシステムバス４２５に導
入する。一旦、表示制御器４２６がバス４２５を制御す
るようになると、バス４２５を介して、バスにより許容
される最大可能速度でデータを転送できる。好ましい実
施例では、この速度は毎秒約１８メガバイトである。そ
の時点では、ホストプロセッサ４１０はデータ転送に全
く関与していない。計算モジュール４０１〜４０４から
システムバス４２５を介して情報を受信したならば、そ
の情報はフレームバッファ４２７へ転送される。そこ
で、フレームバッファはスクリーン再生時間に表示装置
４２８で利用できる状態になる。表示制御器４２６の能
力向上によって、それぞれの計算モジュール４０１〜４
０４から必要な３０ｆｐｓの速度で表示装置４２８へ未
圧縮データを送り出し、利用できるようになる。フレー
ムバッファ４２７で全フレームが利用可能になったなら
ば、表示制御器４２６はシステムバス４２５の制御をホ
ストプロセッサ４１０に譲渡する。その後、圧縮データ
を検索し、そのデータを計算モジュール４０１〜４０４
へ伝送する次のサイクルを実行すれば良い。好ましい実
施例では、ホストプロセッサ４１０はディスク又はメモ
リから圧縮データを読取り、そのデータをモジュール４
０１〜４０４へ転送し、ユーザー要求をサービスするこ
とを要求される。

【００４５】計算モジュール４０１〜４０４が圧縮入力
イメージデータを復号するためには、各プロセッサがデ
ータを個別に処理できるように、タスクを複数の構成部
分に分割しなければならない。１つの方式では、Ｎ個の
プロセッサがある場合、ビデオデータを移動するため
に、Ｎ番目のフレームごとにそれを別個のプロセッサに
割当てれば良い。ＣＣＩＴＴ Ｈ．２６１や、ＭＰＥＧ
などの多くの圧縮解除アルゴリズムにおいては、新たな
フレームを計算するために先のフレームからのデータが
要求されるので、この方式は望ましくない。従って、好
ましい実施例は図６に示すような方式を使用する。図６
を参照しながら、それぞれの計算モジュール４０１〜４
０４についてこの圧縮解除の問題を構成要素に分割する
タスクを説明する。ホストプロセッサ４１０とモジュー
ル４０１〜４０４との間のタスク同期をさらに詳細に説
明する。時間ｔのときに表示される６０１のような画像
をいくつかの水平の「ストライプ」６０２，６０３，６
０４及び６０５に分割し、それぞれのストライプを４０
１〜４０４のような別個の並列計算ノードに割当てる。
６０１を１つの完全な画像、すなわち、フレームとして
見る場合、モジュール４０１は処理すべきストライプと
してストライプ６０２を割当てられることになる。ま
た、モジュール４０２は処理のためにフレームのストラ
イプ６０３を受取り、モジュール４０３はストライプ６
０４を受取り、モジュール４０４はストライプ６０５を
受取る。ストライプの幅は図６に示すフレーム６０１の
全スクリーン幅であり、ストライプの長さはｈとして表
されている。フレームの全長をＨとし、ビデオイメージ
ングシステム４００の並列計算ノードの数をＮとすると
き、ｈ＝Ｈ／Ｎである。さらに、各並列計算ノードは、
ストライプ６０２に関する６０６のように、６０３など
の次のプロセッサストライプと重なり合う画像重複領域
を割当てられている。これにより、計算モジュールはス
トライプの一部領域を共用できるようになるので、領域
が１つのストライプから別のストライプへ移行する場合
に、６０７のような垂直方向に動く領域は次のプロセッ
サの局所メモリに既に入っていることになる。たとえ
ば、図６に示すように、時間ｔのときにフレーム６０１
にある動く領域６０７は、フレーム６１１に示すような
時間ｔ＋１になると、今度はストライプ６０３に入って
いる第２の位置へ移動する。このストライプは次の計算
モジュール４０２により処理されるのであるが、時間ｔ
のときにストライプ６０３は重複領域６０８に入ってい
たので、ストライプ６０３は既にそのノードの局所メモ
リにある。領域６０８は、計算モジュール４０２に割当
てられていたストライプ６０３に関わる重複領域であ
る。従って、時間ｔ＋１のとき、図６に示す画像６１１
について、計算モジュール４０２は領域６０７に関する
イメージデータをその局所メモリ５０３に既に有してい
る。それは、画像６０１の時間ｔで、６０７が重複領域
６０８にあったためである。

【００４６】このフレーム位置決め方式に加えて、各プ
ロセッサは図４に関連して説明した共用メモリスペース
４０５を介して画像の残る部分をアクセスする。図６に
関連して論じる割当て方式は、一般に、各計算モジュー
ルの局所メモリ５０３を介して垂直に重複する領域のデ
ータに対する即時アクセスを実行する。そのストライプ
の外側にある計算モジュールが情報を要求する（すなわ
ち、動く領域が「重複」領域の外側へ垂直に進み、従っ
て、局所メモリにはなくなった）場合、その情報を図４
に示す共用メモリ４０５から検索すれば良い。当然のこ
とながら、アービトレーションメカニズムがアクセスを
許可しなければならず、共用メモリ４０５をアクセスし
ている間にバス４２０を介して遅延が起こりうるので、
この検索の実行にはより多くの性能低下を伴う。この区
分方式を使用すると、各計算モジュールはその他の処理
モジュールとは無関係に反転ＤＣＴ機能、モーション補
正機能及びＹＵＶ（輝度／色／ＲＧＢ）機能を実行す
る。

【００４７】次に、ホストプロセッサ４１０とモジュー
ル４０１〜４０４とのタスク同期について説明する。好
ましい実施例は、４０１，４０２，４０３又は４０４な
どの１つのモジュールが「マスター」となる方式を採用
する。フレームごとに一度、マスターはホストプロセッ
サ４１０に完全なフレーム１つ分の圧縮データをデュア
ルポートＲＡＭ４０５に記憶させることを要求する。次
に、マスターはその圧縮データを個々のスレーブモジュ
ールの「ジョブ」に復号し、それらを共用メモリ４０５
に記入する。

【００４８】共用メモリ４０５の５１２Ｋ長語は論理的
には「ジョブバンク」と呼ばれる２つの領域に分割され
る。各バンクには、個々のスレーブモジュールに関わる
「ジョブ」のスタックがある。ある任意の時点で、一方
のバンクにあるジョブのスタックをマスターにより「記
入」されている新たに復号されたジョブにより更新して
ゆく。ジョブを記入するためにマスターモジュール４０
１，４０２，４０３又は４０４により開始される共用メ
モリアクセスのシーケンスに多重化されて、他方のスタ
ックからジョブをポップするスレーブによるメモリアク
セスがある。マスターモジュール４０１，４０２，４０
３又は４０４がジョブとして１つ分のビデオフレームを
復号して記入し終わり、スレーブが他方のジョブバンク
を完全に空にしたならば、２つのバンクの役割はフリッ
プし、再びこのプロセスが始まる。次に、ブロック読取
り動作を経て、表示制御器４２６は各モジュール４０１
〜４０４についてデュアルポートメモリ５０４で利用で
きるデータをシステムバス４２５を介して読取り、再構
成画像情報はフレームバッファ４２７に記憶される。

【００４９】元の圧縮ファイルをスレーブの「ジョブ」
に復号するために必要な計算の量は、その後にそれらの
ジョブを最終画像の完成領域に処理するために要求され
る計算の量と比べてきわめて少ない。プロセッサが４つ
以下である場合、マスターモジュールは、ほぼ常に、ス
レーブが他のジョブバンクを空にしてしまう前に現在フ
レームの復号を完了する。そこで、マスターは逆にスレ
ーブの機能を果たすことになり、その他のスレーブと共
同して残ったジョブを完了する。その結果、そのフレー
ムが完成するまで利用できる全てのモジュールを絶えず
使用することができるのである。スレーブプロセスは、 １．その最終ジョブが完了した状況； ２．そのフレームについてジョブが残っていない状況；
又は ３．まだ最終ジョブを完了していないスレーブが他に存
在している状況 の下でのみアイドル状態になる。１つのジョブは通常１
つのフレームの復号の１／６０にしかならないので、圧
縮は所要時間内に実行されて、表示制御器４２６、すな
わち、フレームバッファ４３０でそのデータを利用でき
ることがわかる。

【００５０】主事象ループを巡るサイクルごとに、ホス
トプロセッサ４１０は全てのモジュール４０１〜４０４
を通過する回路を形成し、状態レジスタを読取る。モジ
ュールがホスト４１０に対してタスク（１フレーム分の
圧縮データを入力する要求など）を通知していたなら
ば、ホストプロセッサ４１０は指定のアクションを実行
し、それを続ける。ホストプロセッサ４１０と、各モジ
ュール４０１〜４０４とが共用しているデュアルポート
ＲＡＭ５０４の４Ｋ長語は（論理的に）２つのバンクに
分割される。これにより、各モジュール４０１〜４０４
のＤＳＰ５０１は一方のバンクをホストプロセッサ４１
０と並列して充填している一方で、他方のバンクをホス
トプロセッサ４１０に結合するフレームバッファにアン
ロードすることができる。あるいは、モジュール４０１
〜４０４により直接アクセスされたフレームバッファ４
３０に対して、データを利用できるようにしても良い。
そこで、双方のプロセスが完了した時点で、２つのバン
クの役割をフリップすることができる。

【００５１】好ましい実施例は、ＣＣＩＴＴ Ｈ．２６
１圧縮規格を使用する逆方向再生及びスチルフレーム像
を利用する手段をも構成する。ただし、この方法をＭＰ
ＥＧ，ＪＰＥＧなどの他の型のビデオ圧縮に適用しても
差支えないことは当業者には理解されるであろう。先に
述べた通り、ＣＣＩＴＴ Ｈ．２６１によれば、１つの
シーンの始まりを確定する何らかのキーフレーム又は
「イントラ」フレームを確定することにより、前進ビデ
オが可能になる。「イントラ」フレームに続き、次の
「イントラ」フレームに先立つフレームは、画像の各部
分に関する動き情報を含む「インター」フレームとして
知られている。言いかえらば、インターフレームは動い
たフレームの部分に関する情報のみを含み、その情報は
フレームバッファ４３０に記憶されているイントラフレ
ーム情報に追加される。ところが、「キー」又は「イン
トラ」フレームはシーンの始まりに関する確定情報を規
定するだけであるので、逆方向再生は不可能であり、符
号化画像を逆方向再生しようとすると、重大な画像のゆ
がみが生じる。好ましい実施例において逆方向再生及び
スチルフレームを実行するために使用される方法を図７
ａを参照しながら説明する。

【００５２】図７ａに示すように、７００などの特定の
一連のフレームは、図３に関連して論じた従来例の場合
と同様に、いくつかの「前向き」キーフレーム、すなわ
ち、「イントラ」フレーム７０１，７０２及び７０３を
含むと思われる。それらのキーフレームは、それぞれ、
それらの特定の時点で画像に関する完全シーン情報を提
供する。さらに、「イントラ」フレームの間には７１
０，７１１，７１２及び７１３のようないくつかの「イ
ンター」フレームがある。各「インター」フレームは、
最前の「イントラ」フレームの後に動いたイメージデー
タのモーション情報を提供する。インターフレームは、
フレームバッファに含まれているイントラフレームデー
タに追加される。たとえば、インターフレーム７１０及
び７１１は、イントラフレーム７０１の後に変化した情
報を含む。また、インターフレーム７１２及び７１３は
イントラフレーム７０２の後に変化した画像の部分に関
する情報を含む。ところが、好ましい実施例では、一連
の画像７００は２つの別のフレーム７２０及び７２１を
含む。それらのフレーム７２０及び７２１は、逆方向再
生及びスチルフレームの機能を実行するために画像７０
０に追加されている「追加」キーフレームである。それ
らの追加キーフレームは、逆方向の完全シーン情報を確
定する。言いかえれば、７２１は、逆方向に見てフレー
ム７１３及び７１２の直前の時点の完全シーン情報を確
定する。逆方向に再生するとき、７２１は画像の完全シ
ーン情報を設定し、７１３はキーフレーム７２１から減
算できる情報を含む。７２１自体は、インターフレーム
７１３以後に変化した情報を含み、それをフレームバッ
ファの画像から減じることができる。後向きキーフレー
ム７２０と、それに対応するインターフレーム７１１及
び７１０についても同じことがいえる。

【００５３】注目すべき明確に異なる特徴の１つは、正
方向に再生を実行するときには後向きキーフレーム７２
０及び７２１を無視することである。言いかえれば、圧
縮画像のシーケンスの中には追加キーフレームが存在し
ているが、正方向に再生するときには、キーフレーム７
２０及び７２１をスキップする。これは、正方向ではイ
ントラフレーム７０１，７０２及び７０３のみが有効な
ためである。逆に、画像を逆方向に表示するときには、
前向きキーフレーム７０１，７０２及び７０３をスキッ
プする。フレーム７００には、再生方向に従ってシーケ
ンス中の次のフレームを指示するためのポインタがそれ
ぞれ設けられている。簡単にいえば、正方向のポインタ
は後向きキーフレーム７２０及び７２１をスキップし、
逆方向のポインタは前向きキーフレーム７０１，７０２
及び７０３をスキップする。このことについては以下に
さらに詳細に説明する。逆方向では、インターフレーム
を減じるべきシーン情報を確定するために、キーフレー
ム７２１及び７２０のみを使用する。

【００５４】改良されたＣＣＩＴＴエンコーダは追加キ
ーフレームを与え、そこで、前向きキーフレームが現れ
るたびに、この追加キーフレームは逆方向再生にのみ使
用される情報を含むことになる。余分のキーフレームを
追加すると、追加キーフレームの計算で約５パーセント
多くのオーバヘッドを費す結果になる。逆方向再生機能
により得られる利点を考えれば、これは重大なものでは
ないと思われる。

【００５５】好ましい実施例で使用するフレームに関わ
るデータを図７ｂにさらに詳細に示す。図７ｂは、説明
の便宜上、「インター」フレーム７１２を示すが、図７
ａに示す７０１，７０２及び７０３のような前向きキー
フレーム（イントラフレーム）や、図７ａに示す７２０
及び７２１のような後向きキーフレームにも同じ説明を
等しく適用できる。図７ｂに示す通り、７１２のような
データはそのフレームの中に含まれているデータに関す
る情報を提供する３つのフィールド７５１，７５２及び
７５３を含む。第１のフィールド７５１は８ビットの長
さであり、「フレームＩＤ」フィールドとして知られて
いる。このフィールドはフレームの型を指示する値を含
む。フレームが７０１，７０２又は７０３などのイント
ラフレーム、すなわち、前向きキーフレームであれば、
フレームＩＤフィールド７５１は０を含む。これに対
し、フレームが図７ａに示す７１０，７１１，７１２又
は７１３などのインターフレームである場合には、フレ
ームＩＤは１を含む。フレームが好ましい実施例で与え
られるような７２０又は７２１などの後向きキーフレー
ムであれば、フレームＩＤフィールドは２を含む。３か
ら２５５までの値は現時点では定義されておらず、従っ
て、３から２５５まで（３と２５５を含む）の値を有す
るフレームＩＤフィールド７５１を含むフレームは、好
ましい実施例のデコーダでは無視される。

【００５６】図７ｂに示す７１２のような改良されたＣ
ＣＩＴＴフレームにおける次のフィールドは正方向ポイ
ンタ７５２と、逆方向ポインタ７５３である。それらの
フィールドは正方向再生と、逆方向再生に関するリンケ
ージ情報を与えるだけである。フィールド７５２を使用
するときは逆方向キーフレームはスキップされ、フィー
ルド７５３を使用するときは正方向キーフレーム（イン
トラフレーム）はスキップされる。図７ａに示す７１２
のようなイントラフィールドでは、正方向ポインタ７５
２は図７ａに示すようなフレーム７１３を指示し、逆方
向ポインタは後向きキーフレーム７２０を指示する。逆
方向ポインタ７５３は７１１のような他のイントラフレ
ームを指示し、それらのイントラフレームは図７ａに示
すフレーム７１０を指示し、別のインターフレームは時
間の上でそれに先立っている。図７ｂの７１２のような
データに残っているフィールドは可変長データフィール
ド７５４である。このフィールドはそのフレームに関す
る適切な可変長符号化データを含む。図７ａに示す７１
２のようなイントラフレームの場合、可変長データは図
７ａに示す７０２のような先行フレームからの差情報を
含む。７０１，７０２又は７０３のようなイントラフレ
ーム、あるいは７２１又は７２０のような後向きキーフ
レームの場合には、可変長データフィールド７５４の中
に完全シーン情報が含まれている。

【００５７】図８ａを参照して、改良されたＣＣＩＴＴ
デコーダを説明する。図８ａは、標準ＣＣＩＴＴデコー
ダに追加機能ブロックを追加した構成を示す。変形され
ていないＣＣＩＴＴはモーション推定機能ブロックと、
イントラ−インター機能ブロックとを具備していたが、
改良されたＣＣＩＴＴデコーダ８００はフレーム差ブロ
ック８１４と、シーン検出器ブロック８１５と、イント
ラ／インター／スチル／追加ブロック８１６とを含む。
フレーム差計算よりも多くの冗長性が排除されることか
ら、モーション補正が望ましいのではあるが、それはオ
ーバヘッドを計算する上で非常にコストがかかる。フレ
ーム差計算を使用するほうが逆方向再生機能の実現は容
易である。シーン検出器ブロック８１５は、連続するフ
レームの間の色のエネルギーの差を自動的に検出する。
また、このブロック８１５はシーンの変化と、ビデオ画
像のシーケンスの中にスチル画像が存在するか否かを検
出する。シーン変化があったときには、画質を向上させ
るために、シーケンスにキー（イントラ）フレームを追
加する。ブロック８１５は、呼出すべきモードがイント
ラフレーム、インターフレーム、スチル又は「追加」フ
レーム（逆方向キーフレーム）のいずれであるかを決定
する。追加フレームモードは、図７ａに関連して論じた
ような逆方向再生に必要なキーフレームを与えるために
追加されている。フレーム差ブロック８１４は、逆方向
再生を可能にするために、モーション補正ではなく、連
続するフレームの差をとる。正方向の場合のようなモー
ション補正はないので、圧縮及び圧縮解除の間の画質は
わずかに劣化するが、多くの適用用途について適切であ
るＣＣＩＴＴ Ｈ．２６１の性能に、逆方向再生と、ス
チルフレームの機能が加わったことを考慮すれば、それ
は許容しうるものである。

【００５８】シーン変化検出器８１５を図８ｂにさらに
詳細に示す。シーン変化検出器８１５は図８ａのフレー
ム差ブロック８１４から差情報８５２を受取り、先行フ
レームとの差がブロック８１６による完全に新しいイン
トラフレームの計算を正当とするのに十分な差であるか
否かを判定する。これは、機能８５１により、フレーム
差ブロック８１４から受取った情報８５２の中のＵ及び
Ｖ（色）エネルギーを計算することによって判定され
る。別の実施例では、シーン変化の検出を輝度のみに合
わせても良く、あるいは、輝度と色エネルギーの双方に
合わせても良い。Ｕ及びＶ情報を判定したならば、その
情報を閾値ブロック８５０に供給し、閾値ブロック８５
０はＵ及びＶ信号の差情報が所定の閾値に達したか否か
を判定する。信号がこの閾値に達していれば、シーケン
スの画質を維持するために入力画像について全く新しい
イントラフレーム、すなわち、キーフレームを計算しな
ければならないことを指示するための信号を図８ａに示
すブロック８１６へ送信する。これは、先行フレームと
現在フレームとの差が大きいので、インターフレームに
含まれているシーン差情報の代わりに完全シーン情報
（イントラフレーム）を生成すべきであることを示す。
従って、画質、すなわち、動く画像のシーケンスの品質
を維持できるのである。図８ａに示すブロック８１６へ
送信されたこの情報は、図８ｂに示す情報８５３として
出力される。

【００５９】好ましい実施例で使用する改良されたＣＣ
ＩＴＴデコーダを図９に示す。図９に示すようなデコー
ダ９００は、逆方向と正方向の再生を容易にするために
追加の「再生制御」ブロック９０８が設けられているこ
とを除いて、標準ＣＣＩＴＴデコーダのあらゆる機能を
含む。また、モーション補正ブロック２０６の代わり
に、正方向再生を行っているか又は逆方向再生を行って
いるかに応じて未圧縮データに関するフレーム差計算を
実行するフレーム差計算ブロック９０６を使用する。正
方向再生を行っている場合には、フレーム差計算ブロッ
ク９０６はその時点でフレームバッファにある現在デー
タにインターフレームデータを加算するだけである。逆
方向再生を行っている場合には、フレーム差計算ブロッ
ク９０６はフレームバッファにある現在データからイン
ターフレームデータを減ずる。フレーム差計算ブロック
９０６と、デマルチプレクスブロック９０１は、正方向
再生が行われているか又は逆方向再生が行われているか
をデコーダ９００に指示する再生制御ブロック９０８に
より制御される。再生制御ブロック９０８は、キーボー
ド、マウスなどの入力装置又は他の入力装置におけるユ
ーザーとの会話により発生される外部信号である正方向
／逆方向再生制御信号によって制御される。以上、改良
されたビデオ圧縮解除に関わる発明を説明した。図１〜
図９に示すような好ましい実施例に関連して本発明を特
定して説明したが、本発明が図に開示した内容をはるか
に越えるユーティリティを有することは当業者には明白
であろう。当業者により、以上開示した通りの本発明の
趣旨から逸脱せずに数多くの変更や変形を実施しうるも
のと考えられる。

【図面の簡単な説明】

【図１】従来のビデオエンコーダを示す図。

【図２】従来のビデオデコーダを示す図。

【図３】従来のモーションビデオ表示方式を示す図。

【図４】好ましい実施例のビデオプロセッサのアーキテ
クチャを示す図。

【図５】本発明の好ましい実施例で使用する１つの計算
モジュールを示す図。

【図６】好ましい実施例の計算モジュールのそれぞれに
より処理するための画像の区分を示す図。

【図７】好ましい実施例のモーションビデオ符号化方法
を示す図と１つのフレームの表示を詳細に示す図。

【図８】好ましい実施例で使用する改良されたＣＣＩＴ
Ｔエンコーダを示す図とシーン変更検出器を詳細に示す
図。

【図９】好ましい実施例で使用する改良されたＣＣＩＴ
Ｔ検出器を示す図。

【符号の説明】

４００ 並列処理システム ４０１〜４０４ 計算モジュール ４０５ 共用メモリスペース ４１０ ホストプロセッサ ４１１ 制御バス ４１２ 低速制御バス ４２０ ビデオバス ４２５ システムバス ４２６ 表示制御器 ４２７ フレームバッファ ４２８ 表示装置 ４３０ フレームバッファ ４４０ 表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 チア・ルン・イー アメリカ合衆国 95070 カリフォルニア 州・サラトガ・シャトー ドライブ・ 20100 (72)発明者 ダニエル・ウィリアム・ライト アメリカ合衆国 94086 カリフォルニア 州・サニーヴェイル・ナンバー835・イー スト エヴリン アヴェニュ・730 (72)発明者 キーチャン・チュ アメリカ合衆国 95070 カリフォルニア 州・サラトガ・チェスター アヴェニュ・ 14211

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ビデオデータを実時間で圧縮／圧縮解除
   するためにビデオデータを処理する装置において、 ａ．それぞれがプロセッサと、デュアルポートメモリ
   と、スクラッチパッドメモリと、アービトレーションメ
   カニズムとを有する複数の計算モジュールと； ｂ．計算モジュールと、ホストプロセッサとを結合する
   第１のバスと； ｃ．第２のバスによってホストプロセッサと、計算モジ
   ュールとに結合されている共用メモリとを具備する装
   置。
2. 【請求項２】 ビデオデータを実時間で圧縮／圧縮解除
   するためにビデオデータを処理する装置において、 ａ．それぞれが並列に第１のバスに結合すると共に、並
   列に第２のバスに結合する複数の処理モジュールと； ｂ．第１のバスに結合するホストプロセッサと； ｃ．第２のバスに結合する共用メモリと； ｄ．共用メモリをホストプロセッサに結合する第３のバ
   スとを具備する装置。
3. 【請求項３】 並列に結合するＮ個の処理装置を具備す
   るコンピュータシステムで処理のために画像を区分する
   方法において、 ａ．画像の全長を確定し、その長さをＮで除算し、被除
   数を第１の値に記憶する過程と； ｂ．第１の位置で始まり、第１の位置から第１の値だけ
   外れた位置で終わる画像の第１の領域を第１の計算装置
   に割当てる過程とから成る方法。
4. 【請求項４】 並列に結合するＮ個の処理装置を具備す
   るコンピュータシステムで処理のために画像を区分する
   方法において、 ａ．第１の位置で始まり、その第１の値から、画像の全
   長をＮで除算した値に等しい第１の値だけ外れた位置で
   終わる画像の第１の領域を第１の計算装置に割当てる過
   程と； ｂ．第１の位置から第１の値がけ外れた位置に等しいｉ
   番目の位置で始まり、そのｉ番目の位置から第１の値だ
   け外れた位置で終わるｉ番目の領域をｉ番目の計算装置
   に割当てる過程と； ｃ．ｉがｉ＋１と等しいものとして、ｉがＮと等しくな
   り、第１の位置がｉ番目の位置になるまで、過程ｂを繰
   返する過程とから成る方法。