WO1994017634A1

WO1994017634A1 - Image signal encoding method, image signal encoder, image signal decoding method, image signal decoder, and image signal recording medium

Info

Publication number: WO1994017634A1
Application number: PCT/JP1994/000064
Authority: WO
Inventors: Yoichi Yagasaki; Jun Yonemitsu; Teruhiko Suzuki
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-01-19
Filing date: 1994-01-19
Publication date: 1994-08-04
Anticipated expiration: 1995-07-19
Also published as: AU677281B2; AU5865594A; EP0634868A1; KR950701178A; CN1102292A; EP0634868A4

Description

明細書

発明の名称画像信号符号化方法、画像信号符号化装置、

画像信号復号化方法、画像信号復号化装置及び画像信号記録媒体

技術分野

本発明は動画像のデータ圧縮に好適な、符号化方法、復号化方法、符号化装置、復号化装置、記録媒体および記録、再生および復号化する装置に関する。背景技術

従来、動画像データは情報量が極めて多いため、これを記録再生するには連続的な伝送速度が極めて高い記録媒体が要求され、現在例えば N T S Cテレビジョン方式のビデオ信号は、いわゆる磁気テープや光ディスクに記録し再生するようになされている。

これに加えてビデオ信号を、より小型で記録情報量の少ない記録媒体に長時間記録しようとする場合には、ビデオ信号を高能率符号化して記録すると共にその読み出し信号を能率良く復号化する手段が不可欠となり、このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その 1 つに M P E G (M o v i n g P i c t u r e E e r t s

G r o u p 方式力める。

この M P E G方式は、まずビデオ信号の画像フレーム間の差分を取ることにより時間軸方向の冗長度を落とし、その後離散コサイン変換 {Dし Γ ( d i s c r e t e c o s i n e t r a n s f o r m) } 等の直交変換手法を用いて空間軸方向の冗長度を落とし、このようにしてビデオ信号を能率良く符号化して所定の記録媒体に記録し得るようになされている。

またこのようにして高能率符号化されたビデオ信号が記録された記録媒体を再生する場合には、再生信号について逆直交変換等で効率良く復号化してビデオ信号を再生し得るようになされている

通常上述のようにして高能率符号化されたビデオ信号が記録された記録媒体を高速再生する場合、数フレームおきに復号化を行ないこれを通常再生と同じ速度で出力することにより高速再生を実現し得るようになされている。

ところで、上述の M P E G方式による符号化においては、一つのビデオシ一ケンスはフレーム群（ G◦ P ) 、例えば 1 2フレーム単位に分割されており、各フレームは予測方式によって 3種類に分類される。

I : I n t r a c o d i n フレーム（ I ピクチャ）

P ：過去のフレームから動き予測を行なうフレーム（Pピクチャ） B :過去及び未来のフレームから動き予測を行なうフレーム（B ピクチャ）

G 0 Pの構成の従来例を図 2 6に示す。ここで GO P中での各フレームの表示順番をフレーム番号と定義する。 1 2フレームで構成される G O Pの場合、 1 2番目のフレームのフレーム番号は

1 1 となる。図 2 6は、 1 G〇 P内に、少なくとも 1 フレームの I ピクチャがある例である。図 2 6では、 I 2が I ピクチャであり、フレーム全体が、 I n t r a c o d i n gされている。

このように、従来の M P E G方式においては、フレーム間の動きを予測して符号化が行なわれており、現在のフレームに対して過去又は未来のフレームの復号化画像なしでは復号化が不可能なフレームが存在するため、必ずしも自由にフレームを選んで高速に再生することはできない問題がある。

実際上、直接アクセスして復号化が可能なフレームは、通常十数フレームに 1 フレーム存在する I n t r a c o d i n gフレ - (以下これをイントラフレームと呼ぶ）のみであり、これらィントラフレームのみを再生しても動きの粗い高速再生しかできない。

またこのような問題を解決するため、全フレームについて数倍の処理速度で復号化すれば高速再生が可能になるが、ハードゥエァ上の制約から復号化の処理速度を数倍にすることはほとんど実現が不可能であった。

更に、イントラフレームのみを再生する場合にもデータの読みだし時間、およびトラックジャンプに必要な時間が大きいためほとんど実現が不可能であつた。

本発明は以上の点を考慮してなされたもので、復号化の処理速度を上げることなく滑らかな高速正転及び逆転再生を実行し得る動画像復号化装置を提案しょうとするものである。発明の開示

かかる課題を解決するため、本発明に係る画像信号符号化方法においては、 1枚の画像を複数のスライスに分割して符号化し、上記スライス内のイントラ符号化されたマクロブロックの構成を示すィントラスライス情報をヘッダに付加する。

また、本発明に係る復号化方法においては、符号化画像信号の所定のへッダから、各スラィス内のィントラ符号化されたマク口プロックの構成を示すィントラスライス情報を復号化し、上記復号化された情報に基づいて、上記符号化画像信号から上記ィントラ符号化されたマクロブロックを取り出す。

第〗の本発明は、画像信号を符号化する画像信号符号化方法において、 1枚の画像を複数のスライスに分割して符号化し、上記スライス内のィントラ符号化されたマクロブ口ックの構成を示すイントラスライス情報をへッダに付加する画像信号符号化方法である。

第 2の本発明は、上記ヘッダは、シンクコードを有するスライスへッダである画像信号符号化方法である。

第 3 の本発明は、上記スライスの先頭がィントラ符号化されるマクロブロックになるように上記スライスを割り当てる画像信号符号化方法である。

第 4の本発明は、すべてのマクロブロックがイントラ符号化されるスライスと、それ以外のスライスとに上記複数のスライスを割り当てて符号化し、スラィス内のすべてのマクロブ口ックがィントラ符号化されているか否かを示す上記ィントラスライス情報を上記へッダに付加する画像信号符号化方法である。

第 5の本発明は、複数枚の画像に対し、イントラ符号化される領域の少なくとも一部がそれぞれ異なるように、上記ィントラ符号化される領域を分散して符号化する画像信号符号化方法である, 第 6 の本発明は、スライスヘッダの直後にスライス内の上記ィントラ符号化されたマクロブロックの符号化データを移動する画像信号符号化方法である。

第 Ίの本発明は、 G〇 Pへッダの直後に G〇 P内の上記ィントラ符号化されたマクロブ口ックの符号化データを移動する画像信号符号化方法である。

第 8の本発明は、上記イントラ符号化される領域に応じた制限範囲内で動き補償を行って上記複数枚の画像信号を符号化する画像信号符号化方法である。

第 9の本発明は、画像信号を符号化する画像信号符号化装置において、 1枚の画像を複数のスライスに分割して符号化する符号化手段と、上記スラィス内のィントラ符号化されたマク口プロックの構成を示すィントラスライス情報をへッダに付加する付加手段とを有する画像信号符号化装置である。第 1 0の本発明は、上記ヘッダは、シンクコードを有するスライスへッダである画像信号符号化装置である。

第 1 1 の本発明は、上記符号化手段は、上記スライスの先頭がィントラ符号化されるマクロブ口ックになるように上記スライスを割り当てる画像信号符号化装置である。

第 1 2の本発明は、上記符号化手段は、すべてのマクロブロックがィントラ符号化されるスライスと、それ以外のスライスとに上記複数のスライスを割り当て符号化し、上記付加手段は、スラィス内のすべてのマクロブ口ックがィントラ符号化されているか否かを示す上記ィントラスライス情報を上記へッダに付加する画像信号符号化装置である。

第 1 3の本発明は、上記符号化手段は、ィントラ符号化される領域の少なくとも一部がそれぞれ異なるように、上記ィントラ符号化される領域を分散して符号化する画像信号符号化装置である ₍ 第 1 4 の本発明は、スライスヘッダの直後にスライス内の上記ィントラ符号化されたマクロブロックの符号化データを移動する順序入れ替え手段を有する画像信号符号化装置である。

第 1 5の本発明は、 0〇へッダの直後に〇〇内の上記ィントラ符号化されたマクロブロックの符号化データを移動する順序入れ替え手段を有する画像信号符号化装置である。

第 1 6 の本発明は、上記符号化手段は、上記イントラ符号化される領域に応じた制限範囲内で動き補償を行って上記複数枚の画像信号を符号化する画像信号符号化装置である。

第 1 7の本発明は、符号化画像信号を復号化する画像信号復号化方法において、符号化画像信号の所定のヘッダから、各スライス内のィントラ符号化されたマクロブロックの構成を示すィントラスライス情報を復号化し、上記復号化されたイントラスライス情報に基づいて、上記符号化画像信号から上記ィントラ符号化されたマクロブロックを取り出す画像信号復号化方法である。

第 1 8の本発明は、上記へッダは、シンクコードを有するスライスへッダであつて、上記シンクコードを検出することにより、上記各スライスの始まりを特定する画像信号復号化方法である。

第 1 9の本発明は、記録メディアから上記符号化画像信号を変速再生し、取り出された上記イントラ符号化されたマクロブ口ックを復号化して、変速再生画像を生成する画像信号復号化方法である。

第 2 0の本発明は、上記復号化されたマクロブロック以外のマクロブロックを過去に復号化された参照画像からコピーして復号化することにより、上記変速再生画像を生成する画像信号復号化方法である。

第 2 1の本発明は、上記復号化されたマクロブロックを過去に復号化された参照画像に上書きして上記変速再生画像とする画像信号復号化方法である。

第 2 2の本発明は、符号化画像信号を復号化する画像信号復号化方法において、記録メディアから符号化画像信号を通常の速度で再生し、再生された符号化画像信号の所定のヘッダから、各スライス内のィントラ符号化されたマクロプロックの構成を示すィントラスライス情報を復号化し、復号化された上記ィントラスラィス情報に基づいて、上記ィントラ符号化されたマクロブロックの符号化データを、符号化時の順序に並べ変え、並べ換えられた符号化画像信号を復号化して通常再生画像を生成する画像信号復号化方法である。

第 2 3の本発明は、上記符号化画像信号は、スライス内のィントラ符号化されたマク πブロックの符号化データがスライスへッダの直後に移動された信号である画像信号復号化方法である。第 2 4の本発明は、上記符号化画像信号は、 G O P内の上記ィントラ符号化されたマクロプロックの符号化デ一夕が G〇 Pへッダの直後に移動された信号である画像信号復号化方法である。第 2 5の本発明は、符号化画像信号を復号化する画像信号復号化装置において、符号化画像信号の所定のヘッダから、各スライス内のイントラ符号化されたマクロブロックの構成を示すィントラスライス情報を復号化する手段と、上記復号化されたィントラスライス情報に基づいて、上記符号化画像信号から上記ィントラ符号化されたマクロブロックを取り出す抽出手段とを有する画像信号復号化装置である。

第 2 6の本発明は、上記ヘッダは、シンクコードを有するスライスヘッダであって、上記シンクコードを検出する手段を有する画像信号復号化装置である。

第 2 7の本発明は、記録メディァから上記符号化画像信号を変速再生する手段と、上記抽出手段により取り出された上記イントラ符号化されたマクロブロックを復号化して、変速再生画像を生成する復号化手段とを有する画像信号復号化装置である。

第 2 8の本発明は、上記復号化手段は、上記復号化されたマク口プロック以外のマクロブロックを過去に復号化された参照画像からコピーして復号化することにより、上記変速再生画像を生成する画像信号復号化装置である。

第 2 9の本発明は、上記復号化手段は、上記復号化されたマク πブロックを過去に復号化された参照画像に上書きして上記変速再生画像とする画像信号復号化装置である。

第 3 0の本発明は、符号化画像信号を復号化する画像信号復号化装置において、記録メディアから符号化画像信号を通常の速度で再生する再生手段と、再生された符号化画像信号の所定のへッダから、各スライス内のィントラ符号化されたマクロブロックの構成を示すィントラスライス情報を復号化する手段と、復号化された上記ィントラスライス情報に基づいて、上記ィントラ符号化されたマクロブ口ックの符号化データを、符号化時の順序に並べ変える並べ換え手段と、並べ換えられた符号化画像信号を復号化して通常再生画像を生成する手段とを有する画像信号復号化装置でめる。

第 3 1 の本発明は、上記符号化画像信号は、スライス内のイントラ符号化されたマク口ブロックの符号化データがスライスへッダの直後に移動された信号である画像信号復号化装置である。第 3 2の本発明は、上記符号化画像信号は、 G 0 P内の上記ィントラ符号化されたマクロブロックの符号化データが G〇 Pへッダの直後に移動された信号である画像信号復号化装置である。

第 3 3の本発明は、符号化画像信号が記録された画像信号記録媒体において、 1枚の画像を複数のスライスに分割して符号化し, 上記スライス内のィントラ符号化されたマクロブ口ックの構成を示すィントラスライス情報をへッダに付加して符号化ビットストリームを生成し、上記符号化ビットストリームを記録メディァ上に記録することにより生成された画像信号記録媒体である。

つまり、動画像を符号化する際に、 I n t r a c o d i n g を行う領域を、フレームもしくはフィールド等の画面全体ではなく画面単位以下に分散させる。

さらに、その構造を示すフラグを付加する。上記フラグの情報に従って、符号化した画像データを高速再生用にデータの構成を変更して、伝送もしくは記録する。

動画像符号化データを復号化する際に、多重化されたフラグを用いて、分散された、 I n t r a c o d i n gを行われた領域を、復号することにより、なめらかな高速正転および逆転再生を行う。図面の簡単な説明

図 1 Aは本発明画像信号の画像符号化装置の一実施例の構成を示すブロック図である。

図 1 Bは本発明画像信号の画像符号化装置の一実施例の構成を示すブロック図である。

図 2 Aは本発明画像符号化装置の動作を説明するための MB s t a r t c o d eを示す図である。

図 2 Bは本発明画像符号化装置の動作を説明するための MB カウンタリセットを示す図である。

図 2 Cは本発明画像符号化装置の動作を説明するための S 1 i c e s t a r t c o d eを示す図である。

図 2 Dは本発明画像符号化装置の動作を説明するためのスラィスカウンタリセットを示す図である。

図 2 Eは本発明画像符号化装置の動作を説明するためのフレームスタートを示す図である。

図 2 Fは本発明画像符号化装置の動作を説明するためのフレームリセットを示す図である。

図 3は本発明の画像復号化装置の一実施例の構成を示すブ口ック図である。

図 4 は本発明の I n t r a S l i c eの符号化手順を説明するための図である。

図 5 は本発明の I n t r a C o l u m nの符号化手順を説明するための図である。

図 6 Aは本発明のスライス構造を説明するための図である。図 6 Bは本発明のスライス構造を説明するための図である。図 6 Cは本発明のスライス構造を説明するための図である。図 6 Dは本発明のスライス構造を説明するための図である。図 6 Eは本発明のスライス構造を説明するための図である。図 7 Aは本発明のビットストリ —ムの構成を示す S l i c e w i t h N o I n t r a MB sの場合を示す図である。図 7 Bは本発明のビットストリ一ムの構成を示す S 1 i c e w i t h a l l I n t r a M B sの場合を示す図である。図 7 Cは本発明のビットストリームの構成を示す S l i c e w i t h s o m e I n t r a MB sの場合を示す図である図 7 Dは本発明のビットストリームの構成を示す順序を変更した B 〗 t s t r e a πιの場合を示す図である。

図 8は M P E Gのスライスレイヤ一の S y n t a xを示す図である。

図 9 は本発明の S y n t a xの M P E Gへの導入を示す図である o

図 1 0 は本発明の S y n t a xの M P E Gへの導入を示す図である。

図 1 1 Aは本発明のビットストリ一厶の構成を示す S l i c e w i t h n o I n t r a MB sを示す図である。

図 1 1 Bは本発明のビットストリー厶の構成を示す S l i c e w i t h s o m e I n t r a MB s { a \ \ I n t r a MB s も含む）を示す図である。

図 1 2 は本発明の S y n t a xの M P E Gへの導入を示す図でのる。

図 1 3は本発明の S y n t a xの M P E Gへの導入を示す図であ O o

図 1 4 は本発明の S y n t a xの M P E Gへの導入を示す図でめる

図 1 5は本発明の S y n t a xの M P E Gへの導入を示す図である。

図 1 6は本発明の S y n t a xの M P E Gへの導入を示す図である。

図 1 7 は本発明のェンコ一ドシステムの一実施例の構成を示すブロック図である。

図 1 8は本発明のデコードシステムの一実施例の構成を示すブロック図である。

図 1 9は本発明のデコ一ドシステムの一実施例の構成を示すブ口ック図である。

図 2 0 は高速再生時のへッド軌道を説明するための図である。図 2 1 は高速再生時のへッド軌道を説明するための図である。図 2 2 Aは本発明のビットストリー厶の構成を説明するための図である。

図 2 2 Bは本発明のビットストリームの構成を説明するための図である。

図 2 3 Aは本発明のビットストリー厶の構成を説明するための図である。

図 2 3 Bは本発明のビットストリームの構成を説明するための図である。

図 2 4 Aは本発明のケース（ A ) におけるビットストリームの構成を示す図である。

図 2 4 Bは本発明のケース（ B ) におけるビットストリームの構成を示す図である。

図 2 4 Cは本発明のケース（ C ) におけるビットストリームの構成を示す図である。

図 2 4 Dは本発明のケース（ D ) におけるビットストリームの構成を示す図である。

図 2 5 は本発明のビットストリームの構成を示す図である。図 2 6 は従来の符号化手順を説明するための図である。

発明を実施するための最良の状態以下、本発明に係る符号化方法、復号化方法、符号化装置、復号化装置及び記録媒体の実施例について、図面を参照しながら説明する。

〔ェンコーダ及びデコ一ダ〕

先ず、画像信号の高能率符号化及び復号化方法について図 1、

3を用いて説明する。これは、動き補償予測符号化と D C T (D i s c r e t e C o s i n e T r a n s f o r m) 等の符号化を組み合わせたハイプリッド（H i b r i d ) 方式である。

ハイブリッド符号化方式は、テレビ電話のための動画像の符号化規格である C C I TT (国際電信電話諮問委員会）の H. 2 6

1や I S O— I E CZJ TC 1 ZS C 2ZWG 1 1 (通称 MP E Gという）で進行してきた蓄積メディァ用の動画像符号化の規格などにおいて広く採用されている。

動き補償予測符号化は、動画像信号の時間軸方向の相関を利用した方法であり、現在符号化対象である画像を、すでに復号再生されてわかっている画像信号から予測し、その時の予測誤差と動きべクトル，予測モードなどの動き情報を伝送することで、符号化に必要な情報量を圧縮する方法である。

この時の動き補償予測誤差信号を振幅軸方向の相関を利用して、符号化する。この差分信号符号化器の一例としては、 DC T変換と量子化を組み合わせた方式が、代表的なものである。 DC T符号化は、画像信号の持つフレーム内（フィールド内） 2次元相関性を利用して、ある特定の周波数成分に信号電力を集中させ、この集中分布した係数のみを符号化することで情報量の圧縮を可能とする。

図 1 にハイブリッド符号化器 1 0 2のブロック図を示す。画像入力端子 1より入力された画像信号はフィールドメモリ一群 2へ供給される。メモリコントローラ 3は、予め設定されたビデオシ一ケンスに従って、フィールドメモリ一群 2及びフィールドメモリ群 4の読出を制御する。

また、メモリコントローラ 3は、現在符号化対象でありフィ一ルドメモリ一群 2から読み出される画像のマク口プロックの先頭毎に同期して、スライス · スタートコードをマクロブロックカウンタ 5に供給する。

動き予測回路 6は、フィールドメモリー群 2へ供給されている画像信号に対して、現在符号化対象である画像中の画素の動き予測を過去画像と未来画像を参照して行なう。動き予測は、現在符号化対象である画像中のプロック画素信号と参照される過去画像または未来画像とのブロックマッチングであり、ブロックの大きさは例えば 1 6 x 1 6画素である。この時の過去および未来の参照画像は、メモリコントローラ 3から出力される動き予測参照画像指示信号に従ってフィ一ルドメモリー群 2 の中から指定される, 動き予測回路 6は、ブロックマッチングでの予測誤差が最小である場合の参照画像中のブロック位置を動きべクトルとして、動き補償回路 Ίへ供給する。

R O M 6 0 には、各フレーム中に割り当てられた、高速再生用の I n t r a f r a m e c o d i n gマクロブロックの分布パターンが記憶されている。動き予測回路 6 は、 R O M 6 0に記憶された分布パタ一ンに応じて、プロックマッチングの検索範囲を制限する。これにより、検出される動きべクトルの範囲が制限され、動き補償の範囲が制限されることになる。

動き補償回路 7 は、後述する既に復号再生された画像が蓄えられているフィールドメモリ一群 4から、動きべクトルで指定されたァドレスに位置するプロック画像信号の出力を指示する。この時の参照画像は、メモリコントローラ 3から出力される動き補償参照画像指示信号に従ってフィ一ルドメモリー群 2の中から指定される。フィールドメモリ群 4から出力された動き補償されたブ口ック画像信号は、適応的な動作となっており、プロック単位で以の 4種類の動作から最適なものに切替えることが可能である。

• 過去の再生画像からの動き補償モード。

♦ 未来の再生画像からの動き補償モード。

• 過去未来の両再生画像からの動き補償モード {過去の再生画像からの参照プロックと未来の再生画像からの参照プロックを 1画素毎に線形演算（たとえば平均値計算）をする。 }

- 動き補償なし {すなわち画像内（イントラ）符号化モードである。この場合、ブロック画像信号の出力は、零であることに等しい。 }

モードの切替え手段としては、例えば上記 4種類のモードで出力されるそれぞれのプロック画素信号と現在符号化対象のプロック画素信号との 1画素毎の差分値の絶対値の総和が最小であるモードが選択される。ここで選択されたモードは動き補償モード信号として後述の V L C器 1 6に出力される。

動き補償回路 7へは、 R〇M 6 0から高速再生用の I n t r a f r a m e c o d i n gマクロブロックの分布ノ、。ターンが供給される。動き補償回路 7は、この分布パターンにおいてイントラ符号化が指定されているマクロブロックについては、上記のモ一ド切り換えの判定結果によらず、動き補償モードとしてイントラ符号化モードを設定する。

フィールドメモリ群 2から供給される現在符号化対象のブ π ック画素信号とフィールドメモリ群 4から供給される動き補償の施されたプロック画素信号は、減算器 8にて 1画素毎の差分値が計算され、その結果、ブロック差分信号が得られる。ブロック差分信号は、差分信号符号化器 9 に供給され、符号化信号が得られる。この符号化信号は、差分信号復号化器 1 0に供給され、ここで復号化されてブロック再生差分信号となる。

差^信号符号化器 9の構成としては、 D C T (ディスクリートコサイン変換）器 1 1 とその出力係数を量子化する量子化器 1 2 からなる構成を適用できる。この場合、ブロック信号復号化器 1 0の構成としては、量子化係数を量子化テーブルにより逆量子化する逆量子化器 1 3 とその出力係数を逆 D C Tする逆 D C T器 1

4からなる構成を適用する。

ブロック再生差分信号は、フィールドメモリ群 4から出力されるブロック画像信号と加算器 1 5 にて、 1画素毎に加算され、その結果、ブロック再生信号が得られる。このブロック再生信号はフィールドメモリ群 4の中からメモリコントロ一ラ 3により指定されるフィ一ルドメモリ一へ格納される。

一方、差分信号符号化器 9から出力された符号化信号は、動きべクトル、動き補償モード、量子化テーブルなどと共に V L C器 (可変長符号化器） 1 6 にてハフマン符号などに可変長符号化され、スライスバッファメモリ 5 7に蓄積された後、後述の F L C (固定長符号化器） 5 4 にてヘッダが付加された後、図示せぬバッファメモリを介して出力端子 1 7からビットストリームとして一定の伝送レートで送出される。

図 2に示すように、マクロブロックカウンタ 5 1 はフィールドメモリ群 2から読み出される画像に同期してメモリコントローラ

3から出力されるマクロブロックスタートコードをカウントする, 例えば 1 スライスが 4 4マクロブロックから構成される場合、 4

4のマクロブロックスタートコ一ドを数えた後、カウンタをリセットし、スライスカウンタ 5 2 に 1 スライスを加算する。また例えば 1 フレームが 3 0 スライスから構成される場合、スライス力ゥンタ 5 2が 3 0 になるとスライスカウンタをリセッ卜し、フレ一人カウンタ 5 3を 1 フレーム加算する。また例えば 1 G O Pが 1 5 フレームから構成される場合、フレ —ムカウンタ 5 3が 1 5 になるとフレームカウンタをリセットす o

このマクロブロックカウンタ 5 1、スライスカウンタ 5 2、フレームカウンタ 5 3の出力は F L C (へッダ付加器） 5 4、 R〇

M 5 5 にそれぞれのカウント値を出力する。

R OM 5 5には G O P中の各フレーム中に割り当てられた、高速再生用の I n t r a f r a m e c o d i n gマクロブロックの分布パタ一ンが記録されている。この R OM 5 5 はフレームカウンタ 5 1、スライスカウンタ 5 2、マクロブロックカウンタ

5 3のカウント値が入力されると、当該スライスの s t r u c t u.r e f 1 a gおよび当該マクロブロックが高速再生用 I n t r a f r a m e c o d i n gマクロフロックでめるカヽどつ力、を示すフラグをマクロブロックモード切替えスイッチ 5 6に出力する。

V L C器 1 6の出力はへッダ情報中の I n t r a f r a m e c o d i n gマクロブロックの発生ビット量、ポインタを付加するため一度スライスバッファ 5 7 に入れられる。

ビットカウンタ 1 8は V L C器 1 6での各マク πブロックの発生ビット量をカウントする。その出力先はマクロブロックモード切替えスイッチ 5 6 によつて切替えられる。イントラマクロプロックの場合、各マクロブロックの発生ビット量を F L C 5 4に出力する。

その他のマクロブロックの場合、発生ビット量を加算器 5 8で加算し、レジスタ 5 9に保持する。 s t r u c t u r e f 1 a gが 1 になるところまでのマクロブロックの発生ビット量の和がポインタとなるので、この値を F L C 5 4に出力する。レジスタ 5 9 はスライススタートコードによりリセットされる。 F L C 5 4は入力される、 s t r u c t u r e f 1 a g、ポインタ、各イントラマクロブロックの発生ビット量、マクロブロックカウンタの出力を参照し、後述するシンタッタスに従いスライスへッダに情報を付加する。

本発明においては、基本的な符号化の手法は、 MP E Gの符号化の手法と同じである。ただし、ビットカウンター 1 8は、後述するように、 I n t r a M a c r o b l o c kの発生ビット数をカウントし、また、マクロブロックカウンタ 5、スライスカウンタ 5 2、フレームカウンタ 5 3はマクロブ πック数、スライス数及びフレーム数をそれぞれカウントする。これらのカウント情報は F L C 5 4にフィードバックされ、 F L C 5 4はこのカウント情報に基づいて、後述する本発明のフラグをビットストリ一ム中に出力する。

次に本実施例での動画像復号化装置について図 3に基づいて説明する。光ディスク等の伝送メディアを介して入力端子 2 1 より入力されたビットストリーム信号は、逆 V L C器 2 2に供給される。逆 V L C器 2 2は、それぞれの層のへッダー情報を復号化し. 得られた画像復号化のための制御情報をメモリーコントローラ 2 ΰに DG 1思する。

また、逆 V L C器 2 2から取り出された符号化ブロック信号 5

0は、差分信号復号化器 2 4へ供給され、ここで復号されブ口ック再生差分信号となる。差分信号復号化器 2 4の構成としては、逆 V L C器 2 2から取り出された量子化テーブルにより、量子化係数を逆量子化する逆量子化器 2 5とその出力係数を逆 DCT (ディスクリートコサイン変換）する逆 DC T器 2 6からなる構成を適用できる。

—方、逆 V L C器 2 2から取り出された動きべクトル，動き補償モードは、動き補償器 2 7へ入力され、それを受けて動き補償器 2 7 は、既に復号再生された画像が蓄えられているフィ一ルドメモリ一群 2 8の中から、プロック画像信号の出力を指示する。

フィールドメモリ群 2 8から出力されるブロック画像信号は、動き補償モ一ドに応じた適応的な動作となっており、プロック単位で以下の 4種類の動作から最適なものに切替えることが可能である。ブロックの大きさは例えば 1 6 x 1 6画素である。

• 過去の再生画像からの動き補償モード。

• 未来の再生画像からの動き補償モード。

-動き補償なし {すなわち画像内（イントラ）符号化モードである。この場合、ブロック画像信号の出力は、零であることに等しい。 }

ブロック再生差分信号は、フィールドメモリ群 2 8から出力されるブ口ック画像信号と、加算器 2 9 にて 1画素毎に加算され、その結果、ブロック再生信号が得られる。ブロック再生信号は、フィールドメモリ一群 2 8の中からメモリ一コントローラ 2 3により指定されたフィールドメモリーへ格納される。フィールドメモリ一群 2 8に蓄えられた再生画像は、メモリーコントローラ 2 3により指定された出力画像指示信号に従って、指定された再生画像が端子から出力される。

以上のようにして画像復号化装置を構成し、ビットストリームから画像を再生する。

次に符号化方法の詳細について説明する。以下の説明においては、画像の単位をフレームとして説明するが、インタ一レース画像については、フィールドを単位としてもよい。

先ず、 I n t r a M a c r 0 b 1 0 c kの分散について説明する。

図 4、 5 に、本発明の G 0 Pの構成を示す。本発明では、 I ピクチャの代わりに、 P ピクチャと Bピクチャで、 G〇 Pを構成する。図の斜線の領域のように、 P ピクチャの一部の領域を、 I n t r a f r a m e c o d i n gする。そして、 P ピクチャ毎に、 I n t r a f r a m e c o d i n gされる領、域をずらしながら符号化する。

図 4の場合には、 I n t r a f r a m e c o d i n g される領域を画面上で上から下へずらす例（以下、 I n t r a S I i c e と呼ぶ）を示し、図 5 は、 I n t r a f r a m e c o d i n gされる領域を画面上で左から右へずらす例（以下、 I n t r a C o l u m nと呼ぶ）を示しているが、ずらす方向は、下から上でもよいし、右から左でもよい。

但し、 I ピクチャを設定し、上記 P ピクチャの場合と同様に高速再生用データとして画面上の領域を確保するようにしても良い ₍ 但し、この場合、高速再生をする時、高速再生用データとして確保した領域のみを再生する。

次に領域の制限について説明する。

I n t r a f r a m e c o d i n gされる領域は、 1 G O Pで、少なくとも、画面の全体をカバ一するようにずらす。すなわち、図 4、 5の I n t r a f r a m e c o d i n gされる領域（図中の領域 Aで示される部分）を集めると、少なくとも、画面全体をカバーするように制限する。具体的には、 I n t r a f r a m e c o d i n gされる領域は、画面上で間隔が空かないように構成されるか、もしくは、重なり合うように構成される

まず、図 4、 5 において、あるフレームの I n t r a f r a m e c o d i n g される部分を、 Aとする。そのフレームから予測符号化される次の P ピクチャにおいて、 I n t r a f r a m e ' c o d i n gされる部分 Aの、図 4では上に存在し、図 5 では左に存在する部分を Bとする。すなわち、 Bは、それ以前の P ピクチャにおいて、 I n t r a f r a m e c o d i n g された部分である。また、 Aと Bをあわせた部分を Cとする。

このとき、あるフレームの部分 Cは、そのフレームから予測符号化される次の P ピクチャの部分 Bに等しいか、もしくは、より広い部分をカバーする。例えば、？ 5の〇は、 P 8の Bの幅に等しいか、もしくは、より広い部分をカバーする。

次にスライスの割り当てについて説明する。

スライスの割り当ては例えば図 6の（ A ) のように 1 マクロブロックラインで画面の左から始まり右端で終了するようにスライスの分割を行なう。

またこの変形として、上述のように分散させた I n t r a f r a m e c o d i n gマクロブロックがスライス内の先頭になるようスライスの分割を行なうことも可能である。

図 6の（B) ， ( C ) は上記のように分散させた I n t r a f r a m e c o d i n gマクロブロックがカラム状に配置された I n t r a C o 1 u m nの場合を示している。図 6の（B) は、 1つのスライスが画面の右端で終了しない例を示しており、図 6の（C ) は、 1つのスライスが画面の右端で必ず終了する例を示している。

またこの変形として、スライス内の全てのマクロブ口ックが I n t r a f r a m e c o d i n gマクロブロックであるカヽ、またはそれ以外の 2通りになるようにスライスの分割を行なうことも可能である。図 6の（D) ， (E) は上記のようにスライスの分割を行った場合をしめしている。図 6の（D) は、 1つのスライスが画面の右端で終了しない例を示しており、図 6の（E ) は、 1つのスラィスが画面の右端で必ず終了する例を示している ₍ 次に動き補償の制限について説明する。

本発明では、 Pピクチャの動き補償に制限を設ける。図 4、 5 であるフレームの部分 Bは、そのフレームが参照する過去のフレームの部分 Cからの動き補償だけに制限する。

この制限では、あるフレームの部分 Cが、そのフレームから予測符号化される Pピクチャの部分 Bに等しい場合、部分 Bでは、実際に動き補償が制限される。すると、部分 Bの境界にあるプロックでは、動き補償が制限されるので、効率が多少落ちる。たとえば、図 4では、 P 8の部分 Bの下部の境界にあるブロックでは- P 5の部分 Cからのみ動き補償されるので、下から上への動きを補償することはできない。同様に、図 5では、 P 8の部分 Bの右側の境界にあるブロックでは、 P 5の部分 Cからのみ動き補償されるので、右から左への動きを補償することはできない。

しかし、部分 Cが、部分 Bより広い範囲をカバーしている場合には、動き補償の制限は緩やかになり、たとえば、重複する部分が、動き補償の範囲より広い範囲をカバーしている場合には、動き補償の制限は実際にはなく、効率が落ちない。

以上の領域の制限と、動き補償の制限により、部分 Cは、 1 G 〇 Pで、少なくとも 1度は、全画面をカバ一する。ここで、部分 Cは、あるフレームの I n t r a f r a m e c o d i n gされる部分 Aと、それ以前の Pピクチャの I n t r a f r m e c o d i n gされる部分 Bから構成されるので、部分 Cは、 1 G O P内の I n t r a f r a m e c o d i n gの情報だけで構成できる。

このため、以上の領域の制限と、動き補償の制限により、ビットストリームの途中から、復号を始めても、少なくとも 1 G〇 P のデータを復号化した後には、ミスマッチのない（符号化側と一致した）復号ができる。すなわち、ランダムアクセスが保証され o

具体的な例として、画像の大きさを、横 7 2 0画素、縦 4 8 0 ラインとし、符号化する範囲の単位を 1 6画素 X I 6 ラインとする。これを、マクロブロックと呼ぶ。このマクロブロックは、画面の左から右、上から下の順番で伝送される。このマクロブロックの伝送順に、幾つか集めた単位をスライスと呼ぶ。たとえば、以下の説明では、例として、画面の 1列分のマクロブロック集めて、スライスとする。具体的な例では、 7 2 0画素/ ^ 1 6画素 = 4 5マクロブロックとなる。また、 4 8 0 ライン Z 1 6 ライン =

3 0スライスとなる。

図 4で、 I n t r a f r a m e c o d i n gされる部分 A を、画面全体をちようどカバーするには、 P ピクチャは、 4 ピクチヤなので、たとえば、 7スライスと 8スライスづっ交互に I n t r a f r a m e c o d i n gする。また、重なり合うようにするには、 I n t r a f r a m e c o d i n gされる音 β分 Αを、たとえば 1 0スライスづっとし、 P 5の Bを 7スライス、 P 8の Bを 1 3スライス、 P 1 1 の Bを 2 0スライスとすると、 3スライスと 2スライスづっ重なる。

図 4で、 I n t r a f r m e c o d i n gされる部分 A を、画面全体をちようどカバーするには、 P ピクチャは、 4 ピクチヤなので、たとえば、 1 1 マクロブロック幅づっ 3回と 1 2マクブ□ ック φΐを 1 回だ'け I n t r a f r a m e c o d i n する。また、重なり合うようにするには、 I n t r a f r a m e c o d i n gされる部分 Aを、たとえば 1 2マクロブロック幅づつとし、 P 5、 P 8の Bを 1 1 マクロブロック幅とすると， 1 マクロブロック幅づつ重なる。

〔ビットストリーム S v n t a x〕次にビットストリ一厶 S y n t a xの例として、（ S y n t a x 1 ) , ( S y η t a χ 2 ) , ( S y n t a x 3 ) , ( S y n t a x 4 ) , ( S y n t a x 5 ) , ( S y n t a x 6 ) を説明する , 先ずスラィス構成フラグについて説明する。

上述の符号化によれば、 I n t r a c o d i n gされたマクロブロックが画面上に分散されるので、この構造を示すフラグを新たに設ける。ここで、 M P E Gの s y n t a xは、階層となつているが、最も下位でシンクコードが、用いられている単位は、スライスである。このため、本実施例では、スライスのヘッダ一に構造を示すフラグを設ける。シンクコードは一種の同期信号であり、そのビット · パターンがビットストリーム中でそれ以外では、発生が禁止されている独特（ユニーク）なコードである。そのため、スタートコードを検出することにより、ビットストリ一ムの途中からの再生（ランダムアクセス）や、伝送路途中でエラ一が起こつた場合の復帰が可能となる。

本実施例においては、あるスライス内に、高速正転および逆転再生時に、復号すべき I n t r a f r a m e c o d i n gされたマクロブロックが存在するか、否かを示し、さらに存在する場合には、どのような構成になっているかを示すフラグを F L C 回路 5 4により、ビットストリーム中に設ける。但し、ここでいう I n t r a f r a m e c o d i n gされたマクロブロックとは、高速正転および逆転再生用に固定的に I n t r a f r a m e c o d i n gされたマクロブロックを示すものであり、通常の P ピクチャの符号化において、適応的に選択されて I n t r a f r a m e c o d i n g されたマクロブロックについては. 以下のフラグは適用されないものである。

たとえば、図 4の I n t r a S I i c eの場合には、あるスライスには、 I n t r a f r a m e c o d i n gされたマクロブロックが存在せず、別のスライスでは、スライス内の全てが I n t r a f r a m e c o d i n gされたマクロブロックで構成される。また、図 5の I n t r a f r a m e C o l u τη nの場合では、スライス内の一部のマクロブロックが I n t r a f r a m e c o d i n gされている。以上のスライスのビットストリームを図示すると、図 7 ( A) , (B) ， (C) となる, S y n t a X 1 )

図 7 (A) ， (B) ， (C) の 3種類のスライスを区別するために、次に示す表（ 1 ) のように、フラグ（ S t r u c t u r e f l a g ) を設ける。

(表 1 )

さらに、図 7の（B) のように、スライス内の全てのマクロブロック力 I n t r a f r a m e c o d i n gされてレヽる場合には、すなわち、 S t r u e t u r e f 1 a g - " 1 0 " の場合には、次のように、内部の構成を示す表（ 2 ) に示すフラグを設ける。 (表 2 )

Structure f lag- "10"の場合

MB Number:Sl ice内の Intra MBの個数

(このフラグは、 16bitの固定長のフラグとしたが、 VLCでもよい。

Length:MB Numberで示される、 N 個の Intra MBの bit 量

(このフラグは、 24bitの固定長のフラグとしたが、 VLCでもよい。また、図 7の（C ) のように、スライス内の一部のマクロブロックが I n t r a f r m e c o d i n g されている場合には、すなわち、 S t r u c t u r e f ] a g = " 1 1 " の場合には、次のように内部の構成を示す表（ 3 ) に示すフラグを設ける。

(表 3 )

Structure f lag= "ll "の場合

Horizontal MB Adr ess： 1 ntra MB の画面の左端からの Address (単位は MBの個数、このフラグは、 16bit の固定長のフラグでもよく、 MPEGで用いられている、 MacroBlock Address Incrementとおなじ VLC でもよい。）

Pointer :S1 ice headerの所定の位置から、 Intra MBまでの Pointer (単位は bit、このフラグは、 24bitの固定長のフラグとしたが、

VLCでもよい。）

MB Number :S1 ice 内の Intra MBの個数

(このフラグは、 16bitの固定長のフラグとしたが、 VLCでもよい。 Length :B Number で示される、 N 個の Intra MBの bit 量

(このフラグは、 24bitの固定長のフラグとしたが、 VLCでもよい。以上のフラグにより、スライス内の一部のマクロブロックが I n t r a f r a m e c o d i n gされている場合でも、 I n t r a f r a m e c o d i n gされているマクロブロックを、ビットストリーム全体をデコードせずに、 S 1 i c e h e a d e r内のフラグの情報だけで、取り出すことができる。

以上のフラグを、たとえば、現在の M P E G 2で検討されている図 8の s y n t a x ( I S O - I E C/ J T C 1 / S C 2 9 / WG 1 1 N 0 3 2 8 T e s t M o d e l 3 , D r a f t R e v i s i o n lの 6 1頁に gti載) の q u a n t i z e r s c a 】 eの後に、図 9 に示す形式で導入する。

上記のように意図的に分散させた I n t r a f r a m e c o d i n がスラィス内で不連続に 2簏所以上存在する場合、どちらか一方のみの情報を上記へッダとして記録する。

( ¾ y n t a x 2 )

S y n t a x 1 を変形した S y n t a x 2を用いることも可能である。スライス内の全てのマクロブロックが I n t r a f r a m e c o d i n gされたスライスは、スライス内の一音 βのマクロブロック力 I n t r a f r a m e c o d i n g されたスライスに含まれるとみなせるため、図 7の（B) および（C ) を同一のフラグで記述することもできる。この場合 S t r u c t u r e f l gは次に示す表（ 4 ) のように 1 ビットとなる。 (表 4 )

また s t r u c t u r e f 1 a g = 1 " の場合、内部構成を示す表（ 5 ) に示すフラグを設ける。

(表 5 )

Structure flag='T の場合

以上のフラグは図 1 0の形式で M P E Gの s y n t a xの q u a n t i z e r s e a 1 eの後に導入する。

( S y n t a x 3 )

次に S y n t a x 2の変形である S y n t a x 3を示す。

例えば、図 6の（ B ) 、（ C ) のように I n t r a f r a τη e c o d i n gするマクロブロックがスライスの先頭になるようにスライスを設定する場合、以下の S y n t a xを用いることにより伝送するフラグを減少させることができる。

この場合、スライスのビットストリー厶の構造としては図 1 1 の（A) 、（B) の 2通りである。また I n t r a f r a m e c o d i n gするマクロブロックが必ずスラィスの先頭にあるため、 P o i n t e r、 H o r i z o n t a l M B A d d r e s sを伝送する必要がなくなる。

この場合のフラグの例を次の表 6 に示す。

(表 6 )

また s t r u c t u r e f 1 a g = " 1 " の場合、内部構成を示す表 7 に示すフラグを設ける。

(表 7 )

Structure f lag= "1" の場合

以上のフラグは図 1 2のように M P E Gの s y n t a xの q u a n t i z e r s e a 〗 eの後に導入する。

( S y n t a x 4 ) 図 6の（C ) ， ( D ) に示すように、スライスが、そのスライス内の全てのマクロブロック力？ I n t r a f r a m e c o d i n gマクロブロックであるスライスと、それ以外のスライスの 2通りになるように分割されている場合、 s t r u c t u r e f 1 a gのみを伝送すれば良い。ただし、スライスの全てのデータを読み込むことができなかった場合、復号の方法としては、

( 1 ) 読み込むことができたデータ分だけ復号する，（ 2 ) 読み込んだ最後のマクロブ口ック即ち、データが途切れたマクロブ口ックのデータは捨て去る，（ 3 ) 読み込んだ最後のスライス即ちデータが途切れたスライスのデータは捨て去る，という方法がある。この場合のフラグの例を次の表 8に示す。このフラグは M P E Gの s y n t a xの q u a n t i z e r s e a 1 eの後に図 1 3に示す形式で導入される。

(表 8 )

( S y n t a x 5 )

s y n t a x 5は s y n t a x 4の変形である。スライスが、そのスライス内の全てのマクロブロックが I n t r a f r a m e c o d i n gマクロブロックであるスライスと、それ以外のスライスの 2通りになるように分割されている場合、 s y n t a x 5 と同様に表 8に示す s t r u c t u r e f l gを伝送し、力、つ I n t r a f r a m e c o d i n gマクロフ'ロックのビット数を伝送する。このフラグによりスライスの全てのデータを読み込むことが出来たかどうかを、後段の逆量子化器 2 5や逆 D C T器で全データを復号化すること無しに、逆 V L C器 2 2 における復号のみで、判定することが可能となる。この場合のフラグの例を次の表 9 に示す。このフラグは M P E Gの s y n t a xの q u a n t i z e r s c a 1 eの後に図 1 4に示す形式で導入する。

(表 9 )

Structure f lag= "Γの場合

ただし、復号の方法は、スライスの全てのデータを読み込むことができなかった場合、（ 1 ) 読み込むことができたデータ分だけ復号する，（ 2 ) 最後のマクロブロックのデータは捨て去る，

( 3 ) そのスライスは捨て去るという 3種類の方法がある。

、 S y n t a X b )

s y n t a x 1 の変形として図 7の 3種類のスライス（A) ，

(B) , ( C ) を区別するために、次の表 1 0 に示すフラグ（ S t r u e t u r e f 1 a g ) を設けるようにしても良い。 (表 1 0 )

Structure fl g スフス CΤD ¾ ifSfr頸

01 SI ice without Bs for FF/FR

10 SI ice with All MBs for FF/FR

11 SI ice with some (not al 1) MBs for FF/FR

00 reser ed 更に、図 6の（D) ( E ) のように、スライス内の全てのマクブ a ックカ I n t r a f r a m e c o d i n g されている場合には、すなわち、 S t r u e t u r e f 1 a g = " 1 0 の場合には、内部の構成を示す次の表 1 1 に示すフラグを設ける (表 1 1 )

Structure

の場合

MB Number :S1 ice内の Intra MBの個数

Length :MB Numberで示される、 N個の Intra MBの bit の総量また、 S t r u c t u r e f 1 a g = " 1 1 " の場合には内部の構成を示す次の表 1 2に示すフラグを設ける。 (表 1 2 )

Structure flag="ll "の場合

Horizontal MB Adress： I ntr a MB の画面の左端力ヽらの Address Pointer :S1 ice headerの所定の位置から、 Intra MBまでの Pointer MB Number :S1 ice 内の Intra MBの個数

Length:B Number で示される、 N 個の Intra MBの bit 総量

ただし、この場合、これらのフラグは図 1 5に示すように M P E Gのシンタックスの e x t r a s 1 i c eに導入する。またシーケンスへッダには高速再生用データが記録されていることを示すフラグ D S M— F FZF Rを図 1 6のように付加する。

〔ェンコ一ドシステ厶及びデコードシステム〕

続いて、上述の符号化及び復号化装置を記録装置及び再生装置に適用した実施例について図面を参照しながら詳述する。まず本発明における動画像記録装置及び動画像再生装置の構成について説明する。

動画像記録装置の構成図を図 1 7に示す。入力画像データ S 1 0 1 は入力端子 1 0 1を通じて上述のハイブリッド符号化器 1 0 2に入力され、上述の符号化方式に従って、符号化される。

ハィブリッド符号化器 1 0 2の出力ビットストリーム S 1 0 2 はデータ選択器 1 0 3に入力される。データ選択器 1 0 3は出力ビットス卜リーム S 1 0 2中のスライスヘッダを復号し、そのスライス中に I n t r a f r a m e c o d i n g されたマクロプロックが含まれるかどうかを示す信号（上述の S t r u c t u r e f 1 a g ) をよみとり、これを F F信号として順序入れ替え器 1 0 5 に出力する。

バッファ 1 0 4を介して順序入れ替え器 1 0 5 に供給された I n t r a f l a m e c o d i n gされたマクロブロックのデ一夕は、順序入れ替え器 1 0 5 によって、 F F信号に基づいて後述するように、必要に応じて順序が入れ替えられ、データ S 1 ϋ 3 として出力される。

データ S 1 0 3は、 E C C回路 1 0 6 においてエラー訂正コ一ドが付加され、、変調器 1 0 7を経て、記録へッド 1 0 8にて、磁気テープや光ディスク等の記録メディァに記録される。

次に、実施例における動画像再生装置の構成図を図 1 8、 1 9 に示す。図 1 8はテープ状媒体の場合の構成図で、図 1 9はディスク状媒体の場合の構成図である。

図 1 8について説明する。本実施例においては磁気テープ 2 0 1 から回転へッドドラ厶に取り付けられた磁気へッド 2 0 2で再生した信号を、プリアンプ 2 0 3およびイコライザ 2 0 4を介して復調器 2 0 5 に出力し、この復調器 2 0 5により入力データを復調する。イコライザ 2 0 4の出力は、又クロック再生回路 2 0 6 に出力され、このクロック再生回路 2 0 6により再生信号に同期したクロック（以下再生クロックと称する。）を作成する。そして復調されたデータはゲ一ト回路 2 0 8に入力される。

高速再生を行なう場合、記録媒体を通常速度よりも早く走行さる。ゲート回路 2 0 8では、トラックに記録されたデジタルデ一タを高速サーチで読みだす際に、正確な再生信号が出力される区間のみをゲートし、再生可能なセクタ一のみ後述するデータ判定器 2 0 9 に出力する。

復調器 2 ϋ 5、ゲート回路 2 0 8にはクロック再生回路 2 0 6 から再生ク口ックを供給し、この再生クロックに同期させて信号処理を行なわせる。

データ判定器 2 0 9 はビットストリーム中のスライスヘッダを復号し、そのスライス中に I n t r a f r a m e c o d i n gマクロブロックが含まれるかどうかを示すフラグ（後述する s t r u c t u r e f l a g ) を復号し、これを順序入れ替え器 2 1 1 に F F信号として出力する。データ判定器 2 0 9はまた s t r u c t u r e f l a gに従い、高速再生を行なう場合、 I n t r a f r a m e c o d i n gマクロブロック ¾r含むスライスのみをノ、'ッファ 2 1 0 に出力し、 I n t r a f r a m e c o d i n gマクロブロックを含まないスライスを捨て去る。尚- データ判定器の動作の詳細については後述する。

通常再生を行なう場合、データ判定器 2 0 9 は全てのデータをノ、'ッファ 2 1 0に出力する。 I n t r a f r a m e c o d i n gマクロブロックを含むスライスのデータは、順序入れ替え 2 1 1 によつて、後述するように、必要に応じて、順序を入れ替え、出力画像信号を画像信号復号器 2 1 2 に送る。

画像信号復号器 2 1 2では入力された画像信号を復号し、出力画像信号を出力する。画像出力信号 2 1 1 は画像出力端子 2 1 0 より出力される。

符号化ビットストリームがテープ状媒体に記録されている場合には、図 2 0のように通常再生時においては、図中示す実線の矢印 S V hのようにへッドはトラック V T rに沿つて走査するが、高速正転および逆転再生時には、図中示す実線の矢印 F V hのようにへッドはトラック V T rを斜めに横切りながら、記録されているデータを再生するので、全てのセクタ一 V s e cのデータは再生できず、図中斜線で示すいくつかのセクタ一 V s e cのデ一タのみが再生できる。このため、再生されたデータは、連続した複数のセクタ一単位が、不連続にまとまったビットストリームとなる。

次に図 1 9 について説明する。デイスク状媒体 3 0 1 に記録されている信号を再生するためには、まずピックアップ 3 0 2から信号を読みとる。次にピックアップ 3 0 2からの出力データを復調器 3 0 3にて復調する。セクタ検出器 3 0 4において復調器 3 0 3から 1 セクタ分のデータを読みとると、誤り訂正器 3 0 5 により誤り訂正が行なわれる。誤り訂正された信号はリングバッファ 3 0 6 に入力される。駆動制御器 3 0 7はセクタ検出器 3 0 4 から供給されたセクタアドレスを読みとり、トラックジヤンプが必要な場合、 t r a c k i n g s u r v o 3 0 8に制御信号を送り、指定されたトラックまでピックアツプを移動する。バッファコントローラ 3 0 9 は、セクタ検出器 3 0 4から供給されたセクタアドレスに基づいて、リングバッファ 3 0 6の書き込みボイン夕と読みだしポインタを制御する。リングバッファ 3 0 6の出力は、データ判定器 2 0 9に入力される。データ判定器 2 0 9以降は上述のテープ状媒体の場合と同様である。

符号化ビットストリ一ムがデイスク状媒体に記録されている場合には、図 2 1 において実線の矢印 S D hで示すように、通常再生時においてはへッドはディスクのあるトラック D T r上のセクタを再生する。しかしながら、高速正転および逆転再生時においては実線の矢印 F D hで及び破線の矢印 T j で示すように、へッドはディスクのあるトラック D T r上の所定のセクタ一（複数）

D s e cを再生した後、トラックジャンプ（破線の矢印 T j で示す）を行い、次の所定のトラックへ移動し、再び、所定のセクタ ― (複数） D s e cを再生することを繰り返す。このため、テープ状又はディスク状媒体の場合ともに、全てのデータは再生できず、いくつかのセクタ一 D s e cのデータのみが再生できる。このため、再生されたデータは、連続した複数のセクタ一単位が、不連続にまとまったビットストリームとなる。本発明では、データ判定器 2 0 9 において、これらの、連続した複数のセクタ一単位が不連続にまとまったビットストリームを、通常の M P E Gの復号化器が再生でき、高速正転および逆転再生の画像が得られるように、変更する。このとき、上述のフラグを用いる。

〔ビットストリームの伝送順序入れ替え〕

次にビットストリームの伝送方法について 2つの実施例をあげて詳述する。

(伝送方式 1 )

• 記録/送信側におけるビットストリームの構成順序の変更

I n t r a C l o u m nが使われている場合に、（図 1の F

L C回路 5 4で符号化された S t r u c t u r e f 〗 a g = " 1 " o r " 1 1 " の場合に、）これらのフラグを利用して、図 1 7の順序入れ替え器 1 0 5 において、図 Ίに示す（ C ) から (D) へビットストリー厶の構成順序を変更する。すなわち、 S l i c e h e a d e rの直後に I n t r a f r a m e c o d i n gされているマクロブロックのビットストリームを移動し、記録媒体に記録する、もしくは、伝送する。これにより、高速再生時に、シンクコードである S I i c e h e a d e rを検出することで、すぐに I n t r a f r a m e c o d i n gされているマクロブロックのデータが得られなめらかな高速再生が達成される。

• 再生 Z受信側におけるビットストリームの再構成

高速再生時には、順序入れ替え器 2 1 1 は記録もしくは伝送されたビットストリー厶をそのまま出力する。一方、通常再生時には、 I n t r a C o 1 u m nが使われている場合には、すなわち、 S l i c e h e a d e r 内の、 S t r u c t u r e f 1 _a g = " 1 " o r " 1 1 " の場合には、 S l i c e f e a d e r 内の構造に関するフラグを利用して、図 1 8、 1 9の順序入れ替え器 2 1 1 において図 7 に示す（D) から（C ) へ、もとの符号化順のビットストリームとなるように並べ替える。

次に、ビットストリームの伝送順序の入れ替えに関する他の実施例について説明する。

(伝送方式 2 )

• 記録 Z送信側におけるビットストリームの構成順序の変更図 2 2、 2 3に示すように、 I n t r a S l i c e ZC o l u m nが使われている場合に、（ S t r u c t u r e f 】 a g = " 1 " o r " 1 0 " o r " 1 1 " の場合に、）これらのフラグを利用して、図 1 7の順序入れ替え器 1 0 5において、ビットストリ一ムの構成順序を変更する。すなわち、シンクコードを有する G O P h e a d e rの直後に、その G〇 Pに含まれる全ての I n t r a S I i c e /C o l u m nのビットストリームを移動し、記録媒体に記録する、もしくは、伝送する。

これにより、高速再生時に、動き補償のまとまりである G〇 P h e a d e rを検出することで、すぐに I n t r a f r a m e c o d i n gされている I n t r a S I i c eのデータが得られなめらかな高速再生が達成される。

• 再生 Z受信側におけるビットストリ一ムの再構成

高速再生時には、順序入れ替え器 2 1 1 は記録もしくは伝送されたビットストリームをそのまま出力する。一方、通常再生時には、 I n t r a S 1 i c eのみが使われている場合には、 S 1 i c e h e a d e r内の、上記のフラグにより、図 1 8、 1 9 の順序入れ替え器 2 1 1 において、もとの符号化順のビットストリ一ムに並べ変える。

〔データ判定器の動作〕

通常再生では、データ判定器 2 0 9は、再生されたビットストリームをそのまま出力する。但し、上述のビットストリームを復号する際には、上述の S t r u c t u r e f 1 a gは冗長であるので、復号器 2 1 2の逆 V L C器 2 2は S t r u e t u r e f l a gを復号しない。

高速再生では、データ判定器 2 0 9は、再生されたビットストリーム力ヽら、 I n t r a f r a m e c o d i n gされたマクロブロックのデータを取りだし、そのデータを連結して、 M P E Gの復号化器がなるべく容易に再生できるビットストリームを作成する。

まず、再生された、セクタ一単位で不連続のビットストリームの中から、 S l i c e S t a r t c o d eを検出する。前に述ベたように、 S 1 i c e S t a r t c o d eは、シンクコードであり、 B y t e a 1 i g n m e n t されているので、ビットストリーム全体を d e c o d e しなくても、検出できる。セクタ —の先頭から、 S I i c e S t a r t c o d eの前までのデ一タは、利用しない。

この S I i c e S t a r t c o d eには、その S I i c eの画面上の垂直方向の位置が含まれており、 S t a r t c o d eによって、その S 1 i c eの垂直方向の位置が特定できる。 S 1 i c e S t a r t c o d eが検出されると、 S I i c e h e a d e rの所定の位置を d e c o d e し、上述のフラグを検出する _c このとき、データ判定器 2 0 9は、 S t r u c t u r e f 1 a gを検出し、 S t r u e t u r e f 1 a gに応じて、以下の処理を行う。 ( 1 ) 0 ： S 1 i c e w i t h N o I n t r a M a c r o B 1 o c kならば、その S I i c eには、 I n t r a M a c r o B 1 o c kが存在しないので、その S 】 i c e h e a d e r以下に続くビットストリームは S I i c e S t a r t c o d eが検出されるまで、もしくは、再生された、連続した複数のセクタ一の終りまで不要である。このため、このデータは用いない。

( 2 ) 1 0 ： S 1 i c e w i t h a l l I n t r a M a c r o B 1 o c kならば、その S I i c e h e a d e r以下に続くビットストリームは、 I n t r a M a c r o B l o c k のデータなので、高速正転および逆転再生に用いられる。このため、その S 1 i c e h e a d e r以下に続くビットストリームは、つぎの S l i c e S t a r t c o d eが検出されるまで、もしくは、再生された、連続した複数のセクタ一の終りまでのどちらか短い区切りまでのビットストリームが用いられる。

( >j ) l l : 】 i c e w i t h s o m e I n t r a M a c r o B l o c k sならは、その S I i c e h e a d e r 以下に続くビットストリームは、 I n t r a M a c r o B l o c kのデータを一部含むので、 B i t s t r e a mの対応する部分だけが、高速正転および逆転再生に用いられる。このため、その S 1 i c e h e a d e r以下に続くビットストリームから、 L e n g t hで示される長さだけ、もしくは再生された、連続した複数のセクタ一の終りまでのどちらか短い区切りまでが用いられる。

上述のようにして、高速正転および逆転再生用に取り出されたビットスドリームを、図 2 4に示す。データ判定器 2 0 9 は、 S t r u c t u r e f l a gが、（ 2 ) 1 0 : S 】 i c e w i t h a l l I n t r a M a c r o B l o c k及び（ 3 ) 1 1 : S 1 i c e w i t h s o m e I n t r a M a c r o B l o c k sの場合、更に以下の処理を行う。

( 2 ) S l i c e w i t h a 1 1 I n t r a M a c r o B 1 o c kの場合

ケース（Λ)

取り出されたビットストリームが、ある S 1 i c e h e a d e r力ヽら、次の S I i c e h e a d e rが検出されるまでのビットストリームであった場合には、このビットストリームは、完結しているので、そのまま他のビットストリームと連結する。

ケース（B)

取り出されたビットストリ一ムが、ある S 1 i c e h e a d e rから、連続した複数のセクタ一の終りまでの場合には、このビットストリームは、セクタ一の切れ目で途切れているので、セクタ一の最後にある M a c r o b 〗 o c kは、途中で切られている。このため、最後の M a c r o b 1 o c kは、復号できないので、この部分を除いて、ビットストリームを他のビットストリームと連結する。ここで、 S I i c e h e a d e r内のフラグの情報によって、 S 1 i c eの先頭から、全ての I n t r a M a c r o b 1 o c kの符号量が既知であるので、最後の M a e r o b l o c kを除くことが出来る。

( ό ) S l i c e w i t h s o m e I n t r a M a c r o B 1 o c k sの場合

ケース（C )

取り出されたビットストリ一厶が、ある S ] i c e h e a d e r力ヽら、 L e n g t hで示される長さだけのビットストリームであった場合には、このビットストリームは、完結しているので、そのまま他のビットストリームと連結する。

ケース（ D) 取り出されたビットストリ一厶が、ある S 1 i c e h e a d e rから、連続した複数のセクタ一の終りまでの場合には、このビットストリームは、セクタ一の切れ目で途切れているので、セクタ一の最後にある M a c r o b 1 o c kは、途中で切られている。このため、最後の M a c r o b l o c kは、復号できないので、この部分を除いて、ビットストリ一厶を他のビットストリー厶と連結する。ここで、 S I i c e h e a d e r内のフラグの情報によつて、 S 1 i c eの先頭から、全ての I n t r a M a c r o b 1 o c kの符号量が既知であるので、最後の M a c r o b l o c kを除くことが出来る。

以上の処理により作成された高速正転および逆転再生用に連結されたビットストリームを、図 2 5に示す。図 2 5のように、ビットストリームは I n t r a M a c r o B l o c kのデータから構成される。

上述のようにして作成された高速再生用ビットストリームのある S l i c e力、 S l i c e w i t h a l l I n t r a M a c r o B l o c kの場合には、 M a c r o B l o c kの水平方向の位置は、 M a c r o B l o c k I n c r e m e n t に書かれているので、通常の M P E Gの復号化手順により、復号できる。

S l i c e w i t h s o m e I n t r a M a c r o B 1 o c k sの場合には、 M a c r o B 1 o c kの水平方向の位置は、 S I i c e h e a d e r内の H o r i z o n t a l MB A d d r e s s により特定される。この復号化手順は、通常の M P E Gの復号化手順とは異なるが、 H o r i z o n t a 】 M

B A d d r e s s は、 M P E Gの復号化後に得られる A d d r e s s と同じ情報である。このため、逆 V L C回路におけるビットストリ一ムの解読の方法を変更するだけで復号できる。〔高速再生画像の表示〕

上述のように、復号された高速再生用の画像データは、 I η ί r a M a c r o B 1 o c kのデータである。この画像データは P ピクチャのデータであるので、高速再生の場合には、ピクチャは、常に P ピクチャとしてデコードする。このとき、現在表示しているフレームを参照フレームとし、復号された高速再生用の画像データを M B A d d r e s sにより、その参照フレ一厶上の所定の位置に更新する。

(表示方法 1 )

この復号された高速再生用の画像データの更新が、 MB A d d r e s s に従って、画像の左から右、又は、上から下へ行われる。この表示方法においては、フィールドメモリ一群 2 8のうち. 参照されるピクチャが蓄えられているメモリーとは別のメモリ一に、 I n t r a M a c r o B 1 o c kの画像データを復号し、その間のマクロブロックについては、 M P E Gにおけるスキップマクロブロックと見なし、参照フレー Aの画像デ一タをコピーして、 1 フレーム分の復号を行う。ディスプレイのタイミングに 1 フレーム分の復号が完了している場合には、上記別のメモリ上に復号された画像を表示画像として出力し、 1 フレーム分の復号が完了していない場合には、参照フレームの画像データを表示画像として出力する。この実施例においては、コピーの分だけ復号に時間がかかるが、メモリコントローラ 2 3は通常と同じょうにフィールドメモリ群 2 8をコントロールすればよい。

(表示方法 2 )

本実施例では、フィールドメモリ群 2 8のうち参照されるピクチヤが蓄えられているメモリ一に、 I n t r a M a c r o B I o c kの画像データを復号したデータを上書きする。

この復号化方法では、あるメモリ一に常にピクチャが存在するので、 1 フレーム分の高速再生用の I n t r a M a c r o B l o c kの画像データの全ての、復号化（上書き）が済んでいなくとも、このメモリ一の内容を表示すれば、違和感のない画像を表示が出来る。このため、この復号された高速再生用の画像データの更新と、ディスプレイのタイミングとは、独立でもよい。

この場合、残りの I n t r a M a c r o B 1 o c kの画像デ —タは、ディスプレイのタイミングとは関係なく、復号化（上書き）を進め、次のディスプレイのタイミングで表示される。

この実施例においては、上書きを行うため復号には時間的余裕があるが、メモリコントローラ 2 3のコントロール内容は複雑になる。

以上のように本発明によれば、高速再生が選択された場合に、動画像データを滑らかに高速正転及び逆転再生し得る動画像符号化装置、記録装置、記録 Z伝送フォーマット（ビットストリーム S y n t a x ) および再生装置、復号化装置を実現できる。

Claims

請求の範囲

1 . 画像信号を符号化する画像信号符号化方法において、

1枚の画像を複数のスライスに分割して符号化し、上記スラィス内のィントラ符号化されたマクロブロックの構成を示すィントラスライス情報をヘッダに付加することを特徴とする画像信号符号化方法。

2 . 上記ヘッダは、シンクコードを有するスライスヘッダであることを特徴とする画像信号符号化方法。

3 . 上記スライスの先頭がィントラ符号化されるマクロブロックになるように上記スラィスを割り当てることを特徴とする画像信号符号化方法。

4 . すべてのマクロブロックがイントラ符号化されるスライスと、それ以外のスライスとに上記複数のスライスを割り当てて符号化し、スライス内のすべてのマクロブ口ックがィントラ符号化されているか否かを示す上記ィントラスライス情報を上記へッダに付加することことを特徴とする画像信号符号化方法。

5 . 複数枚の画像に対し、イントラ符号化される領域の少なくとも一部がそれぞれ異なるように、上記ィントラ符号化される領域を分散して符号化することを特徴とする画像信号符号化方法。

6 . スライスへッダの直後にスラィス内の上記ィントラ符号化されたマクロブロックの符号化データを移動することを特徴とする画像信号符号化方法。

7 . G〇 Pへッダの直後に G 0 P内の上記ィントラ符号化されたマクロブロックの符号化データを移動することを特徴とする画像信号符号化方法。

8 . 上記イントラ符号化される領域に応じた制限範囲内で動き補償を行って上記複数枚の画像信号を符号化することを特徴とする画像信号符号化方法。

9 . 画像信号を符号化する画像信号符号化装置において、 1枚の画像を複数のスライスに分割して符号化する符号化手段と上記スライス内のイントラ符号化されたマクロブロックの構成を示すィントラスライス情報をへッダに付加する付加手段とを有することを特徴とする画像信号符号化装置。

1 0 . 上記ヘッダは、シンクコ一ドを有するスライスヘッダであることを特徴とする画像信号符号化装置。

つ 1 1 . 上記符号化手段は、上記スライスの先頭がィントラ符号化されるマクロブロックになるように上記スライスを割り当てることを特徴とする画像信号符号化装置。

1 2 . 上記符号化手段は、すべてのマクロブ口ックがィントラ符号化されるスライスと、それ以外のスライスとに上記複数の5 スライスを割り当て符号化し、上記付加手段は、スライス内のすベてのマクロブックがイントラ符号化されているか否かを示す上記ィントラスライス情報を上記へッダに付加することことを特徴とする画像信号符号化装置。

1 3 . 上記符号化手段は、ィントラ符号化される領域の少なくと0 も一部がそれぞれ異なるように、上記ィントラ符号化される領域を分散して符号化することを特徴とする画像信号符号化

1 4 . スライスへッダの直後にスラィス内の上記ィントラ符号化されたマクロブロックの符号化データを移動する順序入れ替5 え手段を有することを特徴とする画像信号符号化装置。

1 5 . G◦ Pヘッダの直後に G◦ P内の上記ィントラ符号化されたマクロブロックの符号化データを移動する順序入れ替え手段を有することを特徴とする画像信号符号化装置。

1 6 . 上記符号化手段は、上記イントラ符号化される領域にじた制限範囲内で動き補償を行って上記複数枚の画像信号を符号化することを特徴とする画像信号符号化装置。

1 7 . 符号化画像信号を復号化する画像信号復号化方法において符号化画像信号の所定のへッダから、各スライス内のィントラ符号化されたマクロブロックの構成を示すィントラスライス情報を復号化し、上記復号化されたィントラスライス情報に ¾づいて、上記符号化画像信号から上記ィントラ符号化されたマクロブロックを取り出すことを特徴とする画像信号復号化方法。

1 8 . 上記ヘッダは、シンクコードを有するスライスヘッダであつて、上記シンクコードを検出することにより、上記各スライスの始まりを特定することを特徵とする画像信号復号化方法。

1 9 . 記録メディアから上記符号化画像信号を変速再生し、取り出された上記ィントラ符号化されたマクロブロックを復号化して、変速再生画像を生成することを特徴とする画像信号復号化方法。

2 0 . 上記復号化されたマクロブロック以外のマクロブロックを過去に復号化された参照画像からコピーして復号化することにより、上記変速再生画像を生成することを特徴とする画像信号復号化方法。

1 . 上記復号化されたマクロブロックを過去に復号化された参照画像に上書きして上記変速再生画像とすることを特徴とする画像信号復号化方法。

2 . 符号化画像信号を復号化する画像信号復号化方法において、記録メディァから符号化画像信号を通常の速度で再生し、再生された符号化画像信号の所定のヘッダから、各スライス内のイントラ符号化されたマクロブロックの構成を示すィントラスライス情報を復号化し、復号化された上記ィントラスラィス情報に基づいて、上記ィントラ符号化されたマク口ブ。ックの符号化データを、符号化時の順序に並べ変え、並べ換えられた符号化画像信号を復号化して通常再生画像を生成することを特徴とする画像信号復号化方法。

2 3 . 上記符号化画像信号は、スライス内のィントラ符号化されたマクロブロックの符号化データがスライスへッダの直後に移動された信号であることを特徴とする画像信号復号化方法, 2 4 . 上記符号化画像信号は、 G O P内の上記イントラ符号化されたマクロブロックの符号化データが G〇 Pへッダの直後に移動された信号であることを特徴とする画像信号復号化方法 ₍ 2 5 . 符号化画像信号を復号化する画像信号復号化装置において- 符号化画像信号の所定のへッダから、各スラィス内のィントラ符号化されたマクロブロックの構成を示すィントラスライス情報を復号化する手段と、上記復号化されたイントラスラィス情報に基づいて、上記符号化画像信号から上記ィントラ符号化されたマクロプロックを取り出す抽出手段とを有することを特徴とする画像信号復号化装置。

2 6 . 上記ヘッダは、シンクコードを有するスライスヘッダであつて、上記シンクコードを検出する手段を有することを特徴とする画像信号復号化装置。

2 7 . 記録メディァから上記符号化画像信号を変速再生する手段と、上記抽出手段により取り出された上記ィントラ符号化されたマクロブロックを復号化して、変速再生画像を生成する復号化手段とを有することを特徴とする画像信号復号化装置 ₍ 2 8 . 上記復号化手段は、上記復号化されたマクロプロック以外のマクロブロックを過去に復号化された参照画像からコピーして復号化することにより、上記変速再生画像を生成すること'を特徴とする画像信号復号化装置。

2 9 . 上記復号化手段は、上記復号化されたマクロブロックを過去に復号化された参照画像に上書きして上記変速再生画像と ' することを特徴とする画像信号復号化装置。

3 0 . 符号化画像信号を復号化する画像信号復号化装置において記録メディァから符号化画像信号を通常の速度で再生する再生手段と、再生された符号化画像信号の所定のへッダから、各スライス内のィントラ符号化されたマクロブ口ックの構成を示すイントラスライス情報を復号化する手段と、復号化された上記ィントラスライス情報に基づいて、上記ィントラ符号化されたマクロブ口ックの符号化データを、符号化時の順序に並べ変える並べ換え手段と、並べ換えられた符号化画像信号を復号化して通常再生画像を生成する手段とを有することを特徴とする画像信号復号化装置。

3 1 . 上記符号化画像信号は、スライス内のィントラ符号化されたマクロブロックの符号化デ一夕がスライスへッダの直後に移動された信号であることを特徴とする画像信号復号化装置 _t

3 2 . 上記符号化画像信号は、 G〇 P内の上記イントラ符号化されたマクロブロックの符号化データが G〇 Pへッダの直後に移動された信号であることを特徴とする画像信号復号化装置 _c 3 3 . 符号化画像信号が記録された画像信号記録媒体において、 1枚の画像を複数のスラィスに分割して符号化し、上記スラィス内のィントラ符号化されたマクロブロックの構成を示すイントラスライス情報をへッダに付加して符号化ビットストリームを生成し、上記符号化ビットストリ一ムを記録メディァ上に記録することにより生成されたことを特徴とする画像信号記録媒体。