JPH1013826A

JPH1013826A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体

Info

Publication number: JPH1013826A
Application number: JP16147196A
Authority: JP
Inventors: Motoki Kato; 元樹加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-06-21
Filing date: 1996-06-21
Publication date: 1998-01-16

Abstract

(57)【要約】【課題】復号画像の画質を所定の一定水準に維持する
ことができるようにする。【解決手段】符号化回路６において、所定の単位時間
における画像が、基本画質信号と高画質化信号とに符号
化され、多重化器（ＭＵＸ）９において、ある時刻にお
ける基準画質信号と、他の時刻における高画質化信号と
が、その合計のビット量が所定の伝送路により伝送可能
な値以下となるように多重化される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号化装置および画像復号化
方法、画像送信装置、画像受信装置、並びに記録媒体に
関する。特に、例えば、ディジタル動画像信号を、光磁
気ディスクや磁気テープなどの記録媒体に記録し、これ
を再生してディスプレイなどに表示したり、テレビ電話
システム、放送用機器などにおいて、動画像信号を伝送
路を介して送信側から受信側に伝送し、受信側で、これ
を受信し、表示する場合などに用いて好適な画像符号化
装置および画像符号化方法、画像復号化装置および画像
復号化方法、画像送信装置、画像受信装置、並びに記録
媒体に関する。

【０００２】

【従来の技術】例えば、テレビ電話システムなどのよう
に、動画像信号を遠隔地に伝送するシステムにおいて
は、高品質の伝送を実現するために、動画像信号をディ
ジタル化することが行われている。また、動画像信号を
記録媒体に記録する場合においても、同様にディジタル
化した動画像信号を記録することが行われている。ここ
で、ディジタル化した動画像信号はデータ量が膨大であ
るので、記録または伝送する場合には、データの高能率
符号化（情報圧縮）が行われることが多い。

【０００３】そして、送信側の動画像符号化装置と、受
信側の動画像復号化装置との間にある伝送チャネル（伝
送路）のデータ転送レートが一定とされている場合（固
定レートの場合）、従来においては、所定の単位時間に
入力される動画像に対して、一定のビット量を割り当て
て符号化し、一定のビットレートでビットストリームを
伝送路に出力するようになされている。

【０００４】図１４は、従来の動画像符号化装置（画像
符号化装置）の一例の構成を示している。この画像符号
化装置においては、画像（動画像）がＭＰＥＧ（Moving
Picture Experts Group）符号化されるようになされて
いる。即ち、端子１０１には、ディジタル化された動画
像信号が入力されるようになされており、この動画像信
号は、演算器１０２および動きベクトル検出器（ＭＥ）
１１０に供給される。動きベクトル検出器１１０では、
入力された動画像信号のフレーム間の動きベクトルが検
出される。

【０００５】ここで、動きベクトル検出器１１０におい
ては、動きベクトルの検出は、例えば、参照フレーム
と、現在符号化の対象となっているフレームの１６画素
×１６ラインの小ブロック（マクロブロック）とをパタ
ーンマッチング（ブロックマッチング）することにより
行われるようになされている。即ち、現在のマクロブロ
ック（符号化対象のマクロブロック）の、例えば最も左
からｉ番目の、最も上からｊ番目の画素の画素値を信号
Ａ_ijとし、同様に、任意の動きベクトルにより参照され
る参照フレームにおける１６×１６のブロックを構成す
る画素の画素値をＦ_ijとするとき、次式で表される絶対
値和Ｅ_fを最小にする動きベクトルが検出される。

【０００６】Ｅ_f＝Σ｜Ａ_ij−Ｆ_ij｜但し、上式におけるΣは、ｉ，ｊそれぞれを、１乃至１
６の範囲の整数値に変えてのサメーションを意味する。

【０００７】動きベクトル検出器１１０において検出さ
れた動きベクトルは、動き補償器（ＭＣ）１０９および
ＶＬＣ器（可変長符号化器）１１１に供給される。動き
補償器１０９は、フレームメモリ（ＦＭ）１０９Ａを備
えており、動きベクトル検出器１１０からの動きベクト
ルにしたがって、フレームメモリ１０９Ａに記憶されて
いる、局所復号化された画像信号を読み出し、これを、
予測画像信号として、演算器１０２および１０８に供給
する。即ち、動き補償器１０９は、フレームメモリ１０
９Ａの読み出しアドレスを、符号化対象のマクロブロッ
クに対応するアドレスから、動きベクトルに対応する分
だけずれたアドレスに設定し、そこから画像信号を読み
出して、演算器１０２および１０８に供給する。

【０００８】演算器１０２は、端子１０１に入力され
た、符号化対象のマクロブロックと、動き補償器１０９
から供給された予測画像との差分を計算し、その結果得
られる予測残差信号を、ＤＣＴ（離散コサイン変換）器
１０３に供給する。なお、例えば、符号化の開始時や、
シーンチェンジがあった時などにおいては、予測残差信
号が大きく予測効率が低くなるので、このようなときに
は、マクロブロックは、フレーム内（イントラ）符号化
されるようになされている。即ち、フレーム内符号化の
対象とされるマクロブロックは、演算器１０２をスルー
して、そのまま、ＤＣＴ器１０３に供給される。

【０００９】ＤＣＴ器１０３では、演算器１０２の出力
に対して、２次元ＤＣＴ処理が施され、その結果得られ
るＤＣＴ係数が、量子化器１０４に供給される。量子化
器１０４では、ＤＣＴ器１０３からのＤＣＴ係数が、レ
ートコントローラ（ＲＣ）１０５から供給される量子化
ステップ幅にしたがって量子化され、その結果得られる
量子化係数が、逆量子化器１０６およびＶＬＣ器１１１
に供給される。

【００１０】ＶＬＣ器１１１は、量子化係数に対して、
例えば、ランレングス符号化やハフマン符号化などの可
変長符号化処理を施して出力する。また、ＶＬＣ器１１
１では、レートコントローラ１０５または動きベクトル
検出器１１０それぞれから供給される、各マクロブロッ
クごとの量子化ステップ幅または動きベクトルに対して
も可変長符号化処理を施して出力する。ＶＬＣ器１１１
から出力される符号化データは、バッファ１１２に供給
される。バッファ１１２は、ＶＬＣ器１１１からの符号
化データを一時記憶することにより、そのビット量（デ
ータ量）の変動を吸収し、一定のビットレートにして、
端子１１３から、ビットストリームｂｓ０を出力する。

【００１１】ＶＬＣ器１１１が出力する符号化データ
は、レートコントローラ１０５にフィードバックされて
おり、これにより、レートコントローラ１０５は、ＶＬ
Ｃ器１１１が出力する符号化データのビット量を監視し
ている。そして、レートコントローラ１０５は、バッフ
ァ１１２がオーバーフローしそうなときは、量子化ステ
ップ幅を大きくし、また、バッファ１１２がアンダーフ
ローしそうなときは、量子化ステップ幅を小さくして、
量子化器１０４に供給し、これにより、バッファ１１２
のオーバーフローおよびアンダーフローを防止するよう
になされている。

【００１２】なお、レートコントローラ１０５が出力す
る量子化ステップ幅は、量子化器１０４の他、逆量子化
器１０６およびＶＬＣ器１１１にも供給されるようにな
されている。

【００１３】一方、逆量子化器１０６では、量子化器１
０４から供給された量子化係数が、レートコントローラ
１０５より供給される量子化ステップ幅、即ち、量子化
器１０４において用いられた量子化ステップ幅と同一の
量子化ステップ幅で逆量子化され、その結果得られるＤ
ＣＴ係数が、逆ＤＣＴ器１０７に供給される。逆ＤＣＴ
器１０７では、逆量子化器１０６からのＤＣＴ係数が、
逆ＤＣＴ処理され、演算器１０８に供給される。

【００１４】演算器１０８には、逆ＤＣＴ器１０７の出
力の他、上述したように、動き補償器１０９から、演算
器１０２に供給されている予測画像と同一のデータが供
給されており、演算器１０８は、逆ＤＣＴ器１０７から
の信号（予測残差信号）と、動き補償器１０９からの予
測画像とを加算することで、元の画像を、局所復号する
（但し、画像符号化装置においてイントラ符号化が行わ
れている場合には、逆ＤＣＴ器１０７の出力は、演算器
１０８をスルーして、フレームメモリ１０９Ａに供給さ
れる）。なお、この復号画像は、受信側において得られ
る復号画像と同一のものである。

【００１５】演算器１０８において得られた復号画像
は、フレームメモリ１０９Ａに供給されて記憶され、そ
の後、インター符号化（フレーム間符号化）される画像
に対する参照画像（参照フレーム）として用いられる。

【００１６】次に、図１５は、図１４の画像符号化装置
から出力される符号化データを復号化する画像復号化装
置の一例の構成を示している。端子２０１には、図１４
の画像符号化装置から一定のビットレートで出力された
ビットストリームｂｓ０（符号化データ）が入力される
ようになされており、その符号化データは、バッファ２
０２に供給されて一時記憶される。バッファ２０２に記
憶された符号化データは、ＶＬＤ（可変長復号化）器２
０３に供給され、そこで可変長復号化される。ＶＬＤ器
２０３における可変長復号化により得られる各マクロブ
ロックごとの量子化係数および量子化ステップ幅は、逆
量子化器２０４に供給され、動きベクトルは、動き補償
器２０７に供給される。

【００１７】逆量子化器２０４は、ＶＬＤ器２０３から
の量子化係数を、同じくＶＬＤ器２０３からの量子化ス
テップ幅にしたがって逆量子化し、その結果得られるＤ
ＣＴ係数を、逆ＤＣＴ器２０５に出力する。逆ＤＣＴ器
２０５は、逆量子化器２０４からのＤＣＴ係数が、逆Ｄ
ＣＴ処理され、演算器２０６に供給される。

【００１８】演算器２０６には、逆ＤＣＴ器２０５の出
力の他、動き補償器２０７の出力も供給されている。即
ち、動き補償器２０７は、フレームメモリ２０７Ａを有
しており、図１４の動き補償器１０９における場合と同
様に、ＶＬＤ器２０３からの動きベクトルにしたがっ
て、フレームメモリ２０７Ａから予測画像信号を読み出
し、演算器２０６に供給する。演算器２０６は、逆ＤＣ
Ｔ器２０５からの信号（予測残差信号）と、動き補償器
２０７からの予測画像とを加算することで、元の画像を
復号し、フレームメモリ２０７Ａに供給する（但し、逆
ＤＣＴ器２０５の出力が、イントラ符号化されたもので
ある場合には、その出力は、演算器２０６をスルーし
て、フレームメモリ２０７Ａに供給される）。

【００１９】フレームメモリ２０７Ａに記憶された復号
画像は、その後に復号される画像の参照画像として用い
られるとともに、適宜読み出され、例えば、図示せぬデ
ィスプレイなどに表示される。

【００２０】

【発明が解決しようとする課題】ところで、上述したよ
うに、送信側の動画像符号化装置から受信側の動画像復
号化装置までの間にあるチャネルのデータ転送レートが
一定の場合には、動画像符号化装置において、入力画像
の内容（複雑さ）（テクスチャ）に関係なく、量子化ス
テップ幅が決定されるため、復号画像の画質（符号化画
質）を一定にできない課題があった。

【００２１】即ち、ある単位時間における画像が平坦な
ものである場合には、発生符号量が少なく、十分なビッ
ト量を割り当てることができる。従って、この場合、量
子化ステップ幅が小さくなり、動画像復号化装置におい
て得られる復号画像は、平均以上に高画質となる。しか
しながら、ある単位時間における画像が複雑なものであ
る場合には、発生符号量が多く、符号化のために割り当
てるビット量が不足する。従って、この場合、量子化ス
テップ幅が大きくなり、画質が劣化することになる。

【００２２】復号画像の画質を一定とするためには、入
力画像の単位時間ごとの内容（複雑さ）に応じて、符号
化のための割当ビット量を変化させて、可変ビットレー
トのビットストリームに符号化することが効果的であ
る。しかしながら、伝送路（チャネル）のデータ転送レ
ートが一定の場合は、バッファ１１２において吸収可能
な範囲を越えて変動する可変レートのビットストリーム
を伝送することは困難である。

【００２３】さらに、伝送路のデータ転送レートが可変
であっても、その最大レートを越えるビットレートのビ
ットストリームを伝送することはできないため、このよ
うな場合も、上述の場合と同様に、復号画像の画質を均
一にすることが困難であった。

【００２４】本発明は、このような状況に鑑みてなされ
たものであり、復号画像の画質を所定の水準（以上）
に、均一に維持することができるようにするものであ
る。

【００２５】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、所定の単位時間における画像を、第１およ
び第２の符号化データに符号化する符号化手段と、ある
時刻における第１の符号化データと、他の時刻における
第２の符号化データとを、ビット量が、所定の伝送路に
より伝送可能な値である伝送可能値以下となるように多
重化して出力する多重化手段とを備えることを特徴とす
る。

【００２６】請求項１０に記載の画像符号化方法は、所
定の単位時間における画像を、第１および第２の符号化
データに符号化し、ある時刻における第１の符号化デー
タと、他の時刻における第２の符号化データとを、ビッ
ト量が、所定の伝送路により伝送可能な値である伝送可
能値以下となるように多重化することを特徴とする。

【００２７】請求項１１に記載の画像復号化装置は、画
像を符号化して得られたデータを、第１および第２の符
号化データに分離する分離手段と、同一時刻における第
１および第２の符号化データを検出する検出手段と、検
出手段により検出された同一時刻における第１および第
２の符号化データを復号化する復号化手段とを備えるこ
とを特徴とする。

【００２８】請求項１４に記載の画像復号化方法は、画
像を符号化して得られたデータを、第１および第２の符
号化データに分離し、同一時刻における第１および第２
の符号化データを検出して復号化することを特徴とす
る。

【００２９】請求項１５に記載の画像送信装置は、ある
時刻における第１の画像データと、他の時刻における第
２の画像データとを、ビット量が、所定の伝送路により
伝送可能な値である伝送可能値以下となるように多重化
して出力する多重化手段を備えることを特徴とする。

【００３０】請求項１６に記載の画像受信装置は、伝送
されてきたデータを受信し、第１および第２の画像デー
タに分離する分離手段と、同一時刻における第１および
第２の画像データを検出する検出手段とを備えることを
特徴とする。

【００３１】請求項１７に記載の記録媒体は、所定の単
位時間における画像を、第１および第２の符号化データ
に符号化し、ある時刻における第１の符号化データと、
他の時刻における第２の符号化データとを、ビット量
が、所定の伝送路により伝送可能な値である伝送可能値
以下となるように多重化して得られるデータが記録され
ていることを特徴とする。

【００３２】請求項１に記載の画像符号化装置において
は、符号化手段は、所定の単位時間における画像を、第
１および第２の符号化データに符号化し、多重化手段
は、ある時刻における第１の符号化データと、他の時刻
における第２の符号化データとを、ビット量が、所定の
伝送路により伝送可能な値である伝送可能値以下となる
ように多重化して出力するようになされている。

【００３３】請求項１０に記載の画像符号化方法におい
ては、所定の単位時間における画像を、第１および第２
の符号化データに符号化し、ある時刻における第１の符
号化データと、他の時刻における第２の符号化データと
を、ビット量が、所定の伝送路により伝送可能な値であ
る伝送可能値以下となるように多重化するようになされ
ている。

【００３４】請求項１１に記載の画像復号化装置におい
ては、分離手段は、画像を符号化して得られたデータ
を、第１および第２の符号化データに分離し、検出手段
は、同一時刻における第１および第２の符号化データを
検出するようになされている。復号化手段は、検出手段
により検出された同一時刻における第１および第２の符
号化データを復号化するようになされている。

【００３５】請求項１４に記載の画像復号化方法におい
ては、画像を符号化して得られたデータを、第１および
第２の符号化データに分離し、同一時刻における第１お
よび第２の符号化データを検出して復号化するようにな
されている。

【００３６】請求項１５に記載の画像送信装置において
は、多重化手段が、ある時刻における第１の画像データ
と、他の時刻における第２の画像データとを、ビット量
が、所定の伝送路により伝送可能な値である伝送可能値
以下となるように多重化して出力するようになされてい
る。

【００３７】請求項１６に記載の画像受信装置において
は、分離手段は、伝送されてきたデータを受信して、第
１および第２の画像データに分離し、検出手段は、同一
時刻における第１および第２の画像データを検出するよ
うになされている。

【００３８】請求項１７に記載の記録媒体には、所定の
単位時間における画像を、第１および第２の符号化デー
タに符号化し、ある時刻における第１の符号化データ
と、他の時刻における第２の符号化データとを、ビット
量が、所定の伝送路により伝送可能な値である伝送可能
値以下となるように多重化して得られるデータが記録さ
れている。

【００３９】

【発明の実施の形態】図１は、本発明を適用した画像符
号化装置の一実施例の構成を示している。この画像符号
化装置においては、入力されたディジタル動画像信号
を、均一で高画質の復号画像が得られるような一定のビ
ットレートのビットストリームに符号化し、例えば、固
定レートの伝送路（チャネル）に出力するようになされ
ている。

【００４０】即ち、符号化すべき動画像信号は、端子１
から入力され、この動画像信号は、遅延器５およびビッ
トレートコントローラ７に供給される。ビットコントロ
ーラ７では、復号画像の画質が一定となるように、入力
された動画像信号の画像内容（複雑さ）に応じて、所定
の単位時間Ｔにおける動画像を符号化するのに割り当て
るべきビット量である割当ビット量が算出され、符号化
回路６に供給される。

【００４１】具体的には、ビットコントローラ７は、例
えば、符号化難易度測定器７０１、ビットレート演算器
７０２、およびコントローラ７０３で構成されており、
符号化すべき動画像信号は、符号化難易度測定器７０１
に供給される。

【００４２】符号化難易度測定器７０１（難易度算出手
段）では、単位時間Ｔごとの入力画像の符号化難易度
（画像の複雑さを表す量）が計算される。ここで、単位
時間Ｔは、例えば、１フレームや、ＭＰＥＧで規定され
ているＧＯＰ（Group Of Picture）を構成する１５フレ
ームなどに対応する時間などとすることができる。ま
た、単位時間Ｔは、いわゆるスライスや、マクロブロッ
クに対応する時間とすることも可能である。即ち、単位
時間Ｔは、少なくとも、符号化する画像に対する同期を
とることが可能な時間であれば良い。但し、単位時間Ｔ
は、フレーム単位の整数倍に対応する時間とするのが好
ましい。

【００４３】符号化難易度測定器７０１において計算さ
れた符号化難易度は、ビットレート演算器７０２に供給
される。ビットレート演算器７０２（割当ビット量算出
手段）には、符号化難易度測定器７０１から符号化難易
度が供給される他、端子２から、画像符号化装置におい
て、所定の時間Ｄの間に使用可能な総ビット量Ｂが供給
されるようになされており、そこでは、復号画像の画質
が、入力画像の複雑さに拘らず一定となるように、総ビ
ット量Ｂおよび符号化難易度に応じて、単位時間Ｔごと
の割当ビット量ｂｉｔｘ［ｔ］が計算される。ここで、
ｂｉｔｘ［ｔ］は、時刻ｔにおける、単位時間Ｔの動画
像を、その復号画像の画質を所定レベル以上の一定画質
にするように符号化するために必要な割当ビット量を表
す。

【００４４】ここで、端子１４から出力されるビットス
トリームを伝送するための伝送路（チャネル）が、所定
の単位時間Ｔの間に伝送可能なビット量をｂｉｔ０とす
るとき、総ビット量Ｂは、次式により与えられる。

【００４５】Ｂ＝Ｄ×（ｂｉｔ０／Ｔ）但し、Ｄは、後述する遅延器５における遅延時間を表
し、この遅延時間Ｄが大きいほど、効果的な可変レート
制御、即ち、複雑さの変化の大きい画像に対応すること
が可能となる。

【００４６】なお、上述のように、符号化難易度に応じ
て割当ビット量を決める方法については、例えば、本件
出願人が先に出願した特願平６−５２２９８１号や特願
平７−３１１４３６号などに、その詳細が記載されてい
る。

【００４７】ビットレート演算器７０２において求めら
れた単位時間Ｔごとの割当ビット量ｂｉｔｘ［ｔ］は、
コントローラ７０３に供給される。コントローラ７０３
には、割当ビット量ｂｉｔｘ［ｔ］の他、ビットレート
演算器７０２における場合と同様に、端子２から総ビッ
ト量Ｂが供給されており、そこでは、割当ビット量ｂｉ
ｔｘ［ｔ］および総ビット量Ｂに基づいて、単位時間Ｔ
ごとの動画像信号を、後述する基本画質信号または高画
質化信号に符号化するときに、それぞれに割り当てるべ
き割当ビット量ｂｉｔ１［ｔ］またはｂｉｔ２［ｔ］が
計算される。

【００４８】即ち、コントローラ７０３（分割手段）
は、基本的には、符号化する画像の絵柄が難しく、単位
時間Ｔの割当ビット量ｂｉｔｘ［ｔ］が、ｂｉｔ０より
も多く必要な場合は、ｂｉｔ０を割当ビット量ｂｉｔ１
［ｔ］とし、不足するビット量（ｂｉｔ０を越えるビッ
ト量）をｂｉｔ２［ｔ］とする。また、符号化する画像
の絵柄が簡単で、単位時間Ｔの割当ビット量ｂｉｔｘ
［ｔ］が、ｂｉｔ０以下で済む場合は、割当ビット量ｂ
ｉｔｘ［ｔ］をｂｉｔ１［ｔ］とし、ｂｉｔ２［ｔ］は
ゼロ（０）とする。以上のようにして、コントローラ７
０３では、割当ビット量ｂｉｔｘ［ｔ］が、基本画質信
号または高画質化信号それぞれに割り当てるべきビット
量ｂｉｔ１［ｔ］またはｂｉｔ２［ｔ］に分割される。

【００４９】ここで、割当ビット量ｂｉｔ１［ｔ］およ
びｂｉｔ２［ｔ］は、遅延器５において、符号化回路６
への画像入力が遅延される間にビットレートコントロー
ラ７に供給される入力画像について、単位時間Ｔごとに
すべて計算される。

【００５０】以上のようにして求められた割当ビット量
ｂｉｔ１［ｔ］およびｂｉｔ２［ｔ］は、コントローラ
７０３から符号化回路６に供給される。なお、割当ビッ
ト量ｂｉｔ１［ｔ］とｂｉｔ２［ｔ］は、符号化回路６
の他、端子３と４を介して、後述するコントローラ１２
にも供給されるようになされている。

【００５１】一方、遅延器５では、入力された動画像信
号が、所定の時間Ｄだけ遅延され、符号化回路６に供給
される。符号化回路６（符号化手段）では、遅延器５で
遅延された動画像信号が、ビットレートコントローラ７
より供給される割当ビット量にしたがって（割当ビット
量が割り当てられて）符号化され、これにより、所定の
基本的な画質を維持するための基本画質信号（第１の符
号化データ）（第１の画像データ）のビットストリーム
ｂｓ１と、基本画質信号だけでは維持することが困難
な、複雑な画像などの画質を維持するための高画質化信
号（第２の符号化データ）（第２の画像データ）のビッ
トストリームｂｓ２とにされる。

【００５２】即ち、符号化回路６０２は、基本画質信号
符号化回路６０１および高画質化信号符号化回路６０２
から構成され、単位時間Ｔ毎の入力画像を、ビットコン
トローラ７から供給される割当ビット量ｂｉｔ１［ｔ］
とｂｉｔ２［ｔ］で指定されるビット量の基本画質信号
のビットストリームｂｓ１［ｔ］と高画質化信号のビッ
トストリームｂｓ２［ｔ］に符号化する。なお、基本画
質信号または高画質化信号への符号化は、基本画質信号
符号化回路６０１または高画質化信号符号化回路６０２
においてそれぞれ行われるようになされている。

【００５３】符号化回路６から出力されるビットストリ
ームｂｓ１とｂｓ２との単位時間Ｔごとの合計のビット
量は可変であり、このままでは一定のビットレートのチ
ャネル（伝送路）へ出力することは困難であるため、図
１の画像符号化装置では、後段のブロックにおいて、ビ
ットストリームｂｓ１およびｂｓ２を処理することによ
り、端子１４から、固定レートの伝送路で伝送可能な一
定のビットレートのビットストリームを出力するように
なされている。

【００５４】即ち、基本画質信号のビットストリームｂ
ｓ１［ｔ］は、基本画質信号符号化回路６０１から遅延
器８（遅延手段）に供給される。遅延器８は、例えばメ
モリなどで構成され（上述の遅延器５も同様）、ビット
ストリームｂｓ１を一時記憶することで、所定時間τだ
け遅延し、多重化器（ＭＵＸ）（多重化手段）９に供給
する。ここで、遅延器８における遅延時間τが大きいほ
ど、最終的に端子１４から出力されるビットストリーム
を復号したときに、高画質な復号画像を得ることができ
る。

【００５５】一方、高画質化信号のビットストリームｂ
ｓ２［ｔ］は、メモリ１１（遅延手段）に供給されて、
一時記憶される。そして、メモリ１１に記憶された高画
質化信号のビットストリームｂｓ２［ｔ］は、所定のタ
イミングで読み出され、多重化器９に供給される。ここ
で、メモリ１１へのビットストリームｂｓ２［ｔ］の書
き込み、およびメモリ１１からのビットストリームｂｓ
２［ｔ］の読み出しは、コントローラ７０３から供給さ
れる割当ビット量ｂｉｔ１［ｔ］，ｂｉｔ２［ｔ］にし
たがって、コントローラ１２により制御されるようにな
されている。

【００５６】即ち、コントローラ１２は、遅延器８から
多重化器９に供給される基本画質信号のビットストリー
ムｂｓ１［ｔ−τ］に対する単位時間Ｔあたりの割当ビ
ット量ｂｉｔ１［ｔ−τ］がｂｉｔ０に等しいとき、メ
モリ１１からの読み出しは行わず、その割当ビット量ｂ
ｉｔ１［ｔ−τ］がｂｉｔ０未満のとき、メモリ１１か
ら高画質化信号のビットストリームｂｓ２を読み出し、
多重化器９に供給する。

【００５７】多重化器９では、遅延器８からのビットス
トリームｂｓ１と、メモリ１１からのビットストリーム
ｂｓ２とが、そのビット量が伝送路により伝送可能な値
ｂｉｔ０（伝送可能値）以下となるように（そのビット
レートがｂｉｔ０／Ｔ以下となるように）多重化されて
出力される。

【００５８】即ち、遅延器８から多重化器９に供給され
る基本画質信号のビットストリームｂｓ１［ｔ−τ］に
対する単位時間Ｔあたりの割当ビット量ｂｉｔ１［ｔ−
τ］がｂｉｔ０に等しいときは、メモリ１１からのビッ
トストリームｂｓ２の読み出しは行われないため、多重
化器９は、遅延器８からの、ビットレートがｂｉｔ０／
Ｔのビットストリームｂｓ１をそのまま出力する。ま
た、割当ビット量ｂｉｔ１［ｔ−τ］がｂｉｔ０未満の
ときは、遅延器８からのビットストリームｂｓ１と、メ
モリ１１からのビットストリームｂｓ２とを、そのビッ
トレートが、伝送路により伝送可能な値ｂｉｔ０／Ｔ以
下となるように多重化して出力する。

【００５９】従って、多重化器９が出力するビットスト
リームｂｓ０のビットレートは、伝送路のビットレート
ｂｉｔ０／Ｔより大きくなることはない。

【００６０】なお、多重化器９には、ＴＳ（Time Stam
p）発生器１３（発生手段）からタイムスタンプが供給
されるようになされており、多重化器９は、ビットスト
リームｂｓ１，ｂｓ２に対して、このタイムスタンプを
付加するようにもなされている。ここで、タイムスタン
プとは、復号側において、ビットストリームｂｓ１，ｂ
ｓ２の復号時刻や表示時刻などの時刻を指示するための
情報（時刻情報）である。

【００６１】多重化器９が出力するビットストリームｂ
ｓ０は、バッファ１０に供給され、一時記憶された後、
端子１４から、一定のビットレートｂｉｔ０／Ｔで出力
される。そして、このビットストリームは、ビットレー
トがｂｉｔ０／Ｔの固定レートの伝送路（チャネル）を
介して、図示せぬ記録装置に供給され、例えば、光ディ
スクや光磁気ディスク、磁気テープなどの記録媒体１５
に記録される。

【００６２】次に、図２のタイミングチャートを参照し
て、図１の画像符号化装置の動作についてさらに説明す
る。図２（Ａ）は、符号化される画像データ（入力画
像）を示している。ここで、同図（Ａ）において、ａ，
ｂ，ｃ，ｄは、単位時間Ｔにおける画像を示している。

【００６３】図２（Ｂ）は、ビットレート演算器７０２
から出力される、単位時間Ｔにおける画像ａ，ｂ，ｃ，
ｄそれぞれに対する割当ビット量ｂｉｔｘ［ｔ］の時間
変化を示している。なお、同図（Ｂ）における点線は、
固定レートの伝送路において単位時間Ｔの間に伝送可能
なビット量ｂｉｔ０を表しており、この実施例では、画
像ａおよびｃに対しては、ビット量ｂｉｔ０より少ない
ビット量ｂｉｔｘ［ｔ］が、画像ｂおよびｄに対して
は、ビット量ｂｉｔ０より多いビット量ｂｉｔｘ［ｔ］
が割り当てられている。

【００６４】即ち、上述したように、割当ビット量ｂｉ
ｔｘ［ｔ］は、復号画像の画質が一定となるように、入
力画像の内容に応じて変化するようになされており、画
像ａおよびｃには、その絵柄が簡単なため、少ないビッ
ト量が、また、画像ｂおよびｄには、その絵柄が難しい
ため、多くのビット量が、それぞれ割り当てられてい
る。

【００６５】図２（Ｃ）は、図２（Ｂ）に示したような
ビット量ｂｉｔｘ［ｔ］が割り当てられた画像における
基本画質信号のビットストリームｂｓ１［ｔ］に対し、
コントローラ７０３において、単位時間Ｔごとに割り当
てられる割当ビット量ｂｉｔ１［ｔ］の時間変化を表し
ている。なお、図２（Ｃ）における点線は、図２（Ｂ）
における場合と同様に、ｂｉｔ０を表している。

【００６６】上述したように、割当ビット量ｂｉｔｘ
［ｔ］（図２（Ｂ））がｂｉｔ０以下のときは、ｂｉｔ
１［ｔ］は、割当ビット量ｂｉｔｘ［ｔ］と等しくされ
ており、割当ビット量ｂｉｔｘ［ｔ］がｂｉｔ０以上の
ときは、ｂｉｔ１［ｔ］は、ｂｉｔ０と等しくされてい
る。

【００６７】図２（Ｄ）は、図２（Ｂ）に示したような
ビット量ｂｉｔｘ［ｔ］が割り当てられた画像における
高画質化信号のビットストリームｂｓ２［ｔ］に対し、
コントローラ７０３において、単位時間Ｔごとに割り当
てられる割当ビット量ｂｉｔ２［ｔ］の時間変化を表し
ている。なお、図２（Ｄ）における点線は０を表してい
る。上述したように、割当ビット量ｂｉｔｘ［ｔ］がｂ
ｉｔ０以下のときは、ｂｉｔ２［ｔ］は０とされてお
り、割当ビット量ｂｉｔｘ［ｔ］がｂｉｔ０より大きい
ときは、ｂｉｔ２［ｔ］は、割当ビット量ｂｉｔｘ
［ｔ］に対して不足するビット量、即ち、ｂｉｔｘ
［ｔ］−ｂｉｔ０とされている。

【００６８】図２（Ｅ）は、ビットストリームｂｓ１
［ｔ］を所定の時間τだけ遅延して得られるビットスト
リームのビット量ｂｉｔ１［ｔ−τ］の時間変化を表し
ている。なお、同図（Ｅ）における点線はｂｉｔ０を表
している。

【００６９】遅延器８から多重化器９に対しては、この
図２（Ｅ）に示すようなビット量ｂｉｔ１［ｔ−τ］の
ビットストリームｂｓ［ｔ−τ］が供給される。

【００７０】図２（Ｆ）は、多重化器９から出力される
ビットストリームｂｓ０［ｔ］のビットレートを示して
いる。即ち、多重化器９においては、図２（Ｄ）に示し
たビット量ｂｉｔ２［ｔ］のビットストリームｂｓ２
［ｔ］と、図２（Ｅ）に示したビット量ｂｉｔ１［ｔ−
τ］のビットストリームｂｓ１［ｔ−τ］とが多重化さ
れ、これにより、一定のビットレートｂｉｔ０／Ｔのビ
ットストリームｂｓ０が出力される。

【００７１】図２（Ｇ）は、多重化器９から出力される
ビットストリームｂｓ０［ｔ］のフォーマットを示して
いる。なお、同図（Ｇ）において、実線で区切られてい
る区間は単位時間に相当する。また、ｂｓ１（ｘ）は、
画像ｘについての基本画質信号のビットストリームｂｓ
１［ｔ］を示しており、ｂｓ２（ｘ）は、画像ｘについ
ての高画質化信号のビットストリームｂｓ２［ｔ］を示
している。

【００７２】同図（Ｇ）に示すように、簡単な画像ａま
たはｃそれぞれについては、ビット量ｂｉｔ０以下の基
本画質信号ｂｓ１（ａ）またはｂｓ１（ｃ）しか発生し
ないのに対し、複雑な画像ｂまたはｄそれぞれについて
は、基本画質信号ｂｓ１（ｂ）またはｂｓ１（ｄ）と、
高画質化信号ｂｓ２（ｂ）またはｂｓ２（ｄ）とが、ビ
ット量ｂｉｔ０を越えて発生する。そこで、ビット量が
ｂｉｔ０に満たない基本画質信号ｂｓ１（ａ）には、高
画質化信号ｂｓ２（ｂ）が多重化されて伝送される。ま
た、ビット量がｂｉｔ０に等しい基本画質信号ｂｓ１
（ｂ）はそのまま伝送される。さらに、ビット量がｂｉ
ｔ０に満たない基本画質信号ｂｓ１（ｃ）には、高画質
化信号ｂｓ２（ｄ）が多重化され、また、ビット量がｂ
ｉｔ０に等しい基本画質信号ｂｓ１（ｄ）はそのまま伝
送される。なお、図２（Ｇ）における点線は多重化が行
われたことを示している。

【００７３】以上のように、単位時間Ｔにおける割当ビ
ット量ｂｉｔｘ［ｔ］がｂｉｔ０以上に必要な画像につ
いては、基本画質信号のビットストリームｂｓ１を、ビ
ット量ｂｉｔ０で伝送し、一方、割当ビット量ｂｉｔｘ
［ｔ］がｂｉｔ０以下で十分な画像については、その基
本画質信号のビットストリームｂｓ１と、別の時刻にお
ける高画質化信号のビットストリームｂｓ２とを多重化
し、合計のビットレート（ビット量）が伝送チャネル
（伝送路）のビットレート（以下）になるようにして伝
送するようにしたので、固定レートの伝送路を用いる場
合であっても、復号画像の画質を所定の一定水準（以
上）に、均一に維持することが可能となる。

【００７４】次に、図３は、図１の符号化難易度測定器
７０１の構成例を示している。符号化難易度測定器７０
１は、端子５１、演算器５２、ＤＣＴ器５３、固定量子
化器５４、固定逆量子化器５６、逆ＤＣＴ器５７、演算
器５８、動き補償器５９、フレームメモリ５９Ａ、動き
ベクトル検出器６０、ＶＬＣ器６１、発生符号量カウン
タ６２、および端子６３からなり、基本的には、図１４
に示した画像符号化装置と同様に構成されている。

【００７５】即ち、端子５１、演算器５２、ＤＣＴ器５
３、逆ＤＣＴ器５７、演算器５８、動き補償器５９、フ
レームメモリ５９Ａ、動きベクトル検出器６０、ＶＬＣ
器６１、または端子６３は、図１４における端子１０
１、演算器１０２、ＤＣＴ器１０３、逆ＤＣＴ器１０
７、演算器１０８、動き補償器１０９、フレームメモリ
１０９Ａ、動きベクトル検出器１１０、ＶＬＣ器１１
１、または端子１１３それぞれと対応するものであり、
従って、符号化難易度測定器７０１は、レートコントロ
ーラ１０５およびバッファ１１２が設けられておらず、
発生符号量カウンタ６２が新たに設けられ、さらに、量
子化器１０５または逆量子化器１０６それぞれに代え
て、固定量子化器５４または固定逆量子化器５６が設け
られている他は、図１４の画像符号化装置と同様に構成
されている。

【００７６】この符号化難易度測定器７０１では、固定
量子化器５４または固定逆量子化器５６それぞれにおい
て、所定の固定の量子化ステップ幅で量子化または逆量
子化が行われるようになされており、発生符号量カウン
タ６２では、そのような固定の量子化ステップ幅を用い
て得られる量子化係数を可変長符号化したときに発生す
るビット量が、単位時間Ｔごとにカウントされるように
なされている。そして、このカウント値が、その単位時
間Ｔにおける画像の符号化難易度として、端子６３から
出力されるようになされている。

【００７７】次に、図４は、図１のコントローラ７０３
の処理を説明するためのフローチャートである。コント
ローラ７０３では、まず最初に、ステップＳ１におい
て、時刻を表す変数ｔが、例えば０にリセットされ、ス
テップＳ２に進み、高画質化信号のビットストリームｂ
ｓ２を伝送するのに、いわば余っているビット量を表す
変数Ｓが、初期値Ｃに初期化される。

【００７８】ここで、初期値Ｃは、図１の遅延器８にお
ける遅延時間τに関係する変数であり、その最大値Ｃ
_maxは、次式によって与えられる。

【００７９】Ｃ_max＝τ×（ｂｉｔ０／Ｔ）

【００８０】初期値Ｃは、Ｃ_max以下の値であり、最初
は、高画質化信号のビットストリームｂｓ２を、この初
期値Ｃ分だけ先送りすることができるので、この値が大
きいほど、最終的に端子１４から出力されるビットスト
リームを高画質なものとすることができる。

【００８１】その後、ステップＳ３に進み、いま符号化
対象になっている単位時間Ｔにおける画像の割当ビット
量ｂｉｔｘ［ｔ］が、ビット量ｂｉｔ０より大きいかど
うかが判定される。ステップＳ３において、割当ビット
量ｂｉｔｘ［ｔ］が、ビット量ｂｉｔ０より大きいと判
定された場合、即ち、ビット量ｂｉｔ０では、いま符号
化対象になっている単位時間Ｔにおける画像を、その復
号画像の画質を所定の一定値に維持するように符号化す
ることが困難である場合、ステップＳ４に進み、ｂｉｔ
ｘ［ｔ］とｂｉｔ０の差分Ｕが計算される。ここで、差
分Ｕは、割当ビット量ｂｉｔｘ［ｔ］が、ビット量ｂｉ
ｔ０を越える分のビット量、即ち、ビット量ｂｉｔ０だ
けでは不足するビット分を表す。

【００８２】差分Ｕの算出後、ステップＳ５において、
基本画質信号に割り当てるビット量ｂｉｔ１［ｔ］がｂ
ｉｔ０とされ、ステップＳ６に進み、差分Ｕが、変数Ｓ
以下であるかどうかが判定される。ステップＳ６におい
て、差分Ｕが、変数Ｓ以下であると判定された場合、即
ち、ビット量ｂｉｔ０を越えるビット量Ｕのデータを伝
送するのに、それ以上のビット量が余っている場合、ス
テップＳ７に進み、高画質化信号に割り当てるｂｉｔ２
［ｔ］がＵとされ、ステップＳ９に進む。

【００８３】また、ステップＳ６において、差分Ｕが、
変数Ｓ以下でないと判定された場合、即ち、ビット量ｂ
ｉｔ０を越えるビット量Ｕのデータを伝送するのに、そ
れ以上のビット量が余っていない場合、ステップＳ８に
進み、割当ビット量ｂｉｔ２［ｔ］がＳとされ、即ち、
いま余っているビット量が、割当ビット量ｂｉｔ２
［ｔ］とされ、ステップＳ９に進む。

【００８４】ステップＳ９では、変数Ｓから、ステップ
Ｓ７またはＳ８で高画質化信号に割り当てられたビット
量ｂｉｔ２［ｔ］が減算され、その減算結果が、変数Ｓ
にセットされて、ステップＳ１２に進む。

【００８５】一方、ステップＳ３において、割当ビット
量ｂｉｔｘ［ｔ］が、ビット量ｂｉｔ０より大きくない
と判定された場合、即ち、ビット量ｂｉｔ０以下で、い
ま符号化対象になっている単位時間Ｔにおける画像を、
その復号画像の画質を所定の一定値に維持するように符
号化することができる場合、ステップＳ１０に進み、ビ
ット量ｂｉｔ０と割当ビット量ｂｉｔｘ［ｔ］との差分
が計算され、この差分だけ、変数Ｓがインクリメントさ
れる。

【００８６】そして、ステップＳ１１に進み、基準画質
信号に割り当てるビット量ｂｉｔ１［ｔ］がｂｉｔｘ
［ｔ］とされ、さらに、高画質化信号に割り当てるビッ
ト量ｂｉｔ２［ｔ］が０とされて、ステップＳ１２に進
む。

【００８７】ステップＳ１２では、変数（時刻）ｔが単
位時間Ｔだけインクリメントされ、ステップＳ１３に進
み、符号化すべき一連の画像（フレーム）すべてについ
て、ビット量ｂｉｔ１［ｔ］およびｂｉｔ２［ｔ］が算
出されたかどうかが判定される。ステップＳ１３におい
て、符号化すべき一連の画像すべてについて、ビット量
ｂｉｔ１［ｔ］およびｂｉｔ２［ｔ］が、まだ算出され
ていないと判定された場合、ステップＳ３に戻り、次の
単位時間Ｔにおける画像を対象に、ステップＳ３以下の
処理が繰り返される。

【００８８】また、ステップＳ１３において、符号化す
べき一連の画像すべてについて、ビット量ｂｉｔ１
［ｔ］およびｂｉｔ２［ｔ］が算出されたと判定された
場合、処理を終了する。

【００８９】コントローラ７０３では、以上のようにし
て、符号化すべき一連の画像すべてについて、ビット量
ｂｉｔ１［ｔ］およびｂｉｔ２［ｔ］が算出される。

【００９０】次に、図５は、図１の符号化回路６の構成
例を示している。なお、図中、図１４における場合と対
応する部分については同一の符号を付してある。

【００９１】符号化回路６は、上述したように、基本画
質信号符号化回路６０１および高画質化信号符号化回路
６０２で構成されており、例えば、ＭＰＥＧ方式に準拠
した符号化（ＭＰＥＧ符号化）が行われるようになされ
ている。

【００９２】高画質化信号符号化回路６０２は、図５に
おいて符号化回路６を構成するブロックのうちの、演算
器６０４、量子化器６０５、ＶＬＣ器６０６、逆量子化
器６０７、レートコントローラ６０８、および演算器６
０９で構成されており、残りのブロックが、基本画質信
号符号化回路６０１を構成している。

【００９３】基本画質信号符号化回路６０１では、レー
トコントローラ１０５が、ＶＬＣ器１１１の出力でな
く、コントローラ７０３からの割当ビット量ｂｉｔ１
［ｔ］にしたがって、量子化ステップ幅を決定する他
は、図１４における場合と同様の処理が行われることに
より、画像が符号化される。従って、この場合、量子化
器１０４では、ＶＬＣ器１１１から出力される、単位時
間Ｔあたりのビット量がｂｉｔ１［ｔ］となるような量
子化ステップ幅で、量子化が行われるようになされてい
る。なお、この実施例においても、図１４における場合
と同様に、ＶＬＣ器１１１の出力が、レートコントロー
ラ１０５にフィードバックされているが、レートコント
ローラ１０５では、このフィードバック量に基づいて、
ＶＬＣ器１１１から出力されるビット量が、より正確に
ｂｉｔ１［ｔ］となるように、量子化ステップ幅を微調
整するようになされている。

【００９４】一方、高画質化信号符号化回路６０２で
は、逆量子化器１０６の出力、即ち、量子化器１０４が
出力する量子化係数を逆量子化して得られるＤＣＴ係数
が、演算器６０４に供給されるようになされており、さ
らに、この演算器６０４には、ＤＣＴ器１０３から出力
される、量子化される前のＤＣＴ係数も供給されるよう
になされている。演算器６０４は、量子化される前のＤ
ＣＴ係数から、量子化係数を逆量子化して得られるＤＣ
Ｔ係数を減算し、これにより、量子化器１０４における
量子化誤差を求め、量子化器６０５に供給する。

【００９５】量子化器６０５は、レートコントローラ６
０８から供給される量子化ステップ幅にしたがって、演
算器６０４の出力を量子化する。即ち、レートコントロ
ーラ６０８には、コントローラ７０３から割当ビット量
ｂｉｔ２［ｔ］が供給されるようになされており、そこ
では、ＶＬＣ器６０６が出力するビット量が、その割当
ビット量ｂｉｔ２［ｔ］となるような量子化ステップ幅
が決定されて、量子化器６０５、ＶＬＣ器６０６、およ
び逆量子化器６０７に供給される。量子化器６０５で
は、このような量子化ステップ幅で量子化が行われ、こ
れにより、ＶＬＣ器６０６から出力される、単位時間Ｔ
あたりのビット量がｂｉｔ２［ｔ］となるようになされ
ている。

【００９６】量子化器６０５において量子化が行われる
ことにより得られた量子化係数は、ＶＬＣ器６０６およ
び逆量子化器６０７に供給される。ＶＬＣ器６０６で
は、量子化器６０５からの量子化係数、およびレートコ
ントローラ６０８からの量子化ステップ幅が、ＶＬＣ器
１１１における場合と同様に可変長符号化され、その結
果得られる符号化データ（高画質化信号）のビットスト
リームｂｓ２が、メモリ１１に出力される。

【００９７】なお、レートコントローラ６０８には、Ｖ
ＬＣ器６０６の出力がフィードバックされるようになさ
れており、このレートコントローラ６０８においても、
レートコントローラ１０５における場合と同様に、この
フィードバック量に基づいて、ＶＬＣ器６０６から出力
されるビット量が、より正確にｂｉｔ２［ｔ］となるよ
うに、量子化ステップ幅を微調整するようになされてい
る。

【００９８】一方、逆量子化器６０７では、量子化器６
０５からの量子化係数が、レートコントローラ６０８か
らの量子化ステップ幅にしたがって逆量子化され、演算
器６０９に供給される。演算器６０９には、逆量子化器
６０７の出力の他、逆量子化器１０６の出力も供給され
ており、そこでは、これらが加算されて、逆ＤＣＴ器１
０７に供給される。即ち、これにより、逆ＤＣＴ器１０
７には、量子化器１０４における量子化誤差に対応する
補正がなされたＤＣＴ係数が供給される。

【００９９】なお、以上のような符号化回路６における
符号化方法は、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌ５
（ISO/IECJTC1/SC29/WG11 N0400, April 1993, pp.85）
において、ＳＮＲスケーラビリティとして開示されてい
る。

【０１００】次に、図６は、図１のメモリ１１の構成例
を示している。同図に示すように、メモリ１１は、リン
グメモリ（リングバッファ）構造になっており、最新の
時刻のビットストリームｂｓ２［ｔ］を書き込む場合に
おいて、空き領域がないときは、最も古い時刻のビット
ストリームｂｓ２が記憶されている領域に書き込み（上
書き）が行われるようになされている。

【０１０１】次に、図７は、図１の多重化器９、メモリ
１１、コントローラ１２、およびＴＳ発生器１３の処理
を説明するためのフローチャートである。まず最初に、
ステップＳ２１において、コントローラ１２は、時刻を
表す変数ｔを、例えば０にリセットし、ステップＳ２２
に進み、端子３から供給される割当ビット量ｂｉｔ１
［ｔ−τ］がｂｉｔ０に等しいかどうかを判定する。

【０１０２】ステップＳ２２において、割当ビット量ｂ
ｉｔ１［ｔ−τ］がｂｉｔ０に等しいと判定された場
合、即ち、時刻ｔ−τにおけるビットストリームｂｓ１
［ｔ−τ］の割当ビット量ｂｉｔ１［ｔ−τ］がｂｉｔ
０に等しい場合、ステップＳ２３に進み、コントローラ
１２は、ＴＳ発生器１３を制御することにより、ビット
ストリームｂｓ１［ｔ−τ］に対するタイムスタンプＴ
Ｓ１を発生させ、多重化器９に供給させる。

【０１０３】そして、ステップＳ２４において、多重化
器９は、ビットストリームｂｓ１［ｔ−τ］に対して、
ＴＳ発生器１３からのタイムスタンプＴＳ１を付加し、
バッファ１０に出力する。即ち、この場合、多重化器９
では、遅延器８の出力（ビットストリームｂｓ１）は、
メモリ１１の出力（ビットストリームｂｓ２）とは多重
化されずに、バッファ１０に供給される。

【０１０４】一方、ステップＳ２２において、割当ビッ
ト量ｂｉｔ１［ｔ−τ］がｂｉｔ０に等しくないと判定
された場合、即ち、時刻ｔ−τにおけるビットストリー
ムｂｓ１［ｔ−τ］の割当ビット量ｂｉｔ１［ｔ−τ］
がｂｉｔ０より小さい場合、コントローラ１２は、その
空いているビット量を利用して、時刻ｔ−τと異なる時
刻における画像の高画質化信号のビットストリームｂｓ
２を伝送するための制御を行う。

【０１０５】即ち、コントローラ１２は、ステップＳ２
５において、メモリ１１に記憶されているビットストリ
ームｂｓ２のうち、最も古いものから、最大で、ｂｉｔ
０−ｂｉｔ１［ｔ−τ］のビット量だけを読み出し、多
重化器９に供給する。さらに、コントローラ１２は、Ｔ
Ｓ発生器１３を制御することにより、ビットストリーム
ｂｓ１［ｔ−τ］に対するタイムスタンプＴＳ１を発生
させるとともに、メモリ１１から読み出されたビットス
トリームｂｓ２に対するタイムスタンプＴＳ２（このタ
イムスタンプＴＳ２は、例えば、メモリ１１から読み出
されたビットストリームｂｓ２に対応する画像の基本画
質信号のビットストリームｂｓ１に付加されるタイムス
タンプＴＳ１と同一のものとする）を発生させ、多重化
器９に供給させる。

【０１０６】多重化器９は、ステップＳ２７において、
ビットストリームｂｓ１［ｔ−τ］にタイムスタンプＴ
Ｓ１を付加するとともに、メモリ１１から読み出された
ビットストリームｂｓ２にタイムスタンプＴＳ２を付加
し、これらを多重化して、バッファ１０へ出力する。

【０１０７】ステップＳ２４およびＳ２７の処理後は、
ステップＳ２８において、変数ｔが単位時間Ｔだけイン
クリメントされ、ステップＳ２９に進み、符号化すべき
一連の画像（フレーム）すべてを対象に、ステップＳ２
２乃至Ｓ２８の処理が行われたかどうかが判定される。
ステップＳ２９において、符号化すべき一連の画像すべ
てを対象に、ステップＳ２２乃至Ｓ２８の処理が行われ
ていないと判定された場合、ステップＳ２２に戻り、次
の単位時間Ｔにおける画像を対象に、ステップＳ２２以
下の処理が繰り返される。

【０１０８】また、ステップＳ２９において、符号化す
べき一連の画像すべてを対象に、ステップＳ２２乃至Ｓ
２８の処理が行われたと判定された場合、処理を終了す
る。

【０１０９】次に、図８は、図１の画像符号化装置で符
号化されたデータを復号する画像復号化装置の一実施例
の構成を示している。端子２０には、例えば、記録媒体
１５（図１）に記録されたデータが、図示せぬ再生装置
によって再生され、これにより、ビットストリームｂｓ
０［ｔ］が、一定のビットレートｂｉｔ０／Ｔで入力さ
れるようになされている。端子２０に入力されたビット
ストリームｂｓ０［ｔ］は、バッファ２１に供給され、
一時記憶される。バッファ２１に記憶されたビットスト
リームｂｓ０［ｔ］は、分離器（ＤＭＵＸ）２２（分離
手段）により、その処理のタイミングに合わせて読み出
される。

【０１１０】分離器２２は、ビットストリームｂｓ０
を、基本画質信号のビットストリームｂｓ１と、高画質
化信号のビットストリームｂｓ２とに分離する。さら
に、分離器２２は、ビットストリームｂｓ１から、そこ
に付加されているタイムスタンプＴＳ１を分離するとと
もに、ビットストリームｂｓ２から、そこに付加されて
いるタイムスタンプＴＳ２を分離する。そして、分離器
２２は、ビットストリームｂｓ１を復号回路３０（復号
化手段）（処理手段）に、ビットストリームｂｓ２およ
びタイムスタンプＴＳ２をメモリ２３（遅延手段）に、
タイムスタンプＴＳ１をコントローラ２５に、それぞれ
供給する。

【０１１１】復号回路３０は、基本画質信号復号回路３
０１および高画質化信号復号回路３０２から構成されて
おり、分離器２２からのビットストリームｂｓ１は、基
本画質信号復号回路３０１に供給される。

【０１１２】一方、メモリ２３においては、分離器２２
からのビットストリームｂｓ２とそのタイムスタンプＴ
Ｓ２が記憶される。ここで、メモリ２３は、図６に示し
たメモリ１１と同様に、リングメモリ構造になってお
り、最新の時刻におけるビットストリームｂｓ２を書き
込む場合において、空き領域がないときには、最も古い
時刻におけるビットストリームｂｓ２が記憶されている
領域に上書きされるようになされている。また、ビット
ストリームｂｓ２の上書きが行われる場合においては、
タイムスタンプＴＳ２についても同様に、上書きが行わ
れる。

【０１１３】コントローラ２５（検出手段）は、分離器
２２から供給されるタイムスタンプＴＳ１と、メモリ２
３に記憶されたタイムスタンプＴＳ２とを比較すること
で、同一時刻における（同一画像を構成する）ビットス
トリームｂｓ１とｂｓ２とを検出するようになされてい
る。即ち、コントローラ２５は、タイムスタンプＴＳ１
とＴＳ２とが一致するとき、そのタイムスタップＴＳ２
が付加されていたビットストリームｂｓ２を、メモリ２
５から読み出し、復号回路３０の高画質化信号復号回路
３０２に供給させる。

【０１１４】図１の画像符号化装置によれば、基本的
に、ビットストリームｂｓ２は、基本的に、それに対応
する（同一画像を構成する）ビットストリームｂｓ１よ
り時間的に先行して伝送されるため、以上のように、メ
モリ２３に記憶されることにより遅延され、分離器２２
から、そのビットストリームｂｓ２に対応するビットス
トリームｂｓ１が出力されるのを待って読み出される。

【０１１５】そして、基本画質信号復号回路３０１また
は高画質化信号復号回路３０２では、同一時刻における
（同一画像を構成する）ビットストリームｂｓ１または
ｂｓ２がそれぞれ復号され、さらに、それらの復号結果
が加算されることにより、元の画像に復号されて、端子
２６から出力される。

【０１１６】次に、図９のタイミングチャートを参照し
て、図８の画像復号化装置の動作についてさらに説明す
る。

【０１１７】図９（Ａ）は、端子２０（従って、分離器
２２）に入力されるビットストリームｂｓ０［ｔ］のフ
ォーマットを示している。ここでは、図２（Ｇ）に示し
たものと同様のビットストリームｂｓ０［ｔ］が入力さ
れている。

【０１１８】図９（Ｂ）は、図９（Ａ）のビットストリ
ームｂｓ０［ｔ］のビットレートを示している。即ち、
ビットストリームｂｓ０［ｔ］は、図１の画像符号化装
置から出力されるビットレートと同一の一定のビットレ
ートｂｉｔ０／Ｔで入力される。

【０１１９】図９（Ｃ）は、図９（Ｂ）に示したビット
量の、図９（Ａ）に示したビットストリームｂｓ０か
ら、分離器２２において分離された基本画質信号のビッ
トストリームｂｓ１の単位時間Ｔごとのビット量ｂｉｔ
１［ｔ］の時間変化を表している。なお、図９（Ｃ）に
おける点線は、ｂｉｔ０を表している。

【０１２０】図２（Ｃ）における場合と同様に、ビット
量ｂｉｔ１［ｔ］は、割当ビット量ｂｉｔｘ［ｔ］がｂ
ｉｔ０以下のときは、割当ビット量ｂｉｔｘ［ｔ］と等
しくなっており、また、割当ビット量ｂｉｔｘ［ｔ］が
ｂｉｔ０以上のときは、ｂｉｔ０と等しくなっている。

【０１２１】基本画質信号復号回路３０１には、図９
（Ｃ）に示すようなビット量ｂｉｔ１［ｔ］のビットス
トリームｂｓ１が供給される。

【０１２２】図９（Ｄ）は、図９（Ｂ）に示したビット
量の、図９（Ａ）に示したビットストリームｂｓ０か
ら、分離器２２において分離された高画質化信号のビッ
トストリームｂｓ２の単位時間Ｔごとのビット量ｂｉｔ
２［ｔ］の時間変化を表している。なお、図９（Ｄ）に
おける点線は０を表している。

【０１２３】図８のメモリ２３においては、図９（Ｄ）
に示すようなビット量ｂｉｔ２［ｔ］のビットストリー
ムｂｓ２が記憶される。

【０１２４】図９（Ｅ）は、メモリ２３から読み出され
るビットストリームｂｓ２の単位時間Ｔごとのビット量
ｂｉｔ２［ｔ］を表している。ここで、同図（Ｅ）にお
ける点線は、図９（Ｄ）における場合と同様に０を示し
ている。

【０１２５】メモリ２３から高画質化信号復号回路３０
２には、図９（Ｅ）に示すようなビット量ｂｉｔ２
［ｔ］のビットストリームｂｓ２が供給される。

【０１２６】なお、図９（Ｅ）（上述の図９（Ｄ）にお
いても同様）を左から右方向に見ていった場合に、最初
の凸部分が、画像ｂの高画質化信号ｂｓ２（ｂ）に、２
番目の凸部分が、画像ｄの高画質化信号ｂｓ２（ｄ）
に、それぞれ相当する。

【０１２７】図９（Ｆ）は、復号回路３０に入力される
単位時間Ｔごとのビット量（データ量）の時間変化を表
している。なお、同図（Ｆ）における点線はｂｉｔ０を
表している。

【０１２８】図９（Ｆ）に示すように、復号回路３０に
は、図９（Ｃ）に示したビット量ｂｉｔ１［ｔ］の基本
画質信号のビットストリームｂｓ１［ｔ］と、図９
（Ｅ）に示したビット量ｂｉｔ２［ｔ］の高画質化信号
のビットストリームｂｓ２［ｔ］とを合わせたビット量
のデータが入力される。

【０１２９】図９（Ｇ）は、図９（Ｆ）に示したビット
量のデータが、復号回路３０に入力されることにより得
られる復号画像の時間変化を示している。

【０１３０】同図（Ｇ）に示すように、簡単な画像ａま
たはｃそれぞれについては、ビット量ｂｉｔ０以下の基
本画質信号ｂｓ１（ａ）またはｂｓ１（ｃ）を用いて復
号が行われる。また、複雑な画像ｂまたはｄそれぞれに
ついては、基本画質信号ｂｓ１（ｂ）またはｂｓ１
（ｄ）と、高画質化信号ｂｓ２（ｂ）またはｂｓ２
（ｄ）とを用いて復号が行われる。

【０１３１】即ち、画像復号化装置に入力されるビット
ストリームｂｓ０のビットレートは、最大でも、伝送チ
ャネルのビットレートｂｉｔ０／Ｔであるが、復号回路
３０に入力されるビットストリームｂｓ１とｂｓ２の合
計のビットレートは、その最大値が伝送チャネルのビッ
トレートｂｉｔ０／Ｔより大きい可変の値であり、その
結果、高画質で均一な動画像を復号することが可能とな
る。

【０１３２】次に、図１０は、図８のメモリ２３および
コントローラ２５の処理を説明するためのフローチャー
トである。

【０１３３】コントローラ２５では、ステップＳ３１に
おいて時刻を表す変数ｔが、例えば０に初期化され、ス
テップＳ３２に進み、分離器２２から基本画質信号復号
回路３０１に供給されたビットストリームｂｓ１［ｔ］
に付加されていたタイムスタンプＴＳ１が、メモリ２３
に最も過去に記憶されたビットストリームｂｓ２に付加
されているタイムスタンプＴＳ２と同一であるかどうか
が判定される。

【０１３４】即ち、上述したように、基本画質信号復号
回路３０１に供給されるビットストリームｂｓ１に付加
されていたタイムスタンプＴＳ１は、分離器２２からコ
ントローラ２５に供給される。コントローラ２５は、タ
イムスタンプＴＳ１を受信すると、メモリ２３に記憶さ
れている、最も過去のビットストリームｂｓ２に付加さ
れていたタイムスタンプＴＳ２を読み出し、ステップＳ
３２において、タイムスタンプＴＳ１とＴＳ２とが等し
いかどうかを判定する。

【０１３５】ステップＳ３２において、タイムスタンプ
ＴＳ１とＴＳ２とが等しいと判定された場合、即ち、い
ま基本画質信号復号回路３０１に入力された基本画質信
号のビットストリームｂｓ［ｔ］に対応する画像につい
ての高画質化信号のビットストリームｂｓ２が、メモリ
２３に記憶されている場合、ステップＳ３３に進み、コ
ントローラ２５は、メモリ２３を制御することにより、
その高画質化信号のビットストリームｂｓ２（タイムス
タンプＴＳ１と同一のタイムスタンプＴＳ２が付加され
ているビットストリームｂｓ２）を読み出し、高画質化
信号復号回路３０２に供給させ、ステップＳ３４に進
む。従って、この場合、基本画質信号と高画質化信号と
から、画像が復号化される。

【０１３６】また、ステップＳ３２において、タイムス
タンプＴＳ１とＴＳ２とが等しくないと判定された場
合、即ち、いま基本画質信号復号回路３０１に入力され
た基本画質信号のビットストリームｂｓ１［ｔ］に対応
する画像についての高画質化信号のビットストリームｂ
ｓ２が、メモリ２３に記憶されていない場合（高画質化
信号が存在しない場合）、ステップＳ３３をスキップし
て、ステップＳ３４に進む。従って、この場合、基本画
質信号のみから、画像が復号化される。

【０１３７】そして、ステップＳ３４では、変数ｔが単
位時間Ｔだけインクリメントされ、ステップＳ３２に戻
り、一連の画像の復号が終了するまで、ステップＳ３２
乃至Ｓ３４の処理を繰り返す。

【０１３８】次に、図１１は、図８の復号回路３０の構
成例を示している。なお、図中、図１５における場合と
対応する部分については、同一の符号を付してある。

【０１３９】この復号回路３０においては、ＭＰＥＧ方
式に準拠した復号化が行われるようになされており、Ｖ
ＬＤ器２０３、逆量子化器２０４、逆ＤＣＴ器２０５、
演算器２０６、動き補償器２０７、フレームメモリ２０
７Ａ、および演算器３０３が基本画質信号復号回路３０
１を構成しており、演算器３０３、ＶＬＤ器３０４、お
よび逆量子化器３０５が高画質化信号復号回路３０２を
構成している。

【０１４０】高画質化信号復号回路３０２では、メモリ
２３からの高画質化信号のビットストリームｂｓ２が、
ＶＬＤ器３０４において可変長復号化され、その結果得
られる量子化係数および量子化ステップ幅が、逆量子化
器３０５に供給される。逆量子化器３０５では、ＶＬＤ
器３０４からの量子化係数が、同じくＶＬＤ器３０４か
らの量子化ステップ幅で逆量子化され、その結果得られ
るＤＣＴ係数が、演算器３０３に供給される。

【０１４１】一方、基本画質信号復号回路３０１では、
分離器２２からの基本画質信号のビットストリームｂｓ
１が、ＶＬＤ器２０３において可変長復号化され、その
結果得られる量子化係数および量子化ステップ幅が、逆
量子化器２０４に供給されるとともに、動きベクトルが
動き補償器２０７に供給される。

【０１４２】逆量子化器２０４では、図１５における場
合と同様にして逆量子化が行われ、その結果得られるＤ
ＣＴ係数が演算器３０３に供給される。演算器３０３で
は、逆量子化器２０４と３０５からのＤＣＴ係数が加算
され、その加算の結果得られるＤＣＴ係数が、逆ＤＣＴ
器２０５に供給される。

【０１４３】以下、図１５における場合と同様の処理が
行われ、これにより、端子２６より、復号画像が出力さ
れる。

【０１４４】なお、以上のような復号回路３０における
基準画質信号および高画質化信号の復号化方法も、図５
に示した符号化回路６の符号化方法と同様に、ＭＰＥＧ
２のＳＮＲスケーラビリティとして規格化されている。

【０１４５】以上のように、ビットストリームｂｓ０
を、ビットストリームｂｓ１とｂｓ２とに分離し、同一
時刻におけるビットストリームｂｓ１およびｂｓ２を復
号するようにしたので、ある時刻におけるビットストリ
ームｂｓ１と、他の時刻におけるビットストリームｂｓ
２とを、ビット量が、ｂｉｔ０／Ｔ以下となるように多
重化したビットストリームｂｓ０から、その複雑さに拘
らず、画質を所定の一定水準に維持した復号画像を得る
ことが可能となる。

【０１４６】なお、図８の画像復号化装置によれば、メ
モリ２３のサイズが大きいほど、高画質化信号のビット
ストリームｂｓ２を長期間にわたり蓄えることができ、
この場合、メモリ２３に記憶された高画質化信号のビッ
トストリームｂｓ２を参照することができる時間を長く
することができるので、より確実に、復号画像の画質を
維持することが可能となる。ここで、メモリ２３のサイ
ズは、図１の画像符号化装置における遅延器８を構成す
るメモリと同一とするのが望ましい。

【０１４７】また、画像復号化装置は、メモリ２３およ
び高画質化信号復号回路３０２を設けずに構成すること
も可能である。この場合、基本画質信号のビットストリ
ームｂｓ１から、画像を復号するようにすれば良い。但
し、この場合、複雑な画像については、その画質は、従
来と同様に劣化することになる。

【０１４８】このことから、図１の画像符号化装置は、
従来の画像復号化装置とのバックワードコンパチビリテ
ィをとり易いということができる。

【０１４９】即ち、図１の画像符号化装置が出力するビ
ットストリームｂｓ０（図２（Ｇ）、図９（Ａ））のフ
ォーマットは、従来のものと異なるが、このように従来
のものとフォーマットの異なるビットストリームを、従
来の画像復号化装置で復号するのは、通常、困難である
ため（従来の画像復号化装置とのバックワードコンパチ
ビリティがないため）、不便である。

【０１５０】しかしながら、図１の画像符号化装置が出
力するビットストリームｂｓ０は、従来の画像復号化装
置に、ビットストリームｂｓ０から、少なくともビット
ストリームｂｓ１を分離する分離手段（例えば、デマル
チプレクサなど）（図８の分離器２２に相当する手段）
を設ければ、基本画質信号だけは復号することができ
る。従って、従来の画像復号化装置とのバックワードコ
ンパチビリティを容易にとることができる。

【０１５１】さらに、図１の画像符号化装置によれば、
従来の場合に比較して、エラー耐性の強いビットストリ
ームｂｓ０を伝送することが可能となる。即ち、ビット
ストリームｂｓ１のエラー訂正能力を、ビットストリー
ムｂｓ２のそれよりも強くして、ビットストリームｂｓ
０を伝送するようにする。この場合、ビットストリーム
ｂｓ２が伝送途中で失われたり、あるいは、ビットスト
リームｂｓ２に訂正不可能な誤りが生じたとしても、ビ
ットストリームｂｓ１が復号可能であれば、画像復号化
装置において、ビットストリームｂｓ１から復号画像を
得ることができる。このように、図１の画像符号化装置
によれば、従来の場合に比較して、エラー耐性を向上さ
せることも可能となる。

【０１５２】また、本実施例では、伝送路の伝送レート
が一定のビットレートｂｉｔ０／Ｔである場合について
説明したが、本発明は、これに限らず、可変ビットレー
トの伝送路についても適用可能である。

【０１５３】即ち、この場合、伝送路のビットレート
（データ転送レート）の最大ビットレートを越えるビッ
ト量が割り当てられた画像については、その最大ビット
レートに対応するビット量のビットストリームｂｓ１
と、そのビット量を越える分のビットストリームｂｓ２
とに符号化し、一方、最大ビットレート以下のビット量
が割り当てられた画像については、そのビット量に対応
するビットストリームｂｓ１に符号化するようにする。
そして、最大ビットレートに対応するビット量のビット
ストリームｂｓ１は、それ単独で伝送し、また、ビット
ストリームｂｓ２は、最大ビットレートに対応するビッ
ト量以下のビット量が割り当てられた画像を符号化して
得られるビットストリームｂｓ１と、その合計のビット
レートが伝送路の最大ビットレート（以下）に等しくな
るように多重化して伝送すれば良い。

【０１５４】さらに、本実施例においては、ビットスト
リームｂｓ２は、基本的に、それに対応する画像のビッ
トストリームｂｓ１より時間的に先行するビットストリ
ームｂｓ１に多重化して伝送するようにしたが、ビット
ストリームｂｓ２は、それに対応するビットストリーム
ｂｓ１より時間的に後行するビットストリームｂｓ１に
多重化して伝送するようにすることも可能である。但
し、この場合は、画像復号化装置において、ビットスト
リームｂｓ２が、それに対応するビットストリームｂｓ
１より後に受信されることがあるので、ビットストリー
ムｂｓ１を、対応するビットストリームｂｓ２が受信さ
れるまで記憶しておくための（ビットストリームｂｓ１
を遅延するための）、例えば、メモリ（遅延手段）（メ
モリ２３に相当するもの）を、分離器２２と基準画質信
号復号回路３０１との間に設けて、画像復号化装置を構
成する必要がある。

【０１５５】また、本実施例で説明したように、本発明
を、ＭＰＥＧ方式に準拠した、動き補償（ＭＣ）とＤＣ
Ｔを組み合わせて用いる画像符号化装置および画像復号
化装置に適用した場合には、従来の画像復号化装置との
バックワードコンパチビリティを完全にとることが可能
となる。

【０１５６】即ち、この場合、ビットストリームｂｓ１
は、従来の画像復号化装置において復号することができ
るような構造とし、ビットストリームｂｓ２は、従来の
画像復号化装置の画像復号処理に影響を与えないような
構造にして、ビットストリームｂｓ１とｂｓ２とを多重
化するようにすれば良い。

【０１５７】具体的には、ビットストリームｂｓ１は、
従来における場合と同一の構造で符号化を行い、ビット
ストリームｂｓ２は、例えば、ＭＰＥＧのビデオ（ＩＳ
Ｏ／ＩＥＣ１１１７２−２または１３８１８−２）で定
義されているｕｓｅｒ＿ｄａｔａ（ユーザデータ）、ま
たはＭＰＥＧのシステム（ＩＳＯ／ＩＥＣ１１１７２−
１または１３８１８−１）で定義されているｐｒｉｖａ
ｔｅ＿ｓｔｒｅａｍ（プライベートストリーム）として
符号化を行うようにすれば良い。

【０１５８】ここで、図１２は、ＧＯＰレイヤにおいて
定義されているｕｓｅｒ＿ｄａｔａの構造を示してい
る。なお、ＧＯＰは、ランダムアクセスの手助けするた
めの、１枚以上の符号化画像からなり、ＭＰＥＧで定義
される符号化構文における１つのレイヤを構成する。上
述したように、このＧＯＰを構成する画像のフレームに
対応する時間を、単位時間Ｔとすることができる。

【０１５９】ＧＯＰの中で、ｕｓｅｒ＿ｄａｔａは、図
１２においてＡで示す部分で定義されている。ｕｓｅｒ
＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅ（１６進数で０００
００１Ｂ２）が、ｕｓｅｒ＿ｄａｔａの始まりを示して
おり、ｕｓｅｒ＿ｄａｔａは、１６進数で０００００１
のコードを受信するまで続く。

【０１６０】なお、ＭＰＥＧのｕｓｅｒ＿ｄａｔａにつ
いては、２３個以上の０のビット列を含むことが禁止さ
れているので、高画質化信号のビットストリームｂｓ２
は、２３個以上の０のビット列を含まない構造とする必
要がある。

【０１６１】図１３は、パケットレイヤの中で定義され
ているｐｒｉｖａｔｅ＿ｓｔｒｅａｍの構造を示してい
る。ｐｒｉｖａｔｅ＿ｓｔｒｅａｍは、同図においてＢ
で示すように、ｐａｃｋｅｔ＿ｓｔａｒｔ＿ｃｏｄｅ＿
ｐｒｅｆｉｘ（１６進数で０００００１のコード）と、
それに続くｓｔｒｅａｍ＿ｉｄ（１６進数でＢＤのコー
ド）で始まるＭＰＥＧのパケットである。

【０１６２】ＭＰＥＧのｕｓｅｒ＿ｄａｔａは、ユーザ
が特別なアプリケーションに使用することが許されてい
る。このｕｓｅｒ＿ｄａｔａの目的を認識することがで
きないＭＰＥＧ方式に準拠した、従来の画像復号化装置
では、ｕｓｅｒ＿ｄａｔａは読み飛ばされるため、ビッ
トストリームｂｓ１のみが復号の対象となり、従って、
従来と同様にして、ビットストリームｂｓ１が復号化さ
れることになる。

【０１６３】同様に、ＭＰＥＧのｐｒｉｖａｔｅ＿ｓｔ
ｒｅａｍも、ユーザが特別なアプリケーションに使用す
ることが許されており、従って、ｐｒｉｖａｔｅ＿ｓｔ
ｒｅａｍを用いる場合も、従来の画像復号化装置では、
ｐｒｉｖａｔｅ＿ｓｔｒｅａｍは読み飛ばされ、ビット
ストリームｂｓ１のみが復号の対象となる。

【０１６４】一方、図８の画像復号化装置については、
分離器２２に、ＭＰＥＧのｕｓｅｒ＿ｄａｔａまたはｐ
ｒｉｖａｔｅ＿ｓｔｒｅａｍとされたビットストリーム
ｂｓ２を、受信したビットストリームｂｓ０から読み出
させるようにすることで、上述したような、所定の一定
レベルの画質の画像を復号することが可能となる。

【０１６５】即ち、従来の画像復号化装置として、例え
ば、ビデオＣＤ（Compact Disc）プレーヤを想定したと
すると、ビデオＣＤには、ＭＰＥＧに準拠した約１．１
５Ｍｂｐｓの一定のビットレートで符号化された動画像
のビットストリームが記録されている。このようにビデ
オＣＤでは、動画像を約１．１５Ｍｂｐｓの一定のビッ
トレートで符号化しなければならないため、復号画像の
画質を一定にすることは困難である。一方、ビデオＣＤ
に可変ビットレートのビットストリームを記録すること
で、復号画像の画質を一定にすることが可能となるが、
この場合、従来のビデオＣＤプレーヤでは、その復号を
行うことが困難となる。

【０１６６】そこで、図１の画像符号化装置により、入
力動画像を、基本画質信号のビットストリームｂｓ１
と、高画質化信号のビットストリームｂｓ２とに、可変
ビットレートで符号化し、ある時刻の画像の基本画質信
号のビットストリームｂｓ１と、別の時刻の画像の高画
質化信号のビットストリームｂｓ２とを多重化し、これ
により、ビットレートが伝送可能な値、即ち、例えば、
記録媒体１５がビデオＣＤの場合においては、約１．１
５Ｍｂｐｓの固定ビットレートになるようなビットスト
リームｂｓ０を出力する。

【０１６７】このとき、多重化器９では、基本画質信号
のビットストリームｂｓ１は、従来の画像復号化装置で
も再生できる構造とし、また、高画質化信号のビットス
トリームｂｓ２は、ＭＰＥＧビデオのｕｓｅｒ＿ｄａｔ
ａ、またはＭＰＥＧシステムのｐｒｉｖａｔｅ＿ｓｔｒ
ｅａｍに配置する。そして、その結果得られるビットス
トリームｂｓ０をビデオＣＤである記録媒体１５に記録
する。これにより、ビデオＣＤには、図２（Ｇ）または
図９（Ａ）に示したようなフォーマットで、ビットスト
リームｂｓ０が記録される。

【０１６８】そして、このようなビデオＣＤを、例え
ば、図１５に示したような従来の画像復号化装置（ここ
では、ビデオＣＤプレーヤとする）において再生する場
合には、ＶＬＤ器２０３において、入力されたビットス
トリームｂｓ０の中のＭＰＥＧビデオのｕｓｅｒ＿ｄａ
ｔａ、またはＭＰＥＧシステムのｐｒｉｖａｔｅ＿ｓｔ
ｒｅａｍとして記録されている高画質化信号のビットス
トリームｂｓ２が読み飛ばされ、これにより、基本画質
信号のビットストリームｂｓ１だけが取り出されて復号
される。

【０１６９】一方、図８に示した画像復号化装置では、
分離器２２において、ビットストリームｂｓ０から、基
準画質信号のビットストリームｂｓ１が分離される他、
ｕｓｅｒ＿ｄａｔａまたはｐｒｉｖａｔｅ＿ｓｔｒｅａ
ｍから高画質化信号のビットストリームｂｓ２が分離さ
れ、これにより、上述したようにして、それぞれのビッ
トストリームｂｓ１，ｂｓ２が復号され、常に、所定の
高レベルの画質の画像が再生される。

【０１７０】このように、基本画質信号のビットストリ
ームｂｓ１と高画質化信号のビットストリームｂｓ２と
を多重化するときに、基本画質信号のビットストリーム
ｂｓ１は従来の画像復号化装置でも再生することができ
る構造とし、また、高画質化信号のビットストリームｂ
ｓ２は、従来の画像復号化装置の画像復号処理に影響を
与えない構造とすることで、従来の画像復号化装置にお
いては、ビットストリームｂｓ１から動画像を復号する
ことができ（バックワードコンパチビリティをとること
ができ）、本発明を適用した画像復号化装置において
は、基本画質信号のビットストリームｂｓ１と高画質化
信号のビットストリームｂｓ２とから可変ビットレート
の利点を生かした画質一定の高画質な動画像を復号する
ことができる。

【０１７１】なお、以上のような本発明を適用した画像
符号化装置および画像復号化装置は、記録媒体１５に対
して、画像の記録または再生を行う記録装置または再生
装置に応用することができる他、画像を遠方に伝送す
る、例えば、テレビ電話システムや、放送用機器、その
他の画像処理装置に応用することが可能である。

【０１７２】また、本発明は、その他、例えば、可変レ
ートの画像データを送受信する装置などにも応用するこ
とが可能である。

【０１７３】なお、本実施例では、ＭＰＥＧ方式に準処
した符号化方法または復号化方法を用いた場合について
説明したが、本発明の適用範囲は、ＭＰＥＧ方式に準処
した符号化方法または復号化方法に限定されるものでは
ない。

【０１７４】

【発明の効果】請求項１に記載の画像符号化装置および
請求項１０に記載の画像符号化方法によれば、所定の単
位時間における画像が、第１および第２の符号化データ
に符号化され、ある時刻における第１の符号化データ
と、他の時刻における第２の符号化データとが、ビット
量が所定の伝送路により伝送可能な値である伝送可能値
以下となるように多重化される。従って、伝送路の伝送
可能値を越えるビット量が必要な画像を、その伝送路に
より伝送することが可能となり、さらに、その復号画像
の画質を、全体的に所定の一定水準（以上）に維持する
ことが可能となる。

【０１７５】請求項１１に記載の画像復号化装置および
請求項１４に記載の画像復号化方法によれば、画像を符
号化して得られたデータが、第１および第２の符号化デ
ータに分離され、同一時刻における第１および第２の符
号化データが検出されて復号化される。従って、高画質
の画像を復号することが可能となる。

【０１７６】請求項１５に記載の画像送信装置によれ
ば、ある時刻における第１の画像データと、他の時刻に
おける第２の画像データとが、ビット量が所定の伝送路
により伝送可能な値である伝送可能値以下となるように
多重化される。従って、伝送路の伝送可能値を越えるビ
ット量が必要な画像を、その伝送路により伝送すること
が可能となる。

【０１７７】請求項１６に記載の画像受信装置によれ
ば、伝送されてきたデータが受信され、第１および第２
の画像データに分離される。そして、同一時刻における
第１および第２の画像データが検出される。従って、例
えば、高画質の画像を復号することが可能となる。

【０１７８】請求項１７に記載の記録媒体には、所定の
単位時間における画像を、第１および第２の符号化デー
タに符号化し、ある時刻における第１の符号化データ
と、他の時刻における第２の符号化データとを、ビット
量が、所定の伝送路により伝送可能な値である伝送可能
値以下となるように多重化して得られるデータが記録さ
れている。従って、これを再生することにより、画質
が、全体的に所定の一定水準（以上）に維持された復号
画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像符号化装置の一実施例の
構成を示すブロック図である。

【図２】図１の画像符号化装置の動作を説明するための
タイミングチャートである。

【図３】図１の符号化難易度測定器７０１の構成例を示
すブロック図である。

【図４】図１のコントローラ７０３の処理を説明するた
めのフローチャートである。

【図５】図１の符号化回路６の構成例を示すブロック図
である。

【図６】図１のメモリ１１の構成を説明するための図で
ある。

【図７】図１の多重化器９、メモリ１１、コントローラ
１２、およびＴＳ発生器１３の処理を説明するためのフ
ローチャートである。

【図８】本発明を適用した画像復号化装置の一実施例の
構成を示すブロック図である。

【図９】図８の画像復号化装置の動作を説明するための
タイミングチャートである。

【図１０】図８のメモリ２３およびコントローラ２５の
処理を説明するためのフローチャートである。

【図１１】図８の復号回路３０の構成例を示すブロック
図である。

【図１２】ｕｓｅｒ＿ｄａｔａの構造を示す図である。

【図１３】ｐｒｉｖａｔｅ＿ｓｔｒｅａｍの構造を示す
図である。

【図１４】従来の画像符号化装置の一例の構成を示すブ
ロック図である。

【図１５】従来の画像復号化装置の一例の構成を示すブ
ロック図である。

【符号の説明】

５遅延器，６符号化回路（符号化手段），７
ビットレートコントローラ，８遅延器（遅延手
段），９多重化器（多重化手段），１１メモリ
（遅延手段），１２コントローラ，１３ＴＳ発
生器（発生手段），２２分離器（分離手段），２３
メモリ（遅延手段），２５コントローラ（検出手
段），３０復号回路（復号化手段），５２演算
器，５３ＤＣＴ器，５４固定量子化器，５６
固定逆量子化器，５７逆ＤＣＴ器，５８演算
器，５９動き補償器，５９Ａフレームメモリ，
６０動きベクトル検出器，６１ＶＬＣ器，６
２発生符号量カウンタ，１０２演算器，１０３
ＤＣＴ器，１０４量子化器，１０６固定逆量子
化器，１０７逆ＤＣＴ器，１０８演算器，１
０９動き補償器，１０９Ａフレームメモリ，１１
０動きベクトル検出器，１１１ＶＬＣ器，２０
３ＶＬＤ器，２０４逆量子化器，２０５逆Ｄ
ＣＴ器，２０６演算器，２０７動き補償器，２
０７Ａフレームメモリ，３０１基本画質信号復号
回路，３０２高画質化信号復号回路，３０３演
算器，３０４ＶＬＤ器，３０５逆量子化器，
６０１基本画質信号符号化回路，６０２高画質化
信号符号化回路，６０４演算器，６０５量子化
器，６０６ＶＬＣ器，６０７逆量子化器，６
０８逆ＤＣＴ器，６０９レートコントローラ，７
０１符号化難易度測定器（難易度算出手段），７０
２ビットレート演算器（割当ビット量算出手段），
７０３コントローラ（分割手段）

Claims

【特許請求の範囲】

【請求項１】所定の単位時間における画像を、第１お
よび第２の符号化データに符号化する符号化手段と、ある時刻における前記第１の符号化データと、他の時刻
における前記第２の符号化データとを、ビット量が、所
定の伝送路により伝送可能な値である伝送可能値以下と
なるように多重化して出力する多重化手段とを備えるこ
とを特徴とする画像符号化装置。
【請求項２】前記所定の単位時間における画像を符号
化するのに割り当てるべきビット量である割当ビット量
を算出する割当ビット量算出手段をさらに備え、前記符号化手段は、前記画像についての割当ビット量が、前記伝送可能値以
下であるとき、その画像を、第１の符号化データにのみ
符号化し、前記画像についての割当ビット量が、前記伝送可能値よ
り大きいとき、その画像を、ビット量が前記伝送可能値
に等しい第１の符号化データと、ビット量が前記割当ビ
ット量と伝送可能値との差分に等しい第２の符号化デー
タとに符号化することを特徴とする請求項１に記載の画
像符号化装置。
【請求項３】前記多重化手段は、前記画像についての割当ビット量が、前記伝送可能値以
上であるとき、その画像についての第１の符号化データ
のみを出力し、前記画像についての割当ビット量が、前記伝送可能値よ
り小さいとき、その画像についての前記第１の符号化デ
ータと、他の画像の前記第２の符号化データとを、ビッ
ト量が前記伝送可能値以下となるように多重化して出力
することを特徴とする請求項２に記載の画像符号化装
置。
【請求項４】前記所定の単位時間における画像の複雑
さを表す符号化難易度を算出する難易度算出手段をさら
に備え、前記割当ビット量算出手段は、前記難易度算出手段によ
り算出される前記符号化難易度に基づいて、前記割当ビ
ット量を算出することを特徴とする請求項２に記載の画
像符号化装置。
【請求項５】前記割当ビット量算出手段により算出さ
れる前記割当ビット量を、前記第１または第２の符号化
データそれぞれに割り当てるべきビット量に分割する分
割手段をさらに備えることを特徴とする請求項２に記載
の画像符号化装置。
【請求項６】前記符号化手段が出力する第１または第
２の符号化データを遅延する遅延手段をさらに備えるこ
とを特徴とする請求項１に記載の画像符号化装置。
【請求項７】時刻に関する時刻情報を発生する発生手
段をさらに備え、前記時刻情報を、前記第１および第２の符号化データに
付加することを特徴とする請求項１に記載の画像符号化
装置。
【請求項８】前記符号化手段は、前記画像をＭＰＥＧ
（Moving Picture Experts Group）符号化することを特
徴とする請求項１に記載の画像符号化装置。
【請求項９】前記多重化手段は、前記第１または第２
の符号化データのうちのいずれか一方を、ＭＰＥＧにお
いて定義されているユーザデータ（user_data）または
プライベートストリーム（private_stream）として出力
することを特徴とする請求項８に記載の画像符号化装
置。
【請求項１０】所定の単位時間における画像を、第１
および第２の符号化データに符号化し、ある時刻における前記第１の符号化データと、他の時刻
における前記第２の符号化データとを、ビット量が、所
定の伝送路により伝送可能な値である伝送可能値以下と
なるように多重化することを特徴とする画像符号化方
法。
【請求項１１】画像を符号化して得られたデータを、
第１および第２の符号化データに分離する分離手段と、同一時刻における前記第１および第２の符号化データを
検出する検出手段と、前記検出手段により検出された同一時刻における前記第
１および第２の符号化データを復号化する復号化手段と
を備えることを特徴とする画像復号化装置。
【請求項１２】前記分離手段により分離された前記第
１または第２の符号化データを遅延する遅延手段をさら
に備えることを特徴とする請求項１１に記載の画像復号
化装置。
【請求項１３】同一の画像についての前記第１および
第２の符号化データには、時刻に関する、同一の時刻情
報が付加されており、前記復号化手段は、前記時刻情報に基づいて、同一時刻
における前記第１および第２の符号化データを復号化す
ることを特徴とする請求項１１に記載の画像復号化装
置。
【請求項１４】画像を符号化して得られたデータを、
第１および第２の符号化データに分離し、同一時刻における前記第１および第２の符号化データを
検出して復号化することを特徴とする画像復号化方法。
【請求項１５】可変レートの第１および第２の画像デ
ータを送信する画像送信装置であって、ある時刻における前記第１の画像データと、他の時刻に
おける前記第２の画像データとを、ビット量が、所定の
伝送路により伝送可能な値である伝送可能値以下となる
ように多重化して出力する多重化手段を備えることを特
徴とする画像送信装置。
【請求項１６】伝送されてきたデータを受信し、第１
および第２の画像データに分離する分離手段と、同一時刻における前記第１および第２の画像データを検
出する検出手段とを備えることを特徴とする画像受信装
置。
【請求項１７】所定の単位時間における画像を、第１
および第２の符号化データに符号化し、ある時刻におけ
る前記第１の符号化データと、他の時刻における前記第
２の符号化データとを、ビット量が、所定の伝送路によ
り伝送可能な値である伝送可能値以下となるように多重
化して得られるデータが記録されていることを特徴とす
る記録媒体。
【請求項１８】前記第１および第２の符号化データ
は、前記画像をＭＰＥＧ（Moving Picture Experts Gro
up）符号化したものであり、そのうちのいずれか一方の符号化データは、ＭＰＥＧに
おいて定義されているユーザデータ（user_data）また
はプライベートストリーム（private_stream）として記
録されていることを特徴とする請求項１７に記載の記録
媒体。