JPH09130787A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】画質に応じた符号化フレームレートでかつ低遅
延を実現す動画像符号化装置を提供する。 【解決手段】入力動画像信号を符号化する符号化部１１
７と、符号化部１１７で符号化した符号化データを入力
し、あらかじめ定められた送信レートで送出する出力バ
ッファ１１５と、符号化するフレームを選択する符号化
制御回路１１６を備え、符号化制御回路１１６におい
て、外部より設定される符号化ビットレートと符号化フ
レームレートと許容遅延時間を基に、フレーム毎の目標
符号量を算出し、その算出された値と実際に発生された
符号量を比較して、量子化回路１０６およびスイッチ１
０１を制御して、量子化パラメータとスキップするフレ
ーム数を調整する符号化制御を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を少ない情
報量に圧縮符号化する動画像符号化装置に係り、特に画
質に応じた符号化フレームレートでかつ符号化データの
出力時の遅延量を抑えることが可能な動画像符号化装置
に関する。

【０００２】

【従来の技術】ＴＶ電話、ＴＶ会議システム、携帯情報
端末、ディジタルビデオディスクシステムおよびディジ
タルＴＶ放送システムのような画像を伝送したり蓄積す
るシステムにおいて、伝送または蓄積のために画像を少
ない情報量に圧縮符号化する技術として、動き補償、離
散コサイン変換、サブバンド符号化およびピラミッド符
号化等の方式や、これらを組み合わせた方式など様々な
方式が開発されている。

【０００３】また、動画像の圧縮符号化の国際標準方式
としてＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−Ｔ・
Ｈ．２６１、Ｈ．２６２が規定されている。これらはい
ずれも動き補償適応予測と離散コサイン変換を組み合わ
せた圧縮符号化方式であり、文献１（安田浩編著、“マ
ルチメディア符号化の国際標準”、丸善、平成３年６
月）等に詳細が述べられている。

【０００４】このような画像圧縮符号技術を用いた動画
像符号化装置では、６４kbps以下といった低ビットレー
トで動画像を符号化する場合、入力動画像信号のフレー
ムレートで符号化することは難しい。そこで、入力動画
像信号を数フレーム毎に符号化するようにして、符号化
フレームレートを落として、符号化することが一般的で
ある。そして、１フレームの符号化が終了した時点で１
フレームの符号化データが全て出力バッファに一時保持
され、あらかじめ設定された符号化データの送信速度
（符号化ビットレート）に従って通信路あるいは他のシ
ステムに出力されるようになっている。

【０００５】符号化フレームレートをどの程度に設定す
るかは、符号化品質に大きく影響があるため、非常に重
要である。しかし、符号化のフレームレートを固定にし
た場合、入力動画像信号のフレームレートが３０Ｈｚだ
とすると、符号化のフレームレートは、何フレーム毎に
符号化するかで、３０、１５、１０、７．５、６、５、
４．２９、３ Ｈｚといった離散的な値に決まってしま
う。そのため、例えば、１０Ｈｚで符号化すると動きが
よいが画質が悪く、７．５Ｈｚで符号化すると画質はよ
いが動きが悪いといった場合が生じたりする。また、動
きの激しいシーンが現れて、急激に画質が落ちてしまう
などといった問題もおきる。

【０００６】そこで、画質の変動に応じて、符号化フレ
ームレートを変更する符号化制御が考えられている。例
えば、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔ
ｅｌｅｐｈｏｎ Ｎｅｔｗａｏｒｋ 公衆電話網）用の
動画像符号化の標準方式であるＨ．２６３の標準化作業
で用いられたシミュレーションモデルＴＭＮ５（ＩＴＵ
−Ｔ ＴＳＳ ＬＢＣ−９５ ＳＧ１５ ＷＰ１５／１
ＶＩＤＥＯ ＣＯＤＥＣ ＴＥＳＴ ＭＯＤＥＬ、Ｔ
ＭＮ５、ｊａｎ．１９９５）では、符号化途中に符号化
フレームレートが変わる可変フレームレート符号量制御
のアルゴリズムが採用されている（ＴＭＮのアルゴリズ
ム）。ＴＭＮのアルゴリズムは、１つ前のフレームの量
子化パラメータＱＰの平均が小さくなるにつれ、次のフ
レームの目標の符号化フレームレートを上げ、フレーム
の目標の符号化データ量（目標符号量）を小さくするよ
うに、逆に１つ前のフレームの量子化パラメータＱＰの
平均が大きくなると、次のフレームの目標の符号化フレ
ームレートが下がり、フレームの目標符号量が大きくな
るように制御をおこなっている。

【０００７】

【発明が解決しようとする課題】このような圧縮符号化
方式を通信や放送用の動画符号化に適用する場合、リア
ルタイムの通信を可能とするために低遅延であることが
望まれる。しかし、ＴＭＮアルゴリズムのように、画質
の変動に応じて符号化フレームを変更させて、発生する
符号化データ量を制御する従来の動画符号化装置は、出
力バッファでの遅延を考慮していないために、符号化デ
ータの出力時に大きな遅延が発生する場合があるという
問題があった。

【０００８】そこで、本発明は、画質に応じた符号化フ
レームレートでかつ符号化データの出力時の遅延量を抑
えることが可能な動画像符号化装置を提供することを目
的とする。

【０００９】

【発明を解決するための手段】本発明の動画像符号化装
置は、入力画像信号を符号化する符号化手段と、この符
号化手段から出力される符号化データを一時保持し、あ
らかじめ定められた送信レートで出力する出力手段と、
この出力手段に保持されている符号化データを前記送信
レートで出力する際の遅延時間が予め定められた許容遅
延時間内になるように前記送信レートとあらかじめ定め
られた符号化フレームレートにて決定される符号量を調
節することによりフレーム毎の目標符号量を設定し、こ
の目標符号量を基に、前記符号化手段で発生される符号
量を制御する制御手段とを具備することにより、画質に
応じた符号化フレームレートでかつ符号化データの出力
時の遅延量を抑えることが可能となる。

【００１０】また、本発明の動画像符号化装置は、 入
力画像信号またはこの入力画像信号に対する予測残差信
号を直交変換して得られた直交変換係数を量子化して符
号化する符号化手段と、この符号化手段から出力される
符号化データを一時保持し、あらかじめ定められた送信
レートで出力する出力手段と、この出力手段に保持され
ている符号化データを前記送信レートで出力する際の遅
延時間が、あらかじめ定められた許容遅延時間内になる
ように、前記送信レートとあらかじめ定められた符号化
フレームレートにて決定される符号量を調節することに
より、フレーム毎の目標符号量を設定し、この目標符号
量を基に、前記符号化手段で量子化する際の量子化パラ
メータを制御する第１の制御手段と、前記出力手段に保
持されている符号化データの符号量が、前記送信レート
と前記許容遅延時間と前記符号化フレームレートによっ
て決定される値になるまで前記符号化手段に入力される
入力画像信号をフレーム単位にスキップするよう制御す
る第２の制御手段とを具備することにより、画質に応じ
た符号化フレームレートでかつ符号化データの出力時の
遅延量を抑えることが可能となる。

【００１１】また、前記第１の制御手段は、前記目標符
号量と前記入力画像信号の画像複雑度を基に、前記符号
化手段の量子化パラメータを制御することにより、より
画質に応じた符号化フレームレートでかつ符号化データ
の出力時の遅延量を抑えることが可能となる。

【００１２】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。図１は、本実施形態に係る動
画像符号化装置の構成を概略的に示したものである。

【００１３】図１において、符号化部１１７に入力され
た入力動画像信号は、まず、入力動画像信号スイッチ１
０１に入力され、ここで、符号化制御回路１１６からの
制御に基づいて、符号化するフレームの入力動画像信号
が選択されて、ブロック化回路１０２でマクロブロック
に分割される。マクロブロックに分割された入力動画像
信号は、減算器１０３に入力され、ここで、後述するよ
うに生成される予測画像信号との差分がとられて、予測
残差信号が生成される。この予測残差信号と、ブロック
化回路１０２からの入力動画像信号のいずれか一方を、
モード選択スイッチ１０４によって選択し、ＤＣＴ（離
散コサイン変換）回路１０５により離散コサイン変換さ
れる。ＤＣＴ回路１０５で得られＤＣＴ係数データは、
量子化回路１０６で量子化される。量子化回路１０６で
量子化された信号は２分岐され、一方は可変長符号化回
路１１３で可変長符号化される。一方、量子化回路１０
６で量子化され２分岐された信号の他方は、逆量子化回
路１０７及びＩＤＣＴ（逆離散コサイン変換）回路１０
８により量子化回路１０６およびＤＣＴ回路１０５の処
理と逆の処理を順次受けた後、加算器１０９でスイッチ
１１２を介して入力される予測画像信号と加算されるこ
とにより、局部復号信号が生成される。この局部復号信
号は、フレームメモリ１１０に蓄えられ、動き補償回路
１１１に入力され、予測画像信号が生成される。

【００１４】符号化制御回路１１６では、符号化部１１
７の符号化情報と可変長符号化回路１１３からの符号化
データ量（符号量）と出力バッファ１１５のバッファ量
をもとに符号化部１１７を制御し、必要な情報を可変長
符号化回路１１３におくる。可変長符号化回路１１３で
符号化されたデータは、多重化回路１１４で多重化さ
れ、出力バッファ１１５で一定の出力レート（符号化ビ
ットレート）で平滑化され、符号化データとして送られ
る。

【００１５】符号化制御回路１１６には、出力バッファ
１１５から出力される符号化データの符号化ビットレー
ト（ｒａｔｅ（ｂｉｔｓ／ｓｅｃ））を通知する信号と
符号化フレームレート（ｆ＿ｒａｔｅ（（Ｈｚ））を通
知する信号と、出力バッファ１１５から出力される符号
化データの許容される遅延時間すなわち、許容遅延時間
（ｌｉｍｉｔ＿ｄｅｌａｙ（ｍｓｅｃ））を通知する信
号が入力され、これらの信号によりあらかじめ設定され
る情報を基に、出力バッファ１１５から出力される符号
化データの遅延時間を許容遅延時間（ｌｉｍｉｔ＿ｄｅ
ｌａｙ（ｍｓｅｃ））以内になるよう符号化部１１７で
発生される符号量を制御するようになっている。

【００１６】次に、図２を参照して本発明の原理につい
て説明する。なお、ここでは、１フレームの符号化が終
了した時点で、１フレームの符号化データが全て出力バ
ッファ１１５に入力され、符号化ビットレートｒａｔｅ
（ｂｉｔｓ／ｓｅｃ）にしたがって、出力バッファから
出力されるものとする。

【００１７】平均遅延時間ａｖｅ＿ｄｅｌａｙ（ｍｓｅ
ｃ）は、出力バッファ１１５のバッファ量Ｂに依存す
る。フレーム番号（ｆ＿ｎｏ）ｎのフレームでの遅延時
間ｄｅｌａｙ＿ｔｉｍｅ（ｍｓｅｃ）は、フレーム番号
ｎのフレームの符号化終了時のピークのバッファ量の値
Ｂ［ｎ］を符号化ビットレートｒａｔｅで割って１００
０を乗じた値となる。平均遅延時間ａｖｅ＿ｄｅｌａｙ
は、このようにして求めた遅延時間のそれまでの平均で
ある。

【００１８】本実施形態では、基本的には符号化するフ
レーム毎に目標符号量ｔａｒｇｅｔを算出して、それを
基に、量子化パラメータ、符号化フレームレート、すな
わち、スキップするフレーム数を変化させることで、遅
延時間を一定に保つように制御するものである。

【００１９】フレーム毎の目標符号量ｔａｒｇｅｔの初
期値は、符号化ビットレートｒａｔｅを設定された符号
化フレームレートｆ＿ｒａｔｅで割った値とする。ここ
で、設定するフレームレートｆ＿ｒａｔｅは、入力動画
像信号のフレームレートＦＲを自然数で割った値である
必要はない。従って、設定する符号化フレームレートｆ
＿ｒａｔｅは、固定符号化フレームレートの時のように
離散的な値でなく、自由度が上がる。例えば、ｆ＿ｒａ
ｔｅは、７．２５（Ｈｚ）といったような値が設定でき
る。ただし、遅延時間の設定を守るために、その時点ま
での平均遅延時間ａｖｅ＿ｄｅｌａｙが設定値ｌｉｍｉ
ｔ＿ｄｅｌａｙをこえてしまった場合には、こえた分だ
けフレーム毎の目標符号量ｔａｒｇｅｔを減らすように
する。

【００２０】次にどのフレームを符号化するかの判断方
法は、次のように行う。すなわち、バッファ量Ｂが、あ
らかじめ設定された符号化ビットレート、許容遅延時間
に相当するバッファ量ｒａｔｅ＊ｌｉｍｉｔ＿ｄｅｌａ
ｙ／１０００（ｂｉｔｓ）からデフォルトの目標符号量
ｒａｔｅ／ｆｒａｍｅ（ｂｉｔｓ）を引いた量以下にな
るまで、符号化データを送出する。この時、次に何フレ
ーム先のフレームを符号化するかを示す値をｆ＿ｃｎｔ
で表すとする。このように制御をおこなえば、次のフレ
ームでの発生符号量が目標符号量以内に抑えられれば、
遅延時間ｄｅｌａｙ＿ｔｉｍｅは設定値ｌｉｍｉｔ＿ｄ
ｅｌａｙよりも大きくなることはない。

【００２１】実際の発生符号量が目標符号量ｔａｒｇｅ
ｔを大幅にこえた場合は、ｆ＿ｃｎｔが大きくなり、よ
り多く入力フレームがスキップされて符号化フレームレ
ートが下がり、逆に発生符号量が目標符号量を大幅に下
回った場合は、ｆ＿ｃｎｔが小さくなり、通常よりスキ
ップせずに符号化フレームレートが上がるようになる。

【００２２】以上のように、フレーム毎の目標符号量ｔ
ａｒｇｅｔを設定して発生符号量を制限するとともに、
その結果、発生された符号量を基に、次に符号化するフ
レームを決定することにより、画質に応じた符号化フレ
ームレートを実現し、出力バッファ１１５から出力され
る符号化データの平均遅延時間が、設定した許容遅延時
間以内に抑えることができる。

【００２３】図３は、図１の動画像符号化装置における
１フレーム毎の符号化処理を行う際の符号化制御回路１
１６の１フレーム毎の制御処理動作を説明するためのフ
ローチャートである。

【００２４】まず、１フレーム毎の符号化の前に、フレ
ーム毎の目標符号量ｔａｒｇｅｔを設定をし（ステップ
Ｓ１０１）、そのｔａｒｇｅｔを基に、量子化回路１０
６における量子化を行う際のフレーム毎の基準量子化パ
ラメータｂ＿ＱＰを設定する（ステップＳ１０２）。

【００２５】次に、各マクロブロック毎の符号化処理の
前に、量子化パラメータＱＰの計算をおこない（ステッ
プＳ１０３）、その値に基づいて、量子化回路１０６を
制御して符号化処理をおこなう（ステップＳ１０４）。
この量子化パラメータＱＰは、フレーム内符号化におけ
る量子化パラメータである。

【００２６】１フレームの符号化処理が終了後、後述す
る処理により、符号化をスキップするフレーム数ｆ＿ｃ
ｎｔを求め、次に符号化するフレームを決定する（ステ
ップＳ１０５）。そして、このフレーム数ｆ＿ｃｎｔ分
のフレームをスキップする（間引く）ように、入力動画
像信号スイッチ１０１を制御する。

【００２７】次に、図４に示すフローチャートを参照し
て、図３のステップＳ１０１におけるフレーム毎の目標
符号量ｔａｒｇｅｔの設定処理動作について詳細に説明
する。

【００２８】フレーム毎の目標符号量ｔａｒｇｅｔは、
１フレーム目（フレーム番号ｆ＿ｎｏ＝１）は、初期値
として、あらかじめ設定されたした符号化ビットレート
ｒａｔｅに設定される（ステップＳ２０１〜ステップＳ
２０２）。 ２フレーム目以降（フレーム番号ｆ＿ｎｏ
＝２以上）は、まず、設定された符号化ビットレートｒ
ａｔｅを、設定された符号化フレームレートｆ＿ｒａｔ
ｅで割った値でセットする（ステップＳ２０３）。 た
だし、前回まで符号化してきたフレームの符号化データ
についての平均遅延時間ａｖｅ＿ｄｅｌａｙが設定した
遅延時間ｌｉｍｉｔ＿ｄｅｌａｙをこえている場合は
（ステップＳ２０４）、こえた分に相当する符号量をｔ
ａｒｇｅｔから減じておく（ステップＳ２０５）。

【００２９】また、このセットされたｔａｒｇｅｔの値
が、設定値ｒａｔｅを入力動画像信号のフレームレート
ＦＲで割った値よりも小さくなるような場合には（ステ
ップＳ２０６）、制御が破綻する恐れがあるため、遅延
量より符号量を優先してｔａｒｇｅｔにｒａｔｅ／ＦＲ
をセットする（ステップＳ２０７）。

【００３０】次に、図３のステップＳ１０２におけるフ
レーム毎の基準量子化パラメータｂ＿ＱＰについて説明
する。基準量子化パラメータｂ＿ＱＰは（１）式によっ
て求めることができる。

【００３１】

【数１】

【００３２】但し、ｂ＿ＱＰは、１〜３１に制限され
る。なお、ｐｒｅ＿ＱＰは、１フレーム前の平均量子化
パラメータ、 ｐｒｅ＿ｆｒａｍｅ＿ｂｉｔｓは、１フ
レーム前の符号量、αは、第１の量子化パラメータの反
応パラメータを表している。

【００３３】基準量子化パラメータｂ＿ＱＰ求めるに
は、上記の他に次のようなものがある。すなわち、１画
面分の動き保証予測誤差信号（図１の信号１１８）の標
準偏差ｓｇｍをあらかじめ計算し、この標準偏差ｓｇｍ
と目標符号量ｔａｒｇｅｔから決定する。この標準偏差
は、小領域（例えば、８×８のブロック単位）毎に平均
値を引いてから計算する。ｂ＿ＱＰは、（２）式より求
めることができる。

【００３４】

【数２】

【００３５】ここで、ａ、ｂは、定数であり、ａ＝０．
２５、ｂ＝１．５程度にすればよい。次に、図３のステ
ップＳ１０３における量子化パラメータＱＰについて説
明する。量子化パラメータＱＰは、（３）式によって求
めることができる。なお、量子化パラメータＱＰは、マ
クロブロック毎の計算可能であるが、本実施形態では、
ＱＰは、マクロブロックライン毎に計算する。

【００３６】

【数３】

【００３７】但し、ＱＰは、１〜３１に制限される。な
お、（３）式において、ｍｂは、現在のマクロブロック
の数（１〜ＭＢ）、ＭＢは、１フレーム当たりのマクロ
ブロック数、βは、第２の量子化パラメータの反応パラ
メータ、配列ｅｎｃｏｄｅｄ＿ｂｉｔｓは、各マクロブ
ロックの発生符号量を表している。

【００３８】次に、図５に示すフローチャートを参照し
て、図３のステップＳ１０５における符号化フレームの
決定処理動作について説明する。ここで、ｆ＿ｃｎｔ
は、次に何フレーム先を符号化するか、すなわち、符号
化をスキップフレーム数を示している。

【００３９】まず、そのフレームで発生した符号量が可
変長符号化回路１１３から通知されると、そのときの出
力バッファ１１５のバッファ量Ｂに足し込む（ステップ
Ｓ３０１）。

【００４０】次に何フレーム先を符号化するかを示す値
ｆ＿ｃｎｔの決定方法は、次の通りである。まず、ｆ＿
ｃｎｔの値を「０」にセットし初期化する（ステップＳ
３０２）。そして、設定した符号化ビットレートｒａｔ
ｅを入力動画像信号のフレームレートＦＲで割った値、
つまり、入力動画像信号のフレームレートＦＲでの送信
レートに相当する符号量を、バッファ量Ｂから引いてゆ
き（ステップＳ３０３）、バッファ量Ｂが設定した許容
遅延時間（ｌｉｍｉｔ＿ｄｅｌａｙ）に相当する符号量
（ｒａｔｅ×ｌｉｍｉｔ＿ｄｅｌａｙ／１０００）か
ら、デフォルトのフレーム毎の符号量（ｒａｔｅ／ｆ＿
ｒａｔｅ）を引いた値以下になるまで（ステップＳ３０
５）、ｆ＿ｃｎｔを増加させてゆく（ステップＳ３０
４）。これにより、符号化をスキップフレーム数がｆ＿
ｃｎｔが求まる。

【００４１】次に、図６に示すフローチャートを参照し
て、符号化処理を行う際の符号化制御回路１１６の１フ
レーム毎の他の制御処理動作について説明する。この符
号化制御の方法は、符号化する前に、スイッチ１０９で
選択された予測残差信号１１８のアクティビティを計算
して、各マクロブロック毎の目標符号量を設定して、よ
り画質に応じた符号化制御をおこなうことに特徴があ
る。なお、予測残差信号１１８のアクティビティとは、
マクロブロック毎の符号化する画像の複雑度を表す画像
の状態情報で、例えば、このアクティビティの値が大き
いほど符号量が多くなる必要があることを示している。

【００４２】まず、１フレーム毎の符号化の前に、フレ
ーム毎の目標符号量Ｔａｒｇｅｔを設定し（ステップＳ
４０１）、さらに、各マクロブロック毎の目標符号量ｔ
ａｒｇｅｔ＿ｍｂを設定する（ステップＳ４０２）。そ
して、フレーム毎の基準量子化パラメータｂ＿ＱＰを設
定する（ステップＳ４０３）。

【００４３】次に、各マクロブロック毎の符号化処理の
前に、量子化パラメータＱＰの計算をおこない（ステッ
プＳ４０４）、その値に基づいて、符号化処理（ステッ
プＳ４０５）をおこなう。

【００４４】１フレームの符号化処理が終了後、符号化
をスキップするフレーム数ｆ＿ｃｎｔを求め、次に符号
化するフレームを決定する（ステップＳ４０６）。図６
のステップＳ４０１におけるフレーム毎の目標符号量ｔ
ａｒｇｅｔの設定処理動作は、図４と同様である。

【００４５】図６のステップＳ４０２のマクロブロック
毎の目標符号量ｔａｒｇｅｔ＿ｍｂの設定は、マクロブ
ロックのモード別に、（４）式〜（９）式から求められ
る。まず、フレーム内符号化マクロブロック（以下、イ
ントラマクロブロックと呼ぶ）のアクティビティを
（４）式、（５）式に従って計算する。

【００４６】ここで、各マクロブロックは、図７で示す
ようなＨ．２６１、ＭＰＥＧ１、Ｈ２６３等で一般的に
用いられているフォーマットで、８×８画素のブロック
が４つある輝度信号（Ｙ）と８×８画素の２つのブロッ
クの色差信号（Ｃｂ、Ｃｒ）の６のブロックからなって
いる。

【００４７】また、ｏｒｉｇｉｎａｌ＿ｐｉｃｔｕｒｅ
は、各マクロブロックの入力動画像信号を示しており、
ｄｃは、（５）式で計算される入力動画像信号のマクロ
ブロックの平均値とする。

【００４８】

【数４】

【００４９】

【数５】 その結果、イントラマクロブロック毎の目標符号量ｔａ
ｒｇｅｔ＿ｍｂは、（６）式で求められる。

【００５０】

【数６】

【００５１】なお、ｉｎｔｒａは、フレーム中のイント
ラマクロブロック数、ｉｎｔｅｒは、フレーム中のイン
ターマクロブロック数、ｎｏｔ＿ｃｏｄｅｄは、フレー
ム中の非符号化マクロブロック数を表している．フレー
ム間符号化マクロブロック（以下、インターマクロブロ
ックと呼ぶ）では、（７）式に従ってアクティビティを
計算し、（８）式で各マクロブロックの目標符号量ｔａ
ｒｇｅｔ＿ｍｂを求める。なお、ｐｒｅｄ＿ｐｉｃｔｕ
ｒｅは、動き補償回路１１１で生成された各マクロブロ
ックの予測画像信号である。

【００５２】

【数７】

【００５３】

【数８】 なお、アクティビティ比ｃｏｍｐは、（９）式に従っ
て、１フレーム前に符号化されたデータから計算された
ものである。

【００５４】

【数９】

【００５５】ここで、ｅｎｃｏｄｅｄ＿ｂｉｔｓは、各
マクロブロックの発生符号量、ＱＰは、各マクロブロッ
クでの量子化パラメータの値を表している。図６のステ
ップＳ４０３におけるフレーム毎の基準量子化パラメー
タｂ＿ＱＰは、フレームのアクティビティを考慮して、
（１０）式、（１１）式によって求められる。

【００５６】

【数１０】

【００５７】

【数１１】

【００５８】但し、ｂ＿ＱＰは、１．．．３１に制限さ
れる。なお、ｆｒａｍｅ＿ａｃｔは、現在のフレームの
アクティビティ、ｐｒｅ＿ＱＰは、１フレーム前の平均
量子化パラメータ、 ｐｒｅ＿ｆｒａｍｅ＿ｂｉｔｓ
は、１フレーム前の符号量、ｐｒｅ＿ｆｒａｍｅ＿ａｃ
ｔは、１フレーム前のフレームのアクティビティ、α
は、第１の量子化パラメータの反応パラメータを表して
いる。

【００５９】図６のステップＳ４０９における量子化パ
ラメータＱＰは、（１２）式によって求められる。な
お、量子化パラメータＱＰは、マクロブロック毎に計算
可能であるが、本実施形態では、ＱＰは、マクロブロッ
クライン毎に計算する。

【００６０】

【数１２】

【００６１】但し、ＱＰは、１．．．３１に制限され
る。なお、ｍｂは、現在のマクロブロックの数（１〜Ｍ
Ｂ）、ＭＢは、１フレーム当たりのマクロブロック数、
βは、第２の量子化パラメータの反応パラメータ、配列
ｅｎｃｏｄｅｄ＿ｂｉｔｓは、各マクロブロックの発生
符号量を表している。

【００６２】図６のステップＳ４０６の符号化フレーム
の決定処理動作は、図５と同様で、ｆ＿ｃｎｔを決定す
るものである。本実施形態では、フレームを単位とする
符号化で説明をおこなったが、フィールド単位での符号
化でも実施できることは言うまでもない。

【００６３】図８は、本発明の動画像符号化装置を無線
通信システムに応用した第２の実施形態を示すものであ
る。図８において、無線通信システムは、画像伝送系２
０と画像再生系２１とを含み、ネットワーク４０の設け
られた基地局４１を介して画像の送受信が行われる。

【００６４】画像伝送系２０は、画像信号入力部２１と
誤り耐性処理部２３を備える情報現符号化部２２と、電
送路符号化部２４と、無線部２５とを備えており、情報
源符号化部２２において、離散コサイン変換（ＤＣＴ）
や量子化等が行われ、また、伝送路符号化部２４におい
ては、符号化データの誤り検出や訂正等が行われる。

【００６５】情報源符号化部２２の主要部には、本発明
に係る動画像符号化装置が適用されている。また、画像
再生系３０は、無線部３１、伝送路複合化部３２、誤り
耐性処理部３４を含む情報源複合化部３３と、画像信号
出力部３５を備えている。

【００６６】図９は、第２の実施形態にかかる無線通信
システムの一例を示したもので、図９に示すように、通
信ネットワーク４０の基地局４１、４２、４３を介して
ラップトップタイプのパソコン５１やデスクトップタイ
プのパソコン５２等の端末５０」により動画像の電送お
よび受信が行われる。

【００６７】例えば、パソコン５１に備え付けられてい
る画像信号入力部としてのカメラ５１ａにより入力され
た画像信号は、パソコン５１に組み込まれた情報源符号
化部２２によって符号化される。情報源符号化部２２か
ら出力される符号化データは、他の音声やデータの情報
と多重化された後、パソコン５１に組み込まれた無線部
２５、アンテナ５１ｂを介して無線で送信される。この
送信された電波信号はネットワーク４０に設けられた基
地局４１〜４３を介してパソコン５２のアンテナ５２
ａ、パソコン５２に組み込まれた無線部３１を介して受
信される。無線部３１で受信された信号は、画像信号の
符号化データおよび音声データに分解される。これらの
うち、画像信号の符号化データは、パソコン５２に組み
込まれた情報源復号化部３３によって復号され、パソコ
ン５２のディスプレイに表示される。

【００６８】一方、パソコン５２に備え付けられた画像
信号入力部２１としてのカメラ５２ｂにより入力された
画像信号は、パソコン５２に組み込まれた情報源符号化
部２２を用いて上記と同様に符号化される。符号化デー
タは、他の音声やデータの情報と多重化され、パソコン
５２に組み込まれた無線部２５、アンテナ５２ａにより
無線で送信される。この送信された電波信号はネットワ
ーク４０に設けられた基地局４１〜４３を介してパソコ
ン５１のアンテナ５１ａ、パソコン５１に組み込まれた
無線部３１を介して受信される。無線部３１によって受
信された信号は、画像信号の符号化データおよび音声や
データの情報に分解される。これらのうち、画像信号の
符号化データはパソコン５１に組み込まれた情報源復号
部３３によって復号され、パソコン５１のディスプレイ
に表示される。

【００６９】以上、説明したように、上記実施形態によ
れば、符号化制御回路１１６において、出力バッファ１
１５に保持されている符号化データをあらかじめ定めら
れた符号化ビットレート（ｒａｔｅ）で出力する際の遅
延時間が、あらかじめ定められた許容遅延時間（ｌｉｍ
ｉｔ＿ｄｅｌａｙ）内になるように、符号化ビットレー
ト（ｒａｔｅ）と符号化フレームレート（ｆ＿ｒａｔ
ｅ）にて決定される符号化量（ｒａｔｅ／ｆ＿ｒａｔ
ｅ）を調節することにより、フレーム毎の目標符号量ｔ
ａｒｇｅｔを設定して、それを基に、符号化部１１７の
量子化回路１０６およびスイッチ１０１を制御する（具
体的には、量子化ステップパラメータと、符号化せずに
スキップするフレーム数ｆ＿ｃｎｔを算出する）ことに
より、画質に応じた符号化フレームレートでかつ符号化
データの出力時の遅延量を抑えることが可能となる。

【００７０】また、予測残差信号１１８を基に入力動画
像信号の画像複雑度を表すアクティビティをマクロブロ
ック毎に算出して、それをも考慮にいれ、量子化パラメ
ータを算出することにより、より画質に応じた符号化制
御を行うことができる。

【００７１】

【発明の効果】以上、説明したように本発明によれば、
画質に応じた符号化フレームレートでかつ符号化データ
の出力時の遅延量を抑えることが可能な動画像符号化装
置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る動画像符号化装置の構
成を概略的に示すブロック図。

【図２】符号化制御回路の処理動作の原理を説明するた
めの図。

【図３】符号化制御回路の１フレームについての処理動
作説明するためのフローチャート。

【図４】フレーム毎の目標符号量の設定処理動作を説明
するためのフローチャート。

【図５】符号化フレームレートを決定するための処理動
作を説明するためのフローチャート。

【図６】符号化制御回路の１フレームについての他の処
理動作を説明するためのフローチャート。

【図７】マクロブロックのフォーマットを説明するため
の図

【図８】本発明を適用した無線通信システムの構成を概
略的に示した図。

【図９】本発明を適用した無線通信システムの一例を示
した図。

【符号の説明】

１０１…入力動画像信号スイッチ、１０２…ブロック化
回路、１０３…減算器、１０４…モード選択スイッチ、
１０５…ＤＣＴ回路、１０６…量子化回路、１０７…逆
量子化回路、１０８…ＩＤＣＴ回路、１０９…加算器、
１１０…フレームメモリ 、１１１…動き補償回路、１
１２…スイッチ、１１３…可変長符号化回路、１１４…
多重化回路、１１５…出力バッファ、１１６…符号化制
御回路、１１７…符号化部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力画像信号を符号化する符号化手段
   と、 この符号化手段から出力される符号化データを一時保持
   し、あらかじめ定められた送信レートで出力する出力手
   段と、 この出力手段に保持されている符号化データを前記送信
   レートで出力する際の遅延時間が予め定められた許容遅
   延時間内になるように前記送信レートとあらかじめ定め
   られた符号化フレームレートにて決定される符号量を調
   節することによりフレーム毎の目標符号量を設定し、こ
   の目標符号量を基に、前記符号化手段で発生される符号
   量を制御する制御手段と、 を具備したことを特徴とする動画像符号化装置。
2. 【請求項２】 入力画像信号またはこの入力画像信号に
   対する予測残差信号を直交変換して得られた直交変換係
   数を量子化して符号化する符号化手段と、 この符号化手段から出力される符号化データを一時保持
   し、あらかじめ定められた送信レートで出力する出力手
   段と、 この出力手段に保持されている符号化データを前記送信
   レートで出力する際の遅延時間が、あらかじめ定められ
   た許容遅延時間内になるように、前記送信レートとあら
   かじめ定められた符号化フレームレートにて決定される
   符号量を調節することにより、フレーム毎の目標符号量
   を設定し、この目標符号量を基に、前記符号化手段で量
   子化する際の量子化パラメータを制御する第１の制御手
   段と、 前記出力手段に保持されている符号化データの符号量
   が、前記送信レートと前記許容遅延時間と前記符号化フ
   レームレートによって決定される値になるまで前記符号
   化手段に入力される入力画像信号をフレーム単位にスキ
   ップするよう制御する第２の制御手段と、 を具備したことを特徴とする動画像符号化装置。
3. 【請求項３】 入力画像信号またはこの入力画像信号に
   対する予測残差信号を直交変換して得られた直交変換係
   数を量子化して符号化する符号化手段と、 この符号化手段から出力される符号化データを一時保持
   し、あらかじめ定められた送信レートで出力する出力手
   段と、 この出力手段に保持されている符号化データを前記送信
   レートで出力する際の遅延時間が、あらかじめ定められ
   た許容遅延時間内になるように、前記送信レートとあら
   かじめ定められた符号化フレームレートにて決定される
   符号量を調節することにより、フレーム毎の目標符号量
   を設定し、この目標符号量と前記入力画像信号の画像複
   雑度を基に、前記符号化手段で量子化する際の量子化パ
   ラメータを制御する第１の制御手段と、 前記出力手段に保持されている符号化データの符号量
   が、前記送信レートと前記許容遅延時間と前記符号化フ
   レームレートによって決定される値になるまで前記符号
   化手段に入力される入力画像信号をフレーム単位にスキ
   ップするよう制御する第２の制御手段と、 を具備したことを特徴とする動画像符号化装置。