JPH07115651A - 映像信号符号化方式 - Google Patents
映像信号符号化方式Info
- Publication number
- JPH07115651A JPH07115651A JP26020893A JP26020893A JPH07115651A JP H07115651 A JPH07115651 A JP H07115651A JP 26020893 A JP26020893 A JP 26020893A JP 26020893 A JP26020893 A JP 26020893A JP H07115651 A JPH07115651 A JP H07115651A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- coding
- video signal
- input
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 高解像度信号に対応可能な量子化制御方式、
画面分割周期的リフレッシュに対応可能な量子化制御方
式、定量的性質に基づく量子化制御方式を得るととも
に、シーンチェンジへの対応も考慮した量子化制御方式
を得る。 【構成】 画面を分割して並列処理するとともに画面を
一括して量子化制御する構成、あるいは分割された領域
毎に符号化画像の複雑度あるいは発生符号量を推定する
構成、あるいは発生符号量の推定の指標として画像内信
号パワーと画像間信号パワーおよび量子化ステップパラ
メータを用いる構成、あるいは発生符号量の推定の指標
として過去における画面の発生符号量と過去における画
面の量子化ステップパラメータおよび現在における画面
の量子化ステップパラメータを用いる構成、あるいは画
像の変化率を検出し変化率に基づき量子化ステップパラ
メータを制御する構成を持つ。
画面分割周期的リフレッシュに対応可能な量子化制御方
式、定量的性質に基づく量子化制御方式を得るととも
に、シーンチェンジへの対応も考慮した量子化制御方式
を得る。 【構成】 画面を分割して並列処理するとともに画面を
一括して量子化制御する構成、あるいは分割された領域
毎に符号化画像の複雑度あるいは発生符号量を推定する
構成、あるいは発生符号量の推定の指標として画像内信
号パワーと画像間信号パワーおよび量子化ステップパラ
メータを用いる構成、あるいは発生符号量の推定の指標
として過去における画面の発生符号量と過去における画
面の量子化ステップパラメータおよび現在における画面
の量子化ステップパラメータを用いる構成、あるいは画
像の変化率を検出し変化率に基づき量子化ステップパラ
メータを制御する構成を持つ。
Description
【0001】
【産業上の利用分野】本発明は、映像信号の符号化方式
に関し、特に映像信号の量子化制御方式に関する。
に関し、特に映像信号の量子化制御方式に関する。
【0002】
【従来の技術】図7は例えばISO-IEC/JTC1/SC29/WG11 M
PEG 92/N0245 Test Model 2 に示された従来の映像信号
符号化方式を説明するための概略ブロック図である。図
において、入力端子101cから入力されたディジタル
化された映像信号1101は、減算器9の第1の入力,
動き補償予測回路16の第1の入力および量子化回路1
1の第2の入力に与えられる。減算器9の出力1102
は、DCT回路10を介して量子化回路11の第1の入
力に与えられる。量子化回路11の出力1104は、可
変長符号化回路18を介して送信バッファ19の入力に
与えられるとともに、逆量子化回路12およびIDCT
回路13を介して加算器14の第1の入力に与えられ
る。加算器14の出力1107は、メモリ回路15の第
1の入力に与えられ、メモリ回路15の出力1108
は、動き補償予測回路16の第2の入力および切り替え
回路17の第1の入力に与えられる。メモリ回路15の
第二の入力には、動き補償予測回路16の第1の出力1
111が与えられる。一方、切り替え回路17の第2の
入力には、ゼロ信号が与えられ、切り替え回路17の第
3の入力には、動き補償予測回路16の第2の出力11
10が与えられる。切り替え回路17の出力1109
は、減算器9の第2の入力および加算器14の第2の入
力に与えられる。一方、送信バッファ19の第2の出力
1113は量子化回路11の第3の入力に与えられ、送
信バッファ19の第一の出力1114は、出力端子2d
より出力される。
PEG 92/N0245 Test Model 2 に示された従来の映像信号
符号化方式を説明するための概略ブロック図である。図
において、入力端子101cから入力されたディジタル
化された映像信号1101は、減算器9の第1の入力,
動き補償予測回路16の第1の入力および量子化回路1
1の第2の入力に与えられる。減算器9の出力1102
は、DCT回路10を介して量子化回路11の第1の入
力に与えられる。量子化回路11の出力1104は、可
変長符号化回路18を介して送信バッファ19の入力に
与えられるとともに、逆量子化回路12およびIDCT
回路13を介して加算器14の第1の入力に与えられ
る。加算器14の出力1107は、メモリ回路15の第
1の入力に与えられ、メモリ回路15の出力1108
は、動き補償予測回路16の第2の入力および切り替え
回路17の第1の入力に与えられる。メモリ回路15の
第二の入力には、動き補償予測回路16の第1の出力1
111が与えられる。一方、切り替え回路17の第2の
入力には、ゼロ信号が与えられ、切り替え回路17の第
3の入力には、動き補償予測回路16の第2の出力11
10が与えられる。切り替え回路17の出力1109
は、減算器9の第2の入力および加算器14の第2の入
力に与えられる。一方、送信バッファ19の第2の出力
1113は量子化回路11の第3の入力に与えられ、送
信バッファ19の第一の出力1114は、出力端子2d
より出力される。
【0003】図8は例えばISO-IEC/JTC1/SC29/WG11 MPE
G 92/N0245 Test Model 2 に示された従来の映像信号符
号化方式における量子化制御方式の一例を説明するため
の概略ブロック図である。図において、入力端子101
dから入力された第1の発生符号量1201は、複雑度
算出回路20aの第1の入力に与えられ、入力端子10
1eから入力された第1の平均量子化ステップパラメー
タ1202は複雑度算出回路20aの第2の入力に与え
られる。複雑度算出回路20aの出力である第1の複雑
度1203は、ターゲットビット量算出回路4eの第1
の入力に与えられる。入力端子101fから入力された
第2の発生符号量1204は、複雑度算出回路20bの
第1の入力に与えられ、入力端子101gから入力され
た第2の平均量子化ステップパラメータ1205は複雑
度算出回路20bの第2の入力に与えられる。複雑度算
出回路20bの出力である第2の複雑度1206は、タ
ーゲットビット量算出回路4eの第2の入力に与えられ
る。入力端子101hから入力された第3の発生符号量
1207は、複雑度算出回路20cの第1の入力に与え
られ、入力端子101iから入力された第3の平均量子
化ステップパラメータ1208は複雑度算出回路20c
の第2の入力に与えられる。複雑度算出回路20cの出
力である第3の複雑度1209は、ターゲットビット量
算出回路4eの第3入力に与えられる。
G 92/N0245 Test Model 2 に示された従来の映像信号符
号化方式における量子化制御方式の一例を説明するため
の概略ブロック図である。図において、入力端子101
dから入力された第1の発生符号量1201は、複雑度
算出回路20aの第1の入力に与えられ、入力端子10
1eから入力された第1の平均量子化ステップパラメー
タ1202は複雑度算出回路20aの第2の入力に与え
られる。複雑度算出回路20aの出力である第1の複雑
度1203は、ターゲットビット量算出回路4eの第1
の入力に与えられる。入力端子101fから入力された
第2の発生符号量1204は、複雑度算出回路20bの
第1の入力に与えられ、入力端子101gから入力され
た第2の平均量子化ステップパラメータ1205は複雑
度算出回路20bの第2の入力に与えられる。複雑度算
出回路20bの出力である第2の複雑度1206は、タ
ーゲットビット量算出回路4eの第2の入力に与えられ
る。入力端子101hから入力された第3の発生符号量
1207は、複雑度算出回路20cの第1の入力に与え
られ、入力端子101iから入力された第3の平均量子
化ステップパラメータ1208は複雑度算出回路20c
の第2の入力に与えられる。複雑度算出回路20cの出
力である第3の複雑度1209は、ターゲットビット量
算出回路4eの第3入力に与えられる。
【0004】また、ターゲットビット量算出回路4eの
第4の入力には、入力端子101jより第1の残枚数1
210が、第5の入力には、入力端子101kより第2
の残枚数1211が入力される。また、第6の入力に
は、定数発生回路21aの出力である定数Kp1212
が、第7の入力には、定数発生回路21bの出力である
定数Kb1213が入力される。また、第8の入力に
は、入力端子101lより、残符号量1214が入力さ
れる。第9の入力には、入力端子101mよりピクチャ
タイプ1215が入力される。
第4の入力には、入力端子101jより第1の残枚数1
210が、第5の入力には、入力端子101kより第2
の残枚数1211が入力される。また、第6の入力に
は、定数発生回路21aの出力である定数Kp1212
が、第7の入力には、定数発生回路21bの出力である
定数Kb1213が入力される。また、第8の入力に
は、入力端子101lより、残符号量1214が入力さ
れる。第9の入力には、入力端子101mよりピクチャ
タイプ1215が入力される。
【0005】ターゲットビット量算出回路4eの出力で
あるターゲットビット量1217は、仮想バッファ選択
回路22aの第1の入力に与えられる。仮想バッファ選
択回路22aの第2の入力には、入力端子101cより
入力された発生符号量が入力される。また、第3の入力
には、入力端子101mよりピクチャタイプ1215が
入力される。仮想バッファ選択回路22aの第1の出力
であるターゲットビット量1218は、第1の仮想バッ
ファ残量算出回路5eの第1の入力に、第2の出力であ
る発生符号量1219は、第1の仮想バッファ残量算出
回路5eの第2の入力に入力される。仮想バッファ選択
回路22aの第3の出力であるターゲットビット量12
20は、第2の仮想バッファ残量算出回路5fの第1の
入力に、第4の出力である発生符号量1221は、第2
の仮想バッファ残量算出回路5fの第2の入力に入力さ
れる。仮想バッファ選択回路22aの第5の出力である
ターゲットビット量1222は、第3の仮想バッファ残
量算出回路5gの第1の入力に、第6の出力である発生
符号量1223は、第3の仮想バッファ残量算出回路5
gの第2の入力に入力される。
あるターゲットビット量1217は、仮想バッファ選択
回路22aの第1の入力に与えられる。仮想バッファ選
択回路22aの第2の入力には、入力端子101cより
入力された発生符号量が入力される。また、第3の入力
には、入力端子101mよりピクチャタイプ1215が
入力される。仮想バッファ選択回路22aの第1の出力
であるターゲットビット量1218は、第1の仮想バッ
ファ残量算出回路5eの第1の入力に、第2の出力であ
る発生符号量1219は、第1の仮想バッファ残量算出
回路5eの第2の入力に入力される。仮想バッファ選択
回路22aの第3の出力であるターゲットビット量12
20は、第2の仮想バッファ残量算出回路5fの第1の
入力に、第4の出力である発生符号量1221は、第2
の仮想バッファ残量算出回路5fの第2の入力に入力さ
れる。仮想バッファ選択回路22aの第5の出力である
ターゲットビット量1222は、第3の仮想バッファ残
量算出回路5gの第1の入力に、第6の出力である発生
符号量1223は、第3の仮想バッファ残量算出回路5
gの第2の入力に入力される。
【0006】第1の仮想バッファ残量算出回路5eの出
力1224は、仮想バッファ選択回路22bの第1の入
力に、第2の仮想バッファ残量算出回路5fの出力12
25は、仮想バッファ選択回路22bの第二の入力に、
第3の仮想バッファ残量算出回路5gの出力1226
は、仮想バッファ選択回路22bの第3の入力に与えら
れる。仮想バッファ選択回路22bの第4の入力には、
入力端子101mよりピクチャタイプ1215が入力さ
れる。仮想バッファ選択回路22bの出力1227は、
量子化ステップパラメータ算出回路6eに与えられ、量
子化ステップパラメータ算出回路6eの出力である参照
量子化ステップパラメータ1228は、適応量子化回路
7eの第1の入力に与えられる。適応量子化回路7eの
第2の入力には、入力端子101nより、適応量子化係
数1229が与えられる。適応量子化回路7eの出力で
ある量子化ステップパラメータ1230は、出力端子2
eより出力される。
力1224は、仮想バッファ選択回路22bの第1の入
力に、第2の仮想バッファ残量算出回路5fの出力12
25は、仮想バッファ選択回路22bの第二の入力に、
第3の仮想バッファ残量算出回路5gの出力1226
は、仮想バッファ選択回路22bの第3の入力に与えら
れる。仮想バッファ選択回路22bの第4の入力には、
入力端子101mよりピクチャタイプ1215が入力さ
れる。仮想バッファ選択回路22bの出力1227は、
量子化ステップパラメータ算出回路6eに与えられ、量
子化ステップパラメータ算出回路6eの出力である参照
量子化ステップパラメータ1228は、適応量子化回路
7eの第1の入力に与えられる。適応量子化回路7eの
第2の入力には、入力端子101nより、適応量子化係
数1229が与えられる。適応量子化回路7eの出力で
ある量子化ステップパラメータ1230は、出力端子2
eより出力される。
【0007】図9はハイブリッド符号化方式における著
名な性質の一つであるリフレッシュ方式の概念図であ
る。
名な性質の一つであるリフレッシュ方式の概念図であ
る。
【0008】次に動作について説明する。映像信号を符
号化する場合の高能率符号化方式の一つとして、動き補
償予測を用いた画像間予測符号化と画像内変換符号化を
組み合わせたハイブリッド符号化方式がある。本従来例
も、上記ハイブリッド符号化方式を採用している。この
場合、ディジタル化された入力信号は、時間軸方向の冗
長度を落とすために動き補償予測を用いて画像間の差分
がとられ、空間軸方向にDCTが施される。変換された
係数は量子化され、可変長符号化された後に、送信バッ
ファを介して伝送される。
号化する場合の高能率符号化方式の一つとして、動き補
償予測を用いた画像間予測符号化と画像内変換符号化を
組み合わせたハイブリッド符号化方式がある。本従来例
も、上記ハイブリッド符号化方式を採用している。この
場合、ディジタル化された入力信号は、時間軸方向の冗
長度を落とすために動き補償予測を用いて画像間の差分
がとられ、空間軸方向にDCTが施される。変換された
係数は量子化され、可変長符号化された後に、送信バッ
ファを介して伝送される。
【0009】以下、量子化制御の基本概念について述べ
る。一般に、映像信号符号化システムにおいて、伝送レ
ートは固定であるため、発生符号量を伝送レートに収束
させる手法が必要となる。上記固定伝送レートへの発生
符号量の収束手法の概念を以下に示す。一般に、変換さ
れた係数は、必ずしも有限な桁数での表現が可能ではな
い。この係数を有限な桁数にて表現することを量子化と
言い、量子化による離散値を量子化レベル、量子化レベ
ルの間隔を量子化ステップと言う。また、量子化前の係
数と量子化後の量子化レベルとの差を量子化雑音と言
う。量子化ステップを小さくすれば、量子化雑音は減少
するが、発生符号量は増加することになり、量子化ステ
ップを大きくすれば、量子化雑音は増加するが、発生符
号量は減少することになる。このように、量子化ステッ
プを制御することを量子化制御と言う。すなわち、量子
化制御により、発生符号量を伝送レートに収束させるこ
とが可能となる。このとき、良好な画質を維持しつつ固
定レートに収束させることが重要な課題となる。本従来
例では、量子化ステップに類する指標として量子化ステ
ップパラメータが用いられる。量子化ステップパラメー
タの機能は、量子化ステップと同等であると考えてよ
い。
る。一般に、映像信号符号化システムにおいて、伝送レ
ートは固定であるため、発生符号量を伝送レートに収束
させる手法が必要となる。上記固定伝送レートへの発生
符号量の収束手法の概念を以下に示す。一般に、変換さ
れた係数は、必ずしも有限な桁数での表現が可能ではな
い。この係数を有限な桁数にて表現することを量子化と
言い、量子化による離散値を量子化レベル、量子化レベ
ルの間隔を量子化ステップと言う。また、量子化前の係
数と量子化後の量子化レベルとの差を量子化雑音と言
う。量子化ステップを小さくすれば、量子化雑音は減少
するが、発生符号量は増加することになり、量子化ステ
ップを大きくすれば、量子化雑音は増加するが、発生符
号量は減少することになる。このように、量子化ステッ
プを制御することを量子化制御と言う。すなわち、量子
化制御により、発生符号量を伝送レートに収束させるこ
とが可能となる。このとき、良好な画質を維持しつつ固
定レートに収束させることが重要な課題となる。本従来
例では、量子化ステップに類する指標として量子化ステ
ップパラメータが用いられる。量子化ステップパラメー
タの機能は、量子化ステップと同等であると考えてよ
い。
【0010】量子化制御を行う単位として以下の2者を
定義する。 基準固定レート期間 基準制御期間
定義する。 基準固定レート期間 基準制御期間
【0011】基準固定レート期間とは、発生符号量が固
定レートであると判断する単位あるいは期間を意味す
る。たとえば、ある枚数の画面における発生符号量の総
和が固定レートであればよいとか、1画面における発生
符号量が固定レートであればよいとかいうことである。
この固定レート期間が大きければ、その期間内における
発生符号量の変動の許容性が高まる。たとえば、動画像
においては、画像の動きに伴い1ピクチャ毎に発生符号
量が変動する。そのため、安定した画質を連続して得る
ためには、固定レート期間が大きい方が有効的である。
しかしながら、発生符号量の変動の許容性を高めるため
には、容量の大きなバッファが必要となる。容量の大き
なバッファは、符号化復号化システムにおける遅延時間
の増加を意味する。一方、固定レート期間が小さけれ
ば、発生符号量の許容性が低くなる。たとえば、画面の
数分の1程度を固定レート期間とすると、画面内の発生
符号量の変動を十分に許容できない。たとえば、動画像
においては画面内の1部分のみが動いているような場合
が頻繁に存在するが、このような場合には、画面内にお
いて画質劣化の度合が画面内の場所に応じて大きく異な
る可能性がある。しかしながら、この場合には、バッフ
ァ容量は小さくてよく、これは符号化復号化システムに
おける遅延時間が小さいことを意味する。
定レートであると判断する単位あるいは期間を意味す
る。たとえば、ある枚数の画面における発生符号量の総
和が固定レートであればよいとか、1画面における発生
符号量が固定レートであればよいとかいうことである。
この固定レート期間が大きければ、その期間内における
発生符号量の変動の許容性が高まる。たとえば、動画像
においては、画像の動きに伴い1ピクチャ毎に発生符号
量が変動する。そのため、安定した画質を連続して得る
ためには、固定レート期間が大きい方が有効的である。
しかしながら、発生符号量の変動の許容性を高めるため
には、容量の大きなバッファが必要となる。容量の大き
なバッファは、符号化復号化システムにおける遅延時間
の増加を意味する。一方、固定レート期間が小さけれ
ば、発生符号量の許容性が低くなる。たとえば、画面の
数分の1程度を固定レート期間とすると、画面内の発生
符号量の変動を十分に許容できない。たとえば、動画像
においては画面内の1部分のみが動いているような場合
が頻繁に存在するが、このような場合には、画面内にお
いて画質劣化の度合が画面内の場所に応じて大きく異な
る可能性がある。しかしながら、この場合には、バッフ
ァ容量は小さくてよく、これは符号化復号化システムに
おける遅延時間が小さいことを意味する。
【0012】基準制御期間とは、以下のように定義され
る。基本的に、量子化制御とは、ある期間毎に発生符号
量の状態を調べ、所望の発生符号量に合致しているか否
かを検証し、合致していなければ量子化ステップパラメ
ータを変更するという作業である。上記期間を基準制御
期間と定める。この基準制御期間が大きければ、符号量
の過大発生や過小発生を招き、バッファのオーバーフロ
ーやアンダーフローを引き起こす原因となり易い。この
基準期間が小さければ、オーバーフローやアンダーフロ
ーは生じにくいが、所望発生符号量の予測に高度な正確
性が要求される。不確かな所望発生符号量の予測は、不
必要な量子化ステップパラメータの変動を引き起こし、
局所的な画質劣化の原因となる。
る。基本的に、量子化制御とは、ある期間毎に発生符号
量の状態を調べ、所望の発生符号量に合致しているか否
かを検証し、合致していなければ量子化ステップパラメ
ータを変更するという作業である。上記期間を基準制御
期間と定める。この基準制御期間が大きければ、符号量
の過大発生や過小発生を招き、バッファのオーバーフロ
ーやアンダーフローを引き起こす原因となり易い。この
基準期間が小さければ、オーバーフローやアンダーフロ
ーは生じにくいが、所望発生符号量の予測に高度な正確
性が要求される。不確かな所望発生符号量の予測は、不
必要な量子化ステップパラメータの変動を引き起こし、
局所的な画質劣化の原因となる。
【0013】本従来例における量子化制御方式を述べる
にあたり、本従来例における映像信号の階層構造を定義
しておくとともに、階層構造と関係を持つハイブリッド
符号化の1つの性質を以下に記述する。
にあたり、本従来例における映像信号の階層構造を定義
しておくとともに、階層構造と関係を持つハイブリッド
符号化の1つの性質を以下に記述する。
【0014】本従来例における映像信号の階層構造は以
下のように概略される。 シーケンス:1つかそれ以上の連続したGOPから構成
される。 GOP: 複数の連続したピクチャ(画面)から構成さ
れる。 ピクチャ:1つの画面であり、複数のスライスで構成さ
れる。 スライス :1つまたは複数のマクロブロックで構成さ
れる。 マクロブロック:4つの輝度ブロックと画面上で同位置
の色差ブロックからなる。 ブロック:1ブロックは8×8の画素から構成される。 尚、本従来例では、ピクチャとして3つのタイプが定義
される。画像間予測符号化を行わず画面内変換符号化の
みを行うIピクチャ、片方向のみから予測するPピクチ
ャ、両方向から予測するBピクチャの3タイプである。
下のように概略される。 シーケンス:1つかそれ以上の連続したGOPから構成
される。 GOP: 複数の連続したピクチャ(画面)から構成さ
れる。 ピクチャ:1つの画面であり、複数のスライスで構成さ
れる。 スライス :1つまたは複数のマクロブロックで構成さ
れる。 マクロブロック:4つの輝度ブロックと画面上で同位置
の色差ブロックからなる。 ブロック:1ブロックは8×8の画素から構成される。 尚、本従来例では、ピクチャとして3つのタイプが定義
される。画像間予測符号化を行わず画面内変換符号化の
みを行うIピクチャ、片方向のみから予測するPピクチ
ャ、両方向から予測するBピクチャの3タイプである。
【0015】次に、ハイブリッド符号化方式における著
名な性質の一つを以下に掲げる。本従来例は、動き補償
予測を用いた画像間予測符号化を行っている。これは、
基本的には時間領域の予測符号化であるため、初期値を
設定する必要がある。また、符号化後に偶発的に発生し
たエラーの伝播を防ぐために、適当な周期で初期値に設
定する必要がある。この周期的な初期値設定の作業を一
般に周期的リフレッシュと称している。動き補償予測を
用いた画像間予測符号化と画像内変換符号化を用いたハ
イブリッド方式の場合の周期的リフレッシュは、具体的
には動き補償予測を行わない画像内変換符号化となる。
名な性質の一つを以下に掲げる。本従来例は、動き補償
予測を用いた画像間予測符号化を行っている。これは、
基本的には時間領域の予測符号化であるため、初期値を
設定する必要がある。また、符号化後に偶発的に発生し
たエラーの伝播を防ぐために、適当な周期で初期値に設
定する必要がある。この周期的な初期値設定の作業を一
般に周期的リフレッシュと称している。動き補償予測を
用いた画像間予測符号化と画像内変換符号化を用いたハ
イブリッド方式の場合の周期的リフレッシュは、具体的
には動き補償予測を行わない画像内変換符号化となる。
【0016】一般に、リフレッシュ方式としては、画面
を一括して行う方式と画面を分割して行う方式とがあ
る。従来の実施例で参照した方式はこの前者にあたり、
そのリフレッシュ画面はIピクチャと呼ばれている。画
面分割リフレッシュ方式の場合には、たとえば画面をい
くつかの領域に分割し、1画面に対し1領域ずつリフレ
ッシュを行うことになる。図9にリフレッシュ方式の概
念図を示す。一般に、画像内変換符号化は、画像間予測
符号化に比べて発生符号量が大きいため、画面単位で周
期的リフレッシュを行う場合には、数ピクチャ程度の大
きな基準固定レート期間が採用される。これは、符号化
復号化システムにおける遅延時間が大きいことを意味す
る。
を一括して行う方式と画面を分割して行う方式とがあ
る。従来の実施例で参照した方式はこの前者にあたり、
そのリフレッシュ画面はIピクチャと呼ばれている。画
面分割リフレッシュ方式の場合には、たとえば画面をい
くつかの領域に分割し、1画面に対し1領域ずつリフレ
ッシュを行うことになる。図9にリフレッシュ方式の概
念図を示す。一般に、画像内変換符号化は、画像間予測
符号化に比べて発生符号量が大きいため、画面単位で周
期的リフレッシュを行う場合には、数ピクチャ程度の大
きな基準固定レート期間が採用される。これは、符号化
復号化システムにおける遅延時間が大きいことを意味す
る。
【0017】次に、従来例における量子化制御方式につ
いて説明する。図8は従来例における量子化制御方式の
一例を説明するための図であり、本従来例は、基本的に
は基準固定レート期間として1GOP期間を、基準制御
期間として1マクロブロック期間を採用しており、量子
化制御は以下の手順にて行われる。 次のピクチャの符号化で使用可能なビット量(ターゲ
ットビット量)を推定する。 上記推定されたターゲットビット量と実際に発生した
符号量をもとにマクロブロック毎の量子化ステップパラ
メータの参照値を設定する。 マクロブロック毎の画像の特徴に応じて、上記量子化
ステップパラメータの参照値を変化させ、最終的なマク
ロブロック毎の量子化ステップパラメータを決定する。
いて説明する。図8は従来例における量子化制御方式の
一例を説明するための図であり、本従来例は、基本的に
は基準固定レート期間として1GOP期間を、基準制御
期間として1マクロブロック期間を採用しており、量子
化制御は以下の手順にて行われる。 次のピクチャの符号化で使用可能なビット量(ターゲ
ットビット量)を推定する。 上記推定されたターゲットビット量と実際に発生した
符号量をもとにマクロブロック毎の量子化ステップパラ
メータの参照値を設定する。 マクロブロック毎の画像の特徴に応じて、上記量子化
ステップパラメータの参照値を変化させ、最終的なマク
ロブロック毎の量子化ステップパラメータを決定する。
【0018】以下、詳細に述べる。前記第1の手順とし
て、次のピクチャの符号化で使用可能なビット量を推定
する。この作業にあたり複雑度という概念を導入する。
本従来例において、複雑度は各ピクチャタイプに対して
定義される。また、複雑度は1つのピクチャを符号化す
るたびに更新される。実際には、該符号化されるピクチ
ャはある特定のピクチャタイプを持つため、1つのピク
チャが符号化されるたびに1つの複雑度が更新されるこ
とになる。第gGOPの第fピクチャを符号化する直前
のIピクチャの複雑度Xi(g,f),Pピクチャの複雑度Xp
(g,f),Bピクチャの複雑度Xb(g,f)は以下のように定義
される。 Xi(g,f) = Si(s,x) × Qi(s,x) Xp(g,f) = Sp(t,y) × Qp(t,y) Xb(g,f) = Sb(u,z) × Qb(u,z) このとき、Si(s,x) は、最も近い過去に存在したIピク
チャである第sGOPの第xピクチャにおける実際の発
生符号量、Sp(t,y) は、最も近い過去に存在したPピク
チャである第tGOPの第yピクチャにおける実際の発
生符号量、Sb(u,z) は、最も近い過去に存在したBピク
チャである第uGOPの第zピクチャにおける実際の発
生符号量である。(このとき、上記3つのピクチャのい
ずれかは第gGOPの第f−1ピクチャに該当している
はずである。)また、Qi(s,x),Qp(t,y),Qb(u,z) は、上
記3つのピクチャにおける実際の量子化ステップパラメ
ータの平均値である。
て、次のピクチャの符号化で使用可能なビット量を推定
する。この作業にあたり複雑度という概念を導入する。
本従来例において、複雑度は各ピクチャタイプに対して
定義される。また、複雑度は1つのピクチャを符号化す
るたびに更新される。実際には、該符号化されるピクチ
ャはある特定のピクチャタイプを持つため、1つのピク
チャが符号化されるたびに1つの複雑度が更新されるこ
とになる。第gGOPの第fピクチャを符号化する直前
のIピクチャの複雑度Xi(g,f),Pピクチャの複雑度Xp
(g,f),Bピクチャの複雑度Xb(g,f)は以下のように定義
される。 Xi(g,f) = Si(s,x) × Qi(s,x) Xp(g,f) = Sp(t,y) × Qp(t,y) Xb(g,f) = Sb(u,z) × Qb(u,z) このとき、Si(s,x) は、最も近い過去に存在したIピク
チャである第sGOPの第xピクチャにおける実際の発
生符号量、Sp(t,y) は、最も近い過去に存在したPピク
チャである第tGOPの第yピクチャにおける実際の発
生符号量、Sb(u,z) は、最も近い過去に存在したBピク
チャである第uGOPの第zピクチャにおける実際の発
生符号量である。(このとき、上記3つのピクチャのい
ずれかは第gGOPの第f−1ピクチャに該当している
はずである。)また、Qi(s,x),Qp(t,y),Qb(u,z) は、上
記3つのピクチャにおける実際の量子化ステップパラメ
ータの平均値である。
【0019】上記複雑度をもとに、第gGOPの第fピ
クチャのターゲットビット量T(g,f)は以下のよう
に推定される。
クチャのターゲットビット量T(g,f)は以下のよう
に推定される。
【0020】
【数1】
【0021】である。また、R(g,f)は、第gGO
Pの第fピクチャを符号化する直前の第gGOPに割り
当てられた残りのトータルビット数であり、各ピクチャ
の符号化後に以下のように更新される。 R(g,f) = R(g,1) - { S(g,1) + S(g,2) + … + S(g,f-
1) } ここで、S(g,f-1)は第gGOPの第f−1ピクチャにお
ける実際の発生符号量を表わす。また、GOPの先頭ピ
クチャを符号化する前に以下の計算を行う。 R(g+1,1) = G + R(g,f+1) G = BIT_RATE ×( F / PICTURE_RATE ) このとき、 F :GOPあたりのピクチャ数 であり、シーケンスの先頭では、R(1,1)=Gとする。ま
た、Fp(g,f)およびFb(g,f)は、第gGOPの第fピクチ
ャを符号化する直前における現GOPにて符号化されず
に残っているPピクチャとBピクチャのピクチャ数を示
す。
Pの第fピクチャを符号化する直前の第gGOPに割り
当てられた残りのトータルビット数であり、各ピクチャ
の符号化後に以下のように更新される。 R(g,f) = R(g,1) - { S(g,1) + S(g,2) + … + S(g,f-
1) } ここで、S(g,f-1)は第gGOPの第f−1ピクチャにお
ける実際の発生符号量を表わす。また、GOPの先頭ピ
クチャを符号化する前に以下の計算を行う。 R(g+1,1) = G + R(g,f+1) G = BIT_RATE ×( F / PICTURE_RATE ) このとき、 F :GOPあたりのピクチャ数 であり、シーケンスの先頭では、R(1,1)=Gとする。ま
た、Fp(g,f)およびFb(g,f)は、第gGOPの第fピクチ
ャを符号化する直前における現GOPにて符号化されず
に残っているPピクチャとBピクチャのピクチャ数を示
す。
【0022】次に、前記第2の手順として、推定された
ターゲットビット量と実際の発生符号量に基づき、マク
ロブロック毎の量子化ステップパラメータの参照値を設
定する。参照値設定にあたり仮想バッファを想定する。
仮想バッファは、概略的には、上記ターゲットビット量
と実際の発生符号量の差を蓄積するバッファである。仮
想バッファは、各ピクチャに対して想定される。すなわ
ち、該ピクチャがIピクチャならば、対応するIピクチ
ャ用の仮想バッファが、該ピクチャがPピクチャなら
ば、対応するPピクチャ用の仮想バッファが、該ピクチ
ャがBピクチャならば、対応するBピクチャ用の仮想バ
ッファが使用され、該仮想バッファのバッファ占有率が
変更される。たとえば、第gGOPの第fピクチャのピ
クチャタイプがIピクチャならば、Iピクチャ用の仮想
バッファの第gGOPの第fピクチャの第mマクロブロ
ックを符号化する直前の占有率di(g,f,m) は、以下のよ
うに定義される。 di(g,f,m) = di(g,f,1)+ B(g,f,1) + B(g,f,2) + …
+ B(g,f,m-1)- { T(g,f) ×( (m-1) / MB_cnt ) } このとき、 MB_cnt :ピクチャあたりのマクロブロック数 であり、また、B(g,f,m-1)は、第gGOPの第fピクチ
ャの第m−1マクロブロックでの実際の発生符号量であ
る。di(g,f,1) は、最も近い過去に存在した同タイプの
ピクチャである第aGOPの第bピクチャにおけるバッ
ファ占有率di(a,b,MB_cnt+1) が採用される。また、P
ピクチャ用の仮想バッファの占有率dp(g,f,m)、Bピク
チャ用の仮想バッファ占有率db(g,f,m) も同様に、ピク
チャタイプに応じ更新される。
ターゲットビット量と実際の発生符号量に基づき、マク
ロブロック毎の量子化ステップパラメータの参照値を設
定する。参照値設定にあたり仮想バッファを想定する。
仮想バッファは、概略的には、上記ターゲットビット量
と実際の発生符号量の差を蓄積するバッファである。仮
想バッファは、各ピクチャに対して想定される。すなわ
ち、該ピクチャがIピクチャならば、対応するIピクチ
ャ用の仮想バッファが、該ピクチャがPピクチャなら
ば、対応するPピクチャ用の仮想バッファが、該ピクチ
ャがBピクチャならば、対応するBピクチャ用の仮想バ
ッファが使用され、該仮想バッファのバッファ占有率が
変更される。たとえば、第gGOPの第fピクチャのピ
クチャタイプがIピクチャならば、Iピクチャ用の仮想
バッファの第gGOPの第fピクチャの第mマクロブロ
ックを符号化する直前の占有率di(g,f,m) は、以下のよ
うに定義される。 di(g,f,m) = di(g,f,1)+ B(g,f,1) + B(g,f,2) + …
+ B(g,f,m-1)- { T(g,f) ×( (m-1) / MB_cnt ) } このとき、 MB_cnt :ピクチャあたりのマクロブロック数 であり、また、B(g,f,m-1)は、第gGOPの第fピクチ
ャの第m−1マクロブロックでの実際の発生符号量であ
る。di(g,f,1) は、最も近い過去に存在した同タイプの
ピクチャである第aGOPの第bピクチャにおけるバッ
ファ占有率di(a,b,MB_cnt+1) が採用される。また、P
ピクチャ用の仮想バッファの占有率dp(g,f,m)、Bピク
チャ用の仮想バッファ占有率db(g,f,m) も同様に、ピク
チャタイプに応じ更新される。
【0023】上記仮想バッファ占有率di(g,f,m),dp(g,
f,m),db(g,f,m) に基づき、第gGOPの第fピクチャ
の第mマクロブロックの量子化ステップパラメータの参
照値Qr(g,f,m)は以下のように算出される。 If (第gGOPの第fピクチャがIピクチャ) Then Qr(g,f,m) = ( di(g,f,m) / VB ) ×31 If (第gGOPの第fピクチャがPピクチャ) Then Qr(g,f,m) = ( dp(g,f,m) / VB ) × 31 If (第gGOPの第fピクチャがBピクチャ) Then Qr(g,f,m) = ( db(g,f,m) / VB ) × 31 このとき、VB:仮想バッファ容量である。
f,m),db(g,f,m) に基づき、第gGOPの第fピクチャ
の第mマクロブロックの量子化ステップパラメータの参
照値Qr(g,f,m)は以下のように算出される。 If (第gGOPの第fピクチャがIピクチャ) Then Qr(g,f,m) = ( di(g,f,m) / VB ) ×31 If (第gGOPの第fピクチャがPピクチャ) Then Qr(g,f,m) = ( dp(g,f,m) / VB ) × 31 If (第gGOPの第fピクチャがBピクチャ) Then Qr(g,f,m) = ( db(g,f,m) / VB ) × 31 このとき、VB:仮想バッファ容量である。
【0024】次に前記第3の手順として、上記Qr(g,f,
m) に基づき、最終的なマクロブロック毎の量子化ステ
ップパラメータを決定する。本実施例では、マクロブロ
ック毎の原信号のパワーに基づき適応量子化係数K(g,f,
m)を求め、以下のように最終的なマクロブロック毎の量
子化ステップパラメータQ(g,f,m)を算出する。 Q(g,f,m) = Qr(g,f,m) × K(g,f,m)
m) に基づき、最終的なマクロブロック毎の量子化ステ
ップパラメータを決定する。本実施例では、マクロブロ
ック毎の原信号のパワーに基づき適応量子化係数K(g,f,
m)を求め、以下のように最終的なマクロブロック毎の量
子化ステップパラメータQ(g,f,m)を算出する。 Q(g,f,m) = Qr(g,f,m) × K(g,f,m)
【0025】
【発明が解決しようとする課題】従来の映像信号符号化
方式における量子化制御方式は、ハードウェア構成を十
分に考慮したものではなかった。たとえば、従来例は、
NTSC信号程度の解像度を持つ信号を取り扱う限りに
おいては良好であるが、HDTV信号あるいは更に高解
像度の信号を取り扱うためには、必ずしも良好とは言い
難い。また、従来例における量子化制御手法は、基本的
に画面を一括して周期的リフレッシュを行う場合を主対
象としており、画面を分割して周期的リフレッシュを行
う場合を対象として最適化されていない。また、複雑度
および量子化ステップパラメータの算出手法も定量的に
最適ではなく、シーンチェンジへの対応もなされていな
かった。
方式における量子化制御方式は、ハードウェア構成を十
分に考慮したものではなかった。たとえば、従来例は、
NTSC信号程度の解像度を持つ信号を取り扱う限りに
おいては良好であるが、HDTV信号あるいは更に高解
像度の信号を取り扱うためには、必ずしも良好とは言い
難い。また、従来例における量子化制御手法は、基本的
に画面を一括して周期的リフレッシュを行う場合を主対
象としており、画面を分割して周期的リフレッシュを行
う場合を対象として最適化されていない。また、複雑度
および量子化ステップパラメータの算出手法も定量的に
最適ではなく、シーンチェンジへの対応もなされていな
かった。
【0026】本発明は上記のような問題点を解消するた
めになされたもので、高解像度信号に対応可能な量子化
制御方式、画面分割リフレッシュ方式に適した量子化制
御方式、定量的性質に基づく量子化制御方式を得るとと
もに、シーンチェンジへの対応も考慮した量子化制御方
式を得ることを目的とする。
めになされたもので、高解像度信号に対応可能な量子化
制御方式、画面分割リフレッシュ方式に適した量子化制
御方式、定量的性質に基づく量子化制御方式を得るとと
もに、シーンチェンジへの対応も考慮した量子化制御方
式を得ることを目的とする。
【0027】
【課題を解決するための手段】本発明の請求項1に係る
映像信号符号化方式は、画像内符号化と画像間符号化を
構成要素とし、画面を分割して並列処理するとともに画
面を一括して量子化制御する手段を持つようにしたもの
である。
映像信号符号化方式は、画像内符号化と画像間符号化を
構成要素とし、画面を分割して並列処理するとともに画
面を一括して量子化制御する手段を持つようにしたもの
である。
【0028】本発明の請求項2に係る映像信号符号化方
式は、分割された領域毎に符号化画像の複雑度あるいは
発生符号量を推定する手段を持つようにしたものであ
る。
式は、分割された領域毎に符号化画像の複雑度あるいは
発生符号量を推定する手段を持つようにしたものであ
る。
【0029】本発明の請求項3に係る映像信号符号化方
式は、発生符号量の推定の指標として画像内信号パワー
と画像間信号パワーおよび量子化ステップパラメータを
用いる手段を持つようにしたものである。
式は、発生符号量の推定の指標として画像内信号パワー
と画像間信号パワーおよび量子化ステップパラメータを
用いる手段を持つようにしたものである。
【0030】本発明の請求項4に係る映像信号符号化方
式は、発生符号量の推定の指標として過去における画面
の発生符号量と過去における画面の量子化ステップパラ
メータおよび現在における画面の量子化ステップパラメ
ータを用いる手段を持つようにしたものである。
式は、発生符号量の推定の指標として過去における画面
の発生符号量と過去における画面の量子化ステップパラ
メータおよび現在における画面の量子化ステップパラメ
ータを用いる手段を持つようにしたものである。
【0031】本発明の請求項5に係る映像信号符号化方
式は、画像の変化率を検出し変化率に基づき量子化ステ
ップパラメータを制御する手段を持つようにしたもので
ある。
式は、画像の変化率を検出し変化率に基づき量子化ステ
ップパラメータを制御する手段を持つようにしたもので
ある。
【0032】
【作用】本発明の請求項1における映像信号符号化方式
は、画像内符号化と画像間符号化を構成要素とし、画面
を分割して並列処理するとともに画面を一括して量子化
制御することにより、高解像度信号においても良好な画
質の維持とレートの安定性を実現する。
は、画像内符号化と画像間符号化を構成要素とし、画面
を分割して並列処理するとともに画面を一括して量子化
制御することにより、高解像度信号においても良好な画
質の維持とレートの安定性を実現する。
【0033】本発明の請求項2における映像信号符号化
方式は、分割された領域毎に符号化画像の複雑度あるい
は発生符号量を推定することにより、画面を分割した周
期的リフレッシュを行う場合においても良好な画質の維
持とレートの安定性を実現する。
方式は、分割された領域毎に符号化画像の複雑度あるい
は発生符号量を推定することにより、画面を分割した周
期的リフレッシュを行う場合においても良好な画質の維
持とレートの安定性を実現する。
【0034】本発明の請求項3における映像信号符号化
方式は、発生符号量の推定の指標として画像内信号パワ
ーと画像間信号パワーおよび量子化ステップパラメータ
を用いることによりレートの安定性を実現する。
方式は、発生符号量の推定の指標として画像内信号パワ
ーと画像間信号パワーおよび量子化ステップパラメータ
を用いることによりレートの安定性を実現する。
【0035】本発明の請求項4における映像信号符号化
方式は、発生符号量の推定の指標として過去における画
面の発生符号量と過去における画面の量子化ステップパ
ラメータおよび現在における画面の量子化ステップパラ
メータを用いることにより、レートの安定性を実現す
る。
方式は、発生符号量の推定の指標として過去における画
面の発生符号量と過去における画面の量子化ステップパ
ラメータおよび現在における画面の量子化ステップパラ
メータを用いることにより、レートの安定性を実現す
る。
【0036】本発明の請求項5における映像信号符号化
方式は、画像の変化率を検出し変化率に基づき量子化ス
テップパラメータを制御することにより、シーンチェン
ジ時にもレートの安定性を実現する。
方式は、画像の変化率を検出し変化率に基づき量子化ス
テップパラメータを制御することにより、シーンチェン
ジ時にもレートの安定性を実現する。
【0037】
実施例1.以下、本発明の第1の実施例について説明す
る。図2は本発明の第1の実施例における量子化制御方
式の一例を説明するための概略ブロック図である。図に
おいて、入力端子1aから入力された平均画像間信号パ
ワー201は、ターゲット複雑度算出回路3aの第1の
入力に、入力端子1bから入力された平均画像内信号パ
ワー202は、ターゲット複雑度算出回路3aの第2の
入力に、入力端子1cから入力された参照量子化ステッ
プパラメータ203は、ターゲット複雑度算出回路3a
の第3の入力に、入力端子1dから入力されたタイプ識
別信号204は、ターゲット複雑度算出回路3aの第4
の入力に与えられる。ターゲット複雑度算出回路3aの
出力205は、ターゲットビット量算出回路4aの第1
の入力に、入力端子1eから入力されたバッファ残量2
06は、ターゲットビット量算出回路4aの第2の入力
に与えられる。ターゲットビット量算出回路4aの出力
であるターゲットビット量207は、仮想バッファ残量
算出回路5aの第1の入力に、入力端子1fから入力さ
れた発生符号量208は、仮想バッファ残量算出回路5
aの第2の入力に与えられる。仮想バッファ残量算出回
路5aの出力209は、量子化ステップパラメータ算出
回路6aの入力に与えられる。量子化ステップパラメー
タ算出回路6aの出力である参照量子化ステップパラメ
ータ210は、適応量子化回路7aの第1の入力に与え
られる。適応量子化回路の第2の入力には、入力端子1
gより、適応量子化係数211が与えられる。適応量子
化回路7aの出力であるマクロブロック単位の量子化ス
テップパラメータ212は、出力端子2aより出力され
る。
る。図2は本発明の第1の実施例における量子化制御方
式の一例を説明するための概略ブロック図である。図に
おいて、入力端子1aから入力された平均画像間信号パ
ワー201は、ターゲット複雑度算出回路3aの第1の
入力に、入力端子1bから入力された平均画像内信号パ
ワー202は、ターゲット複雑度算出回路3aの第2の
入力に、入力端子1cから入力された参照量子化ステッ
プパラメータ203は、ターゲット複雑度算出回路3a
の第3の入力に、入力端子1dから入力されたタイプ識
別信号204は、ターゲット複雑度算出回路3aの第4
の入力に与えられる。ターゲット複雑度算出回路3aの
出力205は、ターゲットビット量算出回路4aの第1
の入力に、入力端子1eから入力されたバッファ残量2
06は、ターゲットビット量算出回路4aの第2の入力
に与えられる。ターゲットビット量算出回路4aの出力
であるターゲットビット量207は、仮想バッファ残量
算出回路5aの第1の入力に、入力端子1fから入力さ
れた発生符号量208は、仮想バッファ残量算出回路5
aの第2の入力に与えられる。仮想バッファ残量算出回
路5aの出力209は、量子化ステップパラメータ算出
回路6aの入力に与えられる。量子化ステップパラメー
タ算出回路6aの出力である参照量子化ステップパラメ
ータ210は、適応量子化回路7aの第1の入力に与え
られる。適応量子化回路の第2の入力には、入力端子1
gより、適応量子化係数211が与えられる。適応量子
化回路7aの出力であるマクロブロック単位の量子化ス
テップパラメータ212は、出力端子2aより出力され
る。
【0038】図3は本発明の第1の実施例における量子
化制御方式で参照される複雑度と発生符号量の概略関係
を示す図である。
化制御方式で参照される複雑度と発生符号量の概略関係
を示す図である。
【0039】以下、動作について説明する。近年、映像
信号の高能率符号化装置の開発は、HDTV信号を始め
とする高解像度なシステムの開発に移行しつつある。こ
のとき、高解像度システムは、必然的に高速な処理を要
求することになる。一般には、並列処理を採用すること
により、高速性を補うことになる。図1は第1の実施例
における映像信号の主要階層構造を示す図であり、図1
(b)は図1(a)におけるピクチャを縦にS個に分割
している図である。このとき、分割されたS個の領域を
各々サブピクチャと呼び、各サブピクチャが並列処理を
行う単位となる。尚、サブピクチャの分割領域はこの例
のみに従うものではない。図1(c)は、各サブピクチ
ャを更に各々L個に分割している図である。このとき、
各サブピクチャ内において、分割されたL個の領域を各
々GOB(Group of Block)と呼ぶ。
尚、GOBの分割領域はこの例にのみ従うものではな
い。また、図1(d)のように、各サブピクチャの同じ
位置に存在するGOBを総括してスライスと呼ぶ。尚、
GOBの下位の階層として、従来例と同様に、マクロブ
ロックおよびブロックが存在する。並列処理の場合にお
いても、画面内の位置に依存する画質劣化を生じさせな
いために、量子化制御は、各サブピクチャを一括して、
すなわちピクチャとして扱う必要がある。このとき、基
本的に、各サブピクチャの同じ位置に存在するGOB
が、同時刻に処理される場合には、量子化制御は、スラ
イス単位で処理されることになる。尚、スライスは、同
時刻に処理される領域を一括することが目的であり、分
割領域はこの例にのみ従うものではない。
信号の高能率符号化装置の開発は、HDTV信号を始め
とする高解像度なシステムの開発に移行しつつある。こ
のとき、高解像度システムは、必然的に高速な処理を要
求することになる。一般には、並列処理を採用すること
により、高速性を補うことになる。図1は第1の実施例
における映像信号の主要階層構造を示す図であり、図1
(b)は図1(a)におけるピクチャを縦にS個に分割
している図である。このとき、分割されたS個の領域を
各々サブピクチャと呼び、各サブピクチャが並列処理を
行う単位となる。尚、サブピクチャの分割領域はこの例
のみに従うものではない。図1(c)は、各サブピクチ
ャを更に各々L個に分割している図である。このとき、
各サブピクチャ内において、分割されたL個の領域を各
々GOB(Group of Block)と呼ぶ。
尚、GOBの分割領域はこの例にのみ従うものではな
い。また、図1(d)のように、各サブピクチャの同じ
位置に存在するGOBを総括してスライスと呼ぶ。尚、
GOBの下位の階層として、従来例と同様に、マクロブ
ロックおよびブロックが存在する。並列処理の場合にお
いても、画面内の位置に依存する画質劣化を生じさせな
いために、量子化制御は、各サブピクチャを一括して、
すなわちピクチャとして扱う必要がある。このとき、基
本的に、各サブピクチャの同じ位置に存在するGOB
が、同時刻に処理される場合には、量子化制御は、スラ
イス単位で処理されることになる。尚、スライスは、同
時刻に処理される領域を一括することが目的であり、分
割領域はこの例にのみ従うものではない。
【0040】図2は本発明の第1の実施例における量子
化制御方式の一例を説明するための図であり、本実施例
は、基本的には基準固定レート期間として1ピクチャ期
間を、基準制御期間として1スライス期間を採用してお
り、量子化制御は上記主要階層構造に基づき、以下の手
順にて行われる。 次のピクチャの各スライスの符号化で使用可能なビッ
ト量(ターゲットビット量)を推定する。 上記推定されたターゲットビット量と実際に発生した
符号量をもとにマクロブロック毎の量子化ステップパラ
メータの参照値を設定する。 マクロブロック毎の画像の特徴に応じて、上記量子化
ステップパラメータの参照値を変化させ、最終的なマク
ロブロック毎の量子化ステップパラメータを決定する。
本実施例では、並列処理を行う場合、あるいは画面を分
割して周期的リフレッシュを行う場合をも考慮する。そ
のため、本実施例においては、GOBを基本単位として
説明する。
化制御方式の一例を説明するための図であり、本実施例
は、基本的には基準固定レート期間として1ピクチャ期
間を、基準制御期間として1スライス期間を採用してお
り、量子化制御は上記主要階層構造に基づき、以下の手
順にて行われる。 次のピクチャの各スライスの符号化で使用可能なビッ
ト量(ターゲットビット量)を推定する。 上記推定されたターゲットビット量と実際に発生した
符号量をもとにマクロブロック毎の量子化ステップパラ
メータの参照値を設定する。 マクロブロック毎の画像の特徴に応じて、上記量子化
ステップパラメータの参照値を変化させ、最終的なマク
ロブロック毎の量子化ステップパラメータを決定する。
本実施例では、並列処理を行う場合、あるいは画面を分
割して周期的リフレッシュを行う場合をも考慮する。そ
のため、本実施例においては、GOBを基本単位として
説明する。
【0041】以下、詳細に述べる。前記第1の手順とし
て、次のピクチャの各スライスの符号化で使用可能なビ
ット量を推定する。この作業にあたり、本実施例では、
各GOBに対し、絵柄ターゲット複雑度と動きターゲッ
ト複雑度の二者を定義する。絵柄ターゲット複雑度は、
画像内信号パワーに基づき定義されるターゲット複雑度
であり、動きターゲット複雑度は、画像間信号パワーに
基づき定義される複雑度である。
て、次のピクチャの各スライスの符号化で使用可能なビ
ット量を推定する。この作業にあたり、本実施例では、
各GOBに対し、絵柄ターゲット複雑度と動きターゲッ
ト複雑度の二者を定義する。絵柄ターゲット複雑度は、
画像内信号パワーに基づき定義されるターゲット複雑度
であり、動きターゲット複雑度は、画像間信号パワーに
基づき定義される複雑度である。
【0042】画像内信号パワーEintは、たとえば、マク
ロブロック単位に以下のように定義される。該マクロブ
ロックサイズをP(画素)×Q(ライン)とし、該マク
ロブロックの(p,q)成分の信号値をV(p,q)と
したとき、 P,Q:マクロブロックサイズを表す定数 p,q:マクロブロック内の位置を表す定数
ロブロック単位に以下のように定義される。該マクロブ
ロックサイズをP(画素)×Q(ライン)とし、該マク
ロブロックの(p,q)成分の信号値をV(p,q)と
したとき、 P,Q:マクロブロックサイズを表す定数 p,q:マクロブロック内の位置を表す定数
【0043】
【数2】
【0044】とする。尚、画像内信号パワーEintは、入
力画像の絵柄の複雑度を表わす指標であれば、特に上記
定義に従わなくてもよい。たとえば、入力信号を変換符
号化し、変換係数毎に特定の量子化を施した後の直流成
分を除く変換係数の絶対値和あるいは絶対値二乗和等で
もよい。
力画像の絵柄の複雑度を表わす指標であれば、特に上記
定義に従わなくてもよい。たとえば、入力信号を変換符
号化し、変換係数毎に特定の量子化を施した後の直流成
分を除く変換係数の絶対値和あるいは絶対値二乗和等で
もよい。
【0045】画像間信号パワーEmc は、たとえば、マク
ロブロック単位に以下のように定義される。該マクロブ
ロックサイズをP×Qとし、該マクロブロックの(p,
q)成分の信号値をV(p,q)とし、該マクロブロッ
クの動き補償予測ブロックの(p,q)成分の信号値を
R(p,q)としたとき、
ロブロック単位に以下のように定義される。該マクロブ
ロックサイズをP×Qとし、該マクロブロックの(p,
q)成分の信号値をV(p,q)とし、該マクロブロッ
クの動き補償予測ブロックの(p,q)成分の信号値を
R(p,q)としたとき、
【0046】
【数3】
【0047】とする。尚、画像間信号パワーEmc は、入
力画像の動きの複雑度を表わす指標であれば、特に上記
定義に従わなくてもよい。たとえば、動き補償予測後の
信号を変換符号化し、変換係数毎に特定の量子化を施し
た後の絶対値和あるいは絶対値二乗和等でもよい。
力画像の動きの複雑度を表わす指標であれば、特に上記
定義に従わなくてもよい。たとえば、動き補償予測後の
信号を変換符号化し、変換係数毎に特定の量子化を施し
た後の絶対値和あるいは絶対値二乗和等でもよい。
【0048】第fピクチャの第h スライスの第sサブピ
クチャの絵柄ターゲット複雑度Yint(f,h,s)および動き
ターゲット複雑度Ymc(f,h,s)は、関数fintおよび関数fm
cを用いて、以下のように定義される。 Yint(f,h,s) = fint( GOBaverage_Eint(f-1,h,s), Q(f,
h,s) ) Ymc (f,h,s) = fmc ( GOBaverage_Emc (f-1,h,s), Q(f,
h,s) ) このとき、GOBaverage_Eint(f-1,l,s)およびGOBaverage
_Emc(f-1,l,s) は、第f−1ピクチャの第lスライスの
第sサブピクチャの平均Eintおよび平均Emc であり、Q
(f,h,s)は、第fピクチャの第lスライスの第sサブピ
クチャで実際に使用された量子かステップパラメータの
平均値である。また、ハードウェア構成による遅延によ
り、GOBaverage_Eint(f-1,h,s)あるいはGOBaverage_Emc
(f-1,h,s)が使用できない場合には、以下のように定義
される。 Yint(f,h,s) = fint( GOBaverage_Eint(f-2,h,s), Q(f,
h,s) ) Ymc (f,h,s) = fmc ( GOBaverage_Emc (f-2,h,s), Q(f,
h,s) )
クチャの絵柄ターゲット複雑度Yint(f,h,s)および動き
ターゲット複雑度Ymc(f,h,s)は、関数fintおよび関数fm
cを用いて、以下のように定義される。 Yint(f,h,s) = fint( GOBaverage_Eint(f-1,h,s), Q(f,
h,s) ) Ymc (f,h,s) = fmc ( GOBaverage_Emc (f-1,h,s), Q(f,
h,s) ) このとき、GOBaverage_Eint(f-1,l,s)およびGOBaverage
_Emc(f-1,l,s) は、第f−1ピクチャの第lスライスの
第sサブピクチャの平均Eintおよび平均Emc であり、Q
(f,h,s)は、第fピクチャの第lスライスの第sサブピ
クチャで実際に使用された量子かステップパラメータの
平均値である。また、ハードウェア構成による遅延によ
り、GOBaverage_Eint(f-1,h,s)あるいはGOBaverage_Emc
(f-1,h,s)が使用できない場合には、以下のように定義
される。 Yint(f,h,s) = fint( GOBaverage_Eint(f-2,h,s), Q(f,
h,s) ) Ymc (f,h,s) = fmc ( GOBaverage_Emc (f-2,h,s), Q(f,
h,s) )
【0049】上記定義において、関数fint及びfmc は、
以下のように定められる。図3(a)は、第fピクチャ
の第lスライスの第sサブピクチャのGOBaverage_Eint
(f,h,s)と上記GOBを画像内符号化した場合の発生符
号量Sint(f,h,s) の概略関係を示す図であり、図3
(b)は、第fピクチャの第lスライスの第s相のGOBa
verage_Emc(f,h,s) と上記GOBを画像間符号化した場
合の発生符号量Smc(f,h,s)の概略関係を示す図である。
図より明らかなように、GOBaverage_Eint( f,h,s)とQ
(f,h,s) からSint(f,h,s) を推定することが可能であ
る。この推定発生符号量が絵柄ターゲット複雑度Yintで
ある。また、同様にSmc(f,h,s)も推定可能であり、この
推定発生量が動きターゲット複雑度Ymcである。関数fin
tおよびfmcは、上記定量的性質に基づき定められる。
以下のように定められる。図3(a)は、第fピクチャ
の第lスライスの第sサブピクチャのGOBaverage_Eint
(f,h,s)と上記GOBを画像内符号化した場合の発生符
号量Sint(f,h,s) の概略関係を示す図であり、図3
(b)は、第fピクチャの第lスライスの第s相のGOBa
verage_Emc(f,h,s) と上記GOBを画像間符号化した場
合の発生符号量Smc(f,h,s)の概略関係を示す図である。
図より明らかなように、GOBaverage_Eint( f,h,s)とQ
(f,h,s) からSint(f,h,s) を推定することが可能であ
る。この推定発生符号量が絵柄ターゲット複雑度Yintで
ある。また、同様にSmc(f,h,s)も推定可能であり、この
推定発生量が動きターゲット複雑度Ymcである。関数fin
tおよびfmcは、上記定量的性質に基づき定められる。
【0050】ところで、本実施例では、周期的リフレシ
ュとして、画面一括リフレシュと画面分割リフレシュの
両者を想定している。また、画面分割リフレシュ領域
は、スライス単位であると仮定する。すなわち、スライ
ス単位で、画像内符号化される場合が存在すると考えて
よい。以上を踏まえ、最終的な第fピクチャの第lスラ
イスの第s相のターゲット複雑度Y(f,h,s)は、該GOB
の属するスライスが画像内符号化スライスであるか否か
により、以下のように定義される。 If (該GOBの属するスライスタイプが画面内符号化
スライスである) Then Y(f,h,s) = Yint(f,h,s) Else Y(f,h,s) = Ymc (f,h,s)
ュとして、画面一括リフレシュと画面分割リフレシュの
両者を想定している。また、画面分割リフレシュ領域
は、スライス単位であると仮定する。すなわち、スライ
ス単位で、画像内符号化される場合が存在すると考えて
よい。以上を踏まえ、最終的な第fピクチャの第lスラ
イスの第s相のターゲット複雑度Y(f,h,s)は、該GOB
の属するスライスが画像内符号化スライスであるか否か
により、以下のように定義される。 If (該GOBの属するスライスタイプが画面内符号化
スライスである) Then Y(f,h,s) = Yint(f,h,s) Else Y(f,h,s) = Ymc (f,h,s)
【0051】上記各GOBのターゲット複雑度に基づ
き、各スライスのターゲット複雑度が定義される。第f
フレームの第lスライスのターゲット複雑度Y(f,h)は、
以下のように定義される。 Y(f,h) = Y(f,h,1)+Y(f,h,2)+…+Y(f,h,S) (S;サ
ブピクチャ数)
き、各スライスのターゲット複雑度が定義される。第f
フレームの第lスライスのターゲット複雑度Y(f,h)は、
以下のように定義される。 Y(f,h) = Y(f,h,1)+Y(f,h,2)+…+Y(f,h,S) (S;サ
ブピクチャ数)
【0052】次に、上記各スライスのターゲット複雑度
およびバッファ残量に基づき、次のピクチャの各スライ
スで使用可能なビット量(ターゲットビット量)を推定
する。第fピクチャの各スライスのターゲットビット量
T(f,h)(1≦l≦L)は、第f−1ピクチャの符号化完
了後、以下のように想定される。 T(f,h) = [ Y(f,h) / { Y(f,1)+Y(f,2)+…+Y(f,L) } ]
× [ BIT_RATE/PICTURE_RATE - { BE(f,1) - BIT_RATE
×TE } ] ただし、Y(f,h,s)を求める過程において、Q(f,h,s)を用
いず、Q(f-1,L,s)を用いることとする。このとき、 BIT_RATE:伝送レート PICTURE_RATE:1秒あたりのピクチャ数 TE:基準蓄積時間定数 であり、また、BE(f,h) は、第fピクチャの第lスライ
スを符号化する直前の送信バッファ残量を示す。
およびバッファ残量に基づき、次のピクチャの各スライ
スで使用可能なビット量(ターゲットビット量)を推定
する。第fピクチャの各スライスのターゲットビット量
T(f,h)(1≦l≦L)は、第f−1ピクチャの符号化完
了後、以下のように想定される。 T(f,h) = [ Y(f,h) / { Y(f,1)+Y(f,2)+…+Y(f,L) } ]
× [ BIT_RATE/PICTURE_RATE - { BE(f,1) - BIT_RATE
×TE } ] ただし、Y(f,h,s)を求める過程において、Q(f,h,s)を用
いず、Q(f-1,L,s)を用いることとする。このとき、 BIT_RATE:伝送レート PICTURE_RATE:1秒あたりのピクチャ数 TE:基準蓄積時間定数 であり、また、BE(f,h) は、第fピクチャの第lスライ
スを符号化する直前の送信バッファ残量を示す。
【0053】また、符号化開始直後の初期状態におい
て、すべてのY(f,h)が定義できない場合には、T(f,h)は
以下のように定義される。 T(f,h) = [ 1/L ]× [ BIT_RATE/PICTURE_RATE - { BE
(f,1) - BI_RATET×TE } ] また、初期状態におけるBE(f,1)は、たとえば、以下の
ように定義する。 BE(f,h) = BIT_RATE/PICTURE_RATE また、ハードウェア構成による遅延により、BE(f,1) が
使用できない場合には、たとえば、使用可能な最新のバ
ッファ残量を使用する。
て、すべてのY(f,h)が定義できない場合には、T(f,h)は
以下のように定義される。 T(f,h) = [ 1/L ]× [ BIT_RATE/PICTURE_RATE - { BE
(f,1) - BI_RATET×TE } ] また、初期状態におけるBE(f,1)は、たとえば、以下の
ように定義する。 BE(f,h) = BIT_RATE/PICTURE_RATE また、ハードウェア構成による遅延により、BE(f,1) が
使用できない場合には、たとえば、使用可能な最新のバ
ッファ残量を使用する。
【0054】次に、前記第2の手順として、上記推定さ
れたターゲットビット量と実際に発生した符号量をもと
にマクロブロック毎の量子化ステップパラメータの参照
値を設定する。参照値設定にあたり、仮想バッファを想
定する。仮想バッファは、概略的には、上記ターゲット
ビット量と実際の発生符号量の差を蓄積するバッファで
ある。本実施例では、1つの仮想バッファが想定され
る。第fフレームの第lスライスを符号化する直前の仮
想バッファの占有率d(f,h)は、以下のように定義され
る。 d(f,h) = { S(1,1)+S(1,2)+…+S(1,L)+S(2,1)+S(2,2)+
…+S(2,L)…+S(f-1,1)+S(f-1,2)+…+S(f-1,L)+S(f,1)+S
(f,2)+…+S(f,h-1) }-{ T(1,1)+T(1,2)+…+T(1,L)+T(2,
1)+T(2,2)+…+T(2,L)…+T(f-1,1)+T(f-1,2)+…+T(f-1,
L)+T(f,1)+T(f,2)+…+T(f,h-1) } このとき、S(f-1,h)は、第fピクチャの第lスライスに
おける実際の発生符号量である。また、ハードウェア構
成によりS(x,y)が使用できない場合には、S(x,y)は、た
とえば以下のように定義される。 S(x,y) = Y(x,y) 尚、S(x,y)は使用可能になり次第、本来の値を適用す
る。
れたターゲットビット量と実際に発生した符号量をもと
にマクロブロック毎の量子化ステップパラメータの参照
値を設定する。参照値設定にあたり、仮想バッファを想
定する。仮想バッファは、概略的には、上記ターゲット
ビット量と実際の発生符号量の差を蓄積するバッファで
ある。本実施例では、1つの仮想バッファが想定され
る。第fフレームの第lスライスを符号化する直前の仮
想バッファの占有率d(f,h)は、以下のように定義され
る。 d(f,h) = { S(1,1)+S(1,2)+…+S(1,L)+S(2,1)+S(2,2)+
…+S(2,L)…+S(f-1,1)+S(f-1,2)+…+S(f-1,L)+S(f,1)+S
(f,2)+…+S(f,h-1) }-{ T(1,1)+T(1,2)+…+T(1,L)+T(2,
1)+T(2,2)+…+T(2,L)…+T(f-1,1)+T(f-1,2)+…+T(f-1,
L)+T(f,1)+T(f,2)+…+T(f,h-1) } このとき、S(f-1,h)は、第fピクチャの第lスライスに
おける実際の発生符号量である。また、ハードウェア構
成によりS(x,y)が使用できない場合には、S(x,y)は、た
とえば以下のように定義される。 S(x,y) = Y(x,y) 尚、S(x,y)は使用可能になり次第、本来の値を適用す
る。
【0055】上記仮想バッファの占有率を量子化ステッ
プパラメータに対応させることにより量子化ステップパ
ラメータの変更を行う。たとえば、スライス単位に設定
されたターゲットビット量と実際の発生量の差がなけれ
ば、仮想バッファ占有率は変動せず、量子化ステップパ
ラメータは変動しない。仮に、上記二者に差があれば、
仮想バッファ占有率の変動を生じさせ、その変動に応じ
量子化ステップパラメータの修正が施される。たとえ
ば、発生符号量がターゲットビット量を上回った場合、
その差分が仮想バッファ占有率の増加量となる。仮想バ
ッファ占有率は量子化ステップパラメータに対応してお
り、仮想バッファ占有率の増加は、量子化ステップパラ
メータの増加につながる。量子化ステップパラメータの
増加は、以降の発生符号量を減少させることになる。
プパラメータに対応させることにより量子化ステップパ
ラメータの変更を行う。たとえば、スライス単位に設定
されたターゲットビット量と実際の発生量の差がなけれ
ば、仮想バッファ占有率は変動せず、量子化ステップパ
ラメータは変動しない。仮に、上記二者に差があれば、
仮想バッファ占有率の変動を生じさせ、その変動に応じ
量子化ステップパラメータの修正が施される。たとえ
ば、発生符号量がターゲットビット量を上回った場合、
その差分が仮想バッファ占有率の増加量となる。仮想バ
ッファ占有率は量子化ステップパラメータに対応してお
り、仮想バッファ占有率の増加は、量子化ステップパラ
メータの増加につながる。量子化ステップパラメータの
増加は、以降の発生符号量を減少させることになる。
【0056】上記仮想バッファ占有率d(f,h)に基づき、
第fピクチャの第lスライスの量子化ステップパラメー
タの参照値Qr(f,h) は、関数fqを用いて以下のように算
出される。 Qr(f,h) = fq( d(f,h) ) 関数fqは、たとえば、 Qr(f,h) = 31×{ d(f,h)/r } ただし、r = BIT_RATE
/PICTURE_RATE あるいは、 Qr(m,n) = 31×d(f,h)/r ただし、r = BIT_RATE
/PICTURE_RATE が考えられる。あるいは、発生符号量と量子化ステップ
パラメータの定量的性質に基づき定められる。
第fピクチャの第lスライスの量子化ステップパラメー
タの参照値Qr(f,h) は、関数fqを用いて以下のように算
出される。 Qr(f,h) = fq( d(f,h) ) 関数fqは、たとえば、 Qr(f,h) = 31×{ d(f,h)/r } ただし、r = BIT_RATE
/PICTURE_RATE あるいは、 Qr(m,n) = 31×d(f,h)/r ただし、r = BIT_RATE
/PICTURE_RATE が考えられる。あるいは、発生符号量と量子化ステップ
パラメータの定量的性質に基づき定められる。
【0057】次に前記第3の手順として、上記Qr(g,f,
m) に基づき、最終的なマクロブロック毎の量子化ステ
ップパラメータを決定する。本実施例では、マクロブロ
ック毎の原信号のパワーに基づき適応量子化係数K(g,f,
m)を求め、以下のように最終的なマクロブロック毎の量
子化ステップパラメータQ(g,f,m)を算出する。 Q(g,f,m) = Qr(g,f,m) × K(g,f,m)
m) に基づき、最終的なマクロブロック毎の量子化ステ
ップパラメータを決定する。本実施例では、マクロブロ
ック毎の原信号のパワーに基づき適応量子化係数K(g,f,
m)を求め、以下のように最終的なマクロブロック毎の量
子化ステップパラメータQ(g,f,m)を算出する。 Q(g,f,m) = Qr(g,f,m) × K(g,f,m)
【0058】実施例2.以下、本発明の第2の実施例に
ついて説明する。第2の実施例は、ターゲット複雑度の
算出過程が第1の実施例と異なる。第1の実施例では、
暗黙のうちに該GOBを画像内符号化あるいは画像間符
号化の2者に分類し、ターゲット複雑度を算出してい
た。(このとき、正確には後者は、画像間符号化と画像
内符号化のハイブリッド符号化である。)しかしなが
ら、実際には、1つのGOB内に画像内符号化を行うマ
クロブロックと画像間符号化を行うマクロブロックが混
在する場合もある。これを踏まえ、第fピクチャの第l
スライスの第sサブブロックのターゲット複雑度Y(f,h,
s) は、関数fintandmcを用いて、以下のように定義され
る。 Y(f,h,s) = fintandmc( GOBaverage_Eint(f-1,h,s), Ei
nt_num(f-1,h,s),GOBaverage_Emc (f-1,h,s), Emc_num
(f-1,h,s),Q(f,h,s) ) このとき、 Eint_num(f-1,h,s) : 該GOBにおける画像内符号
化マクロブロック数 Emc_num(f-1,h,s) : 該GOBにおける画像間符号
化マクロブロック数 である。たとえば、関数fintandmc は、第1の実施例の
ように定量的性質に基づき定められる。
ついて説明する。第2の実施例は、ターゲット複雑度の
算出過程が第1の実施例と異なる。第1の実施例では、
暗黙のうちに該GOBを画像内符号化あるいは画像間符
号化の2者に分類し、ターゲット複雑度を算出してい
た。(このとき、正確には後者は、画像間符号化と画像
内符号化のハイブリッド符号化である。)しかしなが
ら、実際には、1つのGOB内に画像内符号化を行うマ
クロブロックと画像間符号化を行うマクロブロックが混
在する場合もある。これを踏まえ、第fピクチャの第l
スライスの第sサブブロックのターゲット複雑度Y(f,h,
s) は、関数fintandmcを用いて、以下のように定義され
る。 Y(f,h,s) = fintandmc( GOBaverage_Eint(f-1,h,s), Ei
nt_num(f-1,h,s),GOBaverage_Emc (f-1,h,s), Emc_num
(f-1,h,s),Q(f,h,s) ) このとき、 Eint_num(f-1,h,s) : 該GOBにおける画像内符号
化マクロブロック数 Emc_num(f-1,h,s) : 該GOBにおける画像間符号
化マクロブロック数 である。たとえば、関数fintandmc は、第1の実施例の
ように定量的性質に基づき定められる。
【0059】実施例3.以下、本発明の第3の実施例に
ついて説明する。第3の実施例は、ターゲット複雑度算
出の過程が第1の実施例と異なる。図4は本発明の第3
の実施例における量子化制御方式の一例を説明するため
の概略ブロック図である。図において、入力端子1hか
ら入力された参照量子化ステップパラメータ401は、
ターゲット複雑度算出回路3bの第1の入力に、入力端
子1iから入力された発生符号量402は、ターゲット
複雑度算出回路3bの第2の入力に、入力端子1jから
入力されたタイプ識別信号403は、ターゲット複雑度
算出回路3bの第3の入力に与えられる。ターゲット複
雑度算出回路3bの出力404は、ターゲットビット量
算出回路4bの第1の入力に与えられ、入力端子1kか
ら入力されたバッファ残量405はターゲットビット量
算出回路4bの第2の入力に与えられる。ターゲット量
算出回路4bの出力であるターゲットビット量406
は、仮想バッファ残量算出回路5bの第1の入力に、入
力端子1hから入力された発生符号量407は仮想バッ
ファ残量算出回路5bの第2の入力に与えられる。仮想
バッファ残量算出回路5bの出力408は量子化ステッ
プパラメータ算出回路6bの入力に支えられる。量子化
ステップパラメータ算出回路6bの出力である参照量子
化ステップパラメータ409は適応量子化回路7bの第
1の入力に与えられる。適応量子化回路7bの第2の入
力には、入力端子1mより適応量子化係数410が与え
られる。適応量子化回路7bの出力であるマクロブロッ
ク単位の量子化ステップパラメータ411は、出力端子
2bより出力される。
ついて説明する。第3の実施例は、ターゲット複雑度算
出の過程が第1の実施例と異なる。図4は本発明の第3
の実施例における量子化制御方式の一例を説明するため
の概略ブロック図である。図において、入力端子1hか
ら入力された参照量子化ステップパラメータ401は、
ターゲット複雑度算出回路3bの第1の入力に、入力端
子1iから入力された発生符号量402は、ターゲット
複雑度算出回路3bの第2の入力に、入力端子1jから
入力されたタイプ識別信号403は、ターゲット複雑度
算出回路3bの第3の入力に与えられる。ターゲット複
雑度算出回路3bの出力404は、ターゲットビット量
算出回路4bの第1の入力に与えられ、入力端子1kか
ら入力されたバッファ残量405はターゲットビット量
算出回路4bの第2の入力に与えられる。ターゲット量
算出回路4bの出力であるターゲットビット量406
は、仮想バッファ残量算出回路5bの第1の入力に、入
力端子1hから入力された発生符号量407は仮想バッ
ファ残量算出回路5bの第2の入力に与えられる。仮想
バッファ残量算出回路5bの出力408は量子化ステッ
プパラメータ算出回路6bの入力に支えられる。量子化
ステップパラメータ算出回路6bの出力である参照量子
化ステップパラメータ409は適応量子化回路7bの第
1の入力に与えられる。適応量子化回路7bの第2の入
力には、入力端子1mより適応量子化係数410が与え
られる。適応量子化回路7bの出力であるマクロブロッ
ク単位の量子化ステップパラメータ411は、出力端子
2bより出力される。
【0060】以下、動作について説明する。第3の実施
例は、ターゲット複雑度算出の過程が第3の実施例と異
なる。第1の実施例と同様に、第1の手順として、次の
ピクチャの各スライスで使用可能なビット量を推定す
る。図5は本発明の第3の実施例における量子化制御方
式のスライスのタイプの概念図であり、図5(a)は、
画面分割周期的リフレッシュの一例を示している。一般
に、ターゲット複雑度の算出は、該GOBと画面上にお
いて同じ位置に存在した過去のピクチャにおけるGOB
の情報を参照して行われる。このとき、画面分割周期的
リフレッシュの場合には、必ずしも上記参照GOBの情
報をそのまま用いることはできない。なぜならば、該G
OBおよび上記参照GOBの属するスライスのタイプ
(たとえば、画像内符号化スライスか否か)によって、
たとえば発生符号量は大きく異なってくる。図5(b)
のように、第3の実施例では、たとえば、3種類のスラ
イスタイプの組合わせが考えられる。
例は、ターゲット複雑度算出の過程が第3の実施例と異
なる。第1の実施例と同様に、第1の手順として、次の
ピクチャの各スライスで使用可能なビット量を推定す
る。図5は本発明の第3の実施例における量子化制御方
式のスライスのタイプの概念図であり、図5(a)は、
画面分割周期的リフレッシュの一例を示している。一般
に、ターゲット複雑度の算出は、該GOBと画面上にお
いて同じ位置に存在した過去のピクチャにおけるGOB
の情報を参照して行われる。このとき、画面分割周期的
リフレッシュの場合には、必ずしも上記参照GOBの情
報をそのまま用いることはできない。なぜならば、該G
OBおよび上記参照GOBの属するスライスのタイプ
(たとえば、画像内符号化スライスか否か)によって、
たとえば発生符号量は大きく異なってくる。図5(b)
のように、第3の実施例では、たとえば、3種類のスラ
イスタイプの組合わせが考えられる。
【0061】以上を踏まえ、第3の実施例では、たとえ
ば以下のように3種類のターゲット複雑度が定義され
る。第fピクチャの第hスライスの第sサブブロックの
イントラ/ノンイントラターゲット複雑度Yint/mc(f,h,
s),ノンイントラ/イントラターゲット複雑度Ymc/int
(f,h,s)およびノンイントラ/ノンイントラターゲット
複雑度Ymc/mc(f,h,s) は、関数fint/mc,関数fmc/intお
よび関数fmc/mcを用いて、以下のように定義される。 Yint/mc(f,h,s) = fint/mc( S(f-1,h,s), Q(f-1,h,s),
Q(f,h,s) ) Ymc/int(f,h,s) = fmc/int( S(f-1,h,s), Q(f-1,h,s),
Q(f,h,s) ) Ymc/mc (f,h,s) = fmc/mc ( S(f-1,h,s), Q(f-1,h,s),
Q(f,h,s) ) このとき、 S(f-1,h,s)は、第f−1ピクチャの第lス
ライスの第sサブブロックにおける発生符号量であり、
Q(f-1,h,s)は、第f−1ピクチャの第lスライスの第s
サブピクチャで実際に使用された量子化ステップパラメ
ータである。
ば以下のように3種類のターゲット複雑度が定義され
る。第fピクチャの第hスライスの第sサブブロックの
イントラ/ノンイントラターゲット複雑度Yint/mc(f,h,
s),ノンイントラ/イントラターゲット複雑度Ymc/int
(f,h,s)およびノンイントラ/ノンイントラターゲット
複雑度Ymc/mc(f,h,s) は、関数fint/mc,関数fmc/intお
よび関数fmc/mcを用いて、以下のように定義される。 Yint/mc(f,h,s) = fint/mc( S(f-1,h,s), Q(f-1,h,s),
Q(f,h,s) ) Ymc/int(f,h,s) = fmc/int( S(f-1,h,s), Q(f-1,h,s),
Q(f,h,s) ) Ymc/mc (f,h,s) = fmc/mc ( S(f-1,h,s), Q(f-1,h,s),
Q(f,h,s) ) このとき、 S(f-1,h,s)は、第f−1ピクチャの第lス
ライスの第sサブブロックにおける発生符号量であり、
Q(f-1,h,s)は、第f−1ピクチャの第lスライスの第s
サブピクチャで実際に使用された量子化ステップパラメ
ータである。
【0062】また、ハードウェア構成による遅延によ
り、GOBaverage_Eint(f-1,h,s)あるいはGOBaverage_Emc
(f-1,h,s)が使用できない場合には、以下のように定義
される。 Yint/mc(f,h,s) = fint/mc( S(f-2,h,s), Q(f-2,h,s),
Q(f,h,s) ) Ymc/int(f,h,s) = fmc/int( S(f-2,h,s), Q(f-2,h,s),
Q(f,h,s) ) Ymc/mc (f,h,s) = fmc/mc ( S(f-2,h,s), Q(f-2,h,s),
Q(f,h,s) )
り、GOBaverage_Eint(f-1,h,s)あるいはGOBaverage_Emc
(f-1,h,s)が使用できない場合には、以下のように定義
される。 Yint/mc(f,h,s) = fint/mc( S(f-2,h,s), Q(f-2,h,s),
Q(f,h,s) ) Ymc/int(f,h,s) = fmc/int( S(f-2,h,s), Q(f-2,h,s),
Q(f,h,s) ) Ymc/mc (f,h,s) = fmc/mc ( S(f-2,h,s), Q(f-2,h,s),
Q(f,h,s) )
【0063】以上を踏まえ、最終的な第fピクチャの第
lスライスの第sサブピクチャのターゲット複雑度Y(f,
h,s)は、第fピクチャの第lスライスの第sサブピクチ
ャのスライスタイプSliceType(f,h,s)および第f−1ピ
クチャの第lスライスの第sサブピクチャのスライスタ
イプSliceType(f-1,h,s)に応じ、以下のように定義され
る。 if (SliceType(f-1,h,s)が画像内符号化スライス)&
(SliceType(f,h,s)が画像間符号化スライス) then Y(f,h,s) = Yint/mc(f,h,s) if (SliceType(f-1,h,s)が画像間符号化スライス)&
(SliceType(f,h,s)が画像内符号化スライス) then Y(f,h,s) = Ymc/int(f,h,s) if (SliceType(f-1,h,s)が画像内符号化スライス)&
(SliceType(f,h,s)が画像内符号化スライス) then Y(f,h,s) = Ymc/mc(f,h,s)
lスライスの第sサブピクチャのターゲット複雑度Y(f,
h,s)は、第fピクチャの第lスライスの第sサブピクチ
ャのスライスタイプSliceType(f,h,s)および第f−1ピ
クチャの第lスライスの第sサブピクチャのスライスタ
イプSliceType(f-1,h,s)に応じ、以下のように定義され
る。 if (SliceType(f-1,h,s)が画像内符号化スライス)&
(SliceType(f,h,s)が画像間符号化スライス) then Y(f,h,s) = Yint/mc(f,h,s) if (SliceType(f-1,h,s)が画像間符号化スライス)&
(SliceType(f,h,s)が画像内符号化スライス) then Y(f,h,s) = Ymc/int(f,h,s) if (SliceType(f-1,h,s)が画像内符号化スライス)&
(SliceType(f,h,s)が画像内符号化スライス) then Y(f,h,s) = Ymc/mc(f,h,s)
【0064】上記定義において、関数fint/mc,関数fmc
/intおよび関数fmc/mcは、第1の実施例のように定量的
性質に基づき定められる。
/intおよび関数fmc/mcは、第1の実施例のように定量的
性質に基づき定められる。
【0065】実施例4.以下、本発明の第4の実施例に
ついて説明する。第4の実施例は、入力映像信号よりシ
ーンチェンジを検出し、量子化ステップパラメータを変
更する過程を含む。図6は本発明の第4の実施例におけ
る量子化制御方式の一例を説明するための概略ブロック
図である。図において、入力端子1tから入力された映
像信号610は、シーンチェンジ検出回路8に与えられ
る。シーンチェンジ検出回路8の出力611は、量子化
ステップパラメータ算出回路6cの第2の入力に与えら
れる。
ついて説明する。第4の実施例は、入力映像信号よりシ
ーンチェンジを検出し、量子化ステップパラメータを変
更する過程を含む。図6は本発明の第4の実施例におけ
る量子化制御方式の一例を説明するための概略ブロック
図である。図において、入力端子1tから入力された映
像信号610は、シーンチェンジ検出回路8に与えられ
る。シーンチェンジ検出回路8の出力611は、量子化
ステップパラメータ算出回路6cの第2の入力に与えら
れる。
【0066】次に、動作について説明する。一般に、シ
ーンチェンジ時には、発生符号量が増加する。急激な発
生符号量の変動は、不必要な量子化ステップパラメータ
の変動の原因となり易い。また、一般に、シーンチェン
ジ直後は、視覚解像度特性が劣化すると言われている。
第4の実施例は、画像の変化率を検出し、シーンチェン
ジ時には、意図的に発生符号量を通常状態程度におさえ
る動作を持つ。たとえば、画像変化率は、以下のように
検出される。第f−1ピクチャの(i,j)成分の画素
値をV(f-1,i,j)、第fピクチャの(i,j)成分の画素
値をV(f,i,j)としたとき、第fピクチャの画像変化率ch
ange(f)を以下のように定義する。
ーンチェンジ時には、発生符号量が増加する。急激な発
生符号量の変動は、不必要な量子化ステップパラメータ
の変動の原因となり易い。また、一般に、シーンチェン
ジ直後は、視覚解像度特性が劣化すると言われている。
第4の実施例は、画像の変化率を検出し、シーンチェン
ジ時には、意図的に発生符号量を通常状態程度におさえ
る動作を持つ。たとえば、画像変化率は、以下のように
検出される。第f−1ピクチャの(i,j)成分の画素
値をV(f-1,i,j)、第fピクチャの(i,j)成分の画素
値をV(f,i,j)としたとき、第fピクチャの画像変化率ch
ange(f)を以下のように定義する。
【0067】
【数4】
【0068】このとき、ピクチャあたりの画素数をI×
Jとする。たとえば、上記画像変化率change(f) を考慮
し、第fピクチャの仮想バッファの占有率に以下のごと
くオフセット量を与える。 d(f,1) = d(f,1) + fob( change(f) ) ただし、第fピクチャ終了時には、以下のごとくオフセ
ット量を減ずる。 d(f+1,1) = d(f+1,1) - fob( change(f) ) このとき、関数fob は、定量的性質に基づき定められ
る。あるいは、上記画像変化率change(f) を考慮し、第
fピクチャの参照量子化ステップパラメータに以下のご
とくオフセット量を与える。 Qr(f,h) = fq( d(f,h) ) + foq( Schange(f) ) このとき、関数foqは、定量的性質に基づき定められ
る。
Jとする。たとえば、上記画像変化率change(f) を考慮
し、第fピクチャの仮想バッファの占有率に以下のごと
くオフセット量を与える。 d(f,1) = d(f,1) + fob( change(f) ) ただし、第fピクチャ終了時には、以下のごとくオフセ
ット量を減ずる。 d(f+1,1) = d(f+1,1) - fob( change(f) ) このとき、関数fob は、定量的性質に基づき定められ
る。あるいは、上記画像変化率change(f) を考慮し、第
fピクチャの参照量子化ステップパラメータに以下のご
とくオフセット量を与える。 Qr(f,h) = fq( d(f,h) ) + foq( Schange(f) ) このとき、関数foqは、定量的性質に基づき定められ
る。
【0069】
【発明の効果】以上のように、本発明の請求項1によれ
ば、高解像度信号に対応可能な量子化制御方式が得られ
る効果がある。
ば、高解像度信号に対応可能な量子化制御方式が得られ
る効果がある。
【0070】本発明の請求項2によれば、画面を分割し
た周期的リフレッシュを行う場合に適した量子化制御方
式が得られる効果がある。
た周期的リフレッシュを行う場合に適した量子化制御方
式が得られる効果がある。
【0071】本発明の請求項3によれば、定量的性質に
基づく量子化制御方式が得られる効果がある。
基づく量子化制御方式が得られる効果がある。
【0072】本発明の請求項4によれば、定量的性質に
基づく量子化制御方式が得られる効果がある。
基づく量子化制御方式が得られる効果がある。
【0073】本発明の請求項5によれば、シーンチェン
ジへの対応も考慮した量子化制御方式が得られる効果が
ある。
ジへの対応も考慮した量子化制御方式が得られる効果が
ある。
【図1】本発明の第1の実施例における映像信号の主要
階層構造を示す図である。
階層構造を示す図である。
【図2】本発明の第1の実施例における量子化制御方式
の一例を説明するための概略ブロック図である。
の一例を説明するための概略ブロック図である。
【図3】本発明の第1の実施例における量子化制御方式
で参照される複雑度と発生符号量の概略関係を示す図で
ある。
で参照される複雑度と発生符号量の概略関係を示す図で
ある。
【図4】本発明の第3の実施例における量子化制御方式
の一例を説明するための概略ブロック図である。
の一例を説明するための概略ブロック図である。
【図5】本発明の第3の実施例における量子化制御方式
のスライスのタイプの概念図である。
のスライスのタイプの概念図である。
【図6】本発明の第4の実施例における量子化制御方式
の一例を説明するための概略ブロック図である。
の一例を説明するための概略ブロック図である。
【図7】従来の映像信号符号化方式を説明するための概
略ブロック図である。
略ブロック図である。
【図8】従来の映像信号符号化方式における量子化制御
方式の一例を説明するための概略ブロック図である。
方式の一例を説明するための概略ブロック図である。
【図9】リフレッシュ方式の概念図である。
1 入力端子 2 出力端子 3 ターゲット複雑度算出回路 4 ターゲットビット量算出回路 5 仮想バッファ残量算出回路 6 量子化ステップパラメータ算出回路 7 適応量子化回路 8 シーンチェンジ検出回路 9 減算器 10 DCT回路 11 量子化回路 12 逆量子化回路 13 IDCT回路 14 加算器 15 メモリ回路 16 動き補償予測回路 17 切り換え回路 18 可変長符号化回路 19 送信バッファ 20 複雑度算出回路 21 定数発生回路 22 仮想バッファ選択回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中井 隆洋 長岡京市馬場図所1番地 三菱電機株式会 社映像システム開発研究所内 (72)発明者 福原 隆浩 鎌倉市大船五丁目1番1号 三菱電機株式 会社通信システム研究所内
Claims (5)
- 【請求項1】 映像信号を符号化する映像信号符号化方
式であり、画像内符号化と画像間符号化を構成要素とす
る映像信号符号化方式であり、画面を分割して並列処理
する映像信号符号化方式であって、画面を一括して量子
化制御することを特徴とする映像信号符号化方式。 - 【請求項2】 映像信号を符号化する映像信号符号化方
式であり、画像内符号化と画像間符号化を構成要素とす
る映像信号符号化方式であって、画面を複数の領域に分
割し、上記領域毎に符号化画像の複雑度あるいは発生符
号量を推定することを特徴とする映像信号符号化方式。 - 【請求項3】 映像信号を符号化する映像信号符号化方
式であり、画像内符号化と画像間符号化を構成要素とす
る映像信号符号化方式であって、符号化画像の複雑度あ
るいは発生符号量の推定の指標として画像内信号パワー
と画像間信号パワーおよび量子化ステップパラメータを
用いることを特徴とする映像信号符号化方式。 - 【請求項4】 映像信号を符号化する映像信号符号化方
式であり、画像内符号化と画像間符号化を構成要素とす
る映像信号符号化方式であって、符号化画像の複雑度あ
るいは発生符号量の推定の指標として過去における画面
の発生符号量と過去における画面の量子化ステップパラ
メータおよび現在における画面の量子化ステップパラメ
ータを用いることを特徴とする映像信号符号化方式。 - 【請求項5】 映像信号を符号化する映像信号符号化方
式であり、画像内符号化と画像間符号化を構成要素とす
る映像信号符号化方式であって、画像の変化率を検出
し、上記変化率に基づき量子化ステップパラメータを制
御することを特徴とする映像信号符号化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26020893A JPH07115651A (ja) | 1993-10-18 | 1993-10-18 | 映像信号符号化方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26020893A JPH07115651A (ja) | 1993-10-18 | 1993-10-18 | 映像信号符号化方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07115651A true JPH07115651A (ja) | 1995-05-02 |
Family
ID=17344849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26020893A Pending JPH07115651A (ja) | 1993-10-18 | 1993-10-18 | 映像信号符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07115651A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072144A (ja) * | 2002-08-01 | 2004-03-04 | Sony Corp | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
| JP2008005337A (ja) * | 2006-06-23 | 2008-01-10 | Canon Inc | 画像符号化装置及び画像符号化方法 |
| US7522665B2 (en) | 2002-07-04 | 2009-04-21 | Lg Electronics Inc. | Mobile terminal with camera |
| US7801222B2 (en) | 2004-06-30 | 2010-09-21 | Lg Electronics Inc. | Coding image signal |
-
1993
- 1993-10-18 JP JP26020893A patent/JPH07115651A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7522665B2 (en) | 2002-07-04 | 2009-04-21 | Lg Electronics Inc. | Mobile terminal with camera |
| JP2004072144A (ja) * | 2002-08-01 | 2004-03-04 | Sony Corp | 符号化装置および符号化方法、プログラム、並びに記録媒体 |
| US7801222B2 (en) | 2004-06-30 | 2010-09-21 | Lg Electronics Inc. | Coding image signal |
| JP2008005337A (ja) * | 2006-06-23 | 2008-01-10 | Canon Inc | 画像符号化装置及び画像符号化方法 |
| US8259796B2 (en) | 2006-06-23 | 2012-09-04 | Canon Kabushiki Kaisha | Image coding apparatus and image coding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5963673A (en) | Method and apparatus for adaptively selecting a coding mode for video encoding | |
| JP3954656B2 (ja) | 画像符号化装置及び方法 | |
| US6819714B2 (en) | Video encoding apparatus that adjusts code amount by skipping encoding of image data | |
| JP4890263B2 (ja) | ディジタル・ピクチャ系列の符号化方法、復号化方法及び符号化装置 | |
| JP4694903B2 (ja) | 符号化方法およびこの方法を実施するための回路装置 | |
| JPH10322696A (ja) | 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法 | |
| JP4257655B2 (ja) | 動画像符号化装置 | |
| JP3508916B2 (ja) | 動画像可変ビットレート符号化方法および装置 | |
| JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
| KR100588795B1 (ko) | 부호화 장치 및 부호화 방법 | |
| JP3426668B2 (ja) | 動画像符号化方法 | |
| JP3173369B2 (ja) | 画像圧縮符号化装置 | |
| JP2001128179A (ja) | 動画像符号化装置および方法 | |
| JPH07115651A (ja) | 映像信号符号化方式 | |
| JP3465316B2 (ja) | 映像信号符号化方法 | |
| JP3812269B2 (ja) | 動画像符号化装置及びその方法 | |
| JP4911625B2 (ja) | 画像処理装置、およびそれを搭載した撮像装置 | |
| JPH07322245A (ja) | 映像信号符号化方式 | |
| JPH07177513A (ja) | 映像信号符号化方式 | |
| JPH11205803A (ja) | 符号化装置及び符号化方法 | |
| JPH0775095A (ja) | レート制御回路 | |
| JP4359273B2 (ja) | 符号化モード選択方法 | |
| JP4035747B2 (ja) | 符号化装置および符号化方法 | |
| JPH05308629A (ja) | 動画像符号化方式 | |
| JP4359274B2 (ja) | 動画像圧縮符号化装置 |