JP4987080B2 - 映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体 - Google Patents
映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4987080B2 JP4987080B2 JP2009523622A JP2009523622A JP4987080B2 JP 4987080 B2 JP4987080 B2 JP 4987080B2 JP 2009523622 A JP2009523622 A JP 2009523622A JP 2009523622 A JP2009523622 A JP 2009523622A JP 4987080 B2 JP4987080 B2 JP 4987080B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction error
- step size
- quantization step
- upper limit
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【技術分野】
【０００１】
本発明は、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を量子化ステップサイズで量子化して符号化する映像符号化装置およびその方法と、その映像符号化装置の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現する映像符号化装置およびその方法と、その映像符号化装置の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００７年７月１７日に出願された特願２００７−１８５３７４号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
国際符号化標準であるＨ.264の規格では、１マクロブロック当たりの上限符号量が定められている（例えば、非特許文献１参照）。
【０００３】
これから、Ｈ.264を実装する映像符号化装置では、１つのマクロブロックの発生符号量がこの上限符号量に入るようにと符号化を行う必要がある。
【０００４】
これを実現するには、一度符号化を行って発生符号量を計測して、その発生符号量が上限値を超える場合には、異なる符号化条件で再度符号化を行うようにする必要がある。
【０００５】
しかしながら、このような方法を用いると、符号化条件を変えて再度符号化を行う必要があることから、演算量や処理時間が増加するという問題がある。
【０００６】
これを解決する一つの方法として、符号化条件を変えた２種類以上の符号化モードについての符号化処理（直交変換や量子化や情報源符号化など）を同時に行うようにして、その中から、発生符号量が上限値を超えない符号化結果のものを選び出すという方法を用いることが考えられる。
【０００７】
しかしながら、このような方法を用いると、符号化条件を変えた２種類以上の符号化モードについての符号化処理を同時に行わなくてならないという問題があるとともに、発生符号量が上限値を超えない符号化結果が必ず得られるとは限らないという問題がある。
【０００８】
そこで、Ｈ.264規格では、どのような入力画像であっても、上限値以下のビット数でマクロブロックを確実に符号化できるように、画素値をそのまま非圧縮（量子化しないで）で伝送するパルス符号化変調モード（ＰＣＭモード）を用意するようにしている。
【０００９】
これを利用して、従来技術では、図１８に示すように、符号化モードを決定して符号化を行い、それに基づいて発生符号量を計測して、それが上限値よりも大きい場合には、ＰＣＭモードで再度符号化するようにしている。
【００１０】
一方、Ｈ.264で採用されている算術符号化方式は、従来の符号化テーブルによる符号化方法と異なり、瞬時に符号量の計測を行えないという特性がある。
【００１１】
このため、次のマクロブロックの処理が開始されてから、上限ビット数を超えることが確認される可能性がある。このようなことが起こると、パイプライン処理（並列実行処理）を行っている場合に処理遅延が発生してしまうという問題がある。
【００１２】
これから、マクロブロック単位のパイプライン処理を行うハードウェア実装において、上限ビット数を超えたマクロブロックの入力画像を上述したＰＣＭモードで再度符号化しようとすると、入力画像を符号化の最終段まで保存するために追加のメモリが必要になるなどといった問題がある。
【００１３】
そこで、マクロブロック単位のパイプライン処理を行うハードウェア実装において、上限ビット数を超えたマクロブロックについて、その入力画像ではなくて、エンコーダ内のローカル復号画像をＰＣＭモードで再度符号化するという技術が提案されている（例えば、非特許文献２参照）。
【非特許文献１】
ITU-T Rec.H.264, "Advanced video coding for generic audio visual services", pp. 249-256, 2003.
【非特許文献２】
蝶野慶一，仙田裕三，宮本義弘，「ローカル復号画像を用いたＨ.264ＭＢ上限ビット遵守ＰＣＭ符号化方法」, pp. 119-120, PCSJ2006.
【発明の開示】
【発明が解決しようとする課題】
【００１４】
前述したように、Ｈ.264を実装する映像符号化装置では、１つのマクロブロックの発生符号量が所定の上限符号量に入るようにと符号化を行う必要があり、これを実現する方法として、一度符号化を行って発生符号量を計測して、その発生符号量が上限値を超える場合には、異なる符号化条件で再度符号化を行うようにする方法がある。
【００１５】
しかしながら、このような方法を用いると、符号化条件を変えて再度符号化を行う必要があることから、演算量や処理時間が増加するという問題がある。
【００１６】
これを解決する一つの方法として、符号化条件を変えた２種類以上の符号化モードについての符号化処理を同時に行うようにして、その中から、発生符号量が上限値を超えない符号化結果のものを選び出すという方法を用いることが考えられる。
【００１７】
しかしながら、このような方法を用いると、符号化条件を変えた２種類以上の符号化モードについての符号化処理を同時に行わなくてならないという問題があるとともに、発生符号量が上限値を超えない符号化結果が必ず得られるとは限らないという問題がある。
【００１８】
そこで、従来技術では、前掲図１８に示すように、符号化モードを決定して符号化を行い、それに基づいて発生符号量を計測して、それが上限値よりも大きい場合には、ＰＣＭモードで再度符号化するようにしている。
【００１９】
しかしながら、このような従来技術では、ＰＣＭモードで再度符号化するよりも符号量の発生を抑えられる可能性があるのに、それについて無視してしまうという問題がある。
【００２０】
しかも、Ｈ.264で採用されている算術符号化方式では、瞬時に符号量の計測を行えないという特性があり、これがために、パイプライン処理を行うハードウェア実装において、処理遅延が発生してしまうという問題がある。
【００２１】
本発明はかかる事情に鑑みてなされたものであって、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現する新たな映像符号化技術の提供を目的とする。
課題を解決するための手段
［００２２］
この目的を達成するために、本発明の映像符号化装置は、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を所定の量子化ステップサイズで量子化して符号化するという構成を採るときに、（１）予測誤差信号の電力である予測誤差電力を算出する算出手段と、（２）算出手段の算出した予測誤差電力と、予め設定した符号化に用いる予定の量子化ステップサイズと、符号化対象領域の発生符号量の上限値とを入力として、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断する判断手段と、（３）判断手段の判断結果に基づいて、符号化処理を変更する変更手段とを備え、上記判断手段が、発生符号量の上限値と符号化に用いる予定の量子化ステップサイズとに基づいて、算出手段の算出した予測誤差電力の許容電力を算出して、その許容電力と算出手段の算出した予測誤差電力とを比較することで、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断するように構成する。
［００２３］
［００２４］
［００２５］
［００２６］
［００２７］
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
［００２８］
一般的に、発生符号量Ｇと量子化ステップサイズＱとの間に、
Ｇ＝Ｘ／Ｑ ただし、Ｘは入力信号に依存した値
という関係がある。また、同一の量子化ステップサイズＱにおいて、発生符号量Ｇと入力信号の電力Ｄとの間にも相関がある。そのため、符号化に用いる予測モード選択では、予測誤差電力を最小とするモードを選択することになる。
［００２９］
このような関係から、入力信号電力と量子化ステップサイズとから、おおよその発生符号量を推定できることになる。
［００３０］
この点に着目すると、符号化対象となる予測誤差信号の電力である予測誤差電力を算出して、その算出した予測誤差電力と符号化に用いる予定の量子化ステップサイズとに基づいて、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生する符号量を推定して、その推定値と発生符号量の上限値とを比較することで、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断することができる。
［００３１］
この判断処理では発生符号量を直接推定するようにしているが、この判断処理は、予測誤差電力が発生符号量の上限値から規定される許容電力範囲に入るのか否かを判断する処理と等価である。
［００３２］
これから、本発明の映像符号化装置では、発生符号量の上限値と符号化に用いる予定の量子化ステップサイズとに基づいて、予測誤差電力の許容電力を算出して、その許容電力と算出した予測誤差電力とを比較することで、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断する。
［００３３］
このような判断処理で必要となる発生符号量の推定値や予測誤差電力の許容電力については、関数やテーブルを用いることで簡単に算出することができる。
［００３４］
すなわち、予測誤差電力と量子化ステップサイズとを変数とし発生符号量を関数値とする関数にそれぞれの変数値を代入することで、発生符号量を推定したり、予測誤差電力と量子化ステップサイズと発生符号量とのデータ値の関係について記述するテーブルを参照することで、発生符号量を推定することができる。
［００３５］
また、発生符号量の上限値と量子化ステップサイズとを変数とし予測誤差電力の許容電力を関数値とする関数にそれぞれの変数値を代入することで、予測誤差電力の許容電力を算出したり、発生符号量の上限値と量子化ステップサイズと予測誤差電力の許容電力とのデータ値の関係について記載するテーブルを参照することで、予測誤差電力の許容電力を算出することができる。
［００３６］
ここで、符号化モード（予測モード）が異なるとオーバーヘッド符号量などが変わることから、これらの関数やテーブルは正確には符号化モードに依存することになる。これから、これらの関数やテーブルを符号化モード毎に複数用意するようにして、それらの中から符号化対象領域の符号化モードに適したものに切り替えて用いるようにすることが好ましい。
［００３７］
このような判断処理に従って、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えることを判断すると、直交変換係数の量子化値を符号化するのではなくて、映像信号を量子化せずに符号化したり、あるいは、予測誤差電力と発生符号量の上限値とに基づいて算出される、その上限値を超えない符号量の発生を実現する量子化ステップサイズを求めて、符号化に用いる予定の量子化ステップサイズを、その求めた量子化ステップサイズに変更するようにできる。
［００３８］
この変更処理で必要となる量子化ステップサイズの算出については、前述した発生符号量の推定に用いた関数の逆関数により実現されるものであり、これから、この場合も関数やテーブルを用いることで簡単に算出することができる。
【００３９】
すなわち、予測誤差電力と発生符号量の上限値とを変数としその上限値を超えない符号量の発生を実現する量子化ステップサイズを関数値とする関数にそれぞれの変数値を代入することで、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出することができる。
【００４０】
また、予測誤差電力と発生符号量の上限値とその上限値を超えない符号量の発生を実現する量子化ステップサイズとのデータ値の関係について記述するテーブルを参照することで、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出することができる。
【００４１】
ここで、符号化モード（予測モード）が異なるとオーバーヘッド符号量などが変わることから、これらの関数やテーブルは正確には符号化モードに依存することになる。これから、これらの関数やテーブルを符号化モード毎に複数用意するようにして、それらの中から符号化対象領域の符号化モードに適したものに切り替えて用いるようにすることが好ましい。
【発明の効果】
【００４２】
以上説明したように、本発明によれば、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を量子化ステップサイズで量子化して符号化するという構成を採るときにあって、発生符号量を計測することなく、上限符号化量を超えない符号化を実現できるようにすることから、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、上限符号化量を超えない符号化を実現できるようになる。
【００４３】
そして、本発明によれば、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現できるようにすることから、パイプライン処理を行うハードウェアで実装する場合に、処理遅延が発生するという問題が起こらない。
【図面の簡単な説明】
【００４４】
【図１】本発明の映像符号化装置の一実施形態例である。
【図２】同実施形態の、符号量推定部の装置構成の一例を示す図である。
【図３】同実施形態の、量子化ステップサイズ算出部の装置構成図である。
【図４】同実施形態の映像符号化装置の実行するフローチャートである。
【図５Ａ】同様に、本映像符号化装置の実行するフローチャートである。
【図５Ｂ】同様に、本映像符号化装置の実行するフローチャートである。
【図６】同実施形態の符号量推定部の装置構成の他の一例を示す図である。
【図７】図６の構成の場合に本映像符号化装置の実行するフローチャートである。
【図８Ａ】同様に、本映像符号化装置の実行するフローチャートである。
【図８Ｂ】同様に、本映像符号化装置の実行するフローチャートである。
【図９】本発明の映像符号化装置の他の実施形態例である。
【図１０】同実施形態の映像符号化装置の実行するフローチャートである。
【図１１】同実施形態の映像符号化装置の実行する、別のフローチャートである。
【図１２】発生符号量推定部の装置構成の一例を示す図である。
【図１３】発生符号量推定部の装置構成の別例を示す図である。
【図１４】許容予測誤差電力算出部の装置構成の一例を示す図である。
【図１５】許容予測誤差電力算出部の装置構成の別例を示す図である。
【図１６】量子化ステップサイズ算出部の装置構成の一例を示す図である。
【図１７】量子化ステップサイズ算出部の装置構成の別例を示す図である。
【図１８】従来技術の処理を説明するフローチャートである。
【符号の説明】
【００４５】
１０ Ｈ.264映像符号化装置構成部分
２０ 符号量推定部
２１ 量子化ステップサイズ算出部
２２ 切替スイッチ
２００ 予測誤差電力算出部
２０１ 発生符号量推定部
２０２ 符号量比較部
２１０ 予測誤差電力算出部
２１１ 最小量子化ステップサイズ算出部
【発明を実施するための最良の形態】
【００４６】
以下、実施の形態に従って本発明を詳細に説明する。
【００４７】
図１に、本発明の一実施形態例としての映像符号化装置を図示する。
【００４８】
図中、１０（破線で囲った部分）はＨ.264を実装するＨ.264映像符号化装置としての構成部分、２０は本実施形態例を実現すべく設けられる符号量推定部、２１は本実施形態例を実現すべく設けられる量子化ステップサイズ算出部、２２は本実施形態例を実現すべく設けられる切替スイッチである。
【００４９】
Ｈ.264映像符号化装置構成部分１０は、従来のＨ.264を実装する映像符号化装置と同様に、動き検出部１００と、動き補償部１０１と、フレームメモリ１０２と、フレーム間予測モード決定部１０３と、フレーム内予測モード決定部１０４と、切替スイッチ１０５と、減算器１０６と、直交変換部１０７と、量子化部１０８と、量子化制御部１０９と、逆量子化部１１０と、逆直交変換部１１１と、加算器１１２と、ループフィルタ１１３と、情報源符号化部１１４とを備えて、減算器１０６で、符号化対象のマクロブロックの映像信号とその予測信号との予測誤差信号を生成すると、直交変換部１０７で、その生成した予測誤差信号に対して直交変換を施し、量子化部１０８で、量子化制御部１０９の設定した量子化ステップサイズに従って、その直交変換により得られる直交変換係数を量子化し、情報源符号化部１１４で、その量子化値をエントロピー符号化することで、映像信号の符号化処理を実行する。
【００５０】
図２に、符号量推定部２０の装置構成の一例を図示する。
【００５１】
符号量推定部２０は、マクロブロックの発生符号量の上限値（上限符号量）と、減算器１０６の生成した予測誤差信号と、量子化制御部１０９の設定した量子化ステップサイズとを入力とするのものであり、予測誤差電力算出部２００と、発生符号量推定部２０１と、符号量比較部２０２とを備える。
【００５２】
予測誤差電力算出部２００は、減算器１０６の生成した予測誤差信号の電力である予測誤差電力を算出する。
【００５３】
発生符号量推定部２０１は、予測誤差電力算出部２００の算出した予測誤差電力と、量子化制御部１０９の設定した量子化ステップサイズとに基づいて、符号化対象のマクロブロックをその量子化ステップサイズで量子化を行うときに発生する符号量を推定する。
【００５４】
符号量比較部２０２は、発生符号量推定部２０１の推定した発生符号量の推定値と、マクロブロックの発生符号量の上限値（Ｈ.264で定義される）とを比較して、発生符号量推定部２０１の推定した発生符号量の推定値がマクロブロックの発生符号量の上限値よりも大きい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズから量子化ステップサイズ算出部２１の算出した量子化ステップサイズに切り替えることを指示する。これとは逆に、発生符号量推定部２０１の推定した発生符号量の推定値がマクロブロックの発生符号量の上限値よりも小さい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズをそのまま用いることを指示する。
【００５５】
図３に、量子化ステップサイズ算出部２１の装置構成の一例を図示する。
【００５６】
量子化ステップサイズ算出部２１は、マクロブロックの発生符号量の上限値（上限符号量）と、減算器１０６の生成した予測誤差信号とを入力とするのものであり、予測誤差電力算出部２１０と、最小量子化ステップサイズ算出部２１１とを備える。
【００５７】
予測誤差電力算出部２１０は、減算器１０６の生成した予測誤差信号の電力である予測誤差電力を算出する。
【００５８】
最小量子化ステップサイズ算出部２１１は、予測誤差電力算出部２００の算出した予測誤差電力と、マクロブロックの発生符号量の上限値とに基づいて、その上限値を超えない符号量の発生を実現する量子化ステップサイズ（最小量子化ステップサイズ）を算出する。
【００５９】
図４および図５に、このように構成される本実施形態の映像符号化装置の実行するフローチャートを図示する。
【００６０】
次に、これらのフローチャートに従って、本実施形態の映像符号化装置の実行する処理について詳細に説明する。
【００６１】
本実施形態の映像符号化装置は、図４のフローチャートに示すように、先ず最初に、ステップＳ１０で、符号化モードを決定すると、続いて、ステップＳ１１で、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定する。
【００６２】
続いて、ステップＳ１２で、発生符号量の推定値がマクロブロックの発生符号量の上限値よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ１３に進んで、量子化ステップサイズを変更してから、ステップＳ１４で、その変更した量子化ステップサイズを用いて符号化を行う。
【００６３】
一方、ステップＳ１２の判断処理で、発生符号量の推定値がマクロブロックの発生符号量の上限値よりも小さいことを判断するときには、ステップＳ１３の処理を行うことなく直ちにステップＳ１４に進んで、現在設定されている量子化ステップサイズを用いて符号化を行う。
【００６４】
図５Ａに、ステップＳ１１で行う発生符号量の推定処理のフローチャートを図示し、図５Ｂに、ステップＳ１３で行う量子化ステップサイズの変更処理のフローチャートを図示する。
【００６５】
すなわち、ステップＳ１１では、図５Ａのフローチャートに示すように、先ず最初に、ステップＳ１１０で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ１１１で、現在設定されている量子化ステップサイズを入力し、続くステップＳ１１２で、その算出した予測誤差電力とその入力した量子化ステップサイズとに基づいて、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定するのである。
【００６６】
一方、ステップＳ１３では、図５Ｂのフローチャートに示すように、先ず最初に、ステップＳ１３０で、マクロブロックの発生符号量の上限値（上限符号量）を入力し、続くステップＳ１３１で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ１３２で、入力した発生符号量の上限値と算出した予測誤差電力とに基づいて、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出し、続くステップＳ１３３で、その算出した量子化ステップサイズに従って、符号化に用いる量子化ステップサイズを変更するのである。
【００６７】
このようにして、図１に示す本実施形態の映像符号化装置は、発生符号量と量子化ステップサイズとの間に成立する関係に基づいて、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定して、その推定値がマクロブロックの発生符号量の上限値よりも大きい場合には、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出して、符号化に用いる量子化ステップサイズをそのようにして算出した量子化ステップサイズに変更するように処理するのである。
【００６８】
これから、本実施形態の映像符号化装置によれば、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、発生符号量の上限値を超えない符号化を実現できるようになる。
【００６９】
図６に、符号量推定部２０の装置構成の他の一例を図示する。
【００７０】
この装置構成に従う場合、符号量推定部２０は、マクロブロックの発生符号量の上限値（上限符号量）と、減算器１０６の生成した予測誤差信号と、量子化制御部１０９の設定した量子化ステップサイズとを入力として、予測誤差電力算出部２００と、許容予測誤差電力算出部２０３と、予測誤差比較部２０４とを備える。
【００７１】
予測誤差電力算出部２００は、減算器１０６の生成した予測誤差信号の電力である予測誤差電力を算出する。
【００７２】
許容予測誤差電力算出部２０３は、マクロブロックの発生符号量の上限値と、量子化制御部１０９の設定した量子化ステップサイズとに基づいて、予測誤差電力の許容電力（許容予測誤差電力）を算出する。
【００７３】
予測誤差比較部２０４は、予測誤差電力算出部２００の算出した予測誤差電力と、許容予測誤差電力算出部２０３の算出した許容予測誤差電力とを比較して、予測誤差電力算出部２００の算出した予測誤差電力が許容予測誤差電力算出部２０３の算出した許容予測誤差電力よりも大きい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズから量子化ステップサイズ算出部２１の算出した量子化ステップサイズに切り替えることを指示する。これとは逆に、予測誤差電力算出部２００の算出した予測誤差電力が許容予測誤差電力算出部２０３の算出した許容予測誤差電力よりも小さい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズをそのまま用いることを指示する。
【００７４】
図７および図８に、符号量推定部２０が図６に示す構成を採る場合に、本実施形態の映像符号化装置の実行するフローチャートを図示する。
【００７５】
次に、これらのフローチャートに従って、この場合の映像符号化装置の実行する処理について詳細に説明する。
【００７６】
即ち、本実施形態の映像符号化装置は、符号量推定部２０が図６に示す構成を採る場合には、図７のフローチャートに示すように、先ず最初に、ステップＳ２０で、符号化モードを決定すると、続いて、ステップＳ２１で、予測誤差電力の許容電力となる許容予測誤差電力を算出する。
【００７７】
続いて、ステップＳ２２で、予測誤差電力が許容予測誤差電力よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ２３に進んで、量子化ステップサイズを変更してから、ステップＳ２４で、その変更した量子化ステップサイズを用いて符号化を行う。
ここで、図７のフローチャートでは記載していないが、ステップＳ２１で許容予測誤差電力を算出するときに、ステップＳ２２の処理で必要となる予測誤差電力についても算出するようにしている。
【００７８】
一方、ステップＳ２２の判断処理で、予測誤差電力が許容予測誤差電力よりも小さいことを判断するときには、ステップＳ２３の処理を行うことなく直ちにステップＳ２４に進んで、現在設定されている量子化ステップサイズを用いて符号化を行う。
【００７９】
図８Ａに、ステップＳ２１で行う許容予測誤差電力の算出処理のフローチャートを図示し、図８Ｂに、ステップＳ２３で行う量子化ステップサイズの変更処理のフローチャートを図示する。
【００８０】
すなわち、ステップＳ２１では、図８Ａのフローチャートに示すように、先ず最初に、ステップＳ２１０で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ２１１で、マクロブロックの発生符号量の上限値（上限符号量）を入力し、続くステップＳ２１２で、現在設定されている量子化ステップサイズを入力し、続くステップＳ２１３で、その入力した発生符号量の上限値とその入力した量子化ステップサイズとに基づいて、許容予測誤差電力を算出するのである。
【００８１】
一方、ステップＳ２３では、図８Ｂのフローチャートに示すように、先ず最初に、ステップＳ２３０で、マクロブロックの発生符号量の上限値（上限符号量）を入力し、続くステップＳ２３１で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ２３２で、入力した発生符号量の上限値と算出した予測誤差電力とに基づいて、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出し、続くステップＳ２３３で、その算出した量子化ステップサイズに従って、符号化に用いる量子化ステップサイズを変更するのである。
【００８２】
このようにして、図１に示す本実施形態の映像符号化装置は、符号量推定部２０が図６に示す構成を採る場合には、発生符号量の上限値と量子化ステップサイズとから導出される予測誤差電力の許容電力に基づいて、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量がその上限値を超えることになるのか否かを判断して、発生符号量がその上限値を超えることになる場合には、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出して、符号化に用いる量子化ステップサイズを、そのようにして算出した量子化ステップサイズに変更するように処理するのである。
【００８３】
これから、本実施形態の映像符号化装置によれば、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、発生符号量の上限値を超えない符号化を実現できるようになる。
【００８４】
図９に、本発明の映像符号化装置の他の実施形態例を図示する。ここで、図１で説明した構成要素と同じ構成要素については同一の記号で示してある。
【００８５】
図中、１０（破線で囲った部分）はＨ.264を実装するＨ.264映像符号化装置としての構成部分、３０は本実施形態例を実現すべく設けられる符号量推定部、３１は本実施形態例を実現すべく設けられるＰＣＭ符号化部、３２は本実施形態例を実現すべく設けられる切替スイッチである。
【００８６】
ＰＣＭ符号化部３１は、映像信号を符号化対象として量子化を行うことなくＰＣＭ符号化を行い、その符号化データを切替スイッチ３２を介して情報源符号化部１１４に出力する。
【００８７】
符号量推定部３０は、図１に示した実施形態例で備える符号量推定部２０と同一の基本構成を有し、図２の構成を採ることがあり、図２の構成を採る場合にあって、発生符号量の推定値が発生符号量の上限値よりも大きい場合には、切替スイッチ３２に対して、ＰＣＭ符号化部３１の出力信号を情報源符号化部１１４に与えるよう指示し、これとは逆に、発生符号量の推定値が発生符号量の上限値よりも小さい場合には、切替スイッチ３２に対して、量子化部１０８の出力信号を情報源符号化部１１４に与えるよう指示する。
【００８８】
すなわち、符号量推定部３０が図２の構成を採る場合には、本実施形態の映像符号化装置は、図１０のフローチャートに示すように、先ず最初に、ステップＳ３０で、符号化モードを決定すると、続いて、ステップＳ３１で、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定する。続いて、ステップＳ３２で、発生符号量の推定値が発生符号量の上限値よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ３３に進んで、ＰＣＭ符号化を行い、小さいことを判断するときには、ステップＳ３４に進んで、通常の符号化を行う。
【００８９】
また、符号量推定部３０は、図６の構成を採ることも可能であり、図６の構成を採る場合にあって、予測誤差電力が許容予測誤差電力よりも大きい場合には、切替スイッチ３２に対して、ＰＣＭ符号化部３１の出力信号を情報源符号化部１１４に与えるよう指示し、これとは逆に、予測誤差電力が許容予測誤差電力よりも小さい場合には、切替スイッチ３２に対して、量子化部１０８の出力信号を情報源符号化部１１４に与えるよう指示する。
【００９０】
すなわち、符号量推定部３０が図６の構成を採る場合には、本実施形態の映像符号化装置は、図１１のフローチャートに示すように、先ず最初に、ステップＳ４０で、符号化モードを決定すると、続いて、ステップＳ４１で、予測誤差電力の許容電力となる許容予測誤差電力を算出する。続いて、ステップＳ４２で、予測誤差電力が許容予測誤差電力よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ４３に進んで、ＰＣＭ符号化を行い、小さいことを判断するときには、ステップＳ４４に進んで、通常の符号化を行う。
【００９１】
このようにして、図９に示す本実施形態の映像符号化装置は、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量がその上限値を超えることになるのか否かを判断して、発生符号量がその上限値を超えることになる場合には、量子化を行わずにＰＣＭ符号化を行うように処理するのである。
【００９２】
図２に示す発生符号量推定部２０１や、図６に示す許容予測誤差電力算出部２０３や、図３に示す最小量子化ステップサイズ算出部２１１は、具体的には関数やルックアップテーブルで実現することができる。
【００９３】
ここで、予測モード（符号化モード）が異なるとオーバーヘッド符号量などが変わることから、これらの関数やテーブルは正確には予測モードに依存することになる。これから、これらの関数やテーブルを予測モード毎に用意するようにして、それらの中から符号化対象のマクロブロックの予測モードに適したものに選択して用いるようにすることが好ましい。
【００９４】
すなわち、図１２に示すように、図２に示す発生符号量推定部２０１が、複数の予測モードに対応した複数の関数（関数１〜関数Ｎ）を有するように構成して、それらの関数の中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９５】
また、図１３に示すように、図２に示す発生符号量推定部２０１が、複数の予測モードに対応した複数のルックアップテーブル（ＬＴ１〜ＬＴＮ）を有するように構成して、それらのルックアップテーブルの中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９６】
また、図１４に示すように、図６に示す許容予測誤差電力算出部２０３が、複数の予測モードに対応した複数の関数（関数１〜関数Ｎ）を有するように構成して、それらの関数の中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９７】
また、図１５に示すように、図６に示す許容予測誤差電力算出部２０３が、複数の予測モードに対応した複数のルックアップテーブル（ＬＴ１〜ＬＴＮ）を有するように構成して、それらのルック・BR>Aップテーブルの中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９８】
また、図１６に示すように、図３に示す最小量子化ステップサイズ算出部２１１が、複数の予測モードに対応した複数の関数（関数１〜関数Ｎ）を有するように構成して、それらの関数の中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９９】
また、図１７に示すように、図３に示す最小量子化ステップサイズ算出部２１１が、複数の予測モードに対応した複数のルックアップテーブル（ＬＴ１〜ＬＴＮ）を有するように構成して、それらのルックアップテーブルの中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【産業上の利用可能性】
【０１００】
本発明は、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を量子化ステップサイズで量子化して符号化するという構成を採る映像符号化に適用できるものであり、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現できるようになる。
【０００１】
本発明は、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を量子化ステップサイズで量子化して符号化する映像符号化装置およびその方法と、その映像符号化装置の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現する映像符号化装置およびその方法と、その映像符号化装置の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００７年７月１７日に出願された特願２００７−１８５３７４号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
国際符号化標準であるＨ.264の規格では、１マクロブロック当たりの上限符号量が定められている（例えば、非特許文献１参照）。
【０００３】
これから、Ｈ.264を実装する映像符号化装置では、１つのマクロブロックの発生符号量がこの上限符号量に入るようにと符号化を行う必要がある。
【０００４】
これを実現するには、一度符号化を行って発生符号量を計測して、その発生符号量が上限値を超える場合には、異なる符号化条件で再度符号化を行うようにする必要がある。
【０００５】
しかしながら、このような方法を用いると、符号化条件を変えて再度符号化を行う必要があることから、演算量や処理時間が増加するという問題がある。
【０００６】
これを解決する一つの方法として、符号化条件を変えた２種類以上の符号化モードについての符号化処理（直交変換や量子化や情報源符号化など）を同時に行うようにして、その中から、発生符号量が上限値を超えない符号化結果のものを選び出すという方法を用いることが考えられる。
【０００７】
しかしながら、このような方法を用いると、符号化条件を変えた２種類以上の符号化モードについての符号化処理を同時に行わなくてならないという問題があるとともに、発生符号量が上限値を超えない符号化結果が必ず得られるとは限らないという問題がある。
【０００８】
そこで、Ｈ.264規格では、どのような入力画像であっても、上限値以下のビット数でマクロブロックを確実に符号化できるように、画素値をそのまま非圧縮（量子化しないで）で伝送するパルス符号化変調モード（ＰＣＭモード）を用意するようにしている。
【０００９】
これを利用して、従来技術では、図１８に示すように、符号化モードを決定して符号化を行い、それに基づいて発生符号量を計測して、それが上限値よりも大きい場合には、ＰＣＭモードで再度符号化するようにしている。
【００１０】
一方、Ｈ.264で採用されている算術符号化方式は、従来の符号化テーブルによる符号化方法と異なり、瞬時に符号量の計測を行えないという特性がある。
【００１１】
このため、次のマクロブロックの処理が開始されてから、上限ビット数を超えることが確認される可能性がある。このようなことが起こると、パイプライン処理（並列実行処理）を行っている場合に処理遅延が発生してしまうという問題がある。
【００１２】
これから、マクロブロック単位のパイプライン処理を行うハードウェア実装において、上限ビット数を超えたマクロブロックの入力画像を上述したＰＣＭモードで再度符号化しようとすると、入力画像を符号化の最終段まで保存するために追加のメモリが必要になるなどといった問題がある。
【００１３】
そこで、マクロブロック単位のパイプライン処理を行うハードウェア実装において、上限ビット数を超えたマクロブロックについて、その入力画像ではなくて、エンコーダ内のローカル復号画像をＰＣＭモードで再度符号化するという技術が提案されている（例えば、非特許文献２参照）。
【非特許文献１】
ITU-T Rec.H.264, "Advanced video coding for generic audio visual services", pp. 249-256, 2003.
【非特許文献２】
蝶野慶一，仙田裕三，宮本義弘，「ローカル復号画像を用いたＨ.264ＭＢ上限ビット遵守ＰＣＭ符号化方法」, pp. 119-120, PCSJ2006.
【発明の開示】
【発明が解決しようとする課題】
【００１４】
前述したように、Ｈ.264を実装する映像符号化装置では、１つのマクロブロックの発生符号量が所定の上限符号量に入るようにと符号化を行う必要があり、これを実現する方法として、一度符号化を行って発生符号量を計測して、その発生符号量が上限値を超える場合には、異なる符号化条件で再度符号化を行うようにする方法がある。
【００１５】
しかしながら、このような方法を用いると、符号化条件を変えて再度符号化を行う必要があることから、演算量や処理時間が増加するという問題がある。
【００１６】
これを解決する一つの方法として、符号化条件を変えた２種類以上の符号化モードについての符号化処理を同時に行うようにして、その中から、発生符号量が上限値を超えない符号化結果のものを選び出すという方法を用いることが考えられる。
【００１７】
しかしながら、このような方法を用いると、符号化条件を変えた２種類以上の符号化モードについての符号化処理を同時に行わなくてならないという問題があるとともに、発生符号量が上限値を超えない符号化結果が必ず得られるとは限らないという問題がある。
【００１８】
そこで、従来技術では、前掲図１８に示すように、符号化モードを決定して符号化を行い、それに基づいて発生符号量を計測して、それが上限値よりも大きい場合には、ＰＣＭモードで再度符号化するようにしている。
【００１９】
しかしながら、このような従来技術では、ＰＣＭモードで再度符号化するよりも符号量の発生を抑えられる可能性があるのに、それについて無視してしまうという問題がある。
【００２０】
しかも、Ｈ.264で採用されている算術符号化方式では、瞬時に符号量の計測を行えないという特性があり、これがために、パイプライン処理を行うハードウェア実装において、処理遅延が発生してしまうという問題がある。
【００２１】
本発明はかかる事情に鑑みてなされたものであって、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現する新たな映像符号化技術の提供を目的とする。
課題を解決するための手段
［００２２］
この目的を達成するために、本発明の映像符号化装置は、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を所定の量子化ステップサイズで量子化して符号化するという構成を採るときに、（１）予測誤差信号の電力である予測誤差電力を算出する算出手段と、（２）算出手段の算出した予測誤差電力と、予め設定した符号化に用いる予定の量子化ステップサイズと、符号化対象領域の発生符号量の上限値とを入力として、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断する判断手段と、（３）判断手段の判断結果に基づいて、符号化処理を変更する変更手段とを備え、上記判断手段が、発生符号量の上限値と符号化に用いる予定の量子化ステップサイズとに基づいて、算出手段の算出した予測誤差電力の許容電力を算出して、その許容電力と算出手段の算出した予測誤差電力とを比較することで、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断するように構成する。
［００２３］
［００２４］
［００２５］
［００２６］
［００２７］
以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
［００２８］
一般的に、発生符号量Ｇと量子化ステップサイズＱとの間に、
Ｇ＝Ｘ／Ｑ ただし、Ｘは入力信号に依存した値
という関係がある。また、同一の量子化ステップサイズＱにおいて、発生符号量Ｇと入力信号の電力Ｄとの間にも相関がある。そのため、符号化に用いる予測モード選択では、予測誤差電力を最小とするモードを選択することになる。
［００２９］
このような関係から、入力信号電力と量子化ステップサイズとから、おおよその発生符号量を推定できることになる。
［００３０］
この点に着目すると、符号化対象となる予測誤差信号の電力である予測誤差電力を算出して、その算出した予測誤差電力と符号化に用いる予定の量子化ステップサイズとに基づいて、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生する符号量を推定して、その推定値と発生符号量の上限値とを比較することで、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断することができる。
［００３１］
この判断処理では発生符号量を直接推定するようにしているが、この判断処理は、予測誤差電力が発生符号量の上限値から規定される許容電力範囲に入るのか否かを判断する処理と等価である。
［００３２］
これから、本発明の映像符号化装置では、発生符号量の上限値と符号化に用いる予定の量子化ステップサイズとに基づいて、予測誤差電力の許容電力を算出して、その許容電力と算出した予測誤差電力とを比較することで、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断する。
［００３３］
このような判断処理で必要となる発生符号量の推定値や予測誤差電力の許容電力については、関数やテーブルを用いることで簡単に算出することができる。
［００３４］
すなわち、予測誤差電力と量子化ステップサイズとを変数とし発生符号量を関数値とする関数にそれぞれの変数値を代入することで、発生符号量を推定したり、予測誤差電力と量子化ステップサイズと発生符号量とのデータ値の関係について記述するテーブルを参照することで、発生符号量を推定することができる。
［００３５］
また、発生符号量の上限値と量子化ステップサイズとを変数とし予測誤差電力の許容電力を関数値とする関数にそれぞれの変数値を代入することで、予測誤差電力の許容電力を算出したり、発生符号量の上限値と量子化ステップサイズと予測誤差電力の許容電力とのデータ値の関係について記載するテーブルを参照することで、予測誤差電力の許容電力を算出することができる。
［００３６］
ここで、符号化モード（予測モード）が異なるとオーバーヘッド符号量などが変わることから、これらの関数やテーブルは正確には符号化モードに依存することになる。これから、これらの関数やテーブルを符号化モード毎に複数用意するようにして、それらの中から符号化対象領域の符号化モードに適したものに切り替えて用いるようにすることが好ましい。
［００３７］
このような判断処理に従って、符号化に用いる予定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えることを判断すると、直交変換係数の量子化値を符号化するのではなくて、映像信号を量子化せずに符号化したり、あるいは、予測誤差電力と発生符号量の上限値とに基づいて算出される、その上限値を超えない符号量の発生を実現する量子化ステップサイズを求めて、符号化に用いる予定の量子化ステップサイズを、その求めた量子化ステップサイズに変更するようにできる。
［００３８］
この変更処理で必要となる量子化ステップサイズの算出については、前述した発生符号量の推定に用いた関数の逆関数により実現されるものであり、これから、この場合も関数やテーブルを用いることで簡単に算出することができる。
【００３９】
すなわち、予測誤差電力と発生符号量の上限値とを変数としその上限値を超えない符号量の発生を実現する量子化ステップサイズを関数値とする関数にそれぞれの変数値を代入することで、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出することができる。
【００４０】
また、予測誤差電力と発生符号量の上限値とその上限値を超えない符号量の発生を実現する量子化ステップサイズとのデータ値の関係について記述するテーブルを参照することで、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出することができる。
【００４１】
ここで、符号化モード（予測モード）が異なるとオーバーヘッド符号量などが変わることから、これらの関数やテーブルは正確には符号化モードに依存することになる。これから、これらの関数やテーブルを符号化モード毎に複数用意するようにして、それらの中から符号化対象領域の符号化モードに適したものに切り替えて用いるようにすることが好ましい。
【発明の効果】
【００４２】
以上説明したように、本発明によれば、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を量子化ステップサイズで量子化して符号化するという構成を採るときにあって、発生符号量を計測することなく、上限符号化量を超えない符号化を実現できるようにすることから、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、上限符号化量を超えない符号化を実現できるようになる。
【００４３】
そして、本発明によれば、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現できるようにすることから、パイプライン処理を行うハードウェアで実装する場合に、処理遅延が発生するという問題が起こらない。
【図面の簡単な説明】
【００４４】
【図１】本発明の映像符号化装置の一実施形態例である。
【図２】同実施形態の、符号量推定部の装置構成の一例を示す図である。
【図３】同実施形態の、量子化ステップサイズ算出部の装置構成図である。
【図４】同実施形態の映像符号化装置の実行するフローチャートである。
【図５Ａ】同様に、本映像符号化装置の実行するフローチャートである。
【図５Ｂ】同様に、本映像符号化装置の実行するフローチャートである。
【図６】同実施形態の符号量推定部の装置構成の他の一例を示す図である。
【図７】図６の構成の場合に本映像符号化装置の実行するフローチャートである。
【図８Ａ】同様に、本映像符号化装置の実行するフローチャートである。
【図８Ｂ】同様に、本映像符号化装置の実行するフローチャートである。
【図９】本発明の映像符号化装置の他の実施形態例である。
【図１０】同実施形態の映像符号化装置の実行するフローチャートである。
【図１１】同実施形態の映像符号化装置の実行する、別のフローチャートである。
【図１２】発生符号量推定部の装置構成の一例を示す図である。
【図１３】発生符号量推定部の装置構成の別例を示す図である。
【図１４】許容予測誤差電力算出部の装置構成の一例を示す図である。
【図１５】許容予測誤差電力算出部の装置構成の別例を示す図である。
【図１６】量子化ステップサイズ算出部の装置構成の一例を示す図である。
【図１７】量子化ステップサイズ算出部の装置構成の別例を示す図である。
【図１８】従来技術の処理を説明するフローチャートである。
【符号の説明】
【００４５】
１０ Ｈ.264映像符号化装置構成部分
２０ 符号量推定部
２１ 量子化ステップサイズ算出部
２２ 切替スイッチ
２００ 予測誤差電力算出部
２０１ 発生符号量推定部
２０２ 符号量比較部
２１０ 予測誤差電力算出部
２１１ 最小量子化ステップサイズ算出部
【発明を実施するための最良の形態】
【００４６】
以下、実施の形態に従って本発明を詳細に説明する。
【００４７】
図１に、本発明の一実施形態例としての映像符号化装置を図示する。
【００４８】
図中、１０（破線で囲った部分）はＨ.264を実装するＨ.264映像符号化装置としての構成部分、２０は本実施形態例を実現すべく設けられる符号量推定部、２１は本実施形態例を実現すべく設けられる量子化ステップサイズ算出部、２２は本実施形態例を実現すべく設けられる切替スイッチである。
【００４９】
Ｈ.264映像符号化装置構成部分１０は、従来のＨ.264を実装する映像符号化装置と同様に、動き検出部１００と、動き補償部１０１と、フレームメモリ１０２と、フレーム間予測モード決定部１０３と、フレーム内予測モード決定部１０４と、切替スイッチ１０５と、減算器１０６と、直交変換部１０７と、量子化部１０８と、量子化制御部１０９と、逆量子化部１１０と、逆直交変換部１１１と、加算器１１２と、ループフィルタ１１３と、情報源符号化部１１４とを備えて、減算器１０６で、符号化対象のマクロブロックの映像信号とその予測信号との予測誤差信号を生成すると、直交変換部１０７で、その生成した予測誤差信号に対して直交変換を施し、量子化部１０８で、量子化制御部１０９の設定した量子化ステップサイズに従って、その直交変換により得られる直交変換係数を量子化し、情報源符号化部１１４で、その量子化値をエントロピー符号化することで、映像信号の符号化処理を実行する。
【００５０】
図２に、符号量推定部２０の装置構成の一例を図示する。
【００５１】
符号量推定部２０は、マクロブロックの発生符号量の上限値（上限符号量）と、減算器１０６の生成した予測誤差信号と、量子化制御部１０９の設定した量子化ステップサイズとを入力とするのものであり、予測誤差電力算出部２００と、発生符号量推定部２０１と、符号量比較部２０２とを備える。
【００５２】
予測誤差電力算出部２００は、減算器１０６の生成した予測誤差信号の電力である予測誤差電力を算出する。
【００５３】
発生符号量推定部２０１は、予測誤差電力算出部２００の算出した予測誤差電力と、量子化制御部１０９の設定した量子化ステップサイズとに基づいて、符号化対象のマクロブロックをその量子化ステップサイズで量子化を行うときに発生する符号量を推定する。
【００５４】
符号量比較部２０２は、発生符号量推定部２０１の推定した発生符号量の推定値と、マクロブロックの発生符号量の上限値（Ｈ.264で定義される）とを比較して、発生符号量推定部２０１の推定した発生符号量の推定値がマクロブロックの発生符号量の上限値よりも大きい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズから量子化ステップサイズ算出部２１の算出した量子化ステップサイズに切り替えることを指示する。これとは逆に、発生符号量推定部２０１の推定した発生符号量の推定値がマクロブロックの発生符号量の上限値よりも小さい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズをそのまま用いることを指示する。
【００５５】
図３に、量子化ステップサイズ算出部２１の装置構成の一例を図示する。
【００５６】
量子化ステップサイズ算出部２１は、マクロブロックの発生符号量の上限値（上限符号量）と、減算器１０６の生成した予測誤差信号とを入力とするのものであり、予測誤差電力算出部２１０と、最小量子化ステップサイズ算出部２１１とを備える。
【００５７】
予測誤差電力算出部２１０は、減算器１０６の生成した予測誤差信号の電力である予測誤差電力を算出する。
【００５８】
最小量子化ステップサイズ算出部２１１は、予測誤差電力算出部２００の算出した予測誤差電力と、マクロブロックの発生符号量の上限値とに基づいて、その上限値を超えない符号量の発生を実現する量子化ステップサイズ（最小量子化ステップサイズ）を算出する。
【００５９】
図４および図５に、このように構成される本実施形態の映像符号化装置の実行するフローチャートを図示する。
【００６０】
次に、これらのフローチャートに従って、本実施形態の映像符号化装置の実行する処理について詳細に説明する。
【００６１】
本実施形態の映像符号化装置は、図４のフローチャートに示すように、先ず最初に、ステップＳ１０で、符号化モードを決定すると、続いて、ステップＳ１１で、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定する。
【００６２】
続いて、ステップＳ１２で、発生符号量の推定値がマクロブロックの発生符号量の上限値よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ１３に進んで、量子化ステップサイズを変更してから、ステップＳ１４で、その変更した量子化ステップサイズを用いて符号化を行う。
【００６３】
一方、ステップＳ１２の判断処理で、発生符号量の推定値がマクロブロックの発生符号量の上限値よりも小さいことを判断するときには、ステップＳ１３の処理を行うことなく直ちにステップＳ１４に進んで、現在設定されている量子化ステップサイズを用いて符号化を行う。
【００６４】
図５Ａに、ステップＳ１１で行う発生符号量の推定処理のフローチャートを図示し、図５Ｂに、ステップＳ１３で行う量子化ステップサイズの変更処理のフローチャートを図示する。
【００６５】
すなわち、ステップＳ１１では、図５Ａのフローチャートに示すように、先ず最初に、ステップＳ１１０で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ１１１で、現在設定されている量子化ステップサイズを入力し、続くステップＳ１１２で、その算出した予測誤差電力とその入力した量子化ステップサイズとに基づいて、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定するのである。
【００６６】
一方、ステップＳ１３では、図５Ｂのフローチャートに示すように、先ず最初に、ステップＳ１３０で、マクロブロックの発生符号量の上限値（上限符号量）を入力し、続くステップＳ１３１で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ１３２で、入力した発生符号量の上限値と算出した予測誤差電力とに基づいて、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出し、続くステップＳ１３３で、その算出した量子化ステップサイズに従って、符号化に用いる量子化ステップサイズを変更するのである。
【００６７】
このようにして、図１に示す本実施形態の映像符号化装置は、発生符号量と量子化ステップサイズとの間に成立する関係に基づいて、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定して、その推定値がマクロブロックの発生符号量の上限値よりも大きい場合には、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出して、符号化に用いる量子化ステップサイズをそのようにして算出した量子化ステップサイズに変更するように処理するのである。
【００６８】
これから、本実施形態の映像符号化装置によれば、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、発生符号量の上限値を超えない符号化を実現できるようになる。
【００６９】
図６に、符号量推定部２０の装置構成の他の一例を図示する。
【００７０】
この装置構成に従う場合、符号量推定部２０は、マクロブロックの発生符号量の上限値（上限符号量）と、減算器１０６の生成した予測誤差信号と、量子化制御部１０９の設定した量子化ステップサイズとを入力として、予測誤差電力算出部２００と、許容予測誤差電力算出部２０３と、予測誤差比較部２０４とを備える。
【００７１】
予測誤差電力算出部２００は、減算器１０６の生成した予測誤差信号の電力である予測誤差電力を算出する。
【００７２】
許容予測誤差電力算出部２０３は、マクロブロックの発生符号量の上限値と、量子化制御部１０９の設定した量子化ステップサイズとに基づいて、予測誤差電力の許容電力（許容予測誤差電力）を算出する。
【００７３】
予測誤差比較部２０４は、予測誤差電力算出部２００の算出した予測誤差電力と、許容予測誤差電力算出部２０３の算出した許容予測誤差電力とを比較して、予測誤差電力算出部２００の算出した予測誤差電力が許容予測誤差電力算出部２０３の算出した許容予測誤差電力よりも大きい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズから量子化ステップサイズ算出部２１の算出した量子化ステップサイズに切り替えることを指示する。これとは逆に、予測誤差電力算出部２００の算出した予測誤差電力が許容予測誤差電力算出部２０３の算出した許容予測誤差電力よりも小さい場合には、切替スイッチ２２に対して、量子化部１０８に与える量子化ステップサイズとして、量子化制御部１０９の設定した量子化ステップサイズをそのまま用いることを指示する。
【００７４】
図７および図８に、符号量推定部２０が図６に示す構成を採る場合に、本実施形態の映像符号化装置の実行するフローチャートを図示する。
【００７５】
次に、これらのフローチャートに従って、この場合の映像符号化装置の実行する処理について詳細に説明する。
【００７６】
即ち、本実施形態の映像符号化装置は、符号量推定部２０が図６に示す構成を採る場合には、図７のフローチャートに示すように、先ず最初に、ステップＳ２０で、符号化モードを決定すると、続いて、ステップＳ２１で、予測誤差電力の許容電力となる許容予測誤差電力を算出する。
【００７７】
続いて、ステップＳ２２で、予測誤差電力が許容予測誤差電力よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ２３に進んで、量子化ステップサイズを変更してから、ステップＳ２４で、その変更した量子化ステップサイズを用いて符号化を行う。
ここで、図７のフローチャートでは記載していないが、ステップＳ２１で許容予測誤差電力を算出するときに、ステップＳ２２の処理で必要となる予測誤差電力についても算出するようにしている。
【００７８】
一方、ステップＳ２２の判断処理で、予測誤差電力が許容予測誤差電力よりも小さいことを判断するときには、ステップＳ２３の処理を行うことなく直ちにステップＳ２４に進んで、現在設定されている量子化ステップサイズを用いて符号化を行う。
【００７９】
図８Ａに、ステップＳ２１で行う許容予測誤差電力の算出処理のフローチャートを図示し、図８Ｂに、ステップＳ２３で行う量子化ステップサイズの変更処理のフローチャートを図示する。
【００８０】
すなわち、ステップＳ２１では、図８Ａのフローチャートに示すように、先ず最初に、ステップＳ２１０で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ２１１で、マクロブロックの発生符号量の上限値（上限符号量）を入力し、続くステップＳ２１２で、現在設定されている量子化ステップサイズを入力し、続くステップＳ２１３で、その入力した発生符号量の上限値とその入力した量子化ステップサイズとに基づいて、許容予測誤差電力を算出するのである。
【００８１】
一方、ステップＳ２３では、図８Ｂのフローチャートに示すように、先ず最初に、ステップＳ２３０で、マクロブロックの発生符号量の上限値（上限符号量）を入力し、続くステップＳ２３１で、予測誤差信号を入力して予測誤差電力を算出し、続くステップＳ２３２で、入力した発生符号量の上限値と算出した予測誤差電力とに基づいて、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出し、続くステップＳ２３３で、その算出した量子化ステップサイズに従って、符号化に用いる量子化ステップサイズを変更するのである。
【００８２】
このようにして、図１に示す本実施形態の映像符号化装置は、符号量推定部２０が図６に示す構成を採る場合には、発生符号量の上限値と量子化ステップサイズとから導出される予測誤差電力の許容電力に基づいて、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量がその上限値を超えることになるのか否かを判断して、発生符号量がその上限値を超えることになる場合には、その上限値を超えない符号量の発生を実現する量子化ステップサイズを算出して、符号化に用いる量子化ステップサイズを、そのようにして算出した量子化ステップサイズに変更するように処理するのである。
【００８３】
これから、本実施形態の映像符号化装置によれば、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、発生符号量の上限値を超えない符号化を実現できるようになる。
【００８４】
図９に、本発明の映像符号化装置の他の実施形態例を図示する。ここで、図１で説明した構成要素と同じ構成要素については同一の記号で示してある。
【００８５】
図中、１０（破線で囲った部分）はＨ.264を実装するＨ.264映像符号化装置としての構成部分、３０は本実施形態例を実現すべく設けられる符号量推定部、３１は本実施形態例を実現すべく設けられるＰＣＭ符号化部、３２は本実施形態例を実現すべく設けられる切替スイッチである。
【００８６】
ＰＣＭ符号化部３１は、映像信号を符号化対象として量子化を行うことなくＰＣＭ符号化を行い、その符号化データを切替スイッチ３２を介して情報源符号化部１１４に出力する。
【００８７】
符号量推定部３０は、図１に示した実施形態例で備える符号量推定部２０と同一の基本構成を有し、図２の構成を採ることがあり、図２の構成を採る場合にあって、発生符号量の推定値が発生符号量の上限値よりも大きい場合には、切替スイッチ３２に対して、ＰＣＭ符号化部３１の出力信号を情報源符号化部１１４に与えるよう指示し、これとは逆に、発生符号量の推定値が発生符号量の上限値よりも小さい場合には、切替スイッチ３２に対して、量子化部１０８の出力信号を情報源符号化部１１４に与えるよう指示する。
【００８８】
すなわち、符号量推定部３０が図２の構成を採る場合には、本実施形態の映像符号化装置は、図１０のフローチャートに示すように、先ず最初に、ステップＳ３０で、符号化モードを決定すると、続いて、ステップＳ３１で、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量を推定する。続いて、ステップＳ３２で、発生符号量の推定値が発生符号量の上限値よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ３３に進んで、ＰＣＭ符号化を行い、小さいことを判断するときには、ステップＳ３４に進んで、通常の符号化を行う。
【００８９】
また、符号量推定部３０は、図６の構成を採ることも可能であり、図６の構成を採る場合にあって、予測誤差電力が許容予測誤差電力よりも大きい場合には、切替スイッチ３２に対して、ＰＣＭ符号化部３１の出力信号を情報源符号化部１１４に与えるよう指示し、これとは逆に、予測誤差電力が許容予測誤差電力よりも小さい場合には、切替スイッチ３２に対して、量子化部１０８の出力信号を情報源符号化部１１４に与えるよう指示する。
【００９０】
すなわち、符号量推定部３０が図６の構成を採る場合には、本実施形態の映像符号化装置は、図１１のフローチャートに示すように、先ず最初に、ステップＳ４０で、符号化モードを決定すると、続いて、ステップＳ４１で、予測誤差電力の許容電力となる許容予測誤差電力を算出する。続いて、ステップＳ４２で、予測誤差電力が許容予測誤差電力よりも大きいのか否かを判断して、大きいことを判断するときには、ステップＳ４３に進んで、ＰＣＭ符号化を行い、小さいことを判断するときには、ステップＳ４４に進んで、通常の符号化を行う。
【００９１】
このようにして、図９に示す本実施形態の映像符号化装置は、現在設定されている量子化ステップサイズを用いて符号化を行うときの発生符号量がその上限値を超えることになるのか否かを判断して、発生符号量がその上限値を超えることになる場合には、量子化を行わずにＰＣＭ符号化を行うように処理するのである。
【００９２】
図２に示す発生符号量推定部２０１や、図６に示す許容予測誤差電力算出部２０３や、図３に示す最小量子化ステップサイズ算出部２１１は、具体的には関数やルックアップテーブルで実現することができる。
【００９３】
ここで、予測モード（符号化モード）が異なるとオーバーヘッド符号量などが変わることから、これらの関数やテーブルは正確には予測モードに依存することになる。これから、これらの関数やテーブルを予測モード毎に用意するようにして、それらの中から符号化対象のマクロブロックの予測モードに適したものに選択して用いるようにすることが好ましい。
【００９４】
すなわち、図１２に示すように、図２に示す発生符号量推定部２０１が、複数の予測モードに対応した複数の関数（関数１〜関数Ｎ）を有するように構成して、それらの関数の中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９５】
また、図１３に示すように、図２に示す発生符号量推定部２０１が、複数の予測モードに対応した複数のルックアップテーブル（ＬＴ１〜ＬＴＮ）を有するように構成して、それらのルックアップテーブルの中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９６】
また、図１４に示すように、図６に示す許容予測誤差電力算出部２０３が、複数の予測モードに対応した複数の関数（関数１〜関数Ｎ）を有するように構成して、それらの関数の中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９７】
また、図１５に示すように、図６に示す許容予測誤差電力算出部２０３が、複数の予測モードに対応した複数のルックアップテーブル（ＬＴ１〜ＬＴＮ）を有するように構成して、それらのルック・BR>Aップテーブルの中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９８】
また、図１６に示すように、図３に示す最小量子化ステップサイズ算出部２１１が、複数の予測モードに対応した複数の関数（関数１〜関数Ｎ）を有するように構成して、それらの関数の中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【００９９】
また、図１７に示すように、図３に示す最小量子化ステップサイズ算出部２１１が、複数の予測モードに対応した複数のルックアップテーブル（ＬＴ１〜ＬＴＮ）を有するように構成して、それらのルックアップテーブルの中から符号化対象のマクロブロックの予測モードに適したものを選択して用いるようにすることが好ましい。
【産業上の利用可能性】
【０１００】
本発明は、符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を量子化ステップサイズで量子化して符号化するという構成を採る映像符号化に適用できるものであり、再度の符号化処理や２種類以上の符号化モードについての符号化処理を行うことなく、さらに、発生符号量の計測結果を待たずに、上限符号化量を超えない符号化を実現できるようになる。
Claims (6)
- 符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を予め設定した量子化ステップサイズで量子化して符号化する映像符号化装置であって、
前記予測誤差信号の電力である予測誤差電力を算出する算出手段と、
前記算出手段の算出した予測誤差電力と、前記設定の量子化ステップサイズと、符号化対象領域の発生符号量の上限値とを入力として、前記設定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、符号化処理を変更する変更手段とを備え、
前記判断手段は、前記上限値と前記設定の量子化ステップサイズとに基づいて、前記予測誤差電力の許容電力を算出して、その許容電力と前記予測誤差電力とを比較することで、前記設定の量子化ステップサイズで量子化を行うときに発生することになる符号量が前記上限値を超えるのか否かを判断することを、
特徴とする映像符号化装置。 - 請求項１に記載の映像符号化装置において、
前記判断手段は、前記上限値と前記量子化ステップサイズとを変数とし前記許容電力を関数値とする関数にそれぞれの変数値を代入することで、前記予測誤差電力の許容電力を算出することを、
特徴とする映像符号化装置。 - 請求項１に記載の映像符号化装置において、
前記判断手段は、前記上限値と前記量子化ステップサイズと前記許容電力とのデータ値の関係について記載するテーブルを参照することで、前記予測誤差電力の許容電力を算出することを、
特徴とする映像符号化装置。 - 符号化対象領域の映像信号とその予測信号との予測誤差信号に対して直交変換を施し、その結果得られる直交変換係数を予め設定した量子化ステップサイズで量子化して符号化する映像符号化方法であって、
前記予測誤差信号の電力である予測誤差電力を算出する過程と、
前記算出した予測誤差電力と、前記設定の量子化ステップサイズと、符号化対象領域の発生符号量の上限値とを入力として、前記設定の量子化ステップサイズで量子化を行うときに発生することになる符号量がその上限値を超えるのか否かを判断する過程と、
前記判断結果に基づいて、符号化処理を変更する過程とを備え、
前記判断する過程では、前記上限値と前記設定の量子化ステップサイズとに基づいて、前記予測誤差電力の許容電力を算出して、その許容電力と前記予測誤差電力とを比較することで、前記設定の量子化ステップサイズで量子化を行うときに発生することになる符号量が前記上限値を超えるのか否かを判断することを、
特徴とする映像符号化方法。 - 請求項１に記載の映像符号化装置の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
- 請求項１に記載の映像符号化装置の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009523622A JP4987080B2 (ja) | 2007-07-17 | 2008-07-10 | 映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007185374 | 2007-07-17 | ||
| JP2007185374 | 2007-07-17 | ||
| PCT/JP2008/062484 WO2009011279A1 (ja) | 2007-07-17 | 2008-07-10 | 映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体 |
| JP2009523622A JP4987080B2 (ja) | 2007-07-17 | 2008-07-10 | 映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009011279A1 JPWO2009011279A1 (ja) | 2010-09-24 |
| JP4987080B2 true JP4987080B2 (ja) | 2012-07-25 |
Family
ID=40259615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009523622A Expired - Fee Related JP4987080B2 (ja) | 2007-07-17 | 2008-07-10 | 映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US9271008B2 (ja) |
| EP (1) | EP2169962A4 (ja) |
| JP (1) | JP4987080B2 (ja) |
| KR (1) | KR101103698B1 (ja) |
| CN (1) | CN101743754B (ja) |
| BR (1) | BRPI0813491B1 (ja) |
| CA (1) | CA2692782C (ja) |
| RU (1) | RU2444857C2 (ja) |
| TW (1) | TWI386065B (ja) |
| WO (1) | WO2009011279A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5586101B2 (ja) * | 2009-03-23 | 2014-09-10 | 株式会社Ｎｔｔドコモ | 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム |
| CN101867799B (zh) * | 2009-04-17 | 2011-11-16 | 北京大学 | 一种视频帧处理方法和视频编码器 |
| JP5850214B2 (ja) | 2011-01-11 | 2016-02-03 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| UA109312C2 (uk) | 2011-03-04 | 2015-08-10 | Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації | |
| JP5873290B2 (ja) * | 2011-10-26 | 2016-03-01 | キヤノン株式会社 | 符号化装置 |
| US8923388B2 (en) * | 2011-11-21 | 2014-12-30 | Texas Instruments Incorporated | Early stage slice cap decision in video coding |
| JP2014003587A (ja) * | 2012-05-25 | 2014-01-09 | Canon Inc | 画像符号化装置及びその方法 |
| JP5850272B2 (ja) * | 2014-01-10 | 2016-02-03 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP6299901B2 (ja) * | 2017-03-03 | 2018-03-28 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP6332502B2 (ja) * | 2017-03-03 | 2018-05-30 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| TWI754206B (zh) * | 2020-01-10 | 2022-02-01 | 祥碩科技股份有限公司 | 資料儲存系統、資料儲存裝置及其管理方法 |
| US12087020B2 (en) * | 2021-09-15 | 2024-09-10 | Synaptics Incorporated | Image compression method and apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11331850A (ja) * | 1998-03-16 | 1999-11-30 | Mitsubishi Electric Corp | 動画像符号化方式 |
| JP2005086249A (ja) * | 2003-09-04 | 2005-03-31 | Toshiba Corp | 動画像符号化方法および動画像符号化装置 |
| JP2007158430A (ja) * | 2005-11-30 | 2007-06-21 | Matsushita Electric Ind Co Ltd | 画像情報符号化装置 |
| JP2007166039A (ja) * | 2005-12-09 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69430877T2 (de) | 1993-04-09 | 2003-02-06 | Sony Corp., Tokio/Tokyo | Bildkodierungsverfahren und -vorrichtung |
| JPH0998427A (ja) | 1995-09-29 | 1997-04-08 | Toshiba Corp | 動画像符号化装置 |
| US6961375B1 (en) * | 1997-02-06 | 2005-11-01 | Sony Corporation | Picture coding device and method, picture transmitting device and method and recording medium |
| JPH10336654A (ja) * | 1997-06-02 | 1998-12-18 | Nec Corp | 画像符号化装置 |
| RU2217882C2 (ru) | 1997-08-12 | 2003-11-27 | Томсон Конзьюмер Электроникс, Инк. | Устройство для сжатия блоков пикселов в системе обработки изображений |
| JP3416649B2 (ja) * | 1998-01-21 | 2003-06-16 | 松下電器産業株式会社 | 可変長符号化装置 |
| TW501022B (en) | 1998-03-16 | 2002-09-01 | Mitsubishi Electric Corp | Moving picture coding system |
| US6963608B1 (en) | 1998-10-02 | 2005-11-08 | General Instrument Corporation | Method and apparatus for providing rate control in a video encoder |
| AU2003285850A1 (en) | 2002-04-23 | 2004-04-30 | Nokia Corporation | Method and device for indicating quantizer parameters in a video coding system |
| WO2004004359A1 (en) | 2002-07-01 | 2004-01-08 | E G Technology Inc. | Efficient compression and transport of video over a network |
| CN1194544C (zh) * | 2003-04-25 | 2005-03-23 | 北京工业大学 | 基于时空域相关性运动矢量预测的视频编码方法 |
| KR100505699B1 (ko) | 2003-08-12 | 2005-08-03 | 삼성전자주식회사 | 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법 |
| KR100755388B1 (ko) * | 2006-01-13 | 2007-09-04 | 부산대학교 산학협력단 | 동영상 압축에서의 복원 오차 추정 방법 및 장치 |
-
2008
- 2008-07-10 BR BRPI0813491-0A patent/BRPI0813491B1/pt not_active IP Right Cessation
- 2008-07-10 RU RU2009148766/07A patent/RU2444857C2/ru active
- 2008-07-10 KR KR1020107000089A patent/KR101103698B1/ko not_active Expired - Fee Related
- 2008-07-10 EP EP08791042A patent/EP2169962A4/en not_active Ceased
- 2008-07-10 WO PCT/JP2008/062484 patent/WO2009011279A1/ja not_active Ceased
- 2008-07-10 CN CN2008800244371A patent/CN101743754B/zh not_active Expired - Fee Related
- 2008-07-10 CA CA 2692782 patent/CA2692782C/en active Active
- 2008-07-10 US US12/667,650 patent/US9271008B2/en active Active
- 2008-07-10 JP JP2009523622A patent/JP4987080B2/ja not_active Expired - Fee Related
- 2008-07-15 TW TW97126728A patent/TWI386065B/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11331850A (ja) * | 1998-03-16 | 1999-11-30 | Mitsubishi Electric Corp | 動画像符号化方式 |
| JP2005086249A (ja) * | 2003-09-04 | 2005-03-31 | Toshiba Corp | 動画像符号化方法および動画像符号化装置 |
| JP2007158430A (ja) * | 2005-11-30 | 2007-06-21 | Matsushita Electric Ind Co Ltd | 画像情報符号化装置 |
| JP2007166039A (ja) * | 2005-12-09 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2009011279A1 (ja) | 2010-09-24 |
| EP2169962A4 (en) | 2012-04-11 |
| TWI386065B (zh) | 2013-02-11 |
| RU2009148766A (ru) | 2011-07-10 |
| CN101743754B (zh) | 2012-04-18 |
| KR101103698B1 (ko) | 2012-01-11 |
| KR20100018033A (ko) | 2010-02-16 |
| TW200908752A (en) | 2009-02-16 |
| CA2692782A1 (en) | 2009-01-22 |
| US20110013693A1 (en) | 2011-01-20 |
| BRPI0813491A2 (pt) | 2015-08-18 |
| EP2169962A1 (en) | 2010-03-31 |
| CN101743754A (zh) | 2010-06-16 |
| US9271008B2 (en) | 2016-02-23 |
| RU2444857C2 (ru) | 2012-03-10 |
| CA2692782C (en) | 2013-09-24 |
| BRPI0813491B1 (pt) | 2020-10-06 |
| WO2009011279A1 (ja) | 2009-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4987080B2 (ja) | 映像符号化装置および方法、映像符号化プログラムおよびそのプログラムを記録した記録媒体 | |
| CN101390401B (zh) | 借助伪影评价的提高的图像/视频质量 | |
| KR101644208B1 (ko) | 이전에 계산된 모션 정보를 이용하는 비디오 인코딩 | |
| KR101643790B1 (ko) | 적응적 비디오 스트리밍용의 가변 비트 레이트 및 동적 해상도를 이용한 다중 비트 레이트 비디오 인코딩 | |
| CN102461169B (zh) | 基于运动的动态分辨率多比特率视频编码 | |
| JP4799477B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2006140758A (ja) | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム | |
| KR101621854B1 (ko) | Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치 | |
| JP2007228581A (ja) | ビデオトランスコーディング方法及び装置 | |
| CN104919796A (zh) | 使用至少评估后的视觉质量的视频编码方法和相关视频编码装置 | |
| JP2015533461A (ja) | レート歪みオプティマイザ及び複数の色成分の同時最適化を含む最適化技法 | |
| US20060133481A1 (en) | Image coding control method and device | |
| JP4494803B2 (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
| CN101039434B (zh) | 视频编码装置 | |
| JP3982615B2 (ja) | 符号化動画像データの方式変換装置 | |
| KR100843080B1 (ko) | 비디오 트랜스코딩 방법 및 장치 | |
| RU2587412C2 (ru) | Управление скоростью передачи видео на основе гистограммы коэффициентов преобразования | |
| JP4375143B2 (ja) | 動画像符号化装置 | |
| JP4747109B2 (ja) | 演算量調整装置 | |
| US20070297517A1 (en) | Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods | |
| JP4384629B2 (ja) | 符号化誤差測定装置および符号化誤差測定プログラム | |
| JP6178698B2 (ja) | 映像符号化装置 | |
| JP2006237765A (ja) | 画像符号化装置 | |
| JP2007129662A (ja) | 画像符号化装置 | |
| JP2005176237A (ja) | 画像符号化装置、画像符号化方法及びそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20091001 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091001 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120417 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120424 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4987080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |