JP2006173694A - 画像圧縮処理装置 - Google Patents
画像圧縮処理装置 Download PDFInfo
- Publication number
- JP2006173694A JP2006173694A JP2004359330A JP2004359330A JP2006173694A JP 2006173694 A JP2006173694 A JP 2006173694A JP 2004359330 A JP2004359330 A JP 2004359330A JP 2004359330 A JP2004359330 A JP 2004359330A JP 2006173694 A JP2006173694 A JP 2006173694A
- Authority
- JP
- Japan
- Prior art keywords
- bit rate
- frame
- image
- image quality
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 title claims abstract description 232
- 230000006835 compression Effects 0.000 title claims abstract description 217
- 238000012545 processing Methods 0.000 claims abstract description 299
- 230000005540 biological transmission Effects 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 37
- 230000008859 change Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 11
- 238000013139 quantization Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 圧縮処理手段3が、画像データをフレーム毎に圧縮処理する。ビットレート値検出手段5が、圧縮処理後に出力される画像データの量に基づいてビットレート値を検出する。画像データ破棄手段6、2が、例えば、検出されたビットレート値が第1の所定値以上となる場合に圧縮処理前における画像データを1フレーム分破棄する。画質低下手段7、8が、画像データの破棄が所定期間内に所定回数に達した場合に圧縮処理手段3による圧縮処理における画像の画質を低下させる。
【選択図】 図1
Description
一方、MPEG−4などの動画像圧縮符号化技術は、圧縮符号化により発生するデータ量を或る程度想定して処理するものであるが、数十バイト単位などの高精度な制御が困難な圧縮アルゴリズムであり、画像の複雑度が常に変化する動画像を圧縮する場合には、想定する帯域に対して数倍のデータを出力してしまうこともある。前述の携帯電話の例では、画像データのビットレートが40kbpsを超えた場合には、画像データや音声データやその他のデータの欠落若しくは遅延の増大につながる。
なお、本明細書では、イントラフレームをI−VOPと言い、また、I−VOP以外の予測符号化を行うフレームをP−VOPと言う。
本発明は、このような従来の課題を解決するために為されたもので、高品質な画像伝送を確実に維持することを可能とする画像圧縮処理装置を提供することを目的とする。
すなわち、圧縮処理手段が、画像データをフレーム毎に圧縮処理する。ビットレート値検出手段が、前記圧縮処理後に出力される画像データの量に基づいてビットレート値を検出する。画像データ破棄手段が、前記検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合に、圧縮処理前或いは圧縮処理後における前記出力前の画像データを1フレーム分或いは複数フレーム分破棄する。画質低下手段が、前記画像データの破棄が所定期間内に所定回数に達した場合に、前記圧縮処理手段による圧縮処理における画像の画質を低下させる。
従って、まず、圧縮処理後の画像データ量が大きい場合には画像データの破棄が行われて圧縮処理後の画像データ量の低減が図られ、そして、このような破棄が行われた回数に応じて圧縮処理における画像の画質が低下させられて圧縮処理後の画像データ量の低減が図られるため、圧縮処理後の画像データ量の状況に応じて、圧縮処理後の画像データ量の過大化を防止することができ、高品質な画像伝送を確実に維持することができる。
また、前記した圧縮処理前或いは圧縮処理後における前記出力前の画像データとしては、いずれの画像データが用いられてもよい。
また、前記した画像データを1フレーム分或いは複数フレーム分破棄する態様としては、いずれの態様が用いられてもよい。
また、ビットレート値に関する第1の所定値としては、種々な値が用いられてもよく、例えば、目標とするビットレートの値が用いられる。
また、検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合に、圧縮処理前或いは圧縮処理後における前記出力前の画像データを1フレーム分破棄する構成では、破棄するフレームとしては、種々なフレームが用いられてもよく、例えば、当該ビットレート値を検出したときのフレームが用いられてもよく、或いは、その次のフレームが用いられてもよい。
また、画像データの破棄が所定期間内に所定回数に達したこととして、所定期間内における画像データの破棄の回数の頻度が所定値以上となったこと或いは所定値を超えたことが検出されてもよい。
また、圧縮処理における画像の画質を低下させる態様としては、種々な態様が用いられてもよく、例えば、画像データを量子化する場合に使用される量子化ステップのサイズを大きくして、量子化後の画像データ量を低減させるような態様を用いることができる。
すなわち、画質向上手段が、前記検出されたビットレート値が第2の所定値以下となる場合或いは第2の所定値未満となる場合に、前記圧縮処理手段による圧縮処理における画像の画質を向上させる。
従って、ビットレート値が比較的小さくて、圧縮処理後の画像データ量を増加させることが可能である場合には、圧縮処理における画像の画質が向上させられるため、高品質な画像伝送を確実に維持することができる。
ここで、ビットレート値に関する第2の所定値としては、種々な値が用いられてもよく、例えば、目標とするビットレートの値に1未満の値を乗じた結果値が用いられる。
また、圧縮処理における画像の画質を向上させる態様としては、種々な態様が用いられてもよく、例えば、画像データを量子化する場合に使用される量子化ステップのサイズを小さくして、量子化後の画像データ量を増加させるような態様を用いることができる。
すなわち、前記出力は伝送路に対して行われる。つまり、前記圧縮処理後の画像データは、画像圧縮処理装置から直接的に或いは他の装置を介して伝送路へ出力される。
また、伝送路ビットレート値検出手段が、前記伝送路のビットレート値を検出する。前記第1の所定値と前記第2の所定値との一方又は両方は、前記検出された伝送路のビットレート値に基づいて決定される。
従って、伝送路のビットレート値の状況に応じて、画像データの破棄及び画像の画質低下や、画像の画質向上が行われるため、伝送路の状況に応じて、高品質な画像伝送を確実に維持することができる。
また、伝送路のビットレート値は、例えば、目標とするビットレートの値として用いられ、或いは、目標とするビットレートの値を算出する基として用いられる。
本発明に係る方法では、画像圧縮処理装置において各手段が各種の処理を実行する。
本発明に係るプログラムでは、画像圧縮処理装置を構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
本発明に係る記録媒体では、画像圧縮処理装置を構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理を当該コンピュータに実行させる。
本発明では、次の(構成例1)や(構成例2)に係る画像圧縮処理装置を提供することができる。
(構成例1)圧縮符号化された画像のデータを処理する画像圧縮処理装置において、出力ビット数を監視して実効ビットレート値を出力するビットレート判断処理機能と、前記実効ビットレート値と目標ビットレートの比率などの関係からフレームスキップタイミング信号を生成するフレームスキップ判定処理機能と、前記フレームスキップタイミング信号に合わせて所定の画像データを削除するフレームスキップ処理機能と、前記フレームスキップタイミング信号が所定時間内に所定回数発生したとき低画質設定タイミング信号を出力するフレームスキップ数カウント処理機能と、前記低画質設定タイミング信号に合わせて低画質となる画質パラメータ値を圧縮符号化処理部へ入力する画質パラメータ制御機能と、を備えたことを特徴とする画像圧縮処理装置。
(構成例2)上記した(構成例1)に記載の画像圧縮処理装置において、前記実効ビットレートが目標ビットレートに対して所定の割合以下しか得られないとき、次フレームの圧縮符号化の画質パラメータ値を高画質方向に設定変更する画質パラメータ制御機能を備えたことを特徴とする画像圧縮処理装置。
すなわち、圧縮符号化処理した圧縮データに基づいてビットレート判断処理機能が実効ビットレート値を出力し、これを入力したフレームスキップ判断処理機能において実効ビットレート値が目標ビットレートを超えると判断したときにフレームスキップタイミング信号を供給する。フレームスキップタイミング信号を受け取ったフレームスキップ処理機能は、次のフレームの圧縮符号化処理を行わないように画像データを圧縮符号化処理部に入力しない。これにより、圧縮符号化処理した圧縮データについて、実効ビットレート値をシステムにより定められた目標ビットレート以下に制御することが可能となる。
また、フレームスキップタイミング信号を入力したフレームスキップ数カウント処理機能が、所定時間内に所定回数のフレームスキップタイミング信号を受け取ったとき、低画質設定タイミング信号を画質パラメータ制御機能へ供給する。低画質設定タイミング信号を入力した画質パラメータ制御機能は、低画質となる画質パラメータ値を圧縮符号化処理部へ入力し、圧縮符号化処理の画質設定を低画質に更新することで、以降のフレームにおける圧縮データ量を抑制する。これにより、前記フレームスキップの頻発を抑えることが可能となる。
また、処理対象の画像データからフレームスキップタイミングを供給する機能としては、種々な手法によるものが用いられてもよく、例えば、外部に設けたビットレート測定装置などから情報を入力することもできる。
また、データ削除タイミングの供給条件としては、実効ビットレート値が目標ビットレートを超えたときだけではなく、目標ビットレートに対する実効ビットレート値の比率に関する条件とするなど、画像圧縮処理装置の要求仕様を満足する条件とすることができる。
また、データ削除タイミングの供給条件としては、目標ビットレートとの関係だけではなく、伝送路ビットレートに対する実効ビットレート値の比率に関する条件とするなど、画像圧縮処理装置及びシステムの要求仕様を満足する条件とすることができる。
また、低画質となる画質パラメータ値の供給条件としては、目標ビットレートとの関係だけではなく、伝送路ビットレートに対する実効ビットレート値の比率に関する条件とするなど、画像圧縮処理装置及びシステムの要求仕様を満足する条件とすることができる。
一構成例として、ビットレート判断処理機能は、圧縮符号化処理部から出力する圧縮データ量から実効ビットレート値を算出し、フレームスキップ判定処理部及び画質パラメータ制御部へ実効ビットレート値を供給する。
一構成例として、フレームスキップ判定機能は実効ビットレート値が目標ビットレートを超えると判断した場合には、フレームスキップタイミング信号をフレームスキップ処理部へ供給する。
一構成例として、フレームスキップ処理機能は、画像データを圧縮符号化処理部へ供給し、フレームスキップタイミング信号が発生した次のフレームだけ供給しない。
ここで、GOVとは、MPEG−4における処理単位の一つであり、I−VOPから次のI−VOPになるまでの全てのP−VOPを含んだVOPの集団のことを言う。
一構成例として、画質パラメータ制御機能は、低画質設定タイミング信号を受け取ったときに、低画質となる画質パラメータ値を圧縮符号化処理部へ供給する。また、実効ビットレート値が目標ビットレートの70パーセント(%)以下になったときに、高画質となる画質パラメータ値を圧縮符号化処理部へ供給する。
一構成例として、処理対象となる圧縮符号化処理した圧縮データは、予測符号化を用いて圧縮符号化処理した圧縮データである。
本例では、例えば、MPEG−4などの予測符号化による圧縮符号化処理方式を用いた画像圧縮処理装置に本発明を適用した場合を示す。
図1には、本例の画像圧縮処理装置の構成例を示してある。
本例の画像圧縮処理装置は、フレームバッファ1と、フレームスキップ処理部2と、圧縮符号化処理部3と、フレームバッファ4と、ビットレート判断処理部5と、フレームスキップ判定処理部6と、フレームスキップ数カウント処理部7と、画質パラメータ制御部8を備えている。
まず、動画像データの第1フレーム目の処理について説明する。
MPEG−4などの予測符号化による圧縮符号化方式では、前後のフレームからの予測を行わないI−VOPの圧縮符号化を周期的に行って、予測のリファレンスとなるフレームを周期的に挿入することで、或る程度の画質の維持及びエラーによる画像乱れや崩れから復帰する。このため、第1フレーム目は予測のリファレンスとなる必要があるため、符号化タイプはI−VOPである。画像圧縮処理装置に最初の画像データが入力すると、フレームバッファ1へ当該画像データを蓄積し、1フレームの画像データが揃った時点でその画像データをフレームスキップ処理部2へ入力する。
圧縮符号化処理部3は、入力された画像データに対して圧縮符号化処理を行う。このとき圧縮符号化処理で用いた画質パラメータは、システム起動時に与えられた任意の初期値を用いている。圧縮符号化処理を終えると、圧縮符号化処理部3は、当該圧縮符号化処理により得られた圧縮データをフレームバッファ4に対して出力する。これと同時に、圧縮符号化処理部3からビットレート判断処理部5へ当該圧縮符号化処理に係る圧縮データの量(或いは、圧縮データのサイズ)を入力する。
ここで、実効ビットレート値の算出手法としては、種々な手法が用いられてもよい。例えば、1GOVが30フレームで構成され、30fps(frame per second)の入力画像が処理される場合には、1GOVが1秒で入力されることとなり、過去の5GOV分の圧縮画像データのデータ量の累積値を5秒で割った値を実効ビットレート値とする。なお、本例では、フレームスキップした場合には、該当するフレームのデータ量はゼロ(0)として計算する。
また、本例では、過去5秒(5GOV)分の値を用いて実効ビットレート値の算出を行うが、例えば、1秒などのように、より短い時間分の値を用いて実効ビットレート値の算出を行うと、より正確な値が得られるという利点がある一方、実効ビットレート値の変動が大きくなりやすく、フレームスキップや、画質パラメータの変更が頻繁に起こり、表示する画像としては見にくいものとなる場合もある。このため、これらのトレードオフを考慮して、適当な態様が用いられるのがよい。
ここで、目標ビットレートは、例えば、予め、フレームスキップ判定処理部6に設定されている。
目標ビットレートの設定値としては、種々な値が用いられてもよい。
なお、本例では、実効ビットレート値が目標ビットレートを超えた場合にフレームスキップをする構成であるため、余裕を持たせる場合には、システムで規定された値などと比べて少し小さな値を本例の画像圧縮処理装置における目標ビットレートの値として設定すればよい。
画質パラメータ制御部8は、通常の動作時においては、低画質設定タイミング信号の発生状況に応じて、低画質となる画質パラメータ値を圧縮符号化処理部3へ出力する。第1フレーム目では、低画質設定タイミング信号が発生していないため、画質パラメータ値も出力しない。
本例では、圧縮符号化処理における画質パラメータとしては、例えば、量子化ステップが用いられており、この場合、画質パラメータの変更としては、量子化ステップを変更する態様が用いられる。
また、本例では、画質パラメータ値が大きいほど低画質となり、画質パラメータ値が小さいほど高画質となる。
以上が第1フレーム目の処理である。
第2フレーム目以降では、予測符号化を行うP−VOPの符号化タイプであり、次のI−VOP符号化を行うフレーム周期になるまで、P−VOPの符号化を繰り返して行う。
画像圧縮処理装置に第2フレーム目の画像データが入力されると、フレームバッファ1へ当該画像データを蓄積し、1フレームの画像データが揃った時点でその画像データがフレームスキップ処理部2へ入力される。このとき、前回のフレームである第1フレーム目の処理においてフレームスキップタイミング信号が発生しなかったため、第2フレーム目ではフレームスキップ処理部2から圧縮符号化処理部3に対して画像データを出力する。
圧縮符号化処理を終えると、圧縮符号化処理部3は、圧縮データをフレームバッファ4に対して出力する。これと同時に、圧縮符号化処理部3からビットレート判断処理部5へ圧縮データ量を出力する。
ここで、第2フレーム目における実効ビットレート値がシステムで要求している目標ビットレート以下であるとすると、フレームスキップ数カウント処理部6及び画質パラメータ制御部8は何も出力しない。
以上が第2フレーム目の処理である。
また、第3フレーム目以降についても、上記と同様な処理を繰り返して行う。
すなわち、フレームスキップ判定処理部6は、フレームスキップタイミング信号を発生して、これをフレームスキップ処理部2及びフレームスキップ数カウント処理部7へ出力する。
フレームスキップタイミング信号を入力したフレームスキップ処理部2は、次のフレームとなる(X+1)フレーム目に入力する画像データを圧縮符号化処理部3へ出力しない。このため、(X+1)フレーム目については、圧縮符号化処理部3から圧縮データが出力されないため、圧縮データ量はゼロ(0)となる。すると、ビットレート判断処理部5で算出する(X+1)フレーム目の実効ビットレート値は、Xフレーム目の実効ビットレート値よりも低い値となる。
また、フレームスキップ数カウント処理部7は、フレームスキップタイミング信号を入力したため、過去5GOVにおけるフレームスキップ数のカウント値をインクリメントし、Xフレーム目の時点で カウント値が1となる。
この場合、Xフレーム目の処理と同様に、フレームスキップタイミング信号を入力したフレームスキップ処理部2は、次のフレームとなる(X+2)フレーム目に入力する画像データを圧縮符号化処理部3へ出力せず、結果的に、(X+2)フレーム目の実効ビットレート値は、(X+1)フレーム目の実効ビットレート値よりも小さい値となる。
また、フレームスキップ数カウント処理部7は、フレームスキップタイミング信号を入力したため、過去5GOVにおけるフレームスキップ数のカウント値をインクリメントし、(X+1)フレーム目の時点でカウント値が2となる。
このため、上記のように過去5GOVにおけるフレームスキップ数のカウント値が2となると、フレームスキップ数カウント処理部7は低画質設定タイミング信号を画質パラメータ制御部8へ出力する。これに応じて、画質パラメータ制御部8が、低画質となる画質パラメータ値を圧縮符号化処理部3へ出力する。
これにより、圧縮符号化処理部3では、画質パラメータ値を低画質として更新することが行われるため、(X+3)フレーム以降に圧縮符号化処理により出力される圧縮データの圧縮データ量は、低画質として設定する前の圧縮符号化処理による圧縮データ量よりも小さい値となり、結果的に、実効ビットレート値が低下する。
なお、フレームスキップ数カウント処理部7では、フレームスキップ数のカウント値が所定値(本例では、2)となった時点で、当該フレームスキップ数のカウンタをリセットしてカウント値をゼロ(0)に戻し、新たにフレームスキップ数のカウントを行う。
すなわち、画質パラメータ制御部8は、ビットレート判断処理部5から入力される実効ビットレート値及び設定された目標ビットレートに基づいて、Yフレーム目に、高画質となる画質パラメータ値を圧縮符号化処理部3へ出力する。
これにより、圧縮符号化処理部3では、画質パラメータ値を高画質として更新することが行われるため、(Y+1)フレーム目の圧縮符号化処理により出力される圧縮データの圧縮データ量は、Yフレーム目の圧縮データ量よりも大きい値となり、結果的に、実効ビットレート値が向上する(つまり、高くなる)。
なお、本例では、画質パラメータ制御部8が、実効ビットレート値と目標ビットレートとの比較を行って、実効ビットレート値が目標ビットレートの70パーセント(%)を下回ったことを判定した場合に、上記のように高画質に設定する処理を行う。
また、非常に複雑度が高い画像データが入力されて低画質設定を行い、その後に複雑度が小さい画像データが入力されると、実効ビットレート値が目標ビットレートよりも極端に小さくなってしまう。本例では、この入力画像データの変化による圧縮符号化の低効率化を回避するために、実効ビットレート値が極端に小さくなったときだけ高画質設定を行うことで画質を改善する。これにより、動画像の変化にも対応した高効率な圧縮符号化処理を実現することが可能となる。
また、本例では、低画質から高画質へ移行させる際に、当初の画質と同じ値に戻すのではなく、当初の画質よりも低い画質に戻すようなことが行われるが、当初の画質と同じ値に戻す構成が用いられてもよい。但し、すぐに当初の画質と同じ値に戻すと、フレームスキップの発生、低画質設定、実効ビットレート値の低下、高画質設定、再びフレームスキップの発生というように、同じことが繰り返されてしまう場合があるため、画質を戻すときにすぐには当初の画質と同じ値までには戻さない構成も有効である。
図2には、本例の画像圧縮処理装置から出力されるフレームA1〜A31の具体的な一例を示してあり、また、圧縮符号化処理部3からビットレート判断処理部5へ出力される圧縮データ量の時間変化の一例と、ビットレート判断処理部5から出力される実効ビットレート値の時間変化の一例と、フレームスキップ判定処理部6から出力されるフレームスキップタイミング信号の時間変化の一例と、フレームスキップ数カウント処理部7から出力される低画質設定タイミング信号の時間変化の一例と、画質パラメータ制御部8から出力される画質パラメータ値の時間変化の一例を示してある。
図2における横方向は、時間的な処理の流れ(フレーム単位の流れ)として、最初のI−VOPである第1フレーム目(フレームA1)から2回目のI−VOPとなる第31フレーム目(フレームA31)を表している。
本例では、第6フレーム目(フレームA6)を圧縮符号化処理部3から出力したときに、フレームスキップ判定処理部6において実効ビットレート値が目標ビットレートを超えることを判定したとする。このとき、フレームスキップ判定処理部6からフレームスキップタイミング信号が出力され、フレームスキップ数カウント処理部7はカウンタをインクリメントする。第7フレーム目(フレームA7)は、フレームスキップタイミング信号が出力された次のフレームであるため、圧縮符号化処理が行われない。このため、第7フレーム目については、圧縮データ量がゼロ(0)であり、実効ビットレート値を急激に下げることができる。
本例では、第9フレーム目(フレームA9)において圧縮データ量が大きくなり、フレームスキップ判定処理部6において実効ビットレート値が目標ビットレートを超えることを判定したとする。このとき、フレームスキップ判定処理部6からフレームスキップタイミング信号が出力され、フレームスキップ数カウント処理部7はカウンタをインクリメントする。本例では、5GOV周期内に2回のフレームスキップタイミング信号が出力されたため、フレームスキップ数カウント処理部7から低画質設定タイミング信号が出力される。これを画質パラメータ制御部8が受け取り、低画質となる画質パラメータ値を出力することで、以降のフレームにおける圧縮データ量を小さくするような圧縮パラメータ設定に更新する。
第11フレーム目(フレームA11)から以降のフレームでは、低画質となる画質パラメータ値を用いて圧縮符号化処理を行っていくことから、第9フレーム目におけるような非常に大きい圧縮データ量が出力されないため、実効ビットレート値が目標ビットレートを超え難くなり、フレームスキップの発生を抑えることができる。
この場合、画質パラメータ制御部8は、高画質となる画質パラメータ値を圧縮符号化処理部3へ出力し、以降のフレームの圧縮データ量を大きくするような圧縮パラメータ設定に更新する。
本例では、この時点における高画質となる画質パラメータ値としては、低画質となる画質パラメータ値を第9フレーム目で設定する前の値よりも大きくする(つまり、より低画質とする)ことで、圧縮符号化処理及びビットレート制御処理を安定化させる。
第15フレーム(フレームA15)以降は、実効ビットレート値が目標ビットレートの70〜100パーセント(%)の間で推移する。
ここで、本例では、複数の連続したフレームから構成される動画像データを処理する場合を示したが、処理対象となる画像のデータとしては、特に限定は無く、他の構成例として、複数の静止画像のフレームのデータを連続的に並べたようなものを処理することも可能である。
また、フレームスキップが所定時間内に所定回数発生したことを判定する態様としては、例えば、当該所定時間に対応するフレーム数を使用して、フレームスキップが所定フレーム数の間に所定回数発生したことを判定する態様を用いることもできる。
また、本例の画像圧縮処理装置は、例えば、単体として構成されてもよく、或いは、画像伝送装置やカメラなどが備える機能部の1つとして構成されてもよい。
従って、本例の画像圧縮処理装置では、フレームスキップと画質設定制御の併用により、高効率なビットレート制御機能を実現することができ、また、この制御による静止画像や動画像としての画質低下が最小限となるように制御することができる。
また、例えば、監視システムのように、画質を重視するアプリケーションでは、フレームの連続性よりもクオリティ(高画質)を重視するケースもある。本例のビットレート制御では、低画質化よりもフレームスキップを優先的に実行することで、極端な画質低下を防ぐことができる。
(変形例1)
上記の実施例では、(処理1)として、所定の圧縮符号化方式により画像データを処理する装置において、圧縮符号化後の画像データ量に基づいてビットレートを監視して、ビットレート値が目標値を超えた場合には、フレームスキップを行い、次のフレームについては圧縮せずに破棄することが行われる。(処理2)として、(処理1)においてフレームスキップの回数をカウントし、フレームスキップが所定時間内に所定回数発生した場合には、画質パラメータを変更して低画質設定にして(例えば、圧縮率を上げて)、次のフレーム以降の画像データ量を減らすことが行われる。(処理3)として、(処理2)の後に、ビットレート値が所定値以下となった場合には、画質パラメータを変更して高画質設定にして(例えば、圧縮率を下げて)、次のフレーム以降の画像データ量を増やすことが行われる。
本変形例では、まず、上記した(処理1)の代わりに、所定の圧縮符号化方式により画像データを処理する装置において、圧縮符号化後の画像データ量に基づいてビットレートを監視して、ビットレート値が目標値を超えた場合には、画質パラメータを変更して低画質設定にすることを行い、そして、その後は、上記した(処理3)と同様な処理を行う。
本変形例では、フレームスキップ数カウント処理部7は、フレームスキップタイミング信号が2回連続して(本例では、2フレーム連続して)発生した場合に、低画質設定タイミング信号を画質パラメータ制御部8へ出力し、他の場合には出力しない。なお、一旦、連続してフレームスキップが発生し、その後も、フレームスキップの発生が続く間は、フレームスキップ数カウント処理部7は、低画質設定タイミング信号を画質パラメータ制御部8へ出力し続ける。
例えば、(m−1)フレーム目ではフレームスキップは発生せず、mフレーム目ではフレームスキップが発生し、(m+1)フレーム目でもフレームスキップが発生した場合には、フレームスキップが2フレームに渡って連続して発生することになるため、フレームスキップ数カウント処理部7は、低画質設定タイミング信号を画質パラメータ制御部8へ出力する。これに応じて、画質パラメータ制御部8は、低画質となるパラメータ値を圧縮符号化処理部3へ出力する。その後、(m+2)フレーム目でもフレームスキップが発生した場合には、フレームスキップ数カウント処理部7は、低画質設定タイミング信号を画質パラメータ制御部8へ出力する。画質パラメータ制御部8は、更に低画質となるパラメータ値があれば、それを圧縮符号化処理部3へ出力する。
上記した実施例では、フレームスキップ処理部2が画像データを圧縮符号化処理部3へ出力しないことにより、圧縮前の画像データをスキップして、圧縮前に画像データを破棄する構成を示した。
本変形例では、フレームスキップ処理部2の機能を圧縮符号化処理部3とフレームバッファ4との間に配置して、スキップ対象となる次のフレームの画像データについては、圧縮符号化処理部3から出力される圧縮後の画像データを破棄する構成とする。この場合、ビットレート判断処理部5には、破棄する圧縮画像データのデータ量がゼロ(0)であることを圧縮符号化処理部3或いはフレームスキップ判定処理部6或いはフレームスキップ処理部2などから通知する。
本変形例では、フレームスキップ処理部2を備えずに、スキップ対象は次のフレームの画像データではなく、現在のフレームの圧縮後の画像データとして、出力側のフレームバッファ4内にある該当する圧縮後の画像データを破棄する構成とする。この場合、破棄した圧縮画像データのデータ量がゼロ(0)となるように修正するために、ビットレート判断処理部5は、次回の実効ビットレート値の算出からは当該破棄した圧縮画像データのデータ量がゼロ(0)であるとして計算する。また、例えば、フレームスキップ判定処理部6からのフレームスキップタイミング信号がフレームバッファ4の制御部へ入力され、当該制御部が実効ビットレート値が過大となったフレームの圧縮後の画像データを当該フレームバッファ4から削除する。
図3には、本例の画像圧縮処理装置の構成例を示してある。
本例の画像圧縮処理装置は、概略的には、図1に示される画像圧縮処理装置の構成に、更に、伝送路ビットレート判定処理部11を備えた構成を有している。
なお、図3では、図1に示されるとの同様な構成部1〜8については同一の符号を用いて示してある。
また、本例では、図1に示される画像圧縮処理装置とは異なる構成部分や動作部分について、詳しく説明する。
本例では、伝送路ビットレート判定処理部11から出力される伝送路ビットレート値を、目標ビットレートとして用いる。
具体的には、入力される動画像のデータに対して行われる一連の処理動作については図1に示される場合と同様であり、本例では、フレームスキップ判定処理部6及び画質パラメータ制御部8において使用する目標ビットレートを伝送路ビットレート値とする。
画質パラメータ制御部8では、低画質設定タイミング信号に応じた低画質設定処理については図1に示される場合と同様であり、また、低画質化した後に、入力される伝送路ビットレート値の70パーセント(%)の値と比べて実効ビットレート値が低くなったら画質パラメータを高画質化する。
このような構成により、本例の画像圧縮処理装置では、ネットワークなどの伝送路の伝送容量が変動するような場合においても、フレームスキップと画質設定制御の併用により、高効率なビットレート制御機能を実現することができ、また、この制御による静止画像や動画像としての画質低下が最小限となるように制御することができる。
すなわち、図4には、本例の画像圧縮処理装置から出力されるフレームB1〜B31の具体的な一例を示してあり、また、圧縮符号化処理部3からビットレート判断処理部5へ出力される圧縮データ量の時間変化の一例と、ビットレート判断処理部5から出力される実効ビットレート値の時間変化の一例と、フレームスキップ判定処理部6から出力されるフレームスキップタイミング信号の時間変化の一例と、フレームスキップ数カウント処理部7から出力される低画質設定タイミング信号の時間変化の一例と、画質パラメータ制御部8から出力される画質パラメータ値の時間変化の一例を示してある。
図4における横方向は、時間的な処理の流れ(フレーム単位の流れ)として、最初のI−VOPである第1フレーム目(フレームB1)から2回目のI−VOPとなる第31フレーム目(フレームB31)を表している。
ここで、本例では、目標ビットレートとして変動する伝送路ビットレート値が用いられており、概略的な動作の仕方としては図2に示される場合と同様である。
なお、本例の画像圧縮処理装置では、伝送路ビットレート判定処理部11の機能により伝送路ビットレート値検出手段が構成されている。
図5には、画像圧縮処理装置の構成例を示してある。
本例の画像圧縮処理装置は、フレームバッファ21と、圧縮符号化処理部22と、フレームバッファ23を備えており、MPEG−4などの予測符号化による圧縮符号化方式を用いたものである。
まず、動画像データの第1フレーム目の処理について説明する。
第1フレーム目は予測のリファレンスとなる必要があるため、符号化タイプはI−VOPである。画像圧縮処理装置に最初の画像データが入力されると、フレームバッファ21へ当該画像データを蓄積し、1フレームの画像データが揃った時点でその画像データを圧縮符号化処理部22へ入力する。圧縮符号化処理部22では、入力された画像データに対して圧縮符号化処理を行う。このとき圧縮符号化処理で用いた画質パラメータ値としては、システム起動時に与えられた任意の初期値を用いている。圧縮符号化処理を終えると、圧縮符号化処理部22は圧縮データをフレームバッファ23に対して出力する。
次に、動画像データの第2フレーム目以降の処理について説明する。
第2フレーム目以降ではI−VOPの符号化を行う周期になるまでP−VOPの符号化を繰り返して行う。この予測符号化の他に関する処理は、第1フレーム目と同様である。
図6には、画像圧縮処理装置から圧縮データとして出力するフレームC1〜C31の一例を示してあり、また、圧縮データ量の時間変化の一例と、実効ビットレート値の時間変化の一例を示してある。図6において、横方向は時間的な処理の流れ(フレーム単位の流れ)として、最初のI−VOPである第1フレーム目(フレームC1)から2回目のI−VOPとなる第31フレーム目(フレームC31)を表している。
ここで、一例として、仮に、第6フレーム目(フレームC6)を圧縮符号化処理部22から出力したときに、実効ビットレート値が目標ビットレートを超えたとする。この場合、図5に示される画像圧縮処理装置では、ビットレートの判断処理機能やフレームスキップの判定処理機能などを備えていないため、ビットレートを低下させるようなイベントは何も起こらない。また、第7フレーム目(フレームC7)以降においても同様であり、実効ビットレート値が目標ビットレートを超えるようなことがあっても、そのまま画像圧縮処理装置から出力されてしまう。
本発明は、このような点を改善して、優れた効果を得ることができるものである。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る画像圧縮処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disk)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
Claims (3)
- 画像データを圧縮処理する画像圧縮処理装置において、
画像データをフレーム毎に圧縮処理する圧縮処理手段と、
前記圧縮処理後に出力される画像データの量に基づいてビットレート値を検出するビットレート値検出手段と、
前記検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合に圧縮処理前或いは圧縮処理後における前記出力前の画像データを1フレーム分或いは複数フレーム分破棄する画像データ破棄手段と、
前記画像データの破棄が所定期間内に所定回数に達した場合に前記圧縮処理手段による圧縮処理における画像の画質を低下させる画質低下手段と、
を備えたことを特徴とする画像圧縮処理装置。 - 請求項1に記載の画像圧縮処理装置において、
前記検出されたビットレート値が第2の所定値以下となる場合或いは第2の所定値未満となる場合に前記圧縮処理手段による圧縮処理における画像の画質を向上させる画質向上手段と、
を備えたことを特徴とする画像圧縮処理装置。 - 請求項1又は請求項2に記載の画像圧縮処理装置において、
前記出力は伝送路に対して行われ、
前記伝送路のビットレート値を検出する伝送路ビットレート値検出手段を備え、
前記第1の所定値と前記第2の所定値との一方又は両方は、前記検出された伝送路のビットレート値に基づいて決定される、
ことを特徴とする画像圧縮処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004359330A JP4447443B2 (ja) | 2004-12-13 | 2004-12-13 | 画像圧縮処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004359330A JP4447443B2 (ja) | 2004-12-13 | 2004-12-13 | 画像圧縮処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006173694A true JP2006173694A (ja) | 2006-06-29 |
| JP4447443B2 JP4447443B2 (ja) | 2010-04-07 |
Family
ID=36674012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004359330A Expired - Fee Related JP4447443B2 (ja) | 2004-12-13 | 2004-12-13 | 画像圧縮処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4447443B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236333A (ja) * | 2007-03-20 | 2008-10-02 | Toshiba Corp | 映像符号化装置及び映像符号化方法 |
| JP2011507341A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | ストリーミング双方向ビデオを使用したバーチャル事象のホスティング及びブロードキャスティング |
| JP2011507352A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | 通信チャンネルの帯域巾制限を補償するためのビデオ圧縮システム及び方法 |
| JP2011507349A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | ビデオを圧縮するためのタイルベースシステム及び方法 |
| JP2011050639A (ja) * | 2009-09-03 | 2011-03-17 | Olympia:Kk | 遊技機 |
| JP2011508995A (ja) * | 2007-12-05 | 2011-03-17 | オンライブ インコーポレイテッド | 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法 |
| JP2015519824A (ja) * | 2012-04-30 | 2015-07-09 | シリコン イメージ,インコーポレイテッド | 費用効率が高く低遅延のビデオストリーム符号化を容易にする機構 |
| JP2015167382A (ja) * | 2007-12-05 | 2015-09-24 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | ストリーミング双方向ビデオを圧縮するシステム及び方法 |
-
2004
- 2004-12-13 JP JP2004359330A patent/JP4447443B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008236333A (ja) * | 2007-03-20 | 2008-10-02 | Toshiba Corp | 映像符号化装置及び映像符号化方法 |
| JP2011507341A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | ストリーミング双方向ビデオを使用したバーチャル事象のホスティング及びブロードキャスティング |
| JP2011507352A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | 通信チャンネルの帯域巾制限を補償するためのビデオ圧縮システム及び方法 |
| JP2011507349A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | ビデオを圧縮するためのタイルベースシステム及び方法 |
| JP2011508995A (ja) * | 2007-12-05 | 2011-03-17 | オンライブ インコーポレイテッド | 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法 |
| JP2015167382A (ja) * | 2007-12-05 | 2015-09-24 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | ストリーミング双方向ビデオを圧縮するシステム及び方法 |
| JP2011050639A (ja) * | 2009-09-03 | 2011-03-17 | Olympia:Kk | 遊技機 |
| JP2015519824A (ja) * | 2012-04-30 | 2015-07-09 | シリコン イメージ,インコーポレイテッド | 費用効率が高く低遅延のビデオストリーム符号化を容易にする機構 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4447443B2 (ja) | 2010-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8374236B2 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
| CN101010959B (zh) | 传送数据流的方法和系统 | |
| JPH11225168A (ja) | 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置 | |
| CN105933800A (zh) | 一种视频播放方法及其控制终端 | |
| WO2010007749A1 (ja) | 送信装置、受信装置、レート制御装置、送信方法及び受信方法 | |
| KR100678891B1 (ko) | Av데이터 수신시 버퍼량을 컨텐츠 속성에 따라탄력적으로 조절하는 방법 및 장치 | |
| CN101860751A (zh) | 动态图像编码装置和动态图像编码方法 | |
| JP2015171114A (ja) | 動画像符号化装置 | |
| US20070217505A1 (en) | Adaptive Decoding Of Video Data | |
| JP4447443B2 (ja) | 画像圧縮処理装置 | |
| US20110299605A1 (en) | Method and apparatus for video resolution adaptation | |
| US20180007251A1 (en) | Method and system for dynamically adjusting a camera setting for a video stream | |
| JP2006197321A (ja) | 画像処理方法および装置、並びにプログラム | |
| JP3836701B2 (ja) | 動画像を符号化する方法及び装置及びプログラム並びに動画像音声多重化の方法及び装置 | |
| JP2011061362A (ja) | 符号化装置、符号化方法、および符号化プログラム | |
| KR20090125556A (ko) | 영상 코덱 방법, 영상 코덱 장치 및 그 영상 서비스 시스템 | |
| JP2017175429A (ja) | 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法 | |
| KR101291559B1 (ko) | 실시간 다중 영상압축 장치 및 방법 | |
| JP2007028598A (ja) | 圧縮符号化装置及び圧縮符号化方法 | |
| WO2016104178A1 (ja) | 信号処理装置、および信号処理方法、並びにプログラム | |
| JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
| TWI902293B (zh) | 利用影片關鍵幀預測比特率的系統與方法 | |
| JP7521227B2 (ja) | 画像処理装置及びプログラム | |
| US6990144B2 (en) | System and method for overrun catch-up in a real-time software | |
| JP4892541B2 (ja) | 画像伝送方法および画像伝送システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070928 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070928 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100120 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4447443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140129 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |