JP2006173694A - 画像圧縮処理装置 - Google Patents

画像圧縮処理装置 Download PDF

Info

Publication number
JP2006173694A
JP2006173694A JP2004359330A JP2004359330A JP2006173694A JP 2006173694 A JP2006173694 A JP 2006173694A JP 2004359330 A JP2004359330 A JP 2004359330A JP 2004359330 A JP2004359330 A JP 2004359330A JP 2006173694 A JP2006173694 A JP 2006173694A
Authority
JP
Japan
Prior art keywords
bit rate
frame
image
image quality
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004359330A
Other languages
English (en)
Other versions
JP4447443B2 (ja
Inventor
Satoru Todate
悟 戸舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2004359330A priority Critical patent/JP4447443B2/ja
Publication of JP2006173694A publication Critical patent/JP2006173694A/ja
Application granted granted Critical
Publication of JP4447443B2 publication Critical patent/JP4447443B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 画像データを圧縮処理する画像圧縮処理装置で、高品質な画像伝送を確実に維持する。
【解決手段】 圧縮処理手段3が、画像データをフレーム毎に圧縮処理する。ビットレート値検出手段5が、圧縮処理後に出力される画像データの量に基づいてビットレート値を検出する。画像データ破棄手段6、2が、例えば、検出されたビットレート値が第1の所定値以上となる場合に圧縮処理前における画像データを1フレーム分破棄する。画質低下手段7、8が、画像データの破棄が所定期間内に所定回数に達した場合に圧縮処理手段3による圧縮処理における画像の画質を低下させる。
【選択図】 図1

Description

本発明は、画像を圧縮処理する画像圧縮処理装置に関し、特に、高品質な画像伝送を確実に維持することを可能とする画像圧縮処理装置に関する。
近年のデジタル化に伴い、監視システムやDVDやBS放送などにおいてMPEG(Moving Picture Experts Group)などの動画像データの圧縮及び伸張の技術が利用され始めている。また、ADSL(Asymmetric Digital Subscriber Line)やCATV(Cable Television)といったブロードバンドに限らず、携帯電話やISDN(Integrated Services Digital Network)などのナローバンドにおいても、圧縮効率が高い動画像圧縮方式であるMPEG−4(ISO/IEC14496−2)を用いたTV電話や映像コンテンツ配信が普及しつつある。
このようにデジタル化による画像伝送の用途が広がり、様々なインフラにおいて高品質の画像を伝送する要求が高まっている。一例に係る携帯電話のTV電話では、回線容量が64kbpsであり、その中で画像伝送に割り当てられている帯域は40kbps程度である。それ以外の帯域で音声や制御データなどを伝送しているため、画像データは必ず40kbps以下に制御して伝送しなければならない。
一方、MPEG−4などの動画像圧縮符号化技術は、圧縮符号化により発生するデータ量を或る程度想定して処理するものであるが、数十バイト単位などの高精度な制御が困難な圧縮アルゴリズムであり、画像の複雑度が常に変化する動画像を圧縮する場合には、想定する帯域に対して数倍のデータを出力してしまうこともある。前述の携帯電話の例では、画像データのビットレートが40kbpsを超えた場合には、画像データや音声データやその他のデータの欠落若しくは遅延の増大につながる。
例えば、画像データが欠落した場合、MPEGのように前後のフレームの画像データを参照する予測符号化方式であれば、圧縮データが欠落したフレームから予測のリファレンスとなるイントラフレームになるまで、画像の乱れや崩れが連続して発生する。
なお、本明細書では、イントラフレームをI−VOPと言い、また、I−VOP以外の予測符号化を行うフレームをP−VOPと言う。
特開2003−309841号公報
しかしながら、上記のような従来の画像圧縮処理装置では、圧縮符号化処理したデータ量を正確に制御することが困難な圧縮アルゴリズムであるため、制限された帯域よりも多くのデータが画像圧縮処理装置から出力されてデータが欠落する可能性があり、高品質な画像伝送を確実に維持することが困難な場合があるといった不具合があった。
本発明は、このような従来の課題を解決するために為されたもので、高品質な画像伝送を確実に維持することを可能とする画像圧縮処理装置を提供することを目的とする。
上記目的を達成するため、本発明に係る画像圧縮処理装置では、画像データを圧縮処理するに際して、次のような処理を行う。
すなわち、圧縮処理手段が、画像データをフレーム毎に圧縮処理する。ビットレート値検出手段が、前記圧縮処理後に出力される画像データの量に基づいてビットレート値を検出する。画像データ破棄手段が、前記検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合に、圧縮処理前或いは圧縮処理後における前記出力前の画像データを1フレーム分或いは複数フレーム分破棄する。画質低下手段が、前記画像データの破棄が所定期間内に所定回数に達した場合に、前記圧縮処理手段による圧縮処理における画像の画質を低下させる。
従って、まず、圧縮処理後の画像データ量が大きい場合には画像データの破棄が行われて圧縮処理後の画像データ量の低減が図られ、そして、このような破棄が行われた回数に応じて圧縮処理における画像の画質が低下させられて圧縮処理後の画像データ量の低減が図られるため、圧縮処理後の画像データ量の状況に応じて、圧縮処理後の画像データ量の過大化を防止することができ、高品質な画像伝送を確実に維持することができる。
なお、前記した検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合としては、いずれの場合が用いられてもよい。
また、前記した圧縮処理前或いは圧縮処理後における前記出力前の画像データとしては、いずれの画像データが用いられてもよい。
また、前記した画像データを1フレーム分或いは複数フレーム分破棄する態様としては、いずれの態様が用いられてもよい。
ここで、圧縮処理後の画像データの量に基づいてビットレート値を検出することは、例えば、1フレーム分の圧縮処理後の画像データの量を参照して行われてもよく、或いは、複数フレーム分の圧縮処理後の画像データの量を参照してその平均値などに基づいて行われてもよい。
また、ビットレート値に関する第1の所定値としては、種々な値が用いられてもよく、例えば、目標とするビットレートの値が用いられる。
また、検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合に、圧縮処理前或いは圧縮処理後における前記出力前の画像データを1フレーム分破棄する構成では、破棄するフレームとしては、種々なフレームが用いられてもよく、例えば、当該ビットレート値を検出したときのフレームが用いられてもよく、或いは、その次のフレームが用いられてもよい。
また、画像データの破棄が所定期間内に所定回数に達したことの検出に関して、所定期間としては、種々な期間が用いられてもよく、また、例えば、所定の時間を用いて期間が定められてもよく、或いは、所定のフレーム数を用いて期間が定められてもよい。また、所定回数としては、種々な回数が用いられてもよい。
また、画像データの破棄が所定期間内に所定回数に達したこととして、所定期間内における画像データの破棄の回数の頻度が所定値以上となったこと或いは所定値を超えたことが検出されてもよい。
また、圧縮処理における画像の画質を低下させる態様としては、種々な態様が用いられてもよく、例えば、画像データを量子化する場合に使用される量子化ステップのサイズを大きくして、量子化後の画像データ量を低減させるような態様を用いることができる。
本発明に係る画像圧縮処理装置では、一構成例として、次のような処理を行う。
すなわち、画質向上手段が、前記検出されたビットレート値が第2の所定値以下となる場合或いは第2の所定値未満となる場合に、前記圧縮処理手段による圧縮処理における画像の画質を向上させる。
従って、ビットレート値が比較的小さくて、圧縮処理後の画像データ量を増加させることが可能である場合には、圧縮処理における画像の画質が向上させられるため、高品質な画像伝送を確実に維持することができる。
なお、前記した検出されたビットレート値が第2の所定値以下となる場合或いは第2の所定値未満となる場合としては、いずれの場合が用いられてもよい。
ここで、ビットレート値に関する第2の所定値としては、種々な値が用いられてもよく、例えば、目標とするビットレートの値に1未満の値を乗じた結果値が用いられる。
また、圧縮処理における画像の画質を向上させる態様としては、種々な態様が用いられてもよく、例えば、画像データを量子化する場合に使用される量子化ステップのサイズを小さくして、量子化後の画像データ量を増加させるような態様を用いることができる。
本発明に係る画像圧縮処理装置では、一構成例として、次のような処理を行う。
すなわち、前記出力は伝送路に対して行われる。つまり、前記圧縮処理後の画像データは、画像圧縮処理装置から直接的に或いは他の装置を介して伝送路へ出力される。
また、伝送路ビットレート値検出手段が、前記伝送路のビットレート値を検出する。前記第1の所定値と前記第2の所定値との一方又は両方は、前記検出された伝送路のビットレート値に基づいて決定される。
従って、伝送路のビットレート値の状況に応じて、画像データの破棄及び画像の画質低下や、画像の画質向上が行われるため、伝送路の状況に応じて、高品質な画像伝送を確実に維持することができる。
ここで、伝送路のビットレート値としては、例えば、伝送路が通信に使用されている状況に応じて、通信に使用可能な当該伝送路の空きを表すような値が用いられる。
また、伝送路のビットレート値は、例えば、目標とするビットレートの値として用いられ、或いは、目標とするビットレートの値を算出する基として用いられる。
なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、画像圧縮処理装置において各手段が各種の処理を実行する。
本発明に係るプログラムでは、画像圧縮処理装置を構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
本発明に係る記録媒体では、画像圧縮処理装置を構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の処理を当該コンピュータに実行させる。
以下で、更に具体的に説明する。
本発明では、次の(構成例1)や(構成例2)に係る画像圧縮処理装置を提供することができる。
(構成例1)圧縮符号化された画像のデータを処理する画像圧縮処理装置において、出力ビット数を監視して実効ビットレート値を出力するビットレート判断処理機能と、前記実効ビットレート値と目標ビットレートの比率などの関係からフレームスキップタイミング信号を生成するフレームスキップ判定処理機能と、前記フレームスキップタイミング信号に合わせて所定の画像データを削除するフレームスキップ処理機能と、前記フレームスキップタイミング信号が所定時間内に所定回数発生したとき低画質設定タイミング信号を出力するフレームスキップ数カウント処理機能と、前記低画質設定タイミング信号に合わせて低画質となる画質パラメータ値を圧縮符号化処理部へ入力する画質パラメータ制御機能と、を備えたことを特徴とする画像圧縮処理装置。
(構成例2)上記した(構成例1)に記載の画像圧縮処理装置において、前記実効ビットレートが目標ビットレートに対して所定の割合以下しか得られないとき、次フレームの圧縮符号化の画質パラメータ値を高画質方向に設定変更する画質パラメータ制御機能を備えたことを特徴とする画像圧縮処理装置。
上記した(構成例1)に係る画像圧縮処理装置では、次のようにして、画像データを圧縮符号化処理する。
すなわち、圧縮符号化処理した圧縮データに基づいてビットレート判断処理機能が実効ビットレート値を出力し、これを入力したフレームスキップ判断処理機能において実効ビットレート値が目標ビットレートを超えると判断したときにフレームスキップタイミング信号を供給する。フレームスキップタイミング信号を受け取ったフレームスキップ処理機能は、次のフレームの圧縮符号化処理を行わないように画像データを圧縮符号化処理部に入力しない。これにより、圧縮符号化処理した圧縮データについて、実効ビットレート値をシステムにより定められた目標ビットレート以下に制御することが可能となる。
また、フレームスキップタイミング信号を入力したフレームスキップ数カウント処理機能が、所定時間内に所定回数のフレームスキップタイミング信号を受け取ったとき、低画質設定タイミング信号を画質パラメータ制御機能へ供給する。低画質設定タイミング信号を入力した画質パラメータ制御機能は、低画質となる画質パラメータ値を圧縮符号化処理部へ入力し、圧縮符号化処理の画質設定を低画質に更新することで、以降のフレームにおける圧縮データ量を抑制する。これにより、前記フレームスキップの頻発を抑えることが可能となる。
更に、上記した(構成例2)に係る画像圧縮処理装置では、前記画質パラメータ制御機能において、実効ビットレート値が目標ビットレートに対して低すぎると判断したときには、画質パラメータ制御機能は次の圧縮符号化処理の画質設定が高画質になるような画質パラメータ値を圧縮符号化処理部へ入力する。これにより、前記の低画質設定による圧縮効率の低下を防ぎ、画質低下を最小限とした効率的なビットレート制御機能を実現することが可能となる。
ここで、処理対象の画像データとしては、種々なものが用いられてもよく、例えば、時間的に連続した複数フレームから構成される動画像データや、時間的に連続していない静止画像のデータなどを用いることができる。
また、処理対象の画像データからフレームスキップタイミングを供給する機能としては、種々な手法によるものが用いられてもよく、例えば、外部に設けたビットレート測定装置などから情報を入力することもできる。
また、データ削除タイミングの供給条件としては、実効ビットレート値が目標ビットレートを超えたときだけではなく、目標ビットレートに対する実効ビットレート値の比率に関する条件とするなど、画像圧縮処理装置の要求仕様を満足する条件とすることができる。
また、データ削除タイミングの供給条件としては、目標ビットレートとの関係だけではなく、伝送路ビットレートに対する実効ビットレート値の比率に関する条件とするなど、画像圧縮処理装置及びシステムの要求仕様を満足する条件とすることができる。
また、低画質となる画質パラメータ値の供給条件としては、低画質設定タイミング信号が供給するタイミングに限らず、実効ビットレート値が目標ビットレートを超えたとき、或いは、目標ビットレートに対する実効ビットレート値の比率に関する条件とするなど、画像圧縮処理装置の要求仕様を満足する条件とすることができる。
また、低画質となる画質パラメータ値の供給条件としては、目標ビットレートとの関係だけではなく、伝送路ビットレートに対する実効ビットレート値の比率に関する条件とするなど、画像圧縮処理装置及びシステムの要求仕様を満足する条件とすることができる。
以下で、更に、本発明に係る構成例を示す。
一構成例として、ビットレート判断処理機能は、圧縮符号化処理部から出力する圧縮データ量から実効ビットレート値を算出し、フレームスキップ判定処理部及び画質パラメータ制御部へ実効ビットレート値を供給する。
一構成例として、フレームスキップ判定機能は実効ビットレート値が目標ビットレートを超えると判断した場合には、フレームスキップタイミング信号をフレームスキップ処理部へ供給する。
一構成例として、フレームスキップ処理機能は、画像データを圧縮符号化処理部へ供給し、フレームスキップタイミング信号が発生した次のフレームだけ供給しない。
一構成例として、フレームスキップ数カウント処理機能は、GOV(Group of VOP)を5回処理する間にフレームスキップタイミング信号が2回発生すると、低画質設定タイミング信号を画質パラメータ制御部へ供給する。
ここで、GOVとは、MPEG−4における処理単位の一つであり、I−VOPから次のI−VOPになるまでの全てのP−VOPを含んだVOPの集団のことを言う。
一構成例として、画質パラメータ制御機能は、低画質設定タイミング信号を受け取ったときに、低画質となる画質パラメータ値を圧縮符号化処理部へ供給する。また、実効ビットレート値が目標ビットレートの70パーセント(%)以下になったときに、高画質となる画質パラメータ値を圧縮符号化処理部へ供給する。
一構成例として、処理対象となる圧縮符号化処理した圧縮データは、予測符号化を用いて圧縮符号化処理した圧縮データである。
このような画像圧縮処理装置によると、圧縮符号化処理した圧縮データ量から実効ビットレート値を取得し、取得した実効ビットレート値が目標ビットレートを超えたときなどに、次フレームの圧縮符号化処理をスキップすることで、圧縮符号化処理した圧縮データについて目標ビットレート以下を維持することが可能となる。また、実効ビットレート値が目標ビットレートを超えたときに、若しくは、フレームスキップの発生状況に応じて、圧縮符号化処理を低画質設定とすることで、フレームスキップの発生を低下することが可能となる。更に、前記低画質設定による結果、実効ビットレート値が目標ビットレートに対して低すぎると判断したときには、圧縮符号化処理を高画質設定とすることで、圧縮効率が高い画像圧縮処理装置を実現する。
以上説明したように、本発明に係る画像圧縮処理装置によると、画像データをフレーム毎に圧縮処理するに際して、圧縮処理後に出力される画像データの量に基づいてビットレート値を検出し、検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合に圧縮処理前或いは圧縮処理後における前記出力前の画像データを1フレーム分或いは複数フレーム分破棄し、画像データの破棄が所定期間内に所定回数に達した場合に圧縮処理における画像の画質を低下させるようにしたため、圧縮処理後の画像データ量の状況に応じて、圧縮処理後の画像データ量の過大化を防止することができ、高品質な画像伝送を確実に維持することができる。
本発明に係る実施例を図面を参照して説明する。
本発明の第1実施例を説明する。
本例では、例えば、MPEG−4などの予測符号化による圧縮符号化処理方式を用いた画像圧縮処理装置に本発明を適用した場合を示す。
図1には、本例の画像圧縮処理装置の構成例を示してある。
本例の画像圧縮処理装置は、フレームバッファ1と、フレームスキップ処理部2と、圧縮符号化処理部3と、フレームバッファ4と、ビットレート判断処理部5と、フレームスキップ判定処理部6と、フレームスキップ数カウント処理部7と、画質パラメータ制御部8を備えている。
本例の画像圧縮処理装置により、動画像のデータに対して行われる動作の一例を示す。
まず、動画像データの第1フレーム目の処理について説明する。
MPEG−4などの予測符号化による圧縮符号化方式では、前後のフレームからの予測を行わないI−VOPの圧縮符号化を周期的に行って、予測のリファレンスとなるフレームを周期的に挿入することで、或る程度の画質の維持及びエラーによる画像乱れや崩れから復帰する。このため、第1フレーム目は予測のリファレンスとなる必要があるため、符号化タイプはI−VOPである。画像圧縮処理装置に最初の画像データが入力すると、フレームバッファ1へ当該画像データを蓄積し、1フレームの画像データが揃った時点でその画像データをフレームスキップ処理部2へ入力する。
フレームスキップ処理部2は、通常は入力された画像データを圧縮符号化処理部3へ出力するが、フレームスキップ判定処理部6からのフレームスキップタイミング信号が発生したときに限り出力しない。第1フレーム目では、フレームスキップタイミング信号が発生していないため、フレームスキップ処理部2は入力された画像データを圧縮符号化処理部3に対して出力する。
圧縮符号化処理部3は、入力された画像データに対して圧縮符号化処理を行う。このとき圧縮符号化処理で用いた画質パラメータは、システム起動時に与えられた任意の初期値を用いている。圧縮符号化処理を終えると、圧縮符号化処理部3は、当該圧縮符号化処理により得られた圧縮データをフレームバッファ4に対して出力する。これと同時に、圧縮符号化処理部3からビットレート判断処理部5へ当該圧縮符号化処理に係る圧縮データの量(或いは、圧縮データのサイズ)を入力する。
ビットレート判断処理部5は、入力した圧縮データ量から実効ビットレート値[bps]を算出し、算出した実効ビットレート値をフレームスキップ判定処理部6及び画質パラメータ制御部8へ出力する。
ここで、実効ビットレート値の算出手法としては、種々な手法が用いられてもよい。例えば、1GOVが30フレームで構成され、30fps(frame per second)の入力画像が処理される場合には、1GOVが1秒で入力されることとなり、過去の5GOV分の圧縮画像データのデータ量の累積値を5秒で割った値を実効ビットレート値とする。なお、本例では、フレームスキップした場合には、該当するフレームのデータ量はゼロ(0)として計算する。
また、本例では、過去5秒(5GOV)分の値を用いて実効ビットレート値の算出を行うが、例えば、1秒などのように、より短い時間分の値を用いて実効ビットレート値の算出を行うと、より正確な値が得られるという利点がある一方、実効ビットレート値の変動が大きくなりやすく、フレームスキップや、画質パラメータの変更が頻繁に起こり、表示する画像としては見にくいものとなる場合もある。このため、これらのトレードオフを考慮して、適当な態様が用いられるのがよい。
フレームスキップ判定処理部6は、入力された実効ビットレート値とシステムで要求している目標ビットレートとを比較して、目標ビットレートよりも実効ビットレート値の方が低ければ(つまり、小さければ)何も出力しない。一方、目標ビットレートよりも実効ビットレート値の方が高ければ(つまり、大きければ)、フレームスキップ判定処理部6は、フレームスキップタイミング信号をフレームスキップ処理部2及びフレームスキップ数カウント処理部7へ出力する。
ここで、目標ビットレートは、例えば、予め、フレームスキップ判定処理部6に設定されている。
目標ビットレートの設定値としては、種々な値が用いられてもよい。
なお、本例では、実効ビットレート値が目標ビットレートを超えた場合にフレームスキップをする構成であるため、余裕を持たせる場合には、システムで規定された値などと比べて少し小さな値を本例の画像圧縮処理装置における目標ビットレートの値として設定すればよい。
フレームスキップ数カウント処理部7は、フレームスキップ判定処理部6からのフレームスキップタイミング信号の入力頻度に応じて、低画質設定タイミング信号を画質パラメータ制御部8へ出力する。第1フレーム目では目標ビットレートよりも実効ビットレート値が低いと仮定すると、フレームスキップタイミング信号が発生しないため、フレームスキップ数カウント処理部7は動作しない。
画質パラメータ制御部8は、通常の動作時においては、低画質設定タイミング信号の発生状況に応じて、低画質となる画質パラメータ値を圧縮符号化処理部3へ出力する。第1フレーム目では、低画質設定タイミング信号が発生していないため、画質パラメータ値も出力しない。
本例では、圧縮符号化処理における画質パラメータとしては、例えば、量子化ステップが用いられており、この場合、画質パラメータの変更としては、量子化ステップを変更する態様が用いられる。
また、本例では、画質パラメータ値が大きいほど低画質となり、画質パラメータ値が小さいほど高画質となる。
以上が第1フレーム目の処理である。
次に、動画像データの第2フレーム目以降の処理について説明する。
第2フレーム目以降では、予測符号化を行うP−VOPの符号化タイプであり、次のI−VOP符号化を行うフレーム周期になるまで、P−VOPの符号化を繰り返して行う。
画像圧縮処理装置に第2フレーム目の画像データが入力されると、フレームバッファ1へ当該画像データを蓄積し、1フレームの画像データが揃った時点でその画像データがフレームスキップ処理部2へ入力される。このとき、前回のフレームである第1フレーム目の処理においてフレームスキップタイミング信号が発生しなかったため、第2フレーム目ではフレームスキップ処理部2から圧縮符号化処理部3に対して画像データを出力する。
圧縮符号化処理部3は、入力された画像データに対して圧縮符号化処理を行う。ここで、前回のフレームにあたる第1フレーム目の処理において画質パラメータ制御部8から画質パラメータ値が出力されていないため、圧縮符号化処理部3が保持している画質パラメータはシステム起動時に与えられた任意の初期値であり、第2フレーム目の圧縮符号化処理ではこの初期値を用いている。
圧縮符号化処理を終えると、圧縮符号化処理部3は、圧縮データをフレームバッファ4に対して出力する。これと同時に、圧縮符号化処理部3からビットレート判断処理部5へ圧縮データ量を出力する。
ビットレート判断処理部5は、今回入力した圧縮データ量と前回のフレームまでに入力した圧縮データ量から実効ビットレートの値を算出し、算出した実効ビットレート値をフレームスキップ判定処理部6及び画質パラメータ制御部8へ出力する。
ここで、第2フレーム目における実効ビットレート値がシステムで要求している目標ビットレート以下であるとすると、フレームスキップ数カウント処理部6及び画質パラメータ制御部8は何も出力しない。
以上が第2フレーム目の処理である。
また、第3フレーム目以降についても、上記と同様な処理を繰り返して行う。
ここで、ビットレート判断処理部5における処理の結果、実効ビットレート値が目標ビットレートを初めて超えて例えば110パーセント(%)になった場合をXフレーム目として説明する。これは、I−VOPの符号化或いはP−VOPの符号化に関わらず、同一の処理である。
すなわち、フレームスキップ判定処理部6は、フレームスキップタイミング信号を発生して、これをフレームスキップ処理部2及びフレームスキップ数カウント処理部7へ出力する。
フレームスキップタイミング信号を入力したフレームスキップ処理部2は、次のフレームとなる(X+1)フレーム目に入力する画像データを圧縮符号化処理部3へ出力しない。このため、(X+1)フレーム目については、圧縮符号化処理部3から圧縮データが出力されないため、圧縮データ量はゼロ(0)となる。すると、ビットレート判断処理部5で算出する(X+1)フレーム目の実効ビットレート値は、Xフレーム目の実効ビットレート値よりも低い値となる。
また、フレームスキップ数カウント処理部7は、フレームスキップタイミング信号を入力したため、過去5GOVにおけるフレームスキップ数のカウント値をインクリメントし、Xフレーム目の時点で カウント値が1となる。
次に、(X+1)フレーム目においても実効ビットレート値が目標ビットレートを超えて110パーセント(%)になったとする。
この場合、Xフレーム目の処理と同様に、フレームスキップタイミング信号を入力したフレームスキップ処理部2は、次のフレームとなる(X+2)フレーム目に入力する画像データを圧縮符号化処理部3へ出力せず、結果的に、(X+2)フレーム目の実効ビットレート値は、(X+1)フレーム目の実効ビットレート値よりも小さい値となる。
また、フレームスキップ数カウント処理部7は、フレームスキップタイミング信号を入力したため、過去5GOVにおけるフレームスキップ数のカウント値をインクリメントし、(X+1)フレーム目の時点でカウント値が2となる。
ここで、本例では、過去の5GOVにおいて発生したフレームスキップの数が2となったときに、画質パラメータ制御部8により圧縮符号化処理の画質を低下させるように設定してある。
このため、上記のように過去5GOVにおけるフレームスキップ数のカウント値が2となると、フレームスキップ数カウント処理部7は低画質設定タイミング信号を画質パラメータ制御部8へ出力する。これに応じて、画質パラメータ制御部8が、低画質となる画質パラメータ値を圧縮符号化処理部3へ出力する。
これにより、圧縮符号化処理部3では、画質パラメータ値を低画質として更新することが行われるため、(X+3)フレーム以降に圧縮符号化処理により出力される圧縮データの圧縮データ量は、低画質として設定する前の圧縮符号化処理による圧縮データ量よりも小さい値となり、結果的に、実効ビットレート値が低下する。
なお、フレームスキップ数カウント処理部7では、フレームスキップ数のカウント値が所定値(本例では、2)となった時点で、当該フレームスキップ数のカウンタをリセットしてカウント値をゼロ(0)に戻し、新たにフレームスキップ数のカウントを行う。
また、ビットレート判断処理部5における処理の結果、実効ビットレート値が目標ビットレートの70パーセント(%)になった場合をYフレーム目として説明する。これは、I−VOPの符号化或いはP−VOPの符号化に関わらず、同一の処理である。
すなわち、画質パラメータ制御部8は、ビットレート判断処理部5から入力される実効ビットレート値及び設定された目標ビットレートに基づいて、Yフレーム目に、高画質となる画質パラメータ値を圧縮符号化処理部3へ出力する。
これにより、圧縮符号化処理部3では、画質パラメータ値を高画質として更新することが行われるため、(Y+1)フレーム目の圧縮符号化処理により出力される圧縮データの圧縮データ量は、Yフレーム目の圧縮データ量よりも大きい値となり、結果的に、実効ビットレート値が向上する(つまり、高くなる)。
なお、本例では、画質パラメータ制御部8が、実効ビットレート値と目標ビットレートとの比較を行って、実効ビットレート値が目標ビットレートの70パーセント(%)を下回ったことを判定した場合に、上記のように高画質に設定する処理を行う。
このように、実効ビットレート値が目標ビットレートを超えるなどしてシステムに影響を及ぼす前に、圧縮符号化処理のフレームスキップと低画質設定を併用することで、単にバッファのオーバーフローを回避するだけでなく、フレーム連続性といった動画像の品質を保つことが可能となる。
また、非常に複雑度が高い画像データが入力されて低画質設定を行い、その後に複雑度が小さい画像データが入力されると、実効ビットレート値が目標ビットレートよりも極端に小さくなってしまう。本例では、この入力画像データの変化による圧縮符号化の低効率化を回避するために、実効ビットレート値が極端に小さくなったときだけ高画質設定を行うことで画質を改善する。これにより、動画像の変化にも対応した高効率な圧縮符号化処理を実現することが可能となる。
なお、画質の初期値から低画質へ設定を変更する構成としては、種々な構成が用いられてもよく、例えば、初期値と低画質である値との2つのレベルが設定可能な構成が用いられてもよく、或いは、複数の画質のレベルが設けられてもよい。一例として、初期値から低画質へ設定を変更していく際に、画質のパラメータ値の変動幅を細かくして、段階的に低画質設定にしていくなどの構成が用いられてもよい。同様に、低画質から高画質へ設定を戻す構成についても、種々な構成が用いられてもよく、段階的に高画質設定にしていくなどの構成が用いられてもよい。
また、本例では、低画質から高画質へ移行させる際に、当初の画質と同じ値に戻すのではなく、当初の画質よりも低い画質に戻すようなことが行われるが、当初の画質と同じ値に戻す構成が用いられてもよい。但し、すぐに当初の画質と同じ値に戻すと、フレームスキップの発生、低画質設定、実効ビットレート値の低下、高画質設定、再びフレームスキップの発生というように、同じことが繰り返されてしまう場合があるため、画質を戻すときにすぐには当初の画質と同じ値までには戻さない構成も有効である。
図2を参照して、本例の画像圧縮処理装置により行われる圧縮データ出力処理の流れの一例を説明する。
図2には、本例の画像圧縮処理装置から出力されるフレームA1〜A31の具体的な一例を示してあり、また、圧縮符号化処理部3からビットレート判断処理部5へ出力される圧縮データ量の時間変化の一例と、ビットレート判断処理部5から出力される実効ビットレート値の時間変化の一例と、フレームスキップ判定処理部6から出力されるフレームスキップタイミング信号の時間変化の一例と、フレームスキップ数カウント処理部7から出力される低画質設定タイミング信号の時間変化の一例と、画質パラメータ制御部8から出力される画質パラメータ値の時間変化の一例を示してある。
図2における横方向は、時間的な処理の流れ(フレーム単位の流れ)として、最初のI−VOPである第1フレーム目(フレームA1)から2回目のI−VOPとなる第31フレーム目(フレームA31)を表している。
画像圧縮処理装置から出力する第1フレーム目(フレームA1)から第5フレーム目(フレームA5)までは、実効ビットレート値が目標ビットレートを超えない場合である。
本例では、第6フレーム目(フレームA6)を圧縮符号化処理部3から出力したときに、フレームスキップ判定処理部6において実効ビットレート値が目標ビットレートを超えることを判定したとする。このとき、フレームスキップ判定処理部6からフレームスキップタイミング信号が出力され、フレームスキップ数カウント処理部7はカウンタをインクリメントする。第7フレーム目(フレームA7)は、フレームスキップタイミング信号が出力された次のフレームであるため、圧縮符号化処理が行われない。このため、第7フレーム目については、圧縮データ量がゼロ(0)であり、実効ビットレート値を急激に下げることができる。
第8フレーム目(フレームA8)では、通常通り圧縮符号化処理を行い、イベントが何も発生しないとする。
本例では、第9フレーム目(フレームA9)において圧縮データ量が大きくなり、フレームスキップ判定処理部6において実効ビットレート値が目標ビットレートを超えることを判定したとする。このとき、フレームスキップ判定処理部6からフレームスキップタイミング信号が出力され、フレームスキップ数カウント処理部7はカウンタをインクリメントする。本例では、5GOV周期内に2回のフレームスキップタイミング信号が出力されたため、フレームスキップ数カウント処理部7から低画質設定タイミング信号が出力される。これを画質パラメータ制御部8が受け取り、低画質となる画質パラメータ値を出力することで、以降のフレームにおける圧縮データ量を小さくするような圧縮パラメータ設定に更新する。
第10フレーム目(フレームA10)では、フレームスキップタイミング信号が出力された次のフレームであるため、圧縮符号化処理を行わない。このため、圧縮データ量がゼロ(0)であり、実効ビットレート値を急激に下げることができる。
第11フレーム目(フレームA11)から以降のフレームでは、低画質となる画質パラメータ値を用いて圧縮符号化処理を行っていくことから、第9フレーム目におけるような非常に大きい圧縮データ量が出力されないため、実効ビットレート値が目標ビットレートを超え難くなり、フレームスキップの発生を抑えることができる。
また、入力している画像データの複雑度が非常に小さくなり、小さい圧縮データ量を出力するような画像データが連続して入力されたために、第14フレーム目(フレームA14)において、実効ビットレート値が目標ビットレートの70パーセント(%)を下回ったとする。
この場合、画質パラメータ制御部8は、高画質となる画質パラメータ値を圧縮符号化処理部3へ出力し、以降のフレームの圧縮データ量を大きくするような圧縮パラメータ設定に更新する。
本例では、この時点における高画質となる画質パラメータ値としては、低画質となる画質パラメータ値を第9フレーム目で設定する前の値よりも大きくする(つまり、より低画質とする)ことで、圧縮符号化処理及びビットレート制御処理を安定化させる。
第15フレーム(フレームA15)以降は、実効ビットレート値が目標ビットレートの70〜100パーセント(%)の間で推移する。
上述のように、本例の画像圧縮処理装置では、入力する画像に対して圧縮符号化処理を行い、それにより発生する圧縮データを伝送容量が有限である伝送部へ出力する構成において、符号化による発生データ量を継続的に監視して、圧縮データを伝送部へ出力することで、実効ビットレート値が伝送容量を超えると判断した場合には、次のフレームの圧縮符号化処理を行わず、フレームスキップすることを、例えば自動的に、実行する。また、本例の画像圧縮処理装置では、所定の時間内において所定のフレームスキップが発生したら、圧縮データ量が小さくなるような画質パラメータに更新する。更に、所定の時間内において、実効ビットレート値が所定の値よりも下回ったら、高画質になるような画質パラメータに更新する。
このように、本例の画像圧縮処理装置では、フレームスキップと画質パラメータの低画設定を併用することにより、実効ビットレート値が目標ビットレートを超えないように制御するビットレート制御機能を実現する。また、実効ビットレート値の下限値を決め、それ以下になったら画質パラメータを高画質設定にすることにより、圧縮符号化処理の効率を高めることが可能となる。
ここで、本例では、複数の連続したフレームから構成される動画像データを処理する場合を示したが、処理対象となる画像のデータとしては、特に限定は無く、他の構成例として、複数の静止画像のフレームのデータを連続的に並べたようなものを処理することも可能である。
また、本例では、フレームスキップが所定時間内に所定回数発生した場合に、圧縮符号化処理部3からの出力画像データが低画質となるように画質パラメータの変更を行うが、このような低画質への設定を行った際に、例えば「フレームスキップの発生を防止しました」などの種々なメッセージを当該画像データの再生を行っているクライアント端末等の表示画面等に表示するような構成とすることもできる。なお、メッセージを表示させるために、例えば、画像パラメータ制御部8が所定の制御信号をクライアント端末等へ出力する構成とされてもよく、或いは、圧縮符号化処理部3が前記した「フレームスキップの発生を防止しました」などのメッセージを出力する画像データ自体に重畳させる構成とされてもよい。
また、フレームスキップが所定時間内に所定回数発生したことを判定する態様としては、例えば、当該所定時間に対応するフレーム数を使用して、フレームスキップが所定フレーム数の間に所定回数発生したことを判定する態様を用いることもできる。
また、本例の画像圧縮処理装置は、例えば、単体として構成されてもよく、或いは、画像伝送装置やカメラなどが備える機能部の1つとして構成されてもよい。
以上のように、本例の画像圧縮処理装置では、必要に応じて画像データの削除及び画質設定の変更による発生ビット量の縮小或いは拡大を行い、圧縮符号化処理による圧縮データの実効ビットレート値が、与えられた帯域(本例では、目標ビットレート)を超えないように制御することが行われる。
従って、本例の画像圧縮処理装置では、フレームスキップと画質設定制御の併用により、高効率なビットレート制御機能を実現することができ、また、この制御による静止画像や動画像としての画質低下が最小限となるように制御することができる。
また、本例の画像圧縮処理装置では、実効ビットレート値が所定の値(本例では、目標ビットレート)を超えた場合に、まずフレームスキップを行い、それでも実効ビットレート値が十分に低下しなければ低画質設定を行う。つまり、実効ビットレート値が目標ビットレートを超えるときには、圧縮データを出力しないように、フレームスキップする必要がある。仮に、フレームスキップを行わずに圧縮すると、実効ビットレート値が更に目標ビットレートを超えてしまい、伝送路が破綻する可能性が高まる。
また、例えば、監視システムのように、画質を重視するアプリケーションでは、フレームの連続性よりもクオリティ(高画質)を重視するケースもある。本例のビットレート制御では、低画質化よりもフレームスキップを優先的に実行することで、極端な画質低下を防ぐことができる。
ここで、本例の画像圧縮処理装置について、(変形例1)〜(変形例4)を示す。
(変形例1)
上記の実施例では、(処理1)として、所定の圧縮符号化方式により画像データを処理する装置において、圧縮符号化後の画像データ量に基づいてビットレートを監視して、ビットレート値が目標値を超えた場合には、フレームスキップを行い、次のフレームについては圧縮せずに破棄することが行われる。(処理2)として、(処理1)においてフレームスキップの回数をカウントし、フレームスキップが所定時間内に所定回数発生した場合には、画質パラメータを変更して低画質設定にして(例えば、圧縮率を上げて)、次のフレーム以降の画像データ量を減らすことが行われる。(処理3)として、(処理2)の後に、ビットレート値が所定値以下となった場合には、画質パラメータを変更して高画質設定にして(例えば、圧縮率を下げて)、次のフレーム以降の画像データ量を増やすことが行われる。
本変形例では、まず、上記した(処理1)の代わりに、所定の圧縮符号化方式により画像データを処理する装置において、圧縮符号化後の画像データ量に基づいてビットレートを監視して、ビットレート値が目標値を超えた場合には、画質パラメータを変更して低画質設定にすることを行い、そして、その後は、上記した(処理3)と同様な処理を行う。
(変形例2)
本変形例では、フレームスキップ数カウント処理部7は、フレームスキップタイミング信号が2回連続して(本例では、2フレーム連続して)発生した場合に、低画質設定タイミング信号を画質パラメータ制御部8へ出力し、他の場合には出力しない。なお、一旦、連続してフレームスキップが発生し、その後も、フレームスキップの発生が続く間は、フレームスキップ数カウント処理部7は、低画質設定タイミング信号を画質パラメータ制御部8へ出力し続ける。
例えば、(m−1)フレーム目ではフレームスキップは発生せず、mフレーム目ではフレームスキップが発生し、(m+1)フレーム目でもフレームスキップが発生した場合には、フレームスキップが2フレームに渡って連続して発生することになるため、フレームスキップ数カウント処理部7は、低画質設定タイミング信号を画質パラメータ制御部8へ出力する。これに応じて、画質パラメータ制御部8は、低画質となるパラメータ値を圧縮符号化処理部3へ出力する。その後、(m+2)フレーム目でもフレームスキップが発生した場合には、フレームスキップ数カウント処理部7は、低画質設定タイミング信号を画質パラメータ制御部8へ出力する。画質パラメータ制御部8は、更に低画質となるパラメータ値があれば、それを圧縮符号化処理部3へ出力する。
(変形例3)
上記した実施例では、フレームスキップ処理部2が画像データを圧縮符号化処理部3へ出力しないことにより、圧縮前の画像データをスキップして、圧縮前に画像データを破棄する構成を示した。
本変形例では、フレームスキップ処理部2の機能を圧縮符号化処理部3とフレームバッファ4との間に配置して、スキップ対象となる次のフレームの画像データについては、圧縮符号化処理部3から出力される圧縮後の画像データを破棄する構成とする。この場合、ビットレート判断処理部5には、破棄する圧縮画像データのデータ量がゼロ(0)であることを圧縮符号化処理部3或いはフレームスキップ判定処理部6或いはフレームスキップ処理部2などから通知する。
(変形例4)
本変形例では、フレームスキップ処理部2を備えずに、スキップ対象は次のフレームの画像データではなく、現在のフレームの圧縮後の画像データとして、出力側のフレームバッファ4内にある該当する圧縮後の画像データを破棄する構成とする。この場合、破棄した圧縮画像データのデータ量がゼロ(0)となるように修正するために、ビットレート判断処理部5は、次回の実効ビットレート値の算出からは当該破棄した圧縮画像データのデータ量がゼロ(0)であるとして計算する。また、例えば、フレームスキップ判定処理部6からのフレームスキップタイミング信号がフレームバッファ4の制御部へ入力され、当該制御部が実効ビットレート値が過大となったフレームの圧縮後の画像データを当該フレームバッファ4から削除する。
ここで、上記した(変形例3)及び(変形例4)に関して、MPEG−4などの予測符号化による圧縮符号化処理方式が用いられる場合には、圧縮後の画像データを単に破棄する構成として、I−VOPやP−VOPを破棄すると、以降のフレームの圧縮画像データを復元することができなくなるため、例えば、破棄したフレームに対して次のフレームは強制的にI−VOPとするなどの処理を行う。また、JPEG圧縮等の圧縮符号化処理方式が用いられる場合には、このような処理は無くてもよい。
なお、本例の画像圧縮処理装置では、圧縮符号化処理部の機能により圧縮処理手段が構成されており、ビットレート判断処理部5の機能によりビットレート値検出手段が構成されており、フレームスキップ判定処理部6の機能やフレームスキップ処理部2の機能により画像データ破棄手段が構成されており、フレームスキップ数カウント処理部7の機能や画質パラメータ制御部8の機能により画質低下手段が構成されており、画質パラメータ制御部8の機能により画質向上手段が構成されている。
本発明の第2実施例を説明する。
図3には、本例の画像圧縮処理装置の構成例を示してある。
本例の画像圧縮処理装置は、概略的には、図1に示される画像圧縮処理装置の構成に、更に、伝送路ビットレート判定処理部11を備えた構成を有している。
なお、図3では、図1に示されるとの同様な構成部1〜8については同一の符号を用いて示してある。
また、本例では、図1に示される画像圧縮処理装置とは異なる構成部分や動作部分について、詳しく説明する。
伝送路ビットレート判定処理部11は、本画像伝送を行うために伝送路に残されている伝送容量を測定する機能を有している。本例では、伝送路ビットレート判定処理部11は、伝送路に接続されたネットワークアナライザにより測定された伝送路の負荷情報を当該ネットワークアナライザから受け取って、これに基づいて伝送路に残されている伝送容量(本例では、伝送路ビットレートの値)を検出して、これをフレームスキップ判定処理部6及び画質パラメータ制御部8へ出力する。
本例では、伝送路ビットレート判定処理部11から出力される伝送路ビットレート値を、目標ビットレートとして用いる。
具体的には、入力される動画像のデータに対して行われる一連の処理動作については図1に示される場合と同様であり、本例では、フレームスキップ判定処理部6及び画質パラメータ制御部8において使用する目標ビットレートを伝送路ビットレート値とする。
フレームスキップ判定処理部6は、ビットレート判断処理部5からの実効ビットレート値と伝送路ビットレート判定処理部11からの伝送路ビットレート値とを比較して、実効ビットレート値が伝送路ビットレート値よりも高い場合には、フレームスキップタイミング信号を発生させてフレームスキップ処理部2及びフレームスキップ数カウント処理部7へ出力し、また、実効ビットレート値が伝送路ビットレート値よりも低い場合には何も出力しない。
画質パラメータ制御部8では、低画質設定タイミング信号に応じた低画質設定処理については図1に示される場合と同様であり、また、低画質化した後に、入力される伝送路ビットレート値の70パーセント(%)の値と比べて実効ビットレート値が低くなったら画質パラメータを高画質化する。
このような構成により、本例の画像圧縮処理装置では、ネットワークなどの伝送路の伝送容量が変動するような場合においても、フレームスキップと画質設定制御の併用により、高効率なビットレート制御機能を実現することができ、また、この制御による静止画像や動画像としての画質低下が最小限となるように制御することができる。
図4には、本例の画像圧縮処理装置により行われる圧縮データ出力処理の流れの一例を示してある。
すなわち、図4には、本例の画像圧縮処理装置から出力されるフレームB1〜B31の具体的な一例を示してあり、また、圧縮符号化処理部3からビットレート判断処理部5へ出力される圧縮データ量の時間変化の一例と、ビットレート判断処理部5から出力される実効ビットレート値の時間変化の一例と、フレームスキップ判定処理部6から出力されるフレームスキップタイミング信号の時間変化の一例と、フレームスキップ数カウント処理部7から出力される低画質設定タイミング信号の時間変化の一例と、画質パラメータ制御部8から出力される画質パラメータ値の時間変化の一例を示してある。
図4における横方向は、時間的な処理の流れ(フレーム単位の流れ)として、最初のI−VOPである第1フレーム目(フレームB1)から2回目のI−VOPとなる第31フレーム目(フレームB31)を表している。
ここで、本例では、目標ビットレートとして変動する伝送路ビットレート値が用いられており、概略的な動作の仕方としては図2に示される場合と同様である。
なお、本例の画像圧縮処理装置では、伝送路ビットレート判定処理部11の機能により伝送路ビットレート値検出手段が構成されている。
以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずしも全てが従来の技術であるとは限定しない。
図5には、画像圧縮処理装置の構成例を示してある。
本例の画像圧縮処理装置は、フレームバッファ21と、圧縮符号化処理部22と、フレームバッファ23を備えており、MPEG−4などの予測符号化による圧縮符号化方式を用いたものである。
まず、動画像データの第1フレーム目の処理について説明する。
第1フレーム目は予測のリファレンスとなる必要があるため、符号化タイプはI−VOPである。画像圧縮処理装置に最初の画像データが入力されると、フレームバッファ21へ当該画像データを蓄積し、1フレームの画像データが揃った時点でその画像データを圧縮符号化処理部22へ入力する。圧縮符号化処理部22では、入力された画像データに対して圧縮符号化処理を行う。このとき圧縮符号化処理で用いた画質パラメータ値としては、システム起動時に与えられた任意の初期値を用いている。圧縮符号化処理を終えると、圧縮符号化処理部22は圧縮データをフレームバッファ23に対して出力する。
次に、動画像データの第2フレーム目以降の処理について説明する。
第2フレーム目以降ではI−VOPの符号化を行う周期になるまでP−VOPの符号化を繰り返して行う。この予測符号化の他に関する処理は、第1フレーム目と同様である。
図6を参照して、図5に示される画像圧縮処理装置により行われる処理の流れの一例を説明する。
図6には、画像圧縮処理装置から圧縮データとして出力するフレームC1〜C31の一例を示してあり、また、圧縮データ量の時間変化の一例と、実効ビットレート値の時間変化の一例を示してある。図6において、横方向は時間的な処理の流れ(フレーム単位の流れ)として、最初のI−VOPである第1フレーム目(フレームC1)から2回目のI−VOPとなる第31フレーム目(フレームC31)を表している。
画像圧縮処理装置から出力する第1フレーム目(フレームC1)から第5フレーム目(フレームC5)までは、実効ビットレート値が目標ビットレートを超えない場合である。
ここで、一例として、仮に、第6フレーム目(フレームC6)を圧縮符号化処理部22から出力したときに、実効ビットレート値が目標ビットレートを超えたとする。この場合、図5に示される画像圧縮処理装置では、ビットレートの判断処理機能やフレームスキップの判定処理機能などを備えていないため、ビットレートを低下させるようなイベントは何も起こらない。また、第7フレーム目(フレームC7)以降においても同様であり、実効ビットレート値が目標ビットレートを超えるようなことがあっても、そのまま画像圧縮処理装置から出力されてしまう。
本発明は、このような点を改善して、優れた効果を得ることができるものである。
ここで、本発明に係る画像圧縮処理装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る画像圧縮処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disk)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
本発明の第1実施例に係る画像圧縮処理装置の構成例を示す図である。 本発明の第1実施例に係る画像圧縮処理装置により行われる処理の一例を説明するための図である。 本発明の第2実施例に係る画像圧縮処理装置の構成例を示す図である。 本発明の第2実施例に係る画像圧縮処理装置により行われる処理の一例を説明するための図である。 画像圧縮処理装置の構成例を示す図である。 画像圧縮処理装置により行われる処理の一例を説明するための図である。
符号の説明
1、4、21、23・・フレームバッファ、 2・・フレームスキップ処理部、 3、22・・圧縮符号化処理部、 5・・ビットレート判断処理部、 6・・フレームスキップ判定処理部、 7・・フレームスキップ数カウント処理部、 8・・画質パラメータ制御部、 11・・伝送路ビットレート判定処理部、

Claims (3)

  1. 画像データを圧縮処理する画像圧縮処理装置において、
    画像データをフレーム毎に圧縮処理する圧縮処理手段と、
    前記圧縮処理後に出力される画像データの量に基づいてビットレート値を検出するビットレート値検出手段と、
    前記検出されたビットレート値が第1の所定値以上となる場合或いは第1の所定値を超える場合に圧縮処理前或いは圧縮処理後における前記出力前の画像データを1フレーム分或いは複数フレーム分破棄する画像データ破棄手段と、
    前記画像データの破棄が所定期間内に所定回数に達した場合に前記圧縮処理手段による圧縮処理における画像の画質を低下させる画質低下手段と、
    を備えたことを特徴とする画像圧縮処理装置。
  2. 請求項1に記載の画像圧縮処理装置において、
    前記検出されたビットレート値が第2の所定値以下となる場合或いは第2の所定値未満となる場合に前記圧縮処理手段による圧縮処理における画像の画質を向上させる画質向上手段と、
    を備えたことを特徴とする画像圧縮処理装置。
  3. 請求項1又は請求項2に記載の画像圧縮処理装置において、
    前記出力は伝送路に対して行われ、
    前記伝送路のビットレート値を検出する伝送路ビットレート値検出手段を備え、
    前記第1の所定値と前記第2の所定値との一方又は両方は、前記検出された伝送路のビットレート値に基づいて決定される、
    ことを特徴とする画像圧縮処理装置。
JP2004359330A 2004-12-13 2004-12-13 画像圧縮処理装置 Expired - Fee Related JP4447443B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004359330A JP4447443B2 (ja) 2004-12-13 2004-12-13 画像圧縮処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004359330A JP4447443B2 (ja) 2004-12-13 2004-12-13 画像圧縮処理装置

Publications (2)

Publication Number Publication Date
JP2006173694A true JP2006173694A (ja) 2006-06-29
JP4447443B2 JP4447443B2 (ja) 2010-04-07

Family

ID=36674012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004359330A Expired - Fee Related JP4447443B2 (ja) 2004-12-13 2004-12-13 画像圧縮処理装置

Country Status (1)

Country Link
JP (1) JP4447443B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236333A (ja) * 2007-03-20 2008-10-02 Toshiba Corp 映像符号化装置及び映像符号化方法
JP2011507341A (ja) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド ストリーミング双方向ビデオを使用したバーチャル事象のホスティング及びブロードキャスティング
JP2011507352A (ja) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド 通信チャンネルの帯域巾制限を補償するためのビデオ圧縮システム及び方法
JP2011507349A (ja) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド ビデオを圧縮するためのタイルベースシステム及び方法
JP2011050639A (ja) * 2009-09-03 2011-03-17 Olympia:Kk 遊技機
JP2011508995A (ja) * 2007-12-05 2011-03-17 オンライブ インコーポレイテッド 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法
JP2015519824A (ja) * 2012-04-30 2015-07-09 シリコン イメージ,インコーポレイテッド 費用効率が高く低遅延のビデオストリーム符号化を容易にする機構
JP2015167382A (ja) * 2007-12-05 2015-09-24 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー ストリーミング双方向ビデオを圧縮するシステム及び方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236333A (ja) * 2007-03-20 2008-10-02 Toshiba Corp 映像符号化装置及び映像符号化方法
JP2011507341A (ja) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド ストリーミング双方向ビデオを使用したバーチャル事象のホスティング及びブロードキャスティング
JP2011507352A (ja) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド 通信チャンネルの帯域巾制限を補償するためのビデオ圧縮システム及び方法
JP2011507349A (ja) * 2007-12-05 2011-03-03 オンライブ インコーポレイテッド ビデオを圧縮するためのタイルベースシステム及び方法
JP2011508995A (ja) * 2007-12-05 2011-03-17 オンライブ インコーポレイテッド 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法
JP2015167382A (ja) * 2007-12-05 2015-09-24 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー ストリーミング双方向ビデオを圧縮するシステム及び方法
JP2011050639A (ja) * 2009-09-03 2011-03-17 Olympia:Kk 遊技機
JP2015519824A (ja) * 2012-04-30 2015-07-09 シリコン イメージ,インコーポレイテッド 費用効率が高く低遅延のビデオストリーム符号化を容易にする機構

Also Published As

Publication number Publication date
JP4447443B2 (ja) 2010-04-07

Similar Documents

Publication Publication Date Title
US8374236B2 (en) Method and apparatus for improving the average image refresh rate in a compressed video bitstream
CN101010959B (zh) 传送数据流的方法和系统
JPH11225168A (ja) 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
CN105933800A (zh) 一种视频播放方法及其控制终端
WO2010007749A1 (ja) 送信装置、受信装置、レート制御装置、送信方法及び受信方法
KR100678891B1 (ko) Av데이터 수신시 버퍼량을 컨텐츠 속성에 따라탄력적으로 조절하는 방법 및 장치
CN101860751A (zh) 动态图像编码装置和动态图像编码方法
JP2015171114A (ja) 動画像符号化装置
US20070217505A1 (en) Adaptive Decoding Of Video Data
JP4447443B2 (ja) 画像圧縮処理装置
US20110299605A1 (en) Method and apparatus for video resolution adaptation
US20180007251A1 (en) Method and system for dynamically adjusting a camera setting for a video stream
JP2006197321A (ja) 画像処理方法および装置、並びにプログラム
JP3836701B2 (ja) 動画像を符号化する方法及び装置及びプログラム並びに動画像音声多重化の方法及び装置
JP2011061362A (ja) 符号化装置、符号化方法、および符号化プログラム
KR20090125556A (ko) 영상 코덱 방법, 영상 코덱 장치 및 그 영상 서비스 시스템
JP2017175429A (ja) 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法
KR101291559B1 (ko) 실시간 다중 영상압축 장치 및 방법
JP2007028598A (ja) 圧縮符号化装置及び圧縮符号化方法
WO2016104178A1 (ja) 信号処理装置、および信号処理方法、並びにプログラム
JP4196085B2 (ja) 映像信号符号化装置およびそれを用いたテレビ会議システム
TWI902293B (zh) 利用影片關鍵幀預測比特率的系統與方法
JP7521227B2 (ja) 画像処理装置及びプログラム
US6990144B2 (en) System and method for overrun catch-up in a real-time software
JP4892541B2 (ja) 画像伝送方法および画像伝送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4447443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees