JP2010056830A - 画像符号化装置および画像符号化方法並びにプログラム - Google Patents

Abstract

【課題】動画像を圧縮する際に、符号量の抑制と、画質劣化の軽減を確実に実現する。
【解決手段】動画像圧縮装置１００において、画像加工部１７０は、動画像を構成する複数のフレームのうちの、可変ビットレート方式で前記動画像を圧縮した場合のビットレートが所定の閾値を越えるフレームであるシーンチェンジフレームの直前のフレームを対象フレームとし、シーンチェンジフレームの一部の領域を、該シーンチェンジフレームに対応する対象フレームにコピーする。動画像圧縮装置１００は、圧縮に際して、対象フレームについては、画像加工部１７０により加工がなされたものを使用し、対象フレーム以外のフレームについては、元のフレームを使用して、固定ビットレート方式で圧縮を行う。
【選択図】図１

Description

本発明は、動画像処理、具体的には動画像の符号化技術に関する。

動画像の符号化方式には、可変ビットレート方式と、固定ビットレート方式がある。可変ビットレート方式は、画質を優先させ、フレームのビットレートが一定ではない方式である（特許文献１、特許文献２）。固定ビットレート方式は、各フレームのビットレートが同一である方式である。

符号化した画像（以下圧縮画像という）をデコードする装置では、システムレイヤの制約や、ディスクドライブの読出性能などの条件により、１フレームあたりの上限値が設定されており、フレームの符号量がこの上限値を超えると、システムの動作に支障を来す恐れがある。可変ビットレート方式の圧縮画像は、ビットレートが不定であり、フレームによっては上限値を超える可能性がある。一方、固定ビットレート方式の圧縮画像は、符号量が上限値以下になるようにビットレートが固定されていればフレームの符号量が上限値を超えることが無いが、デコードした画像には、ブロックノイズなどの画質劣化が生じる問題がある。

特許文献２には、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式でビットレート可変に符号化する際に符号量を抑制する手法が開示されている。この手法は、１フレームあたりの符号量が上限値を超えそうか否かを判定し、超えそうと判定したときに、該フレームに対して直交変換後の変換係数の一部を０（ゼロ）に置き換えることにより符号量を抑制する。
特開２００６−３３３４４４号公報 特開２００８−２２４０５号公報

上述したＨ．２６４／ＡＶＣなどの圧縮方式は、人間の目が、低周波成分に敏感であるが高周波成分に鈍感である特性を利用して、高周波成分の情報を低周波成分の情報よりも多くカットしている。具体的には、直交変換後の変換係数を量子化する際に、周波数が高いほど大きな量子化テーブルの値を割り当てている。

直交変換後の変換係数の一部を０に置き換える特許文献１の手法は、量子化の前に変換係数を操作してより符号量を抑えることを図っている。

しかし、量子化において高周波成分が多くカットされるため、量子化の前に高周波成分の変換係数を０に置き換えても、符号量の抑制効果がそれほど大きく望めない。一方、符号量を確実に抑制するために低周波成分に近い変換係数を０に置き換えると、画質劣化が著しくなる。

本発明の一つの態様は、画像符号化方法である。この方法は、動画像を構成する複数のフレームのうちの、可変ビットレート方式で該動画像を圧縮した場合のビットレートが所定の閾値を越えるフレームであるシーンチェンジフレームの直前のフレームを対象フレームとし、シーンチェンジフレームの一部の領域を、該シーンチェンジフレームに対応する対象フレームにコピーする加工を行う。そして、対象フレームについては加工がなされたものを使用し、対象フレーム以外のフレームについては元のフレームを使用して、固定ビットレート方式で圧縮を行う。

なお、上記方法を装置やシステム、またはプログラムとして表現したものも、本発明の態様としては有効である。

本発明の技術によれば、動画像を圧縮する際に、符号量の抑制と、画質劣化の軽減を確実に実現できる。

本発明の具体的な実施の形態を説明する前に、まず、本発明にかかる符号化技術の原理を説明する。

前述したように、動画像を圧縮する際に、可変ビットレート方式を用いると、画質の劣化を抑制することができるものの、符号量が上限値を超える可能性がある、一方、固定ビットレート方式を用いると、符号量が上限値を超えることを防ぐことができるものの、ブロックノイズが目立つなどの画質劣化の問題がある。本願発明者は、画質と符号量のトレードオフについて鋭意研究模索した結果、下記の２点を知見した。
１．可変ビットレート方式で符号化する際に符号量が大きくなるフレームと、固定ビットレート方式で符号化する際にブロックノイズが目立つフレームは、共通した特徴を有する。

このようなフレームは、フレーム予測が効かないもの、すなわち直前のフレームからの変動量が大きいものある。このようなフレームは、以下シーンチェンジフレームと呼ぶ。
２．シーンチェンジが生じた場合、画面の変動が大きいため、画面が切り替わる直前、すなわちシーンチェンジフレームの直前のフレームの画質を落としても、人間の目には違和感を与えない。

本願発明者は、これらの知見に基づき、本発明にかかる技術を確立した。この技術は、シーンチェンジフレームの一部を、シーンチェンジフレームの直前のフレーム（対象フレーム）にコピーした後に固定ビットレート方式で圧縮を行う。固定ビットレートであるので、符号量は一定になる。また、シーンチェンジ直前のフレームを加工しているので、人間の目に違和感を与えず、画質の劣化を回避できる。

なお、加工は、シーンチェンジフレームの直前の１つのフレームのみを対象フレームとすることに限らず、シーンチェンジフレームの直前の複数のフレームを対象フレームとしてもよい。この場合、シーンチェンジフレームの一部の領域を複数に分けて、該シーンチェンジフレームに対応する複数の対象フレームに１つコピーする。こうすることにより、シーンチェンジに起因した変動量が、シーンチェンジフレームの前の複数のフレームに分散されるので、画質の低下をより確実に回避できる。

特に限定されることがないが、下記の手法でシーンチェンジフレームの検出を行うことが好ましい。

この手法は、まず、圧縮を担う機能ブロック（圧縮部）に、動画像の元のフレームを用いて可変ビットレート方式でプレ圧縮を行わせる。そして、該プレ圧縮により得られたビットレートが所定の閾値を越えたフレームをシーンチェンジフレームとして検出する。こうすることにより、圧縮部にプレ圧縮を行わせると共に、プレ圧縮の結果に応じて加工がなされた後に、固定レート方式による本圧縮を圧縮部に行わせるように制御すればよい。すなわち、シーンチェンジフレームを検出する専用の装置を設ける必要がなく、装置の規模を抑制することができる。

以上の原理を踏まえて、本発明の技術にかかる具体的な実施の形態を説明する。
図１は、本発明の実施の形態にかかる画像圧縮装置１００を示す。画像圧縮装置１００は、Ｈ．２６４／ＡＶＣ方式で動画像を圧縮するものであり、データ供給部１１０、加算器１２０、直交変換部１２２、量子化部１２４、可変長符号化部１２６、レート制御部１３０、逆量子化部１４０、逆直交変換部１４２、フレームメモリ１５０、動き補償処理部１６０、画像加工部１７０、ストリーム出力制御部１８０、ストリームバッファ１８２、動作モード制御部１９０を備える。データ供給部１１０は、プレ圧縮用画像データメモリ１１２と、本圧縮用画像データメモリ１１４と、切替部１１６を有する。レート制御部１３０は、レート調整部１３２とレート評価部１３４を有する。フレームメモリ１５０は、プレ圧縮用予測フレームメモリ１５２と本圧縮用予測フレームメモリ１５４を有する。画像加工部１７０は、加工実行部１７２とビットレート値保存メモリ１７４を有する。加算器１２０、直交変換部１２２、量子化部１２４、可変長符号化部１２６、レート制御部１３０、逆量子化部１４０、逆直交変換部１４２、動き補償処理部１６０は、圧縮部を構成する。

図１において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、プロセッサ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリに記録された、またはロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。また、分かりやすいように、これらの図面において、本発明の技術を説明するために必要なもののみを示す。

画像圧縮装置１００は、動画像を圧縮するに当たり、動画像の各フレームのおおよその符号量を把握するための圧縮（プレ圧縮）を行う前半処理と、前半処理の結果を用いて実際の圧縮（本圧縮）を行う後半処理を順次行う。プレ圧縮は可変ビットレート方式で行われ、本圧縮は、固定レート方式で行われる。前半処理と後半処理の間に、画像加工処理が行われ、前半処理と後半処理の切替えは、動作モード制御部１９０により制御される。

図２は、画像圧縮装置１００における、前半処理に関与する機能ブロックのみを示す。動画像は、フレーム単位にデータ供給部１１０に入力される。データ供給部１１０におけるプレ圧縮用画像データメモリ１１２は、入力された各フレームのデータを格納する。以下、プレ圧縮用画像データメモリ１１２に格納された各々のフレームのデータを、プレ圧縮用画像データという。また、Ｈ．２６４／ＡＶＣ方式では、画像の表示順と圧縮順が異なるが、ここでは、フレームが圧縮順にデータ供給部１１０に入力されるとする。

前半処理時に、切替部１１６は、プレ圧縮用画像データメモリ１１２からフレームデータ（プレ圧縮用画像データ）を加算器１２０と動き補償処理部１６０に出力する。

加算器１２０は、データ供給部１１０からのプレ圧縮用画像データと、動き補償処理部１６０の算出結果とを合成し、直交変換部１２２への入力データを作成する。

直交変換部１２２は、加算器１２０が作成した入力データに対して直交変換を行って変換係数を得る。この変換係数は、直交変換部１２２から量子化部１２４に出力される。

量子化部１２４は、直交変換部１２２の変換係数に対して量子化処理を行う。量子化処理は、符号量の削減を担う処理であり、どの程度削減するかについては、レート制御部１３０のレート調整部１３２からの指示に従う。量子化部１２４は、量子化処理の結果を可変長符号化部１２６と逆量子化部１４０に出力する。

可変長符号化部１２６は、量子化部１２４から出力される量子化の結果と、動き補償処理部１６０から出力される動きベクトルを符号化し、符号化されたデータをストリーム出力制御部１８０に出力する。なお、符号化されたデータは動画像の圧縮データそのものであるが、前半処理（プレ圧縮）では符号量を把握することが目的であるため、可変長符号化部１２６は、さらに、ここで得られた当該フレームのビットレートをレート制御部１３０のレート評価部１３４と、画像加工部１７０に出力する。

レート評価部１３４は、可変長符号化部１２６からのビットレートと、予め設定されたビットレートとの比較結果をレート調整部１３２に出力する。

レート調整部１３２は、レート評価部１３４の比較結果に応じたレート調整指示を量子化部１２４に行うものであり、前半処理時においては、可変ビットレート方式となるように調整を行う。

なお、ストリーム出力制御部１８０は、前半処理時において、符号化されたフレームを出力しない。

逆量子化部１４０は、逆量子化処理を行った結果を逆直交変換部１４２に出力し、逆直交変換部１４２は、逆直交変換を行った結果をフレームメモリ１５０に出力する。逆直交変換部１４２の処理結果は、動き予測するためのフレームデータであり、フレームメモリ１５０のプレ圧縮用予測フレームメモリ１５２に格納される。以下、プレ圧縮用予測フレームメモリ１５２に格納されるフレームデータを、プレ圧縮用予測フレームデータという。

なお、Ｈ．２６４／ＡＶＣでは、逆直交変換部１４２の処理結果がフレームメモリ１５０（ここではプレ圧縮用予測フレームメモリ１５２）に格納される前に、デブロッキングフィルタによりブロックノイズ軽減処理がされる場合もあるが、ここでは省略する。

動き補償処理部１６０は、前半処理時に、プレ圧縮用予測フレームメモリ１５２に格納されたプレ圧縮用予測フレームデータに基づいて動き予測を行う。なお、動き予測には、フレーム間予測とフレーム内予測があるが、動き補償処理部１６０はこの２つの処理を行うものである。

画像加工部１７０は、前半処理時に可変長符号化部１２６から出力されたビットレートをビットレート値保存メモリ１７４に保存する。ビットレート値保存メモリ１７４は、現在のフレームと、現在のフレームの直前の１つ以上のフレームのビットレートを保持するものであり、本実施の形態において、一例として、ビットレート値保存メモリ１７４は、計５つのフレームのビットレートを保持する。

画像加工部１７０は、現在のフレームのビットレートに基づいて、直前の４つのフレームを加工するか否かを判定し、加工すると判定した場合、直前の４つのフレームのデータ（プレ圧縮用画像データメモリ１１２に格納されたフレームデータ）を加工してデータ供給部１１０に出力する。一方、加工しないと判定した場合は、直前の４つのフレームをそのままデータ供給部１１０に出力する。加工実行部１７２の動作の詳細について後に説明する。

データ供給部１１０は、画像加工部１７０からのデータを本圧縮用画像データメモリ１１４に格納する。なお、本圧縮用画像データメモリ１１４に格納されたフレームデータは、後半処理すなわち本圧縮に供されるため、以下本圧縮用画像データという。

次に後半処理について画像圧縮装置１００の動作を説明する。後半処理が前半処理と異なるのは、下記の３点である：「データ供給部１１０から供給されるデータが異なる」、「レート調整部１３２の動作が異なる」、「ストリーム出力制御部１８０からストリームバッファ１８２への出力が行われる」。図３を参照して後半処理を説明する。なお、図３は、後半処理に関与する機能ブロックのみを示す。

後半処理に当たり、データ供給部１１０の切替部１１６は、本圧縮用画像データメモリ１１４に格納された本圧縮用画像データを加算器１２０と動き補償処理部１６０に出力する。

加算器１２０、直交変換部１２２、量子化部１２４、逆量子化部１４０、逆直交変換部１４２は、入力されるデータが異なる点以外、前半処理時と同様の動作をする。

フレームメモリ１５０は、逆直交変換部１４２の出力を本圧縮用予測フレームメモリ１５４に格納して動き補償処理部１６０に供する。

動き補償処理部１６０は、本圧縮用予測フレームメモリ１５４に保存されたフレームデータを用いて動き予測を行う。

レート調整部１３２は、フレームのビットレートが予め設定されたビットレートになるように量子化部１２４に調整指示する。すなわち、本実施の形態にかかる画像圧縮装置１００は、後半処理にて固定ビットレート方式で圧縮を行う。

すなわち、レート調整部１３２は前半処理時と後半処理時とでビットレート調整の方式が異なる。具体的には、前半処理時は可変ビットレート方式となるように調整を行い、後半処理時は固定ビットレート方式となるように調整を行う。

ストリーム出力制御部１８０は、前半処理時に何も出力しないが、後半処理時に、可変長符号化部１２６が得た圧縮データ（本圧縮の圧縮結果となるビットストリーム）をストリームバッファ１８２に出力する。

ストリームバッファ１８２は、ストリーム出力制御部１８０からのビットストリームを一時的に格納し、図示しない出力装置など外部に出力する。

次いで、図４〜図９を参照して、画像加工部１７０における加工実行部１７２を詳細に説明する。
Ｈ．２６４／ＡＶＣ方式では、圧縮された動画像をデコードして再生する際に、クロッピングと呼ばれる処理が行われる。この処理は、表示装置の解像度など、再生形態に合致するように、フレームの切出しを行う。すなわち、圧縮された動画像をデコードして得た各フレームに対して、すべての画素を表示するのではなく、一部のみを表示する。通常、フレームの中央領域が表示され、フレームの辺縁領域が切り捨てられる。

一方、エンコードに際してのフレーム間予測では、非表示領域からの動きベクトルも利用した動きベクトル予測ができる。

図４に示すように、デコードして得たフレーム３００に対して、中央部分の表示領域３０４は表示用に切り出され、陰影が示す辺縁部分は非表示領域３０２領域として切り捨てられる。

なお、フレームの上端から表示領域３０４の上端までの長さ、フレームの下端から表示領域３０４の下端までの長さ、フレームの左端から表示領域３０４の左端までの長さ、フレームの右端から表示領域３０４の右端までの長さは、夫々Ｆｒａｍ＿Ｃｒｏｐ＿Ｔｏｐ＿Ｏｆｆｓｅｔ（ＦＣＴＯ）３１２、Ｆｒａｍ＿Ｃｒｏｐ＿Ｂｏｔｔｏｍ＿Ｏｆｆｓｅｔ（ＦＣＢＯ）３１４、Ｆｒａｍ＿Ｃｒｏｐ＿Ｌｅｆｔ＿Ｏｆｆｓｅｔ（ＦＣＬＯ）３１６、Ｆｒａｍ＿Ｃｒｏｐ＿Ｒｉｇｈｔ＿Ｏｆｆｓｅｔ（ＦＣＲＯ）３１８と呼ばれ、エンコーダ装置側において知り得る情報である。

画像加工部１７０は、前半処理時にのみ動作し、プレ圧縮用画像データメモリ１１２に格納されたプレ圧縮用画像データから後半処理の本圧縮に用いられるフレームデータ（本圧縮用画像データ）を生成するものである。本実施の形態において、加工実行部１７２は、可変ビットレート方式で圧縮する際に符号化量が大きくなるフレーム、すなわち固定ビットレート方式で圧縮する際にブロックノイズが目立つフレームをシーンチェンジフレームとし、シーンチェンジフレームの直前の４つのフレームを、該シーンチェンジフレームに対応する対象フレームとして、シーンチェンジフレームの表示領域の一部を複数の領域に分けて複数の対象フレームの非表示領域に１つずつコピーする。

図５に示すように、前半処理中、ビットレート値保存メモリ１７４には、現在のフレーム４０１と、フレーム４０１の直前の４つのフレーム（１つ前のフレーム４０２、２つ前のフレーム４０３、３つ前のフレーム４０４、４つ前のフレーム４０５）が格納されている。

加工実行部１７２は、まず、現在のフレーム４０１のビットレートと、予め設定された閾値Ｔｈとを比較し、フレーム４０２〜４０５を加工するか否かを判定する。具体的には、フレーム４０１のビットレートが閾値Ｔｈ以下である場合には、フレーム４０２〜４０５を加工しないと判定し、フレーム４０１のビットレートが閾値Ｔｈを超えた場合、すなわちフレーム４０１がシーンチェンジフレームであると判断できる場合には、フレーム４０２〜４０５を加工すると判定する。

図６は、ビットレート値保存メモリ１７４に格納された５つのフレームのビットレートの例を示す。この例では、現在のフレーム４０１は、シーンチェンジフレームであり、ビットレートＭ０が閾値Ｔｈを超えている。その直前の４つのフレーム４０２〜４０５のビットレートＭ１〜Ｍ４は、閾値以下である。この場合、加工実行部１７２は、フレーム４０２〜４０５を加工すると判定する。

加工すると判定した場合には、加工実行部１７２は、さらにフレーム４０２〜４０５に対する加工量をそれぞれ算出する。本実施の形態において、加工実行部１７２は、加工に際して、シーンチェンジフレーム４０１の表示領域から、閾値を超えた面積分のデータを切り取り、切り取ったデータの領域をさらに４つの領域に分け、直前の４つのフレームの非表示領域に１つずつコピーする。そのため、加工量とは、フレーム４０２〜４０５にコピーされる夫々の領域のサイズになる。なお、加工量の具体的な算出手法については後述する。

加工しないと判定した場合には、プレ圧縮用画像データメモリ１１２に格納されたフレーム４０２〜４０５のデータがそのまま本圧縮用画像データとして本圧縮用画像データメモリ１１４に格納される。

図７は、加工実行部１７２がフレーム４０２〜４０５を加工して得たフレーム５０２〜５０５を示す。フレーム５０１は、現在のフレーム４０１と同じであり、ビットレートが閾値Ｔｈを超えたシーンチェンジフレームである。なお、図７において、分かりやすいように、各フレームの表示領域と下端の非表示領域のみを表示している。

図７に示すように、フレーム５０１の全領域のうちの、表示領域に含まれる「領域１＋領域２＋領域３＋領域４」は、コピーされる領域である。フレーム５０１における領域１〜領域４を、夫々領域６０１〜６０４で表記する。

加工実行部１７２は、領域６０１をフレーム４０２の非表示領域に領域７０１としてコピーする。領域７０１を除き、フレーム５０２の他の各部位は、フレーム４０２における相対応の部位と同一である。

動きベクトルを符号化する際に、動きベクトル量が少ない、すなわち動いた距離が近いほうが符号量を少なくできるので、本実施の形態において、加工実行部１７２は、コピーされる領域のフレーム５０１における位置に対応する、フレーム４０２の非表示領域における位置に、当該領域をコピーする。

そのため、フレーム５０１の下部左側に位置する領域６０１は、動きベクトル量が少なくなるように、フレーム４０２の下端の非表示領域の左側にコピーされる。図７に示すように、領域６０１をコピーして得た領域７０１は、フレーム５０２の下端の非表示領域の左側に位置している。

同じように、フレーム５０１の領域６０２は、フレーム４０３の下端の非表示領域の左側にコピーされる。それによって得られるフレーム５０３において、下端の非表示領域の左側の領域７０２は、領域６０２と同じである。

また、フレーム５０１の領域６０３は、フレーム４０４の下端の非表示領域の右側にコピーされる。それによって得られるフレーム５０４において、下端の非表示領域の右側の領域７０３は、領域６０３と同じである。

また、フレーム５０１の領域６０４は、フレーム４０４の下端の非表示領域の右側にコピーされる。それによって得られるフレーム５０５において、下端の非表示領域の右側の領域７０４は、領域６０４と同じである。

このようにして得られたフレーム５０２〜５０５は、本圧縮用画像データとして、本圧縮用画像データメモリ１１４に格納される。

ここで加工実行部１７２による加工量の算出手法を説明する。説明に際して、図６に示す例を用いる。

シーンチェンジフレームの直前のフレームを加工する目的は、後半処理時に固定ビットレートで圧縮しても、画質の劣化を回避するところにある。具体的には、加工実行部１７２は、前半処理時に得られたビットレートが閾値Ｔｈを超えたフレームに対して、そのビットレートがＴｈを超えた分を前の４つのフレームに分散させる。

図８に示すように、現在のフレームの前の４つのフレームに分担させるべき量が（Ｍ０−Ｔｈ）である。

加工実行部１７２は、まず、各フレームに対して、該フレームのビットレートＭｉと分担係数θｉの積（Ｍｉ×θｉ）を求める。すなわち、１つ前のフレーム〜４つ前のフレームについて、夫々（Ｍ１×θ１）、（Ｍ２×θ２）、（Ｍ３×θ３）、（Ｍ４×θ４）を求める。分担係数θ１〜θ４は、予め設定された０から１までの数値であり、値が１に近いほどそのフレームの画質劣化が抑えられ、逆に０に近いほど画質劣化が大きくなる。

そして、下記の式（１）に従って、前の４つのフレームの分担量を夫々算出する。
ΔＭｉ＝（Ｍ０−Ｔｈ）×｛（Ｔｈ−Ｍｉ×θｉ）／Σ_ｉ（Ｔｈ−Ｍｉ×θｉ）｝ (1)
但し，Ｔｈ：閾値
Ｍ０：現在のフレームのビットレート
Ｍｉ：現在のフレームのｉ個前のフレームのビットレート
θｉ：現在のフレームのｉ個前のフレームに対して設定された分担係数
ΔＭｉ：現在のフレームのｉ個前のフレームの分担量

こうすることにより、図９に示すように、現在のフレームのビットレートが閾値Ｔｈを超えた量は前の４つのフレームに分散させられる。

そして、加工実行部１７２は、ｉ個前のフレームの分担量ΔＭｉが、前の４つのフレームの分担量の総和（ΔＭ１＋ΔＭ２＋ΔＭ３＋ΔＭ４）に占める割合と、現在のフレームにおいてコピーされる領域の総サイズとの乗算により、ｉ個前のフレームにコピーする領域のサイズを算出する。このサイズは、ｉ個前のフレームの加工量となる。

次いで、図１０のフローチャートを参照して、動作モード制御部１９０を中心に、画像圧縮装置１００の動作の流れを説明する。
動画像がフレーム単位に順次データ供給部１１０に入力され、プレ圧縮用画像データメモリ１１２に格納される。前半処理のために、動作制御モード制御部１９０により、画像処理装置１００の他の各機能ブロックに対して下記の制御が行われる。

Ａ．データ供給部１１０において、プレ圧縮用画像データメモリ１１２を使用するように切替えがなされる。すなわち、切替部１１６は、プレ圧縮用画像データメモリ１１２からフレームデータ（プレ圧縮用画像データ）を出力する（Ｓ１００）。
Ｂ．フレームメモリ１５０において、プレ圧縮用予測フレームメモリ１５２を使用するように切替えがなされる（Ｓ１０２）。すなわち、逆直交変換部１４２からのフレームデータがプレ圧縮用予測フレームメモリ１５２に格納され、プレ圧縮用予測フレームメモリ１５２から動き補償処理部１６０に出力される。
Ｃ．レート調整部１３２では、可変ビットレート方式となるようにビットレート調整方式の切替えがなされる（Ｓ１０３）。
Ｄ．ストリーム出力制御部１８０では、ビットストリームを出力しないように切替えがなされる（Ｓ１０４）。

そして、現在のフレームの前半処理（プレ圧縮）が行われる（Ｓ１１０）。

ステップ１１０の前半処理にて現在のフレームのビットレートが得られ、該ビットレートは、画像加工部１７０のビットレート値保存メモリ１７４に保存される（Ｓ１１２）。

該ビットレートが閾値Ｔｈ以下である場合（Ｓ１１４：Ｎｏ）、プレ圧縮用画像データメモリ１１２に格納された該フレームのデータは、本圧縮用画像データメモリ１１４に転送され（Ｓ１１６）、処理はステップＳ１２２に進む。一方、ビットレートが閾値Ｔｈを超えている場合（Ｓ１１４：Ｙｅｓ）、現在のフレームの直前のフレームに対して加工が行われるべきと判定され、加工量が算出される（Ｓ１１８）。

そして、現在のフレームの直前の４つのフレームに対して、ステップＳ１１８で算出された量の加工がなされて、これらのフレームの本圧縮用画像データとして本圧縮用画像データメモリ１１４に出力される（Ｓ１２０）。なお、本圧縮用画像データメモリ１１４にこれらのフレームの本圧縮用画像データが既に格納されている場合は、格納中のデータが上記加工されたデータにより更新される。また、現在のフレームのデータは、そのまま本圧縮用画像データメモリ１１４に転送される。そして、処理がステップＳ１２２に進む。

後半処理のために、動作制御モード制御部１９０により、画像処理装置１００の他の各機能ブロックに対して下記の制御が行われる。

Ａ．データ供給部１１０において、本圧縮用画像データメモリ１１４を使用するように切替えがなされる。すなわち、切替部１１６は、本圧縮用画像データメモリ１１４からフレームデータ（本圧縮用画像データ）を出力する（Ｓ１２２）。
Ｂ．フレームメモリ１５０おいて、本圧縮用予測フレームメモリ１５４を使用するように切替えがなされる（Ｓ１２４）。すなわち、逆直交変換部１４２からのフレームデータが本圧縮用予測フレームメモリ１５４に格納され、本圧縮用予測フレームメモリ１５４から動き補償処理部１６０に出力される。
Ｃ．レート調整部１３２では、固定ビットレート方式となるようにビットレート調整方式の切替えがなされる（Ｓ１２６）。
Ｄ．ストリーム出力制御部１８０では、ビットストリームを出力するように切替えがなされる（Ｓ１２８）。

そして、現在のフレームについて後半処理が（本圧縮）が行われる（Ｓ１３０）。

このように、本実施の形態の画像圧縮装置１００は、プレ圧縮→本圧縮用画像データ生成→本圧縮の順に圧縮を行う。本圧縮用画像データの生成に当たり、プレ圧縮で得られたビットレートが閾値Ｔｈを超えたフレームの表示領域の一部を複数の領域に分けて直前の複数のフレームの非表示領域に１個ずつコピーする。本圧縮に際して、例えば図７に示す現在のフレーム５０１の領域６０１のデータが既に１つ前のフレーム５０２の領域７０１の部分としてエンコード済みなので、フレーム間予測により現在のフレーム５０１の符号量が少なくなる。また、加工は、シーンチェーンフレームの直前のフレームに対してなされるので、人間の目に知覚され難いため、画質の劣化を軽減できる。

以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、さまざまな変更、増減を加えてもよい。これらの変更、増減が加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。

本発明の実施の形態にかかる画像圧縮装置を示す図である。 図１に示す画像圧縮装置において前半処理に関わる機能ブロックを示す図である。 図１に示す画像圧縮装置において後半処理にかかる機能ブロックを示す図である。 Ｈ．２６４／ＡＶＣ方式におけるクロッピング処理を説明するための図である。 図１に示す画像圧縮装置の画像加工部におけるビットレート値保存メモリにビットレートが格納されたフレームを示す図である。 図１に示す画像圧縮装置の画像加工部による加工処理を説明するための図である（その１）。 図１に示す画像圧縮装置の画像加工部による加工処理を説明するための図である（その２）。 図１に示す画像圧縮装置の画像加工部による加工処理を説明するための図である（その３）。 図１に示す画像圧縮装置の画像加工部による加工処理を説明するための図である（その４）。 図１に示す画像圧縮装置において行われる処理の流れを示すフローチャートである。

符号の説明

１００ 画像圧縮装置 １１０ データ供給部
１１２ プレ圧縮用画像データメモリ １１４ 本圧縮用画像データメモリ
１１６ 切替部 １２０ 加算器
１２２ 直交変換部 １２４ 量子化部
１２６ 可変長符号化部 １３０ レート制御部
１３２ レート調整部 １３４ レート評価部
１４０ 逆量子化部 １４２ 逆直交変換部
１５０ フレームメモリ １５２ プレ圧縮用予測フレームメモリ
１５４ 本圧縮用予測フレームメモリ １６０ 動き補償処理部
１７０ 画像加工部 １７２ 加工実行部
１７４ ビットレート値保存メモリ １８０ ストリーム出力制御部
１８２ ストリームバッファ １９０ 動作モード制御部
３０２ 非表示領域 ３０４ 表示領域

Claims (8)

1. 動画像を構成する複数のフレームのうちの、可変ビットレート方式で前記動画像を圧縮した場合のビットレートが所定の閾値を越えるフレームであるシーンチェンジフレームの直前のフレームを対象フレームとし、シーンチェンジフレームの一部の領域を、該シーンチェンジフレームに対応する対象フレームにコピーする加工を行う画像加工部と、
   対象フレームについては前記画像加工部により加工がなされたものを使用し、対象フレーム以外のフレームについては元のフレームを使用して、固定ビットレート方式で圧縮を行う圧縮部とを備えることを特徴とする画像符号化装置。
2. 前記圧縮部は、Ｈ．２６４／ＡＶＣに準拠したものであることを特徴とする請求項１に記載の画像符号化装置。
3. 前記画像加工部は、シーンチェンジフレームの表示領域における前記一部の領域を、該シーンチェンジフレームに対応する対象フレームの非表示領域にコピーすることを特徴とする請求項２に記載の画像符号化装置。
4. 前記画像加工部は、前記シーンチェンジフレームの直前のｎ個（ｎ≧２）のフレームを対象フレームとし、シーンチェンジフレームの前記一部の領域をｎ個に分割して該シーンチェンジフレームに対応するｎ個の対象フレームに１個ずつコピーすることを特徴とする請求項１から３のいずれか１項に記載の画像符号化装置。
5. 可変ビットレート方式による前記動画像のプレ圧縮であって、全てのフレームについて元のフレームを用いる前記プレ圧縮を前記圧縮部に行わせる動作モード制御部をさらに備え、
   前記画像加工部は、前記プレ圧縮により得られたビットレートが前記所定の閾値を超えるフレームを前記シーンチェンジフレームとすることを特徴とする請求項１から４のいずれか１項に記載の画像符号化装置。
6. 前記画像加工部は、シーンチェンジフレームの前記ビットレートが前記所定の閾値を超えた量に応じて前記一部の領域の大きさを算出することを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
7. 動画像を構成する複数のフレームのうちの、可変ビットレート方式で前記動画像を圧縮した場合のビットレートが所定の閾値を越えるフレームであるシーンチェンジフレームの直前のフレームを対象フレームとし、シーンチェンジフレームの一部の領域を、該シーンチェンジフレームに対応する対象フレームにコピーする加工を行い、
   対象フレームについては前記加工がなされたものを使用し、対象フレーム以外のフレームについては元のフレームを使用して、固定ビットレート方式で圧縮を行うことを特徴とする画像符号化方法。
8. 動画像を構成する複数のフレームのうちの、可変ビットレート方式で前記動画像を圧縮した場合のビットレートが所定の閾値を越えるフレームであるシーンチェンジフレームの直前のフレームを対象フレームとし、シーンチェンジフレームの一部の領域を、該シーンチェンジフレームに対応する対象フレームにコピーする加工を行い、
   対象フレームについては前記加工がなされたものを使用し、対象フレーム以外のフレームについては元のフレームを使用して、固定ビットレート方式で圧縮を行う処理をコンピュータに実行させることを特徴とするプログラム。

Images