JP4875894B2 - 画像符号化装置および画像符号化方法 - Google Patents

Description

本発明は、画像情報の符号化装置及び符号化方法に関し、特に、異なる符号化を行なう場合にも再生画像の劣化を少なくし得る画像情報の符号化装置及び符号化方法に関するものである。

野外スポーツ中継や屋外のイベント、例えば、マラソン中継や屋外の競技、イベント等をテレビカメラで撮影し、例えば、放送センタ（あるいは放送局）に送信する場合、テレビカメラで撮影した映像をＦＰＵ（Field Pickup Unit）等の中継伝送装置あるいはネットワーク等の伝送路を使って放送センタに送信している。このような中継伝送装置あるいはネットワーク等の伝送路は、送信されるチャンネルで使用可能な伝送帯域幅が制限されている。従って、テレビカメラ側で撮影した映像を中継伝送装置あるいは伝送路が許容する伝送ビットレートまで圧縮して送っているのが普通である。

一方、放送センタ等の受信側では、受信した圧縮映像を一度元の映像に復調し、放送のための編集作業を行った後、再び映像を圧縮して、別の局に送出したり、あるいは放送センタ内の放送素材蓄積サーバに録画している場合が多い。この様にテレビカメラで撮影された映像が放送センタのモニタあるいは一般の家庭の受像機に映し出されるまでに数回の圧縮、伸張処理が繰返し行われている。

而して、従来、テレビカメラで撮影された映像の圧縮には、動画圧縮に適したＭＰＥＧ−２（Moving Picture coding Experts Group-2）符号化方式が採用されている。また、放送センタ内の放送設備である放送素材蓄積サーバ等への録画においては、ＡＲＩＢ（Association of Radio Industries and Businesses:電波産業会）による標準化が進められており、ＭＰＥＧ−２符号化方式をベースとした圧縮録画が行われている。このようにテレビカメラで撮影された映像を中継伝送装置あるいはネットワーク等の伝送路で送信する場合の圧縮符号化方式と、放送センタ内の放送設備である放送素材蓄積サーバ等への映像を圧縮録画する場合の圧縮符号化方式が、いずれもＭＰＥＧ−２の圧縮符号化方式で共通しているため、複数回の圧縮、伸張を行っても画質劣化、所謂、ブロック歪みは少ない。

また、最近では、従来のＭＰＥＧ−２符号化方式よりも符号化効率の優れたＨ．２６４符号化方式（非特許文献１参照）の研究、開発が進められている。このＨ．２６４符号化方式では、従来伝送帯域幅の制限から実現困難であった高精細の映像が伝送可能となる。例えば、従来、ＭＰＥＧ−２では、２０Ｍｂｐｓで伝送していた映像信号を、Ｈ．２６４では、１０Ｍｂｐｓで伝送可能となる。

さて、放送センタ内の放送設備や各家庭への映像伝送では、上述のようにＡＲＩＢによる標準化が進められており、ＭＰＥＧ−２符号化方式をベースとした圧縮録画が行われているが、野外スポーツ中継や屋外のイベント等をテレビカメラで撮影し、放送センタに送信する場合の映像の符号化方式に関しては、標準化が行われていないため、採用する符号化方式は、局とメーカに任されているのが現状である。従って、本発明者らは、このＨ．２６４符号化方式を使った映像の伝送を検討し、実用化を行うものである。しかしながら、このような検討の途中で明かになった事項について以下に説明する。

このＨ．２６４符号化方式で一度符号化した映像を録画時にＡＲＩＢ標準となっているＭＰＥＧ−２符号化方式で録画した場合（これを異なる符号化方式による多段接続という。）、それぞれの符号化方式で扱う直交変換時のブロックサイズが異なるため、圧縮多段接続による映像劣化が発生する。具体的に説明すると、Ｈ．２６４符号化方式は、４画素×４画素（以下４×４と略称する。また、他のブロックサイズでも同様とする。）もしくは８×８の画素ブロックで直交変換を行うが、ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式は、８×８の画素ブロックで直交変換を行う。

例えば、野外スポーツ中継や屋外のイベント等をテレビカメラで撮影し、放送センタに送信する場合（以下、上流側と称する。）において、Ｈ．２６４符号化方式を使いて撮影した映像を符号化して伝送する場合、例えば、映像を４×４のブロックサイズに分割し、直交変換および量子化を行い、放送センタに送信される。一方、放送センタ内の放送設備や各家庭への映像伝送する場合（以下、下流側と称する。）、上流側で４×４のブロックサイズのＨ．２６４符号化方式で符号化された映像を、一旦、復号し、再度、例えば、ＡＲＩＢの標準規格に基づいてＭＰＥＧ−２符号化方式を用いて映像を符号化することとなる。この場合、下流側では、８×８の画素ブロックサイズで直交変換および量子化が行なわれることになる。このように異なる符号化方式による多段接続を行うと、８×８の画素ブロックを構成する４ヶの４×４の画素ブロックの境界にエッジ成分が現れ、下流側のＭＰＥＧ−２符号化方式では、圧縮しにくい映像を再圧縮することとなり、圧縮多段接続したことにより、再生映像が劣化してしまうということになる。従って、上流側で伝送帯域が格段に拡大されるＨ．２６４符号化方式を用い、しかも、下流側でＭＰＥＧ符号化方式を用いても画像劣化のない画像情報の符号化装置及び符号化方法を実現することが望まれている。

INTERNATIONAL STANDARD, ISO/IEC 14496-10, Information technologyCoding of audio-visual objects-Part 10: Advanced Video Coding

上述したように異なる符号化方式による多段接続を行うと、下流側のＭＰＥＧ符号化方式では、圧縮しにくい映像を再圧縮することとなり、再生映像が劣化してしまうということになる。従って、上流側で伝送帯域が各段に拡大されるＨ．２６４符号化方式を用い、下流側でＭＰＥＧ符号化方式を用いても画像劣化のない画像情報の符号化装置及び符号化方法を実現することが望まれている。

本発明の目的は、異なる符号化方式による多段接続に対しても画質劣化の少ない画像情報の符号化装置及び符号化方法を提供することである。

本発明の他の目的は、上流側に下流側のマクロブロックサイズより大きいか、同等の大きさのマクロブロックサイズの符号化方法を用いる画像情報の符号化装置及び符号化方法を提供することである。

本発明の更に他の目的は、上流にＨ．２６４符号化方式を用い、下流にＭＰＥＧ符号化方式を用いる画像情報の符号化装置及び符号化方法を提供することである。

本発明の画像情報の符号化装置は、映像データ入力部と、上記映像データをマクロブロックに分割するマクロブロック分割部と、上記マクロブロックに分割された映像データと予測画像との差分信号を直交変換する直交変換部と、上記直交変換された信号を符号化する符号化部と、上記直交変換された信号を逆直交変換する逆直交変換部と、上記逆直交変換部の出力と上記予測画像を加算し復号画像データを生成する加算部と、上記加算部の出力から上記予測画像を生成するイントラ予測部を有し、上記イントラ予測部は、上記復号画像データを複数の画素ブロックに分割する複数の画素ブロック分割部と、上記分割された複数の画素ブロックのそれぞれについて複数の予測画像を生成する予測画像生成部と、上記予測画像生成部で生成された複数の予測画像と上記マクロブロックに分割された映像データに基づいて所定の予測画像を選択する予測モード選択部および上記復号画像データを上記複数の画素ブロック分割部のいずれの画素ブロック分割部に供給するかを制御する切替部を有するように構成される。

また、本発明の画像情報の符号化装置において、上記映像データをマクロブロックに分割するマクロブロック分割部は、上記映像データを１６×１６のマクロブロックに分割するマクロブロック分割部であり、上記複合画像データを複数の画素ブロックに分割する複数の画素ブロック分割部は、１６×１６、８×８、４×４の画素ブロックにそれぞれ分割する画素ブロック分割部である。

また、本発明の画像情報の符号化装置において、上記切替部は、上記複合画像データの供給を１６×１６、８×８、４×４の画素ブロック分割部と１６×１６、８×８の画素ブロック分割部とに切替える切替部であり、上記符号化部の出力に結合される符号化システムがＭＰＥＧ方式の符号化システムの場合、上記切替部は、上記複合画像データを上記１６×１６、８×８の画素ブロック分割部に供給するように構成される。

また、本発明の画像情報の符号化装置において、更に、動き予測部を有し、上記動き予測部は、動き補償予測部および動き検出部からなり、上記動き検出部は、上記マクロブロックに分割された映像データを複数の画素ブロックに分割する複数の画素ブロック分割部と、上記複数の画素ブロックに分割された画素ブロックと上記復号画像データとを比較し、所定の予測画像を探索するベクトル探索部および上記ベクトル探索部の出力を選択する予測画像選択部を有し、上記動き補償予測部は、上記予測画像選択部の出力に基づいて上記復号画像データから上記所定の予測画像を出力するように構成される。

また、本発明の画像情報の符号化装置において、上記映像データをマクロブロックに分割するマクロブロック分割部は、上記映像データを１６×１６のマクロブロックに分割するマクロブロック分割部であり、上記マクロブロックに分割された映像データを複数の画素ブロックに分割する複数の画素ブロック分割部は、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４画素ブロック分割部である。

更に、本発明の画像情報の符号化方法は、映像データをマクロブロックに分割するステップと、上記マクロブロックに分割された映像データと予測画像との差分信号を直交変換するステップと、上記直交変換された信号を符号化するステップと、上記直交変換された信号を逆直交変換するステップと、上記逆直交変換された信号と上記予測画像を加算し復号画像データを生成するステップと、上記復号画像データを複数の画素ブロックに分割するステップと、上記分割された複数の画素ブロックのそれぞれについて複数の予測画像を生成するステップと、上記生成された複数の予測画像と上記マクロブロックに分割された映像データに基づいて所定の予測画像を選択するステップを有し、上記復号画像データを複数の画素ブロックに分割するステップは、上記符号化された信号に関係する映像データを供給されるＭＰＥＧ方式の符号化システムのマクロブロック分割のブロックサイズと等しいか、またはそれより大きいブロックサイズの画素ブロックに分割するステップである。

以上説明したように、本発明によれば、異なる符号化方式を多段接続して映像を圧縮伝送する際に発生するブロック境界のブロック雑音を抑え、再生画像の劣化を最小限におさえることができる。また、従来伝送帯域幅の制限から実現困難であった高精細の映像伝送がＨ．２６４符号化方式の持つ帯域幅の拡大により伝送が可能となる等の効果を有する。

次に、本発明を説明する前にＨ．２６４符号化方式について図４を用いて説明する。図４は、Ｈ．２６４符号化方式を説明するためのブロック図である。４０１は、入力端子である。この入力端子４０１には、テレビカメラ等で撮像された映像信号が、前段の例えば、映像信号処理装置（図示せず。）で輝度信号成分Ｙと２種類の色差信号成分ＣｂとＣｒの映像データに分離され入力される。これら入力された輝度信号成分Ｙと２種類の色差信号成分ＣｂとＣｒの映像データは、ＭＢ（Macroblock）分割部４０２に入力される。ＭＢ分割部４０２では、入力映像データを、１６×１６画素ブロックの輝度信号Ｙと、８×８画素ブロックの２つの色差信号ＣｂとＣｒをひとまとまりとするマクロブロック単位の符号化対象信号ＭＢＳに変換する。これらマクロブロック単位の符号化対象信号ＭＢＳは、減算部４０３で後述する予測画像信号ＰＶと減算され、予測差分画像信号ＰΔＶ１が直交変換部４０４に供給される。なお、入力映像データは、１６×１６画素ブロックの輝度信号Ｙと、８×８画素ブロックの２つの色差信号ＣｂとＣｒをひとまとまりとするマクロブロック単位の符号化対象信号ＭＢＳであるが、説明を簡単にするために、以下の説明では、１６×１６画素ブロックの輝度信号Ｙのみを符号化対象信号として説明するが、８×８画素ブロックの２つの色差信号ＣｂとＣｒについても同様である。

直交変換部４０４の動作を図７を用いて説明する。直交変換部４０４では、離散コサイン変換（ＤＣＴ）のような直交変換が行われる。但し、Ｈ．２６４符号化方式では、整数部分のみの変換が行われる。図７は、直交変換を模式的に示したものである。直交変換は、図７（Ａ）のように水平方向ｉ、垂直方向ｊの画像の輝度データ（輝度ｆ（ｉ、ｊ））を図７（Ｂ）のように水平方向空間周波数ｕ―垂直方向空間周波数ｖの周波数スペクトル（直交変換係数（ｕ、ｖ））に変換するものである。図７において、Ｆ（０、０）は、直流成分でありブロック内の輝度の平均値を、Ｆ（ｕ、ｖ）は、水平方向の空間周波数ｕ、垂直方向の空間周波数ｖの成分の大きさを表し、ｕあるいはｖが大きくなるほど、空間周波数の高い成分となる。通常の画像では、輝度の持つエネルギーは、直流および低周波の交流成分に集中することが知られている。このため輝度データは、直交変換により変換することによって、直流および低周波の交流成分の係数に集中させられたデータに変換され、高い圧縮効率を実現することが可能である。

直交変換部４０４で空間周波数スペクトルに変換された映像データは、量子化部４０５で量子化する。この量子化では、人間の視覚特性が高周波成分に鈍感であり、高周波成分は荒い量子化を行なっても劣化が目立たないことから、直流成分および低周波の交流成分は細かい量子化を行ない、空間周波数が高くなるほど荒く量子化を行なうようにする。量子化部４０５で量子化された映像データは、可変長符号化部４０６に供給される。

可変長符号化部４０６では、量子化部４０５で量子化されたデータを符号化するが、直流成分と交流成分とで異なる符号化を行なう。直流成分は、前述のようにブロック内の輝度の平均値であり、隣接するブロックどうしでの相関が強いので、直前に符号化されたブロックの直流成分値との差分を取り、ハフマン符号化を行なう。一方、交流成分は、前述の直交変換の性質および量子化特性から高周波成分については、ほとんど０となるので、直交変換係数を低周波から高周波へと１次元に並べ、０でない係数とその係数までに続いた０の係数の数の組み合わせをハフマン符号化する。このようにしてマクロブロック単位の符号化対象信号ＭＢＳは、符号量を減少させることができ、画像データの圧縮が達成され、出力端子４０７から次段の信号処理装置へと伝送される。

また、８×８画素ブロックの２つの色差信号ＣｂとＣｒについては、４×４画素ブロックの固定画素ブロックに分割され、前述と同様に直交変換部４０４で直交変換が行われる。直交変換部４０４で直交変換された色差信号は、後段の量子化部４０５で量子化処理が行われ、変換係数が出力される。そして、可変長符号化部４０６で可変長符号化され、出力端子４０７から圧縮された画像データとして出力される。

一方、量子化部４０５からの空間周波数スペクトルに変換された映像データは、逆量子化部４０８で輝度信号Ｙと色差信号ＣｂとＣｒの変換係数に対し逆量子化処理を行い、更に、後段の逆直交変換部４０９で再生予測差分画像信号ＰΔＶ２を復元し、加算器４１０に出力される。加算器４１０では、この再生予測差分信号ＰΔＶ２と後述する予測画像信号ＰＶを加算器４１０で加算することにより復号画像信号ＲＶを再生し、記憶部４１１に記憶すると共に、デブロッキングフイルタ部４１４を介して記憶部４１５にも供給される。

次に、記憶部４１１に記憶された復号画像信号ＲＶは、イントラ（Intra）予測部４１２、選択部４１３を介して減算部４０３に供給され、減算部４０３では、前述した予測差分画像信号ＰΔＶ１が出力される。ここで、イントラ（Intra）予測部４１２の構成と動作について図５を用いて説明する。図５において、入力端子５０１は、記憶部４１１に記憶されている復号画像信号ＲＶが供給される入力端子である。入力端子５０１に供給される復号画像信号ＲＶは、先に説明したようにＭＢ分割部４０２で１６×１６画素ブロックの輝度信号Ｙと、８×８画素ブロックの２つの色差信号ＣｂとＣｒをひとまとまりとするマクロブロック単位の符号化対象信号ＭＢＳに対応する復号画像信号ＲＶである。この内１６×１６画素ブロックの輝度信号Ｙは、１６×１６画素ブロック分割部５０２で１６×１６画素ブロックに分割（この場合は、符号化対象信号ＭＢＳと同じ大きさのため、１個の画素ブロックとなる。）され、予測画像生成部５０５（以下、予測モードＡと称する。）に供給される。また、８×８画素ブロック分割部５０３では、８×８画素ブロックに分割（この場合は、符号化対象信号ＭＢＳは、４個の画素ブロックに分割される。）され、予測画像生成部５０６（以下、予測モードＢと称する。）に供給される。同様に、４×４画素ブロック分割部５０４では、４×４画素ブロックに分割（この場合は、符号化対象信号ＭＢＳは、１６個の画素ブロックに分割される。）され、予測画像生成部５０７（以下、予測モードＣと称する。）に供給される。

予測画像生成部５０２の予測モードＡでは、１６×１６画素ブロック１個の復号画像信号ＲＶからＡ０、Ａ１、・・Ａ３の４個の予測画像を生成し、最も最適に予測できる予測画像を１つ選択する。また、予測画像生成部５０３の予測モードＢでは、４つの８×８画素サブマクロブロックに分割した復号画像信号ＲＶに対してＢ０、Ｂ１、・・Ｂ８の９個の予測画像（合計３６個）を生成し、最も最適に予測できる予測画像を１つ選択し、残っている次のブロックの予測画像生成に用いる。同様に、予測画像生成部５０４の予測モードＣでは、１６個の４×４画素サブマクロブロックに分割した復号画像信号ＲＶに対してそれぞれＣ０、Ｃ１、・・Ｃ８の９個の予測画像を生成し、最も最適に予測できる予測画像を１つ選択し、残っている次のブロックの予測画像生成に用いる。なお、８×８画素サブマクロブロックの２つの色差信号ＣｂとＣｒは、前述のように４×４画素ブロックの固定のサブマクロブロックに分割されるので、４×４画素ブロック分割部５０４で４×４画素サブマクロブロックに分割され、予測画像生成部５０７に供給される。

ここで、予測モードＡ、ＢおよびＣの予測方法について図８を用いて説明する。図８（Ａ）は、例えば、予測画像生成部５０６の予測画像生成を説明するためのベクトル図を示している。図８（Ａ）において、Ｂ０、Ｂ１、・・・Ｂ８は、それぞれ予測モードのベクトル方向を示すもので、記憶部４１１に記憶されている復号画像信号ＲＶを参照画像とし、それぞれの隣接する画素の、例えば、輝度値をこのベクトルから算出している。例えば、予測モードＢ１は、垂直方向のベクトル（Ｙ方向）を表しているので、その予測画像は、図８（Ｂ）に示すように参照画像をＹ方向にコピーした輝度信号で表した画像を予測モードＢ１の予測画像としている。なお、図８（Ｂ）で示すＰ’_００、Ｐ’_１０、Ｐ’_２０、・・Ｐ’_０１、・・・は、参照画像の各画素の輝度値のコピーを示す。また、例えば、予測モードＢ３は、４５度のベクトル方向であるので、復号画像信号ＲＶの参照画像の各画素の輝度値を４５度の方向にシフトした位置の画素の輝度値とし、これを予測モードＢ３の予測画像とするものである。以下、同様に８×８画素ブロックの全てについて予測画像Ｂ０、Ｂ２、・・・Ｂ８を生成する。なお、上記例では、予測画像生成部５０６の予測モードＢについて説明したが、予測画像生成部５０２の予測モードＡおよび予測画像生成部５０４の予測モードＣについても同様であるので、詳細な説明は省略する。

上記のようにして生成された予測画像は、最適予測モード選択部５０８に供給される。最適予測モード選択部５０８では、入力端子５０９からは、１６×１６画素、または８×８画素、または４×４画素のサブマクロブロック単位の輝度信号Ｙと、４×４画素のサブマクロブロック単位の２つの色差信号ＣｂとＣｒの符号化対象信号ＭＢＳが供給される。そして、このサブマクロブロック単位の符号化対象信号ＭＢＳと各予測画像生成部５０２、５０３及び５０４で生成される予測画像とを画素単位で比較し、差分値を求め、この差分値が最小となる予測画像を予測画像ＰＶとして出力端子５１０から出力する。例えば、サブマクロブロック単位の符号化対象信号ＭＢＳ（図７（Ａ）で示される画素毎の輝度信号）と図８（Ｂ）で説明した予測画像Ｂ１とを比較し、それぞれの画素の輝度値の差分値を求め、例えば、８×８画素ブロックのそれぞれの輝度値の差分値の合計をその予測画像の差分値とする。これを全ての予測画像生成部５０２、５０３および５０４から出力される予測画像について算出し、例えば、８×８画素ブロックのそれぞれの輝度値の差分の合計が最も小さい輝度値の画像を予測画像ＰＶとして出力端子５１０から出力する。これによって予測画像ＰＶが最適予測モード選択部５０８から出力され、選択部４１３を介して減算器４０３および加算器４１０に供給される。以上のようにしてＨ．２６４符号化方式による符号化が行われる。なお、選択部４１３については後述する。

次に、動き補償予測部４１６、動き検出部４１７について説明する。加算器４１０からの復号画像信号ＲＶは、動き補償予測を行うために、ブロック歪を除去するデブロッキングフィルタ部４１４でブロック歪の除去された復号画像が記憶部４１５に記憶される。この記憶部４１５に記憶された復号画像信号ＲＶは、参照画像として動き補償予測部４１６および動き検出部４１７に供給される。

ここで、動き検出部４１７の構成と動作を図６および図９を用いて説明する。図６は、動き検出部４１７の概略構成を示すブロック図である。図６において、６０１は、ＭＢ分割部４０２で１６×１６のマクロブロック単位に分割された符号化対象信号ＭＢＳが入力される入力端子である。入力端子６０１に入力された符号化対象信号ＭＢＳは、１６×１６画素ブロック分割部６０２、１６×８画素ブロック分割部６０３、８×１６画素ブロック分割部６０４、・・・４×４画素ブロック分割部６０８の７個の画素ブロック分割部でブロック分割され、動きベクトル探索部６０９に供給される。

入力端子６１１は、記憶部４１５に記憶されている参照画像が入力される。そして、動きベクトル探索部６０９では、参照画像と上述した７個の画素ブロック分割部で分割された分割ブロックについて、一致するブロックあるいは最も近いブロックを探索し、最も近いブロックを出力端子６１２から出力する。この出力端子６１２の出力は、動き補償予測部４１６および選択部４１３に供給される。

これについて更に詳しく説明する。例えば、符号化対象信号ＭＢＳが８×８画像ブロック分割部６０５で４個のブロックに分割され、その４個のブロックについて参照画像と比較され一致するブロックあるいは類似するブロックを探索する。図９（Ａ）は、４個のブロック（ＢＶ１、ＢＶ２、ＢＶ３、ＢＶ４）の内の１個のブロックＢＶ１を示している。また、図９（Ｂ）は、参照画像ＲＶの中での探索範囲９０１を示している。本実施例では、探索範囲９０１は、１６×１６の符号化対象信号ＭＢＳを中心として縦横１６画素±１６画素の範囲を示している。従って、ブロックＢＶ１を探索範囲９０１の中を順次画素単位に移動して一致するブロックあるいは最も類似するブロックを探索する。換言すれば、一致するブロックあるいは最も類似するブロックの探索は、よく知られているように、ブロックＢＶ１の各画素の輝度値と探索範囲９０１の中の８×８のブロックの中の各画素の輝度値との差分値を演算し、８×８ブロックの各画素の差分値の加算値が最小のものをブロックＢＶ１の差分値ΔＢＶ１とする。なお、差分値が所定の値、例えば、ΔＢＶ_ＴＨ（閾値）以上であれば、ブロックＢＶ１に一致するブロックあるいは類似するブロックは、ないと判断する。このようにして４個のブロック（ＢＶ１、ＢＶ２、ＢＶ３、ＢＶ４）の全てについて探索を行う。この場合のΔＢＶ_ＴＨ（閾値）は、前もって実験的に求め設定することができる。

上記のような方法で動きベクトル探索部６０９では、それぞれの画素ブロック分割部６０２、６０３、・・・６０８での各画素ブロック毎に最小の輝度の差分値が演算されるので、その出力が動き最適予測画像選択部６１０に供給される。即ち、動きベクトル探索部６０９でそれぞれ探索された７個のブロックが動き最適予測画像選択部６１０に供給され、動き最適予測画像選択部６１０では、これら７個のブロックから最も差分値の小さい分割ブロックを最適予測画像として選択する。

動き最適予測画像選択部６１０の出力は、動き補償予測部４１６および選択部４１３に供給される。動き補償予測部４１６では、動き最適予測画像選択部６１０の検出結果に基づいて記憶部４１５に記憶されている参照画像から最も差分値の小さい分割ブロック、即ち、最適予測画像が選択され、選択部４１３を介して減算部４０３および加算器４１０に供給される。

そして、選択部４１３は、次のように動作する。先に説明したように、動き検出部４１７の動きベクトル探索部６０９では、差分値が所定の値、例えば、ΔＢＶ_ＴＨ（閾値）以上であれば、例えば、ブロックＢＶ１に一致するブロックあるいは類似するブロックは、ないと判断すると説明した。従って、全てのブロックについて動きベクトル探索を行い、符号化対象信号ＭＢＳと記憶部４１５に記憶されている参照画像との間で一致するブロックあるいは類似するブロックがない場合は、動き検出部４１７から出力信号が出ないこととなる。この場合は、先に説明したイントラ予測部４１２の出力が選択部４１３で選択され、減算部４０３および加算器４１０に供給される。また、動き検出部４１７の動き最適予測画像選択部６１０で最も差分値の小さい分割ブロックが選択された場合には、選択部４１３は、動き補償予測部４１６の出力を選択し、減算部４０３および加算器４１０に供給する。

なお、上記の説明では、輝度信号Ｙについてのみ説明したが、色差信号については、４×４の固定画素ブロックに分割する場合を除いて輝度信号と同様の処理を行っているので詳細な説明は省略する。

次に、本発明の一実施例を図１を用いて説明する。図１は、本発明の一実施例の概略構成のブロック図である。図１において、１０１は、ＭＰＥＧ２符号化システム、１０２は、イントラ（intra）予測部、１０３は、動き補償予測部、１０４は、動き検出部、１０５は、操作部を示す。また、１０６は、動き予測部であり、動き補償予測部１０３および動き検出部１０４で構成されている。なお、図４と同じものには同じ符号が付されている。

ここで、図１に示す本発明の一実施例を説明する前に本発明の基本的な原理を説明する。先に図４で説明したＨ．２６４符号化方式において、イントラ予測部４１２は、記憶部４１１に記憶された復号画像信号ＲＶ（１６×１６画素ブロックの符号化対象信号ＭＢＳに対応する。）から１６×１６、８×８、４×４の画素ブロックに分割され、２２個の予測画像が生成され、その中から最適の予測画像ＰＶが出力されることを説明した。従って、イントラ予測部４１２の出力としては、図５に示す最適予測モードの選択部５０８の選択により１６×１６、８×８、４×４の画素ブロックのいずれかの画素ブロックが出力される。その結果、直交変換部４０４で行われる直交変換の処理単位は、イントラ予測部４１２の出力に応じて自動的に切替わる。即ち、１６×１６画素ブロックの場合には、直交変換の処理単位は、１６×１６画素ブロック単位に、また、８×８画素ブロックの場合には、直交変換の処理単位は、８×８画素ブロック単位に、そして、４×４の画素ブロックの場合には、直交変換の処理単位は、４×４画素ブロック単位に自動的に切替わり直交変換が行われる。

一方、Ｈ．２６４符号化方式で符号化された映像データは、可変長符号化部４０６から出力され、後段のＭＰＥＧ２符号化システム１０１に供給される。なお、図１では、可変長符号化部４０６の出力が直接、後段のＭＰＥＧ２符号化システム１０１に供給されるように記載されているが、実際のシステムでは、可変長符号化部４０６の出力は、復号化処理等必要な信号処理がなされ、伝送路を介して後段のＭＰＥＧ２符号化システム１０１に供給されることは言うまでもない。また、図１の一実施例では、ＭＰＥＧ２符号化システム１０１として説明するが、ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−４等の符号化システムであってもよい。

さて、後段のＭＰＥＧ２符号化システム１０１の符号化方式は、８×８の画素ブロックで直交変換を行うことを説明した。従って、図１に示すような画像情報の符号化装置では、上流側でＨ．２６４符号化方式を採用した場合、１６×１６、８×８、４×４の画素ブロックのいずれかの画素ブロックで直交変換がなされ、下流側では、８×８の画素ブロックで直交変換がなされることとなる。このような場合、上流側でＨ．２６４符号化方式の最適予測画像ＰＶが、例えば、４×４の画素ブロックであるとすると、直交変換部４０４では、４×４の画素ブロックで直交変換がなされる。この場合、４×４で直交変換された画像データが下流側では、８×８の画素ブロックで直交変換がなされる場合が発生する。その結果、４×４の画素ブロックのエッジ部分にブロックノイズが発生し、再生画像を劣化させることとなる。

この原因は、次のように考えられている。即ち、符号化時にブロック内の画素の輝度値を周波数スペクトルで表現しているが、その時、各ブロックを独立に処理されるため、隣接するブロックと輝度値の連続性が保たれないことが原因と考えられる。

従って、本発明では、符号化、復号化を繰り返し行なうような場合には、図１０（Ａ）に示すように上流での符号化のブロックの大きさ（１６×１６分割ブロック）を、図１０（Ｂ）に示すように下流での符号化のブロックの大きさ（８×８分割ブロック）に比べて大きくするか、あるいは、図１１（Ａ）に示すように上流での符号化のブロックの大きさ（８×８分割ブロック）と、図１１（Ｂ）に示すように下流での符号化のブロックの大きさ（８×８分割ブロック）を一致させることが必要である。この様にすると、前述したように上流での画素ブロックのエッジ部分に発生するブロックノイズの影響が下流での符号化時に影響されることはない。この原理を適応した本発明の一実施例を図１を用いて説明する。図１において、記憶部４１１には、図４で説明したと同様に復号画像信号ＲＶ（１６×１６画素ブロックの符号化対象信号ＭＢＳに対応する。）が記憶されている。そして、記憶部４１１の出力がイントラ予測部１０２に供給される。

イントラ予測部１０２について図２を用いて説明する。図２は、本発明の一実施例で用いられるイントラ予測部１０２の具体的な構成を示すブロック図である。図２において、２０１は、記憶部４１１に記憶されている復号画像信号ＲＶが供給される入力端子、２０２は、切替スイッチ、２０３は、操作部１０５に接続され、切替スイッチ２０２の切替えを制御する切替信号入力端子である。なお、図５と同じものには同じ符号が付されている。

次に、図２のイントラ予測部１０２の動作を説明する。まず、図１に示されるシステムにおいて、可変長符号化部４０６の出力が供給される、下流のシステムがＭＰＥＧ２符号化システムでない場合、操作者は、操作部１０５を操作して切替スイッチ２０２を端子ａ側に接続する。これによって記憶部４１１に記憶されている復号画像信号ＲＶは、１６×１６画素ブロック分割部５０２、８×８画素ブロック分割部５０３、４×４画素ブロック分割部５０４のそれぞれに供給される。従って、最適予測モードの選択部５０８では、１６×１６画素ブロック分割部５０２からの予測画像Ａ０、・・・Ａ３が、また、８×８画素ブロック分割部５０３からの予測画像Ｂ０、Ｂ１、・・・Ｂ８が、そして、４×４画素ブロック分割部５０４からの予測画像Ｃ０、Ｃ１、・・・Ｃ８の合計２２個の予測画像が生成され、これら２２個の予測画像から最適な予測モード選択部５０８で最適な予測画像を１個選択し、これを予測画像ＰＶとして出力する。

一方、図１に示されるシステムにおいて、可変長符号化部４０６の出力が供給される、下流のシステムがＭＰＥＧ２符号化システムの場合、操作者は、操作部１０５を操作して切替スイッチ２０２を端子ｂ側に接続する。これによって記憶部４１１に記憶されている復号画像信号ＲＶは、１６×１６画素ブロック分割部５０２および８×８画素ブロック分割部５０３の２つの画素ブロック分割部に供給される。従って、最適予測モードの選択部５０８では、１６×１６画素ブロック分割部５０２からの予測画像Ａ０、・・・Ａ３および８×８画素ブロック分割部５０３からの予測画像Ｂ０、Ｂ１、・・・Ｂ８の合計１３個の予測画像が生成され、これら１３個の予測画像から最適な予測画像を１個選択し、これを予測画像ＰＶとして出力する。即ち、下流のシステムがＭＰＥＧ２符号化システムの場合、上流に位置するＨ．２６４符号化方式を用いる画像情報の符号化装置では、１６×１６画素ブロックか、または、８×８画素ブロックの予測画像ＰＶが出力されるため、下流のＭＰＥＧ２符号化システムの８×８画素ブロックと同じブロックか、あるいは、これより大きい画素ブロックとなるので、前述のようなブロック雑音は発生せず、再生画像の画質劣化を最小限に抑えることができるという特徴がある。

更に、図１に示されるシステムにおいて、可変長符号化部４０６の出力が供給される、下流のシステムが、例えば、１６×１６の画素ブロックの符号化システムである場合には、操作者は、操作部１０５を操作して切替スイッチ２０２を端子ｃ側に接続する。これによって記憶部４１１に記憶されている復号画像信号ＲＶは、１６×１６画素ブロック分割部５０２に供給される。従って、最適予測モードの選択部５０８では、１６×１６画素ブロック分割部５０２からの予測画像Ａ０、・・・Ａ３の４個の予測画像が生成され、これら４個の予測画像から最適な予測画像を１個選択し、これを予測画像ＰＶとして出力する。

なお、上記実施例では、上流にＨ．２６４符号化方式を用いる画像情報の符号化装置で、１６×１６、８×８、４×４の画素ブロックを用い、下流に８×８画素ブロックのＭＰＥＧ２符号化システムについて説明したが、これに限定されるものではなく、上流の符号化方式が下流の符号化方式に比べ分割される画素ブロックが同じ大きさか、それより大きい画素ブロックであれば、本発明と同様の効果が得られることはいうまでもない。

次に、動き予測部１０６および操作部１０５について説明する。加算器４１０からの復号画像信号ＲＶは、動き補償予測を行うために、ブロック歪を除去するデブロッキングフィルタ部４１４でブロック歪の除去した復号画像が記憶部４１５に記憶されている。この記憶部４１５に記憶された復号画像信号ＲＶは、参照画像として動き補償予測部１０３および動き検出部１０４に供給される。

ここで、動き検出部１０４の構成と動作を図３を用いて説明する。図３は、動き検出部１０４の概略構成を示すブロック図である。図３において、３０１は、ＭＢ分割部４０２で１６×１６のマクロブロック単位に分割された符号化対象信号ＭＢＳが入力される入力端子である。入力端子３０１に入力された符号化対象信号ＭＢＳは、切替スイッチ３０２に供給される。３０３は、操作部１０５に接続され、切替スイッチ３０２の切替えを制御する切替信号入力端子である。なお、図６と同じものには同じ符号が付されている。

図１に示されるシステムにおいて、可変長符号化部４０６の出力が供給される、下流のシステムがＭＰＥＧ２符号化システムでない場合、操作者は、操作部１０５を操作して切替スイッチ３０２を端子ａ側に接続する。これによってＭＢ分割部４０２からの符号化対象信号ＭＢＳは、１６×１６画素ブロック分割部６０２、１６×８画素ブロック分割部６０３、８×１６画素ブロック分割部６０４、・・・４×４画素ブロック分割部６０８の７個の画素ブロック分割部でブロック分割され、動きベクトル探索部６０９に供給される。

入力端子６１１には、記憶部４１５に記憶されている参照画像が供給される。そして、動きベクトル探索部６０９では、参照画像と上述した７個の画素ブロック分割部で分割された分割ブロックについて、前述した場合と同様に一致するブロックあるいは最も近いブロックを探索し、そして、動き最適予測画像選択部６１０で最適予測画像となるブロックを選択し、出力端子６１２から出力する。この出力端子６１２の出力は、動き補償予測部１０３および選択部４１３に供給される。

一方、図１に示されるシステムにおいて、可変長符号化部４０６の出力が供給される、下流のシステムがＭＰＥＧ２符号化システムの場合、操作者は、操作部１０５を操作して切替スイッチ３０２を端子ｂ側に接続する。これによってＭＢ分割部４０２からの符号化対象信号ＭＢＳが１６×１６画素ブロック分割部６０２、１６×８画素ブロック分割部６０３、８×１６画素ブロック分割部６０４および８×８画素ブロック分割部６０５の４個の画素ブロック分割部でブロック分割され、動きベクトル探索部６０９に供給される。

動きベクトル探索部６０９および動き最適予測画像選択部６１０では、入力端子６１１に供給される記憶部４１５に記憶されている参照画像と上述した４個の画素ブロック分割部で分割された分割ブロックについて、前述した場合と同様に一致するブロックあるいは最も近いブロックを探索し、最適予測画像となるブロックを出力端子６１２から出力する。この出力端子６１２の出力は、動き補償予測部１０３および選択部４１３に供給される。

更に、図１に示されるシステムにおいて、可変長符号化部４０６の出力が供給される、下流のシステムが、例えば、１６×１６の画素ブロックの符号化システムである場合には、操作者は、操作部１０５を操作して切替スイッチ３０２を端子ｃ側に接続する。これによってＭＢ分割部４０２からの符号化対象信号ＭＢＳが１６×１６画素ブロック分割部６０２を介して動きベクトル探索部６０９に供給される。これによって前述と同様に一致するブロックあるいは最も近いブロックを探索し、最適予測画像となるブロックを出力端子６１２から出力する。この出力端子６１２の出力は、動き補償予測部１０３および選択部４１３に供給される。

動き最適予測画像選択部６１０の出力は、動き補償予測部１０３および選択部４１３に供給され、動き補償予測部１０３では、動き最適予測画像選択部６１０の検出結果に基づいて記憶部４１５に記憶されている参照画像から最も差分値の小さい分割ブロックに対応する最適予測画像を選択し、選択部４１３を介して減算部４０３および加算器４１０に供給する。なお、前述と同様に最適予測画像が存在しない場合（端子６１２からの出力がない場合）には、イントラ予測部１０２の出力が選択されることはいうまでもない。

以上のように本発明では、下流に接続される符号化方式の分割ブロックサイズに応じて上流に設けられた符号化方式の分割ブロックサイズを適宜切替えるように構成することによって、異なる符号化方式による多段接続においても再生映像が劣化しないという特徴を有する。

以上、本発明について詳細に説明したが、本発明は、ここに記載された画像情報の符号化装置及び符号化方法の実施例に限定されるものではなく、上記以外の画像情報の符号化装置及び符号化方法に広く適応することが出来ることは、いうまでも無い。

本発明の一実施例の概略構成のブロック図である。 本発明に使用するイントラ予測部の構成を示す図である。 本発明に使用する動き検出部の構成を示す図である。 従来のＨ．２６４符号化方式の概略構成のブロック図である。 従来のＨ．２６４符号化方式に使用するイントラ予測部の構成を示す図である。 従来のＨ．２６４符号化方式に使用する動き検出部の構成を示す図である。 直交変換部の動作を説明するための図である。 予測画像の作成を説明するための概念図である。 本発明の動作を説明するための図である。 本発明の原理を説明するための図である。 本発明の他の原理を説明するための図である。

符号の説明

１０１：ＭＰＥＧ２符号化システム、１０２、４１２：イントラ予測部、１０３、４１６：動き補償予測部、１０４、４１７：動く検出部、１０５：操作部、１０６：動き予測部、２０１、２０３、３０１、３０３、４０１、５０１、５０９、６０１、６１１：入力端子、２０２、３０２：切替スイッチ、：４０２：ＭＢ分割部、４０３：減算器、４０４：直交変換部、４０５：量子化部、４０６：可変長符号化部、４０７、５１０、６１２：出力端子、４０８：逆量子化部、４０９：逆直交変換部、４１０：加算器、４１１、４１５：記憶部、４１３：選択部、４１４：デブロッキングフイルタ部、５０２、６０２：１６×１６画素ブロック分割部、５０３、６０５：８×８画素ブロック分割部、５０４、６０８：４×４画素ブロック分割部、５０５、５０６、５０７：予測画像生成部、５０８：最適予測モードの選択部、６０３：１６×８画素ブロック分割部、６０４：８×１６画素ブロック分割部、６０６：８×４画素ブロック分割部、６０７：４×８画素ブロック分割部、６０９：動きベクトル探索部、６１０：動き最適予測画像選択部、９０１：探索範囲。

Claims (3)

1. 入力映像データをマクロブロックに分割するマクロブロック分割部と、上記マクロブロックに分割された入力映像データと予測画像との差分信号を直交変換する直交変換部と、上記直交変換された信号を符号化する符号化部と、上記直交変換された信号を逆直交変換する逆直交変換部と、上記逆直交変換部の出力と上記予測画像を加算し復号画像データを生成する加算部と、上記復号画像データから上記予測画像を生成するイントラ予測部と、を備える画像符号化装置において、
   上記イントラ予測部は、上記マクロブロックを複数種類のサイズの画素ブロックに分割可能な第１の画素ブロック分割部と、分割された上記画素ブロックについて、上記復号画像データを参照して複数の予測画像を生成する予測画像生成部と、上記予測画像生成部で生成された複数の予測画像と上記マクロブロックに分割された入力映像データとに基づいて１つの予測画像を選択して出力する最適予測モード選択部とを有し、
   上記直交変換部は、入力映像データとの差分信号を得るのに用いた予測画像のサイズに応じた処理単位で直交変換を行うものであり、
   上記画像符号化装置は更に、上記イントラ予測部に対し、上記分割可能なサイズ或いは上記選択される予測画像のサイズを、上記符号化された信号を供給されて再度画像符号化する下流の符号化システムが用いるマクロブロック分割のブロックサイズと等しいか、またはそれより大きいブロックサイズに制限させる操作部を備えたことを特徴とする画像符号化装置。
2. 請求項１記載の画像符号化装置において、更に、動き予測部と選択部とを有し、
   上記動き予測部は、動き補償予測部および動き検出部からなり、上記動き検出部は、上記マクロブロックに分割された入力映像データを複数種類のサイズの画素ブロックに分割可能な第２のする複数の画素ブロック分割部と、上記複数の画素ブロックに分割された画素ブロックと上記復号画像データとを比較し、所定の予測画像を探索するベクトル探索部と、上記ベクトル探索部の出力を選択する予測画像選択部と、を有し、上記動き補償予測部は、上記予測画像選択部の出力に対応する上記所定の予測画像を出力し、
   上記選択部は、上記動き予測部が出力する上記所定の予測画像と、上記イントラ予測部が出力する上記１つの予測画像のうち一方を選択するものであり、
   上記操作部は、上記動き予測部に対しても、上記分割可能なサイズ或いは上記選択される予測画像のサイズを、上記符号化システムが用いるマクロブロック分割のブロックサイズと等しいか、またはそれより大きいブロックサイズに制限させることを特徴とする画像符号化装置。
3. 入力映像データをマクロブロックに分割するマクロブロック分割ステップと、上記マクロブロックに分割された入力映像データと予測画像との差分信号を直交変換する直交変換ステップと、上記直交変換された信号を符号化する符号化ステップと、上記直交変換された信号を逆直交変換する逆直交変換ステップと、上記逆直交変換された信号と上記予測画像を加算し復号画像データを生成する加算ステップと、上記復号画像データから上記予測画像を生成するイントラ予測ステップと、を備える画像符号化方法において、
   上記イントラ予測ステップは、上記マクロブロックを複数種類のサイズの画素ブロックに分割可能な第１の画素ブロック分割ステップと、分割された上記画素ブロックについて、上記復号画像データを参照して複数の予測画像を生成する予測画像生成ステップと、上記予測画像生成ステップで生成された複数の予測画像と上記マクロブロックに分割された入力映像データとに基づいて１つの予測画像を選択して出力する最適予測モード選択ステップとを有し、
   上記直交変換ステップは、入力映像データとの差分信号を得るのに用いた予測画像のサイズに応じた処理単位で直交変換を行うものであり、
   上記画像符号化方法は更に、上記イントラ予測ステップに対し、上記分割可能なサイズ或いは上記選択される予測画像のサイズを、上記符号化された信号を供給されて再度画像符号化する下流の符号化システムが用いるマクロブロック分割のブロックサイズと等しいか、またはそれより大きいブロックサイズに制限させる操作ステップを備えたことを特徴とする画像符号化方法。

Images