JP5147546B2 - 映像符号化装置及び映像復号化装置 - Google Patents

Description

本発明は、映像符号化装置及び映像復号化装置に関する。

動画像の符号化方式の１つにＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）があり、デジタル・テレビ放送や映像記録メディアに採用されている。ＭＰＥＧ−４ ＡＶＣでは、コンテキスト適応型のエントロピー符号化方式を採用することで符号化効率を高めている。コンテキスト適応型のエントロピー符号化方式には、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Context-based Adaptive Variable Length Coding）や、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）がある。

こうしたコンテキスト適応型エントロピー符号化は、符号化対象マクロブロックの周辺マクロブロック情報に応じて符号化効率の良い符号化方式を適応的に選択する。そのため、復号化時には復号化対象マクロブロックの周辺マクロブロック情報が必要になる。何らかの要因により符号化データにエラーが発生した場合、同一スライス内ではそれ以降の復号化処理を行うことが極めて困難になる。

こうした観点から、ＭＰＥＧ−４ ＡＶＣでは、エラー耐性を強化する種々のエラー耐性ツールセットが用意されている。例えば、ＡＳＯ（ArbitrarySliceOrder）は、画面内のスライスを任意の順序で符号化・伝送を可能にする。ＦＭＯ（FlexibleMacroblockOrdering）は、スライス内のマクロブロック順序を選択可能にする。ＲＳ（RedundantSlice）は、同じマクロブロックを複数回、符号化可能にする。こうしたエラー耐性ツールを採用することで、エラー耐性を向上させることが可能となる（非特許文献１参照）。

また、特許文献１には、伝送路のエラー又は画像の動きに応じて、スライス形状を変化させる技術が記載されている。
特開２００５−１２４０４１号公報 ISO/IEC 14496-10"Part-10 Advanced Video Coding"

エラー耐性のためとはいえ、過度にスライス分割を行うことは、符号化効率という観点からは得策ではない。

上述のエラー耐性ツールは、符号化効率を大きく犠牲にすることがある。また、演算量が増大し、そしてエラー補間処理自体が複雑化し、更にはプロファイルやレベルによって対応が規定されているので、実際上、適用が困難な場合も多い。

他方、一般的には、直前の参照画像にある画素を使用することで効果的なエラー補間処理を行うことが可能である。しかし、直前の参照画像の画素値を利用する場合、映像シーンの切り替わり目でエラーが発生したときには、以降の画面間予測符号化された画像への影響が大きい。特に、画面内符号化ピクチャであるＩピクチャでエラーが発生した場合、ＧＯＰ（Group Of Pictures）内でシーンチェンジ前後の画素が混ざり合った違和感のある再生映像となってしまうことがある。

このような状況で、実装が容易で、且つ、シーンチェンジに影響されない効果的な映像符号化技術が望まれる。

本発明は、このような要望を満たす映像符号化装置及び対応する映像復号化装置を提示することを目的とする。

本発明に係る映像符号化装置は、画面内符号化と、参照画像を用いた画面間の予測符号化とを使って映像信号を、Ｉピクチャ、Ｐピクチャ及びＢピクチャが所定の順序で配列された符号化データに符号化する映像符号化装置であって、前記画面内符号化に係る画面内予測及び前記画面間の予測符号化に係る画面間予測を選択的に行って予測画像を生成する予測処理手段と、前記映像信号に係る符号化対象画像と前記予測処理手段により生成された前記予測画像との差分を示す残差信号を符号化する符号化手段と、前記映像信号に係る画像のシーンチェンジを検出するシーンチェンジ検出手段と、前記シーンチェンジ検出手段によるシーンチェンジの検出後において最初に現れる前記Ｉピクチャ又は前記Ｐピクチャから縮小画像を生成する縮小画像生成手段と、前記シーンチェンジ検出手段によりシーンチェンジが検出されたことに応じて、前記符号化手段から出力される符号化映像データに前記縮小画像を多重化して出力する多重化処理手段とを具備することを特徴とする。
本発明に係る映像復号化装置は、上記映像符号化装置によって符号化された符号化映像データを受信して復号化する映像復号化装置であって、前記符号化映像データの復号化時にエラーが発生した場合に、当該エラーが発生した画像を前記縮小画像によって補間することを特徴とする。

本発明によれば、シーンチェンジ検出後に最初に参照画像として符号化される画像の縮小画像を補間用に伝送するので、復号化時に容易な処理でシーンチェンジの影響を受けないエラー補間処理が可能になる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例であるＭＰＥＧ−４ ＡＶＣ方式の映像符号化装置の概略構成ブロック図を示す。本実施例では、映像信号を１９２０×１０８８画素の４：２：０コンポーネント信号に符号化するものとする。

本実施例の映像符号化装置は、符号化対象画面を１６×１６画素ブロックに分割したマクロブロック単位で映像信号を符号化する。１６×１６画素ブロック単位の画像データが、入力端子１０から予測方法決定装置１２、予測処理装置１４及びシーンチェンジ検出装置１６に入力する。

予測方法決定装置１２は、符号化対象画面内の各マクロブロックに対して、符号化効率が最適となる予測方法を決定する。具体的には、予測方法決定装置１２は、入力端子１０からの画像データと、先行して符号化及び復号化された画像データとから、入力端子１０からの画像データに適用すべき予測方式を決定する。メモリ１８には、先行して符号化及び復号化された画像データと、この画像データにデブロッキングフィルタ処理を適用した画像データが格納されている。

具体的には、符号化対象マクロブロックが画面内符号化されるべきＩスライスの場合、予測方法決定装置１２は、画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。符号化対象マクロブロックが片方向予測符号化されるべきＰスライス、又は、両方向予測符号化されるべきＢスライスの場合、予測方法決定装置１２は、画面内予測と画面間予測の内の符号化効率の高い方を選択する。画面内予測に対しては、画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。画面間予測に対しては、参照画像フレーム、マクロブロック分割パターン及び動きベクトル等の画面間予測符号化用パラメータを決定する。予測方法決定装置１２は、こうして決定された予測符号化用パラメータを予測処理装置１４に供給する。

予測処理装置１４は、予測方法決定装置１２からの予測符号化用パラメータに従い、メモリ１８に記憶される画像データから予測画像（又は予測画像データ）を生成し、入力端子１０からの符号化対象画像データと予測画像との差分となる予測残差信号を生成する。予測処理装置１４は、生成した予測残差信号を直交変換・量子化装置２０に供給し、生成した予測画像データを局所復号化装置２２に供給する。具体的には、予測処理装置１４は、画面内符号化では、入力端子１０からの画像データに含まれる符号化対象ブロックと、先行して符号化された周辺画素から生成される予測画像との差分を示す残差信号を出力する。また、参照画像を用いた画面間の予測符号化では、入力端子１０からの画像データに含まれる符号化対象ブロックと、参照画像との差分を示す残差信号を出力する。

直交変換・量子化装置２０は、指定された画素ブロック単位（例えば、８×８画素、又は４×４画素ブロック単位）で、予測残差信号に整数精度離散コサイン変換による直交変換処理を行う。１６×１６画素ブロック単位で画面内予測処理が行われた輝度信号と色差信号の、離散コサイン変換係数のＤＣ成分（直流成分）に対して、更に、離散アダマール変換が行われる。直交変換・量子化装置２０は、直交変換された変換係数を指定された量子化パラメータに応じた量子化ステップで量子化し、その結果をエントロピー符号化装置２４に出力する。

エントロピー符号化装置２４は、直交変換・量子化装置２０からの量子化された変換係数データにＣＡＶＬＣ又はＣＡＢＡＣによるエントロピー符号化する。エントロピー符号化装置２４は、エントロピー符号化処理で得られる符号化データを多重化処理装置２６に出力する。

直交変換・量子化装置２０で量子化された変換係数データは、中間符号データとして、局所復号化装置２２にも供給される。局所復号化装置２２は、まず、直交変換・量子化装置２０からのデータを逆量子化及び逆直交変換して、予測残差信号を復元する。局所復号化装置２２は、得られた予測残差信号に予測処理装置１４からの予測画像データを加算して、画像データを復元する。このようにして、予測処理装置１４及び直交変換・量子化装置２０により符号化された画像データが、ローカルで復号化される。

局所復号化装置２２は、こうして復号化した画像データをメモリ１８に格納すると共に、デブロッキングフィルタ処理装置２８に供給する。デブロッキングフィルタ処理装置２８は、局所復号化装置２２からの画像データにデブロッキングフィルタ処理を施し、メモリ１８に書き込む。メモリ１８に格納される局所復号化装置２２の出力画像データは、以降の画面内予測処理に利用される。また、メモリ１８に格納されるデブロッキングフィルタ処理装置２８の出力画像データは、以降の画面間予測処理に利用される。

シーンチェンジ検出装置１６は、入力端子１０からの画像データから映像シーンの替わり目（シーンチェンジ）を検出する。そして、シーンチェンジ検出装置１６は、シーンチェンジ後の最初の予想符号化の参照画像（Ｉピクチャ又はＰピクチャ）となる映像タイミングを縮小画像生成装置３０に指示する。シーンチェンジ検出装置１６におけるシーンチェンジ検出方法は、特定の方法に限定されない。例えば、予測方法決定装置１２により算出される動きベクトルを用いてシーンチェンジを検出しても良いし、画面内の画素値のヒストグラムを用いてシーンチェンジを検出しても良い。

例えば、図２に示すような映像で、フレーム番号３でシーンチェンジが検出されたとする。図２に示すピクチャタイプの順序例では、フレーム番号３のフレームより後で最初にＩピクチャ又はＰピクチャとなるのは、フレーム番号４のフレームである。従って、シーンチェンジ検出装置１６は、フレーム番号４のフレームに対して縮小画像の生成を縮小画像生成装置３０に指示する。

図２に示す符号化ピクチャタイプの順序例では、仮にフレーム番号２のフレームでシーンチェンジが検出されたとしても、シーンチェンジ検出後で最初にＩピクチャ又はＰピクチャとなるのは、フレーム番号４のフレームである。従って、この場合も、シーンチェンジ検出装置１６は、フレーム番号４のフレームに対して縮小画像の生成を縮小画像生成装置３０に指示する。

縮小画像生成装置３０は、シーンチェンジ検出装置１６から指示されたタイミングに従って縮小画像を生成し、多重化処理装置２６に出力する。即ち、縮小画像生成装置３０は、シーンチェンジ検出後に最初にＩピクチャ又はＰピクチャとなるフレームの縮小画像を生成する。

縮小画像生成装置３０が生成する縮小画像は、復号化における参照画像に対するエラー補間処理を目的として生成される画像であり、原画像（又は主画像）を水平方向、垂直方向又はその両方で縮小した画像である。例えば、図３に示すように、原画像に対して、輝度信号を水平及び垂直方向のそれぞれに１６分の１に縮小し、色差信号を水平及び垂直方向のそれぞれに８分の１に縮小した画像である。縮小処理自体は、サブサンプリングでも、平均化フィルタ処理でもよい。また、原画像の画面内予測処理（画面内予測モード）を１６×１６画素単位の平均値（ＤＣ）に統一することで、予測処理装置１４で生成される予測画像の画素値を使用することが可能である。この場合、縮小画像生成装置３０は、予測処理装置１４から予測画像のマクロブロック毎に１画素のデータを受け取り、縮小画像として出力すれば良い。これにより、縮小画像の輝度信号及び色差信号の１画素が原画像の１マクロブロックに対応する縮小画像が生成される。

多重化処理装置２６には、エントロピー符号化装置２４からの符号化映像データ、及び縮小画像生成装置３０からの縮小画像データ以外に、図示しないシステム制御装置からのシステムデータが入力する。システムデータは、復号化装置の動作を制御するデータ、例えば、量子化スケール値及び動き補償の動きベクトル等からなる。多重化処理装置２６は、これらのデータを多重化し、符号化データとして伝送路又は記録媒体等に出力する。

ＭＰＥＧ−４ ＡＶＣでは、様々なネットワークでの利用が考慮されている。即ち、映像符号化処理を扱うビデオ符号化層（ＶＣＬ：Video Coding Layer）と伝送・蓄積システムとの間にネットワーク抽象化層（ＮＡＬ：Network Abstraction Layer）が規定されている。図４に示すように、ＮＡＬは、ＮＡＬヘッダとＲＢＳＰ（Row Byte Sequence Payload）から構成されるＮＡＬユニットと呼ばれる単位でパケット化される。ＮＡＬヘッダによりＮＡＬユニットの種類と、参照画像かどうかを識別できるようになっている。ＮＡＬヘッダに続くＲＢＳＰに実際の符号化データが格納される。

ＮＡＬユニットの種類又はタイプは、図５に示すように定義されている。シーケンス・パラメータ・セット（ＳＰＳ：Sequence Parameter Set）は、映像符号化データのシーケンスに関する情報である。ピクチャ・パラメータ・セットＰＰＳ（Picture Parameter Set）は、映像符号化データのピクチャに関する情報である。サプリメンタル・エンハンスメント情報（ＳＥＩ：Supplemental Enhancement Information）は、映像符号化データの復号化には必須ではない付加情報である。主として、映像符号化データ（スライス）、ＳＰＳ、ＰＰＳ又はＳＥＩ等のＮＡＬユニットが使用される。

これらのＮＡＬユニットをピクチャ単位にまとめた単位をアクセス（Access）ユニットと呼ぶ。図６に示すように、アクセスユニットの先頭には、アクセス・ユニット・デリミタ（Access unit delimiter）と呼ばれるＮＡＬユニットが位置する。アクセス・ユニット・デリミタは、アクセスユニット内のピクチャタイプを識別する情報を含む。このＮＡＬユニットにＳＰＳ、ＰＰＳ及びスライスデータなどの、ピクチャに必要なＮＡＬユニット群が続く。

ＳＥＩには、ユーザ定義のシンタクスを使用可能なｕｓｅｒ ｄａｔａ ＳＥＩ（ユーザデータＳＥＩ）が用意されている。ユーザデータＳＥＩには、ｕｓｅｒ ｄａｔａ ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩと、ｕｓｅｒ ｄａｔａ ｒｅｇｉｓｔｅｒｅｄ ｂｙ ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｔ．３５ ＳＥＩが定義されている。ここでは、ｕｓｅｒ ｄａｔａ ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩ（ユーザデータ未登録ＳＥＩ）を利用して、縮小画像を多重化する。

図７は、ユーザデータ未登録ＳＥＩのシンタクスを示す。図７におけるシンタクス要素の内、ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ領域に縮小画像を格納できる。ユーザデータ未登録ＳＥＩに縮小画像が格納されていることを、ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８領域によりＵＵＩＤで識別できるようにしておく。ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅ領域に縮小画像を格納するためのエラー補間用データを「ｅｓｌ＿ｐｉｃｔｕｒｅ」と呼び、そのシンタクスの定義を図８に示す。図８で、ｎｕｍ＿ｓｌｉｃｅは、格納されている縮小画像のスライス数を示す。ｔｏｐ＿ｘ、ｔｏｐ＿ｙは、主画像のスライスに対応した縮小画像の先頭画素の座標を示し、主画像に対するスライス先頭のマクロブロック座標に対応する。ｎｕｍ＿ｐｉｘは縮小画像の画素数を示し、同様に主画像に対するマクロブロック数に対応する。ｐｉｘ＿ｙは、縮小画像の輝度信号Ｙの画素値であり、ｐｉｘ＿ｃｂ，ｐｉｘ＿ｃｒはそれぞれ縮小画像の色差信号Ｃｂ，Ｃｒの画素値である。このシンタクスからも分かるように、主画像の１画面を複数スライスに分割して符号化した場合においても、任意スライスに対応する縮小画像を格納することが可能となっている。こうすることで、エラー補間用縮小画像のデータ量を抑えたい場合には、重要スライスとする縮小画像のみを格納することも可能である。

例えば、図９に示すように１画面を垂直方向に均等に４分割したスライス構造を持つ画像を想定する。この画像の中心部に位置するスライス１及びスライス２の縮小画像を格納する場合を考えると、ｎｕｍ＿ｓｌｉｃｅ＝２となる。スライス１に対応する縮小画像の先頭画素の座標位置は（ｔｏｐ＿ｘ［０］，ｔｏｐ＿ｙ［０］）＝（０、１７）、画素数は１２０×１７＝２０４０となる。ｎｕｍ＿ｐｉｘ［０］＝２０４０が格納され、続いてスライス１に対応する縮小画像の画素データが輝度信号Ｙ、色差信号Ｃｂ，Ｃｒの順で格納される。次に、スライス２に対応する縮小画像の先頭画素の座標位置は（ｔｏｐ＿ｘ［１］，ｔｏｐ＿ｙ［１］）＝（０，３４）、画素数は同様に２０４０となる。ｎｕｍ＿ｐｉｘ［１］＝２０４０が格納され、続いてスライス２に対応する縮小画像の画素データが輝度信号Ｙ，色差信号Ｃｂ，Ｃｒの順で格納される。尚、図９では、数値は１６進数表記で示されている。

以上のようにして、ユーザデータ未登録ＳＥＩに任意スライスの縮小画像を格納する事が可能となり、これがサクセスユニット内に多重化される。

こうして縮小画像が多重化された符号化データを受信する映像復号装置側では、ｅｓｌ＿ｐｉｃｔｕｒｅを利用したエラー補間処理が可能となる。映像符号化装置と対応する映像復号化装置がネットワークで接続される場合、特に無線伝送では、映像復号化装置側での受信環境により符号化ストリーム内にエラーが発生する場合も少なくない。例えば、図１０に示すように、スライス１の３マクロブロック目の符号化データをパースするときに、マクロブロック内のシンタクス要素が規格外の値を示すと、このマクロブロック以降の復号化はほぼ不可能となる。こうした場合、受信したＳＥＩの内、ユーザデータ未登録ＳＥＩと、ＵＵＩＤがｅｓｌ＿ｐｉｃｔｕｒｅを示すＳＥＩとから、ｅｓｌ＿ｐｉｃｔｕｒｅシンタクスに従ってスライス１に対応する縮小画像を抽出する。そして、輝度信号Ｙは、水平・垂直方向共に１６倍に拡大し、色差信号Ｃｂ，Ｃｒは、水平・垂直方向共に８倍に拡大処理する。これにより、復号化できない４マクロブロック目以降のマクロブロックデータを補間することが可能となる。

図１１及び図１２を参照して、こうしたエラーがシーンチェンジ境界のＩピクチャで発生した場合のエラー補間処理による再生映像の状態を説明する。図１１は、エラーの発生したＩピクチャを１つ前のＰピクチャで補間する例を示す。図１２は、本実施例により、エラーの発生したＩピクチャを縮小画像で補間する例を示す。図１１に示すように、直前のＰピクチャの画素を利用してＩピクチャを補間する場合、シーンチェンジ前の画像が、Ｉピクチャと参照関係にあるフレーム内で影響し、再生画像の乱れが発生する可能性がある。しかし、図１２に示すように、本実施例により縮小画像を利用してＩピクチャを補間することで、比較的違和感のない再生画像が得られる。

以上の説明から容易に理解できるように、本実施例では、シーンチェンジ検出後の、最初の参照画像符号化タイミングで縮小画像を生成し、ＳＥＩメッセージとして主画像の符号化データに多重化する。これにより、映像復号化装置側で参照画像にエラーが発生した場合であっても、容易な方法で違和感の少ないエラー補間処理を行うことが可能となる。

本発明の一実施例の概略構成ブロック図である。 本実施例の縮小画像生成タイミング例を示す模式図である。 主画像と縮小画像の関係を示す模式図である。 ＮＡＬユニットの構造を示す図である。 ＮＡＬユニットタイプを示す図である。 アクセスユニットの構造を示す図である。 ユーザデータ未登録ＳＥＩのシンタクスを示す図である。 ｅｓｌ＿ｐｉｃｔｕｒｅのシンタクスを示す図である。 ｅｓｌ＿ｐｉｃｔｕｒｅシンタクスの適用例を示す図である。 ｅｓｌ＿ｐｉｃｔｕｒｅを用いたエラー補間処理例を示す図である。 エラーの発生したＩピクチャを１つ前のＰピクチャで補間する例を示す模式図である。 本実施例により、エラーの発生したＩピクチャを縮小画像で補間する例を示す模式図である。

符号の説明

１０：映像入力端子
１２：予測方法決定装置
１４：予測処理装置
１６：シーンチェンジ検出装置
１８：メモリ
２０：直交変換・量子化装置
２２：局所復号化装置
２４：エントロピー符号化装置
２６：多重化処理装置
２８：デブロッキングフィルタ処理装置
３０：縮小画像生成装置

Claims (5)

1. 画面内符号化と、参照画像を用いた画面間の予測符号化とを使って映像信号を、Ｉピクチャ、Ｐピクチャ及びＢピクチャが所定の順序で配列された符号化データに符号化する映像符号化装置であって、
   前記画面内符号化に係る画面内予測及び前記画面間の予測符号化に係る画面間予測を選択的に行って予測画像を生成する予測処理手段と、
   前記映像信号に係る符号化対象画像と前記予測処理手段により生成された前記予測画像との差分を示す残差信号を符号化する符号化手段と、
   前記映像信号に係る画像のシーンチェンジを検出するシーンチェンジ検出手段と、
   前記シーンチェンジ検出手段によるシーンチェンジの検出後において最初に現れる前記Ｉピクチャ又は前記Ｐピクチャから縮小画像を生成する縮小画像生成手段と、
   前記シーンチェンジ検出手段によりシーンチェンジが検出されたことに応じて、前記符号化手段から出力される符号化映像データに前記縮小画像を多重化して出力する多重化処理手段
   とを具備することを特徴とする映像符号化装置。
2. 前記画面内符号化と前記画面間の予測符号化は、画面を構成する複数のスライスの各スライスを単位として決定され、
   前記縮小画像生成手段は、前記スライスの単位で前記縮小画像を生成する
   ことを特徴とする請求項１に記載の映像符号化装置。
3. 前記多重化処理手段は、ＭＰＥＧ−４ ＡＶＣ方式におけるＳＥＩ ( Supplemental Enhancement Information ) として前記縮小画像を多重化することを特徴とする請求項１又は２に記載の映像符号化装置。
4. 前記縮小画像生成手段は、前記予測処理手段によって前記画面内予測が行われる際に、複数画素の平均値から予測画像を生成する画面内予測モードの実行によって生成された予測画像から前記縮小画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の映像符号化装置。
5. 請求項１乃至４の何れか１項に記載の映像符号化装置によって符号化された符号化映像データを受信して復号化する映像復号化装置であって、
   前記符号化映像データの復号化時にエラーが発生した場合に、当該エラーが発生した画像を前記縮小画像によって補間することを特徴とする映像復号化装置。

Images