JP7100194B2 - 画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本開示は、画像符号化装置、画像復号装置、及びプログラムに関する。

画像符号化技術において、フレーム内の空間的な相関を利用したイントラ予測が広く用いられている。イントラ予測では、符号化対象ブロックに隣接する復号済みブロックである参照ブロック内の画素（以下、「参照画素」と呼ぶ）を参照して当該ブロック内の各画素を予測して予測ブロックを生成する。

画像符号化装置は、符号化対象ブロックに対する予測ブロックの誤差を表す予測残差に対して直交変換処理を行うことにより変換係数を生成し、変換係数を量子化及びエントロピー符号化して符号化データを出力する。

近年、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及びＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）は、次世代映像符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準化作業を進めている（例えば、非特許文献１参照）。

ＶＶＣの規格案では、直交変換処理において、符号化対象ブロックごとに、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）２、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）７、ＤＣＴ８の合計３つの種別の直交変換を選択的に適用することで、予測残差の特性により適した変換を行うことを可能としている。

また、ＶＶＣの規格案では、イントラ予測により生成される予測ブロックを補正する手法として、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ）と呼ばれる手法が採用されている。

ＰＤＰＣでは、予測ブロック内の予測画素と参照ブロック内の参照画素とに対して、予測画素の位置に依存した重み付け合成処理を行うようにして予測画素を補正する。これにより、予測ブロック内において参照ブロックの近くの領域の予測精度が向上し、予測残差のうち参照ブロックの近くの領域のエネルギーを低減することができる。

ＪＶＥＴ－Ｌ１００１ "Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ３）"

第１の特徴に係る画像符号化装置は、画像を分割して得た符号化対象ブロックを符号化する装置である。前記画像符号化装置は、前記符号化対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、前記符号化対象ブロックに対する前記予測ブロックの誤差を表す予測残差に対する変換処理を制御する変換制御部と、前記変換制御部の制御に基づいて、前記予測残差に対する変換処理を行う変換部と、前記変換制御部による変換処理の制御情報を制御フラグとしてエントロピー符号化するエントロピー符号化部とを備える。前記イントラ予測部は、前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、前記符号化対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部とを有する。

第２の特徴に係る画像復号装置は、画像を分割及び符号化して得た復号対象ブロックを復号する装置である。前記画像復号装置は、符号化側で変換処理の制御情報としてエントロピー符号化された制御フラグを復号するエントロピー復号部と、前記制御フラグに基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を制御する逆変換制御部と、前記逆変換制御部の制御に基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を行う逆変換部と、前記復号対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部とを備える。前記イントラ予測部は、前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、前記復号対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部とを有する。

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させることを要旨とする。

実施形態に係る画像符号化装置の構成を示す図である。 ＤＣＴ２（ＤＣＴ－ＩＩ）、ＤＣＴ８（ＤＣＴ－ＶＩＩＩ）、ＤＳＴ７（ＤＳＴ－ＶＩＩ）の合計３つの変換種別の基底（Ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）を示す図である。 実施形態に係る変換決定部が出力する制御フラグを示す図である。 実施形態に係るイントラ予測部におけるイントラ予測モードを示す図である。 実施形態に係る重み付け合成処理（ＰＤＰＣ）を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係るイントラ予測部の動作フロー例を示す図である。

ＤＳＴ７は、インパルス応答が単調増加となる基底を含む変換である。このため、参照ブロックの近くの領域のエネルギーが小さく、参照ブロックの遠くの領域のエネルギーが大きいような予測残差に対してＤＳＴ７を適用して直交変換処理を行う場合、変換係数を低域に集中させる効果が大きい。

一方、ＤＣＴ８は、インパルス応答が単調減少となる基底を含む変換である。このため、参照ブロックの近くの領域のエネルギーが大きく、参照ブロックの遠くの領域のエネルギーが小さいような予測残差に対してＤＣＴ８を適用して直交変換処理を行う場合、変換係数を低域に集中させる効果が大きい。

しかしながら、直交変換処理においてＤＣＴ８を適用する場合、ＰＤＰＣにより参照ブロックの近くの領域のエネルギーを小さくするように補正すると、ＤＣＴ８の効果が損なわれ、符号化効率が低下しうるという問題がある。

そこで、本開示は、符号化効率を改善することを目的とする。

図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜画像符号化装置の構成＞
まず、本実施形態に係る画像符号化装置について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０と、変換決定部１８０とを有する。本実施形態において、変換決定部１８０は、変換制御部に相当する。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（矩形）であってもよい。

画像ブロックは、画像符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ画像復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれることがある。

減算部１１０は、ブロック分割部１００から入力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、符号化対象ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、符号化対象ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。

変換部１２１は、減算部１１０から入力される予測残差に対して直交変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ：Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

直交変換処理は、水平方向に直交変換を行う水平変換処理と、垂直方向に直交変換を行う垂直変換処理とを含む。

変換決定部１８０は、水平変換処理及び垂直変換処理のそれぞれに適用する変換の種別を決定し、決定した変換種別を示す制御フラグを変換部１２１、逆変換部１４２、及びエントロピー符号化部１３０に出力する。

変換部１２１は、変換決定部１８０から符号化対象ブロックごとに入力される制御フラグに応じて水平変換処理及び垂直変換処理を行う。すなわち、変換部１２１は、複数種別の直交変換を切り替えて適用する。

本実施形態において、変換決定部１８０は、水平変換処理及び垂直変換処理のそれぞれについて、ＤＣＴ２、ＤＣＴ８、及びＤＳＴ７の合計３つの種別の直交変換の中から１つの変換種別を決定する。

図２は、ＤＣＴ２（ＤＣＴ－ＩＩ）、ＤＣＴ８（ＤＣＴ－ＶＩＩＩ）、ＤＳＴ７（ＤＳＴ－ＶＩＩ）の合計３つの変換種別の基底（Ｂａｓｉｓ ｆｕｎｃｔｉｏｎ）を示す図である。図２において、Ｎは符号化対象ブロックのサイズを表す。

ＤＣＴ８は、インパルス応答が単調減少となる基底を含む第１種別の変換に相当する。具体的には、ＤＣＴ８は、最も低域のフィルタのインパルス応答Ｔ₀（ｊ）が単調減少となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＣＴ８は、変換基底波形の一端が大きい値を持ち開放となる。このような基底の特徴を持つ変換は、「一方の端点が開いた変換」と呼ばれることがある。

ＤＳＴ７は、インパルス応答が単調増加となる基底を含む第２種別の直交変換に相当する。具体的には、ＤＳＴ７は、最も低域のフィルタのインパルス応答Ｔ₀（ｊ）が単調増加となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＳＴ７は、変換基底波形の一端が閉じている。このような基底の特徴を持つ変換は、「一方の端点が閉じた変換」と呼ばれることがある。

本実施形態では、予測残差に適用する複数種別の直交変換としてＤＣＴ２、ＤＣＴ８、ＤＳＴ７の３つを例に説明するが、複数の変換処理を選択的に切り替えて適用するものであればよい。当該複数の変換処理は、上述したような変換処理（例えば、単調増加や単調減少の特徴を持つ基底を含む変換）を含む。そのため、予測残差に適用する複数種別の直交変換は、これら３つの変換種別に限定されない。例えば、ＤＣＴ１やＤＣＴ５などの他のＤＣＴ・ＤＳＴを用いてもよいし、ＨＥＶＣやＶＶＣ規格案で採用されている変換処理を行わない変換スキップを用いてもよいし、離散ウェーブレット変換などの変換を用いてもよい。

図３は、本実施形態に係る変換決定部１８０が出力する制御フラグを示す図である。

図３に示すように、変換決定部１８０は、ＭＴＳ＿ＣＵ＿ｆｌａｇ、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ、及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇの合計３つの制御フラグを出力する。

変換決定部１８０は、水平変換処理及び垂直変換処理の両方にＤＣＴ２を適用する場合、ＭＴＳ＿ＣＵ＿ｆｌａｇ＝0とする。

一方、変換決定部１８０は、水平変換処理及び垂直変換処理の少なくともいずれか一方にＤＣＴ８もしくはＤＳＴ７を適用する場合がある。この場合、変換決定部１８０は、水平変換処理及び垂直変換処理に適用する変換種別の組み合わせに応じてＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇを設定する。

これらの３つの制御フラグは、後述のエントロピー符号化部１３０によりエントロピー符号化処理を施されてストリーム出力される。但し、ＭＴＳ＿ＣＵ＿ｆｌａｇ＝０である場合、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇはストリーム出力しなくてもよい。

図１に戻り、量子化部１２２は、変換部１２１から入力される変換係数を量子化パラメータ及び量子化行列を用いて量子化し、量子化した変換係数である量子化変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２から入力される量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。ここで、エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

なお、エントロピー符号化部１３０は、予測部１７０から予測に関するシンタックス等の情報が入力され、入力される情報のエントロピー符号化も行う。また、エントロピー符号化部１３０は、上述した制御フラグのエントロピー符号化も行う。

逆量子化・逆変換部１４０は、符号化対象ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力される変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数である復元変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から入力される復元変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から入力される復元予測残差を、予測部１７０から入力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。このような復号画像は、再構成画像（再構成ブロック）と呼ばれることがある。

メモリ１６０は、合成部１５０から入力される復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

予測部１７０は、符号化対象ブロック単位で予測を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。

インター予測部１７１は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出する。さらに、インター予測部１７１は、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。

インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。

イントラ予測部１７２は、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号済みの参照画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。また、イントラ予測部１７２は、選択した予測モードに関するシンタックスをエントロピー符号化部１３０に出力する。

イントラ予測部１７２は、複数の予測モードの中から、符号化対象ブロックに適用する最適な予測モードを選択し、選択した予測モードを用いて符号化対象ブロックを予測する。

図４は、本実施形態に係るイントラ予測部１７２におけるイントラ予測モードを示す図である。図４に示すように、０から６６までの６７通りの予測モードがある。予測モードのモード「０」はＰｌａｎａｒ予測であり、予測モードのモード「１」はＤＣ予測であり、予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象の画素の予測に用いる参照画素の位置を示す。モード「２」～「３３」は、イントラ予測の対象ブロックの左側の参照画素を主として参照する予測モードである。一方で、モード「３５」～「６６」は、イントラ予測の対象ブロックの上側の参照画素を主として参照する予測モードである。

切替部１７３は、インター予測部１７１から入力されるインター予測ブロックとイントラ予測部１７２から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。

本実施形態において、イントラ予測部１７２は、予測画素生成部１７２ａと、補正部１７２ｂと、重み制御部１７２ｃとを有する。重み制御部１７２ｃは、合成処理制御部に相当する。

予測画素生成部１７２ａは、上述したイントラ予測モードのいずれかを用いて、符号化対象ブロック内の各画素値をイントラ予測により予測し、予測画素からなる予測ブロックを生成し、生成した予測ブロックを補正部１７２ｂに出力する。

補正部１７２ｂは、予測画素生成部１７２ａから入力される予測ブロック内の予測画素と符号化対象ブロックに隣接する参照画素とに対して、予測画素の位置に依存した重み付け合成処理を行うことで予測画素を補正する。補正部１７２ｂは、補正後の予測画素からなる補正後の予測ブロック（イントラ予測ブロック）を切替部１７３に出力する。

本実施形態において、補正部１７２ｂは、ＰＤＰＣにより予測ブロック内の予測画素を補正する。ＰＤＰＣは、重み付け合成処理の一例である。

図５は、本実施形態に係るＰＤＰＣを示す図である。図５に示すように、ＰＤＰＣは、生成した予測ブロック内の予測画素ｐｒｅｄ（ｘ，ｙ）に対して、上側の参照画素（Ｒ_x,-1）、左側の参照画素（Ｒ_-1,y）、左上の参照画素（Ｒ_-1,-1）を、予測画素の座標（ｘ，ｙ）に応じて特定の割合で重みづけにより補正する。そして、ＰＤＰＣは、補正した予測画素ｐｒｅｄ'（ｘ，ｙ）を得る。

本実施形態において、上側の参照画素（Ｒ_x,-1）は、符号化対象ブロックに垂直方向に隣接する垂直参照画素に相当する。左側の参照画素（Ｒ_-1,y）は、符号化対象ブロックに水平方向に隣接する水平参照画素に相当する。

なお、一般的なＰＤＰＣでは、参照画素から近い予測画素には重みを大きくし、遠い予測画素には重みを小さくする又は参照画素の重みを０（すなわち予測画素のみ）にする。

補正部１７２ｂは、例えば下記の式（１）により予測画素ｐｒｅｄ（ｘ，ｙ）を補正する。

pred'(x,y) = (wL・R_-1,y+wT・R_x,-1-wTL・R_-1,-1+wP・pred(x,y)+32) >> 6
・・・（１）

但し、ｘ＝０，…，Ｍ－１であり、ｙ＝０，…，Ｎ－１であり、Ｍはブロック幅（ｗｉｄｔｈ）、Ｎはブロック高さ（ｈｅｉｇｈｔ）である。

また、ｗＬは左側の参照画素に対する重みであり、ｗＴは上側の参照画素に対する重みであり、ｗＴＬは左上の参照画素に対する重みであり、ｗＰは補正前の予測画素に対する重みである。

重み制御部１７２ｃは、直交変換処理に適用する変換の種別に基づいて、補正部１７２ｂにおける重み付け合成処理（本実施形態では、ＰＤＰＣ）を制御する。

例えば、重み制御部１７２ｃは、水平変換処理に適用する変換の種別に基づいて、左側の参照画素（Ｒ_-1,y）に対する重みｗＬを制御する。また、重み制御部１７２ｃは、垂直変換処理に適用する変換の種別に基づいて、上側の参照画素（Ｒ_x,-1）に対する重みｗＴを制御する。

具体的には、重み制御部１７２ｃは、水平変換処理に適用する変換の種別が、インパルス応答Ｔ₀（ｊ）が単調減少となる基底を含む第１種別（本実施形態では、ＤＣＴ８）である場合（但し、ｊ＝０，…，Ｎ－１）が想定される。この場合、重み制御部１７２ｃは、左側の参照画素（Ｒ_-1,y）に対する重みｗＬを小さくする。また、重み制御部１７２ｃは、垂直変換処理に適用する変換の種別が第１種別である場合、上側の参照画素（Ｒ_x,-1）に対する重みｗＴを小さくする。なお、「重みを小さくする」とは、重みをゼロにすることであってもよい。すなわち、制御フラグに基づいて重み付け合成処理を制御することは、重み付け合成処理を少なくとも部分的に実行しないことを含む。

一方、重み制御部１７２ｃは、水平変換処理に適用する変換の種別が、インパルス応答Ｔ₀（ｊ）が単調増加となる基底を含む第２種別（本実施形態では、ＤＳＴ７）である場合（但し、ｊ＝０，…，Ｎ－１）、左側の参照画素（Ｒ_-1,y）に対する重みｗＬを大きくする。また、重み制御部１７２ｃは、垂直変換処理に適用する変換の種別が第２種別である場合、上側の参照画素（Ｒ_x,-1）に対する重みｗＴを大きくする。

ここで、重み制御部１７２ｃの動作の具体例について説明する。重み制御部１７２ｃは、上述した重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを、変換決定部１８０により決定される変換種別（制御フラグ）と、予測ブロックの左上の画素位置を基準とした予測画素の相対的な位置（ｘ，ｙ）とに応じて決定する。

第１に、重み制御部１７２ｃは、変換決定部１８０により決定される変換種別（制御フラグ）に応じて、下記の式（２）によりｋ（ｘ）を決定する。

・・・（２）

但し、ａは任意の正の整数であり、システムにより予め決定した固定値であってもよいし、エントロピー符号化部１３０がストリーム出力する可変値であってもよい。

第２に、重み制御部１７２ｃは、式（２）により決定したｋ（ｘ）に応じて、下記の式（３）により重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを決定する。

・・・（３）

但し、ｗｉｄｔｈ及びｈｅｉｇｈｔは符号化対象ブロックの幅及び高さをそれぞれ表し、ｘ及びｙは符号化対象ブロックの左上座標からの相対的な画素位置を表す。

式（３）に示すように、水平方向にＤＳＴ７が適用される場合、ｗＬの値が大きくなり、水平方向に隣接する参照画素による補正の影響を強める。このため、水平方向のブロック境界付近の予測残差のエネルギーが小さくなり、ＤＳＴ７を適用することによるエントロピー低減の効果が大きくなる。

同様に、垂直方向にＤＳＴ７が適用される場合、ｗＴの値が大きくなり、垂直方向に隣接する参照画素による補正の影響を強める。このため、垂直方向のブロック境界付近の予測残差のエネルギーが小さくなり、ＤＳＴ７を適用することによるエントロピー低減の効果が大きくなる。

一方、水平方向にＤＣＴ８が適用される場合、ｗＬの値が小さくなり、水平方向に隣接する参照画素による補正の影響を弱める。このため、ＰＤＰＣをＤＣＴ８と併用した際のエントロピー増大を抑制できる。

同様に、垂直方向にＤＣＴ８が適用される場合、ｗＴの値が小さくなり、垂直方向に隣接する参照画素による補正の影響を弱める。このため、ＰＤＰＣをＤＣＴ８と併用した際のエントロピー増大を抑制できる。

＜画像復号装置の構成＞
次に、本実施形態に係る画像復号装置について説明する。図６は、本実施形態に係る画像復号装置２の構成を示す図である。

図６に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。

エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関するシンタックスを取得し、取得したシンタックスを予測部２４０に出力する。

さらに、エントロピー復号部２００は、上述した制御フラグを取得し、取得した制御フラグを逆変換部２１２及び重み制御部２４２ｃに出力する。すなわち、エントロピー復号部２００は、符号化側で変換処理の制御情報としてエントロピー符号化された制御フラグを復号する。

逆量子化・逆変換部２１０は、復号対象ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力される量子化変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数である復元変換係数を逆変換部２１２に出力する。

逆変換部２１２は、エントロピー復号部２００から入力される制御フラグに基づいて、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。具体的には、逆変換部２１２は、水平方向の逆直交変換処理である水平変換処理と、垂直方向の逆直交変換処理である垂直変換処理とを行う。逆変換部２１２は、制御フラグに基づいて、復号対象ブロックに対応する変換係数に対する逆変換処理を制御する逆変換制御部としても機能する。

逆変換部２１２は、逆量子化部２１１から入力される復元変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から入力される復元予測残差と、予測部２４０から入力される予測ブロックとを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像（再構成ブロック）をメモリ２３０に出力する。

メモリ２３０は、合成部２２０から入力される復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

予測部２４０は、復号対象ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。

インター予測部２４１は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４１は、エントロピー復号部２００から入力されるシンタックス及び動きベクトル等に従ってインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。

イントラ予測部２４２は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力されるシンタックスに基づいて、復号対象ブロックをイントラ予測により予測する。これにより、イントラ予測部２４２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。

切替部２４３は、インター予測部２４１から入力されるインター予測ブロックとイントラ予測部２４２から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。

本実施形態において、イントラ予測部２４２は、予測画素生成部２４２ａと、補正部２４２ｂと、重み制御部２４２ｃとを有する。予測画素生成部２４２ａ、補正部２４２ｂ、及び重み制御部２４２ｃは、画像符号化装置１の予測画素生成部１７２ａ、補正部１７２ｂ、及び重み制御部１７２ｃと同様に動作する。

具体的には、予測画素生成部２４２ａは、エントロピー復号部２００から入力されるシンタックスが示すイントラ予測モードにより、復号対象ブロック内の各画素値をイントラ予測により予測する。そして、予測画素生成部２４２ａは、予測画素からなる予測ブロックを生成し、生成した予測ブロックを補正部２４２ｂに出力する。

補正部２４２ｂは、予測画素生成部２４２ａから入力される予測ブロック内の予測画素と復号対象ブロックに隣接する参照画素とに対して、予測画素の位置に依存した重み付け合成処理を行うことで予測画素を補正する。補正部２４２ｂは、補正後の予測画素からなる補正後の予測ブロック（イントラ予測ブロック）を切替部１７３に出力する。本実施形態において、補正部２４２ｂは、上述した式（１）に示すＰＤＰＣにより予測ブロック内の予測画素を補正する。

重み制御部２４２ｃは、直交変換処理に適用する変換の種別に基づいて、補正部２４２ｂにおける重み付け合成処理（本実施形態では、ＰＤＰＣ）を制御する。

例えば、重み制御部２４２ｃは、水平変換処理に適用する変換の種別に基づいて、左側の参照画素（Ｒ_-1,y）に対する重みｗＬを制御する。また、重み制御部２４２ｃは、垂直変換処理に適用する変換の種別に基づいて、上側の参照画素（Ｒ_x,-1）に対する重みｗＴを制御する。重み制御部２４２ｃの具体的な動作については、上述した画像符号化装置１の重み制御部１７２ｃの動作と同様である。

＜イントラ予測の動作フロー＞
次に、本実施形態に係るイントラ予測の動作フロー例について説明する。画像符号化装置１及び画像復号装置２でイントラ予測の動作は同様であるが、ここでは画像符号化装置１におけるイントラ予測（イントラ予測部１７２）の動作を例に挙げて説明する。図７は、本実施形態に係るイントラ予測部１７２の動作フロー例を示す図である。

図７に示すように、ステップＳ１において、予測画素生成部１７２ａは、上述したイントラ予測モードのいずれかを用いて、符号化対象ブロック内の各画素値をイントラ予測により予測する。そして、予測画素生成部１７２ａは、予測画素からなる予測ブロックを生成し、生成した予測ブロックを補正部１７２ｂに出力する。

ステップＳ２において、重み制御部１７２ｃは、直交変換処理に適用する変換の種別（制御フラグ）と、予測ブロックの左上の画素位置を基準とした予測画素の相対的な位置（ｘ，ｙ）とに応じて、補正部１７２ｂにおける重み付け合成処理（本実施形態では、ＰＤＰＣ）に用いる重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを、上述した式（２）及び式（３）により決定する。なお、ステップＳ１及びステップＳ２の順序は逆であってもよい。

ステップＳ３において、補正部１７２ｂは、重み制御部１７２ｃが決定した重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを用いて、上述した式（１）により、予測画素ｐｒｅｄ（ｘ，ｙ）を重み付け合成処理により補正し、補正した予測画素ｐｒｅｄ'（ｘ，ｙ）を得る。

このように、本実施形態に係る画像符号化装置１において、イントラ予測部１７２は、直交変換処理に適用する変換の種別に基づいて、補正部１７２ｂにおける重み付け合成処理を制御する重み制御部１７２ｃを有する。

また、本実施形態に係る画像復号装置２において、イントラ予測部２４２は、逆直交変換処理に適用する変換の種別に基づいて、補正部２４２ｂにおける重み付け合成処理を制御する重み制御部２４２ｃを有する。

よって、変換の種別を考慮して、イントラ予測により予測される予測ブロックを適切に補正することができるため、符号化効率を改善できる。

＜重み制御部の動作の変更例１＞
次に、重み制御部１７２ｃ及び２４２ｃの動作の変更例１について説明する。重み制御部１７２ｃ及び２４２ｃの動作は同様であるため、ここでは重み制御部１７２ｃの動作を例に挙げて説明する。

本変更例において、重み制御部１７２ｃは、水平方向及び垂直方向にＤＳＴ７を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇがともに０である場合）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（４）により決定する。

・・・（４）

但し、ｗｉｄｔｈ及びｈｅｉｇｈｔは符号化対象ブロックの幅及び高さをそれぞれ表し、ｘ及びｙは符号化対象ブロックの左上座標からの相対的な画素位置を表す。

重み制御部１７２ｃは、水平方向にＤＳＴ７、垂直方向にＤＣＴ８を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ＝１、ＭＴＳ＿Ｖｅｒ＿ｆｌａｇ＝０の場合）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（５）により決定する。

・・・（５）

重み制御部１７２ｃは、水平方向にＤＣＴ８、垂直方向にＤＳＴ７を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ＝０、ＭＴＳ＿Ｖｅｒ＿ｆｌａｇ＝１）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（６）により決定する。

・・・（６）

重み制御部１７２ｃは、水平方向及び垂直方向にＤＣＴ８を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ＝１及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇ＝１がともに１である場合）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（７）により決定する。これにより、重み制御部１７２ｃは、補正を行わないようにする。

・・・（７）

＜重み制御部の動作の変更例２＞
次に、重み制御部１７２ｃ及び２４２ｃの動作の変更例２について説明する。重み制御部１７２ｃ及び２４２ｃの動作は同様であるため、ここでは重み制御部１７２ｃの動作を例に挙げて説明する。

本変更例において、重み制御部１７２ｃは、直交変換処理に適用する変換の種別と、符号化対象ブロックのサイズとに基づいて重み付け合成処理（ＰＤＰＣ）を制御する。

ブロックサイズが大きい場合、重み付け合成処理（ＰＤＰＣ）による予測残差のエネルギー分布への影響は大きくなく、ＤＣＴ８を適用する場合であってもＰＤＰＣによるエントロピー増大の問題は生じにくい。

このため、直交変換処理に適用する変換の種別に応じた重みの制御を、ブロックサイズが閾値未満である場合に限り行うとしてもよい。例えば、重み制御部１７２ｃは、上述した式（１）を変形した下記の式（８）を用いる。

・・・（８）

但し、ｗｉｄｔｈ及びｈｅｉｇｈｔは符号化対象ブロックの幅及び高さをそれぞれ表し、Ｔｒは閾値を表す。

＜その他の実施形態＞
上述した実施形態及びその変更例において、水平及び垂直に直交変換を適用する一例について説明した。しかしながら、水平もしくは垂直の片方のみに直交変換を適用する場合においても、当該片方に適用する直交変換が上述したような単調増加や単調減少の特徴を持つ基底を含む変換であれば、適用可能である。

また、上述した実施形態及びその変更例において、イントラ予測の際に参照する復号対象ブロック（参照ブロック）の位置が符号化対象ブロックの上側及び左側である一例について説明した。しかしながら、イントラ予測の際に参照する復号対象ブロックの位置は、符号化対象ブロックの上側に限らず、符号化対象ブロックの下側であってもよい。また、イントラ予測の際に参照する復号対象ブロックの位置は、符号化対象ブロックの左側に限らず、符号化対象ブロックの右側であってもよい。

画像符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本願は、日本国特許出願第２０１９－０４３９６５号（２０１９年３月１１日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (6)

1. 画像を分割して得た符号化対象ブロックを符号化する画像符号化装置であって、
   前記符号化対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、
   前記符号化対象ブロックに対する前記予測ブロックの誤差を表す予測残差に対する変換処理を制御する変換制御部と、
   前記変換制御部の制御に基づいて、前記予測残差に対する変換処理を行う変換部と、を備え、
   前記イントラ予測部は、
   前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、
   前記符号化対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部と、を有し、
   前記重み付け合成処理は、前記予測ブロック内の予測画素に対して、前記予測ブロックの上側の参照画素、左側の参照画素、左上の参照画素を、当該予測画素の座標に応じて特定の割合で重みづけにより補正する処理であり、
   前記変換部の前記変換処理は、
   水平方向に変換を行う水平変換処理と、垂直方向に変換を行う垂直変換処理と、を含み、
   前記合成処理制御部は、
   前記水平変換処理に適用する変換の種別が、インパルス応答が単調減少となる基底を含む第１種別である場合、当該種別が前記第１種別でない場合に比べて、前記符号化対象ブロックに水平方向に隣接する水平参照画素に対する重みを小さくし、
   前記垂直変換処理に適用する変換の種別が前記第１種別である場合、当該種別が前記第１種別でない場合に比べて、前記符号化対象ブロックに垂直方向に隣接する垂直参照画素に対する重みを小さくすることを特徴とする画像符号化装置。
2. 画像を分割して得た符号化対象ブロックを符号化する画像符号化装置であって、
   前記符号化対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、
   前記符号化対象ブロックに対する前記予測ブロックの誤差を表す予測残差に対する変換処理を制御する変換制御部と、
   前記変換制御部の制御に基づいて、前記予測残差に対する変換処理を行う変換部と、を備え、
   前記イントラ予測部は、
   前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、
   前記符号化対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部と、を有し、
   前記重み付け合成処理は、前記予測ブロック内の予測画素に対して、前記予測ブロックの上側の参照画素、左側の参照画素、左上の参照画素を、当該予測画素の座標に応じて特定の割合で重みづけにより補正する処理であり、
   前記変換部の前記変換処理は、
   水平方向に変換を行う水平変換処理と、垂直方向に変換を行う垂直変換処理と、を含み、
   前記合成処理制御部は、
   前記水平変換処理に適用する変換の種別が、インパルス応答が単調増加となる基底を含む第２種別である場合、当該種別が前記第２種別でない場合に比べて、前記符号化対象ブロックに水平方向に隣接する水平参照画素に対する重みを大きくし、
   前記垂直変換処理に適用する変換の種別が前記第２種別である場合、当該種別が前記第２種別でない場合に比べて、前記符号化対象ブロックに垂直方向に隣接する垂直参照画素に対する重みを大きくすることを特徴とする画像符号化装置。
3. 画像を分割及び符号化して得た復号対象ブロックを復号する画像復号装置であって、
   符号化側で複数の変換処理の中から選択された変換処理を示す制御情報としてエントロピー符号化された制御フラグを復号するエントロピー復号部と、
   前記制御フラグに基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を制御する逆変換制御部と、
   前記逆変換制御部の制御に基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を行う逆変換部と、
   前記復号対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、を備え、
   前記イントラ予測部は、
   前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、
   前記復号対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部と、を有し、
   前記重み付け合成処理は、前記予測ブロック内の予測画素に対して、前記予測ブロックの上側の参照画素、左側の参照画素、左上の参照画素を、当該予測画素の座標に応じて特定の割合で重みづけにより補正する処理であり、
   前記逆変換部の前記逆変換処理は、
   水平方向に変換を行う水平変換処理と、垂直方向に変換を行う垂直変換処理と、を含み、
   前記合成処理制御部は、
   前記水平変換処理に適用する変換の種別が、インパルス応答が単調減少となる基底を含む第１種別である場合、当該種別が前記第１種別でない場合に比べて、前記復号対象ブロックに水平方向に隣接する水平参照画素に対する重みを小さくし、
   前記垂直変換処理に適用する変換の種別が前記第１種別である場合、当該種別が前記第１種別でない場合に比べて、前記復号対象ブロックに垂直方向に隣接する垂直参照画素に対する重みを小さくすることを特徴とする画像復号装置。
4. 画像を分割及び符号化して得た復号対象ブロックを復号する画像復号装置であって、
   符号化側で複数の変換処理の中から選択された変換処理を示す制御情報としてエントロピー符号化された制御フラグを復号するエントロピー復号部と、
   前記制御フラグに基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を制御する逆変換制御部と、
   前記逆変換制御部の制御に基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を行う逆変換部と、
   前記復号対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、を備え、
   前記イントラ予測部は、
   前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、
   前記復号対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部と、を有し、
   前記重み付け合成処理は、前記予測ブロック内の予測画素に対して、前記予測ブロックの上側の参照画素、左側の参照画素、左上の参照画素を、当該予測画素の座標に応じて特定の割合で重みづけにより補正する処理であり、
   前記逆変換部の前記逆変換処理は、
   水平方向に変換を行う水平変換処理と、垂直方向に変換を行う垂直変換処理と、を含み、
   前記合成処理制御部は、
   前記水平変換処理に適用する変換の種別が、インパルス応答が単調増加となる基底を含む第２種別である場合、当該種別が前記第２種別でない場合に比べて、前記復号対象ブロックに水平方向に隣接する水平参照画素に対する重みを大きくし、
   前記垂直変換処理に適用する変換の種別が前記第２種別である場合、当該種別が前記第２種別でない場合に比べて、前記復号対象ブロックに垂直方向に隣接する垂直参照画素に対する重みを大きくすることを特徴とする画像復号装置。
5. コンピュータを請求項１又は２に記載の画像符号化装置として機能させることを特徴とするプログラム。
6. コンピュータを請求項３又は４に記載の画像復号装置として機能させることを特徴とするプログラム。

Images