JP2019213096A - 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム - Google Patents

Abstract

【課題】線形予測で用いる予測係数を適切に使い分けることを可能とする画像復号装置、画像符号化装置を提供する。【解決手段】第１参照サンプル生成部１８１は、対象参照位置のサンプルが符号化済みである場合には、加算器から出力される第１成分のフィルタ前復号信号を参照サンプルとして生成する。対象参照位置のサンプルが符号化済みでない場合には、対象参照位置に隣接する参照位置の符号化済みのサンプルのコピーを参照サンプルとして生成する。第１予測サンプル生成部１８２は、第１参照サンプル生成部から出力される参照サンプルを用いて、第１成分の予測サンプルを生成し、対象ユニットに含まれる第１成分の予測サンプルを生成するイントラ予測モードを予測係数導出部１８３及びチャネル間参照サンプル生成部１８５に出力する。【選択図】図３

Description

本発明は、画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムに関する。

従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が提案されている（例えば、非特許文献１）。

さらに、上述したＨＥＶＣに対する次世代方式（ＶＶＣ；Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、輝度成分の再構成信号に基づいて色差成分の予測信号を生成する輝度・色差線形（ＬＭ；Ｌｉｎｅａｒ Ｍｏｄｅｌ）予測が検討されている。このようなＬＭ予測としては、輝度成分の再構成信号が閾値以下であるか否かに基づいて、ＬＭ予測で用いる予測係数を使い分けるＭＭＬＭ（Ｍｕｌｔｉｐｌｅ Ｍｏｄｅ ＬＭ）予測も検討されている（例えば、非特許文献２）。

ＩＴＵ−Ｔ Ｈ．２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ７（ＪＥＭ７）

ところで、上述したＭＭＬＭ予測では、輝度成分の対象ユニットに隣接する参照ユニットに含まれる参照サンプルの平均値が閾値として用いられている。しかしながら、このような構成では、エッジ成分に関する感度が低いため、ＬＭ予測で用いる予測係数を適切に使い分けることができない。

そこで、本発明は、上述した課題を解決するためになされたものであり、線形予測で用いる予測係数を適切に使い分けることを可能とする画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムを提供することを目的とする。

第１の特徴は、画像復号装置であって、対象ユニットについて、第１成分の予測サンプルを生成する復号側第１生成部と、前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する復号側線形予測部と、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する復号側第２生成部とを備え、前記復号側線形予測部は、前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定されることを要旨とする。

第２の特徴は、画像符号化装置であって、対象ユニットについて、第１成分の予測サンプルを生成する符号側第１生成部と、前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する符号化側線形予測部と、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する符号化側第２生成部とを備え、前記符号化側線形予測部は、前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定されることを要旨とする。

第３の特徴は、画像符号化装置及び画像復号装置を備える画像処理システムであって、前記画像符号化装置は、対象ユニットについて、第１成分の予測サンプルを生成する符号化側第１生成部と、前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する符号化側線形予測部と、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する符号化側第２生成部とを備え、前記画像復号装置は、前記対象ユニットについて、前記第１成分の予測サンプルを生成する復号側第１生成部と、前記第１成分のサンプル及び前記予測係数を用いて前記第２成分の線形予測サンプルを生成する復号側線形予測部と、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する復号側第２生成部とを備え、前記符号化側線形予測部及び前記復号側線形予測部は、前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定されることを要旨とする。

第４の特徴は、プログラムであって、コンピュータに、対象ユニットについて、第１成分の予測サンプルを生成するステップＡと、前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成するステップＢと、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成するステップＣとを実行させ、前記ステップＢは、前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用いるステップと、前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用いるステップとを含み、前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定されることを要旨とする。

第５の特徴は、プログラムであって、コンピュータに、対象ユニットについて、第１成分の予測サンプルを生成するステップＡと、前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成するステップＢと、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成するステップＣとを実行させ、前記ステップＢは、前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定されることを要旨とする。

一態様によれば、線形予測で用いる予測係数を適切に使い分けることを可能とする画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムを提供することができる。

図１は、実施形態に係る画像処理システム１０を示す図である。 図２は、実施形態に係る画像符号化装置１００を示す図である。 図３は、実施形態に係るイントラ予測部１１２を示す図である。 図４は、実施形態に係る画像復号装置２００を示す図である。 図５は、実施形態に係るイントラ予測部２４２を示す図である。 図６は、実施形態に係る線形予測方法を説明するための図である。 図７は、実施形態に係る線形予測方法を説明するための図である。 図８は、実施形態に係る閾値設定方法を説明するための図である。 図９は、実施形態に係る閾値設定方法を説明するための図である。

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。

［開示の概要］
開示の概要に係る画像復号装置は、対象ユニットについて、第１成分の予測サンプルを生成する復号側第１生成部と、前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する復号側線形予測部と、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する復号側第２生成部とを備える。前記復号側線形予測部は、前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用いる。前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。

開示の概要に係る画像復号装置では、予測係数を使い分けるための閾値は、第１成分及び第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。参照サンプルの平均値に基づいて閾値を設定するケースと比べて、エッジ成分に関する情報を考慮することが可能であり、予測係数を適切に使い分けることができる。

開示の概要に係る画像符号化装置は、対象ユニットについて、第１成分の予測サンプルを生成する符号化側第１生成部と、前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する符号化側線形予測部と、前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する符号化側第２生成部とを備える。前記符号化側線形予測部は、前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用いる。前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。

開示の概要に係る画像符号化装置では、予測係数を使い分けるための閾値は、第１成分及び第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。参照サンプルの平均値に基づいて閾値を設定するケースと比べて、エッジ成分に関する情報を考慮することが可能であり、予測係数を適切に使い分けることができる。

開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。

［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。

図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（画像符号化装置）
以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測動きベクトルを決定する。インター予測部１１１は、予測ユニット及び予測動きベクトルに基づいて予測信号を予測ユニット毎に生成する。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力する。参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて予測信号を予測ユニット毎に生成する。イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力する。参照ユニットは、予測対象のユニット（以下、対象ユニット）について参照されるユニットである。例えば、参照ユニットは、対象ユニットに隣接するユニットである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力する。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部１１２及びインループフィルタ１５０に出力する。フィルタ前復号信号は、イントラ予測部１１２で用いる参照ユニットを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得する。さらに、変換・量子化部１３１は、係数レベル値の量子化を行ってもよい。変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力する。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ユニットサイズ、予測ユニットサイズ、変換ユニットサイズなどのサイズデータを含んでもよい。

インループフィルタ１５０は、加算器１２２から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ１６０に出力する。例えば、フィルタ処理は、ブロック（予測ユニット又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積する。フィルタ後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（イントラ予測部）
以下において、実施形態に係るイントラ予測部について説明する。図３は、実施形態に係るイントラ予測部１１２を示す図である。

図３に示すように、イントラ予測部１１２は、イントラ予測部１１２Ｐ及びイントラ予測部１１２Ｑを有する。イントラ予測部１１２Ｐは、イントラ予測によって第１成分の予測信号を生成する。例えば、第１成分は、輝度成分である。イントラ予測部１１２Ｑは、イントラ予測によって第２成分の予測信号を生成する。例えば、第２成分は、色差成分である。

第１に、イントラ予測部１１２Ｐは、第１参照サンプル生成部１８１及び第１予測サンプル生成部１８２を有する。

第１参照サンプル生成部１８１は、第１成分の参照サンプルを生成する。例えば、第１参照サンプル生成部１８１は、対象参照位置のサンプルが符号化済みである場合には、加算器１２２から出力される第１成分のフィルタ前復号信号を参照サンプルとして生成する。一方で、第１参照サンプル生成部１８１は、対象参照位置のサンプルが符号化済みでない場合には、対象参照位置に隣接する参照位置の符号化済みのサンプルのコピーを参照サンプルとして生成する。第１参照サンプル生成部１８１は、参照サンプルの平滑化処理を行ってもよい。

第１予測サンプル生成部１８２は、第１参照サンプル生成部１８１から出力される参照サンプルを用いて、第１成分の予測サンプルを生成する。実施形態では、第１予測サンプル生成部１８２は、符号化側第１生成部の一例である。第１成分の予測サンプルを生成するイントラ予測モードとしては、ＤＣ（Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）予測モード、プレーナ予測モード、方向性予測モードが挙げられる。第１予測サンプル生成部１８２は、対象ユニットに含まれる第１成分の予測サンプルを生成するイントラ予測モードを予測係数導出部１８３及びチャネル間参照サンプル生成部１８５に出力する。

第２に、イントラ予測部１１２Ｑは、予測係数導出部１８３、チャネル間再構成サンプル生成部１８４、チャネル間参照サンプル生成部１８５、第２参照サンプル生成部１８６、スイッチ１８７、第２予測サンプル生成部１８８及び判定部１８９を有する。

予測係数導出部１８３は、第１成分のサンプルに基づいて第２成分の線形予測サンプルを生成するために用いる予測係数を導出する。例えば、予測係数導出部１８３は、第１成分のサンプルを用いて予測係数を導出してもよく、第１成分のイントラ予測モードを用いて予測係数を導出してもよく、第２成分の参照サンプルを用いて予測係数を導出してもよい。予測係数導出部１８３は、第１成分のサンプル、第１成分のイントラ予測モード及び第２成分の参照サンプルのいずれか２以上を用いて、予測係数を導出してもよい。実施形態では、予測係数導出部１８３は、閾値以下である第１成分のサンプルに適用する第１係数、閾値よりも大きい第１成分のサンプルに適用する第２係数を導出する。第１係数及び第２係数は互いに異なる。

例えば、上述した線形予測は、以下の式によって表される。α_１及びβ_１は、第１係数を示しており、α_２及びβ_２は、第２係数を示している。Ｐｒｅｄ_Ｃ［ｘ、ｙ］は、サンプル［ｘ、ｙ］の第２成分の線形予測サンプルであり、Ｓ’Ｌ［ｘ、ｙ］は、サンプル［ｘ、ｙ］の第１成分のサンプルである。

ここで、閾値は、対象ユニットについて参照される参照ユニットに含まれる第１成分及び第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。パラメータは、参照サンプルの微分値、参照サンプルの２回微分値、参照サンプルのヒストグラム、参照サンプルの中央値及び参照サンプルのエッジ成分の位置の少なくともいずれか１つであってもよい。閾値設定方法の詳細については、参照サンプルの微分値及び参照サンプルのヒストグラムを例に挙げて後述する（図８及び図９を参照）。

実施形態では、予測係数導出部１８３は、第１予測サンプル生成部１８２から取得するイントラ予測モードに応じて参照ユニットを選択してもよい。例えば、イントラ予測モードが水平方向に近い場合には、予測係数導出部１８３は、対象ユニットに対して垂直方向に位置する参照ユニットを選択せずに、対象ユニットに対して水平方向に位置する参照ユニットを選択する。イントラ予測モードが垂直方向に近い場合には、予測係数導出部１８３は、対象ユニットに対して水平方向に位置する参照ユニットを選択せずに、対象ユニットに対して垂直方向に位置する参照ユニットを選択する。

チャネル間再構成サンプル生成部１８４は、第１成分のサンプル（ここでは、第１成分の再構成サンプル）及び予測係数を用いて第２成分の線形予測サンプルを生成する。実施形態では、予測係数導出部１８３及びチャネル間再構成サンプル生成部１８４は、符号化側線形予測部の一例である。具体的には、チャネル間再構成サンプル生成部１８４は、対象ユニットに含まれる第１成分の再構成サンプル及び予測係数導出部１８３から出力される予測係数を用いて、対象ユニットに含まれる第２成分の線形予測サンプルを生成する。チャネル間再構成サンプル生成部１８４は、上述した式に従って第２成分の線形予測サンプルを生成するが、Ｓ’Ｌ［ｘ、ｙ］は、第１成分の再構成サンプル（Ｒｅｃ’_Ｌ［ｘ，ｙ］）であり、図２に示す加算器１２２から出力されるフィルタ前復号信号である。

チャネル間参照サンプル生成部１８５は、第１成分のサンプル（ここでは、第１成分の参照サンプル）及び予測係数を用いて第２成分の線形予測サンプルを生成する。実施形態では、予測係数導出部１８３及びチャネル間参照サンプル生成部１８５は、符号化側線形予測部の一例である。具体的には、チャネル間参照サンプル生成部１８５は、参照ユニットに含まれる第１成分の参照サンプル及び予測係数導出部１８３から出力される予測係数を用いて、参照ユニットに含まれる第２成分の線形予測サンプルを生成する。チャネル間参照サンプル生成部１８５は、上述した式に従って第２成分の線形予測サンプルを生成するが、Ｓ’Ｌ［ｘ、ｙ］は、第１成分の参照サンプル（Ｒｅｆ’_Ｌ［ｘ，ｙ］）であり、図２に示す加算器１２２から出力されるフィルタ前復号信号である。

実施形態では、チャネル間参照サンプル生成部１８５は、第１予測サンプル生成部１８２から取得するイントラ予測モードに応じて参照ユニットを選択してもよい。例えば、イントラ予測モードが水平方向に近い場合には、チャネル間参照サンプル生成部１８５は、対象ユニットに対して垂直方向に位置する参照ユニットを選択せずに、対象ユニットに対して水平方向に位置する参照ユニットを選択する。イントラ予測モードが垂直方向に近い場合には、チャネル間参照サンプル生成部１８５は、対象ユニットに対して水平方向に位置する参照ユニットを選択せずに、対象ユニットに対して垂直方向に位置する参照ユニットを選択する。

第２参照サンプル生成部１８６は、第２成分の参照サンプルを生成する。例えば、第２参照サンプル生成部１８６は、対象参照位置のサンプルが符号化済みである場合には、加算器１２２から出力される第２成分のフィルタ前復号信号を参照サンプルとして生成する。一方で、第２参照サンプル生成部１８６は、対象参照位置のサンプルが符号化済みでない場合には、対象参照位置に隣接する参照位置の符号化済みのサンプルのコピーを参照サンプルとして生成する。第２参照サンプル生成部１８６は、参照サンプルの平滑化処理を行ってもよい。

スイッチ１８７は、判断部１８９の判断結果に基づいて、第２予測サンプル生成部１８８への入力を切り替える。具体的には、スイッチ１８７は、チャネル間再構成サンプル生成部１８４、チャネル間参照サンプル生成部１８５及び第２参照サンプル生成部１８６の中から、第２予測サンプル生成部１８８への入力ソースを選択する。

第２予測サンプル生成部１８８は、スイッチ１８７によって切り替えられる入力ソースから取得する参照サンプル又は線形予測サンプルを用いて、第２成分の予測サンプルを生成する。実施形態では、第２予測サンプル生成部１８８は、符号化側第２生成部の一例である。

ここで、第２予測サンプル生成部１８８は、入力ソースが第２参照サンプル生成部１８６である場合に、第２参照サンプル生成部１８６から出力される参照サンプルを用いて、第２成分の予測サンプルを生成する。第２成分の予測サンプルを生成するイントラ予測モードとしては、ＤＣ予測モード、プレーナ予測モード、方向性予測モードが挙げられる。

一方で、第２予測サンプル生成部１８８は、入力ソースがチャネル間再構成サンプル生成部１８４である場合には、チャネル間再構成サンプル生成部１８４から出力される対象ユニットの第２成分の線形予測サンプルを第２成分の予測サンプルとして出力する（図６を参照）。第２予測サンプル生成部１８８は、入力ソースがチャネル間参照サンプル生成部１８５である場合には、チャネル間参照サンプル生成部１８５から出力される参照ユニットの第２成分の線形予測サンプルを用いたイントラ予測によって対象ユニットの第２成分の予測サンプルを生成する（図７を参照）。

判定部１８９は、第２予測サンプル生成部１８８への入力ソースを判定する。判定部１８９は、判定結果をスイッチ１８７に出力するとともに、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を制御データとして画像復号装置２００に出力する。

ここで、判定部１８９は、符号化効率が最も高い入力ソースを選択してもよい。入力ソースは、対象ユニットの位置、対象ユニットのサイズ及び第１成分のイントラ予測モードの中から選択される１以上のパラメータと予め対応付けられていてもよい。

（画像復号装置）
以下において、実施形態に係る画像復号装置について説明する。図４は、実施形態に係る画像復号装置２００を示す図である。

図４に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号する。例えば、復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ユニットサイズ、予測ユニットサイズ、変換ユニットサイズなどのサイズデータを含んでもよい。制御データは、第２成分の予測サンプルの生成に用いる入力ソースを示す情報要素を含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部２６２及びインループフィルタ２５０に出力する。フィルタ前復号信号は、イントラ予測部２６２で用いる参照ユニットを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部２４１は、対象フレームとフレームバッファ２６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測動きベクトルを決定する。インター予測部２４１は、予測ユニット及び予測動きベクトルに基づいて予測信号を予測ユニット毎に生成する。インター予測部２４１は、予測信号を加算器２３０に出力する。

イントラ予測部２６２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部２６２は、対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて予測信号を予測ユニット毎に生成する。イントラ予測部２６２は、予測信号を加算器２３０に出力する。

インループフィルタ２５０は、インループフィルタ１５０と同様に、加算器２３０から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ２６０に出力する。例えば、フィルタ処理は、ブロック（予測ユニット又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積する。フィルタ後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（イントラ予測部）
以下において、実施形態に係るイントラ予測部について説明する。図５は、実施形態に係るイントラ予測部２４２を示す図である。

図５に示すように、イントラ予測部２４２は、イントラ予測部２４２Ｐ及びイントラ予測部２４２Ｑを有する。イントラ予測部２４２Ｐは、イントラ予測によって第１成分の予測信号を生成する。例えば、第１成分は、輝度成分である。イントラ予測部２４２Ｑは、イントラ予測によって第２成分の予測信号を生成する。例えば、第２成分は、色差成分である。

第１に、イントラ予測部２４２Ｐは、第１参照サンプル生成部２８１及び第１予測サンプル生成部２８２を有する。

第１参照サンプル生成部２８１は、第１参照サンプル生成部１８１と同様に、第１成分の参照サンプルを生成する。例えば、第１参照サンプル生成部２８１は、対象参照位置のサンプルが符号化済みである場合には、加算器１２２から出力される第１成分のフィルタ前復号信号を参照サンプルとして生成する。一方で、第１参照サンプル生成部２８１は、対象参照位置のサンプルが符号化済みでない場合には、対象参照位置に隣接する参照位置の符号化済みのサンプルのコピーを参照サンプルとして生成する。第１参照サンプル生成部２８１は、参照サンプルの平滑化処理を行ってもよい。

第１予測サンプル生成部２８２は、第１予測サンプル生成部１８２と同様に、第１参照サンプル生成部２８１から出力される参照サンプルを用いて、第１成分の予測サンプルを生成する。実施形態では、第１予測サンプル生成部２８２は、復号側第１生成部の一例である。第１成分の予測サンプルを生成するイントラ予測モードとしては、ＤＣ予測モード、プレーナ予測モード、方向性予測モードが挙げられる。第１予測サンプル生成部２８２は、対象ユニットに含まれる第１成分の予測サンプルを生成するイントラ予測モードを予測係数導出部２８３及びチャネル間参照サンプル生成部２８５に出力する。

第２に、イントラ予測部２４２Ｑは、予測係数導出部２８３、チャネル間再構成サンプル生成部２８４、チャネル間参照サンプル生成部２８５、第２参照サンプル生成部２８６、スイッチ２８７、第２予測サンプル生成部２８８及び判定部２８９を有する。

予測係数導出部２８３は、予測係数導出部１８３と同様に、第１成分のサンプルに基づいて第２成分の線形予測サンプルを生成するために用いる予測係数を導出する。例えば、予測係数導出部２８３は、第１成分のサンプルを用いて予測係数を導出してもよく、第１成分のイントラ予測モードを用いて予測係数を導出してもよく、第２成分の参照サンプルを用いて予測係数を導出してもよい。予測係数導出部２８３は、第１成分のサンプル、第１成分のイントラ予測モード及び第２成分の参照サンプルのいずれか２以上を用いて、予測係数を導出してもよい。実施形態では、予測係数導出部２８３は、閾値以下である第１成分のサンプルに適用する第１係数、閾値よりも大きい第１成分のサンプルに適用する第２係数を導出する。第１係数及び第２係数は互いに異なる。

例えば、上述した線形予測は、以下の式によって表される。α_１及びβ_１は、第１係数を示しており、α_２及びβ_２は、第２係数を示している。Ｐｒｅｄ_Ｃ［ｘ、ｙ］は、サンプル［ｘ、ｙ］の第２成分の線形予測サンプルであり、Ｓ’Ｌ［ｘ、ｙ］は、サンプル［ｘ、ｙ］の第１成分のサンプルである。

ここで、閾値は、対象ユニットについて参照される参照ユニットに含まれる第１成分及び第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。パラメータは、参照サンプルの微分値、参照サンプルの２回微分値、参照サンプルのヒストグラム、参照サンプルの中央値及び参照サンプルのエッジ成分の位置の少なくともいずれか１つであってもよい。閾値設定方法の詳細については後述する。

実施形態では、予測係数導出部２８３は、第１予測サンプル生成部２８２から取得するイントラ予測モードに応じて参照ユニットを選択してもよい。例えば、イントラ予測モードが水平方向に近い場合には、予測係数導出部２８３は、対象ユニットに対して垂直方向に位置する参照ユニットを選択せずに、対象ユニットに対して水平方向に位置する参照ユニットを選択する。イントラ予測モードが垂直方向に近い場合には、予測係数導出部２８３は、対象ユニットに対して水平方向に位置する参照ユニットを選択せずに、対象ユニットに対して垂直方向に位置する参照ユニットを選択する。

チャネル間再構成サンプル生成部２８４は、チャネル間再構成サンプル生成部１８４と同様に、第１成分のサンプル（ここでは、第１成分の再構成サンプル）及び予測係数を用いて第２成分の線形予測サンプルを生成する。実施形態では、予測係数導出部２８３及びチャネル間再構成サンプル生成部２８４は、復号側線形予測部の一例である。具体的には、チャネル間再構成サンプル生成部２８４は、対象ユニットに含まれる第１成分の再構成サンプル及び予測係数導出部２８３から出力される予測係数を用いて、対象ユニットに含まれる第２成分の線形予測サンプルを生成する。チャネル間再構成サンプル生成部２８４は、上述した式に従って第２成分の線形予測サンプルを生成するが、Ｓ’Ｌ［ｘ、ｙ］は、第１成分の再構成サンプル（Ｒｅｃ’_Ｌ［ｘ，ｙ］）であり、図４に示す加算器２３０から出力されるフィルタ前復号信号である。

チャネル間参照サンプル生成部２８５は、チャネル間参照サンプル生成部１８５と同様に、第１成分のサンプル（ここでは、第１成分の参照サンプル）及び予測係数を用いて第２成分の線形予測サンプルを生成する。実施形態では、予測係数導出部２８３及びチャネル間参照サンプル生成部２８５は、復号側線形予測部の一例である。具体的には、チャネル間参照サンプル生成部２８５は、参照ユニットに含まれる第１成分の参照サンプル及び予測係数導出部２８３から出力される予測係数を用いて、参照ユニットに含まれる第２成分の線形予測サンプルを生成する。チャネル間参照サンプル生成部２８５は、上述した式に従って第２成分の線形予測サンプルを生成するが、Ｓ’Ｌ［ｘ、ｙ］は、第１成分の参照サンプル（Ｒｅｆ’_Ｌ［ｘ，ｙ］）であり、図４に示す加算器２３０から出力されるフィルタ前復号信号である。

実施形態では、チャネル間参照サンプル生成部２８５は、第１予測サンプル生成部２８２から取得するイントラ予測モードに応じて参照ユニットを選択してもよい。例えば、イントラ予測モードが水平方向に近い場合には、チャネル間参照サンプル生成部２８５は、対象ユニットに対して垂直方向に位置する参照ユニットを選択せずに、対象ユニットに対して水平方向に位置する参照ユニットを選択する。イントラ予測モードが垂直方向に近い場合には、チャネル間参照サンプル生成部２８５は、対象ユニットに対して水平方向に位置する参照ユニットを選択せずに、対象ユニットに対して垂直方向に位置する参照ユニットを選択する。

第２参照サンプル生成部２８６は、第２参照サンプル生成部１８６と同様に、第２成分の参照サンプルを生成する。例えば、第２参照サンプル生成部２８６は、対象参照位置のサンプルが符号化済みである場合には、加算器１２２から出力される第２成分のフィルタ前復号信号を参照サンプルとして生成する。一方で、第２参照サンプル生成部２８６は、対象参照位置のサンプルが符号化済みでない場合には、対象参照位置に隣接する参照位置の符号化済みのサンプルのコピーを参照サンプルとして生成する。第２参照サンプル生成部２８６は、参照サンプルの平滑化処理を行ってもよい。

スイッチ２８７は、スイッチ１８７と同様に、判断部２８９の判断結果に基づいて、第２予測サンプル生成部２８８への入力を切り替える。具体的には、スイッチ２８７は、チャネル間再構成サンプル生成部２８４、チャネル間参照サンプル生成部２８５及び第２参照サンプル生成部２８６の中から、第２予測サンプル生成部２８８への入力ソースを選択する。

第２予測サンプル生成部２８８は、第２予測サンプル生成部１８８と同様に、スイッチ２８７によって切り替えられる入力ソースから取得する参照サンプル又は線形予測サンプルを用いて、第２成分の予測サンプルを生成する。実施形態では、第２予測サンプル生成部２８８は、復号側第２生成部の一例である。

ここで、第２予測サンプル生成部２８８は、入力ソースが第２参照サンプル生成部２８６である場合に、第２参照サンプル生成部２８６から出力される参照サンプルを用いて、第２成分の予測サンプルを生成する。第２成分の予測サンプルを生成するイントラ予測モードとしては、ＤＣ予測モード、プレーナ予測モード、方向性予測モードが挙げられる。

一方で、第２予測サンプル生成部２８８は、入力ソースがチャネル間再構成サンプル生成部２８４である場合には、チャネル間再構成サンプル生成部２８４から出力される対象ユニットの第２成分の線形予測サンプルを第２成分の予測サンプルとして出力する（図６を参照）。第２予測サンプル生成部２８８は、入力ソースがチャネル間参照サンプル生成部２８５である場合には、チャネル間参照サンプル生成部２８５から出力される参照ユニットの第２成分の線形予測サンプルを用いたイントラ予測によって対象ユニットの第２成分の予測サンプルを生成する（図７を参照）。

（線形予測方法）
以下において、実施形態に係る線形予測方法について説明する。図６及び図７は、実施形態に係る線形予測方法を説明するための図である。図６及び図７において、Ｐ_{ＴＡＲＧＥＴ}は、第１成分の対象ユニットを示しており、Ｐ_{ＲＥＦＥＲＥＮＣＥ}は、第１成分の参照ユニットを示している。Ｑ_{ＴＡＲＧＥＴ}は、第２成分の対象ユニットを示しており、Ｑ_{ＲＥＦＥＲＥＮＣＥ}は、第２成分の参照ユニットを示している。

第１に、予測係数導出部１８３、予測係数導出部２８３、チャネル間再構成サンプル生成部１８４及びチャネル間再構成サンプル生成部２８４の動作について説明する。ここでは、これらを総称して線形予測部と称する。

図６に示すように、線形予測部は、第１成分のＰ_{ＴＡＲＧＥＴ}の再構成サンプルに基づいて、第２成分のＱ_{ＴＡＲＧＥＴ}の予測サンプルを生成する。このようなケースにおいて、Ｐ_{ＴＡＲＧＥＴ}の再構成サンプルは、Ｐ_{ＴＡＲＧＥＴ}の予測サンプル及びＰ_{ＴＡＲＧＥＴ}の残差サンプルによって構成される。Ｐ_{ＴＡＲＧＥＴ}の予測サンプルは、Ｐ_{ＲＥＦＥＲＥＮＣＥ}を用いて生成される。Ｑ_{ＴＡＲＧＥＴ}の予測サンプルの生成において、Ｑ_{ＲＥＦＥＲＥＮＣＥ}の参照サンプルは用いられない。

第２に、予測係数導出部１８３、予測係数導出部２８３、チャネル間参照サンプル生成部１８５及びチャネル間参照サンプル生成部２８５の動作について説明する。ここでは、これらを総称して線形予測部と称する。

図７に示すように、線形予測部は、第１成分のＰ_{ＲＥＦＥＲＥＮＣＥ}に基づいて、第２成分のＱ_{ＲＥＦＥＲＥＮＣＥ}の参照サンプルを生成する。このようなケースにおいて、Ｑ_{ＴＡＲＧＥＴ}の予測サンプルは、Ｑ_{ＲＥＦＥＲＥＮＣＥ}の参照サンプルを用いたイントラ予測によって生成される。Ｑ_{ＴＡＲＧＥＴ}の予測サンプルの生成において、Ｐ_{ＴＡＲＧＥＴ}の再構成サンプルは用いられない。

これらの線形予測においては、上述したように、予測係数α及びβが用いられる。予測係数は、閾値以下である第１成分のサンプルに適用する第１係数及び閾値よりも大きい第１成分のサンプルに適用する第２係数を含む。

ここで、参照ユニットは、上述したように、第１成分のイントラ予測モードに応じて選択されてもよい。例えば、イントラ予測モードが水平方向に近い場合には、Ｐ_{ＲＥＦＥＲＥＮＣＥ２}、Ｐ_{ＲＥＦＥＲＥＮＣＥ３}、Ｑ_{ＲＥＦＥＲＥＮＣＥ２}及びＱ_{ＲＥＦＥＲＥＮＣＥ３}が選択されずに、Ｐ_{ＲＥＦＥＲＥＮＣＥ１}及びＱ_{ＲＥＦＥＲＥＮＣＥ１}が参照ユニットとして選択されてもよい。イントラ予測モードが垂直方向に近い場合には、Ｐ_{ＲＥＦＥＲＥＮＣＥ１}、Ｐ_{ＲＥＦＥＲＥＮＣＥ２}、Ｑ_{ＲＥＦＥＲＥＮＣＥ１}及びＱ_{ＲＥＦＥＲＥＮＣＥ２}が選択されずに、Ｐ_{ＲＥＦＥＲＥＮＣＥ３}及びＱ_{ＲＥＦＥＲＥＮＣＥ３}が参照ユニットとして選択されてもよい。

（閾値設定方法）
以下において、実施形態に係る閾値設定方法について説明する。図８及び図９は、実施形態に係る閾値設定方法を説明するための図である。ここでは、図８に示すように、第１成分の参照ユニット（Ｐ_{ＲＥＦＥＲＥＮＣＥ}）及び対象ユニットがエッジ成分（Ｐ_{ＴＡＲＧＥＴ}）を含むケースについて例示する。参照サンプルは、第１成分（すなわち、輝度成分）の参照ユニット（Ｐ_{ＲＥＦＥＲＥＮＣＥ}）に含まれるサンプルである。

このようなケースにおいて、図８に示す直線Ｌについて考えると、輝度値と位置との関係は図９の上図によって表される。

第１に、図９の左下図で示されるように、予測係数導出部１８３は、参照サンプルの微分値に基づいて閾値を設定してもよい。具体的には、予測係数導出部１８３は、参照サンプルの微分値に基づいて、エッジ成分の輝度値を特定し、特定されたエッジ成分の輝度値に基づいて、エッジ成分とエッジ成分以外の成分とを区分けするように閾値を設定する。参照サンプルの微分値は、参照サンプルの変化を表すパラメータの一例である。参照サンプルの変化を表すパラメータとしては、参照サンプルの２回微分値が用いられてもよい。

第２に、図９の右下図で示されるように、予測係数導出部１８３は、参照サンプルのヒストグラムに基づいて閾値を設定してもよい。具体的には、予測係数導出部１８３は、参照サンプルの微分値に基づいて、２つのピークが別々に区分けされるように閾値を設定する。参照サンプルのヒストグラムは、参照サンプルの分布を表すパラメータの一例である。参照サンプルの分布を表すパラメータとしては、参照サンプルの中央値又は参照サンプルのエッジ成分の位置が用いられてもよい。

これらのケースにおいて、画像符号化装置１００は、閾値を示す情報要素又は閾値の算出方法を示す情報要素（参照サンプルの変化を表すパラメータを示すインデックス）を制御データとして画像復号装置２００に送信してもよい。画像復号装置２００は、制御データに基づいて閾値を設定してもよい。

ここで、図９の右下図において、参照サンプルの輝度値を昇順又は降順に並べ直した上で、輝度値の昇順又は降順で並べられた参照サンプルをＸ（Ｘは２以上）等分することによって、１以上の閾値が設定されてもよい。

（作用及び効果）
実施形態に係る画像復号装置２００では、予測係数を使い分けるための閾値は、第１成分及び第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。参照サンプルの平均値に基づいて閾値を設定するケースと比べて、エッジ成分に関する情報を考慮することが可能であり、予測係数を適切に使い分けることができる。

開示の概要に係る画像符号化装置２００では、予測係数を使い分けるための閾値は、第１成分及び第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される。参照サンプルの平均値に基づいて閾値を設定するケースと比べて、エッジ成分に関する情報を考慮することが可能であり、予測係数を適切に使い分けることができる。

［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。

第１に、予測係数導出部１８３（線形予測部）は、閾値以下である参照サンプルに基づいて第１係数を算出し、閾値よりも大きい参照サンプルに基づいて第２係数を算出してもよい。

第１係数及び第２係数の算出方法は特に限定されるものではないが、例えば、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵ−Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のＪＶＥＴ−Ｄ０１１０（Ｑｕａｌｃｏｍｍ）に記載された方法を採用することができる。但し、このような方法を実施形態で用いる場合には、第１係数及び第２係数の算出で参照される参照サンプルは互いに異なることに留意すべきである。このようなケースにおいては、予測係数導出部２８３（線形予測部）は、予測係数導出部１８３と同様の手順で第１係数及び第２係数を算出してもよい。

第２に、予測係数導出部１８３（線形予測部）は、閾値以下である参照サンプルに基づいて、予め定められた予測係数の中から第１係数を選択し、閾値よりも大きい参照サンプルに基づいて、予め定められた予測係数の中から第２係数を選択してもよい。

第１係数及び第２係数の選択方法は特に限定されるものではないが、例えば、特開２０１６−７２９０３号公報に記載された方法を採用することができる。但し、このような方法を実施形態で用いる場合には、第１係数及び第２係数の算出で参照される参照サンプルは互いに異なることに留意すべきである。

このようなケースにおいては、画像符号化装置１００は、選択された第１係数及び第２係数を示す情報要素（例えば、予測係数と対応付けられたインデックス）を制御データとして画像復号装置２００に送信してもよい。予測係数導出部２８３（線形予測部）は、画像符号化装置１００から受信する制御データに基づいて、予め定められた予測係数の中から第１係数及び第２係数を選択してもよい。

［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。

上述した第１成分の再構成サンプルは、第１成分の予測サンプル及び第１成分の残差サンプルによって構成される。従って、第１成分の再構成サンプルは、以下の式によって表すことができる。

第１に、Ｐｒｅｄ_Ｌ［ｘ，ｙ］は、対象ユニットの第１成分の予測サンプルを表しており、Ｒｅｓ_Ｌ［ｘ，ｙ］は、対象ユニットの第１成分の残差サンプルを表している。ＣＣＰ（Ｒｅｓ_Ｌ［ｘ，ｙ］）は、対象ユニットの第１成分の残差サンプルに基づいた補正成分を表している。

従って、チャネル間再構成サンプル生成部１８４及びチャネル間再構成サンプル生成部２８４は、対象ユニットの第１成分の再構成サンプルの生成を待たずに、対象ユニットの第１成分の予測サンプル及び予測係数を用いて、対象ユニットの第２成分の線形予測サンプルを生成すると考えてもよい。このようなケースにおいて、対象ユニットの第２成分の線形予測サンプルは、ＣＣＰ（Ｒｅｓ_Ｌ［ｘ，ｙ］）によって補正されることが好ましい。

第２に、Ｒｅｆ_Ｌは、参照ユニットの第１成分の参照サンプルを表しており、α×Ｒｅｆ_Ｌ＋βは、チャネル間参照サンプル生成部１８５及びチャネル間参照サンプル生成部２８５によって生成される参照ユニットの第２成分の線形予測サンプルを表しており、ＩｎｔｒａＰｒｅｄ（α×Ｒｅｆ_Ｌ＋β）［ｘ，ｙ］は、参照ユニットの第２成分の線形予測サンプルのイントラ予測によって生成される対象ユニットの第２成分の予測サンプルである。このようなケースにおいても、参照ユニットの第２成分の線形予測サンプル又は対象ユニットの第２成分の予測サンプルは、ＣＣＰ（Ｒｅｓ_Ｌ［ｘ，ｙ］）によって補正されてもよい。

上述したケースにおいて、画像符号化装置１００は、ＣＣＰ（Ｒｅｓ_Ｌ［ｘ，ｙ］）を示す情報要素（例えば、ＣＣＰ（Ｒｅｓ_Ｌ［ｘ，ｙ］）を示すインデックス）を制御データとして画像復号装置２００に送信してもよい。画像復号装置２００は、制御データに基づいてＣＣＰ（Ｒｅｓ_Ｌ［ｘ，ｙ］による補正を行ってもよい。

［変更例３］
以下において、実施形態の変更例３について説明する。以下においては、実施形態に対する相違点について主として説明する。

変更例３では、２種類以上の予測係数（第１係数及び第２係数）を適用するか否かを判断する基準について説明する。

第１に、ユニットサイズ（符号化ユニットサイズ、予測ユニットサイズ及び変換ユニットサイズの少なくともいずれか１つ）と所定サイズとの比較結果に基づいて、２種類以上の予測係数が適用されるか否かを判断してもよい。２種類以上の予測係数は、ユニットサイズが所定サイズよりも小さい場合に適用されてもよい。言い換えると、２種類以上の予測係数は、ユニットサイズが所定サイズよりも大きい場合に適用されなくてもよい。このような構成によれば、ユニットサイズが所定サイズよりも大きい場合において、エッジ成分を考慮した閾値設定を適切に行えない可能性があるという知見に基づいて、２種類以上の予測係数を適切に適用することができる。

第２に、ユニット（符号化ユニット、予測ユニット及び変換ユニットの少なくともいずれか１つ）のアスペクト比と所定アスペクト比との比較結果に基づいて、２種類以上の予測係数が適用されるか否かを判断してもよい。２種類以上の予測係数は、ユニットのアスペクト比が所定アスペクト比よりも大きい場合に適用されてもよい。言い換えると、２種類以上の予測係数は、ユニットのアスペクト比が所定アスペクト比よりも小さい場合に適用されなくてもよい。このような構成によれば、ユニットのアスペクト比が所定アスペクト比よりも大きい場合において、ユニットにエッジ成分が含まれる可能性が高くなるという知見に基づいて、２種類以上の予測係数を適切に適用することができる。

第３に、ユニットサイズが所定サイズよりも小さく、かつ、イントラ予測モードが垂直方向又は水平方向に近い場合に、２種類以上の予測係数が適用されてもよい。言い換えると、ユニットサイズが所定サイズよりも大きい、又は、イントラ予測モードが垂直方向又は水平方向に近くない場合に、２種類以上の予測係数が適用されなくてもよい。このような構成によれば、ユニットサイズが所定サイズよりも小さく、かつ、イントラ予測モードが垂直方向又は水平方向に近い場合において、ユニットに縞模様（複数のエッジ成分）が含まれる可能性が高くなるという知見に基づいて、２種類以上の予測係数を適切に適用することができる。

［変更例４］
以下において、実施形態の変更例４について説明する。以下においては、実施形態に対する相違点について主として説明する。

上述したように、判定部１８９は、符号化効率が最も高い入力ソースを選択する。このようなケースにおいて、判定部１８９は、２以上のパラメータに基づいて閾値を設定するとともに、設定された２以上の閾値のそれぞれについて符号化効率を算出してもよい。判定部１８９は、符号化効率が最も高い閾値を用いると判定する。さらに、判定部１８９は、２種類以上の予測係数（第１係数及び第２係数の組合せ）を導出し、導出された２種類以上の予測係数のそれぞれについて符号化効率を算出してもよい。判定部１８９は、符号化効率が最も高い予測係数を用いると判定する。

さらに、判定部１８９は、２以上のパラメータに基づいて閾値を設定するとともに、２種類以上の予測係数（第１係数及び第２係数の組合せ）を導出し、閾値及び予測係数の組合せのそれぞれについて符号化効率を算出してもよい。判定部１８９は、符号化効率が最も高い閾値及び予測係数の組合せを用いると判定する。

但し、実施形態及び変更例４はこれに限定されるものではなく、閾値設定方法及び予測係数導出方法については、予め１種類の方法が定められていてもよい。

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

実施形態において、閾値は、第１成分の参照サンプルの分布又は変化を表すパラメータに基づいて設定される。しかしながら、実施形態はこれに限定されるものではない。閾値は、第２成分の参照サンプルの分布又は変化を表すパラメータに基づいて設定されてもよい。閾値は、第１成分及び第２成分の双方の参照サンプルの分布又は変化を表すパラメータに基づいて設定されてもよい。

実施形態では、閾値は、参照ユニットに含まれる参照サンプルの分布又は変化を表すパラメータに基づいて設定される。しかしながら、実施形態はこれに限定されるものではない。閾値は、対象ユニットに含まれるサンプルの分布又は変化を表すパラメータに基づいて設定されてもよい。

実施形態において、閾値が１種類であり、予測係数が２種類であるケースについて主として説明した。しかしながら、実施形態はこれに限定されるものではない。閾値は２種類以上であってもよく、予測係数は３種類以上であってもよい。

実施形態では特に触れていないが、第１成分の対象ユニットのサイズは、第２成分の対象ユニットのサイズと異なっていてもよい。例えば、第１成分の対象ユニットのサイズが第２成分の対象ユニットのサイズよりも大きい場合には、第１成分の対象ユニットのダウンサンプリングが行われてもよい。ダウンサンプリングの方法は特に限定されるものではないが、例えば、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵ−Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のＪＶＥＴ−Ｄ０１１０（Ｑｕａｌｃｏｍｍ）に記載された方法を採用することができる。

実施形態では特に触れていないが、第２成分のイントラ予測部１１２Ｑは、線形予測を行う場合に、第１成分のイントラ予測部１１２Ｐが用いるイントラ予測モードと同じイントラ予測モードを用いてもよい。

実施形態では、第２予測サンプル生成部１８８は、スイッチ１８７によって切り替えられる入力ソースから取得する参照サンプル又は線形予測サンプルを用いて、第２成分の予測サンプルを生成する。しかしながら、実施形態はこれに限定されるものではない。第２予測サンプル生成部１８８は、参照サンプル及び線形予測サンプルの重み付け加算によって第２成分の予測サンプルを生成してもよい。

実施形態では、第２予測サンプル生成部２８８は、第２予測サンプル生成部１８８と同様に、スイッチ２８７によって切り替えられる入力ソースから取得する参照サンプル又は線形予測サンプルを用いて、第２成分の予測サンプルを生成する。しかしながら、実施形態はこれに限定されるものではない。第２予測サンプル生成部１８８は、参照サンプル及び線形予測サンプルの重み付け加算によって第２成分の予測サンプルを生成してもよい。

重み付け加算の方法については特に限定されるものではないが、例えば、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ （ＪＶＥＴ）ｏｆ ＩＴＵ−Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１のＪＶＥＴ−Ｄ０１１０（Ｑｕａｌｃｏｍｍ）に記載された方法を採用することができる。

実施形態では特に触れていないが、判定部１８９は、第１成分及び第２成分のイントラ予測モードが同じである場合に、線形予測を行うか否かを判定してもよい。

実施形態では、画像符号化装置１００は、チャネル間再構成サンプル生成部１８４及びチャネル間参照サンプル生成部１８５の双方を有する。しかしながら、実施形態はこれに限定されるものではない。画像符号化装置１００は、チャネル間再構成サンプル生成部１８４及びチャネル間参照サンプル生成部１８５のいずれか１つを有していてもよい。

実施形態では、画像復号装置２００は、チャネル間再構成サンプル生成部２８４及びチャネル間参照サンプル生成部２８５の双方を有する。しかしながら、実施形態はこれに限定されるものではない。画像復号装置２００は、チャネル間再構成サンプル生成部２８４及びチャネル間参照サンプル生成部２８５のいずれか１つを有していてもよい。

実施形態では、第１成分が輝度成分であり、第２成分が色差成分である。しかしながら、実施形態はこれに限定されるものではない。例えば、第１成分が色差成分であり、第２成分が輝度成分であってもよい。

実施形態では特に触れていないが、イントラ予測モードが垂直方向に近いか否かは、イントラ予測モードの方向と垂直方向との角度が所定角度よりも小さいか否かで判断されてもよい。垂直方向に近いイントラ予測モードは予め定義されていてもよい。同様に、イントラ予測モードが水平方向に近いか否かは、イントラ予測モードの方向と水平方向との角度が所定角度よりも小さいか否かで判断されてもよい。水平方向に近いイントラ予測モードは予め定義されていてもよい。

実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。

或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１０…画像処理システム、１００…画像符号化装置、１１１…インター予測部、１１２…イントラ予測部、１２１…減算器、１２２…加算器、１３１…変換・量子化部、１３２…逆変換・逆量子化部、１４０…符号化部、１５０…インループフィルタ、１６０…フレームバッファ、１８１…第１参照サンプル生成部、１８２…第１予測サンプル生成部、１８３…予測係数導出部、１８４…チャネル間再構成サンプル生成部、１８５…チャネル間参照サンプル生成部、１８６…第２参照サンプル生成部、１８７…スイッチ、１８８…第２予測サンプル生成部、１８９…判定部、２００…画像復号装置、２１０…復号部、２２０…逆変換・逆量子化部、２３０…加算器、２４１…インター予測部、２４２…イントラ予測部、２５０…インループフィルタ、２６０…フレームバッファ、２８１…第１参照サンプル生成部、２８２…第１予測サンプル生成部、２８３…予測係数導出部、２８４…チャネル間再構成サンプル生成部、２８５…チャネル間参照サンプル生成部、２８６…第２参照サンプル生成部、２８７…スイッチ、２８８…第２予測サンプル生成部、２８９…判定部

Claims (11)

1. 対象ユニットについて、第１成分の予測サンプルを生成する復号側第１生成部と、
   前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する復号側線形予測部と、
   前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する復号側第２生成部とを備え、
   前記復号側線形予測部は、
   前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、
   前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、
   前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される、画像復号装置。
2. 前記パラメータは、前記参照サンプルの微分値、前記参照サンプルの２回微分値、前記参照サンプルのヒストグラム、前記参照サンプルの中央値及び前記参照サンプルのエッジ成分の位置の少なくともいずれか１つである、請求項１に記載の画像復号装置。
3. 前記復号側線形予測部は、前記閾値以下である前記参照サンプルに基づいて前記第１係数を算出し、前記閾値よりも大きい前記参照サンプルに基づいて前記第２係数を算出する、請求項１又は請求項２に記載の画像復号装置。
4. 前記復号側線形予測部は、画像符号化装置から受信する制御データに基づいて、予め定められた予測係数の中から前記第１係数及び前記第２係数を選択する、請求項１又は請求項２に記載の画像復号装置。
5. 前記参照ユニットは、前記第１成分の予測サンプルを生成するイントラ予測モードに応じて選択される、請求項１乃至請求項４のいずれかに記載の画像復号装置。
6. 前記第１成分のサンプルは、前記対象ユニットに含まれる前記第１成分の再構成サンプル又は前記対象ユニットに含まれる前記第１成分の予測サンプルであり、
   前記復号側線形予測部は、前記第１成分のサンプル及び前記予測係数を用いて、前記対象ユニットに含まれる前記第２成分の線形予測サンプルを生成する、請求項１乃至請求項５のいずれかに記載の画像復号装置。
7. 前記第１成分のサンプルは、前記参照ユニットに含まれる前記第１成分の参照サンプルであり、
   前記復号側線形予測部は、前記第１成分のサンプル及び前記予測係数を用いて、前記参照ユニットに含まれる前記第２成分の線形予測サンプルを生成する、請求項１乃至請求項５のいずれかに記載の画像復号装置。
8. 対象ユニットについて、第１成分の予測サンプルを生成する符号側第１生成部と、
   前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する符号化側線形予測部と、
   前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する符号化側第２生成部とを備え、
   前記符号化側線形予測部は、
   前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、
   前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、
   前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される、画像符号化装置。
9. 画像符号化装置及び画像復号装置を備える画像処理システムであって、
   前記画像符号化装置は、
   対象ユニットについて、第１成分の予測サンプルを生成する符号化側第１生成部と、
   前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成する符号化側線形予測部と、
   前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する符号化側第２生成部とを備え、
   前記画像復号装置は、
   前記対象ユニットについて、前記第１成分の予測サンプルを生成する復号側第１生成部と、
   前記第１成分のサンプル及び前記予測係数を用いて前記第２成分の線形予測サンプルを生成する復号側線形予測部と、
   前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成する復号側第２生成部とを備え、
   前記符号化側線形予測部及び前記復号側線形予測部は、
   前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、
   前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、
   前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される、画像処理システム。
10. プログラムであって、コンピュータに、
    対象ユニットについて、第１成分の予測サンプルを生成するステップＡと、
    前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成するステップＢと、
    前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成するステップＣとを実行させ、
    前記ステップＢは、
    前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用いるステップと、
    前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用いるステップとを含み、
    前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される、プログラム。
11. プログラムであって、コンピュータに、
    対象ユニットについて、第１成分の予測サンプルを生成するステップＡと、
    前記第１成分のサンプル及び予測係数を用いて第２成分の線形予測サンプルを生成するステップＢと、
    前記対象ユニットについて、前記第２成分の線形予測サンプルを用いて前記第２成分の予測サンプルを生成するステップＣとを実行させ、
    前記ステップＢは、
    前記第１成分のサンプルが閾値以下である場合に、前記予測係数として第１係数を用い、
    前記第１成分のサンプルが前記閾値よりも大きい場合に、前記予測係数として前記第１係数とは異なる第２係数を用い、
    前記閾値は、前記対象ユニットについて参照される参照ユニットに含まれる前記第１成分及び前記第２成分の少なくともいずれか１つの参照サンプルの分布又は変化を表すパラメータに基づいて設定される、プログラム。

Images