JP2012142986A - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラム - Google Patents

Abstract

【課題】フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して符号化および復号化する場合に、フィルタ係数の符号量を低減しつつ、水平方向と垂直方向に異なる特性を持つ映像に対しても高い精度で動き補償すること。
【解決手段】フレーム画像の時間系列で構成される動画像に対して、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償する動画像符号化装置２０であって、過去のフレーム画像の符号化に使われたフィルタを蓄積するフィルタ情報蓄積部２０３と、現在のフレーム画像の符号化に使うフィルタを、少なくともフィルタ情報蓄積部２０３に蓄積されたフィルタを含む複数のフィルタ候補の中から選んで決定するフィルタ決定部２０２と、決定されたフィルタを示す情報を符号化するフィルタ情報符号化部２０５と、を備えることを特徴とする。
【選択図】図２

Description

本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラムに関するものである。

動き補償を用いた動画像符号化方式では、フレームメモリに蓄積されている過去に符号化済みの参照画像を使って符号化対象画像の動き検出が行われ、検出された動きベクトルを使って参照画像から動き補償画像（予測画像）が作成される。その際、参照画像の精度を、参照画像に元々存在する画素単位の精度（整数画素精度）から、参照画像の隣接画素間に位置する画素単位の精度（分数画素精度）にすることで、符号化対象画像の動きを高い精度で補償することができ、符号化効率を向上させることができる。

Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，“Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ”に記載のＨ．２６４符号化方式では、１／４画素精度の参照画像を使って動き検出および動き補償をすることで、高い符号化効率が実現されている。

具体的には、まず整数画素精度の参照画像に係数（１、−５、２０、２０、−５、１）／３２の６タップのフィルタを施すことで１／２画素精度の参照画像が生成される。次に１／２画素精度の参照画像に対して、係数（１、１）／２の２タップの平均値フィルタを施すことで１／４画素精度の参照画像が生成される。

図１を使ってＨ．２６４符号化方式での１／４画素精度の参照画像の生成法を詳しく説明する。図１は１／４画素精度を持つ参照画像の画素の配置図である。２つの整数画素信号の水平方向の中間位置にある１／２画素信号は、水平方向の６タップフィルタによって生成される。例えば、画素ｂは、整数画素Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊに水平方向の６タップフィルタを施すことによって次式（１）のように計算される。
ｂ＝（Ｅ−５Ｆ＋２０Ｇ＋２０Ｈ−５Ｉ＋Ｊ）／３２ …（１）

また、２つの整数画素信号の垂直方向の中間位置にある１／２画素信号は、垂直方向の６タップフィルタによって生成される。例えば、画素ｈは、整数画素Ａ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔに垂直方向の６タップフィルタを施すことによって次式（２）のようにされる。
ｈ＝（Ａ−５Ｃ＋２０Ｇ＋２０Ｍ−５Ｒ＋Ｔ）／３２ …（２）

４つの整数画素信号の中間位置にある１／２画素信号は、６タップフィルタを水平と垂直の両方に施すことにより生成される。例えば画素ｊは、１／２画素信号ａａ、ｂｂ、ｂ、ｓ、ｇｇ、ｈｈを水平方向の６タップフィルタにより生成した後、これらの信号に垂直方向の６タップフィルタを施すことによって次式（３）のように計算される。
ｊ＝（ａａ−５ｂｂ＋２０ｂ＋２０ｓ−５ｇｇ＋ｈｈ）／３２ …（３）

あるいは、垂直方向フィルタリングにより１／２画素信号ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆを生成した後、水平方向フィルタリングによって次式（４）のように画素ｊを生成しても良い。
ｊ＝（ｃｃ−５ｄｄ＋２０ｈ＋２０ｍ−５ｅｅ＋ｆｆ）／３２ …（４）

次に、全ての１／２画素信号が計算された後に、平均値フィルタを用いて１／４画素信号が生成される。図１の画素ａ、ｃ、ｉ、ｋは、隣接する整数画素信号または１／２画素信号に水平方向の平均値フィルタを施すことによって生成される。例えば、画素ａは次式（５）により計算される。
ａ＝（Ｇ＋ｂ）／２ …（５）

画素ｄ、ｆ、ｎ、ｑは、隣接する整数画素信号または１／２画素信号に垂直方向の平均値フィルタを施すことによって生成される。例えば、画素ｆは次式（６）により計算される。
ｆ＝（ｂ＋ｊ）／２ …（６）

画素ｅ、ｇ、ｐ、ｒは、斜め方向の平均値フィルタを施すことで計算される。例えば、画素ｒは、次式（７）により計算される。
ｒ＝（ｍ＋ｓ）／２ …（７）

このようにして、Ｈ．２６４符号化方式では、常に固定の６タップのフィルタと２タップの平均値フィルタとを使って整数画素精度の参照画像から１／４画素精度の参照画像が生成される。

一方で、一般的に映像はフレームごとに異なる画素精度の動き量や周波数特性を持つため、フレームごとに異なるフィルタを用いて分数画素精度の参照画像を生成することが好ましい。

下記非特許文献１には、フレームごとに異なるフィルタを用いて１／４画素精度の参照画像を生成することが開示されている。具体的には、分数画素精度の各位置（図１におけるａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｎ、ｐ、ｑ、ｒの位置）ごとに、水平・垂直方向の対象性に制限のある２次元の６タップフィルタを用意し、各フィルタを整数画素精度の参照画像に施すことで１／４画素精度の参照画像が直接生成される。この場合、１／４画素精度の参照画像を生成するためのフィルタがフレームごとに変更されるため、各フレームで５４個のフィルタ係数の情報を符号化・復号化する必要がある。

また、下記非特許文献２では、１／２画素精度の参照画像を生成するフィルタがフレームごとに変更されている。具体的には、(ａ１、ａ２、ａ３、ａ３、ａ２、ａ１)のようなフィルタ係数の、１次元の対称形６タップフィルタを用いて、整数画素精度の参照画像から１／２画素精度の参照画像が生成される。１／４画素精度の参照画像は、Ｈ．２６４符号化方式と同様に、１／２画素精度の参照画像に係数（１、１）／２の２タップの平均値フィルタを施して生成される。フレームごとに１／２画素精度の参照画像を生成するためのフィルタ係数が異なるので、各フレームで３個のフィルタ係数（ａ１、ａ２、ａ３）の情報を符号化・復号化する必要がある。

Ｙ．Ｖａｔｉｓ，Ｂ．Ｅｄｌｅｒ，Ｄ．Ｎｇｕｙｅｎ、Ｊ．Ｏｓｔｅｒｍａｎｎ，"Ｍｏｔｉｏｎ−ａｎｄ Ａｌｉａｓｉｎｇ−Ｃｏｍｐｅｎｓａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｎｏｎ−Ｓｅｐａｒａｂｌｅ Ａｄａｐｔｉｖｅ Ｗｉｅｎｅｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ"，Ｐｒｏｃ．ＩＣＩＰ２００５，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｇｅｎｏｖａ， Ｉｔａｌｙ， Ｓｅｐｔｅｍｂｅｒ ２００５． Ｔ．Ｗｅｄｉ，"Ａｄａｐｔｉｖｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ ｆｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ"，Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ ２００１），２００１．

Ｈ．２６４符号化方式では、常に固定のフィルタを用いて分数画素精度の参照画像が作成されるので、符号化するフレームごとの特徴にあった参照画像を生成することができない。非特許文献１では、符号化するフレームごとに１／４画素精度の参照画像を作成する５４個のフィルタ係数が符号化されるため、フィルタ係数の情報が多くなり、符号化効率が低下するという問題がある。非特許文献２では、符号化するフレームごとに１／２画素信号を生成する３個のフィルタ係数のみを符号化すればよいので非特許文献１に比べてフィルタ係数の符号化量は少ないが、依然としてフィルタ係数を符号化する必要がある。また、非特許文献１、非特許文献２共に水平・垂直方向に関して対称のフィルタであるため、水平と垂直方向に異なる特性を持つ映像に対しては、高い精度で動き補償することができないという問題がある。

本発明は、以上の点を鑑みてなされたもので、符号化するフレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して符号化および復号化する場合に、フィルタ係数の符号量を低減しつつ、水平方向と垂直方向に異なる特性を持つ映像に対しても高い精度で動き補償することができる動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラムを提供することを目的とする。

本発明の動画像符号化装置は、フレーム画像の時間系列で構成される動画像に対して、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償する動画像符号化装置であって、過去のフレーム画像の符号化に使われたフィルタを蓄積するフィルタ情報蓄積手段と、現在のフレーム画像の符号化に使うフィルタを、少なくともフィルタ情報蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から選んで決定するフィルタ決定手段と、フィルタ決定手段により決定されたフィルタを示す情報を符号化するフィルタ情報符号化手段と、を備えることを特徴とする。

また、本発明の動画像符号化方法は、動画像符号化装置が、フレーム画像の時間系列で構成される動画像に対して、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償する動画像符号化方法であって、動画像符号化装置が、過去のフレーム画像の符号化に使われたフィルタを蓄積するフィルタ情報蓄積ステップと、動画像符号化装置が、現在のフレーム画像の符号化に使うフィルタを、少なくともフィルタ情報蓄積ステップにおいて蓄積されたフィルタを含む複数のフィルタ候補の中から選んで決定するフィルタ決定ステップと、動画像符号化装置が、フィルタ決定ステップにおいて決定されたフィルタを示す情報を符号化するフィルタ情報符号化ステップと、を備えることを特徴とする。

また、本発明の動画像符号化プログラムは、コンピュータを、フレーム画像の時間系列で構成される動画像に対して、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償するように機能させる動画像符号化プログラムであって、コンピュータを、過去のフレーム画像の符号化に使われたフィルタを蓄積するフィルタ情報蓄積手段と、現在のフレーム画像の符号化に使うフィルタを、少なくともフィルタ情報蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から選んで決定するフィルタ決定手段と、フィルタ決定手段により決定されたフィルタを示す情報を符号化するフィルタ情報符号化手段と、して機能させることを特徴とする。

このような動画像符号化装置、動画像符号化方法及び動画像符号化プログラムによれば、フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して符号化する場合に、少なくとも過去のフレーム画像の符号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択及び決定される。そのため、過去のフレーム画像の符号化に使われたフィルタを示す情報を符号化するだけで足り、その結果、フィルタ係数の符号量を低減することができる。また、多様なフィルタを分数画素精度の参照画像を作成するために使用することができるので、高い精度で動き補償をすることが可能になる。

本発明の動画像符号化装置では、フィルタ情報符号化手段は、フィルタ決定手段により決定されたフィルタが過去のフレーム画像の符号化に使われたフィルタである場合、当該フィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像を識別する識別子とを符号化することが好ましい。

また、本発明の動画像符号化方法では、フィルタ情報符号化ステップは、フィルタ決定ステップにおいて決定されたフィルタが過去のフレーム画像の符号化に使われたフィルタである場合、当該フィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像とを識別する識別子を符号化することが好ましい。

この場合、過去のフレーム画像の符号化に使われたフィルタが現在のフレーム画像の符号化に使うフィルタとして決定されると、過去のフレーム画像の符号化に使われたフィルタであることを示す識別子と、そのフィルタが使われた過去のフレーム画像を識別する識別子とが符号化される。すなわち、これらの識別子を符号化するだけで足り、フィルタ係数を符号化する必要が無い。その結果、フィルタ係数の符号量を低減することができる。

本発明の動画像符号化装置では、フィルタ情報蓄積手段は、参照画像が複数ある場合に、参照画像ごとに過去のフレーム画像の符号化に使われたフィルタを蓄積し、フィルタ決定手段は、参照画像が複数ある場合に、少なくともフィルタ蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から、参照画像ごとに現在のフレームの符号化に使うフィルタを選ぶことが好ましい。

また、本発明の動画像符号化方法においては、フィルタ情報蓄積ステップでは、参照画像が複数ある場合に、参照画像ごとに過去のフレーム画像の符号化に使われたフィルタを蓄積し、フィルタ決定ステップでは、参照画像が複数ある場合に、少なくともフィルタ蓄積ステップにおいて蓄積されたフィルタを含む複数のフィルタ候補の中から、参照画像ごとに現在のフレームの符号化に使うフィルタを選ぶことが好ましい。

この場合、参照画像が複数存在すると、現在のフレームの符号化に使うフィルタが参照画像毎に選択されるので、参照画像毎に異なるフィルタを用いて分数画素精度の参照画像を生成して動き補償し、符号化することが可能になる。そのため、符号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することができる。

本発明の動画像符号化装置では、フィルタ情報符号化手段は、参照画像が複数あり、且つフィルタ決定手段により決定されたフィルタが過去のフレーム画像の符号化に使われたフィルタである場合に、参照画像ごとに、当該フィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像のフィルタ情報を識別する識別子とを符号化することが好ましい。

また、本発明の動画像符号化方法においては、フィルタ情報符号化ステップでは、参照画像が複数あり、且つフィルタ決定ステップにおいて決定されたフィルタが過去のフレーム画像の符号化に使われたフィルタである場合に、参照画像ごとに、当該フィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像のフィルタ情報を識別する識別子とを符号化することが好ましい。

この場合、過去のフレーム画像の符号化に使われたフィルタが現在のフレーム画像の符号化に使うフィルタとして決定されると、過去のフレーム画像の符号化に使われたフィルタであることを示す識別子と、そのフィルタが使われた過去のフレーム画像を識別する識別子とが符号化される。すなわち、これらの識別子を符号化するだけで足り、フィルタ係数を符号化する必要が無い。その結果、フィルタ係数の符号量を低減することができる。また、この符号化は参照画像毎に実行されるので、符号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することができる。

本発明の動画像符号化装置は、フレーム画像の時間系列で構成される動画像に対して、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償する動画像符号化装置であって、１フレーム前のフレーム画像の符号化に使われたフィルタを蓄積するフィルタ情報蓄積手段と、現在のフレーム画像の符号化に使うフィルタを、少なくともフィルタ情報蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から選んで決定するフィルタ決定手段と、フィルタ決定手段により決定されたフィルタを示す情報を符号化するフィルタ情報符号化手段と、を備えることを特徴とする。

また、本発明の動画像符号化方法は、動画像符号化装置が、フレーム画像の時間系列で構成される動画像に対して、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償する動画像符号化方法であって、動画像符号化装置が、１フレーム前のフレーム画像の符号化に使われたフィルタを蓄積するフィルタ情報蓄積ステップと、動画像符号化装置が、現在のフレーム画像の符号化に使うフィルタを、少なくともフィルタ情報蓄積ステップにおいて蓄積されたフィルタを含む複数のフィルタ候補の中から選んで決定するフィルタ決定ステップと、動画像符号化装置が、フィルタ決定ステップにおいて決定されたフィルタを示す情報を符号化するフィルタ情報符号化ステップと、を備えることを特徴とする。

このような動画像符号化装置及び動画像符号化方法によれば、フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して符号化する場合に、少なくとも１フレーム前のフレーム画像の符号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択及び決定される。そのため、決定されたフィルタが１フレーム前のフレーム画像の符号化に使われたフィルタである場合に、１フレーム前のフレーム画像の符号化に使われたフィルタを示す情報を符号化するだけで足りる。その結果、フィルタ係数の符号量を低減することができる。

本発明の動画像符号化装置では、フィルタ情報符号化手段は、フィルタ決定手段により決定されたフィルタが１フレーム前のフレーム画像の符号化に使われたフィルタである場合、当該フィルタであることを示す識別子を符号化することが好ましい。

また、本発明の動画像符号化方法では、フィルタ情報符号化ステップは、フィルタ決定ステップにおいて決定されたフィルタが１フレーム前のフレーム画像の符号化に使われたフィルタである場合、当該フィルタであることを示す識別子を符号化することが好ましい。

この場合、１フレーム前のフレーム画像の符号化に使われたフィルタが現在のフレーム画像の符号化に使うフィルタとして決定されると、１フレーム前のフレーム画像の符号化に使われたフィルタであることを示す識別子が符号化される。すなわち、この識別子を符号化するだけで足り、フィルタ係数を符号化する必要が無い。その結果、フィルタ係数の符号量を低減することができる。

本発明の動画像符号化装置では、フィルタ情報蓄積手段は、参照画像が複数ある場合に、参照画像ごとに１フレーム前のフレーム画像の符号化に使われたフィルタを蓄積し、フィルタ決定手段は、参照画像が複数ある場合に、少なくともフィルタ蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から、参照画像ごとに現在のフレームの符号化に使うフィルタを選ぶことが好ましい。

また、本発明の動画像符号化方法においては、フィルタ情報蓄積ステップでは、参照画像が複数ある場合に、参照画像ごとに１フレーム前のフレーム画像の符号化に使われたフィルタを蓄積し、フィルタ決定ステップでは、参照画像が複数ある場合に、少なくともフィルタ蓄積ステップにおいて蓄積されたフィルタを含む複数のフィルタ候補の中から、参照画像ごとに現在のフレームの符号化に使うフィルタを選ぶことが好ましい。

この場合、参照画像が複数存在すると、現在のフレームの符号化に使うフィルタが参照画像毎に選択されるので、参照画像毎に異なるフィルタを用いて分数画素精度の参照画像を生成して動き補償し、符号化することが可能になる。そのため、符号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することができる。

本発明の動画像符号化装置では、フィルタ情報符号化手段は、参照画像が複数あり、且つフィルタ決定手段により決定されたフィルタが１フレーム前のフレーム画像の符号化に使われたフィルタである場合に、参照画像ごとに、当該フィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像のフィルタ情報を識別する識別子とを符号化することが好ましい。

また、本発明の動画像符号化方法においては、フィルタ情報符号化ステップでは、参照画像が複数あり、且つフィルタ決定ステップにおいて決定されたフィルタが１フレーム前のフレーム画像の符号化に使われたフィルタである場合に、参照画像ごとに、当該フィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像のフィルタ情報を識別する識別子とを符号化することが好ましい。

この場合、１フレーム前のフレーム画像の符号化に使われたフィルタが現在のフレーム画像の符号化に使うフィルタとして決定されると、決定されたフィルタを示す識別子と、そのフィルタが使われた過去のフレーム画像のフィルタ情報を識別する識別子とが符号化される。このように二つの識別子を符号化するだけで足りるのでフィルタ係数を符号化する必要がない。その結果、フィルタ係数の符号量を低減できる。また、この符号化は参照画像毎に実行されるので、符号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することができる。

本発明の動画像符号化装置では、フィルタ決定手段は、現在のフレーム画像の符号化に使うフィルタを、水平・垂直方向に独立な非対称形フィルタを更に含むフィルタ候補の中から選んで決定することが好ましい。

また、本発明の動画像符号化方法では、フィルタ決定ステップは、現在のフレーム画像の符号化に使うフィルタを、水平・垂直方向に独立な非対称形フィルタを更に含むフィルタ候補の中から選んで決定することが好ましい。

この場合、フィルタ候補に水平・垂直方向に独立な非対称形フィルタが更に含まれるので、その非対称系フィルタが現在のフレーム画像の符号化に使うフィルタとして決定されると、少ないフィルタ係数の符号量で水平方向と垂直方向とで異なる特性を持つ映像に対しても高い精度で動き補償することができる。

本発明の動画像符号化装置では、フィルタ情報符号化手段は、フィルタ決定手段により決定されたフィルタが非対称形フィルタである場合、当該非対称形フィルタであることを示す識別子と、当該非対称形フィルタのフィルタ係数とを符号化することが好ましい。

本発明の動画像符号化方法では、フィルタ情報符号化ステップは、フィルタ決定ステップにおいて決定されたフィルタが非対称形フィルタである場合、当該非対称形フィルタであることを示す識別子と、当該非対称形フィルタのフィルタ係数とを符号化することが好ましい。

この場合、非対称形フィルタが現在のフレーム画像の符号化に使うフィルタとして決定されると、水平・垂直方向に独立な非対称形フィルタであることを示す識別子と、そのフィルタのフィルタ係数とが符号化される。そのため、少ないフィルタ係数の符号量で水平方向と垂直方向とで異なる特性を持つ映像に対しても高い精度で動き補償することができる。

本発明の動画像符号化装置では、フィルタ決定手段は、現在のフレーム画像の符号化に使うフィルタを、予め定められた基準フィルタを更に含むフィルタ候補の中から選んで決定することが好ましい。

また、本発明の動画像符号化方法では、フィルタ決定ステップは、現在のフレーム画像の符号化に使うフィルタを、予め定められた基準フィルタを更に含むフィルタ候補の中から選んで決定することが好ましい。

この場合、フィルタ候補に基準フィルタが更に含まれるので、その基準フィルタが現在のフレーム画像の符号化に使うフィルタとして決定されると、その基準フィルタを示す情報を符号化するだけで足りる。その結果、フィルタ係数の符号量を低減することができる。

本発明の動画像符号化装置では、フィルタ情報符号化手段は、フィルタ決定手段により決定されたフィルタが基準フィルタである場合、当該基準フィルタを示す識別子を符号化することが好ましい。

また、本発明の動画像符号化方法では、フィルタ情報符号化ステップは、フィルタ決定ステップにおいて決定されたフィルタが基準フィルタである場合、当該基準フィルタを示す識別子を符号化することが好ましい。

この場合、基準フィルタが決定された場合にその基準フィルタを示す識別子が符号化される。すなわち、この識別子を符号化するだけで足り、フィルタ係数を符号化する必要が無い。その結果、フィルタ係数の符号量を低減することができる。

本発明の動画像復号化装置は、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償し、フレーム画像の時間系列で構成される動画像を復号化する動画像復号化装置であって、過去のフレーム画像の復号化に使われたフィルタを蓄積するフィルタ情報蓄積手段と、現在のフレーム画像の復号化に使うフィルタを、少なくともフィルタ情報蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から選んで復号化するフィルタ情報復号化手段と、を備えることを特徴とする。

また、本発明の動画像復号化方法は、動画像復号化装置が、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償し、フレーム画像の時間系列で構成される動画像を復号化する動画像復号化方法であって、動画像復号化装置が、過去のフレーム画像の復号化に使われたフィルタを蓄積するフィルタ情報蓄積ステップと、動画像復号化装置が、現在のフレーム画像の復号化に使うフィルタを、少なくともフィルタ情報蓄積ステップにおいて蓄積されたフィルタを含む複数のフィルタ候補の中から選んで復号化するフィルタ情報復号化ステップと、を備えることを特徴とする。

また、本発明の動画像復号化プログラムは、コンピュータを、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償し、フレーム画像の時間系列で構成される動画像を復号化するように機能させる動画像復号化プログラムであって、コンピュータを、過去のフレーム画像の復号化に使われたフィルタを蓄積するフィルタ情報蓄積手段と、現在のフレーム画像の復号化に使うフィルタを、少なくともフィルタ情報蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から選んで復号化するフィルタ情報復号化手段と、して機能させることを特徴とする。

このような動画像復号化装置、動画像復号化方法及び動画像復号化プログラムによれば、フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して復号化する場合に、少なくとも過去のフレーム画像の復号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択される。そのため、過去のフレーム画像の復号化に使われたフィルタを示す情報を復号化するだけで足りる。その結果、復号化するフィルタ係数の符号量を低減することができる。また、多様なフィルタを分数画素精度の参照画像を作成するために使用することができるので、高い精度で動き補償をすることが可能になる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、過去のフレーム画像の復号化に使われたフィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像を識別する識別子とを復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップは、過去のフレーム画像の復号化に使われたフィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像を識別する識別子とを復号化することが好ましい。

この場合、過去のフレーム画像の復号化に使われたフィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、過去のフレーム画像の復号化に使われたフィルタであることを示す識別子と、そのフィルタが使われた過去のフレーム画像を識別する識別子とが復号化される。すなわち、これらの識別子を復号化するだけで足り、フィルタ係数を復号化する必要が無い。その結果、復号化するフィルタ係数の符号量を低減することができる。

本発明の動画像復号化装置では、フィルタ情報蓄積手段は、参照画像が複数ある場合に、参照画像ごとに過去のフレーム画像の復号化に使われたフィルタを蓄積することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報蓄積ステップでは、参照画像が複数ある場合に、参照画像ごとに過去のフレーム画像の復号化に使われたフィルタを蓄積することが好ましい。

この場合、参照画像が複数存在すると、現在のフレームの符号化に使うフィルタが参照画像毎に蓄積されるので、参照画像毎に異なるフィルタを用いて分数画素精度の参照画像を動き補償し、復号化することが可能になる。その結果、復号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することができる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、参照画像が複数ある場合に、参照画像ごとに、過去のフレーム画像の復号化に使われたフィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像を識別する識別子とを復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップでは、参照画像が複数ある場合に、参照画像ごとに、過去のフレーム画像の復号化に使われたフィルタであることを示す識別子と、当該フィルタが使われた過去のフレーム画像を識別する識別子とを復号化することが好ましい。

この場合、過去のフレーム画像の復号化に使われたフィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、過去のフレーム画像の復号化に使われたフィルタであることを示す識別子と、そのフィルタが使われた過去のフレーム画像を識別する識別子とが復号化される。すなわち、これらの識別子を復号化するだけで足り、フィルタ係数を復号化する必要が無い。その結果、復号化するフィルタ係数の符号量を低減することができる。また、この復号化は参照画像毎に実行されるので、復号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することができる。

本発明の動画像復号化装置は、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償し、フレーム画像の時間系列で構成される動画像を復号化する動画像復号化装置であって、１フレーム前のフレーム画像の復号化に使われたフィルタを蓄積するフィルタ情報蓄積手段と、現在のフレーム画像の復号化に使うフィルタを、少なくともフィルタ情報蓄積手段により蓄積されたフィルタを含む複数のフィルタ候補の中から選んで復号化するフィルタ情報復号化手段と、を備えることを特徴とする。

また、本発明の動画像復号化方法は、動画像復号化装置が、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償し、フレーム画像の時間系列で構成される動画像を復号化する動画像復号化方法であって、動画像復号化装置が、１フレーム前のフレーム画像の復号化に使われたフィルタを蓄積するフィルタ情報蓄積ステップと、動画像復号化装置が、現在のフレーム画像の復号化に使うフィルタを、少なくともフィルタ情報蓄積ステップにおいて蓄積されたフィルタを含む複数のフィルタ候補の中から選んで復号化するフィルタ情報復号化ステップと、を備えることを特徴とする。

このような動画像復号化装置及び動画像復号化方法によれば、フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して復号化する場合に、少なくとも１フレーム前のフレーム画像の復号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択される。そのため、１フレーム前のフレーム画像の復号化に使われたフィルタを示す情報を復号化するだけで足りる。その結果、復号化するフィルタ係数の符号量を低減することができる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、１フレーム前のフレーム画像の復号化に使われたフィルタであることを示す識別子を復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップは、１フレーム前のフレーム画像の復号化に使われたフィルタであることを示す識別子を復号化することが好ましい。

この場合、１フレーム前のフレーム画像の復号化に使われたフィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、１フレーム前のフレーム画像の復号化に使われたフィルタであることを示す識別子が復号化される。すなわち、この識別子を復号化するだけで足り、フィルタ係数を復号化する必要が無い。その結果、復号化するフィルタ係数の符号量を低減することができる。

本発明の動画像復号化装置では、フィルタ情報蓄積手段は、参照画像が複数ある場合に、参照画像ごとに１フレーム前のフレーム画像の復号化に使われたフィルタを蓄積することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報蓄積ステップでは、参照画像が複数ある場合に、参照画像ごとに１フレーム前のフレーム画像の復号化に使われたフィルタを蓄積することが好ましい。

この場合、参照画像が複数存在すると、１フレーム前のフレーム画像の復号化に使われたフィルタが参照画像毎に蓄積されるので、参照画像毎に異なるフィルタを用いて分数画素精度の参照画像を動き補償し、復号化することが可能になる。その結果、復号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することが可能になる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、参照画像が複数ある場合に、参照画像ごとに１フレーム前のフレーム画像の復号化に使われたフィルタであることを示す識別子を復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップでは、参照画像が複数ある場合に、参照画像ごとに、１フレーム前のフレーム画像の復号化に使われたフィルタであることを示す識別子を復号化することが好ましい。

この場合、１フレーム前のフレーム画像の復号化に使われたフィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、１フレーム前のフレーム画像の復号化に使われたフィルタであることを示す識別子が復号化される。すなわち、この識別子を復号化するだけで足り、フィルタ係数を復号化する必要が無い。その結果、復号化するフィルタ係数の符号量を低減することができる。また、この復号化は参照画像毎に実行されるので、復号化するフレーム画像が各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高い精度で動き補償することが可能になる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、現在のフレーム画像の復号化に使うフィルタを、水平・垂直方向に独立な非対称形フィルタを更に含むフィルタ候補の中から選んで復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップは、現在のフレーム画像の復号化に使うフィルタを、水平・垂直方向に独立な非対称形フィルタを更に含むフィルタ候補の中から選んで復号化することが好ましい。

この場合、フィルタ候補に水平・垂直方向に独立な非対称形フィルタが更に含まれる。そのため、その非対称系フィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、復号化するフィルタ係数の符号量が少なくても、水平方向と垂直方向とで異なる特性を持つ映像に対しても高い精度で動き補償することができる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、非対称形フィルタであることを示す識別子と、当該非対称形フィルタのフィルタ係数とを復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップは、非対称形フィルタであることを示す識別子と、当該非対称形フィルタのフィルタ係数とを復号化することが好ましい。

この場合、水平・垂直方向に独立な非対称形フィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、その非対称形フィルタであることを示す識別子と、その非対称形フィルタのフィルタ係数とが復号化される。そのため、復号化するフィルタ係数の符号量が少なくても、水平方向と垂直方向とで異なる特性を持つ映像に対しても高い精度で動き補償することができる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、現在のフレーム画像の復号化に使うフィルタを、予め定められた基準フィルタを更に含むフィルタ候補の中から選んで復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップは、現在のフレーム画像の復号化に使うフィルタを、予め定められた基準フィルタを更に含むフィルタ候補の中から選んで復号化することが好ましい。

この場合、フィルタ候補に基準フィルタが更に含まれるので、その基準フィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、その基準フィルタを示す情報を復号化するだけで足りる。その結果、復号化するフィルタ係数の符号量を低減することができる。

本発明の動画像復号化装置では、フィルタ情報復号化手段は、基準フィルタを示す識別子を復号化することが好ましい。

また、本発明の動画像復号化方法では、フィルタ情報復号化ステップは、基準フィルタを示す識別子を復号化することが好ましい。

この場合、基準フィルタが現在のフレーム画像の復号化に使うフィルタとして選択されると、その基準フィルタを示す識別子が復号化される。すなわち、この識別子を復号化するだけで足り、フィルタ係数を復号化する必要が無い。その結果、復号化するフィルタ係数の符号量を低減することができる。

このような動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラムによれば、フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して符号化および復号化する場合に、フィルタ係数の符号量を低減しつつ、水平方向と垂直方向に異なる特性を持つ映像に対しても高い精度で動き補償することができる。

１／４画素精度を持つ参照画像の画素の配置図である。 第１実施形態に係る動画像符号化装置の構成を示すブロック図である。 図２に示すフィルタ決定部を説明するブロック図である。 第１実施形態に係る動画像符号化方法を説明するフローチャートである。 図４に示すフィルタ決定ステップを説明するフローチャートである。 図４に示すフィルタ情報符号化ステップを説明するフローチャートである。 第１実施形態に係る動画像符号化プログラムの構成を示す図である。 第１実施形態に係る動画像復号化装置の構成を示すブロック図である。 第１実施形態に係る動画像復号化方法を説明するフローチャートである。 図９に示すフィルタ情報復号化ステップを説明するフローチャートである。 第１実施形態に係る動画像復号化プログラムの構成を示す図である。 第２実施形態における符号化対象のフレームと参照フレームの符号化順について説明する図である。 第２実施形態におけるフィルタ決定ステップを説明するフローチャートである。 第２実施形態におけるフィルタ情報符号化ステップを説明するフローチャートである。 第２実施形態における復号化対象のフレームと参照フレームの復号化順について説明する図である。 第２実施形態におけるフィルタ情報復号化ステップを説明するフローチャートである。

（第１実施形態）
本発明の第１実施形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラムについて図面を参照して説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。

図２は本実施形態に係る動画像符号化装置２０の構成を示すブロック図である。動画像符号化装置２０はその機能的な構成要素として、入力部２０１と、フィルタ決定部（フィルタ決定手段）２０２と、フィルタ情報蓄積部（フィルタ情報蓄積手段）２０３と、分数精度参照画像作成部２０４と、フィルタ情報符号化部（フィルタ情報符号化手段）２０５と、フレームメモリ２０６と、フレーム画像符号化／復号化部２０７と、出力部２０８とを備えて構成される。

入力部２０１は、外部から入力されたフレーム画像の時間系列で構成される入力映像信号２０９を符号化対象のフレーム画像２１０に分解して、フィルタ決定部２０２およびフレーム画像符号化／復号化部２０７へ出力する。

フレームメモリ２０６は、過去に復号化済みのフレーム画像を保持しており、それらのフレーム画像を参照画像２１１としてフィルタ決定部２０２と分数精度参照画像作成部２０４とへ出力する。

フィルタ情報蓄積部２０３は、１フレーム前のフレーム画像を符号化する際に分数精度の参照画像を作成するために使われたフィルタ（前フレームフィルタ情報２１２）を保持している。前フレームフィルタ情報２１２は、フィルタ決定部２０２および分数精度参照画像作成部２０４に参照される。また、前フレームフィルタ情報２１２は、フィルタ情報符号化部２０５に参照および更新される。

フィルタ決定部２０２は、入力部２０１から入力されたフレーム画像２１０と、フレームメモリ２０６から入力された参照画像２１１とを使い、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を参照しながら、現在の符号化対象のフレーム画像を符号化するための分数精度の参照画像を作成するフィルタ情報２１３を決定し、分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

フィルタ情報符号化部２０５は、フィルタ決定部２０２から入力されたフィルタ情報２１３を使って、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を参照しながらフィルタ情報２１３を符号化してフィルタ情報符号化ビットストリーム２１４を作成し、出力部２０８へ出力する。またフィルタ情報符号化部２０５は、フィルタ決定部から入力されたフィルタ情報２１３を使って、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２をフィルタ情報２１３に更新する。

分数精度参照画像作成部２０４は、フィルタ決定部２０２から入力されたフィルタ情報２１３と、フレームメモリ２０６から入力された参照画像２１１とを使って、分数精度参照画像２１５を作成し、フレーム画像符号化／復号化部２０７へ出力する。

フレーム画像符号化／復号化部２０７は、入力部２０１から入力されたフレーム画像２１０と、分数精度参照画像作成部２０４から入力された分数精度参照画像２１５とを使って動き補償して符号化対象フレームの符号化を行い、フレーム画像符号化ビットストリーム２１６を出力部２０８へ出力する。また、フレーム画像符号化／復号化部２０７は、符号化されたフレーム画像を局所復号化し、復号化されたフレーム画像を復号化済みフレーム画像２１７としてフレームメモリ２０６へ出力する。

出力部２０８は、フィルタ情報符号化部２０５から入力されたフィルタ情報符号化ビットストリーム２１４と、フレーム画像符号化／復号化部２０７から入力されたフレーム画像符号化ビットストリーム２１６とを合わせて外部へ出力する。

次に、フィルタ決定部２０２、フィルタ情報蓄積部２０３、分数精度参照画像作成部２０４、フィルタ情報符号化部２０５及び出力部２０８についてさらに詳しく説明する。

図３を使って、フィルタ決定部２０２を説明する。フィルタ決定部２０２は、その機能的な構成要素として、第１フィルタ係数決定部２０２０１と、第１フィルタ符号化効率算出部２０２０２と、第２フィルタ符号化効率算出部２０２０３と、第３フィルタ符号化効率算出部２０２０４と、符号化効率比較部２０２０５とを備えて構成される。

第１フィルタ係数決定部２０２０１は、入力部２０１から入力されたフレーム画像２１０と、フレームメモリ２０６から入力された参照画像２１１とを使い、水平・垂直方向に独立で非対称形の、１／２画素精度の参照画像を作成する第１フィルタ２０２０６を決定する。第１フィルタは、その係数が水平方向（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）及び垂直方向（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）（ｂ１〜ｂ６およびｈ１〜ｈ６は実数）に各６タップ設けられた１次元フィルタである。第１フィルタ係数決定部２０２０１は、決定した第１フィルタ２０２０６と、フレーム画像２１０と、参照画像２１１とを、第１フィルタ符号化効率算出部２０２０２へ出力する。

第１フィルタ２０２０６の決定方法について詳細に説明する。第１フィルタ係数決定部２０２０１は、まず、係数ｂ１〜ｂ６及びｈ１〜ｈ６を所定値（係数間で値が異なる場合もあれば複数の係数が同一の値になる場合もある）に設定する。次に、第１フィルタ係数決定部２０２０１は、設定された係数により定義される１次元フィルタを用いて参照画像２１１をフィルタリングする。そして、第１フィルタ係数決定部２０２０１は、フレーム画像２１０とフィルタリングされた参照画像２１１を用いて動き補償を行い、フレーム画像２１０と動き補償された画像との差分値を算出する。第１フィルタ係数決定部２０２０１は、係数ｂ１〜ｂ６及びｈ１〜ｈ６の値を変えながらこれらの処理を所定の回数繰り返し、最終的に、最も小さい差分値を算出できた１次元フィルタを第１フィルタ２０２０６と決定する。なお、第１フィルタ２０２０６の決定方法はこれに限定されない。

第１フィルタ符号化効率算出部２０２０２は、第１フィルタ係数決定部２０２０１から入力された第１フィルタ２０２０６と、フレーム画像２１０と、参照画像２１１とを使って、第１フィルタによって参照画像２１１から１／４画素精度の参照画像を生成し、その参照画像を使ってフレーム画像２１０を符号化したときの符号量を算出する。

第１フィルタを使って参照画像２１１から１／４画素精度の参照画像を生成する方法について説明する。まず、第１フィルタ符号化効率算出部２０２０２は、第１フィルタ２０２０６を使って参照画像２１１の１／２画素精度の参照画像を生成する。図１を使って具体的に説明する。画素ｂは、整数画素Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊに水平方向の６タップフィルタ（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）を施すことによって次式（８）のように計算される。
ｂ＝（ｂ１ｘＥ＋ｂ２ｘＦ＋ｂ３ｘＧ＋ｂ４ｘＨ＋ｂ５ｘＩ＋ｂ６ｘＪ） …（８）

画素ｈは、整数画素Ａ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔに垂直方向の６タップフィルタ（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）を施すことによって次式（９）のように計算される。
ｈ＝（ｈ１ｘＡ＋ｈ２ｘＣ＋ｈ３ｘＧ＋ｈ４ｘＭ＋ｈ５ｘＲ＋ｈ６ｘＴ） …（９）

４つの整数画素信号の中間位置にある１／２画素信号は、隣接する１／２画素信号の平均値によって生成される。これにより画素ｊは、１／２画素信号ｂ、ｈ、ｍ、ｓの平均値を算出することによって次式（１０）のように計算される。
ｊ＝（ｂ＋ｈ＋ｍ＋ｓ）／４ …（１０）

次に、第１フィルタ符号化効率算出部２０２０２は、１／２画素精度の参照画像から１／４画素精度の参照画像を生成する。同様に図１を使って説明する。画素ａ、ｃ、ｉ、ｋは、隣接する整数画素信号または１／２画素信号に水平方向の平均値フィルタを施すことによって生成される。
ａ＝（Ｇ＋ｂ）／２ …（１１）
ｃ＝（ｂ＋Ｈ）／２ …（１２）
ｉ＝（ｈ＋ｊ）／２ …（１３）
ｋ＝（ｊ＋ｍ）／２ …（１４）

画素ｄ、ｆ、ｎ、ｑは、隣接する整数画素信号または１／２画素信号に垂直方向の平均値フィルタを施すことによって生成される。
ｄ＝（Ｇ＋ｈ）／２ …（１５）
ｆ＝（ｂ＋ｊ）／２ …（１６）
ｎ＝（ｈ＋Ｍ）／２ …（１７）
ｑ＝（ｊ＋ｓ）／２ …（１８）

画素ｅ、ｇ、ｐ、ｒは、隣接する整数画素信号または１／２画素信号の平均値によって生成される。
ｅ＝（Ｇ＋ｂ＋ｈ＋ｊ）／４ …（１９）
ｇ＝（ｂ＋Ｈ＋ｊ＋ｍ）／４ …（２０）
ｐ＝（ｈ＋ｊ＋Ｍ＋ｓ）／４ …（２１）
ｒ＝（ｊ＋ｍ＋ｓ＋Ｎ）／４ …（２２）

第１フィルタ符号化効率算出部２０２０２は、作成した１／４画素精度の参照画像を使ってフレーム画像２１０を符号化したときの符号量と、第１フィルタのフィルタ係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）を符号化したときの符号量の合計値Ｓ１とを算出する。次に、第１フィルタ符号化効率算出部２０２０２は、第１フィルタと符号量Ｓ１とを第１フィルタ情報２０２０７として符号化効率比較部２０２０５へ出力する。

第２フィルタ符号化効率算出部２０２０３は、フレーム画像２１０と、参照画像２１１とを使うとともに第２フィルタ符号化効率算出部２０２０３内にあらかじめ保持している基準フィルタである第２フィルタを使って、参照画像２１１から１／４画素精度の参照画像を生成し、その参照画像を使ってフレーム画像２１０を符号化したときの符号量を算出する。上記基準フィルタは、水平・垂直方向に同一で対称形の（１、−５、２０、２０、−５、１）／３２の６タップの１次元フィルタである。

第２フィルタを使って参照画像２１１から１／４画素精度の参照画像を生成する方法について説明する。まず、第２フィルタ符号化効率算出部２０２０３は、第２フィルタを使って参照画像２１１の１／２画素精度の参照画像を生成する。図１を使って具体的に説明する。画素ｂは、整数画素Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊに水平方向の基準フィルタを施すことによって次式（２３）のように計算される。
ｂ＝（Ｅ−５Ｆ＋２０Ｇ＋２０Ｈ−５Ｉ＋Ｊ）／３２ …（２３）

画素ｈは、整数画素Ａ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔに垂直方向の基準フィルタを施すことによって次式（２４）のように計算される。
ｈ＝（Ａ−５Ｃ＋２０Ｇ＋２０Ｍ−５Ｒ＋Ｔ）／３２ …（２４）

４つの整数画素信号の中間位置にある１／２画素信号は、６タップフィルタを水平と垂直の両方に施すことにより生成される。画素ｊは、１／２画素信号ａａ、ｂｂ、ｂ、ｓ、ｇｇ、ｈｈを水平方向の６タップフィルタにより生成した後、これらの信号に垂直方向の６タップフィルタを施すことによって次式（２５）のように計算される。
ｊ＝（ａａ−５ｂｂ＋２０ｂ＋２０ｓ−５ｇｇ＋ｈｈ）／３２ …（２５）

あるいは、垂直方向フィルタリングにより１／２画素信号ｃｃ、ｄｄ、ｈ、ｍ、ｅｅ、ｆｆを生成した後、水平方向フィルタリングによって次式（２６）のように画素ｊを生成しても良い。
ｊ＝（ｃｃ−５ｄｄ＋２０ｈ＋２０ｍ−５ｅｅ＋ｆｆ）／３２ …（２６）

次に、第２フィルタ符号化効率算出部２０２０３は、１／２画素精度の参照画像からの１／４画素精度の参照画像を生成する。同様に図１を使って説明する。画素ａ、ｃ、ｉ、ｋは、隣接する整数画素信号または１／２画素信号に水平方向の平均値フィルタを施すことによって生成される。
ａ＝（Ｇ＋ｂ）／２ …（２７）
ｃ＝（ｂ＋Ｈ）／２ …（２８）
ｉ＝（ｈ＋ｊ）／２ …（２９）
ｋ＝（ｊ＋ｍ）／２ …（３０）

画素ｄ、ｆ、ｎ、ｑは、隣接する整数画素信号または１／２画素信号に垂直方向の平均値フィルタを施すことによって生成される。
ｄ＝（Ｇ＋ｈ）／２ …（３１）
ｆ＝（ｂ＋ｊ）／２ …（３２）
ｎ＝（ｈ＋Ｍ）／２ …（３３）
ｑ＝（ｊ＋ｓ）／２ …（３４）

画素ｅ、ｇ、ｐ、ｒは、斜め方向の平均値フィルタを施して計算される。
ｅ＝（ｂ＋ｈ）／２ …（３５）
ｇ＝（ｂ＋ｍ）／２ …（３６）
ｐ＝（ｈ＋ｓ）／２ …（３７）
ｒ＝（ｍ＋ｓ）／２ …（３８）

第２フィルタ符号化効率算出部２０２０３は、作成した１／４画素精度の参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ２を算出する。次に、第２フィルタ符号化効率算出部２０２０３は、符号量Ｓ２を第２フィルタ情報２０２０８として符号化効率比較部２０２０５へ出力する。

第３フィルタ符号化効率算出部２０２０４は、フィルタ情報蓄積部２０３内の前フレームフィルタ情報２１２を参照し、１フレーム前のフレーム画像を符号化する際に使われた１／２画素精度の参照画像作成用のフィルタである第３フィルタによって参照画像２１１から１／４画素精度の参照画像を生成し、その参照画像を使ってフレーム画像２１０を符号化したときの符号量を算出する。

第３フィルタを使って参照画像２１１から１／４画素精度の参照画像を生成する方法について説明する。まず、第３フィルタ符号化効率算出部２０２０４は、１フレーム前のフレーム画像を符号化する際に使われた１／２画素精度の参照画像作成用のフィルタである第３フィルタを使って参照画像２１１の１／２画素精度の参照画像を生成する。図１を使って具体的に説明する。なお、第３フィルタは、水平方向（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）及び垂直方向（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）（ｂ１’〜ｂ６’およびｈ１’〜ｈ６’は実数）に設定されているとする。画素ｂは、整数画素Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊに水平方向の６タップフィルタ（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）を施すことによって次式（３９）のように計算される。
ｂ＝（ｂ１’ｘＥ＋ｂ２’ｘＦ＋ｂ３’ｘＧ＋ｂ４’ｘＨ＋ｂ５’ｘＩ＋ｂ６’ｘＪ） …（３９）

画素ｈは、整数画素Ａ、Ｃ、Ｇ、Ｍ、Ｒ、Ｔに垂直方向の６タップフィルタ（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）を施すことによって次式（４０）のように計算される。
ｈ＝（ｈ１’ｘＡ＋ｈ２’ｘＣ＋ｈ３’ｘＧ＋ｈ４’ｘＭ＋ｈ５’ｘＲ＋ｈ６’ｘＴ） …（４０）

４つの整数画素信号の中間位置にある１／２画素信号は、隣接する１／２画素信号の平均値によって生成される。これにより画素ｊは、１／２画素信号ｂ、ｈ、ｍ、ｓの平均値を算出することによって次式（４１）のように計算される。
ｊ＝（ｂ＋ｈ＋ｍ＋ｓ）／４ …（４１）

次に、第３フィルタ符号化効率算出部２０２０４は、１／２画素精度の参照画像から参照画像２１１の１／４画素精度の参照画像を生成する。同様に図１を使って具体的に説明する。画素ａ、ｃ、ｉ、ｋは、隣接する整数画素信号または１／２画素信号に水平方向の平均値フィルタを施すことによって生成される。
ａ＝（Ｇ＋ｂ）／２ …（４２）
ｃ＝（ｂ＋Ｈ）／２ …（４３）
ｉ＝（ｈ＋ｊ）／２ …（４４）
ｋ＝（ｊ＋ｍ）／２ …（４５）

画素ｄ、ｆ、ｎ、ｑは、隣接する整数画素信号または１／２画素信号に垂直方向の平均値フィルタを施すことによって生成される。
ｄ＝（Ｇ＋ｈ）／２ …（４６）
ｆ＝（ｂ＋ｊ）／２ …（４７）
ｎ＝（ｈ＋Ｍ）／２ …（４８）
ｑ＝（ｊ＋ｓ）／２ …（４９）

画素ｅ、ｇ、ｐ、ｒは、隣接する整数画素信号または１／２画素信号の平均値によって生成される。
ｅ＝（Ｇ＋ｂ＋ｈ＋ｊ）／４ …（５０）
ｇ＝（ｂ＋Ｈ＋ｊ＋ｍ）／４ …（５１）
ｐ＝（ｈ＋ｊ＋Ｍ＋ｓ）／４ …（５２）
ｒ＝（ｊ＋ｍ＋ｓ＋Ｎ）／４ …（５３）

第３フィルタ符号化効率算出部２０２０４は、作成した１／４画素精度の参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ３を算出する。次に、第３フィルタ符号化効率算出部２０２０４は、符号量Ｓ３を第３フィルタ情報２０２０９として符号化効率比較部２０２０５へ出力する。

符号化効率比較部２０２０５は、第１フィルタ符号化効率算出部２０２０２から入力された第１フィルタ情報２０２０７と、第２フィルタ符号化効率算出部２０２０３から入力された第２フィルタ情報２０２０８と、第３フィルタ符号化効率算出部２０２０４から入力された第３フィルタ情報２０２０９とを使って、３つのフィルタの中で最も符号量の少ないフィルタを選択し、そのフィルタ情報２１３を分数精度参照画像作成部２０４とフィルタ情報符号化部２０５とへ出力する。

具体的には、符号化効率比較部２０２０５は、符号量Ｓ１と符号量Ｓ２と符号量Ｓ３とを比較し、最も符号量の少ないフィルタを選択する。Ｓ１の符号量が最も少ない場合、符号化効率比較部２０２０５は、第１フィルタを示す識別子「１」、第１フィルタの係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）をフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。また、Ｓ２の符号量が最も少ない場合、符号化効率比較部２０２０５は、第２フィルタを示す識別子「２」をフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。また、Ｓ３の符号量が最も少ない場合、符号化効率比較部２０２０５は、第３フィルタを示す識別子「３」をフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

次に、分数精度参照画像作成部２０４について詳しく説明する。分数精度参照画像作成部２０４は、フレームメモリ２０６から入力された参照画像２１１とフィルタ決定部２０２から入力されたフィルタ情報２１３とを使って、１／４画素精度の分数精度参照画像２１５を作成する。

フィルタ情報２１３に含まれるフィルタの識別子が「１」であったとき、分数精度参照画像作成部２０４は、フィルタ情報２１３に含まれるフィルタ係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）を使って、上記式（８）〜（２２）によって１／４画素精度の分数精度参照画像２１５を作成する。フィルタ情報２１３に含まれるフィルタの識別子が「２」であったとき、分数精度参照画像作成部２０４は、水平・垂直方向共に基準フィルタである（１、−５、２０、２０、−５、１）／３２を使って、上記式（２３）〜（３８）により１／４画素精度の分数精度参照画像２１５を作成する。フィルタ情報２１３に含まれるフィルタの識別子が「３」であったとき、分数精度参照画像作成部２０４は、フィルタ情報蓄積部２０３を参照して、前フレームフィルタ情報２１２であるフィルタ係数（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）および（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）を使って、上記式（３９）〜（５３）によって１／４画素精度の分数精度参照画像２１５を作成する。

次に、分数精度参照画像作成部２０４は、作成した分数精度参照画像２１５をフレーム画像符号化／復号化部２０７へ出力する。

次に、フィルタ情報符号化部２０５について詳しく説明する。フィルタ情報符号化部２０５は、まずフィルタ決定部２０２から入力されたフィルタ情報２１３に含まれるフィルタ識別子を符号化する。

次に、フィルタ識別子が「１」であった場合、フィルタ情報符号化部２０５は、フィルタ情報２１３に含まれる第１フィルタのフィルタ係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）を符号化する。このときフィルタ情報符号化部２０５は、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を参照し、各フィルタ係数について、その値の前フレームフィルタ情報２１２の各フィルタ係数からの差分値を符号化する。すなわち、前フレームフィルタ情報２１２のフィルタ係数が水平方向（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）および垂直方向（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）であった場合、フィルタ情報符号化部２０５は、水平方向（ｂ１−ｂ１’、ｂ２−ｂ２’、ｂ３−ｂ３’、ｂ４−ｂ４’、ｂ５−ｂ５’、ｂ６−ｂ６’）および垂直方向（ｈ１−ｈ１’、ｈ２−ｈ２’、ｈ３−ｈ３’、ｈ４−ｈ４’、ｈ５−ｈ５’、ｈ６−ｈ６’）のフィルタ係数を符号化する。

次にフィルタ情報符号化部２０５は、符号化したフィルタ情報符号化ビットストリーム２１４を出力部２０８へ出力する。またフィルタ情報符号化部２０５は、フィルタ識別子が「１」であった場合、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を第１フィルタに更新する。フィルタ識別子が「２」であった場合、フィルタ情報符号化部２０５は、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を第２フィルタ（基準フィルタ）に更新する。フィルタ識別子が「３」であった場合、フィルタ情報符号化部２０５は、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を同じフィルタ情報である第３フィルタに更新する。

出力部２０８は、符号化するフレームごとに、フレーム画像符号化ビットストリーム２１６の前にフィルタ情報符号化ビットストリーム２１４を挿入して２つのビットストリームを合わせ、外部へ出力する。

次に、図４を使って、本実施形態に係る動画像符号化方法の動作を説明する。図４は本実施形態に係る動画像符号化装置２０の動作である動画像符号化方法を説明するフローチャートである。

まず入力部２０１が、外部から入力されたフレーム画像の時間系列で構成される入力映像信号２０９を符号化対象のフレーム画像２１０に分解する（入力ステップＳ４０１）。

次にフィルタ決定部２０２が、フレーム画像２１０と参照画像２１１を使って分数精度の参照画像を作成するフィルタ情報２１３を決定する（フィルタ決定ステップＳ４０２）。

次にフィルタ情報符号化部２０５がフィルタ情報２１３を符号化し、フィルタ情報符号化ビットストリーム２１４を生成する（フィルタ情報符号化ステップＳ４０３）。

また、フィルタ情報符号化部２０５がフィルタ情報２１３を前フレームフィルタ情報２１２としてフィルタ情報蓄積部２０３へ蓄積する（フィルタ情報蓄積ステップＳ４０４）。

一方、分数精度参照画像作成部２０４が、フィルタ情報２１３と参照画像２１１を使って、分数精度参照画像２１５を作成する（分数精度参照画像作成ステップＳ４０５）。

次にフレーム画像符号化／復号化部２０７が、フレーム画像２１０と分数精度参照画像２１５を使って符号化対象フレームの符号化を行い、フレーム画像符号化ビットストリーム２１６を生成する（フレーム画像符号化／復号化ステップＳ４０６）。

次にフレーム画像符号化／復号化部２０７が、符号化されたフレーム画像を局所復号化して復号化済みフレーム画像２１７として、フレームメモリ２０６へ蓄積する（参照画像蓄積ステップＳ４０７）。

次に出力部２０８が、フィルタ情報符号化ビットストリーム２１４とフレーム画像符号化ビットストリーム２１６を合わせて外部へ出力する（出力ステップＳ４０８）。

次に全てのフレーム画像の符号化が終了したか否かが判定され（ステップＳ４０９）、全てのフレーム画像の符号化が終了した場合は（ステップＳ４０９；ＹＥＳ）、処理を終了する。全てのフレーム画像の符号化が終了していない場合は（ステップＳ４０９；ＮＯ）、前フレームフィルタ情報２１２および参照画像２１１が更新され、ステップＳ４０２からの処理が繰り返される。

次に、図５を使って、フィルタ決定ステップＳ４０２を詳しく説明する。図５はフィルタ決定部２０２の動作であるフィルタ決定ステップＳ４０２を説明するフローチャートである。

まず第１フィルタ係数決定部２０２０１が、フレーム画像２１０と参照画像２１１とを使って、水平・垂直方向に独立で非対称形の、１／２画素精度の参照画像を作成する第１フィルタ２０２０６を決定する（第１フィルタ決定ステップＳ４０２０１）。

次に第１フィルタ符号化効率算出部２０２０２が、第１フィルタ係数２０２０６と参照画像２１１とを使って、第１フィルタによって参照画像２１１から１／４画素精度の参照画像を生成し、その参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ１を算出する（第１フィルタ符号化効率算出ステップＳ４０２０２）。

また第２フィルタ符号化効率算出部２０２０３が、フレーム画像２１０と、参照画像２１１と、第２フィルタ符号化効率算出部２０２０３内にあらかじめ保持している基準フィルタである第２フィルタとを使って、参照画像２１１から１／４画素精度の参照画像を生成し、その参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ２を算出する（第２フィルタ符号化効率算出ステップＳ４０２０３）。

また、第３フィルタ符号化効率算出部２０２０４が、１フレーム前のフレーム画像を符号化する際に使われた１／２画素精度の参照画像作成用のフィルタである第３フィルタによって参照画像２１１から１／４画素精度の参照画像を生成し、その参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ３を算出する（第３フィルタ符号化効率算出ステップＳ４０２０４）。

次に符号化効率比較部２０２０５が、符号量Ｓ１と符号量Ｓ２と符号量Ｓ３とを比較する（符号化効率比較ステップＳ４０２０５）。最も符号量の少ないフィルタが第１フィルタの場合、符号化効率比較部２０２０５は、第１フィルタを示す識別子「１」および第１フィルタのフィルタ係数をフィルタ情報２１３として出力し（第１フィルタ情報出力ステップＳ４０２０６）、処理を終了する。選択したフィルタが第２フィルタの場合、符号化効率比較部２０２０５は、第２フィルタを示す識別子「２」をフィルタ情報２１３として出力し（第２フィルタ情報出力ステップＳ４０２０７）、処理を終了する。選択したフィルタが第３フィルタの場合、符号化効率比較部２０２０５は、第３フィルタを示す識別子「３」をフィルタ情報２１３として出力し（第３フィルタ情報出力ステップＳ４０２０８）、処理を終了する。

次に、図６を使って、フィルタ情報符号化ステップＳ４０３を詳しく説明する。図６はフィルタ情報符号化部２０５の動作であるフィルタ情報符号化ステップＳ４０３を説明するフローチャートである。

まずフィルタ情報符号化部２０５は、フィルタ情報２１３に含まれるフィルタの識別子を符号化する（識別子符号化ステップＳ４０３０１）。

次に、フィルタ識別子が「１」であったとき（ステップＳ４０３０２；ＹＥＳ）、フィルタ情報符号化部２０５は、第１フィルタの各フィルタ係数について、対応する前フレームフィルタ情報２１２のフィルタ係数からの差分値を計算し（フィルタ係数差分ステップＳ４０３０３）、差分値を符号化する（差分フィルタ係数符号化ステップＳ４０３０４）。フィルタ識別子が「１」でない場合は（ステップＳ４０３０２；ＮＯ）、これらフィルタ係数差分ステップ及び差分フィルタ係数符号化ステップの処理は実行されない。

次にフィルタ情報符号化部２０５は、符号化したフィルタ情報符号化ビットストリーム２１４を出力し（フィルタ情報符号化ビットストリーム出力ステップＳ４０３０５）、処理を終了する。

次に、コンピュータを上述した動画像符号化装置２０として機能させるための動画像符号化プログラム７０について説明する。図７は動画像符号化プログラム７０の構成を示す図である。

図７に示されるように、動画像符号化プログラム７０は、処理を統括するメインモジュールプログラム７０１と、入力モジュール７０２と、フィルタ決定モジュール７０３と、フィルタ情報蓄積モジュール７０４と、分数精度参照画像作成モジュール７０５と、フィルタ情報符号化モジュール７０６と、フレームメモリ７０７と、フレーム画像符号化／復号化モジュール７０８と、出力モジュール７０９とを備える。入力モジュール７０２と、フィルタ決定モジュール７０３と、フィルタ情報蓄積モジュール７０４と、分数精度参照画像作成モジュール７０５と、フィルタ情報符号化モジュール７０６と、フレームメモリ７０７と、フレーム画像符号化／復号化モジュール７０８と、出力モジュール７０９とがコンピュータに行わせる機能は、それぞれ対応の上述した入力部２０１と、フィルタ決定部２０２と、フィルタ情報蓄積部２０３と、分数精度参照画像作成部２０４と、フィルタ情報符号化部２０５と、フレームメモリ２０６と、フレーム画像符号化／復号化部２０７と、出力部２０８と同様である。

図８は、本実施形態に係る動画像復号化装置８０の構成を示すブロック図である。動画像復号化装置８０は、その機能的な構成要素として、入力部８０１と、フィルタ情報復号化部（フィルタ情報復号化手段）８０２と、フィルタ情報蓄積部（フィルタ情報蓄積手段）８０３と、分数精度参照画像作成部８０４と、フレームメモリ８０５と、フレーム画像復号化部８０６と備えて構成される。

入力部８０１は、外部から入力された符号化ビットストリーム８０７を順にフレーム単位ごとにフィルタ情報符号化ビットストリーム８０９とフレーム画像符号化ビットストリーム８０８とに分離する。入力部８０１は、フィルタ情報符号化ビットストリーム８０９をフィルタ情報復号化部８０２へ出力する。また、入力部８０１はフレーム画像符号化ビットストリーム８０８をフレーム画像復号化部８０６へ出力する。

フィルタ情報蓄積部８０３は、１フレーム前のフレーム画像を復号化する際に分数精度の参照画像を作成するために使われたフィルタ（前フレームフィルタ情報８１０）を保持している。前フレームフィルタ情報８１０はフィルタ情報復号化部８０２に参照および更新される。

フィルタ情報復号化部８０２は、フィルタ情報蓄積部８０３内の前フレームフィルタ情報８１０を参照しながら、入力部８０１から入力されたフィルタ情報符号化ビットストリーム８０９を復号化してフィルタ情報８１１を復元し、分数精度参照画像作成部８０４へ出力する。

フレームメモリ８０５は、過去に復号化済みのフレーム画像を保持しており、それらのフレーム画像を参照画像８１２として分数精度参照画像作成部８０４へ出力する。

分数精度参照画像作成部８０４は、フィルタ情報復号化部８０２から入力されたフィルタ情報８１１と、フレームメモリ８０５から入力された参照画像８１２とを使って、分数精度参照画像８１３を作成し、フレーム画像復号化部８０６へ出力する。

フレーム画像復号化部８０６は、入力部８０１から入力されたフレーム画像符号化ビットストリーム８０８と、分数精度参照画像作成部８０４から入力された分数精度参照画像８１３とを使って動き補償してフレーム画像を復号化する。フレーム画像復号化部８０６は、復号化した復号化済みフレーム画像８１４をフレームメモリ２０６および外部へ出力する。

次にフィルタ情報復号化部８０２について詳しく説明する。フィルタ情報復号化部８０２は、まず、入力部８０１から入力されたフィルタ情報符号化ビットストリーム８０９からフィルタ識別子を復号化して復元する。

フィルタ識別子が「１」であった場合、フィルタ情報復号化部８０２は、続いて、フィルタ情報蓄積部８０３の前フレームフィルタ情報８１０を参照して各フィルタ係数を復元する。まず、フィルタ情報復号化部８０２は、各フィルタ係数について、その値の前フレームフィルタ情報８１０からの差分値を復号化する。次に、フィルタ情報復号化部８０２は、復号化した各値に前フレームフィルタ情報８１０のフィルタ係数を加算してフィルタを復元する。前フレームフィルタ情報８１０のフィルタ係数が水平方向（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）および垂直方向（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）であり、フィルタ情報復号化部８０２によって復号化されたフィルタ係数の差分値が水平方向（ｂ１−ｂ１’、ｂ２−ｂ２’、 ｂ３−ｂ３’、 ｂ４−ｂ４’、 ｂ５−ｂ５’、ｂ６−ｂ６’）および垂直方向（ｈ１−ｈ１’、 ｈ２−ｈ２’、 ｈ３−ｈ３’、 ｈ４−ｈ４’、ｈ５−ｈ５’、 ｈ６−ｈ６’）であった場合、復元されたフィルタのフィルタ係数は、水平方向（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および垂直方向（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）となる。

フィルタ識別子が「２」であった場合、フィルタ情報復号化部８０２は、基準フィルタのフィルタ係数である水平・垂直方向共に（１、−５、２０、２０、−５、１）／３２を復元する。フィルタ識別子が「３」であった場合、フィルタ情報復号化部８０２は、前フレームフィルタ情報８１０のフィルタ係数である水平方向（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）および垂直方向（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）を復元する。

フィルタ情報復号化部８０２は、復元された識別子およびフィルタ係数であるフィルタ情報８１１を分数精度参照画像作成部８０４へ出力する。また、フィルタ情報復号化部８０２は、フィルタ情報蓄積部８０３内の前フレームフィルタ情報８１０を復元したフィルタ係数に更新する。

次に、分数精度参照画像作成部８０４について詳しく説明する。分数精度参照画像作成部８０４は、フレームメモリ８０５から入力された参照画像８１２とフィルタ情報復号化部８０２から入力されたフィルタ情報８１１とを使って、１／４画素精度の分数精度参照画像８１３を作成する。

フィルタ情報８１１に含まれるフィルタの識別子が「１」であったとき、分数精度参照画像作成部８０４は、フィルタ情報８１１に含まれるフィルタ係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）を使って、上記式（８）〜（２２）によって１／４画素精度の分数精度参照画像８１３を作成する。

フィルタ情報８１１に含まれるフィルタの識別子が「２」であったとき、分数精度参照画像作成部８０４は、フィルタ情報８１１に含まれる水平・垂直方向共に基準フィルタである（１、−５、２０、２０、−５、１）／３２を使って、上記式（２３）〜（３８）により１／４画素精度の分数精度参照画像８１３を作成する。

フィルタ情報８１１に含まれるフィルタの識別子が「３」であったとき、分数精度参照画像作成部８０４は、フィルタ情報８１１に含まれるフィルタ係数（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）および（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）を使って、上記式（３９）〜（５３）によって１／４画素精度の分数精度参照画像８１３を作成する。次に、分数精度参照画像作成部８０４は、作成した分数精度参照画像８１３をフレーム画像復号化部８０６へ出力する。

次に、図９を使って、本実施形態に係る動画像復号化方法の動作を説明する。図９は本実施形態に係る動画像復号化装置８０の動作である動画像符号化方法を説明するフローチャートである。

まず入力部８０１が、外部から入力された符号化ビットストリーム８０７を順にフレーム単位ごとにフィルタ情報符号化ビットストリーム８０９とフレーム画像符号化ビットストリーム８０８に分離する（入力ステップＳ９０１）。

次にフィルタ情報復号化部８０２が、フィルタ情報符号化ビットストリーム８０９を復号化してフィルタ情報８１１を復元する（フィルタ情報復号化ステップＳ９０２）。

次に、フィルタ情報復号化部８０２がフィルタ情報８１１を前フレームフィルタ情報８１０としてフィルタ情報蓄積部８０３へ蓄積する（フィルタ情報蓄積ステップＳ９０３）。

一方、分数精度参照画像作成部８０４が、フィルタ情報８１１と参照画像８１２を使って、分数精度参照画像８１３を作成する（分数精度参照画像作成ステップＳ９０４）。

次にフレーム画像復号化部８０６が、フレーム画像符号化ビットストリーム８０８と分数精度参照画像８１３を使って動き補して復号化済みフレーム画像８１４を復号化する（フレーム画像復号化ステップＳ９０５）。

次にフレーム画像復号化部８０６が、復号化済みフレーム画像８１４をフレームメモリ８０５へ蓄積する（参照画像蓄積ステップＳ９０６）。

次に全てのフレーム画像の復号化が終了したか否かが判定され（ステップＳ９０７）、全てのフレーム画像の復号化が終了した場合は（ステップＳ９０７；ＹＥＳ）、処理が終了する。全てのフレーム画像の復号化が終了していない場合は（ステップＳ９０７；ＮＯ）、前フレームフィルタ情報８１０および参照画像８１２が更新され、ステップＳ９０２から処理が繰り返される。

次に、図１０を使って、フィルタ情報復号化ステップＳ９０２を詳しく説明する。図１０は、フィルタ情報復号化部８０２の動作であるフィルタ情報復号化ステップＳ９０２を説明するフローチャートである。

まずフィルタ情報復号化部８０２は、フィルタ情報符号化ビットストリーム８０９からフィルタ識別子を復号化して復元する（識別子復号化ステップＳ９０２０１）。

次に、フィルタ識別子が「１」であったとき（ステップＳ９０２０２；１）、フィルタ情報復号化部８０２は、各フィルタ係数についてその値の前フレームフィルタ情報８１０からの差分値を復号化し（差分フィルタ係数復号化ステップＳ９０２０３）、復号化した各値に前フレームフィルタ情報８１０のフィルタ係数を加算して（フィルタ係数加算ステップＳ９０２０４）、水平・垂直方向に独立な非対称形フィルタを復元する（水平・垂直方向独立非対称形フィルタ復元ステップＳ９０２０５）。

フィルタ識別子が「２」であった場合（ステップＳ９０２０２；２）、フィルタ情報復号化部８０２は基準フィルタのフィルタ係数を復元する（基準フィルタ復元ステップＳ９０２０６）。

フィルタ識別子が「３」であった場合（ステップＳ９０２０２；３）、フィルタ情報復号化部８０２は前フレームフィルタ情報８１０を復元する（前フレームフィルタ復元ステップＳ９０２０７）。

次にフィルタ情報復号化部８０２は、復元された識別子およびフィルタ係数であるフィルタ情報８１１を出力し（フィルタ情報出力ステップＳ９０２０８）、処理を終了する。

次に、コンピュータを上述した動画像復号化装置８０として機能させるための動画像復号化プログラム１１０について説明する。図１１は動画像復号化プログラム１１０の構成を示す図である。

図１１に示されるように、動画像復号化プログラム１１０は、処理を統括するメインモジュールプログラム１１０１と、入力モジュール１１０２と、フィルタ情報復号化モジュール１１０３と、フィルタ情報蓄積モジュール１１０４と、分数精度参照画像作成モジュール１１０５と、フレームメモリ１１０６と、フレーム画像復号化モジュール１１０７とを備える。入力モジュール１１０２と、フィルタ情報復号化モジュール１１０３と、フィルタ情報蓄積モジュール１１０４と、分数精度参照画像作成モジュール１１０５と、フレームメモリ１１０６と、フレーム画像復号化モジュール１１０７がコンピュータに行わせる機能は、それぞれ対応の上述した入力部８０１と、フィルタ情報復号化部８０２と、フィルタ情報蓄積部８０３と、分数精度参照画像作成部８０４と、フレームメモリ８０５と、フレーム画像復号化部８０６と同様である。

以上の実施形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラムによれば、フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して符号化する場合に、少なくとも１フレーム前のフレーム画像の符号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択及び決定される。そのため、１フレーム前のフレーム画像の符号化に使われたフィルタを示す識別子を符号化するだけで足り、フィルタ係数を符号化する必要が無い。その結果、フィルタ係数の符号量を低減することができる。

また、フィルタ候補に水平・垂直方向に独立な非対称形フィルタを含み、水平・垂直方向に独立な非対称形フィルタを示す識別子と、そのフィルタのフィルタ係数とを１フレーム前のフレーム画像の符号化に使われたフィルタのフィルタ係数から引いて符号化することで、少ないフィルタ係数の符号量で水平方向と垂直方向とで異なる特性を持つ映像に対しても高い精度で動き補償することができる。さらに、フィルタ候補に基準フィルタを含ませ、基準フィルタを示す識別子を符号化するだけで（フィルタ係数を符号化することなく）、フィルタ係数の符号量を低減することができる。

以上の実施形態に係る動画像復号化装置、動画像復号化方法、動画像復号化プログラムによれば、フレームごとにフィルタを用いて分数画素精度の参照画像を生成して動き補償して復号化する場合に、少なくとも１フレーム前のフレーム画像の復号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択及び決定される。そのため、１フレーム前のフレーム画像の復号化に使われたフィルタを示す識別子を復号化するだけで足り、フィルタ係数を復号化する必要が無い。その結果、復号化するフィルタ係数の符号量を低減することができる。

また、フィルタ候補に水平・垂直方向に独立な非対称形フィルタを含み、水平・垂直方向に独立な非対称形フィルタを示す識別子と、そのフィルタのフィルタ係数とを１フレーム前のフレーム画像の復号化に使われたフィルタのフィルタ係数から引いて復号化することで、復号化するフィルタ係数の符号量が少なくても、水平方向と垂直方向とで異なる特性を持つ映像に対しても高い精度で動き補償することができる。さらに、フィルタ候補に基準フィルタを含ませ、基準フィルタを示す識別子を復号化するだけで（フィルタ係数を復号化することなく）、復号化するフィルタ係数の符号量を低減することができる。

（第２実施形態）
次に、複数の参照フレーム（参照画像）を用いて符号化を行う場合に、参照フレームごとに異なるフィルタを用いて分数精度の参照画像を作成する変形例を説明する。

上述したＨ．２６４符号化方式や、上記非特許文献１及び非特許文献２に記載の記述では、参照画像が複数フレームある場合にも、符号化するフレームごとに、全ての参照画像に同一のフィルタを用いて分数画素精度の参照画像が作成される。そのため、符号化するフレームが各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合に、参照画像ごとに符号化するのに適したフィルタを用いて符号化することができず、高い精度で動き補償することができないという問題がある。第２実施形態の目的は、符号化するフレームが各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも、高精度の動き補償を実現することである。

第２実施形態に係る動画像符号化装置が第１実施形態の動画像符号化装置２０と異なる部分は、フィルタ決定部２０２、フィルタ情報蓄積部２０３、分数精度参照画像作成部２０４及びフィルタ情報符号化部２０５であるので、その部分についてのみ説明する。

図３を使って、参照フレームごとに異なるフィルタを用いて参照画像を作成する場合のフィルタ決定部２０２を説明する。フィルタ情報蓄積部２０３は、１フレーム前のフレーム画像を符号化する際に分数精度の参照画像を作成するために使われたフィルタ（前フレームフィルタ情報２１２）を参照フレームごとに保持している。

図１２（ａ）のように、現在の符号化対象のフレームＦｃに対して、参照フレームとして過去に符号化済みの３枚のフレームを使用する場合、それらの参照フレームの識別子を符号化された順に参照フレーム３、参照フレーム２、参照フレーム１とする。また、図１２（ｂ）のように、現在の符号化対象のフレームＦｃの１フレーム前に符号化された参照フレーム１を符号化した際の参照フレームの識別子を、符号化された順に参照フレーム４、参照フレーム３、参照フレーム２とする。

現在の符号化対象のフレームＦｃの１フレーム前に符号化された参照フレーム１を符号化した際に、参照フレーム４、参照フレーム３、参照フレーム２に対して分数精度の参照画像を作成するために使われたフィルタがそれぞれフィルタ４、フィルタ３、フィルタ２であるとする。この前提の下で現在の符号化対象のフレームＦｃが符号化されるとき、フィルタ情報蓄積部２０３は、１フレーム前のフレーム画像を符号化したときのフィルタとして、参照フレーム３に対してはフィルタ３を、参照フレーム２に対してはフィルタ２を、参照フレーム１に対してはフィルタ４、フィルタ３及びフィルタ２を保持している。

フィルタ決定部２０２は、入力部２０１から入力されたフレーム画像２１０と、フレームメモリ２０６から入力された参照画像２１１とを使い、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を参照しながら、現在の符号化対象のフレーム画像を符号化するための分数精度の参照画像を作成するフィルタ情報２１３を参照フレームごとに決定する。続いて、フィルタ決定部２０２は、決定したフィルタ情報２１３を分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

具体的には、まず、フィルタ決定部２０２内の第１フィルタ係数決定部２０２０１が、入力部２０１から入力されたフレーム画像２１０と、フレームメモリ２０６から入力された参照画像２１１のうちの上記参照フレーム３を使い、水平・垂直方向に独立で非対称形の、１／２画素精度の参照画像を作成する第１フィルタ２０２０６を決定する。続いて、第１フィルタ係数決定部２０２０１は、決定した第１フィルタ２０２０６と、フレーム画像２１０と、参照画像２１１のうちの上記参照フレーム３とを、第１フィルタ符号化効率算出部２０２０２へ出力する。

次に、第１フィルタ符号化効率算出部２０２０２が、第１フィルタ係数決定部２０２０１から入力された第１フィルタ２０２０６と、フレーム画像２１０と、フレームメモリ２０６から入力された参照画像２１１のうちの上記参照フレーム３とを使って、参照画像２１１のうちの上記参照フレーム３から１／４画素精度の参照画像を生成する。続いて、第１フィルタ符号化効率算出部２０２０２は、生成した参照画像を使ってフレーム画像２１０を符号化したときの符号量を算出する。第１フィルタ符号化効率算出部２０２０２は、第１フィルタの係数と算出した符号量Ｓ１とを第１フィルタ情報２０２０７として符号化効率比較部２０２０５へ出力する。

次に、第２フィルタ符号化効率算出部２０２０３が、フレーム画像２１０と、参照画像２１１のうちの上記参照フレーム３と、第２フィルタ符号化効率算出部２０２０３内にあらかじめ保持している基準フィルタである第２フィルタとを使って、参照画像２１１のうちの上記参照フレーム３から１／４画素精度の参照画像を生成する。続いて、第２フィルタ符号化効率算出部２０２０３は、生成した参照画像を使ってフレーム画像２１０を符号化したときの符号量を算出する。第２フィルタ符号化効率算出部２０２０３は、算出した符号量Ｓ２を第２フィルタ情報２０２０８として符号化効率比較部２０２０５へ出力する。

次に、第３フィルタ符号化効率算出部２０２０４が、フィルタ情報蓄積部２０３内の前フレームフィルタ情報２１２のうちの参照フレーム３に対する上記フィルタ３を参照し、参照画像２１１のうちの上記参照フレーム３から１／４画素精度の参照画像を生成する。続いて、第３フィルタ符号化効率算出部２０２０４は、生成した参照画像を使ってフレーム画像２１０を符号化したときの符号量を算出する。第３フィルタ符号化効率算出部２０２０４は、算出した符号量Ｓ３を第３フィルタ情報２０２０９として符号化効率比較部２０２０５へ出力する。

次に、符号化効率比較部２０２０５が、第１フィルタ符号化効率算出部２０２０２から入力された第１フィルタ情報２０２０７と、第２フィルタ符号化効率算出部２０２０３から入力された第２フィルタ情報２０２０８と、第３フィルタ符号化効率算出部２０２０４から入力された第３フィルタ情報２０２０９とを使って、３つのフィルタの中で最も符号量の少ないフィルタを選択する。続いて、符号化効率比較部２０２０５は、選択したフィルタのフィルタ情報２１３を上記参照フレーム３に対するフィルタ情報として、分数精度参照画像作成部２０４とフィルタ情報符号化部２０５とに出力する。

具体的には、符号化効率比較部２０２０５は、符号量Ｓ１と符号量Ｓ２と符号量Ｓ３とを比較し、最も符号量の少ないフィルタを選択する。Ｓ１の符号量が最も少ない場合、符号化効率比較部２０２０５は、第１フィルタを示す識別子「１」、第１フィルタの係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）を上記参照フレーム３に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。また、Ｓ２の符号量が最も少ない場合、符号化効率比較部２０２０５は、第２フィルタを示す識別子「２」を上記参照フレーム３に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。また、Ｓ３の符号量が最も少ない場合、符号化効率比較部２０２０５は、第３フィルタを示す識別子「３」を上記参照フレーム３に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

同様に、フィルタ決定部２０２は、入力部２０１から入力されたフレーム画像２１０と、フレームメモリ２０６から入力された参照画像２１１のうちの上記参照フレーム２とを使い、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２のうちの上記フィルタ２を参照しながら、第１フィルタ、第２フィルタ、および第３フィルタである上記フィルタ２の中で、符号化したときに最も符号量の少ないフィルタを選択する。続いて、フィルタ決定部２０２は、選択したフィルタのフィルタ情報２１３を上記参照フレーム２に対するフィルタ情報として、分数精度参照画像作成部２０４とフィルタ情報符号化部２０５とに出力する。

具体的には、フィルタ決定部２０２内の符号化効率比較部２０２０５が、第１フィルタを使って符号化したときの符号量Ｓ１と、第２フィルタを使って符号化したときの符号量Ｓ２と、第３フィルタを使って符号化したときの符号量Ｓ３とを比較し、最も符号量の少ないフィルタを選択する。

Ｓ１の符号量が最も少ない場合、符号化効率比較部２０２０５は、第１フィルタを示す識別子「１」と、第１フィルタの係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）とを、上記参照フレーム２に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。また、Ｓ２の符号量が最も少ない場合、符号化効率比較部２０２０５は、第２フィルタを示す識別子「２」を上記参照フレーム２に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。また、Ｓ３の符号量が最も少ない場合、符号化効率比較部２０２０５は、第３フィルタを示す識別子「３」を上記参照フレーム３に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

また、フィルタ決定部２０２は、入力部２０１から入力されたフレーム画像２１０と、フレームメモリ２０６から入力された参照画像２１１のうちの上記参照フレーム１とを使い、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２のうちの参照フレーム１に対する上記フィルタ４、上記フィルタ３および上記フィルタ２を参照しながら、第１フィルタ、第２フィルタ、および第３フィルタである上記フィルタ４、上記フィルタ３または上記フィルタ２の中で、符号化したときに最も符号量の少ないフィルタを選択する。続いて、フィルタ決定部２０２は、選択したフィルタ情報２１３を上記参照フレーム２に対するフィルタ情報として、分数精度参照画像作成部２０４とフィルタ情報符号化部２０５とに出力する。

このとき、第３フィルタを使って符号化したならば、フィルタ決定部２０２は、使用したフィルタが上記フィルタ４であったか、上記フィルタ３であったか、上記フィルタ２であったかを示す識別子を符号化した符号量を含めて計算する。また、符号化したときに最も符号量の少ないフィルタが第３フィルタであった場合、フィルタ決定部２０２は、使用したフィルタが上記フィルタ４、フィルタ３及びフィルタ２のいずれであったかを示す情報をフィルタ情報２１３に含めて出力する。

具体的には、フィルタ決定部２０２内の符号化効率比較部２０２０５が、第１フィルタを使って符号化したときの符号量Ｓ１と、第２フィルタを使って符号化したときの符号量Ｓ２と、第３フィルタを使って符号化したときの符号量Ｓ３とを比較し、最も符号量の少ないフィルタを選択する。

Ｓ１の符号量が最も少ない場合、符号化効率比較部２０２０５は、第１フィルタを示す識別子「１」と、第１フィルタの係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）とを、上記参照フレーム１に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

また、Ｓ２の符号量が最も少ない場合、符号化効率比較部２０２０５は、第２フィルタを示す識別子「２」を上記参照フレーム１に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

また、Ｓ３の符号量が最も少ない場合、符号化効率比較部２０２０５は、第３フィルタを示す識別子「３」と、フィルタタイプの識別子（使用したフィルタが上記フィルタ４であった場合は「１」、使用したフィルタが上記フィルタ３であった場合は「２」、使用したフィルタが上記フィルタ２であった場合は「３」）とを、上記参照フレーム１に対するフィルタ情報２１３として分数精度参照画像作成部２０４およびフィルタ情報符号化部２０５へ出力する。

分数精度参照画像作成部２０４は、フィルタ決定部２０２から入力された参照フレームごとのフィルタ情報２１３と、フレームメモリ２０６から入力された参照画像２１１とを使って、参照フレームごとに分数精度参照画像２１５を作成する。そして、分数精度参照画像作成部２０４は、作成した分数精度参照画像２１５をフレーム画像符号化／復号化部２０７へ出力する。

まず、１フレーム前に符号化した参照フレーム以外の参照フレームに対する分数精度参照画像作成部２０４の処理を具体的に説明する。フィルタ情報２１３に含まれるフィルタの識別子が「１」であったとき、分数精度参照画像作成部２０４は、フィルタ情報２１３に含まれるフィルタ係数を使って、１／４画素精度の分数精度参照画像２１５を作成する。

また、フィルタ情報２１３に含まれるフィルタの識別子が「２」であったとき、分数精度参照画像作成部２０４は、水平・垂直方向共に基準フィルタを使って、１／４画素精度の分数精度参照画像２１５を作成する。

フィルタ情報２１３に含まれるフィルタの識別子が「３」であったとき、分数精度参照画像作成部２０４は、フィルタ情報蓄積部２０３を参照して、各参照フレームに対する前フレームフィルタ情報２１２を使って１／４画素精度の分数精度参照画像２１５を作成する。

次に、１フレーム前に符号化した参照フレームに対する分数精度参照画像作成部２０４の処理を具体的に説明する。フィルタ情報２１３に含まれるフィルタの識別子が「１」であったとき、分数精度参照画像作成部２０４は、フィルタ情報２１３に含まれるフィルタ係数を使って、１／４画素精度の分数精度参照画像２１５を作成する。

また、フィルタ情報２１３に含まれるフィルタの識別子が「２」であったとき、分数精度参照画像作成部２０４は、水平・垂直方向共に基準フィルタを使って、１／４画素精度の分数精度参照画像２１５を作成する。

フィルタ情報２１３に含まれるフィルタの識別子が「３」であったとき、分数精度参照画像作成部２０４はさらにフィルタ情報２１３に含まれる、使用したフィルタタイプの識別子（上記フィルタ４の場合は「１」、上記フィルタ３の場合は「２」、上記フィルタ２の場合は「３」）を参照し、フィルタ情報蓄積部２０３に蓄積されている当該参照フレームの当該フィルタタイプのフィルタである前フレームフィルタ情報２１２を使って、１／４画素精度の分数精度参照画像２１５を作成する。

フィルタ情報符号化部２０５は、フィルタ決定部２０２から入力された参照フレームごとのフィルタ情報２１３に含まれるフィルタ識別子を符号化する。次に、フィルタ識別子が「１」であった場合、フィルタ情報符号化部２０５は、フィルタ情報２１３に含まれる第１フィルタのフィルタ係数（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）および（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）を符号化する。

このときフィルタ情報符号化部２０５は、現在、符号化しているフィルタ情報符号化ビットストリーム２１４が１フレーム前に符号化した以外の参照フレームのものである場合、フィルタ情報蓄積部２０３の当該参照フレームの前フレームフィルタ情報２１２を参照し、各フィルタ係数について、その値の前フレームフィルタ情報２１２の各フィルタ係数からの差分値を符号化する。

すなわち、前フレームフィルタ情報２１２のフィルタ係数が、水平方向について（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）であり垂直方向について（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）である場合、フィルタ情報符号化部２０５は、水平方向について（ｂ１−ｂ１’、ｂ２−ｂ２’、ｂ３−ｂ３’、ｂ４−ｂ４’、ｂ５−ｂ５’、ｂ６−ｂ６’）であり垂直方向について（ｈ１−ｈ１’、ｈ２−ｈ２’、ｈ３−ｈ３’、ｈ４−ｈ４’、ｈ５−ｈ５’、ｈ６−ｈ６’）であるフィルタ係数を符号化する。

また、現在、符号化しているフィルタ情報符号化ビットストリーム２１４が１フレーム前に符号化した参照フレームのものである場合、フィルタ情報符号化部２０５は、各フィルタ係数について、その値の第２フィルタ（基準フィルタ）のフィルタ係数からの差分値を符号化する。次にフィルタ情報符号化部２０５は、符号化したフィルタ識別子とフィルタ係数の差分値をフィルタ情報符号化ビットストリーム２１４として出力部２０８へ出力する。

またフィルタ情報符号化部２０５は、フィルタ識別子が「１」であった場合に、フィルタ情報蓄積部２０３の参照フレームの前フレームフィルタ情報２１２を第１フィルタに更新する。フィルタ識別子が「２」であった場合、フィルタ情報符号化部２０５は、符号化したフィルタ識別子をフィルタ情報符号化ビットストリーム２１４として出力部２０８へ出力し、フィルタ情報蓄積部２０３の前フレームフィルタ情報２１２を第２フィルタ（基準フィルタ）に更新する。

続いてフィルタ識別子が「３」である場合を説明する。現在、符号化しているフィルタ情報符号化ビットストリーム２１４が１フレーム前に符号化した以外の参照フレームのものである場合、フィルタ情報符号化部２０５は、符号化したフィルタ識別子をフィルタ情報符号化ビットストリーム２１４として出力部２０８へ出力する。続いて、フィルタ情報符号化部２０５は、フィルタ情報蓄積部２０３の当該参照フレームの前フレームフィルタ情報２１２を更新前と同じフィルタ情報である第３フィルタに更新する。

一方、現在、符号化しているフィルタ情報符号化ビットストリーム２１４が１フレーム前に符号化した参照フレームのものである場合、フィルタ情報符号化部２０５はフィルタ情報２１３に含まれる当該参照フレームの分数精度参照画像を作成するために使用したフィルタのフィルタタイプを符号化する。続いて、フィルタ情報符号化部２０５は符号化したフィルタ識別子と合わせてフィルタ情報符号化ビットストリーム２１４として出力部２０８へ出力する。また、フィルタ情報符号化部２０５はフィルタ情報蓄積部２０３の当該参照フレームの前フレームフィルタ情報２１２を当該参照フレームの分数精度参照画像を作成するために使用したフィルタに更新する。さらに、フィルタ情報符号化部２０５は、フィルタ情報蓄積部２０３の符号化対象のフレーム画像の前フレームフィルタ情報２１２として、次のフレームの符号化において参照フレームとなるフレームの前フレームフィルタ情報を参照フレームと関連付けて設定する。

次に、第２実施形態に係る動画像符号化方法について説明する。第２実施形態に係る動画像符号化方法が第１の実施形態の動画像符号化方法と異なる部分はフィルタ決定ステップＳ４０２、フィルタ情報符号化ステップＳ４０３、フィルタ情報蓄積ステップＳ４０４、分数精度参照画像作成ステップＳ４０５であるので、その部分についてのみ説明する。

図１３を使って、フィルタ決定ステップＳ４０２の変形例であるフィルタ決定ステップＳ１３０２を説明する。図１３は第２実施形態におけるフィルタ決定部２０２の動作であるフィルタ決定ステップＳ１３０２を説明するフローチャートである。

まず第１フィルタ係数決定部２０２０１が、フレーム画像２１０と参照画像２１１のうちの符号化された順の最も古い参照フレームとを使って、水平・垂直方向に独立で非対称形の、１／２画素精度の参照画像を作成する第１フィルタ２０２０６を決定する（第１フィルタ決定ステップＳ１３０２０１）。

次に第１フィルタ符号化効率算出部２０２０２が、第１フィルタ２０２０６と参照画像２１１とを使って、第１フィルタによって参照画像２１１から１／４画素精度の参照画像を生成する。そして第１フィルタ符号化効率算出部２０２０２は、生成した参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ１を算出する（第１フィルタ符号化効率算出ステップＳ１３０２０２）。

また第２フィルタ符号化効率算出部２０２０３が、フレーム画像２１０と、参照画像２１１のうちの符号化された順の最も古い参照フレームと、第２フィルタ符号化効率算出部２０２０３内にあらかじめ保持している基準フィルタである第２フィルタとを使って、参照画像２１１のうちの符号化された順の最も古い参照フレームから１／４画素精度の参照画像を生成する。そして第２フィルタ符号化効率算出部２０２０３は、生成した参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ２を算出する（第２フィルタ符号化効率算出ステップＳ１３０２０３）。

また、第３フィルタ符号化効率算出部２０２０４が、１フレーム前のフレーム画像を符号化する際に使われた１／２画素精度の参照画像作成用のフィルタである第３フィルタを使って、参照画像２１１から１／４画素精度の参照画像を生成する。そして第３フィルタ符号化効率算出部２０２０４はその参照画像を使ってフレーム画像２１０を符号化したときの符号量Ｓ３を算出する。このとき、第３フィルタとして複数のフィルタ候補がある場合、第３フィルタ符号化効率算出部２０２０４はそれぞれのフィルタを使った場合の符号量を算出し、その中で最も値の小さい符号量を符号量Ｓ３とする（第３フィルタ符号化効率算出ステップＳ１３０２０４）。

次に、符号化効率比較部２０２０５が符号量Ｓ１と符号量Ｓ２と符号量Ｓ３とを比較する（符号化効率比較ステップＳ１３０２０５）。最も符号量の少ないフィルタが第１フィルタである場合、符号化効率比較部２０２０５は、第１フィルタを示す識別子「１」と第１フィルタのフィルタ係数とをフィルタ情報２１３として出力する（第１フィルタ情報出力ステップＳ１３０２０６）。選択したフィルタが第２フィルタである場合、符号化効率比較部２０２０５は、第２フィルタを示す識別子「２」をフィルタ情報２１３として出力する（第２フィルタ情報出力ステップＳ１３０２０７）。

選択したフィルタが第３フィルタである場合、符号化効率比較部２０２０５は、第３フィルタを示す識別子「３」をフィルタ情報２１３として出力する。また、第３のフィルタとして複数のフィルタ候補がある場合、符号化効率比較部２０２０５は、符号量が最も小さくなるフィルタのフィルタタイプの識別子もフィルタ情報２１３として出力する（第３フィルタ情報出力ステップＳ１３０２０８）。

次に、フィルタ決定部２０２が参照画像２１１のうちの全ての参照フレームについて処理を行ったかを判断する。全ての参照フレームについて処理が行われていない場合（ステップＳ１３０２０９；ＮＯ）は、符号化された順が次に古い参照フレームについて上記ステップＳ１３０２０１〜Ｓ１３０２０８の処理が繰り返し実行される。全ての参照フレームについて処理が行われると（ステップＳ１３０２０９；ＹＥＳ）、処理が終了する。

次に、図１４を使って、フィルタ情報符号化ステップＳ１４０３を詳しく説明する。図１４は第２実施形態におけるフィルタ情報符号化部２０５の動作であるフィルタ情報符号化ステップＳ１４０３を説明するフローチャートである。

まずフィルタ情報符号化部２０５は、符号化された順の最も古い参照フレームについてフィルタ情報２１３に含まれるフィルタの識別子を符号化する（識別子符号化ステップＳ１４０３０１）。

次に、フィルタ識別子が「１」であったとき（ステップＳ１４０３０２；ＹＥＳ）、フィルタ情報符号化部２０５は、第１フィルタの各フィルタ係数について、フィルタ係数の差分値を計算し（フィルタ係数差分ステップＳ４０３０３）、その差分値を符号化する（差分フィルタ係数符号化ステップＳ４０３０４）。

このとき、現在、フィルタ情報を符号化している参照フレームが１フレーム前に符号化した以外の参照フレームであるならば、フィルタ係数の差分値は第１フィルタの各フィルタ係数と対応する前フレームフィルタ情報２１２のフィルタ係数との差分値となる。一方、現在、フィルタ情報を符号化している参照フレームが１フレーム前に符号化した参照フレームであるならば、フィルタ係数の差分値は第１フィルタの各フィルタ係数と対応する基準フィルタのフィルタ係数との差分値となる。

参照フレームのフィルタ識別子が「１」でない場合は（ステップＳ４０３０２；ＮＯ）、これらフィルタ係数差分ステップ及び差分フィルタ係数符号化ステップの処理は実行されない。

次に、フィルタ識別子が「３」であったとき（ステップＳ１４０３０５；ＹＥＳ）、フィルタ情報符号化部２０５は、現在、フィルタ情報を符号化している参照フレームが１フレーム前に符号化した参照フレームであるか否かを判定する（ステップＳ１４０３０６）。そして、符号化している参照フレームが１フレーム前に符号化した参照フレームである場合（ステップＳ１４０３０６：ＹＥＳ）、フィルタ情報符号化部２０５はフィルタタイプの識別子を符号化する（フィルタタイプ符号化ステップＳ１４０３０７）。これに対して、符号化している参照フレームが１フレーム前に符号化した参照フレーム以外であった場合（ステップＳ１４０３０６：ＮＯ）、このフィルタタイプ符号化ステップの処理は実行されない。また、フィルタ識別子が「３」でないとき（ステップＳ１４０３０５；ＮＯ）も、このフィルタタイプ符号化ステップの処理は実行されない。

次に、フィルタ情報符号化部２０５は、符号化したフィルタ情報符号化ビットストリーム２１４を出力する（フィルタ情報符号化ビットストリーム出力ステップＳ１４０３０５）。

次に、フィルタ情報符号化部２０５は、全ての参照フレームについて処理を行ったかを判断する。このとき全ての参照フレームについて処理が行われていなければ（ステップＳ１４０３０８；ＮＯ）、符号化された順が次に古い参照フレームについてステップＳ１４０３０１〜Ｓ１４０３０８の処理が繰り返し実行される。一方、全ての参照フレームについて処理が行われたならば（ステップＳ１４０３０８；ＹＥＳ）、処理が終了する。

第２実施形態におけるフィルタ情報蓄積部２０３の動作であるフィルタ情報蓄積ステップＳ１４０４は、参照画像として用いられる参照フレームごとに前フレームフィルタ情報２１２が蓄積される点でフィルタ情報蓄積ステップＳ４０４と異なる。

また、第２実施形態における分数精度参照画像作成部２０４の動作である分数精度参照画像作成ステップＳ１４０５は、参照画像として用いられる参照フレームごとに異なるフィルタ情報２１３を用いて分数精度参照画像２１５を作成する点で分数精度参照画像作成ステップＳ４０５と異なる。

第２実施形態に係る動画像復号化装置が第１の実施形態の動画像復号化装置８０と異なる部分はフィルタ情報復号化部８０２、フィルタ情報蓄積部８０３、分数精度参照画像作成部８０４であるので、その部分についてのみ説明する。

フィルタ情報蓄積部８０３は、１フレーム前のフレーム画像を復号化する際に分数精度の参照画像を作成するために使われたフィルタ（前フレームフィルタ情報８１０）を参照フレームごとに保持している。前フレームフィルタ情報８１０はフィルタ情報復号化部８０２により参照および更新される。

図１５（ａ）のように、現在の復号対象のフレームＦｄに対して、参照フレームとして過去に復号化済みの３枚のフレームを使用する場合、それらの参照フレームの識別子を復号化された順に参照フレーム３、参照フレーム２、参照フレーム１とする。また、図１５（ｂ）のように、現在の復号化対象のフレームＦｄの１フレーム前に復号化された参照フレーム１を復号化した際の参照フレームの識別子を、復号化された順に参照フレーム４、参照フレーム３、参照フレーム２とする。

現在の復号化対象のフレームＦｄの１フレーム前に符号化された参照フレーム１を復号化した際に、参照フレーム４、参照フレーム３、参照フレーム２に対して分数精度の参照画像を作成するために使われたフィルタがそれぞれフィルタ４、フィルタ３、フィルタ２であったとする。このとき、フィルタ情報蓄積部８０３は、現在の復号化対象のフレームＦｄを復号化する際に、１フレーム前のフレーム画像を復号化したときのフィルタとして、参照フレーム３に対してはフィルタ３を、参照フレーム２に対してはフィルタ２を、参照フレーム１に対してはフィルタ４、フィルタ３及びフィルタ２を保持している。

フィルタ情報復号化部８０２は、フィルタ情報蓄積部８０３内の前フレームフィルタ情報８１０を参照しながら、入力部８０１から入力されたフィルタ情報符号化ビットストリーム８０９を復号化してフィルタ情報８１１を復元する。そして、フィルタ情報復号化部８０２は復元したフィルタ情報８１１を分数精度参照画像作成部８０４へ出力する。

具体的には、まずフィルタ情報復号化部８０２は、参照フレームごとに、入力部８０１から入力されたフィルタ情報符号化ビットストリーム８０９からフィルタ識別子を復号化して復元する。フィルタ情報復号化部８０２は、復号化された時期が古い参照フレームから順番にこの復元を実行する。

フィルタ識別子が「１」であった場合、フィルタ情報復号化部８０２は各フィルタ係数を復元する。まず、フィルタ情報復号化部８０２は、各フィルタ係数について差分値を復号化する。次に、現在、復号化しているフィルタ情報８１１が１フレーム前に復号化した以外の参照フレームのものである場合、フィルタ情報復号化部８０２はフィルタ情報蓄積部８０３の前フレームフィルタ情報８１０を参照して、各フィルタ係数について復号化した各値に前フレームフィルタ情報８１０のフィルタ係数を加算してフィルタを復元する。

例えば、前フレームフィルタ情報８１０のフィルタ係数が、水平方向について（ｂ１’、ｂ２’、ｂ３’、ｂ４’、ｂ５’、ｂ６’）であり、垂直方向について（ｈ１’、ｈ２’、ｈ３’、ｈ４’、ｈ５’、ｈ６’）であるとする。また、フィルタ情報復号化部８０２によって復号化されたフィルタ係数の差分値が、水平方向について（ｂ１−ｂ１’、ｂ２−ｂ２’、ｂ３−ｂ３’、ｂ４−ｂ４’、 ｂ５−ｂ５’、ｂ６−ｂ６’）であり、垂直方向について（ｈ１−ｈ１’、 ｈ２−ｈ２’、 ｈ３−ｈ３’、ｈ４−ｈ４’、 ｈ５−ｈ５’、ｈ６−ｈ６’）であるとする。この場合、復元されたフィルタのフィルタ係数は、水平方向について（ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６）となり、垂直方向について（ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６）となる。

また、現在、復号化しているフィルタ情報８１１が１フレーム前に復号化した参照フレームのものである場合、フィルタ情報復号化部８０２は各フィルタ係数について復号化した各値に基準フィルタのフィルタ係数を加算してフィルタを復元する。

フィルタ識別子が「２」であった場合、フィルタ情報復号化部８０２は、基準フィルタのフィルタ係数である水平・垂直方向共に（１、−５、２０、２０、−５、１）／３２を復元する。

フィルタ識別子が「３」であった場合の処理は次の通りである。すなわち、現在、復号化しているフィルタ情報８１１が１フレーム前に復号化した参照フレーム以外のものである場合、フィルタ情報復号化部８０２は、当該参照フレームの前フレームフィルタ情報８１０のフィルタ係数を復元する。これに対して、現在、復号化しているフィルタ情報８１１が１フレーム前に復号化した参照フレームのものである場合、フィルタ情報復号化部８０２はさらにフィルタタイプを復号化し、当該参照フレームの前フレームフィルタ情報８１０から復元したフィルタタイプに関連付けられたフィルタ係数を復元する。（フィルタタイプが「１」の場合は上記フィルタ４、「２」の場合は上記フィルタ３、「３」の場合は上記フィルタ２。）

フィルタ情報復号化部８０２は、復元された識別子およびフィルタ係数であるフィルタ情報８１１を分数精度参照画像作成部８０４へ出力する。また、フィルタ情報復号化部８０２は、フィルタ情報蓄積部８０３内の前フレームフィルタ情報８１０を復元したフィルタ係数に更新する。さらに、フィルタ情報復号化部８０２は、フィルタ情報蓄積部８０３の復号化対象のフレーム画像の前フレームフィルタ情報８１０として、次のフレームの復号化において参照フレームとなるフレームの前フレームフィルタ情報を参照フレームと関連付けて設定する。

分数精度参照画像作成部８０４は、フィルタ情報復号化部８０２から入力された参照フレームごとのフィルタ情報８１１と、フレームメモリ８０５から入力された参照画像８１２とを使って、参照フレームごとに分数精度参照画像８１３を作成する。続いて、分数精度参照画像作成部８０４は、作成した分数精度参照画像８１３をフレーム画像復号化部８０６へ出力する。

具体的には、１フレーム前に符号化した以外の参照フレームに対して、フィルタ情報８１１に含まれるフィルタの識別子が「１」であったとき、分数精度参照画像作成部８０４は、フィルタ情報８１１に含まれるフィルタ係数を使って、１／４画素精度の分数精度参照画像８１３を作成する。また、フィルタ情報８１１に含まれるフィルタの識別子が「２」であったとき、分数精度参照画像作成部８０４は、水平・垂直方向共に基準フィルタを使って、１／４画素精度の分数精度参照画像８１３を作成する。フィルタ情報８１１に含まれるフィルタの識別子が「３」であったとき、分数精度参照画像作成部８０４は、フィルタ情報８１１に含まれるフィルタ係数を使って、１／４画素精度の分数精度参照画像８１３を作成する。

次に、第２実施形態に係る動画像復号化方法について説明する。第２実施形態に係る動画像復号化方法が第１実施形態の動画像復号化方法と異なる部分はフィルタ情報復号化ステップＳ８０２、フィルタ情報蓄積ステップＳ８０３、分数精度参照画像作成ステップＳ８０４であるので、その部分についてのみ説明する。

図１６を使って、フィルタ情報復号化ステップＳ８０２の変形例であるフィルタ情報復号化ステップＳ１６０２を説明する。図１６は第２実施形態におけるフィルタ情報復号化部８０２の動作であるフィルタ情報復号化ステップＳ１６０２を説明するフローチャートである。

まずフィルタ情報復号化部８０２は、フィルタ情報符号化ビットストリーム８０９から復号化された順の最も古い参照フレームについてフィルタ識別子を復号化して復元する（識別子復号化ステップＳ１６０２０１）。

次に、フィルタ識別子が「１」であったとき（ステップＳ１６０２０２；１）、フィルタ情報復号化部８０２は、各フィルタ係数についてその差分値を復号化する（差分フィルタ係数復号化ステップＳ１６０２０３）。続いて、フィルタ情報復号化部８０２は復号化した各値にフィルタ係数を加算して（フィルタ係数加算ステップＳ１６０２０４）、水平・垂直方向に独立な非対称形フィルタを復元する（水平・垂直方向独立非対称形フィルタ復元ステップＳ１６０２０５）。

このとき、現在、復号化しているフィルタ情報８１１が１フレーム前に復号化した以外の参照フレームのものである場合、フィルタ情報復号化部８０２はフィルタ情報蓄積部８０３の前フレームフィルタ情報８１０を参照して、各フィルタ係数について復号化した各差分値に前フレームフィルタ情報８１０のフィルタ係数を加算してフィルタを復元する。これに対して、現在、復号化しているフィルタ情報８１１が１フレーム前に復号化した参照フレームのものである場合、フィルタ情報復号化部８０２は各フィルタ係数について復号化した各差分値に基準フィルタのフィルタ係数を加算してフィルタを復元する。

フィルタ識別子が「２」であった場合（ステップＳ１６０２０２；２）、フィルタ情報復号化部８０２は基準フィルタのフィルタ係数を復元する（基準フィルタ復元ステップＳ１６０２０６）。

フィルタ識別子が「３」であった場合（ステップＳ１６０２０２；３）は次のように処理が行われる。すなわち、フィルタ情報復号化部８０２は、現在、フィルタ情報を復号化している参照フレームが１フレーム前に復号化された参照フレームであれば（ステップＳ１６０３０７：ＹＥＳ）、フィルタタイプの識別子を復号化する（フィルタタイプ復号化ステップＳ１４０３０８）。続いて、フィルタ情報復号化部８０２は当該参照フレームの前フレームフィルタ情報８１０から復元したフィルタタイプに関連付けられたフィルタ係数を復元する。これに対して、現在、フィルタ情報を復号化している参照フレームが１フレーム前に復号化された参照フレーム以外であれば（ステップＳ１４０３０７：ＮＯ）、フィルタ情報復号化部８０２は、フィルタタイプ復号化ステップの処理を実行せずに、当該参照フレームの前フレームフィルタ情報８１０のフィルタ係数を復元する（前フレームフィルタ復元ステップＳ１６０２０９）。

次にフィルタ情報復号化部８０２は、復元された識別子およびフィルタ係数であるフィルタ情報８１１を出力する（フィルタ情報出力ステップＳ１６０２１０）。

次に、フィルタ情報復号化部８０２は、全ての参照フレームについて処理を行ったかを判断する。このとき、全ての参照フレームについて処理を行っていなければ（ステップＳ１６０２１１；ＮＯ）、復号化された順が次に古い参照フレームについて上記ステップＳ１６０２０１〜ステップＳ１６０２１０の処理が繰り返し実行される。一方、全ての参照フレームについて処理が行われた場合には（ステップＳ１６０２１１；ＹＥＳ）、処理が終了する。

また、第２実施形態におけるフィルタ情報蓄積部８０３の動作であるフィルタ情報蓄積ステップＳ１６０３は、参照画像として用いられる参照フレームごとに前フレームフィルタ情報２１２が蓄積される点でフィルタ情報蓄積ステップＳ８０３と異なる。

また、第２実施形態における分数精度参照画像作成部８０４の動作である分数精度参照画像作成ステップＳ１６０４は、参照画像として用いられる参照フレームごとに異なるフィルタ情報８１１用いて分数精度参照画像８１３を作成する点で分数精度参照画像作成ステップＳ８０４と異なる。

以上説明したように、第２実施形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラムによれば、参照画像が複数フレームある場合に、参照画像ごとに異なるフィルタを用いて分数画素精度の参照画像を生成して動き補償し、符号化することで、符号化するフレームが各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも高い精度で動き補償することができる。また、少なくとも１フレーム前のフレーム画像の符号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択及び決定される。そのため、１フレーム前のフレーム画像の符号化に使われたフィルタを示す識別子を符号化するだけで足り、フィルタ係数を符号化する必要が無い。その結果、フィルタ係数の符号量を低減することができる。

また、第２実施形態に係る動画像復号化装置、動画像復号化方法、動画像復号化プログラムによれば、参照画像が複数フレームある場合に、参照画像ごとに異なるフィルタを用いて分数画素精度の参照画像を生成して動き補償し、復号化することで、復号化するフレームが各参照画像に対して異なる画素精度の動き量や周波数特性を持つ場合にも高い精度で動き補償することができる。また、少なくとも１フレーム前のフレーム画像の復号化に使われたフィルタを含む複数のフィルタ候補の中からフィルタが選択及び決定される。そのため、１フレーム前のフレーム画像の復号化に使われたフィルタを示す識別子を復号化するだけで足り、フィルタ係数を復号化する必要が無い。その結果、復号化するフィルタ係数の符号量を低減することができる。

なお、上記各実施形態では、フィルタ候補として、１フレーム前のフレーム画像の符号化に使われたフィルタ、水平・垂直方向に独立な非対称形フィルタ、および基準フィルタを使用したが、使用するフィルタ候補はこれらに限定されない。例えば、２フレーム以上前の過去のフレーム画像の符号化に使われたフィルタをフィルタ候補に含み、これらのフィルタを符号化する際に、過去のフレーム画像の符号化に使われたフィルタであることを示す識別子「３」とそのフィルタが使われた過去のフレーム画像を識別するための識別子とを符号化してもよい。

過去のフレーム画像を識別するための識別子としては、映像の先頭からのフレーム画像の番号や、符号化対象のフレーム画像の番号と過去のフレーム画像の番号との差分値を用いることができる。なお、前記過去のフレーム画像を識別するための識別子は、これらの方法には限らない。この場合、過去のフレーム画像の符号化に使われた多様なフィルタを、フィルタ識別子と過去のフレーム画像とを識別する識別子だけを符号化するだけで使用することができ、高い精度で動き補償ができる。また、この場合、フィルタ係数を符号化する必要が無いため、フィルタ係数の符号量を低減することができる。なお、符号化に使われたフィルタであることを示す識別子とそのフィルタが使われた過去のフレーム画像とを識別するための識別子を合わせて１つの識別子として符号化を行っても良い。

また、この場合、水平・垂直方向に独立な非対称形フィルタを符号化する際に、水平・垂直方向に独立な非対称形フィルタであることを示す識別子「１」と、過去のフレーム画像の符号化に使われたフィルタのフレームを示す識別子と、過去のフレーム画像の符号化に使われたフィルタのフィルタ係数からの符号化するフィルタのフィルタ係数の差分値とを符号化することで、より差分値の小さくなる過去のフレーム画像の符号化に使われたフィルタを選び、フィルタ係数の符号量を削減することができる。

さらにこの場合、初めて分数画素精度の参照画像を生成して動き補償して符号化するフレーム画像のフィルタとして常に基準フィルタを使用することし、過去のフレーム画像の符号化に使われたフィルタの中に必ず基準フィルタを含ませることも可能である。これにより、基準フィルタであることを示す識別子「２」を使用することなく基準フィルタを選択することができ、フィルタの識別子の符号量を減らすことができる。

また、上記各実施形態では、フィルタ候補として、１フレーム前のフレーム画像の復号化に使われたフィルタ、水平・垂直方向に独立な非対称形フィルタ、および基準フィルタを使用したが、使用するフィルタ候補はこれらに限定されない。例えば、２フレーム以上前の過去のフレーム画像の復号化に使われたフィルタをフィルタ候補に含み、これらのフィルタを復号化する際に、過去のフレーム画像の復号化に使われたフィルタであることを示す識別子「３」とそのフィルタが使われた過去のフレーム画像を識別するための識別子とを復号化してもよい。

過去のフレーム画像を識別するための識別子としては、映像の先頭からのフレーム画像の番号や、復号化対象のフレーム画像の番号と過去のフレーム画像の番号との差分値を用いることができる。なお、前記過去のフレーム画像を識別するための識別子は、これらの方法には限らない。この場合、過去のフレーム画像の復号化に使われた多様なフィルタを、フィルタ識別子と過去のフレーム画像とを識別する識別子だけを復号化するだけで使用することができ、高い精度で動き補償ができる。また、この場合、フィルタ係数を復号化する必要が無いため、復号化するフィルタ係数の符号量を低減することができる。なお、復号化に使われたフィルタであることを示す識別子とそのフィルタが使われた過去のフレーム画像とを識別するための識別子を合わせて１つの識別子として復号化を行っても良い。

また、この場合、水平・垂直方向に独立な非対称形フィルタを復号化する際に、水平・垂直方向に独立な非対称形フィルタであることを示す識別子「１」と、過去のフレーム画像の復号化に使われたフィルタのフレームを示す識別子と、過去のフレーム画像の復号化に使われたフィルタのフィルタ係数からの復号化するフィルタのフィルタ係数の差分値とを復号化することで、より差分値の小さくなる過去のフレーム画像の復号化に使われたフィルタを選び、復号化するフィルタ係数の符号量を削減することができる。

さらにこの場合、初めて分数画素精度の参照画像を生成して動き補償して復号化するフレーム画像のフィルタとして常に基準フィルタを使用することし、過去のフレーム画像の復号化に使われたフィルタの中に必ず基準フィルタを含ませることも可能である。これにより、基準フィルタであることを示す識別子「２」を使用することなく基準フィルタを選択することができ、復号化するフィルタの識別子の符号量を減らすことができる。

また、上記各実施形態では、フィルタとして、１／２画素精度の参照画像を作成する６タップのフィルタを使用したが、使用するフィルタはこれに限定されない。例えば、任意の分数画素精度の参照画像を作成するフィルタを用いても良いし、任意のタップ数のフィルタを用いてもよい。さらに、動き補償に使われる分数画素精度の参照画像を作成する方法は、上述の方法に限定されない。また、参照画像の分数画素精度は１／４画素精度には限らず任意の分数画素精度とすることができる。また、上記各実施形態では、使用するフィルタとして、上記第１フィルタ、第２フィルタ、第３フィルタの全てを用意したが、これらのフィルタをすべて用意する必要は無く、どれか一つのフィルタが無くても良い。さらに、上記第１フィルタ、第２フィルタ、第３フィルタ以外のフィルタを、使用するフィルタの候補として加えても良い。

また、フィルタ１のフィルタ係数を符号化する場合、各フィルタ係数について、その値の前フレームフィルタ情報の各フィルタ係数からの差分値を符号化する以外に、各フィルタ係数の値そのものを符号化しても良いし、基準フィルタの各フィルタ係数からの差分値を符号化しても良い。

また、フィルタ１のフィルタ係数を復号化する場合、各フィルタ係数について、その値の前フレームフィルタ情報の各フィルタ係数からの差分値を復号化する以外に、各フィルタ係数の値そのものを復号化しても良いし、基準フィルタの各フィルタ係数からの差分値を復号化しても良い。

さらに上記各実施形態では、フィルタ決定部２０２でフィルタ情報を決定し、分数精度参照画像作成部２０４で分数精度参照画像を作成し、フレーム画像符号化／復号化部２０７で動き補償して符号化対象フレームの符号化および復号化を行ったが、この符号化及び復号化の手法はこれに限定されない。例えば、フィルタ決定部２０２でフィルタ情報を決定するための符号化効率を算出する際に分数精度参照画像作成およびフレーム画像符号化／復号化を行っている場合は、分数精度参照画像作成部２０４およびフレーム画像符号化／復号化部２０７を省略しても良い。

また、上記各実施形態では、出力部２０８は、符号化するフレームごとに、フレーム画像符号化ビットストリーム２１６の前にフィルタ情報符号化ビットストリーム２１４を挿入して２つのビットストリームを合わせ、外部へ出力しているが、フィルタ情報符号化ビットストリーム２１４をフレーム画像符号化ビットストリーム２１６の中に合わせて符号化ビットストリーム２１８として外部へ出力しても良い。また、入力部８０１は、符号化ビットストリーム８０７の中に含まれるフレーム画像符号化ビットストリーム２１６及びフィルタ情報符号化ビットストリーム２１４を受け付けて、これら二つのストリームを分離しても良い。

また、参照フレームごとに異なるフィルタを用いて分数精度の参照画像を作成する上記第２実施形態において、１フレーム前に符号化した参照フレームの第３フィルタが１フレーム前のフレーム画像の符号化に使われたフィルタを全て含む必要は無い。また、１フレーム前に復号化した参照フレームの第３フィルタは、１フレーム前のフレーム画像の復号化に使われたフィルタを全て含まなくてもよい。

また、上記第２実施形態において、１フレーム前に符号化した参照フレームの第１フィルタのフィルタ係数は、標準フィルタのフィルタ係数の差分値として符号化されなくてもよい。例えば、１フレーム前に符号化した参照フレームの第１フィルタのフィルタ係数は、１フレーム前のフレーム画像の符号化に使われたフィルタのいずれかのフィルタのフィルタ係数の差分値として符号化されてもよいし、他のフィルタ係数との差分値、あるいはフィルタ係数の値そのものとして符号化されてもよい。

また、上記第２実施形態において、１フレーム前に復号化した参照フレームの第１フィルタのフィルタ係数は、標準フィルタのフィルタ係数の差分値として復号化されなくてもよい。例えば、１フレーム前に復号化した参照フレームの第１フィルタのフィルタ係数は、１フレーム前のフレーム画像の復号化に使われたフィルタのいずれかのフィルタのフィルタ係数の差分値として復号化されてもよいし、他のフィルタ係数との差分値、あるいはフィルタ係数の値そのものとして復号化されても良い。

また、上記第２実施形態において、フィルタを決定する順序、フィルタ情報を符号化する順序およびフィルタ情報を復号化する順序は、符号化および復号化された順の古いものからとは限定されず、他の順序でも良い。

２０…動画像符号化装置、７０…動画像符号化プログラム、８０…動画像復号化装置、１１０…動画像復号化プログラム、２０２…フィルタ決定部（フィルタ決定手段）、２０３…フィルタ情報蓄積部（フィルタ情報蓄積手段）、２０５…フィルタ情報符号化部（フィルタ情報符号化手段）、７０３…フィルタ決定モジュール、７０４…フィルタ情報蓄積モジュール、７０６…フィルタ情報符号化モジュール、８０２…フィルタ情報復号化部（フィルタ情報復号化手段）、８０３…フィルタ情報蓄積部（フィルタ情報蓄積手段）、１１０３…フィルタ情報復号化モジュール、１１０４…フィルタ情報蓄積モジュール、２０２０１…フィルタ係数決定部、２０２０２…フィルタ符号化効率算出部、２０２０３…フィルタ符号化効率算出部、２０２０４…フィルタ符号化効率算出部、２０２０５…符号化効率比較部。

Claims (1)

1. フレーム画像の時間系列で構成される動画像に対して、フレーム画像ごとにフィルタを使って分数画素精度の参照画像を作成して動き補償する動画像符号化装置であって、
   過去のフレーム画像の符号化に使われたフィルタを蓄積するフィルタ情報蓄積手段と、
   現在のフレーム画像の符号化に使うフィルタを決定するフィルタ決定手段と、
   前記フィルタ決定手段により決定されたフィルタを示す情報を符号化するフィルタ情報符号化手段と、
   を備えることを特徴とする動画像符号化装置。
   

Images