JPH0865676A

JPH0865676A - 画像符号化装置

Info

Publication number: JPH0865676A
Application number: JP19397194A
Authority: JP
Inventors: Yuichiro Nakaya; 雄一郎中屋; Junichi Kimura; 淳一木村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-08-18
Filing date: 1994-08-18
Publication date: 1996-03-08
Anticipated expiration: 2020-03-30
Also published as: JP3634878B2

Abstract

(57)【要約】【目的】同一パッチに所属するすべての画素が共通の
動きベクトルを持つ制約がなく、かつ画素の動きベクト
ルの水平・垂直成分が隣接画素間距離の整数倍以外の値
を取り得る動き補償方式に関し、動き推定処理において
画素の輝度値を内挿する演算の回数を低減させる方法を
提供する。【構成】参照画像に輝度値の内挿演算を適用すること
によって、より密に画素が存在する高精細参照画像を作
成する。動き推定のマッチング処理において、参照画像
内で画素が存在しない点の輝度値が必要となったときに
は、内挿の演算を行わずに高精細参照画像において最も
近い位置にある画素の輝度値で近似する。【効果】輝度値の内挿の演算を行なう回数を減らすこ
とが可能となり、回路規模の縮小、あるいは処理時間の
短縮につながる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、同一パッチに所属する
すべての画素が共通の動きベクトルを持つ制約がなく、
画素の動きベクトルの水平・垂直成分が隣接画素間距離
の整数倍以外の値を取り得る動き補償方式を実行する画
像符号化装置に関するものである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。現在の
画像符号化技術の主流となっている動き補償方式は、動
画像符号化方式の国際標準であるＭＰＥＧ１およびＭＰ
ＥＧ２にも採用されている半画素精度のブロックマッチ
ングである。この方式では、符号化しようとする画像を
多数のブロックに分割し、ブロックごとにその動きベク
トルを水平・垂直方向に隣接画素間距離の半分の長さを
最小単位として求める。この処理を数式を用いて表現す
ると以下のようになる。符号化しようとするフレーム
（現フレーム）の予測画像をＰ(ｘ, ｙ)、参照画像（Ｐ
と時間的に近接しており、既に符号化が完了しているフ
レームの復号画像）をＲ(ｘ, ｙ)とする。また、ｘとｙ
は整数であるとして、ＰとＲでは座標値が整数である点
に画素が存在すると仮定する。このとき、ＰとＲの関係
は、

【０００３】

【数１】

【０００４】で表される。ただし、画像はｎ個のブロッ
クに分割されるとして、Ｂiは画像のｉ番目のブロック
に含まれる画素、(ｕi, ｖi)はｉ番目のブロックの動き
ベクトルを表している。動きベクトル(ｕi, ｖi)の推定
方式として最も一般的に用いられているのは、(ｕi, ｖ
i)に一定の探索範囲を設け（例えば-15≦ｕi, ｖi≦1
5）、その中でブロック内の予測誤差Ｅi(ｕi, ｖi)を最
小化するものを探索するという方式である。予測誤差の
評価基準として平均絶対誤差を用いた場合、Ｅi(ｕi,
ｖi)は、符号化しようとしているフレームの原画像をＩ
(ｘ, ｙ)として、

【０００５】

【数２】

【０００６】で表される。ただし、Ｎiはｉ番目のブロ
ックに含まれる画素の数である。このように、異なる動
きベクトルについてそれぞれ予測誤差を評価し、この誤
差が最も小さい動きベクトルを探索する処理をマッチン
グ処理とよぶ。一定の探索範囲の中ですべての(ｕi, ｖ
i)についてＥi(ｕi, ｖi)を計算し、その最小値を探索
することを全探索とよぶ。

【０００７】半画素精度のブロックマッチングでは、ｕ
iとｖiはそれぞれ画素間距離の半分、つまりこの場合は
１／２を最小単位として求められることになる。したが
って、座標値が整数ではなく、参照画像において実際に
は画素が存在しない点（以後、このような点を内挿点と
よぶ）の輝度値を求めることが必要となる。この際の処
理としては、周辺４画素を用いた共１次内挿が使われる
ことが多い。この内挿方式を数式で記述すると、座標値
の小数成分をｐとｑ（０≦ｐ, ｑ＜１）として、参照画
像の内挿点(ｘ＋ｐ, ｙ＋ｑ)における輝度値Ｒ(ｘ＋ｐ,
ｙ＋ｑ)は、

【０００８】

【数３】

【０００９】で表される。

【００１０】半画素精度のブロックマッチングを行うシ
ステムでは、まず広い探索範囲に対して１画素精度の全
探索を行なって大まかに動きベクトルを推定した後に、
この動きベクトルの周辺のごく狭い範囲（例えば、縦横
±半画素の範囲）に対して半画素精度の全探索を行なう
２段階探索が広く用いられている。そして、第２段階の
探索を行う際には、まず内挿点における輝度値を事前に
求めてから探索を行う方法が良く用いられる。この方法
の処理の例を図１に示す。この例では縦横４画素のブロ
ックを使用している。参照画像において、座標値が整数
でもともと画素が存在する点を「○」で表し、新たに輝
度値を求めた内挿点を「×」で表す。また、現フレーム
の原画像のブロックの画素を「□」で表す。第１段階の
探索で得られた動きベクトルを(ｕc, ｖc)とする。マッ
チングの例１０１は、第１段階の探索で、動きベクトル
が(ｕc, ｖc)であるときのマッチングの様子を示してい
る。予測誤差の評価は重なった「○」と「□」の間で行
われる。例１０２、１０３、１０４はそれぞれ第２段階
の探索で動きベクトルが(ｕc + 1/2, ｖc)、(ｕc +1/2,
ｖc + 1/2)、(ｕc - 1/2, ｖc - 1/2)であるときを表
している。これらの例では、予測誤差の評価は重なった
「×」と「□」の間で行われる。この図からわかる通
り、第２段階の探索における探索範囲を縦横±１／２画
素とした場合、６５個（図１の「×」の数）の内挿点の
輝度値を求めることにより、動きベクトル８個分のマッ
チング処理をカバーすることができる。このとき、輝度
値を求めた内挿点はすべてマッチングに使用される。マ
ッチングのたびに参照画像において内挿の計算をする
と、４×４×８＝１２８回の内挿を行う必要がある。こ
のように内挿演算の回数を減らすことができるのは、参
照画像の同じ内挿点が複数回使用されるためである。

【００１１】半画素精度のブロックマッチングは上で述
べた通り、現在広く用いられているが、ＭＰＥＧ１やＭ
ＰＥＧ２より高い情報圧縮率が必要となるアプリケーシ
ョンではさらに高度な動き補償方式が要求される。ブロ
ックマッチングの欠点はブロック内のすべての画素が同
一の動きベクトルを持たなければならない点にある。そ
こでこの問題を解決するために、隣接する画素が異なる
動きベクトルを持つことを許容する動き補償方式が最近
提案されている。以下にこの方式の一例である空間変換
に基づく動き補償に関して簡単に説明する。

【００１２】空間変換に基づく動き補償では、予測画像
Ｐと参照画像Ｒの関係は、

【００１３】

【数４】

【００１４】で表される。ただし、画像はｎ個の小領域
（パッチ）に分割されるとして、Ｐiは画像のｉ番目の
パッチに含まれる画素を表している。また、変換関数ｆ
i(ｘ,ｙ)とｇi(ｘ, ｙ)は現フレームの画像と参照画像
との間の空間的な対応を表現している。このとき、Ｐi
内の画素(ｘ, ｙ)の動きベクトルは、(ｘ−ｆi(ｘ,
ｙ),ｙ−ｇi(ｘ, ｙ))で表すことができる。ところで、
ブロックマッチングは変換関数が定数である方式とし
て、空間変換に基づく動き補償の特殊な例として解釈す
ることもできる。しかし、本明細書で空間変換に基づく
動き補償という言葉を用いるときには、ブロックマッチ
ングはその中に含まないこととする。

【００１５】変換関数の形としては、アフィン変換

【００１６】

【数５】

【００１７】を用いた例（中屋他、「３角形パッチに基
づく動き補償の基礎検討」、電子情報通信学会技術報
告、IE90-106、平2-03参照）、共１次変換

【００１８】

【数６】

【００１９】を用いた例（ G. J. Sullivan and R. L.
Baker, "Motion compensation for video compression
using control grid interpolation", Proc. ICASSP '9
1 , M9.1, pp.2713-2716,1991-05）、透視変換

【００２０】

【数７】

【００２１】を用いた例（V.Seferdis and M.Ghanbari,
"General approach to block-matching motion estim
ation'', Optical Engineering, vol. 32, no. 7, pp.
1464-1474, 1993-07）などが報告されている。ここでａ
ij、ｂij、ｃijはパッチごとに推定される動きパラメー
タである。符号化装置で得られる予測画像と同じものを
受信側で得るためには、画像符号化装置は何らかの形で
パッチごとに変換関数の動きパラメータが特定できる情
報を、動き情報として受信側に伝送すればよい。例え
ば、変換関数にアフィン変換を用い、パッチの形状が３
角形であるとする。この場合は、６個の動きパラメータ
を直接伝送しても、パッチの３個の頂点の動きベクトル
を伝送しても、受信側で６個の動きパラメータを再生す
ることができる（共１次変換を用いた場合には４角形の
パッチを採用すれば同様の処理が可能である）。以下で
は、変換関数にアフィン変換を用いた場合に関して説明
するが、この説明は他の変換を用いた場合についても、
ほぼそのまま適用することができる。

【００２２】変換関数が確定しても空間変換に基づく動
き補償には様々なバリエーションを考えることができる
が、その一例を図２に示す。この例では、パッチの境界
において動きベクトルが連続的に変化するように制約さ
れている。以下では、参照画像２０１を用いて現フレー
ムの原画像２０２の予測画像を合成することを考える。
このために、まず現フレームは複数の多角形のパッチに
分割され、パッチ分割された画像２０８となる。パッチ
の頂点は格子点とよばれ、各格子点は複数のパッチに共
有される。例えば、パッチ２０９は、格子点２１０、２
１１、２１２から構成され、これらの格子点は他のパッ
チの頂点を兼ねている。こうして画像を複数のパッチに
分割した後に、動き推定が行なわれる。ここに示す例で
は、動き推定は各格子点を対象として参照画像との間で
を行なわれる。この結果、動き推定後の参照画像２０３
で各パッチは変形されたものとなる。例えば、パッチ２
０９は、変形されたパッチ２０４に対応している。これ
は、動き推定の結果、格子点２０５、２０６、２０７が
それぞれ２１０、２１１、２１２に移動したと推定され
たためである。予測画像はパッチ内の各画素に関して変
換関数を計算し、数４にしたがって参照画像の中から対
応する点の輝度値を求めることにより合成される。これ
は、この例では３個の頂点の動きベクトルから数５の６
個の動きパラメータを計算し、画素ごとに数５を計算す
ることにより実現される。上で述べた通り、動き情報と
して格子点の動きベクトルを伝送しても、動きパラメー
タを伝送しても良いが、この例では１個の格子点が複数
のパッチの頂点を兼ねている分だけ前者の方が効率的で
ある。

【００２３】空間変換に基づく動き補償においてもブロ
ックマッチングと同様に、マッチングに基づく動き推定
が有効であることが指摘されている。マッチングに基づ
く動き補償のアルゴリズムの一例を以下に示す。この方
式は６角マッチングとよばれ、上の例のようにパッチの
境界で動きベクトルが連続的に変化する場合に有効であ
る。この方式は、以下の２つの処理により構成されてい
る。

【００２４】（１）ブロックマッチングによる格子点の
大まかな動き推定（２）修正アルゴリズムによる動きベクトルの修正（１）の処理では、格子点を含むブロック（大きさは任
意）に対してブロックマッチングを適用し、このブロッ
クの動きベクトルを格子点の大まかな動きベクトルとす
る。この処理の目的はあくまで格子点の大まかな動きベ
クトルを求めることであって、必ずブロックマッチング
を用いなければならないわけではない。（２）の処理の
様子は図３に示す。この図は参照画像におけるパッチと
格子点の一部を示したもの（図２の画像２０３に相当す
る）である。したがって、この図の中で格子点の位置を
変化させることは、その格子点の動きベクトルを変化さ
せることを意味する。格子点３０１の動きベクトルを修
正する場合、まずこの格子点が関与するすべてのパッチ
によって構成される多角形３０２の頂点にあたる、格子
点３０３〜３０８の動きベクトルを固定する。こうして
格子点３０１の動きベクトルを一定の範囲内で変化させ
る（例えば格子点３０１を格子点３０９の位置に移動さ
せる）と、その結果多角形３０２が含むパッチ内の予測
誤差も変化する。そして、探索範囲内で多角形３０２内
の予測誤差を最小にした動きベクトルが、格子点３０１
の修正された動きベクトルとして登録される。こうして
格子点３０１の修正が終了し、他の格子点に移動してか
ら同様の修正を続ける。一旦すべての格子点に対して修
正を行なった後に、もう一度最初の格子点から繰り返し
修正を行なえば、さらに予測誤差を小さくすることがで
きる。この繰り返しの回数としては、２〜３回が適当で
あることが報告されている。

【００２５】修正アルゴリズムにおける典型的な探索範
囲は縦横±３画素である。この場合、１個の格子点につ
いて１回の修正で４９回のマッチングが多角形３０２内
で行なわれる。一方で、１個のパッチは３個の格子点の
修正アルゴリズムに関与するため、パッチ内の各画素に
対して合計で１４７回予測誤差の評価が行なわれること
になる。さらにこの修正が繰り返し行なわれれば、その
たびに誤差評価の回数はさらに増えることになる。この
結果、誤差評価が行なわれるたびに対象となる画素に対
して内挿の計算が行なわれ、演算量が膨大となる。

【００２６】空間変換に基づく動き補償における内挿演
算の問題は、半画素精度のブロックマッチングにおける
同様の問題と比較して以下の点で本質的な違いがあるた
めにやっかいである。空間変換に基づく動き補償では、
たとえ格子点の動きベクトルの水平・垂直成分を１／２
の整数倍に制限したとしても、各画素の動きベクトルの
水平・垂直成分は同様に１／２の整数倍とはならない。
また、一般的に各画素の動きベクトルの小数点以下の成
分は任意の値がとれるため、マッチング処理において参
照画像の同じ内挿点の輝度値が複数回用いられることは
むしろまれである。

【００２７】

【発明が解決しようとする課題】空間変換に基づく動き
補償においてマッチングに基づく動き推定を行なう場
合、輝度値の内挿に要する演算量が膨大となる問題が発
生する。本発明の目的は、輝度値の内挿の計算回数を減
らし、少ない演算量で動き推定の処理を実現することに
ある。

【００２８】

【課題を解決するための手段】動き推定処理の前に、参
照画像においてｘ座標とｙ座標がそれぞれ１／ｍ1と１
／ｍ2の整数倍である点（ｍ1とｍ2は正の整数）の輝度
値を内挿により求めた高精細参照画像を用意する。した
がって、高精細参照画像においては、ｘ座標とｙ座標が
それぞれ１／ｍ1と１／ｍ2の整数倍である点に画素が存
在することになる。動き推定処理において、座標値が整
数でない位置における参照画像の輝度値が必要となった
場合には、高精細参照画像の中でこの座標に最も近い位
置に存在する画素の輝度値で近似することにより、内挿
演算の回数を減らす目的は達成される。

【００２９】

【作用】上記の高精細参照画像を作成する処理では、原
画像の１画像あたりｍ1×ｍ2−１回の内挿計算が必要と
なる。しかし、一旦この高精細化処理を終えてしまう
と、動き推定処理においてこれ以上に内挿の演算を行な
う必要はなくなる。「従来の技術」でとりあげた空間変
換に基づく動き補償の例では、動き推定処理で１画素あ
たり１４７回以上の内挿演算が必要である。したがっ
て、ｍ1＝ｍ2＝２とすれば、内挿演算の回数は５０分の
１程度にすることができ、演算量の大幅な低減につなが
る。

【００３０】

【実施例】第１の実施例として、参照画像全体を高精細
化してから動き推定処理を行う方式を示す。まず、高精
細参照画像Ｒ’を作成する。輝度値の内挿方式に共１次
内挿（数３）を用いるとして、Ｒ’は以下の式で表され
る。

【００３１】

【数８】

【００３２】ただし、ｓとｔは整数であり、かつ０≦ｓ
＜ｍ1, ０≦ｔ＜ｍ2であるとする。また、Ｒ’ではｘ、
ｙ、ｓ、ｔがすべて整数である点に画素が存在するとす
る。ｓ＝ｔ＝０である点は、もともと参照画像に存在す
る画素に対応しており、それ以外の点の輝度値は内挿に
よって求められる。なお、以下では簡単のため、特にｍ
1＝ｍ2＝ｍ（ｍは正の整数）である場合について実施例
を挙げる。

【００３３】図４に高精細参照画像を活用する画像符号
化装置の例を示す。なお、図の矢印はデータの流れを表
しており、アドレス信号などは省略してある。この装置
では、動き推定部４０１が動き推定の処理を担当してい
る。参照画像４０４は高精細化の処理を行う参照画像高
精細化回路４０５で処理された後、高精細参照画像４０
６としてフレームメモリ４０７に蓄えられ、マッチング
処理回路４０９へ近似輝度値情報４０８を提供する。一
方で現フレームの原画像４０２もフレームメモリ４０３
に蓄えられ、マッチング処理回路４０９で動き推定のた
めに活用される。マッチング処理回路が出力した動き情
報４１５は受信側に伝送されるが、符号化装置内でも予
測画像合成回路４１０における予測画像の合成のために
活用される。合成された予測画像と現フレームの原画像
４１１との差は減算器４１２で求められ、予測誤差４１
３として、予測誤差符号化器４１４で符号化され、予測
誤差情報４１６として伝送される。従来の方式では、変
換関数の演算、内挿処理、予測誤差の評価がすべてマッ
チング回路で行なわれていたのに対し、本実施例では内
挿処理を事前に参照画像高精細化回路で行なうことによ
り演算量を低減させている。また、高精細参照画像を用
いることにより、変換関数に求められる演算精度を下げ
ることができ、さらに処理を簡略化することができる。
これは、変換関数の演算に誤差が発生した場合に、高精
細参照画像で近似に用いる画素が異なるものにならない
範囲であれば、動き推定の結果に影響がないためであ
る。なお、ここで内挿により輝度値を求められた高精細
参照画像の画素は、すべてがマッチング処理で使用され
るとは限らない。この点は「従来の技術」でとりあげた
ブロックマッチングの例とは異なっている。

【００３４】図５にｍ＝２として、輝度値の内挿に共１
次内挿を用いた場合の参照画像高精細化回路４０５の例
を示す。この図でも矢印はデータの流れを表しており、
図４と同じ参照番号は同じものをさしている。入力の参
照画像信号４０４は、上から下へラインごとに左から右
へ画素の輝度値を与えるとする。この信号を２個の画素
遅延回路５０２、５０３と１個のライン遅延回路５０１
より構成された回路に加えることにより、上下左右に隣
接する４個の画素の輝度値５０４〜５０７を得ることが
できる。これらの輝度値それぞれにに対して積算器５０
８〜５１１を用いて内挿位置に応じて重み付け係数を掛
け、この結果を加算器５１２〜５１４に加える。この結
果をさらに加算器５１５とシフトレジスタ５１６に加え
ることにより、４で割った後に小数点以下を四捨五入す
る演算を実現する。以上の処理の結果、高精細参照画像
Ｒ’の４画素分の輝度値５１７〜５２０を出力４０６と
して得ることができる。

【００３５】図６に、マッチング処理回路４０９内にお
いて、高精細参照画像Ｒ’を用いて参照画像の内挿点に
おける輝度値の近似値を得る回路の一例を示す。図４と
同じ参照番号は同じものをさしている。ここでは、変換
関数を計算することにより、２進固定小数点表現の座標
値６０１、６０２が与えられていると仮定する。また、
ｍは図５と同様に２であるとして、高精細参照画像Ｒ’
はフレームメモリ４０７に蓄えられているとする。座標
値６０１、６０２は１／４を加える加算器６０３、小数
点以下２桁目以下を切り捨てる回路６０４を通過するこ
とにより、小数点以下２桁目を四捨五入され、１／２の
整数倍に変換される。この結果得られる座標値６０５、
６０６は、高精細参照画像Ｒ’において画素の存在する
点の座標値に対応している。この座標値は座標−アドレ
ス変換回路６０７によりフレームメモリ４０７のアドレ
スに変換され、目的の近似輝度値情報４０８を得る。な
お、この例では変換関数の小数点以下３桁目以下の成分
は全く使用されていない。したがって、変換関数の小数
点以下２桁目以上に影響しない範囲の演算誤差は動き推
定結果に影響を与えないことになる。これは上で述べた
ように、高精細参照画像を用いることにより、変換関数
に要求される演算精度が下がったためである。

【００３６】上で挙げた実施例では内挿演算の回数が減
少する一方で、高精細参照画像を格納するために参照画
像の４倍の大きさの画像を蓄えるメモリが必要となる。
そこで内挿演算の回数は上の実施例よりは多くなるもの
の、必要となるメモリ容量の小さい方式の実施例を示
す。この方式では、現フレームの原画像と参照画像の必
要な部分を少しずつ取り込みながら参照画像を高精細化
して動き推定に用いる。隣接画素間距離は、現フレーム
の原画像、参照画像共に水平・垂直方向に１であるとす
る。なお、ここでは動き推定方式に６角マッチングが使
用されていると仮定して、６角マッチングにおける修正
処理を実行する回路を中心に説明する。６角マッチング
のもう一方の処理である格子点の大まかな動き推定は、
「従来の技術」で説明した通り、格子点を含むブロック
に対してブロックマッチングを実行することにより行わ
れる。

【００３７】図７に現フレームの原画像の一部における
格子点７０３〜７１１の位置を示す。格子点の間隔を縦
横にNg、格子点ごとの動きベクトルの探索範囲を水平・
垂直方向に±Ｎsであるとすれば、参照画像の縦横２Ｎg
+ ２Ｎsの範囲７０１と、現フレームの原画像の縦横２
Ｎgの範囲７０２（斜線の範囲）に含まれる画素を使え
ば、格子点７０３に関する６角マッチングの修正処理を
行うことができる（実際にはこれらより狭い範囲でも良
いが、処理を簡略化するために正方形の領域を用い
る）。したがって、修正処理を行う装置はこれらの範囲
に含まれる画素の輝度値をあらかじめ読み込むことによ
り、以後の処理を外部のフレームメモリとは独立した状
態で実行することができる。またこの場合、格子点７０
３の修正処理を行う前に格子点７０８の修正処理を行う
ようにすれば、既に範囲７０１および７０２の画素の一
部が修正処理を行う装置に読み込まれていることにな
る。したがって、このときには図８に示すように参照画
像の範囲８０１および現フレームの原画像の範囲８０２
のみを追加して読み込むようにすれば良い（図８におい
て図７と同じ参照番号は同じものをさしている）。この
追加読み込みのときには、格子点７０８の動き推定処理
に使用した画素情報の一部は必要なくなるので、この情
報が入っていたメモリの上に範囲８０１および８０２の
情報を書き込んでも良い。このようにして、動き推定を
行う格子点が左から右に移動するごとに、新たに必要な
情報のみを読み込むようにすれば処理を簡略化すること
ができる。

【００３８】図９に、図７および８に示した方式に従っ
て６角マッチングの修正処理を行う装置の動き推定部９
０９の例を示す。この図において矢印はデータの流れを
表しており、図４と同じ参照番号は同じものをさしてい
る。動き推定部９０９は、図４の動き推定部４０１と異
なる構成で同じ働きをする。入力の現フレームの原画像
４０２と参照画像４０４はそれぞれフレームメモリ９０
１と９０３に蓄えられる。これに対してまず格子点の大
まかな動き推定が回路９０２で実行され、求められた動
きベクトルに従って参照画像における格子点の座標の情
報が格子点座標メモリ９０４に蓄えられる。続いて修正
処理部９０５が６角マッチングにおける修正処理を行
う。以下では、図８の例にならって、直前に格子点７０
８に対する処理が行われた場合の格子点７０３に対する
修正処理に関して説明する。修正処理部９０５は、高精
細化回路９０７とマッチング処理回路９０６からなって
いる。まず高精細化回路９０７は、参照画像が蓄えられ
たフレームメモリ９０３から新たに必要な範囲（図８の
例では、範囲８０１）の画素の輝度値情報を読み出す。
この情報に対して内挿処理を行い、動き推定において必
要となる範囲の高精細参照画像を作成して、マッチング
処理回路９０６に与える。マッチング処理回路では、同
様に現フレームの原画像のフレームメモリ９０１からも
新たに必要な範囲（図８の例では、範囲８０２）の輝度
値情報を読み込む。マッチング処理回路は自分自身で修
正処理に必要な範囲の高精細参照画像と現フレームの原
画像を蓄えるフレームメモリを持っており、このメモリ
を利用して処理を行う。マッチング処理回路はさらに格
子点座標メモリ９０４から参照画像における格子点の座
標情報の中で新たに必要となったもの（図８の例では、
格子点７０４、７０６、７１１の座標情報。これは格子
点７０７、７０８、７１０の座標情報が前の処理で使用
されているため。）を読み込み、６角マッチングの修正
処理を行う。この処理結果に従い、修正された参照画像
における格子点の座標（図８の例では、格子点７０３の
座標）を格子点座標メモリ９０４に書き込む。以上で格
子点７０３の修正は終了し、修正処理部は図８の格子点
７０４の修正処理に移る。修正処理がすべて終了する
と、格子点座標メモリ９０４に蓄えられた情報は動きベ
クトル演算回路９０８において格子点ごとの動きベクト
ルに変換されて動き情報４１５として出力される。ま
た、予測画像の予測誤差を計算するために、現フレーム
の原画像の情報４１１も出力される。

【００３９】図１０に図９の処理において並列処理を導
入した例を示す。図９と同じ参照番号は同じものをさし
ている。この例では、６角マッチングにおける修正処理
を行う修正処理部が複数存在し、処理を分担している。
参照画像と現フレームの原画像を蓄えているフレームメ
モリ９０１と９０３から輝度値情報を読み出すために
は、共通のデータバス１００１とアドレスバス１００２
を利用する。また、参照画像における格子点の座標を蓄
えた格子点座標メモリ９０４から情報を読み出したり、
情報を書き込む場合には共通のデータバス１００５とア
ドレスバス１００４を用いる。これらのバスを介して、
格子点の大まかな動き推定を行う回路９０２、６角マッ
チングの修正処理を行う回路９０５、１００３は情報の
転送を行う。修正処理部９０５と１００３は同じ構成で
ある。同様の構成の修正処理部をさらに加えることのよ
り、修正処理をさらに高速に実行することができる。修
正処理部は輝度値情報の読み込みと格子点座標情報の読
み込みと書き込みのとき以外はほぼ独立に処理を行うこ
とができるため、メモリへのアクセスの衝突を避けて並
列に処理を行うことができる。

【００４０】図８、９、１０に示した実施例では、修正
処理において参照画像の１画素について約(２+ ２Ｎs
／Ｎg)×(ｍ×ｍ - １)回の内挿演算が必要であり、図
４で示した実施例の約(２+ ２Ｎs ／Ｎg)倍の回数を必
要とする。しかし、高精細参照画像全体を蓄えるメモリ
が必要ないため、全体で必要なメモリ容量を小さくする
ことができる。

【００４１】回路における乗除算のしやすさを考慮する
と、ｍは２のべき乗であることが望ましい。ｍを小さく
すると回路規模を小さくすることができる。しかし、一
方で動き推定における座標（動きベクトル）の近似精度
が悪くなり、数２の演算で予測誤差の大小関係が逆転し
やすくなるために動き推定結果に狂いが生じ、予測特性
は劣化する。これに対し、ｍを大きくすると逆の現象が
起こる。回路規模を考慮すれば、ｍの値としては４以下
が望ましい。また、予測特性を考慮すれば、ｍの値とし
ては２以上が望ましい。したがって、両者のバランスを
考えてｍの値としては２、４が適当である。許容される
予測誤差と回路規模に応じて適当なｍの値は選択すれば
良い。

【００４２】画素密度が縦横にｍ倍の高精細参照画像を
用いて動き推定を行なうことは、数３における変換関数
ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)の値が１／ｍの整数倍となる
ように制限される（変換関数の最小単位が隣接画素間距
離の１／ｍとなる）ことを意味する。しかし、これはあ
くまで動き推定の際の制限で、予測画像の合成の際にも
この制限を守る必要はない。一方で、空間変換に基づく
動き補償では送信側と受信側における予測画像のミスマ
ッチ（送信側と受信側における変換関数の演算精度が異
なることが原因で、両者で合成される予測画像に不一致
が生じること）を防ぐため、予測画像を合成するときの
変換関数の演算精度に関して何らかの基準を設定する必
要がある。この基準を設定する方法の一つとして、動き
推定の際と同様に予測画像を合成する際の変換関数に最
小単位を設ける方法がある。しかし、上で述べた理由か
ら、このときの最小単位は必ずしも動き推定における最
小単位と同じ１／ｍである必要はない。一般的に動き推
定が終了し、動きパラメータが確定していても、予測画
像の合成における変換関数の演算精度を上げると予測誤
差は減少する。したがって、予測画像の合成のときには
動き推定のときよりも動きベクトルの最小単位を小さく
することにより、予測誤差を減少させることができる。
予測画像の合成の際には、輝度値の内挿演算は１画素に
つき１回のみ行なわれるため、この演算が多少複雑にな
っても動き推定の場合ほど全体の処理量に大きな影響を
及ぼさない。

【００４３】なお、以下の変形も本発明に含まれること
は明らかである。

【００４４】（１）輝度値の内挿に用いる関数として、
本明細書では共１次内挿をとりあげたが、これ以外の関
数を用いても良い。関数が複雑になると、内挿演算の回
数を減らすことの効果は大きくなる。

【００４５】（２）変換関数の種類として、本明細書で
はアフィン変換を中心にとりあげたが、これ以外の変換
関数を用いても良い。同一パッチ内の画素が共通の動き
ベクトルに従う必要がなく、画素の動きベクトルの垂直
・水平成分が隣接画素間距離の整数倍以外の値を取り得
る限り、本発明は有効である。

【００４６】（３）パッチの形状は、画素の集合を特定
するものであれば良く、特に本明細書でとりあげた３角
形でなくても良い。

【００４７】（４）空間変換に基づく動き補償に関し、
本明細書ではパッチの境界で動きベクトルが連続的に変
化する方式をとりあげた。しかし、例えばパッチごとに
動きパラメータをそのまま伝送する方式など、パッチ境
界で不連続を許容する方式であっても良い。

【００４８】（５）動き推定アルゴリズムとして、本明
細書ではブロックマッチングと６角マッチングをとりあ
げたが、これは他のマッチングに基づく方式であっても
良い。予測誤差の評価が多数回行なわれる方式である限
り、本発明は有効である。

【００４９】（６）空間変換に基づく動き補償におい
て、本明細書でとりあげた例のように伝送される動き情
報が格子点の動きベクトルでなくても良い。動き情報
は、上記項目（４）でとりあげた例のように、パッチご
との変換関数を特定するものであれば良い。

【００５０】（７）実施例では、ｍ1＝ｍ2の場合につい
て述べたが、両者が異なっていても良い。

【００５１】（８）本明細書では、現フレームのパッチ
構造を固定して参照画像のパッチを変形させる方式に関
して説明したが、逆に参照画像のパッチ構造を固定して
現フレームのパッチを変形させる方式であっても良い。

【００５２】（９）本明細書では、１個の予測画像を合
成するために用いる参照画像の数は１個として説明した
が、複数の参照画像を用いる方式であっても良い。

【００５３】

【発明の効果】本発明により、同一パッチに所属するす
べての画素が共通の動きベクトルを持つ制約がなく、か
つ画素の動きベクトルの水平・垂直成分が隣接画素間距
離の整数倍以外の値を取り得る動き補償方式の動き推定
処理において、輝度値の内挿の演算を行なう回数を減ら
すことが可能となる。

【図面の簡単な説明】

【図１】半画素精度のブロックマッチングにおける２段
階探索の処理の例を示した図である。

【図２】空間変換に基づく動き補償の処理の例を示した
図である。

【図３】空間変換に基づく動き補償における動き推定処
理の例として、６角マッチングとよばれる方式の処理を
示した図である。

【図４】高精細参照画像を活用する画像符号化装置の例
を示した図である。

【図５】輝度値の内挿により、参照画像を高精細化する
回路の例を示した図である。

【図６】変換関数の演算結果から、高精細参照画像にお
ける輝度値を得る回路の例を示した図である。

【図７】６角マッチングの修正処理で使用する画素の範
囲を示した図である。

【図８】６角マッチングの修正処理において隣の格子点
に続いて修正処理を行う場合に、新たに必要となる画素
の範囲を示した図である。

【図９】現フレームの原画像と参照画像の必要な部分を
少しずつ取り込みながら参照画像を高精細化して動き推
定に用いる方式を示した図である。

【図１０】現フレームの原画像と参照画像の必要な部分
を少しずつ取り込みながら動き推定に用いる方式に並列
処理を導入した場合を示した図である。

【符号の説明】

１０１、１０２、１０３、１０４…半画素精度のブロッ
クマッチングにおけるマッチング処理の例、２０１…参
照画像、２０２…現フレームの原画像、２０３…動き推
定後の参照画像のパッチと格子点、２０４、２０９…パ
ッチ、２０５〜２０７、２１０〜２１２、３０１、３０
３〜３０９、７０３〜７１１…格子点、２０８…現フレ
ームの原画像のパッチと格子点、３０２…修正処理にお
けるマッチングの対象となる多角形、４０１、９０９…
動き推定部、４０２、４１１…現フレームの原画像、４
０３、４０７、９０１、９０３…フレームメモリ、４０
４…参照画像、４０５…参照画像高精細化回路、４０６
…高精細参照画像、４０８…近似輝度値、４０９…マッ
チング処理回路、４１０…予測画像合成回路、４１２…
減算器、４１３…予測誤差、４１４…予測誤差符号化
器、４１５…動き情報、４１６…予測誤差情報、５０１
…ライン遅延回路、５０２、５０３…画素遅延回路、５
０４〜５０７…参照画像の画素の輝度値、５０８〜５１
１…乗算器、５１２〜５１５、６０３…加算器、５１６
…シフトレジスタ、５１７〜５２０…高精細参照画像の
画素の輝度値、６０１、６０２…参照画像における座標
値の固定小数点表現（変換関数の演算結果）、６０４…
小数点以下２桁目以下（２進表現）切り捨て回路、６０
５、６０６…高精細参照画像における座標値、６０７…
座標−アドレス変換回路、７０１…参照画像において修
正に使用される範囲、７０２…現フレームの原画像にお
いて修正に使用される範囲、８０１…参照画像において
追加される範囲、８０２…現フレームの原画像において
追加される範囲、９０２…６角マッチングにおける格子
点の大まかな動き推定を行う回路、９０４…参照画像に
おける格子点の座標メモリ、９０５、１００３…６角マ
ッチングの修正処理部、９０６…マッチング処理回路、
９０７…参照画像の一部の高精細化回路、９０８…動き
ベクトル演算回路、１００１…輝度値情報のデータバ
ス、１００２…輝度値情報のアドレスバス、１００４…
格子点の座標情報のアドレスバス、１００５…格子点の
座標情報のデータバス。

Claims

【特許請求の範囲】

【請求項１】同一パッチに所属するすべての画素が共通
の動きベクトルを持つ制約がなく、かつ画素の動きベク
トルの水平・垂直成分が隣接画素間距離の整数倍以外の
値を取り得る動き補償方式を実行する手段と、参照画像
において画素の存在しない点の輝度値を内挿により求め
ることによって画素の密度を水平、垂直方向にそれぞれ
ｍ1、ｍ2倍（ｍ1、ｍ2は正の整数）とした高精細参照画
像を合成する手段と、上記高精細参照画像を格納するメ
モリとを具備し、参照画像内で画素の存在しない点にお
ける輝度値を、上記高精細参照画像内でこの点の最も近
くに位置する画素の輝度値で近似することを特徴とする
画像符号化装置。
【請求項２】同一パッチに所属するすべての画素が共通
の動きベクトルを持つ制約がなく、かつ画素の動きベク
トルの水平・垂直成分が隣接画素間距離の整数倍以外の
値を取り得る動き補償方式を実行する手段と、参照画像
の一部を対象として、画素の存在しない点の輝度値を内
挿により求めることによって画素の密度を水平、垂直方
向にそれぞれｍ1、ｍ2倍（ｍ1、ｍ2は正の整数）とした
高精細参照画像の一部を合成する手段と、上記高精細参
照画像の一部を格納するメモリとを具備し、上記参照画
像の一部の中で画素の存在しない点における輝度値を、
上記高精細参照画像の一部の中でこの点の最も近くに位
置する画素の輝度値で近似することを特徴とする画像符
号化装置。
【請求項３】予測画像の合成の際の各画素における動き
ベクトルの水平、垂直成分をそれぞれ隣接画素間距離の
１／ｄ1、１／ｄ2（ｄ1、ｄ2は正の整数）の整数倍に制
限する手段を具備し、ｍ1≦ｄ1、ｍ2≦ｄ2であることを
特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】上記ｍ1、ｍ2の値がそれぞれ２以上の整数
であることを特徴とする請求項１または２または３に記
載の画像符号化装置。
【請求項５】上記ｍ1、ｍ2の値がそれぞれ２のｗ1乗、
２のｗ2乗（ｗ1とｗ2は正の整数）であることを特徴と
する請求項１または２または３に記載の画像符号化装
置。
【請求項６】上記ｍ1とｍ2の値が２であることを特徴と
する請求項１または２または３に記載の画像符号化装
置。
【請求項７】上記ｍ1とｍ2の値が４であることを特徴と
する請求項１または２または３に記載の画像符号化装
置。