JP4331776B2 - 予測動きベクトル演算方法及び動きベクトル予測方法 - Google Patents

Description

本発明は、動画像コーディングシステムに関し、特に、コーディングしようとするブロックの周辺に動きベクトルを有するブロック（Ｂピクチャの双予測モードまたはダイレクトモード）がある場合、メディアン演算に利用する動きベクトルに対して定義することによって、周辺ブロックの動きベクトル情報を用いてコーディングしようとするブロックの予測動きベクトル（ＰＭＶ：Prediction Motion Vector）を予測し、コーディング効率を向上させ得る予測動きベクトル演算方法及び動きベクトル予測方法に関する。

一般に、インコーダは、動き情報伝達に使用されるビット量を減らすために、動きベクトル（ＭＶ）をデコーダに直接伝送する代わりに、周辺の三つのブロックの持っている動きベクトルのうちメディアン演算（median operation）を通じて中間値を選んで予測動きベクトル（ＰＭＶ：Prediction Motion Vector）として決定し、‘ＭＶ’と‘ＰＭＶ’の差である‘ＭＶＤ（=ＭＶ−ＰＭＶ）’を求めてこの値をデコーダに伝送する。

一方、デコーダでは、インコーダにおけると同様な方法で予測動きベクトル‘ＰＭＶ’を求めた後、この値に伝送された‘ＭＶＤ’を加えることによって動きベクトル‘ＭＶ’が得られる。図１でブロックＥはコーディング（または、デコーディング）しようとするブロックを表し、ブロックＡ、Ｂ、ＣはブロックＥの周辺ブロックであって、これらのブロックの持っている動きベクトルをそれぞれＭＶA、ＭＶB、ＭＶCとするとき、ブロックＥの予測動きベクトル‘ＰＭＶ’は下記のメディアン演算（median operation）より求めることができる。

PMV=median{MVA，MVB，MVC}

また、図１において、ブロックＤはブロックＣがピクチャの外部に存在するときに代用されるブロックである。仮に、三つのブロック（Ａ、Ｂ、ＣまたはＡ、Ｂ、Ｄ）のなかで、ブロックＥが参照するレファレンスピクチャと同一のレファレンスピクチャを参照したブロックが一つのみ存在すると、そのブロックの動きベクトル‘ＭＶ’を予測動きベクトル‘ＰＭＶ’として使用する。このような動き情報伝送方式はピクチャの種類に関わらずいずれも適用される。

一方、Ｂピクチャは順方向、逆方向、双予測、ダイレクト、そしてイントラモードといった５種類の予測モードを持っている。一般に、順方向モードはインデックス‘ref_idx_fwd’を有する順方向レファレンスピクチャから求めた一つの動きベクトル‘ＭＶＦＷ’を持っており、逆方向モードはインデックス‘ref_idx_bwd’を有する逆方向レファレンスピクチャから求めた一つの動きベクトル‘ＭＶＢＷ’を持っている。

そして、Ｂピクチャの双予測モードは、順方向／逆方向のほかに、順方向／順方向、逆方向／逆方向など異なる方向および同一の方向から予測が許容され、各レファレンスピクチャは、方向（順方向または逆方向）に関わらず‘ref_idx_fwd’、‘ref_idx_bwd’インデックスを使用し、各動きベクトルは方向によらずに‘ＭＶＦＷ’、‘ＭＶＢＷ’として表される（これは、既に定義されている‘syntax’をそのまま利用するためである。そして、これを表現する際に、各インデックスに‘ref_idx_l0’、‘ref_idx_l1’を使用し、各動きベクトルには‘mv_list 0’、‘mv_list 1’を使用してもよい）。また、Ｂピクチャのダイレクトモードは、動き情報がデコーダに伝送されずにデコーダ内部で動きベクトル‘ＭＶｆ’、‘ＭＶｂ’およびレファレンスピクチャを誘導することのできる予測モードであって、誘導された動きベクトルは方向に関わらず‘ＭＶｆ’、‘ＭＶｂ’で表されるという点が双予測モードと同一である。

このとき、従来のＢピクチャの予測動きベクトル‘ＰＭＶ’は、ブロックＥの順方向予測動きベクトルに対しては、周辺ブロックの順方向の動きベクトルのみを選んでメディアン演算を行って求めるが、仮に周辺ブロックが順方向動きベクそのブロックの動きベクトルを‘０’にしてメディアン演算を行う。この方法は、ブロックＥの逆方向予測動きベクトルに対しても同一に適用され、周辺ブロックの逆方向の動きベクトルのみを利用する。仮に、周辺ブロックがイントラモードであれば、動きベクトルは‘０’であり、レファレンスピクチャはブロックＥが参照するレファレンスピクチャと異なると仮定し、予測動きベクトル‘ＰＭＶ’を求めることになる。

ところで、前述の如く、Ｂピクチャの双予測モードは、順方向／逆方向のほかに、順方向／順方向、逆方向／逆方向など異なる方向および同一の方向から予測が許され、各レファレンスピクチャは方向（順方向または逆方向）に関わらず ‘ref_idx_fwd’、‘ref_idx_bwd’インデックスを使用し、各動きベクトルも方向に関わらず‘ＭＶＦＷ’、‘ＭＶＢＷ’で表される。これにより、二つの動きベクトルを有する周辺ブロックが存在する場合に対して、予測動きベクトル‘ＰＭＶ’を求める方法を定義する必要がある。

仮に、周辺ブロックが双予測モード（または、ダイレクトモード）を持ってい場合、このモードの動きベクトル‘ＭＶＦＷ’、‘ＭＶＢＷ’（または、‘ＭＶｆ’、‘ＭＶｂ’）は、順方向／順方向または逆方向／逆方向のような同一方向でもあり得え、それとも順方向／逆方向のように異なる方向でもあり得る。このような動きベクトルの方向情報は、動きベクトルシンタックス（‘ＭＶＦＷ’、‘ＭＶＢＷ’）やレファレンスピクチャインデックス（‘ref_idx_fwd’、‘ref_idx_bwd’）を見ては判断できない。従来のＢピクチャにおけるＰＭＶを求める手法では、この部分に対して正確に言及しなかったため、多くの混乱を招く恐れがあった。

しかも、例えば周辺ブロックが順方向／順方向の二つの動きベクトルを有する双予測モードの場合、ブロックＥの順方向予測動きベクトル‘ＰＭＶ’を求めるに当たって、二つの動きベクトルを全て使用するのか、それとも一つの動きベクトルのみを使用するのかに対しても明確に定義されていないという問題点があった。

本発明は、各レファレンスピクチャに対して動きベクトルの方向性情報を獲得できる固有情報を付与することによって、各周辺ブロックからレファレンスピクチャまでの方向性に対する情報を把握できる、レファレンスピクチャに対する方向性情報付与方法およびレファレンスピクチャの方向性判断方法を提供することが目的である。

また、本発明は、コーディングしようとするブロックの周辺に動きベクトルをえるブロック（Ｂピクチャの双予測モードまたはダイレクトモード）がある場合、メディアン演算に含ませる動きベクトルを決めることによって、周辺ブロックの動きベクトル情報を用いて、コーディングしようとするブロックの予測動きベクトル（ＰＭＶ）を予測し、コーディング効率を向上させることができる予測動きベクトル演算方法を提供することが他の目的である。

前記目的を達成する本発明によるレファレンスピクチャに対する方向性情報付与方法は、レファレンスピクチャインデックスによって指示されるレファレンスピクチャが、コーディングしようとするブロックからどの方向（順方向または逆方向）へのピクチャかに対する情報を提供できるように、該当レファレンスピクチャのディスプレイ順序が何番目か知らせる固有情報を前記レファレンスピクチャ表示情報に含ませることを特徴とする。

ここで、本発明によれば、前記レファレンスピクチャのディスプレイ順序に対する情報を提供する固有情報はＰＯＣ（Picture Order Count）値に基づいて表記される。

また、前記の目的を達成する本発明によるレファレンスピクチャの方向性判断方法は、レファレンスピクチャインデックスによって指示されるレファレンスピクチャのディスプレイ順序情報を獲得し、現在コーディングしようとするブロックのディスプレイ順序情報との比較に基づいて、現在コーディングしようとするブロックに対する前記レファレンスピクチャ（動きベクトル）の方向性（順方向または逆方向）を判断することを特徴とする。

ここで、本発明によれば、前記レファレンスピクチャのディスプレイ順序情報は、前記レファレンスピクチャを表示する情報の中でＰＯＣ値から獲得する。

また、前記他の目的を達成する本発明による予測動きベクトル演算方法は、周辺ブロックの動きベクトルを用いてメディアン演算を行い、コーディングしようとするブロックの予測動きベクトル（ＰＭＶ）を求める際に、周辺ブロックが動きベクトルを有する場合、各動きベクトルが参照しているレファレンスピクチャの方向性（順方向または逆方向）情報を獲得し、その獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選択し、その選択された動きベクトルを含ませてメディアン演算を行うことによってコーディングしようとするブロックの予測動きベクトルを求めることを特徴とする。

また、本発明によれば、前記動きベクトルの方向性情報を獲得する際に、レファレンスピクチャインデックスによって指示されるレファレンスピクチャのディスプレイ順序情報と、現在コーディングしようとするブロックのディスプレイ順序情報との比較に基づいて前記動きベクトルの方向性情報を判断する。

また、本発明によれば、獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックの持っている二つの動きベクトルが同一の方向でない場合には、予測動きベクトルと同一方向の動きベクトルを選択した後、メディアン演算に含ませて予測動きベクトルを求める。

また、本発明によれば、獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックの持っている二つの動きベクトルが同一の方向であり、前記周辺ブロックの二つの動きベクトルが予測動きベクトルの方向と同一でない場合には、該当周辺ブロックの動きベクトルを‘０’と設定し、レファレンスピクチャは、コーディングしようとするブロックが参照するレファレンスピクチャと異なると設定し、メディアン演算に含ませて予測動きベクトルを求める。

また、本発明によれば、獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックの持っている二つの動きベクトルＭＶ１、ＭＶ２が同一の方向であり、前記周辺ブロックの二つの動きベクトルＭＶ１、ＭＶ２が予測動きベクトルの方向と同一の方向であり、前記ＭＶ１、ＭＶ２がいずれも同一のレファレンスピク
チャを参照する場合には、二つの動きベクトルＭＶ１、ＭＶ２の中で一つの動きベクトルを選んでメディア演算に含ませて予測動きベクトルを求める。

また、本発明によれば、メディアン演算を行うために前記二つの動きベクトルＭＶ１、ＭＶ２の中で一つの動きベクトルを選ぶ際に、先にデコーディングされる動きベクトルを選ぶか、または、予測動きベクトルと同一なモード（ＭＶ１モードまたはＭＶ２モード）の動きベクトルを選んでメディアン演算に含ませて予測動きベクトルを求める。ここで、前記同一のモードを有する動きベクトルとは、前記予測動きベクトルを表す表記と同一の表記を有する動きベクトルを意味す
る。

また、本発明によれば、獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックの持っている二つの動きベクトルが同一の方向であり、前記周辺ブロックの二つの動きベクトルが予測動きベクトルの方向と同一の方向であり、コーディングしようとするブロックのレファレンスピクチャを前記ＭＶ１、ＭＶ２のうち一つの動きベクトルのみが参照する場合には、前記コーディングしようとするブロックのレファレンスピクチャを参照する動きベクトルを選んでメディアン演算に含ませて予測動きベクトルを求める。

また、本発明によれば、獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックの持っている二つの動きベクトルが同一の方向であり、前記周辺ブロックの二つの動きベクトルが予測動きベクトルの方向と同一の方向であり、コーディングしようとするブロックのレファレンスピクチャを前記ＭＶ１、ＭＶ２の両方とも参照せずに、前記ＭＶ１、ＭＶ２が異なるレファレンスピクチャを参照する場合には、二つの動きベクトルＭＶ１、ＭＶ２のうち、コーディングしようとするブロックが参照するレファレンスピクチャと最も近接した距離にあるレファレンスピクチャを参照する動きベクトルを選ぶか、または、現在コーディングしようとするピクチャから最も近接した距離にあるレファレンスピクチャを参照する動きベクトルを選んでメディアン演算に含ませて予測動きベクトルを求める。

また、本発明によれば、獲得された動きベクトルの方向性情報を参照して前記辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックが一つの動きベクトルを有し、その動きベクトルの方向が予測動きベクトルの方向と同一でない場合には、該当周辺ブロックの動きベクトルを‘０’と設定し、レファレンスピクチャはコーディングしようとするブロックが参照するレファレンスピクチャと異なると設定し、メディアン演算に含ませて予測動きベクトルを求める。

また、本発明によれば、獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックが一つの動きベクトルを有し、その動きベクトルの方向が予測動きベクトルの方向と同一の場合には、その動きベクトルをメディアン演算に含ませて予測動きベクトルを求める。

以上の説明の如く、本発明によるレファレンスピクチャに対する方向性情報付与方法およびレファレンスピクチャの方向性判断方法によれば、各レファレンスピクチャに対して動きベクトルの方向性情報を獲得できるディスプレイ順序情報を付与することによって、現在コーディングしようとするブロックからレファレンスピクチャまでの方向性に対する情報を判断することができる。

また、本発明による予測動きベクトルの演算方法によれば、コーディングしようとするブロックの周辺に二つの動きベクトルを有するブロック（Ｂピクチャの双予測モードまたはダイレクトモード）がある場合、メディアン演算に利用する動きベクトルを決めることによって、周辺ブロックの動きベクトル情報を用いてコーディングしようとするブロックの予測動きベクトル（ＰＭＶ）を予測し、コーディング効率を向上させることができる。

発明の実施の形態

メディアン演算を用いてコーディングしようとするブロックの周辺ブロックが双予測モード（または、ダイレクトモード）を持っている場合、このモードの動きベクトル‘ＭＶＦＷ’、‘ＭＶＢＷ’（または、‘ＭＶｆ’、‘ＭＶｂ’）は、順方向／順方向または逆方向／逆方向のように同一方向であるかもしれず、それとも順方向／逆方向のように異なる方向でもあるかもしれない。いずれでもあり得る。このような動きベクトルの方向情報は動きベクトルシンタックス（‘ＭＶＦＷ’、‘ＭＶＢＷ’）やレファレンスピクチャインデックス（‘ref_idx_fwd’、‘ref_idx_bwd’）を見ては判断できないので、レファレンスピクチャの持っている固有の他の情報を参照することによって方向情報を把握しなければならない。

そこで、本発明では、各レファレンスピクチャに対するディスプレイ順序の比較を通じて動きベクトルの方向性に対する情報を獲得し、これに基づいて予測動きベクトル‘ＰＭＶ’を求める方法を提示する。
以下、添付図面を参照しつつ本発明による実施例を詳細に説明する。

１．ディスプレイ順序の比較を通じた動きベクトルの方向性把握
まず、コーディングしようとするブロックの予測動きベクトル‘ＰＭＶ’を求めるには、周辺ブロックの動きベクトルに対する方向情報を把握しなければならない。そして、各ブロックの動きベクトルに対する方向情報に基づいて、メディアン演算に該当周辺ブロックの動きベクトルを含ませるか否か決定する。

一般に、周辺ブロックが順方向モードや逆方向モードによって一つの動きベクトルを持っている場合、この動きベクトルの方向性はレファレンスピクチャインデックスから判断できる。しかし、周辺ブロックが二つの動きベクトルを有する双予測モードやダイレクトモードである場合には、ただ二つのレファレンスピクチャインデックスの指示するレファレンスピクチャが実際にどの方向のピクチャか区分できなくなる。

その理由は、多重レファレンスピクチャおよびＢピクチャをレファレンスとして使用することを許す動画像コーディングシステムのデコーダは、たとえデフォルト順方向／逆方向インデックシング順序（default forward/backward indexing order）とレラティブ順方向／逆方向インデックシング順序（relative forward/backward indexing order）との関係をインコーダから伝送されたリマッピング（re-mapping）情報を通じてわかるといっても、現在デコーディングしようとするＢピクチャの順方向のレファレンスピクチャ数および逆方向のレファレンスピクチャ数が正確にわからないため、レファレンスピクチャインデックスだけでは方向情報を推定することができないからである。

本発明では、レファレンスピクチャインデックスの指示するレファレンスピクチャがどの方向のピクチャか区分するために、自分のディスプレイ順序（display order）が何番目か知らせる固有情報をレファレンスピクチャに含ませることを提案する。このディスプレイ順序はＰＯＣ（Picture Order Count）値に基づいて表記される。したがって、レファレンスピクチャインデックスの指示するレファレンスピクチャのディスプレイ順序を現在コーディングしようとするＢピクチャのディスプレイ順序と比較することによって、各動きベクトルがどの方向に存在するか容易にわかることになる。

２．周辺ブロックが双予測またはダイレクトモードを有するとき、予測動きベクトル‘ＰＭＶ’を求めるためのメディアン演算コーディングしようとするブロックの周辺ブロックが双予測モードまたはダイレクトモードであれば二つの動きベクトルを有することになり、このうちコーディングしようとするブロックに対して演算しようとする予測動きベクトル‘ＰＭＶ’と同一の方向を有する動きベクトルがメディアン演算に使用されるべきである。本発明で提示する効率的な予測動きベクトル‘ＰＭＶ’演算方法を、次に詳細に説明する。このとき、図１に示すと同様に、コーディングしようとするブロックをＥ、周辺ブロックをＡ、Ｂ、Ｃ、Ｄとし、周辺ブロックの二つの動きベクトルをそれぞれＭＶ１、ＭＶ２と設定する。

２.１ 周辺ブロックの持つ二つの動きベクトルが異なる方向の場合
コーディングしようとするブロック（例えば、Ｅ）に対して、求めようとする予測動きベクトル‘ＰＭＶ’と（各周辺ブロックＡ、Ｂ、ＣまたはＡ、Ｂ、Ｄの動きベクトルの中で）同一の方向の動きベクトルを選択した後、メディアン演算を通じて予測動きベクトル‘ＰＭＶ’を求める。

すなわち、ブロックＥの順方向予測動きベクトルに対して‘ＰＭＶ’を求める場合には順方向に対する動きベクトルを選択し、逆方向予測動きベクトルに対して‘ＰＭＶ’を求める場合には逆方向に対する動きベクトルを選択し、メディアン演算を通じて各方向に対する予測動きベクトル‘ＰＭＶ’を求める。

２.２ 周辺ブロックの持つ二つの動きベクトルが同一方向であり、その方向が予測動きベクトル‘ＰＭＶ’方向と同一の場合
まず、コーディングしようとするブロックＥが参照するレファレンスピクチャを、周辺ブロックの二つの動きベクトルが参照しているか検査する。

仮に、‘ＭＶ１’と‘ＭＶ２’の両方とも同一のレファレンスピクチャを参照しているとすると、二つの動きベクトルのうち一つの動きベクトル（例えば、最初にデコーディングされる動きベクトルまたは予測動きベクトルと同一のモード（ＭＶ１モードまたはＭＶ２モード）の動きベクトルを選んでメディアン演算に含ませて予測動きベクトル‘ＰＭＶ’を求める。ここで、前記同一のモードを有する動きベクトルとは、前記予測動きベクトルを表す表記と同一の表記を有する動きベクトルを意味する。また、前記‘ＭＶ１’と‘ＭＶ２’が参照するレファレンスピクチャは、コーディングしようとするブロックＥが参照するレファレンスピクチャと同一であってもよく、前記コーディングしようとするブロックＥが参照するレファレンスピクチャとは別のレファレンスピクチャであってもよい。

仮に、ブロックＥのレファレンスピクチャを‘ＭＶ１’と‘ＭＶ２’のうち一つの動きベクトルのみが参照していれば、ブロックＥと同一のレファレンスピクチャを参照するその動きベクトルをメディアン演算に含ませて予測動きベクトル‘ＰＭＶ’を求める。

仮に、いずれの動きベクトルともブロックＥのレファレンスピクチャを参照せレファレンスピクチャを参照する場合には、二つの動きベクトルのうち、ブロックＥが参照するレファレンスピクチャと最も近接した距離にあるレファレンスピクチャを参照する動きベクトルを選ぶか、または現在コーディングしようとするピクチャから最も近接した距離にあるレファレンスピクチャを参照する動きベクトルを選んでメディアン演算に含ませて予測動きベクトル‘ＰＭＶ’を求める。

２.３ 周辺ブロックの持つ二つの動きベクトルが同一方向であり、その方向が予測動きベクトル‘ＰＭＶ’方向と異なる場合
‘ＭＶ１’と‘ＭＶ２’を有する周辺ブロックの動きベクトルを‘０’と設定した後、レファレンスピクチャを、ブロックＥが参照するレファレンスピクチャと異なると設定し、メディアン演算に含ませてコーディングしようとするブロックの予測動きベクトル‘ＰＭＶ’を求める。

以上のように、周辺ブロックが二つの動きベクトルを持っているとき、ディスプレイ順序に従う動きベクトルの方向性把握および予測動きベクトル‘ＰＭＶ’方向と同一か否か検査することによって‘ＭＶ’により近接した‘ＰＭＶ’を求めることができる。これは、デコーダに伝送される動きベクトル差‘ＭＶＤ（＝ＭＶ−ＰＭＶ）’の大きさを縮め、結果として伝送されるビット量を減少させることができる。したがって、全体的なコーディング効率が高くなる効果がある。

一方、周辺ブロックが一つの動きベクトルを有する場合、ディスプレイ順序に従う動きベクトルの方向性情報を獲得し、その動きベクトルの方向が予測動きベクトルの方向と同一でない場合には、該当周辺ブロックの動きベクトルを‘０’と設定し、レファレンスピクチャは、コーディングしようとするブロックが参照するレファレンスピクチャと異なると設定し、メディアン演算に含ませて予測動きベクトルを求める。

また、周辺ブロックが一つの動きベクトルを有する場合、ディスプレイ順序に従う動きベクトルの方向性情報を獲得し、その動きベクトルの方向が予測動きベクトルの方向と同一の場合には、その動きベクトルをメディアン演算に含ませて予測動きベクトルを求める。

周辺ブロックＡ、Ｂ、Ｃの動きベクトルを用いてブロックＥの予測動きベクトルを演算することを説明するための図。

符号の説明

Ａ，Ｂ，Ｃ，Ｄ，Ｅ…ブロック。

Claims (1)

1. 双予測ピクチャにおける現ブロックの予測動きベクトルを得る方法において、
   周辺ブロックが動きベクトルを有する場合、レファレンスピクチャのディスプレイ順序情報と双予測ピクチャのディスプレイ順序情報とを比較することにより、各動きベクトルが参照している前記レファレンスピクチャの方向性情報を獲得する段階と、
   前記獲得された動きベクトルの方向性情報を参照し、前記予測動きベクトルと同一方向性の前記周辺ブロックの動きベクトルを選択する段階と、
   前記獲得された動きベクトルの方向性情報に基づいて選択された動きベクトルを用いてメディアン演算を行うことにより、現ブロックの予測動きベクトルを得る段階と
   を有し、
   獲得された動きベクトルの方向性情報を参照して前記周辺ブロックの動きベクトルを選び、予測動きベクトルを求める際に、前記周辺ブロックの持っている二つの動きベクトルが同一の方向でない場合には、予測動きベクトルと同一の方向の動きベクトルを選択することを特徴とする予測動きベクトル演算方法。

Images