JP4070104B2

JP4070104B2 - 動画像符号化復号方法及び動画像符号化装置並びに動画像復号装置

Info

Publication number: JP4070104B2
Application number: JP2002302298A
Authority: JP
Inventors: 邦男山田
Original assignee: National Institute of Information and Communications Technology; Victor Company of Japan Ltd
Current assignee: National Institute of Information and Communications Technology; Victor Company of Japan Ltd
Priority date: 2002-10-16
Filing date: 2002-10-16
Publication date: 2008-04-02
Anticipated expiration: 2022-10-16
Also published as: JP2004140533A; US20040161038A1; US7305033B2

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化復号方法及び動画像符号化装置並びに動画像復号装置に関する。
【０００２】
【従来の技術】
この種の従来例としては、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などが知られている。これらを含む従来の多くの動画像符号化手法では、キーフレームの符号化及び動きベクトル推定共に固定した位置・サイズのブロックを単位に行われる。ＭＰＥＧ−４においては、４つのベクトルの使用は認められているが、基本的にブロックを分割するのみである（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−２８７２１２号公報（図１、段落０００７〜００１５）
【０００４】
【発明が解決しようとする課題】
ブロックべースの符号化の場合、符号量が十分でない場合や動きベクトル推定に失敗した場合、ブロックの境目がはっきり見える、いわゆるブロック歪の問題が生じる。また、動きベクトル推定の精度自体についても問題がある。すなわち、常に一定のサイズのブロックを単位に動き推定が行われるため、ブロック中に複数の動きのオブジェクトが存在した場合などに、正しい動きベクトルが求まらないときや、支配的な動きベクトルは正しく推定されても、ブロック内の本来別の動きベクトルを持つオブジェクトの部分のテクスチャが、この支配的な動きベクトルに引きずられる形で動き補償に用いられるときに、ブロック歪を引き起こしてしまうこともある。
【０００５】
本発明は上記従来例の問題点に鑑み、非ブロックべースの動き補償を行うことにより、動き補償の関係する範囲内ではブロック歪は発生しない動画像符号化復号方法及び動画像符号化装置並びに動画像復号装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上記目的を達成するために、テクスチャの特性によって分割されたパッチを基本に動き推定・動き補償を行うようにしたものである。本発明はまた、予測漏れになった領域については、２重像やフレームアウトに対処するために使用キーフレームを部分的に切り替えるような大域動き補償を併用するようにしたものである。
【０００７】
すなわち本発明によれば、時間的に前後した前キーフレーム及び後キーフレームのほぼ中間のタイミングにおける中間フレームのテクスチャをその性質に応じて多数のパッチ状に領域分割し、
前記中間フレームの領域分割された各パッチ画像について前キーフレーム、後キーフレームを基にそれぞれ前方向、後方向の動きベクトルを推定し、
前記推定した前方向及び後方向の動きベクトルの信頼性を評価して、動画像を前記前キーフレーム及び後キーフレームと、中間フレームのパッチ画像と、前方向及び後方向の動きベクトルと、信頼性を符号化し、
前キーフレーム近傍のタイミングのフレームを、前記前キーフレームと前記中間フレームのパッチ画像の間に前記前方向の動きベクトルを内挿して動き補償して復号し、
前記後キーフレーム近傍のタイミングのフレームを、前記中間フレームのパッチ画像と前記後キーフレームの間に前記後方向の動きベクトルを内挿して動き補償して復号し、
前記前キーフレーム及び後キーフレームの中間のタイミングのフレームを、前記信頼性が高い方の動きベクトルを内挿して動き補償して復号する動画像符号化復号方法が提供される。
【０００８】
また本発明によれば、時間的に前後した前キーフレーム及び後キーフレームのほぼ中間のタイミングにおける中間フレームのテクスチャをその性質に応じて多数のパッチ状に領域分割する手段と、
前記中間フレームの領域分割された各パッチ画像について前キーフレーム、後キーフレームを基にそれぞれ前方向、後方向の動きベクトルを推定する手段と、
前記推定した前方向及び後方向の動きベクトルの信頼性を評価する手段と、
動画像を前記前キーフレーム及び後キーフレームと、中間フレームのパッチ画像と、前方向及び後方向の動きベクトルと、信頼性を符号化して伝送する手段とを、
有する動画像符号化装置が提供される。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る動画像符号化装置の一実施形態を示すブロック図、図２は本発明に係る動画像復号装置の一実施形態を示すブロック図である。
【００１０】
図１に示す符号化装置（エンコード部）において、キーフレームは適当な従来法によるものとし、これらの時間的に前後するキ一フレームをそれぞれ前キーフレーム（Key Frame）Ｆ（ｔ＝Ｔｆ）、後キーフレーム（Key Frame）Ｂ（ｔ＝Ｔｂ）とし、これらのほぼ中間の時間（ｔ＝Ｔｍ）におけるフレームを中間フレーム（Frame）Ｍと呼ぶことにする。また、前キーフレームＦを用いた予測を前方予測、後キーフレームＢを用いた予測を後方予測、双方を用いた予測を双方向予測と呼ぶことにする。
【００１１】
前キーフレームＦ、後キーフレームＢはそれぞれ、符号化部１Ｆ、１Ｂにより従来の適当なコーディング法（例えばＪＰＥＧ）により符号化し、圧縮データＤ１Ｆ、Ｄ１Ｂをビットストリーム（Bit Stream）化して伝送する。中間フレームＭは自動セグメンテーション部２により、領域競合法で多数のパッチ状に領域分割される。この領域分割の結果（パッチ画像）Ｐは形状符号化部３により４-connected Freeman Chainで符号化される（データＤ２）。
【００１２】
また、動きベクトル推定部４Ｆ、４Ｂにより、中間フレームＭにおけるテクスチャ（輝度信号）の各パッチ領域について、それぞれ前後のキーフレームＦ、Ｂに対する動きベクトル推定（ハーフペル）を行う（データＤ３Ｆ、Ｄ３Ｂ）。ここでは、評価部５により、前方・後方のどちらの予測の信頼性（すなわち照合度）が高いかについても符号化する（データＤ４）。さらに、大域動き推定部６により、パッチ動き補償による予測漏れの対策として大域動き補償を行うために前キーフレームＦ・後キーフレームＢ間の大域動き推定を行う（データＤ５）。このエンコードにより、前後のキーフレームＦ、Ｂの間のフレームは、データＤ２、Ｄ３Ｆ、Ｄ３Ｂ、Ｄ４、Ｄ５に圧縮され、ビットストリーム化されて伝送される。
【００１３】
図２に示す復号装置（デコード部）において、まず、前後のキーフレームＦ、Ｂは、それぞれデコード部１１Ｆ、１１Ｂにより従来手法でデコードされる。中間フレームＭを含むキーフレームＦ、Ｂ間のフレームは、キーフレームのテクスチャと時間により内挿された動きベクトルによりパッチ動き補償される。パッチ動き補償は、
Ｔｆ＜ｔ＜Ｔｆ＋（Ｔｂ−Ｔｆ）／３
程度のタイミングのフレームについては、予測部１２Ｆにより前方予測を行い、
Ｔｆ＋（Ｔｂ−Ｔｆ）／３≦ｔ＜Ｔｆ＋２^*（Ｔｂ−Ｔｆ）
程度のタイミングのフレームについては、予測部１２ＦＢにより双方向予測を行い、
Ｔｆ＋２^*（Ｔｂ−Ｔｆ）≦ｔ＜Ｔｂ
程度のタイミングのフレームについて、予測部１２Ｂにより後方予測を行う。なお、双方向予測については、信頼性の高い方のべクトルを採用する。
【００１４】
パッチ動き補償による予測漏れについては、動き補償部（ＭＣ）１３において大域動きベクトルの時間的内挿処理を行ったキーフレームを用いるが、前キーフレームＦ、後キーフレームＢのどちらを使うかについては以下に従う。
・画像中央部／Ｔｆ＜ｔ≦Ｔｍ：後キーフレームＢ
・画像中央部／Ｔｍ＜ｔ＜Ｔｂ：前キーフレームＦ
・画像縁端部／Ｔｆ＜ｔ≦Ｔｍ：前キーフレームＦ
・画像縁端部／Ｔｍ＜ｔ＜Ｔｂ：後キーフレームＢ
理由については後記する。
【００１５】
＜各要素について＞
・自動セグメンテーション部２（領域競合法によるセグメンテーション）
領域競合法［S. C. Zhu and A Yuille：" Region competition：unifying snakes， region growing，and Bayes/MDL for multiband image segmentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol、18, No.9(1996).］は、エネルギー汎関数最適化法の一種であり、隣接した複数の領域間でＭＤＬ規範が最小となる部分が成長し、その他の部分が縮小するようになっている。
【００１６】
また、この際に領域境界に不自然な凹凸が発生しないように自動的に競合が調整される。この手法は領域成長・融合法と動的輪郭法の長所を兼ね備えたものである。ここでは輝度レベルを正規分布統計量として扱うグレースケールモデルを用いている。以下、本符号化手法における中間フレームを領域分割の実例を示しながら手順を説明する。ここで、図３以降に示す画像は一例として、前方に木があり、後方に家があるフラワーガーデンを示している。
【００１７】
▲１▼例えば図３に示すような中間フレームの画像上に図４に示すようにｌ６×１６の領域競合の種を敷きつめる。ここで、原典のような８０画素の円形の種＋背景でなく、このようにしたのは、高速の（繰り返し回数の少ない）分割を目指したからである。
▲２▼これを２０回成長、競合させると図５のようになる。
▲３▼接触していて、かつ似ているテクスチャは同一領域であるとの仮定のもと、接触している２つの領域の平均と標準偏差の差の絶対値がそれぞれ、１０，３５未満の場合に融合する。図６は図５の３９６領域を２５２領域に減らしたものである。ここで、融合規準の評価を原典のエネルギー計算でなく、単純な統計量の比較で行ったのは主に計算量の理由である。
【００１８】
・形状符号化部３（4-connected Freeman Chain）
上記のパッチ状に分割された領域を記述するにあたり、4-connected Freeman Chain Codingを用いた。4-connected Freeman Chain Codingの原理は非常に単純であり、領域境界上の一点から境界に沿って画素単位に移動するにあたり、上下左右どちらに移動するかについて、始点に戻ってくるまで符号化する。
【００１９】
この方向については図７のように２ビットで表現できるので、この領域分割のパッチ画像についての必要な符号量は、
（領域数）^*{始点（かつ終点）の座標の表現に必要なビット数} ＋（領域境界の総経路長）²
になる。ここで上記の結果を基に領域境界の総経路長を検討した結果、２８８５０を得た。領域数を２５２、始点（かつ終点）の座標の表現に必要なビット数を１８とすると、結果的には７．２kbyte程度である。
【００２０】
・動き推定
ここで、図８、図９はそれぞれ、カメラ側が右側に移動した場合の前キーフレームＦ、後キーフレームＢを示し、結果として前方の木が左側に移動した動画像である。前キーフレームＦを図８、後キーフレームＢを図９として、図３の中間フレームＭを前方予測した結果を図１０に示し、後方予測した結果を図１１に示し、双方向予測した結果を図１２に示す。これらを見ると、例えば、図１０では図８において木の陰になった部分が再現されず、また図１１では図９において木の陰になった部分が再現されていないのに対し、図１２では良好な部分を選択的に用いているので、隠蔽部分の予測エラーが少ないことがわかる。ゆえにパッチ動き補償においては、ｔ＝Ｔｆ近傍では前方予測、ｔ＝Ｔｍ近傍では双方向予測、ｔ＝Ｔｂ近傍では後方予測を基本に動きベクトルを時間的に内挿して動き補償する。
【００２１】
・大域動き補償
パッチ動き補償による予測漏れについて、大域動きベクトルの時間的内挿処理を行った前キーフレームＦ、後キーフレームＢのテクスチャを下記（１）〜（４）のように用いると前述したが、（２）、（４）については（１）、（３）とｔ＝Ｔｍについて時間的に対称な現象になるので、ここでは（１）、（３）について説明する。
（１）画像中央部／Ｔｆ＜ｔ≦Ｔｍ：後キーフレームＢ
（２）画像中央部／Ｔｍ＜ｔ＜Ｔｂ：前キーフレームＦ
（３）画像縁端部／Ｔｆ＜ｔ≦Ｔｍ：前キーフレームＦ
（４）画像縁端部／Ｔｍ＜ｔ＜Ｔｂ：後キーフレームＢ
【００２２】
Ｔｆ＝０、Ｔｍ＝１４、Ｔｂ＝２９のとき、ｔ＝５におけるパッチ動き補償を行った結果を図１３に示す。ここで、印のついた幹のダブったような部分はパッチ動き補償の予測エラーなので、以下の議論では除外して考える。予測漏れが発生するのは、主に、ｔ＝ｍでの予測において（この場合、図１０）、前景物に隠蔽されたため、ｔ＝Ｔｍ近傍以外のタイミングでは（すなわち前景物が移動してしまうと）テクスチャが存在しない部分と、同じくｔ＝Ｔｍでの予測の時点でキーフレーム（ｔ＝Ｔｆ又はｔ＝Ｔｂ；ここでは前者）において、前景物に隠蔽されたため動きベクトルに信頼性の望めない部分（この場合、具体的には図８で幹に隠蔽されている背景相当部分）である。図１３では前者が幹の左側、後者が右側ということになる。
【００２３】
これに対して、図１４のように、前キーフレームＦによる大域動き補償を行うと、概ねの背景について良好な結果を得るものの、印をつけた部分のようなダブリが生じてしまう。これは前キーフレームＦのタイミング（ｔ＝Ｔｆ＝０）とカレントフレームのタイミング（ｔ＝５）が比較的近いため、必然的に回避できない現象である。そこで、時間的に離れた後キーフレームＢ（ｔ＝Ｔｂ＝２９）を用いて大域動き補償を行った結果が図１５である。大域動き補償としての品質はやや落ちるものの、ここではダブリが回避されている。ただし、時間差のため、大域的な動きとしては、後キーフレームＢ（ｔ＝Ｔｂ＝２９）は、カレントフレーム（ｔ＝５）よりかなり右に行ってしまっているため、画像左端の欠落を補填することはできない。そこで、目立つ画像中央部について後キーフレームＢを使用し、縁端部の欠落を防ぐ目的で縁端部については前キーフレームＦを使用した結果が図１６である。現状では、予測誤差の処理を行っていないので、これが実質上のデコード結果になる。
【００２４】
・実験結果
前の説明で一部結果も併記する形になったが、ここではｔ＝Ｔｆ＝０からｔ＝Ｔｂ＝２９までの全体像を示すとともに、概略のビットレートを計算する。図１７は復号結果の３０フレームの全体像を示すとともに、パッチ動き補償の方向を示したものである。また、ビットレートについては、約１秒間に・ＪＰＥＧで４０kbyte弱相当のキーフレームが１枚・中間フレーム（ｔ＝Ｔｍ）については、パッチセグメンテーション情報が上記に示したように７．２kbyte程度、２５２領域の双方向のベクトルとそのどちらが信頼性が高いかの情報が大目に見積もって１kbyte以下・大域動きベクトル１本（上記と比べるとほぼ０）になり、総計は５０kbyte/sec以下、すなわち４００bps以下程度の符号量になると予測される。検討したフラワーガーデンの例では、ＣＩＦ（３５２×２８８）、３０fpsで４００kbps以下の符号量になった。
【００２５】
【発明の効果】
以上説明したように本発明によれば、テクスチャの特性によって分割されたパッチを基本に動き推定・動き補償を行い、予測漏れになった領域については、２重像やフレームアウトに対処するために使用キーフレームを部分的に切り替えるような大域動き補償を併用しているため、従来手法で見られたブロック歪を回避した高効率の符号化が可能になる。
【図面の簡単な説明】
【図１】本発明に係る動画像符号化装置の一実施形態を示すブロック図である。
【図２】本発明に係る動画像復号装置の一実施形態を示すブロック図である。
【図３】中間フレームを示す説明図である。
【図４】図３の中間フレームの領域競合の“種”を示す説明図である。
【図５】図４の２０回の成長、競合後を示す説明図である。
【図６】図５の融合後を示す説明図である。
【図７】 4-connected Freeman Chain Codingを示す説明図である。
【図８】前キーフレームを示す説明図である。
【図９】後キーフレームを示す説明図である。
【図１０】中間フレームの前方予測画像を示す説明図である。
【図１１】中間フレームの後方予測画像を示す説明図である。
【図１２】中聞フレームの双方向予測画像を示す説明図である。
【図１３】パッチ動き補償のみの画像を示す説明図である。
【図１４】前キーフレームによる大域動き補償画像を示す説明図である。
【図１５】後キーフレームによる大域動き補償画像を示す説明図である。
【図１６】本発明の復号画像を示す説明図である。
【図１７】本発明の復号画像を示す説明図である。
【符号の説明】
１Ｆ、１Ｂ符号化部
２自動セグメンテーション部
３形状符号化部
４Ｆ、４Ｂ動きベクトル推定部
５評価部
６大域動き推定部
１２Ｆ、１２Ｂ、１２ＦＢ予測部
１３動き補償部

Claims

時間的に前後した前キーフレーム及び後キーフレームのほぼ中間のタイミングにおける中間フレームのテクスチャをその性質に応じて多数のパッチ状に領域分割し、
前記中間フレームの領域分割された各パッチ画像について前キーフレーム、後キーフレームを基にそれぞれ前方向、後方向の動きベクトルを推定し、
前記推定した前方向及び後方向の動きベクトルの信頼性を評価して、動画像を前記前キーフレーム及び後キーフレームと、中間フレームのパッチ画像と、前方向及び後方向の動きベクトルと、信頼性を符号化し、
前キーフレーム近傍のタイミングのフレームを、前記前キーフレームと前記中間フレームのパッチ画像の間に前記前方向の動きベクトルを内挿して動き補償して復号し、
前記後キーフレーム近傍のタイミングのフレームを、前記中間フレームのパッチ画像と前記後キーフレームの間に前記後方向の動きベクトルを内挿して動き補償して復号し、
前記前キーフレーム及び後キーフレームの中間のタイミングのフレームを、前記信頼性が高い方の動きベクトルを内挿して動き補償して復号する動画像符号化復号方法。
前記前キーフレーム及び後キーフレームの間の大域動きを推定して動画像をさらに符号化し、
前記大域動き推定結果によりパッチによる予測漏れが発生する場合、
前記中間フレーム以前のフレームの画像中央部を、前記後フレームのテクスチャを使用することにより復号し、
前記中間フレーム以前のフレームの画像縁端部を、前記前フレームのテクスチャを使用することにより復号し、
前記中間フレーム以降のフレームの画像中央部を、前記前フレームのテクスチャを使用することにより復号し、
前記中間フレーム以降のフレームの画像縁端部を、前記後フレームのテクスチャを使用することにより復号することを特徴とする請求項１に記載の動画像符号化復号方法。
時間的に前後した前キーフレーム及び後キーフレームのほぼ中間のタイミングにおける中間フレームのテクスチャをその性質に応じて多数のパッチ状に領域分割する手段と、
前記中間フレームの領域分割された各パッチ画像について前キーフレーム、後キーフレームを基にそれぞれ前方向、後方向の動きベクトルを推定する手段と、
前記推定した前方向及び後方向の動きベクトルの信頼性を評価する手段と、
動画像を前記前キーフレーム及び後キーフレームと、中間フレームのパッチ画像と、前方向及び後方向の動きベクトルと、信頼性を符号化して伝送する手段とを、
有する動画像符号化装置。
請求項３に記載の動画像符号化装置により符号化された動画像データを復号する動画像復号装置であって、
前キーフレーム近傍のタイミングのフレームを、前記前キーフレームと前記中間フレームのパッチ画像の間に前記前方向の動きベクトルを内挿して動き補償して復号する手段と、
後キーフレーム近傍のタイミングのフレームを、前記中間フレームのパッチ画像と前記後キーフレームの間に前記後方向の動きベクトルを内挿して動き補償して復号する手段と、
前記前キーフレーム及び後キーフレームの中間のタイミングのフレームを、前記信頼性が高い方の動きベクトルを内挿して動き補償して復号する手段とを、
有する動画像復号装置。