JPH0998424A - アフィン変換パラメータ抽出方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 動画像圧縮方法における、アフィン変換を用
いる動き補償において、ブロックマッチング等により得
られる３個の平行移動ベクトルを利用して、６個のアフ
ィン変換パラメ−タをより少ない計算量で効率よく算出
する。 【構成】 画像平面上の現フレ−ムの既知の領域１０２
の３点とこれらの３点について探索された平行移動ベク
トル１０７、１０８、１０９を用いて前フレ−ムの領域
の３点の座標を求め、前記現フレ−ム及び前フレ−ムの
領域の６点の位置座標より各々のベクトルの水平と垂直
成分を（数１３）〜（数１６）から算出し、それらのベ
クトルのｘ，ｙ成分より、水平と垂直方向の回転角度、
伸縮倍率、平行移動量の６個のアフィン変換パラメ−タ
を、（数１７）〜（数２０）を用いて算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像技術分野の動画像
圧縮処理に利用されるアフィン変換パラメ−タ抽出方法
及び装置に関するものである。

【０００２】

【従来の技術】近年動画像圧縮は、より高い圧縮率を実
現するために、時間軸方向の画像の相関を利用した動き
補償による圧縮方法が取られている。その中で動きを表
す方法としては、ブロックマッチングで得られる動きベ
クトルにより平行移動を表す方法が一般的である。また
平行移動だけでなく回転や伸縮を疑似的なパラメータで
表す方法として、アフィン変換が知られている。

【０００３】以下に、アフィン変換式およびアフィン変
換パラメータを求める従来方法について説明する。アフ
ィン変換式は一般に（数５）で表される。（数５）にお
けるＭは２×２の行列式の（数６）で表され、ｄは（数
７）で表される平行移動成分で、Ｄ１は現画像フレーム
（以後現フレームと呼ぶ）において動きを表す対象とな
るる任意の領域成分、Ｄは平行移動や回転伸縮によって
動きを表す際に参照する画像フレーム（以後前フレーム
と呼ぶ）における任意の領域成分である。

【０００４】

【数５】

【０００５】

【数６】

【０００６】

【数７】

【０００７】（数６）におけるＳｘは水平方向の伸縮倍
率、Ｓｙは垂直方向の伸縮倍率、θｘは水平方向の回転
角度、θｙは垂直方向の回転角度である。（数７）にお
けるｄｘは水平方向の平行移動量、ｄｙは垂直方向の平
行移動量である。このアフィン変換式を使い、任意の２
つの画像フレームに存在する動きの追随する任意の領域
ＤおよびＤ１において、Ｄ１に含まれる画像信号成分を
伝送することなく、すでに得られている画像信号成分の
Ｄと、Ｍおよびｄに含まれる６つのパラメータＳｘ、Ｓ
ｙ、θｘ、θｙ、ｄｘ、ｄｙを用いてＤ１を再生するこ
とにより、画像圧縮を実現することになる。ここで使わ
れるアフィン変換パラメータを求める方法として従来
は、前フレーム全体を徐々に回転や伸縮を加えて変形し
た後、現フレームと前フレームの間でブロックマッチン
グなどを行うことにより、動きを検出しようとする対象
となる領域のパラメータを抽出するといった方法が取ら
れていた。

【０００８】

【発明が解決しようとする課題】しかしながらアフィン
変換パラメータを求めるための上記の方法では、徐々に
回転伸縮パラメータを変えて前フレームを変形させる際
に、莫大な計算が必要となり、他にも回転角度や伸縮倍
率の精度が変化させる単位に依存するため、正確な回転
角度や伸縮倍率は表現できないという問題点を有してい
た。本発明は上記問題点を解決するもので、画像の動き
をアフィン変換を使って表すために、アフィン変換で表
そうとする任意の領域上にある異なる任意の３点の平行
移動ベクトルを基にアフィン変換パラメータを抽出し、
計算量の削減と正確なパラメータ値の抽出を可能にする
事を目的とする。

【０００９】

【課題を解決するための手段】この目的を達成するため
に本発明のアフィン変換パラメータ抽出方法は、同一画
像平面上の異なる任意の３点の動きを表す平行移動ベク
トルを求め、その得られた３つの平行移動ベクトルか
ら、アフィン変換で表す対象になるフレームとアフィン
変換で表す際に参照するフレームにおける６点の位置情
報から水平と垂直各々の方向の回転角度、伸縮倍率およ
び平行移動量の６つのアフィン変換パラメータを抽出す
るものである。

【００１０】

【作用】この構成によって、現フレームにおける異なる
任意の３点について得られる平行移動ベクトルから、こ
れらの３点の前フレームにおける位置を検出し、現フレ
ームでの位置と前フレームでの位置の関係をアフィン変
換パラメータ式に代入することにより、これらの３点を
含む領域のアフィン変換パラメータを抽出することがで
きる。

【００１１】

【実施例】以下本発明の一実施例について、図面を参照
しながら説明する。図１はアフィン変換パラメ−タ抽出
方法を説明するための画像平面をｘ−ｙ座標系で表した
図である。図２はアフィン変換抽出装置のブロック図で
ある。図１において、１０１は画像平面上の位置を表す
ための座標系、１０２は現フレームにおいて動きを表す
対象となるアフィン変換による変形後の領域、１０３は
前フレームにおける１０２の動きを表すために用いられ
る変形前の領域、１０４、１０５、１０６は現フレーム
における領域１０２の頂点となる異なる任意の３点、１
０７、１０８、１０９は現フレームから前フレームに対
して検出される１０４、１０５、１０６の３点各々の平
行移動ベクトル、１１０、１１１、１１２は前フレーム
における領域１０３の頂点となる３点で１０４、１０
５、１０６の示す位置からベクトル１０７、１０８、１
０９を逆にたどることによって得られる位置を示してい
る。

【００１２】以上のように、画像平面上の座標系１０１
において、前フレームの領域１０３にアフィン変換モデ
ルに基づく変形が加わり、現フレーム上では領域１０２
に変形したと仮定する。このときに加えられるアフィン
変換パラメータを現フレーム画像と前フレーム画像から
類推する方法として、従来例では、前フレーム画像に対
し、徐々に変化させたアフィン変換パラメータを与え、
作成した画像と、現フレーム画像とを比較して、２つの
画像が同じものあるいは最も差の少ないものになった場
合に与えたパラメータ値を現フレーム画像の持つアフィ
ン変換パラメータであるとするような方法が取られてい
た。

【００１３】この場合、例えば回転角度を水平垂直方向
ともに−１０度から１０度まで１度づつ変化させ、伸縮
倍率を水平垂直方向ともに０．８倍から１．２倍まで
０．０２倍づつ変化させたものを調査対象としてアフィ
ン変換パラメータを検出しようとすれば、Ｄ１＝ＭＤ＋
ｄで与えられる計算を前フレーム画像全てに対して２１
の４乗回数行わなければならず、その計算回数は莫大な
ものとなる。また回転角度では１度単位、伸縮倍率では
０．０２倍単位等の量子化されたパラメータ値しか与え
られないことになり、この方法から得られるアフィン変
換パラメータ値も量子化されたものになる。これを本実
施例では、前フレームに対して行われるアフィン変換計
算を行わず、３点の平行移動ベクトルを探索する計算
と、探索されたベクトルから求められる３点の、現フレ
ームと前フレームにおける位置関係のみから、アフィン
変換パラメータを抽出しようとするものである。

【００１４】以下この方法の説明を行う。まず画像平面
上の座標系１０１において、前フレームの領域１０３に
アフィン変換パラメータで与えられる変換が加わり、現
フレーム上では領域１０２に変形したと仮定できる場
合、領域１０３に加えられるアフィン変換パラメータは
領域１０３内部全てに対して同じものであると考えら
れ、（数８）、（数９）、（数１０）が成り立つ。（数
８）、（数９）、（数１０）におけるＭは（数６）、ｄ
は（数７）で表される。ここで（数８）、（数９）、
（数１０）から得られる連立方程式（数１１）、（数１
２）を解くために、既知であるＤ１ｘ，Ｄ１ａ，Ｄ１ｂ
及びそれらの３点について探索された平行移動ベクトル
より求められるＤｘ，Ｄａ，Ｄｂを使ってベクトルの水
平と垂直各々の成分を（数１３）、（数１４）、（数１
５）、（数１６）とおけば、アフィン変換パラメータの
水平方向、垂直方向の回転角度θｘ，θｙが（数１
７）、（数１８）で、水平方向、垂直方向の伸縮倍率Ｓ
ｘ，Ｓｙが（数１９）、（数２０）のように求められ、
これを（数８）、（数９）、（数１０）のいずれかに代
入すれば水平方向、垂直方向の平行移動量ｄｘ，ｄｙよ
りなる平行移動パラメ−タｄも求められる。

【００１５】

【数８】

【００１６】

【数９】

【００１７】

【数１０】

【００１８】

【数１１】

【００１９】

【数１２】

【００２０】

【数１３】

【００２１】

【数１４】

【００２２】

【数１５】

【００２３】

【数１６】

【００２４】

【数１７】

【００２５】

【数１８】

【００２６】

【数１９】

【００２７】

【数２０】

【００２８】このようにして、前フレームに回転や伸縮
を徐々に加えて膨大な計算を行うことなく、領域１０２
を表すアフィン変換パラメータが求められ、また量子化
されたものではなく正確な値のパラメータを求めること
が可能になる。ただし画像圧縮における符号化等の際に
は、情報ビット数制限などにより、量子化する必要があ
る場合も考えられる。計算回数を比較すれば、従来方法
でも前フレーム画像にアフィン変換を加えた後の画像と
現フレーム画像の比較を行う際にブロックマッチングな
どの計算を行うため、この比較計算回数と、本実施例に
おける３点の平行移動ベクトルを探索するために行う計
算回数がほぼ等しくなり、従来例における前フレームに
加えられるアフィン変換計算回数分が本実施例では少な
くなる。

【００２９】ただしこの方法によって得られるパラメー
タ値が正確である事の条件としては、３点の平行移動ベ
クトルに誤差がないことがあげられ、実際の平行移動ベ
クトル検出で使われるブロックマッチングなどの方法で
は、得られる平行移動ベクトルに誤差が含まれるためア
フィン変換パラメータにも誤差が現れることになるが、
これは従来方法でも量子化されたパラメータ値を与える
事に起因する誤差が存在するため、本実施例のみに現れ
る問題ではない。また、本実施例で示したアフィン変換
パラメータの抽出を実行することにより、動画像におけ
る画像平面間の時間軸方向の相関を利用した画像圧縮を
行う際にアフィン変換を用いてモデル化する場合の符号
化方法が容易となる。他にも時間軸方向に任意の画像フ
レームをスキップして画像情報を伝送し、受信側でスキ
ップされた画像フレームを前後の画像フレームから作る
ような内挿処理においても、この方法を用いる事により
計算が大幅に減少できる。

【００３０】次に本発明の実施例で示した例の特殊な場
合について説明する。一般に画像圧縮で使われている領
域としては、画像平面を水平垂直方向にきれいに等分割
された長方形あるいは正方形となるブロックが使われる
ことが多い。そこで本実施例でもこの分割されたブロッ
クが正方形であるものとして、このブロックを対角線で
斜めに２つに分けて直角二等辺三角形を作り、この三角
形の領域について実施例１で述べた方法を実行する。こ
の場合には、例えば図１におけるＤ１ｘ，Ｄ１ａ，Ｄ１
ｂで表される三角形領域の角Ｄ１ｘが直角となり、Ｄ１
ｂとＤ１ｘの垂直方向の位置が同じで、Ｄ１ａとＤ１ｘ
の水平方向の位置が同じとなるような場合が考えられ、
この場合には実施例１で示した（数１３）のｘａが０と
なり、（数１４）のｙｂが０となる。またｘｂとｙａが
正方形ブロックの一辺に等しくなり、これをｂｓとして
与えれば、アフィン変換で使われるパラメータのθｘ、
θｙ、Ｓｘ、Ｓｙは（数２１）、（数２２）、（数２
３）、（数２４）のように与えられ、前述の実施例１で
示したものより簡略化される。

【００３１】

【数２１】

【００３２】

【数２２】

【００３３】

【数２３】

【００３４】

【数２４】

【００３５】このようにして、画像平面をブロックに均
等分割することにより画像圧縮の単位を一定として画像
圧縮方式自体を簡単にし、更にアフィン変換パラメータ
抽出を簡略化する方法が実現できる。図２に本発明に関
わるアフィン変換パラメ−タ抽出装置のブロック図を示
す。図２において、２０１はフレームメモリ、２０２は
平行移動ベクトル検出ブロック、２０３はアフィン変換
パラメータ抽出ブロック、２０４は映像信号入力、２０
５はアフィン変換パラメータ出力である。２０４から入
力された前フレームの映像信号はフレームメモリ２０１
に蓄えられ、平行移動ベクトル検出ブロック２０２に新
たに入力される現フレームの映像信号の異なる任意の３
点の平行移動ベクトルを求める際に、必要に応じて呼び
出される。平行移動ベクトル検出ブロック２０２では、
フレームメモリ２０１からの前フレームの映像信号と新
たに入力される現フレームの映像信号を比較し、例えば
平行移動ベクトルを求めようとする点を中心とする固定
領域のブロックに対してブロックマッチングを行う事に
より、アフィン変換で表す対象となる三角形領域の頂点
にあたる３点の平行移動ベクトルを検出する。ここで得
られる三角形領域の３頂点の座標位置と３頂点各々の平
行移動ベクトル値を、アフィン変換パラメータ抽出ブロ
ック２０３に伝送する。アフィン変換パラメータ抽出ブ
ロック２０３では、伝送された値から前述した水平と垂
直方向の回転角度、伸縮倍率、平行移動量の計算を行う
事により、アフィン変換パラメータを抽出することがで
きる。

【００３６】

【発明の効果】以上のように本発明は、同一画像平面上
の異なる任意の３点とそれら３点の動きを表す平行移動
ベクトルを検出することによって得られる別の平面上の
３点の位置情報を使い、水平と垂直各々の方向の回転角
度と伸縮倍率と平行移動量の６つのアフィン変換パラメ
ータを抽出することができ、少ない計算量で精度の高い
値が求められるという優れたアフィン変換パラメータ抽
出方法を実現できるものである。

【図面の簡単な説明】

【図１】本発明の第１の実施例のアフィン変換パラメ−
タ抽出方法の動きを表す座標系を含む画像平面の概念図

【図２】本発明の第１の実施例のアフィン変換パラメ−
タ抽出装置のブロック構成図

【符号の説明】

１０１ 画像平面上の位置を表すための座標系 １０２ 現フレームの領域 １０３ 前フレームの領域 １０４、１０５、１０６ 現フレーム領域１０２の３つ
の頂点 １０７、１０８、１０９ 平行移動ベクトル １１０、１１１、１１２ 前フレーム領域１０３の３つ
の頂点 ２０１ フレームメモリ ２０２ 平行移動ベクトル検出ブロック ２０３ アフィン変換パラメータ抽出ブロック ２０４ 映像信号入力 ２０５ アフィン変換パラメータ出力

Claims (3)

【特許請求の範囲】
1. 【請求項１】動画像における２枚の画像平面の時間軸方
   向の相関を表す方法としてアフィン変換を用いる際、同
   一画像平面上の異なる任意の３点と、これらの３点の各
   々に対して、動きの追随すると推察される別の画像平面
   上の３点の、合計６点の画像平面上における位置情報を
   求め、これらの位置情報の対応する３点で代表される領
   域を表すためのアフィン変換に使われる水平と垂直方向
   の各々の回転角度、伸縮倍率および平行移動量の６つの
   パラメータ値を算出するアフィン変換パラメータ抽出方
   法。
2. 【請求項２】動画像における一画像平面上の異なる任意
   の３点をＤａ，Ｄｂ，Ｄｘとし、Ｄａ，Ｄｂ，Ｄｘを含
   む画像平面とは別の画像平面における３点をＤ１ａ，Ｄ
   １ｂ，Ｄ１ｘとし、回転伸縮平行移動の変形により、点
   Ｄａが点Ｄ１ａに、点Ｄｂが点Ｄ１ｂに、点Ｄｘが点Ｄ
   １ｘに移動したと推察し、それらの移動した３点につい
   て探索された平行移動ベクトルを算出する手段、ベクト
   ルＤａＤｘ，ＤｂＤｘ，Ｄ１ａＤ１ｘ，Ｄ１ｂＤ１ｘを
   求める手段、それらの変形に含まれる水平方向及び垂直
   方向の回転角度を算出する手段、水平方向及び垂直方向
   の伸縮倍率を算出する手段、平行移動量を算出する手段
   とを備えたアフィン変換パラメ−タ抽出装置。
3. 【請求項３】画像デ−タを記憶するフレ−ムメモリと、
   フレ−ムメモリ−からの画像デ−タを用いて、三角形領
   域の３頂点の各々の平行移動ベクトル検出部を有し、三
   角形領域の３頂点の座標位置と前記平行移動ベクトル値
   ｄを利用して、アフィン変換パラメ−タを、（数１）、
   （数２）、（数３）、（数４）を用いて抽出するアフィ
   ン変換パラメ−タ抽出装置。 【数１】 【数２】 【数３】 【数４】