JPH0984014A - 画像動き予測方法および予測装置 - Google Patents

Abstract

(57)【要約】 【目的】画像の動き予測のための計算量を減らし、動き
予測専用のハードウェアへの要求を緩和し、しかも専用
のハードウェアではなく一般のＣＰＵ演算チップでも画
像の動き予測を高速に実行すること。 【構成】複数のフレームに記録された画像の列に対し、
予測されるフレームの一部分と予測の元になるフレーム
の中の対応する部分およびその近傍部分とについて、一
次元投影する操作を異なる複数の方向で夫々行なう一次
元投影手段１と、この一次元投影データを基に、複数の
方向での投影パターンを作成する投影パターン作成手段
２と、この作成された各々の方向で、予測されるフレー
ムの一部分から作成された投影パターンと予測の元にな
るフレームの中の対応する部分およびその近傍部分から
作成された投影パターンとをパターン・マッチングする
ことにより、各フレーム間での画像の動きを予測する画
像動き予測手段３とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像や多眼画像のよ
うに複数のフレームに記録された画像の列に対して、各
フレーム間での画像の動きを予測する方法に係り、特に
画像の動き予測のための計算量を減らし、動き予測専用
のハードウェアへの要求を緩和し、しかも専用のハード
ウェアではなく一般のＣＰＵ演算チップでも画像の動き
予測を高速に実行できるようにした画像動き予測方法お
よび予測装置に関するものである。

【０００２】

【従来の技術】最近、画像処理の分野においては、動画
像や多眼画像のように複数のフレームに記録された画像
の列に対して、各フレーム間での画像の動きを予測する
ことが行なわれてきている。

【０００３】この画像動きを予測する方法は、動画像や
多眼画像のように複数のフレームに記録された画像の列
を素材として、例えばその情報を効率よく蓄積するため
の圧縮手法の重要部分、あるいはその情報をフレームと
フレームとの間の画像の位置合わせや、その位置合わせ
を利用した複数フレームからの単一フレームの合成、フ
レーム間の内挿等に利用することができる。

【０００４】ところで、この種の動画像や多眼画像のよ
うに複数のフレームに記録された画像の列に対して、各
フレーム間での画像の動きを予測する際に、従来では、
予測されるフレームの一部分を、平行移動やアフィン変
換等の方法で、予測の元になるフレーム上で動かしてパ
ターン・マッチングを行なって得られている。

【０００５】しかしながら、このような方法では、一つ
の予測を得るために必要なパターン・マッチングの回数
が非常に多く、フレーム画像全体では膨大な計算量とな
る。例えば、デジタル動画像圧縮の国際標準であるＭＰ
ＥＧ−１のビデオ符号化手法の場合に、フレーム間の動
き補償に用いる動き予測ベクトルを符号化の際にビデオ
入力に対してリアルタイムで求めるためには、通常、画
像の動き予測に対応した専用のハードウェアを用いるこ
とが必要になる。

【０００６】

【発明が解決しようとする課題】以上のように、従来の
画像動き予測方法においては、画像の動き予測のための
計算量が膨大となり、さらに画像の動き予測に対応した
専用のハードウェアを用いる必要があるという問題があ
った。

【０００７】本発明の目的は、画像の動き予測のための
計算量を減らし、動き予測専用のハードウェアへの要求
を緩和し、しかも専用のハードウェアではなく一般のＣ
ＰＵ演算チップでも画像の動き予測を高速に実行するこ
とが可能な画像動き予測方法および予測装置を提供する
ことにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、まず、請求項１に対応する発明では、動画像や多
眼画像のように複数のフレームに記録された画像の列に
対して、各フレーム間での画像の動きを予測する方法に
おいて、予測されるフレームの一部分と予測の元になる
フレームの中の対応する部分およびその近傍部分とにつ
いて、一次元投影する操作を異なる複数の方向でそれぞ
れ行なって各々の方向での投影パターンを作成し、上記
投影された各々の方向で、予測されるフレームの一部分
から作成された投影パターンと予測の元になるフレーム
の中の対応する部分およびその近傍部分から作成された
投影パターンとをパターン・マッチングすることにより
画像の動きを予測するようにしている。

【０００９】ここで、特に上記一次元投影する操作とし
ては、例えば請求項２に記載したように、Ｘ方向および
Ｙ方向の２つの方向でそれぞれ行なうことが好ましい。

【００１０】また、請求項３に対応する発明では、動画
像や多眼画像のように複数のフレームに記録された画像
の列に対して、各フレーム間での画像の動きを予測する
装置において、動画像や多眼画像のように複数のフレー
ムに記録された画像の列に対し、予測されるフレームの
一部分と予測の元になるフレームの中の対応する部分お
よびその近傍部分とについて、一次元投影する操作を異
なる複数の方向でそれぞれ行なう一次元投影手段と、一
次元投影手段による一次元投影データに基づいて、複数
の方向での投影パターンを作成する投影パターン作成手
段と、投影パターン作成手段により作成された各々の方
向で、予測されるフレームの一部分から作成された投影
パターンと予測の元になるフレームの中の対応する部分
およびその近傍部分から作成された投影パターンとをパ
ターン・マッチングすることにより、各フレーム間での
画像の動きを予測する画像動き予測手段とを備えて成
る。

【００１１】ここで、特に上記一次元投影手段として
は、例えば請求項４に記載したように、一次元投影する
操作をＸ方向およびＹ方向の２つの方向でそれぞれ行な
うことが好ましい。

【００１２】

【作用】従って、本発明の画像動き予測方法および予測
装置においては、一次元投影手段で、予測されるフレー
ムの一部分と予測の元になるフレームの中の対応する部
分およびその近傍部分とについて、一次元投影する操作
が異なる複数の方向でそれぞれ行なわれ、投影パターン
作成手段で、各々の方向での投影パターンが作成され、
画像動き予測手段で、この投影された各々の方向で、予
測されるフレームの一部分から作成された投影パターン
と予測の元になるフレームの中の対応する部分およびそ
の近傍部分から作成された投影パターンとをパターン・
マッチングして画像の動きが予測される。

【００１３】これにより、動き予測のための計算量を減
らし、また動き予測専用のハードウェアへの要求を緩和
し、さらに専用のハードウェアではなく一般のＣＰＵ演
算チップでも動き予測を高速に実行することが容易にな
る。

【００１４】

【実施例】本発明では、動画像や多眼画像のように複数
のフレームに記録された画像の列に対して、各フレーム
間での画像の動きを予測する際に、従来のように、予測
されるフレームの一部分を、平行移動やアフィン変換等
の方法で予測の元になるフレーム上で動かしてパターン
・マッチングを行なうのに代えて、予測されるフレーム
の一部分と予測の元になるフレームの中の対応する部分
およびその近傍部分とについて、一次元投影する操作を
異なる複数の方向でそれぞれ行なって各々の方向での投
影パターンを作成し、その投影された各々の方向で、予
測されるフレームの一部分から作成された投影パターン
と予測の元になるフレームの中の対応する部分およびそ
の近傍部分から作成された投影パターンとをパターン・
マッチングすることにより、画像の動きを予測しようと
するものである。

【００１５】以下、上記のような考え方に基づく本発明
の一実施例について、図面を参照して詳細に説明する。

【００１６】図１は、本実施例による画像動き予測装置
の構成例を示す機能ブロック図である。

【００１７】すなわち、図１に示すように、一次元投影
手段１と、投影パターン作成手段２と、画像動き予測手
段３とから成っている。

【００１８】ここで、一次元投影手段１は、動画像や多
眼画像のように複数のフレームに記録された画像の列に
対し、予測されるフレームの一部分と予測の元になるフ
レームの中の対応する部分およびその近傍部分とについ
て、一次元投影する操作を異なる２つの方向（本例で
は、Ｘ方向，Ｙ方向）でそれぞれ行なうものである。

【００１９】また、投影パターン作成手段２は、一次元
投影手段１による一次元投影データに基づいて、２つの
方向での投影パターン（本例では、ヒストグラム）を作
成するものである。

【００２０】さらに、画像動き予測手段３は、投影パタ
ーン作成手段２により作成された各々の方向で、予測さ
れるフレームの一部分から作成された投影パターンと予
測の元になるフレームの中の対応する部分およびその近
傍部分から作成された投影パターンとをパターン・マッ
チングすることにより、各フレーム間での画像の動きを
予測するものである。

【００２１】次に、以上のように構成した本実施例の画
像動き予測装置における画像動き予測方法について説明
する。

【００２２】図１において、一次元投影手段１では、動
画像や多眼画像のように複数のフレームに記録された画
像の列に対して、予測されるフレームの一部分と予測の
元になるフレームの中の対応する部分およびその近傍部
分とについて、一次元投影する操作が異なる２つの方向
（図２に示すような、Ｘ方向，Ｙ方向）でそれぞれ行な
われる。

【００２３】次に、投影パターン作成手段２では、一次
元投影手段１により得られた一次元投影データに基づい
て、各々の方向での投影パターン（図２に示すようなヒ
ストグラム）が作成される。

【００２４】次に、画像動き予測手段３では、投影パタ
ーン作成手段２により作成された各々の方向で、予測さ
れるフレームの一部分から作成された投影パターンと予
測の元になるフレームの中の対応する部分およびその近
傍部分から作成された投影パターンとをパターン・マッ
チングすることにより、各フレーム間での画像の動きが
予測される。

【００２５】図２において、例えばｐ（ｘ）＝ｈ（ｘ）
＊ｒ（ｘ），ｐ（ｙ）＝ｈ（ｙ）＊ｒ（ｙ）とする。

【００２６】ここで、演算＊はたたみ込み積分を示す。
つまり、ブロック領域のヒストグラムを伝達関数とし
て、参照領域のヒストグラムにフィルタをかけている。
動きベクトルｖは、ｖ＝（ｘ_v ，ｙ_v ）として、ｘ_v ＝
ａｒｇ_x ｍａｘｐ（ｘ），ｙ_v＝ａｒｇ_y ｍａｘｐ
（ｙ）として、ｐ（ｘ），ｐ（ｙ）の最大値をとるｘ，
ｙの位置として求めることができる。

【００２７】すなわち、予測されるフレームの一部分か
ら作成された投影パターンと、予測の元になるフレーム
の中の関係性を有すると考えられる部分から作成された
投影パターンとをパターン・マッチングして、最も両者
の差のない状態を見つけると、その時点で画像の動き量
（ずれ量）が分かる。

【００２８】次に、上述した画像動き予測方法につい
て、実際の例を挙げてより具体的に説明する。

【００２９】いま、実際に、例えば予測されるフレーム
の一部分をＮ×Ｎのブロック領域とし、また予測の元に
なるフレームの中の対応する部分およびその近傍部分、
すなわち予測の元となるフレーム内で当該ブロックの予
測に用いる領域をＭ×Ｍとする。

【００３０】この場合、前述した従来の方法では、（Ｍ
−Ｎ）×（Ｍ−Ｎ）回のパターン・マッチングが必要と
なる。そして、一回のパターン・マッチングで、Ｎ×Ｎ
回の誤差計算（予測されるブロックと予測に使われる対
応ブロックとの間の誤差の計算）が必要である。

【００３１】従って、このブロックの動きの予測には、
（Ｍ−Ｎ）×（Ｍ−Ｎ）×Ｎ×Ｎ回の計算回数が必要と
なる。ここで、一回の計算には一回の加算と絶対値、お
よびブロック内誤差の集積の演算が含まれる。

【００３２】さらに、最小誤差のブロックを求めるため
に、（Ｍ−Ｎ）×（Ｍ−Ｎ）回の比較演算がある。

【００３３】一方、これに対して、本実施例の方法にお
いて、互いに異なる複数の方向、すなわち縦方向と横方
向に投影して、このブロックの動きを予測する場合に
は、縦横２方向の投影のために（Ｍ−１）×（Ｍ−１）
×２回の加算、そしてこの投影された各方向で、予測さ
れるブロックから得られた長さＮの一次元データと、予
測の元になるブロックから得られた長さＭの一次元デー
タとの畳み込み積分であるので、Ｎ×（Ｍ−Ｎ）×２回
の加算と積算が必要になる。

【００３４】さらに、誤差最小値を求めるために、（Ｍ
−Ｎ）×２回の比較演算がこれに加わる。

【００３５】例えば、加算と積算と絶対値演算および比
較演算とを各々１ステップの演算とすると、前者である
従来の方法の場合の計算回数は、（Ｍ−Ｎ）×（Ｍ−
Ｎ）×Ｎ×Ｎ×３＋（Ｍ−Ｎ）×（Ｍ−Ｎ）回、また後
者である本実施例の方法の場合には、（Ｍ−Ｎ）×（Ｍ
−Ｎ）×２＋Ｎ×（Ｍ−Ｎ）×４＋（Ｍ−Ｎ）×回の計
算ステップとなる。

【００３６】典型的な場合として、Ｍ＝３２、Ｎ＝８を
想定すると、前者である従来の方法の場合には、１１
１，１６８ステップ、後者である本実施例の方法の場合
には、２，８０６ステップとなる。

【００３７】この場合、前者である従来の方法が、後者
である本実施例の方法の２５倍以上のステップ数となっ
て、本実施例の方法である後者の方が明らかに有利であ
ることが分かる。

【００３８】仮定した、加算と積算と絶対値とを等分の
ステップ数と見るというのは、ハードウェアによる実装
の場合には実際的でないが、ＤＳＰ（Ｄｉｇｉｔａｌ
Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）による実装や、
積算回路を含む演算部を持ったＣＰＵ上でのソフトウェ
アによる実装等の場合には、おおよそその見当には妥当
性がある。

【００３９】上述したように、本実施例では、動画像や
多眼画像のように複数のフレームに記録された画像の列
に対して、各フレーム間での画像の動きを予測する際
に、予測されるフレームの一部分と予測の元になるフレ
ームの中の対応する部分およびその近傍部分とについ
て、一次元投影する操作を異なる２つの方向（Ｘ方向，
Ｙ方向）でそれぞれ行なって各々の方向での投影パター
ンを作成し、上記投影された各々の方向で、予測される
フレームの一部分から作成された投影パターンと予測の
元になるフレームの中の対応する部分およびその近傍部
分から作成された投影パターンとをパターン・マッチン
グすることにより画像の動きを予測するようにしたもの
である。

【００４０】従って、動画像や多眼画像のように複数の
フレームに記録された画像のシーケンスに対して、例え
ば画像圧縮の目的で、フレーム間での動き予測をする際
に、前述した従来のように、予測されるフレームの一部
分を、平行移動やアフィン変換等の方法で予測の元にな
るフレーム上で動かしてパターン・マッチングを行なう
のに代えて、予測されるフレームの一部分と予測の元に
なるフレームの中の対応する部分およびその近傍部分と
を、異なる２つの方向（Ｘ方向，Ｙ方向）に一次元投影
する操作をして、その投影されたパターンのマッチング
により動きを予測する手法を用いているため、従来で
は、動き予測を得るのに必要なパターン・マッチングの
回数が非常に多く、動きの予測に対応した専用のハード
ウェアを用いることが必要になるのに対して、本実施例
では、画像の動き予測のための計算量を減らし、動き予
測専用のハードウェアへの要求を緩和し、しかも専用の
ハードウェアではなく一般のＣＰＵ演算チップでも画像
の動き予測を高速に実行することが可能となる。

【００４１】尚、本発明は上記実施例に限定されるもの
ではなく、次のようにしても同様に実施できるものであ
る。

【００４２】上記実施例では、動画像や多眼画像のよう
に複数のフレームに記録された画像の列に対して、各フ
レーム間での画像の動きを予測する際に、予測されるフ
レームの一部分と予測の元になるフレームの中の対応す
る部分およびその近傍部分とについて、一次元投影する
操作を異なる２つの方向（Ｘ方向，Ｙ方向）でそれぞれ
行なう場合について説明したが、これに限らず、予測さ
れるフレームの一部分と予測の元になるフレームの中の
対応する部分およびその近傍部分とについて、一次元投
影する操作を異なる３つ以上の複数の方向でそれぞれ行
なうようにしてもよい。

【００４３】

【発明の効果】以上説明したように、請求項１および請
求項２に対応する発明によれば、動画像や多眼画像のよ
うに複数のフレームに記録された画像の列に対して、各
フレーム間での画像の動きを予測する方法において、予
測されるフレームの一部分と予測の元になるフレームの
中の対応する部分およびその近傍部分とについて、一次
元投影する操作を異なる複数の方向でそれぞれ行なって
各々の方向での投影パターンを作成し、上記投影された
各々の方向で、予測されるフレームの一部分から作成さ
れた投影パターンと予測の元になるフレームの中の対応
する部分およびその近傍部分から作成された投影パター
ンとをパターン・マッチングすることにより画像の動き
を予測するようにしたので、画像の動き予測のための計
算量を減らし、動き予測専用のハードウェアへの要求を
緩和し、しかも専用のハードウェアではなく一般のＣＰ
Ｕ演算チップでも画像の動き予測を高速に実行すること
が可能な画像動き予測方法が提供できる。

【００４４】また、請求項３および請求項４に対応する
発明によれば、動画像や多眼画像のように複数のフレー
ムに記録された画像の列に対して、各フレーム間での画
像の動きを予測する装置において、動画像や多眼画像の
ように複数のフレームに記録された画像の列に対し、予
測されるフレームの一部分と予測の元になるフレームの
中の対応する部分およびその近傍部分とについて、一次
元投影する操作を異なる複数の方向でそれぞれ行なう一
次元投影手段と、一次元投影手段による一次元投影デー
タに基づいて、複数の方向での投影パターンを作成する
投影パターン作成手段と、投影パターン作成手段により
作成された各々の方向で、予測されるフレームの一部分
から作成された投影パターンと予測の元になるフレーム
の中の対応する部分およびその近傍部分から作成された
投影パターンとをパターン・マッチングすることによ
り、各フレーム間での画像の動きを予測する画像動き予
測手段とを備えるようにしたので、画像の動き予測のた
めの計算量を減らし、動き予測専用のハードウェアへの
要求を緩和し、しかも専用のハードウェアではなく一般
のＣＰＵ演算チップでも画像の動き予測を高速に実行す
ることが可能な画像動き予測装置が提供できる。

【図面の簡単な説明】

【図１】本発明による画像動き予測装置の一実施例を示
す機能ブロック図。

【図２】同実施例の画像動き予測装置における画像動き
予測方法を説明するための概念図。

【符号の説明】

１…一次元投影手段、 ２…投影パターン作成手段、 ３…画像動き予測手段。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 動画像や多眼画像のように複数のフレー
   ムに記録された画像の列に対して、前記各フレーム間で
   の画像の動きを予測する方法において、 予測されるフレームの一部分と予測の元になるフレーム
   の中の対応する部分およびその近傍部分とについて、一
   次元投影する操作を異なる複数の方向でそれぞれ行なっ
   て各々の方向での投影パターンを作成し、 前記投影された各々の方向で、前記予測されるフレーム
   の一部分から作成された投影パターンと前記予測の元に
   なるフレームの中の対応する部分およびその近傍部分か
   ら作成された投影パターンとをパターン・マッチングす
   ることにより画像の動きを予測するようにしたことを特
   徴とする画像動き予測方法。
2. 【請求項２】 前記一次元投影する操作としては、Ｘ方
   向およびＹ方向の２つの方向でそれぞれ行なうようにし
   たことを特徴とする請求項１に記載の画像動き予測方
   法。
3. 【請求項３】 動画像や多眼画像のように複数のフレー
   ムに記録された画像の列に対して、前記各フレーム間で
   の画像の動きを予測する装置において、 前記動画像や多眼画像のように複数のフレームに記録さ
   れた画像の列に対し、予測されるフレームの一部分と予
   測の元になるフレームの中の対応する部分およびその近
   傍部分とについて、一次元投影する操作を異なる複数の
   方向でそれぞれ行なう一次元投影手段と、 前記一次元投影手段による一次元投影データに基づい
   て、前記複数の方向での投影パターンを作成する投影パ
   ターン作成手段と、 前記投影パターン作成手段により作成された各々の方向
   で、予測されるフレームの一部分から作成された投影パ
   ターンと予測の元になるフレームの中の対応する部分お
   よびその近傍部分から作成された投影パターンとをパタ
   ーン・マッチングすることにより、各フレーム間での画
   像の動きを予測する画像動き予測手段と、 を備えて成ることを特徴とする画像動き予測装置。
4. 【請求項４】 前記一次元投影手段としては、一次元投
   影する操作をＸ方向およびＹ方向の２つの方向でそれぞ
   れ行なうようにしたことを特徴とする請求項３に記載の
   画像動き予測装置。