JPH08237668A

JPH08237668A - 動きベクトル検出方法

Info

Publication number: JPH08237668A
Application number: JP3812595A
Authority: JP
Inventors: Kazumitsu Saburi; 和充佐分利; Hiroshi Tsukiji; 宏築地
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 1995-02-27
Filing date: 1995-02-27
Publication date: 1996-09-13

Abstract

(57)【要約】【目的】本発明は、動きベクトル検出に要する処理量が
削減でき、また予測精度の高い動きベクトル検出方法を
提供する。【構成】本発明は、動きベクトルの検出範囲内にα画素
間隔で配置した候補ブロックから動きベクトルを検出
し、さらに、その周囲±α画素の範囲を最小検出精度単
位で検出が行われるために動きベクトル検出の処理量が
少なく、検出精度が高いという、効率的な方法であるた
め、発生符号量が少なくなり、ＴＶ電話のように伝送レ
ートが低い場合でも符号化遅延が起こることなく、自然
なリアルタイム画像を伝送することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、電話回線などの比較的
低速度の回線に接続して使用される動画像通信装置にお
ける動画像符号化方式に関し、特に動き補償予測を用い
た符号化が行われる動きベクトル検出方法に関する。

【０００２】

【従来の技術】一般的に用いられている動画像の符号化
について図面を用いて説明する。なお、本文中で記述さ
れるフレームというのは画像の１処理単位であって、い
わゆるフィールド画像を含むものである。図３におい
て、画像入力信号２００はブロック分割器２０１によっ
て定められた画素数のブロックサイズにブロック化され
る。切り替えスイッチ２０２ではフレーム内（ＩＮＴＲ
Ａ）符号化あるいはフレーム間（ＩＮＴＥＲ）符号化の
切り替えを符号化制御部２０５の判定に基づいて行う
が、ここでは動画像符号化の特徴である動き補償予測を
使ったＩＮＴＥＲ符号化についてのみ説明し、動き補償
予測を使わないＩＮＴＲＡ符号化については省略する。
ブロック化された入力信号とフレームメモリ２０８に記
憶されている前フレームの復号画像を動き補償した予測
画像との差分を減算器２１１にて求め、予測誤差画像と
する。この予測誤差画像を直交変換器２０３および量子
化器２０４によって変換係数の量子化出力２１７として
出力する。予測画像は、逆量子化器２０６、逆直交変換
器２０７、加算器２１０、フレームメモリ２０８および
動き補償部２０９によって構成されるローカルデコーダ
２１９によって生成される。フレームメモリ２０８は前
フレームの復号画像を記憶しており、この記憶された画
像とブロック化された現画像入力信号が動きベクトル検
出器（２１２、２１３）に入力され、前フレームの復号
画像を参照画像として動きベクトルが検出される。この
検出された動きベクトルに基づいて動き補償部２０９で
動き補償が行われ、現フレームの予測画像が生成され
る。

【０００３】以下、ブロックマッチングを使った従来の
動きベクトル検出方法について説明する。ここでは図４
に示すようにマッチングに用いるブロックを水平方向１
６画素、垂直方向１６画素の矩形ブロック３２とし、動
きベクトルの検出範囲３０を水平、垂直両方向とも±１
５画素の領域３０とする。代表的な動きベクトル検出方
法としては、フルサーチ、ステップサーチ、２段階サー
チなどがあり、順に図面を用いて説明する。

【０００４】１．フルサーチこの方法は前フレーム復号画像（参照画像）上に設定し
た候補ブロックを、検出範囲３０の領域内を１画素づつ
順に変位させて、符号化対象ブロックとの間でブロック
マッチングを行う。全候補ブロックとのマッチングを終
了し、誤差が最小であった候補ブロックとの位置関係を
求める。この位置関係を求める誤差評価には、例えば両
ブロックの対応する画素間の差分の絶対値和が多く使わ
れている。この誤差が最小となる候補ベクトル位置まで
の変位量を最適な動きベクトルとする。対象ブロック当
たりのブロックマッチングの回数は９６１回となり、通
常ＴＶ電話で用いられる画像フォーマットＱＣＩＦ（ Q
uarter Common Intermediate Format 、１７６×１４
４画素）では１フレーム当たりのマッチング回数は９
５，１３９回となる。

【０００５】２．ステップサーチ階層的な動きベクトル検出方法の一つであり、図５に示
すように符号化対象ブロック４０と、参照画像上に水
平、垂直両方向に±８画素ずらした動きベクトルに対応
した位置に設定した８個の候補ブロック４２との間でマ
ッチングを行い、誤差が最小となる候補ブロック４３と
の位置関係を求める。次に求められた位置４３から±４
画素ずらした８個の候補ブロック４５とマッチングを行
い、さらに±２画素ずらした８個の候補ブロック４７と
マッチングを行う。最終的に±１画素ずらした参照画像
の周囲８個の候補ブロックとマッチングを行い、得られ
た結果をもって求める動きベクトルとする。対象ブロ
ック当たりのブロックマッチング回数は３３回となり、
１フレーム当たりのマッチング回数は３，２６７回とな
る。これはフルサーチによる処理と比較すると約１／３
０で済むことになる。３．２段階サーチこの方法の説明図を図６に示す。符号化対象ブロック５
０と参照画像のマッチングを行う候補ブロック５２の設
定を、検出範囲３０全域にわたって３画素おきに配置し
て、誤差がもっとも小さくなる候補ブロック５４との位
置関係を求める。さらにその周囲±１画素ずらした動き
ベクトルに対応する８個の候補ブロック５４（図６中の
黒丸）とマッチングを行い、その誤差が最小となる候補
ブロックとの位置関係を最終的な動きベクトルとする。
この方法による対象ブロック当たりブロックマッチング
回数は１２９回で、１フレーム当たりのブロックマッチ
ング回数は１２，７７１回となる。これはフルサーチの
処理量と比較すると約１／７である。

【０００６】

【発明が解決しようとする課題】以上説明した従来の動
きベクトル検出方法には、それぞれ次のような問題点が
ある。フルサーチによる動きベクトル検出では検出精
度が高く、予測誤差を小さくできる。その結果、発生符
号量を抑えることができるため、受信側での復号画像の
画質を向上させることができる。しかし一方でブロック
マッチングの回数が多く処理量が膨大となるため、電話
回線のような低い伝送レートでの動画像通信装置では、
動きベクトル検出処理の負荷の増大が符号化遅延の要因
となる。

【０００７】一方、ステップサーチによる動きベクトル
検出ではマッチング回数が少なくなり処理量は削減され
るが、一部の候補ブロックしかマッチングを行わないた
め、動きベクトルの誤検出が生じ易くなる。特にフレー
ム間の動きが大きい場合では誤検出となる確率が高く、
動き補償精度が低下するために予測誤差が増加し、結果
として発生符号量の増加を招き、通信レートが限られて
いる装置では画質劣化の原因となる。また、２段階サー
チでは処理量および検出精度は前述の２つの方法の中間
的なものである。しかしながら、対象ブロック内にエッ
ジや独立した領域が存在する場合などには、必ずしも１
段目のサーチが最適な動きベクトルそのもの、あるいは
最適な動きベクトルに隣接した動きベクトルを検出して
いるとは限らないため、２段目のサーチの際に周囲８個
の候補ブロックしか検出を行わない方法では、誤検出が
発生する。この結果、ステップサーチの場合と同様に予
測誤差が増加し、復号画像の画質劣化の原因となる。

【０００８】

【課題を解決するための手段】本発明はこれらの課題を
解決するためのものであり、ディジタル化された画像入
力信号の近接した規定数の画素をまとめてた符号化単位
ブロック毎に前フレーム復号画像を参照画像として対応
するブロックとの差分情報から現フレームとの位置関係
を検出するための動きベクトル検出方法において、前記
参照画像の動きベクトル検出範囲内に予め定められた画
素間隔αで均等に配置された複数の候補ブロックとブロ
ックマッチングを行うための第１の動きベクトル検出器
と、前記第１の動きベクトル検出器によって検出された
第１の動きベクトルにもとづいて周囲±α画素の範囲の
中で前記第１の動きベクトル検出器によってブロックマ
ッチングが行われた候補ブロックを除く全候補ブロック
と最小検出精度単位にてブロックマッチングを行い第２
の動きベクトルとして検出するための第２の動きベクト
ル検出器とから構成され、前記第２の動きベクトルにも
とづいて最適な動きベクトルが検出される動きベクトル
検出方法を提供する。

【０００９】

【作用】上述のように構成された動きベクトル検出方法
によれば、動画像のフレーム間符号化を行う際に、動き
ベクトルの検出の処理量を削減でき、多様な動きを検出
する場合においても検出精度が高く、効率的な動きベク
トル検出が可能となる。

【００１０】

【実施例】以下、本発明について図面を用いて説明す
る。図１は本発明の第１の実施例を示すフローチャー
ト、図２は本発明の第１の実施例による動きベクトル検
出を示す説明図である。図１にもとづいて、動きベクト
ル検出の動作を説明をする。画像信号が入力され（ステ
ップ１、以下Ｓ１のように記す）、ある規定数の画素か
らなるｎ個の符号化対象ブロックに分割し（Ｓ２）、分
割したブロックに対して動きベクトル検出（Ｓ４〜Ｓ
７）を行う。動きベクトルの検出にはブロックマッチン
グが用いられる。ブロックマッチングは前フレームの復
号画像を参照画像として対象ブロックとの誤差が最小と
なる候補ブロックとの位置関係を求めるものである。こ
の誤差の評価には、両ブロックの対応する画素間の差分
の絶対値和が多く使われているが、差分の自乗和による
評価など他の評価方法を用いても差し支えない。本実施
例では１フレームの画像サイズをＱＣＩＦ（１７６×１
４４画素）、また、図４に示すように１符号化単位ブロ
ックを水平方向１６画素、垂直方向１６画素からなる矩
形ブロック３２、動きベクトルの検出範囲を水平方向、
垂直方向それぞれ±１５画素の領域３０として説明す
る。まず、参照画像上の検出範囲６０内に候補ブロック
６２を水平、垂直両方向にそれぞれα画素間隔で設定
（Ｓ４）する。図２に示す例ではαを３としており、候
補ブロック６２の設定は以下のような動きベクトルに対
応した、全１２１ブロックの設定となる。

【００１１】（−１５、−１５）、（−１２、−１５）、・・・・（＋１５、−１５）（−１５、−１２）、（−１２、−１２）、・・・・（＋１５、−１２）・・・・・・・・・・・・・・・・・・・・・・・・・・・・（−１５、＋１５）、（−１２、＋１５）、・・・・（＋１５、＋１５）ただし、（水平方向変位量、垂直方向変位量）の表示で
ある。符号化単位ブロック６４と前記設定した候補ブロ
ック６２全てとブロックマッチングを行う（Ｓ５）。マ
ッチングを行った結果から、誤差が最小となる候補ブロ
ックと符号化対象ブロックの位置関係を第１の動きベク
トル６６とする（Ｓ６）。第１の動きベクトル６６だけ
変位させた位置の候補ブロックを中心に水平、垂直両方
向とも±α画素を検出範囲とし、動きベクトル検出精度
の最小単位で全探索を行う（Ｓ７）。ただし、第１の動
きベクトル６６の検出時にマッチングを行った候補ブロ
ックについては、すでに判定が終了していることから、
再度マッチングを行う必要はない。図２の例ではαは３
であるから、７×７画素の領域を検出範囲６８とする。
例えば第１の動きベクトル６６が（Ｘ１、Ｙ１）であっ
たとすると、以下のような動きベクトルに対応した範囲
を検出範囲６８とする。

【００１２】（Ｘ１−３、Ｙ１−３）、・・・・（Ｘ１＋３、Ｙ１−３）（Ｘ１−３、Ｙ１−２）、・・・・（Ｘ１＋３、Ｙ１−２）・・・・・・・・・・・・・・・・・・・・・・・・・・・・（Ｘ１−３、Ｙ１＋３）、・・・・（Ｘ１＋３、Ｙ１＋３）ここでは動きベクトル検出の最小単位を１画素とする
と、符号化対象ブロックとブロックマッチングを行う候
補ブロックの設定は、前記検出範囲６８の取り得る全候
補ブロック４９個から第１の動きベクトル６６の検出時
にマッチングを行った候補ブロック９個を除いた全４０
候補ブロックとする。図２の黒点７０で示すのが候補ブ
ロック４０個に対応する動きベクトルの位置である。こ
の４０個の候補ブロックとのマッチングを行った結果か
ら、誤差が最小となる候補ブロックとの位置関係を第２
の動きベクトルとする（Ｓ８）。前記第２の動きベクト
ルを用いてＩＮＴＲＡ／ＩＮＴＥＲの判定を行う（Ｓ
９）。これは符号化対象ブロック６４をフレーム内符号
化（ＩＮＴＲＡ）で符号化するか、フレーム間符号化
（ＩＮＴＥＲ）で符号化するかの符号化モード判定であ
る。ＩＮＴＥＲモードで符号化すると判定された場合に
は、前記第２の動きベクトルの値を最適な動きベクトル
として採用し（Ｓ１０）、動き補償予測に使われる。以
上のような一連の処理を１画面内の全てのブロックにつ
いて行い、全て終了したならば次画面の処理へと移る。
次に、本実施例における符号化対象ブロック当たりのブ
ロックマッチング回数を求めると１６１回であり、１フ
レーム当たりでは１５，７７１回となる。これはフルサ
ーチによるマッチングと比較すると約１／６の計算量で
ある。また、ステップサーチと比較すると約５倍の処理
量となる。しかし、本実施例の候補ブロックの設定では
検出漏れを生じていないため、得られる動きベクトルの
検出精度はフルサーチによる検出とほぼ同等であり、予
測誤差の発生は著しく抑えられるものとなる。この結
果、電話回線のような通信速度が低く、限られている場
合の動画像通信の符号化においても、発生符号量が抑え
られるために受信側では画質のよい復号画像を得ること
ができる。本実施例においては、動きベクトル検出の最
小画素単位を１画素として説明したが、最近の動画像符
号化では半画素単位として画質向上を図っている。本発
明によれば、このような半画素単位の動きベクトル検出
への適用も可能である。

【００１３】

【発明の効果】以上説明したように本発明の方法によれ
ば、動きベクトルの検出に要する処理量を削減でき、エ
ッジ部や独立した領域の動きなど多様な動きを検出する
場合でも検出精度がきわめて高く、効率的な動きベクト
ル検出ができる。この結果、予測誤差の発生が低く抑え
られるため、電話回線のように通信速度が低く、限られ
ている場合の画像通信の符号化においても、発生符号量
が抑えられることから受信側では画質の良い復号画像を
得ることができる。

【図面の簡単な説明】

【図１】本発明の実施例を示すフローチャート。

【図２】本発明の実施例を示す説明図。

【図３】動画像符号化器のブロック図。

【図４】動きベクトル検出範囲を示す説明図。

【図５】ステップサーチを示す説明図。

【図６】２段階サーチを示す説明図。

【符号の説明】

２００画像入力信号２０１ブロック分割器２０２ＩＮＴＲＡ／ＩＮＴＥＲ切り替えスイッチ２０３直交変換器２０４量子化器２０５符号化制御器２０６逆量子化器２０７逆直交変換器２０８フレームメモリ２０９動き補償器２１０加算器２１１減算器２１２第１の動きベクトル検出器２１３第２の動きベクトル検出器２１９ローカルデコーダ３０動きベクトル検出範囲３２、４０、５０、６４符号化対象ブロック

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年１１月６日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

Claims

【特許請求の範囲】

【請求項１】ディジタル化された画像入力信号の近接し
た規定数の画素をまとめた符号化単位ブロック毎に前フ
レーム復号画像を参照画像として対応するブロックとの
差分情報から現フレームとの位置関係を検出するための
動きベクトル検出方法において、前記参照画像の動きベ
クトル検出範囲内に予め定められた画素間隔αで均等に
配置された複数の候補ブロックとブロックマッチングを
行うための第１の動きベクトル検出器と、前記第１の動
きベクトル検出器によって検出された第１の動きベクト
ルにもとづいて周囲±α画素の範囲の中で前記第１の動
きベクトル検出器によってブロックマッチングが行われ
た候補ブロックを除く全候補ブロックと最小検出精度単
位にてブロックマッチングを行い第２の動きベクトルと
して検出するための第２の動きベクトル検出器とから構
成され、前記第２の動きベクトルにもとづいて最適な動
きベクトルが検出されることを特徴とする動きベクトル
検出方法。