JPH0750841A - 動きベクトル検出装置及びその方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像のフレームレートの向上を妨げることな
く、最適な動きベクトルの検出を行うことができるよう
にすることを目的とする。 【構成】 入力画像に動きが少なくて発生符号量が小さ
く押さえられている場合には、簡易サーチ手順による動
きベクトル検出を行うことによりフレームレートの向上
が妨げられるのを防止するとともに、入力画像の変化が
大きくて発生符号量が基準値を越えている場合には、演
算量（時間）は障害とならないので、フルサーチ手順に
よる動きベクトル検出を行うようにして、効率的、かつ
効果的な動画像符号化処理を可能にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動きベクトル検出装置及
びその方法に係わり、例えば、動画像情報の圧縮符号化
方式である動き補償フレーム間符号化に関するものであ
り、特に、動きベクトルの検出手順に関するものであ
る。

【０００２】

【従来の技術】先ず、動画像情報の圧縮符号化に用いら
れる動き補償フレーム間符号化の原理について簡単に説
明する。

【０００３】フレーム間で物体に動きがあった場合に
は、前符号化フレーム（参照フレーム）の同位置ではな
く、物体の動き分だけ離れたところに符号化処理部分
（マクロブロック）と似通った構造が存在することにな
る。そこで、図４に示すように、前フレームと現フレー
ムとから物体の動きベクトルを推定して、似通ったブロ
ックとの差分とその動きベクトルを符号化する。

【０００４】動き補償フレーム間符号化における予測誤
差値は、単純フレーム間符号化における予測誤差値より
も小さな値を示すので、動きの大きな画像に対しても効
率のよい符号化が可能になる。

【０００５】例えば、ＣＣＩＴＴ勧告Ｈ．２６１におい
ては、１６画素×１６画素のマクロブロックに対して、
４８画素×４８画素の動きベクトル検索領域を用い、動
きベクトルの水平成分と垂直成分は、それぞれ＋／−１
５以内の整数と規定されている。

【０００６】動きベクトルの検出は、現フレームの処理
ブロックと参照フレームの予測ブロックについて、対応
する画素間の差分絶対値和（あるいは差分自乗和）を算
出し、最小値をとるベクトルを動きベクトルと推定す
る。この手順としては、参照フレームの検索領域内のす
べてのブロックパターンについて差分絶対値和演算を施
すフルサーチ手順と、図５に例を示す３ステップサーチ
手順などの簡易手順が一般的である。

【０００７】３ステップ手順とは、検索領域内のすべて
のブロックについて差分絶対値和演算を行うのではな
く、３段階の手順で簡易的に動きベクトルを検出するも
のである。すなわち、先ず、同位置ブロック（Ｘ）と同
位置ブロックから８画素離れた４個のブロック（Ａ１〜
Ａ４）について演算を行い、最小値となるブロック（Ａ
４）を得る。続いて、そのブロック（Ａ４）とそのブロ
ックから４画素離れた４個のブロック（Ｂ１〜Ｂ４）に
ついて演算を行い、最小値となるブロック（Ｂ１）を得
る。

【０００８】次いで、そのブロック（Ｂ１）とそのブロ
ックから２画素離れた４個のブロック（Ｃ１〜Ｃ４）に
ついて演算を行い、最小値となるブロック（Ｃ１）に対
するベクトルを動きベクトルとする。

【０００９】

【発明が解決しようとする課題】ここで、一般的に、ブ
ロック画素間の差分絶対値和演算は、その他の画像符号
化処理と比較して多大な演算量を必要とする。このた
め、フルサーチ手順においては、検出が確実である反
面、動きベクトル算出のための総演算量が莫大なものと
なるので、通信などでリアルタイム処理が必要な場合な
どでは、伝送速度が処理速度を上回ってしまうことがあ
った。

【００１０】これにより、画像のフレームレートが頭打
ちになり、スムーズな（動きの滑らかな）動画像通信の
妨げになる場合があった。また、変化が小さい入力画像
に対してはフルサーチは効率的とは言いがたい。

【００１１】一方、３ステップサーチ手順においては、
演算量は激減するものの、例えば最初の１ステップ目に
誤ったブロックが選択されてしまうと以降復帰できない
ために最適なサーチができなくなる（誤った動きベクト
ル検出をしてしまう）恐れがあり、特に変化の激しい入
力画像に対しては危険が伴う問題があった。

【００１２】本発明は上述の問題点にかんがみ、画像の
フレームレートの向上を妨げることなく、最適な動きベ
クトルの検出を行うことができるようにすることを目的
とする。

【００１３】

【課題を解決するための手段】本発明の動きベクトル検
出装置は、参照フレームの検索領域に対する処理ブロッ
クの動きベクトルを検出する動きベクトル検出装置であ
って、画像情報の符号量を監視する監視手段と、上記監
視手段の監視結果に応じてベクトル検索方法を切り換え
て動きベクトル検出処理を行う動き検出手段とを具備し
ている。

【００１４】また、本発明の動きベクトル検出方法は、
参照フレームの検索領域に対する処理ブロックの動きベ
クトルを検出する動きベクトル検出方法であって、画像
情報の符号量を監視する監視工程と、上記監視工程で得
た監視結果に応じて動きベクトル検索手順を切り換えて
動きベクトル検出処理を行う動き検出工程とを備えてい
る。

【００１５】

【作用】本発明は上記技術手段よりなるので、動画像情
報の符号量に応じて動きベクトル検出の検索方法の切り
換えが行われるので、効率的、かつ効果的な動画像符号
化処理が可能となる。

【００１６】

【実施例】以下、本発明の動きベクトル検出装置及びそ
の方法の一実施例を図面を参照して説明する。図１は、
本実施例における動きベクトル検出方式を採用した動画
像符号化装置の構成例を示す概略ブロック図である。

【００１７】図１において、２０１は符号化モード選択
部であり、入力された画素値データと、参照フレーム
（前フレーム）からの予測値データと、入力画素値デー
タの差分値（予測誤差）との間のエネルギー比較結果
と、画像符号化制御部２１４の指示により、マクロブロ
ック単位で入力された画素値データに対してフレーム間
差分値（予測誤差値）を符号化する（ＩＮＴＥＲモー
ド）か、入力画素値をそのまま符号化する（ＩＮＴＲＡ
モード）かを選択する。そして、ＩＮＴＲＡモードを選
択した場合は入力画素値を出力し、ＩＮＴＥＲモードを
選択した場合には予測誤差値を出力する。

【００１８】２０２は減算部であり、入力画素値データ
と参照データとの減算処理を行う。２０３はＤＣＴ部で
あり、入力された画素値データに対し直交変換の一種で
あるＤＣＴ（離散コサイン変換）処理を行う。２０４は
量子化部であり、画像符号化制御部２１４からの指示に
より量子化ステップサイズを選択し、入力されたＤＣＴ
係数データを量子化する。

【００１９】２０５は可変長符号化部であり、量子化さ
れたＤＣＴ係数データに対して可変長符号化を行う。２
０６は送信バッファー部である。また、２０７は逆量子
化部であり、量子化されたＤＣＴ係数データを逆量子化
する。２０８はＩＤＣＴ部であり、入力されたＤＣＴ係
数データのＩＤＣＴ（逆離散コサイン変換）処理を行
う。

【００２０】２０９は加算部であり、ＩＮＴＥＲモード
で処理されたデータに対しては予測値を加算する。２１
０はフレーム・メモリ部であり、動き補償フレーム間予
測のためのフレーム・メモリである。２１１は、本発明
による動きベクトル検出部である。また、２１２は動き
補償部であり、動きベクトル検出部２１１で検出された
動きベクトルに従い前フレームにおける該当するマクロ
ブロック単位の画素値データを選択する。

【００２１】２１３はフィルタ部であり、動き補償フレ
ーム間予測を行うブロックに対するローパスフィルタで
ある。２１４は画像符号化制御部であり、外部のシステ
ム制御部からの制御信号や、送信バッファー部２０６の
バッファー蓄積量を基に、符号化モード選択や量子化ス
テップ・サイズ選択、有意ブロック判定、駒落し（フレ
ームスキップ）などの各種符号化制御を行う。

【００２２】次に、以上のように構成された本実施例の
画像符号化装置の動作について説明する。先ず、減算部
２０２には、マクロブロック単位の画素値データと予測
値データとが入力され、画素値データと予測値データと
の差分値（予測誤差）を符号化モード選択部２０１へ出
力する。

【００２３】符号化モード選択部２０１においては、画
素値データと予測値データとが入力され、入力画素値及
び入力画素値と予測値との差分値（予測誤差値）の間の
エネルギー比較を行う。そして、エネルギー比較結果と
画像符号化制御部２１４からの符号化モード制御信号に
従い符号化モードを選択する。

【００２４】そして、選択した符号化モードがＩＮＴＥ
Ｒモードでは入力画素値を出力し、ＩＮＴＲＡモードで
は予測誤差値をＤＣＴ部２０３へ出力する。ＤＣＴ部２
０３では、符号化モード選択部２０１からの画素値デー
タをブロック単位で直交変換の一種であるＤＣＴ（離散
コサイン変換）処理を行い、ＤＣＴ係数データを量子化
部２０４へ出力する。

【００２５】量子化部２０４では、画像符号化制御部２
１４からの量子化特性制御信号に従い選択されたステッ
プ・サイズで、入力されたＤＣＴ係数を量子化する。可
変長符号化部２０５では、画像符号化制御部２１４によ
る符号化制御信号に基づき有意ブロック判定等を行い、
量子化されたＤＣＴ係数を可変長符号化し、送信バッフ
ァー部２０６へ出力する。

【００２６】送信バッファー部２０６はバッファメモリ
で構成され、可変長符号化データをバッファリングし後
段の分離多重化部へ出力するとともに、バッファ蓄積量
を画像符号化制御部２１４、及び動きベクトル検出部２
１１へ送出する。

【００２７】また、逆量子化部２０７には、量子化部２
０４のＤＣＴ係数量子化出力が入力され、量子化部２０
４において選択された量子化ステップ・サイズを用いて
逆量子化を行い、ＤＣＴ係数を出力する。

【００２８】ＩＤＣＴ部２０８では、逆量子化部２０７
のＤＣＴ係数出力をＩＤＣＴ（逆離散コサイン変換）処
理し、加算部２０９へ出力する。加算部２０９では、Ｉ
ＮＴＥＲモードで処理されたマクロブロックのデータに
対しては対応する予測データをＩＤＣＴ部２０８の出力
に加算して出力する。また、ＩＮＴＲＡモードで処理さ
れたマクロブロックのデータに対しては、ＩＤＣＴ部２
０８の出力をそのまま出力する。

【００２９】フレームメモリ部２１０は、動き補償フレ
ーム間予測のためのフレームメモリであり、少なくとも
２フレーム分のフレームメモリで構成される。そして、
加算部２０９の画素値出力を蓄積すると同時に、動き補
償フレーム間予測のために動き補償部２１２の指示によ
り前フレームの画素値データを出力する。

【００３０】動きベクトル検出部２１１では、現フレー
ムの処理マクロブロック位置付近の前フレーム画素値デ
ータを動きベクトル・サーチウインドウ（検索領域）と
してフレームメモリ部２１０より読み出し、送信バッフ
ァ部２０６のデータ蓄積量に応じた検索手順でブロック
マッチング演算を行って動きベクトルを検出し、検出動
きベクトルを動き補償部２１２へ出力する。

【００３１】動き補償部２１２では、動きベクトル検出
部２１１で検出された動きベクトルに従い、前フレーム
の該当するマクロブロック単位の画素値データをフレー
ムメモリ部２１０より読み出して出力する。

【００３２】フィルタ部２１３は、動き補償を行ったこ
とによるブロック境界における不連続性の緩和を目的と
して設けられているローパスフィルタであり、動き補償
を行ったデータに対してフィルタリング処理を行い、予
測値データとして減算部２０２へ出力する。

【００３３】画像符号化制御部２１４では、画像符号化
部全体のタイミングを制御すると同時に、送信バッファ
部２０６のデータ蓄積量に基づき、適応的に量子化特性
制御信号による量子化部２０４のおける量子化ステップ
サイズの選択や可変閾値の制御、符号化モード制御信号
による符号化モード選択部２０１における符号化モード
判定制御、符号化制御信号による可変長符号化部２０５
における有意ブロック判定、あるいは駒落とし（フレー
ムスキップ）などの符号化制御を行う。

【００３４】また、画像符号化部全般、あるいは外部の
システム制御部からの画質信号や各種モード信号等を常
に監視することにより、入力手段の変更による入力画像
の変化や利用者の画質設定などに対応する。

【００３５】次に、動きベクトル検出部２１１の構成及
び動作について詳細に説明する。動きベクトルの検出
は、現フレームの処理ブロックと参照フレームの予測ブ
ロックについて、対応する画素間の差分絶対値和（ある
いは差分自乗和）を算出し、最小値をとるブロックのベ
クトルを動きベクトルと推定する。

【００３６】上述の通り、一般的に、ブロック画素間の
差分絶対値和演算は、その他の画像符号化処理と比較し
て、多大な演算量を必要とする。このため、検索領域内
のすべてのブロックパターンを検索するフルサーチ手順
の場合は、検出が確実である反面、動きベクトル算出の
ための総演算量が莫大なものとなり、画像のフレームレ
ートの上限が発生する場合がある。また、変化が小さい
（動きが少ない）入力画像に対してはフルサーチは効率
的とは言いがたかった。

【００３７】ここで、動き補償を行ったデータは、後段
のブロックにおいてそのフレーム間の差分値を符号化す
るため、変化の小さい（動きの少ない）入力画像は発生
符号量が少なく抑えられるのが一般的である。

【００３８】発生符号量が小さく抑えられている場合、
フレーム当たりの符号化演算に対する許容時間は減少
し、逆に、発生符号量の増大はデータ伝送時間の増大を
意味するため、符号化演算のための許容時間の増加をも
たらす。

【００３９】そこで、本実施例においては、発生符号量
が小さい画像に対しては演算時間を考慮し、効率良く、
しかもフレームレートの向上を妨げることのない簡易的
な手法による検索手順を用いて動きベクトル検出処理を
行う。また、発生符号量が大きい画像に対しては、常に
適切な検出が可能な領域内フル検索などの詳細な検索手
順を用いて動きベクトル検出処理を行う。

【００４０】図２は、動きベクトル検出部の構成を示す
概略ブロック図である。図２において、１０１は、図１
に示した送信バッファ部２０６から入力されるバッファ
蓄積量に応じてフルサーチ手順と簡易サーチ手順とを切
り換える検出手順選択部である。

【００４１】１０２は演算実行部であり、検出制御部１
０４より入力された処理マクロブロックと予測ブロック
について、対応する画素間の差分絶対値和を算出するた
めのものである。１０３は最小判定部であり、演算実行
部１０２による演算結果を蓄積し、検出制御部１０４の
指示により、演算結果が最小となるブロックに対応する
ベクトルを検出制御部１０４へ出力するためのものであ
る。

【００４２】１０４は検出制御部であり、処理マクロブ
ロックの画素値データとともに、処理マクロブロック位
置付近の前フレーム検索領域画素値データがフレームメ
モリ部２１１より入力され、検出手順選択部１０１の選
択手順に基づき演算実行部１０２へ該当データの送出と
演算実行の指示を行い、また選択手順に基づき最小判定
部１０３に最小判定の実行を指示し、得られた動きベク
トルを送出する制御を行う。

【００４３】次に、図２の動きベクトル検出部の動作に
ついて説明する。検出手順選択部１０１においては、送
信バッファ部２０６からのバッファ蓄積量と予め設定さ
れた基準値とを比較し、バッファ蓄積量が基準値を越え
る場合には、フルサーチ手順などの詳細サーチ手順を選
択する。また、基準値以下の場合には、３ステップ手順
などの簡易サーチ手順を選択し、選択結果を検出制御部
１０４へ通知する。

【００４４】検出制御部１０４は、選択手順に応じて処
理ブロックと予測ブロックとを演算実行部１０２へ送出
するとともに、演算実行を指示する。また、最小判定部
１０３に最小判定動作を指示する。

【００４５】具体的には、フルサーチ手順においては、
処理ブロック・データとともに全ブロックパターンにつ
いて演算実行部１０３へ予測データを送出し、最小値判
定部１０３において全ブロックパターンでの演算値最小
判定を指示し、判定結果に基づき、検出された動きベク
トルを動き補償部２１２に出力する。

【００４６】簡易サーチ手順（ここでは３ステップサー
チ）においては、上述した図５の要領で９ブロックの演
算実行部１０２の演算及び最小値判定部１０３による最
小値判定を繰り返し実行し、検出された動きベクトルを
出力する。

【００４７】図３は、上述の動作を説明するフローチャ
ートである。先ず、ステップＳ１において、発生符号量
が基準値以上であるか否かが判定される。そして、発生
符号量が基準値以上である場合にはステップＳ２に進
み、フルサーチ手順による動きベクトル検出処理を行
う。また、発生符号量が基準値以下である場合にはステ
ップＳ３に進み、簡易サーチ手順による動きベクトル検
出処理を行う。

【００４８】上述の動作により、入力画像に動きが少な
く、発生符号量が小さく押さえられている場合には、簡
易サーチ手順による動きベクトル検出を行う。これは、
フルサーチ手順は効率的でないだけでなく、莫大な演算
時間を必要とすることにより、更なるフレームレートの
向上を妨げる場合があるためである。

【００４９】また、その反対に入力画像の変化が大き
く、発生符号量が基準値を越えている場合には、演算量
（時間）は障害とならないため、常に適切な検出が可能
なフルサーチ手順による動きベクトル検出を行うように
している。

【００５０】以上詳細に説明したように、動画像情報圧
縮後の発生符号量に応じて動きベクトル検出の検索手順
を切り換えることにより、フレームレートの向上を妨げ
ることなく、発生符号量に応じた最適な動きベクトルの
検出が実現でき、効率的かつ効果的な動画像符号化処理
が可能になる。

【００５１】なお、上記実施例においては、動きベクト
ル検索手順としてフルサーチ手順と簡易サーチ手順の２
通りの選択の場合のみ述べたが、検索領域の大きさを変
更する場合や検索ステップを切り換える場合、あるいは
更に複数の検索手順を選択する場合にも当てはまること
は明白である。また、簡易サーチ手順の手法に関しても
上記実施例に限定されるものではない。

【００５２】また、上記実施例においては、手順の選択
基準として、バッファの蓄積量を用いる場合のみ述べた
が、１フレームや数フレーム間の発生符号量、フレーム
レート等による切り換えについても当てはまることは言
うまでもない。また、本発明はシステム、あるいは装置
にプログラムを供給することによって達成される場合に
も適用できる。

【００５３】

【発明の効果】本発明は上述したように、参照フレーム
の検索領域に対する処理ブロックの動きベクトルを検出
するに際し、画像情報の符号量を監視するとともに、上
記監視結果に応じて動きベクトル検索方法を切り換え、
動きベクトルの検出処理を行うようにしたので、例え
ば、データの符号量が大きい場合には、フルサーチのよ
うに細かな検索手順による動き検出処理を行うことによ
り適切な動きベクトルの検出を実行し、データの符号量
が小さい場合には、簡易的な検索手順による動き検出処
理を行うことにより演算量を削減し、フレームレートの
上限を引き上げることができる。つまり、本発明は符号
量に適応した効果的な動きベクトル検出が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す動画像符号化装置の構
成例を示す概略ブロック図である。

【図２】動きベクトル検出部の構成を示す概略ブロック
図である。

【図３】動きベクトル検出部の動作を説明するフローチ
ャートである。

【図４】前フレームと現フレームとから物体の動きベク
トルを推定する様子を示す図である。

【図５】３ステップサーチ手順の説明図である。

【符号の説明】

１０１ 検出手順選択部 １０２ 演算実行部 １０３ 最小判定部 １０４ 検出制御部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 参照フレームの検索領域に対する処理ブ
   ロックの動きベクトルを検出する動きベクトル検出装置
   であって、 画像情報の符号量を監視する監視手段と、 上記監視手段の監視結果に応じてベクトル検索方法を切
   り換えて動きベクトル検出処理を行う動き検出手段とを
   備えることを特徴とする動きベクトル検出装置。
2. 【請求項２】 参照フレームの検索領域に対する処理ブ
   ロックの動きベクトルを検出する動きベクトル検出方法
   であって、 画像情報の符号量を監視する監視工程と、 上記監視工程で得た監視結果に応じて動きベクトル検索
   手順を切り換えて動きベクトル検出処理を行う動き検出
   工程とを備えることを特徴とする動きベクトル検出方
   法。