JPH057372A - 動ベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 色成分を用いて動きベクトルを求めるモード
と、輝度成分を用いて動きベクトルを求めるモードとを
有し、適応的に一方のモードを用いることにより、信頼
性のある動きベクトルを検出できるようにする。 【構成】 現画像データが評価回路２１に入力され、評
価回路２１では現画ブロックデータのデータ分布から、
ブロックマッチングを輝度成分で行う（輝度成分モー
ド）か、或は色成分で行う（色成分モード）かを判断
し、その結果を演算回路２２に送る。前記演算回路２２
では現画ブロックと前フレームのマッチングすると思わ
れるブロックデータが入力されており、２つのブロック
データを前記評価回路２１の結果に基づいて所定の評価
間数式によりブロック間誤差を計算する。一つの現ブロ
ックに対して計算される多数のブロックマッチングの誤
差データの中から最も小さいもの及びその時のベクトル
を選ぶことにより、動きベクトルが検出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明はフレーム間で被写体の
動きベクトルの検出を行う動ベクトル検出装置に関する
ものである。

【０００２】

【従来の技術】動ベクトル検出方式としてブロックマッ
チング型と呼ばれるものが知られている。

【０００３】ブロックマッチング型の動ベクトル検出方
式とは、前フレームと現フレームとの間で、（８×８）
或は（１６×１６）等の画素をとって１ブロックとし、
ブロック毎にマッチングをとり、現フレームの各ブロッ
クに対し、動ベクトルを与えるものである。

【０００４】次に、この動ベクトルの検出方式の基本的
な考え方について詳細に説明する。

【０００５】現フレーム上の、左上隅の画素位置が
（ｉ，ｊ）である、横ｍ画素、縦ｎ画素のブロックをＢ
_ij（ｍ，ｎ）と表し、前フレーム上の同位置のブロック
をＰ_ij（ｍ，ｎ）と表す。この時、ＢとＰの誤差の評価
関数を

【０００６】

【外１】 の様に定義し、ｘ，ｙを各々±０〜ｓ（ｓは検索範囲の
パラメータ）まで変化させた時に、最も小さいｆの値を
得るような、ｉ，ｊからの変移ｘ，ｙをもって動ベクト
ルとする。

【０００７】一般にカラーの動画像は一枚のフレームが
輝度データ（Ｙ）、色差データ（Ｃｒ，Ｃｂ等）の分割
された形で構成されており、動ベクトルの検索には、構
造情報を多く含む輝度データ（Ｙ）が用いられている。
また、直前のブロックや、周囲ブロックにおいて求めら
れたベクトルを中心として、新たなベクトルを探査する
方法や、個々のブロックから発生するベクトルと、ブロ
ック位置との相関を求めて、画面全体の動きを推定する
方法などが知られている。

【０００８】

【発明が解決しようとする課題】しかしながら、実際の
意味のある画像（単なるＲＧＢ輝度データの集合ではな
く、人物、風景、テストパターン等の、いわゆる絵とし
ての情報がある画像）は、多くの色を含んでおり、大
体、同一色相の点の集合が一つのまとまった対象を意味
している。

【０００９】一般に行なわれているような、輝度データ
を用いたブロックによるマッチングでは、計算上の誤差
値は局所的に最小にすることができるが、画像中の同一
対象を検知することは困難である。

【００１０】従って、個々のベクトルから画面全体の動
きを求めようとする時や、前ブロックや処理済の周囲の
ブロックで発生したベクトルを現ブロックにおけるベク
トル探査に利用しようとした時に、却って大きな誤差を
招くことになる。

【００１１】本願発明はかかる点に鑑み、現画面中の物
体と同一の物体と前画面中から確実に抽出でき、信頼性
のある動きベクトルを検出できる動ベクトル検出装置を
提供することを目的とする。

【００１２】

【課題を解決するための手段】本願発明にかかる動ベク
トル検出装置は、近接するフレーム間で被写体の動きベ
クトルをブロック単位で検出する動ベクトル検出装置に
おいて、カラー画像情報のひとつである色データを用い
て動きベクトルの検出を行う第１のモードと、カラー画
像情報のひとつである輝度データを用いて動きベクトル
の検出を行う第２のモードとを有することを特徴とする
ものである。

【００１３】

【作用】上記発明によれば、カラー画像情報のひとつで
ある色データにより動きベクトルを検出する第１のモー
ドと、カラー画像情報のひとつである輝度データにより
動きベクトルを検出する第２のモードとの２つのモード
を持つことにより現画面中の物体と同一の物体を前画面
中から確実に探査し、信頼性のある動きベクトルを検出
することができる。

【００１４】

【実施例】以下、本願発明にかかる実施例を図１及び図
２を用いて詳細に説明する。

【００１５】図１は本実施例であるベクトル検出回路を
用いた動画像圧縮符号化装置のブロック図、図２は前記
ベクトル検出回路の構成を示すブロック図である。

【００１６】図１において、１は後述詳しく説明するベ
クトル検出回路、２は前フレームを記憶しておくフレー
ムメモリ、３は減算回路、４はバッファメモリ、５は量
子化回路、６は可逆符号化回路、７は前記量子化回路３
の全く逆の動作をする逆量子化回路、８は加算回路であ
る。

【００１７】以上のように構成された動画像圧縮符号化
装置の圧縮動作を詳細に説明する。

【００１８】信号線１０１及び１０２を介して、現フレ
ームの画像データ（明度Ｌ^* 、色度ａ^*，ｂ^*各々８ｂｉ
ｔで表現されている）が１フレームを複数のブロックに
分割した形で、ブロック単位毎にベクトル検出回路１に
入力する。

【００１９】一方、信号線１０３を介してブロックアド
レス信号がフレームメモリ２に入力される。

【００２０】前記ブロックアドレス信号に応じてフレー
ムメモリ２よりブロック周囲のベクトル検索範囲の画像
データが読み出され信号線１０４を介してベクトル検出
回路１に送られる。

【００２１】前記ベクトル検出回路１は、予め定められ
ている検索範囲の中から最適であると評価されたブロッ
クデータを信号線１０５及び１０６に出力する。

【００２２】次に、バッファメモリ４により所定の時間
遅延された現画像ブロックが信号線１０７を介して減算
回路３に入力され、同時に信号線１０５を介して最適ブ
ロックの値が前記減算回路３に入力される。

【００２３】前記減算回路３は入力された現画像ブロッ
クと最適ブロックの値が減算されて、その差分値データ
が量子化回路５に入力され量子化される。

【００２４】量子化されたデータは可逆符号化回路６と
逆量子化回路７に入力される。

【００２５】可逆符号化回路６は量子化データに可逆符
号を割り当てて、可逆符号化されたデータは信号線１０
８に出力される。

【００２６】逆量子化回路７は差分値を再生し、前記差
分値と信号線１０９を介して最適ブロックデータとが加
算回路８に入力されて加算される。その加算されたデー
タはフレームメモリ２に記憶される。

【００２７】次に、図１中に示したベクトル検出回路１
について図２を用いて詳細に説明する。

【００２８】まず、フレームメモリ２（図１参照）より
信号線１０４を介して、検索領域の前フレーム画像デー
タがメモリ２０に入力される。現画像データは信号線１
０２を介して評価回路２１に入力される。

【００２９】前記評価回路２１では、原画ブロックデー
タのデータ分布により、ブロックマッチングを明度（Ｌ
^*）で行う明度ブロックマッチングモード，色度（ａ^*，
ｂ^*）で行う色度ブロックマッチングモードのどちらで
行うかを判定（評価）し、結果を信号線２０１を介して
演算回路２２に送る。尚、ブロックマッチングを明度モ
ードで行うか色度モードで行うかの評価方法は後述す
る。

【００３０】演算回路２２はマッチングを行うべき対象
ブロックへのベクトルを２０２よりＭＰＸ（Ｍｕｌｔｉ
ｐｌｅｘｏｒ）２３に送る。

【００３１】前記ＭＰＸ２３は入力されたベクトルに応
じてアドレス信号を発生し、前記アドレス信号は信号線
２０３を介してメモリ２０に伝達され、信号線２０４を
介して前記アドレスデータによって前記メモリ２０から
読み出されたブロックデータを受け取り、前記ブロック
データは信号線２０５を介して演算回路２２に入力され
る。

【００３２】２つのブロックデータを受け取った演算回
路２２は以下に示す評価関数式によりブロック間誤差を
計算する。

【００３３】Ｌ^*モードの場合

【００３４】

【外２】 ａ^*，ｂ^*モードの場合

【００３５】

【外３】 （添え字は従来例と同じ、ダッシュの付いたものは前フ
レーム上のブロックを表す）。

【００３６】演算回路２２よりブロック間の誤差値及び
マッチングされたブロックのベクトルデータが信号線２
０６を介して比較回路２４に入力される。

【００３７】比較回路２４では一つの現ブロックに対し
て計算される多数のブロックマッチングの誤差のデータ
の中から、最も小さいもの、及びその時のベクトルを選
ぶ。一つの現ブロックに対してのブロックマッチングが
終了した時点で演算回路２２は、ベクトル出力回路２５
に信号線２０８を介して終了を伝える。これを受けてベ
クトル出力回路２５は比較回路２４に記憶されているベ
クトルデータを読み出し、信号線１０６を介して外部に
前記ベクトルデータを出力すると共に、信号線２０９を
介してＭＰＸ２３にブロックデータの読み出し信号を入
力する。ＭＰＸ２３はこの読み出し信号に従ってメモリ
２０よりベストマッチングのブロックデータを読み出
し、信号線１０５を介して外部に出力する。

【００３８】次に、図２中に示してある評価回路２１に
おけるブロックマッチングを明度データで行う（明度モ
ード）か色度データで行う（色度モード）かの評価方法
について説明する。

【００３９】入力されるブロックは明度（Ｌ^*）におい
てはＬ^*＝２５５が白、色度（ａ^*，ｂ^*）においてはａ^*
＝１２７（ｂ^*も同様）が軸方向の無色であり、ａ^*＝
０，ａ^*＝２５５（ｂ^*も同様）が軸の両方向で最も彩度
が高いものとする。またブロックは（ｍ×ｎ）画素で構
成されており、フレーム内のブロック位置を（ｉ，
ｊ）、ブロック内の画素位置を（ｐ，ｑ）で表すものと
する。入力されるＬ^*，ａ^*，ｂ^*各々のブロックを
Ｌ_ij，Ａ_ij，Ｂ_ijと称することにし、特にその中での画
素位置を記述するのに、例えばＬ_ij（ｐ，ｑ）の様に記
す。

【００４０】評価回路２１では以下に示す式に従ってＡ
（ａ^*ブロック）、Ｂ（ｂ^*ブロック）各々のブロック内
の画素について、データ値１２７を基準に取ったパワー
を計算し、その値をＰＡ，ＰＢとする。

【００４１】

【外４】

【００４２】

【外５】 ＰＡ＋ＰＢの値を後述する予め定めておいた閾値と比較
し、それよりも大きければ、このブロックを色度ブロッ
クによるブロックマッチングを用いるものと判定し、図
２の信号線２０１を介して‘１’を演算回路２２に入力
される。一方、閾値以下であればこのブロックを明度ブ
ロックによるブロックマッチングを行うものと判定し、
図２の信号線２０１より‘０’を演算回路２２に入力さ
れる。

【００４３】つまり、演算回路２２は信号線２０１を介
して入力される‘１’，‘０’の出力によってブロック
マッチングのモードを自動的に切り換える。

【００４４】次に、前記閾値の設定について詳細に説明
する。

【００４５】一般に、自然画像に現れる色彩の彩度は余
り高くなく、おおむね、ａ^*，ｂ^*各軸のダイナミックレ
ンジの半分以下のところに現れる。

【００４６】このことから、ダイナミックレンジの１／
４以下を色彩が弱いものとし、１／４より大きいものを
色彩の強いものであると判定する。また、ブロックがあ
る同一の色度を持つ画像領域内にある場合は、ブロック
内画素全てが、同じａ^*，ｂ^*値を示すが、領域のエッジ
部では一部画素のみ、そのａ^*，ｂ^*値を示し、残りは背
景のａ^*，ｂ^*値となる。

【００４７】このことより、ブロック内がすべてあるａ
^*，ｂ^*値で埋まった状態を想定してそのパワーを求めた
ら、そのパワー値の１／２程度を閾値とするのが適当で
あると思われ、本実施例ではＰＡ＋ＰＢに対する閾値と
しては１０２４×ｍ×ｎ程度を用いる。

【００４８】本実施例では明度データ（Ｌ^*）、色度デ
ータ（ａ^*，ｂ^*）を用いたが、輝度色差データ（Ｙ，Ｃ
ｒ，ＣｂやＹ，Ｉ，ＱやＬ，Ｕ，Ｖ等）を用いても実現
できることは自明である。

【００４９】

【発明の効果】以上説明したように本願発明によれば動
ベクトル検出装置において、カラー画像情報のひとつで
ある色データを用いて動きベクトルの検出を行う第１の
モードと、カラー画像情報のひとつである輝度データを
用いて動きベクトルの検出を行う第２のモードとを有す
ることにより背景と対象物の輝度が近いときや、対象の
動きが大きい場合においても正しい動きベクトルを検出
することができる。従って、画面全体の動きを個々のブ
ロックの動ベクトルから推測しようとする場合や、過去
もしくは周囲の動きベクトルから新たなブロックの動き
ベクトルを推測しようとする場合に、精度の良い推定を
することが可能になる。

【図面の簡単な説明】

【図１】本実施例にかかる動ベクトル検出装置のブロッ
ク図である。

【図２】図１の装置で用いられているベクトル検出回路
のブロック図である。

【符号の説明】

１ ベクトル検出回路 ２ フレームメモリ ３ 減算回路 ４ バッファメモリ ５ 量子化回路 ６ 可逆符号化回路 ７ 逆量子化回路 ８ 加算回路 ２１ 評価回路 ２２ 演算回路 ２４ 比較回路 ２５ ベクトル出力回路

Claims (1)

1. 【特許請求の範囲】 【請求項１】 近接するフレーム間で被写体の動きベク
   トルをブロック単位で検出する動ベクトル検出装置にお
   いて、色成分を用いて動きベクトルの検出を行う第１の
   モードと、輝度成分を用いて動きベクトルの検出を行う
   第２のモードとを有することを特徴とする動ベクトル検
   出装置。