JPH05236455A - 動画像の動きベクトル検出装置 - Google Patents

動画像の動きベクトル検出装置

Info

Publication number
JPH05236455A
JPH05236455A JP7554392A JP7554392A JPH05236455A JP H05236455 A JPH05236455 A JP H05236455A JP 7554392 A JP7554392 A JP 7554392A JP 7554392 A JP7554392 A JP 7554392A JP H05236455 A JPH05236455 A JP H05236455A
Authority
JP
Japan
Prior art keywords
motion vector
image
pixel data
block
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7554392A
Other languages
English (en)
Inventor
Hideki Honma
英樹 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP7554392A priority Critical patent/JPH05236455A/ja
Publication of JPH05236455A publication Critical patent/JPH05236455A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 2枚の参照フレームから、動きベクトルをパ
イプライン処理により高速にし、さらに境界条件、演算
の簡略化を図る。 【構成】 被動き検出ブロックの画素データ、2枚の参
照フレームの探索領域の画素データを格納する第1、第
2の記憶手段101,102からそれぞれ画像データ1
1,12を演算手段102へ入力し、演算手段は探索範
囲内の候補ベクトルに対する誤差絶対値の総和13を比
較手段に入力し、現時刻までの総和13の最小値を最小
値格納レジスタ105に入力し、最小値に対応する候補
ベクトルを制御信号17を出力して動きベクトル格納レ
ジスタ106に格納する。動きベクトル格納レジスタに
は総和が最小値を持つ候補ベクトルを格納して動きベク
トルとして検出し、同様の処理を行なうことで2枚の参
照フレームに対する動きベクトルを動きベクトル格納レ
ジスタ106,106′に得る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は動画像の動きベクトル検
出装置に関するものである。
【0002】
【従来の技術】動画像の動きベクトルを検出する技術と
して、ブロックマッチングによる方法が良く知られてい
る。図13に示す、被動きベクトル検出フレームJに対
して、過去に現れた1枚の参照フレームIを基に動きベ
クトルを検出する場合、フレームIにはなかった画像が
フレームJに新たに現れた場合には、新たに現れた部分
には動き検出を施しても有用な結果が得られない。この
問題を解決するために、過去のフレームからの動きベク
トル検出に加えて、フレームJより後に現れるフレーム
Kを基にした動きベクトル検出も行なう、2枚の参照フ
レームに対してそれぞれ被動きベクトル検出フレームの
動きベクトルを検出する方式がある。
【0003】ブロックマッチングにより前記フレームJ
とフレームKを参照フレームとしてフレームIの動き検
出を実現する装置については、「動画像の動き補償方
式」特開昭62−213494号の中に説明がなされて
いる。図14は動きベクトル検出装置を説明するもので
ある。ビデオ信号はフレームメモリ1に記憶され、フレ
ームメモリ2,3,4に伝搬される。ここで、フレーム
メモリ1にフレームi+3が、フレームメモリ2にフレ
ームi+2が、フレームメモリ3にフレームi+1が、
フレームメモリ4にフレームiが記憶されているとす
る。この構成を用いて動きベクトル検出器5,6によっ
てフレームi+1とフレームi+2及びフレームi+1
とフレームiの動きベクトルの検出を行なう。この動き
ベクトル検出装置は、画像に物体の重なりがあり、物体
が見え隠れする場合においても有効に機能し得る動画像
の動き補償の提供を実現している。
【0004】
【発明が解決しようとする課題】従来の、ブロックマッ
チング法による動きベクトル検出装置では、2枚の参照
フレームに対する現フレームの動き検出には2つの動き
ベクトル検出手段を用いていた。そのため、装置規模が
必然的に大きくなるという問題を生じる。
【0005】本発明の第1の目的は装置規模を大きくす
ることなく、被動きベクトル検出フレームに関して参照
フレームを2枚用いた動きベクトルの検出装置を提供す
ることにある。
【0006】また、図12に示すような、被動きベクト
ル検出フレームの上下左右の境界ブロックAに関して動
きベクトルを検出する場合、探索範囲Sにおける有効な
探索範囲はTの部分だけになる。このように、ブロック
マッチングの際のマッチングをとる参照フレームの画素
が、有効探索範囲T外の探索範囲Sの領域を含む場合、
このときの動きベクトルは無効なものであり、ブロック
マッチングの際のマッチングをとる参照フレームの画素
が、全て有効探索範囲T内にある場合と同じ処理を行な
うことは、動きベクトルの誤検出につながる。
【0007】本発明の第2の目的は、無効な候補ベクト
ルを含むブロックに対する、動きベクトル検出におい
て、動きベクトル検出結果が無効な候補ベクトルの選択
を防ぐことにある。
【0008】
【課題を解決するための手段】本発明に係わる第1の動
画像の動きベクトル検出装置は、連続する複数フレーム
からなる動画像信号を、各画像フレームを複数個の画素
からなる複数ブロックに分割し、個々のブロック内画像
とそのブロックが属するフレームとは異なる参照フレー
ムとのマッチング度を計算し、動画像の動きベクトルを
推定する画像の動きベクトル検出装置であって、入力フ
レームのブロック内画素データを蓄える第1記憶手段
と、2枚の参照フレーム画像に対する動きベクトル検出
範囲を含む画素データを蓄える第2記憶手段と、前記第
1の記憶手段に蓄えられたデータと前記第2の記憶手段
に蓄えられたデータとの間でブロックマッチングを行な
い、ブロック内画素の対応画素の誤差の絶対値の総和と
マッチングの際の候補ベクトルを出力する演算手段と、
前記演算手段が求める全ての候補ベクトルに対する前記
誤差絶対値の総和を比較し最小値を判定する比較手段
と、前記誤差絶対値の総和を格納するレジスタと、2枚
の参照フレームの各々に対する前記最小値に対応する候
補ベクトルを格納する2つのレジスタとからなることを
特徴とする。
【0009】本発明に係わる第2の動画像の動きベクト
ル検出装置は、前記ブロック内画素の対応画素の誤差の
絶対値の総和を求める演算手段が、ブロックマッチング
における被動き検出フレーム内画素と参照フレーム内画
素との間の差分の絶対値の累算値と初期入力値のいずれ
かを選択する第1の選択手段と、前記第2の記憶手段か
ら出力される複数個の画素データから1つの画素データ
を選択する第2の選択手段と入力を前記累算値と現フレ
ーム内画素と前記第2の選択手段により選択された参照
フレーム内画素として前記差分の絶対値を求め、前記差
分の絶対値と前記累算値を加算することにより新たな累
算値を出力するプロセッサエレメントを、被動きベクト
ル検出フレームの前記ブロックの1ラインの画素数
(M)個直列に配置し、第M番めの前記プロセッサエレ
メントの出力値を0または複数クロック遅延し出力する
プロセッサスライスを1または複数個有し、前記プロセ
ッサスライスを複数個有する場合は、前記プロセッサス
ライスの出力を新たな前記プロセッサスライスの入力に
接続することで複数個直列に配置し、最後に配置された
前記プロセッサスライスの出力を前記第1の選択手段及
びM買いプロセッサスライスを通過することにより作成
される前記誤差の絶対値の総和を出力とする演算手段
と、前記誤差の絶対値の総和を格納する複数個のレジス
タとからなり、さらに全ての前記プロセッサエレメント
に対する前記第2の選択手段への各入力データを各々共
通とすることを特徴とする。
【0010】本発明に係わる第3の動画像の動きベクト
ル検出装置は、前記第2の記憶手段において、データの
ビット幅を2倍に持ち隣合う2画素分の画素データに1
つのアドレスを与え、前記第2の記憶手段からの出力後
に、奇数カラム画素と偶数カラム画素に2分割し、いず
れかの画素に画素遅延手段を施すことを特徴とする。
【0011】本発明に係わる第4の動画像の動きベクト
ル検出装置は、前方向予測画像(以下P画像)において
前方向のみの動きベクトル検出を行なう動作をし、かつ
両方向予測画像(以下B画像)に関しては前方向と逆方
向の動きベクトル検出を行なうために、P画像とB画像
における動作を適応的に切替える動きベクトル検出方式
決定手段を有することを特徴とする。
【0012】本発明に係わる第5の動画像の動きベクト
ル検出装置は、前記P画像における動きベクトル検出に
おいて、前記第2の記憶手段に1枚の参照画像について
探索範囲を変えた2つの捜索範囲内の画素データを格納
し、被動きベクトル検出ブロックに対する動きベクトル
検出を2つの探索範囲に関して行なうことにより、動き
ベクトル検出範囲を拡張することを特徴とする。
【0013】本発明に係わる第6の動画像の動きベクト
ル検出装置は、低域通過フィルタを具備し、現フレーム
内画素データは前記低域通過フィルタを施した後、第3
の記憶手段及び動き検出手段へ出力され、前記動きベク
トルの検出手段は、前記第2の記憶手段へ前記第3の記
憶手段に格納された画素データを入力することにより動
き検出の参照画像として低域通過画像を用いることを特
徴とする。
【0014】本発明に係わる第7の動画像の動きベクト
ル検出装置は、前記被動きベクトル検出ブロックが、画
面の上下左右の境界に存在する場合の動きベクトル検出
において、前記ブロックの候補ベクトルを選択する機能
を、前記誤差最小値比較手段に有することを特徴とす
る。
【0015】
【作用】本発明は、上記した構成により、動画像の動き
ベクトル検出装置において前記第2の記憶手段に2つの
参照フレーム内の捜索範囲内の画素データを格納するこ
とにより、2つの参照フレームを用いた動きベクトル検
出が、マッチングを計算する演算手段が1つで済むう
え、参照するフレームを切替える際、前記第2の記憶手
段の画素を入れ変えることなく行なうことができる。
【0016】本発明の第2,3の動きベクトル検出装置
においては、第1の記憶手段と第2の記憶手段のそれぞ
れに1またはn画素間引きした画素データを格納し、ブ
ロックマッチングによる動きベクトル検出に特化したデ
ータの出力タイミングを提案することにより1またはn
画素精度の動きベクトルの検出をパイプライン処理で高
速に実現する。
【0017】特に第3の動きベクトル検出装置において
は、参照フレーム内画素データがパイプライン処理のた
めに同時刻に2個のデータが連続的に必要となる場合で
も、画素データ供給のための処理時間のみを2倍にする
という機能を、あるいは2個の画素データ供給手段を付
加することなく参照フレームからの画像データの供給が
可能となる。
【0018】本発明の第4,5の動きベクトル検出装置
において、被動きベクトル検出フレームの画像の種類が
P画像かB画像であるかの識別機能を持つようにしたこ
とにより、画像の種類に応じ、B画像の場合は、前方向
予測のための参照フレーム内の探索範囲の画素データと
逆方向予測のための参照フレーム内の探索範囲の画素デ
ータを、P画像の場合は、前方向予測のための参照フレ
ーム内の2つの探索範囲の画素データを前記第2の記憶
手段に格納させることにより、B画像に関しては両方向
予測がP画像に関しては動きベクトル検出範囲を拡大し
た前方向予測が可能となる。これにより、特にP画像に
関してはフレーム間の動きが大きい場合も動き補償が可
能となる。
【0019】本発明の第6の動きベクトル検出装置にお
いては、被動き検出フレームの画素及び参照フレームの
画素が間引かれて、一部分の画素を用いてブロックマッ
チングを行なっても、正確な動きベクトルが検出するこ
とができることと同時に、同じ探索範囲における第1の
記憶手段と第2の記憶手段に格納するデータ量を大幅に
減じ、装置規模を小さくすることが可能となる。
【0020】さらに、低域フィルタ通過後のデータを第
3の記憶手段に出力し、前記第2の記憶手段は第3の記
憶手段からの画素データを、改めて低域通過フィルタ手
段を施すことなく入力して、次以降の被動き検出フレー
ムに対する低域通過フィルタを施した後の参照フレーム
画素として使用することが可能となり、参照フレーム内
画素データを前記第2の記憶手段へ格納する間の処理が
簡略化される。
【0021】被動きベクトル検出フレームの被ブロック
マッチング領域が、画像の上下左右の境界に存在する場
合、ある候補ベクトルに関しては、図12に示すように
マッチングをとる時の参照フレームの被マッチング領域
はUのようになり、領域U全体が、画像領域に含まれな
くなる場合が生じる。
【0022】この時の候補ベクトルは意味のないもので
あり、如何なる場合も、この候補ベクトルは検出結果の
動きベクトルとなってはならない。
【0023】本発明の第7の動きベクトル検出装置にお
いて、意味のない候補ベクトルに対する前記誤差の絶対
値の総和を、前記比較手段へ出力させない機能を有する
ことで、動きベクトルの誤検出による画質劣化を防ぐ。
【0024】
【実施例】第1の動画像の動きベクトル検出装置を図1
を用いて説明する。第1の記憶手段101に被動きベク
トル検出フレームの動きベクトル検出対象ブロック内画
素データ11を、第2の記憶手段102に2枚の参照フ
レームの探索領域の画素データ12を格納する。前記第
1の記憶手段に格納された画素データ11と、前記第2
の記憶手段に格納された中の第1の参照フレームの画素
データ12′から、演算手段103は1つの候補ベクト
ルに関してブロックマッチングを行ない候補ベクトルに
関する誤差の絶対値の総和13を比較手段104に出力
する。
【0025】比較手段104では、よりマッチング度が
高い、すなわち前記総和13が最小値格納レジスタの値
16よりも小さければ最小値格納レジスタ105に総和
13を出力し、さらに動きベクトル格納レジスタ106
のデータをこの候補ベクトルに書き換え格納する。
【0026】この処理を全ての候補ベクトルに対して繰
り返し行なうことによって、動きベクトル格納レジスタ
106に最もマッチング度が高い動きベクトルが格納さ
れ、また最小値格納レジスタ105には最もマッチング
度が高い動きベクトルに対する誤差の絶対値の総和の値
が格納される。
【0027】続いて、前記第1の記憶手段に格納された
画素データと前記第2の記憶手段に格納された中の第2
の参照フレームの画素データを用い、さらに候補ベクト
ルを格納するレジスタを動きベクトル格納レジスタ10
6′に変え、同様の手順で参照フレーム2に対する動き
ベクトルを検出する。
【0028】本発明に係わる第2,第3の動きベクトル
検出装置を実現する一実施例を図1〜図6を用いて説明
する。図2に示すように、被動き検出ブロックを4×4
画素、参照フレームの探索範囲を12×12画素とする
ことにより、候補ベクトルを図3の座標で示される9×
9とした場合について説明する。ここでは、プロセッサ
スライスを1つで行なう場合について説明する。
【0029】参照フレームの探索領域のブロックの画素
データを前記第2の選択手段に送る方法を図4を用いて
説明する。 1.左上の画素から下に向かって順に、探索範囲の向か
って左から第1列目、第2列めの2つずつのデータ20
をそれぞれ同時に出力する。ここで、プロセッサスライ
スの数が偶数個の時の実施例では前記第2の記憶手段1
02において1つのデータの上位ビットを第1列の画素
データ、下位ビットを第2列の画素データとして記憶す
ることによって、24画素分のデータを12クロックで
出力し、各データを図4のように上位ビットと下位ビッ
トすなわち、奇数カラム画素データ21と偶数カラム画
素データ22に分けることにより実現することもでき
る。 2.第1列、第2列の画素データを前記第2の選択手段
120にそれぞれ参照画素データ21、参照画素データ
22として送る。図5(a)に示すように、この動作に
おいては、前記第2の選択手段102に送る前段で第2
列のデータに対してのみ画素遅延手段121により9画
素遅延を行なっておく。 3.第K列の画素データが第(K−1)列の9クロック
遅延となる関係を満たすように第1列から第4列までの
データを1,2と同様の方法で前記第2の選択手段の第
(K−1)列の画素データと第K列の画素データを前記
端子21と前記端子22に出力する。 4.3の動作の完了直後に、3の動作をデータを第2列
から第5列の画素データとして同様に行なう。 5.第3列から第6列、第4列から第7列の順で4の動
作を第9列から第12列のデータを送るまで続ける。 以上1から5に従って出力する画素データを4個の前記
第2の選択手段120の全てに共通に入力する。
【0030】次に、被動きベクトル検出ブロックのデー
タを格納するレジスタ122へ格納するデータ内容につ
いて説明する。連結されているプロセッサエレメント1
23を先に処理の行なわれる方から順にPE1 ,P
2 ,PE3 ,PE4 とすると、PEi 入力するレジス
タ122には第i行の画素データを格納する。レジスタ
122に格納されたデータは演算手段103の動作時
に、次述する図5(b)に示すタイミングで、読み出す
ことが可能となるように格納されている。
【0031】被動きベクトル検出ブロック内の画素デー
タ26が演算手段103を動作させるために必要とする
データ出力タイミングについて説明する。まず第i行、
第1列目のデータはiが1増える毎に1クロックずつ遅
延させて連続9クロック読み出される。つまり、 第1行第1列目のデータは、1〜9クロック目の期間 第2行第1列目のデータは、2〜10クロック目の期間 第3行第1列目のデータは、3〜11クロック目の期間 第4行第1列目のデータは、4〜12クロック目の期間 読み出されることになる。
【0032】さらに、各レジスタに関して9クロック後
に第2列目のデータが読み出される。つまり、 第1行第2列目のデータは、10〜18クロック目の期
間 第2行第2列目のデータは、11〜19クロック目の期
間 第3行第2列目のデータは、12〜20クロック目の期
間 第4行第2列目のデータは、13〜21クロック目の期
間 読み出されることになる。
【0033】以降第3列〜第4列の画素データに関して
も、各レジスタに関して9クロックごとにデータを入れ
換え、入れ換えたデータは9クロックの間データの読み
出しが行なわれる。以上4列のデータの読み出しを計9
回繰り返す。ただし第i回目の開始時刻は、図5(b)
にも示す通り、第(i−1)回目の右下端の画素の読み
出しの次クロックのタイミングで行なう。
【0034】前述した、被動きベクトル検出ブロック内
画素と、参照フレームの探索領域のブロックの画素デー
タのデータタイミングに沿って、演算手段103は図4
のような構成を持って、候補ベクトルに対する誤差の絶
対値の総和を求める。
【0035】参照フレームのブロック内画素データ(以
下、第I行、第J列の画素をRijとする)と被動き検出
ブロックの画素データ(以下、第I行、第J列の画素を
ijとする)の入力タイミングは、前記のタイミングを
満たすように入力されているものとする。
【0036】また、ここで用いる演算手段103の中で
使用されるプロセッサエレメントPEi は、図6に示す
構成を持ち、端子24からPEi-1 からの出力を、端子
25からRijを端子26からCijを入力とし、差分絶対
値演算器130でRijとCijの差分の絶対値を計算して
誤差データ27を加算器131へ出力し、加算器131
はPEi-1 からの出力24と誤差データ27を加算した
値28をレジスタ132に格納し、次クロックにレジス
タ132のデータを出力することによって誤差の絶対値
の累算値を出力する。但し、PE1 は、演算の初期値ま
たは、PEの後に続くデータ遅延手段124の出力23
を端子24の入力とする。
【0037】次に、演算手段の動作について説明する。 1.演算開始1クロック目に、PE1 に、端子24から
初期値0と、端子25からR11と、端子26からC11
入力し、R11とC11の差分の絶対値(図3中の候補ベク
トル(−4,−4)のための演算)を求める。このと
き、PE2 からPE4 も演算動作を行なってもよいが、
この場合は意味のない値を用いた演算を行なうことにな
り、結果には考慮されない。 2.2クロック目において、PE1 に、端子24から初
期値0と、端子25からR12と、端子26からC11を入
力し、R13とC11の差分の絶対値(図3中の候補ベクト
ル(−4,−3)のための演算)を求めると同時にPE
2 に、端子24からPE1 の出力と、端子25からR12
と、端子26からC12を入力し、R12とC11の差分の絶
対値(図3中の候補ベクトル(−4,−4)のための演
算)とPE1 の出力の和を求める。このとき、PE3
らPE4 も演算動作を行なってもよいが、この場合は意
味のない値を用いた演算を行なうことになり、結果には
考慮されない。 3.3クロック目において、PE1 に、端子24から初
期値0と、端子25からR13と、端子26からC11を入
力し、R13とC11の差分の絶対値(図3中の候補ベクト
ル(−4,−2)のための演算)を求めると同時に、P
2 に、端子24からPE1 の出力と、端子25からR
13と、端子26からC12を入力し、R13とC11の差分の
絶対値(図3中の候補ベクトル(−4,−3)のための
演算)とPE1 の出力の和を求め、さらにPE3 に、端
子24からPE2 の出力と、端子25からR13と、端子
26からC13を入力し、R13とC13の差分の絶対値(図
3中の候補ベクトル(−4,−2)のための演算)とP
2 の出力の和を求める。このとき、PE4 も演算動作
を行なってもよいが、この場合は意味のない値を用いた
演算を行なうことになり、結果には考慮されない。 4.4クロック目において、PE1 に、端子24から初
期値0と、端子25よりR14と、端子26からC11を入
力し、R14とC11の差分の絶対値(図3中の候補ベクト
ル(−4,−1)のための演算)を求めると同時に、P
2 に、端子24からPE1 の出力と、端子25からR
14と、端子26からC12を入力し、R14とC11の差分の
絶対値(図3中の候補ベクトル(−4,−2)のための
演算)とPE1 の出力の和を求め、さらにPE3 に、端
子24からPE2 の出力と、端子25からR14と、端子
26からC13を入力し、R14とC13の差分の絶対値(図
3中の候補ベクトル(−4,−3)のための演算)とP
2 の出力の和を求め、さらにPE4 に、端子24から
PE3 の出力と、端子25からR14と、端子26からC
14を入力し、R14とC14の差分の絶対値(図3中の候補
ベクトル(−4,−4)のための演算)とPE3 の出力
の和を求める。 5.5から9クロック目に関しては第iクロック目の動
作はPE1 に、端子24から初期値0と、端子25から
1iと、端子26からC11を入力し、R1iとC11の差分
の絶対値(第5から第9クロック目に関しては図3中の
候補ベクトル(−4,0)から(−4,+4)のための
演算)を求めると同時に、PE2 に、端子24からPE
1 の出力と、端子25からR1iと、端子26からC12
入力し、R1iとC11の差分の絶対値(第5から第9クロ
ック目に関しては図3中の候補ベクトル(−4,−1)
から(−4,+3)のための演算)とPE1 の出力の和
を求め、さらにPE3 に、端子24からPE2 の出力
と、端子25からR1iと、端子26からC13を入力し、
1iとC13の差分の絶対値(第5から第9クロックめに
関しては図3中の候補ベクトル(−4,−2)から(−
4,+2)のための演算)とPE2 の出力の和を求め、
さらにPE4 に、端子24からPE3 の出力と、端子2
5からR1iと、端子26からC14を入力し、R1iとC14
の差分の絶対値(第5から第9クロックめに関しては図
3中の候補ベクトル(−4,−3)から(−4,+1)
のための演算)とPE3 の出力の和を求め、さらにPE
4 の出力(第5から第9クロック目に関しては図3中の
候補ベクトル(−4,−4)から(−4,0)のための
データ)を5画素遅延手段124へ送る、という処理を
行なう。 6.10クロック目以降に関する動作においては、PE
1 の端子24の入力を5画素遅延手段124の出力デー
タ23とする。 7.10クロック目から18クロック目の動作におい
て、第iクロック目の動作は5に示した動作の中で10
クロック目はPE1 に、端子25からの入力を前記第2
の選択手段120によりR21を、PE2 に、端子25か
らの入力を前記第2の選択手段120によりR1 10を、
PE3 に、端子25からの入力を前記第2の選択手段1
20によりR1 10を、PE4 に、端子25からの入力を
前記第2の選択手段120によりR1 10を選択する。1
1クロック目はPE1 に、端子25からの入力を前記第
2の選択手段120によりR22を、PE2 に、端子25
からの入力を前記第2の選択手段120によりR22を、
PE3 に、端子25からの入力を前記第2の選択手段1
20によりR1 11を、PE4 に、端子25からの入力を
前記第2の選択手段120によりR1 11を選択する。1
2クロック目はPE1 に、端子25からの入力を前記第
2の選択手段120によりR23を、PE2 に、端子25
からの入力を前記第2の選択手段120によりR23を、
PE3 に、端子25からの入力を前記第2の選択手段1
20によりR23を、PE4 に、端子25からの入力を前
記第2の選択手段120によりR1 12を選択する。13
から18クロック目は全てのPE125の端子25から
順にR24からR29を入力する。各時刻において、各PE
の各端子26からは、前述したタイミングにしたがって
セットされている、レジスタの画素データを入力する。 8.19から27クロック目、28から36クロック目
は6の動作において、図5のように端子25への入力R
ijの列要素2の部分をそれぞれ3, 4に列要素1の部分
をそれぞれ2,3にして処理する。 9.37から45クロック目は7の動作に引きつづいて
49からR4 12を用いて、特に37クロック目から40
クロック目で候補ベクトル(−4,+1)から(−4,
+4)の誤差の絶対値の総和のための演算を行なう。こ
こで、第37クロック目から45クロック目における画
素遅延手段124からの出力データ23は、図5(c)
に示すように、候補ベクトル(−4,−4)から(−
4,+4)までにおけるブロックマッチングの誤差の絶
対値の総和として比較手段104へ出力される。なお、
41クロック以降45クロックまでのPEにおける演算
は、ブロックマッチングにおいて意味を持たない。以上
1から9までの動作によって、候補ベクトルの列要素が
−4における、誤差絶対値の総和を求める演算が完了す
る。 10.1から9の動作をさらに8回、計9回繰り返す。
但し、繰り返す毎に、Rijの列要素を全て+1して行な
う。この8回の繰り返しで、候補ベクトル(−3,−
4)から(−3,+4)まで、(−2,−4)から(−
2,+4)まで…(+4,−4)から(+4,+4)ま
での9×9の候補ベクトルに対する誤差絶対値の総和が
求められる。
【0038】ここで述べた例以外は、例えば被動きベク
トル検出ブロックをMにし、候補ベクトルの列要素数を
V、行要素数をUにした場合は、回路構成では、プロセ
ッサスライスに属するPEの数をM個にし、画素遅延手
段におけるデータ遅延数を(V−M)にし、
【0039】データタイミングとしては、参照フレーム
の画素データのI列めの先頭データと(I+1)列目の
先頭データの間の遅延数をVとし、回路構成を考慮した
前述の演算動作の1から9をU回繰り返す。
【0040】また、図10のように、プロセッサスライ
スをP個(Pは2の整数乗)と連結して持つ場合は、被
動き検出フレームのブロックのデータを格納するレジス
タにおいてI番目のプロセッサスライスに(I+PQ)
列目(Qは整数)のデータを格納するようにし、回路構
成を考慮した前述の演算動作の1から9の繰り返し数を
1/Nとすることで、明らかに実現できる。
【0041】図7(a),(b)は本発明に関わる第4
の動きベクトル検出装置を実現する一実施例のブロック
図である。前記第1の発明の動きベクトル検出装置に動
きベクトル決定手段108を付加し、動きベクトル検出
方式決定手段108は画像種類データ70を入力し、P
画像の場合、2つの動きベクトル格納レジスタ106の
片方を無効にする。B画像の場合、両方を有効にする。
【0042】あるいは、P画像の場合、2枚の参照フレ
ーム内探索領域を格納することができる第2の記憶手段
102への入力画素として前方向予測のための1枚の参
照フレームの2つの探索領域の画素データを入力する。
このようにすることにより、動きベクトル検出のため
の、誤差の絶対値を求める部分は全く変更することな
く、画像種類による動きベクトルの検出方法の変更を実
現できる。
【0043】図8(a),(b)は本発明に関わる第5
の動きベクトル検出装置を説明するための、(a)はB
画像、(b)はP画像における、被動ベクトル検出ブロ
ックと、参照フレームの探索領域の関係を表すものであ
る。
【0044】M×M画像の被動きベクトル検出ブロック
に対して、1枚の参照フレームを図8(a)に示すよう
に、被動きベクトル検出ブロックの左上の画素の座標の
位置(X,Y)としたとき参照フレームの探索領域の左
上の画素の座標を(X−N,Y−N)とするようにした
(M+2N)×(M+2N)の探索領域を設定すると、
動きベクトルの検出可能範囲は水平垂直共に+Nから−
Nとなる。
【0045】B画像に対しては、2枚の参照フレームに
対して前記の探索領域に設定し、第2の記憶手段に格納
することで、2枚の参照フレームに対する水平、垂直共
に−Nから+Nの動きベクトル検出範囲を得る。
【0046】一方、P画像に対しては、1枚の参照フレ
ームの探索領域を図8(b)のように、被動きベクトル
検出ブロックの左上の画素の座標の位置(X,Y)とし
たとき参照フレームの探索領域の左上の画素の座標を
(X−2N,Y−N)とする第1の領域と、参照フレー
ムの探索領域の左上の画素の座標を(X,Y−N)とす
る第2の領域の2領域を設定し、前記第2の記憶手段に
は1枚の画像の2領域を格納することにする。
【0047】これにより、P画像における、水平方向の
動きベクトルの検出範囲を、−2Nから+2NとB画像
の2倍に拡張できる。
【0048】図9は本発明に関わる第6の動きベクトル
検出装置を実現する一実施例のブロック図である。被動
きベクトル検出ブロック画素データ11は2次元低域通
過フィルタ109を通過して、高周波成分をとり除いた
画素データ91を第1の記憶手段101へ入力する。
【0049】この処理における、2次元低域通過フィル
タ109は、例えば「動画像の動き情報検出方式」特願
3−199614に記述されている方式を用いる。
【0050】該フレームが、次以降のフレームJの動き
ベクトル検出を行なう際の参照フレームとなりうる場合
において、第1の記憶手段へ蓄えられた画素データ92
は前記第3の記憶手段110に格納する。
【0051】フレームJの動きベクトル検出を行なう
時、前記第2の記憶手段102は、前記第4の記憶手段
110から探索領域内の画素データ93を入力し、動き
ベクトル検出を行なう。
【0052】動きベクトル検出の具体的な手段に関して
は実施例の本発明の第1,第2,第3の動きベクトル検
出例で説明したので省略する。
【0053】例えば、2次元低域通過フィルタ110に
おいて被動きベクトル検出フレーム、参照フレームに対
して、垂直方向水平方向共に1/2に帯域制限された後
に、水平垂直方向2画素間引きを行なって、前記第1,
第2の記憶手段に格納した画素データ91,95を用い
て本発明の第2の動きベクトル検出装置で述べた演算手
段103を動作すると、動きベクトル検出における候補
ベクトルは図11に示すように、水平垂直2画素おきに
配置される。
【0054】このため垂直水平2画素精度の動きベクト
ル検出を実現する。間引きによって、動きベクトル検出
のための画素間の差分の絶対値を求める演算回数は大幅
に削減され、さらに低域通過フィルタを作用させるた
め、間引きによる動きベクトルの誤検出も防ぐ。(間引
き、低域通過フィルタの効果に関しては、「動画像の動
き情報検出方式」特願平3−199614に表記されて
いる。)
【0055】本発明の第7の動きベクトル検出装置を実
現する一実施例を図12を用いて説明する。
【0056】第2の記憶手段103にデータを格納する
とき、探索範囲Sが画像領域の外の領域を含む場合に
は、画像からはみ出す領域の画素データとしてダミーデ
ータを入力する。ある候補ベクトルにおけるブロックマ
ッチングを行なう際に、参照領域が図12中の参照領域
Uのように画像領域外の画素データを含む場合、参照領
域Uに対応する候補ベクトルを決して選ばないようにす
るために、図15のように、比較手段の中に演算手段か
らベクトル情報を受ける候補ベクトル選別手段111を
持ち、被動き検出ブロックにおいて、画像領域の左端に
ある場合は、候補ベクトルの水平方向の要素が負値とな
るもの、画像領域の右端にある場合は、候補ベクトルの
水平方向の要素が正値となるもの、画像領域の上端にあ
る場合は、候補ベクトルの垂直方向の要素が負値となる
もの、画像領域の左下端にある場合は、候補ベクトルの
垂直方向の要素が正値となるものに対して、図15中の
比較手段において比較動作を行なわないよう候補ベクト
ル選別手段111は比較手段に制御をかける。
【0057】従って、如何なる場合においても比較手段
はレジスタへの書き込みを許可する制御信号17を出力
せず、動きベクトル格納レジスタ106の書換えを行な
わないため、参照領域Uに対応する候補ベクトルが動き
ベクトルとして検出されることを防ぐことができる。
【0058】
【発明の効果】以上に説明したように本発明によれば、
動きベクトルを検出する場合において、2枚の参照フレ
ームに関する動きベクトル検出装置により、マッチング
がとれないブロックの出現を防ぎ、効率良い動画像符号
化を実現可能とする。パイプライン処理により、候補ベ
クトルの評価関数値を求めるための回路構成、データタ
イミングを規定したことと、該フレームの低域通過後の
データを次フレーム以降の低域通過後の参照フレームと
して利用可能とし参照フレームに関する低域通過処理が
不要としたこと、によって高速かつ正確な動きベクトル
検出が実現可能となる。加えて、境界領域の処理におい
て、候補ベクトル選別手段を用いた境界領域の動きベク
トル検出制御手段により、動きベクトル検出の演算手段
を境界領域において特殊な処理をさせることなく、動き
ベクトルの誤検出を防止する。
【図面の簡単な説明】
【図1】本発明に係わる第1の動きベクトル検出装置の
一実施例の基本ブロック図
【図2】動きベクトルの検出範囲の説明図
【図3】動きベクトル検出における候補ベクトルの説明
【図4】本発明に係わる第2,第3の動きベクトル検出
装置の一実施例の回路図
【図5】本発明に係わる第2の動きベクトル検出装置の
演算手段を実現するためのデータタイミング図
【図6】プロセッサエレメントの回路図
【図7】本発明に係わる第4の動きベクトル検出装置の
一実施例の基本ブロック図
【図8】本発明に係わる第5の動きベクトル検出装置の
一実施例に関する動きベクトル検出範囲の説明図
【図9】本発明に係わる第6の動きベクトル検出装置の
一実施例の基本ブロック図
【図10】本発明に係わる第2の動きベクトル検出装置
の演算手段の一実施例の基本回路図
【図11】本発明に係わる第6の動きベクトル検出装置
の候補ベクトルの説明図
【図12】境界領域における動きベクトル検出の動きベ
クトル検出範囲の説明図
【図13】従来の動きベクトル検出方式の説明図
【図14】従来の動きベクトル検出装置のブロック図
【図15】本発明に係わる第7の動きベクトル検出装置
の境界領域における動きベクトルの選択を行なう方式を
説明するブロック図
【符号の説明】
101 第1の記憶手段 102 第2の記憶手段 103 ブロックマッチングにおける、フレーム間の
誤差の絶対値の総和を求める演算手段 104 比較手段 105 最小値格納レジスタ 106、106′ 動きベクトル格納レジスタ 107 候補ベクトルインデックス 108 動きベクトル検出方式決定手段 109 2次元低域通過フィルタ 110 第3の記憶手段 111 候補ベクトル選別手段 120 第2の選択手段 121 画素遅延手段 122 レジスタ 123 第1の選択手段 124 データ遅延手段 130 差分絶対値演算器 131 加算器 132 レジスタ 11 被動き検出フレーム画素データ 12,12′ 参照フレーム画素データ 13 ブロックマッチングにおける、フレーム間の誤
差の絶対値の総和 15 動きベクトル 16,18 ブロックマッチングにおける、フレーム
間の誤差の絶対値の総和の最小値 17 制御信号 19,19′ 制御信号 20,21,22 参照フレームの探索範囲の画素デ
ータ 23,24,28,30 誤差の絶対値の累算値 25 参照フレーム探索範囲の画素データ 26 被動きベクトル検出ブロックの画素データ 27 初期値または誤差の絶対値の累算値 70 処理画像種類 91,92,93,94,95 低域通過フィルタ作
用後の被動き検出フレーム画素データ

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 連続する複数フレームからなる動画像信
    号を、各画像フレームを複数個の画素からなる複数ブロ
    ックに分割し、個々のブロック内画像とそのブロックが
    属するフレームとは異なる参照フレームとのマッチング
    度を計算し、動画像の動きベクトルを推定する画像の動
    きベクトル検出装置であって、 入力フレームのブロック内画素データを蓄える第1の記
    憶手段と、 2枚の参照フレーム画像に対する動きベクトル検出範囲
    を含む画素データを蓄える第2記憶手段と、 前記第1の記憶手段に蓄えられたデータと前記第2の記
    憶手段に蓄えられたデータとの間でブロックマッチング
    を行ない、ブロック内画素の対応画素の誤差の絶対値の
    総和とマッチングの際の候補ベクトルを出力する演算手
    段と、 前記演算手段が求める全ての候補ベクトルに対する前記
    誤差絶対値の総和を比較し最小値を判定する比較手段
    と、 前記誤差絶対値の総和を格納するレジスタと、 2枚の参照フレームの各々に対する前記最小値に対応す
    る候補ベクトルを格納する2つのレジスタとからなるこ
    とを特徴とする動画像の動きベクトル検出装置。
  2. 【請求項2】 前記ブロック内画素の対応画素の誤差の
    絶対値の総和を求める演算手段が、ブロックマッチング
    における被動き検出フレーム内画素と参照フレーム内画
    素との間の差分の絶対値の累算値と初期入力値のいずれ
    かを選択する第1の選択手段と、 前記第2の記憶手段から出力される複数個の画素データ
    から1つの画素データを選択する第2の選択手段と入力
    を前記累算値と現フレーム内画素と前記第2の選択手段
    により選択された参照フレーム内画素として前記差分の
    絶対値を求め、前記差分の絶対値と前記累算値を加算す
    ることにより新たな累算値を出力するプロセッサエレメ
    ントを、被動きベクトル検出フレームの前記ブロックの
    1ラインの画素数(M)個直列に配置し、第M番めの前
    記プロセッサエレメントの出力値を0または複数クロッ
    ク遅延し出力するプロセッサスライスを1または複数個
    有し、前記プロセッサスライスを複数個有する場合は、
    前記プロセッサスライスの出力を新たな前記プロセッサ
    スライスの入力に接続することで複数個直列に配置し、
    最後に配置された前記プロセッサスライスの出力を前記
    第1の選択手段及びM買いプロセッサスライスを通過す
    ることにより作成される前記誤差の絶対値の総和を出力
    とする演算手段と、 前記誤差の絶対値の総和を格納する複数個のレジスタと
    からなり、 さらに全ての前記プロセッサエレメントに対する前記第
    2の選択手段への各入力データを各々共通とすることを
    特徴とする請求項1に記載の動画像の動きベクトル検出
    装置。
  3. 【請求項3】 前記第2の記憶手段において、データの
    ビット幅を2倍に持ち隣合う2画素分の画素データに1
    つのアドレスを与え、前記第2の記憶手段からの出力後
    に、奇数カラム画素と偶数カラム画素に2分割し、いず
    れかの画素に画素遅延手段を施すことを特徴とする請求
    項2に記載の動画像の動きベクトル検出装置。
  4. 【請求項4】 前方向予測画像(以下P画像)において
    前方向のみの動きベクトル検出を行なう動作をし、かつ
    両方向予測画像(以下B画像)に関しては前方向と逆方
    向の動きベクトル検出を行なうために、P画像とB画像
    における動作を適応的に切替える動きベクトル検出方式
    決定手段を有することを特徴とする請求項1に記載の動
    画像の動きベクトル検出装置。
  5. 【請求項5】 前記P画像における動きベクトル検出に
    おいて、前記第2の記憶手段に1枚の参照画像について
    探索範囲を変えた2つの捜索範囲内の画素データを格納
    し、被動きベクトル検出ブロックに対する動きベクトル
    検出を2つの探索範囲に関して行なうことにより、動き
    ベクトル検出範囲を拡張することを特徴とする請求項1
    に記載の動画像の動きベクトル検出装置。
  6. 【請求項6】 低域通過フィルタを具備し、現フレーム
    内画素データは前記低域通過フィルタを施した後、第3
    の記憶手段及び動き検出手段へ出力され、前記動きベク
    トルの検出手段は、前記第2の記憶手段へ前記第3の記
    憶手段に格納された画素データを入力することにより動
    き検出の参照画像として低域通過画像を用いることを特
    徴とする請求項1に記載の動画像の動きベクトル検出装
    置。
  7. 【請求項7】 前記被動きベクトル検出ブロックが、画
    面の上下左右の境界に存在する場合の動きベクトル検出
    において、 前記ブロックの候補ベクトルを選択する機能を前記誤差
    最小値比較手段に有することを特徴とする請求項1に記
    載の動画像の動きベクトル検出装置。
JP7554392A 1992-02-25 1992-02-25 動画像の動きベクトル検出装置 Pending JPH05236455A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7554392A JPH05236455A (ja) 1992-02-25 1992-02-25 動画像の動きベクトル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7554392A JPH05236455A (ja) 1992-02-25 1992-02-25 動画像の動きベクトル検出装置

Publications (1)

Publication Number Publication Date
JPH05236455A true JPH05236455A (ja) 1993-09-10

Family

ID=13579224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7554392A Pending JPH05236455A (ja) 1992-02-25 1992-02-25 動画像の動きベクトル検出装置

Country Status (1)

Country Link
JP (1) JPH05236455A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02177105A (ja) * 1988-12-28 1990-07-10 Hitachi Maxell Ltd 磁気ヘツド
US5293965A (en) * 1991-08-28 1994-03-15 Shimano Inc. Bicycle brake
JPH0723350A (ja) * 1993-05-20 1995-01-24 Korean Broadcasting Syst 高画質tv(hdtv)の画像データ動き推定方法及びその装置
WO2000036841A1 (en) * 1998-12-15 2000-06-22 Matsushita Electric Industrial Co., Ltd. Method and apparatus for image processing
JP2001224036A (ja) * 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
US6370195B1 (en) 1998-04-14 2002-04-09 Hitachi, Ltd. Method and apparatus for detecting motion
JP2010183180A (ja) * 2009-02-03 2010-08-19 Sanyo Electric Co Ltd 画像処理装置、およびそれを搭載した撮像装置
US7885331B2 (en) 2005-03-02 2011-02-08 Kabushiki Kaisha Toshiba Moving picture processor, method for processing a moving picture, and computer program product for executing an application for a moving picture processor
US8144772B2 (en) 2005-03-07 2012-03-27 Kabushiki Kaisha Toshiba Moving picture processor, method for processing a moving picture, and computer program product for executing an application for a moving picture processor
CN111292354A (zh) * 2020-01-22 2020-06-16 维沃移动通信有限公司 误检测抑制方法及电子设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02177105A (ja) * 1988-12-28 1990-07-10 Hitachi Maxell Ltd 磁気ヘツド
US5293965A (en) * 1991-08-28 1994-03-15 Shimano Inc. Bicycle brake
JPH0723350A (ja) * 1993-05-20 1995-01-24 Korean Broadcasting Syst 高画質tv(hdtv)の画像データ動き推定方法及びその装置
JP2001224036A (ja) * 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
US6370195B1 (en) 1998-04-14 2002-04-09 Hitachi, Ltd. Method and apparatus for detecting motion
US6496539B2 (en) 1998-04-14 2002-12-17 Hitachi, Ltd. Method and apparatus for detecting motion
WO2000036841A1 (en) * 1998-12-15 2000-06-22 Matsushita Electric Industrial Co., Ltd. Method and apparatus for image processing
US6791625B1 (en) 1998-12-15 2004-09-14 Matsushita Electric Industrial Co., Ltd. Video processing apparatus for performing address generation and control, and method therefor
US7885331B2 (en) 2005-03-02 2011-02-08 Kabushiki Kaisha Toshiba Moving picture processor, method for processing a moving picture, and computer program product for executing an application for a moving picture processor
US8144772B2 (en) 2005-03-07 2012-03-27 Kabushiki Kaisha Toshiba Moving picture processor, method for processing a moving picture, and computer program product for executing an application for a moving picture processor
JP2010183180A (ja) * 2009-02-03 2010-08-19 Sanyo Electric Co Ltd 画像処理装置、およびそれを搭載した撮像装置
CN111292354A (zh) * 2020-01-22 2020-06-16 维沃移动通信有限公司 误检测抑制方法及电子设备

Similar Documents

Publication Publication Date Title
US7412114B2 (en) Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
EP0497586A2 (en) Motion detection circuit
JPH06334980A (ja) 動画像の動きベクトル検出装置
JP2003274414A (ja) 動きベクトル検出方法、補間画像作成方法及び画像表示システム
JPH05236455A (ja) 動画像の動きベクトル検出装置
Nicol A systolic approach for real time connected component labeling
KR101091054B1 (ko) 동화상 부호화에 있어서의 움직임 탐색 장치
JPS61201581A (ja) 動きベクトル検出装置
US6990149B2 (en) Circuit and method for full search block matching
JPH0220988A (ja) 動画像符号化装置における動ベクトル検出方式
CN100399831C (zh) 运动矢量检测设备和检测运动矢量的方法
JPWO2004012460A1 (ja) 動きベクトル検出装置及び動きベクトル検出方法
US6968011B2 (en) Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices
KR100282614B1 (ko) 저 전송률 비디오 코덱을 위한 움직임 예측장치
US5548665A (en) Vector correlation detecting circuit
GB2214751A (en) Video signal coding
JP2885039B2 (ja) 動きベクトル検出回路
JP3189655B2 (ja) 動きベクトル検出装置およびその方法
KR970011380B1 (ko) 고선명 텔레비전의 2차원 움직임 벡터 계산장치
JP2574563B2 (ja) フィルタ
JP4730170B2 (ja) 動きベクトル検出方法、動きベクトル検出装置及び動きベクトル検出プログラム
JPH0779436A (ja) 動きベクトル検出装置
JPH1013837A (ja) 動きベクトル検出回路
JPH02139799A (ja) 2次元シフトレジスタ及びそれを用いた動ベクトル検出用演算回路
JP2934134B2 (ja) 動画像圧縮におけるブロック・マッチング方法と装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19981110