JPH0591495A - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JPH0591495A JPH0591495A JP3245994A JP24599491A JPH0591495A JP H0591495 A JPH0591495 A JP H0591495A JP 3245994 A JP3245994 A JP 3245994A JP 24599491 A JP24599491 A JP 24599491A JP H0591495 A JPH0591495 A JP H0591495A
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- motion vector
- frame
- data
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 1画素のデータ長が16ビット以上の場合で
もリアルタイム処理が可能で、しかも面積が小さい動き
ベクトル検出装置を提供することを目的とする。 【構成】 フレームメモリ2から出力される複数ライン
からなる1フレームの画素データのうち、基準ブロック
を垂直方向に―M画素から+M画素まで移動させた範囲
内の(2M+1)ラインの画素データがディレイユニッ
ト3に保持され遅延されて1ラインづつ前フレームデー
タとして動き量検出部4に出力される。動き量検出部4
における演算ブロックでは、フレームメモリ2から出力
される現フレームデータのうち基準ブロックを含む範囲
内のラインの画素データと、ディレイユニット3から出
力される前フレームの画素データとの差の絶対値が1ラ
インの画素データが入力されるたびに累積加算され、そ
の加算結果から求められた動き量データが動きベクトル
検出部5に入力され、動きベクトルが検出される。
もリアルタイム処理が可能で、しかも面積が小さい動き
ベクトル検出装置を提供することを目的とする。 【構成】 フレームメモリ2から出力される複数ライン
からなる1フレームの画素データのうち、基準ブロック
を垂直方向に―M画素から+M画素まで移動させた範囲
内の(2M+1)ラインの画素データがディレイユニッ
ト3に保持され遅延されて1ラインづつ前フレームデー
タとして動き量検出部4に出力される。動き量検出部4
における演算ブロックでは、フレームメモリ2から出力
される現フレームデータのうち基準ブロックを含む範囲
内のラインの画素データと、ディレイユニット3から出
力される前フレームの画素データとの差の絶対値が1ラ
インの画素データが入力されるたびに累積加算され、そ
の加算結果から求められた動き量データが動きベクトル
検出部5に入力され、動きベクトルが検出される。
Description
【0001】
【産業上の利用分野】本発明は、動画像の帯域圧縮伝送
等に用いられる動き補償処理用の動きベクトル検出装置
に関する。
等に用いられる動き補償処理用の動きベクトル検出装置
に関する。
【0002】
【従来の技術】従来より、動きベクトル検出装置には、
以下の2つのタイプのものがあった。即ち、(1)フレ
ームメモリに前フレームと現フレームの2つの画像信号
を取り込み、DSP(Digital Signal Processor)等を
利用してソフトウェアにより動きベクトルを算出するも
のと、(2)動きベクトル検出専用のハードウェアを備
えたものとが用いられていた。
以下の2つのタイプのものがあった。即ち、(1)フレ
ームメモリに前フレームと現フレームの2つの画像信号
を取り込み、DSP(Digital Signal Processor)等を
利用してソフトウェアにより動きベクトルを算出するも
のと、(2)動きベクトル検出専用のハードウェアを備
えたものとが用いられていた。
【0003】
【発明が解決しようとする課題】これらの2つのタイプ
のうち、上記(1)の動きベクトル検出装置の場合に
は、動きベクトルを検出するために膨大な計算を行わな
ければならず、この計算に長時間を要することとなる。
そのため、帯域圧縮伝送に際してこの計算に最も処理時
間を要することとなる。従って、(1)の動きベクトル
検出装置は、動画像の帯域圧縮伝送の伝送速度が低いと
いう問題点があった。そこで、KDD社では16個の演
算ブロックに相当するプロセッサエレメントを1チップ
内に集積したKZ5000を用いてこの問題点を解決し
ている(日経エレクトロニクス,1989.9.18.
no.482)。このKDD社の技術によれば、11.
5フレーム/秒のフレーム速度のテレビ電話用の映像の
リアルタイムの動きベクトル検出が可能となる。しかし
ながら、通常のテレビ映像はノンインターレス換算で3
0フレーム/秒のフレーム速度を有しているので、KD
D社の技術を用いても十分な処理速度で動きベクトルを
検出することはできない。
のうち、上記(1)の動きベクトル検出装置の場合に
は、動きベクトルを検出するために膨大な計算を行わな
ければならず、この計算に長時間を要することとなる。
そのため、帯域圧縮伝送に際してこの計算に最も処理時
間を要することとなる。従って、(1)の動きベクトル
検出装置は、動画像の帯域圧縮伝送の伝送速度が低いと
いう問題点があった。そこで、KDD社では16個の演
算ブロックに相当するプロセッサエレメントを1チップ
内に集積したKZ5000を用いてこの問題点を解決し
ている(日経エレクトロニクス,1989.9.18.
no.482)。このKDD社の技術によれば、11.
5フレーム/秒のフレーム速度のテレビ電話用の映像の
リアルタイムの動きベクトル検出が可能となる。しかし
ながら、通常のテレビ映像はノンインターレス換算で3
0フレーム/秒のフレーム速度を有しているので、KD
D社の技術を用いても十分な処理速度で動きベクトルを
検出することはできない。
【0004】また、上記(2)の動きベクトル検出装置
として、例えばSGS―Thomson社の動き補償用
LSI,STI3220がある(日経エレクトロニク
ス,1990.9.3.no.508)。この動き補償
用LSIでは、国際標準勧告CCITT H.261の
動き補償を行う場合には4個のチップが用いられ、各チ
ップは256個の演算ブロックに相当するプロセッサエ
レメントを有している。このように多数のプロセッサエ
レメントを用いてパイプライン処理を行うことにより、
テレビ電話用画像のリアルタイム処理が行なわれる。し
かし、この動き補償用LSIを用いて動きベクトルを検
出するには、各プロセッサエレメントに対して4本の画
像信号入力と必要とするので、1画素のデータ長が16
ビット以上となると配線部分が大きくなってしまう。そ
のため、プロセッサエレメントの面積が大きくなってし
まい、動きベクトル検出装置全体の面積が大きくなって
しまうという問題点があった。
として、例えばSGS―Thomson社の動き補償用
LSI,STI3220がある(日経エレクトロニク
ス,1990.9.3.no.508)。この動き補償
用LSIでは、国際標準勧告CCITT H.261の
動き補償を行う場合には4個のチップが用いられ、各チ
ップは256個の演算ブロックに相当するプロセッサエ
レメントを有している。このように多数のプロセッサエ
レメントを用いてパイプライン処理を行うことにより、
テレビ電話用画像のリアルタイム処理が行なわれる。し
かし、この動き補償用LSIを用いて動きベクトルを検
出するには、各プロセッサエレメントに対して4本の画
像信号入力と必要とするので、1画素のデータ長が16
ビット以上となると配線部分が大きくなってしまう。そ
のため、プロセッサエレメントの面積が大きくなってし
まい、動きベクトル検出装置全体の面積が大きくなって
しまうという問題点があった。
【0005】本発明は上記従来の問題点を解決するもの
であり、1画素のデータ長が16ビット以上の場合でも
リアルタイム処理を行うことが可能で、しかも面積が小
さい動きベクトル検出装置を提供することを目的とす
る。
であり、1画素のデータ長が16ビット以上の場合でも
リアルタイム処理を行うことが可能で、しかも面積が小
さい動きベクトル検出装置を提供することを目的とす
る。
【0006】
【課題を解決するための手段】上記目的を達成するた
め、請求項1の発明は、1フレームの画素データのうち
動きベクトルの検出に用いられる基準ブロックを垂直方
向に―M画素から+M画素まで移動させた範囲内の(2
M+1)ラインの画素データを保持し遅延させて得られ
る前フレームの画素データと、現フレームの画素データ
のうち上記基準ブロックを含む範囲内のラインの画素デ
ータとの差の絶対値を生成し、この絶対値を累積加算し
た結果を用いて動き量データの算出と動きベクトルの検
出とを行うものである。
め、請求項1の発明は、1フレームの画素データのうち
動きベクトルの検出に用いられる基準ブロックを垂直方
向に―M画素から+M画素まで移動させた範囲内の(2
M+1)ラインの画素データを保持し遅延させて得られ
る前フレームの画素データと、現フレームの画素データ
のうち上記基準ブロックを含む範囲内のラインの画素デ
ータとの差の絶対値を生成し、この絶対値を累積加算し
た結果を用いて動き量データの算出と動きベクトルの検
出とを行うものである。
【0007】具体的に請求項1の発明が講じた解決手段
は、画面を分割することにより得られる所定数のブロッ
クのうちの1つの基準ブロックにおける現フレームの各
画素データと、前記基準ブロックを垂直方向及び水平方
向にそれぞれ―M画素から+M画素まで移動させた(2
M+1)×(2M+1)個の対象ブロックにおける前フ
レームの各画素データとの差の絶対値の総和を求めるこ
とにより動きベクトルを検出する動きベクトル検出装置
を対象とし、複数のラインからなる1フレームの画素デ
ータを保持し時系列で現フレームの画素データとして出
力するフレームメモリと、該フレームメモリから出力さ
れる現フレームの画素データのうちの前記基準ブロック
を垂直方向に―M画素から+M画素まで移動させた範囲
内の(2M+1)ラインの画素データを1フレームの間
保持して1ラインづつ時系列で前フレームの画素データ
として出力するディレイユニットと、前記フレームメモ
リから出力される現フレームの画素データのうち前記基
準ブロックを含む範囲内の各ラインの画素データと前記
ディレイユニットから出力される前フレームの各ライン
の画素データとの差の絶対値を生成する絶対値生成手段
と、該絶対値生成手段で得られた前記絶対値を累積加算
する累積加算手段と、該累積加算手段における累積加算
によって得られる中間結果及び累積加算結果を保持する
累積加算結果保持手段とを有する(2M+1)×(2M
+1)個の演算ブロックにより構成され前記累積加算結
果から動き量データを算出する動き量検出部と、該動き
量検出部において得られた動き量データに基づいて動き
ベクトルを検出する動きベクトル検出部とを備えた構成
とするものである。
は、画面を分割することにより得られる所定数のブロッ
クのうちの1つの基準ブロックにおける現フレームの各
画素データと、前記基準ブロックを垂直方向及び水平方
向にそれぞれ―M画素から+M画素まで移動させた(2
M+1)×(2M+1)個の対象ブロックにおける前フ
レームの各画素データとの差の絶対値の総和を求めるこ
とにより動きベクトルを検出する動きベクトル検出装置
を対象とし、複数のラインからなる1フレームの画素デ
ータを保持し時系列で現フレームの画素データとして出
力するフレームメモリと、該フレームメモリから出力さ
れる現フレームの画素データのうちの前記基準ブロック
を垂直方向に―M画素から+M画素まで移動させた範囲
内の(2M+1)ラインの画素データを1フレームの間
保持して1ラインづつ時系列で前フレームの画素データ
として出力するディレイユニットと、前記フレームメモ
リから出力される現フレームの画素データのうち前記基
準ブロックを含む範囲内の各ラインの画素データと前記
ディレイユニットから出力される前フレームの各ライン
の画素データとの差の絶対値を生成する絶対値生成手段
と、該絶対値生成手段で得られた前記絶対値を累積加算
する累積加算手段と、該累積加算手段における累積加算
によって得られる中間結果及び累積加算結果を保持する
累積加算結果保持手段とを有する(2M+1)×(2M
+1)個の演算ブロックにより構成され前記累積加算結
果から動き量データを算出する動き量検出部と、該動き
量検出部において得られた動き量データに基づいて動き
ベクトルを検出する動きベクトル検出部とを備えた構成
とするものである。
【0008】また、請求項2の発明は、累積加算結果保
持手段を切り替え可能な複数のバンクにより構成し、リ
アルタイム処理を可能とするものである。
持手段を切り替え可能な複数のバンクにより構成し、リ
アルタイム処理を可能とするものである。
【0009】
【作用】請求項1の発明の構成により、フレームメモリ
に保持されている複数のラインからなる1フレームの画
素データはディレイユニットに出力され、ディレイユニ
ットではこの画素データのうち基準ブロックを垂直方向
に―M画素から+M画素まで移動させた範囲内の(2M
+1)ラインの画素データが保持され、遅延されて1ラ
インづつ前フレームの画素データとして動き量検出部に
出力される。
に保持されている複数のラインからなる1フレームの画
素データはディレイユニットに出力され、ディレイユニ
ットではこの画素データのうち基準ブロックを垂直方向
に―M画素から+M画素まで移動させた範囲内の(2M
+1)ラインの画素データが保持され、遅延されて1ラ
インづつ前フレームの画素データとして動き量検出部に
出力される。
【0010】動き量検出部における演算ブロックでは、
フレームメモリから出力される現フレームの画素データ
のうち基準ブロックを含む範囲内のラインの画素データ
と、ディレイユニットから出力される前フレームの画素
データとの差の絶対値が絶対値生成手段で生成され、こ
の絶対値は累積加算手段で累積加算される。この累積加
算における中間結果と最終的に得られる累積加算結果は
累積加算結果保持手段に保持される。更に、この累積加
算結果から動き量データが求められる。この動き量デー
タは動きベクトル検出部に入力され、動きベクトル検出
部において動きベクトルが検出される。
フレームメモリから出力される現フレームの画素データ
のうち基準ブロックを含む範囲内のラインの画素データ
と、ディレイユニットから出力される前フレームの画素
データとの差の絶対値が絶対値生成手段で生成され、こ
の絶対値は累積加算手段で累積加算される。この累積加
算における中間結果と最終的に得られる累積加算結果は
累積加算結果保持手段に保持される。更に、この累積加
算結果から動き量データが求められる。この動き量デー
タは動きベクトル検出部に入力され、動きベクトル検出
部において動きベクトルが検出される。
【0011】このような構成により、演算ブロックに入
力される画像信号を2本に減少させることができ、1画
素のデータ長が16ビット以上の場合にも演算ブロック
が占める面積の増大を避けることができる。
力される画像信号を2本に減少させることができ、1画
素のデータ長が16ビット以上の場合にも演算ブロック
が占める面積の増大を避けることができる。
【0012】また、請求項2の発明の構成により、累積
加算結果は累積加算結果保持手段の切り替え可能な複数
のバンクに保持されるので、前フレームの画素データと
基準ブロックにおける現フレームの画素データとの差を
求めていく方向を特に変更することなくリアルタイム処
理を実現することができる。
加算結果は累積加算結果保持手段の切り替え可能な複数
のバンクに保持されるので、前フレームの画素データと
基準ブロックにおける現フレームの画素データとの差を
求めていく方向を特に変更することなくリアルタイム処
理を実現することができる。
【0013】
【実施例】本発明の動きベクトル検出装置の実施例につ
いて、図面を参照しながら詳細に説明する。
いて、図面を参照しながら詳細に説明する。
【0014】まず、本実施例の動きベクトル検出装置の
動作原理を図9を参照しながら説明する。本実施例の動
きベクトル検出装置はブロック単位で動きベクトルの検
出を行う。本実施例では、画面はN画素×N画素からな
る複数のブロックに分割される。複数のブロックのうち
の1つが基準ブロック74として定められる。この基準
ブロック74における現フレーム70のN×N個の画素
データと、基準ブロック74の近傍に位置するN画素×
N画素の大きさの対象ブロックにおける前フレーム71
の画素データとの差を計算し、その差の絶対値の総和が
求められる。即ちこの総和は、基準ブロック74におけ
る現フレーム70の画素データと、この基準ブロック7
4の位置から水平方向及び垂直方向にそれぞれ−M画素
から+M画素まで逐次ずらせた(2M+1)×(2M+
1)個の対象ブロックのそれぞれにおける前フレーム7
1の画素データとについて求められる。従って、動きベ
クトルの検出は図9に示す動きベクトル検出範囲72内
で行われ、(2M+1)×(2M+1)個の総和が得ら
れることになる。これらの総和のうちの最小値を与える
対象ブロックの位置が現フレーム70における基準ブロ
ック74内の映像が前フレーム71において位置してい
た場所を示していると推測することができる。従って、
このブロックの位置の方向と距離を求めることにより動
きベクトルが得られる。
動作原理を図9を参照しながら説明する。本実施例の動
きベクトル検出装置はブロック単位で動きベクトルの検
出を行う。本実施例では、画面はN画素×N画素からな
る複数のブロックに分割される。複数のブロックのうち
の1つが基準ブロック74として定められる。この基準
ブロック74における現フレーム70のN×N個の画素
データと、基準ブロック74の近傍に位置するN画素×
N画素の大きさの対象ブロックにおける前フレーム71
の画素データとの差を計算し、その差の絶対値の総和が
求められる。即ちこの総和は、基準ブロック74におけ
る現フレーム70の画素データと、この基準ブロック7
4の位置から水平方向及び垂直方向にそれぞれ−M画素
から+M画素まで逐次ずらせた(2M+1)×(2M+
1)個の対象ブロックのそれぞれにおける前フレーム7
1の画素データとについて求められる。従って、動きベ
クトルの検出は図9に示す動きベクトル検出範囲72内
で行われ、(2M+1)×(2M+1)個の総和が得ら
れることになる。これらの総和のうちの最小値を与える
対象ブロックの位置が現フレーム70における基準ブロ
ック74内の映像が前フレーム71において位置してい
た場所を示していると推測することができる。従って、
このブロックの位置の方向と距離を求めることにより動
きベクトルが得られる。
【0015】基準ブロック74における現フレーム70
の各画素データをxij、基準ブロック74に対する対象
ブロックのx方向のずれをs 、y方向のずれをt 、対象
ブロックの前フレーム71における各画素データをykl
とすると、この対象ブロックの総和Ss,t は、次の数1
によって求めることができる。
の各画素データをxij、基準ブロック74に対する対象
ブロックのx方向のずれをs 、y方向のずれをt 、対象
ブロックの前フレーム71における各画素データをykl
とすると、この対象ブロックの総和Ss,t は、次の数1
によって求めることができる。
【0016】
【数1】
【0017】数1から分かるように、1フレームの画素
データが通常のスキャン信号として与えられるとする
と、即ち、x00,x10,…,x(L・N-1)0 ,x01,…,
x(L・ N-1)1 ,x02,…,x0(H ・N-1),…,x
(L・N-1)(H・N-1)として与えられるとすると、各対象ブ
ロックについて独立して総和を求めるためには、上記フ
レームデータの順序を変更するか、遅延時間を設けるか
の何れかが必要となる。
データが通常のスキャン信号として与えられるとする
と、即ち、x00,x10,…,x(L・N-1)0 ,x01,…,
x(L・ N-1)1 ,x02,…,x0(H ・N-1),…,x
(L・N-1)(H・N-1)として与えられるとすると、各対象ブ
ロックについて独立して総和を求めるためには、上記フ
レームデータの順序を変更するか、遅延時間を設けるか
の何れかが必要となる。
【0018】そこで、フレームデータの順序を変えず、
しかも遅延時間を設けることなく絶対値の総和を求める
ことを考える。数1では1つの総和を独立に考えている
が、x方向についてL個の総和をとることを考える。即
ち、入力される現フレームのデータ信号xijに対し、第
1のブロックにおいてx00〜x0(N-1)を取り込んで演算
し、第2のブロックにおいてx0N〜x0(2N-1) を取り込
んで演算し、…というように、L個のブロックに取り込
むタイミングをずらせて処理を行うことが考えられる。
しかし、この場合には総和を求めるブロック数が増加
し、動きベクトル検出装置のチップサイズが大きくなっ
てしまう。
しかも遅延時間を設けることなく絶対値の総和を求める
ことを考える。数1では1つの総和を独立に考えている
が、x方向についてL個の総和をとることを考える。即
ち、入力される現フレームのデータ信号xijに対し、第
1のブロックにおいてx00〜x0(N-1)を取り込んで演算
し、第2のブロックにおいてx0N〜x0(2N-1) を取り込
んで演算し、…というように、L個のブロックに取り込
むタイミングをずらせて処理を行うことが考えられる。
しかし、この場合には総和を求めるブロック数が増加
し、動きベクトル検出装置のチップサイズが大きくなっ
てしまう。
【0019】そこで、入力される現フレームの画素デー
タxijが各ブロックで独立であること、即ち1回だけ使
用されることに着目して、フレームデータのうちの1つ
のラインの画素データを用いて求めた差の絶対値の累積
加算の中間結果を一時的にL個のバンクの何れかに切り
替えて保持しておき、次のラインの画素データが入力さ
れたときに呼び出せば、X方向に連続したL個のブロッ
クについての総和を1つの演算ブロックで演算すること
が可能となる。ただし、この場合には、前フレームの画
素データは各ブロックで独立ではなく、最大で2M+1
回使用されるので、ラインメモリ等によってこれらの前
フレームの画素データを保持し、フレームメモリから何
度も読みだす必要のないようにするのが好ましい。これ
ような動作によれば、遅延時間が生じるように思われる
が、1ラインの処理を行っている間にラインメモリに次
のラインのデータを取り込むことにより連続した動作が
可能となるので、遅延時間は生じない。また、このよう
な動作により、前フレームの画素データが複数回用いら
れる場合にも、各演算ブロックにおける総和をとる回路
に入力される信号は2本で足りることになる。
タxijが各ブロックで独立であること、即ち1回だけ使
用されることに着目して、フレームデータのうちの1つ
のラインの画素データを用いて求めた差の絶対値の累積
加算の中間結果を一時的にL個のバンクの何れかに切り
替えて保持しておき、次のラインの画素データが入力さ
れたときに呼び出せば、X方向に連続したL個のブロッ
クについての総和を1つの演算ブロックで演算すること
が可能となる。ただし、この場合には、前フレームの画
素データは各ブロックで独立ではなく、最大で2M+1
回使用されるので、ラインメモリ等によってこれらの前
フレームの画素データを保持し、フレームメモリから何
度も読みだす必要のないようにするのが好ましい。これ
ような動作によれば、遅延時間が生じるように思われる
が、1ラインの処理を行っている間にラインメモリに次
のラインのデータを取り込むことにより連続した動作が
可能となるので、遅延時間は生じない。また、このよう
な動作により、前フレームの画素データが複数回用いら
れる場合にも、各演算ブロックにおける総和をとる回路
に入力される信号は2本で足りることになる。
【0020】次に、本実施例の動きベクトル検出装置に
おける動作を説明する。図1は本実施例の動きベクトル
検出装置の概略構成を示している。画像信号Gijは(L
×N)画素×(H×N)画素からなる画面に対応する1
フレームの画像データであり、(L×N)個の画素から
なる(H×N)本のラインにより構成されている。この
画像信号Gijはフレームメモリ2に入力され、1フレー
ムの間保持される。フレームメモリ2は、保持している
画像データをディレイユニット3と動き量検出部4とに
入力する。
おける動作を説明する。図1は本実施例の動きベクトル
検出装置の概略構成を示している。画像信号Gijは(L
×N)画素×(H×N)画素からなる画面に対応する1
フレームの画像データであり、(L×N)個の画素から
なる(H×N)本のラインにより構成されている。この
画像信号Gijはフレームメモリ2に入力され、1フレー
ムの間保持される。フレームメモリ2は、保持している
画像データをディレイユニット3と動き量検出部4とに
入力する。
【0021】ディレイユニット3は入力された画像デー
タを整形し、1ラインの画素のデータに対して(L×
N)+2M個の画素データを時系列で前フレームの画素
データとして出力し、1フレームの画像データに対して
(2M+1)ラインの前フレームデータを動き量検出部
4へ出力する。
タを整形し、1ラインの画素のデータに対して(L×
N)+2M個の画素データを時系列で前フレームの画素
データとして出力し、1フレームの画像データに対して
(2M+1)ラインの前フレームデータを動き量検出部
4へ出力する。
【0022】動き量検出部4は(2M+1)×(2M+
1)個の演算ブロックにより構成され、ディレイユニッ
ト3より出力される前フレームの各画素データと、フレ
ームメモリ2より出力される現フレームの各画素データ
からN画素×N画素のブロックに対する動き量を検出す
る。
1)個の演算ブロックにより構成され、ディレイユニッ
ト3より出力される前フレームの各画素データと、フレ
ームメモリ2より出力される現フレームの各画素データ
からN画素×N画素のブロックに対する動き量を検出す
る。
【0023】動き量検出部4内の各演算ブロックから出
力される動き量データは、動きベクトルを検出する動き
ベクトル検出部5に入力される。動きベクトル検出部5
では、入力された動き量データとこの装置の外部より供
給される閾値6とを比較し、その結果に基づいて有効・
無効フラグ7と動きベクトル値出力8とを出力する。
力される動き量データは、動きベクトルを検出する動き
ベクトル検出部5に入力される。動きベクトル検出部5
では、入力された動き量データとこの装置の外部より供
給される閾値6とを比較し、その結果に基づいて有効・
無効フラグ7と動きベクトル値出力8とを出力する。
【0024】以下、本実施例の装置において国際標準勧
告CCITT H.261の動き補償を行う場合を例と
して説明する。この勧告では、1ブロックの大きさは1
6画素×16画素(N=16)、1フレームの大きさは
352画素×288画素(L=22、H=18)であ
り、基準ブロックから垂直方向及び水平方向にそれぞれ
−15画素から+15画素の範囲で動きベクトルが検出
される。
告CCITT H.261の動き補償を行う場合を例と
して説明する。この勧告では、1ブロックの大きさは1
6画素×16画素(N=16)、1フレームの大きさは
352画素×288画素(L=22、H=18)であ
り、基準ブロックから垂直方向及び水平方向にそれぞれ
−15画素から+15画素の範囲で動きベクトルが検出
される。
【0025】まず、画像信号Gij(0≦i≦352、0
≦j≦288)がフレームメモリ2に入力され保持され
る。フレームメモリ2において1フレーム間保持された
データは、時系列信号Xi =(G00,…,G0288,
G10,…,G1288,……,G3520,…,G352288)とし
てディレイユニット3と動き量検出部4に出力される。
≦j≦288)がフレームメモリ2に入力され保持され
る。フレームメモリ2において1フレーム間保持された
データは、時系列信号Xi =(G00,…,G0288,
G10,…,G1288,……,G3520,…,G352288)とし
てディレイユニット3と動き量検出部4に出力される。
【0026】ここで、ディレイユニット3について詳細
に説明する。図2はディレイユニット3の概略構成を示
している。フレームメモリ2から送られる画像データX
i がセレクタ11に入力され、セレクタ11には更にゼ
ロ信号10と選択信号発生回路12において生成される
選択信号とが入力されている。また、セレクタ11は直
列に接続された31個の1ラインディレイ回路14,1
6,…,18に接続され、各1ラインディレイ回路1
4,6,…,18は288+15×2=318個の画素
からなるラインのそれぞれに対応して設けられている。
1ラインディレイ回路14,16,…,18にはセレク
タ11で選択された画像データXi 及びゼロ信号10の
何れかが入力される。各1ラインディレイ回路14,1
6,…,18からは画像信号Y30,Y29,Y28,…,Y
0 がそれぞれ出力される。ゼロ信号10は、図9の前フ
レームにおける周辺領域73に対応する信号であり、こ
の周辺領域73は現フレームに対応する領域の周囲+1
5画素から―15画素の領域である。ゼロ信号10は周
辺領域73に対応する画像データがフレームメモリ2内
に存在しない場合に入力される。
に説明する。図2はディレイユニット3の概略構成を示
している。フレームメモリ2から送られる画像データX
i がセレクタ11に入力され、セレクタ11には更にゼ
ロ信号10と選択信号発生回路12において生成される
選択信号とが入力されている。また、セレクタ11は直
列に接続された31個の1ラインディレイ回路14,1
6,…,18に接続され、各1ラインディレイ回路1
4,6,…,18は288+15×2=318個の画素
からなるラインのそれぞれに対応して設けられている。
1ラインディレイ回路14,16,…,18にはセレク
タ11で選択された画像データXi 及びゼロ信号10の
何れかが入力される。各1ラインディレイ回路14,1
6,…,18からは画像信号Y30,Y29,Y28,…,Y
0 がそれぞれ出力される。ゼロ信号10は、図9の前フ
レームにおける周辺領域73に対応する信号であり、こ
の周辺領域73は現フレームに対応する領域の周囲+1
5画素から―15画素の領域である。ゼロ信号10は周
辺領域73に対応する画像データがフレームメモリ2内
に存在しない場合に入力される。
【0027】まず、セレクタ11から出力された信号は
31個の1ラインディレイ回路14、16…、18に順
次送られる。この動作は1ラインディレイ回路18の出
力側に新たなフレームデータが到達するまで続けられ
る。次に、31本の出力ラインより数2に示す1ライン
毎の時系列画像信号が出力され、動き量検出部4に前フ
レームの画素データとして出力される。
31個の1ラインディレイ回路14、16…、18に順
次送られる。この動作は1ラインディレイ回路18の出
力側に新たなフレームデータが到達するまで続けられ
る。次に、31本の出力ラインより数2に示す1ライン
毎の時系列画像信号が出力され、動き量検出部4に前フ
レームの画素データとして出力される。
【0028】
【数2】
【0029】 Y30=(0,…,0,G3520…,G352288,0,…,0), Y29=(0,…,0,G3510…,G351288,0,…,0), Y28=(0,…,0,G3500…,G350288,0,…,0), ……… Y0 =(0,…,0) 動き量検出部4では、1ラインディレイ回路14,1
6,…,18から送られてきた前フレームの各画素デー
タと、フレームメモリより送られる現フレームの画素デ
ータXi とを用いて動き量が検出される。ここで、動き
量検出部4について説明する。図3は動き量検出部4の
概略構成を示しており、同図に示す動き量検出部4はラ
イン毎に独立して設けられた31個の動き量検出ブロッ
ク群21,22,…,23を有している。現フレームの
画素データXi は31個の動き量検出ブロック群21,
22,…,23のそれぞれに同時に入力される。また、
ディレイユニット3から送出されてくる時系列信号
Y30,Y29,…,Y0 は各動き量検出ブロック群21,
22,…,23にそれぞれ入力され、演算結果として動
き量データQ30,Q29,…,Q0 が出力される。
6,…,18から送られてきた前フレームの各画素デー
タと、フレームメモリより送られる現フレームの画素デ
ータXi とを用いて動き量が検出される。ここで、動き
量検出部4について説明する。図3は動き量検出部4の
概略構成を示しており、同図に示す動き量検出部4はラ
イン毎に独立して設けられた31個の動き量検出ブロッ
ク群21,22,…,23を有している。現フレームの
画素データXi は31個の動き量検出ブロック群21,
22,…,23のそれぞれに同時に入力される。また、
ディレイユニット3から送出されてくる時系列信号
Y30,Y29,…,Y0 は各動き量検出ブロック群21,
22,…,23にそれぞれ入力され、演算結果として動
き量データQ30,Q29,…,Q0 が出力される。
【0030】図4は動き量検出ブロック群21,22,
…,23の概略構成を示している。現フレームの画素デ
ータXi はレジスタ27に保持され、31個の演算ブロ
ック28,29,…,30に入力される。また、ディレ
イユニット3から送られてくる前フレームの画素データ
Yk はレジスタ32,33,…,34に保持され、各レ
ジスタ32,33,…,34からそれぞれ演算ブロック
28,29,…,30に入力される。
…,23の概略構成を示している。現フレームの画素デ
ータXi はレジスタ27に保持され、31個の演算ブロ
ック28,29,…,30に入力される。また、ディレ
イユニット3から送られてくる前フレームの画素データ
Yk はレジスタ32,33,…,34に保持され、各レ
ジスタ32,33,…,34からそれぞれ演算ブロック
28,29,…,30に入力される。
【0031】各演算ブロック28,29,…,30は図
5に示す構成を有しており、時系列信号として与えられ
る現フレームの画素データXi と前フレームの画素デー
タYk との差の絶対値を生成する絶対値生成回路39
と、パイプライン処理用のレジスタ40と、上述の絶対
値の累積加算を行う加算器41と、現フレームの画素デ
ータXi についてN個のデータが入力される毎にバンク
の切り替えを行うバンク機能を有する演算結果保持回路
42とを備えている。演算結果保持回路42は累積加算
の中間結果を保持し、累積加算の最終結果として得られ
る絶対値累積和出力43を出力する。
5に示す構成を有しており、時系列信号として与えられ
る現フレームの画素データXi と前フレームの画素デー
タYk との差の絶対値を生成する絶対値生成回路39
と、パイプライン処理用のレジスタ40と、上述の絶対
値の累積加算を行う加算器41と、現フレームの画素デ
ータXi についてN個のデータが入力される毎にバンク
の切り替えを行うバンク機能を有する演算結果保持回路
42とを備えている。演算結果保持回路42は累積加算
の中間結果を保持し、累積加算の最終結果として得られ
る絶対値累積和出力43を出力する。
【0032】各演算ブロック28,29,…,30で得
られた加算の結果は時分割され、時系列信号として出力
される。この時系列信号には図4に示すブロック番号発
生回路35から出力されるデータが付与され、図6に示
す構成を有する絶対値累積和出力43として出力され
る。図6における現フレームブロック番号44は動きベ
クトルを検出しようとしているブロックの位置を表して
おり、352画素×288画素のフレームデータを16
画素×16画素のブロックに分割した22×18個のブ
ロックを識別するために設けられている。また、出力ブ
ロック番号X成分45と出力ブロック番号Y成分46
は、出力された絶対値累積和データ47がどの演算ブロ
ックから出力されたかを識別するために設けられてい
る。これらの演算ブロック28,29,…,30からの
出力信号は動きベクトル検出部5に送出される。
られた加算の結果は時分割され、時系列信号として出力
される。この時系列信号には図4に示すブロック番号発
生回路35から出力されるデータが付与され、図6に示
す構成を有する絶対値累積和出力43として出力され
る。図6における現フレームブロック番号44は動きベ
クトルを検出しようとしているブロックの位置を表して
おり、352画素×288画素のフレームデータを16
画素×16画素のブロックに分割した22×18個のブ
ロックを識別するために設けられている。また、出力ブ
ロック番号X成分45と出力ブロック番号Y成分46
は、出力された絶対値累積和データ47がどの演算ブロ
ックから出力されたかを識別するために設けられてい
る。これらの演算ブロック28,29,…,30からの
出力信号は動きベクトル検出部5に送出される。
【0033】動きベクトル検出部5の概略構成を図7に
示す。動き量検出部4から入力される31ラインに対応
した動き量データQ30,Q29,…,Q0 は、それぞれ第
1の最小値検出回路48,49,…,50に送られる。
これらの第1の最小値検出回路48,49,…,50に
おいて時系列信号として入力される31個のデータにつ
いて最小値が検出され、検出された最小値は時分割され
て最小値ブロックデータ出力バス51に出力される。こ
れらの31個の最小値のデータは最小値ブロックデータ
出力バス51を介して時系列信号として第2の最小値検
出回路52に送出され、更に最小値が検出される。この
一連の最小値検出処理結果から、動きベクトル検出回路
53において、基準ブロックの現フレームにおける画素
データに最も近い前フレームの画素データを有する対象
ブロックの位置が動きベクトル値として検出され、動き
ベクトル値出力8として出力される。また、動きベクト
ル検出回路53は、この装置の外部より供給される閾値
6より検出された最小値が小さい場合に1に設定される
有効・無効フラグ7を出力する。
示す。動き量検出部4から入力される31ラインに対応
した動き量データQ30,Q29,…,Q0 は、それぞれ第
1の最小値検出回路48,49,…,50に送られる。
これらの第1の最小値検出回路48,49,…,50に
おいて時系列信号として入力される31個のデータにつ
いて最小値が検出され、検出された最小値は時分割され
て最小値ブロックデータ出力バス51に出力される。こ
れらの31個の最小値のデータは最小値ブロックデータ
出力バス51を介して時系列信号として第2の最小値検
出回路52に送出され、更に最小値が検出される。この
一連の最小値検出処理結果から、動きベクトル検出回路
53において、基準ブロックの現フレームにおける画素
データに最も近い前フレームの画素データを有する対象
ブロックの位置が動きベクトル値として検出され、動き
ベクトル値出力8として出力される。また、動きベクト
ル検出回路53は、この装置の外部より供給される閾値
6より検出された最小値が小さい場合に1に設定される
有効・無効フラグ7を出力する。
【0034】図8は第1の最小値検出回路48,49,
…,50及び第2の最小値検出回路52の概略構成を示
している。動き量データQs は時系列信号としてレジス
タ55に保持される。保持された動き量データのうち減
算器56には図6の絶対値累積和データ47のみが送ら
れ、選択回路57には動き量データの全てが送られる。
また、選択回路57からの出力データはレジスタ58に
保持される。レジスタ58に保持されているデータのう
ち減算器56には絶対値累積和データ47の部分のみが
送られ、選択回路57にはレジスタ58に保持されてい
るデータの全てが送られる。
…,50及び第2の最小値検出回路52の概略構成を示
している。動き量データQs は時系列信号としてレジス
タ55に保持される。保持された動き量データのうち減
算器56には図6の絶対値累積和データ47のみが送ら
れ、選択回路57には動き量データの全てが送られる。
また、選択回路57からの出力データはレジスタ58に
保持される。レジスタ58に保持されているデータのう
ち減算器56には絶対値累積和データ47の部分のみが
送られ、選択回路57にはレジスタ58に保持されてい
るデータの全てが送られる。
【0035】減算器56では、レジスタ55から入力さ
れたデータからレジスタ58から入力されたデータを減
算する。選択回路57では、減算結果の符号を示す符号
フラグ59が1を示していればレジスタ55、0を示し
ていればレジスタ58の値をレジスタ58に出力する。
この動作を31回繰り返した後、出力回路60から出力
信号61が出力される。なお、レジスタ58の内容は、
処理開始時と出力信号61を出力する際に初期化され
る。
れたデータからレジスタ58から入力されたデータを減
算する。選択回路57では、減算結果の符号を示す符号
フラグ59が1を示していればレジスタ55、0を示し
ていればレジスタ58の値をレジスタ58に出力する。
この動作を31回繰り返した後、出力回路60から出力
信号61が出力される。なお、レジスタ58の内容は、
処理開始時と出力信号61を出力する際に初期化され
る。
【0036】
【発明の効果】以上説明したように、請求項1の発明に
係る動きベクトル検出装置は、フレームメモリから出力
される現フレームの画素データのうち基準ブロックを含
む範囲内のラインの画素データと、ディレイユニットか
ら出力される前フレームの画素データとの差の絶対値を
生成する絶対値生成手段と、この絶対値を累積加算する
累積加算手段と、累積加算の中間結果と累積加算結果を
保持する累積加算結果保持手段とを有する演算ブロック
を備えているので、演算ブロックに入力される画像信号
を2本に減少させることができ、1画素のデータ長が1
6ビット以上の場合にも演算ブロックが占める面積の増
大を避けることができる。
係る動きベクトル検出装置は、フレームメモリから出力
される現フレームの画素データのうち基準ブロックを含
む範囲内のラインの画素データと、ディレイユニットか
ら出力される前フレームの画素データとの差の絶対値を
生成する絶対値生成手段と、この絶対値を累積加算する
累積加算手段と、累積加算の中間結果と累積加算結果を
保持する累積加算結果保持手段とを有する演算ブロック
を備えているので、演算ブロックに入力される画像信号
を2本に減少させることができ、1画素のデータ長が1
6ビット以上の場合にも演算ブロックが占める面積の増
大を避けることができる。
【0037】また、請求項2の発明に係る動きベクトル
検出装置では、累積加算結果が累積加算結果保持手段の
切り替え可能な複数のバンクに保持されるので、前フレ
ームの画素データと基準ブロックにおける現フレームの
画素データとの差を求める方向を特に変更することなく
リアルタイム処理を実現することができる。
検出装置では、累積加算結果が累積加算結果保持手段の
切り替え可能な複数のバンクに保持されるので、前フレ
ームの画素データと基準ブロックにおける現フレームの
画素データとの差を求める方向を特に変更することなく
リアルタイム処理を実現することができる。
【図1】本発明の一実施例に係る動きベクトル検出装置
の概略構成を示す図である。
の概略構成を示す図である。
【図2】図1の動きベクトル検出装置を構成するディレ
イユニットの概略構成を示す図である。
イユニットの概略構成を示す図である。
【図3】図1の動きベクトル検出装置を構成する動き量
検出部の概略構成を示す図である。
検出部の概略構成を示す図である。
【図4】図3の動き量検出部を構成する動き量検出ブロ
ック群の概略構成を示す図である。
ック群の概略構成を示す図である。
【図5】図4の動き量検出ブロック群を構成する演算ブ
ロックの概略構成を示す図である。
ロックの概略構成を示す図である。
【図6】絶対値累積和出力の構成を示す図である。
【図7】図1の動きベクトル検出装置を構成する動きベ
クトル検出部の概略構成を示す図である。
クトル検出部の概略構成を示す図である。
【図8】図7の動きベクトル検出部を構成する第1及び
第2の最小値検出回路の構成を示す図である。
第2の最小値検出回路の構成を示す図である。
【図9】動きベクトルを検出する原理を説明する概念図
である。
である。
2 フレームメモリ 3 ディレイユニット 4 動き量検出部 5 動きベクトル検出部 11 セレクタ 12 選択信号発生回路 14,16,18 1ラインディレイ回路 21,22,23 動き量検出ブロック群 28,29,30 演算ブロック 35 ブロック番号発生回路 39 絶対値生成回路(絶対値生成手段) 41 加算記(累積加算手段) 42 演算結果保持回路(累積加算結果保
持手段) 48,49,50 第1の最小値検出回路 52 第2の最小値検出回路 53 動きベクトル検出回路
持手段) 48,49,50 第1の最小値検出回路 52 第2の最小値検出回路 53 動きベクトル検出回路
Claims (2)
- 【請求項1】 画面を分割することにより得られる所定
数のブロックのうちの1つの基準ブロックにおける現フ
レームの各画素データと、前記基準ブロックを垂直方向
及び水平方向にそれぞれ―M画素から+M画素まで移動
させた(2M+1)×(2M+1)個の対象ブロックに
おける前フレームの各画素データとの差の絶対値の総和
を求めることにより動きベクトルを検出する動きベクト
ル検出装置であって、 複数のラインからなる1フレームの画素データを保持し
時系列で現フレームの画素データとして出力するフレー
ムメモリと、 該フレームメモリから出力される現フレームの画素デー
タのうちの前記基準ブロックを垂直方向に―M画素から
+M画素まで移動させた範囲内の(2M+1)ラインの
画素データを1フレームの間保持して1ラインづつ時系
列で前フレームの画素データとして出力するディレイユ
ニットと、 前記フレームメモリから出力される現フレームの画素デ
ータのうち前記基準ブロックを含む範囲内の各ラインの
画素データと前記ディレイユニットから出力される前フ
レームの各ラインの画素データとの差の絶対値を生成す
る絶対値生成手段と、該絶対値生成手段で得られた前記
絶対値を累積加算する累積加算手段と、該累積加算手段
における累積加算によって得られる中間結果及び累積加
算結果を保持する累積加算結果保持手段とを有する(2
M+1)×(2M+1)個の演算ブロックにより構成さ
れ前記累積加算結果から動き量データを算出する動き量
検出部と、 該動き量検出部において得られた動き量データに基づい
て動きベクトルを検出する動きベクトル検出部とを備え
たことを特徴とする動きベクトル検出装置。 - 【請求項2】 前記累積加算結果保持手段は切り替え可
能な複数のバンクにより構成されていることを特徴とす
る請求項1記載の動きベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3245994A JPH0591495A (ja) | 1991-09-25 | 1991-09-25 | 動きベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3245994A JPH0591495A (ja) | 1991-09-25 | 1991-09-25 | 動きベクトル検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0591495A true JPH0591495A (ja) | 1993-04-09 |
Family
ID=17141891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3245994A Pending JPH0591495A (ja) | 1991-09-25 | 1991-09-25 | 動きベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0591495A (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5752281A (en) * | 1980-09-12 | 1982-03-27 | Nec Corp | Forecast encoding device of picture signal |
-
1991
- 1991-09-25 JP JP3245994A patent/JPH0591495A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5752281A (en) * | 1980-09-12 | 1982-03-27 | Nec Corp | Forecast encoding device of picture signal |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5512962A (en) | Motion vector detecting apparatus for moving picture | |
| US6219464B1 (en) | Source data interpolation method and apparatus | |
| US4924306A (en) | Method of and device for estimating the extent of motion in a picture element of a television picture | |
| WO2009034486A2 (en) | Method and apparatus for line-based motion estimation in video image data | |
| KR0160618B1 (ko) | 실시간 움직임 추정장치 및 그 방법 | |
| JPH03502628A (ja) | 動き推定回路 | |
| US5793443A (en) | Motion vector detection circuit | |
| KR940025337A (ko) | 영상신호처리장치 및 처리방법 | |
| JPH0591495A (ja) | 動きベクトル検出装置 | |
| US8013935B2 (en) | Picture processing circuit and picture processing method | |
| JP3041658B2 (ja) | 高並列動き補償演算器 | |
| KR100880116B1 (ko) | 화상 시간 간격 전환 유닛 및 방법, 및 화상 처리 장치 | |
| US20060170954A1 (en) | Method and system for generating synchronous multidimensional data streams from a one -dimensional data stream | |
| JP2885039B2 (ja) | 動きベクトル検出回路 | |
| JPH08111852A (ja) | 動き適応形走査線補間装置 | |
| US20030086497A1 (en) | Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices | |
| JP2866321B2 (ja) | 動きベクトル探索方法および装置 | |
| JP3063581B2 (ja) | 画像処理方法およびその装置 | |
| JP2003204502A (ja) | 映像信号処理装置 | |
| JPH09162747A (ja) | 動きベクトル検出装置およびその方法 | |
| JP3004685B2 (ja) | 動きベクトル検出回路 | |
| JP3136616B2 (ja) | 動き検出装置 | |
| JP2866324B2 (ja) | 動きベクトル探索装置 | |
| JPH07101449B2 (ja) | 画像処理による特異点検出方法 | |
| JPH02215291A (ja) | 動き適応処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 19960820 |