JP2000308064A - 動きベクトル検出装置 - Google Patents

動きベクトル検出装置

Info

Publication number
JP2000308064A
JP2000308064A JP11466499A JP11466499A JP2000308064A JP 2000308064 A JP2000308064 A JP 2000308064A JP 11466499 A JP11466499 A JP 11466499A JP 11466499 A JP11466499 A JP 11466499A JP 2000308064 A JP2000308064 A JP 2000308064A
Authority
JP
Japan
Prior art keywords
motion vector
search
image
motion
search area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11466499A
Other languages
English (en)
Inventor
Mitsuo Hanami
充雄 花見
Tetsuya Matsumura
哲哉 松村
Satoru Kumaki
哲 熊木
Kazuya Ishihara
和哉 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP11466499A priority Critical patent/JP2000308064A/ja
Priority to US09/425,214 priority patent/US6765965B1/en
Publication of JP2000308064A publication Critical patent/JP2000308064A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 ハードウェア量および消費電力を増加させる
ことなく効率的に動きベクトルを検出する。 【解決手段】 テンプレートブロックサイズすなわち評
価画素数およびサーチエリアサイズの少なくとも一方が
互いに異なる複数の動き検出部(MD♯1〜MD♯n)
を対象画像の性質すなわち予測符号化方式に応じて適応
的に使い分ける。例えば、双方向予測画像のとき、前記
2つの参照画像のうち前記現画像に対し時間的に近い方
の参照画像を前記サーチエリアサイズが小さくかつ前記
テンプレートブロックサイズが大きな動きベクトル検出
ユニットに割当てる。一方向予測画像のとき、画面上の
互いに異なる画素点を中心点として動きベクトルの探索
範囲を設定し、これらの中心点の異なる探索範囲を前記
複数の動きベクトル検出ユニットへ振分ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、動きベクトル検
出装置に関し、特に、デジタル動画像圧縮システムに用
いられる動きベクトル検出装置に関する。
【0002】
【従来の技術】膨大な量の画像データを高速かつ効率的
に伝送するために、画像データを圧縮してデータ量を削
減して転送することが行なわれる。この画像データ圧縮
手法の1つに、動画像を対象とするMPEG方式があ
る。このMPEG方式においては、ブロックマッチング
法に従って、画像ブロック単位で動きベクトルを検出
し、現画像ブロックと予測画像ブロックの画素の差分値
を動きベクトルとともに伝送する。差分値を伝送データ
として用いるため、予測画像ブロックと現画像ブロック
の一致度が大きい場合(動きの小さい場合)、差分値は
小さく、伝送データ量を低減することができる。動きが
大きく、この予測画像ブロックと現画像ブロックの一致
度が小さい場合には、逆にデータ伝送量が増加する。
【0003】ブロックサイズが小さいと検出精度が高く
なるが、伝送データ量が増加する。通常、MPEG方式
のブロックマッチング法においては、動きベクトル検出
の単位ブロックとして、16画素・16画素のサイズを
有するマクロブロックが用いられる。MPEG方式にお
いては、ピクチャデータは、複数のマクロブロックを含
むフレーム単位で伝送される。
【0004】図42は、ブロックマッチング法における
画面分割の構成を概略的に示す図である。図42におい
て、1枚の画像(ピクチャ)IGは、複数のマクロブロ
ックMBに分割される。図42においては、一例とし
て、4行・5列のマクロブロックに画像が分割される構
成が一例として示される。通常、マクロブロックMB
は、16画素・16画素のサイズを有し、この1枚の画
像IGに含まれるマクロブロックMBの数は、画像IG
を構成する画素数により適当定められる。
【0005】図43は、ブロックマッチング法における
動きベクトル検出操作を示す図である。図43におい
て、動きベクトル探索対象となる現画像ブロックCBに
対し、所定のサイズを有するサーチエリアSEが定めら
れる。このサーチエリアSEは、図42に示す画像IG
に含まれるマクロブロック(テンプレートブロック)M
Bの画面上の位置を中心として水平および垂直方向に予
め定められた大きさを有する。このサーチエリアSE内
において、現画像ブロックCBの位置に対応する位置
(真裏点)から、サーチエリアSEに含まれる参照画像
ブロックRBの位置ベクトル(i,a)が動きベクトル
候補として定められる。この現画像ブロックCBと参照
画像ブロックRBの相関度が求められる。通常、この現
画像ブロックCBおよび参照画像ブロックRBの互いに
対応する位置に存在する画素の差分絶対値または二乗差
分値の総和が評価値として求められる。サーチエリアS
E内のすべての位置ベクトルについて評価値を求め、最
も評価値の小さな参照画像ブロックの変位ベクトルを、
この現画像ブロックCBに対する動きベクトルとして決
定する。
【0006】現画像ブロックCBの画素データをai
j、参照画像ブロックRBの画素データをbijとする
と、評価値は、たとえば次式で求められる。
【0007】E=Σ|aij−bij| または E=(Σaij2−bij2) したがって、この評価値算出のためには、数多くの演算
を行なう必要があり、またサーチエリアSE内のすべて
の参照ブロックRBに対する評価値を求めた後に動きベ
クトルを決定するため、数多くの演算操作が必要とされ
る。この動きベクトル検出演算を高速で行なうために、
種々の演算アルゴリズムが提案されている。MPEG方
式に従う動画像圧縮システムにおける演算アルゴリズム
については、以下の文献に解説されている。
【0008】P. Pirsch et al.,“VLSI Architecture f
or Video Compression-A Survey”,Proc. IEEE Vol.8
3, No.2, pp.220−246,1995. M. Yoshimoto et al.,“ULSI Realization of MPEG2 R
ealtime Video Encoder and Decoder-An Overview”,IE
ICE Trans. Electron., Vol. E78-C, No.12, pp.1
668−1681,1995. 田中他,「MPEG2 符号化LSIが家庭を変え
る」,日経エレクトロニクス1998年3月9日号(N
o.711) また、動きベクトルを高速で検出することを目的とする
動き検出演算用LSIについては、以下の文献に解説が
記載されている。
【0009】K. Ishihara et al.,“A-Half-Pel Precis
ion MPEG2 Motion Estimation Processor with Concur
rent Three-Vector Search”,ISSCC Digest of Technic
al Papers, pp.288−289,1995. A. Ohtani et al.,“A Motion Estimation Processor f
or MPEG2 Video RealTime Encoding at Wide Search R
ange”,Proc. IEEE Custom Integrated Circuits Confe
rence, pp.405−408,1995. A. Hanami et al.,“A 165-GOPS Motion Estimation
Processor with Adaptive Dual-Array Architecture f
or High Quality Video-Encoding Applications”,Pro
c. IEEE Custom Integrated Circuits Conference, pp.
169−172,1998.
【0010】
【発明が解決しようとする課題】サーチエリア内のすべ
ての動きベクトル候補について評価値を求める全サンプ
ル全探索方式は、最も正確に動きベクトルを検出するこ
とができる。すなわち、探索対象画像ブロック(テンプ
レートブロック)と参照画像ブロックのすべての画素デ
ータの差分演算を行なって評価値を求め、これらのサー
チエリア内の全ての評価点についての評価値のうち最小
値を有する参照画像ブロックの位置ベクトルを動きベク
トルと決定することができる。
【0011】しかしながら、この全サンプル全探索方式
では、演算量が非常に多く、動きベクトル決定に長時間
を要するため、演算量を低減して、高速で動きベクトル
を検出するためには、評価点を低減するためにサーチエ
リアを狭くする必要がある。したがって、1つのLSI
で動きベクトル検出装置を実現した場合、1つのLSI
の動きベクトル検出装置の動きベクトル探索範囲を狭く
する必要がある。したがって、この全サンプル全探索方
式に従って広い範囲にわたって動きベクトルを探索する
ためには、複数のLSI(動きベクトル検出装置)を並
列に動作させる必要があり、使用するLSIの個数が多
くなり、消費電力および装置規模が増大するという問題
が生じる。
【0012】全サンプル全探索方式の演算量を低減する
ために種々の方式が提案されている。このような方式に
は、各探索位置(動きベクトル候補:評価点)におい
て、一部の画素データについてのみ差分演算を行なうサ
ブサンプリング方式、特定のアルゴリズムに従ってサー
チエリアの一部の座標位置でのみテンプレートブロック
と参照画像ブロックの差分演算を行なうアルゴリズミッ
ク探索方式、およびサブサンプリング方式とアルゴリズ
ミック探索方式を組合せるなどの方式がある。サブサン
プリング方式とアルゴリズミック探索方式とを組合せる
方式を用いた動きベクトル検出回路を備えた動画像圧縮
装置は、たとえば以下の文献に示されている。
【0013】M. Mizuno et al.,“A 1.5 W Single-Chip
MPEG2 MP@ML Encoder with Low-Power Motion Estim
ation and Clocking”, ISSCC Digest of Technical Pa
pers, pp.256−257,1997. しかしながら、これらの動きベクトル探索方式において
は、サーチエリア(動きベクトル探索範囲)のサイズは
固定されており、また、入力される現画像データの性質
に依存せずに静的に定められたアルゴリズムに従って動
きベクトルの探索を行なっている。したがって、ある現
画像データに対しては、全サンプル全探索方式と同程度
の評価値を有する動きベクトルを探索できても、別の現
画像データに対しては全サンプル全探索方式に比べてか
なり大きな評価値を有する動きベクトルが検出され、効
率的なデータ圧縮を行なうことができなくなるという欠
点が生じる。すなわち、MPEG方式においては、現画
像は、フレーム内予測(またはフィールド内予測)符号
化、時間的に前の画像から画像を予測する一方方向予測
符号化、および時間的に前後する2つの画像を用いて予
測画像を生成する双方向予測符号化のいずれかに従って
符号化される。
【0014】図44は、画像シーケンスの一例を示す図
である。MPEG方式においては画像は、フレームまた
はフィールドで構成され、画像には、基準フレームとし
てフレーム(フィールド)内予測が行なわれるIピクチ
ャ、時間的に前後する2つのピクチャを用いて予測を行
なうBピクチャ、および過去の画像を用いて予測を行な
うPピクチャがある。Iピクチャは、所定数のフレーム
(またはフィールド)ごとに挿入される。Pピクチャ
は、3枚の画像ごとに挿入される。これらの間に、Bピ
クチャが挿入される。図44においては、Iピクチャ4
01、Bピクチャ402および403、Pピクチャ40
4、およびBピクチャ405および406を示す。各ピ
クチャの性質を示すI、BおよびPの下に付された数字
は、時間的な順序を示す。
【0015】Bピクチャ402の予測には、時間的に前
(過去)のIピクチャ401を用いる予測411および
時間的に後のPピクチャ404を用いる予測412が行
なわれる。Bピクチャは、予測には用いられない。Pピ
クチャ404の予測413は、時間的に前に存在するI
ピクチャ401を用いて行なわれる。
【0016】Bピクチャ402とPピクチャ404の間
には、1枚のBピクチャ403が存在する。したがっ
て、Bピクチャ402とIピクチャ401の間の時間差
(フレーム距離と以下称す)とPピクチャ404とBピ
クチャ402のフレーム距離が異なる。フレーム距離が
長い場合、動きの量が大きくなるため、できる限り広い
予測範囲を設定する必要がある。すなわち動きベクトル
を探索する範囲を広くする必要がある。逆に、フレーム
距離が短い場合には、動き量が小さいため、予測範囲が
狭くても、最適な動きベクトルを検出することが可能で
ある。したがって、Pピクチャの場合、一方方向予測4
13のフレーム距離が長いため、できるだけ広いサーチ
エリアを設定する必要がある。一方、双方向予測411
または412は前方向予測(または後方向予測)の場
合、フレーム距離を考慮してサーチエリアを決定し、そ
のサーチエリアをそれぞれの参照画像に割当てることが
望まれる。
【0017】しかしながら、従来の場合、この予測時の
フレーム距離を全く考慮せずに、固定的に動きベクトル
検出操作が行なわれていたため、対象となる現画像に対
し、不必要に広いサーチエリアが設定されるかまたは狭
いサーチエリアが設定され、効率的にかつ正確に動きベ
クトルを検出することができないという問題があった。
【0018】それゆえ、この発明の目的は、一方方向お
よび双方向予測両者に関して、ハードウェア量を増加さ
せることなく効率的に動きベクトルを検出することので
きる動きベクトル検出装置を提供することである。
【0019】この発明の他の目的は、一方方向予測およ
び双方向予測両者に対する動きベクトル検出効率とハー
ドウェア量との比を改善することのできる動きベクトル
検出装置を提供することである。
【0020】
【課題を解決するための手段】請求項1にかかる動きベ
クトル検出装置は、テンプレートブロック画素データと
サーチエリア画素データとを受け、ブロックマッチング
法に従った所定の演算処理を施して、その処理結果に基
づいてテンプレートブロックの動きベクトルを検出する
ための複数の動きベクトル検出ユニットを備える。これ
ら複数の動きベクトル検出ユニットは、テンプレートブ
ロックのサイズおよびサーチエリアのサイズの少なくと
も一方が互いに異なる動きベクトル検出ユニットを含
む。テンプレートブロックサイズはブロックマッチング
法に従う処理の単位とのなるマクロブロックの画素のう
ち動きベクトル評価に用いられる画素数を示す。サーチ
エリアサイズは、動きベクトルの探索範囲を示す。
【0021】請求項1に係る動きベクトル検出装置は、
さらに、テンプレートブロック画素を含む現画像の性質
に従って参照画像における複数の動きベクトル検出ユニ
ットの全体としてのサーチエリアが異なるように複数の
動きベクトル検出ユニットのサーチエリアを設定する制
御回路と、複数の動きベクトル検出ユニットからの動き
ベクトルデータを受けて、テンプレートブロックに対す
る最終の動きベクトルを決定するための動きベクトル決
定回路を備える。
【0022】請求項2に係る動きベクトル検出装置は、
請求項1の複数の動きベクトル検出ユニットが、整数精
度で動きベクトルを検出する整数精度動きベクトル検出
ユニットと、分数精度で動きベクトルを検出する分数精
度動きベクトル検出ユニットを含む。
【0023】請求項3に係る動きベクトル検出装置は、
請求項1の複数の動きベクトル検出ユニットが、テンプ
レートブロックサイズの異なる動きベクトル検出ユニッ
トを含む。制御回路は、現画像が時間的に前後する2つ
の参照画像を用いて動きベクトルを検出する双方向予測
画像のとき、2つの参照画像のうち時間的にこの現画像
に近い参照画像をテンプレートブロックサイズの大きな
方の動きベクトル検出ユニットに割当て、時間的に遠い
参照画像をテンプレートブロックサイズの小さな方の動
きベクトル検出ユニットに割当てる手段を含む。
【0024】請求項4に係る動きベクトル検出ユニット
は、請求項1の複数の動きベクトル検出ユニットが、サ
ーチエリアサイズの大きな動きベクトル検出ユニット
と、サーチエリアサイズの小さな動きベクトル検出ユニ
ットとを含む。制御回路は、現画像が時間的に前後する
2つの参照画像を用いて動きベクトルを検出する双方向
予測画像のとき、現画像に時間的に近い参照画像をサー
チエリアサイズの大きな方の動きベクトル検出ユニット
に割当てかつ時間的に遠い方の参照画像をサーチエリア
サイズの小さな方の動きベクトル検出ユニットに割当て
る手段を含む。
【0025】請求項5に係る複数の動きベクトル検出装
置は、請求項1の動きベクトル検出ユニットが、テンプ
レトブロックサイズが大きくかつサーチエリアサイズの
小さな動きベクトル検出ユニットと、テンプレートブロ
ックサイズが小さくかつサーチエリアサイズが大きな動
きベクトル検出ユニットとを含む。制御回路は、現画像
が時間的に前後する2つの参照画像を用いて動きベクト
ルを検出する双方向予測画像のとき、2つの参照画像の
うち現画像に対し時間的に近い方の参照画像をサーチエ
リアサイズが小さくかつテンプレートブロックサイズが
大きな動きベクトル検出ユニットに割当てかつ時間的に
遠い方の参照画像をサーチエリアサイズが大きくかつテ
ンプレートブロックサイズの小さな動きベクトル検出ユ
ニットへ割当てる手段を含む。
【0026】請求項6に係る動きベクトル検出装置は、
請求項2の制御回路が、現画像が時間的に前後する2つ
の参照画像を用いて動きベクトルを検出する双方向予測
画像のとき、2つの参照画像のうち、現画像に時間的に
近い方の参照画像を分数精度の動きベクトル検出ユニッ
トへ割当てかつ現画像に時間的に遠い方の参照画像を整
数精度の動きベクトル検出ユニットに割当てる手段を含
む。
【0027】請求項7に係る動きベクトル検出装置は、
請求項1の制御回路が、現画像が時間的に一方方向に存
在する参照画像を用いて動きベクトル検出を行なう一方
方向予測画像のとき、複数の動きベクトル検出ユニット
に、このテンプレートブロックについて互いに異なるサ
ブサーチエリアを割当てる手段を含む。サブサーチエリ
ア全体でテンプレートブロックに対する動きベクトル探
索の範囲が定められる。
【0028】請求項8に係る動きベクトル検出装置は、
請求項1または2の制御回路が、現画像が時間的に一方
方向に存在する参照画像を用いて動きベクトル検出する
一方方向予測画像のとき、画面上の互いに異なる画素点
を中心点として動きベクトルのサーチエリアを設定し
て、これらの中心点の異なるサーチエリアを複数の動き
ベクトル検出ユニットへ振分ける手段を含む。
【0029】請求項9に係る動きベクトル検出装置は、
請求項1または2の制御回路が、現画像が時間的に一方
方向に存在する参照画像を用いて動き予測を行なう一方
方向予測画像のとき、テンプレートブロックの中心点と
異なる画素点を中心点としてサーチエリアを設定し、該
設定したサーチエリアを複数の動きベクトル検出ユニッ
トに振分ける手段を含む。
【0030】請求項10に係る動きベクトル検出装置
は、請求項8の異なる中心点の1つは、テンプレートブ
ロックの中心点に対応する真裏点である。
【0031】請求項11に係る動きベクトル検出装置
は、請求項8の中心点の異なるサーチエリアは、互いに
サイズが異なる。
【0032】処理対象となる現画像の性質(予測符号化
の種類)に応じて複数の動きベクトル検出ユニットの全
体としてのサーチエリアを変更することにより、フレー
ム距離に応じて動きベクトルの探索範囲を最適に設定す
ることができ、効率的に動きベクトルを検出することが
できる。
【0033】また、テンプレートブロックサイズおよび
サーチエリアサイズの少なくとも一方が互いに異なる複
数の検出ユニットを用いることにより、容易にサーチエ
リアサイズおよび探索精度を変更することができ、ハー
ドウェア量を増大させることなく、効率的に動きベクト
ルを検出することができる。
【0034】
【発明の実施の形態】[実施の形態1]図1は、この発
明の実施の形態1に従う動きベクトル検出装置の全体の
構成を概略的に示す図である。図1において、動きベク
トル検出装置1は、互いに並列に設けられる複数(n
個)の、動きベクトルを検出するための動き検出部MD
♯1〜MD♯nと、これらの動き検出部MD♯1〜MD
♯nからの検出結果RM1〜RMnを並列に受けて、テ
ンプレートブロックに対する最終結果FRMを生成する
最終動き判定部FMD♯を含む。動き検出部MD♯1〜
MD♯nから生成される検出結果RM1〜RMnとして
は、動きベクトル検出モードに従って、複数種類の予測
方式に従って動きベクトルおよび評価値が出力される場
合がある。たとえば、フレーム予測の場合、フレームマ
クロブロックに対する動きベクトル、トップフィールド
ブロックに対する動きベクトルおよびボトムフィールド
ブロックに対する3つのカテゴリの動きベクトルが生成
される。
【0035】最終動き判定部FMD♯から生成される最
終検出結果FRMについても、また、用いられるシステ
ムにより、各予測符号化方式に対して、複数種類の動き
ベクトルが並列に出力されてもよく、また複数種類の検
出結果から、最適な1つの最終動きベクトルが生成され
る構成であってもよい。
【0036】図2は、図1に示す動き検出部MD♯1〜
MD♯nの構成を概略的に示す図である。図2において
は、動き検出部MD♯の構成を代表的に示す。図2にお
いて、動き検出部MD♯は、テンプレートブロック画素
データPXおよびサーチウィンドウ画素データPYを受
けて、所定の演算を行なう演算部2を含む。この演算部
2は、テンプレートブロックの画素に対応して(1対1
対応でなくてもよい)配置される要素プロセサを含む。
要素プロセサは、対応のテンプレートブロック画素デー
タと対応のサーチウィンドウブロック画素データのたと
えば差分絶対値を求めて、並列に出力する。ここで、テ
ンプレートブロックは、現画像に含まれる動きベクトル
探索対象となるマクロブロックを示す。
【0037】動き検出部MD♯は、さらに、この演算部
2から並列に出力される評価値成分(たとえば差分絶対
値)を加算する加算部3と、加算部3からの加算値を受
け、先のサイクルの加算値と比較し、最小加算値を与え
るサーチウィンドウブロックの位置ベクトルを動きベク
トル候補と判定する比較部4を含む。この比較部4か
ら、検出結果RMが出力される。
【0038】図3は、図2に示す演算部2の構成を概略
的に示す図である。図3において、演算部2は、テンプ
レートブロックの画素列(垂直方向に整列する画素列)
に対応して配置される要素プロセサ列PEL♯0〜PE
L♯nと、要素プロセサ列PEL♯0〜PEL♯nに対
応して設けられる遅延バッファDL♯0〜DL♯nを含
む。
【0039】遅延バッファDL♯0〜DL♯nは、それ
ぞれ対応の要素プロセサ列PEL♯0〜PEL♯nに対
し、1画素のデータを各評価値算出サイクルごとに伝達
する。遅延バッファDL♯0〜DL♯nの各々は、ファ
ーストイン・ファーストアウトの構成を備え、それぞれ
の段数に応じた遅延時間を与える。
【0040】要素プロセサ列PEL♯0〜PEL♯n
は、それぞれ対応の遅延バッファDL♯0〜DL♯nか
ら与えられたサーチウィンドウ画素データを一方方向に
沿って転送する。この要素プロセサ列PEL♯0〜PE
L♯nからシフトアウトされたサーチウィンドウ画素デ
ータは、隣接する上流側の遅延バッファDL♯1〜DL
♯nに与えられる。要素プロセサ列PEL♯nからは、
評価値算出動作完了毎にサーチウィンドウ画素データが
シフトアウトされる。一方、遅延バッファDL♯0に
は、新たなサーチウィンドウ画素データPYが入力され
る。
【0041】また、要素プロセサ列PEL♯0〜PEL
♯nには、それぞれテンプレートブロックの画素データ
PXが与えられる。したがって、要素プロセサ列PEL
♯0〜PEL♯nにおいては、テンプレートブロック画
素が常駐し、一方サーチウィンドウ画素が1画素ずつシ
フトする。
【0042】図4は、図3に示す要素プロセサ列PEL
♯0〜PEL♯nに含まれる要素プロセサの構成の一例
を示す図である。図4において、要素プロセサ列PE
は、サーチウィンドウ画素データPYをクロック信号C
LKに従って取込みかつ次段の要素プロセサへ伝達する
レジスタ回路5aと、対応のテンプレートブロック画素
データPXを格納するレジスタ回路5bと、レジスタ回
路5aおよび5bからの画素データの差分絶対値|PX
−PY|を求めて出力する差分絶対値回路5cを含む。
【0043】この要素プロセサPEは、レジスタ5aお
よび5bを、それぞれ複数個有し、時分割態様で、差分
絶対値回路5cにおいて複数のテンプレートブロック画
素についての差分絶対値を求める構成が用いられてもよ
い。ここでは簡単のために、要素プロセサPEが、1画
素のテンプレートブロック画素データおよび1画素のサ
ーチウィンドウ画素データを格納する構成を示す。
【0044】図5は、動きベクトル検出操作を説明する
ための図である。図5においては、テンプレートブロッ
ク6が、4画素・4画素で構成される。今、垂直方向の
探索範囲が−4〜+3とする。サーチウィンドウ7は、
垂直方向の探索範囲に含まれるすべての画素を含む。こ
の場合、サーチウィンド7は、11画素行・4画素列と
なる。このサーチウィンドウ7において、初期状態にお
いては、最上部の4画素行・4画素列の画素が、要素プ
ロセサ列PEL♯0〜PEL♯nに格納される。この場
合、nは4である。要素プロセサ列PEL♯0〜PEL
♯nは、それぞれ画素列に対応している。したがって、
要素プロセサ列PEL♯0〜PELnの各々は、垂直方
向に整列する4画素のデータを格納している。残りの4
画素行・7画素列の画素データは、遅延バッファDL♯
0〜DL♯n(n=4)に格納される。各遅延バッファ
DL♯0〜DL♯n(n=4)には、このサーチウィン
ドウ7の各画素列が対応して格納される。
【0045】初期状態においては、したがって、位置ベ
クトル(0,−4)のサーチウィンドウブロックの画素
データが、要素プロセサ列に格納されている。この状態
で、テンプレートブロック6と対応のサーチウィンドウ
ブロックの対応の画素の差分絶対値が評価値成分として
求められる。この図4に示す差分絶対値回路5cからの
差分絶対値が並列に、図2に示す加算部3に与えられて
評価値算出が行なわれ、算出された評価値が比較部4へ
与えられる。
【0046】この評価値算出動作が完了すると、外部か
ら1画素サーチウィンドウ画素データがシフトインされ
る。このシフト動作に従って、遅延バッファDL♯0〜
DL♯nおよび要素プロセサ列PEL♯0〜PEL♯n
において1画素のサーチウィンドウ画素データのシフト
動作が行なわれる。このシフト動作は、すべて一方方向
に生じており、したがって、図6(A)に示すように、
サーチウィンドウ7の左上隅の画素データが応じてシフ
トアウトされる。
【0047】サーチウィンドウ画素データがすべて1画
素シフトし、一方、テンプレートブロック6の画素デー
タは要素プロセサ列PEL♯0〜PEL♯nに常駐して
いるため、要素プロセサ列PEL♯0〜PEL♯nにお
いては、位置ベクトル(0,−3)のサーチウィンドウ
ブロックの画素データが格納される。次いで同様にし
て、要素プロセサ列の要素プロセサPEにおいて各差分
絶対値が求められ、評価値算出が行なわれる。この評価
値算出が完了すると、再びサーチウィンドウ画素データ
PYのシフトイン動作が行なわれる。この動作を、合計
7回繰返すと、サーチウィンドウブロックは、図6
(B)に示すように、サーチウィンドウ7の一番下の位
置にくる。このサーチウィンドウブロックの位置ベクト
ルは、(0,3)である。この位置ベクトル(0,3)
に対する評価値算出の後、サーチウィンドウ画素データ
を3画素連続してシフトインすると、次のサーチウィン
ドウが形成される。
【0048】この状態においては、再び図5に示す状態
に戻り、次の水平ベクトル成分についての評価値算出を
行なう状態となる。図3に示す演算部2の構成において
は、要素プロセサ列PEL♯iと対応の遅延バッファD
L♯iの長さにより、垂直方向の探索範囲が決定され
る。図5および図6に示す動作を、水平方向の探索範囲
全体にわたって行なうことにより、動きベクトルを検出
することができる。この場合、単に演算サイクルごと
に、サーチウィンドウ画素データをシフトイン/シフト
アウトするだけであり、テンプレートブロック画素デー
タのロードは不要となり、またテンプレートブロック画
素と対応のサーチウィンドウブロック画素の評価値成分
が並列に算出されるため、高速の演算処理が実現され
る。
【0049】この動き検出部においては、比較器は、予
め定められた演算サイクル内に与えられた評価値に基づ
いて動きベクトルを検出する。評価点(サーチウィンド
ウブロックの位置ベクトル)の数が増大すれば、演算サ
イクル数も増大し、応じて、動きベクトル検出に要する
時間が長くなる。本発明において基本的に、このテンプ
レートブロックを含む現画像の性質に基づいて、動き検
出部を適応的に使用する。
【0050】図7(A)は、探索対象画像がPピクチャ
であり、一方方向予測画像のときの、動き検出部の割当
てを示す図である。この動きベクトル探索対象画像が一
方方向予測画像(Pピクチャ)の場合には、動き検出部
MD♯1〜MD♯nをすべて利用して、実効的に広範囲
のサーチエリアにおいて動きベクトル検出を行なう。
【0051】一方、図7(B)に示すように、探索対象
画像が双方向予測画像(Bピクチャ)の場合には、動き
検出部MD♯1〜MD♯nを、2つの組DGBおよびD
GFに分割する。各組DGBおよびDGFに含まれる動
き検出部の数は、各システムの構成において適当に定め
られる。グループDGBに含まれる動き検出部MD♯1
〜MD♯iには、このBピクチャに対し時間的に後に存
在する後ピクチャが割当てられ、一方、組DGFに含ま
れる動き検出部MD♯j〜MD♯nには、このBピクチ
ャに対し時間的に前に存在する前ピクチャが割当てられ
る。双方向予測の前方向予測および後方向予測を、組D
GFおよびDGBそれぞれにおいて並列して実行するこ
とにより、双方向予測を高速で行なう。また、このと
き、組DGFおよびDGBが取扱うサーチエリアの範囲
/位置を異ならせることにより、Bピクチャに対しフレ
ーム期間が異なる前ピクチャおよび後ピクチャに対し、
このフレーム期間を考慮してサーチエリアを設定して、
動きベクトル探索を行なうことができる。
【0052】したがって、動き検出部MD♯1〜MD♯
nにおいて探索対象となるピクチャの性質に応じて適応
的に動き検出部を使用することにより、一方方向予測お
よび双方向予測時それぞれに対して最適なサーチエリア
および探索精度を最適化することができ、また、動き検
出部MD♯1〜MD♯nのハードウェア量を最適化する
ことができる。
【0053】なお、双方向予測画像に対しては、前ピク
チャに対する動きベクトルおよび後ピクチャに対する動
きベクトルが最終動き判定部から並列に出力される。
【0054】[実施の形態2]図8は、この発明の実施
の形態2に従う動きベクトル検出装置の全体の構成を概
略的に示す図である。この図8に示す動きベクトル検出
装置においては、3つの動き検出部MD♯1〜MD♯3
が用いられる。動き検出部MD♯1およびMD♯3は、
評価画素として64画素を使用し、動き検出部MD♯2
は、評価画素として256画素を使用する。これらの動
き検出部MD♯1〜MD♯3それぞれの固有のサーチエ
リアは、水平方向(H)は、−32から+31、垂直方
向が−32から+31に設定される。動き検出部MD♯
1〜MD♯3は、図9(A)および(B)に示すように
それぞれ評価画素に対応して配置される要素プロセサを
含む。図9(A)には動き検出部MD♯1およびMD♯
3のテンプレートブロックサイズを示し、図9(b)に
マクロブロックのサイズを示す。テンプレートブロック
サイズを動き検出部MD♯1,MD♯3においてはマク
ロブロックサイズと異ならせる。固有のサーチエリアの
サイズが同じであれば、これらの動き検出部MD♯1〜
MD♯3に含まれる演算部に格納されるサーチウィンド
ウのサイズは同じである。固有のサーチエリアが等しい
場合、同一周波数で動作する場合、評価画素数が、動き
検出部を構成する演算素子(要素プロセサ)の数すなわ
ちハードウェア量に比例する。したがって、動き検出部
MD♯1およびMD♯3のハードウェア量は、動き検出
部MD♯2のハードウェア量の1/4となる。
【0055】図10は、図8に示す動き検出部MD♯1
〜MD♯3のサーチウィンドウブロックの構成を概略的
に示す図である。テンプレートブロックと同一サイズの
サーチウィンドウブロックを用いて評価値算出が行なわ
れる。
【0056】図10(A)に示すように、評価画素数が
64である動き検出部MD♯1およびMD♯3において
は、テンプレートブロックおよびサーチウィンドウブロ
ックは、16画素行・4画素列で構成される。一方、図
10(B)に示すように、評価画素数が256である動
き検出部MD♯2に対しては、テンプレートブロックお
よびサーチウィンドウブロックは、16画素行・16画
素列で構成される。図9(B)に示すようにマクロブロ
ックMBは、16画素・16画素で構成されている。し
たがって、評価画素数64のテンプレートブロックは、
水平方向において、4画素当り1つの画素が抽出されて
おり、1/4サブサンプリングが行なわれている。粗探
索が行なわれる場合、サーチウィンドウも同様水平方向
にサブサンプリングされる。全探索の場合、サーチエリ
アの全評価点が用いられる。
【0057】図11は、探索対象画像が、一方方向予測
画像(Pピクチャ)の場合の動き検出部MD♯1〜MD
♯3に対するサーチエリアの割当てを示す図である。図
11において、動き検出部MD♯1のサーチエリアSA
1は、水平方向−96〜−33の範囲を有する。動き検
出部MD♯2のサーチエリアSA2には、水平方向−3
2〜+31の範囲が割当てられる。動き検出部MD♯3
のサーチエリアSA3には、水平方向+32〜+95の
範囲が割当てられる。垂直方向の探索範囲は、これらの
サーチエリアSA1〜SA3すべて同じ、−32〜+3
1である。
【0058】サーチエリアSA1およびSA3において
は、評価点をサブサンプリングした粗探索が行なわれ
る。一方、サーチエリアSA2においては、すべての評
価点について評価値算出を行なう密(全)探索が行なわ
れる。この場合、テンプレートブロックに対する全体の
サーチエリアは、各サブサーチエリア(動き検出部に割
当てられたサーチエリア)は重なっていないため、水平
方向−96〜+95となり、広い範囲にわたって、動き
ベクトルを探索することができる。全体サーチエリアの
中央領域においては、密探索が行なわれており、正確な
評価値算出が行なわれる。したがって、動きベクトルが
存在する可能性の高いサーチエリアSA2においては、
全探索(密探索)を行ない、動きベクトルが存在する可
能性の小さなサーチエリアSA1およびSA3において
は粗探索を行なうことにより、フレーム距離が長く、動
きの大きなPピクチャに対し効率的に動きベクトルを探
索することができる。
【0059】図12は、探索対象画像が双方向予測画像
(Bピクチャ)の場合の動き検出部に対するサーチエリ
アの割当てを示す図である。図12に示すように、動き
検出部MD♯1およびMD♯3のサーチエリアSA1お
よびSA3が組合せて用いられ、また動き検出部MD♯
2のサーチエリアSA2が単独で用いられる。動き検出
部MD♯1のサーチエリアSA1には、水平方向−64
〜−1の動きベクトル探索範囲が割当てられ、サーチエ
リアSA3には、水平方向0〜+63の動きベクトル探
索範囲が割当てられる。動き検出部MD♯2のサーチエ
リアSA2には、水平方向−32〜+31の動きベクト
ル探索範囲が割当てられる。このサーチエリアSA1お
よびSA3は、時間的に遠い画像に対する動きベクトル
を検出するために用いられる。時間的に遠く離れている
場合、動きの変化量が大きいため、広範囲にわたって動
きベクトルを検出する。一方、サーチエリアSA2は、
時間的に近い方の参照画像に対し動きベクトルを検出す
るために用いられる。時間的に近い場合、動き量は小さ
いため、比較的狭いサーチエリア内で、密探索法に従っ
て動きベクトルを検出する。サーチエリアSA1および
SA3においては広範囲であり、粗探索が行なわれる。
なお、サーチエリアSA1、SA2およびSA3の垂直
方向の動きベクトル探索範囲は−32〜+31である。
【0060】図12に示すように、双方向予測画像の場
合、現画像に対する時間的距離すなわちフレーム距離に
応じてサーチエリアを設定することにより、動きに応じ
て動きベクトル探索範囲を設定することができ、効率的
に、正確に動きベクトルを検出することができる。
【0061】図13は、動きベクトル検出システムの構
成を概略的に示す図である。図13において、動きベク
トル検出システムは、現画像の画素データを格納する現
画像メモリ40と、現画像メモリ40に格納される現画
像が、IピクチャまたはPピクチャの場合、この現画像
メモリ40からの画素データを格納する参照画像メモリ
41および42と、参照画像メモリ41からのサーチウ
ィンドウ画素データを格納するバッファメモリ43、4
4および45と、参照画像メモリ42から読出されたサ
ーチウィンドウ画素データを格納するバッファメモリ4
6、47および48と、現画像メモリ40から読出され
たテンプレートブロック画素データをサブサンプリング
するサブサンプル回路49と、バッファメモリ43およ
び46の一方から読出されたサーチウィンドウ画素デー
タをサブサンプリングするサブサンプル回路50と、バ
ッファメモリ44および47の一方から読出されたデー
タをサブサンプリングするサブサンプル回路51を含
む。
【0062】バッファメモリ43〜48は、非選択時出
力ハイインピーダンス状態に設定される。サブサンプル
回路49からのサブサンプリングされたテンプレートブ
ロック画素データは、動きベクトル検出装置1に含まれ
る動き検出部MD♯1およびMD♯3に与えられる。現
画像メモリ40から読出されたテンプレートブロック画
素データは、動き検出部MD♯2へ与えられる。サブサ
ンプル回路50からのサブサンプリングされたサーチウ
ィンドウ画素データは動き検出部MD♯1へ与えられ、
サブサンプル回路51からのサブサンプリングされたサ
ーチウィンドウ画素データは、動き検出部MD♯3へ与
えられる。これらのサブサンプル回路49は、水平方向
1/4のサブサンプリングを行ない、4画素当り1画素
を生成する。サブサンプル回路50および51のサブサ
ンプリングレートは1/4であってもよく、また他のレ
ートであってもよい。
【0063】画素データの読出および書込を制御するた
めに制御回路55が設けられる。次に、この図13に示
す動きベクトル検出システムの動作について簡単に説明
する。
【0064】現画像メモリ40からは、ラスタスキャン
順序で、テンプレートブロック画素データが読出され
る。サブサンプル回路49は、与えられた画素データに
対し水平方向4画素当り1画素を生成する1/4サブサ
ンプリング操作を行なう。サブサンプリング操作におい
ては、4画素に演算処理(たとえば算術平均値または重
みを付けた平均値)を施して1画素を生成するようにさ
れてもよく、また単に4画素から特定の位置の1画素の
データを選択する構成であってもよい。水平方向におい
て4画素当り1画素が生成されればよい。サブサンプル
回路49からのテンプレートブロック画素データが、動
きベクトル検出装置1に含まれる動き検出部MD♯1お
よびMD♯3へ与えられる。これにより、動き検出部M
D♯1およびMD♯3へは、水平方向の画素数が4、垂
直方向の画素数が16のテンプレートブロック画素デー
タが格納される。動き検出部MD♯2へは、現画像メモ
リ40から読出された画素データが格納される。これに
より、動き検出部MD♯2には、16画素・16画素の
テンプレートブロック画素データが格納される。
【0065】テンプレートブロック画素データの書込時
において、図14に示すように、4画素PX1〜PX4
から1つの画素PAがサブサンプル回路49により形成
されており、したがって、動き検出部MD♯1およびM
D♯3におけるテンプレートブロック画素データの書込
速度周波数は、動き検出部MD♯2におけるテンプレー
トブロック画素データの書込速度の1/4となる。
【0066】参照画像メモリ41および42に対して
は、1枚の画像単位で交互に書込が行なわれる。現画像
メモリ40に格納された画素データが、双方向予測画像
(Bピクチャ)の画素データの場合には、参照画像メモ
リ41および42への格納は行なわれない。したがっ
て、参照画像メモリ41および42には、一方方向予測
画像(Pピクチャ)またはフレーム(フィールド)内予
測画像(Iピクチャ)が格納される。
【0067】現画像が一方方向予測画像(Pピクチャ)
の場合、参照画像メモリ41および42のうち、遅く書
込まれた参照画像メモリからの画素データが用いられ
る。現画像が双方向予測画像(Bピクチャ)の場合、参
照画像メモリ41および42が使用される。双方向予測
画像に対し、参照画像メモリ41および42に格納され
る参照画像のいずれが時間的に近いかは、制御回路55
により判断される。MPEG方式においては、双方向予
測画像(Bピクチャ)は、2枚連続して与えられ、Iピ
クチャとPピクチャの間またはPピクチャとPピクチャ
の間に存在する。したがって、双方向予測画像が最初に
処理される場合、参照画像メモリ41および42のう
ち、後に書込まれた参照画像メモリの画像が時間的に遠
く、2番目の双方向予測画像を処理する場合には、後に
書込まれた参照画像メモリの参照画像が時間的に近くな
る。これは、先の図44に示すピクチャシーケンスに示
されるとおりである。
【0068】参照画像メモリ41は、ラスタスキャン順
序で画像データが書込まれた後、サーチエリアの画素デ
ータが垂直方向の画素の順序で読出されてバッファメモ
リ43〜45に格納される。参照画像メモリ42におい
ても同様、活性化時、画面上垂直方向に順次画素データ
が読出される。これらのバッファメモリ43〜48に
は、サーチウィンドウサイズの画素データが格納され
る。サブサンプル回路50および51は、それぞれ与え
られた画素データを、所定のサブサンプリングレートで
サンプリング動作を行なう。サブサンプル回路50およ
び51は、バッファメモリ43および44から46およ
び47から画素データが画面上垂直方向に沿って読出さ
れるため、サーチウィンドウの垂直方向のサイズの遅延
を有する画素データを用いてサブサンプリング動作を行
なう。
【0069】図15は、このバッファメモリとサブサン
プル回路の構成の一例を示す図である。図15において
サブサンプル回路は、水平方向1/4のサブサンプリン
グを行なうものであり、与えられたサーチウィンドウ画
素データPY(またはPY)を所定時間遅延する遅延段
56と、遅延段の出力画素データを所定時間遅延する遅
延段57と、遅延段57の出力画素データを所定時間遅
延する遅延段58と、入力サーチウィンドウ画素データ
PY(またはPX)と遅延段56〜58の出力画素デー
タに対し所定の演算処理を施してサブサンプルされた画
素データPYsを出力する演算回路59を含む。
【0070】遅延段56〜58は、それぞれ、ファース
トイン・ファーストアウトメモリまたはシフトレジスタ
で構成され、与えられた画素データを、サーチブロック
の垂直方向のサイズに相当する時間遅延する。遅延段5
6〜58の有する遅延時間は、テンプレートブロックお
よびサーチウィンドウブロックの垂直方向のサイズがM
行であり、垂直方向探索範囲のサイズが2・rのとき、
2・r+Mサイクルとなる。
【0071】図16に示すように、遅延段56〜58か
らは、サーチエリアにおいて水平方向に隣接する画素デ
ータが出力される。これらの水平方向に隣接する画素デ
ータを用いて演算回路59により、サブサンプリング操
作を行なって、サブサンプリングされた画素データPY
sが生成される。
【0072】サブサンプル回路50および51を利用す
ることにより、バッファメモリ43〜48はすべて同じ
構成とすることができ、またサーチウィンドウ画素デー
タの読出タイミングも同じとすることができる。なお、
参照画像メモリ41および42から、垂直方向に画素デ
ータが順次読出される場合、遅延段56〜58をバッフ
ァメモリ43〜48各々として利用することができる。
いずれの場合においても、動き検出部MD♯1およびM
D♯3は、動き検出部MD♯2の1/4の周波数で動作
して、評価値を算出する。これにより、評価点数が粗探
索と密探索で異なる場合においても、1つのテンプレー
トブロックに対する動きベクトル算出のための演算サイ
クルの時間を同じとすることができる。すなわち、図1
7に示すように、粗探索動作時、水平方向において4サ
ンプル当り1つの評価点が用いられ、垂直方向では、す
べての評価点に対し、評価値算出が行なわれるためであ
る。探索動作時他のサブサンプリングレートが用いられ
てもよい。
【0073】図18は、図13に示す制御回路55の構
成を概略的に示す図である。図18においては、制御回
路55のうち画素データの読出に関連する部分の構成を
示す。現画像メモリ40への画素データの書込は、ラス
タスキャン順序で逐次行なわれ、参照画像メモリ41お
よび42への画素データの書込は、IピクチャおよびP
ピクチャに対して行なわれる。また、現画像メモリから
順次読出された画素データが同様のシーケンスで書込ま
れればよい。
【0074】図18において、制御回路55は、現画像
メモリ40から画素データを読出す現画像メモリリード
制御回路55bと、現画像メモリ40から読出される画
素データが属する画像がBピクチャであるかPピクチャ
であるかを示す信号B/Pと現画像メモリリード制御回
路55bからのテンプレートブロックアドレスADとに
従って参照画像メモリに対するアドレスを生成するアド
レス生成回路55cと、参照画像メモリ41および42
のいずれに時間的に近い参照画像データが格納されてい
るかを判定するメモリ遠近判定回路55dと、アドレス
生成回路55cからのアドレス信号とメモリ遠近判定回
路55dからの判定結果信号とに従って参照画像メモリ
41および42に対して画素データの読出を行なう参照
画像メモリリード制御回路55eと、メモリ遠近判定回
路55dの判定結果信号に従ってバッファメモリに対す
る読出および書込を制御するバッファメモリリード制御
回路55fを含む。
【0075】この対象画像すなわち現画像がBピクチャ
であるかPピクチャであるかは、エンコーダにおいては
適当に決定され、その決定結果がピクチュア・タイプと
してピクチュアヘッダに配置される。Pピクチャの場合
には、アドレス生成回路55cは、2つの参照画像メモ
リ41および42に対し、現画像メモリリード制御回路
55bから与えられるテンプレートブロックアドレスA
Dを中心アドレス(真裏点)としてサーチエリアに対す
るアドレスを生成する。参照画像メモリリード制御回路
55eは、このアドレス生成回路55cから与えられる
アドレス信号に従って参照画像メモリ41および42か
ら画素データを順次読出す。いずれの参照画像メモリへ
アドレス生成回路55cから与えられたアドレス信号に
従ってアクセスするかは、メモリ遠近判定回路55dに
より決定される。
【0076】メモリ遠近判定回路55dは、MPEG方
式において、テンポラル・リファレンスの値に従って、
このピクチャグループ内において現画像が属する順番を
識別し、参照画像メモリ41および42のいずれに時間
的に近い方の画素データが格納されているかを判定す
る。通常、テンポラル・リファレンスはピクチュア層の
開始コードの後に配置されて送信され、ピクチュアグル
ープGOP内の画面順序を表わす。
【0077】図19は、参照画像メモリの格納画素デー
タを概略的に示す図である。図19において、現画像
が、送受信時においてはピクチャI1、B1、B2、P
2、B3、B4、P3、…の順序で送受信される。しか
しながら、符号化時においては、双方向予測の場合には
時間的に後の画像データをも使用する必要があり、その
符号化順序は異なる。この符号化時においては、図19
において括弧内に示すように、ピクチャI1、P2、B
1、B2、P3、B3、B4、…のシーケンスで符号化
が行なわれる。すなわち、2つの連続する双方向予測画
像(Bピクチャ)の前に、時間的に後のピクチャ(Iま
たはPピクチャ)の符号化が行なわれる。参照画像メモ
リ41および42には、交互に、画像データが格納され
る。IピクチャI1の予測符号化はされない。単に、そ
の画像データが、参照画像メモリ1(41)に格納され
る。続いて、PピクチャP2が参照画像メモリ2(4
2)に格納される。次いで、BピクチャB1およびB2
が順次符号化される。BピクチャB1の符号化時、参照
画像メモリ1(41)に格納される画素データの画像が
時間的に近い参照画像であり、参照画像メモリ2(4
2)に格納される画像P2が、時間的に遠い方の画像で
ある。一方、BピクチャB2の符号化時においては、参
照画像メモリ2(42)に格納されるPピクチャP2が
時間的に近い方の画像となる。したがって、後に書込が
行なわれた参照画像メモリには、2つの連続するBピク
チャよりも時間的に後の画像データが格納される。この
ため、2つの参照画像を生成した後、先に書込が行なわ
れた参照画像メモリに、時間的に近い方の画像データが
格納されているとして、最初のBピクチャの符号化を行
ない、続きのBピクチャの処理には、この遠近を反転す
る。
【0078】Pピクチャの符号化時においては、単に対
象Pピクチャ画素データが書込まれる参照画像メモリと
異なる参照画像メモリに格納された参照画像を、参照画
像として符号化が行なわれる。したがってこれらの性質
により、参照画像メモリの識別を容易に行なうことがで
きる。
【0079】アドレス生成回路55cは、B/P判定回
路55aの判定結果に従って、連続的な3つのアドレス
AD+(−96,−32)、AD+(−32,−3
2)、AD+(32,−32)を先頭アドレスとして、
順次たとえばカウンタを用いてアドレスを生成してサー
チウィンドウ画素データの読出を行なう(この場合1つ
の参照画像メモリがアクセスされる)。一方、Bピクチ
ャの場合には、アドレス生成回路55cは、アドレスA
D+(−64,−32)およびAD+(0,−32)
を、遠い画像データを格納する参照画像メモリに対し生
成し、一方、近い画像のデータを格納する参照画像メモ
リに対しては、アドレスAD+(−32,−32)を生
成する。ここで、アドレスADは、テンプレートブロッ
ク中心点すなわち真裏点(0,0)を示す。したがっ
て、参照画像メモリ41および42がアクセスされる。
【0080】バッファメモリリード制御回路55fは、
メモリ遠近判定回路55dの出力信号に従って、バッフ
ァメモリ群を選択的に活性化し、順次垂直方向に連続す
る画素データを順次読出すようにアドレスを生成する。
【0081】以上のように、この発明の実施の形態2に
従えば、動き検出部のサーチエリアを、対象符号が双方
向予測画像であるのか一方方向予測画像であるのかに応
じて変更し、かつ動き検出部をこの対象画像の性質に応
じて使い分けているため、効率的に、動きベクトルを検
出することができる。
【0082】[実施の形態3]図20は、この発明の実
施の形態3に従う動きベクトル検出装置のサーチエリア
の割当てを示す図である。この実施の形態3において
も、動きベクトル検出装置として、図8に示す動きベク
トル検出装置と同様、3つの動き検出部MD♯1、MD
♯2およびMD♯3が用いられる。これらの動き検出部
MD♯1〜MD♯に割当てられるサーチエリアのサイズ
が先の実施の形態2と異なる。本実施の形態3において
は、動き検出部MD♯1およびMD♯3それぞれの固有
のサーチエリアは、水平方向−16〜+15および垂直
方向−16〜+15の範囲を有する。動き検出部MD♯
2においては、固有サーチエリアSA2は、水平方向−
64〜+63および垂直方向−31〜+31の範囲を有
する。他の構成は、先の実施の形態2と同じである。
【0083】この実施の形態3においても、動き検出部
MD♯1およびMD♯3は、それぞれ、テンプレートブ
ロックが16画素行・4画素列のサイズを有しており、
これらの画素に対応して要素プロセサが配置される。動
き検出部MD♯2においても、テンプレートブロックの
サイズは、16画素行・16画素列であり、各画素に対
応して要素プロセサが配置される。したがって、16画
素行・16画素列に対応する動き検出部を3個並列に使
用する場合に比べて、ハードウェア量が、動き検出部M
D♯1およびMD♯3それぞれは、約1/4となる。
【0084】図21は、対象画像が、一方方向予測画像
の場合の動き検出部に対するサーチエリア割当てを示す
図である。図21において、動き検出部MD♯1のサー
チエリアSA1には、水平方向−96〜−96および垂
直方向−16〜+15の範囲が割当てられる。動き検出
部MD♯2のサーチエリアSA2には、水平方向−64
〜+63および垂直方向−32〜+31の範囲が割当て
られ、動き検出部MD♯3のサーチエリアSA3には、
水平方向+64〜+95および垂直方向−16〜+15
の範囲が割当てられる。これらの動き検出部MD♯1〜
♯3に割当てられるサーチエリアは重なり合っていな
い。
【0085】この図21に示すようなサーチエリアを用
いた場合、中心点(0,0)を中心として、広い範囲に
わたって動きベクトルを探索することができる。動きの
大きな一方方向予測画像に対し、最大限の動きベクトル
探索範囲を割当てることができ、効率的な動きベクトル
検出を行なうことができる。粗探索/全探索いずれが行
なわれてもよい。
【0086】図22は、対象画像が双方向予測画像の場
合のサーチエリアの割当を示す図である。図22におい
て、動き検出部MD♯1のサーチエリアSA1には、水
平方向−32〜−31および垂直方向−16〜+15の
範囲が割当てられ、動き検出部MD♯3のサーチエリア
SA3には、水平方向0〜31および垂直方向−16〜
+15の範囲が割当てられる。これらのサーチエリアS
A1およびSA3は、フレーム距離の短い、すなわち動
きの小さい参照画像に対して用いられる。一方、サーチ
エリアSA2に対しては、水平方向−64〜+63およ
び垂直方向−32〜+31の範囲が割当てられ、フレー
ム距離の長い参照画像に対するサーチエリアが設定され
る。フレーム距離が短く動きの小さな参照画像に対して
は、比較的狭い範囲で動きベクトルの検出を行ない、フ
レーム距離が長く、動きの大きな参照画像に対しては、
大きなサーチエリアを設定する。これにより、効率的な
動きベクトル探索を行なうことができる。
【0087】サーチエリアが水平方向−32〜+31お
よび垂直方向−32〜+31の動き検出部を3つ利用す
る場合に比べて、ハードウェア量を、ほぼ1/2に低減
することができ、応じて消費電力も低減することができ
る。このサーチエリアの再構成および動き検出部の使い
分けには、図18に示す構成と同様の構成を利用するこ
とができる。単に、サーチエリアのサイズが異なるため
に、アドレス生成回路における生成アドレスが異なるだ
けである。
【0088】図23は、制御回路に含まれるアドレス生
成回路55cの1つのサーチエリア(動き検出部)に対
するアドレスを発生する部分の構成を概略的に示す図で
ある。図23において、アドレス生成回路55cは、テ
ンプレートブロックアドレスADを受け、ピクチャ特性
指示信号B/Pに従ってアドレスを計算するアドレス計
算回路55caと、アドレス計算回路55caにより計
算されたアドレスを初期設定し、各クロックサイクルご
とにカウントするカウンタ55cbと、カウンタ55c
bのカウントアップ信号に従ってカウント動作を行なう
カウンタ55ccを含む。このカウンタ55ccにも、
アドレス計算回路55caからのアドレスが初期設定さ
れる。カウンタ55cbからYアドレスが出力され、カ
ウンタ55ccからXアドレスが生成される。このYア
ドレスが、垂直方向の画素位置に対応し、Xアドレス
が、水平方向の画素位置に対応する。
【0089】ピクチャ特性指示信号B/Pは、対象画像
がBピクチャであるのかPピクチャであるのかを示す。
アドレス計算回路55caにより、先頭アドレスが生成
され、順次サーチウィンドウの垂直方向の画素データが
読出され、次いでサーチウィンドウの底部に到達した後
再び次の列のサーチウィンドウの画素データが読出され
る。
【0090】この実施の形態3において、動き検出部M
D♯1およびMD♯3において、粗探索が行なわれても
よく、また密探索(全探索)が行なわれてもよい。水
平,垂直成分はマクロブロックについての成分である。
粗探索が行なわれる場合には、先の図18に示す構成を
利用することができ、全探索を利用する場合には、サブ
サンプル回路50および51を削除する。全探索の場
合、動き検出部MD♯1およびMD♯3の評価点は、3
2×32=964であり、一方動き検出部MD♯2の評
価点は、128・64=8192である。動き検出部M
D♯2の評価点の数は、動き検出部MD♯1およびMD
♯3のそれの8倍となり、評価値算出サイクルが動き検
出部MD♯1およびMD♯3のそれに比べて長くなる。
この場合、動き検出部MD♯1およびMD♯3の動作周
波数が、動き検出部MD♯2のそれの1/8に低減され
てもよい(粗探索が行なわれる場合さらに動作周波数は
低減することができる)。
【0091】以上のように、この発明の実施の形態3に
従えば、サーチエリアサイズの異なる動き検出部を対象
画像の性質に応じて使い分けているため、ハードウェア
量の増大をもたらすことなく、効率的に動きベクトル検
出を行なうことができる。
【0092】[実施の形態4]図24は、この発明の実
施の形態4に従う動きベクトル検出装置の全体の構成を
概略的に示す図である。図24において、動きベクトル
検出装置1は、2つの動き検出部MD♯AおよびMD♯
Bと、これらの動き検出部MD♯AおよびMD♯Bから
の検出結果RMAおよびRMBに従って最終動きベクト
ル情報FRMを生成する最終動き判定部FMD♯を含
む。動き検出部MD♯Aは評価画素数が64であり、固
有サーチエリアとして、水平方向−128〜+127お
よび垂直方向−48〜+47の範囲を有する。
【0093】動き検出部MD♯Bは、評価画素数が12
8であり、固有サーチエリアとして、水平方向−18〜
+47および垂直−16〜+15の範囲を有する。
【0094】図25は、図24に示す動き検出部MD♯
Aの構成を概略的に示す図である。評価画素数が64で
あり、4画素列・16画素行のテンプレートブロックに
ついて動きベクトル検出が行なわれる。したがって、そ
の演算部においては、要素プロセサ列PEL0〜PEL
3が4画素列それぞれに対応して配置される。これらの
要素プロセサ列PEL0〜PEL3それぞれに対応して
遅延バッファDL0〜DL3が配置される。要素プロセ
サ列PEL0〜PEL3の各々においては、16画素に
対応する要素プロセサが直列に接続される。一方、遅延
バッファDL0〜DL3それぞれにおいては、96画素
の垂直方向画素データが格納される。垂直方向−48〜
+47の動きベクトル成分についての探索を単なる画素
データのシフトイン/シフトアウト動作により実現する
ことができる。
【0095】動きベクトル検出部MD♯Bは、評価画素
数が128であり、8画素列・16画素行に配列される
画素からなるテンプレートブロックを用いて動きベクト
ル探索を行なう。この動き検出部MD♯Bは、図26に
その概略構成を示すように、8個の要素プロセサ列PE
L0〜PEL7と、要素プロセサ列PEL0〜PEL7
に対応して配置される8個の遅延バッファDL0〜DL
7を含む。要素プロセサ列PEL0〜PEL7それぞれ
には、16画素の画素データが格納され、一方、遅延バ
ッファDL0〜DL7それぞれには、32画素のサーチ
ウィンドウ画素データが格納される。これにより、垂直
方向−16〜+15の範囲の探索を、単にサーチウィン
ドウ画素データのシフトイン/シフトアウトにより行な
うことができる。
【0096】図25および図26に示すように、動き検
出部MD♯Aと動き検出部MD♯Bのハードウェア量
は、この演算部の構成については、ほぼ同じとする。た
だし、水平方向の探索範囲の全画素データを格納するメ
モリおよび評価値を算出するための加算演算を行なう加
算部の構成を考慮すると、動き検出部MD♯Aのハード
ウェア量は、動き検出部MD♯Bのハードウェア量のほ
ぼ4倍程度となる。
【0097】図27は、この発明の実施の形態4におけ
る動き検出部に対するサーチエリアの割当てを示す図で
ある。対象画像が双方向予測画像(Bピクチャ)の場
合、動き検出部MD♯AのサーチエリアSAAには、水
平方向−128〜+127および垂直方向−48〜+4
7の範囲が割当てられる。一方、動き検出部MD♯Bの
サーチエリアSABに対しては、水平方向−48〜+4
7および垂直方向−16〜+15の範囲が割当てられ
る。動き検出部MD♯Aに対しては、フレーム距離の長
い、すなわち時間的に遠い方の参照画像が割当てられ、
動き検出部MD♯Bには、フレーム距離が短い、すなわ
ち時間的に近い参照画像が割当てられる。動き検出部M
D♯Aにおいては、広いサーチエリアにおいて粗探索が
行なわれ、一方動き検出部MD♯Bにおいては、すべて
の評価点について評価値算出を行なう全探索が行なわれ
る。
【0098】図28は、対象画像が一方方向予測画像
(Pピクチャ)の場合のサーチエリアの割当てを示す図
である。この一方方向予測画像においても2つの動き検
出部MD♯AおよびMD♯Bが用いられる。ただし、対
象テンプレートブロックの真裏点RRから位置ベクトル
(i,j)ずれた点を中心点としてサーチエリアが設定
される。したがって、動き検出部MD♯Aのサーチエリ
アSAAは、水平方向−128−i〜+127−i、お
よび垂直方向−48−j〜+47−jの範囲となる。一
方動き検出部MD♯BのサーチエリアSABは、水平方
向−48−i〜+47−i、垂直方向−16−j〜+1
5−jとなる。この一方方向予測画像に対しても、サー
チエリアSAAでは粗探索が行なわれ、サーチエリアS
ABについては全探索が行なわれる。
【0099】この一方方向予測画像のサーチエリアの中
心点(i,j)は、動きベクトルの履歴に応じて値が定
められる。最終動き判定部FMD♯は以下のようにして
最終動きベクトルを決定する。
【0100】サーチエリアSAAおよびSABが重なり
合う領域、すなわちサーチエリアSAB内において動き
検出部MD♯Aが動きベクトルを検出した場合、全探索
を行なう動き検出部MD♯Bの検出結果を優先的に選択
する。
【0101】重なり合わない領域から動き検出部MD♯
Aが動きベクトルを検出した場合、その検出結果は動き
検出部MD♯Bとの比較結果に従って、より相関度の高
いブロックを指定する動きベクトルを選択する。この判
定基準として、以下のような式が用いられる。
【0102】f{MAD(1),MAD(2)}=a・
MAD(1)−MAD(2)+b ここで、MAD(1)は動き検出部MD♯Aの評価値、
MAD(2)は動き検出部MD♯Bの評価値、a,bは
任意の定数 動き検出部MD♯AおよびMD♯Bは、評価画素数が異
なるため、定数aにより補正を掛けて評価値の正規化を
行ない(評価画素数を実効的に同じにする)、定数bに
よりオフセットを掛ける。その関数fが正の場合、動き
検出部MD♯Aの動きベクトルの評価値が大きいため、
動き検出部MD♯Bの動きベクトルを選択する。関数f
が負の場合には、動き検出部MD♯Aからの動きベクト
ルの評価値が小さいため、相関度が高く、動き検出部M
D♯Aが検出した動きベクトルを選択する。
【0103】1つの動き検出部を利用する場合に比べ
て、動きベクトル探索効率または探索精度を大幅に改善
することができる。すなわち、動き検出部MD♯Bと同
程度の評価画素数を有するハードウェア量が同じ動き検
出部を使用する場合と比べて、粗探索により、探索範囲
を格段に広くすることができるため、効率的に動きベク
トルを探索することができ、動きベクトル探索効率が大
幅に改善される。また、動き検出部MD♯Aと同程度の
評価画素数を用いたハードウェア量が同じ動き検出部を
使用する(動き予測器)場合と比べて、ほぼ同程度のサ
ーチエリアサイズを確保しつつ、全探索方式を利用して
いるため、より精度の高い動きベクトル探索が可能とな
り、動きベクトル探索精度が大幅に改善される。
【0104】図29は、この発明の実施の形態4に従う
動きベクトル検出装置を含む動きベクトル検出システム
の構成を概略的に示す図である。図29において、図1
3に示す動きベクトル検出システムと対応する部分には
同一参照番号を付す。この図29に示す動きベクトル検
出システムにおいては、動きベクトル検出装置1におい
て2つの動き検出部MD♯AおよびMD♯Bが設けられ
ているため、応じて、参照画像メモリ41に対し2つの
バッファメモリ62および63が設けられ、参照画像メ
モリ42に対し2つのバッファメモリ64および65が
設けられる。バッファメモリ62および64から読出さ
れたデータはサブサンプル回路66を介して動き検出部
MD♯Aへ与えられる。バッファメモリ63および65
から読出されたデータは、動き検出部MD♯Bへ与えら
れる。
【0105】また、動き検出部MD♯Aの評価画素数が
64であり、また動き検出部MD♯Bの評価画素数が1
28であるため、16画素・16画素のテンプレートブ
ロックを水平方向においてサブサンプリングするため、
現画像メモリ40からの画像データを水平方向画素につ
いてサブサンプルするサブサンプル回路60および61
が設けられる。サブサンプル回路60および61は、縦
列接続され、サブサンプル回路60が水平方向1/2の
サブサンプリングを行なって動き検出部MD♯Bへサブ
サンプルされたテンプレートブロック画素データを与え
る。サブサンプル回路61は、サブサンプル回路60か
らの画素データを受け、水平方向にさらに1/2のサブ
サンプリングを行なって、サブサンプルされたテンプレ
ートブロック画素データを動き検出部MD♯Aへ与え
る。
【0106】サーチエリアの割当ておよびサーチウィン
ドウ画素データの分配は、制御回路70の制御の下に実
行される。対象画像が、一方方向予測画像のとき、参照
画像メモリ41または42に格納されたサーチウィンド
ウ画素データが利用される。たとえば参照画像メモリ4
1に格納された画像データが利用される場合、バッファ
メモリ62および63が使用され、バッファメモリ62
からのサーチウィンドウ画素データがサブサンプル回路
66により水平方向においてサブサンプルされて、粗探
索が動き検出部MD♯Aにおいて行なわれる。一方、バ
ッファメモリ63から読出されたサーチウィンドウ画素
データは動き検出部MD♯Bへ与えられ、全探索が実行
される。
【0107】対象画像が、双方向予測画像のとき、参照
画像メモリ41および42両者が用いられる。参照画像
メモリ41に時間的に近い方の参照画像が格納されてい
る場合、バッファメモリ63および64が使用される。
すなわちバッファメモリ63を介して時間的に近い方の
参照画像データが動き検出部MD♯Bへ与えられて全探
索が行なわれ、一方時間的に遠い方の参照画像データ
が、バッファメモリ64およびサブサンプル回路66を
介して動き検出部MD♯Aへ与えられて粗探索が実行さ
れる。
【0108】図30は、図29に示す制御回路70の構
成を概略的に示す図である。図30において制御回路7
0は、ピクチャヘッダに応答して起動され現画像メモリ
からの画像データの読出を行なう現画像メモリリード制
御回路70bと、最終決定された動きベクトルMVを所
定数の演算サイクル(動きベクトルを検出するサイク
ル)または複数のピクチャにわたって受け、これらの動
きベクトルMVの履歴に従ってサーチエリアの中心位置
を決定する中心位置決定回路70cとピクチャ特性指示
信号B/Pと現画像メモリリード制御回路70bからの
テンプレートブロックアドレスADと中心位置決定回路
70cからの中心位置とを受け、サーチエリアを決定し
て、決定されたサーチエリアに対するアドレスを生成す
るアドレス生成回路70dと、テンポラル・リファレン
スの値に従って参照画像メモリ41および42のいずれ
に時間的に近い方の参照画像が格納されているかを判定
するメモリ遠近判定回路70eと、アドレス生成回路7
0bからのアドレスメモリ遠近判定回路70eの出力信
号に従って参照画像メモリ41および42に対しアドレ
ス信号およびメモリ活性化信号を与える参照画像メモリ
リード制御回路70fと、メモリ遠近判定回路70eの
判定結果指示信号に従ってバッファメモリを選択的に活
性化するバッファメモリリード制御回路70gを含む。
【0109】中心位置決定回路70cは、たとえば、所
定数の演算サイクルまたは複数枚のピクチャにおける動
きベクトルの平均値を求め、この平均動きベクトルを、
最も新しい動きベクトルに加算して、中心位置を決定す
る。この演算において、所定数の演算サイクルまたは複
数枚のピクチャにおける動きベクトルに対し、対象テン
プレートブロックまたは現画像との距離に応じて適当な
重みが付けられて、平均値を求めることが行なわれても
よい。
【0110】アドレス生成回路70dは、現画像メモリ
リード制御回路70bから与えられるアドレスADによ
り、サーチエリアの中心位置(a,b)を求め、中心位
置決定回路70cからの中心位置(i,j)に従って補
正後のサーチエリアの中心位置(a−i,b−j)を算
出する。この中心位置を真裏点として、サーチエリアS
AAおよびSABに対するアドレスを生成する。アドレ
ス生成回路70dは、ピクチュア特性指示信号B/P
が、対象画像が双方向予測画像であると示したときに
は、この中心位置決定回路70cの出力する中心位置情
報は無視し、単に現画像メモリリード制御回路70bか
らのテンプレートブロックアドレスADに従って各サー
チエリアSAAおよびSABに対するアドレスを生成す
る。
【0111】メモリ遠近判定回路70eは、先の実施の
形態3と同様、図19に示すシーケンスをもとに、参照
画像メモリ41および42のいずれにフレーム距離の短
い参照画像が格納されているかを判定する。参照画像メ
モリリード制御回路70fは、またピクチャ特性指示信
号B/Pに従って参照画像メモリ41および42のいず
れを活性化するかおよびまた両者を活性化するかを判定
し、アドレス生成回路70dから与えらたアドレスを、
アクセスすべき参照画像メモリに対し振分ける。バッフ
ァメモリリード制御回路70gも、同様、このピクチャ
特性指示信号B/Pに従って、選択的にバッファメモリ
62〜65を活性化する。
【0112】この図30に概略的に示す制御回路を利用
することにより、対象画像が双方向予測画像の場合に
は、2つの参照画像メモリ41および42を利用し、対
象画像が一方方向予測画像の場合には、参照画像メモリ
41および42の一方のみを用い、バッファメモリ62
〜65を選択的に活性化することにより、対象画像に応
じた動きベクトル検出を動き検出部MD♯AおよびMD
♯Bにおいて実行させることができる。
【0113】図31は、図24に示す最終動き判定部F
MD♯の構成を概略的に示す図である。図31におい
て、最終動き判定部FMD♯は、動き検出部MD♯Aか
らの動きベクトルMV1が、サーチエリアSAB内に存
在するか否かを判定する領域判定回路81と、動き検出
部MD♯AおよびMD♯Bからの評価値MAD(1)お
よびMAD(2)に対し前述の所定の演算を行ない、該
演算結果の符号を示す信号を出力する演算回路82と、
領域判定回路81からの領域外指示信号および演算回路
82からの負指示信号を受けるとHレベルの信号を出力
するAND回路83と、AND回路83の出力信号がH
レベルのとき導通して動きベクトルMV1を通過させる
ゲート回路84と、AND回路83の出力信号がLレベ
ルのとき導通して動きベクトルMV2を通過させるゲー
ト回路85を含む。ゲート回路84および85は、非選
択時、出力ハイインピーダンス状態に設定される。
【0114】領域判定回路81は、動きベクトルMV1
がサーチエリアSABの外部にある場合には、“1”
(Hレベル)の信号を出力する。演算回路82は、演算
結果が負の場合には、“1”(Hレベル)の信号を出力
する。この領域判定回路81は、動きベクトルMV1の
水平成分Hおよび垂直成分Vを、サーチエリアSABの
水平方向性分および垂直方向成分と比較し、その比較結
果に従って、動きベクトルMV1が、サーチエリアSA
B内に存在しているか否かを判定する。演算回路82
は、単に、前述の判定関数式fに従って演算を行ない、
該演算結果の符号を示す信号を出力する。2の補数表示
で演算結果が示される場合、最上位ビットを見ることに
より、演算結果の符号を判定することができる。
【0115】AND回路83は、領域判定回路81およ
び演算回路82からの信号がともにHレベル“1”のと
きにHレベルの信号を出力する。したがって、ゲート回
路84が導通するのは、動き検出部MD♯Aが検出した
動きベクトルMV1がサーチエリアSABの外部にあり
かつ演算回路82の演算結果が負を示すときである。そ
れ以外には、ゲート回路85が導通し動き検出部MD♯
Bにより検出された動きベクトルMV2が最終動きベク
トルFMVとして出力される。
【0116】この図31に示す構成が、最終的に生成さ
れる動きベクトルの各カテゴリに対して設けられる。フ
レーム予測の場合、フレーム動きベクトル、トップフィ
ールドに対する動きベクトル、およびボトムフィールド
に対する動きベクトルが存在し、各動きベクトルについ
て図31に示す構成が設けられる。
【0117】以上のように、この発明の実施の形態4に
従えば、現画像に対して適用される予測方法およびフレ
ーム間距離に応じて適応的に動き検出部を使用してサー
チエリアを割当てているため、効率的に動きベクトル検
出を行なうことができる。
【0118】また、サーチエリアの中心点を真裏の位置
からずらせているため、画面全体が同一方向に移動して
おり、その一部分がわずかに動く場合において、効率的
に動きベクトルを検出することができる。
【0119】[実施の形態5]図32は、この発明の実
施の形態5に従うサーチエリアの割当てを示す図であ
る。図24に示す構成が用いられるが、この図32に示
す構成においては、動き検出部MD♯Aに対して割当て
られるサーチエリアSAAの中心位置が、真裏点(0,
0)からずれた位置(ia,ja)に設定され、また動
き検出部MD♯Bに割当てられるサーチエリアSABの
中心位置が真裏点(0,0)から異なる位置(ib,j
b)に設定される。加えて、サーチエリアSAAおよび
SABの中心位置(ia,ja)および(ib,jb)
は、互いに異なる位置に設定される。他の構成は図24
に示す構成と同じである。このサーチエリアSAAおよ
びSABの中心位置を互いに異ならせることにより、2
つの動体が、異なる方向に動く場合に有効的に、動きベ
クトルを検出することができる。きめの細かい動体の動
きに対し、全探索を行なう動き検出部MD♯Bのサーチ
エリアSABを追従させ、全体の動きに、粗探索を行な
う動き検出部MD♯Aを追従させることにより、効率的
な動き検出が可能となる。
【0120】図33は、この発明の実施の形態5におけ
る制御回路(図29参照)に含まれるサーチエリア用の
アドレス生成部の構成を概略的に示す図である。図33
において、アドレス生成部は、動き検出部MD♯Aから
の動きベクトルMVAを、数枚のピクチャまたは複数の
テンプレートブロックにわたって受けて、サーチエリア
SAAに対する中心位置を決定するSAA用中心位置決
定回路70caと、動き検出部MD♯Bからの動きベク
トルMVBを数枚のピクチャまたは複数のテンプレート
ブロックにわたって受けて、現画像に対するサーチエリ
アSABに対する中心位置を決定するSAB用中心位置
決定回路70cbと、図30に示す現画像メモリリード
制御回路70bからのテンプレートブロックアドレスA
DとSAA用中心位置決定回路70caからの中心位置
情報とに従って、サーチエリアSAAに対するサーチエ
リア画像データを指定するアドレスを生成するSAA用
アドレス生成回路70daと、テンプレートブロックア
ドレスADとSAB用中心位置決定回路70cbからの
中心位置情報とに従ってサーチエリアSABに対するア
ドレスを生成するSAB用アドレス生成回路70dbと
ピクチャ特性指示信号B/Pとフレーム距離の長短を示
す信号F/Nとに従ってSAA用アドレス生成回路70
baおよびSAB用アドレス生成回路70bbからのア
ドレス信号を受けて参照画像メモリから画素データを読
出す参照画像メモリリード制御回路70fを含む。
【0121】SAA用中心位置決定回路70caおよび
SAB用中心位置決定回路70cbは、たとえばそれぞ
れ動き検出部MD♯AおよびMD♯Bから数枚のピクチ
ャにわたって動きベクトルを受けて格納し、同じ位置の
テンプレートブロックに対する動きベクトルの履歴に従
って、サーチエリアSAAおよびSABに対する中心位
置を決定する。この場合、1つのピクチャ内において、
これら動き検出部MD♯AおよびMD♯Bからの動きベ
クトル情報MVAおよびMVBを受けて、この初期設定
された中心位置をさらに修正するように構成されてもよ
い。
【0122】2つの中心位置決定回路を設けて、サーチ
エリアそれぞれに対する中心位置を決定してサーチウィ
ンドウ画素データ用のアドレスを生成することにより、
動き検出部MD♯AおよびMD♯Bのサーチエリアの中
心位置を異ならせることができる。これにより、2つの
動体が異なる方向に移動するにおいて、異なる方向それ
ぞれに応じてサーチエリアを設定することができ、効率
的に動きベクトルを検出することができる。
【0123】なお、双方向予測時においては、サーチエ
リアSAAおよびSABが、互いに異なる参照画像内に
設定される。この場合、これらの2つの参照画像に対す
る各テンプレートブロックに対する動きベクトルのサー
チエリアの中心位置が同一点(真裏点を含む)であって
もよく、また互いに異なってもよい。
【0124】[実施の形態6]図34は、この発明の実
施の形態6に従うサーチエリアの割当てを示す図であ
る。この図34に示す構成においては、動きベクトル検
出装置としては、実施の形態4と同様、2つの動き検出
部MD♯AおよびMD♯Bが用いられる。これらの動き
検出部MD♯AおよびMD♯BのサーチエリアSAAお
よびSABのサイズは互いに異なる。一方方向予測画像
の場合には、サーチエリアSAAおよびSABの中心点
を真裏点(0,0)に設定する。通常、真裏近辺に動き
が集中し、この真裏点(0,0)の近傍において動きベ
クトルが検出される可能性が高い。したがって、全体の
動き予測範囲F−codeの設定値を小さくすることが
できる。ここで、予測範囲F−codeは、MPEG方
式において、ピクチャ層(1枚の画像で構成されるフレ
ーム)において、水平および垂直方向の動きベクトル探
索範囲を示すデータがピクチャヘッドに続いて格納され
る。この情報に基づいて、動きベクトル検出装置は、そ
の動きベクトル探索範囲が設定される。このサーチエリ
アSAAおよびSABの中心点を真裏点(0,0)に固
定することにより、サーチエリアの中心点を変更するた
めの構成が不要となり、ハードウェア量が低減される。
【0125】なお、双方向予測画像に対しても、さらに
同様に、サーチエリアの中心点が同一とされてもよい。
また、双方向予測画像については、サーチエリアそれぞ
れに対し、中心点が真裏点(0,0)と異なるように設
定されてもよい。この実施の形態6のための制御回路
は、単に先の実施の形態4において、中心位置決定回路
からの中心位置を真裏点(0,0)に固定することによ
り実現される。
【0126】以上のように、この発明の実施の形態6に
従えば、一方方向予測画像に対する2つのサーチエリア
の中心点を真裏点に設定しているため、動きの集中する
真裏点に動きベクトルを探索することができ、ハードウ
ェア量を増大させることなく効率的な動きベクトル検出
を行なうことができる。
【0127】[実施の形態7]図35は、この発明の実
施の形態7におけるサーチエリアの割当てを概略的に示
す図である。この図35に示す構成においては、対象画
像が一方方向予測画像の場合、サーチエリアSAAおよ
びSABの中心位置(ia,ja)および(ib,j
b)は互いに異ならされる。これは、先の実施の形態5
と同様である。このとき、また中心点(ia、ja)お
よび(ib,jb)の一方を真裏点(0,0)に設定す
る。たとえば、中心点(ib,jb)を真裏点(0,
0)に設定した場合、画面全体が同一方向に移動し、か
つ一部が原点を中心に動く画像に対して、有効に動きベ
クトルを検出することができる。
【0128】この実施の形態7において、対象画像が双
方向予測画像の場合、このサーチエリアの中心点をどの
ように設定するかについては任意である。異なる参照画
像を対象としているためである。
【0129】この図35に示すサーチエリアの割当ての
ためは、図33に示すアドレス生成部の構成において、
SAA用中心位置決定回路70caおよびSAB用中心
位置決定回路70cbの一方が、その中心位置を真裏点
(0,0)に固定的に設定する構成が用いられるとよ
い。もちろん、この図35に示す構成において、動きベ
クトルの履歴に応じて、中心位置決定回路70caおよ
び70cbの一方が、設定する中心位置が真裏点(0,
0)に等しくなる場合が生じる。この場合には、その動
きに応じて、サーチエリアSAAおよびSABの中心位
置(ia,ja)および(ib,jb)の一方が、動き
に応じて真裏点(0,0)に設定される。中心点(i
a,ja)が真裏点(0,0)に設定される場合、画面
全体の動きは小さく、一部のみが移動する場合に効率的
に動きベクトルを検出することができる。他の構成は、
上の実施の形態5と同じである。
【0130】一方のサーチエリアの中心点を真裏点に設
定することにより、そのサーチエリアの位置を変更する
ための構成が不要となり、ハードウェア容量が低減され
る。
【0131】[実施の形態8]図36は、この発明の実
施の形態8に従う動きベクトル検出装置の構成を概略的
に示す図である。図36において、動きベクトル検出装
置1は、2つの動き検出部SMD♯CおよびSMD♯D
と、これらの動き検出部MD♯CおよびMD♯Dの検出
結果に従って最終動きベクトルを決定する最終動き判定
部FMD♯を含む。
【0132】動き検出部MD♯Cは、整数精度で動きベ
クトルを検出し、その固有のサーチエリアは、水平方向
−64〜+60垂直方向−32〜+31の範囲である。
評価画素数は64画素であり、テンプレートブロック
は、16画素行・4画素列のサイズを有する。
【0133】動き検出部MD♯Dは、分数精度(ハーフ
ペル精度)で動きベクトル検出を行なう。その固有のサ
ーチエリアは、水平方向−4〜+3および垂直方向−2
〜+1の範囲である。評価画素数は128画素であり、
8画素列・16画素行のサイズをテンプレートブロック
として利用する。
【0134】この図36に示す構成において、整数精度
で、まず動き検出部MD♯Cが動きベクトルを検出す
る。この整数精度で求められた動きベクトルをもとに、
動き検出部MD♯Dが分数精度でその近傍の領域におい
て動きベクトルを検出する。最終動き判定部FMD♯
は、この動き検出部MD♯Dからの分数精度で求められ
た動きベクトルを最終動きベクトルとして出力する。
【0135】図37は、対象画像双方向予測画像の場合
のサーチエリアの割当てを示す図である。図37におい
て、動き検出部MD♯Cには、フレーム期間の長い参照
画像が割当てられ、そのサーチエリアSAC内において
粗探索が行なわれる。一方動き検出部MD♯Dには、フ
レーム期間の短い参照画像が割当てられ、サブサーチエ
リアSAD内において全探索がハーフペル精度で行なわ
れる。このハーフペル精度においては、動きベクトル成
分は、0.5単位で変化する。
【0136】このフレーム期間の長い参照画像を整数精
度で動き検出部MD♯Cに割当てることにより、広範囲
にわたって動きベクトルを検出することができ、動きの
大きな画像に対し効率的に動きベクトルを検出すること
ができる。このとき、粗探索(評価点のサブサンプリン
グ)が行なわれており、動きベクトル検出時間を短縮す
ることができる。
【0137】一方、フレーム期間の短い参照画像に対し
ては、ハーフペル精度の動き検出部MD♯Dにより、狭
い範囲をくまなく探索し、動きの小さな画像に対し正確
に動きベクトルを検出する。
【0138】図38は、対象画像が一方方向予測画像の
場合のサーチエリアの割当てを示す。一方方向予測画像
の場合、動き検出部MD♯Cは、そのサーチエリアSA
Cが、水平方向−64〜+63および垂直方向−32〜
+31の広範囲を有する。この広範囲の探索には、粗探
索および全探索のいずれであってもよいが、広範囲であ
るため、粗探索を行なうのは、演算時間を短縮するため
好ましい。このサーチエリアSAC内において動きベク
トルが検出されると、この検出された動きベクトル情報
が、動き検出部MD♯Dに与えられ)、動き検出部MD
♯Dにおいては、この検出された動きベクトル(i,
j)を中心として、そのサーチエリアSAD(サイズが
水平方向−4〜+3および垂直方向−2〜+1)内で動
きベクトル検出を行なう。これにより、動きの大きな一
方方向予測画像に対し、効率的かつ正確に、動きベクト
ルを検出することができる。
【0139】図39は、ハーフペル精度時に用いられる
画素の分布を示す図である。図39に示すように、画面
上には、白丸印で示す画素が行列状に配列される。ハー
フペル精度検索時においては、この画素の間に隣接画素
を用いて補間画素を生成して挿入する。補間画素が、4
画素の中間に存在する場合には、隣接4画素の平均値を
求めることにより、補間画素が生成される。2画素の間
に配置される場合(水平成分または垂直成分が非整数)
のときには、隣接2画素の平均値により補間画素が生成
される。
【0140】したがって、このハーフペル精度の動き検
出部MD♯Dにおいては、演算部の前段に、サーチエリ
ア画素の補間を行なって補間画素を生成する補間回路9
0が設けられる。この補間回路により生成された補間画
素と元の画素が、サーチエリア画素データとして演算部
へ与えられる。
【0141】図40は、動き検出部MD♯Dの構成を概
略的に示す図である。図40において、動き検出部MD
♯Dは、テンプレートブロック画素データPXおよびサ
ーチウィンドウ画素データPYを受けて、演算処理を行
なう演算部2と、演算部2からの評価値成分を加算する
加算部3と、加算部3からの評価値を先のサイクルの評
価値と比較して、動きベクトル候補を検出する比較器4
と、演算部2からシフトアウトされるサーチエリア画素
データから補間データを生成する補間回路90と、補間
回路90からのサーチエリア画素データとテンプレート
画素データPXとに従って、演算部2と同様の演算を行
なう演算部92と、演算部92の出力する評価値成分を
加算する加算部93と加算部93の評価値に従って動き
ベクトル候補を検出する比較器94と、比較器4および
94の出力する評価値に従って最終動きベクトルを検出
する最終比較器95を含む。
【0142】演算部2から、先に図3から図6(B)に
おいて説明したように、サーチエリア画素データが、1
画素ずつシフトアウトされる。このシフトアウトされる
画素データは、サーチエリアにおける垂直方向に走査さ
れる画素データである。補間回路90は、そのサーチウ
ィンドウの垂直方向のサイズすなわち20画素の遅延回
路と1画素遅延回路とで構成され、補間画素を生成す
る。演算部92は、この補間画素データをサーチエリア
画素データとして受ける。したがって、この図40に示
すハーフペル精度の動き検出部MD♯Dにおいては、演
算部2において整数精度での動きベクトルが検出され、
補間回路90により必要な数の補間画素データが生成さ
れて格納されたとき、この分数精度(水平および垂直成
分の少なくとも一方が非整数の分数)による評価値算出
を並行して行なうことができる。
【0143】最終比較器95においては、この演算部2
において整数精度でのベクトルが検出された後、最終比
較器95はその比較器4の出力する動きベクトル候補値
および対応の評価値をラッチし、比較器94から与えら
れる評価値と比較し、最終の動きベクトルを決定する。
したがって、この分数精度での演算部92での演算操作
と並行して、演算部2においては、次のテンプレートブ
ロックに対する評価値算出を行なうことができる。
【0144】演算部2に与えられるサーチエリア画素デ
ータPYは、対象画像が一方方向予測画像の場合には、
動き検出部MD♯Cと並行して与えられる。対象画像が
双方向予測画像の場合には、動き検出部MD♯Cにおけ
る動き検出結果に基づいて、そのサーチエリアが決定さ
れて参照画像メモリから読出される。
【0145】この実施の形態8に対する動きベクトル検
出システムの構成は、図29に示す構成と同様となる。
単に、図29に示すバッファメモリ62〜65の格納容
量が異なっているだけである(サーチエリアに応じてそ
の記憶容量が設定されるため)。
【0146】図41は、この発明の実施の形態8におけ
るメモリ制御部の構成を概略的に示す図である。図41
において、メモリリード制御部は、現画像メモリの画素
データの読出を制御する現画像メモリリード制御回路1
00と、現画像メモリリード制御回路100からのテン
プレートブロックアドレスADに従って、サーチエリア
SACに対するアドレスを生成するSAC用アドレス生
成回路102と、ピクチャ特性指示信号B/Pに応答し
て、テンプレートブロックアドレスADおよび動きベク
トルMVの一方に従ってサーチエリアSADに対するア
ドレスを生成するSADアドレス生成回路103と、ピ
クチャ特性指示信号B/Pに従って、参照画像メモリの
いずれに時間的に近い参照画像が格納されているかを判
定する前後判定回路104と、前後判定回路104から
の判定結果指示信号F/Nとピクチャ特性指示信号B/
Pに従って、アドレス生成回路102および103から
与えられたアドレスに従って各参照画像メモリに対する
アクセスを制御する参照画像メモリリード制御回路10
5と、指示信号B/PおよびF/Nに従ってバッファメ
モリの読出を制御するバッファメモリリード制御回路1
06を含む。
【0147】バッファメモリが、それぞれサーチエリア
のサイズの画素データを格納している場合、バッファメ
モリリード制御回路106は、そのサーチエリアの画素
データを、垂直方向の画素データを順次読出すようにバ
ッファメモリの読出を制御する。バッファメモリがサー
チウィンドウの画素データを格納する容量を備え、かつ
ファーストイン・ファーストアウト構成を有する場合に
は、バッファメモリリード制御回路106は、単に、バ
ッファメモリの活性/非活性を制御する。
【0148】参照画像メモリリード制御回路105は、
ラスタスキャン順序で書込まれた画素データを、そのサ
ーチエリアの垂直方向の連続する画素の態様で読出し、
順次バッファメモリに格納する。このバッファメモリの
構成は単なる一例であり、バッファメモリがランダム・
アクセス・メモリで構成され、ラスタスキャン順序で画
素データが格納され、次いで、サーチウィンドウの各列
ごとに垂直方向に順次画素データが読出されるように、
画素データ書込時と読出時とでアドレス変換が行なわれ
る構成が用いられてもよい。
【0149】この図41に示す制御部の構成において、
対象画像が双方向予測画像であるとピクチュア特性指示
信号B/Pが示した場合、SAB用アドレス生成回路1
03は、動きベクトルMVを無視し、テンプレートブロ
ックアドレスADに従って、動き検出部MD♯Bのサー
チエリアSABに対するアドレスを生成する。参照画像
メモリリード制御回路105は、前後判定回路104に
より、時間的に近い画像データを格納すると判定された
参照画像メモリに対し、SAC用アドレス生成回路10
2から与えられたアドレスを与え、一方時間的に遠いす
なわちフレーム期間の長い画像データを格納する参照画
像メモリに対しSAB用アドレス生成回路103により
生成されたアドレスを与える。バッファメモリリード制
御回路106も、同様に、時間的に前後する参照画像メ
モリに対応して設けられたバッファメモリをそれぞれ活
性化する。
【0150】一方、対象画像が一方方向予測画像である
とピクチュア特性指示信号B/Pが示した場合、SAB
用アドレス生成回路103は、テンプレートブロックア
ドレスADを無視する。SAC用アドレス生成回路10
2は、テンプレートブロックアドレスADに従って、動
き検出部MD♯Cに対するアドレスを生成する。参照画
像メモリリード制御回路105は、ピクチャ特性指示信
号B/Pに従って、先に書込まれた参照画像メモリに対
しアクセスを行ない、サーチエリアSACのための画素
データを順次読出し対応のバッファメモリに格納する。
バッファメモリリード制御回路106は、ピクチャ特性
指示信号B/Pに従って、対応のバッファメモリを活性
化し、サーチエリアSACのための画素データを順次読
出して動き検出部MD♯Cへ与える。この動き検出部M
D♯Cにおける動き検出動作が完了すると、次いでSA
B用アドレス生成回路103が活性化され、検出された
整数精度の動きベクトルMVに基づいて、サーチエリア
SADに対するアドレスを生成する。参照画像メモリリ
ード制御回路105は、次いでこのSAD用アドレス生
成回路103から与えられたアドレスに従って、再び対
応の参照画像メモリをアクセスし、必要な画素データを
読出し対応のバッファメモリに与える。バッファメモリ
リード制御回路106は、再び、対応のバッファメモリ
から画素データを読出して、ハーフペル精度での動き検
出を行なうために、サーチエリア画素データを動き検出
部MD♯Dへ与える。
【0151】なお、この実施の形態8において、一方方
向予測画像を処理する場合、そのサーチエリアの中心は
真裏点(0,0)に設定されている。これは、ハーフペ
ル精度でサーチエリアSAD内で動きベクトルを検出す
るため、特に中心点を真裏点からずらせる必要はないた
めである。
【0152】以上のように、この発明の実施の形態8に
従えば、整数精度およびハーフペル精度の動き検出部
を、処理対象となる画像の性質(予測符号化方式)に応
じて適応的に使用しているため、効率的に動きベクトル
を検出することができる。
【0153】[他の構成]上述の構成においては、評価
画素数が64の場合、4画素列・16画素行にサブサン
プルされたテンプレートブロックが用いられている。こ
れは、フレーム画像を符号化する場合を想定している。
しかしながら、対象画像が、フィールド画像の場合、こ
の評価画素数が64がその場合、8画素行・8画素列の
サブサンプルされたテンプレートブロックが用いられて
もよい。
【0154】また、ハーフペル精度の動き検出部MD♯
Dの構成としては、たとえば、上述のISSCCにおけ
るイシハラ等が開示するプロセサが用いられてもよい。
またこの動き検出部MD♯Dの検出精度は、たとえば1
/4などの他の分数精度であってもよい。
【0155】
【発明の効果】以上のように、この発明に従えば、評価
画素数の異なる動き検出部を設け、対象画像の性質に応
じて、これらの動き検出部を使い分けているため、効率
的に動きベクトルを検出することができ、またハードウ
ェア量の増大も低減することができ、応じて消費電力を
も低減することができる。
【0156】請求項1に係る発明に従えば、テンプレー
トブロックサイズおよびサーチエリアサイズの少なくと
も一方が互いに異なる動きベクトル検出ユニットを複数
設け、対象となる現画像の性質に従ってこれら複数の動
きベクトル検ユニットを全体としてのサーチエリアの構
成が異なるように複数の動きベクトル検出ユニットのサ
ーチエリアを設定するように構成しているため、対象画
像に応じて少ないハードウェア量で効率的に動きベクト
ルを検出することができる。
【0157】請求項2に係る発明に従えば、動きベクト
ル検出ユニットとして整数精度で動きベクトルを検出す
る動き検出部と分数精度で動きベクトルを検出する動き
ベクトル検出部とを設けているため、対象画像の性質に
応じて、効率的に動きベクトルの探索を行なうことがで
きる。
【0158】請求項3に係る発明に従えば、テンプレー
トブロックの大小の動きベクトル検出ユニットを用いる
場合、対象画像が双方向予測画像の場合、時間的に近い
参照画像をテンプレートブロックサイズの大きな動きベ
クトル検出ユニットで処理し、時間的に遠い参照画像
を、テンプレートブロックサイズの小さな動きベクトル
検出ユニットで処理するように構成しているため、テン
プレートブロックサイズすなわち評価画素数の小さな動
き検出部で、広範囲にわたって動きを検出することがで
き、大きな動きに対し、広範囲の動きベクトル探索を行
ない、かつ時間的に近い参照画像に対しは、動き量が少
なく、変化の小さな参照画像に対しては評価画素数の大
きなテンプレートブロックを用いて正確に動きベクトル
を検出することができる。
【0159】請求項4に係る発明に従えば、双方向予測
画像に対しては、時間的に近い参照画像に対しては、サ
ーチエリアサイズの小さな動き検出部で処理し、時間的
に遠い参照画像に対してはサーチエリアの大きな動き検
出部で処理するように構成しているため、フレーム距離
すなわち動きの大小に応じて効率的にかつ正確に動きベ
クトルを検出することができる。
【0160】請求項5に係る発明に従えば、双方向予測
画像の符号化時、時間的に近い参照画像に対しては、サ
ーチエリアサイズが小さくかつテンプレートブロックサ
イズの大きな動き検出部で処理しかつ時間的に遠い参照
画像では、サーチエリアが大きくかつテンプレートブロ
ックサイズの小さな動き検出部で処理するように構成し
ているため、動き量の差に応じて動きベクトル探索範囲
を設定することができ、効率的に動きベクトルを検出す
ることができる。
【0161】請求項6に係る発明に従えば、双方向予測
画像の符号化時、時間的に近い参照画像を分数精度の動
きベクトル検出部で処理し、時間的に遠い方の参照画像
を整数精度の動きベクトル検出ユニットで処理するよう
に構成しているため、動き量の少ない参照画像に対して
は、正確に動きベクトルを検出することができ、また、
動きの大きい参照画像に対しては整数精度で高速に動き
ベクトルを検出することができ、効率的な動きベクトル
検出を行なうことができる。
【0162】請求項7に係る発明に従えば、対象画像が
一方方向予測画像の場合、各検出ユニットに対し互いに
異なるサーチエリアを割当てるように構成しているた
め、サーチエリア全体を広くすることができ、広い範囲
にわたって動きベクトルを効率的にフレーム期間の大き
な参照画像に対し探索することができる。
【0163】請求項8に係る発明に従えば、対象画像が
一方方向予測画像のとき、画面にお互いに異なる画素点
を中心として動きベクトルの探索範囲を決定して、互い
に異なる動きベクトル検出部で動きベクトルの探索を行
なうように構成しているため、画像の動きに応じて効率
的に動きベクトルの探索を行なうことができる。
【0164】請求項9に係る発明に従えば、対象画像が
一方方向予測画像の場合、真裏点と異なる中心点を中心
としてサーチエリアを設定して、複数の検出部それぞれ
において互いに異なるサイズのサーチエリアを設定し
て、動きベクトル検出を行なうように構成しているた
め、画像の動きに応じて動きベクトル探索範囲を設定す
ることができ、効率的に動きベクトルを検出することが
できる。
【0165】請求項10に係る発明に従えば、互いに異
なる中心点の1つを真裏点に設定しているために、画像
全体の動きが少なく一部のみが動く画像に対しても効率
的に動きベクトルを検出することができる。
【0166】請求項11に係る発明に従えば、中心点が
異なるサーチエリアを互いにサイズが異なるように構成
しているため、動きの大きな物体に対し、正確に動きベ
クトルを検出することができるように、サーチエリアを
設定することができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1に従う動きベクトル
検出装置の全体の構成を概略的に示す図である。
【図2】 図1に示す動き検出部の構成を概略的に示す
図である。
【図3】 図2に示す演算部の構成を概略的に示す図で
ある。
【図4】 図3に示す要素プロセサ列に含まれる要素プ
ロセサの構成を概略的に示す図である。
【図5】 図3に示す演算部におけるサーチウィンドウ
画素データおよびテンプレートブロック画素データの格
納状態を示す図である。
【図6】 (A)および(B)は、図3に示す演算部の
動作を示す図である。
【図7】 (A)および(B)は、この発明の実施の形
態1における動き検出部の適応的使用態様を示す図であ
る。
【図8】 この発明の実施の形態2に従う動きベクトル
検出装置の構成を概略的に示す図である。
【図9】 (A)は、評価画素数64の場合のテンプレ
ートブロックサイズを示し、(B)は、マクロブロック
のサイズを示す。
【図10】 (A)は、評価画素数64の場合のサーチ
ウィンドウブロックの構成を概略的に示し、(B)は、
評価画素数256のサーチウィンドウブロックの構成を
概略的に示す図である。
【図11】 この発明の実施の形態2における一方方向
予測画像に対するサーチエリアの割当てを概略的に示す
図である。
【図12】 この発明の実施の形態2における双方向予
測画像符号化時におけるサーチエリアの割当てを概略的
に示す図である。
【図13】 この発明の実施の形態2における動きベク
トル検出装置に対する制御部の構成を概略的に示す図で
ある。
【図14】 図13に示すサブサンプル回路の動作を説
明するための図である。
【図15】 図13に示すサブサンプル回路の構成の一
例を示す図である。
【図16】 図15に示すサブサンプル回路の動作を説
明するための図である。
【図17】 この発明の実施の形態2における粗探索時
における評価点の分布を示す図である。
【図18】 図13に示す制御回路の構成を概略的に示
す図である。
【図19】 この発明の実施の形態2における参照画像
メモリに格納された参照画像の状態を概略的に示す図で
ある。
【図20】 この発明の実施の形態3における動きベク
トル検出装置のサーチエリアを概略的に示す図である。
【図21】 この発明の実施の形態3における一方方向
予測画像に対するサーチエリアの割当てを概略的に示す
図である。
【図22】 この発明の実施の形態3における双方向予
測画像に対するサーチエリアの割当てを概略的に示す図
である。
【図23】 この発明の実施の形態3におけるメモリア
クセス制御部における参照画像メモリアドレス生成部の
構成を概略的に示す図である。
【図24】 この発明の実施の形態4に従う動きベクト
ル検出装置の構成を概略的に示す図である。
【図25】 図24に示す動き検出部MD♯Aの構成を
概略的に示す図である。
【図26】 図24に示す動き検出部MD♯Bの構成を
概略的に示す図である。
【図27】 この発明の実施の形態4における双方向予
測画像符号化時におけるサーチエリアの割当てを概略的
に示す図である。
【図28】 この発明の実施の形態4における一方方向
予測画像符号化時におけるサーチエリアの割当てを概略
的に示す図である。
【図29】 この発明の実施の形態4に従う動きベクト
ル検出装置を用いるシステムの構成を概略的に示す図で
ある。
【図30】 図29に示す制御回路の構成を概略的に示
す図である。
【図31】 この発明の実施の形態4における最終動き
判定部の構成を概略的に示す図である。
【図32】 この発明の実施の形態5における動き検出
装置における一方方向予測画像符号化時におけるサーチ
エリアの割当てを概略的に示す図である。
【図33】 この発明の実施の形態5における制御回路
の構成を概略的に示す図である。
【図34】 この発明の実施の形態6における動きベク
トル検出装置の一方方向予測画像を符号化時におけるサ
ーチエリアの割当てを概略的に示す図である。
【図35】 この発明の実施の形態7における動きベク
トル検出装置の一方方向予測画像符号化時におけるサー
チエリアの割当てを概略的に示す図である。
【図36】 この発明の実施の形態8に従う動きベクト
ル検出装置の構成を概略的に示す図である。
【図37】 この発明の実施の形態8における動きベク
トル検出装置における双方向予測画像符号化時における
サーチエリアの割当てを概略的に示す図である。
【図38】 この発明の実施の形態8における一方方向
予測画像符号化時におけるサーチエリアの割当てを概略
的に示す図である。
【図39】 ハーフペル精度動きベクトル検出動作時の
サーチエリア画素の分布を概略的に示す図である。
【図40】 この発明の実施の形態8におけるハーフペ
ル精度の動き検出部の構成を概略的に示す図である。
【図41】 この発明の実施の形態8における動きベク
トル検出装置に対する制御回路の構成を概略的に示す図
である。
【図42】 ブロックマッチング法で用いられるマクロ
ブロックの構成を概略的に示す図である。
【図43】 ブロックマッチング法に従う動きベクトル
検出動作を説明するための図である。
【図44】 MPEG方式における画像符号化シーケン
スを概略的に示す図である。
【符号の説明】
1 動きベクトル検出装置、MD♯1〜MD♯n,MD
♯A〜MD♯D 動き検出部、FMD♯ 最終動き判定
部、2 演算部、3 加算部、4 比較部、PEL♯0
〜PEL♯n 要素プロセサ列、DL♯0〜DL♯n
遅延バッファ、PE 要素プロセサ、DGB,DGF
動き検出部群、SA1〜SA3,SAA〜SAD サー
チエリア、40 現画像メモリ、41,42 参照画像
メモリ、43〜48 バッファメモリ、49〜51 サ
ブサンプル回路、55 制御回路、PEL0〜PEL7
要素プロセサ列、DL0〜DL7 遅延バッファ、7
0制御回路。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 熊木 哲 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 石原 和哉 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 Fターム(参考) 5C059 KK15 KK19 MA00 MA02 MA03 MA04 MA05 NN01 NN03 NN10 NN26 NN27 NN31 PP05 PP06 PP07 TA63 TA65 TC12 TC24 TD11

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 ブロックマッチング法に従って動きベク
    トルを検出するための装置であって、 現画像に含まれるテンプレートブロック画素データと参
    照画像に含まれるサーチエリア画素データとを受け、前
    記ブロックマッチング法に従った所定の演算処理を施し
    て、該処理結果に基づいて前記テンプレートブロックの
    動きベクトルを検出するための複数の動きベクトル検出
    ユニットを備え、前記複数の動きベクトル検出ユニット
    は、前記テンプレートブロックのサイズおよび前記サー
    チエリアのサイズの少なくとも一方が互いに異なる動き
    ベクトル検出ユニットを含み、前記テンプレートブロッ
    クサイズは、前記ブロックマッチング法の単位とのなる
    マクロブロックの画素のうち動きベクトル評価に用いら
    れる画素数を示し、前記サーチエリアサイズは、動きベ
    クトルの探索範囲の大きさを示し、 前記テンプレートブロックを含む現画像の性質に従って
    参照画像における前記複数の動きベクトル検出ユニット
    全体としての動きベクトル探索範囲が異なるように、前
    記複数の動きベクトル検出ユニットのサーチエリアを設
    定するための制御回路、および前記複数の動きベクトル
    検出ユニットからの動きベクトル情報を受けて、前記テ
    ンプレートブロックに対する最終の動きベクトルを決定
    するための動きベクトル決定回路を備える、動きベクト
    ル検出装置。
  2. 【請求項2】 前記複数の動きベクトル検出ユニット
    は、整数精度で動きベクトルを検出する整数精度動きベ
    クトル検出ユニットと、分数精度で動きベクトルを検出
    する分数精度動きベクトル検出ユニットを含む、請求項
    1記載の動きベクトル検出装置。
  3. 【請求項3】 前記複数の動きベクトル検出ユニット
    は、テンプレートブロックサイズが互いに異なる動きベ
    クトル検出ユニットを含み、 前記制御回路は、 前記現画像が時間的に前後する2つの参照画像を用いて
    動きベクトルを検出する双方向予測画像のとき、前記2
    つの参照画像のうち前記現画像に対し時間的に近い参照
    画像を前記テンプレートブロックサイズの大きな方の動
    きベクトル検出ユニットに割当て、かつ前記現画像に対
    し時間的に遠い参照画像を前記テンプレートブロックサ
    イズの小さな方の動きベクトル検出ユニットに割当てる
    手段を含む、請求項1記載の動きベクトル検出装置。
  4. 【請求項4】 前記複数の動きベクトル検出ユニット
    は、サーチエリアサイズの大きな動きベクトル検出ユニ
    ットと、前記サーチエリアサイズの小さな動きベクトル
    検出ユニットとを含み、 前記制御回路は、前記現画像が時間的に前後する2つの
    参照画像を用いて動きベクトルを検出する双方向予測画
    像のとき、前記現画像に時間的により近い参照画像を前
    記サーチエリアサイズの大きな方の動きベクトル検出ユ
    ニットに割当てかつ時間的に遠い方の参照画像を前記サ
    ーチエリアサイズの小さな方の動きベクトル検出ユニッ
    トに割当てる手段を含む、請求項1記載の動きベクトル
    検出装置。
  5. 【請求項5】 前記複数の動きベクトル検出ユニット
    は、前記テンプレートブロックサイズが大きくかつ前記
    サーチエリアサイズの小さな動きベクトル検出ユニット
    と、前記テンプレートブロックサイズが小さくかつ前記
    サーチエリアサイズが大きな動きベクトル検出ユニット
    とを含み、 前記制御回路は、前記現画像が、時間的に前後する2つ
    の参照画像を用いて動きベクトルを検出する双方向予測
    画像のとき、前記2つの参照画像のうち前記現画像に対
    し時間的に近い方の参照画像を前記サーチエリアサイズ
    が小さくかつ前記テンプレートブロックサイズが大きな
    動きベクトル検出ユニットに割当てかつ時間的に遠い方
    の参照画像を前記サーチエリアサイズが大きくかつ前記
    テンプレートブロックサイズの小さな動きベクトル検出
    ユニットへ割当てる手段を含む、請求項1記載の動きベ
    クトル検出装置。
  6. 【請求項6】 前記制御回路は、前記現画像が時間的に
    前後する2つの参照画像を用いて動きベクトルを検出す
    る双方向予測画像のとき、前記2つの参照画像のうち前
    記現画像に時間的に近い方の参照画像を前記分数精度の
    動きベクトル検出ユニットに割当てかつ前記現画像に時
    間的に遠い方の参照画像を前記整数精度の動きベクトル
    検出ユニットに割当てる手段を含む、請求項2記載の動
    きベクトル検出装置。
  7. 【請求項7】 前記制御回路は、前記現画像が時間的に
    一方方向に存在する参照画像を用いて動きベクトル検出
    を行なう一方方向予測画像のとき、前記複数の動きベク
    トル検出ユニットに対し、前記テンプレートブロックに
    ついて互いに異なるサブサーチエリアを割当てる手段を
    含み、前記サブサーチエリア全体で前記テンプレートブ
    ロックに対する動きベクトル探索範囲が定められる、請
    求項1記載の動きベクトル検出装置。
  8. 【請求項8】 前記制御回路は、前記現画像が時間的に
    一方方向に存在する参照画像を用いて動きベクトル検出
    を行なう一方方向予測画像のとき、画面上の互いに異な
    る画素点を中心点として動きベクトルの探索範囲を設定
    し、これらの中心点の異なる探索範囲を前記複数の動き
    ベクトル検出ユニットへ振分ける手段を含む、請求項1
    または2記載の動きベクトル検出装置。
  9. 【請求項9】 前記制御回路は、前記現画像が時間的に
    一方方向に存在する参照画像を用いて動き予測を行なう
    一方方向予測画像のとき、前記テンプレートブロックの
    中心点と異なる画素点を中心点としてサーチエリアを設
    定し、該設定したサーチエリアを前記複数の動きベクト
    ル検出ユニットに振分ける手段を含む、請求項1または
    2記載の動きベクトル検出装置。
  10. 【請求項10】 前記異なる中心点の1つは、前記テン
    プレートブロックの中心点に対応する真裏点である、請
    求項8記載の動きベクトル検出装置。
  11. 【請求項11】 前記中心点の異なるサーチエリアは、
    互いにサイズが異なる、請求項8記載の動きベクトル検
    出装置。
JP11466499A 1999-04-22 1999-04-22 動きベクトル検出装置 Pending JP2000308064A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP11466499A JP2000308064A (ja) 1999-04-22 1999-04-22 動きベクトル検出装置
US09/425,214 US6765965B1 (en) 1999-04-22 1999-10-22 Motion vector detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11466499A JP2000308064A (ja) 1999-04-22 1999-04-22 動きベクトル検出装置

Publications (1)

Publication Number Publication Date
JP2000308064A true JP2000308064A (ja) 2000-11-02

Family

ID=14643501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11466499A Pending JP2000308064A (ja) 1999-04-22 1999-04-22 動きベクトル検出装置

Country Status (2)

Country Link
US (1) US6765965B1 (ja)
JP (1) JP2000308064A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009179A (ja) * 2001-06-22 2003-01-10 Olympus Optical Co Ltd 動きベクトル及び視差ベクトル検出装置
JP2007221662A (ja) * 2006-02-20 2007-08-30 Fujitsu Ltd 動きベクトル算出装置
JP2007274257A (ja) * 2006-03-31 2007-10-18 Fujitsu Ltd 動きベクトル検出装置
JP2008067353A (ja) * 2006-08-08 2008-03-21 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法
WO2008056934A1 (en) 2006-11-07 2008-05-15 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
JP2010119146A (ja) * 2002-01-25 2010-05-27 Microsoft Corp 改良型のビデオコーディング方法および装置
JP2011217421A (ja) * 2006-08-08 2011-10-27 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法
US8374245B2 (en) 2002-06-03 2013-02-12 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive(B) pictures and motion vector prediction for multi-picture reference motion compensation
US8379722B2 (en) 2002-07-19 2013-02-19 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
JP2013157681A (ja) * 2012-01-27 2013-08-15 Fujitsu Semiconductor Ltd 動画像復号装置及び動画像復号方法
JP2014116951A (ja) * 2007-12-20 2014-06-26 Qualcomm Incorporated 適応探索範囲を用いた動き推定
JP2016178592A (ja) * 2015-03-23 2016-10-06 日本電気株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100778468B1 (ko) * 2000-12-12 2007-11-21 엘지전자 주식회사 움직임 추정 최적화 방법 및 장치
US20020172288A1 (en) * 2001-03-08 2002-11-21 Nyeongku Kwon Device and method for performing half-pixel accuracy fast search in video coding
US7050502B2 (en) * 2001-09-18 2006-05-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for motion vector detection and medium storing method program directed to the same
US20030103567A1 (en) * 2001-12-03 2003-06-05 Riemens Abraham Karel Motion compensation and/or estimation
KR100534207B1 (ko) * 2002-12-09 2005-12-08 삼성전자주식회사 비디오 부호화기의 움직임 추정기 및 그 방법
US6745115B1 (en) 2003-01-07 2004-06-01 Garmin Ltd. System, method and apparatus for searching geographic area using prioritized spacial order
US7386373B1 (en) * 2003-01-07 2008-06-10 Garmin International, Inc. System, method and apparatus for searching geographic area using prioritized spatial order
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
KR100599935B1 (ko) * 2003-10-15 2006-07-13 한국전자통신연구원 정화소 탐색시의 사드값 및 확률 변수에 기반한 고속의반화소 탐색 방법
KR100621137B1 (ko) * 2004-02-27 2006-09-13 세이코 엡슨 가부시키가이샤 동화상 부호화 장치 및 동화상 처리장치
TWI239474B (en) * 2004-07-28 2005-09-11 Novatek Microelectronics Corp Circuit for counting sum of absolute difference
TWI295540B (en) * 2005-06-15 2008-04-01 Novatek Microelectronics Corp Motion estimation circuit and operating method thereof
US7865019B2 (en) * 2005-07-27 2011-01-04 Siemens Corporation On optimizing template matching via performance characterization
US8059719B2 (en) * 2005-09-16 2011-11-15 Sony Corporation Adaptive area of influence filter
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US7957466B2 (en) * 2005-09-16 2011-06-07 Sony Corporation Adaptive area of influence filter for moving object boundaries
US7885335B2 (en) * 2005-09-16 2011-02-08 Sont Corporation Variable shape motion estimation in video sequence
US8165205B2 (en) 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
US7596243B2 (en) * 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
US8005308B2 (en) * 2005-09-16 2011-08-23 Sony Corporation Adaptive motion estimation for temporal prediction filter over irregular motion vector samples
US7894527B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Multi-stage linked process for adaptive motion vector sampling in video compression
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100959539B1 (ko) * 2005-10-05 2010-05-27 엘지전자 주식회사 레지듀얼 데이터 스트림을 생성하는 방법과 장치 및 이미지블록을 복원하는 방법과 장치
WO2009051419A2 (en) 2007-10-16 2009-04-23 Lg Electronics Inc. A method and an apparatus for processing a video signal
US20090245374A1 (en) * 2008-03-26 2009-10-01 Mediatek Inc. Video encoder and motion estimation method
JP5268433B2 (ja) * 2008-06-02 2013-08-21 キヤノン株式会社 撮像装置、及び撮像装置の制御方法
US8345996B2 (en) * 2008-07-07 2013-01-01 Texas Instruments Incorporated Determination of a field referencing pattern
US9453570B2 (en) * 2009-12-07 2016-09-27 Arvinmeritor Technology, Llc Differential lock with assisted return
US8654852B2 (en) * 2010-06-07 2014-02-18 Himax Technologies Ltd. Circuit for performing motion estimation and motion compensation
EP3860124B8 (en) * 2011-02-09 2025-05-07 LG Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
CN106331703B (zh) * 2015-07-03 2020-09-08 华为技术有限公司 视频编码和解码方法、视频编码和解码装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5200820A (en) * 1991-04-26 1993-04-06 Bell Communications Research, Inc. Block-matching motion estimator for video coder
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JPH07250328A (ja) * 1994-01-21 1995-09-26 Mitsubishi Electric Corp 動きベクトル検出装置
US5619268A (en) * 1995-01-17 1997-04-08 Graphics Communication Laboratories Motion estimation method and apparatus for calculating a motion vector
JPH0937269A (ja) * 1995-07-25 1997-02-07 Hitachi Ltd 画像圧縮装置
JP2806332B2 (ja) * 1995-11-29 1998-09-30 日本電気株式会社 動画像の動き補償回路
JP3994445B2 (ja) * 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
US6108039A (en) * 1996-05-23 2000-08-22 C-Cube Microsystems, Inc. Low bandwidth, two-candidate motion estimation for interlaced video
JPH1079947A (ja) * 1996-09-03 1998-03-24 Mitsubishi Electric Corp 動きベクトル検出装置
US5784108A (en) * 1996-12-03 1998-07-21 Zapex Technologies (Israel) Ltd. Apparatus for and method of reducing the memory bandwidth requirements of a systolic array
US5930403A (en) * 1997-01-03 1999-07-27 Zapex Technologies Inc. Method and apparatus for half pixel SAD generation utilizing a FIFO based systolic processor
JPH10327415A (ja) * 1997-05-22 1998-12-08 Mitsubishi Electric Corp 動きベクトル検出装置
US6212237B1 (en) * 1997-06-17 2001-04-03 Nippon Telegraph And Telephone Corporation Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program
US6332002B1 (en) * 1997-11-01 2001-12-18 Lg Electronics Inc. Motion prediction apparatus and method
JP3560804B2 (ja) * 1998-03-11 2004-09-02 富士通株式会社 動画像符号化方法及び装置
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003009179A (ja) * 2001-06-22 2003-01-10 Olympus Optical Co Ltd 動きベクトル及び視差ベクトル検出装置
US10284843B2 (en) 2002-01-25 2019-05-07 Microsoft Technology Licensing, Llc Video coding
US9888237B2 (en) 2002-01-25 2018-02-06 Microsoft Technology Licensing, Llc Video coding
JP2010119146A (ja) * 2002-01-25 2010-05-27 Microsoft Corp 改良型のビデオコーディング方法および装置
US8638853B2 (en) 2002-01-25 2014-01-28 Microsoft Corporation Video coding
JP2013081242A (ja) * 2002-01-25 2013-05-02 Microsoft Corp 改良型のビデオコーディング方法および装置
US8406300B2 (en) 2002-01-25 2013-03-26 Microsoft Corporation Video coding
US10116959B2 (en) 2002-06-03 2018-10-30 Microsoft Technology Licesning, LLC Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9571854B2 (en) 2002-06-03 2017-02-14 Microsoft Technology Licensing, Llc Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US9185427B2 (en) 2002-06-03 2015-11-10 Microsoft Technology Licensing, Llc Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US8873630B2 (en) 2002-06-03 2014-10-28 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US8374245B2 (en) 2002-06-03 2013-02-12 Microsoft Corporation Spatiotemporal prediction for bidirectionally predictive(B) pictures and motion vector prediction for multi-picture reference motion compensation
US8379722B2 (en) 2002-07-19 2013-02-19 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US8774280B2 (en) 2002-07-19 2014-07-08 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
US7933331B2 (en) 2003-07-15 2011-04-26 Lsi Corporation High quality, low memory bandwidth motion estimation processor
JP2007221662A (ja) * 2006-02-20 2007-08-30 Fujitsu Ltd 動きベクトル算出装置
JP2007274257A (ja) * 2006-03-31 2007-10-18 Fujitsu Ltd 動きベクトル検出装置
JP2011217421A (ja) * 2006-08-08 2011-10-27 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法
JP2008067353A (ja) * 2006-08-08 2008-03-21 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法
CN101536530B (zh) * 2006-11-07 2011-06-08 三星电子株式会社 基于运动估计进行视频编码和解码的方法和设备
WO2008056934A1 (en) 2006-11-07 2008-05-15 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
US8275039B2 (en) 2006-11-07 2012-09-25 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
JP2014116951A (ja) * 2007-12-20 2014-06-26 Qualcomm Incorporated 適応探索範囲を用いた動き推定
JP2013157681A (ja) * 2012-01-27 2013-08-15 Fujitsu Semiconductor Ltd 動画像復号装置及び動画像復号方法
JP2016178592A (ja) * 2015-03-23 2016-10-06 日本電気株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム

Also Published As

Publication number Publication date
US6765965B1 (en) 2004-07-20

Similar Documents

Publication Publication Date Title
JP2000308064A (ja) 動きベクトル検出装置
US11539976B2 (en) Motion estimation using collocated blocks
JP4358990B2 (ja) 動き推定システムおよび方法
JP3089165B2 (ja) 動きベクトル探索装置
KR100534207B1 (ko) 비디오 부호화기의 움직임 추정기 및 그 방법
US6687303B1 (en) Motion vector detecting device
US6674798B2 (en) Motion vector detecting device capable of accommodating a plurality of predictive modes
US4937666A (en) Circuit implementation of block matching algorithm with fractional precision
JP5877469B2 (ja) 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡
KR100739281B1 (ko) 움직임 추정 방법 및 장치
US20050238102A1 (en) Hierarchical motion estimation apparatus and method
JPH07193823A (ja) 映像データ・ブロック変換システム
US5754237A (en) Method for determining motion vectors using a hierarchical motion estimation
US20060098735A1 (en) Apparatus for motion estimation using a two-dimensional processing element array and method therefor
JP2004241918A (ja) 動画像の画像圧縮符号化方法及び装置
KR100450746B1 (ko) 계층탐색 기반의 혼합형 움직임 추정 장치 및 방법
KR100677562B1 (ko) 움직임 추정 방법 및 장치
US20050249284A1 (en) Method and apparatus for generating motion vector in hierarchical motion estimation
JP2000106674A (ja) 動き検出方法および装置
JP5089610B2 (ja) ブロック基盤の動き推定方法及び装置
Alkanhal et al. Correlation based search algorithms for motion estimation
US20040057626A1 (en) Motion estimation using a context adaptive search
JP3084170B2 (ja) 動きベクトル検出装置
Huang et al. An adaptively refined block matching algorithm for motion compensated video coding
KR100926440B1 (ko) 영상부호화를 위한 블록 매칭 움직임 추정 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080701