JPH07262381A - ブロック・マッチングによるイメージ・モーション推定方法 - Google Patents
ブロック・マッチングによるイメージ・モーション推定方法Info
- Publication number
- JPH07262381A JPH07262381A JP7033805A JP3380595A JPH07262381A JP H07262381 A JPH07262381 A JP H07262381A JP 7033805 A JP7033805 A JP 7033805A JP 3380595 A JP3380595 A JP 3380595A JP H07262381 A JPH07262381 A JP H07262381A
- Authority
- JP
- Japan
- Prior art keywords
- search
- block
- size
- blocks
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—Two-dimensional [2D] image generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 モーション・ベクトルを生成するブロック・
マッチング方法を提供する。 【構成】 より低い解像度のイメージにおいて決定され
るモーション・ベクトルを改善することにより、連続的
に高くなっていく解像度のイメージについてブロック・
マッチングを行う。より高くなっていく解像度のそれぞ
れのイメージでは、限定されたサーチ範囲のサーチ・エ
リアは、すぐ下の低解像度サーチにおける対応するイメ
ージ・エリアに関連するモーション・ベクトルによって
定義されている。イメージ解像度の少なくとも１つのレ
ベルでは、サーチ・ブロックは、限定されたサーチ範囲
の複数のサーチ・エリアが得られるようにオーバラップ
されて（２０８1,2 ）、すぐ上の高解像度レベルにおけ
る各ブロックのためのブロック・マッチング・サーチが
行われる。
マッチング方法を提供する。 【構成】 より低い解像度のイメージにおいて決定され
るモーション・ベクトルを改善することにより、連続的
に高くなっていく解像度のイメージについてブロック・
マッチングを行う。より高くなっていく解像度のそれぞ
れのイメージでは、限定されたサーチ範囲のサーチ・エ
リアは、すぐ下の低解像度サーチにおける対応するイメ
ージ・エリアに関連するモーション・ベクトルによって
定義されている。イメージ解像度の少なくとも１つのレ
ベルでは、サーチ・ブロックは、限定されたサーチ範囲
の複数のサーチ・エリアが得られるようにオーバラップ
されて（２０８1,2 ）、すぐ上の高解像度レベルにおけ
る各ブロックのためのブロック・マッチング・サーチが
行われる。
Description
【０００１】
【産業上の利用分野】本発明は、イメージ・モーション
を能率よく計算で推定する方法に関する。
を能率よく計算で推定する方法に関する。
【０００２】なお、本明細書の記述は本件出願の優先権
の基礎たる米国特許出願第０８／２００，５９９号（１
９９４年２月２３日出願）の明細書の記載に基づくもの
であって、当該米国特許出願の番号を参照することによ
って当該米国特許出願の明細書の記載内容が本明細書の
一部分を構成するものとする。
の基礎たる米国特許出願第０８／２００，５９９号（１
９９４年２月２３日出願）の明細書の記載に基づくもの
であって、当該米国特許出願の番号を参照することによ
って当該米国特許出願の明細書の記載内容が本明細書の
一部分を構成するものとする。
【０００３】
【背景技術】モーション・エスティメータ(motion esti
mator)を用いたビデオ信号デジタル・プロセッサはこの
技術分野では公知である。このようなプロセッサは、デ
ジタル化イメージ・フレームのシーケンスによって定義
される時変化イメージ(time-varying image)において描
写されたモーションを推定するために使用される。この
ようなモーション推定は、モーション補正コード化(mot
ion-compensated coding) 、フレーム・レート変換(fra
me rate conversion) 、スキャン（走査）変換、ノイズ
低減、三次元の時変化シーン分析、およびコンピュータ
・ビジョンにおけるオブジェクト・トラッキングといっ
たアプリケーションで有用である。
mator)を用いたビデオ信号デジタル・プロセッサはこの
技術分野では公知である。このようなプロセッサは、デ
ジタル化イメージ・フレームのシーケンスによって定義
される時変化イメージ(time-varying image)において描
写されたモーションを推定するために使用される。この
ようなモーション推定は、モーション補正コード化(mot
ion-compensated coding) 、フレーム・レート変換(fra
me rate conversion) 、スキャン（走査）変換、ノイズ
低減、三次元の時変化シーン分析、およびコンピュータ
・ビジョンにおけるオブジェクト・トラッキングといっ
たアプリケーションで有用である。
【０００４】モーション推定を行う１つの公知のアプロ
ーチでは、二次元ブロック・マッチング・プロセス(2-d
imensional block matching process)を採用している
が、このプロセスでは、現イメージ・フレームと前イメ
ージ・フレームとの間において全ピクセル解像度(full
pixel resolution) でブロックごとの探索が行われてい
る。現イメージの各ターゲット・ブロックについて、問
題となっていることは、予測イメージ(prediction imag
e)において最良マッチング・ブロック・エリアまでの平
行変位(translational displacement)を計算することで
ある。探索範囲(search range)がテレビジョンにおける
典型的モーションを十分にカバーするために、従来の網
羅的探索(exhaustive search) アプローチでは、費用が
かかり、あるいは実用化が困難となる。さらに、網羅的
探索から得られるモーション・ベクトルは、場面(scen
e) におけるオブジェクトの物理的モーションを正確に
反映していない場合があり、従って、最適なイメージ圧
縮((image compression)や誤差隠蔽(error concealmen
t) を促進することになっていない。
ーチでは、二次元ブロック・マッチング・プロセス(2-d
imensional block matching process)を採用している
が、このプロセスでは、現イメージ・フレームと前イメ
ージ・フレームとの間において全ピクセル解像度(full
pixel resolution) でブロックごとの探索が行われてい
る。現イメージの各ターゲット・ブロックについて、問
題となっていることは、予測イメージ(prediction imag
e)において最良マッチング・ブロック・エリアまでの平
行変位(translational displacement)を計算することで
ある。探索範囲(search range)がテレビジョンにおける
典型的モーションを十分にカバーするために、従来の網
羅的探索(exhaustive search) アプローチでは、費用が
かかり、あるいは実用化が困難となる。さらに、網羅的
探索から得られるモーション・ベクトルは、場面(scen
e) におけるオブジェクトの物理的モーションを正確に
反映していない場合があり、従って、最適なイメージ圧
縮((image compression)や誤差隠蔽(error concealmen
t) を促進することになっていない。
【０００５】モーション推定を行う他の公知のアプロー
チでは、階層ストラテジ(hierarchical strategy) を採
用している。この階層ストラテジでは、全解像度イメー
ジはピラミッド手法によって、連続的に減少する解像度
の複数のイメージに分解され、そのあと、これらのイメ
ージはイメージ・モーションの推定を粗から精細に向か
って行うために使用されている。この階層ストラテジの
一例としては、ハードウェアで実現され、モーション推
定をリアルタイムで行うことを可能にするものがあり、
本出願と同一の出願人に譲渡された、１９９４年１月４
日付け米国特許第５，２７６，５１３号(van der Waal)
に開示されている。このvan der Waal特許によれば、モ
ーション・ベクトルは、連続するイメージ・フレーム間
の最大イメージ変位よりも大きい、あるサイズのピクセ
ルを含んでいるピラミッド手法で得た(pyramid-derive
d) 低減解像度イメージについて最初に粗推定され、そ
のあと、これらの粗推定されたモーション・ベクトル
は、増加していく解像度のイメージについて連続的に精
細化され、最終的に、全解像度イメージのモーション・
ベクトルが得られる。各ピラミッド・レベルにおいて連
続するイメージ・フレーム間の最大イメージ変位は、そ
のレベルで±１ピクセルになっている。この階層ストラ
テジの別の例は、International Journal of Computer
Vision 2, 283-310 (1989)に掲載の論文「計算フレーム
ワークおよびビジュアル・モーションの測定アルゴリズ
ム」(Computational Framework and an Algorithm for
the Measurement of Visual Motion) に開示されてお
り、これはソフトウェアで実現され、オーバラップ・ピ
ラミッド粗−精細投影方式(overlapped pyramid coarse
-to-fine projection scheme) を採用して、イメージ・
モーションの推定をより正確化している。この階層スト
ラテジによるモーション推定は全解像度イメージだけで
行われる非階層モーション分析よりも計算効率が大幅に
向上しているが、van der Waalおよび前記論文による、
高精細イメージ(high-definition image) のシーケンス
に対して必要とされる計算総数については、依然として
高価なものとなっている。
チでは、階層ストラテジ(hierarchical strategy) を採
用している。この階層ストラテジでは、全解像度イメー
ジはピラミッド手法によって、連続的に減少する解像度
の複数のイメージに分解され、そのあと、これらのイメ
ージはイメージ・モーションの推定を粗から精細に向か
って行うために使用されている。この階層ストラテジの
一例としては、ハードウェアで実現され、モーション推
定をリアルタイムで行うことを可能にするものがあり、
本出願と同一の出願人に譲渡された、１９９４年１月４
日付け米国特許第５，２７６，５１３号(van der Waal)
に開示されている。このvan der Waal特許によれば、モ
ーション・ベクトルは、連続するイメージ・フレーム間
の最大イメージ変位よりも大きい、あるサイズのピクセ
ルを含んでいるピラミッド手法で得た(pyramid-derive
d) 低減解像度イメージについて最初に粗推定され、そ
のあと、これらの粗推定されたモーション・ベクトル
は、増加していく解像度のイメージについて連続的に精
細化され、最終的に、全解像度イメージのモーション・
ベクトルが得られる。各ピラミッド・レベルにおいて連
続するイメージ・フレーム間の最大イメージ変位は、そ
のレベルで±１ピクセルになっている。この階層ストラ
テジの別の例は、International Journal of Computer
Vision 2, 283-310 (1989)に掲載の論文「計算フレーム
ワークおよびビジュアル・モーションの測定アルゴリズ
ム」(Computational Framework and an Algorithm for
the Measurement of Visual Motion) に開示されてお
り、これはソフトウェアで実現され、オーバラップ・ピ
ラミッド粗−精細投影方式(overlapped pyramid coarse
-to-fine projection scheme) を採用して、イメージ・
モーションの推定をより正確化している。この階層スト
ラテジによるモーション推定は全解像度イメージだけで
行われる非階層モーション分析よりも計算効率が大幅に
向上しているが、van der Waalおよび前記論文による、
高精細イメージ(high-definition image) のシーケンス
に対して必要とされる計算総数については、依然として
高価なものとなっている。
【０００６】公知のように、現在意図しているようなデ
ジタル・テレビジョン・システム（高精細および標準解
像度の両方を含む）では、デジタル化ビデオ信号を限ら
れたバンド幅のビデオ・チャネル上で送信する前にビデ
オ圧縮(video compression)が必要である。従って、費
用的に見合いかつ実用化に足りる、十分に正確にかつ効
率的にモーション・ベクトルを計算する能力をもつビデ
オ圧縮エンコーダ(videocompression encoder)が望まれ
ている。
ジタル・テレビジョン・システム（高精細および標準解
像度の両方を含む）では、デジタル化ビデオ信号を限ら
れたバンド幅のビデオ・チャネル上で送信する前にビデ
オ圧縮(video compression)が必要である。従って、費
用的に見合いかつ実用化に足りる、十分に正確にかつ効
率的にモーション・ベクトルを計算する能力をもつビデ
オ圧縮エンコーダ(videocompression encoder)が望まれ
ている。
【０００７】
【発明の概要】本発明は、計算の複雑性(computational
complexity)を軽減化するブロック・マッチングによる
イメージ・モーション推定方法を意図している。
complexity)を軽減化するブロック・マッチングによる
イメージ・モーション推定方法を意図している。
【０００８】より詳細には、このブロック・マッチング
・イメージ・モーション推定方法は、現イメージ・フレ
ームの二次元デジタル化された全解像度イメージ、二次
元デジタル化された全解像度の前イメージ・フレーム、
現イメージ・フレームのＮレベルのピラミッド手法で得
た連続的に減少する解像度イメージ、および前イメージ
・フレームのＮレベルのピラミッド手法で得た連続的に
減少する解像度イメージを受けて動作するものである。
ここで、Ｎの値は少なくとも２であり、全解像度の現お
よび前イメージ・フレームの各々はゼロ（０）のピラミ
ッド・レベルを構成している。
・イメージ・モーション推定方法は、現イメージ・フレ
ームの二次元デジタル化された全解像度イメージ、二次
元デジタル化された全解像度の前イメージ・フレーム、
現イメージ・フレームのＮレベルのピラミッド手法で得
た連続的に減少する解像度イメージ、および前イメージ
・フレームのＮレベルのピラミッド手法で得た連続的に
減少する解像度イメージを受けて動作するものである。
ここで、Ｎの値は少なくとも２であり、全解像度の現お
よび前イメージ・フレームの各々はゼロ（０）のピラミ
ッド・レベルを構成している。
【０００９】本発明の方法は、（ａ）現イメージ・フレ
ームのＮ番目のピラミッド・レベルを、２つの次元の少
なくとも一方においてオーバラップされた第１サイズの
複数の探索ブロックに分割し、（ｂ）前イメージ・フレ
ームのＮ番目のピラミッド・レベルの一致探索(match s
earch)を、ある与えられた範囲エリアにわたって行うと
きに使用するために、オーバラップされた探索ブロック
の各々を利用して、その探索ブロックに対して最低一致
値(lowest match value)を示す、前イメージ・フレーム
のＮ番目のピラミッド・レベルのそのブロックまでのモ
ーション・ベクトルを決定するステップを含んでいる。
関連するＮ番目のピラミッド・レベル・ブロックの集合
は、それぞれの（Ｎ−１）番目のピラミッド・レベル・
ブロックをＮ番目のレベル上に投影することによって定
義される。複数の（関連ブロックの個数と同数の）ブロ
ック・マッチング探索は各（Ｎ−１）番目のレベル・ブ
ロックについて行われ、その探索において、それぞれの
関連するＮ番目のレベル・ブロックのモーション・ベク
トルは、それぞれの複数の探索の各探索ごとに、限られ
た（Ｎ−１）番目のレベル探索エリアを定義するために
利用される。各複数の探索ごとに、最低誤差値(lowest
error value)が得られるようなブロック・マッチング探
索が対応する（Ｎ−１）番目のレベル・ブロックについ
て選択される。
ームのＮ番目のピラミッド・レベルを、２つの次元の少
なくとも一方においてオーバラップされた第１サイズの
複数の探索ブロックに分割し、（ｂ）前イメージ・フレ
ームのＮ番目のピラミッド・レベルの一致探索(match s
earch)を、ある与えられた範囲エリアにわたって行うと
きに使用するために、オーバラップされた探索ブロック
の各々を利用して、その探索ブロックに対して最低一致
値(lowest match value)を示す、前イメージ・フレーム
のＮ番目のピラミッド・レベルのそのブロックまでのモ
ーション・ベクトルを決定するステップを含んでいる。
関連するＮ番目のピラミッド・レベル・ブロックの集合
は、それぞれの（Ｎ−１）番目のピラミッド・レベル・
ブロックをＮ番目のレベル上に投影することによって定
義される。複数の（関連ブロックの個数と同数の）ブロ
ック・マッチング探索は各（Ｎ−１）番目のレベル・ブ
ロックについて行われ、その探索において、それぞれの
関連するＮ番目のレベル・ブロックのモーション・ベク
トルは、それぞれの複数の探索の各探索ごとに、限られ
た（Ｎ−１）番目のレベル探索エリアを定義するために
利用される。各複数の探索ごとに、最低誤差値(lowest
error value)が得られるようなブロック・マッチング探
索が対応する（Ｎ−１）番目のレベル・ブロックについ
て選択される。
【００１０】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
に説明する。
【００１１】図１は、１６×１６ピクセルの全解像度ブ
ロック１００とｍ×ｎピクセルの全解像度イメージ１０
２を示したものである。ブロック１００は、ソース・イ
メージの現在のｍ×ｎピクセル全解像度イメージ・フレ
ームが分割されている、複数のかかる隣接ブロックから
選択されたｘ，ｙ座標をもつ１６×１６ピクセルのブロ
ックである場合があり、イメージ１０２は先行するｍ×
ｎピクセル全解像度イメージ・フレームである。前イメ
ージ・フレーム(previous image frame)と現イメージ・
フレーム(current image frame) との間でイメージ・モ
ーションが起こると、ゼロ・ピクセル（つまり、その次
元における静止イメージ）と、ある与えられた最大数の
ピクセル（つまり、単一フレーム期間中にその次元で予
想される最大移動）との間でイメージが水平方向と垂直
方向の各々に変位(displacement)することになる。図１
に例示する従来の方法では、連続する突合わせ(match)
は、ピクセル座標が選択されたブロック１００のそれに
対応している、ｍ×ｎピクセル・イメージ１０２のブロ
ックを中心にして、水平方向に±Ｒx （例えば、±１２
８）ピクセルの範囲にわたって、垂直方向に±Ｒy （例
えば、±１２８）ピクセルの範囲にわたって、ｍ×ｎピ
クセル・イメージ１０２の１６×１６ピクセル・ブロッ
クと１６×１６ピクセルの選択されたブロックとの間で
交互に行われている。従って、サーチエリアのサイズ
は、Ｒ（例えば、±１２８×±１２８＝６５，５３６）
ピクセルになっている。
ロック１００とｍ×ｎピクセルの全解像度イメージ１０
２を示したものである。ブロック１００は、ソース・イ
メージの現在のｍ×ｎピクセル全解像度イメージ・フレ
ームが分割されている、複数のかかる隣接ブロックから
選択されたｘ，ｙ座標をもつ１６×１６ピクセルのブロ
ックである場合があり、イメージ１０２は先行するｍ×
ｎピクセル全解像度イメージ・フレームである。前イメ
ージ・フレーム(previous image frame)と現イメージ・
フレーム(current image frame) との間でイメージ・モ
ーションが起こると、ゼロ・ピクセル（つまり、その次
元における静止イメージ）と、ある与えられた最大数の
ピクセル（つまり、単一フレーム期間中にその次元で予
想される最大移動）との間でイメージが水平方向と垂直
方向の各々に変位(displacement)することになる。図１
に例示する従来の方法では、連続する突合わせ(match)
は、ピクセル座標が選択されたブロック１００のそれに
対応している、ｍ×ｎピクセル・イメージ１０２のブロ
ックを中心にして、水平方向に±Ｒx （例えば、±１２
８）ピクセルの範囲にわたって、垂直方向に±Ｒy （例
えば、±１２８）ピクセルの範囲にわたって、ｍ×ｎピ
クセル・イメージ１０２の１６×１６ピクセル・ブロッ
クと１６×１６ピクセルの選択されたブロックとの間で
交互に行われている。従って、サーチエリアのサイズ
は、Ｒ（例えば、±１２８×±１２８＝６５，５３６）
ピクセルになっている。
【００１２】選択されたブロック１００の突合わせ位置
(match position)は、連続する突合わせの間で１ピクセ
ルだけ変位されている。マッチング・プロセスは、ｍ×
ｎピクセル・イメージ１０２のブロックと選択されたブ
ロック１００の対応するピクセルの２５６個のそれぞれ
のペアのデジタル値の間の差の絶対値（または差の正関
数）を計算し、次に、２５６個の差の和をとってその突
合わせの一致値を求めることからなっている（その結
果、求めた一致値がゼロであるときは、完全に一致して
いることを示している）。このマッチング・プロセスは
サーチ範囲 R内の各ピクセル突合わせ位置ごとに繰り返
されて（つまり、６５，５３６回）、ｍ×ｎピクセル・
イメージ１０２のどの特定の１６×１６ブロックが最小
一致値になっているかが決定される。
(match position)は、連続する突合わせの間で１ピクセ
ルだけ変位されている。マッチング・プロセスは、ｍ×
ｎピクセル・イメージ１０２のブロックと選択されたブ
ロック１００の対応するピクセルの２５６個のそれぞれ
のペアのデジタル値の間の差の絶対値（または差の正関
数）を計算し、次に、２５６個の差の和をとってその突
合わせの一致値を求めることからなっている（その結
果、求めた一致値がゼロであるときは、完全に一致して
いることを示している）。このマッチング・プロセスは
サーチ範囲 R内の各ピクセル突合わせ位置ごとに繰り返
されて（つまり、６５，５３６回）、ｍ×ｎピクセル・
イメージ１０２のどの特定の１６×１６ブロックが最小
一致値になっているかが決定される。
【００１３】最小一致値を持つと計算されたｍ×ｎピク
セル・イメージ１０２のブロックのｘ，ｙピクセル座標
と、選択されたブロック１００自体のｘ，ｙピクセル座
標との間の変位（つまり、モーション・ベクトル）によ
り、前イメージ・フレームと現イメージ・フレーム間で
行われたイメージ・モーション量の正確な推定値が得ら
れる。しかし、図１に示す従来のブロック・モーション
推定方法でこのイメージ・モーションの正確な推定値を
得るためには、計算の複雑性が比較的高くなるという犠
牲を伴っている（ここで言う「計算の複雑性」とは数量
的なもので、すべてのブロックをサーチするために必要
な「計算オペレーションの総数」を、全解像度イメージ
全体に含まれるピクセル数Ｎで除したものである）。あ
る「計算オペレーション」とは、任意のピラミッド・レ
ベルの分解能において２つのピクセル間を比較し、その
残余をアキュムレータに加えることである。範囲エリア
がＲであるとすると、網羅的サーチの複雑性はＲに等し
くなる。これは、現イメージの各全解像度ピクセルが、
前イメージのＲだけ異なる全解像度ピクセルと比較され
ることになるためである。
セル・イメージ１０２のブロックのｘ，ｙピクセル座標
と、選択されたブロック１００自体のｘ，ｙピクセル座
標との間の変位（つまり、モーション・ベクトル）によ
り、前イメージ・フレームと現イメージ・フレーム間で
行われたイメージ・モーション量の正確な推定値が得ら
れる。しかし、図１に示す従来のブロック・モーション
推定方法でこのイメージ・モーションの正確な推定値を
得るためには、計算の複雑性が比較的高くなるという犠
牲を伴っている（ここで言う「計算の複雑性」とは数量
的なもので、すべてのブロックをサーチするために必要
な「計算オペレーションの総数」を、全解像度イメージ
全体に含まれるピクセル数Ｎで除したものである）。あ
る「計算オペレーション」とは、任意のピラミッド・レ
ベルの分解能において２つのピクセル間を比較し、その
残余をアキュムレータに加えることである。範囲エリア
がＲであるとすると、網羅的サーチの複雑性はＲに等し
くなる。これは、現イメージの各全解像度ピクセルが、
前イメージのＲだけ異なる全解像度ピクセルと比較され
ることになるためである。
【００１４】マッチング・プロセスは、最良のブロック
・マッチにより定義されたイメージ・エリア内の実ピク
セル値の間隙を縫うように内挿ピクセル値を生成するこ
とによりさらに改善することができる。さらに別のブロ
ック・マッチング探索（サーチ）を±１／２ピクセル範
囲にわたって行うと、半ピクセル解像度の正確さでモー
ション・ベクトルが得られる。
・マッチにより定義されたイメージ・エリア内の実ピク
セル値の間隙を縫うように内挿ピクセル値を生成するこ
とによりさらに改善することができる。さらに別のブロ
ック・マッチング探索（サーチ）を±１／２ピクセル範
囲にわたって行うと、半ピクセル解像度の正確さでモー
ション・ベクトルが得られる。
【００１５】最低一致値(lowest match value)をもつ前
フレームのブロックのｘ，ｙ座標と現フレームの選択さ
れたブロック１００のｘ，ｙ座標との間の差によって、
最低一致値をもつ前フレームのブロックに関連するモー
ション・ベクトルが決定される。
フレームのブロックのｘ，ｙ座標と現フレームの選択さ
れたブロック１００のｘ，ｙ座標との間の差によって、
最低一致値をもつ前フレームのブロックに関連するモー
ション・ベクトルが決定される。
【００１６】本発明のモーション推定方法によれば、図
２ないし図７を参照して以下に説明するように、図１に
例示した従来のモーション推定方法による計算の複雑性
を、約７２０分の１に減少できるので、イメージ・モー
ション推定を実用化すると共に、コストを効率的にする
ことができる。
２ないし図７を参照して以下に説明するように、図１に
例示した従来のモーション推定方法による計算の複雑性
を、約７２０分の１に減少できるので、イメージ・モー
ション推定を実用化すると共に、コストを効率的にする
ことができる。
【００１７】より具体的には、本発明によれば、公知の
ピラミッド手法を利用することにより、全解像度ソース
・イメージの現イメージ・フレームと全解像度の前イメ
ージ・フレームは、連続的に減少していく解像度の複数
のイメージ・フレームに分解される。バンドパス、ロー
パス、エネルギといった異なるピラミッド・タイプが使
用可能であるが、以下では、説明を分かりやすくするた
めに、フィルタ・カーネル係数１，４，６，４，１をも
つ４レベルのガウス・ピラミッド(Gaussian pyramid)
（つまり、レベル０，１，２，３）を使用することを想
定する。これは、このガウス・ピラミッドによると、本
発明を効率よく実現できるためである。
ピラミッド手法を利用することにより、全解像度ソース
・イメージの現イメージ・フレームと全解像度の前イメ
ージ・フレームは、連続的に減少していく解像度の複数
のイメージ・フレームに分解される。バンドパス、ロー
パス、エネルギといった異なるピラミッド・タイプが使
用可能であるが、以下では、説明を分かりやすくするた
めに、フィルタ・カーネル係数１，４，６，４，１をも
つ４レベルのガウス・ピラミッド(Gaussian pyramid)
（つまり、レベル０，１，２，３）を使用することを想
定する。これは、このガウス・ピラミッドによると、本
発明を効率よく実現できるためである。
【００１８】図２，図３および図４は、ピクセル・ブロ
ックのサイズと、現ｍ×ｎピクセルの全解像度イメージ
・フレームがそれぞれのピラミッド・レベル０，１，２
および３の各々で分割される複数のブロックのサイズと
の間に存在する関係を示し、この関係は、本発明のモー
ション推定方法の好適実施例で使用されているものであ
る。より詳細に説明すると、ピラミッド・レベル０につ
いては、図２において、１６×１６ピクセルの全解像度
ブロック２００（これは図１で上述したブロック１００
とほぼ同じである）と、現ｍ×ｎピクセルの全解像度イ
メージ・フレーム２０２のピラミッド・レベル０を構成
する複数の１６×１６ピクセルの全解像度ブロック２０
０1,1 …２００m/16,n/16 の隣接配列（ｃｏｎｔｉｇｕ
ｏｕｓ ａｒｒａｎｇｅｍｅｎｔ）とを一緒に示してい
る。ピラミッド・レベル１については、図２において、
８×８ピクセルの１／２解像度（２つの次元の各々にお
ける）ブロック２０４と、現ｍ／２×ｎ／２ピクセルの
１／２解像度イメージ・フレーム２０６のピラミッド・
レベル１を構成する複数の８×８ピクセルの１／２解像
度ブロック２０４１，１…２０４m/16,n/16 の隣接配列
とを一緒に示している。ピラミッド・レベル２について
は、図３において、８×８ピクセルの１／４解像度ブロ
ック２０８と、現ｍ／４×ｎ／４ピクセルの１／４解像
度イメージ・フレーム２１０のピラミッド・レベル２を
構成する複数の８×８ピクセルの１／４解像度ブロック
２０８1,1…２０８m/16,n/16 の５０％オーバラップ
（各次元において）配列とを一緒に示している。ピラミ
ッド・レベル３については、図４において、８×８ピク
セルの１／８解像度ブロック２１２と、現ｍ／３２×ｎ
／３２ピクセルの１／８解像度イメージ・フレーム２14
のピラミッド・レベル３を構成する複数の８×８ピクセ
ルの１／８解像度ブロック２１２1,1 …２１２
m/32,n/32 の５０％オーバラップ（各次元において）配
列とを一緒に示している。以上から明らかなように、現
イメージのピラミッド・レベル２と３の各次元におい
て、イメージ・ブロックを５０％だけオーバラップさせ
ると、ブロックの数は、非オーバラップ（つまり、隣
接）配列に対して４倍に増加することになる。
ックのサイズと、現ｍ×ｎピクセルの全解像度イメージ
・フレームがそれぞれのピラミッド・レベル０，１，２
および３の各々で分割される複数のブロックのサイズと
の間に存在する関係を示し、この関係は、本発明のモー
ション推定方法の好適実施例で使用されているものであ
る。より詳細に説明すると、ピラミッド・レベル０につ
いては、図２において、１６×１６ピクセルの全解像度
ブロック２００（これは図１で上述したブロック１００
とほぼ同じである）と、現ｍ×ｎピクセルの全解像度イ
メージ・フレーム２０２のピラミッド・レベル０を構成
する複数の１６×１６ピクセルの全解像度ブロック２０
０1,1 …２００m/16,n/16 の隣接配列（ｃｏｎｔｉｇｕ
ｏｕｓ ａｒｒａｎｇｅｍｅｎｔ）とを一緒に示してい
る。ピラミッド・レベル１については、図２において、
８×８ピクセルの１／２解像度（２つの次元の各々にお
ける）ブロック２０４と、現ｍ／２×ｎ／２ピクセルの
１／２解像度イメージ・フレーム２０６のピラミッド・
レベル１を構成する複数の８×８ピクセルの１／２解像
度ブロック２０４１，１…２０４m/16,n/16 の隣接配列
とを一緒に示している。ピラミッド・レベル２について
は、図３において、８×８ピクセルの１／４解像度ブロ
ック２０８と、現ｍ／４×ｎ／４ピクセルの１／４解像
度イメージ・フレーム２１０のピラミッド・レベル２を
構成する複数の８×８ピクセルの１／４解像度ブロック
２０８1,1…２０８m/16,n/16 の５０％オーバラップ
（各次元において）配列とを一緒に示している。ピラミ
ッド・レベル３については、図４において、８×８ピク
セルの１／８解像度ブロック２１２と、現ｍ／３２×ｎ
／３２ピクセルの１／８解像度イメージ・フレーム２14
のピラミッド・レベル３を構成する複数の８×８ピクセ
ルの１／８解像度ブロック２１２1,1 …２１２
m/32,n/32 の５０％オーバラップ（各次元において）配
列とを一緒に示している。以上から明らかなように、現
イメージのピラミッド・レベル２と３の各次元におい
て、イメージ・ブロックを５０％だけオーバラップさせ
ると、ブロックの数は、非オーバラップ（つまり、隣
接）配列に対して４倍に増加することになる。
【００１９】両次元においてレベル２と３を５０％オー
バラップさせることは、単なる例である。このオーバラ
ップは２つの次元で異なるもにすることも、両次元にお
いてそれぞれのオーバラップを５０％以上または以下に
することも可能である。本発明の実施例では、オーバラ
ップするブロックを１つのピラミッド・レベルだけにす
ることも、２つまたはそれ以上のピラミッド・レベルに
することも可能である。
バラップさせることは、単なる例である。このオーバラ
ップは２つの次元で異なるもにすることも、両次元にお
いてそれぞれのオーバラップを５０％以上または以下に
することも可能である。本発明の実施例では、オーバラ
ップするブロックを１つのピラミッド・レベルだけにす
ることも、２つまたはそれ以上のピラミッド・レベルに
することも可能である。
【００２０】図２，図３および図４に示すように、各８
×８ピクセルの１／２解像度ブロック２０４は１６×１
６ピクセルの全解像度ブロック２００と同じサイズのイ
メージ・エリアを占めており、各８×８ピクセルの１／
４解像度ブロック２０８は１６×１６ピクセルの全解像
度ブロック２００の４倍のサイズのイメージ・エリアを
占めており、各８×８ピクセルの１／８解像度ブロック
２１２は１６×１６ピクセルの全解像度ブロック２００
の１６倍のサイズのイメージ・エリアを占めている。従
って、ブロック２１２の各ピクセルは、ブロック２００
の６４ピクセルが占めているのと同じエリアを占めてお
り、ブロック２０８の各ピクセルは、ブロック２００の
１６ピクセルが占めているのと同じエリアを占めてお
り、ブロック２０４の各ピクセルは、ブロック２００の
４ピクセルが占めているのと同じエリアを占めている。
×８ピクセルの１／２解像度ブロック２０４は１６×１
６ピクセルの全解像度ブロック２００と同じサイズのイ
メージ・エリアを占めており、各８×８ピクセルの１／
４解像度ブロック２０８は１６×１６ピクセルの全解像
度ブロック２００の４倍のサイズのイメージ・エリアを
占めており、各８×８ピクセルの１／８解像度ブロック
２１２は１６×１６ピクセルの全解像度ブロック２００
の１６倍のサイズのイメージ・エリアを占めている。従
って、ブロック２１２の各ピクセルは、ブロック２００
の６４ピクセルが占めているのと同じエリアを占めてお
り、ブロック２０８の各ピクセルは、ブロック２００の
１６ピクセルが占めているのと同じエリアを占めてお
り、ブロック２０４の各ピクセルは、ブロック２００の
４ピクセルが占めているのと同じエリアを占めている。
【００２１】本発明のモーション推定方法の好適実施例
は次の４つのステップからなり、その詳細を以下に説明
する。
は次の４つのステップからなり、その詳細を以下に説明
する。
【００２２】ステップ１：現ｍ／８×ｎ／８ピクセルの
１／８解像度イメージ・フレーム２14のピラミッド・レ
ベル３のオーバラップされたブロック２１２1,1 …２１
２m/32,n/32 の各々はサーチブロックとして使用され
て、１／８解像度の前イメージのピラミッド・レベル３
の網羅的突合わせ探索(ehaustive match search)が、あ
る与えられた範囲エリアＲにわたってそのサーチブロッ
クの座標に対して行われ（つまり、サーチブロックは、
連続する突合わせの間で、各次元においてピラミッド・
レベル３の１ピクセル分の距離だけ変位されている）、
そのピラミッド・レベル３のサーチブロックによるこれ
らの突合わせのうち、最低一致値をもつもののモーショ
ン・ベクトルが決定される。
１／８解像度イメージ・フレーム２14のピラミッド・レ
ベル３のオーバラップされたブロック２１２1,1 …２１
２m/32,n/32 の各々はサーチブロックとして使用され
て、１／８解像度の前イメージのピラミッド・レベル３
の網羅的突合わせ探索(ehaustive match search)が、あ
る与えられた範囲エリアＲにわたってそのサーチブロッ
クの座標に対して行われ（つまり、サーチブロックは、
連続する突合わせの間で、各次元においてピラミッド・
レベル３の１ピクセル分の距離だけ変位されている）、
そのピラミッド・レベル３のサーチブロックによるこれ
らの突合わせのうち、最低一致値をもつもののモーショ
ン・ベクトルが決定される。
【００２３】ステップ２：現ｍ／４×ｎ／４ピクセルの
１／４解像度イメージ・フレーム２１０のピラミッド・
レベル２のオーバラップされたブロック２０８1,1 …２
０８m/16,n/16 の各々はサーチブロックとして使用され
て、１／４解像度の前イメージのピラミッド・レベル２
のＰ回の突合わせ探索(P match search)が、例えば、制
限された±１，±１ピクセル範囲にわたって行われ、こ
れらのＰ回の突合わせ探索の各々は、ピラミッド・レベ
ル２のサーチブロックのあらかじめ決められた部分（例
えば、中央）が投影されている、ピラミッド・レベル３
のオーバラップしているＰ個のブロックのそれぞれのモ
ーション・ベクトルに対応する個別の「候補」投影モー
ション(a separate "candidate" projected motion) に
対して行われ、そのピラミッド・レベル２のサーチブロ
ックによるこれらの突合わせのうち、最低一致値をもつ
もののモーション・ベクトルが決定される。
１／４解像度イメージ・フレーム２１０のピラミッド・
レベル２のオーバラップされたブロック２０８1,1 …２
０８m/16,n/16 の各々はサーチブロックとして使用され
て、１／４解像度の前イメージのピラミッド・レベル２
のＰ回の突合わせ探索(P match search)が、例えば、制
限された±１，±１ピクセル範囲にわたって行われ、こ
れらのＰ回の突合わせ探索の各々は、ピラミッド・レベ
ル２のサーチブロックのあらかじめ決められた部分（例
えば、中央）が投影されている、ピラミッド・レベル３
のオーバラップしているＰ個のブロックのそれぞれのモ
ーション・ベクトルに対応する個別の「候補」投影モー
ション(a separate "candidate" projected motion) に
対して行われ、そのピラミッド・レベル２のサーチブロ
ックによるこれらの突合わせのうち、最低一致値をもつ
もののモーション・ベクトルが決定される。
【００２４】ステップ３：現ｍ／２×ｎ／２ピクセルの
１／２解像度イメージ・フレーム２０６のピラミッド・
レベル１の隣接するブロック２０４1,1 …２０４
m/16,n/16 の各々はサーチブロックとして使用されて、
１／２解像度の前イメージのピラミッド・レベル１のＱ
回の突合わせ探索が±1,±１ピクセル範囲にわたって行
われ、これらのＱ回の突合わせ探索の各々は、レベル１
のサーチブロックのあらかじめ決めたエリアが投影され
ているピラミッド・レベル２のオーバラップしているＱ
個のブロックのそれぞれのモーション・ベクトルに対応
する個別の「候補」投影モーションに対して行われ、そ
のピラミッド・レベル１のサーチブロックによるこれら
の突合わせのうち、最低一致値をもつもののモーション
・ベクトルが決定される。
１／２解像度イメージ・フレーム２０６のピラミッド・
レベル１の隣接するブロック２０４1,1 …２０４
m/16,n/16 の各々はサーチブロックとして使用されて、
１／２解像度の前イメージのピラミッド・レベル１のＱ
回の突合わせ探索が±1,±１ピクセル範囲にわたって行
われ、これらのＱ回の突合わせ探索の各々は、レベル１
のサーチブロックのあらかじめ決めたエリアが投影され
ているピラミッド・レベル２のオーバラップしているＱ
個のブロックのそれぞれのモーション・ベクトルに対応
する個別の「候補」投影モーションに対して行われ、そ
のピラミッド・レベル１のサーチブロックによるこれら
の突合わせのうち、最低一致値をもつもののモーション
・ベクトルが決定される。
【００２５】ステップ４：現ｍ×ｎピクセルの全解像度
イメージ・フレーム２０６のピラミッド・レベル０の隣
接するブロック２０４1,1 …２０４m/16,n/16 の各々は
サーチブロックとして使用されて、全解像度の前イメー
ジのピラミッド・レベル０の１回の突合わせ探索が、±
１，±１ピクセル範囲にわたって、ピラミッド・レベル
１の突合わせ探索時に最低一致値をもつと見つかった、
前イメージのピラミッド・レベル１のブロックに対して
行われ、そのピラミッド・レベル０のサーチブロックに
よるこれらの突合わせのうち、最低一致値をもつものの
モーション・ベクトルが決定される。
イメージ・フレーム２０６のピラミッド・レベル０の隣
接するブロック２０４1,1 …２０４m/16,n/16 の各々は
サーチブロックとして使用されて、全解像度の前イメー
ジのピラミッド・レベル０の１回の突合わせ探索が、±
１，±１ピクセル範囲にわたって、ピラミッド・レベル
１の突合わせ探索時に最低一致値をもつと見つかった、
前イメージのピラミッド・レベル１のブロックに対して
行われ、そのピラミッド・レベル０のサーチブロックに
よるこれらの突合わせのうち、最低一致値をもつものの
モーション・ベクトルが決定される。
【００２６】大きなエリアのサーチブロックを上位のピ
ラミッド・レベルで使用することは、正しいモーション
に対応しておらず、たまたま残余が小さくなっている変
位で低解像度ブロックが突き合わされるという可能性が
減少し、ピラミッド・レベル０で得られたモーション・
フィールドの円滑化が促進される点で望ましい。
ラミッド・レベルで使用することは、正しいモーション
に対応しておらず、たまたま残余が小さくなっている変
位で低解像度ブロックが突き合わされるという可能性が
減少し、ピラミッド・レベル０で得られたモーション・
フィールドの円滑化が促進される点で望ましい。
【００２７】他方、大きなブロックは、特にブロックが
ほぼ等しい２つの部分に分割されていると、異なった動
きをする領域間の境界をまたがる可能性が大になり、突
合わせが低下するという問題がある。ステップ１と２で
使用されているオーバラップによると、この問題は最小
化される。その理由は、イメージ場面（シーン）におけ
る２つの大きなオブジェクト間の境界を取り巻くブロッ
ク群をサーチするとき、そのグループのブロックの少な
くとも一部が２つの等しい部分に分割されることがない
ためである。
ほぼ等しい２つの部分に分割されていると、異なった動
きをする領域間の境界をまたがる可能性が大になり、突
合わせが低下するという問題がある。ステップ１と２で
使用されているオーバラップによると、この問題は最小
化される。その理由は、イメージ場面（シーン）におけ
る２つの大きなオブジェクト間の境界を取り巻くブロッ
ク群をサーチするとき、そのグループのブロックの少な
くとも一部が２つの等しい部分に分割されることがない
ためである。
【００２８】ステップ１では、全解像度範囲±Ｒx , ±
Ｒy に相当するサーチ範囲をカバーするように±Ｒx ／
８, ±Ｒy ／８ピクセル変位にわたってブロック突合わ
せ探索が行われる。従って、各ブロック突合わせ探索を
行うには、Ｒ／６４回の突合わせ計算オペレーションが
必要になる。全解像度ピラミッド・レベル０のピクセル
のエリアと各ピラミッド・レベル３のピクセルのエリア
との比率は１／６４である。しかし、ステップ１では水
平方向と垂直方向にオーバラップしているので、その比
率は４倍（５０％オーバラップのとき）に増加し、１／
１６になる。その結果、ステップ１の計算の複雑性（そ
の定義は上述したとおり）はＲ／６４×１／１６＝Ｒ／
１０２４である。±Ｒx と±Ｒy の各々が±１２８全解
像度ピクセルである（その結果、範囲エリアＲは６５，
５３６全解像度ピクセルである）との上記想定に基づく
と、ステップ１の計算の複雑性はわずか６５，５３６／
１０２４＝６４である。
Ｒy に相当するサーチ範囲をカバーするように±Ｒx ／
８, ±Ｒy ／８ピクセル変位にわたってブロック突合わ
せ探索が行われる。従って、各ブロック突合わせ探索を
行うには、Ｒ／６４回の突合わせ計算オペレーションが
必要になる。全解像度ピラミッド・レベル０のピクセル
のエリアと各ピラミッド・レベル３のピクセルのエリア
との比率は１／６４である。しかし、ステップ１では水
平方向と垂直方向にオーバラップしているので、その比
率は４倍（５０％オーバラップのとき）に増加し、１／
１６になる。その結果、ステップ１の計算の複雑性（そ
の定義は上述したとおり）はＲ／６４×１／１６＝Ｒ／
１０２４である。±Ｒx と±Ｒy の各々が±１２８全解
像度ピクセルである（その結果、範囲エリアＲは６５，
５３６全解像度ピクセルである）との上記想定に基づく
と、ステップ１の計算の複雑性はわずか６５，５３６／
１０２４＝６４である。
【００２９】図５の（Ａ），（Ｂ）および図６は、ステ
ップ２をもっと詳しく説明するために示した図である。
ここで図５（Ａ）は、ピラミッド・レベル２のサーチブ
ロック３００Ｓと、現フレーム・イメージの４つの５０
％水平方向および５０％垂直方向オーバラップ・ピラミ
ッド・レベル３の対応するサーチブロック３０２Ｓ，３
０４Ｓ，３０６Ｓおよび３０８Ｓ群の各サーチブロック
との関係を示す図である。図５（Ｂ）において、ブロッ
ク３０２Ｐは、ピラミッド・レベル３のサーチ期間に、
サーチブロック３０２Ｓに対して最低一致値をもつとわ
かった、前フレーム・イメージのブロックである。同様
に、ブロック３０４Ｐ，３０６Ｐおよび３０８Ｐは、そ
れぞれ、ピラミッド・レベル３のサーチ期間に、対応す
るサーチブロック３０４Ｓ，３０６Ｓおよび３０８Ｓの
各々に対して最低一致値をもつとわかった、前フレーム
・イメージのブロックである。図５（Ｂ）のブロック３
０２Ｐ，３０４Ｐ，３０６Ｐおよび３０８Ｐが図６にお
いて空間的に相互に切り離されて示されているのは、図
５（Ａ）に示した現フレーム・イメージのサーチブロッ
ク３００Ｓに対応する、前フレーム・イメージのピラミ
ッド・レベル２のブロック３００Ｐ−１，３００Ｐ−
２，３００Ｐ−３および３００Ｐ−４の各々を分かりや
すく示すためである。
ップ２をもっと詳しく説明するために示した図である。
ここで図５（Ａ）は、ピラミッド・レベル２のサーチブ
ロック３００Ｓと、現フレーム・イメージの４つの５０
％水平方向および５０％垂直方向オーバラップ・ピラミ
ッド・レベル３の対応するサーチブロック３０２Ｓ，３
０４Ｓ，３０６Ｓおよび３０８Ｓ群の各サーチブロック
との関係を示す図である。図５（Ｂ）において、ブロッ
ク３０２Ｐは、ピラミッド・レベル３のサーチ期間に、
サーチブロック３０２Ｓに対して最低一致値をもつとわ
かった、前フレーム・イメージのブロックである。同様
に、ブロック３０４Ｐ，３０６Ｐおよび３０８Ｐは、そ
れぞれ、ピラミッド・レベル３のサーチ期間に、対応す
るサーチブロック３０４Ｓ，３０６Ｓおよび３０８Ｓの
各々に対して最低一致値をもつとわかった、前フレーム
・イメージのブロックである。図５（Ｂ）のブロック３
０２Ｐ，３０４Ｐ，３０６Ｐおよび３０８Ｐが図６にお
いて空間的に相互に切り離されて示されているのは、図
５（Ａ）に示した現フレーム・イメージのサーチブロッ
ク３００Ｓに対応する、前フレーム・イメージのピラミ
ッド・レベル２のブロック３００Ｐ−１，３００Ｐ−
２，３００Ｐ−３および３００Ｐ−４の各々を分かりや
すく示すためである。
【００３０】図６に詳しく示すように、ピラミッド・レ
ベル２のブロック３００Ｐ−１はそれに関連するサーチ
ブロック３００Ｓに対して「候補」モーション・ベクト
ル３１０−１をもっている（この「候補」モーション・
ベクトル３１０−１は図５（Ａ）に示す現フレーム・イ
メージのピラミッド・レベル３のサーチブロック３０２
Ｓと、ステップ１のサーチ期間に、サーチブロック３０
２Ｓによって最低一致値をもつとわかった、図５（Ｂ）
に示すフレーム・イメージのピラミッド・レベル３のブ
ロック３０２Ｐとの間のイメージ変位に対応してい
る）。「候補」モーション・ベクトル３１０−２，３１
０−３または３１０−４は、ピラミッド・レベル２のブ
ロック３００Ｐ−２，３００Ｐ−３および３００Ｐ−４
とそれぞれ、同じように関連している。
ベル２のブロック３００Ｐ−１はそれに関連するサーチ
ブロック３００Ｓに対して「候補」モーション・ベクト
ル３１０−１をもっている（この「候補」モーション・
ベクトル３１０−１は図５（Ａ）に示す現フレーム・イ
メージのピラミッド・レベル３のサーチブロック３０２
Ｓと、ステップ１のサーチ期間に、サーチブロック３０
２Ｓによって最低一致値をもつとわかった、図５（Ｂ）
に示すフレーム・イメージのピラミッド・レベル３のブ
ロック３０２Ｐとの間のイメージ変位に対応してい
る）。「候補」モーション・ベクトル３１０−２，３１
０−３または３１０−４は、ピラミッド・レベル２のブ
ロック３００Ｐ−２，３００Ｐ−３および３００Ｐ−４
とそれぞれ、同じように関連している。
【００３１】図５（Ａ），（Ｂ）および図６は、ステッ
プ２で上述したのと同じ方法で、ステップ３の「候補」
モーション・ベクトルを決定する場合に適用される。
プ２で上述したのと同じ方法で、ステップ３の「候補」
モーション・ベクトルを決定する場合に適用される。
【００３２】ステップ２、３および４の各々では、ブロ
ック突合わせ探索が、例えば、±１，±１ピクセル変位
の限られたサーチ範囲（図７参照）にわたって、当該ス
テップの解像度で前フレームのブロック４００に対して
行われる。従って、±１，±１ブロックの突合わせ探索
(block-match search)は９回のマッチ計算オペレーショ
ンを必要とし、当該解像度のサーチブロックが使用され
て、ブロック４００自体と８個の変位した他のブロック
の各々が図７のサーチ範囲内で突き合わせ（マッチ）さ
れる。
ック突合わせ探索が、例えば、±１，±１ピクセル変位
の限られたサーチ範囲（図７参照）にわたって、当該ス
テップの解像度で前フレームのブロック４００に対して
行われる。従って、±１，±１ブロックの突合わせ探索
(block-match search)は９回のマッチ計算オペレーショ
ンを必要とし、当該解像度のサーチブロックが使用され
て、ブロック４００自体と８個の変位した他のブロック
の各々が図７のサーチ範囲内で突き合わせ（マッチ）さ
れる。
【００３３】従って、ステップ１では水平方向と垂直方
向のオーバラップを使用しているので、ステップ２で
は、その４つの「候補」モーション・ベクトルの各々に
ついてそのサーチ範囲全体をカバーするために、ブロッ
ク２０８の３６回（つまり、９×４）の突合わせ（マッ
チ）計算オペレーション（５０％オーバラップのとき）
が必要になる。全解像度ピクセルのエリアとピラミッド
・レベル２の各ピクセルのエリアとの比率は、１／１６
である。しかし、ステップ２では、水平方向と垂直方向
の両方の５０％オーバラップが使用されているので、そ
の比率は４倍に増加し、１／４になる。従って、ステッ
プ２自体の付加的「計算の複雑性」（その定義は上述し
たとおり）は１／４×３６＝９である。
向のオーバラップを使用しているので、ステップ２で
は、その４つの「候補」モーション・ベクトルの各々に
ついてそのサーチ範囲全体をカバーするために、ブロッ
ク２０８の３６回（つまり、９×４）の突合わせ（マッ
チ）計算オペレーション（５０％オーバラップのとき）
が必要になる。全解像度ピクセルのエリアとピラミッド
・レベル２の各ピクセルのエリアとの比率は、１／１６
である。しかし、ステップ２では、水平方向と垂直方向
の両方の５０％オーバラップが使用されているので、そ
の比率は４倍に増加し、１／４になる。従って、ステッ
プ２自体の付加的「計算の複雑性」（その定義は上述し
たとおり）は１／４×３６＝９である。
【００３４】ステップ２でも、５０％水平方向オーバラ
ップと５０％垂直方向オーバラップを使用していれば、
ステップ３では、そのサーチ範囲全体をカバーするため
に、ブロック２０４の３６回（つまり、９×４）の突合
わせ計算オペレーションが必要になる。全解像度ピクセ
ルのエリアとピラミッド・レベル１の各ピクセルのエリ
アとの比率は１／４倍である。ステップ３ではオーバラ
ップがないので、この比率は増加しない。従って、ステ
ップ３自体の付加的「計算の複雑性」（その定義は上述
したとおり）は１／４×３６＝９である。
ップと５０％垂直方向オーバラップを使用していれば、
ステップ３では、そのサーチ範囲全体をカバーするため
に、ブロック２０４の３６回（つまり、９×４）の突合
わせ計算オペレーションが必要になる。全解像度ピクセ
ルのエリアとピラミッド・レベル１の各ピクセルのエリ
アとの比率は１／４倍である。ステップ３ではオーバラ
ップがないので、この比率は増加しない。従って、ステ
ップ３自体の付加的「計算の複雑性」（その定義は上述
したとおり）は１／４×３６＝９である。
【００３５】ステップ３ではオーバラップが採用されて
いないので、ステップ４では、そのサーチ範囲をカバー
するために必要とされるブロック２００の突合わせ計算
オペレーションは９回だけである。全解像度ピクセルの
エリアとピラミッド・レベル１の各ピクセルのエリアと
の比率は１である。ステップ４ではオーバラップがない
ので、この比率は増加しない。従って、ステップ４自体
の付加的「計算の複雑性」（その定義は上述したとお
り）も９である。
いないので、ステップ４では、そのサーチ範囲をカバー
するために必要とされるブロック２００の突合わせ計算
オペレーションは９回だけである。全解像度ピクセルの
エリアとピラミッド・レベル１の各ピクセルのエリアと
の比率は１である。ステップ４ではオーバラップがない
ので、この比率は増加しない。従って、ステップ４自体
の付加的「計算の複雑性」（その定義は上述したとお
り）も９である。
【００３６】本発明のブロック・マッチング・モーショ
ン推定方法による上述した好適実施例のステップ１から
４までのすべての総「計算の複雑性」は６４＋９＋９＋
９＝９１であるのに対し、図１に例示した従来のブロッ
ク・マッチング・モーション推定方法の「計算の複雑
性」は６５，５３６である。従って、本発明のブロック
・マッチング・モーション推定方法による上述した好適
実施例によれば、「計算の複雑性」は、図１に例示した
従来のブロック・マッチング・モーション推定方法に比
べて、７２０（つまり、６５，５３６／９１）をわずか
越えるまでに減少することができる。
ン推定方法による上述した好適実施例のステップ１から
４までのすべての総「計算の複雑性」は６４＋９＋９＋
９＝９１であるのに対し、図１に例示した従来のブロッ
ク・マッチング・モーション推定方法の「計算の複雑
性」は６５，５３６である。従って、本発明のブロック
・マッチング・モーション推定方法による上述した好適
実施例によれば、「計算の複雑性」は、図１に例示した
従来のブロック・マッチング・モーション推定方法に比
べて、７２０（つまり、６５，５３６／９１）をわずか
越えるまでに減少することができる。
【００３７】さらに、本発明のブロック・マッチング・
モーション推定方法のステップ４によって最低一致値を
もつと見つかった単一ブロックに関連するモーション・
ベクトルの値の精度は、図１に例示した従来のブロック
・マッチング・モーション推定方法に関連して上述した
のと同じように向上することができる。
モーション推定方法のステップ４によって最低一致値を
もつと見つかった単一ブロックに関連するモーション・
ベクトルの値の精度は、図１に例示した従来のブロック
・マッチング・モーション推定方法に関連して上述した
のと同じように向上することができる。
【００３８】本発明は、上述したブロック・マッチング
・モーション推定方法の好適実施例の特定パラメータに
限定されるものではなく、「計算の複雑性」を減少する
ために本発明の原理を採用していれば、どのブロック・
マッチング・モーション推定方法にも適用可能である。
・モーション推定方法の好適実施例の特定パラメータに
限定されるものではなく、「計算の複雑性」を減少する
ために本発明の原理を採用していれば、どのブロック・
マッチング・モーション推定方法にも適用可能である。
【図１】ブロックごとのサーチが現デジタル化イメージ
・フレームと、先行するデジタル化イメージ・フレーム
から計算された前イメージ・フレームとの間で全解像度
で行われるような二次元ブロック・マッチング・プロセ
スを採用した、当該技術分野で公知の従来ブロック・モ
ーション推定方法の例を示す図である。
・フレームと、先行するデジタル化イメージ・フレーム
から計算された前イメージ・フレームとの間で全解像度
で行われるような二次元ブロック・マッチング・プロセ
スを採用した、当該技術分野で公知の従来ブロック・モ
ーション推定方法の例を示す図である。
【図２】図１に示した全解像度サーチ・ブロックと全解
像度の現イメージ・フレームの両方が、本発明によるモ
ーション推定方法の好適実施例を実現する際に採用され
ている１／２解像度のブロックにピラミッド手法で分解
されている様子を示す概略図である。
像度の現イメージ・フレームの両方が、本発明によるモ
ーション推定方法の好適実施例を実現する際に採用され
ている１／２解像度のブロックにピラミッド手法で分解
されている様子を示す概略図である。
【図３】図１に示した全解像度サーチ・ブロックと全解
像度の現イメージ・フレームの両方が、本発明によるモ
ーション推定方法の好適実施例を実現する際に採用され
ている１／４解像度のブロックにピラミッド手法で分解
されている様子を示す概略図である。
像度の現イメージ・フレームの両方が、本発明によるモ
ーション推定方法の好適実施例を実現する際に採用され
ている１／４解像度のブロックにピラミッド手法で分解
されている様子を示す概略図である。
【図４】図１に示した全解像度サーチ・ブロックと全解
像度の現イメージ・フレームの両方が、本発明によるモ
ーション推定方法の好適実施例を実現する際に採用され
ている１／８解像度のブロックにピラミッド手法で分解
されている様子を示す概略図である。
像度の現イメージ・フレームの両方が、本発明によるモ
ーション推定方法の好適実施例を実現する際に採用され
ている１／８解像度のブロックにピラミッド手法で分解
されている様子を示す概略図である。
【図５】本発明の好適実施例によるモーション推定方法
のステップを説明するための図である。
のステップを説明するための図である。
【図６】本発明の好適実施例によるモーション推定方法
のステップを説明するための図である。
のステップを説明するための図である。
【図７】本発明の好適実施例によるモーション推定方法
のステップを説明するための図である。
のステップを説明するための図である。
１００ 現フレームにおける１６×１６ピクセル全解像
度のブロック １０２ ｍ×ｎピクセル全解像度の前イメージ ２００ 現フレームにおける１６×１６ピクセル全解像
度のブロック ２０２ ｍ×ｎピクセル全解像度の現イメージ（ピラミ
ッド・レベル０） ２０４ ８×８ピクセル１／２解像度のブロック ２０６ ｍ／２×ｎ／２ピクセル１／２解像度の現イメ
ージ（ピラミッド・レベル１） ２０８ 現フレームにおける８×８ピクセル１／４解像
度のブロック ２１０ ｍ／４×ｎ／４ピクセル１／４解像度の現イメ
ージ（ピラミッド・レベル２） ２１２ 現フレームにおける８×８ピクセル１／８解像
度のブロック ２１４ ｍ／８×ｎ／８ピクセル１／４解像度の現イメ
ージ（ピラミッド・レベル３）
度のブロック １０２ ｍ×ｎピクセル全解像度の前イメージ ２００ 現フレームにおける１６×１６ピクセル全解像
度のブロック ２０２ ｍ×ｎピクセル全解像度の現イメージ（ピラミ
ッド・レベル０） ２０４ ８×８ピクセル１／２解像度のブロック ２０６ ｍ／２×ｎ／２ピクセル１／２解像度の現イメ
ージ（ピラミッド・レベル１） ２０８ 現フレームにおける８×８ピクセル１／４解像
度のブロック ２１０ ｍ／４×ｎ／４ピクセル１／４解像度の現イメ
ージ（ピラミッド・レベル２） ２１２ 現フレームにおける８×８ピクセル１／８解像
度のブロック ２１４ ｍ／８×ｎ／８ピクセル１／４解像度の現イメ
ージ（ピラミッド・レベル３）
フロントページの続き (72)発明者 パドマンアブハン アナンダン アメリカ合衆国 08648 ニュージャージ ー州 ローレンスヴィル カーバー プレ イス ビー２
Claims (16)
- 【請求項１】 現イメージ・フレームの二次元デジタル
化された全解像度イメージ、二次元デジタル化された全
解像度の前イメージ・フレーム、ピラミッド手法で得た
連続的に減少する該現イメージ・フレームのＮレベルの
解像度イメージ、およびピラミッド手法で得た連続的に
減少する該前イメージ・フレームのＮレベルの解像度イ
メージに応答するブロック・マッチング・イメージ・モ
ーション推定方法であって、Ｎは正の整数であり、該全
解像度の現イメージ・フレームおよび前イメージ・フレ
ームの各々は、ゼロ（０）のピラミッド・レベルを構成
しているものにおいて、該推定方法は、 （ａ）前記現イメージ・フレームの第Ｍ番目のピラミッ
ド・レベル（Ｍ≦Ｎ）を、前記２つの次元のうちの少な
くとも一方にオーバラップされた第１サイズの複数のサ
ーチ・ブロックに分割し、 （ｂ）前記オーバラップされたサーチ・ブロックを用い
て、前記前イメージ・フレームの第Ｍ番目のピラミッド
・レベルの突合わせ探索を、ある与えられた範囲エリア
にわたって行い、当該サーチ・ブロックに対して最低一
致値を示す、前記前イメージ・フレームの前記第Ｍ番目
のピラミッド・レベルの当該ブロックまでのモーション
・ベクトルを決定するステップを有することを特徴とす
るブロック・マッチングによるイメージ・モーション推
定方法。 - 【請求項２】 請求項２に記載の方法において、さら
に、 （ｃ）前記現イメージ・フレームの第（Ｍ−１）番目の
ピラミッド・レベルを、前記第１サイズよりも大きくな
い複数の第２のサーチ・ブロックに分割し、 （ｄ）第２サーチ・ブロックの所定エリアが投影される
前記第Ｍ番目のレベルのブロックＸを決定し、 （ｅ）前記ブロックＸの各々について、対応するモーシ
ョン・ベクトルを利用してレベル（Ｍ−１）における限
定されたサーチ範囲のＸサーチ・エリアを決定し、 （ｆ）レベル（Ｍ−１）における前記サーチ・エリアの
各々についてブロック・マッチング・サーチを行い、前
記第２サーチ・ブロックに対して最低誤差値が得られる
ブロック・マッチング・サーチを選択するステップを含
むことを特徴とするブロック・マッチングによるイメー
ジ・モーション推定方法。 - 【請求項３】 請求項２に記載の方法において、 前記第１サイズの前記複数のサーチ・ブロックは、前記
２つの次元の両方においてほぼ５０％オーバラップされ
ていることを特徴とするブロック・マッチングによるイ
メージ・モーション推定方法。 - 【請求項４】 請求項２に記載の方法において、 前記Ｎの値は３であり、 第Ｍ番目のピラミッド・レベルは第３ピラミッド・レベ
ルであり、第（Ｍ−１）番目のピラミッド・レベルは第
２ピラミッド・レベルであることを特徴とするブロック
・マッチングによるイメージ・モーション推定方法。 - 【請求項５】 請求項４に記載の方法において、 前記ステップ（ｃ）は、前記現イメージ・フレームの第
２ピラミッド・レベルを、前記２つの次元の少なくとも
一方においてオーバラップされた複数の前記第２サーチ
・ブロックに分割することを特徴とするブロック・マッ
チングによるイメージ・モーション推定方法。 - 【請求項６】 請求項５に記載の方法において、 前記第１サイズの前記複数のサーチ・ブロックと前記複
数の前記第２サーチ・ブロックは共に、前記２つの次元
の両方においてほぼ５０％オーバラップされていること
を特徴とするブロック・マッチングによるイメージ・モ
ーション推定方法。 - 【請求項７】 請求項６に記載の方法において、前記第
１サイズの前記サーチ・ブロックは矩形形状であり、 前記ステップ（ｃ）は、前記現イメージ・フレームの第
２ピラミッド・レベルを、その各々のそれぞれの寸法が
前記第１サイズのサーチ・ブロックの対応する寸法のサ
イズの半分になっている複数の矩形第２サーチ・ブロッ
クに分割することを特徴とするブロック・マッチングに
よるイメージ・モーション推定方法。 - 【請求項８】 請求項５に記載の方法において、さら
に、 （ｇ）前記現イメージ・フレームの第１ピラミッド・レ
ベルを、前記第３サーチ・ブロックよりもサイズが大き
くない複数の第３サーチ・ブロックに分割するステップ
であって、該第３サーチ・ブロックの各々は前記現イメ
ージ・フレームの前記オーバラップされた第２サーチ・
ブロック上に投影されているものと、 （ｈ）前記第３サーチ・ブロックの与えられた１つが投
影されている前記第２ピラミッド・レベルの各ブロック
の±1,±1 範囲にわたって別個の突合わせ探索を行う際
に使用するために、前記第３サーチ・ブロックの与えら
れた１つを用いるステップであって、各々の別個の突合
わせ探索は、前記第２ピラミッド・レベルのブロックの
異なる１つに関連するモーション・ベクトルを採用し
て、前記第３サーチ・ブロックの当該１つに対して行わ
れた総数の突合わせの中で最低一致値を示している、前
記別個の突合わせ探索のすべての前記±１，±１範囲の
単一ブロックに対して精練化されたモーション・ベクト
ルを決定するステップを含むことを特徴とするブロック
・マッチングによるイメージ・モーション推定方法。 - 【請求項９】 請求項８に記載の方法において、さら
に、 （ｉ）前記第３サーチ・ブロックの各々を、前記第３サ
ーチ・ブロックの与えられた１つとして用いるステップ
を含むことを特徴とするブロック・マッチングによるイ
メージ・モーション推定方法。 - 【請求項１０】 請求項８に記載の方法において、 前記第１サイズの前記複数のサーチ・ブロックと前記複
数の前記第２サーチ・ブロックは共に、前記２つの次元
の両方においてほぼ５０％オーバラップされていること
を特徴とするブロック・マッチングによるイメージ・モ
ーション推定方法。 - 【請求項１１】 請求項１０に記載の方法において、前
記第１サイズの前記複数のブロックと前記複数の前記第
２サーチ・ブロックは共に、矩形形状であり、 前記ステップ（ｃ）は前記現イメージ・フレームの第２
ピラミッド・レベルを、その各々のそれぞれの寸法が前
記第１サイズのサーチ・ブロックの対応する寸法のサイ
ズのほぼ半分になっている複数の矩形第２サーチ・ブロ
ックに分割することを含み、 前記ステップ（ｇ）は前記現イメージ・フレームの第１
ピラミッド・レベルを、その各々のそれぞれの寸法が第
２サーチ・ブロックの対応する寸法のサイズのほぼ半分
になっている複数の矩形第３サーチ・ブロックに分割す
ることを特徴とするブロック・マッチングによるイメー
ジ・モーション推定方法。 - 【請求項１２】 請求項８に記載の方法において、さら
に、 （ｊ）前記現イメージ・フレームの０ピラミッド・レベ
ルを、前記第３サーチ・ブロックよりもサイズが大きく
ない複数の第４サーチ・ブロックに分割し、 （ｋ）前記前イメージ・レベルの前記０ピラミッド・レ
ベルの各ブロックの±１，±１範囲にわたって突合わせ
探索を行う際に使用するために、前記第４サーチ・ブロ
ックの与えられた１つを用いて、前記第４サーチ・ブロ
ックの当該１つに対して最低一致値を示している、前記
±1,±1 範囲の単一ブロックに対して精練化されたモー
ション・ベクトルを決定するステップを含むことを特徴
とするブロック・マッチングによるイメージ・モーショ
ン推定方法。 - 【請求項１３】 請求項１２に記載の方法において、さ
らに、 （ｌ）前記第４サーチ・ブロックの各々を、前記第４サ
ーチ・ブロックの与えられた１つとして用いるステップ
を含むことを特徴とするブロック・マッチングによるイ
メージ・モーション推定方法。 - 【請求項１４】 請求項１２に記載の方法において、前
記第１サイズの前記複数のサーチ・ブロック、前記複数
の前記第２サーチ・ブロックおよび前記第３サーチ・ブ
ロックはすべて矩形形状であり、 前記ステップ（ｃ）は、前記現イメージ・フレームの第
２ピラミッド・レベルを、その各々のそれぞれの寸法が
前記第１サイズのサーチ・ブロックの対応する寸法のサ
イズの半分になっている複数の矩形第２サーチ・ブロッ
クに分割することを含み、 前記ステップ（ｇ）は前記現イメージ・フレームの第１
ピラミッド・レベルを、その各々のそれぞれの寸法が第
２サーチ・ブロックの対応する寸法のサイズのほぼ半分
になっている複数の矩形第３サーチ・ブロックに分割す
ることを含み、 前記ステップ（ｊ）は前記現イメージ・フレームの第０
ピラミッド・レベルを、その各々のそれぞれの寸法が第
３サーチ・ブロックの対応する寸法のサイズとほぼ等し
い複数の矩形第４サーチ・ブロックに分割することを特
徴とするブロック・マッチングによるイメージ・モーシ
ョン推定方法。 - 【請求項１５】 請求項１４に記載の方法において、 前記第３，第２および第３ピラミッド・レベルの解像度
はそれぞれ、２つの次元の各々において、全解像度の０
ピラミッド・レベルの１／８，１／４および１／２であ
ることを特徴とするブロック・マッチングによるイメー
ジ・モーション推定方法。 - 【請求項１６】 請求項１４に記載の方法において、 前記第３，第２および第１ピラミッド・レベルのサーチ
・ブロックの各々は、当該ピラミッド・レベルの８×８
ピクセルのブロックを含み、前記０ピラミッド・レベル
のサーチ・ブロックは前記０ピラミッド・レベルの１６
×１６ピクセルのブロックを含むことを特徴とするブロ
ック・マッチングによるイメージ・モーション推定方
法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US20059994A | 1994-02-23 | 1994-02-23 | |
| US200599 | 1994-02-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07262381A true JPH07262381A (ja) | 1995-10-13 |
Family
ID=22742388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7033805A Pending JPH07262381A (ja) | 1994-02-23 | 1995-02-22 | ブロック・マッチングによるイメージ・モーション推定方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5742710A (ja) |
| JP (1) | JPH07262381A (ja) |
| KR (1) | KR100362038B1 (ja) |
| CN (1) | CN1117481C (ja) |
| TW (1) | TW321748B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006022077A1 (ja) * | 2004-08-23 | 2006-03-02 | Sony Corporation | 撮像装置、撮像結果の処理方法及び集積回路 |
| JPWO2021193648A1 (ja) * | 2020-03-25 | 2021-09-30 |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2742248B1 (fr) * | 1995-12-06 | 1998-01-23 | Thomson Multimedia Sa | Procede de traitement de donnees dans des reseaux matriciels dans un systeme d'estimation de mouvement |
| JP3631868B2 (ja) * | 1996-12-20 | 2005-03-23 | 株式会社東芝 | 動きベクトル検出装置および方法 |
| JPH10210473A (ja) * | 1997-01-16 | 1998-08-07 | Toshiba Corp | 動きベクトル検出装置 |
| US6332002B1 (en) * | 1997-11-01 | 2001-12-18 | Lg Electronics Inc. | Motion prediction apparatus and method |
| US6611287B1 (en) * | 1997-11-28 | 2003-08-26 | Sony Corporation | Camera signal processing apparatus and camera signal processing method |
| US6259737B1 (en) * | 1998-06-05 | 2001-07-10 | Innomedia Pte Ltd | Method and apparatus for fast motion estimation in video coding |
| US6459822B1 (en) * | 1998-08-26 | 2002-10-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Video image stabilization and registration |
| KR100457065B1 (ko) * | 1998-12-29 | 2005-05-19 | 주식회사 대우일렉트로닉스 | 비디오신호의움직임벡터생성장치 |
| KR20000044735A (ko) * | 1998-12-30 | 2000-07-15 | 전주범 | 움직임 추정 장치 |
| SG89282A1 (en) | 1999-05-28 | 2002-06-18 | Kent Ridge Digital Labs | Motion information extraction system |
| US6842483B1 (en) | 2000-09-11 | 2005-01-11 | The Hong Kong University Of Science And Technology | Device, method and digital video encoder for block-matching motion estimation |
| US6785427B1 (en) * | 2000-09-20 | 2004-08-31 | Arcsoft, Inc. | Image matching using resolution pyramids with geometric constraints |
| US6941018B2 (en) * | 2001-03-23 | 2005-09-06 | Glory Ltd. | Method of and apparatus for searching corresponding points between images, and computer program |
| EP1259079B1 (en) * | 2001-04-30 | 2007-03-21 | STMicroelectronics Pvt. Ltd | An efficient low power motion estimation of a video frame sequence |
| KR100446235B1 (ko) * | 2001-05-07 | 2004-08-30 | 엘지전자 주식회사 | 다중 후보를 이용한 움직임 벡터 병합 탐색 방법 |
| FI110745B (fi) * | 2001-11-13 | 2003-03-14 | Hantro Products Oy | Menetelmä ja laite peräkkäisten kuvien koodaamiseksi |
| US7400782B2 (en) * | 2002-08-28 | 2008-07-15 | Arcsoft, Inc. | Image warping correction in forming 360 degree panoramic images |
| US7983446B2 (en) * | 2003-07-18 | 2011-07-19 | Lockheed Martin Corporation | Method and apparatus for automatic object identification |
| US7409105B2 (en) * | 2003-10-22 | 2008-08-05 | Arcsoft, Inc. | Panoramic maker engine for a low profile system |
| US7346109B2 (en) * | 2003-12-23 | 2008-03-18 | Genesis Microchip Inc. | Motion vector computation for video sequences |
| US7463778B2 (en) * | 2004-01-30 | 2008-12-09 | Hewlett-Packard Development Company, L.P | Motion estimation for compressing multiple view images |
| US7382915B2 (en) * | 2004-03-16 | 2008-06-03 | Xerox Corporation | Color to grayscale conversion method and apparatus |
| FR2868579A1 (fr) * | 2004-03-30 | 2005-10-07 | St Microelectronics Sa | Procede et dispositif de generation de vecteurs candidats pour les systemes d'interpolation d'images par estimation et compensation de mouvement |
| KR100677562B1 (ko) * | 2005-02-03 | 2007-02-02 | 삼성전자주식회사 | 움직임 추정 방법 및 장치 |
| US20060215036A1 (en) * | 2005-03-25 | 2006-09-28 | Multivision Intelligent Surveillance (Hk) Ltd. | Method and apparatus for video stabilization |
| DE102006030990A1 (de) * | 2005-11-14 | 2007-05-16 | Univ Muenster Wilhelms | Verfahren und Anordnung zum monoskopischen Darstellen wenigstens eines Bereiches eines Bildes auf einer autostereoskopischen Anzeigevorrichtung |
| US8085849B1 (en) * | 2006-11-03 | 2011-12-27 | Keystream Corporation | Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks |
| WO2008073416A1 (en) * | 2006-12-11 | 2008-06-19 | Cinnafilm, Inc. | Real-time film effects processing for digital video |
| US8233748B2 (en) * | 2007-07-20 | 2012-07-31 | Samsung Electronics Co., Ltd. | Image-resolution-improvement apparatus and method |
| KR101354899B1 (ko) * | 2007-08-29 | 2014-01-27 | 삼성전자주식회사 | 파노라마 사진 촬영 방법 |
| CN101971209A (zh) * | 2008-01-11 | 2011-02-09 | 卓然(法国) | 超高分辨率视频处理的稀疏几何结构 |
| US8175160B1 (en) * | 2008-06-09 | 2012-05-08 | Nvidia Corporation | System, method, and computer program product for refining motion vectors |
| US8064733B2 (en) * | 2008-06-24 | 2011-11-22 | Microsoft Corporation | Variable resolution images |
| US7983512B2 (en) * | 2008-06-24 | 2011-07-19 | Microsoft Corporation | Embedding large images within one another |
| US7933473B2 (en) * | 2008-06-24 | 2011-04-26 | Microsoft Corporation | Multiple resolution image storage |
| US20100026897A1 (en) * | 2008-07-30 | 2010-02-04 | Cinnafilm, Inc. | Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution |
| AT509025B1 (de) * | 2009-01-21 | 2013-07-15 | Arc Austrian Res Centers Gmbh | Verfahren zur ermittlung der positionen von passpunkten |
| JP5141633B2 (ja) * | 2009-04-24 | 2013-02-13 | ソニー株式会社 | 画像処理方法及びそれを用いた画像情報符号化装置 |
| JP5683153B2 (ja) * | 2010-07-09 | 2015-03-11 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US8891626B1 (en) | 2011-04-05 | 2014-11-18 | Google Inc. | Center of motion for encoding motion fields |
| US9094689B2 (en) | 2011-07-01 | 2015-07-28 | Google Technology Holdings LLC | Motion vector prediction design simplification |
| KR101616010B1 (ko) | 2011-11-04 | 2016-05-17 | 구글 테크놀로지 홀딩스 엘엘씨 | 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링 |
| TW201328359A (zh) * | 2011-12-19 | 2013-07-01 | Ind Tech Res Inst | 基於壓縮域的移動物件偵測方法及裝置 |
| US9762904B2 (en) | 2011-12-22 | 2017-09-12 | Qualcomm Incorporated | Performing motion vector prediction for video coding |
| US8908767B1 (en) | 2012-02-09 | 2014-12-09 | Google Inc. | Temporal motion vector prediction |
| ITVI20120087A1 (it) | 2012-04-17 | 2013-10-18 | St Microelectronics Srl | Stabilizzazione video digitale |
| US9172970B1 (en) | 2012-05-29 | 2015-10-27 | Google Inc. | Inter frame candidate selection for a video encoder |
| US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
| US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
| US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
| US9313493B1 (en) | 2013-06-27 | 2016-04-12 | Google Inc. | Advanced motion estimation |
| US9305362B1 (en) * | 2014-02-28 | 2016-04-05 | Xilinx, Inc. | Image stabilization |
| KR102564477B1 (ko) * | 2015-11-30 | 2023-08-07 | 삼성전자주식회사 | 객체 검출 방법 및 장치 |
| CN108230294B (zh) * | 2017-06-14 | 2020-09-29 | 北京市商汤科技开发有限公司 | 图像检测方法、装置、电子设备和存储介质 |
| KR102430225B1 (ko) * | 2017-06-30 | 2022-08-09 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 모션 벡터 정제를 위한 검색 영역 |
| JP7554259B2 (ja) | 2020-03-25 | 2024-09-19 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4674125A (en) * | 1983-06-27 | 1987-06-16 | Rca Corporation | Real-time hierarchal pyramid signal processing apparatus |
| US4703514A (en) * | 1985-09-16 | 1987-10-27 | Rca Corporation | Programmed implementation of real-time multiresolution signal processing apparatus |
| EP0285902A3 (de) * | 1987-04-07 | 1990-10-10 | Siemens Aktiengesellschaft | Verfahren zur Datenreduktion digitaler Bildsequenzen |
| DE3851786T2 (de) * | 1987-06-09 | 1995-03-09 | Sony Corp | Auswahl eines Bewegungsvektors in Fernsehbildern. |
| FR2623955B1 (fr) * | 1987-11-27 | 1990-04-27 | Labo Electronique Physique | Procede et dispositif d'estimation et de compensation de mouvement dans une sequence d'images et leur application dans un systeme de transmission d'images de television a haute definition |
| FR2633468B1 (fr) * | 1988-06-24 | 1990-11-09 | France Etat | Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees |
| FR2651399B1 (fr) * | 1989-08-29 | 1996-05-15 | Thomson Consumer Electronics | Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images. |
| JPH0385884A (ja) * | 1989-08-29 | 1991-04-11 | Sony Corp | 画像の動き検出回路 |
| JPH03117991A (ja) * | 1989-09-29 | 1991-05-20 | Victor Co Of Japan Ltd | 動きベクトル符号化装置及び復号化装置 |
| US4937666A (en) * | 1989-12-04 | 1990-06-26 | Bell Communications Research, Inc. | Circuit implementation of block matching algorithm with fractional precision |
| FR2663178B1 (fr) * | 1990-06-06 | 1995-07-21 | Thomson Csf | Procede d'estimation hierarchique du mouvement dans une sequence d'images. |
| JP2549479B2 (ja) * | 1991-12-06 | 1996-10-30 | 日本電信電話株式会社 | 動き補償フレーム間帯域分割符号化処理方法 |
| US5276513A (en) * | 1992-06-10 | 1994-01-04 | Rca Thomson Licensing Corporation | Implementation architecture for performing hierarchical motion analysis of video images in real time |
-
1994
- 1994-09-14 TW TW083108497A patent/TW321748B/zh not_active IP Right Cessation
-
1995
- 1995-02-22 CN CN95100795A patent/CN1117481C/zh not_active Expired - Fee Related
- 1995-02-22 KR KR1019950003417A patent/KR100362038B1/ko not_active Expired - Fee Related
- 1995-02-22 JP JP7033805A patent/JPH07262381A/ja active Pending
- 1995-07-11 US US08/500,558 patent/US5742710A/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006022077A1 (ja) * | 2004-08-23 | 2006-03-02 | Sony Corporation | 撮像装置、撮像結果の処理方法及び集積回路 |
| JPWO2006022077A1 (ja) * | 2004-08-23 | 2008-05-08 | ソニー株式会社 | 撮像装置、撮像結果の処理方法及び集積回路 |
| JP4640338B2 (ja) * | 2004-08-23 | 2011-03-02 | ソニー株式会社 | 撮像装置、撮像結果の処理方法及び集積回路 |
| JPWO2021193648A1 (ja) * | 2020-03-25 | 2021-09-30 | ||
| WO2021193648A1 (ja) * | 2020-03-25 | 2021-09-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置およびサーバ |
Also Published As
| Publication number | Publication date |
|---|---|
| KR950033960A (ko) | 1995-12-26 |
| KR100362038B1 (ko) | 2003-03-04 |
| US5742710A (en) | 1998-04-21 |
| CN1117481C (zh) | 2003-08-06 |
| CN1125375A (zh) | 1996-06-26 |
| TW321748B (ja) | 1997-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100362038B1 (ko) | 화상움직임을추정하는계산상효율적인방법 | |
| US6229570B1 (en) | Motion compensation image interpolation—frame rate conversion for HDTV | |
| JP4159606B2 (ja) | 動き推定 | |
| US6240211B1 (en) | Method for motion estimated and compensated field rate up-conversion (FRU) for video applications and device for actuating such method | |
| US6285804B1 (en) | Resolution improvement from multiple images of a scene containing motion at fractional pixel values | |
| RU2251820C2 (ru) | Экстраполяция вектора движения для перекодировки видеопоследовательности | |
| US5526053A (en) | Motion compensated video signal processing | |
| US7630566B2 (en) | Method and apparatus for improved estimation and compensation in digital video compression and decompression | |
| KR100579493B1 (ko) | 움직임 벡터 생성 장치 및 방법 | |
| EP0734178A2 (en) | Method and apparatus for determining true motion vectors for selected pixels | |
| EP0395264B1 (en) | Motion dependent video signal processing | |
| WO2004057460A2 (en) | Segment-based motion estimation | |
| US5012336A (en) | Motion dependent video signal processing | |
| CN102215416A (zh) | 用于处理立体图像的方法以及相应装置 | |
| US9270870B2 (en) | Motion estimation with variable spatial resolution | |
| JPH0955943A (ja) | 映像信号符号化装置 | |
| US8305500B2 (en) | Method of block-based motion estimation | |
| US6160917A (en) | Method of calculating motion vectors | |
| WO2007089068A1 (en) | Method and apparatus for block-based motion estimation | |
| Biswas et al. | A novel motion estimation algorithm using phase plane correlation for frame rate conversion | |
| EP0731612B1 (en) | Apparatus for encoding a video signal using search grids for motion estimation and compensation | |
| CN101288310B (zh) | 运动估计 | |
| Braun et al. | Motion-compensating real-time format converter for video on multimedia displays | |
| KR100213021B1 (ko) | 중첩 움직임 추정 및 보상방법 | |
| JPH06205403A (ja) | インテグラルプロゼクションを利用した動きベクター検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040901 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040906 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050513 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20050811 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050811 |