JPH099263A - 動画像の動き補償予測符号化方法および符号化器 - Google Patents
動画像の動き補償予測符号化方法および符号化器Info
- Publication number
- JPH099263A JPH099263A JP15469995A JP15469995A JPH099263A JP H099263 A JPH099263 A JP H099263A JP 15469995 A JP15469995 A JP 15469995A JP 15469995 A JP15469995 A JP 15469995A JP H099263 A JPH099263 A JP H099263A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- motion vector
- encoding target
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 ブロックマッチング型の動ベクトル検出法に
おいて、空間的かつ時間的に連続した動ベクトルを検出
する。 【構成】 符号化対象画像１がフレームメモリ６６に入
力され、フレームメモリ６６内にすでに蓄積されてい
る、符号化対象画像１と時間的に連続した複数の符号化
対象画像とをつなげ、時空間画像６１を作成する。時空
間画像６１はフレームメモリ６６から輝度値連続情報検
出器６５に入力され、時間方向に輝度値が似た方向の表
す所の線要素抽出を行なう。また、符号化対象画像１
は、輝度値連続情報６２と共に動き検出部６３に入力さ
れ、各ブロックの動ベクトル６４が求められる。動き検
出部６３では、その曲線式から符号化対象画像１内の各
ブロックごとの推定探索位置を求め、その推定探索位置
近傍のみを探索し、動ベクトル６４を検出する。
おいて、空間的かつ時間的に連続した動ベクトルを検出
する。 【構成】 符号化対象画像１がフレームメモリ６６に入
力され、フレームメモリ６６内にすでに蓄積されてい
る、符号化対象画像１と時間的に連続した複数の符号化
対象画像とをつなげ、時空間画像６１を作成する。時空
間画像６１はフレームメモリ６６から輝度値連続情報検
出器６５に入力され、時間方向に輝度値が似た方向の表
す所の線要素抽出を行なう。また、符号化対象画像１
は、輝度値連続情報６２と共に動き検出部６３に入力さ
れ、各ブロックの動ベクトル６４が求められる。動き検
出部６３では、その曲線式から符号化対象画像１内の各
ブロックごとの推定探索位置を求め、その推定探索位置
近傍のみを探索し、動ベクトル６４を検出する。
Description
【０００１】
【産業上の利用分野】本発明は、画像通信、画像記録等
に利用される画像信号のディジタル圧縮符号化方法に関
し、特に領域分割による動画像の動き補償予測符号化方
法に関する。
に利用される画像信号のディジタル圧縮符号化方法に関
し、特に領域分割による動画像の動き補償予測符号化方
法に関する。
【０００２】
【従来の技術】動画像のディジタル圧縮符号化におい
て、動画像信号の時間冗長性を抑圧する手段として、動
き補償フレーム間予測がしばしば用いられる。このフレ
ーム間予測では、通常、符号化対象画像を１６画素×１
６ライン等の矩形ブロックに区切り、各ブロック毎に参
照画像との間の動き量（動きベクトル）を検出し、参照
画像を動きベクトル分シフトして生成した予測画像と符
号化対象画像との差分（動き補償予測誤差）信号を符号
化する。この動き補償フレーム間予測により動画像のフ
レーム間相関は飛躍的に向上し、単純フレーム間予測に
比べ大幅な情報圧縮が得られる。さらに、動き補償予測
誤差信号に対して離散コサイン変換（ＤＣＴ：Ｄｉｓｃ
ｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）やサブ
バンド分割を施すことにより、空間方向の冗長性も抑圧
され、一層の情報圧縮が図られる。このため、テレビ電
話／会議用ビデオ符号化ＩＴＵ−Ｔ Ｈ．２６１、蓄積
用ビデオ符号化ＩＳＯ／ＩＥＣ １１１７２（ＭＰＥＧ
−１）などでは、動き補償フレーム間予測による残差信
号をＤＣＴ符号化するハイブリッド符号化構成が採用さ
れている。
て、動画像信号の時間冗長性を抑圧する手段として、動
き補償フレーム間予測がしばしば用いられる。このフレ
ーム間予測では、通常、符号化対象画像を１６画素×１
６ライン等の矩形ブロックに区切り、各ブロック毎に参
照画像との間の動き量（動きベクトル）を検出し、参照
画像を動きベクトル分シフトして生成した予測画像と符
号化対象画像との差分（動き補償予測誤差）信号を符号
化する。この動き補償フレーム間予測により動画像のフ
レーム間相関は飛躍的に向上し、単純フレーム間予測に
比べ大幅な情報圧縮が得られる。さらに、動き補償予測
誤差信号に対して離散コサイン変換（ＤＣＴ：Ｄｉｓｃ
ｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）やサブ
バンド分割を施すことにより、空間方向の冗長性も抑圧
され、一層の情報圧縮が図られる。このため、テレビ電
話／会議用ビデオ符号化ＩＴＵ−Ｔ Ｈ．２６１、蓄積
用ビデオ符号化ＩＳＯ／ＩＥＣ １１１７２（ＭＰＥＧ
−１）などでは、動き補償フレーム間予測による残差信
号をＤＣＴ符号化するハイブリッド符号化構成が採用さ
れている。
【０００３】ＩＴＵ−Ｔ（前ＣＣＩＴＴ）勧告Ｈ．２６
１は、「ｐ×６４ｋｂ／ｓ オーディオビジュアルサー
ビス用ビデオ符号化方式」と題され、６４ｋｂ／ｓ（ｐ
＝１）から２Ｍｂ／ｓ（ｐ＝３０）までのビットレート
を用いる通信用のビデオ符号化標準である。標準化の作
業開始は１９８４年１２月、勧告成立は１９９０年１２
月である。アプリケーションとしてはテレビ電話、テレ
ビ会議等が挙げられる。Ｈ．２６１は動画像信号の時間
的冗長度を動き補償予測により抑圧し、各フレームの空
間的冗長度を離散コサイン変換（ＤＣＴ）符号化により
抑圧する。以下、図２を用いてＨ．２６１の符号化アル
ゴリズムを簡単に説明する。
１は、「ｐ×６４ｋｂ／ｓ オーディオビジュアルサー
ビス用ビデオ符号化方式」と題され、６４ｋｂ／ｓ（ｐ
＝１）から２Ｍｂ／ｓ（ｐ＝３０）までのビットレート
を用いる通信用のビデオ符号化標準である。標準化の作
業開始は１９８４年１２月、勧告成立は１９９０年１２
月である。アプリケーションとしてはテレビ電話、テレ
ビ会議等が挙げられる。Ｈ．２６１は動画像信号の時間
的冗長度を動き補償予測により抑圧し、各フレームの空
間的冗長度を離散コサイン変換（ＤＣＴ）符号化により
抑圧する。以下、図２を用いてＨ．２６１の符号化アル
ゴリズムを簡単に説明する。
【０００４】まず、符号化対象画像１は正方形パターン
５０と共に動き検出部５１に入力され、１６画素×１６
ラインのマクロブロックと称される正方形ブロックに分
割される。動き検出部５１では、符号化対象画像１の中
のマクロブロックごとに、参照画像との間の動き量を、
全探索などを用いて、探索範囲内で最も類似するブロッ
クを、絶対値差分や差分自乗和等を評価関数として使用
することで相対位置を動ベクトル５２として検出し、ブ
ロック動き補償部５３に送る。ここで、各マクロブロッ
クの動ベクトルは、参照画像において、着目マクロブロ
ックとのマッチング度が最も高いブロックの座標と、着
目マクロブロックの座標との変位として表される。動ベ
クトルの探索範囲は、着目マクロブロックの座標とその
周囲の±１５画素×±１５ラインに制限される。
５０と共に動き検出部５１に入力され、１６画素×１６
ラインのマクロブロックと称される正方形ブロックに分
割される。動き検出部５１では、符号化対象画像１の中
のマクロブロックごとに、参照画像との間の動き量を、
全探索などを用いて、探索範囲内で最も類似するブロッ
クを、絶対値差分や差分自乗和等を評価関数として使用
することで相対位置を動ベクトル５２として検出し、ブ
ロック動き補償部５３に送る。ここで、各マクロブロッ
クの動ベクトルは、参照画像において、着目マクロブロ
ックとのマッチング度が最も高いブロックの座標と、着
目マクロブロックの座標との変位として表される。動ベ
クトルの探索範囲は、着目マクロブロックの座標とその
周囲の±１５画素×±１５ラインに制限される。
【０００５】次に、ブロック動き補償部５３では、各マ
クロブロックの動ベクトル５２とフレームメモリ５に蓄
積された直前フレームの局部復号画像６とから動き補償
予測画像１５を生成する。ここで得られた動き補償予測
画像１５は符号化対象画像１と共に減算器１６に入力さ
れる。両者の差分すなわち動き補償予測誤差１７は、Ｄ
ＣＴ／量子化部５４においてＤＣＴ変換され、さらに量
子化されて圧縮差分データ１９となる。ここで、ＤＣＴ
のブロックサイズは８×８である。圧縮差分データ１９
（量子化インデックス）は差分データ符号化部２０にお
いてデータ圧縮され、差分画像符号化データ２１とな
る。一方、動ベクトル５２は動ベクトル符号化部２６に
おいて符号化され、得られた動ベクトル符号化データ２
７は差分画像符号化データ２１と共に多重化部２８にて
多重化され、多重化データ２９として伝送される。
クロブロックの動ベクトル５２とフレームメモリ５に蓄
積された直前フレームの局部復号画像６とから動き補償
予測画像１５を生成する。ここで得られた動き補償予測
画像１５は符号化対象画像１と共に減算器１６に入力さ
れる。両者の差分すなわち動き補償予測誤差１７は、Ｄ
ＣＴ／量子化部５４においてＤＣＴ変換され、さらに量
子化されて圧縮差分データ１９となる。ここで、ＤＣＴ
のブロックサイズは８×８である。圧縮差分データ１９
（量子化インデックス）は差分データ符号化部２０にお
いてデータ圧縮され、差分画像符号化データ２１とな
る。一方、動ベクトル５２は動ベクトル符号化部２６に
おいて符号化され、得られた動ベクトル符号化データ２
７は差分画像符号化データ２１と共に多重化部２８にて
多重化され、多重化データ２９として伝送される。
【０００６】なお、復号器と同じ復号画像を符号化器内
でも得るため、圧縮差分データ１９（量子化インデック
ス）は逆量子化／逆ＤＣＴ部５５で量子化代表値に戻さ
れ、さらに逆ＤＣＴ変換された後、復号差分画像２３と
なる。復号差分画像２３と動き補償予測画像１５は加算
器２４で加算され、局部復号画像２５となる。この局部
復号画像２５はフレームメモリ５に蓄積され、次のフレ
ームの符号化時に参照画像として用いられる。
でも得るため、圧縮差分データ１９（量子化インデック
ス）は逆量子化／逆ＤＣＴ部５５で量子化代表値に戻さ
れ、さらに逆ＤＣＴ変換された後、復号差分画像２３と
なる。復号差分画像２３と動き補償予測画像１５は加算
器２４で加算され、局部復号画像２５となる。この局部
復号画像２５はフレームメモリ５に蓄積され、次のフレ
ームの符号化時に参照画像として用いられる。
【０００７】
【発明が解決しようとする課題】従来の動画像のディジ
タル圧縮符号化における動き予測の手法を用いて動ベク
トルを得る場合、動き探索においては、通常１６×１６
ブロック内の予測誤差の電力（平均自乗誤差）が最小と
なる位置がマッチング先として選ばれるため、平均輝度
値の差が動き探索に大きな影響を及ぼし、光源の変化な
どにより実際のマッチング先とは異なるが、誤差電力最
小の部分にマッチングしてしまい、空間・時間方向の各
ブロックの動ベクトル値間に連続性が存在しない場合が
多いという問題があった。
タル圧縮符号化における動き予測の手法を用いて動ベク
トルを得る場合、動き探索においては、通常１６×１６
ブロック内の予測誤差の電力（平均自乗誤差）が最小と
なる位置がマッチング先として選ばれるため、平均輝度
値の差が動き探索に大きな影響を及ぼし、光源の変化な
どにより実際のマッチング先とは異なるが、誤差電力最
小の部分にマッチングしてしまい、空間・時間方向の各
ブロックの動ベクトル値間に連続性が存在しない場合が
多いという問題があった。
【０００８】本発明の目的は、上記問題点を解決し、空
間的かつ時間的に連続した動ベクトルを検出する、動画
像の動き補償予測符号化方法および符号化器を提供する
ことにある。
間的かつ時間的に連続した動ベクトルを検出する、動画
像の動き補償予測符号化方法および符号化器を提供する
ことにある。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、符号化対象画像を多角形パッチに分割
し、符号化対象画像と予測参照画像との間の動き量を前
記多角形パッチごとに検出し、動き補償を行なって予測
画像を生成し、該予測画像と符号化対象画像との差分を
符号化する、動画像の動き補償予測符号化方法におい
て、符号化対象画像中の多角形パッチの頂点動ベクトル
を求めるにあたり、動ベクトル検出の前処理として、時
間方向に連続した複数の符号化参照画像内の各輝度値の
連続情報、すなわち輝度値が似た線要素の方向を各画素
単位に求め、線要素の方向を動き量の検出の際に参照す
ることで、動き予測探索範囲に拘束をはめることを特徴
とする。
に、本発明は、符号化対象画像を多角形パッチに分割
し、符号化対象画像と予測参照画像との間の動き量を前
記多角形パッチごとに検出し、動き補償を行なって予測
画像を生成し、該予測画像と符号化対象画像との差分を
符号化する、動画像の動き補償予測符号化方法におい
て、符号化対象画像中の多角形パッチの頂点動ベクトル
を求めるにあたり、動ベクトル検出の前処理として、時
間方向に連続した複数の符号化参照画像内の各輝度値の
連続情報、すなわち輝度値が似た線要素の方向を各画素
単位に求め、線要素の方向を動き量の検出の際に参照す
ることで、動き予測探索範囲に拘束をはめることを特徴
とする。
【００１０】また、本発明の、動画像の動き補償予測符
号化器は、符号化対象画像を蓄積し、新たに入力された
符号化対象画像とすでに蓄積されている、前記符号化対
象画像と時間的に連続した複数の符号化対象画像とをつ
なげ、時空間画像を形成するフレームメモリと、前記時
空間画像を入力し、時間方向に輝度値が似た方向を表わ
す所の線要素抽出を行い、輝度値連続情報を出力する輝
度値連続情報抽出手段と、前記符号化対象画像と前記輝
度値連続情報を入力し、各ブロックの動ベクトルを求め
る動き検出手段を有することを特徴とする。
号化器は、符号化対象画像を蓄積し、新たに入力された
符号化対象画像とすでに蓄積されている、前記符号化対
象画像と時間的に連続した複数の符号化対象画像とをつ
なげ、時空間画像を形成するフレームメモリと、前記時
空間画像を入力し、時間方向に輝度値が似た方向を表わ
す所の線要素抽出を行い、輝度値連続情報を出力する輝
度値連続情報抽出手段と、前記符号化対象画像と前記輝
度値連続情報を入力し、各ブロックの動ベクトルを求め
る動き検出手段を有することを特徴とする。
【００１１】
【作用】動画像シーケンスにおいて、物体の領域形状に
は時間的な相関性が存在する。たとえば、画面の背景部
分の領域形状は時間的にほとんど変化しない。また、短
い時間であるならば、物体の領域形状の時間的変化も無
いと考えてよい。
は時間的な相関性が存在する。たとえば、画面の背景部
分の領域形状は時間的にほとんど変化しない。また、短
い時間であるならば、物体の領域形状の時間的変化も無
いと考えてよい。
【００１２】しかし実際には、画像中の雑音や光源の影
響等により領域形状が微妙に変化するため背景や静止部
分でさえ、予測参照画像の領域形状から予測することが
難しい。また、動領域についても、その動きが正しく求
められていれば、予測参照画像の領域形状と動き情報と
から、現在の領域形状を推定することができるが、実際
にはブロック内の予測誤差の電力が最小となる位置がマ
ッチング先として選ばれるため、平均輝度値の差が動き
探索に大きな影響を及ぼすため、実際の動きに即しな
い、誤差電力最小の部分にマッチングしてしまう。
響等により領域形状が微妙に変化するため背景や静止部
分でさえ、予測参照画像の領域形状から予測することが
難しい。また、動領域についても、その動きが正しく求
められていれば、予測参照画像の領域形状と動き情報と
から、現在の領域形状を推定することができるが、実際
にはブロック内の予測誤差の電力が最小となる位置がマ
ッチング先として選ばれるため、平均輝度値の差が動き
探索に大きな影響を及ぼすため、実際の動きに即しな
い、誤差電力最小の部分にマッチングしてしまう。
【００１３】従って、請求項２及び請求項３にあるよう
に、動ベクトル検出の前処理として、時間方向に連続し
た複数の符号化参照画像内の、時間方向に輝度値が似た
線要素（時空間画像中に描かれた物体の軌跡）方向を求
めるにあたり、輝度値が似た方向を３次元ハフ変換など
を用いて関数近似を行ない、その線要素の方向を動ベク
トル探索の際の拘束として用いることにより、動ベクト
ルの検索範囲を狭めることで、探索時の演算量を減少さ
せるとともに、検出された動ベクトルの空間・時間方向
の連続性を保つことが可能になる。
に、動ベクトル検出の前処理として、時間方向に連続し
た複数の符号化参照画像内の、時間方向に輝度値が似た
線要素（時空間画像中に描かれた物体の軌跡）方向を求
めるにあたり、輝度値が似た方向を３次元ハフ変換など
を用いて関数近似を行ない、その線要素の方向を動ベク
トル探索の際の拘束として用いることにより、動ベクト
ルの検索範囲を狭めることで、探索時の演算量を減少さ
せるとともに、検出された動ベクトルの空間・時間方向
の連続性を保つことが可能になる。
【００１４】また、前記従来技術における動き補償予測
方法は、１６画素×１６ライン等の矩形ブロックを１つ
の剛体とみなしたブロック単位の予測であるため、予測
画像中にブロック状の不連続歪みが発生する。特に動き
の激しい部分ではこの不連続歪みは顕著となり、予測誤
差画像の符号化に十分な符号量を割り当てることのでき
ない低ルート符号化時には、視覚的に大きな妨害とな
る。
方法は、１６画素×１６ライン等の矩形ブロックを１つ
の剛体とみなしたブロック単位の予測であるため、予測
画像中にブロック状の不連続歪みが発生する。特に動き
の激しい部分ではこの不連続歪みは顕著となり、予測誤
差画像の符号化に十分な符号量を割り当てることのでき
ない低ルート符号化時には、視覚的に大きな妨害とな
る。
【００１５】上記問題点を解決するための手段として、
符号化対象画像を多角形、例えば三角形または四角形の
パッチに分割し、各パッチの頂点の動ベクトルを空間変
換により内挿して画素ごとの動き補償を行なう方法が提
案されている。代表的な例として、 Gary J. Sullivan
らによる "Motion Compensation for Video Compressio
n Using Control Grid Interpolation" (IEEE ICASSP '
91, pp. 2713-2716, 1991 年）を、図３により簡単に説
明する。
符号化対象画像を多角形、例えば三角形または四角形の
パッチに分割し、各パッチの頂点の動ベクトルを空間変
換により内挿して画素ごとの動き補償を行なう方法が提
案されている。代表的な例として、 Gary J. Sullivan
らによる "Motion Compensation for Video Compressio
n Using Control Grid Interpolation" (IEEE ICASSP '
91, pp. 2713-2716, 1991 年）を、図３により簡単に説
明する。
【００１６】まず、符号化対象画像１を１６画素×１６
ライン等の正方形パッチに分割し、動き検出部３で、多
角形パターン２を用いることで各パッチの頂点の動ベク
トル４を求める。次に、各パッチごとに４つの頂点ベク
トル４から動ベクトル内挿部１２において画素単位の動
ベクトル１３を計算する。図４に示すように、頂点Ａ、
Ｂ、Ｃ、Ｄにおける動ベクトルをそれぞれ
ライン等の正方形パッチに分割し、動き検出部３で、多
角形パターン２を用いることで各パッチの頂点の動ベク
トル４を求める。次に、各パッチごとに４つの頂点ベク
トル４から動ベクトル内挿部１２において画素単位の動
ベクトル１３を計算する。図４に示すように、頂点Ａ、
Ｂ、Ｃ、Ｄにおける動ベクトルをそれぞれ
【００１７】
【外１】 とすると、正方形ＡＢＣＤ内の座標（ｘ，ｙ）における
内挿ベクトル
内挿ベクトル
【００１８】
【外２】 は以下の式により計算される。
【００１９】
【数１】 この空間変換方法は共一次内挿（Ｂｉ−ｌｉｎｅａｒ
ｉｎｔｅｒｐｏｌａｔｉｏｎ）と呼ばれる。これにより
動ベクトル値は画素ごとに滑らかに変化し、ブロック境
界においても動ベクトルは滑らかに接続される。こうし
て得られた画素単位の動ベクトル１３を用い、画素単位
動き補償部１４において画素ごとの動き補償予測を行な
うことにより、ブロック内の全ての画素に同じ動ベクト
ル値を与えていた従来の動き補償予測方法に比べ、予測
画像中にブロック状の不連続歪みが発生しないという利
点がある。
ｉｎｔｅｒｐｏｌａｔｉｏｎ）と呼ばれる。これにより
動ベクトル値は画素ごとに滑らかに変化し、ブロック境
界においても動ベクトルは滑らかに接続される。こうし
て得られた画素単位の動ベクトル１３を用い、画素単位
動き補償部１４において画素ごとの動き補償予測を行な
うことにより、ブロック内の全ての画素に同じ動ベクト
ル値を与えていた従来の動き補償予測方法に比べ、予測
画像中にブロック状の不連続歪みが発生しないという利
点がある。
【００２０】しかし、従来の動画像のディジタル圧縮符
号化における動き予測の手法を用いて動ベクトルを得る
場合、動き探索においては、前記の通り、ブロック内の
予測誤差電力が最小となる位置がマッチング先として選
ばれるため、実際のマッチング先とは異なるが、誤差電
力最小の部分にマッチングしてしまい、空間・時間方向
の各ブロックの動ベクトル値間に連続性が存在しない場
合が多く存在し、この動ベクトルが不連続な部所をまた
いで動ベクトル内挿を行なうことにより、予測画像の品
質のみならず予測効率を下げてしまう。
号化における動き予測の手法を用いて動ベクトルを得る
場合、動き探索においては、前記の通り、ブロック内の
予測誤差電力が最小となる位置がマッチング先として選
ばれるため、実際のマッチング先とは異なるが、誤差電
力最小の部分にマッチングしてしまい、空間・時間方向
の各ブロックの動ベクトル値間に連続性が存在しない場
合が多く存在し、この動ベクトルが不連続な部所をまた
いで動ベクトル内挿を行なうことにより、予測画像の品
質のみならず予測効率を下げてしまう。
【００２１】従って、請求項２及び請求項３にあるよう
に、動ベクトル検出の前処理として、時間方向に連続し
た複数の符号化参照画像内の、時間方向に輝度値が似た
方向を求めるにあたり、輝度値が似た方向を３次元ハフ
変換などを用いて関数近似を行ない、その連続情報を動
ベクトル探索の際の拘束として用いることにより、検出
された動ベクトルの空間・時間方向の連続性を保つこと
が可能になり、動ベクトル内挿後の予測画像の歪みの削
減を図ることが可能となる。
に、動ベクトル検出の前処理として、時間方向に連続し
た複数の符号化参照画像内の、時間方向に輝度値が似た
方向を求めるにあたり、輝度値が似た方向を３次元ハフ
変換などを用いて関数近似を行ない、その連続情報を動
ベクトル探索の際の拘束として用いることにより、検出
された動ベクトルの空間・時間方向の連続性を保つこと
が可能になり、動ベクトル内挿後の予測画像の歪みの削
減を図ることが可能となる。
【００２２】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
て説明する。
【００２３】図１は、本発明の一実施例における動画像
の動き補償予測符号化方法を実現する符号化器の構成を
示す図で、請求項１、２の発明に対応するものである。
の動き補償予測符号化方法を実現する符号化器の構成を
示す図で、請求項１、２の発明に対応するものである。
【００２４】符号化器では、まず始めに符号化対象画像
１がフレームメモリ６６に入力され、フレームメモリ６
６内にすでに蓄積されている、符号化対象画像１と時間
的に連続した複数の符号化対象画像とをつなげ、時空間
画像６１を作成する。
１がフレームメモリ６６に入力され、フレームメモリ６
６内にすでに蓄積されている、符号化対象画像１と時間
的に連続した複数の符号化対象画像とをつなげ、時空間
画像６１を作成する。
【００２５】時空間画像６１はフレームメモリ６６から
輝度値連続情報検出器６５に入力され、時間方向に輝度
値が似た方向の表す所の線要素抽出を行なう。この際、
現フレームの画素毎に他の複数のフレーム内の画素の輝
度値との自乗誤差をとり、その方向をスプライン曲線に
よって近似する。線要素抽出の手段としては、局所オペ
レータを用いる例としてはＶａｎｄｅｒ ＢｒｕｇやＰ
ａｔｏｎやＫａｓｖａｎｄの線検出オペレータなどがあ
り、他にも弛緩法による方法、ハフ変換による方法な
ど、あらゆるアルゴリズムを適用することができる。こ
れらの領域分割の手法については、「画像解析ハンドブ
ック」（高木幹雄、下田陽久監修。東京大学出版会、１
９９１年１月）に詳しい。
輝度値連続情報検出器６５に入力され、時間方向に輝度
値が似た方向の表す所の線要素抽出を行なう。この際、
現フレームの画素毎に他の複数のフレーム内の画素の輝
度値との自乗誤差をとり、その方向をスプライン曲線に
よって近似する。線要素抽出の手段としては、局所オペ
レータを用いる例としてはＶａｎｄｅｒ ＢｒｕｇやＰ
ａｔｏｎやＫａｓｖａｎｄの線検出オペレータなどがあ
り、他にも弛緩法による方法、ハフ変換による方法な
ど、あらゆるアルゴリズムを適用することができる。こ
れらの領域分割の手法については、「画像解析ハンドブ
ック」（高木幹雄、下田陽久監修。東京大学出版会、１
９９１年１月）に詳しい。
【００２６】また、符号化対象画像１は、輝度値連続情
報６２と共に動き検出部６３に入力され、各ブロックの
動ベクトル６４が求められる。この際、輝度値連続情報
６２とは、輝度値が似た方向を曲線式として近似した際
の係数を用いる。
報６２と共に動き検出部６３に入力され、各ブロックの
動ベクトル６４が求められる。この際、輝度値連続情報
６２とは、輝度値が似た方向を曲線式として近似した際
の係数を用いる。
【００２７】動き検出部６３では、その曲線式から符号
化対象画像１内の各ブロックごとの推定探索位置を求
め、その推定探索位置近傍のみを探索し、動ベクトル６
４を検出する。
化対象画像１内の各ブロックごとの推定探索位置を求
め、その推定探索位置近傍のみを探索し、動ベクトル６
４を検出する。
【００２８】以降の動作は、図２の場合と全く同じであ
る。
る。
【００２９】次に、図５、６を用いて時空間画像につい
て説明する。
て説明する。
【００３０】図５は、ある動画像シーケンスを時間方向
に縦に並べたものである。該動画像中では、物体７１は
静止しており、また物体７２は遠方に遠ざかりながら
（小さくなりながら）右の方に移動していることを示し
ている。
に縦に並べたものである。該動画像中では、物体７１は
静止しており、また物体７２は遠方に遠ざかりながら
（小さくなりながら）右の方に移動していることを示し
ている。
【００３１】図５を時間方向に並べてつなげ合わせたの
が図６であり、これを時空間画像と呼ぶ。
が図６であり、これを時空間画像と呼ぶ。
【００３２】図６で明らかなように、時空間画像中で
は、動画像シーケンス中に存在するオブジェクトは、オ
ブジェクトの動きに依存して、時空間画像内に三次元的
な軌跡を残す。図７は図６に示した時空間画像をｙ軸に
垂直な平面（ｙ＝ａ）で切った断面図である。
は、動画像シーケンス中に存在するオブジェクトは、オ
ブジェクトの動きに依存して、時空間画像内に三次元的
な軌跡を残す。図７は図６に示した時空間画像をｙ軸に
垂直な平面（ｙ＝ａ）で切った断面図である。
【００３３】時空間画像内での線要素の抽出の一例とし
てハフ交換について述べる。簡単のため２次元画像の時
空間断面図、すなわち図７において２次元ハフ変換を用
い、かつ線要素のうち直線を取り出す方法について述べ
る。
てハフ交換について述べる。簡単のため２次元画像の時
空間断面図、すなわち図７において２次元ハフ変換を用
い、かつ線要素のうち直線を取り出す方法について述べ
る。
【００３４】ハフ変換とはパラメータで表現できる図形
（例えば直線、円、楕円、放物線）を画像中から検出す
るための手段である。ここでは代表的にＤｕｄａ ａｎ
ｄＨａｒｔの方法による直線検出法について述べる。
（例えば直線、円、楕円、放物線）を画像中から検出す
るための手段である。ここでは代表的にＤｕｄａ ａｎ
ｄＨａｒｔの方法による直線検出法について述べる。
【００３５】直線は、式ρ＝ｘ0 cos θ＋ｙ0 sin θで
表現し、直線を記述するためのパラメータとして（ρ，
θ）を用いる。ここで、ρは原点から直線へおろした垂
線の長さ、θは垂線とｘ軸のなす角である。この直線が
画像上の点（ｘ0 ，ｙ0 ）を通るとすると、次式（２）
表現し、直線を記述するためのパラメータとして（ρ，
θ）を用いる。ここで、ρは原点から直線へおろした垂
線の長さ、θは垂線とｘ軸のなす角である。この直線が
画像上の点（ｘ0 ，ｙ0 ）を通るとすると、次式（２）
【００３６】
【数２】 の関係がなり立つ。この関数はパラメータ空間ρ−θ上
ではサイン曲線となる。すなわちｘ−ｙ空間の１点はρ
−θの一本の軌跡に対応し、逆に式（２）で表されるρ
−θ空間の軌跡は、ｘ−ｙ空間において（ｘ0 ，ｙ0 ）
を通るすべての直線群を表していることになる。従っ
て、ｘ−ｙ空間上で１本の直線上の点をρ−θ空間に写
した場合、これらの点から作られるρ−θ空間上での軌
跡は１点で交わることになる。
ではサイン曲線となる。すなわちｘ−ｙ空間の１点はρ
−θの一本の軌跡に対応し、逆に式（２）で表されるρ
−θ空間の軌跡は、ｘ−ｙ空間において（ｘ0 ，ｙ0 ）
を通るすべての直線群を表していることになる。従っ
て、ｘ−ｙ空間上で１本の直線上の点をρ−θ空間に写
した場合、これらの点から作られるρ−θ空間上での軌
跡は１点で交わることになる。
【００３７】具体的には、まず線検出オペレータにより
現画像から直線の要素の候補となる画素を抽出する。こ
れらの画素のｘ−ｙ座標を（ｘi ，ｙi ）とすれば、そ
れに対応するすべての軌跡ρ＝ｘi cos θ＋ｙi sin θ
をρ−θ空間上でカウントする。もし画像上に直線ρ0
＝ｘcos θ0 ＋ｙsin θ0 が存在していれば、その直線
上の画素はすべてρ−θ空間上の点（ρ0 ，θ0 ）に対
してカウントアップを行なうため（ρ0 ，θ0 ）にピー
クが生じるはずである。このピークを検出することによ
って直線を検出する。
現画像から直線の要素の候補となる画素を抽出する。こ
れらの画素のｘ−ｙ座標を（ｘi ，ｙi ）とすれば、そ
れに対応するすべての軌跡ρ＝ｘi cos θ＋ｙi sin θ
をρ−θ空間上でカウントする。もし画像上に直線ρ0
＝ｘcos θ0 ＋ｙsin θ0 が存在していれば、その直線
上の画素はすべてρ−θ空間上の点（ρ0 ，θ0 ）に対
してカウントアップを行なうため（ρ0 ，θ0 ）にピー
クが生じるはずである。このピークを検出することによ
って直線を検出する。
【００３８】
【発明の効果】以上説明したように、本発明は、符号化
対象画像中の多角形パッチの頂点動ベクトルを求めるに
あたり、時間方向に輝度値が似た線要素の方向を求め、
動き量の検出の際にこれを参照することにより、動ベク
トルの検索範囲を狭め、探索時の演算量を減少させると
同時に、空間・時間方向の動ベクトルの連続性を保たれ
るため、復号画像のエッジが原画に近く自然になる。さ
らに、本発明により、検出された動ベクトルの空間・時
間方向の連続性を保つことが可能になり、その動ベクト
ル場において動ベクトル内挿することにより、動ベクト
ル内挿後の予測画像の歪みの削減を図ることが可能とな
る。
対象画像中の多角形パッチの頂点動ベクトルを求めるに
あたり、時間方向に輝度値が似た線要素の方向を求め、
動き量の検出の際にこれを参照することにより、動ベク
トルの検索範囲を狭め、探索時の演算量を減少させると
同時に、空間・時間方向の動ベクトルの連続性を保たれ
るため、復号画像のエッジが原画に近く自然になる。さ
らに、本発明により、検出された動ベクトルの空間・時
間方向の連続性を保つことが可能になり、その動ベクト
ル場において動ベクトル内挿することにより、動ベクト
ル内挿後の予測画像の歪みの削減を図ることが可能とな
る。
【図１】本発明の一実施例における画像符号化方法によ
る符号化器の構成を示す図である。
る符号化器の構成を示す図である。
【図２】従来のブロック単位の動き補償予測符号化方法
の符号化器の構成を示す図である。
の符号化器の構成を示す図である。
【図３】従来の動ベクトル内挿による動き補償予測符号
化方法の符号化器の構成を示す図である。
化方法の符号化器の構成を示す図である。
【図４】動ベクトル内挿の方法を示す図である。
【図５】ある動画像シーケンスを時間方向に縦方向に並
べた図である。
べた図である。
【図６】図５の動画像シーケンスを時間方向に並べてつ
なげ合わせた図である。
なげ合わせた図である。
【図７】図６に示した時空間画像をｙ軸に垂直な平面で
切った断面図である。
切った断面図である。
１ 符号化対象画像 ２ 多角形パターン ３ 動き検出部 ４ 頂点動ベクトル ５ フレームメモリ ６ 局部復号画像 ７ 領域分割部 ８ 領域形状参照画像 ９ 形状動き補償部 １０ 多角形パターン １１ 動き補償予測形状 １２ 適応動ベクトル内挿部 １３ 画素単位動ベクトル １４ 画素単位動き補償部 １５ 動き補償予測画像 １６ 減算器 １７ 動き補償予測誤差 １８ 空間冗長度圧縮部 １９ 圧縮差分データ ２０ 差分データ符号化部 ２１ 差分符号化データ ２２ 差分データ伸長部 ２３ 伸長差分画像 ２４ 加算器 ２５ 局部復号画像 ２６ 動ベクトル符号化部 ２７ 動ベクトル符号化データ ２８ 多重化部 ２９ 多重化データ部 ３０ 領域分割部 ３１ 領域形状画像 ５０ 正方形パターン ５１ 動き検出部 ５２ 動ベクトル ５３ ブロック動き補償部 ６１ 時空間画像 ６２ 輝度値連続情報 ６３ 動き検出部 ６４ 動ベクトル ６５ 輝度値連続情報検出器 ６６ フレームメモリ ７１ 静止物体 ７２ 動物体
Claims (4)
- 【請求項１】 符号化対象画像を多角形パッチに分割
し、該符号化対象画像と予測参照画像との間の動き量を
前記多角形パッチごとに検出し、動き補償を行なって予
測画像を生成し、該予測画像と符号化対象画像との差分
を符号化する、動画像の動き補償予測符号化方法におい
て、 符号化対象画像中の多角形パッチの頂点動ベクトルを求
めるにあたり、動ベクトル検出の前処理として、時間方
向に連続した複数の符号化参照画像内の各輝度値の連続
情報、すなわち輝度値が似た線要素の方向を各画素単位
に求め、前記線要素の方向を動き量の検出の際に参照す
ることで、動き予測探索範囲に拘束をはめることを特徴
とする、動画像の動き補償予測符号化方法。 - 【請求項２】 複数の符号化参照画像内で、時間方向に
画素の輝度値が似た線要素の方向を求めるにあたり、時
間方向に連続した複数の符号化参照画像内の、輝度値が
似た方向を関数近似する、請求項１記載の動き補償予測
符号化方法。 - 【請求項３】 複数の符号化参照画像内の、時間方向に
画素の輝度値が似た線要素の方向を関数近似するにあた
り、３次元ハフ変換を用いる、請求項２記載の動き補償
予測符号化方法。 - 【請求項４】 符号化対象画像を多角形パッチに分割
し、該符号化対象画像と予測参照画像との間の動き量を
前記多角形パッチごとに検出し、動き補償を行なって予
測画像を生成し、該予測画像と符号化対象画像との差分
を符号化する、動画像の動き補償予測符号化器におい
て、 符号化対象画像を蓄積し、新たに入力された符号化対象
画像とすでに蓄積されている、前記符号化対象画像と時
間的に連続した複数の符号化対象画像とをつなげ、時空
間画像を形成するフレームメモリと、前記時空間画像を
入力し、時間方向に輝度値が似た方向を表わす所の線要
素抽出を行い、輝度値連続情報を出力する輝度値連続情
報抽出手段と、前記符号化対象画像と前記輝度値連続情
報を入力し、各ブロックの動ベクトルを求める動き検出
手段を有することを特徴とする、動画像の動き補償予測
符号化器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15469995A JPH099263A (ja) | 1995-06-21 | 1995-06-21 | 動画像の動き補償予測符号化方法および符号化器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15469995A JPH099263A (ja) | 1995-06-21 | 1995-06-21 | 動画像の動き補償予測符号化方法および符号化器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH099263A true JPH099263A (ja) | 1997-01-10 |
Family
ID=15590018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15469995A Pending JPH099263A (ja) | 1995-06-21 | 1995-06-21 | 動画像の動き補償予測符号化方法および符号化器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH099263A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348187A (ja) * | 1999-03-29 | 2000-12-15 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| KR20020010171A (ko) * | 2000-07-27 | 2002-02-04 | 오길록 | 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법 |
| JP2006252444A (ja) * | 2005-03-14 | 2006-09-21 | Mitsubishi Heavy Ind Ltd | 監視装置 |
-
1995
- 1995-06-21 JP JP15469995A patent/JPH099263A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348187A (ja) * | 1999-03-29 | 2000-12-15 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| KR20020010171A (ko) * | 2000-07-27 | 2002-02-04 | 오길록 | 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법 |
| JP2006252444A (ja) * | 2005-03-14 | 2006-09-21 | Mitsubishi Heavy Ind Ltd | 監視装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5760846A (en) | Apparatus for estimating motion vectors for feature points of a video signal | |
| US8023562B2 (en) | Real-time video coding/decoding | |
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| US7822231B2 (en) | Optical flow estimation method | |
| JP4180666B2 (ja) | ビデオ信号符号化方法 | |
| JP4187264B2 (ja) | 特徴点ベース動き推定技法を用いる映像信号符号化方法及びその装置 | |
| US5668600A (en) | Method and apparatus for encoding and decoding a video signal using feature point based motion estimation | |
| JPH08265781A (ja) | 動きベクトル特定方法及び装置 | |
| EP1621022B1 (en) | Method and apparatus for determining search range for adaptive motion vector for use in video encoder | |
| US6205178B1 (en) | Method and synthesizing a predicted image, video coding device and video coding method | |
| US5862261A (en) | Current frame prediction method and apparatus for use in an image signal encoding system | |
| US5654761A (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US6020925A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| KR100265721B1 (ko) | 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법 | |
| JPH099263A (ja) | 動画像の動き補償予測符号化方法および符号化器 | |
| KR19980079547A (ko) | 동화상 부호화 방법, 동화상 부호화 장치 및 동화상 복호 장치 | |
| JPH0746595A (ja) | 動画像符号化器および復号化器 | |
| JPH08228351A (ja) | 動画像の動き補償予測符号化方法 | |
| Servais et al. | Affine motion compensation using a content-based mesh | |
| Bartolini et al. | A segmentation-based motion-compensated scheme for low-rate video coding | |
| JPH09200771A (ja) | 動画像の動き補償予測符号化方法および符号化器 | |
| Heising | Efficient and robust motion estimation in grid-based hybrid video coding schemes | |
| KR100203658B1 (ko) | 물체의 윤곽 부호화를 위한 움직임 추정장치 | |
| KR100252340B1 (ko) | 현재 프레임 예측방법 및 그 장치 | |
| JPH07264594A (ja) | 動画像の動き補償予測符号化方法 |