JPH03143183A - 動き補償方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、請求項１の上位概念に記載の、例えばテレビ
ジョン画像シーケンスにおける、ズームおよびパンの認
識および補償を含んでいる動画符号器または復号器にお
ける動き補償方法に関する。

従来の技術 アート動画復号器は大抵、データの低減、および動き補
償予測に使用される。このｔ；めに、並進（ｔｒａｎｓ
ｌａｔｏｒｉｃ）動きを表わすベクトルが、大儀はブロ
ック毎に、例えばｌｏｇ（Ｄ）ステップサーチまたはフ
ルサーチによって決定される。データ低減および、それ
に加えて、このような符号器の画質は付加的に、テレビ
ジョンシーンにおいてしばしば使用される１ズーム′お
よび゛パン″の形式の動きの認識および補償によって改
善することができる。

“Ｍ、　Ｈ６ｔｔｅｒ；　Ｒ，Ｔｈｏｍａ：　Ｉｍａｇ
ｅ　ＳｅｇｍｅｎｔａｔｉｏｎＢａｓｅｄ　ｏｎ　０ｂ
ｊｅｃｔ　０ｒｉｅｎｔｅｄ　Ｍａｐｐｉｎｇ　Ｐａｒ
ａｍｅｔｅｒＥｓｔｉｍａｔｉｏｎ、　ｔｌｎｉｖｅｒ
ｓｉｔｙ　ｏｆ　Ｈａｎｎｏｖｅｒ、　１９８８”には
、画像調整および同時に個々のセグメントの動きパラメ
ータの推定方法が記載されている”Ｍ、　１６ｔｔｅｒ
：　Ｅｓｔｉｍａｔｉｏｎ　ｏｆ　ｔｈｅ　Ｇｌｏｂａ
ｌＭｏｔｉｏｎ　Ｐａｒａｍｅｔｅｒｓ　Ｚｏｏｍ　ａ
ｎｄ　Ｐａｎ、　ＰＯ２１９８７”によれば、ズーム係
数は２つの画像の画情報の直接利用によって決定される
。

発明が解決しようとする問題点 本発明の課題は、画像調整のズームおよびパン情報の評
価を使用した、動画符号器または復号器における動き補
償方法を提供することである。

問題点を解決するための手段 この課題は、請求項１の特徴部分に記載の構成によって
解決される。

実施例 次に本発明を具体例を用いて説明する。

上述の形式の動画符号器は既に、並進シフト運動に対す
る動き推定器を備えているので、これらシフトベクトル
は、本発明によれば、ズームおよびパン情報を抽出する
ために使用されるこのために、ズームおよびパンは、シ
フトベクトルフィールドから推定される。

シフトベクトルはまず、 ａ）パンは存在するが、ズームは存在しないかまたは ｂ）ズームにスーパーインポーズされたパンが存在して
いる可能性がある かごうかを見極めるために解析される。

パン推定および補償が実施された後、存在するズームの
仮定が検査される。信頼できるに足るズーム係数を決定
することができた場合、相応するズームベクトルフィー
ルドが発生されかつ前以て決められたシフトベクトルフ
ィールドと比較される。本発明によれば、誤って検出さ
れたパンベクトルおよび、適用可能であれば、ズーム係
数の値を、それに続く反復ステップにおいて修正するこ
とができる。

次に、ズームおよびパン推定のスタート点を考察する。

以下において、テレビジョン画像を、例えば、相応のグ
レースケール値ｓ（ｘ、ｙ）を有する画素の２次元のマ
トリクスとして見なす。

上述の動き推定器は、シフトベクトルのマトリクスＶ　
（ｘ、ｙ）＝　（Ｖｘ　（ｘ、ｙ）＋　Ｖｙ（ｘ、ｙ）
）を発生し、これにより例えば常時１つのベクトルが、
両信号ｓ　（ｘ、ｙ）の１６×１６の画素から成るブロ
ックに割り当てられる。簡単に説明するために、■は、
常に例えば１６Ｘ１６の位置に対して同じベクトルが入
力される画信号マトリクスＳとして同じ大きさのマトリ
クスであると考えるものする。座１１（ｘｙ）は、原点
ＣＯ，Ｏ＞が画像の中心にありかつ多数のＸおよびｙの
範囲に対して次のことが成立する、すなわち−Ｘ　（ｘ
　（＋　Ｘ　、および−Ｙ　＜　ｙ　＜　＋　Ｙが成立
するように選択されている。

入力データの前処理は、ベクトルフィールド修正および
ベクトルヒストグラムを形成することによって実施され
る。

その他同次フィールドから明らかにそれているベクトル
は、メデイアン形式に類似しｔ；前置フィルタリングに
よってベクトルフィールドＶから取り除くことができる
。

このために、ベクトル成分Ｖｍｘ　（ｘｂ、ｙｂ）、Ｖ
ｍｙ　（ｘｂ、ｙｂ）（１）中央値が、ヘクトル毎に決
定されかつ、これにより、マトリクスＶｘ、Ｖｙにおけ
る各入力（ｘｂ、ｙｂ）（７）まわりの３×３の大きさ
のウィンドウにおいてブロック毎に決定される。座標（
ｘｂ、ｙｂ）の名称が、この計算が各画素に対して実施
されるべきではなくて、むしろ各ブロックに対して実施
されるべきであることを説明している。ベクトルが前以
て決めることができる係数以上に中央値から外れていな
ければ、すなわち次の式が成立するならば： （≦−小さいかまたは等しい） ｔ；だしＦｍは適当に選ばれている、例えばＦｍ−２で
ある、ベクトルＶ（ｘｂ、ｙｂ）は信頼できるものと見
なされる。その他の場合は突発値と見なされかつ引き続
く解析においてもはや考慮されない。

ｋ−１・・・Ｋとして、残りのに個の動きベクトルＶｋ
−（Ｖｋ　（ｘｋ、ｙｋ）、（Ｖｙ（Ｘｋｙｋ））のヒ
ストグラムＨ（Ｖｘ　（ｘ、ｙ）Ｖｙ　（ｘ、ｙ））が
決定される。読み取りをもっと容易にするために、全項
Ｈ（Ｖｘ　（ｘ。

ｙ）、Ｖｙ　（ｘ、ｙ）は時々、ヒストグラムの位置ま
たは２次元数からのベクトル成分の依存性がその点にお
いて余り関係しなければ、Ｈ（Ｖｘ、Ｖｙ）またはＨ（
Ｖ）に簡略化される。

ベクトルヒストグラムを用いたパン認識は次のように実
施される： まず、第１の仮定において、パンが存在しかつ最も頻繁
に生じるベクトルがパンベクトルであることが仮定され
る： 第１の仮定：　Ｈ（Ｖｐｘ、　Ｖｐｙ）　＝　Ｈｍａｘ
を有する最も頻繁に生じるベクトルＶｐ＝（ＶｐｘＶｐ
ｙ）はあいまいでないパンベクトルを表している。

次に第１の仮定が真であるかどうかが検査される。この
ためにパンベクトルの頻度は、前以て決められたしきい
値を越えていなければならず、かつその他のベクトルの
頻度は、別のしきい値Δを下回らなければならない： テスト：最も頻繁に生じるベクトルＶｐ−（Ｖ　ｐｘ、
　Ｖ　ｐｙ）はＨ（Ｖ　ｐｘ、　Ｖ　ｐｙ）　＝　Ｈｍ
ａｘ＞Ｈｐｍｉｎの頻度で存在し、 かつすべての他のベクトルに対して Ｈ（Ｖｘ、Ｖｙ））Δの頻度が成り立つならば、パンは
存在する（例：　Ｈｐｍｉｎ＝　０　、５　＋Δ−〇、
ｌ）。

パンがこの方法で認識されなければ、第２の仮定（第２
の仮定）が威される： 第２の仮定：真のパンベクトルは、ともに事象Ｈｍａｘ
の最大の頻度を有する４つの隣接するベクトルの間にあ
る。

正方形におけるベクトル位置の配列は次のように見える
： ！ ｎ＋１＋ ！ 叩 ｍ＋１ この場合本は隣接するベクトルおよび。は推定された真
のパンベクトルである。

この仮定もテストされる： テスト二次のことが、端点が辺の長さｌを有する正方形
を形成しかつ最大の共通の頻度ＨＳｕｍＭａｘを有する
４つの４つのベクトルに対して、ＨＳｕｍＭａｘ＞Ｈｐ
ｍｉｎが成立ちかつすべての他のベクトルに対して Ｈ（Ｖｘ、Ｖｙ）＞Δが成立てば、パンは存在する。そ
れからパンベクトル０は次のように推定される： Ｖｐ＝　（Ｖｐｘ、Ｖｐｙ） ただしＶｐｘ＝Σ　Ｈ（Ｖｉ）＊Ｖｉｘｉ＝１ ｖｐｙ　−Σ　Ｈ（Ｖ　ｉ　）＊　Ｖ　　ｉ　　ｙｉ＝
１ この方法においてパンが認識されない場合、第３の仮定
としてズームが存在することが仮定される： 第３の仮定：ズームが存在している。

ズームにスーパーインポーズされたパンは、ヒストグラ
ムから戒分毎の線形回帰によってのみ決定することがで
きる。このために、−ここでは２次元マトリクスを表す
ヒストグラムにおいて一矩形に囲まれたものの外側にあ
るすべてのベクトル、例えばすべてのベクトルの９０％
のベクトルは、突発値と見なされかつ引き続く評価に対
して無視される。以下において、ｉ＝１・・・■として
、座標（ｘｊ、ｙｉ）は、有効なベクトルが存在するベ
クトルフィールドマトリクスＶにおける位置を指示する
。これにより、画像ブロック当たり１つのベクトルのみ
が評価される。

決定された回帰直線 Ｖｘ　（ｘ）”ａｘ＊ｘ＋ｂｘ Ｖｙ　（ｙ）社ａｙ＊ｙ＋ｂｙ から、 Ｖｐｘ−Ｖｘ　（０） Ｖｐｙ−Ｖｙ　（０） に従ってパン推定値が続く。

これらの推定値は、ズーム認識によって使用される。

ズーム認識は、ベクトルフィールドから形成される。

ズームは、焦面の伸長または圧縮を通して画像内容の主
観的な縮小または拡大を意図する。

ズームの強度または速度、すなわち“ズーム係数″は、
焦面の中心の伸長の伸長係数ａ−（ａｘ、ａｙ）と同一
である。水平方向および垂直方向の画素の次元が等しい
場合、水平方向および垂直方向の伸長は量が等しい。す
なわちａｘ＝ａｙ＝ａ、例として、この場合について引
き続き検討する。それから焦面の伸長が ｓｎ＋Ｊ（ｘ、ｙ）＝ｓｎ（ｘ’、ｙ’）−ｓｎ（ａ本
ｘ、ａ＊ｙ）　　　　　（１）によって定義され、 ただしｓｎ：ｊＫ倍信 号ｎ＋１：伸長後の信号。

パン補償が実施された後、伸長またはズームの中心は画
像の中・むにある。決定された動きベクトルＶ　（ｘ、
ｙ）は、理想の場合、画像ｎおよびｎ＋１における同一
の信号部分（ブロック）の座標間の差を表している： Ｖｙ（ｘ、ｙ）＝ｙ−ｙ’：ｙ−ａ＊ｙ＝（１−ａ）ｙ
＝ｚ＊ｙこのようにここで決定されたズーム係数２−Ｚ
ｘ−Ｚｙによって、動きベクトルの決定が可能になり、
この動きベクトルは更に、次の式に従って画像ｎから画
像ｎ＋１を予測するために使用することができる： すべてのｘ、ｙに対して Ｓｎ＋ｌ（ｘ、ｙ）＝ｓｎ（ｘ−Ｖｘ（ｘ、ｙ）＋ｙ−
Ｖｙ（ｘ、ｙ）　　（３）ズーム決定の推定はまず、そ
れぞれの成分に対して別個ｌこ、有効な動きベクトルの
位置（ｘｉｙｉ）において局所的に実施される： Ｚｙｉ耽ｖｙ　（ｘｉ、ｙｉ）／ｙｉ これにより、ズーム中心に関して近似的に放射状に走る
ようなベクトルのみが推定のために使用される（例えば
±１０°）。

それから大域的なズーム係数が Ｚ　−Ｗｘ＊　Ｚ　ｘ　＋Ｗｙ＊　Ｚｙに設定され、た
だし Ｚｘ＝（Σ　Ｚｘｉ）／１ Ｚｙ＝（ΣＺｙｉ）／Ｉ これによりＷｘ、Ｗｙは、推定値Ｚｘ、Ｚｙの信頼性を
表しかつ次のように決定される重み係数である： および Ｗ　ｙ　　−１ Ｗ　ｘ その際 ｓ　　ｙ　／ 一５ｙ／ Ｚｙ これにより Ｓｘ＝　５ｑｒｔ（（Σ（Ｚｘｉ−Ｚｘ）ｌ＊２　）／
（１−１））（８） Ｓｙ＝　５ｑｒｔ（（Σ（Ｚｙｉ−Ｚｙ）＊＊２　）／
（１−１））すなわちＳｘ’ Ｓｙ′は、 推定された値Ｚｘ。

ｚｙの正規化された標準偏差である。

このズーム仮定はテストされる： テスト：ズーム係数の信頼性に対するテストパラメータ
は、Ｘおよびｙ方向におけるズームテスト推定値の差 ｄ　Ｚ　−ｌ　Ｚｘ−Ｚｙ　Ｉ／　ｌ　Ｚ　ｌ　　　　
（９）並びに正規化された標準偏差 Ｓ’＝　（Ｓｘ’＋Ｓｙ’）／２　　　　　（１０）Ｘ
およびｙ方向における標準偏差の差 ｄｓｌｓｘ−３ｙｌ／ｌＺｘ＋Ｚｙｌ　　　（１１）お
よび有効テストベクトルＩの数である。これらの値が所
定のしきい値を上回らずかつ少なくとも多数の有効テス
トベクトル■が存在すればズームは信頼できる方法で確
立されたものと見なされる。可能なしきい値は次の通り
である０、３より小さいｄＺ １．０より小さいＳ′ １．０より小さいｄＳ Ｏ，２＊Ｎより大きい■ その際Ｎ＝前前以決められたベクトルの数。

ズーム係数の推定に続いて、ズームおよびパン解析の結
果の反復テストを、ズーム係数並びに推定されたパン係
数の改良のために実施することができる。

ズームが存在するならば、そこでパン成分がズーム補償
されたベクトルフィールドに存在するかどうかがテスト
される。

テスト：ズームが存在するとき、ズームベクトルフィー
ルドが式（４）に従って合成されかつ前以て決められた
ベクトルに対する差ベクトルフィールドが発生される。

差ベクトルヒストグラムが形成されかつ上述のパン認識
に従って補償されていないパン成分の存在に対してテス
トされる。

これにより、パンが認識されたならば、上述のズームお
よびパン認識の反復繰り返しが実施される。

反復を中止する（停止する）条件は： 差ベクトルフィールドに残されたパン成分がない 一決定された新たなズーム係数の標準偏差は最後の反復
によるズーム係数より高い 一反復の最大数を、例えば４に固定すること。

それから、ベクトルフィールドが、式（３）に従ってパ
ラメータＶｐ＝　（Ｖｐｘ、Ｖｐｙ）およびＺから、そ
れぞれの画素に対して１つのベクトルが存在するように
、計算され、一方すべてのｘ＋　ｙに対して Ｖ（ｘ　、ｙ）＝（Ｖｘ（ｘ、ｙ）、Ｖｙ（ｘ、ｙ））
＝（ＺＪＸ＋Ｖｐｘ、Ｚ＊ｙ＋Ｖｐｙ）（１２） そこで画像ｎから画像ｎ＋１のズームおよびパン補償を
用いた動き補償された予測が、式（３）に従って実施さ
れる。

本発明は有利に【ネ、デジタル画像処理装置において使
用される。

最後に本判本発明の実施の態様を列記する。

ｌ）成分毎の平均化を、その頻度に応じて重み付けされ
ｔ；ベクトルヒストグラムのベクトルのＸおよびｙ成分
の別個の加算によって実施する請求項１記載の動き補償
方法。

２）総合ベクトルフィールドを、ズーム係数＊ベクトル
の位置に等しいルールベクトルＪｆｆｉ分に応じてズー
ム係数およびパン係数のパラメータから決定する請求項
１または上記ｌ）記載の動き補償方法。

３）差ベクトルフィールドを、ベクトルフィールドおよ
び総合ベクトルフィールドから決定し、かつパンを、前
記差ベクトルフィールドから推定しかつ、パンベクトル
が零に等しくない場合に、ズーム解析を、補正されたパ
ン推定を用いて繰り返す上記２）記載の動き補償方法。

Claims (1)

1. 【特許請求の範囲】 １、画像シーケンスに対する、ズームおよびパンの認識
   および補償用動画符号器または復号器における動き補償
   方法において、 動きベクトルのベクトルヒストグラムを、パンベクトル
   およびズーム係数を決定する目的でブロックオリエンテ
   ッド動き推定量のデータから発生し、 ａ）ズームが存在しなければ、純パンベクトルを、次の
   条件に基づいて、最も頻繁に生じるベクトルから補間を
   用いて決定し、すなわちこれらベクトルが等しいまたは
   殆ど等しい量および方向を有しかつ頻度が前以て決めら
   れたしきい値より高いという条件に基づいて決定し、 ｂ）ズームの存在が期待されるとき、スーパーインポー
   ズされたパンベクトルを、補正されたベクトルヒストグ
   ラムから成分毎の平均化（平均値の生成）を通して発生
   し、 ｃ）第１のステップにおいて平均値を、前記ベクトルの
   位置によって割り算されたルールベクトル成分に応じて
   局所推定から成分毎に発生し、かつ散在（分散）を、前
   記局所推定から重み係数として決定し、かつ第２のステ
   ップにおいて前記平均値を、ズーム係数を生成するため
   に重み付けして加算することを特徴とする動き補償方法
   。