JP4829510B2 - 画像シーケンスの符号化に先行する事前処理のための装置及び方法 - Google Patents

Description

本発明はビデオ画像のシーケンスの符号化に先行する事前処理のための装置及び方法に関する。

画像符号化装置は、時間的又は空間的エントロピーの低い画像を符号化するときには一層効果的である。

したがって、しばしば画像符号化装置には、より良い符号化が可能になるように画像を処理する画像事前処理装置が付随している。

公知のように、ビデオシーケンスのエントロピーを減少させるのに適した事前処理装置は、予測又は補間された画像の符号化コストが低減されるように、画像毎の時間的冗長性を増大させる線形又は非線形のフィルタを使用する。

しかし、これらの様々な手法は、
− 均質領域の平滑作用を生じさせる時間的解像度の低下、
− 色むらの印象
− 動きが著しい場合の輪郭の分裂
を含む欠点を有している。

動き補償フィルタの使用はこれらの欠点を緩和することはできるが、動き推定量が動きを正しく推定しないときにはアーチファクトを生じることがありうる。

本発明の課題は、モルフォロジー演算を使用して各ピクセルの振幅の時間的な弱変動の平滑化を行うことである。

上記課題は、画像シーケンスの符号化に先行する事前処理のための装置であって、現在フレームの各ピクセルに関して、現在ピクセルと先行フレーム及び同じパリティの先行フレームの相応するピクセルとの間の動きを推定する手段を有している形式の装置において、前記装置が、構造化要素を用いて現在フレームのピクセルに対してモルフォロジー処理を行う手段と、前記モルフォロジー処理手段によるモルフォロジー演算の行われる構造化要素のピクセルを現在ピクセルに対して実行された動き推定に依存して定義する手段とを有することにより解決される。

有利な１つの実施形態によれば、装置は、
− 現在ピクセルが静止領域の一部を形成していると見なせるか否かを検出する手段と、
− 先行フレームにおける現在ピクセルの位置を基準とした現在ピクセルの動きを予め決められた第１の閾値と比較し、同じパリティの先行フレームにおける現在ピクセルの位置を基準とした現在ピクセルの動きを予め決められた第２の閾値と比較する手段とを有している。

好ましい１つの実施形態によれば、先行フレームにおける現在ピクセルの位置を基準とした現在ピクセルの動きと同じパリティの先行フレームにおける現在ピクセルの位置を基準とした現在ピクセルの動きを予め決められた閾値と比較する前記手段は、現在の点の近傍で計算されたベクトルモジュラスを予め決められた前記閾値と比較する。

好ましい１つの実施形態において、現在ピクセルに関して構造化要素のピクセルを定義する前記手段は、３つのピクセルから構成された構造化要素を形成するのに適している。

好ましい１つの実施形態において、現在ピクセルに関して構造化要素のピクセルを定義する前記手段は、
− 現在ピクセル、及び、
− 先行フレームを基準として現在ピクセルが静止領域の一部を形成している場合には、現在ピクセルと同じ座標を有する先行フレームのピクセル、その他の場合には、動きベクトルにより並進させた先行フレームのピクセル、及び、
− 同じパリティの先行フレームを基準として現在ピクセルが静止領域の一部を形成している場合には、現在ピクセルと同じ座標を有する先行フレームのピクセル、その他の場合には、動きベクトルにより並進させた同じパリティの先行フレームのピクセルを選択するのに適している。

好ましい１つの実施形態によれば、装置は予め決められた前記閾値との比較に依存して、構造化要素を定義するように選択されたピクセルを有効化する手段を有している。

有利には、選択されたピクセルを有効化する前記手段は、
− ベクトルモジュラスが予め決められた前記第１の閾値よりも大きい場合には、先行フレームにおいて選択されたピクセルを有効化し、
− ベクトルモジュラスが予め決められた前記第２の閾値よりも大きい場合には、同じパリティの先行フレームにおいて選択されたピクセルを有効化するのに適している。

好ましい１つの実施形態において、モルフォロジー処理を行う前記手段は、構造化要素に対して浸食演算、つぎに膨張演算、つぎに浸食演算、つぎに膨張演算を順次実行するのに適している。

また本発明は、現在フレームの各ピクセルに関して、現在ピクセルと先行フレーム及び同じパリティの先行フレームの相応するピクセルとの間の動きを推定するステップを有する画像シーケンスの符号化に先行する事前処理の方法にも関している。本発明によれば、この方法はさらに、
− 構造化要素を用いて現在フレームのピクセルに対してモルフォロジー処理を行うステップと、
− 前記モルフォロジー処理ステップの間、現在ピクセルに対して実行された動き推定に依存して、前記モルフォロジー処理の行われる構造化要素のピクセルを定義するステップとを有している。

本発明は、添付した図面の参照とともに完全に非限定的な有利な実施例及び実施形態によってより良く理解される。

図示されたモジュールは機能単位であり、これらは物理的に区別し得るユニットに相当することもしないこともあり得る。例えば、これらのモジュール又はそれらのうちのいくつかは単一のコンポーネントにまとめられたり、又は同一のソフトウェアの複数の機能を構成するものであり得る。逆に、あるモジュールが別個の物理的エンティティから構成されていることもあり得る。

事前符号化装置に入力されるビデオ信号Ｓｉはインタレース式のビデオ信号である。

事前符号化装置のパフォーマンスを向上させるために、ビデオ信号Ｓｉはインタレース解除器１によりインタレース解除される。インタレース解除器１は、ビデオ信号Ｓｉの連続する３つのフレームに基づいた当業者には周知のインタレース解除法を用いて、ビデオ信号Ｓｉのフレーム毎の走査線数を２倍にする。このようにして、それぞれ画像の完全な垂直解像度を有する連続的なフレームが得られ、それにより、後でフレーム毎の比較を行うことができるようになる。２つの連続するフレームの各々の走査線は空間的に画像内の同一箇所にある。

モジュール１５はビデオ信号を１フレームだけ遅延させることができる。モジュール１５は有利にはスタティックＲＡＭタイプのメモリで構成されている。

静止領域を検出するモジュール１７は、インタレース解除器１からのビデオ信号と１フレームだけ遅延されたモジュール１５からのビデオ信号を入力として受け取る。

モジュール１７は先行フレームを基準として現在フレームの静止領域を検出する。

モジュール１８は、インタレース解除器１からのビデオ信号と、モジュール１５と同じタイプの遅延モジュール１６により２フレームだけ遅延されたインタレース解除器１からのビデオ信号を入力として受け取る。

モジュール１８は先行画像の同じパリティのフレームを基準として現在フレームの静止領域を検出する。

静止領域の検出は、フレーム毎に又は画像毎に、動きを欠いた領域を検出することから成る。静止領域の検出は輝度情報に基づいて行われ、サイズ可変のブロックに対して行われる。各フレームの同じ座標を有するブロックの間の平均誤差が計算される。この誤差は予め決められた閾値と比較され、有効化されるか、その他の場合には、静止領域とされる。ブロックのサイズが小さければ小さいほど、分析はより正確になるが、雑音に対して更に敏感になる。

静止領域は画像の各ピクセルについて計算されるのではないが、安定度を確保するために２＊２ピクセルのブロックについて計算される。

モジュール１７は、先行フレームを基準として現在ピクセルが静止領域と呼ばれる領域の一部を形成していることを示す信号ＺＦＴを出力する。

モジュール１８は、先行画像の同じパリティのフレームを基準として現在ピクセルが静止領域と呼ばれる領域の一部を形成していることを示す信号ＺＦＩを出力する。

モジュール１９は入力として信号ＺＦＴを受け取る。モジュール１９はまた入力として現在ピクセルに関するフレーム動きベクトルも受け取る。

モジュール２０は入力として信号ＺＦＩを受け取る。モジュール２０はまた入力として現在ピクセルに関する画像動きベクトルも受け取る。

フレーム動きベクトルと画像動きベクトルは、当業者には周知の手順に従ってフレーム動きベクトルを計算することのできるモジュール（図示せず）により計算される。

モジュール１９及び２０は、静止領域として検出された点の動きベクトルを無効化する。

したがって、モジュール１９及び２０の出力側においては、静止領域として検出されなかったピクセルに関する動きベクトルＶＴ及びＶＩと、静止領域として検出されたピクセルに関するゼロベクトルとが得られる。ベクトルＶＴ及びＶＩは図２に示されている。

ベクトルモジュール２１は入力としてモジュール１９からの動きベクトルを受け取る。

ベクトルモジュール２２は入力としてモジュール２０からの動きベクトルを受け取る。

ベクトルモジュール２１は次式に従ってベクトルモジュラスＭＯＤＶＴを計算する：
ＭＯＤＶＴ＝ＶＴｘ^２＋ＶＴｙ^２
ベクトルモジュール２２は次式に従ってベクトルモジュラスＭＯＤＶＩを計算する：
ＭＯＤＶＩ＝ＶＩｘ^２＋ＶＩｙ^２
ＶＴｘ、ＶＴｙ、ＶＩｘ、及びＶＩｙはモジュラスＶＴ及びＶＩの水平軸及び垂直軸に沿ったそれぞれの座標を表している。

ベクトルモジュラスＭＯＤＶＩ及びＭＯＤＶＴは２ピクセルのブロック内で計算される。これにより有利には画像の不安定性を最小化することができる。

モジュール２１はコンパレータ２３に、モジュール２２はコンパレータ２４にそれぞれ接続されている。

また、コンパレータ２３は入力閾値ＳＴを、コンパレータ２４は入力閾値ＳＩをそれぞれ受け取る。

閾値ＳＴ及びＳＩは用途に応じて等しい又は異なる。

コンパレータ２３はＭＯＤＶＴの値を予め決められた閾値ＳＴと比較し、コンパレータ２４はＭＯＤＶＩの値を予め決められた閾値ＳＩと比較する。

閾値ＳＴ及びＳＩは、ピクセルブロック内での動きが有意と見なされるようなモジュラスＭＯＤＶＴ及びＭＯＤＶＩの値を表している。
ＭＯＤＶＴ≧ＳＴならばＭＴ＝０、その他の場合にはＭＴ＝１
ＭＯＤＶＩ≧ＳＩならばＭＩ＝０、その他の場合にはＭＩ＝１
強い動きを受けたオブジェクトは（中程度の動き又は弱い動きのオブジェクトとは対称的に）目で捕らえるのは困難であるという心理視覚的な特性が使用される。したがって、強い動きがあるときには処理が適用され、中程度又は弱い動きがあるときには処理はディスエーブルされる。非常に弱い動きは、適用される検出閾値によっては静止領域と同等に扱われることがある。

ビデオ信号はまた遅延モジュール２によっても受信される。遅延モジュール２は動き補償された先行ビデオフレームを出力する。すなわち、この動き補償された先行ビデオフレームにおいては、ピクセルの座標は動き補償に従って変更されている。

インタレース解除器１によりインタレース解除されたビデオ信号は遅延モジュール３によっても受信される。遅延モジュール３は動き補償された先行ビデオフレームを出力する。すなわち、この動き補償された先行ビデオフレームにおいては、ピクセルの座標は動き補償に従って変更されている。

浸食演算を行うモルフォロジー演算器４は入力としてモジュール２及び３からの出力を受け取る。浸食モジュール４はまた入力としてそれぞれコンパレータ２４と２３からの信号ＭＩとＭＴを受け取る。

浸食モジュール４は構造化要素に対して浸食演算を行う。構造化要素は現在ピクセルから、またことによると先行フレームのピクセルから構成されている。

構造化要素は次のようにして計算される。第１のステップでは、
− 先行フレーム（ＺＦＴ）を基準として現在ピクセルがモジュール１７によって静止領域として検出された場合、フレームベクトルＶＴは“０”に等しく、したがって先行フレーム内で構造化要素に属するように選択されたピクセルは現在ピクセルと同じ座標を有している；
− 先行フレームを基準として現在ピクセルがモジュール１７によって静止領域として検出されなかった場合、フレームベクトルＶＴは座標（ｐｘ＋ＶＴｘ，ｐｙ＋ＶＴｙ）を有するピクセルを指し、構造化要素の一部を形成しているのは先行フレームのこのピクセルである；
− 同じパリティの先行フレーム（ＺＦＩ）を基準として現在ピクセルがモジュール１８によって静止領域として検出された場合、フレームベクトルＶＩは“０”に等しく、したがって先行画像内で構造化要素に属するように選択されたピクセルは現在ピクセルと同じ座標を有している；
− 先行画像を基準として現在ピクセルがモジュール１８によって静止領域として検出されなかった場合、フレームベクトルＶＩは座標（ｐｘ＋Ｖｉｘ，ｐｙ＋Ｖｉｙ）を有するピクセルを指し、構造化要素の一部を形成しているのは先行フレームのこのピクセルである。

第２のステップでは、以前に計算された構造化要素がマスクＭＩ及びＭＴに依存して変更される。
− ＭＩが不活動状態ならば、このことは、現在ピクセルを含めた進行中の２＊２ブロック（２ピクセル×２ピクセル）内における動きがモルフォロジー演算を適用するに十分なほど有意であると見なされていることを示しており、座標（ｐｘ＋Ｖｉｘ，ｐｙ＋Ｖｉｙ）を有する以前に選択された先行画像内のピクセルは構造化要素に属するものとして有効化される。
− ＭＩが活動状態ならば、座標（ｐｘ＋Ｖｉｘ，ｐｙ＋Ｖｉｙ）を有する以前に選択された先行画像内のピクセルは構造化要素に属するものとして有効化されず、それゆえ構造化要素は予想されたよりも１ピクセル少ない。
− ＭＴが不活動状態ならば、このことは、現在ピクセルを含めた進行中の２＊２ブロック（２ピクセル×２ピクセル）内における動きがモルフォロジー演算を適用するに十分なほど有意であると見なされていることを示しており、座標（ｐｘ＋Ｖｉｘ，ｐｙ＋Ｖｉｙ）を有する以前に選択された先行画像内のピクセルは構造化要素に属するものとして有効化される。
− ＭＴが活動状態ならば、座標（ｐｘ＋Ｖｉｘ，ｐｙ＋Ｖｉｙ）を有する以前に選択された先行画像内のピクセルは構造化要素に属するものとして有効化されず、それゆえ構造化要素は予想されたよりも１ピクセル少ない。

このように、各モルフォロジー演算器の構造化要素は３，２，又は１ピクセルで構成されうる。１ピクセルであれば、それは現在ピクセルである。

したがって、浸食モジュール４は以前に計算された構造化要素に対して浸食演算を行う。

浸食作用は構造化要素のピクセルのうちで最小の値を有するピクセルを残しておくことから成る。

図解例として：
・ＭＩが不活動状態であり、かつＭＴが不活動状態ならば、
ＶＩ＝ＶＴ＝０のときには、浸食モジュールからの出力は、
ｏｕｔ＝ＭＩＮ（先行画像ピクセル、先行フレームピクセル、現在ピクセル）であり、
ＶＴ＝１かつＶＩ＝２のときには、浸食モジュールからの出力は、
ｏｕｔ＝ＭＩＮ（先行画像ピクセル−２、先行フレームピクセル−１、現在ピクセル）
である。
・ＭＩが活動状態であり、かつＭＴが不活動状態ならば、
ＶＴ＝１かつＶＩ＝２のときには、浸食モジュールからの出力は、
ｏｕｔ＝ＭＩＮ（先行フレームピクセル−１、現在ピクセル）
である。

つぎに、浸食モジュール４の出力側は、膨張演算を行うモルフォロジー演算器７の入力側に接続される。

膨張モジュール７は入力として、動き補償され且つ１フレーム（遅延モジュール５の出力）だけ遅延されたモジュール４からの出力と、動き補償され且つ遅延モジュール６の出力である画像（実際には同じパリティの先行フレーム）の分だけ遅延されたモジュール４からの出力も受け取る。

膨張演算は構造化要素のピクセルに対して行われる。

膨張演算は構造化要素のピクセルのうちで最大の値を有するピクセルを残しておくことから成る。

膨張モジュール７の出力側は第２の膨張モジュール１０の入力側に接続される。モジュール１０は入力として、動き補償され且つ１フレーム（遅延モジュール８の出力）だけ遅延されたモジュール７の出力と、動き補償され且つ遅延モジュール９の出力である画像（実際には同じパリティの先行フレーム）の分だけ遅延されたモジュール６からの出力も受け取る。

モジュール１０によって行われる膨張演算は、以前に定義された構造化要素のピクセルのうちから最大値をとることから成る。

膨張モジュール１０の出力側は第２の浸食モジュール１３の入力側に接続される。モジュール１３は入力として、動き補償され且つ１フレーム（遅延モジュール１１の出力）だけ遅延されたモジュール１０からの出力と、動き補償され且つ遅延モジュール１２の出力である画像（実際には同じパリティの先行フレーム）の分だけ遅延されたモジュール１０からの出力も受け取る。

浸食演算は構造化要素のピクセルに対して行われ、構造化要素のピクセルのうちで最小の値を有するピクセルを残しておくことから成っている。

したがってモルフォロジー演算器は、（浸食後に膨張を行うことから成る）開口演算の後に、閉口演算（膨張後の浸食）を行う。

他の実施形態では、開口演算の前に閉口演算を行うことも可能である。

浸食モジュールの出力はつぎにインタレースモジュール１４に送られ、インタレースモジュール１４が連続ビデオ信号をインタレースビデオ信号に変換する。

ビデオ信号はつぎに有利にはビデオ符号化装置に送られる。符号化装置は、エントロピーの減少したビデオ信号に対してビデオ符号化を行うことができる。

本発明はもちろん上に記載した実施例に限定されない。

本発明による装置の実施形態を示す。 連続した３つのフレームにわたる点の位置の変化を示す。

符号の説明

１ インタレース解除器
２ 遅延モジュール
３ 遅延モジュール
４ 浸食モジュール
５ 遅延モジュール
６ 遅延モジュール
７ 膨張モジュール
８ 遅延モジュール
９ 遅延モジュール
１０ 膨張モジュール
１１ 遅延モジュール
１２ 遅延モジュール
１３ 浸食モジュール
１４ インタレースモジュール
１５ 遅延モジュール
１６ 遅延モジュール
１７ 静止領域検出モジュール
１８ 静止領域検出モジュール
１９ ベクトル無効化モジュール
２０ ベクトル無効化モジュール
２１ ベクトルモジュール
２２ ベクトルモジュール
２３ コンパレータ
２４ コンパレータ

Claims (9)

1. 画像シーケンスの符号化に先行する事前処理のための装置であって、現在フレームの各ピクセルに関して、現在ピクセルと先行フレーム及び同じパリティの先行フレームの相応するピクセルとの間の動きを推定する手段を有している形式の装置において、
   前記装置が、構造化要素を用いて現在フレームのピクセルに対してモルフォロジー処理を行う手段と、
   前記モルフォロジー処理手段によるモルフォロジー演算の行われる構造化要素のピクセルを現在ピクセルに対して実行された動き推定に依存して定義する手段と
   を有することを特徴とする、画像シーケンスの符号化に先行する事前処理のための装置。
2. 現在ピクセルが先行フレーム及び同じパリティの先行フレームを基準として動きのない領域、すなわち、静止領域と呼ばれる領域の一部を形成していると見なせるか否かを検出する手段と、
   先行フレームにおける現在ピクセルの位置を基準とした現在ピクセルの動きを予め決められた第１の閾値と比較し、同じパリティの先行フレームにおける現在ピクセルの位置を基準とした現在ピクセルの動きを予め決められた第２の閾値と比較する手段と
   を有する、請求項１記載の装置。
3. 前記比較する手段は、
   先行フレームにおける現在ピクセルの動きを表す第１のベクトルモジュラスを予め決められた前記第１の閾値と比較し、同じパリティの前記先行フレームにおける現在ピクセルの動きを表す第２のベクトルモジュラスを予め決められた前記第２の閾値と比較し、
   前記第１及び第２のベクトルモジュラスは、２ピクセルのブロック内で計算される、請求項２記載の装置。
4. 現在ピクセルに関して構造化要素のピクセルを定義する前記手段は、３つのピクセルから構成された構造化要素を形成する、請求項３記載の装置。
5. 現在ピクセルに関して構造化要素のピクセルを定義する前記手段は、
   現在ピクセル、及び、
   先行フレームを基準として現在ピクセルが静止領域の一部を形成している場合には、現在ピクセルと同じ座標を有する先行フレームのピクセル、その他の場合には、動きベクトルにより並進させた先行フレームのピクセル、及び、
   同じパリティの先行フレームを基準として現在ピクセルが静止領域の一部を形成している場合には、現在ピクセルと同じ座標を有する先行フレームのピクセル、
   その他の場合には、動きベクトルにより並進させた同じパリティの先行フレームのピクセルを選択する、請求項４記載の装置。
6. 予め決められた前記閾値との比較に依存して、構造化要素を定義するように選択されたピクセルを有効化する手段を有している、請求項５記載の装置。
7. 選択されたピクセルを有効化する前記手段は、
   前記第１のベクトルモジュラスが予め決められた前記第１の閾値よりも大きい場合には、先行フレームにおいて選択されたピクセルを有効化し、
   前記第２のベクトルモジュラスが予め決められた前記第２の閾値よりも大きい場合には、同じパリティの先行フレームにおいて選択されたピクセルを有効化する、
   請求項６記載の装置。
8. モルフォロジー処理を行う前記手段は、構造化要素に対して浸食演算、つぎに膨張演算、つぎに浸食演算、つぎに膨張演算を順次実行する、請求項１から７のいずれか１項記載の装置。
9. 画像シーケンスの符号化に先行する事前処理の方法であって、現在フレームの各ピクセルに関して、現在ピクセルと先行フレーム及び同じパリティの先行フレームの相応するピクセルとの間の動きを推定するステップを有しているものにおいて、
   前記方法は、
   構造化要素を用いて現在フレームのピクセルに対してモルフォロジー処理を行うステップと、
   前記モルフォロジー処理ステップの間、現在ピクセルに対して実行された動き推定に依存して、前記モルフォロジー処理の行われる構造化要素のピクセルを定義するステップと
   を有することを特徴とする、画像シーケンスの符号化に先行する事前処理の方法。

Images