JPH06178285A - 動きベクトル最適化回路 - Google Patents

Abstract

(57)【要約】 【目的】 動きベクトルの検出精度などを向上させるこ
とができ、これによって高い精度の動き補正画像を得
る。 【構成】 時空間フィルタ回路１によって処理対象とな
る動きベクトルを取り込んで時空間フィルタリングを行
なって空間上の連続性と時間軸上の変化の一様性とを持
つ検出動きベクトル場を生成した後、割り付け検定回路
３によって前記時空間フィルタ回路１から出力される検
出動きベクトル場の空間上の連続性と時間軸上の変化の
一様性とを考慮して前記検出動きベクトル場を検定する
とともに、時空間メディアンフィルタ回路６および時空
間フィルタ回路８によって前記割り付け検定回路３の検
定結果に基づき前記時空間フィルタ回路１から出力され
る動きベクトル場中の不適切な動きベクトル場を除きな
がら、時空間フィルタリングを行なって前記動きベクト
ル場を最適化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動き補正方式を用いた帯
域圧縮技術や方式変換技術、画像処理技術等の広い範囲
で使用される連続した画像、例えばテレビジョン画像間
の動きベクトルを水平垂直方向のみならず、時間軸方向
をも考慮して最適化する動きベクトル最適化回路に関す
る。

【０００２】［発明の概要］本発明は連続するテレビジ
ョン画像間や一般画像間で、広義の動きベクトル検出
と、動き領域とに最適な動きベクトルを割り付けるアル
ゴリズムに関するもので、割り付ける動きベクトル場の
最適化と、割り付ける動きベクトルの検定と、割り付け
られた動きベクトル場の最適化とを行なうことにより、
連続する画像間の時空間上の連続性（但し、時空間上の
連続性とは、水平垂直方向の連続性と、時間変化の一様
性とを言う）を持った最適な動きベクトル場を形成する
とともに、時空間上で連続性を有する動きベクトル場か
ら任意の２つの連続する画像間の任意の位置に時空間上
で連続する最適な動きベクトルを割り付けるようにした
ものである。

【０００３】

【従来の技術】連続する画像、例えばテレビジョン画像
間の動きベクトルを検出して、画像を圧縮する技術で
は、従来、連続する２つのテレビジョン画像の輝度信号
間の相関関係やレベル差を検出して動き領域を検出して
動きベクトルを割り付けたり、前記テレビジョン画像の
色差信号相関関係やレベル差を検出して動き領域を検出
して動きベクトルを割り付けたりしている。

【０００４】この場合、２つの画像間の割り付け領域の
輝度レベルや色差レベルが等しいときや誤検出によって
不適切な動き領域が割り付けられると、これらの画像に
対して誤った動きベクトルが割り付けられてしまう。

【０００５】そこで、このような不都合を無くすため
に、通常の動きベクトル検出では、動きベクトルを割り
付ける際、連続する２つの画像のどちらか一方の画像を
規則正しく、かつ均一に複数のブロックに分割し、これ
らの各ブロック単位または１画素単位で動きベクトルを
割り付けた後、他方の画像との間で各動きベクトルが正
しいかどうかを検定して正しい動きベクトルを検出し得
るようにしている。

【０００６】

【発明が解決しようとする課題】しかしながら、このよ
うな動きベクトルの補正技術では、２つの画像間の関係
のみしか考慮していないため、人間の目で検知できない
程度まで、動きベクトルの割り付け精度を上げることが
できない。

【０００７】このため、従来の補正技術を用いて処理さ
れた画像では、動き補正を行なうことができなかった部
分が画質劣化として人間の目で検知されてしまう。

【０００８】このように、現段階では、１００％の精度
で動きベクトルの割り付けを行なうことはほとんど不可
能であるが、人間の視覚特性を考慮して人間の目に検知
できない程度まで、動きベクトルの割り付け精度を上げ
たいという要求がある。

【０００９】本発明は上記の事情に鑑み、動きベクトル
の検出精度などを向上させることができ、これによって
高い精度の動き補正画像を得ることができる動きベクト
ル最適化回路を提供することを目的としている。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに本発明による動きベクトル最適化回路は、検出され
た動きベクトルを取り込んで時空間フィルタリングを行
なって動きベクトル場の空間上の連続性と時間軸上の変
化の一様性とを持つ検出動きベクトル場を生成する時空
間フィルタ部と、この時空間フィルタ部から出力される
検出動きベクトル場を取り込んで、動きベクトル場の空
間上の連続性と時間軸上の変化の一様性とを考慮して前
記検出動きベクトル場を検定する動きベクトル場検定部
と、この動きベクトル場検定部の検定結果に基づいて前
記時空間フィルタ部から出力される動きベクトル場中の
不適切な動きベクトル場を除きながら、時空間フィルタ
リングを行なって前記動きベクトル場を最適化する動き
ベクトル場最適化部とを備えたことを特徴としている。

【００１１】

【作用】上記の構成において、時空間フィルタ部によっ
て検出された動きベクトルが取り込まれて時空間フィル
タリングが行なわれて動きベクトル場の空間上の連続性
と時間軸上の変化の一様性とを持つ検出動きベクトル場
が生成された後、動きベクトル場検定部によって前記時
空間フィルタ部から出力される検出動きベクトル場の空
間上の連続性と時間軸上の変化の一様性とが考慮されて
前記検出動きベクトル場が検定されるとともに、動きベ
クトル場最適化部によって前記動きベクトル場検定部の
検定結果に基づき前記時空間フィルタ部から出力される
動きベクトル場中の不適切な動きベクトル場が除かれな
がら、時空間フィルタリングが行なわれて前記動きベク
トル場が最適化される。

【００１２】

【実施例】まず、本発明による動きベクトル最適化回路
の実施例の詳細な説明に先立って本発明の基本となる考
え方を説明する。

【００１３】なお、以下の説明で、広義の動きベクトル
とは、２つの連続したテレビジョン画像間での動きベク
トルの存在を調べ、この動きベクトルを持つ動き領域を
特定することを言い、また動きベクトルの割り付けと
は、２つの連続した画像間に存在する動きベクトルを最
適な動き領域に特定することを言う。

【００１４】まず、従来の動きベクトルの割り付け方法
による問題点の原因を知るために、従来の動きベクトル
の割り付け方法を詳細に検討した。

【００１５】この結果、従来の動きベクトルの割り付け
方法では、主として２つの画像間の輝度信号レベルの相
関関係を調べることに主眼をおいて動きベクトルを割り
付け、割り付ける動きベクトル場の時空間上の連続性に
注目した割り付けを行なっていないことに気付いた。

【００１６】つまり、従来の技術では、動き検出を行な
うとき、時空間上において、ベクトル場の連続性を全く
考慮せずに、各画像に対して水平垂直方向にローパスフ
ィルタリングを行なって画像に含まれているノイズ成分
を除去した後、これらを比較して動き検出を行なってい
るため、本来の動き検出に必要な情報の多くを失ってし
まう。

【００１７】また、動きベクトルを割り付ける際の検定
も、時空間上の連続性を全く考慮せずに、検定を行なっ
ているため、動きベクトルの割り付けを最適化すること
ができなかった。

【００１８】さらに、従来の技術では、割り付けられた
動きベクトル場についても、時空間上での連続性を全く
考慮していない。

【００１９】そこで、本出願人は動き検出を行なうと
き、連続する複数のテレビジョン画像信号の動きベクト
ルを検出するとき、時空間上の連続性を考慮して動きベ
クトルを検出した。

【００２０】この結果、自然界の動き物体の持つ時空間
上での連続的な動きを検出して人間の目で検知できない
程度まで、広義の動きベクトル検出精度と、動きベクト
ルの割り付け精度とを上げることができた。

【００２１】そこで、本発明による動きベクトル最適化
回路では、連続する複数のテレビジョン画像信号の動き
ベクトルを検出するとき、時空間上の連続性を考慮して
動きベクトルを検出することにより、動きベクトルを最
適化する。

【００２２】図１は本発明による動きベクトル最適化回
路の一実施例を示すブロック図である。

【００２３】この図に示す動きベクトル最適化回路は２
つの時空間フィルタ回路１、２と、割り付け検定回路３
と、時空間エリアフィルタ回路４と、ベクトル値マスク
回路５が付加された時空間メディアンフィルタ回路６
と、ベクトル値マスク回路７が付加された時空間フィル
タ回路８と、後処理フィルタ回路９とを備えており、時
空間上の連続性を考慮せずに検出された動きベクトル、
すなわち検出方法に依存した誤った動きベクトルを含む
動きベクトルを取り込んで、割り付ける動きベクトル場
の最適化と、割り付ける動きベクトルの検定と、割り付
けられた動きベクトル場の最適化とを行なって連続する
画像間の時空間上の連続性を持った最適な動きベクトル
場を形成してこれを出力する。

【００２４】一方の時空間フィルタ回路１は時空間上の
連続性を考慮せずに検出された動きベクトル、すなわち
検出方法に依存した誤った動きベクトルを含む動きベク
トルを取り込むとともに、時空間フィルタリングして水
平垂直方向の連続性と、時間変化の一様性とを有する検
出動きベクトル場を生成し、これを割り付け検定回路３
に供給する。

【００２５】割り付け検定回路３は前記時空間フィルタ
回路１から出力される検出動きベクトル場を取り込ん
で、この検出動き検出ベクトル場を検定し、この検出動
きベクトル場に含まれている誤り内容、すなわち動き領
域が静止領域と誤判定されている領域と、静止領域が動
き領域と誤判定されている領域と、誤った動きベクトル
が設定されている領域と検出するとともに、この検出結
果に基づいて動き領域と、静止領域とを最適化して前記
検出動きベクトル場中に含まれている最適な動きベクト
ルを選択し、この選択内容に基づいて動きベクトルを割
り付けた領域（割り付けられた動きベクトル場）をベク
トル値マスク回路５が付加された時空間メディアンフィ
ルタ回路６に供給する。

【００２６】さらに、割り付け検定回路３は上述した動
作によって動きベクトルを割り当てた領域に“β1 ＝
１”を割り当て、動きベクトルを割り当てなかった領域
に“β1 ＝０”を割り当てた検定信号β1 を生成してこ
れをベクトル値マスク回路５が付加された時空間メディ
アンフィルタ回路６と、時空間エリアフィルタ回路４と
に供給する。

【００２７】ベクトル値マスク回路５が付加された時空
間メディアンフィルタ回路６は前記割り付け検定回路３
から出力される割り付けられた動きベクトル場と、検定
信号β1 とを取り込むとともに、この検定信号β1 に基
づいてベクトル値マスク回路５を制御して前記割り付け
られた動きベクトル場に含まれる不適切な部分、すなわ
ち２つの画像間の相関または輝度レベルと色差レベルと
が等しいとき、割り付け検定方法に依存する不適切な動
きベクトルが割り当てられた動き領域を示す不適切な動
きベクトルを取り除いた後、時空間メディアンフィルタ
回路６によって残りの動きベクトル場に対し、動き領域
に限定した時空間メディアンフィルタリングを行なって
動き領域の動きベクトル場に時空間上の連続性を持た
せ、これを動きベクトル場としてベクトル値マスク回路
７が付加された時空間フィルタ回路８に供給する。

【００２８】また、時空間エリアフィルタ回路４は前記
割り付け検定回路３から出力される検定信号β1 を取り
込むとともに、この検定信号β1 によって指定された各
領域、すなわち動きベクトルが割り当てられた領域と、
動きベクトルが割り当てられていない領域とに対し、予
め設定されているしきい値を使用して時空間エリアフィ
ルタリングを行なって動きベクトルが割り当てられた領
域と、動きベクトルが割り当てられない領域とが時空間
上で連続性を持つように前記検定信号β1 を最適化した
検定信号β2 を生成し、これをマスク回路７が付加され
た時空間フィルタ回路８と、後処理フィルタ回路９とに
供給する。

【００２９】ベクトル値マスク回路７が付加された時空
間フィルタ回路８は前記時空間エリアフィルタ回路４か
ら出力される検定信号β2 と、前記ベクトル値マスク回
路５が付加された時空間メディアンフィルタ回路６から
出力される動きベクトル場とを取り込むとともに、前記
検定信号β2 に基づいてベクトル値マスク回路７を制御
して前記動きベクトル場に含まれる不適切な部分、すな
わち前記ベクトル値マスク回路５が付加された時空間メ
ディアンフィルタ回路６で除去できない不適切な動きベ
クトル、例えば動き物体の動いた後から現われる領域
と、動き物体が隠していく領域とに対応しない不適切な
動きベクトルを取り除いた後、時空間フィルタ回路８に
よって残りの動きベクトル場に対し、動き領域に限定し
た時空間フィルタリングを行なって動き領域の動きベク
トル場に時空間上の連続性を持たせて、不適切な動きベ
クトルと静止処理すべき領域に対する動きベクトルとを
除去し、この除去処理によって得られた動きベクトル場
を後処理フィルタ回路９に供給する。

【００３０】また、他方の時空間フィルタ回路２は他の
方法で検出した動き検出信号を取り込むとともに、この
動き検出信号に対して時空間フィルタリングを行なって
水平垂直方向の連続性と、時間変化の一様性とを有する
動き検出信号を生成し、これを後処理フィルタ回路９に
供給する。

【００３１】後処理フィルタ回路９は前記時空間エリア
フィルタ４から出力される検定信号β2 と、前記時空間
フィルタ回路２から出力される動き検出信号と、前記ベ
クトル値マスク回路７が付加された時空間フィルタ回路
８から出力される動きベクトル場とを取り込むととも
に、前記検定信号β2 と動き検出信号とに基づいて前記
動きベクトル場に対し、フィルタリングを行なって動き
ベクトル場の静止領域と、動き領域とが正確に区分され
るとともに、時空間上の連続性を持ち、かつ最適な割り
付けがなされた動きベクトル場を生成してこれを出力す
る。

【００３２】このようにこの実施例においては、時空間
上の連続性を考慮せずに検出された動きベクトル、すな
わち検出方法に依存した誤った動きベクトルを含む動き
ベクトルを取り込んで、割り付ける動きベクトル場の最
適化と、割り付ける動きベクトルの検定と、割り付けら
れた動きベクトル場の最適化とを行なって連続する画像
間の時空間上の連続性を持った最適な動きベクトル場を
形成するようにしたので、広義の動きベクトル検出精度
と、動きベクトルの割り付け精度とを向上させることが
でき、これによって従来の動きベクトル補正と比べてよ
り精度の高い動き補正画像を得ることができる。

【００３３】

【発明の効果】以上説明したように本発明によれば、動
きベクトルの検出精度などを向上させることができ、こ
れによって高い精度の動き補正画像を得ることができ
る。

【図面の簡単な説明】

【図１】本発明による動きベクトル最適化回路の一実施
例を示すブロック図である。

【符号の説明】

１ 時空間フィルタ回路（時空間フィルタ部） ２ 時空間フィルタ回路 ３ 割り付け検定回路（動きベクトル場検定部） ４ 時空間エリアフィルタ回路 ５ ベクトル値マスク回路（動きベクトル場最適化部） ６ 時空間メディアンフィルタ回路（動きベクトル場最
適化部） ７ ベクトル値マスク回路（動きベクトル場最適化部） ８ 時空間フィルタ回路（動きベクトル場最適化部） ９ 後処理フィルタ回路（後処理フィルタ部）

Claims (2)

【特許請求の範囲】
1. 【請求項１】 検出された動きベクトルを取り込んで時
   空間フィルタリングを行なって動きベクトル場の空間上
   の連続性と時間軸上の変化の一様性とを持つ検出動きベ
   クトル場を生成する時空間フィルタ部と、 この時空間フィルタ部から出力される検出動きベクトル
   場を取り込んで、動きベクトル場の空間上の連続性と時
   間軸上の変化の一様性とを考慮して前記検出動きベクト
   ル場を検定する動きベクトル場検定部と、 この動きベクトル場検定部の検定結果に基づいて前記時
   空間フィルタ部から出力される動きベクトル場中の不適
   切な動きベクトル場を除きながら、時空間フィルタリン
   グを行なって前記動きベクトル場を最適化する動きベク
   トル場最適化部と、 を備えたことを特徴とする動きベクトル最適化回路。
2. 【請求項２】 他の検出方法で検出された動き検出信号
   を時空間フィルタ回路によって時空間フィルタリングし
   て水平垂直方向の連続性と時間変化の一様性とを考慮し
   た動き検出信号と、前記動きベクトル場検定部の検定結
   果とに基づいて前記動きベクトル場最適化部から出力さ
   れる動きベクトル場にフィルタリングを行なって前記動
   きベクトル場を最適化する後処理フィルタ部を有する請
   求項１記載の動きベクトル最適化回路。