JPH0779459B2 - 動き補正装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、例えばテレビジョンの方式変換におけるフ
ィールド数変換処理に適用される動き補正装置に関す
る。

〔発明の概要〕

この発明は、入力ビデオ信号の連続するフィールドの輝
度値の差分値を統計的に処理することにより、動きベク
トルを検出し、動きベクトルによって動き補正画像を形
成するようにした動き補正装置において、差分値を全画
面について集計し、集計された差分値の最小の値から複
数の値と夫々対応する複数の動きベクトルを検出し、検
出された複数の動きベクトルの夫々により複数の動き補
正画像を形成し、複数の動き補正画像の中で、補正誤差
が最小の動き補正画像を選択することにより、同一画面
中に、複数の動きがある場合でも、良好な動き補正画像
を形成するようにしたものである。

〔従来の技術〕

動き補正は、例えば特開昭57−193179号公報に示される
ように、ノイズ低減装置に使用されている。また、毎秒
60フィールドのテレビジョン信号を毎秒50フィールドの
テレビジョン信号に変換する時に、動き補正を行うこと
により、画面中の動きが滑らかな出力画像が得られる。

第６図は、従来の方式変換装置の一例を示す。この装置
は、（1125ライン/60フィールド）の高品位テレビジョ
ン方式所謂HD方式を（625ライン/50フィールド）のPAL
方式に変換する。第６図において、51で示す入力端子に
高品位テレビジョン信号中のディジタル化された輝度信
号が供給される。このディジタル輝度信号がライン数変
換回路52に供給される。ライン数変換回路52により、ノ
ンインタレース化の処理がされると共に、ライン数が11
25本から625本に変換される。

ライン数変換回路52の出力信号（625ライン/60フレー
ム）がフィールドメモリ53に書き込まれる。フィールド
メモリ53の入力側及び出力側の夫々から連続する２フィ
ールドのディジタルビデオ信号が動きベクトル検出回路
54に供給される。動きベクトル検出回路54は、１画面を
細分化してなる検出域ごとに前フィールドの代表点の輝
度値と現フィールドの画素の輝度値との差分値を算出
し、この差分値の絶対値を集計し、集計差分データの最
小値を動きベクトルとして検出する構成とされている。
この動きベクトルが動き補正回路55に供給される。

フィールドメモリ53からの前フィールドのディジタルビ
デオ信号と入力された現フィールドのディジタルビデオ
信号の両者が動き補正回路55及び直線補間回路59に供給
される。動き補正回路55は、動きベクトルに基づくシフ
ト命令によって前フィールドの画像をシフトした信号と
動きベクトルに基づくシフト命令によって現フィールド
の画像をシフトした信号とを合成して動き補正画像を形
成する。

直線補間回路59は、連続する２フィールドの映像の夫々
に所定の重み係数を乗算し、乗算出力を加算する補間回
路である。動き補正回路55の出力信号及び直線補間回路
59の出力信号が選択回路61に供給され、一方の出力信号
が選択される。選択回路61を制御するために、選択信号
発生回路64が設けられている。この選択信号発生回路64
には、動き補正回路55及び直線補間回路59の夫々から差
分信号が供給される。これらの差分信号は、動き補正回
路55の前フィールド及び現フィールドの夫々の動き補正
後の信号の差分信号並びに前フィールド及び現フィール
ドの夫々の信号の差分信号である。この二つの差分信号
の間で、より小さい方のレベルの差分信号と対応する補
正信号を画素単位で選択する選択信号が形成される。

選択回路61により選択された動き補正出力信号又は直線
補間出力信号がフレーム数変換回路67に供給され、フレ
ーム数変換回路67の出力端子68に（625ライン/50フィー
ルド）のPAL方式のディジタル輝度信号が得られる。

第７図は、動きベクトル検出回路54において、算出され
た集計差分データＡ（即ち、代表点差分データを絶対値
に変換し、全画面にわたって集計したもの）の一例を示
す。実際には、この集計差分データＡは、二次元の検出
域に対するｚ軸方向の成分であり、三次元のデータであ
る。しかし、簡単のため、第７図は、例えば検出域の横
方向（ｘ方向）のみに着目して集計差分データＡを表し
たものである。この集計差分データＡの分布の中で最小
値が動きベクトルのｖのｘ成分として検出される。

従来の動き補正装置は、一つの画面に対して一つの動き
ベクトルを検出するものであり、一画面中に複数の動き
を持つ画像に対しては、有効な動き補正を行うことがで
きない問題点があった。例えば第８図に示すように、一
画面内に二つの動き物体O1及びO2が反対方向に移動して
おり、夫々の動きベクトルがv1及びv2である時に、比較
的検出し易い動きベクトルv1が検出され、この動きベク
トルv1によって動き補正がなされる。従って、動き物体
O2では、直線補間回路59の出力信号が選択され、その結
果、出力画像がジャーキネスを持った不自然なものとな
る。

このような問題点を解決する動き補正装置として、画面
を四等分して、各部分についての動きベクトルを検出す
る第９図に示す装置が提案されている。フィールドメモ
リ53により形成された前フィールドのビデオ信号と現フ
ィールドのビデオ信号とが動きベクトル検出回路54に供
給され、一画面を四等分することにより形成された各部
分の動きベクトルv1,v2,v3,v4が検出される。

また、画面の各部分の動き補正を行う動き補正回路55,5
6,57,58が設けられている。動き補正回路55に動きベク
トルv1が供給され、他の動き補正回路56,57,58に動きベ
クトルv2,v3,v4が夫々供給される。これらの動き補正回
路55〜58の夫々の出力信号の中の一つの出力信号を画素
単位で選択するスイッチ回路62とこのスイッチ回路62に
より選択された信号及び直線補間回路59の出力信号の一
方を選択するスイッチ回路63とが設けられている。この
スイッチ回路62及びスイッチ回路63からなる選択回路61
を制御する選択信号が選択信号発生回路64により形成さ
れる。選択回路61の一方のスイッチ回路62は、四個の動
き補正画像の中で補正誤差が最も小さな信号を選択す
る。他方のスイッチ回路63は、上記の動き補正された信
号と直線補間回路59の出力信号との間で、誤差がより小
さい方の信号を選択する。

上述の動き補正装置において、動きベクトル検出回路54
により検出された一画面の各領域の動きベクトルv1,v2,
v3,v4の一例を第10図A,第10図B,第10図Ｃ及び第10図Ｄ
に夫々示す。この第９図に示す動き補正装置は、最大で
四個の異なる動きベクトルを持つ画像を補正することが
できる。しかしながら、四個の領域の中の同一の領域中
で複数の動き物体がある場合でも、支配的な一個の動き
物体に関してのみ動き補正がなされ、他の動き物体に関
しては、動き補正がされず、出力画像が不自然な画像と
なってしまう。

従って、この発明の目的は、一画面中に互いに異なる複
数の動きを持つ入力画像に対しても、良好な動き補正を
行うことができる動き補正装置を提供することにある。

〔問題点を解決するための手段〕

この発明は、入力ビデオ信号の連続する２フレームの輝
度値の差分値を統計的に処理することにより、動きベク
トルを検出し、動きベクトルによって動き補正画像を形
成するようにした動き補正装置において、差分値を全画
面について集計し、集計された差分値の最小の値から複
数の値と夫々対応する複数の動きベクトルv1,v2,v3,v4
を検出する動きベクトル検出回路４と、検出された複数
の動きベクトルv1,v2,v3,v4の夫々により複数の動き補
正画像を形成する動き補正回路5,6,7,8と、複数の動き
補正画像の中で、補正誤差が最小の動き補正画像を選択
するスイッチ回路12とを備えた動き補正装置である。

〔作用〕

動きベクトル検出回路４によって、一画面中の複数の動
き物体の動きベクトルが例えば四個検出される。この動
きベクトルv1,v2,v3,v4の各々を用いて、動き補正回路
5,6,7,8が動き補正画像を形成する。スイッチ回路12に
よって、補正誤差が最小の動き補正画像が選択される。
従って、各動き物体が自分の動きベクトルによってシフ
トされるので、動き補正が良好になされる。

〔実施例〕

以下、この発明の一実施例について図面を参照して説明
する。この一実施例の説明は、以下の順序に従ってなさ
れる。

a.動き補正装置の全体の構成 b.動き補正回路及び選択信号発生回路の具体的構成 c.動き補正動作 a.動き補正装置の全体の構成 この一実施例は、（1125ライン/60フィールド）の高品
位テレビジョン方式所謂HD方式を（625ライン/50フィー
ルド）のPAL方式に変換する場合のフィールド数変換に
この発明を適用したものである。第１図は、この（HD→
PAL）方式変換装置の全体の構成を示す。

第１図において、１で示す入力端子に高品位テレビジョ
ン信号中の輝度信号がディジタル信号に変換されて供給
される。このディジタルビデオ信号がライン数変換回路
２に供給される。ライン数変換回路２は、ライン数の変
換及びノンインターレス化の処理を行う。ライン数は、
1125本から625本にディジタル周波数変換の技術を用い
て変換される。ライン数変換回路２からは、（625ライ
ン/60フレーム）のディジタルビデオ信号が得られる。

実際には、ライン数変換回路２により、高品位テレビジ
ョン信号の１フィールドの映像からライン数が共に625/
2本の第１フィールドの映像及び第２フィールドの映像
が同時に形成される。この第１フィールドの映像及び第
２フィールドの映像は、0.5ラインオフセットしたもの
である。従って、ライン数変換回路２からは、（625/2
ライン/60フィールド）の第１フィールドのみからなる
ディジタルビデオ信号と、（625/2ライン/60フィール
ド）の第２フィールドのみからなるディジタルビデオ信
号とが得られる。動きベクトルの検出は、第１フィール
ドのビデオ信号を用いて行われ、フィールド数の変換処
理は、第１フィールド及び第２フィールドの各々につい
て別個に処理される。但し、以下の説明では、簡単のた
め、第１フィールド及び第２フィールドの処理は、特に
分けられていない。

ライン数変換回路２の出力信号がフィールドメモリ３に
書き込まれる。フィールドメモリ３からの前フィールド
のディジタルビデオ信号が読み出される。現フィールド
のディジタルビデオ信号と前フィールドのディジタルビ
デオ信号とが動きベクトル検出回路４と四個の動き補正
回路5,6,7,8と直線補間回路９とに夫々供給される。

動きベクトル検出回路４は、一画面を細分化として得ら
れる検出域ごとに前フィールドの代表点の輝度値と現フ
ィールドの画素の輝度値との差（フィールド差分）を算
出し、このフィールド差分の絶対値を集計して得られた
集計差分データの最小値と、この最小値から順次小さな
３個の値とに夫々対応する四個の動きベクトルを検出す
る構成のものである。この検出された動きベクトルv1,v
2,v3及びv4が動き補正回路5,6,7及び８に夫々供給され
る。

動き補正回路５は、動きベクトルv1から形成されたシフ
ト信号に応じて前フィールドの画像及び現フィールドの
画像をシフトする。同様に、動き補正回路6,7,8の夫々
は、動きベクトルv2,v3,v4に応じて前フィールドの画像
及び現フィールドの画像をシフトする。この動き補正回
路5,6,7,8は、６枚の画像を５枚の画像に変換するため
に、元の画像中の動き（動きベクトルで示されてい
る。）を20％ずつ増加させた補正画像を形成する。つま
り、（1/60）秒毎にｖの距離移動するような等速度運動
の動き物体が含まれている６枚の入力画像F1〜F6を５枚
の画像f1〜f5に変換する時に、画像F1を（０）ｖシフト
したものと、画像F2を（−１）ｖシフトしたものとが加
算され、この加算出力が1/2されることにより画像f1が
形成される。以下、同様にして画像F2を（1/5）Ｖシフ
トしたものと画像F3を（−4/5）Ｖシフトしたものとか
ら画像f2が形成される。画像F3を（2/5）Ｖシフトした
ものと画像F4を（−3/5）Ｖシフトしたものとから画像f
3が形成される。画像F4を（3/5）Ｖシフトしたものと画
像F5を（−2/5）Ｖシフトしたものとから画像f4が形成
される。画像F5を（4/5）Ｖしたものと画像F6を（−1/
5）Ｖシフトしたものとから画像f5が形成される。

上述の動き補正回路5,6,7,8の夫々の出力信号が選択回
路11に供給され、選択回路11のスイッチ回路12によって
最も補正誤差の少ない信号（輝度値）が選択される。動
き補正は、パンニングやチルトの場合では、動きベクト
ルが正確に検出できれば、完全なフィールド数の変換が
可能である。しかし、実際の画像では、一画面中でも種
々の動きを持つ部分があったり、静止している部分もあ
り、シフトを行ったことにより不具合が生じる部分があ
る。このような場合には、動き補正回路5,6,7又は８の
出力信号の代わりに直線補間回路９の出力信号が選択回
路11のスイッチ回路13により選択される。

直線補間回路９は、連続する２フィールドの画像の夫々
に所定の重み係数を乗算し、乗算出力を加算する補間回
路の構成とされている。前述と同様に、（1/60）秒毎の
連続する６枚の画像F1〜F6を５枚の画像f1〜f5に変換す
る場合、画像F1に（１）の重み係数を乗じたものと画像
F2に（０）の重み係数を乗じたものが加算されることに
より、画像f1が形成される。また、画像F2に（4/5）の
重み係数を乗じたものと画像F3に（1/5）の重み係数を
乗じたものが加算されることにより、画像f2が形成され
る。同様に、（3/5F3＋2/5F4）により画像f3が形成さ
れ、（2/5F4＋3/5F5）により画像f4が形成され、1/5F5
＋4/5F6により画像f5が形成される。

この直線補間回路９は、動き部分に関しては、二重にな
ったり、ほける問題が生じるが、静止部分については、
直線補間の方が動き補正に比して良い。

選択回路11のスイッチ回路12及び13は、選択信号発生回
路14の出力端子15及び16に夫々発生する選択信号により
制御され、選択回路11からは、補正誤差の最も小さい信
号が出力される。この選択回路11の出力信号がフレーム
数変換回路17に供給される。このフレーム数変換回路17
は、（625/2ライン/50フィールド）に変換された第１フ
ィールドのディジタルビデオ信号及び第２フィールドの
ディジタルビデオ信号を交互に選択する。（625ライン/
50フィールド）のディジタルビデオ信号が出力端子18に
取り出される。

このディジタル輝度信号が図示せずもD/Aコンバータ及
びローパスフィルタを介してPALカラーエンコーダに供
給される。輝度信号と同様にライン数の変換及びフィー
ルド数の変換の処理がなされた赤の色差信号Ｒ−Ｙ及び
青の色差信号Ｂ−ＹがPALカラーエンコーダに供給され
る。従って、PALカラーエンコーダの出力端子にPAL方式
の複合カラーテレビジョン信号が得られる。

b.動き補正回路及び選択信号発生回路の具体的構成 第２図は、動き補正回路５及び選択信号発生回路14の具
体的構成を示す。フィールドメモリ３からの前フィール
ドのディジタルビデオ信号がシフト回路21に供給される
と共に、ライン数変換回路２からの現フィールドのディ
ジタルビデオ信号がシフト回路22に供給される。シフト
回路21及び22には、シフト信号発生回路23からシフト信
号が供給される。シフト信号は、動きベクトルv1から形
成され、シフト回路21及び22の夫々によりシフトされた
信号が加算回路25により加算される。シフト回路21及び
22は、前述のように、例えば前フィールドの画像F1の輝
度値を（1/5）v1シフトし、現フィールドの画像F2の対
応する輝度値を（−4/5）v1シフトするものである。加
算回路25の出力信号がシフトレジスタ26により1/2とさ
れ、出力端子27に取り出される。

また、動き補正回路５では、シフト回路21の出力信号か
らシフト回路22の出力信号が減算回路28により減算され
る。減算回路28の出力信号は、動きベクトルv1により動
き補正を行った時の補正誤差を表している。この補正誤
差信号が選択信号発生回路14のローパスフィルタ29に供
給される。

ローパスフィルタ29の出力信号が絶対値変換回路30によ
り絶対値に変換されて最小値検出回路40に供給される。
動き補正回路５と同様に動き補正回路6,7及び８が構成
されており、各動き補正回路により、動き補正された出
力信号と補正誤差信号とが形成される。この補正誤差信
号が端子31,32,33から選択信号発生回路14のローパスフ
ィルタ34,35,36に供給される。ローパスフィルタ34,35,
36の夫々の出力信号が絶対値変換回路37,38,39を介して
最小値検出回路40に供給される。

最小値検出回路40により、補正誤差が最小の動き補正が
検出され、例えば２ビットの出力信号が出力される。例
えば動き補正回路５の動き補正が（00）、動き補正回路
６の動き補正が（01）、動き補正回路７の動き補正が
（10）、動き補正回路８の動き補正が（11）と区別され
る。この最小値検出回路40の出力信号がエリアフィルタ
41を介して出力端子15に選択信号として取り出される。
この選択信号により選択回路11のスイッチ回路12が制御
され、補正誤差が最小の動き補正信号が選択される。

また、動き補正回路５〜８の補正誤差信号がスイッチ回
路42の入力端子に夫々供給される。このスイッチ回路42
は、最小値検出回路40の出力信号により制御され、最小
の補正誤差信号が選択される。スイッチ回路42により選
択された補正誤差信号が比較回路43に供給される。

44及び45で示す入力端子にフィールドメモリ３から前フ
ィールドの出力信号及び現フィールドの信号が夫々供給
され、減算回路46により両者の差分信号が得られる。こ
の差分信号が絶対値変換回路47により絶対値に変換され
てから比較回路43に供給される。差分信号は、静止領域
の輝度値の場合に小さくなる。従って、比較回路43は、
スイッチ回路42の出力信号と絶対値変換回路47の出力信
号の間で、よりレベルが小さい側を判別することによ
り、動き補正と直線補間との一方を選択する１ビットの
選択信号を出力端子16に発生する。この選択信号によ
り、選択回路11のスイッチ回路13が制御される。

c.動き補正動作 この発明の一実施例による動き補正について第３図に示
す入力画像を例に説明する。この入力画像は、互いに異
なる動きベクトルv1,v2,v3,v4を夫々有する動き物体O1,
O2,O3,O4（ハッチングにより示す）が含まれている。動
きベクトル検出回路は、この入力画像の一画面の全体に
わたって差分データを集計するので、横方向（ｘ方向）
についてのみ、簡略に表された集計差分データＡは、第
４図に示すものとなる。

この集計差分データＡ中の四個の極が動きベクトルv1,v
2,v3,v4として夫々検出される。極を見つけるために、
第５図に示すように、集計差分データＡの中の連続する
三個の値A_i-1,A_i及びA_i+1を取り出して、その中央の点
が両端より必ず小さい値を探し、この条件を満たすデー
タがあれば、このデータのアドレスと値とをメモリに記
憶する。記憶用のメモリは、四組用意される。若し、上
記の条件を満たすデータが四個以上見出せる時には、既
にメモリに記憶されているデータの中で最も大きな値と
新たに見出されたデータの値とを比較する。この比較に
より、新たなデータの値の方が記憶されているデータよ
り小さい時には、記憶されているデータが新たなデータ
に置き換えられる。以上の処理を全ての集計差分データ
について行うことにより、最小のデータから四個の小さ
な値が求まる。このような動きベクトルの検出処理は、
縦方向に関して同様になされる。

検出された動きベクトルが動き補正回路5,6,7,8に夫々
供給される。各動き補正回路は、一個の動きベクトルと
対応する動き補正を全画面に関して行う。選択信号発生
回路14からの選択信号によって、選択回路11のスイッチ
回路12及び13が画像毎に制御される。第３図に示す入力
画像の場合では、動き物体O1〜O4の夫々の画素の輝度値
は、動きベクトルv1〜v4により動き補正がなされ、静止
領域では、直線補間回路９の出力信号が選択される。

なお、動き補正回路の個数は、四個に限らず、二個以上
の複数個であれば良い。

〔発明の効果〕

この発明に依れば、一画面又は一画面を分割してなる一
個の部分において、一個の動きベクトルを検出し、この
検出された動きベクトルを用いて動き補正を行うのと異
なり、複数の動きベクトルに基づく複数の動き補正を行
い、複数の動き補正の中で、補正誤差が最小のものを選
択するので、同一画面中に複数の動き物体が含まれる場
合、動き補正を良好になしうる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例における動き補正回路及び選択信号発
生回路の一例のブロック図、第３図はこの発明の一実施
例の説明に用いる入力画像の一例の略線図、第４図及び
第５図はこの発明の一実施例における動きベクトルの検
出の説明に用いる略線図、第６図は従来の動き補正装置
の一例のブロック図、第７図及び第８図は従来の動き補
正装置の動作説明に用いる略線図、第９図は従来の動き
補正装置の他の例のブロック図、第10図は従来の動き補
正装置の他の例の説明を用いる略線図である。 図面における主要な符号の説明 1:ディジタルビデオ信号の入力端子、3:フィールドメモ
リ、4:動きベクトル検出回路、5,6,7,8:動き補正回路、
9:直線補間回路、11:選択回路、14:選択信号発生回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 邦男 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 田中 豊 東京都世田谷区砧１丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 大村 俊郎 東京都世田谷区砧１丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 栗田 泰市郎 東京都世田谷区砧１丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 合志 清一 東京都世田谷区砧１丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 大塚 吉道 東京都世田谷区砧１丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 西沢 台次 東京都世田谷区砧１丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 二宮 佑一 東京都世田谷区砧１丁目10番11号 日本放 送協会放送技術研究所内 (56)参考文献 特開 昭61−159880（ＪＰ，Ａ)

Claims (1)

【特許請求の範囲】
1. 【請求項１】入力ビデオ信号の時間的に連続する第ｎお
   よび第（ｎ＋１）フィールドの輝度値の差分値を統計的
   に処理することにより、動きベクトルを検出し、上記動
   きベクトルによって動き補正画像を形成するようにした
   動き補正装置において、 上記第ｎおよび第（ｎ＋１）フィールドの輝度値の差分
   値を全画面について集計し、上記集計された差分値の最
   小値とこの最小値から順次小さなｍ個の差分値とに、夫
   々対応する（ｍ＋１）個の動きベクトルを検出する動き
   ベクトル検出回路と、 検出された上記複数の動きベクトルの夫々から複数の動
   き補正画像を形成する動き補正回路と、 上記複数の動き補正画像の中で、補正誤差が最小の動き
   補正画像を選択する選択回路と を備えたことを特徴とする動き補正装置。