JPH02290384A - 動き補正付きテレビジョン信号方式変換器 - Google Patents

動き補正付きテレビジョン信号方式変換器

Info

Publication number
JPH02290384A
JPH02290384A JP2114498A JP11449890A JPH02290384A JP H02290384 A JPH02290384 A JP H02290384A JP 2114498 A JP2114498 A JP 2114498A JP 11449890 A JP11449890 A JP 11449890A JP H02290384 A JPH02290384 A JP H02290384A
Authority
JP
Japan
Prior art keywords
motion vector
circuit
motion
value
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2114498A
Other languages
English (en)
Inventor
Henrii Giraado Kuriibu
クリーブ ヘンリー ギラード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPH02290384A publication Critical patent/JPH02290384A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、動き適応型のビデオ信号処理に関し、より詳
しくは、そのような信号処理を使用する動き補正付きテ
レビジョン信号方式変換器に関する。
[発明の概要] 本発明は、動き適応型のビデオ信号処理を利用する動き
補正付きテレビジョン信号方式変+A器において、最初
のフィールドまたはフレームのブロックと次のフィール
ドまたはフレームのブロックとの間の関連する内容の動
きを表す複数の動きベクトルを導出するために、はじめ
にビデオ信号の最初のフィールドまたはフレームにおけ
る複数のブロックと次のフィールドまたはフレームの複
数のブロックとを、それぞれ比較する動き補正付きテレ
ビジョン信号方式変換器にあって、前記はじめの比較に
よって得られた前記ブロックのそれぞれに対応する複数
の動きベクトルを導出する手段と、前記複数の動きベク
トルによって指示され、前のおよび後に続く入力フィー
ルドまたはフレームにおける複数の画素を用いて入力フ
ィールドまたはフレームにおけるそれぞれの画素の輝度
整合を行い、輝度整合結果に基づき入力フィールドまた
はフレームのそれぞれについての前記ブロックのそれぞ
れにおけるそれぞれの画素に対して、関連する動きベク
トルを前記複数の動きベクトルから導出する手段と、前
記複数の動きベクトルによって指示され、関連する前の
または後に続く入力フィールドまたはフレームにおける
全ての画素と入力フィールドまたはフレームにおける画
素との間に輝度不整合が生じた際に動作するものであっ
て、前記複数の動きベクトルによって指示され、関連す
る前のおよび後に続くフィールドまたはフレームにおけ
る複数の画素を用いて入力フィールドまたはフレームに
おけるそれぞれの画素の輝度整合を行い、輝度整合結果
に基づき、関連する動きベクトルを導出する手段とを設
けることにより、露出面/被覆面が存在する場合にも適
切な動きヘクトルを生成できるようにしたものである。
[従来の技術] テレビジョン信号方式(ビデオ信号の標準方式)の変換
器は、例えばビデオ信号を50フィールド/秒且つ62
5ライン/フレームの標準方式から60フィールド/秒
且つ525ライン/フレームの標準方式に変換する如く
、ビデオ信号をーの標準方式から他の標準方式へ変換す
る装置として周知である。
ビデオ信号に付随する時間方向及び垂直方向の折り返し
歪により、単純な線形補間技術を使用するだけでは高画
質のビデオ信号の標準方式の変換は達成されない。この
ため、単純な線形補間を行ったのでは処理結果としての
画像に不要な人工的なノイズが混入し、特にその画像は
垂直方向にボケると共に時間方向に振動する。
これらの問題を解決するため、ビデオ信号の標準方式の
変換装置に入カビデオ信号により表される画像の動きの
程度に応じて線形補間回路のパラメータを切り換える適
応制御技術を用いることが提案されている。
また、例えばビデオ信号処理におけるデータ圧縮のため
、ブロック整合技術により入力されるビデオ信号から動
きベクトルを生成することも提案されている。このブロ
ック整合技術においては、或るフィールド又はフレーム
のサーチブロックの内容がそれに続くフィールド又はフ
レームのサーチエリア内の複数のサーチブロックの夫々
の内容と比較され、そのように比較される内容の間の最
小偏差ひいては(仮に存在するならば)その原サーチブ
ロックの内容の動きの方向及び距離が決定される。
[発明が解決しようとする課題] しかしながら、露出面/被覆面が存在する場合に動きベ
クトルを生成することが困難であるという問題がある。
例えば、自動車がトンネルに入るときには、その自動車
は徐々に被覆され、一方、トンネルから出るときには徐
々に露出される。換言すれば、所定のフィールドまたは
フレームとその次のフィールドまたはフレームとの間で
、見えたり、見えなくなったりする複数の画素が存在す
る場合である。同様の状態は場面が変化したときにも発
生する。
本発明は斯かる点に鑑みてなされたものであって、改良
された動きベクトル選別処理に基づ《動き補正付きテレ
ビジョン信号方式変換器を提案することを目的とする。
し課題を解決するための千段1 本発明による動き補正付きテレビジョン信号方式変換器
は、最初のフィールドまたはフレームのブロックと次の
フィールドまたはフレームのブロックとの間の関連する
内容の動きを表す複数の動きベクトルを導出するために
、はじめにビデオ信号の最初のフィールドまたはフレー
ムにおける複数のブロックと次のフィールドまたはフレ
ームの複数のブロックとを、それぞれ比較する動き補正
付きテレビジョン信号方式変換器において、前記はじめ
の比較によって得られた前記ブロックのそれぞれに対応
する複数の動きベクトルを導出する手段と、前記複数の
動きベクトルによって指示され、前のおよび後に続く入
力フィールドまたはフレームにおける複数の画素を用い
て入力フィールドまたはフレームにおけるそれぞれの画
素の輝度整合を行い、輝度整合結果に基づき入力フィー
ルドまたはフレームのそれぞれについての前記ブロック
のそれぞれにおけるそれぞれの画素に対して、関連する
動きベクトルを前記複数の動きベクトルから導出する手
段と、前記複数の動きヘクトルによって指示され関連す
る前のまたは後に続く入力フィールドまたはフレームに
おける全ての画素と入力フィールドまたはフレームにお
ける画素との間に輝度不整合が生じた際に動作するもの
であって、前記複数の動きベクトルによって指示され、
関連する前のおよび後に続くフィールドまたはフレーム
における複数の画素を用いて入力フィールドまたはフレ
ームにおけるそれぞれの画素の輝度整合を行い、輝度整
合結果に基づき、関連する動きベクトルを導出する手段
とを有するものである。
[作用] 斯かる本発明によれば、輝度の整合/不整合結果に応じ
て動きベクトルを生成するようにしているので、被覆面
/露出面が存在する場合でも、適切な動きベクトルを生
成することができるという作用を有する。
[実施例1 以下、本発明の一実施例につき図面を参照して説明しよ
う。本例は、60フィールド/秒且つl125ライン/
フレームの高品位ビデオ信号(Hovs)を24フレー
ム/秒の35mmフィルム用のビデオ信号に変換するビ
デオ信号の標準方式の変換装置に本発明を適用したもの
である。しかしながら、本発明はこれに限定されず容易
に他の標準方式間の変換装置にも適用することができる
第1図は木例の標準方弐の変換装置のブロック図であり
、この第1図において、入力端子(1)に入力ビデオ信
号を供給する。その入力端子(1)を順次走査変換手段
(2)に接続し、この手段で入力ビデオフィールドをビ
デオフレームに変換し、このビデオフレームを相関面を
生成するための直接ブロック整合手段(3)に供給する
。動きベクトル評価手段(4)がこれらの相関面を解析
して生成した動きベクトルを動きベクトル減少千段(5
)に供給し、この動きベクトル減少手段(5)が個々の
画素の動きベクトルの数を減少させた後に、これら動き
ベクトル及び順次走査変換手段(2)の出力を動きベク
トル選別手段(6)に供給する。その動きベクトル選別
手段(6)による動きベクトルの選別において発見され
た如何なる不規則性も動きベクトル後処理手段(7)に
より除去され、この動きベクトル後処理手段(7)は処
理後の動きベクトルを補間手段(8)に供給すると共に
この補間手段(8)を制御し、この補間手段(8)には
順次走査変換手段(2)の出力をも供給する。標準方式
が変換され且つ動き補償のなされたビデオ信号である補
間手段(8)の出力を出力端子(9)に供給する。本例
の標準方式の変換装置の各構成部及びそれらの動作につ
き以下で詳細に説明する。
順次走査変換手段(2)は入力フィールドと同じ周波数
で出力フレームを生成する。従って、一連の連続したフ
ィールドにおける一連の連続したライン(水平走査ライ
ン)を図示する第2図において、入力フィールドに存在
するライン(水平走査ライン)を十字形で示し補間され
たラインを正方形で示すように、個々の出力フレームは
入力フィールトのラインの2倍の数のラインを含み、そ
れらのラインは入力ビデオ信号のラインと下記の方法の
内の何れかの方法により補間されたラインとが互い違い
になっている。それら補間されたラインは入力フィール
ドに対して同じ時間軸上の且つ逆極性の補間フィールド
と考えることができる。
順次走査変換を実行するのは主に2つの理由による。第
1に、それに続く直接ブロック整合処理を容易にするた
めであり、第2に最終的に出力されるビデオ信号のフォ
ーマットを考慮したものである。これら2つの理由をよ
り詳細に説明する。
直接ブロック整合処理は次に詳細に述べるように、2つ
の連続するビデオフィールド間の水平方向及び垂直方向
の動きの正確な評価を行うために用いられる。しかしな
がら、直接ブロック整合が施されるビデオ信号のインタ
ーレース構造により、問題が生じ得る。
第3図により表される画像につき考えるに、この第3図
は一連の連続するフィールドにおける一連の連続するラ
インにおいて、白レベルの画素を白い正方形で、黒レヘ
ルの画素を黒い正方形で、更にグレイレベルの画素を斜
線が施された正方形で表す。この場合は垂直方向の周波
数がII D V S方弐では1125/3 cph 
(cycles per picture heigh
t,サイクル/像高)に相当する垂直方向の構造が微細
な静止画が表示されている。この画像を通常のインター
レース走査処理でサンプルすると、個々のフィールドは
第4図に示す如く何れも垂直方向の周波数が1125/
6 cphの静止している輝度成分Yを含んでいる如く
見える。しかしながら、個々のフィールドの周波数成分
の位相は逆相である。これらのフィールド間で直接ブロ
ック整合を実施すると、垂直方向の動き成分として多数
の不正確な且つ異なった値が得られる。この状態が第5
図に示され、この第5図において短縮語のLPFはライ
ン/フィールド(lines per field)を
意味する。
第4図例の動き成分の値は実際には0であるベきである
が、第5図によれば、直接ブロック整合はその垂直方向
の動き成分について正確な答えを与えないことが明かで
ある。このことは、その直接ブロック整合は実際には現
実の動きではなくそのビデオ信号の異なる成分を追跡し
ていることに起因する。
第3図と同様な静止画を表示する第6図について考える
に、この場合各入力フィールドは順次走査に変換されて
フレームを形成し、三角形が補間された画素を表す。こ
の例では各フレームは原入力フィールドと同じ静止状態
の垂直方向の周波数成分、即ち周波数1125/3 c
phの成分を含む。従って、本例では2個の連続するフ
レーム間の直接ブロック整合により垂直方向の動きに対
する正確な値即ち0が得られ、垂直方向の異なる位置の
値を比較することが回避される。更に、順次走査に変換
されたフレームに直接ブロック整合処理を施すと、その
直接ブロック整合処理が2倍のラインを有するフレーム
に施されることになるため、より正確に垂直方向の動き
の評価ができるようになることが重要である。
この実施例において最終的に得られるビデオ信号のフォ
ーマットを考慮すると、この変換されたビデオ信号はテ
ープを介して電子ビーム式の記録装置に供給されるので
、24フレーム/秒の動画フィルム用の周波数のフレー
ムから構成する必要がある。このため、順次走査に変換
されたフレームの生成が必要であり、更に、例えば動き
の状態が多様すぎて満足に解析できない場合のように動
き補償のなされた標準方式の変換が受け入れられない結
果を生じる虞がある場合にも、その順次走査に変換され
たフレームは極めて有効に使用される。
この場合には、必要とされる出力フレームとしてほとん
ど順次走査に変換されたフレームを使用すると充分に受
け入れられる結果が得られる。
順次走査への変換は多くの方法で実行でき、その方法に
は例えば前フィールドによる置換、3本の空間的に連続
するライン(これら3本のラインは時間的には2個の連
続するフィールドに属する)のメジアンを求めるメジア
ンフィルター又は多段階の動き検出に続いて多方向の線
形補間を行う動き補償のなされた技術がある。しかし、
この実施例には第7図に各ステップが示されている動き
適応型の順次走査変換が好適である。この変換では、完
全な静止画領域では垂直方向の情報をできるだけ保つた
めにフィールド間補間を使用し、動きが大きいときには
フィールド内袖間を使用する。これにより更に動きが滑
らかに表現される。動きの程度がこれら両極端の間であ
るときには、その画像の中に存在する局所的な動きの評
価がなされ、この評価結果によりフィールド間補間とフ
ィールド内袖間とが夫々異なる割合で混合される。
更に詳しく述べるに、第8図に示す如く、前フィールド
と次フィールドとのフレーム差の係数が先ず生成される
。必要とされる評価量を生成するためには、前フィール
ド及び次フィールドからの次式により定義されるフレー
ム間の差分係数配列が各点毎に生成される。
ΔU (画素.現ライン,現フィールド)=Y(画素,
現ライン,次フィールド)一Y(画素,現ライン,前フ
ィールド) この式において、Δ。は正規化されていない差分係数配
列、Yは3次元画像に対応する輝度配列である。
その差分係数はその後低輝度領域の変化の大きさを調整
するために次のように正規化される。
ΔN (画素,現ライン,現フィールド)=F (Y 
(画素,現ライン))* ΔU (画素,現ライン.現フィールド)この式におい
て、Δ8は正規化された差分係数配列、Yはフレーム間
の平均輝度レベルであり、Y(画素,現ライン)= (Y (画素,現ライン,前フィールド)モY(画素,
現ライン,次フィールド))/2カ成立し、F(Y)(
正規化関数)はYに対して第9図に示すような関数とな
る。
その差分配列Δにはその次のフィールドの差分配列と共
に3タップフィルタ(タップ係数が例えば1/4. 1
/2. 1/4又は0, 1, O) ニより垂直方向
のフィルタリングが施され、垂直方向の折り返し歪が減
少されると共に、特に時間方向の折り返し歪が最小にな
される。従って、 ΔF (画素,現ライン,現フィールド)=Δ.4 (
画素,現ライン=1,前フィールド)*C1+ΔN (
画素,現ライン,現フィールド)*C2+ΔN (画素
,現ライン+1,前フィールド)*C1 が成立し、この式において、Δ,はフィルタ通過後の正
規化された差分配列、CI及びC2はフィルタ係数であ
り、直流ゲインが1に維持されるように2CI+C2=
1に設定される。
その後5タップXl5タップ程度までの垂直方向及び水
平方向のフィールド内フィルタにより現フィールド内の
差分値が平滑化される。実際には、3タップ×3タップ
のフィルタで充分である。最後に、実際の動きの評価を
行うために、次式で定義される動き評価量(ME)を表
す関数を使用して非線形関数が適用される。
ME(画素,現ライン)一 T(空間周波数領域でフィルタがかけられたΔ,(画素
,現ライン)) その非線形関数Tは第10図に示す如く導出され、静止
画に対してはMEの値は0、完全な動画に対してはME
の値は1、中間領域の画像に対してはMEの値は過渡的
な値となる。
補間された画素を生成−するために、第11図に示す如
く、周辺のラインの加重平均をとることによりその欠け
ている(未完成)のラインの画素が生成される。それか
ら動き評価IMEがフレーム内で補間された値(2.4
.6又は好ましくは8タップフィルタにより生成される
)に適用され、評価量(1−ME)がフィールド間の平
均値(又はより複雑な補間値)に適用され、これらの結
果が加算されて次式で定義される順次走査の画素の評価
量が導出される。
Yout (画素.現ライン)= ME(画素,現ライン)* ルド) +Yin (画素,現ライン+1+2ロ,現フ
ィールド))*Cn) +(1−ME)(画素,現ライ
ン)*(Yin(画素,現ライン.前フィールド)+Y
in(画素.現ライン,次フィールト))/2ここに、
CO,CI,C2及びC3はフレーム内のフィルタ係数
であり、直流ゲインを1に維持するために2 (CO+
C1+CIC3)=1に設定される。
この順次走査変換の方法によれば入力フィールドより高
品質のフレームが生成されるが、これは主に動体が分離
されて静止している背景とは異なる方法で補間されるこ
とによる。
第1図に戻り、順次走査変換手段(2)により導出され
たビデオ信号のフレームを動きベクトルを導出するため
に使用する。動きベクトルの評価は2つのステップより
構成される。第1に、連続するフレームから選ばれたサ
ーチブロックの相関を取ることにより相関面が生成され
る。これら相関面が得られた後に、これらは相関が最も
良好な1個又は複数の位置を決定するために検査される
相関面を得る方法には数種類の方法があるが、その内の
主な2個の方法は位相相関法及び直接ブロック整合法で
ある。しかしながら、位相相関法の使用には多くの問題
があり、これらの問題は手短かに言うと変換メカニズム
.ウィンドゥ関数,ブロックの大きさ及び生成される相
関面の輪郭の変動し易い性質に関連する。そのため、こ
の実施例では直接ブロック整合法を使用する。
本発明が特に関係する(但し関係するのはこれだけでは
ない)直接ブロック整合手段(3)は次のように動作す
る。この場合、順次走査に変換されたビデオ信号の連続
するフレームの画素の矩形の配列よりなる2個のブロッ
クの相関をとることにより、相関面が生成され、この相
関面より動きベクトルが導出される。
第12図に示す如く、先ずlフレームより32画素×2
3ラインの大きさのサーチブロックと称する小さなブロ
ックを取り出す。それから、その次のフレームより 1
28画素×69ラインの大きさのサーチエリアと称する
より大きなブロックを取り出す。
そのサーチブロック(SB)を第13図に示す如くサー
チエリア(SA)中の可能な位置(全部で96×46の
位置がある)の夫々に配し、夫々の位置でそれら2個の
ブロック間の画素の輝度レベルの差分の絶対値の和を計
算する。この計算結果がこの結果が導出された位置にお
ける相関面の高さとして使用される。この計算結果をサ
ーチエリア内のサーチブロックの可能な位置の夫々につ
いて導出された結果と共に使用することにより、第14
図に一例を示すような相関面が得られる。理解を容易に
するためその相関面は反転して示してあり、実際に必要
とされるのは最小値であるため、第14図において必要
とされる点は最も大きなピークである。
サーチブロックの大きさは動き補償が必要とされる物体
の最小の大きさを調べることにより選沢される。625
ライン/フレーム且つ50フィールド/秒のPAL方式
の信号に対しては、16画素×8ラインのサーチブロッ
クが小さな物体の追跡に適していることが分かっており
、この場合にはその物体の中には存在しないがそのサー
チブロックの中には存在する如何なる周囲の情報もその
物体の追跡を妨害することがない。このため、本例では
その方法が採用されたが、HDVS方式では625/5
0のPAL方式に比べて有効画素数/ライン,有効ライ
ン数/フレーム及びアスペクト比が異なることに鑑みて
修正が加えられている。II D V S方式の場合を
最初にして両者の値を示すと、有効画素数/ラインは1
920 (720) .有効ライン数/フレームは10
35(575)及びアスペクト比は3:5.33(3:
4)となる。
第1図の直接ブロック整合手段(3)につき第15図〜
第17図を参照して詳細に説明する。一般にその手段は
一連のゲートアレイより構成する。第15図は1個の画
素蓄積回路を示し、複数(32個)のその画素蓄積回路
が第16図に示す1個のライン蓄積回路に組み込まれ、
複数(23個)のそのライン蓄積回路が第17図に示す
直接ブロック整合手段(3)(第1図)の一部に組み込
まれている。完全なライン蓄積回路は容易に1個のゲー
トアレイ方式の集積回路で形成することができる。全体
の回路構成に繰り返し部分が多いのでゲートアレイの設
計を単純化することができる。
第15図の画素蓄積回路は減算回路(20)、排他的オ
ア回路(21)、加算回路(22)、ランチ回路(23
),(24)、遅延回路(25), (26)及び水平
方向ハス(27)を図示の如く接続して構成され、次の
ように動作する。先ず、基準データはサーチブロソクが
位置するフレームである現フレームの連続的な画素デー
タよりなる。従って、そのデータは輝度信号のデジタル
のサンプル値が或る適当なクロソク周波数で繰り返した
ものとなる。サーチデータはサーチエリアが存在するフ
レームである次フレームの連続的な画素データよりなる
。減算回路(20)及び排他的オア回路(2l)は共に
サーチブロックとサーチエリアとの間で1対の画素毎に
画素の輝度レベルの差分の絶対値(即ち係数)を導出す
る。加算回路(22)、ラッチ回路(23) , (2
4)及び遅延回路(25)は1ブロック幅(クロックレ
ートが1/32)の同期信号により制御されるアキュム
レータを形成し、このアキュムレータは連続的な加算に
より32個の画素の輝度の差分の絶対値を積算して和を
求め、この和をラッチ回路(24)のロード端子LDに
供給されるブロック同期信号に同期してそのラッチ回路
(24)にロードした後、所定の遅延時間が経過して遅
延回路(25)がラッチ回路(24)の出力イネーブル
端子OEに信号を供給したときにその和を水平方向ハス
(27)上に供給する。その基準データを遅延回路(2
6)にも直接供給し、以下に説明するように1画素分の
遅延時間を与えてその次の画素比較アレイに供給する。
第16図のライン蓄積回路は夫々第15図に示す32個
の画素蓄積回路PI−P32、ラッチ回路(30) .
 (31)、加算回路(32)、アンド回路(33)、
遅延回路(34)及び出力バス(35)を図示のように
接続して形成し、次のように動作する。画素蓄積回路P
1〜P32は個々の出力を多重的に水平方向バス(27
)に供給し、加算回路(32)及びラッチ回路(31)
はアキュムレー夕を構成してサーチブロックの垂直方向
の高さ、即ち23ラインに亘りそれら画素蓄積回路の出
力のグループを積算する。ラッチ回路(31)の出力イ
ネーブル端子OEに垂直方向の初期化信号が供給される
と、その積算された出力が出力バス(35)上に供給さ
れる。アンド回路(33)から1ライン分の遅延時間を
有する遅延回路(34)へ更にラッチ回路(3o)を介
して加算回路(32)に供給される信号によりそのアキ
ュムレー夕はクリアされる。
直接ブロック整合手段(3)(第1図)は第17図に示
す如く、23個の夫々第16図の破線内に示すライン蓄
積回路Ll−L23、サーチレンジ(23ライン+48
画素)分の遅延時間を有する遅延回路(40a) 、グ
ループ遅延回路(40b)及び23個のライン遅延回路
(41)を図示の如《接続して形成され、次のように動
作する。即ち、図示のように供給される基準データ及び
サーチデータを遅延回路(40a)及び(40b)を介
して夫々ライン蓄積回路L1に供給する。その基準デー
タは同様に1ライン分づつ次第に増大する遅延時間で連
続するライン蓄積回路L2〜L23に供給し、一方、そ
のサーチデータは(遅延回路(40b)による)同一の
遅延時間でライン蓄積回路Ll−L23に夫々供給する
。このようにして、出力バス(35)上には32 X 
23個の画素の輝度信号の差分の絶対値よりなる1グル
ープ分のデータが多重化して出力される。そのようなグ
ループが6個集まって1個のサーチブロックに対する相
関面を形成し、出力バス(35)が6個集まってこの情
報を出力する。それら6個のグループの間の構成上の唯
一の相違は遅延回路(40a)及び(40b)における
遅延時間である。Lが1ライン分の遅延時間,Pが1画
素分の遅延時間,/が加算を意味するとした場合、それ
ら遅延時間の値は以下の通りである。
グループ1  遅延回路(40a) : 23L/48
P遅延回路(40b) : 23L/64Pグループ2
  遅延回路(40a) : 23L/48P遅延回路
(40b) : 23L/32Pグループ3  遅延回
路(40a) : 23L/48P遅延回路(40b)
 : 23L グループ4  遅延回路(40a) : 23L/48
P遅延回路(40b) : 64P グループ5  遅延回路(4Qa) : 23L/48
P遅延回路(40b) : 32P グループ6  遅延回路(40a) ’: 23L/ 
48P遅延回路(40b) : 0 より大きな物体を追跡するために、より大きなサーチブ
ロックを使用する方法もある。一方、大きな物体又は背
景の効果により小さな物体が覆い隠されてしまうことを
防ぐため、より小さなサーチブロックを使用する方法も
考えられる。しかしながら、小さなサーチプロ・ノクを
使用した場合には、個々のサーチブロックについて1個
を超える動きベクトルを導出する必要がないという利点
がある。1個の動きベクトルを導出するのはそれを超え
る数の動きベクトルを導出するよりも極めて容易である
ため、本例では上述の小さなサーチブロックを先ず使用
し、満足な結果が得られなかった場合にそのサーチブロ
ックをより大きなサーチブロックに成長させる。これに
より小さなサーチブロック及び大きなサーチブロックの
両方の利点を享受できる。満足な結果か否かの判定条件
は次に詳細に説明する動きベクトル評価手段(4)(第
1図)により設定され、この動きベクトル評価千段(4
)が与えられた相関面より動きベクトルを決定する。
サーチブロックを次第に大きくする技術はより大きな物
体を追跡するためにのみ有効であるのではない。それに
よれば周期的な規則的パターンの形状を有する物体の動
きの追跡にも役立つ。従って、第18図に示す如く、サ
ーチブロックAがサーチェリアBに対して位置Vl, 
V2及びv3で整合し、夫々の位置で一見正確な動き量
が得られる場合を考慮する。しかしながら、この場合実
際に相関面を解析するプロセスである動きベクトルの評
価により、同一直線上に存在する3箇所の位置で相関が
良好になることが分かる。従って、そのサーチブロック
は水平方向に元の幅の3倍の長さになるまで成長させら
れ、この方向はこの例で多重の良好な相関が発生した方
向である。サーチエリアもそれに対応して水平方向に拡
大される。第19図に示す如く、その拡大したサーチブ
ロック(3A)を使用すれば、相関が良好な点は1点の
みとなり、それによりその物体の動きが正確に検出され
る。
この特別な場合には、多重相関の方向が水平方向である
ため、サーチブロック及びサーチエリアの両方を水平方
向に成長させる必要がある。しかしながら相関面の状態
によっては、サーチブロック及びサーチエリアを垂直方
向に成長させなければならない場合もあり、実際に水平
方向及び垂直方向の両方に成長させなければならない場
合もある。
境界領域にはサーチエリアを切り出す充分な余地がない
ため、ブロック整合は必ずしもそのフレーム中の全ての
サーチブロックに適用できるとは限らない。従って、ブ
ロック整合はそのフレームの第20図に斜線で示す境界
領域では実行することができない。この問題点は以下に
説明する動きベクトル減少手段(5)(第1図)により
処理され、この動きベクトル減少手段(5)はその斜線
を施した領域のサーチブロックに適当な動きベクトルを
供給する。
1フレーム中の個々のサーチブロックに対して生成され
る相関面(第14図)より、動きベクトル評価手段(4
)(第1図)はそのサーチブロックとそれに対応するサ
ーチエリアとの間のフレーム間の動きらしき量を推定す
る。再度述べるに、理解を容易にするため相関面の全て
の図は反転して示され、最小値がピークとして示されて
いる。
動きベクトル評価手段(4)(第1図)は動きベクトル
の評価アルゴリズムを使用して各相関面上の最小値の点
(相関が最大の点)を検出する。この点がサーチブロッ
クとサーチエリアとの間の相関が最大となる点を示し、
ひいてはこの点により略それらブロック間の動きと認め
られる量が示される。その相関面上の原点(本例ではそ
の面の中央に存在する)に対するこの最小値の変位が、
画素/フレームを単位とするその動きの直接的な測定値
になる。その相関面が唯一の孤立した最小値を有すると
いう最も単純な場合には、その相関面上の最小値の点を
検出するだけでサーチブロックとサーチエリアとの間の
動き量を正確に決定することができる。前に述べた如く
、小さなサーチブロックを使用すれば動き検出及び動き
評価の精度を改善することができるが、小さな1個のサ
ーチブロックでは次に述べる多くの場合に動きを検出す
ることができない。
動きベクトルを(水平方向の画素単位の動き,垂直方向
の画素単位の動き)で表した場合、第21図は動きベク
トル(5.0)を有し或るフレーム(1)内でサーチブ
ロック(IA), (2A)及び(3A)にまたがる物
体を示す。サーチブロノク(IA)及び(3A)とその
次のフレーム(t+1)の対応するサーチエリア((I
B)及び(3B) )との相関をとると、第22図に示
す相関面には(5.0)の位置に最小値(図面上では反
転)が現れる。(但し、ビデオソースにノイズは含まれ
ていないと仮定している。)しかしながら、サーチブロ
ック(2A)とそれに対応するサーチエリア(2B)と
の相関をとると、第23図に示す相関面が生成され、こ
の相関面においてサーチブロック(2八)とサーチエリ
ア(2B)とはy方向の全ての点で相関が高くなる。従
って、その相関面には唯一の最小値の点は存在せず、そ
のサーチブロック(2A)とサーチエリア(2B)との
間の動きを決定することができない。
しかしながら、サーチブロック(2^)が成長して元の
サーチブロック(IA), (2A)及び(3A)を覆
う場合を考えてみる。その成長後のサーチプロノク(2
A)と元のサーチエリア(IB).  (2B)及び(
3B)を覆うサーチエリアとの相関をとることにより、
第24図に示すような相関面が得られる。これにより位
置(5.0)に元のサーチブロソク(2A)の正確な動
きを示す唯一の最小点が存在することが分かる。この例
により、正確に動きを検出するためにはソースビデオ信
号に何らかの特徴がなければならないことが分かる。即
ち、サーチブロック(1八)及び(3A)には垂直方向
及び水平方向にその物体の工冫ジが存在するという特徴
があるため、動きが検出できる。それに対して、サーチ
ブロック(2Δ)には垂直方向に特徴的な形態が存在し
ても水平方向には特徴がないため、水平方向の動きを検
出することができない。しかしながら、そのサーチブロ
ックを水平方向及び垂直方向の両方向に特徴を有するよ
うになるまで成長させることにより、そのサーチブロッ
クの完全な動きが決定できるようになる。更に、ソース
ビデオ信号中のノイズを考慮するとそのサーチブロック
を成長させることには別の利点がある。
第25図を参照して他の例について検討する。この例は
動きヘクトルが(5.3)であるサーチブロックに対す
る相関面を示す。しかしながら、そのサーチブロックと
そのサーチエリアとの間の他の多くの相関が良好な点に
より、真の動きが検出し難くなっている。そのような相
関面を生成するソースビデオ信号の例は例えば風で揺れ
ている低コントラストの木であろう。これからそのサー
チブロック及びサーチエリアが成長するものと仮定する
その成長は先の例のように水平方向に生じてもよく、又
は垂直方向に生じてもよく、又は両方向に生じてもよい
。隣合うサーチブロックが同じ動きをする場合には、そ
の結果生じる相関面に対する平均的な効果により他の相
関が良好なピークの大きさに比べて位置(5.3)の最
小ピークの大きさがずっと大きな割合で増加する。この
状態を第26図に示し、これにより正確な動きベクトル
をより容易に検出できることが分かる。サーチブロック
が成長する状態について第21図を参照して更に検討す
る。本例ではサーチブロック(2A)の領域を成長させ
てサーチブロック(IA)及び(3A)の領域を覆い、
それに対応する相関面を生成することが必要である。実
際に、対応する相関面はサーチブロック(IA), (
2A)及び(3八)に対応する3個の相関面の個々の要
素を加算することにより直接生成される。
実際には、各相関面を複数の点の値のマトIJックスで
あると考えると、その拡大されたサーチブロック(2A
)の相関面は元のサーチブロノク(IA),(2A)及
び(3八)の相関面のマトリックスの加算に相当する。
そのサーチブロック(2A)の領域は上下のサーチブロ
ックの相関面を加算することにより垂直方向にも成長さ
せることができる。一方、そのサーチブロック(2A)
を水平方向及び垂直方向の両方向に成長させるには、4
個の対角線方向の相関面をも同様に加算しなければなら
ない。このことより或るサーチブロックを隣りのサーチ
ブロックを覆うように成長させる実際のプロセスは比較
的容易であることが分かるが、より困難なプロセスはい
つその成長を起こせるかを決定すること及び近傍のどの
サーチブロックまでその成長を行わせるかを決定するこ
とである。基本的には、その答えは良好な最小値即ち良
好な動きベクトルが検出されるまでそのサーチブロック
の領域を成長させなければならないということである。
従って、或る動きベクトルが良好なベクトルとして検出
されたときを特定することが必要となり、これは実際に
上述の例より推定することができる。
第21図〜第24図を参照して述べた例においては、そ
の物体の水平方向の唯一の特徴を捉えて唯一の最小値を
得るためにそのサーチブロックを水平方向に成長させる
必要があった。この状況は第23図の相関面上には同一
の最小値の列が存在すること及び第24図の相関面上に
は唯一の最小値のみが存在することによって理解するこ
とができる。このことより良好な最小値の判定条件が得
られ、それら良好な最小値の点とはその相関面上の最も
値が小さい点であり、その点の値とその次に最も値が小
さい点の値との差が或る与えられた値を超えるというこ
とである。この或る与えられた値は闇値として知られ、
この判定条件を充足するか否かの検査をここでは闇値テ
ストと言う。
その次に最も値が小さい点は、以下に述べるリングテス
トと称される別のテストにおいては生じることがない点
に注意すべきである。3個のリング(輪)を使用するリ
ングテストの場合には、最良の最小値の点の候補として
の3個の画素の中にはその次に最も値が小さい点は存在
しない。第21図〜第24図の例では、第23図の相関
面の良好な最小値は闇値テストでは特定することができ
ない。
従って、サーチエリア(2A)は成長させられ、或る適
当な闇値の下で第24図の相関面の良好な最小値が閾値
テス1−により特定される。
その闇値テストは、第25図及び第26図を参照して上
述した例において領域を成長させる場合にも使用するこ
とができる。サーチブロックを成長させる前には、周囲
に同程度の値の点が存在するため正確な最小値を検出す
ることができない。従って、或る適当な闇値が与えられ
ても、その相関面は闇値テストをクリアすることができ
ないので、そのサーチブロックは成長することになる。
その結果として、他の見せかけの最小点の中から真の最
小値の点を検出するこ乏が可能になる。
闇値の使用は主観的なテストであると思われるかもしれ
ないが、検査対象の相関面の内部における値の変動範囲
の一部に収まるようにその闇値を正規化することにより
、その相関面の正確な闇値を選択することができる。こ
れにより例えばビデオソースのコントラストの影響を軽
減することができる。
上述のリングテストは主観的な傾向はずっと少なく、以
下その内容を詳細に説明する。そのリングテストの前提
は、良好な最小値(又は最大値)の点にはその点を囲む
次第に大きさが滅少する(又は増大する)複数の点が存
在するということである。この前提を図示する第27図
において、原点(0.0)の最小値を囲むように夫々平
均の大きさが次第に減少する複数の点よりなる3個のリ
ングがある。これは第28図に示す相関面とは異なって
おり、この第28図例では複数のリング、特に中心から
2番目のリングの平均の大きさが次第に減少してはいな
い。
この場合、そのリングテストにより定義される良好な最
小値を得るための判断条件は、平均の傾きが単調である
ことである。従って、問題となっている最小値を囲む点
の予め定められた数のリングに対して、内側から外側に
向かう個々のリングの平均の大きさは前のリングの大き
さよりも大きくなければならない(図面上では小さくな
る)。
第21図〜第24図を参照して述べた例に再び戻り、第
23図及び第24図より第23図の相関面はそのリング
テストをクリアすることができない(最小値が特定でき
ない)が、第24図の相関面はそのリングテストをクリ
アできることが分かる。そのリングテストは絶対値では
なく平均値を比較するため、闇値テストに比べてずっと
主観的ではなく、実際にそのリングテストにおける唯一
の変数は考慮すべきリングの数である。
サーチブロックを成長させるメカニズムについて述べた
後は、相関面の形状の検査によって如何にそのサーチブ
ロックを成長させる最も効果的な方向を決定することが
できるかを検討することが必要である。
第23図に戻り、その相関面には垂直方向には唯一の特
徴部があるが水平方向には何等特徴部がない。これは、
水平方向に相関の良好な部分が多く存在するために、そ
の相関面にはその相関面を水平方向に横切るように一列
の最小点が存在することに反映されている。この事実よ
りそのサーチブロックは水平方向に成長させるべきこと
が推定できる。逆に垂直方向に相関の良好な一列の点が
存在する場合には、そのサーチブロックは垂直方向に成
長させる必要があることを示し、一方、相関の良好な点
が円周状に存在するときにはそのサーチブロックは水平
方向及び垂直方向の両方向に成長させる必要があること
を示す。
この判断条件を使用することにより、そのサーチブロッ
クを成長させる方向を決定するためにその相関面の形状
の定量的な測定値が必要となる。
二の測定値は次のように決定される。先ず、闇値が決定
される。それからその闇値より小さいその相関面上の如
何なる点も考慮される。この闇値は闇値テストで使用さ
れたものと同様に、その相関面内の値の変動範囲に収ま
るように正規化される。
この闇値を使用してその相関面上の各点が順番に4段階
のシーケンスに従って検査される。各シーケンスにおい
て、その相関面の値がその闇値より小さくなる点が注目
される。第29図を参照してこれら4段階のシーケンス
につき説明するに、この第29図において、上端部,下
端部,左端部及び右端部に夫々存在する数値1,2.3
及び4はそれら4段階のシーケンスを示し、斜線を施し
た領域がその闇値よりも値が小さな点を示す。各シーケ
ンスの動作は以下のとおりである。
シーケンス1 その相関面の上端部から下方に向かって値がその闇値よ
りも小さくなる点Aを捜す。
シーケンス2 その相関面の下端部から上方に向かって値がその闇値よ
りも小さくなる点Cを捜す。
シーケンス3 その相関面の左端部から右方向に向かって値がその闇値
よりも小さくなる点Dを捜す。
シーケンス4 その相関面の右端部から左方向に向かって値がその闇値
よりも小さくなる点Bを捜す。
その結果生じる4点A,B,C及びDは第29図に示す
2箇所の長さX及びYの計算に使用され、これらの長さ
X及びYがその闇値よりも値が小さい点を含む斜線を施
した領域の大きさを示す。従って、それらの長さX及び
Yより、その形杖がy方向よりX方向に長いか、その逆
か又は略円形かが推定できる。例えば10%程度の小さ
な差はその形状を推定する上で許容され、その形状をX
方向に長いと判断するためにはその長さXは少なくとも
その長さYよりも10%以上長くなければならない。y
方向についても同様である。それらの長さX及びYの差
が互いにlO%以内に収まっているならば、その形状は
円形であると判定されてそのサ一チブロツタは両方向に
成長させられる。第29図例では長さXが長さYよりも
長いので、そのサーチブロックはX方向即ち水平方向に
成長させられる。
そのサーチブロックの成長は1個又はそれを超える成長
限界に達するまで続く。これら限界とは次のようなもの
である。即ち、その相関面の最小値が闇値テスト及びリ
ングテストの両方をクリアすること、そのビデオフレー
ムのエッジに達すること又はそのサーチブロックが既に
水平方向及び垂直方向に予め定められた回数だけ成長し
たことである。この最後の限界はハードウェアに依存す
る。即ち、最後の限界は許容時間内に実行できる処理の
量によって定まる。本発明の一実施例においては、その
限界は水平方向には2回,垂直方向には1回に設定され
ている。
その相関面の最小点が闇値テスト及びリングテストの両
方をクリアする場合には、良好な動きベクトルが決定さ
れたものとみなされ、この動きベクトルは動きベクトル
減少手段(5)(第1図)に供給される。しかしながら
、フレームのエッジに到達するか又はサーチブロックが
水平方向及び垂直方向に予め定められた回数だけ成長し
た場合には、その特別なサーチブロックについては良好
な動きヘクトルが決定されなかったものとみなされて、
1個の良好な動きヘクトルを決定する代わりに重み付け
により最も有益な動きヘクトルが決定される。
その最も有益な動きヘクトルが定常的な即ち中心の動き
ベクトルとして重み付けされるように、その相関面には
重み付けがなされる。これには2つの理由があり、第1
にそのサーチプロソクが、成長後でさえもソースビデオ
画像の広い平面領域の一部であるならば、1個の良好な
動きベクトルを検出するのは不可能である。しかしなが
ら、そのソースビデオ画像は1個の平面領域の画像であ
るため、1個の定常的な動きベクトルによってそれに続
く処理において正確な結果が得られる。第2に、動きベ
クトル減少手段(5)(第1図)に対して太き《誤った
動きベクトルが供給される可能性を減少ずるためにその
重み付けの係数が設計される。これは、1個の良好な動
きベクトルが決定できないときには、1個の大きく誤っ
た動きベクトルよりも1個の小さく誤った動きベクトル
の方が好ましいことによる。
第30図はその相関面に対して重み付け関数をどのよう
に通用するかの一例を示す。この例では、その相関面上
の或る与えられた点に対する重みはその点のその定常的
即ち中心の動きベクトルからの距離にそのまま比例する
。その相関面のその点の値にはその重み係数が乗算され
る。例えば、その重み付け関数の傾きはその中心の定常
的な動きベクトルからプラス又はマイナス32画素離れ
た位置にある点に係数3が乗算されるように定められる
。言い替えると、第30図に示す如くその中心の定常的
な動きベクトルを黒い丸で表した場合、その重み付け関
数はその中心の定常的な動きベクトルを中心として上下
が反転した円錐のような形状になる。
その相関面の重み付けが終わった後に、その相関面には
再び闇値テスト及びリングテストを施す。
これら両テストをクリアする1個の最小値が決定される
と、これは良好な動きヘクl・ルであるとみなされ、そ
れが良好な動きベクトルであると共に重み付けが適用さ
れたことを示す情報(フラッグ)が付加される。このフ
ラッグはその動きベクトルと共に動きベクトル減少手段
(5)(第1図)に供給される。一方、重み付けを適用
した後でさえ良好な動きベクトルも最も有益な動きヘク
トルも決定できない場合には、このサーチブロックに関
して動きベクトル減少手段(5)(第1図)に供給され
る如何なる動きヘクトルも悪い動きベクトルであること
を示す情報(フラッグ)がセットされる。これを行うの
は、悪い動きベクトルは動きベクトル減少の処理におい
ては使用してはならず以下で述べるように他の動きベク
トルで代用されなければならないことによる。
従って要約すると、動きベクトル評価手段(4)(第1
図)の動作は直接プロソク整合手段(3)(第1図)に
より生成された相関面から最も相関が良好な点、即ち最
小値の点を導出することである。
この最小値にはそれから闇値テスト及びリングテストが
施され、その最小値の点がそのサーチブロックの動きを
代表するとみなされるためにはその最小値はそれら両方
のテストをクリアしなければならない。ところで、闇値
テスト及びリングテストで使用される閾値は絶対的な値
又は規格化された相対的な値の何れでもよいことに注意
すべきである。その最小値がどちらかのテストをクリア
することができなければ、そのサーチブロックは成長さ
せられて新たな最小値が決定され、闇値テスト及びリン
グテストが再び適用される。そのサーチブロックを成長
させる最も有効な方向はその相関面の形状から決定され
る。
第1図に戻り、動きベクトル減少のプロセスについて説
明する。HDVS方式を使用すると、各サーチブロック
の大きさは32画素×23ラインであると仮定され、こ
の場合は最大で2451個の動きベクトルが存在しえる
ことが示される。サーチブロックの大きさは適度な分解
能を維持することとハードウェアをあまり大きくシ,な
いこととのハランスに鑑みて選沢される。これら動きベ
クトルを全て動きヘクトル選別手段(6)に供給するな
らば、要求される処理が多量であるため動きヘクトル選
別の動作は実用的ではない。この問題を克服するため動
きヘク1・ル評価手段(4)とv1きヘクトル選別手段
(6)との間に動きベクトル減少手段(5)を配してあ
る。動きベクトル減少手段(5)は動きベク1−ル評価
手段(4)により生成された動きヘクl・ルを受取り、
そのフレーム用に導出された全ての動きベクトルではな
くそのフレームの夫々のサーチプロソク(境界領域のサ
ーチブロックを含む)について4個の動きベクトルを動
きベクトル選別手段(6)に供給する。この効果は2つ
ある。先ず、正しい動きベクトルが動きベクトル選別手
段(6)に供給される4個の動きベクトルのグループの
中に含まれている限り、それによりその正しい動きベク
トルを選別するのがずっと容易になる。しかしながら、
次にこのことは、もしその正しい動きベクトルがその4
個の内の1個として供給されない場合には、動きベクト
ル選別手段(6)は正しい動きベクトルを選別すること
ができないことをも意味する。従って、動きヘクl・ル
減少手段(5)は動きベクトル選別手段(6)に供給す
る動きヘクトルの中にその正しい動きベクトルを含むこ
とを保障するように努める必要がある。また、動きベク
トル減少手段(5)により動きベクトル選別手段(6)
に対して4個の動きベクトルが供給されても、これらの
内で3個だけが実際に動きを表し、第4の動きベクトル
は常に定常的な動きベクトルであることに注意すべきで
ある。その定常的な動きベクトルにより、動きベクトル
選別手段(6)が定常的な画素に対して強制的に動きを
表す動きベクトルを割り当てることを防止することが保
障される。その動きベクトル選別手段(6)には異なる
数の動きベクトルを伝達することもでき、例えば、別の
実施例では動きを表す4個の動きベクトルとその定常的
な動きベクトルとを伝達するようにしてもよい。
これ以後は゛″サンプルブロック゜゛という言葉は、ビ
デオ信号の1フレーム中のブロックであってその中の個
々の画素に動きベクトル減少手段(5)より同じ4個の
動きベクトルが供給されているブロノクを意味する。従
って、1個のサンプルブロックはサーチブロックが成長
する前にはその1個のサーチブロックと同じである。第
31図に示す如く、ビデオ信号の1フレーム中ではザン
ブルブロック及びサーチブロックの初期位置は同じであ
る。
動きベクトル減少手段(5)(第1図)は動きヘクトル
評価手段(4)(第1図)より動きヘクトル及びフラッ
グを受取り、そのフラッグを調べることによりその動き
ベクトルの品質を決定する。その動きベクトルが曖昧な
面から導出されたものではなくそれに高い信頬性がある
場合には、それは良好な動きベクトルと呼ばれるが、仮
にある程度の曖昧さが存在するとその動きベクトルは悪
い動きベクトルと呼ばれる。動きベクトル減少のプロセ
スにおいて、悪い動きベクトルであると分類された動き
ベクトルは全て無視される。というのは、動きベクトル
選別手段(6)において悪い動きベクトルが選別されな
いためには、その動きベクトル選別手段(6)に不正確
な動きベクトルを伝達しないようにすることが重要であ
るからである。そのような悪い選別により一般に最終的
に得られる画像において極めて目障りなノイズ状のドッ
トが生ずる。
動きベクトル減少手段(5)(第1図)に供給される動
きベクトルの夫々は或る特別なサーチブロックひいては
或る特別なサンプルブロック(第31図)より得られた
ものであり、その動きベクトルと共にこれらブロックの
位置も記録される。悪い動きベクトルであると分類され
た如何なる動きベクトルも無視されるため、全てのサン
プルブロックがその位置にあるサーチブロックから導出
された動きベクトルを持つとは限らない。良好な動きベ
クトルであるとして分類され、成る特別なサーチブロッ
クひいては或る特別なサンプルブロックに関係する動き
ベクトルは局所的な(ローカル)動きベクトルと呼ばれ
る。というのは、それらはそのサンプルブロックが得ら
れた領域で導出されたからである。これに加えて、他の
動きベクトルの減少プロセスでは個々の良好な動きヘク
トルが生ずる頻度を計数し、それら良好な動きベクトル
を導出するために使用されたサーチブロックの実際の位
置を考慮することがない。これら動きベクトルは頻度が
小さくなる順序で分類され、この場合の動きベクトルを
共通な動きベクトルと称する。最悪の場合には、3個の
共通な動きベクトルだけが利用でき、これらが定常的な
動きベクトルと共に動きベクトル選別手段(6)(第1
図)に伝達される4個の動きベクトルを構成する。しか
しながら、3個を超える数の共通な動きベクトルが存在
することもよくあるので、その数を減少させて1組の減
少した数の共通な動きベクトルを構成しなければならな
い。これら1組の減少した数の共通な動きベクトルをグ
ローバルな(global)動きベクトルと称する。
共通な動きベクトルの数を減少させる最も単純な方法は
、3個の最も出現頻度の高い動きベクトルを使用して他
の動きベクトルを無視することである。しかしながら、
これら3個の最も出現頻度の高い共通な動きベクトルは
、初期状態では垂直方向及び/又は水平方向に互いに夫
々プラス又はマイナス1画素以内の動きである3個の動
きベクトルであることが多い。言い替えると、これら共
通な動きベクトルは全て同じ動きをわずかな違いで追跡
していたものであり、無視されていた他の共通な動きベ
クトルは実際に異なる動きを追跡していたものである。
或る場面の中の全ての又は大部分の動きを表す共通な動
きヘクトルを選択するためには、同し動きを表す複数の
グローバルな動きベクトルを選択するのを避ける必要が
ある。従って、実際に採用された方法は、先ず3個の最
も頻繁に出現する共通な動きベクトルを取り、それら3
個の内の最も頻度が小さい動きベクトルが他の2個の共
通な動きベクトルの何れかに対して垂直方向及び/又は
水平方向に夫々プラス又はマイナス1画素の動き以内で
あるかどうかを調べる。それが正しいならば、その動き
ベクトルは排除されて、この排除された動きベクトルの
次に最も頻度の高い共通な動きベクトルが選ばれてその
動きベクトルの代わりにチェノクを受ける。このプロセ
スは全ての最も出現頻度の高い共通な動きベクトルにつ
いて継続され、最後に互いに同程度ではない3個の共通
な動きベクトルが残るか、又は3個若しくはそれより少
ない数の共通な動きベクトルが残るまでそのプロセスは
継続される。しかしながら、そのプロセスが収束せず互
いに同程度ではない3個を超える数の共通な動きヘクト
ルが残った場合には、それらの中で最も頻度の小さい動
きヘクトルが他の動きベクトルに対して垂直方向及び/
又は水平方向に夫々プラス又はマイナス2画素の動き以
内であるかどうかを調べるプロセスが反復され、必要に
応じてその距離を増加させながらそのプロセスが反復さ
れる。これら3個の共通な動きベクトルが要求されてい
るグローバルな動きベクトルであり、これらはまだ出現
頻度の順に並べられていることが重要である。
動きベクトル減少のプロセス及び1フレームのビデオ画
像中のサンプルブロックを考慮する場合、3個の異なる
タイプのサンプルブロックに注目する必要がある。これ
らのタイプは1フレームのビデオ画像中のその実際の位
置によって定まり、第32図において異なる領域として
表されている。領域Aは全体が他のサンプルブロックに
囲まれると共に画像の境界に近くないサンプルブロック
より構成される。領域Bは部分的に他のサンプルブロッ
クに囲まれると共に画像の境界に近くないサンプルブロ
ックを含む。最後に領域Cは、その画像の境界に近いサ
ンプルブロックを含む。これらの各領域に適用される動
きベクトル減少のアルゴリズムは夫々異なる。これらの
アルゴリズムにつき説明するに、先ずその1フレームの
ビデオ画像中のサンプルブロックの中には良好な動きベ
クトルを有するものが存在し、更にその場面の主要な動
きの大部分を表すべき3個のグローバルな動きベクトル
が存在することが前提となっている。各サンプルブロッ
クについて3個の動きベクトルと共に定常的な動きベク
トルを伝達するために、これら動きベクトルの選別が行
われる。
第33図は領域Aにおける動きヘク1・ル凋少の手順を
示す。この領域にはチェックすべき動きヘクトルが最も
多く存在するため、この領域が扱うのに最も複雑な領域
である。第33図において、斜線を施された中央のサン
プルブロソクが他のサンプルブロックa − hに囲ま
れている。先ず局所的に導出された動きヘクトルが良好
な動きベクトルとして分類されるかどうかが調べられる
。それが良好であり且つ定常的な動きベク1−ルと同一
でないときには、その動きベクトルは伝達される。しか
し7ながら、これらの条件の内の一方でも充足されない
ときには、その動きベクトルは無視される。
それから、そのサンプルブロックdに対応ずる動きベク
トルが良好な動きベクトルとして分類されるかどうかが
調べられる。それが良好であり、更にその動きベクトル
が既に選別されたどの動きベクトルとも同じではなく且
つその定常的な動きベクトルとも同じでないときには、
その動きベクトルは伝達される。これらの条件の内の一
方でも充足されないときには、その動きベクトルも無視
される。このプロセスはそれから同様にサンプルブCI
7クe,b,g,a,h,c及びfの順序で継続される
。定常的な動きベクトルを含まない3個の動きベクトル
が得られると、そのアルゴリズムは終了する。というの
は、それらがそのサンプルフロックについての動きベク
トルの選別で要求される全てであるからである。しかし
ながら、上述の必ずしも全てのチェックにおいて3個の
良好な動きベクトルが得られなければならないというも
のではない。3個の良好な動きベクトルが得られない場
合には、残りの空間にはグローハルな動きベクトルが割
当てられ、より出現頻度の高いグローバルな動きベクト
ルが優先的に割当てられる。
第34図は領域Bにおける動きベクトルの減少手順を示
す。領域Bのサンプルブロックは他のサンプルブロック
により全体には囲まれていない点を除いて、領域Aのサ
ンプルブロックと同じである。
従って、これらのサンプルブロックに適用されるプロセ
スは領域A用のプロセスと、全ての周辺のサンプルブロ
ックの中ではチェックを行うことができない点を除いて
全べ同じである。従って、第34図に示す如く、サンプ
ルブロックa − eに対して動きベクトルをチェック
することができるだけであり、動きベクトル用に残され
ている空間には何れも前と同様にグローバルな動きベク
トルが割当てられる。同様に、第34図の斜線を施した
サンプルブロックを左へ2単位移動させると、それらグ
ローバルな動きヘクトルを割当てる前にチェックすべき
隣接する周辺のブロックの数は3個だけになる。
第35図は領域Cにおける動きベクトルの減少手順を示
す。そのサンプルブロックには局所的に導出された動き
ベクトルもなく、動きベクトルが利用できる多くの周辺
のサンプルブロックもないので、この場合が最も厳しい
場合である。この問題を処理する最も単純な方法は、単
にその領域Cのサンプルブロックにグローバルな動きベ
クトルと共に定常的な動きベクトルを割当てることであ
る。
しかしながら、この場合には、領域Bの隣接するサンプ
ルブロックと比較した場合に、その領域Cのサンプルブ
ロックに割当てられた動きヘクトルの値が突然変化する
ことにより、最終的に得られる画像にブロック処理によ
る影響が生じることが分かっている。従って、より好適
な方法は、領域Cのサンプルブロックに対しては領域B
のサンプルブロックに対して用いられるものと同じ動き
ベクトルを使用して、動きベクトルの突然の変化を防ぐ
ことである。より好ましくは、頷域Cの各サンプルブロ
ックにはそのサンプルブロックに物理的に最も近い領域
Bのサンプルブロックの動きベクトルと同じものを割当
てるのがよい。従ってこの場合には第35図例では、領
域Cの個々の斜線を施したサンプルブロックには領域B
のサンプルブロックaと同じ動きベクトルが割当てられ
、これにより良好な結果が得られることが確認された。
再び第1図を参照して、動きベクトル選別手段(6)の
目的はそこへ供給された4個の動きベクトルの内の1個
をそのサンプルブロック内の個々の画素に夫々割当てる
ことである。これにより、それら動きベクトルは物体の
輪郭に正確に割当てることができる。この割当てを実行
するには特に、微細な構造を囲む背景画像によりその正
しい動きベクトルにより生成される実際の構造が置き換
えられる可能性を無《すようにする必要がある。これを
達成するために、その動きベクトルの選別プロセスは2
個の主な段階に分割される。第1段階では入力フレーム
の各画素について動きヘク1−ルが生成される。言い替
えると、出力フレームの各画素に対する動きヘクトルの
値を直接決定することはない。第2段階では出力フレー
ム中の各画素に対する動きベクトルの値を決定するため
に、その第1段階で生成された動きヘクトルの値が使用
される。
第36図において、入力フレーム(2)の各画素は供給
される4個の動きヘクトルの夫々を使用することにより
、前フレーム(1)及び次のフレーム(3)のビデオデ
ータの中で最も良く輝度の値が合致する画素を求めるた
めに調べられる。画素の輝度の差分は次のように決定さ
れる。
この場合、 Plnmは、フレーム(2)で検査対象となっている画
素の位置から検査対象となっている動きベクトルの座標
を差し引いて得られる位置に存在する画素を囲む4×4
個の画素よりなるブロックの中のフレーム(1)の画素
の輝度値であり、P2nmは、検査対象となっている画
素を囲む4×4個の画素よりなるブロックの中のフレー
ム(2)の画素の輝度値であり、 P3nmは、フレーム(2)で検査対象となっている画
素の位置に検査対象となっている動きヘクトルの座標を
加算して得られる位置に存在する画素を囲む4×4個の
画素よりなるブロックの中のフレーム(3)の画素の輝
度値である。
その画素の差分が最小になる条件により輝度が最も良く
合致する所が求められ、従って、検査対象となっている
画素に適用すべき正しい動きヘクトルが求められる。正
しい動きヘクトルが適用できない場合又は以下で詳細に
述べるように露出されたエリア若しくは被覆されたエリ
アが存在する場合には、その輝度の良好な合致は起こら
ない。
良好な合致が起こらない場合とは、使用されている複数
の画素内の平均的な画素の輝度の差分が成る所定の闇値
を超えているときに生じる。正しい動きベクトルが検査
されているときでさえ、空間周波数の高い微細な構造で
は良好な合致が生じないことがあるので、その闇値が重
要である.,闇値が如何なる値のときに良好な合致が起
こらないことが示されるかを決定するためには、動きベ
クトルが要求されている画素を囲むブロック内の画像の
周波数成分にその闇値を関連づける必要がある。これを
達成するため、検査対象の画素についての水平方向又は
垂直方向の画素の輝度の差分の最大値の半分に等しい闇
値を自己闇値とする。このようにして得られた闇値が比
較対象となっている全体のブロックデータの代表的な値
であることを保障するために、使用される4個の中央部
の夫々4×4個の画素よりなるブロックを対象として平
均値が求められる。
4×4のブロックを示す第38図を参照して、必要とさ
れる閾値Tは次式で与えられる。
T = (TbT2+T3+T4)/8この式において
例えばT3は、第39図に示すように4個の画素の輝度
の差分値の中の最大値に等しい値として決定され、これ
ら4個の差分値とは2個の垂直方向の差分値の絶対値I
 B2−83 1 ,  l B=1831及び2個の
水平方向の差分値の絶対値IA3〜83 1 .  1
 C3−83 1である。
このようにして入力フレーム(2)に対して1フレーム
分の動きベクトルが得られ、同様にして第37図に示す
如く入力フレーム(3)に対して1フレーム分の動きベ
クトルが得られる。
場面の変化は別として、動きベクトル選別の上述の第1
段階において発生する不適合(ミスマッチ)の原因は露
出面及び被覆面の現象である。或る物体、例えば自動車
がトンネルに入るときには、その自動車は被覆されて、
一方それが出て来るときにはその自動車は露出される。
その自動車のフレーム(1)及び(2)で露出された部
分がフレーム(3)及び(4)で被覆されるときには、
その基本的なベクトル選別プロセスではその正しいヘク
トルを決定することができない。更に、そのトンネルの
中に入る自動車が被覆される一方で、その自動車の後ろ
の道路及び物体は露出される。同様にそのトンネルを離
れる自動車は露出されるが、その自動車の後ろの道路及
び物体は被覆される。従って、−Cに被覆される物体と
露出される物体とが同時に存在する。或る場面の終わり
もまた被覆される物体と同様に動きの不連続性を有する
。斯かる状況下でさえも動きベクトルを決定する試みに
おいては、その輝度値のブロック毎の合致の程度を調べ
る方法は、第36図及び第37図の3フレーム間の合致
の程度を調べる方法から2フレーム間の合致の程度を調
べる方法に変えられる。即ち、動きベクトルが要求され
ているフレーム(例えばフレーム(2))は供給される
4個の動きベクトルを使用することにより、前フレーム
及び次フレームに対して(フレーム(2)の場合には夫
々フレーム(1)及び(3)に対して)個別にブロック
毎の合致の程度が調べられる。最も良好な合致を生ずる
動きベクトルが検査対称となる画素に適用される動きベ
クトルとして選別される。しかしながら、この場合には
2フレーム間の合致の程度だけを調べる方法が使用され
たことを示す情報(フラッグ)がセットされる。
特に積分型のテレビカメラを用いた場合には、良好な合
致が起こらないという状況が生じる。物体が微細構造を
有する背景の上を動くときには、積分型のカメラによる
とその物体の先端及び後端のエッジがその背景の微細構
造と混合されて独特の部分を有する画像が生成される。
そのような状況では、2フレーム間の合致を調べる方法
でさえも平均的な画素間の差分がその闇値を超えること
がある。こような場合には、動きベクトルの値は0に設
定され、エラーフラッグもセットされる。
動きベクトル選別の第2段階では第1段階で導出された
2フレーム分の動きベクトルを利用する。
最初の(入力フレーム(2)の)lフレーム分の動きベ
クトルは基準フレームであるとみなされ、これに続く 
(入力フレーム(3)の)1フレーム分も使用される。
出力フレームの位置はこれら2個のフレームの動きベク
トルの間の何れかに存在する。
第40図を参照して説明するに、個々の出力画素の位置
に対して入力フレーム(2)のサンプルブロックに関連
する4個の可能な動きヘクトルが検査される。検査対象
である動きベクトルの角度でその出力画素の位置を通っ
て引かれた線は入力フレーム(2)及び入力フレーム(
3)の両方の上に存在する位置を指し示す。動きベクト
ルの値が奇数(例えば1.3及び5)である場合には、
出力フレームが入力フレーム(1)と(2)との間の正
確に中央にあるとすると、入力フレームの2個の画素の
間の(画素の中心ではない)或る点が指し示されるであ
ろう。この不正確さを考慮し更に感度を画素単位まで低
下させるために、各フレームに対して最も近い画素の位
置を中心として1組の3×3ブロックの動きベクトルが
得られる。実際には、2組の3×3ブロックの動きベク
トルの夫々と検査対象である動きベクトルを含むブロッ
クとの間でブロック間の合致の程度を調べる動作が実行
される。
使用される動きベクトルの差分は次式により与えられる
2個の動きベクトルの値の空間的な差分を表す。
この場合、×1及びytはそれらブロックの1つにおけ
るその動きベクトルの直交座標であり、×2及びy2は
検査対象となる動きベクトルの直交座標である。
3個の入力フレーム、即ち入力フレーム(2)(第36
図)に対しては入力フレーム(1) , (2)及び(
3)を使用して計算された動きベクトルだけを使用する
ことにより、上述のように先ず最も良好に合致する動き
ベクトルが生成される。それら3個の入力フレームは入
力フレーム(3)(第37図)に対しては入力フレーム
(2) . (3)及び(4)となり、その結果はそれ
に応じて段階的に変化する。その9個のブロックには少
なくとも4個の使用可能な動きベク1・ルがあるのが好
ましい。フレーム(2)及びフレーム(3)の両方の動
きベクトルのブロックが使用できるときには、その動き
ベクトルの差分値はフレーム(2)による動きベクトル
の差分値の半分及びフレーム(3)による動きベクトル
の差分値の半分を加算して構成される。上述の方法を使
用して動きベクトルの最小の差分値を生成する動きベク
トルであれば、検査対象となる出力画素に適用できる動
きベクトルであると考えることができる。3個のフレー
ム間の入力動きベクトルの整合(第36図及び第37図
)により生成された動きベクトルの差分値が1より大き
いときには、被覆面又は露出面が検出されたことになる
。そ゛して、同じプロセスが繰り返されるが今度はエラ
ーフラッグが無視される。即ち、2個の入力フレームを
用いて計算された動きベクトルが使用される。理論的に
はこれは露出面又は被覆面だけに必要であるが、実際に
はより一般的な領域の画像に適用しても画質が改善され
る。
上述の両方の検査が実行された後に、良好に合致すると
判定された最小の動きベクトルの値が2を超えている場
合には、その動きベクトルの値は0に設定され、動きベ
クトル後処理手段(7)(第1図)の使用に供するため
エラーフラッグがセットされる。
本発明に特に関連する動きベクトル選別回路(6)(第
1図参照)の回路と動作はこれまで説明していないが、
以下、第38図〜第41図を参照して詳細に説明する。
完全なベクトル選別処理は上記したように2つのステー
ジで実行される。第38図と第39図とはこの2つのス
テージにかかる図面である。
詳しく説明すると、ベクトル選別処理のハードウエア構
成の利便性のために、この特別な実施例においては、9
過程のデマチプレクサ処理があり、このため回路構成と
しては9回繰り返して記述されることになる。とはいえ
、都合のよい動作速度を達成するためのデマチプレクサ
処理の他の回路構成も可能であることはいうまでもない
。しかしながら、HDVSおよび9過程デマチブレクサ
処理についてのこの回路は、l{DVSフレームを構成
する実効的な1035本ラインの中、ビデオ信号の11
5本ラインに対する動きベクトルをそれぞれ生成するよ
うに記述されていなければならないものである。
第38図に示す第1ステージ回路は、基準リードアドレ
ス発生回路(20)と、アドレスシフト回路(21)、
(22)と、マップ蓄積回路(23)と、画像区画蓄積
回路(24)〜(27)と、選別回路(28)、(29
)、(34)と、ブロック整合回路(30)、(31)
と、基準サンプルブロック蓄積回路(32)、(33)
と、加算回路(35)と、.最小判定回路(36)と、
自動闇値回路(37)と、闇値テスト回路(38)とを
有し、それらは図に示すように接続されており、以下そ
の動作について説明する。
先ず、連続する4つのフレームのそれぞれの対応する画
像区画が画像区画蓄積回路(24)〜(27)のそれぞ
れに対応して蓄積される。それぞれの画像区画において
、256本分のラインがオーバーラップされている。本
実施例においては、他の構成とすることも可能であるが
、入力するHDVSは上記したように14 . 8 5
 M Hzの画素クロツクが用いられている。フレーム
あたり1125本ラインで、ラインあたり2200個サ
ンプルされ、秒あたり60フィールドであり、これは1
/5標準周波数である。出力はl/10標準周波数で動
作するので、入力するフレームには、実効的に2250
本ラインが含まれることになる。
その中、1035本が実際のラインである。画像区画蓄
積回路(24)〜(27)にそれぞれ256本ライン分
蓄積されると、直ちに中央の115本の処理が開始され
る。それぞれのサンプルブロックは4つの動きベクトル
を有しており、この4つの動きベクトルはマップ蓄積回
路(23)に蓄積されている動きヘクトル滅少回路(5
)(第1図参照)によって関連づけられたものである。
サンプルブロック基準に基づくサンプルブロックについ
てのデータが画像区画蓄積回路(24)〜(27)から
読み出される。すなわち、まず、サンプルブロックの第
1ラインが読み出され、次に、第2ラインから順に最後
のラインへと読み出される。
それから、次のサンプルブロックの第1ラインが読み出
され、同様に、第2ラインから順に最後のラインへと読
み出される。ブロック整合を実施する際に許容しうる十
分なデータ量としては、8ラインに基づく8画素までの
ブロック整合サイズを許容する23ラインに基づく32
画素のサンプルブロックを含む、水平方向として39画
素分、垂直方向として30ライン分読み出せばよい。
第38図に示す回路は入力するビデオ信号のほんの一部
分を処理するものであるが、新しいフレームデータが得
られる前に9回サンプルブロックを読み出すことができ
、同様に、9回動作を遂行することができる。それぞれ
の動作の軌跡を保持するために9回になるまでシーケン
ス計数が発生され、このシーケンス係数がマップ蓄積回
路(23)と選別回路(28)、(29)に供給される
。次にこの動作について、シーケンス状態1〜9の標題
を付して以下に説明する。
シーケンス状態1 第1のサンプルブロックがゼロシフトで画像区画蓄積回
路(24)〜(27)から読み出されて、アドレスシフ
ト回路(21)、(22)に供給されると、これに関連
して、選別回路(28)、(29)は画像区画蓄積回路
(25)、(26)からだけのデータを通過させてそれ
ぞれを基準サンプルブロック蓄積回路(32)、(33
)に蓄積する。
シーケンス状態2 基準サンプルブロック蓄積回路(32)はこのデータを
読み出し、このデータは選別回路(34)を介してブロ
ック整合回路(30)、(31)に供給されるとともに
、自動闇値回路(37)に供給される。そして直ちに、
このサンプルブロックに対応する最初の動きベクトルが
マップ蓄積回路(23)から読み出され、規模が適当に
されて、アドレスシフト回路(21)、(22)に供給
される。もし、動きベクトル値が、X,yであった場合
には、アドレスシフト回路(2l)からのアドレスはサ
ンプルブロックを読み出す際、さらに左方にX画素分だ
けずらされ、上方にyライン分だけずらされることにな
る。一方、アドレスシフト回路(22)からのアドレス
はサンプルブロックを読み出す際、さらに右方にX画素
分だけずらされ、下方にyライン分だけずらされること
になる。これに関連して、選別回路(28)、(29)
は、画像区画蓄積回路(24)、(26)から出力され
たデータのみを通過させてブロック整合回路(30)、
(31)に設定する。
この4×4画素ブロック整合回路(30)、(31)に
より、設定されたサンプルブロックに対するブロック整
合値が得られる。このブロック整合値は加算回路(35
)で結合され、その結果は最小判定回路(36)に供給
される。
ブロック整合回路(30)、(31)によって得られた
ブロック整合値はサンプルブロックにおける個々の画素
に対して唯一の値として得られ、この値は、マップ蓄積
回路(23)から読み出された動きベクトル値によって
指示される速度を有する動きがあるものと仮定されたと
き、前後のフレームに整合した基準サンプルブロック蓄
積回路(32)、(33)に蓄積されるようにして、該
当する画素の輝度値の一単位の程度とされるものである
シーケンス状態3 基準サンプルブロック蓄積回路(32)から再びデータ
が読み出され、このデータがブロック整合回路(30)
、(31)に供給される。そして直ちに、このサンプル
ブロックに対応する第2の動きベクトルが、マップ蓄積
回路(23)から読み出され、規模が適当にされて、ア
ドレスシフト回路(21)、(22)に供給される。こ
れに関連して、選別回路(28)、(29)は、画像区
画蓄積回路(24)、(26)からのデータのみを通過
させてブロック整合回路(30)、(31)の他の入力
に設定する。第2の動きベクトルに基づき得られたブロ
ック整合値は、再び、最小判定回路(36)に供給され
る。
最小判定回路(36)は最小画素ブロック整合値を見い
だすために比較処理を実行する。もし、より小さい値と
して以前に保持されていた状態値に比較して新たに供給
された現在状態値がより小さい値であると判定された場
合にはその値が保持される。付言すれば、最良の整合を
生み出す動きベクトルを指示するための最小の状態番号
が蓄積される。この過程はサンプルブロックにおける個
々の画素に対して分離して実行され、かつ最小判定回路
(36)に接続される3個のバスに対して実行される。
シーケンス状態4 基準サンプルブロック蓄積回路(32)は再びデータを
読み出し、読み出されたデータはブロック整合回路(3
0)、(31)に供給される。そして直ちにサンプルブ
ロックに対する第3動きベクトルがマップ蓄積回路(2
3)から読み出され、規模が適当にされて、アドレスシ
フト回路(2l)、(22)に供給される。選別回路(
28)、(29)は、画像区画蓄禎回路(24)、(2
6)からのデータのみを通過させてブロック整合回路(
30)、(31)に設定する。この第3の動きベクトル
にもとすき得られたブロック整合値は、再び、最小判定
回路(36)に供給される。
最小判定回路(36)は、さらに、最小画素ブロック整
合値を決定するために比較処理を実行する。
そして、以前に蓄積されていた値が最小値であると判定
した場合には、その値を保持し、新たに供給された現在
状態値がより小さい値であると判定した場合にはその値
を保持する。そして、再び、動きベクトルが最小値であ
ることを指示するための状態番号が蓄積される、なお、
この処理は、最小判定回路(36)に導入される3個の
バスのそれぞれについてなされる。
シーケンス状態5 基準サンプルブロック蓄積回路(32)は再びデータを
読み出し、読み出されたデータはブロック整合回路(3
0)、(31)に供給される。そして直ちにサンプルブ
ロックに対する第4の動きベクトルがマップ蓄積回路(
23)から読み出され、規模が適当にされて、アドレス
シフト回路(21)、(22)に供給される。選別回路
(28)、(29)は、画像区画蓄積回路(24)、(
26)からのデータのみを通過させ、第4の動きベクト
ルに基づき得られたブロック整合値は、再び、最小判定
回路(36)に供給される。
最小判定回路(36)は、さらに、最小画素ブロック整
合値を決定するために比較処理を実行する。
そして、以前に蓄積されていた値が最小値であると判定
した場合には、その値を保持し、新たに供給された現在
状態値がより小さい値であると判定した場合にはその値
を保持する。そして、再び、動きベクトルが最小値であ
ることを指示するための状態番号が蓄積される、なお、
この処理は、最小判定回路(36)に導入される3個の
バスのそれぞれについてなされる。
上記した過程がサンプルブロックにおける全ての画素に
ついてなされ、個々の画素に対する動きベクトル値が選
別され、選別された動きベクトル値がサンプルプロ・冫
クにおける個々の画素に対して自動闇値回路(37)に
よって(後述するように)生成された値を用いて闇値テ
スト回路(38)で比較される。加算回路(35)から
供給された最小値が闇値よりも小さい場合には、選別さ
れた動きベクトルが、対応するバスの中に蓄積されてい
る状態番号によって指示され、それが正しいものとされ
る。
加算回路(35)から供給された最小値が閾稙よりも大
きい場合には、ブロック整合回路(30)、(3l)か
ら供給された元の最小値の比較結果が個々に点検される
。これらの二つの値のいずれか小さいほうの値が闇値よ
りも小さい場合には、選別された動きベクトルが、対応
するバスの中に蓄積されている状態番号によって指示さ
れ、それが正しいものとされる。これらの二つの値のど
ちらの値も闇値よりも小さい場合には、エラーフラグが
セットされる。このエラーフラグを含めてこれらの結果
は、後述するようにベクトル番号蓄積回路(第38図参
照)に蓄積される。
シーケンス状態6 そこで、基準サンプルブロソク蓄積回路(33)は、デ
ータを読み出しブロック整合回路(30)、(3l)と
自動闇値回路(37)に供給する。そして直ちに、サン
プルブロックに対する第1の動きベクトルが、再びマッ
プ蓄積回路(23)から読み出され、規模が適当にされ
て、アドレスシフト回路(2l)、(22)に供給され
る。そこで、これに関連して、選別回路(28)、(2
9)は、画像区画蓄積回路(25)、(27)からのデ
ータをブロック整合回路(30)、(3l)の他の入力
に供給する。ブロック整合回路(30)、(31)によ
って生成されたブロック整合値は、直接、あるいは加算
回路(35)を介して最小判定回路(36)に供給され
、上記したように蓄積される。
シーケンス状態7 基準サンプルブロソク蓄積回路(33)は、再び、デー
タを読み出しブロック整合回路(30)、(3l)に供
給する。そして.直らに、サンプルブロノクに対する第
2の動きベクトルが、マップ蓄積回路(23)から読み
出され、規模が適当にされて、アドレスシフト回路(2
1)、(22)に供給される。そこで、これに関連して
、選別回路(28)、(29)は、画像区画蓄積回路(
25)、(27)からのデータをブロック整合回路(3
0)、(3l)の他の入力に供給する。この第2の動き
ベクトル値を用いて生成されたブロック整合値は、再び
、最小判定回路(36)に供給される。
最小判定回路(36)は、さらに、最小画素ブロック整
合値を決定するために比較処理を実行する。
そして、以前に蓄積されていた値が最小値であると判定
した場合には、その値を保持し、新たに供給された現在
状態値がより小さい値であると判定された場合にはその
値を保持する。さらに、最良の整合を生み出す動きベク
トルを指示するための最小の状態番号が蓄積される。こ
の過程はサンプルブロックにおける個々の画素に対して
分離して実行され、かつ最小判定回路(36)に接続さ
れる3個のバスに対して実行される。
シーケンスイk態8 基準サンプルブロック蓄積回路(33)は、再び、デー
タを8売み出しブロック整合回路(30)、(31)と
自動闇値回路(37)に供給する。そして直ちに、サン
プルブロックに対する第3の動きベクトルが、マップ蓄
積回路(23)から読み出され、規模が適当にされて、
アドレスシフ1・回路(21)、(22)に供給される
。そこで、選別回路(28)、(29)は、画像区画蓄
積回路(25)、(27)からのデータをブロック整合
回路(30)、(31)の他の入力に供給する。この第
3の動きベクトル値を用いて生成されたブロック整合値
は、再び、最小判定回路(36)に供給される。
最小判定回路(36)は、さらに、最小画素ブロソク整
合値を決定するために比較処理を実行する。
そして、以前に蓄積されていた値が最小値であると判定
した場合には、その値を保持し、新たに供給された現在
状態値がより小さいと判定された場合にはその値を保持
する。そして、再び、動きベクトルが最小値であること
を指示するだめの状態番号が蓄積される、なお、この処
理は、最小判定回路(36)に導入される3個のハスの
それぞれについてなされる。
シーケンス状態9 基準サンプルブロック蓄積回路(33)は、再び、デー
タを読み出しブロック整合回路(30)、(31)に供
給する。そして直ちに、サンプルブロックに対する第4
の動きベクトルが、マップ蓄積回路(23)から読み出
され、規模が適当にされて、アドレスシフト回路(21
)、(22)に供給される。そこで、選別回路(28)
、(29)は、画像区画蓄積回路(25)、(27)か
らのデータのみを通過させて、第4の動きベクトル値を
用いて生成されたブロック整合値が、再び、最小判定回
路(36)に供給される。
最小判定回路(36)は、さらに、最小画素ブロック整
合値を決定するために比較処理を実行する。
そして、以前に蓄積されていた値が最小値であると判定
した場合には、その値を保持し、新たに供給された現在
状態値がより小さいと判定された場合にはその値を保持
する。そして、再び、動きヘクトルが最小値であること
を指示するための状態番号が蓄積される、なお、この処
理は、最小判定回路(36)に導入される3個のバスの
それぞれについてなされる。
上記した過程がサンプルブロックにおける全ての画素に
ついてなされ、個々の画素に対する動きベクトル値が選
別され、選別された動きベクトル値がサンプルブロック
における個々の画素に対して自動闇値回路(37)によ
って(後述するように)生成された値を用いて闇値テス
ト回路(38)で比較される。加算回路(35)から供
給された最小値が闇値よりも小さい場合には、選沢され
た動きヘクトルが対応するバスの中に蓄積されている状
態番号によって指示され、それが正しいものとされる。
加算回路(35)から供給された最小値が闇値よりも大
きい場合には、ブロック整合回路(30)、(31)か
ら供給された元の最小値の比較結果が個々に点検される
。これらの二つの値のうちのいずれか小さい方の値が闇
値よりも小さい場合には、選別された動きベクl・ルが
対応ずるバスの中に蓄積されている状態番号によって指
示され、それが正しいものとされる。これらの二つの値
のどちらの値も闇値よりも小さい場合には、エラーフラ
グがセントされる。このエラーフラグを含めてこれらの
結果は、後述するように、ベクトル番号蓄積回路(第3
9図参照)に蓄積される。
第39図に示す第2ステージ回路は、基準リードアドレ
ス発生回路(40)と、第2、第3フレームリードアド
レスシフト回路(4l)、(42)と、それぞれ4個の
蓄積回路を有するヘクトル番号蓄積回路(43)、(4
4)と、マップ蓄積回路(45)、(48)と、選別回
路(46)、(47)と、ブロック整合回路(49)と
、誤差カウンタ(50)と、ブロック整合結果8個を蓄
積することができるブロック整合結果蓄積回路(51)
と、最小判定回路(52)と、出力ランダムアクセスメ
モリ(RAM)(53)とを有し、それらは図に示すよ
うに接続されており、以下その動作について説明する。
一のフレーム期間にわたって、ベクトル番号蓄積回路(
43)、(44)のそれぞれには上記した第1ステージ
の動きベクトルが蓄積され読み出だされ、一方、ベクト
ル番号蓄積回路(43)、(44)のそれぞれには以前
に蓄積されていた他の二つの結果が保持されており、読
み出される。この二対の蓄積結果は、交互に、書き込ま
れ、読み出される。第2ステージの動きベクトルの選別
のために必要とされる一対の蓄積結果が、複数の画像区
画から生成された第1ステージの動きベクトルへのアク
セスを要求すると、直ちに、最終の動きベクトルを生成
するための上下の画像区画が生成される。このことは、
9過程のデマチプレクサ処理に関連して対応する九つの
回路が要求され、そして、その九つの回路は、利便性を
考慮して、九つの回路基板(60)〜(68)に配置さ
れている。回路基板(60)〜(68)のそれぞれには
ビデオ信号の中、256本ラインが取り込まれれるので
、サンプルブロックの5列、すなわち、ビデオ信号の中
の115本のラインが処理されることになる。処理され
るそれぞれのラインは関連する回路基板(60)〜(6
8)の中に指示されている。ここで、第39図の回路図
を振り返ってみると、ベクトル番号蓄積回路(43)、
(44)に蓄積されている対の蓄積結果の中の一つは、
回路基板(60)〜(68) (第40図参照)の一つ
に対応する最初の部分から第1ステージに書き込まれ、
他の一つ蓄積結果は、同時に、先ず、画像区画の上半分
が処理されて書き込まれ、次に、画像区画の下半分が処
理されて書き込まれる。しかしながら、一対の蓄積結果
はあたかも一つの蓄積結果として読み出される。
マップ蓄積回路(23) (第38図参照)に供給され
ているそれぞれのサンプルブロックに対応する動きベク
トル値は1フレーム分遅延された後、マップ蓄積回路(
45)に供給される。なお、マップ蓄積回路(45)の
働きは前記したマップ蓄積回路(23)と同一である。
ベクトル番号蓄積回路(43)、(44)は基準リード
アドレス発生回路(40)の制御下にサンプルブロック
を読み出す。第1ステージで説明したように、サンプル
ブロックが9回読み出されるので、それらの動作を、シ
ーケンス状態1〜9の標題を付して以下に説明する。
シーケンス状態1 サンプルブロックに対応する第1の動きヘクトル値がマ
ップ蓄積回路(45)から読み出され第2フレームリー
ドアドレス生成回路(41)に供給される。
この第2フレームリードアドレス生成回路(41)は前
記したアドレスシフト回路(21)、(22)と同様の
アドレスシフト回路であるとはいえ.動きベクトル値に
対し,信号状態(signal interp)の低い
、あるいは高いに応じてゼロ値あるいは( − 1/2
)値を乗算するものである.信号状態(signal 
interp)が低い場合、その出力は基準フレームB
に基づくラインで生成され、信号状態(signal 
interp)が高い場合、その出力は第2フレームと
第3フレームの間の中間の部分で生成される。
選別回路(47)はベクトル番号蓄積回路(43)から
導入される複数の動きヘクトルを選別するものであり、
それらをマップ蓄積回路(48)に供給する。
このマップ蓄積回路(48)は動きベクトル値に対して
動きベクl・ル番号を配置するものである。なお、前記
したマップ蓄積回路(45)とこのマップ蓄積回路(4
8)とは同様の構成である。マップ蓄積回路(48)か
ら出力される動きベクトル値は、フロック整合回路(4
9)に供給される。
3×3動きベクトルのブロック整合はマップ蓄積回路(
45)から出力される複数の動きベクトル値に関連して
行われる。また、ベクトル番号蓄積回路(43)、(4
4)は第1ステージから出力されるエラーフラグを含む
ものであり、そのエラーフラグは選別回路(47)によ
って選別され、マップ蓄積回路(48)を介して誤差カ
ウンタ(50)に供給されるとともに、同様にしてブロ
ック整合回路(49)に供給される。もし、エラーフラ
グがセットされているときには、動きベクトルブロック
整合に基づき生成された動きベクトルの差がゼロ値にさ
れる。誤差カウンタ(50)は,良好な動きベクトルの
差が動きヘクトルブロック整合を生成した回数を定める
ものである。その結果は動きベクトルブロック整合の出
力に対応する規模を定めるために用いられるものであり
、かつ,動きベクトル整合結果はブロック整合結果蓄積
回路(51)に蓄積される。
シーケンス状態2 サンプルブロックに対応する第2の動きベク]・ル値が
マップ蓄積回路(45)から読み出され第2フレームリ
ードアドレス生成回路(41)に供給される。
選別回路(47)はベクトル番号蓄積回路(43)から
導入される複数の動きベクトルを選別するものであり、
それらをマップ蓄積回路(48)に供給する。このマッ
プ蓄積回路(48)は動きヘクトル値に対して動きベク
トル番号を配置するものである。マップ蓄積回路(48
)から出力される動きベクトル値は、ブロック整合回路
(49)に供給される。動きベクトルのブロック整合は
マップ蓄積回路(45)から出力される複数の動きベク
トル値に関連して行われる。
また、ベクトル番号蓄積回路(43)から出力されたエ
ラーフラグは、選別回路(47).によって選別され、
マップ蓄積回路(48)を介して誤差カウンタ(50)
に供給されるとともに、ブロック整合回路(49)に供
給される。ブロック整合回路(49)によって生成され
規模が適当にされた動きヘクl・ルブロック整合結果は
、上記と同様に、ブロック整合結果蓄積回路(5l)に
蓄積される。
シーケンス状態3 第3の動きベクトル値がマップ蓄積回路(45)から読
み出され、第2フレームリードアドレス生成回路(41
)に供給される。選別回路(47)はベクトル番号蓄積
回路(43)から導入される複数の動きベクトルを選別
するものであり、それらをマップ蓄積回路(48)に供
給する。このマップ蓄積回路(48)は動きベクトル値
に対して動きヘクトル番号を配置するものである。マッ
プ蓄積回路(48)から出力される動きベクトル値は、
ブロック整合回路(49)に供給される。動きベクトル
のブロック整合はマップ蓄積回路(45)から出力され
る複数の動きベクトル値に関連して行われる。ベクトル
番号蓄積回路(43)から出力されたエラーフラグは、
選別回路(47)によって選別され、マップ蓄積回路(
48)を介して誤差カウンタ(50)に供給されるとと
もに、ブロック整合回路(49)に供給される。ブロッ
ク整合回路(49)によって生成され規模が適当にされ
た動きベクトルブロック整合結果は、上記と同様に、ブ
ロック整合結果蓄積回路(51)に蓄積される。
シーケンス状態4 第4の動きベクトル値がマップ蓄積回路(45)から読
み出され、第2フレームリードアドレス生成回路(4l
)に供給される。選別回路(47)はベクトル番号蓄積
回路(43)から導入される複数の動きベクトルを選別
するものであり、それらをマップ蓄積回路(48)に供
給する。このマンプ蓄積回路(48)は動きベクトル値
に対して動きベクトル番号を配置するものである。マッ
プ蓄積回路(48)から出力される動きベクトル値は、
ブロック整合回路(49)に供給される。動きベクトル
のブロソク整合はマンプ蓄積回路(45)から出力され
る複数の動きヘク1・ル値に関連して行われる。ベクト
ル番号蓄積回路(43)から出力されたエラーフラグは
、選別回路(47)によって選別され、マップ蓄積回路
(48)を介して誤差カウンタ(50)に供給されると
ともに、ブロック整合回路(49)に供給される。ブロ
ック整合回路(49)によって生成され規模が適当にさ
れた動きへクトルブロック整合結果は、上記と同様に、
プロソク整合結果蓄積回路(51)に蓄積される。
シーケンス状B5 サンプルブロックに対応する第1の動きベクトル値がマ
ップ蓄積回路(45)から読み出され第3フレームリー
ドアドレスシフト回路(42)に供給される。この第3
フレームリードアドレスシフト回路(42)は、信号状
態(signal interp)の低い、高いに応じ
て(1)値あるいは(1/2)値を動きヘクトル値に乗
算するものである。
ここで、選別回路(47)はベクトル番号蓄積回路(4
4)から導入される複数の動きベク1・ルを選別するも
のであり、それらをマップ蓄積回路(48)に供給する
。このマップ蓄積回路(48)は動きベクトル値に対し
て動きベクトル番号を配置するものである。マップ蓄積
回路(48)から出力される動きベクトル値は、ブロッ
ク整合回路(49)に供給される。
3×3動きベクトルのブロック整合はマップ蓄積回路(
45)から出力される複数の動きベクトル値に関連して
行われる。ベクトル番号蓄積回路(43)から出力され
たエラーフラグは、選別回路(47)によって選別され
、マップ蓄積回路(48)を介して誤差カウンタ(50
)に供給されるとともに、ブロック整合回路(49)に
供給される。ブロック整合回路(49)によって生成さ
れ規模が適当にされた動きベクトルブロック整合結果は
、上記と同様に、ブロック整合結果蓄積回路(51)に
蓄積される。
シーケンス状態6 サンプルブロックに対応する第2の動きベクトル値がマ
ップ蓄積回路(45)から読み出され第3フレームリー
ドアドレスシフト回路(42)に供給される。選別回路
(47)はベクトル番号蓄積回路(44)から導入され
る複数の動きベクトルを選別するものであり、それらを
マップ蓄積回路(48)に供給する。
このマップ蓄積回路(48)は動きベクトル値に対して
動きベクトル番号を配置するものである。マップ蓄積回
路(48)から出力される動きベクトル値は、ブロック
整合回路(49)に供給される。動きヘクトルのブロッ
ク整合はマップ蓄積回路(45)から出力される複数の
動きヘクトル値に関連して行われる。
ヘクトル番号蓄積回路(43)から出力されたエラーフ
ラグは、選別回路(47)によって選別され、マップ蓄
積回路(48)を介して誤差カウンタ(50)に供給さ
れるとともに、ブロック整合回路(49)に供給される
。ブロック整合回路(49)によって生成され規模が適
当にされた動きベクトルブロック整合結果は、上記と同
様に、ブロック整合結果蓄積回路(51)に蓄積される
シーケンス状態7 サンプルブロックに対応する第3の動きベクトル値がマ
ップ蓄積回路(45)から読み出され第3フレームリー
ドアドレスシフト回路(42)に供給される。選別回路
(47)はベクトル番号蓄積回路(44)から導入され
る複数の動きベクトルを選別するものであり、それらを
マップ蓄積回路(48)に供給する。
このマップ蓄積回路(48)は動きベクトル値に対して
動きヘクトル番号を配置するものである。マップ蓄積回
路(48)から出力される動きベクトル値は、ブロック
整合回路(49)に供給される。動きベクトルのブロッ
ク整合はマップ蓄積回路ク45)から出力される複数の
動きベクトル値に関連して行われる。
ベクトル番号蓄積回路(43)から出力されたエラーフ
ラグは、選別回路(47)によって選別され、マップ蓄
積回路(48)を介して誤差カウンタ(50)に供給さ
れるとともに、ブロック整合回路(49)に供給される
。ブロック整合回路(49)によって生成され規模が適
当にされた動きベクトルブロック整合結果は、上記と同
様に、ブロック整合結果蓄積回路(51)に蓄積される
シーケンス状態8 サンプルブロックに対応する第4の動きベクトル値がマ
ップ蓄積回路(45)から読み出され第3フレームリー
ドアドレスシフト回路(42)に供給される。選別回路
(47)はベクトル番号蓄積回路(44)から導入され
る複数の動きベクトルを選別するものであり、それらを
マップ蓄積回路(48)に供給する。
このマップ蓄積回路(48)は動きベクトル値に対して
動きベクトル番号を配置するものである。マップ蓄積回
路(48)から出力される動きベクトル値は、ブロック
整合回路(49)に供給される。動きヘクトルのブロッ
ク整合はマップ蓄積回路(45)から出力される複数の
動きベクトル値に関連して行われる。
ベクトル番号蓄積回路(43)から出力されたエラーフ
ラグは、選別回路(47)によって選別され、マップ蓄
積回路(48)を介して誤差カウンタ(50)に供給さ
れるとともに、ブロック整合回路(49)に供給される
。ブロック整合回路(49)によって生成され規模が適
当にされた動きベクトルブロック整合結果は、上記と同
様に、ブロック整合結果蓄積回路(51)に蓄積される
シーケンス状態9 この時点では、なんの動作も実行されない。
第2ステージの結果に対して次のような処理が続行され
る。ブロック整合結果蓄積回路(51)は2個のRAM
を有し、その中の一つには上記したシーケンスが書き込
まれているものであり、他の一つには以前にサンプルブ
ロックが読み出だされた際の結果を保持するものである
。結果の続出処理は8個の動きベクトル値のシーケンス
に応じてなされ、上記したようにサンプルブロックのそ
れぞれの画素に対応して生成されて、8個の中の最小値
を判定する最小判定回路(52)に導入される。
もし、最小値が最初の4個の値から選別された場合には
、補間結果を生成するために第2フレームのみを使用す
ればよい。これは画像の表面が覆われている場合である
もし、最小値が次の4個の値から選別された場合には、
補間結果を生成するために第3フレームのみを使用すれ
ばよい。これは画像の表面が覆われていない場合である
最小判定回路(52)の中では最初の4個の値が4個の
サンプルによって遅延される。これらの遅延された値を
次の4個の値に加算した後、2で割ることによって、4
個の全ての入力フレームが使用された4個のベクトルブ
ロック整合結果が生成される。したがってこれらの4個
の値の最小値がもっとも正確な動きヘクトルを指示する
ものであり、4個の選別から導出されるこの動きベクト
ルは、考察下における単一画素の動きを表すものである
しかしながら、この結合された結果によって生成された
最小ベクトルブロック整合がプリセットされた闇値より
も高い場合には、なんらかの理由ある動きによって、4
個の連続する入力フレームについて評価することができ
ない。これに対する一つの理由は画像表面が覆われたあ
るいは覆われていないことによるものであり、他の理由
としては、ある画面のなかにカット画像が存在する場合
などである。この場合において、元の8個の値が闇値よ
りも低いこ七から、最初の最小値が導出されたときには
、上記したように、画素が覆われているか否かの情報を
得ることができる。もし、最小判定回路(52)で決定
された最小値が闇値よりも低い場合には、画素に対して
、正確な評価を決定することができない。この場合、選
別された動きベクトルはゼロ値にされ、かつエラーフラ
グがセットされる。
二こで、自動闇値回路(37) (第38図参照)につ
いて、第41図を参照して詳細に説明する。
この回路は、ライン遅延回路(70)、(72)、(8
0)と、減算回路(71)、(76)と、加算回路(7
3)、(78)、(79)、(81)、(83)と、画
素遅延回路(74)、(75)、(77)、(82冫と
、乗算回路(84)とを有し、それらは図に示すように
接続されており、以下その動作について説明する。
基準サンプルブロックはライン遅延回路(70)で正確
に1サンプルブロックライン分遅延されて減算回路(7
1)に入力される。遅延されたデータと遅延されなかっ
たデータとの差の係数が減算回路(71)で生成され、
その結果がさらに、ライン遅延回路(72)で1サンプ
ルブロックライン分遅延され、ライン遅延回路(72)
の出力値と減算回路(71)の出力値とが加算回路(7
3)で加算される。加算回路(73)の出力がライン遅
延回路(70)の出力における画素についての1分量の
垂直周波数/振幅に対応する。同様に、画素遅延回路(
75)の出力値は画素遅延回路(74)の出力における
画素についての垂直周波数/振幅を表すものである。
減算回路(76)は画素遅延回路(74)の出力とライ
ン遅延回路(70)の出力との差の係数を決定するもの
である。減算回路(7G)の出力は画素遅延回昂(77
)で遅延された後、加算回路(78)によって、減算回
路(76)の出力に加算される。加算回路(78)の出
力が画素遅延回路(74)の出力における画素について
の1分量の水平周波数/振幅に対応する。
加算回路(78)の出力と画素遅延回路(75)の出力
とが加算回路(79)で加算され、その値は水平、垂直
の両方向における画素遅延回路(74)の出力での周波
数/振幅を表すものである。
この値はさらにサンプルブロックライン遅延回路(80
)で遅延された後、遅延されなかった値と加算回路(8
1)で加算される。加算回路(81)の出力は画素遅延
回路(82)で遅延された後、遅延されなかった値と加
算回路(83)で加算される。その結果生じた値は加算
回路(79)の出力に類似するものであるが、入力され
たサンプルブロックの中の小領域における平均の垂直/
水平、周波数/振幅を表すものである。分離された値は
サンプルブロックにおけるそれぞれの画素に対して生成
され、乗算回路(84)によって,その値が適当にされ
,複数の自動闇値として上記した闇値テスト回路(38
) (第38図参照)に供給される。
動きベクトルの選別に伴い、如何なる実際の画像の状況
においてもほぼ確実に或る画素に関連して疑似的な動き
ベクトルが残存する。第41図〜第46図は疑似的な動
きベクトルであると見なされる場合を示し、これらの各
図において、三角形は同じ動きベクトルが割当てられた
画素を示し、一方、星は周囲の画素に割り当てられた動
きベクトルと異なる動きベクトルが割り当てられた画素
を示し、円は検査対象の動きベクトルを示す。
第41図は1個の特異点を示し、この場合1個の画素だ
けが全ての周囲の画素の動きベクトルとは異なる動きベ
クトルを有する。
第42図は水平方向の動きベクトルのインパルスを示し
、この場合3個の水平方向に並んだ画素だけが周囲の画
素の動きベクトルとは異なる同一の動きベクトルを有ず
る。
第43図は垂直方向の動きベクトルのインパルスを示し
、この場合3個の垂直方向に並んだ画素だけが周囲の画
素の動きベクトルとは異なる同一の動きベクトルを有す
る。
第44図は対角方向の動きベクトルのインパルスを示し
、この場合3個の対角方向に並んだ画素だけが全ての周
囲の画素の動きヘクトルとは異なる同一の動きベクトル
を有する。
第45図は水平方向及び垂直方向の動きベクトルのイン
パルスを示し、この場合縦十字型に配列された5個の画
素だけが全ての周囲の画素の動きベクトルとは異なる同
一の動きベクトルを有する。
第46図は2対角方向の動きベクトルのインパルスを示
し、この場合対角方向の十字型に配列された5個の画素
だけが全ての周囲の画素の動きベクトルとは異なる同一
の動きベクトルを有する。
上述の6個の範躊に分類される画素の動きベクトルは実
際には現実の画像について生じることはなく、更にそれ
らは不正確な動きベクトルの選別により直接生じた結果
でもある。そのような動きベクトルが補間プロセスの途
中で使用されると、最終的に得られる出力画像にはドッ
ト妨害が生じることがある。従って、そのような動きベ
クトルを特定して排除するのが望ましい。これは上述の
動きベクトルの全てのグループ分けを行うと共に、各グ
ループに応じてフラッグを割当てるアルゴリズムを使用
することにより実行される。
そのアルゴリズムは2回繰り返すプロセスを使用し、1
回毎の処理は同一である。2回繰り返すことの必要性に
つき説明する。画素の配列を示す第47図を参照して説
明するに、三角形が付された全ての画素は夫々同一の動
きベクトルを有する。
中央の9個の画素よりなるブロックは、夫々ベクトル1
〜ベクトル9として各画素に割り当てられた動きベクト
ルを有し、これら動きベクトルは同一でも同一でな《と
もよい。ベクトル5が検査対象の動きベクトル(被検ベ
クトル)である。
第1回目の処理では、ベクトル5がチェックされ、最初
にそのベクトルが正確に又は所定の許容値内でヘクトル
1,ベクトル3,ベクトル7又はベクトル9と同じであ
るかどうかが決定され、その次にそのベクトルが正確に
又は所定の許容値内でベクトル2,ヘクトル4,ヘクト
ル6又はベクトル8と同じであるかどうかが決定される
このチェックは、そのベクトル5が少なくとも水平方向
又は垂直方向に隣接するベクトルの1つと同じであり、
且つ少なくとも対角方向に隣接するベクトノレの1つと
同じであるかどうかを言周べるものである。これが否定
的ならば、その画素5が不良であることを示すフラッグ
がセットされる。
言い替えると、水平方向(又は垂直方向)及び対角方向
の隣接画素に夫々少なくとも1個の、即ら少なくとも合
計2個の同程度の動きベクトルが存在しない場合には、
その画素に不良であることを示すフラッグがセットされ
る。
この第1回目の処理によれば、特異点.水平方向の動き
ベクトルのインパルス,垂直方向の動きベクトルのイン
パルス.対角方向の動きヘクトルのインパルス及び対角
方向の動きベクトルのインパルス(第41図〜第44図
及び第46図)に対応する動きベクトルには全て不良で
あることを示すフラッグが付加されるが、水平方向及び
垂直方向の動きベクトルのインパルス(第45図)に対
応する動きベクトルの内で中央のベクトルを除く4隅の
ベクトルは良いヘクトルであると判断され、このベクト
ルには2回目の処理が必要になる。例えば、第45図例
において、その紺十字形の4隅の動きベクトルは夫々水
平方向(又は垂直方向)及び対角方向に1個づつ同一の
動きベクトルを有するため、良いベクトルであると判定
される。
2回目の処理は第1回目の処理と正確に同じ条件を調べ
るものであるが、今回は既に不良であるとしてフラッグ
を付加された動きベクトルはその計算から除外される。
従って、第45図例において、第1回目の処理後には中
央の動きベクトルだけに不良のフラッグが立てられるが
、第2回目の処理後には縦十字形に配列された5個の動
きベクトルの全てに不良のフラッグが立てられる。
不良の動きベクトルを特定した後には、それらを修正す
ることが必要になり、この修正もまた動きベクトル後処
理手段(7)(第1図)により実行される。補間又は高
頻度の動きベクトルによる置換などの種々の方法を使用
することができるが、実際には単純な置換により良好な
結果が生じることが分かった。これは次のように実行さ
れる。(但し、この場合は符号「=」は正確に等しいだ
けではなく、予め定められた許容値内に収まっているこ
とをも意味する。)即ち、ベクトル5が不良であると判
定されたときには、そのベクトルは(ベクトル4=ベク
トル6)が成立するならばベクトル4により置き換えら
れ、それが成立せず(ベクトル2=ベクトル8)が成立
するならばベクトル2により置き換えられ、それが成立
せず(ベクトル1−ベクトル9)が成立するならばベク
トル1により置き換えられ、それが成立せず(ベクトル
3−ベクトル7)が成立するならばベクトル7により置
き換えられ、それも成立しない場合には置換は行われな
い。
再び第1図において、各画素について最終的に選択され
た動きベクトルが動きベクトル後処理手段(7)より補
間手段(8)に供給されると共に、60フレーム/秒で
順次走査変換されたフレームが順次走査変換手段(2)
から補間手段(8)に供給される。
その補間手段(8)は第48図に示す如く、2個の順次
走査変換されたフレームを使用するだけの比較的単純な
構造である。出力フレームの連続する入力フレームであ
るフレーム(1)及びフレーム(2)に対して相対的な
時間軸上の位置、及びその出力フレーム上の画素に対す
る動きベクトルを使用することにより、周知の方法でそ
の補間手段(8)は第1フレームのどの部分と第2フレ
ームのどの部分とを結合するべきかを決定し、更に正確
な出力フレームの画素の値を生成するための重み付けの
値を決定する。言い替えると、補間手段(8)は動きベ
クトルを用いて動きの方向に沿って適応的に補間を行い
、24フレーム/秒に対応する動き補償のなされた順次
走査フレームを生成する。その動きベクトルは各画素の
輝度の値だけを使用して導出されていたが、その同じ動
きベクトルは要求される出力フレームの画素の色成分の
値を導出するために使用される。その要求される出力を
生成するためには、各フレームにたいして8×8個の画
素よりなるアレイが使用される。従って、その補間手段
(8)は2次元の垂直方向/水平方向の補間手段であり
、その補間手段(8)で使用される係数はレメッ(Re
mez)の交換アルゴリズムを使用して導出することが
できる。このアルゴリズムは’Theory and 
application of signal pro
cessing ,Lawrence R Rabin
er,Bernard Gold. Prentice
−11allInc.,pp 136−140,227
.にて詳細に説明されている。
第48図は3個の異なる場合についてその補間手段(8
)(第1図)により実行される補間を模式的に示す。左
側の第1の場合は露出面も被覆面もない場合、中央の第
2の場合は1個の被覆面がある場合、右側の第3の場合
は1個の露出面がある場合である。被覆された面の場合
にはその補間でフレーム(1)だけが使用され、露出さ
れた面の場合にはその補間でフレーム(2)だけが使用
される。
その補間手段(8)においては動き補償を行わない補間
を行うこともでき、この場合には時間的に最も近い順次
走査変換されたフレームが補間フレームとして使用され
る。
尚、本発明は上述実施例に限定されず本発明の要旨を逸
脱しない範囲で種々の構成を採り得ることは勿論である
[発明の効果] 本発明によれば、輝度の整合/不整合結果に応じて動き
ベクトルを生成するようにしているので、被覆面/露出
面が存在する場合でも、適切な動きベクトルを生成する
ことができるという効果を奏する。
【図面の簡単な説明】
第1図は本発明の一実施例のビデオ標準方式の変換装置
を示すブロック図、第2図は順次走査変換の説明図、第
3図〜第6図は夫々順次走査変換時の連続するフィール
ド及び連続するラインを示す説明図、第7図は動き適応
順次走査変換における各ステップを示すブロック図、第
8図は連続するフィールド間の差分等を示す線図、第9
図及び第10図は夫々順次走査正規化関数及び順次走査
の非線形関数を示す線図、第11図は順次走査変換にお
ける未完成のラインの画素を示す線図、第12図及び第
13図は夫々サーチブロックとサーチエリア及びそれら
の相互の関係を示す線図、第14図は相関面を示す線図
、第15図及び第16図は夫々ナーチブロツタの成長を
示す線図、第17図はサーチブロックの整合ができない
tフレームの領域を示す線図、第18図は3個のサーチ
ブロソクにまたがる動体を示す線図、第19図〜第21
図は夫々生成される相関面を示す線図、第22図及び第
23図は夫々闇値テストの説明に供する相関面の他の例
を示す線図、第24図及び第25図は夫々リングテスト
の説明に供する相関面の更に他の例を示す線図、第26
図はサーチブロックが成長する方向の決定方法の説明図
、第27図は相関面の重み付けの方法の説明図、第28
図はサンプルブロック及びサーチブロックと1フレーム
のビデオ画像との関係を示す線図、第29図は1フレー
ムのビデオ画像の動きベクトルの領域を示す線図、第3
0図〜第32図は夫々lフレームのビデオ画像の個々の
領域における動きベクトルの説明に供する線図、第33
図及び第34図は動きベクトル選別の第1段階の説明図
、第35図及び第36図は夫々闇値の決定方法の説明に
供する線図、第37図は動きベクトル選別の第2段階の
説明図、第38図〜第41図は夫々実施例の要部の詳細
な構成図、第42図〜第48図は夫々動きベクトルの後
処理時における動きベクトルが属する画像の配列を示す
線図、第49図は補間動作の説明に供する線図である。 (2)は順次走査変換手段、(3)は直接ブロック整合
手段、(4)は動きベクトル評価手段、(5)は動きベ
クトル評価手段、(6)は動きベクトル選別手段、(7
)は動きベクトルの後処理手段、(8)は補聞手段であ
る。

Claims (1)

  1. 【特許請求の範囲】 最初のフィールドまたはフレームのブロックと次のフィ
    ールドまたはフレームのブロックとの間の関連する内容
    の動きを表す複数の動きベクトルを導出するために、は
    じめにビデオ信号の最初のフィールドまたはフレームに
    おける複数のブロックと次のフィールドまたはフレーム
    の複数のブロックとを、それぞれ比較する動き補正付き
    テレビジョン信号方式変換器において、 前記はじめの比較によって得られた前記ブロックのそれ
    ぞれに対応する複数の動きベクトルを導出する手段と、 前記複数の動きベクトルによって指示され、前のおよび
    後に続く入力フィールドまたはフレームにおける複数の
    画素を用いて入力フィールドまたはフレームにおけるそ
    れぞれの画素の輝度整合を行い、輝度整合結果に基づき
    入力フィールドまたはフレームのそれぞれについての前
    記ブロックのそれぞれにおけるそれぞれの画素に対して
    、関連する動きベクトルを前記複数の動きベクトルから
    導出する手段と、 前記複数の動きベクトルによって指示され、関連する前
    のまたは後に続く入力フィールドまたはフレームにおけ
    る全ての画素と入力フィールドまたはフレームにおける
    画素との間に輝度不整合が生じた際に動作するものであ
    って、前記複数の動きベクトルによって指示され、関連
    する前のおよび後に続くフィールドまたはフレームにお
    ける複数の画素を用いて入力フィールドまたはフレーム
    におけるそれぞれの画素の輝度整合を行い、輝度整合結
    果に基づき、関連する動きベクトルを導出する手段とを
    有する動き補正付きテレビジョン信号方式変換器。
JP2114498A 1989-04-27 1990-04-27 動き補正付きテレビジョン信号方式変換器 Pending JPH02290384A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB8909644.0 1989-04-27
GB8909644A GB2231743B (en) 1989-04-27 1989-04-27 Motion dependent video signal processing

Publications (1)

Publication Number Publication Date
JPH02290384A true JPH02290384A (ja) 1990-11-30

Family

ID=10655816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2114498A Pending JPH02290384A (ja) 1989-04-27 1990-04-27 動き補正付きテレビジョン信号方式変換器

Country Status (5)

Country Link
US (1) US5012337A (ja)
EP (1) EP0395264B1 (ja)
JP (1) JPH02290384A (ja)
DE (1) DE69021431T2 (ja)
GB (1) GB2231743B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0453389A (ja) * 1990-06-21 1992-02-20 Graphics Commun Technol:Kk 動ベクトル検出装置
GB2246488B (en) * 1990-07-24 1994-04-20 Sony Corp Motion dependant video signal processing
WO1992005662A1 (en) * 1990-09-20 1992-04-02 British Broadcasting Corporation Video image processing
GB2253760B (en) * 1991-02-01 1994-07-27 British Broadcasting Corp Video image processing
CA2062200A1 (en) * 1991-03-15 1992-09-16 Stephen C. Purcell Decompression processor for video applications
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
CA2087946A1 (en) * 1991-05-24 1992-11-25 Michael Burl Video image processing
GB9118782D0 (en) * 1991-09-03 1991-10-16 British Broadcasting Corp Video image processing
GB2265783B (en) * 1992-04-01 1996-05-29 Kenneth Stanley Jones Bandwidth reduction employing a classification channel
KR950005621B1 (ko) * 1992-09-30 1995-05-27 주식회사금성사 영상 디코더
ES2118173T3 (es) * 1992-11-19 1998-09-16 Thomson Multimedia Sa Metodo y aparato para conversion ascendente de frecuencia de campo.
JPH0828876B2 (ja) * 1993-02-25 1996-03-21 日本電気株式会社 動画像信号のリフレッシュ方法
KR970002967B1 (ko) * 1993-04-09 1997-03-13 대우전자 주식회사 영역 분류패턴을 이용한 움직임벡터 검출장치
US5809174A (en) * 1993-04-13 1998-09-15 C-Cube Microsystems Decompression processor for video applications
US5815646A (en) * 1993-04-13 1998-09-29 C-Cube Microsystems Decompression processor for video applications
US5822007A (en) * 1993-09-08 1998-10-13 Thomson Multimedia S.A. Method and apparatus for motion estimation using block matching
GB2281835B (en) * 1993-09-08 1998-04-22 Sony Uk Ltd Method and apparatus for synchronising video signals
KR950024600A (ko) * 1994-01-31 1995-08-21 김광호 휘도신호적응 움직임 평가방법
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
US5821991A (en) * 1996-02-28 1998-10-13 C-Cube Microsystems, Inc. Method and apparatus for inverse telecine process by correlating vectors of pixel differences
US6184899B1 (en) 1997-03-31 2001-02-06 Treyarch Invention, L.L.C. Articulated figure animation using virtual actuators to simulate solutions for differential equations to display more realistic movements
US6982763B2 (en) * 2001-08-01 2006-01-03 Ge Medical Systems Global Technology Company, Llc Video standards converter
WO2003017649A1 (en) * 2001-08-20 2003-02-27 Koninklijke Philips Electronics N.V. Image size extension
JP5187266B2 (ja) * 2009-04-21 2013-04-24 株式会社Jvcケンウッド 動きベクトル検出装置及び方法
US10845267B2 (en) 2018-12-10 2020-11-24 Efs International S.A. Fatigue fuse mounting systems and methods

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4942466A (en) * 1985-12-24 1990-07-17 British Broadcasting Corporation Bandwidth compression for television signals
WO1987005769A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Tv picture motion measurement
WO1987005770A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Video signal processing for bandwidth reduction
EP0294956B1 (en) * 1987-06-09 1994-07-20 Sony Corporation Motion vector reduction in television images
EP0294961B1 (en) * 1987-06-09 1994-10-12 Sony Corporation Motion vector selection in television images

Also Published As

Publication number Publication date
GB2231743B (en) 1993-10-20
DE69021431T2 (de) 1996-03-28
GB2231743A (en) 1990-11-21
DE69021431D1 (de) 1995-09-14
GB8909644D0 (en) 1989-06-14
EP0395264A2 (en) 1990-10-31
EP0395264A3 (en) 1991-12-27
EP0395264B1 (en) 1995-08-09
US5012337A (en) 1991-04-30

Similar Documents

Publication Publication Date Title
JP3047429B2 (ja) 動き補償映像信号フォーマット変換装置
JPH02290384A (ja) 動き補正付きテレビジョン信号方式変換器
JP3298104B2 (ja) 動き補正付きテレビジョン信号の方式変換器
JP3154255B2 (ja) 動きベクトル導出方法
JPH02290387A (ja) 動き補正付きテレビジョン信号方式変換器
JPH0362691A (ja) 動き補償映像信号標準変換器
JPH02290383A (ja) 動き補正付きテレビジョン信号方式変換器
JPH02290381A (ja) 動き補正付きテレビジョン信号方式変換器
EP0395268B1 (en) Motion dependent video signal processing
JPH02290382A (ja) ビデオ信号をフィルム画像に変換する方法
EP0395272B1 (en) Motion dependent video signal processing
EP0395269A2 (en) Motion dependent video signal processing
JPH02290386A (ja) 動き補正付きテレビジョン信号方式変換器