JPH02290382A - ビデオ信号をフィルム画像に変換する方法 - Google Patents

ビデオ信号をフィルム画像に変換する方法

Info

Publication number
JPH02290382A
JPH02290382A JP2114496A JP11449690A JPH02290382A JP H02290382 A JPH02290382 A JP H02290382A JP 2114496 A JP2114496 A JP 2114496A JP 11449690 A JP11449690 A JP 11449690A JP H02290382 A JPH02290382 A JP H02290382A
Authority
JP
Japan
Prior art keywords
motion vector
video signal
motion
motion vectors
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2114496A
Other languages
English (en)
Inventor
Uiriamu Richiyaazu Jiyon
ジョン ウィリアム リチャーヅ
Henrii Giraado Kuraibu
クライヴ ヘンリー ギラード
Jiyouzefu Andoriyuu Eibisu Richiyaado
リチャード ジョウゼフ アンドリュー エイビス
Samatsudo Rafuaeru
ラファエル サマッド
Uiriamu Uorutaasu Kaaru
カール・ウィリアム・ウオルタース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPH02290382A publication Critical patent/JPH02290382A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/843Television signal recording using optical recording on film
    • H04N5/846Television signal recording using optical recording on film the film moving intermittently
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00Television
    • Y10S348/911Line doubler adapted for reproducing programme originally from film, e.g. 24 frames per second

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、ビデオ信号をフィルム画像に変換する方法に
関する。
[発明の概要] 本発明は、ビデオ信号をフィルム画像に変換する方法に
おいて、入カビデオ信号から1秒あたり24個の順次走
査フレームを有する動き補正されたデジタルビデオ信号
を導出する過程と、このデジタルビデオ信号をビデオ信
号レコーダに記録する過程と、記録されたデジタルビデ
オ信号を再生する過程と、再生されたデジタルビデオ信
号を1秒あたり24個の順次走査フレームを有するアナ
ログビデオ信号に変換する過程と、このアナログビデオ
信号が表す内容をフィルムに記録するためにこのアナロ
グビデオ信号を記録装置に供給する過程とを有すること
により、ビデオ信号を良好にフィルム画像に変換できる
ようにしたものである。
[従来の技術1 第1図は、ビデオ信号のフィルム画像変換にかかる装置
のブロック図である。なお、この装置は本発明者等が以
前に提案したものである。この装置はビデオテープレコ
ーダ(VTR)(1)と、ビデオ信号変換回路(2)と
、ガンマ補正回路(3)と、電子ビーム記録回路(4)
とを有し、図に示すように接続されている。つぎに、こ
の装置の動作について簡単に説明する。
V T R (1)は1秒間に60回インターレス走査
されているフィールドを有する高品位ビデオ信号(HD
VS)を再生する。ビデオ信号変換回路(2)は比較的
単純な構成であり、再生されたビデオ信号から1秒間に
24回の順次走査に相当する変換されたビデオ信号を出
力するものである。このビデオ信号は5個の入力フレー
ム毎に引き抜かれそして残された入力フレームが順次走
査フレームを形成するように結合されたものである。出
力されたビデオ信号はフィルムに画像を記録するための
電子ビーム記録回路(4)に供給される。
この装置においては、動きのある画像を変換した際に、
変換処理後の画像に非常にめだつ6Hzの動く振動(j
udder)が現れるという問題がある。
テレビジョン信号方式(ビデオ信号の標準方式)の変換
器は、例えばビデオ信号を50フィールド/秒且つ62
5ライン/フレームの標準方式から60フィールド/秒
且つ525ライン/フレームの標準方式に変換する如く
、ビデオ信号を一の標準方式から他の標準方式へ変換す
る装置として周知である。
ビデオ信号に付随する時間方向及び垂直方向の折り返し
歪により、単純な線形補間技術を使用するだけでは高画
質のビデオ信号の標準方式の変換は達成されない。この
ため、単純な線形補間を行ったのでは処理結果としての
画像に不要な人工的なノイズが混入し、特にその画像は
垂直方向にボケると共に時間方向に振動する。
これらの問題を解決するため、ビデオ信号の標準方式の
変換装置に入力ビデオ信号により表される画像の動きの
程度に応じて線形補間回路のパラメータを切り換える適
応制御技術を用いることが提案されている。
また、例えばビデオ信号処理におけるデータ圧縮のため
、ブロック整合技術により入力されるビデオ信号から動
きベクトルを生成することも提案されている。このブロ
ック整合技術においては、或るフィールド又はフレーム
のサーチブロックの内容がそれに続くフィールド又はフ
レームのサーチエリア内の複数のサーチブロックの夫々
の内容と比較され、そのように比較される内容の間の最
小偏差ひいては(仮に存在するならば)その原サーチブ
ロックの内容の動きの方向及び距離が決定される。
[発明が解決しようとする課題] 本発明は上記のような技術に関連してなされたものであ
って、本発明の目的は、ビデオ信号をフィルム画像に変
換する改良された方法を提供することにある。
本発明の他の目的は、入力ビデオ信号から1秒あたり2
4個の順次走査フレームを有する動き補償されたデジタ
ルビデオ信号を導出する過程と、このデジタルビデオ信
号にかかる画像をフイルムに記録するためにこのデジタ
ルビデオ信号をアナログ信号に変換する過程とを有する
ビデオ信号をフィルム画像に変換する改良された方法を
提供するにある。
[課題を解決するための手段] 本発明は例えば図面に示す如く、ビデオ信号をフィルム
画像に変換する方法において、入力ビデオ信号から1秒
あたり24個の順次走査フレームを有する動き補正され
たデジタルビデオ信号を導出する過程と、このデジタル
ビデオ信号をビデオ信号レコーダに記録する過程と、記
録されたデジタルビデオ信号を再生する過程と、再生さ
れたデジタルビデオ信号を1秒あたり24個の順次走査
フレームを有するアナログビデオ信号に変換する過程と
、このアナログビデオ信号が表す内容をフイルムに記録
するためにこのアナログビデオ信号を記録装置に供給す
る過程とを有するものである。
[作用1 斯かる本発明によれば、入カビデオ信号から1秒あたり
24個の順次走査フレームを有する動き補償されたデジ
タルビデオ信号を導出する過程と、このデジタルビデオ
信号にかかる画像をフィルムに記録するためにこのデジ
タルビデオ信号をアナログ信号に変換する過程とを有す
るのでビデオ信号をフィルム画像に良好に変換すること
ができる。
[実施例1 以下、本発明の一実施例につき図面を参照して説明しよ
う。本例は、60フィールド/秒且つ1125ライン/
フレームの高品位ビデオ信号(IIDVs)を24フレ
ーム/秒の35mmフィルム用のビデオ信号に変換する
ビデオ信号をフィルム画像に変換するのに本発明を適用
したものである。しかしながら、本発明はこれに限定さ
れず容易に他の入カビデオ信号にも適用することができ
る。
この変換装置は二つの部分を有する。第1の部分は、第
2図に示すように、入力するHDVS@ V TRに記
録するために1秒あたり24個の順次走査フレームを有
するデジタルビデオ信号に変換するものであり、第2の
部分は、第3図に示すように、記録されたビデオ信号を
再生してこのビデオ信号にかかる画像をフィルムに記録
するためのものである。
第2図に示す第1の部分にかかる装置は、高品位デジタ
ルV T R (11)と、テレビジョン標準方式変換
回路(12)と、ビデオ信号の、いわゆるl/2を記録
するフレームレコーダ(13)と、第2の高品位デジタ
ルV T R (14)と、トラッキングボール(16
)・キーボード(17)・グラフィンクディスプレイ(
18)が一体的に取り付けられているシステムコントロ
ーラ(l5)と、モニタ(19)、(20)とを有し、
これらは同図に示すように接続され、次に、その動作を
説明する。
第3図に第2の部分にかかる装置を示す、この装置は、
高品位デジタルV T R (31)、デジタルインタ
フェース(I/F)ユニット(32)、ガンマ補正回路
(33)、D/A変換回路(34)、電子ビーム記録回
路(35)、モニタ(36)、スイッチ(37)とを有
し、これらは同図に示すように接続され、次に、その動
作を説明する。
第2図において、ビデオ信号接続Dはデジタル信号接続
とされており、Y,U/V信号を伝達する。ビデオ信号
接続Aはアナログ信号接続とされており、R,G,B信
号を伝達する。フィルムに転写するための入カビデオ信
号は、磁気テープ記録方式の高品位カメラから導出され
たその磁気テープが有する信号を高品位デジタルV T
 R (11)で再生したものである。高品位デジタル
V T R (11)は記録されたビデオ信号を178
速度で再生する能力を有するものであり、この速度は他
の装置、特に、テレビジョン標準方式変換回路(12)
の動作速度との関係から都合のよいものである。高品位
デジタルVTR(11)、V T R (14)、モニ
タ(l9)、(20)、はシステムコントローラ(15
)の制御作用下に動作するものであり、このシステムコ
ントローラ(15)にはグラフィックディスプレイ(l
8)、トラッキングボール(16)、キーボード(l7
)を利用して、変換の遂行に必要な情報が入力されるも
のである。
高品位デジタルV T R (11)で再生された入力
}IDVsの一部分はテレビジョン標準方式変換回路(
l2)に供給される。このテレビジョン標準方式変換回
路(12)の動作を次に示す。先ず、1秒間に60回イ
ンターレス走査されているフィールドを有する入力ビデ
オ信号から一秒間に60フレームを有する動きがある順
次走査デジタルビデオ信号を導出する。次に、導出され
たビデオ信号から1秒間に24回の順次走査に相当する
動き補正付きデジタルビデオ信号を出力するものである
。なお、繰り返しレートは24回に限られるものではな
い。出力されたビデオ信号はV T R (14)に記
録される。VTR (14)がスローモーションで記録
することが可能であるならば、その再生率は高品位デジ
タルVTR (11)と同じである。この場合、フレー
ムレコーダ(13)にはなんの負担も要求されない。し
かしながら、実際上、フレームレコーダ(l3)にはす
ばやく動作する間欠動作機能が付加されている。このよ
うな間欠動作機能は、一般的に、ビデオ信号をフィルム
に転写するときに要求されるものであり、変換動作が満
足に遂行されているかどうかを周期的に確認することが
必要とされる。このように入力ビデオ信号に応じて、パ
ラメータが調節されて変換される。特に、テレビジョン
標準方式変換回路(12)は結果を出力する前にその内
容を確認するものである。モニタ(19)、(20)は
この装置の所定の箇所におけるビデオ信号を確認するた
めのものである。
第3図に示す第2の部分にかかる装置は、VTR(14
)(第2図参照)に記録されている動き補正付き順次走
査デジタルビデオ信号をデジタルVTR (31)で再
生し、デジタル17Fユニット(32)を介してガンマ
補正回路(33)に供給するものである。
ガンマ補正回路(33)はビデオ信号のガンマ特性をフ
ィルムのガンマ特性に合わせるためのものである。この
ように、VTR(14)(第2図参照)による動き補正
付き順次走査デジタルビデオ信号の記録と、それに接続
されるデジタルV T R (31)による再生動作と
を分離したのはガンマ補正回路(33)によるガンマ補
正を正確におこなうためである。
一般的には、間欠的あるいは繰り返して動作する場合の
ビデオ信号のガンマ特性は非直線な特性になり、これに
対してフイルムのガンマ特性が直線特性であることに起
因する。ガンマ特性としては、例えば、ステップウエッ
ジ(step wedge)特性が利用される。ガンマ
補正されたデジタルビデオ信号はD/A変換回路(34
)によって、アナログ信号にされ、フィルムに画像を記
録する電子ビーム記録回路(35)に供給される。この
場合、フイルムに記録された画像は、例えば、ビデオ信
号のそれぞれのフレームに対応した3フレームのモノク
ローム画像であり、この3フレームは、それぞれ、赤、
緑、青に対応する。モニタ(36)はスイッチ(37)
が切り替えられることによりデジタルV T R (3
1)の出力あるいはD/A変換回路(34)の出力を交
互に点検することができる。モニタを二つ使用して同時
に両方の出力を見ることも可能である。
この装置の特長はフィルムの中に動く部分があっても、
シャープでクリアな画像を生成することができることに
あり、特に、動きのぼけた部分(blur)や付加的な
振動(judder)が発生しないということにある。
しかも、動き補正付き順次走査デジタルビデオ信号の記
録がV T R (14)で可能であるということを許
容するので、この装置のパラメータを容易に、かつ繰り
返して、点検することができるという利点を有する。こ
れによって、フィルム上に再生された画像が高品位な画
像になるという効果を有する。繰り返して説明すると、
この装置によれば、処理結果が高速に得られ、しかも変
換回数を多数回にしてもパラメータを調節することによ
り欠点のない高精細な画像が得られるものである。さら
に高速の変換処理が必要とされる場合には第2図に示す
第1部分の装置を第3図に示す装置の中のデジタルV 
T R (31)に並列に多数接続するように構成すれ
ばよい。
第4図はもっと詳細に述べるための標準方式の変換装置
(12)のブロック図であり、この標準方式の変換装置
(12)において、入力端子(41)に入力ビデオ信号
を供給する。その人力端子(41)を順次走査変換手段
(42)に接続し、この手段で入力ビデオフィールドを
ビデオフレームに変換し、このビデオフレームを相関面
を生成するための直接ブロック整合手段(43)に供給
する。動きベクトル評価手段(44)がこれらの相関面
を解析して生成した動きベクトルを動きベクトル減少手
段(45)に供給し、この動きベクトル減少手段(45
)が個々の画素の動きベクトルの数を減少させた後に、
これら動きベクトル及び順次走査変換手段(42)の出
力を動きベクトル選別手段(46)に供給する。その動
きベクトル選別手段(46)による動きベクトルの選別
において発見された如何なる不規則性も動きベクトル後
処理手段(47)により除去され、この動きベクトル後
処理手段(47)は処理後の動きベクトルを補間手段(
48)に供給すると共にこの補間手段(48)を制御し
、この補間手段(48)には順次走査変換手段(42)
の出力をも供給する。標準方式が変換され且つ動き補償
のなされたビデオ信号である補間手段(48)の出力を
出力端子(49)に供給する。標準方式の変換装置の各
構成部及びそれらの動作につき以下で詳細に説明する。
順次走査変換手段(42)は人力フィールトと同じ周波
数で出力フレームを生成する。従って、一連の連続した
フィールドにおける一連の連続したライン(水平走査ラ
イン)を図示する第5図において、入力フィールドに存
在するライン(水平走査ライン)を十字形で示し補間さ
れたラインを正方形で示すように、個々の出力フレーム
は入力フィールドのラインの2倍の数のラインを含み、
それらのラインは人力ビデオ信号のラインと下記の方法
の内の何れかの方法により補閲されたラインとが互い違
いになっている。それら補間されたラインは入力フィー
ルドに対して同じ時間軸上の且つ逆極性の補間フィール
ドと考えることができる。
順次走査変換を実行するのは主に2つの理由による。第
1に、それに続く直接ブロック整合処理を容易にするた
めであり、第2に最終的に出力されるビデオ信号のフォ
ーマットを考慮したものである。これら2つの理由をよ
り詳細に説明する。
直接ブロック整合処理は次に詳細に述べるように、2つ
の連続するビデオフィールド間の水平方向及び垂直方向
の動きの正確な評価を行うために用いられる。しかしな
がら、直接ブロック整合が施されるビデオ信号のインタ
ーレース構造により、問題が生じ得る。
第6図により表される画像につき考えるに、この第6図
は一連の連続するフィールドにおける一連の連続するラ
インにおいて、白レベルの画素を白い正方形で、黒レベ
ルの画素を黒い正方形で、更にグレイレベルの画素を斜
線が施された正方形で表す。この場合は垂直方向の周波
数がH D V S方式では1125/3 cph (
cycles per picture height
,サイクル/像高)に相当する垂直方向の構造が微細な
静止画が表示されている。この画像を通常のインターレ
ース走査処理でサンプルすると、個々のフィールドは第
7図に示す如く何れも垂直方向の周波数が1125/6
 cphの静止している輝度成分Yを含んでいる如く見
える。しかしながら、個々のフィールドの周波数成分の
位相は逆相である。これらのフィールド間で直接ブロッ
ク整合を実施すると、垂直方向の動き成分として多数の
不正確な且つ異なった値が得られる。この状態が第8図
に示され、この第8図において短縮語のLPFはライン
/フィールド(lines per field)を意
味する。
第7図例の動き成分の値は実際にはOであるべきである
が、第8図によれば、直接ブロック整合はその垂直方向
の動き成分について正確な答えを与えないことが明かで
ある。このことは、その直接ブロック整合は実際には現
実の動きではなくそのビデオ信号の異なる成分を追跡し
ていることに起因する。
第6図と同様な静止画を表示する第9図について考える
に、この場合各入力フィールドは順次走査に変換されて
フレームを形成し、三角形が補間された画素を表す。こ
の例では各フレームは原入力フィールドと同じ静止状態
の垂直方向の周波数成分、即ち周波数1125/3 c
phの成分を含む。従って、本例では2個の連続するフ
レーム間の直接ブロック整合により垂直方向の動きに対
する正確な値神ちOが得られ、垂直方向の異なる位置の
値を比較することが回避される。更に、Ill次走査に
変換されたフレームに直接ブロック整合処理を施すと、
その直接ブロック整合処理が2倍のラインを有するフレ
ームに施されることになるため、より正確に垂直方向の
動きの評価ができるようになることが重要である。
この実施例において最終的に得られるビデオ信号のフォ
ーマットを考慮すると、この変換されたビデオ信号はテ
ープを介して電子ビーム式の記録装置に供給されるので
、24フレーム/秒の動画フィルム用の周波数のフレー
ムから構成する必要がある。このため、順次走査に変換
されたフレームの生成が必要であり、更に、例えば動き
の状態が多様すぎて満足に解析できない場合のように動
き補償のなされた標準方式の変換が受け入れられない結
果を生じる虞がある場合にも、その順次走査に変換され
たフレームは極めて有効に使用される。
この場合には、必要とされる出力フレームとしてほとん
ど順次走査に変換されたフレームを使用すると充分に受
け入れられる結果が得られる。
順次走査への変換は多くの方法で実行でき、その方法に
は例えば前フィールドによる置換、3本の空間的に連続
するライン(これら3本のラインは時間的には2個の連
続するフィールドに属する)のメジアンを求めるメジア
ンフィルター又は多段階の動き検出に続いて多方向の線
形補間を行う動き補償のなされた技術がある。しかし、
この実施例には第10図に各ステップが示されている動
き適応型の順次走査変換が好適である。この変換では、
完全な静止画領域では垂直方向の情報をできるだけ保つ
ためにフィールド間補間を使用し、動きが大きいときに
はフィールド内袖間を使用する。これにより更に動きが
滑らかに表現される。動きの程度がこれら両極端の間で
あるときには、その画像の中に存在する局所的な動きの
評価がなされ、この評価結果によりフィールド間補間と
フィールド内補間とが夫々異なる割合で混合される。
更に詳しく述べるに、第11図に示す如く、前フィール
ドと次フィールドとのフレーム差の係数が先ず生成され
る。必要とされる評価量を生成するためには、前フィー
ルド及び次フィールドからの次式により定義されるフレ
ーム間の差分係数配列が各点毎に生成される。
Δ,(画素,現ライン,現フィールド)=Y(画素,現
ライン,次フィールド) Y(画素,現ライン,前フィールド) この式において、Δ0は正規化されていない差分係数配
列、Yは3次元画像に対応する輝度配列である。
その差分係数はその後低輝度領域の変化の大きさを調整
するために次のように正規化される。
ΔN (画素,現ライン,現フィールド)一F (Y 
(画素,現ライン))* ΔU (画素,現ライン.現フィールド)この式におい
て、Δ8は正規化された差分係数配列、Yはフレーム間
の平均輝度レベルであり、Y(画素,現ライン)= (Y (画素,現ライン,前フィールド)+Y(画素.
現ライン,次フィールド))/2が成立し、F(Y)(
正規化関数)はYに対して第12図に示すような関数と
なる。
その差分配列Δにはその次のフィールドの差分配列と共
に3タップフィルタ(タップ係数が例えば1/4. 1
/2. 1/4又は0, 1, O)により垂直方向の
フィルタリングが施され、垂直方向の折り返し歪が減少
されると共に、特に時間方向の折り返し歪が最小になさ
れる,従って、 ΔF (画素.現ライン,現フィールド)=ΔN (画
素,現ライン−1,前フィールド)*C1+ΔH (画
素,現ライン,現フィールド)*C2+ΔN (画素.
現ライン+1,前フィールド)*C1 が成立し、この式において、Δ,はフィルタ通過後の正
規化された差分配列、C1及びC2はフィルタ係数であ
り、直流ゲインが1に維持されるように2Cl+C2=
1に設定される。
その後5タップX15タップ程度までの垂直方向及び水
平方向のフィールド内フィルタにより現フィールド内の
差分値が平滑化される。実際には、3タップ×3タップ
のフィルタで充分である。最後に、実際の動きの評価を
行うために、次式で定義される動き評価量(ME)を表
す関数を使用して非線形関数が適用される。
ME(画素,現ライン)= γ(空間周波数領域でフィルタがかけられたΔF (画
素,現ライン)) その非線形関数γは第13図に示す如く導出され、静止
画に対してはMEの値はO、完全な動画に対してはME
O値は1、中間領域の画像に対してはMEの値は過渡的
な値となる。
補閲された画素を生成するために、第14図に示す如《
、周辺のラインの加重平均をとることによりその欠けて
いる(未完成)のラインの画素が生成される。それから
動き評価量MEがフレーム内で補関された値(2.4.
6又は好ましくは8タップフィルタにより生成される)
に適用され、評価量(1−ME)がフィールド間の平均
値(又はより複雑な補間値)に適用され、これらの結果
が加算されて次式で定義される順次走査の画素の評価量
が導出される。
Yout (画素,現ライン)= ME(画素.現ライン)* ルド)+Yin(画素,現ライン+1+2n,現フィー
ルド))*Cn)+ (1−ME)(画素,現ライン)
”(Yin(画素,現ライン.前フィールド)+Yin
(画素,現ライ冫,次フィールド))/2ここに、CO
,Cl,C2及びC3はフレーム内のフィルタ係数であ
り、直流ゲインを1に維持するために2 (CO+ct
+C2+C3)=1に設定される.この順次走査変換の
方法によれば入力フィールドより高品質のフレームが生
成されるが、これは主に動体が分離されて静止している
背景とは異なる方法で補閲されることによる。
第4図に戻り、順次走査変換手段(42)により導出さ
れたビデオ信号のフレームを動きベクトルを導出するた
めに使用する。動きベクトルの評価は2つのステップよ
り構成される。第1に、連続するフレームから選ばれた
サーチブロックの相関を取ることにより相関面が生成さ
れる。これら相関面が得られた後に、これらは相関が最
も良好な1個又は複数の位置を決定するために検査され
る。
相関面を得る方法には数種類の方法があるが、その内の
主な2個の方法は位相相関法及び直接ブロック整合法で
ある.しかしながら、位相相関法の使用には多くの問題
があり、これらの問題は手短かに言うと変換メカニズム
.ウィンドゥ関数,ブロックの大きさ及び生成される相
関面の輪郭の変動し易い性質に関連する。そのため、こ
の実施例では直接ブロック整合法を使用する。
直接ブロック整合手段(43)は次のように動作する。
この場合、順次走査に変換されたビデオ信号の連続する
フレームの画素の矩形の配列よりなる2個のブロックの
相関をとることにより、相関面が生成され、この相関面
より動きベクトルが導出される。
第15図に示す如く、先ず1フレームより32画素×2
3ラインの大きさのサーチブロックと称する小さなブロ
ックを取り出す。それから、その次のフレームより12
8画素×69ラインの大きさのサーチエリアと称するよ
り大きなブロックを取り出す。
そのサーチブロック(SB)を第16図に示す如くサー
チエリア(SA)中の可能な位置(全部で96×46の
位置がある)の夫々に配し、夫々の位置でそれら2個の
ブロック間の画素の輝度レベルの差分の絶対値の和を計
算する。この計算結果がこの結果が導出された位置にお
ける相関面の高さとして使用される。この計算結果をサ
ーチエリア内のサーチブロックの可能な位置の夫々につ
いて導出された結果と共に使用することにより、第17
図に一例を示すような相関面が得られる。理解を容易に
するためその相関面は反転して示してあり、実際に必要
とされるのは最小値であるため、第17図において必要
とされる点は最も大きなピークである。
サーチブロックの大きさは動き補償が必要とされる物体
の最小の大きさを調べることにより選択される。625
ライン/フレーム且つ50フィールド/秒のPAL方式
の信号に対しては、16画素×8ラインのサーチブロッ
クが小さな物体の追跡に適していることが分かっており
、この場合にはその物体の中には存在しないがそのサー
チブロックの中には存在する如何なる周囲の情報もその
物体の追跡を妨害することがない。このため、本例では
その方法が採用されたが、HDVS方式では625/5
0のPAL方式に比べて有効画素数/ライン,有効ライ
ン数/フレーム及びアスペクト比が異なることに鑑みて
修正が加えられている。HDVS方式の場合を最初にし
て両者の値を示すと、有効画素数/ラインは1920 
(720) .有効ライン数/フレームは1035(5
75)及びアスペクト比は3:5.33(3:4)とな
る。
より大きな物体を追跡するために、より大きなサーチブ
ロックを使用する方法もある。一方、大きな物体又はi
景の効果により小さな物体が覆い隠されてしまうことを
防ぐため、より小さなサーチブロックを使用する方法も
考えられる。しかしながら、小さなサーチブロックを使
用した場合には、個々のサーチブロックについて1個を
超える動きベクトルを導出する必要がないという利点が
ある。1個の動きベクトルを導出するのはそれを超える
数の動きヘクトルを導出するよりも極めて容易であるた
め、本例では上述の小さなサーチブロノクを先ず使用し
、満足な結果が得られなかった場合にそのサーチブロッ
クをより大きなサーチブロックに成長させる。これによ
り小さなサーチブロック及び大きなサーチブロックの両
方の利点を享受できる。満足な結果か否かの判定条件は
次に詳細に説明する動きベクトル評価手段(44)(第
1図)により設定され、この動きベクトル評価手段(4
4)が与えられた相関面より動きベクトルを決定する。
サーチブロックを次第に大きくする技術はより大きな物
体を追跡するためにのみ有効であるのではない。それに
よれば周期的な規則的パターンの形状を有する物体の動
きの追跡にも役立つ。従って、第18図に示す如く、サ
ーチブロック八がサーチェリアBに対して位置Vl, 
V2及びv3で整合し、夫々の位置で一見正確な動き量
が得られる場合を考慮する。しかしながら、この場合実
際に相関面を解析するプロセスである動きベクトルの評
価により、同一直線上に存在する3箇所の位置で相関が
良好になることが分かる。従って、そのサーチブロック
は水平方向に元の幅の3倍の長さになるまで成長させら
れ、この方向はこの例で多重の良好な相関が発生した方
向である。サーチエリアもそれに対応して水平方向に拡
天される。第19図に示す如く、その拡大したサーチブ
ロック(3八)を使用すれば、相関が良好な点は1点の
みとなり、それによりその物体の動きが正確に検出され
る。
この特別な場合には、多重相関の方向が水平方向である
ため、サーチブロック及びサーチエリアの両方を水平方
向に成長させる必要がある。しかしながら相関面の状態
によっては、サーチブロック及びサーチエリアを垂直方
向に成長させなければならない場合もあり、実際に水平
方向及び垂直方向の両方に成長させなければならない場
合もある。
境界領域にはサーチエリアを切り出す充分な余地がない
ため、ブロック整合は必ずしもそのフレーム中の全ての
サーチブロックに適用できるとは限らない。従って、ブ
ロック整合はそのフレームの第20図に斜線で示す境界
領域では実行することができない。この問題点は以下に
説明する動きベクトル減少手段(45) (第1図)に
より処理され、この動きベクトル減少手段(45)はそ
の斜線を施した領域のサーチブロックに適当な動きベク
トルを供給する。
■フレーム中の個々のサーチブロックに対して生成され
る相関面(第17図)より、動きベクトル評価手段(4
4) (第4図)はそのサーチブロックとそれに対応す
るサーチエリアとの間のフレーム間の動きらしき量を推
定する。再度述べるに、理解を容易にするため相関面の
全ての図は反転して示され、最小値がピークとして示さ
れている。
動きベクトル評価手段(44) (第4図)は動きベク
トルの評価アルゴリズムを使用して各相関面上の最小値
の点(相関が最大の点)を検出する。この点がサーチブ
ロックとサーチエリアとの間の相関が最大となる点を示
し、ひいてはこの点により略それらブロック間の動きと
認められる量が示される。その相関面上の原点(本例で
はその面の中央に存在する)に対するこの最小値の変位
が、画素/フレームを単位とするその動きの直接的な測
定値になる。その相関面が唯一の孤立した最小値を有す
るという最も単純な場合には、その相関面上の最小値の
点を検出するだけでサーチブロックとサーチエリアとの
間の動き量を正確に決定することができる。前に述べた
如く、小さなサーチブロックを使用すれば動き検出及び
動き評価の精度を改善することができるが、小さな1個
のサーチブロックでは次に述べる多《の場合に動きを検
出することができない。
動きベクトルを(水平方向の画素単位の動き,垂直方向
の画素単位の動き)で表した場合、第21図は動きベク
トル(5.0)を有し或るフレーム(1)内でサーチフ
゛口・冫ク(IA). (2A)及び(3八)にまたが
る物体を示す。サーチブロック(IA)及び(3A)と
その次のフレーム(t+1)の対応するサーチエリア(
(1B)及び(3B) ) との相関をとると、第22
図に示す相関面には(5.0)の位置に最小値(図面上
では反転)が現れる。(但し、ビデオソースにノイズは
含まれていないと仮定している。)しかしながら、サー
チブロック(2A)とそれに対応するサーチエリア(2
B)との相関をとると、第23図に示す相関面が生成さ
れ、この相関面においてサーチブロック(2A)とサー
チェリア(2B)とはy方向の全ての点で相関が高くな
る。従って、その相関面には唯一の最小値の点は存在せ
ず、そのサーチブロック(2A)とサーチエリア(2B
)との間の動きを決定することができない。
しかしながら、サーチブロック(2A)が成長して元の
サーチブロック(LA), (2A)及び(3A)を覆
う場合を考えてみる。その成長後のサーチブロック(2
A)と元のサーチエリア(IB), (2B)及び(3
B)を覆うサーチエリアとの相関をとることにより、第
24図に示すような相関面が得られる。これにより位置
(5.0)に元のサーチブロック(2A)の正確な動き
を示す唯一の最小点が存在することが分かる。この例に
より、正確に動きを検出するためにはソースビデオ信号
に何らかの特徴がなければならないことが分かる。即ち
、サーチブロック(IA)及び(3A)には垂直方向及
び水平方向にその物体のエッジが存在するという特徴が
あるため、動きが検出できる。それに対して、サーチブ
ロック(2^)には垂直方向に特徴的な形態が存在して
も水平方向には特徴がないため、水平方向の動きを検出
することができない。しかしながら、そのサーチブロッ
クを水平方向及び垂直方向の両方向に特徴を有するよう
になるまで成長させることにより、そのサーチブロック
の完全な動きが決定できるようになる。更に、ソースビ
デオ信号中のノイズを考慮するとそのサーチブロックを
成長させることには別の利点がある。
第25図を参照して他の例について検討する。この例は
動きベクトルが(5.3)であるサーチブロックに対す
る相関面を示す。しかしながら、そのサーチブロックと
そのサーチエリアとの間の他の多くの相関が良好な点に
より、真の動きが検出し難くなっている。そのような相
関面を生成するソースビデオ信号の例は例えば風で揺れ
ている低コントラストの木であろう。これからそのサー
チブロック及びサーチエリアが成長するものと仮定する
その成長は先の例のように水平方向に生じてもよく、又
は垂直方向に生じてもよく、又は両方向に生じてもよい
。隣合うサーチブロックが同じ動きをする場合には、そ
の結果生じる相関面に対する平均的な効果により他の相
関が良好なピークの大きさに比べて位置(5.3)の最
小ピークの大きさがずっと大きな割合で増加する。この
状態を第26図に示し、これにより正確な動きベクトル
をより容易に検出できることが分かる。サーチブロック
が成長する状態について第21図を参照して更に検討す
る。本例ではサーチブロック(2A)の領域を成長させ
てサーチブロック(IA)及び(3A)の領域を覆い、
それに対応する相関面を生成することが必要である。実
際に、対応する相関面はサーチブロック(IA), (
2A)及び(3A)に対応する3個の相関面の個々の要
素を加算することにより直接生成される。
実際には、各相関面を複数の点の値のマトリックスであ
ると考えると、その拡大されたサーチブロック(2A)
の相関面は元のサーチブロック(IA),(2A)及び
(3A)の相関面のマトリックスの加算に相当する。
そのサーチブロック(2A)の領域は上下のサーチブロ
ックの相関面を加算することにより垂直方向にも成長さ
せることができる。一方、そのサーチブロック(2A)
を水平方向及び垂直方向の両方向に成長させるには、4
個の対角線方向の相関面をも同様に加算しなければなら
ない。このことより或るサーチブロックを隣りのサーチ
ブロックを覆うように成長させる実際のプロセスは比較
的容易であることが分かるが、より困難なプロセスはい
っその成長を起こせるかを決定すること及び近傍のどの
サーチブロックまでその成長を行わせるかを決定するこ
とである。基本的には、その答えは良好な最小値即ち良
好な動きベクトルが検出されるまでそのサーチブロック
の領域を成長させなければならないということである。
従って、或る動きベクトルが良好なベクトルとして検出
されたときを特定することが必要となり、これは実際に
上述の例より推定することができる。
第21図〜第24図を参照して述べた例においては、そ
の物体の水平方向の唯一の特徴を捉えて唯一の最小値を
得るためにそのサーチブロックを水平方向に成長させる
必要があった。この状況は第23図の相関面上には同一
の最小値の列が存在すること及び第24図の相関面上に
は唯一の最小値のみが存在することによって理解するこ
とができる。このことより良好な最小値の判定条件が得
られ、それら良好な最小値の点とはその相関面上の最も
値が小さい点であり、その点の値とその次に最も値が小
さい点の値との差が或る与えられた値を超えるというこ
とである。この或る与えられた値は闇値として知られ、
この判定条件を充足するか否かの検査をここでは闇値テ
ストと言う。
その次に最も値が小さい点は、以下に述べるリングテス
トと称される別のテストにおいては生じることがない点
に注意すべきである。3個のリング(輪)を使用するリ
ングテストの場合には、最良の最小値の点の候補として
の3個の画素の中にはその次に最も値が小さい点は存在
しない。第21図〜第24図の例では、第23図の相関
面の良好な最小値は闇値テストでは特定することができ
ない。
従って、サーチエリア(2A)は成長させられ、或る適
当な闇値の下で第24図の相関面の良好な最小値が闇値
テストにより特定される。
その闇値テストは、第25図及び第26図を参照して上
述した例において領域を成長させる場合にも使用するこ
とができる。サーチブロックを成長させる前には、周囲
に同程度の値の点が存在するため正確な最小値を検出す
ることができない。従って、或る適当な闇値が与えられ
ても、その相関面は闇値テストをクリアすることができ
ないので、そのサーチブロックは成長することになる。
その結果として、他の見せかけの最小点の中から真の最
小値の点を検出することが可能になる。
闇値の使用は主観的なテストであると思われるかもしれ
ないが、検査対象の相関面の内部における値の変動範囲
の一部に収まるようにその闇値を正規化することにより
、その相関面の正確な闇値を選択することができる。こ
れにより例えばビデオソースのコン1・ラストの影響を
軽減することができる。
上述のリングテストは主観的な傾向はずっと少な《、以
下その内容を詳細に説明する。そのリングテストの前提
は、良好な最小値(又は最大値)の点にはその点を囲む
次第に大きさが減少する(又は増大する)複数の点が存
在するということである。この前提を図示する第27図
において、原点(0.0)の最小値を囲むように夫々平
均の大きさが次第に減少する複数の点よりなる3個のリ
ングがある。これは第28図に示す相関面とは異なって
おり、この第28図例では複数のリング、特に中心から
2番目のリングの平均の大きさが次第に減少してはいな
い。
この場合、そのリングテストにより定義される良好な最
小値を得るための判断条件は、平均の傾きが単調である
ことである。従って、問題となっている最小値を囲む点
の予め定められた数のリングに対して、内側から外側に
向かう個々のリングの平均の大きさは前のリングの大き
さよりも太き《なければならない(図面上では小さくな
る)。
第21図〜第24図を参照して述べた例に再び戻り、第
23図及び第24図より第23図の相関面はそのリング
テストをクリアすることができない(最小値が特定でき
ない)が、第24図の相関面はそのリングテストをクリ
アできることが分かる。そのリングテストは絶対値では
なく平均値を比較するため、閾値テストに比べてずっと
主観的ではなく、実際にそのリングテストにおける唯一
の変数は考慮すべきリングの数である。
サーチブロックを成長させるメカニズムについて述べた
後は、相関面の形状の検査によって如何にそのサーチブ
ロックを成長させる最も効果的な方向を決定することが
できるかを検討することが必要である。
第23図に戻り、その相関面には垂直方向には唯一の特
徴部があるが水平方向には何等特徴部がない。これは、
水平方向に相関の良好な部分が多《存在するために、そ
の相関面にはその相関面を水平方向に横切るように一列
の最小点が存在することに反映されている。この事実よ
りそのサーチブロックは水平方向に成長させるべきこと
が推定できる。逆に垂直方向に相関の良好な一列の点が
存在する場合には、そのサーチブロックは垂直方向に成
長させる必要があることを示し、一方、相関の良好な点
が円周状に存在するときにはそのサーチブロックは水平
方向及び垂直方向の両方向に成長させる必要があること
を示す。
この判断条件を使用することにより、そのサーチブロッ
クを成長させる方向を決定するためにその相関面の形状
の定量的な測定値が必要となる。
この測定値は次のように決定される。先ず、闇値が決定
される。それからその闇値より小さいその相関面上の如
何なる点も考慮される。この闇値は闇値テストで使用さ
れたものと同様に、その相関面内の値の変動範囲に収ま
るように正規化される。
この闇値を使用してその相関面上の各点が順番に4段階
のシーケンスに従って検査される。各シーケンスにおい
て、その相関面の値がその闇値より小さくなる点が注目
される。第29図を参照してこれら4段階のシーケンス
につき説明するに、この第29図において、上端部,下
端部,左端部及び右端部に夫々存在する数値1.2.3
及び4はそれら4段階のシーケンスを示し、斜線を施し
た領域がその闇値よりも値が小さな点を示す。各シーケ
ンスの動作は以下のとおりである。
シーケンスl その相関面の上端部から下方に向かって値がその闇値よ
りも小さくなる点Aを捜す。
シーケンス2 その相関面の下端部から上方に向かって値がその闇値よ
りも小さくなる点Cを捜す。
シーケンス3 その相関面の左端部から右方向に向かって値がその闇値
よりも小さくなる点Dを捜す。
シーケンス4 その相関面の右端部から左方向に向かって値がその闇値
よりも小さくなる点Bを捜す。
その結果生じる4点A,B,C及びDは第29図に示す
2箇所の長さX及びYの計算に使用され、これらの長さ
X及びYがその闇値よりも値が小さい点を含む斜線を施
した領域の大きさを示す。従って、それらの長さX及び
Yより、その形杖がy方向よりX方向に長いか、その逆
か又は略円形かが推定できる。例えば10%程度の小さ
な差はその形状を推定する上で許容され、その形状をX
方向に長いと判断するためにはその長さXは少なくとも
その長さYよりも10%以上長くなければならない。y
方向についても同様である。それらの長さX及びYの差
が互いに10%以内に収まっているならば、その形状は
円形であると判定されてそのサーチブロックは両方向に
成長させられる。第29図例では長さXが長さYよりも
長いので、そのサーチブロックはX方向即ち水平方向に
成長させられる。
そのサーチブロックの成長は1個又はそれを超える成長
限界に達するまで続く。これら限界とは次のようなもの
である。即ち、その相関面の最小値が闇値テスト及びリ
ングテストの両方をクリアすること、そのビデオフレー
ムのエッジに達すること又はそのサーチブロックが既に
水平方向及び垂直方向に予め定められた回数だけ成長し
たことである。この最後の限界はハードウエアに依存す
る。即ち、最後の限界は許容時間内に実行できる処理の
量によって定まる。本発明の一実施例においては、その
限界は水平方向には2回,垂直方向には1回に設定され
ている。
その相関面の最小点が闇値テスト及びリングテストの両
方をクリアする場合には、良好な動きベクトルが決定さ
れたものとみなされ、この動きベクトルは動きベクトル
減少手段(45) (第4図)に供給される。しかしな
がら、フレームのエッジに到達するか又はサーチブロッ
クが水平方向及び垂直方向に予め定められた回数だけ成
長した場合には、その特別なサーチブロックについては
良好な動きベクトルが決定されなかったものとみなされ
て、1個の良好な動きベクトルを決定する代わりに重み
付けにより最も有益な動きベクトルが決定される。
その最も有益な動きベクトルが定常的な即ち中心の動き
ベクトルとして重み付けされるように、その相関面には
重み付けがなされる。これには2つの理由があり、第1
にそのサーチブロックが、成長後でさえもソースビデオ
画像の広い平面領域の一部であるならば、1個の良好な
動きベクl・ルを検出するのは不可能である。しかしな
がら、そのソースビデオ画像は1個の平面領域の画像で
あるため、1個の定常的な動きベクトルによってそれに
続《処理において正確な結果が得られる。第2に、動き
ベクトル減少手段(45) (第4図)に対して大きく
誤った動きベクトルが供給される可能性を減少するため
にその重み付けの係数が設計される。これは、1個の良
好な動きベクトルが決定できないときには、1個の大き
く誤った動きベクトルよりも1個の小さく誤った動きベ
クトルの方が好ましいことによる。
第30図はその相関面に対して重み付け関数をどのよう
に適用するかの一例を示す。この例では、その相関面上
の或る与えられた点に対する重みはその点のその定常的
即ち中心の動きベクトルからの距離にそのまま比例する
。その相関面のその点の値にはその重み係数が乗算され
る。例えば、その重み付け関数の傾きはその中心の定常
的な動きベクトルからプラス又はマイナス32画素離れ
た位置にある点に係数3が乗算されるように定められる
。言い替えると、第30図に示す如くその中心の定常的
な動きベクトルを黒い丸で表した場合、その重み付け関
数はその中心の定常的な動きベクトルを中心として上下
が反転した円錐のような形状になる。
その相関面の重み付けが終わった後に、その相関面には
再び闇値テスト及びリングテストを施す。
これら両テストをクリアする1個の最小値が決定される
と、これは良好な動きベクトルであるとみなされ、それ
が良好な動きベクトルであると共に重み付けが適用され
たことを示す情報(フラッグ)が付加される。このフラ
ッグはその動きベクトルと共に動きベクトル減少手段(
45) (第4図)に供給される。一方、重み付けを適
用した後でさえ良好な動きベクトルも最も有益な動きベ
クトルも決定できない場合には、このサーチブロックに
関して動きベクトル減少手段(45) (第4図)に供
給される如何なる動きベクトルも悪い動きベクトルであ
ることを示す情報(フラッグ)がセットされる。
これを行うのは、悪い動きベクトルは動きベクトル減少
の処理においては使用してはならず以下で述べるように
他の動きベクトルで代用されなければならないことによ
る。
従って要約すると、動きベクトル評価手段(44)(第
4図)の動作は直接ブロック整合手段(43)(第4図
)により生成された相関面から最も相関が良好な点、即
ち最小値の点を導出することである。この最小値にはそ
れから閾値テスト及びリングテストが施され、その最小
値の点がそのサーチブロックの動きを代表するとみなさ
れるためにはその最小値はそれら両方のテストをクリア
しなければならない。ところで、闇値テスト及びリング
テストで使用される閾値は絶対的な値又は規格化された
相対的な値の何れでもよいことに注意すべきである。そ
の最小値がどちらかのテストをクリアすることができな
ければ、そのサーチブロックは成長させられて新たな最
小値が決定され、闇値テスト及びリングテストが再び適
用される。そのサーチブロックを成長させる最も有効な
方向はその相関面の形状から決定される。
第4図に戻り、動きベクトル減少のプロセスについて説
明する。HDVS方式を使用すると、各サーチブロック
の大きさは32画素×23ラインであると仮定され、こ
の場合は最大で2451個の動きベクトルが存在しえる
ことが示される。サーチブロックの大きさは適度な分解
能を維持することとハードウエアをあまり大きくしない
こととのバランスに鑑みて選択される。これら動きベク
トルを全て動きベクトル選別手段(46)に供給するな
らば、要求される処理が多量であるため動きベクトル選
別の動作は実用的ではない。この問題を克服するため動
きベクトル評価手段(44)と動きベクトル選別手段(
46)との間に動きベクトル減少手段(45)を配して
ある。動きベクトル減少手段(45)は動きベクトル評
価手段(44)により生成された動きヘクトルを受取り
、そのフレーム用に導出された全ての動きベクトルでは
なくそのフレームの夫々のサーチブロック(境界領域の
サーチブロックを含む)について4個の動きヘクトルを
動きベクl・ル選別手段(46)に供給する。この効果
は2つある。先ず、正しい動きベクトルが動きベクトル
選別手段(46)に供給される4個の動きベクl・ルの
グループの中に含まれている限り、それによりその正し
い動きヘクトルを選別するのがずっと容易になる。しか
しながら、次にこのことは、もしその正しい動きベクト
ルがその4個の内の1個として供給されない場合には、
動きベクトル選別手段(46)は正しい動きベクトルを
選別することができないことをも意味する。従って、動
きベクトル減少手段(45)は動きベクトル選別手段(
46)に供給する動きベクトルの中にその正しい動きベ
クトルを含むことを保障するように努める必要がある。
また、動きベクトル減少手段(45)により動きベクト
ル選別手段(46)に対して4個の動きベクトルが供給
されても、これらの内で3個だけが実際に動きを表し、
第4の動きヘクトルは常に定常的な動きヘクトルである
ことに注意すべきである。その定常的な動きベクトルに
より、動きベクトル選別手段(46)が定常的な画素に
対して強制的に動きを表す動きベクトルを割り当てるこ
とを防止することが保障される。
その動きベクトル選別手段(46)には異なる数の動き
ベクトルを伝達することもでき、例えば、別の実施例で
は動きを表す4個の動きベクトルとその定常的な動きベ
クトルとを伝達するようにしてもよい。
これ以後は″サンプルブロンク”という言葉は、ビデオ
信号の1フレーム中のブロックであってその中の個々の
画素に動きベクトル減少手段(45)より同じ4個の動
きベクトルが供給されているブロックを意味する。従っ
て、1個のサンプルブロックはサーチブロックが成長す
る前にはその1個のサーチブロックと同じである。第3
1図に示す如く、ビデオ信号の1フレーム中ではサンプ
ルブロック及びサーチブロックの初期位置は同じである
動きヘクトル減少手段(45) (第4図)は動きベク
トル評価手段(44) (第4図)より動きベクトル及
びフラソグを受取り、そのフラッグを調べることにより
その動きベクトルの品質を決定する。その動きベクトル
が曖昧な面から導出されたものではなくそれに高い信転
性がある場合には、それは良好な動きベクトルと呼ばれ
るが、仮にある程度の曖昧さが存在するとその動きベク
トルは悪い動きベクトルと呼ばれる。動きベクトル減少
のプロセスにおいて、悪い動きベクトルであると分類さ
れた動きベクトルは全て無視される。というのは、動き
ベクトル選別手段(46)において悪い動きベクトルが
選別されないためには、その動きベクトル選別手段(4
6)に不正確な動きヘクトルを伝達しないようにするこ
とが重要であるからである。そのような悪い選別により
一般に最終的に得られる画像において極めて目障りなノ
イズ状のドットが生ずる。
動きベクトル減少手段(45) (第1図)に供給され
る動きベクトルの夫々は或る特別なサーチブロックひい
ては或る特別なサンプルブロック(第31図)より得ら
れたものであり、その動きベクトルと共にこれらブロッ
クの位置も記録される。悪い動きベクトルであると分類
された如何なる動きベクトルも無視されるため、全ての
サンプルブロックがその位置にあるサーチブロックから
導出された動きベクトルを持つとは限らない。良好な動
きベクトルであるとして分類され、或る特別なサーチブ
ロックひいては或る特別なサンプルブロックに関係する
動きベクトルは局所的な(ローカル)動きベクトルと呼
ばれる。というのは、それらはそのサンプルブロックが
得られた領域で導出されたからである。ごれに加えて、
他の動きベクトルの減少プロセスでは個々の良好な動き
ベクトルが生ずる頻度を計数し、それら良好な動きベク
トルを導出するために使用されたサーチブロックの実際
の位置を考慮することがない。これら動きベクトルは頻
度が小さくなる順序で分類され、この場合の動きベクト
ルを共通な動きベクトルと称する.最悪の場合には、3
個の共通な動きベクトルだけが利用でき、これらが定常
的な動きヘクトルと共に動きベクトル選別手段(46)
 (第1図)に伝達される4個の動きベクトルを構成す
る。しかしながら、3個を超える数の共通な動きベクト
ルが存在することもよくあるので、その数を減少させて
1組の減少した数の共通な動きヘクトルを構成しなけれ
ばならない。これらImの減少した数の共通な動きベク
トルをグローハルな(global)動きベクトルと称
する。
共通な動きベクトルの数を減少させる最も単純な方法は
、3個の最も出現頻度の高い動きベクトルを使用して他
の動きヘクトルを無視することである。しかしながら、
これら3個の最も出現頻度の高い共通な動きベクトルは
、初期状態では垂直方向及び/又は水平方向に互いに夫
々プラス又はマイナス1画素以内の動きである3個の動
きヘクトルであることが多い。言い替えると、これら共
通な動きベクトルは全て同じ動きをわずかな違いで追跡
していたものであり、無視されていた他の共通な動きベ
クトルは実際に異なる動きを追跡していたものである。
或る場面の中の全ての又は大部分の動きを表す共通な動
きベクトルを選択するためには、同じ動きを表す複数の
グローバルな動きベクトルを選択するのを避ける必要が
ある。従って、実際に採用された方法は、先ず3個の最
も頻繁に出現する共通な動きベクトルを取り、それら3
個の内の最も頻度が小さい動きベクトルが他の2個の共
通な動きベク1・ルの何れかに対して垂直方向及び/又
は水平方向に夫々プラス又はマイナス1画素の動き以内
であるかどうかを調べる。それが正しいならば、その動
きベクトルは排除されて、この排除された動きベクトル
の次に最も頻度の高い共通な動きベクトルが選ばれてそ
の動きベクトルの代わりにチェックを受ける。このプロ
セスは全ての最も出現頻度の高い共通な動きベクトルに
ついて継続され、最後に互いに同程度ではない3個の共
通な動きベクトルが残るか、又は3個若しくはそれより
少ない数の共通な動きベクトルが残るまでそのプロセス
は継続される。しかしながら、そのプロセスが収束せず
互いに同程度ではない3個を超える数の共通な動きベク
トルが残った場合には、それらの中で最も頻度の小さい
動きヘクトルが他の動きベクトルに対して垂直方向及び
/又は水平方向に夫々プラス又はマイナス2画素の動き
以内であるかどうかを調べるプロセスが反復され、必要
に応じてその距離を増加させながらそのプロセスが反復
される。これら3個の共通な動きヘクトルが要求されて
いるグローハルな動きベクトルテアり、これらはまだ出
現頻度の順に並べられていることが重要である。
動きベクトル減少のプロセス及び1フレームのビデオ画
像中のサンプルブロックを考慮する場合、3個の異なる
タイプのサンプルブロックに注目する必要がある。これ
らのタイプは1フレームのビデオ画像中のその実際の位
置によって定まり、第32図において異なる領域として
表されている。領域Aは全体が他のサンプルブロックに
囲まれると共に画像の境界に近くないサンプルブロック
より構成される。領域Bは部分的に他のサンプルブロッ
クに囲まれると共に画像の境界に近くないサンプルブロ
ックを含む。最後に領域Cは、その画像の境界に近いサ
ンプルブロックを含む。これらの各領域に適用される動
きベクトル減少のアルゴリズムは夫々異なる。これらの
アルゴリズムにつき説明するに、先ずそのlフレームの
ビデオ画像中のサンプルブロックの中には良好な動きベ
クトルを有するものが存在し、更にその場面の主要な動
きの大部分を表すべき3個のグローバルな動きヘクトル
が存在することが前提となっている。各サンプルブロッ
クについて3個の動きベクトルと共に定常的な動きベク
トルを伝達するために、これら動きベクトルの選別が行
われる。
第33図は領域Aにおける動きベクトル減少の手順を示
す。この領域にはチェックすべき動きベクトルが最も多
《存在するため、この領域が扱うのに最も複雑な領域で
ある。第33図において、斜線を施された中央のサンプ
ルブロックが他のサンプルブロックa − hに囲まれ
ている。先ず局所的に導出された動きベクトルが良好な
動きベクトルとして分類されるかどうかが調べられる。
それが良好であり且つ定常的な動きベクトルと同一でな
いときには、その動きベクトルは伝達される。しかしな
がら、これらの条件の内の一方でも充足されないときに
は、その動きベクトルは無視される。
それから、そのサンプルブロックdに対応する動きヘク
トルが良好な動きベクトルとして分類されるかどうかが
調べられる。それが良好であり、更にその動きベクトル
が既に選別されたどの動きベクトルとも同じではなく且
つその定常的な動きベクトルとも同じでないときには、
その動きベクトルは伝達される。これらの条件の内の一
方でも充足されないときには、その動きベクトルも無視
される。このプロセスはそれから同様にサンプルブロッ
クe,b,g,a,h,c及びrの順序で継続される。
定常的な動きベクトルを含まない3個の動きベクトルが
得られると、そのアルゴリズムは終了する。というのは
、それらがそのサンプルブロックについての動きベク1
・ルの選別で要求される全てであるからである。しかし
ながら、上述の必ずしも全てのチェックにおいて3個の
良好な動きヘクトルが得られなければならないというも
のではない。3個の良好な動きベクトルが得られない場
合には、残りの空間にはグローバルな動きベクトルが割
当てられ、より出現頻度の高いグローハルな動きベクト
ルが優先的に割当てられる。
第34図は領域Bにおける動きベクトルの減少手順を示
す。領域Bのサンプルブロックは他のサンプルブロック
により全体には囲まれていない点を除いて、領域八のサ
ンプルブロックと同じである。
従って、これらのサンプルブロックに適用されるプロセ
スは領域A用のプロセスと、全ての周辺のサンプルブロ
ックの中ではチェックを行うことができない点を除いて
全く同じである。従って、第34図に示す如く、サンプ
ルブロックa − eに対して動きベクトルをチェック
することができるだけであり、動きベクトル用に残され
ている空間には何れも前と同様にグローバルな動きヘク
トルが割当てられる。同様に、第34図の斜線を施した
サンプルブロックを左へ2単位移動させると、それらグ
ローバルな動きベクトルを割当てる前にチェックすべき
隣接する周辺のブロックの数は3個だけになる。
第35図は領域Cにおける動きベクトルの減少手順を示
す。そのサンプルブロックには局所的に導出された動き
ベクトルもなく、動きベクトルが利用できる多くの周辺
のサンプルブロックもないので、この場合が最も厳しい
場合である。この問題を処理する最も単純な方法は、単
にその領域Cのサンプルブロックにグローバルな動きベ
クトルと共に定常的な動きベクトルを割当てることであ
る.しかしながら、この場合には、領域Bの隣接するサ
ンプルブロックと比較した場合に、その領域Cのサンプ
ルブロックに割当てられた動きベクトルの値が突然変化
することにより、最終的に得られる画像にブロック処理
による影響が生じることが分かっている。従って、より
好適な方法は、領域Cのサンプルブロックに対しては領
域Bのサンプルブロックに対して用いられるものと同じ
動きベクトルを使用して、動きベクトルの突然の変化を
防ぐことである。より好ましくは、領域Cの各サンプル
ブロックにはそのサンプルブロックに物理的に最も近い
領域Bのサンプルブロックの動きベクトルと同じものを
割当てるのがよい。従ってこの場合には第35図例では
、領域Cの個々の斜線を施したサンプルブロックには領
域Bのサンプルブロックaと同じ動きベクトルが割当て
られ、これにより良好な結果が得られることが確認され
た。
再び第4図を参照して、動きヘクトル選別手段(46)
の目的はそこへ供給された4個の動きベクトルの内の1
個をそのサンプル゜フ゛ロツク内の個々の画素に夫々割
当てることである。これにより、それら動きベクトルは
物体の輪郭に正確に割当てることができる。この割当て
を実行するには特に、微細な構造を囲む背景画像により
その正しい動きベクトルにより生成される実際の構造が
置き換えられる可能性を無くすようにする必要がある。
これを達成するために、その動きベクトルの選別プロセ
スは2個の主な段階に分割される。第1段階では入力フ
レームの各画素について動きベクトルが生成される。言
い替えると、出力フレームの各画素に対する動きベクト
ルの値を直接決定することはない。第2段階では出力フ
レーム中の各画素に対する動きベクトルの値を決定する
ために、その第1段階で生成された動きベクトルの値が
使用される。
第36図において、入力フレーム2の各画素は供給され
る4個の動きベクトルの夫々を使用することにより、前
フレーム1及び次のフレーム3のビデオデータの中で最
も良く輝度の値が合致する画素を求めるために調べられ
る。画素の輝度の差分は次のように決定される。
この場合、 Plnmは、フレーム2で検査対象となっている画素の
位置から検査対象となっている動きヘクトルの座標を差
し引いて得られる位置に存在する画素を囲む4×4個の
画素よりなるブロックの中のフレーム1の画素の輝度値
であり、 P2nmは、検査対象となっている画素を囲む4×4個
の画素よりなるブロックの中のフレーム2の画素の輝度
値であり、 P3r+mは、フレーム(2)で検査対象となっている
画素の位置に検査対象となっている動きベクトルの座標
を加算して得られる位置に存在する画素を囲む4×4個
の画素よりなるブロックの中のフレーム3の画素の輝度
値である。
その画素の差分が最小になる条件により輝度が最も良く
合致する所が求められ、従って、検査対象となっている
画素に適用すべき正しい動きベクトルが求められる。正
しい動きベクトルが適用できない場合又は以下で詳細に
述べるように露出されたエリア若しくは被覆されたエリ
アが存在する場合には、その輝度の良好な合致は起こら
ない。
良好な合致が起こらない場合とは、使用されている複数
の画素内の平均的な画素の輝度の差分が或る所定の闇値
を超えているときに生じる。正しい動きベクトルが検査
されているときでさえ、空間周波数の高い微細な構造で
は良好な合致が生じないことがあるので、その閾値が重
要である。闇値が如何なる値のときに良好な合致が起こ
らないことが示されるかを決定するためには、動きベク
トルが要求されている画素を囲むブロック内の画像の周
波数成分にその闇値を関連づける必要がある。これを達
成するため、検査対象の画素についての水平方向又は垂
直方向の画素の輝度の差分の最大値の半分に等しい閾値
を自己闇値とする。このようにして得られた闇値が比較
対象となっている全体のブロックデータの代表的な値で
あることを保障するために、使用される4個の中央部の
夫々4×4個の画素よりなるブロンクを対象として平均
値が求められる。
4×4のブロックを示す第38図を参照して、必要とさ
れる闇値下は次式で与えられる。
T = (TI+T2+T3+T4)/8この弐におい
て例えばT3は、第39図に示すように4個の画素の輝
度の差分値の中の最大値に等しい値として決定され、こ
れら4個の差分値とは2個の垂直方向の差分値の絶対値
1 82−83 1 ,  l 84−831及び2個
の水平方向の差分値の絶対値IA383    C3−
83  である。
このようにして入力フレーム2に対してJフレーム分の
動きベクトルが得られ、同様にして第37図に示す如く
入力フレーム3に対して1フレーム分の動きベクトルが
得られる。
場面の変化は別として、動きベクトル選別の上述の第1
段階において発生する不適合(ミスマソチ)の原因は露
出面及び被覆面の現象である。或る物体、例えば自動車
がトンネルに入るときには、その自動車は被覆されて、
一方それが出て来るときにはその自動車は露出される。
その自動車のフレーム1及び2で露出された部分がフレ
ーム3及び4で被覆されるときには、その基本的なベク
トル選別プロセスではその正しいベクトルを決定するこ
とができない。更に、そのトンネルの中に入る自動車が
被覆される一方で、その自動車の後ろの道路及び物体は
露出される。同様にそのトンネルを離れる自動車は露出
されるが、その自動車の後ろの道路及び物体は被覆され
る。従って、一般に被覆される物体と露出される物体と
が同時に存在する。或る場面の終わりもまた被覆される
物体と同様に動きの不連続性を有する。斯かる状況下で
さえも動きベクトルを決定する試みにおいては、その輝
度値のブロック毎の合致の程度を調べる方法は.、第3
6図及び第37図の3フレーム間の合致の程度を調べる
方法から2フレーム間の合致の程度を調べる方法に変え
られる。即ち、動きベクトルが要求されているフレーム
(例えばフレーム2)は供給される4個の動きベクトル
を使用することにより、前フレーム及び次フレームに対
して(フレーム2の場合には夫々フレーム1及び3に対
して)個別にブロック毎の合致の程度が調べられる。
最も良好な合致を生ずる動きベクトルが検査対称となる
画素に適用される動きベクトルとして選別される。しか
しながら、この場合には2フレーム間の合致の程度だけ
を調べる方法が使用されたことを示す情報(フラッグ)
がセットされる。
特に積分型のテレビカメラを用いた場合には、良好な合
致が起こらないという状況が生しる。物体が微細構造を
有する背景の上を動くときには、積分型のカメラによる
とその物体の先端及び後端のエッジがその背景の微細構
造と混合されて独特の部分を有する画像が生成される。
そのような状況では、2フレーム間の合致を調べる方法
でさえも平均的な画素間の差分がその闇値を超えること
がある。こような場合には、動きベクトルの値は0に設
定され、エラーフラッグもセットされる。
動きベクトル選別の第2段階では第1段階で導出された
2フレーム分の動きベクトルを利用する。
最初の(入力フレーム2の)1フレーム分の動きベクト
ルは基準フレームであるとみなされ、これに続く(入力
フレーム3の)■フレーム分も使用される。出力フレー
ムの位置はこれら2個のフレームの動きベクトルの間の
何れかに存在する。第40図を参照して説明するに、個
々の出力画素の位置に対して入力フレーム2のサンプル
ブロックに関連する4個の可能な動きベクトルが検査さ
れる。
検査対象である動きベクトルの角度でその出力画素の位
置を通って引かれた線は入力フレーム2及び入力フレー
ム3の両方の上に存在.する位置を指し示す。動きベク
トルの値が奇数(例えば1,3及び5)である場合には
、出力フレームが入力フレーム1と2との間の正確に中
央にあるとすると、人力フレームの2個の画素の間の(
画素の中心ではない)或る点が指し示されるであろう。
この不正確さを考慮し更に感度を画素単位まで低下させ
るために、各フレームに対して最も近い画素の位置を中
心として1組の3×3ブロックの動きベクトルが得られ
る。実際には、2組の3×3ブロックの動きベクトルの
夫々と検査対象である動きベクトルを含むブロックとの
間でブロック間の合致の程度を調べる動作が実行される
。使用される動きベクトルの差分は次式により与えられ
る2個の動きベクトルの値の空間的な差分を表す。
この場合、xi及びytはそれらブロックの1つにおけ
るその動きベクトルの直交座標であり、X2及びy2は
検査対象となる動きヘクトルの直交座標である。
3個の入力フレーム、即ち入力フレーム2(第36図)
に対しては入力フレーム1,2及び3を使用して計算さ
れた動きベクトルだけを使用することにより、上述のよ
うに先ず最も良好に合致する動きベクトルが生成される
。それら3個の入力フレームは入力フレーム3(第37
図)に対しては入力フレーム2.3及び4となり、その
結果はそれに応じて段階的に変化する。その9個のブロ
ンクには少なくとも4個の使用可能な動きベクトルがあ
るのが好ましい。フレーム2及びフレーム3の両方の動
きベクトルのブロックが使用できるときには、その動き
ベクトルの差分値はフレーム2による動きベクトルの差
分値の半分及びフレーム3による動きベクトルの差分値
の半分を加算して構成される。上述の方法を使用して動
きベクトルの最小の差分値を生成する動きベクトルであ
れば、検査対象となる出力画素に適用できる動きベクト
ルであると考えることができる。3個のフレーム間の入
力動きヘクトルの整合(第36図及び第37図)により
生成された動きベクトルの差分値が1より大きいときに
は、被覆面又は露出面が検出されたことになる。そして
、同じプロセスが繰り返されるが今度はエラーフラッグ
が無視される。即ち、2個の入力フレームを用いて計算
された動きベクトルが使用される。理論的にはこれは露
出面又は被覆面だけに必要であるが、実際にはより一般
的な領域の画像に適用しても画質が改善される。
上述の両方の検査が実行された後に、良好に合致すると
判定された最小の動きベクトルの値が2を超えている場
合には、その動きベクトルの値は0に設定され、動きベ
クトル後処理手段(47) (第4図)の使用に供する
ためエラーフラッグがセットされる。
動きベクトルの選別に伴い、如何なる実際の画像の状況
においてもほぼ確実に或る画素に関連して疑似的な動き
ベクトルが残存する。第41図〜第46図は疑似的な動
きベクトルであると見なされる場合を示し、これらの各
図において、三角形は同じ動きベクトルが割当てられた
画素を示し、一方、星は周囲の画素に割り当てられた動
きベクトルと異なる動きベクトルが割り当てられた画素
を示し、円は検査対象の動きベクトルを示す。
第41図は1個の特異点を示し、この場合1個の画素だ
けが全ての周囲の画素の動きベクトルとは異なる動きベ
クトルを有する。
第42図は水平方向の動きベクトルのインパルスを示し
、この場合3個の水平方向に並んだ画素だけが周囲の画
素の動きベクトルとは異なる同一の動きベクトルを有す
る。
第43図は垂直方向の動きベクトルのインパルスを示し
、この場合3個の垂直方向に並んだ画素だけが周囲の画
素の動きベクトルとは異なる同一の動きベクトルを有す
る。
第44図は対角方向の動きベクトルのインパルスを示し
、この場合3個の対角方向に並んだ画素だけが全ての周
囲の画素の動きベクトルとは異なる同一の動きベクトル
を有する。
第45図は水平方向及び垂直方向の動きベクトルのイン
パルスを示し、この場合縦十字型に配列された5個の画
素だけが全ての周囲の画素の動きベクトルとは異なる同
一の動きベクトルを有する。
第46図は2対角方向の動きベクトルのインパルスを示
し、この場合対角方向の十字型に配列された5個の画素
だけが全ての周囲の画素の動きベクトルとは異なる同一
の動きベクトルを有する。
上述の6個の範躊に分類される画素の動きベクトルは実
際には現実の画像について生じることはなく、更にそれ
らは不正確な動きベクトルの選別により直接生じた結果
でもある。そのような動きベクトルが補間プロセスの途
中で使用されると、最終的に得られる出力画像にはドッ
ト妨害が生じることがある。従って、そのような動きベ
クトルを特定して排除するのが望ましい。これは上述の
動きベクトルの全てのグループ分けを行うと共に、各グ
ループに応じてフラッグを割当てるアルゴリズムを使用
することにより実行される。
そのアルゴリズムは2回繰り返すプロセスを使用し、1
回毎の処理は同一である。2回繰り返すことの必要性に
つき説明する。画素の配列を示す第47図を参照して説
明するに、三角形が付された全ての画素は夫々同一の動
きベクトルを有する。
中央の9個の画素よりなるブロックは、夫々ベクトル1
〜ベクトル9として各画素に割り当てられた動きベクト
ルを有し、これら動きベクトルは同一でも同一でなくと
もよい。ベクトル5が検査対象の動きベクトル(被検ベ
クトル)である。
第1回目の処理では、ベクトル5がチェックされ、最初
にそのベクトルが正確に又は所定の許容値内でベクトル
1,ベクトル3,ベクトル7又はベクトル9と同じであ
るかどうかが決定され、その次にそのベクトルが正確に
又は所定の許容値内でベクトル2,ベクトル4.ベクト
ル6又はベクトル8と同じであるかどうかが決定される
このチェックは、そのベクトル5が少なくとも水平方向
又は垂直方向に隣接するベクトルの1つと同じであり、
且つ少なくとも対角方向に隣接するベクトルの1つと同
じであるかどうかを調べるものである。これが否定的な
らば、その画素5が不良であることを示すフラッグがセ
ットされる。
言い替えると、水平方向(又は垂直方向)及び対角方向
の隣接画素に夫々少なくとも1個の、即ち少なくとも合
計2個の同程度の動きベクトルが存在しない場合には、
その画素に不良であることを示すフラッグがセットされ
る。
この第1回目の処理によれば、特異点,水平方向の動き
ベクトルのインパルス.垂直方向の動きヘクトルのイン
パルス,対角方向の動きベクトルのインパルス及び対角
方向の動きベクトルのインパルス(第41図〜第44図
及び第46図)に対応する動きベクトルには全て不良で
あることを示すフラッグが付加されるが、水平方向及び
垂直方向の動きベクトルのインパルス(第45図)に対
応する動きベクトルの内で中央のベクトルを除く4隅の
ベクトルは良いベクトルであると判断され、このベクト
ルには2回目の処理が必要になる。例えば、第45図例
において、その縦十字形の4隅の動きベクトルは夫々水
平方向(又は垂直方向)及び対角方向に1個づつ同一の
動きベクトルを有するため、良いベクトルであると判定
される。
2回目の処理は第1回目の処理と正確に同じ条件を調べ
るものであるが、今回は既に不良であるとしてフラッグ
を付加された動きベクトルはその計算から除外される。
従って、第45図例において、第1回目の処理後には中
央の動きベクトルだけに不良のフラッグが立てられるが
、第2回目の処理後には縦十字形に配列された5個の動
きベクトルの全てに不良のフラッグが立てられる。
不良の動きヘクトルを特定した後には、それらを修正す
ることが必要になり、この修正もまた動きベクトル後処
理手段(47) (第1図)により実行される。補間又
は高頻度の動きヘクトルによる置換などの種々の方法を
使用することができるが、実際には単純な置換により良
好な結果が生じることが分かった。これは次のように実
行される。
(但し、この場合は符号「=」は正確に等しいだけでは
なく、予め定められた許容値内に収まっていることをも
意味する。)即ち、ベクトル5が不良であると判定され
たときには、そのベクトルは(ベクトル4−ベクトル6
)が成立するならばベクトル4により置き換えられ、そ
れが成立せず(ヘクトル2=ベクトル8)が成立するな
らばベクトル2により置き換えられ、それが成立せず(
ベクトル1=ベクトル9)が成立するならばベクトル1
により置き換えられ、それが成立せず(ベクトル3−ベ
クトル7)が成立するならばベクトル7により置き換え
られ、それも成立しない場合には置換は行われない。
再び第4図において、各画素について最終的に選択され
た動きベクトルが動きベクトル後処理手段(47)より
補間手段(48)に供給されると共に、60フレーム/
秒で順次走査変換されたフレームが順次走査変換手段(
42)から補間手段(48)に供給される。
その補間手段(48)は第48図に示す如く、2個の順
次走査変換されたフレームを使用するだけの比較的単純
な構造である。出力フレームの連続する入力フレームで
あるフレームl及びフレーム2に対して相対的な時間軸
上の位置、及びその出力フレーム上の画素に対する動き
ベクトルを使用することにより、周知の方法でその補間
手段(48)は第1フレームのどの部分と第2フレーム
のどの部分とを結合するべきかを決定し、更に正確な出
力フレームの画素の値を生成するための重み付けの値を
決定する。言い替えると、補間手段(48)は動きベク
トルを用いて動きの方向に沿って適応的に補間を行い、
24フレーム/秒に対応する動き補償のなされた順次走
査フレームを生成する。その動きベクトルは各画素の輝
度の値だけを使用して導出されていたが、その同じ動き
ベクトルは要求される出力フレームの画素の色成分の値
を導出するために使用される。その要求される出力を生
成するためには、各フレームにたいして8×8個の画素
よりなるアレイが使用される。従って、その補間手段(
48)は2次元の垂直方向/水平方向の補間手段であり
、その補間手段(48)で使用される係数はレメツ(R
emez)の交換アルゴリズムを使用して導出すること
ができる。このアルゴリズムは“Theoryand 
application of signal pro
cessing’,LawrenceR Rabine
r,Bernard Gold.Prentice−H
all Inc.,pp136−]40,227.にて
詳細に説明されている。
第48図は3個の異なる場合についてその補間手段(4
8) (第4図)により実行される補間を模式的に示す
。左側の第1の場合は露出面も被覆面もない場合、中央
の第2の場合は1個の被覆面がある場合、右側の第3の
場合は1個の露出面がある場合である。被覆された面の
場合にはその補間でフレーム1だけが使用され、露出さ
れた面の場合にはその補間でフレーム2だけが使用され
る。その補間手段(48)においては動き補償を行わな
い補間を行うこともでき、この場合には時間的に最も近
い順次走査変換されたフレームが補間フレームとして使
用される。
尚、本発明は上述実施例に限定されず本発明の要旨を逸
脱しない範囲で種々の構成を採り得ることは勿論である
[発明の効果] 本発明によれば、ビデオ信号を良好にフイルム画像に変
換できる利益がある。
【図面の簡単な説明】
第1図は本発明によるビデオ信号をフィルム画像に変換
する装置の例を示すブロック図、第2図は本発明による
ビデオ信号をフィルム画像に変換する装置の実施例の一
部分のブロック図、第3図はこの実施例の他の部分のブ
ロック図、第4図はビデオ標準方式の変換装置を示すブ
ロック図、第5図は順次走査変換の説明図、第6図〜第
9図は夫々順次走査変換時の連続するフィールド及び連
続するラインを示す説明図、第10図は動き適応順次走
査変換における各ステップを示すブロック図、第11図
は連続するフィールド間の差分等を示す線図、第12図
及び第13図は夫々順次走査正規化関数及び順次走査の
非線形関数を示す線図、第14図は順次走査変換におけ
る未完成のラインの画素を示す線図、第15図及び第1
6図は夫々サーチブロックとサーチエリア及びそれらの
相互の関係を示す線図、第17図は相関面を示す線図、
第18図及び第19図は夫々サーチブロックの成長を示
す線図、第20図はサーチブロックの整合ができないl
フレームの領域を示す線図、第21図は3個のサーチブ
ロックにまたがる動体を示す線図、第22図〜第24図
は夫々生成される相関面を示す線図、第25図及び第2
6図は夫々闇値テストの説明に供する相関面の他の例を
示す線図、第27図及び第28図は夫々リングテストの
説明に供する相関面の更に他の例を示す線図、第29図
はサーチブロンクが成長する方向の決定方法の説明図、
第30図は相関面の重み付けの方法の説明図、第31図
はサンプルブロック及びサーチブロックと1フレームの
ビデオ画像との関係を示す線図、第32図は1フレーム
のビデオ画像の動きベクトルの領域を示す線図、第33
図〜第35図は夫々1フレームのビデオ画像の個々の領
域における動きベクトルの説明に供する線図、第36図
及び第37図は動きベクトル選別の第1段階の説明図、
第38図及び第39図は夫々闇値の決定方法の説明に供
する線図、第40図は動きベクトル選別の第2段階の説
明図、第41図〜第47図は夫々動きベクトルの後処理
時における動きベクトルが属する画像の配列を示す線図
、第48図は補間動作の説明に供する線図である。 (42)は順次走査変換手段、(43)は直接ブロック
整合手段、(44)は動きベクトル評価手段、(45)
は動きベクトル評価手段、(46)は動きベクトル選別
手段、(47)は動きベクトルの後処理手段、(48)
は補聞手段である。

Claims (1)

  1. 【特許請求の範囲】 ビデオ信号をフィルム画像に変換する方法において、 入力ビデオ信号から1秒あたり24個の順次走査フレー
    ムを有する動き補正されたデジタルビデオ信号を導出す
    る過程と、 前記デジタルビデオ信号をビデオ信号レコーダに記録す
    る過程と、 記録されたデジタルビデオ信号を再生する過程と、 再生されたデジタルビデオ信号を1秒あたり24個の順
    次走査フレームを有するアナログビデオ信号に変換する
    過程と、 前記アナログビデオ信号が表す内容をフィルムに記録す
    るためにこのアナログビデオ信号を記録装置に供給する
    過程とを有することを特徴とするビデオ信号をフィルム
    画像に変換する方法。
JP2114496A 1989-04-27 1990-04-27 ビデオ信号をフィルム画像に変換する方法 Pending JPH02290382A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB8909656A GB2231228B (en) 1989-04-27 1989-04-27 Video signal to photographic film conversion
GB8909656.4 1989-04-27

Publications (1)

Publication Number Publication Date
JPH02290382A true JPH02290382A (ja) 1990-11-30

Family

ID=10655828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2114496A Pending JPH02290382A (ja) 1989-04-27 1990-04-27 ビデオ信号をフィルム画像に変換する方法

Country Status (5)

Country Link
US (1) US5016101A (ja)
EP (1) EP0395276B1 (ja)
JP (1) JPH02290382A (ja)
DE (1) DE69015419T2 (ja)
GB (1) GB2231228B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2246925B (en) * 1990-08-09 1994-04-27 Sony Broadcast & Communication Video signal processing
JPH04304083A (ja) * 1991-03-31 1992-10-27 Sony Corp 画像信号変換装置
JPH04304095A (ja) * 1991-03-31 1992-10-27 Sony Corp 画像信号変換装置
EP0514012A3 (en) * 1991-04-15 1993-11-18 Vistek Electronics Method and apparatus for the standard conversion of an image signal
US5260787A (en) * 1991-05-14 1993-11-09 Sony Electronics Inc. Film-to-video frame image conversion apparatus and method for selectively identifying video fields and frames
US5430489A (en) * 1991-07-24 1995-07-04 Sony United Kingdom, Ltd. Video to film conversion
GB2262853B (en) * 1991-12-20 1995-07-19 Sony Broadcast & Communication Digital video signal processing
GB2264020B (en) * 1992-01-31 1995-10-25 Sony Broadcast & Communication Digital video signal processing
GB2265275B (en) * 1992-03-18 1996-01-03 Sony Broadcast & Communication Digital video signal processing
GB2266023B (en) * 1992-03-31 1995-09-06 Sony Broadcast & Communication Motion dependent video signal processing
GB2268659B (en) * 1992-07-08 1996-03-27 Sony Broadcast & Communication Video to film conversion
JP3443880B2 (ja) * 1992-09-18 2003-09-08 ソニー株式会社 ビデオ信号符号化方法及び復号化方法
US5461420A (en) * 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
GB2271239B (en) * 1992-09-29 1996-06-19 Sony Broadcast & Communication Video to film conversion
GB2280080B (en) * 1993-06-09 1998-01-14 Sony Uk Ltd Video frame rate conversion
JPH08317336A (ja) * 1995-03-15 1996-11-29 Fuji Photo Film Co Ltd 補間画像データ生成装置および方法
US5774183A (en) * 1996-08-20 1998-06-30 Eastman Kodak Company Method for simulating an increased shutter time in digital video
GB2361134A (en) * 2000-04-07 2001-10-10 Snell & Wilcox Ltd Video standards conversion
US7057627B2 (en) * 2001-03-05 2006-06-06 Broadcom Corporation Video and graphics system with square graphics pixels
JPWO2007063819A1 (ja) * 2005-11-29 2009-05-07 パイオニア株式会社 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP4983362B2 (ja) * 2007-04-16 2012-07-25 ソニー株式会社 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法
JP5187266B2 (ja) * 2009-04-21 2013-04-24 株式会社Jvcケンウッド 動きベクトル検出装置及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3444317A (en) * 1965-11-03 1969-05-13 Minnesota Mining & Mfg Electron beam recorder with frame rate conversion
JPS60204182A (ja) * 1984-03-28 1985-10-15 Sony Corp 映像信号の編集方式
US4942466A (en) * 1985-12-24 1990-07-17 British Broadcasting Corporation Bandwidth compression for television signals
WO1987005769A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Tv picture motion measurement
WO1987005770A1 (en) * 1986-03-19 1987-09-24 British Broadcasting Corporation Video signal processing for bandwidth reduction
EP0294956B1 (en) * 1987-06-09 1994-07-20 Sony Corporation Motion vector reduction in television images

Also Published As

Publication number Publication date
GB2231228B (en) 1993-09-22
EP0395276A2 (en) 1990-10-31
US5016101A (en) 1991-05-14
EP0395276A3 (en) 1991-12-27
GB2231228A (en) 1990-11-07
DE69015419D1 (de) 1995-02-09
EP0395276B1 (en) 1994-12-28
GB8909656D0 (en) 1989-06-14
DE69015419T2 (de) 1995-05-04

Similar Documents

Publication Publication Date Title
JPH0362692A (ja) 動き補償映像信号フォーマット変換装置
JPH0362690A (ja) 動き補正付きテレビジョン信号方式変換器
JPH02290382A (ja) ビデオ信号をフィルム画像に変換する方法
EP0395275B1 (en) Motion dependent video signal processing
JPH0362691A (ja) 動き補償映像信号標準変換器
US5337154A (en) Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
JPH02290387A (ja) 動き補正付きテレビジョン信号方式変換器
JP3222496B2 (ja) ビデオ信号処理装置
US5012337A (en) Motion dependent video signal processing
JPH02290383A (ja) 動き補正付きテレビジョン信号方式変換器
EP0395268B1 (en) Motion dependent video signal processing
EP0395272B1 (en) Motion dependent video signal processing
JPH02290381A (ja) 動き補正付きテレビジョン信号方式変換器
EP0395269B1 (en) Motion dependent video signal processing
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
JPH04232638A (ja) ビデオテープレコーダ速度制御方法及び装置
GB2249906A (en) Motion compensated interpolation of images
JPH02290386A (ja) 動き補正付きテレビジョン信号方式変換器
GB2249898A (en) Combining photographic film material and digital video signals
GB2249907A (en) Format conversion of digital video signals
GB2249903A (en) Format conversion of digital conversion signals
GB2249902A (en) Standards conversion
GB2249901A (en) Combining digital video signals and photographic film material or the like
GB2249900A (en) Combining digital video signals and photographic film material or the like