JPH07114497B2

JPH07114497B2 - 動き補正サブサンプル内挿方式

Info

Publication number: JPH07114497B2
Application number: JP61261204A
Authority: JP
Inventors: 典之山口; 政治八尾
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1986-10-31
Filing date: 1986-10-31
Publication date: 1995-12-06
Anticipated expiration: 2010-12-06
Also published as: JPS63115479A

Description

【発明の詳細な説明】［産業上の利用分野］この発明はMUSE方式の高品位テレビ受像機における画像
処理に適用されるもので、伝送されてくる動き情報から
各フイールド間の動き補正量を演算して欠落点をフイー
ルド間補間する動き補正サブサンプル内挿方式に関する
ものである。

［従来の技術］従来から提案されているこの種の動き補正サブサンプル
内挿方式に、NHK総合技術研究所、NHK放送科学基礎研究
所が昭和59年６月の創立記念講演会で発表した「高品質
テレビの新しい伝送方式（MUSE）」なる予稿資料の中で
述べられているものがある。第８図にその動き補正サブ
サンプル内挿方式の構成を示している。

第８図において、（１）は16.2MHzのサンプルレートで
伝送される映像信号を入力する映像入力端子、（２）は
スイッチで、上記入力端子（１）に入力される映像信号
と後述する動き補正フイールドメモリ（４）の出力信号
を32.4MHzのサブサンプルのタイミングで切替える。
（３）は非動き補正フイールドメモリで、上記スイツチ
（２）を通過する16.2MHzのサンプルレートの１フレー
ム分の信号を蓄える。（４）は動き補正フイールドメモ
リで、上記非補正フイールドメモリ（３）から出力され
た32.4MHzのサンプルレートの１フレーム分の信号を蓄
え、動きベクトルによつて動き補正を行なう。

（７）はフイールド間補間フイルタで、上記非動き補正
フイールドメモリ（３）の出力信号とスイツチ（２）を
通過した信号をもとに欠落サンプル点を補間する。
（８）はフイールド内補間フイルタで、上記スイツチ
（２）を通過した信号のみをもとに欠落サンプル点を補
間する。（９）はスイツチで、動き補正を行なわない時
には上側接点（9x）に接続されてフイールド間補間フイ
ルタ（７）の出力信号を通過させ、動き補正を行なう時
または動き検出がなされた時には下側接点（9y）に接続
されてフイールド内補間フイルタ（８）の出力信号を通
過させる。（10）は欠落サンプル点が補間されて64.8MH
zのサンプルレートとなつて、上記スイツチ（９）を通
過する信号を出力する映像出力端子である。

つぎに、上記構成の動作について説明する。

高品位テレビの伝送方式は４フイールドで一巡するサブ
ナイキストサンプリングであり、その所要帯域幅は8.1M
Hzである。

映像出力端子（１）の第１フイールドの信号が入力され
た場合、非動き補正フイールドメモリ（３）には一巡前
の第２フイールドと第４フイールドの信号が記憶され、
一方動き補正フイールドメモリ（４）には一巡前の第１
フイールドと第３フイールドの信号が記憶されている。
カメラのパニングにより動きベクトルが存在した時、動
き補正フイールドメモリ（４）の内容はその動きべクト
ル量に従って２次元的に移動する。このとき、伝送され
てくる動きベクトルが１フレーム隔てたフイールド間の
動き補正量であると、上記動き補正フイールドメモリ
（４）の動き補正の内容は映像出力端子（１）に入力さ
れる第１フイールドの信号を基準に行なわれる。

スイツチ（２）は32.4MHzのサブサンプルのタイミング
で切替わり、フイールドごとに位相が反転し、また動き
ベクトルによつても反転する。したがつて、上述の場
合、映像出力端子（１）から入力された第１フイールド
の信号と動き補正が行なわれた一巡前の第３フイールド
の信号とがスイツチ（２）を通過する。

スイツチ（２）を通過した信号と非動き補正フイールド
メモリ（３）の出力信号とはフイールド間補間フイルタ
（７）に入力されて、フイールド間補間を行なう。

動き補正を行なわない時、すなわちスイツチ（９）が上
側接点（9x）に接続されている時には映像出力端子（1
0）からフイールド間補間された64.8MHzのサンプルレー
トの映像信号を出力する。

また、スイツチ（２）を通過したフイールドの信号は、
フイールド内補間フイルタ（８）に入力されてフイール
ド内補間を行ない、スイツチ（９）が下側接点（9y）に
接続されている時、映像出力端子（10）からフイールド
内補間された64.8MHzのサンプルレートの映像信号を出
力する。

動き補正が行なわれずに映像入力端子（１）にa₂フイー
ルドが入力された時、第８図中の9a〜9eの信号の状態は
第９図に示すとおりである。

ただし、信号をフイールドで表わすと……a₁,b₁,c₁,d₁,
a₂,b₂,c,d₂……の順に流れている。第９図中のＡはフイ
ールド間処理である補間関数fAによりb₁,c₁,d₁,a₂から
補間される補間値を示す。

また動き補正が行なわれ、映像入力端子（１）にa₂フイ
ールドが入力された時、第８図中の10a〜10eの信号の状
態は第10図に示すとおりであり、第10図中、記号の上の
横線は動き補正が行なわれたことを示し、Ｂはフイール
ド内処理である補間関係fBにより₁,a₂から補間される
補間値を示す。

［発明が解決しようとする問題点］以上のような従来の動き補正サブサンプル内挿方式によ
るときは、動き補正実施時に相隣り合うフイールド間の
関係を全く考慮に入れていないので、欠落サンプル点の
補間をフイールド内補間フイルタによつてフイールド内
で行なわなければならない。そのため、動き補正実施時
の解像度が低下するという問題点があった。

この発明は上記のような問題点を解消するためになされ
たもので、伝送されてくる動きベクトルから各フィール
ド間の動きベクトルを求めて動き補正を行わない場合と
同様に補正を行う場合にもフィールド間補間フィルタを
用いることにより、解像度の低下をおえることができる
動き補正サブサンプル内挿方式を提供することを目的と
する。

［問題点を解決するための手段］この発明にかかる動き補正サブサンプル内挿方式は、所
定のサンプル位置を保って４フィールドで一巡するよう
に間欠的にサブサンプルして伝送されてくるサンプル値
に基づいて、受信側で４フィールド期間に受信した上記
サンプル値からその欠落点を補間して映像信号を再生す
るサブサンプル内挿方式であって、送信側で検出された
映像信号の１フレーム隔てたフィールド間動きベクトル
に基づき、受信側で１フレーム前の上記サンプル値の位
置を補正した後、その欠落点を補間して映像信号を再生
する動き補正サブサンプル内挿方式において、上記１フ
レーム隔てたフィールド間動きベクトルから、受信側に
おいて１フィールド隔てたフィールド間動きベクトル
を、上記１フレーム隔てたフィールド間動きベクトルの
1/2に近似予測することにより生成し、送信側で検出さ
れた上記１フレーム隔てたフィールド間動きベクトルと
受信側で生成された上記１フィールド隔てたフィールド
間動きベクトルを使用して、注目するフイールドを基準
に、過去３フィールドのサンプル値の相対位置を補正
し、静止画における補間と同様に、動画においても４フ
ィールド期間に受信したサンプル値からその欠落点を補
間するようにしたものである。

［作用］この発明によれば、伝送されてくる動き情報に急激な変
化がないことを利用して、受信側において、１フィール
ド隔てたフィールド間の動きベクトルを、送信側の１フ
レーム隔てたフィールド間動きベクトルの1/2に近似予
測することで生成し、送信側で検出された１フレーム隔
てたフィールド間動きベクトルと受信側で生成された上
記の１フレーム隔てたフィールド間動きベクトルを使用
して、常にフィールド間補間フィルタを用いて動画の場
合でも、静止画と同様にフィールド間補間を行なうこと
によって、動画の場合における解像度の向上を図ること
ができる。

［実施例］以下、この発明の一実施例を図面にもとづいて説明す
る。

第１図はこの発明の一実施例による動き補正サブサンプ
ル内挿方式を示すブロック図であり、同図において、
（１）は16.2MHzのサンプルレートで伝送される映像信
号を入力する映像入力端子、（２）はスイツチで、上記
入力端子（１）に入力される映像信号と後述する第１の
動き補正フイールドメモリ（４）の出力信号を32.4MHz
のサブサンプルのタイミングで切替える。

（３）は非動き補正フイールドメモリで、上記スイツチ
（２）を通過する32.4MHzのサンプルレートの１フレー
ム分の信号を蓄える。（４）は第１の動き補正フイール
ドメモリで非動き補正フイールドメモリ（３）から出力
された16.2MHzのサンプルレートの１フレーム分の信号
を蓄え、動きベクトルによつて動き補正を行なう。

（５）は割算器で、伝送されてくる動きベクトルを２で
除算する。（６）は第２の動き補正フイールドメモリ
で、上記スイッチ（２）を通過する32.4MHzのサンプル
レートの１フレーム分の信号を蓄え、上記割算器（５）
から出力されるフイールド間の予測動きベクトルによつ
て動き補正を行なう。（７）はフイールド間補間フイル
タで、上記スイツチ（２）を通過する信号と上記第２の
動き補正フイールドメモリ（６）の出力信号をもとに欠
落サンプル点を補間する。（８）はフイールド内補間フ
イルタで、上記スイツチ（２）を通過する信号のみをも
とに欠落サンプル点を補間する。（９）はスイツチで、
通常上側接点（9x）に接続されて上記フイールド間補間
フイルタ（７）の出力信号を通過させ、動き検出がなさ
れた時に画素単位で下側接点（9y）に接続されて上記フ
イールド内補間フイルタ（８）の出力信号を通過させ
る。（10）は欠落サンプル点が補間されて64.8MHzのサ
ンプルレートとなつて、上記スイツチ（９）を通過する
信号を出力する映像出力端子である。

つぎに、上記構成の動作について説明する。

第２図は第１図の動作を具体的に説明するために、パニ
ングがおこつている際の動きベクトルを示し、同図中ｘ
は画面水平軸、ｙは画面垂直軸を表わしている。

映像信号の各フイールドはa₁〜d₂で表わし、信号をフイ
ールドで表わすと……a₀,b₀,c₀,d₀,a₁,c₁,d₁,a₂,b₂,c₂,
d₂……の順に流れている。それぞれの１フレーム隔てた
フイールド間動きベクトルを……A₁,B₁,C₁,D₁,A₂,B₂,…
…で表わしている。また作図上得られる１フイールド隔
てたフイールド間動きベクトルを……b₁₀,c₁₀,d₁₀,a₂₀
……で表わしている。１フレーム隔てたフイールド間動
きベクトルと１フイールド隔てたフイールド間動きベク
トルとの間には次に関係式が成り立つ。

a₁₀＋b₁₀＝A₁ b₁₀＋c₁₀＝B₁ c₁₀＋d₁₀＝C₁ ここで、たとえばa₁〜c₁の３フイールドの関係について
のみ考える。ただし、１フレーム隔てたフイールド間動
きベクトルは、水平方向成分５ビツト、垂直方向成分３
ビツトのデイジタル信号で１フイールドに１つ伝送され
てくる。すなわち、１フレーム隔てたフイールド間動き
ベクトルの大きさを画素長で述べると、水平方向成分が
−15から＋16まで、垂直方向成分が−３から＋４までの
範囲内であり、水平方向成分、垂直方向成分とも整数で
ある離散的な成分をもつ。これを図示すると第３図のよ
うに、１フレーム隔てたフイールド間動きベクトルは破
線で囲まれる範囲内にある。ただし、第３図における原
点はa₁フイールドの任意の画素である。

パニングによる映像の平行移動が滑らかである場合、a₁
フイールドとb₁フイールドとの１フイールド隔てたフイ
ールド間動きベクトルは第３図の鎖線で囲まれる範囲内
にある。ここで、a₁〜c₁の３フイールドの相対的な関係
を３通り変化させて第４図〜第６図に示す。

まず、第４図は伝送される１フレーム隔てたフイールド
間動きベクトルA₁の大きさが最大の場合である。この
時、１フイールド隔てたフイールド間動きベクトルa₁₀
もまた最大でなければならない。また、１フイールド隔
てたフイールド間動きベクトルb₁₀も二点鎖線の範囲内
にあるが、これも最大値でなければならない。したがつ
て、ベクトルb₁₀はA₁/2に一致している。

つぎに第５図は、１フレーム隔てたフイールド間動きベ
クトルA₁の成分が（x,y）＝（10,2）の場合を示してい
る。第４図と同様に１フイールド隔てたフイールド間動
きベクトルa₁₀は鎖線で囲まれる範囲内に存在し、b₁フ
イールドが図示されている点にある場合、１フイールド
隔てたフイールド間動きベクトルb₁₀は二点鎖線で囲ま
れる範囲内に存在する。事実、c₁フイールドは図示され
ているように二点鎖線内にあるので、パニングによるこ
のような動きは可能である。

以上のことから、伝送される１フレーム隔てたフイール
ド間動きベクトルA₁によつてa₁フイールドとc₁フイール
ドの相対的な位置が定められている時、それらのフイー
ルドに対するb₁フイールドの位置は斜線の範囲内にあ
る。しかも、パニングによる画像の平行移動が滑らかで
あると、b₁フイールドの位置は斜線の範囲内の中でも、
第５図の黒丸で示したa₁フイールドとc₁フイールドの位
置の中点を中心とした３×３の正方格子に存在する可能
性が高い。したがつて、ベクトルb₁₀をA₁/2で代用する
ことは妥当であり、この誤差は１画素程度である。

つぎに第６図は、１フレーム隔てたフイールド間動きベ
クトルA₁の成分が（x,y）＝（3,1）の場合を示してい
る。第４図と同様に１フイールド隔てたフイールド間動
きベクトルa₁₀は鎖線で囲まれる範囲内に存在し、b₁フ
イールドが図示されている点にある場合、１フイールド
隔てたフイールド間動きベクトルb₁₀は二点鎖線で囲ま
れる範囲内に存在する。事実、c₁フイールドは図示され
ているように二点鎖線内にあるので、パニングによるこ
のような動きは可能である。隣り合う１フイールド隔て
たフイールド間動きベクトルの方向変化が直角を超える
ようなパニングはないから、伝送される１フレーム隔て
たフイールド間動きベクトルA₁によつてa₁フイールドと
c₁フイールドの相対的に位置が定められている時、それ
らのフイールドに対するb₁フイールドの位置は鎖線の範
囲内にある。さらに、パニングによる画像の平行移動が
滑らかであると、b₁フイールドの位置は斜線の範囲内の
中でも、第６図の黒丸で示したa₁フイールドとc₁フィー
ルドの位置の中点を中心とした２×２の正方格子上に存
在する可能性が高い。したがつて、ベクトルb₁₀をA₁/2
で代用することができるが、この場合のA₁/2の成分は整
数値とならないので、第６図の黒丸のいずれかとc₁フイ
ールドの位置を結ぶベクトルをベクトルb₁₀の代用とす
る。この場合にもその誤差は１画素程度である。

以上のように、１フイールド隔てたフイールド間動きベ
クトルb₁₀は１フレーム隔てたフイールド間動きベクト
ルA₁を用いて、A₁/2の整数部分での近似により予測がで
き、その誤差は１画素程度またはそれ以下である。同様
に、 a₁₀≒［D₀/2］ b₁₀≒［A₁/2］ c₁₀≒［B₁/2］のように予測ができる。ただし［］は整数部分を表わ
す。

しかも、この１フイールド隔てたフイールド間動きベク
トルの予測はその誤差が後の予測に影響しないので、一
時的に大きなベクトル変化があつて誤差が大きくなつた
としても、その後のベクトル変化が緩やかになれば再び
誤差の小さい予測ができる。

上記のような予測により行ない動き補正を第１図をもと
に説明する。

まず、第１図の映像入力端子（１）にd₁フイールドの信
号が入った時、非動き補正フイールドメモリ（３）にa₁
フイールド、c₁フイールドの信号が、また第１の動き補
正フイールドメモリ（４）にd₀フイールド、b₁フイール
ドの信号が記憶されている。このとき、動きベクトルB₁
が入力されると、第１の動き補正フイールドメモリ
（４）では動きベクトルB₁によつて記憶されているd₀フ
イールド、b₁フイールドが２次元的に移動して、映像入
力端子（１）に入力されるd₁フイールドを基準に動き補
正を行なう。これによりスイツチ（２）を通過する信号
は、d₁フイールドと動きベクトルB₁により補正をおこな
つたb₁フイールドとの信号である。

一方、入力された動きベクトルB₁は割算器（５）により
２で除算され、その出力の整数部分が１フイールド隔て
たフイールド間動きベクトルc₁₀の予測値となる。

第２の動き補正フイールドメモリ（６）には、非動き補
正フイールドメモリ（３）と同じくa₁フイールド、c₁フ
イールドの信号が記憶されている。第２の動き補正フイ
ールドメモリ（６）の内容は、１フイールド隔てたフイ
ールド間動きベクトルc₁の予測ベクトル［B₁/2］により
２次元的に移動してd₁フイールドを基準に動き補正が行
なわれる。

このようにd₁フイールドを基準に動き補正が行なわれた
a₁フイールド、b₁フイールド、c₁フイールド、d₁フイー
ルド自身の４フイールド分の信号がフイールド間補間フ
イルタ（７）に入り、フイールド間補間を可能とする。
通常スイツチ（９）は上側接点（9x）に接続され、フイ
ールド間補間された信号が通過するが、動画の信号につ
いてはフイールド間内挿によつて欠落サンプル点の補間
が行なえないので、動き検出された時には、スイツチ
（９）が画素単位で下側接点（9y）に接続され、フイー
ルド内補間フイルタ（８）によつてスイツチ（２）を通
過した信号のみからフイールド内補間を行なう。

フイールド間補間フイルタ（７）またはフイールド内補
間フイルタ（８）で欠落サンプル点を補間された信号の
サンプルレートは64.8MHzとなつており、映像出力端子
（10）から出力される。

このような予測により１フイールド隔てたフイールド間
動きベクトルを求める動き補正サブサンプル内挿方式で
は、パニング開始時にも、終了時にも安定であるだけで
なく、伝送されてくる動きベクトルに一時的な誤りがあ
つても後に悪影響を全く残さない。

また、パニング中に場面が変わり、またパニング中の映
像となるような特殊な場合にも安定である。さらにパニ
ングによる動きベクトルの変化が緩やかであるからこの
方式は非常に良好である。

映像入力端子（１）にd₁フイールドの信号が入力された
時の第１図の7a〜7gまでの信号の状態を第７図に示す。
第７図中、記号の上の横線は動き補正されたことを示
し、Ａは補間関数f_Aにより₁,₁,₁,d₁から補間され
る補間値を、またＢは補間関数f_Bにより₁,d₁から補間
される補間値を示す。

［発明の効果］以上のように、この発明に動き補正サブサンプル内挿方
式によれば、所定のサンプル位置を保って４フィールド
で一巡するように間欠的にサブサンプルして伝送されて
くるサンプル値に基づいて、受信側で４フィールド期間
に受信した上記サンプル値からその欠落点を補間して映
像信号を再生するサブサンプル内挿方式であって、送信
側で検出された映像信号の１フレーム隔てたフィールド
間動きベクトルに基づき、受信側で１フレーム前の上記
サンプル値の位置を補正した後、その欠落点を補間して
映像信号を再生する動き補正サブサンプル内挿方式にお
いて、上記１フレーム隔てたフィールド間動きベクトル
から、受信側において１フフィールド隔てたフィールド
間動きベクトルを、上記１フレーム隔てたフィールド間
動きベクトルの1/2に近似予測することにより生成し、
送信側で検出された上記１フレーム隔てたフイールド間
動きベクトルと受信側で生成された上記１フィールド隔
てたフィールド間動きベクトルを使用して、注目するフ
ィールドを基準に、過去３フィールドのサンプル値の相
対位置を補正し、静止画における補間と同様に、動画に
おいても４フィールド期間に受信したサンプル値からそ
の欠落点を補間するようにしたので、動画においても、
静止画と同様に、４フィールド期間に受信したサンプル
値からその欠落点を補間することができ、その結果、パ
ニングが起こった動画の場合であっも、優れた解像度の
画像を得ることができるという効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による動き補正サブサンプ
ル内挿方式の概略構成の例を示すブロツク図、第２図は
第１図の作用を説明するためのパニング時の動きベクト
ルの例を示すベクトル図、第３図は１フレーム隔てたフ
イールド間動きベクトルと１フイールド隔てたフイール
ド間動きベクトルの存在範囲を示す図、第４図、第５
図、第６図はそれぞれ１フレーム隔てたフイールド間動
きベクトルと１フイールド隔てたフイールド間動きベク
トルとの関係を示すベクトル図、第７図はこの発明によ
る動き補正サブサンプル内挿方式の信号の流れを示すタ
イミングチャート、第８図は従来の動き補正サブサンプ
ル内挿方式の概略構成の例を示すブロック図、第９図は
従来の動き補正サブサンプル内挿方式の動き補正を行な
わない場合の信号の流れを示すタイミングチヤート、第
10図は従来の動き補正サブサンプル内挿方式の動き補正
を行なう場合の信号の流れを示すタイミングチャートで
ある。（１）……映像入力端子、（２）……スイツチ、（３）
……非動き補正フイールドメモリ、（４）……第１の動
き補正フイールドメモリ、（５）……割算器、（６）…
…第２の動き補正フイールドメモリ、（７）……フイー
ルド間補間フイルタ、（８）……フイールド内補間フイ
ルタ、（９）……スイツチ、（10）……映像出力端子。なお、図中、同一符号は同一または相当部分を示す。

Claims

【特許請求の範囲】

【請求項１】所定のサンプル位置を保って４フィールド
で一巡するように間欠的にサブサンプルして伝送されて
くるサンプル値に基づいて、受信側で４フィールド期間
に受信した上記サンプル値からその欠落点を補間して映
像信号を再生するサブサンプル内挿方式であって、送信
側で検出された映像信号の１フレーム隔てたフィールド
間動きベクトルに基づき、受信側で１フレーム前の上記
サンプル値の位置を補正した後、その欠落点を補間して
映像信号を再生する動き補正サブサンプル内挿方式にお
いて、上記１フレーム隔てたフィールド間動きベクトルから、
受信側において１フィールド隔てたフィールド間動きベ
クトルを、上記１フレーム隔てたフィールド間動きベク
トルの1/2の近似予測することにより生成し、送信側で
検出された上記１フレーム隔てたフィールド間動きベク
トルと受信側で生成された上記１フィールド隔てたフィ
ールド間動きベクトルを使用して、注目するフィールド
を基準に、過去３フィールドのサンプル値の相対位置を
補正し、静止画における補間と同様に、動画においても
４フィールド期間に受信したサンプル値からその欠落点
を補間することを特徴とする動き補正サブサンプル内挿
方式。