JPH0477516B2

JPH0477516B2 -

Info

Publication number: JPH0477516B2
Application number: JP7990287A
Authority: JP
Inventors: Noryuki Yamaguchi; Seiji Yao
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1987-03-31
Filing date: 1987-03-31
Publication date: 1992-12-08
Also published as: JPS63245188A

Description

【発明の詳細な説明】［産業上の利用分野］この発明はMUSE方式の高品位テレビ受像機
における画像処理に適用されるもので、伝送され
てくる動き情報から各フイールド間の動き補正量
を演算して、欠落点をフイールド間補間する動き
補正サブサンプル内挿方式に関するものである。

［従来の技術］従来から提案されているこの種の動き補正サブ
サンプル内挿方式に、NHK放送技術研究所が昭
和59年６月の創立記念講演会で発表した「高品位
テレビの新しい伝送方式（MUSE）」なる予稿資
料の中で述べられているものがある。第１１図
は、この動き補正サブサンプル内挿方式を行う一
構成例のブロツク回路図である。

図において、１は16.2MHzのサンプルレートで
伝送される映像信号を入力する映像入力端子、２
はスイツチで、入力端子１に入力される映像信号
と、後述する動き補正フイールドメモリ８の出力
信号とを32.4MHzのサブサンプルのタイミングで
切替える。１３は非動き補正フイールドメモリ
で、スイツチ２を通過した32.4MHzのサンプルレ
ートの１フレーム分の信号を蓄える。８は動き補
正フイールドメモリで、非補正フイールドメモリ
１３から出力された32.4MHzのサンプルレートの
１フレーム分の信号を蓄え、動きベクトルによつ
て動き補正を行なう。９はフイールド間補間フイ
ルタで、非動き補正フイールドメモリ１３の出力
信号およびスイツチ２を通過した信号にもとづい
て欠落サンプル点を補間する。１０はフイールド
内補間フイルタで、スイツチ２を通過した信号の
みにもとづいて、欠落サンプル点を補間する。１
１はスイツチで、動き補正を行なわない時には、
上側接点１１ｘに接続されてフイールド間補間フ
イルタ９の出力信号を通過させ、動き補正を行な
う時、または動き検出がなされた時には、下側接
点１１ｙに接続されてフイールド内補間フイルタ
１０の出力信号を通過させる。１２は欠落サンプ
ル点が補間され、64.8MHzのサンプルレートとな
つてスイツチ１１を通過した信号を出力する映像
出力端子である。

つぎに、上記構成の動作について説明する。

高品位テレビの伝送方式は４フイールドで一巡
するサブナイキストサンプリングであり、その所
要帯域幅は8.1MHzである。

いま、映像入力端子１に入力される映像信号
を、４フイールドを一単位としてa_i ，b_i，c_i，d_i
で表わすと、…a₀，b₀，c₀，d₀，a₁，b₁，c₁，d₁，
a₂，b₂，c₂，d₂…の順に、入力されるものとし、
いま、映像入力端子１に、a₂フイールドの信号が
入力されているとすると、非動き補正フイールド
メモリ１３には、一巡前の第２フイールドb₁と、
第４フイールドd₁の信号とが記憶されており、他
方、動き補正フイールドメモリ８には、一巡前の
第１フイールドa₁と、第３フイールドc₁の信号と
が記憶されている。カメラのパニングにより動き
ベクトルが存在した時、動き補正フイールドメモ
リ８の内容はそのベクトル量にしたがつて２次元
的に移動する。このとき、伝送されてくる動きベ
クトルが、１フレーム隔てたフイールド間の動き
補正量であると、動き補正フイールドメモリ８の
動き補正内容は、映像入力端子１に入力されてい
る第１フイールドa₂の信号を基準に行なわれる。

スイツチ２は32.4MHzのサブサンプルのタイミ
ングで切替わり、フイールドごとに位相が反転
し、また動きベクトルによつても反転する。した
がつて、上述の場合、映像入力端子１から入力さ
れた第１フイールドa₂の信号と、動き補正が行な
われた一巡前の第３フイールド₁の信号とがス
イツチ２を通過する。

スイツチ２を通過した信号と、非動き補正フイ
ールドメモリ１３の出力信号とは、フイールド間
補間フイルタ９に入力されて、フイールド間補間
を行なう。

動き補正を行なわない時、すなわちスイツチ１
１が上側接点１１ｘに接続している時には、映像
出力端子１２からフイールド間補間された64.8M
Hzのサンプルレートの映像信号を出力する。

また、スイツチ２を通過したフイールドの信号
は、フイールド内補間フイルタ１０に入力され
て、フイールド内補間を行ない、スイツチ１１が
下側接点１１ｙに接続されている時、映像出力端
子１２からフイールド内補間された64.8MHzのサ
ンプルレートの映像信号を出力する。

動き補正が行なわれずに映像入力端子１にa₂フ
イールドが入力されているときの第１１図中の各
部の信号１２ａ〜１２ｅを、第１２図ａ〜ｅに示
すとおりであり、第１２図ｅ中のＡは、フイール
ド間内挿である補間関数f_Aによりb₁，c₁，d₁，a₂
から補間される補間値を示す。

また、動き補正が行なわれ、映像入力端子１に
a₂フイールドが入力されているときの第１１図中
の各部の信号１３ａ〜１３ｅは、第１３図ａ〜ｅ
に示すとおりであり、第１３図中の記号の上の横
線は動き補正が行なわれたことを示し、第１３図
中のＢはフイールド内内挿である補間関数f_Bによ
り₁，a₂から補間される補間値を示す。

［発明が解決しようとする問題点］以上のような従来の動き補正サブサンプル内挿
方式によるときは、動き補正を行う場合に相隣り
合うフイールド間の関係を全く考慮に入れていな
いので、欠落サンプル点の補間を、フイールド内
補間フイルタ１０によつてフイールド内で行なわ
なければならない。そのため、動き補正を行なつ
た場合の解像度が低下するという問題があつた。

この発明は上記のような問題点を解消するため
になされたもので、動き補正を行なう場合にも解
像度の低下をおさえることができる動き補正サブ
サンプル内挿方式を提供することを目的とする。

［問題点を解決するための手段］この発明にかかる動き補正サブサンプル内挿方
式は、伝送されてくる１フレーム隔てたフイール
ド間の動きベクトルから、１フイールド隔てたフ
イールド間の動きベクトルを近似により予測し
て、第１フイールドから第４フイールドまでの全
ての信号を動き補正することによつて、フイール
ド間補間を行なえるようにしたことを特徴とす
る。

［作用］この発明によれば、伝送されてくる動きベクト
ルに急激な変化がないことを利用して、１フイー
ルド隔てたフイールド間の動きベクトルを、その
伝送側のとなり合うフイールドの２種類の動きベ
クトルの和の1/4に近似して予測することにより、
常にフイールド間補間フイルタを用いて補間を行
うことができ、これによつて動き補正時における
解像度の低下を抑えることができる。

［発明の実施例］以下、この発明の一実施例を図面にもとづいて
説明する。

第１図はこの実施例のブロツク回路図で、第１
１図と同一符号はそれぞれ同一部分を示してい
る。図において、スイツチ２は、映像入力端子１
に入力される映像信号と、後述する第２の動き補
正イフイールドメモリ８の出力信号とを32.4MHz
のサブサンプルのタイミングで切替える。３は１
フイールド遅延器で、伝送されてくる動きベクト
ルを１フイールド遅延する。４は加算器で、伝送
されてくる動きベクトルと、１フイールド遅延器
３から出力される１フイールド前の動きベクトル
を加算する。５は割算器で、加算器４の出力を４
で除算する。６は減算器で、伝送されてくる動き
ベクトルから、割算器５の出力を減じる。７は第
１の動き補正フイールドメモリで、スイツチ２を
通過した32.4MHzのサンプルレートの１フレーム
分の信号を蓄え、減算器６から出力されるフイー
ルド間の予測動きベクトルによつて動き補正を行
なう。８は第２の動き補正フイールドメモリで、
第１の動き補正フイールドメモリ７から出力され
る32.4MHzのサンプレートの１フレーム分の信号
を蓄え、減算器６から出力されるフイールド間の
予測動きベクトルによつて動き補正を行なう。フ
イールド間補間フイルタ９は、スイツチ２を通過
した信号および第１の動き補正フイールドメモリ
７の出力信号にもとづいて、欠落サンプル点を補
間する。フイールド内補間フイルタ１０およびス
イツチ１１の動作は第１１図に示した従来例と同
一である。

次にこの実施例の動作について説明する。

第２図は第１図の動作を具体的に説明するため
に、パンニングが起こつているときの動きベクト
ルを示し、同図中ｘ軸は画面水平軸、ｙ軸は画面
垂直軸を表わしている。

映像信号の各フイールドをa₀〜d₂で表わすと…
a₀，b₀，c₀，d₀，a₁，b₁，c₁，d₁，a₂，b₂，c₂，
d₂…の順に流れている。図中、それぞれの１フレ
ーム隔てたフイールド間動きベクトルを…Ａ→₁，
Ｂ→₁，Ｃ→₁，Ｄ→₁，Ａ→₂，Ｂ→₂，…で表わし、ま
た、作
図上得られる１フイールド隔てたフイールド間動
きベクトルを…ｂ→₁₀，ｃａ→₁₀，ｄ→₁₀，ａ→₁₀…で
表
わすと、１フレーム隔てたフイールド間動きベク
トルと、１フイールド隔てたフイールド間動きベ
クトルとの間には次の関係式が成り立つ。

ａ→₁₀＋ｂ→₁₀＝Ａ→₁ ｂ→₁₀＋ｃ→₁₀＝ＢＡ→₁ ｃ→₁₀＋ｄ→₁₀＝Ｃ→₁ ここで、たとえばb₁₀は次式のように書き替え
ることができる。

ｂ→₁₀＝Ａ／→₁＋Ｂ／→₁／４−１／２（ａ／→₁₀−
ｂ／→₁₀／２− ｂ／→₁₀−ｃ／→₁₀／２）上式の右辺第２項が十分小
さいならばb₁₀は次のように予測できる。

ｂ→₁₀＝Ａ／→₁＋Ｂ／→₁／４ここで、たとえばa₁〜d₁の４フイールドの関係
についてのみ考える。ただし１フレーム隔てたフ
イールド間動きベクトルは、水平方向成分５ビツ
ト、垂直方向成分３ビツトのデイジタル信号で、
１フイールドに１つ伝送される。すなわち、１フ
レーム隔てたフイールド間動きベクトルの大きさ
を画素長で述べると、水平方向成分が−15から＋
16まで、垂直方向成分が−３から＋４までの範囲
内であり、水平方向成分、垂直方向成分とも整数
である離散的な成分をもつ。これを図示すると、
第３図のように、１フレーム隔てたフイールド間
動きベクトルは破線で囲まれる範囲内にある。た
だし、第３図における原点はa₁フイールドの任意
の画素である。

パニングによる映像の平行移動が滑らかである
場合、a₁フイールドとb₁フイールドとの１フイー
ルド隔てたフイールド間動きベクトルは第３図の
一点鎖線で囲まれる範囲内にある。ここで、a₁〜
c₁の３フイールドの相対的な関係を３通り変化さ
せて第４図、第６図、第８図に示し、それぞれに
ついてd₁フイールドの位置と動きベクトルの予測
精度について調べる。

まず、第４図は、伝送される１フレーム隔てた
フイールド間動きベクトルＡ→₁の大きさが最大の
場合である。このとき、１フイールド隔てたフイ
ールド間動きベクトルａ→₁₀とｂ→₁₀もまた最大とな
りa₁〜c₁フイールドの相対的な位置が定められ
る。このとき、d₁フイールドは図中の三点鎖線の
範囲内に存在するが、急激な動き変化がないとす
ればd₁フイールドは斜線を施した範囲内に存在す
る。さらにパニングのような画像の平行移動が滑
らかであると、d₁フイールドは図中の黒丸で表わ
した位置に存在する可能性が高い。一例として、
d₁フイールドが図示した位置にあつた場合の予測
ベクトル（Ａ→₁＋Ｂ→₁）／４と、ベクトルｂ→₁₀とを
第５図に示す。このときの予測誤差は１画素長で
あり、黒丸で表わした位置にd₁フイールドがあれ
ば誤差はそれ以下となるので、このような予測は
妥当である。

つぎに第６図は、１フレーム隔てたフイールド
間動きベクトルＡ→₁の成分が（ｘ，ｙ）＝（10，２）
の場合を示している。第４図と同様に、１フイー
ルド隔てたフイールド間動きベクトルａ→₁₀は一点
鎖線で囲まれる範囲内に存在し、b₁フイールドが
図示されている点にある場合、１フイールド隔て
たフイールド間動きベクトルｂ→₁₀は二点鎖線で囲
まれる範囲内に存在する。事実、c₁フイールドは
図示されているように二点鎖線で囲まれる範囲内
にあるのでパニングによるこのような動きは可能
である。このとき、d₁フイールドは図中の三点鎖
線で囲まれる範囲内に存在するが、第４図におけ
る説明と同様に、斜線の範囲内にあり、その中で
も黒丸で表わした位置に存在する可能性が高い。
一例として、d₁フイールドが図示した位置にあつ
た場合の予測ベクトル（Ａ→₁＋Ｂ→₁）／４とべクト
ルｂ→₁₀とを第７図に示す。このときの予測誤差は
対角１画素長であり、黒丸で表わした位置にd₁フ
イールドがあれば誤差はそれ以下となるので第６
図の場合も予測は妥当である。

つぎに第８図は、１フレーム隔てたフイールド
間動きベクトルＡ→₁の成分が（ｘ，ｙ）＝（３，１）
の場合を示している。第４図と同様に１フイール
ド隔てたフイールド間動きベクトルａ→₁₀は一点鎖
線で囲まれる範囲内に存在し、b₁フイールドが図
示されている点にある場合、１フイールド隔てた
フイールド間動きベクトルｂ→₁₀は二点鎖線で囲ま
れる範囲内に存在する。事実、c₁フイールドは図
示されているように二点鎖線で囲まれる範囲内に
あるので、パニングによるこのような動きは可能
である。このとき、d₁フイールドは図中の三点鎖
線の範囲内に存在するが、第４図における説明と
同様に斜線の範囲内にあり、その中でも黒丸で表
わした位置に存在する可能性が極めて高い。一例
として、d₁フイールドが図示した位置にあつた場
合の予測ベクトル（Ａ→₁＋Ｂ→₁）／４とベクトルｂ→
_１０とを第９図に示す。このときの予測誤差は対角
１画素長であり、黒丸で表わした位置にd₁フイー
ルドがあれば誤差はそれ以下となるので第８図の
場合も予測は妥当である。

図の場合も予測は妥当である。

以上のように、１フイールド隔てたフイールド
間動きベクトルｂ→₁₀は１フレーム隔てたフイール
ド間動きベクトルＡ→₁とＢ→₁を用いて、（Ａ→₁＋Ｂ
→
_１）／４の整数部分での近似により予測ができ、
その誤差は対角１画素程度またはそれ以下であ
る。同様に、ａ→₁₀≒［（Ｄ→₀＋Ａ→₁）／４］ｂ→₁₀≒［（Ａ→₁＋Ｂ→₁）／４］ｃ→₁₀≒［（Ｂ→₁＋Ｃ→₁）／４］のように予測ができる。ただし［］は整数部分
を表わす。

しかし、従来から提案されている動き補正サブ
サンプル内挿方式で、送られてくる映像信号と動
きベクトルとのタイミングを考えれば、１フイー
ルド隔てたフイールド間動きベクトルは、１フレ
ーム隔てたフイールド間動きベクトルを用いて、
以下のように予測しなければならない。

ａ→₁₀＝Ｄ→₀−［Ｃ／→₁＋Ｄ／→₀／４］ｂ→₁₀＝Ａ→₁−［Ｄ／→₀＋Ａ／→₁／４］ｃ→₁₀＝Ｂ→₁−［Ａ／→₁＋Ｂ／→₁／４］ｄ→₁₀＝Ｃ→₁−［Ｂ／→₁＋Ｃ／→₁／４］しかも、この１フイールド隔てたフイールド間
動きベクトルの予測はその誤差が後の予測に影響
しないので、一時的に大きなベクトル変化があつ
て誤差が大きくなつたとしても、その後のベクト
ル変化が穏やかになれば再び誤差の小さい予測が
できる。

上記のような予測により行なう動き補正を第１
図および第１０図のタイミング図を用いて説明す
る。

まず、映像入力端子１にd₁フイールドの信号が
入力されたとき、第１の動き補正フイールドメモ
リ７にはa₁フイールド、およびc₁フイールドの信
号が、また第２の動き補正フイールドメモリ８に
はd₀フイールド、およびb₁フイールドの信号が記
憶されている。この時、動きベクトルＢ→₁が入力
されると、１フイールド遅延器３の出力は１フイ
ールド前の動きベクトルＡ→₁であるから、加算器
４からはＡ→₁＋Ｂ→₁が出力され、さらに割算器５に
より４で除算され、減算器６でＢ→₁から減算され
てその出力Ｂ→₁−1/4（Ａ→₁＋Ｂ→₁）の整数部分が１
フイールド隔てたフイールド間動きベクトルc₁₀
の予測値となる。第１の動き補正フイールドメモ
リ７の内容は、１フイールド隔てたフイールド間
動きベクトルc₁₀の予測ベクトルＢ→₁−［Ａ／→₁＋Ｂ
／→₁／４］により２次元的に移動して映像入力端子１に入力
されるd₁フイールドを基準に動き補正を行なう。

他方、第２フイールドメモリ８に記憶されてい
るd₀フイールドおよびb₁フイールドの信号は、１
フイールド前の時点では、第１の動き補正フイー
ルドメモリ７に記憶されており、この時に映像入
力端子１に入力されたc₁フイールドの信号を基準
に、１フイールド隔てたフイールド間動きベクト
ルb₁₀の予測ベクトルＡ→₁−［Ｄ／→₀＋Ａ／→₁／４］
により動き補正がなされているから、d₁フイールドを基準
に第１の動き補正フイールドメモリ７と同じく予
測ベクトルＢ→₁−［Ａ／→₁＋Ｂ／→₁／４］で動き補
正を行なえばよい。

このようにd₁フイールドを基準に動き補正が行
なわれたa₁フイールド、b₁フイールド、c₁フイー
ルド、d₁フイールド自身の４フイールド分の信号
がフイールド間補間フイルタ９に入り、フイール
ド間補間を可能とする。通常、スイツチ１１は上
側接点１１ｘに接続されていて、フイールド間補
間された信号が通過するが、動画の信号について
はフイールド間補間を行なわないので、動き検出
された時には、スイツチ１１が画素単位で下側接
点１１ｙに接続されてフイールド内補間フイルタ
１０によつてスイツチ２を通過した信号のみから
フイールド内補間を行なう。

フイールド間補間フイルタ９、またはフイール
ド内補間フイルタ１０で欠落サンプル点を補間さ
れた信号のサンプルレートは64.8MHzとなつてお
り、映像出力端子１２から出力される。

このような予測により、１フイールド隔てたフ
イールド間動きベクトルを求める実施例では、パ
ニング開始時にも終了時にも安定であるだけでな
く、伝送されてくる動きベクトルに一時的な誤り
があつても後に悪影響を残さない。

また、パニング中に場面が変わり、またパニン
グ中の映像となるような特殊な場合にも安定であ
る。さらにパニングによる動きベクトルによる動
きベクトルの変化が緩やかになる。

映像入力端子１にa₂フイールドの信号が入力さ
れているときの第１図の１０ａ〜１０ｆまでの信
号の状態を第１０図に示す。第１０図中、記号の
上の横線は動き補正されたことを示し、Ａは補間
関数f_Aにより₁，₁，₁，a₂から補間される補
間値を、Ｂは補間関数f_Bにより₁，a₂から補間
される補間値を示す。

［発明の効果］以上のように、この発明によれば、伝送される
動きベクトルから１フイールド分の動きベクトル
を近似予測し、この近似予測にもとづいて、各フ
イールドに対して全て動き補正を行なう構成とし
たので、静止画状態と同様、パニングがおこつて
もフイールド間補間フイルタによる保管を安定化
でき、しかも誤差の少ない補間を行なうことがで
きるので、パニング時の解像度の低下を十分にお
さえられることができる効果が得られる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロツク回路
図、第２図はこの実施例の作用を説明するための
パニング時の動きベクトルの例を示すベクトル
図、第３図は１フレーム隔てたフイールド間動き
ベクトルと１フイールド隔てたフイールド間動き
ベクトルの存在範囲を示す図、第４図、第６図お
よび第８図はそれぞれ１フレーム隔てたフイール
ド間動きベクトルと１フイールド隔てたフイール
ド間動きベクトルとの関係を示すベクトル図、第
５図、第７図および第９図はそれぞれ１フレーム
隔てたフイールド間動きベクトルから予測される
１フイールド隔てたフイールド間動きベクトルと
実際の１フイールド隔てたフイールド間動きベク
トルの例を示すベクトル図、第１０図はこの実施
例の信号の流れを示すタイミングチヤート、第１
１図は従来の動き補正サブサンプル内挿方式を適
用した一講成例のブロツク回路図、第１２図はこ
の従来例の動き補正を行なわない場合の信号の流
れを示すタイミングチヤート、第１３図は同じく
動き補正を行なう場合の信号の流れを示すタイミ
ングチヤートである。２……スイツチ、３……１フイールド遅延器、
４……加算器、５……割算器、６……減算器、７
……第１の動き補正フイールドメモリ、８……第
２の動き補正フイールドメモリ、９……フイール
ド間補間フイルタ、１０……フイールド内補間フ
イルタ、１１……スイツチ、１２……映像入力端
子。なお、各図中、同一符号は同一または相当部
分を示す。

Claims

【特許請求の範囲】

１４フイールドで一巡する所定のサンプル位置
でもつて間欠的にサブサンプルされ、伝送されて
くるサンプル値を、受信側で受信したサンプル値
の欠落を補間して映像信号を再生するとともに、
送信側において検出された映像信号の１フレーム
隔てたフイールド間の動き情報にもとづき、映像
信号を遅延させて補間するサンプル値の補間位置
を補正する動き補正サブサンプル内挿方式におい
て、注目するフイールドとこのフイールドより１
フレーム隔てた過去のフイールドとの間の第１の
動き情報と、当該注目するフイールドより１フイ
ールド前のフイールドとこのフイールドより１フ
レーム隔てた過去のフイールドとの間の第２の動
き情報との和の1/4を求め、この値を上記第１の
動き情報から減算して当該注目するフイールドの
動き情報を近似予測し、この近似予測した動き情
報のみにもとづいて当該注目するフイールドより
過去３フイールドのサンプル値の補間位置を補正
して欠落サンプル値の補間を行なうようにしたこ
とを特徴とする動き補正サブサンプル内挿方式。