JPH07154759A - ディジタル画像信号の適応補間装置 - Google Patents

Abstract

(57)【要約】 【目的】 補間処理を指示する補助情報の伝送を必要と
せず、周辺の伝送画素のみを使用して相関の強い方向を
検出し、検出された方向に対応する補間処理によって、
間引き画素を補間する。 【構成】 ブロック化回路２によって、補間しようとす
る間引き画素の周辺の複数の伝送画素からなるブロック
が構成される。相関判定回路４は、ブロック内で水平方
向にそれぞれ位置する複数の２画素の対に関して、これ
ら２画素間の差分値を形成し、垂直方向に関しても２画
素間の差分値を形成する。ブロック内で得られた水平方
向の差分値と垂直方向の差分値とを使用して、そのブロ
ックの相関の強い方向が検出される。補間回路３は、水
平方向の１／２平均補間、垂直方向の１／２平均補間、
周囲４点の１／４平均補間が可能とされ、相関判定結果
に応じてこれらの補間処理の出力の一つが選択される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、サブサンプリング信
号を受け取って、間引き画素を補間するのに適用される
ディジタル画像信号の適応補間装置に関する。

【０００２】

【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。

【０００３】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。２次元のオフセット
サブサンプリングの一例を図６に示す。水平方向（ｘ方
向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔ
ｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の
２倍に設定し、１画素おきに間引く（間引き画素を×で
示す）とともに、垂直方向に隣合う伝送画素（○で示
す）をサンプリング間隔の半分（Ｔｘ／２）だけオフセ
ットするものである。このようなオフセットサブサンプ
リングを行うことによる伝送帯域は、図７に示すよう
に、斜め方向の空間周波数に対して水平あるいは垂直方
向の空間周波数成分を広帯域化することができる。

【０００４】また、オフセットサブサンプリングされた
画像信号をモニタに表示したり、プリントアウトする場
合には、図８に示すように、間引き画素を隣接画素から
補間する必要がある。この補間処理は、図７に示す斜線
領域の周波数成分を通過させるとともに、折返し点Ａを
含む領域の周波数成分の通過を阻止する空間フィルタと
して機能するものであり、この補間処理は、サンプリン
グ理論上では後置フィルタとして位置付けられる。

【０００５】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前の前置フィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
て前置フィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるために前置フィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。

【０００６】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ング時に最適な補間方法の判定を予め行っておき、その
判定結果を補助情報として伝送あるいは記録する方法で
ある。例えば、水平方向の１／２平均値補間と垂直方向
の１／２平均値補間の何れの方が真値により近いかをサ
ブサンプリング時に検出しておき、１画素当り１ビット
の補助情報として伝送し、補間時には、この補助情報に
従って補間処理を行うものである。

【０００７】

【発明が解決しようとする課題】上述の補助情報を使用
する適応型補間方法においては、伝送画素に加えて補助
情報を伝送する必要があり、データ量の圧縮率が低下す
る問題を生じる。また、伝送、あるいは記録再生の過程
において、補助情報にエラーが生じた場合には、誤った
補間がなされるために、再生画像の劣化が生じやすい欠
点があった。

【０００８】従って、この発明の目的は、サブサンプリ
ングにより間引かれた画素を適応補間する際に、補助情
報を伝送する必要がなく、然も、高性能な補間を行うこ
とができるディジタル画像信号の適応補間装置を提供す
ることにある。

【０００９】

【課題を解決するための手段】この発明は、サブサンプ
リングにより所定の画素が間引かれたディジタル画像信
号を受け取り、間引き画素を補間するようにした適応補
間装置において、補間しようとする間引き画素の周辺の
複数の伝送画素を使用して、間引き画素を含む局所的画
像の相関の強い方向を検出するための相関判定回路と、
相関判定手段で調べられる相関の方向と対応する複数の
補間処理によって、間引き画素の補間値を生成すること
ができ、相関判定手段の検出結果に対応した補間値を出
力するための補間手段とからなることを特徴とするディ
ジタル画像信号の適応補間装置である。

【００１０】

【作用】入力信号中の伝送画素のみを使用して、補間対
象の間引き画素を含む領域の相関の強い方向を検出でき
る。従って、補助情報を伝送する必要がなく、また、補
助情報の伝送途中の誤りによって、誤った補間がなされ
ることを防止できる。

【００１１】

【実施例】以下、この発明の一実施例について説明す
る。図１において、１は、上述したようなオフセットサ
ブサンプリングされたディジタル画像信号の入力端子で
ある。具体的には、放送などによる伝送、ＶＴＲ等から
の再生信号が入力端子１に供給される。２は、テレビジ
ョン方式のラスター走査の順の入力信号をブロック構造
の信号に変換するためのブロック化回路である。

【００１２】ブロック化回路２の出力信号が補間回路３
および相関判定回路４に供給される。相関判定回路４
は、後述のように、間引かれない画素（伝送画素）を使
用してブロックの画像の相関の強い方向を決定する。相
関判定回路４は、相関の強い方向を指示する制御信号を
発生し、この制御信号が補間回路３に供給される。

【００１３】補間回路３は、相関判定回路４において、
調べられる複数の方向のそれぞれと対応する複数の補間
処理を行うことが可能な構成とされている。そして、相
関判定回路４からの制御信号によって、複数の補間処理
の一つが選択される。補間回路３から導出された出力端
子５には、間引き画素が補間された出力画像信号が取り
出される。

【００１４】相関判定回路４では、図２に示される複数
の伝送画素からなるブロック毎に相関の強い方向が決定
される。図２に示すように、補間対象の間引き画素（×
で示す）を中心として、その周辺のａ〜ｌの値が付され
た１２個の伝送画素が１ブロックを構成する。

【００１５】図３は、相関判定回路４の一例である。１
１がブロック化された画像信号の入力端子である。１２
Ｈ、１２Ｖでそれぞれ示す差分演算回路に対して入力信
号が供給される。差分演算回路１２Ｈ、１２Ｖで求めら
れた差分値が絶対値化回路１３Ｈ、１３Ｖにそれぞれ供
給され、絶対値差分が積算回路１４Ｈ、１４Ｖで積算さ
れる。

【００１６】積算回路１４Ｈから水平方向の評価値Ｈｅ
が発生し、積算回路１４Ｖから垂直方向の評価値Ｖｅが
発生する。これらの評価値ＨｅおよびＶｅが比較回路１
５に供給され、比較回路１５の出力端子１６に相関判定
結果を指示する制御信号が発生する。差分演算回路１２
Ｈ、絶対値化回路１３Ｈおよび積算回路１４Ｈは、下式
によって水平方向の評価値Ｈｅを発生する。

【００１７】 Ｈｅ＝｜ｌ−ａ｜＋｜ａ−ｇ｜＋｜ｄ−ｂ｜＋｜ｋ−ｃ｜＋｜ｃ−ｈ｜

【００１８】差分演算回路１２Ｖ、絶対値化回路１３Ｖ
および積算回路１４Ｖは、下式によって垂直方向の評価
値Ｖｅを発生する。

【００１９】 Ｖｅ＝｜ｆ−ｂ｜＋｜ｂ−ｉ｜＋｜ａ−ｃ｜＋｜ｅ−ｄ｜＋｜ｄ−ｊ｜

【００２０】上述の評価値が小さいほど、補間対象画素
の近傍の画像において、その方向の相関が強いと判定さ
れる。比較回路１５は、評価値ＨｅおよびＶｅを受け
て、相関の方向を決定する。すなわち、 ケース１（Ｈｅ＜Ｖｅ）；水平相関が垂直相関より強い ケース２（Ｈｅ＞Ｖｅ）；垂直相関が水平相関より強い ケース３（Ｈｅ＝Ｖｅ）；水平相関と垂直相関が等しい

【００２１】相関判定回路４は、上述の３個のケースを
区別することができる制御信号、例えば２ビットのディ
ジタル信号を出力する。なお、ブロックの画像の相関が
強い方向を検出するための差分演算に使用する二つの画
素の値の組合せは、上述のものに限定されない。

【００２２】図４は、相関判定回路４の他の構成例であ
る。差分演算回路１２Ｈからの差分値が絶対値化回路１
３Ｈを介して比較回路１５の一方の入力とされる。比較
回路１５の他方の入力は、差分演算回路１２Ｖからの差
分値を絶対値化回路１３Ｖを通したものである。

【００２３】比較回路１５は、近接する４点の画素に関
して、水平差分と垂直差分を下記のように比較する。 ・水平差分｜ｌ−ａ｜と垂直差分｜ｅ−ｄ｜の比較 ・水平差分｜ａ−ｇ｜と垂直差分｜ｆ−ｂ｜の比較 ・水平差分｜ｄ−ｂ｜と垂直差分｜ａ−ｃ｜の比較 ・水平差分｜ｋ−ｃ｜と垂直差分｜ｄ−ｊ｜の比較 ・水平差分｜ｃ−ｈ｜と垂直差分｜ｂ−ｉ｜の比較

【００２４】比較回路１５の比較結果がカウンタ１７を
制御する。カウンタ１７は、初期状態でクリアされてお
り、水平差分が垂直差分より小のとき、すなわち、水平
相関が垂直相関より強い時に、カウンタ１７の計数値ｃ
をｃ＋１にインクリメントする。一方、垂直差分が水平
差分より小のとき、すなわち、垂直相関が水平相関より
強い時に、カウンタ１７の計数値ｃをｃ−１にディクリ
メントする。図４では、省略されているが、比較回路１
５の出力によってこのようにカウンタ１７を制御するに
は、一例として、カウンタ１７をアップダウンカウンタ
の構成とし、比較信号に応答してカウンタ１７の加算入
力または減算入力に対するパルスを発生する回路を設け
れば良い。

【００２５】上述の５組の比較結果がシリアルに比較回
路１５から発生し、その結果に応答してカウンタ１７が
計数動作を行う。カウンタ１７の最終的な計数値は、５
個の比較結果の多数決論理による総合的判定結果を表
す。すなわち、 ケース１（ｃ＞0 ）；水平相関が垂直相関より強い ケース２（ｃ＜０）；垂直相関が水平相関より強い ケース３（ｃ＝０）；垂直相関と水平相関とが等しい

【００２６】図３または図４に示される相関判定回路４
からの制御信号によって制御される補間回路３の一例を
図５に示す。２１で示す入力端子には、ブロック化回路
２からのディジタル画像信号が供給される。入力端子２
１には、３個の補間回路２２、２３、２４が接続されて
いる。これらの補間回路２２、２３、２４の出力信号が
セレクタ２５に供給される。セレクタ２５に対して、入
力端子２６を通じて相関判定回路４の上述の制御信号が
供給される。セレクタ２５で選択された補間出力が出力
端子２７に取り出される。

【００２７】補間回路２２は、水平方向の１／２平均補
間の処理を行う。図２の画素配列の場合では、補間画素
の値ｙを、ｙ＝１／２（ｂ＋ｄ）の演算で生成する。補
間回路２３は、垂直方向の１／２平均補間の処理を行
う。図２の画素配列の場合では、補間画素の値ｙを、ｙ
＝１／２（ａ＋ｃ）の演算で生成する。補間回路２４
は、補間画素の上下左右の伝送画素の値を使用した１／
４平均補間の処理を行う。図２の画素配列の場合では、
補間画素の値ｙを、ｙ＝１／４（ａ＋ｂ＋ｃ＋ｄ）の演
算で生成する。

【００２８】相関判定回路４からセレクタ２５へ供給さ
れる制御信号によって、水平相関が垂直相関より強いケ
ース１では、補間回路２２の補間値をセレクタ２５が選
択する。垂直相関が水平相関より強いケース２では、補
間回路２４の補間値をセレクタ２５が選択する。水平相
関と垂直相関が等しいケース３では、補間回路２３の補
間値をセレクタ２５が選択する。

【００２９】なお、図示しないが、出力端子２７に取り
出された補間値と、伝送画素とが合成され、ディジタル
画像信号が形成される。さらに、ブロック分解回路によ
って、ラスター走査のディジタル画像信号が形成され、
モニタ受像機、ＶＴＲ等に供給される。

【００３０】なお、上述のこの発明の一実施例は、空間
的補間を行うものであるが、動き検出を行ない、静止の
場合では、時間方向の補間を行うものをさらに有するよ
うにしても良い。また、この発明は、オフセットサブサ
ンプリング以外のサブサンプリングに対しても適用する
ことができる。

【００３１】

【発明の効果】この発明は、入力信号中の伝送画素のみ
を使用して相関の強い方向を検出し、検出結果に基づい
て適応補間を行うものである。従って、従来のように、
補助情報を伝送する必要がなく、圧縮率を向上でき、ま
た、補助情報の伝送途中の誤りによって、補間処理が誤
ることを防止できる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】適応補間のために使用する画素の位置を示すた
めの略線図である。

【図３】相関判定回路の一例のブロック図である。

【図４】相関判定回路の他の例のブロック図である。

【図５】補間回路の一例のブロック図である。

【図６】２次元のオフセットサブサンプリングの構造を
示す略線図である。

【図７】２次元オフセットサブサンプリングにより伝送
可能な帯域の空間周波数スペクトルを示す略線図であ
る。

【図８】補間処理を示す略線図である。

【符号の説明】

２ ブロック化回路 ３ 補間回路 ４ 相関判定回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 サブサンプリングにより所定の画素が間
   引かれたディジタル画像信号を受け取り、上記間引き画
   素を補間するようにした適応補間装置において、 補間しようとする間引き画素の周辺の複数の伝送画素を
   使用して、上記間引き画素を含む局所的画像の相関の強
   い方向を検出するための相関判定手段と、 上記相関判定手段で調べられる相関の方向と対応する複
   数の補間処理によって、上記間引き画素の補間値を生成
   することができ、上記相関判定手段の検出の結果に対応
   した補間値を出力するための補間手段とからなることを
   特徴とするディジタル画像信号の適応補間装置。
2. 【請求項２】 請求項１に記載のディジタル画像信号の
   適応補間装置において、 上記相関判定手段は、上記間引き画素の周辺の伝送画素
   間の差分値に基づいて相関の強い方向を決定するように
   したディジタル画像信号の適応補間装置。
3. 【請求項３】 請求項１または請求項２に記載のディジ
   タル画像信号の適応補間装置において、 上記相関判定手段は、上記間引き画素の周辺の領域内
   で、隣接する４個の伝送画素毎に、水平方向の２画素の
   差分値と垂直方向の２画素の差分値とを比較することに
   よって相関判定を行ない、複数の相関判定結果の多数決
   論理によって総合的判定結果を形成し、上記総合的判定
   結果に基づいて相関の強い方向を検出するようにしたデ
   ィジタル画像信号の適応補間装置。