JPH048088A - オフセット・サンプリング信号の補間装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、オフセット・サンプリングされた画像信号等
の補間装置に関する。

（従来の技術） 従来から、画像信号等の各種情報信号を記録、伝送する
際の帯域圧縮あるいは情報量の削減のための方法として
オフセット・サンプリングという方法が知られている。

このオフセット・サンプリングとは、２次元の場合には
第５図に示すように水平方向（Ｘ方向）と垂直方向（Ｘ
方向）とのサンプリング間隔（Ｔｘ、Ｔｙ）を原信号に
おける画素間隔（Ｈｘ、Ｈｙ）の２倍に設定するととも
に、垂直方向に隣り合うサンプリング点を互いにサンプ
リング間隔の半分（Ｔ　ｘ　／　２　）だけオフセット
するものであり、このようなオフセット・サンプルを行
うことによる伝送帯域は第６図に示すように斜め方向の
空間周波数に対して水平あるいは垂直方向の空間周波数
成分を広帯域化することができる。また、上述のように
オフセット・サンプリングされた画像信号をモニタに表
示したりプリントアウトする場合には、第７図に示すよ
うに各サンプリング点間の画素（補間画素）を隣接画素
から補間する補間処理が必要となる。このような補間処
理は、第６図に示す斜線領域の周波数成分を通過させる
とともに折返し点Ａを含む領域の周波数成分の通過を阻
止する空間フィルタとして機能するものであり、この補
間処理はサンプリング理論上では後置フィルタとして位
置付けられる。

ところで、上述のようなオフセット・サンプリングは、
サンプリング前の前置フィルタが正しくかけられている
場合、すなわち十分に帯域制限がされている場合には非
常に有効な方法であるが、例えばハードウェア上の制約
によって前置フィルタを十分にかけられない場合や伝送
帯域の広帯域化を図るために前置フィルタを十分にかけ
ない場合等には折返し歪の発生による画像劣化という問
題が生じてしまう。

すなわち、前置フィルタが不十分な場合にオフセット・
サンプリングを行うと、第８図（ａ）に示すように原信
号の水平方向の高域成分が垂直方向の高域成分として折
り返るとともに、同図（ｂ）に示すように垂直方向の高
域成分が水平方向の高域成分として折り返ってしまう。

このために、例えば第９図（ａ）に示すような直線部分
を含む画像を十分に帯域制限することなく同図（ｂ）に
示すようにオフセット・サンブリ〉・グし、この折返し
成分を含むサンプリング信号に対して上述のような補間
処理を行っても、原信号における高域成分と折り返しに
よる高域成分とを分離することができないために折返し
歪を完全に除去することができず、これによって、例え
ば同図（ｂ）に示すように直線部分に濃淡のムラや滲み
が発生する等、出力画像に著しい画像劣化が生じてしま
う。

そこで、従来においては、上述のような折返し歪の発生
を軽減するための手法として適応型補間方法という手法
が一般的に知られていた。

この適応型補間方法とは、サンプリングされた画像信号
に対して補間処理を行う際に、補間画素が水平方向の画
素から補間した方がよいか、垂直方向の画素から補間し
た方がよいか、あるいは周囲の画素すべてを用いて補間
した方がよいかを検出し、この検出結果に応じて、例え
ば第１０図（ａ）〜（Ｃ）に示すような特性を有する各
空間フィルタを選択的に用いて不要な折返し成分を除去
するものである。この場合、補間画素が水平方向の直線
を構成する画素であった場合には、第１０図（ａ）に示
すように水平方向の周波数成分をより多く通過させるよ
うな特性を有するフィルタを用いることによって折返し
成分を含む垂直方向の周波数成分をフィルタリング（除
去）する。

（発明が解決しようとする課題） ところで、上述のような適応型補間方法においては、ど
のような補間方法を用いて補完するかを判定する精度が
補間装置の性能を決定する。

即ち、誤判定が発生する確率が高い場合には、誤判定に
基づく補間処理を行うことにより本来の信号成分を減少
させるばかりではなく、逆に折返し歪を増大させてしま
うという問題点がある。

（課題を解決するための手段） 本発明は、上述のような実情に鑑みてなされたものであ
り、補間画素を中心とした周辺画像の「傾向」を正確に
検出して折返し歪の発生を防止することができるオフセ
ット・サンプリング信号の補間装置を提供することを目
的とする。

そして、本発明はこの目的を達成するために、上記補間
画素の周囲に位置する画素から構成される画素グループ
とこの画素グループの周囲に位置する複数の他の画素グ
ループとの相関度及び上記補間画素の周囲に位置する複
数の画素における各レベルの分布範囲とに応じて上記各
補間手段の出力のいずれかを選択する選択手段とを備え
たことを特徴とするオフセット・サンプリング信号の補
間装置、を提供するものである。

（作　用） 上述のような構成の本発明によれば、補間画素の周囲に
位置する画素から構成される画素グループとこの画素グ
ループの周囲に位置する複数の他の画素グループとの相
関度に応じてを補間手段を選択することによって、補間
画素の周囲の「傾向」を正確に判定した結果に基づく補
間処理を行うことができる。

これによって、従来の誤判定に基づく折返し歪の発生を
防止することができ、折返し歪に起因した画像劣化の発
生を防止することができる。

また、本発明においては、補間画素の周辺の模様等の変
化の「傾向」を各画素データのレベルの分布範囲を検出
することによって検出し、この検出結果に応じて補間画
素の周辺にレベル変動が少ない場合には補間画素の周辺
画素すべてに基づく補間出力を一位的に出力させること
により、誤判定が起こりにくい補間処理を実現すること
ができる。

（実施例） 以下、本発明に係るオフセット・サンプリング装置の好
適−な実施例を第１図ないし第４図を用いて詳細に説明
する。

第１図は本実施例の補間装置の構成を示すブロック図、
第２図は本実施例における補間画素周辺の「傾向」を検
出するために用いられる各画素の配置図である。

本実施例においては、補間画素が水平方向の画素から補
間した方がよいか、垂直方向の画素から補間した方がよ
いか、あるいは周囲の画素すべてを用いて補間した方が
よいかを検出するために、補間画素と水平方向及び垂直
方向に隣接する４つの画素Ａ（φ）〜Ｄ（φ）からなる
隣接画素グループφのみならず、このグループφにおけ
る各画素を各々１画素ずつ含む４画素からなる周辺画素
グループ１〜４を用い、これら各グループφ〜４相互間
の相関度を検出する。

すなわち、図示しないＡ／Ｄ　（アナログ−デジタル）
変換器等から出力される所定ビット（例えば１２ビツト
）の上記グループφの各画素データは、−船釣な水平方
向補間回路１、垂直方向補間回路２、及び２次元補間回
路３に各々供給される。上記水平方向補間回路１におい
ては、供給されたグループφの各画素データ（Ａ、Ｂ、
Ｃ。

Ｄ）に基づいて、例えば（Ｂ＋Ｄ）／２なる補間演算を
行うことによって補間画素の値を算出する。同様に、上
記垂直方向補間回路２においては、供給されたグループ
φの各画素データに基づいて、例えば（Ａ＋Ｃ）／２な
る補間演算を行うことによって補間画素の値を算出する
。更に、上記２次元補間回路３においては、供給された
グループφの各画素データに基づいて、例えば（Ａ十Ｂ
＋Ｃ＋Ｄ）／４なる補間演算を行うことによって補間画
素の値を算出する。

そして、上述のように算出された補間画素データは、後
述する補間手段選択回路４にてスイッチング制御される
第１のスイッチ５に各々供給される。

また、上記グループφの各画素データは、２値化回路１
０にて２値化されて第１ないし第４の相関度算出回路６
．７．８．９に各々供給される。

ここで、上記各２値化回路１０は、供給された各画素デ
ータを、上記グループφの画素データに応じて上記閾値
を逐次決定する平均値算出回路１１から供給される平均
値（閾値）に応じて２値化するものである。また、上記
平均値算出回路１１は上記グループφの画素データに応
じて逐次決定される閾値データを上記２値化回路１０及
び後述する他の２値化回路１２．１３．１４．１５に各
々供給する。即ち、本実施例における上記平均値算出回
路１１には、上記グループφの各画素データが供給され
る最大値・最小値検出回路１６にて検出されたグループ
φにおける各画素データの最大値及び最小値が供給され
、これら最大値と最小値との平均値を上記閾値としてい
る。

一方、上記第１の相関度算出回路６には上記グループ１
の各画素データが２値化回路１２にて２値化されて供給
され、この第１の相関度算出回路６は供給されたグルー
プφの画素データ（２値化データ）とグループ１の画素
データ（２値化データ）とに基づいてこれらグループ間
の相関度を算出する。同様に、上記第２ないし第４の相
関度算出回路７〜９には、グループ２ないしグループ４
の各画素データが２値化回路１３〜１５にて２値化され
て各々供給され、第２の相関度算出回路７はグループφ
とグループ２との相関度を算出し、第ミの相関度算出回
路８はグループφとグループ３との相関度を算出し、第
４の相関度算出回路９はグループφとグループ４との相
関度を算出する。そして、これら各相関度算出回路によ
る算出出力Ｐ（１）〜Ｐ（４）は補間手段選択回路４に
各々供給される。

なお、本実施例における上記各相関度算出回路７〜９に
よる相関度Ｐ　（Ｎ）の算出は、Ｐ（Ｎ）＝Ａ（φ）■
Ａ（Ｎ）　＋　　Ｂ（φ）■Ｂ（Ｎ）　＋Ｃ（φ）　Ｏ
Ｃ（Ｎ）　＋　　Ｄ（φ）［相］Ｄ　（Ｎ）（Ｎ＝１．
２，３．４） なる式に基づいて行われる。

また、上式において、Ｘ■Ｙの演算は下表のような演算
規則に則っている。

上述のような相関度算出出力Ｐ　（Ｎ）は上記補間手段
選択回路４に供給され、この補間手段選択回路４は供給
された上記出力Ｐ　（Ｎ）に基づいてグループφと相関
度が最も大きいグループを検出し、この検出結果に応じ
て所定の補間方法を選択する選択信号を上記第１のスイ
ッチ５に供給する。

そして、この第１のスイッチ５は、上記選択信号にて指
定された上記各補間回路からのいずれかの補間出力を選
択的に第２のスイッチ１７に供給する。

また、この第２のスイッチ１７には上記２次元補間回路
３からの補間出力が供給され、この第２のスイッチ１７
はコンパレータ１８の比較出力にてスイッチング制御さ
れて上記２次元補間回路３からの補間出力あるいは上記
第１のスイッチ５からの補間出力を選択的に出力する。

即ち、上記最大値・最小値検出回路１６にて検出された
グループφ内の最大値及び最小値は分布範囲検出回路１
９に供給され、この分布範囲検出回路１９は供給された
これら最大値と最小値との差分、即ち画素データの分布
範囲（例えばコントラスト）を算出して上記コンパレー
タ１８に供給する。

そして、このコンパレータ１８は、上記分布範囲（偏位
置）と所定のレファレンス値Ｋｃとを比較して分布範囲
の方が大きい場合、即ち補間画素の周辺に所定以上の輝
度や色等のレベル変化が存在する場合に上記第１のスイ
ッチ５からの補間出力を出力させ、レファレンス値の方
が大きい場合、即ち補間画素の周辺に変化が少ない場合
に上記２次元補間回路３からの補間出力を出力させるよ
うに上記第２のスイッチ１７をスイッチング制御する。

なお、上記レファレンス値Ｋｃは、例えば補間出力をモ
ニタしながら可変設定してもよい。

次に、上述のような構成の補間装置の動作を説明すると
、第３図に示すように、まず供給されたグループφの各
画素データから最大値及び最小値を検出ｑ（ステップ１
）、これら値の差分、即ち上記分布範囲と所定のレファ
レンス値Ｋｃとを比較する（ステップ２）。そして、レ
ファレンス値の方が大きい場合には上記２次元補間回路
の補間出力を出力させる（ステップ３）。

一方、上記分布範囲が所定のレファレンス値Ｋｃよりも
大きい場合には上記各相関度算出回路における各算出出
力Ｐ　（Ｎ）から水平方向における相関度の大きいもの
及び垂直方向の相関度の大きいものを各々検出しくステ
ップ４）、これらが略等しいか否か判定する（ステップ
５）。

この結果、等しい場合には、補間画素が水平方向の画素
から補間した方がよいか、垂直方向の画素から補間した
方がよいか判別不可能として上記２次元補間回路３の出
力を上記スイッチ５から出力させるような選択信号を出
力する（ステップ３）。

また、等しくない場合には水平方向の相関度と垂直方向
の相関度の大小を判定しくステップ６）、水平方向の相
関度が大きい場合には、補間画素は水平方向の画素から
補間した方がよいと判断して上記水平方向補間回路１の
出力を上記スイッチ５から出力させるような選択信号を
出力しくステップ７）、垂直方向の相関度が大きい場合
には、補間画素は垂直方向の画素から補間した方がよい
と判断して上記垂直方向補間回路２の出力を上記スイッ
チ５から出力させるような選択信号を出力する（ステッ
プ８）。

このように、本実施例においては、補間画素に隣接する
画素を含む隣接画素グループと周辺画素グループとの相
関度を検出するようにしたため、補間画素が水平方向の
画素から補間した方がよいか、垂直方向の画素から補間
した方がよいか、あるいは周囲の画素すべてを用いて補
間した方がよいかを正確に判定することができる。

そして、このような正確な判定に基づいて、補、間画素
を隣接画素のデータから演算して算出する場合の演算に
用いられる隣接画素の選定、即ち補間回路１〜３の選択
を行うことによって最適な補間処理を行うことができる
。

よって、本実施例においては、上述のような誤判定に起
因した折返し歪の発生がほとんど発生せず、これによっ
て折返し歪による画像劣化を防止することができる。

また、本願出願人のシミュレーション実験の結果、本実
施例による誤判定の発生確率は従来に比して極めて少な
（なることが判明した。

さらに、上述の実施例においては、上記各相関度見比回
路に供給される各画素データを２値化することにより、
これら回路における演算処理を簡単にすることができ、
しいては処理の高速化を及びハードウェアの縮小化を図
ることができる。

また、本実施例においては、上記グループφにおける各
画素の分布範囲を検出することによって補間画素の周辺
の変化の「傾向Ｊを検出し、この検出結果に応じて補間
画素の周辺に変化が少ない場合に上記２次元補間回路３
からの補間出力を一位的に出力させることにより、誤判
定の少ない補間処理を実現することができる。なお、こ
のような補間画素の周辺の模様等の変化の「傾向」を検
出する動作と相関度検出動作とは同時に平行して実行し
てもよし、シリアルに実行してもよい。

ところで、上述の実施例では、各グループを各々４画素
で構成したが、本発明としてはこれに限るものではなく
、例えば第４図に示すように各グループをより多くの画
素（この場合には１２画素）にて構成するようにしても
よ（、より正確な「傾向」の判定ができる。

なお、上述の実施例においては、２次元のオフセット・
サンプリングの場合について説明したが動画等の３次元
画像をオフセット・サンプリングした場合の補間装置に
本発明を適用してもよし）ことは当然である。

また、上述の実施例において、各補間回路１〜３は補間
画素に隣接する４画素のみを演算に用し１で補間画素を
求めたが、この演算にさらに周辺の画素を用いてもよい
。

さらに、上述の実施例においては、各画素データを２値
化したが、本発明としては２値化に限定されるものでは
なく、必要とされる処理速度との関係で多値化してもよ
いことは当然である。

また、上述の実施例では特に第２のスイッチ１７を設け
たが、本発明としてはこのような構成に限定されるもの
ではなく、例えば上記コンパレータ１８の比較出力を上
記補間手段選択回路４に供給して選択信号を生成しても
よい。

（発明の効果） 上述の説明から明らかなように、本発明によれば、オフ
セット・サンプリングされた信号から補間画素を算出し
て補間するための複数の補間手段からの最適な補間手段
の選択を、この補間画素の周囲に位置する画素からなる
複数の画素グループどうしの相関度に基づいて決定する
ようにしたために、補間画素が水平方向の画素から補間
した方がよいか、垂直方向の画素から補間した方がよい
か、あるいは周囲の画素すべてを用いて補間した方がよ
いかを正確に判定することができる。よって、本発明に
よれば、上述のような誤判定に起因した折返し歪の発生
を防止することができ、これによって折返し歪による画
像劣化を防止することができる。

また、本発明においては、補間画素の周辺の各画素デー
タのレベルの分布範囲を検出し、この検出結果に応じて
補間画素の周辺に変化が少ない場合には補間画素周辺の
すべての画素データに基づく補間出力を一位的に出力さ
せることにより、誤判定の少ない補間処理を実現するで
゛とができる。

【図面の簡単な説明】

第１図は本発明に係る実施例の構成を示すブロック図、
第２図（ａ）（ｂ）は補間画素と隣接画素グループ及び
周辺画素グループとの関係を示す画素配置図、第３図は
第１図に示した実施例の動作を示すフローチャート、第
４図は補間画素と隣接画素グループ及び周辺画素グルー
プとの他の関係を示す画素配置図、第５図は２次元のオ
フセット・サンプリング構造を示す図、第６図はオフセ
ット・サンプリングにより伝送可能な帯域の空間周波数
スペクトラムを示す図、第７図はサンプリングデータか
ら原信号を復元する補間動作を模式的に示した図、第８
図（ａ）（ｂ）は折返し成分の空間周波数スペクトラム
を示す図、第９図は折返し歪の発生例を示す図、第１０
図（ａ）〜（ｃ）は補間回路の特性図である。 ２・・・垂直方向補間回路、 ３・・・２次元補間回路、 ４・・・補間手段選択回路（選択手段）、５・・・スイ
ッチ、 ６．７，８．９・・・相関度算出回路、１０．１２．１
３．１４．１５・・・２値化回路、１１・・・閾値決定
回路、 １０・・・分布範囲検出回路。 特許出願人　　キャノン株式会社 １・・・水平方向補間回路、 ｖ５（支） オフビ・、７ト・ガ叡°りンフ゛（？決定り第す区 オフビソトパす〕ブりン７°に。１す、イ云妃（可撤１
なべ一又パン）ｌ：９ｔ、に第７図 拍聞山素 ／ （ｄ） （、、ｂ） ○ ・ ・ ・ ○

Claims (1)

1. 【特許請求の範囲】 互いに補間方法なる複数の補間手段と、 上記補間画素の周囲に位置する画素から構成される画素
   グループとこの画素グループの周囲に位置する複数の他
   の画素グループとの相関度及び上記補間画素の周囲に位
   置する複数の画素における各レベルの分布範囲とに応じ
   て上記各補間手段の出力のいずれかを選択する選択手段
   とを備えたことを特徴とするオフセット・サンプリング
   信号の補間装置。