JPH11213146A

JPH11213146A - 画像処理装置

Info

Publication number: JPH11213146A
Application number: JP10016039A
Authority: JP
Inventors: Teruhiko Matsuoka; 輝彦松岡
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-01-28
Filing date: 1998-01-28
Publication date: 1999-08-06
Anticipated expiration: 2018-01-28
Also published as: US6272261B1; JP3549720B2

Abstract

(57)【要約】【課題】文字画像と写真画像とが混在した画像に対し
ても、文字領域の解像性と写真領域の滑らかさとを同時
に満足した高解像度変換や拡大処理を行うことができる
画像処理装置を提供する。【解決手段】処理対象となる部分画像を周波数変換手
段２により周波数変換し、周波数変換の結果に基づい
て、周波数変換係数マトリクスを複数のパターンで複数
の領域に分割し、各領域毎の平均係数値を特徴量として
数値化する。この各領域毎の平均係数値が、変換フィル
タ選択手段４における階層型ニューラルネットワークに
入力され、出力として各変換フィルタの適合度を算出
し、適合度の高い変換フィルタを選択する。そして、各
部分画像に適した変換フィルタを用いて、補間処理手段
５によって補間処理が行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多階調画像に対し
て、高解像度変換や拡大処理などを行う画像処理装置に
関するものである。

【０００２】

【従来の技術】例えばスキャナやデジタルカメラなどに
よって入力された多階調画像に対して、高解像度変換や
拡大処理などを行う際には、補間画素の周辺の画素のデ
ータを用いて積和演算を行い、演算結果に基づいて補間
画素のデータを決定する。このような補間演算法として
は、補間画素に最も近い位置にある画素のデータを、
該補間画素のデータとして用いる単純補間法（Nearest
Neighbor）、周辺画素のデータを用いて、平面的な積
和演算を行う線型補間法（Bi-Linear ）、周辺画素の
データを用いて、曲面的な積和演算を行う曲面補間法
（Cubic Convolution ）などが挙げられる。

【０００３】それぞれの補間演算法には、長所と短所が
ある。単純補間法においては、処理時間は早いが、斜め
のライン等がギザギザの状態（ジャギー）になってしま
い、画質としては良くない。線型補間法においては、処
理時間は比較的短く、濃度変化の緩やかな部分の補間に
対してはうまく補間がなされるが、エッジ部のような、
急激に濃度が変化している部分に対しては、エッジがぼ
けて補間されてしまう。曲面補間法においては、濃度変
化が緩やかな部分で若干画質が落ちるが、滑らかな画像
が得られ、エッジもぼけずに補間される。しかしなが
ら、処理時間が比較的長くかかり、濃度変化の緩やかな
部分に小さな点のようなノイズがある場合、そのノイズ
を強調してしまい、画質が劣化する。

【０００４】

【発明が解決しようとする課題】上記のような補間演算
法をそのまま単独で用いると、例えば文字画像や写真画
像が混在した画像に対して、文字部分の解像性と写真領
域の滑らかさとを同時に満足した高解像度変換や拡大処
理を行うことができない。

【０００５】これに対して、部分領域の濃度変化に基づ
いてエッジ部と非エッジ部とを判断し、各領域ごとにそ
れぞれ異なる補間処理を行う方法が提案されている。例
えば、特開平5-135165号公報には、ある注目画素とその
周辺画素を含めた局所領域において、濃度の最大値と最
小値とを求め、その最大値から最小値を引いた最大濃度
値を用いて、文字領域か写真領域かを判断する画像処理
装置が開示されている。

【０００６】しかしながら、局所領域にノイズが発生し
ていた場合などには、実際には濃度変化が少ないはずの
領域であるにも関わらず、最大濃度差として大きな値が
得られ、間違った判断をすることが考えられる。また、
このような、濃度変化を用いるエッジの抽出方法では、
抽出の仕方によっては、エッジの方向の変化に伴って局
所領域内の濃度変化のパターンが変化してしまう。よっ
て、画像を回転させた場合などには、異なる抽出条件が
必要となり、条件式が複雑化し、処理時間が長くなるな
どの問題が生じる。

【０００７】本発明の目的は、文字画像と写真画像とが
混在した画像に対しても、文字領域の解像性と写真領域
の滑らかさとを同時に満足した高解像度変換や拡大処理
を行うことができる画像処理装置を提供することにあ
る。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
めに、請求項１記載の画像処理装置は、処理対象の多階
調画像を部分画像に分割し、各部分画像に対して高解像
度変換や拡大処理を行う画像処理装置であって、上記部
分画像に対して周波数変換処理を行う周波数変換手段
と、上記周波数変換手段の出力に基づいて、上記部分画
像の特徴量を抽出する特徴量抽出手段と、上記特徴量抽
出手段の出力に基づいて、上記部分画像に対して高解像
度変換や拡大処理を行うための変換フィルタを選択する
変換フィルタ選択手段とを備えていることを特徴として
いる。

【０００９】上記の構成によれば、周波数変換手段が上
記部分画像に対して周波数変換処理を行い、特徴量抽出
手段が上記部分画像の特徴量を抽出し、変換フィルタ選
択手段が、上記特徴量抽出手段の出力に基づいて上記変
換フィルタを選択するので、各部分画像の特徴に適した
補間を行うことができる。詳しく説明すると、周波数変
換処理の結果に基づいて各部分画像の特徴を判断するの
で、部分画像内にノイズが生じている場合でも、そのノ
イズにほとんど影響されずに、該部分画像に最適な変換
フィルタを選択することができる。よって、例えば文字
画像のようなエッジ画像に対しては、そのエッジが保存
されるような補間をし、例えば写真画像のような濃度変
化が滑らかな画像に対しては、その滑らかさが維持され
るような補間をすることができる。これにより、画質劣
化の少ない高解像度変換画像を得ることができる。

【００１０】請求項２記載の画像処理装置は、請求項１
記載の構成において、上記変換フィルタ選択手段は、上
記特徴量を入力とし、上記部分画像に対する各変換フィ
ルタの適合度を出力する階層型ニューラルネットワーク
を備え、上記適合度に基づいて変換フィルタを選択する
ことを特徴としている。

【００１１】上記特徴量から上記部分画像に対する各変
換フィルタの適合度を算出する際に、例えば論理演算の
ような形式で演算を行う場合、上記特徴量の数が多くな
ると膨大な計算量となり、処理時間が長くなってしま
う。しかしながら、上記の構成によれば、予め学習させ
てある階層型ニューラルネットワークによって各変換フ
ィルタの適合度を算出するので、上記特徴量の数が多少
多くなっても、短い処理時間で演算を行うことができ
る。よって、特徴量をある程度多くすることができるの
で、より的確に、各部分画像に適した変換フィルタを選
択することができる。

【００１２】請求項３記載の画像処理装置は、請求項１
記載の構成において、上記特徴量抽出手段は、上記周波
数変換手段によって得られた、部分画像と同サイズの周
波数変換係数からなるマトリクスを、複数のパターンで
複数の領域に分割し、各領域毎に周波数変換係数の平均
値を上記特徴量として算出することを特徴としている。

【００１３】上記の構成によれば、特徴量抽出手段は、
上記の周波数変換係数からなるマトリクスを複数のパタ
ーンで複数の領域に分割し、各領域毎に周波数変換係数
の平均値を上記特徴量として算出するので、部分画像内
にエッジがある場合、エッジが向いている方向によら
ず、各部分画像の特徴を的確に示す特徴量を算出するこ
とができる。

【００１４】請求項４記載の画像処理装置は、請求項３
記載の構成において、上記特徴量抽出手段は、上記周波
数変換係数の絶対値の平均値を上記特徴量として算出す
ることを特徴としている。

【００１５】周波数変換係数は、一般に正負の値をとる
ので、上記の各領域毎の周波数変換係数の平均値をとる
際に、そのままの値で総和を計算すると、正負の値同士
で打ち消し合ってしまい、特徴が現れなくなってしま
う。しかしながら、上記の構成によれば、上記特徴量と
して、周波数変換係数の絶対値の平均値を用いるので、
上記の各領域の特徴を確実に反映することができる。よ
って、各部分画像の特徴を的確に示す特徴量を算出する
ことができる。

【００１６】請求項５記載の画像処理装置は、請求項３
記載の構成において、上記特徴量抽出手段は、上記の周
波数変換係数からなるマトリクスの交流成分を複数の領
域に分割するパターンとして、低周波成分から高周波成
分までの複数の領域に分割するパターンと、マトリクス
の左上を中心として放射状に一定の角度で複数の領域に
分割するパターンとを用いることを特徴としている。

【００１７】上記の構成によれば、低周波成分から高周
波成分までの複数の領域に分割するパターンと、マトリ
クスの左上を中心として放射状に一定の角度で複数の領
域に分割するパターンとによって、上記の周波数変換係
数からなるマトリクスの交流成分を複数の領域に分割す
るので、部分画像内にエッジがある場合、そのエッジの
方向が、縦か横かそれ以外かを判断することができる。
よって、より的確に、各部分画像の特徴を示す特徴量を
算出することができる。

【００１８】請求項６記載の画像処理装置は、請求項１
記載の構成において、上記周波数変換手段は、４×４の
マトリクスサイズの離散コサイン変換によって周波数変
換を行うことを特徴としている。

【００１９】上記の構成によれば、４×４のマトリクス
サイズの離散コサイン変換によって周波数変換を行って
いるので、通常良く用いられる８×８のマトリクスサイ
ズの離散コサイン変換に比べて、実際に装置として設計
した場合、回路の規模を小さくすることができ、また、
処理量も減少する。よって、装置の小型化およびコスト
の低減化が可能となり、かつ、演算時間を短縮すること
ができる。

【００２０】請求項７記載の画像処理装置は、請求項２
記載の構成において、上記変換フィルタとして、シグモ
イド関数を用いたフィルタを用いる場合、該シグモイド
関数は、ｘを補間画素の位置座標とすると、1/(1+exp(-
Wg(x-0.5))) の式で表され、上記変換フィルタ選択手段
においてシグモイド関数を用いたフィルタが選択された
場合に、その適合度の大きさに比例して上式のWgの値が
大きくなるように設定されていることを特徴としてい
る。

【００２１】上記の構成によれば、上記変換フィルタ選
択手段においてシグモイド関数を用いたフィルタが選択
された場合に、その適合度の大きさに比例して上式のWg
の値が大きくなるように設定されているので、適合度に
応じて、その適合度に最適な補間処理を行うことができ
る。例えば、適合度が大きい場合には、シグモイド関数
のしきい値付近の傾きが大きくなり、エッジが保存され
るような補間処理がなされ、適合度が小さい場合には、
シグモイド関数のしきい値付近の傾きが小さくなり、滑
らかな補間処理がなされることになる。よって、部分画
像の特徴に応じて、より詳細に補間処理の制御を行うこ
とが可能となり、画質劣化の少ない、自然な高解像度変
換画像を得ることができる。

【００２２】

【発明の実施の形態】本発明の実施の一形態について図
１ないし図９に基づいて説明すれば、以下のとおりであ
る。

【００２３】図１は、本実施の形態に係る画像処理装置
の概略構成を示すブロック図である。該画像処理装置
は、部分画像抽出手段１、周波数変換手段２、係数演算
手段（特徴量抽出手段）３、変換フィルタ選択手段４、
および補間処理手段５を備えている。

【００２４】部分画像抽出手段１は、イメージスキャナ
やデジタルカメラ等の画像入力装置から入力された原画
像のデータ、もしくは、既に入力され、ハードディスク
やメモリなどの記憶装置に記憶されている多階調の原画
像データから、処理対象となる部分画像のデータをメモ
リに読み出してくる。

【００２５】周波数変換手段２は、部分画像抽出手段１
によって抽出された部分画像に対して、該部分画像と同
サイズの、ＤＣＴ（Discrete Cosine Transform ）等の
周波数変換マトリクスを用いて周波数変換処理を行う。
そして、抽出された部分画像の周波数領域に変換された
値を、周波数変換マトリクスの係数としてメモリ等に一
時保存しておく。

【００２６】係数演算手段３は、次に示すような動作を
行う。周波数変換手段２によって得られた、周波数変換
係数からなるマトリクスを、例えば、低周波から高周波
までの３つの領域、およびマトリクスの左上を中心とし
てマトリクス左側から上側まで放射状に、３０度ずつ３
つの領域に分割する。そしてこれらの６つの領域毎に係
数の絶対値の平均値を求め、各領域の平均係数値として
一時保存しておく。

【００２７】変換フィルタ選択手段４は、次に示すよう
な動作を行う。係数演算手段３によって計算された６つ
の領域の平均係数値を、階層型のニューラルネットワー
クに入力する。上記階層型ニューラルネットワークとし
ては、予め実験データの学習によって最適な補間演算法
を用いたフィルタを選択することができる、６入力３出
力の３層パーセプトロンを用いる。階層型ニューラルネ
ットワークは、６つの入力データに基づいて画像の特徴
を判断し、３つのフィルタに対する適合度を出力する。
これらの適合度の中で最大の適合度をもつフィルタが、
部分画像に対応するフィルタとして選択される。上記の
３つのフィルタとして、本実施形態では、曲線補間法を
用いたフィルタ、線型補間法を用いたフィルタ、および
シグモイド関数を用いたフィルタを用いる。

【００２８】補間処理手段５は、変換フィルタ選択手段
４によって選択されたフィルタを用いて、部分画像に対
し、高解像度変換や拡大処理を行うための補間処理を行
い、補間データをメモリなどに保存する。

【００２９】次に、本実施形態に係る画像処理装置にお
ける処理の流れを、詳細に説明する。ここでは、３種類
の特徴的な部分画像の例として、図２（ａ）ないし
（ｃ）に示すような、４×４画素からなり、２５６階調
を有する部分画像に対しての処理について説明する。な
お、図２（ａ）は非エッジ画像、図２（ｂ）は斜めエッ
ジ画像、図２（ｃ）は縦エッジ画像を示している。ま
た、以下の説明においては、２倍の解像度変換を行う補
間処理について説明する。

【００３０】部分画像抽出手段１は、予め入力された原
画像から、図２（ａ）ないし（ｃ）に示すような４×４
画素分の画像データを読み出してくる。そして、そのデ
ータをバッファに一次保存すると同時に、周波数変換手
段２にそのデータを送る。

【００３１】そして、一連の流れが終了し、バッファに
一次保存している画像データを変換し終えたら、横方向
に、次の４×４画素の画像データを読み出しに行く。こ
の際に、図３に示すように、現在の４×４画素の右端一
列分の画素が、次の４×４画素の左端一列分の画素とな
るように読み出してくる。また、横方向への４×４画素
の読み出しが一番右端の画素の列まで来たときには、下
の行の一番左端から読み出すことになるが、この際に
も、直上の４×４画素の下端一行分の画素が、直下の４
×４画素の上端一行分の画素となるように読み出してく
る。これにより、ブロック歪みが解消される。

【００３２】周波数変換手段２は、部分画像抽出手段か
ら送られてきた画像データを、基底の長さが４のＤＣＴ
で周波数変換を行う。

【００３３】ここで、ＤＣＴについて簡単に説明する。
ＤＣＴとは、離散コサイン変換の略であり、画像処理で
使用される２次元ＤＣＴを式で表すと次のようになる。

【００３４】

【数１】

【００３５】ただし、 a_uv(m,n)=a(u,m)a(v,n) =(2/N)C(u)C(v)cos((2m+1)uπ/2N) cos((2n+1)vπ/2N) ここで、x(m,n)は画像データ、 a_uv(m,n) は２次元ＤＣ
Ｔの基底、N は基底の長さ、X(u,v)はＤＣＴ係数であ
る。また、C(u),C(v) は定数であり、次に示す値となっ
ている。

【００３６】C(p)=1/ √２ (p=0), C(p)=1 (p≠0) さらに、X(u,v)においては、X(0,0)をＤＣ係数、残りの
X(u,v)をＡＣ係数という。

【００３７】本実施形態で用いる２次元ＤＣＴは、基底
が４（N=２²）のマトリクスサイズであるので、高速演
算アルゴリズムが適用可能である。具体的な式は次のよ
うになる。

【００３８】

【数２】

【００３９】また、高速演算のために、上記cos() の値
を予め求めておき、図４に示すようなマトリクスとして
メモリなどに用意しておく。なお、図４のマトリクス上
の数値は、高速演算処理を行うために、本来は浮動小数
値で表される値を１２ビット左へシフト演算し、固定小
数値で表したものである。

【００４０】そして、この高速演算アルゴリズムを用
い、各部分画像の画像データを図５（ａ）ないし（ｃ）
に示すように周波数変換し、周波数変換係数からなるマ
トリクスとしてバッファに一次保存しておく。なお、図
５（ａ）は非エッジ画像、図５（ｂ）は斜めエッジ画
像、図５（ｃ）は縦エッジ画像に対応している。

【００４１】以上のように、本実施形態で用いる２次元
ＤＣＴは、４×４のマトリクスサイズなので、通常よく
用いられる８×８のマトリクスサイズのＤＣＴに比べ、
ハードウェア化した際に、回路規模を小さくすることが
できる。また、処理量も少なくて済むので、演算時間の
短縮にもつながる。

【００４２】係数演算手段３は、次に示すような動作を
行う。各部分画像に対応する、上記の周波数変換係数か
らなるマトリクスを、図６（ａ）および（ｂ）に示すよ
うに、低周波から高周波までの３つの領域、およびマト
リクスの左上を中心としてマトリクス左側から上側まで
放射状に、３０度ずつ３つの領域に分割する。そして、
これらの６つの領域毎に係数の絶対値の総和を求め、そ
れをそれぞれの領域毎の係数の数で割ることにより、各
領域の係数の平均値を求める。具体的な式は次のように
なる。

【００４３】 f1= ｛｜X(1,0)｜＋｜X(0,1)｜＋｜X(1,1)｜｝/3 f2= ｛｜X(2,0)｜＋｜X(2,1)｜＋｜X(0,2)｜＋｜X(1,2)
｜＋｜X(2,2)｜｝/5 f3= ｛｜X(3,0)｜＋｜X(3,1)｜＋｜X(3,2)｜＋｜X(0,3)
｜＋｜X(1,3)｜＋｜X(2,3)｜＋｜X(3,3)｜｝/7 f4= ｛｜X(0,1)｜＋｜X(0,2)｜＋｜X(1,2)｜＋｜X(0,3)
｜＋｜X(1,3)｜｝/5 f5= ｛｜X(1,1)｜＋｜X(2,2)｜＋｜X(3,2)｜＋｜X(2,3)
｜＋｜X(3,3)｜｝/5 f6= ｛｜X(1,0)｜＋｜X(2,0)｜＋｜X(3,0)｜＋｜X(2,1)
｜＋｜X(3,1)｜｝/5 以上のように、各領域の係数を絶対値に変換して、各領
域の係数の平均値を求めている。これにより、各領域の
係数が正負の値をとる場合、各領域の係数の総和をとる
際に、それぞれの係数同士で打ち消し合い、その係数の
特徴が現れなくなるという問題を回避することができ
る。また、上記のような２つのパターンによって周波数
変換係数からなるマトリクスを３つの領域に分割するこ
とにより、部分画像内にエッジがある場合、そのエッジ
の向きが縦か横かそれ以外かを検出することができる。
なお、上記の非エッジ画像、斜めエッジ画像、および縦
エッジ画像に対応する部分画像における上記のf1〜f6の
値を、図５（ａ）ないし（ｃ）の周波数変換係数からな
るマトリクスの下部に示しておく。

【００４４】以上のようにして求められた各平均係数値
データを、変換フィルタ選択手段４に送る。

【００４５】変換フィルタ選択手段４では、係数演算手
段３から送られてきた６つの各平均係数値データを、図
７に示すような、６入力３出力の階層型ニューラルネッ
トワークに入力する。この階層型ニューラルネットワー
クは、予め実験によりエッジ部分や非エッジ部分でそれ
ぞれ最適なフィルタが選択されるように学習されてい
る。６つの入力ユニットに各平均係数値データを入力す
ると、９つの中間層ユニットを介して、各ユニット間の
相互作用によって、該平均係数値データを有する部分画
像に対する各フィルタの適合度が出力される。各ユニッ
トにおける演算の具体的な式は次のようになる。

【００４６】

【数３】

【００４７】ここで、f(X)はシグモイド関数であり、f
(X)=1/(1+exp(-X))で表される関数である。また、x は
入力層に入力される入力値、H は中間層の各ユニットの
出力値、O は出力層の各ユニットの出力値である。w お
よびv はそれぞれ入力層から中間層、および中間層から
出力層への結合の重みの値、θおよびγはそれぞれ中間
層および出力層におけるオフセット値である。

【００４８】この階層型ニューラルネットワークの出力
結果を基に、第１番目の出力ユニットからの出力値が一
番大きいときには線型補間法を用いたフィルタを選択
し、第２番目の出力ユニットからの出力値が一番大きい
ときには曲線補間法を用いたフィルタを選択し、第３番
目の出力ユニットからの出力値が一番大きいときにはシ
グモイド関数を用いたフィルタを選択する。そして、そ
の結果を次の補間処理手段５に送る。

【００４９】以上のように、上記の６つの各平均係数値
データから、各フィルタの適合度を算出する手段とし
て、上記のような階層型ニューラルネットワークを用い
ているので、例えば論理演算などによって適合度を算出
する場合に比べて、処理時間を短くすることができる。
また、本実施形態では、階層型ニューラルネットワーク
における入力が６、出力が３であったが、この入力およ
び出力の数が多くなる場合には、上記のような階層型ニ
ューラルネットワークの優位性が大きくなる。

【００５０】補間処理手段５では、変換フィルタ選択手
段４によって選択されたフィルタを用いて、部分画像抽
出手段１によって抽出され、バッファに一次保存されて
いる部分画像データから、２倍の解像度変換を行うため
の補間処理を行う。

【００５１】変換フィルタ選択手段４が線型補間法を用
いたフィルタを選択した場合には、補間処理手段５は線
型補間法による補間処理を行う。具体的な演算は次に示
す式によって行われる。

【００５２】p(u,v)= ｛(i+1)-u ｝｛(j+1)-v ｝ P_ij+
｛(i+1)-u ｝(v-j)P_ij+1+ (u-i)｛(j+1)-v ｝ P_i+1j+
(u-i)(v-j)P_i+1j+1 i=［u ］, j=［v ］（［］はガウス記号：整数部分だけ
をとる）ここで、u,v は補間画素の座標値、 Pは原画素の画素値
を表している。上記の演算における原画素と補間画素と
の位置関係を、図８（ａ）に示す。上記のような式を用
いて２倍の解像度変換を行う場合には、補間画素p(u,v)
は、p(i+0.5,j)、p(i,j+0.5)、p(i+0.5,j+0.5)となる。

【００５３】以上のような計算により、図２（ａ）に示
すような非エッジ画像は、図９（ａ）に示すような、２
倍の解像度変換が施された画像となる。

【００５４】また、変換フィルタ選択手段４が曲線補間
法を用いたフィルタを選択した場合には、補間処理手段
５は曲線補間法による補間処理を行う。具体的な演算は
次に示す式によって行われる。

【００５５】

【数４】

【００５６】上記の演算における原画素と補間画素との
位置関係を、図８（ｂ）に示す。線型補間法と同様に、
上記のような式を用いて２倍の解像度変換を行う場合に
は、補間画素p(u,v)は、p(i+0.5,j)、p(i,j+0.5)、p(i+
0.5,j+0.5)となる。

【００５７】以上のような計算により、図２（ｂ）に示
すような斜めエッジ画像は、図９（ｂ）に示すような、
２倍の解像度変換が施された画像となる。

【００５８】さらに、変換フィルタ選択手段４がシグモ
イド関数を用いたフィルタを選択した場合には、補間処
理手段５はシグモイド関数を用いたフィルタによる補間
処理を行う。具体的な演算は次に示す式によって行われ
る。

【００５９】 t1=1/(1+exp( -25・O₃((i+1)-u-0.5))) t2=1/(1+exp( -25・O₃((j+1)-v-0.5))) t3=1/(1+exp( -25・O₃(u-i-0.5))) t4=1/(1+exp( -25・O₃(v-j-0.5))) p(u,v)= t1・t2・ P_ij+ t1・t4・ P_ij+1+ t3・t2・ P
_i+1j+ t3・t4・ P_i+1j+1 i=［u ］, j=［v ］（［］はガウス記号：整数部分だ
けをとる）線型補間法と同様に、u,v は補間画素の座標値、 Pは原
画素の画素値を表している。上記の演算における原画素
と補間画素との位置関係を、図８（ａ）に示す。上記の
ような式を用いて２倍の解像度変換を行う場合には、補
間画素p(u,v)は、p(i+0.5,j)、p(i,j+0.5)、p(i+0.5,j+
0.5)となる。

【００６０】以上のような計算により、図２（ｃ）に示
すような縦エッジ画像は、図９（ｃ）に示すような、２
倍の解像度変換が施された画像となる。

【００６１】なお、上式において、O₃は上記階層型ニュ
ーラルネットワークにおける第３番目の出力ユニットの
出力値である。すなわち、O₃はシグモイド関数を用いた
フィルタに対する適合度を表している。これにより、シ
グモイド関数を用いたフィルタに対する適合度の大きさ
に応じて、シグモイド関数のしきい値付近の傾きを変化
させることができる。適合度が大きい場合には、シグモ
イド関数のしきい値付近の傾きが大きくなり、部分画像
にエッジ部分がある場合、そのエッジが保存されるよう
な補間処理がなされる。一方、適合度が小さい場合に
は、シグモイド関数のしきい値付近の傾きが小さくな
り、より滑らかな補間処理がなされる。したがって、部
分画像の特徴によく適応した補間処理を行うことができ
る。

【００６２】以上のように補間処理された画像データ
は、メモリ等に保存され、高解像度変換画像、あるいは
拡大画像として適宜用いられる。

【００６３】なお、上記の例では、周波数変換にＤＣＴ
を用いたが、特にこれに限定するものではなく、例えば
フーリエ変換やウェーブレット変換などを用いても構わ
ない。また、上記の例では、ＤＣＴの基底サイズとして
４×４のものを用いたが、特にこれに限定するものでは
なく、例えば８×８などのサイズでも処理を行うことは
可能である。さらに、上記の例では、フィルタとして、
線型補間法、曲線補間法、およびシグモイド関数を用い
たものを使用したが、特にこれに限定するものではな
く、滑らかな補間が可能なフィルタ、およびエッジ部分
を保存もしくは強調できるフィルタであれば、他のフィ
ルタでも構わない。

【００６４】以上のような構成により、本実施形態に係
る画像処理装置は、文字画像などのエッジ部分を多く含
む画像と、写真画像などの非エッジ部分を多く含む画像
とが混在した多階調画像に対して、エッジ部分はエッジ
を保存し、非エッジ部分である滑らかな部分はその滑ら
かさを維持しながら補間を行うので、画質劣化の少ない
高解像度変換画像を提供することができる。

【００６５】

【発明の効果】以上のように、請求項１の発明に係る画
像処理装置は、処理対象の多階調画像を部分画像に分割
し、各部分画像に対して高解像度変換や拡大処理を行う
画像処理装置であって、上記部分画像に対して周波数変
換処理を行う周波数変換手段と、上記周波数変換手段の
出力に基づいて、上記部分画像の特徴量を抽出する特徴
量抽出手段と、上記特徴量抽出手段の出力に基づいて、
上記部分画像に対して高解像度変換や拡大処理を行うた
めの変換フィルタを選択する変換フィルタ選択手段とを
備えている構成である。

【００６６】これにより、各部分画像の特徴に適した補
間を行うことができ、画質劣化の少ない高解像度変換画
像を得ることができるという効果を奏する。

【００６７】請求項２の発明に係る画像処理装置は、請
求項１の構成による効果に加えて、上記変換フィルタ選
択手段は、上記特徴量を入力とし、上記部分画像に対す
る各変換フィルタの適合度を出力する階層型ニューラル
ネットワークを備え、上記適合度に基づいて変換フィル
タを選択する構成である。

【００６８】これにより、上記特徴量の数が多少多くな
っても、短い処理時間で演算を行うことができる。よっ
て、特徴量をある程度多くすることができるので、より
的確に、各部分画像に適した変換フィルタを選択するこ
とができるという効果を奏する。

【００６９】請求項３の発明に係る画像処理装置は、請
求項１の構成による効果に加えて、上記特徴量抽出手段
は、上記周波数変換手段によって得られた、部分画像と
同サイズの周波数変換係数からなるマトリクスを、複数
のパターンで複数の領域に分割し、各領域毎に周波数変
換係数の平均値を上記特徴量として算出する構成であ
る。

【００７０】これにより、部分画像内にエッジがある場
合、エッジが向いている方向によらず、各部分画像の特
徴を的確に示す特徴量を算出することができるという効
果を奏する。

【００７１】請求項４の発明に係る画像処理装置は、請
求項３の構成による効果に加えて、上記特徴量抽出手段
は、上記周波数変換係数の絶対値の平均値を上記特徴量
として算出する構成である。

【００７２】これにより、上記特徴量として、周波数変
換係数の絶対値の平均値を用いるので、上記の各領域の
特徴を確実に反映することができ、各部分画像の特徴を
的確に示す特徴量を算出することができるという効果を
奏する。

【００７３】請求項５の発明に係る画像処理装置は、請
求項３の構成による効果に加えて、上記特徴量抽出手段
は、上記の周波数変換係数からなるマトリクスの交流成
分を複数の領域に分割するパターンとして、低周波成分
から高周波成分までの複数の領域に分割するパターン
と、マトリクスの左上を中心として放射状に一定の角度
で複数の領域に分割するパターンとを用いる構成であ
る。

【００７４】これにより、部分画像内にエッジがある場
合、そのエッジの方向が、縦か横かそれ以外かを判断す
ることができ、より的確に、各部分画像の特徴を示す特
徴量を算出することができるという効果を奏する。

【００７５】請求項６の発明に係る画像処理装置は、請
求項１の構成による効果に加えて、上記周波数変換手段
は、４×４のマトリクスサイズの離散コサイン変換によ
って周波数変換を行う構成である。

【００７６】これにより、実際に装置として設計した場
合、回路の規模を小さくすることができ、また、処理量
も減少する。よって、装置の小型化およびコストの低減
化が可能となり、かつ、演算時間を短縮することができ
るという効果を奏する。

【００７７】請求項７の発明に係る画像処理装置は、請
求項２の構成による効果に加えて、上記変換フィルタと
して、シグモイド関数を用いたフィルタを用いる場合、
該シグモイド関数は、ｘを補間画素の位置座標とする
と、1/(1+exp(-Wg(x-0.5))) の式で表され、上記変換フ
ィルタ選択手段においてシグモイド関数を用いたフィル
タが選択された場合に、その適合度の大きさに比例して
上式のWgの値が大きくなるように設定されている構成で
ある。

【００７８】これにより、適合度に応じて、その適合度
に最適な補間処理を行うことができる。よって、部分画
像の特徴に応じて、より詳細に補間処理の制御を行うこ
とが可能となり、画質劣化の少ない、自然な高解像度変
換画像を得ることができるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係る画像処理装置の概
略構成を示すブロック図である。

【図２】同図（ａ）ないし（ｃ）は、４×４画素からな
る３種類の部分画像の例を示す説明図である。

【図３】４×４画素の部分画像を順に読み出す方法を示
す説明図である。

【図４】周波数変換演算に用いる、基底の長さが４の場
合のcos() の演算結果のマトリクスを示す説明図であ
る。

【図５】同図（ａ）ないし（ｃ）は、３種類の部分画像
に対する周波数変換係数のマトリクス、および各領域毎
の平均係数値を示す説明図である。

【図６】同図（ａ）および（ｂ）は、周波数変換係数の
マトリクスを３つの領域に分割する様子を示す説明図で
ある。

【図７】本実施形態で用いられる階層型ニューラルネッ
トワークの構成を示す模式図である。

【図８】同図（ａ）ないし（ｂ）は、元になる部分画像
の画素の位置と、補間画素の位置との関係を示す説明図
である。

【図９】同図（ａ）ないし（ｃ）は、３種類の部分画像
を補間処理した結果を示す説明図である。

【符号の説明】

１部分画像抽出手段２周波数変換手段３係数演算手段（特徴量抽出手段）４変換フィルタ選択手段５補間処理手段

Claims

【特許請求の範囲】

【請求項１】処理対象の多階調画像を部分画像に分割
し、各部分画像に対して高解像度変換や拡大処理を行う
画像処理装置であって、上記部分画像に対して周波数変換処理を行う周波数変換
手段と、上記周波数変換手段の出力に基づいて、上記部分画像の
特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段の出力に基づいて、上記部分画像に
対して高解像度変換や拡大処理を行うための変換フィル
タを選択する変換フィルタ選択手段とを備えていること
を特徴とする画像処理装置。
【請求項２】上記変換フィルタ選択手段は、上記特徴量
を入力とし、上記部分画像に対する各変換フィルタの適
合度を出力する階層型ニューラルネットワークを備え、
上記適合度に基づいて変換フィルタを選択することを特
徴とする請求項１記載の画像処理装置。
【請求項３】上記特徴量抽出手段は、上記周波数変換手
段によって得られた、部分画像と同サイズの周波数変換
係数からなるマトリクスを、複数のパターンで複数の領
域に分割し、各領域毎に周波数変換係数の平均値を上記
特徴量として算出することを特徴とする請求項１記載の
画像処理装置。
【請求項４】上記特徴量抽出手段は、上記周波数変換係
数の絶対値の平均値を上記特徴量として算出することを
特徴とする請求項３記載の画像処理装置。
【請求項５】上記特徴量抽出手段は、上記の周波数変換
係数からなるマトリクスの交流成分を複数の領域に分割
するパターンとして、低周波成分から高周波成分までの
複数の領域に分割するパターンと、マトリクスの左上を
中心として放射状に一定の角度で複数の領域に分割する
パターンとを用いることを特徴とする請求項３記載の画
像処理装置。
【請求項６】上記周波数変換手段は、４×４のマトリク
スサイズの離散コサイン変換によって周波数変換を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】上記変換フィルタとして、シグモイド関数
を用いたフィルタを用いる場合、該シグモイド関数は、
ｘを補間画素の位置座標とすると、1/(1+exp(-Wg(x-0.
5)))の式で表され、上記変換フィルタ選択手段において
シグモイド関数を用いたフィルタが選択された場合に、
その適合度の大きさに比例して上式のWgの値が大きくな
るように設定されていることを特徴とする請求項２記載
の画像処理装置。