JPH09284798A - 信号処理装置 - Google Patents

信号処理装置

Info

Publication number
JPH09284798A
JPH09284798A JP8092545A JP9254596A JPH09284798A JP H09284798 A JPH09284798 A JP H09284798A JP 8092545 A JP8092545 A JP 8092545A JP 9254596 A JP9254596 A JP 9254596A JP H09284798 A JPH09284798 A JP H09284798A
Authority
JP
Japan
Prior art keywords
signal
frequency component
unit
high frequency
spectral sensitivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8092545A
Other languages
English (en)
Other versions
JP3670754B2 (ja
Inventor
Takeo Tsuruoka
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP09254596A priority Critical patent/JP3670754B2/ja
Priority to US08/837,922 priority patent/US5892850A/en
Publication of JPH09284798A publication Critical patent/JPH09284798A/ja
Application granted granted Critical
Publication of JP3670754B2 publication Critical patent/JP3670754B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/148Wavelet transforms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】色信号の高周波成分を高精度で補正できる信号
処理装置を提供すること。 【解決手段】複数の分光感度特性を有し、少なくとも1
つの分光感度特性に関する信号の情報量が他の分光感度
特性に関する信号の情報量より多い信号を処理する信号
処理装置において、情報量が多い分光感度特性の信号を
低周波成分と高周波成分とに分解するウェーブレット変
換部105と、得られた低周波成分と、情報量が少ない
分光感度特性の信号との間で相関関係を算出するR、B
信号相関係数算出部108、109と、得られた相関係
数と高周波成分に基づいて、情報量が少ない分光感度特
性の信号の高周波成分を生成するR、B信号高周波生成
部110、111と、前記高周波成分と情報量が少ない
分光感度特性の信号とを合成して高精細な出力信号を出
力するR、B信号逆ウェーブレット変換部112、11
3とを具備する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は信号処理装置に関
し、特に、入力された信号を分光感度特性により周波数
分解し、情報量が多い分光感度特性の高周波成分を、情
報量が少ない他の分光感度特性の高周波成分の推定に用
いることでより高精細な信号を得る信号処理装置に関す
る。
【0002】
【従来の技術】近年、安価かつ軽量な単板式撮像素子を
用いた画像入力装置が普及している。このような単板式
撮像素子では、一枚の撮像素子から被写体の色情報を得
るために、受光面上に色フィルタをモザイク状に配置し
ている。図18は、一般的に用いられているシアン(C
y)、マゼンタ(Mg)、イエロー(Ye)、グリーン
(G)の補色モザイクフィルタの配置を示す。
【0003】図18において、偶数フィールドのnライ
ンとn+1ラインに対応する輝度信号をYo,n 、Y
o,n+1 、色差信号をCo,n 、Co,n+1 とする。同様に奇
数フィールドのnラインとn+1ラインに対応する輝度
信号をYe,n 、Ye,n+1 、色差信号をCe,n 、Ce,n+1
とすると、これらの信号は次式で示される。
【0004】 Yo,n =Yo,n+1 =Ye,n =Ye,n+1 =2R+3G+2B (1) Co,n =Ce,n =2R−G (2) Co,n+1 =Ce,n+1 =2B−G (3) ただし、Cy、Mg、Yeはグリーン(G)、レッド
(R)、ブルー(B)を用いて次式で示される。
【0005】 Cy=G+B (4) Mg=R+B (5) Ye=R+G (6) (1)式で示されるように、輝度信号は偶数フィール
ド、奇数フィールドの全ラインで生成される。これに対
し、(2)、(3)式で示されるように2つの色差信号
は1ラインごとにしか生成されず、補間により欠落する
ラインを補っている。この後マトリックス演算を行うこ
とでR、G、Bの三原色を得ることができる。このよう
な方法では、色信号は輝度信号に対して1/2の情報量
しかないことになる。
【0006】これに対して特開平5−56446号公報
は、前記のように色差信号のみで単純な補間を行うので
なく、輝度信号の成分を用いて色差信号を補正する方法
を開示している。すなわち、輝度信号Yと色信号Cをロ
ーパスフィルタによって処理することでそれぞれの低周
波成分Ylow とClow とを得、これを用いて以下に示す
ように補正後の色信号C′を表現している。
【0007】 C′=Y(Clow /Ylow ) (7) これは、補正後の色差信号C′が輝度信号を補正したも
ので置き換えられることを意味している。
【0008】
【発明が解決しようとする課題】しかしながら、前記し
た従来技術は、第1に、線形補間や輝度信号を補正した
もので置換することで色信号を補っているのみで高精度
な色信号の補正という点については対応することができ
ない。
【0009】第2に、前記した従来技術は、色信号を隣
接画素を用いて補間したり、同一座標上にある輝度信号
を補正したもので置換することで色信号を補っているの
みで、エッジなどで信号の連続性が損なわれる場合や輝
度信号との相関性が低い場合については対応することが
できない。
【0010】第3に、前記した従来技術は、線形補間や
輝度信号を補正したもので置換することにより色信号を
補っているのみで、入力信号以上の高周波成分を生成す
るという点については対応することができない。
【0011】本発明の信号処理装置はこのような課題に
着目してなされたものであり、第1の目的は、色信号の
高周波成分を高精度で補正できる信号処理装置を提供す
ることにある。
【0012】また、第2の目的は、連続性が損なわれる
場合や相関性が低い場合でも色信号の高周波成分を補正
できる信号処理装置を提供することにある。また、第3
の目的は、入力信号以上の高周波成分を生成してコント
ラストを強調し、視覚的に良好な出力信号が得られる信
号処理装置を提供することにある。
【0013】
【課題を解決するための手段】前記した第1の目的を達
成するために、第1の発明に係る信号処理装置は、複数
の分光感度特性のうち、少なくとも1つの分光感度特性
に関する信号の情報量が他の分光感度特性に関する信号
の情報量より多い信号を処理する信号処理装置におい
て、情報量が多い分光感度特性の信号を低周波成分と高
周波成分とに分解する周波数分解手段と、この周波数分
解手段から得られた低周波成分と、情報量が少ない分光
感度特性の信号との間で相関係数を算出する相関係数算
出手段と、この相関係数算出手段から得られた相関係数
と、前記周波数分解手段から得られた高周波成分に基づ
いて、情報量が少ない分光感度特性の信号の高周波成分
を生成する高周波生成手段と、この高周波生成手段から
得られた高周波成分と情報量が少ない分光感度特性の信
号とを合成して高精細な出力信号を出力する周波数合成
手段とを具備する。
【0014】また、前記した第2の目的を達成するため
に、第2の発明に係る信号処理装置は、複数の分光感度
特性のうち、少なくとも1つの分光感度特性に関する信
号の情報量が他の分光感度特性に関する信号の情報量よ
り多い信号を処理する信号処理装置において、分布が局
所的な関数を基底関数として信号を複数の周波数成分に
分解する周波数分解手段と、この周波数分解手段から得
られた複数の周波数成分の係数から、情報量が多い分光
感度特性の信号の第一の所定領域に対応する周波数成分
と、情報量が少ない他の分光感度特性の信号の第二の所
定領域に対応する周波数成分とを抽出する抽出手段と、
この抽出手段から得られた前記第一の所定領域と前記第
二の所定領域の周波数成分間で、相似性の度合いを算出
する相似性算出手段と、この相似性算出手段から得られ
た相似性の度合いに基づき、前記第二の所定領域に対し
最も相似性が高い前記第一の所定領域を探索する探索手
段と、この探索手段から得られた前記第一の所定領域に
関する高周波成分から、相似性の度合いに基づき前記第
二の所定領域の高周波成分を生成する高周波生成手段
と、この高周波生成手段から得られた高周波成分と情報
量が少ない分光感度特性の信号とを合成して高精細な出
力信号を出力する周波数合成手段とを具備する。
【0015】また、前記した第3の目的を達成するため
に、第3の発明に係る信号処理装置は、複数の分光感度
特性のうち、少なくとも1つの分光感度特性に関する信
号の情報量が他の分光感度特性に関する信号の情報量よ
り多い信号を処理する信号処理装置において、情報量が
多い分光感度特性の信号を低周波成分と高周波成分とに
分解する周波数分解手段と、この周波数分解手段によっ
て分解された高周波成分に対し、1より大なる係数αを
乗算する高周波強調手段と、この高周波強調手段で強調
された高周波成分と前記低周波成分とを合成して得られ
る信号が所定の範囲を逸脱している割合を算出する誤差
算出手段と、この誤差算出手段による算出結果に基づ
き、前記係数αの値を制御する制御手段とを具備する。
【0016】すなわち、第1の発明に係る信号処理装置
は、複数の分光感度特性のうち、少なくとも1つの分光
感度特性に関する信号の情報量が他の分光感度特性に関
する信号の情報量より多い信号を処理する信号処理装置
において、まず、情報量が多い分光感度特性の信号を周
波数分解手段によって低周波成分と高周波成分とに分解
する。次に、この周波数分解手段から得られた低周波成
分と、情報量が少ない分光感度特性の信号との間で相関
係数算出手段によって相関係数を算出し、この相関係数
算出手段から得られた相関係数と、前記周波数分解手段
から得られた高周波成分に基づいて、情報量が少ない分
光感度特性の信号の高周波成分を高周波生成手段によっ
て生成する。そして、この高周波生成手段から得られた
高周波成分と情報量が少ない分光感度特性の信号とを周
波数合成手段によって合成して高精細な出力信号を出力
する。
【0017】また、第2の発明は、複数の分光感度特性
のうち、少なくとも1つの分光感度特性に関する信号の
情報量が他の分光感度特性に関する信号の情報量より多
い信号を処理する信号処理装置において、まず、分布が
局所的な関数を基底関数として信号を周波数分解手段に
よって複数の周波数成分に分解する。次に、この周波数
分解手段から得られた複数の周波数成分の係数から、情
報量が多い分光感度特性の信号の第一の所定領域に対応
する周波数成分と、情報量が少ない他の分光感度特性の
信号の第二の所定領域に対応する周波数成分とを抽出手
段によって抽出する。次に、この抽出手段から得られた
第一の所定領域と第二の所定領域の周波数成分間で、相
似性算出手段によって相似性の度合いを算出し、この相
似性算出手段から得られた相似性の度合いに基づき、第
二の所定領域に対し最も相似性が高い第一の所定領域を
探索手段によって探索する。そして、この探索手段から
得られた第一の所定領域に関する高周波成分を相似性の
度合いに基づいて第二の所定領域の高周波成分を高周波
生成手段によって生成し、この高周波生成手段から得ら
れた高周波成分と情報量が少ない分光感度特性の信号と
を周波数合成手段によって合成して高精細な出力信号を
出力する。
【0018】また、第3の発明は、複数の分光感度特性
のうち、少なくとも1つの分光感度特性に関する信号の
情報量が他の分光感度特性に関する信号の情報量より多
い信号を処理する信号処理装置において、まず、情報量
が多い分光感度特性の信号を周波数分解手段によって低
周波成分と高周波成分とに分解し、この周波数分解手段
によって分解された高周波成分に対し、高周波強調手段
によって1より大なる係数αを乗算する。次に、誤差算
出手段によって、前記高周波強調手段で強調された高周
波成分と前記低周波成分とを合成し、合成された信号が
所定の範囲を逸脱している割合を算出する。そして、こ
の誤差算出手段による算出結果に基づき、前記係数αの
値を制御手段によって制御する。
【0019】
【発明の実施の形態】以下に、図面を参照して本発明の
実施形態を詳細に説明する。図1は本発明の第1実施形
態の構成を示す図である。図1において、TVカメラな
どの入力部101は、R信号用バッファ102、B信号
用バッファ103、G信号用バッファ104に接続され
ている。G信号用バッファ104の出力は、ウェーブレ
ット変換部105を介して、G信号低周波用バッファ1
06、G信号高周波用バッファ107に接続されてい
る。G信号低周波用バッファ106の出力はR信号相関
係数算出部108、B信号相関係数算出部109に接続
され、G信号高周波用バッファ107の出力はR信号高
周波生成部110、B信号高周波生成部111に接続さ
れている。R信号用バッファ102の出力は、R信号相
関係数算出部108、R信号逆ウェーブレット変換部1
12に接続され、B信号用バッファ103の出力は、B
信号相関係数算出部109、B信号逆ウェーブレット変
換部113に接続されている。
【0020】R信号相関係数算出部108はR信号高周
波生成部110へ接続されており、R信号高周波生成部
110はR信号逆ウェーブレット変換部112へ接続さ
れている。B信号相関係数算出部109はB信号高周波
生成部111へ接続されており,B信号高周波生成部1
11はB信号逆ウェーブレット変換部113へ接続され
ている。G信号用バッファ104、R信号逆ウェーブレ
ット変換部112、B信号逆ウェーブレット変換部11
3の出力は、磁気ディスクなどの出力部114に接続さ
れている。また、マイクロコンピュータなどの制御部1
15は、入力部101、R信号相関係数算出部108、
B信号相関係数算出部109、R信号高周波生成部11
0、B信号高周波生成部111、出力部114に接続さ
れている。
【0021】以下に、前記した構成の作用を信号の流れ
に従って説明する。入力部101からのRGB三信号は
制御部115の制御により、R信号用バッファ102、
B信号用バッファ103、G信号用バッファ104に転
送される。G信号用バッファ104内のG信号は、ウェ
ーブレット変換部105に転送され、所定の基底関数、
例えばHarr関数を用いてウェーブレット変換される。こ
の変換後の低周波成分はG信号低周波用バッファ106
へ、高周波成分はG信号高周波用バッファ107へ出力
される。
【0022】また、R信号相関係数算出部108は、R
信号用バッファ102内のR信号とG信号低周波用バッ
ファ106内のG信号の低周波成分との間の色相関係数
を算出する。同様にB信号相関係数算出部109は、B
信号用バッファ103内のB信号とG信号低周波用バッ
ファ106内のG信号の低周波成分との間の色相関係数
を算出する。各々の色相関係数は、R信号高周波生成部
110とB信号高周波生成部111へ転送されて、G信
号高周波用バッファ107内のG信号の高周波成分と乗
算され、R信号およびB信号の高周波成分が合成され
る。
【0023】R信号逆ウェーブレット変換部112で
は、R信号用バッファ102内のR信号(低周波成分)
と、R信号高周波生成部110で合成されたR信号の高
周波成分とに基づいて逆ウェーブレット変換を行い、高
精彩なR信号を出力部114へ転送する。同様に、B信
号逆ウェーブレット変換部113はB信号用バッファ1
03内のB信号(低周波成分)と、B信号高周波生成部
111で合成されたB信号の高周波成分とに基づいて逆
ウェーブレット変換を行い、高精細なB信号を出力部1
14へ転送する。また、G信号バッファ104のG信号
も出力部114へ転送されるので、出力部114からは
RGB三信号が出力される。
【0024】図2は図1の入力部101の具体的構成の
一例を示す図である。図2に示すように、光学系200
に対向してG信号用CCD201と、R、B信号用CC
D202が配置されている。以下では、G信号の画素数
をs×s、R信号およびB信号の画素数をs/2×s/
2と想定する。G信号用CCD201の出力は、A/D
203、ローパスフィルタ206を介してサイズs×s
のデジタル信号G0LLとしてG信号用バッファ104に
保存される。また、R、B信号用CCD202の出力
は、A/D204、R/B分離回路205で分離された
後、R信号についてはローパスフィルタ207を介し
て、サイズs/2×s/2のデジタル信号R1LL として
R信号用バッファ102に転送される。また、B信号に
ついてはローパスフィルタ208を介して、サイズs/
2×s/2のデジタル信号B1LL としてB信号用バッフ
ァ103に転送される。G信号用CCD201とR、B
信号用CCD202は、クロックジェネレータ209か
らのクロックに基づいて動作するG信号用CCD駆動回
路210とR、B信号用CCD駆動回路211とにそれ
ぞれ接続されている。
【0025】図3は、図1のウェーブレット変換部10
5の具体的構成の一例を示す説明図である。図3に示す
ように、基底関数記録部303には、Harr関数などの汎
用的な基底関数の情報が記録されている。図4(a)、
(b)は、基底関数として用いたHarr関数に関する説明
図である。Harr関数は、図4(a)で示されるハイパス
フィルタと、図4(b)で示されるローパスフィルタか
らなる。これらのフィルタは、次式で定義されるもので
ある。なお、これらのフィルタは、水平および垂直方向
に共通に用いられる。
【0026】 水平、垂直ハイパスフィルタ={0.5,−0.5} (8) 水平、垂直ローパスフィルタ={0.5,0.5} (9) フィルタ係数読取部304は制御部115の制御によ
り、基底関数記録部303から所定の基底関数のフィル
タ係数を読み込み、水平ハイパスフィルタ305、水平
ローパスフィルタ306、垂直ハイパスフィルタ30
9、垂直ローパスフィルタ310、垂直ハイパスフィル
タ311、垂直ローパスフィルタ312へ転送する。デ
ータ読取部301は制御部115の制御の基に、G信号
用バッファ104上の信号G0LL を読み取ってバッファ
302へ転送する。バッファ302上のデータは、図3
に示すように多段階のフィルタリング処理が施された
後、最終的に出力切替部317を経由してG信号低周波
用バッファ106及びG信号高周波用バッファ107へ
出力される。
【0027】ここでサブサンプラ307,308,31
3,314,315,316は、入力データ数を1/2
にサブサンプリングする機能を有する。サブサンプラ3
13の出力は水平垂直両方向の高周波成分を、サブサン
プラ314の出力は垂直の高周波成分を、サブサンプラ
315の出力は水平の高周波成分を、サブサンプラ31
6の出力は低周波成分を与える。また、データ転送制御
部318は制御部115の制御の基に、サブサンプラ3
16の出力を所定の回数だけバッファ302へ転送し、
再度フィルタリング処理させる。これにより、段階的に
周波数別の展開係数が算出される。本実施形態では、G
信号のサイズをs×s、R信号およびB信号のサイズを
s/2×s/2と想定しているため、G信号に1回のフ
ィルタリング処理を行う。変換の回数は変換後の低周波
成分がR信号およびB信号と同サイズになるように決め
られる。出力切替部317は制御部115の制御の基
に、サブサンプラ313、314、315からの出力G
1HH 、G1HL 、G1LH をG信号高周波用バッファ107
へ、サブサンプラ316の出力G1LL をG信号低周波用
バッファ106へ切り替えて転送する。
【0028】図5の(a)〜(g)は、前記した信号処
理の流れを示す図である。図5ではR信号とG信号に関
してのみ示してあるが、B信号とG信号に関しても同様
である。図5の(a)、(b)は、G信号用バッファ1
04上の信号G0LL とR信号用バッファ102上のR
1LL とを示す。図5の(c)、(d)は、それぞれ前記
のウェーブレット変換部105で周波数分解されたG信
号低周波用バッファ106上の信号G1LL とG信号高周
波用バッファ107上の信号G1HH 、G1HL 、G1LH
示す。ここで、図5の(b)のR1LL と(c)のG1LL
は同サイズのデータであるとしている。図1に示すR信
号相関係数算出部108は、信号G1LL と信号R1LL
で次式の相関係数を算出する。
【0029】
【数1】
【0030】ここで、iは信号R1LL と信号G1LL のデ
ータの座標を意味する。すなわち、相関係数εG,B は同
一座標にある信号G1LL と信号R1LL との間で画素単位
で算出される。この相関係数はR信号高周波生成部11
0へ転送され、G信号高周波用バッファ107上の信号
1HH 、G1HL 、G1LH と乗算されて、図5の(f)の
R信号の高周波成分R1HH 、R1HL 、R1LH が生成され
る。
【0031】
【数2】
【0032】図5の(g)は、R信号高周波生成部11
0で生成された高周波成分R1HH 、R1HL 、R1LH と、
R信号用バッファ102上の信号R1LL とをR信号逆ウ
ェーブレット変換部112で逆ウェーブレット変換して
算出された高精細なR信号ROLL を示す。
【0033】図6は、R信号逆ウェーブレット変換部1
12の具体的構成の一例を示す説明図である。図6にお
いてはR信号逆ウェーブレット変換部112に関して示
してあるが、B信号逆ウェーブレット変換部113に関
しても同一の構成とすることができる。基底関数記録部
403には、Harr関数などの汎用的な基底関数の情報が
記録されている。ウェーブレット変換部105とR信号
逆ウェーブレット変換部112で用いられるフィルター
情報は同一である。ウェーブレット変換におけるハイパ
スフィルタをg(n)、ローパスフィルタをh(n)、
逆ウェーブレット変換におけるハイパスフィルタをg′
(n)、ローパスフィルタをh′(n)とする。両者の
関係は、直交ウェーブレットの場合、g′(n)=g
(−n)、h′(n)=h(−n)となり、ウェーブレ
ット変換のフィルタ情報から算出できる。
【0034】フィルタ係数読取部404は制御部115
の制御の基に、所定の基底関数のフィルタ係数を読み込
み、垂直ハイパスフィルタ412、垂直ローパスフィル
タ410、垂直ハイパスフィルタ411、垂直ローパス
フィルタ412、水平ローパスフィルタ415、水平ハ
イパスフィルタ416へ転送する。データ読取部401
と入力切替部402は制御部115の制御の基に、R信
号用バッファ102とR信号高周波生成部110からの
データを各フィルタへ転送する。このデータに対して図
6に示すように多段階のフィルタリング処理が施され
て、その結果が最終的に出力切替部417を経由して出
力部114またはデータ転送制御部418へ出力され
る。
【0035】ここでアップサンプラ405,406,4
07,408,413,414は、入力データ数を2倍
にアップサンプリングする機能を有する。制御部115
はデータ転送制御部418を制御して、出力切替部41
7の出力を所定の回数だけ入力切替部402へ転送し、
再度フィルタリング処理を行わせる。これにより、段階
的に画像が再構成される。本実施形態では、R信号およ
びB信号のサイズをs/2×s/2と想定しているた
め、1回のフィルタリング処理を行う。図5の(g)
は、逆ウェーブレット変換を行い再構築された再生画像
を示す。
【0036】前記したように第1実施形態では、入力信
号のうち最も画素数の多いG信号をウェーブレット変換
により高周波成分と低周波成分に分解し、このうち低周
波成分を用いて他の信号との相関係数を求め、得られた
相関係数をG信号の高周波成分と乗算することで他の信
号の高周波成分を生成する。このとき低周波成分につい
ては本来の信号をそのまま用い、高周波成分については
適用的に、すなわち、生成される高周波成分を画素単位
で制御しつつ付加するようにしたので、色信号の高周波
成分を高精度で補正することができ、これによって、エ
ラーの発生が少なく高精細な出力画像が得られる。
【0037】また、ウェーブレット変換は近傍画素の情
報を共有し合うため、画素単位で高周波成分を制御して
も連続性が良く、高画質な再生画像が得られる。以下
に、本発明の第2実施形態を説明する。図7は第2実施
形態の構成を示す図である。図7において、TVカメラ
などの入力部501は、R信号用バッファ502、G信
号用バッファ503、B信号用バッファ504を介して
入力切替部505に接続されている。入力切替部505
の出力は出力部520に直接接続されるとともに、DC
T変換部506、出力切替部507を介してR信号周波
数成分バッファ508、G信号周波数成分バッファ50
9、B信号周波数成分バッファ510に接続されてい
る。R信号周波数成分バッファ508の出力はR信号相
関係数算出部511、入力切替部515に接続され、G
信号周波数成分バッファ509の出力はR信号相関係数
算出部511、B信号相関係数算出部512、R信号高
周波生成部513、B信号高周波生成部514に接続さ
れ、B信号周波数成分バッファ510の出力はB信号相
関係数算出部512、入力切替部515に接続されてい
る。
【0038】さらにR信号高周波生成部513とB信号
高周波生成部514の出力は、入力切替部515、逆D
CT変換部516、出力切替部517を介して補正R信
号用バッファ518、補正B信号用バッファ519に接
続されている。補正R信号用バッファ518、補正B信
号用バッファ519は、磁気ディスクなどの出力部52
0に接続されている。また、マイクロコンピュータなど
の制御部521は、入力部501、入力切替部505、
出力切替部507、R信号相関係数算出部511、B信
号相関係数算出部512、R信号高周波生成部513、
B信号高周波生成部514、入力切替部515、出力切
替部517、出力部520に接続されている。
【0039】以下に、前記した構成の作用を信号の流れ
に従って説明する。図7において、入力部501からの
RGB三信号は、制御部521の制御により、R信号用
バッファ502、G信号用バッファ503、B信号用バ
ッファ504に転送される。各バッファ内の信号は、制
御部521の制御に基づき、入力切替部505を通して
順次所定サイズの領域がDCT変換部506に転送され
て周波数分解される。本実施形態では、一例として8×
8サイズを想定する。この領域は重複しないように設定
され、RGBの順に同一座標の信号がDCT変換部50
6に転送される。
【0040】DCT変換部506では、公知のDCT変
換が施され、各出力信号が制御部521の制御に基づき
出力切替部507を通して順次R信号周波数成分バッフ
ァ508、G信号周波数成分バッファ509、B信号周
波数成分バッファ510へ転送される。R信号相関係数
算出部511は、R信号周波数成分バッファ508とG
信号周波数成分バッファ509内の所定の低周波成分、
例えば2×2サイズの低周波成分間で相関係数を算出す
る。同様にB信号相関係数算出部512は、B信号周波
数成分バッファ510とG信号周波数成分バッファ50
9内の低周波成分間で相関係数を算出する。各々の相関
係数は、R信号高周波生成部513とB信号高周波生成
部514へ転送されてG信号周波数成分バッファ509
の高周波成分と乗算され、R信号およびB信号の高周波
成分が合成される。この高周波成分は、前記2×2サイ
ズの低周波成分を除く周波数成分を意味する。
【0041】R信号高周波生成部513とB信号高周波
生成部514で生成された高周波成分と、R信号周波数
成分バッファ508とG信号周波数成分バッファ509
内の低周波成分は入力切替部515へ転送される。入力
切替部515は、制御部521の制御に基づきR信号の
高周波成分と低周波成分を逆DCT変換部516へ転送
し、次にB信号の高周波成分と低周波成分を逆DCT変
換部516へ転送する。逆DCT変換部516では公知
の逆DCT変換がなされ、各出力信号が制御部521の
制御に基づき、出力切替部517を通して順次補正R信
号用バッファ518、補正B信号用バッファ519へ転
送される。また、入力切替部505は出力部520に接
続されておりG信号用バッファ503のG信号が出力部
520へ出力される。出力部520には、制御部521
の制御に基づき、補正R信号用バッファ518、入力切
替部505、補正B信号用バッファ519からのRGB
三信号が順次出力される。
【0042】図8は図7の入力部501の具体的構成の
一例を示す図である。光学系600に対向して単板CC
D601が配置されている。単板CCD601は、例え
ば図18に示されるような補色型のCCDである。CC
D601からの出力信号は、A/D602を介して、色
分離回路603において前記した(1)、(2)、
(3)式に示される輝度信号と2つの色差信号に分離さ
れる。分離された各信号はそれぞれプロセス回路60
4,605,606で処理された後、マトリックス回路
607、ローパスフィルタ608、609、610を介
してRGBの三信号に変換され、R信号用バッファ50
2、G信号用バッファ503、B信号バッファ504に
保存される。また、CCD601にはクロックジェネレ
ータ614からのクロックに基づいて動作するCCD駆
動回路615が接続されている。ここで得られるRGB
の三信号はいずれも同サイズとなっているが、輝度信号
に対応するG信号は撮像素子の画素数が多く、高周波成
分を多く含む信号である。一方、その他のR、B信号は
撮像素子の画素数の少ない色差信号から合成されるた
め、高周波成分が乏しい信号となっている。
【0043】図9の(a)〜(h)は前記した信号処理
の流れを示す図である。図9ではR信号とG信号に関し
て示してあるが、B信号とG信号に関しても同様であ
る。図9の(a)、(b)は、R信号用バッファ502
上のR信号と、G信号用バッファ503上のG信号を示
す。これらの信号は所定サイズ、本実施形態では8×8
サイズの重複しない領域に分割される。図9の(c)、
(d)、(e)、(f)は、それぞれR信号とG信号の
同一座標の領域がDCT変換部506にて周波数分解さ
れたデータを示す。本実施形態では原点となる左上に低
周波成分を配置し、右下へ高周波成分を配置している。
図9の(c)、(e)は2×2サイズの低周波成分を、
(d)、(f)はその他の高周波成分を示している。R
信号相関係数算出部511は、図9の(c)、(e)の
低周波成分間で次式の相関係数を算出する。
【0044】
【数3】
【0045】ここで、jは領域を、kは低周波成分の座
標を意味する。またσj は、j番目の領域の共分散を意
味し、Rj a 、Gj a はj番目の領域の平均値を意味す
る。この相関係数εj G,B はR信号高周波生成部513
へ転送されて、G信号周波数成分バッファ509上の高
周波成分と乗算され、図9の(g)に示されるようなR
信号の高周波成分が生成される。R信号用バッファ50
2上の本来のR信号の低周波成分と、R信号高周波生成
部513で生成された高周波成分は、逆DCT変換部5
16にて逆変換が施される。図9の(h)は、前記した
過程を全ての領域に対して反復的に行なって算出された
高精細なR信号を示す。
【0046】前記したように第2実施形態では、入力信
号を所定サイズの領域に分割して、各領域ごとに周波数
分解し、最も画素数の多いG信号の低周波成分を用いて
他の信号の低周波成分との相関係数を求め、この相関係
数をG信号の高周波成分と乗算することで他の信号の高
周波成分を生成する。このとき低周波成分については本
来の信号をそのまま用い、高周波成分のみを各領域ごと
に適用的に生成するようにしたので、色成分の高周波成
分を高精度で補正することができ、これによって、エラ
ーの発生が少なく高精細な出力画像が得られる。また、
領域ごとに信号処理を反復的に行うため、必要とされる
メモリ容量が少なく、装置を安価に構成することができ
る。
【0047】なお、第2実施形態では領域のサイズを8
×8とし、低周波の領域のサイズを2×2としているが
これに限定される必要はなく、自由な設定が可能であ
る。例えば領域のサイズを4×4とし、低周波の領域の
サイズを1×1とすることも可能である。低周波の領域
のサイズを1×1とすると、(11)式での共分散が常
に0となり相関係数が算出できないが、この場合は第1
実施形態における(9)式を用いて算出すればよい。ま
た、第2実施形態ではDCT変換部と逆DCT変換部を
1つとし、これを切り替えて三信号を処理しているがこ
れに限定される必要はない。処理速度を重視する場合
は、三信号ごとに個別の変換部を設けてもよい。また、
DCT変換以外の変換方法として、フーリエ変換やアダ
マール変換など周波数分解の変換を用いることも可能で
ある。
【0048】また、前記した第1実施形態では(9)式
に基づいてR信号の相関係数を算出し、第2実施形態で
は(11)式に基づいてR信号の相関係数を算出した
が、(9)式を用いて第2実施形態における相関係数を
算出し、(11)式を用いた第1実施形態における相関
係数を算出するようにしてもよい。
【0049】以下に本発明の第3実施形態を説明する。
図10は第3実施形態の構成を示す図である。図10に
おいて、TVカメラなどの入力部701は、R信号用バ
ッファ702、G信号用バッファ703、B信号用バッ
ファ704を介して入力切替部705に接続されてい
る。入力切替部705の出力は出力部726に直接接続
されるとともに、ウェーブレット変換部706、出力切
替部707を介してR信号周波数成分バッファ708、
G信号周波数成分バッファ709、B信号周波数成分バ
ッファ710に接続されている。
【0050】R信号周波数成分バッファ708、G信号
周波数成分バッファ709、B信号周波数成分バッファ
710の出力は、それぞれR信号選択部711、G信号
選択部712、B信号選択部713に接続されている。
G信号選択部712は、係数再配置部714を介してR
信号誤差算出部715、B信号誤差算出部716、R信
号高周波生成部719、B信号高周波生成部720に接
続されている。また、R信号選択部711はR信号誤差
算出部715、入力切替部721に接続され、B信号選
択部713はB信号誤差算出部716、入力切替部72
1に接続されている。
【0051】さらにR信号誤差算出部715はR信号最
小誤差探索部717、R信号高周波生成部719を介し
て入力切替部721に接続され、B信号誤差算出部71
6はB信号最小誤差探索部718、B信号高周波生成部
720を介して入力切替部721に接続されている。入
力切替部721の出力は逆ウェーブレット変換部72
2、出力切替部723を介して補正R信号用バッファ7
24と補正B信号用バッファ725に接続されている。
補正R信号用バッファ724、補正B信号用バッファ7
25は出力部726に接続されている。また、マイクロ
コンピュータなどの制御部727は、入力部701、入
力切替部705、出力切替部707、R信号選択部71
1、G信号選択部712、B信号選択部713、係数再
配置部714、R信号最小誤差探索部717、B信号最
小誤差探索部718、R信号高周波生成部719、B信
号高周波生成部720、入力切替部721、出力切替部
723、出力部726に接続されている。
【0052】以下に前記した構成の作用を説明する。入
力部701からのRGB三信号は、制御部727の制御
により、R信号用バッファ702、G信号用バッファ7
03、B信号用バッファ704に転送される。RGB三
信号は第2実施形態と同様に、輝度信号に対応するG信
号は高周波成分を多く含む信号であり、R、B信号は高
周波成分が乏しい信号となっている。前記した各バッフ
ァ内の信号は、制御部727の制御に基づき入力切替部
705を通して順次ウェーブレット変換部706に転送
されて周波数分解される。第3実施形態では、2回の分
解を想定するが、これはG信号と他の信号間の高周波成
分の違いにより調整される。また、入力切替部705は
G信号に関してのみ出力部726へ出力を行う。
【0053】ウェーブレット変換部706では、第1実
施形態と同様に変換がなされ、各出力信号が制御部72
7の制御に基づき出力切替部707を通して順次R信号
周波数成分バッファ708、G信号周波数成分バッファ
709、B信号周波数成分バッファ710へ転送され
る。各バッファ内の周波数成分は、R信号選択部71
1、G信号選択部712、B信号選択部713に入力さ
れて、原信号の所定サイズの領域、例えば4×4サイズ
の領域に対応する16個の周波数成分が選択される。
【0054】R信号選択部711で選択された周波数成
分は、R信号誤差算出部715、入力切替部721へ転
送され、B信号選択部713で選択された周波数成分
は、B信号誤差算出部716、入力切替部721へ転送
される。一方、G信号選択部712で選択された周波数
成分は、係数再配置部714にて所定の変換がなされた
後、R信号誤差算出部715、B信号誤差算出部71
6、R信号高周波生成部719、B信号高周波生成部7
20へ転送される。R信号誤差算出部715では、R信
号選択部711からのR信号周波数成分と係数再配置部
714からのG信号周波数成分で所定数の低周波成分、
例えば3個の低周波成分を用いて、その形態に関する類
似性の誤差が求められる。ここでは制御部727がR信
号選択部711、G信号選択部712、係数再配置部7
14を制御することで、R信号誤差算出部715におい
て一つのR信号の領域に対してG信号の全ての領域での
類似性の誤差が算出される。
【0055】R信号最小誤差探索部717は、前記R信
号誤差算出部715で算出された誤差に基づき最小誤差
を与える領域を探索し、この類似性に関する度合いを係
数としてR信号高周波生成部719へ転送する。R信号
高周波生成部719では、係数再配置部714から転送
されたG信号周波数成分の高周波成分に関して、前記類
似性に関する係数を乗算してR信号の高周波成分を生成
する。同様に、B信号誤差算出部716、B信号最小誤
差探索部718、B信号高周波生成部720においても
B信号とG信号間で類似する領域が探索され、これに基
づきB信号の高周波成分が生成される。
【0056】入力切替部721は制御部727の制御に
基づき、R信号選択部711からのR信号の低周波成分
と、R信号高周波生成部719からのR信号の高周波成
分とを切り替えて逆ウェーブレット変換部722に転送
する。同様に入力切替部721は、B信号選択部713
からのB信号の低周波成分と、B信号高周波生成部72
0からのB信号の高周波成分とを切り替えて逆ウェーブ
レット変換部722に転送する。
【0057】逆ウェーブレット変換部722では所定回
数、本実施形態では2回の逆変換を行い、その結果を出
力切替部723を介して補正R信号用バッファ724ま
たは補正B信号用バッファ725へ転送する。出力部7
26には制御部727の制御に基づき、補正R信号用バ
ッファ724、入力切替部705、補正B信号用バッフ
ァ725からのRGB三信号が出力される。
【0058】図11は、R信号とG信号の周波数成分に
よる類似領域の探索法を示す。図11の(a)はR信号
の4×4サイズの領域ri を示し、図11の(b)はこ
の領域ri に近似するG信号の領域gj を示している。
ここでi、jはそれぞれの信号の領域の番号を意味す
る。図11の(c)、(d)は、図11の(a)、
(b)の画像に2段階のウェーブレット変換を施した周
波数成分を示す。4×4の領域ri は、図11の(c)
に示すようにri,1 〜ri,16までの16個の周波数成分
に分解される。同様にgj は、図11の(d)に示すよ
うにgj,1 〜gj,16までの16個の周波数成分に分解さ
れる。ri とgj 間で類似性の度合を調べるにおいて、
両者の低周波成分を用いる。ここではri,1 〜ri,4
j,1 〜dj,4の係数を比較するものとする。また、r
i,1 とgj,1 は、それぞれ各ブロックの平均濃度である
バイアスを意味するため使用しない。よって、ri とg
j 間の類似性を示す誤差Errは、次式で定義される。
【0059】
【数4】
【0060】ここで、si は濃度のスケールを示すパラ
メータである。なお、ここでは類似領域の探索にR信号
とG信号との間で同じサイズの領域を指定しているが、
これらのサイズは異なっていてもよい。
【0061】図12は、係数再配置部714における係
数の再配置に関する説明図である。図12の(a)は、
G信号周波数成分バッファ709から転送された本来の
展開係数gj,1 〜gj,16の配置と、その方向を示す矢印
を示している。説明の便宜上、展開係数gj,1 〜gj,16
をa〜pまでのアルファベットで示す。また、これらの
展開係数は展開のレベルによりG1 とG2 に、用いられ
たフィルタによりGLL、GLH、GHH、GHLに分類され
る。
【0062】第1実施形態の図3におけるサブサンプラ
313の出力は水平垂直両方向の高周波成分GHHを、サ
ブサンプラ314の出力は垂直の高周波成分GHLを、サ
ブサンプラ315の出力は水平の高周波成分GLHを、サ
ブサンプラ316の出力は低周波成分GLLを与える。展
開係数a〜pはG2LL にa、G2LH にb、G2HH にc、
2HL にd、G1LH にe、f、g、h、G1HH にi、
j、k、l、G1HL にm、n、o、pが属することにな
る。形状の類似性の探索には、G信号の領域をそのまま
用いるだけではなく、90度間隔での4回転と対称変換
を組み合わせた計8種類のパターンとの比較を行うこと
でより多様な形状との比較が可能となる。
【0063】これら8種類のパターンを予め作成してお
き、これらにウェーブレット変換を行うことも考えられ
るが、計算量及びメモリ容量の観点から問題となる。こ
こでは、展開係数の再配置と符号の反転操作により8種
類のパターンと等価な効果を得る。図12の(b)は、
図12の(a)を90度反時計方向に回転した例であ
る。異なるのは、G2LH とG2HL 、G1LH とG1HL の配
置が交換されていることと、G2HH 、G2HL 、G1HH
1HL の符号が反転していることである。以上をまとめ
ると、 GmLH ←→−GmHL ,−GmHH (13) ここで、mはウェーブレット変換の展開のレベルを意味
し、本実施形態ではm=1.2である。図12の(c)
〜(h)は、同様に回転と対称変換に関する係数の変換
を示している。図12は、二段階のウェーブレット変換
の場合を図示するものであるが、これらの規則性は任意
の段階のウェーブレット変換においても同等に成立す
る。
【0064】係数再配置部714にて前記の規則性に基
づき変換された8種類のパターンに関して、(12)式
により誤差ErrがR信号誤差算出部715で算出され
る。G信号選択部712、係数再配置部714は制御部
727の制御に基づき、一つのR信号の領域に対しG信
号から得られる全ての領域に関するデータをR信号誤差
算出部715に転送する。R信号最小誤差探索部717
は、前記R信号誤差算出部715で算出された全ての誤
差に基づき最小誤差を与える領域を探索し、この領域に
関するスケールパラメータsi と前記8種類のパターン
を示す係数piをR信号高周波生成部719へ転送す
る。
【0065】図13は、前記類似性探索に関するフロー
チャートである。ここで、変換iはR信号の領域の番号
を、jはG信号の領域の番号を、kはG信号の領域に関
する8種類の回転パターンを、R( )はR信号の領域
の周波数成分を保存する配列を、G( )はG信号の領
域の周波数成分を保存する配列を、変数Errは(1
2)式の誤差を、変数Scaleは(12)式のスケー
ルパラメータsi を示す。また、R信号およびG信号に
含まれる領域の個数をImageとする。
【0066】まず、S1にて、iに0が代入される。S
2にて、配列R( )にR信号のi番目の領域の周波数
成分が、G( )にG信号の0番目の領域の0番目の回
転パターンの周波数成分が代入される。
【0067】S3にて、前記R( )とG( )間で
(12)式に基づいて誤差とスケールパラメータが算出
され、誤差が変数Best_Errへ、スケールパラメ
ータが変数Best_Scaleへ代入される。
【0068】また、変数Best_Gと変数Best_
Piに0が代入される。S4、S5にてj、kに0が代
入される。S6で、配列R( )にR信号のi番目の領
域の周波数成分が、G( )にG信号のj番目の領域の
k番目の回転パターンの周波数成分が代入される。
【0069】S7にて、前記R( )とG( )間で
(12)式による誤差とスケールパラメータが算出さ
れ、誤差とスケールパラメータがErrとScaleに
代入される。
【0070】S8にて、ErrとBest_Errが比
較され、Best_Errが大なる場合はS9へ、小な
る場合はS10へ分岐する。S9では、Best_Sc
aleにScaleが、Best_ErrにErrが、
Best_Gにjが、Best_Piにkが代入され
る。
【0071】S10〜S13では、j、kに1が加算さ
れ、kが8を、jがImageを越えない限り前記処理
を反復する。S14では、Best_Scale、Be
st_G、Best_Piが出力される。
【0072】S15、S16では、iに1が加算され、
Imageを越えない限り前記処理を反復する。前記し
た過程により、一つのR信号の領域に対して、G信号か
ら得られる全ての領域中の最も類似する領域が得られ
る。
【0073】図14の(a)〜(h)は、前記した信号
処理の流れを示す図である。図14においてはR信号と
G信号に関して示してあるが、B信号とG信号に関して
も同様である。図14の(a)、(b)は、R信号用バ
ッファ702上のR信号R0LL とG信号用バッファ70
3上のG信号G0LL を示す。これらの信号は所定サイ
ズ、本実施形態では4×4サイズの重複しない領域に分
割される。図14の(c)、(d)、(e)、(f)
は、ウェーブレット変換部706で周波数分解されたR
信号周波数成分バッファ708上のR2LL 、R2HH 、R
2HL 、R2LH 、R1HH 、R1HL 、R1LH とG信号周波数
成分バッファ709上のG2LL 、G2HH、G2HL 、G2LH
、G1HH 、G1HL 、G1LH を示す。R信号誤差算出部
715とR信号最小誤差探索部717は、図14の
(c)のR2HH 、R2HL 、R2LH と、図14の(e)の
2HH 、G2HL 、G2LH との間で前記のスケールパラメ
ータsi と8種類のパターンを示す係数pi を算出す
る。この係数はR信号高周波生成部719へ転送され、
係数pi からG1HH 、G1HL 、G1LH に関して図12に
示す係数の再配置を行なった後、スケールパラメータs
i をG1HH 、G1HL 、G1LH に乗算する。図11の
(c)、(d)に示される、領域ごとの成分については
次式の処理がなされる。
【0074】 ri,k =sij,k (14) ここで、kは図11の(c)、(d)に示される係数で
k=5〜16である。図14の(g)は、生成されたR
信号の高周波成分R1HH 、R1HL 、R1LH を示す。図1
4の(h)は、生成された高周波成分R1HH 、R1HL
1LH と、R信号周波数成分バッファ708上のR
2LL 、R2HH 、R2HL 、R2LH とを逆ウェーブレット変
換部722で逆ウェーブレット変換して算出した高精細
なR信号R0LLを示す。
【0075】前記したように第3実施形態では、入力信
号を所定サイズの領域に分割して周波数分解し、最も画
素数の多いG信号の低周波成分に対して他の信号の低周
波成分と形状の類似する領域を求め、この領域のG信号
の高周波成分に基づき他の信号の高周波成分を生成す
る。このとき低周波成分については本来の信号をそのま
ま用い、高周波成分のみを各領域ごとに適用的に生成す
るため、色信号の高周波成分を高精度で補正することが
でき、これによって、エラーの発生が少なく高精細な出
力画像が得られる。また、形状の類似性に基づき高周波
成分を求めるため、エッジなどで信号の連続性が損なわ
れる場合やG信号との相関性が低い場合についても高周
波成分を得ることができ、多様な画像に関しても良好な
出力画像が得られる。
【0076】なお、第3実施形態では領域のサイズを4
×4としているがこれに限定される必要はなく、自由な
設定が必要である。また、第3実施形態ではウェーブレ
ット変換および逆ウェーブレット変換部を1つとし、こ
れを切り替えて三信号を処理しているがこれに限定され
る必要はない。処理速度を重視する場合は、三信号ごと
に個別の変換部を設けてもよい。
【0077】以下に本発明の第4実施形態を説明する。
図15は第4実施形態の構成を示す図である。基本的に
第1実施形態の構成と同等であるが、第4実施形態では
第1実施形態におけるG信号高周波用バッファ107以
降の構成を変更し、高周波強調部801、G信号逆ウェ
ーブレット変換部802、誤差算出部803を付加した
構成になっている。
【0078】G信号高周波用バッファ107の出力は高
周波強調部801を介して、R信号高周波生成部11
0、B信号高周波生成部111、G信号逆ウェーブレッ
ト変換部802に接続されている。G信号逆ウェーブレ
ット変換部802は、高周波強調部801とG信号低周
波用バッファ106からの入力を受け、出力部114、
誤差算出部803に接続されている。誤差算出部803
は高周波強調部801に接続され、制御部115は、R
信号相関係数算出部108、R信号高周波生成部11
0、B信号相関係数算出部109、B信号高周波生成部
111、高周波強調部801、誤差算出部803に接続
されている。
【0079】以下に前記した構成の作用を説明する。入
力部101からのRGB三信号は、制御部115の制御
により、R信号用バッファ102、B信号用バッファ1
03、G信号用バッファ104に転送される。G信号用
バッファ104内のG信号は、ウェーブレット変換部1
05に転送され、ウェーブレット変換される。ウェーブ
レット変換後の低周波成分はG信号低周波用バッファ1
06へ、高周波成分はG信号高周波用バッファ107へ
出力される。G信号高周波用バッファ107の高周波成
分は、高周波強調部801に転送され、所定の係数αで
乗算される。
【0080】図16は、高周波強調部801における係
数αの決定法に関する説明図である。係数αの初期値と
しては、例えば1.5が設定されている。強調処理され
たG信号の高周波成分とG信号低周波用バッファ106
の低周波成分に基づいて、G信号逆ウェーブレット変換
部802にてG信号が再構成される。誤差算出部803
では再構成されたG信号の濃度範囲を調査し、所定の範
囲、例えば8bitの濃度レベルなら0〜255の範囲
を逸脱する画素数の割合を調査する。図16(a)に示
されるように、この割合が所定の閾値、例えば1%を超
えない場合、高周波強調部801は、係数αを増加させ
て再度強調処理を行う。一方、図16(b)に示される
ように所定の閾値を超えている場合には、係数αを減少
させて再度強調処理を行う。この誤差の割合が、超過か
ら未満または未満から超過になった時点で強調処理を終
了する。
【0081】G信号の高周波成分の処理が終了した後、
R信号相関係数算出部108はR信号用バッファ102
内のR信号とG信号低周波用バッファ106内のG信号
の低周波成分との間で色相関係数を算出する。同様にB
信号相関係数算出部109は、B信号用バッファ103
内のB信号とG信号低周波用バッファ106内のG信号
の低周波成分との間で色相関係数を算出する。各々の色
相関係数は、R信号高周波生成部110とB信号高周波
生成部111へ転送され、高周波強調部801内の強調
処理されたG信号の高周波成分と乗算され、R信号およ
びB信号の高周波成分が合成される。
【0082】R信号逆ウェーブレット変換部112は、
R信号用バッファ102内のR信号(低周波成分)と、
R信号高周波生成部110で合成されたR信号の高周波
成分とに基づいて逆ウェーブレット変換を行い、高精細
なR信号を出力部114へ転送する。同様に、B信号逆
ウェーブレット変換部113はB信号用バッファ103
内のB信号(低周波成分)と、B信号高周波生成部11
1で合成されたB信号の高周波成分とに基づいて逆ウェ
ーブレット変換を行い、高精細なB信号を出力部114
へ転送する。また、G信号逆ウェーブレット変換部80
2のG信号も出力部114へ出力され、出力部114か
らはRGB三信号が出力される。
【0083】前記したように第4実施形態では、入力信
号のうち最も画素数の多いG信号をウェーブレット変換
により高周波と低周波に分割し、この高周波成分を強調
処理する。そして、低周波成分を用いて他の信号との相
関係数を求め、この相関係数を強調処理したG信号の高
周波成分と乗算することで他の信号の高周波成分を生成
する。このとき低周波成分については本来の信号をその
まま用い、高周波成分は画素単位で適用的に生成される
ため、色信号の高周波成分を高精度で補正することがで
き、これによって、エラーの発生が少なく高精細な出力
画素が得られる。また、高周波成分は誤差の割合が所定
の閾値を超えない範囲で強調処理を行っているため、コ
ントラストの強調された視覚的に良好な出力信号を得ら
れる。
【0084】なお、第4実施形態では強調処理のための
係数αを誤差の割合が閾値を越えないように自動的に調
整しているが、これに限定される必要はない。手動で係
数αを求めることも可能であり、この場合は誤差算出部
803を省略することができる。
【0085】以下に本発明の第5実施形態を説明する。
図17は第5実施形態の構成を示す図である。第5実施
形態の構成は基本的に第1実施形態の構成と同等である
が、第5実施形態は、第1実施形態にR信号低周波強調
部901、B信号低周波強調部902、G信号低周波強
調部903、G信号高周波強調部904、G信号逆ウェ
ーブレット変換部905、誤差算出部906を付加した
構成になっている。R信号用バッファ102の出力に接
続されたR信号低周波強調部901は、R信号逆ウェー
ブレット変換部112に接続されている。B信号用バッ
ファ103の出力に接続されたB信号低周波強調部90
2は、B信号逆ウェーブレット変換部113に接続され
ている。G信号低周波用バッファ106の出力に接続さ
れたG信号低周波強調部903は、G信号逆ウェーブレ
ット変換部905に接続されている。G信号高周波用バ
ッファ107はG信号高周波強調部904を介して、R
信号高周波生成部110、B信号高周波生成部111、
G信号逆ウェーブレット変換部905に接続されてい
る。G信号逆ウェーブレット変換部905は、G信号高
周波強調部904とG信号低周波強調部903の出力に
接続されるとともに、出力部114、誤差算出部906
に接続されている。誤差算出部906は、G信号高周波
強調部904に接続され、制御部115は、R信号相関
係数算出部108、R信号高周波生成部110、R信号
低周波強調部901、B信号相関係数算出部109、B
信号高周波生成部111、B信号低周波強調部902、
G信号低周波強調部903、G信号高周波強調部90
4、誤差算出部906に接続されている。
【0086】以下に前記した構成の作用を説明する。入
力部101からのRGB三信号は、制御部115の制御
により、R信号用バッファ102、B信号用バッファ1
03、G信号用バッファ104に転送される。G信号用
バッファ104内のG信号は、ウェーブレット変換部1
05にてウェーブレット変換される。ウェーブレット変
換後の低周波成分はG信号低周波用バッファ106へ、
高周波成分はG信号高周波用バッファ107へ出力され
る。G信号低周波用バッファ106の低周波成分G1LL
は、G信号低周波強調部903にて次式に基づいて濃度
の最大値Mmaxで正規化された後、所定の係数βでベキ
乗される。第5実施形態では8bitの濃度レンジを想
定しているためにMmax =255となる。
【0087】
【数5】
【0088】係数βは、β<1の場合は暗部のレンジを
拡張し、β>1の場合は明部のレンジを拡張することに
なる。よって、G信号低周波強調部903ではG信号の
低周波成分の平均濃度値から明部または暗部を判断し
て、係数βの初期値を設定する。一例として、8bit
の濃度レベルなら0〜255の範囲となるので、低周波
成分の平均濃度値が128以下なら暗部、以上なら明部
と判断する。係数βの初期値は暗部ならば0.5、明部
なら1.5が設定される。係数βは全ての低周波成分に
対して同一の値が用いられる。
【0089】制御部115の制御に基づき、強調処理が
なされた低周波成分と、通常の高周波成分がG信号逆ウ
ェーブレット変換部905に転送されてG信号が再構成
される。誤差算出部906では、再構成されたG信号の
濃度範囲を調査し、所定の範囲を逸脱する画素数の割合
を調査する。第4実施形態と同様にして、最適な係数β
が求められる。この係数βは、制御部115を介してR
信号低周波強調部901とB信号低周波強調部902へ
転送され、(16)式と同様にして低周波成分のレンジ
が拡張される。
【0090】次に、制御部115はG信号高周波強調部
904を起動する。G信号高周波強調部904では図1
1の(d)に示されるように、G信号の高周波成分G
1HH 、G1HL 、G1LH が所定のサイズ、例えば4×4に
対応する領域に分割され、その成分gj,5 〜gj,16が抽
出される。そしてこの領域ごとに、強調のための係数γ
j が次式により算出される。
【0091】
【数6】
【0092】ここで、jは高周波成分の領域の番号を、
kは5〜16の要素を、gj a はj番目の領域の平均濃
度を意味する。(17)式は、与えられた係数βに対し
て、各領域の濃度レンジが所定の範囲を逸脱しない条件
を示す。G信号高周波用バッファ107の高周波成分
は、高周波強調部901にて前記係数γで乗算される。
この後、R信号相関係数算出部108はR信号用バッフ
ァ102内のR信号とG信号低周波用バッファ106内
のG信号の低周波成分との間で色相関係数を算出する。
同様にB信号相関係数算出部109は、B信号用バッフ
ァ103内のB信号とG信号低周波用バッファ106内
のG信号の低周波成分との間で色相関係数を算出する。
各々の色相関係数は、R信号高周波生成部110とB信
号高周波生成部111へ転送され、高周波強調部904
内の強調処理されたG信号の高周波成分と乗算され、R
信号およびB信号の高周波成分が合成される。R信号逆
ウェーブレット変換部112では、R信号低周波強調部
901内の強調された低周波成分と、R信号高周波生成
部110で合成されたR信号の高周波成分とに基づいて
逆ウェーブレット変換を行い、高精細なR信号を出力部
114へ転送する。同様に、B信号逆ウェーブレット変
換部113はB信号低周波強調部902内の強調された
低周波成分と、B信号高周波生成部111で合成された
B信号の高周波成分とに基づいて逆ウェーブレット変換
を行い、高精細なB信号を出力部114へ転送する。ま
た、G信号逆ウェーブレット変換部905のG信号も出
力部114ヘ出力され、出力部114からはRGB三信
号が出力される。
【0093】前記したように第5実施形態では、入力信
号のうち最も画素数の多いG信号をウェーブレット変換
により高周波と低周波に分解し、この高周波成分と低周
波成分を強調処理する。その後、G信号の本来の低周波
成分と他の信号間で相関係数を求め、この相関係数を強
調処理したG信号の高周波成分と乗算することで他の信
号の高周波成分を生成する。また、G信号の低周波成分
と同様な強調処理を他の信号に対しても行う。高周波成
分と低周波成分を最適に強調処理した後に高周波成分を
領域ごとに適用的に生成するため、拡張されたダイナミ
ックレンジと強調されたコントラストを持つ高精細な出
力信号が得られる。また、拡張処理による誤差の発生を
予め調査してパラメータを制御し、かつ強調処理のパラ
メータも併せて制御しているため、不自然な強調が発生
しにくい。
【0094】なお、第5実施形態では強調処理のための
係数βを誤差の割合が閾値を超えないように自動的に調
整しているが、これに限定される必要はない。手動で係
数βを決めることも可能であり、この場合は誤差算出部
906を省略することができる。 1.なお、前記した具体的実施形態には以下の構成の発
明が含まれている。 (構成1)複数の分光感度特性のうち、少なくとも1つ
の分光感度特性に関する信号の情報量が他の分光感度特
性に関する信号の情報量より多い信号を処理する信号処
理装置において、情報量が多い分光感度特性の信号を低
周波成分と高周波成分とに分解する周波数分解手段と、
この周波数分解手段から得られた低周波成分と、情報量
が少ない分光感度特性の信号との間で相関係数を算出す
る相関係数算出手段と、この相関係数算出手段から得ら
れた相関係数と、前記周波数分解手段から得られた高周
波成分に基づいて、情報量が少ない分光感度特性の信号
の高周波成分を生成する高周波生成手段と、この高周波
生成手段から得られた高周波成分と情報量が少ない分光
感度特性の信号とを合成して高精細な出力信号を出力す
る周波数合成手段と、を有することを特徴とする信号処
理装置。 (構成2)構成1において、前記情報量が多い分光感度
特性の信号が輝度信号に相当し、この信号以外の信号が
色信号に相当することを特徴とする信号処理装置。 (構成3)構成1において、前記周波数分解手段および
前記高周波合成手段は、基底関数としてHarr関数または
Daubechies関数を用いて直交ウェーブレット変換または
双直交ウェーブレット変換を行なうことを特徴とする信
号処理装置。 (構成4)構成1において、前記相関係数算出手段は、
複数の分光感度特性の信号間の色相関に基づき相関係数
を算出することを特徴とする信号処理装置。 (構成5)構成1において、周波数分解手段および周波
数合成手段は、所定サイズの領域ごとにDCT変換、フ
ーリエ変換、アダマール変換の何れか一つの直交変換を
用いることを特徴とする信号処理装置。 (構成6)複数の分光感度特性のうち、少なくとも1つ
の分光感度特性に関する信号の情報量が他の分光感度特
性に関する信号の情報量より多い信号を処理する信号処
理装置において、分布が局所的な関数を基底関数として
信号を複数の周波数成分に分解する周波数分解手段と、
この周波数分解手段から得られた複数の周波数成分の係
数から、情報量が多い分光感度特性の信号の第一の所定
領域に対応する周波数成分と、情報量が少ない他の分光
感度特性の信号の第二の所定領域に対応する周波数成分
とを抽出する抽出手段と、この抽出手段から得られた前
記第一の所定領域と前記第二の所定領域の周波数成分間
で、相似性の度合いを算出する相似性算出手段と、この
相似性算出手段から得られた相似性の度合いに基づき、
前記第二の所定領域に対し最も相似性が高い前記第一の
所定領域を探索する探索手段と、この探索手段から得ら
れた前記第一の所定領域に関する高周波成分から、相似
性の度合いに基づき前記第二の所定領域の高周波成分を
生成する高周波生成手段と、この高周波生成手段から得
られた高周波成分と情報量が少ない分光感度特性の信号
とを合成して高精細な出力信号を出力する周波数合成手
段と、を具備することを特徴とする信号処理装置。 (構成7)構成6において、前記周波数分解手段および
前記高周波合成手段は、基底関数としてHarr関数または
Daubechies関数を用いて直交ウェーブレット変換または
双直交ウェーブレット変換を行なうことを特徴とする信
号処理装置。 (構成8)複数の分光感度特性のうち、少なくとも1つ
の分光感度特性に関する信号の情報量が他の分光感度特
性に関する信号の情報量より多い信号を処理する信号処
理装置において、情報量が多い分光感度特性の信号を低
周波成分と高周波成分とに分解する周波数分解手段と、
この周波数分解手段によって分解された高周波成分に対
し、1より大なる係数αを乗算する高周波強調手段と、
この高周波強調手段で強調された高周波成分と前記低周
波成分とを合成して得られる信号が所定の範囲を逸脱し
ている割合を算出する誤差算出手段と、この誤差算出手
段による算出結果に基づき、前記係数αの値を制御する
制御手段と、を具備することを特徴とする信号処理装
置。 (構成9)複数の分光感度特性のうち、少なくとも1つ
の分光感度特性に関する信号の情報量が他の分光感度特
性に関する信号の情報量より多い信号を処理する信号処
理装置において、情報量が多い分光感度特性の信号を低
周波成分と高周波成分とに分解する周波数分解手段と、
この周波数分解手段によって分解された低周波成分に対
し、正規化された信号を係数βでベキ乗して強調する基
準信号低周波強調手段と、この基準信号低周波強調手段
によって強調された低周波成分と、前記高周波成分とを
合成し、合成された信号が所定の範囲を逸脱している割
合を算出する誤差算出手段と、この誤差算出手段による
算出結果に基づき、前記係数βの値を制御する制御手段
と、前記周波数分解手段によって分解された高周波成分
を所定の領域に分割し、分割された各領域ごとに、前記
基準信号低周波強調手段で用いた係数βから所定の関係
式により導かれる係数γを乗算する基準信号高周波強調
手段と、情報量の少ない分光感度特性の信号に対し、正
規化された信号を前記係数βでべき乗する従属信号低周
波強調手段と、を具備することを特徴とする信号処理装
置。 2.前記した構成の発明が解決しようとする課題は以下
の通りである。 (構成1乃至4)従来技術は、線形補間や輝度信号を補
正したもので置換することで色信号を補っているのみ
で、高精度な色信号の補正という点については対応する
ことができない。本発明はこの点に着目し、色信号の高
周波成分を高精度で補正できる信号処理装置を提供する
ことを目的とする。 (構成5)従来技術は、線形補間や輝度信号を補正した
もので置換することで色信号を補っているのみで、高精
度な色信号の補正という点については対応することがで
きない。本発明はこの点に着目し、必要とするメモリ容
量が少ない装置構成で色信号の高周波成分を高精度で補
正できる信号処理装置を提供することを目的とする。 (構成6、7)従来技術は、色信号を隣接画素を用いて
補間したり、同一座標上にある輝度信号を補正したもの
で置換することで色信号を補っているのみで、エッジな
どで信号の連続性が損なわれる場合や輝度信号との相関
性が低い場合については対応することができない。本発
明はこの点に着目し、連続性が損なわれる場合や相関性
が低い場合でも色信号の高周波成分を補正できる信号処
理装置を提供することを目的とする。 (構成8)従来技術は、線形補間や輝度信号を補正した
もので置換することにより色信号を補っているのみで、
入力信号以上の高周波成分を生成するという点について
は対応することができない。本発明はこの点に着目し、
入力信号以上の高周波成分を生成してコントラストを強
調し視覚的に良好な出力信号が得られる信号処理装置を
提供することを目的とする。 (構成9)従来技術は、線形補間や輝度信号を補正した
もので置換することで色信号を補っているのみで、高周
波成分と低周波成分の最適な補正という点については対
応することができない。本発明はこの点に着目し、ダイ
ナミックレンジの拡張とコントラスト強調を行い高精細
な出力信号が得られる信号処理装置を提供することを目
的とする。 3.前記した構成の発明に対応する実施形態、作用、効
果は以下の通りである。 (構成1乃至4) (対応する発明の実施形態)この発明に係る実施形態に
は、少なくとも前記した第1の実施形態が対応する。構
成中の周波数分解手段には、図1及び図3に示されるウ
ェーブレット変換部105が該当する。ウェーブレット
変換の基底関数としては図4に示すHarr関数が該当する
が、Daubechies関数などの直交ウェーブレット関数や双
直交ウェーブレット関数なども含む。構成中の相関係数
算出手段には、図1のR信号相関係数算出部108、B
信号相関係数算出部109が該当する。ここで相関係数
算出手段は、複数の分光感度特性の出力信号間の色相関
に基づき相関係数を算出することを含む。構成中の高周
波生成手段には、図1のR信号高周波生成部110、B
信号高周波生成部111が該当する。構成中の周波数合
成手段には、図1及び図6に示すR信号逆ウェーブレッ
ト変換部112、B信号逆ウェーブレット変換部113
が該当する。
【0095】この発明に係る信号処理装置の好ましい適
用例は以下の通りである。図1に示す入力部101から
の画像信号をR信号用バッファ102、B信号用バッフ
ァ103、G信号用バッファ104に保存し、最も画素
数の多いG信号用バッファ104中のG信号をウェーブ
レット変換部105へ転送して高周波成分と低周波成分
に周波数分解する。次に、この低周波成分とR信号およ
びB信号間の相関係数をR信号相関係数算出部108と
B信号相関係数算出部109で算出し、得られた相関係
数をR信号高周波生成部110とB信号高周波生成部1
11にてG信号の高周波成分と乗算することでR信号と
B信号の高周波成分を生成する。そして、この生成され
た高周波成分と本来のR信号およびB信号をR信号逆ウ
ェーブレット変換部112とB信号逆ウェーブレット変
換部113にて合成する。
【0096】(作用)入力信号のうち情報量が多い分光
感度特性に関する信号(ここでは最も画素数の多いG信
号)をウェーブレット変換などの周波数分解により高周
波と低周波に分解する。このうち低周波成分を用いて情
報量が少ない他の分光感度特性の信号(ここではR、B
信号)との相関係数を求め、この相関係数をG信号の高
周波成分と乗算することで、他の信号としてのR、B信
号の高周波成分を生成する。
【0097】(効果)低周波成分については本来の信号
をそのまま用い、高周波成分については画素単位で適用
的に生成して付加するようにしたので、色信号の高周波
成分を高精度で補正することができ、エラーの発生が少
なく高精細な出力画像が得られる。また、周波数分解手
段としてウェーブレット変換を用いた場合は近傍画素の
情報を共有し合うため、画素単位で高周波成分を制御し
ても連続性がよく、高画質な再生画像が得られる。ま
た、周波数情報と位置情報が同時に得られるため、画素
単位で相関係数を算出することで高周波成分が適用的に
合成される。 (構成5) (対応する発明の実施の形態)この発明に係る実施形態
には、前記した第2実施形態が対応する。構成中の周波
数分解手段には、図7の入力切替部505、DCT変換
部506、出力切替部507が該当する。また、構成中
の周波数合成手段には、図7の入力切替部515、逆D
CT変換部516、出力切替部517が該当する。
【0098】この発明に係る信号処理装置の好ましい適
用例は以下の通りである。図7に示す入力部501から
の画像信号をR信号用バッファ502、G信号用バッフ
ァ503、B信号用バッファ504にて保存し、所定サ
イズの領域ごとにDCT変換部506にて高周波成分と
低周波成分に周波数分解する。次に、最も画素数の多い
G信号の低周波成分とR信号およびB信号の低周波成分
間の相関係数をR信号相関係数算出部511とB信号相
関係数算出部512で算出し、これらの相関関係をR信
号高周波生成部513とB信号高周波生成部514にて
G信号の高周波成分と乗算することでR信号およびB信
号の高周波成分を生成する。そして、この生成された高
周波成分と本来のR信号およびB信号の低周波成分を逆
DCT変換部516にて合成する。
【0099】(作用)入力信号を所定サイズの領域ごと
に例えばDCT変換することにより高周波と低周波に分
解する。この低周波成分を用いて最も画素数の多いG信
号と他の信号としてのR、B信号との相関係数を求め、
この相関係数をG信号の高周波成分と乗算することで
R、B信号の高周波成分を生成する。
【0100】(効果)小サイズの領域ごとに周波数分解
および合成を行うため、必要となるメモリ容量が少ない
装置構成が可能となる。また、低周波成分は本来の信号
をそのまま用い、高周波成分については画素単位で適用
的に生成して付加するようにしたので、色信号の高周波
成分を高精度で補正することができ、エラーの発生が少
なく高精細な出力画像が得られる。 (構成6、7) (対応する発明の実施の形態)この発明に係る実施形態
には、前記した第3実施形態が対応する。構成中の周波
数分解手段には、図10に示されるウェーブレット変換
部706が該当する。ウェーブレット変換の基底関数と
しては、図4に示すHarr関数が該当するが、Daubechies
関数などの直交ウェーブレット関数や双直交ウェーブレ
ット関数なども含む。構成中の抽出手段には、図10の
R信号選択部711、B信号選択部712、B信号選択
部713が該当する。構成中の相似性算出手段には、図
10のR信号誤差算出部715、B信号誤差算出部71
6が該当する。構成中の探索手段には、図10のR信号
最小誤差探索部717、B信号最小誤差探索部718が
該当する。構成中の高周波生成手段には、図10のR信
号高周波生成部719、B信号高周波生成部720が該
当する。構成中の周波数合成手段には、図10に示す逆
ウェーブレット変換部722が該当する。
【0101】この発明に係る信号処理装置の好ましい適
用例は以下の通りである。図10に示す入力部701か
らの画像信号をR信号用バッファ702、G信号用バッ
ファ703、B信号用バッファ704にて保存し、各バ
ッファ中の信号をウェーブレット変換部706へ転送し
て高周波成分と低周波成分に周波数分解する。次に、最
も画素数の多いG信号の低周波成分とR信号およびB信
号間の低周波成分とで形状の相似性の度合いを、所定サ
イズの領域ごとにR信号誤差算出部715とB信号誤差
算出部716で算出し、最も相似性の高い領域をR信号
最小誤差探索部717とB信号最小誤差探索部718で
求める。次に、この領域に対応するG信号の高周波成分
をR信号高周波生成部719とB信号高周波生成部72
0にて相似性の度合いに応じて補正し、この補正された
高周波成分と本来のR信号およびB信号の低周波成分を
逆ウェーブレット変換部722にて合成する。
【0102】(作用)分布が局所的な関数を基底関数と
した周波数分解、例えば、ウェーブレット変換により入
力信号を複数の周波数成分に分解する。次に、情報量が
多い分光感度特性の信号(ここでは最も画素数の多いG
信号)の低周波成分と、情報量が少ない他の分光特性の
信号(ここではR、B信号)の低周波成分間で形状の類
似する領域を探索し、この領域のG信号の高周波成分を
形状の相似性の度合いに応じて補正することでR、B信
号の高周波成分を生成する。
【0103】(効果)形状の相似性に基づき高周波成分
を生成するため、エッジなどで信号の連続性が損なわれ
る場合やG信号との相関性が低い場合についても高周波
成分を得ることができ、多様な画像に関しても良好な出
力画像が得られる。 (構成8) (対応する発明の実施の形態)この発明に係る実施形態
には、前記した第4実施形態が対応する。構成中の高周
波強調手段には、図15の高周波強調部801が該当す
る。構成中の誤差算出手段には、図15のG信号逆ウェ
ーブレット変換部802、誤差算出部803が該当す
る。構成中の制御手段には、図15の制御部115が該
当する。
【0104】この発明に係る信号処理装置の好ましい適
用例は以下の通りである。図15に示すG信号用バッフ
ァ104中のG信号をウェーブレット変換部105へ転
送して高周波成分と低周波成分に周波数分解し、高周波
成分を高周波強調部801にて係数αを乗算することで
強調する。次に、この強調された高周波成分と低周波成
分をG信号逆ウェーブレット変換部802で再構成し、
この再構成画像が規定の濃度範囲を逸脱している割合を
誤差算出部803にて算出する。そして、制御部115
により誤差が所定の閾値を超えないよう係数αの値を制
御し、強調された高周波成分を用いてR信号およびB信
号の強調された高周波成分を生成し、強調された高周波
成分と低周波成分からR、G、B三信号を再構成する。
【0105】(作用)入力信号のうち情報量が多い分光
感度特性の信号(ここでは最も画素数の多いG信号)を
ウェーブレット変換またはDCT変換などの周波数分解
手段によって高周波成分と低周波成分に分解する。この
うち高周波成分を係数αを乗算することで強調し、さら
に強調処理した高周波成分を用いて原信号を再構成し、
誤差の程度に基づき係数αの値を制御する。この後、G
信号の低周波成分と情報量の少ない他の分光特性の信号
(ここではR、B信号)との相関係数を求め、この相関
係数をG信号を強調処理した高周波成分と乗算すること
でR、B信号を強調処理した高周波成分を生成する。
【0106】(効果)コントラストが強調された視覚的
に良好な出力信号が得られる。また、強調処理による誤
差の発生を予め調査しているため、不自然な強調が発生
しにくい。また、周波数分解手段としてウェーブレット
変換を用いた場合は近傍画素の情報を共有し合うために
連続性がよく高画質な再生画像が得られる。一方、周波
数分解手段としてDCT変換を用いた場合はメモリ容量
を小さくできる効果を奏する。 (構成9) (対応する発明の実施の形態)この発明に係る実施形態
には、前記した第5実施形態が対応する。構成中の基準
信号低周波強調手段には、図17のG信号低周波強調部
903が該当する。構成中の誤差算出手段には、図17
のG信号逆ウェーブレット変換部905、誤差算出部9
06が該当する。構成中の制御手段には、図17の制御
部115が該当する。構成中の基準信号高周波強調手段
には、図17のG信号高周波強調部904が該当する。
構成中の従属信号低周波強調手段には、図17のR信号
低周波強調部901、B信号低周波強調部902が該当
する。
【0107】この発明に係る信号処理装置の好ましい適
用例は以下の通りである。図17に示すG信号用バッフ
ァ104中のG信号をウェーブレット変換部105へ転
送して高周波成分と低周波成分に周波数分解する。次
に、正規化された低周波成分に対してG信号低周波強調
部903にて係数βをベキ乗することでダイナミックレ
ンジを拡張し、この拡張された低周波成分と高周波成分
をG信号逆ウェーブレット変換部905で再構成する。
次に、この再構成画像が規定の濃度範囲を逸脱している
割合を誤差算出部906にて算出し、制御部115によ
り誤差が所定の閾値を超えないよう係数βの値を制御す
る。次に、適切に拡張された低周波成分に対応して所定
サイズの領域ごとに高周波成分を係数βから所定の関係
式により導かれる係数γを乗算することで強調する。次
に、正規化されたR信号およびB信号の低周波成分をR
信号低周波強調部901とB信号低周波強調部902に
て前記を係数βを用いてベキ乗し、強調されたG信号の
高周波成分を用いてR信号およびB信号の強調された高
周波成分を生成する。そして、強調された高周波成分と
ダイナミックレンジが拡張された低周波成分からR、
G、B三信号を再構成する。
【0108】(作用)入力信号のうち情報量が多い分光
感度特性の信号(ここでは最も画素数の多いG信号)を
ウェーブレット変換またはDCT変換などの周波数分解
手段によって高周波成分と低周波成分に分解する。この
うち低周波成分を正規化して係数βでベキ乗することで
ダイナミックレンジを拡張し、さらに拡張した低周波成
分を用いて原信号を再構成し、誤差の程度に基づき係数
βの値を制御する。この後、G信号の高周波成分を係数
βから所定の関係式により導かれる係数γを乗算するこ
とで強調する。G信号の低周波成分と、情報量の少ない
他の分光感度特性の信号(ここではR、B信号)との相
関係数を求め、この相関係数をG信号を強調処理した高
周波成分と乗算することでR、B信号を強調処理した高
周波成分を生成する。さらに、G信号の低周波成分に対
して適切に制御された係数βでR、B信号の低周波成分
のダイナミックレンジを拡張する。最後に、強調された
高周波成分とダイミックレンジを拡張された低周波成分
からR、G、B三信号を再構成する。
【0109】(効果)拡張されたダイナミックレンジと
強調されたコントラストを持つ高精細な出力信号が得ら
れる。また、拡張処理による誤差の発生を予め調査して
パラメータを制御し、かつ強調処理のパラメータも併せ
て制御しているため、不自然な強調が発生しにくい。ま
た、周波数分解手段としてウェーブレット変換を用いた
場合は近傍画素の情報を共有し合うために連続性がよく
高画質な再生画像が得られる。一方、周波数分解手段と
してDCT変換を用いた場合はメモリ容量を小さくでき
る効果を奏する。
【0110】
【発明の効果】請求項1に記載の発明によれば、色信号
の高周波成分を高精度で補正できる信号処理装置を提供
することができる。請求項2に記載の発明によれば、連
続性が損なわれる場合や相関性が低い場合でも色信号の
高周波成分を補正できる信号処理装置を提供することが
できる。請求項3に記載の発明によれば、コントラスト
が強調された視覚的に良好な出力信号が得られる信号処
理装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る信号処理装置の構
成を示す図である。
【図2】二板式CCD入力部の説明図である。
【図3】ウェーブレット変換部の構成を示す図である。
【図4】Harr関数に関する説明図である。
【図5】第1実施形態における信号処理の流れを示す図
である。
【図6】逆ウェーブレット変換部の構成を示す図であ
る。
【図7】本発明の第2実施形態に係る信号処理装置の構
成を示す図である。
【図8】単板式CCD入力部の説明図である。
【図9】第2実施形態における信号処理の流れを示す図
である。
【図10】本発明の第3実施形態に係る信号処理装置の
構成を示す図である。
【図11】周波数成分による類似領域探索の説明図であ
る。
【図12】係数の再配置に関する説明図である。
【図13】類似領域探索のフローチャートである。
【図14】第3実施形態における信号処理の流れを示す
図である。
【図15】本発明の第4実施形態に係る信号処理装置の
構成を示す図である。
【図16】係数αの決定法の説明図である。
【図17】本発明の第4実施形態に係る信号処理装置の
構成を示す図である。
【図18】単板式撮像素子のフィルタ配置を示す図であ
る。
【符号の説明】
101…入力部、102…R信号用バッファ、103…
B信号用バッファ、104…G信号用バッファ、105
…ウェーブレット変換部、106…G信号低周波用バッ
ファ、107…G信号高周波用バッファ、108…R信
号相関係数算出部、109…B信号相関係数算出部、1
10…R信号相関係数算出部、111…B信号高周波生
成部、112…R信号逆ウェーブレット変換部、113
…B信号逆ウェーブレット変換部、114…出力部。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の分光感度特性のうち、少なくとも
    1つの分光感度特性に関する信号の情報量が他の分光感
    度特性に関する信号の情報量より多い信号を処理する信
    号処理装置において、 情報量が多い分光感度特性の信号を低周波成分と高周波
    成分とに分解する周波数分解手段と、 この周波数分解手段から得られた低周波成分と、情報量
    が少ない分光感度特性の信号との間で相関係数を算出す
    る相関係数算出手段と、 この相関係数算出手段から得られた相関係数と、前記周
    波数分解手段から得られた高周波成分に基づいて、情報
    量が少ない分光感度特性の信号の高周波成分を生成する
    高周波生成手段と、 この高周波生成手段から得られた高周波成分と情報量が
    少ない分光感度特性の信号とを合成して高精細な出力信
    号を出力する周波数合成手段と、 を具備することを特徴とする信号処理装置。
  2. 【請求項2】 複数の分光感度特性のうち、少なくとも
    1つの分光感度特性に関する信号の情報量が他の分光感
    度特性に関する信号の情報量より多い信号を処理する信
    号処理装置において、 分布が局所的な関数を基底関数として信号を複数の周波
    数成分に分解する周波数分解手段と、 この周波数分解手段から得られた複数の周波数成分の係
    数から、情報量が多い分光感度特性の信号の第一の所定
    領域に対応する周波数成分と、情報量が少ない他の分光
    感度特性の信号の第二の所定領域に対応する周波数成分
    とを抽出する抽出手段と、 この抽出手段から得られた第一の所定領域と第二の所定
    領域の周波数成分間で、相似性の度合いを算出する相似
    性算出手段と、 この相似性算出手段から得られた相似性の度合いに基づ
    き、前記第二の所定領域に対し最も相似性が高い前記第
    一の所定領域を探索する探索手段と、 この探索手段から得られた前記第一の所定領域に関する
    高周波成分から、相似性の度合いに基づき前記第二の所
    定領域の高周波成分を生成する高周波生成手段と、 この高周波生成手段から得られた高周波成分と情報量が
    少ない分光感度特性の信号とを合成して高精細な出力信
    号を出力する周波数合成手段と、 を具備することを特徴とする信号処理装置。
  3. 【請求項3】 複数の分光感度特性のうち、少なくとも
    1つの分光感度特性に関する信号の情報量が他の分光感
    度特性に関する信号の情報量より多い信号を処理する信
    号処理装置において、 情報量が多い分光感度特性の信号を低周波成分と高周波
    成分とに分解する周波数分解手段と、 この周波数分解手段によって分解された高周波成分に対
    し、1より大なる係数αを乗算する高周波強調手段と、 この高周波強調手段で強調された高周波成分と前記低周
    波成分とを合成して得られる信号が所定の範囲を逸脱し
    ている割合を算出する誤差算出手段と、 この誤差算出手段による算出結果に基づき、前記係数α
    の値を制御する制御手段と、 を具備することを特徴とする信号処理装置。
JP09254596A 1996-04-15 1996-04-15 信号処理装置 Expired - Fee Related JP3670754B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP09254596A JP3670754B2 (ja) 1996-04-15 1996-04-15 信号処理装置
US08/837,922 US5892850A (en) 1996-04-15 1997-04-11 Signal processing apparatus capable of correcting high-frequency component of color signal with high precision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09254596A JP3670754B2 (ja) 1996-04-15 1996-04-15 信号処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004360155A Division JP3887639B2 (ja) 2004-12-13 2004-12-13 信号処理装置

Publications (2)

Publication Number Publication Date
JPH09284798A true JPH09284798A (ja) 1997-10-31
JP3670754B2 JP3670754B2 (ja) 2005-07-13

Family

ID=14057369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09254596A Expired - Fee Related JP3670754B2 (ja) 1996-04-15 1996-04-15 信号処理装置

Country Status (2)

Country Link
US (1) US5892850A (ja)
JP (1) JP3670754B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003092765A (ja) * 2001-09-18 2003-03-28 Olympus Optical Co Ltd 信号処理装置
JP2006165663A (ja) * 2004-12-02 2006-06-22 Fuji Photo Film Co Ltd 撮像装置、デジタルカメラ、及びカラー画像データ生成方法
JP2006311000A (ja) * 2005-04-27 2006-11-09 Sony Corp 画像処理装置および方法、並びにプログラム
WO2007122766A1 (ja) * 2006-04-18 2007-11-01 Tokyo Institute Of Technology 画像変換装置および画像変換プログラム
US7362894B2 (en) 2003-01-14 2008-04-22 Sony Corporation Image processing apparatus and method, recording medium, and program
JP2011004407A (ja) * 2010-07-20 2011-01-06 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011234413A (ja) * 2011-07-25 2011-11-17 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012060641A (ja) * 2010-09-06 2012-03-22 Commissariat A L'energie Atomique Et Aux Energies Alternatives デジタルraw画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路
JP2014110633A (ja) * 2012-11-30 2014-06-12 Samsung Techwin Co Ltd 映像処理装置及びその方法
CN112611275A (zh) * 2020-12-14 2021-04-06 江西理工大学 一种爆破盲炮检测方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2782861A1 (fr) * 1998-08-26 2000-03-03 Canon Kk Transcodage geometrique d'un signal numerique
RU2150146C1 (ru) * 1998-09-03 2000-05-27 Семенченко Михаил Григорьевич Способ обработки изображения
JP4083934B2 (ja) 1999-09-10 2008-04-30 株式会社東芝 画像処理装置および画像処理方法
AUPR433901A0 (en) 2001-04-10 2001-05-17 Lake Technology Limited High frequency signal construction method
US7020352B2 (en) * 2001-05-25 2006-03-28 Seiko Epson Corporation Photo extraction techniques
US6801672B1 (en) * 2001-06-01 2004-10-05 Bruce A. Thomas Removing noise from a color image using wavelets
EP1579388A4 (en) * 2002-12-20 2017-08-23 Warner Bros. Entertainment Inc. Reduction of differential resolution of separations
US7386186B2 (en) * 2004-08-27 2008-06-10 Micron Technology, Inc. Apparatus and method for processing images
US20060119724A1 (en) * 2004-12-02 2006-06-08 Fuji Photo Film Co., Ltd. Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method
US8121401B2 (en) * 2006-01-24 2012-02-21 Sharp Labortories of America, Inc. Method for reducing enhancement of artifacts and noise in image color enhancement
JP4918026B2 (ja) * 2007-12-21 2012-04-18 株式会社リコー 画像符号化装置、画像符号化方法、コンピュータプログラム、及び、情報記録媒体
JPWO2011040074A1 (ja) * 2009-09-30 2013-02-21 シャープ株式会社 画像拡大装置、画像拡大プログラム、及び表示装置
US8897569B2 (en) * 2010-03-01 2014-11-25 Sharp Kabushiki Kaisha Image enlargement device, image enlargement program, memory medium on which an image enlargement program is stored, and display device
US9508134B2 (en) * 2015-03-13 2016-11-29 The Boeing Company Apparatus, system, and method for enhancing image data
US10176557B2 (en) 2016-09-07 2019-01-08 The Boeing Company Apparatus, system, and method for enhancing image video data
US10549853B2 (en) 2017-05-26 2020-02-04 The Boeing Company Apparatus, system, and method for determining an object's location in image video data
US10789682B2 (en) 2017-06-16 2020-09-29 The Boeing Company Apparatus, system, and method for enhancing an image
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56104399A (en) * 1980-01-23 1981-08-20 Hitachi Ltd Voice interval detection system
US5157743A (en) * 1987-10-28 1992-10-20 Canon Kabushiki Kaisha Image information coding apparatus
US5092341A (en) * 1990-06-18 1992-03-03 Del Mar Avionics Surface ecg frequency analysis system and method based upon spectral turbulence estimation
JP2815497B2 (ja) * 1991-08-26 1998-10-27 三菱電機株式会社 カラービデオカメラ
GB2262854B (en) * 1991-12-24 1995-05-24 Sony Broadcast & Communication Image processing apparatus
JP2666662B2 (ja) * 1992-06-29 1997-10-22 日本ビクター株式会社 階層型符号化装置及び復号化装置
DE69417832T2 (de) * 1993-09-28 1999-08-12 Hewlett-Packard Co., Palo Alto, Calif. Digitale Halbtonrasterwiedergabe eines Grautonbildes mit frequenzabhängiger diagonaler Korrelation
US5446806A (en) * 1993-11-15 1995-08-29 National Semiconductor Corporation Quadtree-structured Walsh transform video/image coding
KR960013055A (ko) * 1994-09-27 1996-04-20 김광호 조건부 퀴드트리 분할방식의 화상압축방법 및 장치
US5754702A (en) * 1994-12-02 1998-05-19 Allied Signal Inc. Scale oriented interband prediction method for image data compression and reconstruction
US5727089A (en) * 1995-01-05 1998-03-10 Eastman Kodak Company Method and apparatus for multiple quality transaction card images

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003092765A (ja) * 2001-09-18 2003-03-28 Olympus Optical Co Ltd 信号処理装置
US7362894B2 (en) 2003-01-14 2008-04-22 Sony Corporation Image processing apparatus and method, recording medium, and program
JP2006165663A (ja) * 2004-12-02 2006-06-22 Fuji Photo Film Co Ltd 撮像装置、デジタルカメラ、及びカラー画像データ生成方法
JP2006311000A (ja) * 2005-04-27 2006-11-09 Sony Corp 画像処理装置および方法、並びにプログラム
JPWO2007122766A1 (ja) * 2006-04-18 2009-08-27 国立大学法人東京工業大学 画像変換装置および画像変換プログラム
GB2450295A (en) * 2006-04-18 2008-12-17 Tokyo Inst Tech Image converter and image converting program
WO2007122766A1 (ja) * 2006-04-18 2007-11-01 Tokyo Institute Of Technology 画像変換装置および画像変換プログラム
GB2450295B (en) * 2006-04-18 2010-12-01 Tokyo Inst Tech Image transform apparatus and image transform program
JP4617470B2 (ja) * 2006-04-18 2011-01-26 国立大学法人東京工業大学 画像変換装置および画像変換プログラム
US7970236B2 (en) 2006-04-18 2011-06-28 Tokyo Institute Of Technology Image transform apparatus and image transform program
JP2011004407A (ja) * 2010-07-20 2011-01-06 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012060641A (ja) * 2010-09-06 2012-03-22 Commissariat A L'energie Atomique Et Aux Energies Alternatives デジタルraw画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路
JP2011234413A (ja) * 2011-07-25 2011-11-17 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014110633A (ja) * 2012-11-30 2014-06-12 Samsung Techwin Co Ltd 映像処理装置及びその方法
CN112611275A (zh) * 2020-12-14 2021-04-06 江西理工大学 一种爆破盲炮检测方法

Also Published As

Publication number Publication date
JP3670754B2 (ja) 2005-07-13
US5892850A (en) 1999-04-06

Similar Documents

Publication Publication Date Title
JP3670754B2 (ja) 信号処理装置
US11816811B2 (en) Efficient image demosaicing and local contrast enhancement
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
US5488674A (en) Method for fusing images and apparatus therefor
Acharya et al. Computational foundations of image interpolation algorithms.
US7412107B2 (en) System and method for robust multi-frame demosaicing and color super-resolution
CN105340268B (zh) 图像处理装置、图像处理方法以及图像处理程序
JP2002516540A (ja) 知覚的に無損失の画像をもたらす2次元離散ウェーブレット変換に基づくカラー画像の圧縮
JP2003018398A (ja) ピクセル画像から超解像度画像を生成する方法
CN104299185A (zh) 一种图像放大方法、图像放大装置及显示设备
WO2013008517A1 (ja) 撮像装置及び画像生成方法
CN104410786B (zh) 图像处理设备和图像处理设备的控制方法
US7158178B1 (en) Method of converting a sub-sampled color image
Mukherjee et al. Demosaicing of images obtained from single-chip imaging sensors in YUV color space
Paul et al. Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method
JP3887639B2 (ja) 信号処理装置
JP4173705B2 (ja) 動画像合成方法および装置並びにプログラム
WO2012147630A1 (ja) 撮像装置及び画像生成方法
JP2011043901A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
JP4069468B2 (ja) 映像形成装置
EP1615168A1 (en) Colour interpolation in DWT domain
KR101059649B1 (ko) 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치
Chung et al. New joint demosaicing and arbitrary-ratio resizing algorithm for color filter array based on DCT approach
Shi et al. Region-adaptive demosaicking with weighted values of multidirectional information
US12586158B2 (en) Image signal processor for a composite chrominance image and a composite white image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050415

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110422

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees