JP2000333171A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2000333171A JP2000333171A JP13197699A JP13197699A JP2000333171A JP 2000333171 A JP2000333171 A JP 2000333171A JP 13197699 A JP13197699 A JP 13197699A JP 13197699 A JP13197699 A JP 13197699A JP 2000333171 A JP2000333171 A JP 2000333171A
- Authority
- JP
- Japan
- Prior art keywords
- coefficient
- pixel
- filter
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
(57)【要約】
【課題】 入力画像に対して所望のフィルタ特性で空間
周波数特性の調整および圧縮処理を行う。 【解決手段】 空間フィルタ2において、フィルタ特性
7Bと共同して所望の空間周波数調整用フィルタ特性7
をなすフィルタ特性7Aを持つフィルタ係数2Aを用い
て入力画像14の空間周波数特性を調整することにより
中間画像6を生成し、2次元直交変換部4において、フ
ィルタ特性7Aと共同して所望の空間周波数調整用フィ
ルタ特性7をなすフィルタ特性7Bを併せ持つ2次元直
交変換係数4を用いて、空間周波数特性を調整するとと
もに画像圧縮のための2次元直交変換を行う。
周波数特性の調整および圧縮処理を行う。 【解決手段】 空間フィルタ2において、フィルタ特性
7Bと共同して所望の空間周波数調整用フィルタ特性7
をなすフィルタ特性7Aを持つフィルタ係数2Aを用い
て入力画像14の空間周波数特性を調整することにより
中間画像6を生成し、2次元直交変換部4において、フ
ィルタ特性7Aと共同して所望の空間周波数調整用フィ
ルタ特性7をなすフィルタ特性7Bを併せ持つ2次元直
交変換係数4を用いて、空間周波数特性を調整するとと
もに画像圧縮のための2次元直交変換を行う。
Description
【0001】
【発明の属する技術分野】本発明は、画像処理装置に関
し、特に電子カメラ装置などで撮影された2次元画像を
高速で圧縮・記録する場合、その画像の空間周波数特性
を高速に調整する画像処理装置に関するものである。
し、特に電子カメラ装置などで撮影された2次元画像を
高速で圧縮・記録する場合、その画像の空間周波数特性
を高速に調整する画像処理装置に関するものである。
【0002】
【従来の技術】カラーCCDなどの撮像部を用いて撮影
を行う電子カメラ装置(Digital Still Camera)では、
得られた2次元の画像に対して、空間周波数特性の調整
および圧縮処理が行われる。例えば、カラーフィルタを
用いたCCDでは、得られた画像はRGBなどの異なる
色成分の輝度値を有する多数の画素から構成されている
ため、同一色成分の画素が市松模様のように配置された
状態となり、画素数に対する実質的な解像度は低下して
いる。
を行う電子カメラ装置(Digital Still Camera)では、
得られた2次元の画像に対して、空間周波数特性の調整
および圧縮処理が行われる。例えば、カラーフィルタを
用いたCCDでは、得られた画像はRGBなどの異なる
色成分の輝度値を有する多数の画素から構成されている
ため、同一色成分の画素が市松模様のように配置された
状態となり、画素数に対する実質的な解像度は低下して
いる。
【0003】このため、一般的な電子カメラ装置ではこ
のような解像度の低下を救済するための入力画像のエッ
ジ強調や、他の画像処理を施すため、入力画像の空間周
波数特性を調整する処理を行っている。また、近年CC
Dの画素数を増加させて解像度を向上させる傾向にあ
り、得られた画像を記憶(記録)するために膨大なメモ
リ容量が必要となっている。したがって、一般的な電子
カメラ装置では2次元直交変換処理などを用いて、入力
画像の画質をあまり損なわないように、そのデータ容量
を削減する画像圧縮処理が行われる。
のような解像度の低下を救済するための入力画像のエッ
ジ強調や、他の画像処理を施すため、入力画像の空間周
波数特性を調整する処理を行っている。また、近年CC
Dの画素数を増加させて解像度を向上させる傾向にあ
り、得られた画像を記憶(記録)するために膨大なメモ
リ容量が必要となっている。したがって、一般的な電子
カメラ装置では2次元直交変換処理などを用いて、入力
画像の画質をあまり損なわないように、そのデータ容量
を削減する画像圧縮処理が行われる。
【0004】図20は従来の電子カメラ装置の構成例を
示すブロック図である。CCDなどからなる撮像部11
で光電変換された画像(RGB)は、信号変換部12で
デジタル化された後、輝度・色差信号変換、色温度補
正、ガンマ補正などの各種変換処理が実行され、一時的
にメモリ13に格納される。画像処理装置15には、撮
影された画像の空間周波数特性を調整する信号処理部1
6、空間周波数特性を調整した後の画像を2次元直交変
換する2次元直交変換部18、この変換後の画像データ
ほ量子化し圧縮処理する量子化・圧縮部18Bとが設け
られている。
示すブロック図である。CCDなどからなる撮像部11
で光電変換された画像(RGB)は、信号変換部12で
デジタル化された後、輝度・色差信号変換、色温度補
正、ガンマ補正などの各種変換処理が実行され、一時的
にメモリ13に格納される。画像処理装置15には、撮
影された画像の空間周波数特性を調整する信号処理部1
6、空間周波数特性を調整した後の画像を2次元直交変
換する2次元直交変換部18、この変換後の画像データ
ほ量子化し圧縮処理する量子化・圧縮部18Bとが設け
られている。
【0005】信号処理部16は、DSP(Digital Sign
al Processer)などの汎用の回路部から構成されてい
る。ここでは、制御部16Bからの指示に基づいて、メ
モリ13から画像データ14が逐次読み出され、所望の
空間周波数調整用フィルタ特性を有するフィルタ係数1
6Aを用いて、所定の浮動小数点演算が繰り返し実行さ
れ、空間周波数特性が調整された中間画像17が生成さ
れる。
al Processer)などの汎用の回路部から構成されてい
る。ここでは、制御部16Bからの指示に基づいて、メ
モリ13から画像データ14が逐次読み出され、所望の
空間周波数調整用フィルタ特性を有するフィルタ係数1
6Aを用いて、所定の浮動小数点演算が繰り返し実行さ
れ、空間周波数特性が調整された中間画像17が生成さ
れる。
【0006】2次元直交変換部18は、DCT(Discre
at Cosine Transform)などの2次元直交変換処理を行
う一般的な回路部から構成されている。ここでは、画像
データ圧縮用の変換係数18Aを用いて、中間画像17
に対する2次元直交変換処理が行われる。その後、量子
化・圧縮部18Bにおいて、2次元直交変換後の画像デ
ータに対して量子化および圧縮処理が行われ、圧縮画像
データ19が得られる。
at Cosine Transform)などの2次元直交変換処理を行
う一般的な回路部から構成されている。ここでは、画像
データ圧縮用の変換係数18Aを用いて、中間画像17
に対する2次元直交変換処理が行われる。その後、量子
化・圧縮部18Bにおいて、2次元直交変換後の画像デ
ータに対して量子化および圧縮処理が行われ、圧縮画像
データ19が得られる。
【0007】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像処理装置では、汎用のDSPなどからな
る信号処理部を用いて複雑な浮動小数点演算処理を繰り
返し実行することにより、入力画像の空間周波数特性を
調整している。そのため、その演算処理の所要時間や電
力消費などの制約から、所望の特性に基づいて空間周波
数特性の調整を任意に行うことができないという問題点
があった。
うな従来の画像処理装置では、汎用のDSPなどからな
る信号処理部を用いて複雑な浮動小数点演算処理を繰り
返し実行することにより、入力画像の空間周波数特性を
調整している。そのため、その演算処理の所要時間や電
力消費などの制約から、所望の特性に基づいて空間周波
数特性の調整を任意に行うことができないという問題点
があった。
【0008】一般に、入力画像のM画素×M画素(Mは
3以上の奇数)のマトリクス空間ごとに空間周波数特性
の調整を行う場合、この空間サイズMを大きくすると、
広い周波数帯域で任意に空間周波数特性を調整できるこ
とが知られている。しかし、DSPでの演算処理回数は
Mの2乗に比例して増え、その処理時間や消費電力も増
加する。
3以上の奇数)のマトリクス空間ごとに空間周波数特性
の調整を行う場合、この空間サイズMを大きくすると、
広い周波数帯域で任意に空間周波数特性を調整できるこ
とが知られている。しかし、DSPでの演算処理回数は
Mの2乗に比例して増え、その処理時間や消費電力も増
加する。
【0009】従来の画像処理では演算処理回数を低減す
るため、比較的簡素な空間周波数特性の調整にとどめ、
3画素×3画素(M=3)程度の小さなマトリクス空間
ごとに空間周波数特性の調整が行われている。したがっ
て、空間周波数特性の調整を行う場合の特性の自由度は
かなり限定され、満足な画像処理を実現できないという
問題点があった。本発明はこのような課題を解決するた
めのものであり、入力画像に対して所望のフィルタ特性
で空間周波数特性の調整および圧縮処理を行うことがで
きる画像処理装置を提供することを目的としている。
るため、比較的簡素な空間周波数特性の調整にとどめ、
3画素×3画素(M=3)程度の小さなマトリクス空間
ごとに空間周波数特性の調整が行われている。したがっ
て、空間周波数特性の調整を行う場合の特性の自由度は
かなり限定され、満足な画像処理を実現できないという
問題点があった。本発明はこのような課題を解決するた
めのものであり、入力画像に対して所望のフィルタ特性
で空間周波数特性の調整および圧縮処理を行うことがで
きる画像処理装置を提供することを目的としている。
【0010】
【課題を解決するための手段】このような目的を達成す
るために、本発明による画像処理装置は、空間フィルタ
において、第2のフィルタ特性と共同して所望の空間周
波数調整用フィルタ特性をなす第1のフィルタ特性を持
つ第1の係数に基づき、入力画像の各画素ごとに新たな
輝度値を求めることにより、入力画像の空間周波数特性
が調整された2次元の中間画像を生成し、直交変換部に
おいて、第1のフィルタ特性と共同して所望の空間周波
数調整用フィルタ特性をなす第2のフィルタ特性を併せ
持ち、空間フィルタにより生成された中間画像を圧縮す
るための2次元直交変換を行う第2の係数に基づき、中
間画像を2次元直交変換することにより、中間画像の空
間周波数特性が調整されかつ画像圧縮のための2次元直
交変換された画像データを生成するようにしたものであ
る。これにより、空間周波数調整用の所望のフィルタ特
性が、空間フィルタおよび直交変換部での処理性能に合
致した第1および第2のフィルタ特性に分離でき、空間
フィルタおよび直交変換部の両方で空間周波数特性が調
整される。
るために、本発明による画像処理装置は、空間フィルタ
において、第2のフィルタ特性と共同して所望の空間周
波数調整用フィルタ特性をなす第1のフィルタ特性を持
つ第1の係数に基づき、入力画像の各画素ごとに新たな
輝度値を求めることにより、入力画像の空間周波数特性
が調整された2次元の中間画像を生成し、直交変換部に
おいて、第1のフィルタ特性と共同して所望の空間周波
数調整用フィルタ特性をなす第2のフィルタ特性を併せ
持ち、空間フィルタにより生成された中間画像を圧縮す
るための2次元直交変換を行う第2の係数に基づき、中
間画像を2次元直交変換することにより、中間画像の空
間周波数特性が調整されかつ画像圧縮のための2次元直
交変換された画像データを生成するようにしたものであ
る。これにより、空間周波数調整用の所望のフィルタ特
性が、空間フィルタおよび直交変換部での処理性能に合
致した第1および第2のフィルタ特性に分離でき、空間
フィルタおよび直交変換部の両方で空間周波数特性が調
整される。
【0011】また、空間フィルタにおいて、入力された
2次元の入力画像の任意の画素を中心画素とするM画素
×M画素(Mは3以上の正の奇数)の第1の領域を選択
し、第1のフィルタ特性をなすM個×M個の第1の係数
とこれら各係数に対応する第1の領域内の各画素との積
をM×M個分合計して中心画素の新たな輝度値を求め、
これを入力2次元画像を構成する各画素ごとに順次行う
ことにより、入力画像の空間周波数特性が調整された2
次元の中間画像を生成するようにしたものである。
2次元の入力画像の任意の画素を中心画素とするM画素
×M画素(Mは3以上の正の奇数)の第1の領域を選択
し、第1のフィルタ特性をなすM個×M個の第1の係数
とこれら各係数に対応する第1の領域内の各画素との積
をM×M個分合計して中心画素の新たな輝度値を求め、
これを入力2次元画像を構成する各画素ごとに順次行う
ことにより、入力画像の空間周波数特性が調整された2
次元の中間画像を生成するようにしたものである。
【0012】また、第1の係数として、第1の領域の中
心画素に対応する中心係数が2の累乗値の和となり、か
つ中心画素以外の第1の領域内の画素からなる周辺画素
に対応する周辺係数の総和と中心係数との和が2の累乗
値となる中心係数および周辺係数を用いるようにしたも
のである。
心画素に対応する中心係数が2の累乗値の和となり、か
つ中心画素以外の第1の領域内の画素からなる周辺画素
に対応する周辺係数の総和と中心係数との和が2の累乗
値となる中心係数および周辺係数を用いるようにしたも
のである。
【0013】また、周辺係数のうち、中心係数から同一
画素数分だけ外周に位置する周辺係数として、すべて同
一の2の累乗値を用いるようにしたものである。
画素数分だけ外周に位置する周辺係数として、すべて同
一の2の累乗値を用いるようにしたものである。
【0014】また、第1の係数のうち、第1の領域の中
心画素に対応する中心係数RPおよびこの中心係数RP以
外の第1の領域内の周辺画素に対応する周辺係数Rijと
して、以下の条件を満たすものを用いるようにしたもの
である。ただし、m,nは正整数、kは0または正整数
であり、r1,r2…rmは0または1のいずれか、s1,
s2…snは0または−1のいずれかをとる。
心画素に対応する中心係数RPおよびこの中心係数RP以
外の第1の領域内の周辺画素に対応する周辺係数Rijと
して、以下の条件を満たすものを用いるようにしたもの
である。ただし、m,nは正整数、kは0または正整数
であり、r1,r2…rmは0または1のいずれか、s1,
s2…snは0または−1のいずれかをとる。
【0015】
【数2】
【0016】また、直交変換部において、空間フィルタ
により生成された中間画像をN画素×N画素(Nは2以
上の整数)からなる複数の第2の領域に分割し、第2の
フィルタ特性をなすN×N個の第2の係数を用いて、各
第2の領域ごとに2次元直交変換することにより、中間
画像の空間周波数特性が調整されかつ画像圧縮のために
2次元直交変換された圧縮データを生成するようにした
ものである。
により生成された中間画像をN画素×N画素(Nは2以
上の整数)からなる複数の第2の領域に分割し、第2の
フィルタ特性をなすN×N個の第2の係数を用いて、各
第2の領域ごとに2次元直交変換することにより、中間
画像の空間周波数特性が調整されかつ画像圧縮のために
2次元直交変換された圧縮データを生成するようにした
ものである。
【0017】また、第2の係数として、中間画像の空間
周波数特性を調整するN×N個のフィルタ係数と中間画
像を2次元直交変換するN×N個の変換係数とをそれぞ
れ個別に乗算または加算して得たN×N個の係数を用い
るようにしたものである。
周波数特性を調整するN×N個のフィルタ係数と中間画
像を2次元直交変換するN×N個の変換係数とをそれぞ
れ個別に乗算または加算して得たN×N個の係数を用い
るようにしたものである。
【0018】また、空間フィルタにおいて、それぞれ異
なる空間周波数特性をなす複数の第1の係数のうち、第
1の領域に含まれる各画素の輝度値から算出した所定の
統計量に基づき選択したいずれかの第1の係数を用いて
入力画像の空間周波数特性を調整するようにしたもので
ある。
なる空間周波数特性をなす複数の第1の係数のうち、第
1の領域に含まれる各画素の輝度値から算出した所定の
統計量に基づき選択したいずれかの第1の係数を用いて
入力画像の空間周波数特性を調整するようにしたもので
ある。
【0019】また、直交変換部において、それぞれ異な
る空間周波数特性をなす複数の第2の係数のうち、第2
の領域に含まれる各画素の輝度値から算出した所定の統
計量に基づき選択したいずれかの第2の係数を用いて2
次元直交変換することにより、中間画像の空間周波数特
性の調整と画像圧縮のための2次元直交変換とを行うよ
うにしたものである。
る空間周波数特性をなす複数の第2の係数のうち、第2
の領域に含まれる各画素の輝度値から算出した所定の統
計量に基づき選択したいずれかの第2の係数を用いて2
次元直交変換することにより、中間画像の空間周波数特
性の調整と画像圧縮のための2次元直交変換とを行うよ
うにしたものである。
【0020】また、統計量として、各領域内画素の平均
輝度、各領域内画素の中心画素の輝度と各領域内画素の
平均輝度との差、各領域内画素の中心画素の輝度と各領
域内画素に所定係数を乗算した値との差、あるいは各領
域内画素の中心画素の輝度と各領域内画素のうち最遠の
画素の輝度との差を用いるようにしたものである。
輝度、各領域内画素の中心画素の輝度と各領域内画素の
平均輝度との差、各領域内画素の中心画素の輝度と各領
域内画素に所定係数を乗算した値との差、あるいは各領
域内画素の中心画素の輝度と各領域内画素のうち最遠の
画素の輝度との差を用いるようにしたものである。
【0021】また、第1の係数として、直交するi方向
およびj方向に沿って2次元配置された多数の画素から
なる入力画像において、任意の画素を中心画素とするM
画素×M画素(Mは3以上の正の奇数)の第1の領域の
うち、中心画素に対応する正の係数値からなる中心係数
と、中心画素以外の第1の領域内の画素からなる周辺画
素に対応しそれぞれ所定の負の係数値を有するM×M−
1個の周辺係数とからなるものを用いるようにしたもの
である。そして、空間フィルタとして、入力画像から並
列的に取り込んだM画素のうち、1つ以上の画素からな
る所定ブロックごとに個々のブロックに属する画素の輝
度値の和を算出出力する複数のブロック加算器と、これ
らブロック加算器に対応して設けられ、所定のクロック
信号に同期してこれらブロック加算器の出力を所定段数
だけ順次シフトさせてそれぞれ保持出力する複数のシフ
トレジスタと、各ブロック加算器の出力値および各シフ
トレジスタの出力値のうち所定の出力値を選択的に合計
することにより、第1の領域のM画素×M画素のうち個
々の周辺画素の輝度値とそれぞれの周辺画素に対応する
周辺係数の絶対値との積をM×M−1個分求めて合計し
た値を出力する合算器と、この合算器の出力に−1を乗
算する周辺乗算器と、各シフトレジスタのいずれかで保
持されている中心画素の輝度値に中心係数を乗算して出
力する中心乗算器と、周辺乗算器の出力に中心乗算器の
出力を加算して出力する加算器と、この加算器の出力を
除算して中心画素の新たな輝度値を出力する除算器とを
有するパイプライン処理部を備え、所定のクロック信号
に同期して入力画像上をi方向に1画素ずつ走査すると
ともにj方向に1画素ずつ走査して、j方向に沿って隣
接配置されたM画素を並列的にパイプライン処理部に順
次取り込み、取り込まれたM画素×M画素の中心画素の
新たな輝度値を順次算出することにより、入力画像の空
間周波数特性が調整された2次元の中間画像を得るよう
にしたものである。
およびj方向に沿って2次元配置された多数の画素から
なる入力画像において、任意の画素を中心画素とするM
画素×M画素(Mは3以上の正の奇数)の第1の領域の
うち、中心画素に対応する正の係数値からなる中心係数
と、中心画素以外の第1の領域内の画素からなる周辺画
素に対応しそれぞれ所定の負の係数値を有するM×M−
1個の周辺係数とからなるものを用いるようにしたもの
である。そして、空間フィルタとして、入力画像から並
列的に取り込んだM画素のうち、1つ以上の画素からな
る所定ブロックごとに個々のブロックに属する画素の輝
度値の和を算出出力する複数のブロック加算器と、これ
らブロック加算器に対応して設けられ、所定のクロック
信号に同期してこれらブロック加算器の出力を所定段数
だけ順次シフトさせてそれぞれ保持出力する複数のシフ
トレジスタと、各ブロック加算器の出力値および各シフ
トレジスタの出力値のうち所定の出力値を選択的に合計
することにより、第1の領域のM画素×M画素のうち個
々の周辺画素の輝度値とそれぞれの周辺画素に対応する
周辺係数の絶対値との積をM×M−1個分求めて合計し
た値を出力する合算器と、この合算器の出力に−1を乗
算する周辺乗算器と、各シフトレジスタのいずれかで保
持されている中心画素の輝度値に中心係数を乗算して出
力する中心乗算器と、周辺乗算器の出力に中心乗算器の
出力を加算して出力する加算器と、この加算器の出力を
除算して中心画素の新たな輝度値を出力する除算器とを
有するパイプライン処理部を備え、所定のクロック信号
に同期して入力画像上をi方向に1画素ずつ走査すると
ともにj方向に1画素ずつ走査して、j方向に沿って隣
接配置されたM画素を並列的にパイプライン処理部に順
次取り込み、取り込まれたM画素×M画素の中心画素の
新たな輝度値を順次算出することにより、入力画像の空
間周波数特性が調整された2次元の中間画像を得るよう
にしたものである。
【0022】また、第1の係数の中心係数として2の累
乗値を用い、中心乗算器において、中心係数をなす2の
累乗数分だけ中心画素の輝度値を上位ビット方向へビッ
トシフトすることにより中心画素の輝度値と中心係数と
の積を算出出力するようにしたものである。
乗値を用い、中心乗算器において、中心係数をなす2の
累乗数分だけ中心画素の輝度値を上位ビット方向へビッ
トシフトすることにより中心画素の輝度値と中心係数と
の積を算出出力するようにしたものである。
【0023】また、第1の係数の中心係数として複数の
2の累乗値の和を用い、中心乗算器として、中心係数を
なす各2の累乗値に対応して並列配置された複数の乗算
器を設け、各乗算器において、それぞれ対応する2の累
乗数分だけ中心画素の輝度値を上位ビット方向へビット
シフトすることにより中心画素の輝度値と中心係数との
積を算出出力するようにしたものである。
2の累乗値の和を用い、中心乗算器として、中心係数を
なす各2の累乗値に対応して並列配置された複数の乗算
器を設け、各乗算器において、それぞれ対応する2の累
乗数分だけ中心画素の輝度値を上位ビット方向へビット
シフトすることにより中心画素の輝度値と中心係数との
積を算出出力するようにしたものである。
【0024】また、第1の係数の中心係数および周辺係
数として、中心係数と周辺係数の総和との和が2の累乗
値となるものを用い、除算器において、中心係数と周辺
係数の総和との和を示す2の累乗数分だけ加算器の出力
を下位ビット方向へビットシフトすることにより加算器
の出力を除算するようにしたものである。
数として、中心係数と周辺係数の総和との和が2の累乗
値となるものを用い、除算器において、中心係数と周辺
係数の総和との和を示す2の累乗数分だけ加算器の出力
を下位ビット方向へビットシフトすることにより加算器
の出力を除算するようにしたものである。
【0025】また、第1のフィルタ特性として空間周波
数特性の中域部分から高域部分を強調する特性を用いる
ようにしたものである。また、第2のフィルタ特性とし
て空間周波数特性の高域部分を減衰する特性を用いるよ
うにしたものである。
数特性の中域部分から高域部分を強調する特性を用いる
ようにしたものである。また、第2のフィルタ特性とし
て空間周波数特性の高域部分を減衰する特性を用いるよ
うにしたものである。
【0026】また、輝度信号および色差信号に対して、
空間周波数特性が異なる第1のフィルタ特性をそれぞれ
別個に用いるようにしたものである。また、輝度信号お
よび色差信号に対して、空間周波数特性が異なる第2の
フィルタ特性をそれぞれ別個に用いるようにしたもので
ある。
空間周波数特性が異なる第1のフィルタ特性をそれぞれ
別個に用いるようにしたものである。また、輝度信号お
よび色差信号に対して、空間周波数特性が異なる第2の
フィルタ特性をそれぞれ別個に用いるようにしたもので
ある。
【0027】
【発明の実施の形態】次に、本発明について図面を参照
して説明する。図1は本発明の第1の実施の形態である
画像処理装置が適用される電子カメラ装置を示す説明図
であり、(a)はブロック図、(b)は空間周波数特性
の調整処理を示す説明図である。CCDなどの撮像素子
からなる撮像部11で光電変換された画像(RGB)
は、信号変換部12でデジタル化された後、輝度・色差
信号変換、色温度補正、ガンマ補正などの各種変換処理
が実行され、一時的にメモリ13に格納される。
して説明する。図1は本発明の第1の実施の形態である
画像処理装置が適用される電子カメラ装置を示す説明図
であり、(a)はブロック図、(b)は空間周波数特性
の調整処理を示す説明図である。CCDなどの撮像素子
からなる撮像部11で光電変換された画像(RGB)
は、信号変換部12でデジタル化された後、輝度・色差
信号変換、色温度補正、ガンマ補正などの各種変換処理
が実行され、一時的にメモリ13に格納される。
【0028】この画像は、マトリクス状に配置された多
数の画素からなり、ここでは各画素は輝度信号Yと2つ
の色差信号の輝度値を有している。画像処理装置1に
は、メモリ13から読み出された入力画像14(輝度信
号Y)に対して、空間周波数調整用のフィルタ特性(第
1のフィルタ特性)を有するフィルタ係数2A(第1の
係数)に基づき、空間周波数特性の調整を行い中間画像
6を得る空間フィルタ2が設けられている。
数の画素からなり、ここでは各画素は輝度信号Yと2つ
の色差信号の輝度値を有している。画像処理装置1に
は、メモリ13から読み出された入力画像14(輝度信
号Y)に対して、空間周波数調整用のフィルタ特性(第
1のフィルタ特性)を有するフィルタ係数2A(第1の
係数)に基づき、空間周波数特性の調整を行い中間画像
6を得る空間フィルタ2が設けられている。
【0029】また、空間フィルタ2で得られた中間画像
6に対して、空間周波数調整用のフィルタ特性(第2の
フィルタ特性)および2次元直交変換用の変換係数の2
つの特性を併せ持つ係数4A(第2の係数)に基づき、
空間周波数特性の調整および圧縮処理のための2次元直
交変換を行う2次元直交変換部4が設けられている。そ
して、量子化・圧縮部18Bにおいて、2次元直交変換
処理後の画像データに対して量子化および圧縮処理が行
われ、画像圧縮データ19が得られる。
6に対して、空間周波数調整用のフィルタ特性(第2の
フィルタ特性)および2次元直交変換用の変換係数の2
つの特性を併せ持つ係数4A(第2の係数)に基づき、
空間周波数特性の調整および圧縮処理のための2次元直
交変換を行う2次元直交変換部4が設けられている。そ
して、量子化・圧縮部18Bにおいて、2次元直交変換
処理後の画像データに対して量子化および圧縮処理が行
われ、画像圧縮データ19が得られる。
【0030】なお、空間フィルタ2としては、従来と同
様にDSPを用いて実現してもよく、後述する実施の形
態のように最適化した回路部を用いてもよい。また、2
次元直交変換部4としては、DCTなどの2次元直交変
換処理を行う汎用の回路部から構成されている。
様にDSPを用いて実現してもよく、後述する実施の形
態のように最適化した回路部を用いてもよい。また、2
次元直交変換部4としては、DCTなどの2次元直交変
換処理を行う汎用の回路部から構成されている。
【0031】本発明では、図1(b)に示すように、画
像処理装置1全体で空間周波数を調整するための所望の
フィルタ特性7を、フィルタ特性7A(第1のフィルタ
特性)とフィルタそ特性7B(第2のフィルタ特性)に
分離し、それぞれのフィルタ特性を示すフィルタ係数2
A,4Aを用いて、空間フィルタ2および2次元直交変
換部4で空間周波数を調整するようにしたものである。
すなわち、フィルタ特性7A,7Bが共同して空間周波
数調整用の所望のフィルタ特性7を合成形成している。
像処理装置1全体で空間周波数を調整するための所望の
フィルタ特性7を、フィルタ特性7A(第1のフィルタ
特性)とフィルタそ特性7B(第2のフィルタ特性)に
分離し、それぞれのフィルタ特性を示すフィルタ係数2
A,4Aを用いて、空間フィルタ2および2次元直交変
換部4で空間周波数を調整するようにしたものである。
すなわち、フィルタ特性7A,7Bが共同して空間周波
数調整用の所望のフィルタ特性7を合成形成している。
【0032】したがって、空間周波数調整用の所望のフ
ィルタ特性7を、空間フィルタ2および2次元直交変換
部4での処理性能に合致したフィルタ特性7A,7Bに
分離して、空間フィルタ2および2次元直交変換部4の
両方で空間周波数特性を調整することにより、従来のよ
うに単一のフィルタ特性を用いる場合と比較して、新た
な回路構成を追加することなく、入力画像14に対して
所望のフィルタ特性で空間周波数特性の調整および圧縮
処理のための2次元直交変換を行うことができる。
ィルタ特性7を、空間フィルタ2および2次元直交変換
部4での処理性能に合致したフィルタ特性7A,7Bに
分離して、空間フィルタ2および2次元直交変換部4の
両方で空間周波数特性を調整することにより、従来のよ
うに単一のフィルタ特性を用いる場合と比較して、新た
な回路構成を追加することなく、入力画像14に対して
所望のフィルタ特性で空間周波数特性の調整および圧縮
処理のための2次元直交変換を行うことができる。
【0033】一般に、空間フィルタ2で空間周波数を調
整する場合、入力画像上の任意の画素を中心とし、その
周囲のM画素×M画素(Mは3以上の奇数)からなるマ
トリクス空間ごとに空間周波数特性が調整される。ここ
で、空間周波数特性のうち中域・高域の部分で所望の特
性を得るためには、ある程度大きなマトリクス空間が必
要となる。
整する場合、入力画像上の任意の画素を中心とし、その
周囲のM画素×M画素(Mは3以上の奇数)からなるマ
トリクス空間ごとに空間周波数特性が調整される。ここ
で、空間周波数特性のうち中域・高域の部分で所望の特
性を得るためには、ある程度大きなマトリクス空間が必
要となる。
【0034】したがって、空間周波数調整用の所望のフ
ィルタ特性7を2つのフィルタ特性7A,7Bに分離
し、空間フィルタ2で用いられるフィルタ係数2Aのフ
ィルタ特性としては、所望のフィルタ特性7のうち中高
域に重点を置いた全般的な特性を持たせるとともに、2
次元直交変換部4で用いる変換係数4Aのフィルタ特性
として、所望のフィルタ特性7のうち高域部分の調整に
重点を置いた特性を持たせればよい。これにより、空間
フィルタ2で扱うマトリクス空間(M画素)を大きくす
ることなく、比較的自由で複雑な空間周波数特性を得る
ことができる。
ィルタ特性7を2つのフィルタ特性7A,7Bに分離
し、空間フィルタ2で用いられるフィルタ係数2Aのフ
ィルタ特性としては、所望のフィルタ特性7のうち中高
域に重点を置いた全般的な特性を持たせるとともに、2
次元直交変換部4で用いる変換係数4Aのフィルタ特性
として、所望のフィルタ特性7のうち高域部分の調整に
重点を置いた特性を持たせればよい。これにより、空間
フィルタ2で扱うマトリクス空間(M画素)を大きくす
ることなく、比較的自由で複雑な空間周波数特性を得る
ことができる。
【0035】なお、2次元直交変換で周波数空間に変換
された画像データに対してフィルタ処理する場合、その
閉じたマトリクス空間内でのみ空間周波数が調整される
ため、隣接するマトリクス空間との輝度値の差すなわち
ブロック歪みが生じる。特に、DCTではマトリクス空
間の周辺部での輝度値変化が比較的大きくなる傾向があ
るため、大幅な空間周波数調整を行うことができない。
しかし、本発明によれば、2次元直交変換部4では最高
域の特性を調整しており、低域および中域の特性を調整
する必要がないため、ブロックノイズを抑制できる。
された画像データに対してフィルタ処理する場合、その
閉じたマトリクス空間内でのみ空間周波数が調整される
ため、隣接するマトリクス空間との輝度値の差すなわち
ブロック歪みが生じる。特に、DCTではマトリクス空
間の周辺部での輝度値変化が比較的大きくなる傾向があ
るため、大幅な空間周波数調整を行うことができない。
しかし、本発明によれば、2次元直交変換部4では最高
域の特性を調整しており、低域および中域の特性を調整
する必要がないため、ブロックノイズを抑制できる。
【0036】特に、空間周波数特性の調整により入力画
像のエッジ強調を行う場合、フィルタ特性7Aとして後
述する図12や図17に示すように、中域から高域が持
ち上がった特性を持たせるとともに、2次元直交変換部
4のフィルタ特性7Bとして後述する図2に示すよう
に、空間フィルタ2では実現できないような最高域部分
が減衰した特性を持たせるとよい。
像のエッジ強調を行う場合、フィルタ特性7Aとして後
述する図12や図17に示すように、中域から高域が持
ち上がった特性を持たせるとともに、2次元直交変換部
4のフィルタ特性7Bとして後述する図2に示すよう
に、空間フィルタ2では実現できないような最高域部分
が減衰した特性を持たせるとよい。
【0037】これにより、空間フィルタ2での演算回数
を増加せることなく、高速かつ低消費電力で、高域部分
を強調するとともにクリアでざらつき感が抑えられた圧
縮画像データが得られる。また、輝度信号とは異なる特
性で色差信号の空間周波数特性を調整することにより、
例えば輝度信号より大きく高域部分を減衰でき、クロマ
キー処理に匹敵する処理を行うことも可能である。
を増加せることなく、高速かつ低消費電力で、高域部分
を強調するとともにクリアでざらつき感が抑えられた圧
縮画像データが得られる。また、輝度信号とは異なる特
性で色差信号の空間周波数特性を調整することにより、
例えば輝度信号より大きく高域部分を減衰でき、クロマ
キー処理に匹敵する処理を行うことも可能である。
【0038】次に、2次元直交変換部4で用いられる変
換係数4Aの導出方法について、DCTを例として説明
する。変換係数4Aは、空間周波数調整用のフィルタ特
性7Bと、2次元直交変換用の変換係数とを併せ持って
いる。図2は2次元直交変換部で行う空間周波数調整用
の1次元DCTフィルタ特性例を示す説明図である。
換係数4Aの導出方法について、DCTを例として説明
する。変換係数4Aは、空間周波数調整用のフィルタ特
性7Bと、2次元直交変換用の変換係数とを併せ持って
いる。図2は2次元直交変換部で行う空間周波数調整用
の1次元DCTフィルタ特性例を示す説明図である。
【0039】ここでは、1次元DCTフィルタ特性とし
て、サンプル点が4つのSin8θ高域減衰フィルタが
示されている。この1次元DCTフィルタ特性を図3に
示すようにX,Y方向に配置し、それら係数X(x),
Y(y)を乗算することにより、2次元DCTフィルタ
特性すなわちフィルタ特性7Bの係数W(x,y)が得
られる。図4は2次元DCTフィルタ特性を示す3Dモ
デルである。
て、サンプル点が4つのSin8θ高域減衰フィルタが
示されている。この1次元DCTフィルタ特性を図3に
示すようにX,Y方向に配置し、それら係数X(x),
Y(y)を乗算することにより、2次元DCTフィルタ
特性すなわちフィルタ特性7Bの係数W(x,y)が得
られる。図4は2次元DCTフィルタ特性を示す3Dモ
デルである。
【0040】一方、図5(a)には、2次元直交変換部
4で行うDCT変換のための変換係数が示されおり、こ
の変換係数と図3の2次元DCTフィルタ係数とをそれ
ぞれのサンプル点同士で乗算することにより、図5
(b)に示すフィルタ特性7Bを有する変換係数4Aが
生成される。
4で行うDCT変換のための変換係数が示されおり、こ
の変換係数と図3の2次元DCTフィルタ係数とをそれ
ぞれのサンプル点同士で乗算することにより、図5
(b)に示すフィルタ特性7Bを有する変換係数4Aが
生成される。
【0041】図6は高域減衰特性を併せ持つDCT変換
係数を用いたDCT変換処理結果であり、(a)はDC
T処理前の画素(輝度値)、(b)はDCT処理(圧
縮)後に逆DCT処理(伸長)を行った画素(輝度値)
を示している。両者を比較すれば、図6(a)に比較し
て、図6(b)における各画素間の輝度差が低くなって
おり、空間周波数の高域部分が減衰していることがわか
る。
係数を用いたDCT変換処理結果であり、(a)はDC
T処理前の画素(輝度値)、(b)はDCT処理(圧
縮)後に逆DCT処理(伸長)を行った画素(輝度値)
を示している。両者を比較すれば、図6(a)に比較し
て、図6(b)における各画素間の輝度差が低くなって
おり、空間周波数の高域部分が減衰していることがわか
る。
【0042】このように、元々、2次元直交変換用とし
て用いる変換係数に、フィルタ特性7Bを有する空間周
波数調整用のフィルタ係数を乗算することにより、両方
の特性を併せ持つ変換係数4Aを導出できる。したがっ
て、2次元直交変換部4において、この変換係数4Aを
用いて2次元直交変換を行うことにより、空間周波数特
性の調整および画像圧縮のための2次元直交変換が一括
して実行されるため、フィルタ特性7Bを用いた空間周
波数特性の調整のための変換処理を別途行う必要がな
く、処理時間および消費電力を抑制できる。
て用いる変換係数に、フィルタ特性7Bを有する空間周
波数調整用のフィルタ係数を乗算することにより、両方
の特性を併せ持つ変換係数4Aを導出できる。したがっ
て、2次元直交変換部4において、この変換係数4Aを
用いて2次元直交変換を行うことにより、空間周波数特
性の調整および画像圧縮のための2次元直交変換が一括
して実行されるため、フィルタ特性7Bを用いた空間周
波数特性の調整のための変換処理を別途行う必要がな
く、処理時間および消費電力を抑制できる。
【0043】なお、空間フィルタ2としては、従来と同
様にDSPを用いてM画素×M画素(M=3〜5程度)
のマトリクス空間ごとに空間周波数特性を調整する構成
が利用できる。この場合に用いるフィルタ係数として、
マトリクス空間の中心画素に対応する中心係数として2
の累乗値の和を用い、中心画素以外のマトリクス空間内
の周辺画素に対応する周辺係数としてその総和と中心係
数との和が2の累乗値となるものを用いてもよい。
様にDSPを用いてM画素×M画素(M=3〜5程度)
のマトリクス空間ごとに空間周波数特性を調整する構成
が利用できる。この場合に用いるフィルタ係数として、
マトリクス空間の中心画素に対応する中心係数として2
の累乗値の和を用い、中心画素以外のマトリクス空間内
の周辺画素に対応する周辺係数としてその総和と中心係
数との和が2の累乗値となるものを用いてもよい。
【0044】例えば、後述する図8(a)や図14
(a)に示すフィルタ係数がこれに適合するフィルタ係
数の例である。このようなフィルタ係数を用いれば、D
SPにおける空間周波数特性の調整のための演算処理課
程が、従来のような浮動小数点演算を用いることなく、
整数の加算や、整数に対する2の累乗値の乗算および除
算(すなわちビットシフト)で実現できる。
(a)に示すフィルタ係数がこれに適合するフィルタ係
数の例である。このようなフィルタ係数を用いれば、D
SPにおける空間周波数特性の調整のための演算処理課
程が、従来のような浮動小数点演算を用いることなく、
整数の加算や、整数に対する2の累乗値の乗算および除
算(すなわちビットシフト)で実現できる。
【0045】したがって、このようなフィルタ係数以外
のフィルタ係数を用いた場合に比べて、処理時間を短縮
できるとともに消費電力を削減できる。また、これら余
剰の処理時間および消費電力を利用して、例えばM=7
以上のより広いマトリクス空間を用いても高速に空間周
波数特性を調整でき、かなり微妙なフィルタ特性7Aを
実現できる。
のフィルタ係数を用いた場合に比べて、処理時間を短縮
できるとともに消費電力を削減できる。また、これら余
剰の処理時間および消費電力を利用して、例えばM=7
以上のより広いマトリクス空間を用いても高速に空間周
波数特性を調整でき、かなり微妙なフィルタ特性7Aを
実現できる。
【0046】次に、図7,8を参照して、本発明の第2
の実施の形態について説明する。図7は空間フィルタで
用いるマトリクス空間を示す模式図であり、(a)は画
素構成、(b)はフィルタ係数を示している。図8は第
2の実施の形態による空間フィルタの構成例であり、
(a)はフィルタ係数、(b)はブロック図である。
の実施の形態について説明する。図7は空間フィルタで
用いるマトリクス空間を示す模式図であり、(a)は画
素構成、(b)はフィルタ係数を示している。図8は第
2の実施の形態による空間フィルタの構成例であり、
(a)はフィルタ係数、(b)はブロック図である。
【0047】前述の第1の実施の形態では、空間フィル
タ2として、汎用DSPを用いた場合について説明した
が、ここでは空間フィルタ2としてパイプライン処理を
行う回路部で構成する場合について説明する。なお、パ
イプライン処理とは、入力データを逐次読み込んで処理
し新たなデータを逐次出力する処理のことを指す。特
に、空間フィルタ2におけるパイプライン処理とは、入
力画像14から複数の画素を逐次読み込んで新たな輝度
値を逐次算出出力する動作を指す。
タ2として、汎用DSPを用いた場合について説明した
が、ここでは空間フィルタ2としてパイプライン処理を
行う回路部で構成する場合について説明する。なお、パ
イプライン処理とは、入力データを逐次読み込んで処理
し新たなデータを逐次出力する処理のことを指す。特
に、空間フィルタ2におけるパイプライン処理とは、入
力画像14から複数の画素を逐次読み込んで新たな輝度
値を逐次算出出力する動作を指す。
【0048】一般に、M画素×M画素のマトリクス空間
について空間周波数特性を調整する場合、そのマトリク
ス空間の中心に位置する中心画素Pの新たな輝度値
VP’は、その周辺画素の輝度値を用いて次のような一
般式として表現できる。
について空間周波数特性を調整する場合、そのマトリク
ス空間の中心に位置する中心画素Pの新たな輝度値
VP’は、その周辺画素の輝度値を用いて次のような一
般式として表現できる。
【0049】
【数3】
【0050】ただし、Vijはマトリクス空間における周
辺画素の輝度値、Rijは周辺画素に対応するフィルタ係
数すなわち周辺係数、VPはマトリクス空間における中
心画素Pの輝度値、RPは中心画素に対応するフィルタ
係数すなわち中心係数である。また、i,jはi=j=
(M+1)/2(すなわち中心画素位置)を含まない1
〜Mの整数である。
辺画素の輝度値、Rijは周辺画素に対応するフィルタ係
数すなわち周辺係数、VPはマトリクス空間における中
心画素Pの輝度値、RPは中心画素に対応するフィルタ
係数すなわち中心係数である。また、i,jはi=j=
(M+1)/2(すなわち中心画素位置)を含まない1
〜Mの整数である。
【0051】なお、中心係数RPと全周辺係数Rijとの
和が1となるように中心係数RPおよび周辺係数Rijを
選択する。これにより、空間周波数特性の調整による輝
度値ゲインが1となり、調整前後における画像全体の明
るさが変化せず、空間周波数特性のみが調整される。
和が1となるように中心係数RPおよび周辺係数Rijを
選択する。これにより、空間周波数特性の調整による輝
度値ゲインが1となり、調整前後における画像全体の明
るさが変化せず、空間周波数特性のみが調整される。
【0052】図7では、5画素×5画素(M=5)のマ
トリクス空間について空間周波数特性を調整する場合が
示されている。入力画像14は、図7(a)に示すよう
に、水平方向iおよび垂直方向jに格子状に配置された
多数の画素から構成されている。
トリクス空間について空間周波数特性を調整する場合が
示されている。入力画像14は、図7(a)に示すよう
に、水平方向iおよび垂直方向jに格子状に配置された
多数の画素から構成されている。
【0053】この入力画像14の輝度データYから、図
7(b)に示されているように、中心画素Pを中心とす
るM画素×M画素(ここではM=5)のマトリクス空間
を取り出す。そして、マトリクス空間の中心画素Pの輝
度値VPおよび周辺画素の輝度値Vi jと、図7(c)に
示されているフィルタ係数から、前述した数3を用いて
中心画素Pの新たな輝度値VP’を算出する。
7(b)に示されているように、中心画素Pを中心とす
るM画素×M画素(ここではM=5)のマトリクス空間
を取り出す。そして、マトリクス空間の中心画素Pの輝
度値VPおよび周辺画素の輝度値Vi jと、図7(c)に
示されているフィルタ係数から、前述した数3を用いて
中心画素Pの新たな輝度値VP’を算出する。
【0054】例えば、図8(a)に示すように、中心係
数RPを25(=32)とし、周辺係数R11〜R55を−1
とした場合、図8(b)に示すように、合算器20にお
いて周辺画素の輝度値V11〜V55の総和を算出し、この
総和に対して乗算器(周辺乗算器)21により−1を乗
算すると、周辺画素の輝度値V11〜V55とこれに対応す
る周辺係数R11〜R55との積の総和が得られる。
数RPを25(=32)とし、周辺係数R11〜R55を−1
とした場合、図8(b)に示すように、合算器20にお
いて周辺画素の輝度値V11〜V55の総和を算出し、この
総和に対して乗算器(周辺乗算器)21により−1を乗
算すると、周辺画素の輝度値V11〜V55とこれに対応す
る周辺係数R11〜R55との積の総和が得られる。
【0055】また、乗算器(中心乗算器)22において
中心画素の輝度値VPに中心係数RPを乗算し、この乗算
値と乗算器21の出力とを加算器23で加算する。そし
て、除算器24で加算器23の出力をゲイン調整係数K
(=23)で除算すれば、空間周波数特性の調整による
輝度値ゲインが1となり、画像全体の明るさが入力画像
14と等しくなるような中心画素Pの新たな輝度値VP'
が得られる。
中心画素の輝度値VPに中心係数RPを乗算し、この乗算
値と乗算器21の出力とを加算器23で加算する。そし
て、除算器24で加算器23の出力をゲイン調整係数K
(=23)で除算すれば、空間周波数特性の調整による
輝度値ゲインが1となり、画像全体の明るさが入力画像
14と等しくなるような中心画素Pの新たな輝度値VP'
が得られる。
【0056】ここで、合算器20の計算課程を見てみる
と、各周辺画素の輝度値を垂直方向jの画素群A
(1),A(2),B(3),A(4),A(5)に分
割でき、これらは図7(b)に示したように、垂直方向
jに連接する5つの画素Vi1〜Vi5を順次取り込んだ場
合、i=1〜5のタイミングでこれら画素群の輝度値の
総和が得られることがわかる。もちろん、中心画素VP
すなわち画素群E(3)の画素値もi=3のタイミング
で得られる。
と、各周辺画素の輝度値を垂直方向jの画素群A
(1),A(2),B(3),A(4),A(5)に分
割でき、これらは図7(b)に示したように、垂直方向
jに連接する5つの画素Vi1〜Vi5を順次取り込んだ場
合、i=1〜5のタイミングでこれら画素群の輝度値の
総和が得られることがわかる。もちろん、中心画素VP
すなわち画素群E(3)の画素値もi=3のタイミング
で得られる。
【0057】したがって、これら各画素群A,B,Eの
輝度値の和をそれぞれ入力時に算出するとともに各タイ
ミングi=1〜5で順にシフトして保持しておけば、i
=5のタイミングにおいて合算器20で必要なすべての
画素群の輝度値の総和が得られ、中心画素の新たな輝度
値VP'が得られることになる。これにより、例えば次の
タイミングi=6では中心画素のi方向に隣接する画素
の新たな画素値V43’が自動的に算出されることからわ
かるように、垂直方向jに連接する5つの画素の輝度値
Vi1〜Vi5を順次取り込んで中心画素の新たな画素値が
順次算出されるパイプライン処理が実現される。
輝度値の和をそれぞれ入力時に算出するとともに各タイ
ミングi=1〜5で順にシフトして保持しておけば、i
=5のタイミングにおいて合算器20で必要なすべての
画素群の輝度値の総和が得られ、中心画素の新たな輝度
値VP'が得られることになる。これにより、例えば次の
タイミングi=6では中心画素のi方向に隣接する画素
の新たな画素値V43’が自動的に算出されることからわ
かるように、垂直方向jに連接する5つの画素の輝度値
Vi1〜Vi5を順次取り込んで中心画素の新たな画素値が
順次算出されるパイプライン処理が実現される。
【0058】図9,10は空間フィルタの具体的な構成
例を示すブロック図である。図9において、20Aはタ
イミングiにおいて並列的に入力された垂直方向jに連
接する5つの画素の輝度値Vi1〜Vi5の総和すなわちA
(i)を算出する加算器(ブロック加算器)、20Bは
輝度値Vi1,Vi2,Vi4,Vi5の総和すなわちB(i)
を算出する加算器(ブロック加算器)である。
例を示すブロック図である。図9において、20Aはタ
イミングiにおいて並列的に入力された垂直方向jに連
接する5つの画素の輝度値Vi1〜Vi5の総和すなわちA
(i)を算出する加算器(ブロック加算器)、20Bは
輝度値Vi1,Vi2,Vi4,Vi5の総和すなわちB(i)
を算出する加算器(ブロック加算器)である。
【0059】200,210,220は直列接続された
複数の1画素クロックディレイから構成され、水平方向
iのクロック信号に基づき各タイミングiにおいてA
(i)をシフトし保持出力するシフトレジスタである。
これにより、合算器20では、各シフトレジスタ20
0,210,220のうち所定の1画素クロックディレ
イの出力A(i−1),B(i−2),A(i−3),
A(i−4)および加算器20Aの出力A(i)の総和
Gが算出される。またシフトレジスタ210からは中心
画素Pの輝度値VPすなわちE(i−2)が値Fとして
出力される。
複数の1画素クロックディレイから構成され、水平方向
iのクロック信号に基づき各タイミングiにおいてA
(i)をシフトし保持出力するシフトレジスタである。
これにより、合算器20では、各シフトレジスタ20
0,210,220のうち所定の1画素クロックディレ
イの出力A(i−1),B(i−2),A(i−3),
A(i−4)および加算器20Aの出力A(i)の総和
Gが算出される。またシフトレジスタ210からは中心
画素Pの輝度値VPすなわちE(i−2)が値Fとして
出力される。
【0060】図10において、22は値Fに中心係数R
Pを乗算する乗算器(中心乗算器)、21は総和Gに周
辺係数R11〜R55の極性を反転する乗算器(周辺乗算
器)、23はこれら乗算器21,22の出力を加算する
加算器、24は加算器23の出力をゲイン調整係数K
(=23)で除算する除算器である。これにより、例え
ばタイミングi=5では図8(b)に示されている空間
フィルタが構成され、中心画素Pの新たな輝度値VP’
が出力される。
Pを乗算する乗算器(中心乗算器)、21は総和Gに周
辺係数R11〜R55の極性を反転する乗算器(周辺乗算
器)、23はこれら乗算器21,22の出力を加算する
加算器、24は加算器23の出力をゲイン調整係数K
(=23)で除算する除算器である。これにより、例え
ばタイミングi=5では図8(b)に示されている空間
フィルタが構成され、中心画素Pの新たな輝度値VP’
が出力される。
【0061】ここで、中心係数RPおよび周辺係数R11
〜R55、ゲイン調整係数Kの値を次のような条件で選択
することにより、中心画素の新たな輝度値VP'の算出課
程を整数の加算およびビットシフトで表現できる。な
お、m,nは正整数であり、r1,r2…rmは0または
1のいずれか、s1,s2…snは0または−1のいずれ
かである。
〜R55、ゲイン調整係数Kの値を次のような条件で選択
することにより、中心画素の新たな輝度値VP'の算出課
程を整数の加算およびビットシフトで表現できる。な
お、m,nは正整数であり、r1,r2…rmは0または
1のいずれか、s1,s2…snは0または−1のいずれ
かである。
【0062】
【数4】
【0063】すなわち、中心係数RPとして2の累乗値
の和を選択するとともに、周辺係数R11〜R55の総和と
中心係数RPとの和が2の累乗値の和となるように周辺
係数R11〜R55を選択すればよい。また、中心係数RP
と周辺係数R11〜R55の和とを加算したものをゲイン調
整係数Kとし、そのゲイン調整係数Kを2の累乗値とす
ればよい。
の和を選択するとともに、周辺係数R11〜R55の総和と
中心係数RPとの和が2の累乗値の和となるように周辺
係数R11〜R55を選択すればよい。また、中心係数RP
と周辺係数R11〜R55の和とを加算したものをゲイン調
整係数Kとし、そのゲイン調整係数Kを2の累乗値とす
ればよい。
【0064】これにより、数3を実現するために必要な
加算器20A,20B,23を整数の加算で実現できる
とともに、乗算器21,22および除算器24をビット
シフトで実現でき、空間フィルタの回路構成を大幅に簡
略化できる。したがって、空間周波数特性の調整に要す
る処理時間を短縮できるとともに、消費電力を削減でき
る。
加算器20A,20B,23を整数の加算で実現できる
とともに、乗算器21,22および除算器24をビット
シフトで実現でき、空間フィルタの回路構成を大幅に簡
略化できる。したがって、空間周波数特性の調整に要す
る処理時間を短縮できるとともに、消費電力を削減でき
る。
【0065】以上の説明では、中心係数RPとして単一
の2の累乗値25を選択した場合について説明したが、
複数の2の累乗値の和を選択する場合は、これら2の累
乗値に対応して複数の乗算器22を配置すればよい。例
えば、図11のように、中心係数RPとして25+23を
用いる場合、乗算器22の代わりに、これら2の累乗値
に対応して2つの乗算器26A,26Bが並列的に配置
される。
の2の累乗値25を選択した場合について説明したが、
複数の2の累乗値の和を選択する場合は、これら2の累
乗値に対応して複数の乗算器22を配置すればよい。例
えば、図11のように、中心係数RPとして25+23を
用いる場合、乗算器22の代わりに、これら2の累乗値
に対応して2つの乗算器26A,26Bが並列的に配置
される。
【0066】この場合、ゲイン調整係数Kとして、中心
係数RP(=25+23)と周辺係数の総和(=−24)
との和(=24)を選択する。これにより、除算器28
において加算器27の出力がゲイン調整係数Kで除算さ
れて、画像全体の明るさが入力画像14と等しくなるよ
うな、中心画素Pの新たな輝度値VP’が得られる。
係数RP(=25+23)と周辺係数の総和(=−24)
との和(=24)を選択する。これにより、除算器28
において加算器27の出力がゲイン調整係数Kで除算さ
れて、画像全体の明るさが入力画像14と等しくなるよ
うな、中心画素Pの新たな輝度値VP’が得られる。
【0067】図12は空間フィルタのフィルタ特性を示
す説明図であり、特性29Aは図8(a)に示したフィ
ルタ係数を用いた場合すなわち図9,図10の組み合わ
せによるものを示している。また、特性29Bは図9,
図11の組み合わせによるものを示しており、特性29
Aと比較して中心係数RPが大きくなった分だけ空間周
波数の中高域部分に高い利得を有している。
す説明図であり、特性29Aは図8(a)に示したフィ
ルタ係数を用いた場合すなわち図9,図10の組み合わ
せによるものを示している。また、特性29Bは図9,
図11の組み合わせによるものを示しており、特性29
Aと比較して中心係数RPが大きくなった分だけ空間周
波数の中高域部分に高い利得を有している。
【0068】次に、図13を参照して、本発明の第3の
実施の形態について説明する。空間フィルタで空間周波
数特性の調整を行う場合、処理対象領域となるマトリク
ス空間に含まれる各画素によって最適なフィルタ特性が
異なる。本実施の形態では、複数のフィルタ特性を用意
しておき、マトリクス空間に含まれる各画素の輝度値か
ら算出した所定の統計量に基づき、いずれかのフィルタ
係数を選択して入力画像の空間周波数特性を調整するよ
うにしたものである。
実施の形態について説明する。空間フィルタで空間周波
数特性の調整を行う場合、処理対象領域となるマトリク
ス空間に含まれる各画素によって最適なフィルタ特性が
異なる。本実施の形態では、複数のフィルタ特性を用意
しておき、マトリクス空間に含まれる各画素の輝度値か
ら算出した所定の統計量に基づき、いずれかのフィルタ
係数を選択して入力画像の空間周波数特性を調整するよ
うにしたものである。
【0069】図13において、30A〜30Cは異なる
フィルタ特性を有するフィルタ係数部、31はマトリク
ス空間に含まれる各画素の輝度値から算出した所定の統
計量に基づき、最適なフィルタ特性を選択する選択制御
部、36は係数選択部31からの指示に基づいてフィル
タ係数部30A〜30Cの出力のいずれかを選択するセ
レクタである。なお、フィルタ係数部30A,30Cで
は図10,11で示したフィルタ係数が用いられてい
る。またフィルタ係数部30Bとしてフィルタ特性がフ
ラットなものが設けられており、入力された値Fがその
まま出力される。
フィルタ特性を有するフィルタ係数部、31はマトリク
ス空間に含まれる各画素の輝度値から算出した所定の統
計量に基づき、最適なフィルタ特性を選択する選択制御
部、36は係数選択部31からの指示に基づいてフィル
タ係数部30A〜30Cの出力のいずれかを選択するセ
レクタである。なお、フィルタ係数部30A,30Cで
は図10,11で示したフィルタ係数が用いられてい
る。またフィルタ係数部30Bとしてフィルタ特性がフ
ラットなものが設けられており、入力された値Fがその
まま出力される。
【0070】選択制御部31では、マトリクス空間に含
まれる各画素の輝度値から算出した所定の統計量、例え
ばマトリクス空間内画素の平均輝度、中心画素の輝度値
とマトリクス空間内の平均輝度との差、あるいは中心画
素の輝度値とマトリクス空間内画素のうち最遠の画素の
輝度値との差などの統計量に基づき、いずれかのフィル
タ特性を選択する。
まれる各画素の輝度値から算出した所定の統計量、例え
ばマトリクス空間内画素の平均輝度、中心画素の輝度値
とマトリクス空間内の平均輝度との差、あるいは中心画
素の輝度値とマトリクス空間内画素のうち最遠の画素の
輝度値との差などの統計量に基づき、いずれかのフィル
タ特性を選択する。
【0071】図13では、フィルタ係数部30A,30
Cと同様の回路構成が用いられており、33A,33B
は値Fに所定の係数を乗算する乗算器、32は総和Gに
所定の係数を乗算する乗算器、34はこれら乗算器33
A,33B,32の出力を加算する加算器、35は加算
器34の出力レベルに基づき最適なフィルタ係数を判定
する判定部である。なお、図13示す回路部の前段に
は、前述した図9や後述する図15の回路構成が配置さ
れる。
Cと同様の回路構成が用いられており、33A,33B
は値Fに所定の係数を乗算する乗算器、32は総和Gに
所定の係数を乗算する乗算器、34はこれら乗算器33
A,33B,32の出力を加算する加算器、35は加算
器34の出力レベルに基づき最適なフィルタ係数を判定
する判定部である。なお、図13示す回路部の前段に
は、前述した図9や後述する図15の回路構成が配置さ
れる。
【0072】このように、マトリクス空間に含まれる各
画素の輝度値から算出した所定の統計量に基づき、いず
れかのフィルタ係数を選択して入力画像の空間周波数特
性を調整するようにしたので、マトリクス空間に含まれ
る各画素の輝度値に偏りが生じている場合であっても、
その領域に応じた(最適な)フィルタ特性で空間周波数
特性の調整を行うことができる。これにより、例えば中
心画素と周辺画素の輝度の差が少ない場合には、細かい
ノイズのようなものを強調してしまわないように、あま
り高周波成分のゲインがあがらないフィルタ係数を選択
し、逆に強調して暗い(あるいは明るい)部分に埋もれて
しまっているものを浮き出させたりすることも可能であ
る。
画素の輝度値から算出した所定の統計量に基づき、いず
れかのフィルタ係数を選択して入力画像の空間周波数特
性を調整するようにしたので、マトリクス空間に含まれ
る各画素の輝度値に偏りが生じている場合であっても、
その領域に応じた(最適な)フィルタ特性で空間周波数
特性の調整を行うことができる。これにより、例えば中
心画素と周辺画素の輝度の差が少ない場合には、細かい
ノイズのようなものを強調してしまわないように、あま
り高周波成分のゲインがあがらないフィルタ係数を選択
し、逆に強調して暗い(あるいは明るい)部分に埋もれて
しまっているものを浮き出させたりすることも可能であ
る。
【0073】次に、図14を参照して、本発明の第4の
実施の形態について説明する。図14は第4の実施の形
態を示す空間フィルタの構成例であり、(a)はフィル
タ系数、(b)はブロック図を示している。前述の説明
では、空間フィルタのフィルタ係数として、すべての周
辺係数が同一値で中心係数だけが異なるフィルタ係数を
用いる場合を例として説明したが、ここでは周辺係数と
して異なる値を持つフィルタ係数を用いてパイプライン
処理する場合について説明する。
実施の形態について説明する。図14は第4の実施の形
態を示す空間フィルタの構成例であり、(a)はフィル
タ系数、(b)はブロック図を示している。前述の説明
では、空間フィルタのフィルタ係数として、すべての周
辺係数が同一値で中心係数だけが異なるフィルタ係数を
用いる場合を例として説明したが、ここでは周辺係数と
して異なる値を持つフィルタ係数を用いてパイプライン
処理する場合について説明する。
【0074】本実施の形態では、前述した第2の実施の
形態で用いた画素群を、その係数値分だけ重ね合わせる
ことにより、周辺係数として異なる値を持つフィルタ特
性を実現している。例えば、図14(a)に示すよう
に、周辺係数のうち中心画素の周囲に隣接する画素すな
わち中心画素から1画素分だけ周囲に存在する画素の係
数が−2、その外側の画素の係数を−1であるフィルタ
係数を用いる場合について検討する。
形態で用いた画素群を、その係数値分だけ重ね合わせる
ことにより、周辺係数として異なる値を持つフィルタ特
性を実現している。例えば、図14(a)に示すよう
に、周辺係数のうち中心画素の周囲に隣接する画素すな
わち中心画素から1画素分だけ周囲に存在する画素の係
数が−2、その外側の画素の係数を−1であるフィルタ
係数を用いる場合について検討する。
【0075】この場合は、図14(b)に示すように、
係数が−1の画素群A(1),A(2),B(3),A
(4),A(5)に、係数が−1の新たな画素群C
(2),D(3),C(4)が重なったものと考えれば
よい。そして、これら画素群ごとの輝度値の和が合算器
50で集計されて乗算器(周辺乗算器)51により周辺
係数の極性−1が乗算され、周辺画素の輝度値V11〜V
55とこれに対応する周辺係数R11〜R55との積の総和が
得られる。
係数が−1の画素群A(1),A(2),B(3),A
(4),A(5)に、係数が−1の新たな画素群C
(2),D(3),C(4)が重なったものと考えれば
よい。そして、これら画素群ごとの輝度値の和が合算器
50で集計されて乗算器(周辺乗算器)51により周辺
係数の極性−1が乗算され、周辺画素の輝度値V11〜V
55とこれに対応する周辺係数R11〜R55との積の総和が
得られる。
【0076】また、前述と同様に、乗算器(中心乗算
器)52において中心画素の輝度値V Pに中心係数RPが
乗算され、この乗算値と乗算器51の出力とが加算器5
3で加算される。その後、除算器54で加算器53の出
力をゲイン調整係数K(=25)で除算されて、空間周
波数特性の調整による輝度値ゲインが1となり、画像全
体の明るさが入力画像14と等しくなるような中心画素
Pの新たな輝度値VP'が得られる。
器)52において中心画素の輝度値V Pに中心係数RPが
乗算され、この乗算値と乗算器51の出力とが加算器5
3で加算される。その後、除算器54で加算器53の出
力をゲイン調整係数K(=25)で除算されて、空間周
波数特性の調整による輝度値ゲインが1となり、画像全
体の明るさが入力画像14と等しくなるような中心画素
Pの新たな輝度値VP'が得られる。
【0077】したがって、これをパイプライン処理する
場合、図15に示すように、前述の図8(a)の加算器
20A,20Bに対応して、加算器(ブロック加算器)
50A,50Bを設けておく。また、シフトレジスタ2
00,210,220に対応して、シフトレジスタ50
0,510,520を設けておく。
場合、図15に示すように、前述の図8(a)の加算器
20A,20Bに対応して、加算器(ブロック加算器)
50A,50Bを設けておく。また、シフトレジスタ2
00,210,220に対応して、シフトレジスタ50
0,510,520を設けておく。
【0078】そして、新たな画素群Cの輝度値Vi2〜V
i4の総和を求める加算器(ブロック加算器)50Cと、
画素群Dの輝度値Vi2,Vi4の総和を求める加算器(ブ
ロック加算器)50Dを設ける。さらに、これら加算器
50C,50Dの出力C(i),D(i)を、水平方向
iのクロック信号に基づき各タイミングiにおいてシフ
トし保持出力するシフトレジスタ530,540を設け
ればよい。
i4の総和を求める加算器(ブロック加算器)50Cと、
画素群Dの輝度値Vi2,Vi4の総和を求める加算器(ブ
ロック加算器)50Dを設ける。さらに、これら加算器
50C,50Dの出力C(i),D(i)を、水平方向
iのクロック信号に基づき各タイミングiにおいてシフ
トし保持出力するシフトレジスタ530,540を設け
ればよい。
【0079】これにより、合算器50では、各シフトレ
ジスタ500〜540のうち所定の1画素クロックディ
レイの出力A(i),A(i−1),C(i−1),B
(i−2),D(i−2),A(i−3),C(i−
3),A(i−4)の総和Gが算出される。またシフト
レジスタ510からは中心画素Pの輝度値VPすなわち
E(i−2)が値Fとして出力される。
ジスタ500〜540のうち所定の1画素クロックディ
レイの出力A(i),A(i−1),C(i−1),B
(i−2),D(i−2),A(i−3),C(i−
3),A(i−4)の総和Gが算出される。またシフト
レジスタ510からは中心画素Pの輝度値VPすなわち
E(i−2)が値Fとして出力される。
【0080】図16において、52は値Fに中心係数R
Pを乗算する乗算器(中心乗算器)、51は総和Gに周
辺係数R11〜R55の極性を乗算する乗算器(周辺乗算
器)、53はこれら乗算器51,52の出力を加算する
加算器、54は加算器53の出力をゲイン調整係数K
(=25)で除算する除算器である。これにより、例え
ばタイミングi=5では図14(b)に示されている空
間フィルタが構成され、中心画素Pの新たな輝度値
VP’が出力される。
Pを乗算する乗算器(中心乗算器)、51は総和Gに周
辺係数R11〜R55の極性を乗算する乗算器(周辺乗算
器)、53はこれら乗算器51,52の出力を加算する
加算器、54は加算器53の出力をゲイン調整係数K
(=25)で除算する除算器である。これにより、例え
ばタイミングi=5では図14(b)に示されている空
間フィルタが構成され、中心画素Pの新たな輝度値
VP’が出力される。
【0081】一般に、図8(a)に示したような、すべ
ての周辺係数が同一値で中心係数だけが異なるフィルタ
係数を用いた場合、図12に示すように、空間周波数の
中域部分に利得ピークがあり、中域部分から高域部分に
かけて徐々に利得が減衰するフィルタ特性が得られる。
ての周辺係数が同一値で中心係数だけが異なるフィルタ
係数を用いた場合、図12に示すように、空間周波数の
中域部分に利得ピークがあり、中域部分から高域部分に
かけて徐々に利得が減衰するフィルタ特性が得られる。
【0082】これに対して、図14(a)に示すよう
に、中心画素から同一画素数分だけ外側周囲に位置する
画素ごとに、異なる係数を与えることにより、空間周波
数の高域部分のフィルタ特性を制御できる。したがっ
て、中心画素に近い周辺係数の値の絶対値をその外側の
周辺係数に比較して大きくすることにより、図17に示
すように、中域部分から高域部分での利得減衰を抑制で
き、さらに画像細部を強調した中間画像6が得られる。
に、中心画素から同一画素数分だけ外側周囲に位置する
画素ごとに、異なる係数を与えることにより、空間周波
数の高域部分のフィルタ特性を制御できる。したがっ
て、中心画素に近い周辺係数の値の絶対値をその外側の
周辺係数に比較して大きくすることにより、図17に示
すように、中域部分から高域部分での利得減衰を抑制で
き、さらに画像細部を強調した中間画像6が得られる。
【0083】なお、本実施の形態においても、第2の実
施の形態と同様に、中心係数RPおよび周辺係数R11〜
R55、ゲイン調整係数Kの値を数4に示す条件で選択す
ることにより、中心画素の新たな輝度値VP'の算出課程
を整数の加算およびビットシフトで表現でき、同様の作
用効果が得られる。また、図14(b)の回路構成例は
図8(b)の回路構成例を含んでいるので、図14
(b)の合算器50に対する入力として、各シフトレジ
スタの任意の出力を選択自在な構成としておけば、複数
のフィルタ係数を簡単に切り替えることができる。
施の形態と同様に、中心係数RPおよび周辺係数R11〜
R55、ゲイン調整係数Kの値を数4に示す条件で選択す
ることにより、中心画素の新たな輝度値VP'の算出課程
を整数の加算およびビットシフトで表現でき、同様の作
用効果が得られる。また、図14(b)の回路構成例は
図8(b)の回路構成例を含んでいるので、図14
(b)の合算器50に対する入力として、各シフトレジ
スタの任意の出力を選択自在な構成としておけば、複数
のフィルタ係数を簡単に切り替えることができる。
【0084】図18は、図14(a)のフィルタ係数を
用いた空間フィルタのフィルタ特性を示す3Dモデルで
あり、X方向またはY方向に沿った断面が図17の特性
に相当する。また図19は、空間フィルタおよび2次元
DCTフィルタの合成特性を示す3Dモデルである。こ
こでは、図18の空間フィルタ特性すなわちフィルタ特
性7Aと、図4の2次元DCTフィルタ特性すなわちフ
ィルタ特性7Bが合成されており、これにより空間周波
数調整用の複雑なフィルタ特性7が得られることがわか
る。
用いた空間フィルタのフィルタ特性を示す3Dモデルで
あり、X方向またはY方向に沿った断面が図17の特性
に相当する。また図19は、空間フィルタおよび2次元
DCTフィルタの合成特性を示す3Dモデルである。こ
こでは、図18の空間フィルタ特性すなわちフィルタ特
性7Aと、図4の2次元DCTフィルタ特性すなわちフ
ィルタ特性7Bが合成されており、これにより空間周波
数調整用の複雑なフィルタ特性7が得られることがわか
る。
【0085】
【発明の効果】以上説明したように、本発明は、第2の
フィルタ特性と共同して所望の空間周波数調整用フィル
タ特性をなす第1のフィルタ特性を持つ第1の係数を用
いる空間フィルタと、第1のフィルタ特性と共同して所
望の空間周波数調整用フィルタ特性をなす第2のフィル
タ特性を併せ持ち、空間フィルタにより生成された中間
画像を圧縮するための2次元直交変換を行う第2の係数
を用いる直交変換部とを設けて、空間フィルタおよび直
交変換部の両方で空間周波数特性を調整するようにした
ものである。
フィルタ特性と共同して所望の空間周波数調整用フィル
タ特性をなす第1のフィルタ特性を持つ第1の係数を用
いる空間フィルタと、第1のフィルタ特性と共同して所
望の空間周波数調整用フィルタ特性をなす第2のフィル
タ特性を併せ持ち、空間フィルタにより生成された中間
画像を圧縮するための2次元直交変換を行う第2の係数
を用いる直交変換部とを設けて、空間フィルタおよび直
交変換部の両方で空間周波数特性を調整するようにした
ものである。
【0086】これにより、空間周波数調整用の所望のフ
ィルタ特性を、空間フィルタおよび直交変換部での処理
に合致した第1および第2のフィルタ特性に分離して、
空間フィルタおよび直交変換部の両方で空間周波数特性
を調整することが可能となり、従来のように単一のフィ
ルタ特性を用いる場合と比較して、新たな回路構成を追
加することなく、入力画像に対して所望のフィルタ特性
で空間周波数特性の調整および圧縮処理を行うことがで
きる。
ィルタ特性を、空間フィルタおよび直交変換部での処理
に合致した第1および第2のフィルタ特性に分離して、
空間フィルタおよび直交変換部の両方で空間周波数特性
を調整することが可能となり、従来のように単一のフィ
ルタ特性を用いる場合と比較して、新たな回路構成を追
加することなく、入力画像に対して所望のフィルタ特性
で空間周波数特性の調整および圧縮処理を行うことがで
きる。
【図1】 本発明の第1の実施の形態による画像処理装
置が適用される電子カメラ装置のブロック図である。
置が適用される電子カメラ装置のブロック図である。
【図2】 直交変換部で用いる空間周波数調整用の1次
元DCTフィルタ特性例を示す説明図である。
元DCTフィルタ特性例を示す説明図である。
【図3】 空間周波数調整用の2次元DCTフィルタ特
性の生成例を示す説明図である。
性の生成例を示す説明図である。
【図4】 空間周波数調整用の2次元DCTフィルタ特
性を示す3Dモデルである。
性を示す3Dモデルである。
【図5】 空間周波数調整用および2次元直交変換用の
2次元DCT変換係数の生成例を示す説明図である。
2次元DCT変換係数の生成例を示す説明図である。
【図6】 高域減衰特性を併せ持つDCT変換係数を用
いたDCT変換処理結果を示す説明図である。
いたDCT変換処理結果を示す説明図である。
【図7】 空間フィルタで用いるマトリクス空間を示す
模式図である。
模式図である。
【図8】 本発明の第2の実施の形態による空間フィル
タの構成例を示す説明図である。
タの構成例を示す説明図である。
【図9】 空間フィルタの具体的な構成例を示すブロッ
ク図である。
ク図である。
【図10】 空間フィルタの具体的な構成例を示すブロ
ック図である。
ック図である。
【図11】 空間フィルタの具体的な他の構成例を示す
ブロック図である。
ブロック図である。
【図12】 空間フィルタの周波数特性を示す説明図で
ある。
ある。
【図13】 本発明の第3の実施の形態による空間フィ
ルタの構成例を示す説明図である。
ルタの構成例を示す説明図である。
【図14】 本発明の第4の実施の形態による空間フィ
ルタの構成例を示す説明図である。
ルタの構成例を示す説明図である。
【図15】 空間フィルタの具体的な構成例を示すブロ
ック図である。
ック図である。
【図16】 空間フィルタの具体的な構成例を示すブロ
ック図である。
ック図である。
【図17】 空間フィルタの周波数特性を示す説明図で
ある。
ある。
【図18】 空間フィルタの周波数特性を示す3Dモデ
ルである。
ルである。
【図19】 空間フィルタおよび2次元DCTフィルタ
の合成特性を示す3Dモデルである。
の合成特性を示す3Dモデルである。
【図20】 従来の画像処理装置が適用される電子カメ
ラ装置を示すブロック図である。
ラ装置を示すブロック図である。
1…画像処理装置、2…空間フィルタ、2A…フィルタ
係数(空間周波数調整用)、4…2次元直交変換部、4
A…変換係数(2次元直交変換用+空間周波数調整
用)、6…中間画像、7…フィルタ特性、7A…フィル
タ特性、7B…フィルタ特性、11…撮像部、12…信
号変換部、13…メモリ、14…入力画像、18B…量
子化・圧縮部、19…圧縮画像データ、20,50…合
算器、20A,20B,50A,50B,50C,50
D…加算器(ブロック加算器)、21,25,51…乗
算器(周辺乗算器)、22,52…乗算器(中央乗算
器)、23,27,34,53…加算器、24,28,
54…除算器、26A,26B,32,33A,33B
…乗算器、35…判定部、36…セレクタ。
係数(空間周波数調整用)、4…2次元直交変換部、4
A…変換係数(2次元直交変換用+空間周波数調整
用)、6…中間画像、7…フィルタ特性、7A…フィル
タ特性、7B…フィルタ特性、11…撮像部、12…信
号変換部、13…メモリ、14…入力画像、18B…量
子化・圧縮部、19…圧縮画像データ、20,50…合
算器、20A,20B,50A,50B,50C,50
D…加算器(ブロック加算器)、21,25,51…乗
算器(周辺乗算器)、22,52…乗算器(中央乗算
器)、23,27,34,53…加算器、24,28,
54…除算器、26A,26B,32,33A,33B
…乗算器、35…判定部、36…セレクタ。
フロントページの続き (72)発明者 岡本 文孝 茨城県つくば市大字市之台155番地34 ニ ューコアテクノロジー株式会社内 Fターム(参考) 5B057 AA20 BA02 CA12 CA16 CB12 CB16 CC02 CE06 CG05 CH01 CH05 CH09 5C059 KK03 KK15 KK49 MA23 PP14 SS14 UA11 5C078 BA53 BA57 CA25 CA32 DA01 EA00
Claims (18)
- 【請求項1】 マトリクス状に配置された多数の画素か
らなり、かつ各画素がそれぞれの位置における輝度値を
示す2次元の入力画像について、所望の空間周波数調整
用フィルタ特性に基づき空間周波数特性を調整するとと
もに画像圧縮を行う画像処理装置において、 第2のフィルタ特性と共同して所望の空間周波数調整用
フィルタ特性をなす第1のフィルタ特性を持つ第1の係
数に基づき、入力画像の各画素ごとに新たな輝度値を求
めることにより、入力画像の空間周波数特性が調整され
た2次元の中間画像を生成する空間フィルタと、 第1のフィルタ特性と共同して所望の空間周波数調整用
フィルタ特性をなす第2のフィルタ特性を併せ持ち、空
間フィルタにより生成された中間画像を圧縮するための
2次元直交変換を行う第2の係数に基づき、中間画像を
2次元直交変換することにより、中間画像の空間周波数
特性が調整されかつ画像圧縮のための2次元直交変換さ
れた画像データを生成する直交変換部とを備えることを
特徴とする画像処理装置。 - 【請求項2】 請求項1記載の画像処理装置において、 空間フィルタは、 入力された2次元の入力画像の任意の画素を中心画素と
するM画素×M画素(Mは3以上の正の奇数)の第1の
領域を選択し、第1のフィルタ特性をなすM個×M個の
第1の係数とこれら各係数に対応する第1の領域内の各
画素との積をM×M個分合計して中心画素の新たな輝度
値を求め、これを入力2次元画像を構成する各画素ごと
に順次行うことにより、入力画像の空間周波数特性が調
整された2次元の中間画像を生成することを特徴とする
画像処理装置。 - 【請求項3】 請求項2記載の画像処理装置において、 第1の係数として、第1の領域の中心画素に対応する中
心係数が2の累乗値の和となり、かつ中心画素以外の第
1の領域内の画素からなる周辺画素に対応する周辺係数
の総和と中心係数との和が2の累乗値となる中心係数お
よび周辺係数を用いることを特徴とする画像処理装置。 - 【請求項4】 請求項3記載の画像処理装置において、 周辺係数のうち、中心係数から同一画素数分だけ外周に
位置する周辺係数は、すべて同一の2の累乗値からなる
ことを特徴とする画像処理装置。 - 【請求項5】 請求項2記載の画像処理装置において、 第1の係数のうち、第1の領域の中心画素に対応する中
心係数RPおよびこの中心係数RP以外の第1の領域内の
周辺画素に対応する周辺係数Rijとして、 【数1】 ただし、m,nは正整数、kは0または正整数であり、
r1,r2…rmは0または1のいずれか、s1,s2…sn
は0または−1のいずれかという条件を満たすものを用
いることを特徴とする画像処理装置。 - 【請求項6】 請求項1記載の画像処理装置において、 直交変換部は、 空間フィルタにより生成された中間画像をN画素×N画
素(Nは2以上の整数)からなる複数の第2の領域に分
割し、第2のフィルタ特性をなすN×N個の第2の係数
を用いて、各第2の領域ごとに2次元直交変換すること
により、中間画像の空間周波数特性が調整されかつ画像
圧縮のために2次元直交変換された画像データを生成す
ることを特徴とする画像処理装置。 - 【請求項7】 請求項6記載の画像処理装置において、 第2の係数として、中間画像の空間周波数特性を調整す
るN×N個のフィルタ係数と中間画像を2次元直交変換
するN×N個の変換係数とをそれぞれ個別に乗算または
加算して得たN×N個の係数を用いることを特徴とする
画像処理装置。 - 【請求項8】 請求項2記載の画像処理装置において、 空間フィルタは、 それぞれ異なる空間周波数特性をなす複数の第1の係数
のうち、第1の領域に含まれる各画素の輝度値から算出
した所定の統計量に基づき選択したいずれかの第1の係
数を用いて入力画像の空間周波数特性を調整することを
特徴とする画像処理装置。 - 【請求項9】 請求項6記載の画像処理装置において、 直交変換部は、 それぞれ異なる空間周波数特性をなす複数の第2の係数
のうち、第2の領域に含まれる各画素の輝度値から算出
した所定の統計量に基づき選択したいずれかの第2の係
数を用いて2次元直交変換することにより、中間画像の
空間周波数特性の調整と画像圧縮のための2次元直交変
換とを行うことを特徴とする画像処理装置。 - 【請求項10】 請求項8または9記載の画像処理装置
において、 統計量として、各領域内画素の平均輝度、各領域内画素
の中心画素の輝度と各領域内画素の平均輝度との差、各
領域内画素の中心画素の輝度と各領域内画素に所定係数
を乗算した値との差、あるいは各領域内画素の中心画素
の輝度と各領域内画素のうち最遠の画素の輝度との差を
用いることを特徴とする画像処理装置。 - 【請求項11】 請求項1記載の画像処理装置におい
て、 第1の係数は、直交するi方向およびj方向に沿って2
次元配置された多数の画素からなる入力画像において、
任意の画素を中心画素とするM画素×M画素(Mは3以
上の正の奇数)の第1の領域のうち、中心画素に対応す
る正の係数値からなる中心係数と、中心画素以外の第1
の領域内の画素からなる周辺画素に対応しそれぞれ所定
の負の係数値を有するM×M−1個の周辺係数とからな
り、 空間フィルタは、 入力画像から並列的に取り込んだM画素のうち、1つ以
上の画素からなる所定ブロックごとに個々のブロックに
属する画素の輝度値の和を算出出力する複数のブロック
加算器と、 これらブロック加算器に対応して設けられ、所定のクロ
ック信号に同期してこれらブロック加算器の出力を所定
段数だけ順次シフトさせてそれぞれ保持出力する複数の
シフトレジスタと、 各ブロック加算器の出力値および各シフトレジスタの出
力値のうち所定の出力値を選択的に合計することによ
り、第1の領域のM画素×M画素のうち個々の周辺画素
の輝度値とそれぞれの周辺画素に対応する周辺係数の絶
対値との積をM×M−1個分求めて合計した値を出力す
る合算器と、 この合算器の出力に−1を乗算する周辺乗算器と、 各シフトレジスタのいずれかで保持されている中心画素
の輝度値に中心係数を乗算して出力する中心乗算器と、 周辺乗算器の出力に中心乗算器の出力を加算して出力す
る加算器と、 この加算器の出力を除算して中心画素の新たな輝度値を
出力する除算器とを有するパイプライン処理部を備え、 所定のクロック信号に同期して入力画像上をi方向に1
画素ずつ走査するとともにj方向に1画素ずつ走査し
て、j方向に沿って隣接配置されたM画素を並列的にパ
イプライン処理部に順次取り込み、取り込まれたM画素
×M画素の中心画素の新たな輝度値を順次算出すること
により、入力画像の空間周波数特性が調整された2次元
の中間画像を得ることを特徴とする画像処理装置。 - 【請求項12】 請求項11記載の画像処理装置におい
て、 第1の係数の中心係数は2の累乗値からなり、 中心乗算器は、中心係数をなす2の累乗数分だけ中心画
素の輝度値を上位ビット方向へビットシフトすることに
より中心画素の輝度値と中心係数との積を算出出力する
ことを特徴とする画像処理装置。 - 【請求項13】 請求項11記載の画像処理装置におい
て、 第1の係数の中心係数は複数の2の累乗値の和からな
り、 中心乗算器は、中心係数をなす各2の累乗値に対応して
並列配置された複数の乗算器からなり、 各乗算器は、それぞれ対応する2の累乗数分だけ中心画
素の輝度値を上位ビット方向へビットシフトすることに
より中心画素の輝度値と中心係数との積を算出出力する
ことを特徴とする画像処理装置。 - 【請求項14】 請求項11記載の画像処理装置におい
て、 第1の係数の中心係数および周辺係数として、中心係数
と周辺係数の総和との和が2の累乗値となるものを用
い、 除算器は、中心係数と周辺係数の総和との和を示す2の
累乗数分だけ加算器の出力を下位ビット方向へビットシ
フトすることにより加算器の出力を除算することを特徴
とする画像処理装置。 - 【請求項15】 請求項1記載の画像処理装置におい
て、 第1のフィルタ特性として空間周波数特性の中域部分か
ら高域部分を強調する特性を用いることを特徴とする画
像処理装置。 - 【請求項16】 請求項15記載の画像処理装置におい
て、 第2のフィルタ特性として空間周波数特性の高域部分を
減衰する特性を用いることを特徴とする画像処理装置。 - 【請求項17】 請求項2記載の画像処理装置におい
て、 輝度信号および色差信号に対して、空間周波数特性が異
なる第1のフィルタ特性をそれぞれ別個に用いることを
特徴とする画像処理装置。 - 【請求項18】 請求項2記載の画像処理装置におい
て、 輝度信号および色差信号に対して、空間周波数特性が異
なる第2のフィルタ特性をそれぞれ別個に用いることを
特徴とする画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13197699A JP2000333171A (ja) | 1999-05-12 | 1999-05-12 | 画像処理装置 |
| US09/564,598 US6819717B1 (en) | 1999-05-12 | 2000-05-03 | Image processing apparatus |
| EP20000109721 EP1052845A3 (en) | 1999-05-12 | 2000-05-08 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13197699A JP2000333171A (ja) | 1999-05-12 | 1999-05-12 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000333171A true JP2000333171A (ja) | 2000-11-30 |
Family
ID=15070640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13197699A Pending JP2000333171A (ja) | 1999-05-12 | 1999-05-12 | 画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6819717B1 (ja) |
| EP (1) | EP1052845A3 (ja) |
| JP (1) | JP2000333171A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010154018A (ja) * | 2008-12-24 | 2010-07-08 | Olympus Corp | 画像圧縮装置、および画像圧縮方法 |
| US8155469B2 (en) | 2006-10-31 | 2012-04-10 | Seiko Epson Corporation | Filter circuit, image processing circuit, and filtering method |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020105589A1 (en) * | 2001-02-02 | 2002-08-08 | Brandenberger Sarah M. | System and method for lens filter emulation in digital photography |
| JP2004096505A (ja) | 2002-08-30 | 2004-03-25 | Konica Minolta Holdings Inc | 画像処理方法、画像処理装置、画像記録装置、プログラム及び記録媒体。 |
| JP4594688B2 (ja) * | 2004-06-29 | 2010-12-08 | オリンパス株式会社 | 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化/復号化システム、拡張画像圧縮伸張処理システム |
| CN100571389C (zh) * | 2004-06-29 | 2009-12-16 | 奥林巴斯株式会社 | 用于图像编码/解码和扩展图像压缩解压缩的方法和设备 |
| US8391630B2 (en) * | 2005-12-22 | 2013-03-05 | Qualcomm Mems Technologies, Inc. | System and method for power reduction when decompressing video streams for interferometric modulator displays |
| JP4858609B2 (ja) * | 2007-02-27 | 2012-01-18 | 日本電気株式会社 | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム |
| JP5397190B2 (ja) * | 2009-11-27 | 2014-01-22 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US9177204B1 (en) * | 2011-09-28 | 2015-11-03 | Rockwell Collins, Inc. | Spectrally enhanced vision system for low visibility operations |
| JP2025076701A (ja) * | 2023-11-02 | 2025-05-16 | 株式会社ジョブ | 画像処理方法および画像処理装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3788779T2 (de) | 1986-10-27 | 1994-06-30 | Philips Nv | Digitales, nicht-rekursives Filter mit Multiplizierkoeffizienten der Basis zwei. |
| JPH03256454A (ja) | 1990-03-07 | 1991-11-15 | Ricoh Co Ltd | 画像データ処理方式 |
| US5287299A (en) | 1992-05-26 | 1994-02-15 | Monolith Technologies Corporation | Method and apparatus for implementing a digital filter employing coefficients expressed as sums of 2 to an integer power |
| US6434266B1 (en) * | 1993-12-17 | 2002-08-13 | Canon Kabushiki Kaisha | Image processing method and apparatus for converting colors in a color image |
| JPH08237669A (ja) * | 1995-02-28 | 1996-09-13 | Sony Corp | 画像信号処理装置、画像信号処理方法および画像信号復号化装置 |
| US5706216A (en) | 1995-07-28 | 1998-01-06 | Reisch; Michael L. | System for data compression of an image using a JPEG compression circuit modified for filtering in the frequency domain |
| JPH0970044A (ja) | 1995-08-31 | 1997-03-11 | Sony Corp | 画像信号処理装置および方法 |
| US5862266A (en) | 1996-06-07 | 1999-01-19 | Hewlett-Packard Company | Circuit for sharpening of edges of a pixel image in a color copier |
| JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化/復号化方法及び装置 |
| US6539120B1 (en) * | 1997-03-12 | 2003-03-25 | Matsushita Electric Industrial Co., Ltd. | MPEG decoder providing multiple standard output signals |
| US6028965A (en) * | 1997-05-13 | 2000-02-22 | Lg Electronics, Inc | Method and apparatus for intelligent codec system |
| US6173085B1 (en) * | 1998-09-18 | 2001-01-09 | Eastman Kodak Company | Edge enhancement using modified edge boost function |
| US6487249B2 (en) * | 1998-10-09 | 2002-11-26 | Matsushita Electric Industrial Co., Ltd. | Efficient down conversion system for 2:1 decimation |
| US6320987B1 (en) * | 1998-10-16 | 2001-11-20 | Neo Paradigm Labs, Inc. | Pre-DCT residue filter |
| US6215908B1 (en) * | 1999-02-24 | 2001-04-10 | Intel Corporation | Symmetric filtering based VLSI architecture for image compression |
-
1999
- 1999-05-12 JP JP13197699A patent/JP2000333171A/ja active Pending
-
2000
- 2000-05-03 US US09/564,598 patent/US6819717B1/en not_active Expired - Lifetime
- 2000-05-08 EP EP20000109721 patent/EP1052845A3/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8155469B2 (en) | 2006-10-31 | 2012-04-10 | Seiko Epson Corporation | Filter circuit, image processing circuit, and filtering method |
| JP2010154018A (ja) * | 2008-12-24 | 2010-07-08 | Olympus Corp | 画像圧縮装置、および画像圧縮方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6819717B1 (en) | 2004-11-16 |
| EP1052845A2 (en) | 2000-11-15 |
| EP1052845A3 (en) | 2002-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101232574B (zh) | 成像装置、噪声去除设备及噪声去除方法 | |
| JP4998287B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| JP5003196B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
| JP4894595B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| US6724943B2 (en) | Device and method for image processing | |
| JP5495025B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| KR100200363B1 (ko) | 영상의 다이나믹 레인지 확대 장치 | |
| US8526729B2 (en) | Image processing apparatus and method, and program | |
| JP4687320B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
| CN102045506B (zh) | 图像处理装置及图像处理方法 | |
| JP2001275015A (ja) | 画像処理回路及び画像処理方法 | |
| JP2004221644A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US6701024B1 (en) | Image processing apparatus | |
| EP1052845A2 (en) | Image processing apparatus | |
| JP4161719B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2007180851A (ja) | Raw画像の階調変換装置、プログラム、方法、および電子カメラ | |
| US20060221202A1 (en) | Method and apparatus for image processing | |
| JP2006211610A (ja) | 撮像システム | |
| JP2021117748A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2000156872A (ja) | 画像処理装置及び画像処理方法 | |
| JP3543766B2 (ja) | 画像処理装置 | |
| JP2006086851A (ja) | 撮像装置 | |
| JP4714096B2 (ja) | 撮像装置 | |
| JP2000354180A (ja) | ノイズ低減装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090825 |