JPH10200906A - 撮像信号処理方法、撮像信号処理装置、及び機械読み取り可能な記録媒体 - Google Patents
撮像信号処理方法、撮像信号処理装置、及び機械読み取り可能な記録媒体Info
- Publication number
- JPH10200906A JPH10200906A JP9001094A JP109497A JPH10200906A JP H10200906 A JPH10200906 A JP H10200906A JP 9001094 A JP9001094 A JP 9001094A JP 109497 A JP109497 A JP 109497A JP H10200906 A JPH10200906 A JP H10200906A
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- receiving element
- chromaticity
- image signal
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】
【課題】 撮像信号より見かけの解像度の高いカラー画
像信号を得る。 【解決手段】 Ｒ，Ｇ，Ｂ受光素子を交互に配置した撮
像装置より入力されたＲＢＧデータ（１１０）から、補
間処理（１２０）、色度マトリックス処理（１３０）及
びローパスフィルタ処理（１４０）により各受光素子位
置の近傍の平均的な色度（Ｃｒ，Ｃｂ）を推定する。推
定した色度とＲＢＧデータより積和演算によって各受光
素子位置の輝度Ｙを推定し（１５０）、高解像度の輝度
成分と低解像度の色度成分を含むカラー画像信号１６０
を生成する。
像信号を得る。 【解決手段】 Ｒ，Ｇ，Ｂ受光素子を交互に配置した撮
像装置より入力されたＲＢＧデータ（１１０）から、補
間処理（１２０）、色度マトリックス処理（１３０）及
びローパスフィルタ処理（１４０）により各受光素子位
置の近傍の平均的な色度（Ｃｒ，Ｃｂ）を推定する。推
定した色度とＲＢＧデータより積和演算によって各受光
素子位置の輝度Ｙを推定し（１５０）、高解像度の輝度
成分と低解像度の色度成分を含むカラー画像信号１６０
を生成する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理に係り、
特に、同一平面上に分光感度の異なる複数種類の受光素
子が交互に配置されたカラー画像撮像装置による撮像信
号の処理に関する。本発明は、デジタルカメラ、デジタ
ルスキャナ等の画像機器に広く応用可能である。
特に、同一平面上に分光感度の異なる複数種類の受光素
子が交互に配置されたカラー画像撮像装置による撮像信
号の処理に関する。本発明は、デジタルカメラ、デジタ
ルスキャナ等の画像機器に広く応用可能である。
【０００２】
【従来の技術】ＣＣＤなどを用いたカラー画像撮像装置
として、分光感度の異なる複数の種類（チャネル）の受
光素子が同一平面上に交互に配置されているものがあ
る。例えば一次元センサの場合、図４に示すようにＲ，
Ｇ，Ｂの各チャネルの受光素子（図中の一つの区画が一
つの受光素子を意味する）が１列に交互に配置される。
通常、連続したＲ，Ｇ，Ｂチャネルの３個の受光素子の
組が一つの画素を構成する。このようなカラー撮像装置
には、次の２つの問題がある。
として、分光感度の異なる複数の種類（チャネル）の受
光素子が同一平面上に交互に配置されているものがあ
る。例えば一次元センサの場合、図４に示すようにＲ，
Ｇ，Ｂの各チャネルの受光素子（図中の一つの区画が一
つの受光素子を意味する）が１列に交互に配置される。
通常、連続したＲ，Ｇ，Ｂチャネルの３個の受光素子の
組が一つの画素を構成する。このようなカラー撮像装置
には、次の２つの問題がある。
【０００３】一つは、各画素のＲ，Ｇ，Ｂ値を同一位置
で得られないため、色ずれが起き、明暗の激しい部分で
偽色が生じることである。もう一つは、各チャネルごと
の受光素子数は全受光素子数より少ないため、高い解像
度を得にくいことである。例えば、図４のようにＲ，
Ｇ，Ｂ各チャネルの受光素子数が等しい場合、各チャネ
ルの受光素子数は全受光素子数の３分の１しかないた
め、Ｒ，Ｇ，Ｂ各チャネルの画像は、同じ素子数のモノ
クロ撮像装置に比べ解像度が３分の１になる。
で得られないため、色ずれが起き、明暗の激しい部分で
偽色が生じることである。もう一つは、各チャネルごと
の受光素子数は全受光素子数より少ないため、高い解像
度を得にくいことである。例えば、図４のようにＲ，
Ｇ，Ｂ各チャネルの受光素子数が等しい場合、各チャネ
ルの受光素子数は全受光素子数の３分の１しかないた
め、Ｒ，Ｇ，Ｂ各チャネルの画像は、同じ素子数のモノ
クロ撮像装置に比べ解像度が３分の１になる。
【０００４】このような問題を解決するため、補間処理
を利用する方法が知られている（特開平２−１５３６７
９号）。例えば、図４に示したような受光素子配列の場
合におけるＲチャネルに関する補間処理を図５に示す。
Ｒチャネルの受光素子は位置１と位置４に配置されてお
り、それぞれの受光素子より出力されるＲ値をＲ(1），
Ｒ(4）とする。Ｇ，Ｂチャネルの受光素子が配置された
位置２及び位置３のＲ値であるＲ(2），Ｒ(3）を（１）
式の補間演算により計算する。Ｂ，Ｇチャネルについて
も同様の補間演算により補間する。
を利用する方法が知られている（特開平２−１５３６７
９号）。例えば、図４に示したような受光素子配列の場
合におけるＲチャネルに関する補間処理を図５に示す。
Ｒチャネルの受光素子は位置１と位置４に配置されてお
り、それぞれの受光素子より出力されるＲ値をＲ(1），
Ｒ(4）とする。Ｇ，Ｂチャネルの受光素子が配置された
位置２及び位置３のＲ値であるＲ(2），Ｒ(3）を（１）
式の補間演算により計算する。Ｂ，Ｇチャネルについて
も同様の補間演算により補間する。
【０００５】
【数１】
【０００６】この補間処理により、同一位置でのＲ，
Ｇ，Ｂ値が得られるので、色ずれは減少する。しかし、
すべての受光素子位置でＲ，Ｂ，Ｇの３つの値が得られ
るので、補間処理をしない場合に比べデータの数が３倍
に増えるが、増えたデータは補間によるものであるた
め、実質的な情報（帯域）は増えず、多少ぼけた画像デ
ータとなるという問題がある。
Ｇ，Ｂ値が得られるので、色ずれは減少する。しかし、
すべての受光素子位置でＲ，Ｂ，Ｇの３つの値が得られ
るので、補間処理をしない場合に比べデータの数が３倍
に増えるが、増えたデータは補間によるものであるた
め、実質的な情報（帯域）は増えず、多少ぼけた画像デ
ータとなるという問題がある。
【０００７】別の従来技術として、Ｒ，Ｇ，Ｂ各チャネ
ルの受光素子をモノクロの受光素子として使用し、解像
度を向上させる方法が知られている（特開平２−２３９
７９１号、特開平７−１２３４２１号）。例えば、無彩
色光に対するＲ，Ｇ，Ｂ各チャネルの受光素子の感度が
同一で、撮像面上に無彩色の像があるとする。その場
合、図６に黒丸で示したＲ，Ｇ，Ｂ各チャネルの受光素
子の出力をすべて白黒の受光素子の出力とみなせば、全
受光素子位置で独立した画素値が得られる。また、各チ
ャネルの受光素子の感度が同一でない、あるいは像が無
彩色でない場合でも、その光に対する各素子の感度比が
予めわかっていれば、感度補正によって各受光素子位置
でのモノクロ画素値が得られる。このような方法によれ
ば、確かに解像度は向上する。しかし、対象は単色だけ
に限定され、各種の色が混在する自然画像には適用でき
ず、また、単色だけを対象とするにしても、その色をユ
ーザが指定しなければならず処理の完全な自動化は難し
い。
ルの受光素子をモノクロの受光素子として使用し、解像
度を向上させる方法が知られている（特開平２−２３９
７９１号、特開平７−１２３４２１号）。例えば、無彩
色光に対するＲ，Ｇ，Ｂ各チャネルの受光素子の感度が
同一で、撮像面上に無彩色の像があるとする。その場
合、図６に黒丸で示したＲ，Ｇ，Ｂ各チャネルの受光素
子の出力をすべて白黒の受光素子の出力とみなせば、全
受光素子位置で独立した画素値が得られる。また、各チ
ャネルの受光素子の感度が同一でない、あるいは像が無
彩色でない場合でも、その光に対する各素子の感度比が
予めわかっていれば、感度補正によって各受光素子位置
でのモノクロ画素値が得られる。このような方法によれ
ば、確かに解像度は向上する。しかし、対象は単色だけ
に限定され、各種の色が混在する自然画像には適用でき
ず、また、単色だけを対象とするにしても、その色をユ
ーザが指定しなければならず処理の完全な自動化は難し
い。
【０００８】
【発明が解決しようとする課題】本発明の一つの目的
は、カラー画像撮像装置による撮像信号から、見かけの
解像度の高いカラー画像信号を生成するための撮像信号
処理方法及び装置を提供することにある。本発明のもう
一つの目的は、撮像対象をモノクロ画像に限定したり、
対象の色をユーザが指定することなく、任意の画像の撮
像信号から、見かけの解像度の高いカラー画像信号を生
成する装置を提供することにある。本発明のもう一つの
目的は、カラー画像撮像装置による撮像信号から、解像
度が高く、色ずれ・偽色の少ないカラー画像信号を生成
するための撮像信号処理装置を提供することにある。本
発明の他の目的は、カラー画像撮像装置による撮像信号
から高い解像度のカラー画像信号を生成するための、構
成の簡単な撮像信号処理装置を提供することにある。本
発明の別の目的は、カラー画像撮像装置による撮像信号
から高い解像度のカラー画像信号を生成するための撮像
信号処理装置を、コンピュータを利用し簡単に実現でき
るようにすることにある。
は、カラー画像撮像装置による撮像信号から、見かけの
解像度の高いカラー画像信号を生成するための撮像信号
処理方法及び装置を提供することにある。本発明のもう
一つの目的は、撮像対象をモノクロ画像に限定したり、
対象の色をユーザが指定することなく、任意の画像の撮
像信号から、見かけの解像度の高いカラー画像信号を生
成する装置を提供することにある。本発明のもう一つの
目的は、カラー画像撮像装置による撮像信号から、解像
度が高く、色ずれ・偽色の少ないカラー画像信号を生成
するための撮像信号処理装置を提供することにある。本
発明の他の目的は、カラー画像撮像装置による撮像信号
から高い解像度のカラー画像信号を生成するための、構
成の簡単な撮像信号処理装置を提供することにある。本
発明の別の目的は、カラー画像撮像装置による撮像信号
から高い解像度のカラー画像信号を生成するための撮像
信号処理装置を、コンピュータを利用し簡単に実現でき
るようにすることにある。
【０００９】
【課題を解決するための手段】請求項１の発明によれば
改良された撮像信号処理方法が提供されるが、その特徴
は、同一面上に分光感度の異なる複数種類の受光素子を
交互に配置したカラー画像撮像装置による撮像信号を処
理することにより、全受光素子から得られる画像信号と
同等の帯域を持つ輝度成分と、該輝度成分より帯域の狭
い色度成分とを含むカラー画像信号を生成することであ
る。
改良された撮像信号処理方法が提供されるが、その特徴
は、同一面上に分光感度の異なる複数種類の受光素子を
交互に配置したカラー画像撮像装置による撮像信号を処
理することにより、全受光素子から得られる画像信号と
同等の帯域を持つ輝度成分と、該輝度成分より帯域の狭
い色度成分とを含むカラー画像信号を生成することであ
る。
【００１０】請求項２乃至５の各項の発明によれば、同
一面上に分光感度の異なる複数種類の受光素子を交互に
配置したカラー画像撮像装置による撮像信号から、全受
光素子から得られる画像信号と同等の帯域を持つ輝度成
分と該輝度成分より帯域の狭い色度成分とを含むカラー
画像信号を生成する改良された撮像信号処理装置が提供
される。請求項２の発明による撮像信号処理装置の特徴
は、撮像信号から各受光素子位置の近傍領域での平均的
な色度値を推定する手段と、該手段で推定された色度値
及び該撮像信号からカラー画像信号を生成する手段とを
有することである。請求項３の発明による撮像信号処理
装置の特徴は、カラー画像信号を生成する手段が、推定
された色度値及び撮像信号から各受光素子位置での輝度
値を推定し、推定された輝度値及び色度値の信号からな
るカラー画像信号を生成することである。また、請求項
４の発明による撮像信号処理装置の特徴は、各受光素子
位置の近傍での平均的な色度値を推定する手段が、各受
光素子位置での色度値を推定し、推定した色度値にロー
パスフィルタ処理を施すことにより各受光素子位置の近
傍での平均的な色度値を得ることである。請求項５の発
明による撮像信号処理装置の特徴は、受光素子の種類に
応じた複数の係数セットを記録する係数記録手段と、該
係数記録手段に記録されている複数の係数セットの中か
ら、注目した受光素子位置に応じた一つの係数セットを
選択する係数選択手段と、該係数選択手段により選択さ
れた係数セットと該撮像信号との特定の積和演算を行う
ことによってカラー画像信号を得る積和演算手段とを有
することである。
一面上に分光感度の異なる複数種類の受光素子を交互に
配置したカラー画像撮像装置による撮像信号から、全受
光素子から得られる画像信号と同等の帯域を持つ輝度成
分と該輝度成分より帯域の狭い色度成分とを含むカラー
画像信号を生成する改良された撮像信号処理装置が提供
される。請求項２の発明による撮像信号処理装置の特徴
は、撮像信号から各受光素子位置の近傍領域での平均的
な色度値を推定する手段と、該手段で推定された色度値
及び該撮像信号からカラー画像信号を生成する手段とを
有することである。請求項３の発明による撮像信号処理
装置の特徴は、カラー画像信号を生成する手段が、推定
された色度値及び撮像信号から各受光素子位置での輝度
値を推定し、推定された輝度値及び色度値の信号からな
るカラー画像信号を生成することである。また、請求項
４の発明による撮像信号処理装置の特徴は、各受光素子
位置の近傍での平均的な色度値を推定する手段が、各受
光素子位置での色度値を推定し、推定した色度値にロー
パスフィルタ処理を施すことにより各受光素子位置の近
傍での平均的な色度値を得ることである。請求項５の発
明による撮像信号処理装置の特徴は、受光素子の種類に
応じた複数の係数セットを記録する係数記録手段と、該
係数記録手段に記録されている複数の係数セットの中か
ら、注目した受光素子位置に応じた一つの係数セットを
選択する係数選択手段と、該係数選択手段により選択さ
れた係数セットと該撮像信号との特定の積和演算を行う
ことによってカラー画像信号を得る積和演算手段とを有
することである。
【００１１】請求項６の発明によれば、コンピュータを
請求項５の発明における係数記録手段、係数選択手段、
及び積和演算手段として機能させるためのプログラムを
記録した機械読み取り可能な記録媒体が提供される。
請求項５の発明における係数記録手段、係数選択手段、
及び積和演算手段として機能させるためのプログラムを
記録した機械読み取り可能な記録媒体が提供される。
【００１２】
【発明の実施の形態】以下、図面を参照し、本発明の実
施例について説明する。
施例について説明する。
【００１３】＜実施例１＞図１は、本実施例による撮像
信号処理装置１００の構成を、その処理の流れに沿って
表した概略ブロック図である。この撮像信号処理装置１
００に入力する撮像信号１００は、ＣＣＤなどを用いた
カラー画像撮像装置より与えられるＲＧＢ信号である。
本実施例では、カラー画像撮像装置として、図４に示し
た受光素子配列１９０のように、Ｒ，Ｇ，Ｂ各チャネル
の受光素子が交互に一列に配置されたものを想定してい
る。ここで、撮像信号１００のＲ，Ｇ，Ｂの値をＲ０，
Ｇ０，Ｂ０と表す。本撮像信号処理装置１００は、Ｒ
０，Ｇ０，Ｂ０信号を処理することにより、低解像度の
色度信号と高解像度の輝度信号からなるカラー画像信号
１６０を生成する。
信号処理装置１００の構成を、その処理の流れに沿って
表した概略ブロック図である。この撮像信号処理装置１
００に入力する撮像信号１００は、ＣＣＤなどを用いた
カラー画像撮像装置より与えられるＲＧＢ信号である。
本実施例では、カラー画像撮像装置として、図４に示し
た受光素子配列１９０のように、Ｒ，Ｇ，Ｂ各チャネル
の受光素子が交互に一列に配置されたものを想定してい
る。ここで、撮像信号１００のＲ，Ｇ，Ｂの値をＲ０，
Ｇ０，Ｂ０と表す。本撮像信号処理装置１００は、Ｒ
０，Ｇ０，Ｂ０信号を処理することにより、低解像度の
色度信号と高解像度の輝度信号からなるカラー画像信号
１６０を生成する。
【００１４】補間処理部１２０、色度マトリックス処理
部１３０及びローパスフィルタ処理部１４０は、各画素
位置つまり各受光素子位置の近傍での平均的な色度値を
得る部分である。この平均的な色度値は、後述の輝度推
定処理にも必要となる。
部１３０及びローパスフィルタ処理部１４０は、各画素
位置つまり各受光素子位置の近傍での平均的な色度値を
得る部分である。この平均的な色度値は、後述の輝度推
定処理にも必要となる。
【００１５】Ｒ，Ｇ，Ｂ各チャネルの受光素子は飛び飛
びに配置されているため、まず、補間処理部１１０によ
って、従来技術の説明において図５に関連して述べたよ
うな補間演算を行い、各受光素子位置でのＲ，Ｇ，Ｂの
３つの値すべて求める。補間処理後のＲ，Ｇ，Ｂ値をＲ
１，Ｇ１，Ｂ１と表す。
びに配置されているため、まず、補間処理部１１０によ
って、従来技術の説明において図５に関連して述べたよ
うな補間演算を行い、各受光素子位置でのＲ，Ｇ，Ｂの
３つの値すべて求める。補間処理後のＲ，Ｇ，Ｂ値をＲ
１，Ｇ１，Ｂ１と表す。
【００１６】次に、色度マトリックス処理部１３０にお
いて、各受光素子位置でのＲ，Ｇ，Ｂ値、つまりＲ１，
Ｇ１，Ｂ１に２×３行列を掛け、各受光素子位置での色
度値を得る。本実施例では、撮像信号１１０として入力
されるＲＧＢ信号をＮＴＳＣ−ＲＧＢ空間の信号である
と仮定し、色度値として次の（２）式のようなＣｒ，Ｃ
ｂを採用するものとする。ただし、Ｒ，Ｇ，Ｂは［０，
１］の範囲、Ｙは［０，１００］の範囲とする。
いて、各受光素子位置でのＲ，Ｇ，Ｂ値、つまりＲ１，
Ｇ１，Ｂ１に２×３行列を掛け、各受光素子位置での色
度値を得る。本実施例では、撮像信号１１０として入力
されるＲＧＢ信号をＮＴＳＣ−ＲＧＢ空間の信号である
と仮定し、色度値として次の（２）式のようなＣｒ，Ｃ
ｂを採用するものとする。ただし、Ｒ，Ｇ，Ｂは［０，
１］の範囲、Ｙは［０，１００］の範囲とする。
【００１７】
【数２】
【００１８】ＮＴＳＣ−ＲＧＢとＸＹＺの定義（（３）
式）により、ＲＧＢと色度（Ｃｒ，Ｃｂ）の関係は
（４）式のように表される。
式）により、ＲＧＢと色度（Ｃｒ，Ｃｂ）の関係は
（４）式のように表される。
【００１９】
【数３】
【００２０】
【数４】
【００２１】よって、色度マトリックス処理部１３０に
おいて、（５）式に示す演算をＲ１，Ｇ１，Ｂ１信号に
施すことによってＣｒ，Ｃｂを求めることができる。た
だし、（５）式中のｎijは、（４）式の行列Ｎのｉ行ｊ
列要素を表す。この段階で得られた色度値Ｃｒ，Ｃｂを
Ｃｒ０，Ｃｂ０と表す。
おいて、（５）式に示す演算をＲ１，Ｇ１，Ｂ１信号に
施すことによってＣｒ，Ｃｂを求めることができる。た
だし、（５）式中のｎijは、（４）式の行列Ｎのｉ行ｊ
列要素を表す。この段階で得られた色度値Ｃｒ，Ｃｂを
Ｃｒ０，Ｃｂ０と表す。
【００２２】
【数５】
【００２３】次にローパスフィルタ処理部１４０につい
て説明する。撮像面上で光学像に急激な変化がある場
合、前述の補間処理をしても、実際には存在しない色
（偽色）が生じることがある。その例を図７で説明す
る。図７において、ＲＧＢ受光素子配列１９０に対し、
７０１に示すような白黒画像濃度となった場合を考え
る。黒丸、黒四角、黒三角はそれぞれＲ，Ｇ，Ｂ受光素
子より出力されたＲ，Ｇ，Ｂ値を示し、白丸、白四角、
白三角はそれぞれ補間演算により求められたＲ，Ｇ，Ｂ
値である。濃度が急激に変化する白黒エッジの付近で
は、補間されたＲ，Ｇ，Ｂ値は同じ値にはならず、Ｒ＞
Ｇ＞Ｂの大小関係となって色がついた形になる。つま
り、偽色が発生する。白黒エッジの位置が異なれば、
Ｒ，Ｇ，Ｂの大小関係は変化するが、いずれにしてエッ
ジ付近で補間によるＲ，Ｇ，Ｂ値に差が生じるため偽色
が発生する。
て説明する。撮像面上で光学像に急激な変化がある場
合、前述の補間処理をしても、実際には存在しない色
（偽色）が生じることがある。その例を図７で説明す
る。図７において、ＲＧＢ受光素子配列１９０に対し、
７０１に示すような白黒画像濃度となった場合を考え
る。黒丸、黒四角、黒三角はそれぞれＲ，Ｇ，Ｂ受光素
子より出力されたＲ，Ｇ，Ｂ値を示し、白丸、白四角、
白三角はそれぞれ補間演算により求められたＲ，Ｇ，Ｂ
値である。濃度が急激に変化する白黒エッジの付近で
は、補間されたＲ，Ｇ，Ｂ値は同じ値にはならず、Ｒ＞
Ｇ＞Ｂの大小関係となって色がついた形になる。つま
り、偽色が発生する。白黒エッジの位置が異なれば、
Ｒ，Ｇ，Ｂの大小関係は変化するが、いずれにしてエッ
ジ付近で補間によるＲ，Ｇ，Ｂ値に差が生じるため偽色
が発生する。
【００２４】このような偽の色信号の発生を抑えるため
には、白黒エッジ付近でのＲ，Ｇ，Ｂ値の変化をなだら
かにし、Ｒ，Ｇ，Ｂ値に差を生じにくくなるようにすれ
ば効果があることが、図７に示す例から理解されよう。
本実施例では、それと同様の効果を達成するため、ロー
パスフィルタ処理部１４０において、色度マトリックス
処理後の色度データに対し、ローパスフィルタ特性を持
つデジタルフィルタをかけて色度信号の変化をなだらか
にする。本実施例では例えば、注目画素位置と、その左
３画素、右３画素の計７画素分の色度値の平均をとっ
て、注目画素位置の色度とするようなフィルタを使う。
すなわち、注目したある画素位置ｉのフィルタ処理後の
色度値Ｃｒi, Ｃｂi は次式で表される。
には、白黒エッジ付近でのＲ，Ｇ，Ｂ値の変化をなだら
かにし、Ｒ，Ｇ，Ｂ値に差を生じにくくなるようにすれ
ば効果があることが、図７に示す例から理解されよう。
本実施例では、それと同様の効果を達成するため、ロー
パスフィルタ処理部１４０において、色度マトリックス
処理後の色度データに対し、ローパスフィルタ特性を持
つデジタルフィルタをかけて色度信号の変化をなだらか
にする。本実施例では例えば、注目画素位置と、その左
３画素、右３画素の計７画素分の色度値の平均をとっ
て、注目画素位置の色度とするようなフィルタを使う。
すなわち、注目したある画素位置ｉのフィルタ処理後の
色度値Ｃｒi, Ｃｂi は次式で表される。
【００２５】
【数６】
【００２６】このようなローパスフィルタ処理により、
色度信号の解像度は若干低下する。しかし、人間の視覚
特性上、輝度信号の解像度が高ければ、そのような色度
信号の解像度低下による画像品質の劣化はほとんど感じ
られない。
色度信号の解像度は若干低下する。しかし、人間の視覚
特性上、輝度信号の解像度が高ければ、そのような色度
信号の解像度低下による画像品質の劣化はほとんど感じ
られない。
【００２７】輝度推定処理部１５０は、各受光素子位置
でのＲ，Ｇ，Ｂ値（Ｒ０，Ｇ０，Ｂ０）と、各受光素子
位置近傍での平均的な色度値Ｃｒ，Ｃｂから、各受光素
子位置での輝度値を推定して輝度信号を得る。輝度値は
各受光素子ごとに独立に求められるので、全受光素子か
ら得られる画像信号と同等の帯域を持つ輝度信号を得ら
れる。
でのＲ，Ｇ，Ｂ値（Ｒ０，Ｇ０，Ｂ０）と、各受光素子
位置近傍での平均的な色度値Ｃｒ，Ｃｂから、各受光素
子位置での輝度値を推定して輝度信号を得る。輝度値は
各受光素子ごとに独立に求められるので、全受光素子か
ら得られる画像信号と同等の帯域を持つ輝度信号を得ら
れる。
【００２８】具体的に説明する。Ｒ０とＣｒ，Ｃｂを既
知変数、Ｙ，Ｇ，Ｂを未知変数として、ＲＧＢとＹＣｒ
Ｃｂの２つの色空間の関係を示す（４）式を解けば、Ｒ
受光素子位置の輝度値Ｙは（７）式により計算できるこ
とが解る。同様に、Ｇ受光素子位置の輝度値は（８）式
により、またＢ受光素子位置の輝度値は（９）式によ
り、それぞれ計算できる。ただし、（７）式乃至（９）
式のｎijは（４）式の行列Ｎのｉ行ｊ列要素である。
知変数、Ｙ，Ｇ，Ｂを未知変数として、ＲＧＢとＹＣｒ
Ｃｂの２つの色空間の関係を示す（４）式を解けば、Ｒ
受光素子位置の輝度値Ｙは（７）式により計算できるこ
とが解る。同様に、Ｇ受光素子位置の輝度値は（８）式
により、またＢ受光素子位置の輝度値は（９）式によ
り、それぞれ計算できる。ただし、（７）式乃至（９）
式のｎijは（４）式の行列Ｎのｉ行ｊ列要素である。
【００２９】
【数７】
【００３０】
【数８】
【００３１】
【数９】
【００３２】（７）式はＣｒ，Ｃｂ，Ｒ０の加重和であ
り、係数セット（ａr，ｂr，ｃr）を予め計算し記録し
ておけば１回の積和演算で実現できる。（８）式及び
（９）式も同様で、その係数セット（ａg，ｂg，ｃ
g），（ａb，ｂb，ｃb）を予め計算しておけば１回の積
和演算で実現できる。輝度推定処理部１５０は、そのよ
うな３組の係数セットを持ち、各受光素子位置のＲ，
Ｇ，Ｂの種類に応じて使用する係数セットを切り替えて
積和演算を行うことにより、各受光素子位置の輝度値を
推定する。そして、推定した輝度値Ｙの信号と、ローパ
スフィルタ処理部１４０で得られた色度値Ｃｒ，Ｃｂの
信号からなるカラー画像信号１６０を生成する。かくし
て、解像度の高い輝度信号と、色ずれ・偽色の少ない色
度信号からなるカラー画像信号が得られる。
り、係数セット（ａr，ｂr，ｃr）を予め計算し記録し
ておけば１回の積和演算で実現できる。（８）式及び
（９）式も同様で、その係数セット（ａg，ｂg，ｃ
g），（ａb，ｂb，ｃb）を予め計算しておけば１回の積
和演算で実現できる。輝度推定処理部１５０は、そのよ
うな３組の係数セットを持ち、各受光素子位置のＲ，
Ｇ，Ｂの種類に応じて使用する係数セットを切り替えて
積和演算を行うことにより、各受光素子位置の輝度値を
推定する。そして、推定した輝度値Ｙの信号と、ローパ
スフィルタ処理部１４０で得られた色度値Ｃｒ，Ｃｂの
信号からなるカラー画像信号１６０を生成する。かくし
て、解像度の高い輝度信号と、色ずれ・偽色の少ない色
度信号からなるカラー画像信号が得られる。
【００３３】＜実施例２＞図２は、本実施例による撮像
信号処理装置２００の構成を、その処理の流れに沿って
表した概略ブロック図である。この撮像信号処理装置２
００は、前記実施例１の撮像信号処理装置１００の出力
カラー画像信号１６０と等価なＲＧＢ信号を生成し、そ
れをカラー画像信号１８０として出力するもので、前記
実施例１の撮像信号処理装置１００の輝度推定処理部１
５０をＲＧＢ推定処理部１７０に置き換えた構成であ
る。
信号処理装置２００の構成を、その処理の流れに沿って
表した概略ブロック図である。この撮像信号処理装置２
００は、前記実施例１の撮像信号処理装置１００の出力
カラー画像信号１６０と等価なＲＧＢ信号を生成し、そ
れをカラー画像信号１８０として出力するもので、前記
実施例１の撮像信号処理装置１００の輝度推定処理部１
５０をＲＧＢ推定処理部１７０に置き換えた構成であ
る。
【００３４】（４）式のＣｒ，Ｃｂ，Ｒ０を既知変数と
すると、Ｒ受光素子位置のＧ，Ｂ値の推定式として（１
０）式が得られる（Ｒ＝Ｒ０）。同様に、Ｃｒ，Ｃｂ，
Ｇ０を既知変数とすると、Ｇ受光素子位置のＲ，Ｂ値の
推定式として（１１）式が得られ（Ｇ＝Ｇ０）、Ｃｒ，
Ｃｂ，Ｂ０を既知変数とするとＢ受光素子位置のＲ，Ｇ
値の推定式として（１２）式が得られる（Ｂ＝Ｂ０）。
ただし、（１０）式乃至（１２）式のｎijは（４）式の
行列Ｎのｉ行ｊ列要素である。
すると、Ｒ受光素子位置のＧ，Ｂ値の推定式として（１
０）式が得られる（Ｒ＝Ｒ０）。同様に、Ｃｒ，Ｃｂ，
Ｇ０を既知変数とすると、Ｇ受光素子位置のＲ，Ｂ値の
推定式として（１１）式が得られ（Ｇ＝Ｇ０）、Ｃｒ，
Ｃｂ，Ｂ０を既知変数とするとＢ受光素子位置のＲ，Ｇ
値の推定式として（１２）式が得られる（Ｂ＝Ｂ０）。
ただし、（１０）式乃至（１２）式のｎijは（４）式の
行列Ｎのｉ行ｊ列要素である。
【００３５】
【数１０】
【００３６】
【数１１】
【００３７】
【数１２】
【００３８】ＲＧＢ推定処理部１７０は、Ｒ受光素子位
置では、Ｒ０値と（１０）式で推定したＧ，Ｂ値とを組
合せたＲＧＢ信号をカラー画像信号１８０として出力
し、Ｇ受光素子位置では、Ｇ０値と（１１）式で推定し
たＲ，Ｂ値とを組み合わせたＲＧＢ信号をカラー画像信
号１８０として出力する。同様に、Ｂ受光素子位置で
は、Ｂ０値と（１２）式で推定したＲ，Ｇ値とを組み合
わせたＲＧＢ信号を出力する。かくして、前記実施例１
の撮像信号処理装置１００より出力されるＹＣｒＣｂ信
号と等価なＲＧＢ信号を得ることができる。
置では、Ｒ０値と（１０）式で推定したＧ，Ｂ値とを組
合せたＲＧＢ信号をカラー画像信号１８０として出力
し、Ｇ受光素子位置では、Ｇ０値と（１１）式で推定し
たＲ，Ｂ値とを組み合わせたＲＧＢ信号をカラー画像信
号１８０として出力する。同様に、Ｂ受光素子位置で
は、Ｂ０値と（１２）式で推定したＲ，Ｇ値とを組み合
わせたＲＧＢ信号を出力する。かくして、前記実施例１
の撮像信号処理装置１００より出力されるＹＣｒＣｂ信
号と等価なＲＧＢ信号を得ることができる。
【００３９】＜実施例３＞図３は、本実施例による撮像
信号処理装置３００の概略ブロック図である。この撮像
信号処理装置３００は、カラー撮像装置から入力される
ＲＧＢ信号（Ｒ０，Ｇ０，Ｂ０）から積和演算によって
直接的に、前記実施例２の撮像信号処理装置２００の出
力カラー画像信号１８０と同じＲＧＢ信号を生成し、カ
ラー画像信号３４０として出力する構成である。
信号処理装置３００の概略ブロック図である。この撮像
信号処理装置３００は、カラー撮像装置から入力される
ＲＧＢ信号（Ｒ０，Ｇ０，Ｂ０）から積和演算によって
直接的に、前記実施例２の撮像信号処理装置２００の出
力カラー画像信号１８０と同じＲＧＢ信号を生成し、カ
ラー画像信号３４０として出力する構成である。
【００４０】前記実施例２においては、補間処理（Ｒ
０，Ｂ０，Ｇ０→Ｒ１，Ｇ１，Ｂ１）、色度マトリクス
処理（Ｒ１，Ｇ１，Ｂ１→Ｃｒ０，Ｃｂ０）、ローパス
フィルタ処理（Ｃｒ０，Ｃｂ０→Ｃｒ，Ｃｂ）、ＲＧＢ
推定処理（Ｃｒ，Ｃｂ→Ｒ，Ｇ，Ｂ）の各段階が直列的
に接続されていた。そして、各処理の段階は、（１）
式、（５）式、（６）式、（１０）式乃至（１２）式に
示したように、すべて入力データに対する積和演算であ
る。また、図８に示すように、ある受光素子位置Ｎの
Ｒ，Ｇ，Ｂ値を決定するために、その左右５画素を含む
計１１画素の範囲のＲ０，Ｇ０，Ｂ０値を実質的に参照
していた（ただし、図８はＲ受光素子位置に関する参照
範囲を例示しているが、Ｇ，Ｂ受光素子位置についても
同様である）。したがって、注目した各受光素子位置で
のＲ，Ｂ，Ｇ値は、その位置と周辺の１１画素分のＲ
０，Ｂ０，Ｇ０データに対する積和演算によって直接的
に求める事が可能である。しかして、（１）式、（５）
式、（６）式、（１０）式乃至（１２）式をまとめる
と、各受光素子位置のＲ，Ｇ，Ｂ値をＲ０，Ｇ０，Ｂ０
から直接的に求めるための（１３）式、（１４）式、
（１５）式が導かれる。
０，Ｂ０，Ｇ０→Ｒ１，Ｇ１，Ｂ１）、色度マトリクス
処理（Ｒ１，Ｇ１，Ｂ１→Ｃｒ０，Ｃｂ０）、ローパス
フィルタ処理（Ｃｒ０，Ｃｂ０→Ｃｒ，Ｃｂ）、ＲＧＢ
推定処理（Ｃｒ，Ｃｂ→Ｒ，Ｇ，Ｂ）の各段階が直列的
に接続されていた。そして、各処理の段階は、（１）
式、（５）式、（６）式、（１０）式乃至（１２）式に
示したように、すべて入力データに対する積和演算であ
る。また、図８に示すように、ある受光素子位置Ｎの
Ｒ，Ｇ，Ｂ値を決定するために、その左右５画素を含む
計１１画素の範囲のＲ０，Ｇ０，Ｂ０値を実質的に参照
していた（ただし、図８はＲ受光素子位置に関する参照
範囲を例示しているが、Ｇ，Ｂ受光素子位置についても
同様である）。したがって、注目した各受光素子位置で
のＲ，Ｂ，Ｇ値は、その位置と周辺の１１画素分のＲ
０，Ｂ０，Ｇ０データに対する積和演算によって直接的
に求める事が可能である。しかして、（１）式、（５）
式、（６）式、（１０）式乃至（１２）式をまとめる
と、各受光素子位置のＲ，Ｇ，Ｂ値をＲ０，Ｇ０，Ｂ０
から直接的に求めるための（１３）式、（１４）式、
（１５）式が導かれる。
【００４１】
【数１３】
【００４２】
【数１４】
【００４３】
【数１５】
【００４４】（１３）式はＲ受光素子位置ｉのＲ，Ｇ，
Ｂ値を求める式であり、その位置のＲ０i,と、その周辺
位置のＲ０i-3，Ｒ０i+3，Ｇ０i-5，Ｇ０i-2，Ｇ０i+
1，Ｇ０i+4，Ｂ０i-4，Ｂ０i-1，Ｂ０i+2，Ｂ０i+5 の
積和の形になっている。（１４）式はＧ受光素子位置ｉ
のＲ，Ｇ，Ｂ値を求める式であり、また（１５）式はＢ
受光素子位置ｉのＲ，Ｇ，Ｂ値を求める式であって、い
ずれも（１３）式と同様に、その位置及び周辺のＲ０，
Ｇ０，Ｂ０値の積和の形になっている。なお、各式中の
ｎijは（４）式の行列Ｎのｉ行ｊ列要素を示す。
Ｂ値を求める式であり、その位置のＲ０i,と、その周辺
位置のＲ０i-3，Ｒ０i+3，Ｇ０i-5，Ｇ０i-2，Ｇ０i+
1，Ｇ０i+4，Ｂ０i-4，Ｂ０i-1，Ｂ０i+2，Ｂ０i+5 の
積和の形になっている。（１４）式はＧ受光素子位置ｉ
のＲ，Ｇ，Ｂ値を求める式であり、また（１５）式はＢ
受光素子位置ｉのＲ，Ｇ，Ｂ値を求める式であって、い
ずれも（１３）式と同様に、その位置及び周辺のＲ０，
Ｇ０，Ｂ０値の積和の形になっている。なお、各式中の
ｎijは（４）式の行列Ｎのｉ行ｊ列要素を示す。
【００４５】図３を参照する。係数記録部３１０は、
（１３）式の係数セット（Ｒ受光素子位置用）、（１
４）式の係数セット（Ｇ受光素子位置用）、（１５）式
の係数セット（Ｂ受光素子位置用）の計３組の係数セッ
トを保持している。位置カウンタ３３０は、注目した画
素位置（受光素子位置）をカウントし、注目画素値が
Ｒ，Ｇ，Ｂいずれのチャネルの受光素子位置に対応する
かを判断し、注目画素位置の積和演算に用いる係数セッ
トを選択し、それを積和演算部３２０に指示する。
（１３）式の係数セット（Ｒ受光素子位置用）、（１
４）式の係数セット（Ｇ受光素子位置用）、（１５）式
の係数セット（Ｂ受光素子位置用）の計３組の係数セッ
トを保持している。位置カウンタ３３０は、注目した画
素位置（受光素子位置）をカウントし、注目画素値が
Ｒ，Ｇ，Ｂいずれのチャネルの受光素子位置に対応する
かを判断し、注目画素位置の積和演算に用いる係数セッ
トを選択し、それを積和演算部３２０に指示する。
【００４６】積和演算部３２０は、注目画素位置がＲ受
光素子位置に対応している場合には、（１３）式の係数
セットを係数記録部３１０より取り込み、（１３）式に
従って必要な参照画素位置のＲ０，Ｂ０，Ｇ０値の積和
演算を実行し、結果をカラー画像信号３４０として出力
する。同様に、Ｇ又はＢの受光素子位置に対応する画素
を処理する場合には、（１４）又は（１５）式の係数セ
ットを係数記録部３１０より取り込み、同式に従って必
要な参照画素位置のＲ０，Ｇ０，Ｇ０値の積和演算を実
行し、その結果を出力する。
光素子位置に対応している場合には、（１３）式の係数
セットを係数記録部３１０より取り込み、（１３）式に
従って必要な参照画素位置のＲ０，Ｂ０，Ｇ０値の積和
演算を実行し、結果をカラー画像信号３４０として出力
する。同様に、Ｇ又はＢの受光素子位置に対応する画素
を処理する場合には、（１４）又は（１５）式の係数セ
ットを係数記録部３１０より取り込み、同式に従って必
要な参照画素位置のＲ０，Ｇ０，Ｇ０値の積和演算を実
行し、その結果を出力する。
【００４７】以上、実施例に関連して説明したような本
発明は一般的なコンピュータシステムを利用しソフトウ
エアによって実施することもでき、そのようなコンピュ
ータシステムの一例を図９に示す。図９において、４１
０はＣＰＵ、４１２はメモリ、４１４はディスプレイ、
４１６はハードディスク装置、４１８はプリンタ、４２
０は通信装置、４２２はフロッピーディスク装置、４２
４はフロッピーディスク、４２６はバスである。このよ
うなコンピュータシステムの一般的な動作は周知である
ので詳細な説明は省略するが、本発明の実施手順の概略
は次の通りである。
発明は一般的なコンピュータシステムを利用しソフトウ
エアによって実施することもでき、そのようなコンピュ
ータシステムの一例を図９に示す。図９において、４１
０はＣＰＵ、４１２はメモリ、４１４はディスプレイ、
４１６はハードディスク装置、４１８はプリンタ、４２
０は通信装置、４２２はフロッピーディスク装置、４２
４はフロッピーディスク、４２６はバスである。このよ
うなコンピュータシステムの一般的な動作は周知である
ので詳細な説明は省略するが、本発明の実施手順の概略
は次の通りである。
【００４８】本発明の撮像信号処理又は前記各実施例の
機能部を実現するためのプログラムと、処理したい撮像
信号データをフロッピーディスク装置４２２や通信装置
４２０などの入力装置を経由してシステムに取り込む。
そして、そのプログラムを実行させ、得られたカラー画
像信号データをメモリ４１２に得る。この処理結果のカ
ラー画像信号データは、例えば、ディスプレイ４１４や
プリンタ４１８などの画像出力装置によって出力され、
又はフロッピーディスク装置４２２や通信装置４２０な
どのデータ出力装置によって外部に出力され、あるいは
ハードディスク装置４１６などの外部記憶装置に保存さ
れる。
機能部を実現するためのプログラムと、処理したい撮像
信号データをフロッピーディスク装置４２２や通信装置
４２０などの入力装置を経由してシステムに取り込む。
そして、そのプログラムを実行させ、得られたカラー画
像信号データをメモリ４１２に得る。この処理結果のカ
ラー画像信号データは、例えば、ディスプレイ４１４や
プリンタ４１８などの画像出力装置によって出力され、
又はフロッピーディスク装置４２２や通信装置４２０な
どのデータ出力装置によって外部に出力され、あるいは
ハードディスク装置４１６などの外部記憶装置に保存さ
れる。
【００４９】本発明を実施するためのプログラムの例と
して、前記実施例３に対応するプログラムの概略フロー
チャートを図１０に示す。
して、前記実施例３に対応するプログラムの概略フロー
チャートを図１０に示す。
【００５０】最初のステップ５００において、１ライン
分の撮像信号データ（Ｒ０，Ｇ０，Ｂ０）と積和演算の
ための係数セットを読み込みメモリに格納する。ステッ
プ５０１において注目画素位置のカウンタｉを０に初期
化し、ステップ５０２からステップ５０５の処理ループ
を開始する。この処理ループの最初のステップ５０２
で、注目画素位置の積和演算のために（１３）式、（１
４）式又は（１５）式のいずれかの係数セットを選択す
る。ここでは、図４に示す受光素子配列１９０のように
Ｒ，Ｇ，Ｂ受光素子がその順に一列に配置されている撮
像装置を想定しているので、カウンタｉの値を３で除し
た余りを求め、余りが０ならばＲ受光素子位置用係数セ
ット、つまり（１３）式の係数セットを選択し、余りが
１ならばＧ受光素子位置用の（１４）式の係数セットを
選択し、余りが２ならばＢ受光素子位置用の（１５）の
係数セットを選択する。ステップ５０３において、ステ
ップ５０２で選択した係数セットと参照画素位置の撮像
信号データ（Ｒ０，Ｇ０，Ｂ０）を用いて、（１３）
式、（１４）式又は（１５）式の積和演算を実行し、得
られたＲＧＢ値を画素位置順に保存する。ステップ５０
４でカウンタｉを１だけインクリメントし、ステップ５
０２に戻る。処理が最終画素位置まで終わり、カウンタ
ｉが最終値ＥＮＤまで増加すると、ステップ５０５で処
理ループを抜け、ステップ５０６で保存されていた１ラ
イン分のＲＧＢデータを順に出力する。
分の撮像信号データ（Ｒ０，Ｇ０，Ｂ０）と積和演算の
ための係数セットを読み込みメモリに格納する。ステッ
プ５０１において注目画素位置のカウンタｉを０に初期
化し、ステップ５０２からステップ５０５の処理ループ
を開始する。この処理ループの最初のステップ５０２
で、注目画素位置の積和演算のために（１３）式、（１
４）式又は（１５）式のいずれかの係数セットを選択す
る。ここでは、図４に示す受光素子配列１９０のように
Ｒ，Ｇ，Ｂ受光素子がその順に一列に配置されている撮
像装置を想定しているので、カウンタｉの値を３で除し
た余りを求め、余りが０ならばＲ受光素子位置用係数セ
ット、つまり（１３）式の係数セットを選択し、余りが
１ならばＧ受光素子位置用の（１４）式の係数セットを
選択し、余りが２ならばＢ受光素子位置用の（１５）の
係数セットを選択する。ステップ５０３において、ステ
ップ５０２で選択した係数セットと参照画素位置の撮像
信号データ（Ｒ０，Ｇ０，Ｂ０）を用いて、（１３）
式、（１４）式又は（１５）式の積和演算を実行し、得
られたＲＧＢ値を画素位置順に保存する。ステップ５０
４でカウンタｉを１だけインクリメントし、ステップ５
０２に戻る。処理が最終画素位置まで終わり、カウンタ
ｉが最終値ＥＮＤまで増加すると、ステップ５０５で処
理ループを抜け、ステップ５０６で保存されていた１ラ
イン分のＲＧＢデータを順に出力する。
【００５１】ここまで、１次元の撮像信号データを処理
するものとして説明した。しかし、本発明は、２次元的
に配列した受光素子による撮像信号データに対しても適
用でき、２次元的な補間処理、２次元的なフィルタ処理
をすることにより、同様に高解像度の輝度成分と低解像
度の色度成分を含むカラー画像信号を得ることができ
る。
するものとして説明した。しかし、本発明は、２次元的
に配列した受光素子による撮像信号データに対しても適
用でき、２次元的な補間処理、２次元的なフィルタ処理
をすることにより、同様に高解像度の輝度成分と低解像
度の色度成分を含むカラー画像信号を得ることができ
る。
【００５２】
【発明の効果】受光素子配列で得られる情報量は受光素
子の数によって決まってくる。一方、人間の視覚特性
は、輝度信号についての解像度が高い。請求項１乃至５
の発明によれば、受光素子配列で得られる画像信号の限
られた情報をＲＧＢなどのチャネルごとに等分するので
はなく、輝度成分に多くの情報を割り振ることにより、
見かけの解像度の高いカラー画像信号を得ることができ
る。請求項２乃至５の発明によれば、撮像対象をモノク
ロ画像に限定したり、対象の色をユーザが指定すること
なく、任意の画像の撮像信号から見かけの解像度が高
く、色ずれの少ないカラー画像信号を得ることができ
る。請求項４の発明によれば白黒エッジの付近での偽色
の発生を抑えることができる。請求項５の発明によれ
ば、撮像信号処理装置の構成を極めて単純にできる。請
求項６の発明によれば、一般的なコンピュータを利用し
て容易に本発明による撮像信号処理を実施することがで
きる等の効果を得られる。
子の数によって決まってくる。一方、人間の視覚特性
は、輝度信号についての解像度が高い。請求項１乃至５
の発明によれば、受光素子配列で得られる画像信号の限
られた情報をＲＧＢなどのチャネルごとに等分するので
はなく、輝度成分に多くの情報を割り振ることにより、
見かけの解像度の高いカラー画像信号を得ることができ
る。請求項２乃至５の発明によれば、撮像対象をモノク
ロ画像に限定したり、対象の色をユーザが指定すること
なく、任意の画像の撮像信号から見かけの解像度が高
く、色ずれの少ないカラー画像信号を得ることができ
る。請求項４の発明によれば白黒エッジの付近での偽色
の発生を抑えることができる。請求項５の発明によれ
ば、撮像信号処理装置の構成を極めて単純にできる。請
求項６の発明によれば、一般的なコンピュータを利用し
て容易に本発明による撮像信号処理を実施することがで
きる等の効果を得られる。
【図１】本発明の第１の実施例による撮像信号処理装置
の概略ブロック図である。
の概略ブロック図である。
【図２】本発明の第２の実施例による撮像信号処理装置
の概略ブロック図である。
の概略ブロック図である。
【図３】本発明の第３の実施例による撮像信号処理装置
の概略ブロック図である。
の概略ブロック図である。
【図４】Ｒ，Ｇ，Ｂ受光素子の一次元的配列を示す図で
ある。
ある。
【図５】Ｒ値に関する補間処理の説明図である。
【図６】Ｒ，Ｇ，Ｂ各受光素子を独立した受光素子とし
て利用する方法の説明図である。
て利用する方法の説明図である。
【図７】白黒エッジによる偽色の発生の説明図である。
【図８】Ｒ受光素子位置のＧ，Ｂ値を決定するための参
照範囲を示す図である。
照範囲を示す図である。
【図９】本発明をソフトウエアにより実施するためのコ
ンピュータシステムの例を示すブロック図である。
ンピュータシステムの例を示すブロック図である。
【図１０】本発明を実施するためのプログラムの一例を
示す概略フローチャートである。
示す概略フローチャートである。
１００ 撮像信号処理装置 １２０ 補間処理部 １３０ 色度マトリクス処理部 １４０ ローパスフィルタ処理部 １５０ 輝度推定処理部 １７０ ＲＧＢ推定処理部 ２００ 撮像信号処理装置 ３００ 撮像信号処理装置 ３１０ 係数記録部 ３２０ 積和演算部 ３３０ 位置カウンタ
Claims (6)
- 【請求項１】 同一面上に分光感度の異なる複数種類の
受光素子が交互に配置されたカラー画像撮像装置による
撮像信号を処理することにより、全受光素子から得られ
る画像信号と同等の帯域を持つ輝度成分と、該輝度成分
より帯域の狭い色度成分とを含むカラー画像信号を生成
することを特徴とする撮像信号処理方法。 - 【請求項２】 同一面上に分光感度の異なる複数種類の
受光素子が交互に配置されたカラー画像撮像装置による
撮像信号から各受光素子位置の近傍領域での平均的な色
度値を推定する手段と、該手段で推定された色度値及び
該撮像信号から、全受光素子から得られる画像信号と同
等の帯域を持つ輝度成分と該輝度成分より帯域の狭い色
度成分とを含むカラー画像信号を生成する手段とを有す
ることを特徴とする撮像信号処理装置。 - 【請求項３】 請求項２記載の撮像信号処理装置におい
て、カラー画像信号を生成する手段は、推定された色度
値及び撮像信号から各受光素子位置での輝度値を推定
し、推定された輝度値及び色度値の信号からなるカラー
画像信号を生成することを特徴とする撮像信号処理装
置。 - 【請求項４】 請求項２又は３記載の撮像信号処理装置
において、各受光素子位置の近傍での平均的な色度値を
推定する手段は、各受光素子位置での色度値を推定し、
推定した色度値にローパスフィルタ処理を施すことによ
り各受光素子位置の近傍での平均的な色度値を得ること
を特徴とする撮像信号処理装置。 - 【請求項５】 同一面上に分光感度の異なる複数種類の
受光素子が交互に配置されたカラー画像撮像装置による
撮像信号から、全受光素子から得られる画像信号と同等
の帯域を持つ輝度成分と該輝度成分より帯域の狭い色度
成分とを含むカラー画像信号を生成する撮像信号処理装
置であって、受光素子の種類に応じた複数の係数セット
を記録する係数記録手段と、該係数記録手段に記録され
ている複数の係数セットの中から、注目した受光素子位
置に応じて一つの係数セットを選択する係数選択手段
と、該係数選択手段により選択された係数セットと該撮
像信号との特定の積和演算を行うことによってカラー画
像信号を得る積和演算手段とを有することを特徴とする
撮像信号処理装置。 - 【請求項６】 コンピュータを請求項５記載の係数記録
手段、係数選択手段、及び積和演算手段として機能させ
るためのプログラムを記録した機械読み取り可能な記録
媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00109497A JP3806211B2 (ja) | 1997-01-08 | 1997-01-08 | 撮像信号処理方法及び撮像信号処理装置 |
| US09/004,151 US6628327B1 (en) | 1997-01-08 | 1998-01-07 | Method and a system for improving resolution in color image data generated by a color image sensor |
| US10/630,824 US7595826B2 (en) | 1997-01-08 | 2003-07-30 | Method a system for improving resolution in color image data generated by a color image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00109497A JP3806211B2 (ja) | 1997-01-08 | 1997-01-08 | 撮像信号処理方法及び撮像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10200906A true JPH10200906A (ja) | 1998-07-31 |
| JP3806211B2 JP3806211B2 (ja) | 2006-08-09 |
Family
ID=11491916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00109497A Expired - Fee Related JP3806211B2 (ja) | 1997-01-08 | 1997-01-08 | 撮像信号処理方法及び撮像信号処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6628327B1 (ja) |
| JP (1) | JP3806211B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6724932B1 (en) | 1999-07-27 | 2004-04-20 | Fuji Photo Film Co., Ltd. | Image processing method, image processor, and storage medium |
| WO2004112401A1 (ja) * | 2003-06-12 | 2004-12-23 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置 |
| US6958772B1 (en) | 1999-01-20 | 2005-10-25 | Canon Kabushiki Kaisha | Image sensing apparatus and image processing method therefor |
| JP2006129264A (ja) * | 2004-10-29 | 2006-05-18 | Fuji Photo Film Co Ltd | 色信号補正方法、装置及びプログラム |
| JP2007104565A (ja) * | 2005-10-07 | 2007-04-19 | Seiko Epson Corp | 画像処理装置 |
| EP1367837A4 (en) * | 2001-01-25 | 2009-04-01 | Nikon Corp | IMAGE PROCESSING, PICTURE PROCESSING PROGRAM AND IMAGE PROCESSOR |
| US9426437B2 (en) | 2012-09-10 | 2016-08-23 | Ricoh Company, Ltd. | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing |
| JP2023039499A (ja) * | 2021-09-09 | 2023-03-22 | 株式会社ツバサファクトリー | 学習装置及び推論装置 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3806211B2 (ja) * | 1997-01-08 | 2006-08-09 | 株式会社リコー | 撮像信号処理方法及び撮像信号処理装置 |
| JP3771054B2 (ja) * | 1998-07-01 | 2006-04-26 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
| US6753929B1 (en) | 2000-06-28 | 2004-06-22 | Vls Com Ltd. | Method and system for real time motion picture segmentation and superposition |
| US7146042B2 (en) * | 2000-09-07 | 2006-12-05 | Nikon Corporation | Image processing apparatus and colorimetric system conversion method |
| WO2002063888A1 (en) * | 2001-02-06 | 2002-08-15 | Koninklijke Philips Electronics N.V. | Green reconstruction for image sensors |
| TW583600B (en) * | 2002-12-31 | 2004-04-11 | Ind Tech Res Inst | Method of seamless processing for merging 3D color images |
| JP2005331603A (ja) * | 2004-05-18 | 2005-12-02 | Sony Corp | 画像処理装置およびその方法 |
| US7903902B2 (en) | 2004-07-26 | 2011-03-08 | Sheraizin Semion M | Adaptive image improvement |
| US7639892B2 (en) * | 2004-07-26 | 2009-12-29 | Sheraizin Semion M | Adaptive image improvement |
| US7526142B2 (en) * | 2005-02-22 | 2009-04-28 | Sheraizin Vitaly S | Enhancement of decompressed video |
| US7734114B1 (en) | 2005-12-07 | 2010-06-08 | Marvell International Ltd. | Intelligent saturation of video data |
| JP4956988B2 (ja) | 2005-12-19 | 2012-06-20 | カシオ計算機株式会社 | 撮像装置 |
| JP4687451B2 (ja) * | 2005-12-27 | 2011-05-25 | カシオ計算機株式会社 | 撮像装置、及びスルー画像表示方法 |
| KR100800761B1 (ko) | 2006-10-19 | 2008-02-01 | 삼성전자주식회사 | 계산량을 최소화하는 색차 신호의 보간 방법 및 장치 |
| KR100899730B1 (ko) * | 2006-10-20 | 2009-05-27 | 삼성전자주식회사 | 영상 인코더 및 디코더에서의 색차 신호 보간 방법 |
| JP4863011B2 (ja) * | 2007-08-24 | 2012-01-25 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
| JP5310483B2 (ja) * | 2009-10-28 | 2013-10-09 | 株式会社リコー | 撮像装置 |
| JP5870510B2 (ja) | 2010-09-14 | 2016-03-01 | 株式会社リコー | ステレオカメラ装置、校正方法およびプログラム |
| US8479998B2 (en) * | 2011-01-31 | 2013-07-09 | Hand Held Products, Inc. | Terminal having optical imaging assembly |
| JP6344638B2 (ja) | 2013-03-06 | 2018-06-20 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
| US10074214B2 (en) * | 2015-12-31 | 2018-09-11 | Autodesk, Inc. | Systems and methods for generating 3D scenes with time element for display |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4721998A (en) * | 1986-04-11 | 1988-01-26 | New York Institute Of Technology | Method and apparatus for processing color video signals |
| US4992861A (en) * | 1988-10-18 | 1991-02-12 | Eastman Kodak Company | Color image reproduction apparatus having a digitally operated look-up table constructed by means of a least squares algorithm |
| JPH02153679A (ja) | 1988-12-06 | 1990-06-13 | Ricoh Co Ltd | カラー画像入力装置 |
| JPH02239791A (ja) | 1989-03-13 | 1990-09-21 | Canon Inc | 画像読取装置 |
| JP3246612B2 (ja) | 1992-01-14 | 2002-01-15 | キヤノン株式会社 | カラー撮像装置 |
| US5333055A (en) * | 1992-02-24 | 1994-07-26 | Sanyo Electric Co., Ltd. | Video camera circuit for processing image signals from an image pickup device having a mosaic color filter |
| CA2094523C (en) * | 1992-07-30 | 1999-05-25 | Ephraim Feig | Digital image processor for color image transmission |
| DE69326208T2 (de) * | 1992-10-09 | 1999-12-30 | Sony Corp., Tokio/Tokyo | Festkörper-Bildaufnahmegerät mit Datenratenwandlung des digitalen Ausgangssignals |
| JP3450361B2 (ja) | 1992-10-09 | 2003-09-22 | キヤノン株式会社 | 撮像装置 |
| US5548330A (en) * | 1992-12-24 | 1996-08-20 | Canon Kabushiki Kaisha | Image pickup device for generating a corrected luminance signal |
| WO1994017484A1 (fr) * | 1993-01-22 | 1994-08-04 | Olympus Optical Co., Ltd. | Unite de traitement d'image |
| WO1994018801A1 (en) * | 1993-02-08 | 1994-08-18 | I Sight, Inc. | Color wide dynamic range camera using a charge coupled device with mosaic filter |
| JPH0715734A (ja) | 1993-06-25 | 1995-01-17 | Sony Corp | 固体撮像素子の信号処理回路 |
| JPH0793563A (ja) * | 1993-09-21 | 1995-04-07 | Canon Inc | 画像処理装置 |
| JPH07123421A (ja) | 1993-10-27 | 1995-05-12 | Canon Inc | 撮像装置 |
| US5477345A (en) * | 1993-12-15 | 1995-12-19 | Xerox Corporation | Apparatus for subsampling chrominance |
| US5565931A (en) * | 1994-10-31 | 1996-10-15 | Vivo Software. Inc. | Method and apparatus for applying gamma predistortion to a color image signal |
| US6040858A (en) * | 1994-11-18 | 2000-03-21 | Canon Kabushiki Kaisha | Method and apparatus for expanding the dynamic range of sensed color images |
| JP4377970B2 (ja) | 1995-08-11 | 2009-12-02 | キヤノン株式会社 | 撮像装置 |
| US6195125B1 (en) * | 1995-08-11 | 2001-02-27 | Canon Kabushiki Kaisha | Pixel shifting image sensor with a different number of images sensed in each mode |
| US5596367A (en) * | 1996-02-23 | 1997-01-21 | Eastman Kodak Company | Averaging green values for green photosites in electronic cameras |
| US5901242A (en) * | 1996-07-03 | 1999-05-04 | Sri International | Method and apparatus for decoding spatiochromatically multiplexed color images using predetermined coefficients |
| JP3806211B2 (ja) * | 1997-01-08 | 2006-08-09 | 株式会社リコー | 撮像信号処理方法及び撮像信号処理装置 |
-
1997
- 1997-01-08 JP JP00109497A patent/JP3806211B2/ja not_active Expired - Fee Related
-
1998
- 1998-01-07 US US09/004,151 patent/US6628327B1/en not_active Expired - Fee Related
-
2003
- 2003-07-30 US US10/630,824 patent/US7595826B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6958772B1 (en) | 1999-01-20 | 2005-10-25 | Canon Kabushiki Kaisha | Image sensing apparatus and image processing method therefor |
| US7542076B2 (en) | 1999-01-20 | 2009-06-02 | Canon Kabushiki Kaisha | Image sensing apparatus having a color interpolation unit and image processing method therefor |
| US7929026B2 (en) | 1999-01-20 | 2011-04-19 | Canon Kabushiki Kaisha | Image sensing apparatus and image processing method thereof using color conversion and pseudo color removing |
| US6724932B1 (en) | 1999-07-27 | 2004-04-20 | Fuji Photo Film Co., Ltd. | Image processing method, image processor, and storage medium |
| EP1367837A4 (en) * | 2001-01-25 | 2009-04-01 | Nikon Corp | IMAGE PROCESSING, PICTURE PROCESSING PROGRAM AND IMAGE PROCESSOR |
| WO2004112401A1 (ja) * | 2003-06-12 | 2004-12-23 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置 |
| US7391903B2 (en) | 2003-06-12 | 2008-06-24 | Nikon Corporation | Image processing method, image processing program and image processing processor for interpolating color components |
| US7630546B2 (en) | 2003-06-12 | 2009-12-08 | Nikon Corporation | Image processing method, image processing program and image processor |
| JP2006129264A (ja) * | 2004-10-29 | 2006-05-18 | Fuji Photo Film Co Ltd | 色信号補正方法、装置及びプログラム |
| JP2007104565A (ja) * | 2005-10-07 | 2007-04-19 | Seiko Epson Corp | 画像処理装置 |
| US9426437B2 (en) | 2012-09-10 | 2016-08-23 | Ricoh Company, Ltd. | Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing |
| JP2023039499A (ja) * | 2021-09-09 | 2023-03-22 | 株式会社ツバサファクトリー | 学習装置及び推論装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3806211B2 (ja) | 2006-08-09 |
| US6628327B1 (en) | 2003-09-30 |
| US20040080640A1 (en) | 2004-04-29 |
| US7595826B2 (en) | 2009-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH10200906A (ja) | 撮像信号処理方法、撮像信号処理装置、及び機械読み取り可能な記録媒体 | |
| US6724932B1 (en) | Image processing method, image processor, and storage medium | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US9330480B2 (en) | Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal | |
| JP4385282B2 (ja) | 画像処理装置および画像処理方法 | |
| US6707937B1 (en) | Interpolation of edge portions of a digital image | |
| JPH0759098A (ja) | 輝度階調を用いたフルカラーイメージ適応的補間装置 | |
| KR20040066051A (ko) | 가중 그래디언트 기반 및 컬러 수정 보간 | |
| US20060227222A1 (en) | Green reconstruction for image sensors | |
| EP1209900B1 (en) | Method and apparatus for performing tone scale modifications | |
| JP3458080B2 (ja) | カラー撮像装置 | |
| JP3905708B2 (ja) | 画像補間装置 | |
| US8068145B1 (en) | Method, systems, and computer program product for demosaicing images | |
| JP4334150B2 (ja) | 画像補間装置 | |
| JPH1023448A (ja) | カラー画像処理装置 | |
| JP4334151B2 (ja) | 画像補間装置 | |
| JP4334152B2 (ja) | 画像補間装置 | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JP4323051B2 (ja) | カラー撮像素子及びそのカラー撮像素子を用いた撮像装置 | |
| JP4495355B2 (ja) | 画像補間装置 | |
| JP4666786B2 (ja) | 画像補間装置 | |
| JP2004153753A (ja) | 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 | |
| JP3353256B2 (ja) | 画像高精細化方法 | |
| JP2024060457A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060512 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |