JPH02142294A - 色信号処理装置 - Google Patents
色信号処理装置Info
- Publication number
- JPH02142294A JPH02142294A JP63296733A JP29673388A JPH02142294A JP H02142294 A JPH02142294 A JP H02142294A JP 63296733 A JP63296733 A JP 63296733A JP 29673388 A JP29673388 A JP 29673388A JP H02142294 A JPH02142294 A JP H02142294A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signals
- output
- filter
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
す」
[産業上の利用分野]
本発明は、補色フィルタを装着した単板式カラービデオ
カメラやカラースチルビデオカメラの色信号処理装置に
関する。
カメラやカラースチルビデオカメラの色信号処理装置に
関する。
[従来の技術]
従来、この種の装置においては、固体撮像素子に例えば
第2図(a)に示すような色フィルタを装着し、第3図
に示すような信号処理をすることで、最終的に輝度と2
つの色差信号R−Y、B−Yを得るのが普通である。
第2図(a)に示すような色フィルタを装着し、第3図
に示すような信号処理をすることで、最終的に輝度と2
つの色差信号R−Y、B−Yを得るのが普通である。
このような従来の方式の色信号処理においては、まず、
水平方向に隣り合っていて、かつ異なる色フィルタを装
着されている画素からの出力を減算した結果である色差
信号から演算処理が行われるのが普通である。例えば、
第2図(a)に示す色フィルタ配列をインタレース走査
すれば、各フィールドの奇数列目は、減算器304によ
りC1= (Mg−Gr)という減算結果が得られ、偶
数列目は、C2= (Ye−Cy)という減算結果が得
られる。これに対して、305の色信号処理部では、適
当な方法でホワイトバランス、γ変換などの色処理演算
が行われる。
水平方向に隣り合っていて、かつ異なる色フィルタを装
着されている画素からの出力を減算した結果である色差
信号から演算処理が行われるのが普通である。例えば、
第2図(a)に示す色フィルタ配列をインタレース走査
すれば、各フィールドの奇数列目は、減算器304によ
りC1= (Mg−Gr)という減算結果が得られ、偶
数列目は、C2= (Ye−Cy)という減算結果が得
られる。これに対して、305の色信号処理部では、適
当な方法でホワイトバランス、γ変換などの色処理演算
が行われる。
次に、これらの線順次化されている色差信号CI/ C
2に対し、同時化回路306でIH(水平走査時間)遅
延線などを用いて同時化して、更に、これらを色差マト
リクス回路307に通すことにより色差軸を適当に回転
し、最終的に2つの色差信号R−Y、B−Yを得ている
。
2に対し、同時化回路306でIH(水平走査時間)遅
延線などを用いて同時化して、更に、これらを色差マト
リクス回路307に通すことにより色差軸を適当に回転
し、最終的に2つの色差信号R−Y、B−Yを得ている
。
しかし、このような方式の色処理方法には、次のような
2つの根本的な問題がある。
2つの根本的な問題がある。
(A)ホワイトバランスがとりにくい。
三管式カメラやRGB原色(純色)タイプのカメラでは
、Gに対するRとBの比を色温度に応じて変化させるこ
とで、ホワイトバランスがとれるのに対し、この種の装
置では、色情報が色差の形で出てくるので、例えば、色
温度に応じて、輝度信号の何割かを色差信号に加減算す
ることによって白色に対する色差信号を強制的に零にし
、ホワイトバランスをとっている。この方法は、原理的
にも正しくなく、幅広い色温度範囲で、精度良くホワイ
トバランスをとることは極めてむずかしい。
、Gに対するRとBの比を色温度に応じて変化させるこ
とで、ホワイトバランスがとれるのに対し、この種の装
置では、色情報が色差の形で出てくるので、例えば、色
温度に応じて、輝度信号の何割かを色差信号に加減算す
ることによって白色に対する色差信号を強制的に零にし
、ホワイトバランスをとっている。この方法は、原理的
にも正しくなく、幅広い色温度範囲で、精度良くホワイ
トバランスをとることは極めてむずかしい。
(B)色差のままγ変換するので色の再現性が良くない
。
。
三管式カメラのRGB原色タイプのカメラでは、N T
S (、方式に従って色分離された出力R,G、
BにγをかけてRγ、G’、Bγを得たのち、2つの色
差R’−Y、B’−Yを得る。但しY(輝度信号)はY
=0.30Rテ十0.59G丁+0.118γである。
S (、方式に従って色分離された出力R,G、
BにγをかけてRγ、G’、Bγを得たのち、2つの色
差R’−Y、B’−Yを得る。但しY(輝度信号)はY
=0.30Rテ十0.59G丁+0.118γである。
ところが、補色タイプのカメラでは、色信号は、最初に
差をとられてから、γをかけられるので(Mg−Gr)
’のように差の形のままγをかけられてしまう。従って
、後でどう補正しても正規のNTSCと対応のついた色
信号が得られず、色の再現性はよ(ない。
差をとられてから、γをかけられるので(Mg−Gr)
’のように差の形のままγをかけられてしまう。従って
、後でどう補正しても正規のNTSCと対応のついた色
信号が得られず、色の再現性はよ(ない。
上記の問題点を解決するために例えば、第4図のように
2つの色差信号CI、C2とローパスフィルタを通した
輝度信号YL′を用いて、適当な演算によってRGBへ
変換し、この状態でホワイトバランス、γ変換を行い、
再び輝度、色差へ変換する方法が考えられる。
2つの色差信号CI、C2とローパスフィルタを通した
輝度信号YL′を用いて、適当な演算によってRGBへ
変換し、この状態でホワイトバランス、γ変換を行い、
再び輝度、色差へ変換する方法が考えられる。
これによれば、R,G,Bの状態でホワイトバランス、
γ変換を行えるので上述した第3図の例のような問題点
はある程度解決される。
γ変換を行えるので上述した第3図の例のような問題点
はある程度解決される。
しかし、このように、−度水平方向の出力の差の色差を
作ってから、これをもとに、色処理を行う方法では、フ
ィルタの分光感度にマツチした最適な色処理が行えず、
色再現性が良(ならないという問題があった。
作ってから、これをもとに、色処理を行う方法では、フ
ィルタの分光感度にマツチした最適な色処理が行えず、
色再現性が良(ならないという問題があった。
そこで、色再現性を良(するために、以下のような方法
が考えられる。NTSC方式ではその3原色R,G、
Bに対する理想分光特性が規定されており、これをr(
λ)9g(λ)、b(λ)とする。
が考えられる。NTSC方式ではその3原色R,G、
Bに対する理想分光特性が規定されており、これをr(
λ)9g(λ)、b(λ)とする。
一方、第2図(a)のようなセンサを使用した場合のM
g、Gr、Cy、Yeの各出力の分光特性を、各々Mg
(λ)、Gr(λ)、Cy(λ)、Ye(λ)とする
。
g、Gr、Cy、Yeの各出力の分光特性を、各々Mg
(λ)、Gr(λ)、Cy(λ)、Ye(λ)とする
。
この時ある関数Fがあって、
とできれば、センサ出力Mg、Gr、Cy、Yeにも同
様の関数Fを施せば、NTSCの理想R,G、B信号が
得られるはずである。
様の関数Fを施せば、NTSCの理想R,G、B信号が
得られるはずである。
現実には、(1)式をすべての波長λで成立させるのは
困難であるので、次のような方法がとられる。
困難であるので、次のような方法がとられる。
Fを、(3X4)のリニアマトリックスΔ= (a +
+ )で近似することを考える。Δによって変換された
結果の分光特性をr′(λ)、 g’ (λ)、 b
’ (λ)とする。
+ )で近似することを考える。Δによって変換された
結果の分光特性をr′(λ)、 g’ (λ)、 b
’ (λ)とする。
適当な重み付けを波長λ1やr* g+ bの間でつけ
ても良い。このようにして定まったΔを用いて、センサ
出力(M g 、 Cr 、 Cy 、 Y e
)を、ここで、誤差関数Eを例えば次のように定義する
。
ても良い。このようにして定まったΔを用いて、センサ
出力(M g 、 Cr 、 Cy 、 Y e
)を、ここで、誤差関数Eを例えば次のように定義する
。
+〔b(λ1)−b’(λi)〕2
Nは整数で、通常300nm<λ1.λ2・・・・・・
、λ。
、λ。
<800nmである。
このE(Δ)を最小にするようなΔを決めれば良い。
のように変換し、このR,G、 Bをもとにγ変換、ホ
ワイトバランスなど必要な色処理を行えば良い、そして
、最終的に (5)は、いわゆる正規方程式で12元連立1次方程式
になるので、これをとければ(a I+ )が定まり、
これを用いればFの良い近似となる。もちろん、誤差関
数Eの選択の仕方は、これだけではなく、というNTS
Cの規格にあった変換を行うことで所望の輝度、色差信
号を得ることができる。
ワイトバランスなど必要な色処理を行えば良い、そして
、最終的に (5)は、いわゆる正規方程式で12元連立1次方程式
になるので、これをとければ(a I+ )が定まり、
これを用いればFの良い近似となる。もちろん、誤差関
数Eの選択の仕方は、これだけではなく、というNTS
Cの規格にあった変換を行うことで所望の輝度、色差信
号を得ることができる。
但し、R’、 G’、 B’はホワイトバランスのと
られたR、 G、 Bをおおむねγ=0.45vでγ
変換した信号である。
られたR、 G、 Bをおおむねγ=0.45vでγ
変換した信号である。
一方、これに対し、第4図の従来例のように、水平方向
に隣り合った画素間の差から色差信号C3゜C2を作り
、これらをもとに色処理する場合を考えてみる。
に隣り合った画素間の差から色差信号C3゜C2を作り
、これらをもとに色処理する場合を考えてみる。
2つの色差信号C,,C2は、第2図の色配列の場合、
C,=Mg−Gr
C2=Cy−Ye ・・・・・・・ ・・・
・・・・・・・・・(8)である。
・・・・・・・・・(8)である。
一方、輝度信号の低域成分YL′ は、Mg、Gr。
Cy、Yeの適当な重みづけ平均で形成されるので、
YL’ =に、Mg+に2Gr+に3Cy+に4Ye
−・−−−−−−(9)と書ける。
−・−−−−−−(9)と書ける。
この場合、RGB変換部406では(3X 3)マトリ
クス旦によってcll C21yL/ からR,G、
Bへ変換されているとすると、 となる。式(8)、 (9)、 (10)をまとめ
ると、(11)と(6)を比べて、旦M−へとなるよう
にいつも旦を決めることができれば問題ないが、これは
、不可能である。何故ならば最初に水平方向の差をとる
という操作をしているので、この時点で色情報の次元が
4から3へ、すなわち(Mg、 Cy。
クス旦によってcll C21yL/ からR,G、
Bへ変換されているとすると、 となる。式(8)、 (9)、 (10)をまとめ
ると、(11)と(6)を比べて、旦M−へとなるよう
にいつも旦を決めることができれば問題ないが、これは
、不可能である。何故ならば最初に水平方向の差をとる
という操作をしているので、この時点で色情報の次元が
4から3へ、すなわち(Mg、 Cy。
Ye、 Gr)から(YL + C+ + C2) ヘ
’つ下がっているためである。式(6)は、リニアの範
囲で色再現について最適化されているので、式(11)
’ よりも必ず色再現が良い。
’つ下がっているためである。式(6)は、リニアの範
囲で色再現について最適化されているので、式(11)
’ よりも必ず色再現が良い。
〔発明が解決しようとしている問題点〕更に、このリニ
アマトリクスへの係数(a+1:lは次の条件を満たさ
なければならない。例えば、第5図の様な無彩色の被写
体を第2図(a)のフィルターで出力した場合に、各フ
ィルターに対応する出力信号Mg(λ)、 Gr (λ
)、 Cy (λ)、 Ye (λ)をマトリクス[a
u ](i−3,j=4)で変換すると、変換後のR
GB信号は、R(λ) =J2Mg(λ)+a、2Gr
(λ)+a13Cy(λ)+a14Ye(λ)G(λ)
=a21 Mg(λ)+a22Gr(λ)+a23C
y(λ)+a24Ye(λ)B(λ) =a31 Mg
(λ)+a3□Gr(λ)+aoCy(λ)+a34Y
e(λ)・・・・・・・・・・・・・・・・・・・・・
・・・・ (12)’となる。この時、フィルターのM
g、 Grの位置は被写体の暗部に、Cy、Yeの位置
は被写体の明部に一致しているので、どの様な補間フィ
ルターを用いても、が成り立つ。このα、βは、被写体
の色温度に依存するパラメータである。
アマトリクスへの係数(a+1:lは次の条件を満たさ
なければならない。例えば、第5図の様な無彩色の被写
体を第2図(a)のフィルターで出力した場合に、各フ
ィルターに対応する出力信号Mg(λ)、 Gr (λ
)、 Cy (λ)、 Ye (λ)をマトリクス[a
u ](i−3,j=4)で変換すると、変換後のR
GB信号は、R(λ) =J2Mg(λ)+a、2Gr
(λ)+a13Cy(λ)+a14Ye(λ)G(λ)
=a21 Mg(λ)+a22Gr(λ)+a23C
y(λ)+a24Ye(λ)B(λ) =a31 Mg
(λ)+a3□Gr(λ)+aoCy(λ)+a34Y
e(λ)・・・・・・・・・・・・・・・・・・・・・
・・・・ (12)’となる。この時、フィルターのM
g、 Grの位置は被写体の暗部に、Cy、Yeの位置
は被写体の明部に一致しているので、どの様な補間フィ
ルターを用いても、が成り立つ。このα、βは、被写体
の色温度に依存するパラメータである。
式(12)’ (13)より、
R(λ) ” (all +a12/(り V 、(λ
) + (a13 +a+4 /β)v2(λ)G(λ
) ” (a2+ +a22/α) v、 (λ) +
(a23 +a24/β)v2(λ)B(λ) =
(aat +a32/α) V r (λ) + (a
、+a*4/β)v2(λ)・・・・・・・・・・・・
・・・・・・・・・・・・・ (14)この被写体は無
彩色であるため、すべてのV+(λ)。
) + (a13 +a+4 /β)v2(λ)G(λ
) ” (a2+ +a22/α) v、 (λ) +
(a23 +a24/β)v2(λ)B(λ) =
(aat +a32/α) V r (λ) + (a
、+a*4/β)v2(λ)・・・・・・・・・・・・
・・・・・・・・・・・・・ (14)この被写体は無
彩色であるため、すべてのV+(λ)。
V2(λ)について、R(λ)=G(λ)=B(λ)で
なければ、垂直方向に偽色が出てしまう。しかも、被写
体の色温度により、α、βが変化し、R(λ)。
なければ、垂直方向に偽色が出てしまう。しかも、被写
体の色温度により、α、βが変化し、R(λ)。
G(λ)、B(λ)が変化してしまうので、従来の様な
1個のマトリクス変換のみでは、色温度が変わるたびに
、偽色が出るという問題があった。
1個のマトリクス変換のみでは、色温度が変わるたびに
、偽色が出るという問題があった。
本発明の目的は、固体撮像素子からの色信号をリニアマ
トリクスを用いた変換をすることにより、R,G、 B
信号を生成する色信号処理装置において、被写体の色温
度によらず、色再現性を向上し、かつ垂直方向に偽色を
出さないというもので次の様に構成される。
トリクスを用いた変換をすることにより、R,G、 B
信号を生成する色信号処理装置において、被写体の色温
度によらず、色再現性を向上し、かつ垂直方向に偽色を
出さないというもので次の様に構成される。
(1)補色フィルターを装着したカメラの出力信号にお
いて、被写体の色温度と各フィルターの分光特性とによ
って決る演算を行い、R,G、 Hの3信号を生成する
ことを特徴とする信号処理装置。
いて、被写体の色温度と各フィルターの分光特性とによ
って決る演算を行い、R,G、 Hの3信号を生成する
ことを特徴とする信号処理装置。
(2)上記の演算は、複数の色温度に対応するリニヤマ
トリクス演算を実行する手段と色温度を検出して上記の
リニヤマトリクス演算の結果を切換える手段を有し、上
記のマトリクスの係数が、基準の分光特性r(λ)1g
(λ)、b(λ)をN色の色フィルターの分光特性r+
(λ)…fn(λ)の線形結合で表わすために最小2乗
法で求めるようにする。
トリクス演算を実行する手段と色温度を検出して上記の
リニヤマトリクス演算の結果を切換える手段を有し、上
記のマトリクスの係数が、基準の分光特性r(λ)1g
(λ)、b(λ)をN色の色フィルターの分光特性r+
(λ)…fn(λ)の線形結合で表わすために最小2乗
法で求めるようにする。
(3)リニヤマトリクスの係数は無彩色の被写体を入力
した際に生成したR、 G、 Hの3信号が常に等しく
なるように拘束条件が付与される。
した際に生成したR、 G、 Hの3信号が常に等しく
なるように拘束条件が付与される。
(4)固体撮像素子が電荷結合素子であり、かっ色信号
が各色間でディレィとタップを共通化した2次元ディジ
タル補間フィルタによって同時化するようにする。
が各色間でディレィとタップを共通化した2次元ディジ
タル補間フィルタによって同時化するようにする。
[作用]
上記(1)〜(4)の構成により、各フィルムに対応す
る色信号よりR,G、 Hの3信号を生成することがで
き、(4)の構成により電荷結合素子(COD)の出力
からR,G、 Bの3信号を生成できると共に、共通化
により回路規模を縮小できる。
る色信号よりR,G、 Hの3信号を生成することがで
き、(4)の構成により電荷結合素子(COD)の出力
からR,G、 Bの3信号を生成できると共に、共通化
により回路規模を縮小できる。
[実施例]
以下本発明に基づき説明する。
(第1実施例)
第1図は、本発明を第2図(a)のような色フィルタを
装着したCODをインクレース走査する場合の実施例を
示す。
装着したCODをインクレース走査する場合の実施例を
示す。
このケースでは、Mg、Gr、Cy、Yeの4つの色信
号が同時化されていなければならない。なぜなら、これ
ら4つの情報を演算によって、R,G。
号が同時化されていなければならない。なぜなら、これ
ら4つの情報を演算によって、R,G。
Bの色信号へ変換するからである。
MO3型センサのように、4線同時読み出しが可能な構
造であれば、このことは問題な(実行できるが、CCD
のようにこれが出来ないセンサにおいては、まず各々の
色信号を2次元的に補間して同時化する必要がある。
造であれば、このことは問題な(実行できるが、CCD
のようにこれが出来ないセンサにおいては、まず各々の
色信号を2次元的に補間して同時化する必要がある。
例えば、第2図(a)のようなセンサ出力の場合、Mg
に注目すると、そのサンプリングの位置は、第2図(b
)に○印で示した所になる。その他のX印の所は、他の
色情報はあるが、Mgの色情報がないので、○印のつい
たデータ(A−Hなど)の適当な重みづけで補間する。
に注目すると、そのサンプリングの位置は、第2図(b
)に○印で示した所になる。その他のX印の所は、他の
色情報はあるが、Mgの色情報がないので、○印のつい
たデータ(A−Hなど)の適当な重みづけで補間する。
これが2次元補間フィルタによる同時化である。これは
、各色に対して行われる。
、各色に対して行われる。
以上を念頭において、以下第1図を使用して説明する。
CCDセンサ101には、第2図(a)のような4種の
カラーフィルタが配置されている。センサ101からイ
ンタレース走査で読み出された画像信号は、102のA
GCにより調整された後、A/D変換器103で読出し
クロックに同期したタイミングでA/D変換される。後
で行う色処理のために、このA/D変換器103は、リ
ニヤな特性が良く、量子化誤差の点から考えて、8bi
t以上で行うのが望ましい。
カラーフィルタが配置されている。センサ101からイ
ンタレース走査で読み出された画像信号は、102のA
GCにより調整された後、A/D変換器103で読出し
クロックに同期したタイミングでA/D変換される。後
で行う色処理のために、このA/D変換器103は、リ
ニヤな特性が良く、量子化誤差の点から考えて、8bi
t以上で行うのが望ましい。
輝度信号は、116のバイパスフィルタで高域成分が検
出され、後述するような方法で得られる輝度の低域成分
YLと加算器117で加算され、D/A変換器118で
D/A変換され、出力される。
出され、後述するような方法で得られる輝度の低域成分
YLと加算器117で加算され、D/A変換器118で
D/A変換され、出力される。
一方、A/D変換器102の出力は、4つの補間フィル
タ106,107,108,109に入力される。
タ106,107,108,109に入力される。
これら4つの補間フィルタは、例えば第5図に示すよう
に構成されており、これらの出力は各々同時化された色
信号Mg、Cy、Ye、Grとなる。ここで、第5図に
示す補間フィルタの動作について説明する。
に構成されており、これらの出力は各々同時化された色
信号Mg、Cy、Ye、Grとなる。ここで、第5図に
示す補間フィルタの動作について説明する。
センサ101からの出力は、インクレース走査されてい
るものとすると、A/D変換器102の出力は、IHご
とに(Mg/Gr)のライン、(Cy/Ye)のライン
の出力と切り換わる。従って、例えばMgの補間フィル
タならば(Mg/Gr)のラインを走査している間、ス
イッチ501はA/Dの出力を、次のIHでは零を選択
するようにすると、スイッチ501の出力には(Mg/
Gr)ラインのデータとIH分の零がIHごとに交互に
出力される。
るものとすると、A/D変換器102の出力は、IHご
とに(Mg/Gr)のライン、(Cy/Ye)のライン
の出力と切り換わる。従って、例えばMgの補間フィル
タならば(Mg/Gr)のラインを走査している間、ス
イッチ501はA/Dの出力を、次のIHでは零を選択
するようにすると、スイッチ501の出力には(Mg/
Gr)ラインのデータとIH分の零がIHごとに交互に
出力される。
IHメモリ502,503、係数倍器504.505゜
506及び加算器507は、垂直方向の補間フィルタを
形成している。例えば、504.506の係数はAl3
O3の係数は1に設定すると、507の出力には(Mg
/Gr)のラインのデータと前後の(Mg/Gr)ライ
ンの平均値がIHごとに出力され、垂直方向に補間され
る。
506及び加算器507は、垂直方向の補間フィルタを
形成している。例えば、504.506の係数はAl3
O3の係数は1に設定すると、507の出力には(Mg
/Gr)のラインのデータと前後の(Mg/Gr)ライ
ンの平均値がIHごとに出力され、垂直方向に補間され
る。
次に加算器507の出力は、スイッチ508へ入力され
る。スイッチ508の入力は、画素ごとの読み出しクロ
ックφに同期して、Mg信号、Gr倍信号交互に現われ
ているので、Mg信号の時は、507の出力を、Gr倍
信号時は零を選択して出力する。
る。スイッチ508の入力は、画素ごとの読み出しクロ
ックφに同期して、Mg信号、Gr倍信号交互に現われ
ているので、Mg信号の時は、507の出力を、Gr倍
信号時は零を選択して出力する。
これはディレィ509〜514、係数器515〜521
1加算器521からなる水平補間フィルタに入力され、
水平方向に補間される。係数器515〜521の係数は
、例えば各々(1/8. 2/8.3/8. 1/2゜
3/8. 2/8. 1/8)のように全部の和が2に
なるようにするのが良い。
1加算器521からなる水平補間フィルタに入力され、
水平方向に補間される。係数器515〜521の係数は
、例えば各々(1/8. 2/8.3/8. 1/2゜
3/8. 2/8. 1/8)のように全部の和が2に
なるようにするのが良い。
以上、Mg用の補間フィルタ106について説明したが
、スイッチ508の選択を逆にすれば、Gr用の補間フ
ィルタ109が、又、スイッチ501の選択を逆にすれ
ば、スイッチ508の位相に応じて各々Cy、Ye用の
補間フィルタ107,108が構成できる。
、スイッチ508の選択を逆にすれば、Gr用の補間フ
ィルタ109が、又、スイッチ501の選択を逆にすれ
ば、スイッチ508の位相に応じて各々Cy、Ye用の
補間フィルタ107,108が構成できる。
また、上述の説明では、IHメモリを2本用い(1/2
. 1.1/2)の補間フィルタを構成したが、IHメ
モリをN本用い、(N+1)タップの垂直方向のFIR
型ディジタルフィルタにしても良い。こうすると、垂直
方向の色の帯域が好ましい。このような構成は、アナロ
グ処理では難しく、ディジタル処理による構成が望まし
い。
. 1.1/2)の補間フィルタを構成したが、IHメ
モリをN本用い、(N+1)タップの垂直方向のFIR
型ディジタルフィルタにしても良い。こうすると、垂直
方向の色の帯域が好ましい。このような構成は、アナロ
グ処理では難しく、ディジタル処理による構成が望まし
い。
以上の説明では、106〜109の4つの補間フィルタ
を個別に構成した場合を示したが、第6図のようにまと
めて構成すれば、IHメモリやディレィ、加算器、係数
器の共通化ができるので、回路規模の大幅な縮小が可能
である。
を個別に構成した場合を示したが、第6図のようにまと
めて構成すれば、IHメモリやディレィ、加算器、係数
器の共通化ができるので、回路規模の大幅な縮小が可能
である。
即ち第6図においてA/D変換器102の出力を第5図
に示したものと同様なIHメそり502.503、係数
器504,505,506からなる垂直補間フィルタに
入力する。加算器601の出力は、IHごとに前後ライ
ンの平均値が表われる。今、505の出力が(M g
/ G r )ラインであったとすると、加算器601
の出力は、前後の(Cy/Ye)ラインの平均値が表わ
れる。次のラインでは、505の出力は(Cy/ Y
e )ラインとなるので、Fl、F2には、IH毎に、
(Mg/Gr)と(Cy/Ye)ラインの補間された信
号が交互に表われる。従って、スイッチ602でIH毎
に、FlとF2を選択することにより、垂直方向に同時
化されて補間信号(Mg/Gr)、(Cy/ Y e
)をとり出すことができる。
に示したものと同様なIHメそり502.503、係数
器504,505,506からなる垂直補間フィルタに
入力する。加算器601の出力は、IHごとに前後ライ
ンの平均値が表われる。今、505の出力が(M g
/ G r )ラインであったとすると、加算器601
の出力は、前後の(Cy/Ye)ラインの平均値が表わ
れる。次のラインでは、505の出力は(Cy/ Y
e )ラインとなるので、Fl、F2には、IH毎に、
(Mg/Gr)と(Cy/Ye)ラインの補間された信
号が交互に表われる。従って、スイッチ602でIH毎
に、FlとF2を選択することにより、垂直方向に同時
化されて補間信号(Mg/Gr)、(Cy/ Y e
)をとり出すことができる。
各々の(Mg/Gr)又は(Cy / Y’e )ライ
ンの信号は、第5図と同様なディレィ509〜514及
び係数器515〜521からなる水平補間フィルタに入
力される。加算器603.604.606.607は、
2タツプごとの出力を加算するようしているので、例え
ば603と604の出力には、lクロックφごとに、M
gとGrの補間された出力が交互に表われる。
ンの信号は、第5図と同様なディレィ509〜514及
び係数器515〜521からなる水平補間フィルタに入
力される。加算器603.604.606.607は、
2タツプごとの出力を加算するようしているので、例え
ば603と604の出力には、lクロックφごとに、M
gとGrの補間された出力が交互に表われる。
従って、605のスイッチでφごとに603と604の
出力を切り換えれば、2次元的に補間されたMg及びG
r倍信号得ることができる。Cy、Yeについても同様
である。
出力を切り換えれば、2次元的に補間されたMg及びG
r倍信号得ることができる。Cy、Yeについても同様
である。
又、第1図において、同期化されたMg、 CM。
Ye、Grの信号が得られたならば、後のすべての演算
処理は、画素ごとの読出しクロックの数回に1回行えば
よい。なぜなら、一般に、カラー信号の帯域は狭いから
である。従って、補間フィルタの後に、間引き処理を行
って、後の演算処理を比較的低速で行うようにしてもよ
い。こうすると、消費電力の大幅な節約ができる。
処理は、画素ごとの読出しクロックの数回に1回行えば
よい。なぜなら、一般に、カラー信号の帯域は狭いから
である。従って、補間フィルタの後に、間引き処理を行
って、後の演算処理を比較的低速で行うようにしてもよ
い。こうすると、消費電力の大幅な節約ができる。
次にRGB変換部110〜110−6について説明する
。
。
前述したように、まずMg、 Gr、 Cy、 Ye
各々の分光特性Mg(λ)、Gr(λ)、Cy(λ)、
Ye(λ)を380nmから780nmまで10nm間
隔で測定し、Mg(λi)、Gr(λi)、Cy(λi
)、Ye(λi) (i=1.・・・・・・、41)を
得た。
各々の分光特性Mg(λ)、Gr(λ)、Cy(λ)、
Ye(λ)を380nmから780nmまで10nm間
隔で測定し、Mg(λi)、Gr(λi)、Cy(λi
)、Ye(λi) (i=1.・・・・・・、41)を
得た。
次に、NTSCのRGBの理想分光特性r(λ1)1g
(λt)、 b (λi)を、例えば“色彩化学ハンド
ブック東京大学出版会(1981)”より読みとり、(
5)式により、等しい重みをつけた正規方程式をとく。
(λt)、 b (λi)を、例えば“色彩化学ハンド
ブック東京大学出版会(1981)”より読みとり、(
5)式により、等しい重みをつけた正規方程式をとく。
この時、式(14)において偽色を防止する目的で、R
(λ)=G(λ)=B(λ)を満たすため、同時に次の
2つの条件も満たすよにする。即ち、a 11 +a
12/α=a21 +a22/α=a3.+a32/α
a13+al、/7!?=a□3+8□4/13 =a
33 +a 34/B ”−”−”””’ ”°ゝこ
こで、α、βは被写体の色温度によって弯化するので、
あらかじめ2000°に、 30000に、 4000
°K。
(λ)=G(λ)=B(λ)を満たすため、同時に次の
2つの条件も満たすよにする。即ち、a 11 +a
12/α=a21 +a22/α=a3.+a32/α
a13+al、/7!?=a□3+8□4/13 =a
33 +a 34/B ”−”−”””’ ”°ゝこ
こで、α、βは被写体の色温度によって弯化するので、
あらかじめ2000°に、 30000に、 4000
°K。
5000°に、6000°に、7000°にの各色温度
における無彩色被写体のα、βを測定しておく。
における無彩色被写体のα、βを測定しておく。
今Gr(λ)の出力をα倍、Ye (λ)の出力をβ倍
したものを各々Gr (λ)+ Ye’ (λ)と
して式(6)の代わりに と書ける。但し、Gr’(λ)はGr(λ)のα倍、Y
e’ (λ)はye(λ)のβ倍である。
したものを各々Gr (λ)+ Ye’ (λ)と
して式(6)の代わりに と書ける。但し、Gr’(λ)はGr(λ)のα倍、Y
e’ (λ)はye(λ)のβ倍である。
また、E’ (A)=E(Δ) + 1 + (all
+a12 a2+ 82□)+12 (aaa
+a12 a3+ a32)+ 13 (a13+a1
4 a23a2a)+ 14(a+++an aaa
a34)・・・・(19)を考えるとE(Δ)が最小値
をとるならば式(17)よりE′−(Δ)”=E(Δ)
となり、最小値をとることになる。
+a12 a2+ 82□)+12 (aaa
+a12 a3+ a32)+ 13 (a13+a1
4 a23a2a)+ 14(a+++an aaa
a34)・・・・(19)を考えるとE(Δ)が最小値
をとるならば式(17)よりE′−(Δ)”=E(Δ)
となり、最小値をとることになる。
によって変換する事を考える。その場合(15)はa
、3 +a 14 :a23+a2. :1133+a
34と書き換えられる。したがって、式(4)はE(A
) = Σ〔(r(λ+)−(auMg(λ+) + B、、G
r’ (λ+)+anC7(λ+) + Ca+aY
e’ (λ1))1+ (g(λ、) (allM
g(λ、)十a、Gr’ (λ+)+alJCy(λ、
)+(a、、Ye’ (λI))′+1b(λ+)−(
8m+Mg(λ、)+a、Gr’ (λ、)+auCy
(λ+)+(amtye’ (λ1)円(I8) これを式(5)と同様、正規方程式として解くと、[a
1]]はI!1〜14の関数となる。
、3 +a 14 :a23+a2. :1133+a
34と書き換えられる。したがって、式(4)はE(A
) = Σ〔(r(λ+)−(auMg(λ+) + B、、G
r’ (λ+)+anC7(λ+) + Ca+aY
e’ (λ1))1+ (g(λ、) (allM
g(λ、)十a、Gr’ (λ+)+alJCy(λ、
)+(a、、Ye’ (λI))′+1b(λ+)−(
8m+Mg(λ、)+a、Gr’ (λ、)+auCy
(λ+)+(amtye’ (λ1)円(I8) これを式(5)と同様、正規方程式として解くと、[a
1]]はI!1〜14の関数となる。
求めるべき係数は、(17)の条件を満たすので、11
+ j12.I!3+ A’4を設定したときの評
価関数F(L)を次のように定義する。
+ j12.I!3+ A’4を設定したときの評
価関数F(L)を次のように定義する。
F(L) =lan(L)+a+2(L) az+(
L) a22(L)+ fan(L)+a+□(L)
a3s(1) aa□(j’)+la+3(L)+a+
1(L) a23(L) a21(L)+la+a(j
?)+a+4(L) a3a(L) aaa(L) l
−(21)但し、f! = (I!+、12.123
.j’4)である。
L) a22(L)+ fan(L)+a+□(L)
a3s(1) aa□(j’)+la+3(L)+a+
1(L) a23(L) a21(L)+la+a(j
?)+a+4(L) a3a(L) aaa(L) l
−(21)但し、f! = (I!+、12.123
.j’4)である。
今AI+ j’2+ ’3+ 14をある初期値I
IQ + 120 +1’lo、I!40に設定して、
設定値各々のパラメータを、△l工、△I!2.△13
.△14だけ少しずつ動かして、種々のf、、f2.
I!3. I24に対する[au]を式(20)につい
て解いて求め、この[a ++ ]を用いて式(21)
によりF(L)を求める。
IQ + 120 +1’lo、I!40に設定して、
設定値各々のパラメータを、△l工、△I!2.△13
.△14だけ少しずつ動かして、種々のf、、f2.
I!3. I24に対する[au]を式(20)につい
て解いて求め、この[a ++ ]を用いて式(21)
によりF(L)を求める。
このFl)を最小にするf =(*、、 I22+ 1
3+1!4)の組を求めるとこれに対応する[a++]
が求める係数となる。したがって、[a ++ ]は式
(16)がα、Pによって異なるので色温度ごとに最適
値が異なる。従って、複数のRGB変換部110−1〜
1106を設は色温度ごとの異なるマトリクス演算を行
う。
3+1!4)の組を求めるとこれに対応する[a++]
が求める係数となる。したがって、[a ++ ]は式
(16)がα、Pによって異なるので色温度ごとに最適
値が異なる。従って、複数のRGB変換部110−1〜
1106を設は色温度ごとの異なるマトリクス演算を行
う。
色温度によるRGB変換マトリクスの切り換えは外光か
ら判断して手動スイッチの切換えで行っても良いが、本
実施例では色温度検出器120で外光の分光特性から、
赤色光成分と青色光成分の比率により判別して、これに
よりスイッチSWを自動的に切り換える。
ら判断して手動スイッチの切換えで行っても良いが、本
実施例では色温度検出器120で外光の分光特性から、
赤色光成分と青色光成分の比率により判別して、これに
よりスイッチSWを自動的に切り換える。
色再現はマトリクス係数を近似して固定乗算器を用いて
も良いが、本実施例では2000°に、 3000°
に、 4000°に、 5000°に、 6000°に
、 70000にの夫々に適したR、 G、 B変換用
のテーブルを用いる。なお、色温度はより細かいステッ
プ毎にその変換マトリクスを求めれば、より完璧な信号
処理が可能である。
も良いが、本実施例では2000°に、 3000°
に、 4000°に、 5000°に、 6000°に
、 70000にの夫々に適したR、 G、 B変換用
のテーブルを用いる。なお、色温度はより細かいステッ
プ毎にその変換マトリクスを求めれば、より完璧な信号
処理が可能である。
このようにして変換され形成されたR、 G、 B信
号はホワイトバランス回路111において前記色温度検
出器120により再び相互の比率がコントロールされ、
更にγ変換回路112でγ変換された後、色差マトリク
ス回路113で低域輝度信号YLと、色差信号R−Y、
B−Yを形成する。低域輝度信号Y、は加算器117に
導かれ、前述の如(輝度信号を形成する。
号はホワイトバランス回路111において前記色温度検
出器120により再び相互の比率がコントロールされ、
更にγ変換回路112でγ変換された後、色差マトリク
ス回路113で低域輝度信号YLと、色差信号R−Y、
B−Yを形成する。低域輝度信号Y、は加算器117に
導かれ、前述の如(輝度信号を形成する。
又、色差信号R−Y、B−Yは夫々D/A変換器114
.115を介してアナログ信号になる。
.115を介してアナログ信号になる。
(第2実施例)
第1図のRGB変換とホワイトバランスを共通化させて
もよい。即ち、第1図においては、ホワイトバランス回
路111でRGB信号をRGBからxR。
もよい。即ち、第1図においては、ホワイトバランス回
路111でRGB信号をRGBからxR。
G、VBという形に変換することでホワイトバランスを
とっているが、これをRGB変換部110−1〜11C
)−6の乗算器を可変乗数倍器として色温度検出器12
0の出力に応じて係数を可変制御する。具体的には第1
実施例で求めたマトリクスAの代わりに尚、この係数X
rYは色温度2000°に〜7000°Kを32段階に
分けて、それに応じて決定する。より精度の良い色再現
を行うには、色温度の段階数を増やすことで可能となる
。
とっているが、これをRGB変換部110−1〜11C
)−6の乗算器を可変乗数倍器として色温度検出器12
0の出力に応じて係数を可変制御する。具体的には第1
実施例で求めたマトリクスAの代わりに尚、この係数X
rYは色温度2000°に〜7000°Kを32段階に
分けて、それに応じて決定する。より精度の良い色再現
を行うには、色温度の段階数を増やすことで可能となる
。
[発明の効果]
以上説明したように、本発明によれば、固体撮像子に装
着した各色フィルタに対応する色信号を全て用いて、入
力時の色温度に応じてR,G、 Hの3信号が生成され
るので、正しいホワイトバランス、γ変換が行うことが
でき、色再現性が大幅に向上する。しかも、広範囲の入
力時の色温度に応じてR,G、 B変換のための演算を
変えているので、垂直方向の偽色信号が防止される。
着した各色フィルタに対応する色信号を全て用いて、入
力時の色温度に応じてR,G、 Hの3信号が生成され
るので、正しいホワイトバランス、γ変換が行うことが
でき、色再現性が大幅に向上する。しかも、広範囲の入
力時の色温度に応じてR,G、 B変換のための演算を
変えているので、垂直方向の偽色信号が防止される。
第1図は本発明の第1実施例のブロック図、第2図(a
)、(b)は色フィルタの配列を示す図、 第3図は従来例のブロック図、 第4図は別の従来例のブロック図、 第5図は補間フィルタの構成例のブロック図、第6図は
補間フィルタの他の実施例のブロック図である。 lot・・・センサ 106〜109・・・補間フィルタ 110−1〜110−6 ・2000°に〜7ooo0
にノ各色温度におけるRGB変換器 120・・・色温度検出器 (0L) (bン 巨スルタの叱りI]を元11乙 第20
)、(b)は色フィルタの配列を示す図、 第3図は従来例のブロック図、 第4図は別の従来例のブロック図、 第5図は補間フィルタの構成例のブロック図、第6図は
補間フィルタの他の実施例のブロック図である。 lot・・・センサ 106〜109・・・補間フィルタ 110−1〜110−6 ・2000°に〜7ooo0
にノ各色温度におけるRGB変換器 120・・・色温度検出器 (0L) (bン 巨スルタの叱りI]を元11乙 第20
Claims (3)
- (1)補色フィルターを装着したカメラの出力信号にお
いて、被写体の色温度と各色フィルターの分光特性とに
よって決る演算を行い、R,G,Bの3信号を生成する
ことを特徴とする色信号処理装置。 - (2)上記の演算は、複数の色温度に対応するリニヤマ
トリクス演算を実行する手段と色温度を検出して上記の
リニヤマトリクス演算の結果を切換える手段を有し、上
記のマトリクスの係数が、基準の分光特性r(λ),g
(λ),b(λ)をN色の色フィルターの分光特性f_
1(λ)…f_n(λ)の線形結合で表わすために求め
られることを特徴とする請求項(1)記載の色信号処理
装置。 - (3)固体撮像素子が電荷結合素子であり、かつ色信号
が各色間でディレイとタップを共通化した2次元ディジ
タル補間フィルタによって同時化されていることを特徴
とする請求項(1)記載の色信号処理装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63296733A JP3039653B2 (ja) | 1988-11-22 | 1988-11-22 | 撮像装置 |
| DE89311508T DE68909171T2 (de) | 1988-11-09 | 1989-11-07 | Farbsignalverarbeitungseinrichtung. |
| EP89311508A EP0368614B1 (en) | 1988-11-09 | 1989-11-07 | Color signal processing apparatus |
| US07/913,978 US5202756A (en) | 1988-11-09 | 1992-07-16 | Color signal processing apparatus using plural luminance signals |
| US08/542,428 US5581298A (en) | 1988-11-09 | 1995-10-12 | Color signal processing apparatus using plural luminance signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63296733A JP3039653B2 (ja) | 1988-11-22 | 1988-11-22 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02142294A true JPH02142294A (ja) | 1990-05-31 |
| JP3039653B2 JP3039653B2 (ja) | 2000-05-08 |
Family
ID=17837392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63296733A Expired - Lifetime JP3039653B2 (ja) | 1988-11-09 | 1988-11-22 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3039653B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8035698B2 (en) | 2009-01-21 | 2011-10-11 | Seiko Epson Corporation | Joint automatic demosaicking and white balancing |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS49131536A (ja) * | 1973-04-19 | 1974-12-17 | ||
| JPS6157783U (ja) * | 1984-09-21 | 1986-04-18 | ||
| JPS61150489A (ja) * | 1984-12-24 | 1986-07-09 | Sony Corp | カラ−ビデオカメラ |
| JPS63158990A (ja) * | 1986-12-23 | 1988-07-01 | Sony Corp | 輝度信号形成回路 |
-
1988
- 1988-11-22 JP JP63296733A patent/JP3039653B2/ja not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS49131536A (ja) * | 1973-04-19 | 1974-12-17 | ||
| JPS6157783U (ja) * | 1984-09-21 | 1986-04-18 | ||
| JPS61150489A (ja) * | 1984-12-24 | 1986-07-09 | Sony Corp | カラ−ビデオカメラ |
| JPS63158990A (ja) * | 1986-12-23 | 1988-07-01 | Sony Corp | 輝度信号形成回路 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8035698B2 (en) | 2009-01-21 | 2011-10-11 | Seiko Epson Corporation | Joint automatic demosaicking and white balancing |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3039653B2 (ja) | 2000-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7466358B1 (en) | Solid-state imaging device for enlargement of dynamic range | |
| US8270774B2 (en) | Image processing device for performing interpolation | |
| US5202756A (en) | Color signal processing apparatus using plural luminance signals | |
| US7792356B2 (en) | Imaging device | |
| US8233733B2 (en) | Image processing device | |
| JP2942903B2 (ja) | ディジタル・カメラ信号処理装置 | |
| JPH02130089A (ja) | 固体撮像装置の信号処理回路 | |
| WO2007145087A1 (ja) | 撮像装置及び信号処理方法 | |
| KR910008475A (ko) | 고상 칼라 카메라용 신호처리 회로 | |
| US20140307121A1 (en) | Image processing device and imaging device | |
| EP0368614B1 (en) | Color signal processing apparatus | |
| JP2920380B2 (ja) | 色信号処理装置 | |
| JPH0823541A (ja) | カラー撮像装置 | |
| JP2744261B2 (ja) | 色信号処理装置 | |
| JP3039653B2 (ja) | 撮像装置 | |
| JP2744260B2 (ja) | カラー信号処理装置 | |
| JP3422027B2 (ja) | カラーカメラ及びその信号処理回路における輝度バランス回路 | |
| JPS6068788A (ja) | 固体カラ−撮像装置 | |
| JP2703928B2 (ja) | 撮像装置 | |
| JPH05304679A (ja) | カラーカメラの信号処理回路におけるレベルバランス回路 | |
| JPH077736A (ja) | 固体撮像装置 | |
| JPH0488785A (ja) | カラー撮像素子及び信号処理装置 | |
| JP3408169B2 (ja) | 画像データの処理方法及び画像データ処理装置 | |
| JP2502599B2 (ja) | カラ−撮像装置 | |
| JP2000261816A (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080303 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090303 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090303 Year of fee payment: 9 |