JP4859220B2 - 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置 - Google Patents

Description

本発明は輝度信号作成装置及び輝度信号作成方法並びに撮像装置に関する。特にベイヤー配列の色フィルタを用いた撮像素子により得られる信号から輝度信号を作成する装置及び方法、並びにそれらを用いる撮像装置に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような、光量を検出可能な撮像素子を用いてカラー画像を作成するため、色フィルタを透過させた光を撮像素子に入射させる構成が一般に用いられている。

色フィルタには、用いる色の種類や、画素毎に割り当てる色の配列などによって様々な種類が存在するが、色の種類は原色（赤、緑、青）又は補色（シアン、マゼンタ、イエロー）が、色配列についてはベイヤー配列がそれぞれ広く用いられている。

図１８は、原色ベイヤー配列の１単位を示す図である。実際には、同様の配列が撮像素子の画素数に応じて繰り返される。Ｒが赤、Ｇ１及びＧ２は緑、Ｂが青である。

図１９は、図１８に示す原色ベイヤー配列の色フィルタを用いて輝度信号を作成する従来方法のうち、緑（Ｇ）信号のみから輝度信号を作成するOutOfGreen方式を説明する図である。

まず、撮像素子の出力をデジタル化したＲＡＷ信号１９００のうち、Ｇ画素以外の値を０とする（１９０１）。次に、垂直方向の帯域を制限するローパスフィルタ(V-LPF)処理（１９０２）及び水平方向の帯域を制限するローパスフィルタ(H-LPF)処理（１９０３）を行い、輝度信号を得る。以下、OutOfGreen方式で得られる輝度信号をＯＧ信号という。

また、図１８に示す原色ベイヤー配列の色フィルタを用いて輝度信号を作成する従来方法の別の例として、ＲＧＢ全ての画素を用いて輝度信号を作成するＳＷＹ方式がある。
図２０は、ＳＷＹ方式を説明する図である。
ＳＷＹ方式は、OutOfGreen方式における、Ｇ画素以外の値を０とする処理（１９０１）を行なわずに輝度信号を得る方式である。以下、ＳＷＹ方式で得られる輝度信号をＳＷＹ信号という。

図２１は、ＯＧ信号とＳＷＹ信号の解像可能な空間周波数特性を示す図である。
ｘ軸は被写体の水平（Ｈ）方向の周波数空間を、ｙ軸は垂直（Ｖ）方向の周波数空間を示し、原点から遠ざかるほど空間周波数が高い。ＯＧ信号はＧ信号のみから輝度信号を作成するため、水平及び垂直方向の解像限界はナイキスト周波数（軸上、π／２）に等しい。しかし、斜め方向は画素が存在しないラインが存在するため、斜め方向の限界解像周波数は水平垂直にくらべ低く、結果として図のひし形領域２１００の内部が解像可能な空間周波数となる。

一方、ＳＷＹ信号は、全ての画素を用いて信号をつくるため、被写体が無彩色の場合、図のような正方形領域２１０１が解像可能な空間周波数となる。しかしながら、例えば赤い被写体においては、Ｒ画素以外からの画素からは輝度信号が出力されないため、無彩色被写体に比べ、４分の１の範囲２１０２でしか解像しない。

特許文献１では、図２１における、ＯＧ信号の斜め領域２１０３については、ＳＷＹ信号で置換する方法を提案している。但し、有彩色被写体はＳＷＹ信号の解像限界周波数が下がるため、斜め領域が無彩色被写体である場合に限り、ＯＧ信号をＳＷＹ信号に置換する。その後、作成された輝度信号を用いてエッジ強調成分を検出し、輝度信号に加算して最終輝度信号を作成する。

一方、特許文献２では、被写体の角度に応じて、予め用意した複数の補間フィルタを使い分けて輝度信号を作成し、その後エッジ強調を行なって最終輝度信号を作成する方法を提案している。

また、特許文献３では、特許文献１と同様、ＯＧ信号とＳＷＹ信号を、被写体の色相及び彩度に応じて加重加算する方法を提案している。具体的には、低彩度被写体被写体はＳＷＹ信号、高彩度被写体かつＭｇ（マゼンタ）、Ｇ（グリーン）の被写体にはＳＷＹ信号を使用し、その他有彩色被写体についてはＯＧ信号を使用する。その後、ＭＩＸ信号でエッジ強調成分を算出し、別途作成した輝度信号に加算して最終輝度信号を作成する。

特開２００３−３４８６０９号公報 特開２００３−１９６６４９号公報 特許第３６９９８７３号公報

しかしながら、特許文献１記載の手法を原色ベイヤー配列の色フィルタを用いて得た信号に適用する場合、図２０に示した方法で作成したＳＷＹ信号を用いると、斜め４５度及び１３５度付近に偽解像信号（折り返し歪み）が発生する弊害があった。これは、図２０の方法では、Ｈ方向及びＶ方向のみ帯域制限しているため、斜め４５度及び１３５度方向における帯域制限が十分でないことによるものと考えられる。

また、有彩色被写体についてはＯＧ信号を用いるので、有彩色被写体についての斜め方向の解像度は向上しない。更に、ＯＧ信号の一部をＳＷＹ信号に置換えた後の輝度信号でエッジ強調信号を作成すると、ＯＧ信号とＳＷＹ信号の切り替わり部分が強調され、不自然なテクスチャーが発生しやすい。

また、特許文献２の手法は、被写体の確度に応じた複数の補間フィルタを予め用意し、かつ保持する必要がある。色の構成を例えばＮＴＳＣ−ＲＧＢ空間とすると、輝度信号構成比であるＲ：Ｇ：Ｂ＝３：６：１を維持する補間フィルタを準備する必要がある。その結果、フィルタの係数が限定され、被写体の角度に最適なフィルタ処理が行えないという問題がある。また、特許文献１と同様、複数の補間方法で算出された輝度信号を混在させてからエッジ強調を実施しているため、算出方法の異なる輝度信号の微妙な切り替わりが強調されてしまう。

また、特許文献３の手法では、ＯＧ信号の代わりにＳＷＹ信号を使用するのがＭｇとＧの被写体であるため、有彩色被写体のうちＭｇとＧ以外の被写体の解像度は向上しない。更に、特許文献１及び特許文献２の手法と同様、複数の手法で算出された輝度信号を加重加算してからエッジ強調を実施しているため、手法の切り替わり部分が強調されてしまう。

本発明はこのような従来技術の問題点に鑑みてなされたものである。本発明の目的は、斜め方向成分における折り返し歪みの発生を抑制可能な輝度信号の作成方法及び装置を提供することにある。

上述の目的は、原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成装置であって、撮像素子のＧ画素の信号のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成手段と、撮像素子の全色画素の信号から作成した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成手段と、被写体の信号の空間周波数に応じて第１の高周波信号と第２の高周波信号を加重加算し第３の高周波信号を作成する加重加算手段と、第１の輝度信号と第３の高周波信号を加算し、第３の輝度信号を作成する加算手段とを有し、加重加算手段は、第１の輝度信号に、空間周波数領域において４５度方向のバンドパスフィルタ処理を行った第１のバンドパス信号と、第１の輝度信号に、空間周波数領域において１３５度方向のバンドパスフィルタ処理を行った第２のバンドパス信号との差の絶対値が大きいほど、第３の高周波信号における第２の高周波信号の比率を高くする加重加算を行なうことを特徴とする輝度信号作成装置によって達成される。

また、上述の目的は、原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、撮像素子の各画素の輝度信号を作成する輝度信号作成装置であって、撮像素子のＧ画素のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成手段と、撮像素子の全色画素の信号の水平、垂直及び４５度方向の帯域を制限した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成手段と、撮像素子の全色画素の信号の水平、垂直及び１３５度方向の帯域を制限した第３の輝度信号を用いて第３の高周波信号を作成する第３の高周波信号作成手段と、第２及び第３の高周波信号の一方を選択する選択手段と、第１の高周波信号と、第２及び第３の高周波信号のうち選択手段が選択した一方とを加重加算し、第４の高周波信号を作成する加重加算手段と、第１の輝度信号と第４の高周波信号とを加算し、第４の輝度信号を出力する加算手段と、を有し、選択手段は、第１の輝度信号の４５度方向の帯域を制限した信号の絶対値が第１の輝度信号の１３５度方向の帯域を制限した信号の絶対値より大きければ第２の高周波信号を、小さければ第３の高周波信号を選択することを特徴とする輝度信号作成装置によっても達成される。

また、上述の目的は、原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成方法であって、撮像素子のＧ画素の信号のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成工程と、撮像素子の全色画素の信号から作成した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成工程と、被写体の信号の空間周波数に応じて第１の高周波信号と第２の高周波信号を加重加算し第３の高周波信号を作成する加重加算工程と、第１の輝度信号と第３の高周波信号を加算し、第３の輝度信号を作成する加算工程とを有し、加重加算工程は、第１の輝度信号に、空間周波数領域において４５度方向のバンドパスフィルタ処理を行った第１のバンドパス信号と、第１の輝度信号に、空間周波数領域において１３５度方向のバンドパスフィルタ処理を行った第２のバンドパス信号との差の絶対値が大きいほど、第３の高周波信号における第２の高周波信号の比率を高くする加重加算を行なうことを特徴とする輝度信号作成方法によっても達成される。

また、上述の目的は、原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成方法であって、撮像素子のＧ画素のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成工程と、撮像素子の全色画素の信号の水平、垂直及び４５度方向の帯域を制限した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成工程と、撮像素子の全色画素の信号の水平、垂直及び１３５度方向の帯域を制限した第３の輝度信号を用いて第３の高周波信号を作成する第３の高周波信号作成工程と、第２及び第３の高周波信号の一方を選択する選択工程と、第１の高周波信号と、第２及び第３の高周波信号のうち選択工程が選択した一方とを加重加算し、第４の高周波信号を作成する加重加算工程と、第１の輝度信号と第４の高周波信号とを加算し、第４の輝度信号を出力する加算工程とを有し、選択工程は、第１の輝度信号の４５度方向の帯域を制限した信号の絶対値が第１の輝度信号の１３５度方向の帯域を制限した信号の絶対値より大きければ第２の高周波信号を、小さければ第３の高周波信号を選択することを特徴とする輝度信号作成方法によっても達成される。

このような構成により、本発明によれば、輝度信号の斜め方向における折り返し歪みを抑制させることが可能になる。

以下、図面を参照して、本発明をその好適な実施形態に基づき詳細に説明する。
図１は本発明の第１の実施形態に係る輝度信号作成装置の構成例を示すブロック図である。本実施形態の輝度信号作成装置は、原色ベイヤー配列の色フィルタを備える撮像素子を用いる撮像装置において、所謂現像処理等の信号処理を行なう信号処理回路において好適に実現可能である。

図示しない撮像素子から読み出され、デジタルデータ化及びホワイトバランス処理が行なわれた画像信号（以下、ＲＡＷ信号１００）は、ＯＧ信号作成部１０１及びＳＷＹ信号作成部１０３へ入力される。ＯＧ信号作成部１０１は、ＲＡＷ信号１００から第１の輝度信号を作成する。第１の輝度信号は、第１の高周波（エッジ）成分検出処理部１０２において処理され、第１の高周波信号が作成される。また、第１の輝度信号は、第２の高周波成分検出処理部１０４へも供給される。

また、ＳＷＹ信号作成部１０３は、ＲＡＷ信号から第２の輝度信号を作成する。第２の高周波成分検出処理部１０４は、第２の輝度信号から第２の高周波信号を作成する。

加重加算処理部１０５は、第１の高周波信号と第２の高周波信号を加算して第３の高周波信号を作成する。さらに、加算器１０６で第１の輝度信号（ＯＧ信号）と第３の高周波信号を加算し、最終的な輝度信号（第３の輝度信号）を作成する。

以下、それぞれの信号処理部の詳細な説明を行なう。
（第１の高周波信号（ＡＣ＿ＯＧ信号）の作成処理）
図２は、図１におけるＯＧ信号作成部１０１と、第１の高周波成分検出処理部１０２の構成例を示す図である。
ＲＡＷ信号１００は、ＯＧ信号作成部１０１の内部で、Ｚｅｒｏ挿入回路２０１、ＤｉｆｆＨ信号作成回路２０６及びＤｉｆｆＶ信号作成回路２０７にそれぞれ入力される。

Ｚｅｒｏ挿入回路２０１は、ＲＡＷ信号１００のうち、Ｇ以外の信号を０に置換したＺｅｒｏ挿入Ｇ信号を作成する。垂直方向ローパスフィルタ(V-LPF)２０２及び第１の水平方向ローパスフィルタ(H-LPF)２０４は、Ｚｅｒｏ挿入Ｇ信号の垂直方向及び水平方向の帯域を制限し、それぞれＧｖ信号及びＧｈ信号として出力する。
第２の水平方向ローパスフィルタ(H-LPF)２０３は、Ｇｖ信号の水平方向の帯域を制限し、Ｇｈｖ信号を出力する。

このようにして、Ｚｅｒｏ挿入Ｇ信号の（１）垂直方向の帯域が制限されたＧｖ信号、（２）水平方向の帯域が制限されたＧｈ信号、（３）垂直及び水平方向の帯域が制限されたＧｈｖ信号が作成され、いずれも加重加算回路２０５へ入力される。
一方、ＤｉｆｆＨ信号作成回路(DiffH)２０６及びＤｉｆｆＶ信号作成回路(DiffV)２０７は、ＲＡＷ信号１００からＤｉｆｆＨ及びＤｉｆｆＶ信号を作成する。

図３は、Ｄｉｆｆ信号作成処理を説明する図であり、本実施形態において、着目画素Ｐ２２におけるＤｉｆｆＨ及びＤｉｆｆＶ信号は以下の式１、２に従って算出される。
ＤｉｆｆＨ＝｜Ｐ２１−Ｐ２３｜＋｜２×Ｐ２２−Ｐ２０−Ｐ２４｜ （式１）
ＤｉｆｆＶ＝｜Ｐ１２−Ｐ３２｜＋｜２×Ｐ２２−Ｐ０２−Ｐ４２｜ （式２）
なお、式１及び式２における、Ｐ１２〜Ｐ４２は、図３中の対応画素の信号値である。

被写体が縦縞の場合、ＤｉｆｆＨ信号が大きくなり、横縞の場合ＤｉｆｆＶ信号の値が大きくなる。減算器２０８は、ＤｉｆｆＨ信号からＤｉｆｆＶ信号を減算し、ＤｉｆｆＨＶ信号を出力する。加重加算係数算出回路(Tsig)２０９は、ＤｉｆｆＨＶ信号に基づいて加重加算係数を算出し、加重加算回路２０５へ供給する。

図４は、加重加算係数算出回路２０９の入出力特性例を示す図である。
横軸がＤｉｆｆＨＶ信号、縦軸が加重加算係数Ｔｓｉｇの値をそれぞれ示す。ＤｉｆｆＨＶ≦Ｔｈ０の場合は、ＤｉｆｆＶがＤｉｆｆＨより大きいため横縞領域であると判定される。この場合、加重加算回路２０５がＧｈ信号を１００％使用するＴｓｉｇ値（Ｔｓｉｇ＝−１２８）が出力される。

Ｔｈ１＜ＤｉｆｆＨＶ＜Ｔｈ２の区間は、ＤｉｆｆＶとＤｉｆｆＨが互いに近い値であるため、斜め領域と判定される。この区間では、加重加算回路２０５がＧｈｖ信号を１００％使用するＴｓｉｇ値（Ｔｓｉｇ＝０）が出力される。

更に、ＤｉｆｆＨＶ≧Ｔｈ３の場合は、ＤｉｆｆＨがＤｉｆｆＶより大きいため縦縞領域であると判定される。この場合には、Ｇｖ信号を１００％使用するＴｓｉｇ値（Ｔｓｉｇ＝１２８）が出力される。

Ｔｈ０≦ＤｉｆｆＨＶ≦Ｔｈ１の区間は、ー１２８から０まで線形的に変化するように決定されたＴｓｉｇを出力する。同様に、Ｔｈ２≦ＤｉｆｆＨＶ≦Ｔｈ３の区間は、０から１２８まで線形的に変化するように決定されたＴｓｉｇを出力する。

加重加算回路２０５は、このように決定されたＴｓｉｇの値に基づいて、Ｇｈ信号、Ｇｖ信号、Ｇｈｖ信号を以下の式３及び式４に従って加重加算し、第１の輝度信号（ＤＣ＿ＯＧ信号）２１０を作成する。

Ｔｓｉｇ＞＝０のとき、

Ｔｓｉｇ＜０のとき、

加重加算回路２０５の出力である第１の輝度信号は、加算器１０６（図１）に供給される。また、第１の輝度信号は、第１の高周波成分検出処理部１０２へも供給される。

第１の高周波成分検出処理部１０２において、第１の輝度信号は、水平方向ローパスフィルタ(H-LPF)２１１及び垂直方向ローパスフィルタ(V-LPF)２１３へ入力される。

第１の輝度信号は、Ｈ−ＬＰＦ２１１によって水平方向の帯域を制限された後、水平方向ゲイン回路(H_Gain)２１２によってゲイン調整される。Ｈ＿Ｇａｉｎ２１２の出力は水平方向のエッジ信号である。

同様に、第１の輝度信号は、Ｖ−ＬＰＦ２１３によって垂直方向の帯域を制限された後、垂直方向ゲイン回路(V_Gain)２１４によってゲイン調整される。Ｖ＿Ｇａｉｎ２１４の出力は垂直方向のエッジ信号である。
なお、これ以降、エッジ信号をＡＣ成分と記述することがある。

加算器２１５は、水平及び水平方向のＡＣ成分を加算し、結果を第１の高周波信号（ＡＣ＿ＯＧ信号）として出力する。第１の高周波信号は、加重加算処理部１０５（図１）へ供給される。

（第２の高周波信号（ＡＣ＿ＳＷＹ信号）の作成処理）
図５は、図１におけるＳＷＹ信号作成部１０３と、第２の高周波成分検出処理部１０４の構成例を示す図である。
（１）ベースとなるＳＷＹ信号作成
ＲＡＷ信号１００は、まず、ＳＷＹ信号作成部１０３の垂直方向ローパスフィルタ(V-LPF)５０１、水平方向ローパスフィルタ(H-LPF)５０２によって垂直及び水平方向における帯域が制限され、汎用のＳＷＹ輝度信号が作成される。

（２）ＡＣ＿ＳＷＹ信号の作成
原色ベイヤー配列の信号は、フィルタの分光感度の特性上、ＲＧＢ三原色の色分離が良い。よって、汎用のＳＷＹ輝度信号作成に用いる水平及び垂直方向の帯域制限フィルタ５０１，５０２に加え、斜め方向についても帯域制限フィルタを適用しないと、輝度の折り返し歪みを十分抑制することができない。そこで本実施形態では、水平及び垂直方向の帯域を制限するローパスフィルタに加え、４５度及び１３５度方向の帯域を制限する斜めＬＰＦを設けている。そして、被写体の角度情報により、帯域制限された２種類の信号の１つを選択することを特徴としている。

Ｈ−ＬＰＦ５０２から出力される汎用ＳＷＹ信号は、第１の２次元フィルタ（Ｄ４５−ＬＰＦ）５０３によって、４５度方向の帯域が制限される。その後、４５度線のエッジを検出するための２次元バンドパスフィルタ（Ｄ１３５−ＢＰＦ）５０４とゲイン回路５０５によって、斜め４５度線用エッジ強調信号（ＡＣ＿４５）が作成される。

一方、汎用ＳＷＹ信号は第２の２次元フィルタ（Ｄ１３５−ＬＰＦ）５０６によって、１３５度方向の帯域が制限される。その後、１３５度線のエッジを検出するための２次元バンドパスフィルタ（Ｄ４５−ＢＰＦ）５０７とゲイン回路５０８によって、斜め１３５度線用エッジ強調信号（ＡＣ＿１３５）が作成される。

ＡＣ＿４５信号とＡＣ＿１３５信号は、角度判別信号作成回路５１０が出力する確度判別信号（ａｎｇｌｅＳｉｇＤ）に応じて、セレクタ５０９で一方が選択される。そして、斜め方向のエッジを強調する第２の高周波信号（ＡＣ＿ＡＷＹ）として加重加算処理部１０５へ供給される。

図６は、角度判別信号作成回路５１０の構成例を示すブロック図である。
角度判別信号作成回路５１０には、ＲＡＷ信号１００からＯＧ信号作成部１０１が作成したＤＣ＿ＯＧ信号が入力される。４５度線を強調するバンドパスフィルタ６０１（Ｄ１３５−ＢＰＦ）と、絶対値回路(ABS)６０２により、ＤＣ＿ＯＧ信号から４５度線検出信号を作成する。また、１３５度線を強調するバンドパスフィルタ（Ｄ４５−ＢＰＦ）６０３と絶対値回路(ABS)６０４により、ＤＣ＿ＯＧ信号から１３５度線検出信号を作成する。

減算器６０５は、絶対値回路６０２の出力する４５度線検出信号から、絶対値回路６０４の出力する１３５度線検出信号を減算する。この減算結果が、角度判別信号（ａｎｇｌｅＳｉｇＤ）としてセレクタ５０９へ供給される。セレクタ５０９は、角度判別信号（ａｎｇｌｅＳｉｇＤ）が正ならＡＣ＿４５信号を、負ならＡＣ＿１３５信号を選択、出力する。

（第３の輝度信号作成処理）
加重加算処理部１０５は、上述したようにして作成された第１の高周波信号（ＡＣ＿ＯＧ）及び第２の高周波信号（ＡＣ＿ＳＷＹ）を、以下の式５に従って加重加算し、第３の高周波信号（ＡＣｓｉｇ）を作成する。

ここで、SWYUseRatioは加重加算係数である。

図２２は、加重加算処理部１０５の構成例を示す図である。本実施形態において、加重加算係数SWYUseRatioは、第１〜第５の加重加算係数SWYUseRatio_1〜SWYUseRatio_5に基づいて算出される。

SWYUseRatio_1算出回路１０５４〜SWYUseRatio_5算出回路１０５８は、第１〜第５の加重加算係数SWYUseRatio_1〜SWYUseRatio_5を計算する。SWYUseRatio算出回路１０５９は、第１〜第５の加重加算係数SWYUseRatio_1〜SWYUseRatio_5から最終的な加重加算係数SWYUseRatioを算出する。そして、SWYUseRatio算出回路１０５９は、SWYUseRatio/128及び（１ーSWYUseRatio/128）を係数として乗算器１０５２及び１０５１に与える。乗算器１０５２及び１０５１は、ＡＣ＿ＯＧ信号とＡＣ＿ＳＷＹ信号にそれぞれ係数を乗じて出力する。乗算器１０５２及び１０５１の出力は加算器１０５３で加算され、加算結果はＤＣ＿ＯＧ信号と加算するため加算器１０６へ出力される。

以下、加重加算係数SWYUseRatioの算出方法を説明する。
（１）SWYUseRatio_1の算出
図１７は、本実施形態の輝度信号作成装置が、図２１と同様の周波数空間において、ＯＧ信号とＳＷＹ信号とをそのように使用するかを説明する図である。ここで、第１の高周波信号（ＡＣ＿ＯＧ）が折り返し歪みの影響を受ける領域は斜め領域１７００である。よって、領域１７００を第２の高周波信号（ＡＣ＿ＳＷＹ）で置換すれば、折り返し歪みのない高周波信号が作成できる。よってＡＣ＿ＳＷＹ信号作成時に用いた角度判別信号を用いることで、加重加算係数を算出できる。

ＡＣ＿ＳＷＹ算出時に角度判別信号作成回路５１０で作成した角度判別信号ａｎｇｌｅＳｉｇＤは、正なら４５度線、負なら１３５度線の領域を示し、絶対値が大きいほど４５度および１３５度線に近く、小さいほど０度および９０度線に近くなる特徴を持っている。

SWYUseRatio_1算出回路１０５４の構成例を図２３に示す。SWYUseRatio_1算出回路１０５４は、第１の高周波成分検出処理部１０２から取得した角度判別信号ａｎｇｌｅＳｉｇＤの絶対値を、絶対値回路(abs)７０１で求める。そして、図７に示すような入出力特性を有するCalSwyUse1 ７０２を用い、SWYUseRatio_1を算出する。CalSwyUse1 ７０２は、演算回路であっても、テーブルであっても良い。

図７において、角度判別信号ａｎｇｌｅＳｉｇの絶対値が０からＴｈ３までの区間は、値が小さいため０度及び９０度線に近く、SWYUseRatio_1＝０が出力される。一方、角度判別信号ａｎｇｌｅＳｉｇの絶対値がＴｈ４以上の区間は値が大きいため斜め線であり、第２の高周波信号に置換えるためにSWYUseRatio_1＝１２８が出力される。ここで、１２８＝１００％を表すものとする。絶対値がＴｈ３からＴｈ４までの区間は０から１２８の範囲で線形補間された値が出力される。

（２）SWYUseRatio_2の算出
図１７における水平垂直領域１７０１は第１の高周波信号（ＡＣ＿ＯＧ）を用いる。これは、ＯＧ信号が水平もしくは垂直方向の帯域を制限させる適応的ＯＧ信号であることから、水平及び垂直の両方向に帯域制限をかけるＳＷＹ信号より解像度が向上していることが理由である。

以下に、水平及び垂直の領域を判別する手法のひとつとして、画素差分値を利用し、この大きさによりSWYUseRatio_2を算出する方法を説明する。
画素差分値の大きさは、第１の高周波成分検出処理部１０２において算出されるＤｉｆｆＨＶ信号の絶対値を用いることができる。上述の通り、被写体が縦縞の場合、ＤｉｆｆＨ信号の値は大きくなりＤｉｆｆＶ信号は０となる。また被写体が横縞の場合、ＤｉｆｆＶ信号の値は大きくなりＤｉｆｆＨ信号は０となる。従って、ＤｉｆｆＨとＤｉｆｆＶとの差であるＤｉｆｆＨＶ信号の絶対値が大きいほど、水平線か垂直線に近いことが分かる。

SWYUseRatio_2算出回路１０５５の構成例を図８に示す。SWYUseRatio_2算出回路１０５５は、第１の高周波成分検出処理部１０２から取得したＤｉｆｆＨＶ信号の絶対値を、絶対値回路(abs)８０４で求める。そして、図９に示すような入出力特性を有するCalSwyUse2 ８０５を用い、SWYUseRatio_2を算出する。CalSwyUse2 ８０５は、演算回路であっても、テーブルであっても良い。

入力信号ＤｉｆｆＨＶの絶対値が０からＴｈ５までは値が小さいため斜め線であり、SWYUserRatio_2＝２５６が出力される。Ｔｈ６以上は完全に水平及び垂直線であり、SWYUserRatio_2＝０が出力される。また、Ｔｈ５からＴｈ６までの区間では線形補間された値が出力される。

（３）SWYUseRatio_3の算出
図１７における水平及び垂直のナイキスト付近の領域（偽色領域）１７０２は、（２）と同じ理由から、第１の高周波信号（ＡＣ＿ＯＧ）を用いるのが好ましい。ナイキスト領域は、Ｇ１とＧ２信号の位相のずれを検出することで判別可能である。

SWYUseRatio_3算出回路１０５６の構成例を図１０に示す。
ＲＡＷ信号１００は、Ｚｅｒｏ挿入回路１００１において、Ｇ１以外の信号に０が挿入され、Ｚｅｒｏ挿入回路１００２においては、Ｇ２以外の信号に０が挿入される。水平及び垂直方向の補間のためのローパスフィルタ回路（１００２，１００３，１００５，１００６）により、０とされた画素に補間値が挿入される。

次に、ＨＬＰＦ１００３及び１００６の出力は減算器１００７で差分がとられ、絶対値回路１００８で絶対値が算出される。この、差分絶対値が、領域を判別するｓｉｇＤｉｆｆＧとなる。

そして、図１１に示すような入出力特性を有するCalSwyUse3 １００９を用い、SWYUseRatio_3を算出する。CalSwyUse3 １００９は、演算回路であっても、テーブルであっても良い。

入力信号ｓｉｇＤｉｆｆＧが０からＴｈ７までは値が小さいため斜め線であり、SWYUserRatio_3＝２５６が出力される。一方、Ｔｈ８以上は完全に水平及び垂直線であり、SWYUserRatio_3＝０が出力される。また、Ｔｈ７からＴｈ８までの区間では線形補間された値が出力される。

（４）SWYUseRatio_4の算出
図１７における低周波領域１７０３は、第１の高周波信号（ＡＣ＿ＯＧ）を用いるのが好ましい。低周波領域は、ＲＡＷ信号に低周波領域を検出するフィルタを適用することで検出可能である。

SWYUseRatio_4算出回路１０５７の構成例を図１２に示す。
ＲＡＷ信号１００は、ローパスフィルタ１２０１及び１２０２により、垂直方向及び水平方向の帯域が制限される。その後、水平方向のバンドパスフィルタ(H-BPF)１２０３と垂直方向のバンドパスフィルタ(V-BPF)１２０４が別々に適用される。そして減算器１２０５によって、Ｈ−ＢＰＦ１２０３の出力からＶ−ＢＰＦ１２０４の出力を減算し、絶対値回路１２０６によって絶対値がとられ、低域検出用信号（ＬｏｗＦ信号）として出力される。

そして、図１３に示すような入出力特性を有するCalSwyUse4 １２０７を用い、SWYUseRatio_4を算出する。CalSwyUse4 １２０７は、演算回路であっても、テーブルであっても良い。

入力信号ＬｏｗＦが０からＴｈ９までは値が小さいため高周波領域であり、SWYUserRatio_4＝２５６が出力される。一方、Ｔｈ１０以上は低周波領域であり、SWYUserRatio_4＝０が出力される。また、Ｔｈ９からＴｈ１０までの区間では線形補間された値が出力される。

（５）SWYUseRatio_5の算出
赤色被写体は、Ｒ画素以外の出力が０となりやすい。そのため、ＳＷＹ方式で輝度信号を作成すると、ナイキスト周波数の１／２の周波数以上で折り返し歪みが発生してしまう。そのため、赤い被写体に対し、第２の高周波信号（ＡＣ＿ＳＷＹ）は折り返し歪みの多い信号となってしまう。よって、被写体の色を判別し、色が赤の場合、斜め領域１７００であっても第１の高周波信号（ＡＣ＿ＯＧ）を用いる。

SWYUseRatio_5算出回路１０５８の構成例を図１４に示す。
色補間回路１４０１は、ＲＡＷ信号１００から予め定められた方法で画素の色補間処理を行なう。色差信号作成回路１４０２は、色補間結果のＲＧＢ値から、色差信号（Ｒ−Ｙ信号及びＢ−Ｙ信号）を作成する。色相角検出回路１４０３は、色差信号から以下の式６を用いて色相角信号θを求める。

そして、図１５に示すような入出力特性を有するCalSwyUse5 １４０４を用い、SWYUseRatio_5を算出する。CalSwyUse5 １４０４は、演算回路であっても、テーブルであっても良い。

入力信号θが０からＴｈ１１までと、Ｔｈ１４以上は赤以外であり、SWYUserRatio_5＝２５６が出力される。一方、Ｔｈ１２からＴｈ１３は赤であり、SWYUserRatio_5＝０が出力される。また、Ｔｈ１１からＴｈ１２までの区間と、Ｔｈ１３からＴｈ１４までの区間では、それぞれ線形補間された値が出力される。

（６）SWYUseRatioの算出
以上のようにして算出されたSWYUseRatio_1からSWYUseRatio_5から、SWYUseRatio算出回路１０５９によって最終的なSWYUseRatioを算出する。

SWYUseRatio算出回路１０５９の構成例を図１６に示す。
SWYUseRatio_1（１６００）とSWYUseRatio_2（１６０１）が乗算器１６０５で乗算された後、シフター１６０６により右方向に８ビットシフト演算される。シフター１６０６により、乗算器１６０５の出力値は１／２５６にされる。

SWYUseRatio_3（１６０２）、SWYUseRatio_4（１６０３）、SWYUseRatio_5（１６０４）についても、それぞれ乗算器１６０７、１６０９、１６１１で乗算された後、シフター１６０８、１６１０、１６１２で１／２５６される。

これにより、０〜１２８の値を有するSWYUseRatioが得られる。さらに、SWYUseRatioは、除算器１６１３で１／１２８されて乗算器１０５２へ与えられる。また、減算器１６１４で（１−SWYUseRatio）を求め、乗算器１０５１に与える。

乗算器１０５１、１０５２は、ＡＣ＿ＯＧ信号とＡＣ＿ＳＷＹ信号にそれぞれ係数を乗じて出力する。この出力を加算器１０５３で加算することで、式（５）のＡＣｓｉｇ（第３の高周波信号）が得られる。

以上説明したように、本実施形態によれば、ＯＧ信号から作成した第１の高周波信号とＳＷＹ信号から作成した第２の高周波信号を加重加算し、ベースとなる輝度信号であるＤＣ＿ＯＧ信号に加算する。従って、従来のように、算出方法の異なる輝度信号の切り替わり点が、後段で行なわれるエッジ強調処理によって強調されることがない。

更に、本実施形態では、垂直及び水平方向のみならず、４５度及び１３５度方向に対しても帯域制限したＳＷＹ信号を用いて第２の高周波信号を作成している。これにより、従来のＳＷＹ信号で発生する、斜め方向の輝度折りかえりを抑制することが可能となる。

更に、本実施形態では、第１の高周波信号と第２の高周波信号の使用率を決定する斜め線判別信号を、ＯＧ信号を用いて検出する。そのため、例えば赤色被写体領域は斜め領域でもＯＧ信号が使われるようになり、斜め領域でＳＷＹ信号を使用した際に赤被写体で生じやすい折り返し歪みを抑制することが可能となる。

更に、本実施形態では、水平及び垂直のナイキスト周波数領域については第１の高周波信号（ＡＣ＿ＯＧ）を用いることで、解像度の高い信号を得ることが可能になる。
更に、本実施形態では、低周波数領域では第１の高周波信号（ＡＣ＿ＯＧ）を用いることで、解像感の高い信号を得ることが可能になる。
更に、本実施形態では、ＳＷＹ信号が苦手とする赤色被写体に対しては、第１の高周波信号（ＡＣ＿ＯＧ）を用いるため、赤色被写体に対する折り返し歪みを抑制することができる。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態に係る輝度信号作成装置の構成例を示すブロック図である。 図１におけるＯＧ信号作成部１０１と、第１の高周波成分検出処理部１０２の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置Ｄｉｆｆ信号作成処理を説明する図である。 本発明の実施形態に係る輝度信号作成装置における加重加算係数算出回路２０９の入出力特性例を示す図である。 図１におけるＳＷＹ信号作成部１０３と、第２の高周波成分検出処理部１０４の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置における角度判別信号作成回路５１０の構成例を示すブロック図である。 本発明の実施形態に係る輝度信号作成装置におけるSWYUseRatio_1算出回路１０５４の角度判別信号−SWYUseRatio_1入出力特性を示す図である。 本発明の実施形態に係る輝度信号作成装置における、SWYUseRatio_2算出回路１０５５の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置におけるSWYUseRatio_2算出回路１０５５のＤｉｆｆＨＶ信号−SWYUseRatio_2入出力特性を示す図である。 本発明の実施形態に係る輝度信号作成装置における、SWYUseRatio_3算出回路１０５６の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置におけるSWYUseRatio_3算出回路１０５６のｓｉｇＤｉｆｆＧ−SWYUseRatio_3入出力特性を示す図である。 本発明の実施形態に係る輝度信号作成装置における、SWYUseRatio_4算出回路１０５７の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置におけるSWYUseRatio_4算出回路１０５７のＬｏｗＦ信号−SWYUseRatio_4入出力特性を示す図である。 本発明の実施形態に係る輝度信号作成装置における、SWYUseRatio_5算出回路１０５８の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置におけるSWYUseRatio_5算出回路１０５８の色相角信号−SWYUseRatio_5入出力特性を示す図である。 本発明の実施形態に係る輝度信号作成装置における、SWYUseRatio算出回路１０５９の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置が、図２１と同様の周波数空間において、ＯＧ信号とＳＷＹ信号とをどのように使用するかを説明する図である。 原色ベイヤー配列の１単位を示す図である。 OutOfGreen方式を説明する図である。 ＳＷＹ方式を説明する図である。 ＯＧ信号とＳＷＹ信号の解像可能な空間周波数特性を示す図である。 本発明の実施形態に係る輝度信号作成装置における、加重加算処理部１０５の構成例を示す図である。 本発明の実施形態に係る輝度信号作成装置における、SWYUseRatio_1算出回路１０５４の構成例を示す図である。

Claims (14)

1. 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成装置であって、
   前記撮像素子のＧ画素の信号のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成手段と、
   前記撮像素子の全色画素の信号から作成した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成手段と、
   前記被写体の信号の空間周波数に応じて前記第１の高周波信号と第２の高周波信号を加重加算し第３の高周波信号を作成する加重加算手段と、
   前記第１の輝度信号と第３の高周波信号を加算し、第３の輝度信号を作成する加算手段とを有し、
   前記加重加算手段は、前記第１の輝度信号に、空間周波数領域において４５度方向のバンドパスフィルタ処理を行った第１のバンドパス信号と、前記第１の輝度信号に、空間周波数領域において１３５度方向のバンドパスフィルタ処理を行った第２のバンドパス信号との差の絶対値が大きいほど、前記第３の高周波信号における前記第２の高周波信号の比率を高くする加重加算を行なうことを特徴とする輝度信号作成装置。
2. 前記加重加算手段は、前記撮像素子の着目画素を挟んで上下に存在する少なくとも一組の画素信号の差分値の絶対値と、前記着目画素を挟んで左右に存在する少なくとも一組の画素信号の差分値の絶対値とに基づいて前記被写体が縦縞もしくは横縞である度合いを判別し、縦縞もしくは横縞に近いほど、前記第３の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項１記載の輝度信号作成装置。
3. 前記加重加算手段は、前記Ｇ画素のうちＲ画素の両隣に存在するＧ１画素の信号の低周波成分と、Ｂ画素の両隣に存在するＧ２画素の信号の低周波成分との差分信号の絶対値が大きいほど、前記第３の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項１又は請求項２に記載の輝度信号作成装置。
4. 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号の低周波数領域を検出するフィルタの出力信号の絶対値信号が大きいほど前記第３の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項１乃至請求項３のいずれか１項に記載の輝度信号作成装置。
5. 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号から前記被写体の色を検出し、前記被写体の色が赤色に近いほど前記第３の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項１乃至請求項４のいずれか１項に記載の輝度信号作成装置。
6. 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、前記撮像素子の各画素の輝度信号を作成する輝度信号作成装置であって、
   前記撮像素子のＧ画素のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成手段と、
   前記撮像素子の全色画素の信号の水平、垂直及び４５度方向の帯域を制限した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成手段と、
   前記撮像素子の全色画素の信号の水平、垂直及び１３５度方向の帯域を制限した第３の輝度信号を用いて第３の高周波信号を作成する第３の高周波信号作成手段と、
   前記第２及び第３の高周波信号の一方を選択する選択手段と、
   前記第１の高周波信号と、前記第２及び第３の高周波信号のうち前記選択手段が選択した一方とを加重加算し、第４の高周波信号を作成する加重加算手段と、
   前記第１の輝度信号と第４の高周波信号とを加算し、第４の輝度信号を出力する加算手段と、を有し、
   前記選択手段は、前記第１の輝度信号の４５度方向の帯域を制限した信号の絶対値が前記第１の輝度信号の１３５度方向の帯域を制限した信号の絶対値より大きければ前記第２の高周波信号を、小さければ前記第３の高周波信号を選択することを特徴とする輝度信号作成装置。
7. 前記加重加算手段は、前記撮像素子の着目画素を挟んで上下に存在する少なくとも一組の画素信号の差分値の絶対値と、前記着目画素を挟んで左右に存在する少なくとも一組の画素信号の差分値の絶対値との差に基づいて被写体が縦縞もしくは横縞である度合いを判別し、縦縞もしくは横縞に近いほど、前記第４の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項６記載の輝度信号作成装置。
8. 前記加重加算手段は、前記Ｇ画素のうちＲ画素の両隣に存在するＧ１画素信号の低周波成分と、Ｂ画素の両隣に存在するＧ２画素信号の低周波成分との差分信号の絶対値が大きいほど、前記第４の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項６又は請求項７に記載の輝度信号作成装置。
9. 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号の低周波数領域を検出するフィルタの出力信号の絶対値信号が大きいほど、前記第４の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項６乃至請求項８のいずれか１項に記載の輝度信号作成装置。
10. 前記加重加算手段は、前記撮像素子から得られる前記被写体の信号から前記被写体の色を検出し、前記被写体の色が赤色に近いほど前記第４の高周波信号における前記第１の高周波信号の比率を高くする加重加算を行なうことを特徴とする請求項６乃至請求項９のいずれか１項に記載の輝度信号作成装置。
11. 原色ベイヤー配列の色フィルタを備えた撮像素子と、
    請求項１乃至請求項１０のいずれか１項に記載の輝度信号作成装置を備える撮像装置。
12. 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成方法であって、
    前記撮像素子のＧ画素の信号のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成工程と、
    前記撮像素子の全色画素の信号から作成した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成工程と、
    前記被写体の信号の空間周波数に応じて前記第１の高周波信号と第２の高周波信号を加重加算し第３の高周波信号を作成する加重加算工程と、
    前記第１の輝度信号と第３の高周波信号を加算し、第３の輝度信号を作成する加算工程とを有し、
    前記加重加算工程は、前記第１の輝度信号に、空間周波数領域において４５度方向のバンドパスフィルタ処理を行った第１のバンドパス信号と、前記第１の輝度信号に、空間周波数領域において１３５度方向のバンドパスフィルタ処理を行った第２のバンドパス信号との差の絶対値が大きいほど、前記第３の高周波信号における前記第２の高周波信号の比率を高くする加重加算を行なうことを特徴とする輝度信号作成方法。
13. 原色ベイヤー配列の色フィルタを備えた撮像素子によって得られた被写体の信号から、輝度信号を作成する輝度信号作成方法であって、
    前記撮像素子のＧ画素のみから作成した第１の輝度信号を用いて第１の高周波信号を作成する第１の高周波信号作成工程と、
    前記撮像素子の全色画素の信号の水平、垂直及び４５度方向の帯域を制限した第２の輝度信号を用いて第２の高周波信号を作成する第２の高周波信号作成工程と、
    前記撮像素子の全色画素の信号の水平、垂直及び１３５度方向の帯域を制限した第３の輝度信号を用いて第３の高周波信号を作成する第３の高周波信号作成工程と、
    前記第２及び第３の高周波信号の一方を選択する選択工程と、
    前記第１の高周波信号と、前記第２及び第３の高周波信号のうち前記選択工程が選択した一方とを加重加算し、第４の高周波信号を作成する加重加算工程と、
    前記第１の輝度信号と第４の高周波信号とを加算し、第４の輝度信号を出力する加算工程とを有し、
    前記選択工程は、前記第１の輝度信号の４５度方向の帯域を制限した信号の絶対値が前記第１の輝度信号の１３５度方向の帯域を制限した信号の絶対値より大きければ前記第２の高周波信号を、小さければ前記第３の高周波信号を選択することを特徴とする輝度信号作成方法。
14. コンピュータに、請求項１２又は請求項１３記載の輝度信号作成方法の各工程を実行させるためのプログラム。

Images