JP5814799B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力された画像のシーンを判別し、判別したシーンに応じた画像処理を行う画像処理装置に関するものである。

従来より、画像のシーンや被写体の種類を判別し、判別したシーンや被写体の種類に応じた画像処理を行う画像処理装置が知られている。例えば、特許文献１では、入力された画像データが鮮やかなシーン（被写体）であるか否かを判別し、鮮やかなシーンの画像は高解像度で出力する画像出力装置が開示されている。

特開２０００−２５９３７２号公報

上述の特許文献１に開示された従来技術では、彩度の高い画素が所定の閾値よりも多いか否かによって鮮やかなシーンである否かを判別していた。

しかしながら、高彩度画素の割合のみに基づいてシーンを判別する方法では、ユーザ（撮影者）の知覚に合わない判別結果となる場合があった。例えば、図１１（ａ）に示した日中の明るい場所での鮮やかなシーン（通常鮮やかシーン）と図１１（ｂ）に示した色鮮やかな夜景やイルミネーションのシーン（夜景鮮やかシーン）を比較する。どちらもユーザ（撮影者）が鮮やかと感じるシーンではあるが、彩度の高い画素が画像中を占める割合は大きく異なる。図１１（ｂ）の場合では、高彩度領域は光源部分に限られるため、図１１（ａ）に比べて高彩度画素が画像に占める割合は少ない。したがって、単に画像の色情報のみに基づいてシーンを判別する従来の方法では、入力された画像が鮮やかなシーンであるか否かの判別を、日中の屋外などの明るいシーンと夜景などの暗いシーンとの両方において、人間の知覚に合わせて適切に行うことができなかった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、入力された画像が鮮やかなシーンであるか否かの判別を、明るい場所での被写体に対しても、夜景での被写体に対しても適切に行うことを可能とする画像処理装置を提供することである。

本発明に係わる画像処理装置は、入力画像に対して画像処理を行う画像処理手段と、前記入力画像に含まれる点光源を検出する点光源検出手段と、前記点光源検出手段の検出結果と前記入力画像の画像信号とに基づいて、前記入力画像が鮮やかなシーンであるか否かを判別するシーン判別手段と、前記シーン判別手段での判別結果に応じて、前記入力画像に対する画像処理を変更するように前記画像処理手段を制御する制御手段と、を備え、前記画像処理手段は、前記点光源検出手段が点光源を検出した場合、前記入力画像のうち、前記点光源に対応する領域と、前記点光源に対応しない領域とで、適用する画像処理を変更することを特徴とする。

本発明によれば、入力された画像が鮮やかなシーンであるか否かの判別を、明るい場所での被写体に対しても、夜景での被写体に対しても適切に行うことを可能とする画像処理装置を提供することが可能となる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図。 シーン判別処理の概要を示すフローチャート。 本発明の第１の実施形態に関わる点光源検出処理のフローチャート。 色相ヒストグラムの概要を示す図。 本発明の第１の実施形態に係るシーン判別部の処理を示すフローチャート。 シーン判別部が行うシーン判別処理の特性を示す図。 本発明の第２の実施形態に関わる撮像装置の構成を示すブロック図。 輪郭検出部が行う輪郭検出処理の特性を示す図。 画像のブロック分割の例を示す図。 本発明の第２の実施形態に係る点光源検出処理のフローチャート。 入力画像の例を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係るシーン判別機能を備え、シーンに応じた画像補正処理を行う画像処理装置の一例である撮像装置の構成を示すブロック図である。

図１において、１０１は被写体の光束を結像するレンズである。１０２はレンズからの光束を撮像素子に導く際に光量を調節する絞りである。１０３は入射された光束を光電変換して画像信号として出力する撮像素子である。１０４はオートゲインコントロールアンプ（ＡＧＣ）であり、撮像素子１０３からの信号を適正レベルに増幅する。１０５は輝度・色信号生成部であり、撮像素子１０３で生成された信号を輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）に変換する。１０６はホワイトバランス増幅部であり、輝度・色信号生成部１０５から出力される色信号（Ｒ，Ｇ，Ｂ）をホワイトバランスゲインに従って増幅し、増幅色信号（Ｒ’,Ｇ’,Ｂ’）を生成する。１０７は色差信号生成部であり、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成する。１０８は、色差信号に対してゲインをかけるなどの補正を行う色差信号補正部、１０９は標準テレビ信号等に変換するエンコーダである。１１０は、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）から色相信号（Ｈｕｅ）、彩度信号（Ｃｈｒｏｍａ）を算出する色相・彩度算出部である。なお、色差信号から色相、彩度を算出するには以下の式を用いる。

色相（Ｈｕｅ）＝ａｒｃｔａｎ（（Ｒ’−Ｙ）／（Ｂ’−Ｙ））
彩度（Ｃｈｒｏｍａ）＝√｛（Ｒ’−Ｙ）²＋（Ｂ’−Ｙ）²｝
１１１は色相、彩度、輝度信号から色相ヒストグラムを生成する色相ヒストグラム生成部である。１１２は画像（撮影シーン）を測光し、撮影シーンの明るさを表す評価値である測光値を出力する測光部である。１１３は入力画像中（撮影シーン）に含まれる点光源を検出する点光源検出部である。１１４は入力画像が鮮やかなシーンであるか否かを判別するシーン判別部である。１１５は撮像システム全体を制御するカメラ制御部であり、図示していないが撮像装置中の各部に指示を送り、処理を行わせることができる。

次に、図１の撮像装置の撮影動作について説明する。レンズ１０１、絞り１０２を通過した被写体像は撮像素子１０３上に結像される。撮像素子１０３に入射した光は、光電変換され、ＡＧＣアンプ１０４で適正レベルに増幅された後、輝度・色信号生成部１０５に出力される。輝度・色信号生成部１０５は、輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）を生成し、輝度信号を色相ヒストグラム生成部１１１とエンコーダ１０９へ出力し、色信号をホワイトバランス増幅部１０６へ出力する。ホワイトバランス増幅部１０６では、カメラ制御部１１５によって算出されたホワイトバランスゲインに基づいて色信号（Ｒ，Ｇ，Ｂ）を増幅し、増幅した色信号（Ｒ’，Ｇ’，Ｂ’）を色差信号生成部１０７に出力する。色差信号生成部１０７では、色信号（Ｒ’，Ｇ’，Ｂ’）から色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成し、色差信号補正部１０８及び色相・彩度算出部１１０に出力する。色相・彩度算出部１１０は、入力された色差信号に基づいて各画素の色相・彩度を算出する。色差信号補正部１０８では、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）に対して、カメラ制御部１１５によって算出された色差ゲインをかけ補正する。ここでの色差ゲインは、入力画像データが鮮やかなシーンであるか否かを判別した判別結果に基づいて、カメラ制御部１１５が決定する。シーン判別方法、及び、色差ゲインの決定方法については後述する。また、色差信号補正部１０８は、補正後の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）をエンコーダ１０９に出力する。エンコーダ１０９では、輝度信号（Ｙ）及び色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）からＮＴＳＣ等の標準テレビジョン信号を生成し、不図示の表示部へ出力する。以上が、撮影動作の概要である。

次に、本実施形態の特徴部分であるシーンの判別処理について詳しく説明する。図２にシーン判別処理の概要を示した。各ステップでの処理は、シーン判別部１１４による制御に従って、撮像装置の各部で行われる。

ステップＳ２０１では、点光源検出部１１３が、点光源検出処理を行う。ステップＳ２０２では、色相・彩度算出部１１０が、画像の平均彩度を算出し、シーン判別部１１４へ出力する。ステップＳ２０３では、色相ヒストグラム生成部１１１が、色相ヒストグラムを生成し、結果をシーン判別部１１４へ出力する。

ステップＳ２０４では、シーン判別部１１４が、点光源検出結果、画像の平均彩度、及び、色相ヒストグラムに基づいて、現在の撮影シーンが鮮やかなシーンであるか否かを判別する。ステップＳ２０５では、ステップＳ２０４での判別結果に基づいて、画像データに対して補正処理が行われ、処理が終了する。

以下、各ステップでの処理の詳細について説明する。まず、ステップＳ２０１で、点光源検出部１１３が行う点光源検出処理を図３のフローチャートを用いて説明する。

ステップＳ３０１では、測光部１１２に対して、撮影領域に対する測光を行うよう指示を出す。測光部１１２は、撮影領域内に定められた複数の小領域に対してそれぞれ測光を行い、小領域毎の測光値を点光源検出部１１３へ出力する。

ステップＳ３０２では、入力された測光値に基づいて点光源の有無を判定する。具体的には、小領域毎の測光値を比較して周囲の小領域より高い測光値（輝度値）を持つ小領域が存在し、かつ、小領域毎の測光値の平均が所定の閾値以下である場合に、点光源が検出されたと判定する。その場合、点光源が検出された事を示す情報をシーン判別部１１４へ出力する（ステップＳ３０３）。条件が満たされなかった場合は点光源が検出されなかった事を示す情報をシーン判別部１１４へ出力する（ステップ３０４）。以上が、図２のステップＳ２０１での点光源検出処理の流れである。

なお、小領域毎の測光値の比較時に、周囲の小領域より高い測光値を持つ小領域の個数を算出し、その個数が所定の閾値以上ある場合に、点光源が検出されたと判定するようにしても良い。すなわち、夜景やイルミネーションのような点光源の集合が存在するか否かを判定するようにしても良い。

次に、ステップＳ２０２における色相・彩度算出部１１０が行う平均彩度の算出方法を説明する。平均彩度の算出方法は、点光源検出結果に応じて異なる。すなわち、点光源が検出された場合、各画素のうち、その輝度Ｙが所定の閾値（Ｔｈ＿Ｙ）より高い画素についての平均彩度を算出する。一方、点光源が検出されていない場合、画像データの全画素の彩度を加算し、平均彩度を算出する。すなわち、点光源が検出されていない場合では、画像全体を用いるのに対し、点光源が検出されている場合では、光源に対応する領域のみを用いる。色相・彩度算出部１１０は、算出した平均彩度をシーン判別部１１４へ出力する。

次に、ステップＳ２０３における色相ヒストグラム生成部１１１が行う色相ヒストグラム生成処理を説明する。図４に色相ヒストグラムの例を示した。図の横軸（階級）は色相（Ｈｕｅ）であり、ここでは階級幅を１０（度）としている。縦軸は度数であり、各色相を持つ画素数を表している。

平均彩度の算出方法と同様に、色相ヒストグラムの生成方法も点光源検出結果に応じて異なる。具体的には以下のように行う。まず、点光源が検出された場合、色相ヒストグラム生成部１１１は、入力された画素の輝度Ｙが所定の閾値（Ｔｈ＿Ｙ）より高く、かつ、入力された画素の彩度が所定の閾値（Ｔｈ＿Ｃｈｒｏｍａ）より高い場合に、その画素に対応する色相の度数を加算する。逆に、入力された画素の画素値が上記の条件を満たさない場合、その画素は色相ヒストグラムには含めない。

一方、点光源が検出されていない場合、色相ヒストグラム生成部１１１は、入力された画素の彩度が所定の閾値（Ｔｈ＿Ｃｈｒｏｍａ）より高い場合に、その画素に対応する色相の度数を加算する。逆に、入力された画素の画素値が上記の条件を満たさない場合、その画素は色相ヒストグラムには含めない。すなわち、点光源が検出されていない場合では、画像中の有彩色部分を用いるのに対し、点光源が検出されている場合では、有彩色の光源に対応する領域のみを用いる。色相ヒストグラム生成部１１１は、生成した色相ヒストグラムの情報をシーン判別部１１４へ出力する。

上記のように、点光源検出結果に応じて、平均彩度や色相ヒストグラムの算出方法を変えることによって、日中か夜景かに関わらず、それぞれに適した条件でシーンの判別を行うことが可能となる。

次に、ステップＳ２０４におけるシーン判別部１１４が行う鮮やか判別処理を、図５に示したフローチャートを用いて説明する。

ステップＳ５０１では、画像データの色相の分布の広がりを表す指標である色相数を算出する。具体的には、入力された色相ヒストグラムに対して、その度数がゼロでない階級（色相）の数を色相数として算出する。

ステップＳ５０２では、算出した色相数を所定の判別閾値（Ｔｈ＿Ｈｕｅ）と比較する。色相数が設定された判別閾値より高い場合はステップＳ５０３へ進み、判別閾値以下の場合はステップＳ５０７へ進む。ただし、点光源が検出されている場合の判別閾値をＴｈ＿Ｈｕｅ（点光源）、検出されていない場合の判別閾値をＴｈ＿Ｈｕｅ（通常）とする。このとき、
Ｔｈ＿Ｈｕｅ（点光源）＜Ｔｈ＿Ｈｕｅ（通常）
が成り立つよう判別閾値を設定する。

ステップＳ５０３では、入力された平均彩度を所定の判別閾値（Ｔｈ＿ＡｖｅＣｈｒｏｍａ）と比較する。平均彩度が設定された判別閾値より高い場合は、ステップＳ５０４へ進み、判別閾値以下の場合はステップＳ５０７へ進む。ただし、点光源が検出されている場合の判別閾値をＴｈ＿ＡｖｅＣｈｒｏｍａ（点光源）、検出されていない場合の判別閾値をＴｈ＿ＡｖｅＣｈｒｏｍａ（通常）とする。このとき、
Ｔｈ＿ＡｖｅＣｈｒｏｍａ（点光源）＜Ｔｈ＿ＡｖｅＣｈｒｏｍａ（通常）
が成立するよう判別閾値を設定する。

上述のように設定される判別閾値の概要を図６に示した。図６の横軸は平均彩度、縦軸は色相数を表す。図の斜線部分、すなわち色相数と平均彩度が共に閾値以上である場合は現在の撮影シーンを鮮やかシーンと判別する。図に示したように、点光源検出結果に応じて判別閾値を異ならせる理由は、同じ彩度や同じ色相の分布であっても、明るい場所での有彩色被写体より、暗い背景にある有彩色光源の方が、より鮮やかに知覚されるからである。

ステップＳ５０４では、点光源が検出されているか否かを判定する。点光源が検出されている場合は、ステップＳ５０５へ進み、シーン判別結果が夜景鮮やかシーンであることを示す判別結果情報をカメラ制御部１１５へ出力する。点光源が検出されていない場合はステップＳ５０６へ進み、シーン判別結果が通常鮮やかシーンであることを示す判別結果情報をカメラ制御部１１５へ出力する。

ステップＳ５０７では、シーン判別結果が通常シーンであることを示す判別結果情報をカメラ制御部１１５へ出力する。以上が、鮮やか判別処理の流れである。

次に、図２のステップＳ２０３での鮮やか補正処理の内容について説明する。カメラ制御部１１５は、シーン判別部１１４でのシーン判別結果情報に基づいて、色差信号補正部１０８のパラメータを制御する。本実施形態では、色差信号補正部１０８の色差ゲインＧを制御する。色差ゲインＧとしてＧ１、Ｇ２、Ｇ３というパラメータがあり、Ｇ１＞Ｇ２＞Ｇ３≧１という関係である。ここで、シーン判別結果が通常鮮やかシーンである場合はＧ１を、夜景鮮やかシーンである場合はＧ２を、通常シーンである場合はＧ３を、色差ゲインとして設定する。即ち、鮮やかなシーンである場合には色差信号に対するゲインをより高くすることで、彩度を強調した画像に補正する。また、夜景鮮やかシーンでは、色差ゲインを高くしすぎるとノイズが目立つため、通常鮮やかシーンに比べて色差ゲインを低く設定する。

以上、説明したように、本実施形態では、撮影シーン内の点光源の有無を検出し、その結果に基づいて、鮮やかシーン判別を制御した。具体的には、点光源がある場合には、点光源に対応した領域のみを用いてシーンを判別するよう制御し、また、シーン判別閾値を低く設定するようにした。これによって、撮影シーンが、色鮮やかなイルミネーションのような夜景鮮やかシーンであっても、屋外の花のような通常鮮やかシーンであっても、それぞれに適したシーン判別処理を行うことが可能となる。

なお、上記の実施形態では、色相ヒストグラム生成時に、高輝度画素のみを色相ヒストグラムに含めるように制御する例で説明した。しかし、本発明は、光源に対応した領域が鮮やかなシーンであるか否かを判別する方法であれば、どのような方法を用いても構わない。例えば、色相ヒストグラムに加えて、彩度を階級に取った彩度ヒストグラム、輝度を階級に取った輝度ヒストグラムを生成する方法を用いても良い。この場合、彩度ヒストグラムが所定の閾値以上の階級（彩度）に分布しており、かつ、輝度ヒストグラムが所定の閾値以上の階級（輝度）に分布している時に、光源部分が鮮やかなシーンであると判別すれば良い。これにより、色相ヒストグラム生成時の処理を簡易にすることが可能となる。

また、上記の実施形態では、入力画像に対する補正として、色差信号に対するゲイン強度を制御する場合で説明したが、本発明は、シーン判別結果に応じて、入力画像に対する補正を行う制御であれば、どのような制御を行っても構わない。例えば、色差信号に対してゲインを適用する際に、シーン判別結果に加えて各画素の輝度に応じてゲイン強度を制御するようにしても良い。具体的には、シーン判別結果が夜景鮮やかシーンである場合、各画素のうち高輝度画素に対してのみ色差ゲインを適用するようにしても良い。また、各画素の輝度が高い画素ほど、ゲイン強度を上げるよう制御しても良い。また、シーン判別結果が夜景鮮やかシーンである場合、輝度信号に対して補正を行い、入力画像の暗部がより低輝度になるよう制御しても良い。このようにすることで、色鮮やかな夜景を色鮮やかに補正すると共に、ノイズを抑えることが可能となる。

また、上記の実施形態では、１フレームの入力画像の画像信号に基づいてシーンを判別する場合で説明したが、本発明は、入力画像信号に基づいて、撮影シーンを判別する方法であればどのような方法を用いても構わない。例えば、動画を撮影する場合のように連続して複数のフレーム画像が入力される場合、複数のフレーム画像の画素値の平均値を算出し、シーン判別に用いるようにしても良い。このようにすることで、点滅するイルミネーションのような時間変動のあるシーンに対しても、適切にシーンの特徴を捉えることが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態として、画像中の点光源が存在する領域を判定し、シーン判別の制御に用いる場合について説明する。

図７に本実施形態に係る撮像装置の主要な構成を示した。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態では、画像中の輪郭（エッジ）を検出する輪郭検出部７０１が新たに追加されている。輪郭検出部７０１は、点光源を検出し、その存在する領域を判定するために用いる。

以下、輪郭検出部７０１の行う画像中の輪郭（エッジ）の検出動作について説明する。輪郭検出部７０１は、輝度信号Ｙを入力すると輝度信号に対して、バンドパスフィルタと輪郭検出フィルタ（３×３画素）を通すことで、画像中の輪郭成分を抽出する。

輪郭検出フィルタについて図８を用いて説明する。図８において、（ａ）は入力画像ｆ（ｉ，ｊ）を示している。また、（ｂ）は入力画像ｆ（ｘ，ｙ）に対してかけるフィルタを示している。フィルタ処理によって生成される新しい画素ｆ’（ｘ，ｙ）は下記の式によって算出される。

上述のようにして、輪郭検出部７０１は画像中に含まれる輪郭（エッジ）を抽出した画像信号を生成する。なお、上記においてフィルタの係数を変更することで、縦横斜め方向の輪郭成分を抽出することが可能である。図８（ｃ）〜（ｆ）は各方向の輪郭検出のためのフィルタ係数例を示している。図８において（ｃ）は垂直輪郭（横線）検出フィルタ、（ｄ）は水平輪郭（縦線）検出フィルタの例である。また、（ｅ）は斜め（右下線）検出フィルタ、（ｆ）は斜め（右上線）検出フィルタの例である。ここでは、図８（ｃ）の検出フィルタを用いて、輪郭抽出をする場合で説明する。

次に、輪郭検出部７０１は、生成した画像信号を図９（ａ），９（ｂ）に示すようなブロック（８×８ブロック）に分割し、ブロック毎の輪郭信号の合計値を算出する。撮影シーンが夜景やイルミネーションである場合、輪郭信号の合計値が大きくなるのは、光源と背景の境界においてである。したがって、図９（ａ），９（ｂ）のようなシーンの場合、それぞれ、図９（ｃ），９（ｄ）の斜線で示したブロックにおいて、輪郭信号の合計値が大きくなる。このようにして、輪郭信号の抽出により、点光源の検出や点光源の存在する領域を判定する事ができる。

なお、輪郭信号の抽出による点光源検出と、第１の実施形態で説明した測光部１１２による測光結果を用いた点光源検出とを併用しても構わない。すなわち、測光部１１２による測光によって点光源が検出された場合に、その点光源が存在する領域を特定するために、輪郭信号の抽出による点光源検出を用いるようにする。

また、図９の９０１のような点光源と図９の９０２のような面積の大きな光源（面光源）とを区別する処理を行っても良い。これは、輪郭抽出の際に複数方向の輪郭線を検出することによって可能である。何故ならば、図９の９０１に示したような点光源を含むブロックでは、分割したブロック内に複数の方向（例えば、縦、横、斜め右上、斜め右下方向）の輪郭線が存在する特徴があるからである。一方、９０２に示したような面光源を含むブロックでは、何れか一方向の輪郭線（この場合は縦線）が強く検出される特徴がある。

具体的には、図８（ｃ）〜（ｆ）に示した４種類の輪郭抽出フィルタを用いて、縦線、横線、斜め右上線、斜め右下線の輪郭信号をそれぞれ抽出し、方向別に各ブロックの輪郭信号の合計値を算出する。そして、複数方向の輪郭信号の合計値が所定の閾値を超えたブロックを、点光源を含むブロックとして判定する。また、一方向の輪郭信号の合計値が所定の閾値を超えたブロックは面光源を含むブロックとして判定し、所定の閾値を超える輪郭信号の合計値が存在しないブロックは光源を含まないブロックとして判定する。以上、輪郭検出部７０１における点光源の検出処理について説明した。

次に、本実施形態におけるシーン判別処理の流れについて説明する。シーン判別処理の概要は、図２に示した第１の実施形態の場合と同様である。本実施形態での点光源検出処理を、図１０に示したフローチャートを用いて説明する。

ステップＳ１００１では、輪郭検出部７０１が、入力画像の輪郭信号を生成し、ブロック毎に輪郭信号の合計値を算出する。ステップＳ１００２では、輪郭検出部７０１が、輪郭信号の合計値を用いて点光源ブロックの数を算出する。具体的には、輪郭検出部７０１は、算出した輪郭信号の合計値が所定の閾値（Ｔｈ＿Ｅｄｇｅ）以上であるブロックを、点光源の存在する領域である点光源ブロックと見なし、その数を算出する。輪郭検出部７０１は、算出した点光源ブロックの数、及び、画像中の位置の情報をシーン判別部１１４へ出力する。なお、点光源ブロックと面光源ブロックとを区別して輪郭抽出を行った場合は、点光源ブロックに分類されたブロックのみを用い、面光源ブロックに分類されたブロックは用いない。何故ならば、面光源に分類される光源は、店舗の看板やネオンサインなど、ユーザ（撮影者）が鮮やかに撮影したいとは考えない被写体が多いためである。

ステップＳ１００３では、測光部１１２が測光を行い、測光値を算出し、シーン判別部１１４へ出力する。ステップＳ１００４では、シーン判別部１１４が点光源の有無の判定を行う。すなわち、点光源ブロック数が所定の閾値以上であり、かつ、測光値が所定の閾値以下である場合に、点光源が検出されたと判定する（ステップＳ１００５）。条件を満たさない場合は、点光源が検出されなかったと判定する（ステップＳ１００６）。

次に、ステップＳ２０２で色相・彩度算出部１１０が行う平均彩度の算出方法を説明する。第１の実施形態の場合と同様、点光源が検出された場合は点光源に対応する領域のみを用いて平均彩度を算出する。ただし、点光源に対応する領域の判定方法が第１の実施形態の場合と異なる。具体的には以下のように行う。すなわち、点光源が検出された場合、各画素のうち、その位置が点光源ブロック内にある画素のみを用いて平均彩度を算出する。一方、点光源が検出されていない場合、画像データの全画素の彩度を加算し、平均彩度を算出する。色相・彩度算出部１１０は、画像データの各画素の位置情報と輪郭検出部７０１において点光源ブロックと判定された領域の位置情報に基づいて上記の処理を行う。

次に、ステップＳ２０３で色相ヒストグラム生成部１１１が行う色相ヒストグラムの生成方法について説明する。平均彩度の算出と同様、点光源ブロックの位置の情報を用いる点が第１の実施形態の場合と異なる。すなわち、点光源が検出された場合、入力された画素の位置が点光源ブロック内であり、かつ、入力された画素の彩度が所定の閾値（Ｔｈ＿Ｃｈｒｏｍａ）より高い場合に、その画素に対応する色相の度数を加算する。逆に、入力された画素の画素値が上記の条件を満たさない場合、その画素は色相ヒストグラムには含めない。

一方、点光源が検出されていない場合、入力された画素の彩度が所定の閾値（Ｔｈ＿Ｃｈｒｏｍａ）より高い場合に、その画素に対応する色相の度数を加算する。逆に、入力された画素の画素値が上記の条件を満たさない場合、その画素は色相ヒストグラムには含めない。ステップＳ２０４、Ｓ２０５での処理内容は第１の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。

以上、説明したように、上記の実施形態では、撮影シーンが鮮やかであるか否かを判別する画像処理装置において、点光源の検出結果に基づいて鮮やかシーン判別処理を制御した。具体的には、輪郭信号の抽出により点光源検出と点光源の存在する領域を判定し、点光源がある場合には点光源に対応した領域のみを用いてシーンを判別するよう制御した。これにより、夜景やイルミネーションなどの点光源が鮮やかなものであるかを判別する精度をより高めることが可能となる。

また、上記の実施形態では、入力画像に対する補正として、色差信号に対するゲイン強度を制御する例で説明したが、本発明は、シーン判別結果に応じて、入力画像に対する補正を行う制御であれば、どのような制御を行っても構わない。例えば、輪郭検出時に点光源を含むと判別されたブロックに含まれる画素のみに対して、色差信号に対するゲイン強度を上げるよう制御しても良い。また、面積の広い光源（面光源）に対応する領域に強い色差ゲインを適用するとノイズが目立つ事から、光源に対応する領域の面積に応じて色差ゲインの強度を制御するようにしても良い。すなわち、輪郭検出時に面光源を含むと判別されたブロックは、点光源を含むと判別されたブロックに比べて、適用する色差ゲインの強度を下げるようにする。

Claims (15)

1. 入力画像に対して画像処理を行う画像処理手段と、
   前記入力画像に含まれる点光源を検出する点光源検出手段と、
   前記点光源検出手段の検出結果と前記入力画像の画像信号とに基づいて、前記入力画像が鮮やかなシーンであるか否かを判別するシーン判別手段と、
   前記シーン判別手段での判別結果に応じて、前記入力画像に対する画像処理を変更するように前記画像処理手段を制御する制御手段と、を備え、
   前記画像処理手段は、前記点光源検出手段が点光源を検出した場合、前記入力画像のうち、前記点光源に対応する領域と、前記点光源に対応しない領域とで、適用する画像処理を変更することを特徴とする画像処理装置。
2. 前記点光源検出手段は、撮影シーンに対する測光結果、前記入力画像の輝度信号、前記入力画像から抽出された輪郭信号の少なくとも一つを用いて、前記入力画像中に点光源が含まれるか否かを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記シーン判別手段は、前記点光源検出手段が点光源を検出した場合、前記入力画像のうち、前記点光源に対応する領域が鮮やかなシーンであるか否かを判別することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記点光源に対応する領域とは、前記入力画像のうち、所定の閾値以上の輝度値を持つ画素からなる領域であることを特徴とする請求項３に記載の画像処理装置。
5. 前記点光源検出手段は、前記入力画像を複数の小領域に分割し、該分割された複数の小領域毎に、点光源を含むか否かを判別することを特徴する請求項３に記載の画像処理装置。
6. 前記点光源検出手段は、前記小領域毎の測光値を比較して周囲の小領域より高い測光値を持つ小領域が存在し、かつ、小領域毎の測光値の平均が所定の閾値より小さい場合に、点光源が検出されたとすることを特徴とする請求項５に記載の画像処理装置。
7. 前記点光源検出手段は、前記小領域毎の測光値について、周囲の小領域より高い測光値を持つ小領域の個数を算出し、その個数が所定の閾値以上である場合に、点光源が検出されたとすることを特徴とする請求項５に記載の画像処理装置。
8. 前記シーン判別手段は、前記入力画像の彩度が所定のシーン判別閾値より高い場合に、前記入力画像が鮮やかなシーンであると判別するとともに、前記点光源検出手段により、点光源が検出された場合に、前記シーン判別閾値を低く設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記点光源検出手段は、前記入力画像から検出された点光源が前記入力画像に対して占める大きさの情報を出力し、前記シーン判別手段は、前記点光源の大きさの情報に基づいて、前記入力画像が鮮やかなシーンであるか否かを判別することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記画像処理手段は、前記点光源検出手段が点光源を検出した場合、前記入力画像のうち、前記点光源に対応する領域に、前記点光源に対応しない領域よりも大きな色差ゲインを適用することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 入力画像に対して画像処理を行う画像処理手段と、
    前記入力画像を複数の小領域に分割し、該分割された複数の小領域毎の測光値を比較して周囲の小領域より高い測光値を持つ小領域が存在し、かつ、小領域毎の測光値の平均が所定の閾値より小さいか否かを検出する検出手段と、
    前記検出手段の検出結果と前記入力画像の画像信号とに基づいて、前記入力画像が鮮やかなシーンであるか否かを判別するシーン判別手段と、
    前記シーン判別手段での判別結果に応じて、前記入力画像に対する画像処理を変更するように前記画像処理手段を制御する制御手段と、
    を備えることを特徴とする画像処理装置。
12. 入力画像に対して画像処理を行う画像処理手段と、
    前記入力画像を複数の小領域に分割し、該分割された複数の小領域毎の測光値について、周囲の小領域より高い測光値を持つ小領域の個数を算出し、その個数が所定の閾値以上であるか否かを検出する検出手段と、
    前記検出手段の検出結果と前記入力画像の画像信号とに基づいて、前記入力画像が鮮やかなシーンであるか否かを判別するシーン判別手段と、
    前記シーン判別手段での判別結果に応じて、前記入力画像に対する画像処理を変更するように前記画像処理手段を制御する制御手段と、
    を備えることを特徴とする画像処理装置。
13. 画像処理手段が、入力画像に対して画像処理を行う画像処理工程と、
    点光源検出手段が、前記入力画像に含まれる点光源を検出する点光源検出工程と、
    シーン判別手段が、前記点光源検出工程における検出結果と前記入力画像の画像信号とに基づいて、前記入力画像が鮮やかなシーンであるか否かを判別するシーン判別工程と、
    制御手段が、前記シーン判別工程における判別結果に応じて、前記入力画像に対する画像処理を変更するように前記画像処理手段を制御する制御工程と、を有し、
    前記画像処理工程では、前記点光源検出手段が点光源を検出した場合、前記入力画像のうち、前記点光源に対応する領域と、前記点光源に対応しない領域とで、適用する画像処理を変更することを特徴とする画像処理方法。
14. 画像処理手段が、入力画像に対して画像処理を行う画像処理工程と、
    検出手段が、前記入力画像を複数の小領域に分割し、該分割された複数の小領域毎の測光値を比較して周囲の小領域より高い測光値を持つ小領域が存在し、かつ、小領域毎の測光値の平均が所定の閾値より小さいか否かを検出する検出工程と、
    シーン判別手段が、前記検出工程における検出結果と前記入力画像の画像信号とに基づいて、前記入力画像が鮮やかなシーンであるか否かを判別するシーン判別工程と、
    制御手段が、前記シーン判別工程における判別結果に応じて、前記入力画像に対する画像処理を変更するように前記画像処理手段を制御する制御工程と、
    を有することを特徴とする画像処理方法。
15. 画像処理手段が、入力画像に対して画像処理を行う画像処理工程と、
    検出手段が、前記入力画像を複数の小領域に分割し、該分割された複数の小領域毎の測光値について、周囲の小領域より高い測光値を持つ小領域の個数を算出し、その個数が所定の閾値以上であるか否かを検出する検出工程と、
    シーン判別手段が、前記検出工程における検出結果と前記入力画像の画像信号とに基づいて、前記入力画像が鮮やかなシーンであるか否かを判別するシーン判別工程と、
    制御手段が、前記シーン判別工程における判別結果に応じて、前記入力画像に対する画像処理を変更するように前記画像処理手段を制御する制御工程と、
    を有することを特徴とする画像処理方法。