JP7799670B2 - 画像処理装置及び方法、撮像装置、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像処理装置及び方法、撮像装置、プログラム及び記憶媒体に関し、特に美肌補正処理における補正量の制御に関する。

従来から、撮影時に人物の顔に対して美肌処理を施して記録する撮像装置が知られている。美肌処理は、肌荒れの低減や、くすみ、しみの除去等、肌を滑らかに表現する処理であり、処理を施した部分は解像感が低下するため、適切な効果レベルで効果をかける必要がある。

例えば、特許文献１では、撮影画像において特定の領域が検出されたときに、予め設定された補正レベルに対応付けられた補正強度で補正する技術が開示されている。

また、特許文献２では、フォーカスモードがマニュアルであって、かつフォーカス調整中のときに、特定の色相に対する輪郭補正を無効化あるいは低減する技術が開示されている。

一方で、近年では商品レビューに適した撮影モードやオートフォーカス動作がユーザーから求められている。商品レビューでは紹介する商品が主被写体となるため、人物の顔を追尾する顔優先ＡＦや画面の１点への固定フォーカスではなく、より手前にある被写体に素早くフォーカスを合わせるＡＦ（以下、「レビューＡＦ」と記す。）が求められている。

特許第５０８３１１６号公報 特開２００３－１８４５１号公報

しかしながら、レビューＡＦでは、人物の顔に対して焦点が合わない状態となることがある。一方、上述の特許文献１及び２に開示された従来技術では、顔の検出状態やフォーカスモードの設定値のみに依存して美肌処理による美肌効果の強度を決定する。そのため、レビューＡＦにより焦点の合っていない顔に対してさらに美肌処理が適用されると、期待した美肌効果量とならない、といった問題がある。

図９は、オートフォーカス動作と人物の距離についての説明図である。
図９（ａ）において、撮像装置１００は、顔優先ＡＦであれば、顔が位置する平面９０３上の位置、レビューＡＦであれば、商品が位置する平面９０２上の位置に焦点を合わせる動作を行う。この場合、人物と商品との距離が近いため、平面９０２上の位置に焦点が合っていても、美肌処理により人物に対して好適な美肌効果を得ることができる。

一方、図９（ｂ）では、図９（ａ）よりも商品がより撮像装置１００側にあり、レビューＡＦ時に焦点を合わせる位置は平面９０１上の位置となる。この場合、平面９０３上の位置にある人物には焦点が合っていない状態となっている。ところが、撮影した画像内に顔が検出された場合、焦点の合っていない顔に対してさらに美肌処理が適用されると、解像感がさらに低下し、人物がぼやけ過ぎてしまう。

本発明は上記問題点を鑑みてなされたものであり、合照状態ではない人物について、ユーザが所望する美肌効果が得られるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、画像を入力する入力手段と、前記画像における、予め決められた特徴を有する補正対象領域に対して、予め決められた補正処理の実施の有無、及び、前記補正処理を実施する場合の第１の補正量を設定する設定手段と、焦点情報に関して予め決められた条件を満たすかどうかを判定し、前記条件を満たす場合に、前記第１の補正量が予め決められた閾値以上であるかどうかを判定する判定手段と、前記判定手段により前記閾値以上であると判定された場合に、前記第１の補正量よりも小さい第２の補正量に変更する変更手段と、前記補正処理の実施が設定されている場合に、前記第２の補正量、または、前記変更手段により前記第２の補正量に変更されていなければ前記第１の補正量に基づいて、前記画像の前記補正対象領域に対して前記補正処理を実施する補正手段と、を有する。

本発明によれば、合照状態ではない人物について、ユーザが所望する美肌効果が得られるようにすることができる。

本発明の実施形態に係る撮像装置の外観を示す図。 実施形態に係る撮像装置の機能構成を示すブロック図。 第１の実施形態における美肌効果量設定処理を示すフローチャート。 第１の実施形態における美肌効果量補正処理を示すフローチャート。 第２の実施形態における美肌効果量設定処理を示すフローチャート。 第２の実施形態における顔位置とフォーカス位置との間の距離と、美肌効果量との関係を説明する図。 第３の実施形態における美肌効果量設定処理を示すフローチャート。 第４の実施形態における美肌効果量設定処理を示すフローチャート。 従来のＡＦモードにおけるフォーカス位置と被写体位置との関係を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の実施の形態における画像処理機能を有する撮像装置１００の構成を示すブロック図である。本実施の形態においては、撮像装置１００としてデジタルカメラを例にとって説明するが、カメラ機能を備える電子機器であればよく、例えば、デジタルビデオカメラ等の他のカメラであってもよいし、カメラ付き携帯電話及びカメラ付きコンピュータ、ゲーム機等であってもよい。

表示部２８は、撮像装置１００の背面に設けられ、画像や各種情報を表示する。操作部材は、撮影指示を行うためのシャッターボタン６１、各種モードを切り替えるためのモード切替スイッチ６０、電源オン／オフを切り替える電源スイッチ７２、回転操作可能なコントローラホイール７３、その他のボタン、タッチパネル等の操作部材を含む。操作部材に対する各種操作を介して、ユーザーからの指示を受け付ける。

コネクタ１１２は、接続ケーブル１１１と撮像装置１００とのコネクタである。
記録媒体２００は、メモリカードやハードディスク等の記録媒体であり、記録媒体スロット２０１に格納される。記録媒体スロット２０１に格納された記録媒体２００は、撮像装置１００との通信が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。

図２は、本実施形態における撮像装置１００の機能構成を示すブロック図である。
図２において、撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。また、シャッター１０１は、絞り機能を備えるシャッターである。なお、ここでは、撮影レンズ１０３は撮像装置１００に一体的に構成されているものとして説明するが、本発明はこれに限られるものではなく、撮像装置１００から着脱可能な構成を有していても良い。

撮像部２２は、ＣＣＤやＣＭＯＳ素子等で構成され、Ａ／Ｄ変換処理機能を備えており、撮影レンズ１０３及びシャッター１０１を介して撮像面上に結像された光学像を電気信号に変換し、得られた電気信号をＡ／Ｄ変換して、デジタル画像信号（画像データ）を出力する。

ＡＦ評価値検出部２３は、撮像部２２から出力されたデジタル画像信号から得られるコントラスト情報や、位相差情報等からＡＦ評価値を算出し、得られたＡＦ評価値をＡＦ評価値検出部２３からシステム制御部５０に出力する。なお、位相差情報を出力する場合、撮像部２２を構成する画素は、少なくともその一部が、受光領域が偏っている、または複数の受光領域に分かれている等、位相差情報を取得可能に構成されている。

バリア１０２は、撮像装置１００の、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系を覆うことにより、撮像系の汚れや破損を防止する保護部材である。
フラッシュライト９０は、撮影時に発光させることにより低照度シーンの撮影時や逆光シーンの撮影時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、または、メモリ制御部１５からの画像データに対して、所定の画素補間処理、縮小／拡大といったリサイズ処理、色変換処理、美肌処理等の各種画像処理を行う。また、画像処理部２４は、撮像して得られた画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果に基づいてシステム制御部５０が、露光制御、焦点制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。なお、ＡＦ評価値検出部２３の代わりに、画像処理部２４においてＡＦ（オートフォーカス）処理を行っても良い。

また、画像処理部２４では更に、撮像部２２により撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

撮像部２２から出力された出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねており、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備え、撮像部２２から出力された画像データや、表示部２８に表示するための画像データを格納する。

メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３によりアナログ信号に変換され、表示部２８のＬＣＤ等の表示器上に表示される。撮像部２２でＡ／Ｄ変換され、メモリ３２に蓄積されたデジタル画像信号を、Ｄ／Ａ変換器１３においてアナログ信号に変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられ、システム制御部５０の動作用の定数、プログラム等が記憶される。この不揮発性メモリ５６に記憶されたプログラムには、本実施形態にて後述する各種フローチャートを実行するためのプログラムが含まれる。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、撮像装置１００全体を制御する。不揮発性メモリ５６に記録されたプログラムを実行することで、後述する各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、シャッターボタン６１、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部材である。また、操作部７０には、図１に示したコントローラホイール７３や、その他のボタン、タッチパネル等が含まれる。
電源スイッチ７２は、撮像装置１００の電源オン、電源オフの各モードを切り替え設定することができる。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
静止画記録モードは、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等を含む。モード切替スイッチ６０により、静止画記録モードに含まれるこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で静止画記録モードに一旦切り換えた後に、静止画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。

同様に、本実施形態においては、動画記録モードにも複数のモードが含まれており、静止画記録モードと同様の撮影モードに加えて、美肌動画モードと、商品レビュー動画モードとを含む。

美肌動画モードは、画像処理として、画像内で検出された顔に美肌処理を行うモードであり、ＡＦモード（焦点調節に関するモード）としては、デフォルトとして、撮影画角内に存在する被写体のうち、優先的に顔に焦点を合わせる顔優先ＡＦモードが設定されているものとする。ただし、美肌動画モードでは、ＡＦモードとして他のＡＦモードに変更することが可能である。

商品レビュー動画モードは、ＡＦモードとして撮影画角内に存在する被写体のうち、優先的に商品に焦点を合わせることを目的としたレビューＡＦモードが設定されたモードであり、人物や特定の被写体を追尾するのではなく、より手前に存在する物体に焦点を合わせる。一方、画像処理として、美肌処理を行うか否かを変更することが可能である。
なお、上記以外の動画記録モードにおいても、美肌処理を行うか否かを設定できるように構成しても良い。

第１シャッタースイッチ６２は、シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備動作を開始する。

第２シャッタースイッチ６３は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから、得られた画像データを画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作すること等により、表示内容に応じて適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際等に使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０は撮像装置１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したか等を判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザーの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザーの指の回転動作等を検出するものであってもよい（いわゆる、タッチホイール）。

本実施形態においては、上述した操作部７０による操作により、画像処理部２４により行われる美肌処理の実施の有無を設定することができる。美肌処理では、撮影された画像における人物の顔部分（補正対象領域）に対し、肌のシワやくすみを除去あるいは低減したり、目の隈を周囲の肌色になじませる、といった処理を行うもので、例えば、平滑化フィルターを用いた平滑化処理を含む。また、目の充血を軽減する処理や、歯を白く補正する等の処理を行うようにしてもよい。美肌処理の強度は複数の段階に分かれており、美肌効果設定値として操作部７０を用いてユーザーが設定可能となっている。設定された美肌処理の実施の有無に関する設定情報や、美肌効果設定値は、メモリ３２に保持される。
なお、美肌処理に関わる各種処理は、画像処理の技術分野においてはいずれも公知の技術であるため、ここでは詳細な説明を省略する。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、図３、図４を参照して、第１の実施形態における美肌効果量の補正処理について説明する。
図３は、第１の実施形態における撮像装置１００の美肌効果量設定処理を示すフローチャートである。なお、このフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。

美肌効果量設定処理を開始すると、システム制御部５０は、Ｓ３０１において、設定されている撮影モードを取得する。そしてＳ３０２において、取得した撮影モードを判断し、美肌動画モードの場合はＳ３０３に進み、商品レビュー動画モードの場合はＳ３０４に進み、それ以外のモードの場合は、Ｓ３０５に進む。Ｓ３０５では、美肌処理を行うかどうかを判断し、美肌処理を行う場合にはＳ３０６へ進み、行わない場合には処理を終了する。

Ｓ３０３では、ＡＦモードとして、レビューＡＦモードが設定されているかどうかを判定する（条件）。レビューＡＦモードが選択されていない場合、例えば、デフォルトの顔優先ＡＦモードが選択されているものとしてＳ３０６に進み、レビューＡＦモードが設定されていればＳ３０７に進む。

Ｓ３０６では、システム制御部５０は、設定されている美肌効果設定値を読み出し、読み出した美肌効果設定値に関連付けられた美肌効果量（補正量）を適用して、処理を終了する。

一方、Ｓ３０４では、画像処理として美肌処理を行うことが設定されているかどうかを判断し、美肌処理を行わない場合には処理を終了し、行う場合にはＳ３０７に進む。
Ｓ３０７では、美肌効果量補正処理を行う。なお、Ｓ３０７で行う美肌効果量補正処理の詳細については、図４を参照して後述する。

図４は、図３におけるＳ３０７の美肌効果量補正処理を示すフローチャートである。
美肌効果量補正処理が開始されると、システム制御部５０は、Ｓ４０１において、設定されている美肌効果設定値を取得する。次にシステム制御部５０は、Ｓ４０２において、美肌効果設定値と予め決められた基準値とを比較する。美肌効果設定値として基準値よりも強い強度が設定されている場合、システム制御部５０は、Ｓ４０３において、美肌効果設定値を基準値に変更する。なお、美肌効果設定値は必ずしも基準値に変更しなくても良く、現在設定されている美肌効果設定値よりも美肌効果を低減できる美肌効果量であればよい。

一方Ｓ４０２において、美肌効果設定値が基準値以下であると判定された場合は、Ｓ４０４において、設定されている美肌効果設定値を保持する。
その後Ｓ４０５において、システム制御部５０は、Ｓ４０３またはＳ４０４で決められた美肌効果設定値に基づいて、実際に画像に適用する美肌効果量（補正量）を算出して処理を終了する。

以上の処理により、ユーザーは、商品レビューモードと美肌処理を併用した場合においても、ＡＦモードと美肌効果設定値とに基づいて商品レビューモード用の美肌効果量を必要に応じて補正することで、好適な美肌効果の画像を得ることができる。

なお、本実施形態では、撮影モードが商品レビュー動画モードであり、かつ美肌処理を行う設定である場合と、撮影モードが美肌動画モードであり、かつＡＦのモードがレビューＡＦモードに設定されている場合の２つのケースについて説明した。ただしモード・設定の階層等はこれに限定されず、必ずしも顔が優先されないＡＦ設定と美肌処理とを併用する場合に美肌効果量を補正することが可能である。

なお、本実施形態では美肌効果設定値を補正することで美肌効果量を補正しているが、美肌効果設定値は修正せず、美肌処理における各処理の処理パラメータを直接減衰させる方法で美肌効果量を補正してもよい。

また、Ｓ３０６で美肌補正を行う際、Ｓ３０１で判定した撮影モード情報に応じて美肌効果量を異ならせてもよい。例えばＳ３０１で美肌動画モードと判定した場合は、商品レビュー動画モードと判定された場合よりも美肌効果量を抑制してもよい。これは美肌動画モードの場合、撮影者の優先順位は顔領域の画質にあると推測されるため、美肌補正による顔領域の過剰補正を抑制する必要性が高いためである。

一方で、Ｓ３０１で商品レビュー動画モードと判定した場合は、美肌動画モードと判定された場合よりも美肌効果量を抑制する形態を採用してもよい。これは商品レビュー動画モードの場合、商品の紹介が顔領域の美しさよりも優先されると推測されるため、顔領域が過剰補正となることで画像全体が失敗画像になるのを防ぐ必要性が高いためである。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、撮影画像の情報に基づいて美肌効果量を補正する場合について説明する。なお、第２の実施形態においても、第１の実施形態で説明した撮像装置１００を用いるものとして、説明を省略する。

図５は、第２の実施形態における撮像装置１００による美肌効果量設定処理を示すフローチャートである。なお、このフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。

美肌効果量補正処理を開始すると、システム制御部５０は、Ｓ５０１において、美肌処理の設定情報を取得し、Ｓ５０２において、取得した美肌処理の設定情報に基づいて、美肌処理が設定されているかどうかを判定する。美肌処理が設定されていなければ、そのまま処理を終了する。一方、Ｓ５０２において、美肌処理が設定されていると判定された場合、システム制御部５０は、処理をＳ５０３に進める。

Ｓ５０３において、システム制御部５０は、撮影画像に対して顔検出処理を実施し、検出した顔の位置の座標をメモリ３２に記憶する。次にシステム制御部５０は、Ｓ５０４において、撮影時に画像のどの位置に焦点を合わせたかを示すフォーカス位置情報を取得する。なお、Ｓ５０３の処理とＳ５０４の処理の順番は逆であってもよいし、並行して行ってもよい。そして、Ｓ５０５において、メモリ３２に記憶した顔の座標と、フォーカス位置の座標との間の画像上の距離を算出する。

システム制御部５０は、Ｓ５０６において、算出した顔の位置とフォーカス位置との間の距離が予め決められた距離以下であるか否か（条件）を判定する。予め決められた距離以下である場合はＳ５０７において美肌効果設定値に関連付けられた美肌効果量を適用し、処理を終了する。一方、Ｓ５０６において、予め決められた距離を超えると判定された場合、Ｓ５０８において美肌効果量補正処理を実施する。なお、美肌効果量補正処理としては、例えば、図４で説明した処理と同様の処理を行う。

図６は、第２の実施形態における、顔の位置とフォーカス位置との間の距離と、美肌効果量との関係を説明する図である。６０１、６０４は顔の中心位置、６０２、６０５は撮影時のフォーカス位置、６０３、６０６は顔の中心位置とフォーカス位置との間の画像上の距離を示している。

図６（ａ）では顔の中心位置６０１とフォーカス位置６０２の画像上の距離が短い。
一方、図６（ｂ）では、顔の中心位置６０４とフォーカス位置６０５の画像上の距離が長く、図６（ａ）のように距離が短い場合と比較して、顔が被写界深度内に入らずボケ気味になり易い。しかし顔検出は成功しているため、美肌処理が適用される。第２の実施形態ではこのようなシーンにおいて美肌効果量を低減するため、美肌効果が過剰にかかることを防ぐことができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態では、被写界深度に基づいて美肌効果量を補正する場合について説明する。なお、第３の実施形態においても、第１の実施形態で説明した撮像装置１００を用いるものとして、説明を省略する。

図７は、第３の実施形態における撮像装置１００による美肌効果量設定処理を示すフローチャートである。なお、このフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。また、以下の説明では、撮影レンズ１０３が撮像装置１００から着脱可能な構成を有するものとして説明する。

美肌効果量補正処理を開始すると、システム制御部５０は、Ｓ７０１において、美肌処理の設定情報を取得し、Ｓ７０２において、取得した美肌処理の設定情報に基づいて、美肌処理が設定されているかどうかを判定する。美肌処理が設定されていなければ、そのまま処理を終了する。一方、Ｓ７０２において、美肌処理が設定されていると判定された場合、システム制御部５０は、処理をＳ７０３に進める。

Ｓ７０３において、システム制御部５０は、撮像装置１００に装着された撮影レンズ１０３のレンズ情報を取得する。なお、撮影レンズ１０３が撮像装置１００と一体型のレンズである場合には、予めメモリ３２等に保存されているレンズ情報を用いる。次にＳ７０４において、システム制御部５０は、Ｆ値、焦点までの距離、フォーカス深度を含む撮影情報を取得する。

Ｓ７０５において、システム制御部５０は、レンズ情報と撮影情報とから、撮影時の被写界深度を算出し、Ｓ７０６において被写界深度が予め決められた閾値以上か否か（条件）を判定する。被写界深度が閾値以上であると判定された場合、システム制御部５０は、Ｓ７０７において美肌効果設定値に関連付けられた美肌効果量を適用し、処理を終了する。一方、Ｓ７０６で被写界深度が閾値未満と判定された場合、システム制御部５０は、Ｓ７０８において美肌効果量補正処理を実施する。なお、美肌効果量補正処理としては、例えば、図４で説明した処理と同様の処理を行う。

撮影時の被写界深度が深い場合は、人物が被写体深度内に存在する可能性が高いが、被写界深度が浅い場合は、人物が被写体深度内に存在する可能性が低いため、ボケ気味になり易い。しかし顔検出は成功しているため、美肌処理が適用される。第３の実施形態ではこのようなシーンにおいて美肌効果量を低減するため、美肌効果が過剰にかかることを防ぐことができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第４の実施形態では、被写界深度と、顔までの距離に基づいて美肌効果量を補正する場合について説明する。なお、第４の実施形態においても、第１の実施形態で説明した撮像装置１００を用いるものとして、説明を省略する。

図８は、第４の実施形態における撮像装置１００による美肌効果量設定処理を示すフローチャートである。なお、このフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムを、システムメモリ５２に展開して実行することにより実現される。また、以下の説明では、撮影レンズ１０３が撮像装置１００から着脱可能な構成を有するものとして説明する。

図８におけるＳ７０１～Ｓ７０５までの処理は、図７に示す処理と同じであるため、説明を省略する。

Ｓ８０６において、システム制御部５０は、撮影画像に対して顔検出処理を実施し、ＡＦ評価値検出部２３により検出した位相差情報に基づいて、検出した顔までの距離を求める（測距）。次にシステム制御部５０は、Ｓ８０７において、Ｓ７０３で取得した焦点までの距離と、Ｓ７０５で取得した被写界深度と、Ｓ８０６で取得した顔までの距離とに基づいて、検出した顔が、被写界深度内にあるかどうか（条件）を判定する。

Ｓ８０７において、検出された顔が、被写界深度内にある場合には、Ｓ８０８において美肌効果設定値に関連付けられた美肌効果量を適用し、処理を終了する。一方、Ｓ８０７で被写界深度内に無いと判定された場合、システム制御部５０は、Ｓ８０９において美肌効果量補正処理を実施する。なお、美肌効果量補正処理としては、例えば、図４で説明した処理と同様の処理を行う。

上述した処理では、焦点までの距離と顔までの距離をそれぞれ検出するものとして説明したが、各被写体までの距離を示す、いわゆるデフォーカスマップを生成することにより、各顔が被写界深度内あるかどうかを判定するようにしても良い。

第４の実施形態によれば、人物が被写体深度外に人物が存在し、ボケ気味にはなるが、顔検出は成功しているシーンにおいて、美肌効果量を低減するため、美肌効果が過剰にかかることを防ぐことができる。

なお、上述した第１乃至第４の実施形態においては、美肌処理を撮像装置内において行うものとして説明したが、本発明はこれに限られるものでない。例えば、コンピュータやタブレット端末等を画像処理装置として、撮像装置により撮影した画像データを取得し、取得した画像データに対して美肌処理を行うように構成してもよい。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

＜まとめ＞
本実施形態の開示は、以下の構成を含む。

（項目１）
画像を入力する入力手段と、
前記画像における、予め決められた特徴を有する補正対象領域に対して、予め決められた補正処理の実施の有無、及び、前記補正処理を実施する場合の第１の補正量を設定する設定手段と、
予め決められた条件を満たすかどうかを判定し、前記条件を満たす場合に、前記第１の補正量が予め決められた閾値以上であるかどうかを判定する判定手段と、
前記判定手段により前記閾値以上であると判定された場合に、前記第１の補正量よりも小さい第２の補正量に変更する変更手段と、
前記補正処理の実施が設定されている場合に、前記第２の補正量、または、前記変更手段により前記第２の補正量に変更されていなければ前記第１の補正量に基づいて、前記画像の前記補正対象領域に対して前記補正処理を実施する補正手段と、
を有することを特徴とする画像処理装置。
（項目２）
撮影画角内に存在する被写体のうち、撮像装置に近い被写体を選択して焦点を合わせるレビューＡＦモードを含む、焦点調節に関する複数のモードのうち、いずれかを選択する選択手段を更に有し、
前記判定手段は、前記レビューＡＦモードが選択された場合に、前記条件を満たすと判定することを特徴とする項目１に記載の画像処理装置。
（項目３）
前記判定手段は、前記補正対象領域の位置と、前記画像におけるフォーカス位置との距離が、予め決められた距離よりも長い場合に、前記条件を満たすと判定することを特徴とする項目１または２に記載の画像処理装置。
（項目４）
前記画像の撮影に用いられた撮影レンズのレンズ情報と、前記画像の撮影に用いられた撮影情報とを取得する取得手段と、
前記レンズ情報と前記撮影情報とに基づいて被写界深度を算出する算出手段と、を更に有し、
前記判定手段は、前記被写界深度が予め決められた深度よりも浅い場合に、前記条件を満たすと判定することを特徴とする項目１乃至３のいずれか１項目に記載の画像処理装置。
（項目５）
前記画像の撮影に用いられた撮影レンズのレンズ情報と、前記画像の撮影に用いられた撮影情報とを取得する取得手段と、
前記レンズ情報と前記撮影情報とに基づいて被写界深度を算出する算出手段と、
前記補正対象領域にある被写体までの距離を求める測距手段と、を更に有し、
前記判定手段は、前記撮影情報に含まれる焦点までの距離を中心とした前記被写界深度に、前記被写体までの距離が含まれない場合に、前記条件を満たすと判定することを特徴とする項目１乃至４のいずれか１項目に記載の画像処理装置。
（項目６）
前記補正対象領域として、前記画像から顔の領域を検出する検出手段を更に有し、
前記補正手段は、前記顔の領域に対して補正処理を行うことを特徴とする項目１乃至５のいずれか１項目に記載の画像処理装置。
（項目７）
前記補正処理は、平滑化処理を含むことを特徴とする項目１乃至６のいずれか１項目に記載の画像処理装置。
（項目８）
画像を撮影して出力する撮像手段と、
項目１乃至７のいずれか１項目に記載の画像処理装置と
を有することを特徴とする撮像装置。
（項目９）
画像を入力する入力工程と、
前記画像における、予め決められた特徴を有する補正対象領域に対して、予め決められた補正処理の実施の有無、及び、前記補正処理を実施する場合の第１の補正量を設定する設定工程と、
予め決められた条件を満たすかどうかを判定し、前記条件を満たす場合に、前記第１の補正量が予め決められた閾値以上であるかどうかを判定する判定工程と、
前記判定工程において前記閾値以上であると判定された場合に、前記第１の補正量よりも小さい第２の補正量に変更する変更工程と、
前記補正処理の実施が設定されている場合に、前記第２の補正量、または、前記変更工程において前記第２の補正量に変更されていなければ前記第１の補正量に基づいて、前記画像の前記補正対象領域に対して前記補正処理を実施する補正工程と、
を有することを特徴とする画像処理方法。
（項目１０）
コンピュータを、項目１乃至７のいずれか１項目に記載の画像処理装置の各手段として機能させるためのプログラム。
（項目１１）
項目１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２２：撮像部、２４：画像処理部、２８：表示部、３２：メモリ、５０：システム制御部、５２：システムメモリ、５６：不揮発性メモリ、６０：モード切替スイッチ、７０：操作部、７３：コントローラホイール、１００：撮像装置、１０３：撮影レンズ

Claims (11)

1. 画像を入力する入力手段と、
   前記画像における、予め決められた特徴を有する補正対象領域に対して、予め決められた補正処理の実施の有無、及び、前記補正処理を実施する場合の第１の補正量を設定する設定手段と、
   焦点情報に関して予め決められた条件を満たすかどうかを判定し、前記条件を満たす場合に、前記第１の補正量が予め決められた閾値以上であるかどうかを判定する判定手段と、
   前記判定手段により前記閾値以上であると判定された場合に、前記第１の補正量よりも小さい第２の補正量に変更する変更手段と、
   前記補正処理の実施が設定されている場合に、前記第２の補正量、または、前記変更手段により前記第２の補正量に変更されていなければ前記第１の補正量に基づいて、前記画像の前記補正対象領域に対して前記補正処理を実施する補正手段と、
   を有することを特徴とする画像処理装置。
2. 撮影画角内に存在する被写体のうち、撮像装置に近い被写体を選択して焦点を合わせるレビューＡＦモードを含む、焦点調節に関する複数のモードのうち、いずれかを選択する選択手段を更に有し、
   前記判定手段は、前記レビューＡＦモードが選択された場合に、前記条件を満たすと判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記補正対象領域の位置と、前記画像におけるフォーカス位置との距離が、予め決められた距離よりも長い場合に、前記条件を満たすと判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像の撮影に用いられた撮影レンズのレンズ情報と、前記画像の撮影に用いられた撮影情報とを取得する取得手段と、
   前記レンズ情報と前記撮影情報とに基づいて被写界深度を算出する算出手段と、を更に有し、
   前記判定手段は、前記被写界深度が予め決められた深度よりも浅い場合に、前記条件を満たすと判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像の撮影に用いられた撮影レンズのレンズ情報と、前記画像の撮影に用いられた撮影情報とを取得する取得手段と、
   前記レンズ情報と前記撮影情報とに基づいて被写界深度を算出する算出手段と、
   前記補正対象領域にある被写体までの距離を求める測距手段と、を更に有し、
   前記判定手段は、前記撮影情報に含まれる焦点までの距離を中心とした前記被写界深度に、前記被写体までの距離が含まれない場合に、前記条件を満たすと判定することを特徴とする請求項１に記載の画像処理装置。
6. 前記補正対象領域として、前記画像から顔の領域を検出する検出手段を更に有し、
   前記補正手段は、前記顔の領域に対して補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
7. 前記補正処理は、平滑化処理を含むことを特徴とする請求項１に記載の画像処理装置。
8. 画像を撮影して出力する撮像手段と、
   請求項１乃至７のいずれか１項に記載の画像処理装置と
   を有することを特徴とする撮像装置。
9. 画像を入力する入力工程と、
   前記画像における、予め決められた特徴を有する補正対象領域に対して、予め決められた補正処理の実施の有無、及び、前記補正処理を実施する場合の第１の補正量を設定する設定工程と、
   焦点情報に関して予め決められた条件を満たすかどうかを判定し、前記条件を満たす場合に、前記第１の補正量が予め決められた閾値以上であるかどうかを判定する判定工程と、
   前記判定工程において前記閾値以上であると判定された場合に、前記第１の補正量よりも小さい第２の補正量に変更する変更工程と、
   前記補正処理の実施が設定されている場合に、前記第２の補正量、または、前記変更工程において前記第２の補正量に変更されていなければ前記第１の補正量に基づいて、前記画像の前記補正対象領域に対して前記補正処理を実施する補正工程と、
   を有することを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。