JP2004198715A

JP2004198715A - 自動焦点調節装置

Info

Publication number: JP2004198715A
Application number: JP2002366846A
Authority: JP
Inventors: Eiichiro Ikeda; 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15
Anticipated expiration: 2022-12-18
Also published as: JP4208563B2

Abstract

【課題】人物等を撮影した場合でも精度のよいオートフォーカスを可能とする。
【解決手段】被写体像の撮像素子上への合焦状態を調節するためのフォーカスレンズ１０１と、フォーカスレンズを所定のステップで移動させながら、各ステップ毎に被写体像を撮影して、複数枚の画像信号を生成する撮像部と、撮像部の出力信号から輝度信号と色信号を作成する信号処理部と、輝度信号から第１の高周波信号を検出する高周波信号検出部１０６と、色信号から肌色を検出する肌色検出部１０８と、肌色検出部の検出結果に基づいて、第１の高周波信号に乗算するゲインを決定するゲイン決定部１０９と、ゲイン決定部により決定されたゲインを第１の高周波信号に乗算して、第２の高周波信号を出力する乗算部１１１と、第２の高周波信号に基づいてフォーカスレンズの合焦位置を判定する合焦位置判定部１１３とを具備する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置における自動焦点調節技術に関するものである。
【０００２】
【従来の技術】
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、被写体の映像信号により画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御してピントを合わせる方法が用いられている。この鮮鋭度の検出方法としては、バンドパスフィルタにより抽出された映像信号の高周波成分の強度や、微分回路等により映像信号を微分して得られた被写体のエッジ部におけるぼけ幅の検出強度が用いられる。
【０００３】
通常の被写体を撮影した場合、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。従来、フォーカシングレンズの制御には、この鮮鋭度が小さい場合に鮮鋭度が大きくなる方向にフォーカシングレンズをできるだけ速く移動させ、大きくなるにつれてこの速度を徐々に遅くし、鮮鋭度の山の頂上でフォーカシングレンズを精度良く停止させるいわゆる山登り法オートフォーカス（以下山登りＡＦと略す）が一般に用いられている。
【０００４】
また、もうひとつの別の制御手段として、本撮影前に、近端から無限端までフォーカスレンズ位置を徐々に動かし、その度に被写体を撮影し、その複数枚の画像を鮮鋭度検出手段に通して得た鮮鋭度のうち、もっとも鮮鋭度が大きくなる画像が得られたフォーカスレンズ位置を合焦ポイントとする全スキャン方式ＡＦが用いられている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の従来のＡＦ（オートフォーカス）方法では、例えば通常の被写体として最も一般的な人物等を撮影した場合に、例えば測距エリア内に顔アップの映像があった場合、顔は、建物など構造物と異なり平坦であるため、測距エリアの映像信号が低コントラスト状態となり、フォーカシングレンズを合焦点において精度良く停止させることができない問題点がある。これは、主に、フォーカシングレンズの移動量に対して低コントラスト被写体の鮮鋭度信号の変化が少ないためである。
【０００６】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、人物等を撮影した場合でも精度のよいオートフォーカスを可能とすることである。
【０００７】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる自動焦点調節装置は、被写体像の撮像素子上への合焦状態を調節するためのフォーカスレンズと、該フォーカスレンズを所定のステップで移動させながら、各ステップ毎に被写体像を撮影して、複数枚の画像信号を生成する撮像手段と、該撮像手段の出力信号から輝度信号と色信号を作成する信号処理手段と、前記輝度信号から第１の高周波信号を検出する高周波信号検出手段と、前記色信号から肌色を検出する肌色検出手段と、該肌色検出手段の検出結果に基づいて、前記第１の高周波信号に乗算するゲインを決定するゲイン決定手段と、該ゲイン決定手段により決定されたゲインを前記第１の高周波信号に乗算して、第２の高周波信号を出力する乗算手段と、前記第２の高周波信号に基づいて前記フォーカスレンズの合焦位置を判定する合焦位置判定手段とを具備することを特徴としている。
【０００８】
【発明の実施の形態】
以下、本発明の好適な一実施形態について説明する。
【０００９】
まず、本実施形態の概要について説明する。
【００１０】
本実施形態の自動焦点調節装置は、被写体像の撮像素子上への合焦状態を調節するためのフォーカスレンズと、該フォーカスレンズを所定のステップで移動させながら、各ステップ毎に被写体像を撮影して、複数枚の画像信号を生成する撮像手段と、該撮像手段の出力信号から輝度信号と色信号を作成する信号処理手段と、前記輝度信号から第１の高周波信号を検出する高周波信号検出手段と、前記色信号から肌色を検出する肌色検出手段と、該肌色検出手段の検出結果に基づいて、前記第１の高周波信号に乗算するゲインを決定するゲイン決定手段と、該ゲイン決定手段により決定されたゲインを前記第１の高周波信号に乗算して、第２の高周波信号を出力する乗算手段と、前記第２の高周波信号に基づいて前記フォーカスレンズの合焦位置を判定する合焦位置判定手段とを備える。
【００１１】
また、本実施形態の自動焦点調節装置において、前記高周波信号検出手段は、バンドパスフィルタを備え、該バンドパスフィルタの出力の絶対値のピーク値を出力することが好ましい。
【００１２】
また、本実施形態の自動焦点調節装置において、前記高周波信号検出手段は、バンドパスフィルタを備え、該バンドパスフィルタの出力の絶対値の和を出力することが好ましい。
【００１３】
また、本実施形態の自動焦点調節装置において、前記肌色検出手段は、前記撮像素子からの色信号から色相角を算出し、予め設定した肌色の色相角度範囲内にあれば肌色であると検出することが好ましい。
【００１４】
また、本実施形態の自動焦点調節装置において、前記ゲイン決定手段は、前記肌色検出手段より得られた被写体色相角と、予め設定した肌色色相角との差分に基づいて補正ゲインを算出することが好ましい。
【００１５】
また、本実施形態の自動焦点調節方法は、被写体像の撮像素子上への合焦状態を調節するためのフォーカスレンズを所定のステップで移動させながら、各ステップ毎に被写体像を撮影して、複数枚の画像信号を生成する撮像工程と、該撮像工程における出力信号から輝度信号と色信号を作成する信号処理工程と、前記輝度信号から第１の高周波信号を検出する高周波信号検出工程と、前記色信号から肌色を検出する肌色検出工程と、該肌色検出工程における検出結果に基づいて、前記第１の高周波信号に乗算するゲインを決定するゲイン決定工程と、該ゲイン決定工程において決定されたゲインを前記第１の高周波信号に乗算して、第２の高周波信号を出力する乗算工程と、前記第２の高周波信号に基づいて前記フォーカスレンズの合焦位置を判定する合焦位置判定工程とを備える。
【００１６】
また、本実施形態の自動焦点調節方法において、前記高周波信号検出工程では、バンドパスフィルタの出力の絶対値のピーク値を出力することが好ましい。
【００１７】
また、本実施形態の自動焦点調節方法において、前記高周波信号検出工程では、バンドパスフィルタの出力の絶対値の和を出力することが好ましい。
【００１８】
また、本実施形態の自動焦点調節方法において、前記肌色検出工程では、前記撮像素子からの色信号から色相角を算出し、予め設定した肌色の色相角度範囲内にあれば肌色であると検出することが好ましい。
【００１９】
また、本実施形態の自動焦点調節方法において、前記ゲイン決定工程では、前記肌色検出工程において得られた被写体色相角と、予め設定した肌色色相角との差分に基づいて補正ゲインを算出することが好ましい。
【００２０】
また、本実施形態のプログラムは、上記の自動焦点調節方法をコンピュータに実行させる。
【００２１】
以下、本発明の一実施形態について、図面を参照して具体的に説明する。
【００２２】
図１は一実施形態の撮像装置におけるＡＦ（オートフォーカス）制御ブロックの回路の概略図である。この図を用いてＡＦ装置のおおまかな動作説明を行なう。
【００２３】
被写体（不図示）からの光は、フォーカスレンズ群を含むレンズ１０１をとおり、ＣＣＤ撮像素子１０２に結像される。ＣＣＤ１０２からの出力信号は、ホワイトバランス（ＷＢ）ブロック１０３にて各色フィルタのゲインが調整される。ホワイトバランスブロック１０３から出力された信号は、Ｙ−ＬＰＦブロック１０４にて、水平垂直に適当なＬＰＦ（ローパスフィルタ）がかけられ帯域制限され、各水平ライン毎に、ＢＰＦ（バンドパスフィルタ）回路１０５にて高周波信号が検出される。次に各水平ライン毎にＢＰＦ回路１０５の出力信号のピーク値がピークホールド回路１０６にて出力され、これが第１の高周波信号となる。
【００２４】
一方、ホワイトバランスブロック１０３から出力された信号は色変換ＭＴＸ（マトリックス）回路１０７にて色差信号Ｃｒ、Ｃｂに変換され、肌色相角検出ブロック１０８において肌色か肌色でないか検出される。肌色相角検出ブロック１０８の出力によって、第１の高周波信号にかけるゲインが補正ゲイン算出ブロック１０９にて決定される。
【００２５】
次に、第１の高周波信号が乗算器１１１において補正され第２の高周波信号となり、一旦メモリ１１２に記録される。予め設定された測距エリア内の全ての水平ラインにおいて上述の高周波信号が作られメモリに記録され、全ラインの高周波信号の和をとる。
【００２６】
フォーカスレンズ駆動部１１４は全てのＡＦステップポイント（フォーカスレンズの動きえるポイント）にて、上記高周波信号の和を算出した後、合焦位置判定ブロック１１３にて最も高周波信号の和が大きいステップポイントを合焦位置と判定し、フォーカスレンズ駆動部１１４にてフォーカスレンズを合焦位置に動かす。その後、本撮影（本明細書では説明しない）をはじめる。
【００２７】
図２は、ＡＦ装置の動作フローチャートである。以下、図１及び図２を参照して、ＡＦ装置の動作の詳細を説明する。
【００２８】
(ステップＳ１)
シャッターが半押しされると、フォーカスレンズ１０１の位置を駆動するフォーカスレンズ駆動部１１４が、フォーカスレンズを近端から無限端まで予め設定されたステップで動かす。
【００２９】
(ステップＳ２)
各ステップ（フォーカスレンズの各移動位置）毎に、被写体を撮影し、図６のように予め設定された測距エリアの撮像信号を撮像素子１０２から読みだす。（以下、各ステップ毎に撮影された信号すべてに対して実施する）
(ステップＳ３)
ホワイトバランスブロック１０３にて各色フィルタ毎にホワイトバランスゲインがかけられる。
【００３０】
(ステップＳ４)
輝度信号作成ブロック（Ｙ−ＬＰＦ回路)１０４にて、色フィルタの感度ばらつき補正のために、例えば
【００３１】
【数１】

のような２×２のフィルタがかけられ、輝度信号が作成される。
【００３２】
(ステップＳ５)
輝度信号作成ブロック１０４からの輝度信号に、測距エリア１ライン毎にバンドパスフィルタ１０５をかける。なお、本実施形態では、回路を簡略化するために、１ライン毎のバンドパスフィルタとしているが、ディレイラインを設定して３ライン、５ラインとライン数を増やし、２次元のバンドパスフィルタをかけるほうがより正確なコントラスト信号が得られる。
【００３３】
(ステップＳ６)
図５のようにバンドパスフィルタ後の信号より、PeakHold回路１０６により回路絶対値のピーク信号を保持し、測距エリア内の全ての水平ラインのピーク信号の和を算出し、これを第１のコントラスト信号とする。なお、ピーク信号の和でなく、バンドパスフィルタ出力の絶対値の積分値を用いてもよい。
【００３４】
(ステップＳ７)
一方、色信号作成ブロックにて、ホワイトバランス後の信号を、色マトリクス回路１０７にてＲ−Ｙ、Ｂ−Ｙ信号に変換する。
【００３５】
(ステップＳ８)
測距エリア内の色差信号を加算平均する。
【００３６】
次に、本実施形態の特徴点である、コントラスト信号補正部の説明をする。
【００３７】
ステップＳ６からの第１のコントラスト信号と、ステップＳ８からの色差信号を用いて、コントラスト補正を実施する。これは、被写体が人の顔などの場合は、コントラスト信号が弱くなってしまうのを防ぐためである。色差信号から肌色を検出し、肌色と判定された場合は、第１のコントラスト信号を強調するゲインをかける。以下に、このコントラスト信号補正部を詳細に説明する。
【００３８】
(ステップＳ９)
測距エリア内の色差信号の平均(aveＲ−Ｙ、aveＢ−Ｙ)を算出し、
ChromaHue＝tan^-1（（aveＲ−Ｙ）／（aveＢ−Ｙ））
の式で色相角(ChromaHue)を作成する。この演算は、肌色相角検出回路１０８により行なわれる。
【００３９】
(ステップＳ１０)
図３のような色差空間上で、予め設定した肌色の色相角（ChromaSkin）とChromaHueが同じ場合にGainＭＡＸとし、肌色の色相角から離れるにつれ補正ゲイン（ContrastCorrectGain）を小さくし、予め設定した色相角（θTh）以上離れるとゲインをGainMin(＝１)とするコントラスト補正ゲインを出力する。この演算は、補正ゲイン算出回路１０９により行なわれる。
【００４０】
例えば、
０＝|ChromaHue−ChromaSkin|
のとき、
ContrastCorrectGain＝GainＭＡＸ(＝２.０)
θTh≦|ChromaHue−ChromaSkin|
のとき、
ContrastCorrectGain＝GainMin(＝１.０)
θTh＞|ChromaHue−ChromaSkin|＞０
のとき、
ContrastCorrectGain＝ａ×|ChromaHue−ChromaSkin|＋b
の線形１次式で算出する。
【００４１】
更に、本実施形態では、よりＡＦ検出の精度を向上させるために、コントラスト補正ゲインの最大値GainＭＡＸを、フォーカスレンズ位置によって変化させる。これは、主に人物撮影などの場合、被写体は比較的近い距離に存在する場合が多いため、ＡＦステップの近側のGainＭＡＸを無限側のGainＭＡＸより大きい値に設定する。例えば、図４のような特性をもつグラフを用いて、ＡＦステップ位置によってGainＭＡＸを変化させる。
【００４２】
(ステップＳ１１)
コントラスト信号補正部（色変換ＭＴＸ回路１０７、肌色相角検出回路１０８、補正ゲイン算出回路１０９を備える）より算出された補正ゲインをコントラスト検出部（Ｙ−ＬＰＦ回路１０４、ＢＰＦ１０５、PeakHold回路１０６を備える）からの第１のコントラスト信号にかける（乗算器１１１により行なわれる）ことにより肌補正後の第２のコントラスト信号を作成する。
【００４３】
(ステップＳ１２)
複数のＡＦステップ位置によって得られた第２のコントラスト信号のピーク値を検出し、合焦位置判定回路１１３によりそのポイントを合焦ポイントと判断し、フォーカスレンズ１０１を移動する。なお、コントラスト信号のピーク信号ではなく、ピークから任意の数のステップポイントを選択し、その平均を合焦位置と判断してもよい。
【００４４】
上述のように、本実施形態によれば、人物等を撮影して顔面の映像が低コントラスト状態になった場合でも、肌色の色相角を判別し、肌と判定されたコントラスト信号を強調するコントラスト補正部を備えているため、より正確なオートフォーカスが実現できる。
【００４５】
また、本実施形態では、ステップＳ８、Ｓ９により、測距エリア内の色差信号の平均値を算出し、その色差信号からの色相角でコントラスト補正ゲインを求め、各ステップ毎に算出されたコントラスト信号を補正しているが、各ステップの各水平ライン毎に求めたバンドパスピーク信号に、各ライン毎に算出した色相角よる肌補正ゲインをかけ、その補正コントラスト信号の積分値（測距エリア内）を用いて合焦位置を判定してもよい。
【００４６】
以上説明したように、上記の実施形態によれば、予め決められたステップでフォーカスレンズを近側から無限側まで動かしながら被写体を複数枚撮影し、その撮像信号から輝度信号と色信号を作成し、輝度信号より合焦判定用の高周波信号を検出し、色信号から被写体が肌色であった場合に、前記合焦用高周波信号のゲインをアップする構成をとるため、人物の顔アップなどの場合に、合焦判定用高周波信号の振幅を大きくすることが可能となり、より正確なオートフォーカスが実現できる。
【００４７】
【他の実施形態】
本発明は、複数の機器から構成されるシステムに適用しても良いし、また、単体の機器から成る装置に適用しても良いしＬＡＮなどのネットワークを介して処理が行われるシステムに適用しても良い。
【００４８】
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、人物等を撮影した場合でも精度のよいオートフォーカスを可能とすることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態におけるＡＦ制御ブロックの回路の概略図である。
【図２】一実施形態の合焦装置の動作フローチャートである。
【図３】肌色判定および補正ゲイン設定を示した図である。
【図４】ＭＡＸゲインの設定例を示した図である。
【図５】バンドパスフィルタの出力波形を示す図である。
【図６】撮像エリアと測距エリアを示した図である。
【符号の説明】
１０１フォーカスレンズ群
１０２ＣＣＤ撮像素子
１０３ホワイトバランス回路
１０４輝度ノッチ回路
１０５バンドパスフィルタ
１０６ピークホールド、高周波信号検出回路
１０７色変換マトリクス回路
１０８色相角検出回路
１０９高周波信号補正ゲイン算出回路
１１１ゲイン回路（乗算回路）
１１２メモリ
１１３合焦位置判定ブロック
１１４フォーカスレンズ駆動部

Claims

被写体像の撮像素子上への合焦状態を調節するためのフォーカスレンズと、
該フォーカスレンズを所定のステップで移動させながら、各ステップ毎に被写体像を撮影して、複数枚の画像信号を生成する撮像手段と、
該撮像手段の出力信号から輝度信号と色信号を作成する信号処理手段と、
前記輝度信号から第１の高周波信号を検出する高周波信号検出手段と、
前記色信号から肌色を検出する肌色検出手段と、
該肌色検出手段の検出結果に基づいて、前記第１の高周波信号に乗算するゲインを決定するゲイン決定手段と、
該ゲイン決定手段により決定されたゲインを前記第１の高周波信号に乗算して、第２の高周波信号を出力する乗算手段と、
前記第２の高周波信号に基づいて前記フォーカスレンズの合焦位置を判定する合焦位置判定手段とを具備することを特徴とする自動焦点調節装置。