JP7619263B2 - 撮像装置、撮像方法、プログラム - Google Patents

Description

本技術は撮像装置、撮像方法、プログラムに関し、特にオートフォーカス動作とオートフォーカス動作に関する表示についての技術分野に関する。

撮像装置の分野ではオートフォーカスは広く採用されている機能であり、例えばシャッターボタンの半押し操作によりオートフォーカス動作が行われる撮像装置がある。
また近年、撮像画像の解析や被写体認識の技術を用いて、ターゲットとした被写体を追尾しながら、その被写体を対象としてオートフォーカスを行うものもある。
下記特許文献１には、オートフォーカス動作や追尾動作に関する技術が記載されている。

特開２０１５－１１１７４６号公報

ところで近年のデジタルカメラ等の撮像装置においては、静止画撮像モードと動画撮像モードが用意され、ユーザが選択的に、静止画撮像と動画撮像を実行できるようにされていることがある。
ところが静止画撮像モード中と動画撮像モード中では、適切なオートフォーカス動作やユーザに対する適切な情報提示の態様が必ずしも一致しないと考えられる。
そこで本開示では、静止画撮像モードと動画撮像モードにおいて、適切なオートフォーカス制御や表示制御が行われるようにする技術を提案する。

本技術に係る撮像装置は、撮像画像における瞳の検出を行う検出部と、静止画撮像モードにおいては、所定操作に応じて、前記検出部で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出部で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御部と、前記瞳オートフォーカス制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる制御を行う表示制御部と、を備える。
撮像画像上で検出される瞳、例えば人の瞳や動物の瞳に対してオートフォーカス制御を行う。この場合に、静止画撮像モードの場合と動画撮像モードの場合とで異なる制御が行われるようにする。

上記した本技術に係る撮像装置においては、前記表示制御部は、静止画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として瞳合焦枠を表示させ、動画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として、前記瞳合焦枠とは異なる表示態様の瞳検出枠を表示させる制御を行うことが考えられる。
瞳合焦枠と瞳検出枠は表示態様が異なる瞳枠を指すものであって、それぞれがどのような条件やタイミングで表示されるものであるかが厳密に規定されるものではない。
一例として、瞳合焦枠は、瞳に対する合焦状態をユーザに提示する場合に表示される瞳枠としている。
瞳検出枠は、少なくとも瞳が検出されている状態でユーザに提示される瞳枠であり、つまり瞳に対する合焦前でも表示される場合があり、瞳に対する合焦状態で表示される場合もある。

上記した本技術に係る撮像装置においては、前記表示制御部は、静止画撮像モードにおいては、前記所定操作に応じて前記瞳オートフォーカス制御が行われた際に、合焦に至るまでは前記瞳枠を表示させない制御を行うことが考えられる。
つまり静止画撮像モードの場合は、瞳オートフォーカスの合焦後に瞳枠が表示されるようにする。

上記した本技術に係る撮像装置においては、前記瞳検出枠と前記瞳合焦枠は、色が異なる枠表示とされることが考えられる。
例えば瞳検出枠は白の瞳枠、瞳合焦枠は緑の瞳枠などとして色を変える。

上記した本技術に係る撮像装置においては、前記所定操作はシャッターボタンの半押し操作であることが考えられる。
静止画撮像モードの場合では、シャッターボタンの半押しにより、瞳オートフォーカス制御が開始されるようにする。

上記した本技術に係る撮像装置においては、瞳オートフォーカス制御に関するモードとして、前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードと、前記瞳オートフォーカス制御の対象をユーザ操作により指定された瞳とする固定モードと、が選択可能とされており、 前記表示制御部は、動画撮像モードにおける前記瞳オートフォーカス制御で瞳に合焦していないとき、前記オートモードの場合は瞳枠を表示させず、前記固定モードの場合は、瞳枠を表示させる制御を行うことが考えられる。
例えば固定モードとしては、ユーザ操作により選択された右の瞳を対象に前記瞳オートフォーカス制御を行う右目固定モードと、ユーザ操作により選択された左の瞳を対象に前記瞳オートフォーカス制御を行う左目固定モードの一方又は両方が想定される。
動画撮像モードの場合、瞳検出に応じて瞳オートフォーカス制御が行われるが、合焦前の段階では、瞳オートフォーカス制御に関するモードに応じて瞳枠の表示の有無が変わるようにする。

上記した本技術に係る撮像装置においては、前記オートモードにおいては、一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、前記表示制御部は、動画撮像モードにおける前記瞳オートフォーカス制御で瞳に合焦していないとき、前記一時的選択状態の場合は、瞳枠を表示させる制御を行うことが考えられる。
オートモードの場合にも、一時的に瞳オートフォーカス制御の対象を固定できるようにする。例えばユーザ操作により一時的に右の瞳を対象として固定して瞳オートフォーカス制御を行うようにする一時的右目選択状態とすることや、ユーザ操作により一時的に左の瞳を対象として固定して瞳オートフォーカス制御を行うようにする一時的左目選択状態にすることなどを可能とする。
この場合に、固定モードと同様の瞳枠の表示が行われるようにする。

上記した本技術に係る撮像装置においては、前記表示制御部は、動画撮像モードにおいては、前記瞳オートフォーカス制御が行われた際に、合焦に至るまでは、前記瞳枠として瞳検出枠を表示させ、合焦に応じて前記瞳枠として前記瞳検出枠とは異なる表示態様の瞳合焦枠を表示させる制御を行うことが考えられる。
つまり動画撮像モードの場合に、瞳オートフォーカスの合焦前後で、瞳枠が瞳検出枠から瞳合焦枠に切り替わるようにする。

上記した本技術に係る撮像装置においては、前記検出部による顔検出に応じた顔枠の表示の入／切が選択可能とされ、前記表示制御部は、動画撮像モードにおいては、前記入／切の選択に応じて、顔枠の表示制御を行うことが考えられる。
例えばユーザが顔枠の表示について入／切を任意に設定できるようにする。

上記した本技術に係る撮像装置においては、瞳オートフォーカス制御に関するモードとして、前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードと、前記瞳オートフォーカス制御の対象をユーザ操作により指定された瞳とする固定モードと、が選択可能とされており、前記表示制御部は、顔枠の表示の切が選択された場合、前記オートモードの場合は、顔枠を表示させず、前記固定モードの場合は、顔枠を表示させず、瞳検出により合焦にかかわらず瞳枠を表示させる制御を行うことが考えられる。
動画撮像モードで顔枠の表示について「切」の場合、顔枠を表示させないが、モードに応じて瞳枠の表示条件が異なるようにする。

上記した本技術に係る撮像装置においては、前記オートモードにおいては、一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、前記表示制御部は、顔枠の表示の切が選択された場合、前記一時的選択状態の場合は、顔枠を表示させず、瞳検出により合焦にかかわらず瞳枠を表示させる制御を行うことが考えられる。
オートモードの場合にも、一時的に瞳オートフォーカス制御の対象を右の瞳又は左の瞳に固定できるようにする。この場合、顔枠の表示の「切」が選択されたときは、固定モードと同様の瞳枠の表示が行われるようにする。

上記した本技術に係る撮像装置においては、前記表示制御部は、顔枠の表示の切が選択された場合、前記オートモードの場合は、顔枠を表示させず、瞳に合焦することに応じて瞳枠を表示させる制御を行うことが考えられる。
オートモードの場合にも、合焦を条件として瞳枠を表示させる。

上記した本技術に係る撮像装置においては、瞳オートフォーカス制御に関するモードの１つとして、前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードが選択可能とされ、前記オートモードにおいては、一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、静止画撮像モードの場合、静止画記録を指示するレリーズ操作に応じて前記一時的選択状態が解除され、動画撮像モードの場合、前記レリーズ操作とは異なる操作に応じて前記一時的選択状態が解除されるようにすることが考えられる。
例えば静止画撮像モードの場合がシャッターボタンによるレリーズ操作、動画撮像モードにおいてはエンターボタン等の他の操作子の操作により、一時的選択状態が解除されるようにする。

上記した本技術に係る撮像装置においては、静止画撮像モードの場合は、前記オートフォーカス制御部は、瞳オートフォーカス動作を指示する操作に応じて、撮像画像全体を対象とした瞳検出に基づく前記瞳オートフォーカス制御を開始し、前記表示制御部は、合焦に応じて、瞳枠として瞳合焦枠を表示させ、動画撮像モードの場合は、前記オートフォーカス制御部は、前記操作に応じて、顔を対象とするオートフォーカス制御を、撮像画像全体を対象とした瞳検出に基づく前記瞳オートフォーカス制御に切り替え、前記表示制御部は、瞳検出に応じて、瞳枠として瞳検出枠を表示させることが考えられる。
例えばユーザが所定の操作子を用いて、瞳オートフォーカス制御を指示する操作を行うことができるようにする。

上記した本技術に係る撮像装置においては、撮像モニタ画像の表示画面に対するタッチ操作が検知可能とされ、前記オートフォーカス制御部は、静止画撮像モードの場合は、タッチ操作に応じて瞳を追尾して前記瞳オートフォーカス制御を行い、動画撮像モードの場合は、タッチ操作に応じて顔を追尾したうえで選択した瞳に対する前記瞳オートフォーカス制御を行うことが考えられる。
例えば表示部でユーザが顔の部分などをタッチすることで、追尾が開始されるようにする。

上記した本技術に係る撮像装置においては、前記オートフォーカス制御部は、静止画撮像モードの場合は、撮像モニタ画像内の顔へのタッチ操作に応じて、タッチ位置に近い側の瞳を追尾する前記瞳オートフォーカス制御を行い、撮像モニタ画像内の顔以外へのタッチ操作に応じて、タッチ位置に近い顔を追尾して顔に対するオートフォーカス制御を行うことが考えられる。
例えば表示部でユーザがタッチした位置に応じて、追尾の対象が選ばれるようにする。

本技術に係る撮像方法は、撮像画像における瞳の検出を行う検出処理と、静止画撮像モードにおいて、所定操作に応じて、前記検出処理で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出処理で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御処理と、前記瞳オートフォーカス制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる表示制御処理と、を撮像装置が行う撮像方法である。
これにより静止画撮像モードと動画撮像モードのそれぞれについて適切なオートフォーカス制御を実現し、またユーザに対する適切な表示制御を実現する。
本技術に係るプログラムは、このような撮像方法に相当する処理を演算処理装置、例えば撮像装置内の演算処理装置などに実行させるプログラムである。
これにより本開示のオートフォーカス制御や表示制御を各種の撮像装置で実行可能とする。

本技術の実施の形態の撮像装置の外観の斜視図である。 実施の形態の撮像装置の背面図である。 実施の形態の撮像装置の内部構成のブロック図である。 実施の形態のカメラ制御部の機能構成の説明図である。 実施の形態のオートフォーカス時の表示例の説明図である。 実施の形態の追尾時の表示例の説明図である。 実施の形態のフォーカスエリアアイコンの説明図である。 実施の形態の瞳ＡＦに関するモード遷移の説明図である。 第１の実施の形態の静止画撮像モード中の枠表示例の説明図である。 第１の実施の形態の動画撮像モード中の枠表示例の説明図である。 第１の実施の形態の静止画撮像モード時の処理のフローチャートである。 第１の実施の形態の静止画撮像モード時の処理のフローチャートである。 第１の実施の形態の動画撮像モード時の処理のフローチャートである。 第１の実施の形態の動画撮像モード時の処理のフローチャートである。 第２の実施の形態の動画撮像モード中の枠表示例の説明図である。 第２の実施の形態の動画撮像モード時の処理のフローチャートである。 第２の実施の形態の動画撮像モード時の処理のフローチャートである。 第３の実施の形態の動画撮像モード中の枠表示例の説明図である。 第３の実施の形態の動画撮像モード時の処理のフローチャートである。 第３の実施の形態の動画撮像モード時の処理のフローチャートである。 第４の実施の形態の瞳ＡＦ操作時の枠表示例の説明図である。 第４の実施の形態の瞳ＡＦ操作時の処理のフローチャートである。 第５の実施の形態のタッチ操作時の枠表示例の説明図である。 第５の実施の形態のタッチ操作時の枠表示例の説明図である。 第５の実施の形態の静止画撮像モード時の追尾処理のフローチャートである。 第５の実施の形態の静止画撮像モード時の追尾処理のフローチャートである。 第５の実施の形態の動画撮像モード時の追尾処理のフローチャートである。 第６の実施の形態の動画撮像モード時の処理のフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．瞳ＡＦのモード遷移＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．第５の実施の形態＞
＜８．第６の実施の形態＞
＜９．まとめ及び変形例＞

なお本開示では「オートフォーカス」の用語は「ＡＦ」とも表記する。
また撮像装置の基本的な動作モードとして、「静止画撮像モード」「動画撮像モード」がある。
「静止画撮像モード」は、撮像装置が静止画撮像／記録を行う動作モードである。静止画撮像モードの場合は、例えば表示部に撮像モニタ画像（いわゆるスルー画）として、被写体の画像が表示され、ユーザは被写体を確認できる。そしてユーザがシャッターボタン操作（レリーズ操作）を行うことで、静止画データの記録が行われる。

「動画撮像モード」は、撮像装置が動画撮像／記録を行う動作モードである。動画撮像モードの場合も、例えば表示部には撮像モニタ画像として被写体の画像が表示され、ユーザは被写体を確認できる。
そして動画撮像モードとしてスタンバイ状態とされているときに、ユーザが記録開始操作を行うことで動画記録が開始され、記録停止操作を行うことで動画記録が終了される。
また静止画撮像モードにあるとき、ユーザが記録開始操作を行うことで動画撮像モードのときはとされて動画記録が開始される場合もある。

また「瞳ＡＦ」とは、人などの瞳をターゲットとしてＡＦを行う制御および動作をさす。制御を指す場合「瞳ＡＦ制御」、動作を指す場合は「瞳ＡＦ動作」とも表記する。
ここでいう「瞳ＡＦ制御」とは、測距結果などに基づいて後述のＡＦ制御部５２が瞳をターゲットとしてフォーカスレンズを駆動する制御信号を生成し送信する処理を指す。
「瞳ＡＦ動作」とは、上記瞳ＡＦ制御およびそれによって駆動されるフォーカスレンズの動作を含めた、瞳をターゲットとするＡＦ動作全体を示す。
なお、顔をターゲットとしてＡＦを行う制御および動作を、瞳ＡＦと区別するために「顔ＡＦ」と表記する場合がある。

瞳ＡＦに関するモードとして「オートモード」「右目固定モード」「左目固定モード」がある。

「オートモード」とは、瞳を対象にオートフォーカスを行うモードであって、自動的に顔の向きなどに応じて適切な方の瞳を対象としてＡＦを行うモードである。
「右目固定モード」は、例えばユーザの操作に応じて選択されるモードで、右目の瞳（「右の瞳」と表記する場合もある）を対象としてＡＦを行うモードである。
「左目固定モード」は、例えばユーザの操作に応じて選択されるモードで、左目の瞳（「左の瞳」と表記する場合もある）を対象としてＡＦを行うモードである。
なお、「固定モード」という用語は、「右目固定モード」「左目固定モード」の総称とし、「右目固定モード」と「左目固定モード」のいずれか一方又は両方を指すものとする。

実施の形態では、オートモードにおいて、一時的に左右の瞳の自動選択が中止され、ＡＦのターゲットを固定する状態とすることができる例を挙げる。
オートモード中に一時的に右目（右目の瞳）がＡＦのターゲットとして固定的に選択されている状態を「一時的右目選択状態」、オートモード中に一時的に左目（左目の瞳）がＡＦのターゲットとして固定的に選択されている状態を「一時的左目選択状態」と呼ぶこととする。
また「一時的選択状態」という用語は、「一時的右目選択状態」と「一時的左目選択状態」の総称とし、「一時的右目選択状態」と「一時的左目選択状態」のいずれか一方又は両方を指すものとする。

このような一時的選択状態とすることのできる撮像装置を想定した場合、「オートモード」は、広義では「一時的選択状態」を含み、狭義では「一時的選択状態」を含まないものとなる。即ち狭義のオートモードとは、瞳ＡＦ制御の対象を左右の瞳のいずれにするかを自動設定するモードである。
一方、一時的選択状態が可能とされていない撮像装置の場合は、「オートモード」は広義と狭義の違いはない。

＜１．撮像装置の構成＞
図１は実施の形態の撮像装置１の前方からの斜視図、図２は背面図を示している。ここでは撮像装置１は、いわゆるデジタルスチルカメラとされ、撮像モードを切り換えることで、静止画撮像と動画撮像の両方を実行できるものとする。
なお、本実施の形態では撮像装置１は、デジタルスチルカメラに限定されず、主に動画撮像に用いられ静止画撮像も行えるビデオカメラであっても良い。

撮像装置１は、カメラ本体を構成する本体筐体１００の前方側にレンズ鏡筒２が配置され、又は着脱可能とされる。

撮像装置１の背面側（使用者側）には、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネル１０１が設けられる。
またビューファインダー１０２として、ＬＣＤや有機ＥＬディスプレイ等を用いて形成された表示部も設けられる。ビューファインダー１０２は電子式ファインダー（ＥＶＦ：Electronic View Finder）に限らず、光学式ファインダー（ＯＶＦ：Optical View Finder）でもよい。

ユーザは表示パネル１０１やビューファインダー１０２により、画像や各種情報を視認することができる。
この例では撮像装置１には表示パネル１０１とビューファインダー１０２の両方が設けられているが、これに限定されず、表示パネル１０１とビューファインダー１０２のいずれか一方のみが設けられている構成や、表示パネル１０１とビューファインダー１０２の両方またはいずれか一方が着脱可能な構成であってもよい。

撮像装置１の本体筐体１００上には、各種の操作子１１０が設けられている。
例えば操作子１１０としては、キー、ダイヤル、押圧／回転の複合操作子などの各種の形態のものが配備され、各種の操作機能を実現している。例えばメニュー操作、再生操作、モード選択操作、フォーカス操作、ズーム操作、シャッタースピードやＦ値等のパラメータの選択操作などが可能とされる。それぞれの操作子１１０に関しての詳述は避けるが、本実施の形態の場合、操作子１１０のうちでシャッターボタン１１０Ｓ、アサイナブルボタン１１０Ｃ、エンターボタン１１０Ｅを特に示している。

シャッターボタン１１０Ｓはシャッター操作（レリーズ操作）や、また半押しによるＡＦ操作に用いられる。
例えば静止画撮像モードでは、シャッターボタン１１０Ｓの半押しによりＡＦ動作が開始される。

アサイナブルボタン１１０Ｃは、カスタムボタンとも呼ばれる操作子で、ユーザが任意の操作機能を割り当てることのできるボタンである。
本実施の形態では、このアサイナブルボタン１１０Ｃには瞳ＡＦを指示する操作機能が割り当てられ、アサイナブルボタン１１０Ｃが瞳ＡＦ操作ボタンとされる場合がある。
またアサイナブルボタン１１０Ｃには、「オートモード」「右目固定モード」「左目固定モード」の切り替え操作機能が割り当てられ、アサイナブルボタン１１０Ｃがモード切り替え操作ボタンとされる場合がある。
またアサイナブルボタン１１０Ｃには、「オートモード」において「一時的右目選択状態」と「一時的左目選択状態」へ移行する操作機能が割り当てられ、アサイナブルボタン１１０Ｃがオートモード時の状態切り替え操作ボタンとされる場合がある。

なお、アサイナブルボタン１１０Ｃは一つに限らず、複数設けられてもよい。例えば上記の各機能がそれぞれ割り当てられる３つのアサイナブルボタン１１０Ｃが設けられても良い。
また上記の各機能の操作子は、アサイナブルボタン１１０Ｃではなく、予め専用に設けられた操作子として形成されてもよい。

エンターボタン１１０Ｅは、各種の決定操作に用いるボタンである。例えばメニュー画面における選択肢の決定操作などに用いられる。
本実施の形態では、エンターボタン１１０Ｅに、「一時的右目選択状態」又は「一時的左目選択状態」から一時的固定を解除して通常（狭義）のオートモードに戻るための操作機能が割り当てられる例を後述する。

シャッターボタン１１０Ｓは本体筐体１００の右側上面に配置され、例えばユーザが右手で握持部１０３を持った状態で、右手の人差し指で押圧操作可能とされている。
またアサイナブルボタン１１０Ｃは、例えば図２のように本体筐体１００の背面側上部に配置され、ユーザが右手の親指で押圧操作可能とされている。
つまりシャッターボタン１１０Ｓ、アサイナブルボタン１１０Ｃは、ユーザが右手で握持部１０３を握持する状態で本体筐体１００を持ったときに、人差し指と親指で操作できる位置に配置され、即ち、それぞれを任意に個別に押したり、同時に押したりすることができるようにされている。

なお、シャッターボタン１１０Ｓとアサイナブルボタン１１０Ｃは、必ずしも片手で同時に操作できるようにすることに限られない。例えば右手でシャッターボタン１１０Ｓを押し、左手でアサイナブルボタン１１０Ｃの操作ができるようにしてもよい。
このため、図示していないが、例えばレンズ鏡筒２にアサイナブルボタン１１０Ｃが設けられても良い。

図３はレンズ鏡筒２を含めた撮像装置１の内部構成を示している。なお、ここでは撮像装置１が本体筐体１００とレンズ鏡筒２に分かれて構成される例で述べるが、レンズ鏡筒２に相当する部分が本体筐体１００と一体化されるものであってもよい。

撮像装置１は、本体筐体１００に撮像素子（イメージセンサ）１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、電源部１８、カメラ制御部３０、メモリ部３１を有する。
またレンズ鏡筒２はレンズ系２１、ドライバ部２２、レンズ制御部２３を有する。

レンズ鏡筒２におけるレンズ系２１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。このレンズ系２１により、被写体からの光（入射光）が導かれ、撮像素子１２に集光される。

撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などとして構成される。
この撮像素子１２では、受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部３０に出力する。

カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。

前処理では、撮像素子１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。

記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルＭＦやサムネイル画像等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５は撮像者に対して各種表示を行う表示部であり、具体的には図２に示した表示パネル１０１やビューファインダー１０２を示している。
表示部１５は、カメラ制御部３０の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。また表示部１５には、カメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給されている。表示部１５はカメラ制御部３０の指示に応じて、当該撮像画像の画像データに基づいて表示を行うことで、いわゆるスルー画（撮像素子１２で受光した被写体光に基づく撮像モニタ画像）を表示させる。
また表示部１５はカメラ制御部３０の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は本体筐体１００に設けられた各種の操作子１１０（シャッターボタン１１０Ｓ、アサイナブルボタン１１０Ｃ、エンターボタン１１０Ｅを含む）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部３０へ送られる。
この操作部１７としては操作子１１０だけでなく、タッチパネルを用いてもよい。例えば表示パネル１０１にタッチパネルを形成し、表示パネル１０１に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いは操作部１７はタッチパッド等によりユーザのタップ操作等を検出する形態もある。
更に操作部１７は、別体のリモートコントローラ等の外部操作機器の受信部として構成されることもある。

電源部１８は、例えば内部に装填したバッテリーから各部に必要な電源電圧Ｖｃｃを生成し、動作電圧として供給する。
撮像装置１にレンズ鏡筒２が装着された状態では、電源部１８による電源電圧Ｖｃｃがレンズ鏡筒２内の回路にも供給されるように構成されている。
なお電源部１８には、商用交流電源に接続したＡＣアダプタにより変換されて入力される直流電圧を電源として、バッテリーへの充電を行う回路や電源電圧Ｖｃｃを生成する回路が形成されていてもよい。

カメラ制御部３０はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部３１は、カメラ制御部３０が処理に用いる情報等を記憶する。図示するメモリ部３１としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部３１はカメラ制御部３０としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部３０はメモリ部３１のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１及びレンズ鏡筒２の全体を制御する。
例えばカメラ制御部３０は、撮像素子１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒２におけるズーム、フォーカス、絞り調整等のレンズ系２１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。絞り調整に関してカメラ制御部３０は、ユーザ操作に応じたＦ値の可変制御や、自動制御（オートアイリス）としてのＦ値の指示を行う。

メモリ部３１におけるＲＡＭは、カメラ制御部３０のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部３１におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

本体筐体１００にレンズ鏡筒２が装着された状態では、カメラ制御部３０はレンズ制御部２３に対して通信を行い、各種の指示を行う。
レンズ鏡筒２においては、例えばマイクロコンピュータによるレンズ制御部２３が搭載されており、カメラ制御部３０との間で各種のデータ通信が可能とされる。本実施の形態の場合、カメラ制御部３０は、レンズ制御部２３に対してズームレンズ、フォーカスレンズ、絞り機構等の駆動指示を行う。レンズ制御部２３はこれらの駆動指示に応じてドライバ部２２を制御し、レンズ系２１の動作を実行させる。
なお本体筐体１００にレンズ鏡筒２が装着された状態では、カメラ制御部３０とレンズ制御部２３の間で有線通信が実行されるように構成されている。但し、カメラ制御部３０とレンズ制御部２３が無線通信を行うことができるように構成されてもよい。

ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはレンズ制御部２３からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

図４は、図３の構成の一部を抽出するとともに、本実施の形態の動作を行うためのカメラ制御部３０の機能を示している。
カメラ制御部３０の機能としては、ＡＦ測距部５１、ＡＦ制御部５２、画像認識部５３、操作認識部５４、表示制御部５５、アサイナブルボタン設定部５６が設けられる。
なお説明上の一例として、これらの機能がカメラ制御部３０にソフトウエアにより設けられるものとするが、これらの機能の一部又は全部が例えばカメラ信号処理部１３等として用いられるＤＳＰやマイクロコンピュータに設けられてもよいし、例えばカメラ制御部３０やカメラ信号処理部１３とは別チップのマイクロコンピュータなど、他の部位に設けられてもよい。いずれにしても撮像装置１内に、これらの機能を行う構成が設けられればよい。

ＡＦ測距部５１は、オートフォーカスのための測距処理を行う。例えば撮像素子１２で得られる像面位相差画素の信号や撮像画像信号を用いて、いわゆる位相差検出方式やコントラスト検出方式、或いはこれらの両方の特徴を持ち合わせたハイブリッドＡＦ方式などとしてのＡＦ制御のための演算を行う。

ＡＦ制御部５２は、ＡＦ測距部５１で求められた制御値に基づいてＡＦ制御信号を生成し、ＡＦ動作を実行させる処理を行う。ＡＦ制御部５２によるＡＦ制御信号はレンズ制御部２３に送信される。そしてレンズ制御部２３がＡＦ制御信号に基づいてドライバ部２２を制御し、レンズ系２１内のフォーカスレンズの駆動を実行させることで、ＡＦ動作が行われる。

画像認識部５３は、撮像素子１２で得られる撮像画像信号に対する画像解析を行い画像内容の認識処理を行う。特に本実施の形態の場合、顔・瞳検出部６１、追尾処理部６２としての認識処理が行われる、

顔・瞳検出部６１では、撮像画像信号のフレーム内で被写体としての人（或いは動物）の顔や瞳を検出する処理を行う。
なお顔・瞳判定部６１は、さらに被写体の顔の判定を行うようにしてもよい。これはフレーム内での人の顔の領域の判定を行ったり、さらには顔の個人識別の処理を行ったりする例である。例えば多数の人が被写体となっているときに、ターゲットとした個人の顔の認識なども行うことが想定される。

追尾処理部６２では、撮像画像信号のフレーム内で、ターゲットとした被写体の位置を判定し追尾するための処理を行う。なお、追尾するターゲットは、例えばＡＦ対象の被写体とされる。ユーザ（撮像者）による追尾ターゲットの選択は、ＡＦ対象の被写体を選択するという操作によってなされることにもなる。

表示制御部５５は、表示部１５の表示動作を制御する。例えば表示制御部５５は撮像モニタ画像の表示の実行や、各種操作メニュー、アイコン、メッセージ等の表示を画面上に実行させるように制御する機能を示している。
特に瞳ＡＦ動作に関する表示として、後述する顔枠１５０や瞳枠１５２の表示制御を行う。

操作認識部５４は操作部１７による操作を認識する。カメラ制御部３０は、操作認識部５４によって認識されるユーザ操作に応じて必要な制御処理を行うことになる。
特に実施の形態の処理に関連するものとしては、操作認識部５４は操作部１７におけるシャッターボタン１１０Ｓ、アサイナブルボタン１１０Ｃ、エンターボタン１１０Ｅの操作や、表示部１５（この場合は表示パネル１０１）に設けられるタッチパネルで検出されるタッチ操作によるユーザ操作を認識する。
これらの操作の認識に応じて、上記のＡＦ制御部５２、画像認識部５３における顔・瞳検出部６１や追尾処理部６２、表示制御部５５などが対応した処理を行うことになる。

アサイナブルボタン設定部５６は、ユーザの設定操作に応じて、アサイナブルボタン１１０Ｃの操作機能を設定する機能を示している。
操作認識部５４がアサイナブルボタン１１０Ｃの操作を検知した場合、カメラ制御部３０はアサイナブルボタン設定部５６の設定に基づいて、割り当てられた機能の操作が行われたと認識することになる。

図５，図６には、表示部１５での表示例を示している。これらは撮像モニタ画像に重ねて各種アイコンを表示している例である。
図５では、人物ＨＭが、被写体として表示部１５の画面（即ち撮像している画角）のほぼ中央にとらえられている状態である。
ここでは画面中央にフォーカス枠９０が表示されている。フォーカス枠９０は、ＡＦ対象を示す枠であり、いわゆるＡＦ測距点を示す枠である。
フォーカス枠９０の表示位置は、各種のモードによって変わり、またフォーカス枠９０が複数表示される場合もあるが、ここでは１つのフォーカス枠９０が画面中央に表示される例としている。

図６は追尾を行っている状態を示している。例えば図５のフォーカス枠９０に基づいて人物ＨＭの顔に対するＡＦ制御が行われ、また追尾のターゲットとされたとする。
図６の時点では、人物ＨＭが画面内で左寄りに位置にあるとする。この人物ＨＭに対して追尾枠９１が表示されている。追尾枠９１はターゲットとした被写体（人物ＨＭの顔）に追従して、その被写体に重なるように表示されていくことになる。

また図５，図６に示すように画面上には、撮像装置１のモードや動作状態などを示す各種のアイコンや文字／数字が表示される。
例えば画面下部にはＩＳＯ感度７１、露出値７２、絞り値７３、シャッタースピード７４、合焦マーク７５が表示される。
合焦マーク７５はターゲットに対して合焦状態にあることを示すもので、図７において追尾対象にフォーカスが合っている状態を示している。

画面左側には、ファインダフレームレート７６、シャッター方式７７、フォーカスエリア７８、フォーカスモード７９、ドライブモード８０、撮影モード８１としての表示が行われる。
ファインダフレームレート７６はビューファインダー１０２の表示画像のフレームレートを示すアイコンである。
シャッター方式７７は、メカシャッター方式、電子シャッター方式、オートを示すアイコンである。図示しているのはオートであり、これは撮影状況やシャッタースピードに応じて、メカシャッター方式と電子シャッター方式が自動で切り換わるモードを示している。

フォーカスエリア７８は、フォーカス制御を行う領域としてフォーカスエリア設定を表すアイコンである。フォーカスエリア設定としては、「ワイド」「ゾーン」「中央」「フレキシブルスポット」などがある。各フォーカスエリア設定を示すアイコンとしては、図７に示すアイコン７８ａ，７８ｂ，７８ｃ，７８ｄなどがある。
「ワイド」はスルー画としてのモニタ全体を基準に、自動ピント合わせをするフォーカスエリアモードであり、例えばアイコン７８ａで示される。図６ではフォーカスエリア７８としてアイコン７８ａが表示されている。
「ゾーン」はモニタ上でピントを合わせたいゾーンの位置を選ぶと、その中で自動でピントを合わせるフォーカスエリアモードであり、例えばアイコン７８ｂで示される。
「中央」はモニタ中央付近の被写体に自動ピント合わせをするフォーカスエリアモードであり、例えばアイコン７８ｃで示される。
「フレキシブルスポット」はモニタ上の好きなところにフォーカス枠を移動し、非常に小さな被写体や狭いエリアを狙ってピントを合わせるフォーカスエリアモードであり、例えばアイコン７８ｄで示される。

これらのように、フォーカスエリア７８のアイコンは、そのときのフォーカスエリア設定に応じて切り換えられる。
なお図５，図６，図７に示したフォーカスエリア７８として表示するアイコンの画像例は説明上の例であって、これらの画像デザインに限定されない。

図５，図６のように表示されるフォーカスモード７９は、ＡＦ動作モードを表すアイコンである。ＡＦ動作モードとしては例えばシングルＡＦ（ＡＦ－Ｓ）、コンティニアスＡＦ（ＡＦ－Ｃ）としてのモードがある。
シングルＡＦは、シャッターボタン１１０Ｓを半押しするとオートフォーカスが働き、一度ピントが合うと、ピントがそこで固定されるモードである。
コンティニュアスＡＦは、シャッターボタン１１０Ｓを半押ししている間中、オートフォーカスが働き、ピントを合わせ続けるモードである。図５，図６ではコンティニアスＡＦを示すアイコンが表示された例としている。

本実施の形態の瞳ＡＦ制御に関しては、静止画撮像モードの場合は、シャッターボタン１１０Ｓの半押しによりＡＦ－Ｓとしての瞳ＡＦ制御が行われる。
また動画撮像モードでは、瞳検出ができているときは、ＡＦ－Ｃとして継続的に瞳ＡＦ制御が行われる。

図５，図６に示すドライブモード８０は、１枚撮影、連写、ブラケット撮影などを示すアイコンである。
撮影モード８１は、「プログラムオート」「絞り優先」「シャッタースピード優先」「マニュアル露出」「動画」「スロー／クイックモーション」などの撮影モードを示すアイコンである。

図５，図６において画面上部には、記憶メディア／枚数８２、縦横比８３、画像サイズ８４、手ぶれ補正８５、画質８６、バッテリー残量８７の表示が行われる。
記憶メディア／枚数８２として記録メディアに保存したピクチャーの枚数や保存可能数などが表示される。
縦横比８３により撮像画像の縦横比が表示される。
画像サイズ８４により撮像画像のサイズが表示される。
手ぶれ補正８５により手ぶれ補正機能のオン／オフやモードが表示される。
画質８６により撮像画像の画質設定が表示される。
バッテリー残量８７によりバッテリー残量が例えば絵柄とパーセント表示で示される。

ここまで表示部１５に表示される各種アイコン等を例示したが、これ以外にも各種の情報を提示するためのアイコン、数字、文字、或いはグラフィックが表示される。
またこれらの表示は一例である。

＜２．瞳ＡＦのモード遷移＞
瞳ＡＦに関するモード遷移の例を説明する。
図８にモード遷移の様子を模式的に示している。
上述のように撮像装置１の動作モードとして、大きく分けて静止画撮像モード、動画撮像モードがある。これら以外にも、例えば各種設定やメンテナンス等のモードもありえるが、本開示の瞳ＡＦ制御及びＵＩ制御に直接関係のないモードの説明は省略する。

静止画撮像モードと動画撮像モードは、ユーザのモード選択操作により切り替えられる。或いは直接的なモード選択操作以外に切り替えが行われるようにする場合もある。例えば操作子１１０として「録画ボタン」が専用に設けられている場合、静止画撮像モードであっても、「録画ボタン」の操作により、モード選択操作を省略して動画撮像モードに移行し、動画撮像が開始されるようなモード遷移もある。
いずれにしても、静止画撮像モードと動画撮像モードは何らかのユーザ操作に応じて選択される。

静止画撮像モードの場合、及び動画撮像モードの場合にはそれぞれ、瞳ＡＦ制御に関して、オートモード、右目固定モード、左目固定モードがある。それぞれのモードは上述の通りである。
なお、この図８では、「オートモード」は、「一時的選択状態」を含む広義と、含まない狭義の両方を示している。
オートモード、右目固定モード、左目固定モードは、それぞれユーザの操作に応じて選択される。例えばアサイナブルボタン１１０Ｃによりトグル操作で順番に選択されるものとしても良い。

オートモードとされているときに、一時的に、つまりオートモードの状態を保ったまま、一時的右目選択状態、又は一時的左目選択状態とすることができる。
一時的右目選択状態、又は一時的左目選択状態としての「一時的選択状態」が解除されると狭義のオートモードに戻る。
静止画撮像モードにおいては、オートモード時に一時的選択状態となった場合、例えばシャッターボタン１１０Ｓでレリーズ操作が行われると、一時的選択状態が解除され、狭義のオートモードに戻る。例えばオートモードにあるときに、ユーザが右目或いは左目のいずれかに合焦させて静止画撮像記録を行いたいと考えた場合は、ユーザは一時的選択状態とすればよい。この一時的選択状態はレリーズ操作により解除されることで、特に他のオートモード復帰の操作をすることなくオートモードを継続できる。

一方、動画撮像モードにおいては、オートモード時に一時的選択状態となった場合、レリーズ操作等の適切な解除タイミングがない。
そこで、例えばユーザがエンターボタン１１０Ｅを操作した場合に、一時的選択状態の解除操作として認識して、一時的選択状態を解除し、狭義のオートモードに戻るようにする。

＜３．第１の実施の形態＞
第１の実施の形態としての瞳ＡＦ制御とそのＵＩ（ユーザインタフェース）表示について説明する。ＵＩ表示とは、表示制御部５５の制御により表示部１５で行われる表示のことで、特に以下では、顔枠１５０と瞳枠１５２の表示に注目して説明する。
また、以下の各実施の形態の説明においては、「オートモード」については、基本的には狭義で用いる。広義で用いている場合は、都度、説明または付記する。

図９は静止画撮像モードでの瞳ＡＦの際のＵＩ表示例を示している。
図９Ａはオートモードで、瞳が検出できているときの表示例である。
図９Ｂはオートモードで、瞳ＡＦが合焦されているときの表示例である。
図９Ｃは右目固定モード又は一時的右目選択状態で、瞳が検出できているときの表示例である。
図９Ｄは右目固定モード又は一時的右目選択状態で、瞳ＡＦが合焦しているときの表示例である。

なお、左目固定モード又は一時的左目選択状態は、右目固定モード又は一時的右目選択状態と、瞳枠１５２の表示される目が左目になるのみの違いであるので、各実施の形態においてＵＩ表示例の図示は省略している。左目固定モード又は一時的左目選択状態は、右目固定モード又は一時的右目選択状態とは、右目／左目の違いのみで他は同様と考えれば良い。

図９Ａに示すように、オートモードで合焦していないが瞳が検出できているときは、顔枠１５０が表示される。
顔枠１５０は、認識されたそれぞれの顔に対して表示されるが、優先顔とその他の顔が区別して表示される。優先顔とは優先的にＡＦ対象とされる顔である。複数の顔が検出された場合にいずれを優先顔とするかは、多様な選択アルゴリズムが考えられ、ここでは詳述を避けるが、いずれか１つが優先顔とされる。
優先顔の顔枠１５０は、例えば白枠で表示される。図では優先顔の顔枠１５０には、符号「ＷＤｐ」を付記している。
優先顔以外の顔の顔枠１５０は、例えばグレーの枠で表示される。図ではハッチングを付した枠で示している。優先顔以外の顔（非優先顔）の顔枠１５０には、符号「ＷＤｅ」を付記している。もちろん枠の色は一例である。
以下、顔枠１５０については「優先顔枠ＷＤｐ」「非優先顔枠ＷＤｅ」と区別して表記する場合もある。

瞳ＡＦ制御は優先顔の瞳を対象として行われる。
この図９Ａの状態は、合焦前の段階であり、瞳は検出できていても、必ずしも左右の瞳のいずれがＡＦ対象として適しているかが安定しない。オートモードでは所定のアルゴリズムにより、右目の瞳と左目の瞳のいずれかが選択されてＡＦ対象とされる。
このため被写体の状況や顔向きの変化などによりＡＦ対象に選択される瞳が左と右で変動することが多くなることもあり、その場合、瞳枠１５２の位置が左右の瞳で頻繁に変化し、ちらついてしまうことが想定される。そこで合焦していない段階では瞳枠１５２を表示させず、顔枠１５０（優先顔枠ＷＤｐ）を表示するようにする。

オートモードで瞳ＡＦが合焦すると、図９Ｂに示すように、瞳枠１５２が表示される。本実施の形態では、瞳枠１５２としては、表示態様の異なる瞳合焦枠ＷＨｆと瞳検出枠ＷＨｄがある。例えばいずれも瞳枠であるが、色が異なる。瞳合焦枠ＷＨｆは例えば緑色の枠、瞳検出枠ＷＨｄは例えば白色の枠とされる。もちろん枠の色は一例である。
瞳合焦枠と瞳検出枠は表示態様が異なる瞳枠を指すものであって、それぞれがどのような条件やタイミングで表示されるものであるかが厳密に規定されるものではない。
一例として、例えば瞳合焦枠ＷＨｆは合焦状態を表す瞳枠１５２である。
また瞳検出枠ＷＨｄは、合焦状態を表す場合もあるが、瞳に対する合焦前においても表示される場合もある。従って瞳検出枠ＷＨｄは少なくとも瞳検出がされている状態で表示されることがある瞳枠１５２である。
瞳合焦枠ＷＨｆと瞳検出枠ＷＨｄはいずれも合焦状態で表示される場合があるが、それっは、合焦状態に至るプロセスの違い、例えば瞳ＡＦに関するモードや操作の違いによるものとなる。
この図９Ｂの場合、瞳枠１５２として瞳合焦枠ＷＨｆが表示される。
顔枠１５０は全て非表示とされる。これにより瞳枠１５２を目立たせるとともに、瞳枠１５２の部分を対象としてＡＦ制御がされていることをユーザが認識し易くなるようにしている。

右目固定モード又は一時的右目選択状態で合焦していないが瞳が検出できているときは、図９Ｃに示すように、優先顔枠ＷＤｐは表示されず、優先顔の瞳に瞳枠１５２が瞳検出枠ＷＨｄとして表示される。瞳検出枠ＷＨｄと優先顔枠ＷＤｐの両方が共に表示されるということにはしないことで、表示はシンプルになる。また非優先顔枠ＷＤｅは表示される。
この場合に、瞳枠１５２（瞳検出枠ＷＨｄ）を表示させるのは、ＡＦ対象が右目に固定されているため、瞳枠１５２が左右の目で頻繁に移動してしまうようなことが生じないためである。瞳枠１５２を表示させることで、瞳ＡＦ制御が行われていることを、ユーザに明確に示すことができる。

右目固定モード又は一時的右目選択状態で瞳ＡＦが合焦すると、図９Ｄに示すように、瞳枠１５２が表示される。この場合、瞳枠１５２として瞳合焦枠ＷＨｆが表示される。
また顔枠１５０は全て非表示とされることで、瞳枠１５２を目立たせるとともに、瞳枠１５２をターゲットとしてＡＦ制御がされていることをユーザが認識し易くなるようにしている。

図１０は動画撮像モードでの瞳ＡＦの際のＵＩ表示例を示している。
図１０Ａはオートモードで、瞳が検出できているときの表示例である。
図１０Ｂはオートモードで、瞳ＡＦが合焦しているときの表示例である。
図１０Ｃは右目固定モード又は一時的右目選択状態で、瞳が検出できているときの表示例である。
図１０Ｄは右目固定モード又は一時的右目選択状態で、瞳ＡＦが合焦しているときの表示例である。

図１０Ａに示すように、オートモードで合焦していないが瞳が検出できているときは、顔枠１５０として優先顔枠ＷＤｐ、非優先顔枠ＷＤｅが表示される。
静止画撮像モードの場合と同様に、オートモードでは、合焦前の段階では、必ずしも左右の瞳のいずれがＡＦ対象として適しているかが安定しない。このため瞳枠１５２を表示させると、その位置が左右の瞳で頻繁に変化し、ちらついてしまうことが想定される。そこで合焦していない段階では瞳枠１５２を表示させないようにする。
動画撮像モードにおいては瞳検出に応じてＡＦ－Ｃにより継続的に瞳ＡＦ制御が行われており、瞳検出から合焦に至るまでの期間は通常は極めて短時間のため、瞳ＡＦ制御中であるのに顔枠１５０が表示されていることについてユーザが違和感をいだくことは殆どないと考えられる。

オートモードで瞳ＡＦが合焦すると、図１０Ｂに示すように、瞳枠１５２として瞳検出枠ＷＨｄが表示される。瞳合焦枠ＷＨｆではなく瞳検出枠ＷＨｄとするのは、動画撮像モードのときはＡＦ－Ｃで継続的に瞳ＡＦ制御が行われていることによる。つまり、常にＡＦ動作が行われている状態であるため、瞳枠１５２は瞳検出枠ＷＨｄのみとすることで表示を安定させる。また合焦／非合焦にかかわらず、瞳ＡＦ制御中は瞳検出枠ＷＨｄを表示させることで、瞳合焦枠ＷＨｆでなければ合焦していないという誤解をユーザに与えないようにしている。
また瞳枠１５２が表示されている優先顔に対して優先顔枠ＷＤｐが表示されないことで、表示はシンプルになる。
また非優先顔枠ＷＤｅは表示される。但し、非優先顔枠ＷＤｅが表示されないようにしてもよい。

右目固定モード又は一時的右目選択状態で合焦していないが瞳が検出できているときは、図１０Ｃに示すように、優先顔枠ＷＤｐは表示されず、優先顔の瞳に瞳枠１５２が瞳検出枠ＷＨｄとして表示される。優先顔枠ＷＤｐが表示されないことで、表示はシンプルになる。また非優先顔枠ＷＤｅは表示される。
この場合に、瞳枠１５２を表示させるのは、ＡＦ対象が右目に固定され、瞳枠１５２が左右の目で頻繁に移動してしまうようなことが生じないためである。瞳枠１５２を表示させることで、瞳ＡＦ制御が行われていることを、ユーザに明確に示すことができる。

右目固定モード又は一時的右目選択状態で瞳ＡＦが合焦したときを図１０Ｄに示すが、図１０Ｃと同様に瞳枠１５２として瞳検出枠ＷＨｄが表示される。瞳合焦枠ＷＨｆは表示されない。また非優先顔枠ＷＤｅは表示される。

つまり動画撮像モードのときはＡＦ－Ｃで瞳ＡＦ制御が行われていること、及び右目固定モード又は一時的右目選択状態では瞳ＡＦ対象が右目に固定されているため、合焦状態にかかわらず右目に瞳検出枠ＷＨｄが表示されるようにする。また瞳枠１５２（瞳検出枠ＷＨｄ）が表示されている優先顔に対して優先顔枠ＷＤｐが表示されないことで、表示はシンプルになる。

例えば以上の図９，図１０の例のように、状況に応じた瞳枠１５２の表示態様は、静止画撮像モードのときと動画撮像モードのときとで異なる。特には、図９Ｄ、図１０Ｄの比較でわかるように、静止画撮像モードのときは、瞳ＡＦが合焦することに応じて瞳合焦枠ＷＨｆが表示されるが、動画撮像モードのときは、瞳ＡＦが合焦しても瞳検出枠ＷＨｄが合焦前から継続して表示される。
さらに、瞳ＡＦ動作については、静止画撮像モードのときは、ユーザの所定操作、例えばシャッターボタン１１０Ｓの半押しにより、ＡＦ－Ｓとして瞳ＡＦ制御が開始される。一方、動画撮像モードのときは、瞳検出ができているときはＡＦ－Ｃとして瞳ＡＦ制御が継続して行われているようにしている。

このような静止画撮像モードと動画撮像モードに応じた瞳ＡＦ制御及び表示制御を行う処理例を以下説明する。
なお、以下、各実施の形態でフローチャートにより説明する処理例は、カメラ制御部３０の処理と考えることができる。特には、カメラ制御部３０においてＡＦ制御部５２、顔・瞳検出部６１、表示制御部５５が、操作認識部５４によるユーザ操作認識に応じて行う処理と考えることができる。
また、各フローチャートでは、瞳ＡＦ制御及びそれに関する表示制御についての処理のみを示している。

図１１、図１２は静止画撮像モードとされているときの処理例である。図１１、図１２は一連のフローチャートを分けて示したもので、「ｃ１」「ｃ２」で接続関係を示している。

カメラ制御部３０は図１１のステップＳ１０１で撮像画像における顔検出及び瞳検出の処理を行う。この図１１，図１２の処理は継続的に繰り返し行われるので、顔検出及び瞳検出の処理は常時行われていると考えることができる。
なお、以降の処理は、このステップＳ１０１で瞳検出ができていることを前提に説明している。瞳検出ができていないときは、そもそも瞳ＡＦ制御は行われないためである。

ステップＳ１０２でカメラ制御部３０は、シャッターボタン１１０Ｓによるレリーズ操作を監視する。レリーズ操作が検知された場合は、カメラ制御部３０はステップＳ１０３でレリーズ処理を行う。即ち操作タイミングに応じたフレームの静止画像の記録処理を行う。

ステップＳ１０４でカメラ制御部３０は、一時的選択状態（一時的右目選択状態、又は一時的左目選択状態）であるか否かを確認し、一時的選択状態でなければステップＳ１０１に戻る。
一時的選択状態であればカメラ制御部３０はステップＳ１０５で一時的選択状態を解除する。つまり狭義のオートモードに戻り、そしてステップＳ１０１に戻る。

レリーズ操作が検知されていないときは、カメラ制御部３０はステップＳ１０２からＳ１１０に進み、現在オートモード（広義）か否かで処理を分岐する。
オートモード（広義）の場合、カメラ制御部３０はステップＳ１１１で、一時的選択状態の解除操作があったか否かを確認する。例えば一時的選択状態においてエンターボタン１１０Ｅの操作が行われたか否かを確認する。
一時的選択状態の解除操作が検知された場合は、カメラ制御部３０はステップＳ１１２で一時的選択状態を解除する。そしてステップＳ１１４に進む。
なお、ステップＳ１１１，Ｓ１１２の処理は行わなくてもよい。静止画撮像モードの場合は、上述のようにレリーズ操作で一時的選択状態が解除されるため（ステップＳ１０４，Ｓ１０５）、例えばエンターボタン１１０Ｅなどの特定の操作子の操作を解除のための操作しないことも考えられる。

ステップＳ１１１で一時的選択状態の解除操作が検知されていなければ、カメラ制御部３０はステップＳ１１３で現在、一時的選択状態であるか否かで処理を分岐する。
一時的選択状態でない場合、つまり狭義のオートモードである場合は、カメラ制御部３０はステップＳ１１４に進む。

ステップＳ１１４でカメラ制御部３０は、狭義のオートモードとしての瞳ＡＦ対象設定を行う。つまり、左目の瞳と右目の瞳のいずれをＡＦ対象とするかの設定である。例えば現在のフレーム画像データを解析し、優先顔の被写体について一方の目が検出できている場合は、その目の瞳をＡＦ対象とする。優先顔の被写体について両方の目が検出できている場合は、所定のアルゴリズムによりＡＦ対象として望ましいと判定される側の目の瞳をＡＦ対象とする。

ステップＳ１１５でカメラ制御部３０は、シャッターボタン１１０Ｓの半押しがされているか否かを判定して処理を分岐する。
半押しがされていなければカメラ制御部３０はステップＳ１１６で、例えば図９Ａのように、顔枠１５０の表示制御を行う。この場合、優先顔枠ＷＤｐ、非優先顔枠ＷＤｅのいずれもが表示されるようにする。
そしてカメラ制御部３０はステップＳ１０１に戻る。

カメラ制御部３０はステップＳ１１５で半押しを検知した場合は、ステップＳ１１７に進み、ステップＳ１１４でＡＦ対象とした瞳に対する瞳ＡＦ制御を実行する。
この場合は 半押しに応じてＡＦ－Ｓとしての瞳ＡＦ制御が行われることになる。
そしてユーザが半押しを継続している期間は、図１１の処理が繰り返しステップＳ１１７に進むことで瞳ＡＦ制御が継続される。

瞳ＡＦ制御が開始されてから合焦するまでの期間は、カメラ制御部３０はステップＳ１１８からステップＳ１１６に進み、顔枠１５０の表示制御を継続する。この場合、優先顔枠ＷＤｐ、非優先顔枠ＷＤｅのいずれもが表示されるようにする。
そしてカメラ制御部３０はステップＳ１０１に戻る。

ある時点で瞳ＡＦ動作が合焦すると、カメラ制御部３０はステップＳ１１８からステップＳ１１９に進むことになり、図９Ｂのように、瞳ＡＦ対象の瞳に対して、瞳枠１５２として瞳合焦枠ＷＨｆを表示させる制御を行う。またこの場合、顔枠１５０は全て非表示とする。
そしてカメラ制御部３０はステップＳ１０１に戻る。

広義のオートモードではない場合、つまり右目固定モード又は左目固定モードとされているときは、レリーズ操作時以外はカメラ制御部３０の処理はステップＳ１１０から図１２のステップＳ１３０に進む。
また広義のオートモードであっても一時的選択状態とされているときは、カメラ制御部３０の処理は図１１のステップＳ１１３から図１２のステップＳ１３０に進む。

ステップＳ１３０では、固定されている瞳ＡＦ制御の対象が右目か左目かにより処理を分岐する。
右目固定モード又は一時的右目選択状態であり右目を対象としている場合は、カメラ制御部３０はステップＳ１３０からステップＳ１４１に進み、シャッターボタン１１０Ｓの半押しがされているか否かを判定して処理を分岐する。

シャッターボタン１１０Ｓが半押しされていなければカメラ制御部３０はステップＳ１４２で、例えば図９Ｃのように、瞳枠１５２と非優先顔枠ＷＤｅの表示制御を行う。
この場合の瞳枠１５２は瞳検出枠ＷＨｄとする。また優先顔枠ＷＤｐは表示させない。
そしてカメラ制御部３０はステップＳ１０１に戻る。

カメラ制御部３０はステップＳ１４１で半押しを検知した場合は、ステップＳ１４３に進み、右目の瞳に対する瞳ＡＦ制御を実行する。この場合は 半押しに応じてＡＦ－Ｓとしての瞳ＡＦ制御が行われることになる。
そしてユーザが半押しを継続している期間は、図１１，図１２の処理が繰り返しステップＳ１４３に進むことで瞳ＡＦ制御が継続される。

瞳ＡＦ制御が開始されてから合焦するまでの期間は、カメラ制御部３０はステップＳ１４４からステップＳ１４２に進み、瞳枠１５２（この場合は瞳検出枠ＷＨｄ）と非優先顔枠ＷＤｅの表示制御を行う。
そしてカメラ制御部３０はステップＳ１０１に戻る。

ある時点で瞳ＡＦ動作が合焦すると、カメラ制御部３０はステップＳ１４４からステップＳ１４５に進むことになり、図９Ｄのように、右の瞳に対し、瞳枠１５２として合焦枠ＷＨｆを表示させる制御を行う。またこの場合、顔枠１５０は全て非表示とする。
そしてカメラ制御部３０はステップＳ１０１に戻る。

左目固定モード又は一時的左目選択状態であり左目を対象としている場合は、カメラ制御部３０はステップＳ１３０からステップＳ１５１に進むことになる。
そしてカメラ制御部３０はシャッターボタン１１０Ｓの半押しがされているか否かを判定して処理を分岐する。

シャッターボタン１１０Ｓが半押しされていなければカメラ制御部３０はステップＳ１５２で瞳枠１５２と非優先顔枠ＷＤｅの表示制御を行う。
この場合の瞳枠１５２は瞳検出枠ＷＨｄとして左目の位置に表示させる。また優先顔枠ＷＤｐは表示させない。
そしてカメラ制御部３０はステップＳ１０１に戻る。

カメラ制御部３０はステップＳ１５１で半押しを検知した場合は、ステップＳ１５３に進み、左の瞳に対する瞳ＡＦ制御を実行する。この場合も半押しに応じてＡＦ－Ｓとしての瞳ＡＦ制御が行われることになる。そしてユーザが半押しを継続している期間は、図１１，図１２の処理が繰り返しステップＳ１５３に進むことで瞳ＡＦ制御が継続される。

瞳ＡＦ制御が開始されてから合焦するまでの期間は、カメラ制御部３０はステップＳ１５４からステップＳ１５２に進み、瞳枠１５２（この場合は瞳検出枠ＷＨｄ）と非優先顔枠ＷＤｅの表示制御を行う。
そしてカメラ制御部３０はステップＳ１０１に戻る。

ある時点で瞳ＡＦ動作が合焦すると、カメラ制御部３０はステップＳ１５４からステップＳ１５５に進むことになり、左目の瞳に対し、瞳枠１５２として合焦枠ＷＨｆを表示させる制御を行う。またこの場合、顔枠１５０は全て非表示とする。
そしてカメラ制御部３０はステップＳ１０１に戻る。

図１３、図１４は動画撮像モードとされているときの処理例である。図１３、図１４は一連のフローチャートを分けて示したもので、「ｃ１１」「ｃ１２」で接続関係を示している。

カメラ制御部３０は図１３のステップＳ２０１で撮像画像における顔検出及び瞳検出の処理を行う。またカメラ制御部３０は、瞳検出に応じてＡＦ－Ｃとしての瞳ＡＦ制御を行う。
この図１３，図１４の処理は継続的に繰り返し行われるので、顔検出及び瞳検出の処理は常時行われ、また瞳検出に応じて瞳ＡＦ制御していると考えることができる。
なお、以降の処理は、このステップＳ２０１で瞳検出及びそれに応じたＡＦ－Ｃとしての瞳ＡＦ制御が行われていることを前提に説明する。

ステップＳ２０２でカメラ制御部３０は、ユーザの記録開始操作を監視する。記録開始操作が検知された場合は、カメラ制御部３０はステップＳ２０３で動画記録を開始させる制御を行い、ステップＳ２０１に戻る。

ステップＳ２０４でカメラ制御部３０は、ユーザの記録終了操作を監視する。記録終了操作が検知された場合は、カメラ制御部３０はステップＳ２０３で動画記録を終了させる制御を行い、ステップＳ２０１に戻る。

記録開始操作又は記録終了操作が検出されたタイミング以外は、カメラ制御部３０はステップＳ２１０に進み、現在オートモード（広義）か否かで処理を分岐する。
オートモード（広義）の場合、カメラ制御部３０はステップＳ２１１で、一時的選択状態の解除操作があったか否かを確認する。例えば一時的選択状態においてエンターボタン１１０Ｅの操作が行われたか否かを確認する。
一時的選択状態の解除操作が検知された場合は、カメラ制御部３０はステップＳ２１２で一時的選択状態を解除する。そしてステップＳ２１４に進む。
動画撮像モードのときは、このステップＳ２１１，Ｓ２１２の処理で一時的選択状態の解除が行われることが好適となる。動画撮像モードのときは静止画撮像モードのときのレリーズ操作時のように、一時的選択状態を解除する適切なタイミングが判定できないためである。そこで例えばエンターボタン１１０Ｅなどの特定の操作子を解除のための操作子としてユーザに提供し、例えば動画記録中などでも、ユーザの意思に応じて一時的選択状態が解除されるようにしている。

ステップＳ２１１で一時的選択状態の解除操作が検知されていなければ、カメラ制御部３０はステップＳ２１３で、現在、一時的選択状態であるか否かで処理を分岐する。
一時的選択状態でない場合、つまり狭義のオートモードである場合は、カメラ制御部３０はステップＳ２１４に進む。

ステップＳ２１４でカメラ制御部３０は、狭義のオートモードとしての瞳ＡＦ対象設定を行う。つまり、静止画撮像モードのときの図１１のステップＳ１１４と同様に、左目の瞳と右目の瞳のいずれをＡＦ対象とするかの設定である。

ステップＳ２１５でカメラ制御部３０は、瞳ＡＦ制御の対象の瞳に対して合焦中か否かを判定する。
合焦していなければカメラ制御部３０はステップＳ２１６に進み、例えば図１０Ａのように、顔枠１５０の表示制御を行う。この場合、優先顔枠ＷＤｐ、非優先顔枠ＷＤｅのいずれもが表示されるようにする。
そしてカメラ制御部３０はステップＳ２０１に戻る。

ステップＳ２１５で合焦していると判定したときは、カメラ制御部３０はステップＳ２１７に進み、例えば図１０Ｂのように、瞳ＡＦ対象の瞳に対して、瞳枠１５２を表示させる制御を行う。この場合の瞳枠１５２は瞳検出枠ＷＨｄとする。また顔枠１５０として優先顔枠ＷＤｐは非表示とし、非優先顔枠ＷＤｅは表示させる。
なお非優先顔枠ＷＤｅも非表示とすることも考えられる。
そしてカメラ制御部３０はステップＳ２０１に戻る。

広義のオートモードではない場合、つまり右目固定モード又は左目固定モードとされているときは、カメラ制御部３０の処理はステップＳ２１０から図１４のステップＳ２２０に進む。
また広義のオートモードであっても一時的選択状態とされているときは、カメラ制御部３０の処理は図１３のステップＳ２１３から図１４のステップＳ２２０に進む。

ステップＳ２２０では、固定されている瞳ＡＦ制御の対象が右目か左目かにより処理を分岐する。
右目固定モード又は一時的右目選択状態であり右目を対象としている場合は、カメラ制御部３０はステップＳ２２１に進み、例えば図１０Ｃ又は図１０Ｄのように、優先顔の右目に対して瞳枠１５２を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。
この場合の瞳枠１５２は瞳検出枠ＷＨｄとする。また優先顔枠ＷＤｐは表示させない。
そしてカメラ制御部３０はステップＳ２０１に戻る。

左目固定モード又は一時的左目選択状態であり左目を対象としている場合は、カメラ制御部３０はステップＳ２３１に進み、優先顔の左目に対して瞳枠１５２を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。
この場合の瞳枠１５２は瞳検出枠ＷＨｄとする。また優先顔枠ＷＤｐは表示させない。
そしてカメラ制御部３０はステップＳ２０１に戻る。

＜４．第２の実施の形態＞
上述の第１の実施の形態のＵＩ表示の一部を変更した例として第２の実施の形態を説明する。
図１５は動画撮像モードでの瞳ＡＦの際のＵＩ表示例を示している。
図１５Ａはオートモードで、瞳が検出できているときの表示例である。
図１５Ｂはオートモードで、瞳ＡＦが合焦しているときの表示例である。
図１５Ｃは右目固定モード又は一時的右目選択状態で、瞳が検出できているときの表示例である。
図１５Ｄは右目固定モード又は一時的右目選択状態で、瞳ＡＦが合焦しているときの表示例である。

図１５ＡのＵＩ表示は図１０Ａの例と同様である。
オートモードで瞳ＡＦが合焦すると、図１５Ｂに示すように、瞳枠１５２として瞳合焦枠ＷＨｆが表示されるようにする。この点が図１０Ｂと異なる。
図１５ＣのＵＩ表示は図１０Ａの例と同様である。
右目固定モード又は一時的右目選択状態で瞳ＡＦが合焦しているときは、図１５Ｄに示すように、瞳枠１５２として瞳合焦枠ＷＨｆが表示されるようにする。これも図１０Ｄと異なる。

つまり図１５の例は、動画撮像モードのときは、合焦しているときに、瞳合焦枠ＷＨｆを表示させる。また固定モード又は一時的選択状態においては、合焦しているか否かで瞳枠１５２の表示を、瞳検出枠ＷＨｄと瞳合焦枠ＷＨｆで切り替えるようにする。

図１６，図１７に動画撮像モードのときの処理例を示す。なお、図１６，図１７において図１３，図１４と同様の処理には同一のステップ番号を付して説明を省略する。
図１６のステップＳ２０１からステップＳ２１６の処理は図１３と同様である。異なるのはステップＳ２１７Ａの処理である。

オートモードにおいてステップＳ２１５で、瞳ＡＦ制御の対象の瞳に対して合焦していないと判定したときは、カメラ制御部３０はステップＳ２１６に進み、例えば図１５Ａのように、顔枠１５０の表示制御を行う。この場合、優先顔枠ＷＤｐ、非優先顔枠ＷＤｅのいずれもが表示されるようにする。
そしてカメラ制御部３０はステップＳ２０１に戻る。

オートモードにおいてステップＳ２１５で瞳ＡＦ制御の対象の瞳に合焦していると判定したときは、カメラ制御部３０はステップＳ２１７Ａに進み、例えば図１５Ｂのように、瞳ＡＦ対象の瞳に対して、瞳枠１５２を表示させる制御を行う。この場合の瞳枠１５２は瞳合焦枠ＷＨｆとする。また顔枠１５０として優先顔枠ＷＤｐは非表示とし、非優先顔枠ＷＤｅは表示させる。
なお非優先顔枠ＷＤｅも非表示とすることも考えられる。
そしてカメラ制御部３０はステップＳ２０１に戻る。

広義のオートモードではない場合、つまり右目固定モード又は左目固定モードとされているときは、カメラ制御部３０の処理は図１６のステップＳ２１０から図１７のステップＳ２２０に進む。
また広義のオートモードであっても一時的選択状態とされているときは、カメラ制御部３０の処理は図１６のステップＳ２１３から図１７のステップＳ２２０に進む。

ステップＳ２２０では、固定されている瞳ＡＦ制御の対象が右目か左目かにより処理を分岐する。
右目固定モード又は一時的右目選択状態であり右目を対象としている場合は、カメラ制御部３０はステップＳ２２５に進み、右目の瞳に合焦しているか否かを判定する。
右目の瞳に合焦していなければ、カメラ制御部３０はステップＳ２２６に進み、例えば図１５Ｃのように、優先顔の右目に対して瞳枠１５２を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。この場合の瞳枠１５２は瞳検出枠ＷＨｄとする。また優先顔枠ＷＤｐは表示させない。そしてカメラ制御部３０はステップＳ２０１に戻る。

右目の瞳に合焦していれば、カメラ制御部３０はステップＳ２２５からステップＳ２２７に進み、例えば図１５Ｄのように、優先顔の右目に対して瞳枠１５２を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。この場合の瞳枠１５２は瞳合焦枠ＷＨｆとする。また優先顔枠ＷＤｐは表示させない。
そしてカメラ制御部３０はステップＳ２０１に戻る。

左目固定モード又は一時的左目選択状態であり左目を対象としている場合は、カメラ制御部３０はステップＳ２３５に進み、左目の瞳に合焦しているか否かを判定する。
左目の瞳に合焦していなければ、カメラ制御部３０はステップＳ２３６に進み、優先顔の左目に対して瞳枠１５２を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。この場合の瞳枠１５２は瞳検出枠ＷＨｄとする。また優先顔枠ＷＤｐは表示させない。
そしてカメラ制御部３０はステップＳ２０１に戻る。

左目の瞳に合焦していれば、カメラ制御部３０はステップＳ２３５からステップＳ２３７に進み、優先顔の左目に対して瞳枠１５２を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。この場合の瞳枠１５２は瞳合焦枠ＷＨｆとする。また優先顔枠ＷＤｐは表示させない。そしてカメラ制御部３０はステップＳ２０１に戻る。

＜５．第３の実施の形態＞
第３の実施の形態として、顔枠１５０の表示の入／切がユーザ操作により選択可能とされる場合の処理例を説明する。
顔枠表示の入／切は、例えばメニュー操作や特定の操作子の操作などによりユーザが切換可能とされる。

図１８Ａ、図１８Ｂ、図１８Ｃ、図１８Ｄは、動画撮像モードで顔枠表示が「入」とされる場合のＵＩ表示例である。また図１８Ｅ、図１８Ｆ、図１８Ｇ、図１８Ｈは、動画撮像モードで顔枠表示が「切」とされる場合のＵＩ表示例である。

図１８Ａ、図１８Ｅはオートモードで、瞳が検出できているときの表示例である。
図１８Ｂ、図１８Ｆはオートモードで、瞳ＡＦが合焦しているときの表示例である。
図１８Ｃ、図１８Ｇは右目固定モード又は一時的右目選択状態で、瞳が検出できているときの表示例である。
図１８Ｄ、図１８Ｈは右目固定モード又は一時的右目選択状態で、瞳ＡＦが合焦しているときの表示例である。

顔枠表示が「入」とされる場合の図１８Ａ、図１８Ｂ、図１８Ｃ、図１８Ｄに示すＵＩ表示例は、第１の実施の形態の図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄと同様である。

顔枠表示が「切」とされる場合の図１８Ｅ、図１８Ｆ、図１８Ｇ、図１８Ｈに示すＵＩ表示例は、図１８Ａ、図１８Ｂ、図１８Ｃ、図１８Ｄの表示から顔枠１５０の表示がなくされたものとしている。

図１８Ｅに示すように、オートモードで合焦していないが瞳が検出できているときは、顔枠１５０も瞳枠１５２も表示されない。
オートモードで瞳ＡＦが合焦すると、図１８Ｆに示すように、顔枠１５０も瞳枠１５２も表示されない。つまり合焦の前後で枠表示は行われないことになる。
このようにオートモードの場合は、顔枠表示が「切」により顔枠１５０と瞳枠１５２の両方とも非表示とされるようにする。オートモードの場合は、ユーザが特に意識しなくてもよいともいえるため、ユーザの意思で顔枠表示が「切」とされた場合は、顔枠１５０と瞳枠１５２の両方、表示しない方がユーザにとって好適となる場合も考えられるためである。
なお、この図１８Ｆの状態では、オートモードで瞳ＡＦが合焦すると、瞳枠１５２として例えば瞳検出枠ＷＨｄが表示されるようにしてもよい。ユーザにオートモードでの合焦を通知するほうがＵＩ表示として好適とされる場合に採用できる。
右目固定モード又は一時的右目選択状態で合焦していないが瞳が検出できているときは、図１８Ｇに示すように、優先顔の瞳に瞳枠１５２が瞳検出枠ＷＨｄとして表示される。
右目固定モード又は一時的右目選択状態で瞳ＡＦが合焦したときを図１８Ｈに示すが、図１８Ｇと同様に瞳枠１５２として瞳検出枠ＷＨｄが表示される。

この図１８のようなＵＩ表示を行う場合の処理例を図１９，図２０に示す。なお、図１９，図２０において第１の実施の形態の図１３，図１４と同様の処理には同一のステップ番号を付して説明を省略する。
図１９のステップＳ２０１からステップＳ２１４までの処理は図１３と同様である。
図１９ではステップＳ２１４の次のステップＳ２４０の処理が行われる。

ステップＳ２４０でカメラ制御部３０は、顔枠表示が「切」にされているか否かを確認する。
顔枠表示が「入」であればカメラ制御部３０はステップＳ２１５に進み、瞳ＡＦ制御の対象の瞳に対して合焦中であるか否かを判定する。
合焦していなければカメラ制御部３０はステップＳ２１６に進み、例えば図１８Ａのように、顔枠１５０（優先顔枠ＷＤｐ、非優先顔枠ＷＤｅ）の表示制御を行う。

ステップＳ２１５で合焦していると判定したときは、カメラ制御部３０はステップＳ２１７に進み、例えば図１８Ｂのように、瞳ＡＦ対象の瞳に対して、瞳枠１５２（瞳検出枠ＷＨｄ）を表示させ、また顔枠１５０として優先顔枠ＷＤｐは非表示とし、非優先顔枠ＷＤｅは表示させる。

顔枠表示が「切」であればカメラ制御部３０はステップＳ２４０からステップＳ２４１に進み、瞳ＡＦ制御の対象の瞳に対して合焦中であるか否かを判定する。
合焦していなければステップＳ２４２で顔枠１５０を非表示とする。例えば図１８Ｅのように顔枠１５０のない表示が継続されることになる。

ステップＳ２４１で合焦していると判定したときは、カメラ制御部３０はステップＳ２４３に進み、例えば図１８Ｆのように、顔枠１５０と瞳枠１５２の両方とも非表示とする制御を行う。
但し、このステップＳ２４３では、瞳ＡＦ対象の瞳に対して、瞳枠１５２（瞳検出枠ＷＨｄ）を表示させ、顔枠１５０（優先顔枠ＷＤｐ及び非優先顔枠ＷＤｅ）は非表示とする制御を行うことも考えられる。

広義のオートモードではない場合、つまり右目固定モード又は左目固定モードとされているときや、広義のオートモードであっても一時的選択状態とされているときは、カメラ制御部３０の処理は図１９のステップＳ２１０又はステップＳ２１３から図２０のステップＳ２２０に進む。

ステップＳ２２０では、固定されている瞳ＡＦ制御の対象が右目か左目かにより処理を分岐する。
右目固定モード又は一時的右目選択状態であり右目を対象としている場合は、カメラ制御部３０はステップＳ２５１に進み、顔枠表示が「切」にされているか否かを確認する。
顔枠表示が「入」であればカメラ制御部３０はステップＳ２２１に進み、例えば図１８Ｃ又は図１８Ｄのように、優先顔の右目に対して瞳枠１５２（瞳検出枠ＷＨｄ）を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。

顔枠表示が「切」であればカメラ制御部３０はステップＳ２５１からステップＳ２５２に進み、例えば図１８Ｇ又は図１８Ｈのように、優先顔の右目に対して瞳枠１５２（瞳検出枠ＷＨｄ）を表示させ、顔枠１５０（優先顔枠ＷＤｐ及び非優先顔枠ＷＤｅ）は非表示とする制御を行う。

左目固定モード又は一時的左目選択状態であり左目を対象としている場合は、カメラ制御部３０はステップＳ２２０からステップＳ２６１に進み、顔枠表示が「切」にされているか否かを確認する。
顔枠表示が「入」であればカメラ制御部３０はステップＳ２３１に進み、優先顔の左目に対して瞳枠１５２（瞳検出枠ＷＨｄ）を表示させ、また非優先顔枠ＷＤｅを表示させる制御を行う。

顔枠表示が「切」であればカメラ制御部３０はステップＳ２６１からステップＳ２６２に進み、優先顔の左目に対して瞳枠１５２（瞳検出枠ＷＨｄ）を表示させ、顔枠１５０（優先顔枠ＷＤｐ及び非優先顔枠ＷＤｅ）は非表示とする制御を行う。

なおこの例では、顔枠表示が「切」のときに顔枠１５０の表示がオフとされるものとし、瞳枠１５２には影響しないものとしているが、例えばオートモードにおいては瞳枠１５２も表示されないようにするなどの例も考えられる。

また図１８のＵＩ表示例は、第１の実施の形態のＵＩ表示に準拠して顔枠１５０の表示が行われない例としたが、第２の実施の形態のＵＩ表示（図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄ）に準拠して顔枠１５０の表示が行われないようにしてもよい。

＜６．第４の実施の形態＞
第４の実施の形態として、例えばアサイナブルボタン１１０Ｃ或いは他の特定の操作子が瞳ＡＦ動作を指示する操作子とされる場合の例を説明する。

図２１Ａ、図２１Ｂは静止画撮像モードのときのＵＩ表示を示している。
図２１Ａは、顔以外にフォーカス制御が行われている場合の例で、フォーカス枠９０によりフォーカス対象が示されている。
ここでユーザが例えばアサイナブルボタン１１０Ｃにより瞳ＡＦを指示する操作を行うと、瞳ＡＦ制御が発動され、図２１Ｂのように、優先顔の目に対して瞳枠１５２が表示される。静止画撮像モードの場合は、合焦に応じて瞳合焦枠ＷＨｆが表示される。

図２１Ｃ、図２１Ｄは動画撮像モードのときのＵＩ表示を示している。
図２１Ｃは、顔以外にフォーカス制御が行われている場合の例で、フォーカス枠９０によりフォーカス対象が示されている。
ここでユーザが例えばアサイナブルボタン１１０Ｃにより瞳ＡＦを指示する操作を行うと、瞳ＡＦ制御が発動され、図２１Ｄのように、優先顔の目に対して瞳枠１５２が表示される。動画撮像モードのときは瞳検出枠ＷＨｄが表示される。

例えばアサイナブルボタン１１０Ｃに瞳ＡＦ指示機能がアサインされたとして、その操作が行われた場合のカメラ制御部３０の処理を図２２に示す。

カメラ制御部３０はステップＳ３０１で瞳ＡＦ操作を監視する。例えばアサイナブルボタン１１０Ｃの操作を監視する。

アサイナブルボタン１１０Ｃにより瞳ＡＦ操作が行われたら、カメラ制御部３０はステップＳ３０１からＳ３０２に進む。
ステップＳ３０２では瞳ＡＦ終了を監視する。例えばユーザにより瞳ＡＦ終了の操作が行われたり、何らか制御事情により瞳ＡＦが終了される場合、カメラ制御部３０はステップＳ３０２からＳ３０４に進み、瞳ＡＦ操作前の状態に復帰する。

瞳ＡＦ操作により瞳ＡＦ動作が発動されている間は、処理はステップＳ３０３に進み、静止画撮像モード／動画撮像モードにより分岐され、ステップＳ３１０又はステップＳ３４０に進む。

静止画撮像モードの場合は、カメラ制御部３０はステップＳ３１０で、撮像されている画像全体から顔検出及び瞳検出を行う。
ステップＳ３１１でカメラ制御部３０は顔検出ができたか否かを確認する。顔検出ができていないときは、カメラ制御部３０は瞳枠１５２を例えば画面中央などで点滅表示させ、瞳ＡＦのための検出中であることをユーザに提示する。そしてカメラ制御部３０はステップＳ３０２に戻る。

顔検出ができているときは、処理はステップＳ３１１からステップＳ３１２に進み、瞳検出ができているか否かを確認する。これは、一人の顔が検出されたときは、その顔における瞳が検出できたか否かということになり、複数の顔が検出されたときは、複数の顔のうちで優先顔が判定され、優先顔における瞳が検出できたか否かということになる。

瞳検出ができていないときは、カメラ制御部３０はステップＳ３３０に進み、ＡＦ－Ｓで顔ＡＦ制御を行う。つまり検出された顔（優先顔）を対象にしてＡＦ制御を行う。
そしてカメラ制御部３０はステップＳ３３１で合焦状態を確認し、合焦していないときはステップＳ３３３に進んで、顔検出枠の表示制御を行い、ステップＳ３０２に戻る。

顔ＡＦ制御で合焦したときは、カメラ制御部３０はステップＳ３３１からステップＳ３３２に進み、顔合焦枠の表示制御を行う。そしてステップＳ３０２に戻る。
顔検出枠や顔合焦枠は図示していないが、例えば白色の優先顔枠ＷＤｐが顔検出枠、緑色の優先顔枠ＷＤｐが顔合焦枠などとされる。

なお、顔検出ができても瞳検出ができない場合とは、顔検出後からの瞳検出までの期間の他、顔が小さく写されて目が検出できない場合や、被写体人物が顔検出された後に後ろを向くなどしての目が映らなくなった場合などがある。
そのような場合は、顔を対象としてＡＦ制御を行うものとなる。

瞳検出ができているときは、カメラ制御部３０の処理はステップＳ３１２からＳ３１３に進み、ＡＦ－Ｓで瞳ＡＦ制御を行う。つまり検出された瞳を対象にしてＡＦ制御を行う。
そしてカメラ制御部３０はステップＳ３１４で合焦状態を確認し、合焦していないときはステップＳ３１６に進んで、瞳検出枠ＷＨｄの表示制御を行う。そしてステップＳ３０２に戻る。
瞳ＡＦ制御で合焦したときは、カメラ制御部３０はステップＳ３１４からステップＳ３１５に進み、図２１Ｂのように瞳合焦枠ＷＨｆの表示制御を行う。そしてステップＳ３０２に戻る。

動画撮像モードのときは、カメラ制御部３０の処理はステップＳ３０３からステップＳ３４０に進み、撮像されている画像全体から顔検出及び瞳検出を行う。なお動画撮像モードのときはＡＦ－ＣでＡＦ制御が継続されている。
ステップＳ３４１でカメラ制御部３０は顔検出ができたか否かを確認する。顔検出ができていないときは、カメラ制御部３０は瞳枠１５２を例えば画面中央などで点滅表示させ、瞳ＡＦのための検出中であることをユーザに提示する。そしてカメラ制御部３０はステップＳ３０２に戻る。

顔検出ができているときは、処理はステップＳ３４１からステップＳ３４２に進み、瞳検出ができているか否かを確認する。
瞳検出ができていないときは、カメラ制御部３０はステップＳ３４４に進み、ＡＦ－Ｃで顔ＡＦ制御を行う。つまり検出された顔（優先顔）を対象にしてＡＦ制御を行う。また顔検出枠の表示制御を行う。そしてステップＳ３０２に戻る。

瞳検出ができているときは、カメラ制御部３０の処理はステップＳ３４２からＳ３４３に進み、ＡＦ－Ｃで瞳ＡＦ制御を行う。つまり検出された瞳を対象にしてＡＦ制御を行う。また図２１Ｄのように瞳検出枠ＷＨｄの表示制御を行う。そしてステップＳ３０２に戻る。

以上の処理例では、次のような動作が実行されることになる。
・アサイナブルボタン１１０Ｃ等の操作により瞳ＡＦ動作が発動する（ステップＳ３０１）。
・画面全体から顔検出／瞳検出を行い、瞳ＡＦ制御を行う（ステップＳ３１０，Ｓ３４０）。このとき、ユーザが設定しているフォーカスエリアに近いところから優先して検索されるようにすることが考えられる。フォーカスエリア設定としては、上述の「ワイド」「ゾーン」「中央」「フレキシブルスポット」などがあるが、その設定に応じて優先探索が行われるようにする。
・瞳を検出できなくても、顔を検出できれば、顔にＡＦし、合焦表示を行う（ステップＳ３３０、Ｓ３３１，Ｓ３３２，Ｓ３３３、ステップＳ３４４）。
・顔を検出できなかった場合は、ＡＦ動作を行わず、点滅表示を行う（ステップＳ３２０）。
・フォーカスモードは、静止画撮像モードの場合はＡＦ－Ｓ、動画撮像モードのときはＡＦ－Ｃとして行われる。
なおＡＦ－Ｓでも合焦表示する瞳枠／顔枠はひとつとすることが考えられる。

そして静止画撮像モード、動画撮像モードのいずれであっても、「現在のＡＦモード（ＡＦ－ＣやＡＦ－Ｓ）で瞳にＡＦする」という挙動は同じになる。
ただ、静止画撮像モードのときは、アサイナブルボタン１１０ＣのトリガによってＡＦ動作を開始させ、合焦後に瞳合焦枠ＷＨｆの表示とするが、動画撮像モードのときは、常にＡＦ動作は行われていることから、瞳ＡＦ操作に応じては、フォーカス対象を瞳に変えるのみであり、瞳枠１５２も瞳検出枠ＷＨｄとして表示する。

＜７．第５の実施の形態＞
第５の実施の形態として、瞳ＡＦ動作と追尾の組み合わせの例を説明する。
静止画撮像モードの場合は、タッチ操作に応じて瞳を追尾する瞳ＡＦ制御を行い、動画撮像モードの場合は、タッチ操作に応じて顔を追尾したうえで選択した瞳に対する瞳ＡＦ制御を行う例である。

図２３、図２４は、静止画撮像モードの場合において、タッチ操作により追尾が指示される場合のＵＩ表示例を示している。
図２３Ａのように顔枠１５０が表示されているときに、ユーザが指Ｆなどにより画像内の顔に対してタッチ操作を行ったとする。画像内の顔に対するタッチとは、顔枠１５０内のタッチととらえてもよい。
この操作が行われた場合、カメラ制御部３０は、ユーザがタッチした顔において、タッチ位置に近い方の瞳をターゲットとして追尾することを指示したものと解釈する。
図２３Ａの場合、タッチ操作は左目に近い位置にタッチしている。従ってカメラ制御部３０は左の瞳をターゲットとして追尾処理を行うようにする。ＵＩ表示は、図２３Ｂのように左目に瞳枠１５２（例えば瞳検出枠ＷＨｄ）を表示させる。また追尾開始にともなって追尾アイコン１５５を表示させる。

追尾中も、所定のユーザ操作により追尾対象の右目／左目の切り替えを可能とする。例えば或る操作子のトグル操作として、追尾対象が右目と左目とで交互に切り替えられるようにする。

例えば図２３Ｂの状態からユーザが右目／左目の切り替え操作を行った場合、カメラ制御部３０は追尾対象と右目に切り替え、図２３Ｃのように瞳枠１５２が右目に表示されるようにする。
また切り替え表示１５７により、追尾対象の右目／左目の切り替えが行われたことを提示する。なお図の「右目オート」とは、オートモードにおいて一時的右目選択状態とされたことを示している。

図２４Ａはタッチ操作が画像内の顔に対するものではなかった場合を示している。この場合カメラ制御部３０は、タッチされた画像が人物であると判定できた場合は、その人物を追尾することをユーザが指示したものと解釈し、その人物の顔をターゲットとして追尾する処理を行う。
このため図２４Ａのタッチの場合、図２４Ｂのようにタッチされた人物の顔のみに顔枠１５０（例えば顔検出枠）を表示させ、顔に対する追尾を開始する。また追尾開始にともなって追尾アイコン１５５を表示させる。

また、例えば図２４Ｂの状態からユーザが右目／左目の切り替え操作を行った場合、カメラ制御部３０は追尾対象を顔から左右いずれかの瞳に切り替える。例えば右目に切り替えた場合、図２４Ｃのように瞳枠１５２が右目に表示されるようにする。
顔追尾の状態からユーザが右目／左目の切り替え操作を行った場合にいずれの瞳を追尾対象とするかは、その操作方式に応じてきめられてもよいし、上述したオートモードの処理と同様に適切な方の瞳が自動選択されるようにしてもよい。
また図２４Ｃの状態からユーザが右目／左目の切り替え操作を行った場合、カメラ制御部３０は追尾対象を左目に切り替えるようにする。

以上の図２３，図２４は静止画撮像モードの場合のＵＩ表示例だが、動画撮像モードのときは、ユーザは、タッチ操作で顔付近や身体部分をタッチし分けることが困難となる。そこで、動画撮像モードのときは、顔部分に対するタッチ検出により、適切な瞳が選択されて追尾対象とされるようにする。

このような動作のためのカメラ制御部３０の処理例を図２５，図２６，図２７により説明する。
図２５，図２６は静止画撮像モードの場合の一連の処理例であり、接続関係を「ｃ３１」「ｃ３２」「ｃ３３」「ｃ３４」「ｃ３５」「ｃ３６」「ｃ３７」で示している。

静止画撮像モードの場合においてタッチ操作を検知したら、カメラ制御部３０は図２５のステップＳ４０１からステップＳ４０２に進み、瞳ＡＦについてオートモードとする。
そしてステップＳ４０３でカメラ制御部３０は、タッチ位置と画像の関係を判定する。即ちユーザがタッチした位置が、顔か、顔以外か、顔の場合は左右のどちらの目に近い位置か、などを判定する。

ユーザが、画像内の或る顔において右目付近をタッチしたことを判定したら、カメラ制御部３０はステップＳ４１０からＳ４１１に進み、右目の瞳を追尾対象として追尾を開始する。
またカメラ制御部３０はステップＳ４１２で瞳ＡＦ制御のモードを、オートモードにおける一時的右目選択状態として瞳ＡＦ制御を行う。
ステップＳ４１３でカメラ制御部３０は、ＵＩ表示として、追尾アイコン１５５や、追尾対象とした右目に対して瞳枠１５２（例えば瞳検出枠ＷＨｄ）が表示されるように制御する。

続いてカメラ制御部３０は図２６のステップＳ４１５に進み、左目への切り替え操作が行われたか否かを確認する。
またカメラ制御部３０はステップＳ４１６で、追尾解除となったか否かを判定する。例えばユーザによって追尾を終了させる操作が行われたり、被写体人物がフレームアウトして追尾不能状態になった場合に、追尾解除と判定する。

切り替え操作がなく、また追尾解除でもなければ、カメラ制御部３０は図２５のステップＳ４１１に戻り、右の瞳に対する追尾処理及び瞳ＡＦ制御を継続する。

ステップＳ４０３で、ユーザのタッチ操作が、画像内の或る顔において左目付近に対して行われたことを判定した場合は、カメラ制御部３０はステップＳ４２０からＳ４２１に進み、左目の瞳を追尾対象として追尾を開始する。
またカメラ制御部３０はステップＳ４２２で瞳ＡＦ制御のモードを、オートモードにおける一時的左目選択状態として瞳ＡＦ制御を行う。
ステップＳ４２３でカメラ制御部３０は、ＵＩ表示として、追尾アイコン１５５や、追尾対象とした左目に対して瞳枠１５２（例えば瞳検出枠ＷＨｄ）が表示されるように制御する。

続いてカメラ制御部３０は図２６のステップＳ４２５に進み、右目への切り替え操作が行われたか否かを確認する。
またカメラ制御部３０はステップＳ４２６で、追尾解除となったか否かを判定する。
切り替え操作がなく、また追尾解除でもなければ、カメラ制御部３０は図２５のステップＳ４２１に戻り、左の瞳に対する追尾処理及び瞳ＡＦ制御を継続する。

ステップＳ４０３で、ユーザのタッチ操作が、顔以外の部分に対して行われたことを判定した場合は、カメラ制御部３０はステップＳ４３０に進み、タッチした位置が図２４Ａのように人物の領域（つまり人物の身体の画像の領域）であるか否かを確認する。
人物の領域であった場合は、カメラ制御部３０はステップＳ４３１に進み、そのタッチされた人物の顔を追尾対象として追尾を開始する。
またカメラ制御部３０はステップＳ４３２で顔を対象とする顔ＡＦ制御を開始する。
そしてステップＳ４３３でカメラ制御部３０は、ＵＩ表示として、追尾アイコン１５５や、追尾対象とした顔に対して顔枠１５０が表示されるように制御する。

続いてカメラ制御部３０は図２６のステップＳ４２５に進み、右目への切り替え操作が行われたか否かを確認する。
またカメラ制御部３０はステップＳ４２６で、追尾解除となったか否かを判定する。
切り替え操作がなく、また追尾解除でもなければ、カメラ制御部３０は図２５のステップＳ４２１に戻り、左の瞳に対する追尾処理及び瞳ＡＦ制御を継続する。

カメラ制御部３０の処理は図２６のステップＳ４３３に進み、左目を選択する操作又は自動選択が行われたか否かを確認する。例えばユーザの右目／左目の切り替え操作によって左目が選択された場合や、オートモードとしての処理により左目が瞳ＡＦ対象として選択された場合が該当する。
左目選択がされていなければ、カメラ制御部３０はステップＳ４３４で、右目を選択する操作又は自動選択が行われたか否かを確認する。例えばユーザの右目／左目の切り替え操作によって右目が選択された場合や、オートモードとしての処理により右目が瞳ＡＦ対象として選択された場合が該当する。

左目選択、右目選択がなければカメラ制御部３０はステップＳ４３５で、追尾解除となったか否かを判定する。
左目選択、右目選択としての操作又は自動判定が発生しておらず、また追尾解除でもなければ、カメラ制御部３０は図２５のステップＳ４３１に戻り、顔追尾処理及び顔ＡＦ制御を継続する。

なお、この処理例では、顔の追尾及び顔ＡＦは、ユーザのタッチ位置が人物の領域にあると判定したときに行うものとした。
ユーザのタッチ位置が人物の領域ではなかった場合は、ステップＳ４３０からステップＳ４０１に戻る。つまりステップＳ４３１，Ｓ４３２，Ｓ４３３には進まず追尾及びＡＦ動作は開始されない。
但し、タッチ位置が人物の領域ではなかった場合は、最も近い人物が指定されたとしてステップＳ４３１，Ｓ４３２，Ｓ４３３に進むようにしてもよい。

右の瞳に対して追尾及び瞳ＡＦ制御を行っているときに、ユーザの右目／左目の切り替え操作によって左目が指示された場合は、カメラ制御部３０は図２６のステップＳ４１５から図２５のステップＳ４２１、Ｓ４２２、Ｓ４２３に進み、左の瞳に対して追尾及び瞳ＡＦ制御を開始するとともに、左目に瞳枠１５２を表示するＵＩ表示制御を行う。

また顔追尾及び顔ＡＦ制御をおこなっているときに左目選択を検知した場合は、カメラ制御部３０は図２６のステップＳ４３３から図２５のステップＳ４２１、Ｓ４２２、Ｓ４２３に進み、左の瞳に対して追尾及び瞳ＡＦ制御を開始するとともに、左目に瞳枠１５２を表示するＵＩ表示制御を行う。

左の瞳に対して追尾及び瞳ＡＦ制御を行っているときに、ユーザの右目／左目の切り替え操作によって右目が指示された場合は、カメラ制御部３０は図２６のステップＳ４２５から図２５のステップＳ４１１、Ｓ４１２、Ｓ４１３に進み、右の瞳に対して追尾及び瞳ＡＦ制御を開始するとともに、右目に瞳枠１５２を表示するＵＩ表示制御を行う。

また顔追尾及び顔ＡＦ制御をおこなっているときに右目選択を検知した場合は、カメラ制御部３０は図２６のステップＳ４３４から図２５のステップＳ４１１、Ｓ４１２、Ｓ４１３に進み、右の瞳に対して追尾及び瞳ＡＦ制御を開始するとともに、右目に瞳枠１５２を表示するＵＩ表示制御を行う。

図２６のステップＳ４１６、ステップＳ４２６、ステップＳ４３５のいずれかで追尾解除を検知した場合は、カメラ制御部３０はステップＳ４４０に進み、追尾前の状態に戻る。

続いて動画撮像モードのときの処理を図２７で説明する。
動画撮像モードの場合においては、カメラ制御部３０はステップＳ４５０で顔タッチ操作を監視する。ここでは顔の領域（例えば顔枠１５０内）へのタッチのみを追尾操作と認識する。
なお、画像内の顔の領域を正確にタッチすることは困難な場合もあるため、必ずしも厳密に判定するのではなく、ある程度顔に近い位置でのタッチであれば顔タッチと判定してもよい。或いは、顔画像が存在する場合は、タッチは全て顔タッチとして、一番近い顔に対するタッチ操作と判定してもよい。

顔タッチ操作を検知したら、カメラ制御部３０はステップＳ４５０からステップＳ４５１に進み、瞳ＡＦについてオートモードとする。これは狭義のオートモードであり、このとき一時的選択状態であれば、それを解除する。

そしてステップＳ４５２でカメラ制御部３０は、タッチされた人物の顔を追尾対象として追尾を開始する。
ステップＳ４５３でカメラ制御部３０は、追尾対象の顔において、瞳ＡＦ制御の対象を左右いずれかの瞳にするかを選択する処理を行う。図１３のステップＳ２１４と同様の処理である。そしてＡＦ－Ｃとしての瞳ＡＦ制御の対象を選択した瞳に切り替える（又は維持する）。

カメラ制御部３０は、ステップＳ４５３で右目を選択した場合はステップＳ４６０からステップＳ４６１に進み、追尾中の顔の右目に対して瞳検出枠ＷＨｄの表示を実行させ、また追尾アイコン１５５を表示させる制御を行う。

またカメラ制御部３０は、ステップＳ４５３で左目を選択した場合はステップＳ４７０からステップＳ４７１に進み、追尾中の顔の左目に対して瞳検出枠ＷＨｄの表示を実行させ、また追尾アイコン１５５を表示させる制御を行う。

ステップＳ４５３で右目又は左目のいずれも選択できない場合もある。追尾中の顔の向きが変化した場合や、撮像装置１から離れて顔サイズが小さくなった場合などである。そのような場合は、カメラ制御部３０はステップＳ４８０に進み、顔を対象としてＡＦ制御を行うとともに、顔枠１５０と追尾アイコン１５５を表示させる制御を行う。

カメラ制御部３０はステップＳ４４０では追尾終了を確認し、追尾終了であればステップＳ４９１に進んで追尾前の状態に戻る。
追尾継続中はカメラ制御部３０の処理はステップＳ４５２に戻る。

以上のように追尾指示を検知した場合、カメラ制御部３０は静止画撮像モードの場合は図２５，図２６の処理を行い、動画撮像モードのときは図２７の処理を行う。従って次のような動作が実行されることになる。

・静止画撮像モードでは、ユーザのタッチ位置が顔であった場合、近い方の目が選択される。右目が選択された場合、右目追尾が行われ、一時的右目選択状態で右目に対して瞳ＡＦ制御が行われ、左目が選択された場合、左目追尾が行われ、一時的左目選択状態で左目に対して瞳ＡＦ制御が行われる
・静止画撮像モードでは、ユーザのタッチ位置が顔以外であった場合、その人物の顔の追尾が行われ、顔ＡＦ制御が行われる。
・ユーザの操作により追尾及びＡＦの対象の右目、左目の切り替えが可能とされる。
・動画撮像モードのときは ユーザの顔タッチ操作の検出により、顔を追尾する。瞳ＡＦは狭義のオートモードで追尾中の顔の右目或いは左目に対して行う。

なお、制御処理例は他にも多様に考えられる。
例えば顔の大きさに応じて追尾対象を選択するようにしてもよい。顔へのタッチ操作を検出した際に、画像上で顔が所定サイズより大きければ瞳を選択して追尾及び瞳ＡＦ制御を行い、顔が所定サイズ以下であれば顔を選択して追尾及び顔ＡＦ制御を行うような処理である。

＜８．第６の実施の形態＞
第６の実施の形態の処理例を図２８で説明する。
上述した第１の実施の形態の図１３、及び第２の実施の形態の図１６では、ステップＳ２０１で、撮像画像における顔検出及び瞳検出の処理を行い、また瞳検出に応じてＡＦ－Ｃとしての瞳ＡＦ制御を行うとする例を述べた。
図１３，図１６ではステップＳ２０１では瞳検出ができてＡＦ－Ｃが行われていることを前提に説明したが、第６の実施の形態では、その前提が整うまでの顔検出、瞳検出、瞳ＡＦまでの流れの例を説明する。

図２８においてステップＳ２０２からステップＳ２１７は図１３と同様である。また、この図２８は図１４と合わせて一連の処理フローとなることも図１３と同様である。
そして図１３のステップＳ２０１に相当する処理を図２８ではステップＳ１０からステップＳ１７として示している。
またステップＳ１８を追加している。

ステップＳ１０でカメラ制御部３０は、現在、瞳ＡＦ制御中か否かで処理を分岐する。
瞳ＡＦ制御中であれば、既に顔検出、瞳検出ができている状態であるので、ステップＳ２０２以降に進み、上述の図１３と同様の処理となる。

瞳ＡＦ制御中でなければカメラ制御部３０はステップＳ１０からステップＳ１１に進み、顔検出を行う。例えばフレーム全体の範囲で例えば人物（或いは動物でもよい）の顔の画像を探索する。
顔検出ができていない期間は、カメラ制御部３０はステップＳ１２からステップＳ２０２，Ｓ２０４に進み、記録開始や記録終了があった場合は、上述した対応処理（ステップＳ２０３やステップＳ２０５）を行う。そしてステップＳ１０に戻る。
特にこれらの処理がなければ、カメラ制御部３０は、まだ瞳検出ができていないため、ステップＳ１８からステップＳ１０に戻る。

顔検出ができたらカメラ制御部３０はステップＳ１２からステップＳ１３に進み、顔枠１５０の表示制御を行う。例えば優先顔枠ＷＤｐ、非優先顔枠ＷＤｅのいずれもが表示されるようにする。
またカメラ制御部３０はステップＳ１４でＡＦ－Ｃとして顔ＡＦを開始する。

カメラ制御部３０はステップＳ１５で瞳検出を行う。例えば検出された顔の内の優先顔の瞳検出を行う。
瞳が検出されていない期間は、カメラ制御部３０はステップＳ１６からステップＳ２０２に進む。
瞳が検出されたら、カメラ制御部３０はステップＳ１６からステップＳ１７に進みＡＦ－Ｃの対象を顔から瞳に切り替える。即ち瞳ＡＦを開始する。
この場合に、瞳ＡＦの対象を右目、左目のいずれかにするかは、固定モード又は一時的固定状態であれば、ユーザの指定した方となり、オートモードの場合はステップＳ２１４で決められることになる。

例えばこのように段階的に顔検出、顔ＡＦ、瞳検出、瞳ＡＦが行われるようにすることで、被写体及び撮像画像の状況に応じて柔軟に、その時々で適切なＡＦ動作が実行されることになる。

＜９．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
第１、第２、第３の実施の形態で説明したように、撮像装置１は、撮像画像における瞳の検出を行う顔・瞳検出部６１と、静止画撮像モードにおいては、所定操作に応じて、顔・瞳検出部６１で検出された瞳に対するＡＦが行われるようにする瞳ＡＦ制御を実行し、動画撮像モードにおいては、顔・瞳検出部６１で瞳が検出されることに応じて瞳ＡＦ制御を実行するＡＦ制御部５２と、瞳ＡＦ制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠１５２を表示させる制御を行う表示制御部５５とを備える。

これにより、静止画撮像時はユーザ操作に応じた瞳ＡＦ動作が行われ、動画撮像時は自動的に瞳ＡＦが発動されることになり、撮像モードに合わせた使用性の良い瞳ＡＦ動作をユーザに提供できる。特に動画の場合は、ＡＦ－Ｃとして継続的にＡＦ動作が行われていることを想定すると、瞳が検出できたタイミングで自動的に瞳ＡＦ動作が行われることは、品質の良い動画を撮像するために非常に有効な制御となる。

第１の実施の形態で説明したように、表示制御部５５は、静止画撮像モードにおいては、瞳ＡＦ制御による合焦に応じて、瞳枠１５２として瞳合焦枠ＷＨｆを表示させる（図１１のステップＳ１１９、図１２のステップＳ１４５，Ｓ１５５）。一方、動画撮像モードにおいては、表示制御部５５は、瞳ＡＦ制御による合焦に応じても、瞳枠１５２として瞳検出枠ＷＨｄを表示させるようにしている（図１３のステップＳ２１７，図１４のステップＳ２２１，Ｓ２３１）。

動画撮像モードでは、ＡＦ制御が継続して行われている（ＡＦ－Ｃ）ため、瞳合焦枠ＷＨｆを表示させても、その表示が安定しないことがおこりやすい。その場合、ユーザにとってわかりにくい情報提示画面となることが懸念される。そこで、瞳検出枠ＷＨｄを継続することで、撮像モニタ画像を安定させ、ユーザに見やすい画面を提供できるようにする。
また動画撮像モードの場合、合焦できていれば、安定して瞳枠１５２を表示できる。そのため瞳検出枠ＷＨｄにより瞳枠１５２を表示することは、ユーザに対する情報表示として好適となる。

第１の実施の形態で説明したように、表示制御部５５は、静止画撮像モードで瞳ＡＦ制御の対象を左右の瞳のいずれにするかを自動設定する場合、つまり狭義のオートモードの場合は、所定操作に応じて瞳ＡＦ制御が行われた際に、合焦に至るまでは、瞳枠１５２として瞳検出枠ＷＨｄを表示させない（図９Ａ、図９Ｂ、図１１のステップＳ１１８，Ｓ１１６）。

オートモードでは、合焦前の段階では、瞳は検出できていても、必ずしも左右の瞳のいずれがＡＦ対象として適しているかが安定しない場合がある。その場合、瞳枠１５２の位置が左右の瞳で頻繁に変化し、ちらついてしまうことが想定される。そこで合焦していない段階では瞳枠１５２を表示させず、顔枠１５０を表示することで、表示が不安定にならないようにするものである。
またユーザにとっては、半押し操作で瞳ＡＦ制御が行われた後、瞳枠１５２の表示で瞳への合焦状態を認識できるようになる。
なお瞳ＡＦ動作が極めて短時間で完了する場合は、瞳枠１５２が表れない時間は極めて短く、実際には瞳枠１５２が表れないことをユーザが認識できないことが想定される。
但し何らかの事情で瞳ＡＦ動作が合焦しにくく、合焦前の時間が長くなることを想定する場合には、合焦前は例えば瞳検出枠ＷＨｄを表示するような処理例も好適となる。

また、右目固定モード、左目固定モード、或いは一時的選択状態であれば、瞳枠１５２の位置が左右の瞳で頻繁に変化し、ちらついてしまうということはない。そこでこれらの場合は、半押し等の所定操作に応じて瞳ＡＦ制御が行われた際に、合焦に至るまでは、瞳枠１５２として瞳検出枠ＷＨｄを表示させる（図１２のステップＳ１４５，Ｓ１５５）。これにより、ユーザは例えば半押し操作の際に、瞳ＡＦ制御が行われているが、まだ瞳へ合焦していない状態を確認できる。

なお瞳ＡＦ動作が極めて短時間で完了する場合は、ユーザが瞳検出枠ＷＨｄを認識できる時間は極めて短く、実際には認識できない場合も想定される。但し何らかの事情で瞳ＡＦ動作が合焦しにくいような場合、即ち合焦していない時間が長い場合には、当該瞳検出枠ＷＨｄの表示は有用な表示となる。

実施の形態では、瞳検出枠ＷＨｄと瞳合焦枠ＷＨｆは、色が異なる枠表示とした（図９，図１０等参照）。
色の違いにより瞳検出枠ＷＨｄと瞳合焦枠ＷＨｆとの違いをユーザに認識し易くしている。
また、瞳検出枠ＷＨｄと瞳合焦枠ＷＨｆの形状は、瞳を囲む正方形などとし、ほぼ同様である。瞳ＡＦ動作が行われてから合焦に至るまでは短時間ですむことも多く、また何らかの事情で合焦状態と非合焦状態が頻繁に切り替わることもありえる。このとき、瞳検出枠ＷＨｄと瞳ＷＨｆで枠の形状が異なるものとすると、撮像モニタ画像上で、瞳枠１５２が頻繁に変化して見づらいものとなりかねない。そこで、瞳検出枠ＷＨｄと瞳ＷＨｆは色のみが変化する表示態様とすることで、ユーザが視認しやすいようにできる。

実施の形態では、静止画撮像モードの場合では、シャッターボタン１１０Ｓの半押しにより、瞳ＡＦ制御が開始されるようにしている。
これにより撮像装置において一般的に用いられているＡＦ操作を瞳ＡＦの操作として適用できる。つまり人などの撮像にとって、より適した瞳ＡＦ動作を、ユーザが、これまでのＡＦ動作と同様に発動させることができる。

第１の実施の形態で説明したように、表示制御部５５は、動画撮像モードで瞳ＡＦ制御が行われ、瞳ＡＦ制御の対象を左右の瞳のいずれにするかを自動設定する狭義のオートモードの場合は、瞳枠１５２を表示させないようにしている（図１３のステップＳ２１６）。一方、瞳オートフォーカス制御の対象をユーザ操作により指定された瞳とする固定モード、例えば右目固定モード又は左目固定モードの場合は、瞳に合焦していないときも瞳枠１５２（瞳検出枠ＷＨｄ）を表示させる（図１４のステップＳ２２１，Ｓ２３１）。

動画撮像モードでは、瞳検出に応じて自動的に瞳ＡＦ制御が行われているがオートモードの場合は、オートモードの場合、合焦できていない状態では左右のちらつきなどの懸念があるため、瞳枠は出さないことで、撮像モニタ画像の表示品質を維持する。
一方で、右目固定モード又は左目固定モードの場合は、瞳枠１５２を表示させるのは左目側又は右目側のいずれかに固定され、合焦していなくても左右のちらつきは生じない。またユーザが指定したフォーカス対象が左右どちらであるかを明示することが好適である。そこで、右目固定モードのときは右目に合わせて瞳枠１５２を表示し、左目固定モードのときは左目に合わせて瞳枠１５２を表示することで、表示品質も損なわず、かつユーザに適切な情報提供ができる。

なお実施の形態では、オートモード、右目固定モード、左目固定モードをユーザ操作により選択可能としたが、例えばオートモードと右目固定モードのみを選択可能としてもよいし、オートモードと左目固定モードのみを選択可能としてもよい。

第１の実施の形態で説明したように、オートモードにあるときは、一時的にユーザ操作により指定された瞳を対象に固定して瞳ＡＦ制御を行うようにする一時的選択状態とすることが可能とされ、表示制御部５５は、一時的選択状態、例えば一時的右目選択状態又は一時的左目選択状態の場合は、右目固定モード又は左目固定モードの場合と同様に、瞳に合焦していないときも瞳枠１５２（瞳検出枠ＷＨｄ）を表示させる（図１４のステップＳ２２１，Ｓ２２２）。

一時的右目選択状態又は一時的左目選択状態とされている場合は、右目固定モード又は左目固定モードと同様に、瞳枠１５２を表示させるのは左目側又は右目側のいずれかに固定される。つまり左右のちらつきは生じない。またユーザ操作に応じたものであるため、瞳ＡＦ制御の対象を明示することが好適である。そこで、一時的右目選択状態のときは右目に合わせて瞳枠１５２を表示し、一時的左目選択状態のときは左目に合わせて瞳枠１５２を表示することで、表示品質も損なわず、かつユーザに適切な情報提供ができる。

なお実施の形態では、一時的右目選択状態と一時的左目選択状態の両方をユーザ操作により選択可能としたが、一時的右目選択状態と一時的左目選択状態のいずれか一方がユーザ操作により選択可能とされるものとしてもよい。

第２の実施の形態で説明したように、表示制御部５５は、動画撮像モードにおいては、瞳ＡＦ制御が行われた際に、合焦に至るまでは、瞳枠１５２として瞳検出枠ＷＨｄを表示させる（図１７のステップＳ２２６、Ｓ２３６）。そして合焦に応じて、瞳枠１５２として瞳合焦枠ＷＨｆを表示させる（図１７のステップＳ２２７、Ｓ２３７、図１６のステップＳ２１７Ａ）。

これにより、ユーザは動画撮像時に瞳への合焦状態を確認できる。
なお狭義のオートモードの場合は、合焦していない期間は、瞳検出枠ＷＨｄの表示を行っていない（図１６のステップＳ２１６）。これはオートモードで瞳枠１５２が左右でちらついてしまうことを防止する意味がある。

第３の実施の形態で説明したように、顔・瞳検出部６１による顔検出に応じた顔枠１５０の表示の入／切が選択可能とされ、表示制御部５５は、動画撮像モードにおいては、入／切の選択に応じて、顔枠の表示制御を行うようにしてもよい（図１８，図１９，図２０参照）。
特に動画撮像中は、顔枠によって画面表示が複雑化する場合がある。そこでユーザの選択により入／切を選択できるようにすることで、表示を見やすいものとすることができる。

第３の実施の形態の例では、表示制御部５５は、動画撮像モードで顔枠の表示の「切」が選択されている場合、狭義のオートモードの場合は、顔枠１５０を表示させない（図１９のステップＳ２４２）ようにした。また右目固定モード又は左目固定モードの場合は、顔枠１５０を表示させずに、瞳検出により合焦にかかわらず瞳枠を表示させる（図２０のステップＳ２５２，Ｓ２６２）制御を行うようにした。

即ちいずれのモードの場合でも、ユーザは顔枠表示をオフにすることが選択できる。
そして狭義のオートモードの場合、合焦できていない状態では左右のちらつきなどの懸念があるため、瞳枠１５２は表示させないか、もしくは少なくとも合焦してから表示することで、撮像モニタ画像の表示品質を維持できる。
右目固定モード又は左目固定モードの場合は、瞳枠１５２を表示させるのは左目側又は右目側のいずれかに固定され、左右のちらつきは生じない。またユーザが指定した対象を明示することが好適である。従って瞳枠１５２を表示することで、表示品質も損なわず、かつユーザに適切な情報提供ができる。

第３の実施の形態で説明したように顔枠１５０の表示の「切」が選択されている場合、表示制御部５５は、一時的右目選択状態又は一時的左目選択状態のときは、顔枠１５０を表示させずに、右目固定モード又は左目固定モードの場合と同様に、瞳に合焦していないときも瞳枠１５２（瞳検出枠ＷＨｄ）を表示させる（図２０のステップＳ２２１，Ｓ２３１）。
一時的右目選択状態又は一時的左目選択状態とされている場合は、右目固定モード又は左目固定モードと同様に、瞳枠１５２を表示させるのは左目側又は右目側のいずれかに固定され、瞳枠１５２の左右のちらつきは生じない。またユーザ操作に応じたものであるため、瞳ＡＦ制御の対象を明示することが好適である。従って瞳枠１５２を表示することで、表示品質も損なわず、かつユーザに適切な情報提供ができる。

第３の実施の形態では、顔枠１５０の表示の「切」が選択された場合、オートモードの場合は、顔枠１５０を表示させず、瞳に合焦することに応じて瞳枠を表示させる制御を行う例を述べた（図１９のステップＳ２４２）。
オートモードでも合焦により瞳枠１５２の表示が安定することが想定されるため、瞳枠１５２を表示させ、ユーザに合焦状態を提示するものである。

第１、第２、第３の実施の形態では、静止画撮像モードの場合、静止画記録を指示するレリーズ操作に応じて一時的右目選択状態又は一時的左目選択状態が解除され（図１１のステップＳ１０５）、動画撮像モードの場合、レリーズ操作とは異なる操作（エンターボタン１１０Ｅの操作）に応じて一時的右目選択状態又は一時的左目選択状態が解除（図１３、図１６、図１９のステップＳ２１２）される例を挙げた。

静止画撮像モードでは、レリーズ操作によりユーザの意思に応じた一時的選択状態の解除のタイミングがわかるが、動画記録中はそのような解除のトリガがない。ユーザにとってはレリーズ操作とは異なる操作として特定の操作が一時的選択状態の解除の操作として提供されることで、狭義のオートモードに戻したい場合に好適となる。例えば動画記録を停止するなどの操作をしなくとも、オートモードに戻せるようになる。
またいつでもエンターボタン１１０Ｅなどの固定のキーで一時的選択状態の解除が行えることでユーザにとって使いやすいものとなる。

なお、図１１では静止画撮像モードのときもエンターボタン１１０Ｅなどの固定のキーで一時的選択状態の解除ができるようにしているが（ステップＳ１１１，Ｓ１１２）、このように、常に任意に一時的選択状態の解除ができることは、ユーザにわかりやすい操作環境を提供できるものとなる。

第４の実施の形態で説明したように、例えばアサイナブルボタン１１０Ｃを瞳ＡＦ動作を指示する操作子とする。そして静止画撮像モードの場合は、ＡＦ制御部５２は、アサイナブルボタン１１０Ｃの操作に応じて撮像画像全体を対象とした瞳検出に基づく瞳ＡＦ制御を開始し、表示制御部５５は、合焦に応じて、瞳枠１５２として瞳合焦枠ＷＨｆを表示させる。動画撮像モードの場合は、ＡＦ制御部５２は、アサイナブルボタン１１０Ｃの操作に応じて、顔を対象とするＡＦ制御を、撮像画像全体を対象とした瞳検出に基づく瞳ＡＦ制御に切り替え、表示制御部５５は、瞳検出に応じて、瞳枠１５２として瞳検出枠ＷＨｄを表示させる（図２２参照）。

これにより、ユーザ操作に基づく瞳ＡＦ制御が、静止画撮像モード、動画撮像モードのそれぞれに応じて実行されるとともに、それぞれに適した瞳枠１５２の表示が実現される。即ち静止画撮像モードの場合、ＡＦ－Ｓとしての瞳ＡＦ制御が行われ、合焦が提示される。動画撮像モードの場合、ＡＦ－Ｃの対象が瞳に切り替えられ、瞳検出枠ＷＨｄで検出状態が提示される。これによりユーザにわかりやすい情報提示ができる。

なお瞳ＡＦ動作を指示する操作はアサイナブルボタン１１０Ｃの操作だけでなく多様に考えられる。特定の操作ボタン等の操作子の操作でもよいし、ユーザのタッチ、挙動、声などによる操作であってもよい。

第５の実施の形態で説明したように、例えば撮像モニタ画像が表示されや表示パネル１０１上でタッチ操作が可能とされる。そしてＡＦ制御部５２は、静止画撮像モードの場合は、タッチ操作に応じて瞳を追尾する瞳ＡＦ制御を行い、動画撮像モードの場合は、タッチ操作に応じて顔を追尾したうえで選択した瞳に対する瞳ＡＦ制御を行うようにする。
動画撮像中はユーザは細かい操作は困難なので、タッチで指定される顔を追尾するようし、その顔の左右の瞳を自動選択して瞳ＡＦ制御を行う。これによりユーザの操作を容易にすることができる。

第５の実施の形態で説明したように、ＡＦ制御部５２は、静止画撮像モードの場合は、撮像モニタ画像内の顔へのタッチ操作に応じて、タッチ位置に近い側の瞳を追尾する瞳ＡＦ制御を行い、撮像モニタ画像内の顔以外へのタッチ操作に応じて、タッチ位置に近い顔を追尾するＡＦ制御を行うようにすることができる。
静止画撮像モードの場合、ユーザは動画撮像モードのときよりも操作の余裕があり、タッチ操作も正確に可能な場合が多いことが想定される。そこでタッチ位置により追尾対象を右目、左目にするか、或いは顔にするかを指定できるようにする。これによりユーザはタッチ操作のみで追尾対象を細かく指定できることになる。

実施の形態のプログラムは、図１０，図１１，図１３，図１４，図１６，図１７，図１９，図２０，図２５，図２６，図２７のいずれかの処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。

即ち実施の形態のプログラムは、撮像画像に対して瞳検出を行う画像認識処理と、静止画撮像モードにおいて、所定操作に応じて、画像認識処理で検出された瞳に対するＡＦが行われるようにする瞳ＡＦ制御を実行し、動画撮像モードにおいては、画像認識処理で瞳が検出されることに応じて瞳ＡＦ制御を実行するＡＦ制御処理と、瞳ＡＦ制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる表示制御処理とを演算処理装置に実行させる。

演算処理装置とは、例えばカメラ制御部３０としての演算処理装置（マイクロプロセッサ）などである。
このようなプログラムにより、本実施の形態の撮像装置１の動作を行う機器が実現できる。

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の撮像装置１の広範な提供に適している。例えばパーソナルコンピュータ、スマートホンやタブレット等の携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等であって、撮像機能を備えた機器に、当該プログラムをダウンロードすることで、これらの機器を本開示の撮像装置１として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
撮像画像における瞳の検出を行う検出部と、
静止画撮像モードにおいては、所定操作に応じて、前記検出部で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出部で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御部と、
前記瞳オートフォーカス制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる制御を行う表示制御部と、を備えた
撮像装置。
（２）
前記表示制御部は、
静止画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として瞳合焦枠を表示させ、
動画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として、前記瞳合焦枠とは異なる表示態様の瞳検出枠を表示させる制御を行う
上記（１）に記載の撮像装置。
（３）
前記表示制御部は、
静止画撮像モードにおいて前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定する場合は、前記所定操作に応じて前記瞳オートフォーカス制御が行われた際に、合焦に至るまでは前記瞳枠を表示させない制御を行う
上記（１）又は（２）に記載の撮像装置。
（４）
前記瞳検出枠と前記瞳合焦枠は、色が異なる枠表示とされる
上記（２）又は（３）に記載の撮像装置。
（５）
前記所定操作はシャッターボタンの半押し操作である
上記（１）から（４）のいずれかに記載の撮像装置。
（６）
瞳オートフォーカス制御に関するモードとして、
前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードと、
前記瞳オートフォーカス制御の対象をユーザ操作により指定された瞳とする固定モードと、
が選択可能とされており、
前記表示制御部は、
動画撮像モードにおける前記瞳オートフォーカス制御で瞳に合焦していないとき、
前記オートモードの場合は瞳枠を表示させず、
前記固定モードの場合は、瞳枠を表示させる制御を行う
上記（１）から（５）のいずれかに記載の撮像装置。
（７）
前記オートモードにおいては、
一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、
前記表示制御部は、
動画撮像モードにおける前記瞳オートフォーカス制御で瞳に合焦していないとき、
前記一時的選択状態の場合は、瞳枠を表示させる制御を行う
上記（６）に記載の撮像装置。
（８）
前記表示制御部は、
動画撮像モードにおいては、前記瞳オートフォーカス制御が行われた際に、合焦に至るまでは、前記瞳枠として瞳検出枠を表示させ、合焦に応じて前記瞳枠として前記瞳検出枠とは異なる表示態様の瞳合焦枠を表示させる制御を行う
上記（１）に記載の撮像装置。
（９）
前記検出部による顔検出に応じた顔枠の表示の入／切が選択可能とされ、
前記表示制御部は、動画撮像モードにおいては、
前記入／切の選択に応じて、顔枠の表示制御を行う
上記（１）から（８）のいずれかに記載の撮像装置。
（１０）
瞳オートフォーカス制御に関するモードとして、
前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードと、
前記瞳オートフォーカス制御の対象をユーザ操作により指定された瞳とする固定モードと、
が選択可能とされており、
前記表示制御部は、顔枠の表示の切が選択された場合、
前記オートモードの場合は、顔枠を表示させず、
前記固定モードの場合は、顔枠を表示させず、瞳検出により合焦にかかわらず瞳枠を表示させる制御を行う
上記（９）に記載の撮像装置。
（１１）
前記オートモードにおいては、
一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、
前記表示制御部は、顔枠の表示の切が選択された場合、
前記一時的選択状態の場合は、顔枠を表示させず、瞳検出により合焦にかかわらず瞳枠を表示させる制御を行う
上記（１０）に記載の撮像装置。
（１２）
前記表示制御部は、顔枠の表示の切が選択された場合、
前記オートモードの場合は、顔枠を表示させず、瞳に合焦することに応じて瞳枠を表示させる制御を行う
上記（１０）又は（１１）に記載の撮像装置。
（１３）
瞳オートフォーカス制御に関するモードの１つとして、
前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードが選択可能とされ、
前記オートモードにおいては、一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、
静止画撮像モードの場合、静止画記録を指示するレリーズ操作に応じて前記一時的選択状態が解除され、
動画撮像モードの場合、前記レリーズ操作とは異なる操作に応じて前記一時的選択状態が解除される
上記（１）から（１２）のいずれかに記載の撮像装置。
（１４）
静止画撮像モードの場合は、
前記オートフォーカス制御部は、瞳オートフォーカス動作を指示する操作に応じて、撮像画像全体を対象とした瞳検出に基づく前記瞳オートフォーカス制御を開始し、
前記表示制御部は、合焦に応じて、瞳枠として瞳合焦枠を表示させ、
動画撮像モードの場合は、
前記オートフォーカス制御部は、前記操作に応じて、顔を対象とするオートフォーカス制御を、撮像画像全体を対象とした瞳検出に基づく前記瞳オートフォーカス制御に切り替え、
前記表示制御部は、瞳検出に応じて、瞳枠として瞳検出枠を表示させる
上記（１）から（１３）のいずれかに記載の撮像装置。
（１５）
撮像モニタ画像の表示画面に対するタッチ操作が検知可能とされ、
前記オートフォーカス制御部は、
静止画撮像モードの場合は、タッチ操作に応じて瞳を追尾して前記瞳オートフォーカス制御を行い、
動画撮像モードの場合は、タッチ操作に応じて顔を追尾したうえで選択した瞳に対する前記瞳オートフォーカス制御を行う
上記（１）から（１４）のいずれかに記載の撮像装置。
（１６）
前記オートフォーカス制御部は、
静止画撮像モードの場合は、
撮像モニタ画像内の顔へのタッチ操作に応じて、タッチ位置に近い側の瞳を追尾する前記瞳オートフォーカス制御を行い、
撮像モニタ画像内の顔以外へのタッチ操作に応じて、タッチ位置に近い顔を追尾して顔に対するオートフォーカス制御を行う
上記（１５）に記載の撮像装置。
（１７）
撮像画像における瞳の検出を行う検出処理と、
静止画撮像モードにおいて、所定操作に応じて、前記検出処理で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出処理で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御処理と、
前記瞳オートフォーカス制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる表示制御処理と、
を撮像装置が行う撮像方法。
（１８）
撮像画像における瞳の検出を行う検出処理と、
静止画撮像モードにおいて、所定操作に応じて、前記検出処理で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出処理で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御処理と、
前記瞳オートフォーカス制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる表示制御処理と、
を演算処理装置に実行させるプログラム。

１ 撮像装置、２ レンズ鏡筒、１２ 撮像素子、１３ カメラ信号処理部、１４ 記録制御部、１５ 表示部、１６ 出力部、１７ 操作部、１８ 電源部、２１ レンズ系、２２ ドライバ部、２３ レンズ制御部、２４ 操作部、３０ カメラ制御部、３１ メモリ部、５１ ＡＦ測距部、５２ ＡＦ制御部、５３ 画像認識部、５４ 操作認識部、５５ 表示制御部、５６ アサイナブルボタン設定部、６１ 顔・瞳検出部、６２ 追尾処理部、７１ ＩＳＯ感度、７２ 露出値、７３ 絞り値、７４ シャッタースピード、７５ 合焦マーク、７６ ファインダフレームレート、７７ シャッター方式、７８ フォーカスエリア、７９ フォーカスモード、８０ ドライブモード、８１ 撮影モード、８２ 記憶メディア／枚数、８３ 縦横比、８４ 画像サイズ、８５ 手ぶれ補正、８６ 画質、８７ バッテリー残量、９０ フォーカス枠、９１ 追尾枠、１５０ 顔枠、１５２ 瞳枠、１５５ 追尾アイコン、１５７ 切り替え表示、１００ 本体筐体、１０１ 表示パネル、１０２ ビューファインダー、１０３ 握持部、１１０ 操作子、１１０Ｓ シャッターボタン、１１０Ｃ アサイナブルボタン、１１０Ｅ エンターボタン、
ＷＤｐ 優先顔枠、ＷＤｅ 非優先顔枠、ＷＨｆ 瞳合焦枠、ＷＨｄ 瞳検出枠

Claims (17)

1. 撮像画像における瞳の検出を行う検出部と、
   静止画撮像モードにおいては、所定操作に応じて、前記検出部で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出部で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御部と、
   前記瞳オートフォーカス制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる制御を行う表示制御部と、を備え、
   前記表示制御部は、
   静止画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として瞳合焦枠を表示させ、
   動画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として、前記瞳合焦枠とは異なる表示態様の瞳検出枠を表示させる制御を行う
   撮像装置。
2. 前記表示制御部は、
   静止画撮像モードにおいて前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定する場合は、前記所定操作に応じて前記瞳オートフォーカス制御が行われた際に、合焦に至るまでは前記瞳枠を表示させない制御を行う
   請求項１に記載の撮像装置。
3. 前記瞳検出枠と前記瞳合焦枠は、色が異なる枠表示とされる
   請求項１に記載の撮像装置。
4. 前記所定操作はシャッターボタンの半押し操作である
   請求項１に記載の撮像装置。
5. 瞳オートフォーカス制御に関するモードとして、
   前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードと、
   前記瞳オートフォーカス制御の対象をユーザ操作により指定された瞳とする固定モードと、
   が選択可能とされており、
   前記表示制御部は、
   動画撮像モードにおける前記瞳オートフォーカス制御で瞳に合焦していないとき、
   前記オートモードの場合は瞳枠を表示させず、
   前記固定モードの場合は、瞳枠を表示させる制御を行う
   請求項１に記載の撮像装置。
6. 前記オートモードにおいては、
   一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、
   前記表示制御部は、
   動画撮像モードにおける前記瞳オートフォーカス制御で瞳に合焦していないとき、
   前記一時的選択状態の場合は、瞳枠を表示させる制御を行う
   請求項５に記載の撮像装置。
7. 撮像画像における瞳の検出を行う検出部と、
   静止画撮像モードにおいては、所定操作に応じて、前記検出部で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出部で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御部と、
   前記瞳オートフォーカス制御による合焦に応じて撮像モニタ画像上に合焦した瞳を示す瞳枠を表示させる制御を行う表示制御部と、を備え、
   前記表示制御部は、
   動画撮像モードにおいては、前記瞳オートフォーカス制御が行われた際に、合焦に至るまでは、前記瞳枠として瞳検出枠を表示させ、合焦に応じて前記瞳枠として前記瞳検出枠とは異なる表示態様の瞳合焦枠を表示させる制御を行う
   撮像装置。
8. 前記検出部による顔検出に応じた顔枠の表示の入／切が選択可能とされ、
   前記表示制御部は、動画撮像モードにおいては、
   前記入／切の選択に応じて、顔枠の表示制御を行う
   請求項１に記載の撮像装置。
9. 瞳オートフォーカス制御に関するモードとして、
   前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードと、
   前記瞳オートフォーカス制御の対象をユーザ操作により指定された瞳とする固定モードと、
   が選択可能とされており、
   前記表示制御部は、顔枠の表示の切が選択された場合、
   前記オートモードの場合は、顔枠を表示させず、
   前記固定モードの場合は、顔枠を表示させず、瞳検出により合焦にかかわらず瞳枠を表示させる制御を行う
   請求項８に記載の撮像装置。
10. 前記オートモードにおいては、
    一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、
    前記表示制御部は、顔枠の表示の切が選択された場合、
    前記一時的選択状態の場合は、顔枠を表示させず、瞳検出により合焦にかかわらず瞳枠を表示させる制御を行う
    請求項９に記載の撮像装置。
11. 前記表示制御部は、顔枠の表示の切が選択された場合、
    前記オートモードの場合は、顔枠を表示させず、瞳に合焦することに応じて瞳枠を表示させる制御を行う
    請求項９に記載の撮像装置。
12. 瞳オートフォーカス制御に関するモードの１つとして、
    前記瞳オートフォーカス制御の対象を左右の瞳のいずれにするかを自動設定するオートモードが選択可能とされ、
    前記オートモードにおいては、一時的にユーザ操作により指定された瞳を対象に固定して前記瞳オートフォーカス制御を行うようにする一時的選択状態とすることが可能とされ、
    静止画撮像モードの場合、静止画記録を指示するレリーズ操作に応じて前記一時的選択状態が解除され、
    動画撮像モードの場合、前記レリーズ操作とは異なる操作に応じて前記一時的選択状態が解除される
    請求項１に記載の撮像装置。
13. 静止画撮像モードの場合は、
    前記オートフォーカス制御部は、瞳オートフォーカス動作を指示する操作に応じて、撮像画像全体を対象とした瞳検出に基づく前記瞳オートフォーカス制御を開始し、
    前記表示制御部は、合焦に応じて、瞳枠として瞳合焦枠を表示させ、
    動画撮像モードの場合は、
    前記オートフォーカス制御部は、前記操作に応じて、顔を対象とするオートフォーカス制御を、撮像画像全体を対象とした瞳検出に基づく前記瞳オートフォーカス制御に切り替え、
    前記表示制御部は、瞳検出に応じて、瞳枠として瞳検出枠を表示させる
    請求項１に記載の撮像装置。
14. 撮像モニタ画像の表示画面に対するタッチ操作が検知可能とされ、
    前記オートフォーカス制御部は、
    静止画撮像モードの場合は、タッチ操作に応じて瞳を追尾して前記瞳オートフォーカス制御を行い、
    動画撮像モードの場合は、タッチ操作に応じて顔を追尾したうえで選択した瞳に対する前記瞳オートフォーカス制御を行う
    請求項１に記載の撮像装置。
15. 前記オートフォーカス制御部は、
    静止画撮像モードの場合は、
    撮像モニタ画像内の顔へのタッチ操作に応じて、タッチ位置に近い側の瞳を追尾する前記瞳オートフォーカス制御を行い、
    撮像モニタ画像内の顔以外へのタッチ操作に応じて、タッチ位置に近い顔を追尾して顔に対するオートフォーカス制御を行う
    請求項１４に記載の撮像装置。
16. 撮像画像における瞳の検出を行う検出処理と、
    静止画撮像モードにおいて、所定操作に応じて、前記検出処理で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出処理で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御処理と、
    静止画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、撮像モニタ画像上に合焦した瞳を示す瞳枠として瞳合焦枠を表示させ、動画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として、前記瞳合焦枠とは異なる表示態様の瞳検出枠を表示させる制御を行う表示制御処理と、
    を撮像装置が行う撮像方法。
17. 撮像画像における瞳の検出を行う検出処理と、
    静止画撮像モードにおいて、所定操作に応じて、前記検出処理で検出された瞳に対するオートフォーカスが行われるようにする瞳オートフォーカス制御を実行し、動画撮像モードにおいては、前記検出処理で瞳が検出されることに応じて前記瞳オートフォーカス制御を実行するオートフォーカス制御処理と、
    静止画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、撮像モニタ画像上に合焦した瞳を示す瞳枠として瞳合焦枠を表示させ、動画撮像モードにおいては、前記瞳オートフォーカス制御による合焦に応じて、前記瞳枠として、前記瞳合焦枠とは異なる表示態様の瞳検出枠を表示させる制御を行う表示制御処理と、
    を演算処理装置に実行させるプログラム。

Images