JP7379028B2 - 電子機器、電子機器の制御方法、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、電子機器、電子機器の制御方法、プログラムおよび記憶媒体に関する。

近年、カメラの自動化・インテリジェント化が進み、手動で物体の位置を入力せずとも、ファインダを覗くユーザーの視線位置の情報（視線情報；視線入力情報）に基づいてユーザーの意図する物体を検出し、焦点制御を行う技術が提案されている。特許文献１では、視線情報を用いて、物体の領域として検出した領域を補正することで物体の検出精度を向上させる技術が開示されている。

特開２０１８－２０５６４８号公報

ここで、ユーザーの視線位置を取得する際に、ユーザーの所望の領域（ユーザーが見たい領域）以外の領域にＧＵＩ画像が表示されている場合に、ユーザーの視線は表示されているＧＵＩ画像を向きやすく、視線を所望の領域に保ちにくいという問題がある。そのため、視線情報を用いても、物体の領域として検出された領域の位置と物体の実際の位置とのずれが生じてしまうことがあった。

そこで、本発明は、ユーザーの視線を所望の領域に向けやすくすることを目的とする。

本発明の一態様は、
入力画像と第１のＧＵＩ画像と第２のＧＵＩ画像とを表示部に表示する表示制御手段と、
前記入力画像における所定の物体の位置を検出する第１の検出手段と、
前記入力画像におけるユーザの視点を検出する第２の検出手段と、
を有し、
前記表示制御手段は、
前記第１の検出手段により検出される前記所定の物体の位置に対応する位置に前記第１のＧＵＩ画像を表示し、前記第２の検出手段により検出される前記視点に対応する位置に前記第２のＧＵＩ画像を表示し、
前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあう場合に、前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあわない場合に比べて、前記第２のＧＵＩ画像を目立たなくする、
ことを特徴とする電子機器である。

本発明によれば、ユーザーの視線を所望の領域に向けやすくすることができる。

本実施形態に係るカメラの断面図である。 本実施形態に係るカメラのブロック図である。 本実施形態に係るファインダ内視野を示す図である。 本実施形態に係る視野検出方法の原理を説明するための図である。 本実施形態に係る眼画像を示す図である。 本実施形態に係る視線検出動作のフローチャートである。 従来のライブビュー画像の表示例を示す図である。 実施形態１に係る追尾処理のフローチャートである。 実施形態１に係るライブビュー画像の表示例を示す図である。 実施形態２に係る追尾処理のフローチャートである。 実施形態２に係るライブビュー画像の表示例を示す図である。 実施形態３に係るカメラのブロック図である。 実施形態３に係る顔検出処理のフローチャートである。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

（実施形態１）
＜構成の説明＞
ユーザー 図１は、本実施形態に係るカメラ１（デジタルスチルカメラ；レンズ交換式カメラ）の断面図であり、カメラ１の大まかな内部構成を示す。カメラ１は、撮影レンズユニット１Ａ、カメラ筐体１Ｂを含む。

撮影レンズユニット１Ａ内には、２枚のレンズ１０１，１０２、絞り１１１、絞り駆動部１１２、レンズ駆動モーター１１３、レンズ駆動部材１１４、フォトカプラー１１５、パルス板１１６、マウント接点１１７、焦点調節回路１１８等が含まれている。レンズ駆動部材１１４は駆動ギヤ等からなり、フォトカプラー１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検知して、焦点調節回路１１８に伝える。焦点調節回路１１８は、フォトカプラー１１５からの情報と、カメラ筐体１Ｂからの情報（レンズ駆動量の情報）とに基づいてレンズ駆動モーター１１３を駆動し、レンズ１０１を移動させて合焦位置を変更する。マウント接点１１７は、撮影レンズユニット１Ａとカメラ筐体１Ｂとのインターフェイスである。なお、簡単のために２枚のレンズ１０１，１０２を示したが、実際は２枚より多くのレンズが撮影レンズユニット１Ａ内に含まれている。

カメラ筐体１Ｂ内には、撮像素子２、ＣＰＵ３、メモリ部４、表示デバイス１０、表示デバイス駆動回路１１、接眼レンズ１２等が含まれている。撮像素子２は、撮影レンズユニット１Ａの予定結像面に配置されている。ＣＰＵ３は、マイクロコンピュータの中央処理部であり、カメラ１全体を制御する。メモリ部４は、撮像素子２により撮像された画像等を記憶する。表示デバイス１０は、液晶等で構成されており、撮像された画像（被写体像）等を表示する。表示デバイス駆動回路１１は、表示デバイス１０を駆動する。接眼レンズ１２は、表示デバイス１０に表示された画像（視認用画像）を観察するためのレンズである。

カメラ筐体１Ｂ内には、光源１３ａ，１３ｂ、光分割器１５、受光レンズ１６、眼用撮像素子１７等も含まれている。光源１３ａ，１３ｂは、光の角膜反射による反射像（角膜反射像）と瞳孔の関係から視線方向を検出するために従来から一眼レフカメラ等で用いられている光源であり、ユーザーの眼球１４を照明するための光源である。具体的には、光源１３ａ，１３ｂは、ユーザーに対して不感の赤外光を発する赤外発光ダイオード等であり、接眼レンズ１２の周りに配置されている。照明された眼球１４の光学像（眼球像；光源１３ａ，１３ｂから発せられて眼球１４で反射した反射光による像）は、接眼レンズ１２を透過し、光分割器１５で反射される。そして、眼球像は、受光レンズ１６によって、ＣＣＤ等の光電素子列を２次元的に配した眼用撮像素子１７上に結像される。受光レンズ１６は、眼球１４の瞳孔と眼用撮像素子１７を共役な結像関係に位置付けている。後述する所定のアルゴリズムにより、眼用撮像素子１７上に結像された眼球像における角膜反射像の位置から、視線方向（視認用画像における視点）が検出される。

図２は、カメラ１内の電気的構成を示すブロック図である。ＣＰＵ３には、視線検出回路２０１、測光回路２０２、自動焦点検出回路２０３、表示デバイス駆動回路１１、光源
駆動回路２０５、追尾処理回路２０７等が接続されている。また、ＣＰＵ３は、撮影レンズユニット１Ａ内に配置された焦点調節回路１１８と、撮影レンズユニット１Ａ内の絞り駆動部１１２に含まれた絞り制御回路２０６とに、マウント接点１１７を介して信号を伝達する。ＣＰＵ３に付随したメモリ部４は、撮像素子２および眼用撮像素子１７からの撮像信号の記憶機能と、後述する視線の個人差を補正する視線補正パラメータの記憶機能とを有する。

視線検出回路２０１は、眼用撮像素子１７（ＣＣＤ－ＥＹＥ）上に眼球像が結像した状態での眼用撮像素子１７の出力（眼を撮像した眼画像）をＡ／Ｄ変換し、その結果をＣＰＵ３に送信する。ＣＰＵ３は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線（視認用画像における視点）を算出する。

測光回路２０２は、測光センサの役割を兼ねた撮像素子２から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、Ａ／Ｄ変換等を行い、その結果を被写界輝度情報としてＣＰＵ３に送る。

自動焦点検出回路２０３は、撮像素子２におけるＣＣＤの中に含まれる、位相差検出のために使用される複数の検出素子（複数の画素）からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差ＡＦとして知られる公知の技術である。本実施形態では、一例として、図３（ａ）のファインダ内視野像（視認用画像）に示した１８０か所に対応する撮像面上の１８０か所のそれぞれに、焦点検出ポイントがあるとする。

追尾処理回路２０７は、撮像素子２によって撮像された画像に基づいて物体の追尾処理を行う。具体的には、追尾処理回路２０７は、現フレーム画像（現在のフレーム画像）と、基準画像とのマッチング処理を行い、基準画像と最も類似度（相関度）が高い領域を追尾対象物の領域として現フレーム画像から抽出（検出）する。本実施形態では、基準画像は、前フレーム画像（現在よりも前のフレーム画像）のうち、追尾対象物の領域として検出した領域の画像（部分画像）である。また、上記類似度は、画像の特徴量の類似度であってもよい。そして、追尾処理回路２０７は、類似度に応じて追尾を継続するか否かを判断する。また、追尾処理回路２０７は、追尾信頼度（追尾処理の信頼度；追尾の状態値）を、検出した領域に対応する類似度に基づいて算出し、ＣＰＵ３に送る。追尾処理は、オートフォーカス制御等のために行われ、追尾信頼度は、被写体を示すＧＵＩの表示制御等に用いられる。

図３（ａ）は、ファインダ内視野を示した図であり、表示デバイス１０が動作した状態（視認用画像を表示した状態）を示す。図３（ａ）に示すように、ファインダ内視野には、焦点検出領域３００、１８０個の測距点指標３０１、視野マスク３０２等がある。１８０個の測距点指標３０１のそれぞれは、撮像面上における焦点検出ポイントに対応する位置に表示されるように、表示デバイス１０に表示されたスルー画像（ライブビュー画像）に重ねて表示される。また、１８０個の測距点指標３０１のうち、現在の視点Ａ（推定位置）に対応する測距点指標３０１は、枠等で強調されて表示される。

＜視線検出動作の説明＞
図４，図５（ａ），図５（ｂ），図６を用いて、視線検出方法について説明する。図４は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図４に示すように、光源１３ａ，１３ｂは受光レンズ１６の光軸に対して略対称に配置され、ユーザーの眼球１４を照らす。光源１３ａ，１３ｂから発せられて眼球１
４で反射した光の一部は、受光レンズ１６によって、眼用撮像素子１７に集光する。図５（ａ）は、眼用撮像素子１７で撮像された眼画像（眼用撮像素子１７に投影された眼球像）の概略図であり、図５（ｂ）は眼用撮像素子１７におけるＣＣＤの出力強度を示す図である。図６は、視線検出動作の概略フローチャートを表す。

視線検出動作が開始すると、図６のステップＳ６０１で、光源１３ａ，１３ｂは、ユーザーの眼球１４に向けて赤外光を発する。赤外光によって照明されたユーザーの眼球像は、受光レンズ１６を通して眼用撮像素子１７上に結像され、眼用撮像素子１７により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。

ステップＳ６０２では、視線検出回路２０１は、眼用撮像素子１７から得られた眼画像（眼画像信号；眼画像の電気信号）をＣＰＵ３に送る。

ステップＳ６０３では、ＣＰＵ３は、ステップＳ６０２で得られた眼画像から、光源１３ａ，１３ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を求める。

光源１３ａ，１３ｂより発せられた赤外光は、ユーザーの眼球１４の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅは、受光レンズ１６により集光され、眼用撮像素子１７上に結像して、眼画像における角膜反射像Ｐｄ’，Ｐｅ’となる。同様に瞳孔１４１の端部ａ，ｂからの光束も眼用撮像素子１７上に結像して、眼画像における瞳孔端像ａ’，ｂ’となる。

図５（ｂ）は、図５（ａ）の眼画像における領域α’の輝度情報（輝度分布）を示す。図５（ｂ）では、眼画像の水平方向をＸ軸方向、垂直方向をＹ軸方向とし、Ｘ軸方向の輝度分布が示されている。本実施形態では、角膜反射像Ｐｄ’，Ｐｅ’のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとし、瞳孔端像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。図５（ｂ）に示すように、角膜反射像Ｐｄ’，Ｐｅ’の座標Ｘｄ，Ｘｅでは、極端に高いレベルの輝度が得られる。瞳孔１４１の領域（瞳孔１４１からの光束が眼用撮像素子１７上に結像して得られる瞳孔像の領域）に相当する、座標Ｘａから座標Ｘｂまでの領域では、座標Ｘｄ，Ｘｅを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔１４１の外側の光彩１４３の領域（光彩１４３からの光束が結像して得られる、瞳孔像の外側の光彩像の領域）では、上記２種の輝度の中間の輝度が得られる。具体的には、Ｘ座標（Ｘ軸方向の座標）が座標Ｘａより小さい領域と、Ｘ座標が座標Ｘｂより大きい領域とで、上記２種の輝度の中間の輝度が得られる。

図５（ｂ）に示すような輝度分布から、角膜反射像Ｐｄ’，Ｐｅ’のＸ座標Ｘｄ，Ｘｅと、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Ｐｄ’，Ｐｅ’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像ａ’，ｂ’の座標として得ることができる。また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合には、瞳孔中心ｃからの光束が眼用撮像素子１７上に結像して得られる瞳孔中心像ｃ’（瞳孔像の中心）の座標Ｘｃは、Ｘｃ≒（Ｘａ＋Ｘｂ）／２と表すことができる。つまり、瞳孔端像ａ’，ｂ’のＸ座標Ｘａ，Ｘｂから、瞳孔中心像ｃ’の座標Ｘｃを算出できる。このようにして、角膜反射像Ｐｄ’，Ｐｅ’の座標と、瞳孔中心像ｃ’の座標とを見積もることができる。

ステップＳ６０４では、ＣＰＵ３は、眼球像の結像倍率βを算出する。結像倍率βは、受光レンズ１６に対する眼球１４の位置により決まる倍率で、角膜反射像Ｐｄ’，Ｐｅ’の間隔（Ｘｄ－Ｘｅ）の関数を用いて求めることができる。

ステップＳ６０５では、ＣＰＵ３は、受光レンズ１６の光軸に対する眼球１４の光軸の
回転角を算出する。角膜反射像Ｐｄと角膜反射像Ｐｅの中点のＸ座標と角膜１４２の曲率中心ＯのＸ座標とはほぼ一致する。このため、角膜１４２の曲率中心Ｏから瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、Ｚ－Ｘ平面（Ｙ軸に垂直な平面）内での眼球１４の回転角θ_Ｘは、以下の式１で算出できる。Ｚ－Ｙ平面（Ｘ軸に垂直な平面）内での眼球１４の回転角θｙも、回転角θｘの算出方法と同様の方法で算出できる。

β×Ｏｃ×ＳＩＮθ_Ｘ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ ・・・（式１）

ステップＳ６０６では、ＣＰＵ３は、ステップＳ６０５で算出した回転角θｘ，θｙを用いて、表示デバイス１０に表示された視認用画像におけるユーザーの視点（視線が注がれた位置；ユーザーが見ている位置）を求める（推定する）。視点の座標（Ｈｘ，Ｈｙ）が瞳孔中心ｃに対応する座標であるとすると、視点の座標（Ｈｘ，Ｈｙ）は以下の式２，３で算出できる。

Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ） ・・・（式２）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ） ・・・（式３）

式２，３のパラメータｍは、カメラ１のファインダ光学系（受光レンズ１６等）の構成で定まる定数であり、回転角θｘ，θｙを視認用画像において瞳孔中心ｃに対応する座標に変換する変換係数であり、予め決定されてメモリ部４に格納されるとする。パラメータＡｘ，Ｂｘ，Ａｙ，Ｂｙは、視線の個人差を補正する視線補正パラメータであり、後述するキャリブレーション作業を行うことで取得され、視線検出動作が開始する前にメモリ部４に格納されるとする。

ステップＳ６０７では、ＣＰＵ３は、視点の座標（Ｈｘ，Ｈｙ）をメモリ部４に格納し、視線検出動作を終える。

上述の説明では、光源１３ａ，１３ｂの角膜反射像を利用して表示デバイス上での視点（注視点）の座標を取得する方法について説明したが、これに限らず、撮像された眼球画像から視点の座標（眼球回転角度）を取得する手法であれば適用することができる。

＜キャリブレーション作業の説明＞
前述のように、視線検出動作において眼画像から眼球１４の回転角度θｘ，θｙを取得し、瞳孔中心ｃの位置を視認用画像上での位置に座標変換することで、視点を推定できる。

しかし、人間の眼球の形状の個人差等の要因により、視点を高精度に推定できないことがある。具体的には、視線補正パラメータＡｘ，Ａｙ，Ｂｘ，Ｂｙをユーザーに適した値に調整しなければ、図３（ｂ）に示したように、実際の視点Ｂと推定された視点Ｃとのずれが生じてしまう。図３（ｂ）では、ユーザーは人物を注視しているが、カメラ１は背景が注視されていると誤って推定しており、適切な焦点検出及び調整ができない状態に陥ってしまっている。

そこで、カメラ１が撮像を行う前に、キャリブレーション作業を行い、ユーザーに適した視点補正パラメータを取得し、カメラ１に格納する必要がある。

従来より、キャリブレーション作業は、撮像前に図３（ｃ）のような位置の異なる複数の指標を視認用画像で強調表示し、ユーザーにその指標を見てもらうことで行われている
。そして、各指標の注視時に視線検出動作を行い、算出された複数の視点（推定位置）と、各指標の座標とから、ユーザーに適した視点補正パラメータを求める技術が、公知の技術として知られている。なお、ユーザーの見るべき位置が示唆されれば、指標の表示でなくてもよく、輝度や色の変更で位置が強調されてもよい。

＜従来の追尾処理（従来手法）＞
図７（ａ）～図７（ｄ）は、従来手法におけるフレーム画像７０１の表示例を示す図である。フレーム画像７０１内には、被写体７０２と被写体を追尾した領域を示す被写体ＧＵＩ７０３とが表示されている。被写体ＧＵＩ７０３は、カメラが動きのある被写体として識別している領域（被写体認識領域；認識領域）を示すＧＵＩ画像である。ユーザーは画面をタッチするなどして被写体７０２が追尾対象の被写体であることをカメラに指示し、被写体を画面に収めながら動画を撮影する。

図７（ａ）は、追尾対象の物体（被写体）を追尾し始めた直後であって、被写体７０２と被写体ＧＵＩ７０３とが一致している状態を示す図である。この時、被写体７０２と被写体ＧＵＩ７０３で囲まれる領域との類似度（被写体認識領域の確からしさ）を表す追尾信頼度（例えば、０～１００％）は高い値となる。なお、追尾信頼度は、被写体ＧＵＩ７０３の位置の信頼度と捉えることもできる。図７（ｂ），図７（ｃ）は、被写体７０２が高速で移動したり、または背景物体と同化したりすることで、被写体ＧＵＩ７０３が被写体７０２から徐々にずれていく様子を示す図である。図７（ｄ）は、追尾信頼度が閾値Ｔｈを下回り、追尾処理を停止して被写体ＧＵＩ７０３が非表示となった状態を示す図である。

上述のように、従来の追尾処理では、被写体７０２が高速で移動したり、背景物体と同化する場合に、被写体を適切に追尾できないことがある。ここで、被写体７０２の追尾処理において、ユーザーの視線７０４に基づいて被写体認識領域を調整することが考えられる。図７（ｄ）に示すように、被写体ＧＵＩ７０３が非表示となった後であれば、視線７０４が被写体７０２をとらえやすいため、視線７０４に基づいて被写体認識領域を調整することは有用である。しかし、図７（ｃ）に示すように、被写体７０２からずれた被写体ＧＵＩ７０３が表示されていると、視線７０４は被写体ＧＵＩ７０３を向きやすく、被写体７０２に保ちにくい。そのため、図７（ｃ）に示すフレーム画像の状態において、視線７０４に基づいて被写体認識領域を調整すると、被写体認識領域と実際の被写体とのずれが生じてしまう。

＜視点を用いた追尾処理（本実施形態）＞
図８は、本実施形態に係る追尾処理の例を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ３が、メモリ部４に格納されているプログラムを実行することで実現される。また、本実施形態では、このフローチャートにおける処理は、カメラの電源がＯＮにされると開始される。

ステップＳ８０１では、カメラの電源がＯＮにされて撮像素子２によってスルー画像（入力画像）の取得が開始されると、ＣＰＵ３は、表示デバイス１０でのスルー画像の表示を開始する。本実施形態では、ユーザーは、ファインダ内の表示デバイス１０に表示されたスルー画像を見ることで被写体の視認を行う。

ステップＳ８０２では、ＣＰＵ３は、視線入力がＯＮであるか否かを判定する。本実施形態では、ＣＰＵ３は、視線検出機能（視線入力機能）がＯＮになっている場合に視線入力がＯＮであると判定するものとする。視線入力がＯＮの場合はステップＳ８０３に進み、そうでない場合はステップＳ８０８に進む。

ステップＳ８０３では、ＣＰＵ３は、図６に示す視線検出ルーチンを実行する。本実施形態では、図６で示した視線検出ルーチンを実行することで、表示デバイス１０上での上述の視点の座標（Ｈｘ，Ｈｙ）を取得する。

ステップＳ８０４では、ＣＰＵ３は、被写体の位置を示す被写体ＧＵＩと視点（視線の位置；推定注視点）を示す視線ＧＵＩとが重なりあっているか否かを判定する。重なりあっている場合はステップＳ８０６に進み、そうでない場合はステップＳ８０５に進む。ここで、被写体ＧＵＩと視線ＧＵＩとが重なりあっている場合として、例えば、被写体ＧＵＩである線と視線ＧＵＩである線とが交差している場合や、被写体ＧＵＩの領域と視線ＧＵＩの領域との一方に他方の少なくとも一部が含まれる場合等が挙げられる。なお、被写体ＧＵＩは後述するステップＳ８１３で表示されるため、被写体ＧＵＩが表示されていない場合（処理開始直後など）は、ステップＳ８０５に進むものとする。

ステップＳ８０５では、ＣＰＵ３は、視線ＧＵＩを表示デバイス１０に表示する。本実施形態では、視線ＧＵＩは、ユーザーの視線の位置を囲む枠である。

ステップＳ８０６では、ＣＰＵ３は、視線ＧＵＩを非表示にする。これは、被写体に被写体ＧＵＩと視線ＧＵＩが重複して表示されると、当該被写体が見づらくなり、ユーザーに不快感を与えるおそれがあるためである。なお、被写体ＧＵＩを見やすくすることができればよく、視線ＧＵＩの色を薄くしたり、視線ＧＵＩを小さくしたりして、視線ＧＵＩを目立たなくしてもよい。

ステップＳ８０７では、ＣＰＵ３は、閾値Ｔｈを閾値Ｔｈ１に設定する。ステップＳ８０８では、ＣＰＵ３は、閾値Ｔｈを閾値Ｔｈ２（＜閾値Ｔｈ１）に設定する。詳細は後述するが、本実施形態では、追尾信頼度が閾値Ｔｈ以下になると被写体ＧＵＩを消す（非表示にする）ことで、被写体からずれた被写体ＧＵＩに視線が向くことを防ぐ。そのため、視点を検出する場合の閾値Ｔｈ１は、視点を検出しない場合の閾値Ｔｈ２に比べて大きくしている。これにより、視点を検出する場合に、被写体ＧＵＩのずれ始めを素早く検知し、視線を被写体に向けやすくすることが可能となる。本実施形態では、閾値Ｔｈ１を７０％、閾値Ｔｈ２を５０％とする例について説明する。

ステップＳ８０９では、ＣＰＵ３は、追尾処理回路２０７を制御して、動体検出（追尾処理）を行う。ＣＰＵ３は、視点に基づかずに物体の位置を抽出していると捉えることもできる。動体検出方法は、既存の種々の方法を適用可能である。例えば、前述したように、フレーム間のマッチング処理を行い、フレーム間の類似度（相関度）が最も高い領域を被写体認識領域として検出する。また、ＣＰＵ３は、追尾処理回路２０７を制御して、検出した領域に対応する類似度に応じて追尾信頼度を算出する。なお、追尾信頼度は、類似度が高いほど高くなる。

ステップＳ８１０では、ＣＰＵ３は、ステップＳ８０９の結果（動体の領域の検出結果）を被写体位置情報として設定する。被写体位置情報は、例えば、測距点として用いられる。

ステップＳ８１１では、ＣＰＵ３は、追尾信頼度が閾値Ｔｈより低いか否かを判定する。追尾信頼度が閾値Ｔｈより低い場合はステップＳ８１２に進み、そうでない場合は、ステップＳ８１３に進む。ここで、追尾信頼度が閾値Ｔｈより低い場合とは、被写体位置と被写体ＧＵＩの位置にずれが生じている場合である。また、追尾信頼度が閾値Ｔｈより高い場合とは、被写体位置と被写体ＧＵＩの位置が略一致している場合である。

ステップＳ８１２では、ＣＰＵ３は、被写体ＧＵＩを非表示にする。なお、被写体ＧＵ
Ｉに視線が向くのを防ぐことができればよく、被写体ＧＵＩの色を薄くすることや、被写体ＧＵＩを小さくする等を行って被写体ＧＵＩを目立たなくしてもよい。また、被写体ＧＵＩの他にも、撮影画面上には撮影設定情報を表示するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）がＧＵＩとして表示されていることがある。これらのＯＳＤも、視線が被写体以外に向いてしまい、視線情報を用いた追尾処理を妨げる要因となりうるので、被写体ＧＵＩと同様にＯＳＤの表示態様を変更する（ＯＳＤを目立たなくする）とよい。なお、被写体ＧＵＩを非表示にして視線ＧＵＩのみが表示されることで、視線入力によって追尾処理を行っていることをユーザーが認識しやすくすることもできる。

ステップＳ８１３では、ＣＰＵ３は、被写体ＧＵＩを表示する。これは、被写体位置と被写体ＧＵＩの位置とが略一致している可能性が高いためである。

ステップＳ８１４では、ＣＰＵ３は、視線情報に基づいて被写体位置情報を更新する。ここで、上述のステップＳ８１２において被写体ＧＵＩを非表示にしているため、ユーザーは被写体を注視している可能性が高い。よって、視線の位置と被写体認識領域の位置とを重みづけ加算して被写体認識領域を補正することで、被写体認識領域と被写体とのずれを低減している。なお、視線の位置を含む領域（視線ＧＵＩに対応する領域）をそのまま被写体認識領域として用いてもよい。なお、信頼度が閾値Ｔｈより低い場合に、ＣＰＵ３は、ステップＳ８０９で視点に基づかずに抽出された物体の位置を視点に基づいて補正した物体の位置を、被写体認識領域（視点に基づいて検出された位置）として検出していると捉えることもできる。また、信頼度が閾値Ｔｈより高い場合に、ＣＰＵ３は、（視線に基づいて補正せずに）抽出された物体の位置を、被写体認識領域（視線に基づかずに検出された位置）として検出していると捉えることもできる。

ステップＳ８１５では、ＣＰＵ３は、ユーザーの操作によっての撮影スイッチ（不図示）がＯＮにされたか否かを判定する。ＯＮにされた場合はステップＳ８１６に進み、そうでない場合はステップＳ８０２に戻る。

ステップＳ８１６では、ＣＰＵ３は、撮影動作を行う。具体的には、ＣＰＵ３は、撮像素子２によって取得された画像信号をメモリ部４に記録する。

ステップＳ８１７では、ＣＰＵ３は、撮影が終了したか否かを判定する。撮影が終了した場合は本処理フローを終了し、そうでない場合はステップＳ８０２に戻る。撮影が終了した場合とは、例えば、電源がＯＦＦにされた場合である。

図９（ａ）～図９（ｄ）は、それぞれ本実施形態における動画やライブビューにおけるフレーム画像７０１の一例を示す。

図９（ａ）は、動体である被写体７０２を追尾し始めた直後であって、被写体７０２と被写体ＧＵＩ７０３が一致している状態を示す図である。この時、追尾信頼度は高い値（例えば、９０％）となる。また、図９（ａ）には、ＯＳＤ９０１、視線ＧＵＩ９０５が表示されている。ここで、視線検出機能がオンであるため、閾値Ｔｈは閾値Ｔｈ１（例えば、７０％）である。

図９（ｂ）は、被写体７０２の位置と被写体ＧＵＩ７０３とがずれ始めているが、追尾信頼度（例えば、８０％）が閾値Ｔｈ（閾値Ｔｈ１）より高い状態を示す図である。また、図９（ｂ）は、被写体ＧＵＩ７０３と視線ＧＵＩ９０５とが重なりあっている状態を示している。視線ＧＵＩ９０５と被写体ＧＵＩ７０３とが重なりあうと情報が煩雑になり、ユーザーに不快感を与えるおそれがある。そのため、本実施形態では、被写体ＧＵＩ７０３と視線ＧＵＩ９０５とが重なりあう場合には、被写体ＧＵＩ７０３の見やすさを優先す
る（図９（ｂ）の例では視線ＧＵＩ９０５を非表示にしている）。

図９（ｃ）は、被写体７０２の位置と被写体ＧＵＩ７０３とが大きくずれており、追尾信頼度（例えば、６０％）が閾値Ｔｈ（閾値Ｔｈ１）を下回った状態を示す図である。図９（ｃ）の例では、被写体ＧＵＩ７０３を非表示にして目立たなくしている。また、図９（ｃ）の例では、ＯＳＤ９０１の色を薄くして目立たなくしている。本実施形態では、視線検出機能がＯＮの場合に、比較的大きい閾値Ｔｈ１を用いることで、被写体ＧＵＩ７０３のずれ始めを素早くに検知している。そして、被写体ＧＵＩ７０３のずれ始めを検知した場合に、被写体ＧＵＩ７０３を非表示にしたりＯＳＤ９０１の色を薄くすることでユーザーの視線を被写体ＧＵＩ７０３やＯＳＤ９０１に向けにくくして、ユーザーの視線を被写体７０２に向けやすくしている。

図９（ｄ）は、視線の位置に基づいて追尾処理を行った結果、被写体ＧＵＩ７０３の位置と被写体７０２の位置とが再び略一致した状態を示す図である。図９（ｄ）の例では、追尾信頼度（例えば、９０％）が閾値Ｔｈ（閾値Ｔｈ１）より高くなったため、被写体ＧＵＩ７０３を再び表示して、ＯＳＤ９０１を通常の色に戻している。なお、図９（ｄ）の例では、視線ＧＵＩ９０５は、被写体ＧＵＩ７０３に重なるので非表示となっている。

以上のように、本実施形態では、視線検出機能がＯＮの場合に、追尾信頼度を評価するための閾値Ｔｈを大きくする。このようにして、被写体ＧＵＩと被写体の位置とのずれ始めを素早く検知し、被写体ＧＵＩ７０３を目立たなくすることで、ユーザーの視線を被写体に向けやすくして、視線情報を用いた追尾処理の精度を向上させることができる。また、被写体ＧＵＩを目立たなくすることによって、ユーザーに視線情報を用いて追尾処理を行っていることを意識させることで、ユーザーが被写体を注視しやすくしている。

（実施形態２）
実施形態１では、被写体ＧＵＩの位置と視線位置が重なりあう場合を除いて、視線ＧＵＩを常時表示させる例について説明したが、本実施形態では、視線情報を用いて追尾処理を行う場合のみ視線ＧＵＩを表示する例について説明する。

図１０は、本実施形態に係る追尾処理の例を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ３が、メモリ部４に格納されているプログラムを実行することで実現される。また、本実施形態では、このフローチャートにおける処理は、カメラの電源がＯＮにされると開始される。なお、図８に示す処理と同じ処理については、同じ番号を付して説明を省略する。

本実施形態では、図８に示すステップＳ８０４～Ｓ８０６の処理は行わないため、視線検出ルーチンを行った直後に視線ＧＵＩを表示したり非表示にしたりする処理は行われない。視線ＧＵＩが表示されるタイミングは、ステップＳ８１１で追尾信頼度が閾値Ｔｈを下回り、被写体ＧＵＩ７０３が非表示にされた後のタイミング（ステップＳ１０１８）である。また、視線ＧＵＩが非表示にされるタイミングは、ステップＳ８１１で追尾信頼度が閾値Ｔｈを上回り、被写体ＧＵＩ７０３が表示された後のタイミング（ステップＳ１０１９）である。

このようにすることで、視線ＧＵＩを必要以上に表示してユーザーに不快感を与えることなく、視線情報を用いて追尾処理を行っていることをユーザーに認識させることが可能となる。

図１１（ａ）～図１１（ｄ）は、それぞれ本実施形態における動画やライブビューにおけるフレーム画像７０１を示している。

図１１（ａ）は、動体である被写体７０２を追尾し始めた直後であって、被写体７０２と被写体ＧＵＩ７０３が一致している（追尾信頼度が閾値Ｔｈ１より高い）状態を示す図である。このとき、視線ＧＵＩ９０５と被写体ＧＵＩ７０３が同時に表示デバイス１０上に表示されると、表示デバイス１０上の情報が煩雑になり、ユーザーに不快感を与えるおそれがあるため、実施形態１とは異なり、視線ＧＵＩ９０５は表示されていない。

図１１（ｃ）は、追尾信頼度が閾値Ｔｈを下回った（ステップＳ８１１－Ｙｅｓ）状態を示す図である。この場合、視線情報を用いて追尾処理が行われることをユーザーに認識させるために、視線ＧＵＩ９０５が表示される。一方、図１１（ｂ），図１１（ｄ）では、追尾信頼度が閾値Ｔｈより高い（ステップＳ８１１－Ｎｏ）ため、図１１（ａ）と同様に視線ＧＵＩ９０５を非表示にしている。

以上のように、本実施形態では、視線情報が追尾処理に使用される場合のみ視線ＧＵＩを表示する。このようにすることで、表示デバイス１０上の情報の煩雑さを抑えつつ、ユーザーの視線を被写体に向けやすくして、視線情報を用いた追尾処理の精度を向上させることができる。また、視線情報を用いて追尾処理を行っていることをユーザーに認識させることができる。

（実施形態３）
上述の実施形態では、動体の追尾処理を行う際に視線情報を用いる例について説明したが、本実施形態では、顔検出を行う際に視線情報を用いる例について説明する。

図１２は、本実施形態におけるカメラ１内の電気的構成を示すブロック図である。図１２では、図２における追尾処理回路２０７の代わりに顔検出回路２０８が設けられている。

顔検出回路２０８は、あらかじめメモリ部４に記憶される人の顔のテンプレートデータを用いて、フレーム画像内で当該テンプレートとの類似度が基準値以上となる部分（領域）を顔画像として検出する。なお、顔検出の方法は上記に限定されず、公知の種々の技術を適用可能である。

図１３は、本実施形態に係る顔検出処理を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ３が、メモリ部４に格納されているプログラムを実行することで実現される。また、本実施形態では、このフローチャートにおける処理は、カメラの電源がＯＮにされると開始される。なお、図８に示す処理と同じ処理については、同じ番号を付して説明を省略する。

ステップＳ１３０４では、ＣＰＵ３は、顔の位置を示す顔ＧＵＩと視線ＧＵＩとが重なりあっているか否かを判定する。重なりあっている場合はステップＳ８０６に進み、そうでない場合はステップＳ８０５に進む。ここで、顔ＧＵＩと視線ＧＵＩとが重なりあっている場合として、例えば、顔ＧＵＩである線と視線ＧＵＩである線とが交差している場合や、顔ＧＵＩの領域と視線ＧＵＩの領域との一方に他方の少なくとも一部が含まれる場合等が挙げられる。なお、顔ＧＵＩは後述するステップＳ１３１３で表示されるため、顔ＧＵＩが表示されていない場合（処理開始直後など）は、ステップＳ８０５に進むものとする。

ステップＳ１３０７では、ＣＰＵ３は、閾値Ｔｈを閾値Ｔｈ１に設定する。ステップＳ１３０８では、ＣＰＵ３は、閾値Ｔｈを閾値Ｔｈ２（＜閾値Ｔｈ１）に設定する。本実施形態では、後述処理によって後述の顔信頼度が閾値Ｔｈ以下になると顔ＧＵＩを消す（非
表示にする）ことで、顔からずれた顔ＧＵＩに視線が向くことを防ぐ。そのため、視点を検出する場合の閾値Ｔｈ（閾値Ｔｈ１）は、視点を検出しない場合の閾値Ｔｈ（閾値Ｔｈ２）に比べて大きくしている。これにより、視点を検出する場合に、顔ＧＵＩのずれ始めを検知し、視線を顔に向けやすくすることが可能となる。本実施形態では、閾値Ｔｈ１を７０％、閾値Ｔｈ２を５０％とする例について説明する。

ステップＳ１３０９では、ＣＰＵ３は、顔検出回路２０８を制御して、顔検出を行う。顔検出方法は、既存の種々の方法を適用可能である。例えば、現在のフレームにおける画像において、基準画像とのマッチング処理を行い、基準画像と最も類似度（相関度）が高い領域を抽出する。基準画像は、例えば、あらかじめメモリ部４に格納されている顔のテンプレート画像である。また、ＣＰＵ３は、顔検出回路２０８を制御して、検出した領域に対応する類似度に応じて顔信頼度を算出する。なお、顔信頼度は、類似度が高いほど高くなる。

ステップＳ１３１０では、ＣＰＵ３は、ステップＳ１３０９の結果（顔の領域の検出結果）を顔位置情報として設定する。顔位置情報は、例えば、測距点として用いられる。

ステップＳ１３１１では、ＣＰＵ３は、顔信頼度が閾値Ｔｈより低いか否かを判定する。顔信頼度が閾値Ｔｈより低い場合はステップＳ８１２に進み、そうでない場合は、ステップＳ８１３に進む。ここで、顔信頼度が閾値Ｔｈより低い場合とは、顔位置と顔ＧＵＩの位置にずれが生じている場合である。また、顔信頼度が閾値Ｔｈより高い場合とは、顔位置と顔ＧＵＩの位置とが略一致している場合である。

ステップＳ１３１２では、ＣＰＵ３は、顔ＧＵＩを非表示にする。これは、顔位置と顔ＧＵＩの位置のずれが大きい可能性が高いためである。なお、顔ＧＵＩに視線が向くのを防ぐことができればよく、顔ＧＵＩの色を薄くしたり、顔ＧＵＩを小さくしたりして、顔ＧＵＩを目立たなくしてもよい。また、実施形態１と同様にＯＳＤの表示態様を変更する（目立たなくする）とよい。なお、顔ＧＵＩを非表示にして視線ＧＵＩのみが表示されることで、視線入力によって顔検出処理を行っていることをユーザーが認識しやすくすることもできる。

ステップＳ１３１３では、ＣＰＵ３は、顔ＧＵＩを表示する。これは、顔位置と顔ＧＵＩの位置とが略一致している可能性が高いためである。

ステップＳ１３１４では、ＣＰＵ３は、視線情報に基づいて顔位置情報を更新する。例えば、視線の位置と顔と認識された領域（顔認識領域）の位置とを重みづけ加算して顔認識領域を補正することで、顔認識領域と顔とのずれを低減することができる。なお、視線の位置を含む領域（視線ＧＵＩに対応する領域）をそのまま顔認識領域として用いてもよい。

以上説明したように本実施形態によれば、視線検出機能を使用する場合に、顔信頼度の閾値を大きくすることで、顔ＧＵＩと顔位置のずれはじめを素早く検知し、顔ＧＵＩを非表示とする。これにより、視線が顔に向きやすくなるため、視線情報を用いた顔検出処理の精度を向上させることが可能となる。

（変形例）
上述の実施形態では、ＧＵＩを目立たなくする方法として、非表示にしたりサイズを小さくしたり、色を薄くする例について説明したが、これらに限定されない。例えば、輝度や色を背景に応じて（背景の輝度や色に近づけるように）変更したり、ＧＵＩの透過度（透明度）を高くする等によってＧＵＩを目立たなくしてもよい。

上述の実施形態では、被写体ＧＵＩと視線の位置を示す視線ＧＵＩとが重なりあっている場合に、被写体ＧＵＩを目立つように、視線ＧＵＩを目立たなくする例について説明したが、視線ＧＵＩを目立つように、被写体ＧＵＩを目立たなくしてもよい。具体的には、被写体ＧＵＩと視線の位置を示す視線ＧＵＩとが重なりあっている場合に、被写体ＧＵＩの輝度や色、サイズ等を変更することで被写体ＧＵＩを目立たなくするとよい。

上述の実施形態では、カメラにおいて被写体の追尾処理や顔検出処理を行う場合に、被写体ＧＵＩや顔ＧＵＩを目立たなくすることで、ユーザーの視線を所望の領域（被写体や顔を含む領域）に向けやすくする例について説明した。しかし、追尾処理や顔検出処理を行っていない場合にも本発明を適用可能である。例えば、表示装置においてユーザーの視点（視線の位置）の検出が行われている場合に、所望の領域と異なる領域にＧＵＩ画像が表示されていると、ユーザーの視線は当該ＧＵＩ画像を向きやすい。そのため、ユーザーの視線を所望の領域に向けやすくするために、ユーザーの視点（視線の位置）の検出を行っている場合に、当該視点の検出を行っていない場合に比べてＧＵＩ画像を目立たなくしてもよい。例えば、本発明は、以下の表示制御部と検出部とを備える電子機器として捉えることもできる。ここで、表示制御部は、入力画像とＧＵＩ画像とを表示部に表示する。検出部は、入力画像におけるユーザーの視点を検出する。また、検出部は、検出部が視点の検出を行っている場合に、表示制御部が、視点の検出を行っていない場合に比べて、ＧＵＩ画像を目立たなくする。

また、上述の実施形態では、本発明をカメラに適用した例について説明したが、これに限定されない。例えば、本発明は、視線入力を受け付け可能な電子機器であれば適用可能である。例えば、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末、ディスプレイ、ＨＭＤ（ヘッドマウントディスプレイ）等にも適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ ３：ＣＰＵ

Claims (14)

1. 入力画像と第１のＧＵＩ画像と第２のＧＵＩ画像とを表示部に表示する表示制御手段と、
   前記入力画像における所定の物体の位置を検出する第１の検出手段と、
   前記入力画像におけるユーザの視点を検出する第２の検出手段と、
   を有し、
   前記表示制御手段は、
   前記第１の検出手段により検出される前記所定の物体の位置に対応する位置に前記第１のＧＵＩ画像を表示し、前記第２の検出手段により検出される前記視点に対応する位置に前記第２のＧＵＩ画像を表示し、
   前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあう場合に、前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあわない場合に比べて、前記第２のＧＵＩ画像を目立たなくする、
   ことを特徴とする電子機器。
2. 前記所定の物体の位置が前記視点に基づいて検出される場合に、前記表示制御手段は、前記第２のＧＵＩ画像を表示しない、
   ことを特徴とする請求項１に記載の電子機器。
3. 前記第１の検出手段は、前記入力画像を構成するフレーム画像を用いて前記所定の物体を追尾する、
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記所定の物体は顔である、
   ことを特徴とする請求項１から３のいずれか一項に記載の電子機器。
5. 前記視点に基づかずに検出された前記所定の物体の位置の信頼度が閾値より低い場合に、前記第１の検出手段は、前記視点に基づいて前記所定の物体の位置を検出する、
   ことを特徴とする請求項１から４のいずれか一項に記載の電子機器。
6. 前記第１の検出手段は、
   前記視点に基づかずに物体の位置を抽出し、
   前記信頼度が前記閾値より低い場合に、前記抽出された前記物体の位置を前記視点に基づいて補正して、前記補正された物体の位置を前記視点に基づいて検出された位置として検出し、
   前記信頼度が前記閾値より高い場合に、前記抽出された前記物体の位置を前記視点に基づいて補正せずに、前記抽出された前記物体の位置を前記視点に基づかずに検出された位置として検出する、
   ことを特徴とする請求項５に記載の電子機器。
7. 前記第２の検出手段が前記視点を検出する場合の前記閾値は、前記視点を検出しない場合に比べて大きい、
   ことを特徴とする請求項５または６に記載の電子機器。
8. 前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあう場合に、前記表示制御手段は、前記第１のＧＵＩ画像が前記第２のＧＵＩ画像より目立つように前記第１のＧＵＩ画像の輝度、色、サイズおよび透明度のうち少なくともいずれかを変える、
   ことを特徴とする請求項１から７のいずれか一項に記載の電子機器。
9. 前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあう場合に、前記表示制御手段は、前記第２のＧＵＩ画像が前記第１のＧＵＩ画像より目立たなくなるように前記第２のＧＵＩ画像の輝度、色、サイズおよび透明度のうち少なくともいずれかを変える、
   ことを特徴とする請求項１から８のいずれか一項に記載の電子機器。
10. 前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあう場合に、前記表示制御手段は、前記第２のＧＵＩ画像を表示しない、
    ことを特徴とする請求項１から７のいずれか一項に記載の電子機器。
11. 前記表示制御手段は、
    前記信頼度が前記閾値より低い場合に、前記入力画像におけるユーザの視点を示す第２のＧＵＩ画像を表示し、
    前記信頼度が前記閾値より高い場合に、前記入力画像におけるユーザの視点を示す第２のＧＵＩ画像を表示しない、
    ことを特徴とする請求項５から７のいずれか一項に記載の電子機器。
12. 入力画像と第１のＧＵＩ画像と第２のＧＵＩ画像とを表示部に表示する表示制御ステップと、
    前記入力画像における所定の物体の位置を検出する第１の検出ステップと、
    前記入力画像におけるユーザの視点を検出する第２の検出ステップと、
    を有し、
    前記表示制御ステップでは、
    前記第１の検出ステップで検出される前記所定の物体の位置に対応する位置に前記第１のＧＵＩ画像を表示し、前記第２の検出ステップで検出される前記視点に対応する位置に前記第２のＧＵＩ画像を表示し、
    前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあう場合に、前記第１のＧＵＩ画像と前記第２のＧＵＩ画像とが重なりあわない場合に比べて、前記第２のＧＵＩ画像を目立たなくする、
    ことを特徴とする電子機器の制御方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載された電子機器の各手段とし
    て機能させるためのプログラム。
14. コンピュータを、請求項１から１１のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images