JP7770822B2 - 電子機器及び制御方法 - Google Patents

電子機器及び制御方法

Info

Publication number
JP7770822B2
JP7770822B2 JP2021144927A JP2021144927A JP7770822B2 JP 7770822 B2 JP7770822 B2 JP 7770822B2 JP 2021144927 A JP2021144927 A JP 2021144927A JP 2021144927 A JP2021144927 A JP 2021144927A JP 7770822 B2 JP7770822 B2 JP 7770822B2
Authority
JP
Japan
Prior art keywords
gaze
display
information
subject
gaze position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021144927A
Other languages
English (en)
Other versions
JP2023038037A (ja
Inventor
嘉人 玉木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021144927A priority Critical patent/JP7770822B2/ja
Priority to US17/929,540 priority patent/US12086310B2/en
Publication of JP2023038037A publication Critical patent/JP2023038037A/ja
Application granted granted Critical
Publication of JP7770822B2 publication Critical patent/JP7770822B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

表示手段を観察する観察者の視線を検出することが可能な電子機器に関する。
ユーザーの視線位置を検出する技術が知られている。特許文献１では、表示部を見ているユーザーの視線位置を検出し、検出されたユーザーの視線位置を示す印を表示部に表示させることで、表示部に表示された項目の選択をアシストする技術が開示されている。
特開２０２０‐１１９０９３号公報
しかしながら、例えば選択する対象の配置や視線位置の検出精度によっては、必ずしもユーザーが意図している対象を選択できない場合がある。
そこで、本発明は、視線位置に基づく対象の選択の利便性を向上させる電子機器及びその制御方法を提供することを目的とする。
本発明は、撮影画像を表示する表示手段と、前記表示手段を観察する観察者の視線位置を含む視線情報を取得する取得手段と、前記視線情報に基づいて表示を制御する表示制御手段と、
前記視線情報に基づいて被写体を選択する選択手段と、を有し、前記表示制御手段は、前記視線情報に基づいて、前記撮影画像の一部である限定領域を他の領域と区別させる前記表示として、前記限定領域を複数の領域に分割して表示することで強調表示を行うように制御し、前記選択手段は、前記表示に対する前記観察者の視線情報に基づいて被写体を選択するよう構成したことを特徴とする。
本発明によれば、視線位置に基づく対象の選択の利便性を向上させることができる。
電子機器を含む撮像装置の構成を示すブロック図 撮像装置の画素の瞳面と光電変換部の対応関係を示す図 撮像装置の画素の瞳面と開口部の対応関係を示す図 視線入力操作部の構成を示す図 視線入力操作部の構成を示す図 視線位置選択方法を説明するフローチャート 視線位置の粗調方法、微調方法を説明する図 第１の本実施形態にかかる電子機器の視線検出処理方法及び、視線位置状態判定と判定結果について説明するメインフローチャート 第１の実施形態にかかる視線状態判定処理について説明するフローチャート 第１の実施形態にかかる視線状態判定処理の停止判定を説明する図 第１の実施形態にかかる視線状態判定処理の停止判定処理を説明する図 第１の実施形態にかかる視線状態判定処理の動きだし判定を説明する図 第１の実施形態にかかる視線状態判定処理の動き出し判定処理を説明する図 実施形態にかかる撮像装置の視線検出処理方法及び、視線位置補正方法について説明するメインフローチャート 視線位置補正方法について説明する図 第２の実施形態にかかる電子機器の焦点検出、視線検出及び撮影動作を説明するためのフローチャート 第２の実施形態にかかる撮影サブルーチンについて説明するフローチャート
＜第１の実施形態＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［電子機器の構成の説明］
図１は、撮像装置の構成を示すブロック図である。撮像装置を含む装置を電子機器とも称する。図１において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行う為の通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６、１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１０２の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を合わせる。
シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。撮像部２２から得られた信号は、撮像だけでなく、露出制御、焦点検出制御にも用いられる。撮像部２２には、１つのマイクロレンズに対して、光電変換部が分割された画素が設けられている。光電変換部を分割することにより入射瞳が分割され、それぞれの光電変換部から位相差検出信号を得ることができる。また、分割された光電変換部からの信号を加算することにより、撮像信号も得ることができる。
このような画素は、焦点検出画素と撮像画素を兼用できるというメリットがある。
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、本実施形態の表示手段としての表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１９においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。なお、表示部２８は、不図示の接眼部を通して覗き込む電子ビューファインダを設けても、デジタルカメラ１００の背面にディスプレイを設けてもよい。また、電子ビューファインダと、背面のディスプレイの両方を設けてもよい。
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部５０は、デジタルカメラ１００全体を制御する。本実施形態の視線表示手段、視線状態判定手段、視線情報判定手段、被写体検出手段、視線取得可否判定手段は、このシステム制御部５０に含まれる。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１９、表示部２８等を制御することにより表示制御も行う。また、表示部２８として、ユーザーがのぞき込むＥＶＦと、タッチ操作等が可能でのぞき込まないＴＦＴ液晶等がある。表示部２８のうち、ＥＶＦに設置されているアイセンサで、ユーザーが接眼しているか離眼しているかの情報によって表示部２８を制御する表示制御も行う。
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作部である。なお、本実施形態の視線取得手段、視線確定手段は、この操作部７０に含まれる。
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切り替えスイッチ６０で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部７０には、メニュー選択、モード選択、撮影した動画像の再生などを実施するための電子ボタンや十字キーなどが設けられている。
電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部５４は、無線または優先ケーブルによって接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルへの付加や、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。
［視線検出の構成の説明］
本実施例では、操作部７０の１つとして、視線入力操作部７０１が設けられている。視線入力操作部７０１は、本実施形態の視線取得手段であり、ユーザーの視線が表示部２８のいずれの箇所を見ているかを検出するための操作部材である。図４は、視線入力操作部７０１の一例を示す。図４では、特許文献１に開示されているファインダ視野内を覗くユーザーの眼球５０１ａの光軸の回転角を検出し、検出した回転角からユーザーの視線を検出する方式を実現する構成である。表示部２８には、レンズユニット１００を通して撮影されたライブビュー表示画像が表示されている。７０１ａはイメージセンサを、７０１ｂは受光レンズを、７０１ｃはダイクロイックミラーを、７０１ｄは接眼レンズを、７０１ｅは照明光源を示す。照明光源７０１ｅにより、眼球５０１ａに赤外光が投射される。眼球５０１ａを反射した赤外光は、ダイクロイックミラー７０１ｃに反射され、イメージセンサ７０１ａにより撮影される。撮影された眼球画像は、不図示のＡ／Ｄ変換器によりデジタル信号に変換され、システム制御部５０に送信される。視線取得手段としてのシステム制御部５０では、撮影された眼球画像から、瞳孔の領域などを抽出し、ユーザーの視線を算出する。
なお、視線入力操作部７０１は、この方式に限らず、ユーザーの両目を撮影し、視線を検出する方式でもよい。図５には、図４とは異なる視線入力操作部７０１の一例を示す。図５は、デジタルカメラ１００の背面に設けられている表示部２８に、レンズユニット１００を通して撮影されたライブビュー表示画像が表示されている。図５では、デジタルカメラ１００の背面に、表示部２８を観察しているユーザーの顔５００を撮影するカメラ７０１ｆが設けられている。図５において、カメラ７０１ｆが撮影する画角を点線で示している。不図示の照明光源７０１ｅからユーザーの顔に投光を行い、カメラ７０１ｆにより眼球画像を取得する。これにより、ユーザーの視線を算出する。なお、視線入力操作部７０１は、この方式に限らず、ユーザーが表示部２８のいずれの箇所を注視しているかを検出できる構成であればよい。
［視線位置選択方法］
以下、図６から図１５を参照して、第１の実施形態における視線選択方法について説明する。
図６は、第１の実施形態の電子機器の視線選択方法を説明するメインフローチャートである。図６は、表示手段である表示部２８に表示された画像をユーザーが見ながら視線確定操作を行う場合の動作を示し、システム制御部５０が主体となって実現される。なお、本実施形態では、図１の撮像装置のブロック図を用いて説明するが、少なくともシステム制御部５０、表示部２８、操作部７０を有する電子機器においても同様の動作が可能である。
Ｓ１で、システム制御部５０は、視線位置選択で使用する視線検出情報である視線位置の状態判定を行う。視線検出及び視線位置の状態判定、表示については図８から図１３を用いて後述する。
Ｓ２で、システム制御部５０、視線の粗調動作と、視線の微調動作の２段階の視線位置選択を実施するか否かのいずれがユーザーによって選択さたかを判定する。ユーザーによって２段階の視線位置選択を実施すると選択された場合には視線の粗調動作、微調動作で視線位置選択を実施するため、ステップＳ６へ移行する。また、ユーザーによって２段階の視線位置選択を実施しないと選択された場合には、２段階の視線位置選択を実施しない為、ステップＳ３へ移行する。
Ｓ３で、システム制御部５０は、Ｓ１の状態判定、表示処理がなされた結果に対して、視線位置の補正を行う。視線位置の補正による視線補正位置の算出方法については図１４と図１５を用いて後述する。
Ｓ４で、システム制御部５０は、Ｓ３で算出された視線補正位置で、視線位置を決定するか否かを判定する。ユーザーによって、決定すると選択された場合には、視線位置を決定して、メインフローを終了する。また、ユーザーによって、決定しないと選択された場合には、Ｓ２の再度視線位置の状態判定へ移行して、Ｓ２からＳ４を繰り返す。
次に、Ｓ１で、ユーザーによって２段階の視線位置選択を実施すると選択された場合について説明する。この場合には視線の粗調動作、微調動作で視線位置選択を実施するため、ステップＳ６へ移行する。
Ｓ６で、システム制御部５０は、さらに本実施形態の視線位置選択方法の動作モードを選択する。選択する動作モードは２種類ある。一方は視線位置算出の即応性よりも安定性を優先したい場合などに使用する安定性優先モードである。そして、他方は視線位置算出の安定性よりも即応性を優先したい場合などに使用する即応性優先モードである。
Ｓ６でユーザーが安定性優先モードを選択した場合には、Ｓ７へ移行する。また、ユーザーが即応性優先モードを選択した場合には、Ｓ１１へ移行する。次に、それぞれの動作モードについて説明する。
Ｓ７で、システム制御部５０は、視線位置を粗く確定する（粗調する）ため、撮影画面内の第一の限定領域を選択する。さらにＳ７は、Ｓ６でユーザーが視線位置の安定性を優先すると決定された後に行われる処理である為、システム制御部５０によってユーザーの視線位置座標のスムージング処理が実施される。このスムージング処理におけるスムージング点数に応じて、第一の限定領域の大きさを変更する。
なお、ユーザーが視線位置の敏感度を設定することで、スムージング処理の点数を変更させるようにしても良い。この場合、敏感度を高く設定した場合は、低く設定した場合と比較して、スムージング点数が少なくなる。
また、Ｓ１で行われたユーザーの視線位置の停止判定の結果に応じて、第一の限定領域を通常設定されるサイズよりも縮小しても良い。この第一の限定領域を選択する方法については後述する。また、視線位置の粗調後、第２の判定回数、またはより回数の多い第５の判定回数だけ視線位置の動き出し判定が行われる。第一の限定領域が選択された後、Ｓ８へ移行する。
Ｓ８で、システム制御部５０は、前述したＳ３と同様に、Ｓ１の状態判定、表示処理がなされた結果に対して、本実施形態の視線補正位置算出手段で視線位置の補正を行う。視線位置の補正がされた後、Ｓ９へ移行する。
Ｓ９で、システム制御部５０は、Ｓ１０での視線位置の微調に先立って、Ｓ１で実施されていた動き出し判定をオフにする。視線位置の粗調整において、即応性を優先できるためである。動き出し判定をオフにしたのち、Ｓ１０へ移行する。なお、動き出し判定をオンのままにしておいても良い。これにより、より厳密な視線位置選択を実施しすることができる。
Ｓ１０で、システム制御部５０は、Ｓ７で選択された第一の限定領域から、視線位置を細かく確定する（微調する）。この時、ユーザーの視線位置の停止判定を行う。Ｓ１０ではＳ６においてユーザーによって視線位置の安定性優先が選択されている。このため、ここでは本実施形態の第２の判定回数、またはより多い第３の判定回数分の視線位置で判定を行うことで、視線位置の表示を停止させる。そして、視線位置の微調により決定された位置をユーザーが選択した視線位置として決定し、メインフローを終了する。
一方で、Ｓ６で、ユーザーが即応性優先モードを選択した場合には、Ｓ１１へ移行する。
Ｓ１１で、システム制御部５０は、視線位置情報の即応性を優先させるため、Ｓ１で実施した視線位置表示の停止判定と動き出し判定をオフに設定する。本設定をオフにすることで、視線位置表示の停止判定、動き出し判定に伴う表示滞留時間を抑制する。
Ｓ１２で、システム制御部５０は、前述したＳ７と同様に視線位置の粗調を実行する。視線位置の粗調後、本実施形態の第２の判定回数、またはより回数の多い第６の判定回数だけ視線位置の動き出し判定が行われる。Ｓ１２で視線位置の粗調を実行したのち、Ｓ１３へ移行する。
Ｓ１３で、システム制御部５０は、前述したＳ１０同様に発明の第二の視線選択手段である視線位置の微調を実行する。この時の視線位置の停止判定では、本実施形態の第２の判定回数、またはより多い台４の判定回数分、視線位置で判定を行うことで、視線位置の表示を停止させる。そして、視線位置の微調により決定された位置をユーザーが選択した視線位置として決定し、メインフローを終了する。
［視線検出及び状態判定、表示の説明］
図８は、表示手段である表示部２８に表示された画像をユーザーが見ながら視線確定操作を行う場合の視線位置の状態判定方法、表示処理であるＳ１のサブフローチャートである。図８は、システム制御部５０が主体となって実現される。なお、本実施形態では、図１の撮像装置のブロック図を用いて説明するが、少なくともシステム制御部５０、表示部２８、操作部７０を有する電子機器においても同様の動作が可能である。
Ｓ２１で、システム制御部５０は、画像データを、表示部２８に表示する。なお、表示用の画像は、例えば表示部２８の解像度に合わせた縮小画像である。画像表示中は所定のフレームレートでの表示が行われており、表示部２８を通じてユーザーは表示画像を確認することができる。
Ｓ２２で、システム制御部５０は、本実施形態の視線取得可否判定手段により、視線情報が取得可能か否かを判定する。表示部２８のうち、ＥＶＦに設置されているアイセンサであれば、ユーザーが接眼しているか離眼しているかの情報によって視線情報が取得可能か否かを判定する。ＥＶＦをのぞき込んでいれば、アイセンサによりユーザーが接眼状態であるとわかり、本実施形態の視線取得手段である視線入力操作部７０１で、視線情報が取得可能であると判定される。一方、ＥＶＦをのぞき込んでいなければ、アイセンサによりユーザーが離眼しているとわかり、本実施形態の視線取得手段である視線入力操作部７０１では、視線情報が取得不能であると判定される。また表示部２８のうち、ＴＦＴ液晶においても視線入力操作部７０１で視線情報が取得可能か否かを判定する。
Ｓ２３でシステム制御部５０は、Ｓ２２で視線情報が取得可能であると判定されれば、視線検出を開始する。Ｓ２４以降、視線入力操作部７０１により、ユーザーが、表示部２８上のどの位置を観察しているか（視線位置）を、ユーザーが観察していた表示画像と関連付けて、所定の時間間隔で取得し、蓄積してゆく。また、Ｓ２２で視線情報が取得不能であると判定されれば、判定されたタイミングにおける視線情報は取得、蓄積しない。
Ｓ２４で、Ｓ２３において視線情報が取得、蓄積された回数が所定回数Ｎ以上であるか否かを判定する。所定回数Ｎは、後段のＳ２５で実施される視線状態判定が可能な数で決まる。なお、このときＳ２２において取得不能であると判定された場合には、取得、蓄積されないため、Ｓ２４での所定回数Ｎにはカウントされない。Ｓ２３において視線情報が取得、蓄積された回数が所定回数Ｎ以上であると判定された場合には、本実施形態の視線状態判定手段であるＳ５の視線状態判定が可能であるとして、Ｓ２５へ移行する。また、Ｓ２３において視線情報が取得、蓄積された回数が所定回数Ｎ未満であると判定された場合には、本実施形態の視線状態判定手段であるＳ１５の視線状態判定が不能であるとして、Ｓ２５をとばしてＳ２６へ移行する。
Ｓ２５で、本実施形態の視線状態判定手段である視線状態判定を行う。Ｓ２５の視線状態判定については、図９の視線状態判定サブフロー図を用いて後述する。
Ｓ２６で、Ｓ２３もしくはＳ２５で取得された視線位置情報を用いて、表示部２８に視線位置を表示させる。Ｓ２４において視線蓄積回数が所定回数Ｎ以上であると判定された場合には、Ｓ２５で取得された視線位置を用いる。また、Ｓ２４において視線蓄積回数が所定回数Ｎ未満であると判定された場合には、Ｓ２３で取得された視線位置を用いる。
Ｓ２７で、ユーザーによって視線確定操作が行われたか否かを判定する。ユーザーによる視線確定操作が行われた場合には、表示部２８への視線位置の表示を静止させて、本視線位置の状態判定、表示処理フローを終了する。なお、表示部２８への視線位置の表示は継続したままでも良く、また表示方法を変更するとしても良い。また、ユーザーによる視線確定操作が行われていない場合には、本実施形態の視線取得可否判定手段により、視線情報が取得可能か否かを判定するＳ１２へ移行して新たな視線情報を取得する。なお、Ｓ２７で視線確定操作が行われた場合には、Ｓ１３において視線情報が取得、蓄積された回数と、視線位置変化情報ΔＳｊをリセットする。そして、一連のフローが完了したのち、図６のメインフローＳ２へ移行する。
［視線状態判定の説明］
図９のサブフローの一連の動作もシステム制御部５０が主体となって実現される。
Ｓ１５０１は、図８のＳ２３で取得された視線位置情報Ｓｉを用いて、視線位置変化情報ΔＳｊを取得する。図８のＳ１４で所定回数Ｎ以上であると判定されており、視線位置変化情報ΔＳｊのうち、水平位置変化量に対応するΔＳｊＨ、垂直位置変化量に対応するΔＳｊＶ、２点間位置変化量に対応するΔＳｊｒは、それぞれ下記の式（１）（２）（３）により算出される。
Ｓ１５０２は、本実施形態の第１の判定回数ＪＮ１と本実施形態の第１の閾値Ｔｈ１を用いて、Ｓ１５０１で取得した視線位置変化情報ΔＳｊを判定する。なお、所定回数Ｎと判定回数ＪＮ１の関係は、下記式（４）の関係にある。
なお、本実施形態では、ＪＮ１を５回という固定値で説明するが、条件に応じて変更してもよい。Ｓ１５０２では、Ｓ１５０１で取得した視線位置変化情報ΔＳｊが判定時刻を含み、過去連続して本実施形態の第１の判定回数ＪＮ１回、本実施形態の第１の閾値Ｔｈ１以下と判定されれば、表示部２８に表示される視線位置の表示を静止させる（動かさない）。このためにＳ１５０５へ移行する。また、Ｓ１５０１で取得した視線位置変化情報ΔＳｊが判定時刻を含み、過去の本実施形態の第１の判定回数ＪＮ１回の間、１度でも本実施形態の第１の閾値Ｔｈ１以上と判定されれば、本実施形態の第２の閾値で判定するため、Ｓ１５０３へ移行する。
ここで、Ｓ１５０２で行う視線位置の表示を静止させるための静止判定方法と表示の固定位置算出について、図１０、図１１を用いて説明する。図１０は、撮影された動画または撮影中の動画が表示部２８に表示されており、ユーザーは視線で特定の被写体に視線確定操作を行う一例を示している。本実施形態の第１の判定回数ＪＮ１と本実施形態の第１の閾値Ｔｈ１を用いた視線情報表示の表示不動方法を説明する。図１０は、左から時刻ｔ１（図１０（ａ））、ｔ２（図１０（ｂ））、ｔ３（図１０（ｃ））の瞬間に表示部２８に表示される画像を抜粋して表している。Ｓｍは視線情報表示、Ｔｒｇはユーザーが視線で追っている被写体を表している。
図１０（ａ）は、自転車に乗った被写体Ｔｒｇが画面左から移動してきた瞬間である。また、ユーザーは被写体Ｔｒｇを認識して、視線を合わせようと始めている様子を表している。この瞬間はまだ被写体Ｔｒｇに視線情報表示Ｓｍが一致しておらず、かつ視線情報表示Ｓｍが破線表現した通りばらついている。
図１０（ｂ）は、被写体Ｔｒｇが停止に向けて自転車のスピードを緩めている瞬間である。また、図１０（ａ）の時刻ｔ１から時間が過ぎて時刻ｔ２における被写体Ｔｒｇと視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇに視線情報表示Ｓｍが略一致し始めているが、視線情報表示Ｓｍは破線表現した通りばらついている。
図１０（ｃ）は、被写体Ｔｒｇが自転車を停止させて立っている瞬間である。また、図１０（ｂ）の時刻ｔ２から時間が過ぎて時刻ｔ３における被写体Ｔｒｇと視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇに視線情報表示Ｓｍが一致しており、かつ視線情報表示Ｓｍは、本実施形態の第１の判定回数ＪＮ１と本実施形態の第１の閾値Ｔｈ１を用いることで視線情報表示は不動表示されている。
次に図１０の一連の流れを、図１１の本実施形態の視線位置変化情報ΔＳｊと、本実施形態の第１の判定回数ＪＮ１と本実施形態の第１の閾値Ｔｈ１を用いて説明する。図１１は、本実施形態の第１の判定回数ＪＮ１と本実施形態の第１の閾値Ｔｈ１を用いた静止判定を説明している。なお、図１１では本実施形態の第１の判定回数ＪＮ１を５回としているが、この数に限られず、ユーザーの視線特性や表示部２８の閲覧状態、ユーザーによるマニュアル操作によって変更しても良い。
図１１（ａ）は、時刻ｔにおける視線位置変化情報ΔＳｊのうち、水平位置変化量に対応するΔＳｊＨを表している。水平に引かれた２本の実線は、本実施形態の第１の閾値Ｔｈ１のうち、水平位置変化量に対応する閾値Ｔｈ１Ｈを表している。また、グレーのハッチがかかっている部分は、本実施形態の第１の判定回数ＪＮ１のうち、水平位置変化量に対応する判定回数ＪＮ１Ｈを表している。
図１１（ｂ）は、時刻ｔにおける視線位置変化情報ΔＳｊのうち、垂直位置変化量に対応するΔＳｊＶを表している。水平に引かれた２本の実線は、本実施形態の第１の閾値Ｔｈ１のうち、垂直位置変化量に対応する閾値Ｔｈ１Ｖを表している。また、グレーのハッチがかかっている部分は、本実施形態の第１の判定回数ＪＮ１のうち、水平位置変化量に対応する判定回数ＪＮ１Ｖを表している。
図１１（ｃ）は、時刻ｔにおける視線位置変化情報ΔＳｊのうち、２点間位置変化量に対応するΔＳｊｒを表している。水平に引かれた２本の実線は、本実施形態の第１の閾値Ｔｈ１のうち、２点間位置変化量に対応する閾値Ｔｈ１ｒを表している。また、グレーのハッチがかかっている部分は、本実施形態の第１の判定回数ＪＮ１のうち、２点間位置変化量に対応する判定回数ＪＮ１ｒを表している。
図１１（ａ）は、水平位置変化量に対する視線位置変化情報ΔＳｊＨで視線情報表示の静止判定を行う場合の説明である。時刻ｔ１から時刻ｔ２における水平位置変化量に対する視線位置変化情報ΔＳｊＨは、徐々に減少しているがまだ水平位置変化量に対応する閾値Ｔｈ１Ｈを上回っている状態である。その後、時刻ｔ２から時刻ｔ３における水平位置変化量に対する視線位置変化情報ΔＳｊＨは、水平位置変化量に対応する閾値Ｔｈ１Ｈ以内を推移し、時間がたつにつれて収束している状態である。この時、時刻ｔ２から水平位置変化量に対応する閾値Ｔｈ１Ｈ以内であるため、カウントアップしてゆく。そして、本実施形態では水平位置変化量に対応する判定回数ＪＮ１Ｈを５回として説明するため、５回目となる時刻ｔ３から表示部２８における視線情報表示を固定値として静止表示させるように変更する。固定値は、表示の固定位置は水平位置変化量に対応する判定回数ＪＮ１Ｈの平均値とする。なお、固定値として、水平位置変化量に対応する判定回数ＪＮ１Ｈの最後の値としても良い。
図１１（ｂ）は、垂直位置変化量に対する視線位置変化情報ΔＳｊＶで視線情報表示の静止判定を行う場合の説明である。時刻ｔ１から時刻ｔ２における垂直位置変化量に対する視線位置変化情報ΔＳｊＶは、徐々に減少しているがまだ垂直位置変化量に対応する閾値Ｔｈ１Ｖを下回っている状態である。その後、時刻ｔ２から時刻ｔ３における垂直位置変化量に対する視線位置変化情報ΔＳｊＶは、垂直位置変化量に対応する閾値Ｔｈ１Ｖ以内を推移し、時間がたつにつれて収束している状態である。この時、時刻ｔ２から垂直位置変化量に対応する閾値Ｔｈ１Ｖ以内であるため、カウントアップしてゆく。そして、本実施形態では垂直位置変化量に対応する判定回数ＪＮ１Ｖを５回として説明するため、５回目となる時刻ｔ３から表示部２８における視線情報表示を固定値として静止表示させるように変更する。固定値は、表示の固定位置は垂直位置変化量に対応する判定回数ＪＮ１Ｖの平均値とする。なお、固定値として、垂直位置変化量に対応する判定回数ＪＮ１Ｖの最後の値としても良い。
図１１（ｃ）は、２点間位置変化量に対する視線位置変化情報ΔＳｊｒで視線情報表示の静止判定を行う場合の説明である。前述したΔＳｊＨやΔＳｊＶとは異なり、ΔＳｊｒは正の値をとるため、２点間位置変化量に対応する閾値Ｔｈ１ｒは正の値のみとなる。時刻ｔ１から時刻ｔ２における２点間位置変化量に対する視線位置変化情報ΔＳｊｒは、徐々に減少しているがまだ２点間位置変化量に対応する閾値Ｔｈ１ｒを上回っている状態である。その後、時刻ｔ２から時刻ｔ３における２点間位置変化量に対する視線位置変化情報ΔＳｊｒは、２点間位置変化量に対応する閾値Ｔｈ１ｒ以内を推移し、時間がたつにつれて収束している状態である。この時、時刻ｔ２から２点間位置変化量に対応する閾値Ｔｈ１ｒ以内であるため、カウントアップしてゆく。そして、本実施形態では２点間位置変化量に対応する判定回数ＪＮ１ｒを５回として説明するため、５回目となる時刻ｔ３から表示部２８における視線情報表示を固定値として静止表示させるように変更する。固定値は、表示の固定位置は２点間位置変化量に対応する判定回数ＪＮ１ｒの平均位置とする。なお、固定値として、２点間位置変化量に対応する判定回数ＪＮ１ｒの最後の値から決まる位置としても良い。
以上のように視線情報の変化に応じて視線情報表示を静止表示させることで、表示品位や利便性を向上させる電子機器を提供することが可能である。
Ｓ１５０３は、本実施形態の第２の判定回数ＪＮ１と本実施形態の第２の閾値Ｔｈ１を用いて、Ｓ１５０１で取得した視線位置変化情報ΔＳｊを判定する。なお、所定回数Ｎと判定回数ＪＮ２の関係は、下記式（５）の関係にある。
本実施形態では、ＪＮ２を５回という固定値で説明するが、条件に応じて変更してもよい。Ｓ１５０３では、Ｓ１５０１で取得した視線位置変化情報ΔＳｊが判定時刻を含み、過去連続して本実施形態の第２の判定回数ＪＮ２回、本実施形態の第２の閾値Ｔｈ２以上と判定されれば、表示部２８に表示される視線位置の表示を動作させる（動かす）。このための動き出し位置を算出するためにＳ１５０４へ移行する。また、Ｓ１５０１で取得した視線位置変化情報ΔＳｊが判定時刻を含み、過去の本実施形態の第２の判定回数ＪＮ２回の間、１度でも本実施形態の第２の閾値Ｔｈ２以下と判定されれば、それまでの表示から変更させない。このため、Ｓ１３で取得した視線位置情報Ｓｉを用いて、表示部２８に表示させる視線表示位置を決定するために、Ｓ１５０６へ移行する。
ここで、Ｓ１５０３で行う視線位置の表示を動かし始めるための動き出し判定方法と表示の固定位置算出について、図１２、図１３を用いて説明する。図１２は、撮影された動画または撮影中の動画が表示部２８に表示されており、ユーザーは視線で特定の被写体に視線確定操作を行う一例を示している。本実施形態の第２の判定回数ＪＮ２と本実施形態の第２の閾値Ｔｈ２を用いた視線情報表示の表示不動方法を説明する。図１２は、左から時刻ｔ１’（図１２（ａ））、ｔ２’（図１２（ｂ））、ｔ３’（図１２（ｃ））の瞬間に表示部２８に表示される画像を抜粋して表している。Ｓｍは図１２同様に視線情報表示を示しており、Ｔｒｇ’はユーザーが視線で追っている、図１２とは異なる被写体を表している。
図１２（ａ）は、被写体である自動車Ｔｒｇ’が画面左から動き出そうとしている瞬間である。また、ユーザーは自動車Ｔｒｇ’を認識し続けており、視線が合っている様子を表している。この瞬間は自動車Ｔｒｇ’に視線情報表示Ｓｍが一致しており、前述したＳ１５０２の処理により、視線情報表示Ｓｍが静止している。なお、Ｓ１５０２の処理が実行される前であれば視線情報表示Ｓｍが動作している場合もありうる。
図１２（ｂ）は、被写体Ｔｒｇ’が動き始めてスピードをあげている瞬間である。また、図１２（ａ）の時刻ｔ１’から時間が過ぎて時刻ｔ２’における被写体Ｔｒｇ’と視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇ’から視線情報表示Ｓｍが乖離し始めておりるが、視線情報表示Ｓｍは前述したＳ１５０２の処理により、静止している。なお、Ｓ１５０２の処理が実行される前であれば視線情報表示Ｓｍが動作している場合もありうる。
図１２（ｃ）は、被写体Ｔｒｇ’である自動車が停止している瞬間である。また、図１２（ｂ）の時刻ｔ２’から時間が過ぎて時刻ｔ３’における被写体Ｔｒｇ’と視線情報表示Ｓｍを表している。この瞬間では被写体Ｔｒｇ’に視線情報表示Ｓｍが一致しており、かつ視線情報表示Ｓｍは、本実施形態の第２の判定回数ＪＮ２と本実施形態の第２の閾値Ｔｈ２を用いることで視線情報表示は動作表示されており、破線で示したようにバラつきて表示されている。
次に図１２の一連の流れを、図１３の本実施形態の視線位置変化情報ΔＳｊと、本実施形態の第２の判定回数ＪＮ２と本実施形態の第２の閾値Ｔｈ１を用いて説明する。図１３は、本実施形態の第２の判定回数ＪＮ２と本実施形態の第２の閾値Ｔｈ２を用いた静止判定を説明している。なお、図１３では本実施形態の第２の判定回数ＪＮ２を５回としているが、この数に限られず、ユーザーの視線特性や表示部２８の閲覧状態、ユーザーによるマニュアル操作によって変更しても良い。
図１３（ａ）は、時刻ｔ’における視線位置変化情報ΔＳｊのうち、水平位置変化量に対応するΔＳｊＨを表している。水平に引かれた２本の実線は、本実施形態の第２の閾値Ｔｈ２のうち、水平位置変化量に対応する閾値Ｔｈ２Ｈを表している。また、グレーのハッチがかかっている部分は、本実施形態の第２の判定回数ＪＮ２のうち、水平位置変化量に対応する判定回数ＪＮ２Ｈを表している。
図１３（ｂ）は、時刻ｔ’における視線位置変化情報ΔＳｊのうち、垂直位置変化量に対応するΔＳｊＶを表している。水平に引かれた２本の実線は、本実施形態の第２の閾値Ｔｈ２のうち、垂直位置変化量に対応する閾値Ｔｈ２Ｖを表している。また、グレーのハッチがかかっている部分は、本実施形態の第２の判定回数ＪＮ２のうち、水平位置変化量に対応する判定回数ＪＮ２Ｖを表している。
１３（ｃ）は、時刻ｔ’における視線位置変化情報ΔＳｊのうち、２点間位置変化量に対応するΔＳｊｒを表している。水平に引かれた２本の実線は、本実施形態の第２の閾値Ｔｈ２のうち、２点間位置変化量に対応する閾値Ｔｈ２ｒを表している。また、グレーのハッチがかかっている部分は、本実施形態の第２の判定回数ＪＮ２のうち、２点間位置変化量に対応する判定回数ＪＮ２ｒを表している。
図１３（ａ）は、水平位置変化量に対する視線位置変化情報ΔＳｊＨで視線情報表示の静止判定を行う場合の説明である。時刻ｔ１’から時刻ｔ２’における水平位置変化量に対する視線位置変化情報ΔＳｊＨは、徐々に増加しており、水平位置変化量に対応する閾値Ｔｈ１Ｈを上回ろうとしている状態である。その後、時刻ｔ２’から時刻ｔ３’における水平位置変化量に対する視線位置変化情報ΔＳｊＨは、水平位置変化量に対応する閾値Ｔｈ２Ｈ以内を推移し、時間がたつにつれて被写体Ｔｒｇ’にあわせて移動している状態である。この時、時刻ｔ２’から水平位置変化量に対応する閾値Ｔｈ２Ｈ以内であるため、カウントアップしてゆく。そして、本実施形態では水平位置変化量に対応する判定回数ＪＮ２Ｈを５回として説明するため、５回目となる時刻ｔ３’から表示部２８における視線情報表示を動作表示させるように変更する。表示させるための値は、表示の固定位置は水平位置変化量に対応する判定回数ＪＮ２Ｈの平均値とする。なお、固定値として、水平位置変化量に対応する判定回数ＪＮ２Ｈの最後の値としても良い。また水平位置変化量に対する視線位置変化情報ΔＳｊＨは、水平位置変化量に対応する閾値Ｔｈ２Ｈ以内を推移していたとしても、次の場合は視線情報表示を動作表示させるように変更しても良い。水平位置変化量に対応する判定回数ＪＮ２Ｈ連続で同方向に常に移動していた場合には、視線情報表示を動作表示させるように変更しても良い。
図１３（ｂ）は、垂直位置変化量に対する視線位置変化情報ΔＳｊＶで視線情報表示の静止判定を行う場合の説明である。時刻ｔ１’から時刻ｔ２’における垂直位置変化量に対する視線位置変化情報ΔＳｊＶは、概ね一定の値をとっており、常に垂直位置変化量に対応する閾値Ｔｈ２Ｖを下回っている状態である。この時、時刻ｔ２’から垂直位置変化量に対応する閾値Ｔｈ２Ｖ以内であるため、カウントアップされない。そのため、垂直位置変化量に対する視線位置変化情報ΔＳｊＶでは、時刻ｔ３’においても表示部２８における視線情報表示を固定値として静止表示させたままと判定される。
図１３（ｃ）は、２点間位置変化量に対する視線位置変化情報ΔＳｊｒで視線情報表示の静止判定を行う場合の説明である。前述したΔＳｊＨやΔＳｊＶとは異なり、ΔＳｊｒは正の値をとるため、２点間位置変化量に対応する閾値Ｔｈ２ｒは正の値のみとなる。時刻ｔ１’から時刻ｔ２’における２点間位置変化量に対する視線位置変化情報ΔＳｊｒは、徐々に増加しているがまだ２点間位置変化量に対応する閾値Ｔｈ２ｒを下回っている状態である。その後、時刻ｔ２’から時刻ｔ３’における２点間位置変化量に対する視線位置変化情報ΔＳｊｒは、２点間位置変化量に対応する閾値Ｔｈ２ｒ以内を推移し、時間がたつにつれて変化している状態である。この時、時刻ｔ２’から２点間位置変化量に対応する閾値Ｔｈ２ｒ以上であるため、カウントアップしてゆく。そして、本実施形態では２点間位置変化量に対応する判定回数ＪＮ２ｒを５回として説明するため、５回目となる時刻ｔ３’から表示部２８における視線情報表示を動作表示させるように変更する。表示させる値は、表示の固定位置は２点間位置変化量に対応する判定回数ＪＮ２ｒの平均位置とする。なお、固定値として、２点間位置変化量に対応する判定回数ＪＮ２ｒの最後の値から決まる位置としても良い。
以上のように視線情報の変化に応じて視線情報表示を動作表示させることで、表示品位や利便性を向上させる電子機器を提供することが可能である。
また、図１２、図１３では、視線位置変化量ΔＳｊを用いた判定を説明したが、さらに視線位置が変化した方向が所定範囲内であるか否かに応じて、静止、動作判定しても良い。例えば、所定範囲として、±４５度等を選択することができる。これにより、視線がバラつきながら変化している様子を判定することができる。
Ｓ１５０４は、Ｓ１５０３で本実施形態の第２の閾値Ｔｈ２以上であると判定された場合に行われる。視線表示の動作位置を算出して、Ｓ１５０６へ移行する。
Ｓ１５０５は、Ｓ１５０２で本実施形態の第１の閾値Ｔｈ１以下であると判定された場合に行われる。視線表示の静止位置を算出して、Ｓ１５０６へ移行する。そして、一連のフローが完了したのち、図８のメインフローＳ１６へ移行する。
［視線検出及び動的キャリブレーション方法の説明］
以下、図１４から図１５を参照して、本実施形態の実施形態における視線位置補正方法について説明する。図１４は、本実施形態の実施形態にかかる撮像装置の視線検出処理方法及び、視線位置補正方法について説明するサブフローチャートである。図１４は、本実施形態の表示手段である表示部２８に表示された画像をユーザーが見ながら視線確定操作を行い、焦点調節手段を実施する場合の動作を示し、システム制御部５０が主体となって実現される。なお、本実施形態では、図１の撮像装置のブロック図を用いて説明するが、少なくともシステム制御部５０、表示部２８、操作部７０を有する装置においても同様の動作が可能である。
Ｓ３１からＳ３３は、Ｓ２１からＳ２３と同様の処理である。
Ｓ３４で、本実施形態の被写体検出手段を用いて、表示部２８に表示されている被写体の位置情報である本実施形態の被写体位置情報、検出された被写体数、検出された被写体種別、検出された被写体サイズを取得する。また、撮影された画像のレーティング情報も併せて取得する。この時、レーティング情報はカメラがピント情報等から判断した値を取得しても良く、またはユーザーが判断した手動の値を取得しても良い。なお、これら被写体情報は、カメラのパンニング動作などにより、シーンが変わるたびに更新されるとする。また、更新タイミングはシーン変更毎であっても構わないし、連続撮影中であれば、１コマ毎に前コマで取得された被写体情報から更新されたか否かの情報により、変更が生じた場合のみであっても構わない。そして、これら被写体情報を取得したのち、Ｓ３５へ移行する。
Ｓ３５で、本実施形態のシーン判定情報取得手段を用いて、表示部２８に表示されているシーンの撮影時のカメラ動作情報と前記表示手段に表示された被写体動作情報を取得する。撮影時のカメラ動作情報として取得する情報には、ジャイロセンサー等を用いて取得するパンニング情報、レンズの焦点距離やズーム位置などのレンズ情報、単写・連写などのシャッター設定やＴｖ、ＩＳＯなどのカメラ設定情報等がある。また、被写体動作情報として取得する情報には、被写体の表示部２８における面内移動速度ｖｔ、移動ベクトルＶｔ、過去複数点における移動軌跡情報Ｐｔ等がある。これらカメラ動作情報と被写体動作情報を取得したのち、Ｓ３６へ移行する。
Ｓ３６で、ユーザーによって視線確定操作が行われたか否かを判定する。ユーザーによる視線確定操作が行われた場合には、表示部２８への視線位置の表示を静止させて、本実施形態の視線補正位置算出手段にて、視線位置の補正を行うべくＳ３７へ移行する。なお、表示部２８への視線位置の表示は継続したままでも良く、また表示方法を変更するとしても良い。また、ユーザーによる視線確定操作が行われていない場合には、本実施形態のシーン判定情報取得手段により、視線情報が取得可能か否かを判定するＳ２へ移行して新たな視線情報を取得する。
Ｓ３７で、本実施形態の視線補正位置算出手段を実施して、視線位置の補正値を算出する。ここで、本実施形態の視線補正位置算出手段の視線位置補正手段について、図１５を用いて説明する。図１５は、本実施形態の視線補正位置算出手段を使用した場合の、表示部２８における様々なシーンを示している。ＥＰは、ユーザーの視線位置を表示させた視線表示であり、この時表示される表示部２８における視線位置座標は（ｘｅｙｅ，ｙｅｙｅ）で表される。Ｔｒｇは検出被写体で、Ａｒｅａ＿ｄＴは、Ｔｒｇとされる範囲を表しており、Ｔｒｇ座標は（ｘｔｒｇ，ｙｔｒｇ）で表される。また、ＣＡＬｅｙｅは、視線位置値を表しており、水平位置補正値、垂直位置補正値に分けられて、
の式（１）のように表現することができる。
図１５（ａ）は、飛んでいる飛行機に対して、ユーザーが視線位置を合わせて、視線確定した瞬間を表している。図１５（ａ）では、視線位置座標（ｘｅｙｅ，ｙｅｙｅ）は、Ｔｒｇ座標（ｘｔｒｇ，ｙｔｒｇ）とは異なった位置に表示されている。この時、ユーザーは飛行機を認識したうえで視線確定したと考えられるため、この２つの座標の差が誤差量であると考えられる。そのため、この２つの座標の差から、視線情報、被写体情報、シーン判定情報を用いて、動的キャリブレーションを実施する。なお、本実施形態の被写体検出手段で、被写体が検出されない場合には、Ｔｒｇ座標（ｘｔｒｇ，ｙｔｒｇ）が取得できないため、動的キャリブレーションは実施しないと判定される。
まず、視線情報として、Ｓ３２で取得した視線信頼性情報を用いる。この視線信頼性情報に応じて、視線位置補正値算出時の視線ゲインＧａｉｎｅｙｅの値が変わる。視線信頼性情報が低い場合Ｇａｉｎｅｙｅ＜１には、取得した視線位置座標（ｘｅｙｅ，ｙｅｙｅ）は何等かの理由で誤差が大きいと考えられるため、そのままの値としては、使用できない。一方、この視線信頼性情報が高い場合Ｇａｉｎｅｙｅ＝１には、取得した視線位置座標（ｘｅｙｅ，ｙｅｙｅ）が使用できる。
次に、被写体情報として、検出された被写体種別、被写体サイズ、レーティング結果によって、視線位置補正値算出時の被写体ゲインＧａｉｎＴｒｇの値が変わる。被写体種別、被写体サイズから撮影が困難な被写体であると考えられる場合には、ＧａｉｎＴｒｇ＜１と被写体ゲインを変更する。また、被写体種別、被写体サイズから撮影が容易な被写体であると考えられる場合には、ＧａｉｎＴｒｇ＝１と被写体ゲインを変更する。
最後に、シーン判定情報として、シーン判定ゲインＧａｉｎｓｃｅａｎｅがあり、シーンの難易度に応じて値が変わる。シーン判定情報として、Ｓ３５で取得されるカメラ動作情報、被写体移動情報からシーン難易度が高い場合には、Ｇａｉｎｓｃｅａｎｅ＜１とシーン判定ゲインを変更する。また、Ｓ３５で取得されるカメラ動作情報、被写体移動情報からシーン難易度が低い場合には、Ｇａｉｎｓｃｅａｎｅ＝１とシーン判定ゲインを変更する。
これらのゲインから、本実施形態の視線位置補正値は、２点間距離（ΔＸ’， ΔＹ’）を用いて
の式（３）から求まる。
同様に図１５（ｂ）では、視線信頼度が高くＧａｉｎｅｙｅ＝１、被写体も静止被写体であるため、容易でありＧａｉｎＴｒｇ＝１、シーン難易度も低いためＧａｉｎｓｃｅａｎｅ＝１である。視線位置補正値ＣＡＬｅｙｅは視線位置座標（ｘｅｙｅ，ｙｅｙｅ）は、Ｔｒｇ座標（ｘｔｒｇ，ｙｔｒｇ）の座標の差そのままであると考えられる。
また、図１５（ｃ）では、視線位置座標（ｘｅｙｅ，ｙｅｙｅ）における被写体（コーヒー）が本実施形態の被写体検出手段では取得できない場合の例である。この場合、Ｔｒｇ座標（ｘｔｒｇ，ｙｔｒｇ）が取得できないため、動的キャリブレーションは実施しないと判定される。以上のように算出された視線位置補正値ＣＡＬｅｙｅで視線位置を補正するため、Ｓ３８へ移行する。
Ｓ３８で、Ｓ３７で算出された視線位置補正値ＣＡＬｅｙｅで視線位置を補正する。視線位置補正値ＣＡＬｅｙｅは水平位置補正値、垂直位置補正値それぞれを有しているため、各座標を視線位置補正値ＣＡＬｅｙｅで補正して、視線補正位置座標を算出する。算出されたのち、メインフローのＳ４へ移行する。
［視線位置の粗調と微調整］
次に、視線位置の粗調と、視線位置の微調について、図７を用いて説明する。なお、図７で説明する処理は、システム制御部５０が所定のプログラム等を実行することによって実現される。図７では、ユーザーの視線位置から、Ｔａｒｇｅｔ＿Ａに対して被写体枠やＡＦ枠などを正確に指定する過程を表している。本実施形態では、ユーザーがＴａｒｇｅｔ＿Ａに対して、正確にＡＦ枠を表示させたい場合について説明する。本実施形態では、後述の限定領域を強調表示することで、ユーザーが枠を選択しやすくする。
図７（ａ）のＥｙｅｐｏｓｉｏｎは、ユーザーの視線位置を表している。図７のＴａｒｇｅｔ＿ＡとＴａｒｇｅｔ＿Ｂは、隣接して並んでいる人物（被写体）を表している。ＴａｒｇｅｔＡｒｅａ＿ＡとＴａｒｇｅｔＡｒｅａ＿Ｂは、被写体検出手段としてのシステム制御部５０は、によって取得された被写体情報を用いて表示されたＴａｒｇｅｔ＿ＡとＴａｒｇｅｔ＿Ｂの被写体検出枠である。なお、ここでは、被写体として、隣接して並ぶ人物を例に説明するが、人物ではなく動物やモノ、風景等であっても良い。
図７では、状態（ａ）から始まり、状態（ｂ）で視線位置の粗調を実施した様子を表している。また、状態（ｃ）で、状態（ｂ）で選択された第一の限定領域の中から、視線位置の微調を実施する。そして、最終的に状態（ｄ）のようにユーザーが求めるＴａｒｇｅｔ＿Ａに対してＡＦ枠が表示される。
まず、視線位置の粗調について図７（ａ）、（ｂ１）、（ｂ２）を用いて説明する。図７（ａ）でユーザーがＥｙｅＰｏｓｉｔｉｏｎの場所に視線位置が表示されたときに図１の視線入力操作部７０１で視線位置の粗調確定を実行する。その結果、システム制御部５０は、ユーザーの視線位置座標と視線位置信頼度に応じて、図７（ｂ１）、（ｂ２）に表されている第一の限定領域ＥｙｅＡｒｅａが表示されるよう制御する。
第一の限定領域ＥｙｅＡｒｅａは、ユーザーの視線位置座標を用いて決定される領域で、撮影画像の一部の領域である。この時、１回で取得された視線位置座標を用いても良く、複数点の移動平均値等の統計データを用いても良い。なお、ユーザーの視線位置の信頼度が低い場合には、第一の限定領域よりも広い第二の限定領域を設定しても良い。また、ユーザーの視線位置の信頼度が低い場合であっても、視線入力選択部７０１で確定された際に停止判定が行われていた場合には、第二の限定領域ではなく、第一の限定領域のままとしても良い。
図７（ｂ１）、（ｂ２）は第一の限定領域ＥｙｅＡｒｅａの表示方法が異なる例を示している。図７（ｂ１）は、図７（ａ）で指定したＥｙｅＰｏｓｉｔｉｏｎを中心に、Ｔａｒｇｅｔ＿Ａ、Ｔａｒｇｅｔ＿Ｂを含むようなエリアが設定される例を示している。また、図７（ｂ２）は、画面を４分割した際のＥｙｅＰｏｓｉｔｉｏｎを含むエリア（象限）が設定される例を示している。
次に、図７（ｂ１）から、視線位置の微調を用いた例である図７（ｃ１）、（ｃ２１）、（ｃ２２）を説明する。図７（ｃ１）では、図７（ｂ１）で選択された第一の限定領域を拡大表示させる例を示している。拡大表示された表示画像から、Ｔａｒｇｅｔ＿Ａに対して、ユーザーの視線位置をより正確に合わせたのち、視線入力走査部７０１で視線位置の微調を確定させる。その結果、図７（ｄ）のようにＴａｒｇｅｔ＿Ａに対して正確にＡＦ枠（ＡＦＡｒｅａ）が表示される。
また、図７（ｃ２１）では、図７（ｂ１）で第一の限定領域ＥｙｅＡｒｅａを設定した際のＥｙｅＰｏｓｉｔｉｏｎ位置を起点に、左右分割のどちらにユーザーの視線位置が移動したかを検出するベクトル位置指定を表している。図７（ｃ２１）は、図７（ｂ１）でＥｙｅＡｒｅａ内の被写体が検出されなかった場合の例を示す。図７（ｃ２１）のように、図７（ｂ１）で、ＥｙｅＡｒｅａ内の被写体検出されなかった場合には、ＥｙｅＡｒｅａの左右方向を２分割するようにして、ＥｙｅＡｒｅａを絞り込む。そして、ＥｙｅＰｏｓｉｔｉｏｎが含まれる分割されたＥｙｅＡｒｅａ内で再度、被写体検出を行い、検出されたＴａｒｇｅｔ＿Ａの検出情報と合わせて、図７（ｄ）のようにＴａｒｇｅｔ＿ＡにＡＦＡｒｅａが設定される。なお、本実施形態では、視線位置の微調を行う例を示しているが、２分割に限定はされない。また、水平方向だけでなく垂直方向に分割されても良い。さらに、視線位置の粗調の後に被写体検出によって被写体の優先度を決定した場合、優先被写体の検出を優先させてＡＦＡｒｅａを設定しても良い。
図７（ｃ２２）は、図７（ｂ１）でＥｙｅＡｒｅａ内の被写体が検出された場合の例を示す。図７（ｃ２２）では、図７（ｂ１）で第一の限定領域ＥｙｅＡｒｅａを設定した際のＥｙｅＰｏｓｉｔｉｏｎ位置を起点に、ＥｙｅＡｒｅａ内の被写体検出情報と合わせてユーザーの視線位置が移動した方向の被写体を選択することができる。図７（ｃ２２）のように、図７（ｂ１）でＥｙｅＡｒｅａ内の被写体が検出された場合には、被写体検出によって取得される被写体情報を用いて、ＴａｒｇｅｔＡｒｅａ＿ＡとＴａｒｇｅｔ＿Ｂが表示される。図７（ｃ２２）では、画面右側にユーザーの視線位置が移動している場合で、ＥｙｅＡｒｅａの右側にＥｙｅＰｏｓｉｔｉｏｎがある状態を示している。そして、視線入力操作部７０１によって視線位置を確定させた場合、ＴａｒｇｅｔＡｒｅａ＿Ａ内にＥｙｅＰｏｓｉｔｉｏｎが存在するため、Ｔａｒｇｅｔ＿Ａの検出情報と合わせて、図７（ｄ）のようにＴａｒｇｅｔ＿ＡにＡＦＡｒｅａが設定される。なお、本実施形態では、被写体検出枠内にＥｙｅＰｏｓｉｔｉｏｎが存在する場合について説明したが、判定方法はこれに限られるものではなく、被写体検出枠内外に判定領域を設けても良い。また、被写体が２人の場合について説明したが、２人に限られず、人以外の検出される被写体（動物や乗り物など）であっても良い。
最後に、図７（ｃ３）の選択方法について説明する。図７（ｃ３）は、ユーザーの視線位置が移動したのち視線入力操作部７０１で確定されることで、図７（ｂ２）で選択された象限であるＥｙｅＡｒｅａ内を更に４分することで、図７（ｄ）のようにＡＦＡｒｅａを設定する。なお、本実施形態では、４分割する方法で説明したが、領域同士を区別することができる表示であればこれに限らない。例えば９分割などより細かく分割しても良く、また左右方向のみ、垂直方向のみなどに限定しても良い。さらに、視線位置の微調１回で図７（ｄ）のようにＡＦＡｒｅａを設定したが、設定できるまで視線位置の微調を実施しても良い。
以上のように、視線情報、被写体情報、シーン判定情報を用いて、視線位置の動的キャリブレーション補正を実施することで、視線検出を常に高精度に実施することが可能な撮像装置を提供することできる。
また、視線位置変化量に応じて、視線位置の表示を静止もしくは動作させることで、表示品位や利便性を向上させる電子機器を提供することができる。
さらに、視線位置の粗調、微調を行うことでより正確にユーザーの視線位置の設定を行うことができる。
なお、本実施形態では、視線情報、被写体情報、シーン判定情報すべて用いたが、このうち少なくとも１つを用いて補正しても良い。また、観察者のファインダへの接眼、離眼状態に応じて、キャリブレーションデータをリセットしても良い。
また、本実施形態では、静止判定、動作判定を視線位置変化量に応じて判定する方法について記述したが、視線位置情報の変化角度範囲やベクトル情報等を用いて判定しても良い。また、視線位置情報だけでなく、電子機器のジャイロ情報などの情報を用いて判定しても良い。
さらに、本実施形態では水平位置、垂直位置、２点間位置でもちいる本実施形態の第１の閾値Ｔｈ１の値を同一で説明したが、別の値に変更することが可能であり、さらに、それぞれ別の値に変更しても良い。
＜第２の実施形態＞
次に第２の実施形態について図１６、図１７を用いて説明する。本実施形態では、焦点検出装置と組み合わせた場合の視線位置表示方法について説明する。
［焦点検出動作の説明］
図２は、本実施形態にかかる画素の構成と、瞳面と光電変換部の対応関係を示している。２０１が光電変換部を、２５３が瞳面を、２５１がマイクロレンズを、２５２がカラーフィルタをそれぞれ示している。図２には、光電変換部２０１ａ（第１焦点検出画素）と、光電変換部２０１ｂ（第２焦点検出画素）の２つの光電変換部２０１が設けられている。光電変換部２０１ａにおいて、２５３ａで示した瞳面を通過した光が光電変換部２０１ａに入射する。また、光電変換部２０１ｂにおいて、２５３ｂで示した瞳面を通過した光が光電変換部２０１ｂに入射する。これにより、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号から焦点検出が行える。また、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号を加算することにより、撮像信号を生成することができる。
本実施例では、図２に示した画素を、撮像部２２の全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。
なお、本実施例では、上記の焦点検出方式で説明を行うが、焦点検出方式はこの場合に限らない。例えば、撮像部２２に、後述の図３に示す焦点検出専用画素を設けて焦点検出を行ってもよい。また、撮像部２２には、焦点検出用の画素を設けず、撮像用の画素のみを設け、コントラスト方式で焦点検出を行ってもよい。
図３は、焦点検出専用画素の構成と、瞳面と光電変換部の対応関係を示している。図３は、図２と異なり、焦点検出専用の画素である。瞳面２５３の形状は、開口部２５４により決定される。また、瞳面２５３を通過した光のみを検出するため、対となる画素、図３において不図示の右側の瞳面からの光を検出する画素、を別途設けて焦点検出信号を取得する必要がある。撮像部２２に、図３に示す焦点検出画素と、撮像画素を全画面領域に設けることにより、画面上に写るいずれの被写体に対しても、位相差検出により焦点を合わせることが可能となる。
上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。顔検出機能の実現方法は、上述の方法に限らず、公知の機械学習を用いた方法により、同様に、顔の数、サイズ、パーツなどを検出してもよい。また、被写体の種別として、人物の顔に限らず、動物や乗り物などを検出してもよい。
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。
［視線検出処理方法及び、視線位置状態判定と判定結果の説明］
次に、図１６を用いて本実施形態の第２の実施形態にかかる電子機器の視線検出処理方法及び、視線位置状態判定と判定結果について説明する。図１６は、本実施形態の電子機器の焦点検出、視線検出及び撮影動作を説明するためのフローチャートである。図１６は、撮影スタンバイ状態などのライブビュー状態（動画撮影状態）から撮影を行うライブビュー撮影時の動作を示し、システム制御部５０が主体となって実現される。
Ｓ０４１では、システム制御部５０の制御に従い、撮像部２２を駆動し、撮像データを取得する。取得する撮像データは、後述する記録用ではなく、検出・表示用の画像であるため、記録画像に対してサイズの小さい画像を取得する。Ｓ０４１では、焦点検出や被写体検出、もしくは、ライブビュー表示を行うために十分な解像度を有する画像を取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッターを用いた撮影を行う。ここで行うライブビュー表示は、ユーザーが撮影範囲や撮影条件の確認を行うためのもので、例えば、３０フレーム／秒（撮影間隔３３．３ｍＳ）や６０フレーム／秒（撮影間隔１６．６ｍＳ）であってよい。
Ｓ０４２で、システム制御部５０は、Ｓ０４１で得られた撮像データのうち、焦点検出領域に含まれる第１焦点検出画素と第２焦点検出画素から得られる焦点検出データを取得する。また、システム制御部５０は、第１焦点検出画素と第２焦点検出画素の出力信号を加算し撮像信号を生成し、画像処理部２４で色補間処理などを適用して得られる画像データを取得する。このように、１回の撮影により、画像データと、焦点検出データとを取得することができる。なお、撮像画素と、第１焦点検出画素、第２焦点検出画素を個別の画素構成とした場合には、焦点検出用画素の補完処理などを行って画像データを取得する。
Ｓ４３でシステム制御部５０は、Ｓ０４２で得られた画像データをもとに、画像処理部２４を用いてライブビュー表示用の画像を生成し、表示部２８に表示する。なお、ライブビュー表示用の画像は、例えば表示部２８の解像度に合わせた縮小画像であり、Ｓ０４２で画像データを生成する際に画像処理部２４で縮小処理を実施することもできる。この場合、システム制御部５０はＳ０４２で取得した画像データを表示部２８に表示させる。上述の通り、ライブビュー表示中は所定のフレームレートでの撮影と表示が行われるため、表示部２８を通じてユーザーは撮影時の構図や露出条件の調整などを行うことができる。
また、上述の通り、本実施形態では、被写体として人物の顔や動物などを検出することが可能である。Ｓ０４３で、ライブビュー表示の開始に合わせて、検出している被写体の領域を示す枠などの表示も行う。なお、本実施形態の第１の実施形態のメインフローＳ１のように、ライブビュー画像ではなく、取得済みの画像を表示させても良い。
以降、Ｓ０４４からＳ０４９は本実施形態の第１の実施形態のＳ１２からＳ１７と同一であるため、説明を割愛する。
Ｓ０５０でＳｗ１のオンが検出されない（あるいはオフが検出された）場合、システム制御部５０は処理をＳ０５８に進め、操作部７０に含まれるメインスイッチがオフされたか否かを判別する。一方、Ｓ０５０でＳｗ１のオンが検出されると、システム制御部５０は処理をＳ０５１に進め、合焦させる焦点検出領域の設定、および焦点検出を行う。ここでは、Ｓ０４８で検出を開始した視線位置を用いて、焦点検出領域を設定する。Ｓ０４８で検出される視線位置は、ユーザーが意図する被写体の位置に対して、様々な要因で、誤差を有する。
Ｓ０５１では、後述する処理が施された視線位置情報を用いて、焦点検出領域を設定する。その際に、視線位置と焦点検出領域の中心位置を揃えてもよい。また、被写体検出手段など他の手段による焦点検出領域の候補が存在する場合には、視線位置に対して検出された被写体領域を紐づけることにより、最も近い被写体領域を焦点検出領域として選択してもよい。Ｓ０５１以降、視線位置情報を用いた焦点検出領域の設定と、焦点検出処理は、撮像を行うたびに、繰り返し実行される。ここで焦点検出処理について説明する。
設定された焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態では、システム制御部５０が焦点検出用の像信号の生成と、焦点検出用信号のずれ量（位相差）の算出と、算出したずれ量からデフォーカス量と方向を求める処理を実施するものとする。
設定した焦点検出領域から、焦点検出用の像信号として得られた第１焦点検出信号と第２焦点検出信号に、シェーディング補正、フィルター処理を行い、対の信号の光量差の低減と、位相差検出を行う空間周波数の信号抽出を行う。次に、フィルター処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。
フィルター処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。さらに、シフト処理によるシフト量をＳ１、シフト量Ｓ１のシフト範囲をΓ１とすると、相関量ＣＯＲは式（６）により算出される。
シフト量Ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－Ｓ１番目の第２焦点検出信号Ｂ（ｋ－Ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（Ｓ１）を算出する。必要に応じて、各行毎に算出された相関量を、シフト量毎に、複数行に渡って加算しても良い。
次に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。そして、算出した像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた変換係数Ｋ１をかけて、検出デフォーカス量を検出する。
Ｓ０５２でシステム制御部５０は、選択した焦点検出領域で検出されたデフォーカス量に基づき、レンズ駆動を行う。検出されたデフォーカス量が所定値より小さい場合には、必ずしもレンズ駆動を行う必要はない。
Ｓ０５３で、Ｓ０４１で行った検出・表示用の画像の取得、Ｓ０４３で行ったライブビュー表示、および、Ｓ０４６で行った焦点検出処理を行う。ライブビュー表示には、上述の通り検出された被写体領域や視線位置の情報も重畳して表示する。Ｓ０５３で行う処理は、Ｓ０５２のレンズ駆動中に、並列的に行ってもよい。また、随時更新されるライブビュー表示に合わせて、得られる視線位置に対応させて、焦点検出領域を変更してもよい。焦点検出処理を終えるとＳ０５４に進み、システム制御部５０は撮影開始指示を示す第２シャッタースイッチ６４（Ｓｗ２）のオン／オフを検出する。操作部７０の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出することが可能で、上述のＳｗ２は、レリーズ（撮影トリガ）スイッチの２段階目のオン／オフに相当する。システム制御部５０は、Ｓ０５４でＳｗ２のオンが検出されない場合、Ｓ０５０に戻り、Ｓｗ１のオン／オフを検出する。
また、Ｓ０４１で取得された検出用の画像から、本実施形態の被写体検出を行い、検出被写体位置や範囲の情報を取得する。本実施形態では、取得された検出被写体情報と、Ｓ０４８で得られた視線位置情報を用いて視線位置情報を変更する。取得された検出被写体情報と視線位置情報とを比較して、検出被写体範囲内に視線位置が第１の判定回数だけ含まれる場合には、前述した静止判定を実施して、表示部２８における視線情報表示を静止表示させる。なお、検出被写体範囲内ではなくとも、例えば検出被写体範囲近傍の範囲を判定範囲として設定しても良い。また、視線情報表示を静止表示させるのではなく、表示させないとしても良い。
また、本実施形態では、設定されているＡＦモードに応じて所定回数Ｎや第１の判定回数ＪＮ１、第２の判定回数ＪＮ２を変更できる。ＡＦモードとして、Ｓ０２０のＳｗ１検出があった際に、前述したＡＦ制御を１度だけ実施するワンショットＡＦや、Ｓｗ１検出が継続されている間、ＡＦ制御を実施し続けるサーボＡＦがある。まず、ワンショットＡＦが設定されている場合には、例えば、構図が決まっており、低速から静止被写体を撮影する際に使用されることが多いと考えられる。そのため、本実施形態の第１の判定回数、第２の判定回数はサーボＡＦが設定されている場合に比べて、多く設定され、第１の閾値、第２の閾値は大きな値が設定される。これによって、被写体に対する視線位置表示の微調整を行うことができ、良好な視線表示が可能である。
一方、サーボＡＦモードが設定されている場合には、例えば、フレーミング操作が必要な中速から高速な被写体を撮影される際に使用されることが多いと考えられる。そのため、本実施形態の第１の判定回数、第２の判定回数はワンショットＡＦが設定されている場合に比べて、少なく設定され、第１の閾値、第２の閾値は小さな値が設定される。これにより、とっさの動作表示も実施されるため、動きの速い被写体であっても良好な視線表示を行うことが可能である。
なお、上記のようなＡＦモードに応じた設定変更ではなく、ユーザー自身が自由に本実施形態の第１の判定回数、第２の判定回数や、本実施形態の第１の閾値、第２の閾値を設定しても良い。
Ｓ０５４でＳｗ２のオンが検出されるとシステム制御部５０は処理をＳ０５５に進め、画像記録を行うか否かを判定する。本実施形態では、連写中の画像取得を、記録画像用と撮像／表示、焦点検出用で、処理を切り替える。切り替えは、交互でもよいし、例えば、３回に１回撮像／表示、焦点検出を行うなどしてもよい。これにより、単位時間当たりの撮影枚数を、大幅に減らすことなく、高精度な焦点検出を行うができる。
Ｓ０５５で画像記録を行うと判定した場合には、Ｓ０５６に進み、撮影サブルーチンを実行する。撮影サブルーチンの詳細については後述する。Ｓ０５６で撮影サブルーチンが実行されるとＳ０５４に戻り、Ｓｗ２のオンが検出される、すなわち連写指示がされているか否かを判断する。
Ｓ０５５で撮像／表示、焦点検出を行うと判定した場合には、Ｓ０５７に進み、連写中の撮像／表示、焦点検出処理を実行する。連写中の撮像／表示、焦点検出処理は、実行する処理の内容は、Ｓ０５３と同じである。違いは、連写の撮影コマ速、記録画像の生成処理などに応じて、Ｓ０５７で撮像した画像の表示期間、表示更新レート（間隔）、表示遅延が、Ｓ５３の処理の場合と異なっている点である。表示手段としてのシステム制御部５０が、これらの表示制御を行う。得られた視線位置情報は、上述の通り、焦点検出領域の設定や検出された被写体領域との紐づけなどに用いる。詳細は後述する。Ｓ０５７で連写中の撮像／表示、焦点検出処理が実行されるとＳ０５４に戻り、Ｓｗ２のオンが検出される、すなわち連写指示がされているか否かを判断する。Ｓ０５０でＳｗ１のオンが検出されず（あるいはオフが検出された）、Ｓ０５８で、メインスイッチのオフが検出されると、焦点検出及び撮影動作を終了する。一方で、Ｓ５８でメインスイッチのオフが検出されない場合には、Ｓ０４２に戻り、画像データ、焦点検出データの取得を行う。
［撮影サブルーチンの説明］
次に、図１７に示すフローチャートを用いて、図１６のＳ０２６で実行する撮影サブルーチンの詳細について説明する。本サブルーチンの一連の動作も、システム制御部５０が主体となって実現される。
Ｓ０１６１でシステム制御部５０は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度）を決定する。この露出制御処理は、システム制御部５０が画像データの輝度情報に基づいて行うことができるが、任意の公知技術を用いることができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細は後述する。Ｓ０１６１で、決定した絞り値とシャッター速度に基づいて、シャッター１０１の動作を制御する。また、システム制御部５０により、シャッター１０１を通じて撮像部２２が露光される期間、電荷蓄積を行わせる。
露光期間が終了するとＳ０１６２でシステム制御部５０は、システム制御部５０により、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。また、第１焦点検出画素、もしくは、第２焦点検出画素のいずれかの画像読み出しを行う。焦点検出画素から読みだされた信号は、画像再生時に、被写体のピント状態を検出するために用いる。そのため、高画素静止画撮影の記録画像に対して、領域の制限や、全画素に対して低解像度にすることで、読出しデータ量を低減してもよい。第１焦点検出画素、もしくは第２焦点検出画素の信号があれば、高画素静止画撮影のための画像との差分を算出することで、もう一方の焦点検出信号を算出することができる。本実施形態では、高画素静止画撮影のための画像の信号のＳ／Ｎを優先するため、高画素静止画撮影のための画像信号と一方の焦点検出信号を読み出し、記録し、もう一方の焦点検出信号は演算により算出する。以降の画像に関する処理は、高画素静止画撮影のための画像信号と一方の焦点検出信号に対して施される。
Ｓ０１６３でシステム制御部５０は、読み出された画像データに対して画像処理部２４によって欠陥画素補正処理を実施する。Ｓ０１６４でシステム制御部５０は、欠陥画素補正後の画像データに対して画像処理部２４によってデモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理、エッジ強調処理等の画像処理や、符号化処理などを適用する。Ｓ０１６５においてシステム制御部５０は、高画素静止画撮影のための画像信号と一方の焦点検出信号を画像データファイルとしてメモリ３２に記録する。
Ｓ０１６６でシステム制御部５０は、Ｓ０１６５で記録した撮影画像に対応させて、カメラ本体の特性情報をメモリ３２とシステム制御部５０内のメモリに記録する。ここでカメラ本体の特性情報としては、以下の様な情報が例示できる。
・撮影条件（絞り値、シャッタ速度、撮影感度など）
・画像処理部２４で適用した画像処理に関する情報、
・撮像部２２の撮像用画素及び焦点検出用画素の受光感度分布情報、
・カメラ本体内での撮影光束のケラレ情報、
・カメラ本体とレンズユニットとの取り付け面から撮像部２２までの距離情報、
・製造誤差情報
なお、撮像部２２の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤに依存する情報であるため、これら部材に関する情報を記録しても良い。受光感度分布情報は、撮像素子から光軸上の所定の距離における位置に応じた感度の情報である。また、受光感度分布情報は、光の入射角度に対する感度の変化を情報としてもよい。
Ｓ０１６７でシステム制御部５０は、Ｓ０１６５で記録した撮影画像に対応させて、レンズユニットの特性情報をメモリ３２とシステム制御部５０内のメモリに記録する。レンズユニットの特性情報としては、射出瞳の情報、枠情報、撮影時の焦点距離やＦナンバー情報、収差情報、製造誤差情報、撮影時のフォーカスレンズ位置と対応付けられた被写体距離情報などが例示できる。Ｓ０１６８でシステム制御部５０は、撮影した画像に関する画像関連情報をメモリ３２とシステム制御部５０内のメモリに記録する。画像関連情報には、撮影前の焦点検出動作に関する情報や、被写体移動情報、焦点検出動作の精度に関わる情報などが含まれてよい。
Ｓ０１６９で、システム制御部５０は、表示部２８に、撮影画像のプレビュー表示を行う。これによりユーザーは、撮影画像の簡易的な確認を行うことができる。Ｓ０１６９で行うプレビュー表示に用いる画像は、画像の簡易的な確認が目的であるため、Ｓ０１６３やＳ０１６４で行う各種処理を行わなくてもよい。これらの各種処理を行わない場合には、Ｓ０１６３以降の処理と並列して、Ｓ０１６９のプレビュー表示を行うことで、より露光から表示までのタイムラグを少なくすることができる。
Ｓ０１６９の処理が終わると、システム制御部５０はＳ０２６の撮影サブルーチンを終了し、メインルーチンのＳ０２４に処理を進める。本実施形態では、連写中は、Ｓ０２６の撮影サブルーチンで画像記録する場合も、Ｓ０２７で連写中の撮像／表示、焦点検出処理を行う場合も、取得した画像の表示を行う。
以上のように、視線位置変化量に応じて、視線位置の表示を静止もしくは動作させることで、表示品位や利便性を向上させる電子機器を提供することが可能である。
＜その他の実施例＞
上述の第１の実施形態では、視線位置の粗調を行ってから視線位置の微調を行う場合を例示したが、いずれか一方だけを実施しても良い。
上述の実施形態では、静止判定、動作判定をＡＦモードや被写体検出に応じて判定する方法について記述した。動画や静止画などの撮影モードや、ファインダを用いた撮影か背面液晶画面を用いた撮影かなどの撮影機器の操作方法の違いに応じて上述の実施形態の処理を変更しても良い。
また、前述の実施例でフローチャートを用いて説明した動作は、同様の目的を達成することができるように、適宜実行されるステップの順序を変更することが可能である。
なお、上述の実施例の１以上の機能を実現するプログラムを、ネットワークあるいは記憶媒体を介してシステム又は装置に供給し、そのシステムあるいは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明した。この他にも、スマートフォン、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ヘッドマウントディスプレイなど、他の機器において本実施形態の処理を実現しても良い。
５０ システム制御部

Claims (5)

  1. 撮影画像を表示する表示手段と、
    前記表示手段を観察する観察者の視線位置を含む視線情報を取得する取得手段と、
    前記視線情報に基づいて表示を制御する表示制御手段と、
    前記視線情報に基づいて被写体を選択する選択手段と、を有し、
    前記表示制御手段は、前記視線情報に基づいて、前記撮影画像の一部である限定領域を他の領域と区別させる前記表示として、前記限定領域を複数の領域に分割して表示することで強調表示を行うように制御し、
    前記選択手段は、前記表示に対する前記観察者の視線情報に基づいて被写体を選択することを特徴とする電子機器。
  2. 前記限定領域は、前記観察者の視線位置を含む領域とすることを特徴とする請求項１に記載の電子機器。
  3. 前記表示手段は、前記撮影画像を、前記限定領域を含む複数の領域に分割して表示することを特徴とする請求項１又は２に記載の電子機器。
  4. 前記視線情報は、前記取得手段によって取得された前記観察者の視線位置の信頼度を含み、
    当該信頼度が低い場合に前記表示制御手段が前記限定領域として表示する領域は、当該信頼度が高い場合に前記表示制御手段が前記限定領域として表示する領域より広いことを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
  5. 撮影画像を表示する表示手段を有する電子機器の制御方法であって、
    前記表示手段を観察する観察者の視線位置を含む視線情報を取得する取得ステップと、
    前記視線情報に基づいて表示を制御する表示制御ステップと、
    前記視線情報に基づいて被写体を選択する選択ステップと、を有し、
    前記表示制御ステップでは、前記視線情報に基づいて、前記撮影画像の一部である限定領域を他の領域と区別させる前記表示として、前記限定領域を複数の領域に分割して表示することで強調表示を行うように制御し、
    前記選択ステップでは、前記表示に対する前記観察者の視線情報に基づいて被写体を選択することを特徴とする電子機器の制御方法。
JP2021144927A 2021-09-06 2021-09-06 電子機器及び制御方法 Active JP7770822B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021144927A JP7770822B2 (ja) 2021-09-06 2021-09-06 電子機器及び制御方法
US17/929,540 US12086310B2 (en) 2021-09-06 2022-09-02 Electronic apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021144927A JP7770822B2 (ja) 2021-09-06 2021-09-06 電子機器及び制御方法

Publications (2)

Publication Number Publication Date
JP2023038037A JP2023038037A (ja) 2023-03-16
JP7770822B2 true JP7770822B2 (ja) 2025-11-17

Family

ID=85385149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021144927A Active JP7770822B2 (ja) 2021-09-06 2021-09-06 電子機器及び制御方法

Country Status (2)

Country Link
US (1) US12086310B2 (ja)
JP (1) JP7770822B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023160103A (ja) * 2022-04-21 2023-11-02 キヤノン株式会社 電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016151798A (ja) 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2021018634A (ja) 2019-07-22 2021-02-15 キヤノン株式会社 電子機器およびその制御方法
US20210127063A1 (en) 2019-10-24 2021-04-29 Canon Kabushiki Kaisha Electronic device that receives line of sight input, method of controlling electronic device, and non-transitory computer readable medium
JP2021108447A (ja) 2019-12-27 2021-07-29 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN114902104A (zh) 2019-12-27 2022-08-12 佳能株式会社 电子设备、电子设备控制方法、程序和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913079A (en) * 1995-07-31 1999-06-15 Canon Kabushiki Kaisha Optical apparatus having a line of sight detection device
JP2014064784A (ja) * 2012-09-26 2014-04-17 Renesas Microsystem:Kk 視線検出装置、視線検出方法及びプログラム
US9445005B2 (en) * 2013-07-22 2016-09-13 Canon Kabushiki Kaisha Optical device capable of selecting focus detection point, method of controlling the same, and storage medium
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
KR20150042574A (ko) * 2013-10-11 2015-04-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2016075532A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
US10510137B1 (en) * 2017-12-20 2019-12-17 Lockheed Martin Corporation Head mounted display (HMD) apparatus with a synthetic targeting system and method of use
JP2020119093A (ja) 2019-01-21 2020-08-06 キヤノン株式会社 画像形成装置
JP7293039B2 (ja) * 2019-08-16 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
JP7490372B2 (ja) * 2020-01-21 2024-05-27 キヤノン株式会社 撮像制御装置及びその制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016151798A (ja) 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20170351327A1 (en) 2015-02-16 2017-12-07 Sony Corporation Information processing apparatus and method, and program
JP2021018634A (ja) 2019-07-22 2021-02-15 キヤノン株式会社 電子機器およびその制御方法
US20210127063A1 (en) 2019-10-24 2021-04-29 Canon Kabushiki Kaisha Electronic device that receives line of sight input, method of controlling electronic device, and non-transitory computer readable medium
JP2021068208A (ja) 2019-10-24 2021-04-30 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP2021108447A (ja) 2019-12-27 2021-07-29 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
CN114902104A (zh) 2019-12-27 2022-08-12 佳能株式会社 电子设备、电子设备控制方法、程序和存储介质
US20220321770A1 (en) 2019-12-27 2022-10-06 Canon Kabushiki Kaisha Electronic device, control method for electronic device, and non-transitory computer readable storage medium

Also Published As

Publication number Publication date
JP2023038037A (ja) 2023-03-16
US20230076475A1 (en) 2023-03-09
US12086310B2 (en) 2024-09-10

Similar Documents

Publication Publication Date Title
US11172133B2 (en) Zoom control device, control method of zoom control device, and recording medium
US10827127B2 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
US10270978B2 (en) Zoom control device with scene composition selection, and imaging apparatus, control method of zoom control device, and recording medium therewith
US9781351B2 (en) Zooming control device and method for controlling zooming control device
US8670658B2 (en) Image capture apparatus and method of controlling the same
JP5676988B2 (ja) 焦点調節装置
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
US20230042807A1 (en) Electronic device
JP7588958B2 (ja) 電子機器
JP2018129659A (ja) 画像処理装置、撮像装置および制御方法
US20210258472A1 (en) Electronic device
US11877051B2 (en) Eye-gaze information acquiring apparatus, imaging apparatus, eye-gaze information acquiring method, and computer-readable storage medium
JP7770822B2 (ja) 電子機器及び制御方法
US10412295B2 (en) Image capturing apparatus and control method thereof, and storage medium
JP7790882B2 (ja) 制御装置およびその制御方法
US11665438B2 (en) Electronic device capable of acquiring line-of-sight information
JP2023004678A (ja) 処理装置及びその制御方法
US12568309B2 (en) Focus adjustment apparatus and method, electronic device, and storage medium
JP7767077B2 (ja) 制御装置、撮像装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251105

R150 Certificate of patent or registration of utility model

Ref document number: 7770822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150