JPH11101935A - 注視状態検出装置及び電子機器の制御装置 - Google Patents

注視状態検出装置及び電子機器の制御装置

Info

Publication number
JPH11101935A
JPH11101935A JP9261295A JP26129597A JPH11101935A JP H11101935 A JPH11101935 A JP H11101935A JP 9261295 A JP9261295 A JP 9261295A JP 26129597 A JP26129597 A JP 26129597A JP H11101935 A JPH11101935 A JP H11101935A
Authority
JP
Japan
Prior art keywords
pupil
pupil area
area
image
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9261295A
Other languages
English (en)
Inventor
Katsuhiko Kawasaki
勝彦 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP9261295A priority Critical patent/JPH11101935A/ja
Publication of JPH11101935A publication Critical patent/JPH11101935A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】 関心を持った対象を即座に撮影できるように
する。 【解決手段】 瞳孔画像撮影装置20は眼球16の瞳孔
を撮影する。瞳孔面積算出装置22は、瞳孔画像撮影装
置20の出力画像から瞳孔の面積を算出し、算出結果を
瞳孔面積補正装置24に印加する。光検出器18は瞳孔
16への入射光量を検出する。瞳孔面積補正装置24
は、瞳孔面積算出装置22の算出結果を、光検出器18
の出力及び瞳孔面積補正テーブル26を参照して、明る
さによる瞳孔面積の変化を取り除き、制御装置28に供
給する。制御装置28は瞳孔面積補正装置24からの補
正済みの瞳孔面積から、瞳孔が拡大しているか縮小して
いるかを判定し、瞳孔が拡大しているときにカメラ部1
2に被写体画像を記録媒体13に記録させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、注視状態検出装置
及び電子機器の制御装置に関し、より具体的には、瞳孔
面積の変化により注視状態を検出する装置、及び、瞳孔
面積の変化により電子機器を制御装置に関する。
【0002】
【従来の技術】従来の銀塩フィルムのスチル・カメラ、
電子的又は磁気的な記録媒体を使用するスチル・カメラ
並びに、磁気テープ、光ディスク、固体メモリ、光磁気
ディスク及び磁気ディスク等を記録媒体として動画像を
撮影するビデオカメラでは、画像(及び音声)を記録す
るのに、シャッター・ボタン又は記録ボタンを使用して
いた。
【0003】
【発明が解決しようとする課題】しかし、例えば、スチ
ル・カメラの場合に良くあるように、ユーザが機器の操
作に十分に習熟していなければ、興味を感じた瞬間の記
録機会をしばしば逃がす結果になっていた。
【0004】そこで、本発明は、より容易にユーザの注
視状態を検出できる注視状態検出装置を提示することを
目的とする。
【0005】本発明はまた、注視状態の検出結果により
リアルタイムで電子機器を操作、即ち、制御できる装置
を提示することを目的とする。
【0006】
【課題を解決するための手段】本発明に係る注視状態検
出装置は、瞳孔を撮影する瞳孔撮影手段と、当該瞳孔に
入射する光量を監視する光検出手段と、当該瞳孔撮影手
段の出力から瞳孔面積を算出する瞳孔面積算出手段と、
当該光検出手段の出力に従い、当該瞳孔面積算出手段に
より算出された瞳孔面積から当該瞳孔に入射する光量の
影響を取り除く瞳孔面積補正手段と、当該瞳孔面積補正
手段から出力される瞳孔面積の変化を判定する判定手段
とからなることを特徴とする。
【0007】本発明に係る電子機器の制御装置は、瞳孔
を撮影する瞳孔撮影手段と、当該瞳孔に入射する光量を
監視する光検出手段と、当該瞳孔撮影手段の出力から瞳
孔面積を算出する瞳孔面積算出手段と、当該光検出手段
の出力に従い、当該瞳孔面積算出手段により算出された
瞳孔面積から当該瞳孔に入射する光量の影響を取り除く
瞳孔面積補正手段と、当該瞳孔面積補正手段から出力さ
れる瞳孔面積の変化を判定し、電子機器を制御する制御
手段とからなることを特徴とする。
【0008】瞳孔の径は興味や感心により変化する。瞳
孔の変化が非接触で測定可能であり、その測定結果を瞳
孔入射光量に応じて補正することで、明るさの影響を除
去でき、純粋に精神的な要因による瞳孔面積の変化を検
出できる。その結果により電子機器、例えば、撮像装置
を制御することで、ユーザが興味を感じた瞬間の記録機
会を逃さないようにできる。
【0009】また、手足による操作が不自由な状況で
も、瞳孔により電子機器を制御できるようになり、操作
手段又は方法の多様化を図ることができる。
【0010】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。
【0011】図1は、撮像装置に適用した本発明の一実
施例の概略構成ブロック図を示す。本実施例では、ハー
フミラー10が被写体からの光の一部を反射すると共に
残りを透過し、反射光をカメラ部12に、透過光をハー
フミラー14に向け供給する。カメラ部12は、例え
ば、銀塩フィルム・カメラ、スチル・ビデオ・カメラ又
はディジタル・スチル・カメラなどであり、撮影画像を
記録する記録媒体(銀塩フィルム、磁気記録媒体、固体
メモリ及び光磁気記録媒体など)13を具備する。ハー
フミラー14はハーフミラー10からの光の一部を反射
すると共に残りを透過し、その透過光は、ファインダを
覗いている撮影者の眼球16に入射し、反射光は、光量
を検出する光検出器18に入射する。ハーフミラー14
の透過光は眼球16に対する証明光となり、眼球16の
瞳孔画像がハーフミラー14で反射されて瞳孔画像撮影
装置20に入射する。
【0012】瞳孔画像撮影装置20は、ハーフミラー1
4を介して眼球16の瞳孔を撮影する。瞳孔面積算出装
置22は、瞳孔画像撮影装置20の出力画像から瞳孔の
面積を算出し、算出結果を瞳孔面積補正装置24に印加
する。瞳孔面積補正装置24には、光検出器18の出力
も印加されている。瞳孔面積補正装置24は、瞳孔面積
算出装置22の算出結果、即ち、瞳孔面積を、光検出器
18の出力及び瞳孔面積補正テーブル26を参照して補
正し、制御装置28に供給する。制御装置28は瞳孔面
積補正装置24からの補正済みの瞳孔面積から、瞳孔が
拡大しているか縮小しているかを判定し、その判定結果
によりカメラ部12の記録動作を制御する。
【0013】図2は、本実施例の動作フローチャートを
示す。ユーザが被写体の方向にカメラを向け、ファイン
ダを覗くと(S1)、瞳孔画像撮影装置20が、ユーザ
の瞳孔画像を撮影する(S2)。瞳孔面積算出装置22
が、瞳孔画像撮影装置20の出力画像に所定の画像処理
を行なって瞳孔面積を算出する(S3)。ここで得られ
た瞳孔面積には、被写体の輝度の要因と精神的要因(ユ
ーザの興味や関心)が反映している。瞳孔面積補正装置
24は、光検出器18の出力と瞳孔面積補正テーブル2
6とから、瞳孔面積算出装置22から出力される瞳孔面
積に含まれる被写体輝度の影響を取り除く。換言する
と、瞳孔面積補正装置24は、瞳孔面積算出装置22か
ら出力される瞳孔面積から、瞳孔面積の精神的要因によ
る変化を検出する。
【0014】図3は、被写体輝度に対する瞳孔の直径の
変化を示す。縦軸は瞳孔の直径、横軸は被写体輝度を示
す。このような対応関係が、瞳孔面積補正テーブル26
としてテーブル化されている。光検出器18の出力が示
す被写体輝度からその輝度に応じた瞳孔面積が分かるの
で、それと、現在の瞳孔面積(瞳孔面積算出装置22の
算出結果)との差が、精神的要因に基づく瞳孔面積変化
を示すことになる。瞳孔面積補正装置24による補正結
果の一例を図4に示す。横軸は時間、縦軸は、精神的要
因による瞳孔面積、即ち、被写体輝度による瞳孔面積と
現在の瞳孔面積との差を示す。
【0015】制御装置28は、瞳孔面積補正装置24の
出力を時系列で比較し、ユーザの瞳孔が拡大しているか
縮小しているかを判定する(S5)。精神的要因で瞳孔
面積が拡大していれば(例えば、図4の時刻t1以
降)、ユーザの興味や関心が被写体にあると判定するこ
とができ、制御装置28は、カメラ部12に現在の被写
体の撮影(記録)を指示し、カメラ部12は、これに応
じて被写体画像を記録媒体13に記録する。瞳孔面積の
拡大がなければ、被写体画像を記録しない。
【0016】図2では、瞳孔の拡大により被写体画像を
記録して終了し、瞳孔が拡大していなければ記録せずに
終了しているが、終了せず、瞳孔の変化の監視を継続
し、瞳孔の拡大を検出した時に、随時、被写体画像の記
録を実行するようにしてもよいことは、いうまでもな
い。
【0017】図5は、テレビ会議システム用端末装置に
適用した本発明の第2実施例の概略構成ブロック図を示
す。カメラ部12に対するハーフミラ−10の代わり
に、通信相手からの画像及び自画像などを表示するディ
スプレイ30が配置されている。図1と同じ構成要素に
は同じ符号を付してある。
【0018】図6は、図5に示す実施例の動作フローチ
ャートを示す。ユーザがディスプレイ30の画面を見る
と(S21)、図1に示す実施例と同様に、ユーザの瞳
孔が撮影され(S22)、瞳孔面積が算出され(S2
3)、瞳孔入射光量による瞳孔面積の補正により、精神
的要因による瞳孔面積の変化が検出される(S24)。
【0019】制御装置32は、瞳孔面積補正装置24の
出力により瞳孔が精神的要因により拡大しているか縮小
しているかを判定する(S25)。瞳孔面積が拡大して
いる場合(S25)、ディスプレイ30に現在表示され
ている画像にユーザが興味を示しているので、ディスプ
レイ30に現在表示されている画像を画像記録部装置3
4に記録動作の開始を指令する(S26)。画像記録装
置34は、磁気テープ、磁気ディスク、光磁気ディス
ク、光ディスク及び固体メモリ等を記録媒体とする。逆
に、瞳孔が縮小傾向にあれば(S28)、ユーザの興味
が薄れたことになり、画像記録装置34に記録動作の停
止を指令する(S29)。
【0020】ユーザによる終了の操作があるまで(S2
7)、以上を繰り返す。
【0021】図5に示す実施例はまた、テレビ画像を試
聴している場合にも適用できることは明かである。この
場合、ディスプレイ30はテレビジョン受像機であり、
画像記録装置34は例えば、VTRである。
【0022】上記実施例では、瞳孔面積の変化で電子機
器を制御しているが、瞳孔面積の変化の速度又は加速度
により電子機器を制御してもよい。
【0023】
【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、ユーザの興味の有無又はその程度
を瞳孔面積から検出し、その検出結果で電子機器などを
制御するので、ユーザが興味を感じた瞬間を逃さないリ
アルタイム性のある制御を実現できる。
【図面の簡単な説明】
【図1】 撮像装置に適用した本発明の一実施例の概略
構成ブロック図である。
【図2】 図1に示す実施例の動作フローチャートであ
る。
【図3】 輝度対瞳孔径のグラフである。
【図4】 精神的要因による瞳孔面積変化の一例であ
る。
【図5】 テレビ会議システム用端末に適用した本発明
の第2実施例の概略構成ブロック図である。
【図6】 図5に示す実施例の動作フローチャートであ
る。
【符号の説明】 10:ハーフミラー 12:カメラ部 13:記録媒体 14:ハーフミラー 16:眼球 18:光検出器 20:瞳孔画像撮影装置 22:瞳孔面積算出装置 24:瞳孔面積補正装置 26:瞳孔面積補正テーブル 28:制御装置 30:ディスプレイ 32:制御装置 34:画像記録装置

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 瞳孔を撮影する瞳孔撮影手段と、 当該瞳孔に入射する光量を監視する光検出手段と、 当該瞳孔撮影手段の出力から瞳孔面積を算出する瞳孔面
    積算出手段と、 当該光検出手段の出力に従い、当該瞳孔面積算出手段に
    より算出された瞳孔面積から当該瞳孔に入射する光量の
    影響を取り除く瞳孔面積補正手段と、 当該瞳孔面積補正手段から出力される瞳孔面積の変化を
    判定する判定手段とからなることを特徴とする注視状態
    検出装置。
  2. 【請求項2】 瞳孔を撮影する瞳孔撮影手段と、 当該瞳孔に入射する光量を監視する光検出手段と、 当該瞳孔撮影手段の出力から瞳孔面積を算出する瞳孔面
    積算出手段と、 当該光検出手段の出力に従い、当該瞳孔面積算出手段に
    より算出された瞳孔面積から当該瞳孔に入射する光量の
    影響を取り除く瞳孔面積補正手段と、 当該瞳孔面積補正手段から出力される瞳孔面積の変化を
    判定し、電子機器を制御する制御手段とからなることを
    特徴とする電子機器の制御装置。
  3. 【請求項3】 当該電子機器が撮像装置である請求項2
    に記載の電子機器の制御装置。
JP9261295A 1997-09-26 1997-09-26 注視状態検出装置及び電子機器の制御装置 Withdrawn JPH11101935A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9261295A JPH11101935A (ja) 1997-09-26 1997-09-26 注視状態検出装置及び電子機器の制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9261295A JPH11101935A (ja) 1997-09-26 1997-09-26 注視状態検出装置及び電子機器の制御装置

Publications (1)

Publication Number Publication Date
JPH11101935A true JPH11101935A (ja) 1999-04-13

Family

ID=17359821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9261295A Withdrawn JPH11101935A (ja) 1997-09-26 1997-09-26 注視状態検出装置及び電子機器の制御装置

Country Status (1)

Country Link
JP (1) JPH11101935A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000351337A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 移動体制御装置
JP2010148052A (ja) * 2008-12-22 2010-07-01 Kyocera Corp カメラ付き携帯端末
JP2011055251A (ja) * 2009-09-02 2011-03-17 Sony Corp 撮像装置および方法
WO2011052492A1 (ja) * 2009-11-02 2011-05-05 日本電気株式会社 携帯通信装置
WO2014185919A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Adjustment of display intensity
JP2017512087A (ja) * 2014-02-21 2017-05-18 トリスペラ デンタル インコーポレイテッド 拡張現実歯科設計方法およびシステム
US10307057B2 (en) 2017-02-07 2019-06-04 Panasonic Intellectual Property Management Co., Ltd. Eye imaging apparatus
JPWO2020194529A1 (ja) * 2019-03-26 2020-10-01
EP4182752A4 (en) * 2020-07-17 2024-03-13 Hewlett-Packard Development Company, L.P. IMAGE OF A HEAD-MOUNT DISPLAY (HMD) AND CALCULATION OF THE BRIGHTNESS OF A FOVEAL AREA

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000351337A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 移動体制御装置
JP2010148052A (ja) * 2008-12-22 2010-07-01 Kyocera Corp カメラ付き携帯端末
JP2011055251A (ja) * 2009-09-02 2011-03-17 Sony Corp 撮像装置および方法
CN102598653B (zh) * 2009-11-02 2015-08-05 日本电气株式会社 移动通信设备和拍摄方法
CN102598653A (zh) * 2009-11-02 2012-07-18 日本电气株式会社 移动通信设备
JPWO2011052492A1 (ja) * 2009-11-02 2013-03-21 日本電気株式会社 携帯通信装置
US8941745B2 (en) 2009-11-02 2015-01-27 Lenovo Innovations Limited (Hong Kong) Mobile communication apparatus for controlling imaging based on facial recognition
WO2011052492A1 (ja) * 2009-11-02 2011-05-05 日本電気株式会社 携帯通信装置
WO2014185919A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Adjustment of display intensity
US9390682B2 (en) 2013-05-16 2016-07-12 Empire Technology Development Llc Adjustment of display intensity
JP2017512087A (ja) * 2014-02-21 2017-05-18 トリスペラ デンタル インコーポレイテッド 拡張現実歯科設計方法およびシステム
US10912634B2 (en) 2014-02-21 2021-02-09 Trispera Dental Inc. Augmented reality dental design method and system
US10307057B2 (en) 2017-02-07 2019-06-04 Panasonic Intellectual Property Management Co., Ltd. Eye imaging apparatus
JPWO2020194529A1 (ja) * 2019-03-26 2020-10-01
US11887349B2 (en) 2019-03-26 2024-01-30 Nec Corporation Interest determination apparatus, interest determination system, interest determination method, and non-transitory computer readable medium storing program
EP4182752A4 (en) * 2020-07-17 2024-03-13 Hewlett-Packard Development Company, L.P. IMAGE OF A HEAD-MOUNT DISPLAY (HMD) AND CALCULATION OF THE BRIGHTNESS OF A FOVEAL AREA
US12094378B2 (en) 2020-07-17 2024-09-17 Hewlett-Packard Development Company, L.P. Head-mountable display (HMD) image and foveal region brightness computation

Similar Documents

Publication Publication Date Title
TWI386040B (zh) 具備影像振動檢測機能的攝影裝置
US8345938B2 (en) Image taking apparatus and image taking method
EP0549119A1 (en) Video camera including a zooming function
JP2004180306A (ja) デジタルビデオカメラにおけるデジタルズーム
EP1808014B1 (en) Camera and image processing method for camera
TWI492618B (zh) 攝影裝置及電腦可讀取記錄媒體
JP2011050048A (ja) 撮像装置
JP3250245B2 (ja) 防振カメラ
JP2009212804A (ja) 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JPH0630374A (ja) 不要撮影を防止する電子スチルカメラ
JPH11101935A (ja) 注視状態検出装置及び電子機器の制御装置
JP3164692B2 (ja) 電子スチルカメラ
JP4468598B2 (ja) 画像処理装置及び画像処理プログラムを記録した記録媒体
JP2009212802A (ja) 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JP3278206B2 (ja) 撮像装置及びその方法
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
JP2000125204A (ja) 電子カメラ
JP2009212803A (ja) 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JP4200575B2 (ja) デジタルカメラ
JP3991448B2 (ja) カメラ
JP2000152097A (ja) 電子カメラ
JPH05150308A (ja) カメラ
JP3340651B2 (ja) 電子スチルカメラ
JP2762486B2 (ja) ブレ補正装置
JP4576750B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20041207