JPH03165737A - 視線方向検出方法 - Google Patents

視線方向検出方法

Info

Publication number
JPH03165737A
JPH03165737A JP1307183A JP30718389A JPH03165737A JP H03165737 A JPH03165737 A JP H03165737A JP 1307183 A JP1307183 A JP 1307183A JP 30718389 A JP30718389 A JP 30718389A JP H03165737 A JPH03165737 A JP H03165737A
Authority
JP
Japan
Prior art keywords
image
camera
line
infrared
sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP1307183A
Other languages
English (en)
Other versions
JP2688527B2 (ja
Inventor
Hidetomo Sakaino
英朋 境野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP1307183A priority Critical patent/JP2688527B2/ja
Publication of JPH03165737A publication Critical patent/JPH03165737A/ja
Application granted granted Critical
Publication of JP2688527B2 publication Critical patent/JP2688527B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は1人の肩上画像より、目の中の虹彩m付近の情
報を抽出し、視線方向を検出する視線方向検出方法に関
するものである。
〔従来の技術〕
人の視線方向を検出する技術は1手による諸コンピュー
ターへのコマンド入力の一助として利用されることが期
待される。また、テレビ会議等の将来の画像通信でのア
イコンタクト実現のためにも、非接触状態の下で視線方
向を検出し利用できるようにすることが考えられている
。しかしながら8画像処理に依存した視線方向検出は、
その大きさ1色等に顕著な特徴点となっていないために
−aにその検出は難しいとされている。しかし。
人が知覚できない赤外線領域での人の頭部画像は。
特徴的なものであることが判っている。これは。
頭部を構成する皮膚、眼球2頭髪等が相互に赤外線に対
する分光反射特性において異なることによると考えられ
る。
第7図は従来技術における視線検出を説明する図である
。光源駆動装置3を用いて時分割で2つの異なる近赤外
線4.5を目6に照射する。目を構成する虹彩7と瞳孔
8とから反射像が、TVカメラ2に取り込まれ、@像処
理装置lで処理され第8図は画像処理装置内部における
処理の流れ図である。可視光領域での目付近の画像の例
11においては、目の中の瞳孔、虹彩の形がある程度わ
かるが、しきい値処理による単純な処理では。
視線を抽出することは困難である。人の目の構造上、視
線上に光源を置いた場合には3強い反射像が目から得ら
れる。ストロボ盪影で生した赤目現象と呼ばれるのがそ
の例として挙げられる。そこで2時分割装置により、2
つの異なった赤外線波長をカメラのレンズ方向上より照
射することで。
目から2つの特徴的な反射画像12.14が得られる。
瞳孔付近から比較的強い反射13.15が得られている
。一方、虹彩付近からも比較的強い反射が得られている
。この2つの画像12,14から差分器16によって差
分画像を生成した後。
適当なしきい値を設定することで、瞳孔部付近の反射像
I7が抽出できる。輝度分布図18を考慮すると、2つ
の山19は、瞳孔部において生じる。
これを用いて視線方向を検出する。
〔発明が解決しようとする課題〕
この技術では、2つの異なる赤外線を分別する検出器が
必要なため、構成装置としては、高価かつ大きくなる問
題があった。
人物の環境の照度の変化を受ける瞳孔の抽出を行ってい
るので、照明が明るくなるに従って、瞳孔が閉り、l!
孔部の存在範囲が画像中のノイズレベルとほぼ同レベル
になるので、その分より高い検出精度が必要となるなど
の問題があった。
より反射率の高い画像を得るために、カメラの光軸に近
い位置に照明を置き、瞳孔部を抽出していたために、カ
メラ部自体の装置が大きくなり。
また9頭部に照らす照明を視線方向検出用としたものと
併用することができない問題があった。
本発明は、上記従来の問題点を解決し、光源を任意の位
置から照射し、複数の赤外線波長を用いることなく、瞳
孔に比べて比較的検出面積の大きな虹彩の検出を行い、
視線方向を検出することを目的とする。
〔課題を解決するための手段] 本発明においては1人物と可視光領域に感度を有するカ
メラとを結ぶ光路上にハーフミラ−を配置し、赤外領域
に感度を有するカメラに入射するようにする0人物像か
らの光路は、ハーフミラ−により、それぞれのカメラに
入力する0人物像に対しては、特定の方向より照明をあ
てる。可視光感知カメラより取り込まれた画像は、濃淡
画像に変換する。赤外光感知カメラからは、濃淡画像と
して人が知覚できる画像として出力される。
〔作 用〕
赤外領域における画像では、目の中の虹彩部付近からの
反射像に特徴がでる。そこで、2つの濃淡画像を差分し
た後、ie当なしきい値を設定することで、差分画像か
ら視線方向が明瞭に抽出することができる。
従来技術とは、カメラの光軸に依存しない任意の方向に
光源配置でき、複数の赤外線波長を用いないので、赤外
光感知カメラ部の縮小化を行うこ′とができ、瞳孔に比
べて比較的検出面積の大きな虹彩の検出を行うので1画
像処理上瞳孔検出の場合のように、高分解能を必要とし
ない。
(実施例) 第1図は本発明の一実施例を示す光学的測定体系図であ
る。被験者は、ハーフミラ−21を介して、2つのカメ
ラ22.23に入力される。2つのカメラは、それぞれ
可視光感知カメラ22と赤外光感知カメラ23とである
。このように2つカメラを用いる場合には、カメラの相
対的な補正が不可欠である。第一の補正として、幾何学
的な補正を行う、補正用に、ワイヤーフレーム状の構造
をもつ物体29を入力するようにする。物体は予め画像
の歪み量抽出が容易であるように直交格子で構成されて
おり、また、各方向(縦、横、奥行き)は5色相による
抽出が容易であるように3色付けされている。この物体
を入力し、カメラ22゜23間のずれ量を検出した後、
記憶部24.25にずれ量を記憶しておく、各カメラか
ら入力された画像は、逐次ずれ量に応じた幾何学的変換
を施し。
差分器26によって差分画像を生成する。そしてしきい
値処理を施した後、視線方向検出部27において、検出
される2つの虹彩の相対的な位置変化から最終的に被験
者の視線を抽出する。
第2図は本発明を実施するための処理の流れ図である。
カメラ入力部31は、可視光感知カメラ22と赤外光感
知カメラ23とを制御nする時分割カメラ選択部34か
らの信号を受けるよう構成されている。各カメラから入
力された画像は、差分器(差分フレーム生成)26にお
いて、差分画像がシリアルに生成される。しきい値処理
部36では、差分画像から目の中の虹彩領域を抽出する
ために、適当に設定されたしきい値を用いた処理により
、虹彩領域を切り出すようにされる。
視線方向検出部27では、切り出された2つの虹彩部の
面積の変化、相対的な位置の変化を追従することで、被
験者の視線方向が抽出される。
第3図は被験者に対して視線検出を行った例を説明する
図である0図示の符号41はハーフミラ−を通す前の被
験者の目付近の像である。この段階においては、視線を
抽出するだけの特徴量は存在しない。そこで、第一のカ
メラから目付近の可視光領域の濃淡画像42と第二のカ
メラから目付近の赤外光領域の濃淡画像43との2つの
画像から差分画像44を生成する。第二の画像には、可
視光領域の画像では得られなかった特徴量が目の虹彩部
40で生じる。2つの画像において、目付近を除いた領
域では、はぼ同様な輝度分布画像であることから、適当
なしきい値を設定することで容易に虹彩部付近が抽出で
きる。
第4図は人の眼球の詳細図である。参照光が目に入った
場合、光は5眼球内部の異なった部位から反射される。
最も輝度の高い反射像は、角膜100からの反射111
として得られる。これは、第一プルキンエ像と呼ばれて
いる。その他に、虹彩101の表面からの反射像112
.水晶体102の表面からの反射像113.その裏面か
らの反射像114がある(第4プルキンエ像)0本発明
では、特に。
参照光が赤外線である場合には、虹彩部を光が通過し、
水晶体からの反射像が顕著に得られる特性を利用したも
のである。
第5図はカメラ補正処理の流れ図である。カメラ入力部
31からワイヤーフレーム状の立体を取り込む。カラー
座標変換部52で、立体を構成する複数の色相で色づけ
されたフレームを抽出するために1色空間を変換する。
色相により分離抽出された各方向のフレームの傾きを検
出するために。
laugh変喚処理部53にて処理を施す。このように
して、カメラ間の相対的な補正をカメラ入力画像補正部
54で行い、ずれ量を補正量記憶部55に記憶しておく
第6図はカメラ補正における色処理部と)tough変
喚処理部での詳細な説明図である。7 RGB空間61
は、3原色がそれぞれ任意の比で線形に結合表現された
空間であるので2色相情報を抽出する場合には、ROB
カラー情報を座標変換62を施して色成分を抽出する必
要がある。ワイヤーフレーム画像から色相分離抽出され
た例63が頻度の形で示される。ワイヤーフレームを構
成する直線成分は、  Bough変漠により取り出さ
れる。2つの直線抽出の例64を示す、原点と検出され
る代表点との距離と点が横軸となす角度を関数として。
複数の代表点について同一の平面に記述するといくつか
の交点を示す図65が生じる。これらの交点のなかで、
最も曲線が重なりあった配位が一つの直線に対応する。
〔発明の効果〕
以上説明したように1本発明によれば、従来の非接触に
視線を検出する方法に比べて、より簡素な検出装置で構
成することができる。また参照光として、専用の赤外線
投光器を用いることなく。
通常室内で用いられる白熱灯等を用いれば5特徴のある
画像が得られ、視線方向を検出することが実現できる。
【図面の簡単な説明】
第1図は本発明の一実施例を示す光学的測定体系図、第
2図は本発明を実施するための処理の流れ図、第3図は
被験者に対して視線検出を行った例を説明する図、第4
図は人の眼球の詳細図、第5図はカメラ補正処理の流れ
図、第6図はカメラ補正における色処理部とHough
変換処理部での詳細な説明図、第7図は従来技術におけ
る視線検出を説明する図、第8図は画像処理装置内部に
おける処理の流れ図である。 21:ハーフミラー、22:可視光感知カメラ。 23:赤外光感知カメラ、  24.25 :カメラの
補正量記憶部、26:差分器、27:視線方向検出部、
31:カメラ入力部、34:時分割カメラ選択部、36
:Lきい値処理部、40:虹彩部41:処理前の目付近
の像、42:可視光感知カメラより取り出された濃淡画
像、43:赤外光感知カメラより取り出された虹彩付近
の濃淡画像。 44:差分画像、52:カラー座標変換部、53:  
Hough変換処理部、54:カメラ入力画像補正部、
55:補正量記憶部。 第 図 第 図 第 図 100 第 図 第 図 図

Claims (1)

    【特許請求の範囲】
  1. 人物像を撮像する構成において光路上にハーフミラーを
    配置して2つの光路に分離し、それぞれの光路上に可視
    光領域に高い感度を有する画像入力手段と赤外光領域に
    高い感度を有する画像入力手段とを配置して、それぞれ
    の画像入力手段から得られた画像の差分画像を生成した
    値から、目の中の虹彩部に対応する情報を抽出すること
    を特徴とする視線方向検出方法。
JP1307183A 1989-11-27 1989-11-27 視線方向検出方法 Expired - Fee Related JP2688527B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1307183A JP2688527B2 (ja) 1989-11-27 1989-11-27 視線方向検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1307183A JP2688527B2 (ja) 1989-11-27 1989-11-27 視線方向検出方法

Publications (2)

Publication Number Publication Date
JPH03165737A true JPH03165737A (ja) 1991-07-17
JP2688527B2 JP2688527B2 (ja) 1997-12-10

Family

ID=17966038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1307183A Expired - Fee Related JP2688527B2 (ja) 1989-11-27 1989-11-27 視線方向検出方法

Country Status (1)

Country Link
JP (1) JP2688527B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08178712A (ja) * 1994-12-22 1996-07-12 Toyota Motor Corp 漫然運転検出装置
JPH08322796A (ja) * 1995-05-29 1996-12-10 Sharp Corp 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
JPH10192333A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JP2001242417A (ja) * 2000-02-28 2001-09-07 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及びそれを用いた画像表示装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2009122895A (ja) * 2007-11-14 2009-06-04 Taito Corp 観者の視点移動に対応した立体オブジェクトの擬似3次元画像を表示する方法及び装置
JP2018023431A (ja) * 2016-08-08 2018-02-15 神港精機株式会社 眼科検査装置
JPWO2020129138A1 (ja) * 2018-12-18 2021-10-28 日本電気株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08178712A (ja) * 1994-12-22 1996-07-12 Toyota Motor Corp 漫然運転検出装置
JPH08322796A (ja) * 1995-05-29 1996-12-10 Sharp Corp 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
JPH10192333A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JP2001242417A (ja) * 2000-02-28 2001-09-07 Mixed Reality Systems Laboratory Inc 瞳孔位置検出装置及びそれを用いた画像表示装置
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
JP2009122895A (ja) * 2007-11-14 2009-06-04 Taito Corp 観者の視点移動に対応した立体オブジェクトの擬似3次元画像を表示する方法及び装置
JP2018023431A (ja) * 2016-08-08 2018-02-15 神港精機株式会社 眼科検査装置
JPWO2020129138A1 (ja) * 2018-12-18 2021-10-28 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
US11763598B2 (en) 2018-12-18 2023-09-19 Nec Corporation Image processing device, image processing method, and storage medium
US11776310B2 (en) 2018-12-18 2023-10-03 Nec Corporation Image processing device, image processing method, and storage medium
US11776311B2 (en) 2018-12-18 2023-10-03 Nec Corporation Image processing device, image processing method, and storage medium
US11776312B2 (en) 2018-12-18 2023-10-03 Nec Corporation Image processing device, image processing method, and storage medium
US12014572B2 (en) 2018-12-18 2024-06-18 Nec Corporation Image processing device, image processing method, and storage medium

Also Published As

Publication number Publication date
JP2688527B2 (ja) 1997-12-10

Similar Documents

Publication Publication Date Title
US12073647B2 (en) Detecting device, detecting method, and recording medium
JP3938257B2 (ja) 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ
US6088470A (en) Method and apparatus for removal of bright or dark spots by the fusion of multiple images
US7801335B2 (en) Apparatus and methods for detecting the presence of a human eye
US9852339B2 (en) Method for recognizing iris and electronic device thereof
KR101014325B1 (ko) 적외선을 이용한 얼굴인식 시스템 및 방법
JP2008246004A (ja) 瞳孔検出方法
WO2020027210A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR20180134280A (ko) 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법
US11179035B2 (en) Real-time removal of IR LED reflections from an image
US20210256244A1 (en) Method for authentication or identification of an individual
WO2018173314A1 (ja) 顔認識装置
US20210192205A1 (en) Binding of selfie face image to iris images for biometric identity enrollment
JP2688527B2 (ja) 視線方向検出方法
CN113688707B (zh) 脸部反欺骗方法
JP2648198B2 (ja) 注視方向検出方法
JPH04174304A (ja) 眼位置検出装置
JP2007058507A (ja) 視線検出装置
JPH08271222A (ja) 人体頭部位置検出装置
JP3351386B2 (ja) 観察者の観察位置検出方法およびその装置
CA2801610A1 (en) Device for producing images of irises of the eyes
JPH01180188A (ja) 焦点検出装置
CN113298694A (zh) 用于深度图生成的具有闪光灯的多相机系统
JPH01250183A (ja) 医用画像差異認識表示方法及びこの医用画像差異認識表示装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070822

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees