JP2017167940A - 画像内の人物の瞳孔領域を特定する特定装置、特定方法及びプログラム - Google Patents

Abstract

【課題】顔の向きに拘らず、精度良く画像内の瞳孔領域を特定できる特定装置を提供する。
【解決手段】特定装置は、目を含む画像の各画素の輝度値と第１閾値とを比較して瞳孔及び虹彩を含む領域を判定し、判定した領域内の基準位置を特定する第１特定手段と、前記画像の各画素の輝度値を前記基準位置からの距離に応じて修正する修正手段と、前記修正手段が修正した各画素の輝度値と第２閾値とを比較して前記瞳孔の領域を特定する第２特定手段と、を備えている。
【選択図】図１

Description

本発明は、画像内の人物の瞳孔領域を特定する瞳孔特定技術に関する。

例えば、視覚刺激に対する人の感情を推定する方法の１つとして、当該人の瞳孔径の変化を利用する方法がある。特許文献１は、高精度に瞳孔径を測定する装置を開示している。しかしながら、特許文献１に記載の構成は、被測定者に対する拘束性が強く、かつ、測定するための装置が複雑であり高価となる。一方、非特許文献１は、画像データから、画像内の人物の瞳孔領域を特定する構成を開示している。具体的には、瞳孔付近の輝度を二値化処理することで瞳孔領域を特定している。

特開２０１４−７９３７４号公報

"Ｐｕｐｉｌ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ａｎ ｅｙｅ ｉｍａｇｅ"，［ｏｎｌｉｎｅ］，［平成２８年３月９日検索］，インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ−ｃｏｄｅ.ｃｏｍ／ｔｕｔｏｒｉａｌｓ／ｐｕｐｉｌ−ｄｅｔｅｃｔｉｏｎ−ｆｒｏｍ−ａｎ−ｅｙｅ−ｉｍａｇｅ／＞

非特許文献１の構成は、顔を略正面から撮影した場合には精度良く瞳孔領域を特定できる。しかしながら、斜め方向等から撮影した画像では、目における光の反射等により精度良く瞳孔領域を検出することができない。

本発明は、顔の向きに拘らず、精度良く画像内の瞳孔領域を特定できる特定装置、特定方法及びプログラムを提供するものである。

本発明の一側面によると、特定装置は、目を含む画像の各画素の輝度値と第１閾値とを比較して瞳孔及び虹彩を含む領域を判定し、判定した領域内の基準位置を特定する第１特定手段と、前記画像の各画素の輝度値を前記基準位置からの距離に応じて修正する修正手段と、前記修正手段が修正した各画素の輝度値と第２閾値とを比較して前記瞳孔の領域を特定する第２特定手段と、を備えていることを特徴とする。

本発明によると、顔の向きに拘らず、精度良く画像内の瞳孔領域を特定することができる。

一実施形態による特定装置の構成図。 一実施形態による特定装置の構成図。 目を含む画像と、瞳孔領域の特定結果を示す図。 一実施形態による角度と扁平率との関係を示す図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

＜第一実施形態＞
図１は、本実施形態による特定装置の構成図である。保持部５には、瞳孔領域の特定に使用する各種情報が予め保持され、特定装置の他の機能ブロックがこれら情報を使用する。特定装置の重心判定部１には、図３（Ａ）に示す様な、人の目を含む画像に対応する画像データが入力される。なお、人の顔全体を含む画像データを特定装置に入力し、公知の顔認識技術を使用することで人の目を含む矩形領域を判定し、判定した矩形領域の画像データを重心判定部１に入力する構成であっても良い。

重心判定部１は、入力される画像データの各画素の輝度値を、保持部５が保持する第１閾値と比較することで、瞳孔及び虹彩に対応する画素と、それ以外の画素を判定する。通常、瞳孔及び虹彩の部分は、目のそれ以外の部分より輝度が低いため、第１閾値を適切に設定することで、瞳孔及び虹彩に対応する領域を検出することができる。重心判定部１は、第１閾値により判定した瞳孔及び虹彩に対応する領域の重心位置を求め、この重心位置を輝度値修正部２に出力する。

輝度値修正部２は、画像データの各画素について、重心判定部１が判定した重心位置からの距離ｄに応じてその輝度値ｐを修正する。具体的には、輝度値修正部２は、距離ｄに基づき重み係数ｗを求める。本例では、重み係数ｗを、正規分布の確率密度関数ｆ（ｄ）により求める。なお、重み係数ｗ＝ｆ（ｄ）は、ｄが０のときに１となる様にスケールする。また、正規分布の平均μ及び標準偏差σについては、予め決定して保持部５に保存しておく。輝度値修正部２は、重み係数ｗに基づき、輝度値ｐの修正後の輝度値ｐ´を以下の式（１）により求める。
ｐ´＝ｐｍａｘ×（１−ｗ）＋ｐ×ｗ
＝ｐｍａｘ−（ｐｍａｘ−ｐ）×ｗ （１）
なお、ｐｍａｘは、輝度値の最大値である。式（１）においては、輝度値が同じであると、重み係数ｗが小さくなる程、修正後の輝度値は、より高い値になる。ここで、重み係数ｗ＝ｆ（ｄ）であるため、重み係数ｗは距離ｄが大きくなる程小さくなる。したがって、式（１）によると、同じ輝度値の画素が、距離ｄ１と距離ｄ１より大きい距離ｄ２にあると、距離ｄ２にある画素の修正後の輝度値は、距離ｄ１にある画素の修正後の輝度値より高い値になる。また、距離ｄが同じ（つまり、重み係数ｗが同じ）である画素の修正後の輝度値は、元の画素の輝度値に比例して高くなる。輝度値修正部２は、この様に修正した画素値を二値化部３に出力する。

二値化部３は、修正後の画像データが示す各画素の修正後の輝度値を二値化処理し、二値化データを出力する。具体的には、画素の修正後の輝度値が、保持部５が保持する第２閾値以下であると、１を出力し、第２閾値より大きいと０を出力する。特定部４は、二値化データの画素値が１の領域を瞳孔領域として特定する。

図３（Ｂ）は、非特許文献１に記載の様に、図３（Ａ）の画像に対応する画像データの各画素値を、直接、閾値処理して検出した瞳孔領域であり、図３（Ｃ）は、上述した様に、画素の輝度値を、虹彩及び瞳孔を含む領域の重心からの距離により修正し、修正後の画素値を閾値処理して検出した瞳孔領域を示している。なお、図３（Ｂ）及び（Ｃ）において、白色の部分が検出した瞳孔領域を示している。図３（Ｂ）においては、虹彩領域も瞳孔領域として検出されている。一方、本実施形態では、虹彩及び瞳孔を含む領域の重心からの距離により画素値を修正するため、虹彩領域を瞳孔領域と誤検出する可能性が低くなり、精度良く、瞳孔領域を検出することができる。

例えば、人物を正面から撮影した画像においては、瞳孔と虹彩の色値又は輝度値には差があるが、人物を斜め方向から撮影した画像においては、光の当たり加減により、瞳孔と虹彩の色値又は輝度値の差が小さくなる場合がある。さらには、人物を斜め方向から撮影した画像においては、光の当たり加減により、目頭付近の輝度値が低くなり、目頭付近の領域を瞳孔領域として誤検出する場合がある。さらには、まつ毛や瞼による影を瞳孔領域として誤検出することも生じ得る。本実施形態では、上述した様に、虹彩及び瞳孔を含む領域の重心からの距離が大きくなる程、輝度値が高くなる様に修正することで、人物の撮影方向に拘らず瞳孔領域を精度良く検出することができる。

なお、上記実施形態では、重み係数ｗの算出に正規分布の確率密度関数を使用したが、距離ｄが大きくなると、重み係数ｗが小さくなる様にすれば良く、距離ｄと重み係数ｗの関係は正規分布の確率密度関数に限定されない。また、同じ輝度値の画素については、距離ｄが大きくなる程、修正後の輝度値を高くすれば良く、修正後の輝度値の算出方法は、式（１）に限定されない。

また、式（１）は、ｐｍａｘに（１−ｗ）を乗じ、ｐに重み係数ｗを乗じ、その和を修正後の輝度値とするものであった。しかしながら、第１の重み係数と第２の重み係数をそれぞれ求め、ｐｍａｘに第２の重み係数を乗じ、ｐに第１の重み係数を乗じ、その和を修正後の輝度値とする構成であっても良い。このとき、第１の重み係数は、距離ｄが大きくなると小さくなり、第２の重み係数は、距離ｄが大きくなると大きくなる値とする。

＜第二実施形態＞
続いて、本発明の第二実施形態について、第一実施形態との相違点を中心に説明する。本実施形態の特定装置の構成は図１と同様である。しかしながら、本実施形態では、輝度値修正部２における処理が第一実施形態とは異なる。まず、本実施形態においては、特定装置に入力する画像データを取得した際の、カメラの光軸方向に対する人物の顔の向きの角度Ｄを保持部５に設定しておく。なお、角度Ｄは、水平面内における角度であり、人物がカメラに対して正面を向いているときの角度Ｄが０度であり、真横を向いているときの角度Ｄが９０度である。また、角度Ｄは、人物の顔がどちらの方向を向いていても正の値とする。また、角度Ｄは、凡その角度で良く、その取得方法は任意である。例えば、画像データに対応する画像から角度Ｄを判定しても良い。

また、本実施形態においては、角度と瞳孔の扁平率との関係を示す情報を保持部５に予め設定しておく。なお、瞳孔の扁平率は、瞳孔を包含する最も小さい方形の長辺と短辺の差の長辺に対する比として定義される。例えば、図４は、角度と瞳孔の扁平率との関係を示す情報である。なお、図４において、角度が０のときに扁平率が０となっていないのは、人間の目は、顔の正面方向に対してある角度の方向を向いているからである。よって、角度と扁平率の関係は、右目と左目それぞれに対して用意しておく。そして、右目から瞳孔領域を特定する際には、右目に対する角度と扁平率の関係を使用し、左目から瞳孔領域を特定する際には、左目に対する角度と扁平率の関係を使用する。

輝度値修正部２は、角度Ｄと、図４に示す情報から、画像に含まれる瞳孔の扁平率Ｒを求める。そして、画素の重み係数ｗを、以下の式（２）により求める。なお、関数ｆｘは、平均μ及び標準偏差（１−Ｒ）σの正規分布の確率密度関数であり、関数ｆｙは、平均μ及び標準偏差σの正規分布の確率密度関数である。
ｗ＝ｆｘ（ｄｘ）×ｆｙ（ｄｙ） （２）
ここで、ｄｘ及びｄｙは、それぞれ、画素の重心位置からの水平方向距離及び垂直方向距離である。輝度値修正部２は、式（２）で求めた重み係数ｗに基づき、式（１）により輝度値を修正する。

本実施形態においても、修正後の輝度値は、第一実施形態と同様に、同じ輝度値の画素については、重心からの距離が大きくなる程、輝度値が高くなる。しかしながら、本実施形態では、距離を水平方向と垂直方向に分解し、水平方向においては、扁平率Ｒに応じて重み係数ｗを調整する。具体的には、角度Ｄが大きくなると、画像上における瞳孔は縦長となり扁平率Ｒは大きくなる。扁平率Ｒが大きくなる程、水平方向距離の増加に対するｆｘ（ｄｘ）の減少速度は高くなる。したがって、重心位置からの水平方向距離が同じ画素については、扁平率Ｒが大きくなる程、輝度値が高くなる様に修正される。この様に輝度値を修正することで、人物の顔の向きに拘らず、瞳孔領域を精度良く検出することができる。

＜第三実施形態＞
続いて、本発明の第三実施形態について、第一実施形態との相違点を中心に説明する。図２は、本実施形態による特定装置の構成図である。図１に示す第一実施形態との相違点は、重心判定部１と輝度値修正部２との間に重心修正部６を設けたことである。本実施形態においては、第二実施形態で述べた角度Ｄと重心位置の修正量との関係を予め実験的に求め、この関係を示す情報を予め保持部５に保存しておく。例えば、係数ａ、ｂ、ｃ、ｄを保持部５に保持させておき、水平方向の修正量Δｘと、垂直方向の修正量Δｙを、それぞれ、以下の式（３）及び（４）により求める。
Δｘ＝ａ×Ｄ＋ｂ （３）
Δｙ＝ｃ×Ｄ＋ｄ （４）
重心修正部６は、重心判定部１が判定した重心位置の座標が（Ｇ１，Ｇ２）であると、修正後の重心位置を（Ｇ１＋Δｘ，Ｇ２＋Δｙ）として輝度値修正部２に出力する。そして、輝度値修正部２は、修正後の重心位置（Ｇ１＋Δｘ，Ｇ２＋Δｙ）からの距離ｄに基づき第一実施形態と同様に各画素の輝度値を修正する。

重心判定部１は、虹彩及び瞳孔を含む全体の領域の重心を求めるものであるが、顔の方向が変化すると、虹彩及び瞳孔を含む全体の領域の重心と、瞳孔の重心とのずれが変化する。本実施形態では、重心判定部１が判定する虹彩及び瞳孔を含む領域の重心を、顔の方向の角度に基づき、より瞳孔の重心に近づく様に修正する。これにより、人物の顔の向きに拘らず、瞳孔領域を精度良く検出することができる。なお、本実施形態では、水平方向（ｘ軸方向）のみならず、垂直方向（ｙ軸方向）についてもその位置を修正しているが、水平方向のみについて重心位置を修正する構成であっても良い。

＜その他＞
なお、第二実施形態及び第三実施形態においては、人物が顔の方向の正面を見ているとの前提のもと顔の角度Ｄにより瞳孔の扁平率Ｒを求めたが、人物が顔の方向に対して目だけを横に向けている状態もあるため、目の方向を角度Ｄとすることもできる。具体的には、目の瞳孔の方向とカメラの光軸の方向との角度を角度Ｄとする構成であっても良い。

また、第一実施形態から第三実施形態において、特定部４は、二値化データに基づき瞳孔領域を特定していた。ここで、特定部４は、特定した瞳孔領域が正確であるか否かを判定する構成とすることもできる。例えば、特定部４は、第三実施形態で述べた、角度Ｄと扁平率との関係を示す情報に基づき扁平率Ｒを求める。そして、検出した瞳孔領域を含む最小の方形を判定し、その長辺と短辺の差に対する長辺の比Ｋを求める。つまり、検出した瞳孔領域の扁平率を求める。そして、例えば、ＫがＲを含む所定範囲内の値であるか否かを判定する。例えば、所定値をΔＲとし、Ｋが、Ｒ−ΔＲ〜Ｒ＋ΔＲの間に有るか否かを判定する。ＫがＲを含む所定範囲内の値であると、特定部４は、瞳孔領域を正しく特定できていると判定する。一方、ＫがＲを含む所定範囲内にない場合、特定部４は、瞳孔領域を正しく特定できていないと判定する。そして、特定部４は、少なくとも瞳孔領域を正しく特定できていないと判定した場合、その旨をユーザに通知・表示する。

さらに、上記実施形態において、重心判定部１は、瞳孔及び虹彩を含む領域の重心位置を判定していた。しかしながら、瞳孔及び虹彩を含む領域の中心付近の画素を判定すれば良く、本発明は重心位置を求めることに限定されない。つまり、瞳孔及び虹彩を含む領域のエッジの各画素からの距離の差が所定値以下である画素の位置を基準位置とし、この基準位置からの距離により輝度値を修正する構成であっても良い。

なお、本発明による特定装置は、コンピュータを上記特定装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１：重心判定部、２：輝度値修正部、３：二値化部、４：特定部、５：保持部

Claims (11)

1. 目を含む画像の各画素の輝度値と第１閾値とを比較して瞳孔及び虹彩を含む領域を判定し、判定した領域内の基準位置を特定する第１特定手段と、
   前記画像の各画素の輝度値を前記基準位置からの距離に応じて修正する修正手段と、
   前記修正手段が修正した各画素の輝度値と第２閾値とを比較して前記瞳孔の領域を特定する第２特定手段と、
   を備えていることを特徴とする特定装置。
2. 前記第１特定手段は、前記瞳孔及び虹彩を含む領域の重心位置を前記基準位置として特定することを特徴とする請求項１に記載の特定装置。
3. 前記第１特定手段は、前記瞳孔及び虹彩を含む領域の重心位置を判定し、前記目の方向と前記重心位置の修正量との関係を示す情報に基づき前記重心位置を修正した位置を前記基準位置として特定することを特徴とする請求項１に記載の特定装置。
4. 前記修正手段は、輝度値が最大である画素以外の画素について、輝度値が同じであると、前記基準位置からの距離が大きくなる程、修正後の輝度値が高くなる様に輝度値を修正することを特徴とする請求項１から３のいずれか１項に記載の特定装置。
5. 前記修正手段は、前記基準位置からの距離が同じ場合、輝度値が高い画素程、修正後の輝度値が高くなる様に輝度値を修正することを特徴とする請求項１から４のいずれか１項に記載の特定装置。
6. 前記修正手段は、画素と前記基準位置との距離により第１の重み係数と第２の重み係数を求め、前記第１の重み係数と当該画素の輝度値の積である第１の値と、前記第２の重み係数と輝度値の最大値との積である第２の値とを求め、前記第１の値と前記第２の値との和に基づき当該画素の修正後の輝度値を求め、
   前記第１の重み係数は、画素と前記基準位置との距離が大きくなると小さくなり、
   前記第２の重み係数は、画素と前記基準位置との距離が大きくなると大きくなることを特徴とする請求項１から３のいずれか１項に記載の特定装置。
7. 前記第１の重み係数は０から１の間の値であり、前記第２の重み係数は、１から前記第１の重み係数を減じた値であることを特徴とする請求項６に記載の特定装置。
8. 前記修正手段は、画素と前記基準位置との水平距離と、前記目の方向により第３の重み係数を求め、画素と前記基準位置との垂直距離により第４の重み係数を求め、前記第３の重み係数と前記第４の重み係数の積により前記第１の重み係数を求め、
   前記第３の重み係数は、画素と前記基準位置との水平距離が大きくなると小さくなり、
   前記第４の重み係数は、画素と前記基準位置との垂直距離が大きくなると小さくなり、
   前記第３の重み係数が前記水平距離の増加に応じて小さくなる率は、前記目の方向が、画像に対して横に向くほど大きくなることを特徴とする請求項６又は７に記載の特定装置。
9. 前記第２特定手段は、特定した前記瞳孔の領域の扁平率を求め、求めた前記扁平率が前記目の方向に基づく値を含む所定範囲内にあるか否かを判定することを特徴とする請求項１から８のいずれか１項に記載の特定装置。
10. 目を含む画像から瞳孔の領域を特定する装置における特定方法であって、
    前記画像の各画素の輝度値と第１閾値とを比較して瞳孔及び虹彩を含む領域を判定し、判定した領域内の基準位置を特定する第１特定ステップと、
    前記画像の各画素の輝度値を前記基準位置からの距離に応じて修正する修正ステップと、
    前記修正ステップで修正した各画素の輝度値と第２閾値とを比較して前記瞳孔の領域を特定する第２特定ステップと、
    を含むことを特徴とする特定方法。
11. 請求項１から９のいずれか１項に記載の特定装置としてコンピュータを機能させることを特徴とするプログラム。