JPH0944676A - 顔面検出装置 - Google Patents
顔面検出装置Info
- Publication number
- JPH0944676A JPH0944676A JP7196806A JP19680695A JPH0944676A JP H0944676 A JPH0944676 A JP H0944676A JP 7196806 A JP7196806 A JP 7196806A JP 19680695 A JP19680695 A JP 19680695A JP H0944676 A JPH0944676 A JP H0944676A
- Authority
- JP
- Japan
- Prior art keywords
- points
- face
- correlation
- positional relationship
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 運転者が変った場合、顔向きが変化した場合
や、カメラから運転者までの距離が変化した場合等にお
いては顔画像とテンプレートとの相関度が変化するため
に、例えば顔画像における眉や鼻等を目と誤って抽出す
ることがあるという問題があった。 【解決手段】 相関演算手段Ｍ２は、予め用意されてい
る顔の複数の特徴点にそれぞれ対応する複数のテンプレ
ートを用いて顔画像を走査して相関演算を行い、相関度
が所定の閾値を超えたとき各特徴点の候補点とする。位
置関係比較手段Ｍ３は、各特徴点の候補点の組合わせの
うち、予め用意されている顔の複数の特徴点の位置関係
と相似な位置関係となる候補点の組合せを見付け特徴点
を検出する。このため、複数の特徴点夫々で複数の候補
点が許されるので特徴点の見落しがなくなり、各特徴点
の位置関係と相似な位置関係の候補点の組合わせから誤
りなく顔画像の特徴点を検出することできる。
や、カメラから運転者までの距離が変化した場合等にお
いては顔画像とテンプレートとの相関度が変化するため
に、例えば顔画像における眉や鼻等を目と誤って抽出す
ることがあるという問題があった。 【解決手段】 相関演算手段Ｍ２は、予め用意されてい
る顔の複数の特徴点にそれぞれ対応する複数のテンプレ
ートを用いて顔画像を走査して相関演算を行い、相関度
が所定の閾値を超えたとき各特徴点の候補点とする。位
置関係比較手段Ｍ３は、各特徴点の候補点の組合わせの
うち、予め用意されている顔の複数の特徴点の位置関係
と相似な位置関係となる候補点の組合せを見付け特徴点
を検出する。このため、複数の特徴点夫々で複数の候補
点が許されるので特徴点の見落しがなくなり、各特徴点
の位置関係と相似な位置関係の候補点の組合わせから誤
りなく顔画像の特徴点を検出することできる。
Description
【０００１】
【発明の属する技術分野】本発明は顔面検出装置に関
し、特に撮像して得られた被験者の顔画像から顔面の特
徴点を検出する顔面検出装置に関する。
し、特に撮像して得られた被験者の顔画像から顔面の特
徴点を検出する顔面検出装置に関する。
【０００２】
【従来の技術】従来より、車両運転者の運転状態を検出
するために、運転者の顔を撮像し、顔の方向又は視線の
方向を監視することが提案されている。例えば、特開平
６−２４３３６７号公報には、運転者の顔を撮像し、顔
画像から顔の特徴点として両眼の目頭と唇の両端の４点
を抽出し、顔が中心線に関して対称であることに基づい
て、抽出した４点が作る等脚台形の方向を求めることで
顔の方向を計算している。
するために、運転者の顔を撮像し、顔の方向又は視線の
方向を監視することが提案されている。例えば、特開平
６−２４３３６７号公報には、運転者の顔を撮像し、顔
画像から顔の特徴点として両眼の目頭と唇の両端の４点
を抽出し、顔が中心線に関して対称であることに基づい
て、抽出した４点が作る等脚台形の方向を求めることで
顔の方向を計算している。
【０００３】
【発明が解決しようとする課題】従来技術で顔画像の特
徴点を抽出する際には、顔の特徴点のテンプレートつま
り目テンプレート、口テンプレートを用い、顔画像上で
上記テンプレートを順次走査して画像とテンプレートと
の相関演算を行い、相関度が所定の閾値を超えたとき
目，口の特徴点を抽出することが考えられる。
徴点を抽出する際には、顔の特徴点のテンプレートつま
り目テンプレート、口テンプレートを用い、顔画像上で
上記テンプレートを順次走査して画像とテンプレートと
の相関演算を行い、相関度が所定の閾値を超えたとき
目，口の特徴点を抽出することが考えられる。
【０００４】しかし、運転者が変った場合、顔向きが変
化した場合、カメラから運転者までの距離が変化した場
合、外光が変化した場合等においては顔画像とテンプレ
ートとの相関度が変化するために、相関度の閾値を高く
すると特徴点を抽出できなくなる。これをなくすため相
関度の閾値を低くすると、例えば顔画像における眉や鼻
等を目と誤って抽出することがあるという問題があっ
た。
化した場合、カメラから運転者までの距離が変化した場
合、外光が変化した場合等においては顔画像とテンプレ
ートとの相関度が変化するために、相関度の閾値を高く
すると特徴点を抽出できなくなる。これをなくすため相
関度の閾値を低くすると、例えば顔画像における眉や鼻
等を目と誤って抽出することがあるという問題があっ
た。
【０００５】本発明は上記の点に鑑みなされたもので、
相関演算で得た各特徴点の候補点の組合わせのうち顔の
特徴点の位置関係と相似な位置関係の候補点の組合わせ
を見付けることにより、顔の特徴点を見落しなく、かつ
誤りなく高精度に検出できる顔面検出装置を提供するこ
とを目的とする。
相関演算で得た各特徴点の候補点の組合わせのうち顔の
特徴点の位置関係と相似な位置関係の候補点の組合わせ
を見付けることにより、顔の特徴点を見落しなく、かつ
誤りなく高精度に検出できる顔面検出装置を提供するこ
とを目的とする。
【０００６】
【課題を解決するための手段】請求項１に記載の発明は
図１に示す如く、被験者の顔を撮像して顔画像を得る撮
像手段Ｍ１と、予め用意されている顔の複数の特徴点に
それぞれ対応する複数のテンプレートを用いて上記顔画
像を走査して相関演算を行い、相関度が所定の閾値を超
えたとき各特徴点の候補点とする相関演算手段Ｍ２と、
上記各特徴点の候補点の組合わせのうち、予め用意され
ている上記顔の複数の特徴点の位置関係と相似な位置関
係となる候補点の組合せを見付けることにより上記顔画
像における特徴点を検出する位置関係比較手段Ｍ３とを
有する。
図１に示す如く、被験者の顔を撮像して顔画像を得る撮
像手段Ｍ１と、予め用意されている顔の複数の特徴点に
それぞれ対応する複数のテンプレートを用いて上記顔画
像を走査して相関演算を行い、相関度が所定の閾値を超
えたとき各特徴点の候補点とする相関演算手段Ｍ２と、
上記各特徴点の候補点の組合わせのうち、予め用意され
ている上記顔の複数の特徴点の位置関係と相似な位置関
係となる候補点の組合せを見付けることにより上記顔画
像における特徴点を検出する位置関係比較手段Ｍ３とを
有する。
【０００７】このため、複数の特徴点夫々で複数の候補
点が許されるので特徴点の見落しがなくなり、各特徴点
の位置関係と相似な位置関係の候補点の組合わせから誤
りなく顔画像の特徴点を検出することできる。請求項２
に記載の発明は、請求項１記載の顔面検出装置におい
て、前記相関演算手段は、複数の特徴点毎に相関度の閾
値を異ならしめる。
点が許されるので特徴点の見落しがなくなり、各特徴点
の位置関係と相似な位置関係の候補点の組合わせから誤
りなく顔画像の特徴点を検出することできる。請求項２
に記載の発明は、請求項１記載の顔面検出装置におい
て、前記相関演算手段は、複数の特徴点毎に相関度の閾
値を異ならしめる。
【０００８】このため、顔のいくつかの特徴点のうち、
像のコントラストの大小や個人差の大小に応じて、各特
徴点に最適の閾値を設定でき、特徴点の抽出精度を向上
できる。
像のコントラストの大小や個人差の大小に応じて、各特
徴点に最適の閾値を設定でき、特徴点の抽出精度を向上
できる。
【０００９】
【発明の実施の形態】図２は本発明のブロック図を示
す。同図中、運転者の顔を撮像する撮像手段Ｍ１として
のカメラ１０は車両の所定位置に取付られており、カメ
ラ１０で撮像された運転者の顔の画像信号はＤ／Ａコン
バータ１１でディジタル化されて画像メモリ１２に格納
される。また、ＲＯＭ１３には図３（Ａ），（Ｂ），
（Ｃ）に示す如き目，鼻，口のテンプレート及び同図
（Ｄ）に示す如き目，鼻，口の位置関係が予め格納され
ている。
す。同図中、運転者の顔を撮像する撮像手段Ｍ１として
のカメラ１０は車両の所定位置に取付られており、カメ
ラ１０で撮像された運転者の顔の画像信号はＤ／Ａコン
バータ１１でディジタル化されて画像メモリ１２に格納
される。また、ＲＯＭ１３には図３（Ａ），（Ｂ），
（Ｃ）に示す如き目，鼻，口のテンプレート及び同図
（Ｄ）に示す如き目，鼻，口の位置関係が予め格納され
ている。
【００１０】画像処理回路１４は正規化部及び相関演算
部を有しており、画像メモリ１２に格納されている顔画
像の濃淡正規化処理を行った後、ＲＯＭ１３からロード
したテンプレートを用いて上記顔画像を走査して相関演
算を行い、目，鼻，口夫々の候補点を抽出し、各部の候
補点の中から目，鼻，口の位置関係を満足するものを抽
出して、目，鼻，口夫々の位置を決定する。
部を有しており、画像メモリ１２に格納されている顔画
像の濃淡正規化処理を行った後、ＲＯＭ１３からロード
したテンプレートを用いて上記顔画像を走査して相関演
算を行い、目，鼻，口夫々の候補点を抽出し、各部の候
補点の中から目，鼻，口の位置関係を満足するものを抽
出して、目，鼻，口夫々の位置を決定する。
【００１１】図４及び図５は画像処理回路が実行する目
検出処理のフローチャートを示す。この処理はイグニッ
ションオン時、及び目のトラッキングを失敗したときに
実行される。同図中、ステップＳ１０ではＲＯＭ１３か
ら図３（Ａ），（Ｂ），（Ｃ）夫々に示す３２×１６画
素の左目の目テンプレート、３２×１６画素の鼻テンプ
レート、６４×１６画素の口テンプレート夫々をロード
する。次にステップＳ１２でＲＯＭ１３から図３（Ｄ）
に示す如き目の位置を原点（０，０）とした鼻，口夫々
の基準座標（Ｘｎ，Ｙｎ），（Ｘｍ，Ｙｍ）をロードす
る。
検出処理のフローチャートを示す。この処理はイグニッ
ションオン時、及び目のトラッキングを失敗したときに
実行される。同図中、ステップＳ１０ではＲＯＭ１３か
ら図３（Ａ），（Ｂ），（Ｃ）夫々に示す３２×１６画
素の左目の目テンプレート、３２×１６画素の鼻テンプ
レート、６４×１６画素の口テンプレート夫々をロード
する。次にステップＳ１２でＲＯＭ１３から図３（Ｄ）
に示す如き目の位置を原点（０，０）とした鼻，口夫々
の基準座標（Ｘｎ，Ｙｎ），（Ｘｍ，Ｙｍ）をロードす
る。
【００１２】次に、ステップＳ１４で図６に示す如き５
１２×５１２画素の顔画像を入力し、図３（Ａ），
（Ｂ），（Ｃ）夫々に示す目テンプレート、鼻テンプレ
ート、口テンプレート夫々で顔画像を走査して相関演算
を行い、図７に示す目の相関分布、図８に示す鼻の相関
分布、図９に示す口の相関分布夫々を算出する。ここで
は、顔画像上の座標（ｘ，ｙ）での相関分布γ（ｘ，
ｙ）は次式で計算する。
１２×５１２画素の顔画像を入力し、図３（Ａ），
（Ｂ），（Ｃ）夫々に示す目テンプレート、鼻テンプレ
ート、口テンプレート夫々で顔画像を走査して相関演算
を行い、図７に示す目の相関分布、図８に示す鼻の相関
分布、図９に示す口の相関分布夫々を算出する。ここで
は、顔画像上の座標（ｘ，ｙ）での相関分布γ（ｘ，
ｙ）は次式で計算する。
【００１３】
【数１】
【００１４】但し、Ｉ（ｘ，ｙ）は顔画像上の座標
（ｘ，ｙ）の濃度値であり、０＜ｘ＜ωｘ，０＜ｙ＜ω
ｙ，ωｘ，ωｙ夫々はテンプレートの横方向，縦方向夫
々の画素数である。また、Ｔ（ｘ’，ｙ’）はテンプレ
ートブロック上での座標（ｘ’，ｙ’）の濃度値であ
る。図７，図８，図９夫々では相関分布値が小さい（相
関度が高い）部分を暗く、相関分布値が大きい（相関度
が低い）部分を明るく表示している。つまり、暗いほど
相関度が高い。
（ｘ，ｙ）の濃度値であり、０＜ｘ＜ωｘ，０＜ｙ＜ω
ｙ，ωｘ，ωｙ夫々はテンプレートの横方向，縦方向夫
々の画素数である。また、Ｔ（ｘ’，ｙ’）はテンプレ
ートブロック上での座標（ｘ’，ｙ’）の濃度値であ
る。図７，図８，図９夫々では相関分布値が小さい（相
関度が高い）部分を暗く、相関分布値が大きい（相関度
が低い）部分を明るく表示している。つまり、暗いほど
相関度が高い。
【００１５】次にステップＳ１８では図７，図８，図９
夫々の目，鼻，口の相関分布について候補点を抽出し
て、目，鼻，口夫々毎に番号付けを行う。ここで、候補
点は次の（２）式から（６）式を全て満足する点であ
る。 γ（ｘ，ｙ）＜ＴＨＲ …(2) γ（ｘ−１，ｙ）−γ（ｘ，ｙ）＞ＴＨＲ’ …(3) γ（ｘ＋１，ｙ）−γ（ｘ，ｙ）＞ＴＨＲ’ …(4) γ（ｘ，ｙ−１）−γ（ｘ，ｙ）＞ＴＨＲ’ …(5) γ（ｘ，ｙ＋１）−γ（ｘ，ｙ）＞ＴＨＲ’ …(6) 但し、ＴＨＲは相関分布の閾値、ＴＨＲ’は相関分布の
差分の閾値である。つまり、相関分布値が閾値ＴＨＲ未
満で、隣接画素に対する相関分布値の差分が閾値ＴＨ
Ｒ’を超える点、即ち、図７，図８，図９で際立って暗
い点を目，鼻，口夫々の候補点とする。
夫々の目，鼻，口の相関分布について候補点を抽出し
て、目，鼻，口夫々毎に番号付けを行う。ここで、候補
点は次の（２）式から（６）式を全て満足する点であ
る。 γ（ｘ，ｙ）＜ＴＨＲ …(2) γ（ｘ−１，ｙ）−γ（ｘ，ｙ）＞ＴＨＲ’ …(3) γ（ｘ＋１，ｙ）−γ（ｘ，ｙ）＞ＴＨＲ’ …(4) γ（ｘ，ｙ−１）−γ（ｘ，ｙ）＞ＴＨＲ’ …(5) γ（ｘ，ｙ＋１）−γ（ｘ，ｙ）＞ＴＨＲ’ …(6) 但し、ＴＨＲは相関分布の閾値、ＴＨＲ’は相関分布の
差分の閾値である。つまり、相関分布値が閾値ＴＨＲ未
満で、隣接画素に対する相関分布値の差分が閾値ＴＨ
Ｒ’を超える点、即ち、図７，図８，図９で際立って暗
い点を目，鼻，口夫々の候補点とする。
【００１６】なお、目，鼻に対する相関分布の閾値を１
００００としたとき、その差分の閾値は２００程度とす
る。また、口は目，鼻に比べて像のコントラストが低
く、かつ個人差が大きいため，口に対する相関分布の閾
値を５０００とし、その差分の閾値は１００とする。更
に、鼻は目、口のように開閉動作がないため、鼻に対す
る相関分布の閾値を目の閾値より高めに設定しても良
い。
００００としたとき、その差分の閾値は２００程度とす
る。また、口は目，鼻に比べて像のコントラストが低
く、かつ個人差が大きいため，口に対する相関分布の閾
値を５０００とし、その差分の閾値は１００とする。更
に、鼻は目、口のように開閉動作がないため、鼻に対す
る相関分布の閾値を目の閾値より高めに設定しても良
い。
【００１７】これによって図７に矢印で示す目の候補点
ｅ１〜ｅ１０、図８に矢印で示す鼻の候補点ｎ１〜ｎ１
０、図９に矢印で示す口の候補点ｍ１〜ｍ９が抽出され
る。上記のステップＳ１６，Ｓ１８が相関演算手段Ｍ２
に対応する。このように、顔のいくつかの特徴である
目，鼻，口夫々で像のコントラストの大小や個人差の大
小に応じて、各特徴点に最適の閾値を設定でき、特徴点
の抽出精度を向上できる。
ｅ１〜ｅ１０、図８に矢印で示す鼻の候補点ｎ１〜ｎ１
０、図９に矢印で示す口の候補点ｍ１〜ｍ９が抽出され
る。上記のステップＳ１６，Ｓ１８が相関演算手段Ｍ２
に対応する。このように、顔のいくつかの特徴である
目，鼻，口夫々で像のコントラストの大小や個人差の大
小に応じて、各特徴点に最適の閾値を設定でき、特徴点
の抽出精度を向上できる。
【００１８】この後、ステップＳ２０で目発見候補数ｎ
ｓを０にリセットし、ステップＳ２２で目候補カウンタ
ｉｅを０にリセットし、ステップＳ２４で鼻候補カウン
タｉｎを０にリセットし、ステップＳ２６で口候補カウ
ンタｉｍを０にリセットする。
ｓを０にリセットし、ステップＳ２２で目候補カウンタ
ｉｅを０にリセットし、ステップＳ２４で鼻候補カウン
タｉｎを０にリセットし、ステップＳ２６で口候補カウ
ンタｉｍを０にリセットする。
【００１９】次のステップＳ２８では、１又は複数の目
の候補点、１又は複数の鼻の候補点、１又は複数の候補
点について目，鼻，口の候補点を１つずつ選択した全て
の組合わせを作り、各組合わせ毎に目の候補点に図３
（Ｄ）の目の位置を重ね合わせたときの、鼻の基準座標
（Ｘｎ，Ｙｎ）に対する鼻の候補点の誤差Ｅｎ、及び口
の基準座標（Ｘｍ，Ｙｍ）に対する口の候補点の誤差Ｅ
ｍを（７）〜（９）式により算出する。但し、カメラか
ら顔までの距離によって目の候補点と鼻，口夫々の候補
点との間隔が異なるので、目の候補点と鼻の候補点との
Ｘ方向の間隔を図３（Ｄ）の目と鼻のＸ方向の間隔と一
致するよう正規化しており、このために係数ｇを用い
る。
の候補点、１又は複数の鼻の候補点、１又は複数の候補
点について目，鼻，口の候補点を１つずつ選択した全て
の組合わせを作り、各組合わせ毎に目の候補点に図３
（Ｄ）の目の位置を重ね合わせたときの、鼻の基準座標
（Ｘｎ，Ｙｎ）に対する鼻の候補点の誤差Ｅｎ、及び口
の基準座標（Ｘｍ，Ｙｍ）に対する口の候補点の誤差Ｅ
ｍを（７）〜（９）式により算出する。但し、カメラか
ら顔までの距離によって目の候補点と鼻，口夫々の候補
点との間隔が異なるので、目の候補点と鼻の候補点との
Ｘ方向の間隔を図３（Ｄ）の目と鼻のＸ方向の間隔と一
致するよう正規化しており、このために係数ｇを用い
る。
【００２０】 ｇ＝Ｘｎ／〔ｘｎ（ｉｎ）−ｘｅ（ｉｅ）〕 …(7) Ｅｎ＝〔｛Ｘｎ−ｇ・（ｘｎ（ｉｎ）−ｘｅ（ｉｅ））｝2 ＋｛Ｙｎ−ｇ・（ｙｎ（ｉｎ）−ｙｅ（ｉｅ）｝2 〕1/2 …(8) Ｅｍ＝〔｛Ｘｍ−ｇ・（ｘｍ（ｉｍ）−ｘｅ（ｉｅ））｝2 ＋｛Ｙｍ−ｇ・（ｙｍ（ｉｍ）−ｙｅ（ｉｅ）｝2 〕1/2 …(9) 但し、ｘｅ（ｉｅ），ｙｎ（ｉｅ）はｉｅ番目の目の候
補点の顔画像上のｘ，ｙ座標、ｘｎ（ｉｎ），ｙｎ（ｉ
ｎ）はｉｎ番目の鼻の候補点のｘ，ｙ座標、ｘｍ（ｉ
ｍ），ｙｍ（ｉｍ）はｉｍ番目の口の候補点のｘ，ｙ座
標である。
補点の顔画像上のｘ，ｙ座標、ｘｎ（ｉｎ），ｙｎ（ｉ
ｎ）はｉｎ番目の鼻の候補点のｘ，ｙ座標、ｘｍ（ｉ
ｍ），ｙｍ（ｉｍ）はｉｍ番目の口の候補点のｘ，ｙ座
標である。
【００２１】次に、ステップＳ３０で誤差Ｅｎが所定の
閾値ＴＨＥ未満、かつ誤差Ｅｍが閾値ＴＨＥ未満か、否
かを判別する。Ｅｎ，Ｅｍが共に閾値ＴＨＥ未満であれ
ば、有力な目の候補点とみなし、図５のステップＳ３２
に進んで目の候補点ｅｉのｘ，ｙ座標と誤差Ｅｎ＋Ｅｍ
とを記憶し、ステップＳ３４で目発見候補数ｎｓを１だ
けインクリメントしてステップＳ３６に進む。
閾値ＴＨＥ未満、かつ誤差Ｅｍが閾値ＴＨＥ未満か、否
かを判別する。Ｅｎ，Ｅｍが共に閾値ＴＨＥ未満であれ
ば、有力な目の候補点とみなし、図５のステップＳ３２
に進んで目の候補点ｅｉのｘ，ｙ座標と誤差Ｅｎ＋Ｅｍ
とを記憶し、ステップＳ３４で目発見候補数ｎｓを１だ
けインクリメントしてステップＳ３６に進む。
【００２２】またステップＳ３０でＥｎ≧ＴＨＥ又はＥ
ｍ≧ＴＨＥの場合は、この候補点の組合わせが図３
（Ｄ）の位置関係に合わないとして候補点を変更するた
めにステップＳ３６に進む。ステップＳ３６では口候補
カウンタｉｍを１だけインクリメントし、ステップＳ３
８でｉｍの値が口候補点の総数Ｎｍ未満か否かを判別
し、ｉｍ＜Ｎｍ未満であればステップＳ２８に進んで処
理を続ける。またｉｍ≧ＮｍであればステップＳ４０で
鼻候補カウンタｉｎを１だけインクリメントしてステッ
プＳ４２でｉｎの値が鼻候補点の総数Ｎｎ未満か否かを
判別し、ｉｎ＜ＮｎであればステップＳ２６に進んで口
候補カウンタｉｍを０にリセットする。
ｍ≧ＴＨＥの場合は、この候補点の組合わせが図３
（Ｄ）の位置関係に合わないとして候補点を変更するた
めにステップＳ３６に進む。ステップＳ３６では口候補
カウンタｉｍを１だけインクリメントし、ステップＳ３
８でｉｍの値が口候補点の総数Ｎｍ未満か否かを判別
し、ｉｍ＜Ｎｍ未満であればステップＳ２８に進んで処
理を続ける。またｉｍ≧ＮｍであればステップＳ４０で
鼻候補カウンタｉｎを１だけインクリメントしてステッ
プＳ４２でｉｎの値が鼻候補点の総数Ｎｎ未満か否かを
判別し、ｉｎ＜ＮｎであればステップＳ２６に進んで口
候補カウンタｉｍを０にリセットする。
【００２３】また、ｉｎ≧Ｎｎの場合はステップＳ４４
で目候補カウンタｉｅを１だけインクリメントしてステ
ップＳ４６でｉｅの値が目候補点の総数Ｎｅ未満か否か
を判別し、ｉｅ＜Ｎｅ未満であればステップＳ２４に進
んで鼻候補カウンタｉｎを０にリセット、ｉｅ≧Ｎｅで
あればステップＳ４８に進む。これによってステップＳ
４８に進む時点では目，鼻，口の候補の全ての組合わせ
についてステップＳ２８，Ｓ３０が実行される。
で目候補カウンタｉｅを１だけインクリメントしてステ
ップＳ４６でｉｅの値が目候補点の総数Ｎｅ未満か否か
を判別し、ｉｅ＜Ｎｅ未満であればステップＳ２４に進
んで鼻候補カウンタｉｎを０にリセット、ｉｅ≧Ｎｅで
あればステップＳ４８に進む。これによってステップＳ
４８に進む時点では目，鼻，口の候補の全ての組合わせ
についてステップＳ２８，Ｓ３０が実行される。
【００２４】ステップＳ４８では目発見候補数ｎｓが０
か否かを判別する。ｎｓ＝０であれば図３（Ｄ）の位置
関係を満足する目，鼻，口の候補点がなかった、つまり
目の有力な候補点がなかったため、目の検出ができなか
ったとしてステップＳ１４に進み、顔画像を再度入力し
て、上記の処理を繰り返す。ｎｓ＞１であればステップ
Ｓ５０に進んで目発見候補数ｎｓで表わされる有力な候
補のうち誤差Ｅｎ＋Ｅｍが最小である目の候補点を目と
して認識し、ステップＳ５２で、この目候補点の座標を
次のトラッキング処理に渡し、目の検出を行って処理を
終了する。上記のステップＳ２０〜Ｓ５０が位置関係比
較手段Ｍ３に対応する。
か否かを判別する。ｎｓ＝０であれば図３（Ｄ）の位置
関係を満足する目，鼻，口の候補点がなかった、つまり
目の有力な候補点がなかったため、目の検出ができなか
ったとしてステップＳ１４に進み、顔画像を再度入力し
て、上記の処理を繰り返す。ｎｓ＞１であればステップ
Ｓ５０に進んで目発見候補数ｎｓで表わされる有力な候
補のうち誤差Ｅｎ＋Ｅｍが最小である目の候補点を目と
して認識し、ステップＳ５２で、この目候補点の座標を
次のトラッキング処理に渡し、目の検出を行って処理を
終了する。上記のステップＳ２０〜Ｓ５０が位置関係比
較手段Ｍ３に対応する。
【００２５】このように、目，鼻，口夫々で複数の候補
点が許されるので特徴点の見落としがなくなり、各特徴
点の位置関係と相似な位置関係の候補点の組合わせを見
付けることから顔画像の特徴点である目，鼻，口を誤り
なく検出することができる。
点が許されるので特徴点の見落としがなくなり、各特徴
点の位置関係と相似な位置関係の候補点の組合わせを見
付けることから顔画像の特徴点である目，鼻，口を誤り
なく検出することができる。
【００２６】
【発明の効果】上述の如く、請求項１に記載の発明は被
験者の顔を撮像して顔画像を得る撮像手段と、予め用意
されている顔の複数の特徴点にそれぞれ対応する複数の
テンプレートを用いて上記顔画像を走査して相関演算を
行い、相関度が所定の閾値を超えたとき各特徴点の候補
点とする相関演算手段と、上記各特徴点の候補点の組合
わせのうち、予め用意されている上記顔の複数の特徴点
の位置関係と相似な位置関係となる候補点の組合わせを
見付けることにより上記顔画像における特徴点を検出す
る位置関係比較手段とを有するため、複数の特徴点夫々
で複数の候補点が許されるので特徴点の見落しがなくな
り、各特徴点の位置関係と相似な位置関係の候補点の組
合わせから誤りなく顔画像の特徴点を検出することでき
る。
験者の顔を撮像して顔画像を得る撮像手段と、予め用意
されている顔の複数の特徴点にそれぞれ対応する複数の
テンプレートを用いて上記顔画像を走査して相関演算を
行い、相関度が所定の閾値を超えたとき各特徴点の候補
点とする相関演算手段と、上記各特徴点の候補点の組合
わせのうち、予め用意されている上記顔の複数の特徴点
の位置関係と相似な位置関係となる候補点の組合わせを
見付けることにより上記顔画像における特徴点を検出す
る位置関係比較手段とを有するため、複数の特徴点夫々
で複数の候補点が許されるので特徴点の見落しがなくな
り、各特徴点の位置関係と相似な位置関係の候補点の組
合わせから誤りなく顔画像の特徴点を検出することでき
る。
【００２７】また、請求項２に記載の発明は、請求項１
記載の顔面検出装置において、前記相関演算手段は、複
数の特徴点毎に相関度の閾値を異ならしめるため、顔の
いくつかの特徴点のうち、像のコントラストの大小や個
人差の大小に応じて、各特徴点に最適の閾値を設定で
き、特徴点の抽出精度を向上でき、実用上きわめて有用
である。
記載の顔面検出装置において、前記相関演算手段は、複
数の特徴点毎に相関度の閾値を異ならしめるため、顔の
いくつかの特徴点のうち、像のコントラストの大小や個
人差の大小に応じて、各特徴点に最適の閾値を設定で
き、特徴点の抽出精度を向上でき、実用上きわめて有用
である。
【図１】本発明の原理図である。
【図２】本発明のブロック図である。
【図３】テンプレート及び目鼻口の位置関係を示す図で
ある。
ある。
【図４】目検出処理のフローチャートである。
【図５】目検出処理のフローチャートである。
【図６】顔画像を示す図である。
【図７】目の相関分布を示す図である。
【図８】鼻の相関分布を示す図である。
【図９】口の相関分布を示す図である。
１０ カメラ １１ Ｄ／Ａコンバータ １２ 画像メモリ １３ ＲＯＭ １４ 画像処理回路 Ｍ１ 撮像手段 Ｍ２ 相関演算手段 Ｍ３ 位置関係比較手段
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成７年１２月５日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明のブロック図である。
【図３】テンプレート及び目鼻口の位置関係を示す図で
ある。
ある。
【図４】目検出処理のフローチャートである。
【図５】目検出処理のフローチャートである。
【図６】ディスプレイ上に表示させた場合の顔画像を示
す写真である。
す写真である。
【図７】ディスプレイ上に表示させた場合の目の相関分
布を示す写真である。
布を示す写真である。
【図８】ディスプレイ上に表示させた場合の鼻の相関分
布を示す写真である。
布を示す写真である。
【図９】ディスプレイ上に表示させた場合の口の相関分
布を示す写真である。
布を示す写真である。
【符号の説明】 １０ カメラ １１ Ｄ／Ａコンバータ １２ 画像メモリ １３ ＲＯＭ １４ 画像処理回路 Ｍ１ 撮像手段 Ｍ２ 相関演算手段 Ｍ３ 位置関係比較手段
Claims (2)
- 【請求項１】 被験者の顔を撮像して顔画像を得る撮像
手段と、 予め用意されている顔の複数の特徴点にそれぞれ対応す
る複数のテンプレートを用いて上記顔画像を走査して相
関演算を行い、相関度が所定の閾値を超えたとき各特徴
点の候補点とする相関演算手段と、 上記各特徴点の候補点の組合わせのうち、予め用意され
ている上記顔の複数の特徴点の位置関係と相似な位置関
係となる候補点の組合わせを見付けることにより上記顔
画像における特徴点を検出する位置関係比較手段とを有
することを特徴とする顔面検出装置。 - 【請求項２】 請求項１記載の顔面検出装置において、 前記相関演算手段は、複数の特徴点毎に相関度の閾値を
異ならしめたことを特徴とする顔面検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7196806A JPH0944676A (ja) | 1995-08-01 | 1995-08-01 | 顔面検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7196806A JPH0944676A (ja) | 1995-08-01 | 1995-08-01 | 顔面検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0944676A true JPH0944676A (ja) | 1997-02-14 |
Family
ID=16363965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7196806A Pending JPH0944676A (ja) | 1995-08-01 | 1995-08-01 | 顔面検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0944676A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000132693A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JP2002288670A (ja) * | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
| WO2005008593A1 (ja) | 2003-07-18 | 2005-01-27 | Canon Kabushiki Kaisha | 画像処理装置、撮像装置、画像処理方法 |
| JP2007158829A (ja) * | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | 画像処理装置、画像処理方法およびプログラム |
| JP2008003749A (ja) * | 2006-06-21 | 2008-01-10 | Fujifilm Corp | 特徴点検出装置および方法並びにプログラム |
| US7577297B2 (en) | 2002-12-16 | 2009-08-18 | Canon Kabushiki Kaisha | Pattern identification method, device thereof, and program thereof |
| US8594430B2 (en) | 2006-04-08 | 2013-11-26 | The University Of Manchester | Method of locating features of an object |
| WO2014156430A1 (ja) * | 2013-03-26 | 2014-10-02 | 富士フイルム株式会社 | 真贋判定システム，特徴点登録装置およびその動作制御方法，ならびに照合判定装置およびその動作制御方法 |
| CN106710145A (zh) * | 2016-12-29 | 2017-05-24 | 清华大学苏州汽车研究院（吴江） | 一种引导式驾驶员困倦预防方法 |
-
1995
- 1995-08-01 JP JP7196806A patent/JPH0944676A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000132693A (ja) * | 1998-10-27 | 2000-05-12 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
| JP2002288670A (ja) * | 2001-03-22 | 2002-10-04 | Honda Motor Co Ltd | 顔画像を使用した個人認証装置 |
| US7577297B2 (en) | 2002-12-16 | 2009-08-18 | Canon Kabushiki Kaisha | Pattern identification method, device thereof, and program thereof |
| US8942436B2 (en) | 2003-07-18 | 2015-01-27 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| WO2005008593A1 (ja) | 2003-07-18 | 2005-01-27 | Canon Kabushiki Kaisha | 画像処理装置、撮像装置、画像処理方法 |
| EP3358501A1 (en) | 2003-07-18 | 2018-08-08 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| US8515136B2 (en) | 2003-07-18 | 2013-08-20 | Canon Kabushiki Kaisha | Image processing device, image device, image processing method |
| EP2955662A1 (en) | 2003-07-18 | 2015-12-16 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| JP2007158829A (ja) * | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | 画像処理装置、画像処理方法およびプログラム |
| US7999846B2 (en) | 2005-12-06 | 2011-08-16 | Hitachi Kokusai Electric Inc. | Image processing apparatus, image processing system, and recording medium for programs therefor |
| US8594430B2 (en) | 2006-04-08 | 2013-11-26 | The University Of Manchester | Method of locating features of an object |
| JP2008003749A (ja) * | 2006-06-21 | 2008-01-10 | Fujifilm Corp | 特徴点検出装置および方法並びにプログラム |
| JP2014191361A (ja) * | 2013-03-26 | 2014-10-06 | Fujifilm Corp | 真贋判定システム，特徴点登録装置およびその動作制御方法，ならびに照合判定装置およびその動作制御方法 |
| WO2014156430A1 (ja) * | 2013-03-26 | 2014-10-02 | 富士フイルム株式会社 | 真贋判定システム，特徴点登録装置およびその動作制御方法，ならびに照合判定装置およびその動作制御方法 |
| US10083371B2 (en) | 2013-03-26 | 2018-09-25 | Fujifilm Corporation | Authenticity determination system, feature point registration apparatus and method of controlling operation of same, and matching determination apparatus and method of controlling operation of same |
| CN106710145A (zh) * | 2016-12-29 | 2017-05-24 | 清华大学苏州汽车研究院（吴江） | 一种引导式驾驶员困倦预防方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3987264B2 (ja) | ナンバープレート読取装置及び方法 | |
| CN100369066C (zh) | 特征区域提取装置和特征区域提取方法 | |
| JP4604439B2 (ja) | 画像処理装置及び画像処理方法、並びに記録媒体 | |
| US6968094B1 (en) | Method of estimating and correcting camera rotation with vanishing point location | |
| US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
| US20110075933A1 (en) | Method for determining frontal face pose | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| JP2000339457A (ja) | 顔画像処理装置 | |
| JP2002063567A (ja) | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 | |
| JP2003157499A (ja) | 道路白線認識装置 | |
| JPH0944676A (ja) | 顔面検出装置 | |
| JP2021033510A (ja) | 運転支援装置 | |
| JP2011165170A (ja) | 対象物検出装置及びプログラム | |
| JP2002133413A (ja) | 画像処理を用いる３次元物体の識別方法および装置 | |
| US6650362B1 (en) | Movement detecting apparatus with feature point extractor based on luminance gradient in current frame | |
| JP4767052B2 (ja) | 光軸ずれ検出装置 | |
| JP2981382B2 (ja) | パターンマッチング方法 | |
| CN118314179A (zh) | Ai双目拼接相机上的错切实时检测方法、装置及设备 | |
| WO2000049569A1 (fr) | Procede servant a extraire les caracteristiques d'une image binaire | |
| JPH09128548A (ja) | 車両検出方法 | |
| JPH11190611A (ja) | ３次元計測方法およびその方法を用いた３次元計測処理装置 | |
| JP2004199200A (ja) | パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム | |
| JP2002008028A (ja) | パターンマッチング方法と装置 | |
| JP3216356B2 (ja) | ナンバープレート位置検出装置 | |
| JP2516844B2 (ja) | 部品検出方法及び装置 |