JP2021007717A - 乗員観察装置、乗員観察方法、及びプログラム - Google Patents

Abstract

【課題】精度良く乗員が居眠りしているかを判定することができる乗員観察装置、乗員観察方法、及びプログラムを提供すること。【解決手段】乗員観察装置は、車両の乗員の頭部を撮像し、画像を生成する撮像部と、前記撮像部により生成された前記画像に基づいて、前記乗員の眼の開閉度合いを示す指標値を導出する指標値導出部と、前記乗員の頭部の傾きの、覚醒時を基準とした変化度合いを推定する傾き推定部と、前記指標値導出部によって導出された前記指標値と、前記傾き推定部によって検出された前記変化度合いとの双方に基づく判定の結果に基づいて、前記乗員が居眠りしているか否かを判定する判定部と、を備える。【選択図】図１

Description

本発明は、乗員観察装置、乗員観察方法、及びプログラムに関する。

従来、車両の乗員が居眠りしていることを装置によって判定する仕組みについて研究が進められている。乗員が居眠りしていること判定するために重要な要素として、眼の状態が挙げられる。従って、カメラによって乗員を撮像し、画像を解析して眼の状態を観察する装置の実用化が進められている（例えば、特許文献１参照）。

特開平６−２６６９８１号公報

ここで、乗員の眠気は眼以外の場所にも現れる場合がある。しかしながら、従来の技術では、眼の状態以外の要素に基づいて、乗員が居眠りしているかを判定することまではできなかった。

本発明は、このような事情を考慮してなされたものであり、精度良く乗員が居眠りしているかを判定することができる乗員観察装置、乗員観察方法、及びプログラムを提供することを目的の一つとする。

この発明に係る乗員観察装置、乗員観察方法、及びプログラムは、以下の構成を採用した。
（１）この発明の一態様の乗員観察装置は、車両の乗員の頭部を撮像し、画像を生成する撮像部と、前記撮像部により生成された前記画像に基づいて、前記乗員の眼の開閉度合いを示す指標値を導出する指標値導出部と、前記乗員の頭部の傾きの、覚醒時を基準とした変化度合いを推定する傾き推定部と、前記指標値導出部によって導出された前記指標値と、前記傾き推定部によって検出された前記変化度合いとの双方に基づく判定の結果に基づいて、前記乗員が居眠りしているか否かを判定する判定部と、を備えるものである。

（２）の態様は、上記（１）の態様に係る乗員観察装置が、前記撮像部により生成された前記画像に基づいて、前記乗員の眼の輪郭の一部を少なくとも検出する眼検出部を更に備え、前記指標値導出部は、前記眼検出部により検出された輪郭における複数の特徴点の位置関係に基づいて、前記指標値を導出するものである。

（３）の態様は、上記（１）または（２）の態様に係る乗員観察装置において、前記判定部は、前記指標値が、開眼度合いが第１閾値未満であることを示し、または閉眼度合いが第２閾値以上であることを示す状態が第１所定時間以上継続した場合に、前記乗員が居眠りしていると判定するものである。

（４）の態様は、上記（１）から（３）のいずれかの態様に係る乗員観察装置において、前記判定部は、前記変化度合いが第３閾値以上傾いている状態が第２所定時間以上継続した場合に、前記乗員が居眠りしていると判定するものである。

（５）この発明の他の態様の乗員観察方法は、コンピュータが、車両の乗員の頭部を撮像して画像を生成し、生成された前記画像に基づいて、前記乗員の眼の開閉度合いを示す指標値を導出し、前記乗員の頭部の傾きの、覚醒時を基準とした変化度合いを推定し、導出された前記指標値と、推定された前記変化度合いとの双方に基づく判定の結果に基づいて、前記乗員が居眠りしているか否かを判定するものである。

（６）この発明の他の態様のプログラムは、コンピュータに、車両の乗員の頭部を撮像して画像を生成し、生成された前記画像に基づいて、前記乗員の眼の開閉度合いを示す指標値を導出し、前記乗員の頭部の傾きの、覚醒時を基準とした変化度合いを推定し、導出された前記指標値と、推定された前記変化度合いとの双方に基づく判定の結果に基づいて、前記乗員が居眠りしているか否かを判定するものである。

（１）〜（６）によれば、精度良く乗員が居眠りしているかを判定することができる。

（３）〜（４）によれば、より精度良く乗員が居眠りしているかを判定することができる。

乗員観察装置１の構成と使用環境の一例を示す図である。 撮像部１０の設置される位置を例示した図である。 眼検出部２２による処理の内容を模式的に示す図である。 開眼率導出部２４の処理について説明するための図（その１）である。 開眼率導出部２４の処理について説明するための図（その２）である。 傾き推定部２６による処理の内容を模式的に示す図である。 画像処理装置２０により実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の乗員観察装置、乗員観察方法、及びプログラムの実施形態について説明する。

＜実施形態＞
図１は、乗員観察装置１の構成と使用環境の一例を示す図である。乗員観察装置１は、例えば、撮像部１０と、画像処理装置２０とを備える。画像処理装置２０は、例えば、眼検出部２２と、開眼率導出部２４と、傾き推定部２６と、判定部２８とを備える。乗員観察装置１は、例えば、車両の乗員の状態が居眠りしているかを判定し、判定結果を各種車載装置１００に出力する。乗員は、少なくとも運転者を含み、助手席乗員を含んでもよい。各種車載装置１００は、運転支援装置、自動運転制御装置、エージェント装置、その他の装置であり、乗員観察装置１は、各種車載装置１００の種類や目的に応じた乗員の状態を推定して出力する。

図２は、撮像部１０の設置される位置を例示した図である。撮像部１０は、例えば、車両のインストルメントパネルの中央部に設置され、車両の乗員の少なくとも頭部を撮像し、画像を生成する。撮像部１０は、ステアリングホイールＳＷが設けられた運転席ＤＳ（着座位置の一例）と、助手席ＡＳ（着座位置の他の一例）とのいずれに対しても、それらに正対する位置から横方向にオフセットした位置に設置される。このため、撮像部１０が生成した画像は、横方向に関して、斜めから乗員の頭部を撮像して生成された画像となる。換言すると、撮像部１０の光軸上には乗員の少なくとも頭部が存在しない状況となる。

図１に戻り、画像処理装置２０の各部について説明する。画像処理装置２０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

眼検出部２２の機能について、一例として、エッジを抽出した後に眼を検出する手法について説明する。眼検出部２２は、例えば、まず撮像部１０によって生成された画像（以下、撮像画像と称する）において、エッジを抽出する。エッジとは、自身の周辺の画素との画素値の差が基準よりも大きい画素（或いは画素群）、すなわち特徴的な画素である。眼検出部２２は、例えば、ＳＯＢＥＬフィルタなどのエッジ抽出フィルタを用いて、エッジを抽出する。なお、ＳＯＢＥＬフィルタを用いるのは単なる一例であり、眼検出部２２は、他のフィルタ、或いはアルゴリズムに基づいてエッジを抽出してもよい。

眼検出部２２は、例えば、撮像画像において抽出されたエッジの分布に基づいて、撮像画像における少なくとも乗員の眼の一部を検出する。このとき、眼検出部２２は、乗員の眼のうち撮像部１０に近い方の眼を検出対象とする。撮像部１０に近い方の眼とは、運転席ＤＳに着座した乗員であれば左眼であり、助手席ＡＳに着座した乗員であれば右目である。眼検出部２２は、エッジを抽出するのではなく、ディープラーニングなどの機械学習手法により生成された学習済みモデルに撮像画像を入力することで、眼の一部（或いは後述する特徴点）を直接的に検出するようにしてもよい。

図３は、眼検出部２２による処理の内容を模式的に示す図である。図中、ＩＭは撮像画像にエッジＥＧを重畳させた画像を表している。また、本図では専ら運転席ＤＳに着座した乗員に着目している。眼検出部２２は、まず、図３の上図に示すように、エッジＥＧに対して楕円や卵型などのモデルをフィッティングすることで、顔の輪郭ＣＴを抽出する。次に、眼検出部２２は、図３の中図に示すように、顔の輪郭ＣＴを基準として鼻検出ウインドウＮＭを設定し、鼻検出ウインドウＮＭの中で、エッジが明確に抽出されやすい部位である鼻梁ＢＮの位置を検出する。次に、眼検出部２２は、図３の下図に示すように、鼻梁ＢＮの位置を基準として、乗員の左眼が存在する筈の鼻梁ＢＮの右側に所定のサイズの眼検出ウインドウＥＷを設定し、眼検出ウインドウＥＷの中で眼の少なくとも一部を検出する。これによって、運転席ＤＳに着座した乗員の左目に重なる位置に眼検出ウインドウＥＷが設定されることになるため、眼検出ウインドウＥＷの中で左目が検出されることになる。なお、「眼の少なくとも一部を検出する」処理の具体例については種々に定義されるが、以下の説明では、「目の輪郭の少なくとも一部を検出する」ものとする。輪郭を検出する際に、眼検出部２２は、例えば、エッジＥＧの分布に曲線モデルをフィッティングすることで、輪郭を検出する。

開眼率導出部２４は、眼検出部２２により検出された眼の輪郭における複数の特徴点の位置関係に基づいて、乗員の眼の開眼率αを導出する。複数の特徴点とは、例えば、眼の輪郭における、横方向に関して撮像部１０に近い側の端部（目尻に相当する）である第１特徴点と、上端部である第２特徴点と、下端部である第３特徴点とを含む。図４は、開眼率導出部２４の処理について説明するための図（その１）である。図中、Ｐ１は第１特徴点、Ｐ２は第２特徴点、Ｐ３は第３特徴点である。開眼率導出部２４は、例えば、眼検出ウインドウＥＷ内で垂直線を眼検出ウインドウＥＷの右端から左に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第１特徴点Ｐ１とする。また、開眼率導出部２４は、例えば、眼検出ウインドウＥＷ内で水平線を眼検出ウインドウＥＷの上端から下に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第２特徴点Ｐ２とする。また、開眼率導出部２４は、例えば、眼検出ウインドウＥＷ内で水平線を眼検出ウインドウＥＷの下端から上に向かって仮想的に移動させ、最初に眼の輪郭ＥＣＴと交わったときの交点を第３特徴点Ｐ３とする。

そして、開眼率導出部２４は、第１特徴点Ｐ１と第２特徴点Ｐ２とを結ぶ第１直線と、第１特徴点Ｐ１と第３特徴点Ｐ３とを結ぶ第２直線とのなす角度に基づいて、乗員の開眼率αを導出する。図５は、開眼率導出部２４の処理について説明するための図（その２）である。図中、Ｌ１が第１直線であり、Ｌ２が第２直線であり、θ１がそれらのなす角度である。開眼率導出部２４は、例えば、当該乗員が車両に乗り込んでから最初の数分程度の撮像画像に基づいて導出された角度の平均を求めた基準角度θiniを開眼率αの１００［％］と定義し、その後に導出された角度θ１を基準角度θiniで除算して開眼率αを導出する（式（１）参照）。なお、これに限らず、乗員の人物認証が行われる場合、乗員ごとの１００［％］に対応する基準角度をメモリに記憶させ、乗員ごとに基準角度をメモリから読み出して計算に使用してもよい。また、規定値を基準角度θiniに設定してもよいし、最初は規定値を使用し、徐々に乗員の平均的な角度に合わせていくようにしてもよい。

α＝ＭＩＮ｛θ１／θini，１００［％］｝ …（１）

また、これまでの説明では、あくまで画像平面上での角度θ１に基づいて開眼率αを導出するものとしているが、例えば、眼の三次元モデルを用意しておき、顔の輪郭ＣＴと鼻梁ＢＮの関係から推定される顔向き角度に応じて回転させた目のモデルから二次元に写像した後に、上記説明した処理を行うことで、開眼率αの推定精度を向上させることができる。また、開眼率導出部２４は、眼の開閉度合いを示す指標値として、乗員の閉眼率を導出してもよい。この場合、開眼率導出部２４は、１００［％］から開眼率αを差し引いた値を閉眼率βとして導出する。開眼率α、及び閉眼率βは、「眼の開閉度合いを示す指標値」の一例であり、開眼率導出部２４は、「指標値導出部」の一例であり、開眼率αは、「開眼度合い」の一例であり、閉眼率βは、「閉眼度合い」の一例である。

図６は、傾き推定部２６による処理の内容を模式的に示す図である。また、本図では専ら運転席ＤＳに着座した乗員に着目している。まず、傾き推定部２６は、眼検出部２２の処理過程の一部を利用し、図６の上図に示すように、エッジＥＧに対して楕円や卵型などのモデルをフィッティングすることで、顔の輪郭ＣＴを抽出する。次に、傾き推定部２６は、図６の中図に示すように、眼検出部２２によって検出された左眼と右眼とを結ぶ仮想的な第１線分ＣＬ１の中点から、抽出した顔の輪郭ＣＴの弧の中点（つまり、顎の位置）までを結ぶ第２線分ＣＬ２の位置を検出する。上記に代えて、傾き推定部２６は、ディープラーニングなどの機械学習手法により生成された学習済みモデルに撮像画像を入力することで、第２線分ＣＬ２を直接的に検出するようにしてもよい。

そして、傾き推定部２６は、図６の下図に示すように、所定線分ＣＬ２ｄを基準とした第２線分ＣＬ２の変化度合いを推定する。所定線分ＣＬ２ｄは、乗員の覚醒時において検出されたものである。所定線分ＣＬ２ｄは、第２線分ＣＬ２が覚醒時に比してどれくらい傾いているかを評価する基準として用いられる。所定線分ＣＬ２ｄは、例えば、乗員が車両に乗車するタイミングに検出される。検出された所定線分ＣＬ２ｄを示す情報は、例えば、乗員観察装置１が備える記憶部（不図示）に記憶（更新）される。傾き推定部２６は、例えば、第２線分ＣＬ２と、所定線分ＣＬ２ｄとの下方の端部とを重ね合わせた際の第２線分ＣＬ２と所定線分ＣＬ２ｄのなす角度θ２を、所定線分ＣＬ２ｄを基準とした第２線分ＣＬ２の変化度合いとして推定する。

なお、これまでの説明では、あくまで画像平面上での角度θ２に基づいて変化度合いを導出するものとしているが、例えば、第２線分ＣＬ２に係る三次元モデルを用意しておき、顔の輪郭ＣＴと鼻梁ＢＮの関係から推定される顔向き角度に応じて回転させた第２線分ＣＬ２のモデルから二次元に写像した後に、上記説明した処理を行うことで、変化度合いの推定精度を向上させることができる。

判定部２８は、例えば、開眼率導出部２４により導出された開眼率αと、傾き推定部２６により推定された角度θ２とに基づいて、乗員が居眠りしているかを判定し、各種車載装置１００に出力する。例えば、判定部２８は、開眼率αが小さくなるほど乗員の眠気が強いと判定し、開眼率αが第１閾値Ｔｈ１未満である場合に、乗員の眠気が強い、或いは乗員が居眠りしていると判定する。また、判定部２８は、閉眼率βが大きくなるほど乗員の眠気が強いと判定し、閉眼率βが第２閾値Ｔｈ２以上である場合に、乗員の眠気が強い、或いは乗員が居眠りしていると判定する。例えば、第１閾値Ｔｈ１は、乗員が居眠りしていない状態と、居眠りしている状態とを識別可能な開眼率αを示す値であり、第２閾値Ｔｈ２は、乗員が居眠りしていない状態と、居眠りしている状態とを識別可能な閉眼率βを示す値である。

また、判定部２８は、角度θ２が大きくなるほど乗員の眠気が強いと判定し、角度θ２が第３閾値Ｔｈ３以上である場合に、乗員の眠気が強い、或いは乗員が居眠りしていると判定する。第３閾値Ｔｈ３は、乗員が居眠りしていない状態と、居眠りしている状態とを識別可能な角度θ２を示す値である。

なお、第１閾値Ｔｈ１、第２閾値Ｔｈ２、及び第３閾値Ｔｈ３は、予め値が定められていてもよく、車両に乗車した乗員毎に決定されてもよく、撮像部１０によって生成された画像を用いたディープラーニングにより学習された学習モデルを用いて導出されてもよい。

また、判定部２８は、開眼率αが第１閾値Ｔｈ１未満である状態が第１所定時間以上継続した場合、又は閉眼率βが第２閾値Ｔｈ２以上である状態が第１所定時間以上継続した場合に乗員が居眠りしていると判定する。また、判定部２８は、角度θ２が第３閾値Ｔｈ３以上である状態が第２所定時間以上継続した場合に乗員が居眠りしていると判定する。

［動作フロー］
図７は、画像処理装置２０により実行される処理の流れの一例を示すフローチャートである。まず、画像処理装置２０は、撮像部１０により生成された画像を取得する（ステップＳ１００）。次に、眼検出部２２は、取得された画像においてエッジを抽出する（ステップＳ１０２）。

眼検出部２２は、撮像画像において抽出されたエッジの分布に基づいて、撮像画像における少なくとも乗員の眼の一部を検出する（ステップＳ１０４）。開眼率導出部２４は、眼検出部２２により検出された眼の輪郭における複数の特徴点の位置関係に基づいて、乗員の眼の開眼率αを導出する（ステップＳ１０６）。なお、開眼率導出部２４は、複数の特徴点の位置関係に基づいて、乗員の眼の閉眼率βを導出してもよい。

判定部２８は、開眼率導出部２４によって導出された開眼率αが第１閾値Ｔｈ１未満であるか否か、又は閉眼率βが第２閾値Ｔｈ２以上であるか否かを判定する（ステップＳ１０８）。判定部２８は、開眼率αが第１閾値Ｔｈ１以上である、又は閉眼率βが第２閾値Ｔｈ２未満であると判定した場合、乗員が眠気を感じていないものとして処理を終了する。判定部２８は、開眼率αが第１閾値Ｔｈ１未満である、又は閉眼率βが第２閾値Ｔｈ２以上であると判定した場合、乗員が眠気を感じているものとし、更に、開眼率αが第１閾値Ｔｈ１未満である状態、又は閉眼率βが第２閾値Ｔｈ２以上である状態が第１所定時間以上継続したか否かを判定する（ステップＳ１１０）。判定部２８は、開眼率αが第１閾値Ｔｈ１未満である状態、又は閉眼率βが第２閾値Ｔｈ２以上である状態が第１所定時間以上継続したと判定した場合、処理をステップＳ１２０に進め、乗員が居眠りしていると判定する（ステップＳ１２０）。

傾き推定部２６は、判定部２８によって乗員が眠気を感じているものの、開眼率αが第１閾値Ｔｈ１未満である状態、又は閉眼率βが第２閾値Ｔｈ２以上である状態が第１所定時間以上継続していないと判定された場合、眼検出部２２によって抽出されたエッジＥＧに基づいて、第２線分ＣＬ２の位置を検出する（ステップＳ１１２）。傾き推定部２６は、所定線分ＣＬ２ｄを基準とした第２線分ＣＬ２の変化度合い（つまり、角度θ２）を推定する（ステップＳ１１４）。

判定部２８は、傾き推定部２６によって推定された角度θ２が第３閾値Ｔｈ３以上であるか否かを判定する（ステップＳ１１６）。判定部２８は、角度θ２が第３閾値Ｔｈ３未満であると判定した場合、乗員が眠気を感じていないものとして処理を終了する。判定部２８は、角度θ２が第３閾値Ｔｈ３以上であると判定した場合、乗員が眠気を感じているものとし、更に、角度θ２が第３閾値Ｔｈ３以上である状態が第２所定時間以上継続したか否かを判定する（ステップＳ１１８）。

判定部２８は、乗員が眠気を感じていると判定したものの、開眼率αが第１閾値Ｔｈ１未満である状態、又は閉眼率βが第２閾値Ｔｈ２以上である状態が第１所定時間以上継続しなかった場合と、角度θ２が第３閾値Ｔｈ３以上である状態が第２所定時間以上継続しなかった場合には、乗員が居眠りしていないものとして処理を終了する。判定部２８は、角度θ２が第３閾値Ｔｈ３以上である状態が第２所定時間以上継続したと判定した場合、乗員が居眠りしていると判定する（ステップＳ１２０）。

なお、上述では、画像処理装置２０が、まず開眼率α、又は閉眼率βに係る判定処理（ステップＳ１０４〜Ｓ１１０の処理）を行った後、角度θ２に係る判定処理（ステップＳ１１２〜Ｓ１１８の処理）を行う場合について説明したが、これに限られない。画像処理装置２０は、例えば、開眼率α、又は閉眼率βに係る判定処理と、角度θ２に係る判定処理とを並行して行ってもよく、角度θ２に係る判定処理を行った後、開眼率α、又は閉眼率βに係る判定処理を行ってもよい。

以上説明したように、本実施形態の乗員観察装置１によれば、眼検出部２２、及び開眼率導出部２４の処理によって導出された眼の開閉度合いを示す指標値と、傾き推定部２６によって推定された乗員の頭部の傾きの、覚醒時を基準とした変化度合いとの双方に基づく判定の結果に基づいて、どちらか１つの指標を用いるよりも精度良く乗員が居眠りしているかを判定することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…乗員観察装置、１０…撮像部、２０…画像処理装置、２２…眼検出部、２４…開眼率導出部、２６…推定部、２８…判定部、１００…各種車載装置、ＢＮ…鼻梁、ＣＬ１…第１線分、ＣＬ２…第２線分、ＣＬ２ｄ…所定線分、ＣＴ…顔の輪郭、ＥＣＴ…目の輪郭、ＥＧ…エッジ、ＥＷ…眼検出ウインドウ、ＮＭ…鼻検出ウインドウ、Ｔｈ１…第１閾値、Ｔｈ２…第２閾値、Ｔｈ３…第３閾値、α…開眼率、β…閉眼率、θ１…角度、θ２…角度、θｉｎｉ…基準角度

Claims (6)

1. 車両の乗員の頭部を撮像し、画像を生成する撮像部と、
   前記撮像部により生成された前記画像に基づいて、前記乗員の眼の開閉度合いを示す指標値を導出する指標値導出部と、
   前記乗員の頭部の傾きの、覚醒時を基準とした変化度合いを推定する傾き推定部と、
   前記指標値導出部によって導出された前記指標値と、前記傾き推定部によって検出された前記変化度合いとの双方に基づく判定の結果に基づいて、前記乗員が居眠りしているか否かを判定する判定部と、
   を備える乗員観察装置。
2. 前記撮像部により生成された前記画像に基づいて、前記乗員の眼の輪郭の一部を少なくとも検出する眼検出部を更に備え、
   前記指標値導出部は、前記眼検出部により検出された輪郭における複数の特徴点の位置関係に基づいて、前記指標値を導出する、
   請求項１に記載の乗員観察装置。
3. 前記判定部は、前記指標値が、開眼度合いが第１閾値未満であることを示し、または閉眼度合いが第２閾値以上であることを示す状態が第１所定時間以上継続した場合に、前記乗員が居眠りしていると判定する、
   請求項１または２に記載の乗員観察装置。
4. 前記判定部は、前記変化度合いが第３閾値以上傾いている状態が第２所定時間以上継続した場合に、前記乗員が居眠りしていると判定する、
   請求項１から３のうちいずれか一項に記載の乗員観察装置。
5. コンピュータが、
   車両の乗員の頭部を撮像して画像を生成し、
   生成された前記画像に基づいて、前記乗員の眼の開閉度合いを示す指標値を導出し、
   前記乗員の頭部の傾きの、覚醒時を基準とした変化度合いを推定し、
   導出された前記指標値と、推定された前記変化度合いとの双方に基づく判定の結果に基づいて、前記乗員が居眠りしているか否かを判定する、
   乗員観察方法。
6. コンピュータに、
   車両の乗員の頭部を撮像して画像を生成し、
   生成された前記画像に基づいて、前記乗員の眼の開閉度合いを示す指標値を導出し、
   前記乗員の頭部の傾きの、覚醒時を基準とした変化度合いを推定し、
   導出された前記指標値と、推定された前記変化度合いとの双方に基づく判定の結果に基づいて、前記乗員が居眠りしているか否かを判定する、
   プログラム。

Images