JP7367637B2 - 顔情報取得装置および顔情報取得方法 - Google Patents

顔情報取得装置および顔情報取得方法 Download PDF

Info

Publication number
JP7367637B2
JP7367637B2 JP2020142607A JP2020142607A JP7367637B2 JP 7367637 B2 JP7367637 B2 JP 7367637B2 JP 2020142607 A JP2020142607 A JP 2020142607A JP 2020142607 A JP2020142607 A JP 2020142607A JP 7367637 B2 JP7367637 B2 JP 7367637B2
Authority
JP
Japan
Prior art keywords
driver
facial
face
information
information acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020142607A
Other languages
English (en)
Other versions
JP2022038225A (ja
Inventor
覚 谷口
俊一郎 澤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020142607A priority Critical patent/JP7367637B2/ja
Priority to US17/406,311 priority patent/US12153731B2/en
Priority to CN202110952306.7A priority patent/CN114103961B/zh
Publication of JP2022038225A publication Critical patent/JP2022038225A/ja
Application granted granted Critical
Publication of JP7367637B2 publication Critical patent/JP7367637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、車両の運転者の顔情報を取得する顔情報取得装置および顔情報取得方法に関する。
車両の車室内に設置されたドライバモニタカメラにより取得された運転者の顔画像に基づいて運転者の感情を推定する技術が知られている。車両の走行制御装置は、推定された運転者の感情に応じて車両の挙動を変更することができる。
運転者の感情を適切に推定するためには、所定の方向に視線を向けた運転者の顔画像を取得することが好ましい。特許文献１には、表示部の外縁近傍に設けられた撮影部の近傍に、人物の視線を誘導するための表示情報が表示されたタイミングで撮影部により取得された画像に撮像されている人物の顔の認識する顔認識システムが記載されている。
特開２０１４－１７８９２０号公報
車室内に設置されたドライバモニタカメラで運転者が所定の方向に視線を向けた顔画像を取得するためにディスプレイに所定の情報を表示して視線を誘導することは、運転者にとって煩わしく、好ましくない。
本発明は、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる顔情報取得装置を提供することを目的とする。
本発明にかかる顔情報取得装置は、車両の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得する挙動取得部と、運転者から情報の入力を受け付ける入力欄を有する画面を車両に搭載された表示部に表示させる入力画面表示部と、複数の顔画像のうち画面が表示部に表示されている間に生成された顔画像から、顔情報を補正するための補正情報を取得する補正情報取得部と、を備える。
本発明にかかる顔情報取得装置において、入力画面表示部は、入力欄が表示部の一端および他端に配置される画面を表示部に表示させ、補正情報取得部は、表示部の一端に配置された入力欄が運転者からの情報の入力を受け付けている間に生成された顔画像から第１の補正情報を取得し、表示部の他端に配置された入力欄が運転者からの情報の入力を受け付けている間に生成された顔画像から第２の補正情報を取得することが好ましい。
本発明にかかる顔情報取得装置において、顔情報は、運転者の視線方向を表す情報であり、補正情報は、運転者の右目の視線方向と左目の視線方向との差異を表す情報であることが好ましい。
本発明にかかる顔情報取得装置において、顔情報は、運転者の視線方向を表す情報であり、補正情報は、運転者の目の３次元位置を表す情報であることが好ましい。
本発明にかかる顔情報取得装置において、顔情報は、運転者の表情を表す情報であり、補正情報は、運転者の無表情時の表情を表す情報であることが好ましい。
本発明にかかる顔情報取得方法は、車両の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得し、運転者から情報の入力を受付ける入力欄を有する画面を車両に搭載された表示部に表示させ、複数の顔画像のうち画面が表示部に表示されている間に生成された顔画像から、顔情報を補正するための補正情報を取得する、ことを含む。
本発明にかかる顔情報取得装置によれば、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる。
顔情報取得装置が実装される車両の概略構成図である。 顔情報取得装置のハードウェア模式図である。 顔情報取得装置が有するプロセッサの機能ブロック図である。 顔画像の撮影の例を示す図である。 表示部における表示の例を示す図である。 顔情報取得処理のフローチャートである。
以下、図面を参照して、車両の運転者に煩わしさを感じさせないように運転者の顔情報を取得することができる顔情報取得装置について詳細に説明する。顔情報取得装置は、車車両の運転者の顔を撮影した複数の顔画像のそれぞれから、運転者の顔の挙動を表す顔画像を取得する。また、顔情報取得装置は、運転者からの情報の入力を受け付ける入力欄を有する画面を、車両に搭載された表示部に表示させる。そして、顔情報取得装置は、複数の顔画像のうち入力欄を有する画面が表示部に表示されている間に生成された顔画像から、顔画像を補正するための補正情報を取得する。
図１は、顔情報取得装置が実装される車両の概略構成図である。
車両１は、ドライバモニタカメラ２と、タッチパネルディスプレイ３と、メーターディスプレイ４と、顔情報取得装置５とを有する。ドライバモニタカメラ２およびタッチパネルディスプレイ３と顔情報取得装置５とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
ドライバモニタカメラ２は、運転者の顔を表す顔画像を取得するためのセンサの一例である。ドライバモニタカメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ２は、赤外光を発する光源を有する。ドライバモニタカメラ２は、例えば車室内の前方上部に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った顔画像を出力する。
タッチパネルディスプレイ３は、表示部の一例であり、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスを有し、顔情報取得装置５から受信した表示用のデータを表示する。また、タッチパネルディスプレイ３は、表示デバイスに重畳された、例えば静電容量式のタッチセンサといった入力デバイスを有し、運転者のタッチパネルディスプレイ３に対する操作に応じた座標情報を顔情報取得装置５に送信する。タッチパネルディスプレイ３は、走行経路の検索における目的地、現在位置の周辺でのスポット検索におけるスポット種別、車室空調の設定条件といった各種情報の入力を受け付けるための入力欄を有する画面を表示デバイスに表示する。また、タッチパネルディスプレイ３は、入力欄への運転者からの情報の入力を入力デバイスにより受け付ける。タッチパネルディスプレイ３は、例えば車室内のインストルメンタルパネル中央近傍に設置される。
メーターディスプレイ４は、例えば液晶ディスプレイまたは有機ＥＬディスプレイといった表示デバイスを有し、不図示の車両制御装置から受信した、走行速度、走行距離、各種警告といった走行関連情報を表示する。また、メーターディスプレイ４は、車両１のロゴマークなど運転者の視線を誘導するための画像情報を表示してもよい。メーターディスプレイ４は、インストルメンタルパネルにおける運転者が着座する運転席の前方に設置される。
顔情報取得装置５は、通信インタフェースと、メモリと、プロセッサとを有するＥＣＵ（Electronic Control Unit）である。顔情報取得装置５は、タッチパネルディスプレイ３に入力欄を有する画面を表示させるとともに、ドライバモニタカメラ２が撮影した顔画像を用いて顔情報取得処理を実行する。
図２は、顔情報取得装置５のハードウェア模式図である。顔情報取得装置５は、通信インタフェース５１と、メモリ５２と、プロセッサ５３とを備える。
通信インタフェース５１は、通信部の一例であり、顔情報取得装置５を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース５１は、受信したデータをプロセッサ５３に供給する。また、通信インタフェース５１は、プロセッサ５３から供給されたデータを外部に出力する。
メモリ５２は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ５２は、プロセッサ５３による処理に用いられる各種データ、例えば顔画像から顔情報および補正情報を取得するための演算パラメータ、タッチパネルディスプレイ３およびメーターディスプレイ４の３次元位置を表す位置情報等を保存する。また、メモリ５２は、各種アプリケーションプログラム、例えば顔情報取得処理を実行する顔情報取得プログラム等を保存する。
プロセッサ５３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ５３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。
図３は、顔情報取得装置５が有するプロセッサ５３の機能ブロック図である。
顔情報取得装置５のプロセッサ５３は、機能ブロックとして、挙動取得部５３１と、入力画面表示部５３２と、補正情報取得部５３３とを有する。プロセッサ５３が有するこれらの各部は、プロセッサ５３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ５３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして顔情報取得装置５に実装されてもよい。
挙動取得部５３１は、ドライバモニタカメラ２により生成された複数の顔画像を、通信インタフェース５１を介して受信する。挙動取得部５３１は、受信した複数の顔画像のそれぞれから、運転者の顔情報を取得する。
図４は、顔画像の撮影の例を示す図である。
車両１の車室内で、運転者Ｄは前方に配置されたタッチパネルディスプレイ３に視線を向ける。運転者Ｄの視線方向には、ステアリングホイールＳＷが配置されていてもよい。ドライバモニタカメラ２は、運転者Ｄの顔が表された顔画像を撮影する。
挙動取得部５３１は、例えば運転者の視線方向を表す情報を、運転者の顔の挙動を表す顔情報として取得する。視線方向は、車両１の進行方向と運転者の視線との間の水平方向または鉛直方向の角度により表される。
挙動取得部５３１は、取得した顔画像を、瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、挙動取得部５３１は、瞳孔と角膜反射像との位置関係に基づいて、視線方向を検出する。
識別器は、例えば、入力側から出力側に向けて直列に接続された複数の層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め瞳孔および角膜反射像を含む顔画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは瞳孔および角膜反射像の位置を特定する識別器として動作する。
挙動取得部５３１は、顔画像を識別器に入力することにより、運転者の目における目頭および虹彩の位置を特定し、目頭と虹彩との位置関係に基づいて視線方向を検出してもよい。この場合、ドライバモニタカメラ２は、夜間の車室内の環境下においても運転者の顔が写った画像を適切に出力可能な、高感度可視光センサを有していてもよい。
また、顔情報は、運転者の表情を表す情報であってもよい。運転者の表情は、顔画像から検出される複数の顔動作単位における顔特徴量により表される。挙動取得部５３１は、顔画像を、目尻や口角といった複数の顔動作単位の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる顔動作単位の位置を特定する。そして、挙動取得部５３１は、特定された顔動作単位の位置と、各顔動作単位の所定の基準位置とを比較することにより、顔特徴量を検出する。基準位置は、例えば標準的な顔モデルにおける各顔動作単位の位置であってよく、また、運転者の顔画像から検出された各顔動作単位の位置の平均値であってもよい。
また、顔情報は、運転者の顔向きであってもよい。運転者の顔向きは、車室内の３次元空間における運転者の頭部のピッチ、ヨーおよびロールのうち１つ以上の角度により表される。挙動取得部５３１は、取得した顔画像を、目尻、目頭、口角点といった顔の所定部位の位置を検出するよう学習された識別器に入力することにより、顔画像に含まれる所定部位の位置を特定する。そして、挙動取得部５３１は、顔画像から検出された所定部位の位置を、標準的な顔の３次元モデルと照合する。そして、各部位の位置が顔画像から検出された部位の位置と最も適合する際の３次元モデルにおける顔向きを、顔画像における顔向きとして検出する。
入力画面表示部５３２は、運転者による情報入力の要求があるか否かを判定し、要求があると判定された場合、運転者による情報入力を受け付ける入力欄を有する画面をタッチパネルディスプレイ３に表示させる。入力画面表示部５３２は、プロセッサ５３により実行される他のプログラムから、運転者による情報入力の要求を受け付けた場合、情報入力の要求があると判定する。また、入力画面表示部５３２は、車内ネットワークに接続された他のＥＣＵなどの情報処理装置（不図示）から、通信インタフェース５１を介して運転者による情報入力を要求する信号を受信した場合、情報入力の要求があると判定する。
図５は、タッチパネルディスプレイ３における表示の例を示す図である。
図５は、運転席に着座した運転者からの車室内前方の視界を模式的に示している。タッチパネルディスプレイ３は、車室内の左右方向の中央近傍（図５における左側）に配置される。メーターディスプレイ４は、ステアリングホイールＳＷの設置された運転席の直前（図５における右側）に配置される。
タッチパネルディスプレイ３には、入力欄３ａおよび３ｂを有する画面が表示されている。入力欄３ａはタッチパネルディスプレイ３の一端（左上）に配置される。入力欄３ａは、例えばタッチパネルディスプレイ３への運転者の操作に応じた文字が表示される欄である。また、入力欄３ｂはタッチパネルディスプレイ３の他端（右下）に配置される。入力欄３ｂは、例えば入力欄３ａに表示された文字を入力文字として確定させる操作を受け付ける確定ボタンである。
メーターディスプレイ４には、運転者の視線を誘導するためのロゴマーク４ａが表示されている。なお、タッチパネルディスプレイ３における入力欄３ａ、３ｂおよびメーターディスプレイ４におけるロゴマーク４ａは、同時に表示されている必要はなく、異なる時刻にこれらのうちいずれかが表示される。また、タッチパネルディスプレイ３またはメーターディスプレイ４にこれらのいずれも表示されない時刻があってもよい。例えば、入力欄３ａ、３ｂは、運転者からの情報入力の要求があると判定されたときに表示される。また、ロゴマーク４ａは車両１のイグニッションをオンにした後の所定時間（例えば５秒間）表示される。
補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、入力欄を有する画面がタッチパネルディスプレイ３に表示されている間に撮影された顔画像から補正情報を取得する。補正情報は、顔情報を補正するための情報である。
補正情報取得部５３３は、顔画像を瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、補正情報取得部５３３は、左右のそれぞれの目における瞳孔と角膜反射像との位置関係に基づいて、運転者の右目の視線方向と左目の視線方向との差異を、補正情報として検出する。運転者の右目の視線方向と左目の視線方向との差異を表す補正情報は、挙動取得部５３１により取得された運転者の視線方向である顔情報を補正するために用いることができる。
また、補正情報取得部５３３は、タッチパネルディスプレイ３において入力欄３ａが表示される位置を通り、タッチパネルディスプレイ３の一端に入力欄３ａが表示されたときに取得された顔画像から検出される視線方向に延びる直線を特定してもよい。このとき、補正情報取得部５３３は、タッチパネルディスプレイ３において入力欄３ｂが表示される位置を通り、タッチパネルディスプレイ３の一端に入力欄３ｂが表示されたときに取得された顔画像から検出される視線方向に延びる直線をあわせて特定する。そして、補正情報取得部５３３は、これらの直線の交点を求めることにより、運転者の目の３次元位置を、補正情報として検出する。運転者の目の３次元位置を表す補正情報は、挙動取得部５３１により取得された運転者の視線方向である顔情報を補正するために用いることができる。
また、補正情報取得部５３３は、顔画像を、目尻や口角といった複数の顔動作単位の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる顔動作単位の位置を、無表情時の顔動作単位の位置を表す補正情報として検出してもよい。無表情時の顔動作単位の位置を表す補正情報は、挙動取得部５３１により取得された顔特徴量である顔情報を補正するために用いることができる。
また、補正情報取得部５３３は、顔画像を瞳孔および光源の角膜反射像の位置を検出するように予め学習された識別器に入力することにより、顔画像に含まれる運転者の目における瞳孔および角膜反射像の位置を特定する。そして、補正情報取得部５３３は、左右のそれぞれの目における瞳孔と角膜反射像との位置関係に基づいて、運転者の視線方向を、補正情報として検出してもよい。運転者の視線方向を表す補正情報は、挙動取得部５３１により取得された運転者の顔向きである顔情報を補正するために用いることができる。
補正情報取得部５３３が取得する補正情報は、運転者の顔の目、鼻、口といった部位の大きさを表す情報、運転者の顔の特徴点の左右の非対称性を表す情報、運転者の左右の瞳または虹彩の３次元中心位置を表す情報であってもよい。
補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、入力欄を有する画面がタッチパネルディスプレイ３に表示され、かつ、タッチパネルディスプレイ３が運転者からの入力を受け付けている間に生成された顔画像から、補正情報を取得してもよい。補正情報取得部５３３は、ドライバモニタカメラ２から受信した顔画像のうち、タッチパネルディスプレイ３が入力欄３ａへの運転者からの入力を受け付けている間に生成された顔画像から第１の補正情報を取得し、タッチパネルディスプレイ３が入力欄３ｂへの運転者からの入力を受け付けている間に生成された顔画像から第２の補正情報を取得してもよい。
また、補正情報取得部５３３は、タッチパネルディスプレイ３が同じ入力欄への運転者からの入力を受け付けている間に撮影された複数の顔画像から補正情報を取得してもよい。
図４は、顔情報取得処理のフローチャートである。顔情報取得装置５のプロセッサ５３は、車両１が走行を行う間、顔情報取得処理を所定の周期で繰り返し実行する。
まず、挙動取得部５３１は、車両１の運転者の顔を撮影した複数の顔画像のそれぞれから運転者の顔の挙動を表す顔情報を取得する（ステップＳ１）。
次に、入力画面表示部５３２は、運転者からの情報入力の要求があるか否かを判定する（ステップＳ２）。運転者からの情報入力の要求がないと判定された場合（ステップＳ２：Ｎ）、プロセッサ５３は顔情報取得処理を終了する。
運転者からの情報入力の要求があると判定された場合（ステップＳ２：Ｙ）、入力画面表示部５３２は、タッチパネルディスプレイ３に、運転者からの情報入力を受け付ける入力欄を有する画面を表示する（ステップＳ３）。
続いて、補正情報取得部５３３は、複数の顔画像のうち入力欄を有する画面がタッチパネルディスプレイ３に表示されている間に撮影された顔画像から、顔情報を補正するための補正情報を取得し（ステップＳ４）、顔情報取得処理を終了する。
当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
１ 車両
５ 顔情報取得装置
５３１ 挙動取得部
５３２ 入力画面表示部
５３３ 補正情報取得部

Claims (3)

  1. 車両の運転者の顔を撮影した複数の顔画像のそれぞれから前記運転者の顔の挙動を表す顔情報を取得する挙動取得部と、
    前記運転者から情報の入力を受け付ける入力欄を有する画面を前記車両に搭載された表示部に表示させる入力画面表示部と、
    前記複数の顔画像のうち前記画面が前記表示部に表示されている間に生成された顔画像から、前記顔情報を補正するための補正情報を取得する補正情報取得部と、
    を備え、
    前記補正情報は、前記表示部の一端の第１の位置を通り、前記第１の位置に入力欄を有する画面が表示されている間に生成された第１の顔画像から検出される第１の視線方向に延びる直線と、前記表示部の他端の第２の位置を通り、前記第２の位置に入力欄を有する画面が表示されている間に生成された第２の顔画像から検出される第２の視線方向に延びる直線との交点として求められる、前記運転者の目の３次元位置を表す情報である顔情報取得装置。
  2. 前記顔情報は、前記運転者の視線方向を表す情報である、請求項１に記載の顔情報取得装置。
  3. 車両の運転者の顔を撮影した複数の顔画像のそれぞれから前記運転者の顔の挙動を表す顔情報を取得し、
    前記運転者から情報の入力を受付ける入力欄を有する画面を前記車両に搭載された表示部に表示させ、
    前記複数の顔画像のうち前記画面が前記表示部に表示されている間に生成された顔画像から、前記顔情報を補正するための補正情報を取得する、
    ことを含み、
    前記補正情報は、前記表示部の一端の第１の位置を通り、前記第１の位置に入力欄を有する画面が表示されている間に生成された第１の顔画像から検出される第１の視線方向に延びる直線と、前記表示部の他端の第２の位置を通り、前記第２の位置に入力欄を有する画面が表示されている間に生成された第２の顔画像から検出される第２の視線方向に延びる直線との交点として求められる、前記運転者の目の３次元位置を表す情報である顔情報取得方法。
JP2020142607A 2020-08-26 2020-08-26 顔情報取得装置および顔情報取得方法 Active JP7367637B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020142607A JP7367637B2 (ja) 2020-08-26 2020-08-26 顔情報取得装置および顔情報取得方法
US17/406,311 US12153731B2 (en) 2020-08-26 2021-08-19 Apparatus and method for obtaining facial information
CN202110952306.7A CN114103961B (zh) 2020-08-26 2021-08-19 面部信息获取装置以及面部信息获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020142607A JP7367637B2 (ja) 2020-08-26 2020-08-26 顔情報取得装置および顔情報取得方法

Publications (2)

Publication Number Publication Date
JP2022038225A JP2022038225A (ja) 2022-03-10
JP7367637B2 true JP7367637B2 (ja) 2023-10-24

Family

ID=80358563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020142607A Active JP7367637B2 (ja) 2020-08-26 2020-08-26 顔情報取得装置および顔情報取得方法

Country Status (3)

Country Link
US (1) US12153731B2 (ja)
JP (1) JP7367637B2 (ja)
CN (1) CN114103961B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7509157B2 (ja) * 2022-01-18 2024-07-02 トヨタ自動車株式会社 ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法
US12026306B2 (en) * 2022-07-28 2024-07-02 Rivian Ip Holdings, Llc Systems and methods for displaying information on a driver's display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013125307A (ja) 2011-12-13 2013-06-24 Panasonic Corp 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
WO2015125243A1 (ja) 2014-02-19 2015-08-27 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
WO2016139850A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259931A (ja) 2006-03-27 2007-10-11 Honda Motor Co Ltd 視線検出装置
US11151610B2 (en) * 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US9693684B2 (en) * 2013-02-14 2017-07-04 Facebook, Inc. Systems and methods of eye tracking calibration
JP2014178920A (ja) 2013-03-15 2014-09-25 Oki Electric Ind Co Ltd 顔認識システム及び顔認識方法
US9189095B2 (en) * 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US10108260B2 (en) * 2016-04-01 2018-10-23 Lg Electronics Inc. Vehicle control apparatus and method thereof
US12094224B2 (en) * 2016-07-01 2024-09-17 Eyesight Mobile Technologies Ltd. System and method for driver monitoring
US11237391B2 (en) * 2017-04-06 2022-02-01 Lg Electronics Inc. Head-up display device for vehicle
JP6693489B2 (ja) * 2017-11-15 2020-05-13 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013125307A (ja) 2011-12-13 2013-06-24 Panasonic Corp 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
WO2015125243A1 (ja) 2014-02-19 2015-08-27 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
WO2016139850A1 (ja) 2015-03-05 2016-09-09 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
CN114103961B (zh) 2023-12-12
CN114103961A (zh) 2022-03-01
US20220066551A1 (en) 2022-03-03
US12153731B2 (en) 2024-11-26
JP2022038225A (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
US10311735B2 (en) Vehicle display system and method of controlling vehicle display system
US11455810B2 (en) Driver attention state estimation
JP5230748B2 (ja) 視線方向判定装置及び視線方向判定方法
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
CN108621940A (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP6669182B2 (ja) 乗員監視装置
JPWO2013008305A1 (ja) 瞼検出装置
US11919522B2 (en) Apparatus and method for determining state
JP7367637B2 (ja) 顔情報取得装置および顔情報取得方法
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
KR20150067679A (ko) 차량용 제스처 인식 시스템 및 그 방법
US12423998B2 (en) Apparatus, method, and computer program for determining driver's behavior
JP2016170688A (ja) 運転支援装置及び運転支援システム
CN113879321B (zh) 驾驶员监视装置及驾驶员监视方法
US12594953B2 (en) Driver monitor, method, and computer program for monitoring driver
US12511780B2 (en) Device, method, and computer program for estimating seat position
CN114103991A (zh) 行驶控制装置以及行驶控制方法
US12541982B2 (en) Line of sight estimating device, storage medium for storing computer program for line of sight estimation, and line of sight estimating method
JP7301256B2 (ja) 顔向き判定装置および顔向き判定方法
JP2017199264A (ja) 運転支援装置
CN116246255B (zh) 手区域检测装置、手区域检测方法以及计算机可读存储介质
US20250046052A1 (en) Image recognition device and image recognition method
JP2023061474A (ja) 視線検出装置、視線検出システム、及び視線検出方法
JP2023085085A (ja) 覚醒度判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R151 Written notification of patent or utility model registration

Ref document number: 7367637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151