JP7534076B2 - 車両用制御装置 - Google Patents

車両用制御装置 Download PDF

Info

Publication number
JP7534076B2
JP7534076B2 JP2019164723A JP2019164723A JP7534076B2 JP 7534076 B2 JP7534076 B2 JP 7534076B2 JP 2019164723 A JP2019164723 A JP 2019164723A JP 2019164723 A JP2019164723 A JP 2019164723A JP 7534076 B2 JP7534076 B2 JP 7534076B2
Authority
JP
Japan
Prior art keywords
vehicle
voice
processing unit
input
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019164723A
Other languages
English (en)
Other versions
JP2021041800A (ja
Inventor
克郎 泉名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2019164723A priority Critical patent/JP7534076B2/ja
Priority to CN202010452840.7A priority patent/CN112550219B/zh
Priority to US16/943,091 priority patent/US11783823B2/en
Publication of JP2021041800A publication Critical patent/JP2021041800A/ja
Application granted granted Critical
Publication of JP7534076B2 publication Critical patent/JP7534076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B60R25/257—Voice recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両用制御装置に関する。
車両用の制御装置として、話者の音声を認識し、車両に搭載された機器の操作制御を行う装置が種々提案されている。例えば、特許文献１には、制御用に発せられた音声を認識し、音声の認識結果に基づいて自動車の負荷設備を制御する制御装置であって、運転に必要な動作を制御する設備は運転者の音声のみを認識して制御し、その他の設備の制御は運転者及びその他の者の音声を認識して制御するようにした自動車用音声制御装置が開示されている。
また、特許文献２には、車両の運転者の音声を認識し、認識結果に基づいて車載機器のうちの操作対象機器に対する操作入力の受け付けを許可する状態として、車両のステアリングホイールを含む領域を撮影した画像に基づいてステアリングホイールの周方向における手の動きを認識し、認識結果に応じた制御指示を操作対象機器に通知する車両用入力装置が開示されている。
特開昭６０－０４５４４８号公報 特開２０１７－１５９６９２号公報
しかしながら、特許文献１及び特許文献２に開示された装置では、例えば運転者が発病するなどして運転操作不能な状態になったときに、運転者以外の乗員が運転操作に関わることができないおそれがある。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、音声入力に基づいて操作制御される機器を搭載した車両の運転操作主体者が操作できない状態又は操作していない状態になった場合に、他の乗員による操作介入が可能な車両用制御装置を提供することにある。
上記課題を解決するために、本発明のある観点によれば、音声入力に基づいて車両の制御を行う車両用制御装置において、車両の操作主体者の音声に基づく車両の運転操作入力を受け付ける入力部と、操作主体者が運転操作できない又は運転操作していない所定の運転不能状態であるか否かを判定する判定部と、を備え、判定部は、音声に、車両の運転操作入力のための言葉として設定された車両の減速又は停止を行うためのものを含む言葉とは異なる、緊急時であることを表す言葉として設定された言葉が含まれている場合に操作主体者が運転不能状態であると判定し、同乗者からの音声入力による車両の運転操作入力の受け付けを許可し、入力部は、操作主体者が運転不能状態であると判定された場合に、車両の加速及び減速を制御するための同乗者の音声に基づく車両の運転操作入力の受け付けを開始し、同乗者の音声に基づく車両の運転操作入力の受け付けを開始した後、受け付けた複数の内容の異なる車両の運転操作入力に順次にしたがって、車両の走行系機器の操作処理を実行する走行系操作処理部に対して操作指令の出力を開始し、受け付けた同乗者の音声に基づく車両の運転操作入力が車両の加速を命じるものであった場合に、車両の駆動源の出力を所定の出力とするための操作指令を出力し、介入解除操作が行われた場合に、同乗者の音声に基づく車両の運転操作入力の受け付けを終了する車両用制御装置が提供される。
上記車両用制御装置において、判定部は、操作主体者の姿勢が異常な状態である場合に、所定の状態であると判定してもよい。
上記車両用制御装置において、判定部は、操作主体者の運転操作が異常な状態である場合に、所定の状態であると判定してもよい。
上記車両用制御装置において、判定部は、乗員が介入操作を行った場合に、所定の状態であると判定してもよい。
上記車両用制御装置において、判定部は、入力された音声に、緊急時であることを表す言葉が含まれている場合に、所定の状態であると判定してもよい。
上記車両用制御装置において、判定部は、操作主体者の生体情報が異常な状態である場合に、所定の状態であると判定してもよい。
上記車両用制御装置において、所定の状態であると判定された場合に、同乗者の音声に基づく操作入力を受け付けることを報知する報知部を備えてもよい。
上記車両用制御装置において、入力部は、同乗者の音声に基づく操作入力の受け付けを開始した後、介入解除操作が行われた場合に、同乗者の音声に基づく操作入力の受け付けを終了してもよい。
以上説明したように本発明によれば、音声入力に基づいて操作制御される機器を搭載した車両の運転操作主体者が操作できない状態又は操作していない状態になった場合に、他の乗員による操作介入が可能になる。
本発明の実施の形態に係る車両用制御装置を搭載した車両の構成例を示す模式図である。 同実施形態に係る車両用制御装置の機能構成を示すブロック図である。 同実施形態に係る車両用制御装置による操作介入判定処理の一例を示すフローチャートである。 同実施形態に係る車両用制御装置による操作主体者が運転不能状態にあるか否かを判定する処理の一例を示すフローチャートである。
以下、添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．車両の全体構成例＞
図１を参照して、本発明の一実施形態に係る車両用制御装置を適用した車両の全体構成例を説明する。図１は、車両用制御装置５０を搭載した車両１の構成例を示す模式図である。
車両用制御装置５０が適用される車両１は、車両１の走行制御に用いられる機器の一部又は全部が音声入力に基づいて制御される車両１として構成されている。以下、本実施形態においては、少なくとも車両１の走行制御のうちの車両１の加減速の制御が、音声入力に基づいて行われる車両１の例を説明する。したがって、以下の実施形態において、車両１の操作主体者とは、ステアリングホイールの回転操作を手動で行い得る、運転席にいる運転者を意味する。
なお、本実施形態においては、前輪駆動用モータ９Ｆ及び後輪駆動用モータ９Ｒの二つの駆動用モータを備えた電動車両１に車両用制御装置５０を適用した例を説明する。ただし、車両は、上記の例に限定されない。
例えば、車両は、一つの駆動用モータによりすべての車輪を駆動する電動車両であってもよく、一つの駆動用モータにより前輪又は後輪のいずれかの車輪を駆動する電動車両であってもよい。また、車両は、各駆動輪にインホイールモータを搭載した電動車両であってもよい。この場合、電動車両は、発電機としてモータを備えた電気自動車であってもよく、発電機として燃料電池を備えた燃料電池車両であってもよい。
さらに、車両は、電動車両に限られるものではなく、駆動源として内燃機関を備えた車両であってもよく、駆動源として内燃機関及び駆動用モータを備えたハイブリッド車両であってもよい。
車両１は、車両１の走行制御に用いられる機器（以下、「走行系機器」ともいう）と、走行制御に直接用いられることのない機器（以下、「非走行系機器」ともいう）とを備える。図１に示すように、車両１は、走行系機器として、前輪駆動用モータ９Ｆ、後輪駆動用モータ９Ｒ、ステアリングシステム２３及びブレーキ装置２５ＬＦ，２５ＲＦ，２５ＬＲ，２５ＲＲ（以下、特に区別することを要しない場合にはブレーキ装置２５と総称する）を備える。
前輪駆動用モータ９Ｆは、図示しないバッテリから供給される電力により駆動し、差動機構７Ｆを介して前輪駆動軸５Ｆにトルクを伝達する。また、前輪駆動用モータ９Ｆは、同じく図示しないバッテリから供給される電力により駆動し、差動機構７Ｒを介して後輪駆動軸５Ｒにトルクを伝達する。前輪駆動用モータ９Ｆ及び後輪駆動用モータ９Ｒは、いずれも車両１の減速時にそれぞれの駆動輪３ＬＦ，３ＲＦ，３ＬＲ，３ＲＲの回転トルクを受けて発電する回生機能を有している。前輪駆動用モータ９Ｆ及び後輪駆動用モータ９Ｒの駆動は、車両用制御装置（以下、単に「制御装置」ともいう）５０により図示しないインバータを制御することにより制御される。
前輪駆動軸５Ｆには、ステアリングシステム２３が設けられ、ステアリングホイールの回転操作にしたがって前輪３ＬＦ，３ＲＦの向きが変更される。
ブレーキ装置２５ＬＦ，２５ＲＦ，２５ＬＲ，２５ＲＲは、それぞれ前後左右の駆動輪３ＬＦ，３ＲＦ，３ＬＲ，３ＲＲに制動力を付与する。ブレーキ装置２５ＬＦ，２５ＲＦ，２５ＬＲ，２５ＲＲは、前輪駆動用モータ９Ｆ及び後輪駆動用モータ９Ｒによる回生ブレーキと併用される。ブレーキ装置２５ＬＦ，２５ＲＦ，２５ＬＲ，２５ＲＲは、油圧式のブレーキ装置であってもよく、電動式のブレーキ装置であってもよい。例えば、油圧式のブレーキ装置の場合、制御装置５０により、それぞれのブレーキ装置２５ＬＦ，２５ＲＦ，２５ＬＲ，２５ＲＲに供給する油圧を制御する液圧ユニットを制御することによりブレーキ力が制御される。
また、車両１は、操作介入スイッチ１１、カメラ１３、マイクロフォン１５ａ，１５ｂ，１５ｃ，１５ｄ（以下、特に区別を要しない場合にはマイクロフォン１５と総称する）及びスピーカ１７ａ，１７ｂ（以下、特に区別を要しない場合にはスピーカ１７と総称する）を備える。
カメラ１３は、車室内を撮像可能に設置される。カメラ１３は、ＣＣＤ（Charged-Coupled Devices）又はＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を備え、画像信号を生成する。カメラ１３は、一つのカメラであってもよく、左右一対のステレオカメラであってもよい。カメラ１３により取得される画像信号は、制御装置５０に出力される。制御装置５０は、カメラ１３から出力される画像信号に基づいて所定の処理を行う。
マイクロフォン１５は、車室内の音又は音声を収集する。本実施形態において、四つのマイクロフォン１５ａ～１５ｄは、圧電方式のマイクロフォンが用いられ、車室内の四箇所のコーナ付近に設置されている。それぞれのマイクロフォン１５ａ～１５ｄは、収音される音又は音声の方向を検知可能に構成されている。マイクロフォン１５により取得された音声信号は、制御装置５０に送信される。制御装置５０は、マイクロフォン１５から送信される音声信号に基づいて所定の処理を行う。
スピーカ１７は、車室内に向けて音又は音声を発生させる。スピーカ１７は、制御装置５０から入力される音声信号に基づいて動作して、音又は音声を発生させる。
操作介入スイッチ１１は、車室内に操作可能に設けられている。操作介入スイッチ１１は、運転席にいる運転者（操作主体者）以外の乗員による、音声入力による車両１の走行制御の入力操作を許可する場合に車室内にいる乗員により操作される。操作介入スイッチ１１のオン又はオフの信号は、制御装置５０に出力される。ただし、意図せず、あるいは、いたずらに操作介入スイッチ１１がオンにされることのないように、操作介入スイッチ１１は、例えば、インストルメントパネル内に設けられていてもよい。
この他、図示しないものの、運転者（操作主体者）が運転不能状態にあるか否かの判定処理に用いる種々のセンサや機器が備えられていてもよい。あるいは、これらのセンサや機器は、操作主体者が身に着けるものであってもよい。例えば、運転者の生体情報を検知するための生体センサが備えられていてもよい。生体センサは、例えば、血圧センサ、温度センサ、心拍数計、心電図センサ、脈拍センサ、脳波センサ等の公知のセンサであってもよい。また、上記の判定処理に用いる機器は、カメラであってもよい。制御装置５０は、これらのセンサや機器の出力に基づいて、操作主体者の血圧、体温、心拍、脈拍、脳波あるいは顔色の異常を検知したり、てんかんや心臓発作等の発病を検知したりしてもよい。
＜２．車両用制御装置の構成例＞
次に、図２を参照して、本実施形態に係る車両用制御装置５０の構成例を説明する。図２は、制御装置５０の機能構成を示すブロック図である。
制御装置５０は、例えば、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等のプロセッサや電気回路、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の記憶素子を備えて構成される。制御装置５０の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、ＣＰＵ等からの指令によって実行されるプログラムモジュール等であってもよい。
制御装置５０は、顔認識処理部５１、音声信号処理部５３、音声方向判定処理部５５、音声認識処理部５７、音声合成処理部５９、話者判定処理部６１、操作介入判定処理部６３、操作入力処理部６５、走行系操作処理部７１及び非走行系操作処理部７３を備える。これらの各部の全部又は一部は、プロセッサによるコンピュータプログラムの実行により実現される機能であってもよい。
顔認識処理部５１は、カメラ１３から出力される画像信号に基づいて、車両１の乗員の顔認識処理を実行する。顔認識処理部５１により実行される顔認識処理は、車室内に存在する乗員の位置を把握するために実行される。顔認識処理部５１は、車室内に存在する人物の顔を認識するだけでなく、どの位置の人物の口が開いているか、つまり、どの位置の人物が話しているかを判定してもよい。なお、顔認識処理の具体的な処理内容は、適宜の公知の手段であってよく、特に限定されない。
音声信号処理部５３は、四つのマイクロフォン１５ａ～１５ｄから送信される音声信号を用いて音声信号処理を実行する。具体的に、音声信号処理部５３は、それぞれのマイクロフォン１５ａ～１５ｄから送信される音声信号に対してフィルタ処理等を施して、音圧、周波数、波形等を演算により求める。なお、音声信号処理の具体的な処理内容は、適宜の公知の手段であってよく、特に限定されない。
音声方向判定処理部５５は、音声信号処理部５３により処理された後の音声データに基づいて、マイクロフォン１５により収集された音声の方向を判定する。例えば、音声方向判定処理部５５は、それぞれのマイクロフォン１５ａ～１５ｄで収集された音声の指向性に基づいて、音声の方向を特定する。なお、音声信号処理の具体的な処理内容は、適宜の公知の手段であってよく、特に限定されない。
音声認識処理部５７は、音声信号処理部５３により処理された後の音声データに基づいて、マイクロフォン１５により収集された音声の内容（発話内容）を認識する。音声認識処理部５７は、発話内容の中から、走行系機器あるいは非走行系機器の操作指示を表す言葉を特定して、これらの機器に対する操作指示を認識する。なお、音声認識処理の具体的な処理内容は、適宜の公知の手段であってよく、特に限定されない。
音声合成処理部５９は、音声認識処理部５７によって認識された操作指示を復唱してスピーカ１７から発声させるために、音声合成処理を実行する。なお、音声合成処理の具体的な処理内容は、適宜の公知の手段であってよく、特に限定されない。
話者判定処理部６１は、顔認識処理部５１の処理結果及び音声方向判定処理部５５の処理結果のうちの少なくとも一方に基づいて、マイクロフォン１５により収集された音声の話者を判定する。具体的に、話者判定処理部６１は、音声方向判定処理部５５の処理の結果により特定される音声の方向と、顔認識処理部５１の処理結果から把握される車室内の乗員の位置とに基づいて、話者が運転者であるか、助手席あるいは後部座席にいる乗員であるかを判別する。話者判定処理部６１は、さらに顔認識処理部５１の処理結果から、どの位置にいる乗員が口を開けているか（話しているか）を認識して、話者を判別してもよい。なお、話者判定処理の具体的な処理内容は、適宜の公知の手段であってよく、特に限定されない。
操作介入判定処理部６３は、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を許可するか否かを判定する。本実施形態において、操作介入判定処理部６３が、本発明の判定部に相当する。具体的に、操作介入判定処理部６３は、運転者（操作主体者）が操作できない又は操作していない所定の状態であるか否かを判定し、当該所定の状態である場合に、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を許可する。本実施形態において、操作介入判定処理部６３は、以下の少なくともいずれかの方法により、運転者が所定の状態（以下、この状態を「運転不能状態」ともいう）であるか否かを判定する。
第１の方法では、操作介入判定処理部６３は、運転者の姿勢が異常な状態である場合に、運転者が運転不能状態にあると判定する。具体的に、操作介入判定処理部６３は、カメラ１３から出力された画像信号を用いて画像処理を行い、運転者の姿勢が、車両１の運転に不適当な状態であるか否かを判別する。車両１の運転に不適当な状態であると判定し得る場合とは、例えば、運転者が所定時間以上顔を下に向けた状態あるいは横を向いた状態となっている場合や、運転者が所定時間以上目を閉じた状態となっている場合、運転者がステアリングホイール上に伏した状態となった場合が挙げられる。これらの条件が成立したと判定し得る所定時間は、安全性を考えて、例えば１～３秒に設定されてもよい。ただし、上記に例示した以外の条件が設定されてもよい。
第２の方法では、操作介入判定処理部６３は、運転者の運転操作が異常な状態である場合に、運転者が運転不能状態にあると判定する。例えば、操作介入判定処理部６３は、ステアリングホイール２１やブレーキペダル、アクセルペダル等の操作量の情報を継続的に読み込み、操作量が異常な状態が所定時間以上続く場合や、操作量の急激な変化が繰り返される場合等に、運転者が運転不能状態にあると判定する。また、操作介入判定処理部６３は、所定時間以上ステアリングホイール２１への入力トルクがゼロであったり、ステアリングホイール２１が回転していない場合にも、運転者が運転不能状態にあると判定してもよい。これらの条件が成立したと判定し得る所定時間は、安全性を考えて、例えば１～３秒に設定されてもよい。ただし、上記に例示した以外の条件が設定されてもよい。
第３の方法では、操作介入判定処理部６３は、いずれかの乗員が介入操作を行った場合に、運転者が運転不能状態にあると判定する。本実施形態において、操作介入判定処理部６３は、操作介入スイッチ１１がオンになっている場合に、運転者以外の同乗者が介入操作を行ったものとして、運転者が運転不能状態にあると判定する。
第４の方法では、操作介入判定処理部６３は、音声に、緊急時であることを表す言葉が含まれている場合に、運転者が運転不能状態にあると判定する。具体的に、操作介入判定処理部６３は、音声認識処理部５７により処理された後の音声データに基づいて、発話内容に緊急時であることを表す言葉が含まれているか否かを判定する。緊急時であることを表す言葉としては、例えば、「緊急」、「非常事態」又は「エスオーエス」等が例示されるが、これ以外にも普段の会話には含まれにくい言葉の中から適切な言葉が設定されていてもよい。
第５の方法では、操作介入判定処理部６３は、運転者の生体情報が異常な状態である場合に、運転者が運転不能状態にあると判定する。具体的に、操作介入判定処理部６３は、血圧センサ、温度センサ、心拍数計又は心電図センサ等の生体センサによって取得される運転者の生体情報が異常値を示している場合に、運転者が運転不能状態にあると判定する。
操作介入判定処理部６３は、上記の第１～第５の方法のいずれか一つ又は組み合わせの条件が成立したときに、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を許可する。操作介入判定処理部６３は、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を許可する場合、報知手段を作動させて、運転者以外の同乗者の音声に基づく操作入力を受け付けることを報知してもよい。この場合、操作介入判定処理部６３が、本発明の報知部に相当する。報知方法は、例えば、スピーカ１７からの警告音あるいは音声であってもよく、表示機器による表示であってもよく、警告灯の点灯であってもよい。
また、操作介入判定処理部６３は、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を許可した後、運転者以外の乗員の操作介入を解除する操作が行われた場合に、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を中止してもよい。操作介入を解除する操作は、例えば、操作介入スイッチ１１がオフにされることであってもよく、操作介入スイッチ１１とは別の解除スイッチがオンにされることであってもよく、操作介入の解除を表す音声入力が乗員によって発せられることであってもよい。
操作入力処理部６５は、音声認識処理部５７による処理結果から特定される発話内容に基づいて、音声に基づく操作入力を受け付ける。操作入力処理部６５は、受け付けた操作入力にしたがって、走行系操作処理部７１に対して操作指令を与える。本実施形態において、操作入力処理部６５が、本発明の入力部に相当する。発話内容と、実行する操作処理内容とは、あらかじめ図示しない記憶部に格納されている。
例えば、発話内容に「加速して」の言葉が含まれている場合、操作入力処理部６５は、前輪駆動用モータ９Ｆ及び後輪駆動用モータ９Ｒのうちの少なくとも一方を所定の出力で力行駆動させる操作入力を受け付ける。また、発話内容に「減速して」、「止まれ」又は「急ブレーキ」の言葉が含まれている場合、操作入力処理部６５は、前輪駆動用モータ９Ｆ及び後輪駆動用モータ９Ｒを所定の出力で回生駆動させる操作入力、若しくは、ブレーキ装置２５を作動させる操作入力の少なくとも一方の入力を受け付ける。このほか、操作入力処理部６５は、あらかじめ設定されたデータを参照して、発話内容に応じた適宜の操作入力を受け付けるように構成されていてもよい。
操作入力処理部６５は、操作介入判定処理部６３により、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を許可すると判定されていない場合には、運転者の音声に基づく操作入力のみを受け付ける。一方、操作入力処理部６５は、操作介入判定処理部６３により、運転者（操作主体者）以外の乗員からの音声入力による車両１の操作制御の入力を許可すると判定されている場合には、操作主体者以外の同乗者の音声に基づく操作入力を受け付けるように構成されている。
つまり、操作入力処理部６５は、運転者が正常な運転操作が可能な状態であると推定される間は、運転者の音声に基づく操作入力のみを受け付けるように構成され、運転者一人の意思による運転操作が行われるようになっている。一方、操作入力処理部６５は、運転者が正常な運転操作が可能な状態でないと推定される場合には、運転者以外の同乗者の音声に基づく操作入力の受け付けを許可するように構成され、同乗者による減速あるいは停止等の緊急対応が可能になっている。
なお、運転者が正常な運転操作が可能な状態でないと推定される場合には、緊急対応に限らず、乗員すべてが運転操作可能としてもよい。この場合、いずれか一人又は複数の乗員の音声に基づく操作入力を受け付けて車両の運転を継続し、例えば、車両を病院等の適切な場所へ向かわせることができる。
走行系操作処理部７１は、操作入力処理部６５からの操作指令に基づいて、走行系機器の操作処理を実行する。本実施形態において、走行系操作処理部７１は、前輪駆動用モータ９Ｆ、後輪駆動用モータ９Ｒ又はブレーキ装置２５の少なくとも一つの操作制御を実行する。走行系操作処理部７１による操作対象の機器は、前輪駆動用モータ９Ｆ、後輪駆動用モータ９Ｒ又はブレーキ装置２５に限られるものではなく、その他の走行系機器を含んでいてもよい。
非走行系操作処理部７３は、音声認識処理部５７によって処理された後の音声データに基づいて、非走行系機器の操作処理を実行する。非走行系機器は、車両１に搭載された機器のうちの車両１の走行に関わるものでない機器であり、特に限定されるものではない。
なお、本実施形態に係る制御装置５０は、一つの制御装置として図示ないし説明しているが、制御装置５０は、複数の制御装置が互いに通信可能に構成されていてもよい。
＜３．動作例＞
次に、フローチャートを参照しながら、制御装置５０による制御処理の一例を説明する。
図３は、制御装置５０の操作介入判定処理部６３による制御処理の一例を示すフローチャートである。まず、操作介入判定処理部６３は、顔認識処理部５１及び音声認識処理部５７から送信されるデータ信号を取得する。また、操作介入判定処理部６３は、操作介入スイッチ１１の出力信号、ステアリングシステムに備えられたステアリングホイール２１の回転角（舵角）を検知する舵角センサの出力信号、アクセルペダル及びブレーキペダルの操作量をそれぞれ検知するストロークセンサの出力信号を受信する（ステップＳ１１）。
次いで、操作介入判定処理部６３は、ステップＳ１１において取得した信号及びデータに基づいて、運転者（操作主体者）が運転不能状態にあるか否かを判定する（ステップＳ１３）。具体的には、操作介入判定処理部６３は、上述した第１～第５の方法にしたがって、運転者の姿勢が異常な状態であること、運転者の運転操作が異常な状態であること、いずれかの乗員が介入操作を行ったこと、又は、音声に緊急時であることを表す言葉が含まれていることのうちのいずれか又は組み合わせの条件が成立したか否かを判定する。
図４は、運転者（操作主体者）が運転不能状態にあるか否かを判定する処理の一例を示すフローチャートである。まず、操作介入判定処理部６３は、運転者の姿勢が異常であるか否かを判定する（ステップＳ３１）。運転者の姿勢が異常であると判定された場合（Ｓ３１／Ｙｅｓ）、操作介入判定処理部６３は、運転者が運転不能状態にあると判定する（ステップＳ４３）。一方、運転者の姿勢が異常であると判定されなかった場合（Ｓ３１／Ｎｏ）、操作介入判定処理部６３は、運転者の運転操作が異常であるか否かを判定する（ステップＳ３３）。運転者の運転操作が異常であると判定された場合（Ｓ３３／Ｙｅｓ）、操作介入判定処理部６３は、運転者が運転不能状態にあると判定する（ステップＳ４３）。
一方、運転者の運転操作が異常であると判定されなかった場合（Ｓ３３／Ｎｏ）、操作介入判定処理部６３は、操作介入スイッチ１１がオンになっているか否かを判定する（ステップＳ３５）。操作介入スイッチ１１がオンになっていると判定された場合（Ｓ３５／Ｙｅｓ）、操作介入判定処理部６３は、運転者が運転不能状態にあると判定する（ステップＳ４３）。一方、操作介入スイッチ１１がオンになっていると判定されなかった場合（Ｓ３５／Ｎｏ）、操作介入判定処理部６３は、マイクロフォン１５により収集された発話内容に緊急時であることを示す言葉が含まれている否かを判定する（ステップＳ３７）。発話内容に緊急時であることを示す言葉が含まれていると判定された場合（Ｓ３７／Ｙｅｓ）、操作介入判定処理部６３は、運転者が運転不能状態にあると判定する（ステップＳ４３）。
一方、発話内容に緊急時であることを示す言葉が含まれていると判定されなかった場合（Ｓ３７／Ｎｏ）、操作介入判定処理部６３は、運転者の生体情報が異常であるか否かを判定する（ステップＳ３９）。運転者の生体情報が異常であると判定された場合（Ｓ３９／Ｙｅｓ）、操作介入判定処理部６３は、運転者が運転不能状態にあると判定する（ステップＳ４３）。一方、運転者の生体情報が異常であると判定されなかった場合（Ｓ３９／Ｎｏ）、操作介入判定処理部６３は、運転者が運転不能状態にないと判定する（ステップＳ４１）。
なお、５つの条件の成否を判定する順序は適宜入れ替わっていてもよい。また、図４に示したフローチャートの例では、５つの条件の成否を順次に判定し、いずれかの条件が成立している場合に運転者が運転不能状態にあると判定しているが、５つの条件すべてについて成否を判定した後に、いずれか一つ又は所定の複数の条件が成立している場合に運転者が不能状態にあると判定してもよい。さらに、図４に示したフローチャートは、上述した５つの条件の成否をすべて判定する例であるが、いくつかの条件の成否の判定が省略されていてもよい。
図３に戻り、運転者が運転不能状態にあると判定されなかった場合（Ｓ１３／Ｎｏ）、操作介入判定処理部６３は、運転者以外の同乗者の音声に基づく操作入力の受け付けを禁止する設定を行う（ステップＳ１７）。一方、運転者が運転不能状態にあると判定された場合（Ｓ１３／Ｙｅｓ）、操作介入判定処理部６３は、運転者以外の同乗者の音声に基づく操作入力の受け付けを許可するよう設定する（ステップＳ１５）。
次いで、操作介入判定処理部６３は、運転者以外の同乗者の音声に基づく操作入力を受け付けることを報知する処理を実行する（ステップＳ１９）。例えば、操作介入判定処理部６３は、スピーカ１７から警告音又は音声を発生させたり、表示機器に表示を行わせたり、警告灯を点灯させたりすることで、上記の報知を行ってもよい。
次いで、操作介入判定処理部６３は、操作介入を解除する操作が行われたか否かを判定する（ステップＳ２１）。例えば、操作介入スイッチ１１がオフに切り替えられたり、操作介入スイッチ１１とは別の解除スイッチがオンにされたり、操作介入の解除を表す音声入力が発せられたりしたときに、操作介入判定処理部６３は、操作介入を解除する操作が行われたと判定する。
操作介入を解除する操作が行われていない場合（Ｓ２１／Ｎｏ）、操作介入判定処理部６３は、ステップＳ２１の判定を繰り返し実行する。そして、操作介入を解除する操作が行われた場合（Ｓ２１／Ｙｅｓ）、操作介入判定処理部６３は、運転者以外の同乗者の音声に基づく操作入力の受け付けを中止する（ステップＳ２３）。
このようにして、本実施形態に係る制御装置５０は、運転者の運転不能状態において、運転者以外の同乗者の音声に基づく操作介入を可能にする。
以上説明したように、本実施形態に係る車両用制御装置５０によれば、運転者（操作主体者）が運転不能状態にあると判定された場合に、運転者以外の同乗者による操作介入が可能になる。運転者以外の同乗者の音声入力に基づく操作入力の受け付けが許可されることにより、同乗者がステアリングホイール２１を操作しながら、音声入力によって車両１を減速させて、路肩等へ避難させつつ停車させたり、病院等へ向かわせたりすることができる。したがって、例えば、運転者が急病になって意識を失った場合であっても、車両事故を発生させずに緊急退避させたり、病院へ搬送させたりすることができるようになる。
また、本実施形態に係る車両用制御装置５０は、車室内に設置したカメラ１３及びマイクロフォン１５の出力信号、走行系機器の操作量、乗員の発話内容、又は、運転者（操作主体者）の生体情報に基づいて、運転者の運転不能状態を判定するため、運転者の運転不能状態を検知する精度を高めることができる。
また、本実施形態に係る車両用制御装置５０は、運転者（操作主体者）以外の同乗者の音声に基づく操作入力を受け付ける場合には、その旨を報知するように構成されている。そのため、同乗者の操作介入が可能になったことを同乗者が容易に知ることができる。したがって、運転者に代わって同乗者が車両１の走行制御を行い、速やかに車両１を緊急退避させたり、病院へ搬送させたりすることができる。
また、本実施形態に係る車両用制御装置５０は、運転者（操作主体者）以外の同乗者の音声に基づく操作入力の受け付けを開始した後、介入解除操作が行われた場合に、同乗者の操作介入を解除するように構成されている。そのため、運転者が運転不能状態から脱していないにもかかわらず、運転者のみを主体とする走行制御に復帰することを防ぐことができる。また、運転者が一時的に目を閉じた場合やよそ見をしていた場合等、運転者が真に運転不能状態になっていたわけではなかったときには、速やかに運転者のみを主体とする走行制御に復帰させることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態で説明した車両１は、いわゆる自動運転化レベル１の自動運転制御が行われる車両１であり、緊急時のステアリング操作は同乗者等によって手動で行われていたが、本発明は、かかる例に限定されない。人が操作主体となって運転操作を行う車両であれば、本発明を適用することができる。例えば、車両は、通常運転時には、運転者がステアリング操作及び速度制御をすべて行う非自動運転状態である一方、運転者が運転不能状態になったときにのみ音声による操作入力を受け付けて走行制御を実行するように構成されていてもよい。
また、車両の自動運転化レベルによっては、操作主体者が運転席に座っている人に限定されない場合があり得る。したがって、上記実施形態では、運転者を操作主体者として説明したが、操作主体者はいわゆる運転者に限らず、車室内のいずれかの位置から音声によって走行制御を行う人であってもよい。
また、上記実施形態において、音声による操作入力を受け付けた際に車室内へと通知するフィードバックは、音声合成処理部６９による音声フィードバックに限られず、画像表示等の他の方法によるフィードバックであってもよい。
１ 車両
１１ 操作介入スイッチ
１３ カメラ
１５ マイクロフォン
１７ スピーカ
５０ 車両用制御装置
５１ 顔認識処理部
５３ 音声信号処理部
５５ 音声方向判定処理部
５７ 音声認識処理部
５９ 音声合成処理部
６１ 話者判定処理部
６３ 操作介入判定処理部
６５ 操作入力処理部

Claims (7)

  1. 音声入力に基づいて車両の制御を行う車両用制御装置において、
    車両の操作主体者の音声に基づく前記車両の運転操作入力を受け付ける入力部と、
    前記操作主体者が運転操作できない又は運転操作していない所定の運転不能状態であるか否かを判定する判定部と、を備え、
    前記判定部は、
    音声に、前記車両の運転操作入力のための言葉として設定された前記車両の減速又は停止を行うためのものを含む言葉とは異なる、緊急時であることを表す言葉として設定された言葉が含まれている場合に前記操作主体者が前記運転不能状態であると判定し、同乗者からの音声入力による前記車両の運転操作入力の受け付けを許可し、
    前記入力部は、
    前記操作主体者が前記運転不能状態であると判定された場合に、前記車両の加速及び減速を制御するための前記同乗者の音声に基づく前記車両の運転操作入力の受け付けを開始し、
    前記同乗者の音声に基づく前記車両の運転操作入力の受け付けを開始した後、受け付けた複数の内容の異なる前記車両の運転操作入力に順次にしたがって、前記車両の走行系機器の操作処理を実行する走行系操作処理部に対して操作指令を出力し、受け付けた前記同乗者の音声に基づく前記車両の運転操作入力が前記車両の加速を命じるものであった場合に、前記車両の駆動源の出力を所定の出力とするための前記操作指令を出力し、
    介入解除操作が行われた場合に、前記同乗者の音声に基づく前記車両の運転操作入力の受け付けを終了する、
    車両用制御装置。
  2. 前記判定部は、音声に前記緊急時であることを表す言葉として設定された言葉が含まれており、かつ、前記操作主体者の姿勢が異常な状態である場合に、前記操作主体者が前記運転不能状態であると判定する、請求項１に記載の車両用制御装置。
  3. 前記判定部は、音声に前記緊急時であることを表す言葉として設定された言葉が含まれており、かつ、前記操作主体者の運転操作が異常な状態である場合に、前記操作主体者が前記運転不能状態であると判定する、請求項１に記載の車両用制御装置。
  4. 前記判定部は、音声に前記緊急時であることを表す言葉として設定された言葉が含まれており、かつ、乗員が介入操作を行った場合に、前記操作主体者が前記運転不能状態であると判定する、請求項１に記載の車両用制御装置。
  5. 前記判定部は、音声に前記緊急時であることを表す言葉として設定された言葉が含まれており、かつ、前記操作主体者の生体情報が異常な状態である場合に、前記操作主体者が前記運転不能状態であると判定する、請求項１に記載の車両用制御装置。
  6. 前記操作主体者が前記運転不能状態であると判定された場合に、前記同乗者の音声に基づく前記車両の運転操作入力を受け付けることを報知する報知部を備える、請求項１～５のいずれか１項に記載の車両用制御装置。
  7. 前記車両の車室内を撮像可能に設置されるカメラから出力される画像信号に基づいて、前記車室内のどの位置の人物の口が開いているかを判定する顔認識処理部と、
    前記車室内の音声を収集するマイクロフォンから送信される音声信号に基づいて、音声の方向を特定する音声方向判定処理部と、
    前記顔認識処理部の判定結果及び前記音声方向判定処理部の特定結果に基づいて、前記操作主体者及び前記同乗者の何れが前記音声を発したのかを判定する話者判定処理部と、
    をさらに備え、
    前記入力部は、前記操作主体者が前記運転不能状態ではないと判定された場合に、前記同乗者の音声に基づく前記車両の運転操作入力の受け付けを禁止する、請求項１～６のいずれか１項に記載の車両用制御装置。
JP2019164723A 2019-09-10 2019-09-10 車両用制御装置 Active JP7534076B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019164723A JP7534076B2 (ja) 2019-09-10 2019-09-10 車両用制御装置
CN202010452840.7A CN112550219B (zh) 2019-09-10 2020-05-26 车辆用控制装置
US16/943,091 US11783823B2 (en) 2019-09-10 2020-07-30 Vehicle control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019164723A JP7534076B2 (ja) 2019-09-10 2019-09-10 車両用制御装置

Publications (2)

Publication Number Publication Date
JP2021041800A JP2021041800A (ja) 2021-03-18
JP7534076B2 true JP7534076B2 (ja) 2024-08-14

Family

ID=74850150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019164723A Active JP7534076B2 (ja) 2019-09-10 2019-09-10 車両用制御装置

Country Status (3)

Country Link
US (1) US11783823B2 (ja)
JP (1) JP7534076B2 (ja)
CN (1) CN112550219B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787429B2 (en) * 2021-04-27 2023-10-17 Toyota Research Institute, Inc. Vehicle sneeze control system and method
JP2025088482A (ja) * 2023-11-30 2025-06-11 トヨタ自動車株式会社 制御装置、車両、制御方法、及びプログラム
WO2026069570A1 (ja) * 2024-09-27 2026-04-02 Ａｓｔｅｍｏ株式会社 車両制御装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122579A (ja) 2005-10-31 2007-05-17 Equos Research Co Ltd 車両制御装置
JP2011057134A (ja) 2009-09-11 2011-03-24 Mitsubishi Fuso Truck & Bus Corp 車両緊急停止装置
JP2017090613A (ja) 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
JP2017159692A (ja) 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用入力装置
JP2018138449A (ja) 2017-02-24 2018-09-06 マツダ株式会社 車両走行制御装置
JP2019043365A (ja) 2017-09-01 2019-03-22 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム
WO2019069731A1 (ja) 2017-10-06 2019-04-11 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および移動体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6045448A (ja) * 1984-07-10 1985-03-11 Matsushita Electric Ind Co Ltd 自動車用音声制御装置
JP3692759B2 (ja) * 1998-01-19 2005-09-07 株式会社デンソー 車両用表示装置
EP1446891B1 (en) * 2001-10-24 2013-08-21 Mouhamad Ahmad Naboulsi Safety control system for vehicles
JP3712191B2 (ja) * 2001-11-19 2005-11-02 マツダ株式会社 車両用走行支援装置
KR20060080317A (ko) * 2005-01-05 2006-07-10 현대자동차주식회사 감성기반을 갖는 자동차용 소프트웨어 로봇
KR101294553B1 (ko) * 2011-10-13 2013-08-07 기아자동차주식회사 음원정보 관리 서비스 시스템
US9669826B2 (en) * 2012-11-21 2017-06-06 Toyota Jidosha Kabushiki Kaisha Driving-assistance device and driving-assistance method
JP5954901B2 (ja) * 2013-12-18 2016-07-20 富士重工業株式会社 車両制御装置
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
US20180063318A1 (en) * 2016-08-23 2018-03-01 Santhosh Muralidharan Automobile safety system for a drivers mobile device
US9919648B1 (en) * 2016-09-27 2018-03-20 Robert D. Pedersen Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method
US10241511B2 (en) * 2016-11-03 2019-03-26 Ford Global Technologies, Llc Emergency evacuation using autonomous driving
JP6916647B2 (ja) * 2017-03-31 2021-08-11 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US20180342329A1 (en) * 2017-05-24 2018-11-29 Happie Home, Inc. Happie home system
KR102426171B1 (ko) * 2017-10-13 2022-07-29 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
KR102528466B1 (ko) * 2017-12-19 2023-05-03 삼성전자주식회사 복수 화자의 음성 신호 처리 방법 및 그에 따른 전자 장치
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
KR20190134862A (ko) * 2018-04-27 2019-12-05 삼성전자주식회사 전자 장치 및 그 동작 방법
US20200062246A1 (en) * 2018-08-27 2020-02-27 Mando Corporation Emergency braking device for vehicle
CN108944675B (zh) * 2018-08-30 2023-04-21 山东科技大学 一种基于外接传感器的自主车辆乘客突发急症状况下的预警及求救系统
CN109557915A (zh) * 2018-10-30 2019-04-02 百度在线网络技术（北京）有限公司 控制无人驾驶车辆的方法、装置、电子设备和存储介质
US11183186B2 (en) * 2019-01-16 2021-11-23 International Business Machines Corporation Operating a voice response system
US20200269848A1 (en) * 2019-02-27 2020-08-27 Denso International America, Inc. System for adjusting and activating vehicle dynamics features associated with a mood of an occupant
CN119489766A (zh) * 2019-02-28 2025-02-21 谷歌有限责任公司 用于在操作启用了自动化助理的车辆时授权访问的形态
US11314976B2 (en) * 2019-03-15 2022-04-26 Lg Electronics Inc. Vehicle control device
US10908677B2 (en) * 2019-03-25 2021-02-02 Denso International America, Inc. Vehicle system for providing driver feedback in response to an occupant's emotion
US11180023B2 (en) * 2019-08-30 2021-11-23 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle for detection of impaired drivers of other vehicles
KR20210042188A (ko) * 2019-10-08 2021-04-19 현대자동차주식회사 차량 및 그 제어방법
JP7078594B2 (ja) * 2019-11-12 2022-05-31 本田技研工業株式会社 車両用装置、車両、車両用装置の動作方法およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122579A (ja) 2005-10-31 2007-05-17 Equos Research Co Ltd 車両制御装置
JP2011057134A (ja) 2009-09-11 2011-03-24 Mitsubishi Fuso Truck & Bus Corp 車両緊急停止装置
JP2017090613A (ja) 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
JP2017159692A (ja) 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用入力装置
JP2018138449A (ja) 2017-02-24 2018-09-06 マツダ株式会社 車両走行制御装置
JP2019043365A (ja) 2017-09-01 2019-03-22 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム
WO2019069731A1 (ja) 2017-10-06 2019-04-11 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および移動体

Also Published As

Publication number Publication date
US11783823B2 (en) 2023-10-10
CN112550219B (zh) 2025-07-08
CN112550219A (zh) 2021-03-26
US20210074287A1 (en) 2021-03-11
JP2021041800A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
JP5288045B2 (ja) 車両の緊急退避装置
JP7534076B2 (ja) 車両用制御装置
US12151683B2 (en) Vehicle control system
JP5803832B2 (ja) 緊急退避支援装置
JP5527411B2 (ja) 車両の緊急退避装置
US8085139B2 (en) Biometric vehicular emergency management system
JP2010149767A (ja) 車両の乗客監視装置
CN104276037B (zh) 限制或强制激活机动车功能的方法和装置
JP2021066275A (ja) 車両制御装置
JP7537956B2 (ja) 車両制御装置
JP2025164910A (ja) 運転評価制御装置、および運転評価制御方法
JP4972913B2 (ja) 走行支援装置
US12472939B2 (en) Agent apparatus
JP7485521B2 (ja) 車両用制御装置
CN213565639U (zh) 一种基于语音识别的驾驶辅助系统及车辆
JP2006092129A (ja) 運転支援装置
WO2018211966A1 (ja) 運転者監視装置、運転者監視方法及び運転者監視のためのプログラム
JP7210242B2 (ja) 車両制御装置
JP2022059196A (ja) 自動車の制御方法及び自動車システム
US20200047697A1 (en) Vehicle system
JP2006302106A (ja) 車両の警報発生装置およびそれを備える車両
JP7008290B1 (ja) 車両のブレーキ制御システム
JP2024139411A (ja) 車両
CN116524677A (zh) 车辆报警方法、车辆报警系统、计算机程序产品和车辆
WO2023188180A1 (ja) 車両用制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240510

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240801

R150 Certificate of patent or registration of utility model

Ref document number: 7534076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150