WO2021111567A1 - 体調異常判定システム、体調異常判定方法、及びコンピュータプログラム - Google Patents

体調異常判定システム、体調異常判定方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2021111567A1
WO2021111567A1 PCT/JP2019/047514 JP2019047514W WO2021111567A1 WO 2021111567 A1 WO2021111567 A1 WO 2021111567A1 JP 2019047514 W JP2019047514 W JP 2019047514W WO 2021111567 A1 WO2021111567 A1 WO 2021111567A1
Authority
WO
WIPO (PCT)
Prior art keywords
physical condition
condition abnormality
abnormality determination
determination system
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/047514
Other languages
English (en)
French (fr)
Inventor
雄太 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US17/781,586 priority Critical patent/US12307792B2/en
Priority to AU2019476916A priority patent/AU2019476916B2/en
Priority to PCT/JP2019/047514 priority patent/WO2021111567A1/ja
Priority to JP2021562270A priority patent/JP7298711B2/ja
Priority to EP19955334.8A priority patent/EP4070733A4/en
Publication of WO2021111567A1 publication Critical patent/WO2021111567A1/ja
Anticipated expiration legal-status Critical
Priority to JP2023092541A priority patent/JP7497774B2/ja
Priority to US18/500,436 priority patent/US20240063687A1/en
Priority to JP2024087375A priority patent/JP7718539B2/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16C—SHAFTS; FLEXIBLE SHAFTS; ELEMENTS OR CRANKSHAFT MECHANISMS; ROTARY BODIES OTHER THAN GEARING ELEMENTS; BEARINGS
    • F16C32/00—Bearings not otherwise provided for
    • F16C32/04—Bearings not otherwise provided for using magnetic or electric supporting means
    • F16C32/0406—Magnetic bearings
    • F16C32/044—Active magnetic bearings
    • F16C32/0459—Details of the magnetic circuit
    • F16C32/0461—Details of the magnetic circuit of stationary parts of the magnetic circuit
    • F16C32/0465—Details of the magnetic circuit of stationary parts of the magnetic circuit with permanent magnets provided in the magnetic circuit of the electromagnets
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25B—REFRIGERATION MACHINES, PLANTS OR SYSTEMS; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS
    • F25B31/00—Compressor arrangements
    • F25B31/02—Compressor arrangements of motor-compressor units
    • F25B31/026—Compressor arrangements of motor-compressor units with compressor of rotary type
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • Patent Document 1 discloses a technique for estimating a driver's state from a face position, a face orientation, a line-of-sight direction, and the like obtained by analyzing a face image.
  • Patent Document 2 discloses a technique of detecting a face position from a face image and estimating a driver's state using the degree of opening / closing of the eyes, the direction of the line of sight, the direction of the face, and the like.
  • One aspect of the method for determining physical condition abnormality of the present invention is to extract a plurality of feature amounts indicating the state of the subject from the image of the subject, accumulate the plurality of feature amounts as time-series data, and accumulate the accumulated features.
  • the relationship between each feature amount is calculated from the plurality of feature amounts, and the physical condition abnormality of the subject is determined based on the relationship.
  • FIG. 1 is a block diagram showing an overall configuration of a physical condition abnormality determination system according to the first embodiment.
  • FIG. 2 is a block diagram showing the overall configuration of the physical condition abnormality determination system according to the modified example.
  • the target person detection unit 102 is configured to be able to detect a target person who determines an abnormality in physical condition from the image acquired by the image acquisition unit 101.
  • the target person detection unit 102 detects, for example, a region in which the target person is captured (for example, a face area of the target person) from the captured image.
  • a region in which the target person is captured for example, a face area of the target person
  • the detection result of the target person detection unit 102 is output to the feature extraction unit 103.
  • FIG. 4 is a flowchart showing an operation flow of the physical condition abnormality determination system according to the first embodiment.
  • the image acquisition unit 101 first acquires an image of the passenger captured by the vehicle interior camera 50 (step S101). Then, the target person detection unit 102 detects the face area from the image of the passenger (step S102). When the feature amount is detected from a region other than the face region, it is sufficient that another region corresponding to the feature amount is detected.
  • the physical condition abnormality determination system 1 ends the operation at the timing when the vehicle 10 finishes running, for example.
  • the operation may be terminated based on the behavior information of the vehicle (for example, at the timing when the threshold value of the acceleration sensor becomes equal to or less than a predetermined threshold value).
  • the above-mentioned feature vectors (1) to (8) are calculated as the relationship between pairs of feature quantities that normally change in the same way. Therefore, according to the above-mentioned feature vector, it is possible to determine a situation in which the movements of the face and the eyes do not correspond due to dizziness, and it is possible to preferably determine the occurrence of motion sickness.
  • the physical condition abnormality determination system 1 it is possible to determine the motion sickness of the passenger based on the feature amount extracted from the image of the passenger. it can.
  • motion sickness is determined based on the relationship between a plurality of feature quantities, rather than directly using the extracted feature quantities. Therefore, for example, the influence of environmental changes such as individual differences and lighting conditions can be suppressed, and motion sickness can be determined with high accuracy.
  • the feature amount which is time-series data, is used, it is possible to consider the change in the feature amount per unit time, unlike the case where the feature amount is extracted from only one image. Therefore, motion sickness can be determined more accurately.
  • FIG. 6 is a block diagram showing the overall configuration of the physical condition abnormality determination system according to the second embodiment.
  • FIG. 7 is a schematic view showing an in-vehicle configuration of a vehicle to which the physical condition abnormality determination system according to the second embodiment is applied.
  • the same components as those shown in FIG. 1 are designated by the same reference numerals.
  • the physical condition abnormality determination system 1 includes a determination result output unit 107 in addition to the components (see FIG. 1) of the physical condition abnormality determination system 1 according to the first embodiment. ing.
  • the physical condition abnormality determination unit 106 may identify the cause of the passenger's physical condition abnormality from the information indicating the behavior of the vehicle 10.
  • the physical condition abnormality determination unit 106 may be configured to be able to acquire information indicating the behavior of the vehicle 10 from a sensor (for example, an acceleration sensor or the like) provided on the vehicle 10 (not shown).
  • the physical condition abnormality determination unit 106 may identify the cause of the passenger's physical condition abnormality from the analysis result of the image of the passenger or the like.
  • the physical condition abnormality determination unit 106 may be configured to be able to extract a feature amount capable of determining the cause of the physical condition abnormality from an image including the whole body of the passenger.
  • a physical condition abnormality cause identification unit (not shown) may identify the cause of the passenger's physical condition abnormality.
  • FIG. 8 is a diagram showing an example of a display area of the display unit.
  • FIG. 9 is a diagram (No. 1) showing a display example in the display area when motion sickness occurs.
  • FIG. 10 is a diagram (No. 2) showing a display example in the display area when motion sickness occurs.
  • FIG. 11 is a diagram showing an example of an icon indicating the degree of motion sickness.
  • FIG. 12 is a diagram showing another display example in the display area of the display unit.
  • voice guidance may be provided in addition to or in place of the display of the display unit 301.
  • the passenger icon displayed in the passenger information display area changes according to the degree of motion sickness.
  • the facial expression changes according to the degree of motion sickness.
  • the shade and color of the icon change according to the degree of motion sickness.
  • the type of icon may be increased or decreased according to the degree, for example, in five steps.
  • the cause / countermeasure information display area may be displayed as an icon.
  • the icons in the figure are icons indicating the cause of motion sickness, and the icons in the upper row are icons indicating "reading”, “sudden braking", and “not looking outside” in order from the left side.
  • the icons in the lower row are icons indicating "food and drink”, “sudden start”, and "vibration” in order from the left side.
  • these icons are lit.
  • the passengers of the vehicle 10 are accurately informed of the current situation by displaying the determination result of motion sickness. be able to.
  • the cause and countermeasures for motion sickness it becomes easy to eliminate motion sickness.
  • the second embodiment can be applied to motion sickness that occurs in a moving body other than the vehicle 10 and physical condition abnormalities other than motion sickness.
  • the control information output unit 108 generates and outputs control information for controlling the vehicle 10 based on the determination result of the physical condition abnormality.
  • the control information output from the control information output unit 108 is input to the vehicle control unit 302 of the vehicle 10.
  • the vehicle control unit 302 is a control unit capable of controlling each part of the vehicle 10, and executes control according to control information.
  • control content executed by the control information output from the control information output unit 108 (in other words, the control content executed by the vehicle control unit 302) will be specifically described.
  • control information output unit 108 may output control information for controlling the air conditioning in the vehicle interior. That is, information for changing the state of air in the vehicle interior to a state in which motion sickness is less likely to occur may be output.
  • control information output unit 108 sets the position of the movable navigation display unit in the vehicle interior, the movable smartphone holder, etc. so that the outside scenery can be seen in the field of view when the passenger looks at the display screen.
  • the control information adjusted to the height may be output. That is, information for changing the passenger's field of view to a state in which motion sickness is less likely to occur may be output.
  • the third embodiment can also be applied to motion sickness that occurs in a moving body other than the vehicle 10 and physical condition abnormalities other than motion sickness.
  • the fourth embodiment differs from the first to third embodiments already described in some configurations and operations, and the other parts are substantially the same. Therefore, in the following, the parts different from the first to third embodiments will be described in detail, and the description of other overlapping parts will be omitted as appropriate.
  • the target person detection unit 102 does not detect the target person (for example, detect the face area of the target person). Therefore, it is preferable that the image acquired by the feature extraction unit 103 includes a region suitable for extracting the feature amount (for example, an image obtained by enlarging the periphery of the face of the subject).
  • the imaging range of the vehicle interior camera 50 may be adjusted in advance so as to be an appropriate range, or the function of automatically adjusting the imaging range of the vehicle interior camera 50. May have.
  • the feature extraction unit 103 may have a function of automatically detecting a region suitable for extracting the feature amount from the captured image and extracting the feature amount from the region.
  • the plurality of feature quantities include any of the feature quantities relating to the position of the pupil, the direction of the face, or the direction of the line of sight of the subject. This is the physical condition abnormality determination system described in item 1.
  • the present invention can be appropriately modified within the scope of the claims and within a range not contrary to the gist or idea of the invention that can be read from the entire specification, and the physical condition abnormality determination system, the physical condition abnormality determination method, and the computer accompanied by such changes.
  • the program is also included in the technical idea of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Social Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computing Systems (AREA)
  • Thermal Sciences (AREA)

Abstract

体調異常判定システム（１）は、対象者の画像から対象者の状態を示す複数の特徴量を抽出する抽出手段（１０３）と、複数の特徴量を時系列データとして蓄積する蓄積手段（１０４）と、蓄積手段に蓄積された複数の特徴量から、各特徴量間の関係性を算出する算出手段（１０５）と、関係性に基づいて、対象者の体調異常を判定する判定手段（１０６）とを備える。このような体調異常判定システムによれば、対象者の体調異常を適切に判定することが可能となる。

Description

体調異常判定システム、体調異常判定方法、及びコンピュータプログラム
　本発明は、対象者の体調異常を判定する体調異常判定システム、体調異常判定方法、及びコンピュータプログラムの技術分野に関する。
　この種のシステムとして、対象者を撮像した画像に基づいて、対象者の状態を判定するものが知られている。例えば特許文献１では、顔画像を解析して取得された顔の位置、顔の向き、視線方向等から、運転者の状態を推定する技術が開示されている。特許文献２では、顔画像から顔位置を検出し、眼の開閉度、視線の方向、顔の向き等を用いて運転者の状態を推定する技術が開示されている。
　その他の関連する技術として、例えば特許文献３では、顔の画像データから抽出された複数の特徴点から、特徴点ベクトルを検出する技術が開示されている。
国際公開第２０１７／２０９２２５号 国際公開第２０１７／２０８５２９号 国際公開第２０１６／０１３０９０号
　顔の位置や、顔の向き、視線方向等の特徴を直接利用して対象者の状態を判定しようとすると、例えば個人差や照明条件等の環境変動の影響を受けることが想定される。この場合、状態を判定する際の環境次第では、判定の精度が低下してしまうおそれがある。即ち、特許文献１、２及び３に記載されているような技術では、状況次第で対象者の状態を正確に判定できなくなる技術的問題点が生ずる。
　本発明は、上記問題点に鑑みてなされたものであり、対象者の体調異常を適切に判定することが可能な体調異常判定システム、体調異常判定方法、及びコンピュータプログラムを提供することを課題とする。
　本発明の体調異常判定システムの一の態様は、対象者の画像から前記対象者の状態を示す複数の特徴量を抽出する抽出手段と、前記複数の特徴量を時系列データとして蓄積する蓄積手段と、前記蓄積手段に蓄積された前記複数の特徴量から、各特徴量間の関係性を算出する算出手段と、前記関係性に基づいて、前記対象者の体調異常を判定する判定手段とを備える。
　本発明の体調異常判定方法の一の態様は、対象者の画像から前記対象者の状態を示す複数の特徴量を抽出し、前記複数の特徴量を時系列データとして蓄積し、蓄積された前記複数の特徴量から、各特徴量間の関係性を算出し、前記関係性に基づいて、前記対象者の体調異常を判定する。
　本発明のコンピュータプログラムの一の態様は、対象者の画像から前記対象者の状態を示す複数の特徴量を抽出し、前記複数の特徴量を時系列データとして蓄積し、蓄積された前記複数の特徴量から、各特徴量間の関係性を算出し、前記関係性に基づいて、前記対象者の体調異常を判定するようにコンピュータを動作させる。
　上述した体調異常判定システム、体調異常判定方法、及びコンピュータプログラムのそれぞれの一の態様によれば、対象者の状態異常を適切に判定することが可能である。
第１実施形態に係る体調異常判定システムの全体構成を示すブロック図である。 変形例に係る体調異常判定システムの全体構成を示すブロック図である。 第１実施形態に係る体調異常判定システムのハードウェア構成を示すブロック図である。 第１実施形態に係る体調異常判定システムの動作の流れを示すフローチャートである。 特徴ベクトルの具体例を示す表である。 第２実施形態に係る体調異常判定システムの全体構成を示すブロック図である。 第２実施形態に係る体調異常判定システムが適用される車両の車内構成を示す概略図である。 表示部の表示領域の一例を示す図である。 車酔い発生時の表示領域における表示例を示す図（その１）である。 車酔い発生時の表示領域における表示例を示す図（その２）である。 車酔いの度合いを示すアイコンの一例を示す図である。 表示部の表示領域における他の表示例を示す図である。 第３実施形態に係る体調異常判定システムの全体構成を示すブロック図である。 第４実施形態に係る体調異常判定システムの全体構成を示すブロック図である。
　以下、図面を参照しながら、体調異常判定システム、体調異常判定方法、コンピュータプログラムの実施形態について説明する。
＜第１実施形態＞
　第１実施形態に係る体調異常判定システムについて、図１から図５を参照して説明する。以下では、体調異常判定システムが、車両の搭乗者の体調異常（具体的には、乗り物酔い）を判定する装置である場合を例に挙げて説明する。
　（システム構成）
　まず、図１及び図２を参照しながら、第１実施形態に係る体調異常判定システムの全体構成について説明する。図１は、第１実施形態に係る体調異常判定システムの全体構成を示すブロック図である。図２は、変形例に係る体調異常判定システムの全体構成を示すブロック図である。
　図１に示すように、第１実施形態に係る体調異常判定システム１は、車室内カメラ５０を備える車両１０に搭載されている。体調異常判定システム１は、その機能を実現するための機能ブロックとして、画像取得部１０１と、対象者検出部１０２と、特徴抽出部１０３と、特徴蓄積部１０４と、特徴関係算出部１０５と、体調異常判定部１０６とを備えている。
　画像取得部１０１は、車室内カメラ５０で撮像された画像（具体的には、車両１０の搭乗者が写っている画像）を取得可能に構成されている。画像取得部１０１で取得された画像は、対象者検出部１０２に出力される構成となっている。
　対象者検出部１０２は、画像取得部１０１で取得された画像から、体調異常を判定する対象者を検出可能に構成されている。対象者検出部１０２は、例えば撮像画像から対象者が写っている領域（例えば、対象者の顔領域等）を検出する。なお、撮像画像から対象者を検出する具体的な方法としては、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。対象者検出部１０２の検出結果は、特徴抽出部１０３に出力される構成となっている。
　特徴抽出部１０３は、対象者検出部１０２で検出された領域から、対象者の体調異常を判定するための特徴量を抽出可能に構成されている。特徴抽出部１０３が抽出する特徴量としては、例えば搭乗者の瞳の位置、顔の向き、視線方向、顔の色、顔特徴点の位置、瞼の開き具合に関する特徴量が挙げられる。特徴抽出部１０３は、搭乗者から複数種類の特徴量を抽出する。特徴抽出部１０３で抽出された特徴量は、特徴蓄積部１０４及び特徴関係算出部１０５の各々に出力される構成となっている。
　特徴蓄積部１０４は、特徴抽出部１０３で抽出された特徴量を時系列データとして蓄積可能に構成されている。特徴蓄積部１０４は、例えば時系列に並んだフレーム単位で特徴量を蓄積する。特徴蓄積部１０４に蓄積された特徴量は、特徴関係算出部１０５に対して適宜出力される構成となっている。
　特徴関係算出部１０５は、複数種類の特徴量の時系列データから、各特徴量間の関係性（即ち、種類の異なる特徴量の関係性）を算出可能に構成されている。より具体的には、特徴関係算出部１０５は、特徴抽出部１０３で抽出された特徴量（言い換えれば、現在の特徴量）と、特徴蓄積部１０４から読みだした特徴量（言い換えれば、過去の特徴量）とから、各特徴量間の関係性を算出する。特徴量の関係性は、例えば複数の次元を有する特徴ベクトルとして算出される。特徴関係算出部１０５で算出された特徴量の関係性は、体調異常判定部１０６に出力される構成となっている。
　体調異常判定部１０６は、特徴関係算出部１０５で算出された特徴量の関係性に基づいて、搭乗者の体調異常を判定する。体調異常判定部１０６は、例えば搭乗者に体調異常が発生しているか否か、或いは、搭乗者の体調異常の度合いを判定する。なお、体調異常の判定は、特徴量の関係性と体調異常との関連性を予め設定しておくことで判定できる。例えば、特徴ベクトルに対する閾値を設定しておき、算出された特徴ベクトルが閾値を超えた場合に体調異常が発生していると判定するようにすればよい。また、体調異常判定部１０６は、判定に係る閾値を学習するように構成されてもよい。例えば、体調異常判定部１０６は、搭乗者の入力によって得られる正解データ等を用いて学習を行うようにしてもよい。
　図２に示すように、体調異常判定システム１は、車両１０の外部に存在する外部サーバ２０に設けられていてもよい。即ち、体調異常判定システム１は、必ずしも車両１０に搭載されていなくともよい。なお、体調異常判定システム１のすべての構成要素ではなく、体調異常判定システム１の一部の構成要素が外部サーバ２０に設けられるようにしてもよい。
　（ハードウェア構成）
　次に、図３を参照しながら、第１実施形態に係る体調異常判定システム１のハードウェア構成について説明する。図３は、第１実施形態に係る体調異常判定システムのハードウェア構成を示すブロック図である。
　図３に示すように、第１実施形態に係る体調異常判定システム１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、記憶装置１４とを備えている。体調異常判定システム１は更に、入力装置１５と、出力装置１６とを備えていてもよい。ＣＰＵ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、出力装置１６とは、データバス１７を介して接続されている。
　ＣＰＵ１１は、コンピュータプログラムを読み込む。例えば、ＣＰＵ１１は、ＲＡＭ１２、ＲＯＭ１３及び記憶装置１４のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、ＣＰＵ１１は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。ＣＰＵ１１は、ネットワークインタフェースを介して、体調異常判定システム１の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、読み込んでもよい）。ＣＰＵ１１は、読み込んだコンピュータプログラムを実行することで、ＲＡＭ１２、記憶装置１４、入力装置１５及び出力装置１６を制御する。本実施形態では特に、ＣＰＵ１１が読み込んだコンピュータプログラムを実行すると、ＣＰＵ１１内には、体調異常を判定するための機能ブロックが実現される。
　ＲＡＭ１２は、ＣＰＵ１１が実行するコンピュータプログラムを一時的に記憶する。ＲＡＭ１２は、ＣＰＵ１１がコンピュータプログラムを実行している際にＣＰＵ１１が一時的に使用するデータを一時的に記憶する。ＲＡＭ１２は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）であってもよい。
　ＲＯＭ１３は、ＣＰＵ１１が実行するコンピュータプログラムを記憶する。ＲＯＭ１３は、その他に固定的なデータを記憶していてもよい。ＲＯＭ１３は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）であってもよい。
　記憶装置１４は、体調異常判定システム１が長期的に保存するデータを記憶する。記憶装置１４は、ＣＰＵ１１の一時記憶装置として動作してもよい。記憶装置１４は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
　入力装置１５は、体調異常判定システム１のユーザからの入力指示を受け取る装置である。入力装置１５は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
　出力装置１６は、体調異常判定システム１に関する情報を外部に対して出力する装置である。例えば、出力装置１６は、体調異常判定システム１に関する情報を表示可能な表示装置（例えば、ディスプレイ）であってもよい。
　（動作の流れ）
　次に、図４を参照しながら、第１実施形態に係る体調異常判定システム１の動作の流れについて説明する。図４は、第１実施形態に係る体調異常判定システムの動作の流れを示すフローチャートである。
　図４に示すように、第１実施形態に係る体調異常判定システム１の動作時には、まず画像取得部１０１が、車室内カメラ５０で撮像された搭乗者の画像を取得する（ステップＳ１０１）。そして、対象者検出部１０２が、搭乗者の画像から顔領域を検出する（ステップＳ１０２）。なお、顔領域以外から特徴量を検出する場合には、特徴量に対応する他の領域が検出されればよい。
　続いて、特徴抽出部１０３が、顔領域から特徴量を抽出する（ステップＳ１０３）。そして、特徴蓄積部１０４が、抽出された特徴量を蓄積（即ち、記憶）する（ステップＳ１０４）。
　続いて、特徴関係算出部１０５が、特徴２２０１蓄積部１０４に所定フレーム分の特徴量が蓄積されているか否かを判定する（ステップＳ１０５）。なお、ここでの「所定フレーム」とは、特徴量の関係性を算出するために十分な量の特徴量に対応する値であり、事前に最適な値（例えば、５秒分のフレーム数）が設定されている。特徴量が所定フレーム分蓄積されていないと判定された場合（ステップＳ１０５：ＮＯ）、再びステップＳ１０１から処理が実行される。即ち、搭乗者の画像から特徴量を抽出して、それを蓄積する処理が繰り返される。
　一方、特徴量が所定フレーム分蓄積されていると判定された場合（ステップＳ１０５：ＹＥＳ）、特徴関係算出部１０５は、特徴量の関係性を算出する（ステップＳ１０６）。そして、体調異常判定部１０６が、算出された特徴量の関係性に基づいて、搭乗者の体調異常（ここでは、乗り物酔い）を判定する（ステップＳ１０７）。
　なお、上述した一連の処理は、車両１０が走行している状態で実行される。体調異常判定システム１は、例えば車両１０が走行を開始したタイミングで動作を開始すればよい。また、走行を開始してから所定時間（搭乗者の体調に異常が出始めると推測される時間）経過したタイミングで動作を開始してもよい。ここで、所定時間は任意に設定してもよい。または、走行を開始してから搭乗者の体調に異常が出始めるまでの時間を履歴情報として記憶しておき、この履歴情報に基づき設定されてもよい。このようにすることで、搭乗者に体調異常が発生しない期間の余計な処理を軽減することができる。或いは、体調異常判定システム１は、搭乗者の顔を正常に検出できるようになったタイミングや、搭乗者が車両に搭乗したタイミングで動作を開始してもよい。このようにすることで、搭乗者の顔を追跡することが可能なため、搭乗者に体調異常が発生しているにもかかわらず搭乗者の顔を検知できないといった状況を防ぐことが可能である。または車両の挙動情報に基づいて（例えば、加速度センサの閾値が所定閾値以上になるタイミングで）動作を開始すればよい。このようにすることで、体調異常が生じにくい挙動を車両がとっている場合に、余計な処理を軽減することができる。
　更に、体調異常判定システム１は、例えば車両１０が走行を終了したタイミングで動作を終了する。または、車両の挙動情報に基づいて（例えば、加速度センサの閾値が所定閾値以下になるタイミングで）動作を終了してもよい。
　（特徴ベクトルの具体例）
　次に、図５を参照しながら、第１実施形態に係る体調異常判定システム１で用いられる特徴ベクトル（即ち、図４のステップＳ１０６で生成される特徴量の関係性）について、具体的に説明する。図５は、特徴ベクトルの具体例を示す表である。
　図５において、特徴抽出部１０３が、搭乗者の右目及び左目の瞳位置、顔向き角度（パン・チルト・ロール方向）、並びに視線角度（水平・垂直方向）を、特徴量として抽出しているとする。この場合、特徴関係算出部１０５は、上記複数種類の特徴量の関係性を複数次元の特徴ベクトルとして算出する。
　具体的には、特徴関係算出部１０５は、（１）顔位置と右目瞳の位置との相関、（２）顔位置と左目瞳の位置との相関、（３）顔向きパン方向と視線水平方向との相関、（４）顔向きチルト方向と視線垂直方向との相関、（５）顔重心位置と右目位置との移動速度の比率、（６）顔重心位置と左目位置との移動速度の比率、（７）顔向きパン方向と視線水平方向との角速度の比率、（８）顔向きチルト方向と視線垂直方向との角速度の比率を含む８次元の特徴ベクトルを算出する。なお、相関は、（１）を例にすると、顔位置と右目瞳の共分散を、顔位置の標準偏差と右目瞳の標準編差の積で割った値である。
　なお、特徴ベクトルの各要素については、適宜重み付けを行ってもよい。この場合の重みは、顔領域の画像から推定される顔の状態に応じて決定されてもよい。具体的には、搭乗者が眼鏡をしている場合には、目に関して取得される特徴量の正確性が下がると考えられるため、目に関する特徴量の重みを小さくしてもよい。また、特徴ベクトルは８次元である必要はなく、適宜設定された次元数でもよい。
　体調異常判定部１０６は、算出された特徴量の関係性に基づいて、搭乗者が体調異常であると判定する。具体的には、特徴関係算出部１０５が算出した相関及び比率が所定値以上の場合は搭乗者が体調異常であると判定する。なお、上記（１）～（８）を含む８次元の特徴ベクトルを算出した場合、いずれか１つまたは複数の相関または比率が所定値以上の場合に搭乗者が体調異常であると判定してもよいし、８つすべての相関及び比率がそれぞれに対応する所定値以上の場合に搭乗者が体調異常であると判定してもよい。
　乗り物酔いが発生した場合に、搭乗者は回転性の目眩や開眼時の目眩を感じる。一方で、上述した特徴ベクトルの（１）から（８）は、通常であれば同じように変化する特徴量のペアの関係性として算出されている。よって、上述した特徴ベクトルによれば、目眩に起因して顔と目の動きが対応しなくなっているような状況を判別することができ、乗り物酔いの発生を好適に判定することができる。
　なお、上述した特徴ベクトルはあくまで一例であり、その他の特徴量の関係性を用いてもよい。例えば、判定する体調異常の種別に応じて、関係性を算出する特徴量のペアを決定するようにしてもよい。
　（技術的効果）
　次に、第１実施形態に係る体調異常判定システム１によって得られる技術的効果について説明する。
　図１から図５で説明したように、第１実施形態に係る体調異常判定システム１によれば、搭乗者の画像から抽出される特徴量に基づいて、搭乗者の乗り物酔いを判定することができる。本実施形態では特に、抽出した特徴量を直接利用するのではなく、複数の特徴量の関係性に基づいて乗り物酔いを判定している。よって、例えば個人差や照明条件等の環境変動の影響を抑制し、高い精度で乗り物酔いの判定が行える。また、時系列データである特徴量を利用しているため、１枚の画像のみから特徴量を抽出する場合とは異なり、特徴量の単位時間あたりの変化についても考慮することができる。よって、より正確に乗り物酔いの判定が行える。
　なお、上述した実施形態では、車両１０の搭乗者の乗り物酔いを判定する例を説明したが、例えば船や飛行機等、車両１０以外の移動体の搭乗者の乗り物酔いを判定するようにしてもよい。更には、乗り物酔い以外の体調異常を判定するようにしてもよい。具体的には、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）装置を使用する際に発生し得る目眩（所謂、ＶＲ酔い）等に関する判定を行うようにしてもよい。本実施形態のように対象者の顔に関する特徴量を利用すれば、特に目眩を伴うような体調異常を適切に判定することができる。ただし、適切な特徴量の関係性を利用することで、目眩を伴わない他の体調異常の判定にも適用することもできる。
＜第２実施形態＞
　次に、第２実施形態に係る体調異常判定システム１について、図６から図１２を参照して説明する。なお、第２実施形態は、既に説明した第１実施形態と一部の構成及び動作が異なるのみであり、その他の部分は概ね同様である。このため、以下では第１実施形態と異なる部分について詳細に説明し、他の重複する部分については説明を適宜省略するものとする。
　（システム構成）
　まず、図６及び図７を参照しながら、第２実施形態に係る体調異常判定システム１の全体構成について説明する。図６は、第２実施形態に係る体調異常判定システムの全体構成を示すブロック図である。図７は、第２実施形態に係る体調異常判定システムが適用される車両の車内構成を示す概略図である。なお、図６では、図１で示した構成要素と同様ものに同一の符号を付している。
　図６に示すように、第２実施形態に係る体調異常判定システム１は、第１実施形態に係る体調異常判定システム１の構成要素（図１参照）に加えて、判定結果出力部１０７を備えている。
　体調異常判定部１０６は、車両１０の挙動を示す情報から搭乗者の体調異常の原因を特定してもよい。この場合、体調異常判定部１０６は、車両１０に設けられた図示せぬセンサ（例えば、加速度センサ等）から、車両１０の挙動を示す情報を取得可能に構成されればよい。また、体調異常判定部１０６は、搭乗者の画像の解析結果等から搭乗者の体調異常の原因を特定してもよい。この場合、体調異常判定部１０６は、搭乗者の全身を含む画像等から、体調異常の原因を判定し得る特徴量を抽出可能に構成されてもよい。また、図示しない体調異常原因特定部が搭乗者の体調異常の原因を特定してもよい。
　例えば、搭乗者が体調異常であると判定された場合、体調異常判定部１０６は、判定されたタイミングにおける車両の加速度を取得する。体調異常判定部１０６は、取得された加速度を、予め記憶される閾値（例えば、体調異常を引き起こしやすい加速度）と比較することで、搭乗者の体調異常が車両１０の加速度によるものであるか否かを判定する。なお、取得する加速度は、体調異常であると判定されたタイミングから所定期間前のタイミングにおける加速度でもよい。または、体調異常であると判定されたタイミングまでの所定期間における加速度でもよい。さらに、加速度に代えて、または加速度に加えて、速度、角速度、ヨー方向の角速度、ヨー方向の角加速度、ピッチ方向の角速度、ピッチ方向の角加速度、ロール方向の角速度、およびロール方向の角加速度の少なくとも１つを取得してもよい。これらのうち少なくとも一つに基づき原因を特定してもよいし、すべてに基づき原因を特定してもよい。
　なお、体調異常判定部１０６は、検出された加速度等を閾値と比較することなく体調異常の原因を特定してもよい。例えば、体調異常と判定されたタイミングで検出された加速度については、その加速度そのものが体調異常の原因となっていると判断することができる。よって、体調異常と判定されたタイミングで検出された加速度等を、そのまま体調異常の原因として特定してもよい。
　また、例えば、搭乗者が体調異常であると判定された場合、体調異常判定部１０６は、判定されたタイミングにおけるカメラ画像から、搭乗者がどのような行動（例えば、読書、飲食、等）をとっているかを特定する。体調異常判定部１０６は、特定された行動が、予め記憶される体調異常の原因（例えば、体調異常を引き起こしやすい行動のテーブル情報）に該当するか否かで、搭乗者の体調異常が搭乗者の行動によるものであるか否かを判定する。なお、原因の特定に用いるカメラ画像は、体調異常であると判定されたタイミングから所定期間前のタイミングにおいて撮影されたものでもよい。または、体調異常であると判定されたタイミングまでの所定期間において撮影されたものでもよい。さらに、体調異常を引き起こしやすい行動のテーブル情報は、行動ごとに、体調異常の度合いを関連付けておいてもよい。あるいは、複数の行動を取得し、これらのうち少なくとも一つに基づき原因を特定してもよいし、すべてに基づき原因を特定してもよい。
　判定結果出力部１０７は、車両１０に搭載された表示部３０１に対して、体調異常判定部１０６の判定結果を出力可能に構成されている。即ち、判定結果出力部１０７は、搭乗者の体調異常に関する情報を、その搭乗者或いは同乗者に提示するための情報を出力する。なお、判定結果出力部１０７は、図示せぬスピーカ等に対して、搭乗者の体調異常に関する情報を出力可能に構成されてもよい。
　図７に示すように、表示部３０１は、車両前方に設けられたディスプレイ等として構成されている。なお、車室内カメラ５０は、運転席及び助手席の搭乗者２０１の顔を撮像可能なカメラ５０ａ、後部座席の搭乗者２０２の顔を撮像可能な５０ｂとして設けられている。
　（表示部による表示例）
　次に、図８から図１２を参照しながら第２実施形態に係る体調異常判定システム１による表示例（即ち、表示部３０１の具体的な表示例）について説明する。図８は、表示部の表示領域の一例を示す図である。図９は、車酔い発生時の表示領域における表示例を示す図（その１）である。図１０は、車酔い発生時の表示領域における表示例を示す図（その２）である。図１１は、車酔いの度合いを示すアイコンの一例を示す図である。図１２は、表示部の表示領域における他の表示例を示す図である。
　表示部３０１の表示領域は、原因・対策情報表示領域を含んでもよい。また、表示部３０１の表示領域は、搭乗者情報表示領域が含んでもよい。一例を図８に示す。左側の原因・対策情報表示領域には、乗り物酔いの判定結果に応じて、その原因及び対策のうち少なくとも一方が表示される。乗り物酔いが生じている搭乗者が存在しない場合には、原因・対策情報表示領域には何も表示されなくともよい。右側の搭乗者情報表示領域には、車両１０の搭乗者に関する情報や、搭乗者に対する指示に関する情報が表示される。この例では、運転席、助手席、及び左後部座席に１人ずつ、計３名の搭乗者が存在しているため、各座席に搭乗者の存在を示すアイコン（図中の丸印のアイコン）が表示されている。
　図９に示す例では、左後部座席の搭乗者に乗り物酔いが発生している。このため、搭乗者情報表示領域における左後部座席の搭乗者に対応するアイコンが、乗り物酔いを示すアイコンに変化している。また、搭乗者情報表示領域の矢印アイコン（車両前方のアイコン）が点灯している。このアイコンは、路肩への停車を推奨する状態であることを示すアイコンである。このような場合、ナビゲーション装置と連動して、車両１０を路肩や駐車スペースに駐車させるための走行ルートを表示させるようにしてもよい。
　原因・対策情報表示領域には、左後部座席の搭乗者の乗り物酔いの原因（ここでは、ブレーキ及び読書）が表示されている。なお、乗り物酔いの原因は、上記の通り、体調異常判定部１０６、または図示しない体調異常原因特定部が特定すればよい。乗り物酔いしている搭乗者が複数人いる場合には、原因・対策情報表示領域を人数に応じて分割し、それぞれに対応する表示を行えばよい。また、ここでは図示していないが、体調異常の対策として、特定された体調異常の原因に基づき、「運転者はブレーキをかけないように注意してください」、「左後部座席の方は読書をやめてください」等のより具体的な指示内容を表示するようにしてもよい。
　なお、原因の表示や対策の表示は、予め用意されたテンプレートの情報を用いてもよい。テンプレートの情報は、「急ブレーキ」「読書」等の原因内容や、「運転者は運転に気を付けてください」「搭乗者は読書や飲食をやめてください」等の指示内容を少なくとも一の表示情報とすればよい。また、テンプレートの情報は、原因や対策を示すアイコン画像であってもよい。更に、搭乗者の体調異常を検出し場合に、体調異常の原因を特定せずに、テンプレートの情報を用いてもよい。
　或いは、表示部３０１の表示に加えて又は代えて、音声による案内を行ってもよい。
　図１０に示す例は、図９に示す状況が発生した後、車両１０が路肩に停車した後の表示例である。搭乗者情報表示領域では、車両１０が路肩に停車したため、図９において点灯していた矢印アイコンが消灯している。その一方で、左後部座席の搭乗者の近くの矢印アイコンが点灯している。この矢印アイコンは、左後部座席の搭乗者に車両１０の外に出ることを推奨するアイコンである。
　原因・対策情報表示領域には、「外に出て、深呼吸をして下さい」という指示内容が表示されている。即ち、乗り物酔いを低減するための対策が表示される。なお、ここでの表示例はあくまで一例であり、その他の対策が表示されてもよい。例えば、窓の外を見るように促す、外を見やすいように座席を調整するよう促す、助手席に座席を移動するように促す、酔い止めをのむように促す等の表示を行ってもよい。或いは、ナビゲーション装置と連動し、対策を実施するのに適した走行ルートを表示させてもよい。具体的には、酔い止めが必要か否かの選択肢を表示させて搭乗者の回答を受け付け（音声で問いかけ、音声認識で搭乗者の回答を受け付けてもよい）、搭乗者が必要と回答した場合に、近くの薬局までの走行ルートを表示するようにしてもよい。
　乗り物酔いの原因の１つとして、運転者以外の搭乗者が車両１０の挙動を予測できないことが挙げられる。このような原因への対策として、乗り物酔いしている搭乗者がいる場合に、車両１０の挙動に関する表示や音声案内を行ってもよい。例えば、走行している道路の情報に基づいて、車両１０が何秒後にどちらに曲がるのかを音声案内してもよい。或いは、車両１０が曲がる方向を表示部３０１に表示したり、何秒後の動きなのかを表示したりするようにしてもよい。
　図１１に示すように、搭乗者情報表示領域に表示される搭乗者のアイコンは、乗り物酔いの度合いに応じて変化する。例えば例１では、乗り物酔いの度合いに応じて表情が変化する。例２では、乗り物酔いの度合いに応じてアイコンの濃淡や色が変化する。アイコンの色を変化させる場合、緊急性が直感的に把握できる色を採用することが好ましい。具体的には、乗り物酔いの度合いが軽度の場合は「緑色」、中程度の場合は「黄色」、重度の場合は「赤色」のように変化させればよい。なお、ここでは３段階でアイコンを変化させる例を示しているが、例えば５段階等のように、度合いに応じたアイコンの種類を増減させてもよい。
　図１２に示すように、原因・対策情報表示領域はアイコン表示されてもよい。図中のアイコンは、乗り物酔いの原因を示すアイコンであり、上段のアイコンは、左側から順に「読書」、「急ブレーキ」、「外を見ていない状態」を示すアイコンである。下段のアイコンは、左側から順に「飲食」、「急発進」、「振動」を示すアイコンである。図１２の例では、「読書」と「急ブレーキ」が乗り物酔いの原因であると推定されているため、これらのアイコンが点灯している。
　（技術的効果）
　次に、第２実施形態に係る体調異常判定システム１によって得られる技術的効果について説明する。
　図６から図１２で説明したように、第２実施形態に係る体調異常判定システム１によれば、乗り物酔いの判定結果を表示させることで、車両１０の搭乗者に現在の状況を正確に知らせることができる。また、乗り物酔いの原因や対策を表示させることで、乗り物酔いの解消を図ることが容易となる。なお、第２実施形態も、第１実施形態と同様に、車両１０以外の移動体で発生する乗り物酔いや、乗り物酔い以外の体調異常に適用することが可能である。
　＜第３実施形態＞
　次に、第３実施形態に係る体調異常判定システム１について、図１３を参照して説明する。なお、第３実施形態は、既に説明した第１及び第２実施形態と一部の構成及び動作が異なるのみであり、その他の部分は概ね同様である。このため、以下では第１及び第２実施形態と異なる部分について詳細に説明し、他の重複する部分については説明を適宜省略するものとする。
　（システム構成）
　まず、図１３を参照しながら、第３実施形態に係る体調異常判定システム１の全体構成について説明する。図１３は、第３実施形態に係る体調異常判定システムの全体構成を示すブロック図である。なお、図１３では、図１で示した構成要素と同様ものに同一の符号を付している。
　図１３に示すように、第３実施形態に係る体調異常判定システム１は、第１実施形態に係る体調異常判定システム１の構成要素（図１参照）に加えて、制御情報出力部１０８を備えている。
　制御情報出力部１０８は、体調異常の判定結果に基づいて、車両１０を制御するための制御情報を生成し出力する。制御情報出力部１０８から出力された制御情報は、車両１０の車両制御部３０２に入力される構成となっている。車両制御部３０２は、車両１０の各部を制御可能なコントロールユニットであり、制御情報に応じた制御を実行する。
　（制御内容）
　次に、制御情報出力部１０８から出力される制御情報によって実行される制御内容（言い換えれば、車両制御部３０２で実行される制御内容）について具体的に説明する。
　制御情報出力部１０８は、例えば車両１０の自動運転に関する制御情報を出力する。具体的には、制御情報出力部１０８は、車両１０の運動を制御する運動制御部における低周波運動を除去するような制御情報を出力してもよい。このようにすれば、乗り物酔いの原因となる微小な振動を抑制することができる。制御情報出力部１０８は、急ブレーキや急発進を避けるような制御情報を出力してもよい。制御情報出力部１０８は、車両１０をゆっくり路肩に停車させるような制御情報を出力してもよい。制御情報出力部１０８は、車両１０が自動運転レベル３以上（即ち、運転者が運転にほぼ関与しないレベル）で走行している場合に、自動運転レベルを０～２のいずれか（即ち、運転者が運転に関与するレベル）に下げて、運転者が路肩に停車可能な状態に切り替えるような制御情報を出力してもよい。
　また、制御情報出力部１０８は、車室内の空調を制御する制御情報を出力するようにしてもよい。即ち、車室内の空気の状態を乗り物酔いしにくい状態に変えるための情報を出力してもよい。或いは、制御情報出力部１０８は、車室内の可動式のナビ表示部や、可動式のスマホホルダー等の位置を、搭乗者が表示画面を見たときに外の景色が視野内に入るような高さに調整する制御情報を出力してもよい。即ち、搭乗者の視野を乗り物酔いしにくい状態に変えるための情報を出力してもよい。
　（技術的効果）
　次に、第３実施形態に係る体調異常判定システム１によって得られる技術的効果について説明する。
　図１３で説明したように、第３実施形態に係る体調異常判定システム１によれば、乗り物酔いの判定結果に応じた制御を実行させることで、乗り物酔いを解消しやすい状況、或いは乗り物酔いを発生しにくい状況を実現することができる。なお、第３実施形態も、第１及び第２実施形態と同様に、車両１０以外の移動体で発生する乗り物酔いや、乗り物酔い以外の体調異常に適用することが可能である。
　＜第４実施形態＞
　次に、第４実施形態に係る体調異常判定システム１について、図１４を参照して説明する。なお、第４実施形態は、既に説明した第１から第３及実施形態と一部の構成及び動作が異なるのみであり、その他の部分は概ね同様である。このため、以下では第１から第３実施形態と異なる部分について詳細に説明し、他の重複する部分については説明を適宜省略するものとする。
　（システム構成）
　まず、図１４を参照しながら、第４実施形態に係る体調異常判定システム１の全体構成について説明する。図１４は、第４実施形態に係る体調異常判定システムの全体構成を示すブロック図である。なお、図１４では、図１で示した構成要素と同様ものに同一の符号を付している。
　図１４に示すように、第４実施形態に係る体調異常判定システム１は、特徴抽出部１０３と、特徴蓄積部１０４と、特徴関係算出部１０５と、体調異常判定部１０６とを備えている。即ち、第４実施形態に係る体調異常判定システム１は、第１実施形態に係る体調異常判定システム１の構成要素（図１参照）のうち、画像取得部１０１及び対象者検出部１０２を備えていない。
　第４実施形態に係る特徴抽出部１０３は、車室内カメラ５０で撮像された画像を取得して、その画像から、対象者の体調異常を判定するための特徴量を抽出可能に構成されている。なお、特徴量抽出部１０３以外の構成要素（即ち、特徴蓄積部１０４、特徴関係算出部１０５、及び体調異常判定部１０６）については、第１から第３実施形態のものと同様に構成されている。
　第４実施形態では特に、すでに説明した第１から第３実施形態のように、対象者検出部１０２による対象者の検出（例えば、対象者の顔領域の検出等）は実行されない。このため、特徴抽出部１０３で取得される画像は、特徴量を抽出するのに適した領域を含むもの（例えば、対象者の顔周辺を拡大して撮像した画像等）であることが好ましい。このような画像を撮像するためには、例えば車室内カメラ５０の撮像範囲を予め適切な範囲になるよう調整しておいてもよいし、車室内カメラ５０に撮像範囲を自動的に調整する機能を持たせてもよい。或いは、特徴抽出部１０３が、撮像画像から特徴量を抽出するのに適した領域を自動的に検知して、その領域から特徴量を抽出するような機能を有していてもよい。
　（技術的効果）
　次に、第４実施形態に係る体調異常判定システム１によって得られる技術的効果について説明する。
　図１４で説明したように、第４実施形態に係る体調異常判定システム１によれば、第１実施形態と同様に、搭乗者の画像から抽出される特徴量の関係性に基づいて、搭乗者の乗り物酔いを判定することができる。また、第４実施形態では特に、システム構成が簡素化されているため、装置のコストや大型化を抑制することが可能である。なお、第４実施形態も、第１から第３実施形態と同様に、車両１０以外の移動体で発生する乗り物酔いや、乗り物酔い以外の体調異常に適用することが可能である。
　＜付記＞
　以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　付記１に記載の体調異常判定システムは、対象者の画像から前記対象者の状態を示す複数の特徴量を抽出する抽出手段と、前記複数の特徴量を時系列データとして蓄積する蓄積手段と、前記蓄積手段に蓄積された前記複数の特徴量から、各特徴量間の関係性を算出する算出手段と、前記関係性に基づいて、前記対象者の体調異常を判定する判定手段とを備えることを特徴とする体調異常判定システムである。
　（付記２）
　付記２に記載の体調異常判定システムは、前記算出手段は、前記複数の特徴量の単位時間あたりの変化の度合いから、前記関係性を算出することを特徴とする付記１に記載の体調異常判定システムである。
　（付記３）
　付記３に記載の体調異常判定システムは、前記算出手段は、前記関係性として、異なる特徴量間の相関または比率を算出することを特徴とする付記１又は２に記載の体調異常判定システムである。
　（付記４）
　付記４に記載の体調異常判定システムは、前記複数の特徴量は、前記対象者の瞳の位置、顔の向き、又は視線方向に関する特徴量を含むことを特徴とする付記１から３のいずれか一項に記載の体調異常判定システムである。
　（付記５）
　付記５に記載の体調異常判定システムは、前記関係性は、顔位置と瞳の位置との相関、顔向きパン方向と視線水平方向との相関、および顔向きチルト方向と視線垂直方向との相関のうち少なくとも１つを含む、ことを特徴とする付記１から４のいずれか一項に記載の体調異常判定システムである。
　（付記６）
　付記６に記載の体調異常判定システムは、前記関係性は、顔重心位置と目位置との移動速度の比率、顔向きパン方向と視線水平方向との角速度の比率、および顔向きチルト方向と視線垂直方向との角速度の比率のうち少なくとも１つを含む、ことを特徴とする付記１から５のいずれか一項に記載の体調異常判定システムである。
　（付記７）
　付記７に記載の体調異常判定システムは、前記判定手段は、前記関係性に基づいて、前記体調異常の度合いを判定して出力することを特徴とする付記１から６のいずれか一項に記載の体調異常判定システムである。
　（付記８）
　付記８に記載の体調異常判定システムは、前記判定手段の判定結果に応じた前記対象者の前記体調異常に関する情報を、前記対象者及び前記対象者の周囲に存在する人物の少なくとも一方に提示する提示手段を更に備えることを特徴とする付記１から７のいずれか一項に記載の体調異常判定システムである。
　（付記９）
　付記９に記載の体調異常判定システムは、前記対象者は、車両の搭乗者であり、前記判定手段の判定結果に基づいて、前記体調異常に応じた前記車両の制御を実行するための制御情報を出力する出力手段を更に備えることを特徴とする付記１から８のいずれか一項に記載の体調異常判定システムである。
　（付記１０）
　付記１０に記載の体調異常判定システムは、前記体調異常は、乗り物酔いの状態であることを特徴とする付記１から９のいずれか一項に記載の体調異常判定システムである。
　（付記１１）
　付記１１に記載の体調異常判定方法は、対象者の画像から前記対象者の状態を示す複数の特徴量を抽出し、前記複数の特徴量を時系列データとして蓄積し、蓄積された前記複数の特徴量から、各特徴量間の関係性を算出し、前記関係性に基づいて、前記対象者の体調異常を判定することを特徴とする体調異常判定方法である。
　（付記１２）
　付記１２に記載のコンピュータプログラムは、対象者の画像から前記対象者の状態を示す複数の特徴量を抽出し、前記複数の特徴量を時系列データとして蓄積し、蓄積された前記複数の特徴量から、各特徴量間の関係性を算出し、前記関係性に基づいて、前記対象者の体調異常を判定するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
　本発明は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う体調異常判定システム、体調異常判定方法、及びコンピュータプログラムもまた本発明の技術思想に含まれる。
　１　体調異常判定システム
　１０　車両
　１１　ＣＰＵ
　１２　ＲＡＭ
　１３　ＲＯＭ
　１４　記憶装置
　１５　入力装置
　１６　出力装置
　１７　データバス
　２０　外部サーバ
　５０　車室内カメラ
　１０１　画像取得部
　１０２　対象者検出部
　１０３　特徴抽出部
　１０４　特徴蓄積部
　１０５　特徴関係算出部
　１０６　体調異常判定部
　１０７　判定結果出力部
　１０８　制御情報出力部
　２０１，２０２　搭乗者
　３０１　表示部
　３０２　車両制御部

Claims (12)

  1. 　対象者の画像から前記対象者の状態を示す複数の特徴量を抽出する抽出手段と、
    　前記複数の特徴量を時系列データとして蓄積する蓄積手段と、
    　前記蓄積手段に蓄積された前記複数の特徴量から、各特徴量間の関係性を算出する算出手段と、
    　前記関係性に基づいて、前記対象者の体調異常を判定する判定手段と
    　を備えることを特徴とする体調異常判定システム。
  2. 　前記算出手段は、前記複数の特徴量の単位時間あたりの変化の度合いから、前記関係性を算出することを特徴とする請求項１に記載の体調異常判定システム。
  3. 　前記算出手段は、前記関係性として、異なる特徴量間の相関または比率を算出する
    　ことを特徴とする請求項１又は２に記載の体調異常判定システム。
  4. 　前記複数の特徴量は、前記対象者の瞳の位置、顔の向き、又は視線方向に関する特徴量を含むことを特徴とする請求項１から３のいずれか一項に記載の体調異常判定システム。
  5. 　前記関係性は、顔位置と瞳の位置との相関、顔向きパン方向と視線水平方向との相関、および顔向きチルト方向と視線垂直方向との相関のうち少なくとも１つを含む、ことを特徴とする請求項１から４のいずれか一項に記載の体調異常判定システム。
  6. 　前記関係性は、顔重心位置と目位置との移動速度の比率、顔向きパン方向と視線水平方向との角速度の比率、および顔向きチルト方向と視線垂直方向との角速度の比率のうち少なくとも１つを含む、ことを特徴とする請求項１から５のいずれか一項に記載の体調異常判定システム。
  7. 　前記判定手段は、前記関係性に基づいて、前記体調異常の度合いを判定して出力することを特徴とする請求項１から６のいずれか一項に記載の体調異常判定システム。
  8. 　前記判定手段の判定結果に応じた前記対象者の前記体調異常に関する情報を、前記対象者及び前記対象者の周囲に存在する人物の少なくとも一方に提示する提示手段を更に備えることを特徴とする請求項１から７のいずれか一項に記載の体調異常判定システム。
  9. 　前記対象者は、車両の搭乗者であり、
    　前記判定手段の判定結果に基づいて、前記体調異常に応じた前記車両の制御を実行するための制御情報を出力する出力手段を更に備える
    　ことを特徴とする請求項１から８のいずれか一項に記載の体調異常判定システム。
  10. 　前記体調異常は、乗り物酔いの状態であることを特徴とする請求項１から９のいずれか一項に記載の体調異常判定システム。
  11. 　対象者の画像から前記対象者の状態を示す複数の特徴量を抽出し、
    　前記複数の特徴量を時系列データとして蓄積し、
    　蓄積された前記複数の特徴量から、各特徴量間の関係性を算出し、
    　前記関係性に基づいて、前記対象者の体調異常を判定する
    　ことを特徴とする体調異常判定方法。
  12. 　対象者の画像から前記対象者の状態を示す複数の特徴量を抽出し、
    　前記複数の特徴量を時系列データとして蓄積し、
    　蓄積された前記複数の特徴量から、各特徴量間の関係性を算出し、
    　前記関係性に基づいて、前記対象者の体調異常を判定する
    　ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
PCT/JP2019/047514 2019-12-04 2019-12-04 体調異常判定システム、体調異常判定方法、及びコンピュータプログラム Ceased WO2021111567A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US17/781,586 US12307792B2 (en) 2019-12-04 2019-12-04 Abnormal physical condition determination system, abnormal physical condition determination method, and computer program
AU2019476916A AU2019476916B2 (en) 2019-12-04 2019-12-04 Abnormal physical condition determination system, abnormal physical condition determination method, and computer program
PCT/JP2019/047514 WO2021111567A1 (ja) 2019-12-04 2019-12-04 体調異常判定システム、体調異常判定方法、及びコンピュータプログラム
JP2021562270A JP7298711B2 (ja) 2019-12-04 2019-12-04 体調異常判定システム、体調異常判定システムの作動方法、及びコンピュータプログラム
EP19955334.8A EP4070733A4 (en) 2019-12-04 2019-12-04 SYSTEM, METHOD AND COMPUTER PROGRAM FOR DETERMINING ABNORMAL PHYSICAL CONDITIONS
JP2023092541A JP7497774B2 (ja) 2019-12-04 2023-06-05 体調異常判定システム、体調異常判定システムの作動方法、コンピュータプログラム、及び車両
US18/500,436 US20240063687A1 (en) 2019-12-04 2023-11-02 Abnormal physical condition determination system, abnormal physical condition determination method, and computer program
JP2024087375A JP7718539B2 (ja) 2019-12-04 2024-05-29 車両、車両の制御方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/047514 WO2021111567A1 (ja) 2019-12-04 2019-12-04 体調異常判定システム、体調異常判定方法、及びコンピュータプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17791586 A-371-Of-International 2022-07-08
US18/500,436 Continuation US20240063687A1 (en) 2019-12-04 2023-11-02 Abnormal physical condition determination system, abnormal physical condition determination method, and computer program

Publications (1)

Publication Number Publication Date
WO2021111567A1 true WO2021111567A1 (ja) 2021-06-10

Family

ID=76221570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047514 Ceased WO2021111567A1 (ja) 2019-12-04 2019-12-04 体調異常判定システム、体調異常判定方法、及びコンピュータプログラム

Country Status (5)

Country Link
US (2) US12307792B2 (ja)
EP (1) EP4070733A4 (ja)
JP (3) JP7298711B2 (ja)
AU (1) AU2019476916B2 (ja)
WO (1) WO2021111567A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7099768B1 (ja) 2021-12-08 2022-07-12 敦史 園部 めまいの診断装置並びに遠隔めまい診断プログラム及びシステム
CN116763297A (zh) * 2022-03-17 2023-09-19 丰田自动车株式会社 晕动推测装置、晕动推测方法以及非临时性的存储介质
JP2024078278A (ja) * 2022-11-29 2024-06-10 トヨタ自動車株式会社 車両制御装置
JP2024078277A (ja) * 2022-11-29 2024-06-10 トヨタ自動車株式会社 車両制御装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040055A (ja) * 2004-07-28 2006-02-09 Matsushita Electric Ind Co Ltd 画像表示装置
WO2013008300A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 車両の緊急退避装置
WO2016013090A1 (ja) 2014-07-24 2016-01-28 富士通株式会社 顔認証装置、顔認証方法および顔認証プログラム
WO2017209225A1 (ja) 2016-06-02 2017-12-07 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム
WO2017208529A1 (ja) 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
EP3494874A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. A system and method for detecting motion sickness

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4164865B2 (ja) 2003-03-31 2008-10-15 マツダ株式会社 自動車用ナビゲーション装置
JP2006034576A (ja) 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 乗り物酔い対策装置および乗り物酔い対策方法
JP2015141099A (ja) 2014-01-29 2015-08-03 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、ナビゲーション方法及びプログラム
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
JP6531719B2 (ja) * 2016-05-23 2019-06-19 株式会社デンソー ドライバ状態検知装置、ドライバ状態検知方法
CN109689642B (zh) 2016-07-14 2022-04-12 百时美施贵宝公司 经单环杂芳基取代的化合物
JP7012933B2 (ja) 2017-03-23 2022-01-31 東芝情報システム株式会社 運転支援装置および運転支援システム
US11404075B1 (en) * 2017-11-09 2022-08-02 Amazon Technologies, Inc. Vehicle voice user interface
WO2019131116A1 (ja) 2017-12-26 2019-07-04 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム
CN111867459B (zh) 2018-03-14 2024-01-09 松下知识产权经营株式会社 晕车症估计系统、移动车辆、晕车症估计方法和晕车症估计程序
JP7211441B2 (ja) * 2019-02-01 2023-01-24 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びプログラム
US11068069B2 (en) * 2019-02-04 2021-07-20 Dus Operating Inc. Vehicle control with facial and gesture recognition using a convolutional neural network
JP7302534B2 (ja) * 2020-06-01 2023-07-04 トヨタ自動車株式会社 状態判定装置および状態判定方法
US11636694B2 (en) * 2020-09-10 2023-04-25 Qualcomm Incorporated Video-based activity recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040055A (ja) * 2004-07-28 2006-02-09 Matsushita Electric Ind Co Ltd 画像表示装置
WO2013008300A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 車両の緊急退避装置
WO2016013090A1 (ja) 2014-07-24 2016-01-28 富士通株式会社 顔認証装置、顔認証方法および顔認証プログラム
WO2017209225A1 (ja) 2016-06-02 2017-12-07 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム
WO2017208529A1 (ja) 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
EP3494874A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. A system and method for detecting motion sickness

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAGAI RENA : "Imaging technology used in automobiles, High accuracy and low-cost driver and cabin monitoring realized by the latest deep learning", EIZO JOHO INDUSTRIAL, vol. 51, no. 4, 1 August 2019 (2019-08-01), JP , pages 21 - 23, XP009536524, ISSN: 1346-1362 *
WADA, T. ET AL.: "Analysis of driver's head tilt using a mathematical model of motion sickness", INTERNATIONAL JOURNAL OF INDUSTRIAL ERGONOMICS, vol. 63, January 2018 (2018-01-01), pages 89 - 97, XP081284518 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7099768B1 (ja) 2021-12-08 2022-07-12 敦史 園部 めまいの診断装置並びに遠隔めまい診断プログラム及びシステム
JP2023084775A (ja) * 2021-12-08 2023-06-20 敦史 園部 めまいの診断装置並びに遠隔めまい診断プログラム及びシステム
CN116763297A (zh) * 2022-03-17 2023-09-19 丰田自动车株式会社 晕动推测装置、晕动推测方法以及非临时性的存储介质
US12558020B2 (en) 2022-03-17 2026-02-24 Toyota Jidosha Kabushiki Kaisha Motion sickness estimation device, motion sickness estimation method, and non-transitory storage medium
JP2024078278A (ja) * 2022-11-29 2024-06-10 トヨタ自動車株式会社 車両制御装置
JP2024078277A (ja) * 2022-11-29 2024-06-10 トヨタ自動車株式会社 車両制御装置
JP7816096B2 (ja) 2022-11-29 2026-02-18 トヨタ自動車株式会社 車両制御装置
JP7816097B2 (ja) 2022-11-29 2026-02-18 トヨタ自動車株式会社 車両制御装置

Also Published As

Publication number Publication date
US12307792B2 (en) 2025-05-20
JP7298711B2 (ja) 2023-06-27
EP4070733A4 (en) 2022-11-30
AU2019476916A1 (en) 2022-06-23
JPWO2021111567A1 (ja) 2021-06-10
US20230005279A1 (en) 2023-01-05
EP4070733A1 (en) 2022-10-12
JP7497774B2 (ja) 2024-06-11
JP2024103618A (ja) 2024-08-01
US20240063687A1 (en) 2024-02-22
JP2023120235A (ja) 2023-08-29
JP7718539B2 (ja) 2025-08-05
AU2019476916B2 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
JP7718539B2 (ja) 車両、車両の制御方法、及びコンピュータプログラム
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
CN107527000B (zh) 利用眼睛跟踪来监视驾驶员的集中度的装置和方法
JP7058800B2 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
US20150229885A1 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
US11453401B2 (en) Closed eye determination device
US20170327124A1 (en) Electronic device and method for determining a state of a driver
CN107031658B (zh) 基于瞥视方向的自动化车辆人-机界面系统
WO2017035025A1 (en) Engagement analytic system and display system responsive to user's interaction and/or position
CN115035499A (zh) 用于确定注视区域的方法、车辆控制方法及装置
JPWO2020255238A1 (ja) 情報処理装置、プログラム及び情報処理方法
KR20090052413A (ko) 운전자 시선 대응 전방 화면 디스플레이 장치 및 방법
JP6365423B2 (ja) 運転者状態判定方法及びその判定装置
JP2008079737A (ja) 集中度評価装置及びこれを用いた車両用表示装置
JP2016170688A (ja) 運転支援装置及び運転支援システム
KR102906380B1 (ko) 운전자의 뇌졸증 전조증상을 검출하기 위한 장치 및 방법
JP7814968B2 (ja) 画像表示装置及び画像表示方法
CN119343281A (zh) 信息处理装置、信息处理方法以及系统
JP6582799B2 (ja) サポート装置及びサポート方法
JP2005071041A (ja) 運転者視対象検出装置及び運転者視対象検出システム
EP4478306A1 (en) Driver distraction from uncertain gaze estimation
US11947721B2 (en) Vehicle display control apparatus and display processing method
JP7631852B2 (ja) ドライバ状態推定装置
JP7438045B2 (ja) 情報記録装置、情報記録方法及び情報記録システム
JP2025166726A (ja) 判定装置、判定用コンピュータプログラム及び判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955334

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562270

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019476916

Country of ref document: AU

Date of ref document: 20191204

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019955334

Country of ref document: EP

Effective date: 20220704

WWG Wipo information: grant in national office

Ref document number: 202217031465

Country of ref document: IN

WWG Wipo information: grant in national office

Ref document number: 17781586

Country of ref document: US