JP2019164530A - 余所見判定装置、余所見判定システム、余所見判定方法、プログラム - Google Patents

余所見判定装置、余所見判定システム、余所見判定方法、プログラム Download PDF

Info

Publication number
JP2019164530A
JP2019164530A JP2018051590A JP2018051590A JP2019164530A JP 2019164530 A JP2019164530 A JP 2019164530A JP 2018051590 A JP2018051590 A JP 2018051590A JP 2018051590 A JP2018051590 A JP 2018051590A JP 2019164530 A JP2019164530 A JP 2019164530A
Authority
JP
Japan
Prior art keywords
finding
face
surplus
determination
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018051590A
Other languages
English (en)
Other versions
JP7020215B2 (ja
Inventor
奈々 佐久間
Nana SAKUMA
奈々 佐久間
英徳 塚原
Hidenori Tsukahara
英徳 塚原
雄太 清水
Yuta Shimizu
雄太 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2018051590A priority Critical patent/JP7020215B2/ja
Priority to US16/981,069 priority patent/US20210027078A1/en
Priority to PCT/JP2019/003610 priority patent/WO2019181231A1/ja
Publication of JP2019164530A publication Critical patent/JP2019164530A/ja
Priority to JP2021104289A priority patent/JP7124935B2/ja
Application granted granted Critical
Publication of JP7020215B2 publication Critical patent/JP7020215B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】撮影画像に顔が映っていない場合でも運転状況に応じて適切に余所見判定を行う余所見判定装置、余所見判定システム、余所見判定方法、プログラムを提供する。【解決手段】撮影装置２と余所見判定装置１とが通信ネットワークで接続された運転状況監視システム１００は、余所見判定装置１が、撮影画像に基づいて顔が検出できたか否かを判定し、顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。【選択図】図１

Description

本発明は、余所見判定装置、余所見判定システム、余所見判定方法、プログラムに関する。
車等の移動体を操作する運転者の余所見を検知する技術が特許文献１に開示されている。
国際公開第２０１６／０５２５０７号
上述のような運転時の余所見を判定する技術では撮影画像に映る顔の視線に基づいて余所見の検知を行う。しかしながら撮影画像に顔が映っていない場合にはそもそも余所見判定を行っておらず、顔が映っていない場合でも運転状況に応じて適切に余所見判定を行うことが求められている。
そこでこの発明は、上述の課題を解決する余所見判定装置、余所見判定システム、余所見判定方法、プログラムを提供することを目的としている。
本発明の第１の態様によれば、余所見判定装置は、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、を備えることを特徴とする。
本発明の第２の態様によれば、撮影装置と余所見判定装置とを備え、前記撮影装置と前記余所見判定装置とが通信ネットワークで接続された余所見判定システムは、前記余所見判定装置が、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、を備えることを特徴とする。
本発明の第３の態様によれば、余所見判定方法は、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定することを特徴とする。
本発明の第４の態様によれば、プログラムは、余所見判定装置のコンピュータを、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、として機能させることを特徴とする。
本発明によれば、撮影画像に基づいて顔が映っていないと判定された場合に運転状況に応じて余所見であるか否かを判定することができる。
本実施形態による運転状況監視システムを示す図である。 本実施形態による余所見判定装置のハードウェア構成図である。 本実施形態による余所見判定装置の機能ブロック図である。 本実施形態によるドライブレコーダのハードウェア構成を示す図である。 本実施形態によるドライブレコーダの制御装置の機能ブロック図である。 本実施形態によるドライブレコーダの処理フローを示す図である。 本実施形態による余所見判定装置の処理フローを示す図である。 本実施形態による余所見判定装置の最小構成を示す図である。
以下、本発明の一実施形態による余所見判定装置を図面を参照して説明する。
図１は同実施形態による運転状況監視システムを示す図である。
図１で示すように運転状況監視システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。ドライブレコーダ２は一例としては車両に設けられている。余所見判定装置１は市中を走る複数の車両にそれぞれ設置されたドライブレコーダ２と通信接続する。
図２は余所見判定装置のハードウェア構成図である。
この図が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
図３は余所見判定装置の機能ブロック図である。
余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１には、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、を少なくとも備える。
制御部１１は他の機能部を制御する。
情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
余所見開始判定部１３は余所見判定を開始するかを判定する。
余所見判定部１４は顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。
判定結果出力部１５は余所見判定結果を出力する。
図４はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して動画像、静止画像を生成する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
図５はドライブレコーダに備わる制御装置の機能ブロック図である。
制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、撮影画像送信部２４６の各機能部が備わる。
図６はドライブレコーダの処理フローを示す図である。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況情報の送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車内および車外の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備える。カメラ２３は車内側レンズを用いて車内を車内の運転者の顔の方向の対象物を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。
そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１が取得する車両情報は車両に備わる各センサによって検出された車速、ハンドル角度、ウィンカー指示方向などであってよい。また天候情報取得部２４２は天候情報を取得する（ステップＳ１０５）。天候情報は気象庁や天候情報提供企業に備わるサーバ装置から取得してもよい。または天候情報は車両に備わるセンサ（ワイパー動作検出器や雨滴検出器）などからえられる情報であってよい。制御装置２４は、ワイパーが動作している場合、雨滴検出器が雨滴を検出している場合には雨天であると判定してよい。加速度情報取得部２４３は、加速度センサ２１から所定の時間間隔で加速度を取得する（ステップＳ１０６）。制御装置２４は車両情報、天候情報、加速度を所定の間隔で取得する。
運転状況データ送信部２４５は所定の間隔で車両情報、天候情報、加速度情報を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は車両情報、天候情報、加速度情報を余所見判定装置１へ送信する（ステップＳ１０７）。撮影画像送信部２４６は撮影画像を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は撮影画像を余所見判定装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。車両情報、天候情報、加速度情報、撮影画像には、ドライブレコーダ２のＩＤ、運転者のＩＤ、センシング時刻が付与されてよい。なお上述の処理において加速度や、天候情報を送信しているが、車両情報のみで余所見判定を行う場合には、それらの情報を送信しなくてもよい。
図７は余所見判定装置の処理フローを示す図である。
余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、撮影画像の組を、当該各ＩＤに紐づけて順次データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。
余所見開始判定部１３はある一つのドライブレコーダ２を特定し、そのＩＤに紐づいて記録されているセンシング時刻、車両情報、天候情報、加速度情報、撮影画像を取得する。余所見判定部１４は車両情報に含まれる車速が前方方向の速度（前進）を示し、かつウィンカー指示方向が方向指示を指定しておらず、所定の速度以上であるかを判定する（ステップＳ２０２）。所定の速度は一例としては２０ｋｍ／ｈなど値であてよい。余所見判定部１４は車速が前進を示し、ウィンカー指示を指定しておらず、所定の速度以上である場合に余所見判定を開始すると決定する。
余所見開始判定部１３は他の情報を利用して、または他の情報を追加で利用して余所見判定を開始すると決定してもよい。例えば、余所見判定部１４は加速度が０以上かを判定して、加速度が０以上である場合に余所見判定を開始すると決定してもよい。また余所見判定部１４はハンドル角度が所定の範囲内か否かによって余所見判定を開始すると決定してもよい。ハンドル角度の所定の範囲は例えば直進方向を基準とする左右１０度などであってよい。また余所見判定部１４は天候情報が雨を示す場合に余所見判定を開始すると決定してもよい。余所見判定部１４は車外の撮影画像に基づいて余所見判定を開始すると決定してもよい。例えば、撮影画像の直進方向に対象物が映る場合、撮影画像に車線のカーブが映る場合、余所見判定を開始すると決定してよい。余所見判定部１４は余所見判定を開始すると決定すると、余所見判定部１４は開始を指示する。余所見判定部１４は余所見判定を開始するかどうかの判定処理を所定の間隔で繰り返す。
余所見判定部１４は現在の処理対象のドライブレコーダ２のＩＤに基づいて情報取得部１２の既に取得している撮影画像を当該情報取得部１２から入力する。余所見判定部１４は余所見判定を開始すると決定した場合、所定の間隔でドライブレコーダ２から受信する撮影画像を順次読み取る。
余所見判定部１４は撮影画像を読み取ると、余所見判定を続けることが出来る程度に撮影画像に顔が映っているかを判定する顔検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できるかを判定する（ステップＳ２０３）。余所見判定部１４は新たに取得した撮影画像内に顔を検出した場合次の顔方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間のセンシング時刻の撮影画像について、所定割合以上の回数で顔が映っていないかを判定する（ステップＳ２０４）。余所見判定部１４は、所定期間の間に取得した撮影画像について、所定割合以上の回数で顔が映っていない場合、余所見をしていると判定する（ステップＳ２０５）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が映っていない回数が所定割合未満の場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。
上述の顔検出処理において余所見判定部１４は、運転者が眼鏡やマスクをかけている場合、余所見判定を続けることが出来る程度に撮影画像に顔が映っていないと判定されてもよい。この場合、余所見判定部１４は処理を終了すると判定してもよい。
余所見判定部１４は顔方向検出処理において、新たに取得した撮影画像内の顔方向が直進方向を基準とする所定の範囲内かを判定する（ステップＳ２０６）。所定範囲は直進方向を基準として左右１０度などの範囲であってよい。余所見判定部１４は現在の車速に基づいて所定範囲の広さを変更してもよい。例えば余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内である場合、視線方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する（ステップＳ２０７）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２０８）。余所見判定部１４は、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を変動させてもよい。例えば余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。
余所見判定部１４は視線方向検出処理において、新たに取得した撮影画像内の視線方向が直進方向を基準とする所定の範囲内かを判定する（ステップＳ２０９）。所定範囲は直進方向を基準として左右１０度などの範囲であってよい。余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の範囲内である場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する（ステップＳ２１０）。余所見判定部１４は、所定期間の間に取得した撮影画像について、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２１１）。余所見判定部１４は、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を変動させてもよい。例えば余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。
余所見判定部１４は余所見が行われていると判定した場合には、判定結果出力部１５へ余所見判定結果を出力するよう指示する。判定結果出力部１５は余所見が行われていると判定したドライブレコーダ２のＩＤを取得する。判定結果出力部１５はドライブレコーダ２のＩＤに基づいてその送信先となるネットワークアドレスをデータベース１０４から取得する。送信先のネットワークアドレスは予めデータベース１０４に記録されているものとする。判定結果出力部１５は当該送信先に余所見検知を示す情報を送信する（ステップＳ２１２）。判定結果出力部１５は余所見検知を示す情報を、ドライブレコーダ２のＩＤや運転者のＩＤに紐づけてデータベース１０４に記録してもよい。余所見判定部１４は終了するかを判定する（ステップＳ２１３）。終了しない場合、余所見判定装置１は次にドライブレコーダ２から受信した処理を用いて同様の処理を所定間隔で繰り返す。
ドライブレコーダ２は余所見検知の情報を受信する。ドライブレコーダ２は余所見検知の情報を受信すると、アラーム音を発信するなど、余所見検知を運転者に知らせる処理を行う。これにより運転者は余所見運転を認識することができる。
上述の処理においてはクラウドサーバとして通信ネットワークに接続された余所見判定装置１が余所見判定を行っている。しかしながら上述の余所見判定の処理はドライブレコーダ２が単独で行うようにしてもよい。つまりドライブレコーダ２が余所見判定装置１として動作してもよい。この場合、ドライブレコーダ２が上述の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５と同様の処理を行うようにしてもよい。またはドライブレコーダ２と接続された車内に搭載されている車載器が情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５の処理を備えてもよい。この場合、車載器が余所見判定装置１として動作する。この場合、車載器の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５と同様の処理を行う。
上述の処理によれば顔の方向や視線の方向が検知できない場合でも顔が検出できたかどうかで余所見検知を行うことができる。
また上述の処理によれば顔方向や視線方向が少しずれただけで余所見検知アラートをすることはなく、所定期間内において所定割合で顔方向や視線方向がずれた場合に余所見検知アラートを出力する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の余所見判定装置１によれば、低速での運転などの所定の速度以下など視線方向が前方から離れるような場合に余所見であると判定されてしまうことを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の処理によれば余所見判定装置１は車両の速度低下に応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行うことで、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において速度が低下するほど当該所定割合の値を減少させる。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
図８は余所見判定装置の最小構成を示す図である。
余所見判定装置１は少なくとも余所見判定部１４を備えればよい。余所見判定部１４は撮影画像に基づいて顔が検出できたか否かを判定し、顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。
上述の余所見判定装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
１・・・余所見判定装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２４３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部

Claims (11)

  1. 撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
    を備える余所見判定装置。
  2. 前記余所見判定部は、前記撮影画像に基づいて顔方向が所定の条件範囲か否かを判定し、
    前記余所見判定部は、前記顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
    請求項１に記載の余所見判定装置。
  3. 前記余所見判定部は、前記撮影画像に基づいて視線方向が所定の条件範囲か否かを判定し、
    前記余所見判定部は、前記視線方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
    請求項２に記載の余所見判定装置。
  4. 前記余所見判定部は、運転時に取得した運転状況情報をさらに用いて前記余所見状態か否かを判定する
    請求項１から請求項３の何れか一項に記載の余所見判定装置。
  5. 前記運転状況情報が速度であり、
    前記余所見判定部は、前記速度が所定速度以上である場合に前記余所見状態か否かを判定する処理を行う
    請求項４に記載の余所見判定装置。
  6. 前記運転状況情報が加速度であり、
    前記余所見判定部は、前記加速度が所定加速度以上である場合に前記余所見状態か否かを判定する処理を行う
    請求項４に記載の余所見判定装置。
  7. 前記運転状況情報が天候情報であり、
    前記余所見判定部は、前記天候情報が所定の天候情報である場合に前記余所見状態か否かを判定する処理を行う
    請求項４に記載の余所見判定装置。
  8. 前記運転状況情報が運転操作情報であり、
    前記余所見判定部は、前記運転操作情報が所定の運転操作情報である場合に前記余所見状態か否かを判定する処理を行う
    請求項４に記載の余所見判定装置。
  9. 撮影装置と余所見判定装置とを備え、前記撮影装置と前記余所見判定装置とが通信ネットワークで接続された余所見判定システムであって、
    前記余所見判定装置が、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、
    を備える余所見判定システム。
  10. 撮影画像に基づいて顔が検出できたか否かを判定し、
    前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
    余所見判定方法。
  11. 余所見判定装置のコンピュータを、
    撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、
    として機能させるプログラム。
JP2018051590A 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム Active JP7020215B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018051590A JP7020215B2 (ja) 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
US16/981,069 US20210027078A1 (en) 2018-03-19 2019-02-01 Looking away determination device, looking away determination system, looking away determination method, and storage medium
PCT/JP2019/003610 WO2019181231A1 (ja) 2018-03-19 2019-02-01 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体
JP2021104289A JP7124935B2 (ja) 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018051590A JP7020215B2 (ja) 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021104289A Division JP7124935B2 (ja) 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2019164530A true JP2019164530A (ja) 2019-09-26
JP7020215B2 JP7020215B2 (ja) 2022-02-16

Family

ID=67986418

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018051590A Active JP7020215B2 (ja) 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP2021104289A Active JP7124935B2 (ja) 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021104289A Active JP7124935B2 (ja) 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Country Status (3)

Country Link
US (1) US20210027078A1 (ja)
JP (2) JP7020215B2 (ja)
WO (1) WO2019181231A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022088892A (ja) * 2020-12-03 2022-06-15 ダイハツ工業株式会社 脇見検出システム
WO2022234794A1 (ja) 2021-05-07 2022-11-10 合同会社金剛力本舗 菌根菌 子嚢菌白色木材腐朽菌醗酵及び醗酵産生物質食糧、加工食品、飲料、茶、生薬、家畜飼料製造及び当該菌醗酵による生理活性物質抽出法及び当該菌産生物質製造法。

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7259957B2 (ja) * 2019-06-11 2023-04-18 日本電気株式会社 判定システム、処理方法、プログラム
WO2024202037A1 (ja) * 2023-03-31 2024-10-03 本田技研工業株式会社 ドライバ監視装置及びプログラムと媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158987A (ja) * 2006-12-26 2008-07-10 Mitsubishi Fuso Truck & Bus Corp ドライブレコーダ
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442490B2 (en) * 2009-11-04 2013-05-14 Jeffrey T. Haley Modify function of driver's phone during acceleration or braking
US20190034706A1 (en) * 2010-06-07 2019-01-31 Affectiva, Inc. Facial tracking with classifiers for query evaluation
US20160191995A1 (en) * 2011-09-30 2016-06-30 Affectiva, Inc. Image analysis for attendance query evaluation
US11360107B1 (en) * 2014-02-25 2022-06-14 Labrador Diagnostics Llc Systems and methods for sample handling
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
EP3134847A1 (en) * 2014-04-23 2017-03-01 Google, Inc. User interface control using gaze tracking
KR102051142B1 (ko) * 2014-06-13 2019-12-02 현대모비스 주식회사 차량용 운전자 위험 지수 관리 시스템 및 그 방법
JP6524501B2 (ja) * 2015-06-11 2019-06-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
CN107851324B (zh) * 2015-07-28 2022-12-20 索尼公司 信息处理系统、信息处理方法和记录介质
JP6593011B2 (ja) 2015-07-30 2019-10-23 いすゞ自動車株式会社 安全運転促進装置及び安全運転促進方法
GB201520398D0 (en) * 2015-11-19 2016-01-06 Realeyes Oü Method and apparatus for immediate prediction of performance of media content
WO2018013968A1 (en) * 2016-07-14 2018-01-18 Brightday Technologies, Inc. Posture analysis systems and methods
JP6669273B2 (ja) * 2016-10-11 2020-03-18 株式会社デンソー 運転車両の防曇部を制御する車両用制御装置
JPWO2018097177A1 (ja) * 2016-11-24 2019-10-17 株式会社ガイア・システム・ソリューション エンゲージメント測定システム
CN110087946B (zh) * 2016-12-15 2023-01-10 株式会社小糸制作所 车辆用照明系统和车辆
US10949690B2 (en) * 2017-02-15 2021-03-16 Mitsubishi Electric Corporation Driving state determination device, determination device, and driving state determination method
US10446031B2 (en) * 2017-03-14 2019-10-15 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle
US11164459B2 (en) * 2017-03-14 2021-11-02 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle
JP6686959B2 (ja) * 2017-04-11 2020-04-22 株式会社デンソー 車両用報知装置
JP6885222B2 (ja) * 2017-06-30 2021-06-09 いすゞ自動車株式会社 車両用情報処理装置
KR102389678B1 (ko) * 2017-09-09 2022-04-21 애플 인크. 생체측정 인증의 구현
US11150918B2 (en) * 2017-09-20 2021-10-19 Ford Global Technologies, Llc Method and apparatus for user-designated application prioritization
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
US10572745B2 (en) * 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
DE102018127756A1 (de) * 2017-11-15 2019-05-16 Omron Corporation Fahrerüberwachungsvorrichtung, verfahren und programm
JP6683185B2 (ja) * 2017-11-15 2020-04-15 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
WO2019099033A1 (en) * 2017-11-17 2019-05-23 Ford Global Technologies, Llc Trip information control scheme
WO2019130156A1 (en) * 2017-12-29 2019-07-04 Harman International Industries, Incorporated Spatial infotainment rendering system for vehicles
JP6981305B2 (ja) * 2018-02-27 2021-12-15 トヨタ自動車株式会社 情報処理装置、画像配信システム、情報処理方法、及びプログラム
JP7307558B2 (ja) * 2019-03-06 2023-07-12 株式会社Subaru 車両の運転制御システム
US11361593B2 (en) * 2020-08-31 2022-06-14 Alipay Labs (singapore) Pte. Ltd. Methods and devices for face anti-spoofing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158987A (ja) * 2006-12-26 2008-07-10 Mitsubishi Fuso Truck & Bus Corp ドライブレコーダ
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022088892A (ja) * 2020-12-03 2022-06-15 ダイハツ工業株式会社 脇見検出システム
WO2022234794A1 (ja) 2021-05-07 2022-11-10 合同会社金剛力本舗 菌根菌 子嚢菌白色木材腐朽菌醗酵及び醗酵産生物質食糧、加工食品、飲料、茶、生薬、家畜飼料製造及び当該菌醗酵による生理活性物質抽出法及び当該菌産生物質製造法。

Also Published As

Publication number Publication date
JP2021157831A (ja) 2021-10-07
WO2019181231A1 (ja) 2019-09-26
JP7020215B2 (ja) 2022-02-16
JP7124935B2 (ja) 2022-08-24
US20210027078A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP2019174885A (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
CN108790630B (zh) 道路水检测
JP7124935B2 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
WO2019188926A1 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体
JP6392735B2 (ja) 情報処理装置、情報処理方法、車両の制御装置及び車両の制御方法
JP2019091268A (ja) 脇見判定装置、脇見判定方法、およびプログラム
JP2020123339A (ja) 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置
JP6806107B2 (ja) 障害物認識支援装置、障害物認識支援方法、プログラム
CN111052174A (zh) 图像处理设备、图像处理方法和程序
US20240386730A1 (en) Inattentiveness determination device, inattentiveness determination system, inattentiveness determination method, and storage medium for storing program
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
JP7259957B2 (ja) 判定システム、処理方法、プログラム
CN112542060A (zh) 车用后侧方警报装置
JP7069726B2 (ja) 通知装置及び車載機
JP2006182108A (ja) 車両周辺監視装置
KR102467632B1 (ko) 차량 후방 감지 장치 및 방법
JP4768499B2 (ja) 車載周辺他車検出装置
JP6740644B2 (ja) 報知装置
CN112389447B (zh) 驾驶行为判定装置、判定方法及非暂时性存储介质
JP4400264B2 (ja) 移動物体危険判定装置
KR20200082463A (ko) 영상 기록 장치 및 그 동작 방법
JP2007062434A (ja) 車両用警報装置
JP2019205032A (ja) 車載用故障検出装置、及び故障検出方法
KR20170070708A (ko) 운전자 상태 검출장치 및 방법
CN121096146A (zh) 基于yts的车辆轨迹预测方法、装置以及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210623

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210701

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7020215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151