JP7622832B2 - 制限速度認識方法及び制限速度認識装置 - Google Patents

制限速度認識方法及び制限速度認識装置 Download PDF

Info

Publication number
JP7622832B2
JP7622832B2 JP2023523925A JP2023523925A JP7622832B2 JP 7622832 B2 JP7622832 B2 JP 7622832B2 JP 2023523925 A JP2023523925 A JP 2023523925A JP 2023523925 A JP2023523925 A JP 2023523925A JP 7622832 B2 JP7622832 B2 JP 7622832B2
Authority
JP
Japan
Prior art keywords
speed limit
vehicle
signs
limit signs
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023523925A
Other languages
English (en)
Other versions
JPWO2022249468A5 (ja
JPWO2022249468A1 (ja
Inventor
和之 上保
靖久 平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of JPWO2022249468A1 publication Critical patent/JPWO2022249468A1/ja
Publication of JPWO2022249468A5 publication Critical patent/JPWO2022249468A5/ja
Application granted granted Critical
Publication of JP7622832B2 publication Critical patent/JP7622832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/143Speed control
    • B60W30/146Speed limiting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、制限速度認識方法及び制限速度認識装置に関する。
下記特許文献1には、画像取得手段により取得した画像に基づいて認識した制限速度と、地図情報に基づいて認識した制限速度と、外部との通信に基づいて認識した制限速度のうちいずれかを選択して、選択した制限速度に基づいて走行制御を行う車両制御装置が記載されている。
特開2021-014239号公報
しかしながら、特許文献1に記載の車両制御装置は、カメラにより取得した撮像画像から複数の速度制限標識が認識された場合に、どの速度制限標識に指示された速度を制限速度として認識すればいいかを選択できない。
本発明は、カメラにより取得した撮像画像から複数の速度制限標識が認識された場合における制限速度の認識精度を向上することを目的とする。
本発明の一態様の制限速度認識方法では、自車両の前方の環境を表す撮像画像をカメラから取得する処理と、撮像画像から速度制限標識を認識する処理と、撮像画像から複数の速度制限標識が認識されたか否かを判定する処理と、複数の速度制限標識が認識されたと判定した場合に、複数の速度制限標識が、自車両の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定する処理と、複数の速度制限標識が、自車両の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むと判定した場合に、自車両の右前方と左前方にそれぞれ存在する速度制限標識が示す制限速度を、自車両の制限速度であると認識する処理と、コントローラに実行させる。
本発明によれば、カメラにより取得した撮像画像から複数の速度制限標識が認識された場合における制限速度の認識精度を向上できる。
本発明の目的及び利点は、特許請求の範囲に示した要素及びその組合せを用いて具現化され達成される。前述の一般的な記述及び以下の詳細な記述の両方は、単なる例示及び説明であり、特許請求の範囲のように本発明を限定するものでないと解するべきである。
実施形態の運転支援装置を搭載する車両の概略構成の一例を示す図である。 図1の入力装置の一部を示す図である。 複数の速度制限標識が同時に認識される状況の第1例の説明図である。 複数の速度制限標識が同時に認識される状況の第2例の説明図である。 実施形態の制限速度認識方法の一例のフローチャートである。
(構成)
図1は、実施形態の運転支援装置を搭載する車両の概略構成の一例を示す図である。車両1に搭載された運転支援装置10は、センサ11と、測位装置12と、地図データベース(地図DB)13と、車載機器14と、ナビゲーションシステム15と、表示装置16と、音声出力装置17と、入力装置18と、車両挙動制御装置19と、コントローラ20を備える。これらの装置は、相互に情報の送受信を行うために、たとえばCAN(Controller Area Network)その他の車載LANによって接続されている。
センサ11は、車両1の走行状態を検出する。たとえば、センサ11は、車両1の前方を撮像する前方カメラ、車両1の後方を撮像する後方カメラ、車両1の左右の側方を撮像する側方カメラ等のカメラを含む。また、センサ11は、車両1の前方の障害物を検出する前方レーダ、車両1の後方の障害物を検出する後方レーダ、車両1の左右の側方に存在する障害物を検出する側方レーダ等のレーダを含む。さらに、センサ11は、車両1の車速を検出する車速センサ、乗員(例えば運転者)によるハンドルの保持を検出するタッチセンサ(静電容量センサ)および乗員を撮像する車内カメラなどを含む。
測位装置12は、GPSユニット、ジャイロセンサ、および車速センサなどを備える。測位装置12は、GPSユニットにより複数の衛星通信から送信される電波を検出し、車両1の位置情報を周期的に取得する。また、測位装置12は、取得した車両1の位置情報と、ジャイロセンサから取得した角度変化情報と、車速センサから取得した車速とに基づいて、車両1の現在位置を検出する。
地図データベース13は、各種施設や特定の地点の位置情報を含む三次元高精度地図情報を格納し、コントローラ20からアクセス可能とされたメモリである。三次元高精度地図情報は、データ取得用車両を用いて実際の道路を走行した際に検出された道路形状に基づく三次元地図情報である。三次元高精度地図情報は、地図情報とともに、カーブ路及びそのカーブの大きさ(たとえば曲率又は曲率半径)、道路の合流地点、分岐地点、料金所、車線数の減少位置などの詳細かつ高精度の位置情報が、三次元情報として関連付けられた地図情報である。
また、三次元高精度地図情報は、道路の制限速度を示す制限速度情報を含んでいる。制限速度情報は、例えば道路や車線に対応付けられて、対応付けた道路や車線の制限速度を指定する情報であってもよく、制限速度標識の設置位置とその制限速度の情報であってもよい。
車載機器14は、車両1に搭載された各種機器であり、乗員の操作により動作する。このような車載機器としては、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、ワイパー、ライト、クラクション、その他の特定のスイッチなどが挙げられる。
ナビゲーションシステム15は、測位装置12から車両1の現在の位置情報を取得し、ナビゲーション用の地図情報に車両1の位置を重ね合わせてディスプレイなどに表示する。また、ナビゲーションシステム15は、目的地が設定された場合に、その目的地までのルートを設定し、設定したルートを乗員に案内するナビゲーション機能を備える。このナビゲーション機能は、ディスプレイの地図上にルートを表示し、音声等によってルートを乗員に知らせる。ナビゲーションシステム15で設定されたルートは、コントローラ20が備えるルート走行支援機能でも利用される。ルート走行支援機能は、設定されたルートに基づいて、車両1を目的地まで自律走行させる機能である。
表示装置16は、たとえば、ナビゲーションシステム15が備えるディスプレイ、ルームミラーに組み込まれたディスプレイ、メータ部に組み込まれたディスプレイ、フロントガラスに映し出されるヘッドアップディスプレイ等の各種ディスプレイを含む。表示装置16は、コントローラ20の制御に従って、各種の提示情報を乗員に報知する。
音声出力装置17は、ナビゲーションシステム15が備えるスピーカ、オーディオ装置のスピーカ、ブザー等の聴覚的情報を出力する装置である。音声出力装置17は、コントローラ20の制御に従って、各種の提示情報を乗員に報知する。
入力装置18は、たとえば、乗員の手動操作による入力が可能なボタンスイッチ、ディスプレイ画面上に配置されたタッチパネル、又は乗員の音声による入力が可能なマイクなどの装置である。乗員が入力装置18を操作することで、表示装置16や音声出力装置17により提示された提示情報に対する設定情報を入力することができる。
図2は、本実施形態の入力装置18の一部を示す図である。入力装置18は、例えばハンドルのスポーク部などに配置されたボタンスイッチ群であってよい。入力装置18は、コントローラ20が備える自律走行制御機能のオン/オフ等を設定する際に使用する。入力装置18は、メインスイッチ181と、リジューム・アクセラレートスイッチ182と、セット・コーストスイッチ183と、キャンセルスイッチ184と、車間調整スイッチ185と、車線変更支援スイッチ186とを備える。
メインスイッチ181は、コントローラ20の自律走行制御機能をオン/オフするスイッチである。リジューム・アクセラレートスイッチ182は、自律走行制御機能をオフしたのちオフ前の設定速度で自律走行制御機能を再開することを設定したり、設定速度を上げるスイッチである。セット・コーストスイッチ183は、自律走行制御機能を開始するスイッチである。自律走行制御機能を開始するには、メインスイッチ181により自律走行制御機能をオンした後に、セット・コーストスイッチ183を押下する。またセット・コーストスイッチ183は、設定速度を下げるスイッチである。キャンセルスイッチ184は、自律走行制御機能を解除するスイッチである。車間調整スイッチ185は、先行車両との車間距離を設定するためのスイッチである。車線変更支援スイッチ186は、コントローラ20が車線変更の開始を乗員に確認した場合に車線変更の開始を指示する(承諾する)ためのスイッチである。
なお、図2に示すボタンスイッチ群以外にも、方向指示器の方向指示レバーやその他の車載機器14のスイッチを入力装置18として用いることができる。例えば、コントローラ20から自動で車線変更を行うか否かを提案された場合に、乗員が方向指示レバーを操作すると、提案された車線変更ではなく、方向指示レバーが操作された方向に向かって車線変更を行う。
車両挙動制御装置19は、車両1の車両挙動を制御する。たとえば、車両挙動制御装置19は、自律走行制御機能により車両1が設定速度で定速走行する場合には、車両1が設定速度となるように、加減速度および走行速度を実現するための駆動機構の動作およびブレーキ動作を制御する。また、車両挙動制御装置19は、自律走行制御機能により車両1が先行車両に追従走行する場合にも、同様に駆動機構及びブレーキの動作を制御する。なお、駆動機構の動作制御は、エンジン自動車にあっては内燃機関の動作、電気自動車系にあっては走行用モータの動作を含む。また、ハイブリッド自動車にあっては、内燃機関と走行用モータとのトルク配分を含む。
また車両挙動制御装置19は、自律走行制御機能により、後述するレーンキープ制御、車線変更支援機能、追い越し支援機能又はルート走行支援機能を実行する場合に、駆動機構とブレーキの動作制御に加えて、ステアリングアクチュエータの動作を制御することで、車両1の操舵制御を実行する。
コントローラ20は、車両1の走行を制御するための1つ又は複数の電子制御ユニット(ECU:Electronic Control Unit)であり、プロセッサ21と、記憶装置22等の周辺部品とを含む。プロセッサ21は、例えばCPU(Central Processing Unit)やMPU(Micro-Processing Unit)であってよい。記憶装置22は、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置22は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。
以下に説明するコントローラ20の機能は、例えばプロセッサ21が、記憶装置22に格納されたコンピュータプログラムを実行することにより実現される。
なお、コントローラ20を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えば、コントローラ20は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えばコントローラ20はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。
コントローラ20は、車両1の走行状態に関する情報を取得する走行情報取得機能と、車両1の走行速度及び/又は操舵を自律制御する自律走行制御機能とを実現する。コントローラ20の走行情報取得機能は、車両1の走行状態に関する走行情報を取得する機能である。たとえば、コントローラ20は、走行情報としてセンサ11の前方カメラ、後方カメラ及び側方カメラにより撮像された車両外部の画像情報を取得してよい。また、コントローラ20は、走行情報として前方レーダ、後方レーダ及び側方レーダによる検出結果を取得する。さらに、コントローラ20は、走行情報としてセンサ11の車速センサにより検出された車両1の車速情報や、車内カメラにより撮像された乗員の顔の画像情報も走行情報として取得する。
さらに、コントローラ20は、走行情報として、車両1の現在の位置情報を測位装置12から取得する。また、コントローラ20は、設定された目的地及び目的地までのルートを走行情報としてナビゲーションシステム15から取得する。さらに、コントローラ20は、走行情報として、カーブ路及びそのカーブの大きさ(たとえば曲率又は曲率半径)、合流地点、分岐地点、料金所、車線数の減少位置などの位置情報を走行情報として地図データベース13から取得する。加えて、コントローラ20は、走行情報として、乗員による車載機器14の操作情報を、車載機器14から取得する。
コントローラ20の自律走行制御機能は、車両1の走行を乗員の操作に依ることなく自律制御する機能である。コントローラ20の自律走行制御機能は、車両1の走行速度を自律制御する自律速度制御機能と、車両1の操舵を自律制御する自律操舵制御機能とを含む。以下、本実施形態の自律速度制御機能と自律操舵制御機能について説明する。なお、本発明において自律走行制御機能は、自律速度制御機能のみを含んでいれば足り、自律走行制御機能は必ずしも自律操舵制御機能を含んでいなくてもよい。
《自律速度制御機能》
自律速度制御機能は、先行車両を検出しているときは、車両1が走行中の道路の制限速度、又は乗員が設定した車速を上限にして、車速に応じた車間距離を保つように車間制御を行いつつ先行車両に追従走行する機能である。
一方、先行車両を検出していない場合には、自律速度制御機能は、車両1が走行中の道路の制限速度、又は乗員が設定した車速で定速走行を行う。前者を車間制御、後者を定速制御ともいう。
コントローラ20は、センサ11により道路標識から走行中の道路の制限速度を認識し、あるいは地図データベース13の地図情報から制限速度を認識して、その制限速度を自動的に設定車速にする機能を含んでもよい。制限速度の認識方法については後述する。
定速制御は、センサ11の前方レーダ等により、自車線の前方に先行車両が存在しないことが検出された場合に実行される。定速制御では、設定された走行速度を維持するように、車速センサによる車速データをフィードバックしながら、車両挙動制御装置19によりエンジンやブレーキなどの駆動機構の動作を制御する。
車間制御は、センサ11の前方レーダ等により、自車線の前方に先行車両が存在することが検出された場合に実行される。車間制御では、設定された走行速度を上限にして、設定された車間距離を維持するように、前方レーダにより検出した車間距離データをフィードバックしながら、車両挙動制御装置19によりエンジンやブレーキなどの駆動機構の動作を制御する。
《自律操舵制御機能》
自律操舵制御機能は、ステアリングアクチュエータの動作を制御することで、車両1の操舵制御を実行する機能である。
自律操舵制御機能は、例えば、レーンキープ機能、車線変更支援機能、追い越し支援機能、及びルート走行支援機能などを含む。
レーンキープ機能とは、例えば車線の中央付近を走行するようにステアリングアクチュエータを制御して、乗員のハンドル操作を支援する機能である。
メインスイッチ181により自律走行制御機能をオンした後に、セット・コーストスイッチ183が押下されると、コントローラ20は所定の自律走行制御開始条件が成立するか否かを判定する。自律走行制御開始条件が成立すると判定した場合に、コントローラ20は、自律操舵制御機能のレーンキープ機能を実行する。
または、メインスイッチ181により自律走行制御機能をオンした後に、自律走行制御開始条件が成立すると、コントローラ20は、セット・コーストスイッチ183が押下されるのを待つ。セット・コーストスイッチ183が押下されると、コントローラ20は、自律走行制御を開始して自律操舵制御機能のレーンキープ機能を実行する。
《車線変更支援機能》
車線変更支援機能は、乗員が方向指示レバーを操作すると方向指示器を点灯し、所定の車線変更開始条件を満たした場合に、自動車線変更の一連の処理である車線変更操作を開始する。車線変更支援機能は、走行情報取得機能により取得した各種の走行情報に基づいて、所定の車線変更開始条件が成立したか否かを判断する。
車線変更支援機能は、車線変更開始条件を満たした場合に車線変更操作を開始する。車線変更操作では、車両1を隣接車線へ横移動させ、隣接車線への移動が完了すると方向指示器を消灯し、隣接車線でのレーンキープ機能の実行を開始する。
《追い越し支援機能》
追い越し支援機能は、自車線の前方に車両1よりも遅い先行車両が存在し、かつ、所定の追い越し提案条件を満たした場合に、追い越し情報を表示装置16により乗員に提示する。ここで、追い越し情報とは、先行車両の追い越しを行なうことを乗員に提案するための情報である。追い越し支援機能は、追い越し情報の提示に対し、乗員が入力装置18の車線変更支援スイッチ186を操作して承諾し、かつ、予め設定された追い越し開始条件を満たした場合に、方向指示器を点灯して上述した車線変更操作を開始する。追い越し支援機能は、走行情報取得機能により取得した各種走行情報に基づいて、追い越し提案条件及び追い越し開始条件が成立したか否かを判断する。
《ルート走行支援機能》
ルート走行支援機能は、設定されたルートに分岐地点や合流地点、出口や料金所等の走行方向変更地点が存在し、走行方向変更地点までの距離が所定距離以内であり、かつ、所定のルート走行提案条件を満たした場合に、ルート走行情報を表示装置16により提示し、走行方向変更地点への車線変更を提案する。また、ルート走行支援機能は、車線変更の提案が車線変更支援スイッチ186の操作により承諾され、かつ、所定のルート走行開始条件を満たした場合に車線変更操作を開始する。
ルート走行支援機能は、走行情報取得機能により取得した各種走行情報に基づいて、ルート走行提案条件及びルート走行開始条件が成立したか否かを判断する。
《制限速度の認識方法》
上記のとおりコントローラ20は、センサ11により道路標識から走行中の道路の制限速度を認識し、あるいは地図データベース13の地図情報から制限速度を認識して、認識した制限速度を自律速度制御機能の設定車速に用いる。またコントローラ20は、認識した制限速度を、表示装置16に表示する。例えば、メータ部に組み込まれたディスプレイ、フロントガラスに映し出されるヘッドアップディスプレイに表示する。
制限速度を認識する際に、コントローラ20は、車両1の前方の環境を撮影するカメラであるセンサ11の前方カメラから、車両1の前方の環境を表す撮像画像を取得する。コントローラ20は、取得した撮像画像から速度制限標識を認識するとともに、車両1から速度制限標識までの距離を推定する。車両1から速度制限標識までの距離は、例えば速度制限標識の支持構造物の接地位置の座標を撮像画像から検出することで推定できる。
コントローラ20は、車両1から遠い位置にある速度制限標識を、速度制限標識の認識結果から除外する。例えば、車両1から閾値距離よりも遠い位置にある速度制限標識を認識結果から除外する。
そして、コントローラ20は、車両1から遠い位置にある速度制限標識を除外した後に、撮像画像から速度制限標識が認識されたか否かを判定する。すなわち、車両1から遠い位置にある速度制限標識以外の制限速度標識が、撮像画像から認識されたか否かを判定する。速度制限標識が撮像画像から認識された場合に、撮像画像から認識された速度制限標識が示す制限速度を車両1が走行する道路の制限速度として認識する。また、速度制限標識が撮像画像から認識されない場合には、三次元高精度地図情報に含まれる制限速度情報に基づいて車両1が走行する道路の制限速度を認識する。例えば、三次元高精度地図情報において車両1が走行する道路に対応付けて記憶された制限速度を、車両1が走行する道路の制限速度として認識してよい。
撮像画像から、複数の速度制限標識が同時に認識される場合がある。図3は、複数の速度制限標識が同時に認識される状況の第1例の説明図である。
図3は、第1道路R1及び第2道路R2を含んだ複数の道路が併設されており、車両1が第1道路R1を走行している状況を例示している。例えば、第1道路R1は米国のフリーウェイ(freeway)であり、第2道路R2はエクスプレスウェイ(Expressway)である。第1道路R1の速度制限標識31及び32は比較的低い制限速度(図3の例では時速55マイル)を示し、第2道路R2の速度制限標識33及び34は比較的高い制限速度(図3の例では時速65マイル)を示している。
このような場合に、第1道路R1の速度制限標識31及び32と、第2道路R2の速度制限標識33及び34とを撮像画像から同時に認識することがある。すなわち、撮像画像から同時に認識された複数の速度制限標識が、異なる複数の制限速度(図3の例では、時速55マイルと時速65マイル)を示すことがある。
このように複数の速度制限標識を同時に撮像画像から認識した場合には、車両1が走行している道路の速度制限標識ではない標識を、車両1が走行している道路の速度制限標識として誤認識する恐れがある。
図3の例では、車両1が走行している道路ではない第2道路R2の速度制限標識33及び34が示す制限速度である時速65マイルを、車両1が走行する道路の制限速度として誤って認識する恐れがある。
そこで、コントローラ20は、撮像画像から複数の速度制限標識が認識されたか否かを判定し、複数の速度制限標識が認識されたと判定した場合に、認識された複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定する。
図3の例では、コントローラ20は、撮像画像から複数の速度制限標識31~34が認識されたと判定する。そしてコントローラ20は、複数の速度制限標識31~34が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度(図3の例では時速55マイル)を示す速度制限標識31及び32を含むと判定する。
なお、速度制限標識31及び32は、必ずしも第1道路R1の左右の道路端に位置している標識である必要はない。速度制限標識31及び32は、例えば撮像画像の横方向の中央よりも右側の座標と左側の座標でそれぞれ検出されていればよい。
複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むと判定した場合に、コントローラ20は、車両1の右前方と左前方にそれぞれ存在する速度制限標識が示す制限速度を、車両1が走行する道路の制限速度であると認識する。
図3の例では、速度制限標識31及び32が示す制限速度である時速55マイルを第1道路R1の制限速度であると認識する。
これにより、複数の道路が併設されている区間において、隣接道路の速度制限標識が示す制限速度を誤って車両1が走行する道路の制限速度であると認識することを抑制できる。
図4は、複数の速度制限標識が同時に認識される状況の第2例の説明図である。
図4の例は、複数の速度制限標識35及び36が互いに近接して設置されて一群の速度制限標識を形成している。このように複数の速度制限標識が互いに近接して設置されている場合、これら複数の速度制限標識は、例えば特定種類の車両の制限速度を示す速度制限標識と、それ以外の種類の車両の制限速度を示す速度制限標識と、を含むことがある。また、最高速度を示す速度制限標識と、最低速度を示す速度制限標識と、を含むことがある。図4の例では、トラックの制限速度(図4の例では時速40マイル)を示す速度制限標識36と、トラック以外の制限速度を示す速度制限標識35(図4の例では時速55マイル)とが互いに近接して設置されている。
このような場合に、複数の異なる速度をそれぞれ示す複数の速度制限標識35及び36を、撮像画像から同時に認識することがある。
この場合には、車両1とは異なる特定種類の車両の制限速度を示す速度制限標識36が示す速度を、車両1の制限速度として認識する恐れがある。または、最低速度を示す速度制限標識が示す速度を、車両1の最高速度の制限速度として認識する恐れがある。
そこで、コントローラ20は、複数の速度制限標識が撮像画像から認識されたと判定し、かつ、認識した複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識と含まない場合には、認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含むか否かを判定する。
認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含むと判定した場合、コントローラ20は、互いに近接する一群の速度制限標識が示す速度のうち、最も高い速度を車両1が走行する道路の制限速度であると認識する。
図4の例では、速度制限標識35が示す速度(時速55マイル)と速度制限標識36が示す速度(時速40マイル)のうち最も高い時速55マイルを、車両1が走行する道路の制限速度であると認識する。
これにより、複数の速度制限標識が互いに近接して設置されている場合において、車両1と異なる特定種類の車両の制限速度を車両1の制限速度として誤って認識するのを回避できる。また、最低速度を示す速度制限標識が示す速度を、車両1の最高速度の制限速度として誤って認識するのを回避できる。
コントローラ20は、速度制限標識が所定距離範囲内に存在するか否かに応じて、互いに近接する一群の速度制限標識であるか否かを判定してよい。所定距離は、道路標識を設置する規則や基準に応じて適宜設定してよい。例えば所定距離は3mであってよい。
例えばコントローラ20は、認識した複数の速度制限標識を順次選択し、選択した速度制限標識を基準として、基準とする速度制限標識から左右方向、前後方向及び上下方向の所定距離以内にある全ての速度制限標識を、互いに近接する一群の速度制限標識として抽出してよい。
認識した複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識と含まず、互いに近接する一群の速度制限標識を含まない場合、コントローラ20は、車両1の右前方と左前方のうち予め定めたいずれか一方の方向である所定方向にある速度制限標識が示す制限速度を車両1が走行する道路の制限速度であると認識する。例えば、右前方にある速度制限標識が示す制限速度を車両1が走行する道路の制限速度であると認識する。
所定方向にある速度制限標識が複数ある場合には、最も近い速度制限標識が示す制限速度を車両1が走行する道路の制限速度であると認識する。
あるいは、コントローラ20は、複数の速度制限標識のうち最も近い速度制限標識が示す制限速度を車両1が走行する道路の制限速度であると認識してもよい。
なお、上記説明においてコントローラ20は、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定し、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識と含まない場合には、認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含むか否かを判定したが、本発明は判定順序を限定しない。例えば、認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含まない場合に、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定してもよく、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かと、認識した複数の速度制限標識が互いに近接する一群の速度制限標識を含むか否か、を総合的に判断して制限速度を認識してもよい。
(動作)
図5は、実施形態の制限速度認識方法の一例のフローチャートである。
ステップS1においてコントローラ20は、センサ11の前方カメラから車両1の前方の環境を表す撮像画像を取得する。
ステップS2においてコントローラ20は、取得した撮像画像から速度制限標識を認識する。
ステップS3においてコントローラ20は、車両1から遠い位置にある速度制限標識を、速度制限標識の認識結果から除外する。
ステップS4においてコントローラ20は、撮像画像から速度制限標識が認識されたか否かを判定する。すなわち、車両1から遠い位置にある速度制限標識以外の制限速度標識が、撮像画像から認識されたか否かを判定する。撮像画像から制限速度標識が認識された場合(ステップS4:Y)に処理はステップS6へ進む。撮像画像から制限速度標識が認識されない場合(ステップS4:N)に処理はステップS5へ進む。
ステップS5においてコントローラ20は、三次元高精度地図情報に含まれる制限速度情報に基づいて車両1が走行する道路の制限速度を認識する。その後に処理は終了する。
ステップS6においてコントローラ20は、複数の速度制限標識が認識されたか否かを判定する。複数の速度制限標識が認識された場合(ステップS6:Y)に処理はステップS8へ進む。単一の速度制限標識のみが認識された場合(ステップS6:N)に処理はステップS7へ進む。
ステップS7においてコントローラ20は、認識された単一の速度制限標識が示す制限速度を車両1が走行する道路の制限速度として認識する。その後に処理は終了する。
ステップS8においてコントローラ20は、認識された複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定する。認識された複数の速度制限標識がこれらの速度制限標識を含まない場合(ステップS8:N)に処理はステップS10へ進む。認識された複数の速度制限標識がこれらの速度制限標識を含む場合(ステップS8:Y)に処理はステップS9へ進む。
ステップS9においてコントローラ20は、車両1の右前方と左前方にそれぞれ存在する速度制限標識が示す制限速度を、車両1が走行する道路の制限速度であると認識する。その後に処理は終了する。
ステップS10においてコントローラ20は、認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含むか否かを判定する。認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含まない場合(ステップS10:N)に処理はステップS12へ進む。認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含む場合(ステップS10:Y)に処理はステップS11へ進む。
ステップS11においてコントローラ20は、互いに近接する一群の速度制限標識が示す速度のうち、最も高い速度を車両1が走行する道路の制限速度であると認識する。その後に処理は終了する。
ステップS12においてコントローラ20は、車両1の右前方と左前方のうち予め定めたいずれか一方の方向である所定方向にある速度制限標識が示す制限速度を車両1が走行する道路の制限速度であると認識する。その後に処理は終了する。
(実施形態の効果)
(1)コントローラ20は、車両1の前方の環境を表す撮像画像をカメラから取得し、撮像画像から速度制限標識を認識し、撮像画像から複数の速度制限標識が認識されたか否かを判定し、複数の速度制限標識が認識されたと判定した場合に、認識した複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定、認識した複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むと判定した場合に、車両1の右前方と左前方にそれぞれ存在する速度制限標識が示す制限速度を、車両1が走行する道路の制限速度であると認識する。
これにより、複数の道路が併設されている区間において、隣接道路の速度制限標識が示す制限速度を誤って車両1が走行する道路の制限速度であると認識することを抑制できる。
(2)コントローラ20は、認識した複数の速度制限標識が、車両1の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識と含まないと判定した場合に、認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含むか否かを判定し、認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含むと判定した場合に、一群の速度制限標識がそれぞれ示す速度のうち最も高い速度を、車両1が走行する道路の制限速度であると認識してよい。
これにより、複数の速度制限標識が互いに近接して設置されている場合において、車両1と異なる特定種類の車両の制限速度を車両1の制限速度として誤って認識するのを回避できる。また、最低速度を示す速度制限標識が示す速度を、車両1の最高速度の制限速度として誤って認識するのを回避できる。
(3)コントローラ20は、認識した複数の速度制限標識のいずれかの速度制限標識を基準として選択し、認識した複数の速度制限標識の他の速度制限標識が、基準とするいずれかの速度制限標識から所定距離の範囲内に存在するか否かを判定し、他の速度制限標識が、基準とするいずれかの速度制限標識から所定距離の範囲内に存在すると判定した場合に、基準とするいずれかの速度制限標識と他の速度制限標識とを、互いに近接する一群の速度制限標識に含まれる速度制限標識として抽出してよい。
これにより、認識した複数の速度制限標識が、互いに近接する一群の速度制限標識を含むか否かを判定できる。
ここに記載されている全ての例及び条件的な用語は、読者が、本発明と技術の進展のために発明者により与えられる概念とを理解する際の助けとなるように、教育的な目的を意図したものであり、具体的に記載されている上記の例及び条件、並びに本発明の優位性及び劣等性を示すことに関する本明細書における例の構成に限定されることなく解釈されるべきものである。本発明の実施例は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であると解すべきである。
1…車両、10…運転支援装置、11…センサ、12…測位装置、13…地図データベース、14…車載機器、15…ナビゲーションシステム、16…表示装置、17…音声出力装置、18…入力装置、19…車両挙動制御装置、20…コントローラ、21…プロセッサ、22…記憶装置

Claims (7)

  1. 自車両の前方の環境を表す撮像画像をカメラから取得する処理と、
    前記カメラから取得した撮像画像から速度制限標識を認識する処理と、
    前記カメラから取得した撮像画像から複数の速度制限標識が認識されたか否かを判定する処理と、
    前記複数の速度制限標識が認識されたと判定した場合に、前記複数の速度制限標識が、前記カメラから取得した撮像画像の横方向の中央よりも右側の座標と前記カメラから取得した撮像画像の横方向の中央よりも左側の座標とでそれぞれ検出された同じ制限速度を示す速度制限標識を含むか否かを判定する処理と、
    前記複数の速度制限標識が、前記自車両の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むと判定した場合に、前記自車両の右前方と左前方にそれぞれ存在する前記速度制限標識が示す制限速度を、前記自車両が走行する道路の制限速度であると認識する処理と、
    前記複数の速度制限標識が、前記自車両の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識と含まないと判定した場合に、前記複数の速度制限標識が、互いに近接する一群の速度制限標識を含むか否かを判定する処理と、
    前記複数の速度制限標識が、互いに近接する一群の速度制限標識を含むと判定した場合に、前記一群の速度制限標識がそれぞれ示す速度のうち最も高い速度を、前記自車両が走行する道路の制限速度であると認識する処理と、をコントローラに実行させ、
    前記自車両は、制限速度の異なる複数の種類の車両のうち比較的低い制限速度が適用される特定種類以外の車両であることを特徴とする制限速度認識方法。
  2. 前記複数の速度制限標識のいずれかの速度制限標識を選択する処理と、
    前記複数の速度制限標識の他の速度制限標識が、前記いずれかの速度制限標識から所定距離の範囲内に存在するか否かを判定する処理と、
    前記他の速度制限標識が前記いずれかの速度制限標識から所定距離の範囲内に存在すると判定した場合に、前記いずれかの速度制限標識と前記他の速度制限標識とを、互いに近接する前記一群の速度制限標識に含まれる速度制限標識として抽出する処理と、
    を前記コントローラに実行させることを特徴とする請求項1に記載の制限速度認識方法。
  3. 自車両の前方の環境を撮影するカメラと、
    前記カメラから取得した撮像画像から速度制限標識を認識する処理と、前記カメラから取得した撮像画像から複数の速度制限標識が認識されたか否かを判定する処理と、前記複数の速度制限標識が認識されたと判定した場合に、前記複数の速度制限標識が、前記カメラから取得した撮像画像の横方向の中央よりも右側の座標と前記カメラから取得した撮像画像の横方向の中央よりも左側の座標とでそれぞれ検出された同じ制限速度を示す速度制限標識を含むか否かを判定する処理と、前記複数の速度制限標識が、前記自車両の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識を含むと判定した場合に、前記自車両の右前方と左前方にそれぞれ存在する前記速度制限標識が示す制限速度を、前記自車両が走行する道路の制限速度であると認識する処理と、前記複数の速度制限標識が、前記自車両の右前方と左前方にそれぞれ存在する同じ制限速度を示す速度制限標識と含まないと判定した場合に、前記複数の速度制限標識が、互いに近接する一群の速度制限標識を含むか否かを判定する処理と、前記複数の速度制限標識が、互いに近接する一群の速度制限標識を含むと判定した場合に、前記一群の速度制限標識がそれぞれ示す速度のうち最も高い速度を、前記自車両が走行する道路の制限速度であると認識する処理と、を実行するコントローラと、を備え、
    前記自車両は、制限速度の異なる複数の種類の車両のうち比較的低い制限速度が適用される特定種類以外の車両であることを特徴とする制限速度認識装置。
  4. 前記複数の速度制限標識が、前記自車両の右前方且つ前記自車両が走行する道路の右側の道路端と前記自車両の左前方且つ前記自車両が走行する道路の左側の道路端にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定する処理を、前記コントローラに実行させることを特徴とする請求項1又は2に記載の制限速度認識方法。
  5. 前記コントローラは、前記複数の速度制限標識が、前記自車両の右前方且つ前記自車両が走行する道路の右側の道路端と前記自車両の左前方且つ前記自車両が走行する道路の左側の道路端にそれぞれ存在する同じ制限速度を示す速度制限標識を含むか否かを判定する処理を実行する、ことを特徴とする請求項に記載の制限速度認識装置。
  6. 前記複数の速度制限標識が、互いに近接する一群の速度制限標識を含まない場合、前記自車両の右前方と左前方のうち予め定めたいずれか一方の方向である所定方向にある複数の速度制限標識のうち、前記自車両に最も近い速度制限標識が示す制限速度を前記自車両が走行する道路の制限速度であると認識する処理を、前記コントローラに実行させることを特徴とする請求項1、2又は4に記載の限速度認識方法。
  7. 前記コントローラは、前記複数の速度制限標識が、互いに近接する一群の速度制限標識を含まない場合、前記自車両の右前方と左前方のうち予め定めたいずれか一方の方向である所定方向にある複数の速度制限標識のうち、前記自車両に最も近い速度制限標識が示す制限速度を前記自車両が走行する道路の制限速度であると認識する処理を、実行する、ことを特徴とする請求項3又は5に記載の制限速度認識装置。
JP2023523925A 2021-05-28 2021-05-28 制限速度認識方法及び制限速度認識装置 Active JP7622832B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/020482 WO2022249468A1 (ja) 2021-05-28 2021-05-28 制限速度認識方法及び制限速度認識装置

Publications (3)

Publication Number Publication Date
JPWO2022249468A1 JPWO2022249468A1 (ja) 2022-12-01
JPWO2022249468A5 JPWO2022249468A5 (ja) 2024-03-22
JP7622832B2 true JP7622832B2 (ja) 2025-01-28

Family

ID=84229637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023523925A Active JP7622832B2 (ja) 2021-05-28 2021-05-28 制限速度認識方法及び制限速度認識装置

Country Status (5)

Country Link
US (1) US20240221387A1 (ja)
EP (1) EP4349677B1 (ja)
JP (1) JP7622832B2 (ja)
CN (1) CN117396386A (ja)
WO (1) WO2022249468A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116238497B (zh) * 2023-05-11 2024-01-26 安徽蔚来智驾科技有限公司 车辆限速控制方法、电子设备、存储介质及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009120111A (ja) 2007-11-16 2009-06-04 Toyota Motor Corp 車両用制御装置
JP2016224718A (ja) 2015-05-29 2016-12-28 株式会社デンソー 運転支援装置及び運転支援方法
JP2019059361A (ja) 2017-09-27 2019-04-18 マツダ株式会社 車両制御装置
JP2019212189A (ja) 2018-06-08 2019-12-12 スズキ株式会社 車両用運転支援装置
JP2021014239A (ja) 2019-07-16 2021-02-12 本田技研工業株式会社 車両制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150121977A (ko) * 2014-04-22 2015-10-30 주식회사 만도 교통표지판 인식장치 및 그의 제한속도 출력방법
US9937923B2 (en) * 2016-01-30 2018-04-10 Bendix Commercial Vehicle Systems Llc System and method for providing a speed warning and speed control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009120111A (ja) 2007-11-16 2009-06-04 Toyota Motor Corp 車両用制御装置
JP2016224718A (ja) 2015-05-29 2016-12-28 株式会社デンソー 運転支援装置及び運転支援方法
JP2019059361A (ja) 2017-09-27 2019-04-18 マツダ株式会社 車両制御装置
JP2019212189A (ja) 2018-06-08 2019-12-12 スズキ株式会社 車両用運転支援装置
JP2021014239A (ja) 2019-07-16 2021-02-12 本田技研工業株式会社 車両制御装置

Also Published As

Publication number Publication date
EP4349677A4 (en) 2024-08-14
WO2022249468A1 (ja) 2022-12-01
EP4349677B1 (en) 2026-01-07
CN117396386A (zh) 2024-01-12
JPWO2022249468A1 (ja) 2022-12-01
US20240221387A1 (en) 2024-07-04
EP4349677A1 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
US20190071075A1 (en) Vehicle control system, vehicle control method, and vehicle control program
CN106541946A (zh) 车速控制装置
JP7790256B2 (ja) 標識認識方法、標識認識装置、運転支援方法及び運転支援装置
JP7613575B2 (ja) 運転支援方法及び運転支援装置
JP7548426B2 (ja) 画像制御方法及び画像制御装置
US20200385023A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP7622832B2 (ja) 制限速度認識方法及び制限速度認識装置
US12097858B2 (en) Travel control method and travel control device for vehicle
US20240399866A1 (en) Display apparatus for vehicle, display method, and display program
JP7662048B2 (ja) 車両制御方法及び車両制御装置
JP7658175B2 (ja) 運転支援方法及び運転支援装置
US12319291B2 (en) Driving assistance method and driving assistance device for performing a lane change
JP7613574B2 (ja) 運転支援方法及び運転支援装置
JP7622900B2 (ja) 運転支援方法及び運転支援装置
US20200384991A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP2022079948A (ja) 車両の走行制御方法及び走行制御装置
JP2021142906A (ja) 車両追従走行システム、車両制御装置、車両、および制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20231108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241230

R150 Certificate of patent or registration of utility model

Ref document number: 7622832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150