JP7548191B2 - 距離推定装置 - Google Patents
距離推定装置 Download PDFInfo
- Publication number
- JP7548191B2 JP7548191B2 JP2021179069A JP2021179069A JP7548191B2 JP 7548191 B2 JP7548191 B2 JP 7548191B2 JP 2021179069 A JP2021179069 A JP 2021179069A JP 2021179069 A JP2021179069 A JP 2021179069A JP 7548191 B2 JP7548191 B2 JP 7548191B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- flare
- image
- luminance pattern
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は距離推定装置、距離推定方法及びプログラムに関する。
従来、車載センサにより車両前方の信号機を撮像し、画像中の信号機の灯火サイズに基
づき、車両から信号機までの距離を推定する装置が提案されている。特許文献１には、前
方撮影用カメラで撮影した画像信号中の輝度の高い部分の領域を取り出し、この領域の大
きさと色を基にウィンドウで囲み、ウィンドウ内でエッジを検出して予め記憶している参
照信号機エッジと比較し、信号機との距離を算出する信号認識装置を有する自動車が記載
されている。
づき、車両から信号機までの距離を推定する装置が提案されている。特許文献１には、前
方撮影用カメラで撮影した画像信号中の輝度の高い部分の領域を取り出し、この領域の大
きさと色を基にウィンドウで囲み、ウィンドウ内でエッジを検出して予め記憶している参
照信号機エッジと比較し、信号機との距離を算出する信号認識装置を有する自動車が記載
されている。
特許文献１に記載された装置では、画像中の信号機の灯火サイズに基づき、車両から信
号機までの距離を推定しているが、夜間等、周囲が暗い状況下において信号機の灯火を撮
影した場合、画像中においてフレアが発生する場合がある。フレアとは、入射光のカメラ
内における多重反射に起因する光の広がりにより、像が膨張する現象である。フレアによ
って画像中で信号機の灯火が膨張して見えてしまうため、正しい灯火サイズを得られなり、
誤った距離推定を行ってしまうおそれがある。
号機までの距離を推定しているが、夜間等、周囲が暗い状況下において信号機の灯火を撮
影した場合、画像中においてフレアが発生する場合がある。フレアとは、入射光のカメラ
内における多重反射に起因する光の広がりにより、像が膨張する現象である。フレアによ
って画像中で信号機の灯火が膨張して見えてしまうため、正しい灯火サイズを得られなり、
誤った距離推定を行ってしまうおそれがある。
本発明は上記の課題を解決するものであり、夜間等の周囲が暗い場合においても、正確
に距離推定を行うことを目的とする。
に距離推定を行うことを目的とする。
上記目的を達成するために、本発明に係る距離推定装置は、
車両から信号機までの距離を推定する距離推定装置であって、
前記車両周辺を撮像するセンサにより撮像された画像を取得する画像取得部と、
前記画像中に映る前記信号機の灯火の灯火サイズを取得する灯火サイズ取得部と、
前記灯火サイズに基づき、前記車両から前記信号機までの距離を推定する距離推定部と、
を備え、
前記灯火サイズ取得部は、
前記画像中における前記灯火のフレアを除去し、
前記フレアを除去した後の前記画像中における前記灯火サイズを取得する
ことを特徴とする。
車両から信号機までの距離を推定する距離推定装置であって、
前記車両周辺を撮像するセンサにより撮像された画像を取得する画像取得部と、
前記画像中に映る前記信号機の灯火の灯火サイズを取得する灯火サイズ取得部と、
前記灯火サイズに基づき、前記車両から前記信号機までの距離を推定する距離推定部と、
を備え、
前記灯火サイズ取得部は、
前記画像中における前記灯火のフレアを除去し、
前記フレアを除去した後の前記画像中における前記灯火サイズを取得する
ことを特徴とする。
本発明に係る距離推定装置によれば、周囲が暗い状況下において信号機の灯火を撮影し
た場合であっても、画像中におけるフレアを除去した上で、画像中における灯火サイズの
取得を行う。そのことによって、車両から信号機までの距離の推定を正確に行うことがで
きる。
た場合であっても、画像中におけるフレアを除去した上で、画像中における灯火サイズの
取得を行う。そのことによって、車両から信号機までの距離の推定を正確に行うことがで
きる。
また、本発明に係る距離推定装置は、
前記センサの撮像画像中における既知のフレア輝度パターンを記憶する記憶部を備え、
前記灯火サイズ取得部は、
前記画像中における前記灯火の灯火輝度パターンを取得し、
前記灯火輝度パターン中において、前記フレア輝度パターンと形状が一致する部分を
探索し、形状が一致する部分において前記灯火輝度パターンから前記フレア輝度パターン
を差し引くことにより、前記画像中における前記灯火のフレアを除去する
構成とされていてもよい。この場合、記憶部に格納された既知のフレア輝度パターンを用
いてフレアの除去が行われるため、簡便な方法でフレアを除去することができる。
前記センサの撮像画像中における既知のフレア輝度パターンを記憶する記憶部を備え、
前記灯火サイズ取得部は、
前記画像中における前記灯火の灯火輝度パターンを取得し、
前記灯火輝度パターン中において、前記フレア輝度パターンと形状が一致する部分を
探索し、形状が一致する部分において前記灯火輝度パターンから前記フレア輝度パターン
を差し引くことにより、前記画像中における前記灯火のフレアを除去する
構成とされていてもよい。この場合、記憶部に格納された既知のフレア輝度パターンを用
いてフレアの除去が行われるため、簡便な方法でフレアを除去することができる。
また、本発明に係る距離推定装置において、
前記画像中における前記灯火のフレアを除去し、前記灯火以外のフレアの除去を行わな
い
こととされていてもよい。この場合、画像中における信号機の灯火以外のフレアの除去が
行われないため、演算負荷を抑えることができる。
前記画像中における前記灯火のフレアを除去し、前記灯火以外のフレアの除去を行わな
い
こととされていてもよい。この場合、画像中における信号機の灯火以外のフレアの除去が
行われないため、演算負荷を抑えることができる。
また、本発明に係る距離推定装置において、
前記記憶部は、信号機の灯火の灯色に応じた２以上のフレア輝度パターンを記憶し、
前記灯火サイズ取得部は
前記２以上のフレア輝度パターンのうち、前記画像中における前記灯火の灯色に応じ
たフレア輝度パターンを選択し、
選択された前記フレア輝度パターンを前記灯火輝度パターンから差し引くことにより、
前記画像中における前記灯火のフレアを除去する
構成とされていてもよい。この場合、信号機の灯火の灯色に応じたフレア輝度パターンを
選択し、フレアの除去に用いるため、一層適切に灯火サイズを取得することができる。
前記記憶部は、信号機の灯火の灯色に応じた２以上のフレア輝度パターンを記憶し、
前記灯火サイズ取得部は
前記２以上のフレア輝度パターンのうち、前記画像中における前記灯火の灯色に応じ
たフレア輝度パターンを選択し、
選択された前記フレア輝度パターンを前記灯火輝度パターンから差し引くことにより、
前記画像中における前記灯火のフレアを除去する
構成とされていてもよい。この場合、信号機の灯火の灯色に応じたフレア輝度パターンを
選択し、フレアの除去に用いるため、一層適切に灯火サイズを取得することができる。
また、本発明に係る距離推定方法は、
車両から信号機までの距離を推定する距離推定方法であって、
前記車両周辺を撮像するセンサにより撮像された画像を取得する画像取得工程と、
前記画像中に映る前記信号機の灯火の灯火サイズを取得する灯火サイズ取得工程と、
前記灯火サイズに基づき、前記車両から前記信号機までの距離を推定する距離推定工程
と、
を含み、
前記灯火サイズ取得工程は、
前記画像中における前記灯火のフレアを除去し、
前記フレアを除去した後の前記画像中における前記灯火サイズを取得する
ことを特徴とする。
車両から信号機までの距離を推定する距離推定方法であって、
前記車両周辺を撮像するセンサにより撮像された画像を取得する画像取得工程と、
前記画像中に映る前記信号機の灯火の灯火サイズを取得する灯火サイズ取得工程と、
前記灯火サイズに基づき、前記車両から前記信号機までの距離を推定する距離推定工程
と、
を含み、
前記灯火サイズ取得工程は、
前記画像中における前記灯火のフレアを除去し、
前記フレアを除去した後の前記画像中における前記灯火サイズを取得する
ことを特徴とする。
本発明に係る距離推定方法によれば、周囲が暗い状況下において信号機の灯火を撮影し
た場合であっても、画像中におけるフレアを除去した上で、画像中における灯火サイズの
取得を行う。そのことによって、車両から信号機までの距離の推定を正確に行うことがで
きる。
た場合であっても、画像中におけるフレアを除去した上で、画像中における灯火サイズの
取得を行う。そのことによって、車両から信号機までの距離の推定を正確に行うことがで
きる。
また、本発明にかかるプログラムは、上記の距離推定方法をコンピュータに実行させる
プログラムである。本発明にかかるプログラムによれば、コンピュータに上記の距離推定
を行わせることができる。
プログラムである。本発明にかかるプログラムによれば、コンピュータに上記の距離推定
を行わせることができる。
〈本発明の実施形態〉
以下、本発明に係る距離推定装置の実施形態について、図面を参照しながら説明する。
以下、本発明に係る距離推定装置の実施形態について、図面を参照しながら説明する。
図１に示す車両１はカメラ２及び距離推定装置１００を備える。車両１は、駆動、操舵
及び制動のうち少なくとも１つを支援する走行支援機能を備えており、例えば、ＳＡＥ
（Society of Autonomotive Engineers）の自動運転レベルの定義においてレベル１以上に
分類される車両である。
及び制動のうち少なくとも１つを支援する走行支援機能を備えており、例えば、ＳＡＥ
（Society of Autonomotive Engineers）の自動運転レベルの定義においてレベル１以上に
分類される車両である。
カメラ２は車両１の周辺（例えば、前方）に存在する信号機３を撮像することができる
ように設置されている。カメラ２は、撮像した画像を距離推定装置１００の画像取得部１
０１に送信する。
ように設置されている。カメラ２は、撮像した画像を距離推定装置１００の画像取得部１
０１に送信する。
距離推定装置１００は車両１から信号機３までの距離を推定する装置である。推定され
た車両１から信号機３までの距離は、車両１の走行支援機能を実現するために利用される。
例えば、信号機３が車両１から所定距離範囲内に存在する場合に運転者に報知を行う機能
や、信号機の灯色が黄色又は赤色である場合に車両１を信号機の手前で停止させる支援を
行う機能において、車両１から信号機３まで距離が利用される。
た車両１から信号機３までの距離は、車両１の走行支援機能を実現するために利用される。
例えば、信号機３が車両１から所定距離範囲内に存在する場合に運転者に報知を行う機能
や、信号機の灯色が黄色又は赤色である場合に車両１を信号機の手前で停止させる支援を
行う機能において、車両１から信号機３まで距離が利用される。
距離推定装置１００は、１又は複数のコンピュータの一部又は全部により構成される。
当該コンピュータはＣＰＵ（central processing unit）、ＲＯＭ（read only memory）、Ｒ
ＡＭ（random access memory）、入力ポート、及び出力ポート等を含んでいる。当該コン
ピュータを距離推定装置１００として動作させるためのプログラムが当該コンピュータに
インストールされることにより、距離推定装置１００が実現される。距離推定装置１００
は、入力ポート及び出力ポートを通して車両１の各部と通信することで、各部とのデータ
の送受信を行う。特に、車両１の周辺を撮像するカメラ２から画像を受信したり、車両１
の走行支援を行う走行支援装置等に対して車両１から信号機３までの距離デ―タを送信し
たりする。
当該コンピュータはＣＰＵ（central processing unit）、ＲＯＭ（read only memory）、Ｒ
ＡＭ（random access memory）、入力ポート、及び出力ポート等を含んでいる。当該コン
ピュータを距離推定装置１００として動作させるためのプログラムが当該コンピュータに
インストールされることにより、距離推定装置１００が実現される。距離推定装置１００
は、入力ポート及び出力ポートを通して車両１の各部と通信することで、各部とのデータ
の送受信を行う。特に、車両１の周辺を撮像するカメラ２から画像を受信したり、車両１
の走行支援を行う走行支援装置等に対して車両１から信号機３までの距離デ―タを送信し
たりする。
距離推定装置１００は、その機能的構成として、画像取得部１０１、灯火サイズ取得部
１０２、記憶部１０３及び距離推定部１０４を備える。
１０２、記憶部１０３及び距離推定部１０４を備える。
画像取得部１０１はカメラ２が撮像した画像を取得する。取得された画像は、灯火サイ
ズ取得部１０２に受け渡される。
ズ取得部１０２に受け渡される。
灯火サイズ取得部１０２は、画像中に映る信号機３の灯火の灯火サイズを取得する。灯
火サイズとは、画像中に映る灯火の大きさである。なお、後述するフレアが画像中に発生
している場合、灯火サイズとは、フレアを差し引いた後における灯火の大きさである。例
えば信号機の灯火が円形である場合における直径であってよいし、信号機の灯火が正方形
である場合における一辺の長さや対角線の長さであってよい。信号機の灯火の形状は、国
若しくは地域又は信号機の種類（例えば自動車用／歩行者用信号といった種類）等によっ
て異なるため、状況に応じた灯火サイズの定義が適宜用いられる。以下、信号機の灯火が
円形であり、灯火サイズが直径である場合について述べるが、本発明はこれに限定される
ものではない。
火サイズとは、画像中に映る灯火の大きさである。なお、後述するフレアが画像中に発生
している場合、灯火サイズとは、フレアを差し引いた後における灯火の大きさである。例
えば信号機の灯火が円形である場合における直径であってよいし、信号機の灯火が正方形
である場合における一辺の長さや対角線の長さであってよい。信号機の灯火の形状は、国
若しくは地域又は信号機の種類（例えば自動車用／歩行者用信号といった種類）等によっ
て異なるため、状況に応じた灯火サイズの定義が適宜用いられる。以下、信号機の灯火が
円形であり、灯火サイズが直径である場合について述べるが、本発明はこれに限定される
ものではない。
灯火サイズ取得部１０２は、まず初めに、カメラ２が撮像した画像中において信号機の
灯火が存在するかを判定する。ここでは、既知の信号機画像との類似度が高い物体を撮像
画像中において探索し、類似度が高い物体が検出された場合に信号機の灯火が存在すると
判定する。ここで、類似度が高いかどうかの判定には、既知の信号機画像により機械学習
が行われた学習済みの画像判別モデルが用いられる。又は、画像中において信号機の灯火
が存在するかを判定するその他の方法として、画像中において信号機の灯火の灯色（赤、
青又は黄色）に対応する色の画素があるかどうかを判定し、当該画素がある場合には信号
機の灯火が存在すると判定する方法が用いられてもよい。道路上には信号機の灯色と同色
であって信号機以外に基づく灯火は少ないため、当該灯色に対応する色の画素があると判
定された場合には画像中に信号機が存在すると判定する。また、灯火サイズ取得部１０２
は、その他の方法によって画像中に信号機の灯火が存在するかを判定してもよい。
灯火が存在するかを判定する。ここでは、既知の信号機画像との類似度が高い物体を撮像
画像中において探索し、類似度が高い物体が検出された場合に信号機の灯火が存在すると
判定する。ここで、類似度が高いかどうかの判定には、既知の信号機画像により機械学習
が行われた学習済みの画像判別モデルが用いられる。又は、画像中において信号機の灯火
が存在するかを判定するその他の方法として、画像中において信号機の灯火の灯色（赤、
青又は黄色）に対応する色の画素があるかどうかを判定し、当該画素がある場合には信号
機の灯火が存在すると判定する方法が用いられてもよい。道路上には信号機の灯色と同色
であって信号機以外に基づく灯火は少ないため、当該灯色に対応する色の画素があると判
定された場合には画像中に信号機が存在すると判定する。また、灯火サイズ取得部１０２
は、その他の方法によって画像中に信号機の灯火が存在するかを判定してもよい。
画像中において信号機の灯火が存在すると判定された場合は、灯火サイズ取得部１０２
は、灯火サイズの取得を行う。まず、図２に示すような、画像中における灯火の灯火輝度
パターンを取得する。灯火輝度パターンは、例えば、画像中において灯火の中心を通るよ
うな線分を設定し、当該線分上における各画素の輝度のプロファイルを計測することによ
り取得できる。１つの線分のみを設定し、当該線分上においてプロファイルを計測しても
よいし、複数の線分を設定し、それらにおけるプロファイルをそれぞれ計測した上で平均
化したプロファイルを輝度パターンとしてもよい。なお、輝度のプロファイルを計測する
に先立ち又は計測した後で、各種の画像補正が行われてもよい。例えば、ハイパスフィル
タ処理や移動平均処理により、輝度のノイズの除去が行われてもよい。また、灯火が画像
中で円形に見えるように傾き補正が行われてもよい。
は、灯火サイズの取得を行う。まず、図２に示すような、画像中における灯火の灯火輝度
パターンを取得する。灯火輝度パターンは、例えば、画像中において灯火の中心を通るよ
うな線分を設定し、当該線分上における各画素の輝度のプロファイルを計測することによ
り取得できる。１つの線分のみを設定し、当該線分上においてプロファイルを計測しても
よいし、複数の線分を設定し、それらにおけるプロファイルをそれぞれ計測した上で平均
化したプロファイルを輝度パターンとしてもよい。なお、輝度のプロファイルを計測する
に先立ち又は計測した後で、各種の画像補正が行われてもよい。例えば、ハイパスフィル
タ処理や移動平均処理により、輝度のノイズの除去が行われてもよい。また、灯火が画像
中で円形に見えるように傾き補正が行われてもよい。
次に、灯火サイズ取得部１０２は、図２中に点線の矢印で示すように、輝度パターン上
において急峻な立ち上がりを呈している部分間の長さを測定し、当該長さを灯火サイズと
して取得する。又は、その他の方法により灯火サイズを取得してもよい。例えば、輝度パ
ターン上において所定の輝度閾値以上となっている領域の長さを灯火サイズとしてもよい
し、輝度パターンのエッジを検出し、エッジ間の距離を灯火サイズとしてもよい。
において急峻な立ち上がりを呈している部分間の長さを測定し、当該長さを灯火サイズと
して取得する。又は、その他の方法により灯火サイズを取得してもよい。例えば、輝度パ
ターン上において所定の輝度閾値以上となっている領域の長さを灯火サイズとしてもよい
し、輝度パターンのエッジを検出し、エッジ間の距離を灯火サイズとしてもよい。
以上のようにして、灯火サイズ取得部１０２は、画像中における灯火サイズを取得する。
図１に戻り説明を続ける。距離推定部１０３は、灯火サイズ取得部１０２が取得した灯
火サイズに基づき、車両１から信号機３までの距離を推定する。距離推定部１０３は、カ
メラ２のレンズ倍率、信号機３の大きさ（例えば３０ｃｍ）といった既知のパラメータを
用いて、画像上の灯火サイズに基づき、車両１から信号機３までの距離の推定を行う。
火サイズに基づき、車両１から信号機３までの距離を推定する。距離推定部１０３は、カ
メラ２のレンズ倍率、信号機３の大きさ（例えば３０ｃｍ）といった既知のパラメータを
用いて、画像上の灯火サイズに基づき、車両１から信号機３までの距離の推定を行う。
ところで、夜間等、周囲が暗い状況下において信号機の灯火を撮影した場合、画像中に
おいてフレアが発生する場合がある。フレアとは、入射光のカメラ内における多重反射に
起因する光の広がりにより、像が膨張する現象である。例えば、図３Ａの周囲が明るい場
合の画像２０１においては、信号機３の右側の灯火が点灯している様子がくっきりと映っ
ているのに対し、図３Ｂの周囲が暗い場合の画像２０２においては、点灯している右側の
灯火の周りにフレアが発生し、灯火が膨張して見えてしまっている。このような場合には、
画像中の灯火サイズを正しく取得できなくなり、誤った距離推定を行ってしまうおそれが
ある。
おいてフレアが発生する場合がある。フレアとは、入射光のカメラ内における多重反射に
起因する光の広がりにより、像が膨張する現象である。例えば、図３Ａの周囲が明るい場
合の画像２０１においては、信号機３の右側の灯火が点灯している様子がくっきりと映っ
ているのに対し、図３Ｂの周囲が暗い場合の画像２０２においては、点灯している右側の
灯火の周りにフレアが発生し、灯火が膨張して見えてしまっている。このような場合には、
画像中の灯火サイズを正しく取得できなくなり、誤った距離推定を行ってしまうおそれが
ある。
そこで、本実施形態においては、灯火サイズ取得部１０２は、灯火サイズの取得に先立
ちフレアの除去を行う。まず、灯火サイズ取得部１０２は、記憶部１０４に格納された既
知のフレア輝度パターンの呼び出しを行う。フレア輝度パターンの形状を図４に示す。画
像中のフレアは、カメラ２に含まれるレンズや鏡筒等の光学部品における光の多重反射に
起因するものであるため、フレア輝度パターンはカメラ２に含まれる光学部品の諸元（例
えば反射率、焦点距離等）に応じた形状となる。そのため、車両１に搭載されるカメラ２
に応じたフレア輝度パターンが、予め理論的に又は実験的に求められ、既知のフレア輝度
パターンとして記憶部１０４に格納されている。
ちフレアの除去を行う。まず、灯火サイズ取得部１０２は、記憶部１０４に格納された既
知のフレア輝度パターンの呼び出しを行う。フレア輝度パターンの形状を図４に示す。画
像中のフレアは、カメラ２に含まれるレンズや鏡筒等の光学部品における光の多重反射に
起因するものであるため、フレア輝度パターンはカメラ２に含まれる光学部品の諸元（例
えば反射率、焦点距離等）に応じた形状となる。そのため、車両１に搭載されるカメラ２
に応じたフレア輝度パターンが、予め理論的に又は実験的に求められ、既知のフレア輝度
パターンとして記憶部１０４に格納されている。
灯火サイズ取得部１０２は、フレアが発生した場合における灯火の輝度パターンから、
フレア輝度パターンを差し引く処理を行う。まず、灯火サイズ取得部１０２は、図５Ａに
示すような、フレアが発生した場合における灯火輝度パターンを取得する。図５Ａの灯火
輝度パターンは光源中心から離れるにつれ輝度が緩やかに減衰する形状を有しており、図
３の灯火輝度パターンのように輝度が急峻に立ち上がるような部分を有していない。従っ
て、このままでは灯火サイズの取得を行うことが困難である。そこで、灯火サイズ取得部
１０２は、記憶部１０４から呼び出した図４のフレア輝度パターンと、図５Ａの灯火輝度
パターン中において形状が一致する部分を探索する。ここで、形状が一致する部分の探索
は、例えば最小二乗法等と言った数学的手法により行われる。なお、「形状が一致する」と
は、図４のフレア輝度パターンを縦方向に拡大又は縮小したフレア輝度パターンと、図５
Ａの灯火輝度パターンとの形状が一致する場合であってもよい。また、「形状が一致する」
かどうかの判定は、例えば、各点における値の差の絶対値の合計が、予め決められた一致
判定用閾値を下回っているかどうかにより行われる。図５Ａにおいて点線で囲んだ部分が、
フレア輝度パターンと形状が一致すると判定された部分である。
フレア輝度パターンを差し引く処理を行う。まず、灯火サイズ取得部１０２は、図５Ａに
示すような、フレアが発生した場合における灯火輝度パターンを取得する。図５Ａの灯火
輝度パターンは光源中心から離れるにつれ輝度が緩やかに減衰する形状を有しており、図
３の灯火輝度パターンのように輝度が急峻に立ち上がるような部分を有していない。従っ
て、このままでは灯火サイズの取得を行うことが困難である。そこで、灯火サイズ取得部
１０２は、記憶部１０４から呼び出した図４のフレア輝度パターンと、図５Ａの灯火輝度
パターン中において形状が一致する部分を探索する。ここで、形状が一致する部分の探索
は、例えば最小二乗法等と言った数学的手法により行われる。なお、「形状が一致する」と
は、図４のフレア輝度パターンを縦方向に拡大又は縮小したフレア輝度パターンと、図５
Ａの灯火輝度パターンとの形状が一致する場合であってもよい。また、「形状が一致する」
かどうかの判定は、例えば、各点における値の差の絶対値の合計が、予め決められた一致
判定用閾値を下回っているかどうかにより行われる。図５Ａにおいて点線で囲んだ部分が、
フレア輝度パターンと形状が一致すると判定された部分である。
灯火サイズ取得部１０２は、図５Ａの輝度パターンから、形状が一致した部分において
フレア輝度パターンを差し引く。図５Ｂに、差し引いた後の灯火輝度パターンを示す。差
し引いた後の灯火輝度パターンは、周囲が明るい場合において撮像された場合の灯火輝度
パターンと同様、輝度が急峻に立ち上がる部分を含んでいる。差し引いた後の灯火輝度パ
ターンを用いて、灯火サイズ取得部１０３は、画像中における信号機の灯火サイズの取得
を行う。
フレア輝度パターンを差し引く。図５Ｂに、差し引いた後の灯火輝度パターンを示す。差
し引いた後の灯火輝度パターンは、周囲が明るい場合において撮像された場合の灯火輝度
パターンと同様、輝度が急峻に立ち上がる部分を含んでいる。差し引いた後の灯火輝度パ
ターンを用いて、灯火サイズ取得部１０３は、画像中における信号機の灯火サイズの取得
を行う。
このようにして取得された灯火サイズを用いて、距離推定部１０４により、車両１から
信号機３までの距離が推定される。
信号機３までの距離が推定される。
なお、灯火サイズ取得部１０２は、画像中における信号機の灯火のフレアを除去する処
理を行うだけでなく、画像全体において発生しているフレアについて除去を行う構成とな
っていてもよい。この場合、信号機以外の灯火（街灯や周辺車両のブレーキランプ等）に
対しても、信号機と同様にフレアの除去が行われる。
理を行うだけでなく、画像全体において発生しているフレアについて除去を行う構成とな
っていてもよい。この場合、信号機以外の灯火（街灯や周辺車両のブレーキランプ等）に
対しても、信号機と同様にフレアの除去が行われる。
一方で、灯火サイズ取得部１０２は、画像中における信号機の灯火のフレアのみを除去
し、信号機以外の灯火（街灯や周辺車両のブレーキランプ等）に対してはフレアの除去を
行わない構成となっていてもよい。この場合、画像全体において発生しているフレアを除
去する場合と比較して、距離推定装置１００の演算負荷を抑えることができる。
し、信号機以外の灯火（街灯や周辺車両のブレーキランプ等）に対してはフレアの除去を
行わない構成となっていてもよい。この場合、画像全体において発生しているフレアを除
去する場合と比較して、距離推定装置１００の演算負荷を抑えることができる。
以上のような処理を行うことで、本実施形態の距離推定装置１００は、周囲が暗い状況
下において信号機の灯火を撮影した場合であっても、フレアの影響を差し引いた上で、画
像中における灯火サイズの取得を行う。そのことによって、車両１から信号機３までの距
離の推定を正確に行うことができる。
下において信号機の灯火を撮影した場合であっても、フレアの影響を差し引いた上で、画
像中における灯火サイズの取得を行う。そのことによって、車両１から信号機３までの距
離の推定を正確に行うことができる。
次に、図６のフローチャートを用いて、本実施形態の距離推定装置１００の処理の流れ
を説明する。まず、ステップＳ１０１において、画像取得部１０１は、カメラ２が撮像し
た画像を取得する。次に、ステップＳ１０２において、灯火サイズ取得部１０２は、画像
中に信号機の灯火が存在するかどうかを判定する。判定結果がＮｏとなった場合には処理
を終了し、以降の処理を行わない。すなわち、画像中におけるフレアの除去が行われない。
を説明する。まず、ステップＳ１０１において、画像取得部１０１は、カメラ２が撮像し
た画像を取得する。次に、ステップＳ１０２において、灯火サイズ取得部１０２は、画像
中に信号機の灯火が存在するかどうかを判定する。判定結果がＮｏとなった場合には処理
を終了し、以降の処理を行わない。すなわち、画像中におけるフレアの除去が行われない。
フレアの除去を行う処理は、演算装置に高い負荷を与える。本実施形態では、画像中に
信号機の灯火が存在しない場合にはフレアの除去を行わない。例えば、信号機以外の灯火
（街灯や周辺車両のブレーキランプ等）に対してはフレアの除去を行わない。仮に信号機
以外の灯火に対しても、信号機の灯火に対する場合と同様にフレアの除去を行うとすると、
距離推定に必要でない余分な演算によって、演算装置に高い負荷を与えることになってし
まう。本実施形態では、画像中に信号機の灯火が存在しない場合にはフレアの除去を行わ
ないことによって、演算負荷を抑制することができる。
信号機の灯火が存在しない場合にはフレアの除去を行わない。例えば、信号機以外の灯火
（街灯や周辺車両のブレーキランプ等）に対してはフレアの除去を行わない。仮に信号機
以外の灯火に対しても、信号機の灯火に対する場合と同様にフレアの除去を行うとすると、
距離推定に必要でない余分な演算によって、演算装置に高い負荷を与えることになってし
まう。本実施形態では、画像中に信号機の灯火が存在しない場合にはフレアの除去を行わ
ないことによって、演算負荷を抑制することができる。
図６に戻り説明を続ける。ステップＳ１０２において、画像中に信号機の灯火が存在す
るかどうかの判定結果がＹｅｓとなった場合には、ステップＳ１０３において、灯火サイ
ズ取得部１０２は、信号機の灯火の灯火輝度パターンを取得する。その後、ステップＳ１
０４において、灯火サイズ取得部１０２は、灯火輝度パターンにおいて既知のフレア輝度
パターンと形状が一致する部分を探索する。灯火サイズ取得部１０２は、ステップＳ１０
５において、灯火輝度パターンとフレア輝度パターンとで形状が一致する部分を差し引た
後、ステップＳ１０６において、画像中における灯火サイズを取得する。最後に、ステッ
プＳ１０７において、距離推定部１０４は、灯火サイズに基づき、車両１から信号機３ま
での距離を推定する。
るかどうかの判定結果がＹｅｓとなった場合には、ステップＳ１０３において、灯火サイ
ズ取得部１０２は、信号機の灯火の灯火輝度パターンを取得する。その後、ステップＳ１
０４において、灯火サイズ取得部１０２は、灯火輝度パターンにおいて既知のフレア輝度
パターンと形状が一致する部分を探索する。灯火サイズ取得部１０２は、ステップＳ１０
５において、灯火輝度パターンとフレア輝度パターンとで形状が一致する部分を差し引た
後、ステップＳ１０６において、画像中における灯火サイズを取得する。最後に、ステッ
プＳ１０７において、距離推定部１０４は、灯火サイズに基づき、車両１から信号機３ま
での距離を推定する。
以上、図６を用いて説明した流れに沿って、本実施形態の距離推定装置１００は、車両
１から信号機３までの距離を推定する。
１から信号機３までの距離を推定する。
〈本発明の他の実施形態〉
本発明の他の実施形態においては、距離推定装置１００は複数のフレア輝度パターンを
記憶しており、信号機の灯火の灯色に応じた使い分けがなされる。
本発明の他の実施形態においては、距離推定装置１００は複数のフレア輝度パターンを
記憶しており、信号機の灯火の灯色に応じた使い分けがなされる。
図７に示すように、記憶部１０３は２以上のフレア輝度パターンとしてフレア輝度パタ
ーン１、フレア輝度パターン２、フレア輝度パターン３を記憶している。灯火サイズ取得
部１０２は、信号機の灯色に応じたフレア輝度パターンを記憶部１０３から呼び出し、画
像中のフレアの除去に用いる。先に述べた通り、フレアはカメラ２に含まれるレンズや鏡
筒等の光学部品における光の多重反射に起因するものである。ここで、光の反射率は波長
依存性を有するため、信号機の灯火の灯色に応じてフレア輝度パターンの形状は変化する。
記憶部１０３に予め信号機の灯色に応じた複数のフレア輝度パターンを記憶させておくこ
とにより、一層適切にフレアの除去を行うことができるようになる。
ーン１、フレア輝度パターン２、フレア輝度パターン３を記憶している。灯火サイズ取得
部１０２は、信号機の灯色に応じたフレア輝度パターンを記憶部１０３から呼び出し、画
像中のフレアの除去に用いる。先に述べた通り、フレアはカメラ２に含まれるレンズや鏡
筒等の光学部品における光の多重反射に起因するものである。ここで、光の反射率は波長
依存性を有するため、信号機の灯火の灯色に応じてフレア輝度パターンの形状は変化する。
記憶部１０３に予め信号機の灯色に応じた複数のフレア輝度パターンを記憶させておくこ
とにより、一層適切にフレアの除去を行うことができるようになる。
図８を用いて処理の流れを説明する。この処理は、図６のステップS１０４中で行われ
る。図８のステップＳ２０１において、灯火サイズ取得部１０２は、画像中の信号機の灯
火の灯色を取得する。次に、ステップＳ２０２において、灯色に応じたフレア輝度パター
ンを記憶部から呼び出す。呼び出されたフレア輝度パターンを用いて、フレアの除去が実
施される。
る。図８のステップＳ２０１において、灯火サイズ取得部１０２は、画像中の信号機の灯
火の灯色を取得する。次に、ステップＳ２０２において、灯色に応じたフレア輝度パター
ンを記憶部から呼び出す。呼び出されたフレア輝度パターンを用いて、フレアの除去が実
施される。
以上、本発明の実施形態及び他の実施形態について説明したが、本発明はこれらに限定
されるものではない。本発明は、これらの実施形態をはじめとして、当業者の知識に基づ
いて種々の変更、改良を施した様々な形態で実施されうる。
されるものではない。本発明は、これらの実施形態をはじめとして、当業者の知識に基づ
いて種々の変更、改良を施した様々な形態で実施されうる。
例えば「信号機」は、踏切の付近に設置された踏切警報灯や、高速道路の料金所の入口
の信号灯等を含んでもよい。この場合、車両１から、踏切警報灯又は高速道路の料金所の
入口の信号灯までの距離が推定される。
の信号灯等を含んでもよい。この場合、車両１から、踏切警報灯又は高速道路の料金所の
入口の信号灯までの距離が推定される。
例えば、本発明に係るプログラムは、コンピュータによって読取り可能な記録媒体に記
憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、
例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。
憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、
例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。
１ 車両
２ カメラ
３ 信号機
１００ 距離推定装置
１０１ 画像取得部
１０２ 灯火サイズ取得部
１０３ 距離推定部
１０４ 記憶部
２０１ 周囲が明るい場合における信号機画像
２０２ 周囲が暗い場合における信号機画像
２ カメラ
３ 信号機
１００ 距離推定装置
１０１ 画像取得部
１０２ 灯火サイズ取得部
１０３ 距離推定部
１０４ 記憶部
２０１ 周囲が明るい場合における信号機画像
２０２ 周囲が暗い場合における信号機画像
Claims (7)
- 車両から信号機までの距離を推定する距離推定装置であって、
前記車両周辺を撮像するセンサにより撮像された画像を取得する画像取得部と、
前記画像中に映る前記信号機の灯火の灯火サイズを取得する灯火サイズ取得部と、
前記灯火サイズに基づき、前記車両から前記信号機までの距離を推定する距離推定部と、
前記センサの撮像画像中における既知のフレア輝度パターンを記憶する記憶部と、
を備え、
前記灯火サイズ取得部は、
前記画像中における前記灯火の灯火輝度パターンを取得し、
前記灯火輝度パターン中において、前記フレア輝度パターンと形状が一致する部分を
探索し、形状が一致する部分において前記灯火輝度パターンから前記フレア輝度パターン
を差し引くことにより、前記画像中における前記灯火のフレアを除去し、
前記フレアを除去した後の前記画像中における前記灯火サイズを取得する
ことを特徴とする距離推定装置。 - 前記灯火サイズ取得部は、
前記画像中における前記灯火のフレアを除去し、前記灯火以外のフレアの除去を行わ
ない
ことを特徴とする請求項１に記載の距離推定装置。 - 前記記憶部は、信号機の灯火の灯色に応じた２以上のフレア輝度パターンを記憶し、
前記灯火サイズ取得部は
前記２以上のフレア輝度パターンのうち、前記画像中における前記灯火の灯色に応じ
たフレア輝度パターンを選択し、
選択された前記フレア輝度パターンを前記灯火輝度パターンから差し引くことにより、
前記画像中における前記灯火のフレアを除去する
ことを特徴とする請求項１又は請求項２に記載の距離推定装置。 - 車両から信号機までの距離を推定する距離推定方法であって、
前記車両周辺を撮像するセンサにより撮像された画像を取得する画像取得工程と、
前記画像中に映る前記信号機の灯火の灯火サイズを取得する灯火サイズ取得工程と、
前記灯火サイズに基づき、前記車両から前記信号機までの距離を推定する距離推定工程
と、
を含み、
前記センサの撮像画像中における既知のフレア輝度パターンを予め記憶部が記憶しており、
前記灯火サイズ取得工程は、
前記画像中における前記灯火の灯火輝度パターンを取得し、
前記灯火輝度パターン中において、前記フレア輝度パターンと形状が一致する部分を
探索し、形状が一致する部分において前記灯火輝度パターンから前記フレア輝度パターン
を差し引くことにより、前記画像中における前記灯火のフレアを除去し、
前記フレアを除去した後の前記画像中における前記灯火サイズを取得する
ことを含む、距離推定方法。 - 前記灯火サイズ取得工程は、
前記画像中における前記灯火のフレアを除去し、前記灯火以外のフレアの除去を行わ
ない
ことを特徴とする請求項４に記載の距離推定方法。 - 前記記憶部が、信号機の灯火の灯色に応じた２以上のフレア輝度パターンを記憶し、
前記灯火サイズ取得工程は
前記２以上のフレア輝度パターンのうち、前記画像中における前記灯火の灯色に応じ
たフレア輝度パターンを選択し、
選択された前記フレア輝度パターンを前記灯火輝度パターンから差し引くことにより、
前記画像中における前記灯火のフレアを除去する
ことを特徴とする請求項４又は請求項５に記載の距離推定方法。 - 請求項４から請求項６までのいずれか１項に記載の距離推定方法をコンピュータに実行させるプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021179069A JP7548191B2 (ja) | 2021-11-01 | 2021-11-01 | 距離推定装置 |
| US17/821,544 US12272083B2 (en) | 2021-11-01 | 2022-08-23 | Distance estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021179069A JP7548191B2 (ja) | 2021-11-01 | 2021-11-01 | 距離推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023067644A JP2023067644A (ja) | 2023-05-16 |
| JP7548191B2 true JP7548191B2 (ja) | 2024-09-10 |
Family
ID=86145129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021179069A Active JP7548191B2 (ja) | 2021-11-01 | 2021-11-01 | 距離推定装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12272083B2 (ja) |
| JP (1) | JP7548191B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240066001A (ko) * | 2022-11-07 | 2024-05-14 | 삼성전자주식회사 | 신호등의 신호 상태를 판단하는 방법 및 장치 |
| JP2024130942A (ja) * | 2023-03-15 | 2024-09-30 | 株式会社デンソーテン | 画像処理装置、画像処理方法およびプログラム |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007257303A (ja) | 2006-03-23 | 2007-10-04 | Honda Motor Co Ltd | 信号機認識装置 |
| JP2009152921A (ja) | 2007-12-21 | 2009-07-09 | Panasonic Corp | フレア補正装置 |
| JP2009244946A (ja) | 2008-03-28 | 2009-10-22 | Fujitsu Ltd | 信号機認識装置，信号機認識方法および信号機認識プログラム |
| JP2016161973A (ja) | 2015-02-26 | 2016-09-05 | 株式会社リコー | 認識装置、認識方法及びプログラム |
| US20190035276A1 (en) | 2016-03-06 | 2019-01-31 | Foresight Automotive Ltd. | Running vehicle alerting system and method |
| JP2019109602A (ja) | 2017-12-15 | 2019-07-04 | クラリオン株式会社 | 信号機認識装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4571179B2 (ja) | 2007-12-07 | 2010-10-27 | パナソニック株式会社 | 撮像装置 |
| EP3975138B1 (en) * | 2008-10-06 | 2024-12-11 | Mobileye Vision Technologies Ltd. | Bundling of driver assistance systems |
| JP2016142647A (ja) * | 2015-02-03 | 2016-08-08 | クラリオン株式会社 | 画像処理装置、および車両システム |
| WO2018069154A1 (en) * | 2016-10-11 | 2018-04-19 | Philips Lighting Holding B.V. | Control system for a surveillance system, surveillance system and method of controlling a surveillance system |
| JP6378299B2 (ja) | 2016-12-14 | 2018-08-22 | ファナック株式会社 | ヒートシンク |
| KR102339776B1 (ko) * | 2017-08-09 | 2021-12-15 | 삼성전자주식회사 | 차량의 주행 제어 방법 및 장치 |
| US10558873B2 (en) * | 2017-12-14 | 2020-02-11 | Waymo Llc | Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle |
| US11087153B2 (en) * | 2018-10-31 | 2021-08-10 | Cognizant Technology Solutions India Pvt. Ltd. | Traffic light recognition system and method |
| JP7205695B2 (ja) * | 2019-02-18 | 2023-01-17 | トヨタ自動車株式会社 | 運転支援システム |
| CN117387614A (zh) * | 2020-07-16 | 2024-01-12 | 御眼视觉技术有限公司 | 用于动态道路几何形状建模与导航的系统和方法 |
-
2021
- 2021-11-01 JP JP2021179069A patent/JP7548191B2/ja active Active
-
2022
- 2022-08-23 US US17/821,544 patent/US12272083B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007257303A (ja) | 2006-03-23 | 2007-10-04 | Honda Motor Co Ltd | 信号機認識装置 |
| JP2009152921A (ja) | 2007-12-21 | 2009-07-09 | Panasonic Corp | フレア補正装置 |
| JP2009244946A (ja) | 2008-03-28 | 2009-10-22 | Fujitsu Ltd | 信号機認識装置，信号機認識方法および信号機認識プログラム |
| JP2016161973A (ja) | 2015-02-26 | 2016-09-05 | 株式会社リコー | 認識装置、認識方法及びプログラム |
| US20190035276A1 (en) | 2016-03-06 | 2019-01-31 | Foresight Automotive Ltd. | Running vehicle alerting system and method |
| JP2019109602A (ja) | 2017-12-15 | 2019-07-04 | クラリオン株式会社 | 信号機認識装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023067644A (ja) | 2023-05-16 |
| US12272083B2 (en) | 2025-04-08 |
| US20230134330A1 (en) | 2023-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2618304B1 (en) | Imaging apparatus, vehicle system having the same, and image-processing method | |
| JP6220327B2 (ja) | 走行区画線認識装置、走行区画線認識プログラム | |
| JP6132412B2 (ja) | 車外環境認識装置 | |
| US9349070B2 (en) | Vehicle external environment recognition device | |
| JP7548191B2 (ja) | 距離推定装置 | |
| US10949686B2 (en) | Image processing device and image processing method | |
| US11256933B2 (en) | Image processing device and image processing method | |
| JP2016149594A (ja) | 車両用進入可否判定装置 | |
| JP2020047174A (ja) | 歩行者報知装置、歩行者報知方法、及びプログラム | |
| JP5884635B2 (ja) | 走行環境検出装置、走行環境検出プログラム、およびライト制御装置 | |
| US11749002B2 (en) | Lane line recognition apparatus | |
| US11157757B2 (en) | Image processing device and image processing method | |
| US11170235B2 (en) | Image processing device and image processing method | |
| JP5898535B2 (ja) | 撮像ユニットの露光制御装置 | |
| WO2011016257A1 (ja) | 車両用距離算出装置 | |
| US20200311961A1 (en) | Image processing device and image processing method | |
| JP6259335B2 (ja) | 車外環境認識装置 | |
| US11373416B2 (en) | Image processing device and image processing method | |
| JP2007193702A (ja) | 画像処理装置及び画像処理方法 | |
| US11182627B2 (en) | Image processing device and image processing method | |
| US20200193210A1 (en) | Image processing device and image processing method | |
| JPH1038560A (ja) | 車間距離検出装置 | |
| JP2002148356A (ja) | 車外監視装置 | |
| WO2019013253A1 (ja) | 検出装置 | |
| CN119595258A (zh) | 车辆灯光装置的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240712 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20240712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240812 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7548191 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |