JP2018537745A - 物体を認識する方法およびシステム - Google Patents
物体を認識する方法およびシステム Download PDFInfo
- Publication number
- JP2018537745A JP2018537745A JP2018512239A JP2018512239A JP2018537745A JP 2018537745 A JP2018537745 A JP 2018537745A JP 2018512239 A JP2018512239 A JP 2018512239A JP 2018512239 A JP2018512239 A JP 2018512239A JP 2018537745 A JP2018537745 A JP 2018537745A
- Authority
- JP
- Japan
- Prior art keywords
- probability
- sensor
- occupancy
- grid
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/04—Systems determining presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
Description
−一方で、必ずしも浮動小数点演算に対応していない簡単な組み込み計算装置の使用を可能とし、
−他方で、浮動小数点計算対応している場合であっても、そのような計算の実行を回避または大幅に制限することにより、計算装置のエネルギー消費を減らすことを目的としている。そのようなエネルギー消費の低減自体が有利であり、更に、発熱を抑えることを可能になるため、放熱の観点からの制約を緩和しつつ計算装置の堅牢性および寿命が向上する。
a)1個以上のセンサから得られる、前記物体の複数の距離測定値を取得するステップと、
b)前記距離測定値の各々に対し、前記センサの環境の離散化された空間表現を与える占有格子上の対応センサの逆モデルを適用することにより、物体による前記占有格子のセルの集合の占有確率を決定するステップと、
c)各セルがステップbで推定された占有確率の融合により計算された占有確率を示す統合された占有格子を構築するステップを含み、
前記逆センサモデルの各々が、対応する占有格子の各セルおよび各距離測定値に同一の有限集合内で選択された確率クラスを関連付ける離散的なモデルであり、前記確率クラスの各々が整数添え字により識別されること、および前記ステップc)において、統合された占有格子の各セルの占有確率が前記ステップb)で決定された確率クラスの添え字に対して実行された整数計算により決定されることを特徴とする方法である。
−1個以上のセンサから得られる、前記物体の距離測定値を表す複数の信号を受信する少なくとも1個の入力ポートと、
−前記信号を入力として受信し、それらを用いて上で定義した方法を適用することにより、統合された占有格子を構築すべく構成されたデータ処理モジュールと、
−前記統合された占有格子を表す信号の少なくとも1個の出力ポートを含んでいる。
∀i,j∈[0,N−1],P(oi∧oj)=P(oi)・P(oj) (1)
ここに、∧は論理演算子「and」であり、P(.)は事象の確率を示す(小文字「p」で表す確率密度と混同しないように)。
2.k=i(図5B参照)。セルk=iは占有され(1個のセル)、j<iのセルcjは空であり(i個のセル)、他は占有されているかまたは空である。この結果、状態が固定された1+i個のセルおよび状態が不確定のN−i−1個のセルが生じる。結局そのような格子が2N−i−1個存在する。
3.k>i。この構成は不可能である。その理由は、kが厳密にiよりも大きい場合、最も近い障害物はxkではなくxiに見られるであろう。
1.k<i、すなわち図5Cに示す状況。この条件を満たす2N−k−2個のセルがある。
2.k=i、すなわち不可能な状況。
3.k>i、すなわち図5Dに示す状況。この条件を満たす2N−k−2個のセルがある。
−0.5の確率は不確実な占有を示し、従ってこの値の付近で精度が極めて高いことは不要である一方、極値0および1の付近では精度は有用である。
−|n|のある値を越えたならば、確率クラスpnの様々な値は互いに極めて近くなり、従ってクラスの系の切り捨てにより生じる誤差は無視できる。
・i<0,j>0且つ|i|≧|j|ならば、F(pi,pj)=p(i+j)÷(1+k・j) (19)
・i<0,j>0且つ|i|≦|j|ならば、F(pi,pj)=p(i+j)÷(1−k・i) (20)
となる。
E(k)=p1−p0=k/(2k+4) (21)
により与えられる。
F(pi,pj)=max(pi,pj) (22)
が得られる。
p0=0.5
p1=p
p2=F(p,p)
p3=F(p2,p)
...
pn+1=F(pn,p) (23)
のように再帰的に定義される。
p0=0.5
p−1=1−p
p−2=F(p−1,p−1)
p−3=F(p−2,p−1)
...
pn−1=F(pn,p−1) (24)
のようにnの負の整数値に拡張する。
E(p)=p1−p0=ε (29)
が得られる。
Claims (16)
- コンピュータまたは専用デジタル電子回路(MTD1,MTD2)により実装された物体(O)認識方法であって以下のステップ、すなわち
a)1個以上のセンサ(C1...CNC)から得られる、前記物体の複数の距離測定値(z1...zNC)を取得するステップと、
b)前記距離測定値の各々に対し、前記センサの環境の離散化された空間表現を与える占有格子(GO)上の対応センサの逆モデルを適用することにより、物体による前記占有格子のセルの集合の占有確率を決定するステップと、
c)各セルがステップbで推定された占有確率の融合により計算された占有確率を示す統合された占有格子を構築するステップとを含み、
前記逆センサモデルの各々が、対応する占有格子の各セルおよび各距離測定値に同一の有限集合内で選択された確率クラスを関連付ける離散的なモデルであり、前記確率クラスの各々が整数添え字により識別されること、および前記ステップc)において、統合された占有格子の各セルの占有確率が前記ステップb)で決定された確率クラスの添え字に対して実行された整数計算により決定されることを特徴とする方法。 - 確率クラスの前記有限個の集合が1個以上の部分集合の和集合により形成されていて、前記ステップc)において、同一の部分集合に属する2個の確率クラスを融合した結果得られるクラスも同様に前記部分集合に属する、請求項1に記載の方法。
- 確率クラスの前記有限個の集合が、確率区間[0、1]において、離散化間隔が0〜0.5の間で増大し、次いで0.5〜1の間で減少するように非一様に離散化されている、請求項1または2に記載の方法。
- 前記ステップc)において、2個の確率クラスpi,pj∈Skの間の融合F(pi、pj)が、添え字「i」、「j」が逆符号を有する場合に次式
・i<0,j>0且つ|i|≧|j|ならば、F(pi,pj)=p(i+j)÷(1+k・j)
・i<0,j>0且つ|i|≦|j|ならば、F(pi,pj)=p(i+j)÷(1−k・i)
を適用することにより計算され、記号÷は整数除算を表す、請求項4に記載の方法。 - k=1である、請求項4または5に記載の方法。
- 前記ステップc)が、同一位置に配置されていないセンサに関連付けられた占有格子のセルの占有確率に基づいて前記統合された占有格子を構築すべくフレームの変更を実行するステップを含んでいる、請求項1〜7のいずれか1項に記載の方法。
- 少なくとも1個の前記占有格子の空間解像度を決定する事前ステップをも含んでいて、前記空間解像度が制約マップ[p(z│xk)]≧pminと互換な最小のものであるように選択されていて、p(z│xk)が、前記センサにより近い他の全てのセル以外の占有格子のセルkの位置xkが物体により占有されている場合に前記センサが与える測定値「z」の確率密度を表す前記センサの直接モデルを表し、pminが前記集合属し、且つ0.5よりも大きい最小確率クラスである、請求項1〜9のいずれか1項に記載の方法。
- 物体を認識するシステムであって、
−1個以上のセンサから得られる、前記物体の距離測定値を表す複数の信号(z1,...,zNC)を受信する少なくとも1個の入力ポートと、
−前記信号を入力として受信し、それらを用いて請求項1〜8に記載の方法を適用することにより、統合された占有格子を構築すべく構成されたデータ処理モジュール(MTD1,MTD2)と、
−前記統合された占有格子を表す信号(gfus)の少なくとも1個の出力ポートを含むシステム。 - 前記物体の複数の距離測定値を表す信号を生成すべく適合されていて、前記入力ポートまたはポート群に接続された1個以上の距離センサ(C1,...,CNC)をも含んでいる、請求項11に記載のシステム。
- 前記データ処理モジュールが、占有格子の各セルに関連付けられた確率クラスの添え字を表す各距離測定値に整数ベクトルを関連付けるセンサの逆モデルを対応関係テーブルの形式で保存しているメモリを含んでいて占有確率(CO1...COnNC)を計算する少なくとも1個のハードウェアブロックを含んでいる、請求項11または12に記載のシステム。
- 前記データ処理モジュールが、各々の占有格子のセルに関連付けられた確率クラスの添え字を表す複数の整数を入力として受信し、前記統合された占有格子のセルに関連付けられた確率クラスの添え字を計算すべく構成された、いわゆる統合(F)用の整数計算ハードウェアブロックを含んでいる、請求項11〜13のいずれか1項に記載のシステム。
- 請求項13に依存する場合に、前記データ処理モジュールが、
−占有確率を計算する対応ハードウェアブロックから得られ、且つ占有格子の各セルに関連付けられた確率クラスの添え字を表す、少なくとも1個の第1の整数ベクトルを入力として受信し、
−前記第1の整数ベクトルを、前記統合された占有格子と空間的に一致する別の占有格子の各セルに関連付けられた確率クラスの添え字を表す第2の整数ベクトルに変換して、
−前記第2の整数ベクトルを前記統合ハードウェアブロックへの入力として提供すべく構成された、フレーム(R1,...,RNC)のいわゆる変更を行う少なくとも1個の計算ブロックをも含んでいる、請求項14に記載のシステム。 - 前記データ処理モジュールが、同一のセンサまたは同一位置に配置されたセンサにより連続的に取得された距離測定値を表す信号(z1、...、zNC)を入力として受信し、連続的な取得時点に対応する複数の前記信号に基づいて統合された占有格子を構築すべく構成されている、請求項11または12に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1558919A FR3041451B1 (fr) | 2015-09-22 | 2015-09-22 | Procede et systeme de perception de corps materiels |
| FR1558919 | 2015-09-22 | ||
| PCT/EP2016/072530 WO2017050890A1 (fr) | 2015-09-22 | 2016-09-22 | Procede et systeme de perception de corps materiels |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018537745A true JP2018537745A (ja) | 2018-12-20 |
| JP6869230B2 JP6869230B2 (ja) | 2021-05-12 |
Family
ID=54783801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018512239A Active JP6869230B2 (ja) | 2015-09-22 | 2016-09-22 | 物体を認識する方法およびシステム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11397901B2 (ja) |
| EP (1) | EP3353720B1 (ja) |
| JP (1) | JP6869230B2 (ja) |
| FR (1) | FR3041451B1 (ja) |
| WO (1) | WO2017050890A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3052275A1 (fr) | 2016-06-03 | 2017-12-08 | Commissariat Energie Atomique | Procede et systeme de determination de cellules traversees par un axe de mesure ou de visualisation |
| US10635913B2 (en) * | 2016-10-17 | 2020-04-28 | Mediatek Inc. | Path planning method and related navigation device |
| FR3062924B1 (fr) | 2017-02-16 | 2019-04-05 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede et systeme de perception contextualisee de corps materiels |
| DE102017217972A1 (de) * | 2017-10-10 | 2019-04-11 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erzeugen eines inversen Sensormodells und Verfahren zum Erkennen von Hindernissen |
| EP3594719A1 (en) | 2018-07-13 | 2020-01-15 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Environment sensing method and apparatus using a wide-angle distance sensor |
| US11449705B2 (en) | 2019-01-08 | 2022-09-20 | Motional Ad Llc | Field theory based perception for autonomous vehicles |
| US11168985B2 (en) * | 2019-04-01 | 2021-11-09 | GM Global Technology Operations LLC | Vehicle pose determining system and method |
| EP3734388B1 (en) | 2019-04-29 | 2023-03-15 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Method and apparatus for performing simultaneous localization and mapping |
| RU2744012C1 (ru) | 2019-12-24 | 2021-03-02 | Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" | Способы и системы для автоматизированного определения присутствия объектов |
| DE102021112349A1 (de) | 2020-05-12 | 2021-11-18 | Motional Ad Llc | Fahrzeugbetrieb unter verwendung eines dynamischen belegungsrasters |
| EP3926434B1 (en) | 2020-06-18 | 2022-09-07 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Method and apparatus for performing grid-based localization of a mobile body |
| FR3114174A1 (fr) | 2020-09-14 | 2022-03-18 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procédé et système de détection coopérative de corps matériels dans un environnement |
| FR3116640B1 (fr) | 2020-11-20 | 2023-11-17 | Commissariat Energie Atomique | Procédé itératif d’estimation du mouvement d’un corps matériel par génération d’une grille de mouvement filtrée |
| FR3135790B1 (fr) | 2022-05-17 | 2024-06-21 | Commissariat Energie Atomique | Procede et systeme de perception de corps materiels a balayage optimise |
| FR3143814B1 (fr) | 2022-12-16 | 2025-03-28 | Commissariat Energie Atomique | Procédé de caractérisation de l’environnement d’un porteur mobile, produisant une grille d’espace statique et/ou une grille d’espace libre |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009508199A (ja) * | 2005-09-09 | 2009-02-26 | アンスティテュ ナスィヨナル ドゥ ラ ルシェルシュ アン アンフォルマティク エ アン オートマティク | 車両運転補助方法および改良型関連装置 |
| JP2012048642A (ja) * | 2010-08-30 | 2012-03-08 | Denso Corp | 走行環境認識装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009007395B4 (de) | 2008-03-25 | 2015-11-26 | Volkswagen Ag | Verfahren zur kartenbasierten Umfelddarstellung eines Fahrzeugs |
| US9429650B2 (en) | 2012-08-01 | 2016-08-30 | Gm Global Technology Operations | Fusion of obstacle detection using radar and camera |
-
2015
- 2015-09-22 FR FR1558919A patent/FR3041451B1/fr active Active
-
2016
- 2016-09-22 WO PCT/EP2016/072530 patent/WO2017050890A1/fr not_active Ceased
- 2016-09-22 EP EP16775572.7A patent/EP3353720B1/fr active Active
- 2016-09-22 JP JP2018512239A patent/JP6869230B2/ja active Active
- 2016-09-22 US US15/753,540 patent/US11397901B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009508199A (ja) * | 2005-09-09 | 2009-02-26 | アンスティテュ ナスィヨナル ドゥ ラ ルシェルシュ アン アンフォルマティク エ アン オートマティク | 車両運転補助方法および改良型関連装置 |
| JP2012048642A (ja) * | 2010-08-30 | 2012-03-08 | Denso Corp | 走行環境認識装置 |
Non-Patent Citations (1)
| Title |
|---|
| TIANA RAKOTOVAO ET AL.: "Real-time power-efficient integration of multi-sensor occupancy grid on many-core", 2015 IEEE INTERNATIONAL WORKSHOP ON ADVANCED ROBOTICS AND ITS SOCIAL IMPACTS (ARSO) [ONLINE], JPN6020031303, 30 June 2015 (2015-06-30), ISSN: 0004331836 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3041451A1 (fr) | 2017-03-24 |
| JP6869230B2 (ja) | 2021-05-12 |
| WO2017050890A1 (fr) | 2017-03-30 |
| FR3041451B1 (fr) | 2018-02-16 |
| US20180247216A1 (en) | 2018-08-30 |
| EP3353720B1 (fr) | 2023-12-20 |
| EP3353720A1 (fr) | 2018-08-01 |
| US11397901B2 (en) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6869230B2 (ja) | 物体を認識する方法およびシステム | |
| US11105911B2 (en) | Method and system for contextualized perception of physical bodies | |
| US11073619B2 (en) | Efficient and scalable three-dimensional point cloud segmentation | |
| US10723024B2 (en) | Specialized robot motion planning hardware and methods of making and using same | |
| Zheng et al. | The obstacle detection method of uav based on 2d lidar | |
| Xie et al. | Congestion-aware multi-agent trajectory prediction for collision avoidance | |
| EP3734388B1 (en) | Method and apparatus for performing simultaneous localization and mapping | |
| Bucki et al. | Rectangular pyramid partitioning using integrated depth sensors (rappids): A fast planner for multicopter navigation | |
| EP3537248A1 (en) | Motion planning for autonomous vehicles and reconfigurable motion planning processors | |
| Kim et al. | Autonomous exploration in a cluttered environment for a mobile robot with 2d-map segmentation and object detection | |
| Chen et al. | Continuous occupancy mapping in dynamic environments using particles | |
| US20150003683A1 (en) | Method for Representing the Surroundings of a Vehicle | |
| CN115273002A (zh) | 一种图像处理方法、装置、存储介质及计算机程序产品 | |
| US12227191B2 (en) | Iterative method for estimating the movement of a material body by generating a filtered movement grid | |
| EP3839830A1 (en) | Trajectory estimation for vehicles | |
| Zhang et al. | A generalized continuous collision detection framework of polynomial trajectory for mobile robots in cluttered environments | |
| Lian et al. | Improved coding landmark-based visual sensor position measurement and planning strategy for multiwarehouse automated guided vehicle | |
| Chen et al. | An ant colony path planning optimization based on opposition-based learning for AUV in irregular regions | |
| CN108151746B (zh) | 基于多分辨率态势建图的改进标签实时航路重规划方法 | |
| Politi et al. | Path planning and landing for unmanned aerial vehicles using ai | |
| Saleh et al. | Estimating the 2d static map based on moving stereo camera | |
| Richter et al. | Advanced occupancy grid techniques for lidar based object detection and tracking | |
| Kim et al. | Optimizing Coverage Path Planning for Underwater Surveys with Mother Ship-Deployed AUVs | |
| Masoud | A harmonic potential field approach with a probabilistic space descriptor for planning in non-divisible environments. | |
| Lyu et al. | Autonomous Exploration Algorithm for Mobile Robots in Unknown Confined Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190717 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6869230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
