JP7482811B2 - 移動体の制御方法、移動体及びプログラム - Google Patents
移動体の制御方法、移動体及びプログラム Download PDFInfo
- Publication number
- JP7482811B2 JP7482811B2 JP2021022676A JP2021022676A JP7482811B2 JP 7482811 B2 JP7482811 B2 JP 7482811B2 JP 2021022676 A JP2021022676 A JP 2021022676A JP 2021022676 A JP2021022676 A JP 2021022676A JP 7482811 B2 JP7482811 B2 JP 7482811B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- detection
- reliability
- sensor
- estimation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/063—Automatically guided
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/656—Interaction with payloads or external entities
- G05D1/667—Delivering or retrieving payloads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Structural Engineering (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Civil Engineering (AREA)
- Geology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
(移動制御システムの全体構成)
図1は、第1実施形態に係る移動制御システムの模式図である。図1に示すように、第1実施形態に係る移動制御システム1は、移動体10、管理システム12、及び情報処理装置14を含む。移動制御システム1は、設備Wに所属する移動体10の移動を制御するシステムである。設備Wは、例えば倉庫など、物流管理される設備である。移動制御システム1においては、移動体10によって設備Wの領域AR内に配置された目標物Pをピックアップして搬送させる。領域ARは、例えば設備Wの床面であり、目標物Pが設置されたり移動体10が移動したりする領域である。目標物Pは、本実施形態では、パレット上に荷物が積載された搬送対象物である。目標物Pは、複数の柱PAと、柱PA同士の間に形成される開口PBとが、前面Paに形成されている。前面Paとは、移動体10がアプローチしてくる側の面を指す。移動体10は、開口PBに後述するフォーク24を挿入することで、目標物Pを保持する。ただし、目標物Pは、パレット上に荷物が積載されたものに限られず任意の形態であってよく、例えばパレットを有さず荷物のみであってもよい。以下、領域ARに沿った一方向を、方向Xとし、領域Aに沿った方向であって方向Xに交差する方向を、方向Yとする。本実施形態では、方向Yは、方向Xに直交する方向である。方向X、方向Yは、水平方向といってもよい。また、方向X、方向Yに直交する方向を、すなわち鉛直方向を、方向Zとする。
図2は、移動体の構成の模式図である。図2に示すように、移動体10は、車体20と、マスト22と、フォーク24と、センサ26と、制御装置28とを備えている。車体20は、車輪20Aを備えている。マスト22は、車体20の前後方向における一方の端部に設けられている。マスト22は、前後方向に直交する上下方向(ここでは方向Z)に沿って延在する。フォーク24は、マスト22に方向Zに移動可能に取付けられている。フォーク24は、マスト22に対して、車体20の横方向(上下方向及び前後方向に交差する方向)にも移動可能であってよい。フォーク24は、一対のツメ24A、24Bを有している。ツメ24A、24Bは、マスト22から車体20の前方向に向けて延在している。ツメ24Aとツメ24Bとは、マスト22の横方向に、互いに離れて配置されている。以下、前後方向のうち、移動体10においてフォーク24が設けられている側の方向を、前方向とし、フォーク24が設けられていない側の方向を、後方向とする。
図3は、管理システムの模式的なブロック図である。管理システム12は、設備Wにおける物流を管理するシステムである。管理システム12は、本実施形態ではWMS(Warehouse Management System)であるが、WMSに限られず任意のシステムであってよく、例えば、その他の生産管理系システムのようなバックエンドシステムでも構わない。管理システム12が設けられる位置は任意であり、設備W内に設けられてもよいし、設備Wから離れた位置に設けられて、離れた位置から設備Wを管理するものであってもよい。管理システム12は、コンピュータであり、図3に示すように、通信部30と記憶部32と制御部34とを含む。
図4は、情報処理装置の模式的なブロック図である。情報処理装置14は、設備Wに設けられ、少なくとも、移動体10の移動に関する情報などを移動体10と送受信する装置、いわゆる地上システムである。情報処理装置14は、コンピュータであり、図4に示すように、通信部40と記憶部42と制御部44とを含む。通信部40は、制御部44に用いられて、管理システム12や移動体10などの外部の装置と通信するモジュールであり、例えばアンテナなどを含んでよい。通信部40による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。記憶部42は、制御部44の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAMと、ROMのような主記憶装置と、HDDなどの外部記憶装置とのうち、少なくとも1つ含む。
作業内容取得部50は、管理システム12が決定した作業内容の情報、すなわち搬送対象となる目標物Pの情報を取得する。作業内容取得部50は、作業内容における目標物Pの情報から、目標物Pが設置されている設置領域AR0を特定する。例えば、記憶部42には、目標物Pと、その目標物Pが設置されている設置領域AR0とが、関連付けて記憶されており、作業内容取得部50は、記憶部42からその情報を読み出すことで、設置領域AR0を特定する。移動体選定部52は、対象となる移動体10を選定する。移動体選定部52は、例えば、設備Wに所属する複数の移動体から、対象となる移動体10を選定する。移動体選定部52は、任意の方法で対象となる移動体10を選定してよいが、例えば、作業内容取得部50が特定した設置領域AR0に基づき、その設置領域AR0にある目標物Pの搬送に適した移動体10を、対象となる移動体10として選定してよい。
第1パス取得部54は、作業内容取得部50が特定した設置領域AR0までの第1パスR1の情報を、取得する。第1パスR1は、例えば設置領域AR0毎に、予め設定されている。第1パス取得部54は、例えば記憶部42から、作業内容取得部50が特定した設置領域AR0に対して設定された第1パスR1を、取得する。以下、第1パスR1について具体的に説明する。
次に、移動体10の制御装置28について説明する。図5は、移動体の制御装置の模式的なブロック図である。制御装置28は、移動体10を制御する。制御装置28は、移動体10のセンサ26による複数回の検出結果に基づいて設定された第2パスR2に沿って、移動体10を目標位置A3まで移動させて、移動体10に目標物Pをピックアップさせる。制御装置28は、コンピュータであり、図5に示すように、通信部60と記憶部62と制御部64とを含む。通信部60は、制御部64に用いられて、情報処理装置14などの外部の装置と通信するモジュールであり、例えばアンテナなどを含んでよい。通信部40による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。記憶部62は、制御部64の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAMと、ROMのような主記憶装置と、HDDなどの外部記憶装置とのうち、少なくとも1つ含む。
第1パス情報取得部70は、第1パスR1の情報を取得する。第1パス情報取得部70は、その移動体10が作業対象として選定された際に、情報処理装置14から第1パスR1の情報を取得してもよいし、予め記憶部62に記憶された第1パスR1の情報を読み出してもよい。
移動制御部72は、移動体10の駆動部やステアリングなどの移動機構を制御して、移動体10の移動を制御する。移動制御部72は、第1パス情報取得部70が取得した第1パスR1や、後段の第2パス情報取得部82が取得した第2パスR2に従って、移動体10を移動させる。移動制御部72は、移動体10の位置情報を逐次把握することで、第1パスR1や第2パスR2を通るように、移動体10を移動させる。移動体10の位置情報の取得方法は任意であるが、例えば本実施形態では、設備Wに図示しない検出体が設けられており、移動制御部72は、検出体の検出に基づき移動体10の位置及び姿勢の情報を取得する。具体的には、移動体10は、検出体に向けてレーザ光を照射し、検出体によるレーザ光の反射光を受光して、設備Wにおける自身の位置及び姿勢を検出する。ここでの移動体10の位置とは、設備Wの領域Aにおける方向X及び方向Yの二次元座標系COにおける座標であり、以下においても、位置とは、別途説明が無い限り、二次元座標系COにおける座標を指す。また、移動体10の姿勢とは、方向X及び方向Yに直交する方向Zから見た場合の移動体10の向き(回転角度)である。また、移動体10の位置及び姿勢の情報の取得方法は、検出体を用いることに限られず、例えば、SLAM(Slmultaneous Localization and Mapping)などの自己位置推定技術を用いてもよい。
検出制御部74は、センサ26に目標物Pの前面Paを検出させて、センサ26の検出結果を点群として取得する。検出制御部74の具体的な処理内容は後述する。
目標物情報取得部76は、点群の位置に基づいて推定された、目標物Pの位置及び姿勢の推定結果を取得する。目標物情報取得部76の具体的な処理は後述する。
信頼度情報取得部78は、目標物Pの位置及び姿勢の推定結果の精度に対する信頼度の情報を、取得する。信頼度情報取得部78の具体的な処理は後述する。
選択情報取得部80は、目標物Pの位置及び姿勢の複数の推定結果のうちから、信頼度に基づいて選択された推定結果の情報を取得する。選択情報取得部80の具体的な処理は後述する。
第2パス情報取得部82は、選択された推定結果に基づいて設定された、目標位置A3までの第2パスR2の情報を取得する。第2パス情報取得部82の具体的な処理は後述する。
次に、移動体10が目標物Pに向かう際の制御装置28の処理について説明する。
制御装置28の移動制御部72は、第1パス情報取得部70が取得した第1パスR1に従って、移動体10を移動させる。移動制御部72は、現在の移動体10の位置から、第1位置A1を経由して第2位置A2まで、第1パスR1を通るように、移動体10を移動させる。
図6は、目標物の検出を説明する模式図である。検出制御部74は、図6に示すように、移動体10が、第1パスR1に沿って第1位置A1から第2位置A2までの間を移動中に、すなわち検出軌道R1aを移動中に、センサ26に、目標物Pの前面Paを複数回検出させる。検出制御部74は、センサ26に、位置が既知である設置領域AR0に向けて検出を行わせることで、目標物Pの前面Paを検出させる。具体的には、検出制御部74は、センサ26に、目標物Pが設置された設置領域ARに向けて、レーザ光LTを照射させる。レーザ光LTは目標物Pの前面Paで反射され、センサ26は、目標物Pの前面Paからの反射光を受光する。検出制御部74は、センサ26が受光した反射光の検出結果に基づき、計測点Mの集合である点群M0を取得する。計測点Mとは、レーザ光LTが反射された位置(座標)を示す点であり、点群M0とは、レーザ光LTが反射された位置を示す点の集合を指す。本実施形態では、検出制御部74は、反射光の検出結果と移動体10の位置に基づき、反射光が反射された箇所の、方向X及び方向Yの二次元座標系COにおける位置(座標)を、計測点Mとして算出する。ただし、検出制御部74は、二次元座標系COにおける位置を計測点Mとすることに限られず、センサ26や移動体10を基準とした座標系における位置を、計測点Mとしてもよい。
目標物情報取得部76は、センサ26による1回の検出(レーザ光LTの1回のスキャン)により取得された点群M0に含まれる計測点Mに基づき、目標物Pの位置及び姿勢を推定する。本実施形態では、センサ26による1回の検出により取得された計測点Mに基づき、それらの計測点Mの近似線Lを検出することで、目標物Pの位置及び姿勢を推定する。近似線Lは、目標物Pの前面Paに対応するものであり、すなわち例えば、二次元座標系COにおける近似線Lの傾きが目標物Pの姿勢に対応し、二次元座標系COにおける近似線Lの位置が目標物Pの位置に対応する。以下、近似線Lの検出処理の例を具体的に説明する。
図7は、近似線候補の取得を説明するための模式図である。図7に示すように、目標物情報取得部76は、設置領域AR0の位置に基づき、検知対象領域ROIaを設定する。検知対象領域ROIaは、いわゆるROI(Regions Of Interest)である。目標物情報取得部76は、設置領域AR0の位置に基づき、目標物Pの前面Paを含むと推定される領域を特定し、その領域を検知対象領域ROIaとする。目標物情報取得部76は、例えば、設置領域AR0より幅が大きい検知対象領域ROIaを設定し、センサ26による1回の検出により取得した点群M0に含まれる計測点Mのうちから、検知対象領域ROIa内の計測点Mを抽出する。目標物情報取得部76は、目標物Pの前面Paに対応する近似線L0を検出するために、一以上の近似線候補を取得する。目標物情報取得部76は、一以上の近似線候補のそれぞれについて、近似線候補から規定距離以上の手前側の計測点Mについては他の計測点Mよりも選択における優先度が低い定数のスコアを付与する。目標物情報取得部76は、検知対象領域ROIa内の計測点Mについてスコアを積算したスコア積算値に基づいて、一以上の近似線候補の中から、目標物Pの前面Paに対応する近似線L0を選択する。なお、本実施形態では、目標物Pの前面Paが平面状であるため、近似線候補、近似線L0、及び近似線Lを直線として検出するが、それらは直線であることに限られない。例えば前面Paが曲面であることが既知である場合などには、それに合わせて、近似線候補、近似線L0、及び近似線LNを曲線として算出してもよい。
目標物情報取得部76は、一以上の近似線候補のそれぞれについてスコア積算値を算出し、スコア積算値に基づいて、目標物Pの前面Paに対応する近似線L0を検出する。目標物情報取得部76は、スコア積算値が示す優先度が高い近似線候補に対して、検知対象領域ROIb外かつ検知対象領域ROIa内の点群M0を含めて、それを近似線L0として選択(すなわち検出)し、この様な点群M0についても後続の処理の対象としてもよい。以降では、一例として、目標物情報取得部76が、スコア積算値に基づいて、図8に示す近似線候補L1を近似線L0として選択するものとする。
目標物情報取得部76は、目標物Pの幅方向における両端点の位置を特定し、近似線L0を両端点で区切った線分を、近似線Lとして検出する。具体的には、目標物情報取得部76は、近似線L0から一以上の線分を抽出し、抽出した一以上の線分の中から設計情報から定まる目標物Pの両端の長さに対応する両端長さを有する一つの線分又は二以上の線分の組み合わせを探索する。「対応する長さ」とは、許容誤差の範囲内の長さを意味する。目標物Pの設計情報は、目標物Pの寸法(例えば、両端の長さ、開口PBの位置及び間隔等)を示す情報であり、例えば、制御装置28の記憶部62から読み出される。目標物情報取得部76は、見つかった線分又は二以上の線分の組み合わせの両端を、目標物Pの幅方向における両端点として特定する。なお、目標物Pの両端点とは、目標物Pの前面Paの幅方向における一方側の端点と他方側の端点とを指す。
目標物情報取得部76は、目標物Pの両端点の位置を特定したら、各計測点Mに対して最小二乗法によって直線フィッティングを行うことで、近似線Lを算出する。具体的には、目標物情報取得部76は、目標物Pの両端が検知された線分に基づいて近似線Lを算出する。目標物情報取得部76は、各計測点M(センサ26による1回の検出により取得された計測点M)のうち、目標物Pの開口PBの位置と推定される位置の計測点Mを除外して、さらに線分の両端から所定距離以上の位置にある計測点Mを除外して、残りの計測点Mのみを使用して、最小二乗法によって直線フィッティングを行うことで、近似線Lを算出する。目標物Pの開口PBの位置の推定は、検出された目標物Pの両端点と目標物Pの設計情報とに基づいて行われる。
目標物情報取得部76は、近似線Lに基づき、目標物Pの位置及び姿勢を推定する。目標物情報取得部76は、近似線Lの傾きから目標物Pの姿勢を推定し、近似線L上の基準位置(例えば近似線Lの中点)に基づいて目標物Pの位置を推定する。
検出制御部74は、移動体10が第1パスR1(検出軌道R1a)を移動中に、センサ26に、目標物Pの前面Paの検出を、複数回行わせる。言い換えれば、検出制御部74は、移動体10が第1パスR1(検出軌道R1a)を移動中に、センサ26に、目標物Pの前面Paへのレーザ光LTのスキャンを、複数回行わせる。検出制御部74は、センサ26の検出毎の検出結果を、点群M0として取得する。目標物情報取得部76は、センサ26の検出結果毎に(センサ26が検出する度に)、目標物Pの位置及び姿勢を推定する。すなわち、目標物情報取得部76は、センサ26の1回の検出毎に、目標物Pの位置及び姿勢の推定結果を取得する。
信頼度情報取得部78は、目標物情報取得部76が推定した目標物Pの位置及び姿勢の推定結果についての、推定精度に対する信頼度を算出する。すなわち、信頼度とは、目標物Pの位置及び姿勢の推定精度の度合いを示す指標であり、本実施形態では、信頼度が高いほど、目標物Pの位置及び姿勢の推定精度が高いといえる。信頼度情報取得部78は、推定結果毎に、すなわちセンサ26による1回の検出(1回のスキャン)毎に、信頼度を算出する。以下、信頼度の算出方法を説明する。
図11は、信頼度の算出方法を説明するための模式図である。信頼度情報取得部78は、センサ26による1回の検出で取得されると想定される理想の計測点Mの数(理想の点群数)と、センサ26による1回の検出で取得された実際の計測点Mの数(目標物Pの前面Paを計測した計測点M(点群)の数)と比率に基づき、そのセンサ26の検出結果から推定された目標物Pの位置及び姿勢の推定結果の信頼度を算出する。理想の計測点Mの数とは、計測誤差等の影響を考慮する必要のない理想的な環境において、センサ26による1回の検出で目標物Pの前面Paで観測されると想定される計測点Mの個数である。信頼度情報取得部78は、目標物Pの位置及び姿勢の推定結果と、検出を行った際の移動体10の位置と、検出を行ったセンサ26の性能とに基づき、理想の計測点Mの数を算出する。センサ26の性能とは、例えば、センサ26の角度分解能、センサ26の測定スピード(周期)、及びセンサ26の測定ポイント数との少なくとも1つを意味する。なお、角度分解能とは、2つの対象点を分離して検知できる角度を示している。また、ここでの移動体10の位置は、移動体10の基準となる位置でもよいし、検出したセンサ26の位置であってもよい。移動体10の位置を検出したセンサ26の位置とする場合には、信頼度情報取得部78は、検出を行った際の移動体10の位置と、移動体10に対するセンサ26の位置とに基づき、移動体10の位置を特定してよい。移動体10に対するセンサ26の位置は、例えば設計情報として予め取得されていてよい。
信頼度情報取得部78は、実際の計測点Mの数を算出する。実際の計測点Mの数とは、センサ26の1回の検出で取得された計測点Mのうちで、目標物Pの前面Paを計測した計測点Mを指す。例えば、信頼度情報取得部78は、センサ26の1回の検出で取得された計測点Mのうちで、目標物Pの位置及び姿勢の推定結果から特定された目標物Pの前面Pa(ここでは近似線L)に対して所定の距離範囲内にある計測点Mを、実際の計測点Mとして抽出して、その数をカウントする。また例えば、信頼度情報取得部78は、近似線Lの検出に用いられた計測点Mを、実際の計測点Mとしてもよい。
信頼度情報取得部78は、理想の計測点Mの数と実際の計測点Mの数との比較結果に基づき、目標物Pの位置及び姿勢の推定結果についての信頼度を算出する。本実施形態では、信頼度情報取得部78は、理想の計測点Mの数に対する実際の計測点Mの数の比率に基づき、信頼度を算出する。信頼度情報取得部78は、理想の計測点Mの数と実際の計測点Mの数との差分が少ないほど、信頼度が高くなるように、信頼度を算出する。
信頼度情報取得部78は、以上の方法で信頼度を算出するが、信頼度の算出方法は以上の説明に限られず、任意の方法を用いてよい。例えば、以上の説明では、信頼度情報取得部78は、柱PA毎に計測点Mの信頼度を算出し、柱PA毎の信頼度に基づき、1回の検出による推定結果の信頼度を算出したが、それに限られない。この場合例えば、信頼度情報取得部78は、それぞれの柱PAについての理想の計測点Mの数を上記と同様の方法で算出し、それらを合計することで、全ての柱PAについての理想の測定点の数の合計値を算出する。そして、信頼度情報取得部78は、それぞれの柱PAについての実際の計測点Mの数を上記と同様の方法で算出し、それらを合計することで、実際の計測点Mの数の合計値を算出する。そして、信頼度情報取得部78は、理想の計測点Mの数の合計値に対する、実際の計測点Mの数の合計値の比率を、1回の検出による推定結果の信頼度として算出してよい。
選択情報取得部80は、信頼度情報取得部78が算出した、センサ26の検出毎の推定結果の信頼度に基づき、センサ26の検出毎の推定結果のうちから、第2パスR2の設定に用いる推定結果を選択する。具体的には、選択情報取得部80は、信頼度が高い推定結果を、第2パスR2の設定に用いる推定結果として選択する。すなわち例えば、センサ26による第1の検出で取得された計測点Mを第1計測点(第1点群)とし、センサ26による第1の検出とは異なる第2の検出で取得された計測点Mを第2計測点(第2点群)とする。この場合、目標物情報取得部76は、第1測定点に基づいて目標物の位置及び姿勢を推定し、信頼度情報取得部78は、その推定結果(第1測定点に基づいた推定結果)についての信頼度を算出する。同様に、目標物情報取得部76は、第2測定点に基づいて推定された目標物の位置及び姿勢を推定し、信頼度情報取得部78は、その推定結果(第2測定点に基づいた推定結果)についての信頼度を算出する。この場合、選択情報取得部80は、第1計測点に基づいた推定結果と第2計測点に基づいた推定結果とのうちで、信頼度がより高い方の推定結果を、第2パスR2の設定に用いる推定結果として選択する。
図12は、第2パスに沿った移動の一例を示す模式図である。第2パス情報取得部82は、選択情報取得部80が選択した目標物Pの位置及び姿勢の推定結果から、目標位置A3を設定する。例えば、第2パス情報取得部82は、選択情報取得部80が選択した目標物Pの位置及び姿勢の推定結果から、目標物Pをピックアップ可能な(直進することでフォーク24を目標物Pの開口PBに挿入することができる)位置及び姿勢を算出して、目標位置A3として設定する。一例として、開口PBの入口から、目標物Pの開口PBの軸方向に1000mm平行移動した箇所を、目標位置A3としてもよい。そして、第2パス情報取得部82は、図12に示すように、開始位置である第2位置A2から、設定した目標位置A3までの軌道を、第2パスR2として設定する。第2パス情報取得部82は、目標位置A3の情報に基づいて任意の方法で第2パスR2を設定してよいが、例えば、モデル予測制御(MPC:Model Predictive Control)によって、第2パスR2を算出してもよい。
移動制御部72は、第2位置A2から目標位置A3まで、第2パスR2を通るように、移動体10を移動させる。移動体10が目標位置A3に到着したら、移動制御部72は、目標位置A3から移動体10を直進させて、フォーク24を目標物Pの開口PBに挿入させて、目標物Pをピックアップさせる。移動制御部72は、目標物Pをピックアップした移動体10を、設定された搬送先まで搬送させる。
次に、以上説明した第2パスの設定についての処理フローを説明する。図13は、第2パス設定の処理フローを説明するフローチャートである。制御装置28の検出制御部74は、移動体10が第1パスR1に沿って第1位置A1から第2位置A2までの間を移動中に、センサ26に目標物Pを複数回検出させる。すなわち本実施形態では、第1パスR1に沿って移動させつつ、センサ26に目標物Pを検出させる。図13に示すように、検出制御部74は、センサ26による1回の検出結果から、点群M0(計測点M)を取得する(ステップS10)。そして、制御装置28の目標物情報取得部76は、点群M0に基づいて、目標物Pの位置及び姿勢を推定する(ステップS12)。そして、制御装置28の信頼度情報取得部78は、目標物Pの位置及び姿勢の推定結果と、検出を行った際の移動体10の位置と、検出を行ったセンサ26の性能とに基づき、その検出における理想の計測点Mの数を算出し(ステップS14)、理想の計測点Mの数と実際の計測点Mの数との比率に基づき、その検出における目標物Pの位置及び姿勢の推定結果の信頼度を算出する(ステップS16)。
以上説明したように、本実施形態においては、制御装置28は、センサ26の検出毎に推定された目標物Pの位置及び姿勢についての、信頼度を算出する。そのため例えば、信頼度に基づいて第2パスR2の設定に用いる推定結果を選択して、目的位置まで適切にアプローチできる精度の高い第2パスR2を設定することが可能となる。そのため、本実施形態によると、移動体10を目的位置まで適切に移動させることが可能となる。さらに言えば、制御装置28は、推定結果から算出される理想の計測点Mの数と、実際の計測点Mの数との比率から、信頼度を算出し、実際の計測点Mの数が理想の計測点Mの数に近いほど、推定結果の精度が高いと判断して、信頼度を高くする。このように信頼度を算出することで、精度が高い推定結果を選択して、精度の高い第2パスR2を設定することが可能となる。
次に、第2実施形態について説明する。第2実施形態においては、理想の計測点Mの数を算出するために用いる基準位置AR1が、第1実施形態とは異なる。第2実施形態において、第1実施形態と構成が共通する箇所は、説明を省略する。
第1実施形態と第2実施形態とは、理想の計測点Mの数と実際の計測点Mの数との比率に基づき、信頼度を算出する点で共通する。ただし、信頼度は、理想の計測点Mの数と実際の計測点Mの数との比率に基づき算出することに限られず、推定結果を用いて任意の方法で算出されてもよい。以下、信頼度の算出方法の他の例を説明する。
次に、第3実施形態について説明する。第3実施形態は、同じタイミングで複数のセンサ26に検出させた場合の信頼度の算出方法が、第1実施形態と異なる。第3実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。なお、第3実施形態は、第2実施形態にも適用可能である。
第3実施形態においては、検出制御部74は、同じタイミングで、すなわち移動体10が同じ位置にいるタイミングで、複数のセンサ26に検出を行わせて、各センサ26の検出結果を点群M0(計測点M)として取得する。そして、目標物情報取得部76は、複数のセンサ26による同じタイミングでの検出により取得された計測点Mを同一の座標系(本実施形態の例では二次元座標系CO)で重畳する。すなわち、目標物情報取得部76は、複数のセンサ26による同じタイミングでの検出により取得されたそれぞれの計測点Mを、同一の二次元座標系CO上でプロットする。なお、それぞれの計測点Mを重畳する座標系は、二次元座標系COに限られず、例えば三次元座標系などであってもよい。
第3実施形態においては、センサ26毎に個別信頼度を算出し、それらの個別信頼度に基づき、目標物Pの位置及び姿勢の推定結果の信頼度を算出する。以下、第1センサと第2センサとに同じタイミングで検出を行わせた場合を例に説明する。この場合、目標物情報取得部76は、第1センサの検出により取得した計測点M(点群M0)である第1計測点(第1点群)と、第2センサの検出により取得した計測点M(点群M0)である第2計測点(第2点群)とを、二次元座標系COで重畳する。そして、目標物情報取得部76は、重畳した第1計測点及び第2計測点に基づき、目標物Pの位置及び姿勢を推定する。そして、信頼度情報取得部78は、第1センサの検出結果(第1計測点)についての信頼度である第1個別信頼度と、第2センサの検出結果(第1計測点)についての信頼度である第2個別信頼度とを算出する。信頼度情報取得部78は、第1個別信頼度と第2個別信頼度とに基づき、重畳した第1計測点及び第2計測点に基づいて算出された推定結果についての信頼度を算出する。なお、第1個別信頼度と第2個別信頼度との算出方法は、第1実施形態や第2実施形態や他の例で説明した信頼度の算出方法と同様であってよい。
次に、第4実施形態について説明する。第4実施形態は、第2パスR2の設定に用いる推定結果の選択方法が、第1実施形態とは異なる。第4実施形態において第1実施形態と構成が共通する箇所は、説明を省略する。なお、第4実施形態は、第2実施形態及び第3実施形態にも適用可能である。
以上説明したように、本開示の移動体10の制御方法は、自動で移動する移動体10の制御方法であって、移動体10に設けられたセンサ26に目標物Pを検出させて、センサ26の検出結果を点群M0として取得するステップと、点群M0に基づいて目標物Pの位置及び姿勢を推定するステップと、目標物Pの位置及び姿勢の推定結果と、検出を行った際の移動体10の位置と、センサ26の性能とに基づき、センサ26の検出によって取得されると想定される理想の点群数を算出するステップと、理想の点群数と実際に取得された点群数との比較結果に基づき、目標物Pの位置及び姿勢の推定結果の精度に対する信頼度を算出するステップと、を含む。本制御方法によると、理想の点群数と実際の点群数との比較結果から信頼度を算出することで、推定結果の精度を適切に把握することが可能となる。従って、例えば信頼度に基づいて第2パスR2の設定に用いる推定結果を選択することなどが可能となり、移動体10を目的位置まで適切に移動させることが可能となる。
26 センサ
70 第1パス情報取得部
72 移動制御部
74 検出制御部
76 目標物情報取得部
78 信頼度情報取得部
80 選択情報取得部
82 第2パス情報取得部
M 計測点
M0 点群
P 目標物
R2 第2パス
Claims (7)
- 自動で移動する移動体の制御方法であって、
前記移動体に設けられたセンサに目標物を複数回検出させて、前記センサの検出毎の検出結果を点群として取得するステップと、
前記点群に基づいて、前記センサの検出毎に、前記目標物の位置及び姿勢を推定するステップと、
前記センサの検出毎に、前記目標物の位置及び姿勢の推定結果の精度に対する信頼度を、前記信頼度の値が高いほど、前記推定結果の精度が高くなるように、算出するステップと、
前記センサの検出毎の前記信頼度に基づき、前記センサの検出毎の前記推定結果から、前記目標物に対して所定の位置及び姿勢となる目標位置までのアプローチパスを設定するために用いる推定結果を選択するステップと、
選択された前記推定結果に基づいて、前記アプローチパスを設定するステップと、
前記アプローチパスに沿って前記移動体を移動させるステップと、を含み、
前記目標物の位置及び姿勢を推定するステップにおいては、前記センサの第1の検出に対応する点群である第1点群に基づき前記目標物の位置及び姿勢を推定しつつ、前記センサの第2の検出に対応する第2点群に基づき前記目標物の位置及び姿勢を推定し、
前記信頼度を算出するステップにおいては、前記第1点群に基づいた推定結果の信頼度と、前記第2点群に基づいた推定結果の信頼度である信頼度とを算出し、
前記推定結果を選択するステップにおいては、前記第1点群に基づいた推定結果と前記第2点群に基づいた推定結果とのうちで、信頼度が高い方の推定結果を選択する、
移動体の制御方法。 - 前記推定結果を選択するステップにおいては、前記センサの検出毎の前記推定結果のうちで、信頼度が最高となる推定結果を選択する、請求項1に記載の移動体の制御方法。
- 前記推定結果を選択するステップにおいては、検出した際の前記移動体の位置から前記目標物の推定位置までの距離にも基づき、推定結果を選択する、請求項1又は請求項2に記載の移動体の制御方法。
- 前記推定結果を選択するステップにおいては、前記信頼度が閾値以上となり、かつ、前記信頼度が閾値以上である推定結果のうちで前記距離が最小となる推定結果を、選択する、請求項3に記載の移動体の制御方法。
- 目標物が設置される設置領域を横切る広域パスの情報を取得するステップと、
前記広域パスに沿って前記移動体を移動させるステップと、をさらに含み、
前記センサの検出毎の検出結果を点群として取得するステップにおいては、前記移動体が前記広域パスに沿って移動中に、前記センサに前記目標物を複数回検出させる、請求項1から請求項4のいずれか1項に記載の移動体の制御方法。 - 自動で移動する移動体であって、
前記移動体に設けられたセンサに目標物を複数回検出させて、前記センサの検出毎の検出結果を点群として取得する検出制御部と、
前記点群に基づき設定された、前記目標物に対して所定の位置及び姿勢となる目標位置までのアプローチパスの情報を取得するアプローチパス情報取得部と、
前記アプローチパスに沿って前記移動体を移動させる移動制御部と、
を含み、
前記アプローチパスは、
前記点群に基づいて、前記センサの検出毎に、前記目標物の位置及び姿勢が推定され、前記センサの第1の検出に対応する点群である第1点群に基づき前記目標物の位置及び姿勢が推定され、前記センサの第2の検出に対応する第2点群に基づき前記目標物の位置及び姿勢が推定され、
前記センサの検出毎に、前記目標物の位置及び姿勢の推定結果の精度に対する信頼度が、前記信頼度の値が高いほど、前記推定結果の精度が高くなるように、算出され、前記第1点群に基づいた推定結果の信頼度と、前記第2点群に基づいた推定結果の信頼度である信頼度とが算出され、
前記センサの検出毎の前記信頼度に基づき、前記センサの検出毎の前記推定結果から、前記アプローチパスを設定するために用いる推定結果が選択され、前記第1点群に基づいた推定結果と前記第2点群に基づいた推定結果とのうちで、信頼度が高い方の推定結果が選択されることで、
選択された前記推定結果に基づいて、設定される、
移動体。 - 自動で移動する移動体の制御方法をコンピュータに実行させるプログラムであって、
前記移動体に設けられたセンサに目標物を複数回検出させて、前記センサの検出毎の検出結果を点群として取得するステップと、
前記点群に基づいて、前記センサの検出毎に、前記目標物の位置及び姿勢を推定するステップと、
前記センサの検出毎に、前記目標物の位置及び姿勢の推定結果の精度に対する信頼度を、前記信頼度の値が高いほど、前記推定結果の精度が高くなるように、算出するステップと、
前記センサの検出毎の前記信頼度に基づき、前記センサの検出毎の前記推定結果から、前記目標物に対して所定の位置及び姿勢となる目標位置までのアプローチパスを設定するために用いる推定結果を選択するステップと、
選択された前記推定結果に基づいて、前記アプローチパスを設定するステップと、
前記アプローチパスに沿って前記移動体を移動させるステップと、
を、コンピュータに実行させ、
前記目標物の位置及び姿勢を推定するステップにおいては、前記センサの第1の検出に対応する点群である第1点群に基づき前記目標物の位置及び姿勢を推定しつつ、前記センサの第2の検出に対応する第2点群に基づき前記目標物の位置及び姿勢を推定し、
前記信頼度を算出するステップにおいては、前記第1点群に基づいた推定結果の信頼度と、前記第2点群に基づいた推定結果の信頼度である信頼度とを算出し、
前記推定結果を選択するステップにおいては、前記第1点群に基づいた推定結果と前記第2点群に基づいた推定結果とのうちで、信頼度が高い方の推定結果を選択する、
プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021022676A JP7482811B2 (ja) | 2021-02-16 | 2021-02-16 | 移動体の制御方法、移動体及びプログラム |
| EP22156047.7A EP4043989B1 (en) | 2021-02-16 | 2022-02-10 | Control method for mobile object, mobile object, and computer readable storage medium |
| US17/671,240 US12347205B2 (en) | 2021-02-16 | 2022-02-14 | Control method for mobile object, mobile object, and computer-readable storage medium |
| CN202210139711.1A CN114967673A (zh) | 2021-02-16 | 2022-02-15 | 移动体的控制方法、移动体以及计算机可读取的存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021022676A JP7482811B2 (ja) | 2021-02-16 | 2021-02-16 | 移動体の制御方法、移動体及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022124817A JP2022124817A (ja) | 2022-08-26 |
| JP7482811B2 true JP7482811B2 (ja) | 2024-05-14 |
Family
ID=80682430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021022676A Active JP7482811B2 (ja) | 2021-02-16 | 2021-02-16 | 移動体の制御方法、移動体及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12347205B2 (ja) |
| EP (1) | EP4043989B1 (ja) |
| JP (1) | JP7482811B2 (ja) |
| CN (1) | CN114967673A (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7646473B2 (ja) * | 2021-06-18 | 2025-03-17 | 株式会社東芝 | 検出システム、処理装置、移動体、検出方法及びプログラム |
| TWI817773B (zh) * | 2022-10-14 | 2023-10-01 | 晉弘科技股份有限公司 | 眼壓檢測裝置 |
| JP7827005B2 (ja) * | 2023-05-01 | 2026-03-10 | トヨタ自動車株式会社 | 搬送ロボット |
| JP7669416B2 (ja) * | 2023-05-15 | 2025-04-28 | 三菱ロジスネクスト株式会社 | 床面傾斜対処方法、および、床面傾斜対応システム |
| CN118785223B (zh) * | 2024-06-17 | 2025-01-28 | 武汉极峰体育科技有限公司 | 一种过线检测方法、装置及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020070121A (ja) | 2018-10-29 | 2020-05-07 | パナソニックIpマネジメント株式会社 | 搬送方法、搬送システム、プログラム及びパレット |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2742192B2 (ja) * | 1993-02-04 | 1998-04-22 | 日本電信電話株式会社 | 経路算出装置 |
| WO2013002067A1 (ja) * | 2011-06-29 | 2013-01-03 | 株式会社日立産機システム | 移動ロボット、及び移動体に搭載される自己位置姿勢推定システム |
| JP2015225450A (ja) * | 2014-05-27 | 2015-12-14 | 村田機械株式会社 | 自律走行車、及び自律走行車における物体認識方法 |
| JP2017178567A (ja) * | 2016-03-30 | 2017-10-05 | 株式会社豊田中央研究所 | フォークリフト |
| JP6558393B2 (ja) * | 2017-04-06 | 2019-08-14 | トヨタ自動車株式会社 | 進路設定装置及び進路設定方法 |
| US10761541B2 (en) * | 2017-04-21 | 2020-09-01 | X Development Llc | Localization with negative mapping |
| US11537140B2 (en) * | 2017-09-04 | 2022-12-27 | Nidec-Shimpo Corporation | Mobile body, location estimation device, and computer program |
| US10640347B2 (en) * | 2017-12-22 | 2020-05-05 | X Development Llc | Pallet tracking during engagement and disengagement |
| US11157016B2 (en) * | 2018-07-10 | 2021-10-26 | Neato Robotics, Inc. | Automatic recognition of multiple floorplans by cleaning robot |
| JP7166180B2 (ja) | 2019-01-25 | 2022-11-07 | 日本電産サンキョー株式会社 | エンコーダおよびエンコーダ付きモータ |
| JP7181800B2 (ja) * | 2019-01-25 | 2022-12-01 | 株式会社豊田中央研究所 | 移動体 |
| JP7151041B2 (ja) * | 2019-08-08 | 2022-10-12 | 株式会社豊田自動織機 | 位置姿勢推定装置 |
-
2021
- 2021-02-16 JP JP2021022676A patent/JP7482811B2/ja active Active
-
2022
- 2022-02-10 EP EP22156047.7A patent/EP4043989B1/en active Active
- 2022-02-14 US US17/671,240 patent/US12347205B2/en active Active
- 2022-02-15 CN CN202210139711.1A patent/CN114967673A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020070121A (ja) | 2018-10-29 | 2020-05-07 | パナソニックIpマネジメント株式会社 | 搬送方法、搬送システム、プログラム及びパレット |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022124817A (ja) | 2022-08-26 |
| EP4043989B1 (en) | 2023-08-23 |
| US12347205B2 (en) | 2025-07-01 |
| CN114967673A (zh) | 2022-08-30 |
| EP4043989A1 (en) | 2022-08-17 |
| US20220262132A1 (en) | 2022-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7482811B2 (ja) | 移動体の制御方法、移動体及びプログラム | |
| ES2983756T3 (es) | Método para controlar un vehículo de guiado automático y sistema de control adaptado para ejecutar el método | |
| Vasiljević et al. | High-accuracy vehicle localization for autonomous warehousing | |
| JP7511504B2 (ja) | 移動体、移動制御システム、移動体の制御方法及びプログラム | |
| JP7179102B2 (ja) | 移動体の制御方法、移動体及びプログラム | |
| JP7300413B2 (ja) | 制御装置、移動体、移動制御システム、制御方法及びプログラム | |
| CN113387302A (zh) | 运算装置、移动控制系统、控制装置、移动体、运算方法以及计算机可读取的存储介质 | |
| EP4071575B1 (en) | Control method for mobile object, mobile object, and computer readable storage medium | |
| JP7187516B2 (ja) | 移動体、移動制御システム、移動体の制御方法及びプログラム | |
| JP7682359B2 (ja) | 移動体の制御方法、移動体、移動制御システム及びプログラム | |
| JP7300410B2 (ja) | 制御装置、移動体、移動制御システム、制御方法及びプログラム | |
| JP7482808B2 (ja) | 移動体の制御方法、移動体及びプログラム | |
| JP7257431B2 (ja) | 移動体の制御方法、移動体及びプログラム | |
| WO2024004272A1 (ja) | 経路設定方法、プログラム及び移動体 | |
| WO2024070877A1 (ja) | 経路設定方法、プログラム及び移動体 | |
| JP7809025B2 (ja) | 自己位置推定装置、自己位置推定方法、およびプログラム | |
| WO2025253711A1 (ja) | 制御装置、移動体、標識、位置推定方法、及びプログラム | |
| JP2025149094A (ja) | 移動体、自己位置推定方法及びプログラム | |
| WO2024219072A1 (ja) | 位置情報の設定方法、プログラム及び情報処理装置 | |
| JP2026036466A (ja) | 移動体、制御方法及びプログラム | |
| JP2025011518A (ja) | 制御方法、プログラム及び移動体 | |
| JP2026039450A (ja) | 移動体の制御方法、移動体及び移動体の制御プログラム | |
| WO2025013323A1 (ja) | 制御方法、プログラム及び移動体 | |
| WO2025013322A1 (ja) | 制御方法、プログラム及び移動体 | |
| JP2025132134A (ja) | 自動走行車両 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230329 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240430 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7482811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |