JP2019144192A - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP2019144192A JP2019144192A JP2018030678A JP2018030678A JP2019144192A JP 2019144192 A JP2019144192 A JP 2019144192A JP 2018030678 A JP2018030678 A JP 2018030678A JP 2018030678 A JP2018030678 A JP 2018030678A JP 2019144192 A JP2019144192 A JP 2019144192A
- Authority
- JP
- Japan
- Prior art keywords
- amplitude spectrum
- vibration
- spectrum
- amplitude
- mounting plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
Abstract
Description
まず、図1を参照して、本実施形態に係る物体検出装置100の構成について説明する。図1は、物体検出装置100の構成の一例を示す図である。図1に示すように、物体検出装置100は、パーソナルコンピュータ1と、オーディオインターフェース2と、検出装置本体3とを備える。
物体検出部116が、載置面SF上に載置される1つの物体BJの種類TPを検出する場合については、後述にて図8〜図11を参照して詳細に説明する。
物体検出部116が、載置面SF上に載置される1つの物体BJの姿勢PTを検出する場合については、後述にて図12〜図13を参照して詳細に説明する。
物体検出部116が、載置面SF上に載置される1つの物体BJの内容量CPを検出する場合については、後述にて図14〜図15を参照して詳細に説明する。
物体検出部116が、複数の物体BJの各々の位置PS及び種類TPを検出する場合については、後述にて図16〜図22を参照して詳細に説明する。
次に、図1〜図7を参照して、載置面SFに載置された1つの物体BJの位置PSを物体検出装置100が検出する実験について説明する。図5は、物体BJの位置PSを検出する実験方法の一例を示す図である。図5に示すように、載置板31の載置面SFにおいて、載置面SFの幅方向(Y軸方向)の中心位置に物体BJを載置して、長手方向(X軸方向)に沿って移動した。物体BJとしては、一辺が44mmの立方体の積み木を用いた。
次に、図1〜図4及び図8〜図11を参照して、載置面SFに載置された1つの物体BJの種類TPを物体検出装置100が検出する実験について説明する。図8は、物体BJの種類TPを検出する実験方法の一例を示す図である。図8(a)は、物体BJの種類TPが「マグカップ」である場合の実験方法の一例を示す図である。図8(a)では、「マグカップ」を物体BJAと記載している。図8(b)は、物体BJの種類TPが「みかん」である場合の実験方法の一例を示す図である。図8(b)では、「みかん」を物体BJBと記載している。図8(a)及び図8(b)に示すように、載置面SFの幅方向(Y軸方向)の中心位置で、且つ載置面SFの長手方向(X軸方向)の中心位置に物体BJを載置して、物体BJの種類TPを変更した。
次に、図1〜図4及び図12〜図13を参照して、載置面SFに載置された1つの物体BJの姿勢PTを物体検出装置100が検出する実験について説明する。図12は、物体BJの姿勢PTを検出する実験方法の一例を示す図である。物体BJとしては、積み木BJCを用いた。図12(a)は、積み木BJCが縦長に配置されている場合の実験方法の一例を示す図である。図12(b)は、積み木BJCが横長に配置されている場合の実験方法の一例を示す図である。図12(a)及び図12(b)に示すように、載置面SFの幅方向(Y軸方向)の中心位置で、且つ載置面SFの長手方向(X軸方向)の中心位置に物体BJを載置して、積み木BJCの姿勢PTを変更した。
次に、図1〜図4及び図14〜図15を参照して、物体検出装置100が載置面SFに載置された物体BJの内容量CPを検出する実験について説明する。図14は、物体BJの内容量CPを検出する実験方法の一例を示す図である。図14では、物体BJは、コップBJDである。図14(a)は、コップBJDに水が入っていない場合の実験方法の一例を示す図である。図14(b)は、コップBJDに水が入っている場合の実験方法の一例を示す図である。コップBJDは、コップBJD1とコップBJD2とを含む。コップBJD1は、空のコップを示す。コップBJD2は、100mLの水が入っているコップを示す。図14(a)及び図14(b)に示すように、載置面SFの幅方向(Y軸方向)の中心位置で、且つ載置面SFの長手方向(X軸方向)の中心位置にコップBJD1及びコップBJD2の各々を載置した。
次に、図1〜図4及び図16〜図20を参照して、2つの物体BJ(物体BJ1及び物体BJ2)が載置面SFに載置された場合において、物体BJ1及び物体BJ2の各々の位置PSと種類TPとを検出する処理について説明する。
第0態様:載置面SFに物体BJが載置されていない態様。
第1態様:載置面SFに第1物体BJ1だけが載置されている態様。
第2態様:載置面SFに第2物体BJ2だけが載置されている態様。
第3態様:載置面SFに第1物体BJ1と第2物体BJ2とが載置されている態様。
M×U”+C×U’+K×U=P (1)
ここで、マトリックスMは、質量マトリックスを示し、マトリックスCは、減衰マトリックスを示し、マトリックスKは、剛性マトリックスを示す。ベクトルUは、変位ベクトルを示し、ベクトルPは外力ベクトルを示す。
M×U0”+C×U0’+K×U0=I (2)
M×U1”+C×U1’+K×U1=I+W1 (3)
M×U2”+C×U2’+K×U2=I+W2 (4)
M×U3”+C×U3’+K×U3=I+W1+W2 (5)
ここで、変位ベクトルU0は、第0態様における変位ベクトルを示し、変位ベクトルU1は、第1態様における変位ベクトルを示し、変位ベクトルU2は、第2態様における変位ベクトルを示し、変位ベクトルU3は、第3態様における変位ベクトルを示す。外力Iは、加振器32が載置面SFに付与する外力を示す。外力W1は、第1物体BJ1が載置面SFに付与する外力を示す。外力W2は、第2物体BJ2が載置面SFに付与する外力を示す。「”」は2階微分を示し、「’」は1階微分を示す。
M×(U2+U1−U0)”+C×(U2+U1−U0)’
+K×(U2+U1−U0)=I+W1+W2 (6)
式(5)と式(6)とを比較することによって、次の式(7)が得られる。
U3=U2+U1−U0 (7)
式(7)から、載置面SFに第1物体BJ1と第2物体BJ2とが載置されている場合の載置板31の変位は、以下のようにして求められる。すなわち、載置面SFに第1物体BJ1が載置されている場合の載置板31の変位と、載置面SFに第2物体BJ2が載置されている場合の載置板31の変位との和から、載置面SFに物体BJが載置されていない場合の載置板31の変位を減じることによって求められる。
図17に示すように、ステップS101において、振動取得部112は、載置面SF上に物体BJが載置されていない場合の検出信号SGを振動検出器33から取得する。
次に、ステップS103において、生成部114は、第1振幅スペクトルSP1を生成する。
次に、ステップS105において、振動取得部112は、載置面SF上に第1物体BJ1が載置されている場合の検出信号SGを振動検出器33から取得する。
次に、ステップS107において、生成部114は、第4振幅スペクトルSP4を生成する。
次に、ステップS111において、生成部114は、第5振幅スペクトルSP5を生成する。
次に、ステップS113において、生成部114は、第1振幅スペクトルSP1、第4振幅スペクトルSP4及び第5振幅スペクトルSP5に基づいて、推定スペクトルSP3Gを生成する。
次に、ステップS115において、制御部11は、「学習処理」を実行する。「学習処理」は、推定スペクトルSP3Gを学習する処理を示す。「学習処理」については、後述にて図18を参照して詳細に説明する。
次に、ステップS117において、制御部11は、「検出評価処理」を実行し、処理が終了する。「検出評価処理」は、物体BJ1の位置PS1及び種類TP1と、物体BJ2の位置PS2及び種類TP2とを検出し、検出結果を評価する処理を示す。「検出評価処理」については、後述にて図19を参照して詳細に説明する。
図18に示すように、まず、ステップS201において、振動取得部112は、載置面SF上に第1物体BJ1と第2物体BJ2とが載置されている場合の検出信号SGを振動検出器33から取得する。
次に、ステップS203において、変換部113は、検出信号SGに対してFFTを実行し、実測スペクトルSP3Aを生成する。
次に、ステップS205において、学習部115は、推定スペクトルSP3Gを学習し、処理が図17のステップS117にリターンする。
図19に示すように、まず、ステップS301において、載置面SF上に第1物体BJ1と第2物体BJ2とを載置して、振動取得部112が検出信号SGを振動検出器33から取得する。
次に、ステップS303において、変換部113は、検出信号SGに対してFFTを実行し、実測スペクトルSP3Aを生成する。
次に、ステップS305において、物体検出部116は、実測スペクトルSP3Aと、推定スペクトルSP3Gの学習結果とに基づいて、第1物体BJ1の位置PS1及び種類TP1と、物体BJ2の位置PS2及び種類TP2とを検出する。
次に、ステップS307において、物体検出部116の検出結果を評価して、処理が終了する。
まず、実験方法について説明する。物体BJを載置する位置は、3箇所の位置うちのいずれか1つの位置であった。3箇所の位置とは、載置面SFの中心線CL上のX軸方向の端部から30mmの位置と、X軸方向の端部から160mmの位置とX軸方向の端部から290mmの位置とであった。物体BJの種類TPとして、机上に載置される物体BJと、冷蔵庫に収納される物体BJとを選定した。具体的には、机上に載置される物体BJとして、「マグカップ」と「ノート」と「ペン」との3つを選定し、冷蔵庫に収納される物体BJとして、「りんご」と「たまねぎ」と「みかん」とを選定した。以下では、「マグカップ」、「ノート」及び「ペン」の3種類の物体BJを用いる場合を、「机パターン」と記載し、「りんご」、「たまねぎ」及び「みかん」の3種類の物体BJを用いる場合を、「冷蔵庫パターン」と記載する。
次に、図1〜図4及び図21〜図22を参照して、3つの物体BJ(物体BJ1、物体BJ2及び物体BJ3)が載置面SFに載置された場合において、物体BJ1、物体BJ2及び物体BJ3の各々の位置PSと種類TPとを検出する処理について説明する。
U4=U3+U2+U1−2×U0 (8)
ただし、変位ベクトルU4は、載置面SFに第1物体BJ1と第2物体BJ2と第3物体BJ3が載置されている状態における変位ベクトルを示し、変位ベクトルU3は、載置面SFに第2物体BJ2が載置されている状態における変位ベクトルを示す点で、式(7)と相違している。
まず、実験方法について説明する。物体BJを載置する位置は、3箇所の位置うちのいずれか1つの位置であった。3箇所の位置とは、載置面SFの中心線CL上のX軸方向の端部から30mmの位置と、X軸方向の端部から160mmの位置と、X軸方向の端部から290mmの位置とであった。物体BJの種類TPとして、机上に載置される物体BJと、冷蔵庫に収納される物体BJとを選定した。具体的には、机上に載置される物体BJとして、「マグカップ」と「ノート」と「ペン」との3つを選定し、冷蔵庫に収納される物体BJとして、「りんご」と「たまねぎ」と「みかん」とを選定した。以下では、「マグカップ」、「ノート」及び「ペン」の3種類の物体BJを用いる場合を、「机パターン」と記載し、「りんご」、「たまねぎ」及び「みかん」の3種類の物体BJを用いる場合を、「冷蔵庫パターン」と記載する。
1 パーソナルコンピュータ
11 制御部
11A プロセッサ
11B 記憶部
111 振動付与部
112 振動検出部
113 変換部
114 生成部
115 学習部
116 物体検出部
12 ディスプレイ
2 オーディオインターフェース
21 信号発生器
3 検出装置本体
31 載置板
32 加振器
33 振動検出器
331 第1振動検出器
332 第2振動検出器
34、341、342,343,344 支持体
BJ 物体
BJ1 第1物体
BJ2 第2物体
BJ3 第3物体
SF 載置面
ST 状態
PS 位置
TP 種類
PT 姿勢
CT 内容量
SP 振幅スペクトル
SP1 第1振幅スペクトル
SP2 第2振幅スペクトル
SP3 第3振幅スペクトル
SP4 第4振幅スペクトル
SP5 第5振幅スペクトル
SP6 第6振幅スペクトル
SPS 和スペクトル
SPD 差スペクトル
SG 音響信号
Claims (12)
- 載置板の第1位置に配置され、前記載置板に振動を付与する加振器と、
前記載置板の前記第1位置と相違する第2位置に配置され、前記載置板の振動を検出する振動検出器と、
前記振動検出器の検出結果に基づいて、前記載置板の載置面上に載置される物体の状態を検出する物体検出部と
を備える、物体検出装置。 - 前記状態は、位置、種類、姿勢、及び内容量の少なくとも1つを含む、請求項1に記載の物体検出装置。
- 前記加振器は、時間の経過に応じて周波数が変化する振動を前記載置板に付与する、請求項1又は請求項2に記載の物体検出装置。
- 前記加振器は、前記振動を出力する第1振動体を有し、
前記第1振動体は、前記振動を前記載置板に付与し、
前記振動検出器は、前記振動を検出する第2振動体を有し、
前記第2振動体は、前記載置板の前記振動を検出する、請求項1から請求項3のいずれか1項に記載の物体検出装置。 - 前記加振器は、音響振動を出力する第1圧電素子を有し、
前記第1圧電素子は、前記音響振動を前記載置板に付与し、
前記振動検出器は、前記音響振動を検出する第2圧電素子を有し、
前記第2圧電素子は、前記載置板の前記音響振動を検出する、請求項1から請求項3のいずれか1項に記載の物体検出装置。 - 前記振動検出器は、
前記載置板の前記第2位置に配置される第1振動検出器と、
前記載置板の前記第1位置及び前記第2位置と相違する第3位置に配置される第2振動検出器と
を有する、請求項1から請求項5のいずれか1項に記載の物体検出装置。 - 前記振動検出器の検出信号に対してフーリエ変換を実行し、振幅スペクトルを生成する変換部を更に備え、
前記物体検出部は、前記振幅スペクトルに基づいて、前記物体の前記状態を検出する、請求項1から請求項6のいずれか1項に記載の物体検出装置。 - 前記振幅スペクトルを学習する学習部を更に備え、
前記物体検出部は、前記学習部の学習結果に基づいて、前記物体の前記状態を検出する、請求項7に記載の物体検出装置。 - 前記変換部は、前記載置面上に前記物体が載置されていない場合の前記振幅スペクトルを示す第1振幅スペクトルと、前記載置面上に複数の前記物体の各々が載置されている場合の前記振幅スペクトルを示す第2振幅スペクトルとを生成し、
前記学習部は、前記第1振幅スペクトルと前記第2振幅スペクトルとに基づいて学習し、
前記物体検出部は、前記学習部の学習結果に基づいて、前記複数の物体の各々の前記状態を検出する、請求項8に記載の物体検出装置。 - 前記第1振幅スペクトルと、前記第2振幅スペクトルとに基づき、前記載置面上に前記複数の物体が載置されている場合の前記振幅スペクトルを示す第3振幅スペクトルを生成する生成部を更に備え、
前記学習部は、前記第3振幅スペクトルを学習し、
前記物体検出部は、前記学習部の学習結果に基づいて、前記複数の物体の各々の前記状態を検出する、請求項9に記載の物体検出装置。 - 前記変換部は、前記載置面上に第1物体が載置されている場合の前記第2振幅スペクトルを示す第4振幅スペクトルと、前記載置面上に前記第1物体と相違する第2物体が載置されている場合の前記第2振幅スペクトルを示す第5振幅スペクトルとを生成し、
前記生成部は、前記第4振幅スペクトルと前記第5振幅スペクトルとの周波数毎の振幅の和を示す和スペクトルを生成し、
前記生成部は、前記和スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を前記第3振幅スペクトルとして生成し、
前記学習部は、前記第3振幅スペクトルを学習し、
前記物体検出部は、前記学習部の学習結果に基づいて、前記第1物体の前記状態と前記第2物体の前記状態とを検出する、請求項10に記載の物体検出装置。 - 前記変換部は、前記載置面上に第1物体が載置されている場合の前記第2振幅スペクトルを示す第4振幅スペクトルと、前記載置面上に前記第1物体と相違する第2物体が載置されている場合の前記第2振幅スペクトルを示す第5振幅スペクトルと、前記載置面上に前記第1物体及び前記第2物体と相違する第3物体が載置されている場合の前記第2振幅スペクトルを示す第6振幅スペクトルとを生成し、
前記生成部は、前記第4振幅スペクトルと前記第5振幅スペクトルと前記第6振幅スペクトルとの周波数毎の振幅の和を示す和スペクトルを生成し、
前記生成部は、前記和スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を示す差スペクトルを生成し、
前記生成部は、前記差スペクトルと前記第1振幅スペクトルとの周波数毎の振幅の差を前記第3振幅スペクトルとして生成し、
前記学習部は、前記第3振幅スペクトルを学習し、
前記物体検出部は、前記学習部の学習結果に基づいて、前記第1物体の前記状態と前記第2物体の前記状態と前記第3物体の前記状態とを検出する、請求項10に記載の物体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018030678A JP7081788B2 (ja) | 2018-02-23 | 2018-02-23 | 物体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018030678A JP7081788B2 (ja) | 2018-02-23 | 2018-02-23 | 物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019144192A true JP2019144192A (ja) | 2019-08-29 |
| JP7081788B2 JP7081788B2 (ja) | 2022-06-07 |
Family
ID=67772181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018030678A Active JP7081788B2 (ja) | 2018-02-23 | 2018-02-23 | 物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7081788B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023053529A (ja) * | 2021-10-01 | 2023-04-13 | 株式会社東芝 | 配置推定装置、配置推定システム、方法及びプログラム |
| JP2023181782A (ja) * | 2022-06-13 | 2023-12-25 | Toppanホールディングス株式会社 | 推定システム、学習システム、推定方法、学習方法、プログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01234003A (ja) * | 1988-03-15 | 1989-09-19 | Hitachi Ltd | ガス絶縁機器の異物検出装置 |
| US5563848A (en) * | 1994-09-08 | 1996-10-08 | Monash University | Object detector for detecting buried objects |
| JPH1099238A (ja) * | 1996-10-01 | 1998-04-21 | Toto Ltd | 着座検知装置と衛生洗浄装置 |
| JPH10175721A (ja) * | 1996-12-18 | 1998-06-30 | Hitachi Ltd | 被搬送物検出装置および検出方法 |
| JP2000120147A (ja) * | 1998-10-15 | 2000-04-25 | Tietech Co Ltd | 着座検出装置 |
| JP2002296245A (ja) * | 2001-03-30 | 2002-10-09 | Hitachi Zosen Corp | 物体の材質判別方法および材質判別装置並びに物体の選別設備 |
| US20100161254A1 (en) * | 2008-07-11 | 2010-06-24 | University Of Washington | Detecting objects in shipping containers by vibration spectral analysis |
-
2018
- 2018-02-23 JP JP2018030678A patent/JP7081788B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01234003A (ja) * | 1988-03-15 | 1989-09-19 | Hitachi Ltd | ガス絶縁機器の異物検出装置 |
| US5563848A (en) * | 1994-09-08 | 1996-10-08 | Monash University | Object detector for detecting buried objects |
| JPH1099238A (ja) * | 1996-10-01 | 1998-04-21 | Toto Ltd | 着座検知装置と衛生洗浄装置 |
| JPH10175721A (ja) * | 1996-12-18 | 1998-06-30 | Hitachi Ltd | 被搬送物検出装置および検出方法 |
| JP2000120147A (ja) * | 1998-10-15 | 2000-04-25 | Tietech Co Ltd | 着座検出装置 |
| JP2002296245A (ja) * | 2001-03-30 | 2002-10-09 | Hitachi Zosen Corp | 物体の材質判別方法および材質判別装置並びに物体の選別設備 |
| US20100161254A1 (en) * | 2008-07-11 | 2010-06-24 | University Of Washington | Detecting objects in shipping containers by vibration spectral analysis |
Non-Patent Citations (2)
| Title |
|---|
| 岩瀬大輝、外4名: "アクティブ音響センシングによる日常物体識別と位置推定", 情報処理学会インタラクション2018, JPN6022015924, 2 March 2018 (2018-03-02), ISSN: 0004759562 * |
| 岩瀬大輝、外4名: "アクティブ音響センシングを用いた物体識別と位置推定", 情報処理学会研究報告, JPN6022015922, 2 June 2017 (2017-06-02), ISSN: 0004759561 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023053529A (ja) * | 2021-10-01 | 2023-04-13 | 株式会社東芝 | 配置推定装置、配置推定システム、方法及びプログラム |
| JP7592572B2 (ja) | 2021-10-01 | 2024-12-02 | 株式会社東芝 | 配置推定装置、配置推定システム、方法及びプログラム |
| JP2023181782A (ja) * | 2022-06-13 | 2023-12-25 | Toppanホールディングス株式会社 | 推定システム、学習システム、推定方法、学習方法、プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7081788B2 (ja) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9552066B2 (en) | Drive control apparatus that drives actuator, electronic apparatus that drives actuator, and control method for driving actuator | |
| JP6037252B2 (ja) | 電子機器 | |
| JP4803105B2 (ja) | 電子機器 | |
| CN104395866B (zh) | 触觉提示装置及触觉提示方法 | |
| KR102024940B1 (ko) | 프리미티브를 이용한 hd 햅틱 효과 생성 | |
| US9606628B2 (en) | Drive control apparatus that drives actuator, electronic apparatus that drives actuator, and control method for driving actuator | |
| US7157649B2 (en) | Contact sensitive device | |
| US8890666B2 (en) | Piezoelectric actuator for haptic device | |
| US20160239089A1 (en) | Drive apparatus, electronic device, drive control program, and drive signal generating method | |
| EP3762808B1 (en) | Human-computer interface system | |
| JP6912433B2 (ja) | フォースセンサを具備する表示装置及びその製造方法 | |
| JP7081788B2 (ja) | 物体検出装置 | |
| JP2015028766A (ja) | 触感呈示装置および触感呈示方法 | |
| JP2023184069A (ja) | 情報処理システム、情報処理装置、及び制御方法 | |
| US9652068B2 (en) | Electronic device and information processing method | |
| JP5907260B2 (ja) | 駆動装置、電子機器及び駆動制御プログラム | |
| JP5797456B2 (ja) | 入力装置 | |
| US20190324545A1 (en) | Electronic device | |
| JP6970328B2 (ja) | 一点接触硬度測定装置及び方法 | |
| WO2013186850A1 (ja) | 駆動装置、電子機器及び駆動制御プログラム | |
| WO2024081016A1 (en) | Detecting adverse haptic environments | |
| Farooq et al. | Actuators for touchscreen tactile overlay | |
| JP2011242200A (ja) | 電子装置及び加速度センサ試験方法 | |
| Lang | Know your notches… facts about antiresonances | |
| JP2023181782A (ja) | 推定システム、学習システム、推定方法、学習方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7081788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |