JP7300930B2 - 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム - Google Patents

測量データ処理装置、測量データ処理方法および測量データ処理用プログラム Download PDF

Info

Publication number
JP7300930B2
JP7300930B2 JP2019153506A JP2019153506A JP7300930B2 JP 7300930 B2 JP7300930 B2 JP 7300930B2 JP 2019153506 A JP2019153506 A JP 2019153506A JP 2019153506 A JP2019153506 A JP 2019153506A JP 7300930 B2 JP7300930 B2 JP 7300930B2
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
data
correspondence
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019153506A
Other languages
English (en)
Other versions
JP2021032716A (ja
Inventor
陽 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2019153506A priority Critical patent/JP7300930B2/ja
Priority to EP20186956.7A priority patent/EP3792591B1/en
Priority to US16/986,312 priority patent/US11580696B2/en
Publication of JP2021032716A publication Critical patent/JP2021032716A/ja
Application granted granted Critical
Publication of JP7300930B2 publication Critical patent/JP7300930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three-dimensional [3D] modelling for computer graphics
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、レーザースキャンの技術に関する。
レーザースキャンにより点群データを得る技術が知られている。この技術では、レーザースキャンにより多数の点の三次元座標が取得され、スキャン対象物が、三次元座標が取得された点の集まりとして把握される。この三次元座標が取得された点の集まりが点群データである。
レーザースキャンにおいて、スキャン用レーザー光が届かない箇所が生じる場合がある。この場合、機械点(視点)を変更し、前回レーザースキャンができなかった範囲に対する再度のレーザースキャンが行なわれる。特許文献1には、レーザースキャンが出来なかった部分への再度のレーザースキャンを行う技術について記載されている。
特許第5057734号公報
例えば、異なる2箇所の機械点からのレーザースキャンにより、2つの点群データが得られる場合を考える。この場合、2つの点群データの対応関係を特定する作業が必要になる。この作業は、点群データの位置合わせやレジストレーションとも呼ばれている。2つの点群データの対応関係を特定することで、2つの点群データを共通の座標系上で記述することができ、2つの点群データを統合することができる。
上記の点群データの対応関係を特定する作業では、両者で共通する部分を探し、一致させる作業が必要となる。この際、この共通する部分が多い程、上記対応関係を特定する作業は容易となり、また高い精度で行える。
このような背景において、本発明は、異なる視点から得られた複数の点群データ間の対応関係を特定する作業をより容易に、且つ、より高精度に行うことができる技術の提供を目的とする。
本発明は、計測対象物を第1の視点からレーザースキャンすることで得た第1の点群データおよび前記計測対象物を第2の視点からレーザースキャンすることで得た第2の点群データを取得する点群データ取得部と、予め用意された前記計測対象物の三次元モデルのデータを取得する三次元モデルデータ取得部と、前記第1の点群データと前記三次元モデルの少なくとも一部との対応関係と求める第1の対応関係特定部と、前記第1の点群データと前記三次元モデルの前記少なくとも一部との前記対応関係に基づき、前記第1の点群データに前記三次元モデルの前記少なくとも一部の情報を統合することで、前記第1の点群データを拡張した拡張三次元データを作成する拡張三次元データ作成部と、前記拡張三次元データと前記第2の点群データとの対応関係を特定する第2の対応関係特定部とを備え、前記第1の対応関係特定部では、前記第1の点群データと前記予め用意された前記計測対象物の三次元モデルに合致する点群データである疑似点群データの対応関係の特定が行われ、当該対応関係の特定では、前記第1の点群データと前記疑似点群データにおいて共通する部分を探し出す処理が行われる測量データ処理装置である。
本発明において前記三次元モデルは、前記計測対象物の設計データから得られる態様が挙げられる。本発明において、前記三次元モデルには、前記計測対象物の前記第1の視点からは影となり見えず、前記第2の視点からは見えるオクルージョン部分が含まれる態様が挙げられる。本発明において、前記拡張三次元データと前記第2の点群データとの対応関係の特定では、前記オクルージョン部分と前記第2の点群データとの対応関係の特定が行なわれる態様が挙げられる。
本発明において、前記三次元モデルには、前記計測対象物の前記第1の視点からの前記レーザースキャンの射程外であり、前記第2の視点からの前記レーザースキャンの射程内である特定の部分が含まれる態様が挙げられる。本発明において、前記拡張三次元データと前記第2の点群データとの対応関係の特定では、前記特定の部分と前記第2の点群データとの対応関係の特定が行なわれる態様が挙げられる。本発明において、前記第1の点群データと前記三次元モデルとの対応関係の特定では、前記第1の点群データを構成する点と前記三次元モデルを構成する面との離間距離の統計値が特定の条件を満たす状態の探索が行なわれる態様が挙げられる。
本発明は、計測対象物を第1の視点からレーザースキャンすることで得た第1の点群データおよび前記計測対象物を第2の視点からレーザースキャンすることで得た第2の点群データを取得する点群データ取得ステップと、予め用意された前記計測対象物の三次元モデルのデータを取得する三次元モデルデータ取得ステップと、前記第1の点群データと前記三次元モデルの少なくとも一部との対応関係と求める第1の対応関係特定ステップと、前記第1の点群データと前記三次元モデルの前記少なくとも一部との前記対応関係に基づき、前記第1の点群データに前記三次元モデルの前記少なくとも一部の情報を統合することで、前記第1の点群データを拡張した拡張三次元データを作成する拡張三次元データ作成ステップと、前記拡張三次元データと前記第2の点群データとの対応関係を特定する第2の対応関係特定ステップとを備え、前記第1の対応関係特定ステップでは、前記第1の点群データと前記予め用意された前記計測対象物の三次元モデルに合致する点群データである疑似点群データの対応関係の特定が行われ、当該対応関係の特定では、前記第1の点群データと前記疑似点群データにおいて共通する部分を探し出す処理が行われる測量データ処理方法である。
本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに計測対象物を第1の視点からレーザースキャンすることで得た第1の点群データおよび前記計測対象物を第2の視点からレーザースキャンすることで得た第2の点群データを取得する点群データ取得ステップと、予め用意された前記計測対象物の三次元モデルのデータを取得する三次元モデルデータ取得ステップと、前記第1の点群データと前記三次元モデルの少なくとも一部との対応関係と求める第1の対応関係特定ステップと、前記第1の点群データと前記三次元モデルの前記少なくとも一部との前記対応関係に基づき、前記第1の点群データに前記三次元モデルの前記少なくとも一部の情報を統合することで、前記第1の点群データを拡張した拡張三次元データを作成する拡張三次元データ作成ステップと、前記拡張三次元データと前記第2の点群データとの対応関係を特定する第2の対応関係特定ステップとを実行させ、前記第1の対応関係特定ステップでは、前記第1の点群データと前記予め用意された前記計測対象物の三次元モデルに合致する点群データである疑似点群データの対応関係の特定が行われ、当該対応関係の特定では、前記第1の点群データと前記疑似点群データにおいて共通する部分を探し出す処理が行われる測量データ処理用プログラムである。
本発明によれば、異なる視点から得られた複数の点群データ間の対応関係を特定する作業をより容易に、且つ、より高精度に行うことができる技術が得られる。
レーザースキャンの対象となる部屋を上方から見た概念図である。 第1の点群データを示す概念図(A)と第2の点群データを示す概念図(B)である。 レーザースキャンの対象となる部屋の三次元モデル図である。 拡張三次元モデルの一例を示す概念図(A)と第2の点群データを示す概念図(B)である。 実施形態のブロック図である。 処理の手順の一例を示すフローチャートである。
1.第1の実施形態
(概要)
図1には、計測対象となる部屋を上方から見た概念図が示されている。この例では、室内でレーザースキャンを行うことで、室内の壁,天井、床、柱、梁等の室内形状の点群データを得る。レーザースキャンの対象は室内に限定されず、各種の建築物や工作物、工事現場等であってもよい。
図1には、部屋を鉛直上方から見た様子が示されている。図1では、鉛直上方からの視点において、壁の水平面で切断された部分が示されている。なお、図1は概念図であり、壁の厚みは無視されている。
図2(A)には、図1の第1の機械点に設置したレーザースキャナによるレーザースキャンによって得た第1の点群データが示されている。図2(A)における視点の位置および切断面の位置は、図1と同じである。
図2(B)には、第2の機械点に設置したレーザースキャナによるレーザースキャンによって得た第2の点群データが示されている。図2(B)における視点の位置および切断面の位置は、図1と同じである。
ここで機械点とは、レーザースキャナが設置される点であり、レーザースキャンの光学原点となる点のことである。図2(A)および図2(B)には、図1に対応した水平面上の点群が例示されているが、実際の点群は、三次元空間上に分布している。
ここで、レーザースキャン時における第1の機械点および第2の機械点の絶対座標系における位置は未知であるとする。絶対座標系とは、GNSSデータや地図データを記述する座標系である。絶対座標系上における位置は、例えば緯度、緯度、標高で記述される。各機械点の絶対座標系における位置を取得し、既知のデータとすることもできる。
第1の機械点からのレーザースキャンによって得た第1の点群データと第2の機械点からのレーザースキャンによって得た第2の点群データとは、一部が重複し、また重複しない部分がある、例えば、中央の柱の部分に着目すると、第1の機械点側の面が図2(A)の第1の点群データに含まれ、第2の機械点側の面が図2(B)の第2の点群データに含まれている。また両点群データは柱の部分では重複しない。これは、この柱を挟んで第1の機械点と第2の機械点が選択されているからである。
以下、図2(A)の第1の点群データと図2(B)の第2の点群データとの対応関係の特定(マッチング)を行う手法について説明する。まず、従来技術である古典的な方法について説明する。この方法では、第1の点群データと第2の点群データにおいて共通する部分を探し出し、この共通する部分を足掛かりに第1の点群データと第2の点群データの対応関係が特定される。
この古典的な方法では、共通する部分多ければ、効率よく対応関係の特定が行なえる。しかしながら共通する部分が少ないと、対応関係の特定の困難性が増大し、計算の負荷の増大や対応関係の特定にミスが生じる傾向が増大する。
そこで本発明を用いた技術では、第1の点群データと第2の点群データの共通部分を増やすために、他の方法で得た計測対象物の三次元モデルを用いて第1の点群データの三次元情報を拡張した拡張三次元データを作成する。そして、この拡張三次元データと第2の点群データの対応関係の特定を行う。
拡張三次元データには、第1の機械点からは影(オクル―ジョン)となり、第2の機械点からは見える(レーザースキャンが可能な)部分が含まれる。また、拡張三次元データには、第1の機械点からのレーザースキャンでは射程外となり、第2の機械点からのレーザースキャンでは射程内となる部分が含まれる。
これらの部分は、第2の機械点から得た第2の点群データにも含まれる。よって、拡張三次元データと第2の点群データの間では、従来の方法よりも共通する部分が多くなり、対応関係の特定がより効率的および高精度で行われる。
図3は、ここで計測対象としている室内の三次元モデルを上方の視点から見た平面図である。この三次元モデルは、設計データ(設計用CADデータ)から得られるもので、図3には、図1および図2に対応する部分が示されている。
図4(A)には、拡張三次元データの一例が示されている。図4(A)に示す拡張三次元データは、図2(A)に示す第1の点群データと図3に示す設計データ由来の三次元モデルとを合成することで得られる。図4(A)に示す拡張三次元データでは、第1の機械点からはオクル―ジョンとなる部分の三次元データが第1の点群データに加えられ、第1の点群データの三次元情報が拡張されている。なお、図4(B)には、図2(B)の第2の点群データと同じものが示されている。
図4(A)における拡張部分は、第1の機械点からのレーザースキャンでは得られず、第2の機械点からのレーザースキャンによって得られる部分であり、第2の点群データに含まれている。よって、図4(A)の拡張三次元データと図4(B)の第2の点群データとの対応関係の特定は、第1の点群データと第2の点群データの共通部分に加えて、上記拡張部分も用いて行われる。この方法では、従来からの共通部分のみを用いた場合よりも対応関係の特定に利用する三次元データが増える。よって、図4(A)の拡張三次元データと図4(B)の第2の点群データとの間の対応関係の特定がより容易となり、また、対応関係の特定の精度が高くなる。
図4(A)の拡張三次元データと図4(B)の第2の点群データとの対応関係の特定が行なわれることで、拡張三次元データに含まれる第1の点群データと第2の点群データの対応関係が特定される。なお、ここでは説明を省略するが、床面や天井面に係る点群データについても同様な対応関係の特定が行なわれる。
第1の点群データと第2の点群データの対応関係が特定されることで、第1の点群データと第2の点群データとを統合、すなわち第1の点群データと第2の点群データを同じ座標系上で記述することができる。
なお、第1の点群データと第2の点群データの対応関係の特定後に、拡張三次元データに含まれる計測対象物の三次元モデル(この例でいうと設計データ由来の三次元モデル)のデータを除去してもよい。もちろん、当該三次元モデルのデータの少なくとも一部を残してもよい。
なお、第1の点群データの拡張に加えて、第2の点群データの拡張を行ってもよい。この場合、第1の点群データに由来する第1の拡張三次元データと第2の点群データに由来する第2の拡張三次元データとの対応関係の特定が行なわれる。
この場合、第2の拡張三次元データは、第2の点群データに基づいているので、第2の拡張三次元データには、第2の点群データが直接あるいは間接に含まれている。したがって、第1の拡張三次元データと第2の拡張三次元データの対応関係の特定を行うことで、第1の拡張三次元データと第2の点群データの対応関係の特定が行なわれる。
対応関係の特定を行う点群データの数は、2つに限定されない。例えば、3つ以上の点群データを対象に互いの対応関係の特定を行う処理に本発明を利用することもできる。
ここでは、設計データに由来する三次元モデルを拡張用の三次元データとして用いる例を説明したが、過去に行なったレーザースキャンデータを第1の点群データの拡張に用いる三次元データとして利用することもできる。また、ステレオ写真計測の原理により作成した点群データや該点群データに基づく三次元データを上記の拡張に用いる三次元データとして用いることもできる。
(ブロック図)
図5に本実施形態のブロック図を示す。図5には、レーザースキャナ200と測量データ処理装置100が示されている。レーザースキャナ200は、市販されているものを利用している。レーザースキャナに係る技術については、特開2010-151682号公報、特開2008-268004号公報、米国特許第8767190号公報、US7969558号公報、US2017-0269197号公報等に記載されている。また、レーザースキャナとして、米国公開公報US2015/0293224号公報に記載されているような、スキャンを電子式に行う形態も採用可能である。
測量データ処理装置100は、市販のPC(パーソナルコンピュータ)を利用して構成されている。またここでは、レーザースキャナ200と別に測量データ処理装置100を用意する例を示すが、レーザースキャナ200と測量データ処理装置100を一体化した構成も可能である。
測量データ処理装置100は、点群データ取得部101、三次元モデルデータ取得部102、第1の対応関係特定部103、拡張三次元データ作成部104、第2の対応関係特定部105、統合された点群データ作成部106、記憶部107および通信部108を備えている。
上記測量データ処理装置100が備える各機能部の機能は、使用するPCに図5に示す各機能部を実現するためのアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェアを構成するプログラムが当該PCのCPUによって実行されることで実現される。各機能部の一部または全部を各種のプロセッサや電子回路で構成してもよい。また、外部のPC(パーソナルコンピュータ)やサーバの演算部を利用して、上記機能部の少なくとも一部を実現してもよい。
点群データ取得部101は、レーザースキャナ200によるレーザースキャンを行うことで得られた点群データを取得する。レーザースキャンは、数kHz~数十kHzの間隔で方向を可変しながら点々とレーザースキャン光を計測対象物に照射し、レーザー測距の原理により各点の三次元位置を取得することで行なわれる。この各点の三次元位置のデータの集まりが、レーザースキャンによって得た点群データとなる。
ここで、レーザースキャナ200の設置位置(機械点)の絶対位置が既知であれば、絶対座標系上で記述される点群データが得られる。レーザースキャナ200の設置位置(機械点)の絶対位置が未知の場合、当該機械点を原点とするローカル座標系上で記述される点群データが得られる。
例えば、図1の第1の機械点にレーザースキャナ200を設置し、レーザースキャンを行うことで図2(A)の第1の点群データが得られる。また、図1の第2の機械点にレーザースキャナ200を設置し、レーザースキャンを行うことで図2(B)の第2の点群データが得られる。そして、第1の点群データと第2の点群データが点群データ取得部101で取得される。
以下、第1の点群データは、例えば図1および図2の第1の機械点に設置したレーザースキャナから得た点群データであり、第2の点群データは、第2の機械点に設置したレーザースキャナから得た点群データであるとする。
三次元モデルデータ取得部102は、レーザースキャンの対象となる計測対象物の三次元モデルのデータを取得する。対象となる三次元モデルとしては、計測対象物の設計データ(例えば、CADデータ)から得られる三次元モデルが挙げられる。例えば、室内が対象となる場合、当該室内に係る設計データから当該室内の三次元モデルのデータが三次元モデルデータ取得部102で取得される。
第1の対応関係特定部103は、統合の対象(対応関係を求める対象)となる2つの点群データの一方(第1の点群データ)と、三次元モデル取得部102で取得された三次元モデルとの対応関係の特定を行う。
以下、ここで利用される対応関係を特定する技術について説明する。第1の方法では、第1の点群データの各点と三次元モデル取得部102で取得された三次元モデルで規定される面との離間距離dの統計値が特定の条件(最小となる条件)を満たす状態の探索が行なわれる。離間距離dの統計値が満たす特定の条件としては、離間距離dの積算値Σdが最小となる条件や離間距離dの平均値が最小となる条件が挙げられる。
第2の方法は、まず第1の点群データから三次元モデルを作成する。この三次元モデルを第1の三次元モデルとする。点群データから三次元モデルを作成する技術については、例えば、国際公開番号WO2011/070927号公報、特開2012-230594号公報、特開2014-35702号公報等に記載されている。
第1の三次元モデルを得たら、第1の三次元モデルと三次元モデル取得部102で取得された三次元モデル(例えば、設計図由来の三次元モデル)との対応関係を特定する。三次元モデル同士の対応関係を特定する技術については、例えば、国際公開番号WO2012/141235号公報、特開2014-35702号公報、特開2015-46128号公報、特開2017-15598号公報等に記載されている。
第1の三次元モデルと三次元モデル取得部102で取得された三次元モデルとの対応関係が特定されることで、第1の三次元モデルの基となる第1の点群データと三次元モデル取得部102で取得された三次元モデルとの対応関係が特定される。
第3の方法は、三次元モデル取得部102で取得された三次元モデルに合致する点群データを疑似点群データとして生成し、この疑似点群データと第1の点群データとの対応関係の特定を行う。点群データ同士のマッチングは、例えばテンプレートマッチングを利用して行われる。点群データ同士のマッチングについては、例えば、特開2013-186816号公報や特開2013-178656号公報に記載された技術が利用できる。
疑似点群データと第1の点群データとの対応関係の特定されることで、疑似点群データの基となる三次元モデル(三次元モデル取得部102で取得された三次元モデル)と第1の点群データの対応関係が特定される。
拡張三次元データ作成部104は、第1の対応関係特定部103で特定された第1の点群データと三次元モデル取得部102で取得された三次元モデルとの対応関係に基づき、第1の点群データと三次元モデル取得部102で取得された三次元モデルとを結合し、第1の点群データの三次元情報を拡張した拡張三次元データを作成する。
拡張三次元データについてはいくつかの態様がある。第1の態様は、点群データと面や線のデータとしてデータ化されている三次元モデルとを合成した三次元データを拡張三次元データとする場合である。この場合、例えば、第1の点群データと三次元モデル取得部102が取得した三次元データ(例えば、設計データから得られた三次元CADデータ)とが向き、縮尺、位置を合わせた状態で合成される。
第2の態様は、第1の点群データを三次元モデル化し、それと三次元モデル取得部102が取得した三次元データとを合成することで、拡張三次元データを得る方法である。この合成は、第1の対応関係特定部103で特定された第1の点群データと三次元モデル取得部102で取得された三次元モデルとの対応関係に基づき行われる。この第2の態様では、三次元モデル化された状態の拡張三次元データが得られる。なお、三次元モデル化された状態とは、三次元情報が面や線のデータとしてデータ化された状態をいう。例えば、三次元モデル化された状態の三次元情報の古典的な例として三次元CADデータが挙げられる。
第3の態様は、三次元モデル取得部102が取得した三次元データから疑似点群データを生成し、それと第1の点群データとを合成する場合である。この合成も、第1の対応関係特定部103で特定された第1の点群データと三次元モデル取得部102で取得された三次元モデルとの対応関係に基づき行われる。この第3の態様では、点群データ化された拡張三次元データが得られる。
第2の対応関係特定部105は、統合の対象(対応関係を求める対象)となる2つの点群データの他方(第2の点群データ)と、拡張三次元データ作成部104で作成された拡張三次元データとの対応関係を特定する。対応関係の特定に係る技術は、第1の対応関係特定部103で用いられる技術と同じである。
統合された点群データ作成部106は、第2の対応関係特定部105で特定された拡張三次元データと第2の点群データとの対応関係に基づき、第1の点群データと第2の点群データを統合した統合点群データを得る。
統合点群データでは、第1の点群データと第2の点群データとが共通の座標系上で記述される。利用される座標系としては、絶対座標系、第1の機械点を原点とする座標系、第2の機械点を原点とする座標系、任意の位置を原点する座標系が挙げられる。
例えば、第1の点群データのi番目の点iの第1の機械点を中心としたローカル座標系での位置が(X1i,Y1i,Z1i)であり、第2の点群データのj番目の点jの第2の機械点を中心としたローカル座標系での位置が(X2j,Y2j,Z2j)であるとする。また、点iと点jは、第1の点群データと第2の点群データにおいて共通する範囲にあるとする。
ここで、第1の点群データと第2の点群データの対応関係が判明したとする。この対応関係が判明することで、第1の点群データに含まれる点iが第2の点群データのどの点に対応するのかが判る。当然、第2の点群データに含まれる点jが第1の点群データのどの点に対応するのかも判る。また、共通する部分での対応関係が特定されることで、共通しない部分、すなわち第1の機械点からはオクル―ジョンまたは射程外となる範囲にある第2の点群データと、第2の機械点からはオクル―ジョンまたは射程外となる範囲にある第1の点群データとの間の位置関係も判明する。
この結果、第2の点群データの点の座標を第1の点群データを記述する座標系で記述できる。また逆に、第1の点群データの点の座標を第2の点群データを記述する座標系で記述できる。また、機械点1または機械点2におけるレーザースキャナの絶対座標系上での外部標定要素(位置と姿勢)が判るのであれば、第1の点群データと第2の点群データとを絶対座標系上で記述することもできる。このように、第1の点群データと第2の点群データを一つの座標系上で記述することで、第1の点群データと第2の点群データとを統合した統合点群データが得られる。
記憶部107は、処理に係る各種の情報や動作に必要なプログラムを記憶する。通信部108は、外部の機器との間で通信を行う。通信の形態としては、有線回線を用いた通信、無線回線を用いた通信、光回線を用いた通信が挙げられる。例えば、各種の無線通信規格、電話回線、インターネット回線を用いた通信が通信部108を介して行われる。
(処理の一例)
図6は、測量データ処理装置100で行なわれる処理の一例を示すフローチャートである。図6の処理を実行するプログラムは、記憶部107や適当な記憶媒体に記憶され、そこから読み出され、測量データ処理装置100を構成するPCのCPUによって実行される。このプログラムをサーバに記憶し、インターネット経由でそこからダウンロードする形態も可能である。
ここでは、一例として、図1および図2に例示する状況での処理を説明する。処理が開始されると、まず第1の点群データおよび第2の点群データの取得が行なわれる(ステップS101)。この処理は、点群データ取得部101で行なわれる。
次に、計測対象である室内の設計CADデータから当該室内の三次元モデルが取得される(ステップS102)。この処理は、三次元モデルデータ取得部102で行なわれる。
次に、第1の点群データと設計データの三次元モデルの対応関係(第1の対応関係)の特定が行なわれる(ステップS103)。この処理は、第1の対応関係の特定部103で行なわれる。
次に、設計データの三次元情報を利用した第1の点群データの拡張を行い、拡張三次元データを得る(ステップS104)。この処理は、拡張三次元データの作成部104で行なわれる。
拡張三次元データを得たら、拡張三次元データと第2の点群データの対応関係(第2の対応関係)の特定を行う(ステップS105)。この処理は、第2の対応関係特定部105で行なわれる。
次に、ステップS105で求めた対応関係に基づき、第1の点群データと第2の点群データを統合した統合点群データの作成を行う(ステップS106)。この処理は、統合された点群データ作成部106で行なわれる。
2.第2の実施形態
第1の点群データと比較する三次元モデルは、計測対象物の全体の三次元モデルではなく、その一部であってもよい。
3.第3の実施形態
第1の点群データと設計データ等に由来する三次元モデルとの対応関係を二次元の平面上で行う形態も可能である。この場合、第1の点群データの切断面と三次元モデルの切断面との対応関係の特定が行なわれる。切断面としては、水平面で切断した水平断面や鉛直面で切断した鉛直断面が挙げられる。
この場合、着目した面に含まれる(または近接する)点群データと三次元モデルの切断面の形状とが比較され、両者の対応関係の特定が行なわれる。図4に示す状態は、この場合の一例であるともいえる。
二次元での対応関係を特定の後に、それを初期条件として三次元の対応関係の特定を行う手法も可能である。この方法によれば、段階的に対応関係の特定が行なわれるので、処理を効率よく、また精度よく行える。
同様な考え方で、拡張三次元データと第2の点群データとの対応関係の特定を二次元平面上で行う形態も可能である。例えば、拡張三次元データと第2の点群データとの対応関係の特定を、水平断面を対象に行う形態や鉛直断面を対象に行う形態が可能である。
また、この場合において、二次元での対応関係を特定の後に、それを初期条件として三次元の対応関係の特定を行う手法も可能である。
4.第4の実施形態
第1の点群データと比較する三次元モデルの形状および/または寸法を利用して第1の点群データと三次元モデルの対応関係の特定を行ってもよい。
例えば、水平面で切断した断面(水平断面)が直径30cmの円形である柱が計測対象に含まれているとする。この場合、第1の点群データの水平切断面(当該水平切断面に含まれるあるいは近接する第1の点群データ)の中に、直径30cmの円形の部分の一部が含まれているか否か、が探索される。そして第1の点群データの中に直径30cmの円形の部分の一部が含まれている場合、該当する切断面において、円形の柱の切断面のモデルと第1の点群データとを合成し、第1の点群データの拡張データを得る。
この場合、ユーザがUI画面上で当該柱の指定およびこの柱を特定する情報を入力(あるいは指定)することで上記の処理が行なわれる。例えば、ユーザにより当該柱の形状や寸法が入力される。上記の説明では、利用する三次元モデルの二次元情報を利用する場合を説明したが、当該三次元モデルの三次元情報を利用して同様の処理を行うこともできる。

Claims (9)

  1. 計測対象物を第1の視点からレーザースキャンすることで得た第1の点群データおよび前記計測対象物を第2の視点からレーザースキャンすることで得た第2の点群データを取得する点群データ取得部と、
    予め用意された前記計測対象物の三次元モデルのデータを取得する三次元モデルデータ取得部と、
    前記第1の点群データと前記三次元モデルの少なくとも一部との対応関係と求める第1の対応関係特定部と、
    前記第1の点群データと前記三次元モデルの前記少なくとも一部との前記対応関係に基づき、前記第1の点群データに前記三次元モデルの前記少なくとも一部の情報を統合することで、前記第1の点群データを拡張した拡張三次元データを作成する拡張三次元データ作成部と、
    前記拡張三次元データと前記第2の点群データとの対応関係を特定する第2の対応関係特定部と
    を備え、
    前記第1の対応関係特定部では、前記第1の点群データと前記予め用意された前記計測対象物の三次元モデルに合致する点群データである疑似点群データの対応関係の特定が行われ、
    当該対応関係の特定では、前記第1の点群データと前記疑似点群データにおいて共通する部分を探し出す処理が行われる測量データ処理装置。
  2. 前記三次元モデルは、前記計測対象物の設計データから得られる請求項1に記載の測量データ処理装置。
  3. 前記三次元モデルには、前記計測対象物の前記第1の視点からは影となり見えず、前記第2の視点からは見えるオクルージョン部分が含まれる請求項1または2に記載の測量データ処理装置。
  4. 前記拡張三次元データと前記第2の点群データとの対応関係の特定では、前記オクルージョン部分と前記第2の点群データとの対応関係の特定が行なわれる請求項3に記載の測量データ処理装置。
  5. 前記三次元モデルには、前記計測対象物の前記第1の視点からの前記レーザースキャンの射程外であり、前記第2の視点からの前記レーザースキャンの射程内である特定の部分が含まれる請求項1~4のいずれか一項に記載の測量データ処理装置。
  6. 前記拡張三次元データと前記第2の点群データとの対応関係の特定では、前記特定の部分と前記第2の点群データとの対応関係の特定が行なわれる請求項5に記載の測量データ処理装置。
  7. 前記第1の点群データと前記三次元モデルとの対応関係の特定では、
    前記第1の点群データを構成する点と前記三次元モデルを構成する面との離間距離の統計値が特定の条件を満たす状態の探索が行なわれる請求項1~6のいずれか一項に記載の測量データ処理装置。
  8. 計測対象物を第1の視点からレーザースキャンすることで得た第1の点群データおよび前記計測対象物を第2の視点からレーザースキャンすることで得た第2の点群データを取得する点群データ取得ステップと、
    予め用意された前記計測対象物の三次元モデルのデータを取得する三次元モデルデータ取得ステップと、
    前記第1の点群データと前記三次元モデルの少なくとも一部との対応関係と求める第1の対応関係特定ステップと、
    前記第1の点群データと前記三次元モデルの前記少なくとも一部との前記対応関係に基づき、前記第1の点群データに前記三次元モデルの前記少なくとも一部の情報を統合することで、前記第1の点群データを拡張した拡張三次元データを作成する拡張三次元データ作成ステップ
    と、
    前記拡張三次元データと前記第2の点群データとの対応関係を特定する第2の対応関係特定ステップと
    を備え、
    前記第1の対応関係特定ステップでは、前記第1の点群データと前記予め用意された前記計測対象物の三次元モデルに合致する点群データである疑似点群データの対応関係の特定が行われ、
    当該対応関係の特定では、前記第1の点群データと前記疑似点群データにおいて共通する部分を探し出す処理が行われる測量データ処理方法。
  9. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータに
    計測対象物を第1の視点からレーザースキャンすることで得た第1の点群データおよび前記計測対象物を第2の視点からレーザースキャンすることで得た第2の点群データを取得する点群データ取得ステップと、
    予め用意された前記計測対象物の三次元モデルのデータを取得する三次元モデルデータ取得ステップと、
    前記第1の点群データと前記三次元モデルの少なくとも一部との対応関係と求める第1の対応関係特定ステップと、
    前記第1の点群データと前記三次元モデルの前記少なくとも一部との前記対応関係に基づき、前記第1の点群データに前記三次元モデルの前記少なくとも一部の情報を統合することで、前記第1の点群データを拡張した拡張三次元データを作成する拡張三次元データ作成ステップと、
    前記拡張三次元データと前記第2の点群データとの対応関係を特定する第2の対応関係特定ステップと
    を実行させ、
    前記第1の対応関係特定ステップでは、前記第1の点群データと前記予め用意された前記計測対象物の三次元モデルに合致する点群データである疑似点群データの対応関係の特定が行われ、
    当該対応関係の特定では、前記第1の点群データと前記疑似点群データにおいて共通する部分を探し出す処理が行われる測量データ処理用プログラム。
JP2019153506A 2019-08-26 2019-08-26 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム Active JP7300930B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019153506A JP7300930B2 (ja) 2019-08-26 2019-08-26 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
EP20186956.7A EP3792591B1 (en) 2019-08-26 2020-07-21 Surveying data processing device, surveying data processing method, and surveying data processing program
US16/986,312 US11580696B2 (en) 2019-08-26 2020-08-06 Surveying data processing device, surveying data processing method, and surveying data processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019153506A JP7300930B2 (ja) 2019-08-26 2019-08-26 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム

Publications (2)

Publication Number Publication Date
JP2021032716A JP2021032716A (ja) 2021-03-01
JP7300930B2 true JP7300930B2 (ja) 2023-06-30

Family

ID=71738069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019153506A Active JP7300930B2 (ja) 2019-08-26 2019-08-26 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム

Country Status (3)

Country Link
US (1) US11580696B2 (ja)
EP (1) EP3792591B1 (ja)
JP (1) JP7300930B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220300681A1 (en) * 2021-03-16 2022-09-22 Yuan Ren Devices, systems, methods, and media for point cloud data augmentation using model injection
JP7695093B2 (ja) * 2021-03-29 2025-06-18 株式会社トプコン 測量システム及び点群データ取得方法及び点群データ取得プログラム
KR102662743B1 (ko) 2022-01-28 2024-05-03 한국전력공사 투명전극을 포함하는 페로브스카이트 태양전지 및 그 제조 방법
CN114485592B (zh) * 2022-02-28 2023-05-05 中国电建集团西北勘测设计研究院有限公司 一种确保排水箱涵三维点云坐标转换精度的方法
JP7823484B2 (ja) * 2022-04-13 2026-03-04 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN117011503B (zh) * 2023-08-07 2024-05-28 青岛星美装饰服务有限公司 一种加工数据确定方法、装置、设备和可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309671A (ja) 2007-06-15 2008-12-25 Ihi Corp 物体認識方法および装置
JP2009046946A (ja) 2007-08-23 2009-03-05 Taisei Corp 構造体の構築方法および建入精度管理方法
JP2011033438A (ja) 2009-07-31 2011-02-17 Taisei Corp 出来型精度確認システム、三次元計測機配置計画装置、三次元計測機配置計画プログラムおよび三次元計測機配置計画方法
JP2012088778A (ja) 2010-10-15 2012-05-10 Hitachi Plant Technologies Ltd 電気集塵装置の設計システム、設計方法
JP2012237620A (ja) 2011-05-11 2012-12-06 Mitsutoyo Corp 誤差画像生成方法
JP2014153819A (ja) 2013-02-06 2014-08-25 Ohbayashi Corp 部材設置判定システム
JP2015034711A (ja) 2013-08-07 2015-02-19 株式会社東芝 3次元データの処理装置、その処理方法及びその処理プログラム
JP2015203675A (ja) 2014-04-16 2015-11-16 株式会社日立製作所 画像処理装置、画像処理システム、3次元計測器、画像処理方法及び画像処理プログラム
JP2016133347A (ja) 2015-01-16 2016-07-25 スズキ株式会社 形状検査装置、形状検査方法およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2041515A4 (en) 2006-07-13 2009-11-11 Velodyne Acoustics Inc HIGH DEFINITION LIDAR SYSTEM
JP5057734B2 (ja) 2006-09-25 2012-10-24 株式会社トプコン 測量方法及び測量システム及び測量データ処理プログラム
JP5263804B2 (ja) 2007-04-20 2013-08-14 株式会社トプコン 多点測定方法及び測量装置
JP5688876B2 (ja) 2008-12-25 2015-03-25 株式会社トプコン レーザスキャナ測定システムの較正方法
WO2011070927A1 (ja) 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
WO2011146523A2 (en) 2010-05-17 2011-11-24 Velodyne Acoustics, Inc. High definition lidar system
JP5465128B2 (ja) * 2010-08-11 2014-04-09 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
JP6030549B2 (ja) 2011-04-13 2016-11-24 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP5711039B2 (ja) 2011-04-27 2015-04-30 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
JP5955028B2 (ja) 2012-02-28 2016-07-20 株式会社トプコン 画像処理装置、画像処理方法および画像処理用のプログラム
JP5832341B2 (ja) 2012-03-09 2015-12-16 株式会社トプコン 動画処理装置、動画処理方法および動画処理用のプログラム
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US10132928B2 (en) 2013-05-09 2018-11-20 Quanergy Systems, Inc. Solid state optical phased array lidar and method of using same
JP6237002B2 (ja) 2013-08-29 2017-11-29 富士通株式会社 モデル計測装置、モデル計測方法、及びプログラム
US9443312B2 (en) * 2014-08-29 2016-09-13 Leica Geosystems Ag Line parametric object estimation
JP6543520B2 (ja) 2015-07-02 2019-07-10 株式会社トプコン 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
EP3408848A4 (en) * 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
EP3433578B8 (en) 2016-03-21 2021-06-16 Velodyne Lidar USA, Inc. Lidar based 3-d imaging with varying illumination intensity
US10922886B2 (en) * 2016-09-23 2021-02-16 Apple Inc. Augmented reality display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309671A (ja) 2007-06-15 2008-12-25 Ihi Corp 物体認識方法および装置
JP2009046946A (ja) 2007-08-23 2009-03-05 Taisei Corp 構造体の構築方法および建入精度管理方法
JP2011033438A (ja) 2009-07-31 2011-02-17 Taisei Corp 出来型精度確認システム、三次元計測機配置計画装置、三次元計測機配置計画プログラムおよび三次元計測機配置計画方法
JP2012088778A (ja) 2010-10-15 2012-05-10 Hitachi Plant Technologies Ltd 電気集塵装置の設計システム、設計方法
JP2012237620A (ja) 2011-05-11 2012-12-06 Mitsutoyo Corp 誤差画像生成方法
JP2014153819A (ja) 2013-02-06 2014-08-25 Ohbayashi Corp 部材設置判定システム
JP2015034711A (ja) 2013-08-07 2015-02-19 株式会社東芝 3次元データの処理装置、その処理方法及びその処理プログラム
JP2015203675A (ja) 2014-04-16 2015-11-16 株式会社日立製作所 画像処理装置、画像処理システム、3次元計測器、画像処理方法及び画像処理プログラム
JP2016133347A (ja) 2015-01-16 2016-07-25 スズキ株式会社 形状検査装置、形状検査方法およびプログラム

Also Published As

Publication number Publication date
EP3792591B1 (en) 2022-11-23
US20210065446A1 (en) 2021-03-04
US11580696B2 (en) 2023-02-14
EP3792591A1 (en) 2021-03-17
JP2021032716A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
JP7300930B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP6506731B2 (ja) ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法
Teo et al. Evaluating the accuracy and quality of an iPad Pro's built-in lidar for 3D indoor mapping
Kalasapudi et al. Toward automated spatial change analysis of MEP components using 3D point clouds and as-designed BIM models
JP6903987B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP2017118396A (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP2017204222A (ja) 管理装置、管理方法および管理用プログラム
KR20230086087A (ko) 3차원 스캐닝을 이용한 건설 현장 감리 장치 및 감리 방법
KR20020035652A (ko) 3 차원적인 복구를 위한 스트랩다운 시스템
KR20140062831A (ko) 정밀한 광역 축척 모형 제작을 위한 3차원 데이터 획득 및 가공 방법
JP7144993B2 (ja) 三次元地図生成装置、及びプログラム
JP2013238549A (ja) 変動面の変位計測方法及びシステム
CN114329724A (zh) 基于视觉的建筑信息模型bim更新方法及系统
CN112904369A (zh) 机器人重定位方法、装置、机器人和计算机可读存储介质
JP2018088139A (ja) 3次元空間可視化装置、3次元空間可視化方法およびプログラム
JP4852006B2 (ja) 空間情報データベース生成装置及び空間情報データベース生成プログラム
Li et al. A path planning method for a surface inspection system based on two-dimensional laser profile scanner
JP2018031176A (ja) 建築板のプレカットシステム、建築板のプレカット方法、およびプログラム
JP6780431B2 (ja) 造形処理システム、造形処理装置、造形処理方法およびプログラム
JP7224592B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018132993A (ja) 建物設計情報修正支援装置、建物設計情報修正支援方法、及びプログラム
Hess et al. 3D laser scanning
CN119494140A (zh) 基于bim技术的装配式幕墙施工方法、系统、设备及存储介质
JP7693521B2 (ja) 情報管理装置、情報管理方法、及びプログラム
JP6688151B2 (ja) 位置特定装置、位置特定方法および位置特定用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230620

R150 Certificate of patent or registration of utility model

Ref document number: 7300930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150