JP7015376B2 - 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム - Google Patents
撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム Download PDFInfo
- Publication number
- JP7015376B2 JP7015376B2 JP2020504847A JP2020504847A JP7015376B2 JP 7015376 B2 JP7015376 B2 JP 7015376B2 JP 2020504847 A JP2020504847 A JP 2020504847A JP 2020504847 A JP2020504847 A JP 2020504847A JP 7015376 B2 JP7015376 B2 JP 7015376B2
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- evaluation
- subject
- conditions
- evaluation map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
- E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04G—SCAFFOLDING; FORMS; SHUTTERING; BUILDING IMPLEMENTS OR AIDS, OR THEIR USE; HANDLING BUILDING MATERIALS ON THE SITE; REPAIRING, BREAKING-UP OR OTHER WORK ON EXISTING BUILDINGS
- E04G23/00—Working measures on existing buildings
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Electrochemistry (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Bridges Or Land Bridges (AREA)
- Working Measures On Existing Buildindgs (AREA)
- Image Analysis (AREA)
Description
[撮影評価マップ生成装置]
撮影評価マップ生成装置は、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップを生成する。
撮影評価マップ生成装置は、所定の撮影評価マップ生成プログラムをインストールしたコンピュータで構成される。
図2は、撮影評価マップ生成装置が実現する機能のブロック図である。
座標空間設定部31は、被写体を含む座標空間を設定する。座標空間設定部31は、被写体の情報の入力を受け付けて、座標空間を設定する。たとえば、三次元構造物を被写体とする場合、その三次元モデルデータの入力を受け付けて、座標空間を設定する。また、たとえば、平面を被写体とする場合は、平面データ(平面の画像データ、地図データなど)の入力を受け付けて、座標空間を設定する。
撮影候補位置設定部32は、撮影候補位置を設定する。撮影候補位置は、座標空間設定部31によって設定された座標空間内に複数設定される。たとえば、被写体OBを含む有限の空間を複数のブロックBに分割し、各ブロックBの中心の位置を撮影候補位置に設定する。図4は、撮影候補位置の設定の一例を示す図である。同図は、特定のXZ断面における撮影候補位置の設定の一例を示している。同図には、被写体OBを含む有限の空間Sを複数のブロックBに分割し、各ブロックBの中心の位置に撮影候補位置PP(Xn,Yn,Zn)に設定した場合の例が示されている。撮影候補位置設定部32は、設定された座標空間に基づいて、自動的に撮影候補位置を設定する。
撮影条件設定部33は、被写体の撮影条件を設定する。撮影条件とは、撮影方向(レンズ光軸の向き)、撮影画角(焦点距離)、記録画素数、撮影波長、光源との位置関係など、撮影結果に影響を与えるさまざまなパラメータ群をいう。撮影条件設定部33は、複数の撮影条件を自動的に設定する。たとえば、撮影方向(レンズ光軸の向き)、撮影画角(焦点距離)、記録画素数などを変えた複数の撮影条件を自動的に設定する。
特徴部位設定部34は、被写体に複数の特徴部位を設定する。被写体の「特徴部位」とは、「対象についての情報」に直接又は間接に関連する対象の「見え(見え=appearance(外観、外見、見掛け))」である。たとえば、構造物の点検を目的とした撮影では、被写体である点検対象物の立体形状、表面のテクスチャ等が代表的な特徴部位とされる。有用な「見え」となる立体的形状の具体的な構成要素としては、頂点、稜線等が例示される。また、有用な「見え」となる表面のテクスチャの具体的な構成要素としては、表面の汚れ(しみ、変色等)、ひび割れ等の劣化部位が例示される。このように、被写体の有用な「見え」となる点、線及び領域が特徴部位とされる。特徴部位とされた点、線及び領域は、その位置及び方位が座標空間上で特定される。また、一定の領域を特徴部位とした場合には、その範囲(大きさ)が特定される。方位は、その特徴部位が向いている方向である。
評価基準設定部35は、撮影を評価するための評価基準を設定する。この評価基準は、各特徴部位を基準とした評価基準である。すなわち、各特徴部位からの視点で撮影の良否を評価するものである。したがって、特徴部位ごとに個別に設定される。
評価値算出部36は、設定された各撮影条件で各撮影候補位置から被写体を撮影した場合の撮影の評価を表わす評価値を撮影候補位置ごと及び撮影条件ごとに算出する。評価値は、評価対象とする撮影候補位置及び撮影条件での撮影をすべての特徴部位で評価し、その評価の総和として算出される。すなわち、各特徴部位の視点で撮影を評価し、得られた各特徴部位から評価の総和を、その撮影の評価値とする。たとえば、ある撮影候補位置からある撮影条件で撮影したとする。その撮影をすべての特徴部位で個別に評価する。この場合、各特徴部位からは、高低さまざまな評価が下される。そのすべての特徴部位の評価の総和が、評価対象とする撮影の評価値となる。評価値算出部36は、以下の手順で評価値を算出する。
撮影評価マップ生成部37は、評価値算出部36の算出結果に基づいて、撮影評価マップを生成する。すなわち、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップを生成する。
撮影評価マップ出力処理部38は、生成された撮影評価マップを所定の出力フォーマットで出力装置に出力する。撮影評価マップは、たとえば、表形式、グラフ形式等で出力される。
次に、上記のように構成される撮影評価マップ生成装置1を用いた撮影評価マップの生成手順(撮影評価マップ生成方法)について説明する。
以下に撮影評価マップの作成の実施例を説明する。なお、説明を簡単にするため、以下においては、二次元空間を移動して撮影する場合の撮影評価マップの生成例について説明する。
図10に示すように、被写体OBを含む座標空間を設定する。
設定された座標空間に撮影候補位置を設定する。上記のように、本例では、二次元空間を移動して撮影する。したがって、撮影候補位置は、二次元空間内に設定される。本例では、XY平面に撮影候補位置が設定される。撮影候補位置を座標位置(x,y)で表わす。
本例では、撮影方向(レンズ光軸の向き)の異なる複数の撮影条件が設定される。撮影方向をθで表わす。
上記のように、特徴部位は「見え」に現れる部位が設定される。図10に示すように、被写体OBに2つの部位が「見え」として現れていると仮定する。この場合、「見え」として現れた部位が、特徴部位として設定される。一方の特徴部位を第1特徴部位CP1、他方の特徴部位を第2特徴部位CP2とする。
各特徴部位の評価基準として、各特徴部位の評価関数を設定する。本例では、各撮影候補位置(x,y)において、撮影方向θの異なる複数の撮影条件で撮影する場合の撮影評価マップを作成するので、評価関数は、撮影候補位置(x,y)と撮影方向θをパラメータとする関数が設定される。
(A)基準a(撮影位置に関する評価基準)に基づく評価関数
(A1)基準aに基づく第1特徴部位CP1の評価関数
基準aに基づく第1特徴部位CP1の評価関数をf1a(x,y,θ)とする。
なお、|D12-d1|は(D12-d1)の絶対値、|D12+d1|は(D12+d1)の絶対値である。
基準aに基づく第2特徴部位CP2の評価関数をf2a(x,y,θ)とする。
なお、|D22-d2|は(D22-d2)の絶対値、|D22+d2|は(D22+d2)の絶対値である。
(B1)基準bに基づく第1特徴部位CP1の評価関数
基準bに基づく第1特徴部位CP1の評価関数をf1b(x,y,θ)とする。
(B2)基準bに基づく第2特徴部位CP2の評価関数
基準bに基づく第2特徴部位CP2の評価関数をf2b(x,y,θ)とする。
《各特徴部位に設定する評価関数》
第1特徴部位CP1の評価関数をF1(x,y,θ)とし、第2特徴部位CP2の評価関数をF2(x,y,θ)とする。
F1(x,y,θ)=f1a(x,y,θ)×f1b(x,y,θ)
第2特徴部位CP2の評価関数F2(x,y,θ)
F2(x,y,θ)=f2a(x,y,θ)×f2b(x,y,θ)
また、たとえば、基準aに基づく評価と基準bに基づく評価とを独立に扱うのであれば、和をとって次のように設定する。
F1(x,y,θ)=f1a(x,y,θ)+f1b(x,y,θ)
第2特徴部位CP2の評価関数F2(x,y,θ)
F2(x,y,θ)=f2a(x,y,θ)+f2b(x,y,θ)
あるいは、重み付きの和をとって次のように設定する(k1、k2は重み)。
F1(x,y,θ)=k1×f1a(x,y,θ)+k2×f1b(x,y,θ)
第2特徴部位CP2の評価関数F2(x,y,θ)
F2(x,y,θ)=k1×f2a(x,y,θ)+k2×f2b(x,y,θ)
(6)評価値の算出
ある撮影候補位置(x,y)における、ある撮影条件(θ)での評価関数をF(x,y,θ)とすると、評価関数F(X,Y,θ)は、次式のように設定される。
したがって、評価関数F(X,Y,θ)に評価対象の撮影候補位置及び撮影条件の情報を入力すれば、その評価値を算出できる。以下に評価値の算出例を示す。
評価値の算出結果に基づいて、撮影評価マップを生成する。
生成された撮影評価マップを所定の出力フォーマットで出力装置に出力する。
《座標空間設定部の変形例》
上記のように、座標空間設定部31は、三次元構造物を被写体とする場合、その三次元モデルデータの入力を受け付けて、座標空間を設定する。
撮影候補位置設定部32で設定する撮影候補位置は、撮影対象、撮影目的等を考慮して設定することが好ましい。また、撮影候補位置は、手動で設定する構成とすることもできる。更に、撮影候補位置は、直線上を移動して撮影する場合を考慮して、直線上に設定する構成としてもよい。また、平面内を移動して撮影する場合を考慮して、平面内に設定する構成としてもよい。
撮影条件設定部33で設定する撮影条件は、被写体に応じて自動的に設定されるようにしてもよいし、ユーザが適宜設定できるようにしてもよい。また、被写体に応じて自動的に設定された撮影条件に対して、ユーザが適宜修正してもよい。自動で設定する場合は、撮影対象、撮影の目的等を考慮して、必要な撮影条件を自動的に選別することが好ましい。
上記のように、被写体の有用な「見え」となる部位(点、線及び領域)が、特徴部位とされる。特徴部位は、撮影対象、撮影目的等考慮して設定することが好ましい。上記のように、構造物の点検を目的とした撮影では、被写体の立体形状(頂点、稜線等)、表面のテクスチャ(表面の汚れ、ひび割れ等の劣化部位など)が代表的な特徴部位とされる。
被写体の有用な「見え」となる部位が既知の場合、その部位を手動で設定することができる。
自動で特徴部位を設定する場合は、被写体から特徴部位となる部位を自動で抽出し、特徴部位に設定できる。たとえば、構造物の点検等を目的として撮影評価マップを生成する場合、次のステップで特徴部位の設定を行うことができる。
評価基準は、手動で設定する構成としてもよいし、自動で設定する構成としてもよい。
上記のように、評価値は、すべての特徴部位で得られる評価値(個別評価値)の総和として算出される。この評価値を算出する際、各特徴部位に重みを付与してもよい。たとえば、構造物の点検等を目的として撮影評価マップを生成する場合において、構造物の表面の劣化部位(汚れ、ひび割れ等)を特徴部位とする場合、当該劣化部位に対して、相対的に高い重みを付与して、評価値を算出するようにしてもよい。あるいは、注目すべき部位として指定された特徴部位に対して、相対的に高い重みを付与して、評価値を算出するようにしてもよい。
撮影評価マップ生成部37で生成する撮影評価マップは、少なくとも評価値の情報と、その評価値が算出された撮影候補位置及び撮影条件の情報とが、含まれていればよい。更に、有用な情報を評価値に関連付けて記録することにより、より有用な撮影評価マップを生成できる。
生成された撮影評価マップは、必ずしも表示する必要はなく、データとして出力するようにしてもよい。この場合、データを取得した外部の装置で表示等の処理、撮影評価マップを利用した撮影プランの生成処理等が行われる。
撮影評価マップには、特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められている。したがって、この撮影評価マップを参酌することにより、どの位置から、どのような撮影条件で撮影すれば、良好な画像が撮影できるかを判別できる。
ここでは、撮影評価マップから被写体の撮影に適した撮影ポイントと、その撮影ポイントでの撮影条件を自動的に選定する場合を例に説明する。特に、本実施の形態では、構造物の点検を目的とした撮影を行う場合を例に説明する。
撮影装置は、所定の撮影プログラムをインストールしたコンピュータで構成される。そのハードウェア構成は、上述した撮影評価マップ生成装置のハードウェア構成と実質的に同じである(図1参照)。したがって、ここでは、その具体的な構成についての説明は省略する。
図19は、撮影装置が実現する機能のブロック図である。
撮影評価マップ取得部101は、撮影評価マップを取得する。撮影装置として機能するコンピュータが、撮影評価マップ生成装置としても機能する場合は、撮影評価マップ生成装置で生成された撮影評価マップをそのまま撮影評価マップ取得部101で取得する。すなわち、撮影評価マップ生成部37から直接撮影評価マップを取得する。外部の装置から取得する場合は、光学ディスクドライブ14、通信インターフェース15、入出力インターフェース16等を利用して取得する(図1参照)。
撮影ポイント選定部102は、撮影評価マップ取得部101が取得した撮影評価マップに基づいて、被写体の撮影に適した撮影ポイント(撮影位置)、及び、その撮影ポイントでの撮影条件を選定する。
撮影候補位置:(0,100) 撮影方向:135° 評価値:0.99
撮影候補位置:(75,150) 撮影方向:90° 評価値:0.58
撮影候補位置:(-75,150) 撮影方向:90° 評価値:0.58
抽出した条件(撮影候補位置及び撮影条件の組み合わせ)を満たすように、撮影ポイント及び撮影条件を選定する。
(B)位置(0,100)、撮影方向135°
(C)位置(75,150)、撮影方向90°
(D)位置(-75,150)、撮影方向90°
この他、更に、撮影の自由度、撮影に好適な撮影距離、撮影に要するコスト(特に、撮影条件を変更する際に要するコスト(移動に要するコスト、撮影方向を変えるのに要するコスト等))等の情報を考慮して、撮影ポイント及び撮影条件を選定することもできる。これにより、よりユーザの要求に適合した撮影ポイント及び撮影条件を選定できる。
出力処理部103は、撮影ポイント選定部102で選定された撮影ポイント及び撮影条件を所定の出力フォーマットで出力する。
図24は、撮影ポイント及び撮影条件の選出の処理の手順を示すフローチャートである。
撮影ポイント及び撮影条件の選定には、たとえば、評価マップに基づく学習用データセットを利用して生成した学習済みモデルを利用してもよい。
《撮影装置が実現する機能》
図25は、第2の実施の形態の撮影装置が実現する機能のブロック図である。
撮影機材情報取得部104は、使用する撮影機材の情報を取得する。ここで、撮影機材の情報とは、撮影機材の仕様等の情報である。たとえば、レンズ交換式のデジタルカメラを使用する場合、カメラ本体の仕様の情報、装着するレンズの仕様の情報等である。カメラ本体の仕様の情報には、イメージセンサのサイズの情報、有効画素数の情報、設定可能な感度の情報、設定可能な露出補正量の情報、手振れ補正機能の有無の情報、選択可能なシャッタ速度の情報、連写速度の情報等、撮影に及ぼすカメラ本体の種々の情報が含まれる。また、レンズの仕様の情報には、焦点距離の情報、設定可能な絞り値の情報、ズーム倍率の情報、手振れ補正機能の有無の情報等、撮影に及ぼすレンズの種々の情報が含まれる。
撮影ポイント選定部102は、撮影評価マップ取得部101が取得した撮影評価マップ及び撮影機材情報取得部104が取得した撮影機材の情報に基づいて、被写体の撮影に適した撮影ポイント、及び、その撮影ポイントでの撮影条件を選定する。すなわち、更に撮影機材の情報を考慮して、撮影に適した撮影ポイント及び撮影条件を選定する。使用する撮影機材によっては、実施できない撮影もあるからである。
図26は、撮影ポイント及び撮影条件の選出処理の手順を示すフローチャートである。
撮影機材情報取得部104において、使用可能な複数の撮影機材の情報を取得し、取得した複数の撮影機材の情報に基づいて、撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。
《撮影装置が実現する機能》
図27は、第3の実施の形態の撮影装置が実現する機能のブロック図である。
移動機材情報取得部105は、使用する移動機材の情報を取得する。ここでの移動機材とは、撮影機材を移動させる機材である。たとえば、ドローンを使用して撮影する場合は、ドローンが移動機材となる。移動機材には、この他、無人走行する車、無人航行する船舶、歩行するロボット等の各種移動手段が含まれる。また、人が手持ちで撮影する場合には、人が移動機材となる。
撮影ポイント選定部102は、撮影評価マップ取得部101が取得した撮影評価マップ、撮影機材情報取得部104が取得した撮影機材の情報、及び、移動機材情報取得部105が取得した移動機材の情報に基づいて、被写体の撮影に適した撮影ポイント、及び、その撮影ポイントでの撮影条件を選定する。すなわち、更に移動機材の情報を考慮して、撮影に適した撮影ポイント及び撮影条件を選定する。使用する移動機材によっては、実施できない撮影もあるからである。
図28は、撮影ポイント及び撮影条件の選出処理の手順を示すフローチャートである。
移動機材情報取得部105において、使用可能な複数の撮影機材の情報を取得し、取得した複数の移動機材の情報に基づいて、撮影に適した撮影ポイント及び撮影条件を選出する構成としてもよい。
《撮影装置が実現する機能》
図29は、第4の実施の形態の撮影装置が実現する機能のブロック図である。
移動ルート選定部106は、撮影ポイント選定部102で選定された各撮影ポイントでの撮影に適した移動ルートを選定する。ルートの選定には、たとえば、公知の組み合わせ最適化問題を解くアルゴリズムを採用できる。たとえば、巡回セールスマン問題を解くアルゴリズムを採用して、移動ルートを選定することができる。
出力処理部103は、撮影ポイント選定部102で選定された撮影ポイント及び撮影条件、並びに、移動ルート選定部106で選定された移動ルートを所定の出力フォーマットで出力する。
図30は、撮影ポイント及び撮影条件並びに移動ルートの選出処理の手順を示すフローチャートである。
移動ルート選定部106で選定する移動ルートは、必ずしも選定されたすべての撮影ポイントを通過するものである必要はない。最適な撮影ポイント及び撮影条件を更に選定し、選定した撮影ポイント及び撮影条件で撮影が行われるように移動ルートを選定するようにしてもよい。最適な撮影ポイント及び撮影条件の選定の際には、コスト(消費エネルギ)、要求される撮影の粗さ等を考慮することが好ましい。
《撮影装置が実現する機能》
図31は、第5の実施の形態の撮影装置が実現する機能のブロック図である。
撮影プラン生成部110は、取得した撮影評価マップ、撮影機材の情報及び移動機材の情報に基づいて、撮影プランを生成する。撮影プランは、撮影評価マップから撮影に適した撮影ポイント、その撮影ポイントでの撮影条件、及び、移動ルートを選定して生成する。撮影ポイント及びその撮影ポイントでの撮影条件の選定については、上記撮影ポイント選定部102での処理と同じである。また、移動ルートの選定については、上記移動ルート選定部106での処理と同じである。
出力処理部103は、撮影プラン生成部110で生成された撮影プランを所定の出力フォーマットで出力する。
図32は、撮影プランの生成処理の手順を示すフローチャートである。
撮影プラン生成部110が生成する撮影プランは、複数であってもよい。たとえば、コスト(消費エネルギ)又は撮影の粗さの異なる複数の撮影プランを生成してもよい。また、使用可能な複数の撮影機材及び移動機材の情報を取得して、複数の撮影プランを生成してもよい。複数の撮影プランを生成した場合には、ユーザからの要求に応じて、表示の並びを変更できるようにすることが好ましい。
《撮影装置が実現する機能》
図33は、第6の実施の形態の撮影装置が実現する機能のブロック図である。
撮影機材選定部120は、撮影評価マップ取得部101が取得した撮影評価マップ及び撮影機材情報取得部104が取得した使用可能な撮影機材の情報に基づいて、撮影に適した撮影機材を選定する。具体的には、評価値の高い撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材を選定する。たとえば、評価値の高い上位N個の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材を選定する。あるいは、閾値以上の評価値の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材を選定する。
出力処理部103は、撮影機材選定部120で選定された撮影機材を推奨撮影機材として所定の出力フォーマットで出力する。
図34は、推奨する撮影機材の選定処理の手順を示すフローチャートである。
撮影機材選定部120が選定する撮影機材は、複数であってもよい。この場合、順位付けして選定することが好ましい。また、組み合わせて使用する移動機材の情報を取得し、取得した移動機材の情報を考慮して、撮影機材を選定してもよい。
《撮影装置が実現する機能》
図35は、第7の実施の形態の撮影装置が実現する機能のブロック図である。
移動機材選定部130は、撮影評価マップ取得部101が取得した撮影評価マップ及び移動機材情報取得部105が取得した使用可能な移動機材の情報に基づいて、撮影に適した移動機材を選定する。具体的には、評価値の高い撮影条件を抽出し、抽出した撮影条件の撮影が可能な移動機材を選定する。たとえば、評価値の高い上位N個の撮影条件を抽出し、抽出した撮影条件の撮影が可能な移動機材を選定する。あるいは、閾値以上の評価値の撮影条件を抽出し、抽出した撮影条件の撮影が可能な移動機材を選定する。
出力処理部103は、移動機材選定部130で選定された移動機材を推奨移動機材として所定の出力フォーマットで出力する。
図36は、推奨する移動機材の選定処理の手順を示すフローチャートである。
移動機材選定部130が選定する移動機材は、複数であってもよい。この場合、順位付けして選定することが好ましい。また、組み合わせて使用する撮影機材の情報を取得し、取得した撮影機材の情報を考慮して、移動機材を選定してもよい。
《撮影装置が実現する機能》
図37は、第8の実施の形態の撮影装置が実現する機能のブロック図である。
機材選定部140は、撮影評価マップ取得部101が取得した撮影評価マップ、撮影機材情報取得部104が取得した使用可能な撮影機材の情報、及び、移動機材情報取得部105が取得した使用可能な移動機材の情報に基づいて、撮影に適した撮影機材及び移動機材の組み合わせを選定する。具体的には、評価値の高い撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材及び移動機材の組み合わせを選定する。たとえば、評価値の高い上位N個の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材及び移動機材の組み合わせを選定する。あるいは、閾値以上の評価値の撮影条件を抽出し、抽出した撮影条件の撮影が可能な撮影機材及び移動機材の組み合わせを選定する。
出力処理部103は、移動機材選定部130で選定された撮影機材及び移動機材の組み合わせを推奨機材として所定の出力フォーマットで出力する。
図38は、推奨機材の選定処理の手順を示すフローチャートである。
機材選定部140が選定する撮影機材及び移動機材の組み合わせは、複数であってもよい。この場合、順位付けして選定することが好ましい。
以下では、上記撮影装置で選定された条件(撮影ポイント、その撮影ポイントでの撮影条件、及び、移動ルート)、あるいは、撮影プランに従って自動で撮影を実施するシステムについて説明する。
ここでは、ドローンを用いて橋梁等の構造物の点検を目的とした撮影を行う場合を例に説明する。
撮影装置100は、点検対象である被写体の撮影評価マップから撮影プランを生成する。本例では、点検対象である被写体をドローンで撮影するので、ドローン300を移動機材、ドローン300に備えられた撮影部を撮影機材として、撮影プランが生成される。
ドローン300は、撮影部310を備えた自律移動ロボットの一例である。ドローン300は、指定された飛行経路に基づいて自動飛行できるように構成され、かつ、指定された条件で自動撮影できるように構成される。この種の機能を備えたドローン等の自律移動ロボット(自律飛行ロボット)は、公知であるので、その具体的な構成についての説明は省略する。
制御端末400は、撮影制御装置の一例である。制御端末400は、ドローン300の飛行及び撮影を制御する。具体的には、撮影装置から撮影ポイント、撮影条件及び移動ルートの情報を撮影制御情報として取得し、取得した撮影制御情報に基づいて、ドローン300の飛行及び撮影を制御する。あるいは、撮影装置から撮影ポイント、撮影条件及び移動ルートの情報を含む撮影プランの情報を取得し、取得した撮影プランの情報に基づいて、ドローン300の飛行及び撮影を制御する。
図40は、撮影システムによる撮影の処理手順を示すフローチャートである。
上記実施の形態では、ドローンを用いた撮影を例に説明したが、使用する撮影機材、移動機材は、適宜変更できる。
上記の実施の形態において、コンピュータに実現させている機能は、各種のプロセッサに実現させることができる。各種のプロセッサには、プログラムを実行して各種の処理を行う処理部として機能する汎用的なプロセッサであるCPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるPLD(Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
2 ネットワーク
10 CPU(Central Processing Unit)
11 ROM(Read Only Memory)
12 RAM(Random Access Memory)
13 ハードディスクドライブ(HDD)
14 光学ディスクドライブ
15 通信インターフェース
16 入出力インターフェース
20 キーボード
21 マウス
22 ディスプレイ
23 プリンタ
31 座標空間設定部
32 撮影候補位置設定部
33 撮影条件設定部
34 特徴部位設定部
35 評価基準設定部
36 評価値算出部
37 撮影評価マップ生成部
38 撮影評価マップ出力処理部
100 撮影装置
101 撮影評価マップ取得部
102 撮影ポイント選定部
103 出力処理部
104 撮影機材情報取得部
105 移動機材情報取得部
106 移動ルート選定部
110 撮影プラン生成部
120 撮影機材選定部
130 移動機材選定部
140 機材選定部
200 撮影システム
300 ドローン
310 撮影部
400 制御端末
B ブロック
CP1 第1特徴部位
CP2 第2特徴部位
CS 座標空間
OB 被写体
S 有限の空間
S1~S9 撮影評価マップの生成手順
S10~S15 評価値の算出手順
S21~S24 撮影ポイント及び撮影条件の選出処理の手順
S31~S35 撮影ポイント及び撮影条件の選出処理の手順
S41~S46 撮影ポイント及び撮影条件並びに移動ルートの選出処理の手順
S51~S55 撮影プランの生成処理の手順
S61~S64 推奨する撮影機材の選定処理の手順
S71~S74 推奨する移動機材の選定処理の手順
S81~S85 推奨機材の選定処理
S91~S93 撮影システムによる撮影の処理手順
S101~S103 撮影ポイント及び撮影条件の選出処理の手順
Claims (23)
- 被写体を含む座標空間を設定する座標空間設定部と、
前記座標空間内で複数の撮影候補位置を設定する撮影候補位置設定部と、
前記被写体の撮影条件を設定する撮影条件設定部と、
前記被写体に複数の特徴部位を設定する特徴部位設定部と、
前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定する評価基準設定部と、
前記撮影候補位置設定部で設定された前記撮影候補位置から前記撮影条件設定部で設定された前記撮影条件で前記被写体を撮影した場合の撮影の評価を表わす評価値を前記撮影候補位置ごとに算出する評価値算出部と、
前記評価値が前記撮影候補位置ごとに定められた撮影評価マップを生成する撮影評価マップ生成部と、
を備え、
前記評価値算出部は、前記撮影候補位置ごとの前記評価値を算出する際、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和を前記評価値として算出する、
撮影評価マップ生成装置。 - 前記評価基準が、位置及び撮影条件をパラメータとする評価関数で規定される、
請求項1に記載の撮影評価マップ生成装置。 - 前記撮影条件設定部は、複数の前記撮影条件を設定し、
前記評価値算出部は、前記撮影候補位置及び前記撮影条件ごとに前記評価値を算出し、
前記撮影評価マップ生成部は、前記評価値が、複数の前記撮影候補位置について、複数の前記撮影条件ごとに定められた前記撮影評価マップを生成する、
請求項1又は2に記載の撮影評価マップ生成装置。 - 前記撮影条件設定部は、少なくとも撮影方向を変えた複数の前記撮影条件を設定する、
請求項3に記載の撮影評価マップ生成装置。 - 前記撮影条件設定部は、少なくとも撮影画角を変えた複数の前記撮影条件を設定する、
請求項3又は4に記載の撮影評価マップ生成装置。 - 前記撮影条件設定部は、少なくとも記録画素数を変えた複数の前記撮影条件を設定する、
請求項3から5のいずれか1項に記載の撮影評価マップ生成装置。 - 前記撮影条件設定部は、少なくとも露出補正量を変えた複数の前記撮影条件を設定する、
請求項3から6のいずれか1項に記載の撮影評価マップ生成装置。 - 前記撮影条件設定部は、少なくともフレームレートを変えた複数の前記撮影条件を設定する、
請求項3から7のいずれか1項に記載の撮影評価マップ生成装置。 - 前記特徴部位を前記座標空間での位置及び方位で特定する、
請求項1から8のいずれか1項に記載の撮影評価マップ生成装置。 - 前記特徴部位設定部は、前記被写体の頂点及び/又は稜線を前記特徴部位として設定する、
請求項1から9のいずれか1項に記載の撮影評価マップ生成装置。 - 構造物を前記被写体とする場合において、前記特徴部位設定部は、前記構造物の表面の劣化部位を更に前記特徴部位として設定する、
請求項10に記載の撮影評価マップ生成装置。 - 前記構造物の表面の汚れ及び/又はひび割れを前記劣化部位とする、
請求項11に記載の撮影評価マップ生成装置。 - 前記特徴部位ごとに重みを設定する重み設定部を更に備え、
前記評価値算出部は、前記撮影候補位置ごとの前記評価値を算出する際、得られた前記特徴部位ごとの前記個別評価値に前記重みを乗じた総和を前記評価値として算出する、
請求項1から12のいずれか1項に記載の撮影評価マップ生成装置。 - 構造物の表面の劣化部位を前記特徴部位とする場合において、前記重み設定部は、前記劣化部位に対して相対的に高い重みを付与する、
請求項13に記載の撮影評価マップ生成装置。 - 複数の前記特徴部位の中から注目部位を選択する注目部位選択部を更に備え、
前記重み設定部は、前記注目部位に対して相対的に高い重みを付与する、
請求項13又は14に記載の撮影評価マップ生成装置。 - 前記被写体を複数の視点から撮影した複数の画像を取得する被写体画像取得部と、
取得された複数の画像に基づいて、前記被写体の三次元モデルを生成する三次元モデル生成部と、
を更に備え、
前記座標空間設定部は、前記三次元モデル生成部で生成された前記被写体の前記三次元モデルに基づいて、前記座標空間を設定する、
請求項1から15のいずれか1項に記載の撮影評価マップ生成装置。 - 前記特徴部位設定部は、前記三次元モデル生成部で生成された前記被写体の前記三次元モデルに基づいて、前記特徴部位を設定する、
請求項16に記載の撮影評価マップ生成装置。 - 前記評価基準設定部は、前記三次元モデル生成部で生成された前記被写体の前記三次元モデルに基づいて、前記特徴部位ごとに前記評価基準を設定する、
請求項17に記載の撮影評価マップ生成装置。 - 被写体を含む座標空間を設定するステップと、
前記座標空間内で複数の撮影候補位置を設定するステップと、
前記被写体の撮影条件を設定するステップと、
前記被写体に複数の特徴部位を設定するステップと、
前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定するステップと、
設定された前記撮影候補位置から設定された前記撮影条件で前記被写体を撮影した場合の撮影の評価を表わす評価値を前記撮影候補位置ごとに算出するステップと、
前記評価値が前記撮影候補位置ごとに定められた撮影評価マップを生成するステップと、
を含む評価マップ生成方法であって、
前記撮影候補位置ごとの前記評価値を算出するステップは、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和を前記評価値として算出する、
撮影評価マップ生成方法。 - 被写体を含む座標空間を設定する機能と、
前記座標空間内で複数の撮影候補位置を設定する機能と、
前記被写体の撮影条件を設定する機能と、
前記被写体に複数の特徴部位を設定する機能と、
前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定する機能と、
設定された前記撮影候補位置から設定された前記撮影条件で前記被写体を撮影した場合の撮影の評価を表わす評価値を前記撮影候補位置ごとに算出する機能と、
前記評価値が前記撮影候補位置ごとに定められた撮影評価マップを生成する機能と、
をコンピュータに実現させる撮影評価マップ生成プログラムであって、
前記撮影候補位置ごとの前記評価値を算出する機能は、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和を前記評価値として算出する、
撮影評価マップ生成プログラム。 - 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項20に記載の撮影評価マップ生成プログラムをコンピュータに実行させる記録媒体。
- 特定の位置から特定の撮影条件で被写体を撮影した場合の撮影の評価を表わす評価値が、複数の撮影候補位置について、複数の撮影条件ごとに定められた撮影評価マップ。
- 各前記撮影候補位置における前記撮影条件ごとの前記評価値は、前記被写体に複数の特徴部位を設定し、前記撮影候補位置及び前記撮影条件に基づく撮影の評価基準を前記特徴部位ごとに設定し、前記評価基準に従って前記特徴部位ごとに個別評価値を算出し、得られた前記特徴部位ごとの前記個別評価値の総和として算出される、
請求項22に記載の撮影評価マップ。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018039976 | 2018-03-06 | ||
| JP2018039976 | 2018-03-06 | ||
| PCT/JP2019/002765 WO2019171823A1 (ja) | 2018-03-06 | 2019-01-28 | 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019171823A1 JPWO2019171823A1 (ja) | 2021-03-25 |
| JP7015376B2 true JP7015376B2 (ja) | 2022-02-02 |
Family
ID=67846044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020504847A Active JP7015376B2 (ja) | 2018-03-06 | 2019-01-28 | 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11494889B2 (ja) |
| EP (1) | EP3764634B1 (ja) |
| JP (1) | JP7015376B2 (ja) |
| CN (1) | CN111819838B (ja) |
| WO (1) | WO2019171823A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022093035A (ja) * | 2020-12-11 | 2022-06-23 | 日立Astemo株式会社 | 検査経路生成装置、検査経路生成方法 |
| CN112783995B (zh) * | 2020-12-31 | 2022-06-03 | 杭州海康机器人技术有限公司 | 一种v-slam地图校验方法、装置及设备 |
| JP7055926B1 (ja) * | 2021-08-03 | 2022-04-18 | Kddi株式会社 | 飛行計画生成装置及び飛行計画生成方法 |
| JPWO2024053307A1 (ja) * | 2022-09-09 | 2024-03-14 | ||
| JP7752370B1 (ja) * | 2025-03-14 | 2025-10-10 | 西部マリン・サービス株式会社 | 水上点検装置及び水上点検方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000175183A (ja) | 1998-12-09 | 2000-06-23 | Ntt Data Corp | 撮影画像管理方法及び遠隔撮影システム |
| JP2002010114A (ja) | 2000-04-19 | 2002-01-11 | Fuji Photo Film Co Ltd | 撮像装置 |
| JP2005045398A (ja) | 2003-07-24 | 2005-02-17 | Canon Inc | 撮影支援方法、撮影支援装置及び撮影装置 |
| JP2011010133A (ja) | 2009-06-26 | 2011-01-13 | Hitachi Ltd | 撮影装置及び情報共有システム |
| JP2012094979A (ja) | 2010-10-25 | 2012-05-17 | Canon Inc | 撮影支援システム、情報処理装置、プログラム、撮影支援方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020113865A1 (en) * | 1997-09-02 | 2002-08-22 | Kotaro Yano | Image processing method and apparatus |
| CN102661742B (zh) * | 2012-05-30 | 2014-04-02 | 北京信息科技大学 | 基于曲率特征加权质心点约束的自适应标志点布局方法 |
| JP6613554B2 (ja) * | 2014-09-30 | 2019-12-04 | 株式会社ニコン | 画像処理装置およびプログラム |
| JP2016072864A (ja) * | 2014-09-30 | 2016-05-09 | 株式会社ニコン | 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法 |
| US9704298B2 (en) * | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
| JP6499542B2 (ja) | 2015-08-05 | 2019-04-10 | ローム株式会社 | 構造物の点検方法 |
| EP3264298B1 (en) * | 2016-06-28 | 2020-04-08 | Ebit srl | Radiotherapy information system with treatment plan evaluation |
| JP6740033B2 (ja) | 2016-06-28 | 2020-08-12 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法及びプログラム |
| CN108076657B (zh) * | 2016-09-15 | 2021-06-25 | 株式会社东芝 | 构造物评价系统、构造物评价装置以及构造物评价方法 |
| JP6775776B2 (ja) | 2017-03-09 | 2020-10-28 | 株式会社岩根研究所 | 自由視点移動表示装置 |
| EP3743332B1 (en) | 2018-01-24 | 2022-11-02 | Honeywell International Inc. | Solar panel inspection by unmanned aerial vehicle |
-
2019
- 2019-01-28 JP JP2020504847A patent/JP7015376B2/ja active Active
- 2019-01-28 CN CN201980017458.9A patent/CN111819838B/zh active Active
- 2019-01-28 EP EP19763693.9A patent/EP3764634B1/en active Active
- 2019-01-28 WO PCT/JP2019/002765 patent/WO2019171823A1/ja not_active Ceased
-
2020
- 2020-08-31 US US17/008,599 patent/US11494889B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000175183A (ja) | 1998-12-09 | 2000-06-23 | Ntt Data Corp | 撮影画像管理方法及び遠隔撮影システム |
| JP2002010114A (ja) | 2000-04-19 | 2002-01-11 | Fuji Photo Film Co Ltd | 撮像装置 |
| JP2005045398A (ja) | 2003-07-24 | 2005-02-17 | Canon Inc | 撮影支援方法、撮影支援装置及び撮影装置 |
| JP2011010133A (ja) | 2009-06-26 | 2011-01-13 | Hitachi Ltd | 撮影装置及び情報共有システム |
| JP2012094979A (ja) | 2010-10-25 | 2012-05-17 | Canon Inc | 撮影支援システム、情報処理装置、プログラム、撮影支援方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200394787A1 (en) | 2020-12-17 |
| EP3764634A1 (en) | 2021-01-13 |
| WO2019171823A1 (ja) | 2019-09-12 |
| EP3764634A4 (en) | 2021-04-28 |
| EP3764634B1 (en) | 2025-06-25 |
| US11494889B2 (en) | 2022-11-08 |
| CN111819838B (zh) | 2022-03-01 |
| CN111819838A (zh) | 2020-10-23 |
| JPWO2019171823A1 (ja) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7015377B2 (ja) | 撮影装置、撮影方法及び撮影プログラム並びに撮影システム | |
| JP7015376B2 (ja) | 撮影評価マップ、撮影評価マップ生成装置、撮影評価マップ生成方法及び撮影評価マップ生成プログラム | |
| JP7179186B2 (ja) | 物体検出方法、装置、電子機器、及びコンピュータプログラム | |
| Becerik-Gerber et al. | Assessment of target types and layouts in 3D laser scanning for registration accuracy | |
| CN106027962B (zh) | 视频监控的覆盖率计算方法及装置、布点方法及系统 | |
| TWI530160B (zh) | 相機位置姿態評價裝置、相機位置姿態評價方法 | |
| JP7006810B2 (ja) | 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法 | |
| US12033406B2 (en) | Method and device for identifying presence of three-dimensional objects using images | |
| WO2018163786A2 (en) | Target subject analysis apparatus, target subject analysis method, learning apparatus, and learning method | |
| Grehl et al. | Towards virtualization of underground mines using mobile robots–from 3D scans to virtual mines | |
| Blais et al. | Recent developments in 3D multi-modal laser imaging applied to cultural heritage | |
| JP2021010069A (ja) | 撮影シミュレーション装置、撮影シミュレーション方法およびコンピュータプログラム | |
| EP4088251B1 (en) | Building information modeling (bim) data model for construction infrastructure | |
| CN113836337A (zh) | Bim的展示方法、装置、设备及存储介质 | |
| Dimas et al. | Virtual grid mapping for visual size measurements | |
| WO2024038017A1 (en) | Automated surface inspection or processing of targets by a robot | |
| JP4427305B2 (ja) | 三次元画像表示装置及び方法 | |
| JP4409924B2 (ja) | 三次元画像表示装置及び方法 | |
| Yoshino et al. | Deep Neural Network based Estimation of Missing Measurement Data for Construction Path Optimization | |
| JP7619783B2 (ja) | 図形登録システム | |
| JP2024043326A (ja) | 撮影制御装置、および、撮影制御方法 | |
| CN117974798A (zh) | 相机外参标定方法、装置及电子设备 | |
| INUI et al. | A SERVER-CLIENT SYSTEM FOR OPTIMIZED PLANNING OF OUTDOOR 3D LASER SCANNING | |
| KR20110096934A (ko) | 다각 촬영 영상을 이용한 구조물의 3차원 정보 추출 방법 및 이를 수행하는 프로그램을 기록한 기록매체 | |
| Jones et al. | Planning views to model planetary pits under transient illumination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201028 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220121 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7015376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |