JP6574845B2 - 図面作成装置及び図面作成方法 - Google Patents

Description

本発明は図面作成装置及び図面作成方法に係り、特に橋梁、ダム等の大型の構造物の図面を簡便に作成する技術に関する。

橋梁等の社会インフラ構造物は、定期的に点検を行う必要がある。構造物の点検時には、構造物の設計図等の図面が必要であるが、古い構造物等では、図面が散逸している場合もある。この場合、構造物を測量し、構造物の図面を新たに作成するには多大な費用と労力がかかるという問題がある。

特許文献１には、レーザースキャニングという技術を利用して、プラント、建築物・街並、文化財建造物等について高精度な三次元形状データを自動生成する自動生成装置が開示されている。また、特許文献１には、複数の計測地点から得られた複数のレンジ画像を自動で統合（マージング）する技術が開示されている。

特許文献１に記載の自動生成装置は、三次元座標を持つ複数の点群データのエッジ及び面を抽出するためのセグメント化を行い、セグメント化されて生成されたセグメント情報及び予め設定された関数（平面方程式又は曲面方程式）に基づいて三次元形状を判定している。

また、複数の計測地点から得られた複数のレンジ画像を自動でマッチングして、全てのレンジ画像をグローバル座標系に変換する手法として、下記の手法が開示されている。

まず、各レンジ画像から任意に３つのセグメントを選び、これらを対応するセグメントと仮定する。次に、対応するセグメントから、回転行列と移動量ベクトルを推定し、推定した回転行列と移動量ベクトルを用いて２つのレンジ画像を重ね合わせたとき互いに一致するセグメントの一致度を固有値、固有ベクトルにより求める。全てのセグメントの組み合わせで上記の処理を行い、最も一致度の高い回転行列と移動量ベクトルを採用する。

また、特許文献２には、自動車に搭載した３次元画像センサにより撮像した橋梁、路面、トンネル壁面などの距離画像、カラー画像を、各フレーム間の回転行列及び並進ベクトルを用いて隣接フレーム間の距離画像を同一座標系に展開して重ね合わせることにより、隣接フレーム間の距離画像を次々に連結し、橋梁、路面、トンネル壁面などの３次元形状を把握する方法が開示されている。

特開２００４−２７２４５９号公報 特開２０１０−２３６９７１号公報

特許文献１には、複数のレンジ画像の位置を合わせるには正確な計測地点の位置や計測方向が必要であり、それらの情報を取得することの欠点が記載されている。そこで、特許文献１に記載の自動生成装置は、上記のように計測地点の位置や計測方向の情報を使用せずに、各レンジ画像に存在する複数（任意に３つ）のセグメントを選択し、各レンジ画像における対応するセグメントから、回転行列と移動量ベクトルを推定し、推定した回転行列と移動量ベクトルを用いて各レンジ画像を重ね合わせたとき互いに一致するセグメントの一致度を固有値、固有ベクトルにより求めている。

従って、各レンジ画像にはそれぞれ対応する３つ以上のセグメントが含まれている必要があり、かつ各セグメントの形状は、予め設定された関数（平面方程式又は曲面方程式）に適合する三次元形状を有する必要があり、これらの条件を満たす３つ以上のセグメントが各レンジ画像に存在しない場合には、特許文献１に記載の発明は適用できない。

特許文献２に記載の発明も撮影地点の位置や撮影方向を検出せず、フレームごとにカメラ座標系の並進と回転を検出し、隣接フレーム間の距離画像等を結合（連結）する方法である。

また、特許文献１、２に記載の発明は、いずれも回転行列と移動量ベクトルを用いて複数の画像を連結するものであり、連結する画像数が多くなると、連結による累積誤差が大きくなるという問題がある。

本発明はこのような事情に鑑みてなされたもので、画像の連結による累積誤差が発生せず、橋梁等の大型の構造物の図面を簡便に作成することができる図面作成装置及び図面作成方法を提供することを目的とする。

上記目的を達成するために一の態様に係る発明は、図面の作成対象である構造物の概略の外形形状を取得する外形形状取得部と、構造物を撮像する距離画像撮像装置であって、撮影位置及び撮影方向を示す付属情報を含む距離画像を撮像する距離画像撮像装置と、距離画像撮像装置により撮像して得た複数の距離画像であって、構造物を構成する複数部分の距離画像を取得する距離画像取得部と、距離画像取得部により取得した複数部分の距離画像を、外形形状取得部により取得した構造物の外形形状及び距離画像の付属情報を使用して連結させる連結処理部と、連結処理部により連結された距離画像から構造物の図面を作成する図面作成部と、を備える。

本発明の一の態様によれば、図面の作成対象である構造物の概略の外形形状を取得する。構造物の概略の外形形状は、例えば、構造物が橋梁の場合、橋の長さと幅とにより決定される平面形状でもよい。距離画像撮像装置は、複数の撮影位置及び撮影方向にて構造物を撮像するものであり、撮影位置及び撮影方向を示す付属情報を含む距離画像を撮像する。距離画像取得部は、距離画像撮像装置により撮像して得た、構造物を構成する複数部分の距離画像を取得する。連結処理部は、距離画像取得部により取得した複数部分の距離画像を、構造物の外形形状及び距離画像の付属情報を使用して連結させる。距離画像の付属情報（撮影位置及び撮影方向）を使用することで、距離画像をグローバル座標系の三次元座標に変換することができる。そして、構造物の外形形状を、グローバル座標系で表したときに、そのグローバル座標系の構造物の外形形状にグローバル座標系に変換した距離画像を嵌め込むことで各距離画像を連結することができる。そして、図面作成部は、連結された距離画像から構造物の図面を自動的に作成する。このように構造物の外形形状に合わせて距離画像を連結するため、距離画像の連結による累積誤差が発生せず、橋梁等の大型の構造物の図面を簡便に作成することができる。

本発明の他の態様に係る図面作成装置において、距離画像撮像装置は、構造物の概略の外形寸法から撮像する回数を見積もる見積もり部と、見積もり部により見積もった結果を通知する第１の通知部を備えることが好ましい。

本発明の更に他の態様に係る図面作成装置において、距離画像撮像装置は、全地球測位システム及び方位センサを備え、距離画像の撮像時に全地球測位システム及び方位センサからそれぞれ取得したＧＰＳ情報及び方位情報を、撮影位置及び撮影方向を示す付属情報とすることが好ましい。

本発明の更に他の態様に係る図面作成装置において、距離画像撮像装置は、構造物を撮像するとき、撮像する部分が構造物の全体のどの部分かを示す情報を通知する第２の通知部を備えることが好ましい。これにより、構造物を複数回に分けて撮像する際に、撮影位置及び撮影方向を支援することができる。

本発明の更に他の態様に係る図面作成装置において、距離画像撮像装置により撮像された距離画像を可視化画像にして表示する第１の表示部、又は距離画像撮像装置と同じ撮像領域の可視化画像を撮像する撮像装置により取得された可視化画像を表示する第２の表示部を備えるこが好ましい。第１の表示部又は第２の表示部により可視化画像を表示するようにしたため、可視化画像を見ながら構造物を撮像することができる。

本発明の更に他の態様に係る図面作成装置において、構造物に対して距離画像の撮像が行われた既撮像領域と距離画像の撮像が行われていない未撮像領域とを識別可能に表示させる第３の表示部を備えることが好ましい。これにより、構造物の未撮像領域が残らないように構造物を撮像することができる。

本発明の更に他の態様に係る図面作成装置において、距離画像撮像装置は、タイム・オブ・フライト式カメラであることが好ましいが、三次元レーザスキャナやステレオカメラを距離画像撮像装置として使用してもよい。

本発明の更に他の態様に係る図面作成装置において、図面作成部は、連結された距離画像から構造物の輪郭と見なせる点を連結してなる線図を作成することが好ましい。例えば、距離画像の各画素（距離情報）を、距離に対応する輝度に変換した可視化画像とした場合、その可視化画像における輝度の変化点は、構造物の輪郭と見なせる点である。

本発明の更に他の態様に係る図面作成装置において、連結処理部による複数部分の距離画像の連結を手動により補正する第１の手動補正部を備えることが好ましい。例えば、構造物の外形形状と距離画像の可視化画像とを重畳して表示し、距離画像中の外形形状に対応する部分と外形形状と合致するように、手動により距離画像の位置（具体的には、座標変換する際に使用する撮影位置と撮影方向）を修正する。

本発明の更に他の態様に係る図面作成装置において、図面作成部により作成された構造物の図面を手動により補正する第２の手動補正部を備えることが好ましい。例えば、作成された図面中に線図が途切れている部分等が存在する場合には、連続するように線図を繋げる補正等を行う。

本発明の更に他の態様に係る図面作成装置において、構造物の図面に寸法線と寸法を追記する寸法追記部を備えることが好ましい。構造物全体の距離画像（三次元情報）が存在するため、構造物の任意の位置間の距離（寸法）を求めることができ、求めた寸法を図面に追記することができる。

本発明の更に他の態様に係る図面作成装置において、外形形状取得部は、構造物の概略の外形形状が表されている地図情報から構造物の外形形状を取得することが好ましい。

本発明の更に他の態様に係る図面作成装置において、地図情報は、地理情報システムから取得可能な地図情報、又はインターネット上の地図情報提供サービスにより提供されている地図情報であることが好ましい。

本発明の更に他の態様に係る図面作成装置において、距離画像撮像装置を搭載した無人航空機と、無人航空機を制御する制御部と、を備え、距離画像取得部は、無人航空機に搭載された距離画像撮像装置により撮像して得た複数の距離画像を取得することが好ましい。無人航空機としては、自動運転機能を有するドローンを使用することが好ましい。

本発明の更に他の態様に係る図面作成装置において、距離画像撮像装置は、一定のフレームレートで連続して距離画像を撮像し、距離画像取得部は、連続して撮像された距離画像の中から連結に使用する複数部分の画像を取得することが好ましい。

本発明の更に他の態様に係る図面作成方法は、図面の作成対象である構造物の概略の外形形状を取得するステップと、構造物を撮像する距離画像撮像装置により取得された複数の距離画像であって、構造物を構成する複数部分の距離画像を取得するステップと、取得した複数部分の距離画像を、取得した構造物の外形形状及び距離画像の付属情報を使用して連結させるステップと、連結された距離画像から構造物の図面を作成するステップと、を含む。

本発明によれば、距離画像撮像装置により撮像された構造物の複数部分の距離画像を、構造物の外形形状及び距離画像の付属情報（撮影位置及び撮影方向）を使用して連結し、連結した距離画像から構造物の図面を作成するようにしたため、画像の連結による累積誤差が発生せず、橋梁等の大型の構造物の図面を簡便に作成することができる。

本発明に係る図面作成装置の実施の形態を示す要部ブロック図である。 図１に示したＴＯＦカメラの内部構成を示すブロック図である。 測距領域内の物体Ｔ_１と近い物体Ｔ_２の距離の演算処理を示す図である。 距離画像と付属情報とが関連付けられた距離画像ファイルの一例を示す図である。 目的の構造物が含まれる地図（航空写真）を示す図である。 橋梁の外形形状、橋梁を分割して撮像する撮影回数及びグローバル座標系等を示す図である。 橋梁の一部の３次元情報に対応する可視化画像を示す図である。 橋梁の一部の３次元情報に対応して作成された図面であって、寸法が追記された図面である。 無人航空機のブロック図である。 ＴＯＦカメラに適用可能なイメージセンサの他の実施形態を説明するために用いた図である。 本発明に係る図面作成方法の実施形態を示すフローチャートである。

以下、添付図面に従って本発明に係る図面作成装置及び図面作成方法の実施の形態について説明する。

［図面作成装置］
図１は、本発明に係る図面作成装置の実施の形態を示す要部ブロック図である。

図１に示すように図面作成装置は、距離画像撮像装置として機能するタイム・オブ・フライト式カメラ（以下、「ＴＯＦ（Time Of Flight）カメラという」）１０と、図面作成装置本体１００とから構成されている。

本実施形態の図面作成装置は、ＴＯＦ１０と図面作成装置本体１００とが分離して構成され、相互に通信可能な無線通信機能を備えているが、ＴＯＦカメラ付きの携帯情報端末、スマートフォン、タブレット端末等のＴＯＦカメラ一体型の携帯機器として構成されたものでもよく、この場合には無線通信機能は不要である。

＜ＴＯＦカメラ１０＞
図２は、図１に示したＴＯＦカメラ１０の内部構成を示すブロック図である。

図２に示すＴＯＦカメラ１０は、被写体に光を照射し、その反射光をセンサで受光するまでの時間を測定することにより被写体までの距離を求めるカメラであり、主として結像レンズ１２、距離画像センサ１４、Ａ／Ｄ（Analog-to-Digital）変換器１６、インターフェース回路１８、メモリ１９、中央処理装置（ＣＰＵ：Central Processing Unit）２０、パルス光発光部２２、露光制御部２４、操作部２６、液晶表示器等の表示部２８、全地球測位システム（ＧＰＳ：Global Positioning System)（以下、「ＧＰＳ装置」という）３０、方位センサ３２、及び第１の通信部３４から構成されている。

パルス光発光部２２は、近赤外光発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））を備え、露光制御部２４からの発光タイミング信号に同期して一定のパルス幅のパルス光を発光する。尚、パルス光発光部２２は、少なくとも結像レンズ１２を介して撮像される撮像領域の全体にパルス光を照射する。また、パルス光発光部２２の近赤外ＬＥＤから発光されるパルス光は、近赤外光である。

結像レンズ１２は、被写体（構造物）からの反射光（パルス光発光部２２から照射され、構造物の表面にて反射するパルス光の反射光を含む）を距離画像センサ１４に結像させる。

距離画像センサ１４は、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、距離画像センサ１４は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

距離画像センサ１４は、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、パルス光発光部２２から発光される近赤外のパルス光の波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられていることが好ましい。これにより、距離画像センサ１４の複数の受光素子は、近赤外光に対して感度をもった画素として機能する。

距離画像センサ１４は、露光制御部２４から加えられるシャッタ制御信号により露光期間（露光時間及び露光タイミング）が制御され、距離画像センサ１４の各受光素子には、露光期間に入射する近赤外光の光量に対応する電荷が蓄積される。そして、距離画像センサ１４からは、被写体からの近赤外光の入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。

ここで、露光制御部２４は、詳細については後述するが、パルス光発光部２２からパルス光を発光させ、少なくとも被写体（構造物）の距離に応じて距離画像センサ１４の対応する受光素子での露光量（パルス光の受光時間）に差が生じる第１の露光制御と、パルス光発光部２２からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる第２の露光制御であって、距離画像センサ１４の全ての受光素子が構造物にて反射したパルス光を全て露光する第２の露光制御と、を順次行う。

露光制御部２４による露光制御後に距離画像センサ１４から読み出されたアナログ信号は、Ａ／Ｄ変換器１６によりデジタル信号に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してメモリ１９に保持される。

メモリ１９は、ＣＰＵ２０での処理に必要な各種のデータなどを記憶すると共に、ＣＰＵ２０のワーキング・メモリとして機能する。また、メモリ１９は、ＴＯＦカメラ１０で撮像された距離画像を記録する記録媒体として機能し得る。

操作部２６は、電源スイッチ、シャッタボタン、モード選択部等を含み、操作部２６での指示入力はＣＰＵ２０に加えられる。

ＣＰＵ２０は、詳細については後述するが、操作部２６での指示入力に応じて露光制御部２４等の各部を統括的に制御するデバイス制御部としての機能、距離画像生成部２０Ａとしての機能を有する。

距離画像生成部２０Ａは、距離画像センサ１４のセンサ出力に基づいて、撮像対象の構造物の３次元の距離画像を生成する。

＜ＴＯＦ法の基本原理＞
次に、ＴＯＦカメラ１０により３次元の距離画像を取得する基本原理について説明する。

ＴＯＦカメラ１０のパルス光発光部２２から照射されたパルス光は、測距領域内の被写体（構造物）に入射し、構造物にて反射しパルス光は、結像レンズ１２を介して距離画像センサ１４により結像（受光）される。

図３は、測距領域内の遠い物体Ｔ_１と近い物体Ｔ_２の距離の演算処理を示す図である。

パルス光発光部２２は、露光制御部２４によりパルス駆動されるが、パルス光発光部２２のパルス駆動に同期して、図３（Ａ）及び（Ｂ）に示すように、距離画像センサ１４は、露光制御部２４により第１の露光制御及び第２の露光制御の２回の露光制御が順次行われる。

図３（Ａ）に示す第１の露光制御は、パルス光発光部２２からパルス光を発光させ、少なくとも被写体の距離に応じて距離画像センサ１４の対応する受光素子での露光量に差が生じるように露光期間を制御する露光制御であり、パルス光発光部２２からパルス光を発光させた後、一定時間（測距可能な最も遠い物体からパルス光が戻ってくるまでの時間）経過後に露光を開始し、少なくとも最も遠い被写体にて反射したパルス光の全てが戻ってくる時間（所定の露光時間）経過後に露光を終了させる。

上記の第１の露光制御によれば、物体の反射率が一定の場合、遠い物体Ｔ_１と近い物体Ｔ_２とを比較すると、遠い物体Ｔ_１ほど露光量が多くなる。

図３（Ｂ）に示す第２の露光制御は、パルス光発光部２２からパルス光を発光させ、パルス光に対する露光開始の位相が第１の露光制御のパルス光に対する露光開始の位相と異なる露光制御であり、物体の反射率の相違による距離画像センサ１４での露光量の変化を除去するための露光制御である。本例では、距離画像センサ１４の全ての受光素子が物体にて反射したパルス光を全て露光する露光制御である。具体的にはパルス光発光部２２から発光するパルス光の発光タイミングに同期して露光を開始し、一定時間（少なくとも測距可能な最も遠い物体からパルス光が全て戻ってくるまでの所定の露光時間）経過後に露光を終了させる。尚、第１の露光制御における「所定の露光時間」と、第２の露光制御における「所定の露光時間」とは同じ時間であるが、上記のようにパルス光に対する露光開始の位相が異なる。

上記の第２の露光制御によれば、物体の遠近にかかわらず、物体の反射率に応じて露光量が異なり、第１の露光制御により得られる露光量により物体の反射率に対応する情報を取得することができる。

次に、ＣＰＵ２０の距離画像生成部２０Ａは、図３（Ｃ）に示すように第１の露光制御及び第２の露光制御により距離画像センサ１４から取得される各露光量に対応するセンサ出力（ある画素の出力データ）を、それぞれ第１のデータＬ_１及び第２のデータＬ_２とすると、物体の距離に対応する距離情報Ｄを、次式、
［数１］
Ｄ＝Ｌ_１÷Ｌ_２
により算出する。

即ち、［数１］式によれば、第１のデータＬ_１を第２のデータＬ_２で除算した除算データを算出する。この除算データは、物体の反射率の影響が除去され、かつ全画面一様光量でないパルス光の光量の影響が除去された相対距離に対応するデータ（距離情報Ｄ）となる。この距離情報Ｄは、物体に光を照射し、その反射光を距離画像センサで受光するまでの時間（飛翔時間）に対応する情報である。尚、第１のデータＬ_１と第２のデータＬ_２とに基づいて物体の絶対距離を求めることも可能である。

そして、距離画像生成部２０Ａは、距離画像センサ１４の全ての画素毎に距離情報Ｄを取得することにより、３次元の距離画像を生成することができる。ここで、距離画像とは、距離画像撮像装置であるＴＯＦカメラ１０によって得られる被写体（構造物）までの距離値（距離情報Ｄ）の２次元分布画像のことであり、距離画像の各画素は距離値（距離情報）を有する。

距離画像は可視化画像としては適したものではないため、距離画像を視認する場合には、距離画像を可視化画像に変換する必要がある。例えば、図２に示したＣＰＵ２０により距離画像の各画素（距離情報）を距離に対応する輝度に変換し、あるいは距離に対応する色に変換し、変換した距離画像を表示部２８（第１の表示部）に出力する。これにより、表示部２８の画面上で距離画像（撮像された構造物）を視認できるようにすることができる。

また、ＴＯＦカメラ１０による距離画像の撮像領域に対応する視野を有する光学ファインダをＴＯＦカメラ１０に設ければ、光学ファインダにより距離画像の撮像領域を確認することができる。

図２において、ＧＰＳ装置３０は、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、ＴＯＦカメラ１０の現在の緯度、経度及び高度によって特定される位置情報（ＧＰＳ情報）を取得する。ＴＯＦカメラ１０により距離画像の撮像が行われると、ＣＰＵ２０は、撮影位置を示す情報としてＧＰＳ装置３０からＧＰＳ情報を取得する。

また、方位センサ３２は、ＴＯＦカメラ１０の撮影方向を示す方位情報を検出するもので、ジャイロセンサ、地磁気センサ等により構成される。ここで、撮影方向とは、結像レンズ１２の光軸方向及び光軸回りの回転角をいい、光軸方向は、方位角と仰角（又は俯角）とにより特定される方向であり、光軸回りの回転角は、ＴＯＦカメラ１０が水平の場合を０°とするカメラの光軸回りの傾き角である。ＴＯＦカメラ１０により距離画像の撮像が行われると、ＣＰＵ２０は、方位センサ３２から距離画像の撮影方向を示す方位情報を取得する。

ＣＰＵ２０は、操作部２６からの撮像指示にしたがって距離画像の撮像を行うと、距離画像生成部２０Ａにより生成された距離画像と、距離画像の付属情報であるＧＰＳ装置３０から取得した撮影位置を示すＧＰＳ情報及び方位センサ３２から取得した撮影方向を示す方位情報とを関連付けてメモリ１９に記録する。

図４は、距離画像と付属情報とが関連付けられた距離画像ファイルの一例を示す図である。図４に示す距離画像ファイル４０は、ヘッダ部４２に撮影位置を示すＧＰＳ情報及び撮影方向を示す方位情報を含む付属情報が記録され、距離画像ファイル４０の本体部４４に距離画像が記録されて構成されている。尚、距離画像と、ＧＰＳ情報及び撮影方向を示す方位情報とを関連付ける方法は、上記の方法に限らず、例えば、距離画像が記録された距離画像ファイルと、撮像時の撮影位置及び撮影方向を示す付属情報が記録されたテキストファイルとをファイル名等により関連付けるようにしてもよい。

第１の通信部３４は、図１に示した図面作成装置本体１００の第２の通信部１１０との間で近距離無線通信又はネットワークを介して無線通信を行う部分であり、本例では撮像された距離画像（距離画像ファイル）を撮像毎に、又は複数の距離画像（複数部分の距離画像）の撮像終了後に一括して図面作成装置本体１００に送信する。また、図面作成装置本体１００の第２の通信部１１０は、詳細は後述するが、ＴＯＦカメラ１０での距離画像の撮像を支援するための情報を、ＴＯＦカメラ１０に送信する。

＜図面作成装置本体１００＞
図１に示す図面作成装置本体１００は、主として第２の通信部１１０、データベース１２０、外形形状取得部１３０、連結処理部１４０、図面作成部１５０、寸法追記部１５２、見積もり部１６０、第１の手動補正部１８０、及び第２の手動補正部１９０等から構成されている。

外形形状取得部１３０は、本例では構造物の概略の外形形状が表されている地図情報１７０から、図面の作成対象である構造物の概略の外形形状を取得する。ここで、地図情報１７０は、地理情報システム（ＧＩＳ：geographic information system）から取得可能な地図情報、又はインターネット上の地図情報提供サービスにより提供されている地図情報（「Googleマップ」（登録商標）位置情報取得ページ）であり、コンピュータ上で利用可能なＧＰＳ情報等の付加情報を含む地図情報が好ましい。

図５に示すように、地図情報１７０により、目的の構造物（本例では、橋梁１）が含まれる地図（本例では、航空写真）を、コンピュータの画面（図示せず）に表示させ、橋梁１の外形形状を決定する複数箇所にカーソルを移動させる。外形形状取得部１３０は、地図情報１７０から橋梁１のカーソルで指定された複数箇所のＧＰＳ情報を取得する。ここで、外形形状取得部１３０によるＧＰＳ情報の取得とは、カーソルで指定された位置に対応するＧＰＳ情報を、地図情報１７０の編集機能を有するコンピュータソフトウェアを介して自動的に取得する方法や、カーソルで指定された位置に対応して画面上に表示されたＧＰＳ情報を目視で読み取り、読み取ったＧＰＳ情報を手動で入力することにより取得する方法を含む。また、コンピュータの画面に表示された橋梁１の外形をカーソルでなぞり、橋梁１の多数の地点のＧＰＳ情報に基づいて橋梁１の外形を示す最適関数を最小二乗法により推定することにより、より正確な橋梁１の外形形状を取得することができる。

見積もり部１６０は、外形形状取得部１３０により取得された橋梁１の外形形状からＴＯＦカメラ１０による撮影回数等を見積もる部分であり、橋梁１（構造物）の全体の大きさ（外形寸法）と、ＴＯＦカメラ１０による測距領域（測距の信頼性が高い測距領域）とに基づいて撮影回数を見積もる。例えば、図６に示すように橋梁１の長さ（長手方向の長さ）が６５ｍ、幅が２２ｍであり、ＴＯＦカメラ１０による測距領域が１５ｍ×１５ｍの場合、図６に示すように１０分割（１２回）に分けて撮像する。

いま、図６において、グローバル座標系（ＸＹＺ座標系）の原点Ｏに、橋梁１の左下のコーナを配置し、橋梁１の長手方向をＸ方向に一致させ、幅方向をＹ軸方向に一致させた場合、図６に示した１０箇所の撮影位置Ｐ_１〜Ｐ_１０からそれぞれＸ軸の正方向に１０回撮像し、２箇所の撮影位置（Ｐ_２，Ｐ_７）からそれぞれＸ軸の負方向に２回撮像する。

尚、撮影位置（Ｐ _２ ，Ｐ _７ ）において、それぞれＸ軸の正方向と負方向の２回の撮像を行う理由は、Ｘ軸の正方向のみの１０回の撮像では、橋梁１を構成する手前にある物体により背後にある物体が隠れてしまう領域（オクルージョン領域）が発生するためであり、このオクルージョン領域を撮像すべく、Ｘ軸の負方向にも撮像を行っている。また、１０箇所の撮影位置Ｐ_１〜Ｐ_１０の全てにおいて、Ｘ軸の正方向と負方向の２回の撮像（トータルで１０×２回の撮像）を行ってもよいが、橋梁１が同じ構造の繰り返しにより構成されている場合、本例のように一方（負方向）の撮影回数を減らし、撮影回数を減らしたことにより生じるオクルージョン領域は、類推するようにしてもよい。

見積もり部１６０は、上記のように撮影回数（１２回）、撮影位置（Ｐ_１〜Ｐ_１０）、撮影方向等を見積もり、見積もった結果を第２の通信部１１０（送信部１１４）を介してＴＯＦカメラ１０に送信する。

図２に示すＴＯＦカメラ１０の第１の通信部３４は、見積もり部１６０により見積もった結果を受信し、ＣＰＵ２０は、第１の通信部３４を介して受信した見積もった結果を、第１の通知部として機能する表示部２８に表示させる。例えば、撮影回数等を表示部２８にテキストで表示させる他、図６に示すように撮影回数等をグラフィックで表示させるようにしてもよい。

撮影者は、ＴＯＦカメラ１０の表示部２８に表示された見積もり部１６０により見積もった結果に基づいて撮影位置や撮影方向等を決めながら、橋梁１を構成する複数部分の距離画像を撮像することができる。例えば、ＧＰＳ装置３０により測位されるＧＰＳ情報を見ながら、図６に示すように撮影位置（Ｐ_１〜Ｐ_１０）のうちのいずれかの撮影位置又はその近傍の撮影位置に移動し、矢印で指定された方向の距離画像の撮像を行う。このようにして撮影位置を変えながら順次、距離画像の撮像を繰り返すことにより、橋梁１を構成する複数部分の距離画像を撮像することができる。

ＴＯＦカメラ１０のＣＰＵ２０は、構造物（橋梁１）を撮像するとき、今回撮像する部分が橋梁１の全体のどの部分かを示す情報を、第２の通知部として機能する表示部２８に表示させる。例えば、ＣＰＵ２０は、図６に示すように１０分割された橋梁１全体の外形形状を表示部２８に表示させ、今回撮像する部分（１つの分割部分）を、他の分割部分と視認可能に表示させる。この場合、ＴＯＦカメラ１０により連続的に撮像される距離画像から生成される可視化画像を第１の表示部として機能する表示部２８、又はＴＯＦカメラ１０により撮像される距離画像と同じ画角の可視化画像を撮像する撮像部から得られるライブビュー画像を第２の表示部として機能する表示部２８に表示させ、表示部２８により表示されている画像が、橋梁１全体のどの部分に対応するかを示す情報を表示部２８に表示することが好ましい。これにより、撮影者は、今回撮像する部分が橋梁１の全体のどの部分かを確認することができ、その部分の距離画像を撮像するために必要な撮影位置に移動することができる。

更にＣＰＵ２０は、構造物（橋梁１）に対して距離画像の撮像が行われた既撮像領域と距離画像の撮像が行われていない未撮像領域とを、第３の表示部として機能する表示部２８に識別可能に表示させる。例えば、ＣＰＵ２０は、図６に示すように１０分割された橋梁１全体の外形形状を表示部２８に表示させ、既撮像領域（１０分割された分割領域のうちの撮像が行われた分割領域）をグレーアウトし、既撮像領域と未撮像領域とを識別可能に表示させる。これにより、未撮像領域が残らないように橋梁１を撮像することができる。

ＴＯＦカメラ１０の第１の通信部３４からは、距離画像の撮像毎に、又は橋梁１に対する全ての距離画像の撮像終了後に一括して距離画像（距離画像ファイル）が送信され、図面作成装置本体１００の第２の通信部１１０の受信部１１２は、ＴＯＦカメラ１０から送信された距離画像ファイルを受信し、受信した距離画像ファイルをデータベース１２０に格納させる。

連結処理部１４０は、データベース１２０に格納された橋梁１の複数部分の距離画像（図６に示す例では、１２枚の距離画像）をデータベース１２０から順次読み出し、読み出した距離画像を、外形形状取得部１３０により取得した橋梁１の外形形状及び各距離画像の付属情報（距離画像ファイル４０のヘッダ部４２に記録された撮影位置を示すＧＰＳ情報及び撮影方向を示す方位情報）を使用して連結させる。

距離画像は、ＧＰＳ情報で表されている撮影位置を原点とする極座標空間の動径と偏角とを含む３次元情報であり、距離画像の各画素の距離情報は動径に対応し、距離画像の２次元分布画像内の各画素の位置は偏角に対応する。そこで、連結処理部１４０は、極座標で表されている距離画像を、撮影位置を原点とするｘｙｚの３軸直交座標に変換する。３軸直交座標のｚ軸は、例えば、撮影方向（光軸方向）とし、ｘ軸及びｙ軸は、それぞれｚ軸に直交する面の水平方向及び垂直方向とすることができる。このように距離画像を、撮影位置を原点とする３軸直交座標に変換した、ＴＯＦカメラ１０のローカル座標系における橋梁１の３次元座標を取得する。

続いて、連結処理部１４０は、ローカル座標系における橋梁１の３次元座標を、図６に示したグローバル座標系の３次元座標に変換する。

この場合、グローバル座標系の原点Ｏの座標値（ＧＰＳ情報）及びグローバル座標系のＸ軸及びＹ軸の方位方向は、橋梁１の外形形状の取得時のＧＰＳ情報から既知であり、ローカル座標系の原点の座標値（距離画像の撮影位置を示すＧＰＳ情報）は取得されているため、ローカル座標系の座標値をグローバル座標系の座標値に変換するための並進ベクトルを求めることができる。また、距離画像の撮像時の撮影方向の情報（結像レンズ１２の光軸方向及び光軸回りの回転角）は取得されており、ローカル座標系の座標値をグローバル座標系の座標値に変換するための直交３軸の各軸回りの回転角を求めることができる。従って、ローカル座標系の座標値は、上記のようにして求めた並進ベクトル及び回転角に基づいてグローバル座標系の座標値に変換することができる。

連結処理部１４０は、データベース１２０から順次読み出した距離画像を、距離画像に付属する撮影位置及び撮影方向を示す付属情報を使用し、グローバル座標系の座標値に変換することで各距離画像を連結する。このようにして連結された距離画像は、橋梁１全体の３次元情報を表すものとなる。

橋梁１全体の３次元情報から橋梁１の外形形状（平面形状）を求めることができ、橋梁１全体の３次元情報から求めた橋梁１の外形形状は、理想的には外形形状取得部１３０により取得された外形形状と一致するものとなるが、ＧＰＳ装置３０により測位される撮影位置（ＧＰＳ情報）の誤差、方位センサ３２により検出される撮影方向の誤差により一致しない。連結処理部１４０は、橋梁１全体の３次元情報から求められる橋梁１の外形形状（平面形状）が、外形形状取得部１３０により取得された外形形状と一致するように、各距離画像を、グローバル座標系の座標値に変換する際に使用した並進ベクトル及び回転角を補正する。

また、連結処理部１４０は、第１の手動補正部１８０から入力する補正指示により複数部分の距離画像の連結を補正する機能を有する。第１の手動補正部１８０は、構造物（橋梁１）の外形形状と連結された距離画像の可視化画像とを重畳して表示する表示部（図示せず）を有し、表示部に表示された各距離画像中の外形形状に対応する部分と外形形状と合致するように、各距離画像の位置（具体的には、座標変換する際に使用する撮影位置（並進ベクトル）と撮影方向（角度））を補正する補正指示を連結処理部１４０に出力する。連結処理部１４０は、第１の手動補正部１８０からの補正指示により複数部分の距離画像の連結（距離画像の座標変換）を補正する。

更に、連結処理部１４０は、隣接する距離画像間に重複する領域が存在する場合、重複する領域の座標変換後の３次元座標値が同じ座標値となるように、相互の座標変換を補正することができる。

図面作成部１５０は、連結処理部１４０により連結された距離画像に基づいて構造物（橋梁１）の図面を作成する。図面作成部１５０は、連結された距離画像（橋梁１全体の３次元情報）から橋梁１の輪郭と見なせる点を連結してなる線図を作成することができる。尚、構造物（橋梁１）全体の３次元情報が取得されているため、例えば、正投影図法により構造物の６面図（正面図、背面図、平面図、底面図、右側面図、左側面図）を作成したり、斜視図を作成することもできる。

図面作成部１５０により作成された図面は、複数部分の距離画像に関連付けてデータベース１２０に保存される。データベース１２０に保存された構造物の図面は、必要に応じて読み出され、プリント出力され、あるいは表示部に表示することができる。

また、図面作成部１５０は、第２の手動補正部１９０から入力する補正指示により構造物（橋梁１）の図面を補正する機能を有する。第２の手動補正部１９０は、図面作成部１５０により作成された図面を表示する表示部（図示せず）を有し、表示部に表示された図面に欠落している部分（オクルージョン領域に対応する部分等）が存在する場合、あるいは図面に明らかな誤りが存在する場合、手動による図面の補正指示を図面作成部１５０に出力する。

寸法追記部１５２は、図面作成部１５０により作成された構造物（橋梁１）の図面に寸法線と寸法を追記する部分である。寸法追記部１５２は、図面作成部１５０により作成された図面を表示する表示部を有し、表示部上で寸法線を入れる部分及び寸法の指示入力を行うことができる。尚、連結された距離画像により構造物の３次元情報が生成されているため、寸法線を入れる部分の指示入力があると、寸法線に対応する構造物の構成部分の寸法を自動的に算出することができ、算出した寸法を図面に追記する情報とすることができる。

図７は、橋梁の一部の３次元情報に対応する可視化画像であり、図８は、橋梁の一部の３次元情報に対応して作成された図面である。図面作成部１５０は、図８に示すように寸法追記部１５２からの寸法線を入れる部分及び寸法の指示入力に基づいて作成した図面に寸法線と寸法を追記する。

＜無人航空機２００＞
構造物によってはＴＯＦカメラ１０を人手により適切な撮影位置に移動させ、構造物の距離画像を撮像することが困難な場合がある。

この場合、図９に示すように無人航空機２００にＴＯＦカメラ１０を搭載し、無人航空機２００を遠隔操作部２１０により操作して、構造物の距離画像を撮像することが好ましい。

無人航空機２００は、ＴＯＦカメラ１０と、ＴＯＦカメラ１０により撮像された距離画像を無線送信する通信部（第１の通信部）とを備えている。尚、ＴＯＦカメラ１０が第１の通信部３４（図２）を備えている場合には、無人航空機２００は第１の通信部を備えていなくてもよい。

また、無人航空機２００は、ＴＯＦカメラ１０と同じ撮像領域（略同じ撮像領域を含む）の可視化画像（ライブビュー画像）を撮像する撮像装置と、撮像装置により撮像されたライブビュー画像を遠隔操作部２１０に送信する通信部とを更に備えていることが好ましい。

遠隔操作部２１０は、無人航空機２００を遠隔制御する制御部として機能し、無人航空機２００の撮像装置により撮像されたライブビュー画像を表示する表示部と、無人航空機２００の飛行やＴＯＦカメラ１０の撮像を無線で指示する操作部とを備え、操作者は、表示部に表示されたライブビュー画像を見ながら無人航空機２００を遠隔操作する。

また、無人航空機２００が自動運転機能を有するドローンの場合、飛行ルート、撮影位置等を予めプログラムした制御部を備え、制御部によりドローンの飛行を制御することにより遠隔操作部２１０を使用しないこと、又は遠隔操作部２１０を補完的に使用することができる。

図１０は、ＴＯＦカメラ１０に適用可能な距離画像センサ（イメージセンサ）の他の実施形態を説明するために用いた図であり、図１０（Ａ）は、他の実施形態のイメージセンサの２×２画素の基本配列を示す図である。他の実施形態のイメージセンサは、この基本配列が水平方向及び垂直方向に繰り返し配置されて構成されている。

図１０（Ａ）に示すように２×２画素の基本配列は、近赤外光の波長帯域に感度を有する第１の受光素子である近赤外光画素（ＩＲ(infrared)画素）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の可視光の波長帯域にそれぞれ感度を有する３つの第２の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）とを有している。即ち、他の実施形態のイメージセンサは、ＩＲ画素と、Ｒ画素、Ｇ画素及びＢ画素とが混在して２次元配列されて構成されている。

図１０（Ｂ）は、Ｒ画素、Ｇ画素及びＢ画素に配設されているＲＧＢの各カラーフィルタの分光透過率と、パルス光発光部２２（近赤外ＬＥＤ）から発光される近赤外光の分光特性とを示している。

距離画像は、上記構成のイメージセンサのＩＲ画素から読み出される、パルス光発光部２２から出射され、物体で反射した近赤外光に対応する信号電荷に基づいて物体の距離を示す距離画像の取得が可能である。

また、ＣＰＵ２０内の可視化画像生成部（図示せず）は、上記構成のイメージセンサのＲ画素、Ｇ画素及びＢ画素から読み出されるＲＧＢの画像から撮像領域内の被写体のカラー画像（可視化画像）を生成することができる。ＲＧＢの各フィルタは近赤外光にも透過率を有するが、対応するＲ画素、Ｇ画素及びＢ画素が近赤外光に感度を持たない構造としたり、ＲＧＢの各フィルタに重ねてＩＲカットフィルタを設けることで近赤外に感度を持たない可視化画像の生成が可能である。また、ＩＲカットフィルタや近赤外光に感度を持たない構造ではなく、図１０（Ｂ）でバンドパス特性を有している近赤外光フィルタに代えて可視光カットフィルタを設け、Ｒ画素、Ｇ画素及びＢ画素から読み出されるＲＧＢの各画像から、ＩＲ画像成分を減算することで可視化画像の生成を行っても良い。

上記構成のイメージセンサによれば、１つのイメージセンサで距離画像と可視化画像（カラー画像）とを撮像することができる。また、この場合、撮像された距離画像と可視化画像（カラー画像）とを関連付けてデータベース１２０に保存することが好ましい。

［図面作成方法］
図１１は、本発明に係る図面作成方法の実施形態を示すフローチャートである。

図１１において、図１に示す図面作成装置本体１００の外形形状取得部１３０は、地図情報１７０から構造物の概略の外形形状を取得する（ステップＳ１０）。

見積もり部１６０は、外形形状取得部１３０により取得された構造物（橋梁１）の外形形状からＴＯＦカメラ１０による撮影回数、撮影位置、撮影方向等の撮影計画を立てる（ステップＳ１２）。撮影者は、ステップＳ１２で立てた撮影計画にしたがってＴＯＦカメラ１０による構造物の撮像（距離画像の撮像）を行う。図面作成装置本体１００の距離画像取得部は、ＴＯＦカメラ１０により撮像された構造物を構成する複数部分の距離画像を取得する（ステップＳ１４）。

続いて、連結処理部１４０は、ステップＳ１４で取得した複数部分の距離画像を、ステップＳ１０で取得した構造物の外形形状、及び各距離画像の付属情報（撮影位置及び撮影方向）を使用して連結する（ステップＳ１６）。

次に、図面作成部１５０は、連結後の距離画像（構造物全体の３次元情報）から構造物の図面を作成する（ステップＳ１８）。

このようにして作成された構造物の図面は、電子データ化され、あるいはプリント出力され、構造物の保守及び点検等に利用することができる。

［その他］
本実施形態では、構造物を複数回に分けて（複数の撮影位置毎に）距離画像を撮像するようにしたが、これに限らず、撮影位置を連続的に変えながら（移動しながら）、一定のフレームレートで連続して距離画像を撮像し、連続して撮像された多数の距離画像の中から連結に使用する複数部分の画像を抽出（取得）するようにしてもよい。

また、本実施形態では、図面の作成対象である構造物の概略の外形形状を、ＧＩＳから取得可能な地図情報等から取得するようにしたが、例えば、橋梁の長さ及び幅等のように構造物の外形形状に関する情報が既知の場合には、その情報から取得してもよいし、構造物の外形形状を測量して取得してもよい。

更に、撮影位置及び撮影方向を示す付属情報を含む距離画像は、ＴＯＦカメラから無線通信により取得する場合に限らず、ＴＯＦカメラから有線により、又はＴＯＦカメラの記録媒体を介して取得するようにしてもよい。

更にまた、距離画像撮像装置は、ＴＯＦカメラに限らず、三次元レーザスキャナやステレオカメラを使用してもよく、要は構造物の距離画像を取得することできる撮像装置であれば、如何なるものでもよい。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…ＴＯＦカメラ、１２…結像レンズ、１４…距離画像センサ、２０…中央処理装置（ＣＰＵ）、２２…パルス光発光部、２４…露光制御部、２８…表示部、３０…ＧＰＳ装置、３２…方位センサ、３４…第１の通信部、１００…図面作成装置本体、１１０…第２の通信部、１２０…データベース、１３０…外形形状取得部、１４０…連結処理部、１５０…図面作成部、１５２…寸法追記部、１６０…見積もり部、１８０…第１の手動補正部、１９０…第２の手動補正部、２００…無人航空機、２１０…遠隔操作部

Claims (16)

1. 図面の作成対象である構造物の概略の外形形状を取得する外形形状取得部と、
   前記構造物を撮像する距離画像撮像装置であって、撮影位置及び撮影方向を示す付属情報を含む距離画像を撮像する距離画像撮像装置と、
   前記距離画像撮像装置により撮像して得た複数の距離画像であって、前記構造物を構成する複数部分の距離画像を取得する距離画像取得部と、
   前記距離画像取得部により取得した前記複数部分の距離画像を、前記外形形状取得部により取得した前記構造物の外形形状及び前記距離画像の付属情報を使用して連結させる連結処理部と、
   前記連結処理部により連結された前記距離画像から前記構造物の図面を作成する図面作成部と、
   を備えた構造物の図面作成装置。
2. 前記距離画像撮像装置は、前記構造物の概略の外形寸法から撮像する回数を見積もる見積もり部と、前記見積もり部により見積もった結果を通知する第１の通知部を備える請求項１記載の図面作成装置。
3. 前記距離画像撮像装置は、全地球測位システム及び方位センサを備え、前記距離画像の撮像時に前記全地球測位システム及び前記方位センサからそれぞれ取得したＧＰＳ情報及び方位情報を、前記撮影位置及び前記撮影方向を示す付属情報とする請求項１又は２に記載の図面作成装置。
4. 前記距離画像撮像装置は、前記構造物を撮像するとき、前記撮像する部分が前記構造物の全体のどの部分かを示す情報を通知する第２の通知部を備える請求項１から３のいずれか１項に記載の図面作成装置。
5. 前記距離画像撮像装置により撮像された前記距離画像を可視化画像にして表示する第１の表示部、又は前記距離画像撮像装置と同じ撮像領域の可視化画像を撮像する撮像装置により取得された可視化画像を表示する第２の表示部を備えた請求項１から４のいずれか１項に記載の図面作成装置。
6. 前記構造物に対して前記距離画像の撮像が行われた既撮像領域と前記距離画像の撮像が行われていない未撮像領域とを識別可能に表示させる第３の表示部を備えた請求項１から５のいずれか１項に記載の図面作成装置。
7. 前記距離画像撮像装置は、タイム・オブ・フライト式カメラである請求項１から６のいずれか１項に記載の図面作成装置。
8. 前記図面作成部は、前記連結された距離画像から前記構造物の輪郭と見なせる点を連結してなる線図を作成する請求項１から７のいずれか１項に記載の図面作成装置。
9. 前記連結処理部による前記複数部分の距離画像の連結を手動により補正する第１の手動補正部を備えた請求項１から６のいずれか１項に記載の図面作成装置。
10. 前記図面作成部により作成された前記構造物の図面を手動により補正する第２の手動補正部を備えた請求項１から９のいずれか１項に記載の図面作成装置。
11. 前記構造物の図面に寸法線と寸法を追記する寸法追記部を備えた請求項１から１０のいずれか１項に記載の図面作成装置。
12. 前記外形形状取得部は、前記構造物の概略の外形形状が表されている地図情報から前記構造物の外形形状を取得する請求項１から１１のいずれか１項に記載の図面作成装置。
13. 前記地図情報は、地理情報システムから取得可能な地図情報、又はインターネット上の地図情報提供サービスにより提供されている地図情報である請求項１２に記載の図面作成装置。
14. 前記距離画像撮像装置を搭載した無人航空機と、前記無人航空機を制御する制御部と、を備え、
    前記距離画像取得部は、前記無人航空機に搭載された前記距離画像撮像装置により撮像して得た複数の距離画像を取得する請求項１から１３のいずれか１項に記載の図面作成装置。
15. 前記距離画像撮像装置は、一定のフレームレートで連続して前記距離画像を撮像し、
    前記距離画像取得部は、前記連続して撮像された前記距離画像の中から連結に使用する前記複数部分の画像を取得する請求項１から１４のいずれか１項に記載の図面作成装置。
16. 外形形状取得部が図面の作成対象である構造物の概略の外形形状を取得するステップと、
    前記構造物を撮像する距離画像撮像装置により取得された複数の距離画像であって、距離画像取得部が前記構造物を構成する複数部分の距離画像を取得するステップと、
    連結処理部が前記取得した前記複数部分の距離画像を、前記取得した前記構造物の外形形状及び前記距離画像の付属情報を使用して連結させるステップと、
    図面作成部が前記連結された前記距離画像から前記構造物の図面を作成するステップと、
    を含む図面作成方法。