JP5465128B2

JP5465128B2 - 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム

Info

Publication number: JP5465128B2
Application number: JP2010180531A
Authority: JP
Inventors: 忠之伊藤; 伸夫高地; 仁志大谷; 和男北村
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2010-08-11
Filing date: 2010-08-11
Publication date: 2014-04-09
Anticipated expiration: 2030-08-11
Also published as: US9251624B2; US20130176305A1; JP2012037491A; WO2012020696A8; WO2012020696A1

Description

本発明は、点群位置データ処理技術に係り、手前の測定対象物の影になり点群位置データが得られなかった部分（オクルージョン部分）の点群位置データを効率よく取得する技術に関する。

測定対象物の点群位置データから三次元形状を生成する技術が知られている。点群位置データでは、二次元画像と三次元座標とが結び付けられている。すなわち、点群位置データでは、測定対象物の二次元画像のデータと、この二次元画像に対応付けされた複数の測定点（点群）と、この複数の測定点の三次元空間中の位置（三次元座標）とが関連付けされている。点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の三次元座標が判るので、各点の三次元空間中における相対位置関係が把握でき、画面表示した三次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。

例えば、特許文献１に記載の発明では、走査レーザー装置が三次元対象を走査して、ポイントクラウドを生成する。ポイントクラウドは、走査点に関する深さと法線の変化に基づいて、エッジポイントと非エッジポイントのグループに分割される。各グループを幾何学的原図にフィットさせ、フィットした幾何学的原図を拡張、交差させることで、三次元形状を生成する。

特許文献２に記載の発明では、点群位置データからセグメント（三角ポリゴン）を形成し、隣接するポリゴン同士の連続性、法線方向、または距離に基づき、エッジおよび面を抽出する。また、各セグメントの点群位置データの平面性または曲面性を、最小二乗法を用いて、平面方程式または曲面方程式に置き換え、グループ分けを行い、三次元形状を生成する。

特許文献３に記載の発明では、三次元点群位置データに対して二次元矩形領域を設定し、その矩形領域に対応する測定点の合成法線ベクトルを求める。合成法線ベクトルがＺ軸方向と一致するように、矩形領域内の全ての計測点を回転移動する。矩形領域内の各計測点についてＺ値の標準偏差σを求め、標準偏差σが所定値を超えた場合、矩形領域の中心点と対応する計測点をノイズとして取り扱う。

特表２０００−５０９１５０号公報特開２００４−２７２４５９号公報特開２００５−０２４３７０号公報

レーザースキャナを用いて点群位置データを得る場合、レーザースキャナから見て、ある対象物の背後の部分の点群位置データは、影となるので取得できない。この影の部分が生じる現象をオクルージョンという。この影となる取得できなかった部分の点群位置データは、以前は影であった部分にレーザー光を当てることができる位置に視点を変更し、再度のスキャニングを行うことで得ることができる。

しかしながら、この方法によってオクルージョンを解消するには、２つの視点から得られたそれぞれ数万点〜数億点にもなる点群位置データを共通の座標系で取り扱うための位置合わせを行う処理が必要となる。この処理は、煩雑であり、また長い処理時間が必要となる。このため、再度の点群データの取得を行い、更にデータ処理を行った後で、オクルージョンが解消していないことが判明した場合、（１）再度レーザースキャナを現場に持ち込んでの作業を行わなくてはならず、その作業の手間が大変である、（２）時間が経過しているために現場の状況が変わっており、上述した位置合わせを行うことができない場合がある、（３）新たに点群位置データを取得し直しても、後処理を行わなくては、オクルージョンが解消したか否かを確認するすべがない、といった問題がある。

この問題が生じないようにするために、これまでは、レーザースキャナを扱い点群位置データを取得するための作業を行う作業者が、経験や勘に基づき、別視点の位置を選択し、オクルージョンが解消されるようにしていた。しかしながら、経験や勘に頼った方法は、作業者の違いによる作業効率の差が生じやすく、また点群位置データに基づいて三次元モデルを得る技術の利便性の点で問題があった。このような背景において、本発明は、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する技術を得ることを目的とする。

請求項１に記載の発明は、測定対象物の点群位置データを取得する点群位置データ取得部と、測定対象物の画像データを取得する画像データ取得部と、第１の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第１の視点において前記画像データ取得部で取得された画像データと、前記第１の視点とは異なる第２の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と、少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部と、前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部とを備え、前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理装置である。

請求項１に記載の発明によれば、第１の視点から得た点群位置データ（あるいは画像データ）と、第２の視点から得た画像データとを対応付けることで、第１の視点から得た点群位置データに基づいて、第２の視点から見た場合の測定対象物の三次元モデルが形成される。すわわち、測定する視点（観測点）の位置を変更した際に、その新たな視点から見た三次元モデルが、第１の視点から得た点群位置データに基づき算出される。これにより、視点を変えたことによるオクルージョン部分の視覚化が行われる。すなわち、視点を変えることで、オクルージョン部分を画像中で認識し易くすることができる。このため、オクルージョンを解消するのに適した新たな視点を作業者が把握することが容易となる。

請求項２に記載の発明は、請求項１に記載の発明において、前記画像取得部は、反射光の強度のデータを含む点群位置データに基づいて画像データを取得する機能、または撮影装置から出力される画像データを受け付ける機能を有することを特徴とする。レーザースキャン装置により点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、点群位置データを対象物の画像を構成する画素データとして取り扱うことで、点群位置データに基づいて測定対象物の画像を再現することができる。したがって、ＣＣＤやＣＭＯＳイメージセンサ等の撮影手段の代わりに、点群位置データを取得する手段に基づいて、測定対象物の画像を得ることもできる。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記対応関係特定部で特定された前記対応関係に基づき、前記第１の視点から得た点群位置データと前記第２の視点から得られた点群位置データとの座標の統合を行う座標統合部を備えることを特徴とする。請求項３に記載の発明によれば、第１の視点から得た点群位置データの座標系と第２の視点から得た点群位置データの座標系とが統合され、これら２つの視点から得られた２群の点群位置データに基づいた三次元モデルが算出される。これにより、第１の視点ではオクルージョンとなっているが第２の視点ではオクルージョンとなっていない部分、および第１の視点ではオクルージョンといなっていないが第２の視点ではオクルージョンとなっている部分が互い補完され、よりオクルージョンが減った三次元モデルが得られる。この三次元モデルは、回転して表示させた際に、オクルージョンとなる部分が減っているので、より実際の測定対象物の三次元構造を忠実に再現した三次元モデルとなる。

請求項４に記載の発明は、請求項３に記載の発明において、前記三次元モデル表示部は、前記座標統合部で統合された共通の座標系において、前記第１の視点から得た点群位置データと前記第２の視点から得た点群位置データとに基づく三次元モデルの表示の制御を行うことを特徴とする。請求項４に記載の発明によれば、第２の視点から見た対象物の三次元モデルが画像として表示される。この三次元モデルは、異なる視点からの点群位置データに基づいて作成されているので、オクルージョンとなる部分が減少しており、実際の測定対象物の三次元構造をより忠実に再現した三次元モデルの画像となる。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、追加で取得が必要な測定対象エリアを前記三次元モデル表示にガイド表示するガイド表示部を備えることを特徴とする。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記第１の視点の位置および前記第２の視点の位置の測定を行うＧＰＳ装置を備え、前記対応関係特定部は、前記第１の視点の位置および前記第２の視点の位置の特定に前記ＧＰＳ装置で測定された位置データを利用することを特徴とする。

請求項７に記載の発明は、測定対象物の点群位置データを取得する点群位置データ取得手段と、測定対象物の画像データを取得する画像データ取得手段と、第１の視点において前記点群位置データ取得手段で取得された点群位置データあるいは前記第１の視点において前記画像データ取得手段で取得された画像データと、前記第１の視点とは異なる第２の視点において前記画像データ取得手段で取得された画像データとの対応関係を求める対応関係特定手段と、前記点群位置データ取得手段が取得した点群位置データから三次元モデルを形成する三次元モデル形成手段と、前記三次元モデル形成手段で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御手段と、少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出手段と、前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出手段とを備え、前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理システムである。

請求項８に記載の発明は、第１の視点において取得された測定対象物の点群位置データあるいは前記第１の視点において取得された前記測定対象物の画像データと、前記第１の視点とは異なる第２の視点において取得された前記測定対象物の画像データとの対応関係を求める対応関係特定ステップと、前記第１の視点において取得された測定対象物の点群位置データに基づいて三次元モデルを形成する三次元モデル形成ステップと、前記三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御ステップと、少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出ステップと、前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出ステップとを備え、前記三次元モデル形成ステップは、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理方法である。

請求項９に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを測定対象物の点群位置データを取得する点群位置データ取得部と、測定対象物の画像データを取得する画像データ取得部と、第１の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第１の視点において前記画像データ取得部で取得された画像データと、前記第１の視点とは異なる第２の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と、少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部と、前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部とを備え、前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成する手段として動作させることを特徴とする点群位置データ処理プログラムである。

請求項１に記載の発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する技術が提供される。また、請求項１に記載の発明によれば、オクルージョンを解消できる新たな視点が作業者に提示される。

請求項２に記載の発明によれば、点群位置データを取得する手段から得られる画像データに基づいて、オクルージョンが解消される新たな視点の位置を決めるための情報が生成される。

請求項３に記載の発明によれば、オクルージョンが解消された三次元モデルが得られる。

請求項４に記載の発明によれば、クルージョンが解消された三次元モデルの画像が表示される。

請求項５に記載の発明によれば、三次元モデルの形成にデータが不足している領域を作業者が知ることができる。

請求項６に記載の発明によれば、ＧＰＳを利用して第１の視点と第２の視点の位置を特定することができる。

請求項７に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供するシステムが提供される。

請求項８に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供する方法が提供される。

請求項９に記載の本発明によれば、オクルージョンが解消される新たな視点の位置を決めるための情報を作業者に提供するプログラムが提供される。

実施形態のブロック図である。測定を行う状態を示す概念図である。実施形態における三次元モデル形成部のブロック図である。第１の視点から得た点群位置データに基づく三次元モデルの一例（Ａ）、この三次元モデルを第２の視点から見た状態を示す表示図（Ｂ）、統合された座標および２つの視点において得た点群位置データに基づく三次元モデルの表示図（Ｃ）である。オクルージョンを検出する原理を示す概念図である。オクルージョンを解消する新たな視点を算出する方法の一例を示す概念図である。オクルージョンを解消する新たな視点を表示する画面表示の一例を示す画面表示図である。相互標定の原理を説明する概念図である。ステレオマッチングの原理を説明する概念図である。三次元レーザースキャナ機能を備えた点群位置データ処理装置の構成を示す断面図である。三次元レーザースキャナ機能を備えた点群位置データ処理装置の構成を示す断面図である。実施形態の制御部のブロック図である。実施形態の演算部のブロック図である。点間距離が一定でない点群位置データを示す概念図である。形成したグリッドを示す概念図である。

１．第１の実施形態
以下、発明を利用した点群位置データ処理装置の一例について、図面を参照して説明する。図１には、点群位置データ処理装置１００が示されている。点群位置データ処理装置１００は、パーソナルコンピュータ上においてソフトウェア的に構成されている。点群位置データ処理装置１００をパーソナルコンピュータ上で構成するプログラムは、パーソナルコンピュータ中にインストールされている。なお、このプログラムは、サーバや適当な記録媒体に記録しておき、そこから提供される形態であってもよい。

利用されるパーソナルコンピュータは、キーボートやタッチパネルディスプレイ等の入力部、液晶ディスプレイ等の表示部、入力部と表示部を統合したユーザインターフェースであるＧＵＩ（グラフィカル・ユーザ・インターフェース）機能部、ＣＰＵおよびその他専用の演算デバイス、半導体メモリ、ハードディスク記憶部、光ディスク等の記憶媒体との間で情報のやり取りを行えるディスク記憶装置駆動部、ＵＳＢメモリ等の携帯型記憶媒体との間で情報のやり取りを行えるインターフェース部、無線通信や有線通信を行う通信インターフェース部を必要に応じて備えている。なお、パーソナルコンピュータとしては、ノート型、携帯型、卓上型等の形態が挙げられるが、その形態は限定されない。また、汎用のパーソナルコンピュータを利用する以外に、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）等を用いて構成した専用のハードウェアによって点群位置データ処理装置１００を構成することも可能である。

点群位置データ処理装置１００には、点群位置データ取得装置１０１、画像取得装置１０２、ＧＰＳ(Global
Positioning System)装置１０３、画像表示装置１０４、操作入力装置１０５が接続されている。点群位置データ取得装置１０１は、後述するレーザースキャナである。点群位置データ取得装置１０１は、測定対象物にレーザ光を照射し、その反射光を検出することで点群位置データを取得する。画像取得装置１０２は、ＣＣＤやＣＭＯＳイメージセンサを利用した撮影装置であり、点群位置データの取得対象となる測定対象物の外観画像を撮影し、その画像データを取得する。

ＧＰＳ装置１０３は、ナビゲーションシステム等に利用されている位置特定装置であり、ＧＰＳ信号を受信し、それに基づいて位置データを取得する。画像表示装置１０４は、点群位置データ処理装置１００を構成するパーソナルコンピュータのディスプレイ（例えば、液晶ディスプレイ）である。操作入力装置１０５は、点群位置データ処理装置１００を構成するパーソナルコンピュータの操作入力装置（キーボード、マウス入力装置等のポインティングデバイス）である。操作入力装置１０５は、画像表示装置１０４と連動して公知のＧＵＩ(Graphical User Interface)を利用しての点群位置データ処理装置１００の操作が可能とされている。

点群位置データ処理装置１００は、点群位置データ取得部１１１、画像データ取得部１１２、対応関係特定部１１３、三次元モデル形成部１１４、三次元モデル表示制御部１１５、座標統合部１１６、オクルージョン検出部１１７、新視点位置算出部１１８、ガイド表示制御部１１９を備えている。

点群位置データ取得部１１１は、点群位置データ取得装置１０１から出力される点群位置データを受け付け、それを点群位置データ取得装置１００内に取り込む。画像データ取得部１１２は、画像取得装置１０２から出力される画像データを受け付け、点群位置データ取得装置１００内に取り込む。対応関係特定部１１３は、第１の視点において取得した測定対象物の点群位置データ（あるいは第１の視点において測定対象物を撮影することで得た画像データ）と、前記第１の視点とは異なる第２の視点において取得した画像データとの対応関係を求める処理を行う。なお、対応関係特定部１１３の機能の詳細については後述する。三次元モデル形成部１１４は、点群位置データ取得部１１１が取得した点群位置データに基づいて、三次元モデルを形成する。三次元モデル形成部１１４の機能の詳細については後述する。

ここでいう三次元モデルというのは、測定対象物の輪郭線を線図として表現した測定対象物の三次元構造を視覚化した図面である。輪郭線というのは、測定対象物の外観を視覚的に把握するために必要な、当該測定対象物の外形を形作っている線(outline)のことである。具体的には、折れ曲がった部分や急激に曲率が小さくなっている部分が輪郭線となる。輪郭線は、外側の輪郭の部分のみが対象となるとは限らず、凸状に飛び出している部分を特徴付ける縁の部分や、凹状に引っ込んでいる部分（例えば、溝構造の部分）を特徴づける縁の部分も対象となる。輪郭線により所謂線図が得られ、対象物の外観が把握し易い画像表示を行うことができる。

三次元モデル表示制御部１１５は、画像表示装置１０４に測定対象物の三次元モデルを表示するための制御を行う。この三次元モデルには、第１の視点から得られた点群位置データに基づく三次元モデル、更に第１の視点から得られた点群位置データおよび第２の視点から得られた点群位置データに基づいて形成された三次元モデルが含まれる。座標統合部１１６は、点群位置データ取得装置１０１を第１の視点の位置に置き、その位置で取得した測定対象物の第１の点群位置データと、点群位置データ取得装置１０１を第１の視点とは異なる第２の視点の位置に置き、その位置で取得した測定対象物の第２の点群位置データとを扱うための共通の座標系（統合された座標系）得るための演算を行う。この演算は、対応関係特定部１１３で特定された２つの視点から得られた画像同士の対応関係に基づいて行われる。座標統合部１１６の機能の詳細については後述する。

オクルージョン検出部１１７は、オクルージョンとして認識すべき部分を検出する。オクルージョン検出部１１７の詳細については後述する。新視点位置算出部１１８は、オクルージョンが解消（あるいはより軽減）される新たな視点を三次元モデルが表示された画面上に表示する。新視点位置算出部１１８の詳細については後述する。ガイド表示制御部１１９は、精度や誤差の点で再度の点群位置データの取得が必要な領域を画像表示装置１０４上に三次元モデルと共に表示する。

以下、対応関係特定部１１３、座標統合部１１６、オクルージョン検出部１１７、新視点位置算出部１１８について詳細に説明する。まず、説明の前提となる点群位置データを測定する状態の具体的な一例を説明する。図２には、点群位置データを測定する状況の一例が概念的に示されている。図２には、図１の点群位置データ処理装置１００として機能するノート型のパーソナルコンピュータ１３０が示されている。パーソナルコンピュータ１３０には、点群位置データ取得装置の一例である三次元レーザースキャナ１３１が接続されている。図２には、まず、測定を行う第１の視点となる第１の設置位置１３２に三次元レーザースキャナ１３１を配置して点群位置データの取得を行い、次に第２の視点となる第２の設置位置１３３に、三次元レーザースキャナ１３１を設置し、再度の点群位置データの取得を行おうとする場合の例が示されている。なお、三次元レーザースキャナ１３１は、図１の点群位置データ取得装置１０１の機能に加えて、画像取得装置１０２、ＧＰＳ装置１０３の機能を備えている。

図２には、第１の設置位置１３２に三次元レーザースキャナ１３１を配置した状況において、三次元レーザースキャナ１３１側から見て、手前側に測定対象物１３４が位置し、その背後（後ろ側）に測定対象物１３５が位置している状況が示されている。また、第１の設置位置１３２から見て、測定対象物１３４の背後に隠れる位置に測定対象物１３６が位置している状態が示されている。

（対応関係特定部）
以下、図１の対応関係特定部１１３について説明する。ここでは、具体例として、図２の状況における対応関係特定部１１３の機能について説明する。この場合、対応関係特定部１１３は、三次元レーザースキャナ１３１を第１の設置位置１３２（第１の視点）に設置した場合に取得された測定対象物１３４〜１３６の点群位置データ（または画像データ）と、三次元レーザースキャナ１３１を第２の設置位置１３３（第２の視点）に設置した場合に取得される測定対象物１３４〜１３６の画像データとの対応関係（相関関係）を求める。

上記の対応関係も求める方法として、「単写真標定」、「相互標定」、「ステレオマッチング」が挙げられる。これらの方法は、その一つを用いても良いし、複数を組み合わせて用いても良い。上記の対応関係を求める処理は、図２の第１の設置位置（第１の視点）１３２から測定対象物１３４〜１３６を見た場合に得られる画像の画像データを取り扱うのに利用される座標系（第１の座標系）（Ｘ、Ｙ、Ｚ）と、第２の設置位置（第２の視点）１３３から測定対象物１３４〜１３６を見た場合に得られる画像の画像データを取り扱うのに利用される座標系（第２の座標系）（ｘ、ｙ、ｚ）との対応関係を明らかにする処理と捉えることができる。

ここで、「単写真標定」を用いた場合は、第１の視点において既に得られている点群位置データと第２の視点から撮影することで得た画像データとに基づき、上記の対応関係を算出する処理が行われる。「相互標定」を用いた場合および「ステレオマッチング」を用いた場合は、第１の視点から撮影することで得られた画像データと、第２の視点から撮影することで得られた画像データとに基づき、上記の対応関係を算出する処理が行われる。なお、第１の視点から得られる画像の画像データは、ＣＣＤカメラ等の撮影装置によって撮影した画像の画像データであってもよいし、点群位置データに基づいて得られた画像データであってもよい。

（単写真標定）
単写真標定とは、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置（Ｘ０、Ｙ０、Ｚ０）およびカメラの傾き（ω，φ，κ）を求め、写真座標ｘ、ｙと地上座標Ｘ、Ｙ、Ｚの間の関係を求める技術である。共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置（Ｘ０、Ｙ０、Ｚ０）とカメラの傾き（ω、φ、κ）は外部標定要素と呼ばれる。

ここでは、単写真標定の原理を用いて、第１の設置位置１３２（第１の視点）から対象物１３４〜１３６を見た場合の第１の座標系と、第２の設置位置１３３（第２の視点）から対象物１３４〜１３６を見た場合の第２の座標系との関係を求める方法を説明する。この場合、第１の設置位置において測定対象物１３４〜１３６の点群位置データが取得されている状態で、第２の設置位置１３３から三次元レーザースキャナ１３１が備えている画像取得装置１０２（ＣＣＤカメラ）による画像の取得を行い、その上で以下の演算を行う。

まず、第１の座標系をＸ、Ｙ、Ｚ、第２の座標系をｘ、ｙ、ｚ、とし、第２の設置位置１３３において、画像取得装置１０２を各座標軸の正方向に対して左回りにそれぞれ κ、φ、ωだけ順次回転させた向きで撮影を行ったものとする。

ここで、第１の設置位置１３２において得られた点群位置データおよび第２の設置位置１３３から撮影した撮影画像の中から共通する４点を選択する。この４点は、２つの座標系の対応関係を求める足掛かりとなる共通座標点であり、測定対象物の中から特徴点となる部分が選択される。この４点の選択を行う方法は、マニュアル操作によって行う方法や、対象物のエッジや角部分等の特徴点として把握し易い部分をソフトウェア的に自動抽出する方法が利用できる。

そして、４点の画像座標と対応する基準点の３次元座標を数１に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。

数１のパラメータｂ１〜ｂ８を用いて、下記の数２から外部標定要素（Ｘ０、Ｙ０、Ｚ０）を求める。

次に、単写真標定の原理より、（Ｘ，Ｙ，Ｚ）に対応する、傾いた画像取得装置１０２の座標系（ｘｐ、ｙｐ、ｚｐ）を以下の数３から求める。数３では、数２で求まった画像取装置の傾き（ω、φ、κ）を代入し、回転行列の計算をして、パラメータａ１１〜ａ３３を求める。

求まったパラメータａ１１〜ａ３３と数２で求まったカメラの位置（Ｘ０、Ｙ０、Ｚ０）、および（Ｘ，Ｙ，Ｚ）を、投影中心、写真像および対象物が一直線上にあるという以下の数４の共線条件式に代入し、座標（ｘ、ｙ）を求める。ここで、ｃは画面距離（焦点距離）、ａ_１１〜ａ_３３は、３×３回転行列の要素として現される画像取得装置１０２の傾きであり、Δｘ、Δｙは、画像取得装置１０２内部の標定補正項である。

こうして、図２の第１の設置位置（第１の視点）１３２から測定対象物１３４〜１３６を見た場合の座標系（第１の座標系）（Ｘ、Ｙ、Ｚ）と、第２の設置位置（第２の視点）１３３から測定対象物１３４〜１３６を見た場合の座標系（第２の座標系）（ｘ、ｙ、ｚ）との対応関係が算出される。なお、上記の算出方法では、ｚとＺの関係が求めていないが、第１の設置位置１３２と第２の設置位置１３３とが水平面内における位置の違いであるある場合、ｚ＝Ｚであるので、上記の方法で問題は生じない。

（相互標定）
相互標定は、画像中の６点以上の対応点により、第１の視点から見た測定対象物を記述する第１の座標系と、第２の視点から見た測定対象物を記述する第２の座標系との関係を求める技術である。図８は相互標定の原理を説明する概念図である。ここでは、第１の視点からの撮影（左側のカメラによる撮影）によって得られる画像の座標系（第１の座標系）と、第２の視点からの撮影（右側のカメラによる撮影）によって得られる画像の座標系（第２の座標系）との関係を求める場合を例に上げ、相互標定の手順について説明する。相互標定では、以下の共面条件式により各パラメータを求める。

図８に示すように、モデル座標系の原点を左側の投影中心Ｏ_１にとり、右側の投影中心Ｏ_２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。このような条件にすると、数５の共面条件式は数６式のようになり、この式を解けば各パラメータが求まる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（１）初期近似値は通常０とする。
（２）数６の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数７、数８式により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（２）〜（５）までの操作を収束するまで繰り返す。

上述した方法で未知パラメータを求めることで、第１の座標系（Ｘ_１、Ｙ_１、Ｚ_１）と第２の座標系（Ｘ_２、Ｙ_２、Ｚ_２）との対応関係が求まる。

（絶対標定）
絶対標定は、モデル座標系を地上座標系（絶対座標系）に変換する方法である。絶対標定を用いた場合、第１の座標系を地上座標系に関連付け、他方で第２の座標系を地上座標系に関連付け、地上座標系を介して第１の座標系と第２の座標系の対応関係が取得される。まず、モデル座標系（ＸＭ、ＹＭ、ＺＭ）を地上座標系（Ｘ、Ｙ、Ｚ）に変換する。ここで、縮尺をｓ、３軸回りの回転をω、φ、κ、平行移動量を（Ｘ０、Ｙ０、Ｚ０）とすると、数９の関係式が得られる。

次に、ω、φが小さいとして、未知変量（ｓ、ω、φ、κ、Ｘ０、Ｙ０、Ｚ０）を求める。まず、ヘルマート変換により平面座標の調整を行う。平面座標に限定すると、下記数１０が成り立つ。なお、下記数１０において、cosκ=（a／ｓ）、sinκ＝（−ｂ／ｓ）である。

上記数１０において、最小二乗法により、係数ａ、ｂ、Ｘ０、Ｙ０を決定する。次に、縮尺の統一を行う。この場合、下記数１１が成り立つ。

次に、高さの調整を行う。この場合、下記数１２が成り立つ。

数１２において、最小二乗法により、ω、φ、Ｚ０を求める。そして求めた未知変量を用いて、モデル座標を下記数１３により修正する。

以上の処理を未知変量が収束するまで繰り返し、モデル座標系（ＸＭ、ＹＭ、ＺＭ）と地上座標系（Ｘ、Ｙ，Ｚ）との対応関係を求める。そして、モデル座標系として第１の視点からの第１の座標系と第２の視点からの第２の座標系を選択することで、地上座標系を介した第１の座標系と第２の座標系との対応関係が明らかになる。あるいは、２つ視点からの画像や点群位置データを共通の座標である地上座標系で取り扱うことができる。

（ステレオマッチング）
ステレオマッチングを用いた方法では、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、両座標系の対応関係を求める。図９は、ステレオマッチングの原理を説明する原理図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１４で示される相互相関関数Ｃ(a,b)が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

ステレオマッチングを用いることで、比較する２つの画像の座標系の対応関係を知ることができる。すなわち、第１の視点から測定対象物を見た場合の座標系（第１の座標系）と第２の視点から測定対象物を見た場合の座標系（第２の座標系）との対応関係を知ることができる。

（三次元モデル形成部）
以下、図１の三次元モデル形成部１１４の機能について説明する。図３には、三次元モデル形成部１１４のブロック図が示されている。三次元モデル形成部１１４は、非面領域除去部２０１、面ラベリング部２０２、輪郭線算出部２０３を備えている。以下、これら各機能部について説明する。非面領域除去部２０１は、局所領域を取得する局所領域取得部２０１ａ、局所領域の法線ベクトルを算出する法線ベクトル算出部２０１ｂ、局所領域の局所曲率を算出する局所曲率算出部２０１ｃ、局所領域にフィッティングする局所平面を算出する局所平面算出部２０１ｄを備える。

局所領域取得部２０１ａは、点群位置データに基づき、注目点を中心とした一辺が３〜７画素程度の正方領域（格子状の領域）を局所領域として取得する。法線ベクトル算出部２０１ｂは、局所領域取得部２０１ａが取得した上記の局所領域における各点の法線ベクトルの算出を行う。この法線ベクトルを算出する処理では、局所領域における点群位置データに着目し、各点の法線ベクトルを算出する。この処理は、全ての点群位置データを対象として行われる。すなわち、点群位置データが無数の局所領域に区分けされ、各局所領域において各点の法線ベクトルの算出が行われる。

局所曲率算出部２０１ｃは、上述した局所領域内の法線ベクトルのバラツキ（局所曲率）を算出する。ここでは、着目している局所領域において、各法線ベクトルの３軸成分の強度値（NVx, NVy, NVz）の平均（mNVx,mNVy,mNVz）を求め、さらに標準偏差（StdNVx,StdNVy,StdNVz）を求める。次に、標準偏差の二乗和の平方根を局所曲率（Local Curveture:crv）として算出する（下記数１５参照）。

局所平面算出部２０１ｄは、局所領域にフィッティング（近似）する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。具体的には、複数の異なる平面方程式を求め、更にそれらを比較し、当該局所領域にフィッティングする局所平面の面の方程式を算出する。仮に、着目している局所領域が平面であれば、局所平面と局所領域とは一致する。

以上の処理を、局所領域を順次ずらしながら、全ての点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。

次に、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面（平面および曲面）を抽出するために、予め面でないと判断できる部分（非面領域）を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の（１）〜（３）の閾値によっては曲率の高い曲面を含む場合がある。

非面領域除去の処理は、以下に示す３つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の（１）〜（３）の方法による判定を上述した局所領域の全てに対して行い、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る点群位置データを除去する。

（１）局所曲率の高い部分：上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面（平面および曲率の小さい曲面）ではその値が小さく、面以外（非面）ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。

（２）局所平面のフィッティング精度：局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。

（３）共平面性のチェック：ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる２つの局所領域のそれぞれにフィッティングする２つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が０であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、２つの局所平面が同一面上にない程度がより顕著であると判定される。

上記の（１）〜（３）の方法による判定において、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る点群位置データを算出対象としている点群位置データから除去する。以上のようにして、非面領域の除去が行われる。こうして、点群位置データの中から非面領域の点群位置データが非面領域除去部２０１において除去される。なお、除去された点群位置データは、後の処理で利用する可能性があるので、適当な記憶領域に格納するなり、除去されなかった点群位置データと識別できる状態とするなどして、後で利用できる状態にしておく。

次に面ラベリング部２０２の機能について説明する。面ラベリング部２０２は、非面領域除去部２０１において非面領域の点群位置データが除去された点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの３軸成分の標準偏差を用いて、ラベル（面）が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。

続いて、面積の小さいラベル（面）をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数（ラベルを構成する点の数）を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面（最も近い面）と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。

すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル（面）がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。

次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。以上が面ラベリング部２０２の機能である。

この面ラベリング部２０２の機能によれば、扱うデータ量を圧縮できるので、点群位置データの処理を高速化できる。また必要なメモリ量を節約できる。また、測定中に紛れ込んだ通行人や通過した車両の点群位置データをノイズとして除去することができる。

輪郭線算出部２０３は、隣接する面の点群位置データに基づき、輪郭線を算出（推定）する。以下、具体的な算出方法について説明する。輪郭線算出部２０３は、間に非面領域を挟む隣接する面同士の交線を求め、それを輪郭線とする処理を行う。この際、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、非面領域を複数の局所平面によって近似する方法を採用することもできる。これは、複数の局所平面により構成される多面体で非面領域を近似したものと捉えることができる。この場合、隣接する面から局所平面をつないでゆき、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。

次に、二次元エッジ算出部２０４について説明する。以下、二次元エッジ算出部２０４で行われる処理の一例を説明する。まず、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化（区分け）された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ（ｚ値）と、その近傍の輪郭線（三次元エッジ）を構成する点の三次元座標の高さ（ｚ値）とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。

二次元エッジの算出後、輪郭線算出部２０３が算出した輪郭線と二次元エッジ算出部２０４が算出した二次元エッジとを統合する。これにより、点群位置データに基づくエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する線が抽出される。これにより、測定対象物の線図のデータが得られる。

具体的な例として、例えば、測定対象物として建物が選択し、この建物の点群位置データに基づいて、線図のデータを得た場合を説明する。この場合、当該建物の外観、外壁の模様、窓等の輪郭が線図のデータとして表現される。なお、窓のような比較的凹凸の少ない部分の輪郭は、閾値の判定により、輪郭線として処理される場合もあるし、二次元エッジとして処理される場合もある。このような線図のデータは、３次元ＣＡＤデータや対象物の下図のデータとして利用できる。

座標統合部で２つの視点からの座標を統合した統合座標が算出された場合、以上述べた三次元モデル形成部１１４における三次元モデルの形成をこの統合座標上で行うことで、２つの視点から得た点群位置データに基づく三次元モデルが得られる。この場合、同じ座標位置で点群位置データが重複する部分は、いずれか一方の視点から得られた点群位置データに基づいて、上述した処理が行われる。そして、一方の視点からはオクルージョンとなり、他方の視点からはオクルージョンとならない部分は、他方の視点から得た点群位置データを利用して上述した処理が行われる。よって例えば、第１の視点からはオクルージョンとなる部分の点群位置データを、第２の視点から得た点群位置データによって補完した三次元モデルを形成することができる。

（座標統合部）
図１に戻り、座標統合部１１６の機能について説明する。座標統合部１１６は、対応関係特定部１１３において求められた２つの座標系の間の関係に基づいて、統合された座標系を算出する。一般的には、座標統合部１１６は、対応関係特定部１１３において求められた２つの座標系の間の対応関係に基づいて、一方の座標系を他方の座標系に変換する。これにより、一方の座標系で取り扱われている三次元モデルのデータを他方の座標系でも取り扱えることができるようになる。あるいは両方の座標系で取り扱われている点群位置データを統合された一つの座標系で取り扱うことができるようになる。

（オクルージョン検出部）
オクルージョン検出部１１７は、上述した局所平面のフィッティング精度および共平面性のチェックに基づいてオクルージョンが発生する部分を検出する。図５は、オクルージョンが発生する原理を示す原理図である。図５において、三次元レーザースキャナ１５０から見て、符号１５１の部分が手前側の測定対象物の出っ張り部分１５２の影となり、オクルージョン部分となる。図５から分かるように、オクルージョンが発生する部分は、手前側にエッジ１５３のような面の向きが急激に変わる部分が存在する。したがって、背後に距離が離れて面があり、手前側に面の向きが急激に変わる部分があるか否かを判定することで、オクルージョンが発生する部分を検出することができる。具体的には、上述した局所平面のフィッティング精度および共平面性のチェックに閾値を設け、この閾値によってオクルージョンの有無を検出する。オクルージョンの検出は、複数の視点毎に行うことも可能である。

（新視点位置算出部）
新視点位置算出部１１８は、オクルージョン検出部１１７が検出したオクルージョンが解消される視点を算出する。図６は、オクルージョンが解消される新たな視点を算出する方法の一例を示す原理図である。図６には、第１の視点におけるオクルージョンとなる部分が示されている。この例の場合、まず視点１から見て、オクルージョンを発生させる手前側のエッジＡの座標と、視線の先にある奥側の面の位置Ｂの座標に基づき、位置Ａと位置Ｂの中間点の位置Ｃの座標を算出する。次いで、第１の視点と位置Ｃを一辺とする直角二等辺三角形を設定し、第２の視点の座標を算出する。この方法によれば、スキャンビームに対する法線の方向からの新たな点群位置データの測定が可能となり、第１の視点におけるオクルージョンを解消することができる。

新たな視点を算出する別の方法として以下の方法もある。図４（Ｂ）に示されるように、ある視点（以下、第１の視点）から得られた点群データに基づく三次元モデルを回転させると、当該点群データにおけるオクルージョン部分が現れる。そこで、視点を段階的に変化させ、現れるオクルージョン部分の面積が最大となる視点を求めることで、オクルージョンが解消される新たな視点を得ることができる。

（動作例１）
以下、図２の場合を例に挙げ、動作の一例を説明する。まず、図２の第１の設置位置１３２（第１の視点）に三次元レーザースキャナ１３１を配置し、図示する測定対象物の点群位置データを取得する。この図２の第１の設置位置１３２（第１の視点）から得られた点群位置データに基づく三次元モデル（線図）が図４（Ａ）に示されている。

次に、図２の第２の設置位置１３３（第２の視点）に三次元レーザースキャナ１３１を移動させ、内蔵した画像取得装置（ＣＣＤカメラ）によって、測定対象物の撮影を行う。ここで、対応関係特定部１１３において、前述した少なくとも一つの方法により、第１の設置位置１３２から得られた測定対象物の画像データを取り扱う際に利用される座標系（Ｘ、Ｙ、Ｚ）と、第２の設置位置１３３から得られた測定対象物の画像データを取り扱う際に利用される座標系（ｘ、ｙ、ｚ）との対応関係が算出される。これにより、第１の設置位置１３２において得られた点群位置データに基づく三次元モデル（図４（Ａ）参照）を、第２の設置位置１３３から見た場合の表示状態に変換することができる。

この第１の設置位置１３２において得られた点群位置データに基づく三次元モデルを回転させ、第２の設置位置１３３から見たものに変換した三次元モデルが図４（Ｂ）に示されている。この図４（Ｂ）の三次元モデル画像は、パーソナルコンピュータ１３０のディスプレイに表示される。

図４（Ｂ）には、オクルージョン部分１３４ａが示されている。ここで、オクルージョン部分１３４ａは、視認し易いように黒く画面上で表示されている。オクルージョン部分１３４ａは、第１の設置位置１３２から見た場合に、測定対象物１３４の影となる部分である。図２の測定対象物１３６は、第１の設置位置１３２からは測定対象物１３４の影となり、見えないので、その点群位置データは、第１の設置位置１３２から得た点群位置データには含まれない。よって、図４（Ｂ）に示す三次元モデルには、測定対象物１３６は表示されない。

作業者は、図４（Ｂ）の画像表示をパーソナルコンピュータ１３０上で見ることで、第１の設置位置１３２（第１の視点）において点群位置データを取得した場合におけるオクルージョン部分１３４ａを認識することができる。

（動作例１の優位性）
図４（Ｂ）の表示画像を得るための処理では、第２の設置位置１３３における点群位置データの取得を行う前の段階で、第２の設置位置１３３からのカメラによる撮影が行われ、それに基づいて、図４（Ｂ）に例示するような三次元モデル表示を行うための処理が行われる。

第１の設置位置１３２に加えて、第２の設置位置１３３からの点群位置データの取得を行う目的は、符号１３４ａによって示されるようなオクルージョン部分を極力少なくすることにある（あるいは、図面として必要な部分がオクルージョン部分として抜け落ちないようにすることにある）。したがって、視点を変えることで、どのようにオクルージョン部分が存在しているかを迅速に把握し、オクルージョンが生じないような適切な第２の視点を探す作業が重要となる。

上述した方法によれば、新たな点群位置データの取得を行う前に、新しい視点での測定対象物の撮影を行うことで、図４（Ｂ）に示されるような既に取得済みの点群位置データにおけるオクルージョン部分を視覚的に把握することが可能となる。この際の撮影に要する時間は、点群位置データの取得に要する時間に比較すれば一瞬といってよい時間である。このため、必要とする部分のオクルージョンが発生しない新たな視点を迅速に探すことができる。

仮に、図４（Ｂ）に示すような画面表示を行う機能が存在しない場合、目測や勘で新たな視点を設定し、そこで再度の点群位置データの取得が行われる。この場合、再度の点群位置データを時間をかけて取得し、さらにその後の後処理の後で、実はオクルージョンが解消しておらず、視点の設定が不適切であったことが判明し、再度の点群データの再取得が必要になる危険性がある。これは、点群位置データの取得に係る作業の増大を招く。これに対して、本実施形態によれば、図４（Ｂ）に示すような新視点におけるオクルージョンの解消の程度を、作業者が視覚的に把握できるので、上述した危険性が減少する。

（動作例２）
以下、オクルージョンを解消する新たな視点を画面表示し、作業者のガイドを行う場合の動作の一例を説明する。図７には、第１の視点における点群位置データの取得において発生したオクルージョンを解消する新たな第２の視点の位置をガイドするガイド表示画面の一例が示されている。図７では、図４の場合の例示がされている。このガイド表示は、例えば図２のパーソナルコンピュータ１３０のディスプレイ上に表示される。

図７の表示例では、立体感を把握し易いように、フレーム１６０が画面上に表示される。そして、前回点群位置データの取得を行った第１の視点と、この第１の視点からの測定においてオクルージョンとなる部分が解消される第２の視点が画面上に表示される。この第２の視点の位置は、図１の新視点位置算出部１１８において算出される。この画面表示を見ることで、作業者は、オクルージョンが解消される（あるいはより効果的に低減される）第２の視点に関する知見を視覚的に得ることができる。

（動作例３）
以下、第１の視点から得た点群位置データと第２の視点から得た点群位置データとに基づき、三次元モデルを形成する場合の例を図２の場合に基づいて説明する。まず、第１の設置位置１３２おいて、測定対象物１３４〜１３６の点群位置データ（正確にいうと、オクルージョンが発生するので、測定対象物１３６の点群位置データは取得できない）を取得し、測定対象物の三次元モデルを形成する（図４（Ａ）参照）。

次に、レーザースキャナ１３１を第２の設置位置１３３に移動させ、測定対象物１３４〜１３６の画像を撮影する。そして、第１の設置位置１３２において取得した点群位置データと第２の設置位置１３３において取得した画像データとの対応関係を「単写真標定」を利用して算出する。

この後、第１の設置位置１３２において取得した点群位置データ（第１の点群位置データ）と上記「単写真標定」を用いて算出した対応関係とに基づき、第２の設置位置１３３の視点から見た三次元モデルの表示を得る（図４（Ｂ）参照）。次いで、第２の設置位置１３３において測定対象物１３４〜１３６の点群位置データ（第２の点群位置データ）を取得する。

この後、座標統合部１１６において、上記の「単写真標定」を用いて算出した対応関係に基づき、第１の点群位置データを扱う第１の座標系と第２の点群位置データを扱う第２の座標系とを統合した統合座標系を算出する。そして、統合座標系を用いて第１の点群位置データと第２の点群位置データとを統合的に取り扱うことで、第１の点群位置データと第２の点群位置データとに基づく三次元モデルを形成する。

この第１の点群位置データと第２の点群位置データとに基づく三次元モデルを画面上に表示した場合の一例が図４（Ｃ）に示されている。この場合、図２の測定対象物１３６が見える第２の設置位置１３３において得た点群位置データも利用されて三次元モデルが形成されるので、測定対象物１３６はオクルージョン部分とならない。また、図４（Ａ）の視点に当該三次元モデルを回転させた場合に、第１の設置位置１３２おいて得られた点群位置データに基づく三次元モデル部分が見えるので、第２の設置位置１３３から死角となる部分がオクルージョンとならず、表示される。

（動作例４）
図１の点群位置データ処理装置１００の内部で扱われる座標のデータをＧＰＳ装置１０３によって得られる経度緯度に関する座標データと関連付けることで、三次元モデルの座標や点群位置データを得るための視点に係る位置データを地図データと関連付けることができる。これにより、例えばパーソナルコンピュータ上に表示された地図データ上に、オクルージョンを解消するための新たな視点の位置を表示するといった機能が可能となる。

２．第２の実施形態
以下、三次元レーザースキャナを備えた点群位置データ処理装置について説明する。この例において、点群位置データ処理装置は、測定対象物に対して測距光（レーザー光）を走査しつつ照射し、レーザー光の飛行時間に基づいて自身の位置から測定対象物上の多数の測定点までの距離を測距する。また、点群位置データ処理装置は、レーザー光の照射方向（水平角および高低角）を検出し、距離および照射方向に基づいて測定点の三次元座標を演算する。また、点群位置データ処理装置は、測定対象物を撮影した二次元画像（各測定点におけるＲＧＢ強度）を取得し、二次元画像と三次元座標とを結び付けた点群位置データを形成する。さらに、点群位置データ処理装置は、形成した点群位置データから輪郭線により構成された対象物の三次元輪郭線を示す線図を形成する。さらに、点群位置データ処理装置は、第１の実施形態で説明した新たな視点から見た場合のオクルージョン部分の様子を画像表示するための処理を行う機能を有する。

（構成）
図１０および図１１は、三次元レーザースキャナ機能を備えた点群位置データ処理装置１の構成を示す断面図である。点群位置データ処理装置１は、整準部２２、回転機構部２３、本体部２７、および回転照射部２８を備えている。本体部２７は、測距部２４、撮影部２５、制御部２６等から構成されている。なお、図１１は、説明の便宜のため、図１０に示す断面方向に対して、回転照射部２８のみ側方から見た状態を示している。

整準部２２は、台盤２９を有し、回転機構部２３は下部ケーシング３０を有する。下部ケーシング３０は、ピン３１と２個の調整ネジ３２とにより３点で台盤２９に支持されている。下部ケーシング３０は、ピン３１の先端を支点にして傾動する。なお、台盤２９と下部ケーシング３０との間には、台盤２９と下部ケーシング３０とが互いに離反しないようにするため、引っ張りスプリング３３が設けられている。

下部ケーシング３０の内部には、２個の整準モータ３４が設けられている。２個の整準モータ３４は、制御部２６によって互いに独立して駆動される。整準モータ３４の駆動により整準駆動ギア３５、整準従動ギア３６を介して調整ネジ３２が回転し、調整ネジ３２の下方への突出量が調整される。また、下部ケーシング３０の内部には傾斜センサ３７（図１２参照）が設けられている。２個の整準モータ３４は、傾斜センサ３７の検出信号により駆動され、これにより整準が実行される。

回転機構部２３は、下部ケーシング３０の内部に水平角用駆動モータ３８を有する。水平角用駆動モータ３８の出力軸には水平回動駆動ギア３９が嵌着されている。水平回動駆動ギア３９は、水平回動ギア４０に噛合されている。水平回動ギア４０は、回転軸部４１に設けられている。回転軸部４１は、回転基盤４２の中央部に設けられている。回転基盤４２は、下部ケーシング３０の上部に、軸受け部材４３を介して設けられている。

また、回転軸部４１には水平角検出器４４として、例えばエンコーダが設けられている。水平角検出器４４は、下部ケーシング３０に対する回転軸部４１の相対的回転角（水平角）を検出する。水平角は制御部２６に入力され、制御部２６は、その検出結果に基づき水平角用駆動モータ３８を制御する。

本体部２７は、本体部ケーシング４５を有する。本体部ケーシング４５は、回転基盤４２に固着されている。本体部ケーシング４５の内部には鏡筒４６が設けられている。鏡筒４６は、本体部ケーシング４５の回転中心と同心の回転中心を有する。鏡筒４６の回転中心は、光軸４７に合致されている。鏡筒４６の内部には、光束分離手段としてのビームスプリッタ４８が設けられている。ビームスプリッタ４８は、可視光を透過し、かつ、赤外光を反射する機能を有する。光軸４７は、ビームスプリッタ４８によって光軸４９と光軸５０とに分離される。

測距部２４は、鏡筒４６の外周部に設けられている。測距部２４は、発光部としてのパルスレーザ光源５１を有する。パルスレーザ光源５１とビームスプリッタ４８との間には、穴あきミラー５２、レーザー光のビームウエスト径を変更するビームウエスト変更光学系５３が配設されている。測距光源部は、パルスレーザ光源５１、ビームウエスト変更光学系５３、穴あきミラー５２で構成されている。穴あきミラー５２は、パルスレーザ光を穴部５２ａからビームスプリッタ４８に導き、測定対象物から反射して戻って来た反射レーザー光を測距受光部５４に向けて反射する役割を有する。

パルスレーザ光源５１は、制御部２６の制御により所定のタイミングで赤外パルスレーザ光を発する。赤外パルスレーザ光は、ビームスプリッタ４８によって高低角用回動ミラー５５に向けて反射される。高低角用回動ミラー５５は、赤外パルスレーザ光を測定対象物に向けて反射する。高低角用回動ミラー５５は、高低角方向に回転することで、鉛直方向に延びる光軸４７を高低角方向の投光光軸５６に変換する。ビームスプリッタ４８と高低角用回動ミラー５５との間でかつ鏡筒４６の内部には集光レンズ５７が配設されている。

測定対象物からの反射レーザー光は、高低角回動用ミラー５５、集光レンズ５７、ビームスプリッタ４８、穴あきミラー５２を経て測距受光部５４に導かれる。また、測距受光部５４には、内部参照光路を通って参照光も導かれる。反射レーザー光が測距受光部５４で受光されるまでの時間と、レーザー光が内部参照光路を通って測距受光部５４で受光されるまでの時間との差に基づき、点群位置データ処理装置１から測定対象物（測定対象点）までの距離が測定される。測距受光部５４は、ＣＭＯＳ光センサ等の光電変化素子により構成され、検出した光のＲＧＢ強度を検出する機能も有している。

撮影部２５は、図１の画像取得装置１０２に対応するカメラとして機能する画像受光部５８を有する。画像受光部５８は、鏡筒４６の底部に設けられている。画像受光部５８は、多数の画素が平面状に集合して配列されたもの、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。画像受光部５８の各画素の位置は光軸５０によって特定される。例えば、光軸５０を原点として、Ｘ−Ｙ座標を想定し、このＸ−Ｙ座標の点として画素が定義される。

回転照射部２８は、投光ケーシング５９の内部に収納されている。投光ケーシング５９の周壁の一部は、投光窓となっている。図１１に示すように、鏡筒４６のフランジ部６０には、一対のミラーホルダー板６１が対向して設けられている。ミラーホルダー板６１には、回動軸６２が掛け渡されている。高低角用回動ミラー５５は、回動軸６２に固定されている。回動軸６２の一端部には高低角ギア６３が嵌着されている。回動軸６２の他端側には高低角検出器６４が設けられている。高低角検出器６４は、高低角用回動ミラー５５の回動角を検出し、その検出結果を制御部２６に出力する。

ミラーホルダー板６１の一方には、高低角用駆動モータ６５が取り付けられている。高低角用駆動モータ６５の出力軸には駆動ギア６６が嵌着されている。駆動ギア６６は、回転軸６２に取り付けられた高低角ギア６３に噛合されている。高低角用駆動モータ６５は、高低角検出器６４の検出結果に基づき、制御部２６の制御により適宜駆動される。

投光ケーシング５９の上部には、照星照門６７が設けられている。照星照門６７は、測定対象物を概略視準するのに用いられる。照星照門６７を用いた視準方向は、投光光軸５６の延びる方向、および回動軸６２の延びる方向に対して直交する方向とされている。また、図１１に示すように、投光ケーシング５９の上部には、ＧＰＳアンテナ８１が配置されている。ＧＰＳアンテナにより、ＧＰＳ情報が取得され、内部で行われる演算にＧＰＳ情報を利用することができる構成とされている。

図１２は、制御部のブロック図である。制御部２６には、水平角検出器４４、高低角検出器６４、傾斜センサ３７、ＧＰＳアンテナ８１からの検出信号が入力される。また、制御部２６は、操作部６から操作指示信号が入力される。制御部２６は、水平角用駆動モータ３８、高低角用駆動モータ６５、整準モータ３４を駆動制御する共に、作業状況、測定結果等を表示する表示部７を制御する。制御部２６には、メモリカード、ＨＤＤ等の外部記憶装置６８が着脱可能とされている。

制御部２６は、演算部４、記憶部５、水平駆動部６９、高低駆動部７０、整準駆動部７１、距離データ処理部７２、画像データ処理部７３等から構成されている。記憶部５は、測距や高低角と水平角の検出を行うために必要なシーケンスプログラム、演算プログラム、測定データの処理を実行する測定データ処理プログラム、画像処理を行う画像処理プログラム、点群位置データから面を抽出し、更に輪郭線を算出するプログラム、この算出した輪郭線を表示部７に表示させるための画像表示プログラム、点群位置データの再取得に係る処理を制御するプログラム等の各種のプログラムを格納すると共に、これらの各種のプログラムを統合管理するための統合管理プログラム等を格納する。また、記憶部５は、測定データ、画像データ等の各種のデータを格納する。水平駆動部６９は、水平角用駆動モータ３８を駆動制御し、高低駆動部７０は、高低角用駆動モータ６５を駆動制御し、整準駆動部７１は、整準モータ３４を駆動制御する。距離データ処理部７２は、測距部２４によって得られた距離データを処理し、画像データ処理部７３は、撮影部２５により得られた画像データを処理する。

また、制御部２６は、ＧＰＳ受信部８２を備えている。ＧＰＳ受信部８２は、ＧＰＳアンテナが受信したＧＰＳ衛星からの信号を処理し、地球上における座標データを算出する。これは、通常のＧＰＳ受信装置と同じである。ＧＰＳから得られた位置情報は、点群位置データ処理部１００’に入力される。

図１３は、演算部４のブロック図である。演算部４は、三次元座標演算部７４、リンク形成部７５、グリッド形成部９、点群位置データ処理部１００’を備えている。三次元座標演算部７４には、距離データ処理部７２から測定対象点の距離データが入力され、水平角検出器４４および高低角検出器６４から測定対象点の方向データ（水平角および高低角）が入力される。三次元座標演算部７４は、入力された距離データと方向データとに基づき、点群位置データ処理装置１の位置を原点（０，０，０）とした各測定点の三次元座標（直交座標）を算出する。

リンク形成部７５には、画像データ処理部７３から画像データおよび三次元座標演算部７４が算出した各測定点の三次元座標の座標データが入力される。リンク形成部７５は、画像データ（各測定点のＲＧＢ強度）と三次元座標を結び付けた点群位置データ２を形成する。つまり、リンク形成部７５は、測定対象物のある点に着目した場合、その着目点の二次元画像中における位置と、その着目点の三次元座標とを関連付けしたものを作成する。この関連付けされたデータは、全ての測定点について算出され、それらが点群位置データ２となる。

リンク形成部７５は、以上の点群位置データ２をグリッド形成部９に出力する。グリッド形成部９は、点群位置データ２の隣接点の点間距離が一定でない場合に、等間隔のグリッド（メッシュ）を形成し、グリッドの交点に最も近い点を登録する。または、グリッド形成部９は、線形補間法やバイキュービック法を用いて、グリッドの交点位置に全点を補正する。なお、点群位置データ２の点間距離が一定である場合には、グリッド形成部９の処理を省略することができる。

以下、グリッドの形成手順について説明する。図１４は、点間距離が一定でない点群位置データを示す図であり、図１５は、形成したグリッドを示す図である。図１４に示すように、各列の平均水平間隔Ｈ_１〜Ｎを求め、さらに列間の平均水平間隔の差分ΔＨ_ｉ，ｊを算出し、その平均をグリッドの水平間隔ΔＨとする（数１６）。垂直方向の間隔は、各列での垂直方向の隣接点との距離ΔＶ_Ｎ，Ｈを算出し、画像サイズＷ,Ｈの画像全体におけるΔＶ_Ｎ，Ｈの平均を垂直間隔ΔＶとする（数１７）。そして、図１５に示すように、算出した水平間隔ΔＨおよび垂直間隔ΔＶのグリッドを形成する。

次に、形成したグリッドの交点に最も近い点を登録する。この際、交点から各点までの距離には所定の閾値を設けて、登録を制限する。例えば、閾値は、水平間隔ΔＨおよび垂直間隔ΔＶの１／２とする。なお、線形補間法やバイキュービック法のように、交点との距離に応じた重みを付けて全点を補正してもよい。ただし、補間を行った場合には、本来計測していない点となる。

以上のようにして得られた点群位置データは、点群位置データ処理部１００’に出力される。点群位置データ処理部１００’は、第１の実施形態で説明した動作を行い、その結果得られた画像が液晶ディスプレイである表示部７に表示される。この点は、第１の実施形態に関係して説明した場合と同じである。点群位置データ処理部１００’は、図１の点群位置データ処理装置１００と同様の機能を有するハードウェアであり、ＦＰＧＡを利用した専用の集積回路により構成されている。

点群位置データ処理部１００’には、ＧＰＳ受信部８２から得られた地球上における座標データが入力される。この構成によれば、点群位置データ処理部１００’で取り扱われる座標がＧＰＳから得られた位置データ（例えば、電子地図情報）とリンクされる。これにより、例えば、レーザースキャンナを備えた点群位置データ処理装置１の設置位置を電子地図上に画面表示することができる。

（その他）
制御部２６の構成において、グリッド形成部９から点群位置データが出力される形態とすると、図１１、図１２に示す装置は、第１の実施形態で示したパーソナルコンピュータを利用した点群位置データ処理装置と組み合わせて使用可能な三次元レーザースキャナとなる。点群位置データ処理装置１００や点群位置データ処理部１００’が行う処理を分散して行う構成も可能である。例えば、点群位置データ処理装置１００の機能の一部を通信回線で結ばれたサーバで行うような構成も可能である。この場合、本発明の点群位置データ処理システムの一例として把握される。

画像を取得する方法として、ＣＣＤカメラ等を用いた撮影による方法が一般的であるが、点群データに基づいて測定対象物の画像を再現することもできる。レーザースキャン装置により点群位置データを得た場合、各点からの反射光の光強度に係るデータが得られる。したがって、点群位置データを対象物の画像を構成する画素データとして取り扱うことで、点群位置データに基づいて測定対象物の画像を再現することができる。つまり、ＣＣＤやＣＭＯＳイメージセンサ等の撮影手段の代わりに、レーザースキャン装置を用いて測定対象物の画像を得ることができる。この場合、画像データ取得部１１２は、点群位置データ取得装置１０１から出力される点群位置データに基づき、上述した原理により画像データを取得する。

本発明は、三次元情報の測定を行う技術に利用することができる。

１…三次元レーザースキャナを備えた点群位置データ処理装置、２…点群位置データ、２２…整準部、２３…回転機構部、２４…測距部、２５…撮影部、２６…制御部、２７…本体部、２８…回転照射部、２９…台盤、３０…下部ケーシング、３１…ピン、３２…調整ネジ、３３…引っ張りスプリング、３４…整準モータ、３５…整準駆動ギア、３６…整準従動ギア、３７…傾斜センサ、３８…水平回動モータ、３９…水平回動駆動ギア、４０…水平回動ギア、４１…回転軸部、４２…回転基盤、４３…軸受部材、４４…水平角検出器、４５…本体部ケーシング、４６…鏡筒、４７…光軸、４８…ビームスプリッタ、４９、５０…光軸、５１…パルスレーザ光源、５２…穴あきミラー、５３…ビームウエスト変更光学系、５４…測距受光部、５５…高低角用回動ミラー、５６…投光光軸、５７…集光レンズ、５８…画像受光部、５９…投光ケーシング、６０…フランジ部、６１…ミラーホルダー板、６２…回動軸、６３…高低角ギア、６４…高低角検出器、６５…高低角用駆動モータ、６６…駆動ギア、６７…照星照門、６８…外部記憶装置、６９…水平駆動部、７０…高低駆動部、７１…整準駆動部、７２…距離データ処理部、７３…画像データ処理部、８１…ＧＰＳアンテナ、８２…ＧＰＳ受信部、１００’…点群位置データ処理部、１３０…点群位置データ処理装置として機能するパーソナルコンピュータ、１３１…三次元レーザースキャナ、１３２…三次元レーザースキャナを設置する第１の設置位置、１３３…三次元レーザースキャナを設置する第２の設置位置、１３４、１３５、１３６…測定対象物、１３４ａ…オクルージョン部分、１５０…三次元レーザースキャナ、１５１…オクルージョン部分、１５２…オクルージョンの原因となる測定対象物の出っ張り部分、１５３…エッジ部分、１６０…三次元画像の把握を助ける枠表示。

Claims

測定対象物の点群位置データを取得する点群位置データ取得部と、
測定対象物の画像データを取得する画像データ取得部と、
第１の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第１の視点において前記画像データ取得部で取得された画像データと、前記第１の視点とは異なる第２の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、
前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、
前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と、
少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部と、
前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部と
を備え、
前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理装置。
前記画像データ取得部は、反射光の強度のデータを含む点群位置データに基づいて画像データを取得する機能、または撮影装置から出力される画像データを受け付ける機能を有することを特徴とする請求項１に記載の点群位置データ処理装置。
前記対応関係特定部で特定された前記対応関係に基づき、前記第１の視点から得た点群位置データと前記第２の視点から得られた点群位置データとの座標の統合を行う座標統合部を備えることを特徴とする請求項１または２に記載の点群位置データ処理装置。
前記三次元モデル表示制御部は、前記座標統合部で統合された共通の座標系において、前記第１の視点から得た点群位置データと前記第２の視点から得た点群位置データとに基づく三次元モデルの表示の制御を行うことを特徴とする請求項３に記載の点群位置データ処理装置。
追加で取得が必要な測定対象エリアを前記三次元モデルの表示画面上にガイド表示する制御を行うガイド表示制御部を備えることを特徴とする請求項１〜４のいずれか一項に記載の点群位置データ処理装置。
前記第１の視点の位置および前記第２の視点の位置の測定を行うＧＰＳ装置を備え、
前記対応関係特定部は、前記第１の視点の位置および前記第２の視点の位置の特定に前記ＧＰＳ装置で測定された位置データを利用することを特徴とする請求項１〜５のいずれか一項に記載の点群位置データ処理装置。
測定対象物の点群位置データを取得する点群位置データ取得手段と、
測定対象物の画像データを取得する画像データ取得手段と、
第１の視点において前記点群位置データ取得手段で取得された点群位置データあるいは前記第１の視点において前記画像データ取得手段で取得された画像データと、前記第１の視点とは異なる第２の視点において前記画像データ取得手段で取得された画像データとの対応関係を求める対応関係特定手段と、
前記点群位置データ取得手段が取得した点群位置データから三次元モデルを形成する三次元モデル形成手段と、
前記三次元モデル形成手段で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御手段と、
少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出手段と、
前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出手段と
を備え、
前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理システム。
第１の視点において取得された測定対象物の点群位置データあるいは前記第１の視点において取得された前記測定対象物の画像データと、前記第１の視点とは異なる第２の視点において取得された前記測定対象物の画像データとの対応関係を求める対応関係特定ステップと、
前記第１の視点において取得された測定対象物の点群位置データに基づいて三次元モデルを形成する三次元モデル形成ステップと、
前記三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御ステップと、
少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出ステップと、
前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出ステップと
を備え、
前記三次元モデル形成ステップは、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成することを特徴とする点群位置データ処理方法。
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
測定対象物の点群位置データを取得する点群位置データ取得部と、
測定対象物の画像データを取得する画像データ取得部と、
第１の視点において前記点群位置データ取得部で取得された点群位置データあるいは前記第１の視点において前記画像データ取得部で取得された画像データと、前記第１の視点とは異なる第２の視点において前記画像データ取得部で取得された画像データとの対応関係を求める対応関係特定部と、
前記点群位置データ取得部が取得した点群位置データから三次元モデルを形成する三次元モデル形成部と、
前記三次元モデル形成部で形成された三次元モデルを画像表示装置に表示するための制御を行う三次元モデル表示制御部と、
少なくとも、前記第１の視点から得られた点群位置データに基づき、オクルージョン部分を検出するオクルージョン検出部と、
前記オクルージョン部分の点群位置データを取得可能な新たな視点の位置を算出する新視点位置算出部と
を備え、
前記三次元モデル形成部は、前記対応関係特定部で特定された前記対応関係に基づき、前記第２の視点から見た向きの三次元モデルを形成する手段として動作させることを特徴とする点群位置データ処理プログラム。