JP7738521B2 - 地上基準点生成装置、画像処理システム、地上基準点生成方法、画像処理方法、地上基準点生成プログラム、および画像処理プログラム - Google Patents

Description

本開示は、地上基準点生成装置、画像処理装置、地上基準点生成方法、画像処理方法、地上基準点生成プログラム、および画像処理プログラムに関する。特に、飛行体により上空から撮影された画像の位置姿勢情報を補正するために用いられる地上基準点を生成する地上基準点生成装置、および、地上基準点を用いて画像の位置姿勢情報を補正する画像処理装置に関する。

人工衛星、航空機、あるいはドローンといった飛行体により上空から地上を撮影した画像は、地図上の位置と正確に対応付けることによって、各種の処理に活用することが可能である。このような上空から撮影された画像は、具体的には、位置情報に紐付いた地上の事象のモニタリング、異なるプラットフォームで撮影された画像の重ね合わせ、あるいは、画像以外の地理空間データとの統合といった処理に活用される。

このような上空から撮影された画像と地図上の位置の対応付けは、プラットフォームの位置・姿勢データ、地球の幾何学的なモデル、および、センサの幾何学的特性データを用いた系統的な補正により、システム側で付与されることが一般的である。

システム側で付与される位置姿勢情報の汎用的な形式として、ＲＰＣがある。ＲＰＣは、Ｒａｔｉｏｎａｌ Ｐｏｌｙｎｏｍｉａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓの略語である。ＲＰＣとは、地球上の位置である緯度、経度、および高さと、画像中の位置である画素位置とを対応付ける数式の係数セットのことである。このような数式は有理多項式である。ＲＰＣでは、センサの幾何学的特性データあるいは観測時の位置・姿勢といったプラットフォーム固有のパラメータを直接的に用いることはない。ＲＰＣでは、センサの幾何学的特性データあるいは観測時の位置・姿勢といったプラットフォーム固有のパラメータといった情報を所定の数式に当てはめた結果の係数を用いることで、画像と地図上の位置の対応付けを可能にする。

しかしながら、プラットフォームの位置・姿勢データの精度が十分でないといった様々な誤差要因により、システム側で付与された位置姿勢情報には誤差が含まれる。このような誤差により、画像上に示される位置と実際の地図上に示される位置との間にずれが生じる。衛星画像の場合を例にとると、このようなずれは数メートル以上のオーダになるものもある。

そこで、実空間上における地上基準点を用いて、航空写真あるいは衛星画像といった補正対象画像を補正または位置姿勢情報を修正することが行われる。

特許文献１の技術では、道路の交差点中央あるいは建築物の隅部といった、実空間上と補正対象画像上の両方で位置および形状を正確に把握できる対象物を地上基準点として用いる。これにより補正対象画像を高精度に補正する技術が開示されている。

従来の地上基準点生成方法は、ＧＮＳＳ測量といった手法により測量データを取得し、現地写真といったデータ取得箇所が分かる情報とともに地図上での座標を格納した地上基準点データを生成する。ＧＮＳＳは、Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍの略語である。
また、従来の画像処理方法は、地上基準点の画像上位置を特定し、地上基準点の地図上での座標と画像上位置の対応付けから位置姿勢情報を修正する。そして、その結果を用いて地図投影またはオルソ補正を実施することで補正対象画像の補正を行う。

特許第４２３１２７９号公報

しかしながら、ＧＮＳＳ測量によれば地上基準点の正確な高さ情報を得ることができるが、広範囲での整備はなされておらず、地表の任意の地点における正確な高さ情報を得ることは不可能である。一方、広範囲で整備された高さ情報として数値標高モデルＤＥＭ、および数値表層モデルＤＳＭといった地形データがある。ＤＥＭは、Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌの略語である。ＤＳＭは、Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌの略語である。これらの地形データを、以下においてＤＥＭおよびＤＳＭといった地形データと呼ぶ。
ＤＥＭおよびＤＳＭといった地形データでは、高さの測定間隔のメッシュが粗いため、地上基準点として選んだ点の高さと、ＤＥＭおよびＤＳＭといった地形データが表す高さに乖離が発生する。よって、精度の高い地上基準点が得られない。結果として、高さ情報をＤＥＭおよびＤＳＭといった地形データから抽出した地上基準点では、補正対象画像の位置情報を高精度に補正することができないという課題があった。

本開示では、リファレンス画像と地形データが存在する広範囲にわたって、高さ方向の精度が良い地上基準点を得ることを目的とする。

本開示に係る地上基準点生成装置は、補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成する地上基準点生成装置において、
周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記対象物の種類を表す対象物クラスと前記対象物の画素座標とを出力する対象物検出部と、
前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出する小領域画像抽出部と、
前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得する地図上座標取得部と、
前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得する高さ取得部と、
前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録するデータ登録部と
を備える。

本開示の地上基準点生成装置によれば、リファレンス画像と地形データが存在する広範囲にわたって、高さ方向の精度が良い地上基準点を得ることができる。

実施の形態１に係る地上基準点生成装置の構成例を示す図。 実施の形態１に係る地上基準点データベースの構成例を示す図。 実施の形態１に係る対象物検出部の具体的な構成例を示す図。 実施の形態１に係る学習機能を有する対象物検出部の具体的な構成例を示す図。 実施の形態１に係る地上基準点生成装置の動作を示すフロー図。 実施の形態１に係る対象物検出部の動作の詳細を示すフロー図。 実施の形態１に係る学習機能を有する対象物検出部に用いられる学習装置の動作を示すフロー図。 実施の形態１に係る学習機能を有する対象物検出部の動作の詳細を示すフロー図。 実施の形態１に係る地上基準点生成装置のハードウェア構成例を示す図。 実施の形態１の変形例に係る地上基準点生成装置のハードウェア構成例を示す図。 実施の形態２に係る画像処理装置の構成例を示す図。 実施の形態２に係る画像処理装置の動作を示すフロー図。

以下、本実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。図中の矢印はデータの流れまたは処理の流れを主に示している。また、以下の図では各構成部材の大きさの関係が実際のものとは異なる場合がある。また、実施の形態の説明において、上、下、左、右、前、後、表、裏といった向きあるいは位置が示されている場合がある。これらの表記は、説明の便宜上の記載であり、装置、器具、あるいは部品等の配置、方向および向きを限定するものではない。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る地上基準点生成装置１００の構成例を示す図である。
地上基準点生成装置１００は、人工衛星、航空機、あるいはドローンといった飛行体により上空から撮影された画像の位置姿勢情報を補正するために用いられる地上基準点を生成する。地上基準点を用いて補正したい画像を補正対象画像とする。

地上基準点生成装置１００への入力データは、リファレンス画像ＲＥＦ、地形データＤＥＭ、属性情報ＭＡＰである。地上基準点生成装置１００の出力データは、地上基準点データＧＣＰである。
地上基準点生成装置１００は、対象物検出部１０、小領域画像抽出部２０、地図上座標取得部３０、高さ取得部４０、およびデータ登録部５０を備える。
また、地上基準点生成装置１００は、地上基準点データベース２００と接続され、出力データである地上基準点データＧＣＰを地上基準点データベース２００に登録する。

まず、地上基準点生成装置１００への入力データについて説明する。
リファレンス画像ＲＥＦは、補正対象画像に対して、補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けされた画像である。リファレンス画像ＲＥＦの例として、過去に取得された航空写真あるいは衛星画像を、ＧＳＮＮ測量による地上基準点を用いて高精度に幾何補正した画像がある。あるいは、国土地理院あるいはその他の機関により公開されているオルソ補正済の航空写真あるいは衛星画像を用いてもよい。
これらのリファレンス画像ＲＥＦは、画像内のピクセルあるいはライン座標といった画素座標と地図上座標とを対応付けるためのメタ情報が付与されている。リファレンス画像ＲＥＦは、メタ情報を用いて画内の対象物の位置から地表面上の対象物の水平位置を取得することが可能となっている。

地形データＤＥＭは、ＤＥＭあるいはＤＳＭといったデータである。ＤＥＭは建物および樹木を取り除いた地盤の高さを表すデータである。ＤＳＭは建物および樹木を含んだ地球表面の高さを表すデータである。これらの地形データは、航空レーザ測量およびドローンといった飛行体により取得された高精細なデータが入手可能である。しかし、これらの地形データが整備されている地域が限定的である。
一方、日本全国をカバーしている地形データには、国土地理院が公開している５ｍメッシュおよび１０ｍメッシュのＤＥＭがある。また、全球をカバーしている地形データでは、経済産業省およびＮＡＳＡが共同で公開している３０ｍメッシュのＡＳＴＥＲ ＧＤＥＭのＤＥＭがある。さらに、全球をカバーしている地形データには、ＪＡＸＡが公開している全球数値標高データ（ＡＷ３Ｄ３０）の３０ｍメッシュのＤＳＭといった地形データもある。

本実施の形態では、このような全国および全球レベルで整備されている、５ｍから３０ｍ程度のメッシュの粗い地形データを用いることを想定している。特に、国土地理院の５ｍメッシュのＤＥＭは、航空レーザ測量で取得されたデータをもとに作成されている。よって国土地理院の５ｍメッシュのＤＥＭでは、高さ方向の精度が高く、広範囲にわたって正確な高さ情報を得ることができる。

次に、地上基準点生成装置１００からの出力データについて説明する。
図２は、本実施の形態に係る地上基準点データベース２００の構成例を示す図である。

地上基準点データベース２００は、地上基準点となる地物と、その周辺の画像である小領域画像と、当該地上基準点の三次元座標とがペアになった地上基準点データＧＣＰの列である。小領域画像は、画像から抽出した特徴量であってもよい。
地上基準点生成装置１００は、地上基準点データベース２００を構成する一つ一つの地上基準点データＧＣＰを出力する。

次に、図１を用いて、地上基準点生成装置１００の各構成要素について説明する。
地上基準点生成装置１００は、機能要素として、対象物検出部１０、小領域画像抽出部２０、地図上座標取得部３０、高さ取得部４０、およびデータ登録部５０を備える。

対象物検出部１０は、リファレンス画像ＲＥＦの局所的な画像特徴をもとに対象物の識別と位置特定を行う。そして、対象物検出部１０は、所望の対象物が写っている箇所の対象物クラスＬおよび画素座標（ｉ，ｊ）を出力する。

ここで、所望の対象物とは、地上基準点として上空から撮影した画像からの位置決めがしやすく、かつ、周囲の土地の平均標高にほぼ等しい高さに設置されている対象物である。所望の対象物は、例えば、道路上に塗られた白線の交点、あるいは、ダイヤマークといった対象物である。対象物検出部１０は、リファレンス画像ＲＥＦから物体検出のアルゴリズムといった手法により、このような対象物を抽出する。そして、対象物検出部１０は、対象物の種類を表す対象物クラスＬと、当該対象物の代表点の画素座標（ｉ，ｊ）を出力する。対象物クラスＬは、例えば、白線交点、あるいは、ダイヤマークといった対象物の種類である。

図３は、本実施の形態に係る対象物検出部１０の具体的な構成例を示す図である。
対象物検出部１０は、特徴抽出部１０１、識別部１０２、位置特定部１０３、および選択部１０４からなる。

特徴抽出部１０１は、リファレンス画像ＲＥＦの局所的な画像特徴量を抽出する。画像特徴量は、例えば、画像認識あるいは物体検出といった処理に用いられるＨＯＧおよびＳＩＦＴといった手法を用いることができる。ＨＯＧは、Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓの略語である。ＳＩＦＴは、Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍの略語である。
特徴抽出部１０１は、画像特徴量として、画像内の局所的なウィンドウ毎に、輝度勾配の方向あるいは細かさといった画像特徴に関する値を所定数Ｎ個（Ｎは自然数）だけ抽出し、Ｎ次元のベクトルを構成する。Ｎは画像特徴量の次元数である。特徴抽出部１０１は、局所的なウィンドウを画像内でスライドさせることによってリファレンス画像ＲＥＦ内の位置毎に画像特徴量を算出する。特徴抽出部１０１は、画像特徴量とその位置が紐づけられたデータを識別部１０２および位置特定部１０３に供給する。なお、画像特徴量については上述のＨＯＧあるいはＳＩＦＴに限定されず、所望の対象物の検出に適するように個別に設計したフィルタを用いてもよい。また、後述するようにニューラルネットワークといった学習により獲得された特徴抽出器を用いてもよい。

識別部１０２は、画像特徴量をもとに所定の画像特徴を有する少なくとも１つ以上の対象物クラスを識別する。
具体的には、特徴抽出部１０１により抽出された画像特徴量を、検出したい対象物クラス毎に予め定めておいた特徴量と比較する。識別部１０２は、画像特徴量と対象物クラス毎に予め定めておいた特徴量との類似度といった指標をもとに、画像特徴量に対してクラス分類を行う。類似度は、例えば、特徴量ベクトル間の距離である。
そして、識別部１０２は、分類結果のラベルＬを対象物クラスＬとして選択部１０４に供給する。ラベルＬには、検出したい対象物のどのクラスにも分類されないという情報も含んでもよい。クラス分類は、所望の対象物を識別するように個別に設計した閾値を用いてもよい。あるいは、後述するようにサポートベクターマシンあるいはニューラルネットワークといった学習により獲得された分類器を用いてもよい。

位置特定部１０３は、識別された所定の画像特徴を有する画像領域の代表点の位置を検出する。位置特定部１０３には、識別部１０２から所定の対象物クラスに該当すると識別された画像特徴量が算出された局所的なウィンドウ位置に関する情報が供給される。この局所的なウィンドウ位置は、リファレンス画像ＲＥＦ内で識別したい対象物を含む矩形の位置を示すものである。位置特定部１０３は、識別したい対象物が含まれる矩形の位置から、代表点の位置を特定し、対象物の画素座標（ｉ，ｊ）として選択部１０４に供給する。代表点の位置は、例えば、道路上の白線の交点を対象物として検出する場合、矩形内の画像から白線の交点の座標をフィッティングといった手法により求め、これを代表点とする。また、代表点の座標の検出を伴わず、矩形の左上座標あるいは中心座標を代表点とするようにしてもよい。

選択部１０４は、識別部１０２により識別された対象物クラスＬと、位置特定部１０３により特定された対象物の画素座標（ｉ，ｊ）をもとに、検出したい対象物とその対象物の画素座標（ｉ，ｊ）を出力する。

対象物検出部１０は、さらにマスク画像作成部１０５を有してもよい。マスク画像作成部１０５は、地図上座標に対応する地物の属性を示す属性情報ＭＡＰおよび地形データＤＥＭをもとにマスク画像を生成する。
属性情報ＭＡＰは、例えば、土地被覆分類図を用いることができる。土地被覆分類図とは、地表面の土地被覆に関する建物、道路、植生、および水域といった情報がラベル付けされたラスターデータである。マスク画像作成部１０５は、土地被覆分類図から、検出したい対象物が含まれる属性の画素座標のみを有効としたマスク画像を作成する。例えば、検出したい対象物が道路上の白線の交点である場合、マスク画像作成部１０５は、土地被覆分類図の道路の画素座標のみを有効としたマスク画像を作成する。また、属性情報ＭＡＰの別の例として、建物、道路、および水域等のベクトルデータを用いてもよい。マスク画像作成部１０５は、これらのベクトルデータをバッファ処理により領域拡張した後ラスターデータ化し、上述と同様にマスク画像の作成に利用する。さらに、マスク画像作成部１０５は、地形データＤＥＭから、所定の標高以下の領域、あるいは標高の空間的な変化が小さい領域を抽出して、マスク画像を作成してもよい。

選択部１０４は、マスク画像作成部１０５により作成されたマスク画像をもとに、対象物の画素座標（ｉ，ｊ）に対応する対象物のクラスとマスク画像に示される属性を照合して地上基準点データに登録する対象物を選択する。

図４は、本実施の形態に係る学習機能を有する対象物検出部１１の具体的な構成例を示す図である。
対象物検出部は、全体をニューラルネットワークといった学習機能により構成してもよい。図４では、ニューラルネットワークといった学習機能を用いた構成とした対象物検出部１１を示している。

対象物検出部１１に関する学習装置３００は、データ取得部１２１、モデル生成部１２２、および学習済モデル記憶部１３を備える。

データ取得部１２１は、リファレンス画像ＲＥＦ’、対象物クラスおよび画素座標（正解）を学習用データとして取得する。

リファレンス画像ＲＥＦ’は、上空から撮影した画像であって、対象物検出部１１に入力されるリファレンス画像ＲＥＦとほぼ同等の画質の画像を用いる。同等の画質とは、例えば、分解能、鮮鋭度、ノイズレベル、および画像処理の条件が同等であることである。ただし、リファレンス画像ＲＥＦと必ずしも同一視野を含んでいる必要はなく、地図上座標と対応付けされている必要もない。

対象物クラスと画素座標（正解）は、リファレンス画像ＲＥＦ’内において、検出したい対象物のクラスのラベルとその対象物の画素座標がアノテーションされたデータである。画素座標は検出したい対象物を含む矩形の座標であってもよいし、検出したい対象物の代表点の座標であってもよい。検出したい対象物は、例えば、道路上に塗られた白線の交点、あるいはダイヤマーク等である。矩形はこれらの対象物を囲むようにアノテーションする。また、代表点は白線の交点、あるいはダイヤマークの中心または節点を指定するようにアノテーションする。

モデル生成部１２２は、データ取得部１２１から出力されるリファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）との組合せに基づいて作成される学習用データに基づいて、対象物クラスおよび画素座標を学習する。すなわち、モデル生成部１２２は、対象物検出部１０のリファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）から最適な対象物クラスと画素座標を推論する学習済モデルを生成する。ここで、学習用データは、リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）とを互いに関連付けたデータである。

モデル生成部１２２は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、対象物クラスと画素座標を学習する。ここで、教師あり学習とは、入力と結果のデータの組を学習装置３００に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。

ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、および複数のニューロンからなる出力層で構成される。中間層は、１層、または２層以上でもよい。

本実施の形態において、ニューラルネットワークは、リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）との組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、対象物クラスと画素座標を推論するモデルを学習する。リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）とは、データ取得部１２１から出力される。

すなわち、ニューラルネットワークは、入力層にリファレンス画像ＲＥＦ’を入力して出力層から出力された結果が、対象物クラスおよび画素座標（正解）に近づくように重みを調整することで学習する。

モデル生成部１２２は、以上のような学習を実行することで学習済モデルを生成し、出力する。

学習済モデル記憶部１３は、モデル生成部１２２から出力された学習済モデルを記憶する。

次に、推論装置にあたる対象物検出部１１の構成を説明する。
対象物検出部１１は、データ取得部１１１と推論部１１２とを備えたことが対象物検出部１０の構成と異なる。選択部１０４およびマスク画像作成部１０５は、対象物検出部１０の構成と同様であるので以下では説明を省略する。

データ取得部１１１はリファレンス画像ＲＥＦを取得する。

推論部１１２は、学習済モデルを利用して得られる対象物クラスおよび画素座標を推論する。すなわち、この学習済モデルにデータ取得部１１１で取得したリファレンス画像ＲＥＦを入力することで、リファレンス画像ＲＥＦから推論される対象物クラスおよび画素座標を出力することができる。

図４では、学習装置３００と対象物検出部１１の構成を並列に示したが、学習装置３００は地上基準点生成装置１００とは別個の装置であってもよい。

なお、対象物検出部１１に用いられるニューラルネットワークとしては、ＹＯＬＯあるいはＳＳＤといった物体検出を行うニューラルネットワークを用いることができる。ＹＯＬＯは、Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅの略語である。ＳＳＤは、Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒの略語である。しかし、本実施の形態においてはこれらの方式に限定されない。

図１の地上基準点生成装置１００の構成の説明に戻る。

小領域画像抽出部２０は、対象物検出部１０が出力する対象物の画素座標（ｉ，ｊ）から、当該対象物を含むリファレンス画像ＲＥＦの小領域の画像または当該小領域における画像特徴量を小領域画像ＩＭＧとして抽出する。小領域画像ＩＭＧが単なる画像データである場合は、小領域画像抽出部２０は、対象物の画素座標（ｉ，ｊ）の周囲のＰ×Ｐ画素の領域を抽出する。小領域画像ＩＭＧが当該小領域における画像特徴量である場合は、対象物の画素座標（ｉ，ｊ）の周囲のＱ×Ｑ画素のデータを用いて画像特徴量を計算する。画像特徴量として、例えば上述のＳＩＦＴを用いることができる。あるいは、ニューラルネットワークといった学習機能により獲得された特徴抽出を用いてもよい。

地図上座標取得部３０は、前記対象物の画素座標（ｉ，ｊ）から、リファレンス画像ＲＥＦと地図上座標の対応関係を用いて当該対象物の地図上座標（Ｘ，Ｙ）を取得する。
具体的には、地図上座標取得部３０は、リファレンス画像ＲＥＦに付与されている、画素座標（ピクセル、ライン座標）を地図上座標と対応付けるためのメタ情報を用いて、画素座標から地図上座標への座標変換を行う。地図上座標の座標系には、緯度経度座標系、ＵＴＭ座標系、あるいは疑似メルカトル座標系といった座標系が存在する。一方、リファレンス画像ＲＥＦのメタ情報に含まれる座標系は、入力として用いるリファレンス画像ＲＥＦの投影座標系に応じて決まる。
地図上座標取得部３０では、まず画素座標（ｉ，ｊ）から、リファレンス画像ＲＥＦの投影座標系での地図上座標に変換し、さらに出力となる地上基準点データＧＣＰの地図上座標の座標系に変換する。地上基準点データＧＣＰの地図上座標の座標系として、例えば、緯度経度座標系を用いる。

高さ取得部４０は、対象物の画素座標（ｉ，ｊ）に対応する地形データＤＥＭを参照することで当該対象物の高さＺを取得する。地形データＤＥＭには、リファレンス画像ＲＥＦと同様に、地形データＤＥＭ内の画素座標と地図上座標と対応付けるメタ情報が含まれている。高さ取得部４０は、リファレンス画像ＲＥＦのメタ情報を用いてリファレンス画像ＲＥＦ内での画素座標（ｉ，ｊ）から地図上座標を得た後、地図上座標から地形データＤＥＭ内の画素座標を算出する。そして、高さ取得部４０は、対応する地形データＤＥＭ内の画素座標の位置における地形データＤＥＭの画素値を取得することで、対象物の画素座標（ｉ，ｊ）に対応する高さＺを得る。

データ登録部５０は、小領域画像ＩＭＧを対象物の地図上座標Ｘ，Ｙおよび高さＺからなる三次元座標（Ｘ，Ｙ，Ｚ）と紐付けたデータを地上基準点データＧＣＰとして地上基準点データベース２００に登録する。

地上基準点生成装置１００は、以上で説明した構成により一つ以上の地上基準点データＧＣＰからなる地上基準点データベース２００を生成する。

次に、地上基準点生成装置１００の動作について説明する。図５は、実施例１の地上基準点生成装置１００の動作を示すフローチャートである。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る地上基準点生成装置１００の動作について説明する。地上基準点生成装置１００の動作手順は、地上基準点生成方法に相当する。また、地上基準点生成装置１００の動作を実現するプログラムは、地上基準点生成プログラムに相当する。

図５は、本実施の形態に係る地上基準点生成装置１００の動作を示すフロー図である。
ステップＳ１１０において、地上基準点生成装置１００は、リファレンス画像ＲＥＦ、地形データＤＥＭ、および属性情報ＭＡＰを取得する。
ステップＳ１２０において、対象物検出部１０は、リファレンス画像ＲＥＦから対象物検出を行う。対象物検出部１０は、検出された一つ以上の対象物の画素座標（ｉ，ｊ）を出力する。ステップＳ１２０の処理の詳細については後述する。
検出された全ての対象物の画素座標の各々について、以下のステップＳ１３０からステップＳ１６０の処理を繰り返す。

ステップＳ１３０において、小領域画像抽出部２０は、対象物の画素座標（ｉ，ｊ）について、小領域画像を抽出する。
ステップＳ１４０において、地図上座標取得部３０は、対象物の画素座標（ｉ，ｊ）から、リファレンス画像ＲＥＦと地図上座標の対応関係を用いて当該対象物の地図上座標（Ｘ，Ｙ）を取得する。
ステップＳ１５０において、高さ取得部４０は、対象物の画素座標（ｉ，ｊ）に対応する地形データＤＥＭを参照することで当該対象物の高さＺを取得する。
ステップＳ１６０において、データ登録部５０は、小領域画像ＩＭＧを対象物の地図上座標Ｘ，Ｙおよび高さＺからなる三次元座標（Ｘ，Ｙ，Ｚ）と紐付けたデータを地上基準点データＧＣＰとして地上基準点データベース２００に登録する。

このように、地上基準点生成装置１００は、検出された全ての対象物の画素座標についてステップＳ１３０からステップＳ１６０の処理を繰り返すことで、地上基準点データベース２００を生成する。

図６は、本実施の形態に係る対象物検出部１０の動作の詳細を示すフロー図である。
図６を用いて、対象物検出部１０の動作の詳細を説明する。

ステップＳ１０１において、対象物検出部１０の特徴抽出部１０１は、リファレンス画像ＲＥＦから特徴抽出を行い、リファレンス画像ＲＥＦの局所的な画像特徴量を抽出する。
ステップＳ１０２において、対象物検出部１０の識別部１０２は、抽出した画像特徴量に基づく識別を行い、対象物クラスを出力する。また、対象物検出部１０の位置特定部１０３は、画像特徴量の位置に基づく位置特定の処理を行い、対象物の画素座標（ｉ，ｊ）を出力する。このように対象物の対象物クラスＬおよび対象物の画素座標（ｉ，ｊ）が、出力される。

ステップＳ１０３において、対象物検出部１０のマスク画像作成部１０５は、属性情報ＭＡＰ、および地形データＤＥＭを用いてマスク画像を作成する。
ステップＳ１０４において、対象物検出部１０の選択部１０４は、対象物クラスおよび対象物の画素座標とマスク画像を照合して対象物を選択し、選択された対象物の画素座標（ｉ，ｊ）を出力する。

図７は、本実施の形態に係る学習機能を有する対象物検出部１１に用いられる学習装置３００の動作を示すフロー図である。
図８は、本実施の形態に係る学習機能を有する対象物検出部１１の動作の詳細を示すフロー図である。
図７および図８を用いて、図４で説明したニューラルネットワークといった学習機能を用いた構成の対象物検出部１１の動作について説明する。

まず、図７を用いて、学習装置３００の動作を説明する。
ステップＳ２０１において、学習装置３００のデータ取得部１２１は、リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）とを取得する。図４では、リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）とを同時に取得するものとした。しかし、リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）とを関連づけて入力できれば良い。リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）とのデータをそれぞれ別のタイミングで取得しても良い。

ステップＳ２０２において、学習装置３００のモデル生成部１２２は、リファレンス画像ＲＥＦ’と、対象物クラスおよび画素座標（正解）との組合せに基づいて作成される学習用データに従って、学習済モデルを生成する。学習装置３００のモデル生成部１２２は、学習用データに従って、いわゆる教師あり学習により、対象物クラスおよび画素座標を推論するモデルを学習し、学習済モデルを生成する。

ステップＳ２０３において、学習済モデル記憶部１３は、モデル生成部１２２が生成した学習済モデルを記憶する。なお、学習装置３００は、地上基準点生成装置１００の動作とは別のタイミングで学習済モデルを生成してもよい。

次に、図８を用いて、対象物検出部１１が対象物クラスおよび画素座標を出力するための処理を説明する。

ステップＳ３０１において、対象物検出部１１のデータ取得部１１１は、リファレンス画像ＲＥＦを取得する。
ステップＳ３０２において、対象物検出部１１の推論部１１２は、学習済モデル記憶部１３に記憶された学習済モデルにリファレンス画像ＲＥＦを入力し、対象物クラスおよび画素座標を得る。
ステップＳ３０３において、対象物検出部１１の推論部１１２は、学習済モデルにより得られた対象物クラスおよび画素座標を選択部１０４に出力する。
ステップＳ３０４において、対象物検出部１１のマスク画像作成部１０５は、属性情報ＭＡＰ、および地形データＤＥＭを用いてマスク画像を作成する。
ステップＳ３０５において、対象物検出部１１の選択部１０４は、出力された対象物クラスおよび画素座標とマスク画像を照合して対象物を選択し、選択された対象物の画素座標（ｉ，ｊ）を出力する。

＊＊＊本実施の形態の効果の説明＊＊＊
以上のように、本実施の形態に係る地上基準点生成装置１００では、補正対象画像の補正に使用する地上基準点を、リファレンス画像とＤＥＭといった地形データとから抽出する。本実施の形態に係る地上基準点生成装置１００では、地上基準点を抽出する際、道路上の白線のような、ＤＥＭおよびＤＳＭといった地形データが表す標高との乖離が小さい対象物を、対象物の画像特徴をもとに検出する。そして、地上基準点生成装置１００では、検出された対象物を地上基準点として登録する。これにより、本実施の形態に係る地上基準点生成装置１００によれば、高さのずれが少ない地上基準点を得ることができる。また、これにより、本実施の形態に係る地上基準点生成装置１００によれば、現地でのＧＮＳＳ測量を実施することなく、リファレンス画像と地形データが存在する広範囲にわたって高さ方向の精度が良い地上基準点を得ることができる。

また、本実施の形態に係る地上基準点生成装置１００では、リファレンス画像からＤＥＭといった地形データが表す標高との乖離が小さい対象物を検出する際に、画像特徴だけでなく属性情報ＭＡＰあるいはＤＥＭといった地形データも参照してマスク画像を作成する。そして、地上基準点生成装置１００では、検出した対象物の特徴と属性が整合しているものを地上基準点として抽出するようにした。これにより、本実施の形態に係る地上基準点生成装置１００によれば、画像特徴に基づく対象物検出で誤検出が発生する場合においても誤検出を適切に除去し、高さ方向の精度が良い地上基準点を得ることができる。

＊＊＊ハードウェア構成例の説明＊＊＊
図９は、本実施の形態に係る地上基準点生成装置１００のハードウェア構成例を示す図である。

地上基準点生成装置１００は、コンピュータである。地上基準点生成装置１００は、プロセッサ９１０を備えるとともに、メモリ９２１、補助記憶装置９２２、入出力インタフェース９３０、および通信インタフェース９５０といった他のハードウェアを備える。プロセッサ９１０は、信号線８０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

地上基準点生成装置１００は、上述したように、機能要素として、対象物検出部１０、小領域画像抽出部２０、地図上座標取得部３０、高さ取得部４０、およびデータ登録部５０を備える。対象物検出部１０、小領域画像抽出部２０、地図上座標取得部３０、高さ取得部４０、およびデータ登録部５０の機能は、ソフトウェアにより実現される。
対象物検出部１０、小領域画像抽出部２０、地図上座標取得部３０、高さ取得部４０、およびデータ登録部５０の機能を、地上基準点生成装置１００の機能と呼ぶ場合もある。また、対象物検出部１０、小領域画像抽出部２０、地図上座標取得部３０、高さ取得部４０、およびデータ登録部５０を、地上基準点生成装置１００の各部と呼ぶ場合もある。

プロセッサ９１０は、地上基準点生成プログラムを実行する装置である。地上基準点生成プログラムは、地上基準点生成装置１００の機能を実現するプログラムである。
プロセッサ９１０は、演算処理を行うＩＣである。プロセッサ９１０の具体例は、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略語である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。

メモリ９２１は、データを一時的に記憶する記憶装置である。メモリ９２１の具体例は、ＳＲＡＭ、あるいはＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語である。
補助記憶装置９２２は、データを保管する記憶装置である。補助記憶装置９２２の具体例は、ＨＤＤである。また、補助記憶装置９２２は、ＳＤ（登録商標）メモリカード、ＣＦ、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬の記憶媒体であってもよい。なお、ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略語である。ＳＤ（登録商標）は、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略語である。ＣＦは、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）の略語である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略語である。

入出力インタフェース９３０は、入出力装置を接続するためのインタフェースである。入出力インタフェース９３０は、具体例としては、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩ（登録商標）は、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。

通信インタフェース９５０は、外部の装置と通信するためのインタフェースである。通信インタフェース９５０は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）のポート、あるいは、無線通信を行う装置である。

地上基準点生成プログラムは、地上基準点生成装置１００において実行される。地上基準点生成プログラムは、プロセッサ９１０に読み込まれ、プロセッサ９１０によって実行される。メモリ９２１には、地上基準点生成プログラムだけでなく、ＯＳも記憶されている。ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略語である。プロセッサ９１０は、ＯＳを実行しながら、地上基準点生成プログラムを実行する。地上基準点生成プログラムおよびＯＳは、補助記憶装置９２２に記憶されていてもよい。補助記憶装置９２２に記憶されている地上基準点生成プログラムおよびＯＳは、メモリ９２１にロードされ、プロセッサ９１０によって実行される。なお、地上基準点生成プログラムの一部または全部がＯＳに組み込まれていてもよい。

地上基準点生成装置１００は、プロセッサ９１０を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、地上基準点生成プログラムの実行を分担する。それぞれのプロセッサは、プロセッサ９１０と同じように、地上基準点生成プログラムを実行する装置である。

地上基準点生成プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ９２１、補助記憶装置９２２、または、プロセッサ９１０内のレジスタあるいはキャッシュメモリに記憶される。

地上基準点生成装置１００の各部の「部」を「回路」、「工程」、「手順」、「処理」、あるいは「サーキットリー」に読み替えてもよい。地上基準点生成プログラムは、地上基準点生成装置１００の各部の「部」を「処理」に読み替えた各処理を、コンピュータに実行させる。地上基準点生成装置１００の各処理の「処理」を「プログラム」、「プログラムプロダクト」、「プログラムを記憶したコンピュータ読取可能な記憶媒体」、または「プログラムを記録したコンピュータ読取可能な記録媒体」に読み替えてもよい。また、地上基準点生成方法は、地上基準点生成装置１００が地上基準点生成プログラムを実行することにより行われる方法である。
地上基準点生成プログラムは、コンピュータ読取可能な記録媒体に格納されて提供されてもよい。また、地上基準点生成プログラムは、プログラムプロダクトとして提供されてもよい。

＊＊＊他の構成＊＊＊
＜変形例＞
本実施の形態では、地上基準点生成装置１００の各部の機能がソフトウェアで実現される。変形例として、地上基準点生成装置１００の各部の機能がハードウェアで実現されてもよい。
具体的には、地上基準点生成装置１００は、プロセッサ９１０に替えて電子回路９０９を備える。

図１０は、本実施の形態の変形例に係る地上基準点生成装置１００のハードウェア構成例を示す図である。
電子回路９０９は、地上基準点生成装置１００の各部の機能を実現する専用の電子回路である。電子回路９０９は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略語である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。

地上基準点生成装置１００の各部の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。

別の変形例として、地上基準点生成装置１００の各部の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。また、地上基準点生成装置１００の各部の一部またはすべての機能がファームウェアで実現されてもよい。

プロセッサと電子回路の各々は、プロセッシングサーキットリとも呼ばれる。つまり、地上基準点生成装置１００の各部の機能は、プロセッシングサーキットリにより実現される。

実施の形態２．
本実施の形態では、主に、実施の形態１と異なる点および実施の形態１に追加する点について説明する。
本実施の形態において、実施の形態１と同様の機能を有する構成については同一の符号を付し、その説明を省略する。

本実施の形態では、実施の形態１で説明した地上基準点生成装置１００の出力または地上基準点生成装置１００に含まれる構成要素を用いて、補正対象画像ＳＲＣの位置姿勢情報を修正する画像処理システム５００について説明する。

＊＊＊構成の説明＊＊＊
図１１は、本実施の形態に係る画像処理システム５００の構成例を示す図である。
画像処理システム５００は、地上基準点生成装置１００と地上基準点データベース２００と画像処理装置４００とを備える。
なお、地上基準点データベース２００は地上基準点生成装置１００に含まれていてもよい。また、画像処理システム５００は、学習装置３００を備えていてもよい。
なお、本実施の形態に係る画像処理装置４００のハードウェア構成例については、実施の形態１で説明した地上基準点生成装置１００と同様である。

画像処理装置４００は、画像マッチング部４０１、および位置姿勢情報修正部４０２を備える。また、画像処理装置４００は、地上基準点生成装置１００により生成された地上基準点データベース２００と接続され、地上基準点データベース２００から地上基準点データＧＣＰを取得する。

画像マッチング部４０１は、補正対象画像ＳＲＣを入力とする。画像マッチング部４０１は、補正対象画像ＳＲＣ内の所定の領域を抽出し、地上基準点データＧＣＰ内の小領域画像と比較することにより両者の一致度が高くなる位置を探索する。そして、画像マッチング部４０１は、当該地上基準点に対応する補正対象画像ＳＲＣ内の画素座標を出力する。

補正対象画像ＳＲＣは、観測時のプラットフォームの軌道および姿勢の情報から計算された誤差を含む位置姿勢情報を有している場合を想定する。補正対象画像ＳＲＣの位置姿勢情報を用いることにより、地上基準点データの三次元座標（Ｘ，Ｙ，Ｚ）を補正対象画像ＳＲＣに投影した際の画素座標が得られる。しかし、位置姿勢情報には誤差が含まれるため、地上基準点データの三次元座標から投影した画素座標と、実際に補正対象画像ＳＲＣ内で当該地上基準点が写っている画素座標との間にはずれが生じる。
画像マッチング部４０１は、このずれを検出するために、地上基準点データの三次元座標から投影した画素座標を中心として所定の大きさの領域を補正対象画像ＳＲＣにおける探索範囲として設定する。そして、画像マッチング部４０１は、対応する地上基準点の小領域画像と補正対象画像ＳＲＣにおける探索範囲とのマッチングを取ることによって当該地上基準点が写っている画素座標を求める。

探索範囲の大きさは、位置姿勢情報の誤差が想定される範囲から決定される。なお、補正対象画像ＳＲＣが位置姿勢情報を有していない場合は、画像全体が探索範囲となる。

マッチングは、小領域画像が単なる画像データである場合には、小領域画像と補正対象画像ＳＲＣ内の探索範囲内の各位置の画像との類似度を計算することにより実施される。
具体的には、画像マッチング部４０１は、差分絶対値和あるいは相互相関といった指標により類似度を計算し、類似度の最も高い位置を検出することによってマッチングが行われる。小領域画像がＳＩＦＴといった画像特徴量である場合には、画像マッチング部４０１は、補正対象画像ＳＲＣの探索範囲内の各位置において小領域画像と同一の画像特徴量を計算し、画像特徴量の距離が最も近い位置を検出することによってマッチングが行われる。

次に、位置姿勢情報修正部４０２は、地上基準点データの三次元座標と画像マッチング部４０１により検出された補正対象画像ＳＲＣ内の画素座標の対応関係から補正対象画像ＳＲＣの位置姿勢情報を修正する。そして、位置姿勢情報修正部４０２は、補正対象画像ＳＲＣの位置姿勢情報を修正した補正後画像ＤＳＴを出力する。

位置姿勢情報がＲＰＣで提供される場合の位置姿勢情報の修正方法の具体例を説明する。
ＲＰＣとは、地球上の緯度、経度、および高さで示される位置と、画像中の位置である画素位置とを対応づける有理多項式の係数セットのことである。
理想的には、地上基準点生成装置１００により生成された地上基準点データＧＣＰに含まれる三次元座標（Ｘ，Ｙ，Ｚ）をＲＰＣで変換した結果が、画像マッチング部４０１から出力されるマッチング画素座標（ｘ，ｙ）となるように係数を修正する。実際には、三次元座標（Ｘ，Ｙ，Ｚ）をＲＰＣで変換した結果の画素座標とマッチング画素座標（ｘ，ｙ）の誤差が小さくなるようにＲＰＣの係数セットを最適化することにより、位置姿勢情報の修正を行う。
ただし、地上基準点データＧＣＰの数が少ない場合には、ＲＰＣで変換した結果の画素座標に対して、平行移動あるいはアフィン変換といった低次の変換を加えて、マッチング画素座標（ｘ，ｙ）に近づけるような変換の係数を求めるとしてもよい。

このようにして位置姿勢情報を修正された補正後画像ＤＳＴは、さらにオルソ補正（地図投影）を実行することで、画像上に示される位置と実際の地図上に示される位置が合った画像として利用することが可能となる。

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る画像処理装置４００の動作について説明する。画像処理装置４００の動作手順は、画像処理方法に相当する。また、画像処理装置４００の動作を実現するプログラムは、画像処理プログラムに相当する。

図１２は、本実施の形態に係る画像処理装置４００の動作を示すフロー図である。
ステップＳ４０１において、図５で説明した地上基準点生成装置１００の動作によって、リファレンス画像ＲＥＦおよび地形データＤＥＭから地上基準点データＧＣＰが生成される。
生成された地上基準点データＧＣＰのそれぞれについて、以下のステップＳ４０２の処理を繰り返し行う。

ステップＳ４０２において、画像マッチング部４０１は、地上基準点データＧＣＰについて補正対象画像ＳＲＣとの画像マッチングの処理を行う。
画像マッチング部４０１は、全ての地上基準点データＧＣＰに対応するマッチング画素座標（ｘ，ｙ）が求まったら、位置姿勢情報修正部４０２に出力し、ステップＳ４０３に進む。

ステップＳ４０３において、位置姿勢情報修正部４０２は、位置姿勢情報の修正を行い、補正後画像ＤＳＴを出力する。具体的には、位置姿勢情報修正部４０２は、地上基準点データの三次元座標と補正対象画像ＳＲＣ内の画素座標の対応関係から、補正対象画像ＳＲＣの位置姿勢情報を修正する。そして、位置姿勢情報修正部４０２は、補正対象画像ＳＲＣの位置姿勢情報を修正した補正後画像ＤＳＴを出力する。

なお、地上基準点生成装置１００による地上基準点の生成（ステップＳ４０１）は、画像マッチングの処理（ステップＳ４０２）あるいは位置姿勢情報修正の処理（ステップＳ４０３）の動作とは別のタイミングで実施してもよい。

＊＊＊本実施の形態の効果の説明＊＊＊
以上のように、本実施の形態に係る画像処理装置４００によれば、地上基準点生成装置により生成した地上基準点データを用いて補正対象画像の位置姿勢情報を修正することができる。これにより、ＧＮＳＳ測量による地上基準点が整備されていない地域においても、補正対象画像の位置情報を高精度に補正することができる。

以上の実施の形態１および２では、地上基準点生成装置および画像処理装置の各装置の各部を独立した機能ブロックとして説明した。しかし、地上基準点生成装置および画像処理装置の各装置の構成は、上述した実施の形態のような構成でなくてもよい。地上基準点生成装置および画像処理装置の各装置の機能ブロックは、上述した実施の形態で説明した機能を実現することができれば、どのような構成でもよい。また、地上基準点生成装置および画像処理装置の各装置は、１つの装置でなく、複数の装置から構成されたシステムでもよい。
また、実施の形態１および２のうち、複数の部分を組み合わせて実施しても構わない。あるいは、これらの実施の形態のうち、１つの部分を実施しても構わない。その他、これらの実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
すなわち、実施の形態１および２では、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

なお、上述した実施の形態は、本質的に好ましい例示であって、本開示の範囲、本開示の適用物の範囲、および本開示の用途の範囲を制限することを意図するものではない。上述した実施の形態は、必要に応じて種々の変更が可能である。例えば、フロー図あるいはシーケンス図を用いて説明した手順は、適宜に変更してもよい。

以下、本開示の諸態様を付記としてまとめて記載する。

（付記１）
補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成する地上基準点生成装置において、
周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記対象物の種類を表す対象物クラスと前記対象物の画素座標とを出力する対象物検出部と、
前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出する小領域画像抽出部と、
前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得する地図上座標取得部と、
前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得する高さ取得部と、
前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録するデータ登録部と
を備える地上基準点生成装置。
（付記２）
前記対象物検出部は、
前記リファレンス画像の局所的な画像特徴量をもとに前記対象物の識別と位置特定を行う付記１に記載の地上基準点生成装置。
（付記３）
前記対象物検出部は、
前記リファレンス画像の局所的な画像特徴量を抽出する特徴抽出部と、
前記画像特徴量をもとに所定の画像特徴を有する少なくとも１つ以上の対象物クラスを識別する識別部と、
前記所定の画像特徴を有する画像領域の代表点の位置を検出する位置特定部と
を備える付記２に記載の地上基準点生成装置。
（付記４）
前記対象物検出部は、
前記リファレンス画像に相当する学習用画像と、前記学習用画像に対応する対象物クラスおよび画素座標とを含む学習用データから生成された学習済モデルを用いて、前記リファレンス画像から対象物クラスおよび画素座標を出力する推論部を備える付記１に記載の地上基準点生成装置。
（付記５）
前記対象物検出部は、
地図上座標に対応する地物の属性を示す属性情報または前記地形データをもとにマスク画像を生成するマスク画像作成部と、
前記対象物クラスと、前記マスク画像に示される属性とを照合して前記対象物の検出結果を選択する選択部と
を備える付記１から付記４のいずれか１項に記載の地上基準点生成装置。
（付記６）
付記１から付記５のいずれか１項に記載の地上基準点生成装置と、
前記補正対象画像の所定の領域を抽出して前記地上基準点データ内の前記小領域画像と比較することにより両者の一致度が高くなる位置を探索し、前記地上基準点に対応する補正対象画像の画素座標を出力する画像マッチング部と、前記地上基準点データの三次元座標と前記補正対象画像の画素座標の対応関係から前記補正対象画像の位置姿勢情報を修正する位置姿勢情報修正部とを備える画像処理装置と
を備える画像処理システム。
（付記７）
補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成する地上基準点生成装置に用いられる地上基準点生成方法において、
コンピュータが、周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記対象物の種類を表す対象物クラスと前記対象物の画素座標とを出力し、
コンピュータが、前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出し、
コンピュータが、前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得し、
コンピュータが、前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得し、
コンピュータが、前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録する地上基準点生成方法。
（付記８）
補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成するとともに、前記地上基準点を用いて前記補正対象画像を補正する画像処理システムに用いられる画像処理方法において、
コンピュータが、周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記対象物の種類を表す対象物クラスと前記対象物の画素座標とを出力し、
コンピュータが、前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出し、
コンピュータが、前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得し、
コンピュータが、前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得し、
コンピュータが、前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録し、
コンピュータが、前記補正対象画像の所定の領域を抽出して前記地上基準点データ内の前記小領域画像と比較することにより両者の一致度が高くなる位置を探索し、前記地上基準点に対応する補正対象画像の画素座標を出力し、
コンピュータが、前記地上基準点データの三次元座標と前記補正対象画像の画素座標の対応関係から前記補正対象画像の位置姿勢情報を修正する画像処理方法。
（付記９）
補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成する地上基準点生成装置に用いられる地上基準点生成プログラムにおいて、
周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記対象物の種類を表す対象物クラスと前記対象物の画素座標とを出力する対象物検出処置と、
前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出する小領域画像抽出処理と、
前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得する地図上座標取得処理と、
前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得する高さ取得処理と、
前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録するデータ登録処理と
をコンピュータに実行させる地上基準点生成プログラム。
（付記１０）
補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成するとともに、前記地上基準点を用いて前記補正対象画像を補正する画像処理システムに用いられる画像処理プログラムにおいて、
周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記対象物の種類を表す対象物クラスと前記対象物の画素座標とを出力する対象物検出処置と、
前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出する小領域画像抽出処理と、
前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得する地図上座標取得処理と、
前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得する高さ取得処理と、
前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録するデータ登録処理と、
前記補正対象画像の所定の領域を抽出して前記地上基準点データ内の前記小領域画像と比較することにより両者の一致度が高くなる位置を探索し、前記地上基準点に対応する補正対象画像の画素座標を出力する画像マッチング処理と、
前記地上基準点データの三次元座標と前記補正対象画像の画素座標の対応関係から前記補正対象画像の位置姿勢情報を修正する位置姿勢情報修正処理部と
をコンピュータに実行させる画像処理プログラム。

１００ 地上基準点生成装置、１０，１１ 対象物検出部、２０ 小領域画像抽出部、３０ 地図上座標取得部、４０ 高さ取得部、５０ データ登録部、１０１ 特徴抽出部、１０２ 識別部、１０３ 位置特定部、１０４ 選択部、１０５ マスク画像作成部、１１１ データ取得部、１１２ 推論部、１２１ データ取得部、１２２ モデル生成部、１３ 学習済モデル記憶部、４０１ 画像マッチング部、４０２ 位置姿勢情報修正部、２００ 地上基準点データベース、３００ 学習装置、４００ 画像処理装置、５００ 画像処理システム、８０ 信号線、９０９ 電子回路、９１０ プロセッサ、９２１ メモリ、９２２ 補助記憶装置、９３０ 入出力インタフェース、９５０ 通信インタフェース。

Claims (8)

1. 補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成する地上基準点生成装置において、
   周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記リファレンス画像の局所的な画像特徴量に基づいて、前記対象物を識別して前記対象物の種類を表す対象物クラスを出力するとともに、前記対象物の位置特定を行って前記対象物の画素座標を出力する対象物検出部と、
   前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出する小領域画像抽出部と、
   前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得する地図上座標取得部と、
   前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得する高さ取得部と、
   前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録するデータ登録部と
   を備え、
   前記対象物検出部は、
   土地被覆分類図を属性情報ＭＡＰとして取得し、前記属性情報ＭＡＰに基づいて地図上座標に対応する地物の属性を示す属性情報を取得し、前記属性情報または前記地形データをもとにマスク画像を生成するマスク画像作成部と、
   前記対象物クラスと、前記マスク画像に示される属性とを照合して前記対象物の検出結果を選択する選択部と
   を備える地上基準点生成装置。
2. 前記対象物検出部は、
   前記リファレンス画像の局所的な画像特徴量を抽出する特徴抽出部と、
   前記画像特徴量をもとに所定の画像特徴を有する少なくとも１つ以上の対象物クラスを識別する識別部と、
   前記所定の画像特徴を有する画像領域の代表点の位置を検出する位置特定部と
   を備える請求項１に記載の地上基準点生成装置。
3. 前記対象物検出部は、
   前記リファレンス画像に相当する学習用画像と、前記学習用画像に対応する対象物クラスおよび画素座標とを含む学習用データから生成された学習済モデルを用いて、前記リファレンス画像から対象物クラスおよび画素座標を出力する推論部を備える請求項１に記載の地上基準点生成装置。
4. 請求項１に記載の地上基準点生成装置と、
   前記補正対象画像の所定の領域を抽出して前記地上基準点データ内の前記小領域画像と比較することにより両者の一致度が高くなる位置を探索し、前記地上基準点に対応する補正対象画像の画素座標を出力する画像マッチング部と、前記地上基準点データの三次元座標と前記補正対象画像の画素座標の対応関係から前記補正対象画像の位置姿勢情報を修正する位置姿勢情報修正部とを備える画像処理装置と
   を備える画像処理システム。
5. 補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成する地上基準点生成装置に用いられる地上基準点生成方法において、
   コンピュータが、周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記リファレンス画像の局所的な画像特徴量に基づいて、前記対象物を識別して前記対象物の種類を表す対象物クラスを出力するとともに、前記対象物の位置特定を行って前記対象物の画素座標を出力し、
   コンピュータが、前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出し、
   コンピュータが、前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得し、
   コンピュータが、前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得し、
   コンピュータが、前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録する地上基準点生成方法であって、
   コンピュータが、土地被覆分類図を属性情報ＭＡＰとして取得し、前記属性情報ＭＡＰに基づいて地図上座標に対応する地物の属性を示す属性情報を取得し、前記属性情報または前記地形データをもとにマスク画像を生成し、前記対象物クラスと、前記マスク画像に示される属性とを照合して前記対象物の検出結果を選択する地上基準点生成方法。
6. 補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成するとともに、前記地上基準点を用いて前記補正対象画像を補正する画像処理システムに用いられる画像処理方法において、
   コンピュータが、周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記リファレンス画像の局所的な画像特徴量に基づいて、前記対象物を識別して前記対象物の種類を表す対象物クラスを出力するとともに、前記対象物の位置特定を行って前記対象物の画素座標を出力し、
   コンピュータが、前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出し、
   コンピュータが、前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得し、
   コンピュータが、前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得し、
   コンピュータが、前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録し、
   コンピュータが、前記補正対象画像の所定の領域を抽出して前記地上基準点データ内の前記小領域画像と比較することにより両者の一致度が高くなる位置を探索し、前記地上基準点に対応する補正対象画像の画素座標を出力し、
   コンピュータが、前記地上基準点データの三次元座標と前記補正対象画像の画素座標の対応関係から前記補正対象画像の位置姿勢情報を修正する画像処理方法であって、
   コンピュータが、土地被覆分類図を属性情報ＭＡＰとして取得し、前記属性情報ＭＡＰに基づいて地図上座標に対応する地物の属性を示す属性情報を取得し、前記属性情報または前記地形データをもとにマスク画像を生成し、前記対象物クラスと、前記マスク画像に示される属性とを照合して前記対象物の検出結果を選択する画像処理方法。
7. 補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成する地上基準点生成装置に用いられる地上基準点生成プログラムにおいて、
   周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記リファレンス画像の局所的な画像特徴量に基づいて、前記対象物を識別して前記対象物の種類を表す対象物クラスを出力するとともに、前記対象物の位置特定を行って前記対象物の画素座標を出力する対象物検出処理と、
   前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出する小領域画像抽出処理と、
   前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得する地図上座標取得処理と、
   前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得する高さ取得処理と、
   前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録するデータ登録処理とをコンピュータに実行させる地上基準点生成プログラムであって、
   前記対象物検出処理は、
   土地被覆分類図を属性情報ＭＡＰとして取得し、前記属性情報ＭＡＰに基づいて地図上座標に対応する地物の属性を示す属性情報を取得し、前記属性情報または前記地形データをもとにマスク画像を生成するマスク画像作成処理と、
   前記対象物クラスと、前記マスク画像に示される属性とを照合して前記対象物の検出結果を選択する選択処理と
   を備える地上基準点生成プログラム。
8. 補正対象画像と同一視野を少なくとも含み、かつ、地図上座標と対応付けられたリファレンス画像と、前記リファレンス画像と同一の地図上範囲を少なくとも含む地形データとを用いて、地上基準点を生成するとともに、前記地上基準点を用いて前記補正対象画像を補正する画像処理システムに用いられる画像処理プログラムにおいて、
   周囲の土地の平均標高に概ね等しい高さに設置されている対象物について、前記リファレンス画像の局所的な画像特徴量に基づいて、前記対象物を識別して前記対象物の種類を表す対象物クラスを出力するとともに、前記対象物の位置特定を行って前記対象物の画素座標を出力する対象物検出処理と、
   前記対象物の画素座標から、前記対象物を含む前記リファレンス画像の小領域の画像または画像特徴量を小領域画像として抽出する小領域画像抽出処理と、
   前記対象物の画素座標から、前記リファレンス画像と地図上座標の対応関係を用いて前記対象物の地図上座標を取得する地図上座標取得処理と、
   前記対象物の画素座標に対応する前記地形データを参照することで前記対象物の高さを取得する高さ取得処理と、
   前記小領域画像と、前記対象物の地図上座標および高さからなる三次元座標とを紐付けたデータを地上基準点データとして地上基準点データベースに登録するデータ登録処理と、
   前記補正対象画像の所定の領域を抽出して前記地上基準点データ内の前記小領域画像と比較することにより両者の一致度が高くなる位置を探索し、前記地上基準点に対応する補正対象画像の画素座標を出力する画像マッチング処理と、
   前記地上基準点データの三次元座標と前記補正対象画像の画素座標の対応関係から前記補正対象画像の位置姿勢情報を修正する位置姿勢情報修正処理と
   をコンピュータに実行させる画像処理プログラムであって、
   前記対象物検出処理は、
   土地被覆分類図を属性情報ＭＡＰとして取得し、前記属性情報ＭＡＰに基づいて地図上座標に対応する地物の属性を示す属性情報を取得し、前記属性情報または前記地形データをもとにマスク画像を生成するマスク画像作成処理と、
   前記対象物クラスと、前記マスク画像に示される属性とを照合して前記対象物の検出結果を選択する選択処理と
   を備える画像処理プログラム。