JP2002170102A - 撮影対象物の自動獲得・復元方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 宇宙測量、航空測量等から獲得するか、もし
くは復元した地面の３次元的座標値（標高データ）に対
して、正確な街区周辺の標高データ、道路の標高データ
等を高精度に獲得するかもしくは復元する。 【解決手段】 画像入力部（カメラ）から時系列に映像
を取り込みながら、該当する画像を撮像したときの画像
入力部の位置情報を取得し、前記画像中の対象物の物理
的なスケールを決定し、前記時系列にしたがって、画像
入力部の移動量を逐次計算し、その計算された画像入力
部の移動量に対応させながら、対象物の３次元座標値を
獲得しながら、逐次３次元モデルを出力する撮影対象物
の自動獲得・復元方法である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、地面、標高面、道
路面等の撮影対象面の自動獲得・復元方法及び装置に関
し、特に、例えば、画像入力装置等により取得した時系
列画像データから、地面の３次元的座標値（標高デー
タ）を計測する測量分野に適用して有効な技術に関す
る。

【０００２】

【従来の技術】従来、標高データは、衛星等を利用した
宇宙測量により地面のＮメートル（例えば５０メート
ル）メッシュの間隔（例えば１０メートルメッシュの標
高データ等は、５０メートルメッシュ間隔のサンプル点
から計算により算出したもの）で、各サンプル点の３次
元的座標値として測量されてきている。

【０００３】

【発明が解決しようとする課題】しかし、図１６に示す
ように、サンプル点が粗く、街区レベルでの標高を正確
に測量することは不可能である。また、近年のリモート
センシング技術の発展により、飛行機にレーザ測定器を
搭載し、宇宙測量よりも精度よく標高データを測定する
ことが可能となった。しかしながら、図１７に示すよう
に、樹木や車等の遮断物もレーザ計測してしまうため、
道路や街区周辺の標高データを厳密に測定することは困
難であった。本発明の目的は、正確な街区周辺の標高デ
ータ、道路の標高データ等を高精度に獲得・復元するこ
とが可能な技術を提供することにある。本発明の前記な
らびにその他の目的と新規な特徴は、本明細書の記述及
び添付図面によって明らかにする。

【０００４】

【課題を解決するための手段】本願において開示される
発明の概要を簡単に説明すれば、下記のとおりである。 （１）画像入力部（カメラ）から時系列に映像を取り込
みながら、該当する画像を撮像したときの画像入力部の
位置情報を取得し、前記画像中の対象物の物理的なスケ
ールを決定し、前記時系列にしたがって、画像入力部の
移動量を逐次計算し、その計算された画像入力部の移動
量に対応させながら、対象物の３次元座標値を獲得しな
がら、逐次３次元モデルを出力する撮影対象物の自動獲
得・復元方法である。

【０００５】（２）対象物を撮影して時系列に映像を取
り込む画像入力部（カメラ）と、該当する画像を撮像し
たときの画像入力部の位置情報を取得するセンシング部
と、前記画像中の対象物の物理的なスケールを決定する
レジストレーション部と、前記時系列にしたがって、画
像入力部の移動量を逐次計算する移動距離計算部と、こ
の移動距離計算部で計算された画像入力部の移動量に対
応させながら、撮影対象物の３次元座標値を獲得する幾
何情報獲得部と、この幾何情報獲得部の３次元座標値に
基づいて３次元モデルを生成して出力するモデル出力部
とを具備する撮影対象物の自動獲得・復元装置である。

【０００６】（３）地面を対象物として撮影した時系列
画像データから自動的に地面を表現するか、あるいはモ
デル化する３次元的形状幾何情報もしくは表面形状を自
動的に獲得・復元する地面、標高面の自動獲得・復元方
法において、データベースから登録されている地面上の
モデルデータを読み出し、そのモデル情報と、対象物の
画像中に映っているモデルの形状から画像入力手段のカ
メラパラメータを自動調整し、前記モデルデータと対象
物画像から検出した座標を対応付け、前記対応付けられ
た画像中にスリット面を設定し、画像中のスリット面の
水平方向又は横方向に沿った幅の物理的な長さを獲得
し、所定時間ｎのときに撮影した画像に対して、次の時
間ｎ＋Δｎの間に画像入力手段（カメラ）が移動したと
きの距離、その間の標高に関する時間的変化量、前記画
像入力手段の光学系の視線情報、並びに、時間ｎにおけ
る画像入力手段の位置情報から、時間ｎから時間ｍ（ｍ
≧ｎ＋Δｎ）までの間に、画像入力手段が時間ｎのとき
に画像中に映していた地面部分を通過する瞬間の時間を
計算し、その通過したときの時間ｔ（ｎ＜ｔ≦ｍ）のと
きの画像入力手段の位置情報と、時間ｎと時間ｎ＋Δｎ
までに移動した距離と、前記に設定したスリット幅か
ら、時間ｎのときに設定した地面部分のスリット面の各
頂点に３次元座標値を獲得しながら、逐次３次元の地面
を獲得・復元、又は再現するものである。

【０００７】（４）地面を対象物として撮影した時系列
画像データから、自動的に地面を表現するか、あるいは
モデル化する３次元的形状幾何情報もしくは表面形状を
自動的に獲得・復元する地面、標高面の自動獲得・復元
装置において、データベースから登録されている地面上
のモデルデータを読み出し、そのモデル情報と、対象物
の画像中に映っているモデルの形状から画像入力手段の
カメラパラメータを自動調整する画像入力手段のカメラ
パラメータ自動調整手段と、前記モデルデータと対象物
画像中に対応付ける座標を検出し、その座標をユニーク
に対応付けるレジストレーション手段と、前記モデルデ
ータと対象物画像の座標が対応付けられた画像中にスリ
ット面を設定するスリット面設定手段と、前記画像中の
スリット面の水平方向又は横方向に沿った幅の物理的な
長さを獲得するスリット幅獲得手段と、所定時間ｎのと
きに撮影した画像に対して、次の時間ｎ＋Δｎの間に画
像入力手段が移動したときの距離、その間の標高に関す
る時間的変化量、画像入力手段の光学系の視線情報、及
び時間ｎにおける画像入力手段の位置情報から、時間ｎ
から時間ｍ（ｍ≧ｎ＋Δｎ）までの間に、画像入力手段
が時間ｎのときに画像中に映していた地面部分を通過す
る瞬間の時間を計算する地面部分通過時間計算手段と、
その通過したときの時間ｔ（ｎ＜ｔ≦ｍ）のときの画像
入力手段の位置情報と、時間ｎと時間ｎ＋Δｎまでに移
動した距離と、前記設定したスリット幅から、時間ｎの
ときに設定した地面部分のスリット面の各頂点に３次元
座標値を獲得しながら、地面部分の前記スリット面に対
応する光学情報を映像中から抽出する光学情報抽出手段
と、前記スリット面の３次元形状と、画像入力手段の位
置関係から、幾何的形状歪みを補正する手段と、それを
もとに変形または、変換した光学情報を獲得する変換光
学情報獲得手段と、前記の３次元幾何情報と、光学情報
を組み合わせて、逐次、地面の３次元モデルを獲得・復
元、又は再現する手段とを具備するものである。

【０００８】（５）道路を対象として撮影した時系列画
像データから、自動的に地面を表現するか、あるいはモ
デル化する３次元的形状幾何情報もしくは表面形状を自
動的に獲得、復元する道路面の自動獲得・復元方法にお
いて、データベースから登録されている地面上のモデル
データを読み出し、そのモデル情報と、対象物の画像中
に映っているモデルの形状から画像入力部のカメラパラ
メータを自動調整し、前記モデルデータと画像座標をユ
ニークに対応付け、前記モデルデータと画像座標を対応
付けた画像中に検出し、ユニークに対応付けられた画像
中にスリット面を設定し、前記画像中のスリット面の水
平方向又は横方向に沿った幅の物理的な長さを獲得し、
所定時間ｎのときに撮影した画像に対して、次の時間ｎ
＋Δｎの間に画像入力手段が移動したときの距離、その
間の標高に関する時間的変化量、画像入力手段の光学系
の視線情報、及び時間ｎにおける画像入力手段の位置情
報から、所定時間ｎから時間ｍ（ｍ≧ｎ＋Δｎ）までの
間に、画像入力手段が時間ｎのときに画像中に映してい
た地面部分を通過する瞬間の時間を計算し、その通過し
たときの時間ｔ（ｎ＜ｔ≦ｍ）のときの画像入力手段の
位置情報と、時間ｎと時間ｎ＋Δｎまでに移動した距離
と、前記設定したスリット幅から、時間ｎのときに設定
した地面部分のスリット面の各頂点に３次元座標値を獲
得しながら、逐次３次元の地面を獲得・復元、又は再現
するものである。

【０００９】（６）道路を対象として撮影した時系列画
像データから自動的に表現するか、あるいはモデル化す
る３次元的形状幾何情報もしくは表面形状を自動的に獲
得・復元する道路面の自動獲得・復元装置において、デ
ータベースから登録されている地面上のモデルデータを
読み出し、そのモデル情報と、対象物の画像中に映って
いるモデルの形状から画像入力手段（カメラ）パラメー
タを自動調整するカメラパラメータ自動調整手段と、前
記モデルデータと画像座標中に対応付ける座標を検出
し、その座標をユニークに対応付けるレジストレーショ
ン手段と、前記モデルデータと画像座標をユニークに対
応付けられた画像中にスリット面を設定するスリット面
設定手段と、前記画像中のスリット面の水平方向又は横
方向に沿った幅の物理的な長さを獲得するスリット幅獲
得手段と、所定時間ｎのときに撮影した画像に対して、
次の時間ｎ＋Δｎの間に画像入力手段が移動したときの
距離、その間の標高に関する時間的変化量、画像入力手
段の光学系の視線情報、及び時間ｎにおける画像入力手
段の位置情報から、所定時間ｎから時間ｍ（ｍ≧ｎ＋Δ
ｎ）までの間に、画像入力手段が時間ｎのときに画像中
に映していた地面部分を通過する瞬間の時間を計算する
地面部分通過時間計算手段と、その通過したときの時間
ｔ（ｎ＜ｔ≦ｍ）のときの画像入力手段の位置情報と、
時間ｎと時間ｎ＋Δｎまでに移動した距離と、前記設定
したスリット幅から、時間ｎのときに設定した地面部分
のスリット面の各頂点に３次元座標値を獲得しながら、
地面部分の前記スリット面に対応する光学情報を映像中
から抽出する光学情報抽出手段と、前記スリット面の３
次元形状と、画像入力手段の位置関係から、幾何的形状
歪みを補正する手段と、それをもとに変形または、変換
した光学情報を獲得する変換光学情報獲得手段と、前記
３次元幾何情報と、光学情報を組み合わせて、逐次、地
面の３次元モデルを獲得・復元、又は再現する手段を具
備するものである。

【００１０】本発明のポイントは、画像入力装置のカメ
ラを移動しながら標高面を撮影して取得した時系列画像
と、前記画像と同期するセンサ情報を用いて、前記画像
入力装置で取得した標高面の３次元的座標値を算出し、
対応するテクスチャーデータとともに逐次合成すること
により、標高面を獲得・復元することである。このよう
にすることにより、宇宙測量、航空測量からの標高デー
タと比較して、標高面の形状を簡易に精度よく獲得・復
元することが可能となる。

【００１１】

【発明の実施の形態】以下に、本発明について、本発明
による実施形態（実施例）とともに図面を参照して詳細
に説明する。なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。

【００１２】（実施例１）図１は、本発明の実施例１の
道路面の獲得・復元装置の概略構成を示すブロック図で
あり、図２は本実施例１の道路と画像入力装置の移動手
段との概要構成を示す模式面である。

【００１３】図１及び図２において、１は画像入力装置
（画像入力部）、２はセンシング部、３はレジストレー
ション部、４は移動距離計算部、５は幾何情報獲得部、
６はモデル構築部、７はモデル出力部、９は画像入力装
置移動手段、１０は道路表面、Ｘｉ，Ｙｉ，Ｚｉ及びＸ
ｊ，Ｙｊ，Ｚｊは道路表面上の位置座標、Ｐ１は時刻ｔ
ｉでのカメラ視点（位置）、Ｐ２は時刻ｔｊでのカメラ
視点（位置）、Ｑは時刻ｔｊでのカメラ視点（位置）に
対応する道路表面の位置座標、ＲＯは画像入力部１のカ
メラの視点を通過する入射光の光軸、ｔｉ，ｔｊは時
刻、Ｈｃは道路表面からカメラの視点までの高さ、Ｖｉ
は画像入力装置移動手段の移動速度、Ｌｉは移動量であ
る。

【００１４】本実施例１の道路面の獲得・復元装置は、
図１に示すように、画像入力装置（画像入力部）１、セ
ンシング部２、レジストレーション部３、移動距離計算
部４、移動距離計算部４、幾何情報獲得部５、モデル構
築部６、及びモデル出力部７で構成されている。

【００１５】前記画像入力装置（画像入力部）１では、
時系列に画像を取り込んだり、又は後処理等の用途に応
じて蓄積する。センシング部２では、前記の画像を撮像
したときの画像入力装置（画像入力部）１のカメラの位
置情報を取得する。レジストレーション部３では、登録
している道路面上の基本モデルを画像上に投影するなど
して取得して、画像中の対象物の物理的なスケールを決
定する。

【００１６】移動距離計算部４では、時系列にしたがっ
て、カメラの移動量を逐次計算し、幾何情報獲得部５で
は、それに対応させながら、道路面の３次元座標値を獲
得する。モデル構築部６では、３次元ビューワに合わせ
て、モデル合成、加工、整形し、モデル出力部７におい
てモデル出力を行う。

【００１７】本実施例１の道路面の獲得・復元装置は、
図２に示すように、画像入力装置（カメラ）１を車両に
搭載して車載撮影しながら、各時刻ｔｉでのカメラ視点
（Ｘｉ，Ｙｉ，Ｚｉ）で映している道路面上の対象部分
の３次元的構造、又は形状（図２におけるＸｊ，Ｙｊ，
Ｚｊ−Ｈｃ）を獲得・復元する例について説明する。ま
た、カメラの視点は、センシング位置と等価であること
を前提としている。

【００１８】このように、本発明は、各時刻ｔｉに取得
したカメラ視点と、そのときの画像の画像中心に該当す
る道路面部分の３次元座標値を逐次獲得し、道路面とし
て形状獲得、復元するものである。

【００１９】図３は、前記レジストレーション部３の機
能構成を示すブロック図である。図３において、３０は
基本モデルデータ蓄積部、３１は基本モデルデータ蓄積
部３０に登録されているデータから所定の基本モデルデ
ータを選択するモデル選択部、３２は時系列画像データ
蓄積部（記憶装置）、３３は対応画像ロード部、３４は
対応形状取得部、３５は基本モデルデータの投影部、３
６は対応形状との整合性検出部、３７は許容誤差値検出
部（レジストレーション検出手段）、３８はカメラ姿勢
パラメータ調整部、３９はカメラ位置パラメータ調整
部、４０はレジストレーション成功信号出力部である。

【００２０】前記レジストレーション部３では、図３に
示すように、基本モデルデータは、モデルデータ蓄積部
３０に登録している道路面上の基本モデルを選択して画
像上に投影するなどして取得する。また、時系列画像デ
ータ蓄積部３２に登録されている時系列画像データから
対応関係画像を対応画像ロード部３３により読み出し、
対応形状得取部３４により対応関係画像の対応形状を得
取する。この得取された対応関係画像に前記基本モデル
データの投影部３５により前記選択された基本モデルデ
ータを投影する。

【００２１】前記得取された対応関係画像の対応形状と
前記基本モデルデータとの整合性を整合性検出部３６に
より検出し、この検出された誤差値が許容誤差値検出部
（レジストレーション成功検出部）３７により許容誤差
値ε以下であるか否かを検出し、許容誤差値ε以下でな
い場合は、カメラ姿勢パラメータ調整部３８及びカメラ
位置パラメータ調整部３９により、許容誤差値ε以下に
なるように調整し、許容誤差値ε以下になった時、レジ
ストレーション成功信号をレジストレーション出力部４
０から出力する。

【００２２】図４は、本実施例１の道路面の獲得・復元
装置の処理動作の手順を示すフローである。この図４に
したがって、本実施例１の道路面の獲得・復元装置の処
理動作を説明する。図４に示すように、画像入力データ
１０１は、タイムコード等により管理されたユニ−クな
画像であり、これに対応し、センシングデータ１１０と
して、そのときのカメラ視点情報、すなわち、カメラ視
点位置情報（Ｘｉ，Ｙｉ，Ｚｉ）が時系列に取得される
（図２）。これらのデータは、映像データ蓄積部１０
２，センシング情報蓄積部１１１において、適宜、デー
タ蓄積を行う。

【００２３】以下の処理は、オンライン処理又はオフラ
イン処理においても基本的な処理概念は変わらないが、
便宜上、オフライン型、すなわち、画像データ、センシ
ングデータ蓄積型の処理方法及び装置に関して説明す
る。

【００２４】蓄積された画像の中から、まず、物理的ス
ケール調整のために、道路の幅に対して物理的な値を与
える。これは、予め、基本モデルデータのデータベース
に登録している道路上の目印、横断歩道、又は交差点付
近の標識等の物理的な寸法を表現した基本モデルデータ
１０３を読み出し、デフォルトのカメラパラメータ（内
部、外部）を使って投影し、これを画像に重ね合せる
（１０５）。

【００２５】次に、重ね合わせた画像において、その投
影された形状と、画像中で対応する部分（エッジ、線分
等）を検出し（１０４）、その対応形状が一致しない場
合（１０６）は、逐次カメラの外部パラメータ、すなわ
ち、姿勢、位置パラメータを調整する（１０７，１０
８）。この調整量は、投影された形状と、画像中の対応
形状が（ある程度の誤差以内になるまで）一致するま
で、調整される（１０６）(図４参照)。これにより、画
像の横方向に関して、画像の座標値（ｘｄ，ｙｄ）と物
理的な寸法（例えば、画像中心付近からｘｄ，ｙｄ）ま
での距離ｍ）のユニークな対応関係がつくので、画像上
において、画像中心から水平方向に、ある画素長を指定
すると、その線の物理的長さを獲得する（１０９）。

【００２６】次に、センシング情報蓄積部１１０から、
時間ｔｉのときのカメラの位置情報（Ｘｉ，Ｙｉ，Ｚ
ｉ）を取得する（１１２）。さらに、時間ｔｉ＋Δｔに
おけるカメラの位置情報を取得する（１１３）。このと
き、時間Δｔの間の移動距離を計算する（１１５）。時
間ｔｉにおいて、カメラが撮影していた対象物の道路、
正確には、画像中心として、水平方向に獲得した物理的
な線は、この時間ｔｉからある時間（時間ｔｊ）経過し
たときに、その上をカメラの移動手段（車両）９がセン
シングする。

【００２７】幾何情報獲得部５では、時間ｔｉから時間
ｔｊまでの移動距離Ｌｉ、カメラの視線方向（図２参
照）の関係から、獲得する道路面の３次元座標値を獲得
する（１１５）。なお、道路面１０は、必ずしも水平で
はなく、時間ごとに、水平との為す角度が変化するた
め、本発明では、センシングしたデータ１１０から、地
面１０と車両が接する面の勾配を求め、そのときのカメ
ラ変動角度Δθを算出する（１１４）。この角度Δθ
は、対象の道路面の３次元座標値を獲得するのに利用さ
れ、以下の数１の式が最小となるときの移動距離ｓを計
算する（１１６）。

【００２８】この移動距離ｓから、時刻ｔｉから所定の
距離に到達するまでの時間ｔｋが算出され、時間ｔｊで
のカメラで映した画像中心部分の３次元座標値（Ｘｋ，
Ｙｋ，Ｚｋ）が獲得される。

【００２９】

【数１】 |ｆ(ｓ)＋ｓ／ｔａｎ(θ＋Δθ)−ｈ|＜ε 数１において、ｓは移動距離、ｆ(ｓ)はセンシングした
標高関数、θは水平位置でのカメラと水平方向の為す角
度、Δθは時間ｔｉからｔｉ＋Δｔのときの変動角度、
ｈは地面からセンサまでの高さ、εは許容誤差である。
この画像中心に対応する３次元座標値に対して、取得し
た道路幅を与え、画像中心部分の３次元座標値Ｚｋの隣
接する獲得点間を補間して道路面を復元していく。

【００３０】以上の逐次処理を時系列に従って、処理を
行い、逐次、３次元の幾何情報を獲得する。最後に、指
定した３次元モデル形式に従って、道路をモデル化し、
３次元モデル化した道路モデルデータを出力する。

【００３１】図５は、前記スリット面単位での道路面復
元方法の処理手順を示すフローチャートである。スリッ
ト面単位での道路面復元方法は、図６（図を簡単にする
ためＸＹ座標方向の表示は省略してある）に示すよう
に、前記道路面の画像中心に対応する３次元座標値（Ｚ
(i-1)，Ｚ(i)，Ｚ(i+1)）を獲得する（２０１）。その
獲得した３次元座標値（Ｚ(i-1)，Ｚ(i)，Ｚ(i+1)）か
ら道路長を取得し（２０２）、スリット点に関する座標
変換部（２０３）に入力する。

【００３２】前記３次元座標値（Ｚ(i-1)，Ｚ(i)，Ｚ(i
+1)）からの道路長（スリット面の縦方向、または、進
行方向）の獲得方法は、図７に示すように、道路面上の
獲得した３次元座標点Ｚ(i)と隣接する獲得した３次元
座標点Ｚ(i-1)と、獲得した３次元座標点Ｚ(i+1)の中点
（ｚｄ(i)並びにｚｕ(i)）を求めて、Ｚ座標軸方向（道
路長さ方向）に対する中点間の距離Ｌｉを計算する。図
７では、この中点は、画像上では、ｚｄ(i)並びにｚｕ
(i)に対応する。

【００３３】一方、道路面の物理的幅（Ｘ座標方向）を
取得し（２０４）、かつ、ＸＹ面に関する方位を取得し
（２０５）、スリット点に関する座標変換部（２０３）
に入力する。スリット点に関する座標変換部２０３で、
前記３次元座標値（Ｚ(i-1)，Ｚ(i)，Ｚ(i-1)）から取
得した道路長さ、道路面の物理的幅を３次元座標値（Ｚ
(i-1)，Ｚ(i)，Ｚ(i+1)）に対して与え、画像中心部分
の３次元座標値Ｚ(i)の隣接する獲得点間を補間して、
スリット単位での道路面を復元する。

【００３４】図８（ａ）は、本実施例１の道路面モデル
の出力処理の処理手順を示すフローチャート、（ｂ）は
それを説明するための図である。本実施例１の道路面モ
デルの出力処理は、図８に示すように、道路面獲得時の
座標値（Ｘ’，Ｙ’）から、その時の方位角φを算出
し、時刻ｔで獲得したスリット面中心のＸ，Ｙ座標値を
中心に方位角φだけ回転させて、スリット面端点の
（Ｘ，Ｙ）座標値を取得する（４０１）。時刻ｔで獲得
したスリット面中心のＸ，Ｙ座標値のＸ−Ｙ軌跡を図９
に示す。次に、時刻ｔの付近のＺ座標値からのスリット
面のＺ座標を割リ当てる（４０２）。前記獲得したスリ
ット面中心のＺ座標値のＺ軌跡を図１０に示す。

【００３５】次に、前記Ｘ，Ｙ，Ｚ座標値に基づいて３
次元モデルのための形状を記述する（４０３）。３次元
モデルのための形状記述方法は、図１１に示すように、
前記時刻ｔのときのＺ座標値と時刻ｔ−１のときのＺ座
標値からスリット面の端点Ａ１を求める。同様に前記時
刻ｔ−１のときのＺ座標値と時刻ｔのときのＺ座標値か
らスリット面の端点Ａ２を求める。さらに、時刻ｔのと
きのＺ座標値と時刻ｔ＋１のときのＺ座標値からスリッ
ト面の端点Ａ３を求める。同様に前記時刻ｔ＋１のとき
のＺ座標値と時刻ｔのときのＺ座標値からスリット面の
端点Ａ４を求める。前記求められた端点Ａ１，Ａ２，Ａ
３，Ａ４を直線で結んで３次元モデルのためのスリット
面の形状を記述し、３Ｄビューワでの出力を得る（４０
４）。

【００３６】（実施例２）図１２は、本発明の実施例２
の道路面の獲得・復元装置の概略構成を示すブロック図
であり、８は光学情報獲得部である。本実施例２の道路
面の獲得・復元装置は、図１２に示すように、前記実施
例１の構成に光学情報獲得部８を追加した点が異なる。
ここでは、その差異部だけを説明する。

【００３７】図１３は、本実施例２の道路面の獲得・復
元装置の処理動作の手順を示すフローチャートである。
各道路面１０を形成するスリット面１０Ａの位置座標Ｚ
(i)を逐次獲得し（図６参照）、復元した処理とは別に
各々のスリット面１０Ａを画像上に投影する。このと
き、スリットの端（ｘＬｕ，ｚＬｕ）−（ｘＬｄ，ｚＬ
ｄ）、ならびに、（ｘＲｕ，ｚＲｕ）−（ｘＲｄ，ｚＲ
ｄ）が、投影された後の直線の傾きとして算出する。例
えば、カメラ光軸と道路面が垂直になる（図２におい
て、道路面を真下に見ている状態）ならば、直線は進行
方向に沿った直線（ｘ＝０）になる。実際の車載撮影で
は、水平面と為す角度がθとした場合、図１４に示す直
線ｚ＝ａ＊ｘ＋ｂの傾きａの逆数が、正射影画像を生成
するための値になる。

【００３８】本実施例２の正射影テクスチャー獲得の処
理は、道路面上のスリット面の形状を獲得し（６０
１）、この獲得したスリット面形状を画像面に投影する
（６０２）。次に、図１４に示すように、前記画像面上
のスリット面形状の端点Ｐ，Ｑでの座標値Ｐ（ｘＬ，ｚ
Ｌ），Ｑ（ｘＫ，ｚＫ）を取得し（６０３）、この端点
Ｐ，Ｑを結んで道路面の長さ方向の直線を検出する（６
０４）。この検出した直線とスリット面内の道路面の長
さ方向の直線ｚ＝ａ＊ｘ＋ｂとを用いて前記スリット面
を微小線分に分割する（６０５）。前記分割されたスリ
ット面の微小線分を逐次、正射影座標に変換し（６０
６）、それをテクスチャーデータとしてテクスチャーデ
ータベース（６０８）に格納する（６０７）。

【００３９】図１５は、本実施例２の幾何情報と光学情
報を組み合わせた３次元モデル出力の処理手順を示すフ
ローチャートである。本実施例２の幾何情報と光学情報
を組み合わせた３次元モデル出力は、図１５に示すよう
に、スリット面の中心座標を中心に、道路幅、並びに道
路長を考慮した上で、その各頂点に対して、３次元座標
値が与えられる（７０１）。また、光学情報も、このス
リット面にマッピングするように、始点、終点座標値と
合わせて獲得される。

【００４０】ある時刻ｋからモデルを出力する場合、対
応するスリット面の中心の座標値、道路端、及び道路長
がメモリからロードされ、時刻ｋ−１、時刻ｋ＋１の道
路面の幾何情報との整合性を維持するために、時刻ｋで
のスリット面の下側（時刻ｋ−１方向）と上側（時刻ｋ
＋１方向）Ｚ値に対して、隣接するＺ値で平均化してそ
れを共通のＺ値とする（７０２）。これ以外の座標値、
すなわち、ＸやＹ座標については、獲得したスリット面
の画像中心の３次元座標値、道路幅、道路長を考慮して
求める（７０３）。

【００４１】このときに確定した幾何情報は、光学情報
を集積した画像上と、テクスチャーデータベース７０４
から読み出されたテクスチャーデータとをユニークに２
次元座標値と対応をとって、テクスチャーデータベース
７０４から読み出されたテクスチャーデータとをテクス
チャーマッピングを行い（７０５）、逐次、３次元モデ
ルを生成して出力される（７０６）。

【００４２】以上、本発明者によってなされた発明を、
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。

【００４３】

【発明の効果】本願において開示される発明によって得
られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、宇宙測量、航空測量等から獲得するか
もしくは復元した地面の３次元的座標値（標高データ）
に対して、正確な街区周辺の標高データ、道路の標高デ
ータ等を高精度に獲得するかもしくは復元することがで
きる。

【図面の簡単な説明】

【図１】本発明の実施例１の道路面の獲得・復元装置の
概略構成を示すブロック図である。

【図２】本実施例１の道路と画像入力装置の移動手段と
の概要構成を示す模式面である。

【図３】本実施例１のレジストレーション部３の機能構
成を示すブロック図である。

【図４】本実施例１の道路面の獲得・復元装置の処理動
作の手順を示すフローである。

【図５】本実施例１のスリット面単位での道路面復元方
法の処理手順を示すフローチャートである。

【図６】本実施例１のスリット面単位での道路面復元方
法を説明するための図である。

【図７】本実施例１の３次元座標値からの道路長の取得
方法を説明するための図である。

【図８】本実施例１の道路面モデルの出力処理の処理手
順を示すフローチャートである。

【図９】本実施例１の時刻ｔでの獲得したスリット面中
心のＸ，Ｙ座標値のＸ−Ｙ軌跡を示す図である。

【図１０】本実施例１の３次元座標値からの道路長の取
得方法を説明するための図である。

【図１１】本実施例１の時刻ｔのときのＺ座標値と時刻
ｔ−１のときのＺ座標値時刻ｔ＋１のときのＺ座標値か
らスリット面の端点Ａ１，Ａ２，Ａ３，Ａ４を求めるた
めの図である。

【図１２】本発明の実施例２の道路面の獲得・復元装置
の概略構成を示すブロック図である。

【図１３】本実施例２の道路面の獲得・復元装置の処理
動作の手順を示すフローチャートである。

【図１４】本実施例２の画像面上のスリット面形状の形
成方法を説明するための図である。

【図１５】本実施例２の幾何情報と光学情報を組み合わ
せた３次元モデル出力の処理手順を示すフローチャート
である。

【図１６】従来技術の問題点を説明するための図であ
る。

【図１７】従来技術の問題点を説明するための図であ
る。

【符号の説明】

１…画像入力装置（画像入力部） ２…センシング部 ３…レジストレーション部 ４…移動距離計算部 ５…幾何情報獲得部 ６…モデル構築部 ７…モデル出力部 ８…光学情報獲得部 ９…画像入力装置移動手段 １０…道路表面 Ｘｉ，Ｙｉ，Ｚｉ，Ｘｊ，Ｙｊ，Ｚｊ…カメラ視点の位
置座標 Ｐ１…時刻ｔiでのカメラ視点（位置） Ｐ２…時刻ｔjでのカメラ視点（位置） Ｑ…時刻ｔjでのカメラ視点（位置）から見た道路表面
の位置座標 ＲＯ…カメラの視点を通過する入射光の光軸 ｔｉ，ｔｊ…時刻 Ｈｃ…道路表面からカメラの視点までの高さ Ｖｉ…移動速度 Ｌｉ…移動量 ３０…基本モデルデータ蓄積部 ３１…モデル選択部 ３２…時系列画像データ蓄積部（記憶装置） ３３…対応画像ロード部 ３４…対応形状得取部 ３５…基本モデルデータの投影部 ３６…対応形状との整合性検出部 ３７…許容誤差値検出部（レジストレーション成功検出
手段） ３８…カメラ姿勢パラメータ調整部 ３９…カメラ位置パラメータ調整部 ４０…レジストレーション成功信号出力部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｂ 29/00 Ｇ０１Ｂ 11/24 Ａ Ｋ (72)発明者 長井 茂 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 有川 知彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 2C032 HB03 HB11 HC01 HC23 2F065 AA04 AA53 BB05 CC40 DD03 EE11 FF01 FF04 FF64 FF67 JJ03 JJ26 MM07 QQ21 QQ25 QQ39 QQ42 RR02 RR06 SS13 UU05 5B050 AA01 BA09 BA17 DA07 EA07 EA13 EA28 FA02 5B057 AA16 BA02 CA12 CA16 CB13 CB17 CE15 DA07 DA17 DB02 DC02 DC03 DC08 DC09 DC16 DC33

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像入力部から時系列に映像を取り込み
   ながら、該当する画像を撮像したときの画像入力部の位
   置情報を取得し、前記画像中の対象物の物理的なスケー
   ルを決定し、前記時系列にしたがって、画像入力部の移
   動量を逐次計算し、その計算された画像入力部の移動量
   に対応させながら、対象物の３次元座標値を獲得しなが
   ら、逐次３次元モデルを出力することを特徴とする撮影
   対象物の自動獲得・復元方法。
2. 【請求項２】 対象物を撮影して時系列に映像を取り込
   む画像入力部（カメラ）と、該当する画像を撮像したと
   きの画像入力部の位置情報を取得するセンシング部と、
   前記画像中の対象物の物理的なスケールを決定するレジ
   ストレーション部と、前記時系列にしたがって、画像入
   力部の移動量を逐次計算する移動距離計算部と、この移
   動距離計算部で計算された画像入力部の移動量に対応さ
   せながら、撮影対象物の３次元座標値を獲得する幾何情
   報獲得部と、この幾何情報獲得部の３次元座標値に基づ
   いて３次元モデルを生成して出力するモデル出力部とを
   具備することを特徴とする撮影対象物の自動獲得・復元
   装置。
3. 【請求項３】 地面を対象物として撮影した時系列画像
   データから自動的に地面を表現するか、あるいはモデル
   化する３次元的形状幾何情報もしくは表面形状を自動的
   に獲得・復元する地面、標高面の自動獲得・復元方法に
   おいて、データベースから登録されている地面上のモデ
   ルデータを読み出し、そのモデル情報と、対象物の画像
   中に映っているモデルの形状から画像入力手段のカメラ
   パラメータを自動調整し、前記モデルデータと対象物画
   像から検出した座標を対応付け、前記対応付けられた画
   像中にスリット面を設定し、画像中のスリット面の水平
   方向又は横方向に沿った幅の物理的な長さを獲得し、所
   定時間ｎのときに撮影した画像に対して、次の時間ｎ＋
   Δｎの間に画像入力手段（カメラ）が移動したときの距
   離、その間の標高に関する時間的変化量、前記画像入力
   手段の光学系の視線情報、並びに、時間ｎにおける画像
   入力手段の位置情報から、時間ｎから時間ｍ（ｍ≧ｎ＋
   Δｎ）までの間に、画像入力手段が時間ｎのときに画像
   中に映していた地面部分を通過する瞬間の時間を計算
   し、その通過したときの時間ｔ（ｎ＜ｔ≦ｍ）のときの
   画像入力手段の位置情報と、時間ｎと時間ｎ＋Δｎまで
   に移動した距離と、前記に設定したスリット幅から、時
   間ｎのときに設定した地面部分のスリット面の各頂点に
   ３次元座標値を獲得しながら、逐次３次元の地面を獲得
   ・復元、又は再現することを特徴とする地面、標高面の
   自動獲得・復元方法。
4. 【請求項４】 地面を対象物として撮影した時系列画像
   データから、自動的に地面を表現するか、あるいはモデ
   ル化する３次元的形状幾何情報もしくは表面形状を自動
   的に獲得・復元する地面、標高面の自動獲得・復元装置
   において、データベースから登録されている地面上のモ
   デルデータを読み出し、そのモデル情報と、対象物の画
   像中に映っているモデルの形状から画像入力手段のカメ
   ラパラメータを自動調整する画像入力手段のカメラパラ
   メータ自動調整手段と、前記モデルデータと対象物画像
   中に対応付ける座標を検出し、その座標をユニークに対
   応付けるレジストレーション手段と、前記モデルデータ
   と対象物画像の座標が対応付けられた画像中にスリット
   面を設定するスリット面設定手段と、前記画像中のスリ
   ット面の水平方向又は横方向に沿った幅の物理的な長さ
   を獲得するスリット幅獲得手段と、所定時間ｎのときに
   撮影した画像に対して、次の時間ｎ＋Δｎの間に画像入
   力手段が移動したときの距離、その間の標高に関する時
   間的変化量、画像入力手段の光学系の視線情報、及び時
   間ｎにおける画像入力手段の位置情報から、時間ｎから
   時間ｍ（ｍ≧ｎ＋Δｎ）までの間に、画像入力手段が時
   間ｎのときに画像中に映していた地面部分を通過する瞬
   間の時間を計算する地面部分通過時間計算手段と、その
   通過したときの時間ｔ（ｎ＜ｔ≦ｍ）のときの画像入力
   手段の位置情報と、時間ｎと時間ｎ＋Δｎまでに移動し
   た距離と、前記設定したスリット幅から、時間ｎのとき
   に設定した地面部分のスリット面の各頂点に３次元座標
   値を獲得しながら、地面部分の前記スリット面に対応す
   る光学情報を映像中から抽出する光学情報抽出手段と、
   前記スリット面の３次元形状と、画像入力手段の位置関
   係から、幾何的形状歪みを補正する手段と、それをもと
   に変形または、変換した光学情報を獲得する変換光学情
   報獲得手段と、前記の３次元幾何情報と、光学情報を組
   み合わせて、逐次、地面の３次元モデルを獲得・復元、
   又は再現する手段とを具備することを特徴とする地面、
   標高面の自動獲得・復元装置。
5. 【請求項５】 道路を対象として撮影した時系列画像デ
   ータから、自動的に地面を表現するか、あるいはモデル
   化する３次元的形状幾何情報もしくは表面形状を自動的
   に獲得、復元する道路面の自動獲得・復元方法におい
   て、データベースから登録されている地面上のモデルデ
   ータを読み出し、そのモデル情報と、対象物の画像中に
   映っているモデルの形状から画像入力部のカメラパラメ
   ータを自動調整し、前記モデルデータと画像座標をユニ
   ークに対応付け、前記モデルデータと画像座標を対応付
   けた画像中に検出し、ユニークに対応付けられた画像中
   にスリット面を設定し、前記画像中のスリット面の水平
   方向又は横方向に沿った幅の物理的な長さを獲得し、所
   定時間ｎのときに撮影した画像に対して、次の時間ｎ＋
   Δｎの間に画像入力手段が移動したときの距離、その間
   の標高に関する時間的変化量、画像入力手段の光学系の
   視線情報、及び時間ｎにおける画像入力手段の位置情報
   から、所定時間ｎから時間ｍ（ｍ≧ｎ＋Δｎ）までの間
   に、画像入力手段が時間ｎのときに画像中に映していた
   地面部分を通過する瞬間の時間を計算し、その通過した
   ときの時間ｔ（ｎ＜ｔ≦ｍ）のときの画像入力手段の位
   置情報と、時間ｎと時間ｎ＋Δｎまでに移動した距離
   と、前記設定したスリット幅から、時間ｎのときに設定
   した地面部分のスリット面の各頂点に３次元座標値を獲
   得しながら、逐次３次元の地面を獲得・復元、又は再現
   することを特徴とする道路面の自動獲得・復元方法。
6. 【請求項６】 道路を対象として撮影した時系列画像デ
   ータから自動的に表現するか、あるいはモデル化する３
   次元的形状幾何情報もしくは表面形状を自動的に獲得・
   復元する道路面の自動獲得・復元装置において、データ
   ベースから登録されている地面上のモデルデータを読み
   出し、そのモデル情報と、対象物の画像中に映っている
   モデルの形状から画像入力手段（カメラ）パラメータを
   自動調整するカメラパラメータ自動調整手段と、前記モ
   デルデータと画像座標中に対応付ける座標を検出し、そ
   の座標をユニークに対応付けるレジストレーション手段
   と、前記モデルデータと画像座標をユニークに対応付け
   られた画像中にスリット面を設定するスリット面設定手
   段と、前記画像中のスリット面の水平方向又は横方向に
   沿った幅の物理的な長さを獲得するスリット幅獲得手段
   と、所定時間ｎのときに撮影した画像に対して、次の時
   間ｎ＋Δｎの間に画像入力手段が移動したときの距離、
   その間の標高に関する時間的変化量、画像入力手段の光
   学系の視線情報、及び時間ｎにおける画像入力手段の位
   置情報から、所定時間ｎから時間ｍ（ｍ≧ｎ＋Δｎ）ま
   での間に、画像入力手段が時間ｎのときに画像中に映し
   ていた地面部分を通過する瞬間の時間を計算する地面部
   分通過時間計算手段と、その通過したときの時間ｔ（ｎ
   ＜ｔ≦ｍ）のときの画像入力手段の位置情報と、時間ｎ
   と時間ｎ＋Δｎまでに移動した距離と、前記設定したス
   リット幅から、時間ｎのときに設定した地面部分のスリ
   ット面の各頂点に３次元座標値を獲得しながら、地面部
   分の前記スリット面に対応する光学情報を映像中から抽
   出する光学情報抽出手段と、前記スリット面の３次元形
   状と、画像入力手段の位置関係から、幾何的形状歪みを
   補正する手段と、それをもとに変形または、変換した光
   学情報を獲得する変換光学情報獲得手段と、前記３次元
   幾何情報と、光学情報を組み合わせて、逐次、地面の３
   次元モデルを獲得・復元、又は再現する手段を具備する
   ことを特徴とする道路面の自動獲得・復元装置。