JPH1166349A - 移動量予測型景観ラベリング装置およびシステム - Google Patents

Abstract

(57)【要約】 【課題】 景観ラベリング装置を自動車等に搭載して自
動車の内部から見える画像にラベルを付す場合、ラベル
の付与位置がずれないようにする。 【解決手段】 移動量予測部４は、ラベリング命令を受
けた時刻Ｓから、ラベル情報を表示可能な時刻までの時
間差Ｔが経過した時刻Ｅまでカメラ角・焦点距離が一定
のまま自動車が道路沿いに進行しているものとして、時
刻Ｅでの位置Ｐを時刻Ｓでの位置を元に地理的情報と自
動車の移動速度から推定する。地図情報管理部５は位置
Ｐと時刻Ｓでのカメラ角・焦点距離を基にして、地図Ｄ
Ｂにアクセスし、視野空間を算出し、視野空間中の各構
造物をカメラ面に投影変換し、さらに隠面処理をして時
刻Ｅにおいて見えるであろう構造物を抽出する。ラベル
情報作成部６はこの隠れ面にない構造物をもとにラベル
情報を作成し、ラベル情報出力部７は時刻Ｅに撮影され
た未加工の画像にラベル情報を重畳表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の景観画
像入力機器を用いて利用者が撮影した画像に対してその
画像中の各部分領域に関する地理的な情報を画像表示装
置に重畳表示したり音声案内等して利用者に教示する装
置に関する。

【０００２】

【従来の技術】従来、利用者がいる周辺に関する地理的
情報を利用者に教示するシステムとして種々のナビゲー
ションシステムがあった。

【０００３】図１０は特開平８−２７３０００号に開示
されたナビゲーション装置の構成図である。この装置
は、車両の位置データと動きデータを入力すると、道路
地図データを参照して車両の位置を更新する位置更新部
７１と、地図データ等に基づいて表示用道路データおよ
び表示用背景データを発生させる表示用データ発生部７
２と、これらの表示用データに基づいて３次元動画像デ
ータを作成する３次元動画像データ作成部７３と、記憶
部７４を有し、ナビゲーション装置のユーザが目的地、
経由地を含む走行経路を事前に設定する場合に、地図画
面でなく実際に存在する道路に沿ったリアルな動画像表
示画面を見ながら経路を設定できる機能を有する。

【０００４】この装置によれば、ユーザは在る経路に沿
って走行するときに、その経路に沿った動画像表示（例
えば、図１１）を見ることができる。

【０００５】

【発明が解決しようとする課題】しかしながら、同装置
を用いる場合、最終的には人間が現実の風景とコンピュ
ータの世界での地理的情報とを肉眼で対応付けることに
よって、現実の風景の中のものが何であるかを認識しな
ければならない。つまり、利用者の眼前にある実際の建
物や道路や山が何であるかを、動画像表示された地図中
の記号等を基にして人間が肉眼を頼りにして人間の脳を
無意識に働かせて対応付けの作業を行って理解しなけれ
ばならない。街角等では、コンピュータでの地図と実際
の景観を見比べては方角を把握したり目印を見つけたり
してその方向を注視し、その方向にある建物の特徴を理
解した上で再度地図を見てその建物が何であるかを理解
している。

【０００６】このため、何度もコンピュータ上の地図と
実風景を見比べて人間の方で対応付けする手間は省略で
きないという問題点がある。特に薄暗がりや夜間等は実
風景が見にくくて対応を取りにくい。

【０００７】本発明の目的は、自動車等の車両に搭載さ
れて、コンピュータ上の地理的情報と実風景の画像（以
下、景観画像と呼ぶ。）中の各部分とを対応づけて利用
者に教示する景観ラベリング装置およびシステムを提供
することである。

【０００８】

【課題を解決するための手段】自動車等に景観ラベリン
グ装置を搭載して自動車の内部から見える景観に対して
ラベルを付す場合、自動車等の移動速度に対して計算機
の処理速度が追い付かないためにラベル付与位置がずれ
てしまう問題がある。

【０００９】そこで、本発明は自動車等の物体が移動す
る場合は、移動速度を求めておき、一定時間後のラベル
表示処理時刻に移動しているであろう位置を求めてお
き、その位置でのラベル情報を作成して表示する。

【００１０】本発明では、移動量予測手段を備え、移動
量予測手段では、ラベリング命令を受けた時刻Ｓから、
ラベル情報を表示可能な時刻までの時間差Ｔが経過した
時刻Ｅまでカメラ角・焦点距離が一定のままであり車両
は道路沿いに進行しているものと仮定し、時刻Ｅでの位
置Ｐを時刻Ｓでの位置を元に道路に関する地理的情報と
物体の移動速度から推定する。

【００１１】これ以降、位置Ｐと時刻Ｓでのカメラ角・
焦点距離を基にして地図ＤＢにアクセスし、視野空間を
算出し、視野空間中の各構造物をカメラ面に投影変換
し、さらに隠面処理をして時刻Ｅにおいて見えるであろ
う構造物を抽出する。この隠面にない構造物をもとにラ
ベル情報を作成し、時刻Ｅにカメラから撮影された未加
工の映像にラベル情報を重畳表示する。

【００１２】この地理的情報とは画像での、構造物等の
名称またはその属性情報であり、属性情報とはその構造
物に関するあらゆる属性（例えば輪郭、色等）について
の情報を意味する。この明細書の中では構造物という言
葉を人工の構造物以外に、山や川や海等の天然の地形も
含めて地図ＤＢでの何らかの地理的構造を有するデータ
全ての意味で用いることとする。地理的情報の取得にあ
たっては、カメラ位置、カメラ角、焦点距離、画像サイ
ズをもとに景観画像を求め、複数画像の構造物を求め
る。その構造物が写っているはずの景観画像の位置（以
下、付与位置と称す）を求めて、構造物の名称または属
性情報を重畳表示する。

【００１３】本発明の移動量予測型景観ラベリング装置
は、画像を取得する画像取得手段と、カメラ位置を取得
する位置情報取得手段と、カメラ角と焦点距離と画像サ
イズを取得するカメラ属性情報取得手段と、ラベリング
命令を受けた第１の時刻からラベル情報を表示可能な第
２の時刻までの間前記カメラ角と前記焦点距離が一定の
ままと仮定し、第２の時刻での位置を第１の時刻を元に
地理的情報と車両の移動速度から推定する移動量予測手
段と、地図情報を管理し、第２の時刻での位置と第１の
時刻でのカメラ角と焦点距離を基に地図情報空間の中で
視野空間を求め、視野空間中の各構造物をカメラ面に投
影変換し、さらに隠面処理をして第２の時刻において見
えるであろう構造物を抽出する地図情報管理手段と、抽
出した構造物の名称またはその属性情報および付与位置
を含むラベル情報を作成するラベル情報作成手段と、作
成されたラベル情報中の付与位置の情報に対応する、第
２の時刻で取得した画像中の位置に構造物の名称または
その属性情報を重畳し、重畳された画像を視覚機器に出
力するラベル情報出力手段と、上記各手段を制御する制
御手段を有する。

【００１４】また、本発明の移動量予測型景観ラベリン
グシステムは、車両に搭載された景観ラベリング端末と
景観ラベリングセンターからなり、景観ラベリング端末
は、画像を取得する画像取得手段と、カメラ位置を取得
する位置情報取得手段と、カメラ角と焦点距離と画像サ
イズを取得するカメラ属性情報取得手段と、ラベリング
命令を受けた第１の時刻からラベル情報を表示可能な第
２の時刻までの間前記カメラ角と前記焦点距離が一定の
ままと仮定し、第２の時刻での位置を第１の時刻を基に
地理的情報と車両の移動速度から推定する移動量予測手
段と、前記カメラ角と前記焦点距離と前記画像サイズと
第２の時刻での位置を通信網を介して前記景観ラベリン
グセンターに送信し、前記景観ラベリングセンターから
ラベル情報を受信する通信制御手段と、前記ラベル情報
中の構造物の名称またはその属性情報を、第２の時刻で
取得した未加工の画像中の付与位置に対応する位置に重
畳し、重畳された画像を視覚機器に表示するラベル情報
出力手段と、上記各手段を制御する端末制御手段を有
し、前記景観ラベリングセンターは、前記通信網を介し
て前記景観ラベリング端末から前記カメラ角と前記焦点
距離と前記画像サイズと前記第２の時刻での位置を受信
し、前記景観ラベリング端末に前記ラベル情報を送信す
る通信制御手段と、地図情報を管理し、第２の時刻での
位置と第１の時刻でのカメラ角と焦点距離を基に地図情
報空間の中での視野空間を求め、視野空間中の各構造物
をカメラ面に投影変換し、さらに隠面処理をして第２の
時刻において見えるであろう構造物を抽出する地図情報
管理手段と、抽出した前記構造物の名称または属性情報
および付与位置を含む前記ラベル情報を作成するラベル
情報作成手段と、上記各手段を制御するセンター制御手
段を有する。

【００１５】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１６】図１を参照すると、本発明の一実施形態の
移動量予測型景観ラベリング装置は、画像を取得する、
例えばディジタルカメラである画像取得部１と、カメラ
位置を取得する、例えばＧＰＳ受信機である位置情報取
得部２と、カメラ角と焦点距離と画像サイズを取得す
る、例えばディジタルカメラに取り付けられた３次元電
子コンパスであるカメラ属性情報取得部３と、ラベリン
グ命令を受けた第１の時刻Ｓからラベル情報を表示可能
な第２の時刻Ｅまでの間前記カメラ角と前記焦点距離が
一定のままと仮定し、第２の時刻での位置を第１の時刻
Ｓを元に地理的情報と車両の移動速度から推定する移動
量予測部４と、地図情報を管理し、第２の時刻Ｅでの位
置と第１の時刻Ｓでのカメラ角と焦点距離を基に地図情
報空間の中で視野空間を求め、視野空間中の各構造物を
カメラ面に投影変換し、さらに隠面処理をして第２の時
刻Ｅにおいて見えるであろう構造物を抽出する地図情報
管理部５と、抽出した構造物の名称またはその属性情報
および付与位置を含むラベル情報を作成するラベル情報
作成部６と、取得したラベル情報中の付与位置の情報に
対応する、第２の時刻Ｅで取得した未加工の画像中の位
置に構造物の名称またはその属性情報を重畳し、重畳さ
れた画像を視覚機器に出力するラベル情報出力部７と、
上記各部を制御する制御部８で構成されている。

【００１７】図２は図１の景観ラベリング装置の処理の
流れ図である。

【００１８】次に、本実施形態の動作を詳細に図２によ
り説明する。

【００１９】まず、時刻Ｓにラベル情報を作成するラベ
リング命令を受けると、制御部８は、位置情報取得部
２、カメラ属性情報取得部３に対して処理開始コマンド
を送る。位置情報取得部２は、制御部８から命令を受け
てＧＰＳ受信機等により位置情報を取得し、制御部８に
渡す（ステップ２１）。カメラ属性情報取得部３は、制
御部８の命令を受けてカメラ等景観画像記録装置のカメ
ラ角を水平角と仰角の組で取得し（ステップ２２）、焦
点距離を取得する（ステップ２３）。画像サイズは景観
画像装置毎に固定なので、制御部８が画像サイズ情報を
保持しておく。制御部８は収集した情報を景観画像ファ
イルとして保持する。

【００２０】図３は、景観画像ファイルのデータ構造の
ファイル形式を示す。景観画像ファイルはヘッダ情報と
画像データを持つ。ヘッダ情報としては、位置情報、カ
メラ角情報、焦点距離、時刻情報、画像ファイルの画像
サイズ、タイプおよびサイズを持つ。位置情報として、
東経、北緯、標高の各データ（例えば、東経１３７度５
５分１０秒、北緯３４度３４分３０秒、標高１０１ｍ３
３ｃｍ等）を有する。カメラ角として、水平角と仰角の
各データ（例えば、水平角右回り２５４度、仰角１５度
等）を有する。焦点距離データは、画像撮影時のカメラ
レンズの焦点距離（例えば２８ｍｍ等）である。時刻情
報として、撮影時の時刻（例えば、日本時間１９９７年
１月３１日１５時６分１７秒等）を持つ。画像ファイル
の画像サイズとして、縦横の画素サイズ（例えば、６４
０×４８０等）を持つ。同じくファイルタイプ（ＴＩＦ
Ｅ形式、８ビットカラー等）を持つ。同じくファイルの
バイト数（３０７．２ＫＢ等）を持つ。画像データその
ものを例えばバイナリー形式で持つ。

【００２１】制御部８は景観画像ファイルを格納する
と、自動車の移動速度とラベル表示間隔Ｔを取得する
（ステップ２４、２５）。次に、移動量予測部４は、第
１の時刻Ｓが時間Ｔ後、第２の時刻Ｅまでの間カメラ
角、焦点距離は一定のままであり、自動車は道路沿いに
走行しているものと仮定して時刻Ｅでの自動車の位置Ｐ
を時刻Ｓでの自動車の位置を基に道路に関する地理的情
報と自動車の移動速度から推定する（ステップ２６）。
例えば道路が直線であれば自動車の移動速度に時間をか
けて距離を算出すれば位置Ｐが求まる。

【００２２】次に、制御部８は、景観画像ファイルのヘ
ッダ情報を地図情報管理部５に渡して視野空間の算出処
理を行う処理要求を出す。地図情報管理部５の例として
は、地図データベースプログラムがある。地図情報管理
部５は３次元地図データを管理している。２次元地図デ
ータでもよいが、その場合は高さ情報がないために実風
景へのラベリングの付与位置の精度が劣る。なお、２次
元地図データを基にする場合は、高さ情報を補って処理
する。例えば、家屋の２次元データである場合には、家
屋が何階建てかを表す階数情報があれば、階数に一定数
を掛けてその家屋の高さを推定し、２次元データと推定
して求めた高さ情報を基に３次元データを作成する。階
数情報がない場合でも、家屋図形の面積に応じて一定数
の高さを割り振る等して高さ情報を推定することがで
き、同様に推定高さ情報をもとに３次元データを作成す
る。こうして３次元データを作成して処理を進める。

【００２３】３次元地図データの例を図４に示す。図４
（１）に２次元で表現した地図情報空間を示し、図４
（２）に３次元で表現した地図情報空間を示す。この３
次元地図情報空間に対して、地図情報管理部５では制御
部８の命令を受けて地図ＤＢをアクセスし（ステップ２
７）、景観画像ファイルのヘッダ情報を基に視野空間を
算出する（ステップ２８）。図５に視野空間の計算例を
示す。まず、水平方向にＸＹ軸が張り、垂直方向にＺ軸
が張るものとする。景観画像ファイルのヘッダ情報中の
位置情報から、視点Ｅの位置を３次元地図情報空間の中
で設定する。例えば、東経１３７度５５分１９秒、北緯
３４度３４分３０秒、標高１０１ｍ３３ｃｍであれば、
それに対応する地図メッシュ番号中の対応する座標を設
定する。同じくヘッダ情報中のカメラ角情報中の水平角
と仰角をもとにカメラ角方向を設定する。カメラ角方向
を表す直線上に視点Ｅから焦点距離分進んだ点に焦点Ｆ
をとる。視線方向ベクトルはその直線上で視点Ｅから出
る長さｌの単位ベクトルである。景観画像ファイルの画
像サイズで横方向のサイズからカメラ画面のＸ軸での幅
ｘを設定し、縦方向のサイズからＹ軸での幅ｙを設定す
る。横ｘ縦ｙの平面は視線方向ベクトルに対してカメラ
角方向に垂直で、かつ焦点Ｆを含むように設定される。
視点Ｅの座標からカメラ画面の４隅の点とを結ぶ直線を
各々求め、視点Ｅから延びる４本の半直線が作る３次元
空間を視野空間とする。図６に、３次元地図空間での視
野空間の例を示す。３次元地図空間をＸＺ平面から眺め
たものである。図６中で斜線で囲まれた部分は視野空間
に属する空間の、ＸＺ平面での断面図である。図６の例
では、視野空間の中のビルや山が含まれている。

【００２４】さらに、地図情報管理部５では、求めた視
野空間の中に存在する構造物を求める。構造物毎に、構
造物を表す立体を構成する各頂点が、視野空間の内部領
域に存在するか否かを計算する。通常２次元地図空間は
一定サイズの２次元メッシュで区切られている。３次元
地図空間のメッシュの切り方としては、縦横の２次元方
向のメッシュに加えて高さ方向にも一定間隔でメッシュ
を切っていく。空間を直方体の単位空間で区切ることに
なる。まず、直方体の単位空間毎視野空間との重なり部
分の有無を調べ、重なり部分がある３次元単位地図空間
の番号を求める。ここでいう３次元単位地図空間の番号
とは、いわゆるメッシュ番号と同様のものである。重な
りを持つ３次元単位地図空間内にある構造物に対して、
視野空間と重なり部分の有無を調べる。構造物を構成す
る頂点の座標と視点の座標とを結ぶ直線を求め、その直
線が図７のカメラ画面に対して交点を持つならば視野空
間内にある。構造物を構成する複数の頂点のうち、一つ
の頂点でもこの条件を満たせば、この構造物は視野空間
と重なり部分を持つものとする。

【００２５】構造物が視野空間の内部に含まれるか、ま
たはその一部が含まれる場合、カメラ画面と投影面とし
て、各構造物をこの投影面に３次元投影変換する処理に
入る（ステップ２９）。ここで、図７に示すように、点
Ｐを次式（１）を基にして視点Ｅを基にした座標系で表
現し直した後、点Ｐをカメラ画面に投影して交点Ｑを求
める。

【００２６】

【数１】 ここで、 点Ｐ＝（ｘ，ｙ，ｚ）：構造物を構成する頂点の座標 点Ｅ＝（ｅｘ，ｅｙ，ｅｚ）：視点の座標 ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）：視線方向ベクトル
（単位ベクトル） 点Ｐ’＝（ｘ’，ｙ’，ｚ’）：点Ｐの視点Ｅを基にし
た座標系で表現した場合の座標 ｒ＝（ｌｘ² ＋ｌｙ² ）^1/2 交点Ｑ＝（Ｘ，Ｙ）：点Ｐのカメラ画面への投影点 ｔは焦点距離

【００２７】３次元投影変換にあたっては、まず各構造
物毎にその頂点が張る面を求める。例えば、直方体で表
現される構造物ならば、６つの面が求まる。各面をカメ
ラ画面に投影変換する際に、投影領域に含まれるカメラ
画面上の各画素に対し、視点とその面上の対応点との距
離を計算して奥行き値（Ｚ値）としてメモリに格納す
る。各構造物の各面毎に、カメラ画面上の各画素に対す
る奥行き値（Ｚ値）を計算し、メモリに格納する。なお
（式）１中のｚ’は視点からの奥行き値（Ｚ値）を表
す。

【００２８】カメラ画面に３次元投影変換された構造物
のうちには、視点から見える構造物と見えない構造物が
ある。その中で視点から見える構造物のみを求め、視点
から反対側にある面や他の構造物に遮られている面を求
める必要がある。そこで、隠面処理を行う（ステップ３
０）。隠面処理の方法には、いろいろあるが、例えばＺ
バッファ法を用いる。他のスキャンライン法、光線追跡
法でもよい。

【００２９】カメラ画面上の画素を任意にとって、その
画素に対して最も小さい奥行き値をとる面を求める。こ
のように各構造物の各面について順次処理を続けていく
と、カメラ画面上の各画素毎に視点に最も近い面が残さ
れる。カメラ画面上の各画素毎に視点に最も近い面が決
定され、また視点に最も近い面が共通するカメラ画面上
画素は一般的に領域を構成するので、カメラ画面では、
共通の面を最も近い面とする画素からなる領域が複数で
きる。こうして求まった領域が、視点から見える構造物
の部分領域を３次元投影変換した結果の領域である。視
点から反対側にある面や他の構造物に遮られている面は
消去されている。このようにして隠面にない構造物を抽
出する（ステップ３１）。

【００３０】ラベル情報作成部６は、ラベル情報を作成
する処理（ステップ３２）に入る。まず、３次元地図Ｄ
Ｂにアクセスしてその構造物の名称または属性情報を取
得する。ここで属性情報とは、その構造物に関して付随
する情報を意味し、その構造物に係る情報ならば何でも
よい。そして、名称または属性情報を重畳すべき位置座
標を決める。決め方は、どのように決めてもよい。その
構造物の名称または属性情報および付与位置座標からラ
ベル情報を作成する。表１にラベル情報の例を示す。

【００３１】

【表１】

【００３２】ラベル情報作成部６は、ラベル情報を作成
し終ったら、制御部８にラベル情報を渡す。

【００３３】制御部８は、ラベル情報を受け取ると、ラ
ベル情報出力部７に対して視覚機器に対してラベル情報
を表示するように命令する。ここで、視覚機器は、ディ
スプレイ、ヘッドマウントディスプレイ等の映像表示装
置を含む。ラベル情報中の構造物の名称または属性情報
を景観画像中の位置に重畳し（ステップ３４）、重畳さ
れた景観画像を映像表示装置に出力する（ステップ３
５）。図８にラベル情報が重畳された景観画像の例を示
す。

【００３４】ラベル情報を付す動作を繰り返す場合に
は、図２の処理を繰り返せばよい。

【００３５】図９は図１の景観ラベリング装置を通信シ
ステムに適用した移動量予測型景観ラベリングシステム
の構成図である。

【００３６】本景観ラベリングシステムは、自動車に搭
載された景観ラベリング端末４０と景観ラベリングセン
ター５０と通信網６０で構成される。

【００３７】景観ラベリング端末４０は、画像を取得す
る画像取得部４１と、位置を取得する位置情報取得部４
２と、カメラ角と焦点距離と画像サイズを取得するカメ
ラ属性情報取得部４３と、ラベリング命令を受けた第１
の時刻Ｓからラベル情報を表示可能な第２の時刻Ｅまで
の時間差の間前記カメラ角と前記焦点距離が一定のまま
と仮定し、第２の時刻Ｅでの自動車の位置Ｐを第１の時
刻Ｓを基に地理的情報と自動車の移動速度から推定する
移動量予測部４４と、カメラ角と焦点距離と画像サイズ
と第２の時刻での自動車の位置Ｐを通信網６０を介して
景観ラベリングセンター５０に送信し、景観ラベリング
センター５０からラベル情報を受信する通信制御部４５
と、ラベル情報中の構造物の名称または属性情報を、第
２の時刻Ｅで取得した未加工の画像中の付与位置に対応
する位置に重畳し、重畳された画像を視覚機器に表示す
るラベル情報出力部４７と、上記各部を制御する端末制
御部４６で構成される。

【００３８】景観ラベリングセンター５０は通信網６０
を介して景観ラベリング端末４０からカメラ角と焦点距
離と画像サイズと第２の時刻Ｅでの自動車の位置を受信
し、景観ラベリング端末４０にラベル情報を送信する通
信制御部５３と、地図情報を管理し、第２の時刻Ｅでの
位置と第１の時刻Ｓでのカメラ角と焦点距離を基に地図
情報空間の中での視野空間を求め、視野空間中の各構造
物をカメラ面に投影変換し、さらに隠面処理をして第２
の時刻Ｅにおいて見えるであろう構造物を抽出する地図
情報管理部５１と、抽出した前記構造物の名称または属
性情報および付与位置を含むラベル情報を作成するラベ
ル情報作成部５２と、上記各部を制御するセンター制御
部５４で構成される。

【００３９】本システムの動作は図１の装置の動作と同
様である。

【００４０】

【発明の効果】以上説明したように本発明によれば、自
動車等に景観ラベリング装置を搭載して自動車から見え
る画像にラベル情報を付する場合に、ラベル情報の付与
位置がずれてしまうことがなくなる。

【図面の簡単な説明】

【図１】本発明の一実施形態の移動量予測型景観ラベリ
ング装置の構成図である。

【図２】図１の景観ラベリング装置の処理の流れ図であ
る。

【図３】景観画像ファイルのデータ構造を示す図であ
る。

【図４】２次元地図の例（同図（１））とその３次元地
図（同図（２））を示す図である。

【図５】視野空間の計算方法を示す図である。

【図６】３次元地図空間での視野空間の例を示す図であ
る。

【図７】投影図の例を示す図である。

【図８】景観画像へのラベル情報の重畳の例を示す図で
ある。

【図９】本発明の一実施形態の移動量予測型景観ラベリ
ングシステムの構成図である。

【図１０】特開平８−２７３０００号に開示されたナビ
ゲーション装置の構成図である。

【図１１】動画像の表示例を示す図である。

【符号の説明】

１ 画像取得部 ２ 位置情報取得部 ３ カメラ属性情報取得部 ４ 移動量予測部 ５ 地図情報管理部 ６ ラベル情報作成部 ７ ラベル情報出力部 ８ 制御部 ２１〜３５ ステップ ４０ ラベリング端末 ４１ 画像取得部 ４２ 位置情報取得部 ４３ カメラ属性情報取得部 ４４ 移動量予測部 ４５ 通信制御部 ４６ 端末制御部 ４７ ラベル情報出力部 ５０ 景観ラベリングセンター ５１ 地図情報管理部 ５２ ラベル情報作成部 ５３ 通信制御部 ５４ センター制御部 ６０ 通信網

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高野 正次 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 池田 武史 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 車両に搭載されて、車両から見える画像
   に対してラベルを付す移動量予測型景観ラベリング装置
   であって、 画像を取得する画像取得手段と、 カメラ位置を取得する位置情報取得手段と、 カメラ角と焦点距離と画像サイズを取得するカメラ属性
   情報取得手段と、 ラベリング命令を受けた第１の時刻からラベル情報を表
   示可能な第２の時刻までの間前記カメラ角と前記焦点距
   離が一定のままと仮定し、第２の時刻での位置を第１の
   時刻を元に地理的情報と車両の移動速度から推定する移
   動量予測手段と、 地図情報を管理し、第２の時刻での位置と第１の時刻で
   のカメラ角と焦点距離を基に地図情報空間の中で視野空
   間を求め、視野空間中の各構造物をカメラ面に投影変換
   し、さらに隠面処理をして第２の時刻において見えるで
   あろう構造物を抽出する地図情報管理手段と、 抽出した構造物の名称またはその属性情報および付与位
   置を含むラベル情報を作成するラベル情報作成手段と、 作成されたラベル情報中の付与位置の情報に対応する、
   第２の時刻で取得した画像中の位置に構造物の名称また
   はその属性情報を重畳し、重畳された画像を視覚機器に
   表示するラベル情報出力手段と、 上記各手段を制御する制御手段を有する移動量予測型景
   観ラベリング装置。
2. 【請求項２】 車両に搭載された景観ラベリング端末と
   景観ラベリングセンターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
   段と、カメラ位置を取得する位置情報取得手段と、カメ
   ラ角と焦点距離と画像サイズを取得するカメラ属性情報
   取得手段と、ラベリング命令を受けた第１の時刻からラ
   ベル情報を表示可能な第２の時刻までの間前記カメラ角
   と前記焦点距離が一定のままと仮定し、第２の時刻での
   位置を第１の時刻を基に地理的情報と車両の移動速度か
   ら推定する移動量予測手段と、前記カメラ角と前記焦点
   距離と前記画像サイズと第２の時刻での位置を通信網を
   介して前記景観ラベリングセンターに送信し、前記景観
   ラベリングセンターからラベル情報を受信する通信制御
   手段と、前記ラベル情報中の構造物の名称またはその属
   性情報を、第２の時刻で取得した未加工の画像中の付与
   位置に対応する位置に重畳し、重畳された画像を視覚機
   器に表示するラベル情報出力手段と、前記各手段を制御
   する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
   記景観ラベリング端末から前記カメラ角と前記焦点距離
   と前記画像サイズと前記第２の時刻での位置を受信し、
   前記景観ラベリング端末に前記ラベル情報を送信する通
   信制御手段と、地図情報を管理し、第２の時刻での位置
   と第１の時刻でのカメラ角と焦点距離を基に地図情報空
   間の中での視野空間を求め、視野空間中の各構造物をカ
   メラ面に投影変換し、さらに隠面処理をして第２の時刻
   において見えるであろう構造物を抽出する地図情報管理
   手段と、抽出した前記構造物の名称または属性情報およ
   び付与位置を含む前記ラベル情報を作成するラベル情報
   作成手段と、前記各手段を制御するセンター制御手段を
   有する移動量予測型景観ラベリングシステム。