JPH11122638A - 画像処理装置および画像処理方法ならびに画像処理プログラムが記録されたコンピュータ読み取り可能な情報記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 撮影状況を明瞭に表現することのできる画像
処理装置および画像処理方法ならびに画像処理プログラ
ムが記録されたコンピュータ読み取り可能な情報記録媒
体を提供。 【解決手段】 デジタルカメラ10にて撮影される画像デ
ータは、GPS 受信機12、方位センサ14および高度センタ
16にて検出されるデータとともにメモりカード24に記録
され、これらは通信装置20またはカードリーダ26を介し
てサーバ22の記憶装置32c に登録される。記憶装置32a
には３次元の地図データが登録されており、検索によっ
てこれらデータが表示回路30に読み出され、表示装置36
には、地図データによる立体画像の位置に対応する撮影
位置の画像データが、位置、方位および高度を保持した
状態に立体画像上に作成される画像パネルに合成されて
表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法ならびに画像処理プログラムが記録され
たコンピュータ読み取り可能な情報記録媒体画像処理シ
ステムおよび画像表示プログラムを記録した記録媒体に
関し、たとえば、デジタルカメラやビデオカメラなどで
入力した画像を、電子的にファイリングし、その後目的
に応じて検索を行ないながら画像を再生する電子アルバ
ムシステムに適用し得る画像処理装置および画像処理方
法ならびに画像処理プログラムが記録されたコンピュー
タ読み取り可能な情報記録媒体画像処理システムおよび
画像表示プログラムが記録され記録媒体に関するもので
ある。

【０００２】

【従来の技術】近年、電子カメラやフォトCDなどの普及
によって、電子化された画像データの保存、検索などを
行なうシステムの開発が行われている。たとえば、特開
平7-182366号公報記載の「静止画表示方法および装置」
では、電子カメラなどで撮影した画像を縮小して、ディ
スプレイの一部に銀塩写真のネガのように連続的に表示
し、そこから画像をマウスなどで選択して、同じディス
プレイに表示されたアルバム上に配置し、編集する電子
アルバム装置が提案されている。

【０００３】また、撮影場所の記録を容易にするための
システムとして、電子カメラとGPS（Global Positionin
g System ：全地球位置測位システム）受信機とを組み
合わせたものが開発されている。たとえば、特開平6-26
1244号公報では、GPS 受信機によって取得した位置デー
タを写真に写し込む「GPS 機能付カメラ」が記載されて
いる。

【０００４】さらに、この撮影時の位置を取得できるこ
とを利用して、地図上に撮影位置を表示することができ
る。たとえば、特開平7-286854号公報記載の「電子地図
装置」では、電子カメラで撮影した画像に位置情報を付
加して記録し、再生時には平面地図を表示して撮影画像
が記録されている位置に印をつけておき、後にその印を
選択することでその位置における記録画像が表示できる
電子地図装置が提案されている。

【０００５】デジタルカメラのような電子的に画像を記
録できる電子カメラで入力した画像は、たとえば、ファ
イル名、ファイル番号などのインデックスをその画像を
特定する名前として与えて、コンピュータの記録装置な
どに保存することが多い。また、銀塩写真を整理保管す
るアルバムに相当するものをコンピュータ上で電子的に
実現する電子アルバムでは、インデックスにより画像を
選択して、記録された画像とその画像に関するコメント
などを一枚ずつ表示したり、コンピュータ画面に仮想的
なアルバム台紙を表示し、画像一覧から選んだ画像をア
ルバム台紙上に配置することにより、アルバムのページ
をめくるようにして、保存された画像を再生して鑑賞す
る。

【０００６】

【発明が解決しようとする課題】しかしながら、上述の
ような電子アルバムでは、たとえば、山岳風景を撮影し
た写真のように、被写体を特定できるような情報をほと
んどないような写真画像では、どこで撮影したものか、
またどこから見た風景であるかということを、ユーザが
はっきりと記憶しておくか、撮影場所などをメモに記述
し保管しておく必要があった。そうしておかなければ、
時間が経過した後に再度その画像を見たとき、どこで撮
影したものであったかなどが分からなくなるからであ
る。

【０００７】しかし、一般的には人間の記憶には限界が
あり、また、場所などを記録したメモがある場合でも、
そのメモ内容からその画像に関する地理的な位置を推定
する必要があり、その推定に基づいて画像を見ることに
なり、さらには別に地図を参照する必要が発生すること
もある。さらに、別々の場所で撮影した複数の画像があ
る場合、それぞれの場所は特定できたとしても、それら
画像の相対的な位置関係については、やはり地図などの
位置関係を表現した補助的な情報が必要となる。

【０００８】このような地図として、２次元の平面地図
と画像とを同じ画面上に表示することが考えられる。し
かし、平面地図は地形を真上から見たものであり、実際
に撮影した写真とは見る方向が異なっているので、実際
の撮影状況を適切に表現することは困難である。したが
って、写真の撮影方向を平面地図に照らし合わせ、双方
を結び付けて考えなければならないという問題が発生す
る。

【０００９】本発明はこのような従来技術の欠点を解消
し、撮影方向などの撮影状況を明瞭に表現することので
きる画像処理装置および画像処理方法ならびに画像処理
プログラムが記録されたコンピュータ読み取り可能な情
報記録媒体を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明によれば、３次元
データに応じた立体画像を作成し、立体画像を表示装置
に表示させる画像処理装置において、この装置は、撮影
に応じて生成される画像データと画像データの撮影位置
および撮影方向を表わす撮影データとを含む第１のデー
タを入力する入力手段と、３次元データと第１のデータ
とを記憶する記憶手段と、３次元データの表わす立体画
像を表示装置に表示させる処理手段とを含み、処理手段
は、表示装置に表示される立体画像に応じた撮影位置の
画像データを記憶手段から読み出し、撮影データに従っ
て画像データの表わす画像を立体画像上に合成して表示
装置に表示させることを特徴とする。

【００１１】また、本発明によれば、３次元データに応
じた立体画像を作成し、立体画像を表示装置の表示画面
に表示させる画像処理方法において、この方法は、３次
元データを記憶手段から読み出して立体画像を表示画面
に表示する第１の表示工程と、立体画像における視点位
置を移動させる移動工程と、立体画像に表示する画像デ
ータを選択して、画像データの表わす画像を表示画面に
表示された立体画像上に合成して表示する第２の表示工
程とを含み、画像データは、立体画像に対応する撮影位
置にて得られて、撮影位置を示す位置データが付与さ
れ、第２の表示工程は、視点を移動する移動操作にした
がって、視点位置に応じた立体画像と撮影位置に応じた
画像とを対応させて表示画面に表示することを特徴とす
る。

【００１２】さらに、本発明によれば、３次元データに
応じた立体画像を作成し、立体画像を表示装置の表示画
面に表示させるとともに、立体画像に対応する撮影位置
にて得られて撮影位置を示す位置データが付与された画
像データの表わす画像を、立体画像に合成して表示画面
に表示させる画像処理プログラムが記録されたコンピュ
ータ読み取り可能な情報記録媒体であって、３次元デー
タを記憶手段から読み出して立体画像を表示画面に表示
する第１の表示手順と、立体画像における視点位置を移
動させる移動手順と、立体画像に表示する画像データを
選択して、画像データの表わす画像を表示画面に表示さ
れた立体画像上に合成して表示する第２の表示手順とを
含み、第２の表示手順は、視点を移動する移動操作にし
たがって、視点の位置に応じた立体画像と撮影位置に応
じた画像とを対応させて表示画面に表示することを特徴
とする画像処理プログラムが記録されたコンピュータ読
み取り可能な情報記録媒体が提供される。

【００１３】このような構成を採ることで、撮影した空
間的な位置に対応する３次元地図上で、撮影方向に対応
して地図を表示させ、その方向に画像を配置表示させる
ことができるので、位置関係を明確に表現でき、視点を
移動することで、異なる位置や方向の画像を順次見るこ
とができ、仮想的な３次元地図上で、現実の光景と同じ
光景を明確に再現することができるようになる。

【００１４】

【発明の実施の形態】次に本発明の好適な実施例を図面
を用いて説明する。図１を参照すると同図には本発明が
適用された電子アルバムシステム1 の一実施例が示され
ている。図示するように電子アルバムシステム１は、カ
メラなどにより撮影された写真画像を、その撮影状況に
基づいて３次元地図上に配置し、ディスプレイ等の画像
表示装置に表示させる画像表示システムである。このシ
ステム１では、３次元地図上を移動するようにして立体
地図を表示することができ、その地図を見る視点を移動
する視点移動によって、３次元地図の表示画像が視点位
置に応じて変化するとともに、カメラでの撮影位置近傍
へ移動すると、その場所で撮影された画像を、撮影位置
および撮影方向を保持した状態の画像パネルの表面に貼
り付けて、これらを立体地図とともに表示させる。

【００１５】詳しくは本実施例における電子アルバムシ
ステム１は、被写界を撮影して被写界像を表わす画像信
号を出力するデジタルカメラ10と、デジタルカメラ10の
近傍に備えられその位置を表わす位置座標データを出力
するGPS 受信機12と、デジタルカメラ10に備えられ撮影
時の姿勢としてその方向を表わす方位データを出力する
方位センサ14と、デジタルカメラ10の撮影時における高
度を表わす高度データを出力する特定する高度センサ16
とを含み、これらから入力回路18に送られる各種情報を
処理加工してメモリカード24に記録し、記録された情報
を読み出して通信装置20を介しサーバ22に転送する。

【００１６】デジタルカメラ10は、CCD 等の固体撮像素
子にて電気信号に変換した被写界画像をディジタル値に
変換し、さらに圧縮符号化処理して、処理されたディジ
タル画像データを、半導体などのメモリ素子にて構成さ
れたメモリカード24に記録する撮像および画像入力装置
である。このカメラ10は、入力回路18から接続線100を
介して送られる各種情報と、撮影年月日およびその時刻
とを画像データとともにメモリカード24に記録し、ま
た、メモリカード24に記録されたデータを読み出して出
力100 に出力する。メモリカード24は、カメラ10に着脱
可能に構成された記憶装置であり、たとえばカード24を
カメラ10から取り外して、サーバ22に接続されるカード
リーダ26に装着し、メモリカード24に記録された情報を
カードリーダ26にて読み出して直接サーバ22に取り込む
ようにしてもよい。

【００１７】GPS 受信機12は、複数のGPS 衛星から送ら
れる電波をアンテナにて受信し、それらの時間差を利用
して現在位置を表わす位置情報を生成する位置測位装置
である。GPS 受信機12は、緯度および経度にて示される
座標データを生成し、これらをカメラ10の現在位置を示
す位置情報として出力102 に出力する。

【００１８】方位センサ14は、有利にはデジタルカメラ
10の内部又はその筐体に配設され、カメラ10とともに移
動されて、カメラ10の姿勢を検出する検出装置である。
本実施例の方位センサ14は、地磁気の向きを検出し、こ
れに基づいてカメラ10の撮影方向を角度にて示す方位デ
ータを生成し、生成した方位データを出力104 に出力す
る。また、方位センサ14は、カメラの上下方向を検出す
る機能を含んでもよく、その場合、水平を基準とするカ
メラ10の角度を検出する角度センサを含み、検出された
角度データを前記方位データとともに出力してもよい。

【００１９】高度センサ16は、現在の高度を検出し、こ
の高度を表わす高度データを生成する検出装置である。
本実施例における高度センサ16は、気圧の変化を検出す
る検出ユニットを含み、検出された気圧を標高に換算し
て、その標高を表わす高度データを出力106 に出力す
る。

【００２０】これら出力100,102,104 および106 は、入
力回路18に接続され、入力回路18は、カメラ10から送ら
れる画像データと、その画像データが得られた撮影時の
状況に応じた各種データ（位置情報、方位データおよび
高度データ）とを入力し、これら情報を適切な出力先に
出力させる切替回路である。

【００２１】入力回路18は、入力100 〜106 に入力され
るデータを出力108 に出力する機能を有する。この場
合、カメラ10にて撮影された画像信号と、そのときの各
種データとをとりまとめて、ほぼリアルタイムに通信装
置20に転送することができる。また、入力回路18は、入
力102 〜106 に入力される各種データを出力100 に出力
する機能を有する。この場合、カメラ10は、撮影により
得られた画像データと、その撮影時にて生成されて入力
100 に入力される各種データとを対応させてメモリカー
ド24に記録する。このようにしてメモリカード24に記録
された情報は、そのメモリカード24がカードリーダ26に
装填されて読み出され、サーバ22に転送されるか、もし
くは、再びカメラ10から入力回路18に出力して通信装置
20を介してサーバ22に転送する。

【００２２】なお、これらGPS 受信機12、方位センサ1
4、高度センサ16および入力回路18は、デジタルカメラ1
0に内蔵されていてもよく、また、デジタルカメラとと
もに移動されるように、たとえば自動車などの車両に、
別々に設置されていてもよい。

【００２３】通信装置20は、入力108 に入力される情報
を伝送路110 を介してサーバ22に伝送する装置である。
本実施例における通信装置20は、たとえば、有線もしく
は無線の電話回線を伝送路として、入力回路18から送ら
れる画像データおよび各種情報を変調してサーバ22に送
信する。この通信装置20には、サーバ22のアドレスやこ
のサーバ22をアクセスする人間もしくは装置を特定する
ユーザ名およびアクセスする際の認証に必要となるパス
ワード等が記憶され、サーバ20に対する接続手順および
情報の転送手順に従って、入力108 に入力される情報を
出力110 の伝送路上に送信する。この伝送路110 は、有
利には、高速通信が可能なディジタル伝送路が使用さ
れ、、また、コンピュータネットワークを含むものでも
よく、さらには電話回線を使用せずにこのコンピュータ
ネットワークのみで構成されてもよい。また、この通信
装置20についても入力回路18などとともにカメラ10に内
蔵し一体化されてもよい。

【００２４】サーバ22は、３次元立体地図とその地図に
関する詳細情報等を記憶管理するとともに、撮影により
得られた画像データと対応する各種データとを入力し記
憶管理するファイルサーバである。本実施例におけるサ
ーバ22には、処理装置28と記憶装置32a,32b,32c とが備
えられ、サーバ22は、接続線112 を介して表示回路30か
ら送られる要求に基づいて必要な情報を表示回路30に提
供する機能を有している。

【００２５】詳しくは、処理装置28は、各種データベー
スを管理する制御装置である。本実施例における処理装
置28は、接続線110 および114 を介して入力される情報
を処理し、さらに、入力114 に接続されるカードリーダ
26によって読み出されるメモリカード24の記録情報を処
理し、これら情報に基づいて、画像を主体とする画像デ
ータベースを記憶装置32c に構築する機能を有してい
る。また、処理装置28は、入力112 に入力される要求に
応じた情報を検索し、該当する情報を記憶装置32a,32b,
32c から読み出して、出力112 に接続された表示回路30
に出力する機能を有する。

【００２６】記憶装置32は、ディジタルデータを保管す
る大容量記憶装置である。本実施例における記憶装置32
には３種類のそれぞれ関連のある情報を記憶する３つの
記憶領域を有し、この説明ではそれらを個別の記憶装置
32a,32b,32c に保持されるものとする。たとえば、記憶
装置32a には、土地の高低を表わす標高データと土地利
用の状態を表わす市街地データとを含む高さ情報を持つ
３次元地図データが格納されて３次元地図データべース
が構築されている。また、記憶装置32b には、３次元地
図に対応する地名やその場所に関する情報などの地図情
報データが格納され地図情報データベースが構築されて
いる。さらに、記憶装置32c には、入力回路18から送ら
れてきた情報およびカードリーダ26にて読み取られた情
報が処理装置28の制御に従って分類および保管されて画
像データベースが構築される。処理装置28は、これらデ
ータベースを管理するコンピュータシステムであり、こ
れらデータベース32と処理装置28とによりファイルサー
バを形成している。

【００２７】３次元地図データベースは、たとえば国土
地理院発行の数値地図を、コンピュータにて処理しやす
い３次元立体地図の地形データ形式に変換して記憶管理
されている。これら３次元データベース、地図情報デー
タベースおよび画像データベースは、処理装置28によっ
て、とくに相互に対応する位置に応じて関連するデータ
が記憶装置32から読み出される。

【００２８】サーバ22に接続される表示回路30は、入力
装置34に対する操作に応じて入力116 に入力される操作
情報に従って、所望するデータをサーバ22から取得する
要求を出力112 に出力し、さらに、サーバ22から送られ
るデータを、表示装置36に表示させるデータに処理加工
して、その表示画面に画像を表示させる表示制御装置で
ある。

【００２９】本実施例における表示回路30は、コンピュ
ータシステムにて構成され、とくに、表示画面に３次元
地図を立体的に表示させる３Ｄ処理機能と、３次元地図
内を移動するようにして、その地図を見る視点を変化さ
せる視点制御機能と、３次元地図内にさらに画像を表示
させるパネルを形成し、その場所に応じた画像をパネル
に貼り付ける画像処理機能とを有している。

【００３０】これら機能のすべてもしくは一部は、専用
の集積回路などのハードウエアで構成されてもよいが、
本実施例ではコンピュータに対する制御プログラムによ
って実現される。この場合、表示回路30は、画像を処理
加工および表示させるために高速な演算処理を行なう中
央処理装置および主記憶装置を含むコンピュタシステム
であり、制御プログラムに応じた手順にて演算処理を行
なう。その制御プログラムは、コンピュタにて読み取り
が可能な記憶媒体に記録され、これからが読み取り装置
にて読み出されてシステムの主記憶領域および補助記憶
装置に記憶される。このような記憶領域および記憶装置
としてマスクROM(Read Only Memory) 、フラッシュメモ
リおよび不揮発性RAM(Random Access Memory) などが有
利に適用される。

【００３１】また、提供される記憶媒体は、たとえば磁
気および（または）光を利用して情報が記録されるディ
スク型もしくはカード型記録媒体や、半導体等のメモリ
素子にて構成されるたとえばカートリッジ形式のものな
どでよい。さらに、このような制御プログラムは、通信
回線等を伝達して遠方の記憶装置等から表示回路30に送
られるように構成されてもよい。また、このような表示
回路30の機能を、たとえば図１に示したサーバ22のコン
ピュータシステム上にて実現することもできる。

【００３２】表示回路30における３Ｄ処理機能は、３次
元地図データに基づいて、たとえば土地の起伏を３角形
パッチにて近似し、これを透視変換などにより遠近感を
表現して表示させるとともに、隠面・隠線処理および表
面処理を行なって地形や構造物を表わすサフェースモデ
ルまたはソリッドモデルを作成する。さらに、その地形
の状態などに基づいて、たとえば山である場合にはグリ
ーン系の色を、海である場合にはブルー系の色を、さら
には夕焼けを表わす場合にはレッド系の色や類似する画
像をそれらの表面に貼り付け着色する。このような機能
により３次元地図が画面に表示される。表示回路30は、
さらにその地図を見ている位置、つまり視点を変更する
ことにより、視点を変えた位置での３次元地図を順次作
成する視点制御機能を有する。たとえば、視点を移動さ
せ視点の方向を変更させることにより、所望の場所を前
後左右に移動して、その土地の状態と、後述する画像パ
ネルの写真画像とを見て回ることができる。また、視点
位置および方向は上下および上下方向にも設定すること
ができ、この場合、選択した地域を上空から俯瞰してみ
ることができる。

【００３３】また、表示回路30における画像処理機能
は、３次元地図の視点位置に対応する画像を表示させる
画像パネルを表わすデータを作成し、画像パネルの表面
にその画像をテクスチャとして貼り付ける。詳しくは表
示回路30は、図４に示すように、現在の視点位置から３
次元地図を見ている範囲に、表示する画像がある場合、
その画像に付与された位置、方向および高度に基づいて
画像パネル40を配置させる。この画像パネル40は、画像
の撮影位置Ｐと撮影方向Ｄとに基づき、撮影位置から所
定の距離Ｌの位置に撮影位置を向くようにして形成され
る。表示回路30は、緯度および経度データと、高度デー
タとに基づいて、３次元地図内における撮影位置Ｐ(Px,
Py,Pz)を算出し、撮影位置からの撮影方向Ｄ(Dx,Dy,Dz)
を方位データに基づいて算出する。次いで、撮影位置Ｐ
を起点とする撮影方向Ｄおよび長さＬのベクトルを作成
し、このベクトルＤを回転させた場合の球面に対する接
平面に画像パネル40の面を一致させて配置する。この場
合、画像パネル40は、画像に応じた縦横サイズの長方形
に形成し、方向ベクトルＤの直線上にその中心がくるよ
うに配置する。

【００３４】この画像パネル40は、撮影方向とは異なる
３次元地図の視点位置から見ると、同図に示したよう
に、相対的な角度に応じてその外形が平行四辺形または
台形状に変形して表示される。また視点位置との距離に
応じて、画像パネルのサイズが拡大もしくは縮小して表
示される。そして、これら撮影位置と撮影方向とが３次
元地図における視点位置および方向とほぼ一致すると、
表示回路30は図５に示すように、３次元地図を背景とし
て表示し、その視点の正面に画像パネル52を合成して表
示する。同図に示した例では、３次元地図上に１枚の画
像パネル52が画面のほぼ中央部に配置され、この画面54
内にはさらに、地図情報データベース32bから検索され
る地域における地名、道路名や観光案内文などの地図情
報データが領域52に表示される。この表示領域52は、画
像パネル50の内側もしくは外側に配置され、画像パネル
50内には、さらに画像の撮影時に得られた画像以外の情
報や、その画像のタイトルやコメント等を表示させるこ
とができる。

【００３５】表示回路30は、画像パネルに表示する画像
を、その画像パネルのサイズ、および形状に応じて、縮
小および拡大、さらには変形処理し、処理された画像を
対応する画像パネルにそれぞれ貼り付ける画像処理機能
を有する。これにより、３次元地図における視点位置お
よび方向に応じて、様々な場所および向きに配置される
複数の画像パネルに、それぞれ適切に処理加工した画像
をテクスチャとして貼り付ける。

【００３６】複数の画像パネルを画面内に表示する場合
などでは、たとえば図６に示すように、表示回路30は、
ある範囲内の画像パネルPAのみを画面54に表示させ、そ
の他の画像パネルPAをたとえば旗などのマークSRで代用
して表示させる。これにより画面内の煩雑化をさせるこ
とができる。そして、そのマークSRに視点が近づいてゆ
くと、画像パネルにその表示が切り替わる。この切替
は、画像パネルPAと視点位置との距離に限らず、たとえ
ば、撮影年月日等の条件に対応する画像を検索し、それ
が表示される画像パネルに対して、このマーク表示にす
るかどうかを決定するとよい。また、画像パネルの表示
および非表示は操作者に操作情報によって任意に指定す
ることができ、このため、必要のない画像パネルを順次
非表示もしくはマーク表示に切り替えることができる。

【００３７】図１に戻って、入力装置34は、操作者によ
る操作を検出し、これに応じた操作情報を出力116 に出
力する装置である。たとえば入力装置34は、キーの押下
に応じたコードデータを出力するキーボードと、操作に
応じた位置を指示するためのマウスやトラックボールな
どのポインティングデバイスとを含み、表示回路30にお
ける制御プログラムに対して指示を与えるための操作情
報を出力する。たとえば入力装置34は、サーバ22に記録
されたデータを検索する要求を表示回路30から出力させ
る操作情報や、また、視点移動のための移動指示を表示
回路30に与えて３次元地図内にて視点移動させるための
操作情報を出力する。

【００３８】表示装置36は、表示回路30から出力される
データに応じた画像を画面に表示する画像表示装置であ
る。その表示画面は、２次元の平面もしくは曲面にて構
成されるが、この画面に３次元立体地図がカラー画像で
表示される。そして、この立体地図上にて、視点移動に
伴って画像パネルが表示され、この画像パネルの表面に
撮影された画像が貼り付けられて表示される。このとき
表示する画像は、その立体地図上の位置に応じた位置情
報を有する画像であり、仮想的な立体地図を表示した状
態にて現実に撮影した画像が表示される。もちろん表示
装置36は、３次元映像を表示することが可能な３次元デ
ィスプレイや２眼式立体映像表示装置でもよい。

【００３９】以上のような構成で、本実施例における電
子アルバムシステム１の動作を図２および３を参照して
以下に説明する。

【００４０】図２を参照すると同図には、電子アルバム
システム１における画像データの入力処理動作を説明す
るためのフローチャートが示されている。入力回路18で
は、画像信号および各種位置情報のデータを取得し加工
して、これらをメモリカード24に画像データとして記録
するかサーバ10へ転送する。

【００４１】まず、ステップS201において、カメラ10の
シャッターボタンが押されると、デジタルカメラ１から
送られてくる画像信号が入力回路18に取得され、さら
に、ステップS202では、GPS 受信機12から出力されるカ
メラ10の現在位置を示す緯度データおよび経度データが
入力回路18に取得される。

【００４２】次に、ステップS203において、方位センサ
14から出力される現在のカメラ10の方位データが入力回
路18に取得され、さらに、ステップS204において、高度
センサ16から出力される現在のカメラ10の高度データが
入力回路18に取得される。ここで、ステップS202からス
テップS204までの処理で得られる経度データ、緯度デー
タ、方位データ、高度データなどをまとめて位置方位デ
ータと呼ぶ。

【００４３】次に、ステップS205において、画像信号と
位置方位データとを合わせて所定形式に圧縮符号化した
画像データが作成される。次に、ステップS206におい
て、作成された画像データは、入力回路18の出力100 に
出力され、カメラ10に装填されているメモリカード24に
記録される。続いて、ステップS207に進み、継続して撮
影を行なう場合、処理を再びステップS201の画像信号の
入力処理に移してステップS201〜S207までの処理が繰り
返され、また、メモリカード24に記録された画像データ
をサーバ10に登録する場合は、この画像入力処理を終了
する。

【００４４】そして、メモリカード24をカメラ10から取
り外し、サーバ22に接続されたカードリーダ26にこのメ
モリカード24を装填すると、メモリカード24に記録され
た画像データが読み出されてサーバ22の処理装置22に転
送され、画像データベース32に登録される。この画像デ
ータには位置方位データに基づく位置情報が付与されて
いるので、位置情報をキーワードとするデータベースが
作成され、後に位置に応じた画像を検索することができ
る。

【００４５】また、メモリカード24の記録データは、状
況に応じて通信回線を利用してサーバ22に伝送すること
ができる。この場合、カメラ10に一旦記録された画像デ
ータは入力回路18に読み出されて通信装置20に転送され
る。通信装置20では転送ボタンが操作されると、特定の
ユーザ名およびパスワードにて登録されたアドレスのサ
ーバ22をアクセスし、撮影済の画像データをサーバ10に
送信する。通信回線を利用して画像データを転送する場
合は、ある程度撮影を行った時点で画像データをサーバ
10へ転送できるので、メモリカード24の記憶可能容量を
気にする必要がなく、カード24を複数枚、多めに持ち歩
く必要がないので効果的である。

【００４６】このようにして画像データがサーバ22に登
録されると、登録された画像を検索して３次元地図とと
もに表示装置36に表示させることができる。図３に示す
ように、同図には本実施例における表示処理動作を表わ
すフローチャートが示されている。表示回路30では、操
作者による表示位置指定に基づいた３次元地形図と、そ
の表示された空間に存在する画像データや地図情報を検
索し、その後選択して表示する。

【００４７】まず、ステップS301において、入力装置34
に対する操作に応じた操作情報が表示回路30にて検出さ
れ、操作者の意図する表示位置に応じた３次元地図デー
タが検索され、その検索結果に応じた３次元地図データ
が表示回路30に入力される。そして、土地の起伏を表現
する標高データと、土地利用を表現した市街地データと
が組み合わされ、操作に応じた視点位置から見える領域
が選択されると、その３次元立体地図を表わすデータが
コンピュータグラフィックスにより作成され、作成され
たデータが表示装置36に出力されて３次元的な立体地図
が表示装置36の表示画面に表示される。

【００４８】最初は、広範囲の領域を表示すると目的の
場所を絞り込むのに都合がよいので、そのための地図デ
ータは、３次元詳細地図を間引きしたり平滑化したりし
て、動的に簡略化したデータを作成して階層的に利用す
るとよい。この場合は、目的地に近付くにつれて詳細な
地図を表示するように切り替えていく。

【００４９】ステップS302において、この画面上の３次
元地図の中を入力装置34にて得られる操作情報に従って
自由に移動させて、その視点位置に対応する３次元地図
を表示させる。このようにして操作者は地図上を動き回
り目的地に近づいていく。また、入力装置34に対して直
接地名などが入力されると、この地名から地図情報デー
タベース32b を検索し、その位置を認識して対応する地
点に視点位置を移動させることができる。

【００５０】ステップS303において、３次元地図内で視
点位置を移動し表示させていくと、現在の視点位置から
ある一定の範囲、たとえば、視点位置Ｐを中心として水
平方向に半径Ｒの円内に存在する画像データが画像デー
タベース32b から検索される。検索されたデータに基づ
いて表示回路30では、選択された画像データの位置方位
データにおける経度データ、緯度データ、および高度デ
ータから３次元地図内における撮影位置Ｐ(Px,Py,Pz)が
認識され、方位データからその撮影位置からの撮影方向
Ｄ(Dx,Dy,Dz)が認識される。そして、撮影位置Ｐから、
ベクトルＤの方向にある適当な距離Ｌだけ離れたところ
に、点Ｐを通る方向ベクトルＤ上に中心を持つ長方形で
あって、ベクトルＤを法線としてこれに接する接平面上
に、たとえば、撮影した写真サイズに比例した形の平面
を画像パネルとして設定し、その上に、選択された画像
データをテクスチュアとして貼り付ける。このときに、
画像データが持っている位置方位データの情報などを画
像パネルに合成して、その中に表示してもよい。ここで
は、画像データをテクスチュアで貼り付けた長方形の平
面をその画像を含めて画像パネルPAと呼ぶ。

【００５１】画像データをテクスチュアとして、向きを
持った長方形に貼り付けることによって、その長方形に
対する法線と視線との方向を確認するだけで、この画像
パネルPAを裏面から眺めた場合に、マークSRとして表示
させたり、逆に表示しないように処理する。さらに表示
している３次元空間内に画像パネルを表示すべき位置が
存在したとしても、視点からの一定範囲内（半径Ｒ内）
にその位置がない場合や、方向が逆になっていて視点位
置からは見えない場合、また、現在の選択条件に含まれ
ていな場合などには、図６に示すように、画像データが
そこに存在することを示す３次元的な大きさを持つマー
クSRを表示する。

【００５２】次に、ステップS304に進み、表示される画
像の撮影位置を調べ、その位置に対応する地図情報を地
図情報データベース32b より検索し、検索された地図情
報を対応する画像の近傍に設定した領域52（図５）に表
示する。領域52の表示位置はたとえば画像パネルの上下
左右、または画像パネル内でもよい。地図情報は、操作
に応じてその表示を行なうかどうかを選択することがで
きる。

【００５３】次に、ステップS305において、どのような
条件で画像を表示させるかどうかを選択する表示条件が
入力装置34にて指定される。この場合、画像データを作
成したときに生成される撮影日時データ、地名データ、
標高データ、表示領域データなどの内容が入力される
と、条件に合致する画像が画像パネル上に表示される。
表示条件の選択項目は、画像データを作成するときに入
力した情報であれば全て利用可能である。また、地図に
おけるたとえば地名など位置的情報を表示条件として入
力し、現在、画面に表示されている地図空間の中からあ
る領域を入力装置34で指定して表示条件を設定し表示さ
せることができる。

【００５４】また、画面に表示する画像パネルの数を、
画像データの検索の条件を厳しくしたり、複数指定する
ことで変化させることが可能である。たとえば、この例
の場合、半径Ｒの値を大きくすると、表示される画像パ
ネルの数は多くなり、半径Ｒの値を小さくすると、表示
される画像パネルの数は少なくなる。さらに、その範囲
内でも視点位置に最も近いものという条件を加えて、一
つだけを選択することもできる。また、画像データに撮
影日や撮影時間が記録されているので、撮影日時を指定
することで、何度も訪れて撮影している場合でも限定し
て表示することができる。このようにすることによっ
て、必要以上に複数の画像が重なって見づらくなるとい
う状況を回避することができる。

【００５５】次にステップS306に進んで、次に３次元地
図上を移動し続ける場合はステップS301に戻り、そうで
なければ処理が終了される。このような処理を繰り返す
ことにより、操作者は入力装置34を操作して３次元地図
に対する視点移動させながら３次元空間内を自由に動き
回り、それぞれの位置に対応する画像が映し出される画
像パネルを見て回る。このとき、ステップS305の表示条
件の設定は、必要な場合に行なう。そして、所望する画
像パネルの近くに移動してくると、そこでは、その画像
の撮影時の状況と同じ３次元地図が画面に表示されてお
り、その画像を撮影したときの状況がすぐ理解でき、さ
らに視点移動することにより、その周囲の状況について
も地形等が地図表示されているので、たとえ写真を撮っ
ていなくても、容易にその様子を想像することができ
る。

【００５６】以上のようにして、入力装置34を操作し
て、３次元地図内における視点位置および視線方向を変
更することによって、３次元の空間を見て回ることがで
きる。そして、画像データがある場合には、その位置に
近づくと、対応する画像が表示される画像パネルが撮影
位置における撮影方向を保った状態にて３次元の地図上
に現われ、その位置から離れたり、行き過ぎたりする
と、自動的に予め設定したマークSRになるか非表示され
る。また、遠近法によって３次元地図空間を作成してい
るため、表示する画像パネルは近づくことによって自動
的かつ連続的に拡大され、逆に遠ざかることによって自
動的かつ連続的に縮小される。したがって、画像を詳し
く見たいときには、その画像パネルに近づくという視点
移動をする。このように、電子アルバムシステム自体が
３次元の仮想空間で形成されているため、写真を撮影し
た状況を直感的に思い起こすことができる。

【００５７】さらに、画像を３次元の地図上に直接配置
するため、絶対的な位置かつ相対的な位置関係を明確に
表現することができる。そして、空間を移動すること
で、撮影した画像を順次見ていくことができる。また、
入力画像自身が、コンピュータグラフィックスによって
生成した３次元地図空間に情報を与えるため、空間自身
の現実感を増すことができる。

【００５８】なお、このようにして視点移動させていろ
いろな画像を見て回った視点移動の状態を選択して、た
とえば画像データベース32c に記憶しておくことで、後
で、そのときと同様にして自動的に画像を見て回ること
ができる。このときも各場所では実際の写真画像も表示
されるので、あたかもその場所を移動しているような臨
場感をさらに増すことができる。

【００５９】上述した第１の実施例では、静止画像を記
録するデジタルカメラ10を用いて説明したが、デジタル
カメラ10は動画像を記録するものであってもよい。たと
えば動画像を撮影し記録媒体に記録するビデオカメラで
もよい。次に、この動画像をアルバム化して記録保存す
る電子アルバムシステムの第２の実施例を図７を参照し
て以下に説明する。

【００６０】本実施例における電子アルバムシステム70
は、撮像素子にて撮像された動画像をディジタル化して
磁気テープに記録するビデオカメラ72より動画像を入力
して、動画像に応じた電子アルバムを作成しこれを鑑賞
するシステムである。なお、以下の説明において図１に
記載の構成と同じ参照符号の構成については、同じ構成
でよいのでその説明を省略する。

【００６１】ビデオカメラ72は、被写界を撮影して被写
界像を表わすディジタル動画像信号を出力100 に出力す
るムービーカメラである。このカメラ72は、撮影により
得られた動画像信号を磁気テープ74や光磁気ディスクな
どの記録媒体に記録するとともに、その撮影年月日およ
び時刻と、入力回路18から出力される位置方位データと
を、画像信号の各フレームに対応させて記録する機能を
有している。この位置方位データは、図１に示した実施
例におけるデータと同様のものでよく、少なくとも動画
像の最初のコマに対応する位置方位データをその画像の
コマに対応して記録する。最初のコマ以降に対応する位
置方位データについては、各コマ対応に連続的に記録し
てもよいが、たとえば数コマごとや数秒ごとに、それぞ
れ対応するフレームとともに記録してもよい。

【００６２】磁気テープ74に記録された動画像信号およ
び位置方位データ等のデータが読み出されて入力される
入力回路18では、これらを動画像データとして所定の形
式に処理加工し、処理された動画像データを通信装置20
に転送する。通信装置20では画像信号をたとえばMPEG方
式などにより圧縮符号化してサーバ22に伝送する。ま
た、磁気テープをカメラ72から取り外し、サーバ22に接
続された再生装置76に磁気テープ74を装填し、記録され
た画像信号および位置方位データ等のデータを再生して
サーバ22に入力させることもできる。

【００６３】本実施例におけるサーバ76は、録画開始か
ら停止までの録画データを１サイクルのデータとして、
入力される動画像データをひとまとまりとして記憶装置
32dに記録し、動画像データベースを構築する。動画像
データの最初のフレームに記録されている位置方位デー
タに基づいて、動画像データベース32d に登録された動
画像を検索する機能を有する。そのほかのサーバの構成
については図１に示したサーバと同じ構成でよい。

【００６４】また、本実施例における表示回路80は、図
１に示した表示回路30の構成に加えて、とくに、画像パ
ネルに動画像を表示する際、それに対応する位置方位デ
ータに対応して視点位置を移動させて３次元地図を表示
する機能を含む。さらに表示回路80は、動画像の再生が
終了すると、先頭フレームに記録されている位置方位デ
ータの示す地点に３次元地図の視点位置を戻して地図を
表示させるともに画像画像の先頭フレームの画像を画像
パネルに表示させる機能を含む。このような機能によっ
て、背景となっている３次元空間を、カメラ72にて移動
しながら撮影したときのように移動し、動画像とその背
景を融合させることができる。

【００６５】以上のような構成で、この実施例における
電子アルバム装置70の動作を図８〜10を参照して以下に
説明する。図８を参照すると同図には、電子アルバムシ
ステム70における動画像データの入力処理動作を説明す
るフローチャートが示されている。

【００６６】まず、ステップS801における録画処理で
は、ビデオカメラ74の録画ボタンが押されると、カメラ
74から送られてくる動画像信号と、GPS 受信機12から出
力されるカメラ74の現在位置を示す緯度データおよび経
度データと、方位センサ14から出力される現在のカメラ
74の方位データと、高度センサ16から出力される現在の
カメラ74の高度データとが、それぞれ入力回路18に取得
される。ここで、経度データ、緯度データ、方位デー
タ、高度データなどをまとめて位置方位データと呼ぶ。
入力回路18に取得される画像信号と位置方位データと
は、順次圧縮符号化され、符号化された画像データはが
磁気テープ74に順次記録される。

【００６７】一連の撮影が終了し録画が終了するとステ
ップS802に進み、磁気テープ74に記録された動画像デー
タがサーバ22の動画像データベース32c に登録される。
この場合、第１の実施例と同様にして、磁気テープ74を
再生装置26に装填して画像データを読み出しサーバ22の
動画像データベース32c に登録するか、もしくはカメラ
72に装填された磁気テープ74から読み出した動画像デー
タを通信装置20を介してサーバ22に伝送し、動画像デー
タを動画像データベース32c に登録する。この動画像デ
ータの各フレームには、位置方位データに基づく位置情
報が付与されており、位置情報をキーワードとするデー
タベースが作成され、後に位置に応じた動画像が検索さ
れる。

【００６８】ひとまとまりの動画像データが登録される
とステップS803に進み、現在登録した動画像データのほ
かに、登録すべき動画像データがある場合にはステップ
S801およびS802の処理を繰り返して動画像データをサー
バ22に登録し、そうでない場合には、この入力処理を終
了する。

【００６９】このようにして画像データがサーバ22に登
録されると、登録された動画像を検索し、検索された動
画像を３次元地図とともに表示装置36に表示させること
ができる。図９を参照すると、同図には本実施例におけ
る表示処理動作を表わすフローチャートが示されてい
る。

【００７０】表示回路80では、操作者による表示位置指
定に基づいた３次元地形図と、その表示された空間に対
応する動画像データや地図情報を検索し、その後選択し
て表示する。

【００７１】ステップS901の３次元地図表示処理からス
テップS902の目的地移動処理における動作は、第１の実
施例で説明したステップS301〜S302と同様な処理を行な
ってよい。次のステップS903において、３次元地図内で
視点位置を移動させて立体地図を表示させていくと、現
在の視点位置から、たとえば半径Ｒ’の円内のある一定
の範囲に存在する動画像データが動画像データベース32
d から検索される。この場合、本実施例では動画像の位
置方位データは、時間とともに変化しているため、動画
像データの最初のフレームに記録されている位置データ
の値に基づいて動画像が検索される。

【００７２】次いで、検索により選択された動画像デー
タに基づいて表示回路80では、最初のフレームに対応し
て位置方位データに記録されている経度データ、緯度デ
ータ、および高度データから３次元地図内における最初
のフレームの撮影位置（視点位置）Ｐ’(P'x,P'y,P'z)
が認識され、方位データからその撮影位置からの撮影方
向Ｄ’(D'x,D'y,D'z) が認識される。そして、図11に示
すように撮影位置Ｐ’から、ベクトルＤ’の方向にある
適当な距離Ｌ’だけ離れたところに、点Ｐ’を通る方向
ベクトルＤ’の直線上に中心を持つ長方形であって、ベ
クトルＤ’を法線としてこれに接する接平面上に、たと
えば撮影された動画像のサイズに比例した形の平面を動
画像パネルとして設定し、その面に検索された動画像の
最初のフレームをテクスチュアとして貼り付ける。この
とき、動画像データが持っている位置方位データの情報
などを動画像パネルに合成してその中に表示してもよ
い。ここでは、動画像の一つのフレームをテクスチャと
して長方形の平面に貼り付けた平面を動画像パネルPBと
呼ぶ。

【００７３】本実施例においても第１の実施例と同様
に、画像データをテクスチュアとして向きを持った長方
形に貼り付け、その長方形の法線と視線の方向をチェッ
クすることにより、この動画像パネルPBを裏面から眺め
たときに、表示しないようにすることができ、また、動
画像パネルの表示が不要である場合には、動画像データ
がその位置に存在することを示すマークSRが表示され
る。

【００７４】次にステップS904に進み、表示領域に含ま
れる動画像データに対応する地図情報データを地図情報
データベース32b より検索し、図５で示したように検索
により選択された地図情報を画像パネルのそばの領域52
に表示する。次いで、ステップS905に進み、動画像を表
示させる表示条件が、上述の第１の実施例にて示したス
テップS305と同様に指定され、表示条件に応じて動画像
を動画像パネルに表示するように設定される。

【００７５】次いでステップS906に進み、動画像パネル
に表示される動画像データを選択する操作が入力装置34
にて行なわれたかどうか判定され、選択された場合には
ステップS907に進み、そうでない場合にはステップS901
〜S906の処理を繰り返す。

【００７６】ステップS907では、動画像パネル上に動画
像を再生表示する動画像再生処理が行なわれる。詳しく
は図10に示しように、この動画像再生処理はステップS1
001において、現在画面に表示されているどの動画像パ
ネルがステップS906にて選択されたかどうかが認識さ
れ、ステップS1002 に進むと、選択された動画像パネル
に表示する動画像の最初のフレームの位置に３次元地図
の視点位置を移動させ、その視点位置における撮影方向
に視点方向を設定し、この設定に従って３次元地図の表
示をなめらかに移動させる。

【００７７】このようにして撮影時の位置および方向に
て３次元地図が表示された状態にてステップS1003 に進
み、現在のフレームに記録されている位置方位データに
応じた場所に動画像パネルを配置し、配置された動画像
パネルの表面に、現在のフレームの画像をテクスチャと
して貼り付ける（ステップS1004 ）。

【００７８】ステップS1005 において、この動画像デー
タを再生し続ける場合には、ステップS1006 にてフレー
ムを次のフレームへと一つ進めてフレームを更新し、処
理をステップS1002 の視点位置および視線方向設定処理
に移す。これを繰り返すことによって、正面に動画像を
移しながら、背景となっている３次元空間も、ビデオカ
メラ72で撮影したときと同じように移動する。したがっ
て、常に撮影方向の地図が表示され、動画像と背景がう
まく融合される。

【００７９】また、ステップS1005 において処理を終了
する場合は、動画像データの最初のフレームに記録され
ている位置方位データが示す値のところに３次元地図に
おける動画像パネルの位置を戻し、最初のフレームの画
像をテクスチュアマッピングで貼り付けて、動画像を再
生する前の状態にする（ステップS1007 ）とともに、図
９に示したステップS908に進む。

【００８０】ステップS908では、全体の処理を終了する
かどうかが判定されて、終了しない場合には、ステップ
S901に戻って、３次元空間内を自由に動き回りながら、
動画像パネルを見て、その動画像を見たい場合には、そ
の動画像パネルをマウスなどで選択することを繰り返し
ことができる。この場合、必要に応じてステップS905の
動画像データ表示条件設定処理における表示条件の設定
処理を行なうことができる。

【００８１】上述のようにして入力装置34を操作して３
次元地図内における視点位置および視線方向を変更し、
３次元の空間を見て回ることができる。そして、動画像
データがある場合には、その位置に近づくと自動的に動
画像パネルが表示され、さらにそれを選択することで動
画像の再生が開始される。そして、ビデオカメラ72での
撮影位置に視点位置を置き、撮影方向に視線方向を向け
ながら、正面に動画像を再生することができる。このと
き動画像を再生をせずに、その位置から離れたり行き過
ぎたりすると、動画像パネルは自動的に予め設定したマ
ークになるか見えなくなる。また、３次元空間に動画像
パネルを生成しているため、表示する動画像パネルは近
づくことによって自動的にかつ連続的に拡大され、逆に
遠ざかることによって自動的にかつ連続的に縮小される
ので、再生されている動画像を詳しく見たい場合には、
さらに近づくという動作を行なうとよい。このように、
電子アルバムシステム自体が３次元の仮想空間で形成さ
れているため、映像を撮影した状況を直感的に思い起こ
すことができ現実感および臨場感も増す。

【００８２】さらに、動画像パネルおよび動画像を３次
元の地図上に直接配置するため、絶対的な位置かつ相対
的な位置関係を明確に表現することができる。そして、
空間を移動し、見たい動画像パネルを選択することで、
撮影した動画像を順次見ていくことができる。

【００８３】また、動画像パネルおよび動画像自身が、
コンピュータグラフィックスによって生成した３次元地
図空間に情報を与えるため、空間自身の現実感も増すこ
とができる。

【００８４】なお、上述した第１および第２の実施例に
おいては、ビデオカメラとデジタルカメラの場合を挙げ
たが、これらを融合して利用することも可能である。こ
の場合、静止画像を表示する画像パネルと動画像パネル
とを区別するために、画像を貼り付ける長方形に色を変
えた枠を付けたり、「Still 」、「Video 」などの文字
をそれぞれのパネルに対応させて表示するとよい。

【００８５】また、デジタルカメラやビデオカメラ等の
画像入力装置では、音声信号を記録媒体に記録すること
が可能であるため、この音声を画像に対応させてデータ
ベースに登録し、動画像および静止画像の再生時に音声
を再生することができる。この場合、撮影時とは別に作
成した音声信号を、静止画像および動画像に対応させて
データベースに登録することにより、たとえば、各場面
に応じたナレーションを再生することができる。

【００８６】また、上述の２つの実施例では、３次元空
間として地形図を利用したが、地図データベース32a に
登録される内容は、たとえば、建物等の構造物や室内に
おける家具などのレイアウトをモデル化して、その３次
元空間に静止画像や動画像を配置し表示させてよい。さ
らに、地形図にこれらの建物を配置しておき、その建物
を選択したり、建物の中に入ることで外の世界から建物
内や室内の世界に移行したりその逆に室内から外に出か
けたりすることができる。

【００８７】

【発明の効果】以上述べたように本発明は、撮影により
得られた静止画像や動画像を、これら画像の撮影時の位
置と方向とに基づいて、３次元地図上にて撮影位置およ
び撮影方向を保ったまま画像を配置し表示することがで
き、この画像を撮影した方向と、３次元地図を見ている
方向とを一致させて表示することができ、撮影画像の表
示にとどまらず、撮影画像に対応する３次元地図が表示
されるので撮影時の状況をより現実的に表現され、その
撮影状況を明瞭に認識することができる。

【図面の簡単な説明】

【図１】本発明が適用された電子アルバムシステムの第
１の実施例を示す機能構成図である。

【図２】第１の実施例における入力処理動作を示すフロ
ーチャートである。

【図３】第１の実施例における表示処理動作を示すフロ
ーチャートである。

【図４】実施例における画像パネルを説明する図であ
る。

【図５】実施例における表示の一例を示す図である。

【図６】実施例における表示の一例を示す図である。

【図７】本発明が適用された電子アルバムシステムの第
２の実施例を示す機能構成図である。

【図８】第２の実施例における入力処理動作を示すフロ
ーチャートである。

【図９】第２の実施例における表示処理動作を示すフロ
ーチャートである。

【図１０】図９に示した動画像再生処理を示すフローチ
ャートである。

【図１１】第２の実施例における動画像パネルを説明す
る図である。

【符号の説明】

１ 電子アルバムシステム 10 デジタルカメラ 12 GPS 受信機 14 方位センサ 16 高度センサ 18 入力回路 22 サーバ 30 表示回路 34 入力装置 36 表示装置

Claims (20)

【特許請求の範囲】
1. 【請求項１】 ３次元データに応じた立体画像を作成
   し、該立体画像を表示装置に表示させる画像処理装置に
   おいて、該装置は、 撮影に応じて生成される画像データと該画像データの撮
   影位置および撮影方向を表わす撮影データとを含む第１
   のデータを入力する入力手段と、 前記３次元データと前記第１のデータとを記憶する記憶
   手段と、 前記３次元データの表わす立体画像を表示装置に表示さ
   せる処理手段とを含み、該処理手段は、前記表示装置に
   表示される立体画像に応じた撮影位置の画像データを前
   記記憶手段から読み出し、前記撮影データに従って該画
   像データの表わす画像を前記立体画像上に合成して前記
   表示装置に表示させることを特徴とする画像処理装置。
2. 【請求項２】 請求項１に記載の画像処理装置におい
   て、前記処理手段は、前記立体画像の表示状態を指示す
   る操作手段からの操作情報に従って、前記立体画像の視
   点位置に応じた３次元データと該３次元データに対応す
   る撮影位置の第１のデータとを前記記憶手段より読み出
   し、該第１のデータの画像データを前記撮影データに従
   って前記３次元データに合成し、該画像データの表わす
   画像を前記撮影位置および撮影方向を保持する状態にて
   前記立体画像上に表示することを特徴とする画像処理装
   置。
3. 【請求項３】 請求項２に記載の画像処理装置におい
   て、前記処理手段は、前記撮影位置および撮影方向に応
   じて、前記画像データの表わす画像を表示する表示領域
   を前記立体画像上に設定し、前記撮影データに対応する
   画像を前記表示領域に貼り付けて表示させることを特徴
   とする画像処理装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の装
   置において、前記撮影データは、前記撮影された位置に
   おける撮影高度を含むことを特徴とする画像処理装置。
5. 【請求項５】 請求項３に記載の画像処理装置におい
   て、該装置は、前記画像データを生成して記録媒体に記
   録するカメラと、前記撮影位置および撮影方向を検出し
   て前記入力手段に前記撮影データを入力する検出手段と
   を含み、 前記カメラは、被写界を撮影して該被写界に応じた前記
   画像データを生成し、前記撮影位置および撮影方向を表
   わす撮影データを、該画像データとともに前記第１のデ
   ータとして前記記録媒体に記録することを特徴とする画
   像処理装置。
6. 【請求項６】 請求項５に記載の画像処理装置におい
   て、前記入力手段は、前記記録媒体に記録された第１の
   データを読み出して、該第１のデータを前記記憶手段に
   検索可能に登録することを特徴とする画像処理装置。
7. 【請求項７】 請求項５に記載の画像処理装置におい
   て、前記カメラは、前記撮影により得られた動画像を表
   わす動画像データと、該動画像データの各コマに対応す
   る前記撮影データとを前記第１のデータとして前記記録
   媒体に記録するカメラであり、 前記処理手段は、前記立体画像を表示する際には、前記
   動画像データの最初のコマに対応する撮影データに応じ
   た位置に前記表示領域を設定することを特徴とする画像
   処理装置。
8. 【請求項８】 請求項７に記載の画像処理装置におい
   て、前記処理手段は、前記立体画像における視線方向を
   前記撮影方向に一致させて該立体画像を表示し、該視線
   方向に設定した前記表示領域に前記撮影位置に対応する
   動画像を表示することを特徴とする画像処理装置。
9. 【請求項９】 請求項５ないし８のいずれかに記載の画
   像処理装置において、前記撮影データは、前記撮影され
   た位置における撮影高度を含むことを特徴とする画像処
   理装置。
10. 【請求項１０】 ３次元データに応じた立体画像を作成
    し、該立体画像を表示装置の表示画面に表示させる画像
    処理方法において、該方法は、 前記３次元データを記憶手段から読み出して前記立体画
    像を前記表示画面に表示する第１の表示工程と、 前記立体画像における視点位置を移動させる移動工程
    と、 前記立体画像に表示する画像データを選択して、該画像
    データの表わす画像を前記表示画面に表示された立体画
    像上に合成して表示する第２の表示工程とを含み、 前記画像データは、前記立体画像に対応する撮影位置に
    て得られて、前記撮影位置を示す位置データが付与さ
    れ、前記第２の表示工程は、前記視点を移動する移動操
    作にしたがって、前記視点位置に応じた立体画像と前記
    撮影位置に応じた画像とを対応させて前記表示画面に表
    示することを特徴とする画像処理方法。
11. 【請求項１１】 請求項１０に記載の画像処理方法にお
    いて、前記第２の表示工程は、前記画像データを前記立
    体画像上に表示する表示領域を設定する設定工程と、該
    設定工程にて設定された表示領域に、前記画像データの
    表わす画像を貼り付ける貼り付け工程とを含み、 前記設定工程は、前記位置データに応じた前記立体画像
    上に前記表示領域を設定することを特徴とする画像処理
    方法。
12. 【請求項１２】 請求項１１に記載の画像処理方法にお
    いて、前記位置データは、前記撮影時における方向を示
    す撮影方向を含み、前記設定工程は、前記撮影方向に応
    じて前記表示領域を設定することを特徴とする画像処理
    方法。
13. 【請求項１３】 請求項１２に記載の画像処理方法にお
    いて、前記位置データは、前記撮影時における高度を示
    す撮影高度を含み、前記設定工程は、前記撮影高度に応
    じて前記表示領域を設定することを特徴とする画像処理
    方法。
14. 【請求項１４】 請求項１２または１３に記載の画像処
    理方法において、前記画像データは、動画像を表わす動
    画像データであり、前記第２の表示工程は、該動画像デ
    ータに対応する前記位置データに応じた表示領域に前記
    動画像を順次表示させることを特徴とする画像処理方
    法。
15. 【請求項１５】 請求項１４に記載の画像処理方法にお
    いて、前記第２の設定工程は、前記動画像データの先頭
    のコマに対応する前記位置データに基づいて、前記表示
    領域を設定することを特徴とする画像処理方法。
16. 【請求項１６】 請求項１４ないし１５のいずれかに記
    載の画像処理方法において、前記第１の表示工程は、前
    記第２の表示工程にて表示される動画像の位置データに
    対応して、前記視点の位置および方向の立体画像を順次
    表示することを特徴とする画像処理方法。
17. 【請求項１７】 請求項１６に記載の画像処理方法にお
    いて、前記第２の表示工程は、操作に応じて前記表示領
    域が選択されることにより前記動画像を前記表示領域に
    順次表示させることを特徴とする画像処理方法。
18. 【請求項１８】 請求項１０ないし１７のいずれかに記
    載の画像処理方法において、前記３次元データの表わす
    立体画像は地形の起伏を示す画像であり、該３次元デー
    タは第１の記憶手段に記憶され、前記画像データは、前
    記地形上にて撮影されて前記位置データとともに第２の
    記憶手段に記憶され、 該方法は、前記表示画面に表示される立体画像に対応す
    る前記位置データの画像データを検索して前記第２の記
    憶手段から読み出すことを特徴とする画像処理方法。
19. 【請求項１９】 ３次元データに応じた立体画像を作成
    し、該立体画像を表示装置の表示画面に表示させるとと
    もに、前記立体画像に対応する撮影位置にて得られて該
    撮影位置を示す位置データが付与された画像データの表
    わす画像を、前記立体画像に合成して前記表示画面に表
    示させる画像処理プログラムが記録されたコンピュータ
    読み取り可能な情報記録媒体であって、 前記３次元データを記憶手段から読み出して前記立体画
    像を前記表示画面に表示する第１の表示手順と、 前記立体画像における視点位置を移動させる移動手順
    と、 前記立体画像に表示する画像データを選択して、該画像
    データの表わす画像を前記表示画面に表示された立体画
    像上に合成して表示する第２の表示手順とを含み、 該第２の表示手順は、前記視点を移動する移動操作にし
    たがって、該視点の位置に応じた立体画像と前記撮影位
    置に応じた画像とを対応させて前記表示画面に表示する
    画像処理プログラムが記録されたコンピュータ読み取り
    可能な情報記録媒体。
20. 【請求項２０】 請求項１９に記載の情報記録媒体にお
    いて、前記第２の表示手順は、前記画像データを前記立
    体画像上に表示する表示領域を設定する設定手順と、該
    設定手順にて設定された表示領域に、前記画像データの
    表わす画像を貼り付ける貼り付け手順とを含み、 前記設定手順は、前記位置データに応じた前記立体画像
    上に前記表示領域を設定することを特徴とする画像処理
    プログラムが記録されたコンピュータ読み取り可能な情
    報記録媒体。