JP2011193170A - 撮影画像表示装置、撮影画像表示方法、及び撮影画像表示方法によって出力される電子地図 - Google Patents

Abstract

【課題】デジタルカメラの撮影画像を電子地図と関連付けて表示する際に、撮影時の撮影位置及び撮影方向の情報を、電子地図上に分かりやすく表示するための技術を提供すること。
【解決手段】本発明の撮影画像表示装置において、地図データと、少なくとも画像撮影時に記録した位置情報及び方向情報を含む撮影画像とを入力し、その撮影画像から位置情報及び方向情報を抽出する。抽出した該位置情報から電子地図上の表示位置を決定する表示位置決定手段と、抽出した方向情報に対応する方向にキャラクタの顔の向きを合わせた頭部画像を生成する頭部画像生成手段と、地図データから電子地図画像を出力すると共に、電子地図画像上の決定された表示位置に、頭部画像を重ねて出力する頭部画像出力手段と、撮影画像を表示する撮影画像表示手段とを備える。
【選択図】図１

Description

本発明は、デジタルカメラの撮影画像を電子地図と関連付けて表示する撮影画像表示装置、撮影画像表示方法、及び同方法によって出力される電子地図に関し、特に撮影時の撮影位置及び撮影方向の情報を、電子地図上に分かりやすく表示するための技術に関する。

近年、携帯電話端末の高機能化が進んでおり、ほとんどの機種においてインターネットに接続するデータ通信機能や、デジタルカメラと同様の機能を備えたカメラ機能を備えている。さらに、端末位置をＧＰＳによって測定する位置測定機能や、端末の傾き等を検出する機能を備える機種もある。

カメラ機能を用いて、撮影した画像をインターネット上のサーバー装置にアップロードすることは画像掲示板などにおいてしばしば行われている。さらに本件発明者は、携帯電話端末の位置測定機能や端末の傾きを検出する機能を利用して、撮影した写真と、撮影位置、撮影の方位、仰角などをサーバー装置に送ることを提案している（非特許文献１）。
このようなシステムを用いると、サーバー装置に格納する地図と、写真を組み合わせて、地図上の各地点からどのような風景をみることができるのか、簡易に表示することができる。本件出願人による特許文献１をはじめ、インターネットのサーバー上で、地図情報と撮影画像を重ねて表示する方法は一般的である。

一方、携帯電話やデジタルカメラ上では、撮影時に計測した撮影位置や撮影方向の情報は、撮影データとして画像と共に記録され、数値データとして参照することができる。しかし、緯度・経度の数値や、仰角の値のままでは、直感的に把握しにくく、計測機能を十分に活用できていない問題がある。

また、上記の地図上に画像を配置して表示する構成では、例えば撮影した向きを示す直線を立体的に表示することで、撮影画像とその位置、向きを感覚的に分かりやすく表示することを目的としたものがある。例えば、特許文献１では、対応する写真画像データをパネル写真として表示処理し、その写真の撮影地点に相当する地図上の位置に配置すると共に、その写真の撮影方角に相当する地図上の方角に合わせて配向し、更に、その写真の撮影仰角を示す仰角アイコンをパネル写真に付設表示する構成が提案されている。

本方法は、地図上に直接パネル表示をするため、どの地点からどの方角を見た時に、どのような風景が見えるか、ということが直感的に分かりやすい長所を有する。しかし、多数の写真を掲載するにはパネルが多く見にくくなること、仰角は仰角アイコンで示すので感覚的に理解しにくいこと、パネルに写真を貼り込んで立体的な画像を生成するため、コンピュータの処理能力が要求されること、などの問題があった。

この他、風景や建物の写真など地理情報を有する写真を、その撮影地点に応じて電子地図に対応付けるシステムには次のような文献がある。
例えば、特許文献２には、デジタルカメラ付き携帯端末で撮影した写真画像に、時刻情報と撮影方角と撮影位置とからなる撮影識別情報を付加した撮影識別情報付き写真画像をサーバーへ送信し、そのサーバーが撮影位置を含む地図やその撮影地点での写真画像を利用者端末へ提供する位置方位付き写真提供システムが開示されている。
本発明者も、特許文献３及び４に、地理情報を有する写真を、その撮影地点に応じて地図に対応付ける方法、並びに、その写真マッピング方法を実施するシステムを開示している。

他方、電子地図に関しては、特許文献４〜７があり、地図を立体的に視認するサービス（グーグルマップやグーグルアース）（非特許文献２、３）が知られている。

特開２０１０− ３９５８３号 特開２００７− ５２８０９号 特開２００９−１７６２６２号 特開２００９−１５７８９７号 特表２００８−５０１１６１号 特表２００７−５３１００４号 特表２００７−５２４１１３号

Rieko Kadobayashi, A Gaze-based Guidance System based on aReal-world 3D Photo Logging System, in Proceedings of the Joint Workshop MobileInteraction with the Real World and 5th Workshop on "HCI in MobileGuides",pp. 37-40, 2007年9月 インターネットＵＲＬ http://maps.google.co.jp/（２０１０年２月２６日検索） インターネットＵＲＬ http://earth.google.com/intl/ja/（２０１０年２月２６日検索）

本発明は、上記従来技術の有する問題点に鑑みて創出されたものであり、デジタルカメラの撮影画像を電子地図と関連付けて表示する際に、撮影時の撮影位置及び撮影方向の情報を、電子地図上に分かりやすく表示するための技術を提供することを目的とする。

上記課題を解決するため、本発明は次のような構成を用いる。
すなわち本発明は、デジタルカメラの撮影画像を電子地図と関連付けて表示する撮影画像表示装置を提供する。装置には、第１記憶手段上に格納され、地図と位置情報との対応関係を含む地図データを入力する地図データ入力手段と、第２記憶手段上に格納され、少なくとも画像撮影時に記録した位置情報及び方向情報を含む撮影画像を入力する撮影画像入力手段とを備えて各データを入力する。

また、撮影画像から位置情報及び方向情報を抽出する撮影情報抽出手段と、抽出した位置情報から電子地図上の表示位置を決定する表示位置決定手段と、抽出した方向情報から方向情報に対応する方向にキャラクタの顔の向きを合わせた頭部画像を生成する頭部画像生成手段を備える。
そして、地図データから電子地図画像を出力すると共に、電子地図画像上の決定された表示位置に、頭部画像を重ねて出力する頭部画像出力手段と、撮影画像を表示する撮影画像表示手段とを備えたことを特徴とする撮影画像表示装置を提供する。

上記の方向情報が画像撮影時におけるデジタルカメラの方位及び仰角であって、その方位に、頭部画像の顔の正面方向を向けると共に、仰角が０度の時に、頭部画像の顔の正面が上記の電子地図の地表面と平行な方向を向き、仰角が正の場合には顔の正面が上向いて顔が視認できるようにし、仰角が負の場合には顔の正面が下向いて後頭部が視認できるようにすることもできる。

上記の撮影画像表示装置において、電子地図画像上に複数の頭部画像を同時に表示可能な構成であって、入力手段から任意の頭部画像の指定を受理する画像指定受理手段を備え、撮影画像表示手段が、指定に従って、その撮影画像を表示する構成でもよい。

上記の撮影情報に、撮影者又は撮影者の属性を識別可能な撮影者識別情報を含み、その撮影者識別情報に応じて、前記頭部画像を変化させることもできる。また、撮影情報に、撮影時の天候や撮影場所の雰囲気などを示す撮影状況情報を含み、その撮影状況情報に応じて、前記頭部画像を変化させることもできる。

本発明は、デジタルカメラの撮影画像を電子地図と関連付けて表示する撮影画像表示方法を提供することができる。
すなわち、
（Ｓ１） 地図データ入力手段が、第１記憶手段上に格納され、地図と位置情報との対応関係を含む地図データを入力する地図データ入力工程、
（Ｓ２） 撮影画像入力手段が、第２記憶手段上に格納され、少なくとも画像撮影時に記録した位置情報及び方向情報を含む撮影画像を入力する撮影画像入力工程、
（Ｓ３） 撮影情報抽出手段が、撮影画像から位置情報及び方向情報を抽出する撮影情報抽出工程、
（Ｓ４） 表示位置決定手段が、抽出した位置情報から電子地図上の表示位置を決定する表示位置決定工程、
（Ｓ５） 頭部画像生成手段が、抽出した方向情報から方向情報に対応する方向にキャラクタの顔の向きを合わせた頭部画像を生成する頭部画像生成工程、
（Ｓ６） 頭部画像出力手段が、地図データから電子地図画像を出力すると共に、電子地図画像上の決定された表示位置に、頭部画像を重ねて出力する頭部画像出力工程、
（Ｓ７） 撮影画像表示手段が、撮影画像を表示する撮影画像表示工程
の各工程を有することを特徴とする。

上記の方向情報が画像撮影時におけるデジタルカメラの方位及び仰角であって、その方位に、頭部画像の顔の正面方向を向けると共に、仰角が０度の時に、頭部画像の顔の正面が電子地図の地表面と平行な方向を向き、仰角が正の場合には顔の正面が上向いて顔が視認できるようにし、仰角が負の場合には顔の正面が下向いて後頭部が視認できるようにすることもできる。

上記の頭部画像出力工程において、電子地図画像上に複数の頭部画像を同時に表示可能な構成であって、頭部画像出力工程の次に、画像指定受理手段が、入力手段から任意の頭部画像の指定を受理する画像指定受理工程を有し、上記撮影画像表示工程において、撮影画像表示手段が、指定に従って、その撮影画像を表示する構成でもよい。

上記の撮影情報に、撮影者又は撮影者の属性を識別可能な撮影者識別情報を含み、その撮影者識別情報に応じて、頭部画像生成工程において頭部画像を変化させることもできる。同様に、撮影情報に、撮影時の天候や撮影場所の雰囲気などを示す撮影状況情報を含み、その撮影状況情報に応じて、前記頭部画像を変化させることもできる。

本発明は、以上の撮影画像表示方法によって画像表示されたり、あるいは画像データとして出力された電子地図として提供することもできる。

本発明は、以上の構成を備えることにより、次の効果を奏する。
すなわち、抽出した方向情報から方向情報に対応する方向にキャラクタの顔の向きを合わせた頭部画像を生成する頭部画像生成手段を備えて、電子地図上に頭部画像を重ねて表示することにより、撮影位置を地図上に表示すると共に、頭部の向きを視覚的に表現することができる。特に、頭部画像は方位だけでなく仰角についても向きを直感的に把握しやすく、撮影画像とその撮影情報を伝達するために最適な構成である。

電子地図上に複数の頭部画像を表示する場合、従来のパネルに比して小型のアイコンで表示できることから、多数の写真でも良好に表示することができる。また、撮影位置と撮影方向について、各写真相互の関係が理解しやすく、１つの地点から周囲の状況の写真を選択する場合や、１つの被写体を複数の地点から見たときの写真を選択する場合には、特に好適である。

本発明の画像撮影装置の構成図である。 本発明による処理のフローチャートである。 頭部画像生成処理部が生成する頭部画像の一例である。 頭部画像の回転を示す説明図である。 本発明による電子地図の表示例である。 本発明に係る画像撮影時のフローチャートである。 本発明に係る画像撮影時の表示例である。

以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。
図１は本発明に係る撮影画像表示装置（１）の構成図である。本実施例では、本装置（１）を公知の携帯電話端末に実装する例として説明する。携帯電話端末は、周知のように様々な処理を行うＣＰＵ（１０）がメモリと協働して動作する。本発明は、電子地図の地図データと、デジタルカメラで撮影した撮影画像との２種類のデータを少なくとも用いるが、本実施例では、まずインターネットのサーバー上にこれらのデータを格納し、データ通信によって入力する方法を説明する。両データを本装置上に備える構成についても随時説明する。

公知のように、携帯電話端末である本装置（１）はインターネット（２０）への接続が可能であり、そのための通信アダプタ（１１）を備えている。なお、通信アダプタ（１１）は、携帯電話網に接続するためのアンテナと通信モジュールからなり、実際には該携帯電話網におけるパケットが交換局を経てインターネットと送受信されるが、詳細な構成は説明を省略する。

本装置（１）には、ＣＭＯＳセンサ等と画像処理回路等からなるカメラ（１２）、ダイヤルボタンなどのキーボード（１３）、本装置（１）の姿勢を検出する姿勢センサ（１４）、ＧＰＳ衛星からの電波を受信するＧＰＳアンテナ（１５）、撮影しようとする被写体を表示したり、撮影済みの画像を表示するモニタ（１６）、撮影した画像などを保存する記憶部（１７）を備えている。

ＣＰＵ（１０）には、通信アダプタ（１１）を介してインターネット（２０）上の地図・撮影画像サーバー（２１）とデータの送受信を行うデータ通信部（１００）、撮影画像から撮影情報を抽出する撮影情報抽出処理部（１０１）、撮影画像について電子地図上の表示位置を決定する表示位置決定処理部（１０２）、キャラクタの顔を表す頭部画像を生成する頭部画像生成処理部（１０３）、電子地図画像上の決定された表示位置に頭部画像を重ねて出力する頭部画像出力部（１０４）、所定の表示方法で撮影画像を表示する撮影画像表示部（１０５）を備える。

この他、本発明において必須な構成要素ではないが、ＧＰＳアンテナ（１５）で受信した信号を処理するＧＰＳ処理部（１０６）、姿勢センサ（１４）の信号処理を行う姿勢センサ処理部（１０７）、カメラ（１２）で取得した画像データを処理する撮像処理部（１０８）、ＧＰＳ処理部（１０１）や姿勢センサ処理部（１０２）の動作を制御する情報取得制御部（１０９）を備える。

以下、本発明の処理を図２に示すフローチャートに従って説明する。
本発明では、まず地図データ入力ステップ（Ｓ１０）において、電子地図の地図データをＣＰＵ（１０）に入力する。本実施例ではインターネット（２０）で接続された外部コンピュータである地図・撮影画像サーバー（２１）からデータ通信部（１００）の処理により取得する。ここで、地図・撮影画像サーバー（２１）は、公知のウェブサービスを提供するサーバー装置などによって構成され、本装置（１）のウェブブラウザ上からの要求によって、記憶手段上の地図データ（２２）を送出するようになっている。地図データは格納する地図の全範囲でもよいが、最近では全世界の詳細な地図を備えておき、その中のごく一部の指定された地域を指定された縮尺で送出することが一般的となっている。

本発明は、地図データを任意の第１の記憶手段に備えることができるので、地図データ（２２）を格納するのは本実施例のように外部のサーバー上とし、地図データ入力手段としてデータ通信部（１００）を用いている。また別の実施例としては、本装置（１）の記憶部（１７）に地図データを備えて、該記憶部（１７）から直接読み出すこともできる。この場合、ＣＰＵ（１０）における図示しない読み出し処理部を地図データ入力手段とすることができる。

上記地図データには、表示する電子地図と、地図上の各地点における位置情報との対応関係情報が含まれている。例えば、地図上の所定地点の緯度・経度の情報を備えておき、緯度・経度を指定すると、所定地点との差を計算して指定地点が地図上のどの点に当たるかを算出することができるようにしておく。また、マップコードと呼ばれる独自のコードにより、該マップコードを与えると当該地点を示すことができるようにしてもよい。さらに、地名や住所の情報から、指定地点が示されるようにすることもできる。これらの構成は公知であり、任意の方式を用いることができる。

次に、撮影画像入力ステップ（Ｓ１１）において、上記地図・撮影画像サーバー（２１）の記憶手段における撮影画像（２３）のデータを取得する。ここでもデータ通信部（１００）が撮影画像入力手段として作用し、撮影画像をＣＰＵ（１０）内に取り込む処理を行う。
撮影画像データには、本発明の特徴である撮影時の位置や撮影方向を示す位置情報及び方向情報が含まれている。

本発明は、撮影画像を任意の第２の記憶手段に備えることができるので、撮影画像（２３）を格納するのは本実施例のように外部のサーバー上とし、撮影画像入力手段としてデータ通信部（１００）を用いている。また別の実施例としては、本装置（１）に備えたカメラ（１２）で撮影した撮影画像を入力することもでき、その場合はカメラ（１２）及び後述する撮像処理部（１０８）を撮影画像入力手段とすることもできる。
さらに、本装置（１）の記憶部（１７）に撮影画像データを備えて、該記憶部（１７）から直接読み出すこともできる。この場合、ＣＰＵ（１０）における図示しない読み出し処理部を撮影画像入力手段とすることができる。

上記したように、本発明では、地図データを第１の記憶手段、撮影画像を第２の記憶手段に備えることを特徴とする。すなわち、これら２つのデータを、別個の外部記憶装置に格納してもよいし、第１及び第２の記憶手段を１つの外部記憶装置に構成してもよい。
別個の外部記憶装置に格納する場合、一方を本装置内に格納し、他方をインターネット等を介したサーバ上に格納する構成でもよい。

本装置（１）において、地図データ入力ステップ（Ｓ１０）と撮影画像入力ステップ（Ｓ１１）の順序は問わない。逆の順序でもよいし、同時でもよい。

入力した撮影画像から、撮影情報抽出処理部（１０１）が撮影情報の抽出を行う。（撮影情報抽出ステップ（Ｓ１２））
周知のようにデジタルカメラの撮影画像ではＥｘｉｆ(Exchangeable image file format)と呼ばれるフォーマットが広く使われており、本実施例においても、撮影画像のデータに合わせて撮影情報をこの方式で記録しておくことができる。撮影情報抽出処理部（１０１）はＥｘｉｆの方式に従って、撮影情報を抽出すればよい。
また別の実施例としては、撮影画像と、撮影情報とは別個のデータとして、各画像に係る撮影情報を対応付けて記憶させておくこともできる。この場合、撮影情報抽出処理部（１０１）は、撮影画像からこの対応付けに従って撮影情報を検索し、抽出する。

本発明における撮影情報には、少なくとも撮影した時の位置情報や方向情報を含むことができる。
すなわち、位置情報として撮影地点の緯度・経度の情報の他、上記したようにマップコードや地名、住所など、位置を表す情報を備えておけばよい。なお、以下では本装置（１）に備えたＧＰＳアンテナ（１５）の計測結果である緯度・経度を位置情報として説明する。

方向情報としては撮影時の仰角や方位を用いることができる。本実施例では、姿勢センサ（１４）により撮影時の傾きや方位、両端部間の段差など、所定の位置における角度情報又は偏差情報を取得し、これらの情報から撮影時の仰角、向きなどを測定して、本発明の方向情報として出力している。

上記撮影情報以外に、本発明では任意の情報を付加して利用することができる。
例えば、公知のように撮影時の日時、カメラ設定やカメラ型番をＥｘｉｆによって記録しておき、これらを後段の処理で利用することができる。また、撮影者の名前などの撮影者識別情報、撮影時の天気、気温、湿度などの天候情報、撮影者の気分やその場の雰囲気などを示す雰囲気情報などを撮影情報として用いることもできる。これらの利用方法については後述する。

次に、表示位置決定ステップ（Ｓ１３）において、表示位置決定処理部（１０２）が電子地図上で、本発明の頭部画像である頭部画像を表示する位置を決定する。本処理は撮影情報抽出処理部（１０１）が抽出した位置情報から、入力した地図データ（２２）の電子地図上でどの位置に当たるのかを計算し、決定する処理である。本処理により、電子地図と頭部画像との相対的位置関係が決定される。

表示位置決定ステップ（Ｓ１３）の後、あるいはその前、又は同時に、頭部画像生成ステップ（Ｓ１４）を頭部画像生成処理部（１０３）が実行する。
図３は、頭部画像生成処理部（１０３）が生成した頭部画像の一例である。本実施例では、猫の頭部を大きく、胴体及び尻尾部分を小さく表現したキャラクタ画像（３）を用いており、図示のように顔の角度が異なる頭部画像を生成する。

すなわち、前記撮影情報のうち、撮影時の仰角を顔の向きで表現するようにしており、仰角が正の場合、すなわち撮影時に上を仰ぎ見ている場合には顔の正面（３０）が見える状態（ａ）で表す。仰角が０度、すなわち撮影時に水平方向を見ている場合には電子地図の地表面と平行な向きを見ている状態（３１）（ｂ）で表す。仰角が負の場合、すなわち撮影時に被写体を見下ろしている場合には、顔の正面が下を向き、後頭部（３２）が視認できる状態（ｃ）で表している。

ここで、仰角に対する頭部画像の選択は適宜設定することができ、例えば仰角±１５度は（ｂ）、仰角＋１５度〜＋１２０度を（ａ）、仰角−１５度〜−１２０度を（ｃ）のように、幅を持たせて定義することが望ましい。

また、仰角と頭部画像との関係は、この３パターンに限らず、仰角に応じて複数のパターンを用いることができる。例えば、３０度毎に異なるパターンを用意したり、頭部画像の立体形状情報を備えておき、計算に応じて仰角に従った正確な見え方を再現してもよい。

頭部画像は、頭部画像の顔の正面が上記の電子地図の地表面と平行な方向を向けることが好ましい。すなわち、電子地図を鳥瞰図のように斜め方向から表示する場合には、仰角０度の場合の頭部画像を地図の傾斜角に合わせた角度とし、上下に傾ける場合も該傾斜角との相対的角度に従って表示しても良い。
これにより、鳥瞰図様に表示した場合にも、直感的に理解しやすい向きを向いた頭部画像を生成することができる。

頭部画像生成処理部（１０３）は、さらに撮影時の方位に合わせて頭部画像の顔の正面方向を向ける回転処理を行う。図４はこの処理を説明する説明図であり、例えば表示する地図が北を上とする場合には、撮影情報に含まれる方位が北を０度として時計回りに表される場合、方位が０度の時には図４（ａ）のように顔の正面が真北（上）を向き、３０度の時には図４（ｂ）のように北北東に回転、方位が２１０度の時には図４（ｃ）のように南南東に回転する。

該回転角度は、入力した電子地図がどの向きを向いているかによって適宜設定することができる。また、電子地図を表示する際に、向きを任意に変更できる場合には、ここでの処理は電子地図との相対角度で設定し、電子地図と連動して向きを変えられるようにしてもよい。

本発明において、頭部画像生成処理部（１０３）は少なくとも仰角に応じていくつかのパターンから選択、又は画像処理し、さらに方位に合わせた回転を行うことで、表示する頭部画像を生成することを特徴とするが、本発明ではさらに撮影情報に基づいて頭部画像に変化のある生成を行ってもよい。

例えば、撮影情報として撮影者の名前などの撮影者識別情報を用いる場合、撮影者識別情報に応じてキャラクタを変化させることができる。簡単な方法としては撮影者毎にキャラクタの色を変えて、撮影者Ａは黒、撮影者Ｂは赤、撮影者Ｃは青、のように色で撮影者を判別できるようにしてもよい。あるいは、撮影者が自分で作成したキャラクタ画像を登録しておき、頭部画像生成処理部（１０３）が撮影者識別情報から該キャラクタ画像を選択するようにしてもよい。ネットワーク上で自己のキャラクタを作成する方法としては、アバターと呼ばれるサービスが公知であり、本発明ではこれを利用することもできる。

撮影時の天気、気温、湿度などの天候情報を用いる場合、天気を表すマークを頭部画像の横に負荷したり、気温や湿度に応じて頭部画像の服装を変化させることもできる。例えば、撮影時の天気が晴れの場合には帽子を被ったり、雨の場合には傘をさす、気温が高かった場合は薄手の服装、低かった場合はマフラーを着けた画像、など視覚的に撮影時の状況がわかるような表示を行うことができる。

また、撮影者が撮影時に気分やその場の雰囲気を雰囲気情報と設定して撮影情報に記録しておき、該情報に従ってキャラクタを変化させてもよい。例えば、興奮したり、嬉しい時など、ポジティブな印象の写真には赤、憂鬱なときや好ましくない状況の時の写真には青、のように色を定義しておき、撮影情報にしたがって顔や服装の色を変えることもできる。また、笑う、怒る、泣く、冷や汗を流す、など表情を変化させてもよい。
雰囲気情報や天候情報は、撮影場所の周辺の状況を示す撮影状況情報として、それぞれ別個に、あるいは組み合わせて用いることもできる。

さらに撮影情報として一般的な日時やカメラ設定、カメラ型番を用いてもよい。日時に従って頭部画像の色合いを変えたり、頭部画像の背景に太陽や星を表示してもよい。また、頭部画像にカメラを持たせて、カメラを実際の機種の画像にしたり、一眼レフとコンパクトカメラの区別を分かるようにしてもよい。露出時間や絞りなどの数値を表示したり、絞りを画像表示して絞りの程度を示してもよい。

以上のように、頭部画像生成処理部（１０３）では、仰角を表すだけでなく、さまざまな撮影情報を反映させた頭部画像を生成することができる。次に、生成された頭部画像を電子地図上に表示する頭部画像出力ステップ（Ｓ１５）に進む。
本ステップ（Ｓ１５）では、頭部画像出力部（１０４）が、入力した地図データから電子地図画像を作成し、前記表示位置決定処理部（１０２）が決定した表示位置に、頭部画像生成処理部（１０３）が生成した頭部画像を重ねて出力する。

図５は頭部画像出力部（１０４）によってモニタ（１６）から出力された画面の一例である。本装置（１）のモニタ（１６）上にユーザが指定した範囲の電子地図（４）を表示し、該電子地図（４）には撮影画像に対応する複数のキャラクタ画像（３）が重ねて表示されている。
本発明において表示する撮影画像は１枚として、１つのキャラクタ画像（３）を表示する構成でもよいが、以下では複数の撮影画像を同時に扱う構成について説明する。

図示のように電子地図（４）上の多数の地点にキャラクタ画像（３）を表示し、各キャラクタ画像（３）は、頭部画像生成処理部（１０３）によって撮影時の方位と仰角を表している。例えば、右上にあるキャラクタ画像（３ａ）は、同画像の置かれた地点から北西方向を見て、その際に仰角が負、下向きであったことを示している。また、中央付近にあるキャラクタ画像（３ｂ）は、同地点から西を向き、水平方向を見た撮影画像であることを示している。

本発明は、電子地図（４）上に複数のキャラクタ画像（３）を一覧することができるので、どの地点からどの方向に、どのような仰角で撮影した写真であるかが一目瞭然でわかり、近い地点から周囲を見渡した撮影画像や、１つの被写体を複数の地点から撮影した撮影画像を容易に選択できるようになる。これにより、静止画であっても風景を空間的に把握しやすくなる。

最後に、撮影画像表示ステップ（Ｓ１６）において、指定した撮影画像をモニタ（１６）で表示する。表示方法は任意であるが、例えば閲覧者が見たい地点のキャラクタ画像（３）を指定することにより、撮影画像表示部（１０５）の処理により、別画面が開いて撮影画像を表示することもできる。また、電子地図（４）上にポップアップして表示させることもできる。

以上の一連の処理により、本発明に係る撮影画像表示装置と、撮影画像表示方法は提供される。
また、本方法で出力される頭部画像を重ねた電子地図は、モニタ（１６）上で表示されるだけでなく、プリンタで印刷したり、通信アダプタ（１１）からインターネット（２０）を介して任意の端末に向けて画像データを出力してもよい。例えば、地図データ（２２）、撮影画像（２３）は本装置（１）の記憶部（１７）に格納しておき、図示しない端末装置から表示する電子地図や撮影画像の指定を受理して、本発明の処理方法を実行し、頭部画像出力部（１０４）からの出力結果を該端末に返信する構成でもよい。その場合、端末からの指定に基づいて、さらに撮影画像を送信することもできる。

本実施例では、撮影画像表示装置（１）において、本装置（１）で表示するための撮影画像を撮影する機構も備えている。以下、この機構について説明する。
撮影の際、本装置（１）は図１の構成により図６に示すフローチャートの処理を行う。
すなわち、本実施例をＣＰＵ（１０）に実行処理させるアプリケーションプログラムを起動すると、情報取得制御部（１０９）の制御により、位置測定（Ｓ２０）と、撮影方向測定（Ｓ２１）を行う。
位置測定（Ｓ２０）においては、ＧＰＳ処理部（１０６）がＧＰＳアンテナ（１５）で複数の衛星からの信号を受信してその信号処理により現在地を算出する。本処理は公知である。
なお、携帯電話端末の場合には、基地局の情報など他の情報も用いて正確な現在地を算出している。本発明は位置情報取得手段として任意の技術を用いることができる。

撮影方向測定（Ｓ２１）では、姿勢センサ処理部（１０７）が、姿勢センサ（１４）から該情報を取得する。ここで、姿勢とは本装置（１）の傾きや方位、両端部間の段差など、所定の位置における角度情報又は偏差情報を指し、姿勢情報から撮影時の仰角、向きなどを測定して、本発明の方向情報として出力する。
姿勢センサ（１４）には公知の任意のセンサを用いることができる。
なお、方位に関しては、ＧＰＳ処理部（１０６）から取得することもできるが、ここでは機能的に分類して姿勢センサ処理部（１０７）と処理として説明する。

本装置（１）には、公知のデジタルカメラの機構であるカメラ（１２）及び撮像処理部（１０３）、モニタ（１６）、記憶部（１７）を備えている。これによりカメラ（１２）及び撮像処理部（１０８）からなるカメラ手段で撮影画像を撮影することができる。

本実施例では、カメラ手段から撮影画像を入力（Ｓ２２）し、さらに上記の位置情報及び方向情報を含む撮影情報を、撮影画像と重ねて表示（Ｓ２３）する。図７はこの時の本装置（１）の画面表示の説明図である。本図で示す装置（１）は、市販の携帯電話端末であり、大画面のタッチパネル式液晶画面を備えてモニタ（１６）であると同時に、キーボード（１３）としても作用する。そこで、画面上にカメラアイコン（１６０）を表示させ、この部位をタッチすることで、シャッターが切れるようになっている。

カメラアイコン（１６０）の上の画像領域（１６１）は、背面に設けられているカメラ（１２）で撮影中の画像であり、本装置（１）を動かすことで自由に構図を決めることができる。
画像領域（１６１）の上部には、撮影画像を透過する態様で撮影情報表示領域（１６２）を設けており、撮影者は撮影画像を見ながら、撮影情報を視認できるようにしている。

撮影情報表示領域では、右から順に方位（１６２ａ）、緯度・経度（１６２ｂ）、仰角（１６２ｃ）を表示している。特に本発明では、方位と仰角の表示にアナログ針式の表示を行っている点に特徴がある。

従来から、方位や仰角の情報を取得できる装置は知られていたが、撮影中にこれらを確認することは稀であり、撮影時にこれらの撮影情報を表示する好適な方法は提案されていなかった。
しかし、近年ではインターネットの普及によって撮影した画像を人に見せる機会が格段に増えていることや、デジタルカメラによって撮影済みの写真を容易に参照できるようになっている。その場合、過去に撮影した写真と同様の位置から同様の方向で撮影することで比較しやすくしたり、あるいは他の写真と異なる、所望の向きで撮影したい場合が多い。

このような要求に対して、従来のように数値で情報を表示しても、カメラの構図を決める際には被写体の様子を見たり、周辺の状況に配慮して撮影しなければならないため、順次に撮影情報を理解することが難しい問題があった。
一方、本発明では、例えば方位（１６２ａ）は北を上とするコンパス様の画像表示を行い、赤色の指針によってどの方位を向いているかを直感的にわかりやすく表示している。また、仰角（１６２ｃ）は水平方向からの角度を青色の指針によって表示することで、例えば正確に水平な撮影や、垂直上向き、垂直下向き、などの撮影も容易に行えるようにしている。特に、撮影が不得手な者や、連続したパノラマ写真を撮影する場合には好適である。
本発明では撮影情報の一部をアナログ針式とすることを提案するものであり、方位、仰角以外の情報、例えば、本装置の傾きや偏差情報など任意の情報を表示することができる。

緯度・経度（１６２ｂ）は数値で表示し、前回撮影した位置や、他人が撮影した位置と同位置で撮影する際の手がかりとすることができる。
なお、予め指定の撮影位置を緯度・経度を本装置（１）で定義しておき、測定中の位置との差分から指定の撮影位置の方向をアナログ針式で示すこともできる。そして、指定の撮影位置（差分が０）となったときには、その表示を行う。この方法によれば、撮影者が全く同じ緯度・経度に立つことが容易になる。

上記において、撮影情報表示領域（１６２）は透過して撮影画像に重なるように表示しているが、本発明では近傍に配置することもできる。また、配置位置は画像領域（１６１）の上でなくともよく、上下左右のいずれか、または自由に位置を変えられるようにしてもよい。さらに、本装置（１）の本体の向きに合わせて撮影情報の向きが自動的に変化するようにしてもよい。

撮影画像や撮影情報は撮影までの間、常時更新されていることが望ましく、両情報を同時表示（Ｓ２３）しながら、位置測定（Ｓ２０）以下の工程を繰り返し実行処理することができる。
なお、位置測定（Ｓ２０）にはより多くの時間を要するため、撮影方向測定（Ｓ２１）を繰り返す間の所定回数に一度測定する構成や、所定時間に一度測定する構成でもよい。

画像撮影装置（１）では、モニタ（１６）の撮影画像や撮影情報を見ながら、撮影者がカメラアイコン（１６０）等のシャッターを押すことによって撮影（Ｓ２４）を行う。画像が撮影されると、公知のように撮像処理部（１０８）が画像処理や圧縮処理を行い、記憶部（１７）に記憶（Ｓ２５）する。記憶部（１７）は本装置（１）に実装されたメモリや、本装置（１）に装着された外部メモリカードとして実現される。

また、別の実施例として、画像を撮影（Ｓ２４）した後、記憶部（１７）への記録の有無に関わらず、データ通信部（１００）の作用により電子メール形式に変換したり、ｆｔｐによる通信で通信アダプタ（１１）からインターネット（２０）上の任意のサーバー装置や端末装置に送信することもできる。

本発明は、請求項記載の範囲内で任意に変更することができる。本発明の頭部画像は、人物や動物、アニメーションの登場人物など様々なキャラクタを用いることができる。人物の頭部画像の場合には、撮影者本人や著名人の写真、似顔絵などでもよい。動物の場合には、犬や猫などに限らず、鳥や魚でもよい。

本発明を応用する用途としては、次のようなものが考えられる。
まず、災害時に被害状況を一覧表示するシステムとして利用し、被害箇所を撮影した画像を集積する。その際、撮影場所と、撮影方向を本発明によって表示することで、被害箇所の特定に寄与することができる。

観光スポットの案内を行うシステムにおいて、推奨の観光スポットの写真を位置と方位、仰角の情報と共に蓄積しておき、観光客がキャラクタ画像をクリックして指定することで、簡単に観光スポットの写真を表示することができる。

１ 画像撮影装置
１０ ＣＰＵ
１１ 通信アダプタ
１２ カメラ
１３ キーボード
１４ 姿勢センサ
１５ ＧＰＳアンテナ
１６ モニタ
１７ 記憶部
２０ インターネット
２１ 地図・撮影画像サーバー
２２ 地図データ
２３ 撮影画像
１００ データ通信部
１０１ 撮影情報抽出処理部
１０２ 表示位置決定処理部
１０３ 頭部画像生成処理部
１０４ 頭部画像出力部
１０５ 撮影画像表示部
１０６ ＧＰＳ処理部
１０７ 姿勢センサ処理部
１０８ 撮像処理部
１０９ 情報取得制御部

Claims (11)

1. デジタルカメラの撮影画像を電子地図と関連付けて表示する撮影画像表示装置であって、
   第１記憶手段上に格納され、地図と位置情報との対応関係を含む地図データを入力する地図データ入力手段と、
   第２記憶手段上に格納され、少なくとも画像撮影時に記録した位置情報及び方向情報を含む撮影画像を入力する撮影画像入力手段と、
   該撮影画像から該位置情報及び該方向情報を抽出する撮影情報抽出手段と、
   抽出した該位置情報から電子地図上の表示位置を決定する表示位置決定手段と、
   抽出した該方向情報から該方向情報に対応する方向にキャラクタの顔の向きを合わせた頭部画像を生成する頭部画像生成手段と、
   該地図データから電子地図画像を出力すると共に、該電子地図画像上の決定された該表示位置に、該頭部画像を重ねて出力する頭部画像出力手段と、
   撮影画像を表示する撮影画像表示手段と
   を備えたことを特徴とする撮影画像表示装置。
2. 前記方向情報が画像撮影時におけるデジタルカメラの方位及び仰角であって、
   該方位に、前記頭部画像の顔の正面方向を向けると共に、
   該仰角が０度の時に、該頭部画像の顔の正面が前記電子地図の地表面と平行な方向を向き、仰角が正の場合には顔の正面が上向いて顔が視認できるようになり、仰角が負の場合には顔の正面が下向いて後頭部が視認できるようになる構成である
   請求項１に記載の撮影画像表示装置。
3. 前記撮影画像表示装置において、前記電子地図画像上に複数の前記頭部画像を同時に表示可能な構成であって、
   入力手段から前記任意の頭部画像の指定を受理する画像指定受理手段
   を備え、
   前記撮影画像表示手段が、該指定に従って、その撮影画像を表示する
   請求項１又は２に記載の撮影画像表示装置。
4. 前記撮影画像表示装置において、
   前記撮影情報に、撮影者又は撮影者の属性を識別可能な撮影者識別情報を含み、
   該撮影者識別情報に応じて、前記頭部画像を変化させる
   請求項１ないし３のいずれかに記載の撮影画像表示装置。
5. 前記撮影画像表示装置において、
   前記撮影情報に、撮影時の天候や撮影場所の雰囲気などを示す撮影状況情報を含み、
   該撮影状況情報に応じて、前記頭部画像を変化させる
   請求項１ないし４のいずれかに記載の撮影画像表示装置。
6. デジタルカメラの撮影画像を電子地図と関連付けて表示する撮影画像表示方法であって、
   地図データ入力手段が、第１記憶手段上に格納され、地図と位置情報との対応関係を含む地図データを入力する地図データ入力工程、
   撮影画像入力手段が、第２記憶手段上に格納され、少なくとも画像撮影時に記録した位置情報及び方向情報を含む撮影画像を入力する撮影画像入力工程、
   撮影情報抽出手段が、該撮影画像から該位置情報及び該方向情報を抽出する撮影情報抽出工程、
   表示位置決定手段が、抽出した該位置情報から電子地図上の表示位置を決定する表示位置決定工程、
   頭部画像生成手段が、抽出した該方向情報から該方向情報に対応する方向にキャラクタの顔の向きを合わせた頭部画像を生成する頭部画像生成工程、
   頭部画像出力手段が、該地図データから電子地図画像を出力すると共に、該電子地図画像上の決定された該表示位置に、該頭部画像を重ねて出力する頭部画像出力工程、
   撮影画像表示手段が、撮影画像を表示する撮影画像表示工程
   を有することを特徴とする撮影画像表示方法。
7. 前記方向情報が画像撮影時におけるデジタルカメラの方位及び仰角であって、
   該方位に、前記頭部画像の顔の正面方向を向けると共に、
   該仰角が０度の時に、該頭部画像の顔の正面が前記電子地図の地表面と平行な方向を向き、仰角が正の場合には顔の正面が上向いて顔が視認できるようになり、仰角が負の場合には顔の正面が下向いて後頭部が視認できるようになる構成である
   請求項６に記載の撮影画像表示方法。
8. 前記頭部画像出力工程において、前記電子地図画像上に複数の前記頭部画像を同時に表示可能な構成であって、頭部画像出力工程の次に、
   画像指定受理手段が、入力手段から前記任意の頭部画像の指定を受理する画像指定受理工程を有し、
   前記撮影画像表示工程において、
   前記撮影画像表示手段が、該指定に従って、その撮影画像を表示する
   請求項６又は７に記載の撮影画像表示方法。
9. 前記撮影画像表示方法の頭部画像生成工程において、
   前記撮影情報に、撮影者又は撮影者の属性を識別可能な撮影者識別情報を含み、
   該撮影者識別情報に応じて、前記頭部画像を変化させる
   請求項６ないし８のいずれかに記載の撮影画像表示方法。
10. 前記撮影画像表示方法の頭部画像生成工程において、
    前記撮影情報に、撮影時の天候や撮影場所の雰囲気などを示す撮影状況情報を含み、
    該撮影状況情報に応じて、前記頭部画像を変化させる
    請求項６ないし９のいずれかに記載の撮影画像表示方法。
11. 請求項６ないし１０に記載の撮影画像表示方法によって出力される
    ことを特徴とする電子地図。

Images