JP4875887B2 - 画像合成システム及び画像合成方法 - Google Patents

Description

本発明は、パノラマ画像に他の画像を合成する画像合成システム及び画像合成方法に関するものである。

近年、携帯電話やパーソナルコンピュータ等の端末の高機能化やインフラの整備に伴い、周囲最大３６０度を撮像して得られる画像を利用したサービスが広く展開されている。たとえば、周囲最大３６０度を撮像した広角の動画像や静止画像を端末の表示画面に表示し、ビル内の防犯用の監視画像や、部屋の内部を紹介する不動産情報等として利用されている。これらの画像は、一般に矩形の画像として表示されることが多く、パノラマ画像と呼ばれている。

パノラマ画像は、全方位や広角の曲面レンズや曲面ミラーを使用してデジタルカメラ等の撮像手段で撮像して得られる。曲面レンズや曲面ミラーを用いてパノラマ画像を生成する技術としては、画像処理技術や光学系技術の両方から様々なものが開発されている。

画像処理技術によりパノラマ画像を生成する場合は、曲面レンズや曲面ミラーにより撮像した円形（環状）画像を、パノラマ画像に展開することにより生成する。曲面レンズや曲面ミラーにより撮像される画像は等距離射影法に基づく円形もしくはその一部の射影画像（以下、等距離射影画像という）であり、この等距離射影画像を、中心射影法に基づく射影画像（以下、中心射影画像という）や、正距円筒図法に基づく投影画像（以下、正距円筒画像という）などに変換することにより、パノラマ画像が生成される。

光学系技術によりパノラマ画像を生成する場合は、プログラムによる画像処理なしに、中心射影画像や正距円筒画像などのパノラマ画像を撮像可能な曲面レンズや曲面ミラーが開発されており、これを用いることにより直接パノラマ画像を生成する。

図１０は、上述の等距離射影画像，中心射影画像，正距円筒画像を説明する説明図である。説明の便宜上、球体を仮想的に設定し、それを各射影法や投影法で平面画像に変換する場合を説明する。

図１０（ａ）（ｂ）の符号Ｐは、等距離射影画像を説明する図である。たとえば、曲面レンズの一種である魚眼レンズの場合は、魚眼レンズの置かれた位置から魚眼レンズの曲面を通して見える像を、そのまま曲面に貼り付けたと仮定すると、その曲面に貼り付けた３次元空間の像を、２次元空間の平面上に押し潰して貼り付けるように射影した像が、魚眼レンズから得られる円形の等距離射影画像Ｐとなる。全方位ミラーを使用した場合はミラーの曲面に映る３次元空間の像を２次元空間の平面上に押しつぶして貼り付けるように射影した像が、全方位ミラーから得られる円形の等距離射影画像Ｐとなる。

図１０（ａ）の符号Ｐ１は、中心射影画像を説明する説明図である。中心射影画像は、球面から球に接する平面へ写された画像であり、球面上の点と球の中心とを結ぶ線を平面へ延長して球面の画像を平面へ写すことにより得られる。中心射影画像は、撮像された円形の等距離射影画像を画像処理技術により変換することで間接的に得られる場合と、光学系技術により曲面レンズや曲面ミラーから直接撮影画像として得られる場合とがある。画像処理技術による場合は、理論的には等距離射影画像を逆変換により仮想的な球面に変換し（図１０(ａ)の矢印ｂ１）、さらにその仮想的な球面を中心射影で変換する（図１０（ａ）の矢印ｃ１）ことにより得られるが、実際には、変換式や対応テーブル等により等距離射影画像から直接的に変換される（図１０（ａ）の矢印ａ１）。

図１０（ｂ）の符号Ｐ２は、正距円筒図法に基づく正距円筒画像を説明する説明図である。正距円筒画像は、球面上の仮想的な緯線経線を平面上の直交座標系へ等間隔に変換した画像である。正距円筒画像も、撮像された円形の等距離射影画像を画像処理技術により変換することで間接的に得られる場合と、光学系技術により曲面レンズや曲面ミラーから直接撮影画像として得られる場合とがある。画像処理による場合は、理論的には等距離射影画像を逆変換により仮想的な球面に変換し（図１０（ｂ）の矢印ｂ２）、さらにその仮想的な球面を正距円筒図法に基づいて変換する（図１０（ｂ）の矢印ｃ２）ことにより得られるが、実際には、変換式や対応テーブル等により等距離射影画像から直接的に変換される（図１０（ｂ）の矢印ａ２）。

下記特許文献１には、画像処理により、第１の座標系（極座標系）上の円形の等距離射影画像を、第２の座標系（直交座標系）上の正距円筒画像に変換する変換原理を用いてパノラマ画像を表示する技術が開示されている。この変換原理では、第２の座標系上の座標（ｘ，ｙ）に対応する第１の座標系（入力円形画像）上の座標（Ｘ，Ｙ）を所定の座標変換式を用いて演算することにより求め、算出された第１の座標系上の座標（Ｘ，Ｙ）にある円形の等距離射影画像の画素を第２の座標系上の座標（ｘ，ｙ）にマッピングすることにより、等距離射影画像を正距円筒画像Ｐ２に画像変換している。
特開２００１−３３１７８９号公報

また、下記特許文献２には、光学系技術によりパノラマ画像を生成する技術が開示されている。
特開２０００−１３１６１３号公報

しかしながら、曲面ミラーや曲面レンズを用いて生成されるパノラマ画像は、次のような欠点を有する。曲面レンズや曲面ミラーを用いて得られるパノラマ画像のうち、中心射影画像Ｐ１等の画像（図１０（ａ））は、臨場感があるものの、領域によって歪曲収差（縮尺比率）が異なり、距離感が適正に表現されないという問題が生じていた。たとえば、図１０（ａ）の中心射影画像Ｐ１を例に説明すると、中央付近と外周付近とでは歪曲収差（縮尺比率）が異なるため、中央付近のオブジェクトが小さく表現され、中央付近が実際よりも遠く感じられてしまう。

一方、距離感を優先して、歪曲収差が１００％に近い領域のみ（例えば正距円筒画像Ｐ２の中央付近のみ）を抽出して表示することも考えられる。この場合、現実とほぼ同一比率の縮尺で表現されるため、オブジェクトの大きさは適正であり、距離感も現実的であるものの、平面的な表示であるため臨場感に欠けるという問題がある。

上記問題は、曲面レンズや曲面ミラーを用いて得られるパノラマ画像であれば、画像処理技術を用いて変換により間接的に得られるパノラマ画像についても、光学系技術を用いて無変換で直接的に得られるパノラマ画像についても、また、これらの画像をコンピュータグラフィックで表したパノラマ画像についても、いずれのパノラマ画像についても共通して生じる問題であり、広く解決が望まれている。

そこで、本発明の目的は、パノラマ画像を用いて、オブジェクトの大きさや距離感が適正に表現され、且つ、臨場感に溢れる画像を合成可能な画像合成システム及び画像合成方法を提供することにある。

本発明の画像合成システムは、撮像装置により撮像される原画像を変換することにより第１の画像と第２の画像を生成し、画像合成する画像合成システムにおいて、パノラマ画像である第１の画像の指定領域に、第２の画像の当該指定領域に対応する領域を抽出して配置する手段を備え、前記第１の画像の指定領域は、前記第１の画像の中央付近に位置して前記第１の画像の他の領域と比較して歪曲収差が１００％に近い領域であり、かつ、前記第２の画像の指定領域に対応する領域は、前記第１の画像の指定領域よりも歪みが少なくて前記第１の画像の指定領域よりも歪曲収差が１００％に近い領域であり、臨場感に溢れる合成画像とするために、前記第１の画像の指定領域には、前記第２の画像の当該指定領域に対応する領域が抽出され配置されるとともに、前記第１の画像の指定領域外領域では、歪が大きい状態が保持されることを特徴とする。
本発明の画像合成方法は、撮像装置により撮像される原画像を変換することにより第１の画像と第２の画像を生成し、画像合成する画像合成方法において、パノラマ画像である第１の画像の指定領域に、第２の画像の当該指定領域に対応する領域を抽出して配置する手段を備え、前記第１の画像の指定領域は、前記第１の画像の中央付近に位置して前記第１の画像の他の領域と比較して歪曲収差が１００％に近い領域であり、かつ、前記第２の画像の指定領域に対応する領域は、前記第１の画像の指定領域よりも歪みが少なくて前記第１の画像の指定領域よりも歪曲収差が１００％に近い領域であり、前記第１の画像の指定領域に、前記第２の画像の当該指定領域に対応する領域を抽出して配置するとともに、前記第１の画像の指定領域外領域では、歪が大きい状態を保持することで、臨場感に溢れる合成画像とすることを特徴とする。前記指定領域や前記指定領域に対応する領域は、システムやステップに予め内部的に設定されることにより指定される領域でも良いし、使用者により指定される領域でも良い。

この発明によれば、パノラマ画像である第１の画像の指定領域に、第２の画像の当該指定領域に対応する領域であり且つ当該指定領域よりも歪みが少ない領域を抽出して重ね合わせるため、指定領域においては、第２の画像が用いられることによりオブジェクトがより現実的な比率となり、距離感がより適正に表現され、指定領域以外の領域においては、第１の画像をそのまま用いることにより、パノラマ画像特有の臨場感を生かすことができる合成画像を生成することが可能となる。ここで、パノラマ画像は、曲面レンズや曲面ミラーを用いて得られるものであっても良いし、コンピュータグラフィックにより描かれたものであっても良い。第２の画像は歪みのない画像であることが、より好ましい。
また、前記指定領域は、第１の画像全体のうちの他の領域と比較して歪曲収差が１００％に近い領域であるため、指定領域では、歪曲収差が１００％に近い領域をさらに１００％に近いものとし、その他の領域はそのまま使用することにより臨場感を生かすことができるため、画像合成による違和感を抑えることができる。

また、前記第１の画像の指定領域は、当該第１の画像の中央付近に位置することが好ましい。画像の中央付近は表示に際して注目されやすい位置である。かかる注目されやすい中央付近においては第２の画像を用いてオブジェクトの大きさや距離感を適正に表現し、周縁の領域では第１の画像を用いて全体の雰囲気となる臨場感を出すことによって、画像合成の効果が高く発揮される。
また、前記第２の画像の指定領域に対応する領域は、前記第１の画像の指定領域よりも歪みが少なく、歪曲収差が１００％に近いことが好ましい。画像の歪みは歪曲収差により客観的に比較することができる。第１の画像の指定領域に歪曲収差が１００％に近い領域の画像を配置することにより、指定領域を歪みの少ない画像とすることができる。ここで、歪曲収差は、領域全体の歪曲収差を意味する。たとえば、各々の領域の歪曲収差の平均値を算出し、その平均値を比較する。

前記第１の画像は、中心射影画像であることが好ましい。ここで、中心射影画像は、曲面レンズや曲面ミラーを用いて得られる円形の等距離射影画像等を変換式や変換テーブルにより変換した画像でも良いし、中心射影画像を直接撮像可能な曲面レンズや曲面ミラーを用いて得られた画像でも良い。中心射影画像は臨場感に優れるため、中心射影画像の臨場感を生かしながら、距離感が適正な合成画像を生成することができる。

また、中心射影画像は、周縁から中心に向かって歪曲収差が１００％に近くなる特性を有するため、指定領域は、注目されやすく且つ歪曲収差が１００％に近い中心付近とすることが好ましい。中央付近においては、歪曲収差が１００％に近い領域をさらに１００％に近いものとするため、画像合成による違和感を抑えることができる。そして、中央付近よりも歪曲収差が１００％に遠い値を有する周縁部については、そのまま使用することにより臨場感を生かすことができ、全体として、違和感が少なく且つ距離感・臨場感に優れた合成画像を生成することができる。

また、第２の画像は、正距円筒図法に基づく正距円筒画像であることが好ましい。正距円筒画像は、歪曲収差が１００％に近い領域を有し、その領域では距離感が適正に表現されている。第１の画像の指定領域に、正距円筒画像の指定領域に対応する領域を配置することにより、距離感に優れた合成画像を得ることができる。さらに、この場合、第２の画像である正距円筒画像において、指定領域に対応する領域が、歪曲収差が最も１００％に近いポイントを中心付近とした所定領域であることが好ましい。この領域が最も距離感が適正な領域だからである。

とくに、第１の画像は中心射影画像であり、第２の画像は正距円筒画像であり、指定領域は第１の画像の中央付近であることが好ましい。これにより、上述した効果が総合的に発揮され、違和感が少なく臨場感・距離感に優れた合成画像が得られる。

また、前記第２の画像は、正距方位図法に基づく等距離射影画像、又は、平射方位図法に基づく立体射影画像又は極射影画像、又は、正射方位図法に基づく正射影画像又は直交射影画像、又は、ランベルト正積方位図法に基づく等立体角射影画像であることが好ましい。これらの画像には、歪曲収差が１００％に近い領域を有し、その領域では距離感が適正に表現されている。第１の画像の指定領域に、これらの画像の指定領域に対応する領域を配置することにより、距離感に優れた合成画像を得ることができる。

また、前記第１の画像の指定領域に、前期第２の画像の指定領域に対応する領域を配置した状態において、両画像の境界にぼかし処理を施すことが好ましい。これによれば、第１の画像と第２の画像の境界が目立たなくなり、両画像が一体化した自然な合成画像となる。

本発明によれば、指定領域においては、第２の画像を用いることにより、オブジェクトがより現実的な比率となり、距離感がより適正に表現され、指定領域以外の領域においては、第１の画像をそのまま用いることにより、曲面レンズや曲面ミラーを用いて得られるパノラマ画像特有の臨場感を生かすことができる合成画像を生成することが可能となる。たとえば、部屋の内部を紹介する不動産情報として使用したときは、あたかも部屋の中にいるような臨場感を与えながらも、距離感を適正化して奥行きなどの誤解を生じさせないようにできる。また、防犯用の監視画像として使用したときは、全体的には臨場感を損なわず、指定領域では物の大きさや距離感を適正に表示することができ、監視場所の正確な把握を助けることができる。

以下、本発明の第１の実施の形態の画像合成システム及び画像合成方法について、図面を参照しながら説明する。本実施の形態は、曲面レンズや曲面ミラーを利用して得られる全方位の円形の等距離射影画像を原画像とし、原画像からパノラマ画像である第１の画像と第２の画像を生成し、その第１の画像と第２の画像を合成する場合を例に説明する。本発明の画像合成方法は、下記画像合成システムの処理工程に対応する。

第１の画像は中心射影画像とし、第２の画像は正距円筒図法に基づいた正距円筒画像とした。これは例であり、第１の画像や第２の画像はその他の射影法や図法に基づく画像でも良い。たとえば、第２の画像として、正距方位図法に基づく等距離射影画像、又は、平射方位図法に基づく立体射影画像又は極射影画像、又は、正射方位図法に基づく正射影画像又は直交射影画像、又は、ランベルト正積方位図法に基づく等立体角射影画像を用いても良い。

また、中心射影画像、等距離射影画像、立体射影画像、極射影画像、正射影画像や直交射影画像、等立体角射影画像などは、専用の曲面ミラーや曲面レンズを用いることにより、無変換で直接得られる。第１の画像や第２の画像は、これらの画像を用いても良く、必ずしも同一原画像から生成される必要はない。

本実施形態の画像合成システム１は、例えばパーソナルコンピュータなどのコンピュータシステムによって実現される。図１は、本実施形態の画像合成システム１とその周辺装置の模式図である。画像合成システム１は、全方位カメラや広角カメラ等の撮像装置２と液晶ディスプレイなどの表示装置３と接続される。

（撮像装置）
撮像装置２は、周囲最大３６０度の画像を撮像可能なものであり、例えば図２に示すように、全方位レンズや広角レンズなどの曲面レンズ２１及び撮像手段２３を備える撮像装置２Ａや、全方位ミラーや広角ミラーなどの曲面ミラー２２及び撮像手段２３を備える撮像装置２Ｂである。視野角１８０度の魚眼レンズも広角レンズに含まれる。本実施の形態では、パノラマ画像である第１の画像と第２の画像は、この曲面レンズ２１や曲面ミラー２２を備える撮像装置２を使用することにより得られる。具体的には、撮像装置２により撮像される円形の等距離射影画像を原画像Ｐとし、原画像Ｐを変換することにより第１の画像と第２の画像を生成する。

図３は、曲面レンズ２１又は曲面ミラー２２（以下、曲面レンズ／ミラーという）と、その曲面レンズ／ミラーを使用してデジタルカメラ等の撮像手段２３により撮像された画像との関係を示す概念図である。撮像手段２３に曲面レンズ／ミラーを取り付けて、ｘ軸，ｙ軸，ｚ軸の三次元空間の上方に（ｚ軸方向に）向けて置いたとすると、曲面レンズ／ミラーの内側や外側に貼り付けられた像を撮像手段２３により撮影する状態を想定して考えることができ、撮像手段２３により撮像された画像は、曲面レンズ／ミラーの外周円形の曲面を平面に射影して得られる円形の等距離射影画像Ｐとなると想定できる。全方位の曲面レンズ／ミラーを使用して撮像した画像は中央空白のドーナツ状の等距離射影画像Ｐとなり、魚眼レンズなどの広角の曲面レンズ／ミラーを使用して撮像した画像は中央空白のない円形の等距離射影画像Ｐとなる。曲面レンズ／ミラーの曲面の周縁を円周とする円形平面Ｃにおける水平方向の角度を角θ、円形平面Ｃの中心からの仰角（円形平面Ｃとその中心からの放射線との成す角）を角φ、円形射影画像ＣＰにおいて中心からの距離を距離ｒとすると、円形の等距離射影画像Ｐの大きさが一定であることを前提として、曲面上の点（θ，φ）が平面に射影されたときの等距離射影画像Ｐの中心からの距離ｒは曲面の曲率に依存する。本実施の形態では、この等距離射影画像Ｐを原画像Ｐとして使用する。

（画像合成システム）
図４は画像合成システム１を実現するコンピュータシステムのハード構成を模式的に示した図である。画像合成システム１は、ＣＰＵ、メモリ、入力装置インターフェイス、表示装置インターフェイス、外部機器インターフェイス、ネットワークインターフェイス、ＡＶインターフェイスを備え、それぞれ内部バスを介して接続されている。画像合成システム１には、ＡＶインターフェイスを介して上記撮像装置２が接続され、さらに、表示装置インターフェイスを介して液晶ディスプレイなどの表示装置３が、入力インターフェイスを介してキーボードやマウスなどの入力装置４が、外部機器インターフェイスを介してハードディスクやメディアドライブなどの記憶手段５が、ネットワークインターフェイスを介してインターネットなどのネットワークが接続される。

図５は、画像合成システム１の機能構成を模式的に示した図である。画像合成システム１は、第１の画像生成手段１１と、第２の画像生成手段１２と、画像合成手段１３とを備える。図６は、本画像合成システムの原理を説明する説明図である。

（第１の画像生成手段）
第１の画像生成手段１１は、曲面レンズや曲面ミラーから得られる原画像（等距離射影射影画像）Ｐからパノラマ画像Ｐ１を生成する。パノラマ画像としては中心射影画像を例に説明するが、他の図法に基づくパノラマ画像でも良い。具体的には、曲面レンズや曲面ミラーにより得られる原画像Ｐが画像合成システムＳに入力されると、この原画像Ｐを、予め記憶されている変換式や変換テーブルを用いて第１の画像Ｐ１に変換する（図６の矢印ａ１）。例えば、原画像Ｐの座標系を偏角α，動径βの極座標(α, β)とし、第１の画像Ｐ１の座標系を偏角α’，動径β’の極座標(α’,β’)とすると、変換式は下記数式１として与えられる。

なお、原画像Ｐから中心射影画像Ｐ１への変換は上記に限らず、例えば、等距離射影画像である原画像Ｐを仮想的な球面に変換し（図６の矢印ｂ１）、その仮想的な球面を中心射影して第１の画像Ｐ１を生成しても良い（図６の矢印ｃ１）。

中心射影画像である第１の画像Ｐ１は、中心にむかって歪みが少なく、歪曲収差が１００％に近くなる特徴があり、中央付近のオブジェクトが小さく、外縁にいくにしたがってオブジェクトが大きく表示される。この縮尺の相違から、中央付近の領域が遠くに感じられるという錯覚が生じるが、一方で、奥行きが感じられて臨場感に溢れる。

（第２の画像生成手段）
第２の画像生成手段１２は、曲面レンズや曲面ミラーから得られる原画像（等距離射影射影画像）Ｐから第２の画像Ｐ２を生成する。ここでは第２の画像として正距円筒画像を例に説明する。具体的には、曲面レンズや曲面ミラーにより得られる原画像Ｐが画像合成システムＳに入力されると、この原画像Ｐを、予め記憶されている変換式や変換テーブルを用いて中心射影による第２の画像Ｐ２に変換する（図６の矢印ａ１）。例えば、曲面レンズの一種である魚眼レンズの場合，この変換は、原画像Ｐの座標系を偏角α，動径βの極座標(α,β)とし，第２の画像Ｐ２の座標系を横軸θ，縦軸φの直交座標系(θ,φ)とすると、数式２で与えられる。

また、例えば、曲面ミラーの一種である全方位ミラーの場合、原画像Ｐの座標系を偏角α，動径βの極座標(α,β)とし、第２の画像Ｐ２の座標系を横軸θ，縦軸φの直交座標系(θ,φ)とすると、下記数式３で与えられる。

なお、原画像Ｐから第２の画像Ｐ２への変換は上記に限らず、例えば、等距離射影画像である原画像Ｐを仮想的な球面に変換し（図６の矢印ｂ２）、その仮想的な球面を正距円筒図法により変換して第２の画像Ｐ２を生成しても良い（図６の矢印ｃ２）。

正距円筒画像である第２の画像Ｐ２の中心付近の領域は、中心射影画像である第１の画像Ｐ１の中央付近の領域よりも歪みが少なく、歪曲収差が１００％に近くなる特徴があり、オブジェクトの大きさや距離感が適正に表現されている。

生成された第１の画像Ｐ１及び第２の画像Ｐ２は、画像合成システムＳに接続される液晶表示装置などの出力手段に表示する。図７は、第１の画像Ｐ１と第２の画像Ｐ２とが表示された出力手段の表示画面を示す図である。

この表示画面上において、ユーザはマウス操作などにより第１の画像Ｐ１の任意の領域を指定することにより指定領域ｒ１を設定可能となっている。指定領域ｒ１は、第１の画像上に破線枠等を示すことにより表示される。

また、この表示画面には、第１の画像Ｐ１に指定した指定領域ｒ１と、指定領域ｒ１に対応する第２の画像Ｐ２の領域ｒ２との同期をとるか否かの選択を促す項目が設けられている。ユーザが項目をチェックして同期を取る旨の選択をすると、画像合成システムＳは、入力された指定領域ｒ１に対応する領域ｒ２（以下、対応領域ｒ２という）を第２の画像Ｐ２上に設定する。対応領域ｒ２は、以下の処理により設定される。図６において第1の画像Ｐ１の指定領域ｒ１を球面上へ逆変換し更に第２の画像Ｐ２へ変換することにより、第２の画像上の対応領域ｒ２を得る。また、対応領域ｒ２の大きさや縦横比が指定領域ｒ１のそれと異なる場合には適宜対応領域ｒ２の縦方向および横方向またはいずれか一方の拡大・縮小等を行う。対応領域ｒ２は、第２の画像上に破線枠等を示すことにより表示される。

ユーザが同期の機能を選択しない場合は、同期の項目のチェックを外す。同期の機能が選択されていない場合は、同期が解除され、第２の画像の対応領域ｒ２についてもユーザが任意に指定できるようになる。

（画像合成手段）
画像合成手段１３は、第１の画像Ｐ１の指定領域ｒ１に、第２の画像Ｐ２の対応領域ｒ２を抽出して配置する機能を備える。図６及び図７に示す画像Ｐ３が、画像合成手段１３により生成された合成画像Ｐ３である。合成画像Ｐ３は、第１の画像Ｐ１の指定領域ｒ１に、第２の画像Ｐ２の対応領域ｒ２が重ね合わされた状態となる。

生成された合成画像Ｐ３は、パノラマ画像である第１の画像Ｐ１の中央付近に歪みの少ない第２の画像の対応領域ｒ２が配置された状態となっている。これにより、第１の画像Ｐ１の周縁部分の臨場感をそのまま利用しながら、対応領域ｒ２ではオブジェクトの大きさが調整され、縮尺の相違により中央付近が遠く見えるという距離感の錯覚が緩和される。

ここで、各領域ｒ１，ｒ２の歪み量は歪曲収差により比較することが好ましい。ここで歪曲収差は、各領域ｒ１，ｒ２の領域全体の歪曲収差を意味している。たとえば、各領域ｒ１，ｒ２について歪曲収差の平均値を用いて比較する。歪曲収差の平均値の求め方としては、以下の方法が挙げられる。例えば、領域の全ての画素について計算された歪曲収差の平均値でもよいし、領域を任意の格子で区切った結節点の画素についてのみ求められた歪曲収差の平均値でもよい。

ここで、第１の画像Ｐ１において、指定領域ｒ１は、他の領域（指定領域ｒ１を除く領域）と比較して、歪曲収差が１００％に近い領域、すなわち、本実施の形態においては中央付近であることが好ましい。かかる指定領域ｒ１に、指定領域ｒ１よりも歪曲収差が１００％に近い対応領域ｒ２を配置しても違和感が少ないためである。

また、第２の画像Ｐ２において、対応領域ｒ２は、他の領域（対応領域ｒ２を除く領域）よりも歪曲収差が１００％に近い領域、すなわち、本実施の形態では中央付近に設定されることが好ましい。かかる領域を対応領域ｒ２とすることにより、効果的に距離感の適正化が図られるためである。

また、指定領域ｒ１を中央付近とし、そこに対応領域ｒ２を配置することにより、注目されやすい領域の距離感を適正化し、周縁の領域は第１の画像をそのまま生かすことにより全体の雰囲気に臨場感を与えることができる。

指定領域ｒ１と対応領域ｒ２の重ね合わせの位置は、画像合成システム１により決定されても良いし、ユーザにより任意に定められるようにしても良い。合成画像Ｐ３は表示画面（図７）に表示され、その表示された合成画像Ｐ３は、ユーザのマウス操作等により対応領域ｒ２が位置移動可能となっており、ユーザが任意に重ね合わせ位置を調整可能となっている。

また、合成画像Ｐ３において、ユーザのマウス操作等により対応領域ｒ２の大きさを変更することが可能となっており、画像合成システム１は、ユーザによる対応領域ｒ２の大きさの変更に応じて、対応領域ｒ２の画像の拡大・縮小を行う。これにより、ユーザは合成画像Ｐ３のバランスを見ながら第１の画像Ｐ１における対応領域ｒ２の大きさを調整可能となっている。

さらに、画像合成手段１３は、合成画像Ｐ３において、重ね合わせられた第１の画像Ｐ１と第２の画像Ｐ２の境界に、ぼかし処理を施す機能を備えることが好ましい。合成画像Ｐ３は、第１の画像Ｐ１と第２の画像Ｐ２との境界が目立たなくなり、全体として一体化された画像となる。これにより、合成画像Ｐ３は、合成による違和感が低減され、より臨場感のある画像となる。ぼかし処理としては、本実施の形態では境目近傍の画素平均により行うが、他の方法でも良い。

画像合成システム１を使用するときは、まず、撮像装置２で撮像された原画像Ｐを画像合成システム１に入力する。画像合成システム１は、第１の画像合成手段１１により第１の画像を生成し、第２の画像合成手段１２により第２の画像を生成し、各画像Ｐ１，Ｐ２を表示画面に表示する。第１の画像Ｐ１の指定領域ｒ１や第２の画像Ｐ２の対応領域ｒ２の初期状態が設定されている場合は、表示画面の各画像Ｐ１，Ｐ２に各領域ｒ１，ｒ２を破線等により表示する。つぎに、ユーザはマウス操作等により第１の画像Ｐ１の指定領域ｒ１を指定する。指定領域ｒ１は第１の画像Ｐ１中に破線などにより示される。その際に、ユーザが所定の項目にチェックを入れると、画像合成システム１は、指定領域ｒ２に対応する対応領域ｒ２を第２の画像Ｐ２中に設定し、それを破線等により表示画面に表示する。ユーザは、項目にチェックしない場合は、マウス操作等により対応領域ｒ２を設定し、それが表示画面に表示される。さらに、画像合成システム１は、画像合成手段により、第１の画像Ｐ１の指定領域ｒ１に第２の画像の対応領域ｒ２を配置して、合成画像Ｐ３を生成する。ユーザは合成画像Ｐ３において第１の画像Ｐ１の領域と第２の画像の対応領域ｒ２との境界にぼかし処理を施したい場合は、「境界をぼかす」の項目にチェックし、ぼかしの程度を示す目盛を指すポインタを動かしてぼかしの程度を指定する。画像合成システム１は、「境界をぼかす」の項目にチェックされている場合は、指定された程度でぼかし処理を施す。

（他の実施の形態）
第１の画像Ｐ１や第２の画像Ｐ２は直接画像合成システム１に入力されても良い。入力される各画像Ｐ１，Ｐ２は、原画像Ｐを変換することにより生成されたパノラマ画像であってもよいし、パノラマ画像が変換なしに直接得られる曲面レンズや曲面ミラーを用いて撮像された画像であってもよい。

この場合、本実施の形態の画像合成システム１は、原画像Ｐからの各画像Ｐ１，Ｐ２への変換処理が不要となるため、第１の画像生成手段１１や第２の画像生成手段１２を備えなくとも良い。なお、入力された画像が、円形の等距離射影画像Ｐであるか、第１の画像Ｐ１であるか、第２の画像Ｐ２であるかを判断する判断手段を備え、入力された画像Ｐ，Ｐ１，Ｐ２に応じて第１の画像生成手段１１や第２の画像生成手段１２や画像合成手段１３による処理が起動されるようにしてもよい。

また、第２の画像Ｐ２としては、前記第２の画像は、正距方位図法に基づく等距離射影画像、又は、平射方位図法に基づく立体射影画像又は極射影画像、又は、正射方位図法に基づく正射影画像又は直交射影画像、又は、ランベルト正積方位図法に基づく等立体角射影画像でも良い。図８（ａ）は第２の画像を立体射影画像又は極射影画像としたときの合成画像Ｐ３の例であり、（ｂ）は第２の画像を正射影画像又は直交射影画像としたときの合成画像Ｐ３の例であり、（ｃ）は等立体角射影画像としたときの合成画像Ｐ３の例であり、（ｄ）は等距離射影画像としたときの合成画像Ｐ３の例である。いずれも、第１の画像は中心射影画像としている。第２の画像の対応領域ｒ２は第１の画像の指定領域ｒ１と比較して歪曲収差が１００％に近く、第２の画像としていずれの画像を用いても本発明の効果が発揮される。

（実施例）
不動産分野などにおいて、室内の風景をパノラマ画像として提供する場合を例に、本発明の実施例を示す。図９は、本実施例を説明する図である。第１の画像生成手段１１により第１の画像Ｐ１が生成され、第２の画像生成手段１２により第２の画像Ｐ２が生成される。画像合成手段１３により、第１の画像Ｐ１の所定領域ｒ１に、第２の画像Ｐ２の対応領域ｒ２が重ねあわされて、両画像Ｐ１，Ｐ２の境界にぼかし処理が施され、合成画像Ｐ３が生成される。合成画像Ｐ３は、表示装置３に画面表示される。ユーザは、この表示装置３に表示された合成画像Ｐ３を見ることにより、室内を擬似体験する。合成画像Ｐ３は、臨場感に溢れ、更に、中央付近の領域においてはオブジェクトの大きさや距離感も現実的となる。ユーザは、あたかも室内に居るような臨場感を感じながら、テーブル等の物の大きさや部屋の奥行き等を誤解することがない。また、これらの画像は曲面レンズや曲面ミラーで撮影されたものでも良いし、ＣＧであっても良い。

上記実施の形態の画像合成システムは、パーソナルコンピュータ等のコンピュータシステムにより実現する場合を例に説明したが、例えばデジタルカメラや携帯電話などの携帯端末により実現されても良い。また、上記各手段や方法は、プログラムにより実現されても良いし、ＩＣチップ等の回路により実現されても良い。本画像合成システム１と撮像装置２と表示装置３とは、ネットワークを介して接続されていても良い。

また、上記実施の形態及び実施例では、静止画像を例に説明したが、ＣＣＤカメラなどの動画像撮像手段により撮像された動画像について、動画像を構成する各フレームに対して同様の処理を行うことで、動画像にも適用可能である。

本実施形態の画像合成システムとその周辺装置の模式図 （ａ）は曲面レンズを備える撮像装置の概略図、（ｂ）は曲面ミラーを備える撮像装置の概略図 曲面レンズ／ミラーと、それを使用してデジタルカメラにより撮像された射影画像との関係を示す概念図 画像合成システムを実現するコンピュータシステムのハード構成を模式的に示した図 画像合成システムの機能構成を模式的に示した図 本発明の画像合成の原理を概念的に説明する説明図 第１の画像、第２の画像、合成画像、操作ボタンなどが表示される表示画面を示す図 （ａ）は第２の画像を立体射影画像又は極射影画像としたときの合成画像Ｐ３の例、（ｂ）は第２の画像を正射影画像又は直交射影画像としたときの合成画像Ｐ３の例、（ｃ）は等立体角射影画像としたときの合成画像Ｐ３の例、（ｄ）は等距離射影画像としたときの合成画像Ｐ３の例 本発明の画像合成システムの表示画面の実施例を示す図 等距離射影画像と、中心射影画像と、正距円筒画像を概念的に説明する説明図

符号の説明

１ 画像合成システム
１１ 第１の画像生成手段
１２ 第２の画像生成手段
１３ 画像合成手段
２ 撮像装置
２１ 曲面レンズ
２２ 曲面ミラー
２３ デジタルカメラ
３ 表示装置
Ｃ 円形平面
ＣＰ 円形射影画像
Ｐ 原画像
Ｐ１ 第１の画像
Ｐ２ 第２の画像
Ｐ３ 合成画像
ｒ１ 指定領域
ｒ２ 対応領域

Claims (4)

1. 撮像装置により撮像される原画像を変換することにより第１の画像と第２の画像を生成し、画像合成する画像合成システムにおいて、
   パノラマ画像である第１の画像の指定領域に、第２の画像の当該指定領域に対応する領域を抽出して配置する手段を備え、前記第１の画像の指定領域は、前記第１の画像の中央付近に位置して前記第１の画像の他の領域と比較して歪曲収差が１００％に近い領域であり、かつ、前記第２の画像の指定領域に対応する領域は、前記第１の画像の指定領域よりも歪みが少なくて前記第１の画像の指定領域よりも歪曲収差が１００％に近い領域であり、
   臨場感に溢れる合成画像とするために、前記第１の画像の指定領域には、前記第２の画像の当該指定領域に対応する領域が抽出され配置されるとともに、前記第１の画像の指定領域外領域では、歪が大きい状態が保持されることを特徴とする画像合成システム。
2. 前記第１の画像は、中心射影画像であり、かつ、前記第２の画像は、正距円筒図法に基づく正距円筒画像、又は、正距方位図法に基づく等距離射影画像、又は、平射方位図法に基づく立体射影画像又は極射影画像、又は、正射方位図法に基づく正射影画像又は直交射影画像、又は、ランベルト正積方位図法に基づく等立体角射影画像であることを特徴とする請求項１記載の画像合成システム。
3. 撮像装置により撮像される原画像を変換することにより第１の画像と第２の画像を生成し、画像合成する画像合成方法において、
   パノラマ画像である第１の画像の指定領域に、第２の画像の当該指定領域に対応する領域を抽出して配置する手段を備え、前記第１の画像の指定領域は、前記第１の画像の中央付近に位置して前記第１の画像の他の領域と比較して歪曲収差が１００％に近い領域であり、かつ、前記第２の画像の指定領域に対応する領域は、前記第１の画像の指定領域よりも歪みが少なくて前記第１の画像の指定領域よりも歪曲収差が１００％に近い領域であり、
   前記第１の画像の指定領域に、前記第２の画像の当該指定領域に対応する領域を抽出して配置するとともに、前記第１の画像の指定領域外領域では、歪が大きい状態を保持することで、臨場感に溢れる合成画像とすることを特徴とする画像合成方法。
4. 前記第１の画像を、中心射影画像とし、かつ、前記第２の画像を、正距円筒図法に基づく正距円筒画像、又は、正距方位図法に基づく等距離射影画像、又は、平射方位図法に基づく立体射影画像又は極射影画像、又は、正射方位図法に基づく正射影画像又は直交射影画像、又は、ランベルト正積方位図法に基づく等立体角射影画像とすることを特徴とする請求項３記載の画像合成方法。

Images