JP2012191380A - カメラ、画像変換装置、及び画像変換方法 - Google Patents

Abstract

【課題】広角レンズを用いて撮像された歪曲画像から、従来に比してより自然でより見易い表示画像を得ること。
【解決手段】撮像部１０１は、広角レンズ１０２を用いて撮像画像を得る。空間モデル格納部１１１には、撮像空間に存在する、床、天井、壁、テーブル等がモデル（テンプレート）化された空間モデルが格納されている。投影変換部１０９は、撮像画像を空間モデルに投影するようにマッピングする。平面変換部１１２は、空間モデルにマッピングされた画像を用いて、ディスプレイ画像を得る。
【選択図】図２

Description

本発明は、魚眼レンズ等の広角レンズを用いて撮像された歪曲画像から、見た目上自然な違和感の少ない画像を得る、カメラ、画像変換装置、及び画像変換方法に関する。

魚眼レンズ等の広角レンズを用いて撮像した画像は、一般に、画像の周縁部ほど歪曲した画像となる。従来、このような歪曲画像に対しては、歪み補正が施される場合が多い。

図１に、従来の歪み補正の様子を示す。図１は、互いに平行な白黒の横縞模様を広角レンズを用いて撮像した画像を示す。図１Ａは、歪み補正前の画像を示し、光学歪みが原因となって、周縁部ほど歪曲していることが分かる。図１Ｂは、歪み補正後の画像を示し、周縁部の歪曲は解消されているが、周縁部が拡大されてしまうので、不自然な画像になってしまう。

そこで、従来、歪みを補正しつつ、できるだけ自然な画像を得るための歪み補正技術が多数提案されている。

例えば、特許文献１には、歪曲画像を所定の投影面に投影し、その投影された画像に対して、原点からの距離に応じた変換を施すことにより、自然な違和感の少ない画像を得る技術が開示されている。

また、特許文献２には、仮想物体面上の画素位置を補正面上に投影し、補正面上に投影された画素位置をさらに表示面上に再投影することで、左右両端での極端な拡大を防止して、自然な画像を得る技術が開示されている。

また、特許文献３には、部分的に画像の拡大率を可変させることで、見易い画像を得る技術が開示されている。特許文献３では、例えば、広角レンズを用いたときに小さく表示されることが多い、画像中央部分の画像（人等）の拡大率を大きくすることで、見易い画像を得る。

特開２００８−５２５８９号公報 特開２００８−３１１８９０号公報 特許第４２７９６１３号公報

ところで、上記特許文献１−３に記載の技術は、いずれも、歪曲画像から自然な違和感の少ない画像を得る点では、ある程度の効果があると考えられる。しかしながら、より一層自然で違和感の少ない表示画像を得ることが望まれる。

本発明は、どのような画像が自然に見えるかを十分に検討した結果、なされたものである。

本発明は、従来には無かった新規な構成を採用することで、広角レンズを用いて撮像された歪曲画像から、従来に比してより自然でより違和感の少ない（見易い）ディスプレイ画像を得ることができる、カメラ、画像変換装置、及び画像変換方法を提供することを目的とする。

本発明のカメラの一つの態様は、被写体を結像するレンズと、前記レンズにより結像された光学像を電気信号に変換する撮像素子とを有し、撮像画像を得る撮像部と、空間モデルを格納する空間モデル格納部と、前記撮像画像を前記空間モデルに投影するようにマッピングする投影変換部と、前記空間モデルにマッピングされた画像を用いて、ディスプレイ画像を得る平面変換部と、を具備する。

本発明の画像変換装置の一つの態様は、撮像空間の空間モデルを格納する空間モデル格納部と、撮像画像を前記空間モデルに投影するようにマッピングする投影変換部と、前記空間モデルにマッピングされた画像を用いて、ディスプレイ画像を得る平面変換部と、を具備する。

本発明によれば、広角レンズを用いて撮像された歪曲画像から、従来に比してより自然でより違和感の少ないディスプレイ画像を得ることができる。

従来の歪み補正の様子を示す図であり、図１Ａは歪み補正前の画像を示す図、図１Ｂは歪み補正後の画像を示す図 実施の形態１のカメラの構成を示すブロック図 球面逆投影の説明に供する図であり、図３Ａは正射影を示す図、図３Ｂは等距離射影を示す図、図３Ｃは立体射影を示す図 図４Ａは空間モデルの例を示す図、図４Ｂは空間モデルへの投影の説明に供する図 立体モデルを平面展開して２次元ディスプレイ画像を形成する処理の説明に供する図であり、図５Ａは空間モデルを展開した例を示す図、図５Ｂは空間モデルを展開した他の例を示す図、図５Ｃは展開した空間モデルを用いて形成された２次元ディスプレイ画像を示す図 図６Ａは視点変換の説明に供する図、図６Ｂは視点変換を行うことで得られる出力画像を示す図 各シーン（空間モデル）を用いて得られる、２次元ディスプレイ画像の例を示す図 図８Ａは車載カメラ用の空間モデルの例を示す図、図８Ｂはその空間モデルを用いて得られる２次元ディスプレイ画像の例を示す図 図９Ａは監視カメラ用の空間モデルの例を示す図、図９Ｂはその空間モデルを用いて得られる２次元ディスプレイ画像の例を示す図 空間モデルを変形することでズーム処理を行う例を示す図であり、図１０Ａは空間モデルと球面画像とを示す図、図１０Ｂは投影画像を２次元平面に展開した図、図１０Ｃは２次元ディスプレイ画像を示す図 全周囲画像を形成する例を示す図であり、図１１Ａは空間モデルと球面画像とを示す図、図１１Ｂは投影画像を２次元平面に展開した図、図１１Ｃは２次元ディスプレイ画像を示す図 全周囲画像にズーム処理を施す例を示す図であり、図１２Ａは空間モデルと球面画像とを示す図、図１２Ｂは投影画像を２次元平面に展開した図、図１２Ｃは２次元ディスプレイ画像を示す図 実施の形態のカメラの構成例を示すブロック図 実施の形態のカメラの構成例を示すブロック図 空間モデルをシフトさせた例を示す図であり、図１５Ａは空間モデルと球面画像とを示す図、図１５Ｂは投影画像を２次元平面に展開した図、図１５Ｃは２次元ディスプレイ画像を示す図 空間モデルに球面画像を投影する具体例を示す図であり、図１６Ａ及び図１６Ｂは球面画像の例を示す図、図１６Ｃは空間モデルを２次元ディスプレイの形態で表した図、図１６Ｄは空間モデルに球面画像を投影して得られる最終的な２次元ディスプレイ画像を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［１］構成
図２は、本実施の形態におけるカメラの構成を示す。カメラ１００は、撮像部１０１を有する。撮像部１０１は、魚眼レンズ等の広角レンズ１０２を有し、この広角レンズ１０２によって撮像素子１０３に被写体像を結像させる。撮像素子１０３は、ＣＣＤ等からなり、結像された光学像を電気信号に変換することにより、撮像画像信号を得る。カメラ処理部１０４は、撮像素子１０３から出力された撮像画像信号に対してγ処理、マトリックス処理等を施す。カメラ処理部１０４は、処理後の撮像画像信号を球面逆投影変換部１０５に出力する。

球面逆投影変換部１０５は、カメラ処理部１０４から画素座標が２次元である撮像画像信号を入力すると共に、レンズモデル選択部１０６からレンズモデルを入力する。レンズモデルとは、撮像時に使用された広角レンズ１０２の焦点距離やレンズの投影変換の特性（ｆθ、２ｆtanθ/２、ｆsinθなど）等を示す情報である。このレンズモデルは、広角レンズ１０２を交換した場合や、ユーザ操作によって焦点距離等が変更された場合に、変更される。レンズモデル選択部１０６は、広角レンズ１０２自体が交換された場合にレンズモデル（投影変換等の情報）を変更する。また、レンズモデル選択部１０６は、操作入力部１０７から設定部１０８を介して入力されるユーザ操作信号に応じて、レンズモデル（焦点距離、投影変換等）を変更する。

操作入力部１０７は、タッチパネルや操作ボタン等で構成されており、ユーザがカメラ操作を行う部分である。

球面逆投影変換部１０５は、撮像素子１０３上に投影された２次元画像を、仮想的に広角レンズ１０２の全面の被写体からレンズへの入射角を保存して半球面に投影する。広角レンズ１０２が魚眼レンズ等の画角１８０度のレンズの場合、球面逆投影変換部１０５は、半球面画像を得る。この変換は、レンズモデルを用いた演算により行う。

そもそも、広角レンズ１０２を通過した光が２次元の撮像素子１０３に投影される現象は、幾何学的な現象なので、撮像時に使用された広角レンズ１０２のレンズモデルを用いれば、撮像素子１０３の各位置に結像された画像が広角レンズ１０２のどの位置からのものなのかを計算により容易に求めることができる。

例えば図３に示すように、撮像素子１０３上に結像された像高ｒは、正射影（図３Ａ）、等距離射影（図３Ｂ）、又は、立体射影（図３Ｃ）などのレンズの投影変換の式を用いた計算により、球面上の点に変換できる。なお、図３において、ｆは焦点距離を示す。例えば、正射影（図３Ａ）を用いる場合、ｒ＝ｆ×ｓｉｎθのうちの、ｒとｆは既に与えられているので、θを算出すれば球面上の点を容易に求めることができる。なお、このような一旦結像された２次元座標上の画像を、球面上に逆投影する計算については、例えば特許文献２にも記載されている。球面逆投影変換部１０５によって球面上に投影された撮像画像（以下これを球面画像と呼ぶ）は、投影変換部１０９に送出される。

投影変換部１０９は、空間モデル選択部１１０から空間モデルを入力し、この空間モデルに撮像画像を投影する。

空間モデル選択部１１０は、空間モデル格納部１１１に格納された複数の空間モデルの中から、設定部１０８によって設定された空間モデルを選択して、投影変換部１０９に出力する。空間モデル選択部１１０によって選択される空間モデルは、操作入力部１０７からユーザによって選択された空間モデルで、設定部１０８によって設定される。設定部１０８によって空間モデルを設定する場合、例えば、撮像部１０１によって得られた撮像信号を設定部１０８に入力し、設定部１０８が撮像信号に最も適した空間モデルを設定するとよい。

空間モデルは、カメラ１００が撮像する撮像空間を近似した３次元空間モデルであり、所謂テンプレートである。例えば撮像空間が室内である場合、空間モデルは、撮像空間内に存在する、床、天井、壁、テーブル等の３次元位置を近似したものである。また、撮像空間が車両前方の場合、空間モデルは、撮像空間の、道路、建物、注目面等の３次元位置を近似したものである。また、撮像空間が監視用途の空間の場合、空間モデルは、前面、側面、天井（上面）、床（下面）を近似したものである。空間モデル格納部１１１には、想定される撮像空間の空間モデルが予め格納されている。

図４Ａに空間モデルの例を示し、図４Ｂに投影変換部１０９によって行われる空間モデルへの投影の様子を示す。

図４Ａに示した空間モデルの例は、撮像空間が室内であった場合の空間モデルであり、半円柱における上下の半円盤がそれぞれ天井と、床または机とを表し、半円柱が正面と側面（壁など）を表す。

投影変換部１０９は、図４Ｂに示すように、球面逆投影変換部１０５によって得られた球面画像を空間モデル内に配置し、半球面の中心を投影点として球面画像を空間モデル上に投影（マッピング）する。投影変換部１０９は、この空間モデル上への投影を行い平面変換部１１２に出力する。

平面変換部１１２は、空間モデルにマッピングされた画像に基づいて２次元ディスプレイ画像を得る。本実施の形態では、空間モデルにマッピングされた画像から、２次元ディスプレイ画像を得るための方法として、次の２つの方法を提示する。

方法(i) ： 空間モデルにマッピングされた立体面の画像を平面展開し、平面展開した画像において、２次元ディスプレイ画像に対して画像が存在しない部分は平面展開した画像を拡大縮小して変形することで、２次元ディスプレイ画像を得る、方法。

この方法においては、平面変換部１１２は、図５Ａ、Ｂ、Ｃに示したようにして、３次元の空間モデルを２次元の平面に展開する。

このように、平面変換部１１２は、３次元の空間モデルに投影した画像から図５Ｃに示すような２次元ディスプレイ画像を形成する。この際、図からも明らかなように、展開画像は、上下面と側面との間に隙間が生じるので（つまりディスプレイ画像に対して画像が存在しない部分が生じるので）、図中の矢印で示すように、この隙間を埋めるように上下面及び側面を引き延ばすことにより、図５Ｃに示すような２次元ディスプレイ画像を得る。

方法(ii) ： 平面変換部１１２は、先ず、図６Ａに示すように、空間モデルにマッピングされた画像をある視点から見た場合における、各画素位置への、横方向の視線角度θと、縦方向の視線角度φと、を算出する。次に、平面変換部１１２は、図６Ｂに示すように、θ及びφを２次元ディスプレイのｘ座標及びｙ座標に対応させるように座標変換することにより、空間モデルにマッピングされた画像から２次元ディスプレイ画像を得る。

［２］空間モデルの例
図７に、カメラ１００により得られる２次元ディスプレイ画像の例を示す。

右側上段の２次元ディスプレイ画像は、テレビ会議カメラ用の２次元ディスプレイ画像である。この画像は、テレビ会議カメラ用の空間モデルを用いて得ることができる。つまり、投影変換部１０９によって半球面逆投影画像をテレビ会議画像用の空間モデルに投影し、平面変換部１１２によって２次元ディスプレイ画像に変換したものが、右側上段の２次元ディスプレイ画像である。図の例では、２次元ディスプレイ画像は、空間モデルを基に、机部分１１、壁部分（人物部分或いは注目部分と言ってもよい）１２、天井部分１３に分かれている。

右側中段の２次元ディスプレイ画像は、車載カメラ用の２次元ディスプレイ画像である。この画像は、車載カメラ用の空間モデルを用いて得ることができる。つまり、投影変換部１０９によって半球面逆投影画像を車載カメラ用の空間モデルに投影し、平面変換部１１２によって２次元ディスプレイ画像に変換したものが、右側中段の２次元ディスプレイ画像である。図の例では、２次元ディスプレイ画像は、空間モデルを基に、道路部分２１、建物部分２２、空部分２３に分かれている。

右側下段の２次元ディスプレイ画像は、監視カメラ用の２次元ディスプレイ画像である。この画像は、監視カメラ用の空間モデルを用いて得ることができる。つまり、投影変換部１０９によって半球面逆投影画像を監視カメラ用の空間モデルに投影し、平面変換部１１２によって２次元ディスプレイ画像に変換したものが、右側下段の２次元ディスプレイ画像である。図の例では、２次元ディスプレイ画像は、空間モデルを基に、正面部分（注目部分と言ってもよい）３１、側面部分３２、下面部分３３、上面部分３４に分かれている。

図７の右側上段の２次元ディスプレイ画像を形成するための、テレビ会議用の空間モデルは、図４に示した空間モデルと同様である。図４と異なるのは、図４では空間モデルの下面が床であったが、テレビ会議用の空間モデルでは、下面が机である点である。

図８に、車載カメラ用の空間モデルの例（図８Ａ）と、その空間モデルを用いて得られる２次元ディスプレイ画像の例（図８Ｂ）と、を示す。図８Ａの空間モデルは、道路に相当する下面ｍ１と、空に相当する上面ｍ２と、建物に相当する側面ｍ３と、を有する。これに加えて、図８Ａの空間モデルは、注目面ｍ４を有する。注目面ｍ４の前面側つまり視点Ｐ０側には、図４Ｂに示したような半球面の逆投影画像が配置される。つまり、逆投影画像は、注目面ｍ４と視点Ｐ０との間に配置される。下面ｍ１及び上面ｍ２は、矢印で示す上下方向に調整可能である。側面ｍ３は、矢印で示す左右方向に調整可能である。注目面ｍ４は、視点Ｐ０に近づく方向及び視点Ｐ０から離れる方向に調整可能である。視点Ｐ０は、上下左右前後方向に調整可能である。これらの調整は、例えば投影変換部１０９によって行えばよい。

図８Ａの空間モデルを用いて得られた、図８Ｂの２次元ディスプレイ画像においては、実質上、符号２５で示す領域が最も注目される領域となる。この領域２５の大きさは、視点Ｐ０からの注目面ｍ４の距離を調整することで調整可能である。具体的には、注目面ｍ４が視点Ｐ０から近くに配置されるほど、注目領域（正面領域と言ってもよい）２５の面積は大きくなる。なお、視点Ｐ０を上方に移動させるほど、俯瞰した画像を得ることができる。また、ズームで拡大する場合は視点を空間モデルに近づける。

図９に、監視カメラ用の空間モデルの例（図９Ａ）と、その空間モデルを用いて得られる２次元ディスプレイ画像の例（図９Ｂ）と、を示す。図９Ａの空間モデルは、床又は地面に相当する下面ｎ１と、天井又は空に相当する上面ｎ２と、壁等に相当する側面ｎ３と、を有する。これに加えて、図９Ａの空間モデルは、注目面（正面と言ってもよい）ｎ４を有する。注目面ｎ４の前面側つまり視点Ｐ０側には、図４Ｂに示したような半球面の逆投影画像が配置される。つまり、逆投影画像は、注目面ｎ４と視点Ｐ０との間に配置される。下面ｎ１及び上面ｎ２は、矢印で示す上下方向に調整可能である。側面ｎ３は、矢印で示す左右方向に調整可能である。注目面ｎ４は、視点Ｐ０に近づく方向及び視点Ｐ０から離れる方向に調整可能である。視点Ｐ０は、上下左右前後方向に調整可能である。これらの調整は、投影変換部１０９によって行う。視点を移動させることで、空間モデルに近づいた部分を拡大し、遠ざかる部分を縮小する、変換を行うことができる。

図９Ａの空間モデルを用いて得られた、図９Ｂの２次元ディスプレイ画像においては、正面部分３１の大きさは、視点Ｐ０からの注目面ｎ４の距離を調整することで調整可能である。具体的には、注目面ｎ４が視点Ｐ０から近くに配置されるほど、正面部分３１の面積は大きくなる。

［３］ズーム処理、及び、全周囲画像
ここで、空間モデルを構成する面を調整すること、あるいは、空間モデル内に配置する球面画像の位置を調整すること、により、ズーム処理や全周囲画像形成処理などを行うことも可能である。これらの処理について、図１０〜図１２を用いて説明する。

図１０に、空間モデルを変形することでズーム処理を行う例を示す。ここで示すのは、図５で説明した、立体の空間モデルを平面に展開する方法を用いたものである。図６で説明した、視点の移動による方法とは異なるものである。図１０Ａにおいて投影面を投影点から遠くするほど、投影面での投影画像は大きくなり、ズーム処理が実現される。また、図１０Ａにおいて、空間モデルの下面を矢印で示す上方方向に移動させると、正面と下面の境界部が移動して下面が若干拡大される。この操作は、ズームの目的ではなく、下面と正面の境界を変更するために行う。図１０Ｂは、図１０Ａの空間モデルを用いて得られた画像を２次元平面に展開した図を示し、図１０Ｃは、図１０Ｂの展開画像から得た２次元ディスプレイ画像を示す。

このように空間モデルを投影点から遠くに移動することにより、投影される画像が拡大され、表示する２次元画像上で部分的なズームを実現することができる。また、空間モデルの面が交差する境界を変更することにより、実写映像の境界部（床と壁の境界）との整合を図り、表示する２次元画像を見やすい画像（実写の被写体の境界で画像が大きく変形するが、実写映像も変化しているので、人は画像の変形に違和感を感じない）とすることができる。

図１１に、全周囲画像（３６０度の視野）を形成する例を示す。先ず、図１１Ａに示すように、球面画像を円柱状の空間モデルの中心に配置する。なお、球面映像は前後向きの２台の魚眼レンズ（１８０度視野）付きの撮像部で取得する。そして、球面の中心に投影点を定めて、球面画像を円柱に投影する。次に、図１１Ｂに示すように、図１１Ａの空間モデル１１Ａ１、１１Ａ２、１１Ａ３に投影した画像を２次元平面に展開する。次に、図１１Ｃに示すように、変形（拡大縮小）して図１１Ｂの展開画像から２次元ディスプレイ画像を得る。

図１２に、全周囲画像にズーム処理を施す例を示す。図１２Ａに示すように、球面画像を円柱状の空間モデル１２Ａ１、１２Ａ２、１２Ａ３の中心からずれた位置に配置し、球面の中心に投影点を定めて、球面画像を空間モデルの円柱に投影する。このとき、投影点から遠い位置ほど、大きくズームされた投影画像が得られる。図１２Ａの例では、左側の側面に投影される画像がズームされる。なお、図１２Ａの例では、空間モデルと球面画像との位置関係に基づいてズーム処理を実現しているが、投影点の位置を変えることでも、同様のズーム処理を実現できる。次に、図１２Ｂに示すように、図１２Ａの空間モデルを用いて得られた画像を２次元平面に展開変形する。次に、図１２Ｃに示すように、図１２Ｂの展開画像から２次元ディスプレイ画像を得る。

［４］境界の調整
ここで、本実施の形態の画像変換においては、空間モデルにおける物体の境界と、空間モデルに投影される画像における物体の境界とを、一致させることが重要である。この境界を一致させる処理は、図２に示す構成において、ユーザがディスプレイに表示された画像を見ながら、操作入力部１０７を介して、空間モデル及び又は球面画像をシフトさせることで行ってもよい。

また、図１３及び図１４に示すように、球面画像の境界を検出する境界検出部２０１、３０１を設け、その検出結果に基づいて、空間モデル又は球面画像をシフトさせることで、空間モデルにおける面の交差の境界と、空間モデルに投影される画像の中の物体の境界とを、一致させる。

図１３の構成について説明する。図２との対応部分に同一符号を付して示す図１３のカメラ２００は、境界検出部２０１及び空間モデル調整部２０２を有する。境界検出部２０１は、球面逆投影変換部１０５から出力された球面画像の境界、つまり画像のエッジを検出する。このエッジ検出は公知の技術により容易に実現できる。画像のエッジとは、例えば机と壁との境界である。空間モデル調整部２０２は、境界検出部２０１による検出結果に基づいて、空間モデルを変形させる。具体的には、空間モデル調整部２０２は、投影変換部１０９における投影時に、空間モデルにおける面の交差の境界に、空間モデルに投影される画像の中の物体の境界が一致するように、空間モデルを変形させる。

図１４の構成について説明する。図２との対応部分に同一符号を付して示す図１４のカメラ３００は、境界検出部３０１及び球面画像調整部３０２を有する。境界検出部３０１は、球面逆投影変換部１０５から出力された球面画像の境界、つまり画像のエッジを検出する。球面画像調整部３０２は、境界検出部３０１による検出結果に基づいて、球面画像をシフトさせる。具体的には、球面画像調整部３０２は、投影変換部１０９における投影時に、空間モデルにおける面の交差の境界に、空間モデルに投影される画像の中の物体の境界が一致するように、球面画像をシフトさせる。

図１５に、空間モデルを変形させる例を示す。図１５Ａにおける空間モデルにおいて、球面画像の物体境界に合わせるように、空間モデルの下面の先端を矢印で示す上下方向に移動させる。図１５Ｂは、図１５Ａの空間モデルを用いて得られた画像を２次元平面に展開した図を示し、図１５Ｃは、図１５Ｂの展開画像から得た２次元ディスプレイ画像を示す。

図１６に、空間モデルに球面画像を投影する具体例を示す。

図１６Ａ及び図１６Ｂは球面画像の例を示す。図１６Ａは机が大きく写っている画像例を示し、図１６Ｂは机が普通に写っている画像例を示す。

図１６Ｃは、空間モデルを２次元ディスプレイに表示される形態で表した、空間モデルのイメージを示すものである。人物領域と机領域の境界が、図１６Ａ又は図１６Ｂの画像の境界に合うように、シフトする（図１５Ｃで説明と同じもの）。なお、上述したように、球面逆投影画像の境界をシフトさせ、空間モデルを固定した状態で画像を生成させてもよい。球面逆投影画像の境界をシフトさせた場合は、机と人物の境界の位置はディスプレイの表示画面上で同じ位置になる。空間モデルの面の交差位置を変形した場合は、机と人物の境界の位置はディスプレイの表示画面上で上下に移動する。

図１６Ｄは、空間モデルに球面画像を投影して得られる、最終的な２次元ディスプレイ画像を示すものである。

従来の広角レンズを用いて得られる撮像画像は、広角レンズの特性に起因して、周辺部で大きく歪むことになる。またレンズの射影方式を考慮して歪み補正を行った場合、カメラに正対した平面は正しく補正されるが、正対していないものや、平面でない一般の物体は極端に大きく補正されたり、逆に極端に小さく補正される箇所が存在する。これに対して、本実施の形態では、空間モデルを用いることにより、実際の物体を観察したときと同じような形状や同じような大きさで２次元ディスプレイ画像を得ることができるようになる。つまり、図１６Ｄの例では、人物領域と、机領域とがほぼ実際に観察している形状に近い形で表示される。大きく歪む部分は画像の境界（机領域と人物領域の境界）に発生するが、人間の観察した画像に近いものとなり、違和感が少ない画像として表示することができる。

［５］効果
以上説明したように、本実施の形態の構成によれば、広角レンズ１０２を用いて得た撮像画像を空間モデルに投影するようにマッピングし、かつ、このマッピングは空間モデルの面の境界（交差部）と画像に写っている物体の境界を合わせて行うようにし、マッピングされた画像に基づいて２次元ディスプレイ画像を得るようにしたことにより、広角レンズ１０２を用いて撮像された歪曲画像から、従来に比してより自然でより見易い（人間が観察した形状に近く表示され、歪んだ部分を歪みと感じない）表示画像を得ることができる。

つまり、空間モデルを用い、空間モデルの面の境界を実被写体の物体の境界にそうように変形し（画像のシフトや空間モデルの変形）、この空間モデル投影画像を２次元平面に変換する。この方式により空間モデルの各面に投影された画像は、歪みは発生するが発生した歪みは実被写体の境界で発生し、ディスプレイで観察した場合、大きく歪む部分は画像の境界（机領域と人物領域の境界）に発生するようになる。これにより、人間の観察した画像に近い形状になり、違和感が少ない画像として表示することができる。

また、２次元画像に展開する実施の形態の方法を用いた場合、歪曲成分は、主に、２次元ディスプレイ画像を形成するときに各面の画像を引き延ばす処理（図５Ａ、図５Ｂ、図１０Ｂ、図１１Ｂ、図１２Ｂ、図１５Ｂ参照）によって発生する。つまり、歪曲成分は、物体の境界に集中することになる。しかし、物体の境界は、ある程度画像が歪曲していても見た目上違和感が小さい。この結果、本実施の形態の構成により得られる２次元ディスプレイ画像は、従来に比してより自然でより見易い表示画像となる。

また、視点を移動させることにより、正面部と底面部のディスプレイに写る面積の割り合いを変化させることができ、底面部（机領域）を圧縮して正面部（人物領域）を増加させることができ、同時に違和感を感じない変換を実現して見やすい表示を実現することができる。

なお、上述した実施の形態では、球面逆投影変換部１０５、投影変換部１０９、平面変換部１１２、空間モデル格納部１１１及び空間モデル選択部１１０を、カメラに設けた場合について説明したが、これらはカメラとは別体に画像変換装置として設けてもよい。

また、球面逆投影変換部１０５は、必ず必要なわけではない。広角レンズ１０２と撮像素子１０３との光学的な関係を加味した空間モデルを用意すれば、撮像部１０１により得られた撮像画像を、球面上に逆投影変換せずに、投影変換部１０９に入力させてもよい。

本発明は、魚眼レンズ等の広角レンズを用いて撮像された歪曲画像から、自然で違和感の少ない表示画像を得ることができ、例えば監視カメラ、車載カメラ、テレビ会議用カメラ等に好適である。

１００、２００、３００ カメラ
１０１ 撮像部
１０２ 広角レンズ
１０５ 球面逆投影変換部
１０９ 投影変換部
１１０ 空間モデル選択部
１１１ 空間モデル格納部
１１２ 平面変換部
２０１、３０１ 境界検出部
２０２ 空間モデル調整部
３０２ 球面画像調整部

Claims (8)

1. 被写体を結像するレンズと、前記レンズにより結像された光学像を電気信号に変換する撮像素子とを有し、撮像画像を得る撮像部と、
   空間モデルを格納する空間モデル格納部と、
   前記撮像画像を前記空間モデルに投影するようにマッピングする投影変換部と、
   前記空間モデルにマッピングされた画像を用いて、ディスプレイ画像を得る平面変換部と、
   を具備するカメラ。
2. 前記平面変換部は、
   前記空間モデルにマッピングされた画像を平面展開し、平面展開した画像において、前記ディスプレイ画像に対して画像が存在しない部分は、前記平面展開した画像を拡大及び又は縮小して変形することで、前記ディスプレイ画像を得る、
   請求項１に記載のカメラ。
3. 前記平面変換部は、
   前記空間モデルにマッピングされた画像をある視点から見た場合における、各画素位置への、横方向の視線角度をθ、縦方向の視線角度をφとし、このθ及びφを２次元ディスプレイのｘ座標及びｙ座標に対応させるように座標変換することにより、前記空間モデルにマッピングされた画像から２次元ディスプレイ画像を得る、
   請求項１に記載のカメラ。
4. 前記撮像画像の境界を検出する境界検出部と、
   前記境界検出部による検出結果に基づいて、前記撮像画像及び又は前記空間モデルをシフトさせることにより、前記撮像画像の中の物体の境界を前記空間モデルにおける面の交差の境界に合わせる、調整部を、さらに具備する、
   請求項１から請求項３のいずれか一項に記載のカメラ。
5. 前記空間モデル格納部は、複数の空間モデルを格納し、
   前記カメラは、前記複数の空間モデルの中から１つの空間モデルを選択する空間モデル選択部を、さらに具備する、
   請求項１から請求項４のいずれか一項に記載のカメラ。
6. 前記撮像画像を仮想的に前記レンズ上の画像に変換する逆投影変換部を、さらに具備し、
   前記投影変換部は、前記逆投影変換部によって仮想的に得られた前記レンズ上の撮像画像を、前記空間モデルに投影するようにマッピングする、
   請求項１から請求項５のいずれか一項に記載のカメラ。
7. 撮像空間の空間モデルを格納する空間モデル格納部と、
   撮像画像を前記空間モデルに投影するようにマッピングする投影変換部と、
   前記空間モデルにマッピングされた画像を用いて、ディスプレイ画像を得る平面変換部と、
   を具備する画像変換装置。
8. 撮像画像を撮像空間の空間モデルに投影するようにマッピングするステップと、
   前記空間モデルにマッピングされた画像を用いて、ディスプレイ画像を得るステップと、
   を含む画像変換方法。