JPH09289613A - 画像変換方法、ならびに装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮影画像から利用者の仮想的視点を中心とし
て仮想的視線ベクトル方向の平面画像を得るのに、複数
台のカメラを使うか１台のカメラによる複数回の露光を
行うと、コスト高及び動画像をソースとすることができ
ない。さらに、画像の繋ぎ合わせが問題となる。 【解決手段】 カメラ１からの静止画又はビデオカメラ
４からの動画像を読み込み部６で読み込み、この画像か
ら切り出す画角と視野範囲を利用者が指定する方向とズ
ーミングから画角計算部７及び視野範囲計算部８で計算
し、座標変換部９で視野範囲内の全ての点について読み
込み画像の座標に対応つけ、各点の画素の属性を視野範
囲の対応する点に移す座標変換を行い、視野範囲表示部
１０が座標変換した画像信号をＣＲＴ１１の表示信号と
して得、１台のカメラによる１回の露光又はコマ画像か
ら任意の方向及び視野範囲の平面画像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報処理装置
において入力画像情報に対して利用者の指定した視野範
囲の静止画像又は動画像を表示するための画像変換方
法、ならびに装置に関るものである。

【０００２】

【従来の技術】従来、ある場所に設定された利用者の仮
想的視点を中心としてある範囲内の任意の方向に仮想的
視線ベクトルを向けることによって得られる平面画像を
得るためには、以下の２つの方法がある。

【０００３】（Ａ）広角レンズ特有の画面歪みが無視で
きる程度に広い画角を持ったレンズを装着したカメラを
利用者の仮想的視野が動く範囲を全てカバーするように
利用者の仮想的視点が置かれる場所に複数台配置して撮
影しておき、この撮影画像から利用者が設定する方向の
画像を切り出す方法。

【０００４】（Ｂ）利用者の仮想的視野が動く範囲を全
てカバーできるよう１台のカメラを複数の方向に向けて
複数回撮影しておき、この撮影画像から利用者が設定す
る方向の画像を切り出す方法。

【０００５】

【発明が解決しようとする課題】従来の（Ａ）広角レン
ズ特有の画面歪みが無視できる程度の広い画角を持った
レンズを装着したカメラを利用者の仮想的視野が動く範
囲を全てカバーするように利用者の仮想的視点が置かれ
る位置に複数台配置して撮影する方法では、撮影には複
数のカメラが必要であるというコスト面での間題があ
る。

【０００６】また、（Ｂ）利用者の仮想的視野が動く範
囲を全てカバーできるよう１台のカメラを複数の方向に
向けて複数回撮影する方法では、１つの画像を得るのに
複数回の露光が必要となる。しかも複数回の露光が必要
なため基本的に動画を撮影することができないという問
題があった。

【０００７】また、（Ａ）と（Ｂ）の両者ともに、撮影
後に得られた複数の画像を繋ぎ目が分からないように繋
ぎ合わせる処理が必要なために撮影前に予めカメラのセ
ッティングをかなり注意深く行わねばならないという問
題がある。また、その複数の画像を繋ぎ合わせる処理が
撮影後に必要であることから基本的にライブ画像をソー
スとすることができないという間題があった。

【０００８】本発明の目的は、１台のカメラを使い１回
の露光によって得られるソース画像から利用者の仮想的
視線ベクトルを任意の方向に向けて得られる平面画像を
得る画像変換方法、ならびに装置を提供することにあ
る。

【０００９】本発明の他の目的は、１台のカメラを使っ
た動画像、特にライブ画像をソース画像として利用者の
仮想的視線ベクトルの方向を任意の方向に向けて得られ
る平面画像を得る画像変換方法、ならびに装置を提供す
ることにある。

【００１０】

【課題を解決するための手段】

（第１の発明）上記目的を達成するために、本発明の画
像変換方法は、ある角度の画角を持ちその全視野を写し
込めるレンズを用いて撮影された画像を用意し、この画
像の領域内に向けて到達する視線ベクトルの始点及び方
向を決め、この始点からの視線ベクトルが上記の画像に
到達する線を中心とする任意の視野範囲を決め、この視
線ベクトルの始点から上記の視野範囲を経由して上記の
画像を見通したときに該視野範囲に得られる平面画像を
上記の画像から生成することを特徴とする。

【００１１】上記の画像変換方法によれば、全周魚眼レ
ンズなどある角度の画角を持ちその全視野を写し込める
レンズを装着したカメラで撮影した静止画像又は動画像
を元にし、この画像が撮影された領域内に任意に設定す
る始点（視点）と方向を設定又は計算から求め、始点か
ら視野ベクトルの方向に一致させた視野範囲を設定又は
計算から求め、この視野範囲内の各点座標を画像上の各
点座標に変換する座標変換により平面画像を生成するこ
とにより、１台のカメラによる１回の露光による静止画
像又はビデオカメラ等による動画像をソースとして利用
者の仮想的視線ベクトルを任意の方向に向けた平面画像
が得られる。

【００１２】また、画像が撮影された領域内に任意に設
定する始点は、カメラが撮影時に置かれた位置とは異な
る位置に利用者の仮想的視点を置くことを含み、この場
合はカメラの置かれた場所と同じ位置に利用者の仮想的
視点を置いた場合よりも仮想的視野の移動範囲を広くと
れることになる。

【００１３】（第２の発明）上記の第１の発明におい
て、本発明の画像変換方法は、上記の視線ベクトルの始
点が上記の画像から見て、該画像を撮影したと見なされ
る点と一致していることを特徴とする。

【００１４】この発明は、視線ベクトルの始点を画像を
撮影したと見なされる点と一致させる場合である。

【００１５】（第３の発明）上記の第１又は第２の発明
において、本発明の画像変換方法は、上記の画像は、全
方向に１８０度の画角を持ちその全視野を写し込める全
周魚眼レンズを用いて撮影された静止画像又は動画像と
することを特徴とする。

【００１６】この発明は、入力画像として、全周魚眼レ
ンズを用いて撮影された静止画像又は動画像とする場合
である。

【００１７】（第４の発明）上記目的を達成するため
に、本発明の画像変換装置は、撮影された静止画像又は
動画像を読み込む画像読み込み部と、利用者が指定する
方向とズーミングから上記の画像から切り出す画像の画
角と視野範囲を計算する計算手段と、上記の視野範囲内
の全ての点が上記画像読み込み部で読み込んだ画像のど
の座標に対応しているかを求め、各点の画素の属性を視
野範囲の対応する点に移す座標変換部と、この座標変換
部による座標変換結果になる画像信号を画像表示信号と
して得る視野範囲表示部とを備えたことを特徴とする。

【００１８】この発明は、上記の第１〜第３の発明の画
像変換方法に利用される画像変換装置の構成であり、計
算手段では利用者が視線ベクトルの方向と仮想的なカメ
ラの焦点距離を指定することで仮想的画角を求め、この
仮想的画角と視線ベクトルの方向から最終的に表示され
る利用者の仮想的視野を求め、座標変換部では仮想的視
野内部の全ての点について読み込み画像と対応させて画
素の属性を移す座標変換を行う。

【００１９】

【発明の実施の形態】図１は、本発明の実施形態を示す
装置構成図である。同図ではソースとなる画像を入力す
る例として、静止画は静止画カメラ１によって撮影され
た後、印画紙に焼きつけられた静止画像２をイメージス
キャナ３によって画像信号に変換する方式、または、動
画像はビデオカメラ４によって撮影されたビデオ信号を
直接読み込む方式としている。しかしながら、画像入力
方式は、もちろんこれらの方式に限定されるものではな
い。

【００２０】静止画カメラ１及びビデオカメラ４のどち
らのカメラにも全周魚眼レンズが装着されており、本実
施形態では全周魚眼レンズの軸線は天頂方向に設定され
ているものとして説明する。さらに、本実施形態では静
止画を入力した場合についての説明を行うが、ここで説
明する処理が高速に行えればそのまま動画像を入力した
場合に拡張できる。

【００２１】図１において、破線ブロック５で示す部分
が画像変換装置である。画像読み込み部１は、外部装置
になるカメラ１や４によって撮影された画像を読み込
む。この画像読み込みに平行して、利用者は自分が見た
い方向（仮想的視線ベクトル）とズーミング（仮想的な
カメラの焦点距離ｆ（ｍｍ））を指定する。

【００２２】ズーミングは利用者が仮想的に持っている
視野円錐の頂角（以下仮想的画角と呼ぶ）の値を直接利
用者が指定しても良いが、ここでは利用者は仮想的なカ
メラの焦点距離の値を指定することとし、その値を使っ
て画角度計算部７が仮想的画角を求める。

【００２３】利用者から指定された仮想的視線ベクトル
と画角計算部７で求められた仮想的画角を使って視野範
囲計算部８により最終的にＣＲＴに表示される利用者の
仮想的視野（視野円錐に内接する長方形一以下単に仮想
的視野と呼ぶ）が決定される。

【００２４】座標変換部９は、視野範囲計算部８で求め
られた仮想的視野内部の全ての点においてその点が画像
読み込み部６で読み込まれたソース画像のどの座標に対
応しているかを求める座標変換を行い、その点のＲＧＢ
やＣＭＹＫ等で表現される画素の属性（以下色情報と呼
ぶ）を仮想的視野の対応する点に移す。すなわち、平面
画像の生成を行う。

【００２５】この座標変換部９による座標変換は、予め
画角計算部７と視野範囲計算部８により仮想的視野範囲
を求めておくことで必要かつ充分な計算回数だけ行わ
れ、視野範囲内の平面画像を生成する。

【００２６】視野範囲表示部１０は、座標変換部９によ
り仮想的視野内部の全ての点の色情報がソース画像から
移された結果になる画像信号を画像表示装置としてのＣ
ＲＴ１１の画像信号とし、ＣＲＴ１１に視野範囲の画像
を表示させる。

【００２７】図２は、利用者側の視点に関する用語の定
義を示すものである。点Ａは利用者の視点を示し、矢印
Ｂは利用者が見たい方向すなわち視線ベクトルを示し、
角度Ｃは画角を示す。矢印Ｂの視線ベクトルの方向と角
度Ｃの画角が決まれば利用者の視野範囲全体が決まり、
それは視野円錐Ｄになる。

【００２８】ＣＲＴに表示される部分は通常長方形であ
るため、この視野円錐Ｄから内接する長方形を切り出
す。それが長方形Ｅで示す視野範囲となる。点Ａの視点
から長方形Ｅの視野範囲内の任意の点に向かうベクトル
が矢印Ｆで示す視線である。

【００２９】したがって、破線ブロック５で示す画像変
換装置は、全周魚眼レンズなどある角度の画角を持ちそ
の全視野を写し込めるレンズを用いて撮影された画像を
画像読み込み部６で読み込み、この画像の領域内に向け
て到達する視線ベクトルの始点（視点）と画角を設定
し、この設定から画角計算部７及び視野範囲計算部８に
より視線ベクトルが画像に到達する線を中心とする任意
の視野範囲を計算し、座標変換部９によりこの視線ベク
トルの始点から上記の視野範囲を経由して画像を見通し
たときに得れらる平面画像を生成することにより、１台
のカメラかつ１回の露光による静止画像又は動画像の各
コマ画像について利用者の仮想的視線ベクトルを任意の
方向に向けた平面画像を得ることができる。

【００３０】ここで、仮想的視線ベクトルの始点の設定
は、画像を撮影した点と一致させる方法の他に、始点を
移動させることで仮想的視野範囲を拡大した平面画像を
得ることもできる。これら画像変換について図３と図４
を参照して以下に説明する。

【００３１】全周魚眼レンズを天頂に向けて撮影した画
像は、図３に示すような視野半球Ｇの原点にｙ軸に向け
てカメラを置き、視野半球Ｇにマッピングされた視野内
の全ての被写体画像がフィルム面Ｈに投影されたもので
ある。ここで、ｙ軸は天頂方向に向かっており、ｘ軸は
紙面と垂直な方向に向かっている。

【００３２】したがって、画像変換は、最も単純には、
利用者の仮想的視点Ａを同じ視野半球Ｇの原点におき、
原点から仮想的視野内部の任意の点に向かう視野ベクト
ルＩと視野半球Ｇとの交点Ｊの座標を求め、その交点Ｊ
の座標をフィルム面Ｈ上に座標変換し、その結果得られ
るフイルム面Ｈ上の座標の色情報を仮想的視野内部の対
応する点の色情報とすることで平面画像を生成すること
ができる。

【００３３】これにより、図１の構成において、読み込
み部６が読み込む画像として、全周魚眼レンズを装着し
た１台のカメラを使い１回の露光によって得られる画像
を元にして撮影された範囲内で利用者の仮想的視線ベク
トル任意の方向に向けた平面画像を得ることができ、カ
メラの撮影位置及び方向の設定としては自由度の高いカ
メラセッティングができる。

【００３４】また、ビデオカメラ等を用いて撮影される
動画像、特にライブ画像をソースとする場合にも、セッ
ティングを固定した１台のカメラによる撮影で、また、
コマ画像を繋ぎ合わせることなく仮想的視野ベクトルを
任意の方向に向けた平面画像を得ることができる。

【００３５】次ぎに、上記の仮想的視線ベクトルの始点
を画像を撮影した点と一致させる方法においては、視点
が乗った水平面内すなわちｘｚ平面より下に仮想的視野
を移動させることができない。これは仮想的画角の大き
さによる程度の差はあるが常に視線ベクトルを上に向け
ておかなければいけないことを意味し、利用者の仮想的
視野範囲が制限される。

【００３６】この仮想的視野範囲を拡大する方法を説明
する。図４は、設定される最大の仮想的画角においてで
もなお水平方向に仮想的視線ベクトルを向けられるよう
に、仮想的祝野が移動できる範囲をｘｚ平面よりも下に
延ばした視野Ｇ_Aとしている。視野Ｇ_Bは撮影されたフィ
ルム面Ｈが投影される半球である。視野Ｇ_Bは視野Ｇ_Aで
仮想的視野が移動できる範囲を全てカバーできる分だけ
中心を視野Ｇ_Aの中心（原点）よりも下に移されてい
る。

【００３７】座標変換には、原点に置かれた仮想的視点
より仮想的視野内部の任意の点に向かう仮想的視野ベク
トルＩ_Aと視野Ｇ_Aとの交点Ｊ_Aと、この交点Ｊ_Aと視野Ｇ
_Bの原点とを結ぶ直線Ｌと視野Ｇ_Bとの交点Ｊ_Bを求め、
交点Ｊ_Bに対応するフィルム面Ｈ上の座標の色情報を、
求める仮想的視野内部の任意の点の色情報とする。

【００３８】このように、視野の中心を移動した座標変
換を行うことにより、ｙｚ平面より下に仮想的視野を含
ませることが可能となり、カメラの置かれた位置に利用
者の仮想的視点を置いた場合に比べて、仮想的視野の移
動範囲を広く取ることができる。

【００３９】

【発明の効果】以上説明したように本発明は、全周魚眼
レンズなどある角度の画角を持ちその全視野を写し込め
るレンズを装着したカメラで撮影した静止画像又は動画
像を元にし、この画像の領域内に任意に設定する始点
（視点）と方向を決め、始点から視野ベクトルの方向に
一致させた視野範囲を決め、この視野範囲内の各点座標
を画像上の各点座標に変換する座標変換により平面画像
を生成するようにしたため、１台のカメラによる１回の
露光による静止画像又はビデオカメラ等による動画像を
ソースとして利用者の仮想的視線ベクトルを任意の方向
に向けた平面画像が得られる効果がある。

【００４０】これにより、カメラのセッティングを自由
にすると共に、視野範囲の変更にも画像の繋ぎ合わせ処
理を不要にして繋ぎ合わせ部分を無くした平面画像を得
ることができる。

【００４１】また、画像の領域内に任意に設定する始点
は、カメラが撮影時に置かれた位置とは異なる位置に利
用者の仮想的視点を置く場合は、カメラの置かれた場所
と同じ位置に利用者の仮想的視点を置いた場合よりも仮
想的視野の移動範囲を広くとれることになる。

【図面の簡単な説明】

【図１】本発明の一実施形態例を示す画像変換装置の構
成図である。

【図２】本発明の画像変換方法における単語の意味につ
いて解説する図である。

【図３】本発明における座標変換方法ならびに装置での
最も簡単な座標変換について説明する図である。

【図４】本発明における座標変換方法ならびに装置での
始点を原点から下げた場合の座標変換について説明する
図である。

【符号の説明】

１…カメラ ３…イメージスキャナ ４…ビデオカメラ ５…画像変換装置 ６…画像読み込み部 ７…画角計算部 ８…視野範囲計算部 ９…座標変換部 １０…視野範囲表示部 １１…ＣＲＴ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ある角度の画角を持ちその全視野を写し
   込めるレンズを用いて撮影された画像を用意し、 この画像の領域内に向けて到達する視線ベクトルの始点
   及び方向を決め、 この始点からの視線ベクトルが上記の画像に到達する線
   を中心とする任意の視野範囲を決め、 この視線ベクトルの始点から上記の視野範囲を経由して
   上記の画像を見通したときに該視野範囲に得られる平面
   画像を上記の画像から生成することを特徴とする画像変
   換方法。
2. 【請求項２】 上記の視線ベクトルの始点が上記の画像
   から見て、該画像を撮影したと見なされる点と一致して
   いることを特徴とする請求項１に記載の画像変換方法。
3. 【請求項３】 上記の画像は、全方向に１８０度の画角
   を持ちその全視野を写し込める全周魚眼レンズを用いて
   撮影された静止画像又は動画像とすることを特徴とする
   請求項１または２に記載の画像変換方法。
4. 【請求項４】 撮影された静止画像又は動画像を読み込
   む画像読み込み部と、 利用者が指定する方向とズーミングから上記の画像から
   切り出す画像の画角と視野範囲を計算する計算手段と、 上記の視野範囲内の全ての点が上記画像読み込み部で読
   み込んだ画像のどの座標に対応しているかを求め、各点
   の画素の属性を視野範囲の対応する点に移す座標変換部
   と、 この座標変換部による座標変換結果になる画像信号を画
   像表示信号として得る視野範囲表示部と、を備えたこと
   を特徴とする画像変換装置。