JPH1097642A - 画像処理方法及び装置及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 上下視差がない場合に、実写画像のすべての
画素に対して光線群に変換するための演算を行なう必要
のない画像処理方法及び装置及び記憶媒体を提供する。 【解決手段】 台座８０２の上に乗った物体８０１を、
カメラ８０３で複数の視点位置から撮像し、該撮像によ
って入力された画像群の一部分を光線空間に射影し、射
影された画像群の一部分と、該光線空間との対応関係を
生成し、生成された対応関係に基づいて、任意の視点位
置の画像を生成して、生成された画像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、異なる視点位置で
撮影して得られた画像群を用いて、任意の視点位置の画
像を生成する、画像処理方法及び装置及び記憶媒体に関
するものである。

【０００２】

【従来の技術】複数の視点位置で撮像された実写画像群
を用いて、任意の視点位置における画像を生成する場
合、該実写画像群のデータを、予め光線空間データに変
換しておき、その光線空間からデータをサンプリングす
ることにより任意視点画像を生成する方法がある。

【０００３】まず、光線空間の概念について説明する。
３次元空間内には、光源や物体の反射光により光線が発
せられている。３次元空間内のある１点を横切る光線
は、その位置（x、y、z）と方向（θ、φ）を表す５つ
の変数により一意に定められる。この光線の光強度を表
す関数をf と定義すると、３次元空間内の光線群データ
はf (x、y、z、θ、φ)と表される。さらに、光線群デ
ータの時間変化を考慮すると、f (x、y、z、θ、φ;t)
となり、３次元空間内の光線群は６次元の空間として記
述される。この空間が光線空間と呼ばれている。通常の
２次元画像は、１点の視点に集まる光線群を記録したも
のと考えられるので、 f (θ、φ)｜x=x0、 y=y0、 z=z0、 t=t0 という２次元データを記録したものと言える。

【０００４】ここで、t=0においてZ=z という平面を通
過する光線群に着目する。この面を、基準面と呼ぶ。Y
軸に垂直な水平面（X-Z 平面）を考え、上下方向の視差
を考慮しないことにすると（y =0、 φ=0）、実空間は
図１１に示すようになる。基準面から発せられる光線群
は、位置xと角度θ の２変数でf (x、θ)と記述され
る。従って、実空間中のある一点(X、 Z )を通過する光
線群には、 X = x +Z・tanθ （１） という関係が成り立つ。ここで、ｕ ＝ ｔａｎθ と
いう変数を定義すると、式(1)は、 X = x +uZ (2) となり、(X、 Z)の視点位置で観察される光線群を光線
空間のx-u空間に射影すると、図１２に示すように直線
状の軌跡をなす。そこで、多数の視点位置で撮像された
画像に基づいて、光線空間のx-u平面を直線状の軌跡で
埋めておけば、任意視点位置の画像は、式(2)に基づい
く直線に沿ってx-u平面から光線空間データをサンプリ
ングすれば生成できることになる。

【０００５】

【発明が解決しようとしている課題】しかしながら、上
記従来例では、実写画像のすべての画素を光線群に変換
するための演算を行っていた。すなわち、E枚の実写画
像があり、それぞれの画像の画素数がm × n画素とする
と、E × m × n 回の計算を行い、光線群に変換してい
たため、非常に計算量が多くなるという問題点があっ
た。

【０００６】また、入力画像の解像度を保つように光線
群を光線空間に射影し、光線空間データを離散化する
と、離散化されたデータ量が膨大になるという問題点が
あった。

【０００７】また、離散化された光線空間データには、
値が存在しない（未定の）データが含まれるため、任意
視点画像を生成するために光線空間データを再サンプリ
ングしても所望の画像が生成できないという問題点があ
った。この問題点を避けるために、値が未定の画素をサ
ンプリングした場合は、値を持った最も近いデータを求
め、そのデータで代用するということも考えられるが、
これを行うと任意視点画像の生成に余計な時間がかかる
という問題点があった。

【０００８】

【課題を解決するための手段】本発明は、上記の問題点
に鑑みてなされたものであり、本発明の画像処理方法に
おいては、複数の視点位置で撮像した画像群を入力する
画像入力工程と、前記入力された画像群の一部分を光線
空間に射影する射影工程と、前記射影された画像と、前
記光線空間との対応関係を生成する対応関係生成工程
と、前記生成された対応関係に基づいて、任意の視点位
置の画像を生成する画像生成工程と、前記生成された画
像を表示する画像表示工程とを設けた。

【０００９】また好ましくは、画像入力工程において、
物体を回転台に載せて回転させながら、該物体の全周方
向からの画像を撮影する。

【００１０】また好ましくは、前記射影工程において、
前記入力された画像群の一部分として、前記入力された
画像群の各画像中の先頭の１ラインを、所定の関係式に
基づいて、前記光線空間に射影する。

【００１１】また好ましくは、前記画像生成工程は、生
成された画像の歪みを補正する補正工程を備える。

【００１２】また好ましくは、前記光線空間を、複数の
基準面を利用して表現する。

【００１３】また好ましくは、前記任意の視点位置を位
置センサにより取得する。

【００１４】また、本発明の画像処理装置においては、
複数の視点位置で撮像した画像群を入力する画像入力手
段と、前記入力された画像群の一部分を光線空間に射影
する射影手段と、前記射影された画像と、前記光線空間
との対応関係を生成する対応関係生成手段と、前記生成
された対応関係に基づいて、任意の視点位置の画像を生
成する画像生成手段と、前記生成された画像を表示する
画像表示手段とを設けた。

【００１５】また好ましくは、画像入力手段は、物体を
回転台に載せて回転させながら、該物体の全周方向から
の画像を撮影する。

【００１６】また好ましくは、前記射影手段は、前記入
力された画像群の一部分として、前記入力された画像群
の各画像中の先頭の１ラインを、所定の関係式に基づい
て、前記光線空間に射影する。

【００１７】また好ましくは、前記画像生成手段は、生
成された画像の歪みを補正する補正手段を備える。

【００１８】また好ましくは、前記光線空間を、複数の
基準面を利用して表現する。

【００１９】また好ましくは、前記任意の視点位置を位
置センサにより取得する。

【００２０】また、本発明の記憶媒体においては、複数
の視点位置で撮像した画像群を入力する画像入力工程
と、前記入力された画像群の一部分を光線空間に射影す
る射影工程と、前記射影された画像と、前記光線空間と
の対応関係を生成する対応関係生成工程と、前記生成さ
れた対応関係に基づいて、任意の視点位置の画像を生成
する画像生成工程と、前記生成された画像を表示する画
像表示工程とを備えたことを特徴とする画像処理方法を
実現するためのコンピュータプログラムを記憶し、コン
ピュータにより読み取り可能である。

【００２１】

【発明の実施の形態】

(第１実施形態)図１に、複数の視点位置で撮像された実
写画像群から任意の視点位置における画像を生成・表示
する装置の実施形態の概略図を示す。

【００２２】図中101は、実写画像群を撮像するための
画像入力装置である。画像入力装置は、１台のカメラを
ずらすことによって多数枚の画像を撮像しても、複数台
のカメラをセットすることで多数枚の画像を撮像しても
よい。また、画像入力装置101の代わりに、予め撮影し
た多数枚の画像を格納したデータベースを用いてもよ
い。102は記憶装置103に記憶されている処理手順に従っ
て処理を行うCPUである。103は記憶装置であり、該実写
画像群の画像データや多視点画像から生成された光線空
間データ、CPUの処理手順を示したプログラム等を記憶
し、また、その一部をワークメモリとして使用する。10
4は観察者の視点位置・視線方向を検出するための視点
・視線検出装置である。視点・視線検出装置には、キー
ボードやマウスなどの入力デバイスを用いるか、または
HMD（ヘッドマウントディスプレイ）などセンサの付い
ているデバイスなどを用いることができる。105は、観
察者の視点位置・視線方向にしたがって生成された画像
を表示するための画像出力装置である。画像出力装置に
は、CRTや液晶などの一般的な２次元ディスプレイを用
いても、レンティキュラやHMDなどの３次元ディスプレ
イを用いてもよい。なお、プログラムは、FD（フロッピ
ーディスク）・CD-ROM・磁気テープ等の記憶媒体に記録
しておき、記憶媒体読み取り装置106から読みだして記
憶装置103に記憶させてもよい。

【００２３】次に、図２のフローチャートを用いて、撮
影された多視点画像と光線空間データとの対応関係表を
作成する方法、および対応関係表を参照しながら与えら
れた視点位置、視線方向を有する画像を生成・表示する
方法を説明する。

【００２４】CPU 102は、記憶装置103に記憶されている
プログラムに従って処理を実行する。なお、図２中の枠
Aは、多視点画像を撮像して光線空間を作成するまでの
部分で、オフラインに処理される。また、図２中の枠B
は、光線空間から任意の視点位置における画像を生成・
表示するまでの部分で、オンラインに処理される。

【００２５】まず、多視点画像を撮像して光線空間を作
成する処理について説明する。ステップS201では、画像
入力装置101を用いて複数の視点位置からＥ枚の画像を
撮像し、ステップS202で記憶装置103に保存する。ステ
ップＳ203では、記憶装置103に保存された各画像データ
中の先頭１ライン分のデータを光線群に分解し、式(1)
(2)に従って光線空間に射影する。これを図３を用いて
説明する。

【００２６】図３は、Ｚ軸に対する光軸のずれ角α、レ
ンズ中心の位置Ｑ(x0、 z0)（これを視点位置とする）
にカメラを置いて画像を撮影している状況を示したもの
である。図中、301は視点位置Ｑ(x0、 z0)、302は撮像
面、303は撮像面中の任意ラインのｊ番目の画素、304は
Ｘ軸、305はＺ軸、306は光軸がＺ軸となす角α、307は
視点位置301と画素303を通過する光線がＺ軸となす角度
θ、308はカメラの画角ω、309はj番目の画素を通過す
る光線がX軸と交差する点を表している。撮像面中の各
ラインの画素数をｍとすれば、角度θ307は、以下の式
を解くことにより求めることができる。

【００２７】 (m/2) tan(θ-α) = ( j - m/2) tan(ω/2) (3) 式(3)を使って、記憶装置103に保存された各画像データ
中の先頭１ライン分のデータ（Ｅ×ｍ画素分）の光線方
向をそれぞれ求め（ステップS203）、これらの光線群を
式(1)(2)に従って光線空間に射影する（ステップS20
4）。光線空間に記録されるデータは、k 番目の画像中
の主走査方向h番目の画素から生成された光線が光線空
間中の(x1、 u1)の位置に射影されたとすると、光線空
間中のこの位置に（k、 h）という値が記録される。こ
こで、各画像データ中の先頭１ライン分のデータのみを
光線空間に射影する理由であるが、式(1)(2)から分かる
ように、これらの式には、画像の高さ（ｙ）方向の項が
入っていない。そのため、２ライン目以降のデータも先
頭ラインのデータと同じ（光線空間中の）位置に射影さ
れる。従って、各画像中の先頭ラインのみを計算してお
けば、その他のデータは計算しなくても自動的に光線空
間中のどの位置に射影されるかを求めることができる。
このように先頭ラインのみを計算することにより、高速
化を図ることができる。さらにステップS205において、
射影された光線空間データを、入力画像と同等の解像度
を保った状態になるようにｘ軸、ｕ軸を量子化する。こ
のように量子化することで、無意味なデータの生成を抑
制することができる。

【００２８】図４にステップS205までの処理が終了した
時点での量子化された光線空間データの一例を示す。説
明を簡単にするためにこの例では、ｘ軸、ｕ軸は量子化
されて、11×5 個の要素になっている。そして、それぞ
れの要素には、それぞれの光線に対応する〔画像番号、
画素番号〕の組が記録されている。次に、この状態では
値が未定の要素（図４中の空白部）が存在するため、ス
テップS206において、値が未定な要素の値を推定する。
ここでは推定方法として、nearest neighbor法を採用す
るが、これに限らず、どんな手法を用いて推定しても良
い。推定した値は、〔画像番号、画素番号〕の組として
対応する要素に記録する。このような形式で光線空間デ
ータを保持しておくと、後で述べる任意視点画像生成が
テーブル（対応関係表）を参照する形で行えるので、高
速処理が可能となる。

【００２９】次に、対応関係表を用いて所望の視点位置
の画像を生成する方法について述べる。まず、ステップ
S207において生成したい画像の視点位置、例えば、観察
者の位置・視線方向等、を入力する。観察者の位置・視
線方向を入力する手段としては、磁気センサ、視線検出
器などがあるが、この目的が達せられるものならば何で
も良い。そして、ステップS208において、入力された視
点位置・視線方向に仮想カメラを設定し、ステップS209
において、仮想カメラ画像の先頭ラインの各画素を光線
群に分解する。次にステップS210において、ステップS2
09で求まった光線群を式(1)(2)を用いて各光線が光線空
間中のどの位置に射影されるかを求める。このときS205
の処理と同様に量子化する。ステップS211では、ステッ
プS210で射影された位置の要素を光線空間から読み出し
てくることにより、画像生成を行う。この処理の詳細を
図５を用いて説明する。

【００３０】図５は、光線空間に入力画像を射影・量子
化・補間処理を行って得られた対応関係表である。各要
素に記載されている数値は、〔入力画像番号、主走査方
向の画素番号〕の組みである。各要素のｘ方向、u方向
の位置を図のように与える。例えば、要素（０、０）の
値は〔２、３〕であり、要素（１、２）の値は〔３、
２〕である。ステップS210において各光線（ここでは、
５本の光線）が光線空間中の要素（−２、２）、（−
１、１）、（０、０）、（１、−１）、（２、−２）の
位置に射影されたとすると、その要素に記録されている
値、〔５、１〕、〔２、２〕、〔２、３〕、〔４、
５〕、〔３、４〕が読み出される。ステップＳ２１１で
は、読み出された値を用いて、画像が再構成される。こ
こで、ｋ番目の画像中の主走査方向ｈ画素、副走査方向
ｊ画素の位置にある画素を｛ｋ、ｈ、ｊ｝と表記する
（図６参照）。この場合、再構成画像の（１、１）画素
は｛５、１、１｝、（２、１）画素は｛２、２、１｝、
・・・、（５、１）画素は｛３、４、１｝と同じ値を与
えれば良いように感じるが、実際には、光線空間への射
影時に上下視差を無視しているため、このように処理す
ると再構成画像が大きく歪む。これを補正する方法を次
に示す。

【００３１】図７は再構成された画像の歪みを補正する
原理を示す図である。図中、７０１は被写体、702は再
構成したい視点位置Pの画像、703は視点位置Sの入力画
像である。

【００３２】被写体701中の一点Bについて考える。点B
がＹ軸に近いか、再構成したい視点位置Pの画像702、視
点位置Sの画像703のｚ座標値が十分に大きい、または、
再構成したい視点位置Pの画像702、視点位置Sの画像703
のｚ座標値がほぼ同じ値であると仮定する。このとき、
点Bから発する光線は再構成したい視点位置Pの画像702
中のm'ライン目と視点位置Sの画像703中のn'ライン目に
記録される。そこで、仮想カメラの画素ピッチをd、焦
点距離をf、総ライン数をn、入力画像の撮影地点と基準
面までの距離Sz、再構成画像の位置と基準面までの距離
Pzとすれば、 Pz・tanγ= Sz・tanβ （４） tanγ= d・(n/2-m')/f （５） tanβ= d・(n/2-n')/f （６） となる。（４）式、（５）式、（６）式より、 n' = n/2 + (m' - n/2)・Sz/Pz （７） が得られる。

【００３３】このように、再構成したい視点位置Pの画
像702のm'番目のスキャンラインの値は、視点位置Sの画
像703の（７）式で与えられるn'番目のスキャンライン
の値と等価になる。故に、再構成画像の（１、１）画素
は｛５、１、R_5_1｝、（２、１）画素は｛２、２、R_2
_1｝、・・・、（５、１）画素は｛３、４、R_3_1｝と
同じ画素値を与えれば良い。但し、R_i_jはi番目の入力
画像位置と再構成画像位置と再構成画像中の求めようと
するライン位置から（７）式により計算される値であ
る。また、再構成画像の２ライン目以降の画素について
も、例えば（２、４）画素ならば｛２、２、R_2_4｝、
（３、７）画素ならば｛２、３、R_2_7｝で与えれれる
画素の値と等価になる。従って、すべての画素について
上記のように画素値を求めれば再構成画像を生成するこ
とができる。但し、（７）式で与えられるn'の値が、n'
≦０またはn'＞ｎのときは予め決められた画素値を用い
る。

【００３４】最後に、ステップS212で、生成された画像
が表示される。

【００３５】このように、入力画像が光線空間に射影さ
れる位置を予め計算してテーブル形式（対応関係表）で
保持し、任意視点位置の画像を生成する時は、対応関係
表を参照して入力画像から所望の画素値を読み出し、歪
み補正を行いながら画像を再構成することにより、高速
に任意視点画像の生成を行うことが可能である。

【００３６】(第２実施形態)第１実施形態では基準面を
１枚の平面として説明を行ってきたが、基準面が１枚の
場合、記述できる光線方向が一方向であるため、物体の
裏側に回り込んで観察する（裏側の位置で再構成画像を
生成する）ことができない。そこで、基準面を複数用い
て、この問題を解消する例について以下に述べる。

【００３７】第２実施形態の画像処理装置の構成は、図
１と同様である。

【００３８】図８は第１実施形態の画像処理装置の画像
入力装置101における多視点画像の取得方法の説明図で
ある。図中、801は撮影に使用する物体被写体、802は被
写体801を周囲から撮影するために、被写体801を載せて
回転する回転テ−ブル、803は被写体801の撮影に使用す
るCCDカメラである。

【００３９】被写体801を回転テ−ブル802に載せて回転
させながら、CCDカメラ803により多視点画像を撮影す
る。CCDカメラ803により撮影された多視点画像は、記憶
装置103に記憶される。

【００４０】次に、本実施形態の動作について説明す
る。ここでは、説明を簡単にするために、y軸方向の視
差を省略した場合のみを説明するが、y軸方向の視差が
ある場合でも、同様に拡張できることは言うまでもな
い。まずこの動作の概略を図９を用いて説明する。

【００４１】図９は第２実施形態の画像処理装置の処理
の流れを示すフローチャートである。

【００４２】まず、ステップS901において画像入力装置
101から多視点画像が取得され、ステップS902で記憶装
置103に保存される。次にステップS903において光線空
間の基準面数とその配置が決定される。これは、予め決
められた値を使用しても良いし、処理の開始時に不図示
のデータ入力装置からオペレータが入力する方法をとっ
てもよい。また、観察可能な領域が制限されている場合
は、それに合わせた枚数の基準面を設定してもよく、上
記に限らない。ここでは４枚の基準面のｕ軸が重なり、
かつｕ軸を中心に９０度づつずれるように放射状に配置
する。この様子を図１０に示す。本実施形態では、4枚
の基準面を使用する例を示したが、基準面の枚数はこれ
に限らず、何枚使用しても良い。また、この例では９０
度づつ等間隔に配置しているが、等間隔に配置する必要
はない。

【００４３】次に、放射状に配置された基準面を使用し
て光線空間を表現する場合を詳しく説明する。ここで、
放射状に配置するとは、すべての基準面を、物体を通過
する一本の直線（物体撮影時の回転軸。ここでは、この
直線をＹ軸とする。）上で交叉させ、それぞれ隣り合う
基準面がなす角度がすべて同じになるように、かつ基準
面のひとつがZ軸に対してδ／２（ただし、δは隣り合
う基準面がなす角度）の角度をなすように配置すること
である。そして、このように配置されたそれぞれの基準
面とその基準面を通過する光線のなす角度を調べ、その
角度が最も直角に近くなる基準面に対応する光線空間に
その光線を記録する。ここでは、放射状に配置された４
枚の基準面を使用する場合について述べる。図１０中、
１００１は被写体８０１から届く光線でその角度が0≦
φ<90度の範囲にある光線の軌跡を記録するための光線
空間に対応する基準面１、１００２は被写体８０１から
届く光線でその角度が90≦φ<180度の範囲にある光線の
軌跡を記録するための光線空間に対応する基準面２、１
００３は被写体801から届く光線でその角度が180≦φ<2
70度の範囲にある光線の軌跡を記録するための光線空間
に対応する基準面３、１００４は被写体８０１から届く
光線でその角度が270≦φ<360度の範囲にある光線の軌
跡を記録するための光線空間に対応する基準面４であ
る。

【００４４】次にステップS904において、ステップS203
と同様に、記憶装置103に保存された各画像データ中の
先頭１ライン分のデータを光線群に分解し、得られた各
光線の方向θの値によりそれぞれの光線を前記4枚の基
準面のどれに記録するかを決定する。この時、得られた
光線の角度(方向）θが0≦θ<90の場合は基準面1001、9
0≦θ<180の場合は基準面100２、180≦θ<270の場合は
基準面1003、270≦θ<360の場合は基準面1004からの光
線であると判定する。そして、ステップS905において、
その基準面に対応するx-u空間上の（１）式、（２）式
で与えられる位置にこの光線の〔画像番号、画素番号〕
を記録する。但し、（１）式、（２）式は基準面をz=0
に設定したときに対応する式なので、次のような前処理
を施しておく。

【００４５】もし、光線が基準面1003からのものである
ならば、カメラのレンズ中心301の位置を225度回転さ
せ、光線の方向θを225度だけ差し引く。これにより、
基準面1003はz=0の平面となり、（１）式、（２）式が
適用可能となる。基準面1001、基準面1002、基準面1004
の場合もそれぞれ45度、135度、315度だけ同様の処理を
行うことにより、（１）式、（２）式が適用可能とな
る。（一般的には、回転角および差し引く角度は、c1≦
θ<c2としたとき、(c1+c2)/2で求める。）

【００４６】以上の処理を0 ≦j＜Nのすべての画素を通
過する光線に対して行い、対応するx-u空間に対応する
多視点画像の画像番号及びその画像の第一ライン中の画
素位置（画素番号）を記録する。さらにこれを入力され
た全ての多視点画像に対して繰り返し行う。この処理に
より入力された多視点画像から求められたすべての光線
が4つのx-u空間に記録されることになる。ここでは、多
視点画像の第一ラインに対してのみ処理を行ない、残り
のラインに対しては処理していない。これは、上下（y
方向）の視差を省略する場合、第一ラインのみを処理す
れば残りのラインはこれと同じx-u空間の同じ位置にマ
ッピングされるため、各画像中の第一ラインに対して処
理しておけば、他のラインも同様に求まるからである。

【００４７】さらにステップS906において光線空間の量
子化が行われ、ステップS907において光線空間上での未
定画素値の推定が行われ、推定結果が〔画像番号、画素
番号〕の組として、光線空間中の対応する要素に記録さ
れる。ステップS906、ステップS907の処理は、第１実施
形態で行った処理と同様の処理であるため、説明を省略
する。

【００４８】次にステップS908において観察者の視点位
置および視線方向が検出される。ここでは、観察者の視
点位置が検出されるとしたが、任意の位置を入力しても
よく、これに限らない。観察者の視点位置を(x、z)、視
線方向をα、視野角ωと仮定すれば、観察者に見える画
像は、カメラのレンズ中心の位置が(x、z)、光軸方向が
α、画角ωの仮想カメラで撮影した画像と等価である。
そこで、ステップS909において、検出された視点位置・
視線方向に仮想カメラを設定し、ステップS910におい
て、仮想カメラ画像の先頭ラインの各画素を光線群に分
解する。そしてステップS911において、これらの光線群
がx-u空間のどの位置に射影されるかを計算する。この
時の計算式は、（１）式、（２）式と同じである。これ
により、x-u空間上の対応する位置に記録されている画
像番号と画素番号が分かるので、次に、ライン番号を計
算する。ライン番号の計算は、（７）式を用いて第１実
施形態の時と同様に行うことができる。ライン番号が求
まると入力画像群中の画素が一意に決定されるので、そ
の画素の色を先程の光線に対応する仮想カメラ画像の画
素に与える。

【００４９】以上の処理を仮想カメラ画像の全ての画素
に対して行うことにより、ステップＳ912において、観
察者の視点位置、視線方向に対応した画像を生成するこ
とができ、また、ステップＳ913において、ステップＳ9
12で生成した画像を表示することができる。

【００５０】以上のように構成することにより、1枚の
基準面では表現できなかった領域も表現することができ
るようになる。また、複数の基準面を使用することによ
り、各基準面とそこを通過する光線のなす角度が垂直に
近くなるため、各基準面に対応したx-u空間の面積が小
さくなり、その結果、保持しておくべきデ−タ量が少な
くなるという利点がある。

【００５１】なお、視点位置・視線方向検出装置104に
は視点位置・視線方向が検出できるものであれば何でも
よい。また、画像出力装置105に、レンチキュラ方式や
メガネ方式などの両眼立体視が可能な立体表示部を用
い、かつ、ステップS211あるいはS912において観察者の
左右各々の目の位置に対応する画像を生成することによ
り、観察者の視点移動に対応可能な両眼立体表示装置と
なる。

【００５２】また、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用しても良い。また、本発明はシステムあるいは装置に
プログラムを供給することによって実施される場合にも
適用されることは言うまでもない。この場合、本発明に
係るプログラムを格納した記憶媒体が、本発明を構成す
ることになる。そして、該記憶媒体からそのプログラム
をシステムあるいは装置に読み出すことによって、その
システムあるいは装置が、予め定められた方法で動作す
る。

【００５３】

【発明の効果】以上詳述したように、本発明によれば、
実写画像のすべての画素に対して光線群に変換するため
の演算を行なう必要がないため、計算量が少なくてすむ
という効果がある。

【００５４】また、離散化された光線空間の値が存在し
ない（未定の）要素に、予め補間処理を行って値を決定
しておくため、任意視点画像生成時（操作中）の計算処
理が軽減し、画像生成表示を高速化できるという効果が
ある。

【図面の簡単な説明】

【図１】本実施形態１の画像処理装置の概略構成図であ
る。

【図２】本実施形態１の画像処理装置の処理の流れ図で
ある。

【図３】入力画像を光線群に分解する処理を説明する図
である。

【図４】光線空間の補間合成が終了した時点での量子化
された光線空間データの一例を示す図である。

【図５】光線空間に入力画像を射影・量子化・補間処理
を行って得られた対応関係表を示す図である。

【図６】｛ｋ、ｈ、ｊ｝で記述される画素の位置を説明
する図である。

【図７】Ｙ軸方向の補正処理を説明するための図であ
る。

【図８】撮影の様子を示した図である。

【図９】第２実施形態の処理の流れを示すフローチャー
トである。

【図１０】４枚の基準面を利用する場合の説明図であ
る。

【図１１】実空間中の一点を通過する光線群を説明する
図である。

【図１２】実空間中の一点を通過する光線群が、光線空
間中では直線上に射影されることを示した図である。

【符号の説明】

１０１ 画像入力装置 １０２ ＣＰＵ １０３ 記憶装置 １０４ 視点・視線検出装置 １０５ 画像出力装置 １０６ 記憶媒体読み取り装置

Claims (13)

【特許請求の範囲】
1. 【請求項１】 複数の視点位置で撮像した画像群を入力
   する画像入力工程と、 前記入力された画像群の一部分を光線空間に射影する射
   影工程と、 前記射影された画像と、前記光線空間との対応関係を生
   成する対応関係生成工程と、 前記生成された対応関係に基づいて、任意の視点位置の
   画像を生成する画像生成工程と、 前記生成された画像を表示する画像表示工程とを備えた
   ことを特徴とする画像処理方法。
2. 【請求項２】 画像入力工程において、物体を回転台に
   載せて回転させながら、該物体の全周方向からの画像を
   撮影することを特徴とする請求項１記載の画像処理方
   法。
3. 【請求項３】 前記射影工程において、前記入力された
   画像群の一部分として、前記入力された画像群の各画像
   中の先頭の１ラインを、所定の関係式に基づいて、前記
   光線空間に射影することを特徴とする請求項１記載の画
   像処理方法。
4. 【請求項４】 前記画像生成工程は、生成された画像の
   歪みを補正する補正工程を備えることを特徴とする請求
   項１記載の画像処理方法。
5. 【請求項５】 前記光線空間を、複数の基準面を利用し
   て表現することを特徴とする請求項１記載の画像処理方
   法。
6. 【請求項６】 前記任意の視点位置を位置センサにより
   取得することを特徴とする請求項１記載の画像処理方
   法。
7. 【請求項７】 複数の視点位置で撮像した画像群を入力
   する画像入力手段と、 前記入力された画像群の一部分を光線空間に射影する射
   影手段と、 前記射影された画像と、前記光線空間との対応関係を生
   成する対応関係生成手段と、 前記生成された対応関係に基づいて、任意の視点位置の
   画像を生成する画像生成手段と、 前記生成された画像を表示する画像表示手段とを備えた
   ことを特徴とする画像処理装置。
8. 【請求項８】 画像入力手段は、物体を回転台に載せて
   回転させながら、該物体の全周方向からの画像を撮影す
   ることを特徴とする請求項７記載の画像処理装置。
9. 【請求項９】 前記射影手段は、前記入力された画像群
   の一部分として、前記入力された画像群の各画像中の先
   頭の１ラインを、所定の関係式に基づいて、前記光線空
   間に射影することを特徴とする請求項７記載の画像処理
   装置。
10. 【請求項１０】 前記画像生成手段は、生成された画像
    の歪みを補正する補正手段を備えることを特徴とする請
    求項７記載の画像処理装置。
11. 【請求項１１】 前記光線空間を、複数の基準面を利用
    して表現することを特徴とする請求項７記載の画像処理
    装置。
12. 【請求項１２】 前記任意の視点位置を位置センサによ
    り取得することを特徴とする請求項７記載の画像処理装
    置。
13. 【請求項１３】 複数の視点位置で撮像した画像群を入
    力する画像入力工程と、 前記入力された画像群の一部分を光線空間に射影する射
    影工程と、 前記射影された画像と、前記光線空間との対応関係を生
    成する対応関係生成工程と、 前記生成された対応関係に基づいて、任意の視点位置の
    画像を生成する画像生成工程と、 前記生成された画像を表示する画像表示工程とを備えた
    ことを特徴とする画像処理方法を実現するためのコンピ
    ュータプログラムを記憶し、コンピュータにより読み取
    り可能な記憶媒体。