JP4075151B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4075151B2 JP4075151B2 JP24640898A JP24640898A JP4075151B2 JP 4075151 B2 JP4075151 B2 JP 4075151B2 JP 24640898 A JP24640898 A JP 24640898A JP 24640898 A JP24640898 A JP 24640898A JP 4075151 B2 JP4075151 B2 JP 4075151B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax image
- parallax
- image sequence
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/268—Holographic stereogram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
- G03H2210/44—Digital representation
- G03H2210/441—Numerical processing applied to the object data other than numerical propagation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/50—Nature of the object
- G03H2210/54—For individualisation of product
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Holo Graphy (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ホログラフィックステレオグラムの作成等に使用される視差画像列を作成する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
視差情報を有する複数の画像からなる視差画像列は、例えば、立体的な画像を表示するホログラフィックステレオグラムの作成に使用される。ホログラフィックステレオグラムは、被写体を異なる視点から順次撮影することにより得られた多数の画像からなる視差画像列を原画として、これらを１枚のホログラム用記録媒体に短冊状又はドット状の要素ホログラムとして順次記録することにより作成される。
【０００３】
例えば、横方向のみに視差情報を持つホログラフィックステレオグラムを作成する際は、図８に示すように、先ず、被写体１００を横方向の異なる観察点から順次撮影することにより、横方向の視差情報を有する複数の画像からなる視差画像列１０１を得る。そして、この視差画像列１０１を構成する画像１０２を、必要に応じて所定の視点変換処理等を施した上で、短冊状の要素ホログラムとしてホログラム用記録媒体１０３に横方向に連続するように順次記録する。これにより、横方向に視差情報を持つホログラフィックステレオグラムが得られる。
【０００４】
このホログラフィックステレオグラムは、当該ホログラフィックステレオグラムをある位置から片方の目で見た場合、各要素ホログラムの一部分の画像情報の集合体である二次元画像が見え、目の位置を水平方向に動かせば、各要素ホログラムの別の部分の画像情報の集合体である二次元画像が見える。したがって、このホログラフィックステレオグラムを観察者が両目で見たときには、左右の目の位置が水平方向で若干異なるため、それぞれに写る二次元画像は若干異なるものとなる。これにより、観察者は視差を感じ、立体画像が認識される。なお、このようなホログラフィックステレオグラムに関しては、例えば特開平１０−２０７５６号などに記載されている。
【０００５】
このようなホログラフィックステレオグラムの原画像となる視差画像列を撮影する際は、撮影装置を動かしながら、異なる方向から被写体を順次撮影する。これにより、視差情報を有する複数の画像からなる視差画像列が得られる。具体的には例えば、撮影装置として、１秒あたり３０フレームの撮影を行うビデオカメラを使用し、当該ビデオカメラを一定の速度で動かしながら、連続して被写体を撮影する。このとき、例えば７．５秒にわたって被写体を撮影したとすると、２２５フレーム分の撮影がなされ、その結果、被写体に対する視点の異なる２２５枚の画像からなる視差画像列が得られる。
【０００６】
【発明が解決しようとする課題】
視差画像列は、異なる方向から被写体を順次撮影することにより得られるので、視差画像列の撮影には、ある程度の時間がかかる。被写体が静物であれば、視差画像列の撮影に要する時間が多少長くてもあまり問題はない。しかし、被写体が静物でない場合（例えば被写体が人物の場合など）には、撮影中に被写体が動いてしまう可能性があるため、視差画像列の撮影に要する時間を出来るだけ短くすることが望まれる。
【０００７】
しかし、単位時間あたりに撮影可能な枚数が決まっている場合に、視差画像列の撮影に要する時間を短くすると、視差画像列を構成する画像の枚数が少なくなってしまう。視差画像列を構成する画像の枚数が少なくなると、当該視差画像列をもとに得られる立体画像の画質が劣化してしまう。
【０００８】
すなわち、視差画像列の撮影に要する時間と、当該視差画像列をもとに得られる立体画像の画質とは、トレードオフの関係にあり、従来、視差画像列の撮影に要する時間を短縮しつつ、当該視差画像列をもとに得られる立体画像の画質を十分に維持することは難しかった。
【０００９】
本発明は、以上のような従来の実情に鑑みて提案されたものであり、視差画像列の撮影に要する時間を短縮しつつ、当該視差画像列をもとに得られる立体画像の画質を維持することを可能とする画像処理装置及び画像処理方法を提供すること目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る画像処理装置は、視差情報を有する複数の画像からなる視差画像列を作成する画像処理装置において、動的被写体の視差画像列と背景の視差画像列とを撮影する撮影手段と、撮影手段により撮影された、背景の視差画像列とこの背景の視差画像列を構成する画像の枚数よりも少ない枚数からなる動的被写体の視差画像列との視差画像列を構成する画像の枚数を一致させる画像枚数調整手段と、画像枚数調整手段により画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を生成する画像合成手段とを備える。そして、画像枚数調整手段は、動的被写体の視差画像列を構成する画像の枚数を、動的被写体の視差画像列を構成する画像に基づく画像を追加して、背景の視差画像列を構成する画像の枚数に一致させることを特徴とする。
【００１１】
また、本発明に係る画像処理方法は、視差情報を有する複数の画像からなる視差画像列を作成する画像処理方法において、動的被写体の視差画像列と背景の視差画像列とを撮影する撮影工程と、撮影工程により撮影された、背景の視差画像列とこの背景の視差画像列を構成する画像の枚数より少ない枚数からなる動的被写体の視差画像列との視差画像列を構成する画像の枚数を一致させる画像枚数調整工程と、画像枚数調整工程により画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を生成する画像合成工程とを有する。そして、画像枚数調整工程は、動的被写体の視差画像列を構成する画像の枚数を、動的被写体の視差画像列を構成する画像に基づく画像を追加して、背景の視差画像列を構成する画像の枚数に一致させることを特徴とする。
【００１２】
一般に、視差画像列をもとに立体画像を再現する場合、再生像の画質を維持するのに必要な元画像枚数は、再生像の定位する位置によって異なる。例えば、視差画像列を構成する各画像をホログラム用記録媒体に要素ホログラムとして順次記録してホログラフィックステレオグラムを作成する場合、ホログラム記録媒体面よりも奥に再生像が定位する場合と、ホログラム記録媒体面上に再生像が定位する場合と、ホログラム記録媒体面よりも手前に再生像が定位する場合とで、同等の画質を維持するのに必要な元画像枚数は異なる。これは、再生像が定位する位置によって、各視点間での画像の相関性に差があるからである。
【００１３】
したがって、再生像の定位する位置によって、視差画像列の枚数を変えて被写体の撮影を行うようにすれば、再生像の定位する位置に合わせた最適な枚数の視差画像列の撮影が可能となる。換言すれば、必要以上の撮影を省くことが可能となり、視差画像列の撮影に要する時間を短縮することが出来る。しかしながら、このように得られた複数組の視差画像列のままでは、立体画像を再現することは出来ない。
【００１４】
そこで、本発明においては、先ず、撮影手段により撮影された背景の視差画像列と該背景の視差画像列を構成する画像の枚数よりも少ない枚数からなる動的被写体の視差画像列とについて、それらの視差画像列を構成する画像の枚数を一致させ、その後、画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を作成するようにしている。これにより、枚数の異なる動的被写体の視差画像列と背景の視差画像列とから、立体画像のもととなる一組の視差画像列を作成することが可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の説明では、ホログラフィックステレオグラム作成システムに本発明を適用した例に挙げるが、本発明に係る画像処理装置及び画像処理方法は、視差画像列が必要とされる分野において広く適用可能である。例えば、視差を利用して表示装置に立体的な画像を表示するようなときにも視差画像列は必要とされ、このような場合にも本発明に係る画像処理装置及び画像処理方法は適用可能である。
【００１６】
本発明を適用した画像処理装置の一構成例を図１に示す。この画像処理装置１は、人物等の被写体を撮影して視差画像列を得て、当該視差画像列に予め撮影された背景となる視差画像列を合成して、新たな視差画像列を作成するものであり、図１に示すように、撮影装置２と、映像信号処理装置３と、映像信号記録再生装置４と、映像信号再生装置５と、クロマキー合成装置６と、これらの装置全体の動作を制御する制御用コンピュータ７とを備える。
【００１７】
撮影装置２は、人物等の被写体を撮影するためのものであり、例えばＣＣＤカメラからなる。そして、視差画像列を撮影する際は、この撮影装置２を動かしながら、異なる方向から被写体を順次撮影する。そして、この撮影装置２によって撮影された視差画像列の映像信号は、映像信号処理装置３に送られる。
【００１８】
映像信号処理装置３は、撮影装置２によって被写体を撮影することによって得られた視差画像列の映像信号を所定の形式に変換するためのものであり、例えばＤ１デコーダからなる。撮影装置２からの映像信号は、この映像信号処理装置３によって所定の形式に変換された上で、映像信号記録再生装置４に送られる。
【００１９】
映像信号記録再生装置４は、記録媒体に映像信号を記録したり、或いは、記録媒体に記録された映像信号を再生するためのものである。ここで、記録媒体としては、例えば、光ディスク、磁気ディスク、磁気テープ又は半導体メモリ等が用いられる。そして、この映像信号記録再生装置４は、映像信号処理装置３によって所定の形式とされた映像信号を受け取り、当該映像信号を記録媒体に記録する。また、この映像信号記録再生装置４は、必要に応じて、制御用コンピュータ７からの指示により、記録媒体に記録された映像信号を読み出して再生する。映像信号記録再生装置４によって再生された映像信号は、例えばＮＴＳＣ信号として、クロマキー合成装置６に送られる。
【００２０】
また、この映像信号記録再生装置４は、記録媒体から映像信号を再生する際に、必要に応じて、制御用コンピュータ７からの指示により、同じフレームの映像信号を繰り返し出力する。換言すれば、この映像信号記録再生装置４は、必要に応じて、制御用コンピュータ７からの指示により、記録媒体から再生された映像信号のフレーム数よりも、出力する映像信号のフレーム数を多くする。
【００２１】
例えば、撮影装置２が１秒あたり３０フレームの撮影を行うものであり、当該撮影装置２を一定の速度で動かしながら、連続して３秒間だけ被写体を撮影したとする。このとき、記録媒体には、９０フレーム分の映像信号が記録される。そして、この映像信号を再生するときに、例えば２２５フレームとしたい場合、映像信号記録再生装置４は、各フレームを２又は３回ずつ繰り返して出力することで、全体として２２５フレーム分の映像信号を出力する。
【００２２】
映像信号再生装置５は、光ディスク、磁気ディスク、磁気テープ又は半導体メモリ等の記録媒体から映像信号を再生するためのものであり、必要に応じて、制御用コンピュータ７からの指示により、記録媒体に記録された映像信号を読み出して再生する。映像信号再生装置５によって再生された映像信号は、例えばＮＴＳＣ信号として、クロマキー合成装置６に送られる。
【００２３】
クロマキー合成装置６は、クロマキー合成を行うためのものであり、映像信号記録再生装置４から送られてきた映像信号と、映像信号再生装置５から送られてきた映像信号とを、制御用コンピュータ７からの指示に基づいてクロマキー合成して、新たな視差画像列の映像信号を生成する。そして、クロマキー合成装置６によるクロマキー合成により新たに生成された視差画像列の映像信号は、外部へと出力される。
【００２４】
つぎに、以上のような画像処理装置１による視差画像列の作成について、具体的な例を挙げて説明する。
【００２５】
なお、ここでは、ホログラム記録媒体面上に人物の再生像が定位し、ホログラム記録媒体面よりも奥に背景となる再生像が定位するようになされたホログラフィックステレオグラムのもととなる視差画像列の映像信号を作成するものとする。また、背景の視差画像列は予め撮影されており、その映像信号は、１秒間あたり３０フレームのビデオレートにて７．５秒間、すなわち２２５フレームの映像信号であるとする。
【００２６】
視差画像列は異なる視点から被写体を撮影することにより得られるが、ホログラム記録媒体面上に定位する被写体の場合、各視点間での画像の相関性が大きく、視点位置が変化しても、画像の変化は少ない。一方、ホログラム記録媒体面よりも奥に定位する被写体の場合、各視点間での画像の相関性が小さく、視点位置が変化すると、画像が大きく変化する。
【００２７】
したがって、ホログラム記録媒体面上に定位する被写体を撮影した視差画像列の枚数は、ホログラム記録媒体面よりも奥に定位する被写体を撮影した視差画像列の枚数よりも少なくても良い。換言すれば、ホログラム記録媒体面上に再生像が定位するようなされる被写体については視差画像列の枚数を少なくしても、ホログラム記録媒体面上に定位する再生像の画質と、ホログラム記録媒体面よりも奥に定位する再生像の画質とを、同レベルとすることができる。
【００２８】
そこで、本例では、ホログラム記録媒体面上に再生像が定位するようなされる被写体（すなわち人物）については、１秒間あたり３０フレームのビデオレートにて３秒間、すなわち９０フレーム分だけ撮影するものとする。
【００２９】
すなわち、先ず、図２のステップＳ１に示すように、ホログラム記録媒体面上に再生像が定位するようなされる被写体である人物について、撮影装置２により、１秒間あたり３０フレームのビデオレートにて３秒間、すなわち９０フレーム分だけ撮影する。この撮影は、後でクロマキー合成を行えるように、例えば青色の背景のもとで行うとともに、各フレーム撮影時の視点位置が異なるものとなるように、撮影装置２を一定の速度で動かしながら行う。これにより、視差情報を有する９０枚の画像からなる視差画像列が得られる。そして、この視差画像列の映像信号は、映像信号処理装置３によって所定の形式に変換された上で、ステップＳ２に示すように、映像信号記録再生装置４により記録媒体に記録される。
【００３０】
以上のように記録媒体に記録された映像信号は、その後、ステップＳ３に示すように、映像信号記録再生装置４により再生される。このとき、映像信号記録再生装置４は、人物を写した視差画像列の映像信号のフレーム数が、背景を写した視差画像列の映像信号のフレーム数と同じとなるように再生する。換言すれば、映像信号記録再生装置４は、人物を写した視差画像列を構成する画像の枚数が、背景を写した視差画像列を構成する画像の枚数に一致するようにする。
【００３１】
本例では、背景の撮影時間は、７．５秒間で、その総フレーム数は、２２５フレームである。そこで、映像信号記録再生装置４は、人物を撮影した視差画像列の映像信号を記録媒体から再生する際に、各フレームを２又は３回ずつ繰り返して出力することで、全体として２２５フレーム分の映像信号を出力する。また、映像信号記録再生装置４による映像信号の再生と同時に、ステップＳ４に示すように、映像信号再生装置５により、背景を撮影した視差画像列の映像信号を再生する。
【００３２】
そして、映像信号記録再生装置４によって再生された映像信号（すなわち人物を撮影した視差画像列の映像信号）と、映像信号再生装置５によって再生された映像信号（すなわち背景を撮影した視差画像列の映像信号）とは、クロマキー合成装置６に入力される。このとき、映像信号記録再生装置４は、人物を写した視差画像列の映像信号のフレーム数が、背景を写した視差画像列の映像信号のフレーム数と同じになるようにしている。したがって、クロマキー合成装置６には、映像信号記録再生装置４からの映像信号と、映像信号再生装置５からの映像信号とが、同じビデオレートにて、同じ時間分だけ、同じフレーム数として入力される。
【００３３】
そして、映像信号記録再生装置４からの映像信号と、映像信号再生装置５からの映像信号とを受け取ったクロマキー合成装置６は、ステップＳ５に示すように、それらの映像信号のクロマキー合成を行う。
【００３４】
このとき、映像信号記録再生装置４によって再生された映像信号のフレーム数（すなわち人物を撮影した視差画像列の枚数）と、映像信号再生装置５によって再生された映像信号のフレーム数（すなわち背景を撮影した視差画像列の枚数）とは同じになっており、クロマキー合成装置６は、それらの映像信号を入力されたフレーム順に順次クロマキー合成を行っていく。これにより、人物を撮影した視差画像列を構成する各画像と、背景を撮影した視差画像列を構成する各画像とがそれぞれクロマキー合成され、その結果、人物と背景とが映った新たな視差画像列が作成される。
【００３５】
そして、このように新たに作成された視差画像列の映像信号が、クロマキー合成装置６から出力される。なお、このように新たに作成された視差画像列の映像信号は、例えば、ホログラフィックステレオグラム作成システムに送られ、ホログラフィックステレオグラムの作成に用いられる。
【００３６】
以上のように、本発明を適用した画像処理装置１を用いれば、再生像の定位する位置に合わせて被写体毎に最適な枚数の視差画像列の撮影を行えばよくなる。具体的には、上記の例では、７．５秒間の背景画像に対して、人物の撮影を３秒間だけ行うようにしている。このように、本発明を適用した画像処理装置１では、必要以上の撮影を省くことができ、視差画像列の撮影に要する時間を短縮することが可能となる。
【００３７】
特に、本例のように、背景となるものの再生像をホログラム記録媒体面の奥に定位させ、人物の再生像をホログラム記録媒体面上に定位させるような場合に、本発明を適用した画像処理装置１は特に有効である。なぜなら、多くの場合、背景となる被写体は動きが無く、視差画像列の撮影に要する時間が多少長くてもあまり問題はないが、人物は撮影中に動いてしまう可能性があるため、視差画像列の撮影に要する時間を出来るだけ短くすることが望まれるからである。すなわち、本発明を適用した画像処理装置１を用いれば、人物を撮影した視差画像列の枚数を減らしても、ホログラム記録媒体面の奥に定位する背景の再生像の画質と、ホログラム記録媒体面上に定位する人物の再生像の画質とを同等に維持することができ、その結果、人物の撮影に要する時間を大幅に短縮することが可能となる。
【００３８】
なお、上記画像処理装置１において、映像信号記録再生装置４は、視差画像列の映像信号を記録媒体から再生する際に、各フレームを繰り返し出力することで、もとのフレーム数よりも多いフレーム数の映像信号を出力するようにしていた。すなわち、映像信号記録再生装置４は、画像枚数が少ない視差画像列に画像を追加することで、背景を撮影した視差画像列を構成する画像の枚数と、人物を撮影した視差画像列を構成する画像の枚数とを一致させるようにしていた。
【００３９】
しかし、映像信号記録再生装置４は、単にフレームを繰り返し出力することで視差画像列に画像を追加するのではなく、視差画像列を構成している画像から補間画像を作成し、当該補間画像を元の視差画像列に追加するようにしてもよい。すなわち、画像枚数が少ない視差画像列に対して、前後の画像から補間処理により新たに生成した補間画像を追加することで、各視差画像列を構成する画像の枚数を一致させるようにしても良い。このように、補間画像を元の視差画像列に追加するようにすれば、視差画像列を構成する画像の枚数を増やしても、視点の移動に伴って画像が連続的に滑らかに変化する視差画像列を得ることができる。
【００４０】
また、上記画像処理装置１では、視差画像列同士の合成を、色相をもとに画像を合成するクロマキー合成により行ったが、視差画像列同士の合成は、クロマキー合成以外の手法によって行うようにしても良く、例えば、輝度をもとに画像を合成するような手法なども適用可能である。
【００４１】
また、上記の例では、背景の視差画像列は予め撮影されているものとしたが、背景の視差画像列も撮影装置２で撮影するようにしても良いことは言うまでもない。更に、背景の視差画像列は、被写体を実際に撮影することにより得るのではなく、コンピュータグラフィックスにより作成するようにしても良い。
【００４２】
ところで、上記画像処理装置１では、撮影装置２を一定の速度で動かしながら被写体を連続的に撮影することにより、視差画像列を得たが、このような視差画像列の撮影方法には、具体的には、panning方式、rotating方式、re-centering方式等がある。
【００４３】
panning方式では、図３に示すように、常に被写体１０の中心を向くようにカメラ１１の方向を変化させながら、カメラ１１を直線上のレールに沿って平行に動かして、異なる位置から被写体１０を多数撮影する。すなわち、panning方式で視差画像列を撮影する際は、カメラ１１を被写体１０の中心に向けてパンさせながら、被写体１０に向けたカメラ１１を平行に動かし、この間において多数の画像を撮影する。
【００４４】
rotating方式では、図４に示すように、被写体１０の中心に向けたカメラ１１を円弧状に移動させて視差画像列を撮影する。rotating方式も、カメラ１１が常に被写体１０の中心を向くので、画像の有効解像度を高めることができる。
【００４５】
re-centering方式では、図５に示すように、カメラ１１を直線上のレールに沿って平行に移動させて、異なる位置から被写体１０を多数撮影するとともに、その撮影時に、被写体１０の像が画面の中心に常に位置するように、撮影する位置に合わせてカメラ１１のレンズ１２を移動させる。すなわち、re-centering方式では、カメラ１１のレンズ１２と撮像面１３の相対的位置関係を、カメラ本体の動きと合わせて変えることによって、被写体１０を常に撮像面１３の中心に投影して撮影を行う。
【００４６】
そして、本発明を適用した画像処理装置１で視差画像列を撮影する際は、これらいずれの方式を用いても良い。
【００４７】
ところで、以上のような画像処理装置１で新たに作成された視差画像列の映像信号は、上述したように、例えば、ホログラフィックステレオグラム作成システムに送られ、ホログラフィックステレオグラムの作成に用いられる。そこで、以下、ホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムについて、具体的な例を挙げて説明する。
【００４８】
なお、以下に説明するホログラフィックステレオグラム作成システムは、物体光と参照光との干渉縞が記録されたフィルム状のホログラム用記録媒体をそのままホログラフィックステレオグラムとして出力する。このように物体光と参照光との干渉縞がホログラム用記録媒体に直接記録されてなるホログラフィックステレオグラムは、一般に、ワンステップホログラフィックステレオグラムと称される。
【００４９】
このようにワンステップホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムの一構成例を図６に示す。
【００５０】
このホログラフィックステレオグラム作成システム２３は、ホログラフィックステレオグラム作成システム全体の制御を行う制御用コンピュータ２４と、ホログラフィックステレオグラム作成用の光学系を有するホログラフィックステレオグラムプリンタ２５と、ホログラフィックステレオグラム作成時に露光用画像の映像信号をホログラフィックステレオグラムプリンタ２５に供給する映像信号供給装置２６とを備える。
【００５１】
映像信号処理装置２６は、上記画像処理装置１から視差画像列の映像信号を受け取り、当該視差画像列に対して必要に応じて視点変換処理やキーストン歪み補正処理などを施して、映像信号を１フレーム毎にホログラフィックステレオグラムプリンタ２５に送る。また、映像信号処理装置２６は、ホログラフィックステレオグラムプリンタ２５に１フレーム分の映像信号を送る毎に、１フレーム分の映像信号を送ったことを示すタイミング信号を制御用コンピュータ２４に送出する。
【００５２】
制御用コンピュータ２４は、映像信号処理装置２６からのタイミング信号に基づいてホログラフィックステレオグラムプリンタ２５を駆動する。そして、ホログラフィックステレオグラムプリンタ２５は、制御用コンピュータ２４による制御に基づき、映像信号処理装置２６から供給された映像信号に基づく画像を、ホログラフィックステレオグラムプリンタ２５の内部にセットされたホログラム用記録媒体に、短冊状の要素ホログラムとして順次記録する。
【００５３】
このとき、制御用コンピュータ２４は、後述するように、ホログラフィックステレオグラムプリンタ２５に設けられた露光用シャッタ及び記録媒体送り機構等の制御を行う。すなわち、制御用コンピュータ２４は、ホログラフィックステレオグラムプリンタ２５に制御信号を送出して、露光用シャッタの開閉や、記録媒体送り機構によるホログラム用記録媒体の送り動作などを制御する。
【００５４】
上記ホログラフィックステレオグラムプリンタ２５について、図７を参照して更に詳細に説明する。なお、図７（Ａ）は、ホログラフィックステレオグラムプリンタ２５の全体の光学系を上から見た図であり、図７（Ｂ）は、ホログラフィックステレオグラムプリンタ２５の光学系の物体光用の部分を横から見た図である。
【００５５】
ホログラフィックステレオグラムプリンタ２５は、図７（Ａ）に示すように、所定の波長のレーザ光を出射するレーザ光源３１と、レーザ光源３１からのレーザ光Ｌ１の光軸上に配された露光用シャッタ３２及びハーフミラー３３とを備えている。
【００５６】
露光用シャッタ３２は、制御用コンピュータ２４によって制御され、ホログラム用記録媒体３０を露光しないときには閉じられ、ホログラム用記録媒体３０を露光するときに開かれる。また、ハーフミラー３３は、露光用シャッタ３２を通過してきたレーザ光Ｌ２を、参照光と物体光とに分離するためのものであり、ハーフミラー３３によって反射された光Ｌ３が参照光となり、ハーフミラー３３を透過した光Ｌ４が物体光となる。
【００５７】
ハーフミラー３３によって反射された光Ｌ３の光軸上には、参照光用の光学系として、シリンドリカルレンズ３４と、参照光を平行光とするためのコリメータレンズ３５と、コリメータレンズ３５によって平行光とされた光を反射する全反射ミラー３６とがこの順に配置されている。
【００５８】
そして、ハーフミラー３３によって反射された光は、先ず、シリンドリカルレンズ３４によって発散光とされ、次に、コリメータレンズ３５によって平行光とされる。その後、全反射ミラー３６によって反射され、ホログラム用記録媒体３０に入射する。
【００５９】
一方、ハーフミラー３３を透過した光Ｌ４の光軸上には、図７（Ａ）及び図７（Ｂ）に示すように、物体光用の光学系として、ハーフミラー３３からの透過光を反射する全反射ミラー３８と、凸レンズとピンホールを組み合わせたスペーシャルフィルタ３９と、物体光を平行とするためのコリメータレンズ４０と、記録対象の画像を表示する表示装置４１と、物体光をホログラム用記録媒体３０上に集光させるシリンドリカルレンズ４２とがこの順に配置されている。
【００６０】
そして、ハーフミラー３３を透過した光Ｌ４は、全反射ミラー３８によって反射された後、スペーシャルフィルタ３９によって点光源からの拡散光とされ、次に、コリメータレンズ４０によって平行光とされ、その後、表示装置４１に入射する。ここで、表示装置４１は、例えば液晶パネルからなる透過型の画像表示装置であり、映像信号処理装置２６から供給された映像信号に基づく画像を表示する。そして、表示装置４１を透過した光は、表示装置４１に表示された画像に応じて変調された後、シリンドリカルレンズ４２に入射する。
【００６１】
そして、表示装置４１を透過した光は、シリンドリカルレンズ４２により、所定の集光角θeにて集束され、この集束光が物体光としてホログラム用記録媒体３０に入射する。すなわち、このホログラフィックステレオグラムプリンタ２５では、表示装置４１からの投影光が短冊状の物体光としてホログラム用記録媒体３０に入射する。
【００６２】
ここで、参照光及び物体光は、参照光がホログラム用記録媒体３０の一方の面に入射し、物体光がホログラム用記録媒体３０の他方の面に入射するようにする。すなわち、ホログラム用記録媒体３０の一方の面に、参照光を所定の入射角度にて入射させるとともに、ホログラム用記録媒体３０の他方の面に、物体光をホログラム用記録媒体３０に対して光軸がほぼ垂直となるように入射させる。これにより、参照光と物体光とがホログラム用記録媒体３０上において干渉し、当該干渉によって生じる干渉縞が、ホログラム用記録媒体３０に屈折率の変化として記録される。
【００６３】
また、このホログラフィックステレオグラムプリンタ２５は、制御用コンピュータ２４の制御のもとに、ホログラム用記録媒体３０を間欠送りし得る記録媒体送り機構４３を備えている。この記録媒体送り機構４３は、記録媒体送り機構４３に所定の状態でセットされたホログラム用記録媒体３０に対して、映像信号処理装置２６から供給された映像信号に基づく１つの画像が１つの要素ホログラムとして記録される毎に、制御用コンピュータ２４からの制御信号に基づいて、ホログラム用記録媒体３０を１要素ホログラム分だけ間欠送りする。これにより、映像信号処理装置２６から供給された映像信号に基づく画像が、要素ホログラムとして、ホログラム用記録媒体３０に横方向に連続するように順次記録される。
【００６４】
なお、上記ホログラフィックステレオグラムプリンタ２５において、ハーフミラー３３によって反射されホログラム用記録媒体３０に入射する参照光の光路長と、ハーフミラー３３を透過し表示装置４１を介してホログラム用記録媒体３０に入射する物体光の光路長とは、ほぼ同じ長さとすることが好ましい。これにより、参照光と物体光との干渉性が高まり、ホログラフィックステレオグラムの画質が向上する。
【００６５】
また、上記ホログラフィックステレオグラムプリンタ２５において、ホログラフィックステレオグラムの画質を向上させるために、物体光の光路上に拡散板を配してもよい。物体光の光路上に拡散板を配することにより、物体光に含まれるノイズ成分が分散され、また、ホログラム用記録媒体３０に入射する物体光の光強度分布がより均一になり、作成されるホログラフィックステレオグラムの画質が向上する。
【００６６】
ただし、このように拡散板を配するときは、拡散板とホログラム用記録媒体３０の間に、要素ホログラムの形状に対応した短冊状の開口部が形成されたマスクを配することが好ましい。このようにマスクを配することにより、拡散板によって拡散された物体光のうち、余分な部分がマスクによって遮られることとなり、より高画質なホログラフィックステレオグラムを作成することが可能となる。
【００６７】
また、上記ホログラフィックステレオグラムプリンタ２５では、ホログラフィックステレオグラムに縦方向の視野角を持たせるために、物体光の光路上に、物体光を縦方向に拡散させる一次元拡散板を配してもよい。物体光の光路上に一次元拡散板を配することにより、物体光が縦方向（要素ホログラムの長軸方向）に拡散され、これにより、作成されるホログラフィックステレオグラムは縦方向の視野角を有することとなる。
【００６８】
ただし、このように一次元拡散板を配するときは、ホログラム用記録媒体３０と一次元拡散板の間に、微細な簾状の格子を有するルーバーフィルムを配することが好ましい。このようにルーバーフィルムを配することにより、ホログラム用記録媒体３０を透過した参照光が一次元拡散板によって反射されて、再びホログラム用記録媒体３０に入射するのを防ぐことができる。
【００６９】
つぎに、上記ホログラフィックステレオグラム作成システム２３の動作について説明する。
【００７０】
ホログラフィックステレオグラムを作成する際、映像信号処理装置２６は、ホログラフィックステレオグラムプリンタ２５の表示装置４１に映像信号を送出し、当該映像信号に基づく露光用画像を表示装置４１に表示させる。このとき、映像信号処理装置２６は、映像信号をホログラフィックステレオグラムプリンタ２５の表示装置４１に送出したことを示すタイミング信号を、制御用コンピュータ２４に送出する。
【００７１】
そして、上記タイミング信号を受け取った制御用コンピュータ２４は、露光用シャッタ３２に制御信号を送出し、所定時間だけ露光用シャッタ３２を開放させる。これにより、ホログラム用記録媒体３０が露光される。
【００７２】
このとき、レーザ光源３１から出射され露光用シャッタ３２を透過したレーザ光Ｌ２のうち、ハーフミラー３３によって反射された光Ｌ３が、参照光としてホログラム用記録媒体３０に入射する。また、ハーフミラー３３を透過した光Ｌ４が、表示装置４１に表示された画像が投影された投影光となり、当該投影光が物体光としてホログラム用記録媒体３０に入射する。これにより、表示装置４１に表示された露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして記録される。
【００７３】
そして、ホログラム用記録媒体３０への１画像の記録が終了すると、次いで、制御用コンピュータ２４は、記録媒体送り機構４３に制御信号を送出し、ホログラム用記録媒体３０を１要素ホログラム分だけ送らせる。
【００７４】
以上の動作を、表示装置４１に表示させる露光用画像を視差画像列順に順次変えて繰り返す。これにより、映像信号処理装置２６から供給された映像信号に基づく露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして順次記録される。
【００７５】
なお、このように要素ホログラムを順次記録する際、記録媒体送り機構４３でホログラム用記録媒体を送ったときに、ホログラム用記録媒体３０が若干振動する場合がある。このような場合は、ホログラム用記録媒体３０を送る毎に振動が収まるのを待ち、振動が収まった後に要素ホログラムを記録するようにする。
【００７６】
以上のように、このホログラフィックステレオグラム作成システム２３では、映像信号処理装置２６からホログラフィックステレオグラムプリンタ２５に映像信号を順次供給し、それらの映像信号に基づく露光用画像を表示装置４１に順次表示し、各画像毎に露光用シャッタ３２を開放し、各画像をそれぞれ短冊状の要素ホログラムとしてホログラム用記録媒体３０に順次記録する。このとき、ホログラム用記録媒体３０は、１画像毎に１要素ホログラム分だけ送られるので、各要素ホログラムは、横方向に連続して並ぶこととなる。これにより、横方向の視差情報を含む複数の画像からなる視差画像列が、横方向に連続した複数の要素ホログラムとしてホログラム用記録媒体３０に記録され、横方向の視差を有するホログラフィックステレオグラムが得られる。
【００７７】
なお、以上の説明では、本発明を適用した画像処理装置１と、ホログラフィックステレオグラム作成システム２３とがそれぞれ独立しているものとして説明したが、これらは一体とされていても良い。これらを一体とする場合には、上記画像処理装置１の制御用コンピュータ７が、上記ホログラフィックステレオグラム作成システム２３の制御コンピュータ２４を兼ねるようにしても良いし、また、上記画像処理装置１のクロマキー合成装置６と、上記ホログラフィックステレオグラム作成システム２３の映像信号処理装置２６とを、一つの映像処理装置としてまとめてしまっても良い。
【００７８】
【発明の効果】
以上詳細に説明したように、本発明では、複数組の視差画像列について、それらの視差画像列を構成する画像の枚数を一致させ、その後、画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を作成するようにしている。また、この複数組の視差画像列は、背景の視差画像列とこの背景の視差画像列を構成する画像の枚数よりも少ない枚数からなる動的被写体の視差画像列であり、動的被写体の視差画像列を構成する画像の枚数を背景の視差画像列を構成する画像の枚数に一致させるようにしている。これにより、枚数の異なる複数組の視差画像列から、立体画像のもととなる一組の視差画像列を作成することが可能となっている。
【００７９】
すなわち、本発明によれば、視差画像列の枚数を変えて被写体の撮影を行うようなことが可能であり、被写体に合わせて最適な枚数の視差画像列を撮影するようにすることができる。すなわち、本発明によれば、必要以上の撮影を省くことが可能となり、視差画像列の撮影に要する時間を短縮することが出来る。換言すれば、本発明によれば、視差画像列の撮影に要する時間を短縮しつつ、当該視差画像列をもとに得られる立体画像の画質を維持することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一構成例を示すブロック図である。
【図２】上記画像処理装置で新たな視差画像列の映像信号を作成するときの処理の流れを示す図である。
【図３】 panning方式による視差画像列の撮影方法を示す図である。
【図４】 rotating方式による視差画像列の撮影方法を示す図である。
【図５】 re-centering方式による視差画像列の撮影方法を示す図である。
【図６】ホログラフィックステレオグラム作成システムの一構成例を示すブロック図である。
【図７】ホログラフィックステレオグラムプリンタの光学系の一構成例を示す図である。
【図８】ホログラフィックステレオグラムの作成方法を模式的に示す図である。
【符号の説明】
１ 画像処理装置、２ 撮影装置、 ３ 映像信号処理装置、 ４ 映像信号記録再生装置、 ５ 映像信号再生装置、 ６ クロマキー合成装置、 ７ 制御用コンピュータ
【発明の属する技術分野】
本発明は、ホログラフィックステレオグラムの作成等に使用される視差画像列を作成する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
視差情報を有する複数の画像からなる視差画像列は、例えば、立体的な画像を表示するホログラフィックステレオグラムの作成に使用される。ホログラフィックステレオグラムは、被写体を異なる視点から順次撮影することにより得られた多数の画像からなる視差画像列を原画として、これらを１枚のホログラム用記録媒体に短冊状又はドット状の要素ホログラムとして順次記録することにより作成される。
【０００３】
例えば、横方向のみに視差情報を持つホログラフィックステレオグラムを作成する際は、図８に示すように、先ず、被写体１００を横方向の異なる観察点から順次撮影することにより、横方向の視差情報を有する複数の画像からなる視差画像列１０１を得る。そして、この視差画像列１０１を構成する画像１０２を、必要に応じて所定の視点変換処理等を施した上で、短冊状の要素ホログラムとしてホログラム用記録媒体１０３に横方向に連続するように順次記録する。これにより、横方向に視差情報を持つホログラフィックステレオグラムが得られる。
【０００４】
このホログラフィックステレオグラムは、当該ホログラフィックステレオグラムをある位置から片方の目で見た場合、各要素ホログラムの一部分の画像情報の集合体である二次元画像が見え、目の位置を水平方向に動かせば、各要素ホログラムの別の部分の画像情報の集合体である二次元画像が見える。したがって、このホログラフィックステレオグラムを観察者が両目で見たときには、左右の目の位置が水平方向で若干異なるため、それぞれに写る二次元画像は若干異なるものとなる。これにより、観察者は視差を感じ、立体画像が認識される。なお、このようなホログラフィックステレオグラムに関しては、例えば特開平１０−２０７５６号などに記載されている。
【０００５】
このようなホログラフィックステレオグラムの原画像となる視差画像列を撮影する際は、撮影装置を動かしながら、異なる方向から被写体を順次撮影する。これにより、視差情報を有する複数の画像からなる視差画像列が得られる。具体的には例えば、撮影装置として、１秒あたり３０フレームの撮影を行うビデオカメラを使用し、当該ビデオカメラを一定の速度で動かしながら、連続して被写体を撮影する。このとき、例えば７．５秒にわたって被写体を撮影したとすると、２２５フレーム分の撮影がなされ、その結果、被写体に対する視点の異なる２２５枚の画像からなる視差画像列が得られる。
【０００６】
【発明が解決しようとする課題】
視差画像列は、異なる方向から被写体を順次撮影することにより得られるので、視差画像列の撮影には、ある程度の時間がかかる。被写体が静物であれば、視差画像列の撮影に要する時間が多少長くてもあまり問題はない。しかし、被写体が静物でない場合（例えば被写体が人物の場合など）には、撮影中に被写体が動いてしまう可能性があるため、視差画像列の撮影に要する時間を出来るだけ短くすることが望まれる。
【０００７】
しかし、単位時間あたりに撮影可能な枚数が決まっている場合に、視差画像列の撮影に要する時間を短くすると、視差画像列を構成する画像の枚数が少なくなってしまう。視差画像列を構成する画像の枚数が少なくなると、当該視差画像列をもとに得られる立体画像の画質が劣化してしまう。
【０００８】
すなわち、視差画像列の撮影に要する時間と、当該視差画像列をもとに得られる立体画像の画質とは、トレードオフの関係にあり、従来、視差画像列の撮影に要する時間を短縮しつつ、当該視差画像列をもとに得られる立体画像の画質を十分に維持することは難しかった。
【０００９】
本発明は、以上のような従来の実情に鑑みて提案されたものであり、視差画像列の撮影に要する時間を短縮しつつ、当該視差画像列をもとに得られる立体画像の画質を維持することを可能とする画像処理装置及び画像処理方法を提供すること目的とする。
【００１０】
【課題を解決するための手段】
本発明に係る画像処理装置は、視差情報を有する複数の画像からなる視差画像列を作成する画像処理装置において、動的被写体の視差画像列と背景の視差画像列とを撮影する撮影手段と、撮影手段により撮影された、背景の視差画像列とこの背景の視差画像列を構成する画像の枚数よりも少ない枚数からなる動的被写体の視差画像列との視差画像列を構成する画像の枚数を一致させる画像枚数調整手段と、画像枚数調整手段により画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を生成する画像合成手段とを備える。そして、画像枚数調整手段は、動的被写体の視差画像列を構成する画像の枚数を、動的被写体の視差画像列を構成する画像に基づく画像を追加して、背景の視差画像列を構成する画像の枚数に一致させることを特徴とする。
【００１１】
また、本発明に係る画像処理方法は、視差情報を有する複数の画像からなる視差画像列を作成する画像処理方法において、動的被写体の視差画像列と背景の視差画像列とを撮影する撮影工程と、撮影工程により撮影された、背景の視差画像列とこの背景の視差画像列を構成する画像の枚数より少ない枚数からなる動的被写体の視差画像列との視差画像列を構成する画像の枚数を一致させる画像枚数調整工程と、画像枚数調整工程により画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を生成する画像合成工程とを有する。そして、画像枚数調整工程は、動的被写体の視差画像列を構成する画像の枚数を、動的被写体の視差画像列を構成する画像に基づく画像を追加して、背景の視差画像列を構成する画像の枚数に一致させることを特徴とする。
【００１２】
一般に、視差画像列をもとに立体画像を再現する場合、再生像の画質を維持するのに必要な元画像枚数は、再生像の定位する位置によって異なる。例えば、視差画像列を構成する各画像をホログラム用記録媒体に要素ホログラムとして順次記録してホログラフィックステレオグラムを作成する場合、ホログラム記録媒体面よりも奥に再生像が定位する場合と、ホログラム記録媒体面上に再生像が定位する場合と、ホログラム記録媒体面よりも手前に再生像が定位する場合とで、同等の画質を維持するのに必要な元画像枚数は異なる。これは、再生像が定位する位置によって、各視点間での画像の相関性に差があるからである。
【００１３】
したがって、再生像の定位する位置によって、視差画像列の枚数を変えて被写体の撮影を行うようにすれば、再生像の定位する位置に合わせた最適な枚数の視差画像列の撮影が可能となる。換言すれば、必要以上の撮影を省くことが可能となり、視差画像列の撮影に要する時間を短縮することが出来る。しかしながら、このように得られた複数組の視差画像列のままでは、立体画像を再現することは出来ない。
【００１４】
そこで、本発明においては、先ず、撮影手段により撮影された背景の視差画像列と該背景の視差画像列を構成する画像の枚数よりも少ない枚数からなる動的被写体の視差画像列とについて、それらの視差画像列を構成する画像の枚数を一致させ、その後、画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を作成するようにしている。これにより、枚数の異なる動的被写体の視差画像列と背景の視差画像列とから、立体画像のもととなる一組の視差画像列を作成することが可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の説明では、ホログラフィックステレオグラム作成システムに本発明を適用した例に挙げるが、本発明に係る画像処理装置及び画像処理方法は、視差画像列が必要とされる分野において広く適用可能である。例えば、視差を利用して表示装置に立体的な画像を表示するようなときにも視差画像列は必要とされ、このような場合にも本発明に係る画像処理装置及び画像処理方法は適用可能である。
【００１６】
本発明を適用した画像処理装置の一構成例を図１に示す。この画像処理装置１は、人物等の被写体を撮影して視差画像列を得て、当該視差画像列に予め撮影された背景となる視差画像列を合成して、新たな視差画像列を作成するものであり、図１に示すように、撮影装置２と、映像信号処理装置３と、映像信号記録再生装置４と、映像信号再生装置５と、クロマキー合成装置６と、これらの装置全体の動作を制御する制御用コンピュータ７とを備える。
【００１７】
撮影装置２は、人物等の被写体を撮影するためのものであり、例えばＣＣＤカメラからなる。そして、視差画像列を撮影する際は、この撮影装置２を動かしながら、異なる方向から被写体を順次撮影する。そして、この撮影装置２によって撮影された視差画像列の映像信号は、映像信号処理装置３に送られる。
【００１８】
映像信号処理装置３は、撮影装置２によって被写体を撮影することによって得られた視差画像列の映像信号を所定の形式に変換するためのものであり、例えばＤ１デコーダからなる。撮影装置２からの映像信号は、この映像信号処理装置３によって所定の形式に変換された上で、映像信号記録再生装置４に送られる。
【００１９】
映像信号記録再生装置４は、記録媒体に映像信号を記録したり、或いは、記録媒体に記録された映像信号を再生するためのものである。ここで、記録媒体としては、例えば、光ディスク、磁気ディスク、磁気テープ又は半導体メモリ等が用いられる。そして、この映像信号記録再生装置４は、映像信号処理装置３によって所定の形式とされた映像信号を受け取り、当該映像信号を記録媒体に記録する。また、この映像信号記録再生装置４は、必要に応じて、制御用コンピュータ７からの指示により、記録媒体に記録された映像信号を読み出して再生する。映像信号記録再生装置４によって再生された映像信号は、例えばＮＴＳＣ信号として、クロマキー合成装置６に送られる。
【００２０】
また、この映像信号記録再生装置４は、記録媒体から映像信号を再生する際に、必要に応じて、制御用コンピュータ７からの指示により、同じフレームの映像信号を繰り返し出力する。換言すれば、この映像信号記録再生装置４は、必要に応じて、制御用コンピュータ７からの指示により、記録媒体から再生された映像信号のフレーム数よりも、出力する映像信号のフレーム数を多くする。
【００２１】
例えば、撮影装置２が１秒あたり３０フレームの撮影を行うものであり、当該撮影装置２を一定の速度で動かしながら、連続して３秒間だけ被写体を撮影したとする。このとき、記録媒体には、９０フレーム分の映像信号が記録される。そして、この映像信号を再生するときに、例えば２２５フレームとしたい場合、映像信号記録再生装置４は、各フレームを２又は３回ずつ繰り返して出力することで、全体として２２５フレーム分の映像信号を出力する。
【００２２】
映像信号再生装置５は、光ディスク、磁気ディスク、磁気テープ又は半導体メモリ等の記録媒体から映像信号を再生するためのものであり、必要に応じて、制御用コンピュータ７からの指示により、記録媒体に記録された映像信号を読み出して再生する。映像信号再生装置５によって再生された映像信号は、例えばＮＴＳＣ信号として、クロマキー合成装置６に送られる。
【００２３】
クロマキー合成装置６は、クロマキー合成を行うためのものであり、映像信号記録再生装置４から送られてきた映像信号と、映像信号再生装置５から送られてきた映像信号とを、制御用コンピュータ７からの指示に基づいてクロマキー合成して、新たな視差画像列の映像信号を生成する。そして、クロマキー合成装置６によるクロマキー合成により新たに生成された視差画像列の映像信号は、外部へと出力される。
【００２４】
つぎに、以上のような画像処理装置１による視差画像列の作成について、具体的な例を挙げて説明する。
【００２５】
なお、ここでは、ホログラム記録媒体面上に人物の再生像が定位し、ホログラム記録媒体面よりも奥に背景となる再生像が定位するようになされたホログラフィックステレオグラムのもととなる視差画像列の映像信号を作成するものとする。また、背景の視差画像列は予め撮影されており、その映像信号は、１秒間あたり３０フレームのビデオレートにて７．５秒間、すなわち２２５フレームの映像信号であるとする。
【００２６】
視差画像列は異なる視点から被写体を撮影することにより得られるが、ホログラム記録媒体面上に定位する被写体の場合、各視点間での画像の相関性が大きく、視点位置が変化しても、画像の変化は少ない。一方、ホログラム記録媒体面よりも奥に定位する被写体の場合、各視点間での画像の相関性が小さく、視点位置が変化すると、画像が大きく変化する。
【００２７】
したがって、ホログラム記録媒体面上に定位する被写体を撮影した視差画像列の枚数は、ホログラム記録媒体面よりも奥に定位する被写体を撮影した視差画像列の枚数よりも少なくても良い。換言すれば、ホログラム記録媒体面上に再生像が定位するようなされる被写体については視差画像列の枚数を少なくしても、ホログラム記録媒体面上に定位する再生像の画質と、ホログラム記録媒体面よりも奥に定位する再生像の画質とを、同レベルとすることができる。
【００２８】
そこで、本例では、ホログラム記録媒体面上に再生像が定位するようなされる被写体（すなわち人物）については、１秒間あたり３０フレームのビデオレートにて３秒間、すなわち９０フレーム分だけ撮影するものとする。
【００２９】
すなわち、先ず、図２のステップＳ１に示すように、ホログラム記録媒体面上に再生像が定位するようなされる被写体である人物について、撮影装置２により、１秒間あたり３０フレームのビデオレートにて３秒間、すなわち９０フレーム分だけ撮影する。この撮影は、後でクロマキー合成を行えるように、例えば青色の背景のもとで行うとともに、各フレーム撮影時の視点位置が異なるものとなるように、撮影装置２を一定の速度で動かしながら行う。これにより、視差情報を有する９０枚の画像からなる視差画像列が得られる。そして、この視差画像列の映像信号は、映像信号処理装置３によって所定の形式に変換された上で、ステップＳ２に示すように、映像信号記録再生装置４により記録媒体に記録される。
【００３０】
以上のように記録媒体に記録された映像信号は、その後、ステップＳ３に示すように、映像信号記録再生装置４により再生される。このとき、映像信号記録再生装置４は、人物を写した視差画像列の映像信号のフレーム数が、背景を写した視差画像列の映像信号のフレーム数と同じとなるように再生する。換言すれば、映像信号記録再生装置４は、人物を写した視差画像列を構成する画像の枚数が、背景を写した視差画像列を構成する画像の枚数に一致するようにする。
【００３１】
本例では、背景の撮影時間は、７．５秒間で、その総フレーム数は、２２５フレームである。そこで、映像信号記録再生装置４は、人物を撮影した視差画像列の映像信号を記録媒体から再生する際に、各フレームを２又は３回ずつ繰り返して出力することで、全体として２２５フレーム分の映像信号を出力する。また、映像信号記録再生装置４による映像信号の再生と同時に、ステップＳ４に示すように、映像信号再生装置５により、背景を撮影した視差画像列の映像信号を再生する。
【００３２】
そして、映像信号記録再生装置４によって再生された映像信号（すなわち人物を撮影した視差画像列の映像信号）と、映像信号再生装置５によって再生された映像信号（すなわち背景を撮影した視差画像列の映像信号）とは、クロマキー合成装置６に入力される。このとき、映像信号記録再生装置４は、人物を写した視差画像列の映像信号のフレーム数が、背景を写した視差画像列の映像信号のフレーム数と同じになるようにしている。したがって、クロマキー合成装置６には、映像信号記録再生装置４からの映像信号と、映像信号再生装置５からの映像信号とが、同じビデオレートにて、同じ時間分だけ、同じフレーム数として入力される。
【００３３】
そして、映像信号記録再生装置４からの映像信号と、映像信号再生装置５からの映像信号とを受け取ったクロマキー合成装置６は、ステップＳ５に示すように、それらの映像信号のクロマキー合成を行う。
【００３４】
このとき、映像信号記録再生装置４によって再生された映像信号のフレーム数（すなわち人物を撮影した視差画像列の枚数）と、映像信号再生装置５によって再生された映像信号のフレーム数（すなわち背景を撮影した視差画像列の枚数）とは同じになっており、クロマキー合成装置６は、それらの映像信号を入力されたフレーム順に順次クロマキー合成を行っていく。これにより、人物を撮影した視差画像列を構成する各画像と、背景を撮影した視差画像列を構成する各画像とがそれぞれクロマキー合成され、その結果、人物と背景とが映った新たな視差画像列が作成される。
【００３５】
そして、このように新たに作成された視差画像列の映像信号が、クロマキー合成装置６から出力される。なお、このように新たに作成された視差画像列の映像信号は、例えば、ホログラフィックステレオグラム作成システムに送られ、ホログラフィックステレオグラムの作成に用いられる。
【００３６】
以上のように、本発明を適用した画像処理装置１を用いれば、再生像の定位する位置に合わせて被写体毎に最適な枚数の視差画像列の撮影を行えばよくなる。具体的には、上記の例では、７．５秒間の背景画像に対して、人物の撮影を３秒間だけ行うようにしている。このように、本発明を適用した画像処理装置１では、必要以上の撮影を省くことができ、視差画像列の撮影に要する時間を短縮することが可能となる。
【００３７】
特に、本例のように、背景となるものの再生像をホログラム記録媒体面の奥に定位させ、人物の再生像をホログラム記録媒体面上に定位させるような場合に、本発明を適用した画像処理装置１は特に有効である。なぜなら、多くの場合、背景となる被写体は動きが無く、視差画像列の撮影に要する時間が多少長くてもあまり問題はないが、人物は撮影中に動いてしまう可能性があるため、視差画像列の撮影に要する時間を出来るだけ短くすることが望まれるからである。すなわち、本発明を適用した画像処理装置１を用いれば、人物を撮影した視差画像列の枚数を減らしても、ホログラム記録媒体面の奥に定位する背景の再生像の画質と、ホログラム記録媒体面上に定位する人物の再生像の画質とを同等に維持することができ、その結果、人物の撮影に要する時間を大幅に短縮することが可能となる。
【００３８】
なお、上記画像処理装置１において、映像信号記録再生装置４は、視差画像列の映像信号を記録媒体から再生する際に、各フレームを繰り返し出力することで、もとのフレーム数よりも多いフレーム数の映像信号を出力するようにしていた。すなわち、映像信号記録再生装置４は、画像枚数が少ない視差画像列に画像を追加することで、背景を撮影した視差画像列を構成する画像の枚数と、人物を撮影した視差画像列を構成する画像の枚数とを一致させるようにしていた。
【００３９】
しかし、映像信号記録再生装置４は、単にフレームを繰り返し出力することで視差画像列に画像を追加するのではなく、視差画像列を構成している画像から補間画像を作成し、当該補間画像を元の視差画像列に追加するようにしてもよい。すなわち、画像枚数が少ない視差画像列に対して、前後の画像から補間処理により新たに生成した補間画像を追加することで、各視差画像列を構成する画像の枚数を一致させるようにしても良い。このように、補間画像を元の視差画像列に追加するようにすれば、視差画像列を構成する画像の枚数を増やしても、視点の移動に伴って画像が連続的に滑らかに変化する視差画像列を得ることができる。
【００４０】
また、上記画像処理装置１では、視差画像列同士の合成を、色相をもとに画像を合成するクロマキー合成により行ったが、視差画像列同士の合成は、クロマキー合成以外の手法によって行うようにしても良く、例えば、輝度をもとに画像を合成するような手法なども適用可能である。
【００４１】
また、上記の例では、背景の視差画像列は予め撮影されているものとしたが、背景の視差画像列も撮影装置２で撮影するようにしても良いことは言うまでもない。更に、背景の視差画像列は、被写体を実際に撮影することにより得るのではなく、コンピュータグラフィックスにより作成するようにしても良い。
【００４２】
ところで、上記画像処理装置１では、撮影装置２を一定の速度で動かしながら被写体を連続的に撮影することにより、視差画像列を得たが、このような視差画像列の撮影方法には、具体的には、panning方式、rotating方式、re-centering方式等がある。
【００４３】
panning方式では、図３に示すように、常に被写体１０の中心を向くようにカメラ１１の方向を変化させながら、カメラ１１を直線上のレールに沿って平行に動かして、異なる位置から被写体１０を多数撮影する。すなわち、panning方式で視差画像列を撮影する際は、カメラ１１を被写体１０の中心に向けてパンさせながら、被写体１０に向けたカメラ１１を平行に動かし、この間において多数の画像を撮影する。
【００４４】
rotating方式では、図４に示すように、被写体１０の中心に向けたカメラ１１を円弧状に移動させて視差画像列を撮影する。rotating方式も、カメラ１１が常に被写体１０の中心を向くので、画像の有効解像度を高めることができる。
【００４５】
re-centering方式では、図５に示すように、カメラ１１を直線上のレールに沿って平行に移動させて、異なる位置から被写体１０を多数撮影するとともに、その撮影時に、被写体１０の像が画面の中心に常に位置するように、撮影する位置に合わせてカメラ１１のレンズ１２を移動させる。すなわち、re-centering方式では、カメラ１１のレンズ１２と撮像面１３の相対的位置関係を、カメラ本体の動きと合わせて変えることによって、被写体１０を常に撮像面１３の中心に投影して撮影を行う。
【００４６】
そして、本発明を適用した画像処理装置１で視差画像列を撮影する際は、これらいずれの方式を用いても良い。
【００４７】
ところで、以上のような画像処理装置１で新たに作成された視差画像列の映像信号は、上述したように、例えば、ホログラフィックステレオグラム作成システムに送られ、ホログラフィックステレオグラムの作成に用いられる。そこで、以下、ホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムについて、具体的な例を挙げて説明する。
【００４８】
なお、以下に説明するホログラフィックステレオグラム作成システムは、物体光と参照光との干渉縞が記録されたフィルム状のホログラム用記録媒体をそのままホログラフィックステレオグラムとして出力する。このように物体光と参照光との干渉縞がホログラム用記録媒体に直接記録されてなるホログラフィックステレオグラムは、一般に、ワンステップホログラフィックステレオグラムと称される。
【００４９】
このようにワンステップホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムの一構成例を図６に示す。
【００５０】
このホログラフィックステレオグラム作成システム２３は、ホログラフィックステレオグラム作成システム全体の制御を行う制御用コンピュータ２４と、ホログラフィックステレオグラム作成用の光学系を有するホログラフィックステレオグラムプリンタ２５と、ホログラフィックステレオグラム作成時に露光用画像の映像信号をホログラフィックステレオグラムプリンタ２５に供給する映像信号供給装置２６とを備える。
【００５１】
映像信号処理装置２６は、上記画像処理装置１から視差画像列の映像信号を受け取り、当該視差画像列に対して必要に応じて視点変換処理やキーストン歪み補正処理などを施して、映像信号を１フレーム毎にホログラフィックステレオグラムプリンタ２５に送る。また、映像信号処理装置２６は、ホログラフィックステレオグラムプリンタ２５に１フレーム分の映像信号を送る毎に、１フレーム分の映像信号を送ったことを示すタイミング信号を制御用コンピュータ２４に送出する。
【００５２】
制御用コンピュータ２４は、映像信号処理装置２６からのタイミング信号に基づいてホログラフィックステレオグラムプリンタ２５を駆動する。そして、ホログラフィックステレオグラムプリンタ２５は、制御用コンピュータ２４による制御に基づき、映像信号処理装置２６から供給された映像信号に基づく画像を、ホログラフィックステレオグラムプリンタ２５の内部にセットされたホログラム用記録媒体に、短冊状の要素ホログラムとして順次記録する。
【００５３】
このとき、制御用コンピュータ２４は、後述するように、ホログラフィックステレオグラムプリンタ２５に設けられた露光用シャッタ及び記録媒体送り機構等の制御を行う。すなわち、制御用コンピュータ２４は、ホログラフィックステレオグラムプリンタ２５に制御信号を送出して、露光用シャッタの開閉や、記録媒体送り機構によるホログラム用記録媒体の送り動作などを制御する。
【００５４】
上記ホログラフィックステレオグラムプリンタ２５について、図７を参照して更に詳細に説明する。なお、図７（Ａ）は、ホログラフィックステレオグラムプリンタ２５の全体の光学系を上から見た図であり、図７（Ｂ）は、ホログラフィックステレオグラムプリンタ２５の光学系の物体光用の部分を横から見た図である。
【００５５】
ホログラフィックステレオグラムプリンタ２５は、図７（Ａ）に示すように、所定の波長のレーザ光を出射するレーザ光源３１と、レーザ光源３１からのレーザ光Ｌ１の光軸上に配された露光用シャッタ３２及びハーフミラー３３とを備えている。
【００５６】
露光用シャッタ３２は、制御用コンピュータ２４によって制御され、ホログラム用記録媒体３０を露光しないときには閉じられ、ホログラム用記録媒体３０を露光するときに開かれる。また、ハーフミラー３３は、露光用シャッタ３２を通過してきたレーザ光Ｌ２を、参照光と物体光とに分離するためのものであり、ハーフミラー３３によって反射された光Ｌ３が参照光となり、ハーフミラー３３を透過した光Ｌ４が物体光となる。
【００５７】
ハーフミラー３３によって反射された光Ｌ３の光軸上には、参照光用の光学系として、シリンドリカルレンズ３４と、参照光を平行光とするためのコリメータレンズ３５と、コリメータレンズ３５によって平行光とされた光を反射する全反射ミラー３６とがこの順に配置されている。
【００５８】
そして、ハーフミラー３３によって反射された光は、先ず、シリンドリカルレンズ３４によって発散光とされ、次に、コリメータレンズ３５によって平行光とされる。その後、全反射ミラー３６によって反射され、ホログラム用記録媒体３０に入射する。
【００５９】
一方、ハーフミラー３３を透過した光Ｌ４の光軸上には、図７（Ａ）及び図７（Ｂ）に示すように、物体光用の光学系として、ハーフミラー３３からの透過光を反射する全反射ミラー３８と、凸レンズとピンホールを組み合わせたスペーシャルフィルタ３９と、物体光を平行とするためのコリメータレンズ４０と、記録対象の画像を表示する表示装置４１と、物体光をホログラム用記録媒体３０上に集光させるシリンドリカルレンズ４２とがこの順に配置されている。
【００６０】
そして、ハーフミラー３３を透過した光Ｌ４は、全反射ミラー３８によって反射された後、スペーシャルフィルタ３９によって点光源からの拡散光とされ、次に、コリメータレンズ４０によって平行光とされ、その後、表示装置４１に入射する。ここで、表示装置４１は、例えば液晶パネルからなる透過型の画像表示装置であり、映像信号処理装置２６から供給された映像信号に基づく画像を表示する。そして、表示装置４１を透過した光は、表示装置４１に表示された画像に応じて変調された後、シリンドリカルレンズ４２に入射する。
【００６１】
そして、表示装置４１を透過した光は、シリンドリカルレンズ４２により、所定の集光角θeにて集束され、この集束光が物体光としてホログラム用記録媒体３０に入射する。すなわち、このホログラフィックステレオグラムプリンタ２５では、表示装置４１からの投影光が短冊状の物体光としてホログラム用記録媒体３０に入射する。
【００６２】
ここで、参照光及び物体光は、参照光がホログラム用記録媒体３０の一方の面に入射し、物体光がホログラム用記録媒体３０の他方の面に入射するようにする。すなわち、ホログラム用記録媒体３０の一方の面に、参照光を所定の入射角度にて入射させるとともに、ホログラム用記録媒体３０の他方の面に、物体光をホログラム用記録媒体３０に対して光軸がほぼ垂直となるように入射させる。これにより、参照光と物体光とがホログラム用記録媒体３０上において干渉し、当該干渉によって生じる干渉縞が、ホログラム用記録媒体３０に屈折率の変化として記録される。
【００６３】
また、このホログラフィックステレオグラムプリンタ２５は、制御用コンピュータ２４の制御のもとに、ホログラム用記録媒体３０を間欠送りし得る記録媒体送り機構４３を備えている。この記録媒体送り機構４３は、記録媒体送り機構４３に所定の状態でセットされたホログラム用記録媒体３０に対して、映像信号処理装置２６から供給された映像信号に基づく１つの画像が１つの要素ホログラムとして記録される毎に、制御用コンピュータ２４からの制御信号に基づいて、ホログラム用記録媒体３０を１要素ホログラム分だけ間欠送りする。これにより、映像信号処理装置２６から供給された映像信号に基づく画像が、要素ホログラムとして、ホログラム用記録媒体３０に横方向に連続するように順次記録される。
【００６４】
なお、上記ホログラフィックステレオグラムプリンタ２５において、ハーフミラー３３によって反射されホログラム用記録媒体３０に入射する参照光の光路長と、ハーフミラー３３を透過し表示装置４１を介してホログラム用記録媒体３０に入射する物体光の光路長とは、ほぼ同じ長さとすることが好ましい。これにより、参照光と物体光との干渉性が高まり、ホログラフィックステレオグラムの画質が向上する。
【００６５】
また、上記ホログラフィックステレオグラムプリンタ２５において、ホログラフィックステレオグラムの画質を向上させるために、物体光の光路上に拡散板を配してもよい。物体光の光路上に拡散板を配することにより、物体光に含まれるノイズ成分が分散され、また、ホログラム用記録媒体３０に入射する物体光の光強度分布がより均一になり、作成されるホログラフィックステレオグラムの画質が向上する。
【００６６】
ただし、このように拡散板を配するときは、拡散板とホログラム用記録媒体３０の間に、要素ホログラムの形状に対応した短冊状の開口部が形成されたマスクを配することが好ましい。このようにマスクを配することにより、拡散板によって拡散された物体光のうち、余分な部分がマスクによって遮られることとなり、より高画質なホログラフィックステレオグラムを作成することが可能となる。
【００６７】
また、上記ホログラフィックステレオグラムプリンタ２５では、ホログラフィックステレオグラムに縦方向の視野角を持たせるために、物体光の光路上に、物体光を縦方向に拡散させる一次元拡散板を配してもよい。物体光の光路上に一次元拡散板を配することにより、物体光が縦方向（要素ホログラムの長軸方向）に拡散され、これにより、作成されるホログラフィックステレオグラムは縦方向の視野角を有することとなる。
【００６８】
ただし、このように一次元拡散板を配するときは、ホログラム用記録媒体３０と一次元拡散板の間に、微細な簾状の格子を有するルーバーフィルムを配することが好ましい。このようにルーバーフィルムを配することにより、ホログラム用記録媒体３０を透過した参照光が一次元拡散板によって反射されて、再びホログラム用記録媒体３０に入射するのを防ぐことができる。
【００６９】
つぎに、上記ホログラフィックステレオグラム作成システム２３の動作について説明する。
【００７０】
ホログラフィックステレオグラムを作成する際、映像信号処理装置２６は、ホログラフィックステレオグラムプリンタ２５の表示装置４１に映像信号を送出し、当該映像信号に基づく露光用画像を表示装置４１に表示させる。このとき、映像信号処理装置２６は、映像信号をホログラフィックステレオグラムプリンタ２５の表示装置４１に送出したことを示すタイミング信号を、制御用コンピュータ２４に送出する。
【００７１】
そして、上記タイミング信号を受け取った制御用コンピュータ２４は、露光用シャッタ３２に制御信号を送出し、所定時間だけ露光用シャッタ３２を開放させる。これにより、ホログラム用記録媒体３０が露光される。
【００７２】
このとき、レーザ光源３１から出射され露光用シャッタ３２を透過したレーザ光Ｌ２のうち、ハーフミラー３３によって反射された光Ｌ３が、参照光としてホログラム用記録媒体３０に入射する。また、ハーフミラー３３を透過した光Ｌ４が、表示装置４１に表示された画像が投影された投影光となり、当該投影光が物体光としてホログラム用記録媒体３０に入射する。これにより、表示装置４１に表示された露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして記録される。
【００７３】
そして、ホログラム用記録媒体３０への１画像の記録が終了すると、次いで、制御用コンピュータ２４は、記録媒体送り機構４３に制御信号を送出し、ホログラム用記録媒体３０を１要素ホログラム分だけ送らせる。
【００７４】
以上の動作を、表示装置４１に表示させる露光用画像を視差画像列順に順次変えて繰り返す。これにより、映像信号処理装置２６から供給された映像信号に基づく露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして順次記録される。
【００７５】
なお、このように要素ホログラムを順次記録する際、記録媒体送り機構４３でホログラム用記録媒体を送ったときに、ホログラム用記録媒体３０が若干振動する場合がある。このような場合は、ホログラム用記録媒体３０を送る毎に振動が収まるのを待ち、振動が収まった後に要素ホログラムを記録するようにする。
【００７６】
以上のように、このホログラフィックステレオグラム作成システム２３では、映像信号処理装置２６からホログラフィックステレオグラムプリンタ２５に映像信号を順次供給し、それらの映像信号に基づく露光用画像を表示装置４１に順次表示し、各画像毎に露光用シャッタ３２を開放し、各画像をそれぞれ短冊状の要素ホログラムとしてホログラム用記録媒体３０に順次記録する。このとき、ホログラム用記録媒体３０は、１画像毎に１要素ホログラム分だけ送られるので、各要素ホログラムは、横方向に連続して並ぶこととなる。これにより、横方向の視差情報を含む複数の画像からなる視差画像列が、横方向に連続した複数の要素ホログラムとしてホログラム用記録媒体３０に記録され、横方向の視差を有するホログラフィックステレオグラムが得られる。
【００７７】
なお、以上の説明では、本発明を適用した画像処理装置１と、ホログラフィックステレオグラム作成システム２３とがそれぞれ独立しているものとして説明したが、これらは一体とされていても良い。これらを一体とする場合には、上記画像処理装置１の制御用コンピュータ７が、上記ホログラフィックステレオグラム作成システム２３の制御コンピュータ２４を兼ねるようにしても良いし、また、上記画像処理装置１のクロマキー合成装置６と、上記ホログラフィックステレオグラム作成システム２３の映像信号処理装置２６とを、一つの映像処理装置としてまとめてしまっても良い。
【００７８】
【発明の効果】
以上詳細に説明したように、本発明では、複数組の視差画像列について、それらの視差画像列を構成する画像の枚数を一致させ、その後、画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を作成するようにしている。また、この複数組の視差画像列は、背景の視差画像列とこの背景の視差画像列を構成する画像の枚数よりも少ない枚数からなる動的被写体の視差画像列であり、動的被写体の視差画像列を構成する画像の枚数を背景の視差画像列を構成する画像の枚数に一致させるようにしている。これにより、枚数の異なる複数組の視差画像列から、立体画像のもととなる一組の視差画像列を作成することが可能となっている。
【００７９】
すなわち、本発明によれば、視差画像列の枚数を変えて被写体の撮影を行うようなことが可能であり、被写体に合わせて最適な枚数の視差画像列を撮影するようにすることができる。すなわち、本発明によれば、必要以上の撮影を省くことが可能となり、視差画像列の撮影に要する時間を短縮することが出来る。換言すれば、本発明によれば、視差画像列の撮影に要する時間を短縮しつつ、当該視差画像列をもとに得られる立体画像の画質を維持することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一構成例を示すブロック図である。
【図２】上記画像処理装置で新たな視差画像列の映像信号を作成するときの処理の流れを示す図である。
【図３】 panning方式による視差画像列の撮影方法を示す図である。
【図４】 rotating方式による視差画像列の撮影方法を示す図である。
【図５】 re-centering方式による視差画像列の撮影方法を示す図である。
【図６】ホログラフィックステレオグラム作成システムの一構成例を示すブロック図である。
【図７】ホログラフィックステレオグラムプリンタの光学系の一構成例を示す図である。
【図８】ホログラフィックステレオグラムの作成方法を模式的に示す図である。
【符号の説明】
１ 画像処理装置、２ 撮影装置、 ３ 映像信号処理装置、 ４ 映像信号記録再生装置、 ５ 映像信号再生装置、 ６ クロマキー合成装置、 ７ 制御用コンピュータ
Claims (8)
- 視差情報を有する複数の画像からなる視差画像列を作成する画像処理装置において、
動的被写体の視差画像列と背景の視差画像列とを撮影する撮影手段と、
上記撮影手段により撮影された、上記背景の視差画像列と該背景の視差画像列を構成する画像の枚数よりも少ない枚数からなる動的被写体の視差画像列との視差画像列を構成する画像の枚数を一致させる画像枚数調整手段と、
上記画像枚数調整手段により上記画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を生成する画像合成手段とを備え、
上記画像枚数調整手段は、上記動的被写体の視差画像列を構成する画像の枚数を、該動的被写体の視差画像列を構成する画像に基づく画像を追加して、上記背景の視差画像列を構成する画像の枚数に一致させることを特徴とする画像処理装置。 - 上記画像枚数調整手段は、上記動的被写体の視差画像列を構成する画像から追加画像を生成し、該追加画像を該動的被写体の視差画像列に追加することを特徴とする請求項１記載の画像処理装置。
- 上記画像枚数調整手段は、上記動的被写体の視差画像列を構成する画像から補間画像を生成し、該補間画像を該動的被写体の視差画像列に追加することを特徴とする請求項１記載の画像処理装置。
- 上記画像合成手段は、クロマキー合成により、上記画像枚数調整手段により画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を生成することを特徴とする請求項１記載の画像処理装置。
- 視差情報を有する複数の画像からなる視差画像列を作成する画像処理方法において、
動的被写体の視差画像列と背景の視差画像列とを撮影する撮影工程と、
上記撮影工程により撮影された、上記背景の視差画像列と該背景の視差画像列を構成する画像の枚数より少ない枚数からなる動的被写体の視差画像列との視差画像列を構成する画像の枚数を一致させる画像枚数調整工程と、
上記画像枚数調整工程により上記画像の枚数が一致させられた視差画像列同士を合成して、新たな視差画像列を生成する画像合成工程とを有し、
上記画像枚数調整工程は、上記動的被写体の視差画像列を構成する画像の枚数を、該動的被写体の視差画像列を構成する画像に基づく画像を追加して、上記背景の視差画像列を構成する画像の枚数に一致させることを特徴とする画像処理方法。 - 上記画像枚数調整工程は、上記動的被写体の視差画像列を構成する画像から追加画像を生成し、該追加画像を該動的被写体の視差画像列に追加することを特徴とする請求項５記載の画像処理方法。
- 上記画像枚数調整工程は、上記動的被写体の視差画像列を構成する画像から補間画像を生成し、該補間画像を該動的被写体の視差画像列に追加することを特徴とする請求項５記載の画像処理方法。
- 上記画像合成工程は、クロマキー合成により行うことを特徴とする請求項５記載の画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24640898A JP4075151B2 (ja) | 1998-08-31 | 1998-08-31 | 画像処理装置及び画像処理方法 |
| US09/386,195 US6614467B1 (en) | 1998-08-31 | 1999-08-30 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24640898A JP4075151B2 (ja) | 1998-08-31 | 1998-08-31 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000078613A JP2000078613A (ja) | 2000-03-14 |
| JP4075151B2 true JP4075151B2 (ja) | 2008-04-16 |
Family
ID=17148059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24640898A Expired - Fee Related JP4075151B2 (ja) | 1998-08-31 | 1998-08-31 | 画像処理装置及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6614467B1 (ja) |
| JP (1) | JP4075151B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4937390B2 (ja) * | 2010-08-24 | 2012-05-23 | 株式会社東芝 | 立体映像表示装置及び立体映像用眼鏡 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59182688A (ja) * | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
| JP2869072B2 (ja) * | 1988-08-30 | 1999-03-10 | 大日本印刷株式会社 | ホログラフィックステレオグラムの作製方法 |
| US6392689B1 (en) * | 1991-02-21 | 2002-05-21 | Eugene Dolgoff | System for displaying moving images pseudostereoscopically |
| JP2882082B2 (ja) * | 1991-03-28 | 1999-04-12 | 凸版印刷株式会社 | ホログラフィック・ステレオグラムおよびその作成方法 |
| JP2746790B2 (ja) * | 1992-03-02 | 1998-05-06 | 富士写真フイルム株式会社 | 立体画像記録方法および立体画像記録装置 |
| JP2842735B2 (ja) * | 1992-07-20 | 1999-01-06 | 沖電気工業株式会社 | 複数視点３次元画像入力装置、画像合成装置、及びその画像出力装置 |
| JP2941139B2 (ja) * | 1993-03-11 | 1999-08-25 | 凸版印刷株式会社 | 視差画像作成方法および装置 |
| JPH0749944A (ja) * | 1993-08-04 | 1995-02-21 | Canon Inc | 画像処理方法およびその装置 |
| JPH07311857A (ja) * | 1994-05-16 | 1995-11-28 | Fujitsu Ltd | 画像合成表示装置およびシミュレーションシステム |
| JP3539002B2 (ja) * | 1995-10-06 | 2004-06-14 | 凸版印刷株式会社 | ステレオグラム |
| JP3328478B2 (ja) * | 1995-10-18 | 2002-09-24 | 日本電信電話株式会社 | カメラシステム |
| JP3704875B2 (ja) * | 1996-06-21 | 2005-10-12 | ソニー株式会社 | 画像記録方法及び装置 |
| US6108440A (en) * | 1996-06-28 | 2000-08-22 | Sony Corporation | Image data converting method |
| JPH1078742A (ja) * | 1996-09-04 | 1998-03-24 | Sony Corp | 視差画像列の生成方法 |
| US6123733A (en) * | 1996-11-27 | 2000-09-26 | Voxel, Inc. | Method and apparatus for rapidly evaluating digital data processing parameters |
| JP3709659B2 (ja) * | 1997-06-11 | 2005-10-26 | ソニー株式会社 | 画像記録装置及び画像記録方法 |
-
1998
- 1998-08-31 JP JP24640898A patent/JP4075151B2/ja not_active Expired - Fee Related
-
1999
- 1999-08-30 US US09/386,195 patent/US6614467B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6614467B1 (en) | 2003-09-02 |
| JP2000078613A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20080204549A1 (en) | Apparatus And Method For Photographing Three-Dimensional Image, Apparatus And Method For Displaying Three-Dimensional Image, And Apparatus And Method For Converting Three-Dimensional Image Display Position | |
| JP3744559B2 (ja) | 立体カメラ、立体ディスプレイ、及び、立体映像システム | |
| JP4066488B2 (ja) | 画像データ生成装置及び画像データ生成方法 | |
| KR100855287B1 (ko) | 화상 재생 장치 및 화상 재생 방법 | |
| JPH09113846A (ja) | 立体画像表示装置及びその方法 | |
| JP2001142380A (ja) | ホログラム作成装置及び方法、並びにホログラム | |
| US6747770B2 (en) | Holographic stereogram exposure apparatus, method thereof, and holographic stereogram generation system | |
| US6694882B2 (en) | Holographic stereogram printing apparatus and a method therefor | |
| US6870651B2 (en) | Apparatus and method for generating a dynamic image | |
| US6781619B1 (en) | Parallax image string pickup apparatus | |
| JP4534337B2 (ja) | 撮影装置及び撮影方法、並びに、画像生成装置及び画像生成方法 | |
| JP4075151B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3596174B2 (ja) | 画像データ生成方法 | |
| JP4288722B2 (ja) | 画像データ作成装置及び作成方法、画像データ変換装置及び変換方法、ホログラフィックステレオグラム作成装置及び作成方法、記録媒体並びにデータ伝送方法 | |
| JPH09138631A (ja) | 動画ホログラフィ再生装置 | |
| JPH1078742A (ja) | 視差画像列の生成方法 | |
| JP3583611B2 (ja) | ３次元動画像表示装置およびそのための光変調パターンデータの作成方法 | |
| JP2884646B2 (ja) | ホログラフィック・ステレオグラムの作製方法 | |
| JPH1020755A (ja) | 画像データ変換方法 | |
| JP2001142383A (ja) | 画像記録装置及び方法 | |
| JPS62291288A (ja) | 立体映像装置 | |
| JPH0556458A (ja) | 動画立体像表示装置 | |
| JPH0651686A (ja) | ホログラフィック・ステレオグラム | |
| JPH0844279A (ja) | ホログラフィ映像再生装置および表示装置 | |
| JPH01252988A (ja) | 画像情報再生装置及び画像情報記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |