JPH11215520A - 画像データ生成装置及び画像データ生成方法 - Google Patents

画像データ生成装置及び画像データ生成方法

Info

Publication number
JPH11215520A
JPH11215520A JP10010767A JP1076798A JPH11215520A JP H11215520 A JPH11215520 A JP H11215520A JP 10010767 A JP10010767 A JP 10010767A JP 1076798 A JP1076798 A JP 1076798A JP H11215520 A JPH11215520 A JP H11215520A
Authority
JP
Japan
Prior art keywords
image
image sequence
data
parallax
parallax image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10010767A
Other languages
English (en)
Other versions
JP4066488B2 (ja
Inventor
Shigeyuki Baba
茂幸 馬場
Akira Shirokura
明 白倉
Nobuhiro Kihara
信宏 木原
Osamu Akimoto
修 秋元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP01076798A priority Critical patent/JP4066488B2/ja
Priority to EP99300448A priority patent/EP0932088A3/en
Priority to US09/234,943 priority patent/US6369831B1/en
Priority to KR1019990001931A priority patent/KR100610518B1/ko
Publication of JPH11215520A publication Critical patent/JPH11215520A/ja
Application granted granted Critical
Publication of JP4066488B2 publication Critical patent/JP4066488B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268Holographic stereogram
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0402Recording geometries or arrangements
    • G03H1/0408Total internal reflection [TIR] holograms, e.g. edge lit or substrate mode holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0402Recording geometries or arrangements
    • G03H2001/0415Recording geometries or arrangements for recording reflection holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833Look up table
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2252Location of the holobject
    • G03H2001/2257Straddling the hologram
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268Holographic stereogram
    • G03H2001/2685One step recording process
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/42Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/44Digital representation
    • G03H2210/441Numerical processing applied to the object data other than numerical propagation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45Representation of the decomposed object
    • G03H2210/454Representation of the decomposed object into planes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00Optical components
    • G03H2223/12Amplitude mask, e.g. diaphragm, Louver filter
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2250/00Laminate comprising a hologram layer
    • G03H2250/14Forming layer onto which a surface relief hologram is formed
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2270/00Substrate bearing the hologram
    • G03H2270/20Shape
    • G03H2270/23Ribbon shaped, e.g. holographic foil
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B7/00Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
    • G11B7/004Recording, reproducing or erasing methods; Read, write or erase circuits therefor
    • G11B7/0065Recording, reproducing or erasing by using optical interference patterns, e.g. holograms

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 視差情報を含む複数の画像からなる視差画像
列のデータに対して視点変換処理を行い新たな視差画像
列のデータを生成するにあたって、新たな視差画像列の
データを速やかに生成することが可能な画像データ生成
装置及び画像データ生成方法を提供する。 【解決手段】 元の視差画像列を構成する各画像の画素
と、新たな視差画像列を構成する各画像の画素との対応
関係を示すルックアップテーブルを予め作成して、当該
ルックアップテーブルをルックアップテーブル用メモリ
72に格納しておく。そして、当該ルックアップテーブ
ルに基づいて画素の入れ替えを行うことにより視点変換
処理を行い、元の視差画像列のデータから新たな視差画
像列のデータを生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、視差情報を含む複
数の画像からなる視差画像列のデータに対して視点変換
処理を施して新たな視差画像列のデータを生成する画像
データ生成装置及び画像データ生成方法に関する。
【0002】
【従来の技術】ホログラフィックステレオグラムは、被
写体を異なる観察点から順次撮影することにより得られ
た多数の画像を原画として、これらを1枚のホログラム
用記録媒体に短冊状又はドット状の要素ホログラムとし
て順次記録することにより作成される。
【0003】例えば、横方向のみに視差情報を持つホロ
グラフィックステレオグラムを作成する際は、図15に
示すように、先ず、被写体100を横方向の異なる観察
点から順次撮影することにより、横方向の視差情報を有
する複数の画像からなる視差画像列101を得る。そし
て、この視差画像列101を構成する各画像102を、
短冊状の要素ホログラムとしてホログラム用記録媒体1
03に横方向に連続するように順次記録する。これによ
り、横方向に視差情報を持つホログラフィックステレオ
グラムが得られる。
【0004】このホログラフィックステレオグラムで
は、横方向の異なる観察点から順次撮影することにより
得られた複数の画像102の情報が、短冊状の要素ホロ
グラムとして横方向に連続するように順次記録されてい
るので、このホログラフィックステレオグラムを観察者
が両目で見たとき、その左右の目にそれぞれ写る2次元
画像は異なるものとなる。これにより、観察者は視差を
感じることとなり、3次元画像が再生されることとな
る。
【0005】なお、ホログラフィックステレオグラムの
元となる視差画像列は、例えば、図16に示すように、
被写体100に向けたカメラ104をその方向を一定に
保持したまま平行に動かして、異なる位置から被写体1
00を多数撮影することによって得られる。すなわち、
被写体100がカメラ104による撮影範囲に入る位置
から、被写体100がカメラ104による撮影範囲から
外れる位置に至るまで、被写体100に向けたカメラ1
04を平行に動かし、この間において多数の画像を撮影
することにより、ホログラフィックステレオグラムの元
となる画像である視差画像列が得られる。なお、このよ
うにカメラ104の方向を一定に保持したままカメラ1
04を平行に動かして、異なる位置から被写体100を
多数撮影する方式は、straight track方式と称される。
【0006】ところで、ホログラフィックステレオグラ
ムにおいて、撮影時におけるカメラ104の視点と被写
体100との位置関係は、作成されたホログラフィック
ステレオグラムの再生像に対しても保持される。したが
って、上述のように撮影された視差画像列をそのまま用
いてホログラフィックステレオグラムを作成すると、図
17に示すように、再生像Zがホログラフィックステレ
オグラムHのホログラム面Haよりも奥に結像してしま
う。そのため、このようなホログラフィックステレオグ
ラムHでは、再生像Zと観察者の視点Sとの距離d
0が、撮影時における被写体100とカメラ104の視
点との距離dに一致するように、視点Sをホログラム面
Haにおいて再生像Zを見ない限り、再生像Zに歪みや
ぼけが生じてしまう。
【0007】そこで、ホログラフィックステレオグラム
を作成する際には、このような問題を解決するために、
元の視差画像列のデータに対して視点変換処理を施し
て、図18に示すように、再生像Zがホログラフィック
ステレオグラムHのホログラム面Haの近傍に結像する
ようにする必要がある。このような視点変換処理を施す
ことにより、ホログラム面Haから離れた位置に視点S
をおいても、歪みやぼけの少ない再生像Zが得られるよ
うになる。
【0008】
【発明が解決しようとする課題】ホログラフィックステ
レオグラムを作成する際は、上述のように視点変換処理
を施す必要があるが、視点変換処理には煩雑な演算処理
を必要とする。そのため、従来、ホログラフィックステ
レオグラムの作成には、かなり長い時間を必要としてい
た。すなわち、従来は、元となる視差画像列のデータに
対して視点変換処理を施して新たな視差画像列のデータ
を作成するのに非常に長い時間がかかっており、このた
め、ホログラフィックステレオグラムを速やかに作成す
ることができなかった。
【0009】しかしながら、ホログラフィックステレオ
グラム作成システムを、3次元画像が得られるハードコ
ピーを出力するプリンタ装置として実用化するには、ホ
ログラフィックステレオグラムの元となる画像の入力か
ら、ホログラフィックステレオグラムが完成するまでの
時間を短縮する必要があり、そのため、上記視点変換処
理を速やかに行えるようにすることが強く望まれてい
る。
【0010】なお、視点変換処理の高速化が望まれるの
は、ホログラフィックステレオグラムを作成する場合だ
けではない。例えば、視点変換処理は、視差を利用して
表示装置に立体的な画像を表示するようなときに行われ
る場合もあり、このような場合にも、視点変換処理を速
やかに行えるようになされていることが望ましいことは
言うまでもない。
【0011】本発明は、以上のような従来の実情に鑑み
て提案されたものであり、視差情報を含む複数の画像か
らなる視差画像列のデータに対して視点変換処理を行い
新たな視差画像列のデータを生成するにあたって、新た
な視差画像列のデータを速やかに生成することが可能な
画像データ生成装置及び画像データ生成方法を提供する
ことを目的としている。
【0012】
【課題を解決するための手段】本発明に係る画像データ
生成装置は、視差情報を含む複数の画像からなる視差画
像列のデータに対して視点変換処理を行い新たな視差画
像列のデータを生成する画像データ生成装置であって、
元の視差画像列を構成する各画像の画素と、新たな視差
画像列を構成する各画像の画素との対応関係を示すルッ
クアップテーブルが格納されるルックアップテーブル格
納手段を備えている。そして、上記ルックアップテーブ
ル格納手段に格納されたルックアップテーブルに基づい
て画素の入れ替えを行うことにより視点変換処理を行
い、元の視差画像列のデータから新たな視差画像列のデ
ータを生成する。
【0013】一般に、視点変換処理において、視点変換
処理におけるパラメータが一定ならば、元の視差画像列
を構成する各画像の画素と、新たな視差画像列を構成す
る各画像の画素との対応関係は、常に一定である。した
がって、画素の対応関係が予め分かっていれば、煩雑な
演算処理を行うことなく、上記対応関係に基づいて画素
の入れ替えを行うだけで視点変換処理を行うことができ
る。
【0014】そして、上記画像データ生成装置では、元
の視差画像列を構成する各画像の画素と、新たな視差画
像列を構成する各画像の画素との対応関係を示すルック
アップテーブルを予めルックアップテーブル格納手段に
格納しておき、当該ルックアップテーブルに基づいて画
素の入れ替えを行うことにより視点変換処理を行うよう
にしているので、煩雑な演算処理を行うことなく、視点
変換処理を速やかに行うことが可能となっている。
【0015】なお、上記画像データ生成装置は、視差画
像列のデータが格納される画像データ格納手段を備えて
いることが好ましい。この場合は、新たな視差画像列の
データを生成する際に、元の視差画像列を構成する各画
像のデータを上記画像データ格納手段に順次格納してい
き、元の視差画像列の全データを上記画像データ格納手
段に格納した上で視点変換処理を行うようにする。これ
により、画像データ生成装置への視差画像列の入力を、
当該視差画像列を構成する各画像を撮影する毎にリアル
タイムで行うことが可能となる。
【0016】また、上記画像データ生成装置は、元の視
差画像列を構成する各画像の画素と、新たな視差画像列
を構成する各画像の画素との対応関係を求めて上記ルッ
クアップテーブルを生成するルックアップテーブル生成
手段を備えていることが好ましい。これにより、元の視
差画像列を構成する各画像の画素と、新たな視差画像列
を構成する各画像の画素との対応関係が予め分かってい
ない場合にも、ルックアップテーブルを生成した上で視
点変換処理を行うことが可能となる。
【0017】また、上記画像データ生成装置において、
上記ルックアップテーブル格納手段は、データの書き換
えが可能とされており、所望する視点変換処理に応じて
ルックアップテーブルの内容を書き換えるようになされ
ていることが好ましい。これにより、パラメータの異な
る様々な視点変換処理に対応することが可能となる。
【0018】また、上記画像データ生成装置において、
視差画像列が一方向の視差のみを有する場合、上記ルッ
クアップテーブルには、元の視差画像列を構成する各画
像の画素と、新たな視差画像列を構成する各画像の画素
との対応関係を、一列に並んだ複数の画素からなる画素
列を最小単位として記録しておき、上記視点変換処理を
行う際に、上記画素列を最小単位として画素の入れ替え
を行うことが好ましい。これにより、視点変換処理をよ
り効率良く行うことができる。
【0019】なお、画素列を最小単位として画素の入れ
替えを行う場合、当該画素列は、例えば、画像を表示装
置に表示する際の走査線に対応させる。このとき、元の
視差画像列が走査線方向にのみ視差を有する場合には、
当該視差画像列を構成する各画像を90度回転変換した
上で、視点変換処理を行うようにする。
【0020】また、上記画像データ生成装置において、
元の視差画像列にキーストン歪みが生じているような場
合、上記ルックアップテーブルには、元の視差画像列を
構成する各画像の画素と、新たな視差画像列を構成する
各画像の画素との対応関係のほかに、キーストン歪みを
補正するための補正パラメータも含めておき、視点変換
処理を行う際に、ルックアップテーブルに基づいて画素
の入れ替えを行うとともに、上記補正パラメータに基づ
いてキーストン歪みの補正を行うようにすることが好ま
しい。これにより、キーストン歪みが補正された視差画
像列のデータを得ることができる。
【0021】なお、以上のような画像データ生成装置で
新たに生成する視差画像列のデータは、例えば、ホログ
ラフィックステレオグラムに記録される視差画像列のデ
ータであり、この場合、当該視差画像列を構成する各画
像が、ホログラフィックステレオグラムを構成する要素
ホログラムとしてそれぞれ記録される。
【0022】そして、この画像データ生成装置で新たに
生成する視差画像列のデータが、ホログラフィックステ
レオグラムに記録される視差画像列のデータの場合に
は、各要素ホログラムを記録するタイミングに同期させ
て、視点変換処理が施された視差画像列のデータを、当
該視差画像列を構成する各画像毎に順次出力するように
することが好ましい。これにより、ホログラフィックス
テレオグラムを速やかに作成することが可能となる。
【0023】一方、本発明に係る画像データ生成方法
は、視差情報を含む複数の画像からなる視差画像列のデ
ータに対して視点変換処理を行い新たな視差画像列のデ
ータを生成する際に、元の視差画像列を構成する各画像
の画素と、新たな視差画像列を構成する各画像の画素と
の対応関係を示すルックアップテーブルを予め作成して
おき、上記ルックアップテーブルに基づいて画素の入れ
替えを行うことにより視点変換処理を行い、元の視差画
像列のデータから新たな視差画像列のデータを生成する
ことを特徴としている。
【0024】この画像データ生成方法では、ルックアッ
プテーブルに基づいて画素の入れ替えを行うことにより
視点変換処理を行うようにしているので、煩雑な演算処
理を行うことなく、視点変換処理を速やかに行うことが
可能となっている。
【0025】なお、上記画像データ生成方法では、新た
な視差画像列のデータを生成する際に、元の視差画像列
を構成する各画像のデータを画像データ格納手段に順次
格納していき、元の視差画像列の全データを画像データ
格納手段に格納した上で上記視点変換処理を行うことが
好ましい。これにより、元となる視差画像列を、当該視
差画像列を構成する各画像を撮影する毎に、データ格納
手段にリアルタイムで入力することが可能となる。
【0026】また、上記画像データ生成方法では、ルッ
クアップテーブルを書き換え可能な記憶装置に記憶させ
ておくようにし、所望する視点変換処理に応じて、視点
変換処理を行う前にルックアップテーブルの内容を書き
換えるようにすることが好ましい。これにより、パラメ
ータの異なる様々な視点変換処理に対応することが可能
となる。
【0027】また、上記画像データ生成方法において、
視差画像列が一方向の視差のみを有する場合、上記ルッ
クアップテーブルには、元の視差画像列を構成する各画
像の画素と、新たな視差画像列を構成する各画像の画素
との対応関係を、一列に並んだ複数の画素からなる画素
列を最小単位として記録しておき、上記視点変換処理を
行う際に、上記画素列を最小単位として画素の入れ替え
を行うことが好ましい。これにより、視点変換処理をよ
り効率良く行うことができる。
【0028】なお、画素列を最小単位として画素の入れ
替えを行う場合、当該画素列は、例えば、画像を表示装
置に表示する際の走査線に対応させる。このとき、元の
視差画像列が走査線方向にのみ視差を有する場合には、
当該視差画像列を構成する各画像を90度回転変換した
上で、上記視点変換処理を行うようにする。
【0029】また、上記画像データ生成方法において、
元の視差画像列にキーストン歪みが生じているような場
合、上記ルックアップテーブルには、元の視差画像列を
構成する各画像の画素と、新たな視差画像列を構成する
各画像の画素との対応関係のほかに、キーストン歪みを
補正するための補正パラメータも含めておき、視点変換
処理を行う際に、ルックアップテーブルに基づいて画素
の入れ替えを行うとともに、上記補正パラメータに基づ
いてキーストン歪みの補正を行うようにすることが好ま
しい。これにより、キーストン歪みが補正された視差画
像列のデータを得ることができる。
【0030】なお、以上のような画像データ生成方法で
新たに生成する視差画像列のデータは、例えば、ホログ
ラフィックステレオグラムに記録される視差画像列のデ
ータであり、この場合、当該視差画像列を構成する各画
像が、ホログラフィックステレオグラムを構成する要素
ホログラムとしてそれぞれ記録される。
【0031】そして、この画像データ生成方法で新たに
生成される視差画像列のデータが、ホログラフィックス
テレオグラムに記録される視差画像列のデータの場合に
は、各要素ホログラムを記録するタイミングに同期させ
て、視点変換処理が施された視差画像列のデータを、当
該視差画像列を構成する各画像毎に順次出力するように
することが好ましい。これにより、ホログラフィックス
テレオグラムを速やかに作成することが可能となる。
【0032】
【発明の実施の形態】以下、本発明の実施の形態につい
て、ホログラフィックステレオグラム作成システムを例
に挙げて、図面を参照しながら詳細に説明する。
【0033】なお、以下の説明では、ホログラフィック
ステレオグラムを作成するホログラフィックステレオグ
ラム作成システムを例に挙げるが、本発明は、視点変換
処理が必要とされる分野に広く適用可能である。すなわ
ち、例えば、視差を利用して表示装置に立体的な画像を
表示するようなときに視点変換処理が行われる場合もあ
り、このような場合にも本発明は適用可能である。
【0034】まず、ホログラフィックステレオグラム作
成システムの全体構成について説明する。なお、以下に
説明するホログラフィックステレオグラム作成システム
は、物体光と参照光との干渉縞が記録されたフィルム状
のホログラム用記録媒体をそのままホログラフィックス
テレオグラムとして出力する。このように物体光と参照
光との干渉縞がホログラム用記録媒体に直接記録されて
なるホログラフィックステレオグラムは、一般に、ワン
ステップホログラフィックステレオグラムと称される。
すなわち、以下に説明するホログラフィックステレオグ
ラム作成システムは、ワンステップホログラフィックス
テレオグラムを作成するシステムの一例である。
【0035】そして、このホログラフィックステレオグ
ラム作成システムは、図1に示すように、ホログラフィ
ックステレオグラムに記録する画像の画像データを生成
する画像データ生成装置1と、このシステム全体の制御
を行う制御用コンピュータ2と、ホログラフィックステ
レオグラム作成用の光学系を有するホログラフィックス
テレオグラムプリンタ装置3とを備えている。
【0036】上記画像データ生成装置1は、本発明を適
用して、ホログラフィックステレオグラムに記録される
複数の要素ホログラムに対応した複数の画像の画像デー
タ(すなわち視差画像列のデータ)を生成する。なお、
この画像データ生成装置1による画像データの生成につ
いては、後で詳細に説明する。
【0037】そして、画像データ生成装置1は、ホログ
ラム用記録媒体に画像を記録する際に、生成した画像デ
ータD1をホログラム用記録媒体に記録する順に1画像
分毎にホログラフィックステレオグラムプリンタ装置3
に送出するとともに、ホログラフィックステレオグラム
プリンタ装置3に1画像分の画像データD1を送出する
毎に、画像データD1を送出したことを示すタイミング
信号を制御用コンピュータ2に送出する。
【0038】制御用コンピュータ2は、画像データ生成
装置1からのタイミング信号に基づいてホログラフィッ
クステレオグラムプリンタ装置3を駆動し、画像データ
生成装置1で生成された画像データD1に基づく画像
を、ホログラフィックステレオグラムプリンタ装置3の
内部にセットされたホログラム用記録媒体に、短冊状の
要素ホログラムとして順次記録する。
【0039】このとき、制御用コンピュータ2は、後述
するように、ホログラフィックステレオグラムプリンタ
装置3に設けられた露光用シャッタ及び記録媒体送り機
構等の制御を行う。すなわち、制御用コンピュータ2
は、ホログラフィックステレオグラムプリンタ装置3に
制御信号を送出して、露光用シャッタの開閉や、記録媒
体送り機構によるホログラム用記録媒体の送り動作など
を制御する。
【0040】上記ホログラフィックステレオグラムプリ
ンタ装置3について、図2を参照して詳細に説明する。
なお、図2(A)は、ホログラフィックステレオグラム
プリンタ装置全体の光学系を上から見た図であり、図2
(B)は、ホログラフィックステレオグラムプリンタ装
置3の光学系の物体光用の部分を横から見た図である。
【0041】ホログラフィックステレオグラムプリンタ
装置3は、図2(A)に示すように、所定の波長のレー
ザ光を出射するレーザ光源31と、レーザ光源31から
のレーザ光L1の光軸上に配された露光用シャッタ32
及びハーフミラー33とを備えている。
【0042】露光用シャッタ32は、制御用コンピュー
タ2によって制御され、ホログラム用記録媒体30を露
光しないときには閉じられ、ホログラム用記録媒体30
を露光するときに開かれる。また、ハーフミラー33
は、露光用シャッタ32を通過してきたレーザ光L2
を、参照光と物体光とに分離するためのものであり、ハ
ーフミラー33によって反射された光L3が参照光とな
り、ハーフミラー33を透過した光L4が物体光とな
る。
【0043】ハーフミラー33によって反射された光L
3の光軸上には、参照光用の光学系として、シリンドリ
カルレンズ34と、参照光を平行光とするためのコリメ
ータレンズ35と、コリメータレンズ35によって平行
光とされた光を反射する全反射ミラー36とがこの順に
配置されている。
【0044】そして、ハーフミラー33によって反射さ
れた光は、先ず、シリンドリカルレンズ34によって発
散光とされ、次に、コリメータレンズ35によって平行
光とされる。その後、全反射ミラー36によって反射さ
れ、ホログラム用記録媒体30に入射する。
【0045】一方、ハーフミラー33を透過した光L4
の光軸上には、図2(A)及び図2(B)に示すよう
に、物体光用の光学系として、ハーフミラー33からの
透過光を反射する全反射ミラー38と、凸レンズとピン
ホールを組み合わせたスペーシャルフィルタ39と、物
体光を平行とするためのコリメータレンズ40と、記録
対象の画像を表示する表示装置41と、物体光をホログ
ラム用記録媒体30上に集光させるシリンドリカルレン
ズ42とがこの順に配置されている。
【0046】そして、ハーフミラー33を透過した光L
4は、全反射ミラー38によって反射された後、スペー
シャルフィルタ39によって点光源からの拡散光とさ
れ、次に、コリメータレンズ40によって平行光とさ
れ、その後、表示装置41に入射する。ここで、表示装
置41は、例えば液晶パネルからなる透過型の画像表示
装置であり、画像データ生成装置1から送られた画像デ
ータD1に基づく画像を表示する。そして、表示装置4
1を透過した光は、表示装置41に表示された画像に応
じて変調された後、シリンドリカルレンズ42に入射す
る。
【0047】そして、表示装置41を透過した光は、シ
リンドリカルレンズ42により横方向に集束され、この
集束光が物体光としてホログラム用記録媒体30に入射
する。すなわち、このホログラフィックステレオグラム
プリンタ装置3では、表示装置41からの投影光が短冊
状の物体光としてホログラム用記録媒体30に入射す
る。
【0048】ここで、参照光及び物体光は、参照光がホ
ログラム用記録媒体30の一方の主面に入射し、物体光
がホログラム用記録媒体30の他方の主面に入射するよ
うにする。すなわち、ホログラム用記録媒体30の一方
の主面に、参照光を所定の入射角度にて入射させるとと
もに、ホログラム用記録媒体30の他方の主面に、物体
光をホログラム用記録媒体30に対して光軸がほぼ垂直
となるように入射させる。これにより、参照光と物体光
とがホログラム用記録媒体30上において干渉し、当該
干渉によって生じる干渉縞が、ホログラム用記録媒体3
0に屈折率の変化として記録される。
【0049】また、このホログラフィックステレオグラ
ムプリンタ装置3は、制御用コンピュータ2の制御のも
とに、ホログラム用記録媒体30を間欠送りし得る記録
媒体送り機構43を備えている。この記録媒体送り機構
43は、記録媒体送り機構43に所定の状態でセットさ
れたホログラム用記録媒体30に対して、画像データ生
成装置1で生成された画像データD1に基づく1つの画
像が1つの要素ホログラムとして記録される毎に、制御
用コンピュータ2からの制御信号に基づいて、ホログラ
ム用記録媒体を1要素ホログラム分だけ間欠送りする。
これにより、画像データ生成装置1で生成された画像デ
ータD1に基づく画像が、要素ホログラムとして、ホロ
グラム用記録媒体30に横方向に連続するように順次記
録される。
【0050】なお、上記ホログラフィックステレオグラ
ムプリンタ装置3において、ハーフミラー33によって
反射されホログラム用記録媒体30に入射する参照光の
光路長と、ハーフミラー33を透過し表示装置41を介
してホログラム用記録媒体30に入射する物体光の光路
長とは、ほぼ同じ長さとすることが好ましい。これによ
り、参照光と物体光との干渉性が高まり、ホログラフィ
ックステレオグラムの画質が向上する。
【0051】また、上記ホログラフィックステレオグラ
ムプリンタ装置3において、ホログラフィックステレオ
グラムの画質を向上させるために、物体光の光路上に拡
散板を配してもよい。物体光の光路上に拡散板を配する
ことにより、物体光に含まれるノイズ成分が分散され、
また、ホログラム用記録媒体に入射する物体光の光強度
分布がより均一になり、作成されるホログラフィックス
テレオグラムの画質が向上する。
【0052】ただし、このように拡散板を配するとき
は、拡散板とホログラム用記録媒体30の間に、要素ホ
ログラムの形状に対応した短冊状の開口部が形成された
マスクを配することが好ましい。このようにマスクを配
することにより、拡散板によって拡散された物体光のう
ち、余分な部分がマスクによって遮られることとなり、
より高画質なホログラフィックステレオグラムを作成す
ることが可能となる。
【0053】また、上記ホログラフィックステレオグラ
ムプリンタ装置3では、ホログラフィックステレオグラ
ムに縦方向の視野角を持たせるために、物体光の光路上
に、物体光を縦方向に拡散させる1次元拡散板を配して
もよい。物体光の光路上に1次元拡散板を配することに
より、物体光が縦方向、すなわち作成される要素ホログ
ラムの長軸方向に拡散され、これにより、作成されるホ
ログラフィックステレオグラムは縦方向の視野角を有す
ることとなる。
【0054】ただし、このように1次元拡散板を配する
ときは、ホログラム用記録媒体30と1次元拡散板の間
に、微細な簾状の格子を有するルーバーフィルムを配す
ることが好ましい。このようにルーバーフィルムを配す
ることにより、ホログラム用記録媒体30を透過した参
照光が1次元拡散板によって反射されて、再びホログラ
ム用記録媒体30に入射するのを防ぐことができる。
【0055】つぎに、上記ホログラフィックステレオグ
ラム作成システムの動作について説明する。
【0056】ホログラフィックステレオグラムを作成す
る際、画像データ生成装置1は、ホログラフィックステ
レオグラムプリンタ装置3の表示装置41に画像データ
D1を送出し、当該画像データD1に基づく露光用画像
を表示装置41に表示させる。このとき、画像データ生
成装置1は、画像データD1をホログラフィックステレ
オグラムプリンタ装置3の表示装置41に送出したこと
を示すタイミング信号を、制御用コンピュータ2に送出
する。
【0057】そして、上記タイミング信号を受け取った
制御用コンピュータ2は、露光用シャッタ32に制御信
号を送出し、所定時間だけ露光用シャッタ32を開放さ
せる。これにより、ホログラム用記録媒体30が露光さ
れる。
【0058】このとき、レーザ光源31から出射され露
光用シャッタ32を透過したレーザ光L2のうち、ハー
フミラー33によって反射された光L3が、参照光とし
てホログラム用記録媒体30に入射する。また、ハーフ
ミラー33を透過した光L4が、表示装置41に表示さ
れた画像が投影された投影光となり、当該投影光が物体
光としてホログラム用記録媒体30に入射する。これに
より、表示装置41に表示された露光用画像が、ホログ
ラム用記録媒体30に短冊状の要素ホログラムとして記
録される。
【0059】そして、ホログラム用記録媒体30への1
画像の記録が終了すると、次いで、制御用コンピュータ
2は、記録媒体送り機構43に制御信号を送出し、ホロ
グラム用記録媒体30を1要素ホログラム分だけ送らせ
る。
【0060】以上の動作を、表示装置41に表示させる
露光用画像を視差画像列順に順次変えて繰り返す。これ
により、画像データ生成装置1によって生成された画像
データに基づく露光用画像が、ホログラム用記録媒体3
0に短冊状の要素ホログラムとして順次記録される。
【0061】なお、このように要素ホログラムを順次記
録する際、記録媒体送り機構43でホログラム用記録媒
体を送ったときに、ホログラム用記録媒体30が若干振
動する場合がある。このような場合は、ホログラム用記
録媒体30を送る毎に振動がおさまるの待ち、振動がお
さまった後に要素ホログラムを記録するようにする。
【0062】以上のように、このホログラフィックステ
レオグラム作成システムでは、画像データ生成装置1に
よって生成された画像データに基づく複数の露光用画像
が表示装置41に順次表示されるとともに、各画像毎に
露光用シャッタ32が開放され、各画像がそれぞれ短冊
状の要素ホログラムとしてホログラム用記録媒体30に
順次記録される。このとき、ホログラム用記録媒体30
は、1画像毎に1要素ホログラム分だけ送られるので、
各要素ホログラムは、横方向に連続して並ぶこととな
る。これにより、横方向の視差情報を含む複数の画像か
らなる視差画像列が、横方向に連続した複数の要素ホロ
グラムとしてホログラム用記録媒体30に記録され、横
方向の視差を有するホログラフィックステレオグラムが
得られる。
【0063】つぎに、以上のようなホログラフィックス
テレオグラム作成システムで使用される画像データ生成
装置1について詳細に説明する。
【0064】上記画像データ生成装置1は、ホログラフ
ィックステレオグラムの元となる複数の画像である視差
画像列を撮影するための撮影装置を備えている。
【0065】撮影装置によって視差画像を撮影する方法
には様々な方法があるが、例えば、図3に示すように、
被写体50を固定しておき、当該被写体50を撮影する
カメラ51を平行に移動させて、異なる位置から被写体
50を多数撮影するようにする。すなわち、1枚の画像
を撮影する毎に、図3中矢印A1で示すように、カメラ
51を平行に所定ピッチだけ一定方向に移動させる。こ
れにより、横方向の視差を有する視差画像列が得られ
る。
【0066】なお、視差画像列の撮影には、図16に示
したようなstraight Track方式を採用しても良いが、本
例では、図3に示すように、被写体50の像が画面の中
心に常に位置するように、撮影する位置に合わせてカメ
ラ51のレンズ52を移動させて撮影するものとする。
このように被写体50の像が画面の中心に常に位置する
ように撮影する方式は、re-centering方式と称される。
【0067】そして、実際に視差画像列を生成する際
は、1枚の画像を撮影する毎に、カメラ51を所定ピッ
チずつ移動させることによって、被写体50に対するカ
メラ51の視点を連続的に変えて、例えば500〜10
00枚程度の画像を撮影する。これにより、横方向の視
差を有する多数の画像からなる視差画像列が得られる。
【0068】なお、上述の方法は実写による視差画像列
の生成法であるが、ホログラフィックステレオグラムの
作成に使用する視差画像列は、コンピュータグラフィッ
クスを用いて生成することもできる。この場合は、例え
ば、コンピュータグラフィックス空間内において仮想的
に被写体とカメラを配置し、当該カメラを図3に示した
例と同様に平行に移動させて、異なる位置から見た被写
体の画像を多数撮影するようにする。換言すれば、カメ
ラの視点を所定のピッチにて移動させていき、それらの
視点から見た被写体の画像をそれぞれレンダリングし
て、視点の異なる複数の画像のデータを生成する。この
ようにしても、実写によって生成した視差画像列と同様
な視差画像列を得ることができる。
【0069】ところで、図3のように撮影した視差画像
列をそのまま用いて作成したホログラフィックステレオ
グラムでは、撮影時におけるカメラ51の視点と被写体
50との位置関係が、作成されたホログラフィックステ
レオグラムの再生像に対しても保持される。したがっ
て、上述のように撮影された視差画像列をそのまま用い
てホログラフィックステレオグラムを作成すると、図1
7に示したように、再生像Zがホログラフィックステレ
オグラムHのホログラム面Haよりも、視差画像列撮影
時の撮影距離の分だけ奥に結像してしまう。そのため、
このようなホログラフィックステレオグラムHでは、再
生像Zと観察者の視点Sとの距離d0が撮影時における
被写体50からカメラ51までの距離に一致するよう
に、視点Sをホログラム面Haにおいて再生像Zを見な
い限り、再生像Zに歪みやぼけが生じてしまう。
【0070】特に白色光によって再生される白色再生ホ
ログラフィックステレオグラムでは、再生像Zの結像位
置がホログラム面Haから遠ざかるほど、再生像Zがぼ
ける性質があるため、上述のように再生像Zがホログラ
ム面Haよりも奥に結像してしまうと、再生像Zがひど
くぼけたものとなってしまう。
【0071】そこで、画像データ処理装置1は、上述の
ように得られた視差画像列に対して視点変換処理を施し
て、図18に示したように、再生像Zがホログラム面H
aの近傍に結像するようにする。すなわち、再生像Zが
ホログラフィックステレオグラムHのホログラム面Ha
の近傍に定位するように、画像データ処理装置1によっ
て視差画像列に対して視点変換処理を施し、当該視点変
換処理が施された視差画像列を用いてホログラフィック
ステレオグラムを作成するようにする。
【0072】このような視点変換処理を施すことによ
り、図18に示したように、再生像Zがホログラム面H
aの近傍に定位するようになり、ホログラム面Haから
離れた位置に視点Sをおいても、歪みやぼけの少ない明
瞭な再生像が得られるようになる。
【0073】以下、このような視点変換処理の具体例に
ついて、図4及び図5を参照して詳細に説明する。な
お、図4及び図5は、re-centering方式によって撮影さ
れたm枚の画像からなる視差画像列(以下、元視差画像
列と称する。)に対して視点変換処理を施して、n枚の
画像からなる新たな視差画像列(以下、露光用視差画像
列と称する。)を再構成する原理を説明するための図で
ある。
【0074】ここで、露光用視差画像列は、ホログラフ
ィックステレオグラムの作成に使用される視差画像列で
ある。すなわち、ホログラフィックステレオグラム作成
システムは、視点変換処理が施されてなる露光用視差画
像列の各画像を、上述したように表示装置41に順次表
示させていき、ホログラフィックステレオグラムを作成
する。
【0075】なお、ここでは、上述したre-centering方
式によって撮影された視差画像列(すなわち元視差画像
列)に対して視点変換処理を施して、新たな視差画像列
(すなわち露光用視差画像列)を作成する例を挙げる
が、本発明において、視点変換処理の手法は、以下の例
に限定されるものではなく、視点変換処理の対象となる
視差画像列に応じて、適切な手法を適宜適用可能である
ことは言うまでもない。
【0076】図4において、g11,g12, ,g1mは、元視
差画像列を構成する各画像を表しており、これらの画像
g11,g12, ,g1mからなる元視差画像列のことをGDと
して示している。また、g21,g22, ,g2nは、露光用視
差画像列を構成する各画像を表しており、これらの画像
g21,g22, ,g2nからなる露光用視差画像列のことをG
Eとして示している。
【0077】そして、図4は、視差方向の長さがLeの
ホログラフィックステレオグラムHの各露光点ep1,ep2,
,epnと、露光用視差画像列GEを構成する各画像g2
1,g22, ,g2nと、元視差画像列GDを構成する各画像g
11,g12, ,g1mとの位置関係を示している。ここで、ホ
ログラフィックステレオグラムHの各露光点ep1,ep2,,e
pnには、露光用視差画像列GEを構成する各画像g21,g2
2, ,g2nがそれぞれ要素ホログラムとして記録される
こととなる。
【0078】なお、図4では、説明の便宣上、露光点と
してep1,ep2,epnの3点のみを示しているが、当然の事
ながら、このホログラフィックステレオグラムHにはn
個の露光点が存在しており、露光用視差画像列GEを構
成するn枚の画像g21,g22,,g2nが、それぞれ異なる露光
点において要素ホログラムとして記録される。
【0079】ここで、露光点の数は、露光用視差画像列
GEを構成する画像の数nに相当する。そして、この露
光点の数は、ホログラフィックステレオグラムHの横サ
イズLeと、露光点のピッチΔLeとに依存しており、
これらの関係は、下記式(1)で表される。
【0080】Le=n×ΔLe ・・・(1) すなわち、例えば、ホログラフィックステレオグラムH
の横サイズLeを10cmとし、露光ピッチを0.2m
mの等ピッチとした場合、露光点の数は500箇所とな
る。
【0081】なお、露光点のピッチΔLeは、換言すれ
ば要素ホログラムのピッチのことであり、これは、ホロ
グラフィックステレオグラムHの解像度を規定するパラ
メータの一つとなる。すなわち、露光点のピッチΔLe
が小さいほど、高解像度のホログラフィックステレオグ
ラムが得られる。
【0082】また、図4において、ΔLcは、元視差画
像列GDの撮影時における各画像撮影毎のカメラ51の
移動量(以下、カメラ移動ピッチと称する。)を示して
いる。また、Lcは、元視差画像列GDの撮影時におけ
るカメラ51の移動量の合計(以下、撮影幅と称す
る。)を示している。また、dfは、元視差画像列GD
の撮影時におけるカメラ51と被写体50との間の距離
(以下、撮影距離と称する。)を示している。また、d
vは、ホログラフィックステレオグラムHの観察者の視
点Sとホログラム面Haとの間の距離(以下、視点距離
と称する。)を示している。
【0083】なお、露光点のピッチΔLeと、カメラ移
動ピッチΔLcとは、等しくなるようにしてもよいが、
必ずしも等しくなるようにする必要はない。一方、視点
距離dvと撮影距離dfは、等しくしておく。
【0084】そして、ホログラフィックステレオグラム
Hの各露光点には、露光用視差画像列GEを構成する画
像g21,g22, ,g2nが、所定の露光角度θeをもってそれ
ぞれ露光される。
【0085】ここで、元視差画像列GDを構成する各画
像g11,g12, ,g1m、並びに露光用視差画像列GEを構
成する各画像g21,g22, ,g2nの解像度は、縦方向に6
40[pixel]であり、横方向(視差方向)に480[pixe
l]であるとする。なお、ここでは、これらの画像が、6
40[pixel]×480[pixel]の解像度を持つ場合を例に
挙げるが、本発明において、これらの画像を構成する画
素の数は任意であり、本例に限定されるものではない。
【0086】そして、視点変換処理では、元視差画像列
GDを構成する各画像g11,g12, ,g1mから、視点位置
を変換した複数の画像を再構成し、露光用視差画像列G
Eを生成する。具体的には、元視差画像列GDを構成す
る各画像g11,g12, ,g1mの画素と、露光用視差画像列
GEを構成する各画像g21,g22, ,g2nの画素との対応
関係を予め求めておき、この対応関係を示すルックアッ
プテーブルを作成しておく。そして、このルックアップ
テーブルに基づいて画素の入れ替えを行うことにより視
点変換処理を行い、元視差画像列GDの各画像g11,g12,
,g1mから、露光用視差画像列GEの各画像g21,g22,
,g2nを再構成する。
【0087】ここで、画素の入れ替えは、縦640[pix
el],横1[pixel]のスリット状の画素列を最小単位とし
て行う。すなわち、視点変換処理では、元視差画像列G
Dを構成する各画像g11,g12, ,g1mから、画素列単位
で必要な画素を抽出して、新たな画像g21,g22, ,g2n
を再構成する。このように、複数の画素をまとめて扱っ
て画素の入れ替えを行うことで、各画素を個別に取り扱
うよりも、視点変換処理に要する処理を大幅に削減する
ことができる。しかも、縦640[pixel],横1[pixel]
のスリット状の画素列は、視差情報の最小単位であるの
で、このように画素列単位で画素の入れ替えを行うよう
にしても、視差情報が失われるようなことはない。
【0088】このような視点変換処理について、図5を
参照してさらに詳しく説明する。図5は、露光用視差画
像列GEを構成する画像のうちの一つである画像g21を
取り出し、当該画像g21を元視差画像列GDから再構成
する様子を示している。
【0089】画像g21の再構成を行う際は、図5に示す
ように、まず、画像g21がホログラフィックステレオグ
ラムHから視点距離dvだけ離れた平面DV上にあると
仮定する。ここで、画像g21は、当該画像g21に対応する
露光点ep1に対して所定の画角θeを持つ。
【0090】また、元視差画像列GDを構成する各画像
g11,g12, ,g1mが、画像g21から撮影距離dfだけ離れ
た平面DD上にあると仮定する。ここで、元視差画像列
GDを構成する各画像g11,g12, ,g1mは、被写体50
の撮影時の視点位置に対応するように、平面DD上に配
する。
【0091】そして、画像g21に対応する露光点ep1と、
画像g21上のサンプリング点mp11,mp12, ,mp1kとをそ
れぞれ結ぶ直線L1,L2, ,Lk(以下、マッピングライン
L1,L2, ,Lkと称する。)を考える。ここで、これらの
サンプリング点mp11,mp12,,mp1kは、画像g21を構成する
画素列にそれぞれ相当しており、画像g21におけるサン
プリング点の数kは、画像g21の横方向(すなわち視差
方向)の画素数に相当する。したがって、例えば、画像
g21が縦640[pixel],横480[pixel]からなる場
合、k=480である。
【0092】そして、上記マッピングラインL1,L2, ,
Lkに基づいて、元視差画像列GDを構成する画像g11,g1
2, ,g1mの中から、各サンプリング点毎にそれらのサ
ンプリング点mp11,mp12, ,mp1kにおける視点に最も近
い視点をもつ画像を選択し、更に選択された画像の中か
ら最も近い視点をもつ画素列を選択する。
【0093】例えば、サンプリング点mp11について考え
ると、先ず、元視差画像列GDを構成する画像g11,g12,
,g1mの中から、サンプリング点mp11における視点に
最も近い視点をもつ画像g11を選択する。次に、露光点e
p1とサンプリング点mp11を結ぶマッピングラインL1を平
面DDにまで延長し、画像g11のサンプリング点op11,op
12, ,op1jの中から、上記マッピングラインL1と平面
DDとが交わる点に最も近いサンプリング点op1jを選択
する。そして、このように選択されたサンプリング点op
j1に位置する画素列を画像g11から抽出し、当該画素列
を画像g21のサンプリング点mp11にマッピングする。
【0094】なお、図5の例では、元視差画像列GDを
構成する各画像g11,g12, ,g1mには、それぞれj個の
サンプリング点が存在するものとしている。すなわち、
例えば、元視差画像列GDを構成する画像g11には、サ
ンプリング点op11,op12, ,op1jが存在し、画像g12に
は、サンプリング点op21,op22, ,op2jが存在し、その
他の画像についても、同様にj個のサンプリング点が存
在する。そして、これらのサンプリング点は、各画像g1
1,g12, ,g1mの画素列にそれぞれ相当しており、各画
像におけるサンプリング点の数jは、各画像の横方向
(すなわち視差方向)の画素数に相当している。したが
って、例えば、各画像g11,g12, ,g1mが縦640[pixe
l],横480[pixel]からなる場合、j=480であ
る。
【0095】そして、以上のようなマッピング処理を、
画像g21の他のサンプリング点mp12,,mp1kについても同
様に行うことにより、1枚の新たな画像g21が再構成さ
れる。そして、更に同様な処理を他の露光点ep2,op3,
,epnについても行うことで、それぞれの露光点に対応
した画像g22,g23, ,g2nを再構成する。これにより、
視点変換処理が施され再構成されてなる視差画像列、す
なわち露光用視差画像列GEが得られる。
【0096】そして、このようにして得られた露光用視
差画像列GEを構成する各画像g21,g22, ,g2nを、上
述したように、表示装置41に順次に表示して、ホログ
ラム用記録媒体30にスリット状の要素ホログラムとし
てそれぞれ記録することにより、ホログラフィックステ
レオグラムが作成される。
【0097】このようにして作成されたホログラフィッ
クステレオグラムは、視点変換処理により視点位置がホ
ログラム面上から観察者側に視点距離dvだけ移動し、
それに伴って、再生像も視点距離dvの分だけ観察者側
に移動してホログラム面上付近に定位する。したがっ
て、このホログラフィックステレオグラムでは、歪みや
ぼけの少ない再生像を得ることができる。
【0098】ところで、以上のような視点変換処理は、
元視差画像列GDを撮影する際のパラメータ(撮影距離
等)や、作成するホログラフィックステレオグラムのパ
ラメータ(露光ピッチ等)が一定であれば、元視差画像
列GDにかかわらず、常に同じように画素の入れ替えを
行うことで実現される。
【0099】したがって、元視差画像列GDを構成する
各画像の画素と、露光用視差画像列GEを構成する各画
像の画素との対応関係を予め計算しておき、それらの対
応関係をルックアップテーブルとして保存しておけば、
視点変換処理を行う毎に煩雑な計算を行うことなく、単
にルックアップテーブルに基づいて画素の入れ替えを行
うだけで、視点変換処理を行うことができる。
【0100】特に、水平視差のみを持つ視差画像列に対
する視点変換処理では、画素列毎の対応関係をルックア
ップテーブルに保存しておけばよく、この場合は、当該
ルックアップテーブルに基づいて画素列単位での入れ替
えを行うだけで、露光用視差画像列GEを得ることがで
きる。
【0101】そこで、本発明を適用したホログラフィッ
クステレオグラム作成システムでは、画像データ生成装
置1にルックアップテーブル格納手段を設け、当該ルッ
クアップテーブル格納手段にルックアップテーブルを格
納しておき、当該ルックアップテーブルを参照して視点
変換処理を行うようにしている。
【0102】以下、このような視点変換処理を行う画像
データ生成装置1の詳細な構成を含めて、ホログラフィ
ックステレオグラム作成システムについて、更に詳細に
説明する。
【0103】ホログラフィックステレオグラム作成シス
テムは、図1に示したように、画像データ生成装置1
と、制御用コンピュータ2と、ホログラフィックステレ
オグラムプリンタ装置3とを備えており、これらの内部
は、図6に示すような構成とされている。
【0104】図6に示すように、画像データ生成装置1
は、視差画像列を撮影するための視差画像列撮影システ
ム61と、視差画像列撮影システム61によって撮影さ
れた視差画像列に対して視点変換処理を施す画像データ
処理部62とを備えている。
【0105】そして、視差画像列撮影システム61は、
上述したように移動操作されて視差画像列を撮影するカ
メラ51と、カメラ51を制御するカメラコントローラ
63とを備えている。ここで、カメラ51は、例えば、
感光部に電荷結合素子(CCD:Charge Coupled Devic
e)を用いたスチルカメラやビデオカメラ等が好適であ
る。一方、画像データ処理部62は、D1デコーダ64
と、視点変換処理を行う処理装置が組み込まれた画像処
理ボード65とを備えている。
【0106】この画像データ生成装置1において、視差
画像列撮影システム61は、制御用コンピュータ2から
の制御信号に基づいて、カメラコントローラ63によっ
てカメラ51を制御して、図3に示したように視差画像
列を撮影し、当該視差画像列を構成する各画像の信号を
画像データ処理部62のD1デコーダ64へ送出する。
すなわち、視差画像列撮影システム61は、カメラコン
トローラ63による制御により、カメラ51を移動させ
ながら当該カメラ51によって多数の画像を撮影するこ
とにより、視差画像列(すなわち元視差画像列GD)の
撮影を行う。
【0107】そして、この視差画像列撮影システム61
は、カメラ51によって画像を撮影する毎に、当該画像
の信号をカメラ51から画像データ処理部62のD1デ
コーダ64へと出力する。ここで、カメラ51は、視差
画像列を構成する各画像の信号を、例えばNTSC方式
のビデオ信号として、D1デコーダ64に供給する。
【0108】D1デコーダ64は、カメラ51から送ら
れてきた画像信号をデジタル化し、更にD1フォーマッ
トに変換する。これにより、画像信号はYUV422信
号に変換され、クロマ成分のデータ量が約1/2とされ
る。そして、D1デコーダ64によってD1フォーマッ
トとされた画像データは、画像処理ボード65に送られ
る。
【0109】このように、D1デコーダ64でD1フォ
ーマットに変換した上で画像データを画像処理ボード6
5に供給するようにすることで、画像処理ボード65に
入力される画像データ量を低減することができ、画像処
理ボード65に必要とされるメモリの容量を抑えること
ができる。
【0110】なお、ここでは視点変換処理の対象となる
画像データのデータ量を抑えるためにD1フォーマット
を採用しているが、当然の事ながら、他のデジタル画像
信号フォーマットを採用することも可能であることは言
うまでもない。
【0111】そして、画像処理ボード65は、制御用コ
ンピュータ2による制御のもとで、D1フォーマットと
された画像データに対して視点変換処理を施して、視点
変換処理が施された新たな視差画像列、すなわち露光用
視差画像列GEを生成する。そして、画像処理ボード6
5は、制御用コンピュータ2による制御に基づいて、露
光用視差画像列GEを構成する各画像のデータを、ホロ
グラフィックステレオグラムプリンタ装置3による要素
ホログラムの記録タイミングに同期させて、ホログラフ
ィックステレオグラムプリンタ装置3の表示装置41に
供給する。
【0112】ここで、ホログラフィックステレオグラム
プリンタ装置3は、表示装置41と、プリンタコントロ
ーラ66と、プリンタコントローラ66によって制御さ
れるプリンタシステム67とを備えている。なお、ここ
では、上述した露光用シャッタ32や記録媒体送り機構
43のようにホログラフィックステレオグラム作成時に
駆動される機構全体をまとめてプリンタシステム67と
称している。
【0113】そして、このホログラフィックステレオグ
ラムプリンタ装置3は、画像処理ボード65から送られ
てくる画像データに基づいて、露光用視差画像列GEを
構成する各画像を表示装置41に順次表示する。そし
て、ホログラフィックステレオグラムプリンタ装置3
は、制御用コンピュータ2による制御に基づいて、プリ
ンタコントローラ66によってプリンタシステム67を
制御し、表示装置41への画像表示のタイミングに同期
させて、ホログラム用記録媒体30に要素ホログラムを
順次記録していく。これにより、露光用視差画像列GE
を構成する各画像がそれぞれ要素ホログラムとしてホロ
グラム用記録媒体30に記録され、ホログラフィックス
テレオグラムが作成される。
【0114】つぎに、画像処理ボード65の構成につい
て、図7を参照して更に詳細に説明する。
【0115】この画像処理ボード65は、視差画像列を
構成する各画像のデータを、例えばNTSCのビデオレ
ートで順次格納するフレームメモリ71と、視点変換処
理の際に参照されるルックアップテーブルが格納される
ルックアップテーブル用メモリ72などから構成されて
いる。
【0116】フレームメモリ71には、データの書き込
み及び読み出しの速度が十分に速いものを用いたほうが
好ましく、具体的には例えば、Fast page modeのDRA
M(Dynamic Random Access Memory)が好適である。こ
のフレームメモリ71に画像データを格納する際は、制
御用コンピュータ2とのインターフェースを制御するボ
ードコントローラ73を介して、制御用コンピュータ2
からの制御信号が、フレームメモリ71への画像データ
の書き込みを制御するライトコントローラ(Write Cont
roller)74に送られる。そして、ライトコントローラ
74は、制御用コンピュータ2からの制御信号に基づい
てフレームメモリ71を駆動し、これにより、D1デコ
ーダ64からI/Oコントローラ75を介して送られて
きた画像データが、フレームメモリ71に順次書き込ま
れる。
【0117】ルックアップテーブル用メモリ72は、視
点変換処理の際に参照されるルックアップテーブルが格
納されるルックアップテーブル格納手段である。このル
ックアップテーブル用メモリ72には、読み出し速度が
十分に速いものを用いたほうが好ましく、具体的には例
えば、SRAM(Static Random Access Memory)が好
適である。そして、このルックアップテーブル用メモリ
72には、視点変換処理を行う前の視差画像列である元
視差画像列GDを構成する各画像の画素と、視点変換処
理を施した後の新たな視差画像列である露光用視差画像
列GEを構成する各画像の画素との対応関係を示すテー
ブルであるルックアップテーブルが格納される。
【0118】なお、ここでは、視差画像列が水平視差の
みを持つものとして、ルックアップテーブルには、各画
素単位の対応関係ではなく、画素列を単位とした対応関
係を記録しておくものとする。すなわち、ルックアップ
テーブルには、元視差画像列GDを構成する各画像の画
素と、露光用視差画像列GEを構成する各画像の画素と
の対応関係を、一列に並んだ複数の画素からなる画素列
を最小単位として記録しておくものとする。
【0119】そして、この画像処理ボード65は、元視
差画像列GDを構成する画像の全データが上述のように
フレームメモリ71に格納された後、上述したような視
点変換処理を行って、露光用視差画像列GEを構成する
各画像のデータを順次生成し、当該画像のデータを順次
出力する。
【0120】ここで、視点変換処理は、煩雑な演算処理
を行うことなく、単に画素列を入れ替えることにより行
う。すなわち、ここでの視点変換処理は、ルックアップ
テーブルに基づいて、元視差画像列GDを構成する画像
のデータの中から、露光用視差画像列GEを構成する画
像のデータを画素列単位で抽出して、新たな画像のデー
タを再構成することにより行う。
【0121】具体的には、視点変換処理を行う際に、先
ず、ボードコントローラ73を介して、制御用コンピュ
ータ2からの制御信号が、フレームメモリ71からの画
像データの読み出しを制御するリードコントローラ(Re
ad Controller)76に送られる。そして、リードコン
トローラ76は、制御用コンピュータ2からの制御信号
に基づいて、フレームメモリ71に格納されている画像
データの中から、露光用視差画像列GEを構成する画像
のデータを画素列単位で選択し、当該画像データをフレ
ームバッファ77に書き込んでいく。このとき、リード
コントローラ76は、ルックアップテーブル用メモリ7
2に格納されたルックアップテーブルを参照し、当該ル
ックアップテーブルに基づいて、フレームバッファ77
に書き込む画像データの選択を行う。
【0122】なお、リードコントローラ76とフレーム
メモリ71の間には、フレームメモリ71に格納された
画像データの中から、対象となるデータを画面単位で選
択するフレームセレクタ78と、対象となるデータを走
査線単位で選択するラインセレクタ79と、対象となる
データを画素単位で選択するピクセルセレクタ80とが
配されている。そして、フレームメモリ71からデータ
を読み出す際は、フレームセレクタ78、ラインセレク
タ79及びピクセルセレクタ80によって、対象となる
データが選択される。
【0123】そして、フレームメモリ71から画素列単
位で読み出された画像データは、フレームバッファ77
に1画面分格納される。そして、フレームバッファ77
は、当該フレームバッファ77に格納された画像データ
を、制御用コンピュータ2からボードコントローラ73
を介して送られてきた制御信号に基づいて、I/Oコン
トローラ75を介して、ホログラフィックステレオグラ
ムプリンタ装置3の表示装置41に供給する。これによ
り、表示装置41に、視点変換処理が施され再構成され
た画像が表示される。その後、上述したようにホログラ
フィックステレオグラムプリンタ装置3のプリンタシス
テム67を駆動することにより、当該画像がホログラム
用記録媒体30に要素ホログラムとして記録される。
【0124】そして、以上のような新たな画像の再構成
と、当該画像の表示装置41への表示とを、要素ホログ
ラムの記録のタイミングに合わせて、露光用視差画像列
GEを構成する各画像分だけ順次行うことにより、ホロ
グラフィックステレオグラムが作成される。
【0125】以上のような画像処理ボード65でのデー
タ処理について、図8のタイミングチャートを参照して
更に詳細に説明する。なお、ここでは、画像処理ボード
65からの画像データ出力が、有効解像度が640[pix
el]×480[pixel]のVGA(Video Graphics Array)
の場合を例に挙げる。
【0126】この画像処理ボード65には、カメラ51
による視差画像列の撮影開始と同時に、カメラ51によ
って撮影された画像のデータの取り込みを指示する制御
信号が制御用コンピュータ2から送られ、これにより、
図8(A)に示すように、画像処理ボード65のフレー
ムメモリ71への画像データの書き込みが開始される。
なお、図8(A)は、画像処理ボード65のフレームメ
モリ71への画像データの書き込みのタイミングチャー
トを示している。
【0127】図8(A)に示すように、フレームメモリ
71への画像データの書き込み時には、視差画像列を構
成する各画像のデータがカメラ51によって撮影された
順に、例えばNTSCのビデオレートにて、フレームメ
モリ71に格納される。なお、図8(A)において、fr
ameorg1,frameorg2, は、フレームメモリ71に格納
される画像データのフレーム番号を示しており、line1,
line2, ,line480は各画像の走査線番号を示してお
り、p1,p2, ,p640は、1走査線上における各画素を示
している。
【0128】なお、D1フォーマットでは、1フレーム
あたりの有効解像度は720[pixel]×485[pixel]で
あるが、画像処理ボード65からの画像データ出力がV
GAであるので、ここでは、D1デコーダ64から送ら
れてきた画像データに対して解像度変換を施して、64
0[pixel]×480[pixel]とした上で、フレームメモリ
71に書き込むようにしている。
【0129】そして、カメラ51による視差画像列の撮
影が完了し、元視差画像列GDのデータが全て画像処理
ボード65に送られたら、カメラ51によって撮影され
た画像のデータの取り込み終了を指示する制御信号が制
御用コンピュータ2から画像処理ボード65に送られ、
これにより、画像データのフレームメモリ71への書き
込みが終了する。
【0130】このようにして、例えば図9に示すよう
に、複数の画像からなる元視差画像列GDが、画像処理
ボード65のフレームメモリ71に格納される。ここ
で、図9は、フレームメモリ71のメモリマップの一例
を示したものであり、フレームメモリ71に格納された
元視差画像列GDのデータについて、フレームメモリ7
1の内部における配置を示している。
【0131】なお、図9に示したメモリマップでは、説
明を簡単にするために、画像信号中に含まれるブランキ
ング信号等については無視している。また、図9のメモ
リマップに示したメモリアドレスは一例であり、特にこ
れに限定されるものではなく、システム構成上扱いやす
いものとすればよい。
【0132】そして、画像処理ボード65は、以上のよ
うにフレームメモリ71に格納された元視差画像列GD
のデータに対して、ルックアップテーブルをもとに視点
変換処理を施す。この視点変換処理は、ルックアップテ
ーブルをもとに、走査線上に並んだ画素列単位での画素
の入れ替え処理を行うことによって実現される。すなわ
ち、画像処理ボード65は、ルックアップテーブルの情
報をもとに、フレームセレクタ78、ラインセレクタ7
9及びピクセルセレクタ80により、視点変換処理が施
された画像を再構成するのに必要な画素列を、フレーム
メモリ71に格納されている画像データから抽出して読
み出していき、新たな画像を生成する。
【0133】ここで、ルックアップテーブルの一例を図
10に示す。図10に示すように、ルックアップテーブ
ルは、新たに構成する各画像(framenew1,framenew1,
,framenew480)に対応する、元視差画像列GDのフレ
ーム番号(frameorg)と走査線番号(line)とが記録さ
れてなる。
【0134】そして、画像処理ボード65は、このよう
なルックアップテーブルの情報をもとに、フレームメモ
リ71に格納されている画像データを、画素列単位(す
なわち走査線単位)にて抽出して読み出していき、新た
な画像を生成する。
【0135】ここで、図8(B)に、フレームメモリ7
1からの画像データ読み出しのタイミングチャートの一
例を示す。図8(B)では、フレームメモリ71に格納
されている画像データから、frameorg1のline1上の画素
列のデータ、frameorg2のline1上の画素列のデータ、・
・・・、frameorg480のline1上の画素列のデータを順次
抽出して読み出すことにより、新しい画像(frame
new1)のデータが再構成される例を示している。
【0136】なお、図8に示したタイミングチャート
や、図10に示したルックアップテーブルに記されたフ
レーム番号(frameorg1,frameorg2, )や走査線番号
(line1,line2, )は一例であって、これらは、視点
変換処理のパラメータによって異なるものとなる。
【0137】そして、画像処理ボード65は、元視差画
像列GDのデータが格納されているフレームメモリ71
から、ルックアップテーブルに基づいて、図8(B)に
示したように、画素列単位で画像データを抽出していく
ことにより、各走査線上の画素列の入れ替え処理を行
い、視点変換処理が施された新たな画像(framenew1,fr
amenew2, )を順次再構成し出力する。
【0138】ここで、画像の再構成は、前述のように要
素ホログラムの記録のタイミングと同期して行うように
する。
【0139】具体的には、先ず、ホログラフィックステ
レオグラムプリンタ装置3の露光用シャッタ32が開放
されて要素ホログラムの記録を行っている間に、1画面
分の視点変換処理を行い、再構成された1画面分の画像
データを、画像処理ボード65のフレームバッファ77
に一時的に保存しておく。
【0140】そして、1要素ホログラムの記録が完了し
て、露光用シャッタ32が閉じられたら、フレームバッ
ファ77に保存しておいた画像データを表示装置41に
転送して、表示装置41に表示する画像を更新する。ま
た、この間にホログラム用記録媒体30を1要素ホログ
ラム分だけ送っておく。
【0141】そして、表示装置41に表示されている画
像が更新され、且つホログラム用記録媒体30が1要素
ホログラム分だけ送られたら、再び露光用シャッタ32
を開放して、要素ホログラムの記録を行う。
【0142】以上の動作を露光用視差画像列GEを構成
する画像の数だけ繰り返すことにより、ホログラフィッ
クステレオグラムが作成される。
【0143】このように、要素ホログラムの記録のタイ
ミングに同期させて、画像の再構成を行うようにするこ
とで、視差画像列の撮影後、直ぐに(実質的にほぼリア
ルタイムにて)ホログラフィックステレオグラムを速や
かに作成することが可能となる。
【0144】なお、フレームバッファ77が無い場合に
は、1要素ホログラムの記録が完了して露光用シャッタ
32を閉じる毎に視点変換処理を行うようにする。すな
わち、フレームバッファ77が無い場合には、露光用シ
ャッタ32を閉じた後、直ぐに制御用コンピュータ2か
ら画像処理ボード65に対して視点変換処理の開始を指
示する制御信号を送出して、ルックアップテーブルに基
づく画素列単位のデータの抽出を行わせる。そして、ル
ックアップテーブルに基づいて抽出された画素列単位の
データ(すなわち走査線単位のデータ)を、画像処理ボ
ード65から表示装置41に順次転送していく。そし
て、1画面分のデータが表示装置41に転送され、表示
装置41によって表示される画像が更新されたら、再び
露光用シャッタ32を開放して、要素ホログラムの記録
を行うようにする。
【0145】ところで、上記画像処理ボード65のルッ
クアップテーブル用メモリ72に格納しておくルックア
ップテーブルは、元視差画像列GDを構成する各画像の
画素と、露光用視差画像列GEを構成する各画像の画素
との対応関係をコンピュータによって予め計算して作成
しておく。
【0146】ここで、ルックアップテーブルの作成に
は、制御用コンピュータ2を用いるようにしてもよい。
この場合は、ホログラフィックステレオグラムの作成を
行う前に、視差画像列の撮影方式や撮影時のパラメータ
(撮影距離等)、並びにホログラフィックステレオグラ
ム作成時のパラメータ(露光ピッチ等)などから、所望
する視点変換処理に対応したルックアップテーブルを制
御用コンピュータ2によって作成し、当該ルックアップ
テーブルを、ボードコントローラ73を介してルックア
ップテーブル用メモリ72に転送しておく。
【0147】なお、ルックアップテーブル用メモリ72
は、SRAM等のような書き換え可能な記憶装置からな
ることが好ましい。ルックアップテーブル用メモリ72
を書き換え可能な記憶装置としておけば、視差画像列の
撮影方式や撮影時のパラメータ、或いはホログラフィッ
クステレオグラム作成時のパラメータなどが変更とな
り、元視差画像列GDを構成する各画像の画素と、露光
用視差画像列GEを構成する各画像の画素との対応関係
が変わった場合に、当該対応関係を改めて計算してルッ
クアップテーブルを作成し直して、ルックアップテーブ
ル用メモリ72の内容を更新することが可能となる。
【0148】このようにルックアップテーブル用メモリ
72を書き換え可能としておけば、視差画像列の撮影方
式や撮影時のパラメータ、或いはホログラフィックステ
レオグラム作成時のパラメータなどが変更となっても、
ルックアップテーブル用メモリ72に格納するルックア
ップテーブルを更新するだけで、共通の画像処理ボード
65を用いて視点変換処理を行うことが可能となる。換
言すれば、所望する視点変換処理に応じて制御用コンピ
ュータ2によりルックアップテーブルを作成して、ルッ
クアップテーブル用メモリ72に格納するルックアップ
テーブルの内容を更新するようにすることで、パラメー
タの異なる様々な視点変換処理に対応することが可能と
なる。
【0149】なお、ルックアップテーブルは、視差画像
列の撮影方式や撮影時のパラメータ、或いはホログラフ
ィックステレオグラム作成時のパラメータなどが変更と
なる度にその都度計算し直すのではなく、予め様々なパ
ラメータに対応した多数のルックアップテーブルを作成
して制御用コンピュータ2に保存しておくようにしても
よい。この場合は、パラメータが変更となる毎に、対応
するルックアップテーブルを制御用コンピュータ2から
ルックアップテーブル用メモリ72に転送して、ルック
アップテーブル用メモリ72に格納するルックアップテ
ーブルの内容を更新するようにする。これにより、パラ
メータの変更に速やかに対応することが可能となる。
【0150】ところで、上述したように走査線上の画素
列単位で画素の入れ替えを行うことにより視点変換処理
を行うにあたって、元視差画像列GDが走査線方向に視
差情報を有する場合には、元視差画像列GDを構成する
各画像を90度回転変換した上で、視点変換処理を行う
ようにする。
【0151】具体的には、例えば、上述した画像データ
生成装置1において、D1デコーダ64と画像処理ボー
ド65との間に、画像を+90度回転させる処理を行う
画像回転処理回路を配するとともに、画像処理ボード6
5のフレームバッファ71とI/Oコントローラ75と
の間に、画像を−90度回転させる処理を行う画像回転
処理回路を配する。
【0152】そして、画像処理ボード65に画像データ
を入力する前に、元視差画像列GDを構成する各画像
を、画像回転処理回路によって+90度回転させてお
く。そして、画像処理ボード65では、このように+9
0度回転変換がなされた視差画像列をもとに視点変換処
理を行う。これにより、視差画像列撮影システム61か
ら供給される元視差画像列GDが走査線方向に視差情報
を有していたとしても、画像処理ボード65では、上述
の例と同様に、走査線上の画素列単位にて画素の入れ替
えを行うことにより視点変換処理を行うことができる。
【0153】そして、画像処理ボード65は、このよう
に視点変換処理が施されて生成された露光用視差画像列
GEのデータを、当該露光用視差画像列GEを構成する
各画像を画像回転処理回路によって−90度回転させた
上で、I/Oコントローラ75を介して表示装置41へ
出力する。これにより、露光用視差画像列GEの画像の
向きが、視差画像列撮影システム61によって撮影され
たもともとの画像の向きと同一とされた上で、露光用視
差画像列GEの各画像が表示装置41に順次表示され
る。
【0154】ところで、視差画像列の撮影方法として、
図11に示すように、被写体50を中心としてカメラ5
1を回動させて、異なる方向から被写体50を撮影する
ことにより、視差画像列を撮影する方法もある。なお、
この方法は、カメラ51を固定しておき被写体50を回
動させて異なる方向から被写体50を撮影することによ
り視差画像列を撮影する方法と等価である。
【0155】このように被写体50又はカメラ51を回
動させて視差画像列を撮影した場合、図12(A)に示
すように、被写体50の正面にカメラ51が位置してい
るときは、図12(B)に示すように、撮影された画像
55に被写体56が歪むことなく写るが、図13(A)
に示すように、被写体50の正面にカメラ51が位置し
ていないときには、図13(B)に示すように、撮影さ
れた画像57に写る被写体58に歪みが生じる。
【0156】そこで、被写体50又はカメラ51を回動
させて視差画像列を撮影した場合には、上述のような視
点変換処理を行う際に、このような歪みの補正処理も行
うことが好ましい。なお、このような歪みは、一般にキ
ーストン歪みと称されている。
【0157】このようなキーストン歪みの補正は、図1
4に示すように、被写体50の正面にカメラ51が位置
しているときを基準として、被写体50又はカメラ51
を回動させたときの角度をθとし、被写体50又はカメ
ラ51の回動中心50aとカメラ51の視点位置51a
との間の距離をdaとしたとき、下記式(2)で定義さ
れる比率ratioで、各縦ライン毎(すなわち画素列毎
に)に縦方向に画像の拡大又は縮小を行うことにより実
現できる。
【0158】 ratio={da/(cosα+sinα・tanθ)}/(da/cosα) =1+tanα・tanθ ・・・(2) ただし、上記式(2)において、αは、図14に示すよ
うに、被写体50又はカメラ51の回動中心50aと、
カメラ51の視点位置52aとを結ぶ仮想線をLaと
し、拡大又は縮小の対象となる画像位置Paと、カメラ
51の視点位置51aとを結ぶ仮想線をLbとしたと
き、仮想線Laと仮想線Lbとの間の角度を示してい
る。
【0159】このようにキーストン歪みを補正する際
は、各画素列毎に上記比率ratioを予め求めておき、当
該比率ratioに基づいて、各画素列毎に画像の拡大又は
縮小処理を行うようにする。具体的には、上記ルックア
ップテーブルに、元視差画像列GEを構成する各画像の
画素列と、露光用視差画像列GEを構成する各画像の画
素列との対応関係のほかに、キーストン歪みを補正する
ための補正パラメータ(すなわち上記比率ratio)を画
素列毎に記録しておく。そして、上記視点変換処理を行
う際に、ルックアップテーブルに基づいて画素の入れ替
えを行うとともに、当該ルックアップテーブルに含まれ
ている上記補正パラメータに基づいて、各画素列毎に画
像の拡大又は縮小処理を行うことにより、キーストン歪
みの補正も行うようにする。
【0160】このようにキーストン歪みの補正処理を行
うことにより、被写体50又はカメラ51を回動させて
撮影した視差画像列の画像データは、カメラ51を平行
に動かしたときに得られる画像データと同様なものとな
る。したがって、このようにキーストン歪みを補正した
上でホログラフィックステレオグラムを作成するように
すれば、キーストン歪みに起因する画像の乱れが生じる
ようなことはなくなる。
【0161】
【発明の効果】以上詳細に説明したように、本発明に係
る画像データ生成装置によれば、視差情報を含む複数の
画像からなる視差画像列のデータに対して視点変換処理
を行い新たな視差画像列のデータを生成するにあたっ
て、新たな視差画像列のデータを速やかに生成すること
が可能となる。したがって、本発明に係る画像データ生
成装置を用いることにより、例えば、ホログラフィック
ステレオグラムを短時間で作成することが可能となる。
【0162】また、本発明に係る画像データ生成方法に
よれば、視差情報を含む複数の画像からなる視差画像列
のデータに対して視点変換処理を行い新たな視差画像列
のデータを生成するにあたって、新たな視差画像列のデ
ータを速やかに生成することが可能となる。したがっ
て、本発明に係る画像データ生成方法を適用することに
より、例えば、ホログラフィックステレオグラムを短時
間で作成することが可能となる。
【図面の簡単な説明】
【図1】ホログラフィックステレオグラム作成システム
の一構成例を示すブロック図である。
【図2】ホログラフィックステレオグラムプリンタ装置
の光学系の一構成例を示す図である。
【図3】re-centering方式による視差画像列の撮影方法
を示す模式図である。
【図4】視点変換処理を説明するための図であり、露光
用視差画像列GEと元視差画像列GDとの関係を示す図
である。
【図5】視点変換処理を説明するための図であり、露光
用視差画像列GEのうちの一つの画像g21と、元視差画
像列GDの各画像g11,g12, ,g1mとの関係を示す図で
ある。
【図6】図1に示したホログラフィックステレオグラム
作成システムの構成を詳細に示したブロック図である。
【図7】画像処理ボードの構成を示すブロック図であ
る。
【図8】図8(A)は、フレームメモリへの画像データ
書き込み時のタイミングチャートの一例を示す図であ
り、図8(B)は、フレームメモリからの画像データ読
み出し時のタイミングチャートの一例を示す図である。
【図9】元視差画像列GDのデータが格納されたフレー
ムメモリのメモリマップの一例を示す図である。
【図10】ルックアップテーブルの一例を示す図であ
る。
【図11】被写体を中心としてカメラを回動させて、異
なる方向から被写体を撮影することにより、視差画像列
を撮影する方法を示す図である。
【図12】図11に示したように視差画像列を撮影する
場合について、被写体の正面にカメラが位置していると
きの撮影の様子と撮影された画像とを示す図である。
【図13】図11に示したように視差画像列を撮影する
場合について、被写体の正面にカメラが位置していない
ときの撮影の様子と撮影された画像とを示す図である。
【図14】キーストン歪みの補正処理に用いるパラメー
タを示す図である。
【図15】ホログラフィックステレオグラムの作成方法
を示す模式図である。
【図16】straight track方式による視差画像列の撮影
方法を示す模式図である。
【図17】視点変換処理を行わずに作成したホログラフ
ィックステレオグラムの再生像を観察する様子を示す模
式図である。
【図18】視点変換処理を行った上で作成したホログラ
フィックステレオグラムの再生像を観察する様子を示す
模式図である。
【符号の説明】
1 画像データ生成装置、 2 制御用コンピュータ、
3 ホログラフィックステレオグラムプリンタ装置、
41 表示装置、 51 カメラ、 61視差画像列
撮影システム、 62 画像データ処理部、 63 カ
メラコントローラ、 64 D1デコーダ、 65 画
像処理ボード、 66 プリンタコントローラ、 67
プリンタシステム、 71 フレームメモリ、 72
ルックアップテーブル用メモリ、 73 ボードコン
トローラ、 74 ライトコントローラ、 75 I/
Oコントローラ、 76 リードコントローラ、 77
フレームバッファ、 78 フレームセレクタ、 79
ラインセレクタ、80 ピクセルセレクタ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 秋元 修 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 視差情報を含む複数の画像からなる視差
    画像列のデータに対して視点変換処理を行い新たな視差
    画像列のデータを生成する画像データ生成装置であっ
    て、 元の視差画像列を構成する各画像の画素と、新たな視差
    画像列を構成する各画像の画素との対応関係を示すルッ
    クアップテーブルが格納されるルックアップテーブル格
    納手段を備え、 上記ルックアップテーブル格納手段に格納されたルック
    アップテーブルに基づいて画素の入れ替えを行うことに
    より上記視点変換処理を行い、元の視差画像列のデータ
    から新たな視差画像列のデータを生成することを特徴と
    する画像データ生成装置。
  2. 【請求項2】 視差画像列のデータが格納される画像デ
    ータ格納手段を備え、 新たな視差画像列のデータを生成する際に、元の視差画
    像列を構成する各画像のデータを上記画像データ格納手
    段に順次格納していき、元の視差画像列の全データを上
    記画像データ格納手段に格納した上で上記視点変換処理
    を行うことを特徴とする請求項1記載の画像データ生成
    装置。
  3. 【請求項3】 元の視差画像列を構成する各画像の画素
    と、新たな視差画像列を構成する各画像の画素との対応
    関係を求めて、上記ルックアップテーブルを生成するル
    ックアップテーブル生成手段を備えることを特徴とする
    請求項1記載の画像データ生成装置。
  4. 【請求項4】 上記ルックアップテーブル格納手段は、
    データの書き換えが可能とされており、所望する視点変
    換処理に応じてルックアップテーブルの内容を書き換え
    るようになされていることを特徴とする請求項1記載の
    画像データ生成装置。
  5. 【請求項5】 上記視差画像列が一方向の視差のみを有
    する場合、 上記ルックアップテーブルには、元の視差画像列を構成
    する各画像の画素と、新たな視差画像列を構成する各画
    像の画素との対応関係が、一列に並んだ複数の画素から
    なる画素列を最小単位として記録され、 上記視点変換処理を行う際に、上記画素列を最小単位と
    して画素の入れ替えを行うことを特徴とする請求項1記
    載の画像データ生成装置。
  6. 【請求項6】 上記画素列は、画像を表示装置に表示す
    る際の走査線に対応していることを特徴とする請求項5
    記載の画像データ生成装置。
  7. 【請求項7】 元の視差画像列が走査線方向にのみ視差
    を有する場合には、当該視差画像列を構成する各画像を
    90度回転変換した上で、上記視点変換処理を行うこと
    を特徴とする請求項6記載の画像データ生成装置。
  8. 【請求項8】 上記ルックアップテーブルには、元の視
    差画像列を構成する各画像の画素と、新たな視差画像列
    を構成する各画像の画素との対応関係のほかに、キース
    トン歪みを補正するための補正パラメータが含まれてお
    り、 上記視点変換処理を行う際に、ルックアップテーブルに
    基づいて画素の入れ替えを行うとともに、上記補正パラ
    メータに基づいてキーストン歪みの補正を行うことを特
    徴とする請求項1記載の画像データ生成装置。
  9. 【請求項9】 新たに生成する視差画像列のデータは、
    ホログラフィックステレオグラムに記録される視差画像
    列のデータであり、当該視差画像列を構成する各画像
    が、ホログラフィックステレオグラムを構成する要素ホ
    ログラムとしてそれぞれ記録されることを特徴とする請
    求項1記載の画像データ生成装置。
  10. 【請求項10】 各要素ホログラムを記録するタイミン
    グに同期させて、視点変換処理が施された視差画像列の
    データを、当該視差画像列を構成する各画像毎に順次出
    力することを特徴とする請求項9記載の画像データ生成
    装置。
  11. 【請求項11】 視差情報を含む複数の画像からなる視
    差画像列のデータに対して視点変換処理を行い新たな視
    差画像列のデータを生成する際に、 元の視差画像列を構成する各画像の画素と、新たな視差
    画像列を構成する各画像の画素との対応関係を示すルッ
    クアップテーブルを予め作成しておき、 上記ルックアップテーブルに基づいて画素の入れ替えを
    行うことにより上記視点変換処理を行い、元の視差画像
    列のデータから新たな視差画像列のデータを生成するこ
    とを特徴とする画像データ生成方法。
  12. 【請求項12】 新たな視差画像列のデータを生成する
    際に、元の視差画像列を構成する各画像のデータを画像
    データ格納手段に順次格納していき、元の視差画像列の
    全データを画像データ格納手段に格納した上で上記視点
    変換処理を行うことを特徴とする請求項11記載の画像
    データ生成方法。
  13. 【請求項13】 上記ルックアップテーブルを書き換え
    可能な記憶装置に記憶させておくようにし、 視点変換処理を行う前に、所望する視点変換処理に応じ
    てルックアップテーブルの内容を書き換えることを特徴
    とする請求項11記載の画像データ生成方法。
  14. 【請求項14】 上記視差画像列が一方向の視差のみを
    有する場合、 上記ルックアップテーブルに、元の視差画像列を構成す
    る各画像の画素と、新たな視差画像列を構成する各画像
    の画素との対応関係を、一列に並んだ複数の画素からな
    る画素列を最小単位として記録しておき、 上記視点変換処理を行う際に、上記画素列を最小単位と
    して画素の入れ替えを行うことを特徴とする請求項11
    記載の画像データ生成方法。
  15. 【請求項15】 上記画素列は、画像を表示装置に表示
    する際の走査線に対応していることを特徴とする請求項
    14記載の画像データ生成方法。
  16. 【請求項16】 元の視差画像列が走査線方向にのみ視
    差を有する場合には、当該視差画像列を構成する各画像
    を90度回転変換した上で、上記視点変換処理を行うこ
    とを特徴とする請求項15記載の画像データ生成方法。
  17. 【請求項17】 上記ルックアップテーブルには、元の
    視差画像列を構成する各画像の画素と、新たな視差画像
    列を構成する各画像の画素との対応関係のほかに、キー
    ストン歪みを補正するための補正パラメータが含まれて
    おり、 上記視点変換処理を行う際に、ルックアップテーブルに
    基づいて画素の入れ替えを行うとともに、上記補正パラ
    メータに基づいてキーストン歪みの補正を行うことを特
    徴とする請求項11記載の画像データ生成方法。
  18. 【請求項18】 新たに生成する視差画像列のデータ
    は、ホログラフィックステレオグラムに記録される視差
    画像列のデータであり、当該視差画像列を構成する各画
    像が、ホログラフィックステレオグラムを構成する要素
    ホログラムとしてそれぞれ記録されることを特徴とする
    請求項11記載の画像データ生成方法。
  19. 【請求項19】 各要素ホログラムを記録するタイミン
    グに同期させて、視点変換処理が施された視差画像列の
    データを、当該視差画像列を構成する各画像毎に順次出
    力することを特徴とする請求項18記載の画像データ生
    成方法。
JP01076798A 1998-01-22 1998-01-22 画像データ生成装置及び画像データ生成方法 Expired - Fee Related JP4066488B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP01076798A JP4066488B2 (ja) 1998-01-22 1998-01-22 画像データ生成装置及び画像データ生成方法
EP99300448A EP0932088A3 (en) 1998-01-22 1999-01-21 Picture data generating methods and apparatus
US09/234,943 US6369831B1 (en) 1998-01-22 1999-01-21 Picture data generating method and apparatus
KR1019990001931A KR100610518B1 (ko) 1998-01-22 1999-01-22 화상 데이터 발생 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01076798A JP4066488B2 (ja) 1998-01-22 1998-01-22 画像データ生成装置及び画像データ生成方法

Publications (2)

Publication Number Publication Date
JPH11215520A true JPH11215520A (ja) 1999-08-06
JP4066488B2 JP4066488B2 (ja) 2008-03-26

Family

ID=11759491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01076798A Expired - Fee Related JP4066488B2 (ja) 1998-01-22 1998-01-22 画像データ生成装置及び画像データ生成方法

Country Status (4)

Country Link
US (1) US6369831B1 (ja)
EP (1) EP0932088A3 (ja)
JP (1) JP4066488B2 (ja)
KR (1) KR100610518B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100852009B1 (ko) 2000-10-16 2008-08-12 소니 가부시끼 가이샤 홀로그래픽 스테레오그램 인쇄 장치 및 방법
JP2011242674A (ja) * 2010-05-20 2011-12-01 Sony Corp 立体画像表示装置および方法、並びにスクリーン製造装置および方法
JP2016158279A (ja) * 2011-05-11 2016-09-01 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
US7307802B2 (en) * 2004-06-07 2007-12-11 Fluidigm Corporation Optical lens system and method for microfluidic devices
US7656564B2 (en) * 2004-06-24 2010-02-02 Daewoo Electronics Corporation Apparatus and method for compensating for pixel distortion in reproduction of hologram data
KR100837365B1 (ko) * 2007-07-27 2008-06-12 광운대학교 산학협력단 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치
US20090153550A1 (en) * 2007-12-18 2009-06-18 Disney Enterprises, Inc. Virtual object rendering system and method
KR101021127B1 (ko) 2009-04-06 2011-03-14 광운대학교 산학협력단 룩업 테이블과 영상의 공간적 중복성을 이용한 컴퓨터 형성 홀로그램 산출 방법 및 그 장치
KR100973031B1 (ko) * 2009-04-06 2010-07-30 광운대학교 산학협력단 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치
CN101995756A (zh) * 2009-08-26 2011-03-30 鸿富锦精密工业(深圳)有限公司 阵列摄影机系统
US9363498B2 (en) * 2011-11-11 2016-06-07 Texas Instruments Incorporated Method, system and computer program product for adjusting a convergence plane of a stereoscopic image
JP2019087008A (ja) 2017-11-07 2019-06-06 東芝テック株式会社 画像処理システム及び画像処理方法
KR102198217B1 (ko) * 2018-04-11 2021-01-04 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법
US10827162B1 (en) 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures
WO2024143599A1 (ko) * 2022-12-28 2024-07-04 한국전자기술연구원 3차원 동영상 재생이 가능한 홀로그램 프린팅 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4964684A (en) * 1988-12-28 1990-10-23 John Iovine Holographic image recording using liquid crystal
US5751927A (en) * 1991-03-26 1998-05-12 Wason; Thomas D. Method and apparatus for producing three dimensional displays on a two dimensional surface
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US6108440A (en) * 1996-06-28 2000-08-22 Sony Corporation Image data converting method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100852009B1 (ko) 2000-10-16 2008-08-12 소니 가부시끼 가이샤 홀로그래픽 스테레오그램 인쇄 장치 및 방법
JP2011242674A (ja) * 2010-05-20 2011-12-01 Sony Corp 立体画像表示装置および方法、並びにスクリーン製造装置および方法
JP2016158279A (ja) * 2011-05-11 2016-09-01 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US6369831B1 (en) 2002-04-09
EP0932088A2 (en) 1999-07-28
KR19990068071A (ko) 1999-08-25
JP4066488B2 (ja) 2008-03-26
EP0932088A3 (en) 1999-09-15
KR100610518B1 (ko) 2006-08-09

Similar Documents

Publication Publication Date Title
US6108440A (en) Image data converting method
JP4066488B2 (ja) 画像データ生成装置及び画像データ生成方法
US5625435A (en) Non-scanning 3D photographic printer with a partitioned aperture
JPH0652291A (ja) コンピュータ・グラフィックスを用いて幾何学的な立体画像を作成する方法および装置
KR100836695B1 (ko) 홀로그램 프린트 시스템 및 홀로그래픽 스테레오그램
US6757086B1 (en) Hologram forming apparatus and method, and hologram
CN100403189C (zh) 全息立体图打印装置及其方法
US6870651B2 (en) Apparatus and method for generating a dynamic image
JP4534337B2 (ja) 撮影装置及び撮影方法、並びに、画像生成装置及び画像生成方法
JP3596174B2 (ja) 画像データ生成方法
JP4288722B2 (ja) 画像データ作成装置及び作成方法、画像データ変換装置及び変換方法、ホログラフィックステレオグラム作成装置及び作成方法、記録媒体並びにデータ伝送方法
JP2000066568A (ja) 視差画像列撮像装置
JPH06282213A (ja) ホログラフィtv装置
JPH1020755A (ja) 画像データ変換方法
US7719729B2 (en) Anamorphic recording method and apparatus
JP3891226B2 (ja) 画像データ生成装置および方法
JP3583611B2 (ja) 3次元動画像表示装置およびそのための光変調パターンデータの作成方法
JPH1078742A (ja) 視差画像列の生成方法
JPH03110592A (ja) 液晶ホログラム再生装置
JP2001142383A (ja) 画像記録装置及び方法
JP3445516B2 (ja) ホログラフィックステレオグラム作成方法及び装置
JPH03249686A (ja) ホログラフィック立体ハードコピーとその作成方法及び装置
JP3590982B2 (ja) マイクロ・ミラー・デバイスを用いた立体・可変画像表示装置
JPH11109840A (ja) 画像情報の記録方法及び画像情報記録装置
JP2000078613A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071231

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130118

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees