WO2003104891A1

WO2003104891A1 - 表示装置および表示方法

Info

Publication number: WO2003104891A1
Application number: PCT/JP2003/007100
Authority: WO
Inventors: 近藤　哲二郎; 奥村　裕二; 芳賀　継彦; 村上　哲也; 田中　健司
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-06-05
Filing date: 2003-06-05
Publication date: 2003-12-18
Anticipated expiration: 2004-12-05
Also published as: JP2004012644A; JP3787841B2; KR20050004764A; CN100437339C; US20060152435A1; US8310409B2; KR100986045B1; US20090262185A1; EP1510857A4; CN1556938A; EP1510857A1

Abstract

本発明は、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することを可能とするようにした表示装置および表示方法に関する。ライトコントロールスクリーン２５を回転させ、プロジェクタ２１₁乃至２１_Nにおいて、ライトコントロールスクリーン２５に対して、複数の方向から撮像した画像データに対応する光を、その方向から照射する。この場合、ライトコントロールスクリーン２５の正面方向が、プロジェクタ２１_nの方向となったときに、そのプロジェクタ２１_nが発する光に対応する画像が、ライトコントロールスクリーン２５に表示される。本発明は、例えば、画像を表示する表示装置に適用できる。

Description

明細書

表示装置およぴ表示方法技術分野

本発明は、表示装置および表示方法に関し、特に、例えば、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することができるようにする表示装置おょぴ表示方法に関する。背景技術

多数のユーザに対して、各ユーザの視点から見た画像を提示する多視点提示を行うことができる空間提示系としては、例えば、 N H K (日本放送協会）が開発した I P (Integral Photography)立体画像システム力 Sある。

図 1は、 I P立体画像システムの一例の構成を示している。

I P立体画像システムでは、カメラ（ビデオカメラ） 2によって、被写体が、複眼レンズ 2 0 1を介して撮像される。

ここで、複眼レンズ 2 0 1は、図 2 Aの平面図と、図 2 Bの断面図に示すように、多数の小レンズを平面状に配置して構成されるものであり、従って、カメラ 2 0 2では、この多数の小レンズそれぞれ越しに見た被写体の画像が撮像される。そして、 I P立体画像システムでは、カメラ 2 0 2で撮像された画像が、例えば、液晶ディスプレイなどの表示装置 2 0 3で表示される。表示装置 2 0 3の表示画面の前面には、複眼レンズ 2 0 1と同一構成の複眼レンズ 2 0 4が配置されており、ユーザは、その複眼レンズ 2 0 4越しに、表示装置 2 0 3に表示された画像を見る。これにより、ユーザは、その視点から見た被写体の像を見ることができる。

即ち、カメラ 2 0 2で撮像される画像は、複眼レンズ 2 0 1を構成する各小レンズから被写体を見たものであるから、各小レンズ越しに見える被写体の画像 (以下、適宜、小レンズ画像という）の集合になっている。従って、表示装置² 0 3に表示される画像も、小レンズ画像の集合になっているが、これを、ある視点から、複眼レンズ 2 0 1と同一構成の複眼レンズ 2 0 4を介して見ることにより、その視点から見た被写体の画像（像） 1 複眼レンズ 2 0 4を構成する各小レンズを介して見える、各小レンズ画像を構成する画素によって形成される。従って、 I P立体画像システムによれば、多数のユーザに対して、各ユーザの視点から見た画像を提示することができる。

ところで、 I P立体画像システムでは、簡単に説明すると（あるいは、観念的に説明すると）、ある視点から見た被写体の画像が、その画像を構成する各画素を、複眼レンズ 2 0 4を構成する各小レンズによって、各小レンズ画像から集めることによって形成される。

従って、ユーザに提示される画像の解像度は、複眼レンズ 2 0 1および 2 0 4 を構成する小レンズによって決まるが、小レンズの小型化や、複眼レンズ 2 0 1 および 2 0 4を構成させる小レンズの個数には限界がある。従って、ユーザに提示される画像を、高解像度の画像とすることが困難であった。

そこで、多数のユーザに対して、各ユーザの視点から見た画像を提示する多視点提示を行うことができる他の空間提示系としては、例えば、 zebra imaging 社の zebra imagingと呼ばれるものがある。

zebra imagingは、ホログラフィを利用した方法であり、多数のユーザに対して、各ユーザの視点から見た高解像度の画像を提示することが可能である。しかしながら、 zebra imaging によって表示される画像はホログラムであるため、その作成に多大の演算量と時間を要し、従って、動きのある画像を表示することは困難であった。発明の開示

本発明は、このような状況に鑑みてなされたものであり、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することができるようにするものである。本発明の第 1の表示装置は、光を受光することにより、光に対応する画像を表示するスクリーンと、スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、スクリーンに対して、複数の方向から、画像に対応する光を照射する照射手段とを備えることを特徴とする。

本発明の第 1の表示方法は、光を受光することにより、光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、スクリーンに対して、複数の方向から、画像に対応する光を照射することを特徴とする。

本発明の第 2の表示装置は、光を受光して散乱することにより、その光に対応する画像を表示する散乱板と、散乱板で散乱された光のうち、所定の方向の光のみを透過させる光学フィルタとを備えることを特徴とする。

本発明の第 2の表示方法は、受光した光を散乱する散乱板において、光を受光して散乱することにより、その光に対応する画像を表示し、散乱板で散乱された光のうち、所定の方向の光のみを透過させることを特徴とする。

本発明の第 1の表示装置および表示方法においては、光を受光することにより、光に対応する画像を表示するスクリーンが、所定の回転軸を中心に回転駆動され、そのスクリーンに対して、複数の方向から、画像に対応する光が照射される。本発明の第 2の表示装置および表示方法においては、受光した光を散乱する散乱板で散乱された光のうち、所定の方向の光のみが透過され、その光に対応する画像が表示される。図面の簡単な説明

図 1は、 I P立体画像システムの一例の構成を示す図である。

図 2 Aは、複眼レンズ 1および 4の構成例を示す平面図である。

図 2 Bは、複眼レンズ 1および 4の構成例を示す断面図である。

図 3は、本発明を適用した撮像表示装置の第 1実施の形態の構成例を示す図である。

図 4は、撮像装置 1の構成例を示すプロック図である。図 5は、撮像装置 1の処理を説明するフローチヤ一トである。

図 6は、表示装置 2の構成例を示すプロック図である。

図 7は、ライトコントロールスクリーン 2 5の第 1の構成例を示す断面図である。

図 8は、光学フィルタフィルム 5 5および 5 6を示す斜視図である。

図 9は、光学フィルタフィルム 5 5および 5 6の光学特性を示す図である。図 1 O Aは、表示光学系 2 0での画像の表示を説明するための図である。図 1 0 Bは、表示光学系 2 0での画像の表示を説明するための図である。図 1 1は、表示装置 2の処理を説明するフローチャートである。

図 1 2は、ライトコントロールスクリーン 2 5の第 2の構成例を示す断面図である。

図 1 3は、ライトコントロールスクリーン 2 5の第 3の構成例を示す断面図でめる。

図 1 4 Aは、プロジェクタ 2 l _nとユーザの位置関係を示す図である。

図 1 4 Bは、プロジェクタ 2 l _nとユーザの位置関係を示す図である。

図 1 5は、表示光学系 2 0の構成例を示す図である。

図 1 6は、表示光学系 2 0における光線の軌跡を示す図である。

図 1 7は、信号処理部 2 2の構成例を示すブロック図である。

図 1 8は、等距離射影方式の魚眼レンズを示す図である。

図 1 9は、魚眼レンズ 7 5によって射影された光線を示す図である。

図 2 0は、光線 Rの光線方向を表す角度 Θ と φ を示す図である。

図 2 1は、信号処理部 1 2の構成例を示すブロック図である。

図 2 2は、信号処理部 2 2の他の構成例を示すブロック図である。

図 2 3は、本発明を適用した撮像表示システムの第 2実施の形態の構成例を示すブロック図である。

図 2 4は、撮像光学系 1 と 1 0 ₂で被写体 S iと S ₂がそれぞれ撮像されている様子を示す図である。図 2 5は、表示光学系 2 0で被写体 S iと S ₂の画像を合成した画像が表示されている様子を示す図である。

図 2 6は、表示光学系 2 0の他の構成例を示す平面図である。

図 2 7は、本発明を適用したコンピュータの一実施の形態の構成例を示すプロック図である。

図 2 8 Aは、本発明を適用した撮像表示システムと、 I P立体画像システムおよび zebra imagingとの比較結果を示す図である。

図 2 8 Bは、本発明を適用した撮像表示システムと、 I P立体画像システムおよび zebra imagingとの比較結果を示す図である。

図 2 8 Cは、本発明を適用した撮像表示システムと、 I P立体画像システムおよび zebra imagingとの比較結果を示す図である。

図 2 8 Dは、本発明を適用した撮像表示システムと、 I P立体画像システムおよび zebra imagingとの比較結果を示す図である。発明を実施するための最良の形態

図 3は、本発明を適用した撮像表示システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かを問わない）の一実施の形態の構成例を示している。

撮像表示システムは、撮像装置 1と表示装置 2から構成されている。

撮像装置 1は、被写体を撮像し、その結果得られる画像データを、例えば、地上波、衛星回線、 C A T V (Cabl e Televi s ion)網、電話回線、インターネットその他の伝送媒体 3を介して伝送し、あるいは、例えば、半導体メモリ、光ディスク、磁気ディスクなどの記録媒体 4に記録する。

表示装置 2は、伝送媒体 3から送信されてくる画像データ、あるいは記録媒体 4から再生される画像データを受信して表示する。

図 4は、図 1の撮像装置 1の構成例を示している。

撮像装置 1は、撮像光学系 1 0と信号処理部 1 2から構成されている。撮像光学系 1 0は、複数としての N個のカメラ 1 乃至 1 1_Nから構成されている。この N個のカメラ 1 乃至 1 1_Nは、被写体の水平方向の周囲 3 6 0度に、例えば、等間隔（等角度）で配置されている。さらに、 N個のカメラ乃至 1 1_Nは、例えば、それぞれの光軸が、同一水平面内に含まれ、その水平面内の同一の点で交わるように配置されている。なお、 N個のカメラ 1 乃至 1 1_Nの配置位置は、上述したものに限定されるものではない。即ち、 N個のカメラ 1 1 t乃至 1 1_Nは、例えば、異なる間隔で配置することなどが可能である。

カメラ l l_n (n= l , 2, · · ■ , N) は、被写体を撮像し、即ち、被写体からの光を受光して光電変換することで、被写体の画像データを得て、その画像データを、例えば、 1フレーム（または 1フィールド）単位で、信号処理部 1 2 に供給する。

信号処理部 1 2は、カメラ 1 1_L乃至 1 1_Nと同一の個数のストレージ 3 乃至 3 1_N、符号化部 3 2、および多重化部 3 3から構成され、カメラ l l_nから供給される画像データを処理して出力する。

即ち、ストレージ 3 1_nは、カメラ 1 l_nから供給される画像データを一時記憶する。符号化部 3 2は、ストレージ 3 l_t乃至 3 1_Nそれぞれから画像データを読み出し、例えば、 DV(Digital Video)方式などの所定の方式で圧縮符号化する。さらに、符号化部 3 2は、画像データを圧縮符号化することにより得られる符号化データを、多重化部 3 3に供給する。多重化部 3 3は、符号化部 3 2から供給される、 N個のカメラ 1 乃至 1 1_Nそれぞれで撮像された画像データに対応する符号化データを、 1つのデータストリームに多重化し、伝送媒体 3 (図 3) を介して伝送し、または記録媒体 4 (図 3) に供給して記録する。

次に、図 5のフローチャートを参照して、図 4の撮像装置 1の処理について説明する。

まず最初に、ステップ S 1において、カメラ l l_nは、被写体を撮像し、その結果得られる 1フレームの画像データを、信号処理部 1 2のストレージ 3 l_ftに供給して、ステップ S 2に進む。ステップ S 2では、ストレージ 3 l_nが、カメラ 1 l _nから供給される画像データを記憶し、ステップ S 3に進む。ステップ S 3では、符号化部 3 2が、ストレージ 3 l _nに記憶された画像データを読み出して符号化し、その結果得られる符号化データを、多重化部 3 3に供給する。

そして、ステップ S 4に進み、多重化部 3 3は、符号化部 3 2から供給される、 N個のカメラ 1 乃至 1 1 _Nそれぞれで撮像された画像データに対応する符号化データを、 1つのデータストリームに多重化して出力する。多重化部 3 3が出力するデータストリームは、伝送媒体 3 (図 3 ) を介して伝送され、あるいは記録媒体 4 (図 3 ) に供給されて記録される。

その後、ステップ S 5に進み、ユーザによって、図示せぬ操作部が、画像データの撮像を終了するように操作（以下、適宜、撮像終了操作という）されたか否かが判定される。

ステップ S 5において、撮像終了操作がされていないと判定された場合、ステップ S 1に戻り、以下、同様の処理が繰り返される。

また、ステップ S 5において、撮像終了操作がされたと判定された場合、処理を終了する。

以上のようにして、撮像装置 1では、 N個のカメラ 1 乃至 1 1 _Nによって、被写体を、その周囲の N個の視点から見た画像、即ち、被写体を、その水平方向の周囲 3 6 0度から見た連続的な画像が撮像される。

次に、図 6は、図 3の表示装置 2の構成例を示している。

表示装置 2は、表示光学系 2 0、信号処理部 2 2、およびコントローラ 2 3力、ら構成されている。

表示光学系 2 0は、撮像光学系 1 0を構成するカメラ 1 I t乃至 1 1 _Nと同一の個数である N個のプロジェクタ 2 乃至 2 1 _N、駆動部 2 4、およびライトコントロールスクリーン 2 5から構成されている。

N個のプロジェクタ 2 1 乃至 2 1 _Nは、ライトコント口ーノレスクリーン 2 5の水平方向の周囲 3 6 0度に配置されており、撮像光学系 1 0 (図 4 ) における、被写体に対する N個のカメラ 1 乃至 1 1 _Nの位置それぞれに対応する方向それそれから、信号処理部 2 2より供給される画像データに対応する光を発し、これにより、その光を、ライトコントロールスクリーン 2 5に照射する。

即ち、 N個のプロジェクタ 2 乃至 2 1 _Nは、それぞれの光軸の位置関係が、 N個のカメラ 1 乃至 1 1 _Nそれぞれの光軸の位置関係と相似になるように配置されている。従って、 N個のプロジェクタ 2 3^乃至 2 1 _Nは、図 4で説明した N 個のカメラ 1 乃至 1 1 _Nと同様に、ライトコントロールスクリーン 2 5の周囲 3 6 0度に、例えば、等間隔（等角度）で配置されており、さらに、それぞれの光軸が、同一水平面内に含まれ、その水平面内の同一の点で交わるように配置されている。

プロジェクタ 2 l _n ( n = 1 , 2， · · ■ ， N ) は、信号処理部 2 2から供給される、カメラ 1 l _nで撮像された被写体の画像データに対応する光線を発する。駆動部 2 4は、コントローラ 2 3の制御にしたがい、ライトコントローノレスクリーン 2 5を、例えば、等角速度で回転駆動する。

ライトコントロールスクリーン 2 5は、例えば、長方形状のスクリーンで、プロジェクタ 2 1が発する光線を受光することで、その光線に対応する画像を表示する。

なお、ライトコントロールスクリーン 2 5は、それを左右に二分する垂直方向の分割線に沿った軸 2 5 Aを回転軸として、駆動部 2 4によって回転駆動されるようになっている。

また、 N個のプロジェクタ 2 1^乃至 2 1 _Nは、例えば、それぞれの光軸が、ラィトコントロールスクリーン 2 5の軸 2 5 A上の同一の点で交わるように配置されている。

信号処理部 2 2は、ストレージ 4 1、分離部 4 2、および復号部 4 3で構成されている。

ストレージ 4 1は、伝送媒体 3 (図 3 ) を介して伝送されてくるデータストリーム、あるいは記録媒体 4 (図 3 ) から再生されたデータストリームを一時記憶する。分離部 4 2は、ストレージ 4 1に記憶されたデータストリームを読み出し、カメラ 1 乃至 1 1 _Nで撮像された画像データを符号化した符号化データそれぞれに分離して、復号部 4 3に供給する。復号部 4 3は、分離部 4 2から供給される符号化データを、カメラ 1 乃至 1 1 _Nで撮像された画像データそれぞれに復号し、カメラ 1 l _nで撮像された画像データを、例えば、プロジェクタ 2 1„に供給する。

なお、復号部 4 3は、カメラ 1 l _nで撮像された画像データを、例えば、 1フレーム単位で、プロジェクタ 2 1 _Πに供給するが、その供給は、他のカメラ 1 1 _η'から他のプロジェクタ 2 1 _η'への画像データの供給と同期をとつて行われる。コントローラ 2 3は、復号部 4 3からプロジェクタ 2 乃至 2 1 _Νへの画像デ —タの供給タイミングに同期して、ライトコントロールスクリーン 2 5を回転駆動するように、駆動部 2 4を制御する。

次に、図 7は、図 6のライトコントロールスクリーン 2 5の構成例を示す断面図である。

図 7の実施の形態では、ライトコントロールスクリーン 2 5は、両面スクリーン 5 1、並びに光学フィルタフィルム 5 5および 5 6で構成されている。

両面スクリーン 5 1は、平板形状の散乱板 5 2および 5 3、並びに遮光板 5 4 で構成され、遮光板 5 4を、散乱板 5 2と 5 3との間に挟んだ構造（遮光板 5 4 1 散乱板 5 2と 5 3でサンドイッチされた構造）となっている。

なお、図 7の実施の形態では、両面スクリーン 5 1は、散乱板 5 3の上部に、遮光板 5 4が配置され、遮光板 5 4の上部に、散乱板 5 2が配置されている。従って、両面スクリーン 5 1に対して、上方向（散乱板 5 2側）から入射した光線は、散乱板 5 2で受光、散乱され、これにより、両面スクリーン 5 1を Α方向から見た場合、散乱板 5 2において、その光線に対応する画像が表示される。一方、両面スクリーン 5 1を B方向から見た場合、散乱板 5 2の手前に遮光板 5 4が配置されており、この遮光板 5 4によって散乱板 5 2を透過する光が遮断されるため、散乱板 5 2で散乱された光線に対応する画像を見ることはできない。また、両面スクリーン 5 1に対して、 B方向（散乱板 5 3側）から入射した光線は、散乱板 5 3で受光、散乱され、これにより、両面スクリーン 5 1を B方向から見た場合、散乱板 5 3において、その光線に対応する画像が表示される。 ― 方、両面スクリーン 5 1を A方向から見た場合、散乱板 5 3の手前に遮光扳 5 4 が配置されており、この遮光板 5 4によって散乱板 5 3を透過する光が遮断されるため、散乱板 5 3で散乱された光線に対応する画像を見ることはできない。従って、両面スクリーン 5 1によれば、散乱板 5 2側の面と、散乱板 5 3側の面の 2つの面それぞれにおいて、いわば独立に、画像を表示することができる。ここで、散乱板 5 2および 5 3としては、例えば、すりガラス等のように光を散乱させるものを採用することができる。

図 7の実施の形態において、ライトコントロールスクリーン 2 5は、両面スクリーン 5 1の散乱板 5 2側と 5 3側に、光学フィルタフィルム 5 5と 5 6をそれぞれ配置することによつて構成されている。

光学フィルタフィルム 5 5および 5 6は、例えば、図 8の斜視図に示すように、いわゆるルーバー構造を有するシート状の光学フィルタで、遮光性を有する長方形状の多数の微小フィルムを、その面どうしが対向するように、微小間隔で配置することにより構成されており、これにより、微小フィルムどうしの間にスリツトが形成されている。

いま、光学フィルタフィルム 5 5および 5 6を構成する多数の微小フィルムの面と平行な方向、つまりスリットの方向を、正面方向というものとすると、光学フィルタフィルム 5 5および 5 6は、例えば、図 9に示すような光学特性を有する。

即ち、光学フィルタフィルム 5 5および 5 6は、正面方向の光線のみをそのまま透過させ、正面方向からずれた光線（微小フィルムの面と交わる光線）ほど、透過する光量を小さくする光学特性を有する。従って、光学フィルタフィルム 5 5や 5 6を、正面から見た場合には、向こう側が見えるが、正面からずれた方向 (いわゆる斜め方向）から、光学フィルタフィルム 5 5や 5 6を見た場合には、向こう側が見えなくなる。

ここで、上述のような光学特性を有する光学フィルタフィルム 5 5および 5 6 としては、例えば、住友スリーェム社のライトコントロールフィルムなどを採用することができる。

図 7のライトコントロールスクリーン 2 5においては、両面スクリーン 5 1の散乱板 5 2側に、上述のような光学特性を有する光学フィルタフィルム 5 5が、そのスリットが垂直方向（ライトコントロールスクリーン 2 5の軸 2 5 Aと平行な方向）に並ぶように配置されている。また、両面スクリーン 5 1の散乱板 5 3 側にも、上述のような光学特性を有する光学フィルタフィルム 5 6が、そのスリットが垂直方向に並ぶように配置されている。

従って、散乱板 5 2に入射した光線が、そめ散乱板 5 2で散乱されることにより得られる散乱光のうち、正面方向の光線は、光学フィルタフィルム 5 5を透過するが、他の方向の光は、（理想的には、そのすべてが）光学フィルタフィルム 5 5によって遮断される。その結果、ライトコントロールスクリーン 2 5を、光学フィルタフィルム 5 5の正面方向を視点として見た場合には、散乱板 5 2で散乱された光のうち、視点に向かう光は、光学フィルタフィルム 5 5を透過し、視点に到達することから、画像を見ることができる。一方、ライトコントロールスクリーン 2 5を、光学フィルタフィルム 5 5の正面方向から左または右に（水平方向に）ずれた位置を視点として見た場合には、散乱板 5 2で散乱された光のうち、視点に向かう光は、光学フィルタフィルム 5 5で遮断され、視点に到達しないから、画像を見ることができない。

散乱扳 5 3でも、そこに入射した光線が散乱され、その散乱光のうち、正面方向の光線は、光学フィルタフィルム 5 6を透過するが、他の方向の光は、（理想的には、そのすべてが）光学フィルタフィルム 5 6によって遮断される。その結果、ライトコントロールスクリーン 2 5を、光学フィルタフィルム 5 6の正面方向を視点として見た場合には、散乱板 5 3で散乱された光のうち、視点に向かう光は、光学フィルタフィルム 5 6を透過し、視点に到達することから、画像を見ることができる。一方、ライトコントロールスクリーン 2 5を、光学フィルタフイルム 5 6の正面方向から左または右にずれた位置を視点として見た場合には、散乱板 5 3で散乱された光のうち、視点に向かう光は、光学フィルタフィルム 5 6で遮断され、視点に到達しないから、画像を見ることができない。

以上のように、図 7のライトコントロールスクリーン 2 5によれば、（理想的には）その正面方向に位置するユーザにのみ、画像が提示され、正面方向から左または右にずれたユーザには、画像は提示されない。

従って、いま、ライトコントロールスクリーン 2 5において画像が表示される面を、表示面というものとすると、図 7のライトコントロールスクリーン 2 5は、散乱板 5 2側と 5 3側との 2つの表示面を有するが、この表示面が、プロジュクタ 2 1„の正面方向に位置した場合、そのプロジェクタ 2 l _nが発する光線が、光学フィルタフィルム 5 5または 5 6を介して、散乱板 5 2または 5 3で受光、散乱されることにより、その光線に対応する画像が、表示面としての散乱板 5 2または 5 3に表示される。そして、この散乱板 5 2または 5 3に表示された画像は、表示面の正面方向に位置するユーザのみが、光学フィルタフィルム 5 5または 5 6を介して観察することができ、他の方向に位置するユーザは観察することができない。

また、プロジェクタ 2 1。では、上述したように、カメラ 1 l _nで撮像された被写体の画像データに対応する光線が発光'される。従って、プロジェクタ 2 1 _n力 S、ライトコントロールスクリーン 2 5の表示面の正面方向に位置した場合にのみ、その正面方向に位置するユーザのみが、カメラ 1 l _nの位置から見た被写体の画像を観察することができる。

即ち、 N個のプロジェクタ 2 乃至 2 1 _Nそれぞれが発する光線は、図 1 0 A に示すように、垂直方向の軸 2 5 Aを回転軸として回転するライトコントロールスクリーン 2 5の表示面の正面方向が、プロジェクタ 2 乃至 2 1 _Nそれぞれの光軸方向と一致したときに、図 1 0 Bに示すように、ライトコントロールスクリーン 2 5の表示面で結像し、カメラ 1 l _t乃至 1 1 _Nで撮像された被写体の画像がそれぞれ表示され、この画像は、表示面の正面方向にいるユーザのみが観察することができる。

従って、ライトコントロールスクリーン 2 5では、その表示面の方向ごとに、その方向から見た被写体の画像が表示される。その結果、ユーザは、ライトコントロールスクリーン 2 5を見る位置ごとに、その位置から見た被写体の画像を観察すること、即ち、多数のユーザに対して視点位置に応じた画像を提示することができる。

なお、ユーザは、例えば、図 1 O Aと図 1 0 Bに示すように、プロジェクタ 2 l _nの後側から、ライトコントロールスクリ—ン 2 5を見ることにより、その表示面に表示される画像を観察する。

また、コントローラ 2 3は、ライトコントロールスクリーン 2 5が、その表示面の回転レートが信号処理部 2 2から供給される画像データのフレームレート (またはフィールドレート）以上となる角速度で回転するように、駆動部 2 4を制御する。

従って、信号処理部 2 2から供給される画像データのフレームレート（プロジェクタ 2 l _nが投射する画像のフレームレート） 1S 例えば、 3 0 H zであるとすると、 2つの表示面を有するライトコントロールスクリーン 2 5は、 1 5 H z 以上の角速度で回転される。

この場合、プロジェクタ 2 1„は、少なくとも、フレーム周期内に 1度は、ライトコントロールスクリーン 2 5の表示面の正面方向に位置することになり、いわゆるコマ落ちを防止することができる。

即ち、信号処理部 2 2から供給される画像データのフレームレート未満の角速度で、ライトコントロールスクリーン 2 5が回転する場合、あるプロジェクタ 2 l _nに注目すると、そのプロジェクタ 2 l _nが、表示面の正面方向に位置したときに、その表示面で、あるフレームの画像データが表示された後、'次のフレームの画像デタに対応する光線が発せられるまでの間に、表示面の正面方向が、プロジェクタ 2 l _nの方向を向かないため、次のフレームの画像が表示されず、そのフレームは、コマ落ちすることになる。かかるコマ落ちを防止するためには、プロジェクタ 2 l _nが、少なくとも、フレーム周期内に 1度は、ライトコントロールスクリーン 2 5の表示面の正面方向に位置するように、即ち、信号処理部 2 2 から供給される画像データのフレームレート以上の角速度で、ライトコントローノレスクリーン 2 5を回転させる必要がある。このライトコントロールスクリーン 2 5の回転数は、プロジェクタ 2 l _nの投射する画像のフレームレートや、 1フレームあたりの投射時間等々によって適宜決定される。

次に、図 1 1のフローチャートを参照して、図 6の表示装置の処理について説明する。

まず最初に、ステップ S 1 1において、コントローラ 2 3は、駆動部 2 4を制御することにより、ライトコントロールスクリーン 2 5の回転を開始させ、ステップ S 1 2に進む。

ステップ S 1 2では、ストレージ 4 1が、伝送媒体 3または記録媒体 4 (図 3 ) から供給される、例えば、 1フレーム分のデータストリームを記憶し、ステップ S 1 3に進む。ステップ S 1 3では、分離部 4 2が、ストレージ 4 1に記憶されたデータストリームを読み出し、図 4の撮像装置 1のカメラ 1 乃至 1 1 _N で撮像された画像データを符号化した符号化データそれぞれに分離して、復号部 4 3に供給する。

そして、ステップ S 1 4に進み、復号部 4 3は、分離部 4 2から供給された符号化データを、カメラ 1 乃至 1 1 _Nで撮像された画像データそれぞれに復号し、カメラ 1 l _nで撮像された画像データを、プロジェクタ 2 1„に供給して、ステツプ S 1 5に進む。

ステップ S 1 5では、プロジェクタ 2 l _nは、復号部 4 3から供給される画像データに対応する光線を、ライトコントロールスクリーン 2 5に向かって発光し、これにより、回転しているライトコントロールスクリーン 2 5の表示面において、その表示面の正面方向に位置するプロジェクタ 2 1 _πが発した光線に対応する画像が表示される。

その後、ステップ S 1 6に進み、ユーザによって、図示せぬ操作部が、画像の表示を終了するように操作（以下、適宜、表示終了操作という）されたか否かが、コントローラ 2 3によって判定される。

ステップ S 1 6において、表示終了操作がされていないと判定された場合、ステツプ S 1 1に戻る。そして、ステップ S 1 1において、ストレージ 4 1が、そこに供給される、次の 1フレーム分のデータストリームを記憶し、以下、同様の処理が繰り返される。

また、ステップ S 1 6において、表示終了操作がされたと判定された場合、ステツプ S 1 7に進み、コントローラ 2 3は、駆動部 2 4を制御することにより、ライトコントロールスクリーソ 2 5の回転を停止させ、処理を終了する。

以上のように、ライトコントロールスクリーン 2 5を回転させ、そのライトコントロールスクリーン 2 5に対して、複数の方向から撮像した画像データに対応する光を、その方向から照射するようにしたので、各方向から、ライトコント口一ルスクリーン 2 5を見ることにより、その方向から見た被写体の画像を観察することができる。また、ライトコントロールスクリーン 2 5は、その表示面に、光学フィルタフィルム 5 5および 5 6を有するため、その表示面の正面方向以外の方向に位置するユーザは、表示面に表示されている画像を観察することはできない。

従って、多数のユーザが、各ユーザの視点から被写体を見たときに、その視覚に映るのと同一の画像を視聴することができる。

さらに、カメラ 1 1 _ηおよびプロジェクタ 2 1 _ηとして、高解像度のものを採用するだけで、容易に、高解像度の画像を提供することができる。

また、画像の動きの有無によって、撮像装置 1および表示装置 2の処理量は、殆ど変化しないので、動きのある画像であっても、多数のユーザに対して、各ュ一ザの視点から見たの画像を提示することができる。次に、図 1 2は、図 6のライトコントロールスクリーン 2 5の第 2の構成例を示している。なお、図中、図 7における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図 1 2の実施の形態では、ライトコントロールスクリーン 2 5は、反射型スクリーン 6 1 と光学フィルタフィルム 5 5から構成されている。

反射型スクリーン 6 1は、図 1 2において、遮光板 5 3の上部に散乱板 5 2を配置して構成されている。そして、散乱板 5 2の上部に、光学フィルタフィルム 5 5が配置されている。

即ち、図 1 2のライトコントロー/レスクリーン 2 5は、図 7のライトコント口一ルスクリーン 2 5の散乱板 5 3および光学フィルタ 5 6を取り除いたものと同一構成となっている。

従って、図 1 2のライトコントロールスクリーン 2 5は、 A側（散乱板 5 2 側）だけに 1つの表示面を有するものとなっている。

即ち、図 1 2のライトコントロールスクリーン 2 5では、 A側から散乱板 5 2 の面に向かって光線を照射することにより、その光線が散乱板 5 2で散乱され、その光線に対応する画像が表示される。この画像は、.光学フィルタフィルム 5 5 を介して観察することができる。従って、図 1 2のライトコントロールスクリーン 2 5では、光線が照射される散乱板 5 2の面側だけに、画像が表示され、表示面は、その面 1つだけである。

ここで、図 6および図 1 2のライトコント口—ルスクリーン 2 5によれば、そのライトコントロールスクリーン 2 5で反射された光線が、ユーザの網膜に結像することによって、ユーザにより画像が知覚される。従って、図 6およぴ図 1 2 のライトコント口一ルスクリーン 2 5は、反射型のスクリーンであるということができる。

次に、図 1 3は、図 6のライトコントロールフィルム 2 5の第 3の構成例を示している。なお、図中、図 7または図 1 2における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。図 1 3の実施の形態では、ライトコントロールスクリーン 2 5は、透過型スクリーン 6 2と光学フィルタフィルム 5 5から構成されている。

透過型スクリーン 6 2は、散乱板 5 2で構成されており、図 1 3において、その散乱板 5 2の A側に、光学フィルタフィルム 5 5が配置されている。

以上のように構成される透過型スクリーン 6 2では、下方向（散乱板 5 2側）から光線を照射することにより、その光線が散乱板 5 2で散乱され、その光線に対応する画像が表示される。この画像は、上方向から光学フィルタフィルム 5 5 を介して観察することができる。なお、図 1 3では、散乱板 5 2に表示された画像は、下方向からでも観察することができる。しかしながら、この場合、下方向からは、その正面方向からだけではなく、任意の方向から画像を観察することができるため、ここでは、散乱板 5 2の下方向の面は、表示面として考えないものとする。従って、図 1 3のライトコントロールスクリーン 2 5では、光線が照射される散乱板 5 2の面と反対側の面側だけに、画像が表示され、表示面は、その面 1つだけである。

ここで、図 1 3のライトコントロールスクリーン 2 5によれば、そのライトコントロールスクリーン 2 5を透過した光線が、ユーザの網膜に結像することによつて、ユーザにより画像が知覚される。従って、図 1 3のライトコントロールスクリーン 2 5は、透過型のスクリーンであるということができる。

なお、図 7や図 1 2のライトコントロールスクリーン 2 5を用いる場合、上述したように、ライトコントロールスクリーン 2 5で反射される光線が、ユーザの網膜上に結像することによって画像が知覚されるため、ユーザは、ライトコントロールスクリーン 2 5から見て、視聴しようとしている画像に対応している光線を発するプロジェクタ 2 l _nと同一方向に位置すれば、その画像を視聴することができる。

これに対して、図 1 3のライトコントロールスクリーン 2 5を用いる場合、ラィトコントロールスクリーン 2 5を透過する光線が、ユーザの網膜上に結像することによって画像が知覚されるため、ユーザは、画像を視聴するためには、図 1 4 Aと図 1 4 Bに示すように、ライトコントロールスクリーン 2 5から見て、その視聴しようとしている画像に対応している光線を発するプロジェクタ.2 l _nと反対方向に位置する必要がある。

ここで、図 1 4 Aでは、ライトコントロールスクリーン 2 5の周囲 3 6 0度のうちの 1 8 0度の範囲の各位置にプロジェクタ 2 1„が配置されており、ユーザは、残りの 1 8 0度の範囲における、プロジェクタ 2 1„の反対側の位置で、画像を視聴することになる。この場合、ユーザは、その位置を、プロジェクタ 2 1 _nが配置されていない 1 8 0度の範囲でしか移動することができないため、その範囲から見た被写体の画像しか観察することができない。

そこで、プロジェクタ 2 l _nは、例えば、図 1 4 Bに示すように、ユーザの位置と交互になるように配置することができる。この場合、ユーザは、その位置を、 3 6 0度の範囲で移動することができる。

なお、ライトコントロールスクリーン 2 5は、上述した構成に限定されるものではない。即ち、ライトコントロールスクリーン 2 5は、上述した構成のものの他、所定の方向から入射する光のみを受光して散乱することにより、画像を表示するスクリーンや、光を受光して散乱することにより、画像を表示し、その画像に対応する光のうちの所定方向のみの光を射出するスクリーンであれば、どのような構成のものであってもかまわない。

次に、図 1 5は、図 6の表示光学系 2 0の他の構成例を示している。なお、図中、図 6における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 1 5の表示光学系 2 0は、 N個のプロジェクタ 2 3^乃至 2 1 _Nに代えて、保持部 7 1、 N個の平面ミラー 7 2 , 7 至 7 2 _N、およぴ魚眼プロジェクタ 7 3が設けられている他は、基本的に、図 6 における場合と同様に構成されている。

但し、図 6の表示光学系 2 0においては、駆動部 2 4が、例えば、床などに固定され、ライトコントロールスクリーン ² 5を回転駆動するのに対して、図 1 5 の表示光学系 2 0では、駆動部 2 4は、例えば、天井などに固定され、ライトコントロールスクリーン 2 5を回転駆動するようになっている。

保持部 7 1は、略円筒形状をしており、ライトコントロールスクリーン 2 5を囲むように設置されている。なお、保持部 7 1は、ライトコントロールスクリーン 2 5に表示された画像の視聴を妨げない程度に、ライトコントロールスクリーン 2 5より下部に設置されている。

また、円筒形状の保持部 7 1の内側には、その法線方向（正面方向）がライトコント口一ルスクリーン 2 5の軸 2 5 Aの方向を向くように、 N個の平面ミラー 7 2 乃至 7 2 _Nが設置されており、保持部 7 1は、この N個の平面ミラー 7 2 i 乃至 7 2 _1<を保持するようになっている。

ここで、保持部 7 1は、平面ミラー 7 2 _nを保持する役割を果たす他、後述する魚眼プロジェクタ 7 3が発する光線が、直接、ユーザの視覚に入ることを防止する役割も果たす。

魚眼プロジェクタ 7 3は、プロジェクタ 7 4と魚眼レンズ 7 5で構成されており、プロジェクタ 7 4は、信号処理部 2 2から供給される画像データに対応する光線を発し、魚眼レンズ 7 5は、そのプロジェクタ 7 4からの光を、周囲に、広角に放射する。なお、魚眼プロジェクタ 7 3は、例えば、その光軸が、ライトコントロールスクリーン 2 5の軸 2 5 Aと一致するように配置されている。また、魚眼プロジェクタ 7 3は、保持部 7 1より下部に配置されている。

以上のように構成される表示光学系 2 0では、魚眼プロジェクタ 7 3が、信号処理部 2 2から供給される画像データに対応する光線を、魚眼レンズ 7 5を介することにより広角に発する。魚眼プロジェクタ 7 3が発する光線は、図 1 6に示すように、その魚眼プロジェクタ 7 3の光軸を囲むように配置されている保持部 7 1に保持されている平面ミラー 7 2„に入射し、そこで、ライトコントロールスクリーン 2 5に向かって反射される。ライトコントロールスクリーン 2 5では、この光線が受光されることにより、その光線に対応する画像が表示される。従って、図 1 5の表示光学系 2 0では、平面ミラー 7 2„がライトコントロールスクリーン 2 5に向かって反射する光線が、図 6のプロジェクタ 2 1„が発する光線と同一であれば、平面ミラー 7 2 _nは、プロジェクタ 2 l _nと等価になる。その為、図 1 5においても、図 6の表示光学系 2 0における場合と同一の画像が、ライトコントロールスクリーン 2 5で表示される。

そこで、図 1 7は、表示光学系 2 0が図 1 5に示したように構成される場合の、図 6の信号処理部 2 2の構成例を示している。なお、図中、図 6における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 1 7の信号処理部 2 2は、幾何変換合成部 4 4が新たに設けられている他は、図 6における場合と同様に構成されている。

幾何変換合成部 4 4は、復号部 4 3から供給される、カメラ 1 乃至 1 それぞれで撮像された画像データを幾何変換して合成することにより、平面ミラー 7 2 _nがライトコントロールスクリーン 2 5に向かって反射する、魚眼プロジェクタ 7 2からの光線が、図 6のプロジェクタ 2 l _nが発する光線に一致するものとなるような画像データ（以下、適宜、幾何変換画像データという）を生成し、魚眼プロジェクタ 7 3 (図 1 5 ) に供給する。

即ち、ここでは説明を簡単にするために、魚眼プロジェクタ 7 3の魚眼レンズ 7 5として、例えば、図 1 8に示すような等距離射影方式の魚眼レンズ（いわゆる f 0 の魚眼レンズ）が採用されているものとする。

ここで、等距離射影方式の魚眼レンズ 7 5によれば、その魚眼レンズ 7 5の光軸に対する入射光の入射角を Θ とするとともに、魚眼レンズ 7 5の焦点距離を f とすると、像高 yは、 f 0 で表される。

従って、いま、図 1 8に示すように、魚眼レンズ 7 5の光軸と垂直な 2次元平面において、その光軸と交わる点を基準点 P。と表す場合において、入射角 0 の入射光が魚眼レンズ 7 5に入射したときに、その入射光が 2次元平面で受光される点 P iと、基準点 P。との間の距離は、 f 0 iで表される。同様に、入射角 0 ₂の入射光 R ₉.が魚眼レンズ 7 5に入射したときに、その入射光 R₂が 2 次元平面で受光される点 P₂と、基準点 P。との間の距離 r₂は、 f 0₂で表される。そして、光線 R₂の入射角 0₂が、光線 1^の入射角の、例えば 2倍の角度である場合には、距離 r₂も、距離の 2倍となる。

ところで、上述の魚眼レンズ 75の光軸と垂直な 2次元平面上に、図 19に示す 2次元座標系を考え、基準点 Ρ₀の座標を、（x。， y ₀) と表すこととする。そして、この基準点 P。を中心とする楕円を想定する。なお、この楕円の長軸または短軸のうちの一方は、 2次元座標系の X軸または y軸のうちの一方と平行に、長軸または短軸のうちの他方は、 2次元座標系の X軸または y軸のうちの他方と平行に、それぞれ配置するものとする。

この場合、 2次元座標系の楕円内のある点（画素） Pの座標（X , y ) と、魚眼レンズ 75によって、点 Pに射影される光線の光線方向との関係は、次式で表される。

• · · (1) 但し、式（1) において、 r_xは、 2次元座標系に想定した楕円の長径または短径のうちの、 X軸と平行な方の 1ノ2の長さを表し、 r_yは、長径または短径のうちの、 y軸と平行な方の 1Z2の長さを表す。

また、式（1) において、 0 は、図 20に示すような、魚眼レンズ 75の光軸を z軸とするとともに、 X軸と y軸として、図 1 9の 2次元座標系の原点を基準点 P。としたときの、その 2次元座標系の X軸と y軸を採用した 3次元座標系において、魚眼レンズ 75に入射する光線 Rと、 X y平面とがっくる角度を表す _c さらに、式（1) において、 φ は、魚眼レンズ 75に入射する光線 Rを X y平面に射影した線と、 X軸とがっくる角度を表す。なお、式（1) において、角度 Θ と øの単位は、ラジアンである。

式（1) から、 t a n øは、式（2) で表すことができる。 i , _x(y-yo)

tan φ = ~~

r_y(x-xo)

… (2) 式（2) から、角度 ø は、式（3) によって求めることができる。 _n . -! r_x(y-yo)

Θ =tan ¹ ~ r

r_y(x-xo)

• · · (3) 但し、式（3) の逆正接（arctangent) ( t a n ^_1) を計算するにあたっては、点 Pが位置する象限を考慮する必要がある。

式（1) と式（3) から、角度 θ は、式（4) によって求めることができる,

. . . (4) いま、幾何変換合成部 44が魚眼プロジェクタ 7 2に供給する幾何変換画像データを構成する画素における、ある位置（X , y) の画素に注目すると、その注目画素に対応する光線が、魚眼プロジェクタ 7 2から射出される光線方向（0, Φ) は、式（3) および（4) によって求めることができる。

そして、この注目画素に対応する光線（以下、適宜、注目光線という）力 S、平面ミラー 7 2 _nで反射され、ライトコントロールスクリーン 2 5に向かう力ら、平面ミラー 7 2_nの位置に、平面ミラー 7 2„の代えて、プロジェクタ 2 l_nが配置されていると仮定した場合に、プロジェクタ 2 1„が発する光線のうち、平面ミラー 7 2_nで反射された注目光線と一致する光線に対応する画素（の画素値）が、注目画素と一致していれば、平面ミラー 7 2_nから、ライトコントロールスクリーン 2 5に対して、プロジェクタ 2 l_nが発する光線と同一の光線が照射されることになる。そこで、幾何変換合成部 4 4 (図 1 7 ) は、復号部 4 3から供給される、カメラ 1 乃至 1 1 _Nそれぞれで撮像された画像データを用い、上述したように、平面ミラー 7 2„の位置に、平面ミラー 7 2„の代えて、プロジェクタ 2 が配置されていると仮定した場合に、プロジェクタ 2 1„が発する光線のうち、平面ミラー 7 2 _πで反射された注目光線と一致する光線に対応する画素が注目画素と一致する画像データとしての幾何変換画像データを生成し、魚眼プロジェクタ 7 3 に供給する。

この場合、魚眼プロジェクタ 7 3が幾何変換合成部 4 4から供給される幾何変換画像データに対応して発光する光線が、平面ミラー 7 2 ₁₁で反射されると、その反射光は、平面ミラー 7 2„の位置にプロジェクタ 2 1„が配置されている揚合に、そのプロジェクタ 2 1 _ηが発する光線と同様のものとなるから、図 1 5の表示光学系 2 0では、図 6の表示光学系 2 0における場合と同様の画像の表示が行われることになる。

なお、図 1 5の表示光学系 2 0では、保持部 7 1の内側に、平面ミラー 7 2 _η を保持し、その平面ミラー 7 2 _ηによって、魚眼プロジェクタ 7 3が発する光線を、ライトコントロールスクリーン 2 5に向かって反射するようにしたが、その他、例えば、保持部 7 1の内側に、平面ミラー 7 2。を設ける代わりに、保持部 7 1の内側をミラーで構成し、そのミラーによって、魚眼プロジェクタ 7 3が発する光線を、ライトコントロールスクリーン 2 5に向かって反射するようにすることが可能である。

また、図 1 5では、プロジェクタ 7 4のレンズとして、魚眼レンズ 7 5を採用することにより、プロジェクタ 7 4が発する光線を広角に射出するようにしたが、プロジェクタ 7 4のレンズとしては、 ^眼レンズ 7 5以外の、光線を広角に射出するレンズを採用することが可能である。

次に、図 2 1は、図 4の撮像装置 1における信号処理部 1 2の他の構成例を示している。なお、図中、図 4における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 2 1の信号処理部 1 2は、幾何変換合成部 3 4が新たに設けられ、多重化部 3 3が設けられていない他は、図 4における場合と同様に構成されている。

幾何変換合成部 3 4は、ストレージ 3 乃至 3 1 _Nから、カメラ 1 乃至 1 1 _Nで撮像された画像データを読み出し、その画像データを用いて、図 1 7の幾何変換合成部 4 4における場合と同様の処理を行うことで、幾何変換画像データを生成する。

この幾何変換画像データは、幾何変換合成部 3 4から符号化部 3 2に供給され、符号化部 3 2において、符号化データとされた後、伝送媒体 3または記録媒体 4 (図 3 ) を介して、表示装置 2に供給される。

次に、図 2 2は、撮像装置 1の信号処理部 1 2が図 2 1に示したように構成される場合の、表示装置 2における信号処理部 2 2の構成例を示している。なお、図中、図 1 7における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 2 2の信号処理部 2 2は、分離部 4 2および幾何変換合成部 4 4が設けられていない他は、図 1 7における場合と同様に構成されている。

図 2 1の信号処理部 1 2によれば、上述したように、幾何変換画像データが生成され、その幾何変換画像データを符号化した符号化データが、伝送媒体 3または記録媒体 4を介して、図 2 2の信号処理部 2 2に供給される。図 2 2の信号処理部 2 2では、ストレージ 4 1において、その符号化データが一時記憶され、さらに、復号部 4 3において、その符号化データが、幾何変換画像データに復号され、図 1 5に示した表示光学系 2 0の魚眼プロジェクタ 7 3に供給される。

次に、図 2 3は、本発明を適用した撮像表示システムの他の一実施の形態の構成例を示している。なお、図中、図 3、図 4、または図 6における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図 2 3の実施の形態では、撮像装置 1が、 2つの撮像光学系 1 および 1 0 ₂、 2つの信号処理部 1 2 Lおよび 1 2 ₂、並びに多重化部 8 1で構成されている。撮像光学系 1 0 と 1 0₂は、いずれも、図 4の撮像光学系 1 0と同様に構成されている。撮像光学系は、被写体 Siを撮像し、その結果得られる画像データを、信号処理部 1 2iに供給する。また、撮像光学系 1 0₂は、被写体 Siとは異なる被写体 S₂を撮像し、信号処理部 1 2₂に供給する。

即ち、図 24に示すように、撮像光学系では、被写体 S_tの周囲に配置された多数のカメラ（本実施の形態では、図 4で説明したように、 N個のカメラ）によって、被写体 S_tが撮像され、また、撮像光学系 1 0₂でも、被写体 S₂の周囲に配置された多数のカメラによって、被写体 S ₂が撮像される。

信号処理部 1 2_tと 1 2₂は、いずれも、図 4の信号処理部 1 2と同様に構成されている。そして、信号処理部 1 2iと 1 2₂は、撮像光学系 1 0_Lと 1 0₂から供給される被写体 Siと S₂の画像データを、図 4の信号処理部 1 2における場合と同様にそれぞれ処理し、その結果得られるデータストリームを、多重化部 8 1に供給する。

多重化部 8 1は、信号処理部 1 2 と 1 2₂それぞれから供給される 2つのデータストリームを、 1つのデータストリームに多重化し、伝送媒体 3または記録媒体 4を介して、表示装置 2に供給する。

図 2 3において、表示装置 2は、表示光学系 2 0、 2つの信号処理部 2 2iおよび 2 2₂、コントローラ 2 3、分離部 9 1、並びに合成部 9 2から構成されており、撮像装置 1 (の多重化部 8 1) から供給されるデータストリームは、分離部 9 1で受信される。

分離部 9 1は、撮像装置 1からのデータストリームを、信号処理部 1 2iと 1 2₂で得られた 2つのデータストリームに分離し、それぞれを、信号処理部 2 2i と 2 2₂に供給する。

信号処理部 2 2iと 2 2₂は、いずれも、図 6の信号処理部 2 2と同様に構成されている。そして、信号処理部 2 2iと 2 2₂は、分離部 9 1から供給される、信号処理部 1 2 と 1 2₂それぞれで得られたデータストリームを、図 6の信号処理部 2 2における場合と同様に処理し、その結果得られる被写体 S と S ₂の画像データを、合成部 9 2に供給する。

合成部 9 2は、信号処理部 2 2 ^から供給される被写体 S j^の画像データと、信号処理部 2 2 ₂から供給される被写体 S ₂の画像データとを合成（スーパインポズ）し、合成画像データを生成する。なお、図 2 4に示したように、信号処理部 2 2 iと 2 2 ₂から供給される被写体 S ₁と S ₂の画像データは、被写体 S tと S ₂を、その周囲に配置された多数のカメラで撮像されたものであり、合成部 9 2では、例えば、各方向から撮像された被写体 S iの画像データと、その方向と同一方向から撮像された被写体 S ₂の画像データとが合成される。

ここで、合成部 9 2では、各方向から撮像された被写体の画像データと、その方向と異なる方向から撮像された被写体 S ₂の画像データとを合成することも可能である。但し、この場合、合成する 2つの被写体と S ₂の画像データの撮像方向は、同一角度だけずれている（同一位相だけずれている）必要がある。合成部 9 2で得られた合成画像データは、表示光学系 2 0に供給され、表示光学系 2 0では、図 6における場合と同様にして、合成画像データが表示される。従って、図 2 3の表示光学系 2 0では、例えば、図 2 5に示すように、被写体 S iの画像と、被写体 S ₂の画像とを合成した画像が表示される。

図 2 3の撮像表示システムによれば、例えば、被写体の画像データとして、プロゴルファーが素振りをしている様子を撮像した画像データを採用するとともに、被写体 S ₂の画像データとして、ユーザがゴルフクラブの素振りをしている様子を撮像した画像データを採用することで、表示光学系 2 0では、その 2つの画像データを合成した画像データが表示される。この場合、ユーザは、自身のスイングと、プロゴルファーのスイングとの違いを、詳細にチェックすることができる。

ここで、図 2 3の実施の形態では、撮像装置 1において、撮像光学系 1 0 ₁と 1 0 ₂それぞれで得られた画像データを、多重化部 8 1で多重化することにより、 1つのデータストリームとして、表示装置 2に供給するようにしたが、表示装置 2には、図 4に示した撮像装置 1と同様に構成される複数の撮像装置を、遠隔地に設置し、その複数の撮像装置それぞれから、図 2 3の表示装置 2に画像データを送信するようにすることも可能である。なお、この場合、図 2 3の表示装置 2 は、分離部 9 1を設けずに構成することができる。但し、表示装置 2には、信号処理部 2 2と同様の信号処理部を、複数の撮像装置と同一個数だけ設ける必要がある。

また、図 2 3の実施の形態では、合成部 9 2において、被写体 Siと S₂の画像データを単に合成するようにしたが、合成部 9 2では、被写体 Siと S₂の画像データを、その前後関係を考慮して合成したり、スケールを変えて合成したりすることが可能である。さらに、合成部 9 2では、 Stと S₂の画像データを、そのうちの一方または両方の位置をシフトして合成すること等も可能である。

次に、図 26は、図 6の表示光学系 20のさらに他の構成例を示している。なお、図中、図 6における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図 26の表示光学系 20は、 1セットの駆動部 24およびライトコントロールスクリーン 2 5に代えて、複数としての、例えば、 7セットの駆動部 24^乃至 2 4₇およびライトコントロールスクリーン 2 5i乃至 2 5₇が設けられている他は、図 6における場合と同様に構成されている。

駆動部 24_t乃至 24₇は、コントローラ 2 3 (図 6) の制御の下、ライトコントロールスクリーン 2 5i乃至 2 5₇を、例えば、同一位相で、かつ同一の角速度で回転駆動する。従って、ライトコントロールスクリーン 2 5i乃至 2 5₇のうちの 1つのライトコントローノレスクリーン 2 5 j ( j = 1 , 2, · · ' ， 7 ) の正面方向が、あるプロジェクタ 2 l_nの光軸方向を向いた場合、他のライトコント口ーノレスクリーン 2 5 j' ( j = 1 , 2, ■ · · ， 7 ： j ≠ j ' ) の正面方向も、そのプロジェクタ 2 l_nの光軸方向を向くことになる。

また、駆動部 2 ^乃至 24₇およびライトコントロールスクリーン 2 5 乃至 2 5₇は、ライトコントロールスクリーン 2 5i乃至 25₇を、その正面方向に位置するプロジェクタ 2 l _nの位置から見たときに、少なくとも 3つのスクリーンの端部が重なり合って、その少なくとも 3つのスクリーンを水平方向に並べたのと同程度の大きさのスクリーンが等価的に形成されるように配置されている。従って、図 2 6の表示光学系 2 0によれば、ライトコント口一ルスクリーン 2 5 i乃至 2 5 ₇それぞれの大きさが小さくても、等価的に形成される大きなスクリーンに、大きな画像を表示することができる。

なお、本件発明者が行った実験によれば、 A 5サイズの長手方向を回転軸としたスクリーンは、市販のモータによって、 8 H _Z程度で回転させることができた。次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストー/レされる。

そこで、図 2 7は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードデイスク 1 0 5や R O M 1 0 3に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、 CD-ROM (Compact Dis c Read Only Memory) , MO (Magneto Optical)ディスク， DVD (Digital Versati le Disc) , 磁気ディスク、半導体メモリなどのリムーバブル記録媒体 1 1 1に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体 1 1 1は、いわゆるパッケージソフトウェアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体 1 1 1からコンビユータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、 LAN (Local Area

Network) _N ィンターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部 1 0 8で受信し、内蔵するハードディスク 1 0 5にインストルすることができる。

コンピュータは、 CPU (Central Processing Unit) 1 0 2を内蔵している。

CPU 1 0 2には、バス 1 0 1を介して、入出力ィンタフェース 1 1 0が接続されており、 CPU 1 0 2は、入出力インタフェース 1 1 0を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部 1 0 7が操作等されることにより指令が入力されると、それにしたがって、 ROM (Read Onl y Memory) 1 0 3 に格納されているプログラムを実行する。あるいは、また、 CPU 1 0 2は、ハードディスク 1 0 5に格納されているプログラム、衛星若しくはネットワークから転送され、通信部 1 0 8で受信されてハードディスク 1 0 5にインストールされたプログラム、またはドライブ 1 0 9に装着されたリムーバブル記録媒体 1 1 1 から読み出されてハードディスク 1 0 5にィンストールされたプログラムを、 RAM (Random Access Memory) 1 0 4にロードして実行する。これにより、 CPU 1 0 2は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、 CPU 1 0 2は、その処理結果を、必要に応じて、例えば、入出力インタフェース 1 1 0を介して、 LCD (Liqui d Crystal Di splay)やスピーカ等で構成される出力部 1 0 6から出力、あるいは、通信部 1 0 8から送信、さらには、ハードディスク 1 0 5に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿つて時系列に処理する必要はなく、並列的あるいは個別に実行される処理 (例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、 1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。なお、図 3や図 2 3に示した撮像表示システムと、前述した I P立体画像システム、および zebra imagingを比較すると、図 2 8 A乃至図 2 8 Dに示すようになる。

即ち、 I P立体画像システムでは、図 2 8 Aに示すように、多数のユーザに対して、各ユーザの視点から見た画像を提示することができ、その提示する画像は、動きのあるものであっても問題ない。また、 I P立体画像システムは、ユーザの視点の自由度も高い。しかしながら、 I P立体画像システムでは、前述したように、高解像度の画像を提示することは困難である。

また、 zebra imaging では、図 2 8 Bに示すように、多数のユーザに対して、各ユーザの視点から見た画像を提示することができ、その提示する画像は、高解像度のものとすることができる。さらに、 zebra imagingは、 I P立体画像システムと同様に、ユーザの視点の自由度も高い。しかしながら、 zebra imaging では、前述したように、動きのある画像の提示が困難である。

これに対して、図 3や図 2 3に示した撮像表示システムでは、図 2 8 Cに示すように、ユーザの視点の自由度が、 I P立体画像システムや zebra imagingと比較して多少劣るものの、多数のユーザに対して、各ユーザの視点から見た画像を提示することができる。そして、その提示する画像は、高解像度のものとすることができ、さらに、動きのある画像であっても、問題ない。

ここで、本件出願人は、被写体の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、その画像データを、ユーザの視点から見える被写体の画像データに変換する方法について先に提案している

(特願 2 0 0 2 - 1 6 1 8 3 8 ) 。この方法によれば、ディスプレイにおける画像に表示された被写体をのぞき込むように、ユーザが視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の画像データ、つまり、ユーザが靦き込んだ被写体の部分が見える状態となった画像データがディスプレイに表示されるので、「のぞけるテレビ」（任意視点画像表示 T V ) と呼ばれる。この「のぞけるテレビ」では、図 2 8 Dに示すように、高解像度の画像を表示することができ、さらに、ユーザの視点の自由度も高い。伹し、「のぞけるテレビ」では、表示面は 1つである為、多数のユーザに対して、各ユーザの視点から見た画像を提示することは困難である。

なお、本実施の形態では、ライトコントロールスクリーン 2 5を 1つのスクリーンで構成するようにしたが、ライトコントロールスクリーン 2 5は、例えば、図 1 2に示したライトコントロ一レスクリーン 2 5と同一構成の 3枚のスクリーンを、その表示面が表側を向くように、 3角柱状に接続して構成し、その底面の 3角形の重心を通る軸を回転軸として回転させること等が可能である。産業上の利用可能性

以上の如く、本発明によれば、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することが可能となる。

Claims

請求の範囲

1 . 光を受光することにより、前記光に対応する画像を表示するスクリーンと、前記スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、

前記スクリーンに対して、複数の方向から、前記画像に対応する光を照射する照射手段と

を備えることを特徴とする表示装置。

2 . 前記スクリーンは、

受光した光を散乱する散乱板と、

前記散乱板で散乱された光のうち、所定の方向の光のみを通過させる光学フィルタと

を有する

ことを特徴とする請求の範囲第 1項に記載の表示装置。

3 . 前記スクリーンは、平板形状の前記散乱板の両面または 1つの面に、前記光学フィルタを配置したものである

ことを特徴とする請求の範囲第 2項に記載の表示装置。

4 . 前記照射手段は、前記スクリーンの回転軸を囲むように、同一平面内に配置された、前記画像に対応する光を発光する複数の発光手段を有する

ことを特徴とする請求の範囲第 1項に記載の表示装置。

5 . 前記複数の発光手段は、その光軸が、前記スクリーンの回転軸上の同一の点で交わるように配置されている

ことを特徴とする請求の範囲第 4項に記載の表示装置。

6 . 前記照射手段は、

前記画像に対応する光を、広角に発光する広角発光手段と、

前記広角発光手段が発光した光を、前記スクリーンの方向に反射する反射手段と

を有する

こを特徴とする請求の範囲第 1項に記載の表示装置。

7 . 前記照射手段は、被写体を撮像する、前記被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された前記被写体の画像に対応する光を照射する

ことを特徴とする請求の範囲第 1項に記載の表示装置。

8 . 前記照射手段は、前記被写体に対する前記複数の撮像手段の位置それぞれに対応する前記複数の方向それぞれから、前記画像に対応する光を照射することを特徴とする請求の範囲第 7項に記載の表示装置。

9 . 前記照射手段は、前記複数の撮像手段それぞれによって撮像された前記被写体の画像に対応する光を発光する複数の発光手段を有する

ことを特徴とする請求の範囲第 8項に記載の表示装置。

1 0 . 前記複数の発光手段は、それぞれの光軸の位置関係が、前記複数の撮像手段それぞれの光軸の位置関係と相似になるように配置されている

ことを特徴とする請求の範囲第 9項に記載の表示装置。

1 1 . 前記照射手段は、

を有し、

前記反射手段によつて反射された光が前記スタリーンで受光されることにより表示される画像が、前記複数の撮像手段によって撮像された前記被写体の画像になるように、前記複数の撮像手段によって撮像された前記被写体の画像を変換する変換手段をさらに備え、

前記広角発光手段は、前記変換手段により変換された画像に対応する光を発光する

ことを特徴とする請求の範囲第 7項に記載の表示装置。

1 2 . 2以上のセットの前記複数の撮像手段の各セットで撮像された画像を合成し、合成画像を出力する合成手段をさらに備え、前記照射手段は、前記合成画像に対応する光を照射する

ことを特徴とする請求の範囲第 7項に記載の表示装置。

1 3 . 前記複数の撮像手段をさらに備える

ことを特徴とする請求の範囲第 7項に記載の表示装置。

1 4 . 前記スクリーンは、所定の方向から入射する光のみを受光して散乱することにより、前記画像を表示する

ことを特徴とする請求の範囲第 1項に記載の表示装置。

1 5 . 前記スクリーンは、光を受光して散乱することにより、前記画像を表示し、その画像に対応する光のうちの所定方向のみの光を射出する

ことを特徴とする請求の範囲第 1項に記載の表示装置。

1 6 . 前記駆動手段は、前記照射手段が前記スクリーンに光を照射する方向の数と、前記照射手段の照射頻度に応じて前記スクリーンを回転駆動する

ことを特徴とする請求の範囲第 1項に記載の表示装置。

1 7 . 光を受光することにより、前記光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、

前記スクリーンに対して、複数の方向から、前記画像に対応する光を照射することを特徴とする表示方法。

1 8 . 光を受光することにより、前記光に対応する画像を表示する表示装置であって、

光を受光して散乱することにより、その光に対応する画像を表示する散乱板と、前記散乱板で散乱された光のうち、所定の方向の光のみを透過させる光学フィノレタと

を備えることを特徴とする表示装置。

1 9 . 前記散乱板は、平板形状のものであり、

前記光学フィルタは、前記散乱板の両面または 1つの面に配置されていることを特徴とする請求の範囲第 1 8項に記載の表示装置。

2 0 . 光を受光することにより、前記光に対応する画像を表示する表示方法であって、

受光した光を散乱する散乱板において、光を受光して散乱することにより、その光に対応する画像を表示し、

前記散乱板で散乱された光のうち、所定の方向の光のみを透過させることを特徴とする表示方法。