【発明の詳細な説明】
可視的ディスプレイシステム及びその可視化用記録を生成するシステム及びその
方法
発明の分野
本発明は、一般に、可視的ディスプレイシステムに関する。本発明は特に、三
次元可視画像を表示し、表示された画像から視聴者が受ける臨場感を刺激するた
めの可視的ディスプレイシステム及びその方法に関する。本発明は、可視的ディ
スプレイシステム上での可視化のための各可視画像の記録を生成するためのシス
テム及び方法にも関する。
発明の背景
深度(depth)を知覚する方法は３つある。すなわち立体的深度知覚、心理的深
度知覚そして深度を知覚するための焦点変化の使用、である。焦点が変化する１
つのシーンを視る視聴者はそのシーンが深度を有することを知覚するだろう。
立体的深度知覚には、視聴者が同時に２つの異なる場所から１つのシーンを視
ることが必要である。現実には、このことはすなわち、視聴者が異なる画像を見
るのにその左右両眼を用いて同じシーンを見るということを意味している。二次
元可視画像を現実と置き換える場合、それぞれ異なる右眼及び左眼の場所からと
られた２つの画像を用いることが必要である。
一方、視聴者は、現実及び２次元可視画像の両方に存在する数多くの心理学的
深度知覚合図によって深度を知覚することができる。一般的な合図としては、色
の変化又は形の柔軟化が遠くの物体まで
の距離感覚を与える面積的遠近、１つの物体上の光と影の分布、近い物体がより
遠くの物体の一部分を隠す場合といったような輪郭の重複、例えば距離が延びる
につれての鉄道軌道の平行なレールの収束の場合におけるもののような幾何学的
遠近、視聴者に向かって又は視聴者から離れる可視画像内の１つの物体の動き、
及びプルフリヒ効果(Pulfrich effect)を刺激するための動き、が含まれる。
これは、２次元可視画像がスクリーンに映写されるさまざまな装置全てについ
て言えることである。このような装置には、娯楽、仕事、教育、展示会、トレー
ニングなどの分野に利用分野をもつテレビを含む家庭用娯楽システム、映画館、
トレーニングシミュレータ、マルチメディアシステムなどがある。
視聴者が二次元可視画像を視た時に三次元可視画像又は少なくとも三次元可視
画像の錯覚を視ることができるようにするために、数多くの装置が提供されてき
た。これらの装置は、次の３つのグループに入る：すなわち、立体的ビューイン
グを与えるもの、深度の心理的錯覚を作り出すものそして、３次元可視画像を提
供するものである。
立体的ビューイングを提供する装置は、一般に、正常な眼の双眼映像をまねる
（エミュレートする）ために、わずかに異なる角度から複数のカメラで同時に撮
影した、同じ視野（ビュー）の２つのピクチャを映写することを必要とする。い
くつかの例が、McElveenに対する米国特許第 4,420,230号、Zeevi に対する第 4
,714,319号及びMarks に対する第 5,225,861号に示されている。振動式ミラー又
はスクリーンの使用は、Sherに対する米国特許第 4,130,832号及びNims et al．
に対する第 3,814,513号に示されている。その他のシステムは、視聴者が装着す
べき特殊なメガネ又は、適切な眼に適切な視野（ビュー）を導くその他の装置を
必要とする。これらのシス
テムは全くわずらわしく使用コストの高くつくものである。
第２のアプローチは、視るべき画像を隔離することによって深度知覚を提供し
、Rickertに対する米国特許第 4,651,219号、Shindoに対する第 3,582,961号及
びField に対する第 4,000,367号の中で示されている。このようにして、画像を
とり囲む空間の立体的合図は抑制され、従って、観察者はピクチャー内の固有の
心理的深度指示体を感知することができ、三次元シーンとして二次元可視画像を
知覚する。類似の結果を作り出すその他の装置は、Redington et al.に対する米
国特許第 3,820,873号、湾曲スクリーンを利用するHarveyに対する米国特許第 4
,154,514号及びプルフリヒの錯覚(Pulfrich illusion)を利用するKenyonに対す
る米国特許第 4,941,041号に記述されている。
三次元ビューイングを提供するためのその他の装置は、同じく、以下の米国特
許の中で記述されている：
de los Monteros に対する米国特許第 2,468,046号は、画像間の移動の度合が立
体知覚の錯覚を生み出すような形でスクリーン上に映写機からの画像を反射する
ために少なくとも１枚の鏡を使用することにより深度効果を伴って画像を映写し
視るための装置を開示している。
Tuckerに対する米国特許第 3,514,871号は、数多くの広角ディスプレイに見ら
れる混乱させる不連続性を除去するトレーニングシミュレータのための広角可視
的ディスプレイを開示している。これは、視点と２次元ディスプレイの間に３つ
の虚像レンズを提供し、ディスプレイの周縁部分上に投映された画像の実質的な
複製を提供することによって行なわれる。これは、三次元性の錯覚を与える双眼
映像をディスプレイのコーナーで作り上げる。
Webster に対する米国特許第 5,274,405号は、視角的注意領域と
各眼の周辺映像の領域の両方に対し画像が投映される、頭を中に突っ込む形の装
置について記述している。画像は、視角全体を通して鮮明な立体的ビューイング
を提供するべくスクリーン上で焦点合せされる。
三次元可視画像を表示し、表示された画像から視聴者が受ける臨場感を刺激す
るための単純かつ経済的な可視的ディスプレイシステム及び方法に対するニーズ
が存在する。
同様に、可視的ディスプレイシステム上での可視化のための可視画像の記録を
生成するためのシステム及び方法に対するニーズも存在している。
発明の要約
本発明は、三次元可視画像を表示し、表示された画像から視聴者が受ける臨場
感を刺激するための可視的ディスプレイシステム及びその方法を提供する。本発
明はまた、可視的ディスプレイシステム上での可視化のための可視画像の記録を
生成するためのシステム及び方法をも提供する。
この可視的ディスプレイシステムは、テレビを含む家庭用娯楽システム、トレ
ーニングシミュレータ、マルチメディアシステム、映画館、展示会などでの使用
に容易に適合させることができる。
本発明の第１の形態に従うと、可視的ディスプレイシステムには、主スクリー
ンと少なくとも２つの周辺スクリーンが含まれている。主スクリーンは第１のシ
ーンの一次的二次元可視画像を表示する。周辺スクリーンは、少なくとも２つの
二次的可視画像を表示する。これらの３つの可視画像は合わさって三次元可視画
像を生成する。二次的可視画像は、第１のシーンとは時間的に異なるか又は空間
的に著しく異なる少なくとも第２及び第３のシーンの各画像から処
理される。二次的可視画像の各々は、一次的可視画像と整合して、それと共に均
一の視界を形成する。
二次的可視画像整合ユニットは、マルチスケーラー、速度整合装置、モーショ
ン整合装置、エッジ整合装置及びカラー整合装置のうちの少なくとも１つを含ん
で成る。マルチスケーラーは、一次的可視画像のスケールを整合させるべく選択
された二次的可視画像をスケーリングする。速度整合装置は、一連の選択された
二次的可視画像のタイミングを、一連の一次的可視画像のタイミングと整合させ
る。モーション整合装置は、一連の選択された二次的可視画像の中のカメラモー
ションを一連の一次的可視画像のカメラモーションに整合させる。エッジ整合装
置は、一次的画像の各々のエッジを、それに隣接する二次的画像のうちの１つの
画像のエッジとブレンド(blend)させる。カラー整合装置は、選択された二次的
画像のカラー品質を一次的可視画像のカラー品質に整合させる。
一次的可視画像は、実在画像であっても、コンピュータで生成された画像又は
動画化された画像であってもよい。一次的可視画像は表示された画像の主題であ
るため、二次的可視画像を一次的画像と同じ要領、場所又は時間で取上げる必要
はない。その代り、二次的可視画像は一次的可視画像に整合させられる。従って
、実際には、二次的可視画像の各々は実在画像、コンピュータ生成画像又は動画
化画像のいずれであってもよい。二次的可視画像は標準的には、三次元性の効果
を減じることなく、一次元可視画像よりも低い解像度で表示される。その上、表
示された画像の三次元性をさらに増強するため二次的可視画像の中に動きを生成
するべくコンピュータ化された技術が利用される。
可視的ディスプレイシステムの特定の実施形態に応じて、各々のスクリーンは
、映画館スクリーン、テレビスクリーン、コンピュー
タモニター、LCD スクリーンなどから成るグループのうちのいずれか１つであっ
てよい。
このシステムはまた、可視的ディスプレイシステムの特定の実施形態に応じて
、写真フィルム映写機(projector)、CRT 管、及びビデオ映写機(projector)から
成るグループのうちのいずれか１つであってよい映写装置を包含することもでき
る。
可視的ディスプレイシステムのさらなる特徴としては、システム上に表示され
た可視画像に随伴するためのサウンドトラックを再生する複数のスピーカー及び
台形の形状の周辺スクリーンを提供するということがある。
三次元可視画像を表示する可視的ディスプレイシステム上での可視化のため可
視画像の記録を生成するシステム及び方法もまた開示されている。このシステム
は、一次及び二次可視画像供給源、選択ユニット及び二次的可視画像整合ユニッ
トを包含している。一次的可視画像供給源は、第１のシーンをビューイングする
一次的可視画像を記憶する。二次的可視画像供給源は、各々第１のシーンとは異
なるシーンをビューイングする二次的可視画像を記憶する。選択ユニットは、二
次的可視画像が一次的可視画像と両立性をもつように二次的可視画像供給源から
少なくとも２つの二次的可視画像を選択する。整合ユニットは、一般に、一次的
可視画像と、選択された二次的可視画像を整合させる。
一次的可視画像供給源は、テレビカメラ、写真フィルムカメラ、コンピュータ
データベース及びコンピュータサブルーチンから成るグループのうちのいずれか
１つからの記録であってよい。類似の要領で、二次的可視画像供給源は、テレビ
カメラ、写真フィルムカメラ、コンピュータデータベース及びコンピュータグラ
フィックルーチンから成るグループのうちのいずれか１つからの記録であってよ
い。該システムはまた、二次的可視画像の記録を出力するための出力装置及び可
視画像に随伴するべくサランドトラックを準備するためのサウンドトラック装置
をも包含することができる。
本発明の第３の好ましい実施態様に従うと、一般に第１のカメラのカメラモー
ションと第２のカメラを整合させる方法も提供される。この方法は、（ａ）記録
装置上に前記第１のカメラによって生成された可視画像のシーケンスを記録する
段階、及び（ｂ）前記第２のカメラでの撮影時点で、前記記録された可視画像の
シーケンスを表示する段階、及び（ｃ）前記記録された可視画像のシーケンスの
中に表示されたカメラの動きを整合させようと試みながら前記第２のカメラで撮
影する段階を含んでいる。
該第１及び第２のカメラは、異なる時刻に作動させられた同じカメラであって
もよいし、又は異なるシーンをビューイングする２つのカメラ又は異なるシーン
をビューイングする同じカメラであってもよい。
図面の簡単な説明
本明細書において、本発明は図面を参考にしながら一例としてのみ記述されて
いる。
図１は、本発明の教示に従って構築され作動する三次元可視画像を表示するた
めの可視的スクリーンシステムを概略的に例示する図である。
図２Ａ〜２Ｃは、図１の可視的ディスプレイシステムによって表示されるよう
な三次元可視画像を作り出すための、一次的及び二次的可視画像を示す図である
。
図３Ａ−３Ｃは、図１の可視的ディスプレイシステムの３つの実施例の概略図
である。
図４は、図１の可視的ディスプレイシステム上での可視化のための可視画像の
記録を生成するシステムの概略図である。
図５は、図４のシステムの作動を例示するフローチャートである。
図６は、図４のシステムの一部を成す二次的画像処理装置のブロック図である
。
図７は、図６の装置を理解する上で役にたつ二次的可視画像のスケーリングを
絵画的に例示する図である。
図８Ａ及び８Ｂは、図６の装置を理解する上で役立つ、２つの一連の二次的可
視画像の絵画的に例示する図である。
図９は、図６の装置を理解する上で役立つ、モーション整合用装置のブロック
ダイアグラムの例示する図である。
図10は、本発明におい役立つカメラモーション記録装置の概略図である。
好適な実施例の記載
本発明は、三次元可視画像を表示するための可視的ディスプレイシステム、可
視的ディスプレイシステム上での可視化のための可視画像の記録を生成するため
のシステム及びその方法に関するものである。可視的ディスプレイシステムは、
テレビを含む家庭用娯楽システム、トレーニングシミュレータ、マルチメデイア
システム、映画館、展示会などで使用するように適合させることができる。
本発明のシステム及び方法の原理及び作動は、添付図面及び記述を参照するこ
とによって、より良く理解することができる。
明確さを期して、以下に使用する「可視画像」という語は、視聴者が観察する
ことのできるあらゆる可視的物体又は物体群を意味し、これらを包含している。
可視画像は、静止可視画像であっても可
動可視画像であってもよいし、又実在シーンであってもコンピュータで生成した
又は動画化されたシーンのいずれのものであってもよい。さらに、以下で使用す
る「記録」という語は、可視化のための受像表面上に可視画像を映写するために
使用することのできるあらゆる形の可視画像の捕捉を意味する。従って、記録に
は、映画フィルムといったような写真フィルム上に可視画像を捕捉すること、な
らびに、データベース内に永久的にか又は電子、磁気又は電磁式又はその他の可
視化のため受像スクリーン上に可視画像として再生できる信号情報の形で瞬間的
に可視画像を捕捉することが含まれる。標準的スクリーンとしては、従来の映画
館用スクリーン、従来の家庭用テレビセットの受像スクリーン、スーパーVGA コ
ンピュータモニター、VGA コンピュータモニター、LCD スクリーンなどがある。
ここで図１を参照すると、本発明の教示に従って製造され作動する全体として
100という番号で示された可視的ディスプレイシステムの概略図が示されている
。可視的ディスプレイシステム 100は、全体としてＰという記号で表わされてい
る一次的可視画像を表示するための主スクリーン 102、及びそれぞれ全体として
Ｌ及びＲという記号で表わされている二次的な左右の可視画像を表示するための
２つの周辺スクリーン 104及び 106を含む広角マルチスクリーンシステムの形を
している。システム 100は、さらに、主スクリーン102 上に可視画像Ｐの記録を
映写するための映写装置 108、及びそれぞれ周辺スクリーン 104及び 106上の二
次的可視画像Ｌ及びＲの記録を映写するための映写装置 110及び 112も包含して
いる。
周辺スクリーン 104及び 106は、可視画像Ｌ及びＲが主スクリーン 102上に表
示された二次元の一次的可視画像Ｐを三次元可視画像に変換するような形で、視
聴者Ｖに向かって傾斜させられている。本実施例では２つの周辺スクリーンを伴
って例示されているが、主
スクリーン 102の上又は下を含めて、任意の数の周辺スクリーンを具備すること
ができる、ということがわかるだろう。更に、三次元性の効果を減じることなく
主スクリーン 102と周辺スクリーン 104及び 106の間には物理的空隙が存在し得
るということに留意すべきである。また、三次元性深度(depth)の感覚（フィー
リング）をさらに増強するため、周辺スクリーン 104及び 106は台形形状をして
いてもよい。
以下でさらに詳細に記述するとおり、システム 100上に表示されつつある可視
画像に対する視聴者の臨場感を増強するため二次的可視画像Ｌ及びＲに対して心
理学的合図を提供することがきる。三次元性の効果はさらに、視聴者Ｖのまわり
を包むように視聴者Ｖの後ろ及びそれぞれ周辺スクリーン 104及び 106に沿って
延びるいくつかのスピーカー 114及び 116を通してのサウンドトラックの再生に
よっても増強させることができる。スピーカー 114及び 116は、当該技術分野に
おいて知られている通り、主スクリーン 102と結びつけられたスピーカー 118に
対し付加的なものである。標準的には、二次的可視画像Ｌ及びＲが一次的可視画
像Ｐと同期的に表示されるような形で、制御装置 120が映写機108，110及び 112
の作動を制御する。
ここで図２Ａ−２Ｃを参照すると、可視的ディスプレイシステム100 によって
表示される三次元可視画像を作成するためのいくつかの可視画像Ｌ，Ｐ及びＲが
示されている。原則として、三次元性の効果は、一次的可視画像が眼の直接的視
覚によってピックアップされ、左及び右の二次的可視画像がそれぞれ左眼と右眼
の周辺的視覚によって実質的にピックアップされることによって達成される。こ
れはすなわち、１つのシーンのパノラミックビューの可視画像を３つ連続的に表
示しなければならないのではなくむしろ、実際には、
論理的相関関係又は相互の整合が存在するかぎり、二次的可視画像Ｌ及びＲが実
質的に可視画像Ｐと異なる主題を表示することができる、ということを意味して
いる。
しかしながら、実際、視聴者の直接的な視覚の視界は、一次的可視画像Ｐの全
て及びそれに隣接する二次的可視画像Ｌ及びＲの各エッジ部分を包含している。
従って、可視画像Ｌ及びＲの各エッジ部分すなわち各マージンは、好ましくはそ
れに隣接する一次的可視画像Ｐの各エッジ部分すなわち各マージンと混合するよ
うに調整され、かくして、視聴者はたとえそれが左側可視画像Ｌ、一次的可視画
像Ｐ及び右側可視画像Ｒから形成されているにせよ、単一のシーンの１つの心理
的画像を確実に知覚することが保証される。
ここで以上のことを要約するべく図２Ａを参照すると、122として記されてい
る可視画像Ｌのエッジ部分つまりマージンは、視聴者が単一のシーンを確実に知
覚するように、124として記されているそれに隣接する一次的可視画像Ｐのエッ
ジ部分つまりマージンとブレンドする。同様の要領で、126として記されている
可視画像Ｒのエッジ部分つまりマージンは、視聴者が単一の画像を確認に知覚す
るように、128として記されているそれに隣接する一次的可視画像Ｐのエッジ部
分つまりマージンとブレンドしている。
特に、一対のエッジ部分 122及び 124の調整には、エッジ部分 124内に現われ
る特長がエッジ部分 122内に現われるようにして連続するようにした特長混合(f
eature blending)及び、エッジ部分 124の中に現われるカラー領域がエッジ部分
122内に現われるようにして連続するようにしたカラー混合(color blending)が
含まれている。例えば、一次的可視画像Ｐのエッジ部分 124上の標識 130は、可
視画像Ｌのエッジ部分 122上の標識 132と連続している。同様の要領で、エッジ
部分 126及び 128を参照すると、一次的可視画像Ｐの
エッジ部分 128上のパターン領域 134として示されている多数の観客は、可視画
像Ｒのエッジ部分 126上のパターン領域 136と連続している。
それぞれエッジ部分 124及び 128の主題と連続した主題を内含していなければ
ならないエッジ部分 122及び 126とは対照的に、可視画像Ｌ及びＲは、一次的可
視画像Ｐの主題と整合する傾向をもつ主題を内含するだけでよい。「整合する傾
向をもつ」というのは、可視画像Ｌ及びＲの主題が、各特長の性質、各物体のサ
イズなどに関して可視画像Ｐの主題に対する論理的相関関係を共有しているとい
うことを必然的に意味するということも理解しておくべきである。
本発明のこの特徴のため、異なる時点で同じ場所で、さらには異なる場所から
取られた現実のショットの可視画像のライブラリから取った可視画像を使用する
ことが可能になる。例えば、一次的可視画像Ｐが、カップファイナルサッカー試
合の生放送である場合、可視画像Ｌ及びＲは、例えば昨年度に行なわれた他の試
合から取られた大勢の観客の画像であってよい。その上、こうして、三次元性の
深度効果及び視聴者の臨場感を減じることなく実在の一次的可視画像Ｐと共に使
用されるようにコンピュータで生成された又は動画化された可視画像Ｌ及びＲを
使用することが可能となる。この場合、可視画像のライブラリには、一次的可視
画像Ｐと整合するようにあつらえのモンタージュＬ及びＲを準備できるような形
で物体を準備するため、予め準備されたコンピュータで生成された又は動画化さ
れたシーン又はコンピュータグラフィックルーチンが含まれていてよい。
ここで図２Ｂを参照すると、三次元性の効果を増強させるために二次的可視画
像Ｌ及びＲ内で実施された心理的深度知覚合図の使用を例示するべく、可視画像
Ｌ，Ｐ及びＲとしての表示のための３つ
の連続的フレームが示されている。発明の背景のところで記述した通り、一般的
な心理的深度合図は、以下のようなものである。第１に、カラー化の変化又は形
状の柔軟化が遠くの物体に対する距離感を与える、面積的遠近がある。第２に、
１つの物体上の光と影の分布がある。第３に、近い物体がより遠くの物体の一部
分を隠す場合といったような輪郭の重複がある。第４に、例えば距離が延びるに
つれての鉄道軌道の平行なレールの収束の場合における幾何学的遠近がある。そ
して最後に、視聴者に向かう及び視聴者から離れる加算的な動き、及びプルフリ
ヒ効果(Pulfrich effect)を生成するための加算的な動き、がある。図２Ｂに示
されているように、フレームを上から下へ見ると、視聴者は建物特に建物 138の
可視画像Ｐから可視画像Ｌまでの動きを通しての時計回りの回転ショットを知覚
する。
ここで図２Ｃを参照すると、三次元性及びシステム 100上に表示された可視画
像に対する視聴者の臨場感を識別するための動きの使用を例示するべく、可視画
像Ｌ，Ｐ及びＲとしての表示のための３つの連続的フレームが示されている。各
フレームを上から下に見ると、視聴者は、自らに接近するにつれての木 142及び
144の拡大を通してさらに強調されるような自動車 140に向かってのズームショ
ットを知覚する。また、動きの概念は、当該技術分野において周知のものである
システム 100のスピーカー 114及び 116を通して再生される適切なサウンドトラ
ックによって増強される。静止ピクチャーの一次的可視画像Ｐの場合、二次的可
視画像Ｌ及びＲには、エッジ部分の対 122及び 124及びエッジ部分の対 126及び
128の中に存在する各特長の間の連続性条件がそのままにとどまるかぎりにおい
て動きを含めた前述の心理的深度知覚合図が含まれていてよい、ということに留
意すべきである。
可視的ディスプレイシステム 100のさらなる利点は、図２Ａ−２Ｃ中で可視画
像Ｐの中の実線の使用ではなくむしろ可視画像Ｌ及びＲ内の点線の使用によって
実証されている通り、一次可視画像Ｐのものと等しい解像度の二次的可視画像Ｌ
及びＲを提供する必要がない、という点にある。こうして、一次的可視画像Ｐの
捕捉の場合に比べて可視画像Ｌ及びＲを捕捉する上で、より低い解像度、ひいて
は標準的により安価で障害の少ない技術を使用することが可能となる。例えば、
一次的可視画像Ｐを捕捉するのに写真フィルムカメラが使用される一方で、可視
画像Ｌ及びＲを捕捉するのにテレビカメラを使用することができる。代替的には
、こうして一次的可視画像Ｐを表示する場合に比べ、可視画像Ｌ及びＲを表示す
るために、より低い解像度ひいては標準的により安価な技術を用いることが可能
となる。例えば、一次的可視画像Ｐを表示するのにテレビスクリーンを使用する
一方で、可視画像Ｌ及びＲを表示するのにLCD スクリーンを使用することができ
る。
ここで図３Ａ−３Ｃを参照すると、システム 100の特定の利用分野に応じて数
多くの既知の装置の１つとしてスクリーン102，104及び 106及び映写機108，100
及び 112が実現される。システム 100の３つの実施例が示されている。解説のみ
を目的として、ここでは、映画館で使用するように適合されたシステム 150、ト
レーニングシミュレータ又はマルチメディアシステムで使用するように適合され
たシステム 151、及びテレビを含む家庭用娯楽システム内で使用するように適合
されたシステム 154を含む、システム 100の３つの実施形態について記述する。
映画館で使用するように適合されたシステム 150の場合、一次的可視画像Ｐの
記録は、セルロース写真フィルムであり、一方、二次的可視画像Ｌ及びＲの記録
は、より低コストでより容易に製作でき
るテレビ撮影であってよい。従って、映写機108 は、従来の映画館用スクリーン
154の形をしたスクリーン 102の上に写真フィルムを映写するための独立式映画
上映型映写機 152であり、一方映写機104 及び 106は、好ましくは、ここでも又
従来の映画館用スクリーンの形をしたスクリーン 104及び 106上にビデオテープ
を映写するための独立式 Barco映写機 156及び 158である。システム 150にはさ
らに、映写機 152及び Barco映写機 156及び 158の同期的作動を確保するための
制御装置 160が含まれている。
トレーニングシミュレータ又はマルチメディアシステムの中で使用するように
適合されたシステム 151の場合、一次的可視画像Ｐ及び二次的可視画像Ｌ及びＲ
の可視化のための記録は、標準的に、データベース内に永久的に又は電子、磁気
又はその他の信号情報の形で瞬間的に記憶されるコンピュータプログラムである
。従って、記録はコンピュータで生成されたか又は動画化されたシーンである。
スクリーン 102及び映写機 108は好ましくは、スーパーVGA 高解像度カラーコン
ピュータモニター 162として組合わされ、一方スクリーン 104と映写機 110及び
スクリーン 106と映写機 112は、VGA カラーコンピュータモニター 164及び 166
として組合せることができる。代替的には、システム 151は LCDスクリーンを利
用し、かくして映写機 110及び 112の必要性を無くすることができる。この場合
、システム 151は、記録の同期的表示のためのハードウェア及び付随するソフト
ウェア 168を内含している。システム 151と現在入手可能な三次元可視画像シミ
ュレータの違いは、低解像度の二次的可視画像の使用により、さらに安価なハー
ドウェア及びより少ないソフトウェア処理の使用が可能となるという点にある。
テレビを含む家庭用娯楽システム内で使用するように適合されたシステム 154
の場合、一次的可視画像Ｐ及び二次的可視画像Ｌ及び
Ｒの可視化のための記録は、標準的に、放送会社からの電磁式伝送としてか又は
TVケーブル会社からのケーブルを通した電気信号として受信される。この場合、
電磁式伝送又は電気信号は、スクリーン 102，104 及び 106上での記録の可視化
に必要とされる情報を全て含んでいる。二次的可視画像Ｌ及びＲの解像度がより
低いものであることから、伝送する必要のある情報の量は当然のことながら、単
一のスクリーン上での現在の伝送に必要とされる情報量よりも多いが、これはこ
の情報量の３倍未満である、ということに留意すべきである。従って、スクリー
ン 102及び映写機 108は、好ましくは、従来のテレビセット 170として組合わさ
れ、一方スクリーン104 と映写機 110及びスクリーン 106と映写機 112は好まし
くはより低解像度のスクリーン、特に LCDスクリーン 172及び 174として組合わ
される。
ここで図４及び図５を参照すると、可視的ディスプレイシステム100(図１参照
)上に表示された時点で三次元性を可能にするため、可視画像Ｌ，Ｐ及びＲの記
録及び好ましくは随伴するサウンドトラックを生成するための、全体として200
という番号で表わされたシステム及びフローチャートが示されている。以下で明
らかとなるように、システム 200は、当業者の範囲内に充分入るハードウェア及
びソフトウェアで実施することができる。その上、システム 200は、フィルム又
はTV編集者並びにサランドトラック編集者による高レベルのオペレータ介入を必
要とするか又は、トレーニングシミュレータ又はマルチメディアシステム内に組
込まれた時点で完全にコンピュータ化されるように設計され得る。
本発明の特定の形態を強調することを目的として、映画館における映画の形で
の一次的可視画像Ｐのそばでの可視化のための可視画像Ｌ及びＲの記録の準備に
ついて、ここで記述する。
第１に、映画の主題は写真フィルム上で捕捉され、主スクリーン102 上での可
視化のための一次的可視画像Ｐの記録の完成版を生成するべく編集される。一次
的可視画像Ｐの記録は次にもう１つのフィルム−ビデオ変換ユニットであるTele
cineを用いて、又は直接的に、コンピュータ化されたビデオ編集機の中に移入さ
れ、この機械の中で一次的可視画像Ｐはデジタル化され、かくして一次的可視画
像供給源 202を提供する。ディスプレイ 204上では、一次的可視画像Ｐをビュー
イングすることができ、かくしてここで記述するような二次的可視画像Ｌ及びＲ
の処理が可能となる。
未処理の左右の二次的可視画像は、選択装置 207を用いて選択され、一次的可
視画像Ｐと両立性ある主題をもつ二次的可視画像供給源 206から検索され、それ
ぞれ左右のサイドスクリーン 208及び 210上に表示される。供給源 206は、例え
ば同じ場所からただし一次的可視画像Ｐの撮影とは別の時点で、又は異なる場所
で、テレビカメラを用いて撮られたその他のショットを包含し得る。代替的には
、供給源 206は、一次的可視画像Ｐと整合させるべくあつらえのモンタージュが
準備されうるような形で物体を準備するため、予め準備されたコンピュータで生
成された又は動画化されたシーン又はコンピュータグラフィックルーチンの形の
可視画像のライブラリを含むことができる。
より自動化されたシステム 200の場合、例えば、米国カリフォルニア州マウン
テンビューのAdobe Systems Inc.から入手できるPHOTOSHOP といった画像処理ソ
フトウェアを利用して、一次的可視画像Ｐの主題を分析することができる。特に
、それぞれ二次的可視画像Ｌ及びＲのそばに表示されることになるエッジ部分 2
12及び 214について、特長、カラー、ライティングなどに関する分析が行なわれ
る。
未処理の二次的可視画像Ｌ及びＲは、二次的可視画像Ｌ及びＲを一次的可視画
像Ｐと整合させるため、二次的可視画像処理装置 216によって処理される。画像
処理には、一般に、可視画像Ｌ及びＲの記録が可視的ディスプレイシステム 100
上で可視化された場合のために可視画像Ｌ及びＲが心理的深度知覚合図を含むよ
うな形で全体的シェーディング(shading)、ライティング(lighting)、カラー化
、幾何形状及び陰影ならびに目的及びカメラの動きを整合させることが含まれる
。さらに、目的及びカメラの動きは両方共、三次元性の効果が可視的ディスプレ
イシステム 100上の記録の可視化において増強されるような形で、二次的可視画
像Ｌ及びＲの中に組込まれている。
１つの実施形態においては、二次的可視画像処理装置 216は、一対のエッジ部
分 212及び 218と一対のエッジ部分 214及び 220がブレンドして一次的可視画像
Ｐと二次的可視画像Ｌ及びＲの間でそれぞれ視覚的遷移を形成するような形で、
一次的可視画像Ｐのエッジ部分 212及び 214に合わせて二次的可視画像Ｌ及びＲ
のエッジ部分218 及び 220を調整する。これは、エッジ部分 212内に現われる特
長及びカラーがエッジ部分 218内に現われるような形で確実に連続するように保
証することによって達成される。同様にしてエッジ部分 214内に現われる特長及
びカラーは、それらがエッジ部分 220内で現われるような形で連続する。可視画
像Ｌ及びＲは、ビデオ記録、コンピュータデータベースなどとして出力され得る
。
そして最後に、システム 100のスピーカー 114及び 116を通して再生すること
によって、三次元性の効果全般及びスペース感特に視聴者の臨場感を増強できる
ようにする形で、可視画像に随伴するべくサウンドトラックが準備される。
ここで、一般に一次的及び二次的可視画像内の物体及びカメラの
動きを整合させるため本発明の第２の実施形態において役立つ二次的可視画像処
理装置 216の各要素を例示する図６を参照する。同様にその作動について詳述す
る図７，８Ａ，８Ｂ及び図９も参照する。二次的可視画像処理装置 216が標準的
に各々の一連の二次的可視画像Ｌ又はＲについて別々に作動するということがわ
かるだろう。
装置216は、標準的にオペレータと組合さって作動し、マルチスケーラー(mulu
ti-scaler)230、速度整合装置232、モーション整合装置 234及びカラー整合装置
236をそなえている、マルチスケーラー 230は、その中及び対応する一次的可視
画像Ｐの中の各物体がほぼ同じサイズを有することになるように二次的可視画像
Ｌ及びＲをスケーリングする。速度整合装置 232は、一連の一次的可視画像Ｐの
タイミングとほぼ整合するように、一連の二次的可視画像Ｌ及びＲのタイミング
（スケーリング後）を調整する。モーション整合装置 234は、一連の一次的可視
画像Ｐのものとほぼ整合するように一連の二次的可視画像Ｌ及びＲのカメラモー
ション（スケーリング及びフロー整合の後）を調整する。最後に、カラー整合装
置 236は、二次的可視画像Ｌ及びＲのカラー（輝度及び彩度）を一次的可視画像
Ｐのものとほぼ整合させる。カラー整合装置 236の出力は、何らかの形で一連の
一次的可視画像Ｐと整合する一連の二次的可視画像Ｌ′及びＲ′である。
図７は、マルチスケーラー 230の作動を例示している。画像 240がもとの画像
であり、画像 242はスケーリングを受けた画像である。画像 240は、画像内の物
体の関数として複数の区分に分割される。例えば、画像 240は、道路 244、２台
の車 246、フェンス 248、２軒の家 250及び幾らかの低木 252を有する状態で示
されている。一次的可視画像Ｐが異なる垂直方向の場所にフェンス 248を有する
場合、二次的画像 240を変更する必要がある。
マルチスケーラー 230は、望まれる通りに画像の全ての区分のサイズを変更す
る。例えば、ライン 254は、垂直方向に画像 240から上向きに画像 242まで移動
された状態で示されている。このラインは、画像 242中で254′の番号が付され
ている。ライン 254を移動させるためには、その下及び上の画像の各区分は望ま
しい量の動きに整合するように再度スケーリングされる(rescaled)。かくして、
画像 240の下部区分は、既知の方法に従ってアップスケーリングされ(scaled up
)、画像 240の上部区分は同じく既知の方法に従ってダウンスケーリングされる(
scaled down)。図を見ればわかるように、各物体 244′及び 246′は画像 242内
で比較的大きく、また各物体 248′，250′，及び252′は比較的小さい。
速度整合装置 232は、一連の二次的可視画像Ｌ及びＲ内での各物体のフロー速
度又はそれらの動きのタイミングを一連の一次的可視画像Ｐのものと整合させよ
うと試みる。例えば、一次的可視画像Ｐ内のシーン(scene)を横切って二次的可
視画像Ｌ内のシーン内へ一羽の鳥が飛んでいる場合、その飛行速度は、両方のシ
ーケンスの中で同じであるべきである。カメラは、一次的可視画像Ｐ内のシーン
を二次的可視画像Ｒ内へとパン撮りする(pan)場合、同じ速度でパン撮りしなけ
ればならない。
速度整合装置 232はまず第一に、３連の画像全ての中の１つの物体の動きの速
度を決定し、次に、速度を強制的に整合させるため一連の二次的可視画像Ｌ及び
Ｒの一部分を合成する。例えば、図８Ａに示されているように、１台の車 262が
画像の左から右まで移動するには４つの二次的画像 260ａ〜 260ｄが必要である
かもしれない。しかしながら、一連の一次的可視画像Ｐの中では、５つの画像が
必要であった。かくしてフロー速度は整合しない。従って、速度整合装置 232は
、矢印 264により表わされている通り、中央の画像を
除去し、一連の二次的可視画像のフロー速度を強制的に一次的可視画像Ｐのフロ
ー速度と整合させるべく既知の「光学的フロー（optical flow）」技術に従って
、一連の置換体、中間体、二次的画像 266ａ〜 266ｃを合成する。
本発明において有用な光学的フロー（opticalflow）及びその他の画像処理技
術は、IEEEコンピュータ学会pg．1990のGeorge Wolbergの著書「デジタル画像ワ ーピング(Digital Image Warping)
」及び以下の２つの論文の中で記述されてい
る：
M．Irani，B．Rousso及びS.Poleg 共著、「時間的積分を用いた多数の可動物
体の検出とトラッキング(Detecting and Tracking Multiple Moving Objects us
ing Temporal Integration)」、欧州コンピュータビジョン会議 pp.282-287，Sa
nta Margarita Ligure.1992年５月：及び
M.Irani，B.Rousso及びS.Poleg 共著「遮光性及び透明なモーションの計画(Co
mputing Occluding and Transparent Motions)」、国際コンピュータビジョンジャーナル
、1993年２月。
これらの書物及び論文は、本明細書に参考文献として引用されている。
モーション整合装置 234は、一連の二次的可視画像Ｌ及びＲのカメラモーショ
ンを強制的に一連の一次的可視画像Ｐのカメラモーションとほぼ整合させる。図
９は、モーション整合装置 234の各要素を例示し、モーション整合装置 234がコ
ンパラメータを提供する。モーション作成装置 276は、安定化された一連の二次
的画像Ｌ及びＲ上に一次的画像Ｐのモーションを実行する。
モーション検出器 270及び 272は、（シーン内の各物体の動きではなく）シー
ンに対するカメラの動きを検出する適切なあらゆる要素であってよい。安定化装
置 274は、１組のモーションパラメータ
からの逆転モーション(inverse motion)を実行するあらゆるユニットであってよ
い。モーション変更して一次的可視画像Ｐの各カラーとほぼ整合させる手段を提
供する。カラー整合装置の例としては、Adobe Systems Inc.から入手可能な PHO
TOSHOPがある。
カラーは標準的にその色相、彩度及び輝度レベルによって規定される。往々に
して、１つの画像の全体的輝度（又は明るさ）はもう１つの画像と異なるもので
あり得、かくして、画像全体又はその一部分の輝度値を変更することは各画像の
整合を助けることになる。代替的に又は付加２つのモーション検出器 270及び 2
72、安定化装置 274及びモーション作成装置 276をそなえていることを示してい
る。モーション検出器 270は、一連の二次的可視画像のカメラモーションを決定
し、安定化装置 274に対して各モーションパラメータを提供し、この安定化装置
の方は、一連の二次的可視画像からカメラモーションを除去する。モーション検
出器 272は一連の一次的画像のカメラモーションを決定し、モーション作成装置
276に各モーション作成装置 276は、一連の安定化された画像を一組のモーショ
ンパラメータによって構成された１つのモーションを有する画像へと変換するあ
らゆるユニットであってもよい。モーション検出器、安定化装置及びモーション
作成装置は、上述の参考文献中に記述されている。
カラー整合装置 236はオペレータに対してモーション安定化及び速度・スケー
ル整合を受けた二次的可視画像Ｌ及びＲの各カラーを時に、画像の彩度（又は灰
色度）を整合させることが必要となるかもしれない。その上、各物体が一次的可
視画像Ｐから二次的可視画像Ｌ又はＲまで流れる各エッジでは、少なくともいく
つかの物体について、色相も整合させる必要があるかもしれない。
例えば遠近を整合させるため又はアニメーションを加えるための
さらなる処理も同様に二次的可視画像Ｌ及びＲについて行なうことができるとい
うことがわかるだろう。
本発明はまた、一次的可視画像シーケンスと二次的可視画像シーケンスの両方
を達成する目的でシーンを撮影するための方法も内含している。標準的には、一
次的可視画像シーケンスは、数多くのアクションを伴って撮影され、ここでカメ
ラは演じている役者を直接見据えている。役者のいるアクションがひとたび終わ
ったならば、カメラマンは次に二次的可視画像シーケンスを撮影することができ
る。そうするために、カメラマンはカメラの視線を視界の左右に回転させ、次に
それに応じて二次的シーンを撮影する。往々にして、二次的可視画像シーケンス
のカメラモーションを一次的可視画像シーケンスのカメラモーションとほぼ整合
させ、かくしてモーション整合装置 234が行なわなければならない処理の量を減
少させることが望ましい。
ここで、カメラマンが二次的可視画像シーケンスを撮影する際に一次的カメラ
のカメラモーションをほぼ整合させることができるようにするための装置 280を
例示する図10をここで簡単に参照する。
装置280 は標準的には、カメラ 282、モニター 284及びビデオレコーダー 286
を含んで成る。カメラマンは、当初、撮影中モニター 284上で表示されている一
次的画像シーケンスを撮影するためにカメラ 282を利用する。同時に、本発明に
従うと、撮影されたシーンは、標準的に低い解像度でビデオレコーダ 286上に記
録される。
カメラマンが二次的画像シーケンスの１つを撮影するための回転した時点で、
それが同じ場所又は全く異なる場所のいずれであれ、又同じカメラ又は異なるカ
メラのいずれを用いるかに関わらず、カメラマンはビデオレコーダ 286からの記
録されたシーンをモニター 284上に表示する。中に記録されているカメラモーシ
ョンに注意を
払いながら、カメラマンは、二次的画像シーケンスのためのシーンを撮影する間
にカメラモーションを整合させようとする。カメラマンは、第２の二次的画像シ
ーケンスについて上記プロセスをくり返す。
本発明は制限された数の実施例に関連して記述されてきたが、本発明に数多く
の変更、修正及びその他の利用分野を加えることも可能であることがわかるだろ
う。
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，
ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ
Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ
，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，
ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，
ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ
Ｈ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ
，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，
ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，Ｍ
Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ
，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＴ，
ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ