JP2019079552A - イメージ形成における及びイメージ形成に関する改良 - Google Patents
イメージ形成における及びイメージ形成に関する改良 Download PDFInfo
- Publication number
- JP2019079552A JP2019079552A JP2018245537A JP2018245537A JP2019079552A JP 2019079552 A JP2019079552 A JP 2019079552A JP 2018245537 A JP2018245537 A JP 2018245537A JP 2018245537 A JP2018245537 A JP 2018245537A JP 2019079552 A JP2019079552 A JP 2019079552A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene
- view
- field
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding three-dimensional [3D] tree structures onto two-dimensional [2D] planes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【解決手段】シーン内の所与の領域を固視する際に人間の観測者が所定の「ビューイングポイント」(VP)から見ることのできる視野の全部又は一部からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又は別の方法で描写するステップと、シーンの該領域に向かってイメージを次第に拡大していくステップと、周辺視野に対応する前記シーンの領域を次第に圧縮してシーンが人間の知覚者の知覚に映るであろう態様に一般的に対応するシーンについての変更されたイメージを作るステップとを含む。
【選択図】図11
Description
技術等の従来のイメージ作成技術は、人間の視覚的体験の範囲及び本質の全容をキャプチ
ャ及び描写することに関しては一般的に不十分である。この理由は多数あるが、イメージ
が、通例、人間の観察者にとって自然に見えない態様で3次元空間を2次元平面に投影す
る線遠近法のジオメトリに基づいているという点も理由に含まれる。視界の周辺部が2次
元平面に投影された場合に線遠近法によって過度の歪曲が生じることは、レオナルドダビ
ンチの時代から芸術家たちに知られていた。このため、従来の線遠近法のイメージはワー
ルドについて制約されたビューを提示しがちであり、通例矩形状にクロッピングされたビ
ューが提示され、このため周辺視野を含めた完全視野の大部分が除外されてしまう。除外
される対象には、観察者の身体の一部又は観察者の近くに存在する物体が含まれ、これら
の物体は自然な視野においては視認され得る。結果として生成されるイメージは通常、紙
に印刷されるか平面スクリーンに表示されるか等により平面の物体として提示され、これ
により空間的な手掛かりについての矛盾が生じ、その結果、知覚される深度が減少する。
線遠近法において用いられる投影方法及び興味対象物体を拡大させがちな注目による心理
的作用、即ち知覚される物体のサイズに関する注目による心理的作用への対応の欠如に起
因して、作成されたイメージにおいては、興味対象物体は通例実世界で見られるよりは小
さく映る。また、これら作成されたイメージは、複視を介した両眼視による深度情報、す
なわち「生理学的複視」等の人間の視覚にみられる空間に関しての視覚的体験を増進させ
る他の特徴を、一般的には記録又は提示しない。また、従来のイメージングシステムは、
高められたエッジコントラスト、視界の周辺部及び非固視部分内の物体の相対的不明瞭さ
、知覚される空間の主観的湾曲、最周辺部での視野の漸進的なフェーディング及び減光、
固視点との相対的関係による物体の見かけ上のサイズの変化、一人称の視点から見た観察
者の身体のイメージ等の人間の視覚にみられる他の特徴を記録することができていない。
本願発明は、これらの効果を全て組み合わせて人間の視野についての統合的なエミュレー
ションを生じさせる。
もたらされるイメージフォーマットが過度に広角になることを回避できるということにあ
る。なぜならば、実際の人間の視覚と同様な態様でシーンの周辺部の大きさ及び強調度が
低減されるからである。また、興味対象物体のサイズを多くの場合小さくする魚眼レンズ
や周辺部を拡大する広角レンズ等によってもたらされる過度に歪められたイメージも回避
される。代わりに、中心視に対応し観察者の注目に最もさらされるイメージ部分に、より
重きが置かれ、このためそのイメージ部分がより大きく見えてシーンが人間の視覚系によ
って知覚される態様に似た態様で近似される。
及び突出性が、固視点及び注目領域に対応するイメージの領域に、与えられるということ
が挙げられる。広告等の用途においては、広告主が強調することを望むイメージ内の領域
又は物体に、観察者の視線を誘導できるという利点がある。
メージは、従来の線遠近法又はその他の方法によってもたらされたイメージに比べて、格
段に向上した深度感の錯覚を有するように見え得るという点が挙げられ、また、結果的に
もたらされるイメージは、シーン内の興味対象若しくは注目対象の物体の相対的サイズを
小さくすることなくイメージフレーム内に格段により広角な視角を包含することができる
。
の周辺部に対応するイメージ領域内の情報について高度に圧縮し、解像度を低下させるこ
とによって、データ格納及び伝送を節約し得る。
ビューが、知覚的正確性をもって一人称の視点から提示されるという点が挙げられ、これ
により一人称視点を伝達する本方法を用いるイメージの有効性が向上する。
めて広い視野角をキャプチャするが、イメージのエッジ寄りには過度の光学的歪曲が生じ
る魚眼レンズ等の広角レンズを用いる解決策が含まれる。このような歪曲は適切なソフト
ウエア処理によって修正されることができるが、これは完全な解決策ではない。なぜなら
ば、結果としてもたらされるイメージは依然として線遠近法に従って投影されており、本
目に最初に記載の通り、実際の人間の視覚系に関連づけられる多くの特徴が欠如している
からである。
ャプチャすることが挙げられるが、このような超広角画像フォーマットの有用性には実用
的な制限があるという短所が伴う。また、このようなパノラマでは、本願明細書にて説明
した実際の人間の視覚に関連する幾何学的構造及び他の特徴が欠如している。
のイメージング技術は、仮想空間でスクローリングすることによって広い視野を観察者が
スキャンできるようにして観察者の指示に従ってシーンを複数のアングルから見ることが
できるようにするが、これらの方法も依然上述の不備の幾つか又は他の不備を抱えている
。
のコンピュータアニメーションでは、観察者の視点からみた人間の身体の部分を描写に含
めることによって観察者の視点を真似ようとする試みが行われているが、これらのビュー
は、一般的に従来の線遠近法に従ってレンダリングされており、描写されている視界の中
心内の限定的な矩形状のビューイング領域に限定されている。このため、これらにおいて
は自然な視野中で多くの場合に見られる鼻や肩等の身体の部分が除外されている。広告用
イメージの分野においては、イメージの周辺寄りのエッジを選択的にぼかすことによって
周辺視野の相対的不明瞭さを再現しようとする幾つかの試みがされたが、このような手法
は依然として上述の不備全てを補うに至らない。
視野がキャプチャされると同時に、興味対象領域がより大きなサイズで又はより高い解像
度で表示されて、これによって人間の視覚の周辺領域及び中心窩領域の特定の特性が再現
される。例えば、中心窩化された及び広角中心窩化されたレンズシステムは、広い視野を
キャプチャすると共にデータ圧縮性を向上させ及びイメージの中心部の質を高めるように
設計されている(例えば、特許文献1)。しかし、一般的に、このようなシステムは、(
カメラ及びレンズを介して)シーンについての単眼的で2次元的な線遠近法的なビューを
キャプチャすることに依存しており、本願発明が特定するような、人間によって視認され
る完全視野の幾何学的構造に対応する3次元世界についての投影を生成しない。また、こ
れらのシステムは、イメージ内で移動している固視点に関しての効果又はイメージ内にお
ける注目の軌跡若しくは範囲の変化に関しての効果について補うこともない。広角中心窩
イメージは、典型的には楕円状ではなく円形状であり、また、次のような自然な視覚に伴
う特徴を有さない:複視(合焦された物体の前後のイメージについての意図的なぼかし)
、異なる深度平面間での固視箇所の変化による物体の見かけ上の大きさの変化、固視され
ている物体についてのエッジコントラストが高められること、本願発明に関して特定され
た他の方法等。
視界内の領域についての細部についてフォーカシングを行う(例えば、特許文献2)。カ
メラからのイメージについては、スティッチング及び変形が行われて閲覧用の広角中心窩
出力イメージが形成される。このようなシステムに関しては、カメラが曲がって配列され
ているために、従来の線遠近法の投影に関連づけられている過度な歪曲が回避されるとも
主張されている。これらのシステムは、人間の中心窩に対応するイメージ領域で鋭敏度を
高めることも意図している。しかし、これらのシステムは、次のような人間の視覚に伴う
幾何学的構造又は特徴に関して記録及び描写していない:3次元的深度の変化によるイメ
ージへの変更、(固視領域だけでなく)注目領域における突出性の増大、両眼間での差異
及び周辺部での不明瞭さ等。
が含まれ、この方法では固視されるイメージ領域がイメージの周辺部に対応する領域に比
べて拡大又はエンハンスされる(例えば、特許文献3)。しかし、このような方法は(カ
メラ及びレンズを介して)2次元的な線遠近法的なイメージをキャプチャすることに依存
しており、自然な人間の視覚で知覚される幾何学的構造に基づく3次元的視野の全体を表
していない。これらの方法によってもたらされるイメージは典型的には楕円状でなく矩形
状であり、また、自然な人間の視覚の次のような追加的特徴を描写するものではない:複
視、視界における主観的な湾曲、局所的注目の効果等。
)も、線遠近法の幾何学に基づいており、人間の視覚の主要な特徴をキャプチャ及び描写
する能力を有していない。
とは数世紀も前から知られている。下層に位置するスクリーンの一部を遮蔽するフレーム
でフラットスクリーンを覆うことによって観察者の3次元的深度知覚体験を向上させるス
クリーン鑑賞装置が設計されている(特許文献7及び特許文献8を参照)。しかし、フレ
ーム内の開口部の形状は一般的に矩形状であり楕円状ではない。さらに、本願発明によっ
て教示される楕円形フレームの活用事例は本願発明において特定されるイメージ及び表示
サポートと関連して用いられるべきプレゼンテーションシステムの統合コンポーネントと
して用いられるものであり、任意の他のイメージと共に用いられるスタンドアロン装置と
して用いられるものではない。
チャ装置の光学的特性に基づく線遠近法の原則に依拠しがちである。しかし、装置のこの
ような原則は、人間による世界の知覚態様に影響を及ぼすと知られている次に挙げるよう
な幾つかの人間の視覚系の特徴について考慮していない:人間の眼の構造、眼を2つ用い
て見ることによって生じる結果、注目及び記憶がもたらす精神的な効果等。本願発明は、
従来利用可能なイメージング手法よりも正確に人間の視覚による実体験を近似するイメー
ジ形成プロセスが必要であるとの考えから、派生したものである。
ジに一般的に対応するシーンについてのイメージを形成する方法であって、シーン内の所
与の領域、例えば人間の眼の中心視野又は他の何らかの固視点を固視する際に人間の観測
者が所定の「ビューイングポイント」(VP)から見ることのできる視野の全部又は一部
からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又は別の方法で描写す
るステップと、シーンの固視点の領域に向かってイメージを次第に拡大していくステップ
と、周辺視野に対応するシーンの領域を次第に圧縮してシーンが人間の知覚者の知覚に映
るであろう態様に一般的に対応するシーンについての変更されたイメージを作るステップ
とを含む、方法が提供される。
メージフォーマット、選択的不明瞭さ及び周辺視を含む人間の自然な視覚を再現する追加
的な特徴を適切な場合においてはイメージに必要に応じて選択的に含ませるステップも任
意の順番で含む。
膨れた及び/又は凹んだ支持体又はスクリーンの形式とされる支持体又はスクリーンを用
いることによってイメージにおいて知覚される深度感を増大させる表面の上に又はそのよ
うな媒体を通して表示され、膨らみ又は陥没の場所はイメージ内で描写されている固視点
及び注目領域と一致し、イメージの外縁は描写されている視界の境界と一致し、表示面の
主要平面との関係で境界は底上げされている、方法が提供される。便宜のためには、平面
的又は非平面的なイメージの前に適切な大きさ及び形状の開口部又は枠を適切に配置して
、観察者はこれを通して最終的イメージを見ることができ、これによってより大きな深度
感を体験することできる。
ンピュータマウス、タッチ感応式スクリーン、頭部追跡型若しくは眼球追跡型システム、
ジョイスティック若しくはゲームコンソール制御装置、又は深度若しくは運動追跡装置等
の適切な入力又は制御装置を用いてFoVIの特性を変更することができ、FoVI内の
FP及びRAは観察者又はユーザが固視している箇所に対応している(図16)。また、
ユーザ又は観察者は、FPをFoVI内の異なるポイントに設定することによってFoV
Iを含む面の物理的形状を選択的に変更することができる。1つの実施形態では、ユーザ
はFoVI内にRAを設定することができ、物体の見かけ上の大きさ及び位置、レンダリ
ング解像度、合焦の度合い、二重像化の度合い等を含む本願明細書にて指定したイメージ
の他の全ての特性を、更新されたFPと、イメージとの関係での観察者の位置の変化との
関連で、変更することができる。本願発明の別の一実施形態では、FoVIが提示される
表示面の物理的形状が観察者によって生成された入力に応答して変更され、突出している
(膨らんでいる)又は陥没している(凹んでいる)面の部分であってRAに対応している
部分はFoVI面上でのRAの移動に一致する(図17)。
れはおよそ水平方向に180度〜200度及び垂直方向に130度〜150度にわたる視
野を含み、通例およそ水平方向に180度及び垂直方向に130度の視野である。
)に配置された人間の観測者の眼が凝視しているであろう箇所に対応するシーン内の点と
して定義される(図1)。RAは「注目領域」として定義され、観察者がシーン内におい
て注目しているシーンの物体又は領域に対応する。一般に、FPは通常RAの中心に存在
する。シーンの総面積との関係で注目されている領域又は物体がどの程度の大きさである
かに応じて、RAの大きさ及び形状が異なってくる。
いることによって達成することができるがこれらには限定されない:深度マッピング、明
視野キャプチャ、レーザーマッピング、魚眼レンズ搭載カメラ等の適切に設計及びアレン
ジされたレンズ及び感光板を使用する手法、単一の及びスティッチングされたパノラマイ
メージ、360度カメラシステム、複数カメラ配列、コンピュータ生成モデル、又は、V
Pにいる観測者が見ることのできるシーンに関する領域内の視覚データを記録する他の装
置若しくはプロセス。イメージであるか、一連のイメージであるか、記録された光配列で
あるか、空間座標配列であるか、これらの組合せであるか否かを問わず、結果としてもた
らされるシーンの描写は以下、「視野データ」又はFoVDという。
関係での深度値についての情報(これらの値は手動的に、光学的に、機械的に、若しくは
電子的に記録されることができ、又はFoVDにおいて利用可能な情報から算出されるこ
とができる)、b.シーン内のFPの位置(これは手動で又は自動的に決定されることが
できる)、c.視界の外縁の位置(これは手動的に、光学的に、機械的に、若しくは電子
的に記録されることができ、又はFoVDにおいて利用可能な情報から算出されることが
できる)、及び、FoVDが平坦な1以上のイメージである場合には、d.3次元空間を
平面に投影するのに用いた投影座標系(これは手動的に、光学的に、機械的に、若しくは
電子的に決定されることができ、又はレンズの光学系等のシーンを記録するのに用いたシ
ステムの特性に基づいて算出されることができる)。FoVDは、鼻等の顔特徴の大きさ
及び位置や、シーンとの関係での頭部の角度等の、最終的イメージの外観に影響を及ぼし
得る観察者の身体的属性に関する情報を含むこともできる。
FoVDを作成することができる。単眼的形式でキャプチャされた場合、シーンのデータ
は、両眼に同時に与えられる組み合わせた視野に、即ちおよそ水平方向に180度〜20
0度及び垂直方向に130度〜150度にわたる視野に、対応することになる。立体視的
にキャプチャされた場合、シーンのデータは2つの部分からなり、各々は左右の眼に与え
られる視野に、即ち各眼についておよそ水平方向に140度〜160度及び垂直方向に1
30度〜150度にわたる視野に、対応し、これらが組み合わさって水平方向に180度
〜200度の範囲を包括するシーンの描写を形成する。
を作成することができる。スチル形式でキャプチャされた場合、それは静的なデータセッ
トを備えるのであって、該データセットは所与の固視点との関係でVPにいる通常の人間
たる観測者に与えられる視覚的情報のフィールド全てを含む。動画形式でキャプチャされ
た場合、それはイメージのアニメーションシーケンスとシーンを表すデータとからなる。
い、該マップは「視野マップ」又はFoVMという。FoVMは、シーン内の領域や物体
の位置を記録される視野全体との関係で決定するのに用いられる。本願発明の1つの実施
形態では、視野は例えば水平方向において180度に、及び、垂直方向に130度に分割
される。この場合、水平方向における各々の度数1つずつはその軸方向に関してのVPに
おける総視野の180分の1を表し、垂直方向における各々の度数1つずつはその軸方向
に関しての総視野の130分の1を表す。FoVDの左端に対応するFoVMの左端にお
いて−90の値が設定され、FoVDの右端に対応するFoVMの右端において90の値
が設定され、FoVDの下端に対応するFoVMの下端において−65の値が設定され、
FoVDの上端に対応するFoVMの上端において65の値が設定されて、FoVMの外
周が、FoVDの外周即ち描写されるシーンについての視野の外周に、対応するようにす
る(図2a)。シーンをキャプチャするのに用いた方法に応じてFoVMの形状は異なる
(例については、図2b乃至図2eを参照)。
、両眼のビューを一体化させたキクロプス的ビューで、キャプチャされたFoVDについ
て、FoVMを生成することができる。また、必要であれば、FoVMは適切な単位で定
義された3次元的座標系を含み、これはFoVDが作成された時点において指定された深
度次元におけるシーン内の物体とVPとの間の距離について測定値を提供する。
ーン内の物体に対応するFPの場所を、FoVM上で指定することを伴う(図3)。Fo
VMの水平及び垂直方向の各軸との関係でのFPの場所は、シーン内のどの領域又は物体
がFPとして指定されているかによって異なることがあり、発明のオペレータ若しくはユ
ーザ又は人間の観察者が実際のシーン内において固視点を設定する様子をエミュレートす
る自動化プロセスによって定義されることができる。必要であれば、FPの場所に関して
は、適切な単位を用いた深度次元における測定値も伴うことができ、これはVPとFPと
の間の距離に依存する。FPを中心に有するRAの大きさは、FoVMの面積の1%から
FoVMの面積の99%の間の値をとることができる。
の2次元データ空間を作成して最終的イメージを作ることを伴う。このデータ空間は、「
視野イメージ(FoVI:Field of View Image)」として定義される。このデータ空間
は通常横長であり、アスペクト比は13:8であり、楕円状の形状である(図4a参照)
。必要に応じて他のアスペクト比又は形状をFoVIに適用してシーンを描写することが
できる。次のようにして楕円形のジオメトリを定義する:直径をxとした2つの円を重ね
合わせて、交差部での幅aがxの70%となるようにする。さらにyをxの26%とした
上で直径をyとするさらなる2つの円を設けて大きい方の円の交差部にこれらを入れ込ん
でこれらを重ね合わせてこれらの交差部の幅bがyの35%となるようにする。図4bに
示すように、交差する円の境界にある線から楕円形を形作る。シーンを描写するための必
要に応じて他のアスペクト比又は形状をFoVIに適用することができる。
FoVIの一般的な幾何学的構造は同じシーンについての典型的な線遠近法による投影と
は異なるものとなる。例示的目的にすぎないが、線遠近法による投影における物体の大き
さ及び位置に関する視覚データが概略的に2次元的市松模様パターンとして表されたと仮
定するならば、FoVI内のそのデータの描写は典型的には図5に示すように異なってい
る。RAに対応するシーンの領域は、任意の形状であることができ、RAの外の領域又は
物体よりも通常はイメージにおいてより大きな部分を占め、視界の境界に向かうにつれて
次第に大きさが減じられていく。シーンの物体及び領域は、イメージの左及び右に近づく
につれて水平軸に沿ってますます圧縮され、イメージの上及び下に近づくにつれて垂直軸
に沿ってますます圧縮される。総合的なスケーリング効果は注意範囲及びシーン内の物体
の相対的深度によっても調整され、また、イメージの外側領域において空間的曲率が導入
されて楕円状のイメージが生成される。さらなる例示として、図6では実際の3次元空間
が投影された際のジオメトリが示されており、図6aでは単眼的線遠近法の投影図法が、
図6bでは単眼的魚眼投影図法が示され、これと比較されるのが図6cに示されるもので
あり、同図では本願発明の方法に従ってキクロプス的投影法を用いて同じシーンが投影さ
れた場合にどのように見えるかが示される。この場合では、RAは中央の灰色の円板であ
り、該円板の中心にFPがある。図6cではイメージの上部においては下部に対しての圧
縮より強い圧縮が行われていることが指摘でき、このことはシーンとの関係での観察者の
頭部の位置によって定められるイメージ内で描写される視角に起因している。
るプロセスは幾つかのサブステップを必要とし、これらは次に示すように特定される。ま
ず、角度、センチメートル、ピクセル又は他の単位等の適切な単位で定義された2次元的
座標マップをFoVIの上にオーバーレイする。両眼からのビューを組み合わせるキクロ
プス的イメージが作成される本願発明の1つの実施形態では、他の単位を用いても良いが
、次のように座標マップが定義される:FoVIの中心で値を0とし、FoVIの最も左
で値を−0.5とし、FoVIの最も右で値を0.5とし、FoVIの下方エッジで値を
−0.5とし、FoVIの上方エッジで値を0.5とする。FoVI上での座標系の分布
態様は、描写される視点の特性及び後述のステップで指定される変数に依存する。例示す
れば、図7ではFoVI内での座標分布の例が示される。FoVIの周縁がFoVM上に
マッピングされた視野の周縁に対応する。
標にマッピングすることを伴う(図8)。FoVM内で指定されているFP及びRAの座
標がFoVI上へとマッピングされる変換については、5つのケースが例として図8に示
されている。各ケースにおいて、変換がFoVI内において見られるFP及びRAの大き
さ及び位置を決定する。図8a(1)では、観察者が視野のどこ(幅及び深度を含む)を
固視しているか、及び、視野全体の角度で測ると注目領域がどれほどの大きさであるかを
FoVMが記録する。図8a(2)は、本願発明によるとどのようにして同じ情報がFo
VI内で描写されるかを示すものであり、全体の視野における割合を示し、また、RAが
占有するその視野内の位置も示す。図8b乃至図8eは、視野内の様々な固視点を基礎と
した場合の同じ変換の様子を示す。
4.14に示した原理に基づいてマッピングすることを伴うが、視野内における部分の絶
対的位置並びにFP及びRAとの関係に応じて、視野の異なる部分について異なる値をも
とに変換を行う。プロセスは、例示を目的として次の5つのケースで説明される。図9a
(1)は、各々VPから等しい距離だけ離された等しい大きさの物体の半円形配列からな
るシーンについての、キクロプス的モード、即ち両眼のビューを組み合わせたモード、で
見たFoVMを示す。太線で描かれた円板がRAを表し、各々の中心にFPがある。図9
a(2)は、FoVIに変換した同じシーンを示す。FoVI内での対応する大きさ及び
位置が見て分かるようにするために、各円板には番号が付されている。図9a乃至図9e
は、シーン内の異なるFPによってどのようにFoVIが見えるかの例を示す。
ではシーン内の奥行きに関するデータと左右の眼の差異とを用いて、同じシーンを見てい
る通常の両眼視を持った人間が見るであろう場面に対応するイメージを描写する。VPと
の関係でのFPの深度位置を用いることによってFoVM内のデータは図10に示してい
るようにFoVIに変換され、各眼のシーンとの関係での位置を知る−これはシーンが記
録された時点においてキャプチャされたFoVDデータに埋め込まれた情報である。図1
0a(1)は、図9と同じシーンを表すが、FPに沿って配置されているがVPにより近
い追加の円板(38番)がある。図10a(2)は、図10a(1)で見られたシーンが
視野イメージにおいてどのように変換されるかを示す。図10a(2)の破線は、各眼に
与えられる視野の境界を定義する観察者の鼻の輪郭を表す。破線間の領域は、同時に両眼
で見ることのできる視野の部分を表す。図10aにおいてFPは、シーンの後方で円板3
8の後ろにある円板19上にある。したがって、図10a(2)において円板38番は、
両眼視差のため、左右の眼についてそれぞれ1回ずつ、即ち計2回出現する。ここで、円
板38も半透明であることに留意されたい。図10bではFPは円板38上にあり、これ
はVPにさらに近づいており、そのため円板38の背後の領域は2重になったように見え
るのであり、これも両眼視差に起因する。もっとも、この2重化は、描写されている視野
の中央の領域にある両眼間の重複領域内にて主として発生する。円板38は今度はソリッ
ドに見える。図10b(2)の外寄りの円板は、図10a(2)のそれらより中心点に近
づいていることに留意されたい。これは、固視と注目の対象が深度に関して移動する場合
にイメージの背景で発生する「知覚的ズーム」効果を表している。図10c及び図10d
は、図10a及び図10bと同じビュー及び変換を表すが、円板38の位置はVPに近づ
くように調整されており、図10c及び図10dにおけるFPと円板38との差が図10
a及び図10bにおける差よりも小さくなるようにしてある。
シーン内領域は、重複したものとしてかつ半透明なものとしてFoVI内にてレンダリン
グされて通常の人間の両眼視で生じる生理的複視の効果をエミュレートする。2重化され
るべきシーンの物体若しくは領域の選定、又は、2重化されたレンダリング間の視差の程
度、又は、それらの半透明度は、シーン内の2重化されるべき領域若しくは物体寸法及び
位置並びにVPとの関係でのFPの寸法及び位置に依存する。通常は、2重化された物体
又は領域は2つの視点から記録され、視点の位置における差は人間の1組の眼の通常の瞳
孔間隔に等しくされる(図11)。図11(1)は、VPとの関係でFPが真正面にある
場合の見通し線を示す。図11(2)は、VPとの関係でFPが右側にある場合の見通し
線を示す。結果として、各眼の視野における鼻によって生じる境界の位置は、FoVI内
で描写される全体視野との関係で、図12a及び図12bに示されるように変化する。
イメージ領域に比べてより高い解像度・精細度・鮮明度を有するようにレンダリングされ
る。RAに対応するイメージの領域は、最高の解像度及び鮮明度をもって描写され、固視
領域の中心からの水平・垂直軸方向での距離の関数としてこれは次第に低下していき、イ
メージの外縁の領域が最低の精細度又は鮮明度をもって描写されるようにされる。イメー
ジの解像度・鮮明度・精細度を低下させる又は低減させるための任意の適切な方法を用い
ることができ、この方法には、ぼかし、スクランブリング、サンプリング低減、データ帯
域低減等が含まれる。
甘いフォーカスでレンダリングされるように整えられ、深度平面上でRAから遠くなるイ
メージ部分ほど漸進的により甘くなっていく。
て移動させる場合に通常その人間によって見られるであろう人間の顔面の鼻(若しくは鼻
堤)、眉毛、又は頬を表す追加的なイメージコンポーネントを、FoVIは含むことがで
きる。このような追加的コンポーネントはこれらの顔特徴の向こう側若しくは背後に位置
する物体へのビューを遮蔽することになり、又は、鼻は両眼で偏心的に見た場合に半透明
のものとしてレンダリングされる。また、FoVIは人間の顔面に近接して配置された他
の物体の描写を含むことができ、これには眼鏡、サングラス、帽子、毛髪の房又は先述の
ように配置されると全体視野において視認可能となる他の物体等が含まれる。このような
物体は、FoVI内では低いフォーカス鮮明度をもってレンダリングされてVPにとても
近接した物体については通常の視覚で処理できないということをエミュレートすることに
なる。
又は物体のイメージコントラストを1%から100%の係数で増大させる効果をFoVI
に施すことができる。
又は物体のイメージ明度を1%から100%の係数で増大させる効果をFoVIに施すこ
とができる。
との間の知覚されるエッジコントラストを増大させるように、固視される領域又は物体の
外縁を後光又は輝きで囲む効果をFoVIに施すことができる。
減じることができる。
ーンに関しての2次元イメージを得るための任意の適切な手段によることができる。Fo
VIは、例えばスクリーン、印刷された表面、塗装された若しくはエッチングされた表面
、光源からイメージが投影されるための表面、ホログラフィックイメージ又は他の適切な
媒体等の任意の適切な媒体上にて提示されることができる。1つの実施形態ではFoVI
は略楕円形とされ得るが、必要に応じて他の形状を用いてシーンを描写することができる
。本願発明の1つの実施形態では、FoVIは、モニタ等の平面的なスクリーン上若しく
は表面上に若しくは印刷されたページ上に、又は、光の投影若しくはホログラフィックな
手段によって又は他の適切な手段によって表示される。
本願発明との関連で説明されたステップに従って変換されたシーンを示す。
ンも使用することができ、これは観察者に対して向上した深度錯覚を提供する。表示面は
任意の寸法とすることができ、又は、イメージを表示する用途において適切な任意の素材
によって構成されることができる。本願発明のさらな実施形態では、スクリーンや印刷さ
れた表面等の非平面的な表面にFoVIが表示され、該表面はRAに対応する表面の領域
が平面的表面との関係で相対的に突出している又は後退している形状にされて、表面内に
物理的な膨らみ又は凹みを形成し、それによってFoVIとの関係で適切に配置された観
察者に対してFoVI内での見かけ上の深度感覚を増大させる。本願発明の1つの実施形
態では、イメージが出現する表面の形状は図14aに示すようなものであり、他の実施形
態においては図14bに示すようなものである。本願発明の別の実施形態では、イメージ
用の非平面支持体はイメージから生成された3次元深度マップに従って形成され、FoV
I内に描写されたコントゥア(contour)が表面上に印刷又は投影された際には、非平面
表面のコントゥアがFoVI内に描写されたコントゥア上にマッピングオンする(図14
c)。本願発明の別の実施形態では、FoVIの外エッジと周辺空間との間の境界が軟化
されるか、なだらかにされるか、隠蔽されるようにするために、FoVIの外周において
漸進的な減光、フェーディング又は他の変更を行う。本願発明のさらなる実施形態では、
FoVIから前方方向に向かって可変な距離進んだ所に設置された適切に形成された開口
部又は枠の後ろにFoVIが表示されて、観察者にとってはFoVIが開口部によって部
分的に遮蔽されたようにみえ、これによって深度錯覚が増大する。1つの実施形態では、
開口部は略楕円形とされ、また、図15に示されているようにFoVIの前に配置されて
いる。
Claims (12)
- 人間の眼を介して人間の脳によって知覚されるイメージに一般的に対応するシーンにつ
いてのイメージを形成する方法であって、前記方法は、前記シーン内の所与の領域を固視
する際に人間の観測者が所定の「ビューイングポイント」(VP)から見ることのできる
視野の全部又は一部からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又
は別の方法で描写するステップと、前記シーンの前記領域に向かって前記イメージを次第
に拡大していくステップと、周辺視野に対応する前記シーンの領域を次第に圧縮して前記
シーンが人間の知覚者の知覚に映るであろう態様に一般的に対応する前記シーンについて
の変更されたイメージを作るステップとを含む、方法。 - 人間の眼を介して人間の脳によって知覚されるイメージに一般的に対応するシーンにつ
いてのイメージを形成する方法であって、前記方法は、前記シーン内の所与の領域を固視
する際に人間の観測者が所定のビューイングポイントから見ることのできる視野の全部又
は一部からなるシーンを、任意の適切な順番で、キャプチャ、記録、生成又は別の方法で
描写するステップと、前記視野の全部からなるシーンを単眼的形式、立体視的形式、又は
キクロプス的形式でキャプチャ、記録、生成又は別の方法で描写するステップと、前記視
野の全部からなるシーンを2次元的形式又は3次元的形式でキャプチャ、記録、生成又は
別の方法で描写するステップと、前記視野の全部からなるシーンをスチル形式又は動画形
式でキャプチャ、記録、生成又は別の方法で描写するステップとを含み、座標を設定する
ステップと、前記シーンについての測定値を収集するステップと、ここで説明した前記ス
テップを行うために必要なデータについての適切なマップを作成するステップとを含む、
方法。 - 前記視界についての境界を定義するステップと、描写されている前記ビューポイントが
前記シーンのどこに固定されているかに相当する前記イメージ内の前記固視点の場所を特
定するステップと、前記シーンとの関係で前記ビューポイントの場所を定義するステップ
と、前記シーン内で描写されている注目領域の大きさを定義するステップと、前記シーン
について関連性のある深度情報と、視角、顔の特徴及び他の関連性のあるデータ等の前記
シーンとの関係での前記観察者の位置についての情報とを提供するステップとをさらに含
む、請求項2に記載の方法。 - 描写されている前記視野の寸法及び形状に相当する境界を有するマップを作成するステ
ップと、請求項1、2又は3の方法に従って説明した前記ステップを行うのに必要な座標
セットを該マップ内にて定義するステップとを備える、方法。 - ここで定義した仕様に適合するイメージを作成するために、前記シーンから記録された
前記情報を、一般的に2次元的なイメージ空間上へと変換、マッピング、投影又はプロッ
トするステップを含む、請求項4に記載の方法。 - 前記イメージは略楕円形である、請求項5に記載の方法。
- 前記イメージは横長でアスペクト比がおよそ13:8である、請求項6に記載の方法。
- 請求項1又は2に記載のイメージを形成する方法であって、前記出力イメージは、膨れ
た及び/又は陥没した支持体又はスクリーンの形式の非平面的な支持体又はスクリーンを
用いることによって前記イメージにおいて知覚される深度感を増大させる表面の上に又は
媒体を通して表示され、前記膨らみ又は陥没の場所は前記イメージ内で描写されている固
視点及び注目領域と一致し、前記イメージの外縁は描写されている前記視界の境界と一致
する、方法。 - 請求項8に記載の方法であって、前記平面的又は非平面的なイメージの前に適切な大き
さ及び形状の開口部又は枠を適切に配置し、観察者は該開口部又は枠を通して最終的イメ
ージを見ることができ、これによってより大きな深度感を体験することできる、方法。 - 請求項1乃至9のいずれか一項の請求項に記載のイメージを形成する方法であって、最
終的シーンの前記観察者又は各観察者は、適切な入力又は追跡システムを通じて前記イメ
ージの特性をリアルタイムで変更でき、前記固視点の場所、前記注目領域の大きさ、前記
視界のスパン、明瞭さ、フォーカシング、二重化、コントラストの度合い、前記スクリー
ン又は支持体の形状、前記スクリーン若しくは支持体上の前記膨らみ及び/又は陥没の場
所、並びに、前記イメージ内の他の変数が前記イメージの観察者によって加えられる変更
に応じて調整可能である、方法。 - (定義したところによる)前記最終的イメージを表示する表示面であって、該面は、一
般的に平面的であるが、前記表示面の観察者になると見込まれる者の固視点に対応して膨
らんでいるか又は陥没している部分と、前記観察者によって加えられた変更に応じて調整
される、前記観察者の周辺視野に対応する底上げされたエッジとを含む、表示面。 - 請求項11に記載の楕円形の表示面であって、前記楕円のジオメトリは、直径がxであ
る2つの円が、重ね合わされた状態における交差部での幅aがxのおよそ70%となるよ
うに重ね合わされ、直径yがxのおよそ26%であるさらなる2つの円が、大きい前記円
の前記交差部に挿入されて重ね合わされた状態における交差部の幅bがyのおよそ35%
となるように重ね合わされ、前記楕円は前記交差する円の境界にある線によって形成され
るように、定義される、表示面。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GBGB1302174.6A GB201302174D0 (en) | 2013-02-07 | 2013-02-07 | Improvements in and relating to image making |
| GB1302174.6 | 2013-02-07 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015556570A Division JP2016511888A (ja) | 2013-02-07 | 2014-02-07 | イメージ形成における及びイメージ形成に関する改良 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019079552A true JP2019079552A (ja) | 2019-05-23 |
| JP6873096B2 JP6873096B2 (ja) | 2021-05-19 |
Family
ID=47998759
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015556570A Pending JP2016511888A (ja) | 2013-02-07 | 2014-02-07 | イメージ形成における及びイメージ形成に関する改良 |
| JP2018245537A Active JP6873096B2 (ja) | 2013-02-07 | 2018-12-27 | イメージ形成における及びイメージ形成に関する改良 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015556570A Pending JP2016511888A (ja) | 2013-02-07 | 2014-02-07 | イメージ形成における及びイメージ形成に関する改良 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9684946B2 (ja) |
| EP (1) | EP2954487A1 (ja) |
| JP (2) | JP2016511888A (ja) |
| CN (1) | CN104981839B (ja) |
| GB (1) | GB201302174D0 (ja) |
| WO (1) | WO2014122477A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10334158B2 (en) * | 2014-11-03 | 2019-06-25 | Robert John Gove | Autonomous media capturing |
| CN107249433B (zh) | 2015-03-01 | 2019-12-20 | 诺瓦赛特有限公司 | 用于测量眼能动性的系统和方法 |
| US10360721B2 (en) * | 2016-05-26 | 2019-07-23 | Mediatek Inc. | Method and apparatus for signaling region of interests |
| CN109219386B (zh) | 2016-05-29 | 2021-06-22 | 诺瓦赛特有限公司 | 显示系统和方法 |
| EP3515284B1 (en) | 2016-09-23 | 2023-09-20 | Novasight Ltd. | Screening apparatus |
| CN110214339A (zh) * | 2016-11-30 | 2019-09-06 | 诺瓦赛特有限公司 | 用于显示具有改变的视场的图像的方法和设备 |
| CN106846399B (zh) * | 2017-01-16 | 2021-01-08 | 浙江大学 | 一种获取图像的视觉重心的方法及装置 |
| CN107689033B (zh) * | 2017-07-21 | 2021-03-30 | 哈尔滨工程大学 | 一种基于椭圆分割的鱼眼图像畸变校正方法 |
| GB2566279B (en) | 2017-09-06 | 2021-12-22 | Fovo Tech Limited | A method for generating and modifying images of a 3D scene |
| GB2566280B (en) * | 2017-09-06 | 2020-07-29 | Fovo Tech Limited | A method of modifying an image on a computational device |
| GB2566276B (en) * | 2017-09-06 | 2020-07-29 | Fovo Tech Limited | A method of modifying an image on a computational device |
| CN108573472B (zh) * | 2018-04-18 | 2022-05-24 | 中国计量大学 | 利用最小熵判断视觉感知饱和的图像自适应缩小方法 |
| US11153482B2 (en) * | 2018-04-27 | 2021-10-19 | Cubic Corporation | Optimizing the content of a digital omnidirectional image |
| CN108732760A (zh) * | 2018-05-28 | 2018-11-02 | 徐州昇科源信息技术有限公司 | 一种解决虚拟现实vr晕动症的方法 |
| US10824052B2 (en) * | 2018-08-28 | 2020-11-03 | Hand Held Products, Inc. | Lens cap for optical projectors |
| EP3793199A1 (en) * | 2019-09-10 | 2021-03-17 | InterDigital VC Holdings, Inc. | A method and apparatus for delivering a volumetric video content |
| US11792420B2 (en) * | 2019-11-04 | 2023-10-17 | Qualcomm Incorporated | Methods and apparatus for foveated compression |
| DE102021103323A1 (de) * | 2021-02-12 | 2022-08-18 | Carl Zeiss Ag | Pannini-Objektiv und abbildendes optisches Gerät |
| CN113064278A (zh) * | 2021-03-22 | 2021-07-02 | 海南南岛眼镜有限公司 | 视觉增强方法、系统、计算机存储介质及智能眼镜 |
| US12530847B2 (en) * | 2023-01-23 | 2026-01-20 | Snap Inc. | Image generation from text and 3D object |
| CN119031114B (zh) * | 2024-09-19 | 2025-11-18 | 北京睿视界健康科技有限公司 | 一种裸眼3d的显示方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0720404A (ja) * | 1993-06-30 | 1995-01-24 | Sega Enterp Ltd | 楕円体ミラーを用いた画像表示方法 |
| JP3263278B2 (ja) * | 1995-06-19 | 2002-03-04 | 株式会社東芝 | 画像圧縮通信装置 |
| DE19716958A1 (de) * | 1997-04-17 | 1998-10-22 | Zbigniew Rybczynski | Optisches Abbildungssystem |
| JP2001025034A (ja) * | 1999-07-08 | 2001-01-26 | Nec Commun Syst Ltd | 立体画像表示システム |
| US6917715B2 (en) * | 2002-04-19 | 2005-07-12 | International Business Machines Corporation | Foveal priority in stereoscopic remote viewing system |
| FR2912238B1 (fr) | 2007-02-01 | 2009-07-10 | Valeo Vision Sa | Procede de traitement d'images prises par une camera embarquee sur vehicule. |
| IL211296A (en) * | 2010-02-18 | 2015-03-31 | Raytheon Co | Method of producing infrared imagery and system comprising microbolometer array and one or more processors |
-
2013
- 2013-02-07 GB GBGB1302174.6A patent/GB201302174D0/en not_active Ceased
-
2014
- 2014-02-07 EP EP14710610.8A patent/EP2954487A1/en not_active Ceased
- 2014-02-07 CN CN201480007550.4A patent/CN104981839B/zh active Active
- 2014-02-07 US US14/763,454 patent/US9684946B2/en active Active
- 2014-02-07 JP JP2015556570A patent/JP2016511888A/ja active Pending
- 2014-02-07 WO PCT/GB2014/050375 patent/WO2014122477A1/en not_active Ceased
-
2018
- 2018-12-27 JP JP2018245537A patent/JP6873096B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP6873096B2 (ja) | 2021-05-19 |
| US9684946B2 (en) | 2017-06-20 |
| CN104981839B (zh) | 2019-04-05 |
| JP2016511888A (ja) | 2016-04-21 |
| US20150363905A1 (en) | 2015-12-17 |
| CN104981839A (zh) | 2015-10-14 |
| EP2954487A1 (en) | 2015-12-16 |
| GB201302174D0 (en) | 2013-03-27 |
| WO2014122477A1 (en) | 2014-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6873096B2 (ja) | イメージ形成における及びイメージ形成に関する改良 | |
| US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| US11659158B1 (en) | Frustum change in projection stereo rendering | |
| JP2010154422A (ja) | 画像処理装置 | |
| JP2020061137A (ja) | 両眼視野/単眼視野間の移行 | |
| JP2010033367A (ja) | 情報処理装置及び情報処理方法 | |
| JP2005252459A (ja) | 画像生成装置、画像生成方法、及び画像生成プログラム | |
| JP2003284093A (ja) | 立体画像処理方法および装置 | |
| JP2012079291A (ja) | プログラム、情報記憶媒体及び画像生成システム | |
| US11212502B2 (en) | Method of modifying an image on a computational device | |
| US10885651B2 (en) | Information processing method, wearable electronic device, and processing apparatus and system | |
| CN115867238A (zh) | 视觉辅助 | |
| JP6844210B2 (ja) | 視覚的顕著性マップ生成装置、視覚的顕著性マップ生成方法及びプログラム | |
| US11353953B2 (en) | Method of modifying an image on a computational device | |
| JP2003284095A (ja) | 立体画像処理方法および装置 | |
| JP6166985B2 (ja) | 画像生成装置および画像生成プログラム | |
| JP2003284094A (ja) | 立体画像処理方法および装置 | |
| JP2009500878A (ja) | 奥行錯覚デジタル撮像 | |
| JP5539486B2 (ja) | 情報処理装置及び情報処理方法 | |
| AU2008283765A1 (en) | Method and software for transforming images | |
| JPH0955959A (ja) | 画像表示装置 | |
| Gurrieri | Improvements in the visualization of stereoscopic 3D imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190122 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190122 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201030 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210420 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6873096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |