JPH099294A - 立体画像情報構成方式 - Google Patents

Abstract

(57)【要約】 【構成】 本発明は、立体画像に於いて、従来の左右両
画面の一方の画像を主画面として２次元画像を含み、他
方の画像を副画面として距離情報及びオクルージョン画
像情報含む構成とする事によりこの副画面の画像情報量
を大幅に低減した構成を実現し、さらにこの副画面画像
情報を主画面に組み込んだ構成の立体画像構成方式を実
現した。 【効果】 今後ますます必要となる立体画像に関して、
その画像情報量の大幅な低減を実現し、よりコンパクト
で低コストな立体画像構成を可能にした。更にこの低減
された立体画像情報を通常の２次元のテレビ、ビデオな
どの２次元画像での隙間に組み込む事により、従来の２
次元画像方式とコンパチブルな使いやすい立体画像方式
の構成を可能としたものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は立体画像情報の構成法に
関するものである。

【０００２】

【従来の技術】立体画像は通常左右の眼に相当する視差
を有する左右二つの画面により構成される。一般に画像
は通常の２次元画像でも大きな情報量を必要とするが、
立体画像の場合は更に左右両画面にあたる２倍の画像情
報が必要となり、これらの情報量の増大が立体画像の普
及に大きな障害となっている。すでに従来の一般的な２
次元画像情報については画像圧縮技術などその情報量を
低減する工夫がなされているが、立体画像においても今
後これの普及を実現するためにはその情報量低減の工夫
は重要な課題になってくる。

【０００３】

【発明が解決しようとする課題】本発明はこの様に膨大
な情報量を要する立体画像に関して、情報量の低減を実
現した立体画像情報構成を提供し、同時にこれに用いる
立体距離情報生成方式を提供する事にある。

【０００４】

【課題を解決するための手段】本発明に於いては、先ず
副画面に於いて、主画面と対応を有する画素については
各画素の位置に於ける距離データを含み、主画面に対応
を有しない画素では、画素の位置に於ける副画面オクル
ージョン画像データを含んで成る立体画像情報構成によ
り、主画面より少ない画像情報量により構成される副画
面を実現した。

【０００５】更に本発明では、主画面に於いて、副画面
に対応を有する画素については画像情報に加えその画素
の位置に於ける距離データを含み、主画面に対応を有し
ない副画面画素については、別途または主画面の画素の
距離情報の変化点を示す画素位置に副画面オクルージョ
ン画素情報を含む立体画像情報を構成する事により、立
体両画面より少ない画像情報量の立体画像情報を含む主
画面を実現した。

【０００６】また本発明に於いては、立体画像を表示す
る左右両画面に於いて、一方の画面につきある距離に相
当する視差分だけ画面位置をズラしかつその場合の視角
位置に対応する大きさの補正を行い、これと他方の画面
と比較し一致をとる事によりその距離に対応する画素お
よびその距離情報を生成する立体距離情報生成方式を実
現した。

【０００７】

【作用】一般に立体画像を構成する左右両画面は、基本
的には左右の眼の位置の視差による分だけズレた相互に
よく似た画面で構成されている。この立体画像に於いて
左右の両画面で対応を有する画素については、一方の画
素について画面上の位置とその距離を規定するれば他方
の画面上の画素の位置は一義的に規定される。従って、
左右両画面の一方（例えば左画面）を主画面とし他方を
（例えば右画面）を副画面とした場合、副画面に於いて
左右両画面で対応を有する画素については、その画素の
画像情報はその位置での距離情報を規定する事により、
これに一義的に対応する主画面上での画素の画像情報で
表す事が可能である。即ち副画面の画素の画像情報はこ
れより情報量の少ないその画素位置での距離情報により
表す事が出来る。なおこのとき両画面間で対応する画素
は、その視角位置により各々物体からの距離に差があり
見える大きさが異なるため、実際に各画素を変換生成す
るときには距離の差に応じた補正が加わる。また対応す
る画素に関する距離情報は左右どちらか一方でよいの
で、逆に主画面に関して副画面と対応を持つ画素につい
てその画像情報にその位置での距離情報を加える事によ
り、この主画面のみで対応する副画面の画像情報を含む
事が出来る。もちろん画面の中の対象物は一般に一定の
大きさのまとまりを持つので、この中での各画素は相互
にほぼ同じ距離でしかも連続的となり、上に述べた各画
素の距離情報としてはその変化分を取るまたは近似相関
式で近似するなどにより情報量の圧縮が可能で、さらな
る情報量の低減が出来る。更にこのとき画面の変化分を
強調するなどして輪郭をふちどりをすれば容易に対象物
を区分する事が出来る。同様に距離情報が画像の精細度
よりおおまかで良い事を考えれば、距離情報を抽出する
とき両画面について逆に情報量を少なく精細度を下げた
状態で比較する事も可能である。

【０００８】また立体両画面では、一方の画面では見え
るが他方の画面では陰になって見えなくなる「オクルー
ジョン」と呼ばれる部分が含まれる場合がある。例えば
副画面でのみ見える副画面オクルージョン画像は主画面
に対応画像情報を持たないので、副画面にその画素の位
置と画像情報データを保有する必要がある。しかしこの
場合、オクルージョンを生じ陰になり見えなくなる方の
画面では、その見えなくなる部分がその周辺の画素に於
いて距離情報の変化点として現れる。即ち、主画面に於
いてオクルージョンにより立体物の陰になり見えなくな
る部分が生じる場合は、これに対応する副画面でのオク
ルージョン画像の位置が主画面の画素に於ける距離情報
の変化点として一義的に規定されるのである。またこの
変化点は、オクルージョンにより見えなくなるのが左画
面の場合は画面の画素列につき左から右方向に距離が不
連続に遠くなる点であり、これが右画面の場合は逆に右
から左に不連続に遠くなる点になる。

【０００９】以上に説明された点を考慮に入れる事によ
り、本発明はまず副画面情報として主画面と対応のある
画素については距離情報を、また対応の無い画素につい
ては前記オクルージョン画像情報を持つ事により、少な
い情報量の副画面を持つ立体画像情報構成を実現した。
さらに本発明は、主画面情報としてその画像情報に加え
副画面と対応のある画素については距離情報を含み、ま
た副画面のみにある副画面オクルージョン画像情報につ
いては主画面に於ける距離情報の変化点の画素位置にこ
れを含む事により、主画面に副画面情報も含めた情報量
の少ない立体画像情報構成を実現した。また本発明は、
立体両画面において、一方の画面につきある距離に対応
する視差相当分だけズラしかつこの視角位置に対応する
大きさ補正を行ったものを、他方の画面と比較して合致
する画素を抽出する操作を、ズレの量を変えて順次行う
事により、対応する画素およびその距離情報とさらにオ
クルージョン画像情報を含む距離情報の不連続点の生成
を行う立体距離情報生成方式を実現した。なお本発明の
画像情報構成により立体画像を再生する場合は、主画面
を一方の画面とし、距離情報とオクルージョン画像情報
で構成される副画面画像情報と主画面画像情報とから他
方の画面を再生構成する事により、立体両画面を得る。

【００１０】

【実施例】図１には本発明の第１の実施例を示す。これ
は後述の図４で示される立体対象物の立体画像を本発明
の主画面１１と副画面１２で構成したもので、左の主画
面１１は原画像の左画面であり、その２次元画像を示す
ものである。一方副画面１２は原画像の右画面であり、
主画面と対応を有する部分である図中斜線で示された画
像部分１Ｆについては距離情報のみを含み、さらに右画
面で見えなくなるオクルージョン部分については副画面
１２の斜め格子線で示された部分１Ｊに副画面オクルー
ジョン画像情報としてそのまま含でいる。

【００１１】図２は本発明の第２の実施例であり、先の
立体画像を左画面に相当する主画面２１の中に副画面の
情報まで含めて構成したものである。即ち主画面２１に
於いて副画面と対応を有する図中に斜線で示された画像
部分２Ｆについては、各画素に於いて画像情報と共に距
離情報も含ませる。一方図の太線２Ｋで示される部分
は、その右側（副画面側）に距離情報が不連続に遠くな
る部分であり、ここは主画面では陰になり見えなくなる
オクルージョン部分である。従ってここに副画面オクル
ージョン画像に対応する画像情報を含める事により、主
画面２１に立体画像情報を全て含めた立体画像情報構成
が実現される。なお以上の図での外枠周辺部分について
の画素対応は説明上その対象外として無視したが、以下
の図でも同様である。これら情報量の低減をはかった立
体画像情報構成を用いる事により、例えば通常のテレビ
にワイド画面を表示する場合生ずる画面上下の隙間部分
にこれら副画面立体画像情報を含める事などが可能とな
り、通常の２次元画像とコンパチブルな立体画像構成を
実現する事が出来る。ここで通常の２次元表示装置の場
合はこの２次元画像を表示し、また立体画像表示装置の
場合は画像情報を立体両画面に変換し立体画像として表
示する事が出来る。

【００１２】図３は立体画像の左右両画面に於ける各画
素の対応について説明する図である。即ち、ある点Ｐを
左右両眼ＥＬ、ＥＲで見る場合を左右両画面３Ｌ、３Ｒ
で表している。例えば左画面３Ｌ上での点Ｐの位置をＰ
Ｌとすれば画面でのＰＬの位置が決まれば左眼の視角α
Ｌが決まる。ここで両目の間隔をＤとして、点Ｐまでの
距離ＸＬが規定されば、点Ｐから右眼への距離ＸＲおよ
び右眼の視角αＲさらには点Ｐに対する両眼の視差角β
が決まり、従って点Ｐが右画面上で対応する位置ＰＲが
一義的に決まる。勿論この時ＸＬの代わりに視差角βを
規定しても良く、またＶＬ、αＬの代わりに右眼のＸ
Ｒ、αＲを決めてもこれらの関係は一義的に決まる。こ
こで視差角βで規定する場合、視差角βが一定となる点
Ｐの位置は、両眼の位置ＥＬ、ＥＲを含み径がその間隔
Ｄと視差角βで決まる一定の円周に沿って分布する。ま
たＰＬとＰＲとは見る位置により点Ｐからの距離ＸＬ、
ＸＲが異なってくるので、ＰＬに対しＰＲはその大きさ
が距離に応じて近ければ拡大し遠ければ縮小されて対応
する。なお以上は水平方向の動きについて述べたが、画
面上で見上げるまたは見おろす位置については、これに
対応する一定の仰角を持った面を考えれば良いので説明
は省略している。距離情報の精度に関しては、遠いとこ
ろでは大まかで良いが近くなるほど距離の差が立体感に
大きく影響するので、有効桁数を同じに取る等の工夫が
必要である。また視差角で表す場合も同様に角度の絶対
値が小さいところでは細かく、大きいところでは大まか
になるように一定の有効桁精度を考えるのが効果的であ
る。

【００１３】図４は立体画像の例として、平面の背景の
前方に立方体Ｑを有する対象物について、これを立体画
像として見る場合の左右両画面を示したものである。こ
こで対象物である、文字ＡとＢを持つ立方体Ｑを両眼で
見る時、その立体画像となる左右両画面４Ｌ、４Ｒの上
にそれぞれＱＬ、ＱＲとして表示される。

【００１４】図５はこの４Ｌ、４Ｒをさらに詳細に示し
たもので、５Ｌ、５Ｒはそれぞれ左右両画面である。右
画面５Ｒの斜め格子線部分５Ｊが左画面５Ｌでは見えな
い右画面オクルージョン画像となる。これ以外の画素は
すべて左画面と対応を有するので、これらの画素に関し
その位置の画像情報の代わりに情報量のより少ない距離
情報を規定すれば、これで左画面の画像情報がすべて対
応出来る。この場合左画面に於いて斜線で囲まれた部分
５ＪＬは左画面オクルージョン画像に相当する部分であ
り右画面とは対応を持たない。従って左画面を主画面と
し右画面を副画面とすれば、副画面の画像情報として主
画面と対応を有する画素については情報量のより少ない
距離情報を含み、主画面と対応を有しない画素について
は副画面でのオクルージョン画像情報を含む事により、
情報量を低減した副画面を構成する事が出来る。そして
この副画面画像情報と主画面画像情報と組み合わせる事
により、もとの右画面に相当する副画面が再生される。

【００１５】図６は対象となる立方体について、左画面
ＱＬを実線図６Ｌで、右画面ＱＲを点線図６Ｒで表し両
画面を重ね合わせたもので、対象物について両画面上で
の相対的な位置関係を示す。この図で示される通り両画
面で各々対応する画素はその位置が距離に応じた視差角
に相当する分だけ移動し右画面は左方向にズレている。
このとき位置の移動と共に眼から対象物までのそれぞれ
の距離も変化するため、右画面に於いては対応する画素
の距離が遠ざかるＡの文字の部分は縮小され、距離の近
づくＢの文字の部分は拡大される。

【００１６】さらに図６では左右両画面で各々対応を有
する画素について、その距離情報を生成する方式を説明
する。図で示される通り、左画面６Ｌに対して右画面６
Ｒに於ける各画素は視差角に対応する分だけ左画面の方
向である左に移動し、かつ視角位置に対応する距離の変
化分だけ拡大または縮小されている。従って両画面の各
画素を比較する場合、両画面がそのままで一致する画素
は視差角がゼロであり無限遠に位置する対象に相当す
る。次に一方の画面（例えば右画面６Ｒ）について最小
視差角に対応する分だけ画素位置を右方向に戻してズラ
し、かつ視角位置に対応する拡大縮小の補正を行ったう
えで両画面を比較すれば、ここで一致する部分はその視
差角即ちそれに相当する距離に対応する画素として対応
づけられる。これを順次視差角を増やしその分画面をズ
ラして比較し、一致する画素を順次対応づけて行けば、
両画面につき対応する画素とその距離情報を求める事が
出来る。この場合ある程度以上の距離では視角位置によ
る距離の差は殆ど無視出来るので、その大きさ補正は不
要となる。また、これらの操作は逆に視差角の大きい方
から比較していく事も出来る。ここで左画面６Ｌを主画
面、右画面６Ｒを副画面とした場合、これらの比較を行
った結果副画面側に残った画素は斜め格子線で囲まれた
部分６Ｊであり、これは副画面オクルージョン画像情報
に相当する。このとき主画面に於いて、画面上に並ぶ画
素の距離情報が副画面側である右方向に不連続に遠くな
る点の位置は太線６Ｋで示されるが、これが主画面では
見えない副画面オクルージョン画像情報のある位置に対
応する。

【００１７】

【発明の効果】本発明により従来の立体画像の左右両画
面の一方の画像を距離情報で示す事により、より少ない
情報量で立体画像を構成する事を可能とした。これはテ
レビ、ビデオ、ゲーム等をはじめとして、今後あらゆる
画像分野で必要となる立体画像に関して、その記録情報
量の大幅な低減を実現し、よりコンパクトで低コストな
立体画像の構成を可能にするものである。更に、例えば
従来のテレビ、ビデオなどをワイド画面で用いるとき、
不要となる上下のスペースに本発明による圧縮された立
体画像情報を組み込むなどにより、少ない情報量の立体
画像情報を一部に組み込んだ２次元画像を構成する事が
可能になる。これは今後ますます要望される立体テレ
ビ、ビデオなどの立体画像方式に対して、従来のテレビ
などの２次元画像方式とコンパチブルな立体画像方式の
構成を可能にするものであり、その実現を容易にするも
のとして、その社会的重要性は計り知れない。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す図

【図２】本発明の第２の実施例を示す図

【図３】立体画像の両画面における各画素の対応を示す
図

【図４】立体画像例の左右両画面を示す図

【図５】図４の左右両画面の詳細を示す図

【図６】対象となる立方体につき図５の左右両画面を重
ね合わせた図

【符号の説明】

１１ 主画面 １２ 副画面 １Ｆ 主画面と対応を有する部分 １Ｊ 副画面オクルージョン画像部分 ２１ 副画面情報まで含める主画面 ２Ｋ 主画面では見えないオクルージョン画面位置 ３Ｌ、４Ｌ、５Ｌ 左画面 ３Ｒ、４Ｒ、５Ｒ 右画面 ５Ｊ 右画面オクルージョン画像部分 ５ＪＬ 左画面オクルージョン画像部分 ６Ｌ、６Ｒ 対象の立体物の左画面及び右画面 ６Ｊ 副画面オクルージョン画像部分 ６Ｋ 主画面で見えない副画面オクルージョン画像対応
位置 Ｄ 両眼間の距離 ＥＬ、ＥＲ 左眼および右眼 Ｇ 副画面と対応を有する部分 Ｐ 対象物点 ＰＬ、ＰＲ 左及び右画面での点Ｐの位置 Ｑ 対象立体物 ＱＬ、ＱＲ 左右画面上での対象物Ｑの像 ＸＬ、ＸＲ 左眼および右眼から点Ｐまでの距離 αＬ、αＲ 左眼および右眼での点Ｐの視角 β 両眼の視差角

Claims (4)

【特許請求の範囲】
1. 【請求項１】主画面とこれに対応する副画面をもち、該
   副画面に於いて、主画面の画素と対応を有する画素につ
   いては各画素の位置に於ける距離情報を含み、主画面に
   対応を有しない画素については画素の位置に於ける副画
   面オクルージョン画像情報を含んで成る立体画像情報構
   成方式。
2. 【請求項２】主画面に於いて、副画面に対応を有する各
   画素には画像情報と画素の位置に於ける矩離情報を含
   み、主画面に対応を有しない副画面画素についてはその
   位置と該画素に対応する副画面オクルージョン画像情報
   とを含む立体画像情報構成方式。
3. 【請求項３】主画面の画素についてその距離情報が副画
   面の方向に不連続に遠くなる変化を示す画素位置に対
   し、対応する副画面オクルージョン画像情報を含む事を
   特徴とする、２項の立体画像情報構成方式。
4. 【請求項４】立体画像を表示する左右両画面の一方の画
   面についてある視差距離に相当する分だけ位置をズラし
   かつその場合の視角位置に対応する大きさの補正を行
   い、これと他方の画面と比較し一致をとる事によりその
   距離に対応する画素およびその距離情報を生成する立体
   距離情報生成方式。