WO2006100805A1

WO2006100805A1 - 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム

Info

Publication number: WO2006100805A1
Application number: PCT/JP2005/022762
Authority: WO
Inventors: Koichi Hiramatsu; Takao Uchimura; Yasuhito Suuchi; Tadanori Okada; Kazuyuki Hattori; Syunsaku Takeuchi
Original assignee: Toyota Motor Corp; NTT Data Sanyo System Corp
Current assignee: Toyota Motor Corp; Sanyo IT Solutions Co Ltd
Priority date: 2005-03-18
Filing date: 2005-12-12
Publication date: 2006-09-28
Anticipated expiration: 2007-09-18
Also published as: JP2006262397A; EP1901564A4; US20080192112A1; CN101180891A; KR20080025360A; KR100918294B1; CN100592808C; US8482598B2; JP4578294B2; EP1901564A1

Abstract

　可変焦点レンズを用いることなく、立体視画像のすべての領域を正確に視認することができ、計算機の処理負荷を軽減しつつ、複数の観者がどの位置から画像を観た場合であっても、自然な立体画像を網膜に形成することができる立体視画像表示装置、立体視画像表示方法及びコンピュータプログラムを提供する。　観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示装置において、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出し、算出した限界視差を直径とする球に内接する直方体の寸法を算出し、算出した直方体で被写体を含む空間を複数の空間に分割し、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成し、生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成し、生成した単一の立体視画像を表示する。

Description

明細書

立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム技術分野

[0001] 本発明は、観者の両眼の視差を利用して、観者がどの位置力も見ようと立体画像を網膜に形成することができ、被写体の空間的位置関係を自然に把握することができる立体視画像を生成して表示する立体視画像表示装置、立体視画像表示方法及びコンピュータプログラムに関する。

背景技術

[0002] 近年の画像処理技術の急速な進展に伴い、偏光レンズ等の光学レンズを組み込んだ特殊な眼鏡を使用することにより立体映像を楽しむことができる立体視画像表示装置だけでなぐ裸眼であっても立体映像を楽しむことができる立体視画像表示装置が多々開発されている。従来の立体視画像表示装置では、注視点が単一である場合の立体視画像を生成して表示しており、空間の一部領域については鮮明に認識することができることから、空間の位置関係を正確に認識することができるのに対し、他の領域については、いわゆるぼけた画像として認識することになることから、空間全域にわたって位置関係を正確に認識することが困難であるという問題点があった。

[0003] 図 16は、従来の立体視画像表示の概念を示す模式図である。立体視画像が投影されるスクリーン 1を介して、投影されている被写体（図 16は車両)の注視点 2を見た場合、注視点 2では視差が生じないことから、立体視画像を鮮明に視認することができる。一方、注視点 2から離れた位置の立体視画像は、視差が大きくなるほど、左眼網膜に形成された立体画像 3と右眼網膜に形成された立体画像 4との乖離が大きくなり、結果としてぼやけた状態で認識される。図 17は、従来の立体視画像表示でのぼやける領域を示す図である。図 17のように、従来の立体視画像表示装置では、単焦点レンズ 5、 5、 · · ·を用いており、注視点 2近傍の被写体は鮮明に視認することができるが、注視点 2から離れた領域、例えばハッチングを施した領域 6では、左右画像の視差が所定値より大きぐぼやけた画像として認識される。

[0004] 斯かる問題点を解消すベぐ例えば特許文献 1及び 2では、可変焦点レンズを用い、観者とスクリーン 1とのあいだの複数の異なる位置に注視点を設け、明瞭に視認することができる領域を広げること〖こよって、観者の位置、注視点等の相違による立体画像の見え方を均一化している。図 18は、可変焦点レンズを用いた場合の立体視画像表示でのぼやける領域を示す図である。図 18のように、可変焦点レンズ 7、 7、 · · · を用いることにより、複数の注視点 2、 2、 · · ·を設けることができ、可変焦点レンズ 7、 7、 · · ·を多数用い、注視点 2、 2、 · · ·の配置を工夫することによって、図 17のハッチングを施した領域 6、すなわち左右画像の視差が所定値より大きぐぼやけた画像として認識される領域を縮小、又は排除することが可能となる。

特許文献 1：特許第 3064992号公報

特許文献 2：特開 2001— 238229号公報

発明の開示

発明が解決しょうとする課題

[0005] しかし、上述した可変焦点レンズ 7、 7、…を用いた立体視画像表示システムでぼやける領域を完全に排除するためには、可変焦点レンズ 7を多数備える必要が有り、コストが増大するという問題点があった。

[0006] また、可変焦点レンズ 7を多数備えた場合であっても、例えばどの注視点力も奥行き方向に離れた位置に存在する被写体の画像は、やはりどの注視点にぉ、ても左右画像の視差が所定値より大きくなり、ぼやけた画像として認識される。したがって、観者が被写体の空間的位置関係を把握しようと視点を多々変更した場合であっても、ぼやけた画像としカゝ認識することができず、ぼやけた画像として認識される領域を完全には排除することができないという問題点があった。

[0007] これは、従来の立体視表示画像システムが、観者が立体視画像をぼやけることなく視認することができる視差の限界値 (以下、限界視差と、う）を考慮して、な、ことに起因している。限界視差は、観者とスクリーンとの位置関係に基づき求めることができる。

[0008] また、従来の立体視表示画像システムは、複数撮像した画像の中から、最も焦点が合ってヽる画像を抽出するために、画像に含まれる画素数すべてにつ！ヽて比較判定処理を行う必要がある。すなわち、全ての画素について、相関度を算出し、視差を算出する。そして算出した視差を複数の画像間で比較する必要が有り、計算機の処理負荷が膨大になるという問題点も残されていた。

[0009] 本発明は斯力る事情に鑑みてなされたものであり、可変焦点レンズを用いることなく、立体視画像のすべての領域を正確に視認することができ、計算機の処理負荷を軽減することができる立体視画像表示装置、立体視画像表示方法及びコンピュータプログラムを提供することを目的とする。

[0010] また本発明は、限界視差を可能な限り正確に算出し、複数の観者がどの位置から画像を観た場合であっても、自然な立体画像を網膜に形成することができる立体視画像表示装置、立体視画像表示方法及びコンピュータプログラムを提供することを目的とする。

課題を解決するための手段

[0011] 上記目的を達成するために第 1発明に係る立体視画像表示装置は、観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示装置において、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段と、算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段と、算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段と、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段と、生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段と、生成した単一の立体視画像を表示する画像表示手段とを備えることを特徴とする。

[0012] また、第 2発明に係る立体視画像表示装置は、第 1発明において、立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段を備え、前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するようにしてあることを特徴とする。

[0013] また、第 3発明に係る立体視画像表示装置は、第 1又は第 2発明において、前記限界視差算出手段は、前記限界視差を観者の個人的特徴に基づいて補正する補正手段を備えることを特徴とする。 [0014] また、第 4発明に係る立体視画像表示装置は、第 1乃至第 3発明のいずれか 1つにおいて、前記注視点画像張り合わせ手段は、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段と、一の空間に対して他の空間を平行移動して輝度差を再算出する手段と、算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段とを備えることを特徴とする。

[0015] また、第 5発明に係る立体視画像表示方法は、観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示方法にぉヽて、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出し、算出した限界視差を直径とする球に内接する直方体の寸法を算出し、算出した直方体で被写体を含む空間を複数の空間に分割し、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成し、生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成し、生成した単一の立体視画像を表示することを特徴とする。

[0016] また、第 6発明に係る立体視画像表示方法は、第 5発明において、立体視画像を表示する面と観者との相対位置を検出し、前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出することを特徴とする。

[0017] また、第 7発明に係る立体視画像表示方法は、第 5又は第 6発明において、前記限界視差を観者の個人的特徴に基づいて補正することを特徴とする。

[0018] また、第 8発明に係る立体視画像表示方法は、第 5乃至第 7発明のいずれか 1つにおいて、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出し、一の空間に対して他の空間を平行移動して輝度差を再算出し、算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求めることを特徴とする。

[0019] また、第 9発明に係るコンピュータプログラムは、観者の網膜に立体画像を形成する立体視画像を生成して表示するコンピュータで実行可能なコンピュータプログラムにおいて、前記コンピュータを、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段、算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段、算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段、及び生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段として機能させることを特徴とする。

[0020] また、第 10発明に係るコンピュータプログラムは、第 9発明において、前記コンビュータを、立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段として機能させ、前記限界視差を、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するよう機能させることを特徴とする。

[0021] また、第 11発明に係るコンピュータプログラムは、第 9又は第 10発明において、前記コンピュータを、前記限界視差を観者の個人的特徴に基づ、て補正する補正手段として機能させることを特徴とする。

[0022] また、第 12発明に係るコンピュータプログラムは、第 9乃至第 11発明のいずれか 1 つにおいて、前記コンピュータを、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段、一の空間に対して他の空間を平行移動して輝度差を再算出する手段、及び算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段として機能させることを特徴とする。

[0023] 第 1発明、第 5発明、及び第 9発明では、観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出し、算出した限界視差内である直方体の寸法を算出し、算出した直方体で被写体を含む空間を複数の空間に分割し、被写体を含む空間ごとに単一の注視点に対する被写体の立体視画像を生成し、生成した複数の立体視画像を張り合わせることで単一の立体視画像を生成して表示出力する。これにより、観者がぼやけた画像として認識することが無い視差の範囲内である直方体で空間を分割し、分割した空間ごとに従来と同様に立体視画像を生成してから、これらを張り合わせて立体視画像を生成するので、生成された立体視画像のどの領域においても限界視差内の立体視画像であり、観者がどの位置、どの角度から立体視画像を観る場合であっても、網膜にぼやけた立体画像を形成することがなヽ

[0024] したがって、可変焦点レンズを用いずに、立体視画像のすべての領域を正確に視認することができ、被写体の空間的位置関係を正確に把握することが可能となる。また、被写体が存在する直方体空間で生成した立体視画像のみを張り合わせれば足りることから、計算機処理負荷を大幅に削減することができ、計算コストの軽減を図ることが可能となる。

[0025] 第 2発明、第 6発明、及び第 10発明では、立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段を備えており、限界視差を、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出する。これにより、観者の観る位置によって限界視差を正確に算出することができ、観者に適合した立体視画像を表示することが可能となる。

[0026] 第 3発明、第 7発明、及び第 11発明では、限界視差を観者の個人的特徴に基づいて補正する補正手段を備える。これにより、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて算出した限界視差を補正することで、より正確に限界視差を算出することができ、観者により適合した立体視画像を表示することが可能となる。

[0027] 第 4発明、第 8発明、及び第 12発明では、分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出し、一の空間に対して他の空間を平行移動して輝度差を再算出しつつ、算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める。これにより、単純に立体視画像を元の空間位置で張り合わせた場合に隣接する立体視画像の境界に生じる透明部分等の隙間部分を消去することができ、境界部分にぉ、ても自然な立体画像を観者の網膜に形成することができる立体視画像を生成することが可能となる。

発明の効果 [0028] 第 1発明、第 5発明、及び第 9発明によれば、観者がぼやけた画像として認識することが無い視差の範囲内である直方体で空間を分割し、分割した空間ごとに従来と同様に立体視画像を生成してから、これらを張り合わせて立体視画像を生成するので、生成された立体視画像のどの領域にお!ヽても限界視差内の立体視画像であり、観者がどの位置、どの角度力も立体視画像を観る場合であっても、網膜にぼやけた立体画像を形成することがなヽ。

[0029] したがって、可変焦点レンズを用いずに、立体視画像のすべての領域を正確に視認することができ、被写体の空間的位置関係を正確に把握することが可能となる。また、被写体が存在する直方体空間で生成した立体視画像のみを張り合わせれば足りることから、計算機処理負荷を大幅に削減することができ、計算コストの軽減を図ることが可能となる。

[0030] 第 2発明、第 6発明、及び第 10発明によれば、観者の観る位置によって限界視差を正確に算出することができ、観者に適合した立体視画像を表示することが可能となる

[0031] 第 3発明、第 7発明、及び第 11発明によれば、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて算出した限界視差を補正することで、より正確に限界視差を算出することができ、観者により適合した立体視画像を表示することが可能となる。

[0032] 第 4発明、第 8発明、及び第 12発明によれば、単純に立体視画像を元の空間位置で張り合わせた場合に隣接する立体視画像の境界に生じる透明部分等の隙間部分を消去することができ、境界部分においても自然な立体画像を観者の網膜に形成することができる立体視画像を生成することが可能となる。

図面の簡単な説明

[0033] [図 1]本発明の実施の形態 1に係る立体視画像表示装置の構成を示すブロック図である。

[図 2]本発明の実施の形態 1に係る立体視画像表示装置の CPUの処理手順を示すフローチャートである。

[図 3]限界視差の説明図である。 [図 4]本発明の実施の形態 1に係る立体視画像表示装置の CPUの限界視差を算出する手順を示すフローチャートである。

[図 5]画像データ記憶部に記憶してある画像データの立体視画像の構図を定めるベぐ空間内の任意の位置に設定した注視点及び視点を示す図である。

[図 6]分割する空間の注視点を求める方法の説明図である。

[図 7]最初の分割空間を決定する方法を示す模式図である。

[図 8]最初の分割空間の直方体の高さと幅とを求める方法を示す模式図である。

[図 9]最初の分割空間を配置した状態を示す図である。

[図 10]被写体の分割空間として直方体を配置した状態を示す図である。

[図 11]1列目で生成された立体視画像の例を示す図である。

[図 12]本発明の実施の形態 1に係る立体視画像表示装置の CPUの立体視画像張り合わせ処理を示すフローチャートである。

[図 13]調整対象となる立体視画像をドット単位で移動する状態を示す模式図である。

[図 14]本発明の実施の形態 2に係る立体視画像表示装置の構成を示すブロック図である。

[図 15]本発明の実施の形態 2に係る立体視画像表示装置の CPUの限界視差を算出する手順を示すフローチャートである。

[図 16]従来の立体視画像表示の概念を示す模式図である。

[図 17]従来の立体視画像表示でのぼやける領域を示す図である。

[図 18]可変焦点レンズを用いた場合の立体視画像表示でのぼやける領域を示す図である。

符号の説明

10 立体視画像表示装置

11 CPU

12 記録手段

13 RAM

14 通信手段

15 入力手段 16 表示インタフェース

17 補助記憶手段

18 可搬型記録媒体

20 大画面表示装置

30 表示装置

40 観者センサ

41 センサインタフェース

121 画像データ記憶部

D 限界視差

g、 gl、 g2、 · · ·、 gn 注視点

発明を実施するための最良の形態

[0035] (実施の形態 1)

以下、本発明の実施の形態 1に係る立体視画像表示装置について図面に基づいて具体的に説明する。図 1は、本発明の実施の形態 1に係る立体視画像表示装置 1 0の構成を示すブロック図である。図 1に示すように、立体視画像表示装置 10は、少なくとも、 CPU (中央演算装置） 11、記憶手段 12、 RAM13、インターネット等の外部のネットワーク網と接続する通信手段 14、入力手段 15、複数の観者が観ることができる外部の大画面表示装置 20へ表示画像データを出力する表示インタフェース 16、及び DVD、 CD等の可搬型記憶媒体 18を用、る補助記憶手段 17で構成される。

[0036] CPU11は、内部バス 19を介して立体視画像表示装置 10の上述したようなハードウェア各部と接続されており、上述したハードウェア各部を制御するとともに、記憶手段 12に記憶されている処理プログラム、例えば限界視差を算出するプログラム、空間を限界視差内の直方体で分割するプログラム、単一の注視点に対する被写体の立体視画像を生成するプログラム、複数の立体視画像を張り合わせるプログラム等に従つて、種々のソフトウェア的機能を実行する。

[0037] 記憶手段 12は、内蔵される固定型記憶装置 (ハードディスク）、 ROM等で構成され、通信手段 14を介した外部のコンピュータ、又は DVD、 CD— ROM等の可搬型記録媒体 18から取得した、立体視画像表示装置 10として機能させるために必要な処理プログラムを記憶している。記憶手段 12は、処理プログラムだけではなぐ例えば外部のコンピュータ力受信した被写体を撮像した画像データを画像データ記憶部 121に記 '慮してある。

[0038] RAM13は、 DRAM等で構成され、ソフトウェアの実行時に発生する一時的なデータを記憶する。通信手段 14は内部バス 19に接続されており、インターネット、 LAN 等のネットワーク網と通信することができるよう接続することにより、処理に必要とされるデータを送受信する。

[0039] 入力手段 15は、画面上の任意の位置を指示するためのマウス等のポインティングデバイス、又は画面上で表示画面の横幅等の数値データを打鍵により入力するキーボード等である。

[0040] 表示インタフェース 16は、画像を表示出力する液晶表示装置 (LCD)、表示ディスプレイ (CRT)等の外部の大画面表示装置 20に対して、表示データを送出する LSI ボードである。

[0041] 補助記憶手段 17は、 CD、 DVD等の可搬型記録媒体 18を用い、記憶手段 12へ、 CPU11が処理するプログラム、データ等をダウンロードする。また、 CPU11が処理したデータをバックアップすべく書き込むことも可能である。

[0042] 図 2は、本発明の実施の形態 1に係る立体視画像表示装置 10の CPU11の処理手順を示すフローチャートである。立体視画像表示装置 10の CPU11は、まず観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する (ステツプ S201)。

[0043] CPUl lは、算出した限界視差を直径とする球に内接する直方体の寸法を算出し（ステップ S202)、画像データ記憶部 121から被写体を撮像した画像データを読み出して、算出した直方体で被写体を含む空間を複数の空間に分割する (ステップ S203 )。そして、 CPU11は、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する (ステップ S204)。

[0044] CPU11は、複数の立体視画像の中から、順次一の立体視画像を選択し (ステップ S205)、選択した立体視画像に被写体が含まれている力否かを判断する (ステップ S 206)。 CPU11が、選択した立体視画像に被写体が含まれていると判断した場合 (ステツプ S206 :YES)、 CPU11は、選択した立体視画像を全体の立体視画像生成用として RAM13に記憶し (ステップ S207)、すべての立体視画像を選択したカゝ否かを判断する (ステップ S208)。 CPU11が、選択した立体視画像に被写体が含まれていないと判断した場合 (ステップ S206 :NO)、 CPU11は、該立体視画像を RAM13に記憶することなぐステップ S208ヘスキップする。

[0045] CPU11が、すべての立体視画像を選択して!/、な、と判断した場合 (ステップ S 208 ： NO)、 CPU11は、ステップ S205へ戻り、上述した処理を繰り返し実行する。 CPU 11が、すべての立体視画像を選択したと判断した場合 (ステップ S208 : YES)、 CP Ul lは、記憶してある複数の立体視画像を張り合わせ (ステップ S209)、生成した単一の立体視画像を表示インタフェース 16を介して、外部の大画面表示装置 20へ送出する (ステップ S210)。

[0046] 図 3は、限界視差の説明図である。観者が被写体を観る場合、左右両眼 31、 32の光軸が被写体上で交差するよう、眼球の回転、水晶体の厚み調節等を行う。これにより左右両眼 31、 32の光軸が交差する点と両眼 31、 32との距離 L1が変動し、被写体が投影されている表示装置 20の画面、スクリーン等と両眼 31、 32との距離 L2との相対関係が変動する。

[0047] すなわち、注視点から奥行き方向に離れた値に存在する部分の画像を観る場合、距離 L1と距離 L2とは一致せずに相当の距離差が生じる。この距離差が次第に大きくなつた場合、所定の距離差に到達した時点で、観者は「ぼやけている」と認識する。斯かる距離差での視差を限界視差と定義する。

[0048] 一般に、左右両眼 31、 32の光軸が交差する点と両眼 31、 32との距離 L1の逆数と、被写体が投影されている画面、スクリーン等と両眼 31、 32との距離 L2の逆数との差力 ± 2以内である場合に、ぼやけることなく立体画像として認識することができることが知られている。したがって、限界視差は、以下の手順により算出することができる。

[0049] 図 4は、本発明の実施の形態 1に係る立体視画像表示装置 10の CPU11のステツプ S201での詳細な処理、すなわち限界視差を算出する手順を示すフローチャートである。立体視画像表示装置 10の CPU11は、まず下記手順により実空間における限界視差を算出する (ステップ S401)。

[0050] 距離 L1の逆数と距離 L2の逆数との差が ± 2以内であることから、距離 L1と距離 L2 との間では、（数 1)が成立する。

[0051] (1/L2- 2) < 1/L1 < (1/L2 + 2) · · · (数 1)

[0052] また、図 3の視差 dを底辺とする三角形と、両眼距離 Eを底辺とする三角形とは相似であることから、（数 2)が成立する。

[0053] Ll =L2 X E/ (d+E) · · · (数 2)

[0054] (数 1)及び (数 2)に基づ、て視差 dにつ、て整理すると、（数 3)を導出することができ、（数 3)を具備する力否力の境界での視差 dの絶対値が限界視差 Dとなる。

[0055] - 2 X L2 X E < d < 2 X L2 X E · · · (数 3)

[0056] CPU11は、算出した限界視差 D、大画面表示装置 20の画面の横幅 W及び画面の水平方向の解像度 Rに基づいて、限界視差 Dの画素数を算出する (ステップ S402 )。すなわち (数 4)により、限界視差 Dを表示する画面の画素数 Qに換算する。

[0057] Q = D XR/W · · · (数 4)

[0058] このように、限界視差 Dを表示装置の表示画面のピクセル単位で求めることにより、注視点を中心とし、限界視差 Dを直径とした球の内部では、観者が被写体を「ぼやけて」認識することはない。斯かる範囲を立体視限界という。そこで、本実施の形態 1では、被写体を含む空間を隙間なく分割すベぐ立体視限界に内接する直方体を算出し、求めた直方体により被写体を含む空間を分割する。

[0059] 図 5は、記憶手段 12の画像データ記憶部 121に記憶してある画像データの立体視画像の構図を定めるベぐ空間内の任意の位置に設定した注視点及び視点を示す図である。図 5の例では、被写体である車両の重心近傍に注視点 gを設け、注視点 g を臨む視点 Vを設けている。

[0060] そして、 CPU11は、受け付けた注視点 gと視点 Vとに基づいて、空間を分割する最初の直方体を決定する。図 6は、分割する空間の注視点 glを求める方法の説明図である。注視点 gと視点 Vとを結ぶ線分と、三次元モデルである被写体の表面との交点 P 1を求める。交点 P1から線分上で所定の距離 Mだけ注視点 g側へ移動した点を、最初の分割空間の注視点 glとして求める。なお、移動距離 Mは、 M=L X p (0≤p≤l )で求めた距離である。ここで、係数 pは、交点 P1付近の画像を調整するためのパラメータである。

[0061] また、 Lは最初の分割空間の注視点 glを中心とした直方体の奥行きであり、限界視差 Dに基づいて算出する。直方体の形状は、形状パラメータ q (0≤q≤l)を限界視差 Dに乗ずることで調整する。すなわち、 qを大きくするほど奥行きが長ぐ高さと幅とが短くなる。

[0062] CPU11は、視点 Vと最初の分割空間の注視点 g lとを結ぶ線分上の任意の点 aでの視差が、限界視差 Dに形状パラメータ qを乗じた値を超えなヽように点 aの座標を決定する。図 7は、最初の分割空間を決定する方法を示す模式図である。 CPU11は、視点 Vから最初の分割空間の注視点 glへ向力奥行き方向で、限界視差 Dを超えない点 aの座標を求める。次に、対角線の交点が注視点 glと一致し、対角線の長さの 2 分の 1が注視点 glと点 aとの距離に一致するよう長方形 D1を決定する。

[0063] 図 8 (a)及び (b)は、最初の分割空間の直方体の高さを求める方法を示す模式図である。 CPU11は、図 8 (a)に示すように、長方形 D1を含む平面と直交する直線上で、限界視差 Dを越えない点 bの座標を定める。次に CPU11は、図 8 (b)に示すように、注視点 glを中心として、底面が長方形 Dl、高さが点 aと点 bとの距離 hの 2倍となるように、最初の分割空間である直方体を決定する。

[0064] CPU11は、空間を分割する直方体の奥行き、高さ及び幅が決定した時点で、注視点 glを中心とした直方体を、最初の分割空間として配置する。図 9は、最初の分割空間を配置した状態を示す図である。図 9のように、 1つの直方体が 1つの分割空間となり、直方体の中心が、分割空間の注視点 glとなる。そして、 CPU11は、最初の分割空間である直方体の上下左右前後で隣接するよう、直方体を順次配置する。

[0065] 図 10は、被写体の分割空間として直方体を配置した状態を示す図である。図 10のように、 CPU11は、直方体内に被写体を示す 3次元モデルを含まないようになるまで、繰り返し直方体を順次配置する。このように配置することで、どの直方体に含まれる 3次元モデルの画像の視差も、図 8 (a)の頂点 bの視差を超えることはない。ここで配置する直方体は、最初の直方体力の距離が離れるほど立体視画像上では小さくなるカゝらである。 [0066] CPU11が、このように分割した空間ごとに立体視画像を生成する場合、視点 Vを固定し、分割空間の直方体ごとの注視点 gl、 g2、 · · ·、 gn (nは自然数）に対する立体視画像を従来と同様に生成する。

[0067] 立体視画像の生成は、視点 Vに近い分割空間から順次行う。例えば、図 10のように奥行き方向に m列 (mは自然数)直方体が配置されている場合、 CPU11は、 1列目から順に立体視画像を生成する。 2列目、 3列目、••• kは、 l≤k≤mの自然数）列目の立体視画像を生成する場合、それより前に生成した立体視画像、すなわち、 1 列目から (k— 1)列目までの立体視画像により、分割空間が視点 Vから完全に隠れてしまうときには、その分割空間については立体視画像の生成をスキップする。図 11は、 1列目で生成された立体視画像の例を示す図である。このように、順次、視点 Vから観者が観ることができる立体視画像を生成することで、これらの画像を張り合わせることで、観者が大画面に表示される画像のどの部分を観た場合であっても、立体画像と認識することができる。

[0068] しかし、単純に立体視画像を張り合わせるだけでは、分割空間の境界に透明な隙間部分が生じ、不自然な立体画像となる。そこで、 CPU11は、境界に透明な隙間部分がなくなるように、一の分割空間に対して隣接する他の分割空間を 1ドットずつ移動させる。図 12は、本発明の実施の形態 1に係る立体視画像表示装置 10の CPU1 1の立体視画像張り合わせ処理を示すフローチャートである。

[0069] 立体視画像表示装置 10の CPU11は、生成した複数の立体視画像の中から張り合わせ処理を行う基準となる立体視画像と調整対象となる立体視画像を特定する (ステップ S1201)。一般に、基準となる立体視画像は、最初の分割空間の直方体に対応する立体視画像から順次張り合わせ処理を行った立体視画像へと移動していく。

[0070] CPU11は、基準となる立体視画像の注視点（基準注視点）に向かって、調整対象となる立体視画像を 1ドット移動し (ステップ S1202)、あら力じめ背景色として登録された輝度値である点、すなわち背景を透過可能な透明部分があるカゝ否かを判断する (ステップ S1203)。図 13は、調整対象となる立体視画像をドット単位で移動する状態を示す模式図である。図 13では、基準となる立体視画像 61の注視点 (基準注視点) gに向カゝつて、調整対象となる立体視画像 62をドット単位で移動することにより、基準となる立体視画像 61と、調整対象となる立体視画像 62との間に存在する背景色部分、すなわち透明部分 63を消失させている。

[0071] CPU11が、透明部分があると判断した場合 (ステップ S1203 :YES)、 CPU11はステップ S1202へ戻し、繰り返し 1ドットずつ調整対象となる立体視画像を接近移動させる。 CPU11が、透明部分がないと判断した場合 (ステップ S 1203 : NO)、 CPU1 1は、境界の輝度値の差分を算出し (ステップ S1204)、輝度値の差分が所定値以下であるか否かを判断する (ステップ S 1205)。

[0072] CPU11が、輝度値の差分が所定値以下でないと判断した場合 (ステップ S 1205 :

NO)、 CPU11は、ステップ S1202へ戻し、上述した処理を繰り返し実行する。 CPU 11が、輝度値の差分が所定値以下であると判断した場合 (ステップ S1205 :YES)、 CPU11は、すべての立体視画像について張り合わせ処理を完了したか否かを判断する（ステップ S 1206)。

[0073] CPU11が、すべての立体視画像について張り合わせ処理を完了したと判断した ^ (^ ^7⁰S 1206 : YES) , CPU11«,表示インタフェース 16を介して大画面表示装置 20へ生成した立体視画像を送出する (ステップ S 1207)。 CPU11が、すべての立体視画像につ!、て張り合わせ処理を完了して、な、と判断した場合 (ステップ S 1206 : NO)、 CPU 11は、ステップ SI 201へ戻し、上述した処理を繰り返し実行する

[0074] なお、上述の処理では、境界の輝度値の差分が所定値以下であるか否かに応じて張り合わせ処理における調整対象となる立体視画像の基準となる立体視画像との相対位置を決定しているが、一定の範囲内のすべての輝度値の差分を算出し、輝度値の差分が最小となる位置を、調整対象となる立体視画像の基準となる立体視画像との相対位置とするものであっても良い。これにより、単純に立体視画像を元の空間位置で張り合わせた場合に隣接する立体視画像の境界に生じる透明部分等の隙間部分をより効果的に消去することができ、境界部分においても自然な立体画像を観者の網膜に形成することができる立体視画像を生成することが可能となる。

[0075] 以上のように本実施の形態 1によれば、観者がぼやけた画像として認識することが無い視差の範囲内である直方体で空間を分割し、分割した空間ごとに従来と同様に立体視画像を生成してから、これらを張り合わせて立体視画像を生成するので、生成された立体視画像のどの領域にお!ヽても限界視差内の立体視画像であり、観者力 Sどの位置、どの角度力も立体視画像を観る場合であっても、網膜にぼやけた立体画像を形成することがない。

[0076] したがって、可変焦点レンズを用いずに、立体視画像のすべての領域を正確に視認することができ、被写体の空間的位置関係を正確に把握することが可能となる。また、被写体が存在する直方体空間で生成した立体視画像のみを張り合わせれば足りることから、計算機処理負荷を大幅に削減することができ、計算コストの軽減を図ることが可能となる。

[0077] (実施の形態 2)

以下、本発明の実施の形態 2に係る立体視画像表示装置について図面に基づいて具体的に説明する。図 14は、本発明の実施の形態 2に係る立体視画像表示装置 10の構成を示すブロック図である。図 14に示すように、本発明の実施の形態 2に係る立体視画像表示装置 10の構成は、実施の形態 1と同様であることから、同一の符号を付することによって、詳細な説明を省略する。本実施の形態 2は、多数の観者が観ることができる大画面表示装置 20ではなぐ単一の観者が観ることができる外部の表示装置 30へ立体視画像を送出し、観者センサ 40により検出した観者の画面までの距離、両眼の距離等に基づいて、立体視画像を生成する基準となる限界視差を補正する点に特徴を有する。

[0078] 入力手段 15は、画面上の任意の位置を指示するためのマウス等のポインティングデバイス、又は画面上で表示画面の横幅等の数値データを打鍵により入力するキーボード等である。

[0079] 表示インタフェース 16は、画像を表示出力する液晶表示装置 (LCD)、表示ディスプレイ (CRT)等の外部の表示装置 30に対して、表示データを送出する LSIボードである。

[0080] センサインタフェース 41は、外部に備えてある観者センサ 40で検出した信号を CP U11へ伝達する。観者センサ 40は、例えば表示装置 30の画面上方に設置した光センサ、超音波センサ等であり、 CPU11は、取得した検出信号に基づき、観者までの距離、観者の両眼の間隔等を算出する。

[0081] 一般に、左右両眼 31、 32の光軸が交差する点と両眼 31、 32との距離 L1の逆数と、被写体が投影されている画面、スクリーン等と両眼 31、 32との距離 L2の逆数との差力 ± 2以内である場合に、ぼやけることなく立体画像として認識することができることが知られている。しかし、個人の特質、例えば観者の表示画面までの距離、観者の両眼の距離の相違によって前後する場合も想定される。

[0082] したがって、本実施の形態 2では、斯かる許容限界の変動を吸収すベぐ距離 L1の逆数と距離 L2の逆数との許容差 Zを、観者センサ 40で検出した信号に基づいて算出した観者までの距離、観者の両眼の間隔等により CPU11が算出する。

[0083] 図 15は、本発明の実施の形態 2に係る立体視画像表示装置 10の CPU11の限界視差を算出する手順を示すフローチャートである。立体視画像表示装置 10の CPU1 1は、観者センサ 40で検出した検出信号を取得し (ステップ S1501)、被写体が投影されている表示装置 20の画面、スクリーン等と両眼 31、 32との距離 L2、及び観者の両眼の間隔 E等を算出する (ステップ S 1502)。

[0084] CPU11は、距離 L1の逆数と距離 L2の逆数との許容差 Zを算出し (ステップ S150 3)、下記手順により実空間における限界視差を算出する (ステップ S1504)。距離 L 1の逆数と距離 L2の逆数との差が士 Z以内であることから、距離 L1と距離 L2との間では、（数 5)が成立する。

[0085] (1/L2-Z) < 1/L1 < (1/L2+Z) · · · (数 5)

[0086] また、図 3の視差 dを底辺とする三角形と、両眼距離 Eを底辺とする三角形とは相似であることから、（数 6)が成立する。

[0087] Ll =L2 X E/ (d+E) · · · (数 6)

[0088] (数 5)及び (数 6)に基づ、て視差 dにつ、て整理すると、（数 7)を導出することができ、（数 7)を具備する力否力の境界での視差 dの絶対値が限界視差 Dとなる。

[0089] -Z X L2 X E < d < Z X L2 X E · · · (数 7)

[0090] しかし、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて、ぼやけて見える範囲に個人差が生じる。より観者の個人的な特徴点に適合すベぐ限界視差 Dを補正する係数を、入力手段 15を介して設定する。これにより、より観者に適合した立体視画像を生成することが可能となる。

[0091] CPU11は、算出した限界視差 D、表示装置 30の画面の横幅 W及び画面の水平方向の解像度 Rに基づいて、限界視差 Dの画素数を算出する (ステップ S 1505)。すなわち (数 8)により、限界視差 Dを表示する画面の画素数 Qに換算する。

[0092] Q = D XR/W · · · (数 8)

[0093] このように、限界視差 Dを表示装置の表示画面のピクセル単位で求めることにより、注視点を中心とし、限界視差 Dを直径とした球の内部では、観者が被写体を「ぼやけて」認識することはない。斯かる範囲を立体視限界という。そこで、本実施の形態 1では、被写体を含む空間を隙間なく分割すベぐ立体視限界に内接する直方体を算出し、求めた直方体により被写体を含む空間を分割する。

[0094] 以下、実施の形態 1と同様に、分割した空間ごとに立体視画像を生成し、生成した複数の立体視画像を張り合わせて単一の立体視画像を生成することにより、観者の観る姿勢、方向等によらずに正確な立体画像を観ることができる。

[0095] 以上のように本実施の形態 2によれば、観者の観る位置によって限界視差を正確に算出することができ、観者に適合した立体視画像を表示することが可能となる。また、観者の個人的な特徴点、例えば近視又は遠視による網膜位置の前後、水晶体の汚れの有無等に応じて算出した限界視差を補正することで、より正確に限界視差を算出することができ、観者により適合した立体視画像を表示することが可能となる。

Claims

請求の範囲

[1] 観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示装置において、

観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段と、

算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段と、

算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段と、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段と、

生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段と、

生成した単一の立体視画像を表示する画像表示手段と

を備えることを特徴とする立体視画像表示装置。

[2] 立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段を備え、

前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するようにしてあることを特徴とする請求項 1記載の立体視画像表示装置。

[3] 前記限界視差算出手段は、前記限界視差を観者の個人的特徴に基づいて補正する補正手段を備えることを特徴とする請求項 1又は 2記載の立体視画像表示装置。

[4] 前記注視点画像張り合わせ手段は、

分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段と、

一の空間に対して他の空間を平行移動して輝度差を再算出する手段と、算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段とを備えることを特徴とする請求項 1乃至 3のいずれか一項に記載の立体視画像表示装置。

[5] 観者の網膜に立体画像を形成する立体視画像を生成して表示する立体視画像表示方法において、

観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出し、

算出した限界視差を直径とする球に内接する直方体の寸法を算出し、算出した直方体で被写体を含む空間を複数の空間に分割し、

分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成し、生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成し、生成した単一の立体視画像を表示することを特徴とする立体視画像表示方法。

[6] 立体視画像を表示する面と観者との相対位置を検出し、

前記限界視差は、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出することを特徴とする請求項 5記載の立体視画像表示方法。

[7] 前記限界視差を観者の個人的特徴に基づ!ヽて補正することを特徴とする請求項 5 又は 6記載の立体視画像表示方法。

[8] 分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出し、

一の空間に対して他の空間を平行移動して輝度差を再算出し、

算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求めることを特徴とする請求項 5乃至 7のいずれか一項に記載の立体視画像表示方法。

[9] 観者の網膜に立体画像を形成する立体視画像を生成して表示するコンピュータで実行可能なコンピュータプログラムにお、て、

前記コンピュータを、

観者の網膜に立体画像を形成することが可能な視差の境界である限界視差を算出する限界視差算出手段、算出した限界視差を直径とする球に内接する直方体の寸法を算出する直方体寸法算出手段、

算出した直方体で被写体を含む空間を複数の空間に分割する空間分割手段、分割した空間ごとに単一の注視点に対する被写体の立体視画像を生成する注視点画像生成手段、及び

生成した複数の立体視画像を張り合わせ、単一の立体視画像を生成する注視点画像張り合わせ手段

として機能させることを特徴とするコンピュータプログラム。

[10] 前記コンピュータを、

立体視画像を表示する面と観者との相対位置を検出する相対位置検出手段として機能させ、

前記限界視差を、左右の視線が交差する点と両眼との間の距離の逆数、及び立体視画像を表示する面と両眼との間の距離の逆数の差が所定値である視差として算出するよう機能させることを特徴とする請求項 9記載のコンピュータプログラム。

[11] 前記コンピュータを、

前記限界視差を観者の個人的特徴に基づいて補正する補正手段

として機能させることを特徴とする請求項 9又は 10記載のコンピュータプログラム。

[12] 前記コンピュータを、

分割した空間のうち、一の空間を基準として、一の空間にて生成した立体視画像の輝度値と隣接する他の空間にて生成した立体視画像の輝度値との差である輝度差を算出する手段、

一の空間に対して他の空間を平行移動して輝度差を再算出する手段、及び算出した輝度差が最小になる他の空間の一の空間に対する相対位置を求める手段

として機能させることを特徴とする請求項 9乃至 11のいずれか一項に記載のコンビユータプログラム。