JP5465334B2 - ３次元立体表示装置 - Google Patents

Description

この発明は、３次元立体画像（3Dimension stereoscopic image）又は３次元立体映像（3Dimension stereoscopic movie）を表示する３次元立体表示装置（3Dimension stereoscopic display device）に関する。

特許文献１に開示される従来の立体表示装置は、主に家庭用に使用される３次元立体画像を提供するものである。この立体表示装置は、立体視用の眼鏡をかけることなく、立体映像を視聴できるため、利便性が高い。例えば、助手席用のコンテンツ再生装置や後席用のＲＳＥ（Rear Seat Entertainment）の表示装置として好適である。

特開２００５−１７５５６６号公報

しかしながら、特許文献１に代表される従来の技術を、運転者用の車載情報の表示又はメータパネルを表示する表示装置に適用する場合、ＨＭＩ（Human Machine Interface）上の利便性を考慮する必要がある。例えば、運転者の状態や状況を考慮せずに３次元立体画像又は３次元立体映像で情報表示やアイコン等の表示を行ったのでは、この表示画面による操作性をかえって損なうことになる。

この発明は、上記のような課題を解決するためになされたもので、使用者の操作や状態に応じて、表示面又はアイコン等の操作対象の見かけ上の表示方法を変更することで、ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩを提供することができる３次元立体表示装置を得ることを目的とする。

この発明に係る３次元立体表示装置は、ユーザ操作を受け付ける操作入力部と、操作入力部に対してユーザ操作しようとしている挙動を検出するユーザ操作検出部と、表示対象の画像又は映像の３次元立体表示用の右目用及び左目用の画像又は映像を再生する再生処理部と、再生処理部により再生された表示対象の画像又は映像の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ部と、操作入力部を用いたユーザ操作又はユーザ操作検出部による検出の有無に応じて、立体表示モニタ部の画面に対する、表示対象の画像又は映像を３次元立体表示する見かけ上の表示面の位置を移動させた３次元立体表示用の右目用及び左目用の画像又は映像を生成して再生処理部に出力する画面合成処理部とを備え、操作入力部を用いたユーザ操作がない場合、表示対象の画像又は映像を３次元立体表示する見かけ上の表示面を、ユーザから見て立体表示モニタ部の画面よりも奥に移動させ、操作入力部を用いてユーザ操作があった場合又はユーザ操作検出部により操作入力部に対してユーザ操作しようとしている挙動が検出された場合、３次元立体表示する見かけ上の表示面をユーザに近づくように移動させ、当該ユーザ操作が終了すると、３次元立体表示する見かけ上の表示面を、立体表示モニタ部の画面よりも奥の元の位置に移動させる。

この発明によれば、ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩを提供することができるという効果がある。

この発明に係る３次元立体表示装置を用いた立体表示システムの構成例を示すブロック図である。 立体表示モニタにおける立体表示の原理を説明するための図である。 この発明の実施の形態１による３次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。 実施の形態１による３次元立体表示装置の画面合成処理の流れを示すフローチャートである。 平面地図の見かけ上の表示位置を立体表示モニタの画面よりも奥側にする画面合成処理を説明するための図である。 図５の画面合成処理におけるデータの流れを示す図である。 実施の形態１の３次元立体表示装置による画面合成処理の概要を示す図である。 平面地図の見かけ上の表示位置を立体表示モニタの画面よりも手前にする画面合成処理を説明するための図である。 図８の画面合成処理におけるデータの流れを示す図である。 実施の形態１による３次元立体表示装置を用いた車載情報システムの他の構成を示すブロック図である。 この発明の実施の形態２による３次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。 平面地図の見かけ上の地図表示面を、立体表示モニタの画面よりも奥側とし、アイコンの見かけ上の表示面を、見かけ上の地図表示面よりも手前にした画面合成処理を説明するための図である。 図１２の画面合成処理におけるデータの流れを示す図である。 実施の形態２の３次元立体表示装置による画面合成処理の概要を示す図である。 操作検出時のアイコンの表示例を示す図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明に係る３次元立体表示装置を用いた立体表示システムの構成例を示すブロック図である。図１（ａ）は、両眼用のカメラで撮影された左右映像から立体映像を表示する立体表示システム１Ａを示している。図１（ａ）において、立体表示システム１Ａは、左目用カメラ２ａ、右目用カメラ２ｂ、記録・撮影装置３、画面合成処理部４、映像再生装置５及び立体表示モニタ６を備える。
左目用カメラ２ａと右目用カメラ２ｂは、両眼の視差を考慮した間隔で並べて配置されており、記録・撮影装置３の制御によって、撮影対象の風景Ａを撮影する。左目用カメラ２ａと右目用カメラ２ｂに撮影された風景Ａの左右映像データは、記録・撮影装置３に記録される。画面合成処理部４は、記録・撮影装置３から読み出した左右映像データに対して、本発明に特有な３次元立体映像の合成処理を施して映像再生装置５へ出力する。
映像再生装置５は、画面合成処理部４で処理された左右映像データを再生して立体表示モニタ６へ出力する。立体表示モニタ６は、映像再生装置５に再生された左右映像データを、視聴者から見て立体的に表示する。

図１（ｂ）に示す立体表示システム１Ｂは、アンテナ７ａを介して外部装置と通信する立体映像用コンテンツ受信機７、画像合成処理部４、映像再生装置５及び立体表示モニタ６を備える。立体映像用コンテンツ受信機７は、アンテナ７ａを介して、上述したような左右映像データを含む立体映像用コンテンツを外部装置から受信する受信機である。
画面合成処理部４は、立体映像用コンテンツ受信機７が受信した立体映像用コンテンツの左右映像データに対して、本発明に特有な３次元立体映像の合成処理を施して映像再生装置５へ出力する。図１（ａ）と同様にして、立体表示モニタ６が、映像再生装置５に再生された左右映像データを、視聴者から見て立体的に表示する。

図１（ｃ）に示す立体表示システム１Ｃは、立体表示用コンテンツを記憶する記憶装置８、画像合成処理部４、映像再生装置５及び立体表示モニタ６を備える。立体表示用コンテンツは、上述したような左右映像データを含むコンテンツデータである。記憶装置８としては、立体表示用コンテンツを記憶するＨＤＤ（Hard Disk Drive）や半導体メモリが考えられる。また、立体表示用コンテンツを記憶したＣＤやＤＶＤのような記憶メディアを再生するドライブ装置であってもかまわない。

画面合成処理部４は、記憶装置８から読み出した立体表示用コンテンツの左右映像データに対して、本発明に特有な３次元立体映像の合成処理を施して映像再生装置５へ出力する。図１（ａ）と同様にして、立体表示モニタ６が、映像再生装置５に再生された左右映像データを視聴者から見て立体的に表示する。
なお、立体表示用コンテンツとして、いわゆる３次元データ（例えば３次元地図データ等）を格納しておき、画面合成処理部４が、この３次元データが示す画像について左右の視点での見え方を演算して左右映像データを生成してもよい。

図２は、立体表示モニタにおける立体表示の原理を説明するための図であり、裸眼での立体表示の一例を示している。図２に示す立体表示モニタ６は、液晶表示素子群６ａ及びパララックスバリア部６ｂを備える。液晶表示素子群６ａは、右目用の映像が右目に到達するように指向性を持たせた右目用液晶素子群と、左目用の映像が左目に到達するように指向性を持たせた左目用液晶素子群とを有する。パララックスバリア部６ｂは、右目用の映像と左目用の映像とを交互に表示するためにバックライト（図２において不図示）からの光を遮断する視野バリアである。

映像再生装置５で再生された左右の映像データは、左目用（Ｌ）の映像信号及び右目用（Ｒ）の映像信号として、Ｌ、Ｒ、Ｌ、Ｒ、・・・と交互に立体表示モニタ６に入力される。液晶表示素子群６ａは、左目用（Ｌ）の映像信号を入力すると、左目用液晶素子群を動作させ、右目用（Ｒ）の映像信号を入力すると、右目用液晶素子群を動作させる。このとき、パララックスバリア部６ｂが、左目用液晶素子群の動作時は右目用液晶表示素子群を通過したバックライトの光を遮断し、右目用液晶素子群の動作時は左目用液晶表示素子群を通過したバックライトの光を遮断する。これにより、立体表示モニタ６の画面には、右目用の映像と右目用の映像とが交互に表示され、図２に示す視聴者の視点で立体映像を視聴することができる。

なお、本発明は、図２に示す構成の立体表示モニタ６に限定されるものではなく、別の機構で立体視を実現するモニタであってもよい。例えば、専用眼鏡として左右のレンズに互いに異なる偏光板を取り付けた眼鏡を掛けることで立体画像を得る方式であってもかまわない。

図３は、この発明の実施の形態１による３次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。図３において、車載情報システム１は、地図などの画像や映像の表示に関して、図１に示した立体表示システムとして機能するシステムである。また、車載情報システム１は、メインＣＰＵ４ａ、映像再生装置５、立体表示モニタ６、ＧＰＳ（Global Positioning System）受信機９、車速センサ１０、内部メモリ１１、ＣＤ／ＤＶＤドライブ装置１２、ＨＤＤ１３、ラジオ受信機１４、ＤＴＶ受信機１５、車内ＬＡＮ＿Ｉ／Ｆ部１６、操作入力部１８、アンプ１９、スピーカ２０を備える。

メインＣＰＵ４ａは、車載情報システム１内の各構成部を制御するＣＰＵである。このメインＣＰＵ４ａが、ＨＤＤ１３に記憶されるプログラム１３ｄ（車載情報処理用のアプリケーションプログラム）を実行することにより、図１に示した画面合成処理部４としての機能を発揮する。映像再生装置５は、メインＣＰＵ４ａの画面合成処理部４で合成処理された左右映像データを再生して立体表示モニタ６へ出力する装置である。また、立体表示モニタ６は、映像再生装置５に再生された左右映像データを、視聴者から見て立体的に表示するモニタである。

ＧＰＳ受信機９は、ＧＰＳ衛星から自車両の位置情報を受信する受信機であり、車速センサ１０は、自車両の車速を計算するための車速パルスを検出するセンサである。内部メモリ１１は、メインＣＰＵ４ａが車載情報処理用のアプリケーションプログラムを実行する際の作業領域となるメモリである。ＣＤ／ＤＶＤドライブ装置１２は、ＣＤ又はＤＶＤ等の記憶メディア１２ａに記憶されたＡＶソースを再生する装置である。なお、記憶メディア１２ａに記憶されたＡＶソースに立体表示映像データが含まれる場合、図１（ｂ）で示した立体映像用コンテンツ受信機７として機能し、車載情報システム１は、図１（ｂ）で示した立体表示システム１Ｂとして機能する。

ＨＤＤ（ハードディスクドライブ装置）１３は、車載情報システム１に搭載された大容量記憶装置であり、地図データベース（以下、地図ＤＢと略す）１３ａ、アイコンデータ１３ｂ及びプログラム１３ｄを記憶する。
地図ＤＢ１３ａは、ナビゲーション処理で利用される地図データが登録されたデータベースである。地図データには、地図上のＰＯＩ（Point Of Interest）の所在地又はこれに関連する詳細情報が記述されたＰＯＩ情報も含まれる。
アイコンデータ１３ｂは、立体表示モニタ６の画面上に表示するアイコンを示すデータである。画面上で各種の操作を行うための操作ボタンのアイコンなどがある。
プログラム１３ｄは、メインＣＰＵ４ａが実行する車載情報処理用のアプリケーションプログラムである。例えば、画面合成処理部４の機能を実現するプログラムモジュールを含む地図表示用のアプリケーションプログラムがある。

ラジオ受信機１４は、ラジオ放送を受信する受信機であり、例えば不図示の選局ボタンの操作に応じて選局がなされる。
ＤＴＶ受信機１５は、デジタルテレビ放送を受信する受信機であり、ラジオ受信機１４と同様に、不図示の選局ボタンの操作に応じて選局がなされる。また、ＤＴＶ受信機１５は、受信したデジタルテレビ放送に３次元立体表示映像データが含まれる場合、図１（ｂ）で示した立体映像用コンテンツ受信機７として機能し、車載情報システム１は、図１（ｂ）で示した立体表示システム１Ｂとして機能する。

車内ＬＡＮ＿Ｉ／Ｆ部１６は、車内ＬＡＮ（Local Area Network）１７とメインＣＰＵ４ａとの間のインタフェースであり、例えば、車内ＬＡＮ１７に接続している他の機器とメインＣＰＵ４ａとのデータ通信を中継する。また、図１（ｃ）で示した記憶装置８が車内ＬＡＮ１７に接続しており、この記憶装置８とメインＣＰＵ４ａの画面合成処理部４との間を中継する構成として車内ＬＡＮ＿Ｉ／Ｆ部１６を捉えた場合、車載情報システム１は、図１（ｃ）で示した立体表示システム１Ｃとして機能する。

操作入力部１８は、使用者が操作入力を行う構成部である。この操作入力部１８としては、例えば立体表示モニタ６の画面近辺に設けたキースイッチ（操作スイッチ）や、立体表示モニタ６の画面上にタッチパネルを設けた場合にはそのタッチスイッチなどが挙げられる。

なお、ＣＤ／ＤＶＤドライブ装置１２、ラジオ受信機１４及びＤＴＶ受信機１５で再生された音声信号やメインＣＰＵ４ａからの音声信号は、アンプ１９で増幅され、スピーカ２０を介して音声出力される。メインＣＰＵ４ａからの音声信号としては、ナビゲーション処理における誘導案内音声などがある。

次に動作について説明する。
実施の形態１では、平面画像を立体表示するにあたり、ユーザがシステムに対して操作を行っているか否かに応じて、平面画像の見かけ上の表示位置を立体表示モニタ６の画面より奥側にした３次元立体画像を合成したり、平面画像の見かけ上の表示位置を立体表示モニタ６の画面と同一の位置とした３次元立体画像を合成して表示する。
例えば、車載用ナビゲーション装置の地図表示において、平面地図を表示する場合に、運転者がシステムに対して操作中でなければ、平面地図の見かけ上の表示位置を立体表示モニタ６の画面よりも奥側（運転者の遠方）にする。

図４は、実施の形態１による３次元立体表示装置の画面合成処理の流れを示すフローチャートであり、平面地図の見かけ上の表示位置を立体表示モニタ６の画面よりも奥側にする処理を示している。また、図５は、平面地図の見かけ上の表示位置を立体表示モニタの画面よりも奥側にする画面合成処理を説明するための図である。図６は、図５の画面合成処理におけるデータの流れを示す図である。以降では、図４に沿って画面合成処理の詳細を説明し、図５及び図６を適宜参照する。

先ず、メインＣＰＵ４ａが、図６に示すようにＨＤＤ１３に格納される地図ＤＢ１３ａから地図データを読み込んで、所定の地図描画アルゴリズムに従い、平面地図データＰｉｃ＿ｐｌａｎｅを生成する。平面地図データＰｉｃ＿ｐｌａｎｅは、例えば図５の左側に記載したような平面地図であるものとする。

図５の例では、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図を、立体表示モニタ６の画面Ｑより奥側の見かけ上の地図表示面Ｐに表示している。ここで、運転者の目の位置から立体表示モニタ６の画面Ｑまでの距離をＺ０、運転者の目の位置から見かけ上の地図表示面Ｐまでの距離をｚとする。ただし、図５では、ｚ＞Ｚ０の関係にある。

また、運転者の右目の位置を点Ｏｒ（ｘｒ，ｙｒ，０）、左目の位置を点Ｏｌ（ｘｌ，ｙｌ，０）、左右の目の間隔をｄとする。つまり、｜ｘｒ−ｘｌ｜＝ｄである。
平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図上の点ｐ（ｘ，ｙ）を、見かけ上の地図表示面Ｐに投影すると、地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）となる。

平面地図の右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）と右目の位置である点Ｏｒ（ｘｒ，ｙｒ，０）とを結ぶ直線（ベクトルＶｒ）が立体表示モニタ６の画面Ｑと交わる点ｐｒの集合で表される。
同様に、平面地図の左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）と左目の位置である点Ｏｌ（ｘｌ，ｙｌ，０）とを結ぶ直線（ベクトルＶｌ）が立体表示モニタ６の画面Ｑと交わる点ｐｌの集合で表される。

画面合成処理部４は、上述のようにしてメインＣＰＵ４ａに生成された平面地図データＰｉｃ＿ｐｌａｎｅを入力する（ステップＳＴ１）。
次に、画面合成処理部４は、操作入力部１８からの操作入力信号に基づいて、運転者が操作中か否かを判定する（ステップＳＴ３）。
運転者が操作中でなければ（ステップＳＴ２；ＮＯ）、画面合成処理部４は、パラメータＺ０，ｚ，ｄを入力する（ステップＳＴ２）。ただし、運転者の目の位置から立体表示モニタ６の画面Ｑまでの距離Ｚ０と、運転者の目の位置から見かけ上の地図表示面Ｐまでの距離ｚとの関係は、ｚ＞Ｚ０である。

一方、運転者が操作中である場合（ステップＳＴ２；ＹＥＳ）、画面合成処理部４は、パラメータＺ０，ｚ，ｄを入力する（ステップＳＴ４）。このとき、運転者の目の位置から立体表示モニタ６の画面Ｑまでの距離Ｚ０と、運転者の目の位置から見かけ上の地図表示面Ｐまでの距離ｚとの関係は、ｚ＝Ｚ０である。

ステップＳＴ５において、画面合成処理部４は、見かけ上の地図表示面Ｐと運転者の目の位置Ｏｒ，Ｏｌとの距離がｚになるように、点ｐｒ，ｐｌを計算する。すなわち、画面合成処理部４は、平面地図データＰｉｃ＿ｐｌａｎｅ及びパラメータＺ０，ｚ，ｄを用いて、上述した右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）及び左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）を生成する。この後、画面合成処理部４は、右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）及び左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）を映像再生装置５へ出力する（ステップＳＴ６）。

映像再生装置５は、画面合成処理部４により生成された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを再生して立体表示モニタ６へ出力する。立体表示モニタ６は、映像再生装置５により再生された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを用いて、平面地図を立体表示する（ステップＳＴ７）。

運転者が操作中でなければｚ＞Ｚ０の関係であるので、運転者からは、立体視により、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図が、立体表示モニタ６の画面Ｑよりも奥側の見かけ上の地図表示面Ｐに表示されているように見える。例えば、ステップＳＴ３でｚ＝Ｚ０＋２０ｃｍとすれば、平面地図は、立体表示モニタ６の画面Ｑよりも２０ｃｍ遠方に位置する見かけ上の地図表示面Ｐに表示される。
また、運転者が操作中である場合にはｚ＝Ｚ０であるので、見かけ上の地図表示面Ｐと立体表示モニタ６の画面Ｑとが一致し、運転者からは、平面地図が画面Ｑ上に表示されて見える。

図７は、実施の形態１の３次元立体表示装置による画面合成処理の概要を示す図である。図７の例では、操作入力部１８が、立体表示モニタ６の画面近辺に設けた操作スイッチであるものとする。また、画面合成処理部４は、操作スイッチのうち、メニュースイッチが操作されたか否かに基づいて、運転者が操作中であるか否かを判定する。すなわち、メニュースイッチが押下された場合は“操作中”であると判定する。

操作スイッチ（メニュースイッチ）が操作されない場合は、図７（ａ）に示すように、ｚ＞Ｚ０、すなわち、見かけ上の地図表示面Ｐが、立体表示モニタ６の画面Ｑよりも運転者から遠方に設定される。このとき、表示内容は、図７（ａ）の左側に記載したように、運転者からは、立体視によって、実際の立体表示モニタ６の画面Ｑより遠方で焦点が合うように表示される。これにより、運転者が運転中に前方風景を見る焦点位置と見かけ上の地図表示面Ｐの焦点位置との距離の差を少なくすることができ、運転者が遠目で地図表示を見る際の安全性を向上できる。

運転者が立体表示モニタ６の画面に表示された内容を見て操作を続行する場合に、表示内容が運転者の近くに表示された方が見やすく操作もしやすい。
そこで、操作スイッチが操作されると、図７（ｂ）に示すように、ｚ＝Ｚ０、すなわち見かけ上の地図表示面Ｐと立体表示モニタ６の画面Ｑとを一致させる。このとき、表示内容は、図７（ｂ）の左側に記載したように実際の立体表示モニタ６の画面Ｑで焦点が合うように表示される。このため、操作しやすい表示画面を提供することができる。
なお、操作が終了した場合は、ｚ＞Ｚ０に再設定することにより、見かけ上の地図表示面Ｐが立体表示モニタ６の画面Ｑよりも運転者から遠方に表示された状態に戻す。

上述した処理では、操作中であると判定された場合にｚ＝Ｚ０に設定したが、ｚを徐々にＺ０に近づけることで、地図表示面Ｐを徐々に移動させて立体表示モニタ６の画面Ｑへ一致させてもよい。例えば、画面合成処理部４が、システムへの操作中であると判定すると、所定の時間内でＺ０に一致するようにｚを所定の値ごとに変化させる。

また、操作中であると判定された場合にｚ＝Ｚ０に設定したが、ｚ＜Ｚ０として、立体視によって表示内容が立体表示モニタ６の画面Ｑから浮き出すように表示してもよい。
図８は、平面地図の見かけ上の表示位置を立体表示モニタの画面よりも手前にする画面合成処理を説明するための図である。図９は、図８の画面合成処理におけるデータの流れを示す図である。図８に示すようにｚ＜Ｚ０であると、運転者からは、立体視によって、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図が、立体表示モニタ６の画面Ｑよりも手前の見かけ上の地図表示面Ｐに表示されているように見える。

また、運転者と平面地図の見かけ上の地図表示面Ｐとの距離ｚは、ユーザ操作によって画面合成処理部４に設定したり、また既に設定された値をユーザ操作で変更できるようにしてもよい。

以上のように、この実施の形態１によれば、ユーザ操作を受け付ける操作入力部１８と、入力した表示対象の画像又は映像の３次元立体表示用の右目用及び左目用の画像又は映像を再生する映像再生装置５と、映像再生装置５により再生された表示対象の画像の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ６と、操作入力部１８を用いたユーザ操作の有無に応じて、立体表示モニタ６の画面Ｑに対する、表示対象の画像を３次元立体表示する見かけ上の表示面Ｐの位置を移動させた３次元立体表示用の右目用及び左目用の画像を生成して映像再生装置５に出力する画面合成処理部４とを備える。この構成において、画面合成処理部４が、操作入力部１８を用いたユーザ操作がない場合、表示対象の画像を３次元立体表示する見かけ上の表示面Ｐを、立体表示モニタ部の画面Ｑよりも奥に移動させた３次元立体表示用の右目用及び左目用の画像を生成し、操作入力部１８を用いてユーザ操作があると、表示対象の画像を３次元立体表示する見かけ上の表示面Ｐを、立体表示モニタ部の画面Ｑの近くに移動させるか又は同一位置に移動させた３次元立体表示用の右目用及び左目用の画像を生成する。このようにすることで、ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩを提供することができる。

なお、上記実施の形態１は、ユーザがシステムに対して操作を行っているか否かに応じて、平面画像の見かけ上の表示位置を立体表示モニタの画面よりも、奥側、同一、手前にした３次元立体画像を表示する例を示したが、ユーザがシステムに対して操作を行おうとしているかどうかを検出して、操作前に上記３次元立体画像を表示してもよい。

図１０は、実施の形態１による３次元立体表示装置を用いた車載情報システムの他の構成を示すブロック図である。図１０において、車載情報システム１Ａは、図３で示した構成に加え、ユーザ操作検出センサ２１を備える。ユーザ操作検出センサ２１は、操作入力部１８を操作しようとしているユーザの挙動を検出するセンサである。
例えば、カメラ及びその撮像画像を画像認識する演算処理部を備えたカメラ装置で実現することができる。すなわち、演算処理部が、カメラで撮影したユーザ画像を画像解析することにより、操作入力部１８を操作しようとするユーザの挙動を画像認識する。
また、操作入力部１８がタッチパネルで構成される場合には、静電容量の変化に基づいてタッチ面への指などの指示物の接近を検出する近接センサで、ユーザ操作検出センサ２１を実現してもよい。なお、図１０において、図３と同一又はこれに相当する構成部には同一符号を付して説明を省略する。

画面合成処理部４は、ユーザ操作検出センサ２１によって、ユーザがシステムに対して操作を行おうとしていることが検出されると、操作対象となる表示画面の見かけ上の表示面が立体表示モニタ６の画面よりも遠方に表示される３次元立体画像から、ｚ＝Ｚ０又はｚ＜Ｚ０として、立体視により、操作対象となる表示画面の見かけ上の表示面が立体表示モニタ６の画面と同一又は近くに浮かんだように見える３次元立体画像を生成する。これにより、ユーザが操作をしようとした段階で、ユーザからは、立体表示モニタ６の画面と同一又は近くに浮かんだように操作対象の表示画面が表示されて見える。このようにすることで、さらに使い勝手のいい表示装置を提供することができる。

実施の形態２．
図１１は、この発明の実施の形態２による３次元立体表示装置を用いた車載情報システムの構成を示すブロック図である。図１１において、車載情報システム１Ｂは、上記実施の形態１で図３を用いて示した構成のうち、操作入力部１８の代わりにタッチパネル２２を備える。タッチパネル２２は、立体表示モニタ６に表示された操作画面に対するタッチ操作を検出する装置であり、ユーザの指等の指示物がタッチ面に触れた“接触”と、指示物が触れた後にさらにタッチ面を押し込む“押し込み”とを検出できるように構成されている。なお、図１１において、図３と同一又はこれに相当する構成部には同一符号を付して説明を省略する。

次に動作について説明する。
図１２は、平面地図の見かけ上の地図表示面Ｐを、立体表示モニタの画面Ｑよりも奥側とし、アイコンの見かけ上の表示面Ｒを、見かけ上の地図表示面Ｐよりも手前にした画面合成処理を説明するための図である。図１３は、図１２の画面合成処理におけるデータの流れを示す図である。

先ず、メインＣＰＵ４ａが、図１３に示すように、ＨＤＤ１３に格納される地図ＤＢ１３ａから地図データを読み込んで、所定の地図描画アルゴリズムに従い、平面地図データＰｉｃ＿ｐｌａｎｅを生成する。平面地図データＰｉｃ＿ｐｌａｎｅは、例えば、図１２の左側に記載した平面地図を表している。また、メインＣＰＵ４ａは、ＨＤＤ１３に格納されるアイコンデータ１３ｂから、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図上に表示するアイコンのアイコンデータを読み込む。

図１２では、平面地図データＰｉｃ＿ｐｌａｎｅが示す平面地図を、立体表示モニタ６の画面Ｑよりも奥側の見かけ上の地図表示面Ｐに表示する。さらに、操作アイコンである決定ボタン及び戻るボタンを、平面地図の見かけ上の地図表示面Ｐよりも手前の見かけ上の表示面Ｒに表示する。ここで、平面地図の地図表示面Ｐとアイコンの表示面Ｒとの距離をｄｚとする。すなわち、運転者からは、立体視によって決定ボタン及び戻るボタンの各アイコンが平面地図から距離ｄｚだけ浮かんで見える。なお、図１２において、運転者の目の位置から立体表示モニタ６の画面Ｑまでの距離Ｚ０と運転者の目の位置から見かけ上の地図表示面Ｐまでの距離ｚとの関係は、ｚ＞Ｚ０の関係である。

平面地図の右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）又は表示面Ｒ上の点ｐ（ｘ，ｙ，ｚ−ｄｚ）と右目の位置である点Ｏｒ（ｘｒ，ｙｒ，０）とを結ぶ直線（ベクトルＶｒ）が、立体表示モニタ６の画面Ｑと交わる点ｐｒの集合で表される。同様に、平面地図の左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）は、見かけ上の地図表示面Ｐ上の点ｐ（ｘ，ｙ，ｚ）又は表示面Ｒ上の点ｐ（ｘ，ｙ，ｚ−ｄｚ）と左目の位置である点Ｏｌ（ｘｌ，ｙｌ，０）とを結ぶ直線（ベクトルＶｌ）が、立体表示モニタ６の画面Ｑと交わる点ｐｌ（ｘｌ，ｙｌ，Ｚ０）の集合で表される。
一方、決定ボタン及び戻るボタンの各アイコンは、平面地図の右目用画像においては、当該右目用画像上の点ｐｒの集合で表現され、平面地図の左目用画像においては、当該左目用画像上の点ｐｌの集合で表現される。

画面合成処理部４は、平面地図データＰｉｃ＿ｐｌａｎｅ、パラメータＺ０，ｄ，ｚ、及びアイコンデータを用いて、見かけ上の地図表示面Ｐと運転者の目の位置の距離がｚとなり、さらにアイコンの表示面Ｒと運転者の目の位置との距離が（ｚ−ｄｚ）となるように点ｐｒ，ｐｌを計算して右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）及び左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）を生成し、映像再生装置５へ出力する。

映像再生装置５は、画面合成処理部４によって生成された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを再生して立体表示モニタ６へ出力する。立体表示モニタ６では、映像再生装置５により再生された右目用画像及び左目用画像を用いて、平面地図とアイコンを立体表示する。このとき、運転者からは、立体視によって、アイコン画像が平面地図上に距離ｄｚだけ浮かんだように見える。

上述の表示状態で、タッチパネル２２によって、ユーザの指等の指示物がタッチ面に触れた“接触”が検出されると、画面合成処理部４は、（ｚ−ｄｚ）がＺ０となるまで距離ｄｚを増加させて、右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）及び左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）を生成し、映像再生装置５へ出力する。

映像再生装置５は、画面合成処理部４によって生成された右目用画像データＰｉｃ＿Ｒ（ｘ，ｙ）と左目用画像データＰｉｃ＿Ｌ（ｘ，ｙ）とを再生して立体表示モニタ６へ出力する。立体表示モニタ６では、映像再生装置５により再生された右目用画像及び左目用画像を用いて、平面地図とアイコンを立体表示する。これにより、運転者からは、立体視によって、アイコン画像が立体表示モニタ６の画面Ｑで焦点が合うように表示される。

図１４は、実施の形態２の３次元立体表示装置による画面合成処理の概要を示す図である。先ず、図１４（ａ）に示すように、平面地図を、立体表示モニタ６の画面Ｑよりも奥側の見かけ上の地図表示面Ｐに表示し、決定ボタン及び戻るボタンを、平面地図の見かけ上の地図表示面Ｐよりも手前の見かけ上の表示面Ｒに表示する。
このとき、図１４（ａ）の左側に示すように、ユーザからは、立体視により、平面地図が最も離れた位置で焦点が合うように表示され、決定ボタン及び戻るボタンが、平面地図から距離ｄｚだけ近くで焦点が合うように表示される。

タッチパネル２２によって、ユーザの指等の指示物がタッチ面に触れた“接触”が検出されると、図１４（ｂ）に示すように、距離ｄｚが（ｚ−Ｚ０）となるまでｄｚを増加させる。これにより、図１４（ｂ）の左側に示すように、ユーザからは、立体視により、平面地図の表示はそのままだが、決定ボタン及び戻るボタンについては、立体表示モニタ６の画面Ｑ上で焦点が合うように表示される。この後、指示物でタッチ面を介して決定ボタン又は戻るボタンを押し込むことにより、決定ボタン又は戻るボタンに応じた機能内容が実行される。

このように、指示物がタッチ面に接触すると、決定ボタン及び戻るボタンが、立体表示モニタ６の画面Ｑ上で焦点が合うように表示されるので、操作対象のアイコンの視認性が向上する。また、タッチ面への接触前は、立体表示モニタ６の画面Ｑよりもユーザから遠方で焦点が合うように表示することで、遠方を見ていたユーザが、画面Ｑに視線を向けても焦点位置の移動距離が少なく見やすくなる。

なお、タッチ面への接触が検出された時点で、距離ｄｚを（ｚ−Ｚ０）とするのではなく、距離ｄｚを所定の値ごとに徐々に（ｚ−Ｚ０）に近づけることで、アイコン画像の表示面Ｒを徐々に移動させて立体表示モニタ６の画面Ｑへ一致させてもよい。反対に、操作した後、図１４（ａ）に示す表示状態に戻す場合においても、距離ｄｚを所定の値ごとに徐々に戻すようにしてもよい。

また、操作がなされる前の通常状態において、図１２及び図１４（ａ）では、決定ボタン及び戻るボタンが、平面地図から距離ｄｚだけ近くで焦点が合うように表示する場合を示したが、ｄｚを０として平面地図上で焦点が合うように表示してもかまわない。この場合に、タッチ面への接触が検出されると、見かけ上の地図表示面Ｐを立体表示モニタ６の画面Ｑへ一致させてもよい。このようにしても、上記と同様の効果を得ることができる。

さらに、自装置を搭載又は保持する車両の状態により操作が許可されていない機能のアイコンについては、ユーザ操作を検出しても、立体視によるアイコン焦点位置を変化させないように制御してもよい。例えば、上記車両の状態により操作が許可されていない機能のアイコンとしては、当該車両の走行時の操作制限により当該アイコンに割り付けられた操作を受け付けないアイコンが挙げられる。この場合、当該アイコンの色や形を、車両の走行中でも操作が許可されている機能のアイコンとは別の色や形に変えて表示してもよいし、当該アイコンを操作すると、警告音やメッセージを出すようにしてもかまわない。

操作検出時に、アイコン画像の見かけ上の表示面Ｒを移動させて立体表示モニタ６の画面Ｑへ一致させる場合を示したが、本発明は、これに限定されるものではない。
図１５は、操作検出時のアイコンの表示例を示す図である。図１５（ａ）及び図１５（ｂ）は、上記と同様に、操作検出時にアイコン画像の表示面Ｒを立体表示モニタ６の画面Ｑに一致させた場合を示している。この場合、ユーザからは、立体視により、決定ボタン及び戻るボタンのアイコンが、立体表示モニタ６の画面Ｑで焦点が合うように表示されるが、図１５（ｂ）に示すように平面地図上に浮いているように見える。
そこで、図１５（ｃ）及び図１５（ｄ）に示すように、平面地図の見かけ上の地図表示面Ｐから立体表示モニタ６の画面Ｑに延びるようにアイコンを表示してもよい。このように表示することにより、さらにアイコンの視認性を向上させることができる。
また、図１５（ａ）及び図１５（ｂ）において、操作検出時に、立体表示モニタ６の画面に浮き出したようにアイコンを表示するにあたり、アイコンの形状を変えて表示してもよい。このように操作前と操作時とでアイコンの形状を変えることで、操作時におけるアイコンの視認性を向上させることができる。

以上のように、この実施の形態２によれば、ユーザ操作を受け付けるタッチパネル２２と、入力した表示対象の画像の３次元立体表示用の右目用及び左目用の画像を再生する映像再生装置５と、映像再生装置５により再生された表示対象の画像の３次元立体表示用の右目用及び左目用の画像を３次元立体表示する立体表示モニタ６と、表示対象の画像として、ユーザ操作用のアイコン画像及びアイコン画像を表示するベース画像を３次元立体表示するにあたり、ユーザ操作用のアイコン画像を３次元立体表示する見かけ上の表示面Ｒ、ベース画像を３次元立体表示する見かけ上の表示面Ｐ及び立体表示モニタ６の画面Ｑをそれぞれ異なる面とした３次元立体表示用の右目用及び左目用の画像又は映像を生成し、タッチパネル２２を用いたユーザ操作用のアイコン画像に対するユーザ操作に応じて、ベース画像を３次元立体表示する見かけ上の表示面Ｐ又は立体表示モニタ６の画面Ｑに対する、当該アイコン画像を３次元立体表示する見かけ上の表示面Ｒの位置を移動させた３次元立体表示用の右目用及び左目用の画像又は映像を生成して映像再生装置５に出力する画面合成処理部４とを備える。このようにすることで、ユーザ操作用のアイコン画像の視認性が向上することから、ユーザの直感に合致した操作が可能な３次元立体表示によるＨＭＩを提供することができる。

上記実施の形態２では、タッチパネル２２でタッチ面への指示物の“接触”と“押し込み”を検出する場合を示したが、本発明は、これに限定されるものではない。
例えば、静電容量式の非接触で、タッチ面までの指示物の距離とその接触を検出できる３次元タッチパネルを使用することにより、タッチ面までの指示物の距離に応じて、図１４（ａ）の表示状態から徐々にアイコンの表示面Ｒを移動させ、指示物がタッチ面に接触した時点で、図１４（ｂ）の表示状態とし、当該アイコンの機能を実行するように制御してもよい。

また、上記実施の形態１，２では、アイコンを立体表示する場合を示したが、ナビゲーション処理の操作に応じて経路誘導画面を立体表示してもよい。例えば、平面地図の見かけ上の表示位置を立体表示モニタ６の画面よりも運転者の遠方にし、経路誘導画面を平面地図の見かけ上の表示面よりも手前に表示する。

さらに、上記実施の形態２において、ユーザ操作に応じて、自車位置、経路、誘導ポイント、カーソル、３次元エージェント表示、その他の交通情報などのイベントを、平面地図の見かけ上の地図表示面よりも手前に浮き出すように表示してもよい。この他、目的地などの有意な文字を立体表示してもよい。例えば、高速略図やＰＯＩが挙げられる。

また、平面地図上に表示したＰＯＩを指定する操作があると、この指定されたＰＯＩの情報が記述されたバルーン表示を、立体視によって、運転者からみて、平面地図の見かけ上の地図表示面よりも手前に浮き出すように表示してもよい。

また、上記実施の形態１，２では、平面地図を立体表示する場合を示したが、車載情報システムに一般的に表示するものならば、ＡＶシステムのメニュー画面や車両情報、安全情報等の表示に適用してもかまわない。例えば、エアコンの制御用のアイコン、ダッシュボードのメータパネル、車両の燃費、予防安全情報、ＶＩＣＳ（登録商標）情報等の表示に利用してもよい。

さらに、上記実施の形態１，２では、裸眼で立体視する立体表示を示したが、偏光眼鏡を用いて立体画像を得る立体表示方式でもかまわない。

上記実施の形態１，２では、この発明に係る３次元立体表示装置を車載情報システムに適用した場合を示したが、上述したような立体表示モニタを有する全ての表示装置に適用することが可能である。例えば、車載用のナビゲーション装置のみならず、携帯電話端末又は携帯情報端末（ＰＤＡ；Personal Digital Assistance）の表示装置に適用してもよい。また、車両、鉄道、船舶又は航空機等の移動体に、人が携帯して持ち込んで使用するＰＮＤ（Portable Navigation Device）等の表示装置に適用してもかまわない。

なお、本願発明は、その発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

Claims (12)

1. ユーザ操作を受け付ける操作入力部と、
   前記操作入力部に対してユーザ操作しようとしている挙動を検出するユーザ操作検出部と、
   表示対象の画像又は映像の３次元立体表示用の右目用及び左目用の画像又は映像を再生する再生処理部と、
   前記再生処理部により再生された前記表示対象の画像又は映像の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ部と、
   前記操作入力部を用いたユーザ操作又は前記ユーザ操作検出部による検出の有無に応じて、前記立体表示モニタ部の画面に対する、前記表示対象の画像又は映像を３次元立体表示する見かけ上の表示面の位置を移動させた３次元立体表示用の右目用及び左目用の画像又は映像を生成して前記再生処理部に出力する画面合成処理部とを備え、
   前記操作入力部を用いたユーザ操作がない場合、前記表示対象の画像又は映像を３次元立体表示する見かけ上の表示面を、ユーザから見て前記立体表示モニタ部の画面よりも奥に移動させ、
   前記操作入力部を用いてユーザ操作があった場合又は前記ユーザ操作検出部により前記操作入力部に対してユーザ操作しようとしている挙動が検出された場合、前記３次元立体表示する見かけ上の表示面をユーザに近づくように移動させ、当該ユーザ操作が終了すると、前記３次元立体表示する見かけ上の表示面を、前記立体表示モニタ部の画面よりも奥の元の位置に移動させる３次元立体表示装置。
2. 前記ユーザ操作検出部により前記操作入力部に対してユーザ操作しようとしている挙動が検出された場合、前記３次元立体表示する見かけ上の表示面を、ユーザから見て前記立体表示モニタ部の画面に近づくように移動させることを特徴とする請求項１記載の３次元立体表示装置。
3. 前記表示対象の画像は、平面画像又は平面画像上に立体像を表示した画像であることを特徴とする請求項１記載の３次元立体表示装置。
4. 前記ユーザ操作検出部は、前記操作入力部に含まれ、
   前記操作入力部は、前記立体表示モニタ部の画面上に設けたタッチパネルであり、
   前記画面合成処理部は、前記タッチパネルのタッチ面に指示物が接触したことが検出されると、前記表示対象の画像又は映像を３次元立体表示する見かけ上の表示面を、前記立体表示モニタ部の画面の近くに移動するか又は当該立体表示モニタ部の画面と同一位置に移動するように表示される３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項１記載の３次元立体表示装置。
5. 前記ユーザ操作検出部は、前記操作入力部に含まれ、
   前記操作入力部は、前記立体表示モニタ部の画面上に設けられ、指示物がタッチ面からの所定の距離内に接近したことを検出可能なタッチパネルであり、
   前記画面合成処理部は、前記タッチパネルのタッチ面から所定の距離内に前記指示物が接近したことが検出されると、前記表示対象の画像又は映像を３次元立体表示する見かけ上の表示面を、前記立体表示モニタ部の画面の近くに移動するか又は当該立体表示モニタ部の画面と同一位置に移動させるように表示される３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項１記載の３次元立体表示装置。
6. 前記画面合成処理部は、前記操作入力部を用いてユーザ操作があった場合又は前記ユーザ操作検出部により前記操作入力部に対してユーザ操作しようとしている挙動が検出された場合、前記表示対象の画像又は映像を３次元立体表示する見かけ上の表示面がユーザから見て所定の速度で徐々に移動するように表示される３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項１記載の３次元立体表示装置。
7. ユーザ操作を受け付ける操作入力部と、
   前記操作入力部に対してユーザ操作しようとしている挙動を検出するユーザ操作検出部と、
   表示対象の画像又は映像の３次元立体表示用の右目用及び左目用の画像又は映像を再生する再生処理部と、
   前記再生処理部により再生された前記表示対象の画像又は映像の３次元立体表示用の右目用及び左目用の画像又は映像を３次元立体表示する立体表示モニタ部と、
   前記表示対象の画像として、ユーザ操作用のアイコン画像及び前記アイコン画像を表示するベース画像を３次元立体表示するにあたり、前記ユーザ操作用のアイコン画像を３次元立体表示する見かけ上の表示面、前記ベース画像を３次元立体表示する見かけ上の表示面及び前記立体表示モニタ部の画面をそれぞれ異なる面とした３次元立体表示用の右目用及び左目用の画像又は映像を生成し、前記操作入力部を用いた前記ユーザ操作用のアイコン画像に対するユーザ操作又は前記ユーザ操作検出部による検出の有無に応じて、前記ベース画像を３次元立体表示する見かけ上の表示面又は前記立体表示モニタ部の画面に対する、当該アイコン画像を３次元立体表示する見かけ上の表示面の位置を移動させた３次元立体表示用の右目用及び左目用の画像又は映像を生成して前記再生処理部に出力する画面合成処理部とを備え、
   前記操作入力部を用いたユーザ操作がない場合には、
   当該アイコン画像を３次元立体表示する見かけ上の表示面及び前記ベース画像を３次元立体表示する見かけ上の表示面を、前記立体表示モニタ部の画面よりもユーザから見て奥になるように移動させ、
   前記操作入力部を用いてユーザ操作があった場合又は前記ユーザ操作検出部により前記操作入力部に対してユーザ操作しようとしている挙動が検出された場合、
   当該アイコン画像を３次元立体表示する見かけ上の表示面及び前記ベース画像を３次元立体表示する見かけ上の表示面をユーザに近づくように移動させ、
   当該ユーザ操作が終了すると、当該アイコン画像を３次元立体表示する見かけ上の表示面及び前記ベース画像を３次元立体表示する見かけ上の表示面を、前記立体表示モニタ部の画面よりも奥の元の位置に移動させる３次元立体表示装置。
8. 前記画面合成処理部は、前記操作入力部を用いて前記ユーザ操作用のアイコン画像に対するユーザ操作があると、当該アイコン画像を３次元立体表示する見かけ上の表示面が、前記立体表示モニタ部の画面に近づけるか又は同一位置に移動するように表示される３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項７記載の３次元立体表示装置。
9. 前記画面合成処理部は、前記操作入力部を用いてユーザ操作があった場合又は前記ユーザ操作検出部により前記操作入力部に対してユーザ操作しようとしている挙動が検出された場合、前記アイコン画像を３次元立体表示する見かけ上の表示面がユーザから見て所定の速度で徐々に近づくように移動するように表示される３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項８記載の３次元立体表示装置。
10. 前記画面合成処理部は、前記操作入力部を用いて前記ユーザ操作用のアイコン画像に対するユーザ操作があると、当該アイコン画像を３次元立体表示する見かけ上の表示面及び前記ベース画像を３次元立体表示する見かけ上の表示面が、前記立体表示モニタ部の画面に近づけるか又は同一位置に移動するように表示される３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項７記載の３次元立体表示装置。
11. 前記画面合成処理部は、前記ユーザ操作用のアイコン画像のうち、自装置を搭載又は保持する移動体の状態により操作が許可されないアイコン画像については、前記操作入力部を用いたユーザ操作があっても、当該アイコン画像を３次元立体表示する見かけ上の表示面の位置を移動させない３次元立体表示用の右目用及び左目用の画像又は映像を生成することを特徴とする請求項７記載の３次元立体表示装置。
12. 前記自装置を搭載又は保持する移動体の状態により操作が許可されないアイコンとは、前記移動体の移動時の操作制限により当該アイコンに割り付けられた操作を受け付けないアイコンであることを特徴とする請求項１１記載の３次元立体表示装置。

Images