JP7100100B2 - 虚像表示装置、制御方法、プログラム、及び記憶媒体 - Google Patents

Description

本発明は、虚像を表示する技術に関する。

従来から、ヘッドアップディスプレイにおいて、ユーザのジェスチャに応じて表示内容を変更する技術が知られている。例えば、特許文献１には、運転者の目を撮影する視点検知用カメラと、運転者の手を撮影するジェスチャ検知用カメラを備え、運転者が指先で表示虚像を指し示す動作をすると、運転者の目位置と指先位置を検出することにより運転者の視線上にある虚像を特定し、さらに所定の動作を検出すると特定した虚像を消去するヘッドアップディスプレイが開示されている。また、特許文献２には、フロントウィンドウに少なくとも２つの虚像を同時に表示でき、かつ、表示サイズおよびドライバの虚像に対する焦点距離を各虚像でそれぞれ異なるようにすることが可能なヘッドアップディスプレイが開示されている。

特開２００５－１３８７５５号公報 特開２００６－１０６２５４号公報

虚像距離が異なる虚像を表示可能なヘッドアップディスプレイなどの虚像表示装置において、表示する各虚像の虚像距離は離れているものの、表示される方向が近い場合には、特許文献１に記載の方法では、ユーザが指し示す虚像を特定することが困難である。そこで、本発明は、ユーザが虚像に対してジェスチャを行う際に、表示される虚像の方向が近い場合であっても、ユーザが指し示す虚像を的確に特定することが可能な虚像表示装置を提供することを主な目的とする。

請求項に記載の発明は、車両に搭載される虚像表示装置であって、
第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御手段と、
前記車両の座席に座して前記虚像を視認する観察者が手を伸ばした方向、及び、前記手を伸ばした距離に相当するジェスチャ長を検出する検出手段と、
前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接していない場合には、前記手を伸ばした方向に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定し、
前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接している場合には、前記手を伸ばした方向、及び、前記ジェスチャ長に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定手段と、
を備えることを特徴とする。

また、請求項に記載の発明は、車両に搭載される虚像表示装置が実行する制御方法であって、
第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御工程と、
前記車両の座席に座して前記虚像を視認する観察者が手を伸ばした方向、及び、前記手を伸ばした距離に相当するジェスチャ長を検出する検出工程と、
前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接していない場合には、前記手を伸ばした方向に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定し、
前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接している場合には、前記手を伸ばした方向、及び、前記ジェスチャ長に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定工程と、
を有することを特徴とする。

また、請求項に記載の発明は、車両に搭載されるコンピュータが実行するプログラムであって、
第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御手段と、
前記車両の座席に座して前記虚像を視認する観察者が手を伸ばした方向、及び、前記手を伸ばした距離に相当するジェスチャ長を検出する検出手段と、
前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接していない場合には、前記手を伸ばした方向に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定し、
前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接している場合には、前記手を伸ばした方向、及び、前記ジェスチャ長に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定手段
として前記コンピュータを機能させることを特徴とする。

ヘッドアップディスプレイシステムの構成例を示す。 ヘッドアップディスプレイシステムの制御部のブロック図である。 実施例に係る処理手順を示すフローチャートである。 マーク画像を選択して施設の詳細情報を表示する操作を受け付ける前後でのフロントウィンドウの表示例を示す。 ヘッドアップディスプレイシステムがディスプレイを３つ備える場合のフロントウィンドウ上での表示例を示す。 伸ばした手の位置と、各手の位置で選択される虚像との関係を示す図である。 非反応範囲を設けた場合の各範囲と伸ばした手先の位置との関係を示す。 虚像の位置と、反応範囲及び非反応範囲との関係を示す。

本発明の１つの好適な実施形態では、虚像表示装置は、第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御手段と、前記虚像を視認する観察者が手を伸ばした距離を検出する検出手段と、前記観察者が手を伸ばした距離に基づいて、前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定手段と、を備える。

上記虚像表示装置は、表示制御手段と、検出手段と、特定手段とを備える。表示制御手段は、第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示部に表示する。検出手段は、虚像を視認する観察者が手を伸ばした距離を検出する。特定手段は、観察者が手を伸ばした距離に基づいて、第１オブジェクトまたは第２オブジェクトのいずれかを、観察者が選択したオブジェクトとして特定する。この構成によれば、虚像表示装置は、虚像距離の異なる２つのオブジェクトを表示手段に虚像として表示させた場合に、観察者が選択したオブジェクトを、観察者が手を伸ばした距離に基づいて好適に特定することができる。

上記虚像表示装置の一態様では、前記検出手段は、さらに前記観察者が手を伸ばした方向を検出し、前記特定手段は、前記観察者が手を伸ばした方向から所定範囲内に前記第１オブジェクトおよび前記第２オブジェクトに対応する前記虚像の表示位置が含まれる場合に、前記観察者が手を伸ばした距離に基づいて、前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する。この態様により、虚像表示装置は、観察者が手を伸ばした方向に複数のオブジェクトが表示されていた場合であっても、観察者が選択したオブジェクトを、観察者が手を伸ばした距離に基づいて好適に特定することができる。

上記虚像表示装置の他の一態様では、前記特定手段は、前記観察者が手を伸ばした距離が基準距離よりも短い場合に、前記第１オブジェクトを前記観察者が選択したオブジェクトとして特定し、前記観察者が手を伸ばした距離が前記基準距離よりも長い場合に、前記第２オブジェクトを前記観察者が選択したオブジェクトとして特定する。この態様では、虚像表示装置は、遠くに表示された第２オブジェクトを観察者が選択する際には、近くに表示された第１オブジェクトを選択する場合よりも手を伸ばすべき距離を長く設定する。これにより、オブジェクトを選択する操作を、見た目の虚像の距離感と一致させて観察者に好適に実行させることができる。

上記虚像表示装置の他の一態様では、前記特定手段は、前記第１距離および前記第２距離に応じて、前記基準距離を変化させる。この態様により、虚像表示装置は、オブジェクトを選択する操作を、見た目の虚像の距離感と一致させて観察者に好適に実行させることができる。

上記虚像表示装置の他の一態様では、前記特定手段は、前記基準距離を含む所定距離範囲に前記観察者が手を伸ばした距離が含まれる場合は、前記第１オブジェクトおよび前記第２オブジェクトのいずれも前記観察者が選択したオブジェクトとして特定しない。この態様により、虚像表示装置は、観察者が選択したオブジェクトを誤認識するのを好適に抑制することができる。

上記虚像表示装置の他の一態様では、虚像表示装置は、前記観察者のジェスチャを認識する認識手段と、前記特定手段により前記観察者が選択したオブジェクトが特定された後に、前記認識手段により所定のジェスチャが認識された際に、前記選択されたオブジェクトに関連する処理を実行する実行手段と、をさらに備える。この態様により、虚像表示装置は、ユーザが選択したオブジェクトに関連する処理を、ユーザのジェスチャに応じて好適に実行することができる。

本発明の他の好適な実施形態では、虚像表示装置が実行する制御方法であって、第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御工程と、前記虚像を視認する観察者が手を伸ばした距離を検出する検出工程と、前記観察者が手を伸ばした距離に基づいて、前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定工程と、を有する。虚像表示装置は、この制御方法を実行することで、虚像距離の異なる２つのオブジェクトを表示手段に虚像として表示させた場合に、観察者が選択したオブジェクトを、観察者が手を伸ばした距離に基づいて好適に特定することができる。

本発明のさらに別の実施形態では、コンピュータが実行するプログラムであって、第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御手段と、前記虚像を視認する観察者が手を伸ばした距離を検出する検出手段と、前記観察者が手を伸ばした距離に基づいて、前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、虚像距離の異なる２つのオブジェクトを表示手段に虚像として表示させた場合に、観察者が選択したオブジェクトを、観察者が手を伸ばした距離に基づいて好適に特定することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

［システム構成］
図１は、実施例に係るヘッドアップディスプレイシステム２の構成例である。図１に示すように、本実施例に係るヘッドアップディスプレイシステム２は、２つの虚像を同時に表示し、かつ、ジェスチャによる操作が可能であって、主に、第１及び第２ディスプレイ４１、４２（区別しない場合、「ディスプレイ４」と総称する。）と、車室内撮影カメラ６と、凹面鏡８と、図示しない後述の制御部とを備える。そして、ヘッドアップディスプレイシステム２は、フロントウィンドウ２５と、天井部２７と、ボンネット２８と、ダッシュボード２９とを備える車両に取り付けられる。

第１及び第２ディスプレイ４１、４２は、ダッシュボード２９内に設けられ、施設情報や経路案内情報、走行速度情報、その他運転を補助する情報を示す画像を表示する。第１ディスプレイ４１は、第２ディスプレイ４２から凹面鏡８までの光路を遮らない位置に設置される。第１及び第２ディスプレイ４１、４２は、同じくダッシュボード２９内に設けられた凹面鏡８に向けられており、第１及び第２ディスプレイ４１、４２から射出された光（「表示光」とも呼ぶ。）は、凹面鏡８に入射する。この場合、凹面鏡８で反射した光は、ダッシュボード２９に設けられた開口部８９を介してフロントウィンドウ２５へ到達し、さらにフロントウィンドウ２５で反射することで運転者の目の位置に到達する。図１は、第１ディスプレイ４１から射出された光の光路を破線、第２ディスプレイ４２から射出された光の光路を一点鎖線により示している。

このように、第１及び第２ディスプレイ４１、４２は、表示光を運転者の目の位置へ到達させて、運転者に、それぞれ虚像Ｉｖ１、Ｉｖ２を視認させる。以後では、虚像Ｉｖ１として表示される画像を「第１オブジェクトＯｂ１」、虚像Ｉｖ２として表示される画像を「第２オブジェクトＯｂ２」、これらを区別しない場合には単に「オブジェクト」とも呼ぶ。

ここで、運転者の目の位置から虚像までの距離（単に「虚像距離」とも呼ぶ。）は、ディスプレイ４からフロントウィンドウ２５までの光路長に応じて異なる。図１の例では、第２ディスプレイ４２は、第１ディスプレイ４１よりも凹面鏡８に対して離れた位置に設置されているため、虚像Ｉｖ２の虚像距離は、虚像Ｉｖ１の虚像距離よりも長くなっている。虚像Ｉｖ１の虚像距離は、本発明における「第１距離」の一例であり、虚像Ｉｖ２の虚像距離は、本発明における「第２距離」の一例である。

なお、第１及び第２ディスプレイ４１、４２は、液晶ディスプレイの他、画像を構成する光が投影されて中間像が表示されるスクリーンであってもよい。ディスプレイ４、凹面鏡８、及びフロントウィンドウ２５は、本発明における「表示手段」の一例である。また、第１ディスプレイ４１または第２ディスプレイ４２の少なくとも一方は、凹面鏡８との距離をユーザが調整できるように移動自在に構成されていてもよい。

車室内撮影カメラ６は、車室内を撮影するカメラであり、運転席に座る運転者の顔及び手が撮影範囲内になるように設置される。車室内撮影カメラ６が撮影した画像（「撮影画像Ｉｍ」とも呼ぶ。）は、運転者の手の３次元位置を計測するのに用いられる。車室内撮影カメラ６は、好適には、ステレオカメラである。

凹面鏡８は、第１ディスプレイ４１及び第２ディスプレイ４２から射出された表示光を、ダッシュボード２９に設けられた開口部８９に向けて反射し、フロントウィンドウ２５へ到達させる。この場合、凹面鏡８は、表示光が示す画像を拡大して反射する。なお、凹面鏡８は、第１ディスプレイ４１及び第２ディスプレイ４２の各々に対してそれぞれ設けられてもよい。ここで、第１ディスプレイ４１から凹面鏡８までの光路長は、第２ディスプレイ４２から凹面鏡８までの光路長よりも短いことから、虚像Ｉｖ１は、虚像Ｉｖ２よりも虚像距離が短くなる。

なお、以後では、運転者を操作者とする場合について説明するが、他の乗員が操作者であってもよい。この場合であっても、車室内撮影カメラ６は、操作者の顔及び手が撮影範囲内になるように向けられる。

［機能構成］
ヘッドアップディスプレイシステム２は、ヘッドアップディスプレイシステム２を制御する制御部を車室内の任意の位置に有する。図２は、ヘッドアップディスプレイシステム２の制御部１０の機能的な構成を表すブロック図である。図２に示すように、制御部１０は、ディスプレイ４及び車室内撮影カメラ６と電気的に接続し、表示制御部１１と、ジェスチャ検出部１２と、対象特定部１３とを有する。なお、表示制御部１１と、ジェスチャ検出部１２と、対象特定部１３は、一体に構成されていてもよく、電気的に接続した状態でそれぞれ離れた場所に設置されていてもよい。

表示制御部１１は、第１ディスプレイ４１及び第２ディスプレイ４２の各々に表示させるオブジェクトを表す画像信号を生成する。例えば、表示制御部１１は、オブジェクトとして施設の位置を示すマーク画像を表示する場合、図示しないＧＰＳ受信機の出力や地図データ等に基づき、フロントウィンドウ２５を介して運転者が視認可能な位置に存在する施設を認識し、当該施設を表すマーク画像を表す画像信号を生成する。このとき、表示制御部１１は、虚像Ｉｖ１、Ｉｖ２の各虚像距離を予め記憶しておき、各虚像距離と、車両からマーク画像を表示する施設までの距離とに応じて、第１ディスプレイ４１または第２ディスプレイ４２のいずれにマーク画像を表示させるか決定する。

また、表示制御部１１は、虚像として表示させるオブジェクトに関する情報（「オブジェクト情報Ｉｏ」とも呼ぶ。）を、対象特定部１３へ供給する。ここで、オブジェクト情報Ｉｏは、例えば、フロントウィンドウ２５上での位置及び形状の情報、虚像として表示される際の虚像距離の情報、ジェスチャ操作可能であるか否かを示す情報などを含む。なお、表示制御部１１は、オブジェクト情報Ｉｏを生成する場合、オブジェクトの種類に基づき、各オブジェクトがジェスチャ操作可能であるか否かを判定してもよい。例えば、オブジェクトがマーク画像の場合、表示制御部１１は、マーク画像が示す施設の詳細情報を地図データ等から抽出可能であることから、ジェスチャ操作可能であると判断する。

なお、表示制御部１１は、マーク画像以外に、距離を示す画像、ルート案内の矢印の画像などの種々の画像をオブジェクトとして表示してもよい。この場合、表示制御部１１は、例えば、表示する情報の種類ごとに、第１ディスプレイ４１または第２ディスプレイ４２のいずれで表示するかを決定してもよい。

ジェスチャ検出部１２は、車室内撮影カメラ６から供給される撮影画像Ｉｍを基に運転者のジェスチャを認識する。本実施例では、ジェスチャ検出部１２は、公知の画像認識処理に基づき、指差す動作を検出した場合に、伸ばした手の長さ（「ジェスチャ長Ｌｔａｇ」とも呼ぶ。）と、指差した方向（「指差方向Ｄｔａｇ」とも呼ぶ。）を検出する。例えば、ジェスチャ検出部１２は、運転者の顏（目）の位置と、手（指）の位置を認識し、検出した顔と手との距離を、ジェスチャ長Ｌｔａｇとして算出する。また、ジェスチャ検出部１２は、顔の位置に対する手の位置の方向を、指差方向Ｄｔａｇとして算出する。なお、車室内撮影カメラ６がステレオカメラでない単眼カメラの場合には、ジェスチャ検出部１２は、ダッシュボード２９上に設けられた図示しない複数の距離センサの計測値と、撮影画像Ｉｍとに基づき、ジェスチャ長Ｌｔａｇを算出してもよい。ジェスチャ検出部１２は、ジェスチャ長Ｌｔａｇ及び指差方向Ｄｔａｇの情報を、対象特定部１３へ供給する。

対象特定部１３は、表示制御部１１から受信したオブジェクト情報Ｉｏ及びジェスチャ検出部１２から通知されたジェスチャ長Ｌｔａｇ及び指差方向Ｄｔａｇに基づき、運転者が操作可能なオブジェクトのうち、運転者が指し示したオブジェクトを特定する。具体的には、対象特定部１３は、まず、オブジェクト情報Ｉｏ及び指差方向Ｄｔａｇに基づき、運転者の顔と手を結ぶ方向の周辺に表示されたオブジェクトを特定する。この時、対象特定部１３は、オブジェクト情報Ｉｏを参照し、ジェスチャ操作できないオブジェクトを、特定の対象から除外する。また、対象特定部１３は、指差方向Ｄｔａｇの周辺に、虚像Ｉｖ１として表示される第１オブジェクトＯｂ１と虚像Ｉｖ２として表示される第２オブジェクトＯｂ２が存在した場合、ジェスチャ長Ｌｔａｇに基づき、いずれのオブジェクトがジェスチャ操作の対象となったか判定する。この場合、対象特定部１３は、ジェスチャ長Ｌｔａｇの閾値（「閾値Ｌｔｈ」とも呼ぶ。）を予め記憶しておく。そして、対象特定部１３は、ジェスチャ長Ｌｔａｇが閾値Ｌｔｈ以上の場合には、虚像距離が長い第２オブジェクトＯｂ２が操作対象であると判断し、ジェスチャ長Ｌｔａｇが閾値Ｌｔｈより短い場合には、虚像距離が短い第１オブジェクトＯｂ１が操作対象であると判断する。そして、対象特定部１３は、操作対象となったオブジェクトを認識した場合、当該オブジェクトを特定する情報を表示制御部１１へ送信する。閾値Ｌｔｈは、本発明における「基準距離」の一例である。

対象特定部１３が操作対象のオブジェクトの認識後、表示制御部１１は、対象特定部１３が特定したオブジェクトの色を変化させるなどして強調表示することで、選択されたマーク画像を運転者に提示する。その状態から、運転者が手を横に払うなどの所定のジェスチャが行われたことをジェスチャ認識部１２がさらに認識した場合には、表示制御部１１は、ジェスチャ検出部１２が認識したジェスチャに応じて、そのオブジェクトに関連する処理を実行する。具体的には、表示制御部１１は、オブジェクトの表示を消去したり、当該オブジェクトに関する追加情報を表示したりする。

なお、表示制御部１１は、本発明における「表示制御手段」及び「実行手段」の一例であり、ジェスチャ検出部１２は、本発明における「検出手段」及び「認識手段」の一例であり、対象特定部１３は、本発明における「特定手段」の一例である。

［処理フロー］
図３は、本実施例において制御部１０が実行する処理手順を示すフローチャートである。制御部１０は、図３に示すフローチャートの処理を、繰り返し実行する。なお、図３では、前提として、表示制御部１１は、マーク画像などのオブジェクトを第１ディスプレイ４１または／及び第２ディスプレイ４２に適宜表示すると共に、表示中のオブジェクトに対応するオブジェクト情報Ｉｏを対象特定部１３に送信しているものとする。

まず、ジェスチャ検出部１２は、車室内撮影カメラ６から受信する撮影画像Ｉｍ等に基づき、運転者が指差す動作を認識した場合に、手を伸ばした距離に相当するジェスチャ長Ｌｔａｇと、手を伸ばした方向である指差方向Ｄｔａｇとを検出する（ステップＳ１０１）。そして、ジェスチャ検出部１２は、検出したジェスチャ長Ｌｔａｇと指差方向Ｄｔａｇの情報を対象特定部１３に供給する。

次に、対象特定部１３は、指差方向Ｄｔａｇ周辺に、操作可能なオブジェクトが表示されているか否か判定する（ステップＳ１０２）。具体的には、対象特定部１３は、まず、表示制御部１１から受信したオブジェクト情報Ｉｏに基づき、ジェスチャ操作可能な表示中のオブジェクトの各々について、フロントウィンドウ２５上の表示位置を認識する。そして、表示制御部１１は、ジェスチャ検出部１２から通知された指差方向Ｄｔａｇが指し示すフロントウィンドウ２５上の位置と、上述の表示位置とが近接するオブジェクトが存在するか否か判定する。

そして、対象特定部１３は、指差方向Ｄｔａｇの周辺に操作可能なオブジェクトが表示されていると判断した場合（ステップＳ１０２；Ｙｅｓ）、ステップＳ１０３へ処理を進める。一方、対象特定部１３は、指差方向Ｄｔａｇの周辺に操作可能なオブジェクトが表示されていないと判断した場合（ステップＳ１０２；Ｎｏ）、オブジェクトに対する操作が行われていないと判断し、ステップＳ１０１へ処理を戻す。

次に、ステップＳ１０３では、対象特定部１３は、虚像距離の異なるオブジェクトをステップＳ１０２で検出したか否か判定する（ステップＳ１０３）。即ち、対象特定部１３は、指差方向Ｄｔａｇの周辺に操作可能なオブジェクトが複数存在し、かつ、これらの虚像距離が異なっているか否か判定する。そして、対象特定部１３は、ステップＳ１０２で検出したオブジェクトが虚像距離の異なるオブジェクトであった場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０４へ処理を進める。一方、対象特定部１３は、虚像距離の異なるオブジェクトを検出しなかった場合（ステップＳ１０３；Ｎｏ）、即ち、指差方向Ｄｔａｇの周辺では虚像距離の異なるオブジェクトが重なって表示されていなかった場合には、指差方向Ｄｔａｇの周辺の操作可能なオブジェクトが選択されたと認識する（ステップＳ１０８）。なお、対象特定部１３は、虚像距離が同一の複数のオブジェクトをステップＳ１０２で検出した場合には、例えば、指差方向Ｄｔａｇに最も中心位置が近いオブジェクトが選択されたと認識する。

次に、ステップＳ１０４では、対象特定部１３は、虚像距離の異なる各オブジェクト（即ち第１オブジェクトＯｂ１と第２オブジェクトＯｂ２）の虚像距離に応じた閾値Ｌｔｈを設定する（ステップＳ１０４）。この場合、対象特定部１３は、第１オブジェクトＯｂ１及び第２オブジェクトＯｂ２の各虚像距離に基づき所定の式等を参照して閾値Ｌｔｈを算出してもよく、予め算出された閾値Ｌｔｈをメモリから抽出して使用してもよい。そして、対象特定部１３は、ステップＳ１０１で検出したジェスチャ長Ｌｔａｇが閾値Ｌｔｈ以上であるか否か判定する（ステップＳ１０５）。そして、対象特定部１３は、ジェスチャ長Ｌｔａｇが閾値Ｌｔｈ以上である場合（ステップＳ１０５；Ｙｅｓ）、虚像距離が遠い方のオブジェクトである第２オブジェクトＯｂ２が選択されたと認識する（ステップＳ１０６）。一方、対象特定部１３は、ジェスチャ長Ｌｔａｇが閾値Ｌｔｈ未満である場合（ステップＳ１０５；Ｎｏ）、虚像距離が近い方のオブジェクトである第１オブジェクトＯｂ１が選択されたと認識する（ステップＳ１０７）。

そして、表示制御部１１は、ステップＳ１０６～Ｓ１０８で対象特定部１３が指差し動作により選択されたと認識したオブジェクトを強調表示する（ステップＳ１０９）。その後、ジェスチャ検出部１２は、選択されたオブジェクトに対する所定のジェスチャ操作をさらに検出した場合には、検出したジェスチャ操作に応じて、選択されたオブジェクトの追加情報を表示したり、表示を消去したりする。

［表示例］
図４は、施設名称を表示するマーク画像を運転者がジェスチャにより選択して施設の詳細情報を表示する際の、ジェスチャの実行前後でのフロントウィンドウ２５の表示例を示す。

図４（Ａ）に示すように、表示制御部１１は、交差点手前にある建物の施設名「Ａストア」を表すマーク画像５１を表示すると共に、Ａストアの道路向かいにある建物の施設名「Ｂマート」を表すマーク画像５２を虚像として表示している。この場合、表示制御部１１は、施設名「Ａストア」の建物が虚像Ｉｖ１の虚像距離（例えば１０ｍ）と所定距離以内であることから、マーク画像５１を第１ディスプレイ４１により第１オブジェクトＯｂ１（即ち虚像Ｉｖ１）として表示する。また、表示制御部１１は、施設名「Ｂストア」の建物が虚像Ｉｖ２の虚像距離（例えば３０ｍ）と所定距離以内であることから、マーク画像５２を第２ディスプレイ４２により第２オブジェクトＯｂ２（即ち虚像Ｉｖ２）として表示する。

ここで、マーク画像５１とマーク画像５２とのフロントウィンドウ２５上での表示位置は近い。従って、図４（Ａ）の状態で、マーク画像５１または５２のいずれかを運転者が指差した場合、対象特定部１３は、マーク画像５１、５２の２つが指差方向Ｄｔａｇの周辺にあるオブジェクトであると認識する。この場合、対象特定部１３は、虚像Ｉｖ１、Ｉｖ２の各虚像距離に応じて設定した閾値Ｌｔｈと、ジェスチャ検出部１２が検出したジェスチャ長Ｌｔａｇとを比較することで、マーク画像５１、５２のいずれが選択されたか判定する。

そして、図４（Ｂ）の例では、対象特定部１３は、ジェスチャ長Ｌｔａｇが閾値Ｌｔｈ以上であることから、マーク画像５２が指差し動作により選択されたと認識し、選択されたマーク画像５２に対して縁取り効果を付すことで強調表示する。さらに、指差し動作の認識後、ジェスチャ検出部１２が所定のジェスチャをさらに検出したことにより、表示制御部１１は、マーク画像５２に対応する施設「Ｂマート」の営業時間などの詳細情報を示した画像５３を、地図データ等を参照することで表示する。このとき、好適には、表示制御部１１は、選択されたマーク画像５２と同じ虚像距離により、即ち第２ディスプレイ４２により、画像５３を表示するとよい。

以上説明したように、本実施例に係るヘッドアップディスプレイシステム２の表示制御部１１は、第１オブジェクトＯｂ１と、第１オブジェクトＯｂ２の虚像距離より遠い虚像距離により視認される第２オブジェクトＯｂ２とを、それぞれ虚像Ｉｖ１、Ｉｖ２として同時にフロントウィンドウ２５上に表示する。ジェスチャ検出部１２は、虚像を視認する観察者が手を伸ばした距離であるジェスチャ長Ｌｔａｇを検出する。対象特定部１３は、ジェスチャ長Ｌｔａｇに基づいて、第１オブジェクトＯｂ１または第２オブジェクトＯｂ２のいずれかを、観察者が選択したオブジェクトとして特定する。この構成によれば、ヘッドアップディスプレイシステム２は、虚像距離の異なる２つの第１及び第２オブジェクトＯｂ１、Ｏｂ２をそれぞれ虚像Ｉｖ１、Ｉｖ２として表示させた場合に、観察者が選択したオブジェクトを、観察者が手を伸ばした距離に基づいて好適に特定することができる。

［変形例］
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。

（変形例１）
図１の例では、ヘッドアップディスプレイシステム２は、ディスプレイ４として、第１ディスプレイ４１と第２ディスプレイ４２の２つを備えていた。これに代えて、ヘッドアップディスプレイシステム２は、３以上のディスプレイ４を有してもよい。この場合、各ディスプレイ４は、凹面鏡８との距離がそれぞれ異なるように設置され、各ディスプレイ４に表示されるオブジェクトは、それぞれ異なる虚像距離となる虚像として表示される。

図５は、ヘッドアップディスプレイシステム２がディスプレイ４を３つ備える場合のフロントウィンドウ２５上での表示例を示す。図５の例では、各ディスプレイ４は、それぞれ、表示するオブジェクトの虚像距離が１０ｍ、２０ｍ、３０ｍになるように、凹面鏡８との距離が調整されて、ダッシュボード２９内に設置されている。

図５では、表示制御部１１は、最も短い虚像距離（１０ｍ）となる虚像を表示するディスプレイ４により、当該虚像距離と略同一距離だけ前方にある施設「Ａストア」のマーク画像５１を表示し、最も長い虚像距離（３０ｍ）となる虚像を表示するディスプレイ４により、当該虚像距離と略同一距離だけ前方に視認される施設「Ｂストア」のマーク画像５２を表示している。さらに表示制御部１１は、これらの中間の虚像距離（２０ｍ）となる虚像を表示するディスプレイ４により、当該虚像と略同一距離だけ前方に視認される交差点に重ねて、進行方向を示す矢印画像５４を表示している。

なお、図５の例では、表示制御部１１は、矢印画像５４のオブジェクト情報Ｉｏを生成する場合、ジェスチャ操作が不可である旨の情報をオブジェクト情報Ｉｏに含めて対象特定部１３に送信する。これにより、対象特定部１３は、指差方向Ｄｔａｇの周辺に矢印画像５４が存在すると判断した場合であっても、指差し動作による選択対象として矢印画像５４を認識しない。一方、対象特定部１３は、指差方向Ｄｔａｇの周辺にマーク画像５１、５２が存在すると判断した場合、後述する２つの閾値Ｌｔｈに基づき、検出したジェスチャ長Ｌｔａｇからいずれが選択されたか判定する。

次に、ディスプレイ４が３つ存在する場合の閾値Ｌｔｈの設定方法について説明する。

対象特定部１３は、ジェスチャ長Ｌｔａｇに関して閾値Ｌｔｈを２つ設定することで、虚像距離が最も長いオブジェクトが選択されたと判定する範囲、虚像距離が２番目に長いオブジェクトが選択されたと判定する範囲、及び虚像距離が最も短いオブジェクトが選択されたと判定する範囲とをそれぞれ設ける。以後では、２つの閾値Ｌｔｈのうち小さい方の閾値Ｌｔｈを「第１閾値Ｌｔｈ１」と呼び、大きい方の閾値Ｌｔｈを「第２閾値Ｌｔｈ２」とも呼ぶ。

図６は、伸ばした手の位置と、各手の位置で選択される虚像との関係を示す図である。図６の例では、ヘッドアップディスプレイシステム２は、虚像距離がそれぞれ異なる虚像Ｉｖ１～Ｉｖ３を、指差方向Ｄｔａｇの周辺に表示している。また、反応範囲Ｒ１～Ｒ３は、第１閾値Ｌｔｈ１及び第２閾値Ｌｔｈ２により分けられたジェスチャ長Ｌｔａｇの範囲を示す。

図６の例では、対象特定部１３は、虚像Ｉｖ１～Ｉｖ３の方向を指差すジェスチャをジェスチャ検出部１２が検出した際に、検出したジェスチャ長Ｌｔａｇが反応範囲Ｒ１に属する場合には、虚像Ｉｖ１に相当するオブジェクトが選択されたと認識する。また、対象特定部１３は、検出したジェスチャ長Ｌｔａｇが反応範囲Ｒ２に属する場合には、虚像Ｉｖ２に相当するオブジェクトが選択されたと認識する。同様に、対象特定部１３は、検出したジェスチャ長Ｌｔａｇが反応範囲Ｒ３に属する場合には、虚像Ｉｖ３に相当するオブジェクトが選択されたと認識する。

このように、虚像距離が異なる３つの虚像が表示された場合であっても、対象特定部１３は、ジェスチャ長Ｌｔａｇに基づき、ユーザがジェスチャにより選択したオブジェクトを的確に認識することができる。なお、ディスプレイ４が４つ以上存在する場合についても、ディスプレイ４の数に応じて閾値Ｌｔｈを設定することで、ユーザがジェスチャにより選択したオブジェクトを的確に認識することができる。

また、好適には、対象特定部１３は、設定した閾値Ｌｔｈを含む近傍範囲にジェスチャ長Ｌｔａｇが属する場合には、ジェスチャ長Ｌｔａｇと閾値Ｌｔｈとの大小関係に関わらず、オブジェクトを選択する操作がなされていないと見なしてもよい。

図７は、図６に示した反応範囲Ｒ１～Ｒ３の間に、オブジェクトを選択する操作がなされていないと見なす非反応範囲ＮＲ１、ＮＲ２を設けた場合の各範囲とジェスチャ長Ｌｔａｇとの関係を示す。

図７の例では、対象特定部１３は、非反応範囲ＮＲ１を、第１閾値Ｌｔｈ１の前後の所定距離以内の近傍範囲に設定し、非反応範囲ＮＲ２を、第２閾値Ｌｔｈ２の前後の所定距離以内の近傍範囲に設定している。そして、対象特定部１３は、ジェスチャ長Ｌｔａｇが非反応範囲ＮＲ１、ＮＲ２のいずれかに属する場合には、指差し動作が無効であるとみなす。

このように、ジェスチャ検出部１２は、非反応範囲ＮＲ１、ＮＲ２を設けることで、オブジェクトを選択する操作の誤認識を好適に抑制することができる。なお、図７の例では、ディスプレイ４が３つ存在する場合について述べたが、ディスプレイ４が２つの場合、又は、ディスプレイ４が４つ以上の場合においても同様に、非反応範囲を設けてもよい。この場合であっても、対象特定部１３は、各閾値Ｌｔｈの近傍範囲をオブジェクトの選択操作を受け付けない範囲に設定することで、オブジェクトの選択操作の誤認識を好適に抑制することができる。

また、対象特定部１３は、第１閾値Ｌｔｈ１及び第２閾値Ｌｔｈ２を、虚像Ｉｖ１～Ｉｖ３の虚像距離に応じて設定してもよく、虚像Ｉｖ１～Ｉｖ３の虚像距離によらずに設定してもよい。

図８は、運転者の視線方向における虚像Ｉｖ１～Ｉｖ３の位置と、反応範囲Ｒ１～Ｒ３及び非反応範囲ＮＲ１、ＮＲ２との関係を示す。具体的には、図８（Ａ）は、運転者の視線方向における虚像Ｉｖ１～Ｉｖ３の位置関係を示し、図８（Ｂ）は、虚像Ｉｖ１～Ｉｖ３の虚像距離に応じて第１閾値Ｌｔｈ１及び第２閾値Ｌｔｈ２を設定した場合の反応範囲Ｒ１～Ｒ３及び非反応範囲ＮＲ１、ＮＲ２を示し、図８（Ｃ）は、虚像Ｉｖ１～Ｉｖ３の虚像距離によらずに第１閾値Ｌｔｈ１及び第２閾値Ｌｔｈ２を設定した場合の反応範囲Ｒ１～Ｒ３及び非反応範囲ＮＲ１、ＮＲ２を示す。図８（Ｂ）、（Ｃ）の例では、いずれも、反応範囲Ｒ１～Ｒ３は、等しい長さに設定されている。

図８（Ｂ）の例では、反応範囲Ｒ１の中央値と反応範囲Ｒ２の中央値との差（矢印Ｂ１参照）と、反応範囲Ｒ２の中央値と反応範囲Ｒ３の中央値との差（矢印Ｂ２参照）との比は、虚像Ｉｖ１と虚像Ｉｖ２との虚像距離の差（矢印Ａ１参照）と、虚像Ｉｖ２と虚像Ｉｖ３との虚像距離の差（矢印Ａ２参照）との比と等しい。この場合、第１閾値Ｌｔｈ１は、反応範囲Ｒ１の中央値と反応範囲Ｒ２の中央値との平均値に設定され、第２閾値Ｌｔｈ２は、反応範囲Ｒ２の中央値と反応範囲Ｒ３の中央値との平均値に設定される。また、非反応範囲ＮＲ１は、第１閾値Ｌｔｈ１を中心とした範囲に設定され、非反応範囲ＮＲ２は、第２閾値Ｌｔｈ２を中心とした範囲に設定されている。

一方、図８（Ｃ）の例では、反応範囲Ｒ１の中央値と反応範囲Ｒ２の中央値との差（矢印Ｃ１参照）と、反応範囲Ｒ２の中央値と反応範囲Ｒ３の中央値との差（矢印Ｃ２参照）とは等しい。即ち、この場合、虚像Ｉｖ１～虚像Ｉｖ３の虚像距離によらずに、反応範囲Ｒ１～Ｒ３は等間隔に設定されている。また、図８（Ｂ）の例と同様、第１閾値Ｌｔｈ１は、反応範囲Ｒ１の中央値と反応範囲Ｒ２の中央値との平均値に設定され、第２閾値Ｌｔｈ２は、反応範囲Ｒ２の中央値と反応範囲Ｒ３の中央値との平均値に設定される。また、非反応範囲ＮＲ１は、第１閾値Ｌｔｈ１を中心とした範囲に設定され、非反応範囲ＮＲ２は、第２閾値Ｌｔｈ２を中心とした範囲に設定されている。

（変形例２）
本発明に係る虚像表示装置を適用可能なヘッドアップディスプレイシステムの構成は、複数の虚像のそれぞれを同時に複数の虚像距離により表示するものであればよく、図１に示す構成に限定されない。例えば、ヘッドアップディスプレイは、フロントウィンドウ２５に代えて、運転者と車両の前方風景との間に設けられたコンバイナにディスプレイ４の光を反射させることで、運転者に虚像を視認させてもよい。

また、本発明に係る虚像表示装置は、複数の虚像のそれぞれを同時に複数の虚像距離で表示するヘッドマウントディスプレイにも好適に適用される。この場合、例えば、ヘッドマウントディスプレイのテンプル又はブリッジ部分等には、ユーザのジェスチャを撮影範囲に有する車室内撮影カメラ６が設けられる。

２ ヘッドアップディスプレイシステム
４ ディスプレイ
６ 車室内撮影カメラ
８ 凹面鏡
１０ 制御部
１１ 表示制御部
１２ ジェスチャ検出部
１３ 対象特定部
２５ フロントウィンドウ
２８ ボンネット
２９ ダッシュボード

Claims (6)

1. 車両に搭載される虚像表示装置であって、
   第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御手段と、
   前記車両の座席に座して前記虚像を視認する観察者が手を伸ばした方向、及び、前記手を伸ばした距離に相当するジェスチャ長を検出する検出手段と、
   前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接していない場合には、前記手を伸ばした方向に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定し、
   前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接している場合には、前記手を伸ばした方向、及び、前記ジェスチャ長に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定手段と、
   を備えることを特徴とする虚像表示装置。
2. 前記表示制御手段は、前記車両の周辺の第１対象物に対応する前記第１オブジェクトを、前記車両と前記第1対象物の間の距離に応じて設定された前記第１距離に視認させ、且つ、前記車両の周辺の第２対象物に対応する前記第２オブジェクトを、前記車両と前記第２対象物の間の距離に応じて設定された前記第２距離に視認させるように前記表示手段に表示させることを特徴とする請求項１に記載の虚像表示装置。
3. 前記特定手段により前記観察者が選択したオブジェクトが特定された後に、前記観察者が前記手を伸ばした方向とは異なる方向に前記手を払うジェスチャを認識した際に、前記選択されたオブジェクトに関連する処理を実行する実行手段をさらに備えることを特徴とする請求項１または２に記載の虚像表示装置。
4. 車両に搭載される虚像表示装置が実行する制御方法であって、
   第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御工程と、
   前記車両の座席に座して前記虚像を視認する観察者が手を伸ばした方向、及び、前記手を伸ばした距離に相当するジェスチャ長を検出する検出工程と、
   前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接していない場合には、前記手を伸ばした方向に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定し、
   前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接している場合には、前記手を伸ばした方向、及び、前記ジェスチャ長に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定工程と、
   を有することを特徴とする制御方法。
5. 車両に搭載されるコンピュータが実行するプログラムであって、
   第１距離に視認させる第１オブジェクトと、前記第１距離より遠い第２距離に視認させる第２オブジェクトとを、虚像として同時に表示手段に表示させる表示制御手段と、
   前記車両の座席に座して前記虚像を視認する観察者が手を伸ばした方向、及び、前記手を伸ばした距離に相当するジェスチャ長を検出する検出手段と、
   前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接していない場合には、前記手を伸ばした方向に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定し、
   前記第１オブジェクトが表示される方向と、前記第２オブジェクトが表示される方向とが近接している場合には、前記手を伸ばした方向、及び、前記ジェスチャ長に基づいて前記第１オブジェクトまたは前記第２オブジェクトのいずれかを、前記観察者が選択したオブジェクトとして特定する特定手段
   として前記コンピュータを機能させるプログラム。
6. 請求項５に記載のプログラムを記憶した記憶媒体。

Images