JP7655202B2 - 画像表示装置 - Google Patents

Description

本明細書は、車両の乗員である利用者の視野に、対象画像を重畳表示する画像表示装置を開示する。

従来から、利用者の視野に、所定の画像を重畳表示し、これにより、当該画像が表わす仮想的なオブジェクトが現実に存在しているように、利用者に認識させる技術が知られている。例えば、特許文献１には、運転手が、眼鏡型の表示器であるスマートグラスを装着し、このスマートグラスに、運転手が乗車する車両を先導する先行車両を表した画像を表示する技術が開示されている。特許文献１において、画像で表現された先行車両は、運転手が乗車している車両を目的地に導くように動く。そのため、運転手は、先行車両に追従するように運転操作を行うことで、目的地に移動できる。

特開２０１７－１２９４０６号公報

仮想的なオブジェクトが現実に存在しているかのように認識させるためには、表示器に表示される画像（以下「対象画像」と呼ぶ）の表示位置を、対象画像が表わす仮想的なオブジェクトの実空間での位置、および、表示器の実空間での位置、に基づいて決定する必要がある。

特許文献１には、表示器の実空間での位置を特定するために、カメラで得られた画像を基にフロントウィンドウの形状を検知して、これらをマーカとすることが示されている。そして、カメラで、マーカを含む風景を撮像し、得られた画像に基づいて、表示器の現実空間での位置を特定している。

ここで、マーカは、カメラで得られた画像の中で、認識しやすいものにしたいという要求がある。しかし、画像認識しやすくてもマーカに適さないものも存在する。

本明細書で開示する画像表示装置は、車両の乗員である利用者の頭部に装着され、前記利用者の視野に対象画像を重畳表示する表示器と、前記表示器に対して固定され、前記表示器の周囲を写したスラム用画像を取得するスラム用カメラと、得られた前記スラム用画像について画像認識処理を行い、特徴的な形状を特徴部分として抽出する抽出手段と、記憶されているステアリングホイールの形状についての情報を利用して、抽出された前記特徴部分がステアリングホイールに属する否かを判定する判定手段と、抽出された前記特徴部分がステアリングホイールに属する場合に、当該特徴部分を除外する除外手段と、ステアリングホイールに属さない特徴部分についてＡＲマーカとして登録する登録手段と、登録されている前記ＡＲマーカを用いて、前記対象画像の表示位置を決定する表示位置決定手段と、を備える。

前記ステアリングホイールの間から見える前記ステアリングホイールの奥側の物体は前記特徴部分の抽出対象とする。

本明細書で開示する技術によれば、対象画像の表示位置をより適切に決定できる。

画像表示装置の構成を示すブロック図である。 利用者がウェアラブルデバイスを装着した状態を示す図である。 利用者である運転手の視界を模式的に示した図である。 空間固定表示とデバイス固定表示とを説明するイメージ図である。 対象画像が表示されている際の利用者の視界を模式的に示した図である。 デバイスコントローラにおける、内装部品の形状をＡＲマーカとして取り込む処理を示すフローチャートである。 ステアリングホイールを除外する際のエリア特定を説明する図である。 運転中における対象画像の表示の処理を示すフローチャートである。

以下、図面を参照して、画像表示装置の構成について説明する。説明においては、理解を容易にするため、具体的な態様について示すが、これらは一例であり、適宜、変更可能である。図１は、画像表示装置１０の構成を示すブロック図である。本実施形態では、画像表示装置１０は、ウェアラブルデバイス１２によって構成される。

ウェアラブルデバイス１２は、車両の乗員（例えば運転手）が、その頭部に装着するデバイスであり、例えば、眼鏡あるいはゴーグル型のデバイスである。そして、ウェアラブルデバイス１２は、画像表示装置１０として機能するために、表示器１４、スラム用カメラ１６、瞳孔位置センサ１８、および、デバイスコントローラ２０を有する。

このウェアラブルデバイス１２について図２を参照して説明する。図２は、車両の乗員である利用者１００がウェアラブルデバイス１２を装着した状態を示す図である。ウェアラブルデバイス１２は、眼鏡の形状に形成されたデバイスであり、スマートグラスあるいはＡＲグラスと呼ばれる。ウェアラブルデバイス１２は、耳に掛けるための直線状のフレームであるテンプル２６と、目の周囲を囲むとともに鼻に掛けられる形状に形成されたフレームであるリム２４と、を備える。

表示器１４は、ウェアラブルデバイス１２を装着している利用者１００の視野に画像を表示する。本例において、表示器１４は、リム２４の内側に配された表示エリア２２を有する有機ＥＬディスプレイまたは液晶ディスプレイであり、この表示エリア２２の一部または全部に画像を映し出す。表示エリア２２は、高い透明性を有している。そのため、表示エリア２２に画像が表示されていない場合、利用者１００（すなわち乗員）は、表示エリア２２越しに前方の風景を視認できる。また、表示エリア２２の一部にのみ画像が表示されている場合、利用者１００は、前方の視界の風景と、表示された画像と、を同時に見ることができる。この場合、画像は、不透明でもよいし、半透明でもよい。なお、以下の説明では、表示器１４に表示される画像を、その他の画像と区別するために、「対象画像」と呼ぶ。また、対象画像が仮想的に表すオブジェクトを「対象オブジェクト」と呼ぶ。

スラム用カメラ１６は、表示器１４に対して固定されたカメラであり、表示器１４の周囲を撮像するカメラである。スラム用カメラ１６は、例えば、テンプル２６の前端近傍において、前向きに固定されており、利用者１００の視野と類似した範囲を撮像する。以下では、このスラム用カメラ１６で撮像された画像を「スラム用画像」と呼ぶ。後述するデバイスコントローラ２０は、スラム用画像に写り込んだＡＲマーカに基づいて、表示器１４の実空間での位置および姿勢を特定するが、これについては、後述する。

瞳孔位置センサ１８は、利用者１００の右目と左目の瞳孔の位置を検知するセンサであり、例えば、リム２４の中心付近に固定される。この瞳孔位置センサ１８は、例えば、カメラ等を利用して形成することができる。

デバイスコントローラ２０は、ウェアラブルデバイス１２の駆動を制御する。デバイスコントローラ２０は、スラム用カメラ１６および瞳孔位置センサ１８で取得された画像および位置情報を取得し、これら情報を処理して、表示器１４に対象画像を表示させる。

デバイスコントローラ２０は、物理的には、プロセッサ２０ａとメモリ２０ｂと通信Ｉ／Ｆ２０ｃとを有したコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサ２０ａとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

メモリ２０ｂは、コンピュータが処理するために必要なデジタルデータを保持する。このメモリ２０ｂは、メモリバスを介してプロセッサ２０ａに接続されたメインメモリ、および、入出力チャネルを介してプロセッサ２０ａがアクセスする二次記憶装置の少なくとも一つを含む。かかるメモリ２０ｂは、半導体メモリ（例えばＲＡＭ、ＲＯＭ、ソリッドステートドライブ等）で構成することができる。

通信Ｉ／Ｆ２０ｃは、無線により、他の電子機器、具体的には、車載システム２８に接続されるとともに、インターネットなどを介し、各種のサイトに接続することが可能である。特に、車両情報を提供する情報センタ３０と通信することが可能になっている。また、例えば、通信Ｉ／Ｆ２０ｃは、車載システム２８と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、赤外線通信などの近距離無線通信でデータを送受してもよい。

こうしたデバイスコントローラ２０の機能は、車載システム２８のコンピュータや、情報センタ３０のコンピュータや、別の可搬型コンピュータ（例えばスマートフォン等）の外部システムによって実現されてもよい。この場合、デバイスコントローラ２０は、スラム用カメラ１６、瞳孔位置センサ１８からの情報を車載システム２８など外部システムに送り、処理結果としての画像データを受け取り、表示器１４に表示する。また、これらの処理の一部を外部システムにおいて実行することもできる。

また、車載システム２８は、車両に搭載されたシステムであり、車載の各種機器を制御する。ここで、車載システム２８は、図３に示すように、インパネに設けられるメータディスプレイ４０ａと、センターコンソールに設けられるマルチディスプレイ４０ｂと、フロントグラスの上部の内側に設けられる電子インナーミラー４０ｃと、を内装部品として含んでいる。そして、本実施形態では、これらの内装部品をＡＲマーカ６０として利用する。

図３は、利用者１００である運転手の視界を模式的に示した図である。メータディスプレイ４０ａは、車速や燃費等、車両の状態に関する情報を表示するディスプレイである。このメータディスプレイ４０ａは、図３に示すように、運転手からみてステアリングホイール５６の奥側に配置されており、運転手は、ステアリングホイール５６越しにメータディスプレイ４０ａの表示エリアを視認できる。

マルチディスプレイ４０ｂは、車載電子機器（例えばナビゲーション装置や、オーディオ装置）に関する情報を表示するディスプレイである。このマルチディスプレイ４０ｂは、図３に示すように、インストルメントパネルの車幅方向中央、すなわち、一般に、センターコンソールと呼ばれる箇所に配置されている。

電子インナーミラー４０ｃは、バックカメラ（図示せず）で撮像された車両の後方の画像を映し出すディスプレイである。この電子インナーミラー４０ｃは、光学的な反射により車両の後方を映す後写鏡（ルームミラー）の代わりに用いられる。電子インナーミラー４０ｃは、画像を映し出すデジタルモードと、光学的な反射で後方を写すミラーモードと、に切り替えできるものでもよい。電子インナーミラー４０ｃは、図３に示すように、一般的な後写鏡と同等の位置、すなわち、ウィンドウシールドガラスの上端近傍に配置される。なお、電子インナーミラーに代えて、一般的なルームミラーを用いてもよい。

デバイスコントローラ２０は、上述した通り、表示器１４に表示させる対象画像のデータを生成する。ここで、表示器１４における対象画像の表示形態には、「デバイス固定表示」と「空間固定表示」を採用することが可能であるが、本実施形態では「空間固定表示」が採用される。この空間固定表示は、所定のオブジェクトを表す対象画像を、実空間に存在するかのように表示する表示形態である。

例えば、図４に示すように、利用者１００が、表示器１４の表示エリア２２を通じて、テーブル８０が実在している実空間を見ている場合を考える。このとき、図４の状態Ｓ１に示すように、表示エリア２２に「球」を表す対象画像５０を表示すると、当然ながら、利用者１００の視野には、テーブル８０を含む実空間と、「球」の対象画像５０と、が同時に映る。

デバイス固定表示の場合、対象画像５０が示す対象オブジェクト７２（図４の例の場合「球」）の表示位置を、実空間とは無関係に決定する。したがって、デバイス固定表示では、図４の状態Ｓ２に示すように、利用者１００の視点が移動したとしても、表示エリア２２内における対象画像５０の表示位置やサイズ、形状を変化させない。

一方、空間固定表示では、対象画像５０が示す対象オブジェクト７２（図４の例の場合「球」）が実空間のどこに位置しているかを特定し、特定された位置に実在するかのように対象画像５０を表示する。例えば、空間固定表示において、「球」の対象オブジェクト７２が実空間のテーブル８０の上に位置していると仮定した場合を考える。この場合、状態Ｓ３に示すように、利用者１００の視点が移動しても、「球」がテーブル８０の上に位置するように見えるように、表示エリア２２内における「球」の表示エリア２２での表示位置やサイズ、形状を変化させる。

このように、空間固定表示で対象画像５０を表示することで、利用者１００は、対象画像５０が示す対象オブジェクト７２が現実に存在するかのように錯覚する。換言すれば、空間固定表示で対象画像５０を表示することで、現実環境に情報を付加・削除・強調・減衰させることができ、人間から見た現実世界を拡張できる。こうした技術は、一般に、「拡張現実」または「ＡＲ」と呼ばれる。

次に、本例における対象画像５０の表示の一例を説明する。図５は、対象画像５０ａ，５０ｂが表示されている際の利用者１００（本例の場合は運転手）の視野を模式的に示した図である。図５の例では、車両の進行方向を示す対象画像５０ａと、運転手への注意喚起メッセージを示す対象画像５０ｂと、が空間固定表示されている。こうした対象画像５０ａ，５０ｂは、当該画像が示す対象オブジェクトが現実に存在する場合と同様の位置およびサイズで、表示器１４に表示される。例えば、対象画像５０ａは、現実に存在する車両の前方の路面に、対象画像５０ａで表現された矢印状のオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。また、対象画像５０ｂは、現実に存在するステアリングホイール５６の右上に、対象画像５０ｂで表現されたテキストオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。したがって、利用者１００の視線が移動すれば、これら対象画像５０ａ，５０ｂの表示エリア２２内での表示位置およびサイズも変化する。

このように空間固定表示の場合、実在の物体の配置を考慮して対象画像５０を表示できるため、対象画像５０が運転操作の邪魔になることを確実に防止できる。また、空間固定表示の場合、実在の物体（例えば歩行者等）と相関性のある位置に対象画像５０を表示できるため、当該物体に利用者１００の注意を効果的に向けさせることができる。

ところで、空間固定表示を行うためには、表示器１４に対する瞳孔の位置、および、実空間における表示器１４の位置および姿勢を正確に検知する必要がある。デバイスコントローラ２０は、対象オブジェクトの実空間で位置および姿勢と、実空間における表示器１４の位置および姿勢と、表示器１４に対する瞳孔の位置と、に基づいて、対象画像５０の表示エリア２２内での位置等を決定する。このうち、表示器１４に対する瞳孔の位置は、上述した通り、瞳孔位置センサ１８で検知される。

実空間における表示器１４の位置および姿勢は、デバイスコントローラ２０が、スラム用カメラ１６で得られたスラム用画像に基づいてビジュアルスラム（Visual Simultaneous Localization and Mapping）を行うことで算出される。ビジュアルスラムは、カメラで撮影された映像から環境の三次元情報とカメラの位置姿勢を同時に推定する技術である。このビジュアルスラムを行うために、車内の複数の内装部品の特徴的な形状をＡＲマーカ６０として認識する（図３参照）。デバイスコントローラ２０は、スラム用カメラ１６で撮像されたスラム用画像から、複数のＡＲマーカ６０を抽出し、これらのスラム画像中での位置関係などから、表示器１４の実空間での位置および姿勢を算出することができる。また、１つのＡＲマーカ６０のスラム用画像内での座標やサイズ、歪み等に基づいて、表示器１４の実空間での位置および姿勢を算出することもできる。

このビジュアルスラムを行うために、車内には、ＡＲマーカ６０（図３参照）が存在する。本実施形態では、内装部品の形状から画像認識でＡＲマーカ６０を特定する。ＡＲマーカ６０は、初期設定により形状、大きさ、設置位置が予め登録されている。従って、デバイスコントローラ２０は、スラム用カメラ１６で撮像されたスラム用画像から、ＡＲマーカ６０の像を抽出する。そして、このＡＲマーカ６０の像のスラム用画像内での座標やサイズ、歪み等に基づいて、表示器１４の実空間での位置および姿勢を算出することができる。また、複数のＡＲマーカ６０について画像認識し、複数のＡＲマーカ６０の設置位置を参照することで、表示器１４の位置、姿勢の算出を容易に行うことができる。なお、ＡＲマーカ６０として、内装部品ではなく、予め決定された形状、大きさであって、車内の予め決定された位置に設置されるマーカを用いることもできる。さらに、これらタイプの異なるＡＲマーカを合わせて用いることもできる。

＜ＡＲマーカの登録＞
車両の内装部品をＡＲマーカ６０とする場合は、初期設定としてＡＲマーカの登録を行う。図６は、デバイスコントローラ２０における、内装部品の形状をＡＲマーカ６０として取り込む処理を示すフローチャートである。

まず、ウェアラブルデバイス１２を車内に持ち込み、例えば運転席において利用者が頭にウェアラブルデバイス１２を装着して、電源をオンとしてＡＲマーカ登録モードに設定する。ＡＲマーカ―登録モードに設定するために、ウェアラブルデバイス１２に操作ボタンなどがあってもよいし、スマートホンなどの端末から操作できるようにしてもよい。ＡＲマーカ登録モードに設定されることで、デバイスコントローラ２０において、ＡＲマーカ認識プログラムが実行される。

ＡＲマーカ登録モードでは、まずスラム用カメラ１６の画像を取り込む（Ｓ１１）。この画像は運転席の運転手が見る画像と同等である。この際に、利用者に運転席で前方を見た位置で静止した後、頭を動かしてもらい、異なる位置からの画像や動画を取得するとよい。

取り込んだ画像から、特徴部分を検出するエリアを限定する（Ｓ１２）。例えば、ＡＲマーカ６０として利用する候補が予めわかっている場合には、その候補が存在する位置を含む認識エリア７０に限定する（図３参照）。この例では、電子インナーミラー４０ｃが存在する中央上部と、メータディスプレイ４０ａ、マルチディスプレイ４０ｂなどが含まれるインパネエリアなどに限定する。また、先に認識して登録されているＡＲマーカ６０がある場合、そのデータを利用して対象エリアを限定するとよい。なお、このような限定は行わず、取得した画像全部を特徴認識の対象としてもよい。

次に、対象となる画像について、画像認識処理を行い、特徴的な形状、すなわち特徴部分を検出する（Ｓ１３）。これは、エッジ検出などにより、輪郭部分を検出して形状を抽出することなどにより行うとよい。なお、ディスプレイのフレームなどが対象であれば、それに近い形状に限定して認識してもよい。さらに、先に登録されているＡＲマーカ―の情報を利用して特徴部分を認識してもよい。

上述のように、ウェアラブルデバイス１２が動いて画像を取得している場合には、検出した特徴部分の動きを検出したり、ウェアラブルデバイス１２の位置の異なる２画像を比較して特徴部分までの距離を算出するなどしたりすることで、車外の特徴部分を除外するとよい。

そして、特徴部分を1つ取り出し（Ｓ１４）、ステアリングホイール５６に属するか否かを判定する（Ｓ１５）。ステアリングホイール５６は、基本的に円形リング形状であり、他と異なる特徴を有しており、容易に判定できる。なお、ステアリングホイール５６の形状に関する情報を記憶しておき、これを利用してもよい。

そして、ステアリングホイール５６の属さない特徴部分についてＡＲマーカとして登録する（Ｓ１６）。

一方、Ｓ１５において、対象となる特徴部分がステアリングホイール５６に属するものの場合には、Ｓ１５をスキップして、特徴部分の取り出しが終了したかを判定する（Ｓ１７）が、特徴部分小取り出しが終了しておらず特徴部分が残っている場合には、Ｓ１４に戻り、次の特徴部分についての処理を行い、これを特徴部分がなくなるまで行う。

図７は、ステアリングホイール５６を除外する際のエリア特定を説明する図である。図において斜線のハッチングをしたエリアがステアリングホイール５６の属するとして除外される除外エリアである。このように、ステアリングホイール５６の上半分の奥が見える部分を対象エリアに含める。これによって、ステアリングホイール５６の奥側に位置するメータディスプレイ４０ａが抽出対象となり、ＡＲマーカ６０として登録することが可能となる。

このように、デバイスコントローラ２０が、ステアリングホイールを特徴部分から除外する除外手段、特徴部分を抽出する抽出手段、対象画像５０の表示位置を決定する表示位置決定手段として機能する。

＜対象画像の表示＞
図８は、運転中における対象画像の表示の処理を示すフローチャートである。

まず、スラム用カメラ１６の画像を取り込む（Ｓ２１）。登録されているＡＲマーカ６０の情報を利用して、画像中からＡＲマーカ６０を検出する（Ｓ２２）。そして、認識されたＡＲマーカ６０の位置情報を利用して、対象画像５０の表示位置を決定し（Ｓ２３）、決定された位置に対象画像５０を表示する（Ｓ２４）。

このようにして、本実施形態によれば、ＡＲマーカ６０として登録される内装部品からステアリングホイール５６が除外される。

ステアリングホイール５６は動く、または手で隠れるため、これを除外することで、ＡＲマーカ６０を認識する際の処理の負担が小さくなり、またＡＲマーカ６０が認識できないという可能性を低減することができる。

１０ 画像表示装置、１２ ウェアラブルデバイス、１４ 表示器、１６ スラム用カメラ、１８ 瞳孔位置センサ、２０ デバイスコントローラ、２０ａ プロセッサ、２０ｂ メモリ、２０ｃ 通信Ｉ／Ｆ、２２ 表示エリア、２４ リム、２６ テンプル、２８ 車載システム、３０ 情報センタ、４０ａ メータディスプレイ、４０ｂ マルチディスプレイ、４０ｃ 電子インナーミラー、５０ 対象画像、５６ ステアリングホイール、６０ ＡＲマーカ、７０ 認識エリア、７２ 対象オブジェクト、８０ テーブル、１００ 利用者。

Claims (2)

1. 車両の乗員である利用者の頭部に装着され、前記利用者の視野に対象画像を重畳表示する表示器と、
   前記表示器に対して固定され、前記表示器の周囲を写したスラム用画像を取得するスラム用カメラと、
   得られた前記スラム用画像について画像認識処理を行い、特徴的な形状を特徴部分として抽出する抽出手段と、
   抽出された前記特徴部分がステアリングホイールに属する否かを判定する判定手段と、
   抽出された前記特徴部分がステアリングホイールに属する場合に、当該特徴部分を除外する除外手段と、
   ステアリングホイールに属さない特徴部分についてＡＲマーカとして登録する登録手段と、
   登録されている前記ＡＲマーカを用いて、前記対象画像の表示位置を決定する表示位置決定手段と、
   を備える画像表示装置。
2. 請求項１に記載の画像表示装置であって、
   前記ステアリングホイールの間から見える前記ステアリングホイールの奥側の物体は前記特徴部分の抽出対象とする、
   画像表示装置。