JP2016109760A - 表示装置および表示方法 - Google Patents

Abstract

【課題】サンバイザ等の遮蔽物で顔が覆われたユーザの視線を他者に判別させること。【解決手段】表示装置１０は、目の部分がサンバイザにより外部から覆われているユーザの顔の画像をサンバイザの内側から撮影し、撮影された顔の画像からユーザの目の部分を検出し、検出された目の部分に関する画像を外部から視認可能なサンバイザの表面に投影する。例えば、表示装置１０は、目の部分に関する画像として、目の部分のリアルタイムな画像やアニメーション画像を投影する。【選択図】 図１

Description

本発明は、表示装置および表示方法に関する。

従来、外出時の美容対策や太陽光の直射防止のために、紫外線を遮るサンバイザが利用されている。また、例えば、顔に当たる紫外線を最小限にするために、顔の大部分の覆う遮光サンバイザが知られている（例えば、非特許文献１参照）。

特開２００７−３６４８２号公報

可動式バイザー、［online］、［平成２６年１１月２６日検索］、インターネット＜http://item.rakuten.co.jp/missa-more/841518/＞

しかしながら、上記した従来のサンバイザでは、利用者の目が隠れてしまい、利用者の視線が他者には分からないという課題があった。このため、利用者の顔から利用者の動きを予測することができず、例えば、自転車を運転している場合等は安全な通行が行えない場合があった。なお、所定の投影画像を表示するプロジェクタの技術は知られているが（例えば、特許文献１参照）、利用者の視線等をサンバイザ等に表示するものではない。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、サンバイザ等の遮蔽物で顔が覆われたユーザの視線が他者に判別できることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示装置は、目の部分が遮蔽物により外部から覆われているユーザの顔の画像を前記遮蔽物の内側から撮影する撮影部と、前記撮影部によって撮影された顔の画像からユーザの目の部分を検出する検出部と、前記検出部によって検出された目の部分に関する画像を外部から視認可能な投影面に投影する投影部と、を備えたことを特徴とする。

また、本発明に係る表示方法は、表示装置で実行される表示方法であって、目の部分が遮蔽物により外部から覆われているユーザの顔の画像を前記遮蔽物の内側から撮影する撮影工程と、前記撮影工程によって撮影された顔の画像からユーザの目の部分を検出する検出工程と、前記検出工程によって検出された目の部分に関する画像を外部から視認可能な投影面に投影する投影工程と、を含んだことを特徴とする。

開示の表示装置および表示方法によれば、サンバイザ等の遮蔽物で顔が覆われたユーザの視線を他者に判別させることを可能にする。

図１は、実施例１に係る表示装置の構成の一例を説明するための図である。 図２は、サンバイザに目の映像をそのまま投影する処理を説明するための図である。 図３は、サンバイザに投影される映像の例を示す図である。 図４は、実施例１に係る表示装置の処理手順を説明するためのフローチャートである。 図５は、実施例２に係る表示装置の構成の一例を説明するための図である。 図６は、撮影した目の映像からアニメーション画像を決定する処理を説明する図である。 図７は、サンバイザにアニメ化した目の映像を投影する処理を説明する図である。 図８は、サンバイザに投影される映像の例を示す図である。 図９は、実施例２に係る表示装置の処理手順を説明するためのフローチャートである。 図１０は、自転車の前面にアニメ化した目の映像を投影する処理を説明する図である。 図１１は、本実施例に係る表示プログラムを実行するコンピュータを示す図である。

以下に添付図面を参照して、この発明に係る表示装置および表示方法の実施例を詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

［実施例１に係る表示装置の構成］
まず、図１を用いて、表示装置１０の構成を説明する。図１は、実施例１に係る表示装置の構成の一例を説明するための図である。図１に示すように、この表示装置１０は入力部１１、撮影部１２、制御部１３、記憶部１４および投影部１５を有する。以下にこれらの各部の処理を説明する。なお、ここで説明する構成はあくまで一例であり、他のさまざまな形態でも実施が可能である。

入力部１１は、各種設定の変更などを入力するものであり、ボタンやタッチパネルなどを備えて構成される。例えば、投影される映像の濃淡や明るさ等の設定変更の入力を行うものである。

記憶部１４は、制御部１３による各種処理に要するデータや、制御部１３による各種処理結果を記憶するものであり、画像情報記憶部１４ａを有する。また、記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。

画像情報記憶部１４ａは、後述する撮影部１２によって撮影された画像の情報を記憶するとともに、後述する抽出部１３ｂによって抽出された画像の情報を記憶する。具体的には、画像情報記憶部１４ａは、撮影部１２によって撮影された目の部分が遮蔽物（例えば、サンバイザやヘルメット等）により外部から覆われているユーザの顔の画像を記憶するとともに、抽出部１３ｂによって抽出された目の部分の画像を記憶する。

撮影部１２は、目の部分が遮蔽物により外部から覆われているユーザの顔の画像を遮蔽物の内側から撮影するものであり、カメラやビデオなどを備えて構成される。例えば、撮影部１２は、目の部分がサンバイザにより外部から覆われているユーザの顔の動画や静止画を撮影する。ここで、図２に例示するように、撮影部１２は、サンバイザ２０に隠されたユーザの顔を撮影するために、サンバイザ２０の内側からユーザの顔の画像を撮影する。そして、撮影部１２は、撮影した画像を画像情報記憶部１４ａに随時格納する。なお、本発明は、撮影対象のユーザがサンバイザで顔を覆っている場合に限定されるものではなく、例えば、ヘルメットやサングラス等で顔が覆われている場合に適用してもよい。

制御部１３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、検出部１３ａおよび抽出部１３ｂを有する。

検出部１３ａは、撮影部１２によって撮影された顔の画像から目の部分を検出する。具体的には、検出部１３ａは、所定の時間間隔で、ユーザの顔の画像を画像情報記憶部１４ａから順次読み出し、読み出した顔の画像から予め設定された目の特徴点を識別し、ユーザの目の部分を含む画像の領域を検出する。

抽出部１３ｂは、検出部１３ａによって検出された目の部分の画像を顔の画像から抽出する。例えば、抽出部１３ｂは、検出部１３ａによって検出された目の部分を含む所定の領域の画像を顔の画像から抽出し、抽出した画像を画像情報記憶部１４ａに格納する。

投影部１５は、検出部１３ａによって検出された目の部分に関する画像を外部から視認可能な投影面に投影するものであり、プロジェクタなどを備えて構成される。具体的には、投影部１５は、抽出部１３ｂによって抽出された目の部分の画像を画像情報記憶部１４ａから読み出し、該目の部分の画像を目の部分に関する画像として投影する。例えば、図２の例を用いて説明すると、投影部１５は、撮影部１２に撮影された目の部分の画像をサンバイザ２０の表面に投影する。なお、図２の例では、投影部１５がサンバイザ２０の下方から投影しているが、これに限定されるものではなく、例えば、サンバイザ２０の上方や横から投影してもよい。

ここで、図３の例を用いてサンバイザ２０に投影される映像の例について説明する。図３は、サンバイザに投影される映像の例を示す図である。図３に例示するように、投影部１５は、サンバイザ２０の表面に対して、撮影部１２に撮影された目の部分のリアルタイムな画像をそのまま投影する。これにより、サンバイザ２０を利用しているユーザの周りにいる他の通行人は、サンバイザ２０でユーザの目が覆われている場合であっても、ユーザの視線がどこを向いているのかを把握することが可能である。

［表示装置による処理］
次に、図４を用いて、実施例１に係る表示装置１０による処理を説明する。図４は、実施例１に係る表示装置の処理動作を示すフローチャートである。

図４に示すように、表示装置１０の撮影部１２は、電源オンの指示を受け付けると（ステップＳ１０１肯定）、目の部分がサンバイザ２０により外部から覆われているユーザの顔の画像をサンバイザ２０の内側から撮影する（ステップＳ１０２）。

そして、検出部１３ａは、撮影部１２によって撮影された顔の画像からユーザの目の部分を検出する（ステップＳ１０３）。続いて、抽出部１３ｂは、検出部１３ａによって検出された目の部分の映像を顔の画像から抽出する（ステップＳ１０４）。

そして、投影部１５は、目の部分に関する映像を外部から視認可能な投影面に投影する（ステップＳ１０５）。具体的には、投影部１５は、抽出部１３ｂによって抽出された目の部分のリアルタイムな画像をサンバイザ２０の表面に投影する。

[実施例１の効果]
上述してきたように、表示装置１０は、目の部分がサンバイザ２０により外部から覆われているユーザの顔の画像をサンバイザ２０の内側から撮影し、撮影された顔の画像からユーザの目の部分を検出し、検出された目の部分に関する画像を外部から視認可能なサンバイザ２０の表面に投影する。これにより、サンバイザ等の遮蔽物で顔が覆われたユーザの視線が他者に判別できる。このため、サンバイザ等の遮蔽物で顔が隠れているユーザが、自分の目線の情報を、対面する人などに知らせることにより、互いに安全な通行などを実現することが可能である。また、表示装置１０は、サンバイザ２０と切り離されて構成されており、投影部１５の電源を大型にして長時間稼働でき、また、撮影部１２がサンバイザの形状等に依存しないため軽量なものとすることができる。

ところで、上記の実施例１では、ユーザの目の部分のリアルタイムな画像を投影する場合を説明したが、本発明はこれに限定されるものではなく、ユーザの目線の方向に対応するアニメーションを投影するようにしてもよい。

そこで、以下の実施例２では、ユーザの目の部分の画像からユーザの目線の方向を特定し、該目線の方向に対応するアニメーション画像を決定し、決定されたアニメーション画像を目の部分に関する画像として投影する処理を行う場合について説明する。なお、実施例１と同様の構成および処理については説明を省略する。

まず、図５を用いて、実施例２に係る表示装置１０Ａの構成について説明する。図５は、実施例２に係る表示装置の構成の一例を説明するための図である。図５に示すように、実施例２に係る表示装置１０Ａは、実施例１に係る表示装置１０と比較して、決定部１３ｃおよびアニメーション画像記憶部１４ｂを有する点で異なる。

アニメーション画像記憶部１４ｂは、各目線方向に対応するアニメーション画像を記憶する。例えば、アニメーション画像記憶部１４ｂは、各目線方向に対応するアニメーション画像として、正面、上、下、左、右、左斜め上、右斜め上、左斜め下、右斜め下を向いている目のアニメーション画像をそれぞれ記憶する。なお、アニメーション画像記憶部１４ｂは、アニメーションの種類として、例えば、男性用、女性用、年齢別にそれぞれ異なる目のアニメーションを記憶していてもよい。この場合には、ユーザの指定によりアニメーションの種類を設定、変更できるものとする。

決定部１３ｃは、検出部１３ａによって検出された目の部分の画像からユーザの目線の方向を特定し、該目線の方向に対応するアニメーション画像を決定する。具体的には、決定部１３ｃは、目の部分の画像からユーザの目線の方向が、正面、上、下、左、右、左斜上、右斜め上、左斜め下、右斜め下のいずれであるかを特定し、該目線の方向に対応するアニメーション画像を決定する。

ここで、決定部１３ｃは、目線の方向を特定する処理として、例えば、眼球の中心に対する黒目の位置がどこにあるかを検出する。そして、例えば、決定部１３ｃは、眼球の中心付近に黒目がある場合には、目線の方向を正面と特定し、眼球の中心に対して黒目が左にある場合には、目線の方向を左と特定する。

ここで、図６の例を用いて、撮影した目の映像からアニメーション画像を決定する処理を説明する。図６は、撮影した目の映像からアニメーション画像を決定する処理を説明する図である。図６に示すように、例えば、目の部分の画像からユーザの目線の方向が、正面である場合には、目線の方向が正面のアニメーション画像、すなわち眼球の中心付近に黒目があるアニメーション画像を決定する（図６の（Ａ）参照）。

また、例えば、目の部分の画像からユーザの目線の方向が上である場合には、目線の方向が上のアニメーション画像、すなわち眼球の中心に対して黒目が上にあるアニメーション画像を決定する（図６の（Ｂ）参照）。また、例えば、目の部分の画像からユーザの目線の方向が下である場合には、目線の方向が下のアニメーション画像、すなわち眼球の中心に対して黒目が下にあるアニメーション画像を決定する（図６の（Ｃ）参照）。

また、例えば、目の部分の画像からユーザの目線の方向が左である場合には、目線の方向が左のアニメーション画像、すなわち眼球の中心に対して黒目が左にあるアニメーション画像を決定する（図６の（Ｄ）参照）。また、例えば、目の部分の画像からユーザの目線の方向が右である場合には、目線の方向が右のアニメーション画像、すなわち眼球の中心に対して黒目が右にあるアニメーション画像を決定する（図６の（Ｅ）参照）。

そして、投影部１５は、決定部１３ｃによって決定されたアニメーション画像を目の部分に関する画像としてサンバイザ２０の表面に投影する。ここで、図７に例示するように、撮影部１２は、実施例１と同様に、サンバイザ２０に隠されたユーザの顔を撮影するために、サンバイザ２０の内側からユーザの顔の画像を撮影する。そして、投影部１５は、目の部分のアニメーション画像をサンバイザ２０の表面に投影する。

ここで、図８の例を用いて、サンバイザ２０に投影される映像の例について説明する。図８は、サンバイザに投影される映像の例を示す図である。図８に例示するように、投影部１５は、サンバイザ２０の表面に対して、ユーザの目線の方向に対応するアニメーション画像を投影する。これにより、サンバイザ２０を利用しているユーザの周りにいる他の通行人は、サンバイザ２０でユーザの目が覆われている場合であっても、ユーザの視線がどこを向いているのかを把握することが可能である。

次に、図９を用いて、実施例２に係る表示装置１０Ａによる処理を説明する。図９は、実施例２に係る表示装置の処理動作を示すフローチャートである。

図９に示すように、表示装置１０Ａの撮影部１２は、電源オンの指示を受け付けると（ステップＳ２０１肯定）、目の部分がサンバイザ２０により外部から覆われているユーザの顔の画像をサンバイザ２０の内側から撮影する（ステップＳ２０２）。

そして、検出部１３ａは、撮影部１２によって撮影された顔の画像からユーザの目の部分を検出する（ステップＳ２０３）。続いて、決定部１３ｃは、検出部１３ａによって検出された目の部分の画像からユーザの目線の方向を特定し（ステップＳ２０４）、該目線の方向に対応するアニメーション画像を決定する（ステップＳ２０５）。具体的には、決定部１３ｃは、目の部分の画像からユーザの目線の方向が、正面、上、下、左、右、左斜上、右斜め上、左斜め下、右斜め下のいずれであるかを特定し、該目線の方向に対応するアニメーション画像を決定する。

そして、投影部１５は、決定部１３ｃによって決定されたアニメーション画像を目の部分に関する画像としてサンバイザ２０の表面に投影する（ステップＳ２０６）。例えば、投影部１５は、サンバイザ２０の表面に対して、ユーザの目線の方向に対応するアニメーション画像を投影する。

このように、実施例２に係る表示装置１０Ａでは、目の部分の画像からユーザの目線の方向を特定し、該目線の方向に対応するアニメーション画像を決定し、決定されたアニメーション画像を目の部分に関する画像として投影する。このため、サンバイザ等の遮蔽物で顔が覆われたユーザの視線を他者に分かりやすく投影することが可能である。さらに、アニメーションの設定を変更することで、ユーザの好みに合わせた目の部分のアニメーション画像を表示させることが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例３として本発明に含まれる他の実施例を説明する。

［投影面］
上記の実施例１、２では、目の部分に関する画像をサンバイザ２０の表面に投影する場合を説明したが、これに限定されるものではなく、サンバイザ２０を被っているユーザの周りの者が識別できる投影面であればよい。例えば、図１０に例示するように、自転車の前面に投影面を設け、該投影面に目の部分に関する画像を投影するようにしてもよい。

［システム構成］
また、本実施例において説明した各処理の内、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

[プログラム]
上記実施例で説明した表示装置１０は、あらかじめ用意されたプログラムをコンピュータで実行することで実現することもできる。そこで、以下では、図１に示した表示装置１０と同様の機能を実現する表示プログラムを実行するコンピュータの一例を説明する。

図１１は、本実施例に係る表示プログラムを実行するコンピュータ１０００を示す図である。図１１に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図１１に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。本実施例に係る表示プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、例えばハードディスクドライブ１０９０に記憶される。

また、表示プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、各種の手順を実行する。

なお、表示プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、表示プログラムに係るプログラムモジュールやプログラムデータは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

これらの実施例やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

［その他］
なお、本実施例で説明したアクセス制御プログラムは、インターネットなどのネットワークを介して配布することができる。また、制御プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

１０、１０Ａ 表示装置
１１ 入力部
１２ 撮影部
１３ 制御部
１３ａ 検出部
１３ｂ 抽出部
１３ｃ 決定部
１４ 記憶部
１４ａ 画像情報記憶部
１４ｂ アニメーション画像記憶部
１５ 投影部
２０ サンバイザ

Claims (8)

1. 目の部分が遮蔽物により外部から覆われているユーザの顔の画像を前記遮蔽物の内側から撮影する撮影部と、
   前記撮影部によって撮影された顔の画像からユーザの目の部分を検出する検出部と、
   前記検出部によって検出された目の部分に関する画像を外部から視認可能な投影面に投影する投影部と、
   を備えたことを特徴とする表示装置。
2. 前記検出部によって検出された目の部分の画像を前記顔の画像から抽出する抽出部をさらに備え、
   前記投影部は、前記抽出部によって抽出された目の部分の画像を前記目の部分に関する画像として投影することを特徴とする請求項１に記載の表示装置。
3. 前記検出部によって検出された目の部分の画像から前記ユーザの目線の方向を特定し、該目線の方向に対応するアニメーション画像を決定する決定部をさらに備え、
   前記投影部は、前記決定部によって決定されたアニメーション画像を前記目の部分に関する画像として投影することを特徴とする請求項１に記載の表示装置。
4. 前記撮影部は、前記目の部分がサンバイザにより外部から覆われているユーザの顔の画像を撮影し、
   前記投影部は、前記抽出部によって抽出された目の部分の画像を前記サンバイザの表面に投影することを特徴とする請求項１〜３のいずれか一つに記載の表示装置。
5. 表示装置で実行される表示方法であって、
   目の部分が遮蔽物により外部から覆われているユーザの顔の画像を前記遮蔽物の内側から撮影する撮影工程と、
   前記撮影工程によって撮影された顔の画像からユーザの目の部分を検出する検出工程と、
   前記検出工程によって検出された目の部分に関する画像を外部から視認可能な投影面に投影する投影工程と、
   を含んだことを特徴とする表示方法。
6. 前記検出工程によって検出された目の部分の画像を前記顔の画像から抽出する抽出工程をさらに含み、
   前記投影工程は、前記抽出工程によって抽出された目の部分の画像を前記目の部分に関する画像として投影することを特徴とする請求項５に記載の表示方法。
7. 前記検出工程によって検出された目の部分の画像から前記ユーザの目線の方向を特定し、該目線の方向に対応するアニメーション画像を決定する決定工程をさらに含み、
   前記投影工程は、前記決定工程によって決定されたアニメーション画像を前記目の部分に関する画像として投影することを特徴とする請求項５に記載の表示方法。
8. 前記撮影工程は、前記目の部分がサンバイザにより外部から覆われているユーザの顔の画像を撮影し、
   前記投影工程は、前記抽出工程によって抽出された目の部分の画像を前記サンバイザの表面に投影することを特徴とする請求項５〜７のいずれか一つに記載の表示方法。

Images