JP2020201723A - 画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法 - Google Patents

Abstract

【課題】精度が高く、かつ、高速なオブジェクト認識が可能な画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法を提供する。【解決手段】ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、を備える画像処理装置が提供される。【選択図】図１

Description

本発明は、画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法に関する。

目の前の景色を画面上に表示するとともに、看板の文字などを認識して重ねて表示するソフトウェアが知られている（非特許文献１）。

https://ja.wikipedia.org/wiki/%E3%82%BB%E3%82%AB%E3%82%A4%E3%82%AB%E3%83%A1%E3%83%A9 特開２０１７−１９４８６０号公報

上述したソフトウェアは認識の精度や速度が必ずしも十分とは言えない。

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、精度が高く、かつ、高速なオブジェクト認識が可能な画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法を提供することである。

本発明の一態様によれば、ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、を備える画像処理装置が提供される。

前記ウェアラブルデバイスには、前記ユーザの眼球を追跡するアイトラッキングモジュールが設けられ、前記視点情報取得部は、前記アイトラッキングモジュールの出力から前記ユーザの視点を取得し、前記アイトラッキングモジュールの出力から、認識開始を示す所定のユーザ動作を検知し、該検知に応答して、前記特定時点を設定するよう制御を行う制御部を備えるのが望ましい。

前記所定のユーザ動作は、所定時間目を瞑ること、ウィンクを行うこと、または、所定回の瞬きであるのが望ましい。

前記カメラ画像取得部は、前記オブジェクト情報に基づいて、前記オブジェクトを撮影した第２画像を取得し、前記出力部は、前記第２画像を用いて前記拡大画像を表示させるのが望ましい。

前記第２画像は、前記第１画像に比べて、前記オブジェクトにピントが合っているのが望ましい。

前記ウェアラブルデバイスには、前記ユーザの前方に透過型ディスプレイが設けられ、前記出力部は、前記透過型ディスプレイに前記オブジェクトの拡大画像を表示させるのが望ましい。

前記出力部は、前記オブジェクトの拡大画像を所定時間表示させた後、前記オブジェクトの拡大画像を非表示とするのが望ましい。

前記オブジェクト情報取得部は、前記ウェアラブルデバイスの位置および前記ウェアラブルデバイスが向いている方角を考慮して認識されるオブジェクトを示すオブジェクト情報を取得するのが望ましい。

前記オブジェクト情報取得部は、前記ウェアラブルデバイスの仰俯角を考慮して認識されるオブジェクトを示すオブジェクト情報を取得するのが望ましい。

前記出力部は、前記オブジェクト情報に基づいて、オブジェクト名を表示させるのが望ましい。

本発明の別の態様によれば、ユーザによって装着されるウェアラブルデバイスであって、前記ユーザの前方を撮影するためのカメラと、前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、上記画像処理装置と、前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイスが提供される。

本発明の別の態様によれば、ユーザによって装着されるウェアラブルデバイスであって、前記ユーザの前方を撮影するためのカメラと、前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、前記ウェアラブルデバイスの位置を取得するためのＧＰＳ受信装置と、前記ウェアラブルデバイスが向いている方角を取得するための地磁気センサと、上記画像処理装置と、前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイスが提供される。

本発明の別の態様によれば、コンピュータを、ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、として機能させる画像処理プログラムが提供される。

本発明の別の態様によれば、ウェアラブルデバイスを装着したユーザの視点を取得し、特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得し、前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得し、前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる、画像処理方法が提供される。

本発明の別の態様によれば、特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識部を備えるオブジェクト認識装置が提供される。

前記オブジェクト認識部は、前記ユーザの視点を含む領域を認識領域としてオブジェクト認識を行い、その認識領域でオブジェクトを認識できない場合、前記認識領域をより狭くしてオブジェクト認識を行うのが望ましい。

前記オブジェクト認識部は、前記認識領域を狭くした結果、前記認識領域の大きさが所定値以下であれば、オブジェクト認識に失敗したと判断するのが望ましい。

前記ウェアラブルデバイスの位置および、前記ウェアラブルデバイスが向いている方角をデバイス情報として受信するデバイス情報受信部と、前記デバイス情報に基づいてオブジェクトの候補を取得するオブジェクト候補取得部と、を備え、前記オブジェクト認識部は、前記認識領域内に、前記オブジェクトの候補があるか否かを判定することによって、オブジェクト認識を行うのが望ましい。

本発明の別の態様によれば、コンピュータを、特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識部として機能させるオブジェクト認識プログラムが提供される。

本発明の別の態様によれば、特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識方法が提供される。

高精度かつ高速にオブジェクトを認識できる。

第１の実施形態に係るウェアラブルデバイス１００の概略斜視図。 カメラ画像を模式的に示す図。 視点が左方向にある場合の処理を説明する図。 視点が右方向にある場合の処理を説明する図。 第１の実施形態に係るオブジェクト認識システムの概略構成を示す機能ブロック図。 第１の実施形態に係るオブジェクト認識システムの処理動作の一例を示すシーケンス図。 第１の実施形態におけるオブジェクト認識処理の処理動作の一例を示すフローチャート。 認識領域の初期値を模式的に示す図。 距離ｒ１を説明する図。 狭めた認識領域を模式的に示す図。 第２の実施形態に係るウェアラブルデバイス１０１の概略斜視図。 第２の実施形態に係るオブジェクト認識システムの概略構成を示す機能ブロック図。 オブジェクトデータベース２７の構造の一例を示す図。 第２の実施形態に係るオブジェクト認識システムの処理動作の一例を示すシーケンス図。 第２の実施形態におけるオブジェクト認識処理の処理動作の一例を示すフローチャート。 図１１のステップＳ２で取得されるカメラ画像を模式的に示す図。 透過型ディスプレイ５に表示される画像を模式的に示す図。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、第１の実施形態に係るウェアラブルデバイス１００の概略斜視図である。第１の実施形態は、このウェアラブルデバイス１００を装着したユーザが見ている部分を拡大して表示するものである。

ウェアラブルデバイス１００は、眼鏡型の枠体１と、カメラ２と、アイトラッキングモジュール３と、画像処理部４と、透過型ディスプレイ５と、通信モジュール６とを備えている。枠体１以外の各部は図示しない充電式バッテリによって駆動される。

カメラ２は枠体１の前面に取り付けられ、ウェアラブルデバイス１００を顔に装着したユーザの前方（視線と同じ向き）を撮影する。カメラ２から出力されるカメラ画像は画像処理部４に供給される。なお、撮影するタイミング、ピント、拡大率などは画像処理部４の制御部４５（後述）によって制御される。

アイトラッキングモジュール３はユーザの眼を向くよう枠体１に取り付けられる。そして、アイトラッキングモジュール３はユーザの眼球を追跡することで、ユーザの視点を特定する。アイトラッキングモジュール３から出力される視点情報は画像処理部４に供給される。

画像処理部４は枠体１の内部に配置され、カメラ画像および視点情報を用いてユーザの前方にて認識されるオブジェクトの情報を出力する。画像処理部４の詳細は後述する。

透過型ディスプレイ５（いわゆる「シースルーディスプレイ」）は眼鏡のレンズに当たる部分に配置される。透過型ディスプレイ５は画像処理部４からの制御に応じてオブジェクトを拡大表示する。なお、透過型ディスプレイ５には、カメラ画像が表示されなくてよい。
通信モジュール６は後述するサーバ２００との間で種々のデータ送受を行う。

本実施形態は、ユーザの前方を撮影したカメラ画像からオブジェクトを認識して拡大表示するものである。以下、本実施形態におけるオブジェクト認識の概要を説明する。

図２Ａは、カメラ画像を模式的に示す図である。この例では、カメラ画像の左側に看板９１があり、右側にポスター９２があるものとする。看板９１は「９時オープン」の文字を含み、ポスター９２は「禁煙」の文字を含んでいる。ここで、カメラ画像全体に対してオブジェクト認識を行って文字を認識し、看板９１の文字を拡大表示し、同時に、ポスター９２の文字を拡大表示することも考えられる。

しかしながら、カメラ画像全体に対してオブジェクト認識を行う場合、認識対象の範囲が広すぎて処理負荷が大きく、処理速度が実用的でないことがある。かといって、処理速度を上げようとすると認識精度が低下してしまう。

そこで、本実施形態では、カメラ画像における、ユーザの視点に応じた一部分の領域に対してのみ、オブジェクト認識を行う。例えば、ユーザの視点が左方向であれば、図２Ｂに示すように、左側の看板９１のみが認識され、透過型ディスプレイ５に拡大される。一方、ユーザの視点が右方向であれば、図２Ｃに示すように、右側のポスター９２のみが認識され、透過型ディスプレイ５に拡大表示される。なお、図２Ｂおよび図２Ｃにおいて、破線は透過型ディスプレイ５を透過してユーザに直接見えることを示しており、実線は透過型ディスプレイ５に表示されることを示している。

このように、オブジェクト認識の領域を狭くすることで、認識精度を低下させることなく、処理速度が向上する。以下、詳細に説明する。

図３は、第１の実施形態に係るオブジェクト認識システムの概略構成を示す機能ブロック図である。オブジェクト認識システムは、上述したウェアラブルデバイス１００と、サーバ２００（オブジェクト認識装置）とから構成される。ウェアラブルデバイス１００は、例えば３Ｇ回線、４Ｇ回線あるいはＷｉＦｉ（登録商標）により、サーバ２００と通信可能である。

ウェアラブルデバイス１００の画像処理部４は、カメラ画像取得部４１と、視点情報取得部４２と、オブジェクト情報取得部４３と、出力部４４と、制御部４５とを有する。これら各機能部の一部または全部は、ハードウェア回路で実装されてもよい。あるいは、ウェアラブルデバイス１００のＣＰＵが所定のプログラムを実行することでこれら各機能部の一部または全部が実現されてもよい。

カメラ画像取得部４１はカメラ２と接続されている。そして、カメラ画像取得部４１はカメラ２から出力されるカメラ画像を取得し、通信モジュール６を介してサーバ２００に送信する。

視点情報取得部４２はアイトラッキングモジュール３と接続されている。そして、視点情報取得部４２はアイトラッキングモジュール３から出力される視点情報を取得し、通信モジュール６を介してサーバ２００に送信する。視点情報はカメラ画像におけるどの部分に視点があるかを示す。具体的には、視点情報は、カメラ画像における特定の１または複数画素を示してもよいし、カメラ画像を複数領域に分割したうちの１つの領域を示していてもよい。

オブジェクト情報取得部４３は、カメラ画像のうち、ユーザの視点に応じた領域を含む一部分の領域において認識されるオブジェクトを示すオブジェクト情報を通信モジュール６を介してサーバ２００から取得する。

出力部４４はオブジェクト情報が示すオブジェクトの拡大画像を透過型ディスプレイ５に表示させる。

制御部４５はウェアラブルデバイス１００の全体を制御する。

サーバ２００はウェアラブルデバイス１００との間で種々のデータ送受を行う通信モジュール２０を有する。また、サーバ２００は、カメラ画像受信部２１と、視点情報受信部２２と、認識領域設定部２３と、オブジェクト認識部２４と、オブジェクト情報送信部２５とを有する。これら各機能部の一部または全部は、ハードウェア回路で実装されてもよい。あるいは、サーバ２００のＣＰＵが所定のプログラムを実行することでこれら各機能部の一部または全部が実現されてもよい。

カメラ画像受信部２１および視点情報受信部２２は、ウェアラブルデバイス１００から通信モジュール２０を介して、それぞれカメラ画像および視点情報を受信する。

認識領域設定部２３は、視点情報に基づき、カメラ画像の認識領域を設定する。認識領域は、カメラ画像の一部分であって、オブジェクト認識部２４によるオブジェクト認識の対象となる領域である。

オブジェクト認識部２４は、カメラ画像のうち、認識領域設定部２３によって設定された認識領域のみにおいてオブジェクト認識を実行する。オブジェクト認識の手法に特に制限はないが、例えばディープラーニングを適用した人工知能を利用することができる。

オブジェクト情報送信部２５は、認識されたオブジェクトを示すオブジェクト情報を、通信モジュール２０を介してウェアラブルデバイス１００に送信する。オブジェクト情報は、認識されたオブジェクトのカメラ画像における位置を示してもよいし、認識されたオブジェクトが何であるかを示してもよい。

図４は、第１の実施形態に係るオブジェクト認識システムの処理動作の一例を示すシーケンス図である。

ユーザはオブジェクト認識処理を開始させるためのトリガ動作をウェアラブルデバイス１００に対して行う。トリガ動作は任意であるが、例えば所定時間目を瞑る、ウィンクを行う、所定回瞬きをする、などアイトラッキングモジュール３で検知できる予め定めた動作であるのが望ましい。制御部４５は、アイトラッキングモジュール３の出力からトリガ動作を検知すると（ステップＳ１のＹＥＳ）、以下に述べるようにカメラ画像からオブジェクト情報を取得するよう制御する。

制御部４５は、トリガ動作が検知された時点（多少のタイムラグは構わない）で、カメラ画像を取得するようカメラ画像取得部４１を制御するとともに、ユーザの視点を示す視線情報を取得するよう視点情報取得部４２を制御する（ステップＳ２）。取得されたカメラ画像および視点情報は、通信モジュール６を介してサーバ２００に送信される（ステップＳ３）。

サーバ２００のカメラ画像受信部２１および視点情報受信部２２は、通信モジュール２０を介して、ウェアラブルデバイス１００からのカメラ画像および視点情報をそれぞれ受信する（ステップＳ１１）。そして、認識領域設定部２３およびオブジェクト認識部２４は、視点情報を利用し、カメラ画像における一部分のみの領域においてオブジェクト認識を行う。（ステップＳ１２）。その詳細は図５を用いて後述する。オブジェクト情報送信部２５はオブジェクトを示すオブジェクト情報をウェアラブルデバイス１００に送信する（ステップＳ１３）。

ウェアラブルデバイス１００のオブジェクト情報取得部４３はサーバ２００からオブジェクト情報を受信する（ステップＳ４）。そして、出力部４４は、オブジェクト情報に基づいて、オブジェクトの拡大画像を透過型ディスプレイ５に表示させる（ステップＳ５）。

透過型ディスプレイ５における拡大画像の表示位置は、オブジェクトの位置から少し外れた近傍とするのが望ましい。このようにすれば、ユーザは、透過型ディスプレイ５を介してオブジェクトが見つつ、透過型ディスプレイ５に表示された拡大画像を見ることができる。一例として、カメラ画像において、水平方向における左側、垂直方向における中央付近にオブジェクトが認識された場合、透過型ディスプレイ５の水平方向における左側、垂直方向における中央より下に拡大画像が表示される。

なお、出力部４４は、ユーザから特段の指示がない限り拡大画像を表示したままにしておいてもよいが、一定時間表示させた後に自動的に非表示とするのが望ましい。

図２Ａに示した例において、例えば視点が右方向であれば図４のステップＳ５において右側のポスター９２の拡大画像が透過型ディスプレイ５に表示されるが、左側の看板９１の拡大画像は表示されない（図２Ｃ参照）。一方、視点が左方向であれば図４のステップＳ５において左側の看板９１の拡大画像が透過型ディスプレイ５に表示されるが、右側のポスター９２の拡大画像は表示されない（図２Ｂ参照）。

ステップＳ５において、出力部４４はオブジェクトをカメラ２で再撮影して得られるカメラ画像の少なくとも一部を拡大画像として表示させてもよい。具体的には、制御部４５は、ステップＳ２でカメラ画像を取得したときよりもカメラ２の拡大率を高くし、オブジェクト（より具体的には、オブジェクト情報が示す位置）が中心となるよう再撮影を行う。この際、制御部４５は、ステップＳ２でカメラ画像を取得したときよりも、オブジェクトにピントが合うようにカメラ２を設定するのがさらに望ましい。

なお、出力部４４は、ステップＳ２で取得されたカメラ画像のうち、オブジェクト情報によって示される部分を拡大処理したものを拡大画像として表示させてもよい。しかし、拡大処理に比べ、再撮影の方がより高画質な拡大画像を表示させることができるし、ピントを合わせることも容易である。

続いて、図４のステップＳ１２に示すオブジェクト認識処理について詳しく説明する。図５は、第１の実施形態におけるオブジェクト認識処理の処理動作の一例を示すフローチャートである。

認識領域設定部２３は視点情報に基づいて認識領域の初期値を設定する（ステップＳ２１）。図６は、認識領域の初期値を模式的に示す図である。図示のように、認識領域設定部２３はカメラ画像における視点を含む予め定めた大きさのエリアを認識領域の初期値とする。認識領域は、例えば視点を中心とし、カメラ画像を縮小した（あるいはカメラ画像と長手方向が一致する）長方形である。

続いて、オブジェクト認識部２４は設定された認識領域内でオブジェクト認識を行う（ステップＳ２２）。認識領域内でオブジェクトが認識された場合（ステップＳ２３のＹＥＳ）、認識されたオブジェクトと視点との距離ｒ１を算出する（ステップＳ２４、図７参照）。なお、距離ｒ１は、オブジェクトの中心から視点との距離でもよいし、オブジェクトのうち最も近い位置と視点との距離であってもよい。

そして、距離ｒ１が所定の閾値ＴＨ１以下であれば（ステップＳ２５のＹＥＳ）、オブジェクト認識部２４はオブジェクト認識に成功したと判断する。

一方、距離ｒ１が閾値ＴＨ１より大きい場合、視点から離れすぎていると考えられるため、ステップＳ２３で認識されたオブジェクトを採用しない。そして、認識領域設定部２３は認識領域を狭めることとする（ステップＳ２６）。また、ステップＳ２３において、オブジェクトが認識されなかった場合（ステップＳ２３のＮＯ）も、認識領域設定部２３は認識領域を狭める（ステップＳ２６）。

図８は、狭めた認識領域を模式的に示す図である。図示のように、認識領域設定部２３は、視点を中心としたまま所定量だけ長方形を小さくして、新たな認識領域とする。その結果、認識領域の大きさが所定の閾値ＴＨ２以下となった場合（ステップＳ２７のＹＥＳ）、オブジェクト認識部２４はオブジェクト認識に失敗したと判断する。認識領域が小さすぎる場合、小さなオブジェクトを見つけるのが困難であるためである。なお、認識領域の大きさは、例えば長方形の長辺あるいは短辺の長さを基準にしてもよいし、面積を基準にしてもよい。

認識領域の大きさが所定の閾値ＴＨ２より大きければ（ステップＳ２７のＮＯ）、オブジェクト認識部２４は新たな認識領域内でオブジェクト認識を行う（ステップＳ２２）。以上の処理を認識成功あるいは認識失敗と判断されるまで行う。

このようにして認識されたオブジェクト（および／または、カメラ画像におけるオブジェクトの位置）を示すオブジェクト情報がウェアラブルデバイス１００に送信される（図４のステップＳ１３）。

このように、第１の実施形態では、カメラ画像の全体に対してオブジェクト認識を行うのではなく、視点に応じた一部分に対してのみオブジェクト認識を行う。これにより、オブジェクト認識の領域が狭くなるため、認識精度を低下させることなく、処理速度が向上する。また、カメラ画像の一部分に対してオブジェクト認識を行うため、オブジェクトが小さくても認識可能となる。さらに、視点が向いていない位置にあるオブジェクトの拡大表示は行わないため、不要な情報がなく、透過型ディスプレイ５の表示がすっきりする。

なお、図３に示すシステム構成は例示にすぎず、ウェアラブルデバイス１００の機能の一部をサーバ２００が行ってもよいし、サーバ２００の機能の一部または全部をウェアラブルデバイス１００が行ってもよい。具体例として、認識領域設定部２３をウェアラブルデバイス１００内に設け、認識領域の初期値をウェアラブルデバイス１００からサーバ２００に送信してもよい。

別の例として、認識領域設定部２３に加え、オブジェクト認識部２４もウェアラブルデバイス１００内に設けてもよい。この構成によれば、処理性能に優れるサーバ２００でのオブジェクト認識と比較すると認識精度や認識速度が多少犠牲になる可能性もあるが、通信機能が不要となり、ウェアラブルデバイス１００単体で一連の処理が可能となる。また、ウェアラブルデバイス１００でもサーバ２００でもオブジェクト認識を行えるようにし、通信可能な環境下ではサーバ２００でオブジェクト認識を行い、通信不能な環境下ではウェアラブルデバイス１００でオブジェクト認識を行うようにしてもよい。

なお、認識対象となるオブジェクトは文字に限られない。

（第２の実施形態）
以下に説明する第２の実施形態は、オブジェクト認識の精度を向上すべく、ＧＰＳなどを用いるものである。以下、第１の実施形態との相違点を中心に説明する。

図９Ａは、第２の実施形態に係るウェアラブルデバイス１０１の概略斜視図である。また、図９Ｂは、第２の実施形態に係るオブジェクト認識システムの概略構成を示す機能ブロック図である。ウェアラブルデバイス１０１は、さらにＧＰＳ受信装置７と、地磁気センサ８と、加速度センサ９とを備えており、これらは画像処理部４に接続されている。

ＧＰＳ受信装置７は枠体１の内部に配置され、ＧＰＳ衛星からの信号に基づいてウェアラブルデバイス１０１の位置を取得する。ＧＰＳ受信装置７から出力される、ウェアラブルデバイス１０１の位置を示す位置情報は画像処理部４に供給される。位置情報は、例えば緯度および経度で表される。

地磁気センサ８は枠体１の内部に配置され、地球の磁力を検知してウェアラブルデバイス１０１が向いている方角を取得する。地磁気センサ８は、自身が取得する方角と、ユーザが向いている方向とが一致するよう配置されるのが望ましい。地磁気センサ８から出力される、ウェアラブルデバイス１０１が向いている方角を示す方角情報は画像処理部４に供給される。方角情報は、例えば東西南北の４方角のいずれであるかを示してもよいし、北東・南東・南西・北西を加えた８方角のいずれであるかを示してもよいし、より細かくてもよい。

加速度センサ９は枠体１の内部に配置され、重力加速度を検知してウェアラブルデバイス１０１の水平方向に対する上下方向の角度（すなわち仰俯角）を取得する。加速度センサ９から出力される、ウェアラブルデバイス１０１の鉛直方向の仰俯角を示す仰俯角情報は画像処理部４に出力される。仰俯角情報は、例えば水平方向を０度とし、上向きを正の角度、下向きを負の角度として表される。

また、図９Ｂに示すように、本実施形態の画像処理部４はデバイス情報取得部４６をさらに有する。デバイス情報取得部４６は、ＧＰＳ受信装置７、地磁気センサ８および加速度センサ９と接続されており、位置情報、方角情報および仰俯角情報をそれぞれから取得する。なお、以下では、位置情報、方角情報および仰俯角情報を総称してデバイス情報と呼ぶ。このデバイス情報は通信モジュール６を介してサーバ２００に送信される。

一方、本実施形態のサーバ２０１は、デバイス情報受信部２６と、オブジェクトデータベース２７と、オブジェクト候補取得部２８とをさらに有する。

デバイス情報受信部２６はウェアラブルデバイス１００から通信モジュール２０を介してデバイス情報を受信する。

オブジェクトデータベース２７は、オブジェクトと、デバイス情報との関係を記憶している。

図１０は、オブジェクトデータベース２７の構造の一例を示す図である。図示のように、デバイス情報（位置、方角および仰俯角）と、オブジェクトとの関係が記憶されている。これは、各位置から各方角および各仰俯角で見たときに、そのオブジェクトが見えることを意味している。同図の例では、ウェアラブルデバイス１０１の位置がＡであり、ウェアラブルデバイス１０１が向いている方角が北西であり、仰俯角が０度であればＴタワーが見えることを意味している。

さらに、オブジェクトデータベース２７には、オブジェクト名に加えて、オブジェクト画像が関連付けられている。オブジェクト画像は当該オブジェクトを正面から見た画像、右から見た画像、左から見た画像など、複数用意されているのが望ましい。

なお、図１０には少数のオブジェクトのみを示しているが、実際には多数ある。特定の位置、方角および仰俯角に複数のオブジェクトが関連付けられることもある。

図９Ｂに戻り、オブジェクト候補取得部２８は、デバイス情報に基づき、オブジェクトデータベース２７を参照して、オブジェクト候補を取得する。オブジェクト候補は、カメラ画像に含まれている可能性が高いオブジェクトである。具体的には、オブジェクト候補取得部２８は、デバイス情報と一致する、あるいは、近いオブジェクト（オブジェクト名およびオブジェクト画像）を取得する。例として、デバイス情報受信部２６が受信した位置がＢ、方角が北、仰俯角が０度であった場合、図１０を参照して、オブジェクトＲ，Ｓが取得される。

取得されたオブジェクト候補はオブジェクト認識部２４で用いられる。本実施形態におけるオブジェクト認識の手順は図１３を用いて後述する。また、オブジェクト情報送信部２５は、オブジェクト情報として、第１の実施形態と同様、認識されたオブジェクトのカメラ画像における位置を示してもよいし、認識されたオブジェクトが何であるか（オブジェクト名）を示してもよいし、オブジェクトデータベース２７におけるオブジェクト画像を含んでいてもよい。

図１１は、第２の実施形態に係るオブジェクト認識システムの処理動作の一例を示すシーケンス図である。カメラ画像および視点情報に加え、ウェアラブルデバイス１０２がデバイス情報を取得し、サーバ２０１に送信する点（ステップＳ２’〜Ｓ４’）を除き、図４と同じである。

図１２は、第２の実施形態におけるオブジェクト認識処理の処理動作の一例を示すフローチャートである。まず、オブジェクト候補取得部２８はデバイス情報に基づいて１または複数のオブジェクト候補を取得する（ステップＳ２０）。ここでは、オブジェクトＲ，Ｓ，Ｔが取得されたものとする。

次に、第１の実施形態と同様、認識領域設定部２３は視点情報に基づいて認識領域の初期値を設定する（ステップＳ２１）。

続いて、オブジェクト認識部２４は設定された認識領域内でオブジェクト認識を行う（ステップＳ２２）。本実施形態のオブジェクト認識は、例えばパターンマッチングにより、オブジェクト候補が認識領域内に存在するか否かを判定する。本例では、認識領域内にオブジェクトＲ，Ｓのいずれかと一致するか否かが判定される。予め取得したオブジェクト候補とのパターンマッチングを行うことで、処理時間を短縮できる。

認識領域内でオブジェクトが認識された場合（ステップＳ２３のＹＥＳ）、すなわち、オブジェクト候補のいずれかと一致した場合、ステップＳ２４に進む。一方、認識領域内でオブジェクトが認識されなかった場合（ステップＳ２３のＮＯ）、すなわち、オブジェクト候補のいずれとも一致しない場合、ステップＳ２６に進む。以降は第１の実施形態で説明したとおりである。このようにして認識されたオブジェクトを示すオブジェクト情報がウェアラブルデバイス１００に送信される（図１１のステップＳ１３）。

図１３Ａは、図１１のステップＳ２で取得されるカメラ画像を模式的に示す図である。この例では、カメラ画像の右側にＦ山９３があり、左側にＴタワー９４がある。そして、図１１のステップＳ２’で取得されるデバイス情報は、位置：Ａ、方角：北西、仰俯角０であったとする。また、ステップＳ２’で取得される視点情報はカメラ画像の右側を示していたとする。

上記デバイス情報によれば、図１０のオブジェクトデータベース２７を参照して、Ｆ山およびＴタワーがオブジェクト候補となる（図１２のステップＳ２０）。そして、視点情報がカメラ画像の右側を示すことから、結果的にはＴタワーでなくＦ山９３がオブジェクトとして認識される。

図１３Ｂは、透過型ディスプレイ５に表示される画像を模式的に示す図である。図示のように、Ｆ山の拡大画像９５が表示される。この拡大画像９５は第１と実施形態と同様に生成されたものでもよいし、オブジェクトデータベース２７における画像であってもよい。また、出力部４４は拡大画像９５に加えてオブジェクト名９６を表示させてもよい。

このように、第２の実施形態では、デバイス情報も利用する。デバイス情報に基づいてオブジェクトの候補を取得できるため、より高精度にオブジェクトを認識できるし、処理時間も短縮できる。

なお、オブジェクト候補を取得するためのデバイス情報として、少なくとも位置情報および方角情報を含んでいればよい。また、デバイス情報が他の情報を含んでいてもよい。

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

１００，１０１ ウェアラブルデバイス
１ 枠体
２ カメラ
３ アイトラッキングモジュール
４ 画像処理部
４１ カメラ画像取得部
４２ 視点情報取得部
４３ オブジェクト情報取得部
４４ 出力部
４５ 制御部
４６ デバイス情報取得部
５ 透過型ディスプレイ
６ 通信モジュール
７ ＧＰＳ受信装置
８ 地磁気センサ
９ 加速度センサ
２００，２０１ サーバ
２０ 通信モジュール
２１ カメラ画像受信部
２２ 視点情報受信部
２３ 認識領域設定部
２４ オブジェクト認識部
２５ オブジェクト情報送信部
２６ デバイス情報受信部
２７ オブジェクトデータベース
２８ オブジェクト候補取得部

Claims (20)

1. ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、
   特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、
   前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、
   前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、を備える画像処理装置。
2. 前記ウェアラブルデバイスには、前記ユーザの眼球を追跡するアイトラッキングモジュールが設けられ、
   前記視点情報取得部は、前記アイトラッキングモジュールの出力から前記ユーザの視点を取得し、
   前記アイトラッキングモジュールの出力から、認識開始を示す所定のユーザ動作を検知し、該検知に応答して、前記特定時点を設定するよう制御を行う制御部を備える、請求項１に記載の画像処理装置。
3. 前記所定のユーザ動作は、所定時間目を瞑ること、ウィンクを行うこと、または、所定回の瞬きである、請求項２に記載の画像処理装置。
4. 前記カメラ画像取得部は、前記オブジェクト情報に基づいて、前記オブジェクトを撮影した第２画像を取得し、
   前記出力部は、前記第２画像を用いて前記拡大画像を表示させる、請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記第２画像は、前記第１画像に比べて、前記オブジェクトにピントが合っている、請求項４に記載の画像処理装置。
6. 前記ウェアラブルデバイスには、前記ユーザの前方に透過型ディスプレイが設けられ、
   前記出力部は、前記透過型ディスプレイに前記オブジェクトの拡大画像を表示させる、請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記出力部は、前記オブジェクトの拡大画像を所定時間表示させた後、前記オブジェクトの拡大画像を非表示とする、請求項６に記載の画像処理装置。
8. 前記オブジェクト情報取得部は、前記ウェアラブルデバイスの位置および前記ウェアラブルデバイスが向いている方角を考慮して認識されるオブジェクトを示すオブジェクト情報を取得する、請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記オブジェクト情報取得部は、前記ウェアラブルデバイスの仰俯角を考慮して認識されるオブジェクトを示すオブジェクト情報を取得する、請求項８に記載の画像処理装置。
10. 前記出力部は、前記オブジェクト情報に基づいて、オブジェクト名を表示させる、請求項１乃至９のいずれかに記載の画像処理装置。
11. ユーザによって装着されるウェアラブルデバイスであって、
    前記ユーザの前方を撮影するためのカメラと、
    前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、
    請求項１乃至１０のいずれかに記載の画像処理装置と、
    前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイス。
12. ユーザによって装着されるウェアラブルデバイスであって、
    前記ユーザの前方を撮影するためのカメラと、
    前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、
    前記ウェアラブルデバイスの位置を取得するためのＧＰＳ受信装置と、
    前記ウェアラブルデバイスが向いている方角を取得するための地磁気センサと、
    請求項８または９に記載の画像処理装置と、
    前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイス。
13. コンピュータを、
    ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、
    特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、
    前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、
    前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、として機能させる画像処理プログラム。
14. ウェアラブルデバイスを装着したユーザの視点を取得し、
    特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得し、
    前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得し、
    前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる、画像処理方法。
15. 特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識部を備えるオブジェクト認識装置。
16. 前記オブジェクト認識部は、前記ユーザの視点を含む領域を認識領域としてオブジェクト認識を行い、その認識領域でオブジェクトを認識できない場合、前記認識領域をより狭くしてオブジェクト認識を行う、請求項１５に記載のオブジェクト認識装置。
17. 前記オブジェクト認識部は、前記認識領域を狭くした結果、前記認識領域の大きさが所定値以下であれば、オブジェクト認識に失敗したと判断する、請求項１６に記載のオブジェクト認識装置。
18. 前記ウェアラブルデバイスの位置および、前記ウェアラブルデバイスが向いている方角をデバイス情報として受信するデバイス情報受信部と、
    前記デバイス情報に基づいてオブジェクトの候補を取得するオブジェクト候補取得部と、を備え、
    前記オブジェクト認識部は、前記認識領域内に、前記オブジェクトの候補があるか否かを判定することによって、オブジェクト認識を行う、請求項１５乃至１７のいずれかに記載のオブジェクト認識装置。
19. コンピュータを、特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識部として機能させるオブジェクト認識プログラム。
20. 特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識方法。