JP7778351B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像データを処理する画像処理装置、画像処理方法及びプログラムに関する。

従来、電子ゴーグルに設けられたカメラでキャプチャされた画像データに基づいて特定した位置に対応する拡張現実画像を電子ゴーグルのディスプレイに表示する技術が知られている（例えば、特許文献１を参照）。

特開２０１９－１６６４０５号公報

特許文献１に記載された電子ゴーグルのような画像処理装置においては、予め画像処理装置に設けられたカメラにより生成された撮像画像データ内の被写体の特徴点のパターンを、予め空間内の位置に関連付けられた特徴点のパターンと比較することにより、画像処理装置の位置を特定することができる。画像処理装置は、一例として、特定した位置に応じた拡張現実画像を表示することができる。

ところが、このような画像処理装置を通して、移動体内の人が移動中の移動体の内部の空間と外部の空間とを同時に見る場合、撮像画像データ内の被写体の特徴点のパターンを外部空間内の位置に予め関連付けられた特徴点のパターンと比較しても、これらのパターンが一致せず、画像処理装置の位置を特定できないという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、移動体内の人が移動体の内部の空間と外部の空間とを同時に見る場合においても、画像処理装置の位置を特定できるようにすることを目的とする。

本発明の第１の態様の画像処理装置は、人が装着可能な画像処理装置であって、移動体に乗っている人が装着している前記画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得する画像データ取得部と、前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとの境界を特定する境界特定部と、前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定し、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定する位置特定部と、を有する。

前記位置特定部は、最新の前記内部空間画像データに含まれる前記複数の特徴点の位置と、直前の前記内部空間画像データに含まれる前記複数の特徴点の位置との関係に基づいて、前記内部空間における前記画像処理装置の位置を特定し、最新の前記外部空間画像データに含まれる前記複数の特徴点の位置と、直前の前記外部空間画像データに含まれる前記複数の特徴点の位置との関係に基づいて、前記外部空間における前記画像処理装置の位置を特定してもよい。

前記位置特定部は、前記外部空間における前記画像処理装置の位置を特定する処理を実行する周期よりも遅い周期で、前記内部空間における前記画像処理装置の位置を特定してもよい。

前記画像処理装置は、前記位置特定部が特定した前記内部空間における前記画像処理装置の位置に対応する内部拡張現実画像を前記画像処理装置が有する表示部に表示させる内部画像表示処理部と、前記位置特定部が特定した前記外部空間における前記画像処理装置の位置に対応する外部拡張現実画像を前記表示部に表示させる外部画像表示処理部と、をさらに有してもよい。

前記内部画像表示処理部は、前記表示部における、前記撮像画像データにおける前記内部空間内の所定の被写体を基準とする位置に前記内部拡張現実画像を表示させてもよい。

前記内部画像表示処理部は、前記撮像画像データにおける一以上の被写体の特徴を示す複数の特徴点のパターンに基づいて決定した大きさの前記内部拡張現実画像を前記表示部に表示させてもよい。

前記外部画像表示処理部は、前記表示部における、前記外部空間における前記画像処理装置の位置に関連付けて予め記憶部に記憶された位置に前記外部拡張現実画像を表示させてもよい。

前記画像データ取得部は、所定の時間間隔ごとに前記撮像画像データを取得し、前記境界特定部は、異なる時刻に取得された複数の前記撮像画像データにおける含まれる複数の被写体それぞれの位置の変化速度に基づいて前記境界を特定してもよい。

本発明の第２の態様の画像処理方法は、プロセッサが実行する、移動体に乗っている人が装着している画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、を有する。

本発明の第３の態様のプログラムは、プロセッサに、移動体に乗っている人が装着している画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、を実行させる。

本発明によれば、移動体内の人が移動体の内部の空間と外部の空間とを同時に見る場合においても、画像処理装置の位置を特定できるという効果を奏する。

画像処理装置の概要を説明するための図である。 ユーザが画像処理装置を装着した状態で見る画像の一例を模式的に示す図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置の機能構成を示す図である。 境界特定部が作成する点群データの一例である。 画像処理装置における処理の流れを示すフローチャートである。

［画像処理装置１の概要］
図１は、画像処理装置１の概要を説明するための図である。画像処理装置１は、移動体Ｐに乗っているユーザＵ（例えば操縦者）が装着可能な端末であり、例えば眼鏡又はゴーグルの形状をしている。移動体Ｐは、人が乗った状態で移動可能な任意の物体であり、例えば飛行機、船舶、鉄道又は車両である。図１は、飛行機のコックピットにおいてユーザＵが操縦桿Ｈを使って操縦している様子を模式的に示している。

ユーザＵは、画像処理装置１のレンズを介して、コックピットの内部の空間（以下、「内部空間」という。）と、窓Ｗの外部の空間（以下、「外部空間」という。）とを見ることができる。ユーザＵは、例えば内部空間における操縦桿Ｈ、メータＭ１、Ｍ２等の物体を見るとともに、外部空間における滑走路を見ることができる。また、ユーザＵは、内部空間及び外部空間を見ている状態で、画像処理装置１がレンズに表示する拡張現実画像（以下、「ＡＲ画像」という。）を見ることもできる。

図２は、ユーザＵが画像処理装置１を装着した状態で見る画像の一例を模式的に示す図である。図２における領域Ｒ１は外部空間の滑走路を示しており、領域Ｒ２は内部空間のコックピットを示している。図２（ａ）は、ユーザＵが垂直方向に座っている状態で見た内部空間及び外部空間に重ねて表示されたＡＲ画像を示しており、図２（ｂ）は、ユーザＵが垂直方向に対して傾いた状態で見た内部空間及び外部空間に重ねて表示されたＡＲ画像を示している。

図２（ａ）に示す画像には内部ＡＲ画像Ｇ１及び外部ＡＲ画像Ｇ２が表示されている。内部ＡＲ画像Ｇ１は飛行機の速度を示しており、操縦桿Ｈの上方に表示されている。外部ＡＲ画像Ｇ２は飛行機が進むべき位置を示しており、滑走路の所定の位置に表示されている。

図２（ｂ）に示す画像にも同様に、内部ＡＲ画像Ｇ１’及び外部ＡＲ画像Ｇ２’が表示されている。内部ＡＲ画像Ｇ１と内部ＡＲ画像Ｇ１’とは、操縦桿Ｈの上方の位置に向きが同じ状態で表示されている。これに対して、外部ＡＲ画像Ｇ２と外部ＡＲ画像Ｇ２’とは向きが異なる状態で表示されている。具体的には、図２（ａ）においては操縦者が傾いていないことにより滑走路が上下方向に見えており、外部ＡＲ画像Ｇ２は上下方向と左右方向の直線により構成されている。これに対して、図２（ｂ）においては操縦者が傾いていることにより滑走路が斜め方向に見えており、外部ＡＲ画像Ｇ２’は斜め方向の複数の直線により構成されている。

画像処理装置１は、内部空間に関連する情報を含むＡＲ画像を、内部空間における画像処理装置１の位置に基づいて決定した位置に表示し、外部空間に関連する情報を含むＡＲ画像を、外部空間における画像処理装置１の位置に基づいて決定した位置に表示する。画像処理装置１は、内部空間に対応するＡＲ画像と外部空間に対応するＡＲ画像のそれぞれを適切な位置に表示するために、画像処理装置１が撮影して生成した撮像画像データに基づいて、内部空間における画像処理装置１の位置と、外部空間における画像処理装置１の位置とを特定する。

具体的には、画像処理装置１は、撮像画像データにおける内部空間に対応する内部空間画像データに基づいて、内部空間における画像処理装置１の位置を特定し、撮像画像データにおける外部空間に対応する外部空間画像データに基づいて、外部空間における画像処理装置１の位置を特定する。このように、画像処理装置１は、移動体Ｐ内の人が移動中の移動体Ｐの内部の空間と外部の空間とを同時に見る場合においても画像処理装置１の位置を特定でき、特定した位置に基づいて、内部空間の状態に適したＡＲ画像と外部空間の状態に適したＡＲ画像とを表示することができる。

［画像処理装置１の構成］
図３は、画像処理装置１のハードウェア構成を示す図である。図４は、画像処理装置１の機能構成を示す図である。

図３に示すように、画像処理装置１は、撮像部１１と、右側レンズ１２１と、左側レンズ１２２と、右側投影部１２３と、左側投影部１２４と、を有する。右側レンズ１２１、左側レンズ１２２、右側投影部１２３及び左側投影部１２４は、図４に示す表示部１２を構成する。表示部１２は、ユーザＵが内部空間及び外部空間内の被写体を見ている状態でＡＲ画像をユーザが視認できるように表示する。表示部１２においては、右側投影部１２３が右側レンズ１２１に向けて投影画像Ｌ１と投影し、左側投影部１２４が左側レンズ１２２に向けて投影画像Ｌ２を投影することにより、ＡＲ画像を右側レンズ１２１及び左側レンズ１２２に表示する。

撮像部１１は、被写体を撮影することにより撮像画像データを作成する撮像素子を有する。図３に示す例においては、撮像部１１が画像処理装置１の中央付近に設けられているが、撮像部１１が設けられている位置は、ユーザＵが見る領域に対応する撮像画像データを作成することができる限りにおいて任意である。撮像部１１は左右方向の異なる位置に設けられた複数の撮像素子を有しており、奥行方向のデータを生成できるステレオカメラとして機能してもよい。

右側レンズ１２１は、ユーザＵの右目に対応しており、ユーザＵが画像処理装置１を装着した状態でユーザＵの右目の前方に位置する。右側レンズ１２１は光透過性を有しており、ユーザＵは、右側レンズ１２１を介して周辺の被写体を見ることができる。また、右側レンズ１２１は、右側投影部１２３が投影したＡＲ画像をユーザＵが見ることができる態様で表示する。右側レンズ１２１は、例えば右側投影部１２３が右側レンズ１２１の一部の領域に投影した光を伝搬した後にユーザＵの右目に向けて屈折させる導光板を有している。

左側レンズ１２２は、右側レンズ１２１と同等の構成を有する。左側レンズ１２２は、ユーザＵの左目に対応しており、ユーザＵが画像処理装置１を装着した状態でユーザＵの左目の前方に位置する。左側レンズ１２２は光透過性を有しており、ユーザＵは、左側レンズ１２２を介して周辺の被写体を見ることができる。また、左側レンズ１２２は、左側投影部１２４が投影したＡＲ画像をユーザＵが見ることができる態様で表示する。左側レンズ１２２は、例えば左側投影部１２４が左側レンズ１２２の一部の領域に投影した光を伝搬した後にユーザＵの右目に向けて屈折させる導光板を有している。

右側投影部１２３は、ＡＲ画像を右側レンズ１２１に投影する。右側投影部１２３は、表示処理部１６６から入力された右目用のＡＲ画像を右側レンズ１２１に投影する。右側投影部１２３及び左側投影部１２４は、ユーザが右側レンズ１２１及び左側レンズ１２２を介して被写体を視認している間に、右側レンズ１２１及び左側レンズ１２２にＡＲ画像を投影する。

左側投影部１２４は、ＡＲ画像を左側レンズ１２２に投影する。左側投影部１２４は、表示処理部１６６から入力された左目用のＡＲ画像を左側レンズ１２２に投影する。

続いて、図４を参照しながら画像処理装置１の内部構成及び機能について説明する。図４に示すように、画像処理装置１は、撮像部１１及び表示部１２に加えて、操作部１３と、通信部１４と、記憶部１５と、制御部１６と、を有する。制御部１６は、画像データ取得部１６１と、境界特定部１６２と、位置特定部１６３と、内部画像表示処理部１６４と、外部画像表示処理部１６５と、表示処理部１６６と、を有する。

操作部１３は、ユーザＵによる画像処理装置１の操作を受けるためのデバイスである。操作部１３は、例えばタッチスイッチ又はプッシュスイッチであってもよく、スマートフォン又はタブレット等の外部端末から操作データを受信する近距離無線通信デバイスであってもよい。操作データは、例えば、ＡＲ画像の表示を開始したり停止したりする操作内容を示すデータ、移動体Ｐの機種名を示すデータ、又は移動体Ｐが移動する場所を示すデータ（空港の名称、港の名称、鉄道路線の名称又は道路の名称を示すデータ）である。操作部１３は、ユーザＵの操作内容を示す操作データを制御部１６に通知する。

通信部１４は、制御部１６の処理に使用されるデータを提供する外部サーバとの間でデータを送受信するための通信インターフェースを有する。通信部１４は、例えば無線通信回線を用いて通信するための無線通信コントローラを有する。通信部１４は、例えば、ユーザＵが乗っている移動体Ｐが移動する付近の空間にある各種の物体の特徴点を示す基準点群データ、及び表示部１２に表示されるＡＲ画像データを外部サーバから取得し、取得した基準点群データ及びＡＲ画像データを記憶部１５に記憶させる。

通信部１４は、内部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の内部基準点群データを取得する。また、通信部１４は、外部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の外部基準点群データを取得する。

ＡＲ画像データは、一以上の内部基準点群データ又は外部基準点群データに関連付けられている。画像処理装置１は、撮像画像データにおける内部空間に対応する領域に含まれる被写体の特徴点に基づく点群データがいずれかの内部基準点群データと一致しており、当該内部基準点群データにＡＲ画像データが関連付けられている場合に、当該ＡＲ画像データに基づくＡＲ画像を表示する。同様に、画像処理装置１は、撮像画像データにおける外部空間に対応する領域に含まれる被写体の特徴点に基づく点群データがいずれかの外部基準点群データと一致しており、当該外部基準点群データにＡＲ画像データが関連付けられている場合に、当該ＡＲ画像データに基づくＡＲ画像を表示する。

内部基準点群データ、及び当該内部基準点群データに対応する内部ＡＲ画像データは、移動体Ｐの機種名に関連付けられていてもよい。また、外部基準点群データ、及び当該外部基準点群データに対応する外部ＡＲ画像データは、緯度・経度・高度を示す位置情報、又はエリアを示す情報に関連付けられていてもよい。一例として、外部基準点群データ及び外部ＡＲ画像データは、空港の名称、港の名称、鉄道路線の名称又は道路の名称に関連付けられていてもよい。

なお、画像処理装置１は外部サーバから各種のデータを取得せず、予め記憶部１５に記憶された基準点群データ及びＡＲ画像データを用いてもよい。この場合、画像処理装置１が通信部１４を有していなくてもよい。

記憶部１５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部１５は、制御部１６が実行するプログラムを記憶する。また、記憶部１５は、通信部１４が外部サーバから受信した基準点群データとＡＲ画像データとを関連付けて記憶する。記憶部１５は、位置情報又はエリアを示す情報に関連付けて複数の基準点群データ及びＡＲ画像データを記憶してもよい。

記憶部１５は、基準点群データとして、内部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の内部基準点群データを記憶する。記憶部１５は、内部空間における位置及び向きに関連付けて内部基準点群データを記憶してもよい。内部空間における位置は、内部空間の基準位置に対する距離及び向きにより示される。内部空間における向きは、内部空間の基準向き（例えば前方）に対する向きにより示される。

記憶部１５は、基準点群データとして、外部空間の複数の位置において撮影された画像に含まれる被写体の特徴点により構成される複数の外部基準点群データを記憶する。記憶部１５は、外部空間における位置及び向きに関連付けて外部基準点群データを記憶してもよい。外部空間における位置は、基準位置に対する位置（座標）により示される。基準位置は、例えば、画像処理装置１が存在する空港、港、鉄道路線又は道路のいずれかの位置である。基準位置は、緯度及び経度が０度の位置を基準位置とする緯度・経度と、海面の位置に対する高度とにより表されていてもよい。外部空間における向きは、外部空間の基準向き（例えば北向き）に対する向きにより示される。

さらに、記憶部１５は、複数の内部基準点群データそれぞれに関連付けて内部ＡＲ画像データを記憶する。記憶部１５は、例えば、複数の内部基準点群データそれぞれに関連付けて異なる内容を示す内部ＡＲ画像データを記憶したり、複数の内部基準点群データそれぞれに関連付けて同じ内容で大きさが異なる内部ＡＲ画像データを記憶したりする。さらに、記憶部１５は、移動体Ｐの状態（例えば速度、高度、発生した問題の種別）に関連付けて内部ＡＲ画像データを記憶してもよい。

また、記憶部１５は、複数の外部基準点群データそれぞれに関連付けて外部ＡＲ画像データを記憶する。記憶部１５は、例えば、複数の外部基準点群データそれぞれに関連付けて異なる内容を示す外部ＡＲ画像データを記憶したり、複数の外部基準点群データそれぞれに関連付けて同じ内容で大きさが異なる外部ＡＲ画像データを記憶したりする。記憶部１５は、外部空間における位置及び向きに関連付けて外部ＡＲ画像データを記憶してもよい。

記憶部１５は、空港の名称、港の名称、鉄道路線の名称又は道路の名称に関連付けて外部基準点群データを記憶してもよい。記憶部１５は、例えば、Ａ空港内の多数の地点において複数の向きでの撮影により生成された撮像画像データに基づいて作成された多数の外部基準点群データを、Ａ空港用の外部基準点群データとして記憶する。

また、記憶部１５は、移動体Ｐを識別するための移動体識別情報（例えば機種名）に関連付けて内部基準点群データを記憶してもよい。記憶部１５は、例えば機種Ｂのコックピット内の複数の位置において複数の向きでの撮影により生成された撮像画像データに基づいて作成された多数の内部基準点群データを、機種Ｂ用の内部基準点群データとして記憶する。

制御部１６は、記憶部１５に記憶されたプログラムを実行することにより各種のデータを処理するプロセッサとしてＣＰＵ（Central Processing Unit）を有している。制御部１６は、記憶部１５に記憶されたプログラムを実行することにより、画像データ取得部１６１、境界特定部１６２、位置特定部１６３、内部画像表示処理部１６４、外部画像表示処理部１６５及び表示処理部１６６として機能する。

画像データ取得部１６１は、移動体Ｐに乗っているユーザＵが装着している画像処理装置１が移動体Ｐの内部空間と移動体Ｐの外部空間とを撮影することにより生成された撮像画像データを取得する。すなわち、画像データ取得部１６１は、ユーザＵが画像処理装置１を装着している状態で撮像部１１が生成した撮像画像データを取得する。画像データ取得部１６１は、所定の時間間隔ごとに撮像画像データを取得する。所定の時間間隔は任意であるが、例えば３３．３ミリ秒（フレームレート３０ｆｐｓに対応）である。画像データ取得部１６１は、取得した撮像画像データを境界特定部１６２及び表示処理部１６６に入力する。

境界特定部１６２は、画像データ取得部１６１から入力された撮像画像データにおける内部空間に対応する領域と外部空間に対応する領域との境界を特定する。境界特定部１６２は、撮像画像データにおける境界の位置に基づいて、撮像画像データにおける内部空間に対応する内部空間画像データと、撮像画像データにおける外部空間に対応する外部空間画像データとを作成する。当該境界は、図２に示した例における一点鎖線で示した位置である。

境界特定部１６２が境界を特定する方法は任意であるが、例えば、機械学習（例えば深層学習）によって境界を特定してもよく、特徴点の変化速度の差によって境界を特定してもよく、特徴点までの距離の差によって境界を特定してもよい。

境界特定部１６２は、機械学習を用いて境界を特定する場合、例えば、境界位置を示すデータを含む撮像画像データを教師データとして学習し、撮像画像データが入力されると境界位置を示す境界位置データを出力する機械学習モデルに、画像データ取得部１６１が取得した撮像画像データを入力する。境界特定部１６２は、機械学習モデルから出力される境界位置データに基づいて、撮像画像データにおける境界を特定する。

境界特定部１６２は、特徴点の変化速度の差によって境界を特定する場合、例えば、異なる時刻に取得された複数の撮像画像データにおける含まれる複数の被写体それぞれの位置の変化速度に基づいて境界を特定する。具体的には、境界特定部１６２は、第１時刻に生成された撮像画像データに含まれている複数の被写体の特徴点から構成される第１点群データと、第１時刻の次の第２時刻に生成された撮像画像データに含まれている複数の被写体の特徴点から構成される第２点群データとを作成する。特徴点は、被写体の輪郭線上の位置、凹凸の境界線上の位置、又は異なる色の領域の境界線上の位置の点である。

境界特定部１６２は、第１点群データに含まれる複数の特徴点と、第２点群データにおけるこれらに対応する複数の特徴点との位置の差を特定する。この差が大きければ大きいほど特徴点の変化速度が大きい。そこで、境界特定部１６２は、変化速度の大きさによって複数の特徴点を２つのグループに分類し、変化速度が比較的小さい特徴点が含まれている領域が内部空間であり、変化速度が比較的大きい特徴点が含まれている領域が外部空間であることを特定する。

図５は、境界特定部１６２が作成する点群データの一例である。図５に示す点群データは、図２に示した画像に対応している。図５においては、内部空間に対応する特徴点を白い四角形で示しており、外部空間に対応する特徴点を黒い丸で示している。

白い四角形で示す内部空間の特徴点は、黒い丸で示す外部空間の特徴点よりも変化速度が小さいので、境界特定部１６２は、変化速度に基づいて白い四角形で示す特徴点が含まれる内部空間と黒い丸で示す特徴点が含まれる外部空間との境界を特定することができる。境界特定部１６２は、例えば、変化速度が比較的小さい特徴点のうち、上下方向及び左右方向において、変化速度が比較的大きい特徴点に最も近い複数の特徴点を結ぶ線を境界として特定する。

同様に、境界特定部１６２は、特徴点までの距離の差によって境界を特定する場合、内部空間に対応する所定の距離（例えば１ｍ）以内の距離に対応する特徴点を内部空間に対応する特徴点であると特定する。また境界特定部１６２は、所定の距離よりも遠い距離に対応する特徴点を外部空間に対応する特徴点であると特定する。例えば、図５において白い四角形で示す特徴点までの距離は、黒い丸で示す特徴点までの距離よりも小さいので、白い四角形で示す特徴点が含まれる内部空間と黒い丸で示す特徴点が含まれる外部空間との境界を特定することができる。

境界特定部１６２は、特定した境界に基づいて作成した内部空間画像データに基づいて内部空間に対応する内部空間点群データを作成し、外部空間画像データに基づいて外部空間に対応する外部空間点群データを作成する。境界特定部１６２は、作成した内部空間点群データ及び外部空間点群データを位置特定部１６３に入力する。境界特定部１６２は、撮像画像データを内部空間画像データと外部空間画像データとに分割し、内部空間画像データ及び外部空間画像データを位置特定部１６３に入力してもよい。

なお、ユーザＵが頻繁に内部空間内で移動しない場合、境界の位置はほとんど変化しないと考えられる。そこで、境界特定部１６２は、移動体Ｐが移動を開始してから所定の時間が経過するまでの間に境界を特定し、特定した境界の位置を記憶部１５に記憶させてもよい。その後、境界特定部１６２は、記憶部１５に記憶された境界の位置に基づいて内部空間点群データ及び外部空間点群データを作成してもよい。

また、境界特定部１６２は他の方法を用いて境界を特定してもよい。一例として、境界特定部１６２は、ユーザＵが使用する情報端末（例えばスマートフォン）に撮像画像データに基づく画像を表示させ、操作部１３を介して、ユーザＵが情報端末において入力した境界を示すデータを取得することにより境界を特定してもよい。

位置特定部１６３は、境界特定部１６２から入力された内部空間点群データに基づいて、内部空間における画像処理装置１の位置を特定し、外部空間点群データに基づいて、外部空間における移動体Ｐの位置を特定する。すなわち、位置特定部１６３は、内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、内部空間における画像処理装置１の位置を特定し、外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、外部空間における画像処理装置１の位置を特定する。位置特定部１６３は、内部空間における画像処理装置１の向き、及び外部空間における画像処理装置１の向きをさらに特定してもよい。

一例として、位置特定部１６３は、記憶部１５に記憶された複数の内部基準点群データと、境界特定部１６２から入力された内部空間点群データとを比較することにより、内部空間点群データに最も近い内部基準点群データを特定する。位置特定部１６３は、内部基準点群データに関連付けて記憶部１５に記憶された位置又は向きを内部空間における画像処理装置１の位置又は向きとして特定する。位置特定部１６３は、特定した画像処理装置１の位置又は向きを内部画像表示処理部１６４に通知する。

位置特定部１６３は、最新の第１撮像画像データに含まれる複数の第１特徴点の位置と、直前の第２撮像画像データに含まれる複数の第２特徴点の位置との関係に基づいて、画像処理装置１の位置及び向きを特定してもよい。具体的には、位置特定部１６３は、複数の第１特徴点の位置と、複数の第１特徴点それぞれに対応する第２特徴点との位置の変化量を特定し、特定した変化量に相当する距離及び向きだけ、直前に特定した画像処理装置１の位置及び向きから変化させた位置及び向きを、画像処理装置１の最新の位置及び向きとして特定する。

この場合、位置特定部１６３が画像処理装置１の位置の特定に用いる特徴点に、それぞれ変化速度が異なる内部空間の特徴点と外部空間の特徴点とが混在していると、特徴点によって変化量が異なるので、位置特定部１６３は、画像処理装置１が存在している空間を特定できない。その結果、位置特定部１６３が、直前に特定した画像処理装置１の位置及び向きに基づいて、画像処理装置１の最新の位置及び向きを特定することができないという問題が生じる。

これに対して、位置特定部１６３は、最新の内部空間画像データに含まれる複数の第１特徴点の位置と、直前の内部空間画像データに含まれる複数の第２特徴点の位置との関係（すなわち位置の変化量）に基づいて、内部空間における画像処理装置１の位置を特定する。また、位置特定部１６３は、最新の外部空間画像データに含まれる複数の第１特徴点の位置と、直前の外部空間画像データに含まれる複数の第２特徴点の位置との関係に基づいて、外部空間における画像処理装置１の位置を特定する。位置特定部１６３がこのように動作することで、撮像画像データに内部空間画像データと外部空間画像データとが含まれている場合であっても、画像処理装置１は、内部空間における位置と外部空間における位置を正しく特定することができる。

位置特定部１６３は、操作部１３を介して入力された操作データが示す移動体Ｐの機種名に対応する内部基準点群データを用いて内部空間における画像処理装置１の位置を特定してもよい。位置特定部１６３がこのように動作することで、位置特定部１６３は多数の機種に対応する多数の内部基準点群データを参照する必要がないため、内部空間における画像処理装置１の位置を特定するために要する時間を短縮することができる。

同様に、位置特定部１６３は、記憶部１５に記憶された複数の外部基準点群データと、境界特定部１６２から入力された外部空間点群データとを比較することにより、外部空間点群データに最も近い外部基準点群データを特定する。位置特定部１６３は、外部基準点群データに関連付けて記憶部１５に記憶された位置又は向きを外部空間における画像処理装置１の位置又は向きとして特定する。位置特定部１６３は、特定した画像処理装置１の位置又は向きを外部画像表示処理部１６５に通知する。

位置特定部１６３は、操作部１３を介して入力された操作データが示す移動体Ｐの場所に対応する外部基準点群データを用いて外部空間における画像処理装置１の位置を特定してもよい。位置特定部１６３がこのように動作することで、位置特定部１６３は多数の場所に対応する多数の外部基準点群データを参照する必要がないため、外部空間における画像処理装置１の位置を特定するために要する時間を短縮することができる。

ところで、内部空間画像データは外部空間画像データに比べて変化が少ない。そこで、位置特定部１６３は、外部空間における画像処理装置１の位置を特定する処理を実行する周期よりも遅い周期で、内部空間における画像処理装置１の位置を特定してもよい。位置特定部１６３がこのように動作することで、処理の負荷を下げることができるので、位置特定部１６３が外部空間における画像処理装置１の位置の特定に要する時間を短縮することができる。

内部画像表示処理部１６４は、記憶部１５に記憶された複数の内部ＡＲ画像データを参照し、位置特定部１６３が特定した内部空間における画像処理装置１の位置に対応する内部ＡＲ画像を表示部１２に表示させるように表示処理部１６６に指示する。内部画像表示処理部１６４は、内部空間における画像処理装置１の向きに対応する内部ＡＲ画像を表示させてもよい。内部画像表示処理部１６４は、記憶部１５に記憶された複数の内部基準点群データのうち内部点群データに最も近い内部基準点群データを特定し、特定した内部基準点群データに関連付けて記憶された内部ＡＲ画像データを表示部１２に表示させてもよい。

内部画像表示処理部１６４は、表示部１２における、特定した内部ＡＲ画像データに関連付けて記憶部１５に記憶された位置に、内部ＡＲ画像データに基づく内部ＡＲ画像を表示させるように表示処理部１６６に指示する。内部画像表示処理部１６４は、例えば、図２（ａ）に示した内部ＡＲ画像Ｇ１及び図２（ｂ）に示した内部ＡＲ画像Ｇ１’のように、撮像画像における内部空間内の所定の被写体（例えば操縦桿Ｈ）の位置を基準にして定められた位置に内部ＡＲ画像を表示させる。メータＭ２が速度計である場合、内部画像表示処理部１６４は、速度計の位置を基準にして定められた位置に、速度に関する情報を含む内部ＡＲ画像を表示させてもよい。

この際、内部画像表示処理部１６４は、画像処理装置１の傾き（すなわちユーザＵの傾き）によらず、表示部１２の方向を基準として定められた方向に内部ＡＲ画像を表示してもよい。内部ＡＲ画像が、内部画像及び外部画像の被写体の傾きに連動する必要がない内容を含む場合、内部画像表示処理部１６４がこのように動作することで、ユーザＵが姿勢を傾けた状態においても内部ＡＲ画像の内容を把握しやすくなる。なお、内部ＡＲ画像が、内部空間内の被写体を操作する向きを示す情報を含む場合、内部画像表示処理部１６４は、画像処理装置１の傾きに連動して内部ＡＲ画像が表示部１２の方向に対して傾いた状態で内部ＡＲ画像を表示させてもよい。

また、内部画像表示処理部１６４は、内部空間の状態が所定の状態になったことを条件にして内部ＡＲ画像を表示させてもよい。一例として、内部画像表示処理部１６４は、内部空間画像データに基づいてコックピット内の表示灯（例えばアラーム灯）の状態が変化したことを検出した場合に、当該表示灯を基準とする所定の位置に、どのような対応をすべきかを示す情報を含む内部ＡＲ画像を表示させてもよい。

ところで、ユーザＵが後ろにのけぞった姿勢になった場合、内部空間の被写体（例えばコックピットの操縦桿ＨやメータＭ１）が小さく見える。そこで、内部画像表示処理部１６４は、これらの被写体の大きさに合わせて内部ＡＲ画像の大きさが変化させてもよい。具体的には、内部画像表示処理部１６４は、撮像画像データにおける一以上の被写体の特徴を示す複数の特徴点のパターンに基づいて決定した大きさの内部拡張現実画像を表示部１２に表示させてもよい。

より具体的には、内部画像表示処理部１６４は、位置特定部１６３が作成した内部空間点群データに最も近い内部基準点群データに関連付けて記憶部１５に記憶された大きさの内部ＡＲ画像データを特定し、特定した内部ＡＲ画像を表示部１２に表示させる。内部画像表示処理部１６４がこのように動作することで、ユーザＵの姿勢によって内部ＡＲ画像の大きさが変化するので、あたかも内部空間に内部ＡＲ画像が存在するかのように見えて臨場感が増す。

外部画像表示処理部１６５は、記憶部１５に記憶された複数の外部ＡＲ画像データを参照し、位置特定部１６３が特定した外部空間における画像処理装置１の位置に対応する外部ＡＲ画像を表示部１２に表示させるように表示処理部１６６に指示する。外部画像表示処理部１６５は、表示部１２における、外部空間における画像処理装置１の位置に関連付けて予め記憶部１５に記憶された位置に、外部ＡＲ画像を表示させる。外部画像表示処理部１６５は、外部空間における画像処理装置１の向きに対応する内部ＡＲ画像を表示させてもよい。外部画像表示処理部１６５は、位置特定部１６３が作成した外部空間点群データに最も近い外部基準点群データに関連付けて記憶部１５に記憶された外部ＡＲ画像データを特定し、特定した外部ＡＲ画像データに基づく外部ＡＲ画像を表示部１２に表示させてもよい。

表示処理部１６６は、内部画像表示処理部１６４から入力された内部ＡＲ画像データ及び外部画像表示処理部１６５から入力された外部ＡＲ画像データを表示部１２に表示させる。表示処理部１６６は、画像データ取得部１６１から撮像画像データを取得し、取得した撮像画像データと内部ＡＲ画像データ及び外部ＡＲ画像データを合成した画像データに基づく画像を表示部１２に表示させてもよい。

［画像処理装置１における処理の流れ］
図６は、画像処理装置１における処理の流れを示すフローチャートである。図６に示すフローチャートは、画像処理装置１の電源が投入された時点から開始している。

画像データ取得部１６１は、所定の時間間隔で撮像部１１から撮像画像データを取得する（Ｓ１１）。境界特定部１６２は、取得された撮像画像データに含まれる被写体の特徴点を抽出することにより点群データを作成し、作成した点群データを時刻に関連付けて記憶部１５に記憶させる（Ｓ１２）。

境界特定部１６２は、作成した点群データを直前の撮像画像データに対応する点群データと比較することにより、各特徴点の位置の変化速度を特定する（Ｓ１３）。境界特定部１６２は、特定した変化速度を分類することにより、撮像画像データにおける内部空間に対応する領域と外部空間に対応する領域との境界を特定する（Ｓ１４）。境界特定部１６２は、特定した境界に基づいて、内部空間に対応する内部空間点群データと、外部空間に対応する外部空間点群データとを作成する（Ｓ１５）。境界特定部１６２は、作成した内部空間点群データ及び外部空間点群データを時刻に関連付けて記憶部１５に記憶させる。

続いて、位置特定部１６３は、記憶部１５に記憶された複数の内部基準点群データのうち境界特定部１６２が作成した内部空間点群データに最も類似する内部基準点群データを特定し、特定した内部基準点群データに関連付けて記憶部１５に記憶された位置を、画像処理装置１の内部空間における位置として特定する（Ｓ１６）。内部画像表示処理部１６４は、位置特定部１６３が特定した内部空間における位置に対応する内部ＡＲ画像を表示部１２に表示させる（Ｓ１７）。

同様に、位置特定部１６３は、記憶部１５に記憶された複数の外部基準点群データのうち境界特定部１６２が作成した外部空間点群データに最も類似する外部基準点群データを特定し、特定した外部基準点群データに関連付けて記憶部１５に記憶された位置を、画像処理装置１の外部空間における位置として特定する（Ｓ１８）。外部画像表示処理部１６５は、位置特定部１６３が特定した外部空間における位置に対応する外部ＡＲ画像を表示部１２に表示させる（Ｓ１９）。なお、Ｓ１６及びＳ１７とＳ１８及びＳ１９とを実行する順序は任意である。

画像処理装置１は、ＡＲ画像の表示を中止する操作が操作部１３で行われるまでの間（Ｓ２０においてＮＯ）、Ｓ１１からＳ１９までの処理を繰り返す。

［画像処理装置１による効果］
以上説明したように、位置特定部１６３は、内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、内部空間における画像処理装置１の位置を特定し、外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、外部空間における画像処理装置の位置を特定する。画像処理装置１がこのように構成されていることで、移動体Ｐに乗っている人が移動体Ｐの内部の空間と外部の空間とを同時に見る場合においても、画像処理装置１の位置を正しく特定することができる。

また、位置特定部１６３が、内部空間における画像処理装置１の位置を特定することで、内部画像表示処理部１６４は、内部空間における画像処理装置１の位置に対応する内部ＡＲ画像を、ユーザが見ている内部空間又は外部空間における所定の位置に表示部１２に表示させることができる。また、外部画像表示処理部１６５は、外部空間における画像処理装置１の位置に対応する外部ＡＲ画像を、ユーザＵが見ている内部空間又は外部空間における所定の位置に表示部１２に表示させることができる。

内部画像表示処理部１６４及び外部画像表示処理部１６５がこのように構成されていることで、変化する速度がそれぞれ異なる内部空間と外部空間をユーザＵが見ている状態において、内部空間の状態及び外部空間の状態のそれぞれに適した内部ＡＲ画像及び外部ＡＲ画像をユーザＵに提示することができる。したがって、画像処理装置１は、移動体Ｐに乗ったユーザＵが装着して使用した状態でＡＲ画像を表示する必要がある用途において好適である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 画像処理装置
１１ 撮像部
１２ 表示部
１３ 操作部
１４ 通信部
１５ 記憶部
１６ 制御部
１２１ 右側レンズ
１２２ 左側レンズ
１２３ 右側投影部
１２４ 左側投影部
１６１ 画像データ取得部
１６２ 境界特定部
１６３ 位置特定部
１６４ 内部画像表示処理部
１６５ 外部画像表示処理部
１６６ 表示処理部

Claims (9)

1. 人が装着可能な眼鏡形状の画像処理装置であって、
   移動体に乗っている人が装着している前記画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得する画像データ取得部と、
   前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとの境界を特定する境界特定部と、
   前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定し、前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定する位置特定部と、
   前記位置特定部が特定した前記内部空間における前記画像処理装置の位置に対応する内部拡張現実画像を前記画像処理装置が有する表示部に表示させる内部画像表示処理部と、
   を有し、
   前記内部画像表示処理部は、前記内部拡張現実画像が、前記内部空間内の被写体の傾きに連動する必要がない内容を含む場合、前記画像処理装置の傾きによらず、前記表示部の方向を基準として定められた方向に前記内部拡張現実画像を表示し、前記内部拡張現実画像が、前記内部空間内の被写体を操作する向きを示す情報を含む場合、前記内部画像表示処理部は、前記画像処理装置の傾きに連動して前記内部拡張現実画像が前記表示部の方向に対して傾いた状態で前記内部拡張現実画像を表示する、
   画像処理装置。
2. 前記位置特定部は、最新の前記内部空間画像データに含まれる前記複数の特徴点の位置と、直前の前記内部空間画像データに含まれる前記複数の特徴点の位置との関係に基づいて、前記内部空間における前記画像処理装置の位置を特定し、最新の前記外部空間画像データに含まれる前記複数の特徴点の位置と、直前の前記外部空間画像データに含まれる前記複数の特徴点の位置との関係に基づいて、前記外部空間における前記画像処理装置の位置を特定する、
   請求項１に記載の画像処理装置。
3. 前記位置特定部は、前記外部空間における前記画像処理装置の位置を特定する処理を実行する周期よりも遅い周期で、前記内部空間における前記画像処理装置の位置を特定する、
   請求項１又は２に記載の画像処理装置。
4. 前記位置特定部が特定した前記外部空間における前記画像処理装置の位置に対応する外部拡張現実画像を前記表示部に表示させる外部画像表示処理部をさらに有する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記内部画像表示処理部は、前記撮像画像データにおける一以上の被写体の特徴を示す複数の特徴点のパターンに基づいて決定した大きさの前記内部拡張現実画像を前記表示部に表示させる、
   請求項１に記載の画像処理装置。
6. 前記外部画像表示処理部は、前記表示部における、前記外部空間における前記画像処理装置の位置に関連付けて予め記憶部に記憶された位置に前記外部拡張現実画像を表示させる、
   請求項４に記載の画像処理装置。
7. 前記画像データ取得部は、所定の時間間隔ごとに前記撮像画像データを取得し、
   前記境界特定部は、異なる時刻に取得された複数の前記撮像画像データにおける含まれる複数の被写体それぞれの位置の変化速度に基づいて前記境界を特定する、
   請求項１から６のいずれか一項に記載の画像処理装置。
8. プロセッサが実行する、
   移動体に乗っている人が装着している眼鏡形状の画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、
   前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、
   前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、
   前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、
   特定した前記内部空間における前記画像処理装置の位置に対応する内部拡張現実画像を前記画像処理装置が有する表示部に表示させるステップと、
   を有し、
   前記表示させるステップにおいて、前記内部拡張現実画像が、前記内部空間内の被写体の傾きに連動する必要がない内容を含む場合、前記画像処理装置の傾きによらず、前記表示部の方向を基準として定められた方向に前記内部拡張現実画像を表示し、前記内部拡張現実画像が、前記内部空間内の被写体を操作する向きを示す情報を含む場合、前記画像処理装置の傾きに連動して前記内部拡張現実画像が前記表示部の方向に対して傾いた状態で前記内部拡張現実画像を表示する画像処理方法。
9. プロセッサに、
   移動体に乗っている人が装着している眼鏡形状の画像処理装置が前記移動体の内部空間と前記移動体の外部空間とを撮影することにより生成された撮像画像データを取得するステップと、
   前記撮像画像データにおける前記内部空間に対応する内部空間画像データと、前記撮像画像データにおける前記外部空間に対応する外部空間画像データとを特定するステップと、
   前記内部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記内部空間における前記画像処理装置の位置を特定するステップと、
   前記外部空間画像データに含まれる被写体の複数の特徴点の位置に基づいて、前記外部空間における前記画像処理装置の位置を特定するステップと、
   特定した前記内部空間における前記画像処理装置の位置に対応する内部拡張現実画像を前記画像処理装置が有する表示部に表示させるステップと、
   を実行させ、
   前記表示させるステップにおいて、前記内部拡張現実画像が、前記内部空間内の被写体の傾きに連動する必要がない内容を含む場合、前記画像処理装置の傾きによらず、前記表示部の方向を基準として定められた方向に前記内部拡張現実画像を表示し、前記内部拡張現実画像が、前記内部空間内の被写体を操作する向きを示す情報を含む場合、前記画像処理装置の傾きに連動して前記内部拡張現実画像が前記表示部の方向に対して傾いた状態で前記内部拡張現実画像を表示させるためのプログラム。