JP7746729B2 - 遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラム - Google Patents

Description

本発明は、遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラムに関する。

特許文献１には、ターゲットへのユーザ誘導を円滑に行うことを目的とした誘導支援方法が開示されている。この誘導支援方法は、予め記憶した空間情報の中からターゲット情報を検出し、前記空間情報が規定する空間における表示装置の位置とターゲット情報が規定するターゲットの位置を計測する。また、この誘導支援方法は、計測した前記表示装置の位置と前記ターゲットの位置とに基づいて前記表示装置に表示するアイコンの位置と該アイコンの動きを決定し、前記表示装置において決定した前記位置で決定した前記動きをする前記アイコンを表示する。そして、この誘導支援方法は、前記表示装置の位置の変化に応じて、該表示装置に表示する前記アイコンの位置及び動きを変更する処理を行う。

また、特許文献２には、撮像画像の受信機器で入力される情報の表示を制御する情報処理システムが開示されている。この情報処理システムは、撮像システムによる撮像画像を受信する第１のシステムに対する入力に応じて生成される第１の情報と、前記撮像システムによる撮像画像を受信する第２のシステムに対する入力に応じて生成される第２の情報とを集約して得られる集約画像の表示を制御する制御部を具備する。

更に、特許文献３には、作業者から見た映像を撮影する撮影部を有する現場用端末と、前記現場用端末との間で情報を送受信する指示用端末とを備えた遠隔作業支援装置が開示されている。この遠隔作業支援装置は、前記指示用端末が、前記撮影部により撮影された映像から、前記作業者の位置及び向きを推定する位置方向推定部と、前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、を備える。また、この遠隔作業支援装置は、前記指示用端末が、前記現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部と、を備える。そして、この遠隔作業支援装置は、前記現場用端末が、前記方向計算部による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、前記案内画像生成部により生成された画像を含む画面を表示する現場側表示部と、を備える。

特開２０１７－０６８６８９号公報 国際公開第２０１７／０５６６３１号 国際公開第２０１７／１５８７１８号

本発明は、撮影方向を指示しない場合に比較して、より正確に利用者を要求される撮影位置及び撮影姿勢に誘導することができる遠隔支援システム、端末装置、遠隔装置、誘導画像表示プログラム、及び遠隔支援プログラムを提供することを目的とする。

上記目的を達成するために、第１態様に係る遠隔支援システムは、端末装置と遠隔装置とを含む遠隔支援システムであって、前記端末装置は第１のプロセッサを備え、前記第１のプロセッサは、対象物を含む空間を撮影して得られた画像情報を前記遠隔装置に送信し、前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて前記遠隔装置によって導出された、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を受信し、受信した前記表示情報を用いて前記誘導画像を表示し、前記遠隔装置は第２のプロセッサを備え、前記第２のプロセッサは、前記画像情報を前記端末装置から受信し、受信した前記画像情報、及び前記３次元位置情報に応じて前記表示情報を導出し、導出した前記表示情報を前記端末装置に送信する。ここで、前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である。

また、第２態様に係る遠隔支援システムは、第１態様に係る遠隔支援システムにおいて、前記第１のプロセッサが、前記３次元位置情報を前記遠隔装置に更に送信するものである。

また、第３態様に係る遠隔支援システムは、第１態様又は第２態様に係る遠隔支援システムにおいて、前記誘導画像が、前記３次元空間における前記表示位置に前記姿勢で仮想的に表示される指示面を有するものである。

また、第４態様に係る遠隔支援システムは、第３態様に係る遠隔支援システムにおいて、前記誘導画像が、前記指示面を有する多面体であるものである。

また、第５態様に係る遠隔支援システムは、第４態様に係る遠隔支援システムにおいて、前記多面体が、正多面体であるものである。

また、第６態様に係る遠隔支援システムは、第４態様又は第５態様に係る遠隔支援システムにおいて、前記指示面が、前記多面体の内部で、かつ、当該多面体の頂点の一部を頂点とした面であるものである。

また、第７態様に係る遠隔支援システムは、第４態様～第６態様の何れか１態様に係る遠隔支援システムにおいて、前記第１のプロセッサが、前記誘導画像に加えて、前記多面体と同一形状及び同一寸法で、かつ、前記指示面を有しない複数の多面体を、前記対象物を含む領域に対して並べて表示するものである。

また、第８態様に係る遠隔支援システムは、第４態様～第７態様の何れか１態様に係る遠隔支援システムにおいて、前記第１のプロセッサが、実際の撮影状態が、前記表示位置及び前記姿勢に対応する状態となった場合に、前記指示面と形状及び寸法が一致するマークを更に表示するものである。

また、第９態様に係る遠隔支援システムは、第４態様～第８態様の何れか１態様に係る遠隔支援システムにおいて、前記多面体が、前記指示面を含み、かつ、前記対象物に至る柱状画像を更に含むものである。

また、第１０態様に係る遠隔支援システムは、第９態様に係る遠隔支援システムにおいて、前記柱状画像が、円柱状画像であるものである。

また、第１１態様に係る遠隔支援システムは、第１態様～第１０態様の何れか１態様に係る遠隔支援システムにおいて、前記第１のプロセッサが、実際の撮影状態と、前記表示位置及び前記姿勢に対応する撮影状態とのずれ量に応じて前記誘導画像の表示状態を変更するものである。

また、第１２態様に係る遠隔支援システムは、第１１態様に係る遠隔支援システムにおいて、前記表示状態が、点滅間隔、表示色、及び透過率の少なくとも１つであるものである。

また、第１３態様に係る遠隔支援システムは、第１２態様に係る遠隔支援システムにおいて、前記第１のプロセッサが、前記透過率を変更する場合、前記ずれ量が少なくなるほど当該透過率を増加させるものである。

また、第１４態様に係る遠隔支援システムは、第１態様～第１３態様の何れか１態様に係る遠隔支援システムにおいて、前記第１のプロセッサが、対象物の対象とする位置が撮影されたら、当該位置にマーカを仮想的に表示するものである。

また、上記目的を達成するために、第１５態様に係る端末装置は、プロセッサを備え、前記プロセッサは、対象物を含む空間を撮影して得られた画像情報を遠隔装置に送信し、前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて前記遠隔装置によって導出された、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を受信し、受信した前記表示情報を用いて前記誘導画像を表示する。ここで、前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である。

また、上記目的を達成するために、第１６態様に係る遠隔装置は、プロセッサを備え、前記プロセッサは、対象物を含む空間を撮影して得られた画像情報を端末装置から受信し、受信した前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を導出し、導出した前記表示情報を前記端末装置に送信する。ここで、前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である。

また、上記目的を達成するために、第１７態様に係る誘導画像表示プログラムは、対象物を含む空間を撮影して得られた画像情報を遠隔装置に送信し、前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて前記遠隔装置によって導出された、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を受信し、受信した前記表示情報を用いて前記誘導画像を表示する、処理をコンピュータに実行させる。ここで、前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である。

更に、上記目的を達成するために、第１８態様に係る遠隔支援プログラムは、対象物を含む空間を撮影して得られた画像情報を端末装置から受信し、受信した前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を導出し、導出した前記表示情報を前記端末装置に送信する、処理をコンピュータに実行させる。ここで、前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である。

第１態様、第１５態様～第１８態様によれば、撮影方向を指示しない場合に比較して、より正確に利用者を要求される撮影位置及び撮影姿勢に誘導することができる。

第２態様によれば、３次元位置情報を遠隔装置に予め登録しておく場合に比較して、より高い精度の３次元位置情報を遠隔装置に登録することができる。

第３態様によれば、誘導画像に指示面を有さない場合に比較して、より直感的に利用者を要求される撮影位置及び撮影姿勢に誘導することができる。

第４態様によれば、誘導画像を多面体としない場合に比較して、より直感的に利用者を要求される撮影位置及び撮影姿勢に誘導することができる。

第５態様によれば、多面体を正多面体としない場合に比較して、より容易に利用者を要求される撮影位置及び撮影姿勢に誘導することができる。

第６態様によれば、多面体の頂点に対する指定によって指示面を設定することができる結果、指示面として多面体の頂点を用いない場合に比較して、より簡易に誘導画像を設定することができる。

第７態様によれば、指示面を有しない複数の多面体を表示しない場合に比較して、対象物が比較的遠方に存在する場合であっても、誘導画像により示される撮影位置及び撮影方向が把握しやすくなる。

第８態様によれば、マークを表示しない場合に比較して、より容易に利用者を要求される撮影位置及び撮影姿勢に誘導することができる。

第９態様によれば、柱状画像を含まない場合に比較して、対象物までの距離感を向上させることができる結果、より容易に利用者を要求される撮影位置及び撮影姿勢に誘導することができる。

第１０態様によれば、柱状画像を角柱状画像とする場合に比較して、対象物までの距離感を、より高めることができる。

第１１態様によれば、実際の撮影状態と、上記表示位置及び姿勢に対応する撮影状態とのずれ量に応じて誘導画像の表示状態を変更しない場合に比較して、より短時間で、利用者を要求される撮影位置及び撮影姿勢に誘導することができる。

第１２態様によれば、適用した表示状態の変化を利用して、実際の撮影状態と、要求される撮影状態とのずれ量を把握することができる。

第１３態様によれば、上記透過率を変更する場合に、上記ずれ量が多くなるほど当該透過率を増加させる場合に比較して、対象物の視認性を向上させることができる。

第１４態様によれば、対象物の対象とする位置にマーカを表示しない場合に比較して、より容易に、利用者に対して対象とする位置を把握させることができる。

実施形態に係る遠隔支援システムのハードウェア構成の一例を示すブロック図である。 実施形態に係る遠隔支援システムの機能的な構成の一例を示すブロック図である。 実施形態に係る誘導画像の一例を示す斜視図である。 実施形態に係る誘導画像表示処理の一例を示すフローチャートである。 実施形態に係る誘導画像表示画面の一例を示す正面図である。 実施形態に係る誘導画像表示画面の他の一例を示す正面図である。 実施形態に係る遠隔支援処理の一例を示すフローチャートである。 実施形態に係る誘導画像設定画面の一例を示す正面図である。 実施形態に係る誘導画像設定画面の他の一例を示す正面図である。 実施形態に係る誘導画像の他の一例を示す斜視図である。 実施形態に係る誘導画像の他の一例を示す斜視図である。 実施形態に係る誘導画像の他の一例を示す斜視図である。 実施形態に係る誘導画像の他の一例を示す斜視図である。 実施形態に係る誘導画像表示画面の他の一例を示す正面図である。

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。なお、本実施形態では、本発明を、各々利用者が個別に用いる携帯型の端末である複数の端末装置と、各端末装置とは離れた遠隔地に設けられた遠隔装置と、を含む遠隔支援システムに適用した場合について説明する。また、本実施形態では、利用者がデジタル複合機やプリンタ等の画像形成装置のメンテナンスを行う作業員であり、遠隔支援システムが、当該作業員の画像形成装置に対するメンテナンスを遠隔支援するシステムである場合について説明する。

まず、図１及び図２を参照して、本実施形態に係る遠隔支援システム９０の構成を説明する。図１は、本実施形態に係る遠隔支援システム９０のハードウェア構成の一例を示すブロック図である。また、図２は、本実施形態に係る遠隔支援システム９０の機能的な構成の一例を示すブロック図である。

図１に示すように、本実施形態に係る遠隔支援システム９０は、ネットワーク８０に各々アクセス可能とされた、遠隔装置１０と、複数の端末装置３０と、を含む。なお、遠隔装置１０の例としては、パーソナルコンピュータ及びサーバコンピュータ等の情報処理装置が挙げられる。また、端末装置３０の例としては、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant、携帯情報端末）等の携帯型の端末が挙げられる。

本実施形態に係る端末装置３０は、遠隔支援システム９０を利用する複数の利用者（以下、単に「利用者」という。）の各々が画像形成装置をメンテナンスする場合に所持する装置である。端末装置３０は、ＣＰＵ（Central Processing Unit）３１、一時記憶領域としてのメモリ３２、不揮発性の記憶部３３、タッチパネル等の入力部３４、液晶ディスプレイ等の表示部３５、及び媒体読み書き装置（Ｒ／Ｗ）３６を備えている。また、端末装置３０は、撮影部３８、マイク３９、位置検出部４０、空間情報検出部４１、及び無線通信部４２を備えている。ＣＰＵ３１、メモリ３２、記憶部３３、入力部３４、表示部３５、媒体読み書き装置３６、撮影部３８、マイク３９、位置検出部４０、空間情報検出部４１、及び無線通信部４２はバスＢ１を介して互いに接続されている。媒体読み書き装置３６は、記録媒体３７に書き込まれている情報の読み出し及び記録媒体３７への情報の書き込みを行う。

記憶部３３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現される。記憶媒体としての記憶部３３には、誘導画像表示プログラム３３Ａが記憶されている。誘導画像表示プログラム３３Ａは、誘導画像表示プログラム３３Ａが書き込まれた記録媒体３７が媒体読み書き装置３６にセットされ、媒体読み書き装置３６が記録媒体３７からの誘導画像表示プログラム３３Ａの読み出しを行うことで、記憶部３３へ記憶される。ＣＰＵ３１は、誘導画像表示プログラム３３Ａを記憶部３３から読み出してメモリ３２に展開し、誘導画像表示プログラム３３Ａが有するプロセスを順次実行する。

また、本実施形態に係る撮影部３８は、メンテナンスの対象とする画像形成装置を撮影するものであり、当該撮影によって得られた画像情報を出力する。また、本実施形態に係るマイク３９は、利用者が発した音声を収集し、音声情報を出力する。

また、本実施形態に係る位置検出部４０は、自身の位置を検出し、位置情報を出力するものであり、本実施形態では、ＧＰＳ（Global Positioning Systems）を利用したものが適用されているが、この形態に限定されるものではない。例えば、ＷｉＦｉ（登録商標）のルータから取得される位置情報を用いるものや、ビーコン（Beacon）を利用して位置を検出するもの、撮影画像を用いた画像解析により位置を検出するもの等を位置検出部４０として適用する形態としてもよい。

更に、本実施形態に係る空間情報検出部４１は、端末装置３０の前面側における空間に含まれる物体の３次元の位置を示す情報（以下、「３次元位置情報」という。）を検出するものである。本実施形態に係る空間情報検出部４１は、撮影部３８による撮影画角に対応する空間の３次元位置情報を検出するものとされており、本実施形態では、深度センサを空間情報検出部４１として適用しているが、この形態に限るものではない。例えば、３次元スキャナ等を空間情報検出部４１として適用する形態としてもよい。

一方、遠隔装置１０は、遠隔支援システム９０において中心的な役割を有する装置であり、利用者に対して提示される、詳細を後述する誘導画像を導出する装置である。遠隔装置１０は、ＣＰＵ１１、一時記憶領域としてのメモリ１２、不揮発性の記憶部１３、キーボードとマウス等の入力部１４、液晶ディスプレイ等の表示部１５、媒体読み書き装置１６及び通信インタフェース（Ｉ／Ｆ）部１８を備えている。ＣＰＵ１１、メモリ１２、記憶部１３、入力部１４、表示部１５、媒体読み書き装置１６及び通信Ｉ／Ｆ部１８はバスＢ２を介して互いに接続されている。媒体読み書き装置１６は、記録媒体１７に書き込まれている情報の読み出し及び記録媒体１７への情報の書き込みを行う。

記憶部１３はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶媒体としての記憶部１３には、遠隔支援プログラム１３Ａが記憶されている。遠隔支援プログラム１３Ａは、遠隔支援プログラム１３Ａが書き込まれた記録媒体１７が媒体読み書き装置１６にセットされ、媒体読み書き装置１６が記録媒体１７からの遠隔支援プログラム１３Ａの読み出しを行うことで、記憶部１３へ記憶される。ＣＰＵ１１は、遠隔支援プログラム１３Ａを記憶部１３から読み出してメモリ１２に展開し、遠隔支援プログラム１３Ａが有するプロセスを順次実行する。

なお、本実施形態では、ネットワーク８０として、インターネット、電話回線網等の公共の通信回線を適用しているが、この形態に限定されるものではない。例えば、ネットワーク８０として、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の企業内の通信回線を適用してもよく、これらの企業内の通信回線及び公共の通信回線を組み合わせて適用してもよい。

次に、図２を参照して、本実施形態に係る遠隔装置１０及び端末装置３０の機能的な構成について説明する。

図２に示すように、本実施形態に係る端末装置３０は、第１送信部３１Ａ、第１受信部３１Ｂ、及び第１表示制御部３１Ｃを含む。端末装置３０のＣＰＵ３１が誘導画像表示プログラム３３Ａを実行することで、第１送信部３１Ａ、第１受信部３１Ｂ、及び第１表示制御部３１Ｃとして機能する。

本実施形態に係る第１送信部３１Ａは、対象物を含む空間を撮影して得られた画像情報（以下、単に「画像情報」という。）を遠隔装置１０に送信する。なお、本実施形態では、上述したように、対象物として、メンテナンスの対象である画像形成装置を適用している。

また、本実施形態に係る第１受信部３１Ｂは、画像情報、及び上記空間に含まれる物体の３次元位置情報に応じて遠隔装置１０によって導出された、対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報（以下、単に「表示情報」という。）を受信する。なお、本実施形態では、第１送信部３１Ａによる画像情報の送信、及び第１受信部３１Ｂによる表示情報の受信を、無線通信部４２を介して行っているが、これに限るものではない。

そして、本実施形態に係る第１表示制御部３１Ｃは、受信した表示情報を用いて誘導画像を表示部３５により表示する。

一方、図２に示すように、本実施形態に係る遠隔装置１０は、第２受信部１１Ａ、第２表示制御部１１Ｂ、導出部１１Ｃ、及び第２送信部１１Ｄを含む。遠隔装置１０のＣＰＵ１１が遠隔支援プログラム１３Ａを実行することで、第２受信部１１Ａ、第２表示制御部１１Ｂ、導出部１１Ｃ、及び第２送信部１１Ｄとして機能する。

本実施形態に係る第２受信部１１Ａは、画像情報を端末装置３０から受信する。また、本実施形態に係る導出部１１Ｃは、受信した画像情報、及び上述した３次元位置情報に応じて上記表示情報を導出する。更に、本実施形態に係る第２送信部１１Ｄは、導出した表示情報を端末装置３０に送信する。

なお、本実施形態に係る遠隔支援システム９０では、第２表示制御部１１Ｂにより、受信した画像情報、及び上述した３次元位置情報を用いて、詳細を後述する誘導画像設定画面を表示部１５により表示する。そして、本実施形態に係る導出部１１Ｃは、表示部１５によって表示された誘導画像設定画面に対して、遠隔装置１０のユーザにより誘導画像の表示位置及び姿勢を設定させることで表示情報を導出する。

また、本実施形態では、画像情報として、静止画像を示す画像情報を適用している。従って、端末装置３０に設けられた撮影部３８は、静止画像の撮影が可能とされたものとされているが、これに限るものではない。例えば、静止画像及び動画像の双方の撮影が可能とされた撮影部を撮影部３８として適用する形態としてもよいことは言うまでもない。また、本実施形態では、画像情報として、カラー画像を示す画像情報を適用しており、従って、本実施形態に係る撮影部３８は、カラー画像の撮影を行うことができるものとされているが、これに限るものではない。例えば、画像情報として、モノクロ画像を示す画像情報を適用し、撮影部３８として、モノクロ画像の撮影を行うことができるものを適用する形態としてもよい。

また、本実施形態では、遠隔装置１０によって用いられる３次元位置情報を、端末装置３０の空間情報検出部４１により得られて、第１送信部３１Ａによって送信され、遠隔装置１０の第２受信部１１Ａによって受信されることで得る形態としている。但し、この形態に限定されるものではなく、端末装置３０の空間情報検出部４１とは異なる計測器を用いて別途得られた３次元位置情報を遠隔装置１０の記憶部１３に予め記憶しておく形態としてもよい。

また、本実施形態では、誘導画像が、上記３次元空間における上記表示位置に上記姿勢で仮想的に表示される指示面を有するものとされており、特に、本実施形態に係る誘導画像は、当該指示面を有する多面体とされている。更に、本実施形態に係る当該多面体は、正多面体とされている。図３には、本実施形態に係る誘導画像６０の一例を示す斜視図が示されている。

図３に示すように、本実施形態に係る誘導画像６０は、上述した指示面６０Ａを有する多面体６０Ｂとされており、多面体６０Ｂは正六面体とされている。

そして、本実施形態に係る誘導画像６０の指示面６０Ａは、多面体６０Ｂの内部で、かつ、多面体６０Ｂの頂点６０ａ～６０ｈの一部を頂点（図３に示す例では、頂点６０ａ、６０ｃ、６０ｆ）とした面とされている。従って、この場合、指示面６０Ａを正対する方向から目視した場合には、指示面６０Ａは正三角形となる。

このように、本実施形態では、誘導画像として多面体６０Ｂを有するものを適用しているが、この形態に限るものではない。例えば、多面体６０Ｂを有しない、指示面６０Ａのみを誘導画像として適用する形態としてもよい。

更に、本実施形態に係る第１表示制御部３１Ｃは、端末装置３０による実際の撮影状態と、上記表示位置及び姿勢に対応する撮影状態とのずれ量に応じて誘導画像６０の表示状態を変更する。ここで、本実施形態では、当該表示状態として、透過率を適用しており、上記ずれ量が少なくなるほど当該透過率を増加させるものとしている。但し、この形態に限るものではなく、上記透過率に代えて、点滅間隔及び表示色の何れか一方を上記表示状態として適用する形態としてもよいし、点滅間隔、表示色、及び透過率の２つ、又は３つの組み合わせを上記表示状態として適用する形態としてもよい。

また、本実施形態では、第１表示制御部３１Ｃにより、対象物の対象とする位置が撮影されたら、当該位置にマーカを仮想的に表示する。

次に、図４～図９を参照して、本実施形態に係る遠隔支援システム９０の作用を説明する。まず、図４～図６を参照して、本実施形態に係る端末装置３０の作用を説明する。図４は、本実施形態に係る誘導画像表示処理の一例を示すフローチャートである。なお、錯綜を回避するために、以下では、遠隔支援システム９０による遠隔支援の対象とする作業そのものに関する指示を行うための処理については説明を省略し、利用者を要求される撮影位置及び撮影姿勢に誘導するための処理のみについて説明する。

本実施形態に係る遠隔支援システム９０では、利用者が端末装置３０を用いて、対象物を含む空間を予め定められた方向（本実施形態では、対象物の正面）から撮影し、これにより撮影部３８によって得られた画像情報と、当該撮影と同じタイミングで空間情報検出部４１によって得られた３次元位置情報を記憶部３３に記憶する。

この状態において利用者により端末装置３０に対して、誘導画像表示処理の実行の指示入力が行われた場合に、端末装置３０のＣＰＵ３１が誘導画像表示プログラム３３Ａを実行することで、図４に示す誘導画像表示処理が実行される。

図４のステップ１００で、ＣＰＵ３１は、記憶部３３から画像情報及び３次元位置情報を読み出し、ステップ１０２で、ＣＰＵ３１は、取得した画像情報及び３次元位置情報を遠隔装置１０に送信する。

詳細は後述するが、画像情報及び３次元位置情報を受信すると、遠隔装置１０は、これらの情報を用いて、利用者を要求される撮影位置及び撮影姿勢に誘導するための誘導画像６０を表示するための情報である、上述した表示情報（以下、「誘導画像表示情報」という。）を導出する。そして、遠隔装置１０は、導出した誘導画像表示情報をアクセス元の端末装置３０に送信する。この際、遠隔装置１０は、対象物のメンテナンスの対象とする位置（以下、「ターゲット」という。）にマーカを仮想的に表示するためのマーカ表示情報を誘導画像表示情報と共に端末装置３０に送信する。

そこで、ステップ１０４で、ＣＰＵ３１は、誘導画像表示情報及びマーカ表示情報を遠隔装置１０から受信するまで待機する。

ステップ１０６で、ＣＰＵ３１は、この時点の自身の撮影位置及び姿勢（撮影方向と同意）の各々を特定する。ここで、上記撮影位置を示す情報は、位置検出部４０により得られる。また、上記姿勢を示す情報は、端末装置３０に内蔵されたジャイロセンサ（図示省略。）により得られる。但し、この形態に限るものではなく、例えば、ジャイロセンサに代えて加速度センサ等によって上記姿勢を示す情報を得る形態としてもよい。

ステップ１０８で、ＣＰＵ３１は、受信した誘導画像表示情報及びマーカ表示情報と、特定した自身の撮影位置及び姿勢と、この時点で撮影部３８によって撮影されている画像（以下、「実撮影画像」という。）と、を用いて、予め定められた構成とされた誘導画像表示画面を表示するように表示部３５を制御する。図５には、本実施形態に係る誘導画像表示画面の一例が示されている。

図５に示すように、本実施形態に係る誘導画像表示画面では、誘導画像６０における多面体６０Ｂ内の指示面６０Ａに正対するように、端末装置３０の位置及び姿勢の設定を促すメッセージが表示される。また、本実施形態に係る誘導画像表示画面では、誘導画像６０が実撮影画像に、指示面６０Ａが、誘導画像表示情報が示す表示位置及び姿勢となるように重畳された状態で表示される。また、本実施形態に係る誘導画像表示画面では、実際の撮影状態と、要求される撮影位置及び撮影姿勢に対応する撮影状態とのずれ量に応じて誘導画像６０の表示状態（本実施形態では、透過率）が逐次変更（本実施形態では、ずれ量が少なくなるほど増加）される。

即ち、本実施形態に係る誘導画像６０は、指示面６０Ａが、端末装置３０による撮影位置及び姿勢が、要求される撮影位置及び姿勢となった場合に正三角形となる３次元の画像とされている。

そして、本実施形態に係る端末装置３０では、端末装置３０による撮影位置及び姿勢が、要求される撮影位置及び姿勢とは異なる状態となっている場合には、その状態において、上記要求される撮影位置及び姿勢である場合に指示面６０Ａが正三角形で見える誘導画像６０を見た場合の当該誘導画像６０が当該撮影位置に表示される。

図５に示す例では、この時点で対象物５０を正面から撮影しており、要求される撮影位置が対象物５０の左側面側である場合の誘導画像表示画面の一例が示されている。この場合、誘導画像６０の指示面６０Ａは、正三角形が歪んだ状態となり、その大きさは、端末装置３０から要求される撮影位置までの距離が長くなるほど小さくなる。従って、利用者は、誘導画像表示画面を参照することで、対象物５０に対して要求される撮影位置及び姿勢を誘導画像６０の表示位置及びサイズと、指示面６０Ａの形状から直感的に把握することができる。

図６に示す例は、図５に示す例において、端末装置３０が要求される撮影位置及び姿勢に、より近づいた場合の誘導画像表示画面の一例である。この場合、対象物５０が左側面側から撮影された状態で表示されると共に、誘導画像６０の指示面６０Ａは正三角形に近い状態となる。また、この場合、撮影画角内にターゲットが含まれるため、上述したマーカ７０が表示される。このため、利用者は、ターゲットの位置も容易に把握することができる。

なお、本実施形態では、この端末装置３０による撮影位置及び姿勢によって、表示位置、形状、サイズ、及び透過率の異なる誘導画像６０を示す情報を端末装置３０によって逐次生成しているが、これに限るものではない。例えば、遠隔装置１０によって当該誘導画像６０を示す情報を逐次生成して端末装置３０に送信する形態としてもよい。

ステップ１１０で、ＣＰＵ３１は、端末装置３０が要求される撮影位置及び姿勢となり、利用者の誘導先への誘導が終了したか否かを判定し、否定判定となった場合はステップ１０６に戻る一方、肯定判定となった場合は本誘導画像表示処理を終了する。

このステップ１０６～ステップ１１０の繰り返し処理により、端末装置３０の表示部３５には、端末装置３０により撮影されている対象物５０が表示されると共に、端末装置３０による撮影位置及び姿勢に応じた状態の誘導画像６０が重畳された状態で表示される。従って、利用者は、この表示画面を参照することで、端末装置３０を、直感的に、要求される撮影位置及び姿勢とすることができる。

なお、誘導画像表示処理が終了すると、従来既知の技術により、対象物５０に対して必要なメンテナンスを行うための遠隔支援の処理が実行される。

次に、図７～図９を参照して、本実施形態に係る遠隔装置１０の作用を説明する。図７は、本実施形態に係る遠隔支援処理の一例を示すフローチャートである。なお、ここでは、遠隔装置１０のユーザが、利用者に対して遠隔指示を行う人（以下、「遠隔指示者」という。）である場合について説明する。

本実施形態に係る遠隔支援システム９０では、利用者による遠隔支援システム９０の利用可能日（本実施形態では、平日）の利用可能時間帯（本実施形態では、午前８時から午後５時までの時間帯）における予め定められた期間（本実施形態では、１０分）毎に、遠隔装置１０のＣＰＵ１１が遠隔支援プログラム１３Ａの実行を開始することで、図７に示す遠隔支援処理が実行される。

図７のステップ２００で、ＣＰＵ１１は、何れかの端末装置３０から画像情報及び３次元位置情報が受信されるまで待機する。ステップ２０２で、ＣＰＵ１１は、受信した情報を用いて、予め定められた構成とされた誘導画像設定画面を表示するように表示部１５を制御した後、ステップ２０４で、ＣＰＵ１１は、予め定められた情報が入力されるまで待機する。図８には、本実施形態に係る誘導画像設定画面の一例が示されている。

図８に示すように、本実施形態に係る誘導画像設定画面では、多面体の位置及び指示面の指定を促すメッセージ、及び上述したターゲットの位置の指定を促すメッセージが表示される。また、本実施形態に係る誘導画像設定画面では、受信した画像情報が示す撮影画像と、受信した３次元位置情報が示す各物体の３次元位置とを用いて、当該撮影画像に対応する撮影領域の３次元空間が、対象物５０が含められた状態で仮想的に表示される。更に、本実施形態に係る誘導画像設定画面では、誘導画像６０における多面体６０Ｂが、予め定められたデフォルトの位置に、デフォルトのサイズで表示される。

従って、遠隔指示者は、誘導画像設定画面を参照することにより、アクセス元の利用者（以下、単に「利用者」という。）によって、端末装置３０により撮影された対象物５０の位置を、上記３次元空間における位置として把握することができる。そこで、遠隔指示者は、表示されている多面体６０Ｂを、要求される撮影位置（本実施形態では、対象物５０のメンテナンスを開始する時点の利用者の位置）に、入力部１４を介して移動させる。この際、遠隔装置１０のＣＰＵ１１は、上記３次元空間内における、遠隔指示者により移動されている多面体６０Ｂの位置と、端末装置３０による撮影位置との間の距離に応じて、多面体６０Ｂのサイズを逐次変更する。従って、遠隔指示者は、多面体６０Ｂのサイズによって、前後方向に対する多面体６０Ｂの位置を把握することができる。

要求される撮影位置への多面体６０Ｂの移動が終了すると、遠隔指示者は、要求される撮影方向、又は当該撮影方向に最も近い方向を向く姿勢（傾斜角）となる指示面を構成する多面体６０Ｂの頂点を、入力部１４を介して指定する。この指定に応じて、誘導画像設定画面には、一例として図９に示す状態で誘導画像６０が表示される。

このように、本実施形態では、誘導画像６０に関する操作として、多面体６０Ｂの要求される撮影位置への移動を行った後に指示面６０Ａの指定を行っているが、この形態に限るものではない。例えば、指示面６０Ａの指定を行った後に誘導画像６０の移動を行う形態としてもよい。

また、遠隔指示者は、対象物５０における、上述したターゲットの位置を、入力部１４を介して指定する。この際、表示されている誘導画像設定画面では対象物５０のターゲットの位置が表示されていない場合もあるが、その場合は、ターゲットの位置が見えるように、対象物５０、又は誘導画像設定画面そのものを３次元空間において回転させたうえでターゲットの位置を指定する。

そして、遠隔指示者は、以上の誘導画像６０に関する指定及びターゲットの位置の指定が終了すると、入力部１４を介して終了ボタン１５Ａを指定する。これに応じてステップ２０４が肯定判定となってステップ２０６に移行する。

ステップ２０６で、ＣＰＵ１１は、誘導画像設定画面において遠隔指示者によって指定された各種情報を用いて、上述した誘導画像表示情報及びマーカ表示情報を導出する。ステップ２０８で、ＣＰＵ１１は、導出した誘導画像表示情報及びマーカ表示情報をアクセス元の端末装置３０に送信した後、本遠隔支援処理を終了する。

なお、上記実施形態では、実際の撮影状態と、要求される撮影位置及び撮影姿勢に対応する撮影状態とのずれ量に応じて変更する誘導画像の表示状態として透過率を適用した場合について説明したが、これに限るものではない。例えば、点滅間隔及び表示色の少なくとも一方を上記表示状態として適用する形態としてもよいし、点滅間隔及び表示色に透過率を加えた３種類の表示状態のうちの複数種類の組み合わせを上記表示状態として適用する形態としてもよいことは上述した通りである。例えば、上記表示状態として点滅間隔を適用する場合、上記ずれ量が少なくなるほど点滅間隔を短くする形態が例示され、上記表示状態として表示色を適用する場合、上記ずれ量が少なくなるほど赤色に近づける形態が例示される。

また、上記実施形態では、誘導画像６０の指示面として、一例として図３に示すように４５度の傾斜角となる指示面６０Ａを適用した場合について説明したが、これに限るものではない。例えば、指示面６０Ａとして垂直な面を適用する形態としてもよい。

この場合、撮影方向として右斜め前方を指定したい場合には、一例として図１０に示すように、頂点６０ａ、頂点６０ｃ、頂点６０ｅ、及び頂点６０ｇの４つの頂点を指定すればよい。また、指示面６０Ａとして多面体６０Ｂの外周面を指定したい場合は、例えば、頂点６０ｂ、頂点６０ｃ、頂点６０ｆ、及び頂点６０ｇを指定すればよい。この場合、４つの頂点を指定することに代えて、指示面６０Ａとしたい面を直接指定する形態としてもよい。この形態では、１度の指定操作のみで指示面６０Ａを指定することができるため、頂点を指定することで指示面６０Ａを指定する場合に比較して、より簡易に指示面６０Ａを指定することができる。

また、上記実施形態では、誘導画像として、多面体が正六面体とされたものを適用した場合について説明したが、これに限るものではない。一例として図１１に示すように、多面体が正四面体とされた誘導画像６４を適用する形態としてもよく、各辺の長さが異なる六面体や四面体等を適用する形態としてもよい。更に、多面体を用いた誘導画像は、以上のような指示面６０Ａのみを有するものに限るものではなく、一例として図１２に示すように、指示面を含み、かつ、対象物に至る柱状画像６６Ａを更に含む誘導画像６６を適用する形態としてもよい。なお、錯綜を回避するために、図１２では、指示面及び対象物の記載を省略している。

更に、一例として図１３に示すように、端末装置３０の表示部３５に、誘導画像６０に加えて、当該誘導画像６０の多面体６０Ｂと同一形状及び同一寸法で、かつ、指示面６０Ａを有しない複数の多面体６０Ｂを、対象物５０を含む領域を包含するように並べて表示する形態としてもよい。この形態によれば、対象物５０が比較的遠方に存在する場合であっても、遠隔指示者によって指定された、要求される撮影位置及び姿勢が把握しやすくなる。

また、上記実施形態では言及しなかったが、一例として図１４に示すように、第１表示制御部３１Ｃにより、実際の撮影状態が、要求される撮影位置及び撮影姿勢となった場合に、指示面６０Ａと形状及び寸法が一致するマーク６０Ｃを更に表示する形態としてもよい。なお、この形態の場合、指示面６０Ａとマーク６０Ｃとが一致した場合に、利用者の誘導が終了したことを示す情報を遠隔装置１０に自動的に送信する形態としてもよい。

以上、実施形態を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の組み合わせにより種々の発明が抽出される。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

また、上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ等）や、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

更に、上記実施形態では、誘導画像表示処理及び遠隔支援処理を、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現する場合について説明したが、本発明はこれに限定されるものではない。例えば、誘導画像表示処理及び遠隔支援処理を、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現する形態としてもよい。

その他、上記実施形態で説明した遠隔装置１０及び端末装置３０の構成は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。

また、上記実施形態で説明した誘導画像表示処理及び遠隔支援処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

１０ 遠隔装置
１１ ＣＰＵ
１１Ａ 第２受信部
１１Ｂ 第２表示制御部
１１Ｃ 導出部
１１Ｄ 第２送信部
１２ メモリ
１３ 記憶部
１３Ａ 遠隔支援プログラム
１４ 入力部
１５ 表示部
１５Ａ 終了ボタン
１６ 媒体読み書き装置
１７ 記録媒体
１８ 通信Ｉ／Ｆ部
３０ 端末装置
３１ ＣＰＵ
３１Ａ 第１送信部
３１Ｂ 第１受信部
３１Ｃ 第１表示制御部
３２ メモリ
３３ 記憶部
３３Ａ 誘導画像表示プログラム
３４ 入力部
３５ 表示部
３５Ａ 終了ボタン
３６ 媒体読み書き装置
３７ 記録媒体
３８ 撮影部
３９ マイク
４０ 位置検出部
４１ 空間情報検出部
４２ 無線通信部
５０ 対象物
６０ 誘導画像
６０Ａ 指示面
６０Ｂ 多面体
６０Ｃ マーク
６０ａ～６０ｈ 頂点
６４ 誘導画像
６６ 誘導画像
６６Ａ 柱状画像
７０ マーカ
８０ ネットワーク
９０ 遠隔支援システム

Claims (18)

1. 端末装置と遠隔装置とを含む遠隔支援システムであって、
   前記端末装置は第１のプロセッサを備え、
   前記第１のプロセッサは、
   対象物を含む空間を撮影して得られた画像情報を前記遠隔装置に送信し、
   前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて前記遠隔装置によって導出された、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を受信し、
   受信した前記表示情報を用いて前記誘導画像を表示し、
   前記遠隔装置は第２のプロセッサを備え、
   前記第２のプロセッサは、
   前記画像情報を前記端末装置から受信し、
   受信した前記画像情報、及び前記３次元位置情報に応じて前記表示情報を導出し、
   導出した前記表示情報を前記端末装置に送信する、
   遠隔支援システムであり、
   前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である、
   遠隔支援システム。
2. 前記第１のプロセッサは、前記３次元位置情報を前記遠隔装置に更に送信する、
   請求項１に記載の遠隔支援システム。
3. 前記誘導画像は、前記３次元空間における前記表示位置に前記姿勢で仮想的に表示される指示面を有する、
   請求項１又は請求項２に記載の遠隔支援システム。
4. 前記誘導画像は、前記指示面を有する多面体である、
   請求項３に記載の遠隔支援システム。
5. 前記多面体は、正多面体である、
   請求項４に記載の遠隔支援システム。
6. 前記指示面は、前記多面体の内部で、かつ、当該多面体の頂点の一部を頂点とした面である、
   請求項４又は請求項５に記載の遠隔支援システム。
7. 前記第１のプロセッサは、前記誘導画像に加えて、前記多面体と同一形状及び同一寸法で、かつ、前記指示面を有しない複数の多面体を、前記対象物を含む領域に対して並べて表示する、
   請求項４～請求項６の何れか１項に記載の遠隔支援システム。
8. 前記第１のプロセッサは、実際の撮影状態が、前記表示位置及び前記姿勢に対応する状態となった場合に、前記指示面と形状及び寸法が一致するマークを更に表示する、
   請求項４～請求項７の何れか１項に記載の遠隔支援システム。
9. 前記多面体は、前記指示面を含み、かつ、前記対象物に至る柱状画像を更に含む、
   請求項４～請求項８の何れか１項に記載の遠隔支援システム。
10. 前記柱状画像は、円柱状画像である、
    請求項９に記載の遠隔支援システム。
11. 前記第１のプロセッサは、実際の撮影状態と、前記表示位置及び前記姿勢に対応する撮
    影状態とのずれ量に応じて前記誘導画像の表示状態を変更する、
    請求項１～請求項１０の何れか１項に記載の遠隔支援システム。
12. 前記表示状態は、点滅間隔、表示色、及び透過率の少なくとも１つである、
    請求項１１に記載の遠隔支援システム。
13. 前記第１のプロセッサは、前記透過率を変更する場合、前記ずれ量が少なくなるほど当該透過率を増加させる、
    請求項１２に記載の遠隔支援システム。
14. 前記第１のプロセッサは、対象物の対象とする位置が撮影されたら、当該位置にマーカを仮想的に表示する、
    請求項１～請求項１３の何れか１項に記載の遠隔支援システム。
15. プロセッサを備え、
    前記プロセッサは、
    対象物を含む空間を撮影して得られた画像情報を遠隔装置に送信し、
    前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて前記遠隔装置によって導出された、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を受信し、
    受信した前記表示情報を用いて前記誘導画像を表示する、
    端末装置であり、
    前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である、
    端末装置。
16. プロセッサを備え、
    前記プロセッサは、
    対象物を含む空間を撮影して得られた画像情報を端末装置から受信し、
    受信した前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を導出し、
    導出した前記表示情報を前記端末装置に送信する、
    遠隔装置であり、
    前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である、
    遠隔装置。
17. 対象物を含む空間を撮影して得られた画像情報を遠隔装置に送信し、
    前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて前記遠隔装置によって導出された、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を受信し、
    受信した前記表示情報を用いて前記誘導画像を表示する、
    処理であり、
    前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である、
    処理をコンピュータに実行させるための誘導画像表示プログラム。
18. 対象物を含む空間を撮影して得られた画像情報を端末装置から受信し、
    受信した前記画像情報、及び前記空間に含まれる物体の３次元位置情報に応じて、前記対象物に対する撮影領域の３次元空間において仮想的に表示される誘導画像の表示位置及び姿勢を示す表示情報を導出し、
    導出した前記表示情報を前記端末装置に送信する、
    処理であり、
    前記３次元位置情報は、前記撮影の撮影画角に対応する空間に含まれる物体の３次元の位置を示す情報である、
    処理をコンピュータに実行させるための遠隔支援プログラム。