JP7598609B2 - ビデオ通信装置及びビデオ通信方法 - Google Patents

Description

本発明は、ビデオ通信装置及びビデオ通信方法に関する。

例えば非特許文献１には、小規模および大規模の屋内および屋外環境で、リアルタイムで動作する機能ベースの単眼同時ローカリゼーションおよびマッピング（SLAM）システムが開示されている。

IEEE Transactions on Robotics(Volume:31, Issue:5, Oct.2015)

しかしながら非特許文献１に記載されたような従来の手法を全天周カメラに適用した場合、カメラの並進振れや回転の影響を受け、安定した映像を得ることができず、これらの映像を用いた映像解析は難易度が高くなり、人が閲覧する場合にも不快な印象を与える可能性があるという課題がある。

本発明の実施の形態の一態様は、リアルタイムに画像と付加情報とを送信し、リモート環境における映像解析によってさらなる情報化を可能とし、人が閲覧してもより高い臨場感を得ることのできるビデオ通信装置を提供することを目的とする。

カメラ画像及び音声情報を用いた第１の提示を行うビデオ通信装置であって、使用者と現場の状況を取得する単一の現場端末とを関連付けることで使用者の管理を行うユーザ管理部を有するユーザ管理器と、現場端末が撮像するカメラ画像と現場端末が収音する音声情報と現場端末が取得する加速度情報を取得するセンサ情報取得部を有するデバイス管理器と、１対のカメラ画像の表示領域と加速度情報とを、カメラ画像の非表示領域に保存された付加情報を用いて、第１の周期で同期させ、カメラ画像の表示領域を補正する環境解析部を有する環境解析器と、を備え、前記環境解析部は、前記カメラ画像の前記表示領域から相対位置情報を計算し、複数の前記カメラ画像の前記表示領域と複数の前記相対位置情報とから相対地図を生成し、さらに相対地図を用いた第２の提示を行うビデオ通信装置を提供する。

カメラ画像及び音声情報を用いた第１の提示を行うビデオ通信装置を用いたビデオ通信方法であって、使用者と現場の状況を取得する単一の現場端末とを関連付けることで使用者の管理を行う第１のステップと、現場端末が撮像するカメラ画像と現場端末が収音する音声情報と現場端末が取得する加速度情報を取得する第２のステップと、１対のカメラ画像の表示領域と加速度情報とを、カメラ画像の非表示領域に保存された付加情報を用いて、第１の周期で同期させ、カメラ画像の表示領域を補正する第３のステップと、を備え、前記第３のステップは、前記カメラ画像の前記表示領域から相対位置情報を計算し、複数の前記カメラ画像の前記表示領域と複数の前記相対位置情報とから相対地図を生成し、さらに相対地図を用いた第２の提示を行うビデオ通信方法を提供する。

本発明の実施の形態の一態様によればリアルタイムの画像と付加情報とを送信することで、画像を解析し、解析した情報を提供するビデオ通信装置を実現できる。

図１は、本実施の形態によるビデオ通信装置の構成を示すブロック図である。 図２は、本実施の形態によるビデオ通信機能の説明に供するシーケンス図である。 図３は、本実施の形態によるビデオ通信装置が有する環境解析器が備える補助記憶装置に記憶されている情報を示す図である。 図４は、本実施の形態による提示の一例を示す図である。 図５は、本実施の形態による同期処理の処理手順を示すフローチャートである。

以下図面を用いて、本発明の実施の形態の一態様を詳述する。

（本実施の形態）
まず図１を用いてビデオ通信装置１について説明する。図１は、本実施の形態によるビデオ通信装置１の構成を示すブロック図である。ビデオ通信装置１は、操作端末２を介して使用者に現場端末３が配置されている現場の情報を提示し、後述のカメラ画像４０の表示領域４２及び音声情報を用いた第１の提示を行う装置であって、デバイス管理器１０と、ユーザ管理器２０と、環境解析器３０と、を備える。

デバイス管理器１０は、現場端末３が撮像するカメラ画像４０と現場端末３が収音する音声情報と現場端末３が取得する加速度センサ情報などである加速度情報（以下これを第１のセンサ情報と呼んでもよい）を取得するセンサ情報取得部１５を有する。ユーザ管理器２０は、使用者と現場の状況を取得する現場端末３とを関連付けることで使用者の管理を行うユーザ管理部２５を有する。

環境解析器３０は、１対のカメラ画像４０の表示領域４２と加速度情報とを、カメラ画像４０の非表示領域４１に保存された付加情報４３を用いて、第１の周期で同期させ、カメラ画像４０の表示領域４２を補正する環境解析部３５を有する。第１の提示においては、補正されたカメラ画像４０の表示領域４２が提示される。

環境解析部３５は、例えばカメラ画像４０の表示領域４２を補正することでカメラ画像４０を撮像した機器の周囲の環境を解析することができる。付加情報４３は、カメラ画像４０の表示領域４２が撮像された際のタイムスタンプなどの時間情報とする。

デバイス管理器１０、ユーザ管理器２０及び環境解析器３０は、それぞれ、中央演算装置１１，２１，３１、主記憶装置１２，２２，３２及び補助記憶装置１３，２３，３３を備え、例えばサーバなどとする。操作端末２は例えばスマートフォンとし、現場端末３は３６０度カメラなどの１度に広範囲の撮像が可能な撮像装置を備えたスマートフォンとする。

中央演算装置１１，２１，３１は、例えばＣＰＵ（Central Processing Unit）であって、主記憶装置１２に記憶されたプログラムを呼び出すことで処理を実行する。主記憶装置１２，２２，３２は、例えばＲＡＭ（Random Access Memory）であって、後述のセンサ情報取得部１５，ユーザ管理部２５，環境解析部３５といったプログラムを記憶する。

補助記憶装置１３，２３，３３は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）であって、テーブルなどを記憶する。例えば補助記憶装置３３は、後述の加速度情報同期テーブルＴＢ１及び絶対位置情報同期テーブルＴＢ２を備える。

環境解析部３５は、カメラ画像４０の表示領域４２から相対位置情報を計算し、複数のカメラ画像４０の表示領域４２と複数の相対位置情報とから相対地図を生成する。ビデオ通信装置１は、相対地図による第２の提示を行ってもよい。

センサ情報取得部１５は、現場端末３の絶対位置を示す例えばＧＰＳ（Global Positioning System）情報などである現場端末３が取得する絶対位置情報（以下、これを第２のセンサ情報と呼んでもよい）を、現場端末３からさらに取得してもよい。

環境解析部３５は、カメラ画像４０の表示領域４２と絶対位置情報とを第１の周期よりも長い第２の周期で同期させ、相対地図に絶対位置情報を反映させることで地図を生成する。ビデオ通信装置１は、生成した地図による第２の提示を行ってもよい。

次に図２を用いて、操作端末２、現場端末３、デバイス管理器１０、ユーザ管理器２０及び環境解析器３０の間の情報の流れについて説明を行う。図２は、本実施の形態によるビデオ通信機能の説明に供するシーケンス図である。

ビデオ通信機能はセッション確立機能と操作機能と大別される。まず操作端末２からユーザ管理器２０が有するユーザ管理部２５に対して現場端末操作要求が行われると（Ｓ１）、セッション確立機能を実現するセッション確立処理が開始される。

現場端末操作要求を受信すると、ユーザ管理器２０が有するユーザ管理部２５は、現場端末３に対して、操作要求問い合わせを行う（Ｓ２）。操作要求問い合わせを受信し、操作の受付が可能な場合、現場端末３は、承認通知をユーザ管理器２０が有するユーザ管理部２５に対して行う（Ｓ３）。

承認通知を受信すると、ユーザ管理器２０が有するユーザ管理部２５は、セッション確立通知を操作端末２に対して（Ｓ４）及び現場端末３に対して行う（Ｓ５）。セッション確立通知を受信すると、現場端末３は、セッション確立応答をユーザ管理器２０が有するユーザ管理部２５を介して（Ｓ６）、操作端末２に対して行う（Ｓ７）。

セッション確立応答を受信すると、操作端末２は、セッション確立応答をユーザ管理器２０が有するユーザ管理部２５を介して（Ｓ８）、現場端末３に対して行う（Ｓ９）。現場端末３は、セッション確立応答を操作端末２から受信することで、現場端末３の周囲の環境を解析する準備が完了する。

セッション確立応答を受信すると、現場端末３は、解析準備完了通知を環境解析器３０が有する環境解析部３５に対して行う（Ｓ１０）。解析準備完了通知を受信すると、環境解析器３０が有する環境解析部３５は、セッション情報をデバイス管理器１０が有するセンサ情報取得部１５に対して送信し（Ｓ１１）、解析準備完了通知を操作端末２に対して行う（Ｓ１２）。

このようにビデオ通信装置１は、ステップＳ１～Ｓ１２のようなセッション確立処理によって、操作端末２と現場端末３とを接続するようなセッションを確立するセッション確立機能を実現している。

操作端末２と現場端末３とを接続するようなセッションが確立されたあとに、操作端末２が、環境解析器３０が有する環境解析部３５に対して現場端末操作要求を行った（Ｓ１３）際の操作機能を実現する操作処理について以下説明を行う。

現場端末操作要求を受信すると、環境解析器３０が有する環境解析部３５は、解析が可能な状態であれば、操作要求承認通知を操作端末２に対して行い（Ｓ１４）、制御許可要求をデバイス管理器１０が有するセンサ情報取得部１５に対して行う（Ｓ１５）。

操作要求承認通知を受信すると、操作端末２は、現場端末制御情報をデバイス管理器１０が有するセンサ情報取得部１５を介して（Ｓ１６）、現場端末３に対してして送信する（Ｓ１７）。現場端末制御情報とは、例えば使用者が現場端末３に対してどの方向にどれくらい移動して欲しいかといった情報とする。

現場端末制御情報を受信すると、現場端末３は、現場端末制御情報に基づいて現場端末３が制御された結果としてのセンサ情報をデバイス管理器１０が有するセンサ情報取得部１５を介して（Ｓ１８）、環境解析器３０が有する環境解析部３５に対して送信する（Ｓ１９）。

センサ情報とは、絶対位置情報や加速度情報やカメラ画像４０の表示領域４２や音声情報を指す。センサ情報としてのカメラ画像４０の表示領域４２は、カメラ画像に含まれるようにしてもよい。

現場端末制御情報に基づくセンサ情報を受信すると、環境解析器３０が有する環境解析部３５は、環境情報を操作端末２に対して送信する（Ｓ２０）。環境情報とは、カメラ画像４０の表示領域４２と加速度情報や絶対位置情報とが同期した情報とする。

現場端末制御情報に基づく環境情報を送信する際に、環境解析器３０が有する環境解析部３５は、フィードバック制御情報をデバイス管理器１０が有するセンサ情報取得部１５を介して（Ｓ２１）、現場端末３に対して送信する（Ｓ２２）。

使用者からの指示である現場端末制御情報と、実際の現場端末３の動作と、の差分をフィードバック制御情報とする。現場端末３の動作は、例えば加速度情報や絶対位置情報などから取得する。

フィードバック制御情報を受信すると、現場端末３は、フィードバック制御情報に基づいて現場端末３が制御された結果としてのセンサ情報をデバイス管理器１０が有するセンサ情報取得部１５を介して（Ｓ２３）、環境解析器３０が有する環境解析部３５に対して送信する（Ｓ２４）。フィードバック制御に基づくセンサ情報を受信すると、環境解析器３０が有する環境解析部３５は、環境情報を操作端末２に対して送信する（Ｓ２５）。

このようにビデオ通信装置１は、ステップＳ１３～Ｓ２５のような操作処理によって、操作端末２から現場端末３を操作する操作機能を実現している。本実施の形態では、特に操作機能に関する操作処理について詳細に説明を行う。

次に図３を用いて、環境解析部３５が扱う情報について説明を行う。図３は、本実施の形態によるビデオ通信装置１が有する環境解析器３０が備える補助記憶装置３３に記憶されている情報を示す図である。

補助記憶装置３３が備える加速度情報同期テーブルＴＢ１は、加速度情報とカメラ画像４０の表示領域４２とを同期した第１の環境情報（以下、これを単に環境情報と呼んでもよい）が格納されたテーブルであって、加速度情報とカメラ画像４０の表示領域４２とを時間情報であるタイムスタンプで関連付けている。

加速度情報同期テーブルＴＢ１にはカメラ画像４０の表示領域４２として、例えば００１．ｇｉｆなどといったカメラ画像４０の表示領域４２へのポインタ情報が格納される。加速度情報同期テーブルＴＢ１には例えば加速度情報として、－０．０３９といった鉛直方向における加速度センサ情報が格納される。加速度情報とカメラ画像４０の表示領域４２との同期の周期である第１の周期は０．００１秒としている。

補助記憶装置３３が備える絶対位置情報同期テーブルＴＢ２は、絶対位置情報とカメラ画像４０の表示領域４２とを同期した第２の環境情報（以下、これを単に環境情報と呼んでもよい）が格納されたテーブルであって、絶対位置情報とカメラ画像４０の表示領域４２とを時間情報であるタイムスタンプで関連付けている。

絶対位置情報同期テーブルＴＢ２にはカメラ画像４０の表示領域４２として、例えば００１．ｇｉｆなどといったカメラ画像４０の表示領域４２へのポインタ情報が格納される。絶対位置情報同期テーブルＴＢ２には例えば絶対位置情報として、３５４１．１４９３，１３９４５．３９９４といった緯度及び経度を示すＧＰＳ情報が格納される。絶対位置情報とカメラ画像４０の表示領域４２との同期の周期である第２の周期は１秒としている。

環境解析器３０が有する環境解析部３５が受信するカメラ画像４０の非表示領域４１には付加情報４３が付加されている。非表示領域４１は切り取りやすい例えばカメラ画像４０の辺に沿った領域とし、付加情報４３は例えばバーコードのような横長の情報とする。

環境解析器３０が有する環境解析部３５が受信するカメラ画像４０の非表示領域４１には付加情報４３が付加されている。非表示領域４１は切り取りやすい例えばカメラ画像４０の辺に沿った領域とし、付加情報４３は例えばバーコードのような横長の情報とする。

次に図４を用いて第１の提示及び第２の提示について説明を行う。図４は、本実施の形態による提示の一例を示す図である。領域５１は、第１の提示が行われる領域であって、例えば第１の提示の一部の領域である領域５２に第２の提示が行われる。

なお第２の提示の中には、領域５３として現場端末３の位置が表示される。なお第２の提示は、上述のように実際の尺度が反映されない相対地図であってもよいし、実際の尺度が反映された地図であってもよい。

次に図５を用いて操作処理の一部であって、環境解析部３５によって行われる同期処理について説明を行う。図５は、本実施の形態による同期処理の処理手順を示すフローチャートである。セッション確立処理によって操作端末２の使用者と現場端末３とが関連付けられると、環境解析部３５は、加速度情報とカメラ画像４０の表示領域４２と音声情報とを、現場端末３からデバイス管理器１０を介して取得する（Ｓ３１）。

次に環境解析部３５は、加速度情報とカメラ画像４０の表示領域４２とを第１の周期で同期する（Ｓ３２）。なお例えば、カメラ画像４０の表示領域４２と音声情報とは、取得される段階で同期されていてもよい。

次に環境解析部３５は、絶対位置情報を現場端末３からデバイス管理器１０を介して取得する（Ｓ３３）。環境解析部３５は、カメラ画像４０の表示領域４２から相対位置情報を計算し、複数のカメラ画像４０の表示領域と複数の相対位置情報とから相対地図を生成する。

次に環境解析部３５は、絶対位置情報とカメラ画像４０の表示領域４２とを第２の周期で同期する（Ｓ３４）。次に環境解析部３５は、相対地図に絶対位置情報を反映させ地図を生成する（Ｓ３５）。次に環境解析部は、第１の提示を行うための第１の提示情報を生成し（Ｓ３６）、第２の提示を行うための第２の提示情報を生成する（Ｓ３７）。

以上のように本実施の形態のビデオ通信装置１によれば、使用者は、環境情報を得ることによって現場端末３の周囲の状況を従来と比較して多く取得することが可能となる。例えば、第１の提示からは、カメラの姿勢とカメラ画像４０の表示領域４２の動きとがリンクするため、カメラの姿勢を遠隔で補正し、映像解析を行うことができる。

また足元の状況とカメラ画像４０の表示領域４２の動きをリンクさせることも可能であり、本実施の形態のビデオ通信装置１によれば、現場において人が実際に歩いたり動いたりしているかのような臨場感を出すことも可能である。また第１の提示からは、上空の様子も使用者は知ることができるため、例えば雲の様子から風の強さなどを知ることもできるし、天候についても知ることができる。

なお第２の提示として、相対地図や地図が提示されるため、使用者は、実際の現場に行く場合と比べて知ることが難しい遠方の様子などといった臨場感を補うことができる。なお第２の提示によって、使用者は、現場端末３の軌跡などを知ることができ、実際の現場と比べて知ることが難しい自分の動いた軌跡などといった臨場感を補うことができる。

なお本実施の形態においては、センサ情報取得部１５、ユーザ管理部２５及び環境解析部３５はプログラムとしたが、これに限らず、論理回路であってもよい。またセンサ情報取得部１５、ユーザ管理部２５、環境解析部３５、加速度情報同期テーブルＴＢ１及び絶対位置情報同期テーブルＴＢ２は、１つの装置に実装されず、例えばネットワークで接続された複数の装置に分散して実装されていてもよい。

本実施の形態においては、付加情報４３をバーコードとする場合について述べたが、これに限らず例えばＱＲコード（登録商標）などとしてもよい。また本実施の形態においては、第２のセンサ情報をＧＰＳ情報としたが、これに限らず、電波強度から絶対位置情報を求めてもよい。なおカメラ画像４０の表示領域４２の画像が分割された画像である場合、付加情報４３を用いて分割された画像を結合してもよい。

また本実施の形態においては、第１のセンサ情報を加速度情報としたが、第１のセンサ情報は、ＩＭＵ（Inertial Measurement Unit）を使用して求まるような複合的な情報でもよい。

また本実施の形態において、付加情報４３は時間情報としたが、これに限らずカメラ画像４０の表示領域４２が撮像された際の時間に対応する加速度情報としてもよい。付加情報４３を加速度情報とする場合、カメラ画像４０のエンコード及びデコードの回数を減らすことが可能となる。

１……ビデオ通信装置、２……操作端末、３……現場端末、１０……デバイス管理器、１１，２１，３１……中央演算装置、１２，２２，３２……主記憶装置、１３，２３，３３……補助記憶装置、１５……センサ情報取得部、２０……ユーザ管理器、２５……ユーザ管理部、３０……環境解析器、３５……環境解析部。

Claims (5)

1. カメラ画像及び音声情報を用いた第１の提示を行うビデオ通信装置であって、
   使用者と現場の状況を取得する単一の現場端末とを関連付けることで使用者の管理を行うユーザ管理部を有するユーザ管理器と、
   前記現場端末が撮像する前記カメラ画像と前記現場端末が収音する前記音声情報と前記現場端末が取得する第１のセンサ情報を取得するセンサ情報取得部を有するデバイス管理器と、
   １対の前記カメラ画像の表示領域と前記第１のセンサ情報とを、前記カメラ画像の非表示領域に保存された付加情報を用いて、第１の周期で同期させ、前記カメラ画像の前記表示領域を補正する環境解析部を有する環境解析器と、を備え、
   前記環境解析部は、前記カメラ画像の前記表示領域から相対位置情報を計算し、複数の前記カメラ画像の前記表示領域と複数の前記相対位置情報とから相対地図を生成し、
   さらに相対地図を用いた第２の提示を行うこと
   を特徴とするビデオ通信装置。
2. 前記付加情報は時間情報である請求項１に記載のビデオ通信装置。
3. 前記付加情報は前記第１のセンサ情報である請求項１に記載のビデオ通信装置。
4. 前記センサ情報取得部は、前記現場端末の絶対位置を示す情報であって、前記現場端末が取得する第２のセンサ情報を前記現場端末からさらに取得し、
   前記環境解析部は、前記カメラ画像の前記表示領域と前記第２のセンサ情報とを第１の周期よりも長い第２の周期で同期させ、前記相対地図に前記第２のセンサ情報を反映させることで地図を生成し、
   さらに前記地図を用いた第２の提示を行う、請求項１に記載のビデオ通信装置。
5. カメラ画像及び音声情報を用いた第１の提示を行うビデオ通信装置を用いたビデオ通信方法であって、
   使用者と現場の状況を取得する単一の現場端末とを関連付けることで使用者の管理を行う第１のステップと、
   前記現場端末が撮像する前記カメラ画像と前記現場端末が収音する前記音声情報と前記現場端末が取得する第１のセンサ情報を取得する第２のステップと、
   １対の前記カメラ画像の表示領域と前記第１のセンサ情報とを、前記カメラ画像の非表示領域に保存された付加情報を用いて、第１の周期で同期させ、前記カメラ画像の表示領域を補正する第３のステップと、を備え、
   前記第３のステップは、前記カメラ画像の前記表示領域から相対位置情報を計算し、複数の前記カメラ画像の前記表示領域と複数の前記相対位置情報とから相対地図を生成し、
   さらに相対地図を用いた第２の提示を行うこと
   を特徴とするビデオ通信方法。

Images