JP6821864B2

JP6821864B2 - 表示制御システム、表示制御装置及び表示制御方法

Info

Publication number: JP6821864B2
Application number: JP2020547440A
Authority: JP
Inventors: 満中澤; 裕章岩瀬
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2018-11-30
Filing date: 2018-11-30
Publication date: 2021-01-27
Anticipated expiration: 2038-11-30
Also published as: WO2020110293A1; CN112119013B; CN112119013A; JPWO2020110293A1; US20210031916A1; US11492115B2

Description

本発明は、表示制御システム、表示制御装置及び表示制御方法に関する。

無人航空機を飛行させる際には、当該無人航空機やその周囲の安全を確保するため、原則として、当該無人航空機の操縦者が当該無人航空機を目視している必要がある。そして無人航空機の操縦者が当該無人航空機を視認可能でない状況においては、例えば当該無人航空機が備えたカメラが周囲を撮影する画像（以下、航空機撮影画像と呼ぶ。）などによって無人航空機の操縦者が当該無人航空機の周囲の状況を把握できるようにすることが求められる。

航空機撮影画像を当該無人航空機の操縦者に提示する技術の一例として、特許文献１には、無人ヘリコプタに取り付けられた全方位カメラにより撮影された全方位画像から作成された操縦用画像を操縦者に提示する遠隔操縦システムが記載されている。

また特許文献２には、操縦者の頭部に装着されるヘッドマウントディスプレイに、無人飛行体のカメラによって撮影された映像が表示されることが記載されている。

特開２００３−２６７２９５号公報特開２０１７−１１９５０１号公報

無人航空機の操縦者が当該無人航空機を目視している状況においては、目視をできるだけ妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機の操縦者が当該無人航空機を目視していないならば、航空機撮影画像を操縦者に提示して、無人航空機の周囲の状況を操縦者に知らせることが望ましい。

とはいえ、無人航空機からほんの短い時間目を離しただけで直ちに航空機撮影画像が当該操縦者に提示されるようにして、操縦者に航空機撮影画像が提示されるか当該提示が抑制されるかが頻繁に切り替わると、操縦者が不快に感じるおそれがある。

なお、特許文献１に記載の技術では、上述の操縦用画像は操縦者に常に提示されてしまう。また特許文献２に記載の技術においても、無人飛行体のカメラによって撮影された映像は、ヘッドマウントディスプレイに表示されたままとなる。

本発明は、上記課題に鑑みてなされたものであって、その目的の一つは、無人航空機が備えたカメラが撮影する画像の表示状態を適切に制御できる表示制御システム、表示制御装置及び表示制御方法を提供することにある。

上記課題を解決するために、本発明に係る表示制御システムは、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。

本発明の一態様では、前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する。

あるいは、前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する。

また、本発明の一態様では、前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する。

あるいは、前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する。

また、本発明の一態様では、前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する。

また、本発明の一態様では、前記判定手段は、前記操縦者の視野の範囲と、前記無人航空機の位置と、に基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する。

また、本発明の一態様では、前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記無人航空機を前記操縦者が目視しているか否かを判定する。

また、本発明の一態様では、前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。

また、本発明の一態様では、前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記無人航空機を前記操縦者が目視しているか否かを判定し、前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する。

また、本発明の一態様では、前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段、をさらに含む。

また、本発明に係る表示制御装置は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含む。

また、本発明に係る表示制御方法は、飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定するステップと、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、を含む。

本発明の一実施形態に係る表示制御システムの全体構成の一例を示す図である。本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。本発明の一実施形態に係る無人航空機の構成の一例を示す図である。無人航空機の位置と操縦者の位置との関係の一例を模式的に示す図である。本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る表示制御システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る表示制御システム１には、ヘッドマウントディスプレイ（ＨＭＤ）１０、無人航空機１２、及び、操縦端末１４が含まれる。

図１に示すように、操縦端末１４と無人航空機１２とは互いに通信可能となっている。またＨＭＤ１０と操縦端末１４とは互いに通信可能となっている。なおＨＭＤ１０と無人航空機１２とは、操縦端末１４を介さずに直接互いに通信可能でも構わない。

ＨＭＤ１０は、無人航空機１２の操縦者が頭部に装着可能なディスプレイ装置である。なお以下の説明では、本実施形態に係るＨＭＤ１０は、映像透過型（ビデオシースルー型）であることとする。そのため、無人航空機１２の操縦者は、後述するカメラ部３０が撮影する画像（以下、操縦者撮影画像と呼ぶ。）を通して、ＨＭＤ１０を装着している状態で実空間の様子を視認可能である。

本実施形態に係るＨＭＤ１０には、例えば図２Ａに示すように、プロセッサ２０、記憶部２２、通信部２４、表示部２６、センサ部２８、カメラ部３０が含まれる。なお、ＨＭＤ１０に、スピーカなどの音声出力部が含まれていてもよい。

プロセッサ２０は、例えばＨＭＤ１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

記憶部２２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。

通信部２４は、例えば無線ＬＡＮモジュールやブルートゥース（登録商標）モジュールなどの通信インタフェースである。

表示部２６は、ＨＭＤ１０の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部２６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部２６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

センサ部２８は、例えばＧＰＳ（Global Positioning System）等のＧＮＳＳ（Global Navigation Satellite System）受信機、加速度センサやジャイロセンサ等の慣性センサ、地磁気センサなどを含むデバイスである。センサ部２８は、ＨＭＤ１０の位置や姿勢を計測可能である。センサ部２８は、ＨＭＤ１０の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ２０に出力してもよい。

カメラ部３０は、ＨＭＤ１０の装着者の視野の範囲の画像である操縦者撮影画像を撮影する１又は複数のカメラを含むデバイスである。カメラ部３０は、所定のサンプリングレートで操縦者撮影画像を撮影してもよい。

無人航空機１２は、人が搭乗しない航空機であり、例えば、バッテリーやエンジンで駆動する無人航空機（いわゆるドローン）である。本実施形態に係る無人航空機１２が自律飛行機能を備えていてもよい。

本実施形態に係る無人航空機１２には、例えば図２Ｂに示すように、プロセッサ４０、記憶部４２、通信部４４、センサ部４６、カメラ部４８が含まれる。なお、無人航空機１２には、プロペラ、モーター、バッテリーなどの一般的なハードウェアも含まれるが、ここでは省略している。

プロセッサ４０は、例えば無人航空機１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

記憶部４２は、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶素子などである。記憶部４２には、プロセッサ４０によって実行されるプログラムなどが記憶される。

通信部４４は、例えば無線ＬＡＮモジュールやブルートゥースモジュールなどの通信インタフェースである。

センサ部４６は、例えばＧＰＳ等のＧＮＳＳ受信機、気圧センサ、ＬＩＤＡＲ(Light Detection and Ranging)、音波センサ等の高度センサ、慣性センサ、風速センサなどを含むデバイスである。センサ部４６は、無人航空機１２の位置や姿勢を計測可能である。センサ部４６は、無人航空機１２の位置や姿勢などの計測結果を所定のサンプリングレートで、プロセッサ４０に出力してもよい。また通信部４４が、当該計測結果を所定のサンプリングレートでＨＭＤ１０に送信してもよい。

カメラ部４８は、例えば無人航空機１２の周囲を撮影する１又は複数のカメラを含むデバイスである。カメラ部４８には、例えば無人航空機１２の周囲を全方位にわたって撮影可能な全方位カメラが含まれていてもよい。以下、無人航空機１２のカメラ部４８が撮影する画像を航空機撮影画像と呼ぶこととする。カメラ部４８は、所定のサンプリングレートで航空機撮影画像を撮影してもよい。また通信部４４が、所定のサンプリングレートで航空機撮影画像をＨＭＤ１０に送信してもよい。

本実施形態に係る操縦端末１４は、例えば無人航空機１２を操縦するための機器である。

本実施形態では例えば、無人航空機１２を操縦者が目視しているか否かが繰り返し判定される。ここで例えば、図３に示す位置Ｐ１に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ１は、位置Ｐ０からの距離が所定の距離より短いこととする。そしてカメラ部３０が位置Ｐ０から位置Ｐ１に向かう方向Ａ１を向いていることとする。この場合は、無人航空機１２を操縦者が目視していると判定される。

一方、図３に示す位置Ｐ２に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ２は、位置Ｐ０からの距離が所定の距離よりも長く、カメラ部３０が位置Ｐ０から位置Ｐ２に向かう方向Ａ２を向いても操縦者は無人航空機１２を操縦者撮影画像により目視できない。この場合は、無人航空機１２を操縦者が目視していないと判定される。

また、図３に示す位置Ｐ３に無人航空機１２が存在しており、図３に示す位置Ｐ０に無人航空機１２の操縦者が存在していることとする。ここで位置Ｐ３は、位置Ｐ０からの距離が所定の距離より短いが、位置Ｐ３と位置Ｐ０との間に存在する木５０などの障害物に阻まれ、カメラ部３０が位置Ｐ０から位置Ｐ３に向かう方向Ａ３を向いても操縦者は無人航空機１２を操縦者撮影画像により目視できない。この場合も、無人航空機１２を操縦者が目視していないと判定される。

また例えば位置Ｐ１に無人航空機１２が存在しており、位置Ｐ０に無人航空機１２の操縦者が存在していても、カメラ部３０が方向Ａ２や方向Ａ３を向いている場合は、無人航空機１２はカメラ部３０の視野（Field of View (FOV)）の範囲内ではない。そのため操縦者が無人航空機１２を操縦者撮影画像により目視できない。この場合も、無人航空機１２を操縦者が目視していないと判定される。

そして本実施形態では例えば、無人航空機１２を操縦者が目視していないとの判定が継続しているか否かが判定される。ここで例えば、無人航空機１２を操縦者が目視していないとの判定が所定回数連続して行われたか否かにより無人航空機１２を操縦者が目視していないとの判定が継続しているか否かが判定されてもよい。あるいは、無人航空機１２を操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより無人航空機１２を操縦者が目視していないとの判定が継続しているか否かが判定されてもよい。

そして当該判定の結果に応じて、表示部２６における航空機撮影画像の表示状態が制御される。例えば無人航空機１２を操縦者が目視していないとの判定が継続していると判定された場合は、無人航空機１２のカメラ部４８が撮影する航空機撮影画像が表示部２６に表示される。この場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像は表示部２６に表示されない。そうでない場合は、ＨＭＤ１０のカメラ部３０が撮影する操縦者撮影画像がＨＭＤ１０の表示部２６に表示される。この場合は、無人航空機１２のカメラ部４８が撮影する航空機撮影画像が表示部２６に表示されない。

なお、ＨＭＤ１０の表示部２６に操縦者撮影画像と航空機撮影画像の両方が表示されるようにしてもよい。この場合に例えば、無人航空機１２を操縦者が目視していないとの判定が継続していると判定された場合は、航空機撮影画像が操縦者撮影画像よりも大きく表示されるようにしてもよい。そしてそうでない場合に、操縦者撮影画像が航空機撮影画像よりも大きく表示されるようにしてもよい。

また例えば、無人航空機１２を操縦者が目視していないとの判定が継続していると判定された場合は、表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるようにしてもよい。そしてそうでない場合に、表示部２６の全画面に操縦者撮影画像が表示され、表示部２６の一部に航空機撮影画像がワイプ表示されるようにしてもよい。

無人航空機１２を飛行させる際には、無人航空機１２やその周囲の安全を確保するため、原則として、無人航空機１２の操縦者が無人航空機１２を目視している必要がある。そして無人航空機１２の操縦者が無人航空機１２を視認可能でない状況においては、航空機撮影画像などによって無人航空機１２の操縦者が無人航空機１２の周囲の状況を把握できるようにすることが求められる。また仮に無人航空機１２が自律飛行可能な場合であっても、操縦者が無人航空機１２を視認し、状況に応じて自律飛行から切り替えて操縦者が操縦を行うことでより安全を確保できる。

無人航空機１２の操縦者が無人航空機１２を目視している状況においては、目視をできるだけ妨げないよう航空機撮影画像の当該操縦者への提示はできる限り抑制されることが望ましい。一方で、無人航空機１２の操縦者が無人航空機１２を目視していないならば、航空機撮影画像を操縦者に提示して、無人航空機の周囲の状況を操縦者に知らせることが望ましい。

とはいえ、無人航空機１２からほんの短い時間目を離しただけで直ちに航空機撮影画像が当該操縦者に提示されるようにして、操縦者に航空機撮影画像が提示されるか当該提示が抑制されるかが頻繁に切り替わると、操縦者が不快に感じるおそれがある。

本実施形態では、無人航空機１２の操縦者が当該無人航空機１２を目視しているか否かが繰り返し判定されるとともに、無人航空機１２を操縦者が目視していないとの判定が継続しているか否かが判定される。そして無人航空機１２を操縦者が目視していないとの判定が継続しているか否かの判定結果に応じて、表示部２６における前記航空機撮影画像の表示状態が制御される。このようにして本実施形態によれば、航空機撮影画像の表示状態を適切に制御できる。

なお無人航空機１２を操縦者が目視可能な間は目視で操縦し、無人航空機１２が目視可能でなくなったら操縦者がＨＭＤ１０を装着して航空機撮影画像を見ながら操縦を行うという運用も考えられる。しかしこの場合操縦者にとってＨＭＤ１０を着脱するといった余計な作業が発生し、また、操縦者が操縦できない期間が発生してしまう。本実施形態によればこのような運用を行う必要がない。

以下、本実施形態に係るＨＭＤ１０の機能並びに本実施形態に係るＨＭＤ１０で実行される処理についてさらに説明する。

図４は、本実施形態に係るＨＭＤ１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るＨＭＤ１０で、図４に示す機能のすべてが実装される必要はなく、また、図４に示す機能以外の機能が実装されていても構わない。

図４に示すように、本実施形態に係るＨＭＤ１０には、機能的には例えば、センシングデータ取得部６０、判定部６２、表示制御部６４、案内部６６、が含まれる。センシングデータ取得部６０は、プロセッサ２０、通信部２４、センサ部２８、及び、カメラ部３０を主として実装される。判定部６２は、プロセッサ２０を主として実装される。表示制御部６４、案内部６６は、プロセッサ２０及び表示部２６を主として実装される。

以上の機能は、コンピュータであるＨＭＤ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。また、このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１０に供給されてもよい。

センシングデータ取得部６０は、本実施形態では例えば、無人航空機１２及び当該無人航空機１２の操縦者のうちの少なくとも一方に関するセンシングデータを取得する。センシングデータ取得部６０は、例えば、ＨＭＤ１０のセンサ部２８や無人航空機１２のセンサ部４６による計測結果を示すセンシングデータを取得してもよい。またセンシングデータ取得部６０が取得するセンシングデータに、飛行中の無人航空機１２が備えるカメラ部４８により撮影される航空機撮影画像が含まれてもよい。またセンシングデータ取得部６０が取得するセンシングデータに、無人航空機１２の操縦者の頭部に配置されたカメラ部３０により撮影される操縦者撮影画像が含まれてもよい。

またセンシングデータ取得部６０は、所定のサンプリングレートで生成される航空機撮影画像及び操縦者撮影画像を含むセンシングデータを、所定のサンプリングレートで取得してもよい。

判定部６２は、本実施形態では例えば、無人航空機１２及び無人航空機１２の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、無人航空機１２を当該操縦者が目視しているか否かを判定する。ここでは例えば、センシングデータ取得部６０により取得されるセンシングデータに基づいて、無人航空機１２を操縦者が目視しているか否かが判定される。

また本実施形態において、判定部６２が、無人航空機１２と操縦者との間の距離に基づいて、無人航空機１２を操縦者が目視しているか否かを判定してもよい。ここでＨＭＤ１０の位置を操縦者の位置とみなしてもよい。そして判定部６２が、無人航空機１２の位置とＨＭＤ１０の位置との間の距離に基づいて、無人航空機１２を操縦者が目視しているか否かを判定してもよい。

また、判定部６２が、操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、無人航空機１２を操縦者が目視しているか否かを判定してもよい。ここで例えば、センシングデータ取得部６０により取得される、ＨＭＤ１０が備えるカメラ部３０により撮影される操縦者撮影画像に基づいて、無人航空機１２を操縦者が目視しているか否かが判定されてもよい。また例えば、操縦者撮影画像から無人航空機１２の像が検出されるか否かに基づいて、無人航空機１２を操縦者が目視しているか否かが判定されてもよい。

また、判定部６２が、航空機撮影画像に基づいて、無人航空機１２を操縦者が目視しているか否かを判定してもよい。例えば航空機撮影画像に表れているＨＭＤ１０の向きに基づいて、無人航空機１２を操縦者が目視しているか否かが判定されてもよい。

また、判定部６２が、カメラ部３０の視野の範囲に基づいて、無人航空機１２を操縦者が目視しているか否かを判定してもよい。

そして判定部６２は、本実施形態では例えば、無人航空機１２を操縦者が目視していないとの判定が継続しているか否かを判定する。

表示制御部６４は、本実施形態では例えば、無人航空機１２を操縦者が目視していないとの判定が継続しているか否かに応じて、ＨＭＤ１０が備える表示部２６における航空機撮影画像の表示状態を制御する。表示制御部６４は、判定部６２による判定結果に応じて、ＨＭＤ１０が備える表示部２６における航空機撮影画像の表示状態を制御してもよい。なお表示制御部６４が、無人航空機１２の速度、無人航空機１２の位置（緯度、経度及び高度など）、操縦者から無人航空機１２までの距離、目的地までの距離、バッテリー残量、などといった無人航空機１２に関する情報を表示させてもよい。

案内部６６は、本実施形態では例えば、操縦者が無人航空機１２を目視していない場合に、無人航空機１２を目視できるよう操縦者を案内する案内情報を操縦者に提供する。例えば案内部６６が、無人航空機１２が存在する向きを示す矢印の画像などといった案内画像が重畳された操縦者撮影画像を生成してもよい。

なお本実施形態における操縦者とは、無人航空機１２を操縦可能な状態にある者であればよく、操縦者が無人航空機１２を実際に操縦している必要はない。例えば無人航空機１２が自律飛行機能を備えており自律飛行している状態と自律飛行していない状態とが切替可能な場合に、無人航空機１２が自律飛行をしている際において、操縦端末１４を把持している者は、本実施形態における操縦者に相当することとなる。

以下、本実施形態に係るＨＭＤ１０で実行される処理の流れの一例を、図５に示すフロー図を参照しながら説明する。

また本実施形態では例えば、上述の所定のサンプリングレートに相当する所定のフレームレートで表示部２６に画像が表示されることとする。そして当該所定のフレームレートでＳ１０２〜Ｓ１１２に示す処理が繰り返し実行されることとする。また本処理例では、無人航空機１２を操縦者が目視していないとの判定がＮフレームにわたって連続して（Ｎ回連続して）行われた場合に、無人航空機１２を操縦者が目視していないとの判定が継続していると判定されることとする。なお、ここでＮは２以上の整数である。

まず、判定部６２が、変数ｉの値として０を設定する（Ｓ１０１）。

そして、センシングデータ取得部６０が、当該フレームにおけるセンシングデータを取得する（Ｓ１０２）。当該センシングデータには、当該フレームにおける航空機撮影画像、及び、当該フレームにおける操縦者撮影画像が含まれる。

そして、判定部６２が、Ｓ１０２に示す処理で取得されたセンシングデータに基づいて、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であるか否かを判定する（Ｓ１０３）。ここでＨＭＤ１０の位置として、センサ部２８により計測される位置や、センサ部２８による計測結果に基づいて特定されるカメラ部３０の位置などが用いられてもよい。また無人航空機１２の位置として、センサ部４６により計測される位置や、センサ部４６による計測結果に基づいて特定されるカメラ部４８の位置などが用いられてもよい。

また上述の所定の距離は、表示部２６の解像度や画角などの設計値や、カメラ部３０の解像度や画角などの設計値などに基づいて予め決定されていてもよい。また、上述の所定の距離は、三次元空間における距離であってもよいし、水平面上における、ＨＭＤ１０を当該水平面に投影した位置と無人航空機１２を当該水平面に投影した位置との間の距離であってもよい。

また水平方向と高さ方向とで上述の所定の距離が異なっていてもよい。例えば水平面上における、ＨＭＤ１０を当該水平面に投影した位置と無人航空機１２を当該水平面に投影した位置との間の距離が第１の距離として特定されてもよい。また、鉛直線上における、ＨＭＤ１０を当該鉛直線に投影した位置と無人航空機１２を当該鉛直線に投影した位置との間の距離が第２の距離として特定されてもよい。そして第１の距離が第１の所定の距離以下であり、かつ、第２の距離を示す値が第２の所定の距離以下である場合に、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であると判定されてもよい。そしてそうでない場合に、ＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下ではないと判定されてもよい。

Ｓ１０３に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下であると判定されたとする（Ｓ１０３：Ｙ）。この場合、判定部６２が、無人航空機１２がカメラ部３０の視野の範囲内であるか否かを判定する（Ｓ１０４）。

ここでカメラ部３０の視野の範囲とは、例えば、操縦者の頭部の姿勢、操縦者の位置、及び、カメラ部３０の画角等の設計値に基づいて特定される三次元空間内の錐台が占める範囲を指す。なお操縦者の頭部の姿勢、及び、操縦者の位置は、例えば、センサ部２８による計測結果に基づいて特定される。

なおＳ１０４に示す処理におけるカメラ部３０の視野の範囲とは、障害物の影響を考慮しない視野の範囲を意味する。そのため、例えば、図３に示す位置Ｐ３に無人航空機１２が存在しており、操縦者が位置Ｐ０から位置Ｐ３を向いている（方向Ａ３を向いている）際には、無人航空機１２がカメラ部３０の視野の範囲内であると判定される。

Ｓ１０４に示す処理で無人航空機１２がカメラ部３０の視野の範囲内であると判定されたとする（Ｓ１０４：Ｙ）。この場合、判定部６２が、Ｓ１０２に示す処理で取得されたセンシングデータに含まれる操縦者撮影画像から無人航空機１２の像が検出されるか否かを判定する（Ｓ１０５）。ここで公知の画像認識技術を用いて当該検出が行われてもよい。

またＳ１０４に示す処理で判定された視野の範囲とＳ１０２に示す処理で取得されたセンシングデータが示す無人航空機１２の位置とに基づいて、無人航空機１２を操縦者撮影画像に投影した際の操縦者撮影画像内における位置が特定されるようにしてもよい。このようにして特定される位置は、操縦者撮影画像内において無人航空機１２の像が存在する可能性が高い。そしてこのようにして特定される位置の周辺に限定して当該検出が行われてもよい。このようにすることで検出処理の負荷の低減が可能になる。また当該操縦者が操縦する無人航空機１２以外の無人航空機１２が誤検出される可能性も低減できる。

Ｓ１０５に示す処理で、Ｓ１０２に示す処理で取得されたセンシングデータに含まれる操縦者撮影画像から無人航空機１２の像が検出されないと判定されたとする（Ｓ１０５：Ｎ）、この場合、判定部６２が、変数ｉの値を１増加させる（Ｓ１０６）。Ｓ１０３に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下でないと判定された場合（Ｓ１０３：Ｎ）も同様に、判定部６２が、変数ｉの値を１増加させる（Ｓ１０６）。また、Ｓ１０４に示す処理で無人航空機１２がカメラ部３０の視野の範囲内でないと判定された場合（Ｓ１０４：Ｎ）も同様に、判定部６２が、変数ｉの値を１増加させる（Ｓ１０６）。

Ｓ１０６に示す処理が終了すると、判定部６２が、変数ｉの値が所定値Ｎ以上であるか否かを判定する（Ｓ１０７）。変数ｉの値が所定値Ｎ以上であると判定された場合は（Ｓ１０７：Ｙ）、表示制御部６４が、Ｓ１０２に示す処理で取得された航空機撮影画像を表示部２６に表示させて（Ｓ１０８）、Ｓ１０２に示す処理に戻る。

一方、Ｓ１０５に示す処理で、Ｓ１０２に示す処理で取得されたセンシングデータに含まれる操縦者撮影画像から無人航空機１２の像が検出されると判定されたとする（Ｓ１０５：Ｙ）。この場合は、判定部６２が、変数ｉの値を０に更新する（Ｓ１０９）。

そして判定部６２が、無人航空機１２がカメラ部３０の視野の範囲内であるか否かを判定する（Ｓ１１０）。Ｓ１０７に示す処理で変数ｉの値が所定値Ｎ以上でないと判定された場合（Ｓ１０７：Ｎ）も同様に、判定部６２が、無人航空機１２がカメラ部３０の視野の範囲内であるか否かを判定する（Ｓ１１０）。Ｓ１１０に示す処理はＳ１０４に示す処理と同様の処理である。なお当該フレームにおいてＳ１０４に示す処理が実行された場合は、判定部６２は、当該処理の実行結果をＳ１１０に示す処理の実行結果として流用してもよい。

Ｓ１１０に示す処理で無人航空機１２がカメラ部３０の視野の範囲内であると判定されたとする（Ｓ１１０：Ｙ）。この場合、表示制御部６４が、Ｓ１０２に示す処理で取得された操縦者撮影画像を表示部２６に表示させて（Ｓ１１１）、Ｓ１０２に示す処理に戻る。

一方、Ｓ１１０に示す処理で無人航空機１２がカメラ部３０の視野の範囲内でないと判定されたとする（Ｓ１１０：Ｎ）。この場合、表示制御部６４が、無人航空機１２を目視できるよう操縦者を案内する案内画像が重畳された操縦者撮影画像を表示部２６に表示させて（Ｓ１１２）、Ｓ１０２に示す処理に戻る。

Ｓ１１２に示す処理では、例えば、案内部６６が、カメラ部３０の視野の範囲と無人航空機１２の位置とに基づいて、無人航空機１２が存在する向きを特定してもよい。この向きは例えば、無人航空機１２がカメラ部３０の視野の範囲内となるようにするためにカメラ部３０を動かすべき向きに相当する。そして案内部６６が、特定される向きを表す矢印の画像である案内画像が重畳された操縦者撮影画像を生成してもよい。例えば、カメラ部３０の向きに対して無人航空機１２が左上に存在する場合は、左上を向いた矢印の画像である案内画像が重畳された操縦者撮影画像が生成されてもよい。そして表示制御部６４が、このようにして生成された案内画像が重畳された操縦者撮影画像を表示部２６に表示させてもよい。

上述の処理例では、Ｓ１０３〜Ｓ１０５に示す処理において、無人航空機１２を操縦者が目視しているか否かが判定されている。ここでは例えば、ＨＭＤ１０を適切な方向に向けると無人航空機１２の像を含む操縦者撮影画像が撮影可能であっても現状では無人航空機１２の像を含む操縦者撮影画像が撮影されない状況であれば、無人航空機１２を操縦者が目視していないと判定される。

また上述の処理例では、判定部６２は、無人航空機１２を操縦者が目視していないとの判定が所定回数（ここでは例えばＮ回）連続して行われたか否かを判定する。そして、表示制御部６４は、無人航空機１２を操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、表示部２６における航空機撮影画像の表示状態を制御する。この場合、判定部６２は、無人航空機１２を操縦者が目視していないとの判定が所定回数連続して行われたか否かにより無人航空機１２を操縦者が目視していないとの判定が継続しているか否かを判定していることとなる。

なお操縦者が目視していないとの判定が継続しているか否かの判定は、上述のように回数でなく時間に基づいて行われてもよい。例えば、判定部６２は、無人航空機１２を操縦者が目視していないとの判定が所定時間（例えばｔ秒）にわたって継続したか否かを判定してもよい。そして、表示制御部６４は、無人航空機１２を操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、表示部２６における航空機撮影画像の表示状態を制御してもよい。例えば、無人航空機１２を操縦者が目視していないとの判定が所定時間にわたって継続したと判定された際に、航空機撮影画像が表示されるようにしてもよい。この場合、判定部６２は、無人航空機１２を操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより無人航空機１２を操縦者が目視していないとの判定が継続しているか否かを判定していることとなる。

上述の処理例では一般的に、Ｓ１０３に示す処理よりもＳ１０４に示す処理の方が、処理負荷が高い。またＳ１０４に示す処理よりもＳ１０５に示す処理の方が、処理負荷が高い。そのため、Ｓ１０３に示す処理でＨＭＤ１０の位置と無人航空機１２の位置との間の距離が所定の距離以下でないと判定された場合は、処理負荷が高いＳ１０４及びＳ１０５に示す処理が当該フレームでは実行されない。またＳ１０４に示す処理で無人航空機１２がカメラ部３０の視野の範囲内でないと判定された場合も、処理負荷が高いＳ１０５に示す処理が当該フレームでは実行されない。

なお、Ｓ１０３〜Ｓ１０５に示す処理の順序は図５に示すものに限定されない。Ｓ１０３〜Ｓ１０５に示す処理が図５に示すものとは異なる順序で実行されてもよい。またＳ１０３〜Ｓ１０５に示す処理がすべて実行される必要はない。

またＳ１０３〜Ｓ１０５に示す処理は、無人航空機１２を操縦者が目視しているか否かを判定する処理の一例にすぎず、無人航空機１２を操縦者が目視しているか否かを判定する処理はＳ１０３〜Ｓ１０５に示す処理には限定されない。

またＳ１１０〜Ｓ１１２に示す処理が実行されなくてもよい。この場合には例えば、Ｓ１０７に示す処理で変数ｉの値が所定値Ｎ以上でないと判定された際、又は、Ｓ１０９に示す処理が終了した際に、表示制御部６４が、操縦者撮影画像を表示部２６に表示させて、Ｓ１０２に示す処理に戻ってもよい。

また表示制御部６４は、無人航空機１２を操縦者が目視していないとの判定が所定時間継続して行われたか否かに応じて、表示部２６に表示される航空機撮影画像のサイズを制御してもよい。例えばＳ１１１及びＳ１１２に示す処理において、表示制御部６４が、操縦者撮影画像が航空機撮影画像よりも大きく表示されるよう制御してもよい。そしてこの場合にＳ１０８に示す処理において、表示制御部６４が、航空機撮影画像が操縦者撮影画像よりも大きく表示されるよう制御してもよい。

あるいは例えばＳ１１１及びＳ１１２に示す処理において、表示制御部６４が、表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。そしてこの場合にＳ１０８に示す処理において、表示制御部６４が、表示部２６の全画面に航空機撮影画像が表示され、表示部２６の一部に操縦者撮影画像がワイプ表示されるよう制御してもよい。

また、表示部２６に表示される画像が、航空機撮影画像から操縦者撮影画像に切り替わる場合、又は、操縦者撮影画像から航空機撮影画像に切り替わる場合に、ＨＭＤ１０がその旨を表示出力あるいは音声出力などにより操縦者に通知してもよい。またこの場合に例えば、画像を切り替えるか否かにつき操縦者が選択可能であってもよい。例えば操縦者の操作に応じてＨＭＤ１０は表示部２６に表示される画像を切り替えてもよい。

また例えば、所定回数連続して、あるいは、所定時間にわたって継続して、操縦者により無人航空機１２が目視していると判定された場合に、操縦者撮影画像が表示部２６に表示されるようにしてもよい。例えば操縦者撮影画像が表示される際の所定回数と航空機撮影画像が表示される際の所定回数とは異なっていてもよい。また例えば操縦者撮影画像が表示される際の所定時間と航空機撮影画像が表示される際の所定時間とは異なっていてもよい。このようにすれば表示される画像が頻繁に切り替わることをより防ぐことができる。

また、Ｓ１０３に示す処理において、操縦者撮影画像が表示されている際の所定の距離と航空機撮影画像が表示されている際の所定の距離とが異なっていてもよい。例えば、操縦者撮影画像が表示されている際の所定の距離よりも航空機撮影画像が表示されている際の所定の距離の方が長くてもよい。あるいは、航空機撮影画像が表示されている際の所定の距離よりも操縦者撮影画像が表示されている際の所定の距離の方が長くてもよい。このようにすれば表示される画像が頻繁に切り替わることを防ぐことができる。

また案内部６６が、矢印の画像に加えて、あるいは、矢印の画像に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する文章を表す文字列の画像が配置された案内画像を生成してもよい。そして案内部６６が、当該案内画像が重畳された操縦者撮影画像を生成してもよい。また案内部６６が、案内画像の重畳に加えて、あるいは、案内画像の重畳に代えて、「ドローンは左上を飛行しています」「左上を向いてください」などといった、操縦者を案内する音声を操縦者に出力してもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば以上の説明ではＨＭＤ１０は映像透過型（ビデオシースルー型）のＨＭＤ１０であることとしたが、本発明は、ＨＭＤ１０が光学透過型（オプティカルシースルー型）のＨＭＤ１０の場合であっても適用可能である。ここで例えば、表示制御部６４が、Ｓ１０８に示す処理では、航空機撮影画像を表示させ、Ｓ１１１やＳ１１２に示す処理では、航空機撮影画像を表示させないよう制御してもよい。あるいは、Ｓ１０８に示す処理では、航空機撮影画像を大きく表示させ、Ｓ１１１やＳ１１２に示す処理では、航空機撮影画像を小さく表示させてもよい。航空機撮影画像の表示が抑制されると、操縦者は無人航空機１２を目視しやすくなる。

なおこの場合、Ｓ１０４及びＳ１１０に示す処理では、カメラ部３０の視野の範囲の代わりに、操縦者の視野の範囲が用いられてもよい。ここで操縦者の視野の範囲は、例えば、操縦者の頭部の姿勢と、所与の操縦者の視野角と、に基づいて特定されてよい。またＳ１０３に示す処理における所定の距離は、操縦者の視力に応じて設定されてもよい。またこの場合、カメラ部３０により撮影される操縦者撮影画像は、Ｓ１０５に示す処理においてのみ用いられてもよい。

またこの場合、表示制御部６４は、Ｓ１１２に示す処理において、案内画像を表示部２６にＡＲ（Augmented Reality）表示させてもよい。

またＳ１１１やＳ１１２に示す処理において、表示制御部６４が、操縦支援のための情報を表示部２６にＡＲ表示させてもよい。この場合、当該情報は無人航空機１２の目視の邪魔にならないよう、中央部を避けて配置されるようにしたり、透過度が高い状態で配置されたりすることが望ましい。

また本発明の適用範囲はＨＭＤ１０にも限定されない。例えば、操縦者がＨＭＤ１０ではないディスプレイを見ながら無人航空機１２を操縦する場面についても本発明は適用可能である。この場合に、ＨＭＤ１０のカメラ部３０の代わりに、無人航空機１２の離陸地点や着陸地点に設けられたカメラが撮影する画像が操縦者撮影画像として用いられてもよい。また当該カメラは、固定カメラである必要はなく、例えば操縦者が姿勢を制御可能なカメラ（パンチルトカメラ等）であってもよい。

また本実施形態において、図４に示す機能の一部又は全部が、無人航空機１２、又は、操縦端末１４において実装されてもよい。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims

飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御システム。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御システム。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段と、
を含むことを特徴とする表示制御システム。
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する、
ことを特徴とする請求項１から３のいずれか一項に記載の表示制御システム。
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する、
ことを特徴とする請求項１から３のいずれか一項に記載の表示制御システム。
前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する、
ことを特徴とする請求項１から５のいずれか一項に記載の表示制御システム。
前記判定手段は、前記操縦者の視野の範囲と、前記無人航空機の位置と、に基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する、
ことを特徴とする請求項１から６のいずれか一項に記載の表示制御システム。
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする請求項１から７のいずれか一項に記載の表示制御システム。
前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
ことを特徴とする請求項１から８のいずれか一項に記載の表示制御システム。
前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記無人航空機を前記操縦者が目視しているか否かを判定する、
ことを特徴とする請求項１から８のいずれか一項に記載の表示制御システム。
前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記無人航空機を前記操縦者が目視しているか否かを判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする請求項１から８のいずれか一項に記載の表示制御システム。
前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
ことを特徴とする請求項１０又は１１に記載の表示制御システム。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御装置。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御装置。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段と、
を含むことを特徴とする表示制御装置。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
を含むことを特徴とする表示制御方法。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
を含むことを特徴とする表示制御方法。
飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供するステップと、
を含むことを特徴とする表示制御方法。