JP7363733B2 - 端末プログラム、無人航空機、及び情報処理装置 - Google Patents

Description

本開示は、端末プログラム、無人航空機、及び情報処理装置に関する。

特許文献１には、ドローンを目的地まで配送するドローン管理システムが記載されている。

特開２０１９－１３１３３２号公報

ユーザとドローンなどの無人航空機との待ち合わせ地点を詳細に設定できるようにすることが求められている。

本開示の目的は、ユーザと無人航空機と待ち合わせ地点を詳細に設定できるようにすることである。

本開示に係る端末プログラムは、
端末装置としてのコンピュータに、
無人航空機により撮影された画像を出力することと、
前記端末装置のユーザが前記画像上で前記無人航空機と前記ユーザとの待ち合わせ地点を指定する操作を受け付けることと、
前記ユーザにより指定された待ち合わせ地点の位置情報を前記無人航空機に送信することと、を含む動作を実行させる。

本開示に係る無人航空機は、
ユーザとの待ち合わせ地点まで飛行する無人航空機であって、
前記ユーザの端末装置と通信する通信部と、
画像を撮影する撮像部と、
前記撮像部により撮影された画像を前記通信部を介して前記端末装置に送信する制御部とを備え、
前記制御部は、前記画像上で前記ユーザにより前記待ち合わせ地点が指定されると、前記待ち合わせ地点の位置情報を前記通信部を介して受信し、受信した位置情報で示される地点まで前記無人航空機を飛行させる制御を行う。

本開示に係る情報処理装置は、
端末装置と通信を行う通信部と、
無人航空機により撮影された画像上において、前記端末装置のユーザが前記無人航空機と待ち合わせる待ち合わせ地点の指定が制限される制限区域を判定し、判定結果を示す情報を、前記通信部を介して前記端末装置に送信する制御部とを備える。

本開示によれば、ユーザと無人航空機との待ち合わせ地点を詳細に設定できるようになる。

本開示の第１実施形態に係る制御システムの構成を示す図である。 本開示の第１実施形態に係る端末装置の構成を示すブロック図である。 本開示の第１実施形態に係る無人航空機の構成を示すブロック図である。 本開示の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本開示の第１実施形態に係る端末装置の動作を示すフローチャートである。 本開示の第１実施形態に係る無人航空機の動作を示すフローチャートである。 本開示の第１実施形態に係る端末装置の画面の例を示す図である。 本開示の第２実施形態に係る情報処理装置の動作を示すフローチャートである。 本開示の第２実施形態に係る端末装置の画面の例を示す図である。 本開示の第２実施形態に係る端末装置の画面の別の例を示す図である。

以下、本開示のいくつかの実施形態について、図を参照して説明する。

各図中、同一又は相当する部分には、同一符号を付している。各実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

本開示の一実施形態である第１実施形態について説明する。

図１を参照して、本実施形態の概要を説明する。

本実施形態では、無人航空機３０は、画像を撮影し、撮影した画像を端末装置２０に送信する。端末装置２０は、無人航空機３０により撮影された画像を出力する。端末装置２０は、端末装置２０のユーザ１１が画像上で無人航空機３０とユーザ１１との待ち合わせ地点ＭＰを指定する操作を受け付ける。端末装置２０は、ユーザ１１により指定された待ち合わせ地点ＭＰの位置情報を無人航空機３０に送信する。無人航空機３０は、端末装置２０から送信された位置情報を受信し、受信した位置情報で示される地点まで飛行する。このようにして、無人航空機３０とユーザ１１とが待ち合わせ地点ＭＰで落ち合うことができる。

本実施形態によれば、ユーザ１１と無人航空機３０との待ち合わせ地点を詳細に設定できるようになる。例えば、ユーザ１１は、目的地付近まで飛行してきた無人航空機３０により撮影された画像に基づいて、ユーザ１１と無人航空機３０との待ち合わせ地点ＭＰを精密に指定することができる。すなわち、ユーザ１１と無人航空機３０との待ち合わせ地点ＭＰが詳細に設定される。また、本実施形態によれば、ユーザ１１は、無人航空機３０と待ち合わせやすい地点を画像から視覚的に判断し、判断した地点である待ち合わせ地点ＭＰを無人航空機３０の目的地として指定することが可能となる。すなわち、ユーザ１１は、無人航空機３０の目的地を、待ち合わせ地点ＭＰとして簡単に設定することができる。

図１を参照して、本実施形態に係る制御システム１０の構成を説明する。

制御システム１０は、端末装置２０と、無人航空機３０と、情報処理装置４０とを備える。

端末装置２０は、ネットワーク５０を介して無人航空機３０及び情報処理装置４０と通信可能である。無人航空機３０は、ネットワーク５０を介して情報処理装置４０と通信可能であってもよい。

ネットワーク５０は、インターネット、少なくとも１つのＷＡＮ、少なくとも１つのＭＡＮ、又はこれらの組合せを含む。「ＷＡＮ」は、wide area networkの略語である。「ＭＡＮ」は、metropolitan area networkの略語である。ネットワーク５０は、少なくとも１つの無線ネットワーク、少なくとも１つの光ネットワーク、又はこれらの組合せを含んでもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線ＬＡＮ、衛星通信ネットワーク、又は地上マイクロ波ネットワークである。「ＬＡＮ」は、local area networkの略語である。

端末装置２０は、ユーザ１１によって保持される。端末装置２０は、例えば、携帯電話機、スマートフォン、若しくはタブレットなどのモバイル機器、又はＰＣである。「ＰＣ」は、personal computerの略語である。

無人航空機３０は、端末装置２０から目的地の指示を受けて、少なくとも部分的に自律飛行する飛行物体である。無人航空機３０は、目的地の指示を情報処理装置４０から受けてもよい。無人航空機３０は、例えば、ドローンである。無人航空機３０は、複数の回転翼を備え、これを回転させることにより揚力を発生させる。本実施形態において、無人航空機３０は、物流用途に使用される。無人航空機３０は、出発地で積み込んだ荷物を第１の目的地まで配送する。あるいは、例えば、ユーザ１１からの荷物の集荷依頼に対応する場合には、無人航空機３０は、第１の目的地でユーザ１１から荷物を受け取り、受け取った荷物を第１の目的地とは別の第２の目的地まで配送してもよい。本実施形態における無人航空機３０は、数百グラムから数キログラム程度までの小型の荷物を運搬するように構成されている。しかしながら、本開示の他の実施形態における無人航空機は、より大きな荷物を配送するように構成されてよい。無人航空機３０を貸し出すサービスなどのように、無人航空機３０自身が配送の対象となってもよい。

情報処理装置４０は、データセンタなどの施設に設置される。情報処理装置４０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバである。

図２を参照して、本実施形態に係る端末装置２０の構成を説明する。

端末装置２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５と、測位部２６とを備える。

制御部２１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部２１は、端末装置２０の各部を制御しながら、端末装置２０の動作に関わる処理を実行する。

記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、端末装置２０の動作に用いられるデータと、端末装置２０の動作によって得られたデータとが記憶される。

通信部２３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェース、Bluetooth（登録商標）などの近距離無線通信に対応したインタフェース、又はＬＡＮインタフェースである。「ＬＴＥ」は、Long Term Evolutionの略語である。「４Ｇ」は、4th generationの略語である。「５Ｇ」は、5th generationの略語である。通信部２３は、端末装置２０の動作に用いられるデータを受信し、また端末装置２０の動作によって得られるデータを送信する。

入力部２４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部２４は、端末装置２０の動作に用いられるデータを入力する操作を受け付ける。入力部２４は、端末装置２０に備えられる代わりに、外部の入力機器として端末装置２０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。

出力部２５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。出力部２５は、端末装置２０の動作によって得られるデータを出力する。出力部２５は、端末装置２０に備えられる代わりに、外部の出力機器として端末装置２０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。

測位部２６は、少なくとも１つのＧＮＳＳ受信機を含む。「ＧＮＳＳ」は、global navigation satellite systemの略語である。ＧＮＳＳは、例えば、ＧＰＳ、ＱＺＳＳ、ＢｅｉＤｏｕ、ＧＬＯＮＡＳＳ、又はGalileoである。「ＧＰＳ」は、Global Positioning Systemの略語である。「ＱＺＳＳ」は、Quasi-Zenith Satellite Systemの略語である。ＱＺＳＳの衛星は、準天頂衛星と呼ばれる。「ＧＬＯＮＡＳＳ」は、Global Navigation Satellite Systemの略語である。測位部２６は、端末装置２０の位置を測定する。

端末装置２０の機能は、本実施形態に係る端末プログラムを、制御部２１としてのプロセッサで実行することにより実現される。すなわち、端末装置２０の機能は、ソフトウェアにより実現される。端末プログラムは、端末装置２０の動作をコンピュータに実行させることで、コンピュータを端末装置２０として機能させる。すなわち、コンピュータは、端末プログラムに従って端末装置２０の動作を実行することにより端末装置２０として機能する。

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

端末装置２０の一部又は全ての機能が、制御部２１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、端末装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

図３を参照して、本実施形態に係る無人航空機３０の構成を説明する。

無人航空機３０は、制御部３１と、記憶部３２と、通信部３３と、撮像部３５と、センサ３６と、飛行ユニット３７と、保持機構３８とを備える。

制御部３１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、少なくとも１つのＥＣＵ、又はこれらの組合せを含む。「ＥＣＵ」は、electronic control unitの略語である。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。プログラマブル回路は、例えば、ＦＰＧＡである。専用回路は、例えば、ＡＳＩＣである。制御部３１は、無人航空機３０の各機能部品を制御しながら、無人航空機３０の動作に関わる処理を実行する。

記憶部３２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部３２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部３２には、無人航空機３０の動作に用いられるデータと、無人航空機３０の動作によって得られたデータとが記憶される。

通信部３３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ規格、若しくは５Ｇ規格などの移動通信規格に対応したインタフェースである。通信部３３は、無人航空機３０の動作に用いられるデータを受信し、また無人航空機３０の動作によって得られるデータを送信する。

撮像部３５は、視野内の被写体を撮影した画像を生成するカメラを含む。カメラは、単眼カメラであってもよく、或いはステレオカメラであってもよい。カメラは、レンズなどの光学系と、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの撮像素子とを含む。「ＣＣＤ」はcharge-coupled deviceの略語である。「ＣＭＯＳ」は、complementary metal oxide semiconductorの略語である。撮像部３５は、無人航空機３０の周辺の画像を撮影する。撮像部３５は、所定のフレームレート、例えば、３０ｆｐｓ（frame per second）で、継続的に画像を撮影してもよい。撮像部３５により複数の場所から撮影された同一被写体の複数枚の画像から、三次元画像が生成されてもよい。撮像部３５により撮影された１枚の画像から計測された被写体までの距離に基づいて、三次元画像が生成されてもよい。

センサ３６には、種々のセンサが含まれる。センサ３６には、測位センサ、測距センサ、方位センサ、加速度センサ、角速度センサ、対地高度センサ、障害物センサ等が含まれうる。測位センサは、無人航空機３０の位置を測定する。測位センサは、緯度及び経度などで表される絶対位置を検出することができる。測位センサは、少なくとも１つのＧＮＳＳ受信機を含む。ＧＮＳＳは、例えば、ＧＰＳ、ＱＺＳＳ、ＢｅｉＤｏｕ、ＧＬＯＮＡＳＳ、又はGalileoである。測距センサは、対象物までの距離を測定する。方位センサは、地磁気の磁力を検出して方位を測定する。加速度センサ及び角速度としては、例えば、ジャイロセンサが使用される。対地高度センサ及び障害物センサとしては、例えば、超音波センサ又は赤外線センサが使用される。センサ３６は、さらに、気圧センサを含んでよい。

飛行ユニット３７は、複数の回転翼とその駆動装置とを含む。回転翼の数は、例えば、４つ又は６つであってよいが、これらに限られない。一例として、複数の回転翼は、無人航空機３０の機体の中心から放射状に配置される。飛行ユニット３７は、制御部３１の制御の下で、各回転翼の回転速度を調整することにより、無人航空機３０に、静止、上昇、下降、前進、後退、及び旋回等の種々の動作をさせることができる。

保持機構３８は、荷物を保持する。保持機構３８は、荷物を保持するためのアームを備える。保持機構３８は、制御部３１の制御の下で、無人航空機３０の飛行中に荷物を保持し、第１の目的地でアームを広げて荷物をリリースする。無人航空機３０が第１の目的地で荷物を受け取り、受け取った荷物を第１の目的地とは別の第２の目的地まで配送する場合には、保持機構３８は、第１の目的地でアームを広げて荷物を積み込み、第２の目的地でアームを広げて荷物をリリースする。

図４を参照して、本実施形態に係る情報処理装置４０の構成を説明する。

情報処理装置４０は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。

制御部４１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。プログラマブル回路は、例えば、ＦＰＧＡである。専用回路は、例えば、ＡＳＩＣである。制御部４１は、情報処理装置４０の各部を制御しながら、情報処理装置４０の動作に関わる処理を実行する。

記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、情報処理装置４０の動作に用いられるデータと、情報処理装置４０の動作によって得られたデータとが記憶される。

記憶部４２には、地図データベースが構築されていてもよい。地図データベースは、無人航空機３０が飛行する領域全体の地図情報を格納したデータベースである。地図データベースは、立入禁止区域、私有地、道路、水路、又は湖沼など、無人航空機３０とユーザ１１とが待ち合わせることのできない区域の情報を含む。例えば、道路上で無人航空機３０とユーザ１１とが待ち合わせることは危険である。立入禁止区域、私有地、水路、又は湖沼には、ユーザ１１が入ることができないため、無人航空機３０と待ち合わせることはできない。特定の施設又は地域では、法律により無人航空機３０の飛行及び着陸も禁止されている場合がある。地図データベースは、地形の起伏、建物、電柱、歩道橋等の道路上の立体構造物、又は道路の立体交差などの三次元の情報を含んでもよい。

本実施形態において「水路」の用語は、水面で繋がった領域を意味するものとして、広義の意味で用いる。水路は、船舶等が通行可能な水面及び水を流すために作られた通路を含む。例えば、水路は、河川、運河、又は用水路を含む。

本実施形態において「湖沼」の用語は、周囲を陸に囲まれ海と直接連絡していない静止した水塊を意味するものとして、広義の意味で用いる。湖沼は、人造の静水域である池、又は降雨などで突発的に生じた水溜まりを含む。

通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、ＬＡＮインタフェースである。通信部４３は、情報処理装置４０の動作に用いられるデータを受信し、また情報処理装置４０の動作によって得られるデータを送信する。本実施形態において、通信部４３は、端末装置２０と通信を行う。通信部４３は、無人航空機３０とも通信を行う。

入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部４４は、情報処理装置４０の動作に用いられるデータを入力する操作を受け付ける。入力部４４は、情報処理装置４０に備えられる代わりに、外部の入力機器として情報処理装置４０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。

出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部４５は、情報処理装置４０の動作によって得られるデータを出力する。出力部４５は、情報処理装置４０に備えられる代わりに、外部の出力機器として情報処理装置４０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。

情報処理装置４０の機能は、本実施形態に係る情報処理プログラムを、制御部４１としてのプロセッサで実行することにより実現される。すなわち、情報処理装置４０の機能は、ソフトウェアにより実現される。情報処理プログラムは、情報処理装置４０の動作をコンピュータに実行させることで、コンピュータを情報処理装置４０として機能させる。すなわち、コンピュータは、情報処理プログラムに従って情報処理装置４０の動作を実行することにより情報処理装置４０として機能する。

情報処理装置４０の一部又は全ての機能が、制御部４１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、情報処理装置４０の一部又は全ての機能が、ハードウェアにより実現されてもよい。

図５及び図６を参照して、本実施形態に係る制御システム１０の動作を説明する。図５は、端末装置２０の動作を示している。図６は、無人航空機３０の動作を示している。

図６のステップＳ１１１において、無人航空機３０の撮像部３５は画像を撮影する。本実施形態では、撮像部３５は、ユーザ１１の上空から地上を撮影する。具体的には、無人航空機３０の制御部３１が、ユーザ１１の位置情報を取得する。ユーザ１１の位置情報は任意の方法で取得されてよい。１つの例として、無人航空機３０の制御部３１は、ユーザ１１の保持する端末装置２０の測位部２６により測定した位置を示す情報を、ユーザ１１の位置情報として取得する。位置は、例えば、２次元座標又は３次元座標で示される。制御部３１は、取得した位置情報を参照して、無人航空機３０をユーザ１１の上空まで飛行させる制御を行う。制御部３１は、無人航空機３０がユーザ１１の上空に来たタイミングで、撮像部３５を介して撮影を行う。あるいは、無人航空機３０の制御部３１は、無人航空機３０をユーザ１１の上空で旋回飛行させる制御を行い、旋回軌道上の複数の異なる位置から撮像部３５を介して撮影を行ってもよい。

図６のステップＳ１１２において、無人航空機３０の制御部３１は、撮像部３５により撮影された画像を通信部３３を介して端末装置２０に送信する。無人航空機３０の制御部３１は、撮像部３５により撮影された画像を通信部３３を介して情報処理装置４０に送信してもよい。

図５のステップＳ１０１において、端末装置２０は、無人航空機３０により撮影された画像を出力する。画像の出力は任意の方式で行われてよい。１つの例として、端末装置２０の制御部２１は、画像を出力部２５に相当するディスプレイに表示する。

本実施形態において、無人航空機３０により撮影された画像は、無人航空機３０により端末装置２０のユーザ１１の上空から撮影された地上の画像である。本実施形態において、画像は三次元画像である。

三次元画像は任意の手順で生成されてよい。１つの例として、無人航空機３０は、撮像部３５により、ユーザ１１の上空の複数の地点からユーザ１１及びその周辺を撮影する。無人航空機３０により撮影された複数枚の画像が合成されて三次元画像が生成されてもよい。あるいは、無人航空機３０は、撮影を行う際に、センサ３６により対象物までの距離を測定する。無人航空機３０により撮影された画像及び測定された距離に基づいて三次元画像が生成されてもよい。三次元画像の生成は、無人航空機３０の制御部３１により行われてもよいし、ステップＳ１１２における画像の送信先である端末装置２０の制御部２１により行われてもよい。あるいは、ステップＳ１１２において、画像を情報処理装置４０に送信した場合は、情報処理装置４０の制御部４１により行われてもよい。

本実施形態では、無人航空機３０により撮影された画像は、図７に示すように、端末装置２０のディスプレイに三次元画像として表示される。図７に示す画像には、ユーザ１１及びユーザ１１の周辺にあるオブジェクトが写っている。

図５のステップＳ１０２において、端末装置２０は、ユーザ１１が画像上で無人航空機３０とユーザ１１との待ち合わせ地点ＭＰを指定する操作を受け付ける。本実施形態において、「待ち合わせ地点」とは、無人航空機３０とユーザ１１との間で荷物の受け渡しが行われる地点である。本実施形態において、「受け渡し」には、無人航空機３０により運ばれてきた荷物をユーザ１１が受け取ること、及びユーザ１１が無人航空機３０に荷物を渡すことのいずれかが含まれる。無人航空機３０から荷物を受け取ったユーザ１１が、別の荷物を無人航空機３０に新たに渡してもよい。待ち合わせ地点ＭＰを指定する操作は、任意の手順で行われてよい。１つの例として、ユーザ１１が出力部２５に地図として表示された画像上の地点をタップするなどのＧＵＩ操作により行われる。「ＧＵＩ」は、graphical user interfaceの略語である。本例において、「希望する地点をタップしてください」という指示に応じてユーザ１１が画面をタップすると、図７に示すように、画面上にユーザ１１により指定された待ち合わせ地点ＭＰを示す印が表示される。

図５のステップＳ１０３において、端末装置２０は、ユーザ１１により指定された待ち合わせ地点ＭＰの位置情報を無人航空機３０に送信する。具体的には、端末装置２０の制御部２１は、ステップＳ１０２でユーザ１１が指定した待ち合わせ地点ＭＰの位置を示す位置情報を、通信部２３を介して、無人航空機３０に送信する。位置は、例えば、２次元座標又は３次元座標で示される。

図６のステップＳ１１３において、無人航空機３０の制御部３１は、画像上でユーザ１１により待ち合わせ地点ＭＰが指定されると、待ち合わせ地点ＭＰの位置情報を通信部３３を介して受信する。制御部３１は、受信した位置情報で示される地点まで無人航空機３０を飛行させる制御を行う。具体的には、制御部３１は、図５のステップＳ１０３において端末装置２０から送信された待ち合わせ地点ＭＰの位置情報を、通信部３３を介して受信する。制御部３１は、受信した待ち合わせ地点ＭＰの位置情報を記憶部３２に記憶する。制御部３１は、記憶部３２から待ち合わせ地点ＭＰの位置情報を読み出し、読み出した位置情報で示される地点まで無人航空機３０を飛行させる制御を行う。

本実施形態によれば、ユーザ１１は、無人航空機３０により撮影された上空からの画像を見ながら無人航空機３０と待ち合わせやすい地点を視覚的に判断し、待ち合わせ地点ＭＰを精密に指定することができる。すなわち、ユーザ１１と無人航空機３０との待ち合わせ地点ＭＰが詳細に設定される。また、ユーザ１１は、無人航空機３０との間で荷物の受け渡しがしやすい地点を視覚的に選んで待ち合わせ地点ＭＰとして指定することができる。よって、ユーザ１１は無人航空機３０の目的地を待ち合わせ地点ＭＰとして簡単に設定することができる。

第１実施形態の一変形例である第２実施形態について説明する。

図８を参照して、本実施形態に係る制御システム１０の動作を説明する。図８は、情報処理装置４０の動作を示している。

ユーザ１１が指定した待ち合わせ地点ＭＰが、待ち合わせ地点ＭＰとして不適切な場合がある。不適切な地点としては、例えば、立入禁止区域、私有地、道路、水路、又は湖沼上の地点が含まれる。さらに、建物、樹木、人、又は車両などの障害物のある地点も待ち合わせ地点ＭＰとして不適切である。このような地点での待ち合わせは、物理的に不可能であったり、違法であったり、障害物に対してユーザ１１又は無人航空機３０が接触するなどの迷惑を生じさせたりすることが懸念されるからである。よって、このような地点は、無人航空機３０とユーザ１１との待ち合わせ地点ＭＰとして指定されないようにすることが望まれる。

本実施形態において、端末装置２０の動作及び無人航空機３０の動作は、特に指定しない限り、それぞれ図５に示すステップＳ１０１からステップＳ１０３の処理及び図６に示すステップＳ１１１からステップＳ１１３の処理と同じであるため、説明を省略する。

図８のステップＳ２０１において、情報処理装置４０の制御部４１は、無人航空機３０により撮影された画像を取得する。画像は任意の方法で取得されてよい。１つの例として、制御部４１は、図６のステップＳ１１２において無人航空機３０から送信された画像を、通信部４３を介して受信することにより、画像を取得する。あるいは、制御部４１は、図６のステップＳ１１２において無人航空機３０から端末装置２０に送信された画像を、端末装置２０から間接的に取得してもよい。制御部４１は、取得した画像を記憶部４２に記憶する。

図８のステップＳ２０２において、情報処理装置４０の制御部４１は、ステップＳ２０１で取得した画像を記憶部４２から読み出す。制御部４１は、読み出した画像上における、端末装置２０のユーザ１１が無人航空機３０と待ち合わせる待ち合わせ地点ＭＰの指定が制限される制限区域を判定する。

本実施形態において、制限区域には、立入禁止区域、私有地、道路、水路、又は湖沼が含まれる。情報処理装置４０の制御部４１は、記憶部４２に構築された地図データベースを参照し、無人航空機３０により撮影された画像上において、制限区域に該当する区域を判定する。具体的には、制御部４１は、画像に写っている被写体と地図データベースとを照合し、制限区域に該当する被写体を特定する。例えば、制御部４１は、図７に示す画面の例では、建物の塀の内部、並びに川及び池を識別し、制限区域に該当する区域と判定する。

図８のステップＳ２０３において、情報処理装置４０の制御部４１は、ステップＳ２０２における判定結果を示す情報を、通信部４３を介して端末装置２０に送信する。具体的には、制御部４１は、無人航空機３０により撮影された画像上において、制限区域に該当する区域を示す情報を端末装置２０に送信する。

本実施形態において、端末装置２０は、ステップＳ２０３で情報処理装置４０から送信された制限区域に該当する区域を示す情報を、通信部２３を介して受信する。図５のステップＳ１０１において、端末装置２０の制御部２１は、画像を出力する際、画像上に、待ち合わせ地点ＭＰの指定が制限される制限区域を表示する。具体的には、端末装置２０の制御部２１は、画面上における制限区域がハッチングされた画像を出力部２５に相当するディスプレイに出力する。端末装置２０の制御部２１は、例えば、図９に示す画面の例のように、制限区域である建物の塀の内部、並びに川及び池が線ハッチングされた画像を出力する。

本実施形態において、ユーザ１１が制限区域内において待ち合わせ地点ＭＰを指定することが制限される。待ち合わせ地点ＭＰの指定の制限は任意の方式で行われてよい。１つの例として、図９に示す画面の例において、ユーザ１１が線ハッチングされた部分をタップすると、待ち合わせ地点ＭＰの指定ができない旨の警告がユーザ１１に通知される。警告は、画面上にテキストで表示されてもよいし、音声で出力されてもよい。警告が通知されたユーザ１１は、制限区域以外の地点を待ち合わせ地点ＭＰとして指定することになる。

本実施形態によれば、ユーザ１１が待ち合わせ地点ＭＰを指定する区域として不適切な区域が制限区域として画面上に表示されるので、ユーザ１１は、制限区域を視覚的に避けて待ち合わせ地点ＭＰを指定することができるようになる。よって、ユーザ１１は、無人航空機３０との待ち合わせに適した地点を待ち合わせ地点ＭＰとして簡単に設定することができる。ユーザ１１が誤って制限区域内に待ち合わせ地点ＭＰを指定した場合には警告が通知されるので、ユーザ１１が待ち合わせ地点ＭＰとして不適切な地点を誤って指定してしまうことが防止される。

本実施形態において、情報処理装置４０の制御部４１は、図８のステップＳ２０２において、更に、画像から、障害物のある地点である障害物地点を検出し、検出した障害物地点を、待ち合わせ地点ＭＰの指定が制限される地点と判定してもよい。

本実施形態において、障害物には、建物、樹木、人、又は車両が含まれる。本例において、「人」には人混みが含まれ、「車両」には自転車が含まれる。制限区域の判定に加えて、障害物地点を検出するのは、制限区域には該当しなくても、障害物があると荷物の受け渡しができないため、ユーザ１１と無人航空機３０との待ち合わせ地点ＭＰとして障害物地点を指定することは不適切であるからである。特に、障害物が人又は車両などの移動するオブジェクトである場合には、移動により障害物の場所が変化しうるため、リアルタイムで検出できれば便宜である。

障害物地点の検出は任意の手順で行われてよい。本実施形態では、情報処理装置４０の制御部４１は、画像から地面の高低を判定し、最も低い地点との高低差が基準値以上である地点を障害物地点として検出する。基準値は、障害物を認識できるものであれば任意の値でよい。本実施形態では、幼児も検出されるように、例えば５０ｃｍとする。情報処理装置４０の制御部４１は、図７に示す画面の例において、建物、樹木、人混み、及び自転車を障害物地点として検出する。

図８のステップＳ２０３において、情報処理装置４０の制御部４１は、判定結果として、更に、検出された障害物を示す情報を端末装置２０に送信する。

端末装置２０の制御部２１は、図８のステップＳ２０３で情報処理装置４０から送信された障害物地点を示す情報を、通信部２３を介して更に受信する。図５のステップＳ１０１において、制御部２１は、画像を出力する際、画像上に、障害物のある地点である障害物地点を、待ち合わせ地点ＭＰの指定が制限される地点として更に表示する。具体的には、画面上の障害物地点がハッチングされた画像を出力する。例えば、図１０に示す画面の例のように、線ハッチングされた制限区域に加え、障害物である建物、樹木、自転車、及び人混みが点ハッチングされた画像が表示される。

本実施形態において、ユーザ１１により指定された待ち合わせ地点ＭＰが制限区域及び障害物地点のいずれかに該当する場合に、待ち合わせ地点ＭＰの指定ができない旨の警告がユーザ１１に通知される。例えば、図１０に示す例では、図９に示す例とは異なり、自転車が、待ち合わせ地点ＭＰとして指定された地点に存在している。すなわち、障害物地点が待ち合わせ地点ＭＰとして指定されている。そのため、ユーザ１１への警告として、画像上に「その地点はご指定いただけません。別の地点を指定してください。」というテキストメッセージが表示される。ユーザ１１への警告は、音声で出力されてもよい。

本実施形態によれば、障害物が人又は車両などの移動するオブジェクトであっても、リアルタイムで検出できるようになる。よって、待ち合わせ地点ＭＰの指定が制限される地点の判定をより確実に行うことができる。待ち合わせ地点ＭＰとして不適切な地点が障害物地点として画面上に更に表示されるので、ユーザ１１は、障害物地点を視覚的に避けて待ち合わせ地点ＭＰを指定することができるようになる。よって、ユーザ１１は、無人航空機３０との待ち合わせに適した地点を待ち合わせ地点ＭＰとして簡単に設定することができる。ユーザ１１が誤って障害物地点を指定した場合には警告が通知されるので、ユーザ１１が待ち合わせ地点ＭＰとして不適切な地点を誤って指定してしまうことが防止される。

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

例えば、図５のステップＳ１０２において、更に、ユーザ１１が無人航空機３０の高さを指定する操作を受け付けてもよい。無人航空機３０とユーザ１１との間で荷物が受け渡される際に、ユーザ１１が立っている場合と、座っている場合とでは、荷物の受け渡しがしやすい高さが異なると考えられる。ユーザ１１が座っている場合の例としては、ユーザ１１が車椅子に乗っている場合が想定される。ユーザ１１が車椅子に乗っている場合、無人航空機３０の位置が高すぎても低すぎても手が届かず荷物の受け渡しが困難になる。無人航空機３０の高さの指定は、任意の方式で行われてよい。１つの例として、高さの指定は、ユーザ１１が任意の数字を直接入力することにより行われる。別の例として、ユーザ１１が立っている場合又は座っている場合の無人航空機３０の高さとして、ユーザ１１の身長に応じて予め登録された値が選択肢としてユーザ１１に提示されてもよい。ユーザ１１は提示された選択肢の中から、立っている場合及び座っている場合のいずれかを選択することにより数値を選択してもよい。本変形例では、図５のステップＳ１０３において、端末装置２０は、ユーザ１１により指定された無人航空機３０の高さを示す高さ情報を無人航空機３０に送信する。図６のステップＳ１１３において、無人航空機３０は、ユーザ１１により指定された待ち合わせ地点ＭＰの位置情報とともに、ユーザ１１により指定された無人航空機３０の高さを示す高さ情報を、端末装置２０から通信部３３を介して受信する。無人航空機３０の制御部３１は、ユーザ１１の位置情報で示される待ち合わせ地点ＭＰにおいて、高さ情報により示される高さまで無人航空機３０を降下させる制御を行う。本例によれば、ユーザ１１が受け渡しやすい高さでの荷物の受け渡しが可能になる。すなわち、ユーザ１１と無線航空機３０との待ち合わせ地点ＭＰが詳細に設定される。

また、情報処理装置４０の制御部４１は、図８のステップＳ２０２において、画像から障害物を検出する際、基準値以上の地点であっても、その地点にアクセス可能な手段として階段などが検出された場合には、その地点を待ち合わせ地点ＭＰの指定が制限される地点と判定しないようにしてもよい。

また、情報処理装置４０の動作の少なくとも一部は、端末装置２０又は無人航空機３０により行われてもよい。情報処理装置４０は端末装置２０又は無人航空機３０に統合若しくは搭載されていてもよい。

１０ 制御システム
１１ ユーザ
２０ 端末装置
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 入力部
２５ 出力部
２６ 測位部
３０ 無人航空機
３１ 制御部
３２ 記憶部
３３ 通信部
３５ 撮像部
３６ センサ
３７ 飛行ユニット
３８ 保持機構
４０ 情報処理装置
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
５０ ネットワーク
ＭＰ 待ち合わせ地点

Claims (11)

1. 端末装置としてのコンピュータに、
   無人航空機により撮影された画像を出力することと、
   前記端末装置のユーザが前記画像上で前記無人航空機と前記ユーザとの待ち合わせ地点を指定する操作を受け付けることと、
   前記ユーザにより指定された待ち合わせ地点の位置情報を前記無人航空機に送信することと、
   を含む動作であって、
   前記ユーザが荷物の受け渡しの際の前記無人航空機の高さを指定する操作を受け付けることであって、前記無人航空機の高さとして、前記ユーザに応じて予め登録された値の選択肢の中からいずれかを選択する操作を受け付けることと、
   前記ユーザにより指定された前記無人航空機の高さを示す高さ情報を前記無人航空機に送信することと
   を更に含む動作を実行させる端末プログラム。
2. 前記画像は、前記無人航空機により前記ユーザの上空から撮影された地上の画像である、請求項１に記載の端末プログラム。
3. 前記画像は三次元画像である、請求項１又は請求項２に記載の端末プログラム。
4. 前記画像を出力することは、前記画像上に、前記待ち合わせ地点の指定が制限される制限区域を表示することを含む、請求項１から請求項３のいずれか１項に記載の端末プログラム。
5. 前記制限区域には、立入禁止区域、私有地、道路、水路、又は湖沼が含まれる、請求項４に記載の端末プログラム。
6. 前記画像を出力することは、前記画像上に、障害物のある地点である障害物地点を、前記待ち合わせ地点の指定が制限される地点として表示することを含む、請求項１から請求項５のいずれか１項に記載の端末プログラム。
7. 前記障害物には、建物、樹木、人、又は車両が含まれる、請求項６に記載の端末プログラム。
8. ユーザとの待ち合わせ地点まで飛行する無人航空機であって、
   前記ユーザの端末装置と通信する通信部と、
   画像を撮影する撮像部と、
   前記撮像部により撮影された画像を前記通信部を介して前記端末装置に送信する制御部とを備え、
   前記制御部は、前記画像上で前記ユーザにより前記待ち合わせ地点が指定されると、前記待ち合わせ地点の位置情報を前記通信部を介して受信し、受信した位置情報で示される地点まで前記無人航空機を飛行させる制御を行い、
   前記制御部は、前記位置情報とともに、前記ユーザにより指定された前記無人航空機の高さを示す高さ情報を、前記通信部を介して受信し、前記位置情報で示される地点において、前記高さ情報で示される高さまで前記無人航空機を降下させる制御を行う、
   無人航空機。
9. 前記撮像部は、前記ユーザの上空から地上を撮影する、請求項８に記載の無人航空機。
10. 前記画像は三次元画像である、請求項８又は請求項９に記載の無人航空機。
11. 前記待ち合わせ地点は、前記無人航空機と前記ユーザとの間で荷物の受け渡しが行われる地点である、請求項８から請求項１０のいずれか１項に記載の無人飛行機。

Images