JP7643447B2

JP7643447B2 - 情報処理方法、情報処理装置およびプログラム

Info

Publication number: JP7643447B2
Application number: JP2022505159A
Authority: JP
Inventors: 啓輔前田; 達也石塚; 充中田; 大小林
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2020-03-06
Filing date: 2021-02-25
Publication date: 2025-03-11
Anticipated expiration: 2041-02-25
Also published as: US20230107289A1; US12292742B2; WO2021177139A1; JPWO2021177139A1

Description

本開示は、移動体の軌道計画に関する処理を行う情報処理方法、情報処理装置およびプログラムに関する。

ロボットやドローン等の移動体に関する各種処理を行うための種々の技術が提案されている（特許文献１～６、および非特許文献参照１～４参照）。

特開２０１２－１８５７５２号公報特開２００７－１５０３７号公報特開２００３－２６６３４７号公報特開２０１２－５９１７６号公報特開２０１６－９５８４１号公報特表２０１８－５０９６７６号公報

Y Tassa et al., "Control-limited differential dynamic programming", IEEE International Conference on Robotics and Automation (ICRA), 2014 Using occupancy grids for mobile robot perception and navigation - IEEE Computer 2/251998. Rusu, Radu Bogdan, and Steve Cousins., "3d is here: Point cloud library (pcl).", Robotics and Automation (ICRA), 2011, IEEE International Conference on. IEEE, 2011. "A survey of motion planning and control techniques for self-driving urban vehicles", B. Paden et al, arxiv;1604.07446v, 2016.

カメラを備えた移動体を移動させつつ撮影を行う場合において、カメラの撮影軌道と移動体の移動軌道とをユーザが事前作成したいという要求がある。

移動体の軌道計画を容易に作成することを可能にする情報処理方法、情報処理装置およびプログラムを提供することが望ましい。

本開示の一実施の形態に係る情報処理方法は、移動体に設けられたカメラによる複数の撮影予定地点と複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行うことと、受信した入力情報に基づいて、移動体の事前軌道を作成する処理を行うことと、事前軌道を作成する処理として、複数の撮影予定地点のうち第１の撮影予定地点における第１のカメラ姿勢と第２の撮影予定地点における第２のカメラ姿勢とに基づいて、部分軌道を作成する処理を行うことと、部分軌道を作成する処理によって作成された部分軌道が、移動体によって現実に移動可能であるか否かを評価する処理を行うことと、評価する処理によって、部分軌道が現実には移動不可能であると評価された場合に、移動不可能であることを通知する処理を行うこととを含む。

本開示の一実施の形態に係る情報処理装置は、移動体に設けられたカメラによる複数の撮影予定地点と複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する受信部と、受信した入力情報に基づいて、移動体の事前軌道を作成する処理を行う軌道計画部とを備える。軌道計画部による事前軌道を作成する処理として、複数の撮影予定地点のうち第１の撮影予定地点における第１のカメラ姿勢と第２の撮影予定地点における第２のカメラ姿勢とに基づいて、部分軌道を作成する処理と、部分軌道を作成する処理によって作成された部分軌道が、移動体によって現実に移動可能であるか否かを評価する処理と、評価する処理によって、部分軌道が現実には移動不可能であると評価された場合に、移動不可能であることを通知する処理とを含む。

本開示の一実施の形態に係るプログラムは、移動体に設けられたカメラによる複数の撮影予定地点と複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行うことと、受信した入力情報に基づいて、移動体の事前軌道を作成する処理を行うことと、事前軌道を作成する処理として、複数の撮影予定地点のうち第１の撮影予定地点における第１のカメラ姿勢と第２の撮影予定地点における第２のカメラ姿勢とに基づいて、部分軌道を作成する処理を行うことと、部分軌道を作成する処理によって作成された部分軌道が、移動体によって現実に移動可能であるか否かを評価する処理を行うことと、評価する処理によって、部分軌道が現実には移動不可能であると評価された場合に、移動不可能であることを通知する処理を行うこととを含む処理をコンピュータに実行させる。

本開示の一実施の形態に係る情報処理方法、情報処理装置またはプログラムでは、移動体に設けられたカメラによる複数の撮影予定地点と複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を、所定の座標系上で受信する。受信した入力情報に基づいて、移動体の事前軌道を作成する処理を行う。

本開示の第１の実施の形態に係る情報処理方法、情報処理装置およびプログラムが適用される移動体の概要を示すブロック図である。移動体の詳細な構成の第１の例を示すブロック図である。移動体の詳細な構成の第２の例を示すブロック図である。第１の実施の形態に係る情報処理方法が適用される移動体システムの概要を示すブロック図である。移動体システムの一例としてのドローンシステムのハードウェア構成の一例を概略的に示すブロック図である。第１の実施の形態に係る端末装置の制御系の一構成例を概略的に示すブロック図である。第１の実施の形態に係る端末装置のハードウェア構成の一例を概略的に示すブロック図である。第１の実施の形態に係る端末装置による事前軌道の作成の処理フローの一例を概略的に示す流れ図である。姿勢間の部分軌道計画の第１の例の動作フローの一例を概略的に示す流れ図である。部分軌道が飛行可能かの評価方法のフローの一例を概略的に示す流れ図である。軌道形状の評価の処理のフローの一例を概略的に示す流れ図である。連続的軌道が飛行可能かの評価のフローの一例を概略的に示す流れ図である。離散的軌道が飛行可能かの評価のフローの一例を概略的に示す流れ図である。姿勢間の部分軌道計画の第２の例の動作フローの一例を概略的に示す流れ図である。第１の実施の形態に係る端末装置による事前軌道の作成のＧＵＩ画面の初期画面の一例を概略的に示す説明図である。図１５に示したＧＵＩ画面を用いて地図の設定をする段階（ステップ１）における画面例を概略的に示す説明図である。図１５に示したＧＵＩ画面を用いて撮影ポイントの追加の設定をする段階（ステップ２）における画面例を概略的に示す説明図である。図１５に示したＧＵＩ画面を用いて撮影位置および撮影姿勢の設定をする段階（ステップ３）における画面例を概略的に示す説明図である。図１５に示したＧＵＩ画面を用いて撮影時刻の調整の設定をする段階（ステップ４）における画面例を概略的に示す説明図である。図１５に示したＧＵＩ画面を用いてステップ２～４の設定を繰り返した段階の画面例を概略的に示す説明図である。図１５に示したＧＵＩ画面を用いて作成された事前軌道の一例を概略的に示す説明図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１．０移動体の概要および課題（図１～図４）
１．１構成（図５～図７）
１．２動作（図８～図１４）
１．３事前軌道の作成の具体例（図１５～図２１）
１．４効果
２．その他の実施の形態

＜１．第１の実施の形態＞
［１．０移動体の概要および課題］
（移動体の概要）
第１の実施の形態に係る情報処理方法、情報処理装置およびプログラムの技術は、移動体に対する処理に適用可能である。例えばセンシング装置（センサ）と電子計算機とを備え、データを処理しながら自律的にあるいは指示に従って動作する移動体に対する処理に適用可能である。移動体としては、例えばドローン、ロボット、自動カート、および自動運転車等に適用可能である。

図１は、本開示の第１の実施の形態に係る情報処理方法、情報処理装置およびプログラムが適用される移動体の概要を示している。図２は、移動体の詳細な構成の第１の例を示している。図２では、移動体として例えばドローンの詳細な構成例を示している。図３は、移動体の詳細な構成の第２の例を示している。図３では、移動体として例えば多足歩行ロボットの詳細な構成例を示している。

移動体は、図１に示したように、例えば、センサ部１と、処理装置２と、駆動機構部３と、外部撮影用のカメラ４とを備えている。処理装置２は、認識部２０と、行動計画部３０と、行動制御部４０とを有している。移動体は、処理装置２を複数、備えていてもよい。

センサ部１は、例えば、ジャイロセンサおよび地磁気センサ等の内界センサや、カメラおよびＴｏＦ（Time of Flight）センサ等の外界センサを含み、それらのセンサからのセンサ情報を出力する。センサ部１は、例えば、カメラ、加速度センサ、レーザレンジファインダー、ＴｏＦ（Time of Flight）センサ、地磁気センサ、ジャイロセンサ、接触センサ、温度センサ、湿度センサ、およびＧＮＳＳ（Global Navigation Satellite Systems）等のうち、少なくとも１つを含む。

移動体がドローンの場合、例えば図２に示したように、センサ部１として、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）１１と、内界センサ１２と、ＧＮＳＳ（Global Navigation Satellite Systems、全地球航法衛星システム）１３とを有している。内界センサ１２は、例えば、ＩＭＵ（Inertial Measurement Unit、慣性計測装置）と加速度センサとを含む。ＩＭＵは、角度（または角速度）と加速度を検出する。内界センサ１２は、例えば、位置、姿勢、速度、加速度、および角加速度等のセンサ情報を出力する。

移動体が多足歩行ロボットの場合、例えば図３に示したように、センサ部１として、ＬＩＤＡＲ１１と、内界センサ１２と、カメラ１４とを有している。カメラ１４は外部撮影用のカメラ４とは異なるセンサ用カメラである。

認識部２０は、センサ部１からのセンサ情報に基づいて、認識処理を行う。認識部２０は、認識結果として、各種画像データを出力する。また、認識部２０は、認識結果として、周辺の人の表情、位置、および属性、自分や障害物の位置等のデータを出力する。また、認識部２０は、認識結果として、周辺の物体の種類、位置、および属性等のデータを出力する。認識部２０による認識処理の例としては、例えば特許文献１に記載の技術では、ロボットに備わるカメラを用いて、視線方向に対するテンプレート画像と撮像画像とから、ロボットや対象物体の位置データおよび姿勢データ等を生成する。

移動体がドローンの場合、例えば図２に示したように、認識部２０として、障害物認識部２１と、ＳＬＡＭ（Simultaneously Localization and Mapping）２２とを有している。障害物認識部２１は、センサ情報に基づいて、例えば周辺の障害物の位置等の障害物情報を出力する。ＳＬＡＭ２２は、センサ情報に基づいて、例えば自己位置推定を行い、自己の位置情報を出力する。

移動体が多足歩行ロボットの場合、例えば図３に示したように、認識部２０として、障害物認識部２１と、ＳＬＡＭ２２と、ＶｉｓｕａｌＳＬＡＭ２３とを有している。ＶｉｓｕａｌＳＬＡＭ２３は、最寄りのランドマークのＩＤ（Identification）、ランドマークからの相対位置、および姿勢等の情報を出力する。

行動計画部３０は、機体全体または機体の部分的な行動を計画し、行動計画情報を出力する。行動計画情報としては、例えば自機全体や部品の移動軌跡、状態変化、速度、および加速度等を含む。

行動計画部３０は、例えば図２および図３に示したように、プランナー３１と、センサフュージョン部３２と、地図ＤＢ（データベース）３３とを有している。プランナー３１は、例えば、移動軌跡を計画する。プランナー３１は、移動軌跡の計画に地図ＤＢ３３の地図データを参照してもよい。移動軌跡は、例えば、０．１秒ごとの位置情報（ｘ，ｙ，ｚ）の点系列データと、その時点ごとの目標速度、および目標角速度等の系列データとを含む。センサフュージョン部３２は、移動体がドローンの場合、例えば図２に示したように、ＧＮＳＳ１３からの情報とＳＬＡＭ２２からの情報とに基づいて、精度を向上させた自己位置情報等を出力する。また、センサフュージョン部３２は、移動体が多足歩行ロボットの場合、例えば図３に示したように、ＶｉｓｕａｌＳＬＡＭ２３からの情報とＳＬＡＭ２２からの情報とに基づいて、精度を向上させた自己位置情報および自己姿勢情報等を出力する。

行動計画部３０は、機体の大まかな位置、例えば機体の重心位置や指先位置などの位置の軌道を計画して行動計画情報として出力する。例えば非特許文献１にはＢＯＸ－ＤＤＰなるアルゴリズムによって車の自動パーキング軌跡を計画して行動計画情報として出力する技術が記載されている。また、非特許文献４には、Ａ＊（スター）やＲＲＴ（Rapidly exploring Random Tree）などの複数の移動軌跡生成技術が記載されている。非特許文献４によれば移動軌跡は、距離的等間隔の点列や、時間的等間隔の点列で表すことができる。また、その各点において速度や加速度、および角速度を付与することもできる。行動を計画する際には、周辺の障害物や地理的情報（地図データ）を利用することもできる。

非特許文献２にはＯｃｃｕｐａｎｃｙｇｒｉｄｍａｐ（環境格子地図）なる、格子状のデータ構造の障害物マップをもとにロボットの経路を探索する技術が記載されている。また、非特許文献３にはＴｏＦセンサやＬＩＤＡＲなどの３Ｄスキャニングセンサに基づくｐｏｉｎｔｃｌｏｕｄ（点群）なる、点集合のデータ構造の障害物マップに関する技術が記載されている。

行動制御部４０は、行動計画部３０からの行動計画情報に基づいて、駆動機構部３を制御する制御信号を出力する。行動制御部４０は、移動体がロボットの場合、例えば、ロボットの各パーツに位置するアクチュエータへの制御信号を、ロボットの状態が事前に定めた条件（例えば倒れない等）に従うよう出力する。例えば非特許文献１に記載の技術では、各関節に収められた低レベルＰＤ制御器をもとに各関節を制御し、ロボットの歩行モーションを実現している。

行動制御部４０は、例えば図２および図３に示したように、経路追従制御部４１と、姿勢制御コントローラ４２とを有している。

駆動機構部３は、移動体の動きを実現するための各種駆動機構、例えばアクチュエータ、モータ、サーボモータ、およびブレーキ等を含む。駆動機構部３は、移動体の外部に各種情報出力を行うための部品が含まれていてもよい。例えば、ＬＥＤ（Light Emitting Diode）、表示装置やスピーカ等が含まれていてもよい。

移動体がドローンの場合、駆動機構部３は、例えば図２に示したように、複数のプロペラ５１が含まれていてもよい。この場合、姿勢制御コントローラ４２は、例えば複数のプロペラ５１のそれぞれの回転速度を制御する制御信号を出力してもよい。

また、移動体が多足歩行ロボットの場合、駆動機構部３は、例えば図３に示したように、関節モータ５２が含まれていてもよい。この場合、姿勢制御コントローラ４２は、例えば関節モータ５２を駆動制御する制御信号を出力してもよい。

（課題）
図１ないし図３に示したような移動体を移動させつつ、外部撮影用のカメラ４によって撮影を行う場合において、カメラ４の撮影軌道と移動体の移動軌道とをユーザが事前作成したいという要求がある。

この場合、従来の技術では、複数の撮影ポイントを通過するような滑らかな撮影軌道と、移動体が現実に実現可能な滑らかな移動軌道とを、ユーザが事前作成することが困難である。これは第１の課題として、移動体の制御変数とカメラの制御変数とが多く、すべてを手動で作成することが困難であることに起因する。また、第２の課題として、移動軌道としての滑らかさと撮影軌道としての滑らかさとが必ずしも一致しないことに起因する。また、第３の課題として、移動体が現実に実現可能な軌道を作成するためには、ユーザが事前に機体特性を知っておく必要があることに起因する。

移動体の軌道を事前に作成する方法として、例えば画面上で２次元的な複数の位置を指定し、高さはデフォルト値から書き換える方法がある。この手法では、滑らかな移動軌道を作成することが困難であり、また、姿勢（向き）の表現が困難である。また、撮影を考慮した移動体の軌道を指定することが困難である。

また、固定された軌道を相対位置で表現する方法があるが、それを編集することは困難である。

また、ベジェ曲線によってマップ上に線を描くようにして移動軌道を作成する方法があるが、速度や姿勢によっては移動体が移動不可能な線になってしまうおそれがある。

そこで、移動体の軌道計画を容易に作成することを可能にする技術の開発が望まれる。

上記した課題を解決するために、第１の実施の形態に係る技術では、移動体の姿勢ではなく、撮影ポイント（撮影予定地点）と撮影ポイントにおけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行う。また、複数の撮影ポイントにおける複数のカメラ姿勢に基づいて、移動体の複数の姿勢を求め、複数の姿勢間を滑らかにつなぐ部分軌道を求める処理を行う。また、部分軌道を作成する処理によって作成された部分軌道が、移動体によって現実に移動可能であるか否かを評価する処理を行い、部分軌道が現実には移動不可能であると評価された場合に、部分軌道を再度、作成する処理を行う。
以下、これらの処理を行う実現する、情報処理方法、情報処理装置およびプログラムの第１の実施の形態について説明する。

［１．１構成］
（システム構成）
図４は、第１の実施の形態に係る情報処理方法が適用される移動体システムの概要を示すブロック図である。

第１の実施の形態に係る情報処理方法は、端末装置２００と、移動体３００とを備えたシステムに適用される。

端末装置２００は、ユーザからの撮影ポイントの情報等の入力情報を所定の座標系上で受信し、入力情報に基づいて、情報移動体３００の事前軌道の編集、作成処理を行う。端末装置２００は、例えばパーソナルコンピュータやモバイル端末等であってもよい。
端末装置２００は、本開示の技術における「情報処理装置」の一具体例に相当する。本開示の技術における情報処理方法は端末装置２００によって実現される。

移動体３００は、例えば上述した図１～図３に示したようなドローンやロボットである。移動体３００は、端末装置２００によって作成された事前軌道に従って移動する。

図５は、移動体システムの一例としてのドローンシステムのハードウェア構成の一例を概略的に示している。図５では、移動体３００をドローンとした場合のシステム構成例を示している。ドローンは、図２に示したような構成のドローンであってもよい。

ドローンシステムは、例えば、管制９０と、手動コントローラ８０と、端末装置２００と、移動体３００とを備えている。なお、ここでは、手動コントローラ８０と端末装置２００とが別々に構成されている例を示しているが、手動コントローラ８０と端末装置２００とが１つの装置で構成されていてもよい。

管制９０は、端末装置２００と移動体３００とに無線等によって通信可能となっている。端末装置２００は、移動体３００と手動コントローラ８０とに有線また無線により通信可能となっている。手動コントローラ８０は、無線により移動体３００と通信可能となっている。

移動体３００は、例えば、ドローン本体６０を備えている。ドローン本体６０は、カメラ・センサ部６１と、駆動部６２と、画像・信号処理プロセッサ６３と、ＦＣ（フライトコントローラ）６４と、ＡＰ（アプリケーションプロセッサ）６７と、処理アクセラレータ６８とを有している。

フライトコントローラ６４は、例えば、センサハブ６５と、リアルタイム制御プロセッサ６６とを含む。

処理アクセラレータ６８は、例えばＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）およびＡＳＩＣ（Application Specific Integrated Circuit）等を含む。

カメラ・センサ部６１は、例えば、センサ部６１１と、カメラ６１２とを含む。センサ部６１１は、例えば、ステレオカメラ、ＩＭＵ、およびＧＰＳ（Global Positioning System）等を含む。カメラ６１２は、外部撮影用のカメラである。カメラ・センサ部６１からのセンサ信号および撮影信号は、画像・信号処理プロセッサ６３を介してアプリケーションプロセッサ６７に出力される。また、カメラ・センサ部６１からのセンサ信号および撮影信号は、センサハブ６５を介してアプリケーションプロセッサ６７とリアルタイム制御プロセッサ６６とに出力される。

駆動部６２は、例えば、モータコントローラ６２１と、カメラジンバル６２２とを含む。

管制９０は、必要に応じてドローン本体６０との間で管制通信を行う。管制９０は、例えば、移動体３００が飛行禁止領域に接近した場合等に移動体３００の誘導等を行う。

手動コントローラ８０は、移動体３００を操縦する信号を送信する送信機であり、プロポ（プロポーショナルシステム）と呼ばれる。ユーザは、手動コントローラ８０を用いて移動体３００を手動操縦することが可能となっている。

リアルタイム制御プロセッサ６６は、センサハブ６５を介して入力されたセンサ信号等と、アプリケーションプロセッサ６７からの制御信号等とに基づいて、駆動部６２に駆動制御信号を出力する。

駆動部６２は、リアルタイム制御プロセッサ６６からの駆動制御信号に基づいて、モータコントローラ６２１とカメラジンバル６２２とを駆動制御する。モータコントローラ６２１は、駆動制御信号に基づいてプロペラ５１（図２）等を駆動する。カメラジンバル６２２は、駆動制御信号に基づいてカメラ６１２の姿勢を制御する。

（端末装置２００の構成）
図６は、第１の実施の形態に係る端末装置２００の制御系の一構成例を概略的に示している。

端末装置２００は、制御部１００と、ＵＩ（User Interface）部１１０と、座標変換部１２０と、軌道計画部１３０と、軌道連結部１４０と、通信部１５０とを備えている。

ＵＩ部１１０は、例えば後述する図１５に示すようなＧＵＩ（Graphical User Interface）画面を表示し、ＧＵＩ画面上でキーボードやマウス等を介してユーザからの入力を受け付ける（受信する）。ＵＩ部１１０は、移動体３００に設けられたカメラ６１２による複数の撮影予定地点と、複数の撮影予定地点（撮影ポイント）におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行う。ここで、所定の座標系とは、地図座標系を含む。例えば後述する図１６ないし図１８に示すような、カメラ姿勢ビューア２１０に表示される地図の座標系を含む。また、所定の座標系とは、自己位置座標系を含む。
ＵＩ部１１０は、本開示の技術における「受信部」の一具体例に相当する。

制御部１００は、端末装置２００の各部の制御を行う。

座標変換部１２０は、所定の座標系におけるカメラ姿勢と所定の座標系における移動体３００の機体姿勢との変換を行う。

軌道計画部１３０は、ＵＩ部１１０が受け付けた（受信した）入力情報に基づいて、移動体３００の事前軌道を作成する処理を行う。事前軌道を作成する処理は、複数の撮影ポイントのうち第１の撮影ポイントにおける第１のカメラ姿勢と第２の撮影ポイントにおける第２のカメラ姿勢とに基づいて、部分軌道を作成する処理を含んでもよい（後述の図８～図９、図１７～図２１参照）。この場合において、第１のカメラ姿勢は、部分軌道における撮影の開始姿勢であってもよい。第２のカメラ姿勢は、部分軌道における撮影の終了姿勢であってもよい。入力情報には、第１の撮影ポイントにおける撮影時刻（部分軌道における撮影の開始時刻）と第２の撮影ポイントにおける撮影時刻（部分軌道における撮影の終了時刻）とが含まれてもよい。

軌道計画部１３０による部分軌道を作成する処理は、移動体３００の運動性能に基づいて、第１のカメラ姿勢と第２のカメラ姿勢との姿勢間における複数の軌道候補を作成する処理を行うことを含んでもよい（後述の図１４参照）。

また、軌道計画部１３０は、部分軌道を作成する処理によって作成された部分軌道が、移動体３００によって現実に移動可能であるか否かを評価する処理を行う（後述の図９～図１３参照）。軌道計画部１３０は、評価する処理によって、部分軌道が現実には移動不可能であると評価された場合には、部分軌道を再度、作成する処理を行う（後述の図８参照）。軌道計画部１３０による評価の結果（軌道作成の可否）は、ＵＩ部１１０を介してユーザに通知される。ＵＩ部１１０は、軌道計画部１３０によって、部分軌道が現実には移動不可能であると評価された場合に、入力情報を再度、受け付ける（受信する）処理を行う（後述の図８参照）。

軌道計画部１３０による評価する処理は、部分軌道を移動する際の移動方向が移動体３００の運動性能によって現実に実現可能であるか否かを評価する処理を含む（後述の図９～図１１参照）。また、軌道計画部１３０による評価する処理は、部分軌道を移動する際の、速度、加速度、および躍度のうち少なくとも１つが移動体３００の運動性能によって現実に実現可能であるか否かを評価する処理を含む（後述の図１１～図１３参照）。

軌道連結部１４０は、軌道計画部１３０によって作成された複数の部分軌道を連結して事前軌道を作成する。

通信部１５０は、軌道連結部１４０によって作成された事前軌道を移動体３００に送信する。

図７は、第１の実施の形態に係る端末装置２００のハードウェア構成の一例を概略的に示している。

端末装置２００は、ＣＰＵ９０１（Central Processing Unit）と、ＲＯＭ９０２（Read Only Memory）と、ＲＡＭ９０３（Random Access Memory）と、これらを接続するバス９０５とを備えている。また、端末装置２００は、入力装置９１１と、出力装置９１２と、ストレージ装置９１３と、ドライブ９１４と、接続ポート９１５と、通信装置９１６と、これらを接続するインタフェース９０８とを備えている。また、端末装置２００は、インタフェース９０８とバス９０５との間を接続するバス９０６とブリッジ９０７とを備えている。通信装置９１６は、無線または有線により通信網９２０に接続可能となっている。

ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、マイクロコンピュータを構成している。例えばＲＯＭ９０２およびＲＡＭ９０３は、半導体記憶装置等により構成される。第１の実施の形態に係るプログラムは、第１の実施の形態に係る情報処理方法による処理をマイクロコンピュータに実行させるものであってもよい。第１の実施の形態に係る情報処理方法による処理は、ＲＯＭ９０２またはＲＡＭ９０３に記憶されたプログラムを、ＣＰＵ９０１が実行することで実現し得る。なお、第１の実施の形態に係る情報処理方法による処理は、例えば有線または無線による通信網９２０により外部から供給されたプログラムに基づく処理をＣＰＵ９０１が実行することで実現してもよい。

入力装置９１１は、例えばキーボードやポインティングデバイス等を含み、ユーザからの入力を受け付ける（受信する）。また、入力装置９１１は、カメラやスキャナ等を含み、画像データ等の入力を受け付ける。出力装置９１２は、例えばディスプレイ、スピーカ、およびプリンタ等を含み、各種情報を出力する。出力装置９１２は、例えばディスプレイによって画像の表示を行う。

ストレージ装置９１３は、ハードディスクドライブ等で構成される。ドライブ９１４は、光学ドライブ等で構成される。接続ポート９１５は、ＵＳＢ（Universal Serial Bus）端子等で構成される。

［１．２動作］
図８は、第１の実施の形態に係る端末装置２００による事前軌道の作成の処理フローの一例を概略的に示している。ここでは、移動体３００はドローンであり、端末装置２００が事前軌道としてドローンの事前飛行軌道を作成する処理を例に説明する。

まず、端末装置２００は、パラメータｎの値をｎ＝０とし、事前飛行軌道Ｔをクリアする（ステップＳ１０１）。次に、端末装置２００は、カメラ姿勢Ｐｃａｍ，ｎを受け取る（ステップＳ１０２）。次に、端末装置２００は、機体姿勢Ｐｂｏｄｙ，ｎを算出する（ステップＳ１０３）。ここでは、カメラ６１２が機体上で姿勢を変えられる（ジンバル機構がある）場合、複数の機体姿勢候補や機体姿勢の範囲を返してもよい。

機体姿勢Ｐｂｏｄｙ，ｎを算出（ステップＳ１０３）した後は、カメラ６１２による撮影が動画の場合、次に、端末装置２００は、撮影時刻ｔｎを受け取り（ステップＳ１０４）、次に、パラメータｎの値がｎ＝０であるか否かを判断する（ステップＳ１０５）。機体姿勢Ｐｂｏｄｙ，ｎを算出（ステップＳ１０３）した後は、カメラ６１２による撮影が静止画の場合、次に、端末装置２００は、パラメータｎの値がｎ＝０であるか否かを判断する（ステップＳ１０５）。パラメータｎの値がｎ＝０であると判断した場合（ステップＳ１０５：Ｙ）、端末装置２００は、ステップＳ１０１の処理に戻る。

パラメータｎの値がｎ＝０ではないと判断した場合（ステップＳ１０５：Ｎ）、次に、端末装置２００は、姿勢Ｐｂｏｄｙ，ｎ－１から姿勢Ｐｂｏｄｙ，ｎまでの部分軌道Ｔｎ－１を計画する（ステップＳ１０６）。ここで、カメラ６１２による撮影が静止画の場合は、例えばドローンであればホバリングして静止した状態で撮影を行うことが多い。そこで、静止画の場合は、端末装置２００は、Ｐｂｏｄｙ，ｎで速度０になる部分軌道を計画してもよい。カメラ６１２による撮影が動画の場合は、端末装置２００は、撮影時刻を守るように部分軌道を計画する。ベジエ曲線、スプライン曲線、およびＡ＊による探索などの計画アルゴリズムが考えられる。後述するように、２つの姿勢候補、範囲をつなぐ部分軌道集合を計画してもよい。

次に、端末装置２００は、解があるか否かを判断する（ステップＳ１０７）。解がないと判断した場合（ステップＳ１０７：Ｎ）、端末装置２００は、解がないことを通知（ステップＳ１０８）した後、ステップＳ１０１の処理に戻る。カメラ姿勢、撮影時刻の初期値は１つ前の入力としてもよい。

解があると判断した場合（ステップＳ１０７：Ｙ）、端末装置２００は、事前飛行軌道ＴにＴｎ－１を追加する（ステップＳ１０９）。次に、端末装置２００は、カメラ姿勢の指定が終了したか否かを判断する（ステップＳ１１０）。カメラ姿勢の指定が終了していないと判断した場合（ステップＳ１１０：Ｎ）、端末装置２００は、ステップＳ１０１の処理に戻る。

カメラ姿勢の指定が終了したと判断した場合（ステップＳ１１０：Ｙ）において、動画の場合、端末装置２００は、停止（ホバリング）するまでの部分軌道Ｔｎを計画（ステップＳ１１１）した後、事前飛行軌道ＴにＴｎを追加する（ステップＳ１１２）。カメラ姿勢の指定が終了したと判断した場合（ステップＳ１１０：Ｙ）において、静止画の場合、次に、端末装置２００は、事前飛行軌道ＴにＴｎを追加する（ステップＳ１１２）。

（姿勢間の部分軌道計画の第１の例）
図９は、姿勢間の部分軌道計画（図８のステップＳ１０６）の第１の例の動作フローの一例を概略的に示している。

端末装置２００は、姿勢Ｐｂｏｄｙ，ｎ－１から姿勢Ｐｂｏｄｙ，ｎまでの部分軌道Ｔｎ－１を作成する（ステップＳ２０１）。次に、端末装置２００は、部分軌道Ｔｎ－１を飛行可能か評価する（ステップＳ２０２）。

次に、端末装置２００は、評価の結果、飛行可能であるか否かを判断する（ステップＳ２０３）。飛行可能ではないと判断した場合（ステップＳ２０３：Ｎ）、端末装置２００は、解がないと判断する（ステップＳ２０４）。飛行可能であると判断した場合（ステップＳ２０３：Ｙ）、端末装置２００は、解があると判断する（ステップＳ２０５）。すなわち、解は部分軌道Ｔｎ－１であるとする。

ここで、図９のステップＳ２０２の飛行可能かの評価方法は軌道のデータ形式によって異なる。

（軌道の構成要素）
・時刻
時刻は、絶対時刻でも相対時刻でもよい。例えばｓｅｃ，ｎｓｅｃそれぞれをｌｏｎｇ型、またはｄｏｕｂｌｅ型で表現してもよい。また、時刻については未指定でもよい。

・位置および姿勢
位置および姿勢は、固定座標系における３次元位置および３次元姿勢であってもよい。例えば離陸位置を原点とする直交座標ｘ，ｙ，ｚ、Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ緯度、経度、高度、ＮＥＤ座標などであってもよい。例えばｄｏｕｂｌｅ型の６次元ベクトルなどであってもよい。姿勢については、一部またはすべてが未指定でもよい。

・速度
速度は、固定座標系または機体座標系における速度（角速度を含む）であってもよい。例えば、上記位置および姿勢の微分値でもよいし、それらを別座標系に変換したものでもよい。例えばｄｏｕｂｌｅ型の６次元ベクトルなどであってもよい。速度については、一部またはすべてが未指定でもよい。

・加速度
加速度は、固定座標系または機体座標系における加速度（角加速度を含む）であってもよい。上記速度の微分値でもよいし、それらを別座標系に変換したものでもよい。例えばｄｏｕｂｌｅ型の６次元ベクトルなどであってもよい。加速度については、一部またはすべてが未指定でもよい。

・躍度
躍度は、固定座標系または機体座標系における躍度（角躍度を含む）であってもよい。上記加速度の微分値でもよいし、それらを別座標系に変換したものでもよい。例えばｄｏｕｂｌｅの６次元ベクトルなどであってもよい。躍度については、一部またはすべてが未指定でもよい。

・連続的軌道
連続的軌道は、例えば、各要素が媒介変数を用いた関数で表現される。媒介変数は時刻でもよいし、無次元の変数でもよい。

・離散的軌道
離散的軌道は、例えば、各要素を持つ機体情報の配列で表現される。

（部分軌道の評価方法）
端末装置２００は、例えば２姿勢間の軌道を生成して評価する。ベジエ、スプラインなどの関数を用いて各変数を補間する数学的手法と呼ばれる手法である。生成された部分軌道が飛行可能か評価する。例えば以下の評価１～４のように評価する。生成したすべての部分軌道が飛行不可だった場合、解無しとする。

・評価１（移動方向が実現可能であるかの評価）
例えば、並進ｘ，ｙ，ｚの各方向と、回転ｒ，ｐ，ｙの各方向との移動可否の拘束を守っているか否かを評価する。例えば、一般的なドローンはｚ，ｒ，ｐ，ｙの自由度しか無いので、同じ姿勢のままｘ，ｙに並進する部分軌道は飛行不可能である。

・評価２（移動速度が実現可能であるかの評価）
例えば、各方向の速度が機体性能の範囲内か否かを評価する。例えば、最大上昇速度１０ｍ／ｓの機体で１秒後に１００ｍ上へは移動できない。

・評価３（加速度が実現可能であるかの評価）
例えば、各方向の加速度が機体性能の範囲内か否かを評価する。例えば、最大上昇速度が１０ｍ／ｓの機体であっても、最大上昇加速度が１ｍ／ｓ²であれば、静止した状態から１秒後に１ｍ上へは移動できない（０．５ｍまでしか上昇できない）。

・評価４（躍度が実現可能であるかの評価）
例えば、各方向の躍度が機体性能の範囲内か否かを評価する。

図１０は、部分軌道が飛行可能かの評価方法（図９のステップＳ２０２）のフローの一例を概略的に示している。

端末装置２００は、軌道が媒介変数表現であるか否かを判断する（ステップＳ２１１）。軌道が媒介変数表現であると判断した場合（ステップＳ２１１：Ｙ）、次に、端末装置２００は、媒介変数が時刻であるか否かを判断する（ステップＳ２１２）。媒介変数が時刻であると判断した場合（ステップＳ２１２：Ｙ）、次に、端末装置２００は、連続的軌道の飛行可能性を評価する（ステップＳ２１４）。媒介変数が時刻ではないと判断した場合（ステップＳ２１２：Ｎ）、次に、端末装置２００は、軌道形状を評価する（ステップＳ２１５）。

軌道が媒介変数表現ではないと判断した場合（ステップＳ２１１：Ｎ）、次に、端末装置２００は、軌道が機体情報の配列であるか否かを判断する（ステップＳ２１３）。軌道が機体情報の配列であると判断した場合（ステップＳ２１３：Ｙ）、次に、端末装置２００は、離散的軌道の飛行可能性を評価する（ステップＳ２１６）。軌道が機体情報の配列ではないと判断した場合（ステップＳ２１３：Ｎ）、端末装置２００は、評価の対象外と判断する（ステップＳ２１７）。

図１１は、軌道形状の評価（図１０のステップＳ２１５）の処理のフローの一例を概略的に示している。

端末装置２００は、位置、姿勢を媒介変数で微分して速度を求める（ステップＳ２２１）。次に、端末装置２００は、速度が有限の範囲内か否かを判断する（ステップＳ２２２）。速度が有限の範囲内であると判断した場合（ステップＳ２２２：Ｙ）、端末装置２００は、飛行可能であると判断する（ステップＳ２２３）。速度が有限の範囲内ではないと判断した場合（ステップＳ２２２：Ｎ）、端末装置２００は、飛行不可能であると判断する（ステップＳ２２４）。

図１２は、連続的軌道が飛行可能かの評価（図１０のステップＳ２１４）のフローの一例を概略的に示している。

端末装置２００は、速度情報があるか否かを判断する（ステップＳ２３１）。速度情報がないと判断した場合（ステップＳ２３１：Ｎ）、次に、端末装置２００は、位置、姿勢を時刻で微分して速度を求め（ステップＳ２３８）、ステップＳ２３２の処理に進む。

速度情報があると判断した場合（ステップＳ２３１：Ｙ）、次に、端末装置２００は、速度が機体性能の範囲内であるか否かを判断する（ステップＳ２３２）。速度が機体性能の範囲内ではないと判断した場合（ステップＳ２３２：Ｎ）、端末装置２００は、飛行不可能であると判断する（ステップＳ２３９）。

速度が機体性能の範囲内であると判断した場合（ステップＳ２３２：Ｙ）、次に、端末装置２００は、加速度情報があるか否かを判断する（ステップＳ２３３）。加速度情報がないと判断した場合（ステップＳ２３３：Ｎ）、次に、端末装置２００は、速度を時刻で微分して加速度を求め（ステップＳ２４０）、ステップＳ２３４の処理に進む。

加速度情報があると判断した場合（ステップＳ２３３：Ｙ）、次に、端末装置２００は、加速度が機体性能の範囲内であるか否かを判断する（ステップＳ２３４）。加速度が機体性能の範囲内ではないと判断した場合（ステップＳ２３４：Ｎ）、端末装置２００は、飛行不可能であると判断する（ステップＳ２４１）。

加速度が機体性能の範囲内であると判断した場合（ステップＳ２３４：Ｙ）、次に、端末装置２００は、躍度情報があるか否かを判断する（ステップＳ２３５）。躍度情報がないと判断した場合（ステップＳ２３５：Ｎ）、次に、端末装置２００は、加速度を時刻で微分して躍度を求め（ステップＳ２４２）、ステップＳ２３６の処理に進む。

躍度情報があると判断した場合（ステップＳ２３５：Ｙ）、次に、端末装置２００は、躍度が機体性能の範囲内であるか否かを判断する（ステップＳ２３６）。躍度が機体性能の範囲内ではないと判断した場合（ステップＳ２３６：Ｎ）、端末装置２００は、飛行不可能であると判断する（ステップＳ２４３）。躍度が機体性能の範囲内であると判断した場合（ステップＳ２３６：Ｙ）、端末装置２００は、飛行可能であると判断する（ステップＳ２３７）。

図１３は、離散的軌道が飛行可能かの評価（図１０のステップＳ２１６）のフローの一例を概略的に示している。

端末装置２００は、速度情報があるか否かを判断する（ステップＳ２５１）。速度情報がないと判断した場合（ステップＳ２５１：Ｎ）、次に、端末装置２００は、時刻情報があるか否かを判断する（ステップＳ２５８）。時刻情報がないと判断した場合（ステップＳ２５８：Ｎ）、次に、端末装置２００は、ステップＳ２５３の処理に進む。時刻情報があると判断した場合（ステップＳ２５８：Ｙ）、次に、端末装置２００は、前後の位置情報から速度を求め（ステップＳ２５９）、ステップＳ２５２の処理に進む。

速度情報があると判断した場合（ステップＳ２５１：Ｙ）、次に、端末装置２００は、速度が機体性能の範囲内であるか否かを判断する（ステップＳ２５２）。速度が機体性能の範囲内ではないと判断した場合（ステップＳ２５２：Ｎ）、端末装置２００は、飛行不可能であると判断する（ステップＳ２６０）。

速度が機体性能の範囲内であると判断した場合（ステップＳ２５２：Ｙ）、次に、端末装置２００は、加速度情報があるか否かを判断する（ステップＳ２５３）。加速度情報がないと判断した場合（ステップＳ２５３：Ｎ）、次に、端末装置２００は、時刻情報および速度情報があるか否かを判断する（ステップＳ２６１）。時刻情報および速度情報がないと判断した場合（ステップＳ２６１：Ｎ）、次に、端末装置２００は、ステップＳ２５５の処理に進む。時刻情報および速度情報があると判断した場合（ステップＳ２６１：Ｙ）、次に、端末装置２００は、前後の速度情報から加速度を求め（ステップＳ２６２）、ステップＳ２５４の処理に進む。

加速度情報があると判断した場合（ステップＳ２５３：Ｙ）、次に、端末装置２００は、加速度が機体性能の範囲内であるか否かを判断する（ステップＳ２５４）。加速度が機体性能の範囲内ではないと判断した場合（ステップＳ２５４：Ｎ）、端末装置２００は、飛行不可能であると判断する（ステップＳ２６３）。

加速度が機体性能の範囲内であると判断した場合（ステップＳ２５４：Ｙ）、次に、端末装置２００は、躍度情報があるか否かを判断する（ステップＳ２５５）。躍度情報がないと判断した場合（ステップＳ２５５：Ｎ）、次に、端末装置２００は、時刻情報および加速度情報があるか否かを判断する（ステップＳ２６４）。時刻情報および加速度情報がないと判断した場合（ステップＳ２６４：Ｎ）、端末装置２００は、飛行可能であると判断する（ステップＳ２５７）。時刻情報および加速度情報があると判断した場合（ステップＳ２６４：Ｙ）、次に、端末装置２００は、前後の加速度情報から躍度を求め（ステップＳ２６５）、ステップＳ２５６の処理に進む。

躍度情報があると判断した場合（ステップＳ２５５：Ｙ）、次に、端末装置２００は、躍度が機体性能の範囲内であるか否かを判断する（ステップＳ２５６）。躍度が機体性能の範囲内ではないと判断した場合（ステップＳ２５６：Ｎ）、端末装置２００は、飛行不可能であると判断する（ステップＳ２６６）。躍度が機体性能の範囲内であると判断した場合（ステップＳ２５６：Ｙ）、端末装置２００は、飛行可能であると判断する（ステップＳ２５７）。

（姿勢間の部分軌道計画の第２の例）
端末装置２００は、例えば、Ａ＊、ＲＲＴ、ダイクストラなど探索的手法と呼ばれる方法によって、機体の運動性能の範囲内の部分軌道を生成するようにしてもよい。例えば、開始姿勢を起点として、そこから運動性能の範囲内に収まる微小軌道の候補を多数生成して連結することを繰り返して、目標姿勢に到達することができるか探索する。この場合は、逐次的に評価が行われているため、到達できるかできないかが解の有無となる。

図１４は、姿勢間の部分軌道計画（図８のステップＳ１０６）の第２の例の動作フローの一例を概略的に示している。

端末装置２００は、姿勢Ｐｂｏｄｙ，ｎ－１を探索対象の姿勢集合Ｐに加える（ステップＳ３０１）。次に、端末装置２００は、探索対象集合Ｐに要素があるか否かを判断する（ステップＳ３０２）。要素がないと判断した場合（ステップＳ３０２：Ｎ）、端末装置２００は、解がないと判断する（ステップＳ３０３）。

要素があると判断した場合（ステップＳ３０２：Ｙ）、次に、端末装置２００は、探索対象の姿勢集合Ｐから候補ｐを取り出す（ステップＳ３０４）。次に、端末装置２００は、姿勢ｐで実行可能な制御入力の集合Ａを求める（ステップＳ３０５）。

次に、端末装置２００は、制御入力集合Ａに要素があるか否かを判断する（ステップＳ３０６）。要素がないと判断した場合（ステップＳ３０６：Ｎ）、端末装置２００は、ステップＳ３０２の処理に戻る。

要素があると判断した場合（ステップＳ３０６：Ｙ）、次に、端末装置２００は、制御入力の集合Ａから候補ａを取り出す（ステップＳ３０７）。次に、端末装置２００は、姿勢ｐに制御入力ａを微小時間Δｔの間に入力した後の姿勢ｐ’を求める（ステップＳ３０８）。次に、端末装置２００は、姿勢ｐ’と目標姿勢Ｐｂｏｄｙ，ｎの差分Ｄを求める（ステップＳ３０９）。

次に、端末装置２００は、差分Ｄが閾値以下であるか否かを判断する（ステップＳ３１０）。閾値以下ではないと判断した場合（ステップＳ３１０：Ｎ）、端末装置２００は、解ありと判断する（ステップＳ３１１）。端末装置２００は、解は、姿勢Ｐｂｏｄｙ，ｎ－１からＰｂｏｄｙ，ｎまでの姿勢の集合とする。

閾値以下であると判断した場合（ステップＳ３１０：Ｙ）、次に、端末装置２００は、姿勢ｐ’をｐと紐付けて探索対象の姿勢集合Ｐに加え（ステップＳ３１２）た後、ステップＳ３０６の処理に戻る。

［１．３事前軌道の作成の具体例］
端末装置２００は、例えば、ＵＩ部１１０によって表示されたＧＵＩ（Graphical User Interface）上でユーザからのカメラ姿勢の指定を受け付ける（受信する）ようにしてもよい。端末装置２００は、例えば、ＧＵＩ上に、撮影ポイントを指定するための登録ボタンを表示するようにしてもよい。端末装置２００は、動画の場合はＧＵＩ上で撮影時刻を設定可能な表示を行ってもよい。

端末装置２００は、ユーザによって実現不可能な部分軌道の指定がなされた場合、ＧＵＩ上で、実現不可能であることを通知する表示を行ってもよい。例えば、撮影ポイントを登録した際に、ＧＵＩ上でエラー表示をしてもよい。また、例えば、解がない（撮影時刻を守れない）区間が指定された場合に、当該区間の色を変えてもよい。例えば、撮影時刻を守れない撮影ポイントの色をＧＵＩ上で変えてもよい。また、例えば、速度を変えた軌道をＧＵＩ上で提案してもよい。例えば、ＧＵＩ上でシークバー上の提案撮影時刻に薄くバーを表示してもよい。

図１５は、第１の実施の形態に係る端末装置２００による事前軌道の作成のＧＵＩ画面の初期画面の一例を概略的に示している。端末装置２００のＵＩ部１１０は、例えば図１５に示すようなＧＵＩ画面を表示し、ＧＵＩ画面上でキーボードやマウス等を介してユーザからの入力を受け付ける（受信する）。例えば、後述する図１６～図１９に示すステップ１～ステップ４のような設定を順に、受け付ける。

図１５に示したように、事前軌道の作成のＧＵＩ画面は、カメラ姿勢ビューア２１０と、予想カメラ画像ビューア２２０と、撮影時刻調整パネル２３０とを備えている。

カメラ姿勢ビューア２１０およびその周囲には、地図設定ボタン２１３と、撮影ポイント追加ボタン２１４と、縮小・拡大ボタン２１１と、並進・回転ボタン２１２とが設けられている。

予想カメラ画像ビューア２２０には、縮小・拡大ボタン２２１と、並進・回転ボタン２２２とが設けられている。

撮影時刻調整パネル２３０には、カメラ位置・姿勢情報表示部２３１と、撮影ポイントバー２３２とが設けられている。

図１６は、図１５に示したＧＵＩ画面を用いて地図の設定をする段階（ステップ１）における画面例を概略的に示している。

ユーザによって地図設定ボタン２１３がクリックされると、ＵＩ部１１０は、地名入力ボックス２４０をポップアップ表示する。ユーザによって地名入力ボックス２４０に地名・住所が入力されると、ＵＩ部１１０は、該当する地名・住所の地図をカメラ姿勢ビューア２１０に表示する。

図１７は、図１５に示したＧＵＩ画面を用いて撮影ポイントの追加の設定をする段階（ステップ２）における画面例を概略的に示している。

次に、ユーザによって撮影ポイント追加ボタン２１４がクリックされると、ＵＩ部１１０は、カメラ姿勢ビューア２１０に表示されている地図上にカメラアイコン２５０を表示する。この際、ＵＩ部１１０は、撮影時刻調整パネル２３０の時系列上に撮影ポイントバー２３２を追加表示する。また、ＵＩ部１１０は、撮影時刻調整パネル２３０のカメラ位置・姿勢情報表示部２３１にカメラアイコン２５０の位置・姿勢の情報を表示する。また、ＵＩ部１１０は、カメラアイコン２５０によって指定された位置・姿勢から予想される撮影画像を、予想カメラ画像ビューア２２０に表示する。

図１８は、図１５に示したＧＵＩ画面を用いて撮影位置および撮影姿勢の設定をする段階（ステップ３）における画面例を概略的に示している。

図１７に示した状態から、ユーザは、カメラ姿勢ビューア２１０に表示されている地図上で、図１８に示したように、カメラアイコン２５０の移動や回転（位置やヨー角調整）を行うことによって撮影位置および撮影姿勢を調整することができる。また、ユーザは、縮小・拡大ボタン２２１と並進・回転ボタン２２２とを用いて、予想カメラ画像ビューア２２０に表示された予想撮影画像を見ながら、カメラ視点で上下（ピッチ角）、左右（ヨー角）、および回転（ロール角）の撮影姿勢を調整することができる。また、ユーザは、撮影時刻調整パネル２３０におけるカメラ位置・姿勢情報表示部２３１に撮影位置および撮影姿勢の変数を直接入力することによっても、撮影位置および撮影姿勢を調整することができる。

図１９は、図１５に示したＧＵＩ画面を用いて撮影時刻の調整の設定をする段階（ステップ４）における画面例を概略的に示している。

図１８に示した状態から、ユーザは、撮影時刻調整パネル２３０に表示された時系列上で撮影ポイントバー２３２を動かし、撮影時刻を調整することができる。なお、撮影時刻の開始点は００：００に固定となっている。

図２０は、図１５に示したＧＵＩ画面を用いてステップ２～４の設定（図１７～図１９）を繰り返した段階の画面例を概略的に示している。

ステップ２～４の設定（図１７～図１９）を繰り返すことにより、図２０に示したように、カメラ姿勢ビューア２１０と撮影時刻調整パネル２３０とに部分軌道の情報が表示されていく。

図２１は、図１５に示したＧＵＩ画面を用いて作成された事前軌道の一例を概略的に示している。

ステップ２～４の設定（図１７～図１９）を繰り返すことにより、最終的に図２１に示したように、カメラ姿勢ビューア２１０と撮影時刻調整パネル２３０とに複数の部分軌道が接続された最終的な撮影軌道の情報が表示される。この撮影軌道が事前軌道となる。

［１．４効果］
以上説明したように、第１の実施の形態に係る情報処理方法、情報処理装置およびプログラムによれば、複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報を含む入力情報に基づいて、移動体３００の事前軌道を作成するようにしたので、移動体の軌道計画を容易に作成することが可能となる。

第１の実施の形態に係る情報処理方法、情報処理装置およびプログラムによれば、移動体３００の機体性能の知識を必要とせず、カメラ６１２を自由に動かす感覚で事前軌道を作成、編集できる。この際、指定した複数の撮影ポイント（撮影視点、時刻）間の撮影視点が滑らかに遷移するようにして事前軌道を作成、編集することが可能となる。作成した事前軌道は移動体３００で実現できる（実際に移動できる）ことが保証されている。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

＜２．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報を含む入力情報に基づいて、移動体の事前軌道を作成するようにしたので、移動体の軌道計画を容易に作成することが可能となる。

（１）
移動体に設けられたカメラによる複数の撮影予定地点と前記複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行うことと、
前記受信した前記入力情報に基づいて、前記移動体の事前軌道を作成する処理を行うことと
を含む
情報処理方法。
（２）
前記事前軌道を作成する処理は、
前記複数の撮影予定地点のうち第１の撮影予定地点における第１のカメラ姿勢と第２の撮影予定地点における第２のカメラ姿勢とに基づいて、部分軌道を作成する処理を含む
上記（１）に記載の情報処理方法。
（３）
前記部分軌道を作成する処理によって作成された前記部分軌道が、前記移動体によって現実に移動可能であるか否かを評価する処理を行うこと、
をさらに含む
上記（２）に記載の情報処理方法。
（４）
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、前記部分軌道を再度、作成する処理を行うこと、
をさらに含む
上記（３）に記載の情報処理方法。
（５）
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、前記入力情報を再度、受信する処理を行うこと、
をさらに含む
上記（３）または（４）に記載の情報処理方法。
（６）
前記評価する処理は、
前記部分軌道を移動する際の移動方向が前記移動体の運動性能によって現実に実現可能であるか否かを評価する処理を含む
上記（３）ないし（５）のいずれか１つに記載の情報処理方法。
（７）
前記評価する処理は、
前記部分軌道を移動する際の、速度、加速度、および躍度のうち少なくとも１つが前記移動体の運動性能によって現実に実現可能であるか否かを評価する処理を含む
上記（３）ないし（６）のいずれか１つに記載の情報処理方法。
（８）
前記部分軌道を作成する処理は、
前記移動体の運動性能に基づいて、前記第１のカメラ姿勢と前記第２のカメラ姿勢との姿勢間における複数の軌道候補を作成する処理を行うことを含む
上記（２）に記載の情報処理方法。
（９）
前記所定の座標系は、地図座標系を含む
上記（１）ないし（８）のいずれか１つに記載の情報処理方法。
（１０）
前記所定の座標系は、自己位置座標系を含む
上記（１）ないし（９）のいずれか１つに記載の情報処理方法。
（１１）
移動体に設けられたカメラによる複数の撮影予定地点と前記複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する受信部と、
前記受信した前記入力情報に基づいて、前記移動体の事前軌道を作成する軌道計画部と
を備える
情報処理装置。
（１２）
移動体に設けられたカメラによる複数の撮影予定地点と前記複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行うことと、
前記受信した前記入力情報に基づいて、前記移動体の事前軌道を作成する処理を行うことと
を含む処理をコンピュータに実行させる
プログラム。

本出願は、日本国特許庁において２０２０年３月６日に出願された日本特許出願番号第２０２０－３９２７６号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims

移動体に設けられたカメラによる複数の撮影予定地点と前記複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行うことと、
前記受信した前記入力情報に基づいて、前記移動体の事前軌道を作成する処理を行うことと、
前記事前軌道を作成する処理として、前記複数の撮影予定地点のうち第１の撮影予定地点における第１のカメラ姿勢と第２の撮影予定地点における第２のカメラ姿勢とに基づいて、部分軌道を作成する処理を行うことと、
前記部分軌道を作成する処理によって作成された前記部分軌道が、前記移動体によって現実に移動可能であるか否かを評価する処理を行うことと、
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、移動不可能であることを通知する処理を行うことと
を含む
情報処理方法。
前記部分軌道を作成する処理によって作成された前記部分軌道の情報を表示する処理を行うことと、
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、前記部分軌道の情報を表示する色を変更する処理を行うことと、
をさらに含む
請求項１に記載の情報処理方法。
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、前記移動体の速度を変えた軌道を提案する処理を行うこと、
をさらに含む
請求項１に記載の情報処理方法。
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、前記部分軌道を再度、作成する処理を行うこと、
をさらに含む
請求項１に記載の情報処理方法。
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、前記入力情報を再度、受信する処理を行うこと、
をさらに含む
請求項１に記載の情報処理方法。
前記評価する処理は、
前記部分軌道を移動する際の移動方向が前記移動体の運動性能によって現実に実現可能であるか否かを評価する処理を含む
請求項１に記載の情報処理方法。
前記評価する処理は、
前記部分軌道を移動する際の、速度、加速度、および躍度のうち少なくとも１つが前記移動体の運動性能によって現実に実現可能であるか否かを評価する処理を含む
請求項１に記載の情報処理方法。
前記部分軌道を作成する処理は、
前記移動体の運動性能に基づいて、前記第１のカメラ姿勢と前記第２のカメラ姿勢との姿勢間における複数の軌道候補を作成する処理を行うことを含む
請求項１に記載の情報処理方法。
前記所定の座標系は、地図座標系を含む
請求項１に記載の情報処理方法。
前記所定の座標系は、自己位置座標系を含む
請求項１に記載の情報処理方法。
移動体に設けられたカメラによる複数の撮影予定地点と前記複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する受信部と、
前記受信した前記入力情報に基づいて、前記移動体の事前軌道を作成する処理を行う軌道計画部と
を備え、
前記軌道計画部による前記事前軌道を作成する処理として、
前記複数の撮影予定地点のうち第１の撮影予定地点における第１のカメラ姿勢と第２の撮影予定地点における第２のカメラ姿勢とに基づいて、部分軌道を作成する処理と、
前記部分軌道を作成する処理によって作成された前記部分軌道が、前記移動体によって現実に移動可能であるか否かを評価する処理と、
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、移動不可能であることを通知する処理と
を含む
情報処理装置。
移動体に設けられたカメラによる複数の撮影予定地点と前記複数の撮影予定地点におけるそれぞれのカメラ姿勢の情報とを含む入力情報を所定の座標系上で受信する処理を行うことと、
前記受信した前記入力情報に基づいて、前記移動体の事前軌道を作成する処理を行うことと、
前記事前軌道を作成する処理として、前記複数の撮影予定地点のうち第１の撮影予定地点における第１のカメラ姿勢と第２の撮影予定地点における第２のカメラ姿勢とに基づいて、部分軌道を作成する処理を行うことと、
前記部分軌道を作成する処理によって作成された前記部分軌道が、前記移動体によって現実に移動可能であるか否かを評価する処理を行うことと、
前記評価する処理によって、前記部分軌道が現実には移動不可能であると評価された場合に、移動不可能であることを通知する処理を行うことと
を含む処理をコンピュータに実行させる
プログラム。