JP2019207635A - 移動体、画像生成方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】高速移動エフェクトが施された画像を容易に得られることが望ましい。【解決手段】撮像部と処理部とを備える移動体であって、処理部は、移動体の移動速度を取得し、撮像部を介して、撮像部のズーム倍率を固定して第１の画像を撮像し、ズーム倍率が変化しながら第１の画像がズームアップされた第２の画像を取得し、移動体の移動速度に基づいて、第１の画像と第２の画像とを合成するための合成比率を決定し、決定された合成比率に基づいて、第１の画像と第２の画像とを合成して、合成画像を生成する。【選択図】図１０

Description

本開示は、移動体、画像生成方法、プログラム、及び記録媒体に関する。

従来、画像編集ソフト（例えばPhotoshop（登録商標））を用いて、ＰＣ（Personal Computer）等でマウス等の入力デバイスを介して人が手動で操作し、撮像した画像に対し、事後的に編集して高速移動するようにエフェクトをかけることが行われている（非特許文献１参照）。このエフェクトは、ぼかし（移動）を使って写真に臨場感を与える。具体的に、例えばバイクが映っている画像に対し、バイクの範囲を選択し、バイクのレイヤを作る。次に、バイク以外の背景を２枚コピーして背景のレイヤを作る。背景のレイヤに対し、「フィルタ」→「ぼかし」→「移動」を適用し、移動の方向をバイクの進行方向に合わせ、距離を適当に与える。次に、バイクのレイヤを移動の方向に少しだけスライドさせると、エフェクトが完成する。この高速移動するエフェクトでは、背景にぼかし（移動）を加えたが、バイクにぼかし（移動）を加えてもよい。

"Photoshop テクニックス"、［online］、 平成３０年５月１１日検索］、インターネット＜ URL ：http://photoshop76.blog.fc2.com/blog-entry-29.html＞

従来、ユーザが例えばＰＣ等を手動で操作しながら高速移動エフェクトをかけるので、例えば移動前や移動後の被写体の位置等を細かく調整しながら画像を編集する必要があった。このため、ユーザの操作が煩雑になり易く、誤操作も生じやすい。

一態様において、移動体は、撮像部と、処理部と、を備え、処理部は、移動体の移動速度を取得し、撮像部を介して、撮像部のズーム倍率を固定して第１の画像を撮像し、ズーム倍率が変化しながら第１の画像がズームアップされた第２の画像を取得し、移動体の移動速度に基づいて、第１の画像と第２の画像とを合成するための合成比率を決定し、決定された合成比率に基づいて、第１の画像と第２の画像とを合成して、合成画像を生成する。

処理部は、撮像部を介して、撮像部のズーム倍率を変更しながら、第２の画像を撮像してよい。

処理部は、第１の画像を撮像するための第１の露光時間よりも第２の画像を撮像するための第２の露光時間を長くして、第２の画像を撮像してよい。

処理部は、第１の画像が複数の異なるズーム倍率でズームアップされた複数の第３の画像を生成し、複数の第３の画像を合成して、第２の画像を生成してよい。

処理部は、移動体の移動速度に基づいて、第２の画像を取得するためのズーム倍率の変更範囲を決定してよい。

移動体の移動速度が速い程、ズーム倍率の変更範囲が大きくてよい。

合成画像は、合成画像の中心部から端部に向かって順に、第１の画像の成分を含み第２の画像の成分を含まない第１の領域と、第１の画像の成分と第２の画像の成分とを含む第２の領域と、第１の画像の成分を含まず第２の画像の成分を含む第３の領域と、を含んでよい。

第２の領域では、第２の領域における位置が合成画像の端部に近い程、第２の画像の成分が多くてよい。

合成画像では、移動体の移動速度が速い程、第１の領域が小さく、第３の領域が大きくてよい。

一態様において、移動体における画像生成方法であって、移動体の移動速度を取得するステップと、移動体が備える撮像部のズーム倍率を固定して第１の画像を撮像するステップと、ズーム倍率が変化しながら第１の画像がズームアップされた第２の画像を取得するステップと、移動体の移動速度に基づいて、第１の画像と第２の画像とを合成するための合成比率を決定するステップと、決定された合成比率に基づいて、第１の画像と第２の画像とを合成して、合成画像を生成するステップと、を有する。

第２の画像を取得するステップは、撮像部のズーム倍率を変更しながら、第２の画像を撮像するステップを含んでよい。

第２の画像を取得するステップは、第１の画像を撮像するための第１の露光時間よりも第２の画像を撮像するための第２の露光時間を長くして、第２の画像を撮像するステップを含んでよい。

第２の画像を取得するステップは、第１の画像が複数の異なるズーム倍率でズームアップされた複数の第３の画像を生成するステップと、複数の第３の画像を合成して、第２の画像を生成するステップと、を含んでよい。

第２の画像を取得するステップは、移動体の移動速度に基づいて、第２の画像を取得するためのズーム倍率の変更範囲を決定するステップを含んでよい。

移動体の移動速度が速い程、ズーム倍率の変更範囲が大きくてよい。

合成画像は、合成画像の中心部から端部に向かって順に、第１の画像の成分を含み第２の画像の成分を含まない第１の領域と、第１の画像の成分と第２の画像の成分とを含む第２の領域と、第１の画像の成分を含まず第２の画像の成分を含む第３の領域と、を含んでよい。

第２の領域では、第２の領域における位置が合成画像の端部に近い程、第２の画像の成分が多くてよい。

合成画像では、移動体の移動速度が速い程、第１の領域が小さく、第３の領域が大きくてよい。

一態様において、プログラムは、移動体に、移動体の移動速度を取得するステップと、移動体が備える撮像部のズーム倍率を固定して第１の画像を撮像するステップと、ズーム倍率が変化しながら第１の画像がズームアップされた第２の画像を取得するステップと、移動体の移動速度に基づいて、第１の画像と第２の画像とを合成するための合成比率を決定するステップと、決定された合成比率に基づいて、第１の画像と第２の画像とを合成して、合成画像を生成するステップと、を実行させるためのプログラムである。

一態様において、記録媒体は、移動体に、移動体の移動速度を取得するステップと、移動体が備える撮像部のズーム倍率を固定して第１の画像を撮像するステップと、ズーム倍率が変化しながら第１の画像がズームアップされた第２の画像を取得するステップと、移動体の移動速度に基づいて、第１の画像と第２の画像とを合成するための合成比率を決定するステップと、決定された合成比率に基づいて、第１の画像と第２の画像とを合成して、合成画像を生成するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

実施形態における飛行体システムの第１構成例を示す模式図 実施形態における飛行体システムの第２構成例を示す模式図 無人航空機の具体的な外観の一例を示す図 無人航空機のハードウェア構成の一例を示すブロック図 端末のハードウェア構成の一例を示すブロック図 撮像部のハードウェア構成の一例を示す図 無人航空機の飛行速度に対応するズーム倍率の変更範囲の一例を示すグラフ 撮像部で撮像された２枚の撮像画像を合成した合成画像の一例を示す図 撮像画像の中心からの距離に対応するブレンド率の変化の一例を示すグラフ 飛行体システムの撮像動作の一例を示すシーケンス図 高速飛行エフェクトをかけて生成される合成画像の一例を示す図 １枚の撮像画像を基に合成画像を生成することを説明するための図

以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

以下の実施形態では、移動体として、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）を例示する。無人航空機は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「ＵＡＶ」と表記する。画像生成方法は、移動体の動作が規定されたものである。また、記録媒体は、プログラム（例えば移動体に各種の処理を実行させるプログラム）が記録されたものである。

図１は、実施形態における飛行体システム１０の第１構成例を示す模式図である。飛行体システム１０は、無人航空機１００及び端末８０を備える。無人航空機１００及び端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。図１では、端末８０が携帯端末（例えばスマートフォン、タブレット端末）であることを例示している。

なお、飛行体システムは、無人航空機、送信機（プロポ）、及び携帯端末を備えた構成であってよい。送信機を備える場合、送信機の前面に配置された左右の制御棒を使って、ユーザは、無人航空機の飛行の制御を指示可能である。また、この場合、無人航空機、送信機、及び携帯端末は、相互に有線通信又は無線通信により通信可能である。

図２は、実施形態における飛行体システム１０の第２構成例を示す模式図である。図２では、端末８０がＰＣであることを例示している。図１及び図２のいずれであっても、端末８０が有する機能は同じでよい。

図３は、無人航空機１００の具体的な外観の一例を示す図である。図３には、無人航空機１００が移動方向ＳＴＶ０に飛行する場合の斜視図が示される。無人航空機１００は移動体の一例である。

図３に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（ｘ軸参照）が設定される。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（ｙ軸参照）が設定され、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（ｚ軸参照）が設定される。

無人航空機１００は、ＵＡＶ本体１０２と、ジンバル２００と、撮像部２２０と、複数の撮像部２３０とを含む構成である。

ＵＡＶ本体１０２は、複数の回転翼（プロペラ）を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することにより無人航空機１００を飛行させる。ＵＡＶ本体１０２は、例えば４つの回転翼を用いて無人航空機１００を飛行させる。回転翼の数は、４つに限定されない。また、無人航空機１００は、回転翼を有さない固定翼機でもよい。

撮像部２２０は、所望の撮像範囲に含まれる被写体（例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物）を撮像する撮像用のカメラでよい。

複数の撮像部２３０は、無人航空機１００の飛行を制御するために無人航空機１００の周囲を撮像するセンシング用のカメラでよい。２つの撮像部２３０が、無人航空機１００の機首である正面に設けられてよい。さらに、他の２つの撮像部２３０が、無人航空機１００の底面に設けられてよい。正面側の２つの撮像部２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像部２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像部２３０により撮像された画像に基づいて、無人航空機１００の周囲の３次元空間データ（３次元形状データ）が生成されてよい。なお、無人航空機１００が備える撮像部２３０の数は４つに限定されない。無人航空機１００は、少なくとも１つの撮像部２３０を備えていればよい。無人航空機１００は、無人航空機１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像部２３０を備えてよい。撮像部２３０で設定できる画角は、撮像部２２０で設定できる画角より広くてよい。撮像部２３０は、単焦点レンズ又は魚眼レンズを有してよい。

図４は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信インタフェース１５０と、メモリ１６０と、ストレージ１７０と、ジンバル２００と、回転翼機構２１０と、撮像部２２０と、撮像部２３０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０と、レーザー測定器２９０と、を含む構成である。

ＵＡＶ制御部１１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。ＵＡＶ制御部１１０は、処理部の一例である。

ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従って無人航空機１００の飛行を制御する。ＵＡＶ制御部１１０は、飛行を制御してよい。ＵＡＶ制御部１１０は、画像を空撮してよい。

ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。ＵＡＶ制御部１１０は、超音波センサ２８０による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。

ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機１００の機首の向きに対応する方位で示されてよい。

ＵＡＶ制御部１１０は、撮像部２２０が撮像すべき撮像範囲を撮像する時に無人航空機１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報をメモリ１６０から取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を、通信インタフェース１５０を介して他の装置から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、無人航空機１００が存在可能な位置を特定して、その位置を無人航空機１００が存在すべき位置を示す位置情報として取得してよい。

ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の画角を示す画角情報を撮像部２２０及び撮像部２３０から取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の撮像方向を示す情報を取得してよい。ＵＡＶ制御部１１０は、例えば撮像部２２０の撮像方向を示す情報として、ジンバル２００から撮像部２２０の姿勢の状態を示す姿勢情報を取得してよい。撮像部２２０の姿勢情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。

ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像部２２０が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。

ＵＡＶ制御部１１０は、メモリ１６０から撮像範囲情報を取得してよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して撮像範囲情報を取得してよい。

ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、撮像部２２０及び撮像部２３０を制御する。ＵＡＶ制御部１１０は、撮像部２２０の撮像方向又は画角を変更することによって、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像部２２０の撮像範囲を制御してよい。

撮像範囲とは、撮像部２２０又は撮像部２３０により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される２次元空間データにおける範囲でもよい。撮像範囲は、撮像部２２０又は撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定されてよい。撮像部２２０及び撮像部２３０の撮像方向は、撮像部２２０及び撮像部２３０の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像部２２０の姿勢の状態とから特定される方向でよい。撮像部２３０の撮像方向は、無人航空機１００の機首の方位と、撮像部２３０が設けられた位置とから特定される方向でよい。

ＵＡＶ制御部１１０は、複数の撮像部２３０により撮像された複数の画像を解析することで、無人航空機１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。

ＵＡＶ制御部１１０は、無人航空機１００の周囲に存在するオブジェクトの立体形状（３次元形状）を示す立体情報（３次元情報）を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像部２３０から得られたそれぞれの画像から、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、メモリ１６０又はストレージ１７０に格納された３次元地図データベースを参照することにより、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。ＵＡＶ制御部１１０は、ネットワーク上に存在するサーバが管理する３次元地図データベースを参照することで、無人航空機１００の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。

ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人航空機１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人航空機１００の緯度、経度、及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人航空機１００の飛行を制御することにより、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０が備えるズームレンズを制御することで、撮像部２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像部２２０の画角を制御してよい。

撮像部２２０が無人航空機１００に固定され、撮像部２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人航空機１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。あるいは撮像部２２０がズーム機能を有さず、撮像部２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人航空機１００を移動させることで、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。

通信インタフェース１５０は、端末８０と通信する。通信インタフェース１５０は、任意の無線通信方式により無線通信してよい。通信インタフェース１５０は、任意の有線通信方式により有線通信してよい。通信インタフェース１５０は、空撮画像や空撮画像に関する付加情報（メタデータ）を、端末８０に送信してよい。

メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像部２２０、撮像部２３０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、及びレーザー測定器２９０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、無人航空機１００から取り外し可能であってよい。メモリ１６０は、作業用メモリとして動作してよい。

ストレージ１７０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤカード、ＵＳＢメモリ、その他のストレージの少なくとも１つを含んでよい。ストレージ１７０は、各種情報、各種データを保持してよい。ストレージ１７０は、無人航空機１００から取り外し可能であってよい。ストレージ１７０は、空撮画像を記録してよい。

ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部２２０を回転させることで、撮像部２２０の撮像方向を変更してよい。

回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータと、を有する。回転翼機構２１０は、ＵＡＶ制御部１１０により回転を制御されることにより、無人航空機１００を飛行させる。回転翼２１１の数は、例えば４つでもよいし、その他の数でもよい。また、無人航空機１００は、回転翼を有さない固定翼機でもよい。

撮像部２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部２２０の撮像により得られた画像データ（例えば空撮画像）は、撮像部２２０が有するメモリ、又はストレージ１７０に格納されてよい。

撮像部２３０は、無人航空機１００の周囲を撮像して撮像画像のデータを生成する。撮像部２３０の画像データは、ストレージ１７０に格納されてよい。

ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。

慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出してよい。

磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。

気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。

超音波センサ２８０は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、無人航空機１００から地面までの距離つまり高度を示してよい。検出結果は、無人航空機１００から物体（被写体）までの距離を示してよい。

レーザー測定器２９０は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機１００と物体（被写体）との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。

図５は、端末８０のハードウェア構成の一例を示すブロック図である。端末８０は、端末制御部８１、操作部８３、通信部８５、メモリ８７、表示部８８、及びストレージ８９を備える。端末８０は、無人航空機１００の飛行制御の指示を希望するユーザに所持され得る。

端末制御部８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。端末制御部８１は、端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

端末制御部８１は、通信部８５を介して、無人航空機１００からのデータや情報を取得してよい。端末制御部８１は、操作部８３を介して入力されたデータや情報を取得してもよい。端末制御部８１は、メモリ８７に保持されたデータや情報を取得してもよい。端末制御部８１は、通信部８５を介して、無人航空機１００へ、データや情報を送信してもよい。端末制御部８１は、データや情報を表示部８８に送り、このデータや情報に基づく表示情報を表示部８８に表示させてもよい。

端末制御部８１は、画像を合成して合成画像を生成するためのアプリケーションを実行してもよい。端末制御部８１は、アプリケーションで用いられる各種のデータを生成してもよい。

操作部８３は、端末８０のユーザにより入力されるデータや情報を受け付けて取得する。操作部８３は、ボタン、キー、タッチスクリーン、マイクロホン、等の入力装置を含んでもよい。ここでは、主に、操作部８３と表示部８８とがタッチパネルにより構成されることを例示する。この場合、操作部８３は、タッチ操作、タップ操作、ドラック操作等を受付可能である。操作部８３により入力された情報は、無人航空機１００へ送信されてもよい。

通信部８５は、各種の無線通信方式により、無人航空機１００との間で無線通信する。この無線通信の無線通信方式は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は公衆無線回線を介した通信を含んでよい。通信部８５は、任意の有線通信方式により有線通信してよい。

メモリ８７は、例えば端末８０の動作を規定するプログラムや設定値のデータが格納されたＲＯＭと、端末制御部８１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭを有してもよい。メモリ８７は、ＲＯＭ及びＲＡＭ以外のメモリが含まれてよい。メモリ８７は、端末８０の内部に設けられてよい。メモリ８７は、端末８０から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。

表示部８８は、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、端末制御部８１から出力された各種の情報やデータを表示する。表示部８８は、アプリケーションの実行に係る各種データや情報を表示してもよい。

ストレージ８９は、各種データ、情報を蓄積し、保持する。ストレージ８９は、ＨＤＤ、ＳＳＤ、ＳＤカード、ＵＳＢメモリ、等でよい。ストレージ８９は、端末８０の内部に設けられてもよい。ストレージ８９は、端末８０から取り外し可能に設けられてもよい。ストレージ８９は、無人航空機１００から取得された空撮画像や付加情報を保持してよい。付加情報は、メモリ８７に保持されてよい。

なお、飛行体システム１０が送信機（プロポ）を備える場合、端末８０が実行する処理は、送信機が実行してもよい。送信機は、端末８０と同様の構成部を有するので、詳細な説明については省略する。送信機は、制御部、操作部、通信部、表示部、メモリ、等を有する。飛行体システム１０が送信機を有する場合、端末８０が設けられなくてもよい。

図６は、無人航空機１００が備える撮像部２２０のハードウェア構成を示す図である。撮像部２２０は、筐体２２０ｚを有する。撮像部２２０は、筐体２２０ｚの内部に、カメラプロセッサ１１、シャッタ１２、撮像素子１３、画像処理部１４、メモリ１５、シャッタ駆動部１９、素子駆動部２０、ゲイン制御部２１、及びフラッシュ１８を有する。なお、撮像部２２０における各構成の少なくとも一部は、設けられなくてもよい。

カメラプロセッサ１１は、露光時間、絞り（アイリス）などの撮影条件を決定する。カメラプロセッサ１１は、ＮＤフィルタ３２による減光分を加味して露光（ＡＥ：Automatic Exposure）制御を行ってよい。カメラプロセッサ１１は、画像処理部１４から出力された画像データから輝度レベル（例えば画素値）を算出してよい。カメラプロセッサ１１は、算出した輝度レベルに基づいて撮像素子１３に対するゲインの値を算出し、この算出結果をゲイン制御部２１に送出してよい。カメラプロセッサ１１は、算出した輝度レベルに基づいてシャッタ１２を開閉するためのシャッタスピードの値を算出し、算出結果をシャッタ駆動部１９に送出してよい。カメラプロセッサ１１は、撮像素子１３にタイミング信号を供給する素子駆動部２０に、撮像の指示を送出してよい。

シャッタ１２は、例えばフォーカルプレーンシャッタであり、シャッタ駆動部１９により駆動される。シャッタ１２の開放時に入射した光は、撮像素子１３の撮像面上に結像する。撮像素子１３は、撮像面上に結像した光学像を光電変換し、画像信号として出力する。撮像素子１３には、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型ＭＯＳ）イメージセンサが用いられてよい。

ゲイン制御部２１は、撮像素子１３から入力された画像信号に対してノイズを低減し、撮像信号を増幅するゲイン（利得）を制御する。画像処理部１４は、ゲイン制御部２１によって増幅された撮像信号に対し、アナログデジタル変換を行って画像データを生成する。画像処理部１４は、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各処理を行ってよい。

メモリ１５は、各種データや画像データを記憶する記憶媒体である。メモリ１５は、例えば、シャッタスピードＳ、Ｆ値、ＩＳＯ感度、ＮＤ値を基に露光量を算出するための露光制御情報を保持してよい。ＩＳＯ感度は、ゲインに対応する値である。ＮＤ値は減光フィルタによる減光度を表す。

シャッタ駆動部１９は、カメラプロセッサ１１から指示されたシャッタスピードでシャッタ１２を開閉する。素子駆動部２０は、タイミングジェネレータであり、カメラプロセッサ１１からの撮像の指示に従い、撮像素子１３にタイミング信号を供給し、撮像素子１３の電荷の蓄積動作、読み出し動作、リセット動作等を行う。

フラッシュ１８は、カメラプロセッサ１１の指示に従い、夜間撮像時や逆光時に閃光し、被写体を照明する。フラッシュ１８には、例えばＬＥＤ（light Emitting Diode）ライトが用いられる。なお、フラッシュ１８は省かれてもよい。

また、撮像部２２０は、筐体２２０ｚの内部に、ＮＤフィルタ３２、絞り３３、レンズ群３４、レンズ駆動部３６、ＮＤ駆動部３８、及び絞り駆動部４０を有する。

レンズ群３４は、被写体からの光を集光して撮像素子１３に結像する。レンズ群３４は、フォーカスレンズ、ズームレンズ、像振れ補正用レンズ、等を含む。レンズ群３４は、レンズ駆動部３６によって駆動される。レンズ駆動部３６は、モータ（図示せず）を有し、カメラプロセッサ１１からの制御信号を入力すると、ズームレンズ及びフォーカスレンズを含むレンズ群３４を光軸ｏｐの方向（光軸方向）に移動させてよい。レンズ駆動部３６は、ズームレンズを移動させてズーム倍率を変更するズーミング動作を行う場合、筐体２２０ｚの一部でありレンズ群３４を収容する鏡筒を前後方向に伸縮させてよい。

絞り３３は、絞り駆動部４０によって駆動される。絞り駆動部４０は、モータ（図示せず）を有し、カメラプロセッサ１１からの制御信号を入力すると、絞り３３の開口を拡縮する。

ＮＤフィルタ３２は、光軸ｏｐの方向（光軸方向）において、例えば絞り３３の近傍に配置され、入射する光の量を制限する減光を行う。ＮＤ駆動部３８は、モータ（図示せず）を有し、カメラプロセッサ１１からの制御信号を入力すると、ＮＤフィルタ３２を光軸ｏｐ上に挿抜してよい。

次に、無人航空機１００のＵＡＶ制御部１１０が有する画像生成に関する機能について説明する。ＵＡＶ制御部１１０は、処理部の一例である。ＵＡＶ制御部１１０は、撮像画像の合成に関する処理を行うことで、無人航空機１００の飛行速度を超える速度で移動しているような効果（以下、高速飛行エフェクトとも称する）を施し、臨場感のある画像を生成可能である。ＵＡＶ制御部１１０は、無人航空機１００の停止中（例えばホバリング）に撮像される撮像画像を基に、高速飛行エフェクトを施してよい。

ＵＡＶ制御部１１０は、無人航空機１００の動作モード（例えば飛行モード、撮像モード）を設定する。撮像モードは、撮像部２２０で撮像された撮像画像に高速飛行エフェクトを施すためのハイパースピード（Hyper Speed）撮像モードを含む。無人航空機１００の動作モード（例えばハイパースピード撮像モード）は、例えば時間帯や無人航空機１００の所在位置に基づいて無人航空機１００自身のＵＡＶ制御部１１０により指示されてもよいし、通信インタフェース１５０を介して、端末８０により遠隔で指示されてもよい。

ＵＡＶ制御部１１０は、撮像部２２０で撮像された少なくとも１つの撮像画像を取得する。ＵＡＶ制御部１１０は、撮像部２２０を介して、所定の露光量で、第１画像Ｇａを撮像して取得してよい。露光量は、例えば、シャッタスピード、絞り、ＩＳＯ感度、ＮＤ値、等の少なくとも１つに基づいて決定されてよい。第１画像Ｇａが撮像される際の露光量は、任意であり、例えば０ＥＶでよい。第１画像Ｇａが撮像される際の撮像部２２０のズーム倍率は、任意であり、例えば１．０でよい。第１画像Ｇａが撮像される際の撮像部２２０のシャッタスピードに対応する露光時間は、例えば１／３０秒でよい。第１画像Ｇａは、１回の撮像の間に、ズーム倍率が変更されずに固定されて撮像される。第１画像Ｇａは、基本となる撮像であり、一般的な撮像であるので、通常画像とも称する。

ＵＡＶ制御部１１０は、撮像部２２０を介して、所定の露光量で、第２画像Ｇｂを撮像して取得してよい。第２画像Ｇｂが撮像される際の露光量は、第１画像Ｇａが撮像される際の露光量と同じでよく、例えば１．０でよい。第１画像Ｇａと第２画像Ｇｂとで露光量を同程度とすることで、第１画像Ｇａと第２画像Ｇｂの明るさが変わらないように調整される。また、第２画像Ｇｂが撮像される際のシャッタスピードは、第１画像Ｇａが撮像される際のシャッタスピード以下である。つまり、第２画像Ｇｂが撮像される際の露光時間は、第１画像Ｇａが撮像される際の露光時間以上であり、例えば１秒である。なお、第１画像Ｇａと第２画像Ｇｂとで露光量を不変であっても、第１画像Ｇａの撮像時の露光時間より第２画像Ｇｂの撮像時の露光時間が長い場合、他のカメラパラメータ（例えば絞り、ＩＳＯ感度、ＮＤ値）が適宜調整される。ＵＡＶ制御部１１０は、カメラパラメータの情報を、例えば、メモリ１６０に保持させてよく、又は、撮像部２２０のカメラプロセッサ１１を介してメモリ１５に保持させてよい。

第２画像Ｇｂは、１回の撮像の間に、ズーム倍率が変更される。ズーム倍率の変更範囲は任意であるが、第１画像Ｇａが撮像される際のズーム倍率以上となる変更範囲である。ＵＡＶ制御部１１０は、第２画像Ｇｂを撮像するための撮像部２２０のズーム倍率の変更範囲を決定する。ＵＡＶ制御部１１０は、無人航空機１００の飛行速度に基づいて、ズーム倍率の変更範囲を決定してよい。撮像部２２０のズーム倍率を大きくすると、撮像部２２０の画角が大きくなり、より被写体に接近した画像となる。第２画像Ｇｂは、１回の撮像の間にズーム倍率が大きくなるよう変更されることで、被写体に接近するように進んでいるような画像となり、高速移動している感覚（高速感）を強調して演出できる。ＵＡＶ制御部１１０は、ズーム倍率の情報やズーム倍率の変更範囲の情報を、例えば、メモリ１６０に保持させてよく、又は、撮像部２２０のカメラプロセッサ１１を介してメモリ１５に保持させてよい。

第２画像Ｇｂは、第１画像Ｇａが撮像される際よりも長時間にわたって露光されて撮像される場合、長時間露光画像とも称する。

ＵＡＶ制御部１１０は、無人航空機１００の飛行速度を算出する。ＵＡＶ制御部１１０は、慣性計測装置２５０により計測される加速度を積分演算することで、無人航空機１００の飛行速度を算出して取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０により計測される時間毎の現在位置を微分演算することで、無人航空機１００の飛行速度を算出して取得してよい。

ＵＡＶ制御部１１０は、第１画像Ｇａと第２画像Ｇｂとを合成するためのブレンド率を決定する。ＵＡＶ制御部１１０は、無人航空機１００の飛行速度に基づいて、ブレンド率を決定してよい。ＵＡＶ制御部１１０は、決定されたブレンド率に基づいて、第１画像Ｇａと第２画像Ｇｂとを合成し、合成画像を生成する。第１画像Ｇａの画像範囲（画像サイズ）と第２画像Ｇｂの画像範囲（画像サイズ）とは、同じ範囲（同じサイズ）でよい。よって合成画像の画像範囲（画像サイズ）も同じ範囲（同じサイズ）でよい。

合成画像では、合成画像の画素毎にブレンド率が異なってよい。合成画像では、合成画像における複数の画素が集合した領域毎に、ブレンド率が異なってよい。合成画像では、同一の領域内の各画素で、ブレンド率が同一でもよいし異なってもよい。

なお、ＵＡＶ制御部１１０は、３つ以上の画像を合成してよい。ＵＡＶ制御部１１０は、３つ以上の画像を合成するための各画像のブレンド率を、上記と同様に決定してよい。

図７は、無人航空機１００の飛行速度に対応する、第２画像Ｇｂが撮像される場合のズーム倍率の変更範囲を示すグラフである。このグラフは、光学ズーム及びデジタルズームの双方に適用可能であり、同時に適用されてもよい。このグラフに示すような無人航空機１００の飛行速度に対応するズーム倍率の変更範囲の情報は、メモリ１６０に記憶されてよい。なお、ここでは、ズーム倍率の変更範囲の下端がズーム倍率１．０であることを想定するが、ズーム倍率の他の値を変更範囲の下端としてもよい。

図７では、飛行速度に対するズーム倍率の変更範囲の上端が直線で表されている。具体的には、飛行速度１ｋｍ／ｈの場合、ズーム倍率の上端が値１．１である。この場合、ズーム倍率の変更範囲は、１．０〜１．１となる。飛行速度１０ｋｍ／ｈの場合、ズーム倍率の変更範囲の上端が値１．３である。この場合、ズーム倍率の変更範囲は、１．０〜１．３となる。飛行速度３５ｋｍ／ｈの場合、ズーム倍率の変更範囲の上端が値２．０（上端の最大値の一例）である。この場合、ズーム倍率の変更範囲は、１．０〜２．０となる。飛行速度５０ｋｍ／ｈの場合、ズーム倍率の変更範囲の上端は、同じく最大値２．０である。この場合、ズーム倍率の変更範囲は、１．０〜２．０となる。

なお、図７では、ズーム倍率の変更範囲の上端の最大値が２．０であることを例示したが、他の値が変更範囲の上端の最大値であってもよい。また、図７では、飛行速度に対するズーム倍率の変更範囲の上端の変化は、直線で表されたが、Ｓ字カーブ等の曲線で表されてもよい。

このように、ズーム倍率の変更範囲の上端は、無人航空機１００の飛行速度が速くなる程、ズーム倍率が高くなるように設定される。つまり、無人航空機１００の飛行速度が速くなる程、ズーム倍率の変更範囲が大きくなるよう設定される。これにより、第２画像Ｇｂは、画像内の被写体の大きさがズーム倍率に応じて大きく変化するように描画される。これにより、飛行速度が速い程、高速感が高くなるような高速飛行エフェクトが実施され得る。

なお、ズーム倍率の最大値は、光学ズームやデジタルズームの最大倍率によって定まってよい。例えば、ズーム倍率の最大値は、撮像部２２０における光学ズームによるズーミング動作に要する時間（ズーミング時間）が、第２画像Ｇｂが撮像される際の露光時間より長い場合、この露光時間の経過までに、ズーミング動作（鏡筒の移動）が到達できるズーム倍率によって制限され得る。よって、例えば、光学ズームするための機構動作が高速であれば、ズーム倍率の変更可能範囲が大きくなり、ズーム倍率の変更範囲が大きくてもズーミング動作が追従可能となってよい。

このように、ＵＡＶ制御部１１０は、無人航空機１００の飛行速度に基づいて、第２画像Ｇｂを取得するためのズーム倍率の変更範囲を決定してよい。

これにより、無人航空機１００は、無人航空機１００の飛行速度に基づくズーム倍率の変更範囲が得られるので、無人航空機１００は、どの程度の飛行速度を感じさせる画像とするかを決定できる。したがって、ユーザは、高速飛行エフェクトが施された画像を視認することで、無人航空機１００がどの程度の飛行速度で飛行しているかを意識しながら、高速感を楽しめる。

また、無人航空機１００の飛行速度が速い程、ズーム倍率の変更範囲が大きくなることで、第２画像Ｇｂ内の被写体への接近度合がより高く見える。よって、ユーザは、このズーム倍率の変化を、第１画像Ｇａと第２画像Ｇｂとが合成された合成画像で感知でき、直感的に高速感を得やすくなる。

図８は、撮像部２２０で撮像された２枚の撮像画像としての第１画像Ｇａ及び第２画像Ｇｂを合成した合成画像Ｇｍを示す図である。

合成画像Ｇｍは、合成画像の中心（画像中心）から第１半径ｒ１で囲まれる円形の画像領域ｇｒ１と、画像中心から第２半径ｒ２で表される円形の内側と第１半径ｒ１で表される円形の外側で囲まれるリング状の画像領域ｇｒ２と、画像領域ｇｒ２の外側の画像領域ｇｒ３と、を含む。例えば、画像中心から合成画像Ｇｍの隅までの距離Ｌを値１．０とすると、第１半径ｒ１は、値０．３であってよく、第２半径ｒ２は、値０．７であってよい。なお、これらの値は一例であり、他の値（割合）で合成画像Ｇｍ中の領域が形成されてもよい。第１半径ｒ１、第２半径ｒ２の長さは、無人航空機１００の飛行速度に応じて決定されてよい。

合成画像Ｇｍでは、第１画像Ｇａと第２画像Ｇｂとが、決定されたブレンド率で合成されている。ブレンド率は、合成画像Ｇｍの各画素における第２画像Ｇｂの成分の割合で示されてよい。例えば、画像領域ｇｒ１には、第１画像Ｇａが、１００％占め、第２画像Ｇｂの成分が含まれない。つまり、画像領域ｇｒ１でのブレンド率は、値０．０である。画像領域ｇｒ３には、第２画像Ｇｂが、１００％占める。つまり、画像領域ｇｒ２でのブレンド率は、値１．０である。画像領域ｇｒ２には、第１画像Ｇａの成分と第２画像Ｇｂの成分とを含み、ブレンド率が値０．０より大きく値１．０より小さくなる。

つまり、合成画像Ｇｍにおいて、第２画像Ｇｂの成分が多くなる程、ブレンド率が高くなり、全て第２画像Ｇｂの成分になるとブレンド率が値１．０になる。一方、合成画像Ｇｍにおいて、第２画像Ｇｂの成分が少なくなる程、つまり第１画像Ｇａの成分が多くなる程、ブレンド率が低くなり、全て第１画像Ｇａの成分になるとブレンド率が値０．０になる。なお、画像領域ｇｒ１，ｇｒ２，ｇｒ３を同心円で区画されたが、三角、四角等の多角形やその他の形状で区画されてよい。

このように、合成画像Ｇｍは、合成画像Ｇｍの中心部（画像中心）から端部に向かって順に、第１画像Ｇａの成分を含み第２画像Ｇｂの成分を含まない画像領域ｇｒ１（第１の領域の一例）と、第１画像Ｇａの成分と第２画像Ｇｂの成分とを含む画像領域ｇｒ２（第２の領域の一例）と、第１画像Ｇａの成分を含まず第２画像Ｇｂの成分を含む画像領域ｇｒ３（第３の領域の一例）と、を含んでよい。

これにより、合成画像Ｇｍの中心部に近い画像領域ｇｒ１に、固定のズーム倍率で撮像された第１画像Ｇａが描画されるので、被写体が鮮明に描画され、ユーザは被写体を認識し易い。また、合成画像Ｇｍの端部に近い画像領域ｇｒ３に、ズーム倍率が変化しながらズームアップされた第２画像Ｇｂが描画されるので、ユーザは高速感を得ることができる。また、画像領域ｇｒ１と画像領域ｇｒ３との間に、第１画像Ｇａの成分と第２画像Ｇｂの成分とが含まれるので、無人航空機１００は、画像領域ｇｒ１と画像領域ｇｒ３との間の遷移を滑らかにし、ユーザに違和感が低減された合成画像ｇｍを提供できる。

図９は、合成画像Ｇｍの画像中心からの距離に対応するブレンド率の変化を示すグラフである。このグラフで示されるブレンド率と半径との関係性の情報は、メモリ１６０に記憶されてよい。ここでは、５つのグラフｇ１，ｇ２，ｇ３，ｇ４，ｇ５が例示されている。

グラフｇ１，ｇ２，ｇ３，ｇ４，ｇ５は、無人航空機１００の飛行速度の速さに対応して設定される。例えば、グラフｇ１は、飛行速度が５０ｋｍ／ｈである場合を示す。グラフｇ５は、飛行速度が１０ｋｍ／ｈである場合を示す。

グラフｇ１〜ｇ５では、合成画像Ｇｍの画像中心から第１半径ｒ１までの範囲（画像領域ｇｒ１に相当）では、ブレンド率が値０．０（０％）である。つまり、合成画像Ｇｍにおいて、第１画像Ｇａが１００％占める。グラフｇ１〜ｇ５では、例えば第１半径ｒ１が値０．１５〜０．３に設定される。

グラフｇ１〜ｇ５では、第１半径ｒ１から第２半径ｒ２までの範囲（画像領域ｇｒ２に相当）では、合成画像Ｇｍの画像中心からの距離が長くなる程、ブレンド率が大きな値になるように設定される。例えば、グラフｇ１では、画像中心からの距離が値０．１５から０．５５に変化する間、ブレンド率は、値０．０〜値１．０に変化する。この区間における画像中心からの距離の変化に対するブレンド率の変化は、直線で表されてよい。直線の傾きは、任意に変更可能である。また、画像中心からの距離の変化に対するブレンド率の変化は、直線で表される他、Ｓ字カーブ等の曲線で表されてもよい。

グラフｇ１〜ｇ５では、第２半径ｒ２を超える範囲（撮像画像の中心からの距離が第２半径ｒ２以上よりも大きい範囲であり、画像領域ｇｒ３に相当）では、ブレンド率は、値１．０（１００％）に設定される。つまり、合成画像Ｇｍにおいて、第２画像Ｇｂが１００％を占める。

このように、画像領域ｇｒ２では、画像領域ｇｒ１に近い端部ほど、第１画像Ｇａの比率が高い画像となり、画像領域ｇｒ３に近い端部ほど、第２画像Ｇｂの比率が高い画像となってよい。例えば、図９では、グラフｇ１〜５のいずれにおいても、画像領域ｇｒ２に相当するブレンド率が変化している箇所では、右上がりのグラフとなっており、つまり合成画像Ｇｍの画像中心からの距離が長い程、ブレンド率が高くなり、第２画像Ｇｂの比率が高いことが理解できる。よって、画像領域ｇｒ２では、合成画像Ｇｍの端部に近い程、第２画像Ｇｂの成分が多くなってよい。

これにより、画像領域ｇｒ２において合成画像Ｇｍの中心側に向かう程、実空間上の被写体に近い画像となり、合成画像Ｇｍの端部側に向かう程、高速感のある高速飛行エフェクトが強くなる。したがって、無人航空機１００は、被写体を視認し易い状態を維持しつつ、高速感を得ることができる。また、無人航空機１００は、画像領域ｇｒ１と画像領域ｇｒ３とを違和感なく滑らかに繋げることができる。

また、合成画像Ｇｍでは、無人航空機１００の飛行速度が速い程、画像領域ｇｒ１が小さく、画像領域ｇｒ３が大きくなってよい。例えば、より低速飛行に対応する図９のグラフｇ５では、画像中心からの距離が値０．７５の位置からブレンド率１．０の画像領域ｇｒ３となっているのに対し、より高速飛行に対応する図９のグラフｇ１では、画像中心からの距離が値０．５５の位置からブレンド率１．０の画像領域ｇｒ３となっている。

これにより、無人航空機１００の飛行速度が速い場合には、鮮明な被写体が描画される第１画像Ｇａの面積が小さくなり、高速に移動する場合と同様の効果が得られる。また、高速感のある画像領域ｇｒ３が大きくなることで、より高速に飛行しているように演出可能である。

図１０は、飛行体システム１０の動作例を示すシーケンス図である。図１０では、無人航空機１００が飛行中である場合を想定する。

端末８０では、端末制御部８１は、操作部８３を介して、ユーザからハイパースピード撮像モードとするための操作を受け付けると、ハイパースピード撮像モードを設定する（Ｔ１）。端末制御部８１は、通信部８５を介して、ハイパースピード撮像モードの設定を含む設定情報を無人航空機１００に送信する（Ｔ２）。

無人航空機１００では、ＵＡＶ制御部１１０は、通信インタフェース１５０を介して、端末８０から設定情報を受信し、ハイパースピード撮像モードに設定し、設定情報をメモリ１６０に記憶する。ＵＡＶ制御部１１０は、例えば、無人航空機１００の飛行速度を算出して取得する（Ｔ３）。

ＵＡＶ制御部１１０は、メモリ１６０に記憶された、例えば図７に示したグラフの情報を基に、飛行速度に対応するズーム倍率を決定する（Ｔ４）。ＵＡＶ制御部１１０は、メモリ１６０に記憶された、例えば図９に示すグラフを基に、飛行速度に対応する、合成画像における各領域や各画素でのブレンド率の変化を決定する（Ｔ５）。ＵＡＶ制御部１１０は、決定されたズーム倍率及びブレンド率の変化を設定し、メモリ１６０及びメモリ１５に記憶する。

ＵＡＶ制御部１１０は、撮像部２２０による撮像を制御する。撮像部２２０のカメラプロセッサ１１は、シャッタ駆動部１９を制御し、被写体を含む第１画像Ｇａを撮像する（Ｔ６）。カメラプロセッサ１１は、第１画像Ｇａをメモリ１６０に記憶させてよい。

カメラプロセッサ１１は、メモリ１５等に記憶されたズーム倍率の変更範囲の情報を基に、ズーミング動作を行いながら、シャッタ駆動部１９を制御し、被写体を含む第２画像Ｇｂを撮像する（Ｔ７）。カメラプロセッサ１１は、第２画像Ｇｂをメモリ１６０に記憶させてよい。

ＵＡＶ制御部１１０は、メモリ１６０に記憶された第１画像Ｇａ及び第２画像Ｇｂを、Ｔ５で決定されたブレンド率に従って合成し、合成画像Ｇｍを生成する（Ｔ８）。

なお、ここでは、撮像開始前の飛行速度でブレンド率の変化が決定されたが、これに限られない。例えば、ＵＡＶ制御部１１０は、飛行速度の情報を、逐次取得してよい。例えば、ＵＡＶ制御部１１０は、手順Ｔ６，Ｔ７で撮像する際の飛行速度の値を用いて、ブレンド率を決定してよいし、手順Ｔ６，Ｔ７で撮像する際の飛行速度の値の平均値に従って、ブレンド率を決定してもよい。

ＵＡＶ制御部１１０は、通信インタフェース１５０を介して、端末８０に合成画像Ｇｍを送信する（Ｔ９）。

端末８０では、端末制御部８１は、通信部８５を介して、無人航空機１００から合成画像Ｇｍを受信すると、表示部８８に合成画像Ｇｍを表示させる（Ｔ１０）。

なお、手順Ｔ８では、手順Ｔ６で撮像された第１画像Ｇａと、手順Ｔ７で撮像された第２画像Ｇｂとの２枚の撮像画像を使って合成画像Ｇｍを生成したが、１枚の撮像画像を基に、合成画像Ｇｍを生成してよい。

図１０の処理によれば、無人航空機１００は、無人航空機１００で撮像された際の実際の移動速度よりも、高速感が強調された画像を生成でき、人工的に高速感を演出できる。よって、例えば無人航空機１００の飛行高度が高く、高速飛行感が出にくい場合でも、高速感を得やすい画像を生成できる。

なお、無人航空機１００は、無人航空機１００が飛行していない場合でも、無人航空機１００が撮像された撮像画像に対して上記の高速移動エフェクトを施すことで、無人航空機１００が高速移動しているような画像を疑似的に生成してよい。

図１１は、第１画像Ｇａと第２画像Ｇｂと合成画像Ｇｍとの一例を示す図である。合成画像Ｇｍは、高速飛行エフェクトが施された画像となる。

被写体は、一例として人物及び背景を含む。第１画像Ｇａは、無人航空機１００の飛行速度に見合った速度で流れる比較的被写体が鮮明な画像である。第２画像Ｇｂは、ズーミング動作されながら撮像された画像であり、高速に移動するような視覚効果を有する画像である。よって、第２画像Ｇｂは、例えば、第２画像Ｇｂの画像中心に位置する被写体の周囲に放射状の光の筋が入ったような画像となる。合成画像Ｇｍは、第１画像Ｇａと第２画像Ｇｂとが、飛行速度に応じたブレンド率で合成された画像である。よって、合成画像Ｇｍは、画像中心にいる人物に急接近するように人物の周囲（背景）が流れたような画像となる。

具体的には、合成画像Ｇｍは、画像中心付近は第１画像Ｇａと同一であり、画像端部付近は第２画像Ｇｂと同一であり、画像中心付近と画像端部付近との間は第１画像Ｇａの成分と第２画像Ｇｂの成分とが混在した画像となる。よって、合成画像Ｇｍは、画像中心付近では鮮明な画像となるので、どのような被写体が描画されているか理解し易い。また、合成画像Ｇｍは、画像端部付近ではズーム倍率が変化する画像つまり複数のズーム倍率の画像成分を含む画像となるので、合成画像Ｇｍを見るユーザに対し、高速感や臨場感を演出できる。

このように、無人航空機１００では、ＵＡＶ制御部１１０は、無人航空機１００の飛行速度（移動速度の一例）を取得する。撮像部２２０は、ズーム倍率を固定して第１画像Ｇａ（第１の画像の一例）を撮像して取得する。撮像部２２０は、ズーム倍率を変化させながら第１画像Ｇａ（第１画像Ｇａに写り込んだ被写体）が拡大された第２画像Ｇｂ（第２の画像の一例）を取得する。ＵＡＶ制御部１１０は、無人航空機１００の飛行速度に基づいて、第１画像Ｇａと第２画像Ｇｂとを合成するためのブレンド率（合成比率の一例）を決定する。ＵＡＶ制御部１１０は、決定されたブレンド率に基づいて、第１画像Ｇａと第２画像Ｇｂとを合成し、合成画像Ｇｍを生成する。

これにより、無人航空機１００は、無人航空機１００で撮像される画像を用いて、高速移動エフェクトが施された画像を容易に得ることができる。よって、ユーザは、例えばＰＣ等を手動で操作しながらエフェクトをかける必要がなく、高速移動エフェクトが施された画像を得るために、例えば移動前や移動後の被写体の位置等を細かく調整しながら画像を編集しないで済む。したがって、無人航空機１００は、ユーザの操作の煩雑性を低減でき、誤操作も低減できる。

また、ＵＡＶ制御部１１０は、撮像部２２０のズーム倍率を変更しながら、第２画像Ｇｂを撮像して取得してよい。

これにより、無人航空機１００は、第２画像Ｇｂとして実空間の画像を撮像するので、例えば、第２画像Ｇｂを演算により生成する場合と比較すると、第２画像Ｇｂを取得するための無人航空機１００の処理負荷を低減できる。

また、ＵＡＶ制御部１１０は、撮像部２２０を介して、第１画像Ｇａを撮像するための露光時間ｔ１（第１の露光時間の一例）よりも第２画像Ｇｂを撮像するための露光時間ｔ２（第２の露光時間の一例）を長くして、第２画像Ｇｂを撮像してよい。つまり、第２画像Ｇｂが長時間露光画像であってよい。

これにより、無人航空機１００は、高速移動エフェクトに主に寄与する第２画像Ｇｂの露光時間を長くすることで、第２画像Ｇｂの撮像中にズーム倍率を変更するための時間を確保できる。よって、無人航空機１００は、例えばズーミング動作において光学ズームを用いる場合でも、ユーザが所望するズーム倍率に変更しながら、第２画像Ｇｂを撮像し易くなる。

次に、１枚の撮像画像に基づく合成画像Ｇｍの生成について説明する。

図１０では、撮像画像として複数枚の画像（第１画像Ｇａ，第２画像Ｇｂ）が撮像されることを示したが、１枚の撮像画像（第１画像Ｇａ）を基に、合成画像Ｇｍが生成されてもよい。この場合、ＵＡＶ制御部１１０は、第１画像Ｇａに対し、異なるズーム倍率で拡大された複数の拡大画像を生成してよい。ＵＡＶ制御部１１０は、生成されたこれらの複数の拡大画像を所定のサイズに切り出して複数の切り出し画像を生成し、複数の切り出し画像を合成して、第２画像Ｇｂを生成してよい。この第２画像Ｇｂは、例えば複数の切り出し画像の各画素値を平均化することで生成されてよい。そして、ＵＡＶ制御部１１０は、撮像により得られた第１画像Ｇａと演算により得られた第２画像Ｇｂとを合成し、合成画像Ｇｍを生成してよい。

図１２は、１枚の撮像画像を基に合成画像Ｇｍを生成することを説明するための図である。

図１２では、ＵＡＶ制御部１１０は、１枚の第１画像Ｇａを基に、１０枚の拡大画像Ｂ１〜Ｂ１０を生成している。具体的には、ＵＡＶ制御部１１０は、ズーム倍率を１．１として撮像画像Ａが１．１倍に拡大された拡大画像Ｂ１、ズーム倍率を１．２として撮像画像Ａが１．２倍に拡大された拡大画像Ｂ２、・・・、ズーム倍率を２．０として撮像画像Ａが２．０倍に拡大された拡大画像Ｂ１０、を生成してよい。

なお、各ズーム倍率は一例であり、各ズーム倍率を他の値に変更してもよい。また、ズーム倍率を一定の差分で変更せずに、様々な差分値でズーム倍率を変更してもよい。

ＵＡＶ制御部１１０は、拡大画像Ｂ１〜Ｂ１０の各々から、主被写体を含むように、撮像画像Ａと同じサイズの範囲を切り出し、切り出し画像Ｂ１’〜Ｂ１０’を生成する。ＵＡＶ制御部１１０は、切り出し画像Ｂ１’〜Ｂ１０’を合成し、１枚の第２画像Ｇｂを生成する。この場合、ＵＡＶ制御部１１０は、切り出し画像Ｂ１’〜Ｂ１０’のそれぞれ対応する画素値を加算して平均し、第２画像Ｇｂを生成してよい。よって、演算により得られた第２画像Ｇｂは、１回の撮像でズーム倍率を変更しながら主被写体に接近するように撮像された画像と同様に、高速感が得られる画像となる。

なお、図１２の例では、図７に示した無人航空機１００の飛行速度が３５ｋｍ／ｈや５０ｋｍ／ｈの場合を想定している。そのため、図１２で得られた第２画像Ｇｂは、ズーム倍率を１．０から２．０に変更しながら撮像して得られる第２画像と同様の効果が得られる。

このように、ＵＡＶ制御部１１０は、複数の異なるズーム倍率で第１画像Ｇａが拡大（ズームアップ）されて切り出された複数の切り出し画像Ｂ１’〜Ｂ１０’（第３の画像の一例）を生成し、複数の切り出し画像Ｂ１’〜Ｂ１０’を合成して第２画像Ｇｂを生成してよい。

これにより、撮像部２２０による撮像が１回で済むので、撮像部２２０の撮像負担を軽減できる。つまり、撮像部２２０が第２画像Ｇｂを撮像する代わりに、第１画像Ｇａを基に画像を加工して第２画像Ｇｂを生成してよい。また、第１画像Ｇａを１回撮像した後には無人航空機１００が移動しなくてもよく、例えば無人航空機１００が停止した状態でも、高速感のある画像を合成画像Ｇｍとして生成できる。

以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

上記実施形態では、移動体として、無人航空機を示したが、本開示は、これに限らず、カメラを搭載した無人自動車、カメラを搭載した自転車、人が移動しながら把持するカメラ付きのジンバル装置等に適用することも可能である。

１０ 飛行体システム
１１ カメラプロセッサ
１２ シャッタ
１３ 撮像素子
１４ 画像処理部
１５ メモリ
１８ フラッシュ
１９ シャッタ駆動部
２０ 素子駆動部
２１ ゲイン制御部
３２ ＮＤフィルタ
３３ 絞り
３４ レンズ群
３６ レンズ駆動部
３８ ＮＤ駆動部
４０ 絞り駆動部
８０ 端末
８１ 端末制御部
８３ 操作部
８５ 通信部
８７ メモリ
８８ 表示部
８９ ストレージ
１００ 無人航空機
１１０ ＵＡＶ制御部
１５０ 通信インタフェース
１６０ メモリ
１７０ ストレージ
２００ ジンバル
２１０ 回転翼機構
２２０，２３０ 撮像部
２２０ｚ 筐体
２４０ ＧＰＳ受信機
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
２８０ 超音波センサ
２９０ レーザー測定器
ｏｐ 光軸

Claims (20)

1. 撮像部と処理部とを備える移動体であって、
   前記処理部は、
   前記移動体の移動速度を取得し、
   前記撮像部を介して、前記撮像部のズーム倍率を固定して第１の画像を撮像し、
   ズーム倍率が変化しながら前記第１の画像がズームアップされた第２の画像を取得し、
   前記移動体の移動速度に基づいて、前記第１の画像と前記第２の画像とを合成するための合成比率を決定し、
   決定された前記合成比率に基づいて、前記第１の画像と前記第２の画像とを合成して、合成画像を生成する、
   移動体。
2. 前記処理部は、前記撮像部を介して、前記撮像部のズーム倍率を変更しながら、前記第２の画像を撮像する、
   請求項１に記載の移動体。
3. 前記処理部は、前記撮像部を介して、前記第１の画像を撮像するための第１の露光時間よりも前記第２の画像を撮像するための第２の露光時間を長くして、前記第２の画像を撮像する、
   請求項２に記載の移動体。
4. 前記処理部は、
   前記第１の画像が複数の異なるズーム倍率でズームアップされた複数の第３の画像を生成し、
   複数の前記第３の画像を合成（例えば各画像の画素値を平均化）して、前記第２の画像を生成する、
   請求項１に記載の移動体。
5. 前記処理部は、前記移動体の移動速度に基づいて、前記第２の画像を取得するための前記ズーム倍率の変更範囲を決定する、
   請求項１〜４のいずれか１項に記載の移動体。
6. 前記移動体の移動速度が速い程、前記ズーム倍率の変更範囲が大きい、
   請求項５に記載の移動体。
7. 前記合成画像は、前記合成画像の中心部から端部に向かって順に、前記第１の画像の成分を含み前記第２の画像の成分を含まない第１の領域と、前記第１の画像の成分と前記第２の画像の成分とを含む第２の領域と、前記第１の画像の成分を含まず前記第２の画像の成分を含む第３の領域と、を含む、
   請求項１〜６のいずれか１項に記載の移動体。
8. 前記第２の領域では、前記第２の領域における位置が前記合成画像の端部に近い程、前記第２の画像の成分が多い、
   請求項７に記載の移動体。
9. 前記合成画像では、前記移動体の移動速度が速い程、前記第１の領域が小さく、前記第３の領域が大きい、
   請求項７または８に記載の移動体。
10. 移動体における画像生成方法であって、
    前記移動体の移動速度を取得するステップと、
    前記移動体が備える撮像部のズーム倍率を固定して第１の画像を撮像するステップと、
    ズーム倍率が変化しながら前記第１の画像がズームアップされた第２の画像を取得するステップと、
    前記移動体の移動速度に基づいて、前記第１の画像と前記第２の画像とを合成するための合成比率を決定するステップと、
    決定された前記合成比率に基づいて、前記第１の画像と前記第２の画像とを合成して、合成画像を生成するステップと、
    を有する画像生成方法。
11. 前記第２の画像を取得するステップは、前記撮像部のズーム倍率を変更しながら、前記第２の画像を撮像するステップを含む、
    請求項１０に記載の画像生成方法。
12. 前記第２の画像を取得するステップは、前記第１の画像を撮像するための第１の露光時間よりも前記第２の画像を撮像するための第２の露光時間を長くして、前記第２の画像を撮像するステップを含む、
    請求項１１に記載の画像生成方法。
13. 前記第２の画像を取得するステップは、
    前記第１の画像が複数の異なるズーム倍率でズームアップされた複数の第３の画像を生成するステップと、
    複数の前記第３の画像を合成して、前記第２の画像を生成するステップと、を含む、
    請求項１０に記載の画像生成方法。
14. 前記第２の画像を取得するステップは、前記移動体の移動速度に基づいて、前記第２の画像を取得するための前記ズーム倍率の変更範囲を決定するステップを含む、
    請求項１０〜１３のいずれか１項に記載の画像生成方法。
15. 前記移動体の移動速度が速い程、前記ズーム倍率の変更範囲が大きい、
    請求項１４に記載の画像生成方法。
16. 前記合成画像は、前記合成画像の中心部から端部に向かって順に、前記第１の画像の成分を含み前記第２の画像の成分を含まない第１の領域と、前記第１の画像の成分と前記第２の画像の成分とを含む第２の領域と、前記第１の画像の成分を含まず前記第２の画像の成分を含む第３の領域と、を含む、
    請求項１０〜１５のいずれか１項に記載の画像生成方法。
17. 前記第２の領域では、前記第２の領域における位置が前記合成画像の端部に近い程、前記第２の画像の成分が多い、
    請求項１６に記載の画像生成方法。
18. 前記合成画像では、前記移動体の移動速度が速い程、前記第１の領域が小さく、前記第３の領域が大きい、
    請求項１６または１７に記載の画像生成方法。
19. 移動体に、
    前記移動体の移動速度を取得するステップと、
    前記移動体が備える撮像部のズーム倍率を固定して第１の画像を撮像するステップと、
    ズーム倍率が変化しながら前記第１の画像がズームアップされた第２の画像を取得するステップと、
    前記移動体の移動速度に基づいて、前記第１の画像と前記第２の画像とを合成するための合成比率を決定するステップと、
    決定された前記合成比率に基づいて、前記第１の画像と前記第２の画像とを合成して、合成画像を生成するステップと、
    を実行させるための、プログラム。
20. 移動体に、
    前記移動体の移動速度を取得するステップと、
    前記移動体が備える撮像部のズーム倍率を固定して第１の画像を撮像するステップと、
    ズーム倍率が変化しながら前記第１の画像がズームアップされた第２の画像を取得するステップと、
    前記移動体の移動速度に基づいて、前記第１の画像と前記第２の画像とを合成するための合成比率を決定するステップと、
    決定された前記合成比率に基づいて、前記第１の画像と前記第２の画像とを合成して、合成画像を生成するステップと、
    を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。

Images