JP7185162B2

JP7185162B2 - 画像処理方法、画像処理装置およびプログラム

Info

Publication number: JP7185162B2
Application number: JP2021519991A
Authority: JP
Inventors: 和宮川
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2019-05-22
Filing date: 2019-05-22
Publication date: 2022-12-07
Anticipated expiration: 2039-05-22
Also published as: WO2020235063A1; US20220262094A1; JPWO2020235063A1; US12062218B2

Description

本発明は、無人航空機に搭載されたカメラにより撮影されたフレーム画像を合成する画像処理方法、画像処理装置およびプログラムに関する。

機器の小型化、精度向上およびバッテリ容量の増加などに伴い、アクションカメラに代表される小型カメラを用いたライブ配信が盛んに行われている。このような小型カメラでは、水平視野角が１２０°を超えるような超広角レンズが用いられることが多い。超広角レンズを用いることで、臨場感溢れる広範な映像（高臨場パノラマ映像）を撮影することができる。一方、超広角レンズにより広範な情報を１レンズ内に収めるため、レンズの周辺歪みにより情報量が多く失われてしまい、映像周辺ほど画像が荒くなるなど、画質の劣化が生じる。

上述したように、１台のカメラで高臨場パノラマ映像を高品質に撮影することは困難である。そこで、複数台の高精細カメラにより撮影した映像を結合することで、あたかも１台のカメラで風景を撮影したように見せる技術が開発されている（非特許文献１参照）。

非特許文献１に記載の技術では、各カメラは、広角レンズよりも狭い一定の範囲内をレンズに収める。各カメラにより撮影された映像を合成して得られるパノラマ映像は、広角レンズを用いた場合と比較して、隅々まで高精細なパノラマ映像となる。

このようなパノラマ映像合成においては、複数台のカメラは、ある点を中心として別々の方向に向かって撮影する。各カメラの映像をパノラマ映像として合成する際には、フレーム画像間の特徴点の対応関係を用いた射影変換（ホモグラフィ）が行われる。射影変換は、ある四角形（平面）を、四角形の辺の直進性を維持したまま別の四角形（平面）に移す変換である。ある特徴点からある特徴点への対応関係を複数用いることにより、射影変換を行うための変換パラメータが推定される。この変換パラメータを用いて射影変換を行うことで、フレーム画像群におけるカメラの向きによる歪みが取り除かれ、１つのレンズで撮影されたかのように１つの平面に射影することができ、違和感の無い合成を行うことができる（図１参照）。

一方、特徴点の対応関係の誤りなどにより変換パラメータが正しく推定されない場合、各カメラのフレーム画像間にずれが生じ、結合部分に不自然な線が生じたり、画像に矛盾が生じたりしてしまう。そのため、複数台のカメラによるパノラマ映像撮影は、カメラ群を接地して強固に固定した状態で行うのが一般的である。

また、射影変換は、平面から平面への変換であるため、複数のマーカ（特徴点の検出対象）を描いた平面パネルを複数のカメラの撮影範囲が重複する位置に設置すれば、平面パネルが形成する面において精度の高い合成が可能となる。以下では、複数のマーカを描いた平面パネルをマーカパネルと称する。カメラ群を固定して撮影を行う場合、マーカパネルを用いた変換パラメータの導出（キャリブレーション）は一回行えばよいのが一般的である。

「超ワイド映像合成技術」、［online］、［２０１９年５月１５日検索］、インターネット＜ＵＲＬ：http://www.ntt.co.jp/svlab/activity/pickup/qa53.html＞

近年、数キログラム程度の小型の無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）が広く用いられるようになっている。例えば、無人航空機に搭載した小型のカメラなどによる撮影が一般化している。無人航空機は小型であることから、様々な場所で容易に撮影を行うことができるという特徴がある。

無人航空機による撮影は、被災地における迅速な情報収集などの公益用途向けにも利用が期待されていることから、広範な映像をできる限り高精細に撮影することが望ましい。そのため、非特許文献１に記載されているような複数台のカメラを用いて高精細パノラマ映像を撮影する技術が望まれている。

無人航空機に複数台のカメラを搭載してパノラマ映像を合成する場合、無人航空機は移動するため、フレーム画像間の対応関係を求めるための特徴点は画像上を刻々と移動することになる。この際、いくつかの特徴点は画像外に消失するとともに、新たな特徴点が追加される。そのため、フレーム毎に、特徴点の対応関係を新たに求めることになる。ここで、マーカパネルは撮影の邪魔になるため、マーカパネルを常設したキャリブレーションを行うことはできない。そのため、画像上に現れる自然特徴点を用いて映像合成を行うことになるが、自然特徴点が同一平面上に存在するとは限らないので、映像の合成精度が低下する。位置の移動に合わせて特徴点を画像上で追跡する（トラッキングする）方法も考えられるが、画像外に特徴点が消失する可能性および新たに追加された特徴点によって追跡を誤る可能性があり、映像の合成精度を担保することが困難である。

上記のような問題点に鑑みてなされた本発明の目的は、無人航空機に搭載されたカメラにより撮影されたフレーム画像の合成精度の向上を図ることができる画像処理方法、画像処理装置およびプログラムを提供することにある。

上記課題を解決するため、本発明に係る画像処理方法は、無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理方法であって、第１の時刻において第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得する画像取得ステップと、前記第１の時刻における、前記無人航空機の状態を示す第１の状態情報、前記第１のカメラの状態を示す第２の状態情報および前記第２のカメラの状態を示す第３の状態情報を取得する情報取得ステップと、前記取得した第１のフレーム画像および第２のフレーム画像から、射影変換を行うための特徴点群を抽出する抽出ステップと、前記第１の時刻における第１の状態情報、第２の状態情報および第３の状態情報と、前記第１の時刻よりも前の第２の時刻における第１の状態情報、第２の状態情報および第３の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する算出ステップと、所定のタイミングでは、前記抽出された特徴点群を前記第１の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第２の時刻における補正済み特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する補正ステップと、前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出ステップと、前記算出された変換パラメータに基づき、前記第１のフレーム画像および前記第２のフレーム画像の射影変換を行う変換ステップと、前記射影変換後の第１のフレーム画像および第２のフレーム画像を合成する合成ステップと、を含む。

また、上記課題を解決するため、本発明に係る画像処理装置は、無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理装置であって、第１の時刻において第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得する第１の取得部と、前記第１の時刻における、前記無人航空機の状態を示す第１の状態情報、前記第１のカメラの状態を示す第２の状態情報および前記第２のカメラの状態を示す第３の状態情報を取得する第２の取得部と、前記第１の取得部が取得した第１のフレーム画像および第２のフレーム画像から、射影変換を行うための特徴点群を抽出する特徴点抽出部と、前記第２の取得部が取得した、前記第１の時刻における第１の状態情報、第２の状態情報および第３の状態情報と、前記第１の時刻よりも前の第２の時刻における第１の状態情報、第２の状態情報および第３の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する特徴点補正値算出部と、所定のタイミングでは、前記抽出された特徴点群を前記第１の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第２の時刻における補正済み特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する特徴点補正部と、前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出部と、前記変換パラメータ算出部により算出された変換パラメータに基づき、前記第１のフレーム画像および前記第２のフレーム画像の射影変換を行うフレーム画像変換部と、前記射影変換後の第１のフレーム画像および第２のフレーム画像を合成するフレーム画像合成部と、を備える。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の画像処理装置として機能させる。

本発明に係る画像処理方法、画像処理装置およびプログラムによれば、無人航空機に搭載されたカメラにより撮影されたフレーム画像の合成精度の向上を図ることができる。

射影変換によるフレーム画像の合成について説明するための図である。本発明の一実施形態に係る画像処理装置を含むパノラマ映像合成システムの構成例を示す図である。図２に示す無人航空機、計算機および表示装置の構成例を示す図である。図２に示すパノラマ映像合成システムにおける、無人航空機の移動に応じた高臨場パノラマ映像の生成について説明するための図である。図３に示す計算機において実行される画像処理方法について説明するためのフローチャートである。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

図２は、本発明の一実施形態に係る画像処理装置としての計算機５を含むパノラマ映像合成システム１の構成例を示す図である。

図２に示すパノラマ映像合成システム１は、無人航空機２と、複数のカメラ３（図２では、２台のカメラ３ａ，３ｂ）と、無線受信装置４と、計算機５と、表示装置６とを備える。本実施形態に係るパノラマ映像合成システム１は、無人航空機２に搭載されたカメラ３ａ，３ｂにより撮影されたフレーム画像を合成することで、高臨場パノラマ映像を生成するものである。

無人航空機２は、重さ数キログラム程度の小型の無人飛行体であり、カメラ３ａ，３ｂが搭載される。

カメラ３ａ，３ｂは、それぞれ異なる方向に向かって撮影を行う。カメラ３ａ，３ｂにより撮影された映像の映像データは、無人航空機２から無線受信装置４に無線送信される。本実施形態においては、無人航空機２には２台のカメラ３ａ，３ｂが搭載される例を用いて説明するが、３台以上のカメラ３が無人航空機２に搭載されてもよい。

無線受信装置４は、無人航空機２から無線送信された、カメラ３ａ，３ｂにより撮影された映像の映像データをリアルタイムに受信し、計算機５に出力する。

計算機５は、無線受信装置４が受信した映像データに示される、カメラ３ａ，３ｂにより撮影された映像を合成して高臨場パノラマ映像を生成する。

表示装置６は、計算機５により生成された高臨場パノラマ映像を表示する。

次に、無人航空機２、計算機５および表示装置６の構成について図３を参照して説明する。なお、無線受信装置４は、無線送信された信号を受信する機能を有する一般的な無線通信装置であるため、図３においては記載を省略している。

まず、無人航空機２の構成について説明する。

図３に示すように、無人航空機２は、フレーム画像取得部２１と、状態情報取得部２２とを備える。なお、図３においては、無人航空機２の構成の内、本発明に特に関連する構成のみを示し、例えば、無人航空機２が飛行したり、無線送信を行うための構成については記載を省略している。

フレーム画像取得部２１は、時刻ｔにおいてカメラ３ａ，３ｂにより撮影されたフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを取得し、無線受信装置４（不図示）に無線送信する。

状態情報取得部２２は、時刻ｔにおける、無人航空機２の状態情報Ｓ_ｔ ^ｖを取得する。状態情報取得部２２は、状態情報Ｓ_ｔ ^ｖとして、例えば、ＧＰＳ（Global Positioning System）信号に基づき、無人航空機２の位置情報を取得する。また、状態情報取得部２２は、状態情報Ｓ_ｔ ^ｖとして、例えば、高度情報など、無人航空機２に設けられた各種のセンサが取得可能な情報を取得する。

また、状態情報取得部２２は、時刻ｔにおける、カメラ３ａの状態情報Ｓ_ｔ ^３ａおよびカメラ３ｂの状態情報Ｓ_ｔ ^３ｂを取得する。状態情報取得部２２は、状態情報Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂとして、例えば、カメラ３ａ，３ｂの向き、ズーム値など、カメラ３ａ，３ｂあるいはカメラ３ａ，３ｂの固定器具に設けられた各種のセンサが取得可能な情報を取得する。

状態情報取得部２２は、取得した状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂを無線受信装置４に無線送信する。

次に、計算機５の構成について説明する。

図３に示すように、計算機５は、フレーム画像受信部５１と、状態情報受信部５２と、特徴点抽出部５３と、特徴点補正値算出部５４と、特徴点固定指示部５５と、特徴点補正部５６と、変換パラメータ算出部５７と、フレーム画像変換部５８と、フレーム画像合成部５９とを備える。フレーム画像受信部５１は、第１の取得部の一例である。状態情報受信部５２は、第２の取得部の一例である。フレーム画像受信部５１、状態情報受信部５２、特徴点抽出部５３、特徴点補正値算出部５４、特徴点固定指示部５５、特徴点補正部５６、変換パラメータ算出部５７、フレーム画像変換部５８およびフレーム画像合成部５９の各機能は、計算機５が有するメモリに記憶されたプログラムを、プロセッサなどで実行することで実現可能である。本実施形態において、「メモリ」は、例えば、半導体メモリ、磁気メモリまたは光メモリなどであるが、これらに限られない。また、本実施形態において、「プロセッサ」は、汎用のプロセッサ、特定の処理に特化したプロセッサなどであるが、これらに限られない。

フレーム画像受信部５１は、無人航空機２から送信されてきたフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを、無線受信装置４を介して受信（取得）する。すなわち、フレーム画像受信部５１は、時刻ｔ（第１の時刻）において、カメラ３ａ（第１のカメラ）により撮影されたフレーム画像ｆ_ｔ ^３ａ（第１のフレーム画像）およびカメラ３ｂ（第２のカメラ）により撮影されたフレーム画像ｆ_ｔ ^３ｂ（第２のフレーム画像）を取得する。フレーム画像受信部５１は、無線通信を介さずに、例えば、ケーブルなどを介して、無人航空機２からフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを取得してもよい。この場合、無線受信装置４は不要である。フレーム画像受信部５１は、受信したフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを特徴点抽出部５３に出力する。

状態情報受信部５２は、無人航空機２から送信されてきた状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂを、無線受信装置４を介して受信（取得）する。すなわち、状態情報受信部５２は、時刻ｔにおける、無人航空機２の状態を示す状態情報Ｓ_ｔ ^ｖ（第１の状態情報）、カメラ３ａの状態を示す状態情報Ｓ_ｔ ^３ａ（第２の状態情報）およびカメラ３ｂの状態を示す状態情報Ｓ_ｔ ^３ｂ（第３の状態情報）を取得する。状態情報受信部５２は、無線通信を介さずに、例えば、ケーブルなどを介して、無人航空機２から状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂを取得してもよい。この場合、無線受信装置４は不要である。状態情報受信部５２は、受信した状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂを特徴点補正値算出部５４に出力する。

特徴点抽出部５３は、フレーム画像受信部５１から出力されたフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂから、一方のフレーム画像を他方のフレーム画像へ射影する射影変換を行うための特徴点群を抽出する。具体的には、特徴点抽出部５３は、射影変換を行うのに必要な特徴点と、フレーム画像ｆ_ｔ ^３ａとフレーム画像ｆ_ｔ ^３ｂとの間での特徴点の対応関係とを抽出する。こうすることで、特徴点抽出部５３は、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂ間で対応関係のとれた複数の特徴点と、その複数の特徴点の位置との組（フレーム画像ｆ_ｔ ^３ａの特徴点群Ｖ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂの特徴点群Ｖ_ｔ ^３ｂ）を抽出する。

特徴点抽出部５３は、所定の特徴点抽出アルゴリズム、および、特徴点の対応関係を求める所定の特徴点対応アルゴリズム（マッチングアルゴリズム）を用いて、特徴点群を抽出する。このようなアルゴリズムとしては、例えば、ＦＡＳＴ（Features from Accelerated Segment Test），ＯＲＢ（Oriented FAST and Rotated BRIEF(Binary Robust Independent Elementary Features)），ＳＩＦＴ（Scale-Invariant Feature Transform）あるいはＳＵＲＦ（Speeded Up Robust Features）などのアルゴリズムを用いることができる。

特徴点抽出部５３は、抽出した特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを特徴点補正部５６に出力する。

特徴点補正値算出部５４は、時刻ｔにおける状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂと、時刻ｔよりも前の時刻ｔ－１（第２の時刻）における状態情報Ｓ_ｔ－１ ^ｖ，Ｓ_ｔ－１ ^３ａ，Ｓ_ｔ－１ ^３ｂとに基づき、特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを補正するための補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出する。補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂは、時刻ｔ－１における特徴点群Ｖ_ｔ－１ ^３ａ，Ｖ_ｔ－１ ^３ｂが時刻ｔにおいてどの位置へ移動するかを求めるための値である。補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂは、無人航空機２の移動量あるいはカメラ３ａ，３ｂの姿勢変化などからアフィン変換を用いて容易に算出することができる。特徴点補正値算出部５４は、算出した補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを特徴点補正部５６に出力する。

特徴点固定指示部５５は、パノラマ映像合成システム１のシステム利用者（ユーザ）からの、特徴点の固定を指示する固定指示の入力を受け付ける。特徴点固定指示部５５は、固定指示の入力を受け付けると、固定指示が入力された入力時刻ｔ’を特徴点補正部５６に出力する。

特徴点補正部５６は、特徴点補正値算出部５４から出力された補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂに基づき、時刻ｔにおける特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを補正し、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として変換パラメータ算出部５７に出力する。補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’は、無人航空機２およびカメラ３ａ，３ｂの挙動から求められる、時刻ｔ－１における特徴点群Ｖ_ｔ－１ ^３ａ，Ｖ_ｔ－１ ^３ｂの時刻ｔにおける移動先を示す。

具体的には、特徴点補正部５６は、特徴点固定指示部５５から出力された入力時刻ｔ’では、特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として変換パラメータ算出部５７に出力する。すなわち、特徴点補正部５６は、特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂをそのまま補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する。また、特徴点補正部５６は、特徴点固定指示部５５から出力された入力時刻ｔ’以外では、時刻ｔ－１における特徴点群（補正済み特徴点群Ｖ_ｔ－１ ^３ａ’，Ｖ_ｔ－１ ^３ｂ’）を、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを用いて以下の式（１）に基づき補正して、時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する。補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’は、画面上では移動しているが無人航空機２を含めた絶対座標系では不動である。
Ｖ_ｔ’＝Ｃ_ｔＶ_ｔ－１’ ・・・式（１）

このように、特徴点補正部５６は、所定のタイミング（特徴点固定指示部５５が固定指示を受け付けたタイミング）では、抽出された特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する。また、所定のタイミング以外（特徴点固定指示部５５が固定指示を受け付けたタイミング以外）では、時刻ｔ－１における特徴点群（補正済み特徴点群Ｖ_ｔ－１ ^３ａ’，Ｖ_ｔ－１ ^３ｂ’）を補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより補正して、時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する。

こうすることで、例えば、システム利用者（ユーザ）により、カメラ３ａ，３ｂの撮影範囲にマーカパネルが設定され、固定指示が特徴点固定指示部５５に入力されたタイミングでは、マーカパネル上の特徴点を補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として用いることができる。したがって、例えば、パノラマ映像合成システム１の運用開始時に、カメラ３ａ，３ｂの撮影範囲にマーカパネルを設置して、固定指示を特徴点固定指示部５５に入力することで、正確な特徴点群を求めることができる。

また、特徴点補正部５６は、固定指示が特徴点固定指示部５５に入力されたタイミング以外では、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを用いて、上記の式（１）に基づき、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を求めることができる。固定指示の入力されたタイミングで特定された特徴点群を基準として、無人航空機２およびカメラ３ａ，３ｂの挙動に応じた状態情報から算出された補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を求めることで、正確な特徴点群を求めることができる。

変換パラメータ算出部５７は、特徴点補正部５６から出力された補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を用いて、射影変換を行うための変換パラメータを算出する。補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’は、画像上では移動しているが無人航空機２を含めた絶対座標系では不動である。そのため、変換パラメータ算出部５７は、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を用いることで、精度の高い変換パラメータを算出することができる。変換パラメータ算出部５７は、算出した変換パラメータをフレーム画像変換部５８に出力する。

フレーム画像変換部５８は、変換パラメータ算出部５７から出力された変換パラメータに基づき、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂの射影変換を行う。フレーム画像変換部５８は、射影変換後のフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂをフレーム画像合成部５９に出力する。

フレーム画像合成部５９は、フレーム画像変換部５８から出力された射影変換後のフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂ（１つの平面上に射影された画像群）を合成し、高臨場パノラマ映像を生成する。フレーム画像合成部５９は、生成した高臨場パノラマ画像を表示装置６に出力する。

表示装置６は、フレーム画像表示部６１を備える。フレーム画像表示部６１は、フレーム画像合成部５９から出力された高臨場パノラマ画像を表示する。

本実施形態に係るパノラマ映像合成システム１では、システム利用者は、例えば、カメラ３ａ，３ｂの撮影範囲にマーカパネルを設置して、固定指示を特徴点固定指示部５５に入力する。こうすることで、マーカパネル上の特徴点群が抽出される。この特徴点群を基準として保持しておくことで、マーカパネルを除去した後も、保持している特徴点群を基準として、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を求めることで、図４に示すように、無人航空機２が移動した場合にも、無人航空機２およびカメラ３ａ，３ｂの挙動に応じた精度の高い補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を得ることができる。そのため、高品質な高臨場パノラマ映像を生成することができる。

補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂに基づく特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂの補正が繰り返されると、誤差が累積して精度が低下することがある。そこで、特徴点補正部５６は、予め規定された定期的なタイミングでは、抽出された特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力し、予め規定された定期的なタイミング以外では、時刻ｔ－１における特徴点群Ｖ_ｔ－１ ^３ａ，Ｖ_ｔ－１ ^３ｂを補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより補正して、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力してもよい。こうすることで、定期的に正確な特徴点群が求められる。そのため、誤差の累積による精度の低下を抑制し、高品質な高臨場パノラマ映像を継続的に生成することができる。

次に、本実施形態に係る計算機５において実行される画像処理方法について、図５に示すフローチャートを参照して説明する。

ステップＳ１１：フレーム画像受信部５１は、時刻ｔにおいて、カメラ３ａにより撮影されたフレーム画像ｆ_ｔ ^３ａおよびカメラ３ｂにより撮影されたフレーム画像ｆ_ｔ ^３ｂを取得する（画像取得ステップ）。

ステップＳ１２：特徴点抽出部５３は、取得されたフレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂから、特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを抽出する（抽出ステップ）。

ステップＳ１３：ステップＳ１１およびステップＳ１２の処理と並行して、状態情報受信部５２は、時刻ｔにおける、無人航空機２の状態情報Ｓ_ｔ ^ｖおよびカメラ３ａ，３ｂの状態情報Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂを取得する（情報取得ステップ）。

ステップＳ１４：特徴点補正値算出部５４は、時刻ｔにおける状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂと、時刻ｔよりも前の時刻ｔ－１における状態情報Ｓ_ｔ－１ ^ｖ，Ｓ_ｔ－１ ^３ａ，Ｓ_ｔ－１ ^３ｂとに基づき、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出する（補正値算出ステップ）。

図５においては、ステップＳ１１およびステップＳ１２の処理と、ステップＳ１３およびステップ１４の処理とが並行して行われる例を示しているが、これに限られるものではない。ステップＳ１１およびステップＳ１２の処理と、ステップＳ１３およびステップ１４の処理とのうち、一方の処理が先に行われ、他方の処理が後に行われてもよい。

ステップＳ１５特徴点補正部５６は、特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂと補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂとから補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を生成して出力する（補正ステップ）。具体的には、特徴点補正部５６は、所定のタイミング（例えば、固定指示が特徴点固定指示部５５に入力されたタイミング）では、抽出された特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する。また、特徴点補正部５６は、所定のタイミング以外（固定指示が特徴点固定指示部５５に入力されたタイミング以外）では、時刻ｔ－１における特徴点群（補正済み特徴点群Ｖ_ｔ－１ ^３ａ’，Ｖ_ｔ－１ ^３ｂ’）を補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより補正して、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する。

ステップＳ１６：変換パラメータ算出部５７は、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を用いて、射影変換を行うための変換パラメータを算出する（変換パラメータ算出ステップ）。

ステップＳ１７：フレーム画像変換部５８は、算出された変換パラメータに基づき、フレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂの射影変換を行う（変換ステップ）。

ステップＳ１８：フレーム画像合成部５９は、射影変換後のフレーム画像ｆ_ｔ ^３ａおよびフレーム画像ｆ_ｔ ^３ｂを合成する（合成ステップ）。

このように、本実施形態に係る画像処理方法は、時刻ｔにおいてカメラ３ａ，３ｂにより撮影されたフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを取得する画像取得ステップと、時刻ｔにおける、無人航空機２の状態情報Ｓ_ｔ ^ｖ、カメラ３ａ，３ｂの状態情報Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂを取得する情報取得ステップと、取得したフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂから特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを抽出する抽出ステップと、時刻ｔにおける状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂと、時刻ｔよりも前の時刻ｔ－１における状態情報Ｓ_ｔ－１ ^ｖ，Ｓ_ｔ－１ ^３ａ，Ｓ_ｔ－１ ^３ｂとに基づき、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出する補正値算出ステップと、所定のタイミングでは、抽出された特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力し、所定のタイミング以外では、時刻ｔ－１における特徴点群Ｖ_ｔ－１ ^３ａ，Ｖ_ｔ－１ ^３ｂを補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより補正して、時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する補正ステップと、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を用いて変換パラメータを算出する変換パラメータ算出ステップと、算出された変換パラメータに基づき、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂの射影変換を行う変換ステップと、射影変換後のフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを合成する合成ステップと、を含む。

また、本実施形態に係る計算機５は、時刻ｔにおいてカメラ３ａ，３ｂにより撮影されたフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを取得するフレーム画像受信部５１と、時刻ｔにおける、無人航空機２の状態情報Ｓ_ｔ ^ｖ、カメラ３ａ，３ｂの状態情報Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂを取得する状態情報受信部５２と、フレーム画像受信部５１が取得したフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂから特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを抽出する特徴点抽出部５３と、時刻ｔにおける状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂと、時刻ｔよりも前の時刻ｔ－１における状態情報Ｓ_ｔ－１ ^ｖ，Ｓ_ｔ－１ ^３ａ，Ｓ_ｔ－１ ^３ｂとに基づき、補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂを算出する特徴点補正値算出部５４と、所定のタイミングでは、抽出された特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力し、所定のタイミング以外では、時刻ｔ－１における特徴点群Ｖ_ｔ－１ ^３ａ，Ｖ_ｔ－１ ^３ｂを補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより補正して、時刻ｔにおける補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として出力する特徴点補正部５６と、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を用いて変換パラメータを算出する変換パラメータ算出部５７と、算出された変換パラメータに基づき、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂの射影変換を行うフレーム画像変換部５８と、射影変換後のフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂを合成するフレーム画像合成部５９とを備える。

所定のタイミングでは、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂから抽出された特徴点群Ｖ_ｔ ^３ａ，Ｖ_ｔ ^３ｂを補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’とすることで、例えば、所定のタイミングに設置されたマーカパネル上の特徴点を補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’として用いることができる。また、所定のタイミング以外では、状態情報から求められる補正値Ｃ_ｔ ^３ａ，Ｃ_ｔ ^３ｂにより特徴点群を補正して、補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’とすることで、所定のタイミングに求められた正確な特徴点を基準として、無人航空機２およびカメラ３ａ，３ｂの挙動に応じた正確な補正済み特徴点群Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’を求めることができる。そのため、精度の高い変換パラメータを算出することができる。その結果、無人航空機２に搭載されたカメラ３ａ，３ｂにより撮影されたフレーム画像の合成精度の向上を図ることができる。

なお、本実施形態においては、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂおよび状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂの取得から、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂの合成までの処理を計算機５において行う例を用いて説明したが、これに限られるものではなく、当該処理を無人航空機２において行ってもよい。

また、特徴点補正部５６は、補正済み特徴点Ｖ_ｔ ^３ａ’，Ｖ_ｔ ^３ｂ’がフレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂ上に存在する場合、特徴点抽出部５３による特徴点群の抽出結果と比較することで、特徴点の位置をさらに補正してもよい。こうすることで、状態情報Ｓ_ｔ ^ｖ，Ｓ_ｔ ^３ａ，Ｓ_ｔ ^３ｂに誤差が生じても、フレーム画像ｆ_ｔ ^３ａ，ｆ_ｔ ^３ｂ上の特徴点により、特徴点の位置を特定することができる。

実施形態では特に触れていないが、計算機５として機能するコンピュータが行う各処理を実行するためのプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭあるいはＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１パノラマ映像合成システム
２無人航空機
３ａ，３ｂカメラ
４無線受信装置
５計算機（画像処理装置）
６表示装置
２１フレーム画像取得部
２２状態情報取得部
５１フレーム画像受信部（第１の取得部）
５２状態情報受信部（第２の取得部）
５３特徴点抽出部
５４特徴点補正値算出部
５５特徴点固定指示部
５６特徴点補正部
５７変換パラメータ算出部
５８フレーム画像変換部
５９フレーム画像合成部
６１フレーム画像表示部

Claims

無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理方法であって、
第１の時刻において第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得する画像取得ステップと、
前記第１の時刻における、前記無人航空機の状態を示す第１の状態情報、前記第１のカメラの状態を示す第２の状態情報および前記第２のカメラの状態を示す第３の状態情報を取得する情報取得ステップと、
前記取得した第１のフレーム画像および第２のフレーム画像から、射影変換を行うための特徴点群を抽出する抽出ステップと、
前記第１の時刻における第１の状態情報、第２の状態情報および第３の状態情報と、前記第１の時刻よりも前の第２の時刻における第１の状態情報、第２の状態情報および第３の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する補正値算出ステップと、
所定のタイミングでは、前記抽出された特徴点群を前記第１の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第２の時刻における補正済み特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する補正ステップと、
前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出ステップと、
前記算出された変換パラメータに基づき、前記第１のフレーム画像および前記第２のフレーム画像の射影変換を行う変換ステップと、
前記射影変換後の第１のフレーム画像および第２のフレーム画像を合成する合成ステップと、を含む画像処理方法。
請求項１に記載の画像処理方法において、
ユーザからの入力を受け付けるステップをさらに含み、
前記補正ステップでは、前記入力を受け付けたタイミングでは、前記抽出された特徴点群を補正済み特徴点群として出力し、前記入力を受け付けたタイミング以外では、前記第２の時刻における特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する、画像処理方法。
請求項１に記載の画像処理方法において、
前記補正ステップでは、予め規定された定期的なタイミングでは、前記抽出された特徴点群を補正済み特徴点群として出力し、前記予め規定された定期的なタイミング以外では、前記第２の時刻における特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する、画像処理方法。
無人航空機に搭載された複数のカメラにより撮影されたフレーム画像を合成する画像処理装置であって、
第１の時刻において第１のカメラにより撮影された第１のフレーム画像および第２のカメラにより撮影された第２のフレーム画像を取得する第１の取得部と、
前記第１の時刻における、前記無人航空機の状態を示す第１の状態情報、前記第１のカメラの状態を示す第２の状態情報および前記第２のカメラの状態を示す第３の状態情報を取得する第２の取得部と、
前記第１の取得部が取得した第１のフレーム画像および第２のフレーム画像から、射影変換を行うための特徴点群を抽出する特徴点抽出部と、
前記第２の取得部が取得した、前記第１の時刻における第１の状態情報、第２の状態情報および第３の状態情報と、前記第１の時刻よりも前の第２の時刻における第１の状態情報、第２の状態情報および第３の状態情報とに基づき、前記特徴点群を補正するための補正値を算出する特徴点補正値算出部と、
所定のタイミングでは、前記抽出された特徴点群を前記第１の時刻における補正済み特徴点群として出力し、前記所定のタイミング以外では、前記第２の時刻における補正済み特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する特徴点補正部と、
前記補正済み特徴点群を用いて前記射影変換を行うための変換パラメータを算出する変換パラメータ算出部と、
前記変換パラメータ算出部により算出された変換パラメータに基づき、前記第１のフレーム画像および前記第２のフレーム画像の射影変換を行うフレーム画像変換部と、
前記射影変換後の第１のフレーム画像および第２のフレーム画像を合成するフレーム画像合成部と、を備える画像処理装置。
請求項４に記載の画像処理装置において、
ユーザからの入力を受け付ける特徴点固定指示部をさらに備え、
前記特徴点補正部は、前記特徴点固定指示部が入力を受け付けたタイミングでは、前記抽出された特徴点群を補正済み特徴点群として出力し、前記特徴点固定指示部が入力を受け付けたタイミング以外では、前記第２の時刻における特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する、画像処理装置。
請求項４に記載の画像処理装置において、
前記特徴点補正部は、予め規定された定期的なタイミングでは、前記特徴点抽出部により抽出された特徴点群を補正済み特徴点群として出力し、前記予め規定された定期的なタイミング以外では、前記第２の時刻における特徴点群を前記補正値により補正して、前記第１の時刻における補正済み特徴点群として出力する、画像処理装置。
コンピュータを、請求項４から６のいずれか一項に記載の画像処理装置として機能させるためのプログラム。