JP2017524932A

JP2017524932A - ビデオ支援着艦誘導システム及び方法

Info

Publication number: JP2017524932A
Application number: JP2017503011A
Authority: JP
Inventors: マエスタス，アーロン; アイ．カルロフ，ヴァレリ; ディー．ハルスマン，ジョン
Original assignee: Raytheon Co
Current assignee: Raytheon Co
Priority date: 2014-07-31
Filing date: 2015-05-13
Publication date: 2017-08-31
Also published as: US20160034607A1; WO2016022188A2; IL249094A0; CA2954355A1; WO2016022188A3; EP3175312A2

Abstract

航空機の着艦を支援するシステムと方法は、前記航空機の電気光学センサから着艦サイトの画像データの順次的なフレームを受け取り、前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定し、前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算し、前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供し、前記航空機の前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新し、更新するステップからの前記３次元モデルを用いて、前記航空機を前記着艦サイトに着艦させる。

Description

本発明は、概して、ビデオ支援着艦誘導システムに関し、特にかかるシステムのうち無人航空機で用いられるものに関する。

無人航空機すなわちドローンは、一般的に、パイロットが着艦（ｌａｎｄｉｎｇ）を含む操縦を実行できるようにするため、離れたところにいるそのパイロットに供給されるビデオストリームを用いる。着艦は特に難しいことがあるが、それはビデオストリームの伝送遅延と、その結果として着艦の最後の数秒に調整のための制御信号が必要となるからである。航空母艦その他のプラットフォームなどの制限された着艦エリアは、２次元画像ストリームに依存するのは限界である（ｓｔｒｅｔｃｈｔｈｅｌｉｍｉｔｓｏｆｒｅｌｙｉｎｇｏｎ）。悪天候や視界不良により困難性は指数関数的に増大する。付加的なデータ読み取りを提供することもできるが、伝送遅延問題は残る。自動システムを用いることもできるが、情報の収集及び処理における遅延が起こり、着艦に用いることができない。

したがって、無人航空機の着艦システムは、制御変更をより速くできるようにし、単なる２次元画像以上を用いることにより、改善できるだろう。

ここに説明する技術は、航空機の着艦に用いる、意図された着艦ロケーションのビデオセンサデータの収集及び処理と、その機能を行うシステムとに関する。

航空機の最終進入中に生成される着艦サイトのビデオ画像のストリームを使用して、着艦サイトの３次元の数学的モデルを生成する。３次元モデルは、遠隔パイロットにより用いられ、単純な２次元画像以上の、進入を通してクリアなライブ画像に依存しない３次元モデルを提供する。３次元モデルは自動着艦システムを誘導するのにも使える。３次元モデルのすべてのアプリケーションにより、限られた着艦エリアで、かつ低い視認性及び悪い気象条件における着艦の成功の可能性を高めることができる。

本発明の一実施形態は、航空機の着艦を支援する自動的方法を提供する。該方法は、前記航空機の電気光学センサから着艦サイトの画像データの順次的なフレームを受け取るステップと、前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定するステップと、前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算するステップと、前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供するステップと、前記航空機の前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新するステップと、更新するステップからの前記３次元モデルを用いて、前記航空機を前記着艦サイトに着艦させるステップとを含む。

用いるステップは、前記着艦サイトの３次元モデルの一部にある着艦エリアを識別するステップと、更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成するステップとを含んでもよい。着艦エリアを識別するステップは、前記着艦サイトについて事前に分かっている情報を用いてもよい。本方法はさらに、前記着艦サイトに対する前記電気光学センサの方位角及び仰角データを受け取るステップと、相対的位置及び距離データを計算するステップにおいて、及び航空機飛行の制御を可能にする信号を生成するステップにおいて、受け取った方位角及び仰角データを用いるステップをさらに含む。前記着艦エリアは、識別された画像フィーチャの間に識別されてもよい。信号を生成するステップは、前記航空機と前記着艦エリアとの間の距離及び高度の情報を提供してもよい。信号を生成するステップは、前記航空機と前記着艦エリアとの間の方向及び相対的速度の情報を提供することができる。

方法は、画像データの複数の順次的フレームから計算された相対的位置及び距離のデータを用いて、前記航空機が前記着艦エリアに到達する時間を決定するステップをさらに含んでもよい。方法は、複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定するステップをさらに含んでもよい。受け取られた画像データの順次的フレームは、画像取得の相対的時間を含んでもよい。前記航空機は地理位置情報を用いて、最初に前記着艦サイトを位置特定し、識別してもよい。前記航空機は、地理位置情報を用いて、前記航空機を最終進入路上に位置づけてもよい。

受け取るステップは、前記着艦サイトに対して異なる角度位置から着艦サイトの画像データの順次的フレームを受け取ってもよい。数学的３次元モデルを提供するステップは、計算された相対的位置及び距離のデータから、前記着艦サイトの数学的３次元モデルを構成するステップを含んでもよい。更新するステップは、前記着艦サイトへの接近全体において定期的に行われてもよい。方法は、３次元モデルデータは、フライト制御を改善するため、前記着艦サイトへの進入（ａｐｐｒｏａｃｈ）中に遠隔パイロットに伝送されるステップを含んでもよい。用いるステップは、自動操縦制御システムに信号を提供して、前記航空機の自動着艦を可能にしてもよい。

本発明の他の一実施形態は、航空機の着艦を支援するシステムを提供する。該システムは、電気光学センサと、前記電気光学センサから画像を受け取るように結合されたプロセッサと、メモリとを有し、前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、前記電気光学センサから着艦サイトの画像データの順次的なフレームを受け取り、前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定し、前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算し、前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供し、前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新し、前記着艦サイトの更新された３次元モデルに応じて、前記航空機の制御を可能にさせる、
前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトの３次元モデルの一部にある着艦エリアを識別し、更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成させる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトに対する前記電気光学センサの方位角及び仰角データを受け取り、相対的位置及び距離データを計算するステップにおいて、受け取った方位角及び仰角データを用いて、航空機飛行の制御を可能にする信号を生成させる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトの識別されたフィーチャ間の前記着艦エリアを識別させる。

前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定させる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、計算された相対的な位置及び距離データから前記着艦サイトの数学的３次元モデルを構成させる、前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、前記着艦サイトへの接近全体において、更新するステップを定期的に行わせる。前記メモリは命令を表すコードを含んでもよく、前記命令は実行されたとき前記プロセッサに、関連する方法の実施形態の任意の機能を実行させる。

本発明の他の態様及び利点は、単なる例として本発明の原理を例示する添付した図面を参照して、次の詳細な説明から明らかになる。

本発明の様々な実施形態の上記の特徴は、添付した図面を参照しつつ以下の詳細な説明を読めば、容易に理解されるだろう。
本発明の一実施形態による航空機の着艦を支援するシステムを示す模式図である。一実施形態による航空機の着艦を支援するシステムを示すブロック図である。一実施形態による、画像フレーム中のフィーチャを処理するモジュールを示すブロック図である。一実施形態による、画像フレーム中のフィーチャの位置を推定するモジュールを示すブロック図である。一実施形態による航空機を着艦させる方法を示すフローチャートである。一実施形態による航空機を着艦させるシステムで用いられる計算装置を示すブロック図である。本発明の一実施形態を用いる、初期着艦進入中の航空機から捉えた航空母艦を示すシミュレーション画像である。航空母艦への着艦直前に航空機から捉えた、図７Ａの航空母艦を示すシミュレーション画像である。航空機の３次元モデルを表すハイライトラインを示す、図７Ａと図７Ｂに示した航空母艦を示すシミュレーション画像である。

図１は、一実施形態による、画像センサ１０４の視野１２０において航空機１０６の着艦を支援するシステム１００を示す模式図である。システム１００は、画像センサ１０４に加え、航空機１０６のグローバル・ポジショニング・システム（ＧＰＳ）などのグローバルフレームにおける３次元位置を測定する慣性計測装置（ＩＭＵ）１０８を任意的に含み得る。このシステムは、計算装置１１２も含む。これは、画像センサ１０４の視野１２０中にある航空母艦などの着艦サイト１１６に航空機１０６が接近する時に、画像センサ１０４により捉えられるビデオデータを処理するプロセッサを含む。

図２は、図１の模式図に示した航空機の着艦を支援するシステム２００を示すブロック図である。画像処理モジュール２０４は、ビデオモジュール２１２、視線計測モジュール２１６、及び任意的にセンサ位置計測モジュール２０８からデータを受信する。画像処理モジュール２０４は、一以上のタイプのロケーションデータ（すなわち、着艦サイト位置データ２２０、画像センサ１０４の視野１２０内の着艦サイトへの視線位置データ２２４、及びセンサ位置データ２２８）を出力する。

画像処理モジュール２０４は、前処理モジュール２３２、フィーチャ処理モジュール２３６、及び推定モジュール２４０を含む。前処理モジュール２３２は、画像処理手法（例えば、画素処理、利得補正）を実行して、ビデオモジュール２１２から受信したビデオデータを調整（ｃｏｎｄｉｔｉｏｎ）する。ビデオデータは、画像センサ１０４により捉えられ、それから受信された一連のビデオ画像フレームである。幾つかの実施形態では、画像フレームは一定の（例えば、６０Ｈｚ、１２０Ｈｚ）キャプチャレートで捉えられる。各フレームは複数の画素（例えば、１０２４×１０２４、２０４８×２０４８、２０４８×１０２４）よりなる。各画素は、その画素ロケーションにおける画像フレームの強度に対応する強度値を有する。画像フレームは、グレースケールでも、カラーでも、又は画像センサが捉えられる電磁波スペクトル（例えば、赤外、近赤外、Ｘ線）を表すその他の表現でもよい。好ましい実施形態では、画像は赤外線電気光学センサで捉えられる。

ビデオデータの前処理により、システムの精度が改善し、例えば、画像センサ１０４により捉えられるスプリアス信号に対し、またはビデオデータ中のエラーに対し感度が下がる。前処理モジュール２３２は、例えば、ドット欠け（ｄｅａｄｐｉｘｅｌｓ）を排除し、又はビデオデータ中の画像フレームの信号レベル／強度利得を補正することができる。幾つかの実施形態では、ドット欠けは、異常値が素を検出して排除するアルゴリズムを用いて、排除できる。異常値画素（ｏｕｔｌｉｅｒｐｉｘｅｌｓ）は、例えば、画像フレームの計算された統計と比較して、又はオペレータにより経験的に選択された所定値と比較して、非常に大きい又は非常に小さい強度値を有する画素であり得る。幾つかの実施形態では、画像フレームの信号レベル／強度利得は、検出器における画素利得を校正することにより補正される。画素利得は、一様な背景画像フレーム上で焦点面を動かし、画素信号レベル／強度の平均値により画素利得を正規化することにより、校正できる。前処理モジュール２３２は、フィーチャ処理モジュール２３６に、処理済みビデオデータを提供する。

フィーチャ処理モジュール２３６は、ビデオデータを、そのビデオデータの画像フレーム中のフィーチャの座標値及び／又は速度値に変換する。フィーチャ処理モジュール２３６は、ビデオデータ、位置データ、及び速度データを推定モジュール２４０に提供する前に、ビデオデータを変換する一以上のモジュールを含む。図３は、幾つかの実施形態においてフィーチャ処理モジュール２３６により用いられるモジュール例を示すブロック図である。フィーチャ処理モジュール２３６は、フィーチャを選択するモジュール３０４、時間の関数としてフィーチャをトラッキング（ｔｒａｃｋ）するモジュール３０８、及びフィーチャトラックを滑らかにして測定誤差を低減するモジュール３１２を含む。

幾つかの実施形態では、フィーチャ処理モジュール２３６は、本技術分野の当業者に知られた一以上の手法に基づいて、画像フレーム中のフィーチャを自動的に選択する。幾つかの実施形態では、オペレータは、ビデオデータを与えられ、（例えば、オペレータは、マウスを用いて、トラックするフィーチャとして指定したい画像フレーム中のロケーションを選択することにより）フィーチャを特定する。後者の実施形態では、フィーチャ処理モジュール２３６はオペレータ入力を用いてフィーチャを選択する。

幾つかの実施形態では、フィーチャ処理モジュール２３６は、例えば、画像フレームのローカル部分の画素コントラストの最大変化、画像フレームに適用されるコーナー検出法、又は分散推定法に基づき、フィーチャを選択する（３０４）。コントラストの最大変動は、画像フレーム中の角、小さいオブジェクト、又は隣接画素もしくは画素グループ間に不連続性があるその他のフィーチャを特定するのに有用である。フィーチャ選択は高い精度で行えるが、必須ではない。航空機が着艦サイトに接近するにつれ、システムがフレームごとにフィーチャをトラッキングするので、画像の精細度が向上し、累積的に処理される。回転翼機またはヘリコプターなどの、直線着艦進入に依存しないものにおける、着艦サイトの視野角が変化するアプリケーションでは、現実的に同じシーン条件では視野角の変化は小さく、それゆえシステム性能はかかる変化に対して概してロバスト（ｒｏｂｕｓｔ）である。幾つかの実施形態では、幾つかのフィーチャは、画像フレームの各々には現れない、又は識別されないかも知れない。幾つかのフィーチャは一時的に不明瞭になるかもしれず、画像フレームに関連する視野から出るかも知れない。説明する方法は、システムの視野に戻ったフィーチャのトラッキングを開始する。

フィーチャは幾つかの画素よりなるジオメトリックな構成であると規定される。幾つかの実施形態では、フィーチャ（ｆｅａｔｕｒｅ）は、半径（Ｒ）の円の中心（例えば、１乃至１０画素又は１乃至２５画素の間の幾つかの画素）として規定される。フィーチャの中心は射影変換の不変量（ｉｎｖａｒｉａｎｔｔｏｐｒｏｊｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎ）として扱われる。半径は適応的であり、（フィーチャ位置の推定のために重要である）点への局在性（ｌｏｃａｌｉｚａｔｉｏｎ−ｔｏ−ｐｏｉｎｔ）と、（画像におけるフィーチャのレジストレーションのために重要である）面への広がり（ｅｘｐａｎｓｉｏｎ−ｔｏ−ａｒｅａ）との間のトレードオフとして選択される。フィーチャの半径は、通常、小型の傾いた又は斜めのフィーチャに対しては比較的小さく選択される。フィーチャは３次元マッピング効果により動き、静止した背景と分けると有利であることが多いからである。各フィーチャの画素はガウシアンにより加重され、そのフィーチャがその境界へ滑らかに減衰するようになっている。特定されるフィーチャは、各フレームの２次元又は局所座標系に記録されるロケーションを有する。

アプリケーションとロケーションとに応じて、任意の好適なフィーチャを用いても良い。フィーチャは、自然のものでも、人工のものでも、意図的なものでもよく、例えば、着艦灯や赤外線環境での熱源であってもよい。

フィーチャが選択された後、フィーチャ処理モジュール２３６は、フィーチャトラッキングモジュール３０８を用いて、そのフィーチャをトラッキングする。幾つかの実施形態では、フィーチャ処理モジュール２３６は、画像レジストレーション手法を実装して、そのフィーチャをトラッキングする。幾つかの実施形態では、レジストレーションの２つのプロセスが実装される：１）フレームごとにフィーチャの動きの大きさと任意的に速さとを測定する（仮想的なジャイロ測定を行う）順次的レジストレーションと、２）フレームごとにフィーチャの位置を測定する（仮想ジンバル）絶対レジストレーションとである。

幾つかの実施形態では、フィーチャ処理モジュール２３６は、アフィン補償ステップを実行して、フィーチャの３次元的奥行きにおける変化を考慮する（ａｃｃｏｕｎｔｆｏｒ）。アフィン補償ステップは、直線と、直線上にある点間の距離の間の比率とを保存する数学的変換である。アフィン補償ステップは、フレーム間で生じるかも知れない視野角の変化により行われる補正である。このステップは、例えば、フレーム間で生じるかも知れない並進、回転、せん断（ｓｈｅａｒｉｎｇ）を補正する。アフィン変換は、３次元の奥行きによる同じフィーチャの外観変化が顕著になり、焦点面のＸ−Ｙ座標におけるフィーチャのレジストレーションをより良くするために補正する必要があるとき、指定されたすべてのフレームで（例えば、３０フレームごとに）行われる。

レジストレーションアルゴリズムの一実施形態は、フィーチャの画素の、他のフレーム中のローカル画素との相関に基づき、そのフレームにローカルのＸ−Ｙ座標系における最もマッチするシフトを見つける。この方法は、一フレーム中のフィーチャ画素の強度の、他のフレーム中のフィーチャの画素の強度との差分を最小化することを試みるステップを含む。この方法は、最小二乗法の意味で好ましいシフト（例えば、最小シフト）を特定するステップを含む。幾つかの実施形態では、フィーチャのローカルエリアが双三次補間により再サンプリングされ（ｘ３−５）、最良マッチを見つけるために、より細かいグリッドが用いられる。この段階では、再サンプリングされた画像間の最小二乗（ＬＳ）ノルムを、互いにシフトすることにより最小化する単純グリッドサーチアルゴリズムが用いられる。幾つかの実施形態では、大域的最小化（画像レジストレーションのためＸ−Ｙにおける最良のシフト）の精度をさらに改善するために、グリッドベースの最小値の周りでＬＳノルム面の放物線ローカルフィットを実行する。これにより、画素の約１／１０以上の精度が得られる。フィーチャトラッキング及びレジストレーションにより、静止したフィーチャだけでなく、例えば、車、列車、又は飛行機などの標的上に確定された動くフィーチャもトラッキングできる。

フィーチャ処理モジュール２３６は、フィーチャトラック情報を推定モジュール２４０に提供する前に、平滑化モジュール３１２で、フィーチャトラックを滑らかにする。様々な平滑化アルゴリズムやフィルタを利用して、データ平滑化を実行し、システムの効率を改善し、データ中の異常値への敏感性を低減することができる。幾つかの実施形態では、フィーチャの軌跡の平滑化が、指定された時間ウィンドウにおける（例えば、所定時間にわたるフィーチャの位置の値）一連の値に局所多項式回帰を行うＳａｖｉｔｚｋｙ‐Ｇｏｌａｙフィルタにより行われる。

このシステムは、視線計測モジュール２１６を含む。これは推定モジュールに設けることもできる。視線計測モジュール２１６は、方位角と仰角の測定値を推定モジュール２４０に提供する。任意的センサ位置計測モジュール２０８は、ＩＭＵ１０８により計測される航空機１０６の大域的フレームの３次元位置（Ｘ、Ｙ、Ｚ）を出力する。位置は推定モジュール２４０に提供される。推定モジュール２４０は、画像フレーム中のフィーチャトラック（ローカル位置、動き、及び速度データ）と、センサ位置計測モジュール２０８の出力とを受け取る。任意的センサ位置計測モジュール２０８と視線計測モジュール２１６は、両方とも、計測値を推定モジュール２４０に提供する。この計測値は、共に図４に示したモジュール４０４（３次元におけるフィーチャの初期化）及びモジュール４１６（再帰的カルマンタイプフィルタ）により処理される。

図４は、幾つかの実施形態において推定モジュール２４０により用いられるモジュール例を示すブロック図である。推定モジュール２４０は、一以上のタイプのロケーションデータ（着艦サイト位置２２０、モジュール２１６からの視線データ２２４、及びセンサ位置２２８）を推定する一以上のモジュールを含む。この実施形態では、推定モジュール２４０は、初期化モジュール４０４、モデル生成モジュール４０８、パーシャルズ計算モジュール（ｐａｒｔｉａｌｓｃａｌｃｕｌａｔｉｏｎｍｏｄｕｌｅ）４１２、及び再帰モジュール４１６を含む。モジュール４１２は、式１２−１４の行列Ｈを出力する。

フィーチャの３次元位置の推定と、センサ位置及び視線（ＬＯＳ）の推定とは、非線形推定問題を解くことにより行われる。推定モジュール２４０は、画像フレーム中のフィーチャトラック（位置、動き、及び速度データ）と、センサ位置計測モジュール２０８の出力とを用いる。非線形推定問題を解く最初のステップは、３次元におけるフィーチャの位置（緯度、経度、高度）の初期化である。初期化モジュール４０４は、２つ（以上）のフレームにおけるフィーチャの対応関係を見いだし、最小二乗適合を用いて視線と交差することにより、これを行う。フィーチャ位置を初期化すると、この初期推定（基準値）の近傍では計測式を線形近似できる。それにより、ＧＰＳ／ＩＮＳからのセンサ位置及びＬＯＳの計測値を、線形近似プロセスにおける基準値としても用いる。

推定モジュール２４０は、入来データをリアルタイムで処理する動的推定プロセスを実装する。これは、再帰的カルマンタイプフィルタの形式で（線形近似後に）定式化される。フィルタは再帰モジュール４１６により実装される。モデル生成モジュール４０８は、式１による線形近似動的モデルの初期条件を設定する：

ここで、ｔは現在の画像フレームの時間であり、Δｔは画像フレーム間の時間ステップ（間隔）である。線形近似計測モデルは式２により生成される：

拡張状態ベクトルΔＸ_Σは次のブロックを含む（すべての値は、その基準値からの実際値の偏差として表される）：

ここで、Δｐはｎ個のフィーチャ（ｆｅａｔｕｒｅｓ）に関連するすべてのパラメータを含むブロックであり、Δｓは６個のセンサパラメータ（３個のパラメータは絶対座標系におけるセンサ位置のものであり、３個のパラメータはＬＯＳのものであり、方位角、仰角、回転）を含むブロックである。ブロックΔｐのサブブロックは、静止フィーチャ（Δｐ_ｉ ^ｓｔａｔ）または移動フィーチャ（Δｐ_ｉ ^ｍｏｖ）に対応し得る。それに応じて、第１の場合には、サブブロックは３次元におけるフィーチャの位置（ｘ，ｙ，ｚ）を３つ含み、第２の場合には、サブブロックは３つのｘ−ｙ−ｚパラメータ及び移動フィーチャの速度を３つ含む。

行列Φ（ｔ，Δｔ）は、フィーチャ、センサ位置、及びＬＯＳの対角ブロックを含む遷移行列である。それに応じて、静止フィーチャのブロックは大きさが［３×３］のユニタリー行列であり、移動ターゲットのブロックは、線形運動の場合、大きさが［６×６］の遷移行列であり、センサのパラメータのブロックは１次マルコフ過程に対応するスカラーである。行列Ｆ（ｔ）は、システムの擾乱（ｄｉｓｔｕｒｂａｎｃｅ）ξ（ｔ）を状態ベクトルδＸ_Σの空間にマッピングする射影行列である。擾乱のベクトルξ（ｔ）は、移動ターゲットの式とセンサのパラメータ（位置及びＬＯＳ）に、１次マルコフ成形フィルタのガウス白色ノイズを含む。ベクトルξ（ｔ）は平均がゼロであり、共分散行列Ｄ_ξを有する。

各フレームの計測ベクトルΔＹ_Σは次のブロックを含む：

ここで、ブロックΔｑ_ｉは、（ｎ個中の）ｉ番目のフィーチャに対応し、２つのサブブロックを含む：１）Δｑ_ｉ ^ＶＧは仮想ジャイロ（ＶＧ）計測（フィーチャ位置）の２つの成分を含み、２）Δｑ_ｉ ^ＶＧＲは仮想ジンバルレゾルバ（ｖｉｒｔｕａｌｇｉｍｂａｌｒｅｓｏｌｖｅｒ、ＶＧＲ）計測（フィーチャ速度）の２つの成分を含む。両方（ＶＧとＶＧＲ）の場合に、２つの計測成分はフィーチャの焦点面におけるｘ位置とｙ位置である。

線形近似モデルにおいて、行列Ｈ（ｔ）は、計測値が状態ベクトル成分にどう依存するかを定式化する感度行列（ｓｅｎｓｉｔｉｖｉｔｙｍａｔｒｉｘ）である。ベクトルη（ｔ）は計測ノイズベクトルであり、平均がゼロであり共分散行列がＤ_ηであるガウスノイズであると仮定される。仮想ジャイロ及び仮想ジンバルレゾルバの計測ノイズは、フィーチャのレジストレーション誤差の結果である。ある実験では、一組のデータのレジストレーション誤差は、ガウシアンではなく、時間的に相関していた。幾つかの実施形態では、フィルタリングアルゴリズムの定式化を簡単化するため、システム性能をロバスト（ｒｏｂｕｓｔ）にするのに分散が十分大きいガウシアンの非相関ノイズを仮定するステップを含む。

動的モデルと計測モデルが生成された後、推定モジュール２４０は、次式により、標準的拡張カルマンフィルタ（ＥＫＦ）を構成し、状態ベクトルとそれに関連する共分散行列の推定を伝搬する。

ＥＫＦの処理ステップにおいて、事後的統計、すなわちΔＸ_Σ ^＊−状態ベクトルΔＸ_Σの事後推定と、Ｐ^＊（ｔ）−それに関連する事後共分散行列とが生成される。それに応じて、ＥＫＦの予測ステップにおいて、事前統計、すなわち

[外１]

−状態ベクトルΔＸ_Σの事前推定と、

[外２]

−それに関連する事前共分散行列とが生成される。
ＥＫＦフィルタリングアルゴリズムは、フレームごとに処理される可変な一組のフィーチャを管理する。特に、それにより、拡張された状態ベクトルΔＸ_Σに、センサの視野に入ってくる新しいフィーチャを加え、もはや視野に入っていない古いフィーチャを除外する。もはや視野に入っていないフィーチャは、一定時間の間、フィルタに保持される。視野内のフィーチャの推定に貢献し続けるからである。この時間は、フィーチャを説明するため、共分散行列の対角線上の要素における低下レベルにより決定される。フィーチャのロケーションの精度とメモリスピード要件との間のトレードオフである。フィルタリングアルゴリズムは、フィーチャが多数ある場合、例えば１００−１０００ある場合に、大きな共分散行列（事後行列Ｐ^＊（ｔ）と事前行列[外３]

）を管理する。本方法は、関連効果が最大の共分散行列に相関を保持する。相関は、（各計測値と状態ベクトル間の）共分散ベクトルと、このベクトルの転置との積、すなわちＰ＝ＶＶ^Ｔである、この行列を生成するプロセスで特定される。このアルゴリズムは、共分散ベクトルの第１の相関を計算し、ペアごとの乗法に相関閾値を用いて共分散行列中の基本的相関を特定することに基づく。共分散行列中の要素の選択は、ＥＫＦによる計算時間とメモリ使用量を大幅に低減する役に立つ。

図５は、画像センサの視野内でフィーチャを位置特定する方法５００を示すフローチャートである。本方法は、画像センサの視野から画像フレーム５０４を最初に取得するステップを含む。取得された画像フレームは、例えばプロセッサにより受け取られ（ステップ５０８）、さらに処理される。本方法は、画像フレーム５１２中の一以上のフィーチャを特定するステップを含む。フィーチャは、（例えば、図２及び図３を参照して上で説明したように）様々な好適な方法のどれかを用いて特定される。本方法は、画像センサの３次元位置計測値５１６を最初に取得するステップも含む。３次元位置計測値は、絶対座標系（例えば、グローバルＸ，Ｙ，Ｚ座標）において取得される。取得された画像フレームと取得された位置計測値は、プロセッサにより受け取られ（ステップ５２０）、さらに処理される。各ステップ５０４、５０８、５１２、５１６及び５２０は、少なくとももう１回繰り返され、２回目に、第２の画像フレームと第２の３次元位置計測値とが取得される。

本方法は、少なくとも２つの画像フレームが取得された後、例えば、図３のフィーチャ選択モジュール３０４とトラッキングモジュール３０８とを用いて、画像フレーム５２８におけるフィーチャの位置と速度を決定するステップを含む。本方法は、画像フレーム中のフィーチャの位置及び速度と、ステップ５１６で取得した画像センサの３次元位置計測値とに基づいて、画像フレーム５３２中のフィーチャの３次元位置を決定するステップも含む。幾つかの実施形態では、フィーチャの位置と速度の値は平滑化され（ステップ５５２）、ステップ５３２を実行する前に測定誤差を低減する。

幾つかの実施形態では、本方法は、画像フレームにおけるフィーチャの３次元位置を決定するのに、画像センサ５４４に対して得られた方位角と仰角の計測値を用いるステップを含む。改善された方位角及び仰角の計測値は、フィーチャの３次元位置に基づいて、画像センサについて、生成され得る（ステップ５４８）。これは上記のアルゴリズムにより実現できる。状態ベクトルが、フィーチャの３次元座標とセンサ特性（センサの位置及び視線の方位角・仰角）とを両方とも含むからである。それに応じて、フィーチャ位置の正確な知識は、センサ位置と視線の正確な知識に直接移転される。

幾つかの実施形態では、本発明は、画像フレーム中のフィーチャの３次元位置に基づいて、一以上の画像フレームにわたり３次元グリッド５３６を生成するステップを含む。幾つかの実施形態では、３次元グリッドは、画像フレームの視野を張る直交線の交点としてフィーチャを用いることにより構成される。幾つかの実施形態では、これは、フィーチャ位置のドローネー三角分割法（Ｄｅｌａｕｎａｙｔｒｉａｎｇｕｌａｔｉｏｎ）により、次いで規則的な緯度・経度・高度グリッドによる三角化された面の補間により行われる。幾つかの実施形態では、本方法は、画像フレーム中のフィーチャのラジオメトリック（ｒａｄｉｏｍｅｔｒｉｃ）データを受け取るステップも含む。ラジオメトリックデータ（例えば、フィーチャの色、フィーチャの光学特性）は、画像フレームが取得される時に、取得できる。

図７Ａと図７Ｂは、着艦のために航空母艦に接近しつつある航空機から見た、航空母艦７００を示すシミュレーション画像である。図７Ａは、初期着艦進入において２５００メートル離れて３００メートルの高さから見た航空母艦７００を示す。航空母艦７００は、画像強度において明確な変化を提供するコーナー７０２、７０３、７０４などの複数のフィーチャを示している。様々なその他のフィーチャ、例えば線や構造が、視認性及び照明条件に応じて特定可能であってもよい。航空母艦７００上の照明されたマーカーを特定可能なフィーチャとして用いてもよい。図７Ｂは、３００メートル離れた５０メートルの高さから見た航空母艦７００の画像である。コーナー７０２、７０３、７０４などの画像フィーチャがより良く確定される。図７Ｂは、ライン７０２ａ、７０３ａ、７０４ａによりそれぞれ、最初の相対的画像グルーピング７００ａから図７Ｂの位置までの、コーナーの動きも示す。ライン７０２ａ、７０３ａ、７０４ａは、航空母艦７００への進入中の、ローカル画像スケールにわたるコーナー７０２、７０３、７０４の動きを表す。着艦中の画像に渡る特定可能なフィーチャの動きにより、システムは、航空母艦７００の３次元モデルを構成して、特定可能なフィーチャ間に位置する好適な着艦エリア７１０を特定できる。

図８は、航空母艦７００を示す他のシミュレーション画像であり、航空母艦の３次元ファセットモデル（ｆａｃｅｔｍｏｄｅｌ）のハイライトラインがスーパーインポーズされている。着艦エリア７１０は、画像中、航空母艦のフィーチャと、構造物が無いオープンエリアとの間にあるものと自動的に特定可能であり、固定翼航空機が着艦できる。回転翼航空機は、フィーチャ間にオープンエリアをもっと容易に特定でき、着艦エリアを選択できるだろう。

図６は、画像センサの視野中のフィーチャを位置特定（ｌｏｃａｔｅ）するシステム（例えば、図１のシステム１００）で用いる計算デバイス６００を示すブロック図である。計算デバイス６００は、一以上の入力デバイス６１６と、一以上の出力デバイス６２４と、一以上の表示デバイス６２０と、一以上のプロセッサ６２８と、メモリ６３２と、通信モジュール６１２とを含む。ここに説明のモジュールとデバイスは、例えば、プロセッサ６２８を利用して、コンピュータ実行可能命令を実行でき、及び／又は、ここに説明のモジュールとデバイスは、例えば、自分自身のプロセッサを含み、コンピュータ実行可能命令を実行できる。言うまでもなく、計算デバイス６００は、例えば、本技術分野で知られたその他のモジュール、デバイス、及び／又はプロセッサ、及び／又は説明のモジュール、デバイス、及び／又はプロセッサのバラエティを含み得る。

通信モジュール６１２は、計算デバイスに画像センサ６０４との間で信号をやりとりできるようにするコンピュータ命令に対応する回路やコードと、慣性計測ユニット６０８（例えば、図１の慣性計測ユニット１０８）を含む。例えば、通信モジュール６１２は、画像センサの視野からビデオデータを取得するプロセッサ６２８からのコマンドを、画像センサに提供する。また、通信モジュール６１２は、例えば、慣性計測ユニット６０８から位置データを受け取る。この位置データは、メモリ６３２で記憶し、又はプロセッサ６２８で処理することができる。

入力デバイス６１６は、ユーザ（図示せず）及び／又はその他の計算システム（図示せず）から情報を受け取る。入力デバイス６１６は、例えば、キーボード、スキャナ、マイクロホン、スタイラス、タッチパッド、又はディスプレイを含み得る。出力デバイス６２４は、計算デバイス６００に関連する情報（例えば、プリンタへの情報、スピーカへの情報、ディスプレイへの情報、例えば情報のグラフィカル表示）を出力する。プロセッサ６２８は、計算デバイス６００のオペレーティングシステム及び／又はその他の任意のコンピュータ実行可能命令を実行する（例えば、アプリケーションを実行する）。システム６３２は、多様な情報／データを記憶し、それには分光分析システムがシステムに入来する光を、画像化のためにどう処理すべきか指定する、計算デバイス６００により用いられるプロファイルを含む。メモリ６３２は、例えば、ハードディスクドライブ、テープストレージデバイス、又はフラッシュメモリなどの長期ストレージ；ランダムアクセスメモリ、グラフィックスメモリなどの短期ストレージ；及び／又はその他のタイプのコンピュータ読み取り可能ストレージを含み得る。

上記のシステムと方法は、デジタル電子回路、コンピュータハードウェア、ファームウェア、及び／又はソフトウェアで実装できる。実装は、非一時的メモリデバイスに有体に具体化されたコンピュータプログラム製品として行える。実装は、例えば、データ処理装置により実行される、またはその動作を制御する機械読み取り可能記憶デバイス、及び／又は伝搬信号で行うこともできる。実装は、例えば、プログラマブルプロセッサ、コンピュータ、及び／又は複数のコンピュータであってもよい。

コンピュータプログラムは、コンパイラ及び／又はインタプリタ言語を含む、どんな形式のプログラミング言語で記述することもできる。コンピュータプログラムは、スタンドアロンプログラムまたはサブルーチン、エレメント、及び／又は計算環境で用いるその他のユニットを含む、どんな形式で展開することもできる。コンピュータプログラムは１つのコンピュータ上で実行しても、一箇所にある複数のコンピュータ上で実行するように展開することもできる。

方法ステップは、一以上のプログラム可能プロセッサ、又は一以上のプロセッサを含む一以上のサーバであって、コンピュータプログラムを実行して、入力データに演算を施して出力を生成することにより、本開示の機能を実行するにより実行できる。方法ステップは特定用途論理回路により実行することができ、装置は特定用途論理回路として実装することもできる。回路は、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）及び／又はＡＳＩＣ（特定用途集積回路）であってもよい。モジュール、サブルーチン、及びソフトウェアエージェントは、その機能を実装するコンピュータプログラム、プロセッサ、特殊回路、ソフトウェア、及び／又はハードウェアの一部を指すこともある。

コンピュータプログラムの実行に適したプロセッサは、例えば、特定目的及び汎用のマイクロプロセッサと、任意種類のデジタルコンピュータの任意一以上のプロセッサとを両方とも含む。一般的に、プロセッサは読み取り専用メモリまたはランダムアクセスメモリから命令またはデータまたはその両方を受け取る。コンピュータの必須要素は、命令を実行するプロセッサと、命令及びデータを記憶する一以上のメモリデバイスである。一般的に、コンピュータは、データを記憶する一以上のマスストレージデバイスに動作可能に結合し、それとの間でデータをやり取りできる。磁気ディスク、光磁気ディスク、光ディスクはそうした記憶デバイスの例である。

データ伝送と命令は通信ネットワークを介して行い得る。コンピュータプログラム命令およびデータを利用するのに適した情報キャリアは、例えば、半導体メモリデバイスを含む、すべての形式の不揮発性メモリを含む。情報キャリアは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク、内部ハードディスク、リムーバブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、及び／又はＤＶＤ−ＲＯＭディスクであり得る。プロセッサとメモリは特定用途論理回路により補足され、及び／又はそれに組み込まれてもよい。

「ｃｏｍｐｒｉｓｅ」、「ｉｎｃｌｕｄｅ」、及び／又はこれらの複数形は、オープンエンドであり、列挙したものを含み、列挙していないものも含み得る。「及び／又は」は、オープンエンドであり、列挙したもののうち一以上、及び列挙したものの組み合わせを含む。

当業者には言うまでもなく、本発明は、その精神や基本的特性から逸脱することなく、その他の具体的な形式で実施できる。上記の実施形態は、すべての点で例示でありここに説明した発明を限定するものではないと考えなければならない。本発明の範囲は、上記の説明ではなく、添付した請求項に記載されており、請求項の意味と均等物の範囲内での変更はすべてその請求項に含まれる。

Claims

航空機の着艦を支援する自動的方法であって、
前記航空機の電気光学センサから着艦サイトの画像データの順次的フレームを受け取るステップと、
前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを識別するステップと、
前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算するステップと、
前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供するステップと、
前記航空機の前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新するステップと、
更新するステップからの前記３次元モデルを用いて、前記航空機を前記着艦サイトに着艦させるステップとを含む、
方法。
前記用いるステップは、
前記着艦サイトの３次元モデルの一部にある着艦エリアを識別するステップと、
更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成するステップとを含む、
請求項１に記載の方法。
着艦エリアを識別するステップは、前記着艦サイトについて事前に分かっている情報を用いる、請求項２に記載の方法。
前記着艦サイトに関する電気光学センサの方位角と仰角を受け取るステップと、相対的な位置と距離のデータを計算するステップ、及び航空機フライトの制御を可能にする信号を生成するステップにおいて、受け取った方位角と仰角データを用いるステップとをさらに含む、
請求項２に記載の方法。
前記着艦エリアは、識別された画像フィーチャの間に識別される、
請求項２に記載の方法。
信号を生成するステップは、前記航空機と前記着艦エリアとの間の距離及び高度の情報を提供する、
請求項２に記載の方法。
信号を生成するステップは、前記航空機と前記着艦エリアとの間の方向及び相対的速度の情報を提供する、請求項６に記載の方法。
画像データの複数の順次的フレームから計算された相対的位置及び距離のデータを用いて、前記航空機が前記着艦エリアに到達する時間を決定するステップをさらに含む、請求項１に記載の方法。
複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定するステップをさらに含む、請求項１に記載の方法。
受け取られた画像データの順次的フレームは、画像取得の相対的時間を含む、
請求項１に記載の方法。
前記航空機は地理位置情報を用いて、最初に前記着艦サイトを位置特定し、識別する、請求項１に記載の方法。
前記航空機は、地理位置情報を用いて、前記航空機を最終進入路上に位置づける、
請求項１１に記載の方法。
受け取るステップは、前記着艦サイトに対して異なる角度位置から着艦サイトの画像データの順次的フレームを受け取る、
請求項１に記載の方法。
数学的３次元モデルを提供するステップは、計算された相対的位置及び距離のデータから、前記着艦サイトの数学的３次元モデルを構成するステップを含む、請求項１に記載の方法。
更新するステップは、前記着艦サイトへの接近全体において定期的に行われる、
請求項１に記載の方法。
３次元モデルデータは、フライト制御を改善するため、前記着艦サイトへの進入中に遠隔パイロットに伝送される、請求項１に記載の方法。
用いるステップは、自動操縦制御システムに信号を提供して、前記航空機の自動着艦を可能にする、請求項１に記載の方法。
航空機の着艦を支援するシステムであって、
電気光学センサと、
前記電気光学センサから画像を受け取るように結合されたプロセッサと、
メモリとを有し、前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記電気光学センサから着艦サイトの画像データの順次的なフレームを受け取り、
前記画像データの複数の順次的フレーム中の前記着艦サイトの複数のフィーチャを特定し、
前記フレーム中のローカル座標系を用いて、画像データの複数の順次的フレーム中の識別されたフィーチャ間の相対的な位置と距離とを計算し、
前記複数の順次的フレームから計算された相対的な位置と距離のデータに応じて、前記着艦サイトの数学的３次元モデルを提供し、
前記着艦サイトへの接近中に、収集、識別、及び計算するステップを繰り返すことにより、前記３次元モデルを更新し、
前記着艦サイトの更新された３次元モデルに応じて、前記航空機の制御を可能にさせる、
システム。
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトの３次元モデルの一部にある着艦エリアを識別し、
更新された３次元モデルと識別された着艦エリアとに応じて、航空機の飛行の制御を可能とする信号であって、前記航空機が識別された着艦エリアに着艦できるようにする信号を生成させる、
請求項１８に記載のシステム。
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトに対する前記電気光学センサの方位角及び仰角データを受け取り、
相対的位置及び距離データを計算するステップにおいて、受け取った方位角及び仰角データを用いて、航空機飛行の制御を可能にする信号を生成させる、
請求項１９に記載のシステム。
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトの識別されたフィーチャ間の前記着艦エリアを識別させる、
請求項１９に記載のシステム。
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
複数の順次的画像フレーム間の識別されたフィーチャの相対的な２次元の位置的動きを計測して、前記着艦サイトの振動性の相対的な動きを決定させる、
請求項１８に記載のシステム。
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
計算された相対的な位置及び距離データから前記着艦サイトの数学的３次元モデルを構成させる、
請求項１８に記載のシステム。
前記メモリは命令を表すコードを含み、前記命令は実行されたとき前記プロセッサに、
前記着艦サイトへの接近全体において更新するステップを定期的に行わせる、
請求項１８に記載のシステム。