JP4446041B2 - カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置 - Google Patents

Description

本発明は、動画映像をビデオ撮影するカメラのカメラ位置とカメラ方向を算出して、そのカメラ位置情報に基づいて画像のブレを補正する装置に関する。
特に、本発明は、動画映像の複数のフレーム画像から高精度なカメラ位置、カメラ回転角等のカメラベクトルを演算により自動的に求めるカメラベクトル演算装置と、求められたカメラベクトルに基づいて、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成することができる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置に関する。

一般に、動画映像をビデオ撮影するカメラでは、例えば、車載カメラの振動による揺れや、撮影者の手振れ等、カメラの揺れによる画像のブレを補正するための補正機構，補正手段が備えられている（例えば、特許文献１−２参照。）。
従来の画像補正は、画像のブレ成分を、画像内の複数の特徴点から抽出し、揺れ成分が少なくなるように画像を垂直方向と水平方向に移動することで、画像の変化が円滑になるように画像を処理することで実現されていた。
特開平１０−０２３３２２号公報（第３−７頁、第１図） 特開平１０−１３６３０４号公報（第２−３頁、第１図）

しかしながら、従来の画像の補正処理では、画像の垂直方向と水平方向のブレについては、ある程度ブレを押さえることができるが、カメラ視点方向の不規則な回転運動に起因するブレと画像歪みを補正することはできなかった。
つまり、従来の動画映像の補正技術では、カメラの揺れによる画像の上下左右の移動分については補正できるが、カメラの３軸方向の回転成分に起因する揺れの歪みは補正することができなかった。

そこで、本願発明者は、鋭意研究の結果、動画映像の複数のフレーム画像から充分な数の特徴点を抽出することにより、高精度なカメラ位置と回転角等を算出することができ、この高精度なカメラ位置情報に基づいて画像補正を行うことにより、従来技術では不可能であったカメラの３軸方向の回転成分による歪みについても補正し得ることに想到した。

すなわち、本発明は、上述した従来技術が有する問題を解決するために提案されたものであり、動画における複数のフレーム画像から特徴点を自動抽出することにより、高精度なカメラ位置、カメラ回転角等のカメラベクトルを自動的に算出することができるカメラベクトル演算装置と、求められた高精度なカメラベクトルに基づいて、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因するブレを補正し、ブレのない画像を生成することができる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置の提供を目的とする。

上記目的を達成するため、本発明のカメラベクトル演算装置は、請求項１に記載するように、動画映像の画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、抽出された特徴点について、動画映像の各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、対応関係が求められた特徴点の三次元位置座標を求め、当該三次元位置座標から、各フレーム画像に対応したカメラの三次元位置座標及び三次元回転座標からなるカメラベクトルを求めるカメラベクトル演算部と、を備える構成としてある。

また、本発明のカメラベクトル演算装置は、請求項２に記載するように、前記カメラベクトル演算部において求められる複数のカメラベクトルの解の分布を最小になるように統計処理し、誤差の最小化処理を施したカメラベクトルを自動的に決定する誤差最小化部を備えた構成としてある。

また、本発明のカメラベクトル演算装置は、請求項３に記載するように、前記カメラベクトル演算部は、カメラベクトル演算に用いる任意の二つのフレーム画像Fｎ及びFｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元位置座標とカメラベクトルを求める単位演算を繰り返し、前記二つのフレーム画像Fｎ及びFｎ＋ｍの間のフレーム画像については、簡素化した演算によりカメラベクトルを求め、前記誤差最小化部は、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定する構成としてある。

また、本発明のカメラベクトル演算装置は、請求項４に記載するように、前記カメラベクトル演算部は、前記フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う構成としてある。

また、本発明のカメラベクトル演算装置は、請求項５に記載するように、前記カメラベクトル演算部は、求められたカメラベクトルの誤差の分布が大きい特徴点を削除し、必要が有れば、他の特徴点に基づいてカメラベクトルの再演算を行い、カメラベクトル演算の精度を上げる構成としてある。

また、本発明のカメラベクトル演算装置は、請求項６に記載するように、前記カメラベクトル演算部は、所望の精度となる最低数のフレーム画像と、自動抽出した最低数の特徴点に基づいて演算を行い、カメラベクトルの概略値をリアルタイムで求めて表示し、画像の進行により画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させて、より精度の高いカメラベクトル演算を行い、カメラベクトルの概略値を精度の高いカメラベクトル値に置き換えて表示する構成としてある。

また、本発明のカメラベクトル演算装置は、請求項７に記載するように、特徴点抽出部で特徴点が自動抽出される動画映像が、３６０度全周画像からなる構成としてある。

また、本発明のカメラベクトル演算装置は、請求項８に記載するように、前記特徴点抽出部で特徴点が自動抽出される動画映像として、位置関係が固定され同期して映像を取得する複数のカメラにより取得される視野の広い広角視野映像及び当該広角視野映像より視野の狭い狭角視野映像を入力し、広角視野映像の画像データに基づいてカメラベクトルを演算するとともに、当該広角視野映像に基づくカメラベクトル値を、狭角視野映像の画像データに基づくカメラベクトル演算時に代入演算することにより、高精度のカメラベクトルを求める構成としてある。

また、本発明のカメラベクトル演算装置は、請求項９に記載するように、前記カメラベクトル演算部で得られたカメラベクトルを概略のカメラベクトルとして、順次画像の一部分として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を、隣接するフレーム間で連続的に追跡する三次元情報追跡部と、三次元情報追跡部で得られた三次元情報の追跡結果に基づいて、前記概略のカメラベクトルより高精度のカメラベクトルを求める高精度カメラベクトル演算部と、を備える構成としてある。

また、本発明のカメラベクトル演算装置は、請求項１０に記載するように、前記カメラベクトル演算部で得られるカメラベクトルと、予め予定されたカメラ位置とカメラ姿勢を示す予定カメラベクトルとのズレ成分を抽出し、予定カメラベクトルと現時点又は任意の時点で得られるカメラベクトルとの差から所定の位置ズレ成分信号及び回転ズレ成分信号を生成し、当該ズレ成分信号の一部又は全部を目的に沿った適切な座標系に変換し、カメラ又はカメラが固定された固定物の揺れとして出力する揺れ成分検出装置を備える構成としてある。

また、本発明のカメラベクトル演算装置は、請求項１１に記載するように、前記揺れ成分検出装置の出力に基づいて、カメラが揺れている画像から得られるカメラベクトルをカメラが揺れない場合に想定される基準カメラベクトルに一致するように補正して変換するための補正信号を生成する画像補正信号生成部と、前記画像補正信号生成部の補正信号により、画像データをカメラが揺れない場合に想定されるカメラベクトルを基準ベクトルとして撮影した場合と同等の安定化画像に変換処理する安定化画像変換部と、前記安定化画像変換部で変換された安定化画像を出力する安定化画像出力部と、前記安定化画像出力部から出力された安定化画像を表示する表示部と、を有する画像安定化装置を備える構成としてある。

また、本発明のカメラベクトル演算装置は、請求項１２に記載するように、前記揺れ成分検出装置の出力に基づいて、予定するカメラの位置及び回転と現在のカメラの位置及び回転の差を求め、カメラが固定された制御対象物の位置及び姿勢を三次元的に制御して予定の位置及び姿勢に補正する補正信号を生成する位置姿勢補正信号生成部と、前記位置姿勢補正信号生成部で生成される一又は二以上の補正信号から任意の補正信号を選択し、カメラの位置及び姿勢を制御する制御信号として出力する制御信号選択部と、前記制御信号選択部から出力された制御信号により制御対象物を駆動してカメラの位置及び姿勢を制御する制御対象駆動部と、を有する位置姿勢安定化装置を備える構成としてある。

また、本発明のカメラベクトル演算装置は、請求項１３に記載するように、実写画像内に適切な三次元座標系を設定する実写座標設定部と、ロックオンすべき任意の対象物を画像内に指定するロックオン対象物指定部と、前記カメラベクトル演算装置で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が常に画枠の中心位置又は所定位置に表示されるように、画像表示又はカメラが固定された固定物の位置及び姿勢を制御するロックオン制御部と、を有する目的対象物ロックオン装置を備える構成としてある。

さらに、本発明のカメラベクトル演算装置は、請求項１４に記載するように、前記カメラベクトル演算部で得られたカメラベクトルに基づいて、画像内で任意の対象物を指定し、又は指定した対象物を画像内の所定位置にロックオンし、当該対象物の属性，機能，コンテンツを含む所定の属性情報を呼び出して表示する実写対象物属性呼出装置を備える構成としてある。

以上のような本発明によれば、まず、カメラベクトル演算装置において、動画映像の複数のフレーム画像から、高精度なカメラ位置、カメラ回転角等のカメラベクトルを演算により自動的に求めることができる。
そして、求められたカメラベクトルに基づいて、揺れ成分検出装置において、予め予定された基準となるカメラ位置及び姿勢と現在のカメラ位置及び姿勢のズレから、カメラの揺れ成分を検出することができる。
ここで、予め予定された基準となるカメラベクトルとは、例えば、進行経路の平均的位置と回転姿勢であったり、軌道上を走行する車両にあってはレールの中心線とレールの傾斜であったり、あるいは、前もって緯度経度高度で入力された航行予定進路データである。

このカメラの揺れ成分に基づき、まず、画像安定化装置において、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成することができる。
また、位置姿勢安定化装置においては、カメラの揺れ成分に基づき、画像ではなくカメラ自体の位置と姿勢、又はカメラを固定している固定物の位置と姿勢を制御してブレのない画像を生成することができる。
また、目的対象物ロックオン装置においては、カメラベクトル演算装置で求められるカメラベクトルに基づいて、画像内の任意の対象物が予め予定された位置と姿勢に固定されるように、画像又はカメラの位置と姿勢を制御することができる。
さらに、実写対象物属性呼出装置では、カメラベクトル演算装置で求められる三次元座標に基づいて目的対象物を特定することにより、当該対象物に関して予め用意された属性やコンテンツ等の所定の属性情報を呼び出すことができる。

本発明では、計算上理論的に必要な計測点の数と比較して、計測点の数を大幅に増やし、また、対応する画像は理論的には二枚の画像でよいが、その数を大幅に増やし、より多くの情報に基づき精度の高いカメラ位置を演算で求められるようにしたものである。
また、画像の安定化には、画像そのものの揺れではなく、カメラの揺れに着目している。画像を画面上で上下左右に移動して補正するのではなく、画像からカメラベクトルを検出し、カメラの三次元座標と３軸方向の回転を検出して、カメラの視点方向の揺れによる変動成分を検出し、正規のカメラ方向の画像となるように、画像変換処理することで、完全な画像の安定化を実現することができる。

以下、本発明に係るカメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明のカメラベクトル演算装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算等を行わせる。このように、本発明のカメラベクトル演算装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。

［カメラベクトル演算装置］
まず、図１を参照して、本発明に係るカメラベクトル演算装置の一実施形態について説明する。図１は、本発明の一実施形態に係るカメラベクトル演算装置の概略構成を示すブロック図である。
同図に示すように、カメラベクトル演算蔵置１０は、画像取得部１１と、画像一時記録部１２と、特徴点抽出部１３と、特徴対応処理部１４と、カメラベクトル演算部１５と、誤差最小化部１６と、三次元情報追跡部１７と、高精度カメラベクトル演算部１８を備え、さらに、揺れ成分検出装置２０を備えている。

画像取得部１１は、ビデオカメラ等で撮影された任意の動画映像を取得する。ここで、画像取得部１１で取得される映像としては、後述するように、３６０度全周画像のような広角画像とすることが好ましい。また、画像取得部１１で取得される映像としては、後述するように、同期した複数のカメラを用いて、視野の広い広角視野カメラで得られる映像と、広角カメラよりも視野の狭い狭角視野カメラで得られる映像を使用することもできる。
画像一時記録部１２は、画像取得部１１で取得された動画映像を一時記録する。

特徴点抽出部１３は、ビデオカメラで撮影した動画映像を一時記録した画像データの中から、十分な数の特徴点を自動抽出する。
特徴対応処理部１４は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部１５は、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部１６は、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理をし、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。

三次元情報追跡部１７は、カメラベクトル演算部１５で得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいてい、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部１８は、三次元情報追跡部１７で得られた追跡データに基づいて、カメラベクトル演算部１５で得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが揺れ成分検出装置２０に入力され、カメラの揺れ成分が検出されることになる。

複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図１に示す本実施形態のカメラベクトル演算装置１０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。

ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトル演算装置１によるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。

以下、カメラベクトル演算装置１０における具体的なカメラベクトルの検出方法について、図２以下を参照しつつ説明する。
まず、画像取得部１１で取得された画像データは画像一時記録部１２を経て（又は直接）特徴点抽出部１３に入力され、特徴点抽出部１３で、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴対応処理部１４で、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図２〜図４に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図４に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図５に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図５の○印参照）、例えば、１００点程度の特徴点を抽出する。

続いて、カメラベクトル演算部１５で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部１５は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。

図４に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。

ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図４に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、カメラベクトル演算に３６０度全周画像を用いるようにしてあり、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図４は、カメラベクトル演算装置１における処理を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のカメラベクトル演算装置１では、必ずしもメルカトール図法による展開画像である必要はない。

次に、誤差最小化部１６では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。

図６〜図８に、カメラベクトル演算装置１により得られる特徴点の三次元座標とカメラベクトルの例を示す。図６〜図８は、本実施形態のベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図６では、図４の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図７及び図８は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。

ここで、カメラベクトル演算装置１における演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図９に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、カメラベクトル演算装置１は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。

そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。

ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。

ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。

また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。

さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行っている。
具体的には、まず、三次元情報追跡部１７で、カメラベクトル演算部１５，誤差最小化部１６を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部１７で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。

上述した特徴点抽出部１３及び特徴点対応処理部１４では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部１５により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。

カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。

ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。

このようにして求められたカメラベクトルは、生成された三次元地図中などに表示することができる。
例えば、図１０に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。そして、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。
そして、以上のようにして得られた高精度のカメラベクトルは、揺れ成分検出装置２０に入力され、画像内の任意の対象物の揺れ評価に使用される。

［揺れ成分検出装置］
揺れ成分検出装置２０は、カメラベクトル演算装置１０において得られたカメラベクトル（カメラの三次元位置座標及び３軸回転座標）から、あらかじめ予定された車両位置（カメラ位置と一対一に対応）と車両回転姿勢（カメラ姿勢と一対一に対応）である予定カメラベクトルとのズレ成分を抽出する。
そして、予定カメラベクトルと現時点でのカメラベクトルとの差から、若しくは評価時点でのカメラベクトルとの差から、位置ズレ成分信号及び回転ズレ成分信号を生成し、これらズレ成分信号のすべて、若しくは一部及びそれらの選択と組み合わせによる値を、目的に沿った適切な評価すべき座標系に変換して、カメラ（カメラが固定される車両等の固定物）の揺れを評価し、出力し、必要が有れば表示する。

揺れ成分検出装置２０においては、例えば、車載カメラを搭載した車両位置（すなわちカメラ位置）Ｘ，Ｙ，Ｚと、車両回転姿勢（すなわちカメラ姿勢）Φｘ，Φｙ，Φｚによる揺れ成分であるδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚのすべてが評価の対象となる。
ここで、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとは、必ずしも微分値や差分値ではなく、予定の位置及び予定の姿勢からのズレを意味する。多くの場合は微分値で代用することで揺れ成分は検出できるが、予定の位置と予定の姿勢が前もって決まっていれば、それとの差分がδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとなる。

具体的には、軌道上を走行する電車等においては、予定カメラベクトルは走行時に計測される平均値に近いものであるが、航空機のように三次元空間を航行する場合は、予定カメラベクトルは走行時のものと平均で一致することはない。
揺れ成分出力としては、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚの計１２個のパラメータを出力することができる。
但し、いずれの揺れ評価を目的とするかによって、パラメータの数はこの中から選択的に組み合わせることができ、評価対象物に対応することができる。
すなわち、カメラベクトル演算装置１０と揺れ成分検出装置２０からの出力を総合すると、Ｘ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺと、δΦｘ，δΦｙ，δΦｚ
の１２のパラメータがあるが、通常の画像安定化処理にはδΦｘ,δΦｙ,δΦｚの３つのパラメータのみでよい。

一方、カメラを同時に複数用いているような場合には、画像の三次元位置の補正も可能となるので、δＸ，δＹ，δＺのパラメータを用意しておく必要がある。
また、通常、姿勢制御には、回転制御の場合にはδΦｘ,δΦｙ,δΦｚ、位置の制御を含むのであればこれに加えてδＸ，δＹ，δＺの計六個のパラメータが必要となる。さらに、状況判断を含めればカメラベクトル演算装置１０からの出力であるＸ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚ
も含めて必要となる場合もあるので、得られる１２個のパラメータの中から選択的に組み合わせて画像処理や姿勢制御に用いることができる。
なお、この１２個の変数以外に、画像安定化や姿勢安定化に用いられる撮影条件による他の係数としては、カメラの基準姿勢として画像の画枠での揺れ幅制限などがある。

図１１に揺れ成分検出装置２０における揺れ成分検出の具体例を示す。
同図に示す例は、車両にカメラを取り付けて走行し、その時に撮影した動画像から揺れ成分検出装置２０で揺れを検出する場合となっている。
同図において、太線矢印はカメラを取り付けた車両の進行方向を示しており、カメラの光軸を原点とするカメラの位置と姿勢をカメラ座標系（Ｘc，Ｙc，Ｚc）とし（同図に示す破線）、カメラが半固定状態で取り付けられた車両は車両座標系（Ｘt，Ｙt，Ｚt）とし（同図に示す実線）、常に車両進行方向に座標軸を変える座標系を回転世界座標系（Ｘｗr，Ｙｗr，Ｚｗr）とし（同図に示す２点鎖線）、さらに、外界の静止系を表す座標系を世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）とする（同図に示す１点鎖線）。そして、この四つの座標系の関係を求めて、評価に必要な座標系に変換して車両の揺れが表現されるようになっている。

カメラベクトル演算装置１０で得られるカメラベクトルはカメラ座標系（Ｘc，Ｙc，Ｚc）そのものである。カメラ座標系は、一般に任意の方向で設定されるから、車両の揺れを検出するには、カメラ座標系を一旦車両座標系（Ｘt，Ｙt，Ｚt）に変換する。この変換は単なる回転変換であり、一般には半固定であり、一旦設定すれば、その後は計測を終了するまで変更はない。
車両進行方向を車両座標系（Ｘt，Ｙt，Ｚt）の３軸の一つに選択することで揺れを評価するのにふさわしい座標系とすることができる。
また、車両の移動の軌跡は静止座標系である世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのが適切である。速度を表現するには回転世界座標系（Ｘｗr，Ｙｗr，Ｚｗr）で単純に表現することができるが、ベクトルとして表現するには世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのがふさわしい。

揺れ評価にあたっては、揺れ評価に適した座標系で評価を行う。
揺れ信号は予定進路からのズレとして検出されるが、図１１に示す例では、車両の平均進路を予定進路として揺れを評価している。そこで、世界座標系上でカメラの移動軌跡を求め、その平均進路を求め、これを予定進路とする。
本発明に係るカメラベクトル演算装置１０及び揺れ成分検出装置２０によれば、姿勢の基準となるジャイロ等を用いることなく、画像データを取得するカメラのみで揺れ成分の検出が可能となっているが、カメラ１台の場合、得られるカメラベクトルは相対値となり、ジャイロ等の世界座標系との校正装置を持たないことから、誤差の蓄積が生じることになる。このため、常に車両に対する揺れを評価するために、平均鉛直水平方向を与える必要がある。

そこで、カメラ設置時点において、カメラ座標系の１軸を車両に対する水平軸に合致させて設置すれば、それが基準となって、後にも水平姿勢の校正が容易にできることになる。
これにより、カメラ座標系（Ｘc，Ｙc，Ｚc）は、車両座標系（Ｘt，Ｙt，Ｚt）に変換して揺れを計測して評価すればよい。
評価される揺れとしては、位置ズレ成分Ｘt，Ｙt，Ｚtと、回転成分Φxt，Φｙt，Φｚt、及び位置ズレ差分δＸt，δＹt，δＺt等である（但し、ＺtとδＺtは、進行方向速度及びその加速度成分となるので、揺れの意味が他の成分とは異なる）。

以上のような揺れ成分の評価において、評価すべき変数と表示は次のようなものが挙げられる。
・世界座標系における車両位置表示：
（Ｘｗ，Ｙｗ，Ｚｗ）
・車両進行方向に回転した回転世界座標系における速度及び加速度表示：
（δＸｗr,δＹｗr,δＺｗr） （ΔδＸｗr,ΔδＹｗr,ΔδＺｗr）
・車両座標系における揺れ表示：
（△Ｘt，△Ｙt,(△Ｚt)） （△Φxt，△Φyt，△Φzt）
・車両座標系とカメラ座標系の回転表示（半固定）：
（Ｘc，Ｙc，Ｚc）＝F（Ｘt，Ｙt，Ｚt）
・世界座標系における進行方向表示：
（Ｘｗ，Ｙｗ，Ｚｗ）＝G（Ｘt，Ｙt，Ｚt）
・カメラ座標系における進行方向表示：
（Ｘc，Ｙc，Ｚc）＝H（Ｘt，Ｙt，Ｚt）
・世界座標系に対する車両座標系の原点移動、回転姿勢表示：
（Ｘｗ，Ｙｗ，Ｚｗ） （δＸｗ,δＹｗ,δＺｗ）

以上のような本実施形態の揺れ成分検出装置２０によれば、例えば、電車に取り付けたカメラの場合には、揺れ成分検出装置２０により、電車の揺れを解析・分析し、車両や線路の異常を発見することが可能となる。通常は水銀加速時計等の高額な装置を使って揺れを計測するのに対して、本実施形態の揺れ成分検出装置２０を使用することにより、簡単に揺れ成分が検出でき、それを表示することができる。
そして、このような揺れ成分検出装置２０を用いることにより、後述するように、本発明に係る画像安定化装置や位置姿勢安定化装置，目的対象物ロックオン装置が実現できるようになる。

以上説明したように、本実施形態に係るカメラベクトル演算装置１０によれば、動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。
従って、通常の安価なカメラであっても、人がカメラをもって移動しながら撮影し、あるいはカメラを積載した移動する車両等から周囲画像を撮影し、その映像を分析して高精度なカメラ軌跡を三次元で求めることができる。

そして、カメラベクトル演算装置１０において、動画映像の複数のフレーム画像から、高精度なカメラ位置、カメラ回転角等のカメラベクトルを演算により自動的に求めることができ、求められたカメラベクトルに基づいて揺れ成分検出装置２０によりカメラの揺れ成分を検出，評価することができることから、その揺れ評価の出力を利用して、画像安定化装置３０において、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成することができる。
また、位置姿勢安定化装置においては、カメラの揺れ成分に基づき、画像ではなくカメラ自体の位置と姿勢を制御してブレのない画像を生成することができる。

また、目的対象物ロックオン装置においては、求められたカメラベクトルに基づいて、また必要に応じてカメラの揺れ成分を補正して、画像内で指定した対象物が任意の位置に固定されるように、画像又はカメラの位置と姿勢を制御することができる。
さらに、実写対象物属性呼出装置では、カメラベクトル演算装置で求められる三次元座標に基づいて目的対象物を特定することにより、当該対象物に関して予め用意された属性やコンテンツ等の所定の属性情報を呼び出すことができる。
以下、本発明のカメラベクトル演算装置に備えられる画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物呼出装置の実施形態について図１２〜図１５を参照しつつ説明する。

［画像安定化装置］
図１２に示すように、本実施形態の画像安定化装置３０は、画像補正信号生成部３１と、安定化画像変換部３２と、安定化画像出力部３３と、表示部３４を備えている。
画像補正信号生成部３１は、カメラベクトル演算装置１０の揺れ成分検出装置２０で求められるカメラの位置ベクトルと回転ベクトルとその揺れ成分に基づいて、カメラが揺れている画像から得られるカメラベクトルをカメラが揺れない場合に想定される基準カメラベクトルに一致するように補正して変換するための補正信号を生成する。
安定化画像変換部３２は、カメラが揺れない場合に想定されるカメラベクトルを基準ベクトルとして撮影した場合と同等の安定化画像に変換処理する。
安定化画像出力部３３は、安定化画像変換部３２で変換された安定化画像を出力する。
表示部３４は、出力された安定化画像を表示する。

上述したように、カメラは、一般にＸ，Ｙ，Ｚと、その回転ベクトルと計６個の自由度を持ち、それらを検出するのがカメラベクトル演算装置１０である。そして、検出されたカメラの位置Ｘ，Ｙ，Ｚ及び３軸の回転ベクトルΦｘ，Φｙ，Φｚの自由度の中で、揺れ成分検出装置２０において、揺れ成分であるＸ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚ，δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚが検出される。
画像補正信号生成部３１では、この揺れ成分検出装置２０で検出される揺れ成分に基づいて、画像を安定化するための補正信号を生成する。この補正信号により、安定化画像変換部３２において安定化された正規化画像が生成される。

ここで、安定化画像の基準となる画像としては、フレームのスタート時点の画像としてもよいが、水平位置を合わせるなどした変換後の画像を安定化画像の基準とすることも可能である。なお、安定化画像に変換された画像は、視点方向も修正されているので、投影している平面が異なり、修正前の画像とは重ならない。
図１３は、補正信号により安定化画像に変換処理される画像の一例を示しており、例えば、同図（ａ），（ｂ）に示すように揺らぎのある画像が、同図（ｃ），（ｄ）に示すように補正された安定化画像として出力，表示される。
図１４は、補正されたカメラベクトルの軌跡を示すグラフであり、同図中、グラフ中央に直線櫛状に並ぶのがカメラ移動の軌跡であり、移動するカメラの位置と高さを示している。

以上のような画像安定化装置３０によれば、カメラベクトル演算装置１０において動画映像の複数のフレーム画像から高精度なカメラ位置、カメラ回転角等のカメラベクトルを演算により自動的に求めることができることから、求められたカメラベクトルとその揺れ成分に基づいて、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成することができる。
特に、計算上理論的に必要な計測点の数と比較して、計測点の数を大幅に増やし、また、対応する画像は理論的には二枚の画像でよいが、その数を大幅に増やし、より多くの情報に基づき精度の高いカメラ位置を演算で求めることができる。
また、画像の安定化には、画像そのものの揺れではなく、カメラの揺れに着目している。画像を移動して補正するのではなく、画像からカメラベクトルを検出し、カメラの三次元座標と３軸方向の回転を検出して、カメラの視点方向の揺れによる変動成分を検出し、正規のカメラ方向の画像となるように、画像変換処理することで、完全な画像の安定化を実現することができる。

［位置姿勢安定化装置］
位置姿勢安定化装置４０は、図１２に示すように、位置姿勢補正信号生成部４１と、制御信号選択部４２と、制御対象駆動部４３を備えている。
位置姿勢補正信号生成部４１は、揺れ成分検出装置２０の出力に基づいて、予定するカメラの位置及び姿勢と現在のカメラの位置及び姿勢の差を求め、カメラの位置及び姿勢を制御して予定の位置及び姿勢に補正する補正信号を生成する。
制御信号選択部４２は、位置姿勢補正信号生成部４１で生成される一又は二以上の補正信号から任意の補正信号を選択し、カメラの位置及び姿勢を制御する制御信号として出力する。
制御対象駆動部４３では、制御信号選択部４２から出力された制御信号により制御対象物を駆動してカメラの位置及び姿勢を制御する。

具体的には、位置姿勢補正信号生成部４１では、カメラ位置を制御する位置補正信号と、カメラ姿勢を制御する姿勢制御信号が生成される。
カメラ位置補正信号は、カメラベクトル演算装置１０において求められた、カメラの三次元位置信号及びその３軸回転信号、Ｘ，Ｙ，Ｚ，Φｘ,Φｙ,Φｚから、車両位置（カメラ位置）Ｘ，Ｙ，Ｚと、カメラ姿勢からの回転による揺れ成分Φｘ,Φｙ,Φｚを抽出して、予定の車両位置（カメラ位置）と現在のカメラ位置の差から、カメラの位置を制御して補正する位置補正信号として生成される。
カメラ姿勢補正信号は、正常な車両姿勢（カメラ姿勢）と現在の車両姿勢（カメラ姿勢）との差から回転補正信号を生成し、カメラ又はカメラが固定されている保持機構、あるいはカメラを積載している車両等の移動物体の姿勢を制御して補正する回転補正信号として生成される。

なお、カメラベクトル演算装置１０及び揺れ成分検出装置２０から出力されるＸ，Ｙ，Ｚ，δＸ，δＹ，δＺ，は相対値であり、例えば、回転姿勢制御だけでなく位置座標を緯度経度高度で制御する必要がある場合には、カメラベクトルを絶対座標系に変換しなければならない。そのためには、最低三点以上の点で実測座標と位置合わせしてスケールを校正するか、ＧＰＳ等でスケール校正する。ここで絶対座標系を取得する必要があるのは、位置を含んで姿勢を制御する位置姿勢安定化装置４０の場合であり、回転姿勢のみの姿勢制御や画像安定化装置３０の場合には、カメラベクトル演算装置１０から出力される相対座標のままで処理が可能である。

制御信号選択部４２では、位置姿勢補正信号生成部４１で生成された位置補正信号と回転補正信号の各種補正信号から適切な補正信号を選択して、カメラやカメラ保持機構，車両等を駆動制御する制御信号を出力する。
そして、制御対象駆動部４３により、制御信号選択部４２から出力された制御信号に基づいて制御対象物（カメラ，カメラ保持機構，車両等）が駆動され、カメラの位置及び姿勢が制御されるようになる。
このようにして、位置姿勢安定化装置４０では、カメラベクトル演算装置１０において得られるカメラベクトルとその揺れ成分に基づいて、カメラ自身の位置と姿勢を駆動制御して、画像安定化装置３０における場合と同様に、画像を安定化させることができる（図１４参照）。

ここで、本実施形態に係る位置姿勢安定化装置４０は、カメラの撮影，移動と同時にリアルタイムで生成される補正信号によりカメラやカメラ保持機構等を制御して、画像取得用カメラをリアルタイムで位置制御及び回転制御して、カメラの姿勢を安定化させ、画像安定化装置として利用することができる。
既に得られた画像については、取得した画像から後処理として３軸回転信号を補正信号として取り出して、画像を回転補整して安定化させることはできるが、位置制御はできない。
また、カメラベクトル演算装置１０を航空機や車両等に適用した場合、カメラの回転姿勢制御のみならず、カメラが固定されている車両等を制御することで、車両の位置制御ができればきわめて有用な装置となる。

そこで、例えば図１５に示すように、カメラベクトル演算用のカメラ（制御信号取得用カメラ部１１ａ）と、映像取得用のカメラ（映像取得用カメラ部１１ｂ）とを分離し、その位置関係を固定して使用し、いずれのカメラ１１ａ，１１ｂについても、そのカメラ保持機構（又は積載した車両等）を直接姿勢制御することで、カメラ（車両）の位置姿勢安定化をはかりつつ、同時に目的の映像の安定化をはかることが可能となる。
なお、この場合には、図１５に示すように、映像取得用のカメラ部１１ｂについて、さらに、画像安定化装置３０によって画像を安定化させることも可能である。

このように、カメラベクトル演算装置用のカメラ部１１ａと、映像信号取得用のカメラ部１１ｂを分離することで、例えば、広角レンズカメラの映像に基づく位置及び姿勢制御により、狭角レンズカメラの映像を制御することも可能となり、用途がさらに広がる。
一般に、狭角レンズカメラの映像では、カメラベクトル演算の精度が低下するため、カメラベクトル演算用には広角カメラが必要となるが、映像を目的とするカメラは必ずしも広角視野カメラとは限らない。
そこで、図１５に示すように、カメラベクトル演算用のカメラと映像信号取得用のカメラとを分離すれば、映像取得用とカメラベクトル演算用のそれぞれのカメラを自由に選択できるようになる。これにより、カメラベクトル演算用のカメラとしては超広角レンズを使用し、画質を吟味する必要はなくなり、映像取得専用のカメラについては、ピクセル単位の画像精度を吟味する必要がなくなり、画質優先のカメラを使用することができるようになる。

ここで、カメラの位置と姿勢の制御は、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚのいずれの組み合わせから制御信号を生成するかによって、姿勢制御となったり、位置制御となったりするものであり、カメラベクトル演算装置の適用対象や使用目的に応じて制御信号を適宜選択，設定することができる。
例えば、カメラの回転角Φｘ，Φｙ，Φｚ から生成する回転補正信号によれば、回転角を一定に保つように制御することができる。
また、ヘリコプターが上空でホバリングするような場合の移動については、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚの成分すべてについて制御することで実現できる。
さらに、位置制御の場合、予定された三次元位置からのズレを検出して、それを車両等の位置制御信号としてフィードバックすることで、予定の航路に導くことが可能となる。これにより、車両や航空機の予定航路をＸ，Ｙ，Ｚと比較することで、位置制御として利用できる。

このように、本発明に係るカメラベクトル演算装置１０は、車両や航空機等の位置及び姿勢制御装置として利用できる。
なお、このように移動物体の位置及び姿勢制御を行う場合には、リアルタイム性が要求されるので、図１５に示すように、リアルタイム画像１２ａを直接カメラベクトル演算装置１０に導き、過去のデータ（記録画像１２ｂ）と照らし合わせて、カメラベクトルのリアルタイム演算を行うことが好ましい。リアルタイム演算で得られた高精度カメラベクトルは、三次元位置とカメラの３軸回転の信号を含むので、カメラを積載した車両の姿勢制御と位置制御が実現できる。
また、後述する広角視野映像によるカメラベクトルを狭角視野映像によるカメラベクトル演算に代入することによる高精度なカメラベクトル演算装置（図１６参照）と組み合わせることにより、れば、高精度の位置と姿勢制御が可能となる。

［目的対象物ロックオン装置］
目的対象物ロックオン装置５０は、図１２に示すように、実写座標設定部５１と、ロックオン対象物指定部５２と、ロックオン制御部５３を備えている。
実写座標設定部５１は、実写画像内に適切な三次元座標系を設定する。
ロックオン対象物指定部５２は、ロックオンすべき任意の対象物を画像内に指定する。
ロックオン制御部５３は、カメラベクトル演算装置１０で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置（又は任意の所定位置）に表示されるように、画像表示又はカメラ（カメラが固定される固定物）の位置及び姿勢を制御する。

これにより、目的対象物ロックオン装置５０は、画像内にはあらかじめ画像と一致している三次元座標系を設定しておき、画像内の目的対象物をマウス等で画像内に指定し、カメラベクトル演算装置により、目的対象物の概略の三次元座標を求め、カメラベクトル演算装置で求められた目的対象物の三次元座標が画像内の指定位置に常に来るように画像表示位置を制御することができる。
あるいは、目的対象物を画像内の指定位置に常に表示するようにカメラを制御することができる。
このようにロックオン制御される対象画像としては、カメラベクトル演算装置１０の画像取得部１１で取得される揺れ成分を含んだままのオリジナル画像でもよく、また、画像安定化装置３０の安定化画像出力部３３から出力される安定化された画像であっても良い。

画像内に目的の対象物をマウスなどで指定して捉えれば、カメラベクトル演算装置１０により、その指定部分やその周囲に特徴点を検出して、追跡することで、カメラベクトルから直ちに指定点の三次元座標が求められる。
これにより、カメラの位置と姿勢を常にその対象物にむけることが可能となり、さらに、常に対象物がカメラの決められた位置（通常はカメラの中心部）で観察できるようになる。これは画像認識に依らずに、対象物をロックオンできるきわめて有用な手段となる。
従来より、対象物を画像中心にとらえるために、対象物の画像認識を行い、その認識した対象物を追いかけることでロックオンする方法が知られている。しかし、この従来方法では、視点が変化すると対象物の形状が変化してしまい、変化する画像に追従して多くのフレームに亘って追跡することは困難であった。
本実施形態の目的対象物ロックオン装置５０によれば、対象物の三次元座標を追跡することになるので、視点変化による対象物の形状変化には関係なく、対象物を追跡できることになる。

なお、このロックオン制御は、安定化された画像のみならず、揺れ成分を含んだままのオリジナル画像に対しても可能であるが、対象物がロックオンされることで、結果的に画像は安定化し、カメラを制御すれば位置は安定化することになる。その意味で、目的対象物ロックオン装置５０は、画像安定化装置３０又は位置姿勢安定化装置４０の一部の機能を持った変形実施形態と捉えることができる。
また、目的対象物ロックオン装置５０は、カメラベクトル演算装置１０の出力を受けてロックオンすることもでき、既に安定化された画像安定化装置３０の出力を受けてロックオンすることもできるが、さらに、揺れ成分検出装置２０で検出された成分を用いて画像をロックオンすることもできる。すなわち、ロックオン処理では画像の位置は画枠の中央等の所定位置に固定できても、画像の回転成分はそのままとなるので、揺れが残ることがあり、揺れ成分検出装置２０を介することにより通せば、回転成分を修正した回転のないロックオン画像を表示できることになる。
そして、目的対象物を指定することで、三次元座標を取得し、その座標を画枠内の任意の位置に固定して表示する。

［実写対象物属性呼出装置］
図１２に示す実写対象物属性呼出装置６０は、カメラベクトル演算装置１０のカメラベクトル演算部１５で得られたカメラベクトルに基づいて、画像内で任意の対象物を指定し、又は指定した対象物を画像内の所定位置にロックオンして、当該対象物の属性，機能，コンテンツを含む所定の属性情報を呼び出す。
具体的には、実写対象物属性呼出装置６０は、カメラベクトル演算装置１０により既に得られているカメラベクトルによって隣接する各画像のカメラ位置と姿勢はすべて既知であることから、このカメラベクトルを用いることにより、画像内の目的対象物をマウスやタッチパネルやライトペン等で指定することで、目的対象物の三次元計測をし、その三次元座標及びその周辺座標であらかじめ関係づけてある目的対象物を特定し、目的対象物の属性呼び出し、あるいは、他の機能の呼び出し、コンテンツの呼び出しなどの機能を備えている。
また、目的対象物は、目定対象物ロックオン装置５０により指定して画像内の所定位置にロックオンすることができる。

実写映像内にマウス等で指定した目的対象物は、カメラベクトル演算装置１０で得られる三次元座標により特定されているので、画像内でマウス等で目的対象物を指定することで、目的対象物の属性やコンテンツを呼び出したり、他のコンテンツを呼び出すことが可能となる。つまり目的対象物そのものを三次元のアイコンとして利用することができる。
そして、この実写対象物属性呼出装置６０を目的対象物ロックオン装置５０と組み合わせることにより、動画像内の対象物、あるいは一時停止した画像内の対象物をマウス等でクリックすることで、その画像内の対象物がいつも指定された位置に表示され、しかも、対象物に関連する情報を取り出したり、他の機能に移行したりすることが簡単に実現できるようになる。
なお、ここで言う対象物には、実写映像のみではなく、ＣＧ（コンピュータ・グラフィックス）も含まれる。ＣＧの場合には、その三次元座標は既知であるので、カメラベクトル演算装置１０を必要とすることなく、対象物指定による属性情報の呼出等が行えることになる。

［広角視野映像及び狭角視野映像による高精度カメラベクトル演算］
次に、以上のような構成からなるカメラベクトル演算装置（揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置を含む）において、広角カメラ映像と狭角カメラ映像を用いた高精度カメラベクトル演算を行う場合について、図１６〜図２１を参照しつつ説明する。
図１６に示すように、カメラベクトル演算装置１０においては、視野の広い広角視野カメラと、この広角カメラよりも視野の狭い狭角視野カメラとの位置関係を固定して、同時に同期させて使用し、広角カメラ側の広角視野映像と狭角視野カメラによる狭角視野映像をそれぞれ入力し、広角視野映像から演算によって得られたカメラベクトル値を、狭角視野映像によるカメラベクトル演算時に代入演算することで、高精度のカメラベクトルを得ることができる。

一般に、広角レンズは視野が広いので、追跡点を長距離取れるので位置精度が高い。しかし、画角当たりの画素数が少ないので、回転精度は狭角レンズに比較して低くなる。
一方、狭角レンズは視野が狭いので位置精度が取れない。しかし、画角当たりの画素数が多いので、角度の精度は高くなる。
そこで、図１６に示すカメラベクトル演算装置１０では、広角レンズで得られる広角視野映像と、狭角レンズで得られる狭角視野映像の双方を用いてカメラベクトル演算を行うことにより、高精度なカメラベクトルを得ることが可能となる。

図１７に、広角レンズカメラと狭角レンズカメラの双方を備えたカメラベクトル演算装置１０のより詳細な具体例を示す。
同図において、画像取得部１１には、広角視野カメラと狭角視野カメラが固定して車両等に設置され、同期して使用されるようになっている。
広角視野カメラによる映像出力（１）は、例えばＡＶＩ等の方式により画像圧縮され、一旦記録部（画像一時記録部１２）に保存される。そして、必要な画像フレームが呼び出され、カメラベクトル演算装置１０で上述したカメラベクトル演算が行われる。

一方、狭角視野カメラ側においても、取得された映像に基づいてカメラベクトル演算装置１０でカメラベクトル演算が行われるが、三次元位置座標に関しては、精度が悪いので、広角視野カメラの広角視野映像によって得られたカメラベクトル値の内の三次元座標を、狭角視野カメラの狭角視野映像によって求められる三次元座標に代入してカメラベクトルを演算する。
このようにして得られた狭角視野カメラのカメラベクトルは、視野角当たりの画素数が広角視野カメラに比較して十分に多いので、高精度の座標軸回転角を得ることができる。
必要があれば、ここで得られた高精度の座標軸回転角を、さらに、広角視野カメラ側の座標回転角として代入すれば位置精度は更に向上する。

広角レンズカメラと狭角レンズカメラは、位置関係が変化しないように固定する等して一体化して配置する。広角と狭角のカメラは同期して駆動する。
それぞれのカメラの映像出力（映像出力（１），映像出力（２））は記録部１２で記録する。後処理として、画像安定化する場合は、映像出力をＡＶＩ等で圧縮して、全フレームをストレージに記録する。また、リアルタイムでカメラ姿勢制御として画像安定化する場合や、カメラの保持機構や車両そのものの位置制御や姿勢制御を目的とする場合には、全フレームの画像の記録ではなく、リアルタイム処理に必要なフレーム数だけの画像を記録すればよい。ただし、映像そのものを必要とする場合は必要な画像はすべて記録する。

広角レンズカメラ及び狭角レンズカメラの映像出力はそれぞれ、一時記憶され、カメラベクトル演算装置１０でカメラベクトルが演算されるが、二者のカメラベクトルは基本的に同じか、単に平行移動したものか、定数分回転した位置関係にあり、片方を求めればそれはもう一方を求めたことになる。
ここで、広角レンズカメラによるカメラベクトルは視野を広く取れるために、特徴点を長距離追跡することができ、三次元位置精度が高く取れる。一方、狭角レンズカメラの映像出力は、視野が狭い分特徴点の追跡距離が短くなり、三次元位置精度は取れないが、一ピクセル当たりの画角が小さいため、回転精度は高く取れる。

そこで、両カメラの長所を結合して、広角レンズ側で三次元位置座標を演算で求め、その得られた三次元位置座標を狭角レンズカメラの三次元位置座標として採用し、狭角レンズカメラでのカメラベクトル演算を求めることで、精度の高い３軸回転信号が得られる。
さらに、必要があれば、３軸回転信号を広角レンズカメラ側の３軸回転角として代入して、さらに精度の高い三次元位置を演算することができる。これを繰り返すことにより、精度をさらに高めることが可能となる。

以上により、精度の高い三次元位置と３軸回転がリアルタイム処理で求められた後は、それを姿勢制御信号として、カメラ保持機構やカメラを積載する車両等の三次元位置と姿勢を制御することができる。ただし、リアルタイム処理の場合はカメラベクトル演算目的でのＡＶＩ画像変換等の必要はない。
また、記録された画像の画像安定化の実際の演算については、揺れ成分信号からの信号を処理するが、３６０°映像を扱う場合のように球面に貼り付けた映像を揺れ成分の信号で回転させて補正する方法や、通常の画像のように球面ではない通常の平面画像を揺れ角に合わせて回転させて平面展開するように平面変換するとで実現できる。実際には平面画像でも球面画像でも、球面変換も平面変換もどちらでも可能である。図１７には、球面変換式を用いる場合と、平面変換式を用いる場合の二通りを示している。

図１８に、広角視野カメラと狭角視野カメラの関係を示す。
同図に示すように、それぞれのカメラでは、それぞれの視野で特徴点抽出と特徴点追跡が行われるので、必ずしも視野が重複している必要はない。
それぞれのカメラの位置関係が固定されていることだけが必要となる。
一台のカメラによって得られるカメラベクトルの位置座標は相対値であるため、後に何らかのスケール校正を行う必要があるが、カメラの視野を重複させることで、同一特徴点を追跡できる場合には視差を計測できるので、距離の絶対距離が取得できるので、計測には有利であり精度は更に向上する。
カメラの視野を重複させる場合を図１９に示す。

図１９に示すように、カメラの視野を重複させる場合には、専用の視野重複カメラを設置することが好ましい。同図に示すように、車両等の移動体の予想進行方向に狭角視野カメラを視野重複するように並べて配設し、特徴点の追跡路を長く取るようにすると、三次元位置精度を向上させることができる。
また、同図に示す横の独立視野の狭角視野カメラは、３軸回転角に高感度となるように設定してある。
このような視野重複カメラを画像安定化装置３０に利用する場合には、カメラベクトル演算装置１０の最終出力の３軸回転ベクトルを補正信号として画像に回転補正をかけて画像を安定化する。
なお、広角レンズと狭角レンズの視野は必ずしも重複する必要はない。

さらに、高精度のカメラベクトルを求めるときは、図２０に示すように、広角視野カメラと同時に複数の狭角視野カメラを、同図に示すように、視野が大まかな車両等の進行方向に沿って一部視野を重複しながら撮影し、広角視野カメラで全体視野を把握して粗計測し、そのデータを用いて、狭角視野カメラの演算の三次元位置を代入演算して求め、さらに進行方向に特徴点を追跡し、位置と姿勢について高精度のカメラベクトル演算を実現することができる。図２０に示す左右両端の狭角視野カメラは３軸回転角に対して高感度となるように設置してある。

また、図２１に示すように、全体視野を把握する広角視野カメラを複数備えることもできる。
図２１に示す例は、航空機の離着陸時のように、地面との距離が接近したような場合に、広角視野カメラを視野重複させて複数台（二台）設置した場合である。
航空機の離着陸時には、滑走路に近づいて対地速度が速くなるので、特徴点検出と追跡が困難になることを考慮して、図２１に示すように、横外向きに広角視野カメラを設置する。
また、このように視野重複が有れば絶対距離が計測できるので、カメラベクトル演算で求められた相対距離を校正して、絶対距離に変換することが出来る。

以上、本発明のカメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置について、好ましい実施形態を示して説明したが、本発明に係るカメラベクトル演算装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、図２２に示すように、特徴点を電波源と置き換え、カメラをアンテナと置き換え、カメラベクトルをアンテナベクトルと置き換えることにより、複数の電波源を検出し、その方向を特定し、電波源の方向を追跡することで、アンテナベクトルを検出することができる。

特徴点は画像内での方向のみの情報であることから、電波源でもその方向を検出し、追跡することで、画像と全く同様に考えられる。
この場合には、アンテナ方向が特徴点となる。アンテナ方向を追跡すれば、数学的には画像での特徴点追跡と全く同じものとして扱うことができる。画像上の特徴点と違い、夜間でも使用可能であり、電波源としては地上に点在する放送局等が利用可能である。
なお、電波源の座標は必要ないが、絶対座標を得るには、３カ所以上の三次元座標が既知である電波源をとらえることで実現できる。また、アンテナを複数とすることでも実現できる。

本発明は、例えば、動画映像をビデオ撮影する車載カメラの揺れ，振動による画像を補正したり、カーナビゲーション装置に備えられる三次元地図を取得，生成するのに好適な画像処理装置として利用することができる。

本発明の一実施形態に係るカメラベクトル演算装置の構成を示すブロック図である。 本発明の一実施形態に係るカメラベクトル演算装置おける具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置における具体的なカメラベクトルの検出方法を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るカメラベクトル演算装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るカメラベクトル演算装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。 本発明の一実施形態に係るカメラベクトル演算装置において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置で求められたカメラベクトルの軌跡を生成された三次元地図中に表示した場合の図である。 本発明の一実施形態に係るカメラベクトル演算装置に備えられる揺れ成分検出装置における揺れ成分検出の具体例を示す説明図である。 本発明の一実施形態に係るカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置の概略構成を示すブロック図である。 本発明の一実施形態に係る画像安定化装置で補正される安定化画像の一例を示す説明図である。 本発明の一実施形態に係る画像安定化装置で補正されるカメラベクトルの軌跡を示すグラフである。 本発明の一実施形態に係るカメラベクトル演算装置においてカメラベクトル演算用のカメラと映像取得用のカメラを独立して備える場合の構成を示すブロック図である。 本発明の一実施形態に係るカメラベクトル演算装置においてカメラベクトル演算用のカメラとして広角視野と狭角視野の複数のカメラを備える場合の構成を示すブロック図である。 図１６に示す広角視野と狭角視野の複数のカメラを備えるカメラベクトル演算装置の具体的構成の一例を示すブロック図である。 広角視野カメラと狭角視野カメラの関係を示す説明図である。 図１６に示す広角視野と狭角視野の複数のカメラを備えるカメラベクトル演算装置において、狭角視野カメラを、カメラの移動方向に沿って視野を重複させて複数設置する場合の説明図である。 図１６に示す広角視野と狭角視野の複数のカメラを備えるカメラベクトル演算装置において、広角視野カメラで全体視野を捉えつつ、複数の狭角視野カメラで視野を重複させて映像を取得する場合の説明図である。 図２１に示す広角視野と狭角視野の複数のカメラを備えるカメラベクトル演算装置において、全体視野を捉える広角視野カメラを複数設置する場合の説明図である。 本発明に係るカメラベクトル演算装置を、電波源となる複数のアンテナを検出するアンテナベクトル演算装置に応用した場合を示す説明図である。

符号の説明

１０ カメラベクトル演算装置
１１ 画像取得部
１２ 画像一時記録部
１３ 特徴点抽出部
１４ 特徴点対応処理部
１５ カメラベクトル演算部
１６ 誤差最小化部
２０ 揺れ成分検出装置
３０ 画像安定化装置
４０ 位置姿勢安定化装置
５０ 目的対象物ロックオン装置
６０ 実写対象物属性呼出装置

Claims (14)

1. 動画映像の画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、
   抽出された特徴点について、動画映像の各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、
   対応関係が求められた特徴点の三次元位置座標を求め、当該三次元位置座標から、各フレーム画像に対応したカメラの三次元位置座標及び三次元回転座標からなるカメラベクトルを求めるカメラベクトル演算部と、
   を備えることを特徴とするカメラベクトル演算装置。
2. 前記カメラベクトル演算部において求められる複数のカメラベクトルの解の分布を最小になるように統計処理し、誤差の最小化処理を施したカメラベクトルを自動的に決定する誤差最小化部を備えた請求項１記載のカメラベクトル演算装置。
3. 前記カメラベクトル演算部は、
   カメラベクトル演算に用いる任意の二つのフレーム画像Fｎ及びFｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元位置座標とカメラベクトルを求める単位演算を繰り返し、
   前記二つのフレーム画像Fｎ及びFｎ＋ｍの間のフレーム画像については、簡素化した演算によりカメラベクトルを求め、
   前記誤差最小化部は、
   画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定する請求項２記載のカメラベクトル演算装置。
4. 前記カメラベクトル演算部は、
   前記フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う請求項３記載のカメラベクトル演算装置。
5. 前記カメラベクトル演算部は、
   求められたカメラベクトルの誤差の分布が大きい特徴点を削除し、必要が有れば、他の特徴点に基づいてカメラベクトルの再演算を行い、カメラベクトル演算の精度を上げる請求項１乃至４記載のカメラベクトル演算装置。
6. 前記カメラベクトル演算部は、
   所望の精度となる最低数のフレーム画像と、自動抽出した最低数の特徴点に基づいて演算を行い、カメラベクトルの概略値をリアルタイムで求めて表示し、
   画像の進行により画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させて、より精度の高いカメラベクトル演算を行い、カメラベクトルの概略値を精度の高いカメラベクトル値に置き換えて表示する請求項１乃至５記載のカメラベクトル演算装置。
7. 前記特徴点抽出部で特徴点が自動抽出される動画映像が、３６０度全周画像からなる請求項１乃至６記載のカメラベクトル演算装置。
8. 前記特徴点抽出部で特徴点が自動抽出される動画映像として、位置関係が固定され同期して映像を取得する複数のカメラにより取得される視野の広い広角視野映像及び当該広角視野映像より視野の狭い狭角視野映像を入力し、
   広角視野映像の画像データに基づいてカメラベクトルを演算するとともに、
   当該広角視野映像に基づくカメラベクトル値を、狭角視野映像の画像データに基づくカメラベクトル演算時に代入演算することにより、高精度のカメラベクトルを求める請求項１乃至７記載のカメラベクトル演算装置。
9. 前記カメラベクトル演算部で得られたカメラベクトルを概略のカメラベクトルとして、順次画像の一部分として得られる三次元情報に基づいて、複数のフレーム画像に含まれる部分的三次元情報を、隣接するフレーム間で連続的に追跡する三次元情報追跡部と、
   三次元情報追跡部で得られた三次元情報の追跡結果に基づいて、前記概略のカメラベクトルより高精度のカメラベクトルを求める高精度カメラベクトル演算部と、を備える請求項１乃至８記載のカメラベクトル演算装置。
10. 前記カメラベクトル演算部で得られるカメラベクトルと、予め予定されたカメラ位置とカメラ姿勢を示す予定カメラベクトルとのズレ成分を抽出し、予定カメラベクトルと現時点又は任意の時点で得られるカメラベクトルとの差から所定の位置ズレ成分信号及び回転ズレ成分信号を生成し、当該ズレ成分信号の一部又は全部を目的に沿った適切な座標系に変換し、カメラ又はカメラが固定された固定物の揺れとして出力する揺れ成分検出装置を備える請求項１乃至９記載のカメラベクトル演算装置。
11. 前記揺れ成分検出装置の出力に基づいて、カメラが揺れている画像から得られるカメラベクトルをカメラが揺れない場合に想定される基準カメラベクトルに一致するように補正して変換するための補正信号を生成する画像補正信号生成部と、
    前記画像補正信号生成部の補正信号により、画像データをカメラが揺れない場合に想定されるカメラベクトルを基準ベクトルとして撮影した場合と同等の安定化画像に変換処理する安定化画像変換部と、
    前記安定化画像変換部で変換された安定化画像を出力する安定化画像出力部と、
    前記安定化画像出力部から出力された安定化画像を表示する表示部と、
    を有する画像安定化装置を備える請求項１０記載のカメラベクトル演算装置。
12. 前記揺れ成分検出装置の出力に基づいて、予定するカメラの位置及び姿勢と現在のカメラの位置及び姿勢の差を求め、カメラが固定された制御対象物の位置及び姿勢を三次元的に制御して予定の位置及び姿勢に補正する補正信号を生成する位置姿勢補正信号生成部と、
    前記位置姿勢補正信号生成部で生成される一又は二以上の補正信号から任意の補正信号を選択し、カメラの位置及び姿勢を制御する制御信号として出力する制御信号選択部と、
    前記制御信号選択部から出力された制御信号により制御対象物を駆動してカメラの位置及び姿勢を制御する制御対象駆動部と、
    を有する位置姿勢安定化装置を備える請求項１０又は１１記載のカメラベクトル演算装置。
13. 実写画像内に適切な三次元座標系を設定する実写座標設定部と、
    ロックオンすべき任意の対象物を画像内に指定するロックオン対象物指定部と、
    前記カメラベクトル演算装置で得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が常に画枠の中心位置又は所定位置に表示されるように、画像表示又はカメラが固定された固定物の位置及び姿勢を制御するロックオン制御部と、
    を有する目的対象物ロックオン装置を備える請求項１０乃至１２記載のカメラベクトル演算装置。
14. 前記カメラベクトル演算部で得られたカメラベクトルに基づいて、画像内で任意の対象物を指定し、又は指定した対象物を画像内の所定位置にロックオンし、当該対象物の属性，機能，コンテンツを含む所定の属性情報を呼び出して表示する実写対象物属性呼出装置を備える請求項１乃至１３記載のカメラベクトル演算装置。