JPH03501316A - 画像安定化における又は関する改善 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 画像安定化における又は関する改善 本発明は、画像の安定化、特にしかし、限定的にではなくテレビジョンカメラ画 像の安定化に関する。

ビデオデータの品質が損なわれるという数多くの状況が起こっている。例えば、 もしテレビジョンカメラが手持されたり、又は動く台、例えば、船舶又は航空機 のような輸送体上に堅牢に戴持されたりするならば、カメラは不安定な照準を余 儀なくされる。もし長焦点レンズが作像に使用されるならば、この°問題はさら に甚だしくなる。一般に、データ、例えば、ビデオ記録されているデータがこの ようにして損なわれることが事後に発見されるならば、データ収集作業を繰り返 すことは不可能である。

この問題に対する従来の解決は、手動焦点に起因するセンサ（例えば、電子ニュ ース収集カメラ）のあらゆる運動を自然に減衰するセンサの慣性を増大するとい うことである。この解決は、もしデータが動く台から収集されるならば、安定性 を保証することはない。より高価であるが、より優れた解決は、ジャイロスコー プ的に安定化された甲板、例えば、ｒＳＴＥＡＤＹ　５ＣＯＰＥＪ　（商品名） 戴持台にカメラを戴持することによって、カメラを慣性的に安定化させることに 依存している。この型式の装置は、空中偵察に広く使用されているが、しかしい くつかの欠点を持っている。もしカメラが運動する物体に向けられかつこの物体 に従ってパンされるならば、ジャイロスコープは歳差運動し、その結果のビデオ 画像は目的とする物体にもはや中心を合わせなくなる。さらに、この戴持台の時 間応答は、カメラの照準揺動に必ずしも同調しないであろう。

この解決は、いずれにしても、既に発生されたビデオデータ、例えば、ビデオテ ープ上に記録されたデータを修正することはできない。

本発明の目的は、上述の欠点を克服する方法と装置を提供することにある。

本発明によれば、安定化しようとするビデオ信号をディジタル化する変換装置、 少なくとも２つのフレームに関するディジタル情報を記録するフレーム記憶装置 、窓規定装置、所定の窓又は各窓内の少なくとも１つの画素の識別装置、逐次続 くフレーム内の所定画素又は各画素の位置を比較しかつ検出された運動を規定す るベクトルに従ってこのフレームを再写像する装置を含む電子画像安定化装置が 提供される。

本発明は、また、アナログビデオ信号を画素にディジタル化するステップ、少な くとも１つの窓を各フレーム内に規定するステップ、第１フレームの所定窓又は 各窓内の少なくとも１つの画素の値と位置を記憶するステップ、次に続くフレー ム内の少なくとも１つの画素の位置と記憶された値とを比較するステップ、及び 画素の位置間の検出された運動を規定するベクトルに従ってフレームを再写像す るステップを含む。

本発明を、さらに、付図を参照して、例を挙げて、これから説明する。

第１図は、本発明による電子画像安定化装置の概略ブロック線図、 第２図は、本発明による電子画像安定化を線図的に表示するビデオフレームの説 明図、である。

付図を参照すると、電子画像センサ１０は、レンズ１４を有するビデオカメラ１ ２から成るこのカメラは、周知の仕方でビデオ記録装置１６又は１６ａ及び監視 装置（モニター）１８に接続される。このカメラは、手持されるので、したがっ て、照準不安定を蒙る。

本発明によれば、カメラ１２（又はその後、記録装置１６）から導出されたビデ オデータは、電子的に安定化される。この目的のために、実時間的（リアルタイ ム）にカメラ１２から、又はビデオ記録装置１６からのビデオデータは、画像処 理装置２０に送られる。画像処理装置２０は、アナログ−ディジタル変換器（Ａ 　Ｄ　Ｃ）及びディジタル−アナログ変換器（Ｄ　Ａ　Ｃ）モジュール２２を含 み、この処理装置は到来ビデオデータをディジタル形に変換するように働く。変 換器（ＡＤＣ）の解像度は、後段のフレーム記憶装置の大きさ及び変換器モジュ ール２２の処理の能力に応じて８ビツト、１２ビツト又はさらに多い数のビット である。しかしながら、本発明の電子画像安定化を達成するには８ビツトで充分 なことが判っている。ＩＯＭＨ！でクロック駆動されるこの変換器は、５１２画 素毎フレームの水平、垂直解像度、すなわち、総計２６２，１４４の画素を生じ るに充分に速い。

フレーム記憶装置２４が具備されている。このフレーム記憶装置は、ビデオデー タの少なくとも２つのフレームデータをディジタル形に記憶する能力があり、す なわち、少なくとも０．５Ｍバイト記憶容量のものである。

画像処理装置２０は、また、マイクロプロセッサ２６を含み、後者はフレーム記 憶装置内に記憶されている情報の所望の処理を実行する能力を有する。変換器モ ジュール２２、フレーム記憶装置２４及びマイクロプロセッサ２６は、全て、Ｖ ＭＥバス２８によって接続される。

第２図を参照すると、線図的にビデオデータのフレーム３０が示されている。フ レーム３０は、その中に窓３２を有する、６つの窓３２が示されている。この画 像処理装置の処理能力に応じて窓は６つより多い又は少なくないこともある。善 意は、例えば、平方数１６Ｘ１６又は３２Ｘ３２の画素を規定する。窓３２の位 置は、所定であるか、又は使用者によって選択可能である。

処理の最も簡単な形は、マイクロプロセッサ２６が窓３２の各々内の最強度の画 素（ホットスポット）を選択するように構成されている場合である。その後、こ の窓は自動的にこれに実質的に中心を合わせる。比較が、次いで、第１フレーム の窓と次に続くフレームの窓との間において行われ、それぞれのホットスポット の運動の一致が判定される。もしこれらの画素についてなにかしらの水平又は垂 直共通運動が認識されるならば、これは不意のカメラ運動に起因すると看される 。フレーム３０は、次いで、このホットスポットの共通運動に関連するベクトル に従って再写像される。このようにして、カメラの回転運動もまた識別すること が可能であり、フレーム３０の画素の適当写像がこのような回転運動を打ち消す ように行われる。このような電子安定化の正味結果は、ビデオデータがこのよう にして電子的に安定化されたとき監視装置上で観察される画像の頂部、底部又は 両側に黒帯が現れるということに帰する。もしカメラが電動機駆動台上に載持さ れていたとしたならば、監視装置のスクリーン上に再写像されたビデオデータの 変位を打ち消すように帰還を行うことができる。

再写像されたビデオデータは、フレーム記憶装置２４から変換器モジュール２２ に送られて、ここでアナログ情報に再変換される。ディジタル−アナログ変換器 は補間装置を含み、後者は再変換された信号を平滑化し、平滑化されたこの信号 は、次いで、監視装置１８及び（又は）ビデオ記録装置１６に送られる。

上に説明された画像処理の最も簡単な形は、もし比較が善意３２の最強度画素（ ホットスポット）についてのみならず、これらをとり囲む画素の強度についても 逐次続くフレーム３０の間で行われるならば、能力を増す。

このような処理は、等しい又はより強い強度の画素を窓３２内へ入れさせるよう なカメラの運動によって起こされる誤りを、回避する。

画像処理の好適形は、われわれの同時係属米国特許出願第８８１１２２３号、提 出日１９８８年５月１２日、発明の名称「ディジタルデータプロセッシング」　 （参考資料Ｆ　２’０５４４／Ｅ　Ｐ／ｈ　ｔ）に記載されているコーナ及びエ ツジ検出によって可能にされる。

この同時係属特許出願に記載された画像処理は、近労の画素の間の鋭い強度の変 動の検出を可能にする。コーナ又はエツジの検出は、ホットスポット、又はホッ トスポットとこれをとり囲む画素の強度であっても、これらを単に追跡するより も、遥かに正確である。

本発明は、これまでに説明されたいくつかの例の正確な細部に限定されることは なく、変更をこれに施すことが可能である。例えば、運動する物体を追跡しかつ その画像を監視装置のスクリーン上に中心を合わせて維持することが可能である 。実時間的に、運動する物体は、フレームからフレームへ実質的に等速度を有す るであろう。

この物体に中心を合わせた窓は、実質的に一定な再写像をおそらく起こすであろ う。そしてこの再写像の上に追加の検出運動に起因する再写像が重ね合わされる であろう。このような追跡に対しては、複数（すなわち、２台）像に適用される ベクトルを、カメラに物体を追跡させるためにカメラ用電動機駆動台に適用する こともできよう。

超小形軽量テレビジョンカメラを含む、いかなるセンサも、このようにして安定 化された出力を持つことができる。同様に、記録されたビデオデータを、画像処 理装置２０を通して再生しかつ安定化させることができる。

安定化が実時間的に実行されるので、１２．５Ｈｚの周波数までのいかなるセン サ照準不安定にも効果がある（３０フレ一ム／秒フレーム速度で１５Ｈり。

本発明のその他の変更は、添付の請求の範囲に規定されている本発明に範囲内で 、可能である。

十追跡画素の位置 ／最新のフレーム後の画素変位 国際調査報告 国際調査報告 ＧＢ　８９００７４２ ＳＡ　２９１ｉ１８４

Claims (15)

【特許請求の範囲】
1. １．安定化しようとするビデオ信号をディジタル化する変換装置と、少なくとも ２つのフレームに関係するディジタル情報を記憶するフレーム記憶装置と、窓規 定装置と、所定窓又は各窓内で少なくとも１つの特定画素を識別する識別装置と 、逐次続くフレーム内の所定画素又は各画素の位置を比較しかつ検出された運動 を規定するベクトルに従って前記フレームを再写像をする画像処理装置とを包含 することを特徴とする電子画像安定化装置。
2. ２．請求項１記載の電子画像安定化装置において、前記変換装置はアナログーデ ィジタル変換装置と、前記再写像されたフレームを再変換するためのディジタル ーアナログ変換装置とを含むことを特徴とする前記電子画像安定化装置。
3. ３．請求項１又は２記載の電子画像安定化装置において、前記窓規定装置は少な くとも６つの窓を規定し、該窓の位置は選択可能であることを特徴とする前記電 子画像安定化装置。
4. ４．請求項１から３のうちいずれか１つに記載の電子画像安定化装置において、 前記識別装置は最強度値の画素を各窓内において識別するように働くことを特徴 とする前記電子画像安定化装置。
5. ５．請求項４記載の電子画像安定化装置において、前記識別装置はなおまた各最 強度値の画素をとり囲む画素を識別するように働くことを特徴とする前記電子画 像安定化装置。
6. ６．請求項１から３のうちいずれか１つに記載の電子画像安定化装置において、 前記識別装置は１つ以上の近旁画素から強度が鋭く変化する１つ又は複数の画素 を各窓内で識別するように働くことを特徴とする前記電子画像安定化装置。
7. ７．請求項１から７のうちいずれか１つに記載の電子画像安定化装置において、 前記所定窓又は前記各窓は平方数の画素に等しい寸法のものであることを特徴と する前記電子画像安定化装置。
8. ８．請求項１から８のうちいずれか１つに記載の電子画像安定化装置において、 前記画像処理装置はマイクロプロセッサを含むことを特徴とする前記電子画像安 定化装置。
9. ９．付図参照して以上に実質的に説明されかつ付図に表示された電子画像安定化 装置。
10. １０．アナログビデオ信号を画素にディジタル化するステップと、少なくとも１ つの窓を各フレーム内に規定するステップと、第１フレームの所定窓又は各窓内 の少なくとも１つの画素の値及び位置を記憶するステップと、次に続くフレーム 内の少なくとも１つの画素の位置を記憶された値と比較するステップと、前記画 素の位置間の検出された運動を規定するベクトルに従って前記フレームを再写像 するステップとを包含することを特徴とする前記電子画像安定化方法。
11. １１．請求項１０記載の電子画像安定化方法において、前記少なくとも１つの画 素は最強度を有する窓内の画素を選択することによって決定されることを特徴と する前記電子画像安定化方法。
12. １２．請求項１０又は１１記載の電子画像安定化方法において、前記所定窓又は 前記各窓は平方数の画素に等しい寸法のものでありかつ前記少なくとも１つの画 素が前記窓内に実質的に中心に配置されるように前記窓を規定するステップを含 むことを特徴とする前記電子画像安定化方法。
13. １３．請求項１０から１２のうちいずれか１つに記載の電子画像安定化方法にお いて、少なくとも５つの窓が規定され、該窓は手動制御の下にフレーム内に配置 されることを特徴とする前記電子画像安定化方法。
14. １４．請求項１０から１３のうちいずれか１つに記載の電子画像安定化方法にお いて、前記所定画素又は前記各画素は２つ以上の近旁画素の間の強度の最大差に 基づいて選択されることを特徴とする前記電子画像安定化方法。
15. １５．以上に実質的に説明された電子画像安定化装置。