JPH07284004A - 電子イメージャおよび電子イメージャにおける動揺の補正方法 - Google Patents
電子イメージャおよび電子イメージャにおける動揺の補正方法Info
- Publication number
- JPH07284004A JPH07284004A JP6257154A JP25715494A JPH07284004A JP H07284004 A JPH07284004 A JP H07284004A JP 6257154 A JP6257154 A JP 6257154A JP 25715494 A JP25715494 A JP 25715494A JP H07284004 A JPH07284004 A JP H07284004A
- Authority
- JP
- Japan
- Prior art keywords
- video line
- calculating
- electronic imager
- image
- fourier transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
(57)【要約】
【目的】 電子的に収集されたイメージにおけるイメー
ジ・スミア(image smear) をTDI 検出器によって低減す
るためのシステムおよび方法を提供すること。 【構成】 電荷蓄積デバイスは、感知したイメージを表
す電荷の列をストアする。電荷は、電子イメージャが動
くと不鮮明になる。イメージャは、不鮮明電荷を連結し
不鮮明ビデオ・ラインを生成するシフト・レジスタ302
を備える。不鮮明ビデオ・ラインは、不鮮明電荷に比例
する一連のピクセル値を含む。イメージャは不鮮明ビデ
オ・ラインを補正するイメージ動揺補正回路３にも備え
る。イメージ動揺補正回路はセンサ314 から、電子イメ
ージャの動きを記述しているモーション情報を受信す
る。モーション情報を使用して不鮮明電荷のイメージふ
らつきを計算する。イメージふらつき計算結果を使用し
て不鮮明ビデオ・ライン316 から補正ビデオ・ライン31
8 を生成する。
ジ・スミア(image smear) をTDI 検出器によって低減す
るためのシステムおよび方法を提供すること。 【構成】 電荷蓄積デバイスは、感知したイメージを表
す電荷の列をストアする。電荷は、電子イメージャが動
くと不鮮明になる。イメージャは、不鮮明電荷を連結し
不鮮明ビデオ・ラインを生成するシフト・レジスタ302
を備える。不鮮明ビデオ・ラインは、不鮮明電荷に比例
する一連のピクセル値を含む。イメージャは不鮮明ビデ
オ・ラインを補正するイメージ動揺補正回路３にも備え
る。イメージ動揺補正回路はセンサ314 から、電子イメ
ージャの動きを記述しているモーション情報を受信す
る。モーション情報を使用して不鮮明電荷のイメージふ
らつきを計算する。イメージふらつき計算結果を使用し
て不鮮明ビデオ・ライン316 から補正ビデオ・ライン31
8 を生成する。
Description
【０００１】
【産業上の利用分野】本発明は、一般的には、カメラ・
イメージャ（光学カメラなど）に関し、より具体的に
は、カメラ・イメージャにおけるイメージ動揺(unstead
iness)を補正する電子システムおよび方法に関する。
イメージャ（光学カメラなど）に関し、より具体的に
は、カメラ・イメージャにおけるイメージ動揺(unstead
iness)を補正する電子システムおよび方法に関する。
【０００２】なお、本明細書の記述は本件出願の優先権
の基礎たる米国特許出願第０８／１３９，０８８号（１
９９３年１０月２１日出願）の明細書の記載に基づくも
のであって、当該米国特許出願の番号を参照することに
よって当該米国特許出願の明細書の記載内容が本明細書
の一部分を構成するものとする。
の基礎たる米国特許出願第０８／１３９，０８８号（１
９９３年１０月２１日出願）の明細書の記載に基づくも
のであって、当該米国特許出願の番号を参照することに
よって当該米国特許出願の明細書の記載内容が本明細書
の一部分を構成するものとする。
【０００３】
【従来の技術】カメラ・イメージャを使用して、感知さ
れたイメージを電子的に収集するときに、被写体空間(o
bject space)の斑点(patch) が対応する角方向のサイズ
のピクセル上に結像される時間の長さは、露出時間 (ex
posure time)と呼ばれている。カメラ・イメージャによ
って生成される信号レベルは、この露出時間に正比例し
ている。従って、他の条件がすべて等しければ、露出時
間が長くなれば、得られる信号レベルは大きくなる。信
号レベルが大きくなると、ピクセル間の信号雑音比(sig
nal-to-noise ratio - SN 比）は露出時間が短い場合よ
りも相対的に向上する。
れたイメージを電子的に収集するときに、被写体空間(o
bject space)の斑点(patch) が対応する角方向のサイズ
のピクセル上に結像される時間の長さは、露出時間 (ex
posure time)と呼ばれている。カメラ・イメージャによ
って生成される信号レベルは、この露出時間に正比例し
ている。従って、他の条件がすべて等しければ、露出時
間が長くなれば、得られる信号レベルは大きくなる。信
号レベルが大きくなると、ピクセル間の信号雑音比(sig
nal-to-noise ratio - SN 比）は露出時間が短い場合よ
りも相対的に向上する。
【０００４】しかし、露出時間が増加すると、２つの問
題が起こる。第１の問題は、単位時間当たりにカバーま
たはスキャン（走査）できる場面の面積が制限され、時
にはシステムの有用性が低減する程に制限されることで
ある。第２の問題は、車両の動揺が原因で起こるイメー
ジ・スミア(smear) 量が増加することである。このイメ
ージ・スミアが補正されていないと、イメージ品質（画
質）が低下することになる。
題が起こる。第１の問題は、単位時間当たりにカバーま
たはスキャン（走査）できる場面の面積が制限され、時
にはシステムの有用性が低減する程に制限されることで
ある。第２の問題は、車両の動揺が原因で起こるイメー
ジ・スミア(smear) 量が増加することである。このイメ
ージ・スミアが補正されていないと、イメージ品質（画
質）が低下することになる。
【０００５】従来の手法によれば、第１の問題は、時間
遅延・積分(time delay and integration - TDI)検出器
を使用して解決している。TDI 検出器は、大量の電荷を
蓄積する一方で、カバー量が最小になるという欠点を除
去することによって、露出できる時間を実効的に増加さ
せている。この望ましい結果が得られるのは、Ｎ個のTD
I ステージを使用したセンサは、対応する線形検出器(l
inear detector) よりもＮ倍の速度で走査ができるため
である。このようにステージが複数であると、場面の同
じ部分を複数にカバーできるので、使用するTDI ステー
ジの数に比例した電荷が得られることになる。従って、
TDI 検出器から得られる角度包括範囲(angular coverag
e)は、総露出時間が同じである対応する線形検出器より
もほぼＮ倍になる。しかし、TDI 検出器を使用しても、
第２の問題は解決されない。具体的には、TDI 検出器を
使用しても、総露出時間の関数として変化するイメージ
・スミア現象（イメージ動揺(image unsteadiness)とも
呼ばれる）は除去されない。
遅延・積分(time delay and integration - TDI)検出器
を使用して解決している。TDI 検出器は、大量の電荷を
蓄積する一方で、カバー量が最小になるという欠点を除
去することによって、露出できる時間を実効的に増加さ
せている。この望ましい結果が得られるのは、Ｎ個のTD
I ステージを使用したセンサは、対応する線形検出器(l
inear detector) よりもＮ倍の速度で走査ができるため
である。このようにステージが複数であると、場面の同
じ部分を複数にカバーできるので、使用するTDI ステー
ジの数に比例した電荷が得られることになる。従って、
TDI 検出器から得られる角度包括範囲(angular coverag
e)は、総露出時間が同じである対応する線形検出器より
もほぼＮ倍になる。しかし、TDI 検出器を使用しても、
第２の問題は解決されない。具体的には、TDI 検出器を
使用しても、総露出時間の関数として変化するイメージ
・スミア現象（イメージ動揺(image unsteadiness)とも
呼ばれる）は除去されない。
【０００６】
【発明が解決しようとする課題】動揺を安定化し、イメ
ージ・スミアを防止するために採用されている従来のシ
ステムは、機械的または光学機械的手法を使用して、被
写体空間に対してセンサを安定化させている。しかし、
多くの場合、望ましい許容レベルまでに達成するのが困
難である。その結果、効果的に採用できる露出時間とTD
I 積分回路の数がマイナスの影響を受けている。このこ
とは、しばしば、システム・パフォーマンスとシステム
が果たす役割の満足度に対する制約要因になっている。
従って、イメージ動揺を効果的に、かつ効率よく補正す
るシステムと方法が望まれている。
ージ・スミアを防止するために採用されている従来のシ
ステムは、機械的または光学機械的手法を使用して、被
写体空間に対してセンサを安定化させている。しかし、
多くの場合、望ましい許容レベルまでに達成するのが困
難である。その結果、効果的に採用できる露出時間とTD
I 積分回路の数がマイナスの影響を受けている。このこ
とは、しばしば、システム・パフォーマンスとシステム
が果たす役割の満足度に対する制約要因になっている。
従って、イメージ動揺を効果的に、かつ効率よく補正す
るシステムと方法が望まれている。
【０００７】
【課題を解決するための手段】本発明は、TDI 検出器に
よって電子的に収集されたイメージにおけるイメージ・
スミアを低減するためのシステムと方法を提供すること
を目的としている。具体的には、本発明は、TDI 検出器
のような電荷蓄積デバイスを備えた電子イメージャを提
供することを目的としている。電荷蓄積デバイスは、感
知されたイメージを表す電荷の列を蓄積する。これらの
電荷は、電子イメージャをイメージ場面に対して相対的
に動かすと、不鮮明(blurred) になり、これはイメージ
ふらつきやピクセルの汚れの原因となる。この結果、TD
I 検出器から得られる出力は、不鮮明ビデオ・ライン(b
lurred video line)となる。
よって電子的に収集されたイメージにおけるイメージ・
スミアを低減するためのシステムと方法を提供すること
を目的としている。具体的には、本発明は、TDI 検出器
のような電荷蓄積デバイスを備えた電子イメージャを提
供することを目的としている。電荷蓄積デバイスは、感
知されたイメージを表す電荷の列を蓄積する。これらの
電荷は、電子イメージャをイメージ場面に対して相対的
に動かすと、不鮮明(blurred) になり、これはイメージ
ふらつきやピクセルの汚れの原因となる。この結果、TD
I 検出器から得られる出力は、不鮮明ビデオ・ライン(b
lurred video line)となる。
【０００８】イメージャは、不鮮明電荷(blurred charg
es) を連結することによって不鮮明ビデオ・ラインを生
成するためのシフト・レジスタを備えている。不鮮明ビ
デオ・ラインは、不鮮明電荷に比例する一連のピクセル
値を含んでいる。
es) を連結することによって不鮮明ビデオ・ラインを生
成するためのシフト・レジスタを備えている。不鮮明ビ
デオ・ラインは、不鮮明電荷に比例する一連のピクセル
値を含んでいる。
【０００９】また、イメージャは、不鮮明ビデオ・ライ
ンを補正するためのイメージ動揺補正回路を備えてい
る。このイメージ動揺補正回路は、一般的に、次のよう
に動作する。まず、イメージ動揺補正回路はモーション
情報をセンサから受け取る。ここで、モーション情報
は、電子イメージャに入るイメージの動き（電子イメー
ジャが動くことによる）を記述したものである。次に、
イメージ動揺補正回路は、モーション情報の使用によっ
て、不鮮明電荷のイメージふらつき(image wander)を計
算する。次に、イメージ動揺補正回路は、イメージふら
つき計算結果を使用して、不鮮明ビデオ・ラインから補
正されたビデオ・ラインを生成する。
ンを補正するためのイメージ動揺補正回路を備えてい
る。このイメージ動揺補正回路は、一般的に、次のよう
に動作する。まず、イメージ動揺補正回路はモーション
情報をセンサから受け取る。ここで、モーション情報
は、電子イメージャに入るイメージの動き（電子イメー
ジャが動くことによる）を記述したものである。次に、
イメージ動揺補正回路は、モーション情報の使用によっ
て、不鮮明電荷のイメージふらつき(image wander)を計
算する。次に、イメージ動揺補正回路は、イメージふら
つき計算結果を使用して、不鮮明ビデオ・ラインから補
正されたビデオ・ラインを生成する。
【００１０】本発明の好適実施例によれば、イメージ動
揺補正回路は、その概要は上述した通りであるが、以下
に述べる理論に従って実現されている。不鮮明ラインと
は、補正ラインと不鮮明カーネル(blur kernel) をコン
ボリューション(convolutionn)したものである。不鮮明
ラインは既知である。従って、イメージ動揺補正回路
は、一般的に、まず不鮮明カーネルを判別することから
動作する。次に、イメージ動揺補正回路はこの不鮮明カ
ーネルを使用して、不鮮明ラインのデコンボリューショ
ン(deconvolution) を行って補正ラインを生成する。
揺補正回路は、その概要は上述した通りであるが、以下
に述べる理論に従って実現されている。不鮮明ラインと
は、補正ラインと不鮮明カーネル(blur kernel) をコン
ボリューション(convolutionn)したものである。不鮮明
ラインは既知である。従って、イメージ動揺補正回路
は、一般的に、まず不鮮明カーネルを判別することから
動作する。次に、イメージ動揺補正回路はこの不鮮明カ
ーネルを使用して、不鮮明ラインのデコンボリューショ
ン(deconvolution) を行って補正ラインを生成する。
【００１１】本発明によれば、このデコンボリューショ
ンは例えば次の２実施例で行われる。第１実施例は空間
アプローチ(spatial approach)によるものである。第２
実施例は周波数アプローチ(frequency approach)による
ものである。
ンは例えば次の２実施例で行われる。第１実施例は空間
アプローチ(spatial approach)によるものである。第２
実施例は周波数アプローチ(frequency approach)による
ものである。
【００１２】本発明のその他の特徴と利点を、本発明の
種々実施例の構造と動作と共に、以下において添付図面
を参照して詳しく説明する。図面において、同一または
機能的に類似のエレメントは、類似の参照符号で示され
ている。さらに、参照符号の左端桁は、その参照符号が
最初に記載されている図面を示している。
種々実施例の構造と動作と共に、以下において添付図面
を参照して詳しく説明する。図面において、同一または
機能的に類似のエレメントは、類似の参照符号で示され
ている。さらに、参照符号の左端桁は、その参照符号が
最初に記載されている図面を示している。
【００１３】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
に説明する。
【００１４】図１は、カメラ・イメージャ(camera imag
er)100におけるイメージ・スミア現象(effects of imag
e smear)を示す図である。カメラ・イメージャ100 は、
シフト・レジスタ102 、TDI 検出器104 、および増幅器
106 を備えている。TDI 検出器104 は複数のステージ10
8A〜108E（108 と総称する）からなっている。各ステー
ジは複数のカラム(column) 110A 〜110J（110 と総称す
る）からなっている。走査センサ（図１には示されてい
ない）から得られたイメージは、最下段ステージ108Eか
らTDI 検出器104 に入力され、最上段ステージ108Aへ向
かって滑らかに進んでいく。電荷はイメージと公称同期
しながら移動していくので、イメージが図示のTDI ステ
ージの５つすべてを横切った時点で総電荷の５倍が生成
される（単一の線形検出と比較して）。
er)100におけるイメージ・スミア現象(effects of imag
e smear)を示す図である。カメラ・イメージャ100 は、
シフト・レジスタ102 、TDI 検出器104 、および増幅器
106 を備えている。TDI 検出器104 は複数のステージ10
8A〜108E（108 と総称する）からなっている。各ステー
ジは複数のカラム(column) 110A 〜110J（110 と総称す
る）からなっている。走査センサ（図１には示されてい
ない）から得られたイメージは、最下段ステージ108Eか
らTDI 検出器104 に入力され、最上段ステージ108Aへ向
かって滑らかに進んでいく。電荷はイメージと公称同期
しながら移動していくので、イメージが図示のTDI ステ
ージの５つすべてを横切った時点で総電荷の５倍が生成
される（単一の線形検出と比較して）。
【００１５】電荷の総和はシフト・レジスタ102 へ転送
され、そのあと、イメージ電荷の次のラインがTDI 検出
器104 からシフト・レジスタ102 に到達するために必要
な期間の間に増幅器106 に出力される。このプロセス全
体はパイプライン化されているので、各ピクセルには、
イメージの一部が常に入射されている。電荷がイメージ
と同期がとられるときのメカニズムは、普通、マルチフ
ェーズ転送プロセス(multi-phase transfer process)を
有し、このプロセスは、矢印112 で示す方向への電荷の
完全に円滑な運動に近似している。
され、そのあと、イメージ電荷の次のラインがTDI 検出
器104 からシフト・レジスタ102 に到達するために必要
な期間の間に増幅器106 に出力される。このプロセス全
体はパイプライン化されているので、各ピクセルには、
イメージの一部が常に入射されている。電荷がイメージ
と同期がとられるときのメカニズムは、普通、マルチフ
ェーズ転送プロセス(multi-phase transfer process)を
有し、このプロセスは、矢印112 で示す方向への電荷の
完全に円滑な運動に近似している。
【００１６】乱れていないイメージ・パッチの理想的な
動きは、カラム110Cにイメージ経路120 で示されてい
る。イメージ経路122 を通るイメージは、TDI 検出器10
4 に入った個所から、シフト・レジスタ102 に転送され
る個所まで、双方向に（および時間的に）円滑に移動す
る。これは、イメージ全体に動揺がない場合を示してい
る。イメージに未補正のふらつきがある場合は、イメー
ジふらつき(image wander)と呼ばれ、図１にイメージ経
路122 で示されている。関連のイメージ・パッチは単一
カラム（つまり、カラム110H) に限定されていないで、
ふらついてカラム110Gと110Iも汚している。イメージ場
面のうち、相互に隣り合う部分はすべて、ほぼ一緒に移
動しているので、カラム110Gと110Iは同じようにカラム
110Hを汚している。 イメージ・スミアは、カメラ・イ
メージャの変調伝達関数(modulation transfer functio
n - MTF)を低下する。MTF は線広がり関数(line spread
function)のフーリエ変換である。イメージ・スキーム
(image scheme)は、以下に式(1) に示す方程式に従って
MFT を低下する。
動きは、カラム110Cにイメージ経路120 で示されてい
る。イメージ経路122 を通るイメージは、TDI 検出器10
4 に入った個所から、シフト・レジスタ102 に転送され
る個所まで、双方向に（および時間的に）円滑に移動す
る。これは、イメージ全体に動揺がない場合を示してい
る。イメージに未補正のふらつきがある場合は、イメー
ジふらつき(image wander)と呼ばれ、図１にイメージ経
路122 で示されている。関連のイメージ・パッチは単一
カラム（つまり、カラム110H) に限定されていないで、
ふらついてカラム110Gと110Iも汚している。イメージ場
面のうち、相互に隣り合う部分はすべて、ほぼ一緒に移
動しているので、カラム110Gと110Iは同じようにカラム
110Hを汚している。 イメージ・スミアは、カメラ・イ
メージャの変調伝達関数(modulation transfer functio
n - MTF)を低下する。MTF は線広がり関数(line spread
function)のフーリエ変換である。イメージ・スキーム
(image scheme)は、以下に式(1) に示す方程式に従って
MFT を低下する。
【００１７】
【数９】
【００１８】イメージ・スミアは、いくつかの乱れによ
って発生する。例えば、カメラ・イメージャが置かれて
いる台が航空機の中にある場合、乱れとして、ロール(r
oll)、ピッチ(pitch) 、ヨー(yaw) 、正方向運動補正(f
orward motion compensation- FMC)、迎え角(angle of
attack) 、およびドリフト角(drift angle) がある。
これらの乱れは、この分野ではよく知られている。
って発生する。例えば、カメラ・イメージャが置かれて
いる台が航空機の中にある場合、乱れとして、ロール(r
oll)、ピッチ(pitch) 、ヨー(yaw) 、正方向運動補正(f
orward motion compensation- FMC)、迎え角(angle of
attack) 、およびドリフト角(drift angle) がある。
これらの乱れは、この分野ではよく知られている。
【００１９】図２は、ナイキスト(Nyquist) 周波数のと
きの変調伝達関数がイメージ・スミアによって低下する
様子を示す図である。この曲線の一般形式は、正弦関数
の形式である。１ピクセルのイメージ・スミアでは、ナ
イキストMTF は63% に低下している。２ピクセルのスミ
アでは、ナイキストMTF はゼロになっている。従って、
イメージふらつきを補正するシステムの制約は、各ピク
セルにおける信号雑音比である。イメージふらつき量
は、有用な補正が達成されれば、±2 ピクセルを越える
ことはない。本発明の好適実施例によれば、実効イメー
ジ・スミアはピクセルの半分またはそれ以下に減少す
る。従って、図２に示すように、ナイキストMTF は半ピ
クセルの総スミアのとき90% である。
きの変調伝達関数がイメージ・スミアによって低下する
様子を示す図である。この曲線の一般形式は、正弦関数
の形式である。１ピクセルのイメージ・スミアでは、ナ
イキストMTF は63% に低下している。２ピクセルのスミ
アでは、ナイキストMTF はゼロになっている。従って、
イメージふらつきを補正するシステムの制約は、各ピク
セルにおける信号雑音比である。イメージふらつき量
は、有用な補正が達成されれば、±2 ピクセルを越える
ことはない。本発明の好適実施例によれば、実効イメー
ジ・スミアはピクセルの半分またはそれ以下に減少す
る。従って、図２に示すように、ナイキストMTF は半ピ
クセルの総スミアのとき90% である。
【００２０】図３は、本発明によるカメラ・イメージャ
300 を示す図である。カメラ・イメージャ300 は、シフ
ト・レジスタ302 、TDI 検出器304 、増幅器306 、およ
びイメージ動揺補正回路312 を備えている。TDI 検出器
304 は複数のステージ308A〜308D（308 と総称する）か
らなっている。ステージ308 はカラム310A〜310J（310
と総称する）に分割されている。本発明の好適実施例で
は、TDI 検出器304 は４つのステージ304A〜304Dを有す
る。これは、MTF に対する影響を少なくする最適なステ
ージ数であることが判明している。しかし、この分野の
専門家が理解されるように、TDI 検出器のステージ数は
任意である。
300 を示す図である。カメラ・イメージャ300 は、シフ
ト・レジスタ302 、TDI 検出器304 、増幅器306 、およ
びイメージ動揺補正回路312 を備えている。TDI 検出器
304 は複数のステージ308A〜308D（308 と総称する）か
らなっている。ステージ308 はカラム310A〜310J（310
と総称する）に分割されている。本発明の好適実施例で
は、TDI 検出器304 は４つのステージ304A〜304Dを有す
る。これは、MTF に対する影響を少なくする最適なステ
ージ数であることが判明している。しかし、この分野の
専門家が理解されるように、TDI 検出器のステージ数は
任意である。
【００２１】イメージ動揺補正回路312 は、モーション
・データ・ライン320 に関するモーション情報をセンサ
314 から受け取る。シフト・レジスタ302 、TDI 検出器
304、および増幅器306 の構成と動作は公知であり、その
動作は図１を参照して説明したとおりである。以下、イ
メージ動揺補正回路312 の一般的動作について、図４に
示すフローチャートを参照して説明する。
・データ・ライン320 に関するモーション情報をセンサ
314 から受け取る。シフト・レジスタ302 、TDI 検出器
304、および増幅器306 の構成と動作は公知であり、その
動作は図１を参照して説明したとおりである。以下、イ
メージ動揺補正回路312 の一般的動作について、図４に
示すフローチャートを参照して説明する。
【００２２】ステップ402 は、イメージ・スミア補正プ
ロセスの開始を示している。ステップ404 で、イメージ
動揺補正回路312 は、不鮮明ビデオ・ラインをライン31
6 を経由して増幅器306 から受信する。不鮮明ビデオ・
ライン316 は、シフト・レジスタ302 内の電荷に比例す
る一連のピクセル値を含んでいる。ビデオ・ライン316
の不鮮明は、上述した台の動揺が原因で起こる。
ロセスの開始を示している。ステップ404 で、イメージ
動揺補正回路312 は、不鮮明ビデオ・ラインをライン31
6 を経由して増幅器306 から受信する。不鮮明ビデオ・
ライン316 は、シフト・レジスタ302 内の電荷に比例す
る一連のピクセル値を含んでいる。ビデオ・ライン316
の不鮮明は、上述した台の動揺が原因で起こる。
【００２３】ステップ406 で、イメージ動揺補正回路31
2 は、モーション・データ・ライン320 を経由してセン
サ314 から送られてきたモーション情報を使用して、イ
メージふらつきの程度を計算する。イメージふらつき
は、図１のカラム110G、110Hおよび110Iを参照して上述
した通りである。例えば、イメージふらつきは、カメラ
・イメージャ301 が航空機搭載の台上に置かれていて、
台が動くと、イメージふらつきの原因となるような場合
に、起こることがある。センサ304 は、周知のジャイロ
であってもよく、台の動きを感知する。モーション・デ
ータ・ライン320上を伝達されるモーション情報は、こ
の台の動きを数量化している。
2 は、モーション・データ・ライン320 を経由してセン
サ314 から送られてきたモーション情報を使用して、イ
メージふらつきの程度を計算する。イメージふらつき
は、図１のカラム110G、110Hおよび110Iを参照して上述
した通りである。例えば、イメージふらつきは、カメラ
・イメージャ301 が航空機搭載の台上に置かれていて、
台が動くと、イメージふらつきの原因となるような場合
に、起こることがある。センサ304 は、周知のジャイロ
であってもよく、台の動きを感知する。モーション・デ
ータ・ライン320上を伝達されるモーション情報は、こ
の台の動きを数量化している。
【００２４】ステップ408 で、イメージ動揺補正回路31
2 は、イメージふらつきの計算（下述する）を用いて補
正ビデオ・ライン318 を生成し、不鮮明ビデオ・ライン
316を補正する。そのあと、イメージ・スミア補正プロ
セスはステップ410 で完了する。
2 は、イメージふらつきの計算（下述する）を用いて補
正ビデオ・ライン318 を生成し、不鮮明ビデオ・ライン
316を補正する。そのあと、イメージ・スミア補正プロ
セスはステップ410 で完了する。
【００２５】本発明の好適実施例によれば、イメージ動
揺補正回路312 は、その概要は上述したとおりである
が、次に述べる理論に従って実現されている。
揺補正回路312 は、その概要は上述したとおりである
が、次に述べる理論に従って実現されている。
【００２６】不鮮明ビデオ・ライン316 とは、補正され
たビデオ・ライン318 と不鮮明カーネル（図３には示さ
れていない）とをコンボリューションしたものである。
この様子を示したのが図５であり、図５には、補正され
たビデオ・ライン318 、不鮮明ビデオ・ライン316 、お
よび不鮮明カーネル502 の一部分が例示されている。不
鮮明ビデオ・ライン316 の各エレメントは、補正された
ビデオ・ライン318 の２つのエレメントを不鮮明カーネ
ル504 の２エレメントとコンボリューションすることに
よって判断される（例えば、5*1 + 4*1 = 9 および4*1
+ 2*1 = 6)。
たビデオ・ライン318 と不鮮明カーネル（図３には示さ
れていない）とをコンボリューションしたものである。
この様子を示したのが図５であり、図５には、補正され
たビデオ・ライン318 、不鮮明ビデオ・ライン316 、お
よび不鮮明カーネル502 の一部分が例示されている。不
鮮明ビデオ・ライン316 の各エレメントは、補正された
ビデオ・ライン318 の２つのエレメントを不鮮明カーネ
ル504 の２エレメントとコンボリューションすることに
よって判断される（例えば、5*1 + 4*1 = 9 および4*1
+ 2*1 = 6)。
【００２７】不鮮明ビデオ・ライン316 は増幅器306 か
ら送られる。従って、イメージ動揺補正回路312 は、ま
ず、不鮮明カーネル502 を判断することから動作するの
が一般的である。次に、イメージ動揺補正回路312 はこ
の不鮮明カーネルを用いて、不鮮明ビデオ・ライン316
のデコンボリューションを行って補正ビデオ・ライン31
8 を生成する。
ら送られる。従って、イメージ動揺補正回路312 は、ま
ず、不鮮明カーネル502 を判断することから動作するの
が一般的である。次に、イメージ動揺補正回路312 はこ
の不鮮明カーネルを用いて、不鮮明ビデオ・ライン316
のデコンボリューションを行って補正ビデオ・ライン31
8 を生成する。
【００２８】各TDI ステージでは、ピクセルの理論的中
心は、航空機の向きとサーボ誤差の関数として、フォー
カル位置エレメントの中心からオフセットしている。出
力ラインは、これらのシフトされたTDI ステージを総和
したものである。誤差は、定数のｘシフト（フォーカル
平面の長軸に平行）と、フォーカル・プレーンからの距
離と共に変化するｙシフトに分解できるものと想定す
る。
心は、航空機の向きとサーボ誤差の関数として、フォー
カル位置エレメントの中心からオフセットしている。出
力ラインは、これらのシフトされたTDI ステージを総和
したものである。誤差は、定数のｘシフト（フォーカル
平面の長軸に平行）と、フォーカル・プレーンからの距
離と共に変化するｙシフトに分解できるものと想定す
る。
【００２９】δfmc の最大値が1,800 μラジアン／秒で
あるものとする。TDI ステージが16で、露出時間が１ミ
リ秒であるときは、総FMC 誤差は28.8μラジアンにな
る。ロール・サーボ誤差δroll = 500μラジアン／秒で
ある。TDI ステージが16で、露出時間が１ミリ秒である
ときは、総ロール誤差は8.0 μラジアンになる。回転誤
差δrot が900 μラジアン／秒、つまり、露出時間の間
14.4μラジアンであるとする。この分析には、未補正の
迎え角またはドリフト角の項は含まれていないが、これ
らはポインティング・ミラー(pointing mirror) によっ
て除去されるものと想定しているためである。
あるものとする。TDI ステージが16で、露出時間が１ミ
リ秒であるときは、総FMC 誤差は28.8μラジアンにな
る。ロール・サーボ誤差δroll = 500μラジアン／秒で
ある。TDI ステージが16で、露出時間が１ミリ秒である
ときは、総ロール誤差は8.0 μラジアンになる。回転誤
差δrot が900 μラジアン／秒、つまり、露出時間の間
14.4μラジアンであるとする。この分析には、未補正の
迎え角またはドリフト角の項は含まれていないが、これ
らはポインティング・ミラー(pointing mirror) によっ
て除去されるものと想定しているためである。
【００３０】イメージ・モーション誤差は、"X" モーシ
ョン成分、"Y" モーション成分、および回転成分（"X"
項と"Y" 項の両方をもつ）に変形することが可能であ
る。本発明によれば、イメージ・モーション誤差は、次
の２式(2) と(3) で表されている。
ョン成分、"Y" モーション成分、および回転成分（"X"
項と"Y" 項の両方をもつ）に変形することが可能であ
る。本発明によれば、イメージ・モーション誤差は、次
の２式(2) と(3) で表されている。
【００３１】
【数１０】 δx ＝f δFMC （式２） δy ＝ (f δroll) ＋δrot （式３） ただし、δFMC ＝正方向モーション成分の誤差 δroll＝ロール誤差 δrot ＝回転誤差 f ＝フォーカル長 x ＝中心y 配列からのx 座標距離 これらの計算は、使用される各TDI ステージごとに、各
ラインについて繰り返して行って、結果を累積する必要
がある。
ラインについて繰り返して行って、結果を累積する必要
がある。
【００３２】これらの値を使用した最大δx シフトは1.
2 ピクセルであり、最大δy シフトは、配列の中心では
0.3 ピクセル、終端では0.4 ピクセルである。
2 ピクセルであり、最大δy シフトは、配列の中心では
0.3 ピクセル、終端では0.4 ピクセルである。
【００３３】δy はＺ座標の関数であるので、シフトは
フォーカル・プレーンを横切って変化し、理論的には、
各ピクセルごとに異なるコンボリューション・カーネル
(convolution kernel)が必要になる。その代わりに、許
容誤差として0.1 ピクセル・スミアが選択でき、最大Y
シフトは１ピクセル以下であるので、フォーカル・プレ
ーンの各半分を、各々が領域内で同じシフトをもつ10領
域に分割することができる。シフトは、配列中心の両側
で左右対称になる。
フォーカル・プレーンを横切って変化し、理論的には、
各ピクセルごとに異なるコンボリューション・カーネル
(convolution kernel)が必要になる。その代わりに、許
容誤差として0.1 ピクセル・スミアが選択でき、最大Y
シフトは１ピクセル以下であるので、フォーカル・プレ
ーンの各半分を、各々が領域内で同じシフトをもつ10領
域に分割することができる。シフトは、配列中心の両側
で左右対称になる。
【００３４】式(2) と(3) に示すように、δx は単一の
Xモーション成分：正方向モーション補正(FMC) で表さ
れる。X 方向の回転成分は無視してもよい。従って、δ
x は、不鮮明ビデオ・ライン316 内のピクセル間では変
化しない。
Xモーション成分：正方向モーション補正(FMC) で表さ
れる。X 方向の回転成分は無視してもよい。従って、δ
x は、不鮮明ビデオ・ライン316 内のピクセル間では変
化しない。
【００３５】δy はY モーション成分（つまり、ロー
ル）と回転成分で表される。ロール成分は、不鮮明ビデ
オ・ライン316 内のピクセル間では変化しない。しか
し、回転成分は、ライン308 間のピクセル（つまり、位
置）と共に変化する。
ル）と回転成分で表される。ロール成分は、不鮮明ビデ
オ・ライン316 内のピクセル間では変化しない。しか
し、回転成分は、ライン308 間のピクセル（つまり、位
置）と共に変化する。
【００３６】式(2) と(3) には、迎え角やドリフト角と
いった、すべての乱れの項は含まれていない（これらの
乱れは、ポインティング・ミラーによって除去されるも
のと想定してるためである）。これらの乱れは、幾何学
的歪みを若干引き起こすが、解像度を著しく低下させる
ことはない。しかし、式(2) と(3) は、他の乱れに関す
る周知の数学関係式を用いると、他の乱れの項を含める
ように拡張することが可能である。
いった、すべての乱れの項は含まれていない（これらの
乱れは、ポインティング・ミラーによって除去されるも
のと想定してるためである）。これらの乱れは、幾何学
的歪みを若干引き起こすが、解像度を著しく低下させる
ことはない。しかし、式(2) と(3) は、他の乱れに関す
る周知の数学関係式を用いると、他の乱れの項を含める
ように拡張することが可能である。
【００３７】図６は、イメージ動揺補正回路312 によっ
て実行されるステップ 406（イメージふらつきの計算）
を示すフローチャートである。イメージ動揺補正回路31
2 は、図４のステップ404 に示すように、不鮮明ビデオ
・ラインを増幅器306 から受け取っている。
て実行されるステップ 406（イメージふらつきの計算）
を示すフローチャートである。イメージ動揺補正回路31
2 は、図４のステップ404 に示すように、不鮮明ビデオ
・ラインを増幅器306 から受け取っている。
【００３８】ステップ602 で、イメージ動揺補正回路31
2 は、モーション・データ・ライン320 経由でセンサ31
4 から送られてきたモーション情報を使用して、モーシ
ョン成分と回転成分（つまり、δFMC 、δrollおよびδ
rot ）を計算する。
2 は、モーション・データ・ライン320 経由でセンサ31
4 から送られてきたモーション情報を使用して、モーシ
ョン成分と回転成分（つまり、δFMC 、δrollおよびδ
rot ）を計算する。
【００３９】ステップ604 で、イメージ動揺補正回路31
2 はステップ602 の結果を使用して、不鮮明ビデオ・ラ
イン316 のδx を計算する（下述）。
2 はステップ602 の結果を使用して、不鮮明ビデオ・ラ
イン316 のδx を計算する（下述）。
【００４０】本発明の好適実施例によれば、不鮮明ビデ
オ・ライン502 はいくつかの領域に分割される。ステッ
プ606 で、イメージ動揺補正回路312 はステップ602 の
結果を使用して、δy を計算する。δy 値は各領域ごと
に計算される。具体的には、各領域ごとに、領域からの
ピクセルが選択され、その領域のδy 値が計算される
（好ましくは、各領域内の中心ピクセルが使用され
る）。本発明の好適実施例では、領域は10になってい
る。
オ・ライン502 はいくつかの領域に分割される。ステッ
プ606 で、イメージ動揺補正回路312 はステップ602 の
結果を使用して、δy を計算する。δy 値は各領域ごと
に計算される。具体的には、各領域ごとに、領域からの
ピクセルが選択され、その領域のδy 値が計算される
（好ましくは、各領域内の中心ピクセルが使用され
る）。本発明の好適実施例では、領域は10になってい
る。
【００４１】ステップ608 で、イメージ動揺補正回路31
2 は X不鮮明カーネルを計算する（下述）。X 不鮮明カ
ーネルは後続のステップで使用され、X 方向の乱れの不
鮮明ビデオ・ライン316 が補正される。X 不鮮明カーネ
ルがどのように計算されるかを、不鮮明ビデオ・ライン
316 の一部をグラフで示している図７を参照して説明す
る。
2 は X不鮮明カーネルを計算する（下述）。X 不鮮明カ
ーネルは後続のステップで使用され、X 方向の乱れの不
鮮明ビデオ・ライン316 が補正される。X 不鮮明カーネ
ルがどのように計算されるかを、不鮮明ビデオ・ライン
316 の一部をグラフで示している図７を参照して説明す
る。
【００４２】図５および図７に示すように、不鮮明ビデ
オ・ライン316 はピクセルP1、P2、P3、P4、P5、P6およ
びP7をもち、それぞれの値は5、 4、 2、 1、 6、 7および8
になっている。ΔX （ステップ604 で計算したもの）が
1.5 ピクセルであるとする。このことは、ピクセルが1.
5 ピクセルだけX 方向にシフトしたことを意味する。従
って、P3は不鮮明値が２になっている。その非不鮮明値
は3.5 であり、これは1.5 ピクセルだけシフトしたこと
を表している。同様に、P4は不鮮明値が１になている。
1.5 ピクセル右へ移動すると、明らかなように、P4は不
鮮明値が6.5 になる。1.5 ピクセルのシフトは、不鮮明
カーネルを0,0,0,0,0,.5,5としてデコンボリューション
したのと同じである。
オ・ライン316 はピクセルP1、P2、P3、P4、P5、P6およ
びP7をもち、それぞれの値は5、 4、 2、 1、 6、 7および8
になっている。ΔX （ステップ604 で計算したもの）が
1.5 ピクセルであるとする。このことは、ピクセルが1.
5 ピクセルだけX 方向にシフトしたことを意味する。従
って、P3は不鮮明値が２になっている。その非不鮮明値
は3.5 であり、これは1.5 ピクセルだけシフトしたこと
を表している。同様に、P4は不鮮明値が１になている。
1.5 ピクセル右へ移動すると、明らかなように、P4は不
鮮明値が6.5 になる。1.5 ピクセルのシフトは、不鮮明
カーネルを0,0,0,0,0,.5,5としてデコンボリューション
したのと同じである。
【００４３】図６に戻り、ステップ610 で、イメージ動
揺補正回路312 は、不鮮明ビデオ・ライン316 の各領域
ごとにY 不鮮明カーネルを計算する。領域内のY 不鮮明
カーネルの計算の仕方は、Y 不鮮明カーネルを計算する
のに、y 値が使用されることを除けば、X 不鮮明カーネ
ルの計算の仕方（ステップ608)と同じである。Y 不鮮明
カーネルは後続のステップで使用され、Y 方向の乱れに
よる不鮮明ビデオ・ライン316 が補正される。
揺補正回路312 は、不鮮明ビデオ・ライン316 の各領域
ごとにY 不鮮明カーネルを計算する。領域内のY 不鮮明
カーネルの計算の仕方は、Y 不鮮明カーネルを計算する
のに、y 値が使用されることを除けば、X 不鮮明カーネ
ルの計算の仕方（ステップ608)と同じである。Y 不鮮明
カーネルは後続のステップで使用され、Y 方向の乱れに
よる不鮮明ビデオ・ライン316 が補正される。
【００４４】ライン316 の領域のY 不鮮明カーネルがど
のように計算されるかについて、図８を参照して詳しく
説明する。図８は、不鮮明ライン316 の一部を示す。こ
の不鮮明ラインは、５個のピクセル値、つまり、UC1、 U
C2、 UC3、 UC4およびUC5 を収めている領域をもってい
る。この領域のY 不鮮明カーネルを計算するとき、イメ
ージ動揺補正回路312 は中間ピクセル、この場合は、UC
3 を使用する。この領域のY 不鮮明カーネルを計算する
ために、イメージ動揺補正回路312 は、ピクセルUC3 と
同じ列310 にある、前のビデオ・ライン316Pと将来のラ
イン316Fからの値を使用する。
のように計算されるかについて、図８を参照して詳しく
説明する。図８は、不鮮明ライン316 の一部を示す。こ
の不鮮明ラインは、５個のピクセル値、つまり、UC1、 U
C2、 UC3、 UC4およびUC5 を収めている領域をもってい
る。この領域のY 不鮮明カーネルを計算するとき、イメ
ージ動揺補正回路312 は中間ピクセル、この場合は、UC
3 を使用する。この領域のY 不鮮明カーネルを計算する
ために、イメージ動揺補正回路312 は、ピクセルUC3 と
同じ列310 にある、前のビデオ・ライン316Pと将来のラ
イン316Fからの値を使用する。
【００４５】図８に示すように、不鮮明カラム310 から
のUCA、 UCB、 UCC およびUCD は、不鮮明ビデオ・ライン
316 にUC3 を含んでいる領域のY 不鮮明カーネルを計算
するために使用される。UCA とUCB は、不鮮明ライン31
6 の前に現れたライン316Pに存在している。UCC とUCD
は、不鮮明ライン316 の後に現れたライン316Fに存在し
ている。従って、不鮮明ライン316 内の領域の不鮮明カ
ーネルを計算するためには、イメージ動揺補正回路312
は、不鮮明ライン316 の前に現れたライン316Pとライン
316 のあとに現れたライン316Fを記憶していなければな
らない。本発明の好適実施例によれば、イメージ動揺補
正回路312 は、15本のライン316 をストアできるメモリ
を備えている。従って、イメージ動揺補正回路312 は前
の７本のライン316Pと将来の７本のライン316Fを使用し
て、各領域ごとに不鮮明カーネルを計算する。上述した
説明から理解されるように、将来のライン316Fが現れる
までイメージ動揺補正回路312 は不鮮明ライン316 を補
正できない。
のUCA、 UCB、 UCC およびUCD は、不鮮明ビデオ・ライン
316 にUC3 を含んでいる領域のY 不鮮明カーネルを計算
するために使用される。UCA とUCB は、不鮮明ライン31
6 の前に現れたライン316Pに存在している。UCC とUCD
は、不鮮明ライン316 の後に現れたライン316Fに存在し
ている。従って、不鮮明ライン316 内の領域の不鮮明カ
ーネルを計算するためには、イメージ動揺補正回路312
は、不鮮明ライン316 の前に現れたライン316Pとライン
316 のあとに現れたライン316Fを記憶していなければな
らない。本発明の好適実施例によれば、イメージ動揺補
正回路312 は、15本のライン316 をストアできるメモリ
を備えている。従って、イメージ動揺補正回路312 は前
の７本のライン316Pと将来の７本のライン316Fを使用し
て、各領域ごとに不鮮明カーネルを計算する。上述した
説明から理解されるように、将来のライン316Fが現れる
までイメージ動揺補正回路312 は不鮮明ライン316 を補
正できない。
【００４６】ステップ408 （不鮮明ビデオ・ラインの補
正）では、イメージ動揺補正回路312 は、前のステップ
で計算されたX とY 不鮮明カーネルを使用して不鮮明ビ
デオ・ライン316 を補正し、補正ビデオ・ライン318 を
生成する。本発明によれば、ステップ408 を実行する実
施例は２つある。空間アプローチと周波数アプローチで
ある。これらは、図９〜図１２を参照して、以下で詳し
く説明する。ステップ408 （不鮮明ビデオ・ラインの補
正）は、図９〜図１２に示すフローチャートの各々の入
口点として示されている。
正）では、イメージ動揺補正回路312 は、前のステップ
で計算されたX とY 不鮮明カーネルを使用して不鮮明ビ
デオ・ライン316 を補正し、補正ビデオ・ライン318 を
生成する。本発明によれば、ステップ408 を実行する実
施例は２つある。空間アプローチと周波数アプローチで
ある。これらは、図９〜図１２を参照して、以下で詳し
く説明する。ステップ408 （不鮮明ビデオ・ラインの補
正）は、図９〜図１２に示すフローチャートの各々の入
口点として示されている。
【００４７】Ａ．空間アプローチ(Spatial Approach) 図９は、本発明の空間アプローチのオペレーションを示
すフローチャートである。空間アプローチでは、デコン
ボリューション問題を一次方程式(linear equation) の
集合としてとらえ、補正ビデオ・ライン318 を得るため
に行列（マトリックス）が解(matrix solution) かれ
る。
すフローチャートである。空間アプローチでは、デコン
ボリューション問題を一次方程式(linear equation) の
集合としてとらえ、補正ビデオ・ライン318 を得るため
に行列（マトリックス）が解(matrix solution) かれ
る。
【００４８】ステップ902 で、イメージ動揺補正回路31
2 は不鮮明ビデオ・ライン316 とX不鮮明カーネルのピ
クセル値（図６のステップ608 で計算したもの）を使用
して、X 方向の補正ビデオ・ライン318 のための一次方
程式の集合を生成する。図１０は、一次方程式の集合を
計算するために使用される行列方程式の例を示す図であ
る。図１０に示す行列方程式は、係数マトリックス（行
列）(coefficient matrix)1002、変数配列(variable ar
ray)1004、および結果配列(results array)1006 を含ん
でいる。
2 は不鮮明ビデオ・ライン316 とX不鮮明カーネルのピ
クセル値（図６のステップ608 で計算したもの）を使用
して、X 方向の補正ビデオ・ライン318 のための一次方
程式の集合を生成する。図１０は、一次方程式の集合を
計算するために使用される行列方程式の例を示す図であ
る。図１０に示す行列方程式は、係数マトリックス（行
列）(coefficient matrix)1002、変数配列(variable ar
ray)1004、および結果配列(results array)1006 を含ん
でいる。
【００４９】係数マトリックス1002はJ x K 行列であ
る。ただし、J は各TDI ステージ308におけるピクセル
数に等しい。好適実施例では、J は4000である。K は変
数配列1004のサイズに等しい。係数マトリックス802 の
各行はX 不鮮明カーネル（例えば、K1とK2）とその前後
に置かれた一連のゼロからなっている。
る。ただし、J は各TDI ステージ308におけるピクセル
数に等しい。好適実施例では、J は4000である。K は変
数配列1004のサイズに等しい。係数マトリックス802 の
各行はX 不鮮明カーネル（例えば、K1とK2）とその前後
に置かれた一連のゼロからなっている。
【００５０】変数配列1004は、サイズがJ + 1 になって
いる。変数配列1004内の変数C1,C2,...,C10 は、補正ビ
デオ・ライン318 のピクセル値を表している。図１０に
示すように、変数配列1004はダミー値Ｄを含んでいる。
ダミー値Ｄは、図１０に示す行列方程式を実現するため
に必要になる（X 不鮮明カーネルが２桁（つまり、K1と
K2）であるので、係数行列1002のJ 寸法はK 寸法と等し
くない）。
いる。変数配列1004内の変数C1,C2,...,C10 は、補正ビ
デオ・ライン318 のピクセル値を表している。図１０に
示すように、変数配列1004はダミー値Ｄを含んでいる。
ダミー値Ｄは、図１０に示す行列方程式を実現するため
に必要になる（X 不鮮明カーネルが２桁（つまり、K1と
K2）であるので、係数行列1002のJ 寸法はK 寸法と等し
くない）。
【００５１】結果配列1006は、サイズがJ になってい
る。結果配列の値（つまり、UC1,UC2,...,UC10) は、不
鮮明ビデオ・ライン316 からのピクセル値を表してい
る。
る。結果配列の値（つまり、UC1,UC2,...,UC10) は、不
鮮明ビデオ・ライン316 からのピクセル値を表してい
る。
【００５２】従って、ステップ902 で、イメージ動揺補
正回路312 は、図１０に示す行列に対して周知の行列代
数演算を行って、一次方程式の集合を生成する。
正回路312 は、図１０に示す行列に対して周知の行列代
数演算を行って、一次方程式の集合を生成する。
【００５３】ステップ904 で、イメージ動揺補正回路31
2 は、X 方向の乱れに対して、補正ビデオ・ライン318
のピクセル値の一次方程式の集合（つまり、変数配列10
04内の変数）を解く。本発明の空間アプローチの後続ス
テップでは、Y 方向の乱れに対して、不鮮明ビデオ・ラ
イン316 の補正が行われる。
2 は、X 方向の乱れに対して、補正ビデオ・ライン318
のピクセル値の一次方程式の集合（つまり、変数配列10
04内の変数）を解く。本発明の空間アプローチの後続ス
テップでは、Y 方向の乱れに対して、不鮮明ビデオ・ラ
イン316 の補正が行われる。
【００５４】ステップ906 で、イメージ動揺補正回路31
2 は、不鮮明ライン316 の領域の１つを選択する。ステ
ップ908 で、イメージ動揺補正回路312 は、選択した領
域内のピクセルの１つを選択する。ステップ910 と912
で、イメージ動揺補正回路312 は、Y 方向の乱れに対し
てステップ908 で選択されたピクセルを補正するように
動作する。
2 は、不鮮明ライン316 の領域の１つを選択する。ステ
ップ908 で、イメージ動揺補正回路312 は、選択した領
域内のピクセルの１つを選択する。ステップ910 と912
で、イメージ動揺補正回路312 は、Y 方向の乱れに対し
てステップ908 で選択されたピクセルを補正するように
動作する。
【００５５】具体的に説明すると、ステップ910 で、イ
メージ動揺補正回路312 はY 方向の選択したピクセルの
一次方程式の集合を生成する。一次方程式の集合は、図
１０に示す行列方程式を用いて生成される。しかし、こ
の例では、係数マトリックス1002は、ステップ906 で選
択された領域のY 不鮮明カーネルを含んでいる。また、
変数配列1004内の変数（つまり、C1,C2,...,C10)は、ス
テップ908 で選択されたピクセルを収めているカラム31
0 内のピクセルの補正値を表している（図８を参照）。
結果配列1006内の値（UC1,UC2,...UC10)は、ステップ90
8 で選択されたピクセルに関連するカラム310 内のピク
セルの不鮮明値を表している（図８を参照）。
メージ動揺補正回路312 はY 方向の選択したピクセルの
一次方程式の集合を生成する。一次方程式の集合は、図
１０に示す行列方程式を用いて生成される。しかし、こ
の例では、係数マトリックス1002は、ステップ906 で選
択された領域のY 不鮮明カーネルを含んでいる。また、
変数配列1004内の変数（つまり、C1,C2,...,C10)は、ス
テップ908 で選択されたピクセルを収めているカラム31
0 内のピクセルの補正値を表している（図８を参照）。
結果配列1006内の値（UC1,UC2,...UC10)は、ステップ90
8 で選択されたピクセルに関連するカラム310 内のピク
セルの不鮮明値を表している（図８を参照）。
【００５６】上述したように、イメージ動揺補正回路31
2 は、前のライン316Pと将来のライン316Fを使用して、
Y 方向の不鮮明ライン316 を補正する。好適実施例で
は、イメージ動揺補正回路312 は、等しい数の前のライ
ン316Pと将来のライン316Fを使用する。従って、ステッ
プ608 で選択されたピクセルの補正値は、変数配列1004
内の中間の変数で表される。また、ステップ908 で選択
されたピクセルに対応する不鮮明ライン316 の要素は、
結果配列1006の中間の要素で表される。
2 は、前のライン316Pと将来のライン316Fを使用して、
Y 方向の不鮮明ライン316 を補正する。好適実施例で
は、イメージ動揺補正回路312 は、等しい数の前のライ
ン316Pと将来のライン316Fを使用する。従って、ステッ
プ608 で選択されたピクセルの補正値は、変数配列1004
内の中間の変数で表される。また、ステップ908 で選択
されたピクセルに対応する不鮮明ライン316 の要素は、
結果配列1006の中間の要素で表される。
【００５７】ステップ912 で、イメージ動揺補正回路31
2 は方程式の解を求めて、変数配列1004内の変数の値を
判断する。これらの値は、ステップ908 で選択されたピ
クセルに対応する値を除き、すべて破棄される。この値
は、X 方向とY 方向に補正された値である。イメージ動
揺補正回路312 はこの値を出力して、補正ライン318内
の適切な位置に入れる。
2 は方程式の解を求めて、変数配列1004内の変数の値を
判断する。これらの値は、ステップ908 で選択されたピ
クセルに対応する値を除き、すべて破棄される。この値
は、X 方向とY 方向に補正された値である。イメージ動
揺補正回路312 はこの値を出力して、補正ライン318内
の適切な位置に入れる。
【００５８】ステップ914 に示すように、ステップ908、
910および912 は領域内の各ピクセルごとに実行され
る。ステップ916 に示すように、ステップ908、 910、 91
2 および914 は、不鮮明ビデオ・ライン316 内の各領域
ごとに実行される。
910および912 は領域内の各ピクセルごとに実行され
る。ステップ916 に示すように、ステップ908、 910、 91
2 および914 は、不鮮明ビデオ・ライン316 内の各領域
ごとに実行される。
【００５９】本発明の好適実施例では、空間アプローチ
の線形行列演算は、汎用コンピュータによって実行され
る。この種の汎用コンピュータはこの分野では公知であ
る。
の線形行列演算は、汎用コンピュータによって実行され
る。この種の汎用コンピュータはこの分野では公知であ
る。
【００６０】Ｂ．周波数アプローチ(Frequency Approac
h) 図１１と図１２は、不鮮明ビデオ・ライン316 を補正す
るために本発明で使用される周波数アプローチのフロー
チャートを示す。周波数アプローチでは、デコンボリュ
ーションの問題を周波数領域の問題と見ている。従っ
て、周波数アプローチによれば、不鮮明ビデオ・ライン
316 のデコンボリューションは周波数領域でウィーナー
・フィルタ(Wiener filtering)を用いて行われる。ウィ
ーナ・フィルタには、フーリエ変換処理が必要である。
好適実施例によれば、フーリエ変換処理はフーリエ・プ
ロセッサを用いて実現している。かかるフーリエ・プロ
セッサは当該分野では周知である。
h) 図１１と図１２は、不鮮明ビデオ・ライン316 を補正す
るために本発明で使用される周波数アプローチのフロー
チャートを示す。周波数アプローチでは、デコンボリュ
ーションの問題を周波数領域の問題と見ている。従っ
て、周波数アプローチによれば、不鮮明ビデオ・ライン
316 のデコンボリューションは周波数領域でウィーナー
・フィルタ(Wiener filtering)を用いて行われる。ウィ
ーナ・フィルタには、フーリエ変換処理が必要である。
好適実施例によれば、フーリエ変換処理はフーリエ・プ
ロセッサを用いて実現している。かかるフーリエ・プロ
セッサは当該分野では周知である。
【００６１】次に、図１１と図１２を参照して説明する
と、ステップ1102で、イメージ動揺補正回路312 はC(f)
を計算する。なお、C(f)は、不鮮明ビデオ・ライン316
のデジタル・フーリエ変換(DFT) である。
と、ステップ1102で、イメージ動揺補正回路312 はC(f)
を計算する。なお、C(f)は、不鮮明ビデオ・ライン316
のデジタル・フーリエ変換(DFT) である。
【００６２】ステップ1104で、イメージ動揺補正回路31
2 はN(f)を計算する。なお、N(f)はノイズのDFT であ
る。好適実施例によれば、ホワイト・ノイズ(white noi
se) モデルが使用されている。従って、N(f)を計算する
には、実際の計算は不要である。むしろ、N(f)は一定振
幅である。
2 はN(f)を計算する。なお、N(f)はノイズのDFT であ
る。好適実施例によれば、ホワイト・ノイズ(white noi
se) モデルが使用されている。従って、N(f)を計算する
には、実際の計算は不要である。むしろ、N(f)は一定振
幅である。
【００６３】ステップ1106で、イメージ動揺補正回路31
2 はC(f)とN(f)を使用して、S(f)を計算する。なお、S
(f)は不鮮明ビデオ・ライン316 のDFT からノイズのDFT
を引いたものである。ステップ1108で、イメージ動揺
補正回路312 は、次式によりフィルタ関数φ(f) を計算
する。
2 はC(f)とN(f)を使用して、S(f)を計算する。なお、S
(f)は不鮮明ビデオ・ライン316 のDFT からノイズのDFT
を引いたものである。ステップ1108で、イメージ動揺
補正回路312 は、次式によりフィルタ関数φ(f) を計算
する。
【００６４】
【数１１】
【００６５】ステップ1110で、イメージ動揺補正回路31
2 はR(f)を計算する。なお、R(f)は不鮮明ビデオ・ライ
ン316 のX 不鮮明カーネルのDFT である。
2 はR(f)を計算する。なお、R(f)は不鮮明ビデオ・ライ
ン316 のX 不鮮明カーネルのDFT である。
【００６６】
【外９】
【００６７】これは、次式に従って行われる。
【００６８】
【数１２】
【００６９】
【外１０】
【００７０】周波数アプローチの残りのステップは、Y
方向の部分補正不鮮明ビデオ・ライン316 を補正するた
めに実行される。
方向の部分補正不鮮明ビデオ・ライン316 を補正するた
めに実行される。
【００７１】ステップ1116で、イメージ動揺補正回路31
2 は、部分補正不鮮明ビデオ・ライン316 の領域を選択
する。ステップ1118で、イメージ動揺補正回路312 はR
(f)を計算する。なお、R(f)は、ステップ916 で選択さ
れた領域のY 不鮮明カーネルのDFT である。ステップ11
20で、イメージ動揺補正回路312 は、選択された領域内
のピクセルの１つを選択する。そのあと、イメージ動揺
補正回路312 はステップ1122でC(f)を計算する。なお、
C(f)は、選択されたピクセルを収めている不鮮明カラム
のDFT である。例えば、図８において、UC3 が選択され
たピクセルであれば、ステップ1122で、イメージ動揺補
正回路312 は不鮮明カラム310 のDFT を計算することに
なる。
2 は、部分補正不鮮明ビデオ・ライン316 の領域を選択
する。ステップ1118で、イメージ動揺補正回路312 はR
(f)を計算する。なお、R(f)は、ステップ916 で選択さ
れた領域のY 不鮮明カーネルのDFT である。ステップ11
20で、イメージ動揺補正回路312 は、選択された領域内
のピクセルの１つを選択する。そのあと、イメージ動揺
補正回路312 はステップ1122でC(f)を計算する。なお、
C(f)は、選択されたピクセルを収めている不鮮明カラム
のDFT である。例えば、図８において、UC3 が選択され
たピクセルであれば、ステップ1122で、イメージ動揺補
正回路312 は不鮮明カラム310 のDFT を計算することに
なる。
【００７２】次に、処理はコネクタC1124 から継続さ
れ、イメージ動揺補正回路312 はステップ1202でN(f)を
計算する。なお、N(f)はノイズのDFT である。このステ
ップは上述したステップ1104と類似している。ステップ
1204で、イメージ動揺補正回路312 はS(f)を計算する。
なお、S(f)は不鮮明カラム（選択されたピクセルを収め
ている）からノイズを引いたもののDFT である。ステッ
プ1206でイメージ動揺補正回路312 は、上記の式(4) に
従ってφ(f) を計算する。
れ、イメージ動揺補正回路312 はステップ1202でN(f)を
計算する。なお、N(f)はノイズのDFT である。このステ
ップは上述したステップ1104と類似している。ステップ
1204で、イメージ動揺補正回路312 はS(f)を計算する。
なお、S(f)は不鮮明カラム（選択されたピクセルを収め
ている）からノイズを引いたもののDFT である。ステッ
プ1206でイメージ動揺補正回路312 は、上記の式(4) に
従ってφ(f) を計算する。
【００７３】
【外１１】
【００７４】これは、上記の式(5) に従って行われる。
【００７５】ステップ1210で、
【００７６】
【外１２】
【００７７】この値は、ステップ1120で選択されたピク
セルの補正値を表し、補正ビデオ・ライン318 の一部と
して出力される。
セルの補正値を表し、補正ビデオ・ライン318 の一部と
して出力される。
【００７８】本発明の種々実施例について上述してきた
が、これらの実施例は例示したものにすぎず、これらに
限定されないことは勿論である。従って、本発明の範囲
は上述した実施例のいずれにも限定されず、特許請求の
範囲に明確化されている範囲（等価技術を含む）に従っ
て解釈されるものである。
が、これらの実施例は例示したものにすぎず、これらに
限定されないことは勿論である。従って、本発明の範囲
は上述した実施例のいずれにも限定されず、特許請求の
範囲に明確化されている範囲（等価技術を含む）に従っ
て解釈されるものである。
【図１】従来のカメラ・イメージャを示す図である。
【図２】ナイキスト周波数での変調伝達関数(MTF) がイ
メージ・スミアによって低下していく様子を示す図であ
る。
メージ・スミアによって低下していく様子を示す図であ
る。
【図３】本発明によるカメラ・イメージャを示す図であ
る。
る。
【図４】本発明のイメージ動揺補正回路のオペレーショ
ンの概要図である。
ンの概要図である。
【図５】補正ライン、不鮮明ライン、および不鮮明カー
ネルの例の部分を示す図である。
ネルの例の部分を示す図である。
【図６】本発明のイメージ動揺補正回路のオペレーショ
ンの詳細図である。
ンの詳細図である。
【図７】不鮮明ビデオ・ライン316 の一部をグラフで示
す図である。
す図である。
【図８】不鮮明ラインのカラムを示す図である。
【図９】本発明の空間アプローチのオペレーションを示
すフローチャートである。
すフローチャートである。
【図１０】空間アプローチで使用される一次方程式の集
合を計算するために使用される行列方程式の例を示す図
である。
合を計算するために使用される行列方程式の例を示す図
である。
【図１１】本発明の周波数アプローチのフローチャート
である。
である。
【図１２】図１１のフローチャートの継続図である。
100 カメラ・イメージャ 102 シフト・レジスタ 104 TDI 検出器 106 増幅器 120 イメージ経路 300 カメラ・イメージャ 302 シフト・レジスタ 304 TDI 検出器 306 増幅器 312 イメージ動揺補正回路 314 センサ 316 不鮮明ビデオ・ライン 318 補正ビデオ・ライン 320 モーション・データ・ライン 502 不鮮明カーネル 1002 係数マトリックス（行列） 1004 変数配列 1006 結果配列
Claims (26)
- 【請求項１】 感知したイメージを表す電荷の列をスト
アする電荷蓄積デバイスを備えた電子イメージャ中で、
電子イメージャが動くと電荷が不鮮明になり、行の１つ
における不鮮明電荷に比例するピクセル値からなる不鮮
明ビデオ・ラインを補正する方法であって、 (1) 電子イメージャの動きを記述しているモーション情
報をセンサから受信するステップと、 (2) 該モーション情報を使用して前記不鮮明電荷のイメ
ージふらつきを計算するステップと、 (3) 前記イメージふらつきの計算結果を使用して補正ビ
デオ・ラインを生成し、前記不鮮明ビデオ・ラインを補
正するステップとを備えたことを特徴とする方法。 - 【請求項２】 請求項１に記載の方法において、前記ス
テップ(2) は、 (a) 前記モーション情報を使用して正方向モーション補
正誤差を計算し、 (b) 前記正方向モーション補正誤差を使用して、前記不
鮮明電荷のＸ位置変化を計算し、 (c) 前記Ｘ位置変化を使用してＸ不鮮明カーネルを計算
するステップを有することを特徴とする方法。 - 【請求項３】 請求項２に記載の方法において、前記ス
テップ(3) は前記Ｘ不鮮明カーネルを使用して、前記不
鮮明ビデオ・ラインをデコンボリューションして前記補
正ビデオ・ラインを形成するステップを有することを特
徴とする方法。 - 【請求項４】 請求項３に記載の方法において、前記デ
コンボリューションは、 (i) 前記Ｘ不鮮明カーネルと同数の要素からなる係数
マトリックスを作り、 (ii) 前記補正ビデオ・ラインのピクセル値を含んでい
るＪ個の変数からなる変数配列を作り、 (iii) Ｊ個の既知の値からなり、該既知の値は前記不鮮
明ビデオ・ラインの前記ピクセル値を含んでいる結果配
列を作り、 (iv) 次に示す行列代数方程式に従って一次方程式の集
合を生成し、 （係数マトリックス）＊（変数配列）＝結果配列 (v) 該変数の前記一次方程式の解を求めるステップを
含むことを特徴とする方法。 - 【請求項５】 請求項３に記載の方法において、前記デ
コンボリューションは、 (i) 前記不鮮明ビデオ・ラインのフーリエ変換を表す
C(f)を計算し、 (ii) ノイズのフーリエ変換を表すN(f)を概算し、 (iii) 前記不鮮明ビデオ・ラインから前記ノイズを引い
たもののフーリエ変換を表すS(f)を計算し、 (iv) フィルタ関数を表すφ(f) を次に示す第１方程式
に従って計算し、 【数１】 (v) 前記Ｘ不鮮明カーネルのフーリエ変換を表すR(f)
を計算し、 【外１】 【数２】 【外２】 逆フーリエ変換を行うことによって行うことを特徴とす
る方法。 - 【請求項６】 請求項１に記載の方法において、感知し
たイメージを表すビデオ情報をストアするステップをさ
らに備えたことを特徴とする方法。 - 【請求項７】 請求項６に記載の方法において前記スト
アするステップは、 前記不鮮明ビデオ・ラインの前に現れたビデオ・ライン
をストアし、 該不鮮明ビデオ・ラインをストアし、 該不鮮明ビデオ・ラインのあとに現れたビデオ・ライン
をストアするステップを有することを特徴とする方法。 - 【請求項８】 請求項６に記載の方法において、前記ス
テップ(2) は、 前記不鮮明ビデオ・ラインを１つまたは２つ以上の領域
であって、各々がピクセル値の１つまたは２つ以上を含
んでいるものに分割するステップと、 該領域の各々についてＹ不鮮明カーネルを計算するステ
ップとを有することを特徴とする方法。 - 【請求項９】 請求項８に記載の方法において、Ｙ不鮮
明カーネルを計算する前記ステップは、 (a) ロール誤差を計算し、 (b) 前記領域の１つを選択し、 (c) 前記選択した領域内のピクセル値の１つを選択し、 (d) 前記選択したピクセル値のＸ位置を使用して、前記
選択した領域の回転誤差を計算し、 (e) 前記ロール誤差と回転誤差を加算することによっ
て、前記選択した領域のＹ位置変化を計算し、 (f) 前記Ｙ位置変化を使用して、前記選択した領域のＹ
不鮮明カーネルを計算し、 (g) 前記領域の各々についてステップ(b) から(f) まで
を実行するステップを有することを特徴とする方法。 - 【請求項１０】 請求項８に記載の方法において、前記
ステップ(3) は、前記Ｙ不鮮明カーネルを使用すること
によって、前記不鮮明ビデオ・ラインをデコンボリュー
ションして前記補正ビデオ・ラインを形成するステップ
を有することを特徴とする方法。 - 【請求項１１】 請求項１０に記載の方法において、前
記デコンボリューション・ステップは、 (a) 前記領域の１つを選択し、 (b) 前記選択した領域内のピクセル値の１つを選択し、
前記選択したピクセル値はＸ位置をもっており、 (c) 前記選択したピクセル値に関連する前記Ｙ不鮮明カ
ーネルと同数の要素からなる係数マトリックスを形成
し、 (d) Ｊ個の変数からなり、該変数は前記補正ビデオ・ラ
インのピクセル値を含んでいる変数配列を形成し、 (e) Ｊ個の既知の値からなり、該既知の値は前記選択し
たピクセル値と、前記Ｘ位置をもつ前記ビデオ情報から
のピクセル値とを含んでいる結果配列を形成し、 (f) 次に示す行列代数方程式に従って一次方程式の集合
を生成し、 （係数マトリックス）＊（変数配列）＝結果配列 (g) 前記変数の前記一次方程式の解を求め、 (h) 前記選択した領域内の該ピクセルの各々についてス
テップ(b) から(g) までを実行し、 (i) 前記領域の各々についてステップ(a) から(h) まで
を実行することを特徴とする方法。 - 【請求項１２】 請求項１０に記載の方法において、前
記デコンボリューションは、 (a) 前記領域の１つを選択し、 (b) 前記選択した領域内のピクセル値の１つを選択し、
該選択したピクセル値はＸ位置をもっており、 (c) 前記選択したピクセル値と、前記Ｘ位置をもつ前記
ビデオ情報からのピクセル値を含んでいる不鮮明列のフ
ーリエ変換を表すC(f)を計算し、 (d) ノイズのフーリエ変換を表すN(f)を概算し、 (e) 前記不鮮明列から前記ノイズを引いたもののフーリ
エ変換を表すS(f)を計算し、 (f) フィルタ関数を表すφ(f) を次に示す第１方程式に
従って計算し、 【数３】 (g) 前記選択した領域に関連する前記Ｙ不鮮明カーネル
のフーリエ変換を表すR(f)を計算し、 【外３】 【数４】 【外４】 (j) 前記選択した領域内のピクセルの各々についてステ
ップ(b) から(i) までを実行し、 (k) 前記領域の各々についてステップ(a) から(j) まで
を実行するステップを含むことを特徴とする方法。 - 【請求項１３】 電子イメージャであり、 (a) 感知したイメージを表す、電子イメージャのモーシ
ョンが原因で不鮮明になっている電荷の列をストアする
電荷蓄積手段と、 (b) 前記電荷蓄積手段に接続されて、前記不鮮明電荷を
連結することによって前記不鮮明電荷に比例するピクセ
ル値を含んでいる不鮮明ビデオ・ラインを生成する手段
と、 (c) 前記電荷蓄積手段に接続されて、前記不鮮明ビデオ
・ラインを補正する手段であって、 (1) センサから前記モーションを記述しているモーショ
ン情報を受信する手段と、 (2) 前記モーション情報を使用して、前記不鮮明電荷の
イメージふらつきを計算する手段と、 (3) 前記イメージふらつきの計算結果を使用して、前記
不鮮明ビデオ・ラインから補正ビデオ・ラインを生成す
るための手段とを有する補正手段とを備えたことを特徴
とする電子イメージャ。 - 【請求項１４】 請求項１３に記載の電子イメージャに
おいて、イメージふらつきを計算する前記手段は、 前記モーション情報を使用して、正方向モーション補正
誤差を計算する手段と、 前記正方向モーション補正誤差を使用して、前記不鮮明
電荷のＸ位置変化を計算する手段と、 前記Ｘ位置変化を使用して、Ｘ不鮮明カーネルを計算す
る手段とを有することを特徴とする電子イメージャ。 - 【請求項１５】 請求項１４に記載の電子イメージャに
おいて、補正ビデオ・ラインを生成する前記手段は、前
記Ｘ不鮮明カーネルを使用して、前記不鮮明ビデオ・ラ
インをデコンボリューションして前記補正ビデオ・ライ
ンを形成するデコンボリューション手段を有することを
特徴とする電子イメージャ。 - 【請求項１６】 請求項１５に記載の電子イメージャに
おいて、前記デコンボリューション手段は、 (i) 前記Ｘ不鮮明カーネルと同数の要素からなる係数
マトリックスを形成する手段と、 (ii) 前記補正ビデオ・ラインのピクセル値を含んでい
るＪ個の変数からなる変数配列を形成する手段と、 (iii) 前記不鮮明ビデオ・ラインの前記ピクセル値を含
んでいるＪ個の既知の値からなる結果配列を形成する手
段と、 (iv) 次に示す行列代数法的式に従って一次方程式の集
合を生成する手段と、 （係数マトリックス）＊（変数配列）＝結果配列 (v) 前記変数の前記一次方程式の解を求める手段とを
有することを特徴とする電子イメージャ。 - 【請求項１７】 請求項１５に記載の電子イメージャに
おいて、前記デコンボリューション手段は、 (i) 前記不鮮明ビデオ・ラインのフーリエ変換を表す
C(f)を計算する手段と、 (ii) ノイズのフーリエ変換を表すN(f)を概算する手段
と、 (iii) 前記不鮮明ビデオ・ラインから前記ノイズを引い
たもののフーリエ変換を表すS(f)を計算する手段と、 (iv) 次に示す第１方程式に従って、フィルタ関数を表
すφ(f) を計算する手段と、 【数５】 (v) 前記Ｘ不鮮明カーネルのフーリエ変換を表すR(f)
を計算する手段と、 【外５】 【数６】 【外６】 を有することを特徴とする電子イメージャ。 - 【請求項１８】 請求項１３に記載の電子イメージャに
おいて、感知したイメージを表すビデオ情報をストアす
る手段をさらに備えたことを特徴とする電子イメージ
ャ。 - 【請求項１９】 請求項１８に記載の電子イメージャに
おいて、前記ストア手段は、 前記不鮮明ビデオ・ラインの前に現れたビデオ・ライン
をストアする手段と、 前記不鮮明ビデオ・ラインをストアする手段と、 前記不鮮明ビデオ・ラインのあとに現れたビデオ・ライ
ンをストアする手段とを有することを特徴とする電子イ
メージャ。 - 【請求項２０】 請求項１８に記載の電子イメージャに
おいて、イメージふらつきを計算する前記手段は、 不鮮明ビデオ・ラインを、手段ピクセル値の１つまたは
２つ以上を含んでいる１つまたは２つ以上の領域に分割
すると、 該領域の各々についてＹ不鮮明カーネルを計算する手段
とを有することを特徴とする電子イメージャ。 - 【請求項２１】 請求項２０に記載の電子イメージャに
おいて、前記領域の各々についてＹ不鮮明カーネルを計
算する前記手段は、ロール誤差を計算する手段と、 前記領域の１つを選択する手段と、 前記選択した領域内のピクセル値の１つを選択する手段
と、 前記選択した領域のＸ位置を使用して、前記選択した領
域の回転誤差を計算する手段と、 前記ロール誤差と回転誤差を加算することによって、前
記選択した領域のＹ位置変化を計算する手段と、 前記Ｙ位置変化を使用して、前記選択した領域のＹ不鮮
明カーネルを計算する手段とを備えたことを特徴とする
電子イメージャ。 - 【請求項２２】 請求項２０に記載の電子イメージャに
おいて、補正ビデオ・ラインを生成する前記手段は、 前記Ｙ不鮮明カーネルを使用して、前記不鮮明ビデオ・
ラインをデコンボリューションして前記補正ビデオ・ラ
インを形成する手段を有することを特徴とする電子イメ
ージャ。 - 【請求項２３】 請求項２２に記載の電子イメージャに
おいて、前記デコンボリューション手段は、 前記領域の１つを選択する手段と、 前記選択した領域内の、Ｘ位置をもつピクセル値の１つ
を選択する手段であって、 前記選択した領域に関連するＹ不鮮明カーネルと同数の
要素からなる係数マトリックスを形成する手段と、 前記補正ビデオ・ラインのピクセル値を含んでいるＪ個
の変数からなる変数配列を形成する手段と、 前記選択したピクセル値と、前記Ｘ位置をもつ前記ビデ
オ情報からのピクセル値とを含んでいるＪ個の既知の値
からなる結果配列を形成する手段と、 次に示す行列代数方程式に従って、一次方程式の集合を
生成する手段と、 （係数マトリックス）＊（変数配列）＝結果配列 該変数の前記一次方程式の解を求める手段とを有するこ
とを特徴とする電子イメージャ。 - 【請求項２４】 請求項２２に記載の電子イメージャに
おいて、前記デコンボリューション手段は、 前記領域の１つを選択する手段と、 前記選択した領域内のＸ位置をもつピクセル値の１つを
選択する手段と、 該選択したピクセル値と、前記Ｘ位置をもつ前記ビデオ
情報からのピクセル値とを含む不鮮明カラムのフーリエ
変換を表すC(f)を計算する手段と、 ノイズのフーリエ変換を表すN(f)を概算する手段と、 前記不鮮明カラムから前記ノイズを引いたもののフーリ
エ変換を表すS(f)を計算する手段と、 次に示す第１方程式に従って、フィルタ関数を表すφ
(f) を計算する手段と、 【数７】 前記選択した領域に関連する前記Ｙ不鮮明カーネルのフ
ーリエ変換を表すR(f)を計算する手段と、 【外７】 【数８】 【外８】 ことによって計算する手段とを有することを特徴とする
電子イメージャ。 - 【請求項２５】 請求項２４に記載の電子イメージャに
おいて、補正ビデオ・ラインを生成する前記手段は、行
列代数を実行する１つまたは２つ以上の汎用プロセッサ
を有することを特徴とする電子イメージャ。 - 【請求項２６】 請求項２４に記載の電子イメージャに
おいて、補正ビデオ・ラインを生成する前記手段は、フ
ーリエ変換と逆フーリエ変換を実行する１つまたは２つ
以上のフーリエ・プロセッサを有することを特徴とする
電子イメージャ。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US139088 | 1993-10-21 | ||
| US08/139,088 US5504523A (en) | 1993-10-21 | 1993-10-21 | Electronic image unsteadiness compensation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07284004A true JPH07284004A (ja) | 1995-10-27 |
| JP3342588B2 JP3342588B2 (ja) | 2002-11-11 |
Family
ID=22485069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25715494A Expired - Fee Related JP3342588B2 (ja) | 1993-10-21 | 1994-10-21 | 不鮮明ビデオラインの補正方法およびカメライメージャ |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5504523A (ja) |
| JP (1) | JP3342588B2 (ja) |
| DE (1) | DE4437385A1 (ja) |
| GB (1) | GB2283148B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011146924A (ja) * | 2010-01-14 | 2011-07-28 | Mitsubishi Electric Corp | イメージセンサおよびそれを用いた撮像装置 |
| JP2016509439A (ja) * | 2013-02-07 | 2016-03-24 | イー・２・ブイ・セミコンダクターズ | 移動誤差を検出する時間遅延積分画像センサ |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001503922A (ja) * | 1995-03-03 | 2001-03-21 | ノースロップ グラマン コーポレーション | Ｍｔｆ試験用の適応ウィンドによる固定パターン補償 |
| US5835137A (en) * | 1995-06-21 | 1998-11-10 | Eastman Kodak Company | Method and system for compensating for motion during imaging |
| JPH09222397A (ja) * | 1996-02-16 | 1997-08-26 | Mitsui Mining & Smelting Co Ltd | 散乱光による観察装置 |
| SE508972C2 (sv) | 1996-08-28 | 1998-11-23 | Ralip International Ab | Förfarande för kvalitetssäkring vid scanning/kopiering av bilder/dokument samt anordning för genomförande av förfarandet |
| US6166853A (en) * | 1997-01-09 | 2000-12-26 | The University Of Connecticut | Method and apparatus for three-dimensional deconvolution of optical microscope images |
| US5990955A (en) * | 1997-10-03 | 1999-11-23 | Innovacom Inc. | Dual encoding/compression method and system for picture quality/data density enhancement |
| DE19814951C2 (de) * | 1998-04-03 | 2000-08-31 | Zeiss Optronik Gmbh | Vorrichtung und Verfahren zur digitalen Bildstabilisierung |
| US6170331B1 (en) | 1999-07-30 | 2001-01-09 | Intel Corporation | Detecting rotational acceleration |
| AU2003244630B2 (en) * | 1999-12-14 | 2005-05-26 | Canon Kabushiki Kaisha | Method and Apparatus for Uniform Lineal Motion Blur Estimation Using Multiple Exposures |
| US8134613B2 (en) * | 2001-04-10 | 2012-03-13 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| FR2863750B1 (fr) * | 2003-12-15 | 2006-03-03 | Sagem | Procede et dispositif de stabilisation d'images acquises en lignes ou en colonnes |
| US20050236488A1 (en) * | 2004-04-26 | 2005-10-27 | Kricorissian Gregg R | Motion induced blur minimization in a portable image reader |
| US20080025628A1 (en) * | 2004-10-26 | 2008-01-31 | Koninklijke Philips Electronics, N.V. | Enhancement of Blurred Image Portions |
| CN101720479A (zh) * | 2007-05-02 | 2010-06-02 | 新加坡科技研究局 | 运动补偿的图像平均 |
| IL233684B (en) | 2014-07-17 | 2018-01-31 | Shamir Hanan | Stabilizing and displaying remote images |
| CN106959454B (zh) * | 2017-03-20 | 2019-06-04 | 上海航天控制技术研究所 | 一种基于数字域tdi及连续复线阵成像模式的颤振反演方法 |
| CN121297680B (zh) * | 2025-12-04 | 2026-02-17 | 宁波东方理工大学 | 基于曝光积分校正的地震激励下建筑层间位移测量方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4612575A (en) * | 1984-07-24 | 1986-09-16 | E-Systems, Inc. | T.V. video image correction |
| FR2610159B1 (fr) * | 1987-01-22 | 1989-04-07 | Fournier Antoine | Dispositif de stabilisation d'images pour camera video transportable |
| US5155597A (en) * | 1990-11-28 | 1992-10-13 | Recon/Optical, Inc. | Electro-optical imaging array with motion compensation |
-
1993
- 1993-10-21 US US08/139,088 patent/US5504523A/en not_active Expired - Lifetime
-
1994
- 1994-10-11 GB GB9420595A patent/GB2283148B/en not_active Expired - Fee Related
- 1994-10-19 DE DE4437385A patent/DE4437385A1/de not_active Ceased
- 1994-10-21 JP JP25715494A patent/JP3342588B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011146924A (ja) * | 2010-01-14 | 2011-07-28 | Mitsubishi Electric Corp | イメージセンサおよびそれを用いた撮像装置 |
| JP2016509439A (ja) * | 2013-02-07 | 2016-03-24 | イー・２・ブイ・セミコンダクターズ | 移動誤差を検出する時間遅延積分画像センサ |
Also Published As
| Publication number | Publication date |
|---|---|
| DE4437385A1 (de) | 1995-04-27 |
| US5504523A (en) | 1996-04-02 |
| GB9420595D0 (en) | 1994-11-30 |
| GB2283148B (en) | 1997-12-17 |
| JP3342588B2 (ja) | 2002-11-11 |
| GB2283148A (en) | 1995-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3342588B2 (ja) | 不鮮明ビデオラインの補正方法およびカメライメージャ | |
| AU561191B2 (en) | Resolution enhancement and zoom | |
| KR100315897B1 (ko) | 적응적비균일성보상방법및센서 | |
| US6973218B2 (en) | Dynamic range compression | |
| RU2431889C1 (ru) | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления | |
| US5925875A (en) | Apparatus and method for compensating for fixed pattern noise in planar arrays | |
| JP3103897B2 (ja) | 手振れ補正装置および手振れ補正方法 | |
| KR920003048B1 (ko) | 열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치 | |
| JP6094100B2 (ja) | 移動体検出方法 | |
| JP4249272B2 (ja) | 高解像度の電子式映像拡大装置及びその方法 | |
| US8605161B2 (en) | Intra-frame optical-stabilization with intentional inter-frame scene motion | |
| WO2015007065A1 (zh) | 一种降低tdi-ccd相机图像模糊度的方法 | |
| US8654202B2 (en) | Correction of captured and stabilized images | |
| US6714240B1 (en) | Optical sensor employing motion compensated integration-device and process | |
| JPH0765163A (ja) | 映像データ処理方式 | |
| JP2000283753A (ja) | ステレオ画像による測距装置 | |
| US20090190006A1 (en) | Methods, systems and apparatuses for pixel signal correction using elliptical hyperbolic cosines | |
| JP2007088828A (ja) | 手ぶれ補正装置 | |
| US5144687A (en) | Image processing apparatus including spatial shift variant filter | |
| US8331722B2 (en) | Methods, apparatuses and systems providing pixel value adjustment for images produced by a camera having multiple optical states | |
| Armstrong et al. | Nonuniformity correction for improved registration and high-resolution image reconstruction in IR imagery | |
| US5963251A (en) | Frame transfer readout correction | |
| JP5743772B2 (ja) | 画像処理システム | |
| JPH06103376A (ja) | 電荷画像走査装置 | |
| JPS61237581A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100823 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100823 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110823 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |