JPH03136580A - 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置 - Google Patents
対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置Info
- Publication number
- JPH03136580A JPH03136580A JP2174332A JP17433290A JPH03136580A JP H03136580 A JPH03136580 A JP H03136580A JP 2174332 A JP2174332 A JP 2174332A JP 17433290 A JP17433290 A JP 17433290A JP H03136580 A JPH03136580 A JP H03136580A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- distance
- surface patch
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
- H04N13/236—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using varifocal lenses or mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Automatic Focus Adjustment (AREA)
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Studio Devices (AREA)
Abstract
め要約のデータは記録されません。
Description
テムからの被写体の距離を決定し、11)カメラ・シス
テムを急速な自動焦点合せを行い、IAI)ぼけた像か
ら改良された焦点の像を得る、電子カメラ装置及び方法
に関する。一般に、本発明は、線形のシフト不変システ
ム(linear 5hiftinvariant s
ystem) 、即ち、入力信号にコンポリューシゴン
演算を実行するシステムにおける、システムパラメータ
の概算及び信号回復に関する。
法が知られている。これらの装置及び方法の概説は、1
983年3月発行のIEgE Transaction
son Pattern Analysis a
nd Machine Intelligence
。
perspectiveon range find
ing techniques for comput
er vision″と題されたR、A、Jarvis
の論文に見出される。
像検出器に被写体の像を焦点付けることを必要とする0
次に、距離はカメラの設定から決定される。この技法は
“深度焦点法(depth−fromfocusing
”と呼ばれる。別の深度焦点法の比較研究は、1987
年10月発行のInternational Jour
nalof Computer VisionのV
olume 1. N[L3. 223−238頁
に、”Focusing”と題された論文で、E、Kr
otkovによって報告されている。
20以上)の像を得て、ii)これらの像のそれぞれに
対して焦点測定を計算し、1ii)焦点測定が最大であ
る像を決定して、その対応のカメラ設定から距離を決定
することを必要とする。この技法の大きな欠点は、i)
種々のカメラ設定に対して多数の像を得る必要があるの
で非常にスローであること、また、ii)メモリ・スペ
ース及び処理能力の見地から多くの計算手段を必要とす
ること、である。
年8月のActificial Intelligen
ceの国際ジヨイント会議の予稿集で発表された、“A
New 5e−nse for Depth or
Field” と題された論文において、P、Pent
landによって論述されている。同様の論文は、19
87年7月に、rEEE Transactions
onPattern Analysis and Ma
chine Intelligence。
おいて、わずかに変更されて発表された。
用する。被写体は、間に共通の真っすぐな境界を有する
、暗表面パッチに隣接する凹表面パッチを含む必要があ
る。そのような被写体は、焦点合わせされた傷内にステ
ップ状の不連続部である真っすぐなエツジを生成する。
Recognition Letters。
th fromFocus”と題された一自文において
、P、Grossmanによって開示されている。これ
らの同様の方法のはるかに改良され且つ更に一般的なバ
ージョンは、1988年6月に、Computer V
ision and PatternRecognit
ionのIEEE Computer 5ociety
会議の予稿集に発表された、“Depth Recov
ery from Blurred Edges”と題
された論文において、本発明者によって開示されている
。しかし、間に共通の真っすぐな境界を有する、明及び
暗表面パッチを存する被写体はこの世の中では稀である
。従って、多くの場合に適用できない。
ことに基づき、一方の像は非常に小さな(ビン・ホール
)開口で形成され、他方の像は通常の開口で形成される
。この方法の適用は、ある深刻な実施上の困難を提示し
ている。非常に小さな開口は、像を歪ませる回折の効果
を増加させる。更に、比較的小さな開口は、光を集めに
くく、従って露光期間を増加させる。これらの問題がこ
の方法を不正確でスローなものとし、実際の応用におい
て使用に制限を与える。
ラの高速自動焦点合せのための技術を進歩させる。幾つ
かの方法でカメラの自動焦点合せを行うことが知られて
いる。自動焦点法の1つが1987年の日本特許第22
84314号に開示されている。
、不正確であり、従って実施制限されるものと考えられ
る。この日本特許に開示された方法は、固定された被写
体に関してレンズを移動することを必要としている0点
被写体の2つの像、例えば、レンズの移動前に得られる
第一の像とレンズの移動後に得られる像と、の間の対応
をとることができない、対応問題として参照されるこの
問題は、ステレオ・ビジョンでは良く知られている。
拡大補正ステップを提供しておらず、そのプロセスにエ
ラーをHEじさせる。更に、前述の方法は、カメラの1
パラメータ、即ちレンズの位置のみの変更を必要として
いるので、非常に制約のあるものである。
関する欠点は、少なくとも3つのピクチャの使用を含み
、高い空間周波数のみ、更に、自動焦点用の固定された
空間周波数のみをあてにしていることでる。
た別の自動焦点法は、1988年5月31日に公開され
た特開昭63127217号公報に、丁akashi
Baba他によって開示されている。この公報の開示は
、前出の日本特許に関連して記述したのと同じ欠点を認
容しており、変調伝達関数(MFT)がガウス関数であ
る場合にのみ適用可能である。ガウス関数はカメラ・シ
ステムの実際のMFTに対して非常に粗雑な近似値であ
る。従って、特開昭63−127217号に開示された
方法もまたエラーを受けやすい。
法及び装置は、1987年11月27日に出願の本件発
明者所有の係属中の米国特許出願第126,407号に
開示されている。前述の方法は、被写体の2つの像の処
理を必要とし、これらの像は異なるカメラ設定と共に得
られる。カメラ設定は、次の3つのカメラ・パラメータ
のいずれにおいて異なる。
点距離、(ij)カメラ開口(絞り)の直径、数学的表
現である2つの制約(即ち、束縛関係)が公式化された
。第一の制約は2つの観察された像によってのみ表現さ
れ、第二の制約は、既知のカメラ・パラメータ値及びカ
メラ特性によってのみ表現された。これらの制約、即ち
等式は2つの未知数、即ち2つの像のそれぞれに対して
未知のものを必要とする0等式は同時に解が求められ、
距離は未知数の解から決定された。しかし、像に対応す
る未知数は実際に、カメラ・システムの点ひろがり関数
を特徴付ける中間パラメータ、σ、であった。この中間
パラメータは、焦点合せされた像の広がり、即ち“ブレ
”に関連し、また、点ひろがり関数がガウス式で表わし
得る一定又は所定の形状又は形式を有するという仮定に
基づいていた。
差である単一の中間パラメータ、σ、によってPSFを
特徴付けた。これは、回折及びレンズ収差の存在下では
不適当な特徴である。係属中の本件発明者による前述の
システムは、カメラ・システムにカメラ・パラメータを
測定する手段を設けることを必要としている。この従来
システムは、パラメータとして光のスペクトルの内容を
考慮していない、更に、従来システムは、処理中に不確
実な分析又はエラー伝達分析を実行することもなく、多
数のシステム・パラメータを概算するあらゆる線形のシ
フト不変システムに応用することもできなかった。
必要とする深度焦点法のアプローチを提供することであ
る。
る対応問題を排除することである。
テムに応用できるアプローチを提供することである。
ータの双方を決定するために2つの像を処理する比較的
簡単で且つ低廉の装置を提供することである。
関数(PSF)を特徴付けるために、中間パラメータの
必要性を除外することである。本発明の他の目的は、カ
メラ装置のパラメータを定量分析的に測定する必要性を
除外することである。
/又はカメラ・パラメータ値、を決定するために、単一
の演算又はステップ用の手段を提供することである。
のとして、光のスペクトルの内容を考慮する手段を提供
することである。
、及びぼやけた像から改良された焦点像を得ることであ
る。
、コンボリューシラン演算を実行するシステム、として
モデル化できる任意の装置において、システム・パラメ
ータを概算して且つ入力信号を回復させる方法を提供す
ることである。
での距離を決定し、距離の決定の結果としてカメラ・シ
ステムの焦点合せを行い、カメラ・システムのパラメー
タを決定し、そのそれぞれのぼやけた像から表面パッチ
の改良された焦点像を得るための方法及び装置である0
本発明は、像を記録するCCDアレー、写真フィルム等
の如き像検出器を有するカメラ・システムを含む、カメ
ラは、光が情景からシステムに入るための開口、光の既
知のスペクトル(又はカラー)を通過させ且つ像検出器
に像を形成させる光フィルタ、レンズ又はミラー或いは
その双方を有する像形成光学システム、を有する。像形
成光学システムと、第−及び第二の主平面及び焦点長さ
を含み、第二の主平面は第一の主平面より像検出器に近
い。
パラメータの少なくとも1つ、及びそれ以上に依存する
。(i)第二の主平面と像検出器との間の距If(δ)
、(ii)カメラ開口の直径(D)、(i)像形成光学
システムの焦点距離(f)、(tv)カメラ・システム
に入る光のスペクトル特性(λ)。
つ、それ以上、全て、の値を変化せる手段を提供する。
れ以上、全て、の債を変化させることによって、カメラ
設定を変更するために使用される0本発明の方法は、異
なるカメラ設定で得られる被写体の表面パッチの少なく
とも2つ、それ以上、の像を処理して、カメラ・システ
ムから表面パッチまでの距離を判定する。
メラ・システムを特徴付ける値の表が予め記憶されるメ
モリ・スペースを含む、この表は表面パッチの距離を判
定するために使用される。
の値をサーチする特別な目的のVLSIコンピュータ処
理ハードウェアを含む0表サーチ用のこのハードウェア
の代替として、コンピュータは、1&11の所与の値を
予め記憶された値の表との間の相間測定を演算し、最大
の相関を生じる表内の位置を決定する特別な目的のVL
SIコンピュータ処理ハードウェアを含み得る。サーチ
が目的を達する、即ち相関が最大である表内の位置は、
表面パッチの距離を与える。
なカメラ開口は、像形成光学システムの前部で且つそれ
に接近して設けた開口絞りによって与えられ、それによ
ってカメラ・システムの入射瞳はカメラ・システムの視
界内の全ての被写体に対して同一のままである。カメラ
・システムのカメラ・パラメータを変更する手段は、カ
メラ・システムの入射瞳の位置が、■又はそれ以上のカ
メラ・パラメータが変更されるときに、不変のままであ
るような方法で与えられる。これは、ステレオ・ビジョ
ンで遭遇する対応問題を回避するのに役立つ。
のわずかな変更によって得られる。この変更実施例にお
いて、前記のカメラ・パラメータの少なくとも1つ、こ
とによるとそれ以上、を変更する手段を提供する単一の
カメラ・システムの使用に代えて、多重カメラが使用さ
れる。これらの多重カメラは、個々のカメラのカメラ・
パラメータ値が、カメラ・パラメータの少なくとも1つ
、それ以上、全て、で相違するようなものである。
に対して同一のカメラ・パラメータ値を有するカメラは
2つとない、この装置において、個々のカメラのいずれ
かのカメラ・パラメータを変更する必要はない、各カメ
ラの全てのカメラ・パラメータは、固定可能であり、従
って、カメラ・システム内に可動部を設ける必要を回避
する。それ故、装置を簡単にし得る。各カメラは、カメ
ラ・パラメータの1&llの値に対応する1つの像を得
るのに使用される0個々のカメラはそれぞれ、ビーム・
スプリット配置のために共通の開口を通して情景を観る
。前述の相違を除いて、代替実施例は好適実施例と同様
である。
一組のカメラ・パラメータにカメラを設定することを含
む。(i)第二の主平面と像検出器との間の距離(δ)
、(ii)カメラ開口の直径(D)、(ij)カメラ・
システムの焦点距jiI (f)、(iv)光フィルタ
によって伝送される光のスペクトル特性(λ)、カメラ
・パラメータのこれらの組は以下に示すように単一ベク
トルで表現できる。
面パッチの第一の像が像検出器上に形成される。これは
、例えば、カメラ・システムの視界内に情景を観視し、
(θ0,φ0)に中心を有し且つ(θ3.φI)、ただ
しi =L2+3+4+に角を有する正方形領域によっ
て特定された表面パッチを選択することによって達成で
きる。第一の像は、それを像処理システムで処理するた
めに第1組の値に変換することによって、像検出器から
抽出できる。この処理は、他の検値の処理と同時的に実
時間で達成でき、或いは、後処理のために記憶させるこ
とができる。
二のカメラ設定にセットされる。
□はCa!に等しくはない、これは、例えば、距離δの
ような、カメラ・パラメータの少なくとも1つを単に変
化させることによって実行できる。
る0次いで、これは、像処理システムで処理するために
1組の値に変換される。
れは、処理されて、コンポリューシラン演算によってカ
メラ・システムの点ひろがり関数に関連する正規化検値
に変換される。
することによって示される。これらの処理演算は、(i
)情景内の表面パッチの合焦像、(II)表面パッチの
全体輝度、(d))表面パッチの距離、に関する効果と
、1組のカメラ・パラメータによって特定されたカメラ
と、を分離する。
分離したことにより、(i)合焦像、及び(II)全体
輝度、の効果は、異なるカメラ設定で得られる同一の表
面パッチの2つの像を比較することによって相殺される
。この演算は、表面パッチの距離に関する単一の制約を
引き起こす。この制約は、解析的に、或いは表面パッチ
の距離を得るために像処理装置内に設けられたコンピュ
ータ・メモリ内の予め記憶された表を用いることで、解
決できる。
像”は、視野の異なる方向に沿っているが表面パッチの
実際の距離とは無関係な、表面パッチ上の点からカメラ
・システムの入射瞳に入射する光エネルギによって定義
された0例えば、所与の方向に沿った表面パッチの合焦
像の輝度は、所与の方向に沿った表面パッチ上の被写体
器からカメラ・システムの入射瞳に入射する、単位時間
当りの全光エネルギに比例するものとして定義できる0
合焦像のこの定義は、文献に見出される定義とは相違し
ている。ここでは、表面パッチ上の被写体点の輝度、即
ち放射輝度よりむしろ入射瞳に入射するエネルギによっ
て特別に定義された。
像との効果を分離するのに必要である。従って、この定
義は、信号を処理するために正確な理論的根拠を与える
のに有効である。更に、信号処理を更に展開することは
、音響の理論的根拠から実行できる。
る像形成プロセスは、任意のカメラ・パラメータの実際
の値とは無関係に、先に定義されたように、合焦像によ
ってのみ表面パッチの用語“正規化焦点像”を定義する
ことによって特徴付けられる。このように、正規化焦点
像は、単位平均輝度及び単位倍率をもった合焦像として
定義される。この定義は、(i)表面パッチの全体輝度
(平均輝度が1単位であるように固定されるという理由
による)、(ii)カメラ・パラメータ値、(iii)
表面パッチの合焦像、の効果を分離する。
カメラ・パラメータ値によって先に定義された正規化合
焦像と、の間の簡単な関係を得るために実行される0例
えば、本発明の好適な実施例において、以下の演算の1
又はそれ以上が含まれる。
)像形成システムの不均一な光伝送の補正、(iii
)第−及び第二の記録された像の内挿及び再標本化を含
む倍率の正規化、 (iv)第−及び第二の記録された像の輝度の正規化。
メージを特性ポイント・スプレッド関数と結合すること
によって、同じサーフェス・パッチの適切に前処理され
たイメージ(前述のよう(m)間のカメラ・パラメータ
についての関係を導き出すものである。このことを「コ
ンボルーション関係」と呼んでいる。また、ポイント・
スプレッド関数は、実際のカメラ・パラメータ値及びサ
ーフェス・パッチの距離によって決定されるが、サーフ
ェス・パッチの焦点の合ったイメージとは無関係である
。このように、イメージ形成プロセスは一組のカメラ・
パラメータについて特徴づけられる。コンボルーション
関係において正規化された合焦点イメージはサーフェス
・パッチに関する測光情報のみを含み、ポイント・スプ
レッド関数はサーフェス・パッチの幾何学的情報(即ち
、距離に関する情報)及びカメラ情報(即ち、カメラ・
パラメータに関す−る情報)を含んでいる。
カメラ・システムの光学的伝達関数H(ω、シ、Ca
γθ)とサーフェス・パッチの正規化された合焦点イメ
ージのフーリエ変換Fゎ(ω、ν)との積に等しい前処
理されたイメージのフーリエ変換として表現される。光
学的伝達関数はカメラのポイント・スプレッド関数h(
x。
的伝達関数が決定され、それはサーフェス・パッチのカ
メラ・パラメータ及び距離には無関係である。光学的伝
達関数についての解析的表現はカメラ・システムにおけ
るイメージ形成理論の理論的モデルから導き出すことが
できる0例えば、近軸幾何光学や回折光学に基づくイメ
ージ形成理論を使用することが可能である。
正規化された合焦点イメージとの関係を使用して、2つ
のイメージの関係が明らかになる。
ラ・セツティングに設定することによって特定の視野で
イメージを記録し、次に第1カメラ・セツティングに対
して特定の前処理操作に従って記録されたイメージを処
理した結果である。他方のイメージはカメラ・システム
を第2カメラ・セツティングに設定することによって同
じ視野でイメージを記録し、次に第2カメラ・セツティ
ングに対して特定の前処理操作に従って記録されたイメ
ージを処理した結果である。この2つのイメージの関係
は、第1カメラ・セツティング及び第2カメラ・セツテ
ィングにおけるサーフェス・パッチの生じ得るすべての
距離に対してあてはまる。
イメージとは無関係に表わされている。実際上、正規化
された合焦点イメージはすべての距離について同じにな
るはずであるので、適切に前処理されたイメージと正規
化合焦点イメージとの前に導き出された関係にある正規
化合焦点イメージに対応する項は消去される。この関係
は、1つの拘束(constraint)を解くことに
よって有効な計算法でサーフェス・パッチの距離の決定
を容易にし、それは任意のポイント・シブレッド関数を
有するカメラ・システムを使用したかなりの光学収差が
存在する場合でも、カメラ・パラメータを実際に測定す
ることなく、また不必要な拘束、近偵、及び中間パラメ
ータを導入することなく容易にするものである。
。イメージ・ディテクタの第1位置に対するサーフェス
・パッチの第1イメージを記録し、そのイメージ・ディ
テクタ以外(即ち、他のすべてのカメラ・パラメータ)
はそのままにして、イメージ・ディテクタを新しい位置
に移動させ、サーフェス・パッチの第2イメージを記録
する。その第1及び第2の記録されたイメージを前処理
して、それらのフーリエ変換の比をとる。即ち、G l
lz (ω、ν) H(ω、シ;じa!、T 0)
F−n(ωeν)これは、2つの前処理されたイメージ
のフーリエ変換の比を対応する光学的伝達関数の比に等
しく関係を与える。
イメージのフーリエ変換は相殺される。
サーフェス・パッチの距離に関係するが、正規化合焦点
イメージには無関係となる。この比はサーフェス・パッ
チの距離の関数として1つの解析式で表わすことができ
る。即ち、 あるいは、前記比は、被写体のすべてのとりうる距離に
ついて作表され、コンピュータ・メモリに記憶させるこ
とができる。解析式はカメラ・システムの理論モデルか
ら導き出すことができる0例えば、幾何光学や回折光学
の原理に基いて、解析表現を導き出すことができる。こ
の解析表現はサーフェス・パッチの距離を決定するのに
使用することができる。
予め記憶された数値表として表わすことも可能である。
することができる。この表自体はカメラ・システムの理
論モデルから計算することができるものである。また、
この表は較正手順によって実験的に決定することも可能
である。
定する方法の第1の主要ステップに属するものである。
設定することによってサーフェス・パッチの第1イメー
ジを記録する。その記録されたイメージを第1カメラ・
セツティングについて特定された対応する操作に従って
前処理を行なう。
設定することによってサーフェス・パッチの第2イメー
ジを記録する。その記録されたイメージを第2カメラ・
セツティングについて特定された対応する操作に従って
前処理する。
ージ、例えば第1及び第2イメージ間の前述の関係を使
用して、サーフェス・パッチの距離を決定する。このス
テップに使用される関係は、2つのイメージ間の前に明
示した関係である。1つのイメージは最初カメラ・シス
テムを第1カメラ・セツティングに設定することによっ
て特定の視野でイメージを記録し、次に記録されたイメ
ージを第1カメラ・セツティングに対して特定の前処理
操作に従って処理した結果である。他方のイメージは、
カメラ・システムを第2カメラ・セツティングに設定す
ることによって同じ視野で別のイメージを記録し、次に
記録されたイメージを第2カメラ・セツティングについ
て特定の前処理操作に従って処理した結果である。
明は前述した方法によって決定されたサーフェス・パッ
チの距離の不確定性を決定する式も与える。この式はカ
メラ・システムの光学的伝連関数、カメラ・パラメータ
値の測定の不確定性、及びSN比として表われるイメー
ジ信号の測定値の不確定性と関連している。
チのイメージの縁のぼけたにじみ(イメージの重なりの
問題)の影響を軽減させることによって増強することが
可能である。サーフェス・パッチの縁の周辺領域は、そ
の領域を照らさないことによって暗く保たれる。これに
よって、サーフェス・パッチによって生じるかすみが、
サーフェス・パッチに近接するサーフェス・パッチによ
って生じるぼけと重なることが回避される。従って、計
算された距離の精度が改善される。
の変動を示さない場合、シーン(sceIle)内のサ
ーフェス・パッチに光パターンを投射することによって
明るさの変化を生じさせることが可能である。これによ
ってサーフェス・パッチの距離の決定が容易になる。
メージを取得し処理すれば、そのサーフェス・パッチの
距離を決定するのには充分である。
対を処理することによってより頑健な距離の推定量を得
ることができる。イメージの各明瞭な対は1つの独立し
た距離の推定量を得るため処理される。その独立した距
離のすべての推定量の重み付けされた平均が頑健な距離
推定量を与える。
ッチの距離は、重み付は平均をとることによって他の独
立した距離推定量(同じ方法又は別の方法によって得ら
れた)と結合して、より頑健な距離推定量を得ることが
できる。
パッチとの間の決定された距離を使用して、カメラ・シ
ステムのイメージ・ディテクタ上にサーフェス・パッチ
を迅速にそして自動的に焦点を合せる方法である。この
方法は、距離を決定するステップに加えて、更に2つの
ステップを含んでいる。1つは、サーフェス・パッチの
距離に基いて、カメラ・パラメータの少なくとも1つ、
できれば両方の値を決定する。その2つのパラメータと
は、(1)カメラ・システムのイメージを形成する光学
系の焦点距離と、(2)サーフェス・パッチを焦点に導
く第2主平面からのイメージ・ディテクタの距離である
。それら2つのパラメータの決定は、イメージ合焦点公
式を使用して行なわれる。
f = 1/u + 1/vで、近軸幾何光学の原理に
基いている。
主平面からのイメージ・ディテクタの距離を前のステッ
プで決定された値に設定することである。
ーフェス・パッチの単に2つのイメージからの距離を、
あらゆるサーフェス・パッチが焦点内にあるかどうかに
かかわらず、またカメラ・システムからの距離に関係な
く、並列に(即ち、同時(m)決定することを容易にす
る。シーン内の各サーフェス・パッチに対応するイメー
ジ対は並列に同時に処理され、それらのカメラ・システ
ムからの距離を決定する。これは、カメラ・システムの
完全な視野を多くの小さな小(サブ)視野に分割し、各
小視野についてサーフェス・パッチの距離を決定する方
法のステップを繰り返し、それによって各小視野におけ
るサーフェス・パッチのカメラ・システムからの距離を
決定することによって達成される。
た一対のぼけているであろうイメージから焦点を改善し
たサーフェス・パッチのイメージを決定するのに使用さ
れる。最初に、前述の方法を使用して、サーフェス・パ
ッチの距離が決定される。この距離に基いて、記録され
、前処理されたサーフェス・パッチのイメージの1つ、
例えば第1イメージの光学的伝達関数が決定される0次
に、その第1イメージのフーリエ変換が決定される。こ
のフーリエ変換は前に決定された光学伝達関数によって
除算(デコンボルーシゴン)される。
て、サーフェス・パッチの焦点を改善したイメージが得
られる。
メージから、シーン内の可視サーフェス・パッチのカメ
ラ・システムからの距離に関係なく、得ることができる
。この方法は、カメラ・システムの完全な視野を多くの
小視野に分割するステップを含み、各小視野についてサ
ーフェス・パッチの焦点改善イメージを決定する方法の
ステップを繰り返し、それによって各小視野のサーフェ
ス・パッチの焦点改善イメージを決定する。このように
して決定された焦点改善イメージは、次に合成(又は結
合)され、カメラ・システムの完全な視野の全シーンの
焦点改善シーンが得られる。
システムの距離を決定する装置を含み、カメラ・システ
ムはイメージ・ディテクタ、カメラ開口、第1及び第2
主平面と焦点距離を有するイメージ形成光学系、及び光
フィルタを含み、第2主平面は第1主平面よりもイメー
ジ・ディテクタにより近く配置されている。カメラ・シ
ステムはまたカメラ・コントローラを含み、該コントロ
ーラは以下のカメラ・パラメータの1つ又はそれ以上を
変化させるよう動作するためにカメラ・システムの部品
に作用的に接続される。そのカメラ・パラメータは、(
i)第2主平面とイメージ・ディテクタとの距離、(i
i)カメラ開口の直径、(iii)イメージ形成光学系
の焦点距離である。
ッサを含み、該プロセッサはイメーディテクタ及びカメ
ラ・コントローラに作用的に接続され、イメージ・ディ
テクタから信号を受け、カメラ・コントローラによって
カメラ・パラメータを変化させる。
・ディテクタからの信号をディジタル・データに変換し
、その結果のディジタル・イメージを更なるイメージ処
理のために正規化する手段を含んでいる。更に別の好適
実施例においては、ブリプロセッサは、イメージのセン
サ応答特性を補正する手段、イメージ形成光学系の不均
一光透過を補正する手段、イメージの明るさを正規化す
る手段、及びイメージ・ディテクタに記録されたイメー
ジの倍率を正規化する手段の少なくとも1つを含んでい
る。
及びフーリエ係数を除算するディバイダを含み、第1及
び第2イメージからの信号に対応する一組の比率値を与
える。この実施例は、また、第1及び第2イメージから
収集された比率値をカメラ・システムからのサーフェス
・パッチの距離を与える数学的関係に置換する手段を含
めることができる。更に別の実施例は、ルックアップ・
テーブル及び相関手段を含み、入力とルックアップ・テ
ーブルに記録された値との比較から得られる値から1つ
又は複数の複写体の距離を決定する。
の少なくとも1つあるいは多くのシステム・パラメータ
を決定し、オリジナル入力信号をリニア・シフト−イン
バリアント・システムに取り戻す方法を提供する。リニ
ア・シフト−インバリアント・システムは、システムの
物理的配置を特定する一組の既知のシステム・パラメー
タで表わされるシステム伝達関数によって特徴づけられ
る。リニア・シフト−インバリアント・システムは、既
知のシステム・パラメータ値の異なるセツティングに対
して出力信号を与えることができるものである。未知の
システム・パラメータ及びオリジナル入力信号を決定す
る方法は、次のステップを含んでいる。
ツティングについてリニア・シフト−インバリアント・
システムの出力信号を記録し、(b) 記録された出
力信号のフーリエ変換をリニア・シフト−インバリアン
ト・システムのシステム伝達関数に関係づける一組の式
を公式化し、(c) ステップ(k)で導き出された
一組の式を解いて未知のシステム・パラメータを求め、 (切 少なくとも1つの記録された出力信号及び既知の
システム・パラメータ及びステップ(c)で決定された
システム・パラメータからオリジナル入力信号を計算す
る。
ニア・シフト−インバリアント・システムの代りに複数
のリニア・シフト−インバリアント・システムを含んで
いる。各リニア・シフト−インバリアント・システムは
共通の入力信号を受け、そのシステム・パラメータによ
って決まる1つの明確な出力信号を与える。各システム
のシステム・パラメータは明らかである0問題は、未知
のシステム・パラメータを決定し、すべてのシステムの
出力を与える共通の入力信号を与えることである。リニ
ア・シフト−インバリアント・システムのシステム伝達
関数はそのシステム・パラメータによって特徴づけられ
る。この方法は次のステップを含んでいる。
群の出力信号を記録し、 Φ)記録された出力信号のフーリエ変換をリニア・シフ
ト−インバリアント・システム群のシステム伝達関数に
関係づける一組の式を公式化し、(c) ステップ(
b)で導かれた一組の式を解いて未知のシステム・パラ
メータを求め、 (d) 少なくとも1つの記録された出力信号、既知
のシステム・パラメータ、及びステップ(c)で決定さ
れたシステム・パラメータからオリジナル・入力信号を
計算する。
0例えば、焦点−深度(depth−from−foc
−using)手法に関しては、本発明はたった2つの
イメージを処理すればよい、従って、高速で、計算機リ
ソースが非常に少なくなる。
カメラ・パラメータが一度に変化することができる。従
って、本発明は実用的カメラ・システムに広く適用する
ことができる。更に、本発明はガウス・モジェレーショ
ン伝達関数に限定されるものではない、任意のモジュレ
ーシッン伝達関数に適用することができるものである。
テム々してモデル化することができるすべてのカメラ・
システムに適用することができる。
)の形式によっては制限されない、従って大きな光学収
差や回折によって生じるイメージ歪みが存在していても
本発明は適用可能である0本発明のシステムのPSPは
関連のカメラ・パラメータで完全にそして直接的に特性
づけられ、それによって回折効果やレンズ収差を補償す
る0本願発明者の別出願で以前使用したような、PSF
を特性づけるための中間的パラメータは使用していない
。
れていれば、本発明の方法を適用するために、カメラ・
パラメータの実際の値を知る必要はない0本発明のシス
テムはカメラ・パラメータを定量的に測定する必要性を
回避することができ、カメラ装置を簡単に、そして安価
にすることができる。
数及びカメラ・パラメータ値を含む1つの式が公式化さ
れ、解析的に(又はルックアップ・テーブル法により)
解かれる。これによって、以前は必要であった2つの別
個の式を同時に公式化し、解く必要性を除去する。
ル成分の影響を、別個のカメラ・パラメータとして考え
ることによって考慮している。
メージ信号特性として推定し、カメラ・パラメータ値の
測定値の不確定性を推定する手段を与える。更に、本発
明は、距離を測定する方法を一般化し、任意の数のシス
テム・パラメータを推定し、その入力信号を推定するた
め任意のリニア・シフト−インバリアント・システムに
適用することができる。
率補正、及び理論的正確性に必要なグレー・レベルの正
規化を含む4つの前処理ステップを含むので、システム
はカメラ・パラメータの広い範囲の変動に対してより正
確になる。
ないでイメージ・ディテクタを前後に移動させることに
よって、解消される。これは、イメージ・ディテクタが
移動されずレンズ系が移動してそれに関連して問題を生
じさせる殆んどの従来技術と対照的である。
伝達関数が従来技術のように特定の形式、例えばガウス
又は円柱関数であることを前提にしていないので、それ
らの関数は実用上生じ得るあらゆる形式にでき、従って
本発明のシステムはより広範な応用が可能である。
制限されるので、とらえるイメージにおける周波数成分
が無意味のとき、適用できない。
有意義な周波数成分を使用するので、殆んどの従来技術
のように1つのみの周波数成分を使用するものに制限さ
れることはない。
ラ・パラメータの値についての制約がないことが含まれ
る。即ち、被写体は両者間に直線の境界を有する明るい
パッチと暗いパッチを含む必要がない、また、1つのイ
メージが小さな(ピンホール)開口サイズでとらえる必
要もない。
のパラメータによって特性づけられるカメラ・システム
に限定されるものではなく、関連のすべてのカメラ・パ
ラメータで直接的に特性づけられる。従って、本発明の
方法は相当の回折や収差が存在する場合でも適用するこ
とができる。
あったのに対し、1つの拘束を与えるのみで、従ってそ
の拘束を解く計算コストを減少させる。この拘束は観察
されるイメージ及びカメラ・パラメータで直接的に表わ
すことができる。また、中間パラメータ(例えば、P5
F分布の標準偏差)は含まれない。
になる−であろうし、また、前述した特徴によって本発
明の範囲が限定されるものではない。
次元空間的に示されている。第2図には好適な実施例の
カメラシステムの詳細が示され、該カメラシステムは、
カメラ光学軸0.A、に沿って配置された第1及び第2
のレンズL、、 L!を有する光学システムを含み、レ
ンズシステムの焦点距離fを容昌に変更できるように構
成されている。この焦点距離fはカメラパラメータであ
る。
cipal plane)P++Pzを有する事を特徴
としている。
、この開口ストツブの開口の直径りはカメラパラメータ
である。この直径は可変であるが、それは十分に小さく
、カメラシステムの入口孔及び有効開口がその直径によ
って常に定められ、カメラ内の他のストップによっては
決定されないようにされている。ストップA、をレンズ
し、の直前に配置する事は、情景内の総べての対象物が
カメラからの距離に関係なく同一の入口孔に出現する事
を確実にするものである。
じにする事が望ましい、その理由は、(i)フィールド
のより小さな深度において、カメラシステムに対するよ
り大きな範囲(深度)の辺側能力を生じる事ができ、(
ii)より大きなイメージ投影を行う事ができ、(ii
i)回折を減少させる事ができるからである。
ンズLxを後退又は前進させる事によって変更される。
ズストップに常に近接させる事が望ましい、特に開口ス
トツブによって決定される入口孔は、それが移動すると
ステレオビジョンにおいてそれに応じて生じる問題を引
き起こすので、移動させるべきではない。
方が凸レンズであり、いずれの場合においても有効焦点
距離は以下の公知の公式によって定められる。
あり、rは該2つのレンズ間の距離である。3以上のレ
ンズを用いた場合にも、同様な公式を用いる事ができる
(例えば、Hech を及びZajac著roptic
s」1974年Addison−Wesley Pub
lishers発行 第5及び6章を参照の事)、主平
面p、とp、の位置及びレンズシステムの主要点Q1と
口、は、例えばに、N、0g1e著、Charles
CaThomas、 Springfield(Ili
nois)によって1968年に発行されたr tex
t 0ptics Jの第2部第7章に開示されている
ような、幾何光学的な周知の方法を用いて決定される。
るための他の方法においては、焦点距離fLI+fL!
の一方又は両方を変更する事ができる。これは、一方の
レンズを有効焦点距離を有するレンズに変更する事によ
って達成される。
り、該デテクタ10において実像が形成され、記録され
る。レンズシステムの第2の主平面P2とイメージデテ
クタ10との距離はSで表わされ、これはカメラパラメ
ータとなる。カメラパラメータSの値は、光学軸に沿っ
てイメージデテクタIDを前進、後退させる事により変
更できる。Sの値はまた主平面P、を有効に動かす事に
よっても変更できる。
ュータを有するカメラシステムが示されている。イメー
ジ取得装置は、イメージデテクタからイメージ信号を受
けとり、デジタル型態に変換する。このデジタル化され
たイメージは、イメージ処理コンピュータに入力される
。該コンピュータは、入力デジタルイメージを処理して
表面パッチの距離を再生する。総べてのカメラパラメー
タを検出する事ができる必要はないが、この距離の情報
は有用なものである。好適な実施例においては、カメラ
パラメータの値を定量的に測定するための手段を有して
おり、該パラメータの値を変更する手段によって生じた
カメラパラメータ値の変更をも測定できるものである。
である。該コンピュータは、デジタル信号処理装置に通
常台まれている複数のモジュールから構成されている。
力装置及び入力装置間のデータ伝送に協調している。中
央処理ユニット(cPU)は動作処理を介助する。高速
フーリエ変換(FFT)チップ及びフローティングポイ
ント演算チップは、処理スピードを高上させるために用
いられている。メインメモリは入力イメージデータを記
憶し、かつ種々の状態における処理動作の中間結果をも
記憶する。
タは、更に2つのモジュールを含み、表面パッチの距離
を決定する。該モジュールの一方は、高速ランダムアク
セスメモリ(RAM)モジュール又は予め計算された値
のテーブルを記憶するリードオンリーメモリ(ROM)
モジュールを有している。この予め記憶されたテーブル
は、本カメラシステムの特徴となるものである。他方の
モジュールは、“ルックアップ″/相互関係モジュール
であり、計算された値のあるセット値に対して高速テー
ブルサーチのための特殊目的VLSIハードウェアを有
している。このモジュールはテーブルルックアップ(検
索)動作(これは部分的に連想サーチを必要とする)、
又は相互関係測定値の計算及びその最大値サーチのいず
れかを実行する。
る情景の2つのイメージを同時に得る事ができるもので
ある。該実施例は先に説明した実施例を少々変更する事
によって形成されている。
とも1つ(可能なかぎりそれ以上)を変更するための手
段を提供する単一のカメラシステムを使用するかわりに
、複数のカメラが用いられ、それぞれのカメラのカメラ
パラメータの値が、少くも1つ(可能ならばそれ以上、
全部でもよい)のカメラパラメータにおいて同一ではな
いように構成されている。この装置においては、それぞ
れのカメラのカメラパラメータのいずれをも変更するた
めの手段を具える必要がないものである。それぞれのカ
メラは、カメラパラメータの1セツト値に対応する1つ
のイメージを取得するように用いられる。各々のカメラ
は、ビームスプリッタ装置により共通の開口(口径)を
介して情景を写す。
ージ取得装置及びイメージ処理コンピュータは先に説明
した実施例と同様である。
に配置され、第2の座標システム(γ′、θ′φ′)は
第2の主要点Q2に配置されている0両方の座標システ
ムのX軸及びY軸はそれぞれの主平面上にあり、Z軸は
光学軸に一致している。この座標システムにおいて、第
1の主平面P+に(θ。
(θ′、φ′)の方向に出射される0本発明の実施例に
おいて、光学システムを囲んでいる媒体は均一であり(
空気)、該システムは光学軸に関して回転対称である。
、θ′=θ、φ′−一である。したがって、記号を単純
化するために、以下の説明においては入射光線及び出射
光線の両方向を特定するためにθとφのみを用いる。
できるものであり、光学システムを囲む媒体が異なる箇
処で異なっていてもよく、また光学システムが回転対称
である必要もない。
次元表面上に配列されたCCDセンサのような光感知セ
ンサ素子のアレイを含んでいる。もしくT、、θ、φ)
がイメージデテクタの表面上にある点の集りならば、該
表面は以下の関数によって定義される。
メージデテクタの表面上にイメージ放射分布を提供する
。この放射分布は以下の関数型態で表わす事ができる。
を表現するものである。g(θ、φ)が、イメージデテ
クタの表面の任意形状のイメージを表わす事ができる事
に留意すべきである。特に、イメージデテクタは、はと
んどのCODカメラにおけるのと同様に平坦であり、又
は例えば人間の目の網膜のようにカーブする事もできる
。
坦であり、光学軸に対して垂直に第2の主平面が距離δ
離れた位置に配置される。したがって、イメージデテク
タの表面の式は、ra(θ、φ)−δ/cosθ
(4)と表わされる。しかしながら、イメージデテ
クタの表面の幾何学的形状が例えば平坦形状等の特定な
ものに限定されない事に留意すべきである0本発明はイ
メージデテクタの表面の形状を任意のものに拡張できる
ものである。
方又は後方に移動するようにする事もできる。イメージ
デテクタのこのような移動により、記録されたイメージ
の大きさを変更できる。イメージの大きさの変更を考慮
するために、正規化されたデカルト座標システム(x、
y)を定義し、イメージデテクタ面上の点を識別する。
れた仮想デカルト座標システムである。第6図を参照さ
れたい、イメージデテクタ上の任意の点(S/cosθ
、θ、φ)に対して、この点の正規化デテクタ座標(x
、y)は、 xwtanθ、 y−tanθsinφ (5
)と表わされる。(θ、φ)によって特定される方向と
デカルト座標(x、y)との間の上記のように定義され
た77ピングは1対1であり、したがって方向(θ、φ
)を正規化デカルト座標(x。
(6)φ=cos−’ (x/、/’i−ワyt
)、φ= s in−’ (y/q )。
θ、φ)はg (x、y)によって等価的に表わす事も
できる。ここにおいては、同一のイメージを表わすため
にg(θ、φ)とg (x、 y)とを交互的に用い
る。
本的タームである重要なタームをここで定義する。
)は、情景における方向(θ、φ)に位置する対象物か
らカメラシステム入口開口に入射する基準時間当りの総
光エネルギーである。
るものとは相違している。ここにおいては、フォーカス
イメージは、情景における対象物の点の輝度又は発光量
よりもむしろ入口開口に入射するエネルギーのタームと
して定義されている。
における対象物の距離にフォーカスイメージを依存させ
てしまう、入口開口に入射する光エネルギーは対象物の
発光量に比例するので、カメラシステムからの対象物の
距離の2乗に反比例して減少する。新しい定義は、対象
物の発光量及びカメラシステムからの距離の影響を取り
除くものであり、本発明の正しい定理を表わすために必
要なものである。
ていないが、あるカメラパラメータに依存するものであ
る0例えば、カメラ開口の直径(口径)に依存しており
、これは情景における対象物の点から入口開口に入射す
る光エネルギーが対象物の点での開口に対する固体(s
olid)角に比例するからである0次に輝度正規化フ
ォーカスイメージの定義をするが、これもまたカメラパ
ラメータの実際の値に依存しないものである。
ように定義される。
は、f (x、y)に対応する入口開口に入射する光エ
ネルギー総量であり、以下のように計算される。
輝度正規化フォーカスイメージ」を単に[正規化フォー
カスイメージ」と称す。
、処理されたイメージと正規化フォーカスイメージとの
間に、単純な関係がカメラパラメータの値を用いて得ら
れるようにする。
φ)に沿って入口開口に入射する光エネルギーの総べで
は、該方向(θ、φ)に沿ってインズシステムの後方の
ある点に集光され、かつ集光された光エネルギーの値は
正しく記録される。
のような他の影響に基づくエネルギー損失がない、さら
に集光された光エネルギーの正確な記録により、位置(
θ、φ)にあるイメージセンサの応答(すなわち出力信
号)が集光された光エネルギーf (θ、φ)に比例す
る。しかしながら、実際のカメラはこの理想的な特性を
有しているものではなく、従って実際の記録されたイメ
ージはカメラシステムのこの理想的でないふるまいに対
して補正をするよう前処理される。
ンサのような光感知センサ素子からなるアレイを含んで
いる。これらセンサ素子の応答出力は、一般にイメージ
発光量に比例する。もしこれらの応答出力が比例せずに
、入射光エネルギーaに対して式b =C(a)で表わ
されるならば、正しい応答出力aは得られた応答出力す
に基づきインバ−入操作a=c−’(b)を行う事によ
って定義される。このインバース操作式c−’ (b)
はカリブレイション処理により初期に定義される。さ
らに、カメラ製造者はイメージデテクタの応答出力を実
際のイメージ発光量に関連付ける設計を行う事ができる
。観測されたイメージg(θ、φ)に対して、センサ素
子の非直線性応答を補正する操作は、以下の式で与えら
れる。
←Jはそのようになる事を表わしている。
収又はばかしの影響により、光学システムによって少量
減衰される。減衰量lは通常方向(θ、φ)と共に変化
し、したがって、透過関数t(θ、φ)の型式で特徴付
けられる。g(θ。
合、非均−光伝達の影響は、以下の操作によって、補正
される。
ンサ応答補正及び非均−伝達補正がすでに実行されたイ
メージg(θ、φ)(すなわち、g(x+y))は、情
景の観測されたイメージと称する。
の総量は、カメラパラメータの変化に応じて変化する0
例えば、カメラ口径が増大すると、総入射光量が増大す
る。この変化を考慮して、イメージg(θ、φ)は、入
口開口に入射する部分(kーカル)光エネルギーによっ
て正規化される。
規化観測イメージgo(θ、φ)は以下のように定義さ
れる。
月!致 カメラシステムのh(θ、φ)として表わされる、点広
がり関数(PSF)は点光源により生じる観測される像
(上記限定された意味において)として定義され、該点
光源の輝度は点光源から入射瞳の単位時間入射当りの総
光エネルギーが一単位となる。
応する点広がり関数h(θ、φ)は次のパラメータに依
存する。(i)像検出器の位置δ、(ii)光学系の焦
点長さf、(iii)アパーチュアの直径D、(iv)
光学系を入射する光の波長λ(又はスペクトル量)、(
v)光源Pの位置(ro、θ0,φ0)である、それは
また、他のパラメータ、例えば入射瞳の入射光の凝集の
程度に依存するが、他のパラメータは記録される異なる
イメージにとって同じに留まると考えられる。しかしな
がら、本発明は1以上の他のパラメータがひとつの記録
イメージから他の記録イメージに変える場合に容易に拡
張できる。
h(θ、φ)は角度φ。に依存しない。
円形に対称である。そこで、φ・はさらに考慮されない
、しかし、本発明の方法は点広がり関数がφ。に依存す
る場合に拡張できる0回転対称光学系に制限されない。
角度θ。に依存する。しかし、角度θ。
る。そこで、カメラシステムの観察の全分野は、収差が
一定に近い範囲の多くの小さいθ。
ーダである。各間隔の実際の収差は計算又は測定を通し
て決定される。観察されたイメージは小さいサブイメー
ジに対応して分割されそして各間隔に分離して分析され
る。この話は後に論述されるが、今は処理されるべきサ
ブイメージが、レンズ収差が一定である内側のθ。の間
隔のひとつにあることが考慮される。
タの組は(i)像検出器の位置δ、(ii)焦点距離f
、(iii)アパーチュア直径D、(tv)光の波長λ
、(v)被写体の距11f r oである。最初の47
のパラメータ(Sr f+ D、λ)をカメラパラメー
タと称することにする。ベクトルe7はカメラパラメー
タを正確に反映し、 Ca = (−δ、 f、d、λ) (
k)を使用する。ベクトルCaと点光源の距離T、の偵
における点広がり関数の従属を明確にするために、点広
がり関数を h(θ、φHCa、 γ。) 0ωとし
て示す、この関数において、点広がり関数が依存するす
べての独立パラメータはCaとT、により特定される。
した変数であると考えられる。特に、独立パラメータは
、中間プレパラメータ(例えば、θ)を生じるために結
合されず、そしてそのプレパラメータは関数りの独立変
数として取る。
) ’ X ’ y =I Qe特に、上記関係
はベクトルCaと距離T0のすべての可能な値に対して
良く維持する。
ジh(x、y; Ca、γ。)がもし与えられるならば
、Pの方向(θ0,φ0)の予測はイメージ明るさ分布
の中央の量から得られる。正規化されたデカルト座標系
における中央の量の位置(i、9)はx=f−oj”、
、 xh(x、y;Cat r o)dxdy (
17a)y = S S yh(x、y;Ca、
r o)dxdy (17b)により与えら
れる。
して(x、y)から得られる。
差として定義され得る。即ち、psph(x+y;ca
+γ。)は固まりの中央の囲りの非常に小さい領域にお
いてのみ重要な意味をもつ、この領域は広がりθの約2
又は3倍のラジアンまで広がる。この領域の外側で、P
SFは零に非常に近い値をもち、ここでは重要でない。
e)の被写体像検出器の上にイメージを生じる。第7図
を参照、ここで位置(T、、θ0,φ0)は実際に、被
写体上の表面パッチ(patch)の中央点の位置を表
わす0表面パッチのすべての点の方向(θ、φ)は、シ
ーンの点の方向が像検出器上のイメージの方向と同じだ
から確実に細かく決定される。しかし、カメラシステム
から表面パッチの距離γ。は決定されるべく留まる0表
面パッチの大きさは、点広がり関数が表面パッチ上のす
べての点でほぼ同じであるように取られる。これは、次
のことを暗示する。(i)表面パッチのすべての点がカ
メラシステムからほぼ同じ距離γ。にあること、(ii
)光学系の収差は表面パッチ上のすべての点でほぼ一定
していること、である、イメージ範囲において、表面パ
ッチのイメージの大きさは対応する点広がり関数の広が
りθよりも非常に大きくあるべきである。考慮すると、
表面パッチを囲む他の表面パッチは存在しないか、暗い
か、又は照明されてないとして扱われるだろう、この場
合のそれらの影響は後に考慮されるだろう。
隔のあるシーンにおける表面パッチは像検出平面に並列
の方形クロスセフシロンを有する最初の主要点に立体角
を設けるように取られている0表面パッチに対応する視
野としてこの立体角を述べている。この視野の中央(θ
0,φ0)により与えられ、そして反時計方向において
、方向(θ、φ1)、(θ8.φ2)、(θ1.φ、)
及び(θ4゜φ4)により視野のコーナを指定するだろ
う0表面パッチに対応する視野の中央と4つのコーナは
夫々点(Xe+ Vo)、(x++ yt)、(Xz+
Vり、<Xs+ Vs)及び(xn+ ya)により
正規化されたデカルト座標において表示され得る。
i =1+2+3+4のための4つのコーナ点(x+、
yt)は正規化されたデカルト座標空間を特定する0
表面パッチの方向として中央点(xs+ 3’@)をそ
して表面パッチの大きさとして表面領域の幅(l Xi
+Y1*t lとして与えられる)を参照する0表面パ
ッチの方向と大きな本発明の方法に対する入力として与
えられる。
はセンサ応答補正(式0ωに従う)のために、次いで不
均一光伝達(式01)に従う)のために前処理される。
ばれる。
関係している限り、カメラシステムは実質的に線形の不
変シフトシステムである。事実、最後の数ページの!!
i論の主な目的は、カメラシステムが線形不変シフトシ
ステムとしてモデル化される理論的なフレームワークに
あることであった。
テップが紹介された。いくつかのカメラシステムのため
、そのデザインと特徴に従って、いくつかの前処理ステ
ップは不必要であり、そして他のカメラシステムにとっ
て、付加的な前処理ステップと制限が必要である。たと
えば、応答特性が像検出器の異なるセンサ要素にとって
異なるときに必要となる0次のti論では、すべて、か
つ唯一の必要な前処理ステップが実行されるべく取られ
、そしてすべてかつ唯一の必要な制限が満足されるべく
取られている。要するに、カメラシステムはシーンにお
ける被写体の小さい表面パッチのための線形不変シフト
システムにより適切にモデル化される。
テムに関し、表面パッチの観察されたイメージg(θ、
φ)は、実際、カメラシステムの点広がり関数h(θ、
φ、 Ca、 γ0)を有する対応する焦点レンズf
(θ、φ)を回旋する結果である。この関係は g(θ、φ)=h(θ、φ;Ca、T、)11f(θ、
φ) (19)によって表わされる。ここで*は回旋動
作をを示す、同じ関係が明るさの正規化イメージg、、
(θ、φ)とf、(θ、φ)に保持する。即ち、 87(θ、φ)=h(θ、φ;Cat r 。)”L(
θ、φ) (20)である、上記関係は事実から導かれ
る。
)dxdy (21)上式は光エネルギの保存の
結果(式16を参照)である。
ように等価に表現される。
、(x、y) (22)式(22)はカメラパラメー
タと表面パッチの距離の項における同じ表面パッチの正
規化焦点イメージfa(x、y)に表面パッチの適切な
前処理記録イメージgn(x+y)を関係ずける。カメ
ラパラメータと表面パッチの距離は共に点広がり関数h
(x+y;Ca+ r o)を決定する。
る。
s (ω、ν) (23)ここに、ω、νは空間周
波数であり、G、(ω、ν)は明るさの正規化観察イメ
ージgJx、y) のフーリエ変換、H(ω、 v
;Ca+ r o)はPSFh(x、y;Ca、 T
o)のフーリエ変換、そしてF、l(ω、ν)は明るさ
の正規化合焦イメージL(x、y)のフーリエ変換であ
る。
伝達関数又はOTFと呼ばれる。
。
ータで得られる。
(24)表面パッチの第2の観察イメージgz(x、y
)はCb゜によって示される第2の設定値に設定された
カメラパラメータで得られる。
(25)2つのカメラ設定C□+Ca!において、カ
メラパラメータδ、f、D、λの少なくともひとつは違
わなければならない、即ちCal≠C−t (さもなけ
れば2つの観察イメージg+(x、y)とgz(x、y
)は同じであろう)、4つのカメラパラメータδ、f、
D、λのうち、そのいずれかひとつ、いずれかの2つ、
いずれかの3つ又はその4つのすべてが異なることがで
きる0例えば、カメラ設定動作はDI+D!、λ1=λ
アしかしfl+f!そしてδ1≠δ2のようにできる。
メージg+(x、y)とgx(x、y)に対応する明る
さ正規化イメージとするm g III (x、y)と
g ax (X+ V) の値は像検出器の感光要素
の位置に対応した点の個別アレーで知られている。もし
像検出器が例えばδ、からδ2へ(ここで61〉δt)
移動されるならばそのときイメージの後者の倍率は像検
出器に形成される。そこで、gl(X+V)に対応する
個別のアレーはg nz (x+ y)に対応する個別
のアレーよりも大きい。換言すれば、gap(xty)
が知られている(xty)の個別の値はget(xty
)が知られている<x、y> の個別の値よりも接近し
ている(又は接近した広がり)であろう、この場合、g
a+ (X+Y)はget(xty)が知られている
同じ個別の点で値へ挿入される。この動作はイメージの
強度における変化を注意し、そして倍率正規化と呼ばれ
る。
ジga+(xty)1get(xty)に対応するフー
リエ変換であるならば(倍率正規化の後)、そのとき式
(23)から次の関係を導くことができる。
録された2つの前処理イメージのフーリエ変換の比であ
る。右側は対応する光学伝達関数の比である。この式は
正規化焦点イメージと独立である(実に、正規化合焦イ
メージに対応する項はこの式を導く間に消去する)。
求されたカメラパラメータが与えられるなら、解析学が
右側に導入できる。これは式において距離γ。が唯一未
知であることになる。この式を解くと表面パッチの距離
γ。を与える。
離を決定する代わりのアプローチはカメラを実験的に目
盛ることである。この方法において、左側の比は表面パ
ッチのすべての可能な距離について計算され、そしてこ
の距離(定規を使用し、物理的に実際に測定することに
より決定される)は計算された比の関数として表に作ら
れる。この結果得られた表はコンピュータ・メモリに記
録され得る。カメラシステムを目盛ると、いずれの表面
パッチの距離もこの表を参照することにより決定できる
。
れる。
(ω、ν)とG、(ω、ν)が重要であるフーリエ周波
数(ω、ν)を選択し、それらの倍率は前もって特定し
たスレッシホールドに(ω、ν)よりも大きい、この条
件はに(ω、ν)〉0として表わされる。
(27)これは左側の値がノイズの存在中で強力
に観察イメージから計算したことをn認する。に(ω、
ν)の実際の値はカメラシステムのノイズに対する信号
比特性により決定される。それはノイズ振幅の平方二乗
平均(RMS)の約5倍であり得る。即ち、ノイズに対
する信号比は約25であることが要求される。
る。第1の方法は解析的アプローチである。
T、によって特定されるカメラパラメータの項において
式(26)の右側に対して導入される。終結式はCMI
+CM!及び観察イメージから計算される式の左側の比
の項における距離γ。のための明快な解析式を得るため
に解かれる。
な方法は1987年に提出されたU、S、特許出願番号
126,407に本発明者により述べられている。
の距離の解法があることが示された。明快な分析式がそ
の2つの解法のために導かれた。また、2重のあいまい
さを避けることができ、そしてDI=D!であるときに
、もしアパーチュアDが2つのカメラ設定のために変更
されないならば唯一の解が得られることを示した。直径
が変更されている時さえも、2重表現はカメラパラメー
タと被写体距離が特別の条件を満足しているときのみ生
じる。
が可能であるが、通常は唯一であること、(ii)2倍
のあい、まいさはカメラパラメータの適切な選択により
通常避けられることを提案している。この場合は一般の
PSFでさえも、あいまいさはおそらく2つ重複のみで
あり、−このあいまいさはカメラ設定動作の適当な選択
により避けられることを暗示している。
形への近似値である。この発明はシステムの形成上の制
限のないカメラシステムの任意のPSEを扱っている。
例えば、マグロウ・ヒル出版社、1968年、J、W、
グツドマンによる本“フーリエ光学への紹介”における
式(6,24)と(6,27) (ページ114と11
5)がカメラシステムの0TF(従ってPSF)の式を
導くために使用できる。 OTFを記述する完全分析関
数は通常非常に複雑である。そこで、実際に、式(26
)を解くことは非常に困難であり、又は不可能でさえな
る。この方法の別の不利益はCatとCb!により特定
されるカメラパラメータの値の正確な知識を要求するこ
とである。デザインがカメラパラメータの正確な測定を
容易にすることが要求されるので、これはカメラパラメ
ータへの付加的複雑性を導く。
あるなら、数の反復法が使用できる。しかし、良い収束
値をもった有効な反復アルゴリズムが必要である。もし
このようなアルゴリズムが利用できないなら、このとき
γ。空間の徹底的サーチが、計算上の消費を通じて、被
写体の距離のあらゆる可能な解を与えるために許容され
る。
法である。この方法は実際上から非常に便利である。こ
の方法では、式(26)の右側の関数はγ。
のように棒形式で表示される。
場合についてもtδ(ω、シ; r o)のみを表にす
るか、又は例えばTSFが円筒関数である場合について
ψδ(ω、シ;T0)のみを表にすることで時々十分で
ある。特に、全回転対称PSTについて、OTFは常に
どこでも実数の値である(これはフーリエ変換の性質に
従う)、この場合、位相ψδは常に0又はnであるが、
tδはいずれかの正の実数値であり得る。そこで、tδ
はこの場合に要求されるほとんどすべての情報を含む、
tδが単独に距離Toを決定するのに十分な情報を含む
ときは常に、電カスベクトルの平方根として計算され得
る。これはイメージの電カスベクトルが光学手段により
非常に速く計算され得ることを気がつくことは重要な点
である。
、ν。
1つだけがしばしば満足する。普遍性のために両方の表
が考慮される。これらは共に表Tδ (ω。
て関数Tδ (ω、シ、T0)を作表することはしばし
ば十分である。しかしながら、実際には、このことは不
適切である。それは、観測された像において、対応する
フーリエ成分CI、+(ω、ν)及びG。(ω、ν)及
は重要でなく、あるいは存在しないことすらありうるか
らである。さらに、2つのみのフーリエ周波数において
G□(ω、ν)とG、、X(ω、ν)とを測定すること
により距離γ。を解くことは複数の解をもたらすがあり
うる。したがって、テーブルTδ(ω、シ、γ。)は二
数側のフーリエ周波数(ω、ν)に対して記憶される。
全てのありうるフーリエ周波数に対して記憶しうる。観
測された像から計算した値は、下付き文字Cで示され、
次式で与えられる。
″)(30,2)ここでtc(ω、 ν) = Tc
(ω、ν) (30,3a)ψ0=位相〔Tc(ω
、ν)) (30,3b)である。
(ω、ν)とから数個のフーリエ周波数(ω。
値は一緒で距離T、に対する一組の解を決定する。これ
をRo(ω、ν+tctψC)により表わすとする。全
ての組に共通であり、全ての解の組の共通部である解は
、対象物の距離に対して実際の解γ。を与える。これは
次のように表わすことができる。
(31)ω ν テーブルTδ (ω、シ、T、)は、サイズがMXNX
UX2の4次元アレイ(第8図参照)に記憶される。こ
のアレイでは、第1次元はωのM個の個別値に対応し、
第2次元はνのN個の個別値に対応し、第3次元はγ。
第1のエントリーとして記憶され位相ψ1は第2のエン
トリーとして記憶される。
ν、γ。)によりインデックスされた第4次元エントリ
ー(tδ、ψδ)が(tc+ψC)の計算値に等しいよ
うに、全ての距離T、を見つけることが望ましい、これ
は、γ。の各値に対して第3次元に沿ってアレイをサー
チし、1cとψ。の計算値とtδとψδの記憶値とを比
較することによりえることができる。したがって、この
方法は2Uの比較動作を含む、Ro(ω、シ+ tc+
ψC)は、このようにして得られたγ。の全ての値の組
を表わすとする。そこで、これらγ。の値の各々に対し
て、(ω、ν)の他の値での計算値1c及びψゎが記憶
値tδ2ψδ−に等しい(あるいは近い)か否かを決定
するために、比較がなされる。γ。のただ1つの値が残
されているか、全てのありうる周波数(ω、ν)がサー
チされてしまったかのいずれかまで、条件付きのサーチ
はなされる。このサーチに生き残ったToの値は距離に
対する解である。
実行されない、第一に、テーブルTδ (ω。
ーブルの各エントリーは、このテーブルのエントリーが
記憶された実際のT、の周りの小さい間隔に対応する。
から他の解と最も矛盾のない少なくとも1つの10が選
ばれる。解が別の(ω、ν)例えばγ。(ω、ν)に対
して異なる場合には、これら異なる解の加重平均が実際
の距離の推定値として取られる。候補の解ro (ω
、ν)に対する重みは、(ω、ν)での信号対雑音比に
基づいて決定することができる0例えば、重みは(ω、
ν)における信号対雑音比に比例して取ることができる
0式(31)を用いて式(26)を解くこの方法は組交
差法(set 1ntersection metho
d)と言われる。
γ。を記憶し、T、の代りに3次元に沿ってtlとψ、
とによってエントリーをソートする場合には、サーチ中
の初期の2Uの比較動作は低減することができる。そこ
で、ソートされたリストは、周知のサーチ・アルゴリズ
ム(例えばバイナリ−・サーチ)の1つを用いてO(l
ogU)の動作においてソートすることができる。
のためToに対してテーブルTδ (ω。
ができる。サーチは、観測された像からの計算(ITc
(ω、ν)と、T、の各ありうる値に対してテーブルに
予め記憶された値Tδ (ω、シ;ys)との相関測定
偵を計算することにより実行される。最も高い相関をも
たらすγ、の値が対象物の距離として取ることができる
。相関測定値の例は次のように規定される相関係数であ
る。
の期待値を示す0期待値即ち平均は(ω。
離T、の全でのありうる値に対して計算され、IcIが
最大であるγ。が対象物の距離として取られる。大きさ
tδと位相ψδに対して別々に相関を規定し計算するこ
とも同様にできる。この方法は、特別の目的のハードウ
ェアが相関の高速計算のため入手可能であれば便利であ
る。さらに、この方法はノイズに対してしっかりしてい
る。
相関測定値の計算において信号対雑音比に基づいて用い
ることができる。これは、距離T。
ur4ace patch)の距離を見つけるため実施
される動作の段階的説明を以下にする。
最初の像が記録される最初のカメラ・セツティングに設
定される。即ち、 Ca+=(δ、f、0□λ1) カメラは、第2のカメラ・セツティングに設定される。
される。
た、方形の視野を決定しかつコーナ点(φ、。
り選択される0表面パッチの像を処理用の最初に記録さ
れた像から抽出する。この抽出された像は、選択された
方形の視野内で最初に記録された像と同じ明るさを有し
、g+ (θ、φ)により表わされる。
用でき、式(ii)において前述したように必要ならば
不均一伝送の修正を適用できる0倍率の修正の修正もま
た適用できる。δ1〉δ、であれば、信号は補間され、
g+ (θ、φ)はgt(θ、φ)が既知である個別点
の同じ組で再びサンプリングされる。
デル化するために追加の前処理ステップを実行させるこ
とができる。像は、式(6)により正規化デカルト座標
系におけるg+(X、y)として表わされる。像gt(
x、y)の境界での像の重なり効果は、g+(X、y)
に適当な中心重み付けされたマスクω(x、y)(例え
ば2次元のガウス分布)を乗することにより低減できる
。即ち、g+(X、y)← ω(x、y)g+ (x、
y)g+(x、y)とgt(x、y)の全体の(あるい
は平均の)明るさは、例えば式(13)と同様にして、
同しであるようにされる。g*+ (x、y)のフーリ
エ係数G□(ω1.ν、)は、個別の空間周波数(ω+
、 v >) (i =1+2.−−−−、−及びj
=1,2.−−−−n)の組で計算される。
出される。抽出された像は、選択された方形の視野内で
、記録された第2の像と同じ明るさを有し、この方形の
視野の外側の全ての所の明るさの値はゼロである。この
第2の像はgt(θ。
の補正、倍率の補正、明るさの正規化、他の前処理ステ
ップ及び像の重なりの低減のために、第1の像として処
理される。その結果、得られた像をgllt(x+y)
により示す、この像のため、フーリエ係数G、、!(ω
盗、ν、)が、個別の空間周波数(ω、、シJ) (i
=1.21−・−”、m及びj=1.2.−・n)の
組で計算される。
の像ノイズ特性に基づいて特定することができる。した
がって、IGo(ω8.νj)l≧に(ω五、νJ)で
ありかつl c、z(ω4.ν、)I〉に(ω3.シj
)である場合には、対応する係数の比は次のように計算
される。
くことができる。
形成の理論(例えば近軸幾何光学理論(paraxia
lgeometric optics theory)
あるいは波動光学理論)から導き出される。ω8.シ4
.C0及びCb2の値が上記式に代入され、距離γ。に
対する全てのありうる解を得るために、この式を解くこ
とができる。
の式がγ。を計算するために用いられる。
合も、複数の解が存在する場合には、擬似解は、全ての
解が全てのありうる空間周波数(ω、。
除される。
示し、位相ψバω1.ν、)を申cljにより示す、コ
ンピュータ・メモリの予め記憶されたテーブルをインデ
ックスするため(ω4.シj+jejj+ψ。j)を用
い、距1iiIr oに対する解To(ω1.シフ、
jcij+ψ08、)の−組を見つける。γ。の擬偵解
を排除するため、式(31)において空間周波数にわた
ってこのような組の交差点を取る。即ち、 Lo”pl:1ro(ω1.シj、jcij、ψc1j
)J 第3の方法においては、計算値tc(ω處、ν、)と、
全てのありうる距離γ。に対してコンピュータ・メモリ
に予め記憶された関数tδ(ω3.シバγ。)との間の
相関係数Ct(γ。)を計算する。相関C5が最大であ
る距離γ。の値を見つける。このToの値は表面パッチ
の距離の推定値を与える。
場合には、これらの10の値に対して、計算された位相
ψバω1.νJ)と、コンピュータ・メモリに予め記憶
された関数中δ(ω3.シ1;γ。)との間の相関Cψ
(To)を計算する。そこで、Cψが最大であるToの
値を見つける。このγ。
て計算できる。
。第1の方法は、0TFH(ω、シ、Ca、γ。)に対
する解析式を用い、式(28)の右辺を計算することに
よるものである。これは、(ω、シ+ Ca+ r ’
o)に対する0TF)lの解析式を必要とする。さらに
、これはカメラシステムの測定を通して00及びCaz
の実際の知識を必要とする。この方法を以下に説明する
。
光学が選択された後に、カメラシステムの光学的伝達関
数Hの式を導くことができる。この光学的伝達関数は、
カメラ・パラメータCb、表面パッチの距離γ。及びフ
ーリエ空間周波数(ω。
れ、光学的伝達関数を計算するのに必要である個別の値
(ω、ν、γ。)が決定される。
関数H(ω、ν;T0)の値は、先に導き出された式を
用いて(ω、ν;γ。)の個別の値において計算できる
。計算された値はコンピュータ・メモリに記憶され、表
面パッチの改善された合焦像を決定するのに用いられる
。
□及びCaffiを取る2つの像が与えられる表面パッ
チの距離を決定するため、最初にカメラ・セツティング
C□及びC3ffiに対するカメラの光学的伝達関数を
(ω、ν;γ。)の所望の個別の値において計算する。
必要なテーブル値を与える。
きさと位相の形式で記憶される。
man著、 1968年McGraw−Hill刊、r
lntroduction t。
式(6,27)(ii4及び115頁)により与えられ
る。この関数は、実際のカメラシステムにとって非常に
複雑なものとなる。しかし、実際の幾何光学は多くの実
際のカメラシステムに対して良い1次近債を与える。し
たがって、テーブルを予め計算する解析法はこの場合に
は有用である。さらに、近軸幾何光学モデルをカメラ装
置にとって他の有用な設計基準を導き出すのに用いるこ
とができる。
しい、)近軸幾何光学の条件の下で(第9図参照)、点
ひろがり関数は円筒形であるいは「丸薬箱(pill−
box) 」状であり次式により与えられる。
の半径である。以下に示すベクトルCaによるカメラ・
パラメータδ、f、Dにより特定されるカメラ・セツテ
ィングを示す。
(幾何光学において、回折効果は考慮されてなく、した
がってカメラパラメータのリストからλを落としている
ことに注意されたい、)第9図とレンズの公式から である。(単位倍率に対する正規化の後(m)を得る。
器に対する第2主平面からの距離、Dはアパーチェア径
、■は第2主平面から合焦像までの距離、及びUは第1
主平面から対象物までの距離(第5図の球面座標系にお
けるu ”’ r 1100sθ。に注意)、イメージ
検出器上のプレ円の実際の半径はδにより除され単位像
倍率に対応する正規化半径Rを得る。実効焦点路#fは
式(1)から導き出される。
学的伝達関数もまた回転対称である。したがって、光学
的伝達関数における単一空間周波数パラメータρは ρ(ω、ν) = r (36)を用いることが
できる0式(32)のフーリエ変換は次式により与えら
れる光学的伝達関数である。
快に光学的伝達関数がカメラ・パラメータと対象物の距
離とに依存していることを示している。
fffi) (39)である、カメラ・パラメータC
□+CIl!が与えられると、式(37)と、式(38
)におけるテーブルTδ(ρ+u)とに対応するOTF
テーブルは、式(35)及び(36)を用いてコンピュ
ータにより容易に計算できる。
(ω、シ、γ。)を得る第2の方法は、実験を通して
である。H(ω、シ;C0T0)に対する解析式が得ら
れない場合、または計算が困難な場合、あるいはカメラ
システムのCaI及びCatを正確に測定することが困
難な場合には、実験的な方法が便利である。この場合に
は、カメラ・セツティングC□に対するカメラシステム
の観測された像g+(X、y)と、カメラ・セツティン
グC0に対するカメラシステムの観測された像gx(x
、y)は、T、の各ありうる値に対して小さな個別の間
隔で記録される。したがって、テーブルエントリーは次
のように計算される。
y)を知ることは必ずしも必要でないことを注意された
い。式(27)が満足されることによりテーブル・エン
トリーのためのしっかりした推定値を生ずるため、先の
IF(c1ν)l>に(ω、 ν)を必要とするのみ
である。この要件は、例えば、合焦像を、空間周波数(
ω、ν)を持った高コントラスト正弦波パラメータにす
ることにより、いずれの(ω、ν)に対して容品に適合
させることができる。
テムからの対象物の距離γ、を初期較正ステップ中に正
確に測定できることが必要である。
要ではないが、観測された像の倍率を正規化するために
比δ、/δ8を知ることは必要である。
計算するため、次のステップを行う、カメラの視界を多
くの小さな副視界に分割する。第10図及び第11図を
参照されたい、これらの副視界のサイズは、各副視野内
で光学収差が殆んど一定に保たれるように選択される。
出器に対して平行な方形の断面を有するようにする。し
たがって、各副視野は、(θ。14.φ。ri )(i
−1,2−・・、■及びj =1.2.・−一−−−
,J)で中心向けされ、そして対応するコーナの点はそ
れぞれ(θklj、φに1j)(k =1.2,3.4
)である。
中心とする1つのビュー・サブフィールドを選択し、そ
してi =1.2.3.4として(θゑ、φ1)のコー
ナーをもっこ止により、テーブルTδ (ω。
ト・ボードを置き、これをその中心に方向(θ0,φ0
)に直交して配置する。このボードの距離は、カメラ・
システムからToとすべきである。
分布した大きな明るい領域のパターン)を有したフラッ
トの高コントラストの写真を置き、これをそのボードの
中心に配置する。その写真のサイズと場所とは、上記の
選択したビュー・サブフィールドに広がる程度のものと
すべきである。
そして前に説明したシーンの第1のイメージを記録する
。同様に、そのカメラを第2のカメラ・セツティングC
bzにセットして第2のイメージを記録する。
する広いダーク・バンドで囲まれたその写真パターンの
イメージを含んだサブイメージg+ (θ、φ)を抜き
出す、このサブイメージには、それ以外の被写体のイメ
ージは含まれるべきではない、これにより、その取り付
けた写真が発生する光分布のほとんど全てが、その引き
出したサブイメージ内に確実に記録されていることにな
る。
ーダー効果を回避することができる。このステップを第
2の記録イメージに対しても繰り返して、サブイメージ
gz (θ、φ)を引き出す。
の正規化フーリエ変換C−+(ω盈、νj)及びC−t
(ω鑑、νj)をそれぞれ計算する。記憶すべきそのテ
ーブルTδ (ω、、シ1 ;γ、)は以下の通りであ
る。
ブルとは、以下の通りに記憶することができる。
r、 vj:ro)δ ψ、(ω1.シ;:γ。)=位相(T、(ω1山;r0
))ボードに固定したその写真の合焦したイメージf(
χ、y>を、何らかの手段(例えば、実際にカメラをそ
の写真上に合焦させてそれを記録するか、あるいは別個
にその写真パターンをデジタル化すること)により見付
は出す。その合焦イメージf(x。
)を得る。このL(x、y)のフーリエ変換F、(ω1
.ν、)を計算する一1c−+(ω五、シj)lλK(
ωシ、シ1)の場合、次に以下の通りに光学伝達関数を
与えるテーブルを計算する。
り返すステップである。
る場合には、上記の実カメラ・パラメータC0及びC0
を式(28)を用いて得ることができる。
要である。(ω、シ、γ0)のある特定の値に対応する
各テーブル・エントリに関して、式(28)が与えるカ
メラ・パラメータCjl+ Cm2に対し1つの制限
が得られる。この制限をテーブル・エントリ全てに対し
て書き出すと、大きな優決定系の式が得られる。ここで
、問題は、これらの式を解いて、そのカメラ・パラメー
タCml+ Catを得ることである。これは、古典
的パラメータ推定問題であり、これは、応用数学におい
てよく知られた技法の1つ(例えば、最小二乗誤差最小
法)により解くことのできるものである。原理上は、こ
の技法は、カメラ・システムのn個の未知パラメータを
、表面パッチの少なくともn+1個のイメージ(各イメ
ージは異なったカメラ・セツティングで得たもの)を用
いて決定する方法を与えるものである。
に距11uの限界値及びインターバル、並びにそれらの
値を決定し記憶するようにしなげればならないフーリエ
周波数(ω、ν)を決める。
理に基づいて決定する方法は、以下に説明する。
る被写体の最小距離u6.7は、fである。
従ってそれは無限とすることができる。従って、次の通
りとする。
J(ただし、1≦に、、ア、≦−に、、x<cX))(
41)に□7及びにmaXの実値は、その応用ドメイン
により決定する。例えば、マシン・ビジョン応用におい
ては、それらの代表的な値は、にml、、=2及びに1
1□−ωである。
近位距離をpとする。我々はこの距離をビクセル・サイ
ズと呼ぶことにする。2つの点間の識別は、それらが発
生するぼけサークルの径がエビクセルのサイズpに匹敵
するある値だけ異なっているとき、カメラからの互いに
異なった距離にあるものとして行える。この距離は、1
ピクセルのサイズpであるとする(これは、それらセン
サの光感度、即ちデジタル・イメージのグレースケール
分解能に依存して1ピクセル・す1ズのある固定の分数
値とすることもできる)。ある所与のイメージ検出器位
置δに対しては、単位倍率に対応する1ピクセルの正規
化したサイズは、p/δであるか、あるいは、近憤的に
は、p/fである。従って、2つの点の半径におけるそ
の最小差δRは、次のようになる。
35)から、我々は以下を得た。
得た。
ターパルではなく1/uの等インターバルで計算すべき
ことを示唆している。
/uのインターバルのサイズを表した。そのU次元に沿
ったテーブルのサイズUは、下式の通りである。
光学系の回折制限された分解能により決定する。広く用
いられているレイレー(Rayleigh)判定基準に
従って、我々のレンズ系により辛うじて分解できる2点
間の角分離度は、次のとおりである。
よりもビクセルの角度サイズP/fを小さくすることに
よっては、多くは得られない、従って、p夕1.22λ
f / D (47)空間周波数の分
解能及び限界値 pは2つのセンサ素子間の距離であるため、それは、イ
メージ信号の空間サンプリング周期を表していることに
なる0倍率を正規化したイメージにおいては、そのサン
プリング周期は、P/δであり、ここで、δは、そのイ
メージ検出器の第2主平面からの距離である。もしその
サンプルしたイメージが、サイズがMXNの要素の離散
的アレイである場合には、その倍率正規化イメージのそ
の離散フーリエ変換(DFT)は、MXNの異なった空
間周波数(ω、ν)を含んでおり、その周波数は以下に
与える。
48)(+ =0.1,2.−・−・・・−、N−1)
(49)従って、その最大テーブル・サイズは、
U X M X N (51)
−Mに、その特定の応用に依存して、そのテーブル・サ
イズは、より小さいものとすることができる0例えば、
もしそのPSFが回転対称の場合、そのOTFもまた回
転対称となり、従って、そのOTFは、単一の周波数ρ
の関数として記憶することができる。ここで、 もしそのイメージが方形のNXNのマトリックスの場合
には、そのテーブルは、ρ= 1.2.−−−一・、N
/2に対し記憶することができる。従って、この場合の
そのテーブル・サイズは、UXN/2である。
称でないときよりも非常に小さくすることができる。
を見い出すための方法は、以上に詳しく説明した。これ
と同様の方法を、カメラ・システムの急速合焦のために
使用する。この方法においては、まず初めに、合焦すべ
き表面パッチの距離を、上記の方法を用いて判定する。
i)本イメージ形成系の焦点距離、及び(ii)イメー
ジ検出器の第2主平面からの距離(これはその表面パッ
チを合焦させる距#)、の内の少なくとも一方の値を決
定する。この決定は、イメージ合焦式を使って行う、こ
のようにして決定した値にそのカメラ・パラメータをセ
ットすることにより、自動合焦を行う0例えば、近軸幾
何光学理論から得た式(34)を使用して、焦点距離f
の値とイメージ検出器位置S=V (これに対し被写体
を合焦する)の値を見い出すのに使用することができる
。
見い出した後、レンズ式(34)の如き合焦式を使って
、その表面パッチを合焦させるカメラ・パラメータ(δ
、f)を決定するようにすることができる。あるいはこ
の代わりに、その距離(そして、おそらくはその表面パ
ッチのあるビュー・フィールド)を用いて、その表面パ
ッチを合焦させるための所望のカメラ・パラメータ値(
δ、flを提供するコンピュータ・メモリ内の予め記憶
したテーブル内へインデックスする。そのカメラ・パラ
メータは、続いて、そのカメラ要素をその得り焦点パラ
メータ(δ、f)へ動かすことにより実現する。
を改善したイメージを得る方法について説明する。式(
10)から以下の関係が得られる。
を本カメラ・システムのOTP H(ω、ν;C0γ。
算の結果、その合焦したイメージのフーリエ変換F(ω
、ν)を得る。P(ω、ν)の逆フーリエ変換は、その
所要の合焦イメージf (x、 y)を与える。
ず初めに、カメラ・システムからのその距離を、先に説
明した方法を使って決定する0次に、その対応するOT
Fをその距離及びカメラ・パラメータ値から決定する0
次に、式(53)を使って、その表面パッチの合焦イメ
ージを得る。これらのステップを上記のシーン内の各表
面パッチに対し繰り返すことにより、全表面パッチのそ
の諸合焦イメージを得ることができる。こうして得たそ
の諸合焦イメージを全て一緒にすることにより、我々は
、そのシーン全体の合焦イメージを得るようにする。
2つの異なったカメラ・セツティングでのそのシーンの
2つのイメージを記録する0本カメラのビュー・フィー
ルドを、第1θ図及び第11図におけるように多くの小
さなサブフィールドに区分する。これらサブフィールド
のサイズは、その各サブフィールド内で光収差がほぼ一
定となるように選定する。実施の都合上、そのビュー・
サブフィールドが、イメージ検出器と平行な方形の横断
面を有するようにしである。このビュー・サブフィール
ドを、i=1.2+−・−・・・、■及びj =1.2
.・Jとして、(θ。■、ψ。ij)を中心とするよう
にし、そして、その対応するコーナー点を、に=1゜2
、3.4として1.(θ、4.φ□、)により与えるよ
うにする。
る表面パッチの合焦改善イメージを上記の通りに見い出
す0表面パッチ全ての諸合焦改善イメージを互いに適切
な位置に置くことによりそれらを組み合わせ、そのシー
ン全体の合焦改善イメージを合成する。
は、我々は、本カメラ・システムのOTF H(ω。
定は、先に説明した距離決定法におけるテーブルTδ
(ω、ν、T0)の決定と類似のものである。
ラ・システムの理論的モデルから決定する方法であり、
他方は、実験による方法である。その最初の方法におい
て、本カメラ・システムの理論的モデルを使って、その
カメラ・パラメータ及び被写体の距離を項とするそのO
TFの解析式を誘導する0例えば、近軸幾何光学理論か
ら式(37)を得る。光の回折理論からそのOTPを得
る別の例については、Proceedings of
the Royal 5ociety ofLondo
n、A、231.pages 91−103.1955
内のホプキンス(H,H,Hopkins)による“焦
点ずれ光学系の周波数応答(The frequenc
y response of a deformedo
ptical system)”と題する論文に記載さ
れている。
い計算法は、VO17,N[L5. APPLIED
0PTIC3゜pages 967−974. May
1968の“焦点ずれ完全レンズの変調伝達関数のテ
ーブル(Tables of the Mo−dula
tion Transfer Function
of a Deformed Perfect
Lens)”と題する論文に呈示されている。
えば近軸幾何光学もしくは古典的波動光学を選ぶ0次に
、カメラ・パラメータCa、表面パッチの距離To、及
びフーリエ空間周波数(ω、ν)を項とする本カメラ・
システムのそのOTF、Hに対する式を導く、カメラ・
セツティングCal+Cm!の適当な組を選ばなければ
ならない0次に、そのOTFを計算する必要のある(ω
、シ;γ。)の離散値を決定する。(ω、シ;γ。)の
離散値におけるそのOTF H(ω、シ;T0)の値を
、ある所定のカメラ・セツティング例えばe、に対して
決定する。これら値は、ある表面パッチの合焦改善イメ
ージを決定する際に使うため、コンピュータ・メモリに
記憶する。
Caを正確に知る必要がある。ある機械的なカメラ・シ
ステムにおいては、そのパラメータを正確に測定するこ
とが難しいことがある。この理論的アプローチに代わる
ものとして、カメラ・システムの実験的校正法がある。
、 y)を有する被写体を、カメラ・システムからのそ
の被写体の可能なあらゆる距離γ。でイメージ化する。
は、そのカメラ・パラメータ・セツティングCaは変え
ずにおく、シかし、このカメラ・パラメータの実値を知
る必要はない、被写体の各位置γ。に関して、その観察
したイメージg(X+V;γ。)を記録する0次に、そ
のOTFは、以下から計算する。
る。このテーブルは、上記の被写体距離発見法に用いた
テーブルT、(ω、ν、T0)と類似のものである。
てこれを細分して、各サブフィールドがイメージ検出器
に平行な方形横断面を有するようにしだ後(諸ビュー・
サブフィールドの中心をi=1.2.−・・−・■及び
j−1,2,−・−、Jとして(θ。■。
=1.2.3.4として(θkIJ、φh+7 )によ
り与えられるとする)、以下に定めるテーブルTδ (
ω。
し記憶する。
とする(θiφI)にコーナーを存する1つのビュー・
サブフィールFを選ぶ、全面が均一に暗い大きなフラッ
ト・ボードを、その中心に方向(θ0,φ0)に直交し
て置く、このボードのカメラ・システムから(正確には
、このカメラの光学系の第1の主点から)の距離をγ。
、高い空間周波数内容(暗い背景上にランダムに分布さ
せた大きな明るいじみのパターン)をもつフラットな高
いコントラストの写真を固定する。この写真のサイズ及
び場所は、これがその選んだビュー・サブフィールドに
きっちり広がるようにすべきである。(フラット・ボー
ドは、その写真よりもかなり大きくすべきであり、例え
ば9倍の面積とする)。
と第2のイメージを記録する。その第1の記録イメージ
から、その背後のフラット・ボードのイメージに対応し
た広いダーク・バンドで囲まれたその写真パターンのイ
メージを含んでいる1つのサブイメージg+ (θ、φ
)を引き出す、これは、その張り付けた写真が発生する
光分布のほとんど全てがその引き出したサブイメージ内
に確実に記録されているようにする。更に、これは、そ
の強度がそのボーダーで一定のままとなっているため、
ボーダー効果を回避することができる。上記のことを第
2の記録イメージに関して繰り返して、そのサブイメー
ジgx(θ、φ)を引き出す。
テーブルにエンターした値に適用するため、前述の通り
に最小化する。記憶すべきそのテーブルTδ (ωム、
シjire)は、以下で与えられる。
いはその代わりに、以下に与える大きさテーブル及び位
相テーブルを記憶するようにすることができる。
(ω1.シ、;γ。)=申パω、、ν、)上記フラッ
ト・ボード上に張り付けた写真のその合焦イメージf
(x、 y)は、何らかの手段〔例えばカメラをその写
真上に実際に合焦してそれを記録するか、あるいは別個
にその写真パターンをデジタル化すること)により発見
する。この合焦イメージf (x、 y)は、明るさ、
倍率等に関して正規化して(n(x、y)を得る8次に
、L(Lいのフーリエ変換PR(ω、、ν、)を計算す
る。lC−+(ω1.ν、)〉に(ω1.νj)である
場合、次に光学伝達関数を与えるテーブルを計算し、こ
れは以下の通り計算する。
返す。
T(ω、シ、yす)(このテーブル・エントリは実験的
に得たものである)からカメラ・パラメータを評価する
方法を示した。これと同様の方法を使って、実験で得る
テーブルH(ω、ν。
ことができる。この場合、そのOTF H(ω。
。
に対する1つの制限を与えている。各テーブル・エント
リの結果として生ずる式の系を解くことにより、そのカ
メラ・パラメータCaのある評価イ直が与えられる。
別の方法は、人の介在を含んでいる。もしCaにセット
したカメラ・パラメータにて取ったあるぼけイメージが
与えられ、そしてそのOTHH(ω、ν;Ca、 γ
。)の解析式の形式であるいは予め記憶したテーブルの
形式で既知となっている場合、そのぼけイメージを、距
離γ0の可能な各値に対するこのOTFに関して逆フィ
ルタする。この結果、一連のイメージを得、これらは、
その合焦イメージの候補となる。次に、これらイメージ
を、その一連イメージからその“合焦イメージ”を選択
できる人被験者に呈示する。この方法は、人になしみの
ある被写体、例えば人の顔、車、家等を含むぼけイメー
ジに対しては有効である。ここで、その人被験者は、そ
のイメージ内の一般的な被写体にのみなじみがあるだけ
でよく、必ずしもその被写体の特定の例をよく知ってい
る必要はないことである0例として、ある所与のイメー
ジが人の顔であることが分かるだけでよく、実際にその
人を前に分かっている必要はない。
る。この方法においては、まさに前記点広がり関数を(
他のカメラ・パラメータδ、f。
ることは注目される。景色を数学的観点から見れば、T
、を含むこれらのパラメータは式(26)内の主なルー
ルによって操作される。それゆえ、上記の方法に対応す
る方法は、前記点広がり関数を決める他のパラメータδ
、f、D、λを見つけるためにも使用され得る0例えば
、カメラ・システムの焦点距離fを決める為に、前記距
離γ。が得られ、前述のようにfによって式(26)が
解かれ上記の1つの未知のパラメータを決める方法は、
1つ以上の未知のパラメータを決める方法を得ることに
拡張できる。この場合、2つ以上の像が必要とされる。
1の像が必要とされる。例えば、γ、やfなどの2つの
パラメータを決める為に、3つの写真g+(x、y)
、gz(x+いおよびgゴ(χ、y)がそれぞれ下記の
示すCb、Cb!およびCa!をカメラにセツティング
するときに使用される。
−t=(δ2.Dオ、λ、) (55)C0
−(δ3.D31λ3) (56)前記フー
リエ変換および前記3つの写真のOTF、に対して、次
のような関係が導かれる。
ために同時に解かれる。先のケースに似た方法は前記弐
を解くために使用される。この場合、テーブルは、先の
ケース、においてただ1つの未知数による場合と比較し
て2つの未知数があるために大きくなってしまう、上記
の2つの式は、前記未知数T0およびrが全ての前記3
つの写真と同じに保たれねばならないことを意味してい
る。しかしながら、このことは、値の変化が知られてい
る限り必要ではない0例えば、値δ1.δ2およびδ、
の変化が全て知られている3つの写真に対して、焦点長
としてf+δ1、f+δ2およびr+δ、が与えられる
。そのとき、フーリエ変換および3つの写真のOTFに
より、以下の式が導かれる。
含み、それゆえ前述のように解かれる。
実性の点から距離T、の決定における不確実性を推定す
るための方法をここで述べる。
導かれる。
)、 y)=06 、 (ω、 ν)+n+(a+、
ν) (73)但し、G、l(ω、ν)は、ノイ
ズ・フリー・イメージ信号に対応し、またn+(ω、ν
)はノイズに対応している一Q6+(ω、ν)は信号の
パワースペクトラムを意味し、Ql(ω、ν)はノイズ
のパワースペクトラムを意味している。すなわち、G
(ω、ν)=G、、(ω、ν) G’、、(ω、ν)
(74)δ1 = l G、、(ω、ν) Ql(ω、ν) =n+ ((1)、 y)n+1(
a+、 ν)””In+(ω、ν) (75) 複素数の代数学を使用すれば、以下のように表される。
位相である。コサイン関数はl−1,+11の範囲で値
をとるので、上記式は次のように簡素化できる。
る標準的な基準であり、またそれゆえ、このノイズ対信
号比の項から信号の不確実性を述べることは適切といえ
る0式(72)からは次の式が得られる 前記ノイズ対信号比を2つのイメージG、、(ω。
Q、/Q、、#)らこの共通するものとして見たノイズ
対信号比を導くと、次のようになる。
対信号比に比例することになる。この結果から、前記ノ
イズ対信号比の項から距離γ。の測定における不確実性
を測定することが可能となる。
表される。
から次の式が得られる。
、δCa!はカメラ・パラメータの測定のエラーである
9式(80)、(84,5)、(85)から、および実
数a、bについて次のような特性から、a −b l
> 1lal 1b11 (86)次のよ
うな表現を導くことができる。
測定における不確実性(または最大のエラーの限界)、
およびカメラ・パラメータの測定における不確実性が得
られる。この関係は、ノイズ対信号比が小さな値である
ときでもまたカメラ・パラメータのエラーが小さいとき
でも、有効である。前記距離の不確実性はノイズ対信号
比の平方根と直線的な関係にあることが知られる。実際
に、もしカメラ・パラメータにおける不確実性が大変小
さいときは、距離における不確実性はノイズ対信号比の
平方根に比例する。この結果は感覚的にも受け入れられ
得る。
距離を測定する方法は、元の観察されたイメージをより
小さいサブイメージに分割し、サブイメージの対を別々
に処理することを含んでいる。大きなイメージを多くの
小さなサブイメージに分割すると、境界部分の影響のた
め幾つかのエラーが生じてしまう、イメージ領域は単独
で分析することはできない、なぜなら、点広がり関数の
有限の広がりによってぼやけてしまうことにより、イメ
ージディテクターの1つの表面パッチから得られるイメ
ージの輝きの分布が隣接したパッチから得られるイメー
ジの輝きの分布(image 1rradi−ance
distribution)とオーバーラツプしてし
まうからである。このオーバーラツプはイメージ領域の
境界では重大な意味をもち得る。これを“イメージ・オ
ーバーラツプ・プロプレム”と呼んでいる。
、前記イメージ・オーバーラツプ・プロブレムは、光景
を選択的に照らすことにより完全に避けることができる
0例えば、光景は、照明のない広い暗い帯により分離さ
れた四角の輝くパッチにより照らすことができる。この
場合、別々に分析されたサブイメージの境界線は、前記
暗い帯の中央において選択され得る。そのとき境界部分
の影響は、イメージの強さがゼロか境界部分に近いもの
であるため、避けられる。また照明が制御できない場合
(例えば戸外)には、前記イメージ・オーバーラツプ・
プロプレムは以下のように変わる。イメージの強さは、
まず、インタレスト(iiiterest)の領域に集
中された適当な中心に重要性(重み)をもつ(例えば、
Caussian)マスクによって増やされる。この結
果として重み(重要性)を与えられたイメージは、それ
から次の処理に使用される0周辺よりも中心の方が重要
性がより高いため、このシーンから像の領域の中心にほ
ぼ対応する未知の数を推測できる。
どのような対象は、しばしば“plain(平らな)″
あるいは“textureless”なもの、すなわち
それらの表面は滑らかで何らの起伏(rellecta
nce)の変化をもっていないものである。それゆえ、
それらは、均一な照明のもとに一定の明るさをもった対
象として現れる。それらには、空間の周期的な内容・広
がりがない、この場合、もし景色の照明を制御下におく
(室内の景色のよう(m)ならば、そのとき室内の周期
的な内容は、前記対象の表面に任意のライトパターン(
例えば、ランダムな点あるいは7texture(織物
の織地)″パターン)を投影することにより、人工的に
得ることができる。第12図を見よ0本発明の方法は対
象の距離を測定するために適用可能である。
イメージを必要とするだけであるが、もし最低限必要と
されるイメージよりも多いイメージを使用するなら、未
知の数の推定をより強固のものにすることができる0例
えば、距離γ。のみが未知である場合には、原則として
ただ2つのイメージのみが必要とされる。しかしながら
、もしn個のイメージを異なったカメラ・パラメータの
セツティングのために利用できるならば、そのとき距離
についてのn−1の独立の推測が可能であり、これらの
推測によって実際の距離についてのより確実な推測が得
られるということは重要である。他のとり得る構成にも
またマルチプル・イメージを使用することができる。
: “観察されたイメージのフーリエ変換を対応
する光学伝達関数で除すること”により、表面パッチの
焦点合わせされたイメージを得ることができる。この操
作は、デコンボリューシヨンと呼ばれ、ノイズおよび異
常なものの存在のために実際のやり方とは異なっている
。ある種の必要とされるデコンボリユーシヨンは、ノイ
ズ特性とイメージについての従来の知識を基礎として適
用されねばならない、信号処理分野においてはこの問題
についての文献はた(さんある、それゆえ、この問題を
ここで詳細に述べることは控えるが、我々がデコンボリ
ユーシヨンというときにはある種の必要とされるデコン
ボリューシ四ンを意味していることは理解される。
析を基礎としている。空間のあるいは他の適当な領域に
おいて対応する解析を行うことは可能である。前記フー
リエ領域はその簡便さから選択されたものである。前記
フーリエ領域での解析と類似の他の領域での解析は、本
発明の範囲に含まれると考えられる。
場合のためにあらかじめ計算しテーブルT(ρ、u)を
記憶するものである。
ω閣)(1/u1、) −1/f m−’ (ue、
++ =f w)δ(1/u) −p/(SD)w−’ ρ□、=(2πδ)/(Np) ラジアン/閣pH□
=πδ/p ラジアン/■ δρ−(2πδ)/(Np) ラジアン/■For
univ←(1八、、、) to(1/u、tn)開始
by increments δ(1/u
)d。
1ncrellenf3 δρ d。
レンズ口径の直径が19鴎、ピクセル・サイズが0.0
13 Xo、017 wm”のCCDカメラテあル、テ
ーブルT(ρnu)はコンピュータを使用して容易に計
算できる。以下のようなデータはこのような計算の典型
的な例である。
−0.017閣 N=128 計算されたテーブルの値は、例えば±1.5をしきい値
とされ、0から255の範囲で表されるようにシフトさ
れ、評価される。結果として生じるテーブルは、グレイ
・レベルのイメージとして表示される、この計算例につ
いてこのように計算されたグレイ・レベルのイメージは
、第16図に示されている。2つの光学伝達関数はρお
よびU −+の異なった値で交差するので、はぼ周期的
な不連続(負の無限大から正の無限大へのジャンプ)が
見られる。これらの不連続は、0からπへの位相の急激
な変化のようにψ(ρ+u)空間における領域の境界を
表す、各領域の中では、位相は同一(例えば、0かπの
いずれか)に維持されるが、領域の境界では0からπへ
あるいはπからOへ変化する。実際、Toの解はこれら
の領域の境界の位置のみから推定され得る。ここでは、
シーンψ(ρ。
(ρ、u)の性質により、距離Uのためのユニークな解
が得られる。
ear 3hift−invariant syste
m)即ちコンボルーション演算を実行するシステムに対
して応用しうる一般的な理論を考慮する。この理論は、
前記した面パッチ(surface patch)の距
離を見出すための方法の一般化であり、線形シフト不変
システムとしてモデル化しうる各種の機器に対して有効
であると考えられる。カメラ装置は、この理論の応用が
完全且つ詳細に与えられた機器の一例にすぎない。
ける未知の物理的システムパラメータの1個以上を予測
し、(ii ) 該システムの出力から該システムの元
の入力信号を得る一般的な方法を取り扱う。
あり、 x = (x++ X!l −−−−−1x* )
(101)であるとし、自+ c!l ’−”−
’Ic@がシステム(第13図参照)の「ポイント・ス
プレッド函数J (PSF)を独特に定義する線形シフ
ト不変システムのm個のパラメータであるとする。即ち
、t=L2+−・−−−−−mに対してパラメータC5
が与えられると、信号δ(X)(デイラックのデルタ函
数)に対するシステムの応答は、これらのパラメータを
用いて独特に表わすことができる。物理的なシステムに
おいては、これらのパラメータは当該システムの物理的
構成を特徴付ける量を特定する。パラメータCbはシス
テムパラメータとよばれる− 〇がC=(cI、 C!
+’−−−・・−・、Ca) (102)
として定義されるとする。 PSFのシステム構成Cに
対する依存性を明らかにするために、PSFをh (X
; C)(103) として表わすことにする。g(X)によって当該システ
ムの出力を表わすことにする。線形シフト不変システム
はコンボルーションを実行するので、g(x)=h(x
;c)” f(x) (104)が成り
立つ、ただし、寧はコンボルーション演算を表わす、フ
ーリエ領域では、式(104)は%式%(105) として表わしうる。ここで、 ω==(ω1.ωZ + ”−”’−”+ ω、)
(106)はXに対応するフーリエ周波数を表わし
、G(ω)。
h(x;c)、 f(x)のフーリエ変換である。
システム伝達函数(STF)H(ω;c)は定義により
決定される。そうすると、元の入力信号f (X)は、
デコンボルーシッン(即ち逆フィルタリング)によって
、観測された信号g (X)からF(ω) =に(ω)
/)l(ω;C) (107)として独特
に再生される。観測された信号から入力信号を再生する
というこの操作は信号再生と呼ぶことができる。
テムパラメータCIのうちの1個以上が未知であること
が多い、したがって、STFを決定することができず、
したがって、式(107)での逆フイルタリング操作を
実行して入力信号を再生することはできない、これら未
知のシステムパラメータを決定するための方法をここで
述べる。未知のシステムパラメータを決定し、逆フィル
タリングにより(式(107)を用いて)入力信号を再
生することができる。
見出す場合と同様、未知のシステムパラメータそのもの
の予測は多くの応用において主要な関心事である。
のシステムパラメータの組とし、Cb□I+ Cip+
!+ ”’−”’−’+Cisを未知のシステムパラメ
ータの組とする。Cb及びC5をCa=(ct+、 C
tz、−−−−−、CI−) (108)Cb
=(ctp*+、 Cbpe!%−’−”−”+Ci9
□’) (109)1≦P、q<m、 P+Q=m と定義する。Cb1及びC5はCにおける全てのシステ
ムパラメータを特定している。従って、式(105)%
式%(ii0) と表わすことができる。Cbの1個以上の要素が既知の
量だけ変わりうるようなシステムを想定する。
とにする。そうすると、システムの出力は、(ca+、
Cb)+ (c−z、CJ、”−・−・・、(c□、1
.Cb) (ii2)によって与えられるシステムの
(q+1)個の異なる構成に対して記録されるa Cb
は未知であり、全ての構成において同一である。
X)により、入力信号f(x)が不変に維持されるとき
の式(ii2)における構成に対する夫々の観測された
信号を表わすことにする。そうすると、式(ii0)か
ら、次の関係の組が求まる。
信号f (x)を含んではいない、したがって、上式は
全ての入力に対して有効であり、等価的には、全ての記
録された出力g (X)に対して有効である。q個の未
知数においてq個の式が存在し、これら未知数はC5に
おけるシステムパラメータである。したがって、原理的
には、これらq個の式はC5を求めるために同時に解く
ことができる。しかしながら、解は一つではないかもし
れない、したがって、Gl(ω)及びGt−+(ω)に
おいて有意義な全ての可能な周波数ωに対して式(ii
3)が満足されるという条件を追加する。これにより、
−船釣には、Cb−に対して唯一の解が与えられる。
数的安定を達成することが可能となる。したがって、循
環式(ii3)はこの追加の条件で置換される。
全てのωに対し71 Gt(a+) l > tc (
(1) )且ツl Gt−+ (ω) l > tc
(ω)であって、に (ω)はシステムの信号対雑音比
に基づいて規定される。
10B)におけるようにCbによって表わし、未知のq
個のシステムパラメータの組を式(109)におけるよ
うにC5によって表わす、即ちC−−(cI9.Crt
、−−−−9Ctp)Ch =(ct−や++Ctp*
t+ ’−・−・、Ca、。、)Cbによって特定され
た既知のシステムパラメータをCmiと置き、C5によ
って特定された未知のシステムパラメータは一定に保つ
、起り得る未知の信号f (x)をシステムに入力し、
その出力gt (x)を記録する。この手順をj=1+
2+3+・・−・−’+ Q + 1に対して反復する
。但しI+J””L2+3+−・−・・、q+1として
i≠jに対してCal≠01であるとする。システムの
特徴に依存して、全ての記録された出力gt(X)を処
理して正規化する。
(ii)のフーリエ変換Ct(ω)を計算する。システ
ムの信号対雑音比に基づいて、スレッシヨルド・パラメ
ータ函数に(ω)を特定する。
((ii) l > tc (a+ )であるような
全てのωに対して、1”’1+2+3+・−・−qにつ
いて比 T(ω) =Gt(ω)/G+4+(ω)を計算する。
の組T(ω)−H(ω;Cst、CJ/H(ω1cai
+l+cJが定式化される。
法によって上記の手順において式の組を解き、Cbによ
って特定される未知のq個のシステムパラメータを求め
る。解は全てのωに対して一貫していなければならない
、にε(1,2,3−・・−q+1 )であるkについ
て信号のフーリエ変換をF(ω) =Gt(ω)/H(
ω;C−t−Cb)として計算する。
X)を再生する。
の異なる構成(第11a図)に対して、システムの出力
が記録されなければならない、その代りに、それぞれが
式(ii2)における一つの構成を持つ(q+1)個の
個別の線形システムを用いることができる(第11図参
照)、同一の入力信号【(X)が全ての軸+1)個のシ
ステムに供給され、その出力が記録、処理されてChが
求まる。
)個の記録された出力に対して同一でなければならない
、しかしながら、変化量が既知であれば、C5は変化し
うる0例えば、C5に対応する(q+1)個の構成は、
Cbt+Cbx+ ’−’−’lcM4Lが全て既知
であるとき Ch+Cb1. Cb+Cht、 −・・−・・、C
b+c工。、 (ii5)でありうる、再びこの場合
、式(ii4)に対応するq個の式をq個の未知数にお
いて書くことができる。こうした式を解いてC5を求め
ることができる。
解の数が有限である)とすると、式を解くのに2つの手
法を取ることができる。まず、可能であれば、解の分析
的表現を導出して式を解くのに用いることができる。こ
の場合、■(ω;C−,Cb)及びシステム構成Cbに
対する明瞭な分析的表現を知ることが必要である。実際
、式を分析的に解くことは非常に困難であり、不可能で
さえある。この場合には、テーブル・ルックアップ法が
使用できる。ここで、全ての可能な値ω及びCbに対し
て(即ち、実際の小さな離散的な距離において)1 =
1 + 2 + 3 + ”−−−−’−’+ Qに
ついてT、(ω、Cb)=H(ω;C−、、CJ/H(
ω;C−t、+、Cb) (ii6)によって与えられ
る函数11(ω、C2)の表を作成する。この表はω及
びT、に関して蓄積し、また、新たな表C5(ω+T1
χにおいて蓄積される。この新たな表は多値でありうる
。T、が記録された信号からT逼=61(ω)/G、。
ω及びT、が与えられると、Chに対する可能な解の組
は表Ca(ω1丁、)を索引することによって求められ
る。こうした組を全てのω及びiにわたってインターセ
クトすることにより、C5に対する解即ち が与えられる。特異解を見出すために、組交差(set
1ntersection)のための有効な計算法を
用いることができる。
)を求めるための2つの方法がある。一つの方法は、S
TFつまりH(ω;C−t、Cb )に対する分析的表
現を用いて式(ii6)の右辺を計算することである。
ことが必要である。他の方法は実験によるものである。
分析的表現が利用できないか計算が困難である場合、又
はシステムのCalを正確に測定するのが困難な場合に
便利である。この場合、システムの出力gtcx> は
各構成Cb毎に記録され、表記載事項がi =1+2+
3+・−・・−・、qに対してTI(ω)=Gt(ω;
Cb直、Cb)/Gt、+(ω;C□、+、Cb )
(ii9)として計算される0表を実験的に決定するた
めに実際の信号f (x)を知ることは不要である。し
かしながら、この計算手順の期間にC2を正確に測定す
ることができなければならない。
の容量、表を較正する精度、信号g (X)とシステム
パラメータCmiとの測定精度及び5TFH(ω;C)
の分析的表現の精度に依存する。
るq個の式を構成する。したがって、このシステムはま
さに拘束されていて、(q+1)個の記録された出力を
必要とする。しかしながら、結果の精度は、所要の最小
数よりも多くの出力記録を用いることにより向上させる
ことができる0例えば、(q+2)個の記録が用いられ
るならば、未知数C4の2つの予測を行うことができる
。即ち、第1の予測は最初の(q+1)個の出力記録を
用、第2の予測は最後の(q+1)個の出力記録からの
ものである。
測値よりもしっかりした予測値が与えられる。
直接的な類僚性を有するこの一般的理論について、他の
結果を導き出すことができる9例えば、信号測定の不確
定性と既知のシステムパラメータとを用いて未知のシス
テムパラメータの解における不確定性を決定するための
式を導出することができる。こうした全ての結果は特許
請求の範囲によって定義される発明の範囲内にある。
、ぼけた画像から改良された合焦画像を得るための有効
な計算方法及び電子カメラ装置が開示された。この方法
はカメラ装置の1個以上のカメラ・パラメータの値を決
定するために一般化された。この方法は、任意の線形シ
フト不変システムにおける入力信号蓄積及びシステムパ
ラメータ予測に更に一般化された。この一般的な理論は
、線形シフト不変システムとしてモデル化しうる各種の
測定機器に応用することができる。電子カメラ装置は、
この一般的な理論の応用が詳細に述べられた、機器の大
きな集合のうちの一例にすぎない。
視覚システムの一部として被写体の近似距離を見出すた
めの手段等の機械視力応用の関係で主に着想された0本
発明に小さな修正を加えてから利用する他の応用分野も
ある0例えば、二次元的な試料の改良された合焦画像を
得る際のテレビジョン・マイクロスコピーにおいて、及
び、前景と後景との被写体に焦点が合っている画像の商
用テレビ放送において有用である。また、情景の所望の
対象に迅速に自動焦点合せを行うための商用ビデオレコ
ーダに有用である。他の応用は、絵を写して画像信号を
2以上のカメラ設定のために磁気ディスク上に直接記録
し、カメラ特性と共にコンピュータでこの画像信号を処
理して所望の被写界深度で像を得るという完全電子化カ
メラである。
を含むが、これは発明の範囲の限定ではなく、好ましい
実施例の例示と考えられるべきである。ここに開示され
た本発明の修正及び拡張は、本発明の関係する技術分野
の当業者に想起されるものであり、こうした全ての修正
は特許請求の範囲により定義される本発明の精神と範囲
及びその均等物内にあるものとみなされる。
れたレンズシステムとイメージデテクタとを含んでいる
情景を表わす透視概略図であって、カメラシステムの幾
何及びカメラパラメータを示す概略図。 第2図は、カメラシステムの概略を表わし、レンズシス
テムの焦点距離を変化させるためのレンズポジションコ
ントローラ、イメージデテクタ面とレンズシステムの第
2の主面との間の距離を変化させるためのイメージデテ
クタポジシゴンコントロール、カメラに入射する光のス
ペクトルを制御するフィルタ、及びカメラの口径を変化
させるためのカメラ口径コントローラを示す概略図。 第3図は、第2図の装置のブロック図であってデジタル
イメージ取得装置及びイメージ処理コンピュータを具備
したブロック図。 第4図は、第3図の装置の変形例を示すブロック図であ
り、同一の可視点から一対の2次元イメージ情景を同時
に形成するための2つのカメラ構造を有し、それぞれの
カメラ構造が異なるカメラセットを有している事を示す
ブロック図。 第5図は、本発明の詳細な説明するために用いられる球
状協調システムの概略図。 第6図は、第2の主面から単位距離にある仮想面である
正規化デカルト空間を概略的に示す概略図。 第7図は、情景における表面パッチ及びイメージデテク
タにおける該パックに対応するサブイメージを示す概略
図。 第8図は、コンピュータメモリに記憶され、距離決定の
テーブル検索方法に用いられ4次元テーブルT(ω、シ
、T0)の概略図。 第9図は、平行軸幾何光学法の下に、カメラシステムの
好適な実施例において実行されるイメージ形成処理を示
す説明図。 第10図は、多数の小さなサブイメージに分割されたイ
メージであって、各々のサブイメージが、情景における
可視的小フィールドをスパンする一つの表面パッチに対
応するイメージを示す概略図。 第11図は、イメージのサブイメージ及び該サブイメー
ジを特定するアングルを示す説明図。 第12図は、“平坦”なすなわち反射バリエーションを
有しない対象物平面上に、所望の光パターンを投影する
事によって輝度変化又は“構造(texture)”を
導びくための装置を示す概略図。 第13図は、通常のリニアシフト定数システムを示す概
略図であって、入力信号、出力信号、及びそれぞれ異な
る値に設定可能なシステム点スプレッド関数をシステム
パラメータを示す概略図。 第14図は、それぞれ異なるシステムパラメータを有し
て同一の入力信号に接続される(q+1)個のリニアシ
フト定数システムからなるシステムの概略図。 第15図は、予め値が記憶されたテーブルを内蔵してい
るメモリモジュールを含む種々のモジュールとテーブル
高速検索動作を行うための特種機能VLSIを有するイ
メージ処理コンピュータを示す概略ブロック図。 第16図は、平行軸幾何光学定理に基づく回転対称光学
システムのための予め計算されたテーブルの一例を示し
、グレイレベルイメージとして表示されたテーブルの例
示図である。 第7 図 第8 図 (JJJ J2 3 JM ωl 元軸 第10図 多数の副次像へ 分割された像 副視野 第11 図 1 −一−1− (θ233.φ233) (θ333IΦ333) 第13図 第14図
Claims (1)
- 【特許請求の範囲】 1、光が通過する開口と、像検出器と、第1及び第2の
主要面及び焦点距離を有する像形成光学系と、光フィル
タと、カメラ制御器と、前記像検出器及び前記カメラ制
御に接続された像処理器とを有するカメラ装置からの対
象の面パッチの距離を決定する方法であって、前記第2
の主要面が前記第1の主要面よりも前記像検出器に近接
するよう配置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
器との間の距離(δ)、(ii)前記開口の直径(D)
、(iii)前記カメラ装置の焦点距離(f)、(iv
)前記光フィルタを通過する光のスペクトル特性(λ)
のうちの少くとも一つを含むカメラパラメータの第1の
組に設定する段階と、 b)前記像検出器に前記面パッチの第1の像を形成する
段階と、 c)前記第1の像を第1のデジタルの像として前記像処
理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラ装置のポイント・スプレ
ッド函数に関係付けられる第1の正規化像を与える段階
と、 e)離散的な空間周波数の組において前記第1の正規化
像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータの少くとも1個を変化させる
段階と、 g)前記像検出器に前記面パッチの第2の像を形成する
段階と、 h)前記第2の像を第2のデジタルの像として前記像処
理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラのポイント・スプレッド
函数と関係付けられる第2の正規化像を与える段階と、 j)離散的な空間周波数の前記組において前記第2の正
規化像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
リエ係数で除して比の値の組を与える段階と、 l)前記比の組の各要素に対応する単一の数学的関係を
与える段階であって、該数学的関係は中間パラメータな
しに与えられると共に、前記第1の正規化像の光学的伝
達函数の前記第2の正規化像の光学的伝達函数に対する
比を表わしており、前記数学的関係の各々が前記カメラ
パラメータのみに依存していると共に、前記面パッチの
前記カメラ装置からの前記距離に等しい未知数を有して
いる段階と、 m)前記段階(k)から求められた各比の値を前記段階
(l)で与えられた単一の対応する数学的関係に代入し
て式の組を与える段階と、 n)前記段階(m)から求められた前記式の組を解いて
、前記面パッチの前記カメラ装置からの前記距離を決定
する段階と、 を具備する方法。 2、選択座標θ_0,φ_0に中心を置き端点をθ_i
,φ_0(ただしi=1,2,3,4)に持つ矩形の視
野において前記対象の前記面パッチを選択する段階を更
らに含み、前記選択が、前記段階(b)及び(g)にお
ける前記第1及び第2の像の形成と前記段階(c)及び
(h)における前記像の記録との後に実行される請求項
1記載の方法。 3、前記段階(d)及び(i)における前記の前処理が
、i)前記像検出器のセンサ応答特性を補正する操作、
(ii)前記像形成光学系の不均一な光伝達を補正する
操作、(iii)前記第1及び第2の像の輝度の正規化
、(iv)倍率正規化のうちの少くとも1つを含む請求
項1記載の方法。 4、前記段階(d)から生じる前記第1の正規化像が、
前記段階(k)の比の値を見出すために前記像処理器に
記録され、前記段階(i)から生じる前記第2の正規化
像が計算された後に使用される請求項1記載の方法。 5、前記面パッチの境界を囲む領域が暗く保たれ、それ
によって像の重なりを回避し、前記面パッチの前記距離
の決定精度が増大される請求項1記載の方法。 6、前記面パッチが光パターンを投射することによって
照明され、輝度変化が前記面パッチの前記距離の決定の
ために与えられる請求項1記載の方法。 7、前記カメラ装置の完全な視野を、それぞれが面パッ
チを含む多数の副視野に分割し、各面パッチについて前
記段階(a)〜(n)を実行して前記面パッチの前記距
離を決定する段階を更に含む請求項1記載の方法。 8、光が通過する開口と、像検出器と、第1及び第2の
主要面及び焦点距離を有する像形成光学系と、光フィル
タと、カメラ制御器と、前記像検出器及び前記カメラ制
御器に接続された像処理器とを有するカメラ装置から、
対象の面パッチの距離を決定する方法であって、前記第
2の主要面が前記第1の主要面よりも前記像検出器に近
接するように配置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
器との間の距離(δ)、(ii)前記開口の直径(D)
、(iii)前記カメラ装置の焦点距離f)、(iv)
前記光フィルタを通過する光のスペクトル特性(λ)の
うちの少なくとも1つを含むカメラパラメータの第1の
組に設定する段階と、 b)前記像検出器に前記面パッチの第1の像を形成する
段階と、 c)前記第1の像を第1のデジタルの像として前記像処
理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラ装置のポイント・スプレ
ッド函数に関係付けられる第1の正規化像を与える段階
と、 e)離散的な空間周波数の組において前記第1の正規化
像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータのうちの少くとも1個を変化
させる段階と、 g)前記像検出器に前記面パッチの第2の像を形成する
段階と、 h)前記第2の像を第2のデジタルの像として前記像処
理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラのポイント・スプレッド
函数と関係付けられる第2の正規化像を与える段階と、 j)前記離散的な空間周波数において前記第2の正規化
像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
リエ係数によって除して比の値の組を与える段階と、 l)前記段階面から生じる比の値の組を前記像処理器に
おけるルップアップテーブルと比較する段階であって、
該ルックアップテーブルが前記のカメラ装置からの距離
に対応する蓄積された比の値を有している段階と、 m)前記段階面からの比の値に最も近いものに対応する
距離の選択によって、前記カメラ装置からの前記面パッ
チの前記距離を決定する段階とを具備する方法。 9、前記ルックアップテーブルが、前記段階(k)から
生じる比の値に対応する離散的な距離を計算し、それら
を前記像処理器に蓄積することによって与えられている
請求項8記載の方法。 10、前記ルックアップテーブルが、前記段階(k)か
ら生じる比の値に対して前記カメラ装置からの距離を測
定することによって実験的に与えられている請求項8記
載の方法。11、光が通過する開口と、第1及び第2の
主要面及び焦点距離を有する像形成光学系と、光フィル
タと、カメラ制御器と、像検出器及び前記カメラ制御器
に接続された像処理器とを有するカメラ装置の前記像検
出器に、対象の面パッチの合焦像を作る方法であって、
前記第2の主要面が前記第1の主要面よりも前記像検出
器に近く配置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
器との間の距離(δ)、(ii)前記開口の直径(D)
、(i)前記カメラ装置の焦点距離(f)、(iv)前
記光フィルタによって伝達される光のスペクトル特性(
λ)のうちの少くとも一つを含むカメラパラメータの組
に設定する段階と、 b)前記像検出器に前記面パッチの第1の像を形成する
段階と、 c)前記第1の像を第1のデジタルの像として前記像処
理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラ装置のポイント・スプレ
ッド函数に関係付けられる第1の正規化像を与える段階
と、 e)離散的な空間周波数の組において前記第1の正規化
像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータの少くとも1個を変化させる
段階と、 g)前記面パッチの第2の像を前記像検出器に形成する
段階と、 h)前記第2の像を第2のデジタルの像として前記像処
理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラのポイント・スプレッド
函数と関係付けられる第2の正規化像を与える段階と、 j)前記離散的な周波数の組において前記第2の正規化
像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
リエ係数で除して、比の値の組を与える段階と、 l)前記比の組の夫々の要素に対応する単一の数学的関
係を与える段階であって、該数学的関係は中間パラメー
タなしに与えられると共に、前記第1の正規化像の光学
的伝達函数の前記第2の正規化像の光学的伝達函数に対
する比を表わしており、前記数学的関係の各々は前記カ
メラパラメータにのみに依存し、前記カメラ装置からの
前記パッチの前記面パッチの前記距離に等しい未知数を
有している段階と、 m)前記段階(k)から生じた比の値の各々を前記段階
(l)から与えられる単一の対応する数学的関係に代入
して、式の組を得る段階と、 n)前記段階(m)から生じた前記式の組を解いて、前
記カメラ装置からの前記面パッチの前記距離を決定する
段階と、 o)前記段階(n)において決定された距離に基づいて
、前記面パッチの合焦像に対応するカメラパラメータを
決定する段階と、 p)前記カメラパラメータを前記段階(o)で決定され
た値に調節する段階と、 を具備する方法。 12、前記カメラパラメータが、合焦公式を用いた計算
によって前記段階(o)において決定される請求項11
記載の方法。 13、前記カメラパラメータが、前記面パッチに焦点を
合わさせるカメラパラメータを与える前記像処理器の予
蓄積されたルックアップテーブルで前記の計算された距
離を索引することによって、前記段階(o)において決
定される請求項11記載の方法。 14、光が通過する開口と、第1及び第2の主要面及び
焦点距離を有する像形成光学系と、光フィルタと、カメ
ラ制御器と、像検出器及び前記カメラ制御器に接続され
た像処理器とを有するカメラ装置の前記像検出器に、対
象の面パッチの合焦像を作る方法であって、前記第2の
主要面が前記第1の主要面よりも前記像検出器に近く配
置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
器との間の距離(δ)、(ii)前記開口の直径(D)
、(iii)前記カメラ装置の焦点距離(f)、(iv
)前記光フィルタによって伝達された光のスペクトル特
性(λ)のうちの少くとも一つを含むカメラパラメータ
の第1の組に設定する段階と、 b)前記面パッチの第1の像を前記像検出器に形成する
段階と、 c)前記第1の像を第1のデジタルの像として前記画像
処理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラ装置のポイント・スプレ
ッド函数に関係付けられる第1の正規化像を与える段階
と、 e)離散的な空間周波数の組において前記第1の正規化
像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータのうちの少くとも1つを変化
させる段階と、 g)前記面パッチの第2の像を前記像検出器に形成する
段階と、 h)前記第2の像を第2のデジタルの像として前記画像
処理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラのポイント・スプレッド
函数と関係付けられる第2の正規化像を与える段階と、 j)前記離散的な空間周波数の組において前記第2の正
規化像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
リエ係数で除して、比の値の組を与える段階と、 l)前記段階(k)から生じる比の値の組を前記像処理
器のルップアップテーブルと比較する段階であって、前
記ルックアップテーブルは前記カメラ装置からの距離に
対応する蓄積された比の値を有している段階と、 m)前記段階(k)からの比の値に最もよく対応する距
離の選択により、前記カメラ装置からの前記面パッチの
前記距離を決定する段階と、 n)前記段階(m)で決定された前記距離に基づいて、
前記面パッチの合焦像に対応するカメラパラメータを決
定する段階と、 p)前記段階(n)で決定された値に前記カメラパラメ
ータを調節する段階と を具備する方法。 15、前記カメラパラメータが合焦公式を用いた計算に
よって前記段階(n)において決定される請求項14記
載の方法。 16、前記カメラパラメータが、前記面パッチに焦点を
合わさせるカメラパラメータを与える前記像処理器の予
蓄積されたルックアップテーブルで、計算された距離を
索引することにより、前記段階(n)において決定され
る請求項14記載の方法。 17、光が通過する開口と、像検出器と、第1及び第2
の主要面及び焦点距離を有する像形成光学系と、光フィ
ルタと、カメラ制御器と、前記像検出器及び前記カメラ
制御器に接続された像処理器とを有し、前記第2の主要
面が前記第1の主要面よりも前記像検出器に近く配置さ
れているカメラ装置のぼけた像から、対象の面パッチの
改良された合焦像を得る方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
器との間の距離(δ)、(ii)前記開口の直径(D)
、(iii)前記カメラ装置の焦点距離(f)、(iv
)前記光フィルタによって伝達される光のスペクトル特
性(λ)のうちの少くとも1つを含むカメラパラメータ
の第1の組に設定する段階と、 b)前記面パッチの第1の像を前記像検出器に形成する
段階と、 c)前記第1の像を第1のデジタルの像として前記像処
理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラ装置のポイント・スプレ
ッド函数に関係付けられる第1の正規化像を与える段階
と、 e)離散的な空間周波数の組において前記第1の正規化
像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータのうちの少くとも1つを変化
させる段階と、 g)前記面パッチの第2の像を前記像検出器に形成する
段階と、 h)前記第2の像を第2のデジタルの像として前記画像
処理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
ション演算によって前記カメラ装置のポイント・スプレ
ッド函数に関係付けられる第2の正規化像を与える段階
と、 j)前記離散的な空間周波数の組において前記第2の正
規化像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
リエ係数で除して、比の値の組を与える段階と、 l)前記比の値の組の各要素に対応する単一の数学的関
係を与える段階であって、前記数学的関係は中間パラメ
ータなしで与えられると共に、前記第1の正規化像の光
学的伝達函数の前記第2の正規化像の光学的伝達函数に
対する比を表わしており、前記数学的関係の各々は前記
カメラパラメータにのみに依存すると共に、前記カメラ
装置からの前記面パッチの前記距離に等しい未知数を有
している段階と、 m)前記段階(k)から生じた比の値の各々を前記段階
(l)で与えられる単一の対応する数学的関係に代入し
て、式の組を得る段階と、 n)前記段階(m)から生じた前記式の組を解いて、前
記カメラ装置からの前記面パッチの前記距離を決定する
段階と、 o)前記段階(n)で計算された前記面パッチの前記距
離に基づいて、前記段階(b)で形成された前記第1の
像の光学的伝達函数を決定する段階と、p)前記第1の
像のフーリエ変換を決定する段階と、、 q)前記段階(p)から生じた前記フーリエ変換を前記
段階(o)から生じた前記光学的伝達函数で除す段階と
、 r)前記段階(q)からの結果である逆フーリエ変換を
計算する段階と を具備し、改良された合焦像をぼやけた像から決定する
方法。 18、前記カメラ装置の視野を、各々が面パッチを含む
多数の副次視野に分割し、各面パッチ毎に前記段階(a
)〜(r)を反復して、全ての面パッチの改良された合
焦像を決定すると共に、これら改良された合焦像から、
前記カメラ装置の視野における全情景の合焦像を合成す
る段階を更に含む請求項17記載の方法。 19、既知のシステムパラメータの組Caを有すると共
に、既知のシステムパラメータの異なる設定に対して入
力信号f(x)に応答する出力信号g(x)を与える手
段を備える線形シフト不変システムの未知のシステムパ
ラメータの組C_bを決定する方法において、 a)前記線形シフト不変システムのポイント・スプレッ
ド函数を前記既知のシステムパラメータの組Caに依存
させる段階と、 b)前記既知のシステムパラメータの組Caの複数の異
なる設定に対して、前記線形シフト不変システムの出力
信号を記録する段階と、 c)前記段階(b)から生じた各々の記録された出力信
号に対する関係を周波数領域において与える段階と、 d)前記段階(c)から生じた全ての関係を同時に数学
的に解き、前記未知のシステムパラメータの組Cbを決
定する段階と、 を具備する方法。 20、周波数領域における前記段階(c)の前記関係が G(ω)=H(ω;C_a,C_b)F(ω)(但し、
ωは空間周波数ベクトルであり、C_aは既知量だけ変
えることができ、C_bは未知であって全ての構成にお
いて同一に保たれる)である請求項19記載の方法。 21、入力信号を同一に保持して、q個の未知数と(q
+1)個の記録された信号が存在し、前記関係が ▲数式、化学式、表等があります▼ (但し、i=1,2,3,・・・・・,q)に従って演
算される請求項20記載の方法。22、カメラ装置と対
象の面パッチとの間の距離を決定するための装置におい
て、 a)像検出器と、カメラ開口と、第1及び第2の主要面
及び焦点距離を有する像形成光学系と、光フィルタとを
備え、前記第2の主要面が前記第1の主要面よりも前記
像検出器に近く配置されているカメラ装置と、 b)前記カメラ装置の部品と接続され、該部品を動かし
て(i)前記第2の主要面と前記像検出器との間の距離
、(ii)前記カメラ開口の直径、(iii)前記像形
成光学系の前記焦点距離というカメラパラメータの1つ
以上を変えるカメラ制御器と、c)前記像検出器及び前
記カメラ制御器に接続され、前記像検出器から信号を受
け取ると共に前記カメラ制御器により前記カメラパラメ
ータを変更させる像処理器と を具備する装置。 23、前記像処理器が、前記像現出器からの信号をデジ
タルデータへ変換し、その後の像処理のために該デジタ
ルデータを正規化する像処理手段を含む請求項22記載
の装置。 24、前記像処理手段が、前記像検出器のセンサ応答特
性を補正する手段、前記像形成光学系の不均一な光伝送
を補正する手段、像の輝度を正規化する手段及び前記像
検出器に記録された像の倍率を正規化する手段のうちの
少くとも1つを含む請求項23記載の装置。25、前記
像処理器が、信号をフーリエ変換する手段と、フーリエ
係数を除して第1及び第2の像からの信号に対応する比
の値の組を与える手段とを更らに備える請求項22記載
の装置。 26、前記第1及び第2の像から集められた比の値を数
学的関係に代入し、その結果の解を求めて前記カメラ装
置からの前記面パッチの距離を与える手段を更らに備え
る請求項25記載の装置。 27、ルックアップテーブルと、入力を該ルックアップ
テーブルに蓄積された値と比較して得た値から前記距離
を決定するための相関手段とを更に備える請求項23記
載の装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US37399689A | 1989-06-29 | 1989-06-29 | |
| US373996 | 1989-06-29 | ||
| US537117 | 1990-06-15 | ||
| US07/537,117 US5193124A (en) | 1989-06-29 | 1990-06-15 | Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03136580A true JPH03136580A (ja) | 1991-06-11 |
| JP3305314B2 JP3305314B2 (ja) | 2002-07-22 |
Family
ID=27006393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17433290A Expired - Lifetime JP3305314B2 (ja) | 1989-06-29 | 1990-06-29 | 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP0408224B1 (ja) |
| JP (1) | JP3305314B2 (ja) |
| AT (1) | ATE127582T1 (ja) |
| DE (1) | DE69022143T2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005124418A1 (ja) * | 2004-06-21 | 2005-12-29 | Olympus Corporation | 合焦情報取得装置及び合焦情報取得方法 |
| WO2006123752A1 (ja) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | 撮像装置 |
| WO2007023953A1 (ja) * | 2005-08-26 | 2007-03-01 | Olympus Corporation | 撮像装置 |
| WO2007058100A1 (ja) * | 2005-11-15 | 2007-05-24 | Olympus Corporation | 合焦検出装置 |
| CN102103248A (zh) * | 2009-12-21 | 2011-06-22 | 索尼公司 | 具有置信度量的自动聚焦 |
| WO2015075769A1 (ja) * | 2013-11-19 | 2015-05-28 | 日立マクセル株式会社 | 撮像装置及び距離測定装置 |
| CN111174765A (zh) * | 2020-02-24 | 2020-05-19 | 北京航天飞行控制中心 | 基于视觉引导的行星车目标探测控制方法及装置 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2702056A1 (fr) * | 1993-02-23 | 1994-09-02 | Centre Nat Rech Scient | Appareil et objectif de prise de vues en stéréovision axiale. |
| US6268611B1 (en) * | 1997-12-18 | 2001-07-31 | Cellavision Ab | Feature-free registration of dissimilar images using a robust similarity metric |
| US6191761B1 (en) * | 1998-11-09 | 2001-02-20 | University Of Washington | Method and apparatus for determining optical distance |
| GB2367440B (en) * | 2000-08-04 | 2005-02-23 | Mark David Cahill | Linear image reconstruction |
| US8199248B2 (en) * | 2009-01-30 | 2012-06-12 | Sony Corporation | Two-dimensional polynomial model for depth estimation based on two-picture matching |
| CN101872059B (zh) * | 2010-06-18 | 2011-12-07 | 南京理工大学 | Otf测试仪的自动调焦系统及其自动调焦方法 |
| US8676498B2 (en) * | 2010-09-24 | 2014-03-18 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
| AU2011224051B2 (en) * | 2011-09-14 | 2014-05-01 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| CN102679963B (zh) * | 2012-05-15 | 2014-05-21 | 中国科学院西安光学精密机械研究所 | 航天相机真空中焦面预置方法及装置 |
| JP6140935B2 (ja) | 2012-05-17 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
| CN109648210B (zh) * | 2019-02-14 | 2024-03-15 | 北京志恒达科技有限公司 | 激光灼刻装置及系统 |
| CN112596324A (zh) * | 2020-12-21 | 2021-04-02 | 北京航空航天大学 | 一种基于液体变焦相机的智能机器人视觉识别系统 |
| CN113624358B (zh) * | 2021-07-14 | 2023-09-26 | 中国电子科技集团公司第十三研究所 | 用于光热反射显微热成像的三维位移补偿方法及控制装置 |
| CN116709614B (zh) * | 2023-08-02 | 2023-10-20 | 深圳爱图仕创新科技股份有限公司 | 灯光控制方法、装置、计算机设备及计算机可读存储介质 |
| CN119027350A (zh) * | 2024-08-19 | 2024-11-26 | 中国计量科学研究院 | 一种基于高频聚焦探头声场校准的超声显微图像恢复方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0672973B2 (ja) * | 1983-06-30 | 1994-09-14 | 株式会社リコー | オ−トフオ−カス方法 |
| US4965840A (en) * | 1987-11-27 | 1990-10-23 | State University Of New York | Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system |
| DD269235A1 (de) * | 1988-01-29 | 1989-06-21 | Univ Schiller Jena | Verfahren und anordnung zur automatischen fokussierung eines optischen systems |
| DD268533A1 (de) * | 1988-01-29 | 1989-05-31 | Univ Schiller Jena | Verfahren und anordnung zur automatischen fokussierung eines optischen systems |
| JP2772079B2 (ja) * | 1989-01-09 | 1998-07-02 | オリンパス光学工業株式会社 | 自動合焦装置 |
| US5193124A (en) | 1989-06-29 | 1993-03-09 | The Research Foundation Of State University Of New York | Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images |
-
1990
- 1990-06-29 EP EP90307146A patent/EP0408224B1/en not_active Expired - Lifetime
- 1990-06-29 DE DE69022143T patent/DE69022143T2/de not_active Expired - Lifetime
- 1990-06-29 AT AT90307146T patent/ATE127582T1/de not_active IP Right Cessation
- 1990-06-29 JP JP17433290A patent/JP3305314B2/ja not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005124418A1 (ja) * | 2004-06-21 | 2005-12-29 | Olympus Corporation | 合焦情報取得装置及び合焦情報取得方法 |
| US7421195B2 (en) | 2004-06-21 | 2008-09-02 | Olympus Corporation | Apparatus for acquiring focussing information and method of acquiring focusing information |
| WO2006123752A1 (ja) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | 撮像装置 |
| WO2007023953A1 (ja) * | 2005-08-26 | 2007-03-01 | Olympus Corporation | 撮像装置 |
| WO2007058100A1 (ja) * | 2005-11-15 | 2007-05-24 | Olympus Corporation | 合焦検出装置 |
| JP2007139893A (ja) * | 2005-11-15 | 2007-06-07 | Olympus Corp | 合焦検出装置 |
| CN102103248A (zh) * | 2009-12-21 | 2011-06-22 | 索尼公司 | 具有置信度量的自动聚焦 |
| JP2011128623A (ja) * | 2009-12-21 | 2011-06-30 | Sony Corp | 信頼基準を有するオートフォーカス |
| WO2015075769A1 (ja) * | 2013-11-19 | 2015-05-28 | 日立マクセル株式会社 | 撮像装置及び距離測定装置 |
| CN111174765A (zh) * | 2020-02-24 | 2020-05-19 | 北京航天飞行控制中心 | 基于视觉引导的行星车目标探测控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| ATE127582T1 (de) | 1995-09-15 |
| EP0408224A2 (en) | 1991-01-16 |
| EP0408224A3 (en) | 1991-09-18 |
| DE69022143D1 (de) | 1995-10-12 |
| JP3305314B2 (ja) | 2002-07-22 |
| DE69022143T2 (de) | 1996-03-07 |
| EP0408224B1 (en) | 1995-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH03136580A (ja) | 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置 | |
| EP0318188B1 (en) | Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system | |
| US5193124A (en) | Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images | |
| US8305485B2 (en) | Digital camera with coded aperture rangefinder | |
| Subbarao | Parallel Depth Recovery By Changing Camera Parameters. | |
| US5231443A (en) | Automatic ranging and automatic focusing | |
| US7711201B2 (en) | Method of and apparatus for generating a depth map utilized in autofocusing | |
| US7554750B2 (en) | Imaging using a multifocal aspheric lens to obtain extended depth of field | |
| US20110267507A1 (en) | Range measurement using a zoom camera | |
| US8436912B2 (en) | Range measurement using multiple coded apertures | |
| US8330852B2 (en) | Range measurement using symmetric coded apertures | |
| US20110267485A1 (en) | Range measurement using a coded aperture | |
| US20070189750A1 (en) | Method of and apparatus for simultaneously capturing and generating multiple blurred images | |
| JPH05119252A (ja) | カメラの距離測定および迅速自動焦点合せ方法および装置 | |
| US8837817B2 (en) | Method and device for calculating a depth map from a single image | |
| JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
| CN103516979A (zh) | 摄像装置及其控制方法 | |
| CN106204554A (zh) | 基于多聚焦图像的景深信息获取方法、系统及拍摄终端 | |
| US8433187B2 (en) | Distance estimation systems and method based on a two-state auto-focus lens | |
| CN109883391A (zh) | 基于微透镜阵列数字成像的单目测距方法 | |
| Illgner et al. | Lightfield imaging for industrial applications | |
| Hasinoff | Variable-aperture photography | |
| Šorel | Multichannel blind restoration of images with space-variant degradations | |
| Subbarao et al. | Root-mean square error in passive autofocusing and 3D shape recovery | |
| Choi | Shape and image reconstruction from focus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080510 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090510 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |