JPH03136580A - 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置 - Google Patents

対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置

Info

Publication number
JPH03136580A
JPH03136580A JP2174332A JP17433290A JPH03136580A JP H03136580 A JPH03136580 A JP H03136580A JP 2174332 A JP2174332 A JP 2174332A JP 17433290 A JP17433290 A JP 17433290A JP H03136580 A JPH03136580 A JP H03136580A
Authority
JP
Japan
Prior art keywords
image
camera
distance
surface patch
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2174332A
Other languages
English (en)
Other versions
JP3305314B2 (ja
Inventor
Muralidhara Subbarao
ムラリドハラ・サバラオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New York University NYU
Original Assignee
New York University NYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US07/537,117 external-priority patent/US5193124A/en
Application filed by New York University NYU filed Critical New York University NYU
Publication of JPH03136580A publication Critical patent/JPH03136580A/ja
Application granted granted Critical
Publication of JP3305314B2 publication Critical patent/JP3305314B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の背景 本発明は、信号処理技法に基づいて、i)カメラ・シス
テムからの被写体の距離を決定し、11)カメラ・シス
テムを急速な自動焦点合せを行い、IAI)ぼけた像か
ら改良された焦点の像を得る、電子カメラ装置及び方法
に関する。一般に、本発明は、線形のシフト不変システ
ム(linear 5hiftinvariant s
ystem) 、即ち、入力信号にコンポリューシゴン
演算を実行するシステムにおける、システムパラメータ
の概算及び信号回復に関する。
被写体の範囲(即ち距離)を判定する種々の装置及び方
法が知られている。これらの装置及び方法の概説は、1
983年3月発行のIEgE Transaction
son  Pattern  Analysis  a
nd  Machine  Intelligence
PAMI−5,8ct2.122−139頁所載の“A
 perspectiveon range find
ing techniques for comput
er vision″と題されたR、A、Jarvis
の論文に見出される。
カメラから被写体までの距離を判定する共通の技法は、
像検出器に被写体の像を焦点付けることを必要とする0
次に、距離はカメラの設定から決定される。この技法は
“深度焦点法(depth−fromfocusing
”と呼ばれる。別の深度焦点法の比較研究は、1987
年10月発行のInternational Jour
nalof  Computer  VisionのV
olume  1.  N[L3. 223−238頁
に、”Focusing”と題された論文で、E、Kr
otkovによって報告されている。
深度焦点法は、i)種々のカメラ設定に対して多数(約
20以上)の像を得て、ii)これらの像のそれぞれに
対して焦点測定を計算し、1ii)焦点測定が最大であ
る像を決定して、その対応のカメラ設定から距離を決定
することを必要とする。この技法の大きな欠点は、i)
種々のカメラ設定に対して多数の像を得る必要があるの
で非常にスローであること、また、ii)メモリ・スペ
ース及び処理能力の見地から多くの計算手段を必要とす
ること、である。
被写体の距離を判定する2つの新しい方法が、1985
年8月のActificial Intelligen
ceの国際ジヨイント会議の予稿集で発表された、“A
 New 5e−nse for Depth or 
Field” と題された論文において、P、Pent
landによって論述されている。同様の論文は、19
87年7月に、rEEE Transactions 
onPattern Analysis and Ma
chine Intelligence。
Vol、 PAMI−9,Na4.523−531頁に
おいて、わずかに変更されて発表された。
Pertlandの第一の方法は、被写体の単一像を使
用する。被写体は、間に共通の真っすぐな境界を有する
、暗表面パッチに隣接する凹表面パッチを含む必要があ
る。そのような被写体は、焦点合わせされた傷内にステ
ップ状の不連続部である真っすぐなエツジを生成する。
関連の深い方法は、1987年1月に、Pattern
 Recognition Letters。
Vol、 5 、63−69頁に発表された、’Dep
th fromFocus”と題された一自文において
、P、Grossmanによって開示されている。これ
らの同様の方法のはるかに改良され且つ更に一般的なバ
ージョンは、1988年6月に、Computer V
ision and PatternRecognit
ionのIEEE Computer 5ociety
会議の予稿集に発表された、“Depth Recov
ery from Blurred Edges”と題
された論文において、本発明者によって開示されている
。しかし、間に共通の真っすぐな境界を有する、明及び
暗表面パッチを存する被写体はこの世の中では稀である
。従って、多くの場合に適用できない。
Pentlandの第二の方法は、2つの像を比較する
ことに基づき、一方の像は非常に小さな(ビン・ホール
)開口で形成され、他方の像は通常の開口で形成される
。この方法の適用は、ある深刻な実施上の困難を提示し
ている。非常に小さな開口は、像を歪ませる回折の効果
を増加させる。更に、比較的小さな開口は、光を集めに
くく、従って露光期間を増加させる。これらの問題がこ
の方法を不正確でスローなものとし、実際の応用におい
て使用に制限を与える。
被写体の距離を決定するに加えて、本発明は、電子カメ
ラの高速自動焦点合せのための技術を進歩させる。幾つ
かの方法でカメラの自動焦点合せを行うことが知られて
いる。自動焦点法の1つが1987年の日本特許第22
84314号に開示されている。
この方法は、以下の理由のために、理論的に誤っており
、不正確であり、従って実施制限されるものと考えられ
る。この日本特許に開示された方法は、固定された被写
体に関してレンズを移動することを必要としている0点
被写体の2つの像、例えば、レンズの移動前に得られる
第一の像とレンズの移動後に得られる像と、の間の対応
をとることができない、対応問題として参照されるこの
問題は、ステレオ・ビジョンでは良く知られている。
更に、日本特許第2284314号で開示された方法は
拡大補正ステップを提供しておらず、そのプロセスにエ
ラーをHEじさせる。更に、前述の方法は、カメラの1
パラメータ、即ちレンズの位置のみの変更を必要として
いるので、非常に制約のあるものである。
更に、日本特許第2284314号に記載された方法に
関する欠点は、少なくとも3つのピクチャの使用を含み
、高い空間周波数のみ、更に、自動焦点用の固定された
空間周波数のみをあてにしていることでる。
Focal Po1nt Dotector″と題され
た別の自動焦点法は、1988年5月31日に公開され
た特開昭63127217号公報に、丁akashi 
Baba他によって開示されている。この公報の開示は
、前出の日本特許に関連して記述したのと同じ欠点を認
容しており、変調伝達関数(MFT)がガウス関数であ
る場合にのみ適用可能である。ガウス関数はカメラ・シ
ステムの実際のMFTに対して非常に粗雑な近似値であ
る。従って、特開昭63−127217号に開示された
方法もまたエラーを受けやすい。
被写体の距離を判定し且つ自動焦点合せを行う前述の方
法及び装置は、1987年11月27日に出願の本件発
明者所有の係属中の米国特許出願第126,407号に
開示されている。前述の方法は、被写体の2つの像の処
理を必要とし、これらの像は異なるカメラ設定と共に得
られる。カメラ設定は、次の3つのカメラ・パラメータ
のいずれにおいて異なる。
(i)像検出器の位置、(ii)カメラ・システムの焦
点距離、(ij)カメラ開口(絞り)の直径、数学的表
現である2つの制約(即ち、束縛関係)が公式化された
。第一の制約は2つの観察された像によってのみ表現さ
れ、第二の制約は、既知のカメラ・パラメータ値及びカ
メラ特性によってのみ表現された。これらの制約、即ち
等式は2つの未知数、即ち2つの像のそれぞれに対して
未知のものを必要とする0等式は同時に解が求められ、
距離は未知数の解から決定された。しかし、像に対応す
る未知数は実際に、カメラ・システムの点ひろがり関数
を特徴付ける中間パラメータ、σ、であった。この中間
パラメータは、焦点合せされた像の広がり、即ち“ブレ
”に関連し、また、点ひろがり関数がガウス式で表わし
得る一定又は所定の形状又は形式を有するという仮定に
基づいていた。
この前述の方法は、点ひろがり関数(PSF)の標準偏
差である単一の中間パラメータ、σ、によってPSFを
特徴付けた。これは、回折及びレンズ収差の存在下では
不適当な特徴である。係属中の本件発明者による前述の
システムは、カメラ・システムにカメラ・パラメータを
測定する手段を設けることを必要としている。この従来
システムは、パラメータとして光のスペクトルの内容を
考慮していない、更に、従来システムは、処理中に不確
実な分析又はエラー伝達分析を実行することもなく、多
数のシステム・パラメータを概算するあらゆる線形のシ
フト不変システムに応用することもできなかった。
従って、本発明の目的は、2つの像のみの取得と処理を
必要とする深度焦点法のアプローチを提供することであ
る。
本発明の目的はまた、ステレオ・ビジロン技法に関連す
る対応問題を排除することである。
本発明の更に別の目的は、全ての線形のシフト不変シス
テムに応用できるアプローチを提供することである。
本発明の更に別の目的は、被写体距離とカメラ・パラメ
ータの双方を決定するために2つの像を処理する比較的
簡単で且つ低廉の装置を提供することである。
本発明の他の目的は、カメラ・システムの点のひろがり
関数(PSF)を特徴付けるために、中間パラメータの
必要性を除外することである。本発明の他の目的は、カ
メラ装置のパラメータを定量分析的に測定する必要性を
除外することである。
本発明の他の目的は、被写体距離、光学伝達関数、及び
/又はカメラ・パラメータ値、を決定するために、単一
の演算又はステップ用の手段を提供することである。
更に本発明の目的は、カメラ・パラメータに関連するも
のとして、光のスペクトルの内容を考慮する手段を提供
することである。
本発明の他の目的は、電子カメラの高速の自動焦点合せ
、及びぼやけた像から改良された焦点像を得ることであ
る。
本発明の他の目的は、線形のシフト不変システム、即ち
、コンボリューシラン演算を実行するシステム、として
モデル化できる任意の装置において、システム・パラメ
ータを概算して且つ入力信号を回復させる方法を提供す
ることである。
発明の概要 本発明は、カメラ・システムから被写体の表面パッチま
での距離を決定し、距離の決定の結果としてカメラ・シ
ステムの焦点合せを行い、カメラ・システムのパラメー
タを決定し、そのそれぞれのぼやけた像から表面パッチ
の改良された焦点像を得るための方法及び装置である0
本発明は、像を記録するCCDアレー、写真フィルム等
の如き像検出器を有するカメラ・システムを含む、カメ
ラは、光が情景からシステムに入るための開口、光の既
知のスペクトル(又はカラー)を通過させ且つ像検出器
に像を形成させる光フィルタ、レンズ又はミラー或いは
その双方を有する像形成光学システム、を有する。像形
成光学システムと、第−及び第二の主平面及び焦点長さ
を含み、第二の主平面は第一の主平面より像検出器に近
い。
カメラ・システムの像形成プロセスは、以下のカメラ・
パラメータの少なくとも1つ、及びそれ以上に依存する
。(i)第二の主平面と像検出器との間の距If(δ)
、(ii)カメラ開口の直径(D)、(i)像形成光学
システムの焦点距離(f)、(tv)カメラ・システム
に入る光のスペクトル特性(λ)。
カメラ・システムは、カメラ・パラメータの少くとも1
つ、それ以上、全て、の値を変化せる手段を提供する。
この特徴は、カメラ・パラメータの少なくとも1つ、そ
れ以上、全て、の債を変化させることによって、カメラ
設定を変更するために使用される0本発明の方法は、異
なるカメラ設定で得られる被写体の表面パッチの少なく
とも2つ、それ以上、の像を処理して、カメラ・システ
ムから表面パッチまでの距離を判定する。
好適な実施例において、像処理コンピュータは更に、カ
メラ・システムを特徴付ける値の表が予め記憶されるメ
モリ・スペースを含む、この表は表面パッチの距離を判
定するために使用される。
コンピュータは更に、予め記憶された表内の1組の所与
の値をサーチする特別な目的のVLSIコンピュータ処
理ハードウェアを含む0表サーチ用のこのハードウェア
の代替として、コンピュータは、1&11の所与の値を
予め記憶された値の表との間の相間測定を演算し、最大
の相関を生じる表内の位置を決定する特別な目的のVL
SIコンピュータ処理ハードウェアを含み得る。サーチ
が目的を達する、即ち相関が最大である表内の位置は、
表面パッチの距離を与える。
また、カメラ・システムの好適な実施例において、有効
なカメラ開口は、像形成光学システムの前部で且つそれ
に接近して設けた開口絞りによって与えられ、それによ
ってカメラ・システムの入射瞳はカメラ・システムの視
界内の全ての被写体に対して同一のままである。カメラ
・システムのカメラ・パラメータを変更する手段は、カ
メラ・システムの入射瞳の位置が、■又はそれ以上のカ
メラ・パラメータが変更されるときに、不変のままであ
るような方法で与えられる。これは、ステレオ・ビジョ
ンで遭遇する対応問題を回避するのに役立つ。
カメラ・システムの別の実施例は、前述の好適な実施例
のわずかな変更によって得られる。この変更実施例にお
いて、前記のカメラ・パラメータの少なくとも1つ、こ
とによるとそれ以上、を変更する手段を提供する単一の
カメラ・システムの使用に代えて、多重カメラが使用さ
れる。これらの多重カメラは、個々のカメラのカメラ・
パラメータ値が、カメラ・パラメータの少なくとも1つ
、それ以上、全て、で相違するようなものである。
即ち、多重カメラのうちで、全てのカメラ・パラメータ
に対して同一のカメラ・パラメータ値を有するカメラは
2つとない、この装置において、個々のカメラのいずれ
かのカメラ・パラメータを変更する必要はない、各カメ
ラの全てのカメラ・パラメータは、固定可能であり、従
って、カメラ・システム内に可動部を設ける必要を回避
する。それ故、装置を簡単にし得る。各カメラは、カメ
ラ・パラメータの1&llの値に対応する1つの像を得
るのに使用される0個々のカメラはそれぞれ、ビーム・
スプリット配置のために共通の開口を通して情景を観る
。前述の相違を除いて、代替実施例は好適実施例と同様
である。
本発明の方法は、以下のうちの少なくとも1つを含み第
一組のカメラ・パラメータにカメラを設定することを含
む。(i)第二の主平面と像検出器との間の距離(δ)
、(ii)カメラ開口の直径(D)、(ij)カメラ・
システムの焦点距jiI (f)、(iv)光フィルタ
によって伝送される光のスペクトル特性(λ)、カメラ
・パラメータのこれらの組は以下に示すように単一ベク
トルで表現できる。
C□= (δI+ f 、、 D、、λ1 )次に、表
面パッチの第一の像が像検出器上に形成される。これは
、例えば、カメラ・システムの視界内に情景を観視し、
(θ0,φ0)に中心を有し且つ(θ3.φI)、ただ
しi =L2+3+4+に角を有する正方形領域によっ
て特定された表面パッチを選択することによって達成で
きる。第一の像は、それを像処理システムで処理するた
めに第1組の値に変換することによって、像検出器から
抽出できる。この処理は、他の検値の処理と同時的に実
時間で達成でき、或いは、後処理のために記憶させるこ
とができる。
次に、カメラは、以下に示されるように表現される、第
二のカメラ設定にセットされる。
C−!=(δt、 f z、 D z、λ8)但し、C
□はCa!に等しくはない、これは、例えば、距離δの
ような、カメラ・パラメータの少なくとも1つを単に変
化させることによって実行できる。
次に、同一の表面パッチの第二の像検出器上に形成され
る0次いで、これは、像処理システムで処理するために
1組の値に変換される。
同時処理或いは直列処理に拘らず、複数組の値のそれぞ
れは、処理されて、コンポリューシラン演算によってカ
メラ・システムの点ひろがり関数に関連する正規化検値
に変換される。
本発明の理論的根拠は、記録された像に処理演算を実行
することによって示される。これらの処理演算は、(i
)情景内の表面パッチの合焦像、(II)表面パッチの
全体輝度、(d))表面パッチの距離、に関する効果と
、1組のカメラ・パラメータによって特定されたカメラ
と、を分離する。
表面パッチの像に関するこれら3つのファクタの効果を
分離したことにより、(i)合焦像、及び(II)全体
輝度、の効果は、異なるカメラ設定で得られる同一の表
面パッチの2つの像を比較することによって相殺される
。この演算は、表面パッチの距離に関する単一の制約を
引き起こす。この制約は、解析的に、或いは表面パッチ
の距離を得るために像処理装置内に設けられたコンピュ
ータ・メモリ内の予め記憶された表を用いることで、解
決できる。
前述の如き効果を分離するために、表面パッチの“合焦
像”は、視野の異なる方向に沿っているが表面パッチの
実際の距離とは無関係な、表面パッチ上の点からカメラ
・システムの入射瞳に入射する光エネルギによって定義
された0例えば、所与の方向に沿った表面パッチの合焦
像の輝度は、所与の方向に沿った表面パッチ上の被写体
器からカメラ・システムの入射瞳に入射する、単位時間
当りの全光エネルギに比例するものとして定義できる0
合焦像のこの定義は、文献に見出される定義とは相違し
ている。ここでは、表面パッチ上の被写体点の輝度、即
ち放射輝度よりむしろ入射瞳に入射するエネルギによっ
て特別に定義された。
この特別な定義は、表面パッチの実際の距離とその合焦
像との効果を分離するのに必要である。従って、この定
義は、信号を処理するために正確な理論的根拠を与える
のに有効である。更に、信号処理を更に展開することは
、音響の理論的根拠から実行できる。
再度、本発明の理論によれば、カメラ・システムにおけ
る像形成プロセスは、任意のカメラ・パラメータの実際
の値とは無関係に、先に定義されたように、合焦像によ
ってのみ表面パッチの用語“正規化焦点像”を定義する
ことによって特徴付けられる。このように、正規化焦点
像は、単位平均輝度及び単位倍率をもった合焦像として
定義される。この定義は、(i)表面パッチの全体輝度
(平均輝度が1単位であるように固定されるという理由
による)、(ii)カメラ・パラメータ値、(iii)
表面パッチの合焦像、の効果を分離する。
この理論的根拠に基づき、前処理演算は、前処理像と、
カメラ・パラメータ値によって先に定義された正規化合
焦像と、の間の簡単な関係を得るために実行される0例
えば、本発明の好適な実施例において、以下の演算の1
又はそれ以上が含まれる。
(1)前記の像検出器の検出器応答特性の補正、(ii
 )像形成システムの不均一な光伝送の補正、(iii
)第−及び第二の記録された像の内挿及び再標本化を含
む倍率の正規化、 (iv)第−及び第二の記録された像の輝度の正規化。
本発明は、サーフェス・パッチの正規化された合焦点イ
メージを特性ポイント・スプレッド関数と結合すること
によって、同じサーフェス・パッチの適切に前処理され
たイメージ(前述のよう(m)間のカメラ・パラメータ
についての関係を導き出すものである。このことを「コ
ンボルーション関係」と呼んでいる。また、ポイント・
スプレッド関数は、実際のカメラ・パラメータ値及びサ
ーフェス・パッチの距離によって決定されるが、サーフ
ェス・パッチの焦点の合ったイメージとは無関係である
。このように、イメージ形成プロセスは一組のカメラ・
パラメータについて特徴づけられる。コンボルーション
関係において正規化された合焦点イメージはサーフェス
・パッチに関する測光情報のみを含み、ポイント・スプ
レッド関数はサーフェス・パッチの幾何学的情報(即ち
、距離に関する情報)及びカメラ情報(即ち、カメラ・
パラメータに関す−る情報)を含んでいる。
フーリエ・ドメーンにおいて、コンボルーシ日ソ関係は
カメラ・システムの光学的伝達関数H(ω、シ、Ca 
γθ)とサーフェス・パッチの正規化された合焦点イメ
ージのフーリエ変換Fゎ(ω、ν)との積に等しい前処
理されたイメージのフーリエ変換として表現される。光
学的伝達関数はカメラのポイント・スプレッド関数h(
x。
y;Ca、ro)のフーリエ変換である。従って、光学
的伝達関数が決定され、それはサーフェス・パッチのカ
メラ・パラメータ及び距離には無関係である。光学的伝
達関数についての解析的表現はカメラ・システムにおけ
るイメージ形成理論の理論的モデルから導き出すことが
できる0例えば、近軸幾何光学や回折光学に基づくイメ
ージ形成理論を使用することが可能である。
前述の如く求められた、適切に前処理されたイメージと
正規化された合焦点イメージとの関係を使用して、2つ
のイメージの関係が明らかになる。
1つのイメージは、最初のカメラ・システムを第1カメ
ラ・セツティングに設定することによって特定の視野で
イメージを記録し、次に第1カメラ・セツティングに対
して特定の前処理操作に従って記録されたイメージを処
理した結果である。他方のイメージはカメラ・システム
を第2カメラ・セツティングに設定することによって同
じ視野でイメージを記録し、次に第2カメラ・セツティ
ングに対して特定の前処理操作に従って記録されたイメ
ージを処理した結果である。この2つのイメージの関係
は、第1カメラ・セツティング及び第2カメラ・セツテ
ィングにおけるサーフェス・パッチの生じ得るすべての
距離に対してあてはまる。
この関係には、中間的パラメータは使用されない。
更に、この関係は、サーフェス・パッチの外観や合焦点
イメージとは無関係に表わされている。実際上、正規化
された合焦点イメージはすべての距離について同じにな
るはずであるので、適切に前処理されたイメージと正規
化合焦点イメージとの前に導き出された関係にある正規
化合焦点イメージに対応する項は消去される。この関係
は、1つの拘束(constraint)を解くことに
よって有効な計算法でサーフェス・パッチの距離の決定
を容易にし、それは任意のポイント・シブレッド関数を
有するカメラ・システムを使用したかなりの光学収差が
存在する場合でも、カメラ・パラメータを実際に測定す
ることなく、また不必要な拘束、近偵、及び中間パラメ
ータを導入することなく容易にするものである。
前述した関係の一例は次の様にして求めることができる
。イメージ・ディテクタの第1位置に対するサーフェス
・パッチの第1イメージを記録し、そのイメージ・ディ
テクタ以外(即ち、他のすべてのカメラ・パラメータ)
はそのままにして、イメージ・ディテクタを新しい位置
に移動させ、サーフェス・パッチの第2イメージを記録
する。その第1及び第2の記録されたイメージを前処理
して、それらのフーリエ変換の比をとる。即ち、G l
lz (ω、ν)   H(ω、シ;じa!、T 0)
F−n(ωeν)これは、2つの前処理されたイメージ
のフーリエ変換の比を対応する光学的伝達関数の比に等
しく関係を与える。
前述の如く導き出された比関係において、正規化合焦点
イメージのフーリエ変換は相殺される。
従って、任意のフーリエ空間周波数において、比の値は
サーフェス・パッチの距離に関係するが、正規化合焦点
イメージには無関係となる。この比はサーフェス・パッ
チの距離の関数として1つの解析式で表わすことができ
る。即ち、 あるいは、前記比は、被写体のすべてのとりうる距離に
ついて作表され、コンピュータ・メモリに記憶させるこ
とができる。解析式はカメラ・システムの理論モデルか
ら導き出すことができる0例えば、幾何光学や回折光学
の原理に基いて、解析表現を導き出すことができる。こ
の解析表現はサーフェス・パッチの距離を決定するのに
使用することができる。
前述の如く得られた比関係は、コンピュータ・メモリに
予め記憶された数値表として表わすことも可能である。
この表はサーフェス・パッチの距離を決定するのに使用
することができる。この表自体はカメラ・システムの理
論モデルから計算することができるものである。また、
この表は較正手順によって実験的に決定することも可能
である。
これまでのステップは、サーフェス・パッチの距離を決
定する方法の第1の主要ステップに属するものである。
第2の主要ステップは以下のステップを含んでいる。
即ち、カメラ・システムを第1カメラ・セツティングに
設定することによってサーフェス・パッチの第1イメー
ジを記録する。その記録されたイメージを第1カメラ・
セツティングについて特定された対応する操作に従って
前処理を行なう。
次に、カメラ・システムを第2カメラ・セツティングに
設定することによってサーフェス・パッチの第2イメー
ジを記録する。その記録されたイメージを第2カメラ・
セツティングについて特定された対応する操作に従って
前処理する。
ここで、第1イメージ、第2イメージ、及び2つのイメ
ージ、例えば第1及び第2イメージ間の前述の関係を使
用して、サーフェス・パッチの距離を決定する。このス
テップに使用される関係は、2つのイメージ間の前に明
示した関係である。1つのイメージは最初カメラ・シス
テムを第1カメラ・セツティングに設定することによっ
て特定の視野でイメージを記録し、次に記録されたイメ
ージを第1カメラ・セツティングに対して特定の前処理
操作に従って処理した結果である。他方のイメージは、
カメラ・システムを第2カメラ・セツティングに設定す
ることによって同じ視野で別のイメージを記録し、次に
記録されたイメージを第2カメラ・セツティングについ
て特定の前処理操作に従って処理した結果である。
サーフェス・パッチの距離を求める方法に加えて、本発
明は前述した方法によって決定されたサーフェス・パッ
チの距離の不確定性を決定する式も与える。この式はカ
メラ・システムの光学的伝連関数、カメラ・パラメータ
値の測定の不確定性、及びSN比として表われるイメー
ジ信号の測定値の不確定性と関連している。
距離を決定する前述の方法の精度は、サーフェス・パッ
チのイメージの縁のぼけたにじみ(イメージの重なりの
問題)の影響を軽減させることによって増強することが
可能である。サーフェス・パッチの縁の周辺領域は、そ
の領域を照らさないことによって暗く保たれる。これに
よって、サーフェス・パッチによって生じるかすみが、
サーフェス・パッチに近接するサーフェス・パッチによ
って生じるぼけと重なることが回避される。従って、計
算された距離の精度が改善される。
距離が望ましいサーフェス・パッチのイメージが反射率
の変動を示さない場合、シーン(sceIle)内のサ
ーフェス・パッチに光パターンを投射することによって
明るさの変化を生じさせることが可能である。これによ
ってサーフェス・パッチの距離の決定が容易になる。
基本的には、1つのサーフェス・パッチのただ2つのイ
メージを取得し処理すれば、そのサーフェス・パッチの
距離を決定するのには充分である。
しかし、サーフェス・パッチの幾つかの明瞭なイメージ
対を処理することによってより頑健な距離の推定量を得
ることができる。イメージの各明瞭な対は1つの独立し
た距離の推定量を得るため処理される。その独立した距
離のすべての推定量の重み付けされた平均が頑健な距離
推定量を与える。
一般に、前述の方法によって推定されたサーフェス・パ
ッチの距離は、重み付は平均をとることによって他の独
立した距離推定量(同じ方法又は別の方法によって得ら
れた)と結合して、より頑健な距離推定量を得ることが
できる。
本発明の別の特徴は、カメラ・システムとサーフェス・
パッチとの間の決定された距離を使用して、カメラ・シ
ステムのイメージ・ディテクタ上にサーフェス・パッチ
を迅速にそして自動的に焦点を合せる方法である。この
方法は、距離を決定するステップに加えて、更に2つの
ステップを含んでいる。1つは、サーフェス・パッチの
距離に基いて、カメラ・パラメータの少なくとも1つ、
できれば両方の値を決定する。その2つのパラメータと
は、(1)カメラ・システムのイメージを形成する光学
系の焦点距離と、(2)サーフェス・パッチを焦点に導
く第2主平面からのイメージ・ディテクタの距離である
。それら2つのパラメータの決定は、イメージ合焦点公
式を使用して行なわれる。
そのイメージ合焦点公式の一例は周知のレンズ公式1/
f = 1/u + 1/vで、近軸幾何光学の原理に
基いている。
自動焦点合せの次のステップは、焦点距離の値及び第2
主平面からのイメージ・ディテクタの距離を前のステッ
プで決定された値に設定することである。
本発明の他の実施例は、シーン内の被写体のすべてのサ
ーフェス・パッチの単に2つのイメージからの距離を、
あらゆるサーフェス・パッチが焦点内にあるかどうかに
かかわらず、またカメラ・システムからの距離に関係な
く、並列に(即ち、同時(m)決定することを容易にす
る。シーン内の各サーフェス・パッチに対応するイメー
ジ対は並列に同時に処理され、それらのカメラ・システ
ムからの距離を決定する。これは、カメラ・システムの
完全な視野を多くの小さな小(サブ)視野に分割し、各
小視野についてサーフェス・パッチの距離を決定する方
法のステップを繰り返し、それによって各小視野におけ
るサーフェス・パッチのカメラ・システムからの距離を
決定することによって達成される。
本発明は、また異なるカメラ・セツティングで記録され
た一対のぼけているであろうイメージから焦点を改善し
たサーフェス・パッチのイメージを決定するのに使用さ
れる。最初に、前述の方法を使用して、サーフェス・パ
ッチの距離が決定される。この距離に基いて、記録され
、前処理されたサーフェス・パッチのイメージの1つ、
例えば第1イメージの光学的伝達関数が決定される0次
に、その第1イメージのフーリエ変換が決定される。こ
のフーリエ変換は前に決定された光学伝達関数によって
除算(デコンボルーシゴン)される。
この除算の結果の逆フーリエ変換を計算することによっ
て、サーフェス・パッチの焦点を改善したイメージが得
られる。
従って、可視シーン全体の焦点改善イメージは一対のイ
メージから、シーン内の可視サーフェス・パッチのカメ
ラ・システムからの距離に関係なく、得ることができる
。この方法は、カメラ・システムの完全な視野を多くの
小視野に分割するステップを含み、各小視野についてサ
ーフェス・パッチの焦点改善イメージを決定する方法の
ステップを繰り返し、それによって各小視野のサーフェ
ス・パッチの焦点改善イメージを決定する。このように
して決定された焦点改善イメージは、次に合成(又は結
合)され、カメラ・システムの完全な視野の全シーンの
焦点改善シーンが得られる。
本発明は、また被写体のサーフェス・パッチとカメラ・
システムの距離を決定する装置を含み、カメラ・システ
ムはイメージ・ディテクタ、カメラ開口、第1及び第2
主平面と焦点距離を有するイメージ形成光学系、及び光
フィルタを含み、第2主平面は第1主平面よりもイメー
ジ・ディテクタにより近く配置されている。カメラ・シ
ステムはまたカメラ・コントローラを含み、該コントロ
ーラは以下のカメラ・パラメータの1つ又はそれ以上を
変化させるよう動作するためにカメラ・システムの部品
に作用的に接続される。そのカメラ・パラメータは、(
i)第2主平面とイメージ・ディテクタとの距離、(i
i)カメラ開口の直径、(iii)イメージ形成光学系
の焦点距離である。
そして、カメラ・システムは、また、イメージ・プロセ
ッサを含み、該プロセッサはイメーディテクタ及びカメ
ラ・コントローラに作用的に接続され、イメージ・ディ
テクタから信号を受け、カメラ・コントローラによって
カメラ・パラメータを変化させる。
好適実施例において、イメージ・プロセッサはイメージ
・ディテクタからの信号をディジタル・データに変換し
、その結果のディジタル・イメージを更なるイメージ処
理のために正規化する手段を含んでいる。更に別の好適
実施例においては、ブリプロセッサは、イメージのセン
サ応答特性を補正する手段、イメージ形成光学系の不均
一光透過を補正する手段、イメージの明るさを正規化す
る手段、及びイメージ・ディテクタに記録されたイメー
ジの倍率を正規化する手段の少なくとも1つを含んでい
る。
イメージ・プロセッサは、また、信号のフーリエ変換器
及びフーリエ係数を除算するディバイダを含み、第1及
び第2イメージからの信号に対応する一組の比率値を与
える。この実施例は、また、第1及び第2イメージから
収集された比率値をカメラ・システムからのサーフェス
・パッチの距離を与える数学的関係に置換する手段を含
めることができる。更に別の実施例は、ルックアップ・
テーブル及び相関手段を含み、入力とルックアップ・テ
ーブルに記録された値との比較から得られる値から1つ
又は複数の複写体の距離を決定する。
本発明は、リニア・シフト−インバリアント・システム
の少なくとも1つあるいは多くのシステム・パラメータ
を決定し、オリジナル入力信号をリニア・シフト−イン
バリアント・システムに取り戻す方法を提供する。リニ
ア・シフト−インバリアント・システムは、システムの
物理的配置を特定する一組の既知のシステム・パラメー
タで表わされるシステム伝達関数によって特徴づけられ
る。リニア・シフト−インバリアント・システムは、既
知のシステム・パラメータ値の異なるセツティングに対
して出力信号を与えることができるものである。未知の
システム・パラメータ及びオリジナル入力信号を決定す
る方法は、次のステップを含んでいる。
(萄 既知のシステム・パラメータ値の多数の異なるセ
ツティングについてリニア・シフト−インバリアント・
システムの出力信号を記録し、(b)  記録された出
力信号のフーリエ変換をリニア・シフト−インバリアン
ト・システムのシステム伝達関数に関係づける一組の式
を公式化し、(c)  ステップ(k)で導き出された
一組の式を解いて未知のシステム・パラメータを求め、 (切 少なくとも1つの記録された出力信号及び既知の
システム・パラメータ及びステップ(c)で決定された
システム・パラメータからオリジナル入力信号を計算す
る。
前述の方法の変形例も可能であり、その方法は1つのリ
ニア・シフト−インバリアント・システムの代りに複数
のリニア・シフト−インバリアント・システムを含んで
いる。各リニア・シフト−インバリアント・システムは
共通の入力信号を受け、そのシステム・パラメータによ
って決まる1つの明確な出力信号を与える。各システム
のシステム・パラメータは明らかである0問題は、未知
のシステム・パラメータを決定し、すべてのシステムの
出力を与える共通の入力信号を与えることである。リニ
ア・シフト−インバリアント・システムのシステム伝達
関数はそのシステム・パラメータによって特徴づけられ
る。この方法は次のステップを含んでいる。
(a)  リニア・シフト−インバリアント・システム
群の出力信号を記録し、 Φ)記録された出力信号のフーリエ変換をリニア・シフ
ト−インバリアント・システム群のシステム伝達関数に
関係づける一組の式を公式化し、(c)  ステップ(
b)で導かれた一組の式を解いて未知のシステム・パラ
メータを求め、 (d)  少なくとも1つの記録された出力信号、既知
のシステム・パラメータ、及びステップ(c)で決定さ
れたシステム・パラメータからオリジナル・入力信号を
計算する。
本発明によれば、従来技術の幾つかの欠点が解消された
0例えば、焦点−深度(depth−from−foc
−using)手法に関しては、本発明はたった2つの
イメージを処理すればよい、従って、高速で、計算機リ
ソースが非常に少なくなる。
更に、本発明によれば、1つのみならず、4つまでもの
カメラ・パラメータが一度に変化することができる。従
って、本発明は実用的カメラ・システムに広く適用する
ことができる。更に、本発明はガウス・モジェレーショ
ン伝達関数に限定されるものではない、任意のモジュレ
ーシッン伝達関数に適用することができるものである。
更に、本発明はリニア・シフト−インバリアント・シス
テム々してモデル化することができるすべてのカメラ・
システムに適用することができる。
カメラ・システムのポイント・スプレッド関数(PSF
)の形式によっては制限されない、従って大きな光学収
差や回折によって生じるイメージ歪みが存在していても
本発明は適用可能である0本発明のシステムのPSPは
関連のカメラ・パラメータで完全にそして直接的に特性
づけられ、それによって回折効果やレンズ収差を補償す
る0本願発明者の別出願で以前使用したような、PSF
を特性づけるための中間的パラメータは使用していない
更に、最初に実験によってテーブル(表)が予め計算さ
れていれば、本発明の方法を適用するために、カメラ・
パラメータの実際の値を知る必要はない0本発明のシス
テムはカメラ・パラメータを定量的に測定する必要性を
回避することができ、カメラ装置を簡単に、そして安価
にすることができる。
更に本発明の成果として、被写体の距離、光学的伝達関
数及びカメラ・パラメータ値を含む1つの式が公式化さ
れ、解析的に(又はルックアップ・テーブル法により)
解かれる。これによって、以前は必要であった2つの別
個の式を同時に公式化し、解く必要性を除去する。
本発明は、また、カメラ・システムに入る光のスペクト
ル成分の影響を、別個のカメラ・パラメータとして考え
ることによって考慮している。
本発明は、更に、被写体の距離の測定値の不確定性をイ
メージ信号特性として推定し、カメラ・パラメータ値の
測定値の不確定性を推定する手段を与える。更に、本発
明は、距離を測定する方法を一般化し、任意の数のシス
テム・パラメータを推定し、その入力信号を推定するた
め任意のリニア・シフト−インバリアント・システムに
適用することができる。
本発明は、センサ応答補正、不均一な透過性の補正、倍
率補正、及び理論的正確性に必要なグレー・レベルの正
規化を含む4つの前処理ステップを含むので、システム
はカメラ・パラメータの広い範囲の変動に対してより正
確になる。
発明の背景の項で前述した問題は、カメラ開口を動かさ
ないでイメージ・ディテクタを前後に移動させることに
よって、解消される。これは、イメージ・ディテクタが
移動されずレンズ系が移動してそれに関連して問題を生
じさせる殆んどの従来技術と対照的である。
更に、本発明は、ポイント・スプレッド関数又は光学的
伝達関数が従来技術のように特定の形式、例えばガウス
又は円柱関数であることを前提にしていないので、それ
らの関数は実用上生じ得るあらゆる形式にでき、従って
本発明のシステムはより広範な応用が可能である。
また、殆んどの従来技術は、特定の周波数成分の処理に
制限されるので、とらえるイメージにおける周波数成分
が無意味のとき、適用できない。
これに対し、本発明は高いか低いかにかかわらずすべて
有意義な周波数成分を使用するので、殆んどの従来技術
のように1つのみの周波数成分を使用するものに制限さ
れることはない。
他の特徴として、従来技術のような被写体の外観やカメ
ラ・パラメータの値についての制約がないことが含まれ
る。即ち、被写体は両者間に直線の境界を有する明るい
パッチと暗いパッチを含む必要がない、また、1つのイ
メージが小さな(ピンホール)開口サイズでとらえる必
要もない。
本発明のシステムは、ポイント・スプレッド関数が1つ
のパラメータによって特性づけられるカメラ・システム
に限定されるものではなく、関連のすべてのカメラ・パ
ラメータで直接的に特性づけられる。従って、本発明の
方法は相当の回折や収差が存在する場合でも適用するこ
とができる。
すべての従来技術はこの一般性が欠けている。
本発明は、また、従来技術では2つ以上の拘束が必要で
あったのに対し、1つの拘束を与えるのみで、従ってそ
の拘束を解く計算コストを減少させる。この拘束は観察
されるイメージ及びカメラ・パラメータで直接的に表わ
すことができる。また、中間パラメータ(例えば、P5
F分布の標準偏差)は含まれない。
本発明の他の特徴は、以後の説明から当業者には明らか
になる−であろうし、また、前述した特徴によって本発
明の範囲が限定されるものではない。
(実施例) カメ−びカ −バー 第1図には、本発明のカメラシステムの透視概略図が3
次元空間的に示されている。第2図には好適な実施例の
カメラシステムの詳細が示され、該カメラシステムは、
カメラ光学軸0.A、に沿って配置された第1及び第2
のレンズL、、 L!を有する光学システムを含み、レ
ンズシステムの焦点距離fを容昌に変更できるように構
成されている。この焦点距離fはカメラパラメータであ
る。
レンズシステムは第1及び第2の主平面(pri n−
cipal plane)P++Pzを有する事を特徴
としている。
開口ストツブA8は第1のレンズL1の直前に配置され
、この開口ストツブの開口の直径りはカメラパラメータ
である。この直径は可変であるが、それは十分に小さく
、カメラシステムの入口孔及び有効開口がその直径によ
って常に定められ、カメラ内の他のストップによっては
決定されないようにされている。ストップA、をレンズ
し、の直前に配置する事は、情景内の総べての対象物が
カメラからの距離に関係なく同一の入口孔に出現する事
を確実にするものである。
光学的収差が無い場合は、可能なかぎり開口直径りと同
じにする事が望ましい、その理由は、(i)フィールド
のより小さな深度において、カメラシステムに対するよ
り大きな範囲(深度)の辺側能力を生じる事ができ、(
ii)より大きなイメージ投影を行う事ができ、(ii
i)回折を減少させる事ができるからである。
レンズシステムの焦点距離fの値は、光学軸に沿ってレ
ンズLxを後退又は前進させる事によって変更される。
他のレンズL+は好ましくは移動させる事なく開口レン
ズストップに常に近接させる事が望ましい、特に開口ス
トツブによって決定される入口孔は、それが移動すると
ステレオビジョンにおいてそれに応じて生じる問題を引
き起こすので、移動させるべきではない。
レンズL+、Lxの両方が凸レンズであるか又はその一
方が凸レンズであり、いずれの場合においても有効焦点
距離は以下の公知の公式によって定められる。
なお、fLI+ fL!はレンズLll!の焦点距離で
あり、rは該2つのレンズ間の距離である。3以上のレ
ンズを用いた場合にも、同様な公式を用いる事ができる
(例えば、Hech を及びZajac著roptic
s」1974年Addison−Wesley Pub
lishers発行 第5及び6章を参照の事)、主平
面p、とp、の位置及びレンズシステムの主要点Q1と
口、は、例えばに、N、0g1e著、Charles 
CaThomas、 Springfield(Ili
nois)によって1968年に発行されたr tex
t 0ptics Jの第2部第7章に開示されている
ような、幾何光学的な周知の方法を用いて決定される。
移動可能レンズ1.1によって有効焦点距離fを変更す
るための他の方法においては、焦点距離fLI+fL!
の一方又は両方を変更する事ができる。これは、一方の
レンズを有効焦点距離を有するレンズに変更する事によ
って達成される。
カメラシステムはまたイメージデテクタ10を含んでお
り、該デテクタ10において実像が形成され、記録され
る。レンズシステムの第2の主平面P2とイメージデテ
クタ10との距離はSで表わされ、これはカメラパラメ
ータとなる。カメラパラメータSの値は、光学軸に沿っ
てイメージデテクタIDを前進、後退させる事により変
更できる。Sの値はまた主平面P、を有効に動かす事に
よっても変更できる。
第3図には、イメージ取得装置及びイメージ処理コンピ
ュータを有するカメラシステムが示されている。イメー
ジ取得装置は、イメージデテクタからイメージ信号を受
けとり、デジタル型態に変換する。このデジタル化され
たイメージは、イメージ処理コンピュータに入力される
。該コンピュータは、入力デジタルイメージを処理して
表面パッチの距離を再生する。総べてのカメラパラメー
タを検出する事ができる必要はないが、この距離の情報
は有用なものである。好適な実施例においては、カメラ
パラメータの値を定量的に測定するための手段を有して
おり、該パラメータの値を変更する手段によって生じた
カメラパラメータ値の変更をも測定できるものである。
第15図はイメージ処理コンピュータの概略ブロック図
である。該コンピュータは、デジタル信号処理装置に通
常台まれている複数のモジュールから構成されている。
入力装置コントローラと出力装置コントローラとは、入
力装置及び入力装置間のデータ伝送に協調している。中
央処理ユニット(cPU)は動作処理を介助する。高速
フーリエ変換(FFT)チップ及びフローティングポイ
ント演算チップは、処理スピードを高上させるために用
いられている。メインメモリは入力イメージデータを記
憶し、かつ種々の状態における処理動作の中間結果をも
記憶する。
上記したモジエールに加えて、イメージ処理コンピュー
タは、更に2つのモジュールを含み、表面パッチの距離
を決定する。該モジュールの一方は、高速ランダムアク
セスメモリ(RAM)モジュール又は予め計算された値
のテーブルを記憶するリードオンリーメモリ(ROM)
モジュールを有している。この予め記憶されたテーブル
は、本カメラシステムの特徴となるものである。他方の
モジュールは、“ルックアップ″/相互関係モジュール
であり、計算された値のあるセット値に対して高速テー
ブルサーチのための特殊目的VLSIハードウェアを有
している。このモジュールはテーブルルックアップ(検
索)動作(これは部分的に連想サーチを必要とする)、
又は相互関係測定値の計算及びその最大値サーチのいず
れかを実行する。
第4図には他の実施例が示されており、該実施例は、あ
る情景の2つのイメージを同時に得る事ができるもので
ある。該実施例は先に説明した実施例を少々変更する事
によって形成されている。
この変形実施例においては、アンテナパラメータの少く
とも1つ(可能なかぎりそれ以上)を変更するための手
段を提供する単一のカメラシステムを使用するかわりに
、複数のカメラが用いられ、それぞれのカメラのカメラ
パラメータの値が、少くも1つ(可能ならばそれ以上、
全部でもよい)のカメラパラメータにおいて同一ではな
いように構成されている。この装置においては、それぞ
れのカメラのカメラパラメータのいずれをも変更するた
めの手段を具える必要がないものである。それぞれのカ
メラは、カメラパラメータの1セツト値に対応する1つ
のイメージを取得するように用いられる。各々のカメラ
は、ビームスプリッタ装置により共通の開口(口径)を
介して情景を写す。
この点を除いては、この実施例の他の部分、例えばイメ
ージ取得装置及びイメージ処理コンピュータは先に説明
した実施例と同様である。
匙句基礎 本発明に関連する理論的基礎を以下に説明する。
座標システムとイメージ表現 第5図には、2つの球状座標システム(γ、θ。
φ)、  Cr’、  θ′、φ′)が示されている。
第1の座標システム(γ、θ、φ)は第1の主要点Ql
に配置され、第2の座標システム(γ′、θ′φ′)は
第2の主要点Q2に配置されている0両方の座標システ
ムのX軸及びY軸はそれぞれの主平面上にあり、Z軸は
光学軸に一致している。この座標システムにおいて、第
1の主平面P+に(θ。
φ)の方向から入射する光線は、第2の主平面P2から
(θ′、φ′)の方向に出射される0本発明の実施例に
おいて、光学システムを囲んでいる媒体は均一であり(
空気)、該システムは光学軸に関して回転対称である。
このようなシステムに対して、入射光線及び出射光線は
、θ′=θ、φ′−一である。したがって、記号を単純
化するために、以下の説明においては入射光線及び出射
光線の両方向を特定するためにθとφのみを用いる。
本発明は、しかしながら、−船釣なケースに容易に拡張
できるものであり、光学システムを囲む媒体が異なる箇
処で異なっていてもよく、また光学システムが回転対称
である必要もない。
イメージ座標システム:イメージデテクタは実際には2
次元表面上に配列されたCCDセンサのような光感知セ
ンサ素子のアレイを含んでいる。もしくT、、θ、φ)
がイメージデテクタの表面上にある点の集りならば、該
表面は以下の関数によって定義される。
ra(θ、φ)(2) 光学システムによって形成される情景のイメージは、イ
メージデテクタの表面上にイメージ放射分布を提供する
。この放射分布は以下の関数型態で表わす事ができる。
g(θ、φ)(3) この関数は、イメージデテクタ上に形成されたイメージ
を表現するものである。g(θ、φ)が、イメージデテ
クタの表面の任意形状のイメージを表わす事ができる事
に留意すべきである。特に、イメージデテクタは、はと
んどのCODカメラにおけるのと同様に平坦であり、又
は例えば人間の目の網膜のようにカーブする事もできる
本発明の実施例において、イメージデテクタの表面は平
坦であり、光学軸に対して垂直に第2の主平面が距離δ
離れた位置に配置される。したがって、イメージデテク
タの表面の式は、ra(θ、φ)−δ/cosθ   
  (4)と表わされる。しかしながら、イメージデテ
クタの表面の幾何学的形状が例えば平坦形状等の特定な
ものに限定されない事に留意すべきである0本発明はイ
メージデテクタの表面の形状を任意のものに拡張できる
ものである。
本発明の方法は、光学軸に沿ってイメージデテクタが前
方又は後方に移動するようにする事もできる。イメージ
デテクタのこのような移動により、記録されたイメージ
の大きさを変更できる。イメージの大きさの変更を考慮
するために、正規化されたデカルト座標システム(x、
y)を定義し、イメージデテクタ面上の点を識別する。
これは、第2の主平面が基準距離はなれた位置に配置さ
れた仮想デカルト座標システムである。第6図を参照さ
れたい、イメージデテクタ上の任意の点(S/cosθ
、θ、φ)に対して、この点の正規化デテクタ座標(x
、y)は、 xwtanθ、   y−tanθsinφ   (5
)と表わされる。(θ、φ)によって特定される方向と
デカルト座標(x、y)との間の上記のように定義され
た77ピングは1対1であり、したがって方向(θ、φ
)を正規化デカルト座標(x。
y)にかつその逆も特定するよう定義するものである。
この逆の関係は以下式によって表わされる。
θ−tan−’q   (Q <θ< x / 2 )
  (6)φ=cos−’ (x/、/’i−ワyt 
)、φ= s in−’ (y/q )。
(o〈φ〈2π)(7) したがって、イメージデテクタ上の任意のイメージg(
θ、φ)はg (x、y)によって等価的に表わす事も
できる。ここにおいては、同一のイメージを表わすため
にg(θ、φ)とg (x、  y)とを交互的に用い
る。
座標システム及び記号について説明したが、本発明の基
本的タームである重要なタームをここで定義する。
集光されたイメージ(フォーカスイメージ)f(θ、φ
)は、情景における方向(θ、φ)に位置する対象物か
らカメラシステム入口開口に入射する基準時間当りの総
光エネルギーである。
フォーカスイメージのこの定義は、文献に記載されてい
るものとは相違している。ここにおいては、フォーカス
イメージは、情景における対象物の点の輝度又は発光量
よりもむしろ入口開口に入射するエネルギーのタームと
して定義されている。
情景における対象物の点の発光量に基づく定義は、情景
における対象物の距離にフォーカスイメージを依存させ
てしまう、入口開口に入射する光エネルギーは対象物の
発光量に比例するので、カメラシステムからの対象物の
距離の2乗に反比例して減少する。新しい定義は、対象
物の発光量及びカメラシステムからの距離の影響を取り
除くものであり、本発明の正しい定理を表わすために必
要なものである。
上記フォーカスイメージの定義は対象物の距離に依存し
ていないが、あるカメラパラメータに依存するものであ
る0例えば、カメラ開口の直径(口径)に依存しており
、これは情景における対象物の点から入口開口に入射す
る光エネルギーが対象物の点での開口に対する固体(s
olid)角に比例するからである0次に輝度正規化フ
ォーカスイメージの定義をするが、これもまたカメラパ
ラメータの実際の値に依存しないものである。
輝度正規化フォーカスイメージf、(θ、φ)は以下の
ように定義される。
f、、(θ、φ)=f (θ、φ)/E(8)ここでE
は、f (x、y)に対応する入口開口に入射する光エ
ネルギー総量であり、以下のように計算される。
E=fff (x、y)dxdy   (k)以下、「
輝度正規化フォーカスイメージ」を単に[正規化フォー
カスイメージ」と称す。
イメージ   の  スー プ 次に記録されたイメージを処理するシーケンスを説明し
、処理されたイメージと正規化フォーカスイメージとの
間に、単純な関係がカメラパラメータの値を用いて得ら
れるようにする。
理想的カメラシステムにとって、点光源から方向(θ、
φ)に沿って入口開口に入射する光エネルギーの総べで
は、該方向(θ、φ)に沿ってインズシステムの後方の
ある点に集光され、かつ集光された光エネルギーの値は
正しく記録される。
すなわち、カメラシステムにおいては、吸収及びばかし
のような他の影響に基づくエネルギー損失がない、さら
に集光された光エネルギーの正確な記録により、位置(
θ、φ)にあるイメージセンサの応答(すなわち出力信
号)が集光された光エネルギーf (θ、φ)に比例す
る。しかしながら、実際のカメラはこの理想的な特性を
有しているものではなく、従って実際の記録されたイメ
ージはカメラシステムのこの理想的でないふるまいに対
して補正をするよう前処理される。
センサ応答補正:イメージデテクタは、例えばCCDセ
ンサのような光感知センサ素子からなるアレイを含んで
いる。これらセンサ素子の応答出力は、一般にイメージ
発光量に比例する。もしこれらの応答出力が比例せずに
、入射光エネルギーaに対して式b =C(a)で表わ
されるならば、正しい応答出力aは得られた応答出力す
に基づきインバ−入操作a=c−’(b)を行う事によ
って定義される。このインバース操作式c−’ (b)
 はカリブレイション処理により初期に定義される。さ
らに、カメラ製造者はイメージデテクタの応答出力を実
際のイメージ発光量に関連付ける設計を行う事ができる
。観測されたイメージg(θ、φ)に対して、センサ素
子の非直線性応答を補正する操作は、以下の式で与えら
れる。
g(θ、φ)←c−’(g(θ、φ))(lωここで「
←Jはそのようになる事を表わしている。
非均−光伝送の補正−入口開口に入射する光は通常、吸
収又はばかしの影響により、光学システムによって少量
減衰される。減衰量lは通常方向(θ、φ)と共に変化
し、したがって、透過関数t(θ、φ)の型式で特徴付
けられる。g(θ。
φ)がイメージデテクタに集光されたイメージである場
合、非均−光伝達の影響は、以下の操作によって、補正
される。
g(θ、φ)1g(θ、φ)/l(θ、φ)  00セ
ンサ応答補正及び非均−伝達補正がすでに実行されたイ
メージg(θ、φ)(すなわち、g(x+y))は、情
景の観測されたイメージと称する。
輝度正規化二人口開口に情景から入射する光エネルギー
の総量は、カメラパラメータの変化に応じて変化する0
例えば、カメラ口径が増大すると、総入射光量が増大す
る。この変化を考慮して、イメージg(θ、φ)は、入
口開口に入射する部分(kーカル)光エネルギーによっ
て正規化される。
この総入射光量Eは以下のように計算される。
E−ffg (x、y)dxdy    021輝度正
規化観測イメージgo(θ、φ)は以下のように定義さ
れる。
gn(θ、φ)=g(θ・φ)     Gり点Ljシ
月!致 カメラシステムのh(θ、φ)として表わされる、点広
がり関数(PSF)は点光源により生じる観測される像
(上記限定された意味において)として定義され、該点
光源の輝度は点光源から入射瞳の単位時間入射当りの総
光エネルギーが一単位となる。
位置(r ll+θo0.φ。)における点光源Pに対
応する点広がり関数h(θ、φ)は次のパラメータに依
存する。(i)像検出器の位置δ、(ii)光学系の焦
点長さf、(iii)アパーチュアの直径D、(iv)
光学系を入射する光の波長λ(又はスペクトル量)、(
v)光源Pの位置(ro、θ0,φ0)である、それは
また、他のパラメータ、例えば入射瞳の入射光の凝集の
程度に依存するが、他のパラメータは記録される異なる
イメージにとって同じに留まると考えられる。しかしな
がら、本発明は1以上の他のパラメータがひとつの記録
イメージから他の記録イメージに変える場合に容易に拡
張できる。
回転対象光学系にとって、しかしながら、点広がり関数
h(θ、φ)は角度φ。に依存しない。
本発明の好適な実施例において、光学系は光軸の回りに
円形に対称である。そこで、φ・はさらに考慮されない
、しかし、本発明の方法は点広がり関数がφ。に依存す
る場合に拡張できる0回転対称光学系に制限されない。
点広がり関数はレンズ収差の変化のために光軸に関して
角度θ。に依存する。しかし、角度θ。
の小さい間隔内で収差はほぼ同じに留めるために取られ
る。そこで、カメラシステムの観察の全分野は、収差が
一定に近い範囲の多くの小さいθ。
の間隔に分割される。これらの間隔はわずかな度数のオ
ーダである。各間隔の実際の収差は計算又は測定を通し
て決定される。観察されたイメージは小さいサブイメー
ジに対応して分割されそして各間隔に分離して分析され
る。この話は後に論述されるが、今は処理されるべきサ
ブイメージが、レンズ収差が一定である内側のθ。の間
隔のひとつにあることが考慮される。
好適な実施例において点広がり関数が依存するパラメー
タの組は(i)像検出器の位置δ、(ii)焦点距離f
、(iii)アパーチュア直径D、(tv)光の波長λ
、(v)被写体の距11f r oである。最初の47
のパラメータ(Sr f+ D、λ)をカメラパラメー
タと称することにする。ベクトルe7はカメラパラメー
タを正確に反映し、 Ca = (−δ、 f、d、λ)        (
k)を使用する。ベクトルCaと点光源の距離T、の偵
における点広がり関数の従属を明確にするために、点広
がり関数を h(θ、φHCa、  γ。)       0ωとし
て示す、この関数において、点広がり関数が依存するす
べての独立パラメータはCaとT、により特定される。
これらの独立パラメータは点広がり関数りの個別の独立
した変数であると考えられる。特に、独立パラメータは
、中間プレパラメータ(例えば、θ)を生じるために結
合されず、そしてそのプレパラメータは関数りの独立変
数として取る。
点広がり関数の定義から、次のようになる。
LZ S−Z h (x + y ; Cat r o
 ) ’ X ’ y =I   Qe特に、上記関係
はベクトルCaと距離T0のすべての可能な値に対して
良く維持する。
(γ。、θ0,φ0)に置かれた点光源PのIMイメー
ジh(x、y; Ca、γ。)がもし与えられるならば
、Pの方向(θ0,φ0)の予測はイメージ明るさ分布
の中央の量から得られる。正規化されたデカルト座標系
における中央の量の位置(i、9)はx=f−oj”、
、 xh(x、y;Cat r o)dxdy   (
17a)y = S   S  yh(x、y;Ca、
 r o)dxdy     (17b)により与えら
れる。
点Pの方向(θ。、φ、)は関係(6)と(7)を使用
して(x、y)から得られる。
点広がり関数の広がりθは点広がり関数の分布の標準偏
差として定義され得る。即ち、psph(x+y;ca
+γ。)は固まりの中央の囲りの非常に小さい領域にお
いてのみ重要な意味をもつ、この領域は広がりθの約2
又は3倍のラジアンまで広がる。この領域の外側で、P
SFは零に非常に近い値をもち、ここでは重要でない。
表面パッチのイメージ 位置(γ。、θ0,φ0)に置かれたシーン(scen
e)の被写体像検出器の上にイメージを生じる。第7図
を参照、ここで位置(T、、θ0,φ0)は実際に、被
写体上の表面パッチ(patch)の中央点の位置を表
わす0表面パッチのすべての点の方向(θ、φ)は、シ
ーンの点の方向が像検出器上のイメージの方向と同じだ
から確実に細かく決定される。しかし、カメラシステム
から表面パッチの距離γ。は決定されるべく留まる0表
面パッチの大きさは、点広がり関数が表面パッチ上のす
べての点でほぼ同じであるように取られる。これは、次
のことを暗示する。(i)表面パッチのすべての点がカ
メラシステムからほぼ同じ距離γ。にあること、(ii
)光学系の収差は表面パッチ上のすべての点でほぼ一定
していること、である、イメージ範囲において、表面パ
ッチのイメージの大きさは対応する点広がり関数の広が
りθよりも非常に大きくあるべきである。考慮すると、
表面パッチを囲む他の表面パッチは存在しないか、暗い
か、又は照明されてないとして扱われるだろう、この場
合のそれらの影響は後に考慮されるだろう。
本発明の好適な実施例において、−膜性の喪失なしに間
隔のあるシーンにおける表面パッチは像検出平面に並列
の方形クロスセフシロンを有する最初の主要点に立体角
を設けるように取られている0表面パッチに対応する視
野としてこの立体角を述べている。この視野の中央(θ
0,φ0)により与えられ、そして反時計方向において
、方向(θ、φ1)、(θ8.φ2)、(θ1.φ、)
及び(θ4゜φ4)により視野のコーナを指定するだろ
う0表面パッチに対応する視野の中央と4つのコーナは
夫々点(Xe+ Vo)、(x++ yt)、(Xz+
 Vり、<Xs+ Vs)及び(xn+ ya)により
正規化されたデカルト座標において表示され得る。  
i =1+2+3+4のための4つのコーナ点(x+、
 yt)は正規化されたデカルト座標空間を特定する0
表面パッチの方向として中央点(xs+ 3’@)をそ
して表面パッチの大きさとして表面領域の幅(l Xi
+Y1*t lとして与えられる)を参照する0表面パ
ッチの方向と大きな本発明の方法に対する入力として与
えられる。
カメラシステムにより記録される表面パッチのイメージ
はセンサ応答補正(式0ωに従う)のために、次いで不
均一光伝達(式01)に従う)のために前処理される。
壬の結果の像g(θ、φ)は「面パッチの観測像」とよ
ばれる。
上述の情況下で、考慮下にある表面パッチのイメージが
関係している限り、カメラシステムは実質的に線形の不
変シフトシステムである。事実、最後の数ページの!!
i論の主な目的は、カメラシステムが線形不変シフトシ
ステムとしてモデル化される理論的なフレームワークに
あることであった。
この目的に対し、センサ応答訂正と不均一伝達訂正のス
テップが紹介された。いくつかのカメラシステムのため
、そのデザインと特徴に従って、いくつかの前処理ステ
ップは不必要であり、そして他のカメラシステムにとっ
て、付加的な前処理ステップと制限が必要である。たと
えば、応答特性が像検出器の異なるセンサ要素にとって
異なるときに必要となる0次のti論では、すべて、か
つ唯一の必要な前処理ステップが実行されるべく取られ
、そしてすべてかつ唯一の必要な制限が満足されるべく
取られている。要するに、カメラシステムはシーンにお
ける被写体の小さい表面パッチのための線形不変シフト
システムにより適切にモデル化される。
線形不変システムとしてモデルにされているカメラシス
テムに関し、表面パッチの観察されたイメージg(θ、
φ)は、実際、カメラシステムの点広がり関数h(θ、
φ、 Ca、  γ0)を有する対応する焦点レンズf
(θ、φ)を回旋する結果である。この関係は g(θ、φ)=h(θ、φ;Ca、T、)11f(θ、
φ) (19)によって表わされる。ここで*は回旋動
作をを示す、同じ関係が明るさの正規化イメージg、、
(θ、φ)とf、(θ、φ)に保持する。即ち、 87(θ、φ)=h(θ、φ;Cat r 。)”L(
θ、φ) (20)である、上記関係は事実から導かれ
る。
E −E g(x、y)dxdy= f5 f(x、y
)dxdy    (21)上式は光エネルギの保存の
結果(式16を参照)である。
関係(20)は正規化デカルト座標空間において次式の
ように等価に表現される。
g++(x+y) =h(x+y;Ca+ r oビf
、(x、y)  (22)式(22)はカメラパラメー
タと表面パッチの距離の項における同じ表面パッチの正
規化焦点イメージfa(x、y)に表面パッチの適切な
前処理記録イメージgn(x+y)を関係ずける。カメ
ラパラメータと表面パッチの距離は共に点広がり関数h
(x+y;Ca+ r o)を決定する。
式(22)のフーリエ変換を取ると次の関係が与えられ
る。
G、(ω、 ν)=H(ω、シ;Cat r o) F
 s (ω、ν)  (23)ここに、ω、νは空間周
波数であり、G、(ω、ν)は明るさの正規化観察イメ
ージgJx、y)  のフーリエ変換、H(ω、 v 
;Ca+ r o)はPSFh(x、y;Ca、 T 
o)のフーリエ変換、そしてF、l(ω、ν)は明るさ
の正規化合焦イメージL(x、y)のフーリエ変換であ
る。
■(ω、シ;Ca+ r o)はカメラシステムの光学
伝達関数又はOTFと呼ばれる。
距離決定 表面パッチの最初の観察イメージgl(X+Y)はCa
により示される最初の設定値に設定されるカメラパラメ
ータで得られる。
C□=(δI+fl+DI+λ、 )        
(24)表面パッチの第2の観察イメージgz(x、y
)はCb゜によって示される第2の設定値に設定された
カメラパラメータで得られる。
C5z= (δ!+f!+Di λz)       
 (25)2つのカメラ設定C□+Ca!において、カ
メラパラメータδ、f、D、λの少なくともひとつは違
わなければならない、即ちCal≠C−t (さもなけ
れば2つの観察イメージg+(x、y)とgz(x、y
)は同じであろう)、4つのカメラパラメータδ、f、
D、λのうち、そのいずれかひとつ、いずれかの2つ、
いずれかの3つ又はその4つのすべてが異なることがで
きる0例えば、カメラ設定動作はDI+D!、λ1=λ
アしかしfl+f!そしてδ1≠δ2のようにできる。
g+(x、y)とg、、、(x+y)を、夫々、観察イ
メージg+(x、y)とgx(x、y)に対応する明る
さ正規化イメージとするm g III (x、y)と
g ax (X+ V)  の値は像検出器の感光要素
の位置に対応した点の個別アレーで知られている。もし
像検出器が例えばδ、からδ2へ(ここで61〉δt)
移動されるならばそのときイメージの後者の倍率は像検
出器に形成される。そこで、gl(X+V)に対応する
個別のアレーはg nz (x+ y)に対応する個別
のアレーよりも大きい。換言すれば、gap(xty)
が知られている(xty)の個別の値はget(xty
)が知られている<x、y> の個別の値よりも接近し
ている(又は接近した広がり)であろう、この場合、g
 a+ (X+Y)はget(xty)が知られている
同じ個別の点で値へ挿入される。この動作はイメージの
強度における変化を注意し、そして倍率正規化と呼ばれ
る。
もしG71(ω、ν)、Gnt(ω、ν)は夫々イメー
ジga+(xty)1get(xty)に対応するフー
リエ変換であるならば(倍率正規化の後)、そのとき式
(23)から次の関係を導くことができる。
式(26)において、左側は異なるカメラ設定動作で記
録された2つの前処理イメージのフーリエ変換の比であ
る。右側は対応する光学伝達関数の比である。この式は
正規化焦点イメージと独立である(実に、正規化合焦イ
メージに対応する項はこの式を導く間に消去する)。
左側は記録されたイメージから計算できる。すべての要
求されたカメラパラメータが与えられるなら、解析学が
右側に導入できる。これは式において距離γ。が唯一未
知であることになる。この式を解くと表面パッチの距離
γ。を与える。
式(26)の右側の解析学の式を導入することにより距
離を決定する代わりのアプローチはカメラを実験的に目
盛ることである。この方法において、左側の比は表面パ
ッチのすべての可能な距離について計算され、そしてこ
の距離(定規を使用し、物理的に実際に測定することに
より決定される)は計算された比の関数として表に作ら
れる。この結果得られた表はコンピュータ・メモリに記
録され得る。カメラシステムを目盛ると、いずれの表面
パッチの距離もこの表を参照することにより決定できる
式(26)を解くための方法の詳細な議論が次に述べら
れる。
式(26)のノイズの影響を減少するために、(lal
(ω、ν)とG、(ω、ν)が重要であるフーリエ周波
数(ω、ν)を選択し、それらの倍率は前もって特定し
たスレッシホールドに(ω、ν)よりも大きい、この条
件はに(ω、ν)〉0として表わされる。
G1(ω、ν)−≧に(ω、ν)。
G、x(ω、 ν) l > g ((ii,y ) 
   (27)これは左側の値がノイズの存在中で強力
に観察イメージから計算したことをn認する。に(ω、
ν)の実際の値はカメラシステムのノイズに対する信号
比特性により決定される。それはノイズ振幅の平方二乗
平均(RMS)の約5倍であり得る。即ち、ノイズに対
する信号比は約25であることが要求される。
距離の解:理論 距離γ。を得るために式(26)を解く2つの方法があ
る。第1の方法は解析的アプローチである。
このアプローチでは、解析的式はCi++Cstと距離
T、によって特定されるカメラパラメータの項において
式(26)の右側に対して導入される。終結式はCMI
+CM!及び観察イメージから計算される式の左側の比
の項における距離γ。のための明快な解析式を得るため
に解かれる。
点広がり関数のガウスモデルに基づくひとつのこのよう
な方法は1987年に提出されたU、S、特許出願番号
126,407に本発明者により述べられている。
ガウス(Gaussian)モデルのために、はぼ2つ
の距離の解法があることが示された。明快な分析式がそ
の2つの解法のために導かれた。また、2重のあいまい
さを避けることができ、そしてDI=D!であるときに
、もしアパーチュアDが2つのカメラ設定のために変更
されないならば唯一の解が得られることを示した。直径
が変更されている時さえも、2重表現はカメラパラメー
タと被写体距離が特別の条件を満足しているときのみ生
じる。
ガウスPSFの特定の場合の結果は(i)2つの解以上
が可能であるが、通常は唯一であること、(ii)2倍
のあい、まいさはカメラパラメータの適切な選択により
通常避けられることを提案している。この場合は一般の
PSFでさえも、あいまいさはおそらく2つ重複のみで
あり、−このあいまいさはカメラ設定動作の適当な選択
により避けられることを暗示している。
しかし、PSFのためのガウスモデlしはPSFの自然
形への近似値である。この発明はシステムの形成上の制
限のないカメラシステムの任意のPSEを扱っている。
PSFのための完全式が電磁理論を使用して導かれる0
例えば、マグロウ・ヒル出版社、1968年、J、W、
グツドマンによる本“フーリエ光学への紹介”における
式(6,24)と(6,27) (ページ114と11
5)がカメラシステムの0TF(従ってPSF)の式を
導くために使用できる。 OTFを記述する完全分析関
数は通常非常に複雑である。そこで、実際に、式(26
)を解くことは非常に困難であり、又は不可能でさえな
る。この方法の別の不利益はCatとCb!により特定
されるカメラパラメータの値の正確な知識を要求するこ
とである。デザインがカメラパラメータの正確な測定を
容易にすることが要求されるので、これはカメラパラメ
ータへの付加的複雑性を導く。
分析形式で表わされた式(26)を解くことが不可能で
あるなら、数の反復法が使用できる。しかし、良い収束
値をもった有効な反復アルゴリズムが必要である。もし
このようなアルゴリズムが利用できないなら、このとき
γ。空間の徹底的サーチが、計算上の消費を通じて、被
写体の距離のあらゆる可能な解を与えるために許容され
る。
式(26)を解く第2の方法はテーブル・ルックアップ
法である。この方法は実際上から非常に便利である。こ
の方法では、式(26)の右側の関数はγ。
の小区分の間隔について次のように表にされる。
第8図を参照0表記載は通常、複素値であり、そこで次
のように棒形式で表示される。
ここでtδ(ω、シ;ra)= そして T、 (°′”′°−3 である0例えばPSFがガウス関数又は円筒関数である
場合についてもtδ(ω、シ; r o)のみを表にす
るか、又は例えばTSFが円筒関数である場合について
ψδ(ω、シ;T0)のみを表にすることで時々十分で
ある。特に、全回転対称PSTについて、OTFは常に
どこでも実数の値である(これはフーリエ変換の性質に
従う)、この場合、位相ψδは常に0又はnであるが、
tδはいずれかの正の実数値であり得る。そこで、tδ
はこの場合に要求されるほとんどすべての情報を含む、
tδが単独に距離Toを決定するのに十分な情報を含む
ときは常に、電カスベクトルの平方根として計算され得
る。これはイメージの電カスベクトルが光学手段により
非常に速く計算され得ることを気がつくことは重要な点
である。
しかし、距1f!I r eの正しい解は表tδ (ω
、ν。
γ。)とψδ (ω、シ、γ。)に関係し、このうちの
1つだけがしばしば満足する。普遍性のために両方の表
が考慮される。これらは共に表Tδ (ω。
ν、γ、)を構成する。
距離に対する解法:実際的な考慮 原理的に、ある固定のフーリエ周波数(ω、ν)に対し
て関数Tδ (ω、シ、T0)を作表することはしばし
ば十分である。しかしながら、実際には、このことは不
適切である。それは、観測された像において、対応する
フーリエ成分CI、+(ω、ν)及びG。(ω、ν)及
は重要でなく、あるいは存在しないことすらありうるか
らである。さらに、2つのみのフーリエ周波数において
G□(ω、ν)とG、、X(ω、ν)とを測定すること
により距離γ。を解くことは複数の解をもたらすがあり
うる。したがって、テーブルTδ(ω、シ、γ。)は二
数側のフーリエ周波数(ω、ν)に対して記憶される。
実際、コンピュータ・メモリは安価なので、テープルは
全てのありうるフーリエ周波数に対して記憶しうる。観
測された像から計算した値は、下付き文字Cで示され、
次式で与えられる。
T、(ω、 ν) = tc(ω+ ν)C”c(”l
″)(30,2)ここでtc(ω、 ν) =  Tc
(ω、ν)   (30,3a)ψ0=位相〔Tc(ω
、ν))    (30,3b)である。
t、とψ。は、観測された像G1(ω、ν)とGfit
(ω、ν)とから数個のフーリエ周波数(ω。
ν)において計算されるa ’C+ ψ。、ω及びνの
値は一緒で距離T、に対する一組の解を決定する。これ
をRo(ω、ν+tctψC)により表わすとする。全
ての組に共通であり、全ての解の組の共通部である解は
、対象物の距離に対して実際の解γ。を与える。これは
次のように表わすことができる。
re  =nl”lR*(ω+ν+tc+’Pc ) 
  (31)ω ν テーブルTδ (ω、シ、T、)は、サイズがMXNX
UX2の4次元アレイ(第8図参照)に記憶される。こ
のアレイでは、第1次元はωのM個の個別値に対応し、
第2次元はνのN個の個別値に対応し、第3次元はγ。
のU個の個別値に対応する。第4次元に沿って、γ、は
第1のエントリーとして記憶され位相ψ1は第2のエン
トリーとして記憶される。
さて、(ω、シ+tc+ψハを与えたとすると、(ω、
ν、γ。)によりインデックスされた第4次元エントリ
ー(tδ、ψδ)が(tc+ψC)の計算値に等しいよ
うに、全ての距離T、を見つけることが望ましい、これ
は、γ。の各値に対して第3次元に沿ってアレイをサー
チし、1cとψ。の計算値とtδとψδの記憶値とを比
較することによりえることができる。したがって、この
方法は2Uの比較動作を含む、Ro(ω、シ+ tc+
ψC)は、このようにして得られたγ。の全ての値の組
を表わすとする。そこで、これらγ。の値の各々に対し
て、(ω、ν)の他の値での計算値1c及びψゎが記憶
値tδ2ψδ−に等しい(あるいは近い)か否かを決定
するために、比較がなされる。γ。のただ1つの値が残
されているか、全てのありうる周波数(ω、ν)がサー
チされてしまったかのいずれかまで、条件付きのサーチ
はなされる。このサーチに生き残ったToの値は距離に
対する解である。
式(31)は二つの理由のためγ。を解くのに厳密には
実行されない、第一に、テーブルTδ (ω。
ν;T0)はγ。の個々の値で記憶されているので、テ
ーブルの各エントリーは、このテーブルのエントリーが
記憶された実際のT、の周りの小さい間隔に対応する。
第2の理由はノイズである。
したがって、各解の&[1po(ω、シ+LC+ψC)
から他の解と最も矛盾のない少なくとも1つの10が選
ばれる。解が別の(ω、ν)例えばγ。(ω、ν)に対
して異なる場合には、これら異なる解の加重平均が実際
の距離の推定値として取られる。候補の解ro  (ω
、ν)に対する重みは、(ω、ν)での信号対雑音比に
基づいて決定することができる0例えば、重みは(ω、
ν)における信号対雑音比に比例して取ることができる
0式(31)を用いて式(26)を解くこの方法は組交
差法(set 1ntersection metho
d)と言われる。
テーブルが、4次元で1つのエントリーだけ拡張され、
γ。を記憶し、T、の代りに3次元に沿ってtlとψ、
とによってエントリーをソートする場合には、サーチ中
の初期の2Uの比較動作は低減することができる。そこ
で、ソートされたリストは、周知のサーチ・アルゴリズ
ム(例えばバイナリ−・サーチ)の1つを用いてO(l
ogU)の動作においてソートすることができる。
上記の組交差法の代りとして、実質的に最も一致した解
のためToに対してテーブルTδ (ω。
δ、T0)の網羅的なサーチである相関法を用いること
ができる。サーチは、観測された像からの計算(ITc
(ω、ν)と、T、の各ありうる値に対してテーブルに
予め記憶された値Tδ (ω、シ;ys)との相関測定
偵を計算することにより実行される。最も高い相関をも
たらすγ、の値が対象物の距離として取ることができる
。相関測定値の例は次のように規定される相関係数であ
る。
(31,2) ここで添記号(*)は複素共役を示し、Eは平均値演算
の期待値を示す0期待値即ち平均は(ω。
ν)の種々の値にわたって計算される。相関係数Cは距
離T、の全でのありうる値に対して計算され、IcIが
最大であるγ。が対象物の距離として取られる。大きさ
tδと位相ψδに対して別々に相関を規定し計算するこ
とも同様にできる。この方法は、特別の目的のハードウ
ェアが相関の高速計算のため入手可能であれば便利であ
る。さらに、この方法はノイズに対してしっかりしてい
る。
組交差法と同じようにこの方法もまた、重み付は手法を
相関測定値の計算において信号対雑音比に基づいて用い
ることができる。これは、距離T。
のより良い推定を生む。
カメラシステムの好適実施例を用いて、表面パッチ(s
ur4ace patch)の距離を見つけるため実施
される動作の段階的説明を以下にする。
表面パッチの距離を見つけるため、カメラは、シーンの
最初の像が記録される最初のカメラ・セツティングに設
定される。即ち、 Ca+=(δ、f、0□λ1) カメラは、第2のカメラ・セツティングに設定される。
即ち C−Z=(δ!+ff+D8.λ8) ここで、C0≠C8,であり、シーンの第2の像は記録
される。
シーンの表面パッチは、(θ0,φ0)に中心付けられ
た、方形の視野を決定しかつコーナ点(φ、。
φr )(i =1.2.3及び4)を存することによ
り選択される0表面パッチの像を処理用の最初に記録さ
れた像から抽出する。この抽出された像は、選択された
方形の視野内で最初に記録された像と同じ明るさを有し
、g+ (θ、φ)により表わされる。
選択された方形の視野の外側の値はゼロである。
式(10)にとおいて必要ならばセンサ応答の修正を適
用でき、式(ii)において前述したように必要ならば
不均一伝送の修正を適用できる0倍率の修正の修正もま
た適用できる。δ1〉δ、であれば、信号は補間され、
g+ (θ、φ)はgt(θ、φ)が既知である個別点
の同じ組で再びサンプリングされる。
必要ならば、カメラを線形シフト不変システムとしてモ
デル化するために追加の前処理ステップを実行させるこ
とができる。像は、式(6)により正規化デカルト座標
系におけるg+(X、y)として表わされる。像gt(
x、y)の境界での像の重なり効果は、g+(X、y)
に適当な中心重み付けされたマスクω(x、y)(例え
ば2次元のガウス分布)を乗することにより低減できる
。即ち、g+(X、y)← ω(x、y)g+ (x、
y)g+(x、y)とgt(x、y)の全体の(あるい
は平均の)明るさは、例えば式(13)と同様にして、
同しであるようにされる。g*+ (x、y)のフーリ
エ係数G□(ω1.ν、)は、個別の空間周波数(ω+
、 v >) (i =1+2.−−−−、−及びj 
=1,2.−−−−n)の組で計算される。
表面パッチの像は、処理用の記録された第2の像から抽
出される。抽出された像は、選択された方形の視野内で
、記録された第2の像と同じ明るさを有し、この方形の
視野の外側の全ての所の明るさの値はゼロである。この
第2の像はgt(θ。
φ)として表わされる。
記録された第2の像は、センサ応答の補正、不均一透過
の補正、倍率の補正、明るさの正規化、他の前処理ステ
ップ及び像の重なりの低減のために、第1の像として処
理される。その結果、得られた像をgllt(x+y)
により示す、この像のため、フーリエ係数G、、!(ω
盗、ν、)が、個別の空間周波数(ω、、シJ) (i
 =1.21−・−”、m及びj=1.2.−・n)の
組で計算される。
闇値パラメータ関数に(ω4.νj)をカメラシステム
の像ノイズ特性に基づいて特定することができる。した
がって、IGo(ω8.νj)l≧に(ω五、νJ)で
ありかつl c、z(ω4.ν、)I〉に(ω3.シj
)である場合には、対応する係数の比は次のように計算
される。
る。
解析的に距離を計算するため、次の討伐を有する式を導
くことができる。
上記の式において、光学的伝達関数(OTP))lは像
形成の理論(例えば近軸幾何光学理論(paraxia
lgeometric optics theory)
あるいは波動光学理論)から導き出される。ω8.シ4
.C0及びCb2の値が上記式に代入され、距離γ。に
対する全てのありうる解を得るために、この式を解くこ
とができる。
陽の解析式を10に対して導き出すことができれば、こ
の式がγ。を計算するために用いられる。
さもなければ、数値反復手法が用いられる。いずれの場
合も、複数の解が存在する場合には、擬似解は、全ての
解が全てのありうる空間周波数(ω、。
νj)に対して矛盾しないことを要求することにより排
除される。
代りに、各計算比tc(ω1.シj)をtclJにより
示し、位相ψバω1.ν、)を申cljにより示す、コ
ンピュータ・メモリの予め記憶されたテーブルをインデ
ックスするため(ω4.シj+jejj+ψ。j)を用
い、距1iiIr oに対する解To(ω1.シフ、 
jcij+ψ08、)の−組を見つける。γ。の擬偵解
を排除するため、式(31)において空間周波数にわた
ってこのような組の交差点を取る。即ち、 Lo”pl:1ro(ω1.シj、jcij、ψc1j
 )J 第3の方法においては、計算値tc(ω處、ν、)と、
全てのありうる距離γ。に対してコンピュータ・メモリ
に予め記憶された関数tδ(ω3.シバγ。)との間の
相関係数Ct(γ。)を計算する。相関C5が最大であ
る距離γ。の値を見つける。このToの値は表面パッチ
の距離の推定値を与える。
同じ最大相関係数をもたらす複数のT、の値が存在する
場合には、これらの10の値に対して、計算された位相
ψバω1.νJ)と、コンピュータ・メモリに予め記憶
された関数中δ(ω3.シ1;γ。)との間の相関Cψ
(To)を計算する。そこで、Cψが最大であるToの
値を見つける。このγ。
の値は、表面パッチの距離の推定値を与える。
距離roの不確定性Iδro  lは式(87)を用い
て計算できる。
テーブルの予めの計算 テーブルTδ(ω、シ、γ。)を得る2つの方法がある
。第1の方法は、0TFH(ω、シ、Ca、γ。)に対
する解析式を用い、式(28)の右辺を計算することに
よるものである。これは、(ω、シ+ Ca+ r ’
o)に対する0TF)lの解析式を必要とする。さらに
、これはカメラシステムの測定を通して00及びCaz
の実際の知識を必要とする。この方法を以下に説明する
像形成理論、例えば近軸幾何光学あるいは古典的な波動
光学が選択された後に、カメラシステムの光学的伝達関
数Hの式を導くことができる。この光学的伝達関数は、
カメラ・パラメータCb、表面パッチの距離γ。及びフ
ーリエ空間周波数(ω。
ν)に関して表わすことができる。
カメラ・セツティングC□及びCazの適当な組が選ば
れ、光学的伝達関数を計算するのに必要である個別の値
(ω、ν、γ。)が決定される。
所与のカメラ・セツティングCaに対して、光学的伝達
関数H(ω、ν;T0)の値は、先に導き出された式を
用いて(ω、ν;γ。)の個別の値において計算できる
。計算された値はコンピュータ・メモリに記憶され、表
面パッチの改善された合焦像を決定するのに用いられる
テーブルを予め計算し、別々のカメラ・セツティングC
□及びCaffiを取る2つの像が与えられる表面パッ
チの距離を決定するため、最初にカメラ・セツティング
C□及びC3ffiに対するカメラの光学的伝達関数を
(ω、ν;γ。)の所望の個別の値において計算する。
これらの光学的伝達関数の比は、次の形式で計算できる
必要なテーブル値を与える。
そして、この比はコンピュータ・メモリに記憶される。
計算されたテーブルは複素値で与えられる。
各エントリーもまた、式(30a、30b)によって大
きさと位相の形式で記憶される。
OTFの正確な解析関数は、例えば、J、W、Good
man著、 1968年McGraw−Hill刊、r
lntroduction t。
Fourier 0ptics」の式(6,21)及び
式(6,27)(ii4及び115頁)により与えられ
る。この関数は、実際のカメラシステムにとって非常に
複雑なものとなる。しかし、実際の幾何光学は多くの実
際のカメラシステムに対して良い1次近債を与える。し
たがって、テーブルを予め計算する解析法はこの場合に
は有用である。さらに、近軸幾何光学モデルをカメラ装
置にとって他の有用な設計基準を導き出すのに用いるこ
とができる。
テーブルの予めの計算:近軸幾何光学 好適実施例において、光学系は回転対称である。
(これは多くの実際のカメラシステムにとって大部公正
しい、)近軸幾何光学の条件の下で(第9図参照)、点
ひろがり関数は円筒形であるいは「丸薬箱(pill−
box) 」状であり次式により与えられる。
ここでRはブラーサークル(blur circle)
の半径である。以下に示すベクトルCaによるカメラ・
パラメータδ、f、Dにより特定されるカメラ・セツテ
ィングを示す。
Cb−(δ、  f、  D)       (33)
(幾何光学において、回折効果は考慮されてなく、した
がってカメラパラメータのリストからλを落としている
ことに注意されたい、)第9図とレンズの公式から である。(単位倍率に対する正規化の後(m)を得る。
上記式において、fば実効焦点距離、δはイメージ検出
器に対する第2主平面からの距離、Dはアパーチェア径
、■は第2主平面から合焦像までの距離、及びUは第1
主平面から対象物までの距離(第5図の球面座標系にお
けるu ”’ r 1100sθ。に注意)、イメージ
検出器上のプレ円の実際の半径はδにより除され単位像
倍率に対応する正規化半径Rを得る。実効焦点路#fは
式(1)から導き出される。
式(32)の点ひろがり関数は回転対称であるので、光
学的伝達関数もまた回転対称である。したがって、光学
的伝達関数における単一空間周波数パラメータρは ρ(ω、ν) = r    (36)を用いることが
できる0式(32)のフーリエ変換は次式により与えら
れる光学的伝達関数である。
ここでJlは2次のベッセル関数である。この式は、明
快に光学的伝達関数がカメラ・パラメータと対象物の距
離とに依存していることを示している。
式(28,36,37)から、 ここで Cb=(δ+、D+、f+)及びC0=(δ!+D!+
fffi)  (39)である、カメラ・パラメータC
□+CIl!が与えられると、式(37)と、式(38
)におけるテーブルTδ(ρ+u)とに対応するOTF
テーブルは、式(35)及び(36)を用いてコンピュ
ータにより容易に計算できる。
テーブルの予めの計算;実験的アプローチテーブルTδ
 (ω、シ、γ。)を得る第2の方法は、実験を通して
である。H(ω、シ;C0T0)に対する解析式が得ら
れない場合、または計算が困難な場合、あるいはカメラ
システムのCaI及びCatを正確に測定することが困
難な場合には、実験的な方法が便利である。この場合に
は、カメラ・セツティングC□に対するカメラシステム
の観測された像g+(X、y)と、カメラ・セツティン
グC0に対するカメラシステムの観測された像gx(x
、y)は、T、の各ありうる値に対して小さな個別の間
隔で記録される。したがって、テーブルエントリーは次
のように計算される。
実験的にテーブルを決定するために合焦像f (x、 
y)を知ることは必ずしも必要でないことを注意された
い。式(27)が満足されることによりテーブル・エン
トリーのためのしっかりした推定値を生ずるため、先の
IF(c1ν)l>に(ω、  ν)を必要とするのみ
である。この要件は、例えば、合焦像を、空間周波数(
ω、ν)を持った高コントラスト正弦波パラメータにす
ることにより、いずれの(ω、ν)に対して容品に適合
させることができる。
テーブル・エントリーを決定するに際して、カメラシス
テムからの対象物の距離γ、を初期較正ステップ中に正
確に測定できることが必要である。
C0及びCa、のいずれの成分を知ることは必ずしも必
要ではないが、観測された像の倍率を正規化するために
比δ、/δ8を知ることは必要である。
ルックアップ・テーブルを実験的アプローチにより予め
計算するため、次のステップを行う、カメラの視界を多
くの小さな副視界に分割する。第10図及び第11図を
参照されたい、これらの副視界のサイズは、各副視野内
で光学収差が殆んど一定に保たれるように選択される。
装置を寞現するのに便利なため、副次視野はイメージ検
出器に対して平行な方形の断面を有するようにする。し
たがって、各副視野は、(θ。14.φ。ri )(i
 −1,2−・・、■及びj =1.2.・−一−−−
,J)で中心向けされ、そして対応するコーナの点はそ
れぞれ(θklj、φに1j)(k =1.2,3.4
)である。
各ビュー・サブフィールドに関して、(θ0.φ0)を
中心とする1つのビュー・サブフィールドを選択し、そ
してi =1.2.3.4として(θゑ、φ1)のコー
ナーをもっこ止により、テーブルTδ (ω。
ν;γ。)を計算し記憶する。どこも均一に暗いフラッ
ト・ボードを置き、これをその中心に方向(θ0,φ0
)に直交して配置する。このボードの距離は、カメラ・
システムからToとすべきである。
高い空間周波数内容(例えば、暗い背景上にランダムに
分布した大きな明るい領域のパターン)を有したフラッ
トの高コントラストの写真を置き、これをそのボードの
中心に配置する。その写真のサイズと場所とは、上記の
選択したビュー・サブフィールドに広がる程度のものと
すべきである。
カメラを第1のカメラ・セツティングC0にセットし、
そして前に説明したシーンの第1のイメージを記録する
。同様に、そのカメラを第2のカメラ・セツティングC
bzにセットして第2のイメージを記録する。
その第1の記録イメージから、ボードのイメージに対応
する広いダーク・バンドで囲まれたその写真パターンの
イメージを含んだサブイメージg+ (θ、φ)を抜き
出す、このサブイメージには、それ以外の被写体のイメ
ージは含まれるべきではない、これにより、その取り付
けた写真が発生する光分布のほとんど全てが、その引き
出したサブイメージ内に確実に記録されていることにな
る。
更に、強度がそのボーダーにおいて一定であるため、ボ
ーダー効果を回避することができる。このステップを第
2の記録イメージに対しても繰り返して、サブイメージ
gz (θ、φ)を引き出す。
それらサブイメージg+ (θ、φ)及びgz(θ。
φ)の前処理を行い、そして前に説明した通り、それら
の正規化フーリエ変換C−+(ω盈、νj)及びC−t
(ω鑑、νj)をそれぞれ計算する。記憶すべきそのテ
ーブルTδ (ω、、シ1 ;γ、)は以下の通りであ
る。
あるいはその代わりに、その大きさテーブルと位相テー
ブルとは、以下の通りに記憶することができる。
T ((ii!、 !’jar o)= l T6(ω
r、 vj:ro)δ ψ、(ω1.シ;:γ。)=位相(T、(ω1山;r0
))ボードに固定したその写真の合焦したイメージf(
χ、y>を、何らかの手段(例えば、実際にカメラをそ
の写真上に合焦させてそれを記録するか、あるいは別個
にその写真パターンをデジタル化すること)により見付
は出す。その合焦イメージf(x。
y)を明るさ、倍率等に関して正規化して、L(x、y
)を得る。このL(x、y)のフーリエ変換F、(ω1
.ν、)を計算する一1c−+(ω五、シj)lλK(
ωシ、シ1)の場合、次に以下の通りに光学伝達関数を
与えるテーブルを計算する。
上記の諸ステップは、所要の全ての距離γ。に関して繰
り返すステップである。
もしそのテーブルが式(10)を使って実験的に得られ
る場合には、上記の実カメラ・パラメータC0及びC0
を式(28)を用いて得ることができる。
もち論、これは、式(28)の右辺の解析式の知識が必
要である。(ω、シ、γ0)のある特定の値に対応する
各テーブル・エントリに関して、式(28)が与えるカ
メラ・パラメータCjl+  Cm2に対し1つの制限
が得られる。この制限をテーブル・エントリ全てに対し
て書き出すと、大きな優決定系の式が得られる。ここで
、問題は、これらの式を解いて、そのカメラ・パラメー
タCml+  Catを得ることである。これは、古典
的パラメータ推定問題であり、これは、応用数学におい
てよく知られた技法の1つ(例えば、最小二乗誤差最小
法)により解くことのできるものである。原理上は、こ
の技法は、カメラ・システムのn個の未知パラメータを
、表面パッチの少なくともn+1個のイメージ(各イメ
ージは異なったカメラ・セツティングで得たもの)を用
いて決定する方法を与えるものである。
距離の分解能及び限界値 そのテーブル・エントリを決定するためには、まず初め
に距11uの限界値及びインターバル、並びにそれらの
値を決定し記憶するようにしなげればならないフーリエ
周波数(ω、ν)を決める。
これらの限界値及びインターバルを、近軸幾何光学の原
理に基づいて決定する方法は、以下に説明する。
Uの限界値:本光学系がその実イメージを発生できるあ
る被写体の最小距離u6.7は、fである。
その最大距離u、□についてはそのような制限はなく、
従ってそれは無限とすることができる。従って、次の通
りとする。
u、I、l=にatJ +  u asx= K *m
J(ただし、1≦に、、ア、≦−に、、x<cX))(
41)に□7及びにmaXの実値は、その応用ドメイン
により決定する。例えば、マシン・ビジョン応用におい
ては、それらの代表的な値は、にml、、=2及びに1
1□−ωである。
Uの分解能:イメージ検出器上の2つのセンサ素子間の
近位距離をpとする。我々はこの距離をビクセル・サイ
ズと呼ぶことにする。2つの点間の識別は、それらが発
生するぼけサークルの径がエビクセルのサイズpに匹敵
するある値だけ異なっているとき、カメラからの互いに
異なった距離にあるものとして行える。この距離は、1
ピクセルのサイズpであるとする(これは、それらセン
サの光感度、即ちデジタル・イメージのグレースケール
分解能に依存して1ピクセル・す1ズのある固定の分数
値とすることもできる)。ある所与のイメージ検出器位
置δに対しては、単位倍率に対応する1ピクセルの正規
化したサイズは、p/δであるか、あるいは、近憤的に
は、p/fである。従って、2つの点の半径におけるそ
の最小差δRは、次のようになる。
δRl =P/2 f          (l)式(
35)から、我々は以下を得た。
上記の2つの式(l,43)から、我々は、次の式をを
得た。
上記の式は、テーブル丁、(ω、シ+u)をUの等イン
ターパルではなく1/uの等インターバルで計算すべき
ことを示唆している。
以上において、我々はカメラ・パラメータを項とする1
/uのインターバルのサイズを表した。そのU次元に沿
ったテーブルのサイズUは、下式の通りである。
従って、そのテーブル・サイズは、口/pである。
ピクセル・サイズp自体は、上記のセンサ技術並びに本
光学系の回折制限された分解能により決定する。広く用
いられているレイレー(Rayleigh)判定基準に
従って、我々のレンズ系により辛うじて分解できる2点
間の角分離度は、次のとおりである。
1.22λ/D ラジアン       (46)これ
よりもビクセルの角度サイズP/fを小さくすることに
よっては、多くは得られない、従って、p夕1.22λ
f / D         (47)空間周波数の分
解能及び限界値 pは2つのセンサ素子間の距離であるため、それは、イ
メージ信号の空間サンプリング周期を表していることに
なる0倍率を正規化したイメージにおいては、そのサン
プリング周期は、P/δであり、ここで、δは、そのイ
メージ検出器の第2主平面からの距離である。もしその
サンプルしたイメージが、サイズがMXNの要素の離散
的アレイである場合には、その倍率正規化イメージのそ
の離散フーリエ変換(DFT)は、MXNの異なった空
間周波数(ω、ν)を含んでおり、その周波数は以下に
与える。
(i =0.1,2.−−−−−−、M−1)   (
48)(+ =0.1,2.−・−・・・−、N−1)
   (49)従って、その最大テーブル・サイズは、
U X M X N            (51)
−Mに、その特定の応用に依存して、そのテーブル・サ
イズは、より小さいものとすることができる0例えば、
もしそのPSFが回転対称の場合、そのOTFもまた回
転対称となり、従って、そのOTFは、単一の周波数ρ
の関数として記憶することができる。ここで、 もしそのイメージが方形のNXNのマトリックスの場合
には、そのテーブルは、ρ= 1.2.−−−一・、N
/2に対し記憶することができる。従って、この場合の
そのテーブル・サイズは、UXN/2である。
従って、そのテーブル・サイズは、そのPSFが回転対
称でないときよりも非常に小さくすることができる。
急速合焦 ある被写体の表面パッチのカメラ・システムからの距離
を見い出すための方法は、以上に詳しく説明した。これ
と同様の方法を、カメラ・システムの急速合焦のために
使用する。この方法においては、まず初めに、合焦すべ
き表面パッチの距離を、上記の方法を用いて判定する。
この距離に基づき、2つのカメラ・パラメータ、即ち(
i)本イメージ形成系の焦点距離、及び(ii)イメー
ジ検出器の第2主平面からの距離(これはその表面パッ
チを合焦させる距#)、の内の少なくとも一方の値を決
定する。この決定は、イメージ合焦式を使って行う、こ
のようにして決定した値にそのカメラ・パラメータをセ
ットすることにより、自動合焦を行う0例えば、近軸幾
何光学理論から得た式(34)を使用して、焦点距離f
の値とイメージ検出器位置S=V (これに対し被写体
を合焦する)の値を見い出すのに使用することができる
基本的には、カメラからのその表面パッチの距離γ。を
見い出した後、レンズ式(34)の如き合焦式を使って
、その表面パッチを合焦させるカメラ・パラメータ(δ
、f)を決定するようにすることができる。あるいはこ
の代わりに、その距離(そして、おそらくはその表面パ
ッチのあるビュー・フィールド)を用いて、その表面パ
ッチを合焦させるための所望のカメラ・パラメータ値(
δ、flを提供するコンピュータ・メモリ内の予め記憶
したテーブル内へインデックスする。そのカメラ・パラ
メータは、続いて、そのカメラ要素をその得り焦点パラ
メータ(δ、f)へ動かすことにより実現する。
合焦改善イメージの獲得 ここで、あるシーンについてそのぼけイメージから合焦
を改善したイメージを得る方法について説明する。式(
10)から以下の関係が得られる。
この式は、その観察イメージのフーリエ変換G(ων)
を本カメラ・システムのOTP H(ω、ν;C0γ。
)で逆フィルタリングしたものに対応している。この演
算の結果、その合焦したイメージのフーリエ変換F(ω
、ν)を得る。P(ω、ν)の逆フーリエ変換は、その
所要の合焦イメージf (x、 y)を与える。
ある表面パッチのその合焦イメージを得るためには、ま
ず初めに、カメラ・システムからのその距離を、先に説
明した方法を使って決定する0次に、その対応するOT
Fをその距離及びカメラ・パラメータ値から決定する0
次に、式(53)を使って、その表面パッチの合焦イメ
ージを得る。これらのステップを上記のシーン内の各表
面パッチに対し繰り返すことにより、全表面パッチのそ
の諸合焦イメージを得ることができる。こうして得たそ
の諸合焦イメージを全て一緒にすることにより、我々は
、そのシーン全体の合焦イメージを得るようにする。
表面パッチの距離を決定する上記の方法と同しように、
2つの異なったカメラ・セツティングでのそのシーンの
2つのイメージを記録する0本カメラのビュー・フィー
ルドを、第1θ図及び第11図におけるように多くの小
さなサブフィールドに区分する。これらサブフィールド
のサイズは、その各サブフィールド内で光収差がほぼ一
定となるように選定する。実施の都合上、そのビュー・
サブフィールドが、イメージ検出器と平行な方形の横断
面を有するようにしである。このビュー・サブフィール
ドを、i=1.2+−・−・・・、■及びj =1.2
.・Jとして、(θ。■、ψ。ij)を中心とするよう
にし、そして、その対応するコーナー点を、に=1゜2
、3.4として1.(θ、4.φ□、)により与えるよ
うにする。
各ビュー・サブフィールドにおいて、シーン内の対応す
る表面パッチの合焦改善イメージを上記の通りに見い出
す0表面パッチ全ての諸合焦改善イメージを互いに適切
な位置に置くことによりそれらを組み合わせ、そのシー
ン全体の合焦改善イメージを合成する。
式(53)に従ってその合焦改善イメージを得るために
は、我々は、本カメラ・システムのOTF H(ω。
ν;Ca+ 10)を知る必要がある。このOTFの決
定は、先に説明した距離決定法におけるテーブルTδ 
(ω、ν、T0)の決定と類似のものである。
このOTFの決定には2つの方法があり、1つは本カメ
ラ・システムの理論的モデルから決定する方法であり、
他方は、実験による方法である。その最初の方法におい
て、本カメラ・システムの理論的モデルを使って、その
カメラ・パラメータ及び被写体の距離を項とするそのO
TFの解析式を誘導する0例えば、近軸幾何光学理論か
ら式(37)を得る。光の回折理論からそのOTPを得
る別の例については、Proceedings of 
the Royal 5ociety ofLondo
n、A、231.pages 91−103.1955
内のホプキンス(H,H,Hopkins)による“焦
点ずれ光学系の周波数応答(The frequenc
y response of a deformedo
ptical system)”と題する論文に記載さ
れている。
このOTFを回折理論に基づいて決定するある効率の良
い計算法は、VO17,N[L5. APPLIED 
0PTIC3゜pages 967−974. May
 1968の“焦点ずれ完全レンズの変調伝達関数のテ
ーブル(Tables of the Mo−dula
tion  Transfer  Function 
 of  a  Deformed  Perfect
 Lens)”と題する論文に呈示されている。
このOTFを予め計算するには、イメージ形成理論、例
えば近軸幾何光学もしくは古典的波動光学を選ぶ0次に
、カメラ・パラメータCa、表面パッチの距離To、及
びフーリエ空間周波数(ω、ν)を項とする本カメラ・
システムのそのOTF、Hに対する式を導く、カメラ・
セツティングCal+Cm!の適当な組を選ばなければ
ならない0次に、そのOTFを計算する必要のある(ω
、シ;γ。)の離散値を決定する。(ω、シ;γ。)の
離散値におけるそのOTF H(ω、シ;T0)の値を
、ある所定のカメラ・セツティング例えばe、に対して
決定する。これら値は、ある表面パッチの合焦改善イメ
ージを決定する際に使うため、コンピュータ・メモリに
記憶する。
OTFのその理論的決定方法では、カメラ・パラメータ
Caを正確に知る必要がある。ある機械的なカメラ・シ
ステムにおいては、そのパラメータを正確に測定するこ
とが難しいことがある。この理論的アプローチに代わる
ものとして、カメラ・システムの実験的校正法がある。
この方法においては、既知の合焦したイメージf (X
、 y)を有する被写体を、カメラ・システムからのそ
の被写体の可能なあらゆる距離γ。でイメージ化する。
この被写体を種々の異なった位置でイメージ化する際に
は、そのカメラ・パラメータ・セツティングCaは変え
ずにおく、シかし、このカメラ・パラメータの実値を知
る必要はない、被写体の各位置γ。に関して、その観察
したイメージg(X+V;γ。)を記録する0次に、そ
のOTFは、以下から計算する。
このOTFは、コンピュータ・メモリ内に(ω、シγ。
)をインデックスとする3次元アレイで予め記憶しであ
る。このテーブルは、上記の被写体距離発見法に用いた
テーブルT、(ω、ν、T0)と類似のものである。
このビュー・フィールド内の諸イメージを記録し、そし
てこれを細分して、各サブフィールドがイメージ検出器
に平行な方形横断面を有するようにしだ後(諸ビュー・
サブフィールドの中心をi=1.2.−・・−・■及び
j−1,2,−・−、Jとして(θ。■。
φ。+7)に置き、かつその対応するコーナー点をk 
=1.2.3.4として(θkIJ、φh+7 )によ
り与えられるとする)、以下に定めるテーブルTδ (
ω。
ν;γ。)及びOTF Hδ (ω、シ;T、)を計算
し記憶する。
(θ、、φ、)を中心としそしてi =1.2+3+4
とする(θiφI)にコーナーを存する1つのビュー・
サブフィールFを選ぶ、全面が均一に暗い大きなフラッ
ト・ボードを、その中心に方向(θ0,φ0)に直交し
て置く、このボードのカメラ・システムから(正確には
、このカメラの光学系の第1の主点から)の距離をγ。
とすべきである0次に、そのフラット・ボードの中心に
、高い空間周波数内容(暗い背景上にランダムに分布さ
せた大きな明るいじみのパターン)をもつフラットな高
いコントラストの写真を固定する。この写真のサイズ及
び場所は、これがその選んだビュー・サブフィールドに
きっちり広がるようにすべきである。(フラット・ボー
ドは、その写真よりもかなり大きくすべきであり、例え
ば9倍の面積とする)。
その表面パッチ(ボード上に固定したその写真)の第1
と第2のイメージを記録する。その第1の記録イメージ
から、その背後のフラット・ボードのイメージに対応し
た広いダーク・バンドで囲まれたその写真パターンのイ
メージを含んでいる1つのサブイメージg+ (θ、φ
)を引き出す、これは、その張り付けた写真が発生する
光分布のほとんど全てがその引き出したサブイメージ内
に確実に記録されているようにする。更に、これは、そ
の強度がそのボーダーで一定のままとなっているため、
ボーダー効果を回避することができる。上記のことを第
2の記録イメージに関して繰り返して、そのサブイメー
ジgx(θ、φ)を引き出す。
次に、それらイメージg+ (θ、φ)及びgt(θ。
φ)を正規化して、そのノイズを、上記の予め記憶した
テーブルにエンターした値に適用するため、前述の通り
に最小化する。記憶すべきそのテーブルTδ (ωム、
シjire)は、以下で与えられる。
Tδ (ω盈、シj:γ・)“Tc(ω1.シJ)ある
いはその代わりに、以下に与える大きさテーブル及び位
相テーブルを記憶するようにすることができる。
tδ (ω直、νj;γo)””tc(ω1ν、)ψδ
 (ω1.シ、;γ。)=申パω、、ν、)上記フラッ
ト・ボード上に張り付けた写真のその合焦イメージf 
(x、 y)は、何らかの手段〔例えばカメラをその写
真上に実際に合焦してそれを記録するか、あるいは別個
にその写真パターンをデジタル化すること)により発見
する。この合焦イメージf (x、 y)は、明るさ、
倍率等に関して正規化して(n(x、y)を得る8次に
、L(Lいのフーリエ変換PR(ω、、ν、)を計算す
る。lC−+(ω1.ν、)〉に(ω1.νj)である
場合、次に光学伝達関数を与えるテーブルを計算し、こ
れは以下の通り計算する。
上記のステップは、全ての必要な距離γ。に対して繰り
返す。
先に説明した被写体距離発見方法においては、テーブル
T(ω、シ、yす)(このテーブル・エントリは実験的
に得たものである)からカメラ・パラメータを評価する
方法を示した。これと同様の方法を使って、実験で得る
テーブルH(ω、ν。
γ。)で与えられるカメラ・パラメータCaを評価する
ことができる。この場合、そのOTF H(ω。
ν;Ca、  γ。)の解析式を知ることが必要である
各テーブル・エントリは、そのカメラ・パラメータCa
に対する1つの制限を与えている。各テーブル・エント
リの結果として生ずる式の系を解くことにより、そのカ
メラ・パラメータCaのある評価イ直が与えられる。
単一のぼけイメージから合焦を改善したイメージを得る
別の方法は、人の介在を含んでいる。もしCaにセット
したカメラ・パラメータにて取ったあるぼけイメージが
与えられ、そしてそのOTHH(ω、ν;Ca、  γ
。)の解析式の形式であるいは予め記憶したテーブルの
形式で既知となっている場合、そのぼけイメージを、距
離γ0の可能な各値に対するこのOTFに関して逆フィ
ルタする。この結果、一連のイメージを得、これらは、
その合焦イメージの候補となる。次に、これらイメージ
を、その一連イメージからその“合焦イメージ”を選択
できる人被験者に呈示する。この方法は、人になしみの
ある被写体、例えば人の顔、車、家等を含むぼけイメー
ジに対しては有効である。ここで、その人被験者は、そ
のイメージ内の一般的な被写体にのみなじみがあるだけ
でよく、必ずしもその被写体の特定の例をよく知ってい
る必要はないことである0例として、ある所与のイメー
ジが人の顔であることが分かるだけでよく、実際にその
人を前に分かっている必要はない。
方法の一般化 前記距離roを決めるための方法は前述したとおりであ
る。この方法においては、まさに前記点広がり関数を(
他のカメラ・パラメータδ、f。
D、λと共(m)決めるところのパラメータの1つであ
ることは注目される。景色を数学的観点から見れば、T
、を含むこれらのパラメータは式(26)内の主なルー
ルによって操作される。それゆえ、上記の方法に対応す
る方法は、前記点広がり関数を決める他のパラメータδ
、f、D、λを見つけるためにも使用され得る0例えば
、カメラ・システムの焦点距離fを決める為に、前記距
離γ。が得られ、前述のようにfによって式(26)が
解かれ上記の1つの未知のパラメータを決める方法は、
1つ以上の未知のパラメータを決める方法を得ることに
拡張できる。この場合、2つ以上の像が必要とされる。
一般には、もしnの未知数が含まれているときは、n+
1の像が必要とされる。例えば、γ、やfなどの2つの
パラメータを決める為に、3つの写真g+(x、y) 
、gz(x+いおよびgゴ(χ、y)がそれぞれ下記の
示すCb、Cb!およびCa!をカメラにセツティング
するときに使用される。
C0−(δl+DI+λ、 )      (54)c
−t=(δ2.Dオ、λ、)      (55)C0
−(δ3.D31λ3)      (56)前記フー
リエ変換および前記3つの写真のOTF、に対して、次
のような関係が導かれる。
式(57) (58)は、2つの未知数f、yoを得る
ために同時に解かれる。先のケースに似た方法は前記弐
を解くために使用される。この場合、テーブルは、先の
ケース、においてただ1つの未知数による場合と比較し
て2つの未知数があるために大きくなってしまう、上記
の2つの式は、前記未知数T0およびrが全ての前記3
つの写真と同じに保たれねばならないことを意味してい
る。しかしながら、このことは、値の変化が知られてい
る限り必要ではない0例えば、値δ1.δ2およびδ、
の変化が全て知られている3つの写真に対して、焦点長
としてf+δ1、f+δ2およびr+δ、が与えられる
。そのとき、フーリエ変換および3つの写真のOTFに
より、以下の式が導かれる。
前記2つの式は、ただ2つの未知数(rおよびro)を
含み、それゆえ前述のように解かれる。
距離の不確実性を推定する方法 イメージ信号とカメラ・パラメータの測定における不確
実性の点から距離T、の決定における不確実性を推定す
るための方法をここで述べる。
式(26)、(28)および(30a)から、次の式が
導かれる。
これを微分すると、 加えられるランダム・ノイズに対しては、Cb,+(6
)、 y)=06 、 (ω、 ν)+n+(a+、 
ν)    (73)但し、G、l(ω、ν)は、ノイ
ズ・フリー・イメージ信号に対応し、またn+(ω、ν
)はノイズに対応している一Q6+(ω、ν)は信号の
パワースペクトラムを意味し、Ql(ω、ν)はノイズ
のパワースペクトラムを意味している。すなわち、G 
(ω、ν)=G、、(ω、ν) G’、、(ω、ν) 
 (74)δ1 = l G、、(ω、ν) Ql(ω、ν) =n+ ((1)、  y)n+1(
a+、  ν)””In+(ω、ν) (75) 複素数の代数学を使用すれば、以下のように表される。
(76) 但し、中、Iは信号の位相であり、ψ、、1はノイズの
位相である。コサイン関数はl−1,+11の範囲で値
をとるので、上記式は次のように簡素化できる。
上記式の右辺はノイズ対信号比の平方根である。
ノイズ対信号比は、イメージ処理における信号の質を測
る標準的な基準であり、またそれゆえ、このノイズ対信
号比の項から信号の不確実性を述べることは適切といえ
る0式(72)からは次の式が得られる 前記ノイズ対信号比を2つのイメージG、、(ω。
ν)およびG、、(ω、ν)についてほぼ同じと見て、
Q、/Q、、#)らこの共通するものとして見たノイズ
対信号比を導くと、次のようになる。
それゆえ、Tの測定におけるエラーの割合は前記ノイズ
対信号比に比例することになる。この結果から、前記ノ
イズ対信号比の項から距離γ。の測定における不確実性
を測定することが可能となる。
式(28)および(30a)から次の式が得られる。
表記法について述べると、上記の式は次のような様式で
表される。
式(77)および(78)からは次の弐が導かれる。
但し、 H,−H(ω、シ;Ca1,yo) H,=H(−ω、 ν吃Ca*+  To  )上記式
から次の式が得られる。
(83) (84) 上記式から次の式が導かれる。
上記式において、δγ。は距離のエラーであり、δCb
、δCa!はカメラ・パラメータの測定のエラーである
9式(80)、(84,5)、(85)から、および実
数a、bについて次のような特性から、a −b l 
> 1lal  1b11      (86)次のよ
うな表現を導くことができる。
(87) 上記の関係から、ノイズ対信号比の項からの距離γ。の
測定における不確実性(または最大のエラーの限界)、
およびカメラ・パラメータの測定における不確実性が得
られる。この関係は、ノイズ対信号比が小さな値である
ときでもまたカメラ・パラメータのエラーが小さいとき
でも、有効である。前記距離の不確実性はノイズ対信号
比の平方根と直線的な関係にあることが知られる。実際
に、もしカメラ・パラメータにおける不確実性が大変小
さいときは、距離における不確実性はノイズ対信号比の
平方根に比例する。この結果は感覚的にも受け入れられ
得る。
付加的な特徴 イメージ・オーバーラツプ・プロブレム:ここに示した
距離を測定する方法は、元の観察されたイメージをより
小さいサブイメージに分割し、サブイメージの対を別々
に処理することを含んでいる。大きなイメージを多くの
小さなサブイメージに分割すると、境界部分の影響のた
め幾つかのエラーが生じてしまう、イメージ領域は単独
で分析することはできない、なぜなら、点広がり関数の
有限の広がりによってぼやけてしまうことにより、イメ
ージディテクターの1つの表面パッチから得られるイメ
ージの輝きの分布が隣接したパッチから得られるイメー
ジの輝きの分布(image 1rradi−ance
 distribution)とオーバーラツプしてし
まうからである。このオーバーラツプはイメージ領域の
境界では重大な意味をもち得る。これを“イメージ・オ
ーバーラツプ・プロプレム”と呼んでいる。
産業映像システム環境のような室内のシーンにおいては
、前記イメージ・オーバーラツプ・プロブレムは、光景
を選択的に照らすことにより完全に避けることができる
0例えば、光景は、照明のない広い暗い帯により分離さ
れた四角の輝くパッチにより照らすことができる。この
場合、別々に分析されたサブイメージの境界線は、前記
暗い帯の中央において選択され得る。そのとき境界部分
の影響は、イメージの強さがゼロか境界部分に近いもの
であるため、避けられる。また照明が制御できない場合
(例えば戸外)には、前記イメージ・オーバーラツプ・
プロプレムは以下のように変わる。イメージの強さは、
まず、インタレスト(iiiterest)の領域に集
中された適当な中心に重要性(重み)をもつ(例えば、
Caussian)マスクによって増やされる。この結
果として重み(重要性)を与えられたイメージは、それ
から次の処理に使用される0周辺よりも中心の方が重要
性がより高いため、このシーンから像の領域の中心にほ
ぼ対応する未知の数を推測できる。
プレイン・オブジェクト:器械の部品、壁、ドア、道な
どのような対象は、しばしば“plain(平らな)″
あるいは“textureless”なもの、すなわち
それらの表面は滑らかで何らの起伏(rellecta
nce)の変化をもっていないものである。それゆえ、
それらは、均一な照明のもとに一定の明るさをもった対
象として現れる。それらには、空間の周期的な内容・広
がりがない、この場合、もし景色の照明を制御下におく
(室内の景色のよう(m)ならば、そのとき室内の周期
的な内容は、前記対象の表面に任意のライトパターン(
例えば、ランダムな点あるいは7texture(織物
の織地)″パターン)を投影することにより、人工的に
得ることができる。第12図を見よ0本発明の方法は対
象の距離を測定するために適用可能である。
マルチプル・イメージ:ここに述べた方法は単に少ない
イメージを必要とするだけであるが、もし最低限必要と
されるイメージよりも多いイメージを使用するなら、未
知の数の推定をより強固のものにすることができる0例
えば、距離γ。のみが未知である場合には、原則として
ただ2つのイメージのみが必要とされる。しかしながら
、もしn個のイメージを異なったカメラ・パラメータの
セツティングのために利用できるならば、そのとき距離
についてのn−1の独立の推測が可能であり、これらの
推測によって実際の距離についてのより確実な推測が得
られるということは重要である。他のとり得る構成にも
またマルチプル・イメージを使用することができる。
デコンボリユーシヨン(Deconvolution)
  :  “観察されたイメージのフーリエ変換を対応
する光学伝達関数で除すること”により、表面パッチの
焦点合わせされたイメージを得ることができる。この操
作は、デコンボリューシヨンと呼ばれ、ノイズおよび異
常なものの存在のために実際のやり方とは異なっている
。ある種の必要とされるデコンボリユーシヨンは、ノイ
ズ特性とイメージについての従来の知識を基礎として適
用されねばならない、信号処理分野においてはこの問題
についての文献はた(さんある、それゆえ、この問題を
ここで詳細に述べることは控えるが、我々がデコンボリ
ユーシヨンというときにはある種の必要とされるデコン
ボリューシ四ンを意味していることは理解される。
解析の領域:ここに述べた方法は、フーリエ領域での解
析を基礎としている。空間のあるいは他の適当な領域に
おいて対応する解析を行うことは可能である。前記フー
リエ領域はその簡便さから選択されたものである。前記
フーリエ領域での解析と類似の他の領域での解析は、本
発明の範囲に含まれると考えられる。
近軸幾何光学の設計例 以下の略式のアルゴリズムは、近軸幾何光学を適用した
場合のためにあらかじめ計算しテーブルT(ρ、u)を
記憶するものである。
D =mayi++us(D++Dz)w。
f =maximum(f++fz)mm。
δ=minimum(++ z)all。
(1/usmx ) =0111−’  (uaax−
ω閣)(1/u1、) −1/f m−’  (ue、
++ =f w)δ(1/u) −p/(SD)w−’ ρ□、=(2πδ)/(Np)  ラジアン/閣pH□
=πδ/p  ラジアン/■ δρ−(2πδ)/(Np)  ラジアン/■For 
univ←(1八、、、) to(1/u、tn)開始
      by increments δ(1/u
)d。
For  ρ←ρmj* toρ111111 bp 
1ncrellenf3  δρ d。
開始 計算例 パナソニックkV−CD 50は、焦点距離が16閣、
レンズ口径の直径が19鴎、ピクセル・サイズが0.0
13 Xo、017 wm”のCCDカメラテあル、テ
ーブルT(ρnu)はコンピュータを使用して容易に計
算できる。以下のようなデータはこのような計算の典型
的な例である。
r、=rt=16閣 DI=D□=10閣 δ1 =16.42m、    δ2=16.67mP
−0.017閣 N=128 計算されたテーブルの値は、例えば±1.5をしきい値
とされ、0から255の範囲で表されるようにシフトさ
れ、評価される。結果として生じるテーブルは、グレイ
・レベルのイメージとして表示される、この計算例につ
いてこのように計算されたグレイ・レベルのイメージは
、第16図に示されている。2つの光学伝達関数はρお
よびU −+の異なった値で交差するので、はぼ周期的
な不連続(負の無限大から正の無限大へのジャンプ)が
見られる。これらの不連続は、0からπへの位相の急激
な変化のようにψ(ρ+u)空間における領域の境界を
表す、各領域の中では、位相は同一(例えば、0かπの
いずれか)に維持されるが、領域の境界では0からπへ
あるいはπからOへ変化する。実際、Toの解はこれら
の領域の境界の位置のみから推定され得る。ここでは、
シーンψ(ρ。
U)は距離についての情報を含んでいる。この場合、T
(ρ、u)の性質により、距離Uのためのユニークな解
が得られる。
線形シフト不変システムの一般的理論 また、本発明は全ての線形シフト不変システム(lin
ear 3hift−invariant syste
m)即ちコンボルーション演算を実行するシステムに対
して応用しうる一般的な理論を考慮する。この理論は、
前記した面パッチ(surface patch)の距
離を見出すための方法の一般化であり、線形シフト不変
システムとしてモデル化しうる各種の機器に対して有効
であると考えられる。カメラ装置は、この理論の応用が
完全且つ詳細に与えられた機器の一例にすぎない。
ここで与えられる理論は、(i)当該システムを特徴付
ける未知の物理的システムパラメータの1個以上を予測
し、(ii ) 該システムの出力から該システムの元
の入力信号を得る一般的な方法を取り扱う。
f (x)がn次元空間において定義される入力信号で
あり、 x = (x++ X!l −−−−−1x* )  
   (101)であるとし、自+ c!l ’−”−
’Ic@がシステム(第13図参照)の「ポイント・ス
プレッド函数J (PSF)を独特に定義する線形シフ
ト不変システムのm個のパラメータであるとする。即ち
、t=L2+−・−−−−−mに対してパラメータC5
が与えられると、信号δ(X)(デイラックのデルタ函
数)に対するシステムの応答は、これらのパラメータを
用いて独特に表わすことができる。物理的なシステムに
おいては、これらのパラメータは当該システムの物理的
構成を特徴付ける量を特定する。パラメータCbはシス
テムパラメータとよばれる− 〇がC=(cI、 C!
+’−−−・・−・、Ca)       (102)
として定義されるとする。 PSFのシステム構成Cに
対する依存性を明らかにするために、PSFをh (X
 ; C)(103) として表わすことにする。g(X)によって当該システ
ムの出力を表わすことにする。線形シフト不変システム
はコンボルーションを実行するので、g(x)=h(x
;c)” f(x)        (104)が成り
立つ、ただし、寧はコンボルーション演算を表わす、フ
ーリエ領域では、式(104)は%式%(105) として表わしうる。ここで、 ω==(ω1.ωZ + ”−”’−”+ ω、)  
  (106)はXに対応するフーリエ周波数を表わし
、G(ω)。
H(a+ ; c ) 、 F(ω)は夫々g(x)、
 h(x;c)、 f(x)のフーリエ変換である。
全てのシステムパラメータC!が既知であるとすると、
システム伝達函数(STF)H(ω;c)は定義により
決定される。そうすると、元の入力信号f (X)は、
デコンボルーシッン(即ち逆フィルタリング)によって
、観測された信号g (X)からF(ω) =に(ω)
/)l(ω;C)       (107)として独特
に再生される。観測された信号から入力信号を再生する
というこの操作は信号再生と呼ぶことができる。
多くの応用において、入力信号f (x)に加え、シス
テムパラメータCIのうちの1個以上が未知であること
が多い、したがって、STFを決定することができず、
したがって、式(107)での逆フイルタリング操作を
実行して入力信号を再生することはできない、これら未
知のシステムパラメータを決定するための方法をここで
述べる。未知のシステムパラメータを決定し、逆フィル
タリングにより(式(107)を用いて)入力信号を再
生することができる。
信号再生はさておき、カメラ装置からの被写体の距離を
見出す場合と同様、未知のシステムパラメータそのもの
の予測は多くの応用において主要な関心事である。
Cil+ Ci!+ −・−・−・+ Ci pを既知
のシステムパラメータの組とし、Cb□I+ Cip+
!+ ”’−”’−’+Cisを未知のシステムパラメ
ータの組とする。Cb及びC5をCa=(ct+、 C
tz、−−−−−、CI−)    (108)Cb 
=(ctp*+、 Cbpe!%−’−”−”+Ci9
□’) (109)1≦P、q<m、  P+Q=m と定義する。Cb1及びC5はCにおける全てのシステ
ムパラメータを特定している。従って、式(105)%
式%(ii0) と表わすことができる。Cbの1個以上の要素が既知の
量だけ変わりうるようなシステムを想定する。
異なる値のCbをCal+ Cb,Css等と表わすこ
とにする。そうすると、システムの出力は、(ca+、
Cb)+ (c−z、CJ、”−・−・・、(c□、1
.Cb)  (ii2)によって与えられるシステムの
(q+1)個の異なる構成に対して記録されるa Cb
は未知であり、全ての構成において同一である。
gt(x)1g*(x)、−・・・・・−+gq++(
X)により、入力信号f(x)が不変に維持されるとき
の式(ii2)における構成に対する夫々の観測された
信号を表わすことにする。そうすると、式(ii0)か
ら、次の関係の組が求まる。
i =1.2,3.−・・・・・−9q上記の式は入力
信号f (x)を含んではいない、したがって、上式は
全ての入力に対して有効であり、等価的には、全ての記
録された出力g (X)に対して有効である。q個の未
知数においてq個の式が存在し、これら未知数はC5に
おけるシステムパラメータである。したがって、原理的
には、これらq個の式はC5を求めるために同時に解く
ことができる。しかしながら、解は一つではないかもし
れない、したがって、Gl(ω)及びGt−+(ω)に
おいて有意義な全ての可能な周波数ωに対して式(ii
3)が満足されるという条件を追加する。これにより、
−船釣には、Cb−に対して唯一の解が与えられる。
また、この追加の条件を用いると、実際的応用における
数的安定を達成することが可能となる。したがって、循
環式(ii3)はこの追加の条件で置換される。
ここで、i =1+2+3.−−−−−−+qであり、
全てのωに対し71 Gt(a+) l > tc (
(1) )且ツl Gt−+ (ω) l > tc 
(ω)であって、に (ω)はシステムの信号対雑音比
に基づいて規定される。
要するに、既知のP個のシステムパラメータの組を式(
10B)におけるようにCbによって表わし、未知のq
個のシステムパラメータの組を式(109)におけるよ
うにC5によって表わす、即ちC−−(cI9.Crt
、−−−−9Ctp)Ch =(ct−や++Ctp*
t+ ’−・−・、Ca、。、)Cbによって特定され
た既知のシステムパラメータをCmiと置き、C5によ
って特定された未知のシステムパラメータは一定に保つ
、起り得る未知の信号f (x)をシステムに入力し、
その出力gt (x)を記録する。この手順をj=1+
2+3+・・−・−’+ Q + 1に対して反復する
。但しI+J””L2+3+−・−・・、q+1として
i≠jに対してCal≠01であるとする。システムの
特徴に依存して、全ての記録された出力gt(X)を処
理して正規化する。
1−L2+3+・・−−−−−、q+lに対してgt 
(ii)のフーリエ変換Ct(ω)を計算する。システ
ムの信号対雑音比に基づいて、スレッシヨルド・パラメ
ータ函数に(ω)を特定する。
Gt(ω) l > x ((ii)且ツI Gt−+
 ((ii) l > tc (a+ )であるような
全てのωに対して、1”’1+2+3+・−・−qにつ
いて比 T(ω) =Gt(ω)/G+4+(ω)を計算する。
  i−1,2,3,−−−−−−−’、qに対して式
の組T(ω)−H(ω;Cst、CJ/H(ω1cai
+l+cJが定式化される。
分析法、数値反復法、テーブル・ルックアップ法等の方
法によって上記の手順において式の組を解き、Cbによ
って特定される未知のq個のシステムパラメータを求め
る。解は全てのωに対して一貫していなければならない
、にε(1,2,3−・・−q+1 )であるkについ
て信号のフーリエ変換をF(ω) =Gt(ω)/H(
ω;C−t−Cb)として計算する。
P(ω)の逆フーリエ変換を行い、元の入力信号f (
X)を再生する。
上記のように、式(ii2)で与えられる(q+1)個
の異なる構成(第11a図)に対して、システムの出力
が記録されなければならない、その代りに、それぞれが
式(ii2)における一つの構成を持つ(q+1)個の
個別の線形システムを用いることができる(第11図参
照)、同一の入力信号【(X)が全ての軸+1)個のシ
ステムに供給され、その出力が記録、処理されてChが
求まる。
Chによって特定されたシステム構成は全ての(q+1
)個の記録された出力に対して同一でなければならない
、しかしながら、変化量が既知であれば、C5は変化し
うる0例えば、C5に対応する(q+1)個の構成は、
Cbt+Cbx+  ’−’−’lcM4Lが全て既知
であるとき Ch+Cb1. Cb+Cht、  −・・−・・、C
b+c工。、  (ii5)でありうる、再びこの場合
、式(ii4)に対応するq個の式をq個の未知数にお
いて書くことができる。こうした式を解いてC5を求め
ることができる。
式(ii4)のシステムが充分拘束されている(即ち、
解の数が有限である)とすると、式を解くのに2つの手
法を取ることができる。まず、可能であれば、解の分析
的表現を導出して式を解くのに用いることができる。こ
の場合、■(ω;C−,Cb)及びシステム構成Cbに
対する明瞭な分析的表現を知ることが必要である。実際
、式を分析的に解くことは非常に困難であり、不可能で
さえある。この場合には、テーブル・ルックアップ法が
使用できる。ここで、全ての可能な値ω及びCbに対し
て(即ち、実際の小さな離散的な距離において)1 =
 1 + 2 + 3 + ”−−−−’−’+ Qに
ついてT、(ω、Cb)=H(ω;C−、、CJ/H(
ω;C−t、+、Cb) (ii6)によって与えられ
る函数11(ω、C2)の表を作成する。この表はω及
びT、に関して蓄積し、また、新たな表C5(ω+T1
χにおいて蓄積される。この新たな表は多値でありうる
。T、が記録された信号からT逼=61(ω)/G、。
1(ω)     (ii7)として計算される場合、
ω及びT、が与えられると、Chに対する可能な解の組
は表Ca(ω1丁、)を索引することによって求められ
る。こうした組を全てのω及びiにわたってインターセ
クトすることにより、C5に対する解即ち が与えられる。特異解を見出すために、組交差(set
 1ntersection)のための有効な計算法を
用いることができる。
所要の表Cb(ω、T、)を導出する表Ti(ω、C5
)を求めるための2つの方法がある。一つの方法は、S
TFつまりH(ω;C−t、Cb )に対する分析的表
現を用いて式(ii6)の右辺を計算することである。
これには、線形システムの測定によりC□を正確に知る
ことが必要である。他の方法は実験によるものである。
この実験的方法は、■(ω;Cmt+Cb )に対する
分析的表現が利用できないか計算が困難である場合、又
はシステムのCalを正確に測定するのが困難な場合に
便利である。この場合、システムの出力gtcx> は
各構成Cb毎に記録され、表記載事項がi =1+2+
3+・−・・−・、qに対してTI(ω)=Gt(ω;
Cb直、Cb)/Gt、+(ω;C□、+、Cb ) 
(ii9)として計算される0表を実験的に決定するた
めに実際の信号f (x)を知ることは不要である。し
かしながら、この計算手順の期間にC2を正確に測定す
ることができなければならない。
表を蓄積するための表の大きさは実際の物理的システム
の容量、表を較正する精度、信号g (X)とシステム
パラメータCmiとの測定精度及び5TFH(ω;C)
の分析的表現の精度に依存する。
式(ii4)のシステムは、正確にq個の未知数におけ
るq個の式を構成する。したがって、このシステムはま
さに拘束されていて、(q+1)個の記録された出力を
必要とする。しかしながら、結果の精度は、所要の最小
数よりも多くの出力記録を用いることにより向上させる
ことができる0例えば、(q+2)個の記録が用いられ
るならば、未知数C4の2つの予測を行うことができる
。即ち、第1の予測は最初の(q+1)個の出力記録を
用、第2の予測は最後の(q+1)個の出力記録からの
ものである。
未知数C5の個別の予測値の加重平均により、個々の予
測値よりもしっかりした予測値が与えられる。
カメラ装置の特殊な理論に対して先きに導出した結果と
直接的な類僚性を有するこの一般的理論について、他の
結果を導き出すことができる9例えば、信号測定の不確
定性と既知のシステムパラメータとを用いて未知のシス
テムパラメータの解における不確定性を決定するための
式を導出することができる。こうした全ての結果は特許
請求の範囲によって定義される発明の範囲内にある。
結論、変更・修正及び発明の範囲 本発明において、被写体の距離を決定するための、及び
、ぼけた画像から改良された合焦画像を得るための有効
な計算方法及び電子カメラ装置が開示された。この方法
はカメラ装置の1個以上のカメラ・パラメータの値を決
定するために一般化された。この方法は、任意の線形シ
フト不変システムにおける入力信号蓄積及びシステムパ
ラメータ予測に更に一般化された。この一般的な理論は
、線形シフト不変システムとしてモデル化しうる各種の
測定機器に応用することができる。電子カメラ装置は、
この一般的な理論の応用が詳細に述べられた、機器の大
きな集合のうちの一例にすぎない。
本発明は、ロボット視力、自律移動体ナビゲーション、
視覚システムの一部として被写体の近似距離を見出すた
めの手段等の機械視力応用の関係で主に着想された0本
発明に小さな修正を加えてから利用する他の応用分野も
ある0例えば、二次元的な試料の改良された合焦画像を
得る際のテレビジョン・マイクロスコピーにおいて、及
び、前景と後景との被写体に焦点が合っている画像の商
用テレビ放送において有用である。また、情景の所望の
対象に迅速に自動焦点合せを行うための商用ビデオレコ
ーダに有用である。他の応用は、絵を写して画像信号を
2以上のカメラ設定のために磁気ディスク上に直接記録
し、カメラ特性と共にコンピュータでこの画像信号を処
理して所望の被写界深度で像を得るという完全電子化カ
メラである。
方法、装置及び応用のこのレポートの記述は多くの応用
を含むが、これは発明の範囲の限定ではなく、好ましい
実施例の例示と考えられるべきである。ここに開示され
た本発明の修正及び拡張は、本発明の関係する技術分野
の当業者に想起されるものであり、こうした全ての修正
は特許請求の範囲により定義される本発明の精神と範囲
及びその均等物内にあるものとみなされる。
【図面の簡単な説明】
第1回は、2つの表面パッチ及び光学軸に沿って配置さ
れたレンズシステムとイメージデテクタとを含んでいる
情景を表わす透視概略図であって、カメラシステムの幾
何及びカメラパラメータを示す概略図。 第2図は、カメラシステムの概略を表わし、レンズシス
テムの焦点距離を変化させるためのレンズポジションコ
ントローラ、イメージデテクタ面とレンズシステムの第
2の主面との間の距離を変化させるためのイメージデテ
クタポジシゴンコントロール、カメラに入射する光のス
ペクトルを制御するフィルタ、及びカメラの口径を変化
させるためのカメラ口径コントローラを示す概略図。 第3図は、第2図の装置のブロック図であってデジタル
イメージ取得装置及びイメージ処理コンピュータを具備
したブロック図。 第4図は、第3図の装置の変形例を示すブロック図であ
り、同一の可視点から一対の2次元イメージ情景を同時
に形成するための2つのカメラ構造を有し、それぞれの
カメラ構造が異なるカメラセットを有している事を示す
ブロック図。 第5図は、本発明の詳細な説明するために用いられる球
状協調システムの概略図。 第6図は、第2の主面から単位距離にある仮想面である
正規化デカルト空間を概略的に示す概略図。 第7図は、情景における表面パッチ及びイメージデテク
タにおける該パックに対応するサブイメージを示す概略
図。 第8図は、コンピュータメモリに記憶され、距離決定の
テーブル検索方法に用いられ4次元テーブルT(ω、シ
、T0)の概略図。 第9図は、平行軸幾何光学法の下に、カメラシステムの
好適な実施例において実行されるイメージ形成処理を示
す説明図。 第10図は、多数の小さなサブイメージに分割されたイ
メージであって、各々のサブイメージが、情景における
可視的小フィールドをスパンする一つの表面パッチに対
応するイメージを示す概略図。 第11図は、イメージのサブイメージ及び該サブイメー
ジを特定するアングルを示す説明図。 第12図は、“平坦”なすなわち反射バリエーションを
有しない対象物平面上に、所望の光パターンを投影する
事によって輝度変化又は“構造(texture)”を
導びくための装置を示す概略図。 第13図は、通常のリニアシフト定数システムを示す概
略図であって、入力信号、出力信号、及びそれぞれ異な
る値に設定可能なシステム点スプレッド関数をシステム
パラメータを示す概略図。 第14図は、それぞれ異なるシステムパラメータを有し
て同一の入力信号に接続される(q+1)個のリニアシ
フト定数システムからなるシステムの概略図。 第15図は、予め値が記憶されたテーブルを内蔵してい
るメモリモジュールを含む種々のモジュールとテーブル
高速検索動作を行うための特種機能VLSIを有するイ
メージ処理コンピュータを示す概略ブロック図。 第16図は、平行軸幾何光学定理に基づく回転対称光学
システムのための予め計算されたテーブルの一例を示し
、グレイレベルイメージとして表示されたテーブルの例
示図である。 第7 図 第8 図 (JJJ J2 3 JM ωl 元軸 第10図 多数の副次像へ 分割された像 副視野 第11 図 1 −一−1− (θ233.φ233) (θ333IΦ333) 第13図 第14図

Claims (1)

  1. 【特許請求の範囲】 1、光が通過する開口と、像検出器と、第1及び第2の
    主要面及び焦点距離を有する像形成光学系と、光フィル
    タと、カメラ制御器と、前記像検出器及び前記カメラ制
    御に接続された像処理器とを有するカメラ装置からの対
    象の面パッチの距離を決定する方法であって、前記第2
    の主要面が前記第1の主要面よりも前記像検出器に近接
    するよう配置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
    器との間の距離(δ)、(ii)前記開口の直径(D)
    、(iii)前記カメラ装置の焦点距離(f)、(iv
    )前記光フィルタを通過する光のスペクトル特性(λ)
    のうちの少くとも一つを含むカメラパラメータの第1の
    組に設定する段階と、 b)前記像検出器に前記面パッチの第1の像を形成する
    段階と、 c)前記第1の像を第1のデジタルの像として前記像処
    理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラ装置のポイント・スプレ
    ッド函数に関係付けられる第1の正規化像を与える段階
    と、 e)離散的な空間周波数の組において前記第1の正規化
    像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータの少くとも1個を変化させる
    段階と、 g)前記像検出器に前記面パッチの第2の像を形成する
    段階と、 h)前記第2の像を第2のデジタルの像として前記像処
    理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラのポイント・スプレッド
    函数と関係付けられる第2の正規化像を与える段階と、 j)離散的な空間周波数の前記組において前記第2の正
    規化像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
    リエ係数で除して比の値の組を与える段階と、 l)前記比の組の各要素に対応する単一の数学的関係を
    与える段階であって、該数学的関係は中間パラメータな
    しに与えられると共に、前記第1の正規化像の光学的伝
    達函数の前記第2の正規化像の光学的伝達函数に対する
    比を表わしており、前記数学的関係の各々が前記カメラ
    パラメータのみに依存していると共に、前記面パッチの
    前記カメラ装置からの前記距離に等しい未知数を有して
    いる段階と、 m)前記段階(k)から求められた各比の値を前記段階
    (l)で与えられた単一の対応する数学的関係に代入し
    て式の組を与える段階と、 n)前記段階(m)から求められた前記式の組を解いて
    、前記面パッチの前記カメラ装置からの前記距離を決定
    する段階と、 を具備する方法。 2、選択座標θ_0,φ_0に中心を置き端点をθ_i
    ,φ_0(ただしi=1,2,3,4)に持つ矩形の視
    野において前記対象の前記面パッチを選択する段階を更
    らに含み、前記選択が、前記段階(b)及び(g)にお
    ける前記第1及び第2の像の形成と前記段階(c)及び
    (h)における前記像の記録との後に実行される請求項
    1記載の方法。 3、前記段階(d)及び(i)における前記の前処理が
    、i)前記像検出器のセンサ応答特性を補正する操作、
    (ii)前記像形成光学系の不均一な光伝達を補正する
    操作、(iii)前記第1及び第2の像の輝度の正規化
    、(iv)倍率正規化のうちの少くとも1つを含む請求
    項1記載の方法。 4、前記段階(d)から生じる前記第1の正規化像が、
    前記段階(k)の比の値を見出すために前記像処理器に
    記録され、前記段階(i)から生じる前記第2の正規化
    像が計算された後に使用される請求項1記載の方法。 5、前記面パッチの境界を囲む領域が暗く保たれ、それ
    によって像の重なりを回避し、前記面パッチの前記距離
    の決定精度が増大される請求項1記載の方法。 6、前記面パッチが光パターンを投射することによって
    照明され、輝度変化が前記面パッチの前記距離の決定の
    ために与えられる請求項1記載の方法。 7、前記カメラ装置の完全な視野を、それぞれが面パッ
    チを含む多数の副視野に分割し、各面パッチについて前
    記段階(a)〜(n)を実行して前記面パッチの前記距
    離を決定する段階を更に含む請求項1記載の方法。 8、光が通過する開口と、像検出器と、第1及び第2の
    主要面及び焦点距離を有する像形成光学系と、光フィル
    タと、カメラ制御器と、前記像検出器及び前記カメラ制
    御器に接続された像処理器とを有するカメラ装置から、
    対象の面パッチの距離を決定する方法であって、前記第
    2の主要面が前記第1の主要面よりも前記像検出器に近
    接するように配置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
    器との間の距離(δ)、(ii)前記開口の直径(D)
    、(iii)前記カメラ装置の焦点距離f)、(iv)
    前記光フィルタを通過する光のスペクトル特性(λ)の
    うちの少なくとも1つを含むカメラパラメータの第1の
    組に設定する段階と、 b)前記像検出器に前記面パッチの第1の像を形成する
    段階と、 c)前記第1の像を第1のデジタルの像として前記像処
    理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラ装置のポイント・スプレ
    ッド函数に関係付けられる第1の正規化像を与える段階
    と、 e)離散的な空間周波数の組において前記第1の正規化
    像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータのうちの少くとも1個を変化
    させる段階と、 g)前記像検出器に前記面パッチの第2の像を形成する
    段階と、 h)前記第2の像を第2のデジタルの像として前記像処
    理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラのポイント・スプレッド
    函数と関係付けられる第2の正規化像を与える段階と、 j)前記離散的な空間周波数において前記第2の正規化
    像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
    リエ係数によって除して比の値の組を与える段階と、 l)前記段階面から生じる比の値の組を前記像処理器に
    おけるルップアップテーブルと比較する段階であって、
    該ルックアップテーブルが前記のカメラ装置からの距離
    に対応する蓄積された比の値を有している段階と、 m)前記段階面からの比の値に最も近いものに対応する
    距離の選択によって、前記カメラ装置からの前記面パッ
    チの前記距離を決定する段階とを具備する方法。 9、前記ルックアップテーブルが、前記段階(k)から
    生じる比の値に対応する離散的な距離を計算し、それら
    を前記像処理器に蓄積することによって与えられている
    請求項8記載の方法。 10、前記ルックアップテーブルが、前記段階(k)か
    ら生じる比の値に対して前記カメラ装置からの距離を測
    定することによって実験的に与えられている請求項8記
    載の方法。11、光が通過する開口と、第1及び第2の
    主要面及び焦点距離を有する像形成光学系と、光フィル
    タと、カメラ制御器と、像検出器及び前記カメラ制御器
    に接続された像処理器とを有するカメラ装置の前記像検
    出器に、対象の面パッチの合焦像を作る方法であって、
    前記第2の主要面が前記第1の主要面よりも前記像検出
    器に近く配置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
    器との間の距離(δ)、(ii)前記開口の直径(D)
    、(i)前記カメラ装置の焦点距離(f)、(iv)前
    記光フィルタによって伝達される光のスペクトル特性(
    λ)のうちの少くとも一つを含むカメラパラメータの組
    に設定する段階と、 b)前記像検出器に前記面パッチの第1の像を形成する
    段階と、 c)前記第1の像を第1のデジタルの像として前記像処
    理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラ装置のポイント・スプレ
    ッド函数に関係付けられる第1の正規化像を与える段階
    と、 e)離散的な空間周波数の組において前記第1の正規化
    像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータの少くとも1個を変化させる
    段階と、 g)前記面パッチの第2の像を前記像検出器に形成する
    段階と、 h)前記第2の像を第2のデジタルの像として前記像処
    理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラのポイント・スプレッド
    函数と関係付けられる第2の正規化像を与える段階と、 j)前記離散的な周波数の組において前記第2の正規化
    像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
    リエ係数で除して、比の値の組を与える段階と、 l)前記比の組の夫々の要素に対応する単一の数学的関
    係を与える段階であって、該数学的関係は中間パラメー
    タなしに与えられると共に、前記第1の正規化像の光学
    的伝達函数の前記第2の正規化像の光学的伝達函数に対
    する比を表わしており、前記数学的関係の各々は前記カ
    メラパラメータにのみに依存し、前記カメラ装置からの
    前記パッチの前記面パッチの前記距離に等しい未知数を
    有している段階と、 m)前記段階(k)から生じた比の値の各々を前記段階
    (l)から与えられる単一の対応する数学的関係に代入
    して、式の組を得る段階と、 n)前記段階(m)から生じた前記式の組を解いて、前
    記カメラ装置からの前記面パッチの前記距離を決定する
    段階と、 o)前記段階(n)において決定された距離に基づいて
    、前記面パッチの合焦像に対応するカメラパラメータを
    決定する段階と、 p)前記カメラパラメータを前記段階(o)で決定され
    た値に調節する段階と、 を具備する方法。 12、前記カメラパラメータが、合焦公式を用いた計算
    によって前記段階(o)において決定される請求項11
    記載の方法。 13、前記カメラパラメータが、前記面パッチに焦点を
    合わさせるカメラパラメータを与える前記像処理器の予
    蓄積されたルックアップテーブルで前記の計算された距
    離を索引することによって、前記段階(o)において決
    定される請求項11記載の方法。 14、光が通過する開口と、第1及び第2の主要面及び
    焦点距離を有する像形成光学系と、光フィルタと、カメ
    ラ制御器と、像検出器及び前記カメラ制御器に接続され
    た像処理器とを有するカメラ装置の前記像検出器に、対
    象の面パッチの合焦像を作る方法であって、前記第2の
    主要面が前記第1の主要面よりも前記像検出器に近く配
    置されている方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
    器との間の距離(δ)、(ii)前記開口の直径(D)
    、(iii)前記カメラ装置の焦点距離(f)、(iv
    )前記光フィルタによって伝達された光のスペクトル特
    性(λ)のうちの少くとも一つを含むカメラパラメータ
    の第1の組に設定する段階と、 b)前記面パッチの第1の像を前記像検出器に形成する
    段階と、 c)前記第1の像を第1のデジタルの像として前記画像
    処理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラ装置のポイント・スプレ
    ッド函数に関係付けられる第1の正規化像を与える段階
    と、 e)離散的な空間周波数の組において前記第1の正規化
    像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータのうちの少くとも1つを変化
    させる段階と、 g)前記面パッチの第2の像を前記像検出器に形成する
    段階と、 h)前記第2の像を第2のデジタルの像として前記画像
    処理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラのポイント・スプレッド
    函数と関係付けられる第2の正規化像を与える段階と、 j)前記離散的な空間周波数の組において前記第2の正
    規化像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
    リエ係数で除して、比の値の組を与える段階と、 l)前記段階(k)から生じる比の値の組を前記像処理
    器のルップアップテーブルと比較する段階であって、前
    記ルックアップテーブルは前記カメラ装置からの距離に
    対応する蓄積された比の値を有している段階と、 m)前記段階(k)からの比の値に最もよく対応する距
    離の選択により、前記カメラ装置からの前記面パッチの
    前記距離を決定する段階と、 n)前記段階(m)で決定された前記距離に基づいて、
    前記面パッチの合焦像に対応するカメラパラメータを決
    定する段階と、 p)前記段階(n)で決定された値に前記カメラパラメ
    ータを調節する段階と を具備する方法。 15、前記カメラパラメータが合焦公式を用いた計算に
    よって前記段階(n)において決定される請求項14記
    載の方法。 16、前記カメラパラメータが、前記面パッチに焦点を
    合わさせるカメラパラメータを与える前記像処理器の予
    蓄積されたルックアップテーブルで、計算された距離を
    索引することにより、前記段階(n)において決定され
    る請求項14記載の方法。 17、光が通過する開口と、像検出器と、第1及び第2
    の主要面及び焦点距離を有する像形成光学系と、光フィ
    ルタと、カメラ制御器と、前記像検出器及び前記カメラ
    制御器に接続された像処理器とを有し、前記第2の主要
    面が前記第1の主要面よりも前記像検出器に近く配置さ
    れているカメラ装置のぼけた像から、対象の面パッチの
    改良された合焦像を得る方法において、 a)前記カメラを(i)前記第2の主要面と前記像検出
    器との間の距離(δ)、(ii)前記開口の直径(D)
    、(iii)前記カメラ装置の焦点距離(f)、(iv
    )前記光フィルタによって伝達される光のスペクトル特
    性(λ)のうちの少くとも1つを含むカメラパラメータ
    の第1の組に設定する段階と、 b)前記面パッチの第1の像を前記像検出器に形成する
    段階と、 c)前記第1の像を第1のデジタルの像として前記像処
    理器に記録する段階と、 d)前記第1のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラ装置のポイント・スプレ
    ッド函数に関係付けられる第1の正規化像を与える段階
    と、 e)離散的な空間周波数の組において前記第1の正規化
    像の第1の組のフーリエ係数を計算する段階と、 f)前記カメラパラメータのうちの少くとも1つを変化
    させる段階と、 g)前記面パッチの第2の像を前記像検出器に形成する
    段階と、 h)前記第2の像を第2のデジタルの像として前記画像
    処理器に記録する段階と、 i)前記第2のデジタルの像を前処理して、コンボルー
    ション演算によって前記カメラ装置のポイント・スプレ
    ッド函数に関係付けられる第2の正規化像を与える段階
    と、 j)前記離散的な空間周波数の組において前記第2の正
    規化像の第2の組のフーリエ係数を計算する段階と、 k)前記第1の組のフーリエ係数を前記第2の組のフー
    リエ係数で除して、比の値の組を与える段階と、 l)前記比の値の組の各要素に対応する単一の数学的関
    係を与える段階であって、前記数学的関係は中間パラメ
    ータなしで与えられると共に、前記第1の正規化像の光
    学的伝達函数の前記第2の正規化像の光学的伝達函数に
    対する比を表わしており、前記数学的関係の各々は前記
    カメラパラメータにのみに依存すると共に、前記カメラ
    装置からの前記面パッチの前記距離に等しい未知数を有
    している段階と、 m)前記段階(k)から生じた比の値の各々を前記段階
    (l)で与えられる単一の対応する数学的関係に代入し
    て、式の組を得る段階と、 n)前記段階(m)から生じた前記式の組を解いて、前
    記カメラ装置からの前記面パッチの前記距離を決定する
    段階と、 o)前記段階(n)で計算された前記面パッチの前記距
    離に基づいて、前記段階(b)で形成された前記第1の
    像の光学的伝達函数を決定する段階と、p)前記第1の
    像のフーリエ変換を決定する段階と、、 q)前記段階(p)から生じた前記フーリエ変換を前記
    段階(o)から生じた前記光学的伝達函数で除す段階と
    、 r)前記段階(q)からの結果である逆フーリエ変換を
    計算する段階と を具備し、改良された合焦像をぼやけた像から決定する
    方法。 18、前記カメラ装置の視野を、各々が面パッチを含む
    多数の副次視野に分割し、各面パッチ毎に前記段階(a
    )〜(r)を反復して、全ての面パッチの改良された合
    焦像を決定すると共に、これら改良された合焦像から、
    前記カメラ装置の視野における全情景の合焦像を合成す
    る段階を更に含む請求項17記載の方法。 19、既知のシステムパラメータの組Caを有すると共
    に、既知のシステムパラメータの異なる設定に対して入
    力信号f(x)に応答する出力信号g(x)を与える手
    段を備える線形シフト不変システムの未知のシステムパ
    ラメータの組C_bを決定する方法において、 a)前記線形シフト不変システムのポイント・スプレッ
    ド函数を前記既知のシステムパラメータの組Caに依存
    させる段階と、 b)前記既知のシステムパラメータの組Caの複数の異
    なる設定に対して、前記線形シフト不変システムの出力
    信号を記録する段階と、 c)前記段階(b)から生じた各々の記録された出力信
    号に対する関係を周波数領域において与える段階と、 d)前記段階(c)から生じた全ての関係を同時に数学
    的に解き、前記未知のシステムパラメータの組Cbを決
    定する段階と、 を具備する方法。 20、周波数領域における前記段階(c)の前記関係が G(ω)=H(ω;C_a,C_b)F(ω)(但し、
    ωは空間周波数ベクトルであり、C_aは既知量だけ変
    えることができ、C_bは未知であって全ての構成にお
    いて同一に保たれる)である請求項19記載の方法。 21、入力信号を同一に保持して、q個の未知数と(q
    +1)個の記録された信号が存在し、前記関係が ▲数式、化学式、表等があります▼ (但し、i=1,2,3,・・・・・,q)に従って演
    算される請求項20記載の方法。22、カメラ装置と対
    象の面パッチとの間の距離を決定するための装置におい
    て、 a)像検出器と、カメラ開口と、第1及び第2の主要面
    及び焦点距離を有する像形成光学系と、光フィルタとを
    備え、前記第2の主要面が前記第1の主要面よりも前記
    像検出器に近く配置されているカメラ装置と、 b)前記カメラ装置の部品と接続され、該部品を動かし
    て(i)前記第2の主要面と前記像検出器との間の距離
    、(ii)前記カメラ開口の直径、(iii)前記像形
    成光学系の前記焦点距離というカメラパラメータの1つ
    以上を変えるカメラ制御器と、c)前記像検出器及び前
    記カメラ制御器に接続され、前記像検出器から信号を受
    け取ると共に前記カメラ制御器により前記カメラパラメ
    ータを変更させる像処理器と を具備する装置。 23、前記像処理器が、前記像現出器からの信号をデジ
    タルデータへ変換し、その後の像処理のために該デジタ
    ルデータを正規化する像処理手段を含む請求項22記載
    の装置。 24、前記像処理手段が、前記像検出器のセンサ応答特
    性を補正する手段、前記像形成光学系の不均一な光伝送
    を補正する手段、像の輝度を正規化する手段及び前記像
    検出器に記録された像の倍率を正規化する手段のうちの
    少くとも1つを含む請求項23記載の装置。25、前記
    像処理器が、信号をフーリエ変換する手段と、フーリエ
    係数を除して第1及び第2の像からの信号に対応する比
    の値の組を与える手段とを更らに備える請求項22記載
    の装置。 26、前記第1及び第2の像から集められた比の値を数
    学的関係に代入し、その結果の解を求めて前記カメラ装
    置からの前記面パッチの距離を与える手段を更らに備え
    る請求項25記載の装置。 27、ルックアップテーブルと、入力を該ルックアップ
    テーブルに蓄積された値と比較して得た値から前記距離
    を決定するための相関手段とを更に備える請求項23記
    載の装置。
JP17433290A 1989-06-29 1990-06-29 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置 Expired - Lifetime JP3305314B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US37399689A 1989-06-29 1989-06-29
US373996 1989-06-29
US537117 1990-06-15
US07/537,117 US5193124A (en) 1989-06-29 1990-06-15 Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images

Publications (2)

Publication Number Publication Date
JPH03136580A true JPH03136580A (ja) 1991-06-11
JP3305314B2 JP3305314B2 (ja) 2002-07-22

Family

ID=27006393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17433290A Expired - Lifetime JP3305314B2 (ja) 1989-06-29 1990-06-29 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置

Country Status (4)

Country Link
EP (1) EP0408224B1 (ja)
JP (1) JP3305314B2 (ja)
AT (1) ATE127582T1 (ja)
DE (1) DE69022143T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124418A1 (ja) * 2004-06-21 2005-12-29 Olympus Corporation 合焦情報取得装置及び合焦情報取得方法
WO2006123752A1 (ja) * 2005-05-19 2006-11-23 Olympus Corporation 撮像装置
WO2007023953A1 (ja) * 2005-08-26 2007-03-01 Olympus Corporation 撮像装置
WO2007058100A1 (ja) * 2005-11-15 2007-05-24 Olympus Corporation 合焦検出装置
CN102103248A (zh) * 2009-12-21 2011-06-22 索尼公司 具有置信度量的自动聚焦
WO2015075769A1 (ja) * 2013-11-19 2015-05-28 日立マクセル株式会社 撮像装置及び距離測定装置
CN111174765A (zh) * 2020-02-24 2020-05-19 北京航天飞行控制中心 基于视觉引导的行星车目标探测控制方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2702056A1 (fr) * 1993-02-23 1994-09-02 Centre Nat Rech Scient Appareil et objectif de prise de vues en stéréovision axiale.
US6268611B1 (en) * 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
US6191761B1 (en) * 1998-11-09 2001-02-20 University Of Washington Method and apparatus for determining optical distance
GB2367440B (en) * 2000-08-04 2005-02-23 Mark David Cahill Linear image reconstruction
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
CN101872059B (zh) * 2010-06-18 2011-12-07 南京理工大学 Otf测试仪的自动调焦系统及其自动调焦方法
US8676498B2 (en) * 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN102679963B (zh) * 2012-05-15 2014-05-21 中国科学院西安光学精密机械研究所 航天相机真空中焦面预置方法及装置
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
CN109648210B (zh) * 2019-02-14 2024-03-15 北京志恒达科技有限公司 激光灼刻装置及系统
CN112596324A (zh) * 2020-12-21 2021-04-02 北京航空航天大学 一种基于液体变焦相机的智能机器人视觉识别系统
CN113624358B (zh) * 2021-07-14 2023-09-26 中国电子科技集团公司第十三研究所 用于光热反射显微热成像的三维位移补偿方法及控制装置
CN116709614B (zh) * 2023-08-02 2023-10-20 深圳爱图仕创新科技股份有限公司 灯光控制方法、装置、计算机设备及计算机可读存储介质
CN119027350A (zh) * 2024-08-19 2024-11-26 中国计量科学研究院 一种基于高频聚焦探头声场校准的超声显微图像恢复方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0672973B2 (ja) * 1983-06-30 1994-09-14 株式会社リコー オ−トフオ−カス方法
US4965840A (en) * 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
DD269235A1 (de) * 1988-01-29 1989-06-21 Univ Schiller Jena Verfahren und anordnung zur automatischen fokussierung eines optischen systems
DD268533A1 (de) * 1988-01-29 1989-05-31 Univ Schiller Jena Verfahren und anordnung zur automatischen fokussierung eines optischen systems
JP2772079B2 (ja) * 1989-01-09 1998-07-02 オリンパス光学工業株式会社 自動合焦装置
US5193124A (en) 1989-06-29 1993-03-09 The Research Foundation Of State University Of New York Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124418A1 (ja) * 2004-06-21 2005-12-29 Olympus Corporation 合焦情報取得装置及び合焦情報取得方法
US7421195B2 (en) 2004-06-21 2008-09-02 Olympus Corporation Apparatus for acquiring focussing information and method of acquiring focusing information
WO2006123752A1 (ja) * 2005-05-19 2006-11-23 Olympus Corporation 撮像装置
WO2007023953A1 (ja) * 2005-08-26 2007-03-01 Olympus Corporation 撮像装置
WO2007058100A1 (ja) * 2005-11-15 2007-05-24 Olympus Corporation 合焦検出装置
JP2007139893A (ja) * 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
CN102103248A (zh) * 2009-12-21 2011-06-22 索尼公司 具有置信度量的自动聚焦
JP2011128623A (ja) * 2009-12-21 2011-06-30 Sony Corp 信頼基準を有するオートフォーカス
WO2015075769A1 (ja) * 2013-11-19 2015-05-28 日立マクセル株式会社 撮像装置及び距離測定装置
CN111174765A (zh) * 2020-02-24 2020-05-19 北京航天飞行控制中心 基于视觉引导的行星车目标探测控制方法及装置

Also Published As

Publication number Publication date
ATE127582T1 (de) 1995-09-15
EP0408224A2 (en) 1991-01-16
EP0408224A3 (en) 1991-09-18
DE69022143D1 (de) 1995-10-12
JP3305314B2 (ja) 2002-07-22
DE69022143T2 (de) 1996-03-07
EP0408224B1 (en) 1995-09-06

Similar Documents

Publication Publication Date Title
JPH03136580A (ja) 対象の距離を決定し、自動焦点合せをし、合焦像を得るための方法及び電子カメラ装置
EP0318188B1 (en) Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
US5193124A (en) Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images
US8305485B2 (en) Digital camera with coded aperture rangefinder
Subbarao Parallel Depth Recovery By Changing Camera Parameters.
US5231443A (en) Automatic ranging and automatic focusing
US7711201B2 (en) Method of and apparatus for generating a depth map utilized in autofocusing
US7554750B2 (en) Imaging using a multifocal aspheric lens to obtain extended depth of field
US20110267507A1 (en) Range measurement using a zoom camera
US8436912B2 (en) Range measurement using multiple coded apertures
US8330852B2 (en) Range measurement using symmetric coded apertures
US20110267485A1 (en) Range measurement using a coded aperture
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
JPH05119252A (ja) カメラの距離測定および迅速自動焦点合せ方法および装置
US8837817B2 (en) Method and device for calculating a depth map from a single image
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN103516979A (zh) 摄像装置及其控制方法
CN106204554A (zh) 基于多聚焦图像的景深信息获取方法、系统及拍摄终端
US8433187B2 (en) Distance estimation systems and method based on a two-state auto-focus lens
CN109883391A (zh) 基于微透镜阵列数字成像的单目测距方法
Illgner et al. Lightfield imaging for industrial applications
Hasinoff Variable-aperture photography
Šorel Multichannel blind restoration of images with space-variant degradations
Subbarao et al. Root-mean square error in passive autofocusing and 3D shape recovery
Choi Shape and image reconstruction from focus

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080510

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090510

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100510

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110510

Year of fee payment: 9

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110510

Year of fee payment: 9