JPH11257932A - ３次元リアルタイムセンサシステム - Google Patents

Abstract

(57)【要約】 【課題】 立体画像を実時間で処理することができ、簡
単な手段および低費用で実現できる画像処理装置および
そこで使用されるコヒーレンス検出器を提供する。 【解決手段】 各々に１つの入力信号値が入力されるｎ
個の信号入力（ＥＳＴ_i（１≦ｉ≦ｎ）；Ｅ１、Ｅ２、
Ｅ３、Ｅ４）と、ｎ個の入力信号値（Ｅ１、．．．、Ｅ
４）をそれらの値（Ａ、Ｂ、Ｃ、Ｄ）によって分類し、
かつ分類されたｎ個の値を並列出力する第１分類装置
（Ｓ１）と、２つの隣接する分類された値を減算する
（（Ｄ−Ｃ）、（Ｃ−Ｂ）、（Ｂ−Ａ））ためのｎ−１
個の減算装置（「−」）と、得られたｎ−１個の差
（（Ｄ−Ｃ）、（Ｃ−Ｂ）、（Ｂ−Ａ））をそれらの値
に関して分類し、かつ最小差値（「＜＜」）を出力する
第２分類装置（Ｓ２）と、決定された最小差値（「＜
＜」）に属する入力信号値の値の対を出力する選択装置
（「＝」、ＭＵＸ１）と、出力値の対が送られ、その平
均値（ＫＥ）を出力する出力装置（「Σ／２」）と、を
備えたコヒーレンス検出器。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、とくに立体画像処
理用の画像処理装置およびそこで使用されるコヒーレン
ス検出器に関する。

【０００２】三次元環境の光学的測定は、ここしばらく
の間にますます重要さを増してきた。特に自動化製造工
程やそこで使用されるロボットでは、例えばロボットを
適切に制御するために、二次元座標に加えて、（加工さ
れる）物体に関する奥行き情報をも入手しなければなら
ない。

【０００３】シュトゥットガルト（ＤＥ）における１９
９６年の「アイデント ビジョン(Ident Vision)」見本
市の一部として、多数のレーザおよびカメラを使用して
物体の空間的等高線を決定することができる全身スキャ
ナが出品された。しかし、このシステムは実時間適用に
は適さない。

【０００４】奥行き情報を決定するための従前の設計
は、様々な方法に基づく様々な部類に分類することがで
きる。

【０００５】三角測量法は、特定の物体に対しレーザま
たは投影装置のいずれかによって結像される１本以上の
線を使用する。１つ以上のカメラを使用することによ
り、物体は投影方向からわずかに異なる視角で記録され
る。すでに知られている幾何学的関係に基づき、物体の
三次元構造がつぎに三角法の計算によって決定される。

【０００６】しかし、この方法の欠点は、特定の状況下
では、各投影線ごとに１つの画像を評価しなければなら
ず、非常に時間がかかるので、この種のシステムは実時
間適用には役に立たない、ということである。

【０００７】また、特定の測定対象物体に投光しなけれ
ばならないことは、とくに面倒である。いうまでもな
く、研究室条件下では、これは問題にならないが、実用
的には、たとえば道路交通におけるような状況や、望遠
鏡や顕微鏡で一般的な妨げの多い現実的状況下で測定を
行おうとする場合、それはほぼ不可能である。さらに、
線光投影機としてレーザを使用する場合、これらの測定
構成がヒトの目に潜在的な危険を与えることがないよう
に、特別な事故防止要求事項を遵守しなければならな
い。

【０００８】１つの特定の三角法では、特定の物体にカ
ラーファンを投影する。つぎに、カメラによって記録さ
れた色値を１つの物点に明瞭に割り当てることができ、
個々の色点のずれをつぎに奥行き情報として評価するこ
とができる。この方法は実時間で機能するが、物体およ
び背景が白でなければならないという制限条件を伴うの
で、この方法はどこでも使用できるわけではない。

【０００９】しかし、走行時間法は、空間的環境および
奥行き情報に関する結論を引き出すために、測定信号と
して光、マイクロ波、または音声信号の走行時間を評価
する。これに関し、１つの空間方向が使用され、空間測
定が行われる。たとえば、レーダ装置や医療用超音波装
置の原理は、これらの走行時間法に基づいている。しか
し、走行時間法は複雑な信号処理を必要とし、その上、
特定の測定信号の伝搬特性に影響する周囲の媒体の性質
に依存する。

【００１０】その他に、コントラスト奥行き法が使用さ
れるが、これは、顕微鏡の場合のように、物体の大きさ
と対物レンズの開口が相互に特定の比率であるときにし
か適用できない。光学系であるため、イメージセンサに
は焦点面の狭い領域しか鮮明に結像されない。前方およ
び後方の領域はあまり焦点が合わない。焦点面に含まれ
る画像情報は、従来の処理法で評価することができる。
つぎに、対応する評価から物体の等高線が得られる。焦
点面を繰返しずらしてから評価していくので、物体の等
高線マップを生成することができるが、これは複雑であ
る。

【００１１】数年間遂行されてきた別の方法は、立体画
像の評価に基づいてヒトの空間視と同様の奥行き情報を
得るものであり、この空間視のシミュレーションがこの
方法の目標である。

【００１２】空間視の現象について以下でヒト一般に関
連して簡単に説明するが、これはヒトの２つの目による
可視環境の知覚に基づくものであり、目の間隔に基づい
て、わずかに異なる観察角で２つの知覚像（右眼または
像、左眼または像）が知覚される。目の視軸は幾分収束
するので、それらの視軸は観察環境の一点に集まり、我
々はこの点を目の固定視点（fixation point）と呼ぶ。
この点の像は網膜の中心窩に結ばれる。つぎに、視野内
の隣接する各点が、最も鮮明な視覚の中心から多少離れ
て位置する網膜の一点に投影される。一般に２つの目の
この間隔は異なり、この間隔は視野内の観察点の固定視
点に対する空間的奥行きの関数として変化する。間隔の
こうしたずれを両眼のディスパリティと呼び、これを以
下では短く「ディスパリティ」と呼ぶ。

【００１３】立体視における実際の問題は、与えられた
三角法条件の評価に加えて、第１の立体像に現れる実世
界または被観察物体のどの像点が、第２の立体像のどの
像点に対応するかを見出だすことである。別の言い方を
すると、ヒトの目に関して、左側の網膜のどの像点が右
側の網膜のどの像点に対応するかを見出だすことが重要
である。

【００１４】ヒトの視覚または３Ｄ立体知覚の場合、つ
ぎにディスパリティを使用して、知覚される像の三次元
構造に関する結論を引き出す必要がある。別の言い方を
すると、知覚される像に含まれる奥行き情報に関し決定
されたディスパリティから、結論を引き出すことができ
る。

【００１５】しかし、従来の利用可能な立体法は、強力
なワークスペースコンピュータ（ＰＣまたはいわゆるワ
ークステーション）に頼らなければならず、例えば市販
のワークプレースコンピュータ（約９０ＭＨｚのクロッ
ク周波数）を使用して１対の立体像について所望の奥行
き情報を決定するには、約３分から５分の範囲の時間が
必要である。

【００１６】しかし、これらの方法を専用コンピュータ
システムに転換しようとすると、開発およびハードウェ
ア費用がすぐに、財政的に実現可能な限界を超えるであ
ろう。こうしたシステムの市場導入は、処理速度が遅す
ぎるか、またはシステム価格が高すぎるかのいずれかの
ために、これまで成功しなかった。

【００１７】立体法は、カメラ位置が分かることを条件
として、像点の相対的変位から像点の距離を計算するこ
とができるように、第１（左）および第２（右）立体像
の間の相互に対応する像点を見出そうとする。

【００１８】上述の従来型のコンピュータを利用した立
体法の中で、いわゆる特性利用立体法、輝度利用立体
法、および位相利用立体法を基本的に区別することがで
きる。

【００１９】特性利用立体法の場合、対応性を探す前
に、生画像の輝度より安定していると思われる特定の性
質（たとえばエッジまたは最大輝度）が画像データから
抽出される。少数の安定した性質（物体のエッジ）だけ
を抽出するならば、こうした方法は安定している。その
特性に遭遇する部位だけで画像を処理すればよいので、
これは高速でもある。これはデータの著しい減少につな
がる。

【００２０】しかし、ディスパリティは、選択された特
性が見つかった位置でしか計算できない。画像のその他
の全ての位置では捕間法を使用する必要があり、これは
時間のかかる追加的計算段階を必要とする。特性が密で
あればあるほど、それらを相互に割り当てることが困難
になる。最終的割当は、複雑な方法に基づかなければ行
うことができず、これは処理速度の低下につながる。

【００２１】たとえばＷＯ９４／１８７９７ Ａ１公報
は、この種の特性利用法および対応する装置を記載して
いる。

【００２２】輝度利用立体法は、立体カメラまたは画像
記録装置から供給される画像の輝度を利用する。したが
って、相互に対応する輝度を割り当てるために、非常に
安定したアルゴリズムを使用しなければならず、これは
かなりの計算時間を要する。輝度利用法はさらに、相関
利用法と動的プログラミング利用法とに区別することが
できる。

【００２３】前者は、右像で左像の小さい像領域を再探
索しようとする。通常、方法は、相関性を最大にする
か、または差を最小にするように使用される。像セグメ
ントを充分に大きく選択した場合には、これらの方法に
より、安定した密なディスパリティマップを得ることが
でき、特殊で複雑なハードウェアを使用すると、実時間
処理が可能である。しかし、生ディスパリティマップは
一般的に１画素（ピクセル）の精度の範囲内の変位を含
むだけなので、解像度は限定される。捕間法を使用する
か、または反復法によってのみ、ディスパリティの精度
を１画素未満のディスパリティに改善することができ
る。

【００２４】例えば相関利用法は、ＤＥ３４ ２５９４
６Ａ１公報およびゼータ ツァング（Z. Zhang）による
論文「ア ステレオビジョン システム フォー ア
プラネタリー ローバー：キャリブレーション、コレレ
ーション、レジストレーション アンド フュージョン
(A stereovision system for a planetary rover：cali
bration, correlation, registration and fusion)」
（マシン ビジョン アンド アプリケーションズ(Mac
hine Vision and Applications), No.10, 1997,pp27-3
4）に記載されている。

【００２５】動的プログラミングを使用する方法では、
局所的な差を最小にしようとし、これらの局所的最小値
をつぎに適切な方法によって完全な絵に拡大する。一般
的にこれらの方法もまた、１画素までのディスパリティ
精度にしか計算されないが、これは多くの適用分野にと
って充分な精度ではない。

【００２６】要するに、輝度利用法は実際に密なディス
パリティマップを提供するものであるが、この方法のよ
うに差を最小にするために誤差を最小にするのは時間が
かかり、したがって実時間適用には適さない。必要な計
算時間の短縮は、階層法を使用することによって達成で
きるが、これは並列には実行できない複雑なアルゴリズ
ム構造の使用によってのみ可能であり、そのハードウェ
アの構成は極めて複雑であり、したがってコスト集約的
である。

【００２７】さらに、位相利用法は本発明の主題であ
る。これらの方法は、生画像データから局所フーリエ位
相を抽出し（通常、ガボール関数を使用してフィルタリ
ングすることによって）、つぎにこれらのフーリエ位相
画像（右像または左像）を（たとえばウェング(Weng)に
よって記載されているように）一致させるか、またはフ
ーリエ変位理論の適用を介して（サンガー(Sanger)、フ
リート アンド ジェプソン(Fleet & Jepson)によって
記載されたように）局所変位を計算しようとする。した
がって局所フーリエ位相の抽出は局所コントラスト同調
に事実上対応するので、輝度のゆらぎによって生じる他
の立体法における多くの誤差が減少する。これらの位相
利用立体法は、画素以下のレベルまで正確に機能し、実
時間用途にも実現することができる。しかし、密なディ
スパリティマップを達成するためには、階層法が使用さ
れ、これは誤差を防止するために通常、特殊な記録状況
を処理しなければならない（フリート(Fleet)参照）。
これは、使用するアルゴリズムを複雑にし、ハードウェ
アの実現を複雑かつコスト集約的にする。

【００２８】したがって、本発明の目的は、立体画像を
実時間で処理することができ、簡単な手段および低費用
で実現できる画像処理装置を特定することである。さら
に、本発明の目的は、上述の装置で使用できるコヒーレ
ンス検出器を特定することである。

【００２９】本発明によると、この問題は、１つの信号
値が各々与えられるｎ個の信号入力と、ｎ個の入力信号
値をそれらの値によって分類し、ｎ個の分類された値を
並列出力するための第１分類装置と、２つの隣接する分
類された値の減算のためのｎ−１個の減算装置と、得ら
れたｎ−１個の差をそれぞれの値に関して分類し、差が
最小の値を出力するための第２分類装置と、決定された
差が最小の値に属する値対の入力信号値を出力する選択
装置と、出力値対を送られ、その平均値を出力する出力
装置とを備えたコヒーレンス検出器によって解決され
る。

【００３０】代替的に、この問題は、特定の入力信号値
が与えられるｎ個の信号入力と、ｎ個の入力信号のう
ち、その入力信号値が２ｘ／ｍの間隔でｍ＋１個の値を
持つ予め定められた有限窓値範囲［−ｘ，．．．，
０，．．．，＋ｘ］内に存在するものを出力するための
窓制限装置と、窓制限装置によって出力された値を予め
定められた窓値範囲のｍ＋１個の値の最隣接値に丸める
ための丸め装置と、アドレシング駆動装置および畳込み
積分装置において畳込み積分装置が窓値範囲の数の値に
対応するｍ＋１個の信号入力を持ち、ｎ個の信号のこれ
らの値がアドレシング駆動装置によって特定のｋ番目の
入力に供給され、信号が−ｘ＋（ｋ−１）^＊２ｘ／ｍの
値を持ち、したがってｍ＋１個の放射放出素子のうち対
応するｋ番目を駆動し、放射から放出へのこうした遷移
が窓値範囲の値の数に対応するｍ＋１個の放射受容素子
によって捕捉されるように構成されたアドレシング駆動
装置および畳込み積分装置と、ｍ＋１個の放射受容素子
のうち最大の放射強度を捕捉する素子のアドレスｋを決
定し、このアドレスの値ｋを出力端子に出力する評価装
置とを備え、該出力値が畳込み積分装置に供給された信
号の畳込み積分の結果を表わして成るコヒーレンス検出
器によって解決される。

【００３１】さらに、この問題は、供給される第１画像
および異なる記録角度で取られた第２画像の画像データ
の相互シフトのための変位機能を備え、画像データが変
位機能から並列に取り出されると共に出口に接続された
ディスパリティ検出装置に対になって供給され、これに
よってディスパリティ検出装置は１つの特定のディスパ
リティ素子を使用して、供給された画像データ対の各々
について特定の画像データ対の空間奥行き情報を表わす
ディスパリティ値を計算すると共に、決定されたディス
パリティ値を請求項１、２、または３から６のいずれか
にかかわるコヒーレンス検出装置に供給し、ここで出力
されるディスパリティ値が画像データのシフトごとに決
定され、対応する空間奥行き情報を表わすように構成さ
れた画像処理装置によって解消される。

【００３２】本発明の設計によれば、供給される画像信
号は、画像受信器によって供給される速度で処理するこ
とができる。したがって、この画像処理はわずかな費用
で実時間で奥行き情報を得ることができる。

【００３３】システムのこの高い処理速度（実時間）
は、従来の最新の技術より優れた重要な利点である。画
像受信システムに送られそれによって実時間で処理され
る画像速度が例えば毎秒２５画像のとき、このシステム
またはそれにより実現される方法は、最新の技術で知ら
れている構成または方法より、１００倍高い速度で優れ
ている。

【００３４】また、測定しようとする測定対象物体の体
積は、知られているシステムのように制限されなくな
る。とくに、本発明の画像処理装置の測定範囲は、使用
するイメージングレンズの限界によってのみ決定され、
顕微鏡レンズ、望遠鏡レンズまたは広角レンズなどの全
ての光学的付属装置は、これらが適応される限り、画像
記録装置と一緒に使用することができる。とくに、本発
明のシステムでは、最新技術のシステムでしばしば要求
されるマーキング補助手段なしで、測定対象物体を評価
することができる。

【００３５】補助マーキングなしで測定対象を評価する
潜在的可能性のため、投影装置の必要性もなくなる。し
たがって、本発明の装置はさらに小型軽量化され、その
取扱いは簡素化され、いっそう多様な潜在的可能性が得
られる。

【００３６】また、測定対象物体自体の前処理、たとえ
ば測定前に物体表面の反射や輝やきを防止するために測
定対象物体に明るい色の粉末をかけることや、測定の終
了後に粉末を除去することは、本発明の装置ではなくす
ることができる。これらの作業段階の節約のため、本発
明の装置はより高速でしかもより安価に作動する。

【００３７】さらに、本発明の装置では、どんな種類の
画像信号源でも好ましい方法で接続することができる。
つまり、本発明は可視光の範囲に限定されず、たとえば
赤外範囲の画像信号の評価を行うことができる。

【００３８】本発明のコヒーレンス検出器により、とく
に、多数の入力信号から値が相互に最も接近した信号を
実時間で決定し、ついでこの「最もよく似た」値を処理
し続けることができる。

【００３９】本発明の有利な改良点を従属請求項に提示
する。

【００４０】本発明を以下で、添付の図面に関連する設
計例に基づいてさらに詳しく説明する。

【００４１】図１は本発明のシステムの全体のブロック
図、図２は用語を説明し定義するための立体画像捕捉の
略図、図３は画像信号変位装置およびディスパリティ決
定装置を含む詳細を示すブロック図、図４は単一の勾配
方式または差分によるディスパリティ素子の機能図、図
５は図４により機能的に説明した個々のディスパリティ
素子のハードウェア構成のブロック図、図６はコヒーレ
ンス検出器の第１設計例のブロック図、図７はコヒーレ
ンス検出器の１つの設計変化例の略図、図８は畳込み積
分の原理に基づいて動作するコヒーレンス検出器の第２
設計例、図９は図８に示すコヒーレンス検出器の畳込み
積分装置の構成の詳細、図１０は１本の画像線の全ての
画素について様々なディスパリティ素子によって決定さ
れるディスパリティを示すグラフ。そののち、コヒーレ
ンス検出器によって、画像線のプロフィールにおけるデ
ィスパリティから実際または真のディスパリティが決定
される、図１１は画像信号ストリームとして供給される
第１および第２（または左および右）画像記録装置の２
つの画像の例、および本発明装置によって決定されるい
わゆるディスパリティマップの形の奥行き情報の表現で
ある。

【００４２】図１は、三次元物体を実時間で測定するた
めの本発明の立体画像処理装置をブロック図として示
す。

【００４３】この画像処理装置は、（第１）左像用の画
像記録装置ＣＣＤＬと（第２）右像用の画像記録装置Ｃ
ＣＤＲとの２つの画像記録装置からなるセンサヘッドを
特徴とする。これらの画像の一方は、その後の処理用の
基準画像と定義される。これは、決定されたディスパリ
ティ結果を基準画像の画像データに割り当ててディスパ
リティマップを生成することを意味する。

【００４４】たとえば、画像記録装置は、相互に予め定
められた既知の間隔で配置され、したがって同一物体の
容易に区別できる画像を撮るＣＣＤ画像記録装置を備え
た１対のカメラとすることができる（図２および図１１
参照）。とくに、画像記録装置は動画像を保持し、それ
らをその後の実時間処理用の装置に転送することができ
る。画像記録装置−同期装置ＳＹＮＣによって、画像記
録装置ＣＣＤＬ、ＣＣＤＲの写真は時間的に同期化され
るので、左像と右像は相互に同期して撮られる。

【００４５】画像記録装置またはカメラからの物体の距
離によって、記録される像点はディスパリティとよばれ
るわずかな変位を持つ。これは、同じ物体が第１像また
は第２像で異なる位置に現れることを意味する。

【００４６】ディスパリティ検出器ＤＤとして設計され
た後続装置およびディスパリティ−コヒーレンス検出器
ＫＤとして設計された装置（両方とも後で詳しく説明す
る）によって、実際のディスパリティまたは変位を決定
することができ、ついで画像記録装置ＣＣＤＬ、ＣＣＤ
Ｒ間の既知の距離を考慮した三角法計算によって、特定
の物体の空間距離を計算することができ、したがって必
要な奥行き情報が得られる。

【００４７】この方法で２つの立体動画像から計算され
る奥行き情報は、映像信号として実時間でほぼ遅延無し
で出力することができ、中間調画像またはカラー画像と
して三次元（たとえば第３像）として表わすことができ
る。したがって、システムの実時間処理は、とくに、Ｃ
ＣＤＲ、ＣＣＤＲ画像記録装置によって供給される画像
データの逐次処理によって管理される。

【００４８】画像記録装置−同期装置にクロック発振器
ＣＬＫが結合される。このクロック発振器は、システム
の他の構成装置を制御および同期化するためのタイミン
グ信号を生成する。

【００４９】記録された画像信号は、画像記録装置ＣＣ
ＤＬ、ＣＣＤＲから関連前処理装置ＶＶＬ、ＶＶＲに供
給される。後続処理の前に、これらの前処理装置ＶＶ
Ｌ、ＶＶＲで２つの立体画像の輝度同調が行われる。画
像処理装置ＣＣＤＬ、ＣＣＤＲの画像記録角度のわずか
な相違のため、記録された（反射性）物体の表面からの
いわゆる眩しい光や反射が発生することがあり、これは
ディスパリティを確かめるための画像データの後続処理
に誤差を生じ、ディスパリティ値が不安定になるおそれ
があるので、輝度のこの前処理は有利である。

【００５０】カラー画像を処理する場合、前処理の一部
として、前処理装置は特定の（第１および第２）カラー
画像データを幾つかのカラー画像成分（たとえば原色の
赤、緑、青（ＲＧＢ）、または輝度および２つの色差成
分）への分解を行うことができる。さらに、第１および
第２画像データに異なる種類の前処理を行うこともでき
る。

【００５１】前処理装置ＶＶＬ、ＶＶＲによる画像デー
タの前処理の終了後、第１および第２（または左および
右）像の画像データは、相互に対する左右画像データの
相互変位のための装置ＶＳＥＬ、ＶＳＥＲに転送され
る。または、より正確に述べるならば、これは、２つの
変位装置ＶＳＥＬ、ＶＳＥＲが１つの変位ユニットを形
成し、１変位ユニットにつき「右」および「左」への１
つの変位ストリームの画像データがあることを意味す
る。特定の適用業務によっては、各型の画像データに対
し１つの変位ユニットを設けなければならない。これ
は、原色Ｒ、Ｇ、およびＢへの分解による前処理の場
合、いうまでもなく、各原色に１つづつ、３つの変位ユ
ニットを設けることができることを意味する。

【００５２】つぎに、このようにして相互に対してシフ
トされた画像データのディスパリティが、ディスパリテ
ィ検出器ＤＤによって、各々の特定の画像データ対ごと
に決定され、画像データ対に対して得られた特定の組の
ディスパリティ値が、ディスパリティ−コヒーレンス検
出器ＫＤによって求められる。

【００５３】得られたディスパリティに関するこのコヒ
ーレンス検出は、得られたディスパリティ値の中で、得
られたディスパリティ値の別の少なくとも１つとほぼ同
一である１つを選択または決定することに基づく。いい
かえると、ディスパリティ値は、少なくとも１つの他の
ディスパリティ値とほぼ同一（すなわちその前後で予め
定められた間隔のもの）であるか、または少なくとも１
つの他のディスパリティ値と同一である実際または真の
ディスパリティ値として決定される。代替的に、このデ
ィスパリティ値は、得られたディスパリティ値の畳込み
積分結果を表わす実際のディスパリティ値として決定す
ることができる。図１０はこの原理を、ディスパリティ
検出器の幾つか（たとえば７つ）のディスパリティ素子
からのデータに基づいて示す。

【００５４】この種のディスパリティ−コヒーレンス検
出器ＫＤによって決定される実際のディスパリティ値
は、つぎに、そこから画像データの後続処理用の装置Ｎ
Ｂに渡される。この装置ＮＢはディスパリティ値を処理
して、それを出力接続ＤＶを介して任意選択的に接続さ
れたたとえば表示装置（図示せず）などの出力装置に転
送することができるようにし、かつそこから中間調画像
またはカラー画像として転送できるようにする。ディス
パリティ値のよりよい提示のため、発生するエッジ効果
やバーチャル制限（virtual limiting）は、画像データ
の後続処理の枠内で起こる。

【００５５】システムの構成のために外部制御装置（図
１には図示せず）を設ける。これは、システムへの適切
なインタフェースを備えたワークプレースコンピュータ
として実現することができる。

【００５６】図２は、立体画像捕捉の原理を説明する略
図である。符号ＣＣＤＬ、ＣＣＤＲは相互に距離ｄの位
置に配置された画像記録装置である。結像される物体ま
たは特定の画像記録装置の感光性捕捉領域に結像される
点Ｐ１、Ｐ２は、入口に接続された対物レンズを介して
焦点を合わされる。この場合、距離ｄは、垂直方向に走
る破線として記録された対物レンズの光学的領域間の距
離として定義される。点Ｐ２は、光軸の方向において点
Ｐ１より遠い。

【００５７】略図に示すように、画像記録装置の記録領
域における点Ｐ１、Ｐ２の画像は、距離の関数として変
化する。画像記録装置が特定の数の画素からなると想定
した場合、画像記録装置ＣＣＤＬの点Ｐ１は画素ｊに結
像し、点Ｐ１は画像記録装置ＣＣＤＲの画素ｊ＋ｙに結
像する。したがって画素ｊおよびｊ＋ｙは、それらの情
報内容に関して一致する。このシフト（ディスパリテ
ィ）ｙのため、既存の三角法条件から、点Ｐ１の距離を
決定することができる。つぎに、点Ｐ１までの距離を基
準距離と定義し、これを装置の基本測定領域とみなすこ
とができる。すると点Ｐ１は、（相対的）ディスパリテ
ィを零と想定された固定視面（fixation plane）と定義
される基準面に静止する。いいかえると、決定されるデ
ィスパリティは固定視面に対するものになる。評価する
第１および第２画像データ間の事前シフト（たとえばｙ
１またはｙ２）を適切に選択すれば、こうして固定視面
を決定することができ、基本測定領域を決定することが
できる。つまり、これは、第１および第２画像の画像デ
ータを変位装置ＶＳＥＬ、ＶＳＥＲに転送する前に、事
前シフト（たとえばｙ２）の量に関して順次シフトされ
ることを意味する。

【００５８】固定視面の周囲にディスパリティ値［−
ｘ、．．．，０，．．．，＋ｘ］の間隔でいわゆる融合
領域がある。したがって融合領域は「コントラスト奥行
きの領域」に対応する。融合領域の（相対的）ディスパ
リティ値は、変位装置ＶＳＥＬ、ＶＳＥＲによって生じ
る画像データの追加シフトに基づいて決定される。評価
される追加変位が大きければ大きいほど、固定視面の周
囲の融合領域およびしたがって「コントラスト奥行きの
範囲」は大きくなる。したがって、追加的に達成可能な
変位は、以下で説明する変位装置の変位素子の数ｎおよ
びそれらの制御装置の種類の両方に関係する。

【００５９】図３は、両方合わせて変位装置を形成する
（第１）左像の画像データ用の画像データ変位装置ＶＳ
ＥＬと（第２）右像の画像データ用の画像データ変位装
置ＶＳＥＲ、およびディスパリティ決定装置としてのデ
ィスパリティ検出器ＤＤの詳細を示す。したがって、図
３に係る構成部品は、アナログまたはデジタル設計を使
用する特定のインプリメンテーションとして指定せず、
最初に実際の設計の種類とは関係なく、一般的な形でそ
れらについて説明する。

【００６０】特定の前処理装置ＶＶＬ、ＶＶＲによって
出力される画像データは、画像データ変位装置ＶＳＥ
Ｌ、ＶＳＥＲに送られる。この送出しは、上述の通り、
所望の基本測定領域にしたがって事前シフトとともに行
われる。この特定の例では、説明を簡素化するために、
１つの種類の画像データ用の、たとえば原色Ｒ、Ｇ、Ｂ
の中の１つのための変位装置しか示されていない。

【００６１】この場合、特定の画像データは、変位ユニ
ットの変位装置に直列に相互に同期して送られる。各々
の変位装置ＶＳＥＬ、ＶＳＥＲは、多数の変位素子ΔＸ
_L1ないしΔＸ_LnまたはΔＸ_R1ないしΔＸ_Rnからなる。１
行毎の操作画像記録装置を使用する場合に、これらの素
子は、ｘ軸方向、すなわち主感知（奥行）の方向に、送
込み画素の少量の追加シフトを生じる（図３はｎ＝７の
場合の１例を示す。）。

【００６２】画素（ピクセル）は、左または右像の直列
画像データストリームの第１（ただし事前シフトを考慮
して）画素（たとえば特定の画像の上左角の画素）から
相互にシフトされる。つぎに、既存のディスパリティに
関する画素の評価が対で行われる。より正確には、対に
なったシフト画像データ（ΔＸ_L1、ΔＸ_Rn）、（Δ
Ｘ_L2、ΔＸ_Rn-1）、．．．（ΔＸ_Ln-1、ΔＸ_R2）、（Δ
Ｘ_Ln、ΔＸ_R1）に基づき、ディスパリティに関して対に
なった評価が行われる。変位におけるΔＸの値は、１つ
の画素の長さに対応する値に調整することができる。よ
り大きい依存性（実現される方法の「安定性」）および
精度が必要な場合、このシフトは、１画素の長さより小
さい値、たとえば１画素（ピクセル）の長さの２分の１
に調整することができる。しかし、融合範囲を一定に維
持しようとすると、これにはより多数の（演算）エレメ
ント（以下で説明する）が必要になる。

【００６３】変位装置ＶＳＥＬ、ＶＳＥＲをアナログ回
路として設計する場合、これらは、対応する信号ピック
オフを備えた数珠つなぎ状または縦続接続状態の走行時
間素子（遅延素子）で構成される。したがってｘ方向の
変位の量は走行時間に対応し、画素から画素に次々と、
または１画素未満の単位で選択することができる。

【００６４】変位装置ＶＳＥＬ、ＶＳＥＲをデジタル回
路として設計する場合、特定のユニットは直列に接続さ
れたシフトレジスタで構成され、対応するクロック信号
はクロック発振器ＣＬＫから（必要ならば中間分周器
（図示せず）を介して）これらのシフトレジスタに送ら
れる。しかし、この場合、アナログ／デジタル変換器に
よってアナログ画像データをデジタル画像データに変換
する必要がある。この種のアナログ／デジタル変換器
は、前処理がアナログまたはデジタル手段で行われるか
によって、信号路の特定の前処理装置ＶＶＬ、ＶＶＲの
前または後に設けることができる。

【００６５】デジタルシフトレジスタの場合、特定の変
位装置の変位素子ΔＸ_L1、ΔＸ_riは、デジタル画像デー
タと共に供給されるクロック信号によって、画素ごとの
シフトによって制御される。画素未満の精度が要求され
る場合には、すでにデジタル化されたデータが特殊フィ
ルタに送られる。たとえば、２分の１画素に対応する変
位は、平均値に対応するフィルタに２つの順次画素を通
し、得られた値を２分の１画素だけ移動した位置におけ
る画素の信号値とみなす。この種のフィルタリングは、
隣接する画素のディザリングに対応する。

【００６６】これに関して、制御は、変位装置ＶＳＥ
Ｌ、ＶＳＥＲの両方に対し同時に、またはどちらの追加
変位領域（「コントラストの奥行きの範囲」）を望むか
によってカウンタフェーズ（逆行位相）でも行うことが
できる。ｎ＝７の図３の例に関しては、これは同時制御
により、相互に＋／−６、＋／−４、＋／−３、および
０だけシフトされる画像データ対が評価され、比較され
ることを意味する。カウンタフェーズ制御の場合、同じ
例で−７、−５、−３、．．．，＋５、および−６、−
４、−２、．．．、＋６の変位が可能である。より大き
い追加変位に基づいて、コントラスト奥行きの拡大範囲
が期待される。図３はｎ＝７の場合の一例を表わすが、
本発明は奇数値のｎに限定されず、むしろ偶数や、あら
ゆる数の変位素子を使用することができる。

【００６７】つぎに、上述の画像データの対（ΔＸ_L1、
ΔＸ_Rn）、（ΔＸ_L2、ΔＸ_Rn-1）、．．．（ΔＸ_Ln-1、
ΔＸ_R2）（ΔＸ_Ln、ΔＸ_R1）は各々、特定の画像データ
の対の対応するディスパリティを決定するために、評価
のためのディスパリティ検出器ＤＤのｎ個の素子ＥＳＴ
₁、．．．ＥＳＴ_nの１つに送られる。これに関して、図
３にかかわる簡素化された例に基づき、１つのディスパ
リティ検出器ＤＤしか示されていないことに注意された
い。しかし、ディスパリティ検出器ＤＤの幾つかの変位
ユニット（たとえばＲ、Ｇ、Ｂ）素子ＥＳＴiがある。
例えば、評価は勾配方式、テンソル方式、エネルギ方
式、またはレイチャード（Reichard）回折検出モデル方
式でも行うことができる。これらの評価原理は技術文献
（バロン(Barron)、フリート アンド ジェプソン(Fle
et & Jepson)、アデルソン アンドベルガー(Adelson &
Berger)など）に充分詳しく述べられており、詳細な説
明は現時点では不要であろう。

【００６８】ディスパリティ素子ＥＳＴ_i（１≦ｉ≦
ｎ）によって出力されたディスパリティ値はつぎにコヒ
ーレンス検出器ＫＤに送られ、これは供給された値から
実際のディスパリティ値を決定する。とくに、幾つかの
ディスパリティ検出器ＤＤがある場合、特定のディスパ
リティ検出器の全ての出力は、下流のコヒーレンス検出
器ＫＤに送られる。

【００６９】つぎに、図４は勾配方式で評価を行う場合
のディスパリティ素子ＥＳＴ_iの詳細な機能図を示す。

【００７０】この場合、画像データΔＸ_Li、ΔＸ_Rn+1-i
（１≦ｉ≦ｎ）は特定のディスパリティ素子ＥＳＴ_iに
供給される。つぎにこれらは１画素（ピクセル）づつ加
算を実行する装置（参照符号「＋」）に送られ、つぎに
参照符号「１／２」で表わされる乗算装置に送られ、こ
れは加算画素値に１／２の掛け算を行い、供給された画
像データの対の平均値を形成する。そののち、このよう
にして処理された画像データは微分フィルタＤＩＦＦを
通過する。簡単な微分フィルタＤＩＦＦは、つぎの表１
に示すようなフィルタ係数を取ることができる。

【００７１】

【表１】

【００７２】一方、このフィルタから出力されるデータ
値に、参照符号「ｘ2」で表わされる装置で１×１画素
の２乗が行われ、つぎにこのようにして得られた値は、
平均化フィルタＡＶＥに送られる。

【００７３】一方、フィルタＤＩＦＦから出力されたデ
ータは乗算装置（参照符号「＊」）に送られ、ここでそ
れに、減算装置（参照符号「−」）によって１度に１画
素づつ得られたΔＸ_Li、ΔＸ_Rn+1-iの差が１画素づつ乗
算される。このようにして得られた値は乗算装置の出力
部に与えられるが、別の平均化フィルタＡＶＥにも送ら
れる。

【００７４】両方の平均化フィルタＡＶＥについて、表
２に示すようなフィルタ係数を選択することができる。

【００７５】

【表２】

【００７６】２つの平均化フィルタの出力部に得られる
データ値はその後、除算装置（参照符号「÷」）に送ら
れ、これは決定されたディスパリティ値を特定のディス
パリティ素子ＥＳＴ_iの出力信号として出力する。

【００７７】使用される両方のフィルタでフィルタリン
グはｘ方向でのみ必要であり、これは直列の画像データ
の集合のフィルタリングに対応するので、この種のディ
スパリティ素子はアナログ技術で充分に実現することが
できる。しかし、デジタル実現も可能である。

【００７８】このようにして決定されたディスパリティ
値は、ディスパリティ素子ＥＳＴ_iの出力部に出力され
るが、ついでディスパリティ−コヒーレンス検出器ＫＤ
にも送られる。

【００７９】図５は、図４に関連して機能について上述
した個々のディスパリティ素子ＥＳＴ_iのハードウェア
実現のブロック図を示す。ディスパリティ素子ＥＳＴ
は、回路全体を同期化するためにクロック発振器ＣＬＫ
から導出されるクロック信号ＴＡＫＴによってクロック
される、個々の画素の一時的保存用のシフトレジスタＳ
Ｒ１ないしＳＲ４で構成され、また算術論理回路（平均
値形成装置１：「Σ／２」、減算装置２：「−」、乗算
装置４、５：ＭＵＬ、加算装置３、６、７：「Σ」、除
算装置８：ＤＩＶ）からも構成される。ここで図４に参
照符号ＤＩＦＦで指定されるフィルタは、シフトレジス
タＳＲ１、係数乗算装置Ｋ（Ｋ１、Ｋ２、Ｋ３）、およ
び加算装置３によって実現される。さらに、図４にＡＶ
Ｅで表わされるフィルタはここで、シフトレジスタＳＲ
３、係数乗算装置ＪＡ（係数Ｊ１、Ｊ２、Ｊ３、Ｊ４、
Ｊ５）、および加算器６によって、またはシフトレジス
タＳＲ４、係数乗算装置ＪＢ（係数Ｊ１、Ｊ２、Ｊ３、
Ｊ４、Ｊ５）、および加算装置７によって構成される。
ディスパリティは、除算装置８の出力部に出力される。
ブロック図に示される回路構成は全体的に、図４にかか
わる機能図に関連して述べたディスパリティ素子ＥＷＳ
Ｔの動作および機能を実現する。

【００８０】図６は、第１設計例に係るコヒーレンス検
出器またはディスパリティ−コヒーレンス検出器ＫＤの
ブロック図を示し、この例では入力部が４つしかないコ
ヒーレンス検出器ＫＤが示されている。図３に示した例
の場合、回路は、したがって７つの入力に、または一般
的にはｎ個の入力に拡張する必要がある。幾つか（ｚ
個）のシフト装置に各々ｎ個のＥＳＴ素子を有する割り
当てられたディスパリティ検出器ＤＤを設ける場合、回
路はｚ^＊ｎ個の入力に拡張する必要がある。

【００８１】決定されたディスパリティのデータ値は入
力部Ｅ１からＥ４に与えられ、（図示されていないが４
個の）ＥＳＴ素子ＥＳＴ_iから送られる。データ値は、
値の大きさによって分類され、出力部ＡないしＤに出力
される。本例では、出力Ａに最小値が与えられ、最大値
は出力Ｄに与えられる。この種の分類装置は比較器と、
マルチプレクサから成る論理ゲートとで構成することが
でき、ここでは詳しく説明しない。出力ＡないしＤは各
々マルチプレクサＭＵＸ１に送られる一方、その他に、
対応する値の差Ｂ−Ａ、Ｃ−Ｂ、およびＤ−Ｃを決定す
るために、出力は２つづつ減算装置（「−」）に送られ
る。差は別の分類装置Ｓ２に送られ、これは大きさ別に
分類された差の値を出力する。本例では、最小の結果だ
け（出力部「＜＜」）がさらに処理され、これは相互に
「最も近接」した、すなわち相互のずれが最小のディス
パリティの値対を表わす。分類装置Ｓ２の結果、すなわ
ち出力部「＜＜」の値はつぎに、均等性を検査する装置
「＝」に送られ、この装置は、入力値のうちのどれが結
果を表わすかを決定するために、得られた結果を分類装
置Ｓ２に送られた差と比較する。この変化例は、分類装
置Ｓ２の内部意思決定状態からも決定できるので、より
簡単な回路機構設計を表わす。均等性を検査する装置か
ら得られる結果は、差に属する分類装置Ｓ１の２つの出
力信号を平均値形成装置（参照符号「Σ／２」）に送る
ために、マルチプレクサＭＵＸ１を駆動するためにも使
用され、平均形成装置は、平均値を決定するために２つ
の値を加算し、ついでそれを２で割る。したがってこの
平均値は、結果ＫＥ、すなわち多数の決定されたディス
パリティ値のコヒーレンス値を表わす。

【００８２】上述の回路の１つの変化例は、決定された
差を閾値と比較することからなり、特定の閾値より低い
か、または閾値によって決定される値範囲内（たとえば
融合領域）の候補または値だけが処理される。出口に接
続されたスイッチング装置はつぎに、隣接する候補の最
大のクラスタを探す。どちらの変化例も可能であり、特
定の適用分野に関連して、よりよい結果を提供すること
ができる。

【００８３】図７は、ＥＳＴ素子の出力信号の他に、追
加データがコヒーレンス検出器に送られるようにした、
上述のコヒーレンス検出器ＫＤの１つの設計例を示す。
このデータは特に、ラインネスト方式または「インタレ
ース」方式で画像データを得る場合、および１つの完全
な映像の完全な画像情報をたとえば２つの半画像から構
成する場合に使用することができる。したがって、１つ
の半画像の画像データについてディスパリティ値が決定
され、ディスパリティの対応するコヒーレンス値が１つ
の半画像の像点について決定される。半画像の像点の値
ＫＥは、記憶装置ＭＥＭ（半画像分の記憶容量）に一時
的に保存され、つぎの半画像期間中に読み出され、コヒ
ーレンス検出器ＫＤの追加供給入力接続部に送られる。
コヒーレンス検出器ＫＤの内部構造は、図６に関連して
述べたものと基本的に同一であるが、追加（フィードバ
ック）信号をも処理することができ、異なる変化例が可
能であるという点が異なる。とくに、フィードバックさ
れたコヒーレンス−ディスパリティ値は、分類装置Ｓ１
に送ることができ、そこで考慮されるか、または後で平
均値を形成するときにだけ利用することができる。後者
の場合、それは平均値形成装置（参照符号「Σ／２」）
に送られる。そのときは図６に示す回路はそれに従って
変更する必要がある。

【００８４】この方法で２つの半画像を考慮して、１つ
の完全な画像の「真」のディスパリティ値（コヒーレン
ス−ディスパリティ値）を得ることができる。図８は動
作モードが畳込み積分原理に基づくコヒーレンス検出器
の第２設計例を示し、図９は図８に示すコヒーレンス検
出器における畳込み積分装置の実現の詳細を示す。

【００８５】よりよく理解するために、最初に本例の畳
込み積分の原理を概略的に説明する。コヒーレンス検出
器の目的は、すでに上述した通り、供給された入力値の
中から、１つまたは幾つかの他の値にできるだけ近い値
を決定することである。特定の値範囲内のどの値が畳込
み積分値または畳込み積分結果に対応するか、したがっ
て１つまたは幾つかの他の値にできるだけ近い値である
か（つまり、畳込み積分値と周囲のものとの差がデフォ
ルト値以下であること）を決定するために、得られた値
は相互に畳込み積分される。これは、特定の値に対照的
な適切な間隔が、畳み込まれる値の各々に相互に重ね合
わされることを明示することによって表わすことができ
る。したがって、間隔の適切な選択を前提として（これ
は各値についても同じである）、個々の間隔の幾つかが
重なり合う。個々の間隔の大部分が相互に重なる特定の
値範囲内の領域（最大数の個々の値から成る交差値に対
応する）、または重なり合う間隔（最大積分）の最大パ
ーセンテージ表面積を持つ領域は、畳込みの結果を表わ
す。

【００８６】図８は、この種の畳込み積分演算を実時間
で実行する１つのハードウェア解決策を示す。こうした
演算は以前は、時間のかかる方法で、たとえばデジタル
信号処理装置を使用することによってしか実行できなか
った。

【００８７】この場合、ディスパリティ検出装置ＤＤの
ｎ個のディスパリティ素子ＥＳＴ_i（１≦ｉ≦ｎ）から
特定の信号入力に供給される入力信号は、最初に窓制限
装置ＦＢに送られる。窓制限装置ＦＢはつぎに、ｎ個の
入力信号のうち、入力信号値が予め定められた窓値範囲
内に位置するものを出力する。この範囲は、２ｘ／ｍの
間隔でｍ＋１個の値を持つ間隔［−ｘ、．．．、
０、．．．、＋ｘ］内の有限窓値範囲であり、値範囲＋
／−の制限が固定視面（ディスパリティが零）を中心と
する有効領域にディスパリティ値によって決定されるこ
とが望ましい。

【００８８】ｎ個の入力信号のうち、信号値がこの窓範
囲内に該当しないものは、窓制限装置の適切な出力でこ
の事実を示す状態（例えば高インピーダンス状態）に変
換され、関連信号の追加処理は行われない。

【００８９】入力信号のうち入力信号値が窓範囲内のも
のだけが、後続丸め装置Ｒによって追加的に処理され
る。丸め（量子化）装置Ｒは、窓制限装置ＦＢによって
出力された値を、予め設定された窓範囲の最も近いｍ＋
１個の値に丸める。したがって、特定のディスパリティ
素子ＥＳＴ_iによって出力される（無限）数の値が有限
のｍ＋１個の値に反映され、その後畳込み積分を受け
る。したがって、ｍの値を増すことによって畳込みの精
度を増加することができる。

【００９０】つぎに、窓制限装置ＦＢによる窓制限およ
び丸め装置Ｒによる丸めの後、ｍ＋１個の信号値のそれ
ぞれ１つを持つ最大限ｎ個の信号（全ての入力信号値が
窓範囲内にある場合）が存在する。

【００９１】これらの信号は、アドレス指定制御装置Ａ
Ａを介して畳込み積分装置Ｆに送られる。こうして信号
の特定の値によって、この信号入力に割り当てられる畳
込み装置がトリガされる。これは、アドレス指定制御装
置ＡＡに供給される信号のうち、−ｘ＋（ｋ−１）^＊２
ｘ／ｍの値を持つもの（最大ｎ）がこうして畳込み装置
Ｆのｍ＋１個の信号入力Ｅ_kのうち対応するｋ番目の信
号入力および畳込み装置Ｆの各々の特定の信号入力Ｅ_k
に送られ、供給された信号によって駆動される１つの放
射放出素子が割り当てられることを意味する。この場
合、特定の放射放出素子は、放出される放射が多ければ
多いほど、多くの供給信号が特定の放射放出素子を駆動
するために使用されるように設計される。より簡単に言
い換えると、放射放出素子ｋは、２つの信号が−ｘ＋
（ｋ−１）^＊２ｘ／ｍの値を持つときには、対応する値
を持つ１つの信号だけがｋ番目の放射放出素子の駆動に
貢献する場合より、２倍も多くの放射を放出する。

【００９２】こうして放出される放射は、窓範囲の値の
数に対応するｍ＋１個の放射受容素子によって受容され
る。また、ｍ＋１個の放射受容素子のうち、最大放射強
度を捕捉する素子のアドレスｋを決定する評価装置ＡＷ
を設ける。このアドレスの値ｋは１つの出力接続ＫＥに
出力され、この出力値は、畳込み積分装置に送られた信
号の畳込み積分の結果を表わす。

【００９３】図９は、畳込み積分装置Ｆの詳細を示す。
図示した放射放出素子は、例えば発光ダイオードＬＥＤ
₁、．．．、ＬＥＤ_k、．．．ＬＥＤ_m+1とすることがで
きる。この場合、可視範囲の光を放出することができる
が、赤外範囲で放出する放射放出素子を使用することも
できる。この場合、発光ダイオードは透明な基板ＳＵＢ
の上面に配置される。この基板は、たとえばガラス基板
とすることができる。放射受容素子ＰＤ１、．．．、Ｐ
Ｄｋ、．．．、ＰＤｋ＋１は、ダイオードの反対側の適
切な位置に、基板の底面に向けて配置される。これらの
放射受容素子は、たとえばフォトダイオード（たとえば
ｐｎフォトダイオード、ｐｉｎフォトダイオード、ショ
ットキーフォトダイオードなど）、またはフォトトラン
ジスタとすることもできる。いうまでもないが、使用す
る放射受容素子を使用する放射放出素子の波長範囲に同
調させ、それらの動作範囲を放射放出素子に同調させる
ことは自明である。

【００９４】畳込み積分装置Ｆの動作について、１つの
例を基にして以下で説明する。素子ｋ−１、ｋ、および
ｋ＋１に対応するアドレス指定制御装置の（丸められ
た）値だけが供給されるので、ｍ＋１個の放射放出素子
のうち、素子ｋ−１、ｋ、およびｋ＋１だけを駆動する
と想定する。さらに、この例では、３つの値の各々がｎ
個のディスパリティ素子の各々に対し１回だけ決定され
たものと想定する。これはつまり、この例では、放射放
出素子ｋ−１、ｋ、ｋ＋１が同様に駆動され、したがっ
て、同量の放射を出力することを意味する。放出された
放射は基板ＳＵＢ内を伝搬し、空間的に重複し、放射受
容素子に移動する。つぎに、ｋ番目の放射受容素子は、
ｋ番目の放射素子から放出された放射および２つの直接
隣接する放射素子（ｋ−１、ｋ＋１）から出力された放
射をも受容する。したがって２つの隣接する受容素子ｋ
−１、ｋ＋１は、放出素子ｋ−１、ｋ、ｋ＋１、および
ｋ＋１、ｋ、ｋ−１の放射を受容する。しかし、受容素
子ｋ＋１の場合、空間伝搬および異なる距離に基づい
て、放出素子ｋ−１の百分率は、受容素子ｋの場合より
強く減衰する。したがって受容素子ｋは最大放射強度を
受容し、評価装置ＡＷは畳込み積分の結果としてアドレ
スの値ｋを決定し、それを接続ＫＥに転送する。この特
定の例では、畳込み積分の結果はこのように平均値に対
応する。

【００９５】別の変化例（図示せず）では、畳込み装置
は、対応するｍ＋１個のカウンタの配列から成る。上述
の丸めに基づき、それぞれの大きさに関して相互に隣接
するディスパリティ値が同一値に丸められるので、対応
するディスパリティ値に割り当てられる対応する配列の
ｋ番目のカウンタはしたがって、特に同じ丸め結果を提
供する（隣接する値のクラスタ内の）ディスパリティ値
の数だけ繰返し増分される。つぎに、後続の評価装置は
より大きいカウンタ値を持つカウンタのアドレスｋを結
果ＫＥとして出力する。

【００９６】図１０は、上述のディスパリティ−コヒー
レンス検出器ＫＤの動作モードを示す。図１０によるグ
ラフ表現では、画素位置または画素番号（基準画像とし
て選択された第１または第２画像を基準とする）を横軸
に取り、縦軸には各画素について、コヒーレンス検出器
ＫＤに供給されディスパリティ素子ＥＳＴ₁ないしＥＳ
Ｔ_nから出力されるｎ個のディスパリティ値を表す。例
えば本例の場合、１つのディスパリティ検出器ＤＤに対
しｎ＝７のディスパリティ素子ＥＳＴ_iがある。したが
って零のディスパリティ値は固視レベルに関連し、固定
視面までの距離に対応する。この面の周囲のディスパリ
ティの値は例えば−４から＋４の範囲であり、したがっ
て融合領域を表し、固定視面より近いかまたは遠い距離
に対応する。

【００９７】本例の各画素ごとにｎ個のディスパリティ
値は、第１または第２設計例に係る特定の選択されたコ
ヒーレンス検出器ＫＤによって実時間で処理または比較
され、供給された最大数の他のディスパリティ値と大体
同一のディスパリティ値が、実際のディスパリティ値と
して出力される。より正確には、これはつまり、特定の
ディスパリティ値が実際のディスパリティ値となるため
には、この特定のディスパリティ値の前後の例えば約
０．２ないし０．４の１つの間隔内にできるだけ多くの
ディスパリティ値が位置していなければならないことを
意味する。幾つかのディスパリティ値が特定の画素に対
し同一の値を持つ場合は最も簡単である。図１０のグラ
フ表現の場合、これは、１つの特定の画素に対しｎ個の
ディスパリティ値のうち少なくとも２つが交差する点に
対応する。特定の線の各画素のｎ個のディスパリティ値
の線ごとの分析から、図１０の右側に示すように、画像
の特定の線の実際のディスパリティのプロフィールが得
られ、また分析された画像の線の全体性から、ディスパ
リティマップを第３画像の形で決定または表すことがで
きる（図１０の右上の画像）。

【００９８】ディスパリティ素子ＥＳＴの数ｎの適切な
選択によれば、コヒーレンスについて評価されるディス
パリティ値がより多数存在することになるので、コヒー
レンス検出器によって決定される真のディスパリティの
精度または信頼性を高めることができる。とくに、各デ
ィスパリティ素子ＥＳＴは、測定範囲全体のディスパリ
ティを計算する。つまり、完全に並列である。実際のデ
ィスパリティ値を得るために、多くの最新技術の実現か
ら知られている概算から精密測定範囲までの反復近似計
算の多くを、今では省くことができる。

【００９９】さらに、ディスパリティ検出器ＤＤのディ
スパリティ素子ＥＳＴから得られる値に基づいて、決定
されたディスパリティの信頼性に関し、補足情報を得る
ことができる。これは、線の１点におけるディスパリテ
ィ値を考察する場合（図５参照）、隣接点が正確なディ
スパリティ値に近いことが、決定されたディスパリティ
の信頼性の尺度になることを意味する。したがって、決
定されたディスパリティの正確さの蓋然性に関する指標
を実時間で提供する信頼性マップを、画像全体にわたっ
て決定することができる。

【０１００】図１１は空間に配置された別の物体の例を
示し、「左画像」（ａ）および「右画像」（ｂ）は画像
記録装置ＣＣＤＬ、ＣＣＤＲによって撮られる。どちら
の画像にも、第１および第２物体が追加（第３）物体を
背景にして存在し、第３物体は図示された空間場面の背
景に見える。立体画像を実時間で処理する本発明の光セ
ンサシステムによる評価に基づいて、ビデオディスプレ
イに中間調（またはカラー画像）として表示できるディ
スパリティマップ（Ｃ）が得られる。図１１に係るディ
スパリティマップでは、前景に配置された物体は明るく
表示され、中間奥行き領域に配置された物体は奥行きに
適する明ないし暗のグレー値で提示され、画像の背景の
物体は、ディスパリティマップで最大の奥行きを持つ物
体として、ほぼ黒で表示される。しかし、図１１に係る
所与の例で示した表現の型は、絶対的に要求されるもの
ではない。同様に、前景の物体は暗く、背景の物体は明
るく表示することができる。

【０１０１】また、表示されたディスパリティマップ上
のデータは、このデータを使用することによって例えば
組立工程でロボットを制御したり、以前に定義した３Ｄ
製造データとディスパリティから決定される奥行き情報
の実際−所望比較を実行するなど、制御目的に使用する
こともできる。

【０１０２】無人車両が予め定められた最小奥行き値に
達すると、衝突を回避するためにコース修正を行わせる
ことができ、この原理を使用して、受動的および／また
は能動的空間警告および衝突防止システムを実現するこ
ともできる。このシステムのその他の潜在的用途とし
て、たとえば形成異常の分類のための身体の輪郭の三次
元感知などの医療技術分野がある。とくに、顎の手術や
可撓性または剛性内視鏡などに潜在的用途がある。

【図面の簡単な説明】

【図１】本発明のシステム全体のブロック図である。

【図２】用語を説明し定義するための立体画像捕捉の略
図である。

【図３】画像信号変位装置およびディスパリティ決定装
置を含む詳細を示すブロック図である。

【図４】単一の勾配方式または差分ディスパリティ素子
の機能図である。

【図５】図４により機能的に説明した個々のディスパリ
ティ素子のハードウェア構成のブロック図である。

【図６】コヒーレンス検出器の第１設計例のブロック図
である。

【図７】コヒーレンス検出器の１つの設計変化例の略図
である。

【図８】畳込み積分の原理に基づいて動作するコヒーレ
ンス検出器の第２設計例である。

【図９】図８に示すコヒーレンス検出器の畳込み積分装
置の構成の詳細である。

【図１０】１本の画像線の全ての画素について様々なデ
ィスパリティ素子によって決定されるディスパリティを
示すグラフ。その後、コヒーレンス検出器によって、画
像線のプロフィールにおけるディスパリティから実際ま
たは真のディスパリティが決定されるである。

【図１１】画像信号ストリームとして供給される第１お
よび第２（または左および右）画像記録装置の２つの画
像の例、および本発明装置によって決定されるいわゆる
ディスパリティマップの形の奥行き情報の表現である。

【符号の説明】 ＣＣＤＬ 左像用画像記録装置 ＣＣＤＲ 右像用画像記録装置 ＳＹＮＣ 画像記録装置同期装置 ＤＤ ディスパリティ検出器 ＫＤ ディスパリティ−コヒーレンス検出器 ＣＬＫ クロック発振器 ＶＶ 前処理装置

───────────────────────────────────────────────────── フロントページの続き (71)出願人 598161369 ロルフ ヘンケル ドイツ連邦共和国、デー−28209 ブレー メン シュバックホイゼル ヘールシュト ラーセ 112 (72)発明者 フリッツ パウケル ドイツ連邦共和国、デー−86316 フリー ドベルグバイヘルブライテン ８ ツェー ／オー イング．−ヴェロ パウケル (72)発明者 ロルフ ヘンケル ドイツ連邦共和国、デー−28209 ブレー メン シュバックホイゼル ヘールシュト ラーセ 112

Claims (17)

【特許請求の範囲】
1. 【請求項１】 各々に１つの入力信号値が入力されるｎ
   個の信号入力（ＥＳＴ_i（１≦ｉ≦ｎ）；Ｅ１、Ｅ２、
   Ｅ３、Ｅ４）と、ｎ個の入力信号値（Ｅ１、．．．、Ｅ
   ４）をそれらの値（Ａ、Ｂ、Ｃ、Ｄ）によって分類し、
   かつ分類されたｎ個の値を並列出力する第１分類装置
   （Ｓ１）と、２つの隣接する分類された値を減算する
   （（Ｄ−Ｃ）、（Ｃ−Ｂ）、（Ｂ−Ａ））ためのｎ−１
   個の減算装置（「−」）と、得られたｎ−１個の差
   （（Ｄ−Ｃ）、（Ｃ−Ｂ）、（Ｂ−Ａ））をそれらの値
   に関して分類し、かつ最小差値（「＜＜」）を出力する
   第２分類装置（Ｓ２）と、決定された最小差値（「＜
   ＜」）に属する入力信号値の値の対を出力する選択装置
   （「＝」、ＭＵＸ１）と、出力値の対が送られ、その平
   均値（ＫＥ）を出力する出力装置（「Σ／２」）と、を
   備えたコヒーレンス検出器。
2. 【請求項２】 選択装置（「＝」、ＭＵＸ１）が、前記
   最小差値とｎ−１個の差値とを比較することによって最
   小差値に対応する特定の差値を決定する比較装置と、比
   較装置によって提供される比較結果に基づき、最小差を
   持つ入力信号値の値の対を出力するマルチプレクサ装置
   （ＭＵＸ１）とを含むことを特徴とする請求項１記載の
   検出器。
3. 【請求項３】 特定の入力信号値が入力される１≦ｉ≦
   ｎにおけるｎ個の信号入力（ＥＳＴ_i）と、ｎ個の信号
   のうち、入力値が２ｘ／ｍの間隔でｍ＋１個の値を含む
   デフォルトで定義された有限窓値範囲［−ｘ、．．．、
   ０、．．．、＋ｘ］内に存在する信号を出力するための
   窓制限装置（ＦＢ）と、窓制限装置（ＦＢ）によって出
   力された値を、デフォルト設定窓値範囲のｍ＋１個の値
   のうち最も近いつぎの値に丸めるための丸め装置（Ｒ）
   と、アドレス指定駆動装置（ＡＡ）および畳込み積分装
   置（Ｆ）であって、畳込み積分装置（Ｆ）が窓値範囲の
   値の数に対応するｍ＋１個の信号入力（Ｅ_k、１≦ｋ≦
   ｍ＋１）を持ち、ｎ個の信号のこれらの値がアドレス指
   定駆動装置（ＡＡ）によって特定のｋ番目の入力に供給
   され、信号が−ｘ＋（ｋ−１）^＊２ｘ／ｍの値を持ち、
   したがってｍ＋１個の放射放出素子のうち対応するｋ番
   目の素子を駆動し、放射のこうした放出への遷移が窓値
   範囲の値の数に対応するｍ＋１個の放射受容素子によっ
   て捕捉されるように構成された前記アドレス指定駆動装
   置（ＡＡ）および畳込み積分装置（Ｆ）と、ｍ＋１個の
   放射受容素子のうち最大放射強度を捕捉する１つのアド
   レスｋを決定してこのアドレスの値ｋを出力端子（Ｋ
   Ｅ）に出力する評価装置（ＡＷ）であって、出力値が畳
   込み積分装置に供給される信号の畳込み積分の結果を表
   わすように構成された前記評価装置（ＡＷ）と、を備え
   たコヒーレンス検出器。
4. 【請求項４】 畳込み積分装置の放射放出素子が発光ダ
   イオード（ＬＥＤ）であり、放射受容素子がフォトダイ
   オード（ＰＤ）であることを特徴とする請求項３記載の
   信号処理装置。
5. 【請求項５】 発光ダイオード（ＬＥＤ）が透明な基板
   （ＳＵＢ）の上面に配置され、フォトダイオードが発光
   ダイオード（ＬＥＤ）に相対して基板（ＳＵＢ）の下面
   に配置されることを特徴とする請求項４記載の信号処理
   装置。
6. 【請求項６】 透明な基板（ＳＵＢ）がガラス基板であ
   ることを特徴とする請求項５記載の信号処理装置。
7. 【請求項７】 供給される第１像の画像データおよび異
   なる記録角度で撮られた第２像の画像データを相互シフ
   トするための変位機能（ＶＳＥＬ、ＶＳＥＲ；Δ
   Ｘ_L1、．．．、ΔＸＸ_Ln、ΔＸ_R1、．．．、ΔＸ_Rn）を
   備えた画像処理装置において、画像データが変位機能
   （ＶＳＥＬ、ＶＳＥＲ）から並列で取り出され、対
   （（ΔＸ_L1、ΔＸ_Rn）、（ΔＸ_L2、Δ
   Ｘ_Rn-1）、．．．、（ΔＸ_Ln-1、ΔＸ_R2）、（ΔＸ_Ln、
   ΔＸ_R1））で出口に接続されたディスパリティ検出装置
   （ＤＤ；ＥＳＴ₁、．．．、ＥＳＴ_n）に供給され、ディ
   スパリティ検出装置（ＤＤ）が供給される各々の画像デ
   ータ対（（ΔＸ_Li、ΔＸ_Rn+1-i））について１つの特定
   のディスパリティ素子（ＥＳＴ₁、．．．、ＥＳＴ_n）を
   使用して特定の対の画像データの空間奥行き情報を表わ
   すディスパリティ値を計算し、決定されたディスパリテ
   ィ値を請求項１、２または３から６のいずれかに記載の
   コヒーレンス検出装置（ＫＤ）に供給し、出力ディスパ
   リティ値（ＫＥ）が画像データのシフトごとに決定さ
   れ、対応する空間奥行き情報を表わすように構成された
   画像処理装置。
8. 【請求項８】 ２つの連続する半画像期間中に１つの半
   画像の画像データが半画像に供給されラインネストさ
   れ、 第１半画像期間中にコヒーレンス検出装置（ＫＤ）によ
   って決定された実際のディスパリティ値が記憶装置（Ｍ
   ＥＭ）に一時的に保存され、 全画像の実際のディスパリティ値を決定するために、デ
   ィスパリティ検出装置（ＤＤ）によって確認されたディ
   スパリティ値の他に、これらの一時的に保存された値が
   つぎの第２半画像期間中にコヒーレンス検出装置（Ｋ
   Ｄ）に供給される、ことを特徴とする請求項７記載の画
   像処理装置。
9. 【請求項９】 第１像および第２像の供給される画像デ
   ータが各々前処理装置（ＶＶＬ、ＶＶＲ）に送られ、前
   処理から得られる異なる型の画像データに基づき、第１
   像および第２像の画像データが各々変位装置（ＶＳＥ
   Ｌ、ＶＳＥＲ）および特定の種類の画像データ用に設け
   られたディスパリティ検出装置（ＤＤ）に送られること
   を特徴とする請求項７記載の画像処理装置。
10. 【請求項１０】 第１像および第２像の画像データが直
    列に相互に同期して供給されることを特徴とする請求項
    ７から９のいずれかに記載の画像処理装置。
11. 【請求項１１】 変位装置（ＶＳＥＬ、ＶＳＥＲ；ΔＸ
    _L1、．．．、ΔＸ_Ln、ΔＸ_R1、．．．ΔＸ_m）が相互に
    対して１点ずつ画像データをシフトすることを特徴とす
    る請求項１０記載の画像処理装置。
12. 【請求項１２】 変位装置（ＶＳＥＬ、ＶＳＥＲ；ΔＸ
    _L1、．．．、ΔＸ_Ln、ΔＸ_R1、．．．ΔＸ_m）が相互に
    対して像点以下の単位で画像データをシフトすることを
    特徴とする請求項１０記載の画像処理装置。
13. 【請求項１３】 画像データがアナログ画像信号として
    供給され、変位装置がアナログ遅延線網チェーンとして
    設計され、対応する走行時間の調整によって画素の相互
    シフトが行われることを特徴とする請求項１１または１
    ２記載の画像処理装置。
14. 【請求項１４】 画像データがデジタル画像信号として
    供給され、変位装置がクロックシフトレジスタとして設
    計されることを特徴とする請求項１１記載の画像処理装
    置。
15. 【請求項１５】 画像データがデジタル画像信号として
    供給され、変位装置が隣接する画素間の画像データ値を
    捕間するフィルタとして設計されることを特徴とする請
    求項１２記載の画像処理装置。
16. 【請求項１６】 １つの特定のディスパリティ素子（Ｅ
    ＳＴ₁、．．．ＥＳＴ_i、．．．、ＥＳＴ_n、１≦ｉ≦
    ｎ）が傾斜方式処理に基づいて特定のディスパリティ値
    を決定することを特徴とする請求項７記載の画像処理装
    置。
17. 【請求項１７】 実際のディスパリティ値（ＫＥ）を奥
    行き情報を表わすディスパリティマップとして出力する
    ためにディスプレイ装置を設けることを特徴とする請求
    項７から１６記載の画像処理装置。