JPH0634339A

JPH0634339A - ３次元画像入力装置

Info

Publication number: JPH0634339A
Application number: JP4189469A
Authority: JP
Inventors: Mitsuo Oshima; 光雄大島
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1992-07-16
Filing date: 1992-07-16
Publication date: 1994-02-08
Anticipated expiration: 2015-09-18
Also published as: JP3088852B2

Abstract

(57)【要約】【目的】高分解能で、距離検出範囲を広げた３次元画
像入力装置を提供する。【構成】第１の複数眼２次元画像入力装置２１の少な
くとも１つの光軸と、第２の複数眼２次元画像入力装置
２２の少なくとも１つの光軸とを整合させ、かつ同一視
線となるように構成する。そして、画像入力装置２１，
２２で被写体の画像を入力し、濃淡画像Ｓ２１ａ，Ｓ２
２ａ及び距離画像Ｓ２１ｂ，Ｓ２２ｂを出力する。第１
及び第２の所定距離範囲選択装置３１，３２では、分担
された撮像距離範囲において、距離画像Ｓ２１ｂ，Ｓ２
２ｂを基に必要な濃淡画像Ｓ２１ａ，Ｓ２２ａを選択す
る。この選択結果は、遠近画像合成装置４０で合成され
た後、最終濃淡画像Ｓ４１及び最終距離画像Ｓ４２が出
力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、距離検出の距離範囲を
広げ、かつ濃淡画像の分解能を確保した３次元画像入力
装置に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。文献１；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０従来、３次元画像入力方式には、受動的手法（パッシブ
手法）と能動的手法（アクティブ手法）とがある。能動
的手法とは、３次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー（光波、電波、音波）を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行うにしても、
計測に関して意味のあるエネルギーを利用しない計測の
ことをいう。一般的にいって、能動的手法の方が、受動
的手法のものより計測の信頼性が高くなる。受動的手法
の代表的なものがステレオ画像法であり、それを図２に
示す。

【０００３】図２は、前記文献２に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２次元画像入力装置
である２台のカメラ１，２を所定間隔離して配置し、左
右のカメラ１，２で撮られた被写体３の結像位置の差、
即ち位相差を利用し、三角測量法によって被写体３まで
の距離を計る方法である。

【０００４】図３は、図２のステレオ画像法で得られた
信号の濃淡画像と距離画像の２枚の画像の説明図であ
る。濃淡画像は、図２のカメラ１，２で得られるカラー
や白黒の画像である。距離画像は、３次元位置に関する
画像であり、マトリクスデータで一つ一つの画素が対象
物（被写体３）の奥行きに関する情報を持つものであ
る。このような濃淡画像と距離画像とから、偏光フイル
タを用いた両眼融合方式によって立体画像表示を行った
り、レンチキュラ板を用いて立体画像表示を行ったりし
ている。立体画像表示の一例を図４に示す。

【０００５】図４は、前記文献１に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理図である。多眼式レンチキュラ方式は、複数のか
まぼこ状のレンズ板からなるレンチキュラ板１０を用
い、各レンズ板の焦点面に左右画像をストライプ状に配
置した方式である。１個のレンズ板内にはａ，ｂ，ｃ，
…，ｆの部分に、それぞれａ₁，ｂ₁，ｃ₁，…，ｆ₁
という多方向から撮像したストライプ状の多眼像１１を
表示する。レンズ板の作用によって各方向のストライプ
状の多眼像１１は左右の眼１２，１３に別々に入り、視
点を移動すれば、横方向の立体映像を見ることができ
る。

【０００６】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、距離は検出位相差に反比例するので、距
離の検出精度は距離の２乗に反比例して低下し、所望距
離精度内の画像が得られる距離範囲が狭いという問題が
ある。また、照明の暗い状況で撮像する場合、レンズの
Ｆナンバーを小さくして撮像するが、近距離撮像では分
解能が高く得られる距離範囲が狭くなり、その範囲をは
ずれている被写体は不鮮明になるという問題があり、そ
れらを解決することが困難であった。本発明は、前記従
来技術が持ってた課題として、距離検出範囲が狭い、及
び鮮明な画像が得られる距離範囲が狭いという点につい
て解決した、高分解能で距離検出範囲を広げた３次元画
像入力装置を提供するものである。

【０００７】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、被写体の画像を入力して濃淡画像と
距離画像を出力する３次元画像入力装置において、第１
の物体距離に焦点合わせをし、該第１の物体距離を狭む
ように第１の距離精度を入れた第１の距離検出設定をし
た濃淡画像及び距離画像を出力する第１の複数眼２次元
画像入力装置と、前記第１の物体距離より遠い第２の物
体距離に焦点合わせをし、第２の距離精度を入れた第２
の距離検出設定をした濃淡画像及び距離画像を出力する
第２の複数眼２次元画像入力装置とを備えている。そし
て、前記第１の距離精度の下限値となる距離範囲と、前
記第２の距離精度の上限値となる距離範囲とが、重複す
るように前記第２の距離検出設定を行い、前記第１の複
数眼２次元画像入力装置の少なくとも１つの光軸と、前
記第２の複数眼２次元画像入力装置の少なくとも１つの
光軸とを整合させ、かつ同一視線となるように構成して
いる。

【０００８】第２の発明では、第１の発明の各複数眼２
次元画像入力装置の撮像距離範囲の役割分担を決めて、
前記各距離画像を基に濃淡画像をそれぞれ選択した後に
合成する構成にしている。

【０００９】

【作用】第１の発明によれば、以上のように３次元画像
入力装置を構成したので、第１の複数眼２次元画像入力
装置は被写体の画像を入力して濃淡画像及び距離画像を
出力する。同様に、第２の複数眼２次元画像入力装置
は、前記被写体の画像を入力して濃淡画像及び距離画像
を出力する。この際、第１の複数眼２次元画像入力装置
の少なくとも１つの光軸と第２の複数眼２次元画像入力
装置の少なくとも１つの光軸とが同一視線となるので、
距離検出範囲が広くなる。第２の発明によれば、第１と
第２の複数眼２次元画像入力装置から出力される距離画
像を基に、必要な濃淡画像が選択された後に合成され、
最終的な濃淡画像と距離画像の信号が出力される。これ
により、鮮明な画像が得られる。従って、前記課題を解
決できるのである。

【００１０】

【実施例】図１（ａ）〜（ｃ）は、本発明の実施例を示
す３次元画像入力装置の構成ブロック図であり、同図
（ａ）は全体構成図、同図（ｂ）は画像入力手段の正面
図、及び同図（ｃ）は画像入力手段の平面図である。こ
の３次元画像入力装置は、被写体の画像を入力して濃淡
画像と距離画像を出力する画像入力手段２０を備えてい
る。画像入力手段２０は、第１の物体距離に焦点合わせ
をした第１の複数眼２次元画像入力装置２１と、第２の
物体距離に焦点合わせをした第２の複数眼２次元画像入
力装置２２と、光路形成用のハーフミラー２３及びミラ
ー２４からなる光学部材とを、備えている。第１の複数
眼２次元画像入力装置２１は、光軸（視線）Ｈ１を有す
る第１の２次元画像入力装置２１ａと、光軸Ｈ２を有す
る第２の２次元画像入力装置２１ｂとを有し、それらが
狭い光軸間隔Ｌ₁で配置されている。第２の複数眼２次
元画像入力装置２２は、ハーフミラー２３及びミラー２
４によって第１の２次元画像入力装置２１ａと同じ光軸
Ｈ１を持つように調整された第１の２次元画像入力装置
２２ａと、光軸Ｈ３を持つ第２の２次元画像入力装置２
２ｂとを有し、それらが広い光軸間隔Ｌ₂で配置され、
さらに該第１の２次元画像入力装置２２ａと第１の２次
元画像入力装置２１ａとの間に光軸間隔Ｌ_cが設けられ
ている。２次元画像入力装置２１ａと２２ａの光軸Ｈ１
と、２次元画像入力装置２１ｂの光軸Ｈ２と、２次元画
像入力装置２２ｂの光軸Ｈ３とは、水平に並んだ平行な
視線となっている。これらの各２次元画像入力装置２１
ａ，２１ｂ，２２ａ，２２ｂは、単眼レンズ及び光／電
変換用撮像素子等でそれぞれ構成されている。

【００１１】第１の複数眼２次元画像入力装置２１から
出力される濃度画像Ｓ２１ａ及び距離画像Ｓ２１ｂと、
第２の複数眼２次元画像入力装置２２から出力される濃
度画像Ｓ２２ａ及び距離画像Ｓ２２ｂとは、それぞれ半
導体記憶装置等に記憶され、一方の濃淡画像Ｓ２１ａ及
び距離画像Ｓ２１ｂが第１の所定距離範囲選択装置３１
へ送られると共に、他方の濃淡画像Ｓ２２ａ及び距離画
像Ｓ２２ｂが第２の所定距離範囲選択装置３２へ送られ
る。第１の所定距離範囲選択装置３１は、距離画像Ｓ２
１ｂの距離値を用いてある距離以上の距離画像に対応し
た濃淡画像Ｓ２１ａの部分を除去する装置である。第２
の所定距離範囲選択装置３２は、距離画像Ｓ２２ｂの距
離値を用いてある距離以下の距離画像に対応した濃淡画
像Ｓ２２ａの部分を除去する装置である。第１，第２の
所定距離範囲選択装置３１，３２の出力側には、遠近画
像合成装置４０が接続されている。遠近画像合成装置４
０は、第１及び第２の所定距離範囲選択装置３１，３２
の出力から１枚の画像を合成し、最終濃淡画像Ｓ４１及
び最終距離画像Ｓ４２の信号を出力し、それを半導体記
憶装置等に記憶させる装置である。

【００１２】図５は、図１の画像入力手段２０における
画角、物体距離設定、及び視線等の説明図である。図１
の２次元画像入力装置２１ａと２２ａとの光軸間隔Ｌ_c
は、第１の複数眼２次元画像入力装置２１を２２に対し
て光入射方向に対して後方に位置させればよいので、各
２次元画像入力装置２１ａ，２１ｂ，２２ａ，２２ｂを
構成するレンズの主点０_21a，０_21b，０_22a，０_22b
は直線上にのっている。各主点０₂₁ _a，０_21b，
０_22a，０_22bから見た画角φ_21a，φ_21b，φ_22a，
φ_22bのうち、φ_21aとφ_22aはほぼ等しくしてある。
第１と第２の２次元画像入力装置２１ａ，２１ｂは物体
距離ｌ₁に焦点合わせをしてあり、さらに第１と第２の
２次元画像入力装置２２ａ，２２ｂが物体距離ｌ₂に焦
点合わせをしてある。一般に、複数の２次元画像入力装
置（例えば、２１ａと２１ｂ、２２ａと２２ｂ）をある
光軸間隔Ｌ₁，Ｌ₂だけ離間して被写体を撮像すると、
該被写体の写る画面上の位置がずれる。このずれた量を
位相差と呼ぶ。距離は２次元画像入力装置の離間距離Ｌ
₁またはＬ₂に比例し、位相差に反比例した形で検出さ
れる。一方、２次元画像入力装置で得られる被写体の濃
淡画像の鮮明さは、該２次元画像入力装置の画素数を一
定とした場合にはレンズの特性に強く依存する。特に、
レンズのＦナンバーを小さくして明るくした場合や、近
距離を撮像する場合に、焦点深度から外れて画像がぼけ
やすい。

【００１３】図６は、図１の３次元画像入力装置の距離
に対する分解能特性及び位相差特性を示す図である。各
２次元画像入力装置２１ａ，２１ｂ，２２ａ，２２ｂの
レンズは焦点距離１６mm、明るさＦナンバー４、撮像素
子は６００画素、２／３インチ（感光面約６．６×８．
８mm）系のデバイスである。被写体パターンは約１．５
〜２画素／ラインに相当する太さのパターンである。第
１の複数眼２次元画像入力装置２１の画角０_21a＝０
_21bは約３０°、光軸間隔Ｌ₁は約３．５cm、物体距離
ｌ₁は約０．６ｍである。第２の複数眼２次元画像入力
装置２２の画角φ_22a＝φ_22bも約３０°、光軸間隔Ｌ
₂は約８cm、物体距離ｌ₂は約１ｍである。

【００１４】図６は、横軸に距離（ｍ）を取り、左側の
縦軸に分解能ＭＴＦ（Modulation Transfer Fanction）
（％）を取り、右側の縦軸に位相差（ビット）をとって
いる。曲線５１〜５４のうち、曲線５１は第１の複数眼
２次元画像入力装置２１の分解能曲線、曲線５２は同じ
く距離−位相差曲線である。この曲線５１，５２では、
画角３０°、光軸間隔３．５cm、物体距離０．６ｍであ
る。

【００１５】曲線５３は第２の複数眼２次元画像入力装
置２２の分解能曲線、曲線５４はその距離−位相差曲線
である。この曲線５３，５４では、画角３０°、光軸間
隔８cm、物体距離１ｍである。直線５５は、上側距離精
度の制限値（上限値）を示す。この上側値は、像が画面
から飛び出さないように撮像する条件になっている。こ
の例では、曲線５２と直線５５の交点で約０．３cm、曲
線５４と直線５５の交点で約０．４５cmの距離精度であ
る。直線５６は、下側距離精度下限値であり、曲線５２
と直線５６の交点、及び曲線５４と直線５６の交点で
は、約２cmの距離精度に設定してある。図６中のΔＬ
は、曲線５２及び直線５６の交点と、曲線５４及び直線
５５の交点部分がΔＬの距離だけかぶりを設けてあるこ
とを示している。

【００１６】次に、この図６を参照しつつ、図１の装置
の動作を説明する。従来の３次元画像入力装置では、図
６の曲線５１及び５２しか出力しないので、分解能ＭＴ
Ｆを所望の値（この例では、合焦時の７０％以上）以上
得られる範囲が約４５〜７５ｃｍと狭い範囲でしか得ら
れなかった。また、距離範囲も約４５〜１１０cmと狭い
範囲しか得られなかった。これに対し、本実施例では、
その範囲が分解能において約４５〜２００cm、距離範囲
においても約４５〜１８０cmと大幅に拡大できる。その
上、ΔＬという距離方向の検出領域にかぶりを設けてあ
るので、一定距離精度内の距離画像が確実に得られるこ
とになる。

【００１７】図６の曲線５１に対応する濃淡画像は図１
の濃淡画像Ｓ２１ａに、曲線５２に対応する距離画像は
図１の距離画像Ｓ２１ｂに、曲線５３に対応する濃淡画
像は図１の濃淡画像Ｓ２２ａに、図６の曲線５４に対応
する距離画像は図１の距離画像Ｓ２２ｂとなる。図７
（ａ）〜（ｃ）は、図１のぼけ画像を鮮明画像に変換す
る説明図である。６１は鮮明な像、６１ａは鮮明な像
（近い）、６２はぼけた像、６２ａはぼけた像（遠い）
である。前記の各画像をＣＲＴ等の表示装置で表示した
ときの例が図７（ａ），（ｂ）である。図７（ａ），
（ｂ）において、それぞれ被写体の距離に応じて鮮明な
像６１，６１ａと不鮮明（ぼけた）像６２，６２ａが表
示されている。ぼけた像６２ａはレンズのＦナンバーを
大きくすれば（即ち、レンズを暗くすれば）、Ｆナンバ
ーに反比例してして改善されるが、その場合、照明光を
その分だけ多くしないと、同じ固体撮像素子の出力電圧
が得られない欠点がある。これに対し、コントラストを
利用したぼけ画像６２ａの除去という方法もあるが、コ
ントラストが緩やかに変化する画像では非常に困難であ
る。そこで、本実施例では、図１の第１，第２の所定距
離範囲選択装置３１，３２及び遠近画像合成装置４０を
用いて像の不鮮明となる距離領域を伸ばし、かつ距離精
度を確保するようにしている。以下、図１の動作を説明
する。

【００１８】画像入力手段２０では被写体の画像を入力
して各２次元画像入力装置２１ａ，２１ｂから濃淡画像
Ｓ２１ａ，Ｓ２２ａを出力すると共に、各２次元画像入
力装置２１ｂ，２２ｂから距離画像Ｓ２１ｂ，Ｓ２２ｂ
を出力し、半導体記憶装置等に記憶させる。第１の所定
距離範囲選択装置３１では、距離画像Ｓ２１ｂの距離値
を用いて、ある距離（例えば、約７５cm）以上の距離画
像に対応した濃淡画像Ｓ２１ａの部分を除去し、遠近画
像合成装置４０へ送る。第２の所定距離範囲選択装置３
２では、ある距離以下（例えば７３cm）の距離画像Ｓ２
２ｂに対応した濃淡画像Ｓ２２ａの部分を除去し、遠近
画像合成装置４０へ送る。遠近画像合成装置４０では、
濃淡画像の部分の除去し終わった画像を一枚の画像に合
成する。この遠近画像合成装置４０は、光軸及び画角が
一致しているので、単純な半導体メモリ等の書き変えで
可能である。各除去領域が完全に一致しない場合（重な
り、あるいは不足）もあるが、そのときは後から入れる
濃淡画像を優先して入れ込むようにしてある。このよう
にして、遠近画像合成装置４０で、最終濃淡画像Ｓ４１
及び最終距離画像Ｓ４２が得られる。この最終濃淡画像
Ｓ４１及び最終距離画像Ｓ４２をＣＲＴ等の表示装置で
表示すると、図７（ｃ）に示すように、ぼけた像６２ａ
が鮮明な像に変換されて表示される。このとき、所望の
距離精度を持った最終距離画像Ｓ４２があるので、両眼
融合方式等によって立体視すれば、精度良く画像の再現
が行える。

【００１９】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。（ｉ）上記実施例では、２つの物体距離ｌ₁，ｌ₂につ
いて説明したが、ハーフミラー２３及びミラー２４の光
学部材の数を増やせば、２つ以上の物体距離も設定可能
である。（ii）図１に示す光路形成用のハーフミラー２３及びミ
ラー２４を他の光学部材で構成してもよい。 (iii）図１の３次元画像入力装置を複数台配置し、視野
を広げて撮像することも可能である。

【００２０】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、第１及び第２の複数眼２次元画像入力装置を
備え、該第１の複数眼２次元画像入力装置の少なくとも
１つの光軸と、該第２の複数眼２次元画像入力装置の少
なくとも１つの光軸とを整合させ、かつ同一視野となる
ように構成したので、距離検出範囲が広くなる。第２の
発明によれば、第１と第２の複数眼２次元画像入力装置
の撮像距離範囲の役割分担を決めて、距離画像を基に必
要な濃淡画像を選択後に合成するようにしたので、鮮明
な画像を得ることができる。従って、広い距離範囲に亘
り、高い濃淡画像の分解能と、所望距離精度を有する３
次元画像入力装置を実現できる。

【図面の簡単な説明】

【図１】本発明の実施例を示す３次元画像入力装置の構
成ブロック図である。

【図２】従来の３次元画像入力方式の一つであるステレ
オ画像法の説明図である。

【図３】図２のステレオ画像法で得られた濃淡画像と距
離画像の説明図である。

【図４】従来の３次元画像表示方式の一つである多眼式
レンチキュラ方式の原理図である。

【図５】図１の画角、物体距離設定、視線等の説明図で
ある。

【図６】図１の距離に対する分解能特性及び位相差特性
を示す図である。

【図７】図１のぼけ画像を鮮明画像に変換する説明図で
ある。

【符号の説明】

２０画像入力手段２１，２２第１，第２の複数眼２次元画像
入力装置２１ａ，２２ａ第１の２次元画像入力装置２１ｂ，２２ｂ第２の２次元画像入力装置２３ハーフミラー２４ミラー３１，３２第１，第２の所定距離範囲選択
装置４０遠近画像合成装置Ｓ２１ａ，Ｓ２２ａ濃淡画像Ｓ２１ｂ，Ｓ２２ｂ距離画像Ｓ４１最終濃淡画像Ｓ４２最終距離画像

Claims

【特許請求の範囲】

【請求項１】第１の物体距離に焦点合わせをし、該第
１の物体距離を狭むように第１の距離精度を入れた第１
の距離検出設定をした濃淡画像及び距離画像を出力する
第１の複数眼２次元画像入力装置と、前記第１の物体距離より遠い第２の物体距離に焦点合わ
せをし、第２の距離精度を入れた第２の距離検出設定を
した濃淡画像及び距離画像を出力する第２の複数眼２次
元画像入力装置とを備え、前記第１の距離精度の下限値となる距離範囲と、前記第
２の距離精度の上限値となる距離範囲とが、重複するよ
うに前記第２の距離検出設定を行い、前記第１の複数眼２次元画像入力装置の少なくとも１つ
の光軸と、前記第２の複数眼２次元画像入力装置の少な
くとも１つの光軸とを整合させ、かつ同一視線となるよ
うに構成したことを特徴とする３次元画像入力装置。
【請求項２】請求項１に記載された各複数眼２次元画
像入力装置の撮像距離範囲の役割分担を決めて、前記各
距離画像を基に濃淡画像をそれぞれ選択した後に合成す
る構成にしたことを特徴とする３次元画像入力装置。