JPH06109449A

JPH06109449A - 複数視点３次元画像入力装置

Info

Publication number: JPH06109449A
Application number: JP4254662A
Authority: JP
Inventors: Mitsuo Oshima; 光雄大島
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1992-09-24
Filing date: 1992-09-24
Publication date: 1994-04-19
Anticipated expiration: 2014-01-06
Also published as: JP2842740B2

Abstract

(57)【要約】【目的】記憶容量値が小さく、伝送時間が短く、長距
離画像の距離精度が良く、視線を変えたときの視差のな
い複数視点３次元画像入力装置を提供する。【構成】３Ｄカメラ３０−１〜３０−ｎから出力され
た距離画像Ｓ３２−１〜Ｓ３２−ｎは、距離画像分離装
置３３によって短距離画像Ｓ３４と遠距離画像Ｓ３５と
に分離される。さらに、長距離画像Ｓ３５は、対応点再
検索装置３６によって３Ｄカメラ同士で対応点の再検索
が行なわれ、中距離画像Ｓ３７と遠距離画像Ｓ３８とに
分離される。短距離画像Ｓ３４と中距離画像Ｓ３７は、
選択装置３９によって被写体表現最大画素数を持つ画像
を有効な画像として選択され、その選択された有距離画
像Ｓ４０がメモリ４０に格納される。遠距離画像Ｓ３８
は、一層画面順次配置装置４１によって無距離画像Ｓ４
２に変換された後、メモリ４０に格納される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータビジョン
（ＣＶ）及びコンピュータグラフィックス（ＣＧ）等の
３次元画像情報技術において、３次元画像を入力して一
時記憶し、それを合成して３次元に画像を表示する等の
複数視点３次元画像入力装置、特に画像記憶容量値の削
減化が可能な複数視点３次元画像入力装置に関するもの
である。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがある。文献１；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４４６−４５２文献２；テレビジョン学会誌、４５［４］（１９９１）
Ｐ．４５３−４６０従来、３次元画像入力方式には、受動的手法（パッシブ
手法）と能動的手法（アクティブ手法）とがある。能動
的手法とは、３次元情報を取得するために、巧みに制御
され、その形状パターンや濃淡、スペクトル等に対し何
等かの意味を持ったエネルギー（光波、電波、音波）を
対象に照射する手法のことを指す。これに対して受動的
手法とは、対象に対して通常の照明等は行なうにして
も、計測に関して意味のあるエネルギーを利用しない計
測のことをいう。一般的にいって、能動的手法の方が、
受動的手法のものより計測の信頼性が高くなる。受動的
手法の代表的なものがステレオ画像法であり、それを図
２に示す。

【０００３】図２は、前記文献２に記載された従来の３
次元画像入力方式の一つであるステレオ画像法の説明図
である。このステレオ画像法では、２次元画像入力装置
である２台のカメラ１，２を所定距離離間して配置し、
左右のカメラ１，２で撮られた被写体３の結像位置の
差、即ち位相差を利用し、三角測量法によって被写体３
までの距離を計る方法である。

【０００４】図３は、図２のステレオ画像法で得られた
信号の濃淡画像と距離画像の２枚の画像の説明図であ
る。濃淡画像は、図２のカメラ１，２で得られるカラー
や白黒の画像である。距離画像は、３次元位置に関する
画像であり、マトリクスデータで一つ一つの画素が対象
物（被写体３）の奥行きに関する情報を持つものであ
る。このような濃淡画像と距離画像とから、偏光フイル
タを用いた両眼融合方式によって立体画像表示を行なっ
たり、レンチキュラ板を用いて立体画像表示を行なった
りしている。立体画像表示の一例を図４に示す。

【０００５】図４は、前記文献１に記載された従来の３
次元画像表示方式の一つである多眼式レンチキュラ方式
の原理を示す図である。多眼式レンチキュラ方式は、複
数のかまぼこ状のレンズ板からなるレンチキュラ板１０
を用い、各レンズ板の焦点面に左右画像をストライプ状
に配置した方式である。１個のレンズ板内にはａ，ｂ，
ｃ，…，ｆの部分に、それぞれａ₁，ｂ₁，ｃ₁，…，
ｆ₁という多方向から撮像したストライプ状の多眼像１
１を表示する。レンズ板の作用によって各方向のストラ
イプ状の多眼像１１は左右の眼１２，１３に別々に入
り、視点を移動すれば、横方向の立体映像を見ることが
できる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記構
成の装置では、次のような課題があった。（１）３次元画像表示方式として、レンチキュラ板１
０を使用した場合、平面画像を立体的に見れるものの、
観察者の視線を変えたときのものの見え方は、立体視可
能な観察領域として約５ｍ離れて見たときに、左右方向
で５〜１０cm、前後方向に±３０cm程度と狭い。また、
両眼融合方式においては、平面画像の立体的表現のみ
で、視線を変えても、画像そのものは変わらないという
問題があった。（２）そこで、本願発明者は、前記の観察視野が狭い
とか、視線を変えても画像が変わらない等の問題を解決
するため、先に特願平４−１９２２７２号明細書（先の
提案）において３次元画像入力装置に関する提案を行な
った。この提案では、濃淡画像と距離画像の２枚の画像
を出力できる３次元カメラ（以下、３Ｄカメラという）
からなる３次元画像入力装置を少なくとも２台離間して
配置し、それらの各３Ｄカメラからそれぞれ出力される
濃淡画像と距離画像とから、表示用画像を合成し、３次
元の画像を表示できるようにしている。（３）ところが、先の提案のように３Ｄカメラを２台
用いる場合には、撮像できる被写体が限定され、特に凹
部のある被写体では死角が生じてしまうという問題があ
る。この死角を補償するためには、図５に示すように３
Ｄカメラの台数を増やす方法が考えられる。図５は、３
Ｄカメラを２台から５台に増やしたときの本願発明者が
先に提案した複数視点３次元画像入力装置の概略の構成
ブロック図である。この複数視点３次元画像入力装置
は、５台の３Ｄカメラ２０−１〜２０−５を備え、それ
らの光軸Ｈ２０−１〜Ｈ２０−５が交点Ｋに集まるよう
に配置されている。各３Ｄカメラ２０−１〜２０−５
は、図示しない被写体の画像を入力してその被写体を表
現する濃淡画像２０−１ｖ〜２０−５ｖと距離画像２０
−１ｒ〜２０−５ｒの信号をそれぞれ出力する機能を有
している。この種の複数視点３次元画像入力装置では、
各３Ｄカメラ２０−１〜２０−５によって被写体の画像
が入力され、濃淡画像２０−１ｖ〜２０−５ｖと距離画
像２０−１ｒ〜２０−５ｒが出力され、記憶装置（メモ
リ）に記憶される。これらの記憶された濃淡画像２０−
１ｖ〜２０−５ｖと距離画像２０−１ｒ〜２０−５ｒと
を画像合成し、３次元画像を表示するようになってい
る。特に、３Ｄカメラ２０−１〜２０−５の台数を増や
したので、凹部のある被写体の死角を少なくでき、さら
に台数を増やせば、死角を完全に防止することが可能と
なる。（４）しかし、図５の装置では、各３Ｄカメラ２０−
１〜２０−５毎に濃淡画像メモリと距離画像メモリとを
備えているので、例えばデータを記録して保存する場合
や、データを回線等を用いて伝送する場合に、膨大な記
憶容量値を必要としたり、多大な伝送時間が必要である
等の問題が生じる。又、各３Ｄカメラ２０−１〜２０−
５は、電荷結合素子（以下、ＣＣＤという）等の固体撮
像素子からなる２次元画像入力装置を少なくとも２個有
し、それらが狭い間隔で配置されて構成されている。そ
のため、各３Ｄカメラ２０−１〜２０−５から出力され
る距離画像２０−１ｒ〜２０−５ｒとしては、狭い間隔
で配置した２次元画像入力装置の結果を用いているの
で、近距離画像においては十分機能するが、長距離画像
においては距離精度が悪く、該３Ｄカメラ配置間隔が広
い間隔で配置されているので、その視差が生じてしまう
という問題があり、未だ技術的に十分満足のゆく複数視
点３次元画像入力装置を提供することが困難であった。
本発明は、前記従来技術が持っていた課題として、記憶
容量値が大きい、伝送時間が長い、及び長距離画像の距
離精度の悪いことにより生じる視線を変えたときの視差
等の点について解決した、複数視点３次元画像入力装置
を提供するものである。

【０００７】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、照射された被写体の画像を入力して
その被写体を表現する濃淡画像及び距離画像の信号をそ
れぞれ出力する３次元画像入力装置を複数台、それらの
光軸が１点で交わるように配置した複数視点３次元画像
入力装置において、第１の分離手段と第２の分離手段と
を設けている。第１の分離手段は、前記複数台の３次元
画像入力装置からの距離画像をもとに、所望の位相差以
上の短距離画像と所望位相差以下の長距離画像とに分離
する機能を有している。第２の分離手段は、前記長距離
画像に対し前記複数台の３次元画像入力装置の濃淡画像
を用いて再度対応点検索を行ない、有位相差画像である
中距離画像と無位相差画像である遠距離画像とに分離す
る機能を有している。第２の発明では、第１の発明の遠
距離画像を、前記短距離画像及び中距離画像とは異なる
記憶手段に記憶する構成にしている。第３の発明では、
第２の発明において、遠距離画像は前記複数台の３次元
画像入力装置の配置に従がい所定の記憶手段番地に順次
配列する配置手段を、設けている。第４の発明では、第
２の発明の各３次元画像入力装置の配置角と画角を一定
の関係に保つ構成にしている。第５の発明では、第２の
発明に、前記各３次元画像入力装置の配置角と画角を一
定の関係に保ち、かつ一定距離以上を撮像していること
を識別する設定手段と、前記短距離画像及び中距離画像
の中から、前記被写体を表現する画素数の最も多い画像
を有効な有距離画像として選択する選択手段とを、設け
ている。第６の発明では、第２の発明において、前記短
距離画像と中距離画像の記憶容量値を、前記遠距離画像
の記憶容量値よりも大きくしている。第７の発明では、
第３の発明において順次配列された前記遠距離画像は所
定の記憶容量値と整合がとれるように所定の画面数へ画
素密度を変換する変換手段を、設けている。第８の発明
では、第６又は第７の発明において、前記各３次元画像
入力装置の配置角と画角は前記遠距離画像の記憶容量値
に整合するように連動して動作させる手段を、設けてい
る。

【０００８】

【作用】第１の発明によれば、以上のように複数視点３
次元画像入力装置を構成したので、第１の分離手段は、
各３次元画像入力装置の距離画像から、短距離画像と長
距離画像に分離する。第２の分離手段は、分離された長
距離画像に対し、複数の３次元画像入力装置の濃淡画像
を用いて再度対応点検索を行ない、中距離画像と遠距離
画像とに分離する。このように、長距離画像から中距離
画像と遠距離画像とが分離され、該中距離画像を得るこ
とで、視差の発生を防止できる。第２の発明によれば、
遠距離画像は短距離画像及び中距離画像とは異なる記憶
手段に記憶される。そして、遠距離画像の記憶手段の容
量と短距離画像及び中距離画像の記憶手段の容量とを適
確に設定することにより、記憶容量値の無駄をなくすこ
とが可能となる。さらに、観察者の視線に合わせた表示
の際に、複雑な演算をすることなしに簡単な番地指定の
みで表示が行なえる。第３の発明によれば、配置手段
は、遠距離画像を所定の記憶手段番地に順次配列し、そ
れを例えば３次元画像入力装置の画角及び配置角等によ
り決めた記憶容量を持つ記憶手段に記憶させる。これに
より、３次元画像入力装置の台数が増加しても、記憶容
量値に無駄のない、しかも視差の生じない中距離画像の
記憶が行なえる。第４の発明によれば、各３次元画像入
力装置の配置角及び画角が一定許容値内に保たれ、遠距
離画像の記憶手段における記憶容量値の削減化が図れ
る。第５の発明によれば、設定手段は、各３次元画像入
力装置の配置角と画角を一定の関係に保ち、かつ一定距
離以上を撮像していることを識別する。選択手段は、短
距離画像と中距離画像から有効な画素信号のみを取り出
し、それを設定手段の出力によって所望撮像最短距離に
合わせた記憶手段に記憶させる。これにより、その記憶
手段の記憶容量値の削減化が図れる。第６の発明によれ
ば、短距離画像と中距離画像の記憶容量値は、遠距離画
像の記憶容量値よりも大きくなっているので、その大き
な記憶容量値までの距離に対応した被写体の撮像が可能
となる。第７の発明によれば、変換手段は、遠距離画像
に対し、３次元画像入力装置の画角及び配置角等により
決められた所定の記憶容量値と整合がとれるように、所
定の画面数へ画素密度の変換を行なう。これにより、初
期設定最低被写体距離にマージンが生じ、撮像の際の複
数視点３次元画像入力装置の設置の自由度が向上する。
第８の発明によれば、遠距離の被写体のズーム比を変え
て撮像するときに、遠距離画像を記憶する記憶手段の記
憶容量値を超えないように、３次元画像入力装置の画角
と配置角が連動して変化し、ズーム比変更による遠距離
画像の抜けの発生が防止される。従って、前記課題を解
決できるのである。

【０００９】

【実施例】第１の実施例図１は、本発明の第１の実施例を示す複数視点３次元画
像入力装置の構成ブロック図である。この装置は、複数
台の３次元画像入力装置（例えば、３Ｄカメラ）３０−
１〜３０−ｎを備え、それらの光軸Ｈ３０−１〜Ｈ３０
−ｎが交点ｋで交わるように配置されている。各３Ｄカ
メラ３０−１〜３０−ｎは、被写体の画像を入力してそ
の被写体を表現する濃淡画像Ｓ３１−１〜Ｓ３１−ｎと
距離画像Ｓ３２−１〜Ｓ３２−ｎの信号をそれぞれ出力
する機能を有し、それらの濃淡画像Ｓ３１−１〜Ｓ３１
−ｎと距離画像Ｓ３２−１〜Ｓ３２−ｎが、通常、濃淡
画像メモリ３１−１〜３１−ｎと距離画像メモリ３２−
１〜３２−ｎにそれぞれ格納されるようになっている。
濃淡画像メモリ３１−１〜３１−ｎ及び距離画像メモリ
３２−１〜３２−ｎの出力側には、距離画像分離装置３
３が接続され、さらにその出力側に短距離画像メモリ３
４及び長距離画像メモリ３５が接続されている。距離画
像分離装置３３は、複数の濃淡画像Ｓ３１−１〜Ｓ３１
−ｎと距離画像Ｓ３２−１〜Ｓ３２−ｎから、所望位相
差以上の距離画像（短距離画像）Ｓ３４と所望位相差以
下の距離画像（長距離画像）Ｓ３５とに分離し、それら
を短距離画像メモリ３４と長距離画像メモリ３５にそれ
ぞれ格納する機能を有している。長距離画像メモリ３５
の出力側には、対応点再検索装置３６を介して中距離画
像メモリ３７及び遠距離画像メモリ３８が接続され、さ
らに短距離画像メモリ３４の出力側に、被写体表現最大
画素数選択装置３９が接続されている。対応点再検索装
置３６は、長距離画像Ｓ３５を再度精度の良い距離画像
とするために、その距離画像Ｓ３５に対し、複数の濃淡
画像Ｓ３１−１〜Ｓ３１−ｎを用いて再度対応点検索を
行ない、位相差ずれがあるときの有位相差画像である中
距離画像Ｓ３７と、位相差ずれのない無位相差画像であ
る遠距離画像Ｓ３８とに分離し、それらを中距離画像メ
モリ３７と遠距離画像メモリ３８にそれぞれ格納する機
能を有している。被写体表現最大画素数選択装置３９
は、短距離画像Ｓ３４及び中距離画像Ｓ３７の中から、
被写体を表現する画素数の最も多い画像を、有効な有距
離画像Ｓ４０として選択する機能を有している。被写体
表現最大画素数選択装置３９の出力側には、有距離画像
メモリ４０が接続され、さらに遠距離画像メモリ３８の
出力側に、一層画面順次配置装置４１を介して無距離画
像メモリ４２が接続されている。有距離画像メモリ４０
は、被写体表現最大画素数選択装置３９から出力される
有距離画像Ｓ４０を一定ルールに従って格納していく、
例えば５層構造のメモリである。一層画面順次配置装置
４１は、遠距離画像メモリ３８に格納された各３Ｄカメ
ラ３０−１〜３０−ｎの遠距離画像メモリ３８を、該３
Ｄカメラ３０−１〜３０−ｎの配置角及び画角に合わせ
て一層画面に順次配置することによって無距離画像Ｓ４
２を生成し、それを所望の記憶容量を有する１層構造の
無距離画像メモリ４２に格納させる機能を有している。

【００１０】次に、図６〜図１３を参照しつつ、図１の
装置の動作を説明する。図６は図１の動作説明図であ
り、この図を参照しつつ、図１の装置における各画像の
処理の模様を２つの３Ｄカメラの画像で説明する。図６
において、ｉ番目の３Ｄカメラ３０−ｉとｊ番目の３Ｄ
カメラ３０−ｊから距離画像Ｓ３２−ｉ，Ｓ３２−ｊが
それぞれ出力される。各距離画像Ｓ３２−ｉ，Ｓ３２−
ｊに対応して、それらの背後には図示しない濃淡画像が
位置している。各距離画像Ｓ３２−ｉ，Ｓ３２−ｊは、
縦がＶ、横がＨの大きさを有し、それらの中には短い距
離値の被写体５１、及び長い距離値の被写体５２，５３
が存在している。距離画像Ｓ３２−ｉ，Ｓ３２−ｊは、
図１の距離画像分離装置３３により、短距離画像Ｓ３４
ｉ，Ｓ３４ｊと長距離画像Ｓ３５とに分離される。分離
する距離値の閾値は、図１の対応点再検索装置３６の処
理能力及び得たい画像の距離分布によって変えるように
なっているが、最小値としては各３Ｄカメラ３０−ｉ，
３０−ｊでの最小距離分解能（即ち、１画素の位相差）
を閾値として、その閾値よりも短い距離を短距離画像Ｓ
３４ｉ，Ｓ３４ｊ、長い距離を長距離画像Ｓ３５に振り
分けている。この例では、被写体５１が短い距離値であ
ったので、短距離画像Ｓ３４ｉへ、被写体５２，５３が
長い距離値であったので長距離画像Ｓ３５に振り分けら
れる。

【００１１】次に、長距離画像Ｓ３５は、図１の対応点
再検索装置３６により、再度精度の良い距離画像に変換
され、中距離画像Ｓ３７と遠距離画像Ｓ３８とに分離さ
れる。対応点再検索装置３６による変換の理由は次のよ
うである。即ち、距離画像Ｓ３２−ｉあるいはＳ３２−
ｊ等は、２次元画像入力装置の少なくとも２個を配置し
て構成した３Ｄカメラ３０−ｉ，３０−ｊ，…により得
られる。ところが、この際、２次元画像入力装置の配置
間隔が狭いので、ある距離以上にある被写体はそれ以上
分解できない装置での距離画像となっている。一方、各
３Ｄカメラ３０−ｉ，３０−ｊ，…を配置した複数視点
３次元画像入力装置においては、３Ｄカメラ３０−ｉ，
３０−ｊ，…の配置間隔が１台の３Ｄカメラの配置間隔
よりも十分広いので、本装置では距離画像Ｓ３２−ｉあ
るいはＳ３２−ｊ等で分解できない距離でも視差が生じ
ている。そこで、図１の対応点再検索装置３６により、
さらに精度の良い距離画像に変換する処理を行なってい
る。但し、この場合の対応点再検索は、３Ｄカメラ３０
−ｉ，３０−ｊの配置、該３Ｄカメラ３０−ｉ，３０−
ｊの配置間隔、及び２次元画像入力装置の配置間隔がわ
かっているので、対応点再検索範囲が限定されている。
そのため、従来の図２に示すような対応点検索よりも容
易な処理となっている。対応点再検索装置３６によって
分離された中距離画像Ｓ３７と遠距離画像Ｓ３８とにお
いて、被写体５２は中距離画像Ｓ３７に、被写体５３は
遠距離画像Ｓ３８に振り分けられている。この振り分け
の基準は、例えば次のようになっている。即ち、中距離
画像Ｓ３７の方へは位相差が検出された画像を入れ、遠
距離画像Ｓ３８の方へは距離分解能以下（位相差が１画
素以下）の画像を入れるように振り分けている。

【００１２】遠距離画像Ｓ３８は、図１の一層画面順次
配置装置４１により、無距離画像Ｓ４２に変換され、図
１の無距離画像メモリ４２に格納される。このときの格
納の仕方は、無距離画像Ｓ４２の画面の中のどの番地
（水平方向）に遠距離画像Ｓ３８の１画素目が対応する
かは３Ｄカメラ３０−ｉ，３０−ｊの配置からわかるの
で、例えば無距離画像Ｓ４２中の破線で示される対応部
分に格納されるようになっている。他の３Ｄカメラ３０
−ｊの遠距離画像も、前記と同様に、所定の位置に格納
される。この場合、ある３Ｄカメラの遠距離画像と違う
３Ｄカメラの遠距離画像が重複する場合があるが、その
ときには３Ｄカメラ配置による無距離画像メモリ４２内
の優先づけを行ない、優先される画像を格納している。
優先づけの境界においては、図７及び図８に示す方法で
対処している。

【００１３】図７は、遠距離における３Ｄカメラの画角
の重なりの説明図である。図８は、無距離画像メモリ４
２への書込み方の一例の説明図である。図７のδは３Ｄ
カメラ３０−ｉ，３０−ｊの配置角度、Δδはその配置
角度差であり、Δδ／（δ／ｍ）≠Ｍ（但し、Ｍ；整
数）である。この図７のＡ部分の拡大図が図８に示され
ている。図７に示すように、配置角度δの差Δδが、１
画素を表現する角度で割り切れれば、それぞれの優先づ
けの画像データを無距離画像メモリ４２に書込むが、割
り切れないような場合には両者の重なり具合を比較し
て、重なりの大きい方を境界番地に書込むようにしてい
る。なお、この継ぎ目において画像ずれか生じるが、垂
直方向Ｖの位置によって水平方向の継ぎ目位置をランダ
ムに変えているので、画質の劣化がほとんど無視できる
ように配慮されている。これらの機能は全て図１の一層
画面順次配置装置４１に設けられている。

【００１４】一方、図６の短距離画像Ｓ３４ｉ及び中距
離画像Ｓ３７は、図１の被写体表現最大画素数選択装置
３９により、各３Ｄカメラ３０−ｉ，３０−ｊの画像の
中から最も被写体を表現する画素数の多い３Ｄカメラの
信号のみを有効とし、残りの該被写体の他の３Ｄカメラ
の信号は捨て去るような処理が行なわれる。被写体表現
最大画素数選択装置３９によって選択された有距離画像
Ｓ４０は、図１の有距離画像メモリ４０に格納される。
各３Ｄカメラ３０−ｉ，３０−ｊに残った画像は有効画
像Ｓ３９となる。この例の場合には、短距離画像Ｓ３４
ｊ内の被写体５１と中距離画像Ｓ３７内の被写体５２と
が、結果的に有距離画像メモリ４０内に格納される。こ
の有距離画像Ｓ４０を格納する有距離画像メモリ４０
は、図９に示すような構成になっている。

【００１５】図９は、有距離画像メモリ４０への書込み
方の一例の説明図である。この図に示すように、有距離
画像メモリ４０は、各３Ｄカメラ３０−ｉ，３０−ｊの
画像の中の有距離画像Ｓ４０を順次格納していくもので
あるが、濃淡画像値、距離画像値、それらの画像値の水
平方向（Ｘ）番地と垂直方向（Ｙ）番地、及びその画像
値が得られた３ＤカメラＮＯ．（即ち、画角δ、及び３
Ｄカメラが交点Ｋを見る配置角θｉ）が層状に記憶され
るようになっている。なお、ここでは、層状で説明した
が、前記の値が１組となっていれば、どの様な配列にし
ても良い。次に、図１０（ａ），（ｂ）、図１１
（ａ），（ｂ）、及び図１２を参照しつつ、有距離画像
Ｓ４０を格納する有距離画像メモリ４０と無距離画像Ｓ
４２を格納する無距離画像メモリ４２との記憶容量につ
いて説明する。図１０（ａ），（ｂ）は無距離画像Ｓ４
２の説明図であり、同図（ａ）は無距離画像Ｓ４２を１
画素で分解できなくなる説明図、及び同図（ｂ）は無距
離画像Ｓ４２を１画素で分解できなくなるときの説明図
で、真正面のとき距離の算出例を示す。図１０（ａ）の
δは画角、ｍは画素数、ｋ₁は任意係数である。図１１
（ａ），（ｂ）は無距離画像Ｓ４２の必要な画面数の算
出例を説明する図であり、同図（ａ）は隙間無しの例、
及び同図（ｂ）は隙間有りの例を示す図である。図１２
は、画角最小値の説明図である。

【００１６】まず、無距離画像メモリ４２に格納される
無距離画像Ｓ４２であるが、この画像Ｓ４２は３Ｄカメ
ラ３０−１〜３０−ｎ同士で見ても誤差が生じない遠方
の距離にある被写体の情報を収納しておくものである。
図１０（ａ），（ｂ）で説明すると、この図は本実施例
による３Ｄカメラ配置の中心点Ｏ₀で半円を描き、両端
の３Ｄカメラで被写体を見たときの例である。半円上の
点ａ₁とａ₂が１画素として分離できない距離が前記の
遠方距離ｌであり、次の（１），（２），（３）式に基
づき、（４）式で表される。

【００１７】

【数１】図１０（ｂ）において、分離できない角度ｘは、３Ｄカ
メラ配置方向の真正面において１番大きな角度となるの
で、この角度ｘが画角δを水平方向画素数ｍで割算した
値よりも小さければ良く、その結果が（４）式である。
なお、（４）式において係数ｋ₁は任意であるが、遠方
距離の被写体の空間周波数が大きければ、該係数ｋ₁を
１より大きくしても良い。

【００１８】図６に示すような距離画像Ｓ３２−ｉ，Ｓ
３２−ｊは、１画素に分離できない画像なので、その画
像は図１０（ａ）に示すような半円上に記録したものと
同じに扱って問題はない。そのため、この半円上の点ｃ
から点ｄまでを表現する角度をもって、無距離画像メモ
リ４２の記憶容量値（記憶画素数）とすれば良いことが
解る。画角δと３Ｄカメラ配置角度θの関係から、それ
らの表現に必要な角度θ１，θ２を求めたのが、図１１
（ａ），（ｂ）である。図１１（ａ）は、半円の直線に
対して直角の線（本装置の中心視線）よりも両端の３Ｄ
カメラの画角の外側の線が開いている例（２／πよりも
大きい）であり、同図（ｂ）は小さい例の説明図であ
る。図１１（ｂ）の場合には、両端の３Ｄカメラの画角
の外側の線は点Ｑで交わることになる。

【００１９】図１１（ａ），（ｂ）共に、必要な角度θ
１，θ２は次式（５），（６）で示され、同じ式とな
る。 θ１＝２δ−（δ−π＋２θ）＝δ＋π−２θ ・・・（５） θ２＝２δ＋（π−δ−２θ）＝δ＋π−２θ ・・・（６）なお、両端の３Ｄカメラは今扱う遠方の被写体に対して
点０に収束した状態と考えて良く、（５）式及び（６）
を表している。従って、必要な画素数Ｍは次式（７）で
求まり、１台の３Ｄカメラの画素数Ｈと（７）式の画素
数の積が、図６に示すように無距離画像メモリ４２にお
ける水平方向の記憶画素数（ｍ₁Ｈ）となる。垂直方向
は、１台の３Ｄカメラの垂直方向の画素数Ｖである。

【００２０】

【数２】又、図１１（ｂ）の例では、点Ｑより遠方に不感部分が
生じるので、この例のような使い方の場合、２台の３Ｄ
カメラだけでは不十分で、不感部分を補完する他の３Ｄ
カメラを用いることが必要となる。この不感部分を補完
するには、図１２に示すように、（８）式の条件を満た
せば良い。

【００２１】

【数３】図１２及び（８）式において、θはカメラ配置角度、δ
は１台の３Ｄカメラの画角、ｎは配置する３Ｄカメラの
台数、δ_minは１台の３Ｄカメラの画角でとりうる最小
画角である。（８）式より明らかなように、最小画角δ
_minを使用した場合には、無距離画像メモリ４２におい
てｎ枚の画面数が必要となる。次に、図１３を参照しつ
つ、有距離画像Ｓ４０を格納する有距離画像メモリ４０
の記憶容量について説明する。図１３は、近距離におけ
る有距離画像メモリ４０の必要画面数の説明図である。
この図では、例えば５台の３Ｄカメラ３０−１〜３０−
５の光軸Ｈ３０−１〜Ｈ３０−５を交点Ｋを中心に円弧
上に等間隔で配置した図である。Ｏ₁〜Ｏ₅は各３Ｄカ
メラ３０−１〜３０−５の中心点であり、その両端の中
心点Ｏ₁，Ｏ₅の間隔はＬ₀である。距離Ｌは、中心点
Ｏ₃から測ると、次式（９）より求められる。

【００２２】

【数４】近距離の被写体を見るには、必要とする画面数が増加す
るが、一定距離以上の被写体を見る場合には、画面数を
減らせることを意味している。図１３で、２面、３面、
５面と記してあるのが、その距離の例である。図１１
（ｂ）の点Ｑの距離までは、（９）式の関係で、図６に
示す有距離画像メモリ４０の記憶容量（ｍ₀Ｈ）を決定
できる。図１１（ｂ）に示すＱ点以遠（点ＱＣ₁Ｃ₂で
囲まれる３角形以外の部分）の場合には、長距離画像Ｓ
３５のうちの中距離画像Ｓ３７も含まれるので、有距離
画像メモリ４０は少なくとも無距離画像メモリ４２の記
憶容量を持っていないと、有距離画像Ｓ４０を全て格納
できないことになる。被写体は一般的に距離値が不定で
あるので、前記のように有距離画像Ｓ４０の全てを格納
するには、無距離画像メモリ４２の記憶容量より有距離
画像メモリ４０の記憶容量が下回ってはならないことに
なる。なお、（９）式で、画面数ｎを減らせる意味は、
その距離に依存する面を空間サンプリングする画素数
が、その画面数で表せる数しかないことによる。

【００２３】以上のように、３Ｄカメラ３０−１〜３０
−５の画角δ、該３Ｄカメラ３０−１〜３０−５の配置
角度θ、及び撮像最低距離を決めると、最終的に保存し
ておく図６の有距離画像Ｓ４０及び無距離画像Ｓ４２の
記憶容量を低減することが可能となる。最低距離を下回
った場合には、図１の短距離画像Ｓ３４にフラグが立
ち、有距離画像メモリ４０へ送られ、その旨記憶され表
示されるようになっている。このことは、３Ｄカメラ３
０−１〜３０−５の台数をさらに増加させたときに、そ
の低減比を大きくできる。

【００２４】本実施例では、次のような利点を有してい
る。（１）３Ｄカメラ３０−１〜３０−ｎから出力される
距離画像Ｓ３２−１〜Ｓ３２−ｎを距離画像分離装置３
３で短距離画像Ｓ３４と長距離画像Ｓ３５とに分離し、
さらに該長距離画像Ｓ３５のみを、対応点再検索装置３
６によって３次元カメラ同士で対応点再検索を行なって
中距離画像Ｓ３７と遠距離画像Ｓ３８とに分離するよう
にしたので、精度の良い距離画像を、従来に比べて短時
間で得られる。（２）遠距離画像Ｓ３８を一層画面順次配置装置４１
で無距離画像Ｓ４２に変換し、その無距離画像Ｓ４２を
有距離画像Ｓ４０とは別に扱っているので、観察者の視
線に合わせた表示の際に、複雑な演算をすることなし
に、簡単な番地指定のみで表示できるので、表示するま
での演算時間を短縮できる。

【００２５】第２の実施例図１４は、本発明の第２の実施例を示す複数視点３次元
画像入力装置の構成ブロックであり、第１の実施例を示
す図１中の要素と共通の要素には共通の符号が付されて
いる。この複数視点３次元画像入力装置では、図１の装
置に、３Ｄカメラ配置装置６０、距離判断装置６１、３
Ｄカメラ設定指示装置６２、及び画素密度変換装置６３
が付加されており、その他の構成は図１の装置と同一で
ある。３Ｄカメラ配置装置６０は、複数台の３Ｄカメラ
３０−１〜３０−ｎの配置角度θ、及び画角δを所望の
値に設定する装置である。距離判断装置６１は、短距離
画像Ｓ３４の出力側に接続され、被写体の中の１番近い
距離値がいくらかを判断する装置であり、それには３Ｄ
カメラ設定指示装置６２が接続されている。３Ｄカメラ
設定指示装置６２は、３Ｄカメラ配置装置６０に対して
各３Ｄカメラ３０−１〜３０−ｎの画角δ及び配置角度
θの望ましい値を指示すると共に、所望画面数を保持す
るように動作し、かつ画面内の画素密度に合わせてデー
タを処理する指示を行なう装置である。この３Ｄカメラ
設定指示装置６２は、画面数を保持するリードオンリメ
モリ（以下、ＲＯＭという）等のメモリ、リミッタ、及
びズーム比（画角δ）の変更をマニュアル操作等で行な
うための機能等を有している。画素密度変換装置６３
は、一層画面順次配置装置４１の出力側と無距離画像メ
モリ４２の入力側との間に接続され、３Ｄカメラ設定指
示装置６２の指示に基づき、現在得られている遠距離画
像Ｓ４２の画面数から所定の画面数へ画素密度を変換す
る装置である。

【００２６】次に、図１４の装置の動作を説明する。本
実施例の複数視点３次元画像入力装置では、第１の実施
例と同様の基本プロセスに従い、有距離画像Ｓ４０及び
無距離画像Ｓ４２を求める。以下、第１の実施例に追加
された機能の動作を説明する。まず、有距離画像Ｓ４０
及び無距離画像Ｓ４２の画面数を予め所定枚数にしてお
く。例えば、画面数をそれぞれ３枚と２枚にした場合、
１台の３Ｄカメラの画面の３倍及び２倍の水平方向の画
面数となっている。そこで、無距離画像Ｓ４２の画面数
が２枚になるように、画角δ及び配置角θを初期設定す
る。当然、配置角θより、角３Ｄカメラ３０−１〜３０
−ｎの光軸Ｈ３０−１〜Ｈ３０−ｎの交わる交点Ｋの、
該３Ｄカメラ３０−１〜３０−ｎからの距離が変わるの
で、各３Ｄカメラ３０−１〜３０−ｎの配置角θｉも、
交点Ｋと光軸Ｈ３０−１〜Ｈ３０−ｎが交わるように配
置される。この場合には、前記（９）式の関係から、一
定距離以上、３Ｄカメラ３０−１〜３０−ｎから離れた
被写体の撮像は、距離判断装置６１により、全画像が所
定画面数に入り、問題なしの信号を出す。これにより、
３Ｄカメラ設定指示装置６２が現状の指示を保持するの
で、画素密度変換装置６３の画素密度変換比も１となっ
ている。従って、第１の実施例と同一の動作となる。

【００２７】次に、被写体が画面数３枚に対応する距離
よりも近い距離に存在した場合には、次のように動作す
る。短距離画像Ｓ３４内に近すぎる距離が入っているの
で、距離判断装置６１では３Ｄカメラ設定指示装置６２
の指示による許容値と違う旨の信号を発生する。この信
号を受けた３Ｄカメラ設定指示装置６２は、最短距離値
を受けて、有距離画像Ｓ４０の画面数を満たすように画
角δを変えるとか、配置角θを変える等の指示を行な
う。この指示値は、初期設定時の画角δ及び配置角θを
もとに、距離値に対応した該画角δ及び配置角θの値が
３Ｄカメラ設定指示装置６２内のＲＯＭ等に予めセット
されている。又、画角δを変えるには、ズームレンズを
使用し、３Ｄカメラ設定指示装置６２によってズーム比
を変えることで対応している。本実施例においては、画
角δで対応できるときはその画角δで対処し、それ以外
のときに配置角θを変えるようにしている。画角δでは
そのδが広がるように動き、配置角θではそのθが小さ
くなるように動く。

【００２８】このように、３Ｄカメラ配置装置６０が被
写体を撮れるようにセットされると、距離判断装置６１
で問題なしの信号が出力される。各３Ｄカメラ３０−１
〜３０−ｎの次の画面（３Ｄカメラ配置装置６０による
再配置後の画面）が入ってくると、距離判断装置６１か
ら問題なしの信号が出力されるので、その後の動作は第
１の実施例と同一である。そして、有距離画像Ｓ４０の
３ＤカメラＮＯ．に対応する画角δ及び配置角θは、再
配置後のそれぞれの値が３Ｄカメラ設定指示装置６２内
のＲＯＭ等に記憶されることになる。それ以前の信号に
は、再配置前の画角δ及び配置角θが３Ｄカメラ設定指
示装置６２に記憶されているし、画面数不足分が切捨て
られている。

【００２９】一方、遠距離画像Ｓ３８の方では、画角δ
が広がる、あるいは配置角θが小さくなると、必要画面
数が増加してしまう。そこで、画素密度変換装置６３
で、所定画面数になるように、一層画面順次配置装置６
１から出力される画像に対して画素数変換をし、無距離
画像Ｓ４２を無距離画像メモリ４２に記憶する。画素密
度変換装置６３における画素密度変換には種々の方法が
あるが、ここでは単純に、画素数変換比に応じて、必要
画面の中からランダムに画素を間引くことで対応してい
る。なお、このとき、必要画面数は有距離画像画面数を
超えないところまでが動作範囲として制限するようなリ
ミッタが、３Ｄカメラ設定指示装置６２内に設けられて
いる。

【００３０】次のケースとして、被写体が３Ｄカメラ３
０−１〜３０−ｎの初期配置関係に比較して遠方に位置
しているような場合について説明する。このように被写
体が遠方に位置している場合にも、距離判断装置６１に
おいて被写体の最短距離値を知ることができるので、そ
の値が、３Ｄカメラ設定指示装置６２に設けられた表示
装置で知ることができるようになっている。但し、遠距
離画像Ｓ３８においては、例えば地面等も映っているの
で、観察者が画面内の窓枠等で注目する被写体を指示で
きるようになっている。そこで、観察者が、その被写体
をズームアップして見たいようなときには、次の動作で
対応できるようになっている。ここで、ズームアップ
は、３Ｄカメラ設定指示装置６２によってマニュアル操
作が可能な構成になっている。

【００３１】３Ｄカメラ設定指示装置６２のマニュアル
操作によってズーム比（画角δ）を変えると、被写体を
大きく見ることが可能となるが、その結果、画角δが小
さくなってしまう。そのため、無距離画像Ｓ４２の必要
画面数が増加してしまうので、所定枚数（例えば、２
枚）になるように、配置角θを変更する指示が３Ｄカメ
ラ設定指示装置６２より出され、所定枚数以内の画面が
得られるように動作する。ここで、配置角θを変えて
も、２枚に入りきらない配置角θまでしか変えられない
ときには、有距離画像Ｓ４０の画面数３までの画角δを
最小画角として制限するリミッタが、３Ｄカメラ設定指
示装置６２内に設けられている。このときは、画素密度
変換装置６３で前記と同様に画素数変換され、無距離画
像メモリ４２に格納される。

【００３２】なお、この後、有距離画像Ｓ４０及び無距
離画像Ｓ４２に対し、従来より行なわれている画像圧縮
を行なうことも可能である。有距離画像Ｓ４０は、可逆
形の画像圧縮・伸張が望ましいが、無距離画像Ｓ４２は
非可逆形でもかまわない。本実施例では、第１の実施例
とほぼ同様の利点の他に、次のような利点も有してい
る。（ｉ）各３Ｄカメラ３０−１〜３０−ｎの配置角θ及
び画角δを３Ｄカメラ設定指示装置６２によって一定許
容値内に保つようにしたので、無距離画像Ｓ４２の画面
数（即ち、無距離画像メモリ４２の記憶容量値）を３Ｄ
カメラ３０−１〜３０−ｎの台数に無関係に所望値に削
減できる。（ii）各３Ｄカメラ３０−１〜３０−ｎの配置角θ及
び画角δを３Ｄカメラ設定指示装置６２によって一定許
容値内に保ち、一定距離以上を撮像するようにし、かつ
被写体表現最大画素数選択装置３９によって各３Ｄカメ
ラ３０−１〜３０−ｎの中から被写体表現最大画素数を
持つ画像を有効な画像として選択し、その他は廃棄処分
にしている。そのため、有距離画像メモリ４０の記憶容
量値を、３Ｄカメラ３０−１〜３０−ｎの台数に関係な
く、所望値に削減できる。（iii) 有距離画像メモリ４０の記憶容量値を無距離画
像メモリ４２の記憶容量値よりも大きくし、かつ無距離
画像Ｓ４２の方では画素密度変換装置６３によって画素
密度変換が可能な構成になっている。そのため、有距離
画像メモリ４０の記憶容量値までの距離に対応した被写
体を撮像でき、初期設定最低被写体距離にマージンが生
じ、撮像の際の本装置の設定の自由度が増大する。（iv）３Ｄカメラ設定指示装置６２によって遠距離の
被写体をズーム比を変えて撮像するときに、無距離画像
メモリ４２の記憶容量値を超えないようにズーム比（画
角δ）と配置角θが連動するので、ズーム比変更による
遠距離画像Ｓ３８の抜けが発生しない、安定した撮像が
可能となる。（ｖ）３Ｄカメラ設定指示装置６２によって遠距離の
被写体をズーム比を変えて撮像するときに、３Ｄカメラ
３０−１〜３０−ｎの配置角θが変更最大可能な限界値
の場合でも、有距離画像メモリ４０の記憶容量値まで画
素密度変換装置６３によって画素密度変換して対処する
ので、ズーム比をその分大きくとれ、被写体の拡大が可
能となる。

【００３３】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、第１の分離手段によって短距離画像と長距離
画像とに分離し、さらにその長距離画像のみを第２の分
離手段により、対応点再検索をした後に中距離画像と遠
距離画像とに分離するようにしたので、精度の良い距離
画像が、従来に比較して短時間で得られる。第２及び第
３の発明によれば、遠距離画像を無距離画として有距離
画像とは別に扱っているので、観察者の視線に合わせた
表示の際に、複雑な演算をすることなしに、簡単な番地
指定のみで表示でき、表示までの演算時間の短縮化が可
能となる。第４の発明によれば、各３次元画像入力装置
の配置角と画角を一定許容値内に保つようにしたので、
遠距離画像の記憶容量値を３次元画像入力装置の台数に
無関係に、所望値に削減できる。第５の発明によれば、
各３次元画像入力装置の配置角及び画角を一定許容値に
保ち、一定距離以上を撮像するようにし、さらに各３次
元画像入力装置の中から被写体表現最大画素数を持つ画
像を有効な画像として選択し、その他は廃棄するように
している。そのため、短距離画像及び中距離画像の記憶
容量値を、３次元画像入力装置の台数に関係なく、所望
値に削減できる。第６及び第７の発明によれば、短距離
画像及び中距離画像の記憶容量値を、遠距離画像の記憶
容量値よりも大きくし、さらに遠距離画像の方では画素
密度変換が可能な構成になっているので、短距離画像及
び中距離画像の記憶容量値までの距離に対応した被写体
を撮像でき、初期設定最大被写体距離にマージンが生
じ、撮像の際の複数視点３次元画像入力装置の設置の自
由度が増大する。第８の発明によれば、遠距離の被写体
をズーム比を変えて撮像するときに、遠距離画像の記憶
容量値を超えないように、各３次元画像入力装置の配置
角と画角が連動するので、ズーム比変更による遠距離画
像の抜けが発生しない、安定した撮像が可能となる。さ
らに、遠距離の被写体をズーム比を変えて撮像するとき
に、３次元画像入力装置の配置角が変更最大の限界値の
場合でも、短距離画像メモリ及び中距離画像メモリの記
憶容量値まで画素密度変換して対処されるので、ズーム
比をその分大きくとれ、被写体の拡大が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す複数視点３次元画
像入力装置の構成ブロック図である。

【図２】従来の３次元画像入力方式の１つであるステレ
オ画像法の説明図である。

【図３】図２のステレオ画像法で得られた信号の濃淡画
像と距離画像の説明図である。

【図４】従来の３次元画像表示方式の１つである多眼式
レンチキュラ方式の原理図である。

【図５】先の提案の複数視点３次元画像入力装置の概略
の構成ブロック図である。

【図６】図１の動作説明図である。

【図７】図１の装置の遠距離における３Ｄカメラの画角
の重なりの説明図である。

【図８】図１の装置の遠距離画像メモリへの書込み方の
一例の説明図である。

【図９】図１の装置の有距離画像メモリへの書込み方の
一例の説明図である。

【図１０】図１の装置の無距離画像を１画素で分解でき
なくなる説明と、その真正面のときの距離の算出例の説
明図である。

【図１１】図１の装置の無距離画像の隙間無しと隙間有
りのときの必要な画面数の算出例の説明図である。

【図１２】図１の装置の画角最小値の説明図である。

【図１３】図１の装置の近距離における必要画面数の説
明図である。

【図１４】本発明の第２の実施例を示す複数視点３次元
画像入力装置の構成ブロック図である。

【符号の説明】

３０−１〜３０−ｎ３Ｄカメラ３１−１〜３１−ｎ濃淡画像メモリ３２−１〜３２−ｎ距離画像メモリ３３距離画像分離装置３４短距離画像メモリ３５長距離画像メモリ３６対応点再検索装置３７中距離画像メモリ３８遠距離画像メモリ３９被写体表現最大画素数選択
装置４０有距離画像メモリ４１一層画面順次配置装置４２無距離画像メモリ６０３Ｄカメラ配置装置６１距離判断装置６２３Ｄカメラ設定指示装置６３画素密度変換装置Ｓ３１−１〜Ｓ３１−ｎ濃淡画像Ｓ３２−１〜Ｓ３２−ｎ距離画像Ｓ３４短距離画像Ｓ３５長距離画像Ｓ３７中距離画像Ｓ３８遠距離画像Ｓ４０有距離画像Ｓ４２無距離画像

Claims

【特許請求の範囲】

【請求項１】照射された被写体の画像を入力してその
被写体を表現する濃淡画像及び距離画像の信号をそれぞ
れ出力する３次元画像入力装置を複数台、それらの光軸
が１点で交わるように配置した複数視点３次元画像入力
装置において、前記複数台の３次元画像入力装置からの距離画像をもと
に、所望位相差以上の短距離画像と所望位相差以下の長
距離画像とに分離する第１の分離手段と、前記長距離画像に対し前記複数台の３次元画像入力装置
の濃淡画像を用いて再度対応点検索を行ない、有位相差
画像である中距離画像と無位相差画像である遠距離画像
とに分離する第２の分離手段とを、設けたことを特徴とする複数視点３次元画像入力装置。
【請求項２】前記遠距離画像は、前記短距離画像及び
中距離画像とは異なる記憶手段に記憶する構成にしたこ
とを特徴とする請求項１記載の複数視点３次元画像入力
装置。
【請求項３】前記遠距離画像は前記複数台の３次元画
像入力装置の配置に従がい所定の記憶手段番地に順次配
列する配置手段を、設けたことを特徴とする請求項２記
載の複数視点３次元画像入力装置。
【請求項４】前記各３次元画像入力装置の配置角と画
角を一定の関係に保つ構成にしたことを特徴とする請求
項２記載の複数視点３次元画像入力装置。
【請求項５】前記各３次元画像入力装置の配置角と画
角を一定の関係に保ち、かつ一定距離以上を撮像してい
ることを識別する設定手段と、前記短距離画像及び中距離画像の中から、前記被写体を
表現する画素数の最も多い画像を有効な有距離画像とし
て選択する選択手段とを、設けたことを特徴とする請求項２記載の複数視点３次元
画像入力装置。
【請求項６】前記短距離画像と中距離画像の記憶容量
値は、前記遠距離画像の記憶容量値よりも大きくしたこ
とを特徴とする請求項２記載の複数視点３次元画像入力
装置。
【請求項７】順次配列された前記遠距離画像は所定の
記憶容量値と整合がとれるように所定の画面数へ画素密
度を変換する変換手段を、設けたことを特徴とする請求
項３記載の複数視点３次元画像入力装置。
【請求項８】前記各３次元画像入力装置の配置角と画
角は前記遠距離画像の記憶容量値に整合するように連動
して動作させる手段を、設けたことを特徴とする請求項
６又は７記載の複数視点３次元画像入力装置。