JPH11183142A - 三次元画像撮像方法及び三次元画像撮像装置 - Google Patents

三次元画像撮像方法及び三次元画像撮像装置

Info

Publication number
JPH11183142A
JPH11183142A JP9350636A JP35063697A JPH11183142A JP H11183142 A JPH11183142 A JP H11183142A JP 9350636 A JP9350636 A JP 9350636A JP 35063697 A JP35063697 A JP 35063697A JP H11183142 A JPH11183142 A JP H11183142A
Authority
JP
Japan
Prior art keywords
image
pixel
distance
parallax
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9350636A
Other languages
English (en)
Other versions
JP3525712B2 (ja
Inventor
Ken Tokai
研 東海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP35063697A priority Critical patent/JP3525712B2/ja
Publication of JPH11183142A publication Critical patent/JPH11183142A/ja
Application granted granted Critical
Publication of JP3525712B2 publication Critical patent/JP3525712B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】輝度情報及び距離情報を測定する三次元画像撮
像方法において、オクルージョンの発生をできるだけ回
避するとともに、高精度な距離情報を得る。 【解決手段】被測定物体を複数の位置から撮影して複数
の視差画像を取得し、その一つを基準視差画像とし、こ
の画像と最も近い撮像位置での画像との画像対からステ
レオ視に必要な対応画素探索を行い、基準視差画像の各
画素の距離値を算出して記憶し、続いて、前記基準視差
画像に対して近い順の画像との画像対により、順次対応
画素探索を行って距離値を順次算出し、現在のステップ
で得られた距離値によって、既に記憶されていた距離値
の書換処理を繰り返すことにより、オクルージョンが発
生しない範囲で最大の基線長を持つステレオ画像対から
距離値を算出可能とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、輝度情報及び距離
情報からなる三次元画像を取得する画像撮像方法及び装
置に係り、特に、ステレオ視を利用して形状測定を行う
に際し、測定対象物(被測定物体)が比較的複雑な形状
を有している場合であっても、オクルージョン対策を図
るとともに計測する距離情報の精度向上を可能とする三
次元画像撮像方法及び三次元画像撮像装置に関する。
【0002】
【従来の技術】対象物体の形状を測定する方法として
は、ステレオ視に代表されるパッシブ手法と、対象物体
に光を照射しその反射光を検出して行うアクティブ手法
(レーザレーダ、アクティブステレオ、モアレ、干渉)と
が存在する。一般的にアクティブ手法の方が計測精度は
高いが、光を照射する投光手段の限界により、例えばレ
ーザのパワーの届く範囲で測定できるレンジが決るの
で、数メートルの範囲の距離にあるものしか測定できな
い場合が多い。一方、パッシブ手法は汎用的であり、対
象物体に対する制約が少ないという利点がある。
【0003】パッシブ手法の中でも、ステレオ視による
形状測定は比較的精度が良い方法として知られている。
ステレオ視による形状測定は三角測量の原理を応用し、
例えば図4に示すように、被測定物体を異なる位置から
撮像して得られる観測系A,Bの各画角による2枚の視
差画像対から、輝度情報となる一方の視差画像(輝度画
像)の各画素での撮像点からの距離値を算出するもので
ある。
【0004】上述したステレオ視による形状測定によれ
ば、各視差画像を得るための観測系の光軸が異なってい
るため、オクルージョンの問題が発生する。これは特
に、輝度値と距離値を一対一に対応させようとする場合
に支障が生じる。すなわち、図4に示すように、被測定
物体40の輝度情報を得ている観測系Aの画角で見えて
いる領域が、他の観測系Bの画角で見えない現象(オク
ルージョン)が発生し、輝度情報における各画素に対し
て輝度値と距離値とを一対一に対応させることができ
ず、その結果、距離情報を持たない画素が存在すること
になる。
【0005】このようなオクルージョンの問題に対処す
るため、オクルージョン領域が存在するような被測定物
体が比較的複雑な形状を有する場合の距離情報の計測方
法として、被測定物体を異なる複数の位置から撮影して
複数の視差画像を取得し、距離算出処理を繰り返し行い
オクルージョン部分の距離を算出する方法が提案されて
いる。
【0006】すなわち、この方法は、被測定物体を異な
る複数の位置から撮像して得られた複数の視差画像か
ら、被測定物体の連続ステレオ画像を作成(各視差画像
の水平方向の切断線を撮像順に並べることによって作
成)し、次に、連続ステレオ画像を方向成分に分解して
オクルージョンのない部分の奥行きを算出し、この奥行
きの決定した部分を除いた連続ステレオ画像から再度奥
行きを算出する処理を繰り返すことにより、オクルージ
ョン部分の奥行きを算出するようにしている。奥行きの
算出は、連続ステレオ画像を様々な傾きの直線で走査
し、その直線上の分散を求め、この分散がある基準値以
下の場合に、その直線の方向(傾き)に対応した奥行き
に物体が存在しているとみなしている(特開平6−74
723号公報参照)。
【0007】
【発明が解決しようとする課題】しかしながら上記方法
においては、奥行きの算出に際して、オクルージョンが
発生していない領域の視差画像を選別することなく、撮
像した複数の視差画像を全て連続ステレオ画像の作成に
採用している。この場合、採用された視差画像対によっ
ては、距離測定精度の低下をもたらす可能性があるもの
が含まれている。この理由について以下に説明する。
【0008】すなわち、図5に示すように、レンズ50
を介して異なる位置から撮像して得た一対の視差画像か
ら構成されるステレオ視(ステレオ画像対)において、
撮影された画像の画素サイズの一辺の長さをλ、各視差
画像におけるレンズ中心位置の間隔である基線長をB、
レンズの焦点距離をFとした場合、ステレオ画像対での
対応画素のピクセルの差である視差dと、被測定物体4
0が位置する面からレンズ50の中心までの距離値zと
の関係は式1で表現することができる。
【0009】
【式1】d=B・F/λ・z
【0010】ステレオ画像対から直接計測されるのは視
差d(ピクセル差)であり、式1より基線長Bが小さい
と得られる視差d自体が小さくなり、視差に生じる誤差
が大きくなる。したがって、上述した連続ステレオ画像
の作成において、誤差が大きい可能性がある視差を使用
して算出した直線による距離情報(奥行き)は、当然誤
差が大きくなることが予想される。なお、図5では撮像
画像面をレンズ50の前方に位置させて説明している
が、実際の光学系ではレンズ50に対して対称位置とな
る結像中心上の後方側に結像面(撮像面)が存在する。
【0011】本発明は上記実情に鑑みてなされたもの
で、オクルージョンの発生をできるだけ回避するととも
に、距離情報の測定精度の向上を可能とする三次元画像
撮像方法及び三次元画像撮像装置を提供することを目的
とする。
【0012】
【課題を解決するための手段】上記目的を達成するため
請求項1の発明は、被測定物体に対する輝度情報及び距
離情報を測定する三次元画像撮像方法において、次の手
順で行うことを特徴としている。先ず、前記被測定物体
を複数の撮像位置から撮影して複数の視差画像を取得す
る。次に、前記視差画像の一つを輝度情報とするととも
に、この輝度情報となる基準視差画像とその撮像位置に
最も近い撮像位置での第1の視差画像との画像対からス
テレオ視に必要な第1回めの対応画素探索を行い、第1
のオクルージョンが発生しない範囲において前記画像対
の視差から輝度情報の各画素に対する撮像位置からの各
距離を算出して距離情報として記憶する。前記基準視差
画像とその撮像位置に2番めに近い撮像位置での第2の
視差画像との画像対から再度対応画素探索を行い、第2
のオクルージョンが発生しない範囲において各画素に対
応する各距離を算出し、距離が算出できた画素について
は既に記憶している距離情報を書き換える距離情報書換
処理を行う。この距離情報書換処理について、前記基準
視差画像と撮像位置の近さが3番め以降の各視差画像と
の画像対で順次処理を繰り返し行う。そして、前記第1
のオクルージョンが発生している範囲の画素について
は、距離情報がないオクルージョン画素として記憶す
る。
【0013】請求項2の発明は、請求項1に記載の三次
元画像撮像方法において、前記基準視差画像は、複数の
視差画像の内、被測定物体に対して中間位置の視差画像
であることを特徴としている。
【0014】請求項3の発明は、請求項1に記載の三次
元画像撮像方法において、前記距離情報書換処理におけ
る対応画素探索は、直前までの距離情報書換処理により
記憶されている距離情報に基づいて行うことを特徴とし
ている。
【0015】請求項4の発明は、請求項1に記載の三次
元画像撮像方法において、前記第1のオクルージョンが
発生している範囲の画素については、この画素に対する
最近傍の画素の距離情報を割り当てることを特徴として
いる。
【0016】請求項5の発明は、被測定物体に対する輝
度情報及び距離情報を測定する三次元画像撮像装置であ
って、次の各構成を具備することを特徴としている。撮
像部。この撮像部は、前記被測定物体を複数の撮像位置
からそれぞれ撮影し、複数の視差画像を取得可能とする
ものである。対応画素探索手段。この対応画素探索手段
は、複数の視差画像の一つを輝度情報とし、輝度情報と
なる基準視差画像と他の各視差画像との画像対を順次選
択し、ステレオ視に必要な対応画素の探索を行うもので
ある。距離情報算出手段。この距離情報算出手段は、前
記各画像対の視差から前記基準視差画像中の画素におけ
る撮像位置からの距離を算出するものである。距離値メ
モリ。この距離値メモリは、前記距離情報算出手段にお
いて距離が算出できた画素について距離情報を記憶する
ものである。オクルージョン領域処理部。このオクルー
ジョン領域処理部は、前記距離情報算出手段において距
離が算出できなかった画素をオクルージョン画素として
記憶するものである。三次元画像メモリ。この三次元画
像メモリは、前記基準視差画像の各画素に対して距離情
報又はオクルージョン画素を対応させて三次元情報を記
憶するものである。距離情報書換手段。この距離情報書
換手段は、前記三次元画像メモリの各画素の距離情報に
対して、前記距離情報算出手段での距離算出の基礎とな
る各画像対の撮像における基線長が最大となる画素対に
よる距離情報に書き換えるものである。
【0017】請求項6の発明は、請求項5に記載の三次
元画像撮像装置において、前記オクルージョン画素に対
して、最近傍の画素の距離値を割当てる距離値割当処理
手段を備えたことを特徴としている。
【0018】本発明によれば、基準視差画像とその撮像
位置に最も近い撮像位置での第1の視差画像との画像対
からステレオ視に必要な第1回めの対応画素探索を行う
ので、基準長が短いステレオ視によりオクルージョンの
発生をできるだけ回避するができる。
【0019】また、基準視差画像と視差画像との画像対
から複数回の対応画素探索を行い、距離情報を書き換え
ることが行われるので、基準長が長いステレオ視による
距離情報に書き換えることにより、距離情報の測定精度
の向上を可能とする。
【0020】基準視差画像について、複数の視差画像の
内の被測定物体に対して中間位置の視差画像とすること
により、オクルージョンの発生する範囲を少なくするこ
とができる。
【0021】距離情報書換処理における対応画素探索に
ついて、直前までの距離情報書換処理により記憶されて
いる距離情報に基づいて行うことにより、処理速度の高
速化を図ることができる。
【0022】第1回めの対応画素探索で第1のオクルー
ジョンが発生している範囲の画素について、この画素に
対する最近傍の画素の距離情報を割り当てることによ
り、エッジのなまりを回避してエッジの保存を行うこと
ができる。
【0023】
【発明の実施の形態】本発明の三次元画像撮像装置及び
三次元画像撮像方法の実施の形態の一例について、図面
を参照しながら説明する。図1は、三次元画像撮像装置
としてのOAカメラの構成を示すブロック図であり、図
2は三次元画像撮像装置の動作を説明するためのフロー
チャート図である。
【0024】三次元画像撮像装置は、被測定物体に対す
る輝度情報及び距離情報を測定する装置であり、被測定
物体を撮像して画像を得る撮像部1と、複数の視差画像
を得るため前記撮像部1を一定距離の範囲において平行
移動させる撮像部移動機構部2と、撮像部移動機構部2
による各撮像位置を記憶する撮像位置メモリ3と、各視
差画像を記憶する輝度値メモリ4と、視差画像のうちの
一つを基準視差画像として選択記憶する出力輝度値メモ
リ5と、基準視差画像と視差画像との画像対における対
応画素を探索する対応画素探索部(対応画素探索手段)
6と、画像対から基準視差画像の各画素の距離情報を算
出する距離情報算出部(距離情報算出手段)7と、距離
情報を記憶する距離値メモリ8と、画像対から基準視差
画像におけるオクルージョン領域の画素を検出して処理
するオクルージョン領域処理部9と、被測定物体の輝度
情報及び距離情報を記憶する三次元画像メモリ10と、
を具備して構成されている。
【0025】撮像部1は、撮像部移動機構部2により一
定距離の範囲において直線的にステップ移動し、各ステ
ップごとにそれぞれ異なる位置から被測定物体に対して
撮像を行い、複数の視差画像を取得するようになってい
る。対応画素探索部6においては、出力輝度値メモリ5
において選択され輝度情報となる基準視差画像と他の各
視差画像との画像対を順次選択し、ステレオ視に必要な
対応画素の探索を行うようになっている。
【0026】この基準視差画像と他の各視差画像との組
み合わせにより、基線長の短いものから長いものまで種
々の画像対に対して対応画素探索が行われることによ
り、オクルージョンの発生領域が少ないもの(基線長が
短い画像対による)から距離値の測定精度が高いもの
(基線長が長い画像対による)までの距離情報を得るこ
とができる。すなわち、基線長が短い(光軸が近い)画
像対によると、撮像における画角がほぼ等しいので撮像
画像同士(基準視差画像と視差画像)におけるほとんど
の画素が両方の画像に存在し、一方の画素しか得られな
いオクルージョンの発生を回避することができる。ま
た、基線長が長い画像対によると、上述した式1におけ
る視差の値が大きくなり、視差による誤差を少なくして
距離値の測定精度を高くすることができる。
【0027】また、出力輝度値メモリ5においては、輝
度情報の画素に対してそれぞれ距離情報が付加できるよ
うに、換言すればオクルージョン領域ができるだけ発生
しないよう、被測定物体に対して中間位置となる撮像位
置での画像を基準視差画像(輝度情報)に選択するよう
にしている。すなわち、基準視差画像を被測定物体に対
して中間位置となる撮像位置で得られた画像とし、この
画像に対して画角が少しずれた視差画像とによるステレ
オ画像対をとれば、被測定物体をほぼ正面から撮像する
ステレオ視とすることができ、オクルージョン領域の発
生を最小限にすることができる。
【0028】距離情報算出部7においては、基準視差画
像と各視差画像との画像対から輝度画像情報の画素にお
ける撮像位置からの距離を算出する。この場合、基準視
差画像と各視差画像との画像対において、オクルージョ
ン領域が発生している部分については対応画素がないた
め距離算出ができない。そして、距離値メモリ8におい
て、距離情報算出部7において距離が算出できた画素に
ついて距離情報を記憶し、距離情報算出部7において距
離が算出できなかった画素については、オクルージョン
画素として記憶する。また、オクルージョン領域処理部
9には距離値割当処理手段が設けられ、距離値メモリ8
でオクルージョン画素とされた各画素に対して、最近傍
の画素の距離値を割り当てるようになっている。
【0029】三次元画像メモリ10では、輝度画像情報
としての基準視差画像の各画素に対して、距離情報又は
オクルージョン画素を対応させた三次元情報として記憶
する。三次元画像メモリ10の各画素の距離情報に対し
ては、前記距離情報算出部7での距離算出の基礎となる
各画像対の撮像における基線長が最大となる画素対によ
る距離情報に書き換え可能に構成されている。
【0030】次に、上記三次元画像撮像装置を用いた撮
像方法について、図1及び図2を参照しながら説明す
る。三次元画像撮像装置のスイッチ(図示せず)で撮像
開始が選択されると、撮像部移動機構部2により撮像部
1が停止と移動を繰り返すステップ移動を行う(ステッ
プ101)。撮像部1が停止している各位置で撮像が行
われて(ステップ102)複数の視差画像を取得し、得
られた輝度画像は輝度値メモリ4にそれぞれ記憶(ステ
ップ103)されることが繰り返される(ステップ10
4)。前記撮像部1が停止する位置は、撮像部1が平行
移動可能な一定直線距離内で等間隔に数十箇所程度設定
されている。したがって、輝度値メモリ4には、各視差
画像の各画素の輝度情報が記憶される。
【0031】次に、複数の視差画像の中から輝度画像情
報として使用する画像を基準視差画像として選択する
(ステップ105)。この基準視差画像は、前記したよ
うに、オクルージョン領域ができるだけ発生しないよう
に、移動する撮像部1の中間停止位置での撮像された視
差画像、すなわち被測定物体に対して中心位置で撮像さ
れた画像を基準視差画像として使用する。選択された基
準視差画像の各画素の輝度値情報は、出力輝度値メモリ
5に記憶される(ステップ106)。
【0032】続いて、対応画素探索部6において、撮像
位置メモリ3のデータを元に基準視差画像を撮像した撮
像位置に最も近い位置で撮像した視差画像を選択し、こ
の視差画像と輝度画像情報として選択した基準視差画像
とにより第1のステレオ画像対を形成する(ステップ1
07)。この場合、基準視差画像と視差画像との光軸は
一番近い位置に存在しているので、オクルージョン領域
の発生を最小限にすることができる。
【0033】そして、このステレオ画像対において、対
応する画素を探索する対応画素探索を行う(ステップ1
08)。対応画素探索に際しては、画像同士の光軸が近
いため、基準視差画像の画素位置に近い位置に視差画像
の対応画素が存在しているので、対応画素探索の探索領
域を小さく設定することができる。対応画素探索の方法
としては、対象画素付近にある一定の大きさの窓を設
け、この窓内の画素の輝度値の差がもっとも小さい画
素、すなわち、式2に示すDwを最小にする画素を対応
画素とするなどが考えられる。
【0034】
【式2】
【0035】式2中、Wは設定した相関窓の大きさ、I
refはステレオ画像対の基準視差画像における画素の輝
度値、Isはステレオ画像対を形成する視差画像におけ
る画素の輝度値である。対応画素が探索できた場合に
は、式3により、距離情報(距離値z)を算出する(ス
テップ109)。式3は式1を変形したもので、ノーテ
ーションに関しては式1と同一である。この動作を基準
視差画像の全ての画素に対して行う。
【0036】
【式3】z=B・F/λ・d
【0037】ステレオ画像対において対応画素が探索で
き、式3により距離値が算出された各画素の距離値は、
距離値メモリ8に記憶される(ステップ110)。オク
ルージョンにより距離値が算出できない場合には、その
画素がオクルージョン画素であるとの情報を距離値メモ
リ8に記憶する。
【0038】次に、前ステップでステレオ画像対の一方
として用いた視差画像以外で、基準視差画像を撮像した
撮像位置と最も近い位置で撮像した視差画像を、第2の
ステレオ画像対の視差画像として用いる(ステップ11
1)。前ステップにおいてあらかじめ距離値メモリ8に
記憶されている距離値(後述するステップ115で上書
きされた距離値)が算出されているので、式1により視
差dの予想値を算出することができる(ステップ11
2)。この視差dを利用して対応画素の探索を行う(ス
テップ113)ことにより探索時間の短縮(処理時間の
高速化)を図ることができる。
【0039】ステレオ画像対における対応画素より基準
視差画像の各画素の距離情報を算出(ステップ114)
する手順は前ステップと同じであるが、第2のステレオ
画像対の基線長は前ステップでの第1のステレオ画像対
の基線長より長いので、より測定精度の高い距離情報を
求めることが可能となる。その反面、オクルージョンの
発生により距離値が算出できない画素数が増加する。そ
して、第2のステレオ画像対により距離値が算出できた
画素については、第1のステレオ画像対により既に算出
され距離値メモリ8に書き込まれている画素について、
新たに算出した距離値によりデータの上書きを行う(ス
テップ115)。
【0040】以後、同様の手順により、撮像された視差
画像すべてに対して各ステレオ画像対を設定し、各ステ
ップにおいて算出された距離値情報による上書き動作を
行うことにより、第1のステレオ画像対によるオクルー
ジョンが発生しない領域における基準視差画像の各画素
について、最も基線長が長いステレオ画像対による距離
情報を求めることができる(ステップ116)。
【0041】全ての視差画像を利用してステレオ画像対
を形成し、各画素における距離情報を算出した後でも、
撮像対象によってはオクルージョンが発生している、す
なわち距離値メモリ8にオクルージョン画素として記憶
されている場合がある。このような領域は、基準視差画
像(輝度画像情報)を撮像した位置から見えるエッジ領
域(図1のオクルージョン領域参照)であると考えられ
る。
【0042】これらのオクルージョン画素の処理の仕方
について説明する。図4に示したように、背景物体41
の前方に被測定物体40が存在する場合、被測定物体に
おけるある水平面断面での実際の距離値(奥行き情報)
は図5(a)のようになっている。ここにおいて、斜線
領域がオクルージョン領域に相当している。オクルージ
ョン領域の画素に対して、周囲画素からの重み付け平均
を取った距離値を対応させると、図5(b)に示すよう
に、不必要なエッジの「なまり」が発生してしまう。こ
のような「なまり」が発生すると、距離情報を用いての
背景物体41の画像から被測定物体40の画像の分離を
行おうとする場合に、背景画像と物体画像との境界のエ
ッジが検出できず分離が困難になってしまう。
【0043】そこで、本発明の三次元画像撮像装置のオ
クルージョン領域処理部9においては、オクルージョン
領域の画素に対して(ステップ118)、最近傍の画素
の距離値を割り当てる作業を行う(ステップ119)こ
とにより、距離情報のプロファイルは図5(c)に示す
ようになる。この場合、各画素の距離情報自体としては
誤差が大きくなる可能性があるが、エッジ部分は保存さ
れ、背景画像から被測定物体の画像を容易に分離するこ
とが可能となる。
【0044】オクルージョン領域の処理が終了すると、
基準視差画像(輝度情報画像)の各画素に対して距離値
が得られ(ステップ117)、輝度値と距離値の情報を
各画素に持つ三次元画像として三次元画像メモリに記憶
(ステップ120)して動作を終了する。
【0045】上記した三次元画像撮像装置では、複数の
視差画像を得る手段として撮像部1を移動機構によりス
テップ的に平行移動させて撮像位置の異なる視差画像を
取得していたが、あらかじめ複数台の光学系を設置して
撮像することにより、複数の視差画像を取得するように
した構造であっても良い。
【0046】また、対応画素探索の際に用いる輝度情報
としては、輝度情報画像に使用する通常のR,G,B信号
以外にも赤外領域に感度を有する撮像装置により得られ
る赤外反射光情報を利用しても良い。一般に異なる材質
は異なる反射スペクトルを有しているので、通常の可視
光では対応点探索が不可能な場合でも複数のスペクトル
を利用することで対応画素探索が可能になることが考え
られる。
【0047】また、対応画素探索の際に相関窓内の輝度
値の差を最小にすることで対応画素を検出したが、ハフ
変換などにより直線成分を検出するなど特徴量を算出す
ることで対応画素の検出を行っても良い。
【0048】上述した三次元画像撮像方法によれば、初
めに複数の視差画像を一括して取得し対応画素探索や距
離値算出の処理を行っているが、最初に輝度情報画像と
するべき位置で撮像して基準視差画像を得た後、異なる
視点からの撮像を行い、その度に対応画素探索及び距離
値算出を行うことにより、輝度値メモリの容量削減を図
ることも可能である。
【0049】
【発明の効果】本発明によれば、被測定物体に対して複
数の視差画像を取得し、基準視差画像と各視差画像との
ステレオ画像対により基準視差画像の各画素での距離値
を算出することにより、オクルージョンが発生しない範
囲で最大の基線長を持つステレオ画像対から距離値を算
出可能となるので、オクルージョンを回避しつつ測定精
度の高い距離情報を取得することができる。また、オク
ルージョンが回避できなかった領域の画素については、
画素に対する最近傍の画素の距離情報を割り当てること
により、エッジの保存を行うことができ、背景画像から
物体画像の分離を距離情報を用いて容易に行うことを可
能とする。
【図面の簡単な説明】
【図1】本発明の三次元画像撮像装置の実施の一例とし
てのOAカメラの構成を示すブロック図である。
【図2】三次元画像撮像装置の動作を説明するためのフ
ローチャート図である。
【図3】(a)(b)(c)はオクルージョンが回避で
きなかった画素に対する距離値の付加の仕方を説明する
ための被測定物体に対する水平断面での距離情報説明図
である。
【図4】ステレオ視において被測定物体に発生するオク
ルージョンを説明するための撮像平面説明図である。
【図5】ステレオ視における基線長及び距離と視差との
関係を示す光学関係説明図である。
【符号の説明】 1…撮像部、 2…撮像部移動機構部、 3…撮像位置
メモリ、 4…輝度値メモリ、 5…出力輝度値メモ
リ、 6…対応画素探索部(対応画素探索手段)、 7
…距離情報算出部(距離情報算出手段)、 8…距離値
メモリ、 9…オクルージョン領域処理部、 10…三
次元画像メモリ

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】被測定物体に対する輝度情報及び距離情報
    を測定する三次元画像撮像方法において、 前記被測定物体を複数の撮像位置から撮影して複数の視
    差画像を取得し、 前記視差画像の一つを輝度情報とするとともに、この輝
    度情報となる基準視差画像とその撮像位置に最も近い撮
    像位置での第1の視差画像との画像対からステレオ視に
    必要な第1回めの対応画素探索を行い、第1のオクルー
    ジョンが発生しない範囲において前記画像対の視差から
    輝度情報の各画素に対する撮像位置からの各距離を算出
    して距離情報として記憶し、 前記基準視差画像とその撮像位置に2番めに近い撮像位
    置での第2の視差画像との画像対から再度対応画素探索
    を行い、第2のオクルージョンが発生しない範囲におい
    て各画素に対応する各距離を算出し、距離が算出できた
    画素については既に記憶している距離情報を書き換える
    距離情報書換処理を行い、 この距離情報書換処理について、前記基準視差画像と撮
    像位置の近さが3番め以降の各視差画像との画像対で順
    次処理を繰り返し行い、 前記第1のオクルージョンが発生している範囲の画素に
    ついては、距離情報がないオクルージョン画素として記
    憶することを特徴とする三次元画像撮像方法。
  2. 【請求項2】前記基準視差画像は、複数の視差画像の
    内、被測定物体に対して中間位置の視差画像である請求
    項1に記載の三次元画像撮像方法。
  3. 【請求項3】前記距離情報書換処理における対応画素探
    索は、直前までの距離情報書換処理により記憶されてい
    る距離情報に基づいて行う請求項1に記載の三次元画像
    撮像方法。
  4. 【請求項4】前記第1のオクルージョンが発生している
    範囲の画素については、この画素に対する最近傍の画素
    の距離情報を割り当てる請求項1に記載の三次元画像撮
    像方法。
  5. 【請求項5】被測定物体に対する輝度情報及び距離情報
    を測定する装置であって、 前記被測定物体を複数の撮像位置からそれぞれ撮影し、
    複数の視差画像を取得可能とする撮像部と、 複数の視差画像の一つを輝度情報とし、輝度情報となる
    基準視差画像と他の各視差画像との画像対を順次選択
    し、ステレオ視に必要な対応画素の探索を行う対応画素
    探索手段と、 前記各画像対の視差から前記基準視差画像中の画素にお
    ける撮像位置からの距離を算出する距離情報算出手段
    と、 前記距離情報算出手段において距離が算出できた画素に
    ついて距離情報を記憶する距離値メモリと、 前記距離情報算出手段において距離が算出できなかった
    画素をオクルージョン画素として記憶するオクルージョ
    ン領域処理部と、 前記基準視差画像の各画素に対して距離情報又はオクル
    ージョン画素を対応させて三次元情報を記憶する三次元
    画像メモリと、 前記三次元画像メモリの各画素の距離情報に対して、前
    記距離情報算出手段での距離算出の基礎となる各画像対
    の撮像における基線長が最大となる画素対による距離情
    報に書き換える距離情報書換手段と、 を有することを特徴とする三次元画像撮像装置。
  6. 【請求項6】前記オクルージョン画素に対して、最近傍
    の画素の距離値を割当てる距離値割当処理手段を備えた
    請求項5に記載の三次元画像撮像装置。
JP35063697A 1997-12-19 1997-12-19 三次元画像撮像方法及び三次元画像撮像装置 Expired - Fee Related JP3525712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35063697A JP3525712B2 (ja) 1997-12-19 1997-12-19 三次元画像撮像方法及び三次元画像撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35063697A JP3525712B2 (ja) 1997-12-19 1997-12-19 三次元画像撮像方法及び三次元画像撮像装置

Publications (2)

Publication Number Publication Date
JPH11183142A true JPH11183142A (ja) 1999-07-09
JP3525712B2 JP3525712B2 (ja) 2004-05-10

Family

ID=18411828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35063697A Expired - Fee Related JP3525712B2 (ja) 1997-12-19 1997-12-19 三次元画像撮像方法及び三次元画像撮像装置

Country Status (1)

Country Link
JP (1) JP3525712B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283200A (ja) * 2000-03-30 2001-10-12 Meidensha Corp 物体の三次元形状モデル作製装置
EP1087336A3 (en) * 1999-09-22 2006-05-17 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereoscopic image processing
JP2013518340A (ja) * 2010-01-26 2013-05-20 サーブ アクティエボラーグ 自動化された三次元マッピング法
US8989518B2 (en) 2006-06-23 2015-03-24 Canon Kabushiki Kaisha Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images
JP2022191000A (ja) * 2021-06-15 2022-12-27 グローリー株式会社 寸法測定装置および寸法測定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266827A (ja) * 1993-03-11 1994-09-22 Toppan Printing Co Ltd 視差画像作成方法および装置
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc 3次元物体形状認識方法及び装置
JPH08254424A (ja) * 1995-03-15 1996-10-01 Canon Inc 三次元物体形状計測方法及び装置
JPH08263696A (ja) * 1995-03-01 1996-10-11 Meidensha Corp 3次元オブジェクトモデル作成方法
JPH09218954A (ja) * 1996-02-14 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 画像生成方法
JPH09288735A (ja) * 1996-04-23 1997-11-04 Canon Inc 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266827A (ja) * 1993-03-11 1994-09-22 Toppan Printing Co Ltd 視差画像作成方法および装置
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc 3次元物体形状認識方法及び装置
JPH08263696A (ja) * 1995-03-01 1996-10-11 Meidensha Corp 3次元オブジェクトモデル作成方法
JPH08254424A (ja) * 1995-03-15 1996-10-01 Canon Inc 三次元物体形状計測方法及び装置
JPH09218954A (ja) * 1996-02-14 1997-08-19 Nippon Telegr & Teleph Corp <Ntt> 画像生成方法
JPH09288735A (ja) * 1996-04-23 1997-11-04 Canon Inc 画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087336A3 (en) * 1999-09-22 2006-05-17 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereoscopic image processing
JP2001283200A (ja) * 2000-03-30 2001-10-12 Meidensha Corp 物体の三次元形状モデル作製装置
US8989518B2 (en) 2006-06-23 2015-03-24 Canon Kabushiki Kaisha Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images
JP2013518340A (ja) * 2010-01-26 2013-05-20 サーブ アクティエボラーグ 自動化された三次元マッピング法
JP2022191000A (ja) * 2021-06-15 2022-12-27 グローリー株式会社 寸法測定装置および寸法測定方法

Also Published As

Publication number Publication date
JP3525712B2 (ja) 2004-05-10

Similar Documents

Publication Publication Date Title
US8718326B2 (en) System and method for extracting three-dimensional coordinates
JP7716712B2 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
US7720277B2 (en) Three-dimensional-information reconstructing apparatus, method and program
EP2568253B1 (en) Structured-light measuring method and system
US7342669B2 (en) Three-dimensional shape measuring method and its device
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
EP3832601B1 (en) Image processing device and three-dimensional measuring system
US20120275688A1 (en) Method for automated 3d imaging
EP3832600B1 (en) Image processing device and three-dimensional measuring system
EP3688407B1 (en) Light projection systems
JP2008275366A (ja) ステレオ3次元計測システム
US20240296621A1 (en) Three-dimensional model generation method and three-dimensional model generation device
JP2001147110A (ja) ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体
Alaniz-Plata et al. Extrinsic calibration of complex machine vision system for mobile robot
JPH1144533A (ja) 先行車両検出装置
JP3525712B2 (ja) 三次元画像撮像方法及び三次元画像撮像装置
JP2003346130A (ja) 3次元情報処理装置および3次元情報処理方法
JP3221384B2 (ja) 三次元座標計測装置
JPH11223516A (ja) 3次元画像撮像装置
JP2001319224A (ja) 3次元物体検出装置と3次元物体検出方法及び記録媒体
JP2004340714A (ja) ステレオカメラの最適配置決定方法とそのシステム
JP2002206919A (ja) 3次元形状計測装置および3次元形状計測方法
JP2002031511A (ja) 3次元デジタイザ
KR20000017888A (ko) 거울을이용한단안렌즈스테레오비젼획득방법
JP2026051938A (ja) 画像処理装置、画像処理方法、および、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040209

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090227

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100227

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees