JPH1062140A - 形状の再構成方法および形状の再構成装置 - Google Patents

形状の再構成方法および形状の再構成装置

Info

Publication number
JPH1062140A
JPH1062140A JP8214783A JP21478396A JPH1062140A JP H1062140 A JPH1062140 A JP H1062140A JP 8214783 A JP8214783 A JP 8214783A JP 21478396 A JP21478396 A JP 21478396A JP H1062140 A JPH1062140 A JP H1062140A
Authority
JP
Japan
Prior art keywords
integration
shape
parallax
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP8214783A
Other languages
English (en)
Inventor
Mitsuo Oshima
光雄 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP8214783A priority Critical patent/JPH1062140A/ja
Priority to US08/813,319 priority patent/US5946424A/en
Publication of JPH1062140A publication Critical patent/JPH1062140A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 被写体の傾きを画素単位で検出し、該検出し
た傾きを積分することにより前記被写体の形状を再構成
するに当たり、積分範囲を簡易に決定できる方法を提供
する。 【解決手段】 被写体30を左カメラ11a および右カメラ
11b でそれぞれ撮像してそれぞれの位置からの濃淡画像
を得る。これら位置間での被写体についての視差を画素
単位で求める。同じ視差を示している画素が連続する領
域ごとを1つの積分範囲と決定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、被写体の形状を
再構成する方法とその実施に好適な装置に関するもので
ある。
【0002】
【従来の技術】被写体の傾きを画素単位で検出し、該検
出した傾きを積分することにより被写体の形状を再構成
する方法の一例として、例えば文献I(電子情報通信学
会論文誌 D-II Vol.J77-D-II No.9 pp.1797-1805(1994.
9))に開示された方法がある。この方法では、被写体
を、同一位置から光源の方向のみを変化させて撮像する
ことで、該被写体についての複数枚の画像を得る。次に
これら画像での任意画素についての輝度の組から被写体
の傾きを画素単位で検出する。そして検出した傾きを積
分することにより形状を再構成する(文献Iの第1798頁
左欄1〜9行)。この積分に当たっては積分範囲を決め
る必要がある。被写体における対象物体と背景とを区別
する等のためである。積分範囲を決定する方法として、
従来は、(a).2値化等の処理で画像から積分範囲を分割
する方法(文献Iの第1799頁下から第5行)、(b).反射
率マップをもとに参照物体と比較して反射率の異なった
領域を画素法線ベクトルの推定誤差値から推定するなど
して、積分範囲を判別する方法(文献Iの第1799頁下か
ら第4行〜第1800頁第1行)がある。また、積分に当た
って、(1).積分計算の初期値として画像中の最明点を用
いたり(文献Iの第1800頁第9〜10行)、(2).初期傾き
値の誤差を最小化するような積分開始点を求めてから積
分を行なうなどの方法がとられている(文献II:電子情
報通信学会論文誌D-II Vol.J76-D-II No.10の第2244頁
左欄第28行〜)。またこの(2) の方法を実施する際に積
分誤差の蓄積を抑えるために推定誤差による重みづけを
行ないながら奥行きの平均値を計算することも行なわれ
ている(文献Iの第1800頁左欄第19〜20行)。また、積
分誤差を低減するために、積分経路を選ぶことも行なわ
れいる(文献IIの第2244頁左欄下から第3行〜)。
【0003】
【発明が解決しようとする課題】しかしながら、積分範
囲を決める際に2値化を行なう処理を採った場合、同じ
被写体でも色が混在している場合には各色の領域が異な
る積分範囲として扱われてしまう危険が高い。さらに、
この2値化処理を採る場合において対象物体のエッジが
うまく捉えられない場合は、積分範囲の決定に誤りが生
じるので積分に誤差が重畳され、形状の再構成がうまく
行なえない。また、積分範囲を決める際に反射率マップ
を用いる処理を採った場合は反射率マップの準備が大変
である。また、積分開始点として最明点を求める処理
や、初期傾き値の誤差を最小化するような積分開始点を
求める処理を採った場合、いずれもその処理が大変であ
る。そしてこれら大変な処理をするためには装置構成も
複雑になってしまう。また積分誤差の蓄積を抑えるため
に推定誤差による重みづけを行なう方法を採った場合、
推定誤差の抑圧が原因で積分に歪みが生じる危険があ
る。また積分誤差を低減し得る積分経路を選ぶことは簡
単ではないし、選んだ経路によって積分値に違いが生じ
てしまう。
【0004】形状を再構成する際に必要とされる積分範
囲の決定を従来に比べ簡易に行なえる新規な方法とその
実施に好適な装置の実現が望まれる。
【0005】
【課題を解決するための手段】そこで、この出願に係る
発明者は種々の検討を重ねた。その結果、形状を再構成
したい対象物体は、一般には、距離方向(被写体を見る
ものから被写体に向かう方向)において離散的に存在し
ていることが多いという点に着目した。然も、1つの対
象物体は距離方向においてある距離範囲(換言すれば奥
行きの範囲)に納まることが多いという点に着目した。
ここで、1つの対象物体が距離方向においてある距離範
囲に納まるということは、1つの対象物体を例えば2眼
ステレオ装置で撮像した場合の視差も、ある範囲に納ま
るといえる。これは逆に言えば、被写体を例えば2眼ス
テレオ装置で撮像して求めた画像において視差が所定範
囲となっている画素群は、1つの対象物体を撮像してい
る画素群と考えることができ、したがって、この画素群
を1つの積分範囲と考えても良いといえる。
【0006】このようなことからこの出願の発明によれ
ば、被写体の傾きを画素単位で検出し、該検出した傾き
を積分することにより前記被写体の形状を再構成するに
当たり、前記被写体を少なくとも2つの異なる位置から
撮像し、そしてこれら位置間での前記被写体についての
視差を画素単位で求め、そして該視差に基づいて前記積
分の際の積分範囲を決定することを特徴とする。
【0007】ここで視差に基づいて積分範囲を決定する
とは、典型的には、同じ視差を示している画素が連続す
る領域ごとを、1つの積分範囲とみなすこととできる。
なお同じ視差とは、例えば視差が5である画素が連続す
る領域を1つの積分範囲とみなし、視差が3である画素
が連続する領域を1つの積分範囲とみなし、視差がQ
(任意の整数)である画素が連続する領域を1つの積分
範囲とみなすという意味である。さらには、視差が例え
ば2〜4である画素が連続する領域を1つの積分範囲と
みなす場合も含む。すなわち、視差がある幅に入る画素
が連続する領域を積分領域とみなす場合も含む。
【0008】この形状の再構成方法の発明によれば、視
差に着目して積分範囲を決定するので、従来なされてい
た積分範囲の決定のための2値化処理や反射率マップを
不要にできる。また、例えば同じ視差を示す画素が連続
する領域の一端をそのまま積分開始点とできるので、従
来なされていた最明点検出や積分開始点の算出をせずに
すむ。また、積分経路も例えば前記決定された積分範囲
中の画素群の例えば列方向に沿う経路とか行方向に沿う
経路など簡単に決めることができる。
【0009】またこの発明の実施に当たっての積分処理
は、積分範囲の一方端から他方端に前記積分をし、か
つ、その逆の方向についても前記積分をし、これら両方
向の積分結果について同じ画素番号同士の結果の平均値
をとり、該平均値を当該積分結果とするような処理とす
るのが良い。なぜなら、積分を行なうと誤差が累積され
て最終誤差が大きくなってしまう欠点がある。特に積分
の初期と終わりのほうでは積分結果への積分誤差の乗り
方に違いが生じる。そこでこの好適例のように相反する
方向から積分をそれぞれ実施しかつ同一番号画素の積分
結果の平均を最終的な積分結果とすると、誤差を積分結
果中に均一に分布させることができるので、積分誤差の
偏りが低減される。よって積分誤差に起因する形状再構
成の悪化を低減できると考えられる。
【0010】またこの発明の実施に当たり、被写体の画
素単位の傾きの検出は例えば上述した文献Iに記載され
たいわゆる照度差ステレオ法、あるいは文献例示はしな
いが距離情報に基づく方法など任意好適な方法で行なえ
る。しかし、この発明の実施に当たり、前記画素単位の
傾きは、前記異なる位置からの像により得られる各画像
での同一被写体位置を見ている画素同士が持つ被写体輝
度の比(以下、「対応画素同士の輝度比」ともいう。)
に基づいて、検出するのが好適である。なぜなら例えば
文献Iに開示の従来方法で被写体の傾きを求める場合、
被写体の照明方向を複数とする必要があるので、光源と
物体の材質を限定した上で反射率マップを用意する必要
があったり、被写体を制約することになったり、検出装
置の構成を複雑化する等の問題が生じる。しかしこの好
適例ではそれらを回避できる。さらに、この好適例では
視差を求めるための手段やそのときに得た画像をそのま
ま利用して傾き検出が行なえるので、その点でも好まし
い。
【0011】またこの出願の形状の再構成装置によれ
ば、被写体の傾きを画素単位で検出する傾き検出手段
と、前記被写体を少なくとも2つの異なる位置から撮像
しそれぞれの位置からの前記被写体の画像を得る画像入
力手段と、前記画像入力手段で得た画像間での前記被写
体についての視差を画素単位で求める手段と、同じ視差
を示している画素が連続する領域ごとを1つの積分範囲
と決定する積分範囲決定手段と、前記決定された積分範
囲の画素群に対応する傾きを積分する積分手段とを具え
たことを特徴とする。
【0012】この形状の再構成装置の発明によれば、上
述した形状の再構成方法の発明を容易に実施することが
できる。
【0013】なおこの形状の再構成装置の発明を実施す
るに当たり、前記積分手段を所定の第1の積分手段、第
2の積分手段および平均化手段を含む構成としても良
い。こうすると、上記の方法発明の説明において説明し
たと同様な理由で積分誤差の偏りが低減されるからであ
る。
【0014】また、この形状の再構成装置の発明を実施
するに当たり、傾き検出手段は、例えば文献Iに開示の
照度差ステレオ法で用いた手段など任意好適な手段で構
成出来る。しかし、この傾き検出手段を、前記異なる位
置からの撮像により得られる各画像での同一被写体位置
を見ている画素同士での被写体輝度比に基づいて、傾き
を検出する手段とするのが好適である。なぜなら、上述
の方法発明の説明において説明したように文献Iに開示
の従来方法で被写体の傾きを求める場合、光源と物体の
材質を限定した上で反射率マップを用意する必要があっ
たり、被写体を制約することになったり、検出装置の構
成を複雑化する等の問題が生じる。しかしこの好適例で
はそれらを回避できるからである。さらに、この好適例
では視差を求めるための手段やそのときに得た画像をそ
のまま利用して傾き検出が行なえるからである。
【0015】
【発明の実施の形態】以下、図面を参照して形状の再構
成方法および形状の再構成装置の各発明の実施の形態に
ついて説明する。なお説明に用いる各図はこの発明を理
解出来る程度に概略的に示してあるにすぎない。また、
各図において同様な構成成分については同一の番号を付
して示し、その重複する説明を省略することもある。ま
た、以下の実施の形態では、被写体を撮像する位置を異
なる2個所とした例(2眼ステレオ装置を用いた例)を
説明する。
【0016】1.第1の実施の形態 1−1.装置の説明 図1(A)は第1の実施の形態の、形状の再構成装置1
0を示したブロック図、図1(B)はこの装置10に備
わるカメラ11a,11bと被写体30との配置例を示
した図である。なお、図1(B)では被写体30を平板
のごとく示しているがこれは一例にすぎない。
【0017】図1において、11は画像入力手段として
の2眼ステレオ検出装置である。この2眼ステレオ検出
装置11は、2台のカメラ11a,11bと対応画素探
索手段(対応点探索手段とも称される。図示せず)とを
具えた構成としてある。ここで、2台のカメラ11a,
11b(以下、左カメラ11a、右カメラ11bともい
う)は、距離Wをもってかつこれに限られないがそれぞ
れの光軸が平行になるように被写体30に対し配置して
ある。これらカメラ11a,11bを用い2つの異なる
位置からの被写体30の濃淡画像を撮像する。これらカ
メラ11a,11bは、例えばCCD(Charge Coupled
Device )カメラで構成出来る。また、図示しない対応
画素探索手段は、左カメラ11aで得られる濃淡画像
(以下、左画像ともいう。)における被写体30の各部
の位置が、右カメラ11bで得られる濃淡画像(以下、
右画像ともいう。)中のどの画素位置にあるか(或はそ
の逆、或は双方)を、探索するものである。このような
2眼ステレオ検出装置11は、例えば文献III (「等輝
度線のステレオ視による曲面の復元」、石山,富田,電
子情報通信学会論文誌 D-II Vol.J77-D-II No.9 pp.16
73-1679 1994.9)に開示の技術で構成出来る。
【0018】さらに図1において、13aは左画像記憶
手段、13bは右画像記憶手段、13cは視差記憶手段
である。左画像記憶手段13aは、左カメラ11aで撮
像した濃淡画像を記憶するものである。右画像記憶手段
13bは、右カメラ11bで撮像した濃淡画像を記憶す
るものである。なお、濃淡画像は、典型的には、被写体
の濃度分布を多値デイジタル信号で表した情報とでき
る。さらに濃淡画像は、R(赤)、G(緑)およびB
(青)の各色ごとの濃度分布を多値デイジタル信号でそ
れぞれ表した情報とできる。また視差記憶手段13c
は、上述の対応画素探索手段で探索される画素同士すな
わち、左画像および右画像それぞれで被写体30の同一
位置を見ている画素同士の、視差を記憶するものであ
る。ここでは、左画像および右画像それぞれで、被写体
30の同一位置を見ている画素(以下、「対応画素」と
もいう。)同士の座標差で視差を示すものとしている
(詳細は後に図2を参照して説明する。)。この視差記
憶手段13cは画素単位で視差を記憶する。
【0019】さらに図1において、15は傾き検出手段
である。この傾き検出手段15は、被写体30を撮像し
て得た画像に基づいて、被写体30の傾きを画素単位に
検出するものである。ここでの傾き検出手段15は、左
画像および右画像それぞれの対応画素が被写体30から
それぞれ得ている輝度の比に基づいて、傾きを検出する
ものとしてある。詳細にはこの実施の形態の場合の傾き
検出手段15は、ランバートの余弦法則に基づき傾きを
算出するものとしてある(詳細は後述する)。なお、左
画像および右画像それぞれがR(赤)、G(緑)および
B(青)の各色ごとの濃度分布を多値デイジタル信号で
表した画像情報である場合は、傾き検出手段15は、対
応づけされた各画素の各色の輝度のうちで最大となった
色と同じ色についての輝度を各画素から抽出し、それら
により輝度比を算出するものとするのが良い。具体的に
言えば、左画像および右画像の対応画素における3色ず
つ合計6個の輝度のうちで例えば左画像のR(赤)が最
大輝度となった場合は、左画像および右画像の対応画素
からはいずれも赤についての輝度を抽出してこれらで輝
度比を求めるようにするのである。こうした方が、ノイ
ズの影響等を受けにくくできるので、傾き検出精度の向
上が図れるからである。
【0020】さらに図1において17は傾き記憶手段を
示す。これは、上記の傾き検出手段15で検出される被
写体の画素単位の傾きを画素単位に記憶するものであ
る。
【0021】さらに図1において19は積分範囲決定手
段を示す。この積分範囲決定手段19は、同じ視差を示
す画素が連続する領域を、1つの積分範囲と決定するも
のである。
【0022】さらに図1において21は積分手段を示
す。この積分手段21は積分範囲決定手段19によって
決定された積分範囲の画素群に対応する傾きを、傾き記
憶手段17から読み出しこれを積分するものである。
【0023】これら構成成分13a,13b,13c,
15,17,19および21は例えばコンピュータによ
り構成出来る。
【0024】1−2.再構成方法の説明 次に、この発明の形状の再構成方法により形状を再構成
する手順について、図1を用いて説明した装置10の動
作説明と併せて説明する。
【0025】まず、被写体30を2眼ステレオ検出装置
11の2台のカメラ11a,11bで撮像する。これに
より、2台のカメラ11a,11bそれぞれの位置から
みた濃淡画像を得る。撮像は連続的に行うことが可能で
あるがここではステレオ画像が1対あれば本発明の主旨
を説明できるので、1対についてのみ説明する。
【0026】撮像されたステレオ画像(左画像および右
画像)はそのまま左画像記憶手段13a,右画像記憶手
段13bに出力され記憶されるが、同時に2眼ステレオ
検出装置による左右画像の対応画素探索が行われて、視
差(位相差と称されることもある。)が抽出される。視
差の抽出について図2(A)〜(C)を参照し、具体的
に説明する。図2(A)は左画像記憶手段13a内の様
子を模式的に示した図、図2(B)は右画像記憶手段1
3b内の様子を模式的に示した図、図2(C)は視差記
憶13c内の様子を模式的に示した図である。図示しな
い対応点画素検索手段は、左画像記憶手段13aおよび
右画像記憶手段13b内をそれぞれ走査する。この際、
例えば濃淡の変化具合が同様な画像部分が出現したか否
か等を検出し、左右画像における対応画素を探索する。
図2(A)および(B)には、左画像における基準から
(d1,y1)の位置の画素「A」と、右画像における
基準から(d2,y1)の位置の画素「B」とが対応す
る例を、示している。これに応じ、視差記憶手段13c
の(d1,y1)の位置には、左画像および右画像の対
応画素同士の座標差d=d2−d1で与えられる情報す
なわち視差dが格納される。左画像および右画像の全画
素について上記同様に視差を求める。なお右画像を基準
として視差を抽出してももちろん良い。
【0027】また、被写体30の画素単位の傾き検出は
次のように行なえる。左画像および右画像における対応
画素は、上述した視差により判明しているので、対応す
る画素同士の輝度の比を計算する。そしてこの輝度比に
基づいて被写体30における各微小部分(着目部分とも
いう)の面の傾きを算出する。これらについて図3
(A)〜(C)を参照して具体的に説明する。ここで、
図3(A)は被写体30と2台のカメラ11a,11b
との配置、および、被写体30の着目部分30aから2
台のカメラ11a,11bへ入射する光の様子などを示
した図である。また、図3(B)は左カメラ11aで得
た濃淡画像上での上記着目部分30aに対応する画素の
位置の説明図である。また、図3(C)は、右カメラ1
1bで得た濃淡画像上での上記着目部分30aに対応す
る画素の位置の説明図である。
【0028】被写体30の着目部分を30aと表すとす
る。そして、ランバートの余弦法則を適用する。すなわ
ち、着目部分30aにおける面の傾きにより、着目部分
30aから2台のカメラ11a,11bに入射する輝度
の強さが変わることを利用した傾き検出法を適用するの
である。すると、この着目部分30aから左カメラ11
aに入射される入射光Llと、この着目部分30aから
右カメラ11bに入射される入射光Lrとは、下記の
(1),(2)式でそれぞれ表せる。
【0029】 Ll=L0・cos(β+θl)cosψ ・・・(1) Lr=L0・cos(β+θr)cosψ ・・・(2) ただし、βは被写体30の着目部分30aの傾き角であ
る。この場合この傾き角βは、被写体30の着目部分3
0aにおける面の法線がカメラの光軸に対しなす角度と
考えている。また、ψはカメラの視線(すなわち光軸)
が被写体30に対しなす角度である(よってβと同
じ)。また、θlは左カメラ11aの光軸と、左カメラ
11aおよび着目部分30aを結ぶ線分とがなす角度、
θrは右カメラ11bの光軸と、右カメラ11bおよび
着目部分30aを結ぶ線分とがなす角度である。
【0030】求める因子は被写体の傾き角βである。こ
こでL0は不明なので上記(1),(2)式を用いLl
とLrとの比をとることで規格化する。
【0031】 Ll/Lr ={L0・cos(β+θl)}/{L0・cos(β+θr)} =cos(β+θl)/cos(β+θr) ・・・(3) また、上記Ll/Lrは、左右画像の対応画素の出力比
すなわち濃度比であるので、この濃度比をHで表すこと
として上記(3)式を書き直す。
【0032】 Ll/Lr=H =cos(β+θl)/cos(β+θr) ・・・(4) この(4)式を変形して下記の(5)式を得る。
【0033】 Hcos(β+θr)=cos(β+θl) ・・・(5) この(5)式を次のように変形する。
【0034】 H(cosβcosθr−sinβsinθr) =cosβcosθl−sinβsinθl ・・・(6) この(6)式を次のように変形する。 cosβ(Hcosθr−cosθl) −sinβ(Hsinθr−sinθl)=O ・・・(7) さらにこの(7)式を次のように変形する。
【0035】 cosβ(Hcosθr−cosθl) =sinβ(Hsinθr−sinθl) ・・・(8) さらにこの(8)式を次のように変形する。
【0036】 (Hcosθr−cosθl)/(Hsinθr−sinθl) =sinβ/cosβ=tanβ ・・・(9) この(9)式中のθlは左画像における着目部分30a
に対応する画素の位置から求められ、θrは右画像にお
ける着目部分30aに対応する画素の位置から求められ
る。すなわち、図3(B)に示したように、カメラ11
aから角度θlの視線上にある着目部分30aは、画角
αでNの画素数から成る画像上においては画素位置Pl
に現れる。よって、画素位置Plを与える角度θlは θl=tan-1{{2(Pl−P0)/N}・tan(α/2)}・・・(a) で求まる。ただし、P0は画像の中心画素位置である。
同様に、図3(C)に示したように、カメラ11bから
角度θrの視線上にある着目部分30aは、画角αでN
の画素数から成る画像上においては画素位置Prに現れ
る。よって、画素位置Prを与える角度θrは θr=tan-1{{2(Pr−P0)/N}・tan(α/2)}・・・(b) で求まる。
【0037】これら(9)式、(a) 式および (b)式から
明らかなように、被写体30の着目部分30aの傾き角
βは、左右画像の輝度比に基づいて、具体的には、左画
像および右画像における対応画素同士の輝度比と、用い
たカメラ11a,11bの画角と、左画像および右画像
における対応画素の画素位置と、左画像および右画像の
大きさNとにより求まることが理解出来る。なお、対応
画素同士の輝度比を算出する際、左画像の輝度値Llと
右画像の輝度値Lrのどちらを分母にしどちらを分子に
するかは画素面の傾きの正負に関係するのであらかじめ
決めておけばよく、本質的な問題では無い。
【0038】被写体30における着目部分30aを順次
に他の部分に移して上記と同様な手順で傾き角をそれぞ
れ検出する。こうすることで、被写体30の傾きを画素
単位で検出することができる。画素単位で検出した被写
体の傾きは傾き記憶手段17に記憶される。
【0039】次に積分範囲の決定をする。その説明を図
4を参照して説明する。まず、積分範囲決定手段19
は、視差記憶手段13cを走査する。そして、同じ視差
を示す画素が連続する領域の当該画素群の座標を抽出す
る。ここで同じ視差を示す画素群とは、視差が例えばそ
れぞれ3になっている画素群とか、視差が例えばそれぞ
れ5になっている画素群というように視差が同じ値とな
っている画素群それぞれのことである。さらには、視差
が3〜5の範囲となっている画素群とか、視差が6〜8
の範囲となっている画素群というように幅をもって範囲
を規定する場合でも良い。図4中のIは、視差がdであ
る画素の群x1 〜xj-1 と、視差がdx である画素の群
j 〜xn-1 と、視差がdである画素の群xn 〜xs-1
とが連続している例を示している。したがってこの図4
中のIの例の場合であれば、画素の群x1 〜xj-1 が第
1の積分範囲41に当たり、画素の群xj 〜xn-1 が第
2の積分範囲43に当たり、画素の群xn 〜xs が第3
の積分範囲45に当たる。
【0040】次に積分範囲決定手段19は、同じ視差を
示している画素が連続する領域ごとの各画素の座標を積
分手段21に出力する。
【0041】積分手段21は、積分範囲決定手段19か
ら入力される上記座標に基づいて、傾き記憶手段17か
らこれら画素群に対応する被写体30の傾きを取り込ん
で、これら傾きを積分する。図4中の41aは画素の群
1 〜xj-1 についての傾き、図4中の43aは画素の
群xj 〜xn-1 についての傾き、図4中の45aは画素
の群xn 〜xs についての傾きをそれぞれ示す。また図
4中の41b、43b、45bそれぞれは各積分範囲4
1〜45各々での積分結果を示している。ただし、同じ
視差を示している画素が連続している領域ごとを積分範
囲と述べたが、積分は走査ラインごとに行なう。同じ視
差を示している画素が連続している領域といえど、それ
が2本以上の走査ラインにわたってしまう領域の場合
は、走査ラインごとで積分をするのである。また積分手
段21は、積分範囲が他の積分範囲に移ったときは、そ
の新たな積分範囲の傾きの積分を開始する。そして新た
な積分開始時は積分値を0にリセットした後に(図4の
41bと43bとの境界部分、43bと45bとの境界
部分参照)、新たな積分範囲の積分をする。
【0042】また図5には、この発明の理解を深めるた
めに別の積分結果の例を示している。すなわち積分範囲
内の複数の画素(正確には被写体上の複数の着目部分)
の傾きが図5(A)のようである場合、これら傾きを積
分すると図5(B)のような凹凸形状が再構成されると
いう例を示している。ただし図5(A)の各矢印は、被
写体上の複数の着目部分の傾きを、着目部分の法線の向
きによって示したものである。法線に直交する面は被写
体各部の傾き面であり、然も、1画素の単位長さは既知
なので、画素の並びに沿って各傾き面を並べて行くと図
5(B)のように形状の再構成ができる。
【0043】この第1の実施の形態の形状の再構成方法
および装置では、傾きを積分する際の積分範囲はステレ
オ画像における視差にもとづいて決定する。そのため従
来必要とされていた特別な領域決定処理(先に説明した
2値化処理や反射率マップを用いる処理など)を不要と
できるので、従来において生じていた問題を防止出来
る。たとえば、被写体内で色が混在していてもその部分
の視差は同一値として得られるのでその部分は1つの積
分範囲として扱われる。反射率マップを用いずに済むの
で種々の被写体や使用環境にこの発明は適用出来る。光
源の位置を複数とする必要がないので光源位置をパラメ
ータとして計算しなくても良いから、装置構成の簡略化
も図れる。また、同じ視差を示す画素が連続する領域の
一端がそのまま積分開始点となり、積分経路も例えば走
査ラインに沿う経路というように容易に決められるの
で、積分開始点および積分経路決定も従来に比べ容易に
行なえる。
【0044】なお、この発明の形状の再構成方法は例え
ば次のような処理と組み合わせることも出来る。すなわ
ち、カメラ11a,11bを結ぶ線分から被写体30の
着目部分30aまでの垂直距離Dを、ステレオ画像法お
よび三角測量の原理により検出する処理と組み合わせる
のである。以下、具体的に説明する。
【0045】図6に示した様に、正弦定理から w/sinθa=b/sinθb=c/sinθc となる。ただし、θa、θb、θcは、カメラ11aと
カメラ11bと被写体30の着目部分30aとによって
構成される三角形の内角である。また、bおよびcは、
該三角形における、カメラ間距離w以外の他の辺の長さ
である。よって、 b=(w/sinθa)・sinθb ・・・(i) となる。また、検出したい距離Dは例えば D=b・sinθc ・・・(ii) となる。そこで、(ii)式に(i) 式を代入すると、 D=(w・sinθb・sinθc)/sinθa ・・・(iii) となる。
【0046】ここで、θb=π/2−θl,θc=π/
2−θrであり、また、θa=π−θb−θcである。
また、θlおよびθrは上記(a)式、(b)式により
与えられるものである。よって、距離Dが求まる。
【0047】このようにして求めた距離Dと、本発明方
法で求めた傾きとを重畳することで細かい凸凹まで再現
することが可能になる。
【0048】ちなみに、ステレオ画像法および三角測量
法により形状を再構成する従来方法だけでは、例えば被
写体までの距離が1m程度でカメラの画が13度程度、
2台のカメラ間隔が6.5cm程度でCCDの画素数が
640x480程度の場合、数cm程度の距離分解能し
か持てず人間の顔などを測定した場合には平面的に見え
てしまっていたが、この従来法に本発明の手法による傾
き値を重畳することで鼻などの凸凹を得ることができ
る。
【0049】2.第2の実施の形態 上述の第1の実施の形態では、積分範囲を決定した後は
その範囲内の傾き値を走査方向に沿って単に積分してい
た。しかし、積分誤差の偏りを軽減する意味から、積分
方法を工夫するようにしても良い。この第2の実施の形
態はその例である。図7はその実施に好適な、形状の再
構成装置50を示したブロック図である。この装置50
の、第1の実施の形態の装置との相違点は、積分手段5
1にある。
【0050】この積分手段51は、積分範囲の一方端か
ら他方端に傾き値の積分をする第1の積分手段51a
と、積分範囲の他方端から一方端に傾き値の積分をする
第2の積分手段51bと、これら両方向の積分結果につ
いて同じ画素番号同士の結果の平均値をとり、該平均値
を最終的な積分結果とする平均化手段53とを具える。
この積分手段51も例えばコンピュータにより構成出来
る。この第2の実施の形態の装置50の動作について図
8を参照して具体的に説明する。
【0051】画素単位の視差の検出、画素単位の被写体
の傾き検出および積分範囲の決定は第1の実施の形態の
場合と同様の手順でそれぞれ行なう。
【0052】決定された各積分範囲41〜45について
の画素単位の傾きを積分する際に、各積分範囲を例えば
右から左へ積分すること、および、右から左へ積分する
こととを、それぞれ行う。両方向の積分は別々に行って
も同時に行っても良い。また、各積分範囲41〜45に
ついての積分は平行して行っても良い。次に、これら両
方向の積分結果について同じ画素番号同士の結果の平均
値をとる。そしてこの平均値を最終的な積分結果とす
る。図8中の41b,43b,45bは各積分範囲を右
端から左端に積分した結果を示し、41ba,43b
a,45baは各積分範囲を右端から左端に積分した結
果を示す。ただし図8では説明のために右上りの積分結
果41b,43b,45bと左上りの積分結果41b
a,43ba,45baを示しているが、これは説明の
都合のためであり、実際は、左上りの積分結果41b
a、43baおよび45baについては負の値で表現し
て平均値計算に用いる。この様子を図9に示した。図9
において、Iは積分範囲を左端から右端に積分した結
果、IIは積分範囲を右端から左端に積分した結果、III
は両積分方向で得た積分結果を平均化した結果である。
相反する方向から積分をそれぞれ行いかつそれら結果に
ついては同じ画素番号同士で加算してその平均をとるの
で、積分誤差の分布を第1の実施の形態に比べ均一にで
きる。そのため、積分結果の積分誤差に起因する偏りを
第1の実施の形態に比べ低減できる。
【0053】上述においてはこの発明の形状の再構成方
法および形状の再構成装置の実施の形態について説明し
たが、この発明は上述の実施の形態に限られない。
【0054】例えば対応画素同士の輝度比を求める際、
着目画素を中心とする例えばn×n個の画素についての
輝度の平均を、着目画素の輝度とするようにしても良
い。いわゆる移動平均処理をするのである。こうする
と、ノイズの影響を軽減出来る。また、輝度比を階調と
して量子化して扱ってもよい。
【0055】また、上述においては2眼のステレオ画像
で説明したが、3眼以上の多眼のステレオ法を適用して
も良い。その場合は各位置で得られた第1〜第nまでの
画像の対として考えればよいので本発明を適用できるこ
とはいうまでもない。
【0056】また、ステレオカメラで撮像せずに他の手
段で距離画像あるいは視差を得ても、その後に本手法を
適用できることも明白である。前者の例としては、例え
ば、1台のカメラを移動して複数位置からの濃淡画像を
得る方法が挙げられる。
【0057】
【発明の効果】上述した説明からも明らかなように、こ
の発明に係る形状の再構成方法によれば、被写体の傾き
を画素単位で検出し、該検出した傾きを積分することに
より前記被写体の形状を再構成する方法において、前記
被写体を少なくとも2つの異なる位置から撮像し、そし
てこれら位置間での前記被写体についての視差を画素単
位で求め、次いで、該視差に基づいて前記積分の際の積
分範囲を決定する。したがって、積分範囲決定のための
2値化処理や反射率マップを用いることなく積分範囲を
決定出来る。2値化処理や反射率マップを用いていた従
来技術での問題を回避できる。
【0058】また、この発明に係る形状の再構成装置に
よれば、上述の再構成方法を容易に実施することが出来
る。
【図面の簡単な説明】
【図1】第1の実施の形態の装置の説明図であり、
(A)はその全体構成図、(B)は画像入力手段11に
備わる2台のカメラと被写体との位置関係の説明図であ
る。
【図2】左右画像の対応づけ処理と視差の説明図であ
る。
【図3】輝度比算出処理および傾き検出処理の説明図で
ある。
【図4】積分範囲決定処理の説明図である。
【図5】形状再現の一例を示した図である。
【図6】距離値の算出処理の説明図である。
【図7】第2の実施の形態の装置の説明図である。
【図8】第2の実施の形態の形状再構成方法の説明図
(その1)である。
【図9】第2の実施の形態の形状再構成方法の説明図
(その2)である。
【符号の説明】
10:第1の実施の形態の形状の再構成装置 11:画像入力手段(2眼ステレオ検出装置) 13a:左画像記憶手段 13b:右画像記憶手段 13c:視差記憶手段 15:傾き検出手段 17:傾き記憶手段 19:積分範囲決定手段 21:積分手段 30:被写体 30a:被写体の着目部分 50:第2の実施の形態の形状の再構成装置 51:積分手段 51a:第1の積分手段 51b:第2の積分手段 51c:平均化手段

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 被写体の傾きを画素単位で検出し、該検
    出した傾きを積分することにより前記被写体の形状を再
    構成するに当たり、 前記被写体を少なくとも2つの異なる位置から撮像し、
    これら位置間での前記被写体についての視差を画素単位
    で求め、 該視差に基づいて前記積分の際の積分範囲を決定するこ
    とを特徴とする形状の再構成方法。
  2. 【請求項2】 請求項1に記載の形状の再構成方法にお
    いて、 同じ視差を示している画素が連続する領域ごとを1つの
    積分範囲と決定することを特徴とする形状の再構成方法
    (ただし、同じ視差とはある幅を持つ場合も含む)。
  3. 【請求項3】 請求項1に記載の形状の再構成方法にお
    いて、 前記積分の際は、前記積分範囲の一方端から他方端への
    積分と、その逆の方向に沿う積分とをそれぞれ行ない、 これら両方向の積分結果について同じ画素番号同士の結
    果の平均値をとり、 該平均値を最終的な積分結果とすることを特徴とする形
    状の再構成方法。
  4. 【請求項4】 請求項1に記載の形状の再構成方法にお
    いて、 前記画素単位の傾きは、 前記異なる位置からの撮像により得られる各画像での同
    一被写体位置を見ている画素同士での被写体の輝度比に
    基づいて検出することを特徴とする形状の再構成方法。
  5. 【請求項5】 被写体の傾きを画素単位で検出する傾き
    検出手段と、 前記被写体を少なくとも2つの異なる位置から撮像しそ
    れぞれの位置からの前記被写体の画像を得る画像入力手
    段と、 前記画像入力手段で得た画像間での前記被写体について
    の視差を画素単位で求める手段と、 同じ視差を示している画素が連続する領域ごとを1つの
    積分範囲と決定する積分範囲決定手段と、 前記決定された積分範囲の画素群に対応する傾きを積分
    する積分手段とを具えたことを特徴とする形状の再構成
    装置(ただし、同じ視差とはある幅を持つ場合も含
    む)。
  6. 【請求項6】 請求項5に記載の形状の再構成装置にお
    いて、 前記積分手段を、 前記積分範囲の一方端から他方端に前記積分をする第1
    の積分手段と、 前記積分範囲の前記他方端から前記一方端に前記積分を
    する第2の積分手段と、 前記第1および第2の積分手段の積分結果について同じ
    画素番号同士の結果の平均値をとり該平均値を最終積分
    結果として出力する平均化手段とを含む積分手段として
    あることを特徴とする形状の再構成装置。
  7. 【請求項7】 請求項5に記載の形状の再構成装置にお
    いて、 前記傾き検出手段を、 前記異なる位置からの撮像により得られる各画像での同
    一被写体位置を見ている画素同士での被写体の輝度比に
    基づいて、傾きを検出する手段としてあることを特徴と
    する形状の再構成装置。
JP8214783A 1996-08-14 1996-08-14 形状の再構成方法および形状の再構成装置 Withdrawn JPH1062140A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP8214783A JPH1062140A (ja) 1996-08-14 1996-08-14 形状の再構成方法および形状の再構成装置
US08/813,319 US5946424A (en) 1996-08-14 1997-03-10 Method for reconstructing a shape and an apparatus for reconstructing a shape

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8214783A JPH1062140A (ja) 1996-08-14 1996-08-14 形状の再構成方法および形状の再構成装置

Publications (1)

Publication Number Publication Date
JPH1062140A true JPH1062140A (ja) 1998-03-06

Family

ID=16661473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8214783A Withdrawn JPH1062140A (ja) 1996-08-14 1996-08-14 形状の再構成方法および形状の再構成装置

Country Status (2)

Country Link
US (1) US5946424A (ja)
JP (1) JPH1062140A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106502A (ja) * 2018-12-28 2020-07-09 キヤノン株式会社 形状計測装置、制御方法及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
DE69730565T2 (de) * 1996-06-26 2005-02-03 Matsushita Electric Industrial Co., Ltd., Kadoma Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik
JP3625845B2 (ja) * 1996-09-16 2005-03-02 スナップ−オン テクノロジーズ インク. 主として車両と共に使用する測定器
US20050033470A1 (en) * 2002-06-06 2005-02-10 The Hong Kong Polytechnic University System and method for the three-dimensional analysis and reconstruction of the surface of a thin flexible material
US6728593B2 (en) 2002-06-06 2004-04-27 The Hong Kong Polytechnic University System for analysis of fabric surface
US7352892B2 (en) * 2003-03-20 2008-04-01 Micron Technology, Inc. System and method for shape reconstruction from optical images
US20040184653A1 (en) * 2003-03-20 2004-09-23 Baer Richard L. Optical inspection system, illumination apparatus and method for use in imaging specular objects based on illumination gradients
WO2005065085A2 (en) * 2003-12-21 2005-07-21 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
CN100501566C (zh) * 2006-01-05 2009-06-17 李明 曲面电影投影系统及方法
US7684612B2 (en) * 2006-03-28 2010-03-23 Pitney Bowes Software Inc. Method and apparatus for storing 3D information with raster imagery
CN102172032A (zh) * 2009-08-31 2011-08-31 松下电器产业株式会社 立体视控制装置、集成电路、立体视控制方法
JP5578844B2 (ja) 2009-12-21 2014-08-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP5774512B2 (ja) * 2012-01-31 2015-09-09 株式会社東芝 測距装置
US9217636B2 (en) * 2012-06-11 2015-12-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and a computer-readable storage medium
JP6680552B2 (ja) * 2016-02-08 2020-04-15 Ntn株式会社 形状測定装置および被塗布対象物の製造方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3964822A (en) * 1973-10-12 1976-06-22 Mitsui Petrochemical Industries, Ltd. Projection screen and process for production thereof
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
DE69422803T2 (de) * 1993-03-03 2000-06-15 Graham Stewart B. Street Bildausrichtung und Gerät
US5493427A (en) * 1993-05-25 1996-02-20 Sharp Kabushiki Kaisha Three-dimensional display unit with a variable lens
TW417035B (en) * 1994-05-11 2001-01-01 Sharp Kk Lighting device and a liquid crystal display using such a device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106502A (ja) * 2018-12-28 2020-07-09 キヤノン株式会社 形状計測装置、制御方法及びプログラム

Also Published As

Publication number Publication date
US5946424A (en) 1999-08-31

Similar Documents

Publication Publication Date Title
Schops et al. A multi-view stereo benchmark with high-resolution images and multi-camera videos
EP3516626B1 (en) Device and method for obtaining distance information from views
KR101956149B1 (ko) 이미지 사이의 광학 흐름의 효율적 결정
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US7948514B2 (en) Image processing apparatus, method and computer program for generating normal information, and viewpoint-converted image generating apparatus
JPH1062140A (ja) 形状の再構成方法および形状の再構成装置
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
US9818199B2 (en) Method and apparatus for estimating depth of focused plenoptic data
CN109883391B (zh) 基于微透镜阵列数字成像的单目测距方法
JPWO2019026287A1 (ja) 撮像装置および情報処理方法
JPH1069543A (ja) 被写体の曲面再構成方法及び被写体の曲面再構成装置
US20030194149A1 (en) Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods
US10798364B2 (en) 3D image reconstruction based on lensless compressive image acquisition
JPH1062154A (ja) 測定値処理方法、形状の再構成方法および形状の再構成装置
JP3103028B2 (ja) 被写体の傾き検出方法
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
Amini et al. Development of a new stereo‐panorama system based on off‐the‐shelf stereo cameras
JP2006078291A (ja) 全方位三次元計測装置
EP3229470B1 (en) Efficient canvas view generation from intermediate views
WO2024236944A1 (ja) 影領域検出装置及び影領域検出方法
Jantarang et al. Enhancement of 3-D reconstruction from 2-D images using single camera
Kim Radiometric calibration methods from image sequences
Sathish COMPUTATIONAL COLOR STEREOVISION

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20031104