JPH079673B2 - 両眼視系の対応点決定装置 - Google Patents

両眼視系の対応点決定装置

Info

Publication number
JPH079673B2
JPH079673B2 JP58136084A JP13608483A JPH079673B2 JP H079673 B2 JPH079673 B2 JP H079673B2 JP 58136084 A JP58136084 A JP 58136084A JP 13608483 A JP13608483 A JP 13608483A JP H079673 B2 JPH079673 B2 JP H079673B2
Authority
JP
Japan
Prior art keywords
feature points
image
point
binocular vision
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP58136084A
Other languages
English (en)
Other versions
JPS6027085A (ja
Inventor
敦司 久野
和彦 坂
則之 築山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP58136084A priority Critical patent/JPH079673B2/ja
Priority to US06/634,043 priority patent/US4654872A/en
Publication of JPS6027085A publication Critical patent/JPS6027085A/ja
Publication of JPH079673B2 publication Critical patent/JPH079673B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】 <発明の技術分野> 本発明は、産業ロボツト等に適用される3次元物体の認
識装置に関連し、殊に本発明は、両視覚系を構成する2
台の撮像装置よりそれぞれ入力した画像の特徴点間の対
応付けを行って対応点を決定する両眼視系の対応点決定
装置に関する。
<発明の背景> 通常3次元物体を光学的に立体認識するには、対をなす
2個の視覚系を用いる必要がある。この両眼視系に物体
の画像を結像させると、視覚系の隔りに起因する画像間
のずれが生じ、このずれを両画像の対応する点から検出
することにより、物体の立体的把握が可能となる。従つ
てこの場合、一方視覚系にかかる画像の点と、他方視覚
系にかかる画像の点とを対応させることが必要となる。
特開昭58−90268号には、両眼立体視系を構成する第1,
第2の各カメラで得られた画像間の対応点を決定するた
めの装置が記載されている。まず第1のカメラで得た画
像より注目したいパターンを決め、そのパターンを視野
中心に据えた後、第1のカメラの視線ベクトルが第2の
カメラによる画像上に形成する直線(これを「エピポー
ラライン」という)を求め、そのエピポーラライン上で
前記注目パターンに形状が類似するパターンを検索して
対応パターンの候補とする。つぎにこの候補を第2のカ
メラの視野の中心に据えた後、第1、第2の各カメラの
中心軸の交点より物体の3次元座標を算出し、さらに3
次元空間での各カメラから物体までの距離を算出する。
つぎに第1,第2のカメラで得られた対応するパターン間
の一致度を算出し、その一致度がしきい値未満の場合
は、両パターンは対応しないものと判断し、しきい値以
上である場合は、つぎにその確認動作を行う。この確認
動作では、両眼立体視系全体を第1のカメラから見た物
体の視線方向へ一定量だけ移動させ、先に求めた交点の
方向へ第2のカメラの視線を向けて、第1,第2のカメラ
によるパターン間の一致度を算出し、また各カメラから
の物体までの距離を算出する。そして一致度がしきい値
以上であって、カメラから物体までの距離が移動前と移
動後とで移動距離分だけ変化しているという条件を満た
している場合には、両パターンを対応するパターンであ
ると決定する。しかしながらこの装置では、第1,第2の
カメラによるパターン間の対応付けを行うのに、パター
ン比較処理や3次元座標の計測処理が必要であるため、
計算量が著しく増大して対応付けに時間がかかり、また
処理の複雑化を招くという問題がある。
<発明の目的> 本発明は、上記問題に着目してなされたもので、パター
ン比較処理や3次元座標の計測処理を行うことなく、画
像間の対応点を高速に決定できる両眼視系の対応点決定
装置を提供することを目的とする。
<発明の構成および効果> 上記目的を達成するため、この発明では、異なる位置か
ら同一の物点を観測することが可能な2台の撮像装置を
備えた両眼視手段と、前記両眼視手段を変位させること
が可能な変位手段と、前記両眼視手段を構成する2台の
撮像装置よりそれぞれ入力した画像の特徴点について、
一方の撮像装置で得られる画像の特徴点の座標と他方の
撮像装置で得られる画像の特徴点の座標との間で同一物
点にかかる特徴点間で成立する同一水平線上に位置する
という第1の拘束条件を用いて、特徴点間の対応付けを
行い、対応点組候補を抽出する対応点組候補抽出手段
と、前記変位手段により変位させた後の両眼視手段で得
られる画像の特徴点の座標と変位前の両眼視手段で得ら
れる画像の特徴点の座標との間で同一物点にかかる特徴
点間で成立する移行した水平線上に位置するという第2
の拘束条件を用いて、前記対応点組候補抽出手段により
抽出された対応点組候補の絞込みを行って対応点組を決
定する対応点組決定手段とで両眼視系の対応点決定装置
を構成することにした。
本発明によれば、両眼視系で得られる変位前後の画像の
特徴点について、第1,第2の拘束条件を用いて、画像の
座標系の中だけの処理で対応点組候補の抽出および対応
点組の決定を行うようにしたから、パターン比較処理や
3次元座標の計測処理を必要とする従来例と比べて、計
算量が大幅に減少し、画像間の対応点を高速に決定でき
るという効果がある。
<実施例の説明> 第1図に示す物体認識装置は、光軸が平行な左右一対の
視覚系1L,1Rをもつ。各視覚系1L,1Rは、同一倍率のテレ
ビカメラで構成してあり、駆動装置2によつて両視覚系
1L,1Rの位置並びに姿勢を高精度に変化させ得る。各視
覚系1L,1Rに結像される物体画像は、画像処理装置3の
画像メモリ(図示せず)に取り込まれる。画像処理装置
3は、両方の物体画像から物体の特徴をなす点(以下、
特徴点という)を抽出し、対応する特徴点間のずれ等に
基づいて、物体を立体的に認識する。図示例の装置は、
各視覚系1L,1Rにつき物体画像の対応する特徴点の組を
特定して抽出する機能を持つ。
第2図および第3図は、かかる特徴点の抽出原理を具体
的に示す。
第2図に示すxyZ座標は、対をなす左右視覚系と物体上
の点(以下、物点という)と、物点の画像(以下、像点
という)との位置関係を示す。また図示例の場合、説明
を容易にするため、Z軸の負領域に結像する像点を正領
域のZ=1の位置に透影してある。図中、Bは物点、L
およびRは左右視覚系の光軸、PLおよびPRは左右視覚系
の像点を示す。また左右光軸L,Rとy軸との交点が透視
中心SL,SR、左右光軸L,RとZ=1に設定された左右結
像面TL,TRとの交点が画像中心点OL,ORである。
今物点Bの座標が(X,Y,Z)、透視中心SL,SRが(0,−
a,0)(0,a,0)、像点PL,PRが(xL,yL,1)(xR,yR,
1)であるとすると、つぎの(1)〜(4)式が成り立
つ。
つぎに左右の各視覚系1L,1Rをx軸方向に変位α平行移
動させ、更に変位後のZ軸まわりに角度θ回転させたと
きの像点をPL′,PR′、各座標を(xL′,yL′,1)
(xR′,yR′,1)とすると、xL′,yL′,xR′,yR′は
つぎの(5)〜(8)式で表わされる。
斯くて上記(1)式と(3)式、(5)式と(7)式か
ら、 xR=xL ………(9) xR′=xL′ ………(10) が成立する。この(9)(10)の各式は、同一物点につ
いての左右視覚系の像点PL,PRは同一水平線上に位置
し、而も左右視覚系を平行移動させ且つ回動させた後の
像点PL′,PR′も同一水平線上に位置することを示して
いる。
また(9)式と(10)式、(2)(4)(6)(8)の
各式から、 xR′−xR=xL′−xL ………(11) yR′−yR=yL′−yL ………(12) が成立する。この(11)(12)の各式は、左右視覚系を
平行移動させ且つ回動させた場合、左右視覚系の像点
PL,PRは同方向へ同じ量だけ変位することを示してい
る。
そこで両視覚系の変位量α,θが決まれば、像点PL
PL′間および像点PR,PR′間の距離につき、次式が成立
する。
但しTH1は変位量α,θで決まるしきい値である。
第3図は、左右視覚系につき変位前の物体画像と変位後
の物体画像との位置関係を示す図である。図中、P1〜P
10は変位前の物体画像から抽出された特徴点、P11〜P20
は変位後の物体画像から抽出された特徴点を示す。今左
視覚系の特徴点P1に着目すると、特徴点P1は水平線h上
に位置している。従つて前記(9)式にかかる原則から
判断すると、特徴点P1に対応する右視覚系の特徴点は同
一水平線h上に位置する特徴点P6,P9のいずれかであ
る。つぎに両視覚系を一定変位させたとき、特徴点P1
特徴点P11に移行する。ところが特徴点P11を通る水平線
h′上には、特徴点P6の移行にかかる特徴点P16のみが
位置し、特徴点P9の移行にかかる特徴点P19は存在しな
い。従つて前記(10)式にかかる原則より、左視覚系の
特徴点P1は、右視覚系の特徴点P6に対応すると判断し得
る。
第4図は、左右視覚系の対応する特徴点の組を特定して
抽出する過程を含む物体認識のアルゴリズムを示す。
まずステツプ11において、左右視覚系に結像した物体画
像を画像処理装置3の画像メモリに取り込んでセツトす
る。つぎにステツプ12で、左右視覚系をx軸方向へ変位
α平行移動させ、更にステツプ13で、Z軸まわりに角度
θ回動させた後、ステツプ14において、同じ物体の画像
を左右視覚系に結像させ、同様に画像メモリに取り込ん
でセツトする。この段階で画像メモリには、変位前の物
体画像2枚と、変位後の物体画像2枚とが格納されてい
る。つぎにステツプ15において、合計4枚の物体画像に
つき、夫々線画化処理を実行して、例えば輪郭線等が急
峻に変化する点を特徴点として抽出すると共に、各特徴
点の座標を各画像毎に画像メモリの所定エリアに順次セ
ツトしてゆく。第6図は変化前の左視覚系の全特徴点が
セツトされた全体リストを示している。
今ステツプ16で、第6図中、ラベルjが付された特徴点
PL(j)に着目すると、特徴点PL(j)の座標は{x
L(j),yL(j)}である。そしてつぎのステツプ17
で、特徴点PL(j)と同一水平線上に位置する右視覚系
の特徴点の抽出リスト(以下、水平点リストという)を
作成する。この水平点リストは、第5図中、HORで示し
てあり、水平点リストHORに含まれる座標{xR(s),y
R(s)}の特徴点PR(s)は、前記(9)式にかかる
原則からつぎの(15)式を満足する。尚ε1は、零に近
い正のシステム定数である。
|xL(j)−xR(s)|≦ε0 ………(15) 但しsは全体リスト中でのラベルであり、図中、s=HO
R(i1)の式は、ラベルsの特徴点PR(s)は水平点リ
ストHOR中においてラベルi1が付与されていることを意
味する。
つぎにステツプ18において、変位後の左視覚系にかかる
特徴点につき、つぎの(16)式(前記(13)式に基づ
く)を満足する座標{xL′(q),yL′(q)}の特徴
点PL′(q)を抽出して、近傍点リストNEIGを作成す
る。
但しqは全体リスト中のラベルであり、第5図中、q=
NEIG(i2)の式は、ラベルqの特徴点PL′(q)は近傍
点リストNEIG中においてラベルi2が付与されていること
を示す。
更につぎのステツプ19において、近傍点リストNEIGに含
まれる各特徴点と同一水平線上に位置する右視覚系の特
徴点の水平点リストを作成する。この水平点リストは、
第5図中、RTABで示してあり、水平点リストRTABに含ま
れる座標{xR′(u),yR′(u)}の特徴点PR
(u)は、前記(10)式にかかる原則からつぎの(17)
式を満足する。
|xL′(q)−xR′(u)|≦ε0 ………(17) 但しuは全体リスト中のラベルであり、図中、u=RTAB
(i2,i3)の式は、ラベルuの特徴点PR′(u)は水平
点リストRTAB中においてラベルi3が付与されていること
を意味する。
上記各リストの作成完了後、ステツプ20において、前記
(12)式に基づくつぎの(18)式および、(14)式に基
づくつぎの(19)式を満足する両視覚系の対応する特徴
点の組{PL(j),PR(s),PL′(q),PR
(u)}を抽出する。但しε1は零に近い正のシステム
定数である。
|yL′(q)−yL(j)−yR′(u)+yR(s)|≦
ε1 ………(18) もし有効な特徴点の組が存在していた場合には、ステツ
プ21の判定が“YES"となつて、つぎのステツプ22で変位
前の特徴点PL(j)PR(s)から、つぎの(20)(21)
(22)式によつて、物点Bの3次元座標(XLR,YLR,Z
LR)を算出する。
更につぎのステツプ23で変位後の特徴点PL′(q)PR
(u)から、つぎの(23)(24)(25)式によつて、物
点Bの3次元座標(XLR′,YLR′,ZLR′)を算出す
る。
つぎに変位前後の特徴点から別個に算出した上記物点の
3次元座標(XLR,YLR,ZLR)(XLR′,YLR′,ZLR′)
から、つぎの(26)式を用いて座標間距離DISTを算出す
る。
そしてもしこの座標間距離DISTが一定のしきい値TH2
下の場合には、ステツプ24の判定が“YES"となり、つぎ
のステツプ25で物点の3次元座標に関するデータを第7
図に示す如く、つぎの(27)〜(33)式に従つて画像メ
モリへ登録する。
BL(k)=j ………(30) BR(k)=s ………(31) AL(k)=q ………(32) AR(k)=u ………(33) 以上の各処理を、変位前の左視覚系の全特徴点につき同
様に繰返して実行すると、ステツプ26の判定が“YES"と
なり、特徴点の抽出処理を含む物点の座標算出処理を全
て完了する。
【図面の簡単な説明】
第1図は物体認識装置の概略構成を示す斜面図、第2図
は左右視覚系と、物点と、像点との位置関係をxyZ座標
に表わした図、第3図は対応する特徴点を特定する方法
を示す原理説明図、第4図は物体認識のアルゴリズムを
示すフローチヤート、第5図は特徴点と特徴的リストと
の関係を示す図、第6図は変位前の左視覚系にかかる特
徴点の全体リストを示す図、第7図は物点の座標に関す
るデータの登録状態を示す図である。 1L,1R……視覚系、2……駆動装置 3……画像処理装置、B……物点 PR,PL……像点
───────────────────────────────────────────────────── フロントページの続き (72)発明者 築山 則之 京都府京都市右京区花園土堂町10番地 立 石電機株式会社内 (56)参考文献 特開 昭58−90268(JP,A) 実開 昭56−170707(JP,U) 特公 昭54−23545(JP,B1)

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】異なる位置から同一の物点を観測すること
    が可能な2台の撮像装置を備えた両眼視手段と、 前記両眼視手段を変位させることが可能な変位手段と、 前記両眼視手段を構成する2台の撮像装置よりそれぞれ
    入力した画像の特徴点について、一方の撮像装置で得ら
    れる画像の特徴点の座標と他方の撮像装置で得られる画
    像の特徴点の座標との間で同一物点にかかる特徴点間で
    成立する同一水平線上に位置するという第1の拘束条件
    を用いて、特徴点間の対応付けを行い、対応点組候補を
    抽出する対応点組候補抽出手段と、 前記変位手段により変位させた後の両眼視手段で得られ
    る画像の特徴点の座標と変位前の両眼視手段で得られる
    画像の特徴点の座標との間で同一物点にかかる特徴点間
    で成立する移行した水平線上に位置するという第2の拘
    束条件を用いて、前記対応点組候補抽出手段により抽出
    された対応点組候補の絞込みを行って対応点組を決定す
    る対応点組決定手段とを備えて成る両眼視系の対応点決
    定装置。
JP58136084A 1983-07-25 1983-07-25 両眼視系の対応点決定装置 Expired - Lifetime JPH079673B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP58136084A JPH079673B2 (ja) 1983-07-25 1983-07-25 両眼視系の対応点決定装置
US06/634,043 US4654872A (en) 1983-07-25 1984-07-24 System for recognizing three-dimensional objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP58136084A JPH079673B2 (ja) 1983-07-25 1983-07-25 両眼視系の対応点決定装置

Publications (2)

Publication Number Publication Date
JPS6027085A JPS6027085A (ja) 1985-02-12
JPH079673B2 true JPH079673B2 (ja) 1995-02-01

Family

ID=15166872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP58136084A Expired - Lifetime JPH079673B2 (ja) 1983-07-25 1983-07-25 両眼視系の対応点決定装置

Country Status (1)

Country Link
JP (1) JPH079673B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01299314A (ja) * 1988-05-24 1989-12-04 Toyota Motor Corp ボールジョイント

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6029995B2 (ja) * 1981-11-24 1985-07-13 工業技術院長 3次元物体の検出方法

Also Published As

Publication number Publication date
JPS6027085A (ja) 1985-02-12

Similar Documents

Publication Publication Date Title
CN112444242B (zh) 一种位姿优化方法及装置
US5719954A (en) Stereo matching method and disparity measuring method
JP3054681B2 (ja) 画像処理方法
JPH1166319A (ja) 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置
JP2961264B1 (ja) 3次元物体モデル生成方法及び3次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体
CN112862678A (zh) 一种无人机图像拼接方法、装置及存储介质
EP0880010A2 (en) Measuring apparatus
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
JP3008875B2 (ja) 被写体抽出装置
JP2002296010A (ja) 画像を用いた自己位置同定方法
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP3208900B2 (ja) 視覚に基く三次元位置および姿勢の認識方法とその装置
JP3170345B2 (ja) 3次元情報抽出方法
JPH0875454A (ja) 測距装置
JPH079673B2 (ja) 両眼視系の対応点決定装置
JPH11194027A (ja) 三次元座標計測装置
JPH05141930A (ja) 3次元形状計測装置
JPH0252204A (ja) 3次元座標計測装置
JPH10318715A (ja) 画像測定装置
JPH1137736A (ja) 3次元形状計測方法及び3次元形状計測装置
JP2000304499A (ja) 飛翔体の画像処理装置及び飛翔体の画像処理方法
JPS60171410A (ja) ステレオ視処理装置
JP2001266129A (ja) 航行体の画像による航行制御装置及び航行制御方法
CN118212272B (zh) 一种跨站的星球车视觉定位方法、系统、设备及介质
JP2958462B1 (ja) ステレオ画像の輝度修正方法及び装置