JPH0410667B2 - - Google Patents

Info

Publication number
JPH0410667B2
JPH0410667B2 JP58162344A JP16234483A JPH0410667B2 JP H0410667 B2 JPH0410667 B2 JP H0410667B2 JP 58162344 A JP58162344 A JP 58162344A JP 16234483 A JP16234483 A JP 16234483A JP H0410667 B2 JPH0410667 B2 JP H0410667B2
Authority
JP
Japan
Prior art keywords
points
camera system
feature
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP58162344A
Other languages
English (en)
Other versions
JPS6054081A (ja
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed filed Critical
Priority to JP58162344A priority Critical patent/JPS6054081A/ja
Priority to US06/634,043 priority patent/US4654872A/en
Publication of JPS6054081A publication Critical patent/JPS6054081A/ja
Publication of JPH0410667B2 publication Critical patent/JPH0410667B2/ja
Granted legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 <発明の技術分野> 発発明は、産業ロボツト等に適用される3次元
物体の認識装置に関連し、殊に本発明は、対をな
す各視覚系に結像させた物体画像から特徴点を抽
出して、対応関係にある両視覚系の特徴点の組を
特定する両眼視系画像の特徴点抽出装置に関す
る。
<発明の背景> 通常3次元物体を光学的に立体認識するには、
対をなす2個の視覚系を用いる必要がある。この
両視覚系に物体の画像を結像させると、視覚系の
隔りに起因する画像間のずれが生じ、このずれを
両画像の対応する点から検出することにより、物
体の立体的把握が可能となる。従つてこの場合、
一方視覚系にかかる画像の点と、他方視覚系にか
かる画像の点とを対応させることが必要となる。
このため従来は、画像の明暗パターンを照合する
等して、両画像の対応点を検出していたが、この
種方法では照合処理が著しく複雑となつて、効率
が悪く、而も精度的に十分満足ゆく結果が得られ
ていない。
<発明の目的> 本発明は、発明者が案出した一定の原則に基づ
き、両視覚系の対応する特徴点の組を特定して抽
出する新規装置を提案することにより、物体認識
処理の簡易化をはかり、処理効率および精度の向
上を実現させることを目的とする。
<発明の構成および効果> 上記目的を達成するため、本発明では、同一焦
点距離レンズが装備された左右視覚系をもつ2個
のカメラ系を用い、各カメラ系を光軸が平行し且
つ一定距離隔てた位置に夫々固定し、画像処理装
置をもつて、各カメラ系の左右視覚系で得た夫々
物体画像より特徴点を抽出した後、両カメラ系に
おける特徴点の画像位置関係から左右視覚系の対
応する特徴点の組を特定抽出するようにした。
本発明によれば、両視覚系の対応する特徴点を
容易に抽出可能となり、物体認識処理が簡易化さ
れ、処理効率および精度の向上を実現する等、発
明目的を達成した優れた効果を奏する。
<実施例の説明> 第1図に示す物体認識装置は、光軸が平行な第
1のカメラ系1と第2のカメラ系2とを含み、両
カメラ系1,2は、距離αだけ隔たり且つ第1の
カメラ系1に対し第2のカメラ系2が角度変位
させた状態で夫々固定してある。第1、第2の各
カメラ系1,2は、同一焦点距離レンズが装着さ
れた2台のテレビカメラ3,4,5,6をもつて
構成され、一方のテレビカメラ3,5は各カメラ
系の左視覚系1L,2Lを、他方のテレビカメラ
4,6は右視覚系1R,2Rを夫々構成する。各
カメラ系1,2の両視覚系に結像される物体画像
は、画像処理装置7の画像メモリ(図示せず)に
取り込まれる。画像処理装置7は、両方の物体画
像から物体の特徴をなす点(以下、特徴点とい
う)を抽出し、対応する特徴間のずれ等に基づい
て、物体を立体的に認識する。図示例の装置は、
各視覚系1L,1Rにつき物体画像の対応する特
徴点の組を特定して抽出する機能を持つ。
第2図および第3図は、かかる特徴点の抽出原
理を具体的に示す。
第2図に示すxyZ座標は、第1のカメラ系1の
左右視覚系と物体上の点(以下、物点という)
と、物点の画像(以下、像点という)との位置関
係を示す。また図示例の場合、説明を容易にする
ため、Z軸の負領域に結像する像点を正領域のZ
=1の位置に透影してある。図中、Bは物点、L
およびRは左右視覚系の光軸、PおよびPRは左
右視覚系の像点を示す。また右光軸L,Rとy軸
との交点が透視中心SL,SR、左右光軸L,RとZ
=1に設定された左右結像面TL,TRとの交点が
画像中心点OL,ORである。
今物点Bの座標が(X,Y,Z)、透視中心SL
SRが(0,−a,0)(0,a,0)、像点PL,PR
が(xL,yL,1)(xR,yR,1)であるとすると、
つぎの(1)〜(4)式が成り立つ。
xL=X/Z ……(1) yL=Y+a/Z−a ……(2) xR=X/Z ……(3) yR=Y−a/Z+a ……(4) つぎに第2のカメラ系2における左右視覚系の
像点をPL′,PR′、各座標を(xL′,yL′,1)
(xR′,yR′,1)とすると、xL′,yL′,xR′,yR
はつぎの(5)〜(8)式で表わされる。
xL′=(X−α)cosθ+Ysinθ/Z ……(5) yL′=Ycosθ−(X−α)sinθ+a/Z−a ……(6) xR′=(X−α)cosθ+Ysinθ/Z ……(7) yR′=Ycosθ−(X−α)sinθ−a/Z+a ……(8) 斯くして上記(1)式と(3)式、(5)式と(7)式から、 xR=xL ……(9) xR′=xL′ ……(10) が成立する。この(9)(10)の各式は、同一物点につい
ての左右視覚系の像点PL,PRは同一水平線上に
位置し、而もこの視覚系と平行し且つ一定角度変
位を有する他の視覚系の像点PL′,RR′も同一水
平線上に位置することを示している。
また(9)式と(10)式、(2)(4)(6)(8)の各式から。
xR′−xR=xL′−xL ……(11) yR′−yR=yL′−yL ……(12) が成立する。この(11)(12)の各式は、左右視覚系を平
行移動させ且つ回動させた場合、左右視覚系の像
点PL,PRは同方向へ同じ量だけ変位することを
示している。
そこで両カメラ系1,2間の変位置α,が決
まれば、像点PL,PL′間および像点PR,PR′間の
距離につき、次式が成立する。
√(L′−L2+(L′−L2≦TH1 ……(13) √(R′−R2+(R′−R2≦TH1 ……(14) 但しTH1は変位量α,で決まるしきい値で
ある。
第3図は、第1のカメラ系1の物体画像と第2
のカメラ系2の物体画像の位置関係を示す図であ
る。図中、P1〜P10は第1のカメラ系1の物体画
像から抽出された特徴点、P11〜P20は第2のカメ
ラ系2の物体画像から抽出された特徴点を示す。
今第1のカメラ系1における左視覚系の特徴点
P1に着目すると、特徴点P1は水平線h上に位置
している。従つて前記(9)式にかかる原則から判断
すると、特徴点P1に対応する右視覚系の特徴点
は同一水平線h上に位置する特徴P6,P9のいず
れかである。つぎに第2のカメラ系2において、
前記特徴点P1は特徴点P11に対応する。ところが
特徴点P11を通る水平線h′上には、特徴点P6に対
応する特徴点P16のみが位置し、特徴点P9に対応
する特徴点P19は存在しない。従つて前記(10)式に
かかる原則より、第1のカメラ系1における左視
覚系の特徴点P1は、右視覚系の特徴P6に対応す
ると判断し得る。
第4図は、左右視覚系の対応する特徴点の組を
特定して抽出する過程を含む物体認識のアルゴリ
ズムを示す。
まずステツプ11において、第1のカメラ系1に
おける左右視覚系に結像した物体画像を画像処理
装置7の画像メモリに取り込んでセツトする。つ
ぎにステツプ12で、第2のカメラ系2における左
右視覚系に結像した同じ物体の画像を画像メモリ
に取り込んでセツトする。この段階で画像メモリ
には、第1のカメラ系1にかかる物体画像2枚
と、第2のカメラ系2にかかる物体画像2枚とが
格納されている。つぎにステツプ13において、合
計4枚の物体画像につき、夫々線画化処理を実行
して、例えば輪郭線等が急峻に変化する点を特徴
点として抽出すると共に、各特徴点の座標を各画
像毎に画像メモリの所定エリアに順次セツトして
ゆく。第6図は第1のカメラ系1にかかる左視覚
系の全特徴点がセツトされた全体リストを示して
いる。
今ステツプ14で、第6図中、ラベルjが付され
た特徴PL(j)に着目すると、特徴PL(j)の座標は
{xL(j),yL(j)}である。そしてつぎのステツプ15
で、特徴点PL(j)と同一水平線上に位置する右視
覚系の特徴点の抽出リスト(以下、水平点リスト
という)を作成する。この水平点リストは、第5
図中、HORで示してあり、水平点リストHORに
含まれる座標{xR(s),yR(s)}の特徴PR(s)は、前
記(9)式にかかる原則からつぎの(15)式を満足す
る。尚ε0は、零に近い正のシステム定数である。
|xL(j)−xR(s)|≦ε0 ……(15) 但しsは全体リスト中でのラベルであり、図
中、sはHOR(i1)の式は、ラベルsの特徴点PR
(s)は水平点リストHOR中においてラベルi1が付
与されていることを意味する。
つぎにステツプ16において、第2のカメラ系2
における左視覚系の特徴点につき、つぎの(16)式
(前記(13)式に基づく)を満足する座標{xL′(q),
yL′(q)}の特徴P点L′(q)を抽出して、近傍点リス
トNEIGを作成する。
√{L′()−L(j)}2+{L′()−R(j)}2 ≦TH1 ……(16) 但しqは全体リスト中のラベルであり、第5図
中、q=NEIG(i2)の式は、ラベルqの特徴点
PL′(q)は近傍点リストNEIG中においてラベルi2
が付与されていることを示す。
更につぎのステツプ17において、近傍点リスト
NEIGに含まれる各特徴点と同一水平線上に位置
する右視覚系の特徴点の水平点リストを作成す
る。この水平点リストは、第5図中、RTABで
示してあり、水平点リストRTABに含まれる座
標{xR′(u),yR′(u)}の特徴点PR′(u)は、前記(10)
式にかかる原則からつぎの(17)式を満足する。
|xL′(q)−xR′(u)|≦ε0 ……(17) 但しuは全体リスト中のラベルであり、図中、
u=RTAB(i2,i3)の式は、ラベルuの特徴点
PR′(u)は水平点リストRTAB中においてラベルi3
が付与されていることを意味する。
上記各リストの作成完了後、ステツプ18におい
て、前記(12)式に基づくつぎの(18)式および、(14)
に基づくつぎの(19)式を満足する両視覚系の対応
する特徴点の組{PL(j),PR(s),PR(q),PR′(u)}
を抽出する。但しε1は零に近い正のシステム定数
である。
|yL′(q)−yL(j)−yR′(u)+yR(s)|≦ε1……(18) √{R′()−R()}2+{R′()−R()}2 ≦TH1 ……(19) もし有効な特徴点の組が存在していた場合に
は、ステツプ19の判定が“YES”となつて、つ
ぎのステツプ20で第1のカメラ系1における特徴
点PL(j)PR(s)から、つぎの(20)(21)(22)によつて、
物点Bの3次元座標(XLR,YLR,ZLR)を算出す
る。
XLR={xR(s)+xL(j)}・a/2a+yL(j)−yR
(s)……(20) YLR={yR(s)+yL(j)}・a/2a+yL(j)−yR
(s)……(21) ZLR=2a/2a+yL(j)−yR(s) ……(22) 更につぎのステツプ21で第2のカメラ系2にお
ける特徴点PL′(q)PR′(u)から、つぎの(23)(24)(25)
式によつて、物点Bの3次元座標(XLR′,YLR′,
ZLR′)を算出する。
XLR′=α+cosθ・{xR′(u)+xL′(q)}・a/
2a+yL′(q)−yR′(s) −sinθ・{yR′(u)+yL′(q)}・a/2a+yL
′(q)−yR′(s)……(23) YLR′=cosθ・{yR′(u)+yL′(q)}・a/2a+
yL′(q)−yR′(s) +sinθ・{xR′(u)+xL′(q)}・a/2a+yL
′(q)−yR′(s)……(24) ZLR′=2a/2a+yL′(q)−yR′(s) ……(25) つぎに両カメラ系の特徴点から別個に算出した
上記物点の3次元座標(XLR,YLR,ZLR)(XLR′,
YLR′,ZLR′)から、つぎの(26)式を用いて座標間
距離DISTを算出する。
DIST=√(LR′−LR2+(
LR′−LR2+(LR′−LR2……(26) そしてもしこの座標間距離DISTが一定のしき
い値TH2以下の場合には、ステツプ22の判定が
“YES”となり、つぎのステツプ23で物点の3次
元座標に関するデータを第7図に示す如く、つぎ
の(24)〜(33)に従つて画像メモリへ登録する。
X(k)=XLR′+XLR/2 ……(27) Y(k)=YLR′+YLR/2 ……(28) Z(k)=ZLR′+ZLR/2 ……(29) BL(k)=j ……(30) BR(k)=s ……(31) AL(k)=q ……(32) AR(k)=u ……(33) 以上の各処理を、第1のカメラ系1における左
視覚系の全特徴点につき同様に繰返して実行する
と、ステツプ24の判定が“YES”となり、特徴
点の抽出処理を含む物点の座標算出処理を全て完
了する。
【図面の簡単な説明】
第1図は物体認識装置の概略構成を示す斜面
図、第2図は左右視覚系と、物点と、像点との位
置関係をxyZ座標に表わした図、第3図は対応す
る特徴点を特定する方法を示す原理説明図、第4
図は物体認識のアルゴリズムを示すフローチヤー
ト、第5図は特徴点と特徴的リストとの関係を示
す図、第6図は第1のカメラ系における左視覚系
の特徴点の全体リストを示す図、第7図は物点の
座標に関するデータの登録状態を示す図である。 1……第1のカメラ系、2……第2のカメラ
系、7……画像処理装置、B……物点、PR,PL
……像点。

Claims (1)

  1. 【特許請求の範囲】 1 同一焦点距離レンズが装備された左右視覚系
    をもつ第1、第2のカメラ系より成り、各カメラ
    系は光軸が平行し且つ一定距離隔てた位置に夫々
    固定されると共に、各カメラ系には、全視覚系に
    ついての物体画像の特徴点を抽出した後両カメラ
    系における特徴点の画像位置関係から左右視覚系
    の対応する特徴点の組を特定抽出する画像処理装
    置が接続された両眼視系画像の特徴点認識装置。 2 第1、第2のカメラ系は、一定角度変位させ
    た状態で固定してある特許請求の範囲第1項記載
    の両眼視系画像の特徴点認識装置。
JP58162344A 1983-07-25 1983-09-03 両眼視系画像の特徴点認識装置 Granted JPS6054081A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP58162344A JPS6054081A (ja) 1983-09-03 1983-09-03 両眼視系画像の特徴点認識装置
US06/634,043 US4654872A (en) 1983-07-25 1984-07-24 System for recognizing three-dimensional objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP58162344A JPS6054081A (ja) 1983-09-03 1983-09-03 両眼視系画像の特徴点認識装置

Publications (2)

Publication Number Publication Date
JPS6054081A JPS6054081A (ja) 1985-03-28
JPH0410667B2 true JPH0410667B2 (ja) 1992-02-26

Family

ID=15752765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP58162344A Granted JPS6054081A (ja) 1983-07-25 1983-09-03 両眼視系画像の特徴点認識装置

Country Status (1)

Country Link
JP (1) JPS6054081A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109625B2 (ja) * 1985-04-17 1995-11-22 株式会社日立製作所 三次元立体視方法
JPH0722661B2 (ja) * 1986-07-24 1995-03-15 日本シユ−マツハ−株式会社 ▲ろ▼過方法

Also Published As

Publication number Publication date
JPS6054081A (ja) 1985-03-28

Similar Documents

Publication Publication Date Title
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
JP2919284B2 (ja) 物体認識方法
JP3539788B2 (ja) 画像間対応付け方法
JP3895238B2 (ja) 障害物検出装置及びその方法
CN114758318B (zh) 一种基于全景视图的任意角度车位检测方法
JPS59182688A (ja) ステレオ視処理装置
WO2012101962A1 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
CN115790568B (zh) 基于语义信息的地图生成方法及相关设备
JPH0798214A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
JP2532985B2 (ja) 3次元画像評価装置
Simond et al. Obstacle detection from ipm and super-homography
JPH11211738A (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
Mao et al. Basic theories and methods of target’s height and distance measurement based on monocular vision
JPH0410667B2 (ja)
JPH07271978A (ja) 画像処理装置
JPH0644282B2 (ja) 物体検索方式
JPH05143156A (ja) 環境認識装置
JPH05173644A (ja) 3次元物体認識装置
JPH05122602A (ja) 距離動画像入力処理方法
JPH07220194A (ja) 道路環境認識装置
JP3247305B2 (ja) 特徴領域抽出方法および装置
JP2586454B2 (ja) 三次元位置抽出方式