JPH0680403B2 - 移動体位置姿勢計測方法 - Google Patents
移動体位置姿勢計測方法Info
- Publication number
- JPH0680403B2 JPH0680403B2 JP60118754A JP11875485A JPH0680403B2 JP H0680403 B2 JPH0680403 B2 JP H0680403B2 JP 60118754 A JP60118754 A JP 60118754A JP 11875485 A JP11875485 A JP 11875485A JP H0680403 B2 JPH0680403 B2 JP H0680403B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- camera
- orientation
- equation
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、移動台車等の移動体の位置進行方向制御に
おいて、移動体の位置,姿勢をカメラにより検出する計
測方法に関するものである。
おいて、移動体の位置,姿勢をカメラにより検出する計
測方法に関するものである。
〔従来の技術〕 移動台車の位置,姿勢を検知する方法として、 (A)床面に付けられたマークをテレビカメラにより観
測する方法、床面に光反射板または白線を付け、光近接
センサによつて光の反射率の差を計測する方法、床面に
磁性板を置き、近接磁気センサにより磁性板の存在を確
認することによる方法。
測する方法、床面に光反射板または白線を付け、光近接
センサによつて光の反射率の差を計測する方法、床面に
磁性板を置き、近接磁気センサにより磁性板の存在を確
認することによる方法。
(B)大きなマーク、例えば縦線マークを壁につけ、こ
のマークをテレビカメラで観測してカメラ方位を計測す
る方法。
のマークをテレビカメラで観測してカメラ方位を計測す
る方法。
等が用いられている。
前記(A)の従来の方法は、移動台車の位置を大雑把に
知ることはできるが、精度は大変悪い。また、移動台車
が予定のコースからはずれ一旦基準マークがテレビカメ
ラまたはセンサ等により観測できなくなつた場合に、移
動台車の位置姿勢を知ることができない。さらに、ま
た、マークや白線が床面に付けられているので、汚れや
すく、常時掃除をする必要があり、保守上問題がある。
知ることはできるが、精度は大変悪い。また、移動台車
が予定のコースからはずれ一旦基準マークがテレビカメ
ラまたはセンサ等により観測できなくなつた場合に、移
動台車の位置姿勢を知ることができない。さらに、ま
た、マークや白線が床面に付けられているので、汚れや
すく、常時掃除をする必要があり、保守上問題がある。
また、前記(B)の場合には、カメラがマーク方向をお
よそ向いているかどうかの判定には使用できるが、絶対
座標系でのカメラ位置方位を正確に知ることは不可能で
ある。
よそ向いているかどうかの判定には使用できるが、絶対
座標系でのカメラ位置方位を正確に知ることは不可能で
ある。
以上述べたように従来は、移動体に積載されたカメラに
よつては移動体の位置方位を正確に求めることができな
いという問題点があつた。
よつては移動体の位置方位を正確に求めることができな
いという問題点があつた。
この発明は、上記の問題点を解決するためになされたも
ので、簡単な構成で、高精度に計測ができる移動体位置
姿勢計測方法を提供することを目的とする。
ので、簡単な構成で、高精度に計測ができる移動体位置
姿勢計測方法を提供することを目的とする。
この発明にかかる移動体位置姿勢計測方法は、カメラに
より3次元分布した複数マークを観測し、カメラの内部
パラメータの算出誤差を表わす誤差パラメータを小さく
してカメラ位置姿勢パラメータを算出することにより、
移動体の位置姿勢を計測するものである。
より3次元分布した複数マークを観測し、カメラの内部
パラメータの算出誤差を表わす誤差パラメータを小さく
してカメラ位置姿勢パラメータを算出することにより、
移動体の位置姿勢を計測するものである。
この発明においては、静止体上または移動体のどちらか
一方に3次元分布した複数のマークを、他方に備えたカ
メラで観測することによりカメラの位置姿勢を算出し、
これに基づいて移動体の位置姿勢を計測する。
一方に3次元分布した複数のマークを、他方に備えたカ
メラで観測することによりカメラの位置姿勢を算出し、
これに基づいて移動体の位置姿勢を計測する。
〔実施例1〕 第1図はこの発明の第1の実施例を説明する図であつ
て、1は移動台車、2はテレビカメラ、3は画像処理装
置、4はデータ処理装置、5は複数マークが付けられた
マーク板である。6は車輪制御装置、7は車輪である。
テレビカメラ2でマーク板5を観測し、マーク像は画像
処理装置3で2値化、ラベリング処理され、マーク位置
が識別される。データ処理装置4でマーク番号の識別、
カメラ位置姿勢パラメータの算出を行い、さらに、移動
台車1の位置姿勢データに換算した後、目的地と移動台
車1の位置関係を求めて、目的地に至る経路に沿つた車
輪7の方位の修正値と車輪7の所要回転数を算出する。
これらの値は車輪制御装置6に送られ、車輪7の方位が
修正され、所定の回転量が車輪7に与えられる。
て、1は移動台車、2はテレビカメラ、3は画像処理装
置、4はデータ処理装置、5は複数マークが付けられた
マーク板である。6は車輪制御装置、7は車輪である。
テレビカメラ2でマーク板5を観測し、マーク像は画像
処理装置3で2値化、ラベリング処理され、マーク位置
が識別される。データ処理装置4でマーク番号の識別、
カメラ位置姿勢パラメータの算出を行い、さらに、移動
台車1の位置姿勢データに換算した後、目的地と移動台
車1の位置関係を求めて、目的地に至る経路に沿つた車
輪7の方位の修正値と車輪7の所要回転数を算出する。
これらの値は車輪制御装置6に送られ、車輪7の方位が
修正され、所定の回転量が車輪7に与えられる。
第2図はマーク板5におけるマーク配置の具体例を示し
たものであり、第3図はマーク板を斜めから見た図であ
る。さらに第4図はマーク番号の配置例を示したもので
ある。
たものであり、第3図はマーク板を斜めから見た図であ
る。さらに第4図はマーク番号の配置例を示したもので
ある。
第2図〜第4図において、円形部分が白丸マークであ
り、奇数行のマークを5A、偶数行のマークを5Bで示し
た。その他の部分は黒である。奇数行のマーク5Aのサイ
ズは、例えば4mmφ、偶数行のマーク5Bは6mmφである。
但し、マーク番号45には10mmφ、55には8mmφとしてい
る。また、偶数行のマーク5Bは、マーク板面に立てられ
た黒色円柱の上端につけられている。この円柱の高さは
実験例では50mmとした。また、マーク間隔は50mmとし
た。
り、奇数行のマークを5A、偶数行のマークを5Bで示し
た。その他の部分は黒である。奇数行のマーク5Aのサイ
ズは、例えば4mmφ、偶数行のマーク5Bは6mmφである。
但し、マーク番号45には10mmφ、55には8mmφとしてい
る。また、偶数行のマーク5Bは、マーク板面に立てられ
た黒色円柱の上端につけられている。この円柱の高さは
実験例では50mmとした。また、マーク間隔は50mmとし
た。
第5図は画像処理装置3におけるマーク識別及びデータ
処理装置4におけるマーク番号識別の処理手順を示した
ものである。第2図〜第4図に示したマーク板5を対象
として説明する。なお、(1)〜(12)は各ステツプを
示す。
処理装置4におけるマーク番号識別の処理手順を示した
ものである。第2図〜第4図に示したマーク板5を対象
として説明する。なお、(1)〜(12)は各ステツプを
示す。
カメラによるマーク画像入力を行い(1)、このマーク
画像を2値化し(2)、マーク画像より小さい不要画像
を孤立点として除去した後(3)、ラベリング処理を行
う(4)。各ラベリング領域の円形度を調べ、円形度の
低いラベリング領域をマーク以外のものとして除去する
(5)。また、画像辺縁部にかかるラベリング領域を除
去する(6)。次いで、各ラベリング領域の面積を求め
るとともに、最大の面積をもつラベリング領域とその面
積を得る(7)。ステツプ(7)で得た最大面積Sを基
準とし、マークの大きさに応じた4つの面積区分を設定
し、各ラベリング領域を4つのクラスに分類する
(8)。この実施例では、イ)最大面積S,ロ)(0.64±
0.1)×S,ハ)(0.36±0.1)×S,ニ)(0.16±0.1)×
Sの4つのクラスに分類した。イ)に該当するマークに
はマーク番号45、ロ)に該当するマークはマーク番号55
とし、また、ハ)に該当するマークは偶数行番号をもつ
マーク、ニ)に該当するマークは奇数行番号として分類
される。
画像を2値化し(2)、マーク画像より小さい不要画像
を孤立点として除去した後(3)、ラベリング処理を行
う(4)。各ラベリング領域の円形度を調べ、円形度の
低いラベリング領域をマーク以外のものとして除去する
(5)。また、画像辺縁部にかかるラベリング領域を除
去する(6)。次いで、各ラベリング領域の面積を求め
るとともに、最大の面積をもつラベリング領域とその面
積を得る(7)。ステツプ(7)で得た最大面積Sを基
準とし、マークの大きさに応じた4つの面積区分を設定
し、各ラベリング領域を4つのクラスに分類する
(8)。この実施例では、イ)最大面積S,ロ)(0.64±
0.1)×S,ハ)(0.36±0.1)×S,ニ)(0.16±0.1)×
Sの4つのクラスに分類した。イ)に該当するマークに
はマーク番号45、ロ)に該当するマークはマーク番号55
とし、また、ハ)に該当するマークは偶数行番号をもつ
マーク、ニ)に該当するマークは奇数行番号として分類
される。
ステツプ(9)では、奇数行番号をもつ各マーク5Aにつ
いて、マーク画像の縦方向座標及び確定マークすなわ
ち、マーク45の座標を利用して行の番号の識別を行う。
ステツプ(10)では、各行のマークの中から、番号45及
び55を基準として番号15,25,35,65,75,85,95のマークを
選別する。次に当該マークすなわち1桁目(1の位)が
5のマークを利用して、他のマークの番号付けを行う。
ステツプ(11)では各マークの外接長方形または重心を
用いて各マークの中心座標を求める。最後にステツプ
(12)においてマーク番号、マークの画像メモリ上の座
標及びマークの実空間座標を記録したマークテーブルを
作成する。
いて、マーク画像の縦方向座標及び確定マークすなわ
ち、マーク45の座標を利用して行の番号の識別を行う。
ステツプ(10)では、各行のマークの中から、番号45及
び55を基準として番号15,25,35,65,75,85,95のマークを
選別する。次に当該マークすなわち1桁目(1の位)が
5のマークを利用して、他のマークの番号付けを行う。
ステツプ(11)では各マークの外接長方形または重心を
用いて各マークの中心座標を求める。最後にステツプ
(12)においてマーク番号、マークの画像メモリ上の座
標及びマークの実空間座標を記録したマークテーブルを
作成する。
なお、ここでは第4図のマーク配列を例にして説明した
が、マークを光フアイバ端、またはLED、レーザ、ラン
プ等発光体を使用することができる。この場合に各行ま
たは各マークを選択発光させて、行番号識別またはマー
ク番号識別を簡略化することも可能である。
が、マークを光フアイバ端、またはLED、レーザ、ラン
プ等発光体を使用することができる。この場合に各行ま
たは各マークを選択発光させて、行番号識別またはマー
ク番号識別を簡略化することも可能である。
マーク板5は広い範囲からマーク配列の3次元分布が観
測できる構成であればよく、第2図〜第4図で示したマ
ーク構成と類似の種々の構成が考えられる。従つて、単
一のマーク板の代わりに複数のマーク板から成るマーク
板群から1つのマークテーブルを構成しても構わない。
測できる構成であればよく、第2図〜第4図で示したマ
ーク構成と類似の種々の構成が考えられる。従つて、単
一のマーク板の代わりに複数のマーク板から成るマーク
板群から1つのマークテーブルを構成しても構わない。
次に、マークテーブル(マークリスト)を使つてカメラ
位置姿勢パラメータを求める。この処理は大別して2つ
のステツプからなる。第1ステツプでは、カメラパラメ
ータの近似値を、誤差パラメータとともに解析的に求め
る。第2ステツプは精度を高めるための補正ルーチンで
あり、第1ステツプで得た誤差パラメータが小さくなる
ようなカメラパラメータを解析的に求める。以下、カメ
ラパラメータを算出する処理の方法を第1ステツプ、第
2ステツプに分けて詳細に説明する。
位置姿勢パラメータを求める。この処理は大別して2つ
のステツプからなる。第1ステツプでは、カメラパラメ
ータの近似値を、誤差パラメータとともに解析的に求め
る。第2ステツプは精度を高めるための補正ルーチンで
あり、第1ステツプで得た誤差パラメータが小さくなる
ようなカメラパラメータを解析的に求める。以下、カメ
ラパラメータを算出する処理の方法を第1ステツプ、第
2ステツプに分けて詳細に説明する。
(第1ステツプ) カメラレンズ中心が物体座標系(x,y,z)の(c1,c2,c
3)に位置しているものとする。カメラ座標系(xc,
yc,zc)と物体座標系(x,y,z)との関係は一般に次式
で書き表わされる。なお、座標系は第6図に示すように
右手系とし、カメラ光軸方向をyc軸とする。また、5は
マーク板で、x,y,zは空間座標、α,β,は方位角、
2はテレビカメラで、xc,yc,zcはその軸である。
3)に位置しているものとする。カメラ座標系(xc,
yc,zc)と物体座標系(x,y,z)との関係は一般に次式
で書き表わされる。なお、座標系は第6図に示すように
右手系とし、カメラ光軸方向をyc軸とする。また、5は
マーク板で、x,y,zは空間座標、α,β,は方位角、
2はテレビカメラで、xc,yc,zcはその軸である。
ただし、Mは物体座標系からカメラ座標系への変換マト
リクスである。Mの行列要素を次式で示す。
リクスである。Mの行列要素を次式で示す。
M=(akl)(k,l=1,2,3) ……(2) 一方、カメラの内部パラメータとして、カメラの中心か
らカメラ画面へ垂線を下したときの距離(光軸長)をL
とし、その垂線と画面との交点(光軸点)の座標を
(i0,j0)とし、また、画面上の像と画像メモリ上の像
との間のスケールフアクタ(縮小率)を画像のi方向
(横方向)についてηi、j方向(縦方向)についてη
jとする。基準マークのカメラ座標系における座標とそ
の画像(i,j)とは次の関係を有している。
らカメラ画面へ垂線を下したときの距離(光軸長)をL
とし、その垂線と画面との交点(光軸点)の座標を
(i0,j0)とし、また、画面上の像と画像メモリ上の像
との間のスケールフアクタ(縮小率)を画像のi方向
(横方向)についてηi、j方向(縦方向)についてη
jとする。基準マークのカメラ座標系における座標とそ
の画像(i,j)とは次の関係を有している。
以後の計算で、変換マトリクスが直交すること、すなわ
ち を保証させるため、第(3)式,第(4)式を次のよう
に書き直す。
ち を保証させるため、第(3)式,第(4)式を次のよう
に書き直す。
δと(εi,εj)は内部パラメータである光軸長Lお
よび光軸点座標(io,jo)の誤差を表わす誤差パラメー
タである。第(1)式,第(2)式を第(7)式に代入
すれば次式が得られる。
よび光軸点座標(io,jo)の誤差を表わす誤差パラメー
タである。第(1)式,第(2)式を第(7)式に代入
すれば次式が得られる。
a′21ix+a′22iy+a′23iz+B″1x+B″2y+
B″3z−B″1c1−B″2c2−B″3c3=i …(8) ただし、 Bl≡−La1−δa1−ηii0a2l−ηiεia2l(l=
1,2,3) A2≡a21c1+a22c2+a23c3 ……(9) B″l≡Bl/A2ηi(l=1,2,3) a′2l≡a2l/A2(l=1,2,3) 同様にして、 a′21jx+a′22jy+a′23jz+D″1x+D″2y+
D″3z−D″1c1−D″2c2−D″3c3=j ……(10) ただし、 第(8)式,第(10)式を用い、物体座標系での複数
(n個)の基準マーク座標を(x1,y1,z1),…,
(xn,yn,zn)とし、それらに対応する像を(i1,
j1),…,(in,jn)とすると、 GN=W ……………………………………(12) ただし、Gは多次元パラメータベクトルであり G≡(a′21,a′22,a′23,B″1,B″2,B″3,D″1,D″2,
D″3,u′1,u′2) …(13) 像点ベクトル W=(i1,i2,…in,j1,j2,…,jn) …(15) 基準マーク行列 ただし、 また、Omnはm行n列のOマトリクス,I,I′はそれぞれ
3行3列およびn行n列の単位行列である。
B″3z−B″1c1−B″2c2−B″3c3=i …(8) ただし、 Bl≡−La1−δa1−ηii0a2l−ηiεia2l(l=
1,2,3) A2≡a21c1+a22c2+a23c3 ……(9) B″l≡Bl/A2ηi(l=1,2,3) a′2l≡a2l/A2(l=1,2,3) 同様にして、 a′21jx+a′22jy+a′23jz+D″1x+D″2y+
D″3z−D″1c1−D″2c2−D″3c3=j ……(10) ただし、 第(8)式,第(10)式を用い、物体座標系での複数
(n個)の基準マーク座標を(x1,y1,z1),…,
(xn,yn,zn)とし、それらに対応する像を(i1,
j1),…,(in,jn)とすると、 GN=W ……………………………………(12) ただし、Gは多次元パラメータベクトルであり G≡(a′21,a′22,a′23,B″1,B″2,B″3,D″1,D″2,
D″3,u′1,u′2) …(13) 像点ベクトル W=(i1,i2,…in,j1,j2,…,jn) …(15) 基準マーク行列 ただし、 また、Omnはm行n列のOマトリクス,I,I′はそれぞれ
3行3列およびn行n列の単位行列である。
次に、第(12)式を用いて最小自乗法によりGを求め
る。すなわち誤差E を最小とするGを求める。結果は次式で与えられる。
る。すなわち誤差E を最小とするGを求める。結果は次式で与えられる。
G=W・NT(NNT)-1 ……………………(18) ただし、NTは基準マーク行列Nの転置行列である。
さて、第(9)式により次の関係が成立する。
a′21c1+a′22c2+a′23c3=1………………(19) このことと、第(14)式からカメラレンズ中心座標
(c1,c2,c3)は次式で与えられる。
(c1,c2,c3)は次式で与えられる。
また、変換マトリクスMが直交すること、すなわち第
(5)式,第(6)式の条件と第(9)式とを用いて変
形すると、誤差パラメータεi,εjを算出することがで
きる。
(5)式,第(6)式の条件と第(9)式とを用いて変
形すると、誤差パラメータεi,εjを算出することがで
きる。
εi=−▲A2 2▼(a′21B″1+a′22B″2+a′
23B″3)−i0 ……(21) εj=−▲A2 2▼(a′21D″1+a′22D″2+a′
23D″3)−j0 ……(22) ここで、第(5)式,第(6)式を考慮すると、▲A2 2
▼として次式で計算される値を使うことができる。
23B″3)−i0 ……(21) εj=−▲A2 2▼(a′21D″1+a′22D″2+a′
23D″3)−j0 ……(22) ここで、第(5)式,第(6)式を考慮すると、▲A2 2
▼として次式で計算される値を使うことができる。
▲A2 2▼=(a′21 2+a′22 2+a′23 2)-1……………
…(23) 次に誤差パラメータδを求める。第(9)式から (L+δ)2a2 il(l=1,2,3) を求め、第(5)式,第(6)式を用いて変形すれば、
次式が得られる。
…(23) 次に誤差パラメータδを求める。第(9)式から (L+δ)2a2 il(l=1,2,3) を求め、第(5)式,第(6)式を用いて変形すれば、
次式が得られる。
(L+δ)2/η2 i=▲A2 2▼(B″1 2+B″2 2+
B″3 2)+(i0+εi)2+2(i0+εi)(B″1a′21
+B″2a′22+B″3a′23)▲A2 2▼ ……(24) 同様に (L+δ2)/η2 j=▲A2 2▼(D″1 2+D″2 2+
D″3 2)+(j0+εj)2+2(j0+εj)(D″1a′21
+D″2a′22+D″3a′23)▲A2 2▼ ………(25) 次に第(9)式から a′1={−B″lηi−ηi(i0+εi)a′2l}/
(L+δ)、(l=1,2,3) であるから a′1={−B″l−(i0+εi)a′2l}/{(L+
δ)/ηi} ………(26) 同様に、 a′3l={−D″l−(j0+εj)a′2l}/{(L+
δ)/ηj} ………(27) ここで、上記で求める変換マトリクスM(akl)は直交
していることが保証されている。みかけの光軸長を第
(24)式または第(25)式により求まるL+δとし、ま
た、みかけの光軸点を第(21)式,第(22)式により算
出される(i0+εi,j0+εj)とすれば、x,y,z軸回り
のカメラの回転角α,β,は α=sin-1(−a′12tan/a′32) β=tan-1(a′31/a′33) =tan-1(−a′32sinβ/a′31) により求めることとなる。
B″3 2)+(i0+εi)2+2(i0+εi)(B″1a′21
+B″2a′22+B″3a′23)▲A2 2▼ ……(24) 同様に (L+δ2)/η2 j=▲A2 2▼(D″1 2+D″2 2+
D″3 2)+(j0+εj)2+2(j0+εj)(D″1a′21
+D″2a′22+D″3a′23)▲A2 2▼ ………(25) 次に第(9)式から a′1={−B″lηi−ηi(i0+εi)a′2l}/
(L+δ)、(l=1,2,3) であるから a′1={−B″l−(i0+εi)a′2l}/{(L+
δ)/ηi} ………(26) 同様に、 a′3l={−D″l−(j0+εj)a′2l}/{(L+
δ)/ηj} ………(27) ここで、上記で求める変換マトリクスM(akl)は直交
していることが保証されている。みかけの光軸長を第
(24)式または第(25)式により求まるL+δとし、ま
た、みかけの光軸点を第(21)式,第(22)式により算
出される(i0+εi,j0+εj)とすれば、x,y,z軸回り
のカメラの回転角α,β,は α=sin-1(−a′12tan/a′32) β=tan-1(a′31/a′33) =tan-1(−a′32sinβ/a′31) により求めることとなる。
カメラとマークの傾きがなく、マークの構成あるいは照
明条件が最良に調整されている場合で、かつマークの奥
行き方向分布が広い範囲にわたつている場合には、誤差
パラメータが無視できる程小さい値となる可能性が高
い。このときには、求まつたi0+εi,j0+εj,L+δの
値をそれぞれ内部パラメータio,jo,Lとして使用でき
る。しかし、通常はカメラとマークとの位置関係や照明
条件が変動する。さらに、マークの中心座標の読取り誤
差も実際の計測では生じる。このため、算出されるみか
けの光軸点(i0+εi,j0+εj),みかけの光軸長(L
+δ)は真の値、(i0,j0),Lと差が生じ、このため、
カメラ位置姿勢パラメータの誤差が生じる。実際に、こ
の誤差がしばしば著しく大きくなることがある。高精度
なカメラ位置姿勢パラメータ校正を行うには、みかけの
光軸点,みかけの光軸長が真の値に一致すること、すな
わち誤差パラメータεi,εj,δを0とする第2ステツ
プが必要である。
明条件が最良に調整されている場合で、かつマークの奥
行き方向分布が広い範囲にわたつている場合には、誤差
パラメータが無視できる程小さい値となる可能性が高
い。このときには、求まつたi0+εi,j0+εj,L+δの
値をそれぞれ内部パラメータio,jo,Lとして使用でき
る。しかし、通常はカメラとマークとの位置関係や照明
条件が変動する。さらに、マークの中心座標の読取り誤
差も実際の計測では生じる。このため、算出されるみか
けの光軸点(i0+εi,j0+εj),みかけの光軸長(L
+δ)は真の値、(i0,j0),Lと差が生じ、このため、
カメラ位置姿勢パラメータの誤差が生じる。実際に、こ
の誤差がしばしば著しく大きくなることがある。高精度
なカメラ位置姿勢パラメータ校正を行うには、みかけの
光軸点,みかけの光軸長が真の値に一致すること、すな
わち誤差パラメータεi,εj,δを0とする第2ステツ
プが必要である。
(第2ステツプ) 一般には、上記方法によつてはみかけの光軸点から
εi,εjを分離することはできないが、通常のレンズ特
性の計測手段によつて別途光軸点(i0,j0)を求めるこ
とができる。また、光軸長Lについては基準マーク配列
面がカメラの光軸にほぼ直角におかれ、かつ基準マーク
数が多いときには、この発明による前記第1ステツプの
パラメータ校正により精度よく得られる。これにより、
レンズくり出し位置とLとの関係を予め校正しておく。
このように、カメラ固有のパラメータである(i0,j0)
とLを予め求めておくことにより、εi,εj,δの値を
分離することができる。次は、εi,εj,δ=0とな
り、かつ変換マトリクスが直交するようにパラメータ補
正を行う。
εi,εjを分離することはできないが、通常のレンズ特
性の計測手段によつて別途光軸点(i0,j0)を求めるこ
とができる。また、光軸長Lについては基準マーク配列
面がカメラの光軸にほぼ直角におかれ、かつ基準マーク
数が多いときには、この発明による前記第1ステツプの
パラメータ校正により精度よく得られる。これにより、
レンズくり出し位置とLとの関係を予め校正しておく。
このように、カメラ固有のパラメータである(i0,j0)
とLを予め求めておくことにより、εi,εj,δの値を
分離することができる。次は、εi,εj,δ=0とな
り、かつ変換マトリクスが直交するようにパラメータ補
正を行う。
まず、画像面と物体座標系の水平面(x−y面)の交線
と、画像面のi軸とのなす角度θMを求める。
と、画像面のi軸とのなす角度θMを求める。
θMとして次式が導出できる。
θM=cos-1(b1,a′11+b2a′12) ただし、 上記の交線と、(i0,j0),(i0+εi,j0+εj)を結
ぶ直線とのなす角度θは、第(29)式のθMを含む次式
で与えられる。
ぶ直線とのなす角度θは、第(29)式のθMを含む次式
で与えられる。
ただし、▲l2 0▼=ε2 i+ε2 j カメラ方位補正量は、θを用いて で与えられる。
またc1,c2,c3はδを用いて で与えられる。
次に、第(31)式により補正した方位を使つて、a21,a
22,a23を求める。この値と、第(32)式により補正し
たc1,c2,c3を使つて、次式によりa′21,a′22,a′23
を求める。
22,a23を求める。この値と、第(32)式により補正し
たc1,c2,c3を使つて、次式によりa′21,a′22,a′23
を求める。
a′21=a21/A2,a′22=a22/A2,a′23=a23/A2…(3
3) ただし、A2=a21c1+a22c2+a23c3 …………(34) ここまでが予備補正である。
3) ただし、A2=a21c1+a22c2+a23c3 …………(34) ここまでが予備補正である。
さて、a′21,a′22,a′23を既知数とすると、第(8)
式は未知係数が左辺にのみ含まれる次式に書き直すこと
ができる。
式は未知係数が左辺にのみ含まれる次式に書き直すこと
ができる。
B″1x+B″2y+B″3z−B″1c1−B″2c2−B″3
c3=i−a′21ix−a′22iy−a′23iz ……(35) 同様に第(10)式の代わりに次式が得られる。
c3=i−a′21ix−a′22iy−a′23iz ……(35) 同様に第(10)式の代わりに次式が得られる。
D″1x+D″2y+D″3z−D″1c1−D″2c2−D″3
c3=j−a′21jx−a′22jy−a′23jz ……(36) 物体座標系での複数(n個)の基準マーク座標を (x1,y1,z1),……,(xn,yn,zn) とし、それらに対応する像を (i1,j1),……,(in,jn) とすると、第(35)式,第(36)式を用いて次の関係式
が得られる。
c3=j−a′21jx−a′22jy−a′23jz ……(36) 物体座標系での複数(n個)の基準マーク座標を (x1,y1,z1),……,(xn,yn,zn) とし、それらに対応する像を (i1,j1),……,(in,jn) とすると、第(35)式,第(36)式を用いて次の関係式
が得られる。
P・Q=W ……………………………(37) ただし、 である。第(18)式を導出したときと同様にして、Pは
次式 P=V・QT(Q・QT)-1 …………………(41) により求められ、Pから B″1,B″2,B″3,D″1,D″2,D″3,u′1,u′2 が求められる。これを用い、第(26),(27),(28)
式から補正後の角度α,β,が求まる。得られた変換
マトリクスは直交性が保証されている。これらの値を使
つて第(20)式によりc1,c2,c3を、また第(21),
(22),(24),(25)式からεi,εj,δを求める。
次式 P=V・QT(Q・QT)-1 …………………(41) により求められ、Pから B″1,B″2,B″3,D″1,D″2,D″3,u′1,u′2 が求められる。これを用い、第(26),(27),(28)
式から補正後の角度α,β,が求まる。得られた変換
マトリクスは直交性が保証されている。これらの値を使
つて第(20)式によりc1,c2,c3を、また第(21),
(22),(24),(25)式からεi,εj,δを求める。
ここまでの処理で、通常の基準マーク条件の場合にはε
i,εj,δは十分小さくなる。しかし、基準マークが少
なく、かつ画像上1カ所にかたまつている等基準マーク
の条件が悪いときなどには、εi,εj,δが無視できな
い程度となることがある。その場合には、第(29)式か
ら第(41)式の処理を再実行する。このようにして、カ
メラ位置・姿勢のパラメータを高精度に知ることができ
る。
i,εj,δは十分小さくなる。しかし、基準マークが少
なく、かつ画像上1カ所にかたまつている等基準マーク
の条件が悪いときなどには、εi,εj,δが無視できな
い程度となることがある。その場合には、第(29)式か
ら第(41)式の処理を再実行する。このようにして、カ
メラ位置・姿勢のパラメータを高精度に知ることができ
る。
第7図は処理の流れ図を示したものである。なお、(2
1)〜(34)は各ステツプを示す。
1)〜(34)は各ステツプを示す。
ステツプ(21)で基準マークの座標を入力した後、ステ
ツプ(22)において、第(15),(16)式により、N,W
をセツトし、ステツプ(23)において、第(18)式によ
りG、すなわち a′21,a′22,a′23,B″1,B″2,B″3,D″1,D″2,D″3,
u′1,u′2 を求め、ステツプ(24)において、第(20)式〜第(2
5)式により c1,c2,c3,εi,εj,δ1,δj を求める。次にステツプ(25)において、第(26)式,
第(27)式により a′11,a′12,a′13,a′31,a′32,a′33 を求め、ステツプ(26)により、方位角α,β,を求
める。ステツプ(27)からは補正ルーチンである。
εi,εj,δが無視できないときはステツプ(28)に進
む。ステツプ(28)では、第(31)式,第(32)式によ
り、方位角の補正とc1,c2,c3の補正を行つた後、ステ
ツプ(29)で、第(33)式,第(34)式によりa′21,
a′22,a′23を求め、ステツプ(30)において、第(3
9)式,第(40)式により、Q,Vをセツトし、ステツプ
(31)において第(37)式にP、すなわち B″1,B″2,B″3,D″1,D″2,D″3,u′1,u′2 を算出する。ステツプ(32)では、第(20),(21),
(22),(24),(25)式により εi,εj,δ を求め、ステツプ(27)に戻る。ステツプ(27)でYES
の場合、すなわち εi,εj,δ が無視できる程小さい場合には、確認ルーチンのステツ
プ(23)に移る。ステツプ(23)ではカメラ方位角α,
β,とカメラ位置c1,c2,c3を用いて基準マーク像を
算出し、ステツプ(34)で、マーク実画像の座標と、算
出したマーク像座標とのずれを算出する。
ツプ(22)において、第(15),(16)式により、N,W
をセツトし、ステツプ(23)において、第(18)式によ
りG、すなわち a′21,a′22,a′23,B″1,B″2,B″3,D″1,D″2,D″3,
u′1,u′2 を求め、ステツプ(24)において、第(20)式〜第(2
5)式により c1,c2,c3,εi,εj,δ1,δj を求める。次にステツプ(25)において、第(26)式,
第(27)式により a′11,a′12,a′13,a′31,a′32,a′33 を求め、ステツプ(26)により、方位角α,β,を求
める。ステツプ(27)からは補正ルーチンである。
εi,εj,δが無視できないときはステツプ(28)に進
む。ステツプ(28)では、第(31)式,第(32)式によ
り、方位角の補正とc1,c2,c3の補正を行つた後、ステ
ツプ(29)で、第(33)式,第(34)式によりa′21,
a′22,a′23を求め、ステツプ(30)において、第(3
9)式,第(40)式により、Q,Vをセツトし、ステツプ
(31)において第(37)式にP、すなわち B″1,B″2,B″3,D″1,D″2,D″3,u′1,u′2 を算出する。ステツプ(32)では、第(20),(21),
(22),(24),(25)式により εi,εj,δ を求め、ステツプ(27)に戻る。ステツプ(27)でYES
の場合、すなわち εi,εj,δ が無視できる程小さい場合には、確認ルーチンのステツ
プ(23)に移る。ステツプ(23)ではカメラ方位角α,
β,とカメラ位置c1,c2,c3を用いて基準マーク像を
算出し、ステツプ(34)で、マーク実画像の座標と、算
出したマーク像座標とのずれを算出する。
次に、この発明による移動台車の位置姿勢の計測精度と
処理時間を説明する。
処理時間を説明する。
カメラにはCCDカメラを用い、レンズの焦点距離55mmと
した。カメラの光軸がマーク板の法線と0.4ラジアンの
角度を有し、またカメラとマーク板とが900mm離れてい
るような位置を移動台車が通過したとき、計測される移
動台車の位置の誤差は0.99mm(〜0.1%),方位誤差は
最大0.001ラジアンであつた。マーク画像入力から移動
台車の位置・姿勢パラメータが出力されるまでの全所要
時間は、市販の汎用画像処理装置とミニコンピユータを
用いて約6秒であつた。
した。カメラの光軸がマーク板の法線と0.4ラジアンの
角度を有し、またカメラとマーク板とが900mm離れてい
るような位置を移動台車が通過したとき、計測される移
動台車の位置の誤差は0.99mm(〜0.1%),方位誤差は
最大0.001ラジアンであつた。マーク画像入力から移動
台車の位置・姿勢パラメータが出力されるまでの全所要
時間は、市販の汎用画像処理装置とミニコンピユータを
用いて約6秒であつた。
〔実施例2〕 第8図は第2の実施例を示したものである。この図で、
8は前記移動台車1上の無線送受信器、9はアンテナで
あり、10は固定された無線送受信器、11は前記無線送受
信器10に接続されたアンテナである。
8は前記移動台車1上の無線送受信器、9はアンテナで
あり、10は固定された無線送受信器、11は前記無線送受
信器10に接続されたアンテナである。
テレビカメラ2でマーク板5を観測し、画像処理装置3
でマーク画像からマークの位置を識別し、データ処理装
置4でマーク番号の識別およびカメラ位置・姿勢を算出
し、台車の位置・方位に換算する。さらに、台車の方向
修正量を算出する。算出された修正量は、無線送受信器
10およびアンテナ11で移動台車1に伝送される。アンテ
ナ9で無線信号を検知し、無線送受信器8で、送られた
データをデジタルな電気信号に変換し、車輪制御装置6
で車輪7の方向修正をする。なお、マーク板5の構成お
よびマーク板5の識別,カメラ位置・姿勢を算出する処
理は、実施例1と同じである。なおまた、前後左右から
常に少なくとも1つのマーク板5が見えるように、複数
のマーク板を塔載することができる。
でマーク画像からマークの位置を識別し、データ処理装
置4でマーク番号の識別およびカメラ位置・姿勢を算出
し、台車の位置・方位に換算する。さらに、台車の方向
修正量を算出する。算出された修正量は、無線送受信器
10およびアンテナ11で移動台車1に伝送される。アンテ
ナ9で無線信号を検知し、無線送受信器8で、送られた
データをデジタルな電気信号に変換し、車輪制御装置6
で車輪7の方向修正をする。なお、マーク板5の構成お
よびマーク板5の識別,カメラ位置・姿勢を算出する処
理は、実施例1と同じである。なおまた、前後左右から
常に少なくとも1つのマーク板5が見えるように、複数
のマーク板を塔載することができる。
〔実施例3〕 第9図は第3の実施例を示したものである。この図で、
12は室内の壁、13は他の壁で、室内の壁12とは方向が異
なる。51〜54はマーク板であり、各マーク板51〜54には
マーク板番号に対応する特別なマークが付けられてい
る。1は移動台車であり、テレビカメラと広帯域無線送
信器が積まれている。14は前記移動台車1からの無線伝
送された画像を受信し、移動台車1の位置進行方向を決
定する画像データ処理装置である。点A,B,C,Dは予定通
過地点であり、点a,b,c,dは実際に通過した地点、15は
前記移動台車1の軌跡である。床の凹凸が大きいため進
行方向が一定にならないため、複数地点においたマーク
板をテレビカメラで観測し移動台車1の位置姿勢を計測
し、進行方向が修正される。なお、マーク板の構成、カ
メラ位置姿勢パラメータを求める処理手順は、実施例1
で説明したとおりである。
12は室内の壁、13は他の壁で、室内の壁12とは方向が異
なる。51〜54はマーク板であり、各マーク板51〜54には
マーク板番号に対応する特別なマークが付けられてい
る。1は移動台車であり、テレビカメラと広帯域無線送
信器が積まれている。14は前記移動台車1からの無線伝
送された画像を受信し、移動台車1の位置進行方向を決
定する画像データ処理装置である。点A,B,C,Dは予定通
過地点であり、点a,b,c,dは実際に通過した地点、15は
前記移動台車1の軌跡である。床の凹凸が大きいため進
行方向が一定にならないため、複数地点においたマーク
板をテレビカメラで観測し移動台車1の位置姿勢を計測
し、進行方向が修正される。なお、マーク板の構成、カ
メラ位置姿勢パラメータを求める処理手順は、実施例1
で説明したとおりである。
〔実施例4〕 第10図は、第4の実施例を説明する図である。30はボー
ト競技場の水面、31はテレビカメラと広帯域無線送受信
器を積んだボートである。51,52はマーク板である。テ
レビカメラは、マーク板51,52を視野に入れるため、回
転できるようになつており、回転角は画像と共に画像デ
ータ処理装置14に送信される。画像データ処理装置14は
ボート31の軌跡,速度を算出し、記録すると共に無線伝
送によりボート31に位置姿勢を知らせる。
ト競技場の水面、31はテレビカメラと広帯域無線送受信
器を積んだボートである。51,52はマーク板である。テ
レビカメラは、マーク板51,52を視野に入れるため、回
転できるようになつており、回転角は画像と共に画像デ
ータ処理装置14に送信される。画像データ処理装置14は
ボート31の軌跡,速度を算出し、記録すると共に無線伝
送によりボート31に位置姿勢を知らせる。
このように、水上のように従来は、軌跡,速度の計測が
困難なところにもこの発明を利用できる。
困難なところにもこの発明を利用できる。
この発明は以上説明したように、複数のマークが配置さ
れたマーク板を静止体上に配置し、移動体に積載したカ
メラでこれらのマークを観測するか、または静止体上に
カメラを配置し、移動体に付けられたマークを観測する
ことによつてカメラとマークとの相対的な位置方位を求
め、移動体の位置姿勢を計測する方法であるから、次の
利点がある。
れたマーク板を静止体上に配置し、移動体に積載したカ
メラでこれらのマークを観測するか、または静止体上に
カメラを配置し、移動体に付けられたマークを観測する
ことによつてカメラとマークとの相対的な位置方位を求
め、移動体の位置姿勢を計測する方法であるから、次の
利点がある。
(1)移動体の位置姿勢を短時間に精度よく計測でき
る。このため、移動体の進行方向の誘導を正確に行うこ
とができる。
る。このため、移動体の進行方向の誘導を正確に行うこ
とができる。
(2)マークを移動体の極く近くに置く必要がない。し
たがつて、天井や側壁あるいは立て札につけることがで
きる。このため、環境に応じて任意にマークを配置でき
る。
たがつて、天井や側壁あるいは立て札につけることがで
きる。このため、環境に応じて任意にマークを配置でき
る。
(3)移動体は必ずしも床面上になくてもよい。例え
ば、水上,空中であつてもよい。
ば、水上,空中であつてもよい。
第1図はこの発明の第1の実施例を説明するための図、
第2図はこの発明に用いるマーク板の正面図、第3図は
同じく斜視図、第4図はマーク板のマーク番号の配置例
を示す図、第5図はマーク識別およびマーク番号識別の
処理手順を示す流れ図、第6図はカメラ座標系と物体座
標系のとり方を示す図、第7図はカメラ位置姿勢パラメ
ータを算出する処理の流れ図、第8図はこの発明の第2
の実施例を説明するための図、第9図は同じく第3の実
施例を説明するための図、第10図は同じく第4の実施例
を説明するための図である。 図中、1は移動台車、2はテレビカメラ、3は画像処理
装置、4はデータ処理装置、5はマーク板、6は車輪制
御装置、7は車輪である。
第2図はこの発明に用いるマーク板の正面図、第3図は
同じく斜視図、第4図はマーク板のマーク番号の配置例
を示す図、第5図はマーク識別およびマーク番号識別の
処理手順を示す流れ図、第6図はカメラ座標系と物体座
標系のとり方を示す図、第7図はカメラ位置姿勢パラメ
ータを算出する処理の流れ図、第8図はこの発明の第2
の実施例を説明するための図、第9図は同じく第3の実
施例を説明するための図、第10図は同じく第4の実施例
を説明するための図である。 図中、1は移動台車、2はテレビカメラ、3は画像処理
装置、4はデータ処理装置、5はマーク板、6は車輪制
御装置、7は車輪である。
Claims (1)
- 【請求項1】静止体上または移動体上に固定され、かつ
3次元分布した複数のマークを既知の位置に配置し、こ
れらのマークを前記移動体上または静止体上に備えたカ
メラによって観測し、前記カメラの内部パラメータの算
出誤差を表わす誤差パラメータを小さくしてカメラ位置
姿勢パラメータを算出することにより前記移動体の位置
姿勢を計測することを特徴とする移動体位置姿勢計測方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60118754A JPH0680403B2 (ja) | 1985-06-03 | 1985-06-03 | 移動体位置姿勢計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60118754A JPH0680403B2 (ja) | 1985-06-03 | 1985-06-03 | 移動体位置姿勢計測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS61277010A JPS61277010A (ja) | 1986-12-08 |
| JPH0680403B2 true JPH0680403B2 (ja) | 1994-10-12 |
Family
ID=14744226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP60118754A Expired - Fee Related JPH0680403B2 (ja) | 1985-06-03 | 1985-06-03 | 移動体位置姿勢計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0680403B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7423666B2 (en) | 2001-05-25 | 2008-09-09 | Minolta Co., Ltd. | Image pickup system employing a three-dimensional reference object |
| JP2008209189A (ja) * | 2007-02-26 | 2008-09-11 | Hitachi Ltd | 水中移動装置の位置測定システム |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04241605A (ja) * | 1991-01-14 | 1992-08-28 | Daifuku Co Ltd | 移動車のずれ量検出装置 |
| JPH05240643A (ja) * | 1992-02-28 | 1993-09-17 | Kajima Corp | 地下構造物の位置測量方法及び装置 |
| US6323776B1 (en) * | 1999-12-21 | 2001-11-27 | Snap-On Technologies, Inc. | Method and apparatus of automatically identifying faults in a machine vision measuring system |
| DE10122664A1 (de) * | 2001-05-10 | 2002-11-14 | Ibeo Automobile Sensor Gmbh | Kalibrierverfahren |
| JP4665350B2 (ja) * | 2001-07-06 | 2011-04-06 | コニカミノルタホールディングス株式会社 | 測定装置 |
| JP2003050107A (ja) * | 2001-08-07 | 2003-02-21 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
| EP2153168B1 (en) | 2007-05-21 | 2017-05-10 | Snap-on Incorporated | Method and apparatus for wheel alignment |
| US7953247B2 (en) | 2007-05-21 | 2011-05-31 | Snap-On Incorporated | Method and apparatus for wheel alignment |
| TWI384407B (zh) * | 2008-02-29 | 2013-02-01 | Ind Tech Res Inst | 利用盲文編碼圖案之區域識別系統 |
| JP5147015B2 (ja) * | 2008-10-24 | 2013-02-20 | 清水建設株式会社 | 移動体位置検出システム |
| CN112449176B (zh) * | 2019-09-03 | 2023-05-26 | 浙江舜宇智能光学技术有限公司 | 升降式摄像装置的测试方法及其测试系统 |
-
1985
- 1985-06-03 JP JP60118754A patent/JPH0680403B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7423666B2 (en) | 2001-05-25 | 2008-09-09 | Minolta Co., Ltd. | Image pickup system employing a three-dimensional reference object |
| JP2008209189A (ja) * | 2007-02-26 | 2008-09-11 | Hitachi Ltd | 水中移動装置の位置測定システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS61277010A (ja) | 1986-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6310644B1 (en) | Camera theodolite system | |
| US6389158B1 (en) | System and method for determining spatial coordinates | |
| CN110319792B (zh) | 一种轨道直线度检测系统及方法 | |
| US6460004B2 (en) | Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system | |
| CN107883870B (zh) | 基于双目视觉系统和激光跟踪仪测量系统的全局标定方法 | |
| US6826299B2 (en) | Photogrammetric image correlation and measurement system and method | |
| US5784282A (en) | Method and apparatus for identifying the position in three dimensions of a movable object such as a sensor or a tool carried by a robot | |
| US7369222B2 (en) | Wheel aligner measurement module attachment system | |
| CN111366902B (zh) | 卫星热变形试验相对指向变化测量系统及方法 | |
| CN111044990B (zh) | 机载激光雷达光束指向标定方法、系统及激光光斑探测器 | |
| JPH0680403B2 (ja) | 移動体位置姿勢計測方法 | |
| CN108444449A (zh) | 一种对具有平行线特征的目标空间姿态测量方法 | |
| CN106556826B (zh) | 变电站巡检机器人定位导航用二维激光雷达标定装置及方法 | |
| CN105486289A (zh) | 一种激光摄影测量系统及相机标定方法 | |
| CN205333067U (zh) | 一种激光摄影测量系统 | |
| WO2017034087A1 (ko) | 롤 자세정보검출장치 및 그 측정방법 | |
| US4937766A (en) | Acquiring dimensions of a large object | |
| CN111561867A (zh) | 一种飞机表面形貌数字化测量方法 | |
| CN115861444B (zh) | 一种基于立体靶标的视觉传感器外参标定方法 | |
| CN112649095B (zh) | 基于仿射变换及光学/红外双镜头的大范围精准测温系统 | |
| CN114663486A (zh) | 一种基于双目视觉的建筑物测高方法及系统 | |
| CN108286960B (zh) | 聚焦式光管阵列装置以及摄影检测方法 | |
| CN116862995A (zh) | 一种用于大间距、无公共视场的相机外参标定装置及方法 | |
| JPH09329425A (ja) | 構造部材の計測方法および基準定規 | |
| JPH1047940A (ja) | 測定プレート、ホイールアラインメント測定装置及びホイールアラインメント測定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |