JPH08110807A

JPH08110807A - 自動キャリブレーション方法およびその装置

Info

Publication number: JPH08110807A
Application number: JP7251971A
Authority: JP
Inventors: Atsushi Kuno; 敦司久野; Masachika Watanabe; 正誓渡邊
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1995-09-04
Filing date: 1995-09-04
Publication date: 1996-04-30

Abstract

(57)【要約】【課題】スリット光の幾何学的モデルを自動的に生成
する。【解決手段】高さの異なる二段階の平坦面を有し、各
平坦面に複数個のマークが設けられたキャリブレーショ
ン用ワーク２３に対し、投光装置２２よりスリット光を
照射して各平坦面にスリット光の交わり線を生成し、こ
の交わり線を撮像装置２１により撮像する。ＣＰＵ１２
は、画像記憶部１５に格納された２次元画像に対し、ま
ず各マークの画像の２次元座標を検出し、この座標と各
マークの既知の３次元座標とを用いた演算を行ってカメ
ラモデルを算出する。ついで再度、スリット光の照射と
撮像処理とが行われると、ＣＰＵ１２はその２次元画像
よりスリット像の像点の座標を検出し、この座標と前記
カメラモデルから算出される像点の３次元座標とを用い
た演算を行い、スリット光の幾何学的モデルを求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば産業用ロボッ
トにおける視覚認識技術に関連し、殊にこの発明は、観
測対象物にスリット光を投射してその表面に形成された
スリット光の交わり線を観測する視覚認識装置におい
て、スリット光の幾何学的モデルのキャリブレーション
を自動的に行うための自動キャリブレーション方法およ
びその装置に関する。

【０００２】

【従来の技術】従来、物体の形状等を認識するのに種々
の方式があり、その一方式として、先般、板状のスリッ
ト光を用いた３次元物体認識方式が提案されている。こ
の方式は、投光装置により板状のスリット光を観測対象
物に照射してその表面にスリット光の交わり線を生成
し、その交わり線を撮像装置により撮像してスリット像
を得た後、そのスリット像を画像処理して、対象物の認
識処理を行うものである。この種の方式の場合、認識処
理に先立ち、前記撮像装置や投光装置のキャリブレーシ
ョンを実行して、カメラモデルやスリット光モデルを予
め求めておく必要がある。

【０００３】従来、スリット光の幾何学モデルのキャリ
ブレーションは、所定のキャリブレーション用ワークを
観測位置に設置してスリット光を照射し、その表面に生
成されたスリット光の交わり線を撮像して得られた２次
元画像上からスリット像を検出した後、その検出結果，
スリット光の照射条件，撮像装置やキャリブレーション
用ワークの設置位置などの設定条件，補正係数などをコ
ンピュータに与えてキャリブレーション演算を実行させ
ることにより、行われている。

【０００４】

【発明が解決しようとする課題】ところがこのようなキ
ャリブレーション方式の場合、投光装置や撮像装置の調
整を多岐にわたって行いながら各調整条件の下での演算
処理を行う必要があるため、キャリブレーションを行う
のに多大の時間がかかるという問題がある。またこの調
整は画素単位で行われるため調整作業が難しい上、種々
の補正係数を用意する必要があるという問題も存在す
る。

【０００５】この発明は、上記問題に着目してなされた
もので、撮像装置のカメラモデルと２次元画像上のスリ
ット光の交わり線の位置とを用いた演算を行うことによ
り、スリット光の幾何学的モデルを自動的に生成して、
キャリブレーション作業を容易かつ短時間で行うことが
できる自動キャリブレーション方法およびその装置を提
供することを目的とする。

【０００６】

【課題を解決するための手段】第１の発明は、観測対象
物にスリット光を照射してこの観測対象物の表面に生成
されたスリット光の交わり線を観測する視覚認識装置に
おいて、スリット光の幾何学的モデルのキャリブレーシ
ョンを自動的に行うための方法であって、同一平面上の
面とはみなせないキャリブレーション用の面をその表面
に有するキャリブレーション用ワークに投光手段よりス
リット光を照射してその表面に生成されたスリット光の
交わり線を撮像手段により撮像し、得られた２次元画像
上で前記キャリブレーション用の面における交わり線の
位置を検出する第１の工程と、前記２次元画像上で検出
された交わり線の画像位置とあらかじめ求められた前記
撮像手段のカメラモデルとを用いた所定の演算を行っ
て、スリット光の幾何学的モデルを生成する第２の工程
とを一連に実施することを特徴としている。

【０００７】第２の発明は、上記の方法を実施するため
の自動キャリブレーション装置であって、前記キャリブ
レーション用ワークにスリット光を照射してその表面に
スリット光の交わり線を生成する投光手段と、前記キャ
リブレーション用ワークおよび前記スリット光の交わり
線を撮像してそれぞれの２次元画像を生成する２次元撮
像手段と、前記２次元撮像手段により撮像された前記２
次元画像が格納される画像記憶手段と、前記２次元撮像
手段のカメラモデルを記憶するカメラモデル記憶手段
と、前記画像記憶手段に格納された２次元画像上で前記
キャリブレーション用の面における交わり線の位置を検
出する交わり線位置検出手段と、前記カメラモデル記憶
手段に記憶されたカメラモデルと前記交わり線位置検出
手段により検出された交わり線の画像位置とから所定の
演算によりスリット光の幾何学的モデルを生成する演算
手段とを備えている。

【０００８】

【作用】同一平面上の面とはみなせないキャリブレーシ
ョン用の面をその表面に有するキャリブレーション用ワ
ークにスリット光を照射して、その表面に生成されたス
リット光の交わり線を撮像し、この２次元画像において
キャリブレーション用の面における交わり線の位置を検
出する。ついで、あらかじめ求められた撮像手段のカメ
ラモデルと交わり線について検出された画像位置とを用
いた演算が実行され、スリット光の幾何学的モデルが自
動的に生成される。

【０００９】

【実施例】図１はこの発明にかかる自動キャリブレーシ
ョン装置２の概念を示しており、この自動キャリブレー
ション装置２がインターフェイス３を介して物体認識装
置１に電気接続されている。物体認識装置１は物体の形
状等を認識するためのものであって、撮像装置４と、ビ
デオ信号を取り込み所定の画像処理を実行して物体認識
する画像処理装置５とから構成されている。

【００１０】自動キャリブレーション装置２は、コンピ
ュータのＣＰＵ６を制御主体としており、撮像装置４の
キャリブレーションを実行するためのプログラムを格納
するＲＯＭ７や各種データを格納する演算用ＲＡＭ８を
備えている。ＣＰＵ６はキャリブレーション用プログラ
ムを解読実行し、撮像装置４よりキャリブレーション用
ワーク９の画像データを取り込んで、所定のキャリブレ
ーション演算を実行する。その結果、カメラモデル（詳
細は後述する）が生成され、そのカメラモデルを構成す
る座標変換係数が物体認識装置１へ出力される。

【００１１】図２および図３は、上記自動キャリブレー
ション装置が組み込まれた物体認識装置を示しており、
図２は２次元物体認識装置の例であり、また図３は板状
のスリット光を用いた３次元物体認識装置の例である。

【００１２】図２の装置例は、コンピュータのＣＰＵ１
２を制御主体とし、このＣＰＵ１２に対し、画像処理用
プログラムやキャリブレーション用プログラムが格納さ
れるＲＯＭ１３，被認識物体の画像やキャリブレーショ
ン用ワーク９の画像が格納される画像記憶部１５，カメ
ラモデルを構成する座標変換係数が格納される係数記憶
部１６，演算用に供されるＲＡＭ１７の他、ＣＲＴより
成る表示部１８やキーボードより成る操作部１９が、そ
れぞれ接続されている。前記画像記憶部１５は画像メモ
リより成り、インターフェイス２０を介して撮像装置２
１に接続される。この撮像装置２１は例えば２次元ＣＣ
Ｄテレビカメラより成り、被認識物体やキャリブレーシ
ョン用ワーク９を撮像してそのビデオ信号を出力する。

【００１３】前記キャリブレーション用ワーク９は、図
４および図５に示す如く、平面形状が正方形の薄板状を
なし、一定高さ（厚み）ｈの平坦面１０上に複数個のマ
ーク１１が設けてある。これら各マーク１１は同一径の
円形であり、このキャリブレーション用ワーク９を撮像
して２値化したとき、その背景である平坦面１０や床面
などと明確に区別できるように円形内を黒く塗り潰して
ある。またマーク１１の総数は１０個であり、図５に示
す如く、各マーク１１に対し「０」〜「９」のラベルが
割り当ててある。各マーク１１は所定の規則に従って配
置してあり、ラベルが０，５，６，７，８，９の各マー
ク１１は直交する対角線上にほぼ位置し、その他のラベ
ルの各マーク１１はその線外に位置している。なお図示
例の各マーク１１は同一形状であるが、後記するラベル
付けのために個々の形状を違えてもよい。

【００１４】図３の装置例は、上記図２の装置例とは、
キャリブレーション用ワーク２３の態様が異なる点およ
び投光装置２２を具備している点で差異がある。なおそ
の他の構成は、図２の実施例と同様であり、ここでは対
応する構成に同一の符号を付することにより、その説明
を省略する。

【００１５】この実施例でのキャリブレーション用ワー
ク２３は、図６および図７に示す如く、高さ（厚み）
h₁，h₂の異なる二段階の平坦面２４，２５を有し、各平
坦面２４，２５上に前記と同様のマーク２６が５個宛
（合計１０個）設けられたものである。各マーク１１に
は図７に示す如く、「０」〜「９」のラベルが割り当て
られ、前記の実施例と同様の規則に基づき各マーク１１
の配置が決定されている。

【００１６】前記投光装置２２は、被認識物体やキャリ
ブレーション用ワーク２３に対し板状のスリット光を斜
め上方より照射して、その表面にスリット光の交わり線
２７を生成するためのもので、この交わり線２７を撮像
装置２１で撮像して、被処理画像としてのスリット像を
得る。

【００１７】図８および図９は、前記撮像装置２１のカ
メラモデルの構造を示している。同図中、Ｏ_Cは撮像装
置２１の撮像面３１の中心点を示し、この中心点Ｏ_Cを
原点としてＸ_C軸，Ｙ_C軸，Ｚ_C軸を各直交軸とするカ
メラ座標系が設定されている。Ｒは撮像装置２１のレン
ズ中心であり、結像距離lembはＯ_CＲ間の距離で与えら
れる。また図８中、Ｓ₀は画像処理時のサンプリングの
原点、PC_X, PC_YはＸ_C軸方向およびＹ_C軸方向の各サ
ンプリングピッチである。なお図８中のＩＪ座標系はこ
の撮像面３１に当てはめられた画像メモリ座標系であ
り、また図９中のｘｙｚ座標系は物点に空間座標を与え
る基準座標系である。

【００１８】ここでカメラモデルとは、撮像装置の３次
元位置および姿勢、レンズの結像距離、ビデオ信号のデ
ィジタル化仕様を表現するモデルであって、前二者を外
部モデル、後者を内部モデルという。撮像装置の位置お
よび姿勢は前記カメラ座標系を基準座標系から表現した
ものであり、この撮像装置の位置・姿勢およびレンズの
結像距離は撮像装置の移動やピント調整により変化す
る。

【００１９】撮像装置の基準座標系より見た位置・姿勢
を〔FRAME 〕とすると、この〔FRAME 〕はつぎの(1) 式
のように４行４列の行列として表現できる。

【００２０】

【数１】

【００２１】ここでｆ₁₁，ｆ₂₁，ｆ₃₁を成分とするベク
トルはカメラ座標系のＸ_C方向の単位ベクトルであり、
ｆ₁₁，ｆ₂₁，ｆ₃₁はそのベクトルの基準座標系における
ｘｙｚ成分である。またｆ₁₂，ｆ₂₂，ｆ₃₂を成分とする
ベクトル、およびｆ₁₃，ｆ₂₃，ｆ₃₃を成分とするベクト
ルはカメラ座標系のＹ_C方向およびＺ_C方向の単位ベク
トルであり、ｆ₁₂，ｆ₂₂，ｆ₃₂およびｆ₁₃，ｆ₂₃，ｆ₃₃
はそれぞれベクトルの基準座標系におけるｘｙｚ成分で
ある。

【００２２】さらにｆ₁₄，ｆ₂₄，ｆ₃₄を成分とするベク
トルはカメラ座標系の原点Ｏ_Cの位置座標であり、
ｆ₁₄，ｆ₂₄，ｆ₃₄は基準座標系におけるｘｙｚ成分であ
る。以上から、行列〔FRAME 〕の各要素については理想
的につぎの(2) 〜(6) 式が成立する。

【００２３】

【数２】

【００２４】

【数３】

【００２５】

【数４】

【００２６】

【数５】

【００２７】

【数６】

【００２８】ただし(2) 式は単位ベクトルという条件を
表すものであり、(3) 〜(5) 式はカメラ座標系の各軸が
直交することを示すものである。

【００２９】つぎに結像変換を表す行列を〔LENZ〕とす
ると、この〔LENZ〕はつぎの(7) 式で示される。

【００３０】

【数７】

【００３１】さらに撮像装置の内部モデルは、撮像面３
１上で画像がどのようにサンプリングされるかを示すも
のであり、これを〔SAMP〕とすると、つぎの(8) 式のよ
うな３行３列の行列として表現できる。

【００３２】

【数８】

【００３３】なお上式中、 ORG_X， ORG_Yは図８に示す
如く、撮像面３１におけるサンプリング原点Ｓ₀のＸ_C
座標およびＹ_C座標を示す。

【００３４】いま基準座標系およびカメラ座標系で表現
した物点Ｂ_i（図９に示す）の３次元座標を、（ｘ_i，ｙ_i，ｚ_i，１）^t・・・基準座標系（ｅ_i，ｆ_i，ｇ_i，１）^t・・・カメラ座標系とし、またこの物点Ｂ_iについてカメラ座標系および画
像メモリ座標系で表現した像点Ｐ_iの座標を、（ｐ_i，ｑ_i，１）^t・・・カメラ座標系（Ｉ_i，Ｊ_i，１）^t・・・画像メモリ座標系とする。なおこれらの各座標は同次座標表現で表してあ
り、ｔは転置行列を示す。

【００３５】この場合に基準座標系で表現した物点Ｂ_i
の３次元座標が、カメラ座標系で表現した３次元座標に
変換される過程はつぎの(9) 式で表される。

【００３６】

【数９】

【００３７】つぎに結像変換によって物点座標が像点座
標に変換される過程はつぎの(10)式で表される。

【００３８】

【数１０】

【００３９】なお上式中、ｈ_iは座標のひずみ等を表す
変数である。さらにカメラ座標系で表現した像点Ｐ_iの
座標が画像メモリ座標系で表現した座標に変換される過
程はつぎの(11)式で表される。

【００４０】

【数１１】

【００４１】つぎに図１０は、図３の装置例において、
撮像装置２１のキャリブレーションを実行する手順を示
している。このキャリブレーションは、６図，７図に示
すキャリブレーション用ワーク２３を用いて実行される
もので、各マーク画像の中心点を画像上で抽出した上
で、各マーク２６の中心点の３次元座標（既知）と各マ
ーク画像の中心点の画像上の座標とから撮像装置２１の
カメラモデルを生成するものである。

【００４２】まず同図のステップ１（図中「ＳＴ１」で
示す）において、マーク画像を２値化するためのしきい
値THを決定した後、投光装置２２をオフして、キャリブ
レーション用ワーク２３を撮像装置２１で撮像する（ス
テップ２，３）。撮像装置２１はキャリブレーション用
ワーク２３を画像化してそのビデオ信号をインターフェ
イス２０へ出力するもので、ＣＰＵ１２はこのワーク２
３の画像を前記のしきい値THにより２値化し、マーク画
像の部分を黒画素（データ「１」の画素）、背景の部分
を白画素（データ「０」の画素）として、この２値画像
を画像メモリより成る画像記憶部１５に格納する。

【００４３】つぎにＣＰＵ１２はステップ４において、
キャリブレーション用ワークの２値画像よりマーク画像
の中心点を抽出する。図１１はこの中心点抽出方法の一
例を示すもので、キャリブレーション用ワークの画像３
２に対しマーク探索用ウィンドウ３４およびマーク中心
点抽出用ウィンドウ３５が設定されている。マーク探索
用ウィンドウ３４は縦長矩形状であり、長辺の長さがd
j、短辺の長さがdiである。またマーク中心点抽出用ウ
ィンドウ３５は正方形状であり、各辺の長さがｗであ
る。

【００４４】いま各マーク画像３３の半径をｒとする
と、各ウィンドウ３４，３５の各サイズは、この半径ｒ
の関数としてつぎの(12)〜(14)式により求める。

【００４５】

【数１２】

【００４６】

【数１３】

【００４７】

【数１４】

【００４８】ただし半径ｒは黒画素の全面積Ｓとマーク
の個数（＝１０）からつぎの(15)式によって求めるもの
で、これにより照明などの観測条件が変動しても、マー
ク画像位置の抽出の精度が劣化しにくくなる。

【００４９】

【数１５】

【００５０】まずマーク画像３３を探索するのに、マー
ク探索用ウィンドウ３４を矢印方向へ走査し、ウィンド
ウ３４内の黒画素の面積がウィンドウ面積の８０％を占
める位置を求める。そしてその位置でマーク探索用ウィ
ンドウ３４を止め、ウィンドウ内の黒画素の重心Ｇの位
置を求める。この重心位置はマーク画像３３の中心点Ｃ
_Mの近傍である。

【００５１】つぎにこの中心点Ｃ_Mの位置を求めるの
に、マーク中心点抽出用ウィンドウ３５を重心Ｇを中心
にしてセットし、このウィンドウ内の黒画素の中心座標
を中心点Ｃ_Mとして求める。この中心点Ｃ_Mの座標が求
まると、同じマーク画像の重複処理を防止するため、処
理済みマーク画像を消去するとよい。以下同様の処理を
マーク探索用ウィンドウ３４を画像全面にわたり走査し
ながら実行して、全てのマーク画像３３につき中心点Ｃ
_Mを抽出する。

【００５２】図１０に戻って、ステップ４の中心点抽出
が終わると、つぎのステップ５でＣＰＵ１２は各マーク
画像３３の中心点Ｃ_Mの検出座標位置に基づき各マーク
の配置に関する情報を参照して各マーク画像３３をいず
れかマークと対応させてラベル付けする。

【００５３】すなわちＣＰＵ１２は、図１２に示す如
く、まず１０個のマーク画像３３の中心点Ｃ_Mにつきそ
の重心ｇを求め、その重心ｇに最も近い位置にある中心
点Ｃ_M−９のマーク画像３３にラベル「９」を割り付け
る。つぎにこのラベル「９」のマーク画像３３の中心点
Ｃ_M−９から最も遠い位置にある中心点Ｃ_M−０のマー
ク画像３３にラベル「０」を割り付ける。ついでラベル
「９」のマーク画像の中心点Ｃ_M−９よりラベル「０」
のマーク画像の中心点Ｃ_M−０に向かう単位ベクトルを
ｎとし、このベクトルｎに直交する単位ベクトルをｔと
する。そしてラベル「９」の中心点Ｃ_M−９を原点と
し、各単位ベクトルｎ，ｔの方向を軸とする座標系によ
って各マーク画像３３の中心点Ｃ_Mの座標を表現し直
し、第ｉ番目に検出したマーク画像の中心点Ｃ_Mのｎ座
標およびｔ座標を（ｎ_i，ｔ_i）とする。

【００５４】つぎにラベル「９」のマーク画像３３の中
心点Ｃ_M−９とラベル「０」のマーク画像３３の中心点
Ｃ_M−０との距離の1/4 をしきい値ath とし、各マーク
画像３３の中心点Ｃ_Mと前記のしきい値ath とを用い
て、つぎの表１に示す規則に基づき他のマーク画像３３
のラベル付けを行う。なお同表中、「正」はｎ座標やｔ
座標の値がしきい値ath より大であることを、また
「０」はその座標値の絶対値がしきい値ath 以下である
ことを、さらに「負」はその座標値がしきい値ath より
小であることを、それぞれ示している。

【００５５】

【表１】

【００５６】つぎにステップ６において、ＣＰＵ１２は
各マーク２６の中心点の空間座標位置とそれぞれマーク
と対応関係にある各マーク画像３３の中心点の検出座標
位置とから所定の演算を実行して撮像装置２１の外部モ
デルを生成する。

【００５７】いまこの外部モデルを表す行列を〔EXT 〕
とすると、この〔EXT 〕は前記(9)(10)式よりつぎの(1
6)(17)式のように表される。

【００５８】

【数１６】

【００５９】

【数１７】

【００６０】ここで〔FRAME 〕^-1の各要素を、(18)式の
ように表現すると、(7) 式と(18)式とを(16)式に代入し
てつぎの(19)式を得る。

【００６１】

【数１８】

【００６２】

【数１９】

【００６３】ここで(19)式に示す要素をもつ撮像装置２
１の外部モデルを、各マーク画像３３の中心点Ｃ_Mの画
像メモリ座標系における座標と各マーク２６の中心点の
基準座標系における座標とを用いて算出する。

【００６４】いまラベルｉのマーク画像３３の中心点Ｃ
_Mにつき、画像メモリ座標系における座標が（Ｉ_i, Ｊ
_i）であるとし、またこれをカメラ座標系で表現した座
標を（ｐ_i，ｑ_i）とすると、前記(11)式よりつぎの(2
0)式を得る。

【００６５】

【数２０】

【００６６】つぎにラベルｉのマーク２６の中心点の基
準座標系における３次元座標（ｘ_i，ｙ_i，ｚ_i）とす
ると、(20)式を用いて前記(17)式を解くことにより〔EX
T 〕を求めることができる。この場合に前記(19)式を(1
7)式に代入し、ｐ_i，ｑ_iにつき整理すると、つぎの(2
1)(22)式を得る。

【００６７】

【数２１】

【００６８】

【数２２】

【００６９】上記(21)(22)式を変形しかつＣ₃₄＝１と置
くと、つぎの(23)(24)式を得る。

【００７０】

【数２３】

【００７１】

【数２４】

【００７２】ここで行列〔Ｃ〕を(25)式のように置き、
さらに(23)(24)式がＮ個の点(i=1,・・・・, Ｎ）につ
き成立する場合に、行列〔Ａ〕および〔Ｒ〕をつぎの(2
6)(27)式のように置く。

【００７３】

【数２５】

【００７４】

【数２６】

【００７５】

【数２７】

【００７６】かくて上記の各行列〔Ｃ〕〔Ａ〕〔Ｒ〕を
用いて、ｉ＝1,・・・・, Ｎについての(23)(24)式を書
きなおすと、つぎの(28)式の行列方程式を得る。また行
列〔Ｃ〕は、最小２乗法を適用することによって、つぎ
の(29)式のように求まる。

【００７７】

【数２８】

【００７８】

【数２９】

【００７９】従って(25)(29)式から(19)式の外部モデル
の各パラメータを求めることができる。

【００８０】図１０に戻って、ステップ６の外部モデル
の算出が行われると、つぎにこの外部モデルから結像距
離および撮像装置２１の位置・姿勢を算出する（ステッ
プ７，８）。

【００８１】この場合に外部モデルは非一意的であっ
て、(21)(22)式から明らかなように〔EXT 〕の各要素を
Ｋ倍（だだしＫは比例係数）しても成立する。従って(2
9)式を解いて得られる〔Ｃ〕は本来の値をＫ倍したもの
になっている可能性がある。この点を考慮して、(19)式
の各要素間の関係式を記述するとつぎのようになる。ｔ₁₁＝Ｃ₁₁・Ｋ・・・・（ａ）ｔ₁₂＝Ｃ₁₂・Ｋ・・・・（ｂ）ｔ₁₃＝Ｃ₁₃・Ｋ・・・・（ｃ）ｔ₁₄＝Ｃ₁₄・Ｋ・・・・（ｄ）ｔ₂₁＝Ｃ₂₁・Ｋ・・・・（ｅ）ｔ₂₂＝Ｃ₂₂・Ｋ・・・・（ｆ）ｔ₂₃＝Ｃ₂₃・Ｋ・・・・（ｇ）ｔ₂₄＝Ｃ₂₄・Ｋ・・・・（ｈ）ｔ₃₁＝−lenb・Ｃ₃₁・Ｋ・・・・（ｉ）ｔ₃₂＝−lenb・Ｃ₃₂・Ｋ・・・・（ｊ）ｔ₃₃＝−lenb・Ｃ₃₃・Ｋ・・・・（ｋ）ｔ₃₄＝lenb−lenb・Ｃ₃₄・Ｋ・・・・（ｌ）

【００８２】また行列〔FRAME 〕^-1の各要素 t_ijには、ｔ₁₁ ²＋ｔ₁₂ ²＋ｔ₁₃ ²＝１・・・・（ｍ）ｔ₂₁ ²＋ｔ₂₂ ²＋ｔ₂₃ ²＝１・・・・（ｎ）ｔ₃₁ ²＋ｔ₃₂ ²＋ｔ₃₃ ²＝１・・・・（ｏ）の各拘束条件が成立するから、以上の（ａ）〜（ｏ）式
を解くことによって、つぎの(30)(31)式を得る。

【００８３】

【数３０】

【００８４】

【数３１】

【００８５】かくして(30)(31)式を（ａ）〜（ｌ）式に
代入することにより、〔FRAME 〕^-1の各要素 t_ijを求め
ることができ、また〔FRAME 〕^-1の逆行列をとることに
よって、〔FRAME 〕が得られる。こうして求めた lenb
が結像距離であり、また〔FRAME 〕がカメラの位置・姿
勢である。

【００８６】上記の撮像装置２１のキャリブレーション
が完了すると、つぎに図１３に示す手順に基づき投光装
置２２のキャリブレーションを実行することになる。こ
のキャリブレーションは、カメラモデルが既知となった
後、前記のキャリブレーション用ワーク２３に板状のス
リット光を照射してスリット像を生成し、このスリット
像を解析することにより、投光装置２２のスリット光モ
デルを生成するものである。

【００８７】ここでスリット光モデルとは、図１４に示
す如く、スリット光４０の平面を平面方程式で表現した
ものである。このスリット光４０の平面方程式は、つぎ
の(32)式で与えられ、従ってスリット光モデルはこの式
のパラメータａ_S，ｂ_S，ｃ_S，ｄ_Sの組として表現で
きる。

【００８８】

【数３２】

【００８９】まず図１３のステップ９で、スリット像を
２値化するためのしきい値TH′を決定した後、ステップ
１０で投光装置２２をオンして、キャリブレーション用
ワーク２３に板状のスリット光４０を照射する。これに
よりワーク２３の平坦面２４，２５や床面に図７に示す
ようなスリット光の交わり線２７が生成され、この交わ
り線２７は撮像装置２１により撮像される（ステップ１
１）。撮像装置２１は交わり線２７を画像化してスリッ
ト像を求め、そのビデオ信号をインターフェイス２０へ
出力するもので、ＣＰＵ１２はスリット像を前記のしき
い値TH′により２値化し、例えばスリット像の部分を黒
画素（データ「１」の画素）、それ以外の部分を白画素
（データ「０」の画素）として、この２値画像を画像記
憶部１５に格納する（ステップ１２）。

【００９０】つぎのステップ１３で、ＣＰＵ１２はスリ
ット像上の像点の３次元座標を算出する。図１５は、像
点の座標算出方法を示している。同図中、Ａ₁〜Ａ₄，
Ｂ₁〜Ｂ₄はキャリブレーション用ワーク２３の上下平
坦面２４，２５の角点であって、各角点に対応するワー
ク画像４１上の角点はＡ₁′〜Ａ₄′，Ｂ₁′〜Ｂ₄で
示してある。上下平坦面２４，２５および床面上にはス
リット光４０の交わり線２７が生成され、このワーク２
３を撮像したとき、ワーク画像４１には交わり線２７に
対応するスリット像４２が現れる。交わり線２７は物点
Ｂの集合であり、各物点Ｂとその像点Ｐとはレンズ中心
Ｒを通る視線４３によりその位置関係が決定される。

【００９１】すなわち像点Ｐが与えられたとき、その像
点Ｐに対応する物点Ｂの３次元座標は像点Ｐの視線４３
とキャリブレーション用ワーク２３の平坦面（図示例の
場合は上段の平坦面２５）との交点として求めることが
できる。いま視線４３を表す直線をパラメータ表現する
つぎの(33)式で与えられる。ただしｋ_Rはパラメータで
ある。

【００９２】

【数３３】

【００９３】上式中、（ｘ_R，ｙ_R，ｚ_R）はレンズ中
心Ｒの３次元座標であり、カメラモデルが既知の状態下
でつぎの(34)〜(36)式により求まる。

【００９４】

【数３４】

【００９５】

【数３５】

【００９６】

【数３６】

【００９７】かくて像点Ｐの３次元座標を（ｘ₀，
ｙ₀，ｚ₀）とすると、ｎ_x，ｎ_y，ｎ_zはつぎの(37)
式で与えられる。

【００９８】

【数３７】

【００９９】なお像点Ｐの３次元座標（ｘ₀，ｙ₀，ｚ
₀）は、カメラモデルが既知の状態下では、つぎの(38)
式により求まる。

【０１００】

【数３８】

【０１０１】上記の各式から像点Ｐの視線４３を求める
ことができるから、つぎに物点Ｂが位置する平坦面の平
面方程式を求める。まずカメラモデルおよびキャリブレ
ーション用ワーク２３の形状データが既知であるから、
ワーク画像４１上の角点Ａ₁′〜Ａ₄′およびＢ₁′〜
Ｂ₄′の画像上の座標（Ｉ，Ｊ）をつぎの(39)(40)式に
より算出する。

【０１０２】

【数３９】

【０１０３】

【数４０】

【０１０４】なお上式中、（ｘ_B，ｙ_B，ｚ_B）は算出
しようとするマーク画像４１の角点と対応関係にあるワ
ーク２３上の角点の３次元座標を意味している。

【０１０５】全ての角点Ａ₁′〜Ａ₄′，Ｂ₁′〜
Ｂ₄′の３次元座標が求まると、つぎに着目する像点Ｐ
が角点Ａ₁′〜Ａ₄′で決まる四角形４４と角点Ｂ₁′
〜Ｂ₄′で決まる四角形４５と、どのような包含関係に
あるかをつぎの表２にて判断し、これにより物点Ｂが平
坦面２４，２５や床面のいずれに位置するかを判断す
る。

【０１０６】

【表２】

【０１０７】上記により物点Ｂが位置する平面を判別す
ると、その平面の方程式と前記視線４３の方程式とを連
立させて解くことにより、物点Ｂの３次元座標を算出す
る。このようにしてスリット像４２上の各像点Ｐの３次
元座標（ｘ_i，ｙ_i，ｚ_i）が得られると、スリット光
４０の平面パラメータとの間につぎの(41)式が成立す
る。

【０１０８】

【数４１】

【０１０９】ただし前記(32)式においてｃ_S＝−１と置
く。ここでＮ個の点について、つぎの(42)式を解くこと
により、上式の誤差項ｅ_iについてｅ_iの総和を最小と
するａ_S，ｂ_S，ｄ_Sを得る（ステップ１４）。

【０１１０】

【数４２】

【０１１１】ここで(42)式の各行列を〔Ｒ〕〔Ａ〕
〔Ｚ〕と置くと、この(42)式はつぎの(43)式で表現でき
る。

【０１１２】

【数４３】

【０１１３】そしてこの式中、スリット光モデルを表す
行列〔Ａ〕はつぎの(44)式で与えられる。

【０１１４】

【数４４】

【０１１５】なお上記は図３の装置例について撮像装置
２１および投光装置２２のキャリブレーションを説明し
たが、図２の装置例については撮像装置２１のキャリブ
レーションのみを実施すれば足り、しかもその方法は上
記と同様であるかから、ここではその説明は省略する。

【０１１６】

【発明の効果】この発明は上記の如く、同一平面上の面
とはみなせないキャリブレーション用の面をその表面に
有するキャリブレーション用ワークにスリット光を照射
してこれを撮像し、得られた２次元画像上でのスリット
光の交わり線の位置とあらかじめ求められた撮像手段の
カメラモデルとを用いて、スリット光の幾何学的モデル
を自動生成するようにしたから、３次元物体認識装置な
どにおいて必要とされるスリット光の幾何学的モデルの
キャリブレーションを自動的に行い得るなど、発明目的
を達成した顕著な効果を奏する。

【図面の簡単な説明】

【図１】この発明にかかる自動キャリブレーション装置
の概念を示すブロック図である。

【図２】この発明の一実施例を示すブロック図である。

【図３】この発明の他の実施例を示すブロック図であ
る。

【図４】キャリブレーション用ワークの一例を示す斜面
図である。

【図５】キャリブレーション用ワークの一例を示す平面
図である。

【図６】キャリブレーション用ワークの他の例を示す斜
面図である。

【図７】キャリブレーション用ワークの他の例を示す平
面図である。

【図８】撮像装置のカメラモデルの構造を説明するため
の説明図である。

【図９】撮像装置のカメラモデルの構造を説明するため
の説明図である。

【図１０】撮像装置のキャリブレーションの実行手順を
示すフローチャートである。

【図１１】マーク画像の中心点抽出方法を示す説明図で
ある。

【図１２】マーク画像のラベル付け方法を示す説明図で
ある。

【図１３】投光装置のキャリブレーションの実行手順を
示すフローチャートである。

【図１４】スリット光モデルの構造を説明するための説
明図である。

【図１５】像点の座標算出方法を示す説明図である。

【符号の説明】

２自動キャリブレーション装置１２ＣＰＵ２１撮像装置２２投光装置２３キャリブレーション用ワーク

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 1/00 Ｇ０６Ｆ 15/62 ４１５ 15/64 Ｍ

Claims

【特許請求の範囲】

【請求項１】観測対象物にスリット光を照射してこの
観測対象物の表面に生成されたスリット光の交わり線を
観測する視覚認識装置において、スリット光の幾何学的
モデルのキャリブレーションを自動的に行うための方法
であって、同一平面上の面とはみなせないキャリブレーション用の
面をその表面に有するキャリブレーション用ワークに投
光手段よりスリット光を照射してその表面に生成された
スリット光の交わり線を撮像手段により撮像し、得られ
た２次元画像上で前記キャリブレーション用の面におけ
る交わり線の位置を検出する第１の工程と、前記２次元画像上で検出された交わり線の画像位置とあ
らかじめ求められた前記撮像手段のカメラモデルとを用
いた所定の演算を行って、スリット光の幾何学的モデル
を生成する第２の工程とを一連に実施することを特徴と
する自動キャリブレーション方法。
【請求項２】前記キャリブレーション用ワークは、同
一平面上に位置しない複数の面を具備する請求項１に記
載された自動キャリブレーション方法。
【請求項３】同一平面上の面とはみなせないキャリブ
レーション用の面をその表面に有するキャリブレーショ
ン用ワークを用いてスリット光の幾何学的モデルのキャ
リブレーションを自動的に行うための自動キャリブレー
ション装置であって、前記キャリブレーション用ワークにスリット光を照射し
てその表面にスリット光の交わり線を生成する投光手段
と、前記キャリブレーション用ワークおよび前記スリット光
の交わり線を撮像してそれぞれの２次元画像を生成する
２次元撮像手段と、前記２次元撮像手段により撮像された前記２次元画像が
格納される画像記憶手段と、前記２次元撮像手段のカメラモデルを記憶するカメラモ
デル記憶手段と、前記画像記憶手段に格納された２次元画像上で前記キャ
リブレーション用の面における交わり線の位置を検出す
る交わり線位置検出手段と、前記カメラモデル記憶手段に記憶されたカメラモデルと
前記交わり線位置検出手段により検出された交わり線の
画像位置とから所定の演算によりスリット光の幾何学的
モデルを生成する演算手段とを備えて成る自動キャリブ
レーション装置。
【請求項４】前記キャリブレーション用ワークは、同
一平面上に位置しない複数の面を具備する請求項２に記
載された自動キャリブレーション装置。
【請求項５】前記キャリブレーション用ワークは、二
段階の高さをもつ各平坦面を具備する請求項３または４
に記載された自動キャリブレーション装置。