JP5515432B2

JP5515432B2 - 三次元形状計測装置

Info

Publication number: JP5515432B2
Application number: JP2009133788A
Authority: JP
Inventors: 敏則長橋
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2009-06-03
Filing date: 2009-06-03
Publication date: 2014-06-11
Anticipated expiration: 2029-06-03
Also published as: JP2010281621A

Description

本発明は、三次元形状計測装置のキャリブレーションの技術に関する。

スリット光源から扇形状に射出されたスリット光を計測対象物に照射すると共に、その計測対象物の表面に映るスリット光の輝線（光切断線）をカメラで撮像して、計測対象物の三次元形状を計測する光切断法による三次元形状計測装置では、計測対象物のカメラ画像における位置と、実空間における位置とを対応させるためのキャリブレーション（校正）が必要である。従来の光切断法による三次元形状計測装置のキャリブレーションにおいては、カメラの歪補正と高さ補正とを別々に校正するものが多く、校正に時間のかかることが課題であった。

そこで、この課題を解決するために、カメラの歪補正と高さ補正とを同時に行って校正にかかる時間を短縮することのできるキャリブレーション方法及び装置が提案されている（例えば、特許文献１参照）。特許文献１に開示されたキャリブレーション方法及び装置では、列ごとに階段状ブロックを配置するとともに、一列おきの階段状ブロックを前列よりも一段低く配置したキャリブレーションブロックを用いて校正作業を行うものである。

特開２００７−３３０３９号公報

しかしながら、特許文献１に開示されたキャリブレーション方法及び装置では、規則的に配置された階段形状を有するキャリブレーションブロックを用いるものであるため、キャリブレーションブロックに照射されたスリット光の輝線における特徴点の算出の精度が、カメラの解像度に制限されるという課題を有していた。また、キャリブレーションブロックは周期的に規則的な形状を有しているため、各ブロック表面からの反射光の撮像によるブロック位置の特定が困難である。よって、このキャリブレーション方法及び装置では、キャリブレーションブロックをずれが生じないようにステージ上に正確に配置する必要があり、校正作業上の負担が大きく使い勝手の面で課題を有していた。

そこで本発明は、上記課題に鑑みてなされたものであり、光切断法により三次元形状の計測を行う三次元形状計測装置のキャリブレーションを、カメラ解像度に依存せずに行うことができ、さらに校正作業上使い勝手のよい三次元形状計測装置を提供することを目的とする。

本発明は、上記の課題を解決するために、以下［１］−［３］の手段を提供するものである。
［１］照射手段からスリット光を照射し、照射面に生ずる光切断線を撮像手段で撮像して三次元形状計測を行う三次元形状計測装置において、
載置される底部からの高さ寸法の異なる複数の平面部を有し、これら平面部それぞれには、前記スリット光の照射により生じる光切断線に対して非平行である直線の輪郭を有し、その輪郭を境にして反射率の異なるパターンを形成したキャリブレーション用ブロックと、
前記キャリブレーション用ブロックの前記底部から前記各平面部までの高さ寸法と前記パターンの位置座標とのリファレンスデータを記憶した記憶手段と、
前記キャリブレーション用ブロックを載置する載置手段と、
前記照射手段及び前記撮像手段の組合せと前記載置手段とのうちいずれか一方を移動させる移動手段と、
前記撮像された光切断線から特徴点を検出し、撮像画像における特徴点座標を求める検出手段と、
前記特徴点座標から前記パターンに係る座標を計算し、この計算された座標と前記リファレンスデータとに基づいて校正用データを生成する生成手段と、
前記生成された校正用データを用いて前記照射手段及び前記撮像手段の三次元方向のキャリブレーションを行う制御手段と、
を備えたことを特徴とする三次元形状計測装置。
［２］前記キャリブレーション用ブロックは、
前記複数の平面部それぞれに、前記スリット光の照射により生じる光切断線に対して非平行である直線の輪郭をそれぞれ有した複数の幾何学的パターンを二次元に配列し、これら複数の幾何学的パターンの内外部で反射率が異なるようなパターンを形成したことを特徴とする上記［１］記載の三次元形状計測装置。
［３］前記キャリブレーション用ブロックの複数の幾何学的パターンを、前記光切断線の走査方向に略平行する列ごとに一意の模様、又は隣接する幾何学的パターンが同一模様とならないように形成したことを特徴とする上記［２］記載の三次元形状計測装置。

本発明によれば、光切断法により三次元形状の計測を行う三次元形状計測装置のキャリブレーションを、撮像手段のカメラ解像度、載置手段の移動分解能に依存せずに高精度に行うことができる。また、本発明によれば、キャリブレーション用ブロックの配置に厳密な正確性を必要とせず、作業負担の軽いキャリブレーション作業を行うことができる。

本発明の実施形態である三次元形状計測装置がキャリブレーションを行っている様子を模式的に示した、三次元形状計測装置及びキャリブレーション用ブロックの斜視図である。三次元形状計測装置の概略の機能ブロック図である。キャリブレーション用ブロックの斜視図である。キャリブレーション用ブロックの各段上平面にパターンニングされるパターンの例である。三次元形状計測装置が、キャリブレーション用ブロックを用いて校正用データを生成する動作の手順を示したフローチャートである。キャリブレーション用ブロックが搬送された場合に、段上平面に形成されたパターンが輝線を通過する様子を模式的に表した図である。キャリブレーション用ブロックの各段上平面にパターンニングされるパターンの別の例である。キャリブレーション用ブロックの各段上平面にパターンニングされるパターンのさらに別の例である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。図１に、本発明の実施形態である三次元形状計測装置がキャリブレーションを行っている様子を模式的に示した、三次元形状計測装置及びキャリブレーション用ブロックの斜視図を示す。同図における三次元形状計測装置は、光切断法によって計測対象物体の外部形状を計測する装置であり、スリット光源部１０と、撮像部２０と、載置台３０とを備えている。そして、載置台３０には、三次元形状計測装置のスリット光源部１０及び撮像部２０を校正するためのキャリブレーション用ブロック４０が載置されている。

図２に、三次元形状計測装置の概略の機能ブロック図を示す。なお、図１に示した構成と同一の構成については同一の符号を付している。図２において、三次元形状計測装置は、スリット光源部１０と、撮像部２０と、載置台３０と、制御部５０と、記憶部６０と、特徴点検出部７０と、校正用データ生成部８０と、載置台駆動部９０とを備えている。

制御部５０は、三次元の校正用データを収集するために、スリット光源部１０、撮像部２０、載置台駆動部９０に対して動作開始や動作停止の指示を与えたり、外部から供給された補正データを記憶部６０に記憶させたりする。また、制御部５０は、校正用データを収集したのち、スリット光源部１０及び撮像部２０のキャリブレーションを行う。

スリット光源部１０は、コヒーレント光を、スリットを通して扇形状に広がるスリット光ＳＬにして射出する光源である。コヒーレント光としては、レーザー光を用いるのがよい。スリット光源部１０は、スリット光ＳＬの中心光軸が鉛直軸と平行ではない所定の角度を有して設置される。

キャリブレーション用ブロック４０を載せた載置台３０は、載置台駆動部９０の駆動によって図１における矢印Ａの向きに移動し、それによってキャリブレーション用ブロック４０が矢印Ａの向きに搬送される。スリット光源部１０から射出されたスリット光ＳＬが搬送中のキャリブレーション用ブロック４０の上面側に設けられた段上平面に照射されると、その照射部分からの反射光ＲＬが発生する。

撮像部２０は、その光学系の光軸がスリット光ＳＬの中心光軸と平行ではない所定の角度で傾斜する位置、具体的には反射光ＲＬを光学系に入射させて撮像可能な位置に設置される。このとき、キャリブレーション用ブロック４０の反射部分は、光切断線である輝線ＬＬとして可視化される。そして、撮像部２０はその輝線ＬＬを撮像して撮像画像データを特徴点検出部７０に供給する。

特徴点検出部７０は撮像画像データを入力し、撮像された輝線ＬＬ上の輝度の変化点である特徴点を検出して撮像画像における特徴点座標を求める。そして、特徴点検出部７０は、特徴点座標と、当該特徴点に対応するキャリブレーション用ブロック４０の所定の属性データとを関連づけた特徴点情報を記憶部６０に記憶する。この特徴点情報については、後述する動作説明の欄において具体的に説明する。

校正用データ生成部８０は、記憶部６０に記憶された特徴点情報と、補正データが記憶されている場合にはその補正データとを読み出し、載置台３０の水平な載置面に対して垂直方向及び水平方向（三次元）の校正用データを生成して記憶部６０に記憶する。

図３に、キャリブレーション用ブロック４０の斜視図を示す。同図に示すように、キャリブレーション用ブロック４０は、４段の階段形状部を有して一体的に形成された固体である。なお、階段は必ずしも４段である必要はなく複数段あればよい。また、このブロックは中空、又は凹型であってもよい。キャリブレーション用ブロック４０は、その底部４５を載置台３０の載置面に合わせて載置するものであり、底部４５は設置の安定性を確保するために、面又は少なくとも４箇所の支持部を有している。底部４５とは反対側の階段形状部には、底部４５の載置接触面と略平行であり、且つ垂直方向の寸法がそれぞれ異なる段上平面４１−４４が設けられている。

キャリブレーション用ブロック４０は、レーザー光のようなコヒーレント光が照射されるので、その照射部分の温度は高くなる傾向にある。よって、キャリブレーション用ブロック４０は、熱膨張率の小さな材質を用いることが好ましい。例えば、カーボンブラックをその材質とすることが好ましい。カーボンブラックは、質量が大きくない点においても優れている。また、カーボンブラック以外にも、ガラスやステンレス鋼を用いることができる。

キャリブレーション用ブロック４０の段上平面４１−４４それぞれには、所定のパターンＰが形成（パターンニング）されている。図４に、段上平面４１−４４それぞれにパターンニングされるパターンの例を示す。同図において、パターンＰ１はパターンＡＰと、幾何学的パターンである正方形を二次元に複数配列したパターンＲＰとにより構成されている。同図においては、便宜上黒模様のパターンＡＰ上に色抜のパターンＲＰが設けられたように表されているが、これらのパターン色は同図で表現された色に限定されるものではない。ここで重要なことは、パターンＡＰとパターンＲＰとの反射率が異なるようにパターンニングされることである。本実施形態では、パターンＲＰがパターンＡＰよりも反射率が大きくなるようにパターンニングされているものとする。また、パターンＲＰでは、４×１８個の幾何学的パターンである正方形を、各正方形の辺が矢印Ａの向きと平行にならないようにして整列している。

パターンＰ１のパターンニング方法としては、薄膜蒸着法、エッチング法、フォトレジスト法等の細密パターンニング技術を用いるのがよい。

キャリブレーション用ブロック４０は、本実施形態である三次元形状計測装置以外の計測装置により、その外形寸法及びパターンＰ１の各種座標位置が測定され、これらの測定値は、リファレンスデータとして記憶部６０に予め記憶されている。このリファレンスデータは、例えば、パターンＲＰの幾何学的パターンごとに、当該幾何学的パターンのリファレンス頂点座標値と、底部４５から当該幾何学的パターンがパターンニングされた段上平面までの高さ寸法とを、識別番号に関連づけたデータである。

次に、三次元形状計測装置が、キャリブレーション用ブロック４０を用いて校正用データを生成する動作について、図５のフローチャートを参照して説明する。載置台３０にキャリブレーション用ブロック４を、その搬送方向が図３に示す矢印Ａの向きになるように載置したのち、制御部５０に対して動作開始の指示が与えられると、図５に示すフローチャートの処理が開始される。

まず、制御部５０はスリット光源部１０に照射開始を指示し、この指示を受けたスリット光源部１０はスリット光ＳＬの照射を開始する（Ｓ５０１）。次に、制御部５０は撮像部２０に撮像開始を指示し、この指示を受けた撮像部２０は撮像を開始する（Ｓ５０２）。次に、制御部５０は載置台駆動部９０に駆動開始を指示し、この指示を受けた載置台駆動部９０は載置台３０の移動を開始する（Ｓ５０３）。

撮像部２０は、輝線ＬＬを撮像するとその撮像画像データを特徴点検出部７０に供給する（Ｓ５０４）。特徴点検出部７０は、撮像画像データの輝線ＬＬから特徴点を検出した場合には、撮像画像における特徴点座標を求め、その特徴点座標と、当該特徴点に対応するキャリブレーション用ブロック４０の属性データとを関連づけた特徴点情報を記憶部６０に記憶する（Ｓ５０５ＹＥＳ→Ｓ５０６）。

ここで、特徴点検出部７０による特徴点の検出と特徴点情報の記憶の動作について具体的に説明する。図６に、キャリブレーション用ブロック４０が矢印Ａの向きに搬送された場合に、パターンＰ１（同図では、パターンＡＰ及びパターンＲＰの部分を拡大して図示している。）が輝線ＬＬを通過する様子を模式的に表した図を示す。なお、同図では、図を分かりやすくするために、パターンＰ１を固定して、輝線ＬＬを輝線ＬＬ１から輝線ＬＬ６のように移動させたときの相対的な位置関係を表した図にしている。

同図において、撮像部２０は輝線ＬＬ１，ＬＬ２，ＬＬ３・・・ＬＬ６の各輝線を順次撮像する。各輝線の間隔は、撮像部２０の撮像時間間隔及び載置台３０の移動速度に応じて調整可能である。本実施形態では、撮像部２０の撮像時間間隔は等しく、載置台３０は等速で移動するものとし、よって各輝線の間隔は等距離であるものとする。

同図において、撮像部２０が輝線ＬＬ１を撮像すると、特徴点検出部７０は、輝線ＬＬ１上で輝度の変化する個所を特徴点Ｃ１，Ｃ２として検出する。つまり、特徴点Ｃ１，Ｃ２は、輝線ＬＬ１が映っているパターンＰ１上の反射率の変化点に対応する。特徴点検出部７０は、特徴点Ｃ１，Ｃ２を検出すると、撮像画像における特徴点Ｃ１，Ｃ２に対応する特徴点座標を求める。そして、その特徴点座標と、特徴点Ｃ１，Ｃ２に対応するキャリブレーション用ブロック４０の属性データとを関連づけた特徴点情報を記憶部６０に記憶する。

属性データとは、キャリブレーション用ブロック４０の底部４５から、対象特徴点に対応する幾何学的パターンがパターンニングされた段上平面までの高さ寸法、及び当該幾何学的パターンの識別番号である。例えば、図６における特徴点Ｃ１，Ｃ２に対応するパターンＲＰの幾何学的パターンが、図３における段上平面４３にパターンニングされたパターンＰ１中の幾何学的パターンであって、走査開始時の１番目の幾何学的パターンから数えて９５番目の幾何学的パターンである場合、その属性データは、底部４５から段上平面４３までの高さ寸法、及び識別番号「９５」となる。これにおいて、特徴点検出部７０は、記憶部６０からリファレンスデータを読み込み、輝線ＬＬがキャリブレーション用ブロック４０の段上平面４４のパターンＲＰの１行目から段上平面４１のパターンＲＰの４行目（最終行）までを走査しながら幾何学的パターンの個数を計数していくことによって属性データを求めることができる。

図６の説明に戻り、上記の特徴点Ｃ１，Ｃ２の検出、及び特徴点情報の記憶部６０への記憶の動作と同様に、同図に図示された特徴点Ｃ３−Ｃ８が検出されて、特徴点情報が記憶部６０に記憶される。

図５の説明に戻り、ステップＳ５０６の処理において特徴点検出部７０が特徴点情報を記憶部６０に記憶したのち、またはステップＳ５０５の処理において特徴点が検出されなかった場合（Ｓ５０５ＮＯ）、制御部５０は、キャリブレーション用ブロック４０の４つの段上平面４１−４４にパターンニングされた４つのパターンＰ１が輝線ＬＬによって走査終了するまでステップＳ５０４−Ｓ５０６の処理を繰り返し実行させる（Ｓ５０７ＮＯ→Ｓ５０４）。

４つのパターンＰ１の走査が終了すると（Ｓ５０７ＹＥＳ）、校正用データ生成部８０は、記憶部６０に記憶された特徴点情報と、補正データが記憶されている場合にはその補正データとを読み出して校正用データを生成し、記憶部６０に記憶させて処理を終了する（Ｓ５０８）。

ここで、図６を参照して校正用データ生成部８０による校正用データの生成処理について具体的に説明する。輝線ＬＬ１−ＬＬ６の走査によって検出された特徴点Ｃ１−Ｃ８に係る特徴点情報が記憶部６０に記憶されているとする。校正用データ生成部８０は、記憶部６０からこれらの特徴点情報を読出し、まず、特徴点Ｃ１−Ｃ４に対応する各特徴点座標からパターンＲＰの頂点Ｔ１の頂点座標を算出する。そして、特徴点Ｃ５−Ｃ８に対応する各特徴点座標からパターンＲＰの頂点Ｔ４の頂点座標を算出する。さらに、特徴点Ｃ１−Ｃ８に対応する各特徴点座標からパターンＲＰの頂点Ｔ２，Ｔ３の各頂点座標を算出する。

幾何学的パターンを幾何的に単純な形状（本実施形態では正方形）であって、その輪郭が輝線ＬＬと平行にならないような形状とすることにより、上記のようにパターンＲＰの各幾何学的パターンの頂点の頂点座標を簡単に求めることができる。しかも、検出された特徴点の幾何学的な配列から頂点を算出する方法であるため、撮像部２０の解像度や撮像時間間隔、載置台３０の移動分解能に依存せず、高精度に頂点座標を求めることができる。

校正用データ生成部８０は、頂点Ｔ１−Ｔ４の各頂点座標と、当該幾何学的パターンの高さ寸法と、識別番号に対応したリファレンス頂点座標とを関連づけて校正用データを生成し、記憶部６０に記憶する。なお、校正用データ生成部８０が補正データも記憶部６０から読み出した場合は、校正用データ生成部８０は、その補正データを用いて頂点Ｔ１−Ｔ４の各頂点座標、又は当該幾何学的パターンの高さ寸法を補正して校正用データを生成する。

なお、上記の説明はパターンＲＰのうち１つの幾何学的パターンについての頂点Ｔ１−Ｔ４の算出の例であるが、このような計算をパターンＲＰの他の幾何学的パターン全て、又は１列おきや１行おきなど予め定められた規則に沿って行う。

校正用データが生成されたのち、制御部５０は、記憶部６０に記憶された校正用データを用いて、公知の方法によってスリット光源部１０及び撮像部２０の光学系の垂直方向及び水平方向のキャリブレーションを行う。

本発明の実施形態によれば、光切断法による三次元形状計測装置の三次元のキャリブレーションを、カメラ解像度や撮像時間間隔、及び載置台３０の移動分解能に依存せずに高精度に行うことができる。

本実施形態では、キャリブレーション用ブロック４０の段上平面４１−４４にパターンニングされるパターンＰとして、図４に示すパターンＰ１を用いた例について説明した。次に、本実施形態の変形例として、図７に示すパターンを用いた例について説明する。同図において、パターンＰ２に含まれる幾何学的パターンは、列（４個の幾何学的パターンの組）単位で一意の模様となるように形成されている。

列単位で一意の模様となるように幾何学的パターンを形成したことにより、幾何学的パターンの位置の特定はより容易なものとなり、これにより、キャリブレーション用ブロック４０を載置台３０の任意の位置に置いた場合でも、校正用データを容易に生成することができ、キャリブレーションの作業性や使い勝手が向上する。

また、図８に示すパターンを用いることも好ましい。同図において、パターンＰ３は、輝線ＬＬと平行になるラインパターンを形成している。ラインパターンの本数と配置位置との組み合わせは、列の一定間隔（同図の例では３列）で異なるため、３列分の幾何学的パターン単位での模様の一意性を確保している。このように、幾何学的パターンの形状や寸法、又は濃淡（反射率）を列に応じて変え、いわゆる変調したパターンを形成することにより、検出された特徴点の特徴点座標から幾何学的パターンの位置の特定が容易となり、上記変形例と同様な効果を得ることができる。

以上説明したように、パターンＰをアフィン写像や、撮像部２０のレンズ歪にロバストに求めることのできる輪郭を有したパターンにすることにより、撮像部２０の位置によらず正確な位置を求めることができる。これは、具体的には、例えば幾何学的パターンを円形とした場合、撮像部２０の位置によっては輪郭が楕円に写ったり中心点がずれたりするので好ましくない。

以上、本発明の実施形態について詳細に説明した。なお、光切断線である輝線を複数本発生させて用いたり、また、スリット光ではなくスポット光を照射したりする三次元形状計測装置においても、本発明の技術的思想は適用できる。さらに、光切断法によらず、ステレオ法においても本発明の技術的思想は適用可能である。

また、本実施形態では、載置台３０に載せたキャリブレーション用ブロック４０を搬送させる例について説明したが、載置台を固定して、撮像部及び光源を移動させるように構成してもよい。

また、キャリブレーション用ブロックは、階段形状部を有するものに限定されない。すなわち、キャリブレーション用ブロックは平面を含む三次元形状を有していればよいので、例えば、三角錐や三角柱等の形状にすることもできる。

さらに、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１０スリット光源
２０撮像部
３０載置台
４０キャリブレーション用ブロック
５０制御部
６０記憶部
７０特徴点検出部
８０校正用データ生成部
９０載置台駆動部
ＳＬスリット光
ＲＬ反射光
ＬＬ輝線

Claims

照射手段からスリット光を照射し、照射面に生ずる光切断線を撮像手段で撮像して三次元形状計測を行う三次元形状計測装置において、
載置される底部からの高さ寸法の異なる複数の平面部を有し、これら平面部それぞれには、前記スリット光の照射により生じる光切断線に対して非平行である直線の輪郭を有し、その輪郭を境にして反射率の異なるパターンを形成したキャリブレーション用ブロックと、
前記キャリブレーション用ブロックの前記底部から前記各平面部までの高さ寸法と前記パターンの位置座標とのリファレンスデータを記憶した記憶手段と、
前記キャリブレーション用ブロックを載置する載置手段と、
前記照射手段及び前記撮像手段の組合せと前記載置手段とのうちいずれか一方を移動させる移動手段と、
前記撮像された光切断線から特徴点を検出し、撮像画像における特徴点座標を求める検出手段と、
前記特徴点座標から前記パターンに係る座標を計算し、この計算された座標と前記リファレンスデータとに基づいて校正用データを生成する生成手段と、
前記生成された校正用データを用いて前記照射手段及び前記撮像手段の三次元方向のキャリブレーションを行う制御手段と、
を備えたことを特徴とする三次元形状計測装置。
前記キャリブレーション用ブロックは、
前記複数の平面部それぞれに、前記スリット光の照射により生じる光切断線に対して非平行である直線の輪郭をそれぞれ有した複数の幾何学的パターンを二次元に配列し、これら複数の幾何学的パターンの内外部で反射率が異なるようなパターンを形成したことを特徴とする請求項１記載の三次元形状計測装置。
前記キャリブレーション用ブロックの複数の幾何学的パターンを、前記光切断線の走査方向に略平行する列ごとに一意の模様、又は隣接する幾何学的パターンが同一模様とならないように形成したことを特徴とする請求項２記載の三次元形状計測装置。