WO1991003704A1 - Procede de reconnaissance d'objet utilisant une methode de coupe optique - Google Patents

Description

明 細 書

光切断法による対象物認識方法

技 術 分 野 '

本発明は、 光切断法によ る対象物認識方法に関し、 特 に、 対象物を迅速に認識でき る こ の種の方法に関する。

背 景 技 術

光切断法を用いて対象物を 3 次元的に認識するための 3 次元ビ ジ ョ ン シ ス テ ムは公知で、 例えば産業用口ボッ ト の視覚セ ンサ， 検査シ ス テ ム の構成要素と して用いら れている。 この種の ビ ジ ョ ンセ ンサ は、 対象物へのス リ ッ ト光の投射部位を変化さ せつつ ス リ ッ ト画像を生成し、 これら の ス リ ツ ト 画像に基づいて対象物各部の位置を順 次計測 して、 対象物全体の位置を求めている。 しかしな がら、 計測のために処理すべき情報量が多 く、 計測に時 問を要する。

そ こ で、 計測時間を短縮すべく、 従来例えば、 複数種 のパタ ー ン光を対象物に順次投射して得た対象物の複数 の画像に基づいて対象物の位置を計測する こ とが知られ ている （ 曰本国特開昭 6 0 — 1 5 2 9 0 3 号公報） 。 こ の先行技術によれば、 n種類のコ ー ド化された各パタ ー ン光を対象物に投影して得た各画面を 2値化して、 n種 類の 2値化画像を組み合わせる こ と によって、 対象物の 存する空間を 2 ^π個の扇状の'領域のコ ー ド化して分割し た画像を得る こ とができ る。 'この画像を空間コ ー ド化画 像と呼ぶこ とにする。 これは、 連続する 2 ^π個の帯状の 光を対象仏に順次投影して得た 2 ⁿ枚の画像を 2値化及 びコー ド化して重ね合わせた画像に相当する。 こ の空間 コ - ド化画像を光源及びカ メ ラ の配置関係を表す既知の パラ メ ー タ を用いて、 三角測量法によ り対象物の空間的 な位置を計測する こ とができ る。

しか しながら、 こ の種の計測方法は依然と して所要計 測時間が長く、 対象物を短時間で認識する こ とを要する 夕 イ ブの ロ ボ ッ 卜用， 検査用の ビ ジ ョ ン シ ス テ ム に適用 で き な い。

又、 光切断法による対象物の 3 次元測定のために、 初 めに述べたよ う に複数のス リ ッ ト光を対象物に順次投射 する と画像生成， 解析回数が増大する一方、 こ の回数を 低減すべ く複数のス リ ッ ト光を対象物に同時に投射する と ス リ ツ ト光同士が互いに重な り合って画像解析上困難 を来すこ とがあ る。 そ こで従来、 帯状光及びその明暗を 反転した光を対象物に順次投射して帯状光の両縁に対応 する 2 つ の ス リ ッ 卜光画像を生成する方法が提案されて い る （ 曰本国特願昭 6 3 — 2 1 5 1 8号） 。 この提案方 法によれば、 幕状光の投射時とその明暗を反転した光の 投射時と に得た 2 つの画像の一方から他方を画素毎に引 算して第 1 差分画像を求めると共に他方の画像から一方 の画像を引算して第 2差分画像を求めている。 そ して、 第 1 差分画像が暗から明に変化しかつ第 2差分画像が明 から暗に変化する位置に一方のス リ ッ ト光画像を生成し、 第 1 差分画像が明から暗に変化しかつ第 2差分画像が暗 から明に変化する位置に他方のス リ ッ ト光画像を生成し ている。

こ の ス リ ッ ト光画像か ら対象物を認識する .訳であるが、 対象物に向けて投射した'ス リ ッ ト光は対象物の周辺にも 投射され、 従って、 ス リ ッ ト光画像は、 対象物上に投射 されたス リ ッ ト光の寄与分に加えて対象物周辺に投射さ れた ス リ ッ ト光の寄与分を含む。 そ こで、 対象物周辺に 投射された ス リ ッ ト光の寄与分を除去し、 対象物上に投 された ス リ ッ ト光のス リ ッ ト光画像への寄与分のみを 抽出しな ければな らない。 そのために、 一つの方法と し て、 予めサ ン プル画像をと つて、 そ の中の対象物領域を ビ ジ ョ ン シ ス テ ム に教示 してお く と いう方法がある。 し かし、 対象物の形状が複雑であ り或は対象物が種々の姿 勢をと る場合、 こ の手法を実施する こ と は実際には困難 である。 即ち、 対象物が種々 の姿勢をと つた と きの多数 の ス リ ッ ト光画像を ビ ジ ョ ン シ ス テ ム に予め教示してお き、 これらサ ンプル画像と実際のス リ ッ ト光画像とを順 次比較して対象物を認識する方法を採用する と、 教示及 び比較すべき情報が過大になる。

発 明 の 開 示

本発明の目的は、 光切断法によ り対象物を迅速に認識 でき る対象物認識方法を提供する こ とにある。

上述の目的を達成するため、 本発明は、 特定の姿勢を と る対象物にコ ー ド化された複数のパタ ー ン光を投射し て得た対象物の画像から、 特定の姿勢の対象物を特定す る に足る モデルデー タを抽出する工程 （ a ) と、 ス リ ツ ト光を対象物に投射したと き の対象物の画像から、 対象 物を特定するに足る照合データを抽出する工程 （ b ) と、 照合デー タ とモ デルデー タ とが合致するか否かを判別す る工程 （ c ) とを備える。

上述のよ う に、 本発明によれば、 特定の姿勢をと る対 象物へのパタ ー ン光投射時の対象物の画像か ら抽出した モ デルデータ と ス リ ッ ト光投射時の対象物の画像から抽 出 した照合デー タ とが互いに合致するか否かを判別する よ う に したので、 両デー タ が互いに合致した と き に対象 物が特定の姿勢を と つている ものと判別でき、 これによ り対象物を認識でき る。 しかも、 モ デルデー タ及び照合 データ は、 特定の姿勢の対象物を特定でき る ものであれ ば足り、 両該デ— タを例えば数値パラ メ ー タ で構成でき る。 従っ て、 対象物認識のために記億すべき情報量及び 処理すべき情報量が少な く、 対象物を迅速に認識できる。 このため、 本発明の方法を適用する こ とによ り、 ロボッ ト用， 検査シ ス テ ム用の高速処理可能な ビ ジ ョ ン シス テ ムを構成できる。

図 面 の 簡 単 な 説 明

第 1 図は本発明の一実施例の対象物把握方法を適用 し た 3 次元 ビ ジ ョ ン シ ス テ ムを示す概略図、

第 2 図は対象物を例示する概略斜視図、

第 3 図は第 2 図の対象物に複数のパタ ー ン光を投射-し て得た空間コ - ド化画像を例示する概略斜視図、 - - 第 4 図はモデルデー タ を生成する ために用いられるパ タ ー ン画像要素を例示する図、 及び

第 5 図はス リ ツ 卜光画像を例示する図であ る。

発明を実施するための最良の形態

第 1 図を参照する と、 本発明の一実施例による対象物 認識方法を実施するための 3次元ビ ジ ョ ン シ ス テ ムは伊 j えばロ ボ ッ ト又は検査シ ス テ ム に装備される。 こ の ビ ジ ヨ ン シ ス テ ムは、 液晶シ ャ ツ タ ア レ イ 1 2 を介して対象 物 2 0 例えばコ ネ ク タ に光を投射するためのス ラ イ ドブ 口 ジ ヱ ク 夕 1 1 と、 シ ャ ツ タ ア レ イ 1 2 の作動を制御す る ための液晶コ ン ト ロ ー ラ 1 3 と、 プロ ジ ェ ク タ 1 1 カ> ら離隔 して配されたカ メ ラ 1 4 と、 これら要素 1 1 , 1 3 及び 1 4 の夫々 の作動を制御するための画像処理装置 1 5 とを備えてい る。 又、 ビ ジ ョ ン シ ス テ ムは、 画像を 画面上に表示するためのモ ニ タ テ レ ビ 1 6 及びデータ入 力用の対話型シ ス テ ムタ ー ミ ナル 1 7 を備えている。 対 象物 2 0 は、 カ メ ラ 1 4 の視野内で種々 の姿勢を と る。

液晶シ ャ ツ タ ア レイ 1 2 は、 夫々水平に延びる複数例 えば 1 2 8 個の帯状セ グメ ン ト に区分した液晶面 （図示 略） と、 液晶セ グ メ ン ト と同数の電極 （図示略） とを有 し、 駆動電圧を印加した電極に対応する液晶セ グメ ン ト を通してプロ ジ - ク タ 1 1 からの光を対象物 2 0側に透 過させる よう にな つている。 そ して、 画像処理装置 1 5 の制御下でプロ ジ ュ ク タ 1 1 'がオ ン作動する と共にグ レ イ コ ー ドに従って コ ー ドィヒされたパタ ー ンデータが画像 ^理装置 1 5 カゝら コ ン ト ロ ー ラ 1 3 に送出されたと き、 コ ン ト ロ ー ラ 1 3 の制御下で液晶シ ャ ツ タ ア レイ 1 2 の 電極の対応する も のに駆動電圧が印力 Qされ、 プロ ジュ ク タ 1 1 か らの光がパタ ー ンデータ に対応する液晶セグメ ン ト を透過し、 も って、 グ レイ コ ー ドに従ってコ ー ド化 されたパタ — ン光 （日本国特開昭 6 0 — 1 5 2 9 0 3号 を参照） が発生するよ う になっている。

又、 帯状パタ ー ンを表す別のパタ ー ンデー タが画像処 理装置 1 5 から コ ン ト ロ ー ラ 1 3 に送出されたと き、 液 曰 シ ャ ツ タ ア レ イ 1 2 はプロ ジュ ク タ 1 1 と協働して幅 広の帯状光を発生するよ う になっている。 更に、 反転パ タ ー ンデータ の送出時、 シ ャ ッ タ ア レ イ 1 2 は帯状光の 明暗を反転したパタ ー ン光を発生するよ う に されている。

画像処理装置 1 5 は、 シ ャ ツ タ ア レイ 1 2 を介するプ 口 ジヱ ク タ 1 1 力ゝ らのパタ ー ン光， 帯状光又は反転パ夕 - ン光の投射時或は非投射時におけ る対象物 2 0 の画像 を表すカ メ ラ 1 4 からの映像信号を入力して画像処理を 行い、 処理結果をフ レー ム メ モ リ 1 5 a の対応する一つ に格納するよ う になっている。

以下、 上述の構成の 3 次元ビ ジ ョ ン シス テ ムの作動を 説明する。

ビ ジ ョ ン シ ス テ ムを実際に作動させる前に、 液晶シ ャ ッ タ ア レ イ 1 2 を装着したス ラ イ ドブロ ジュ ク タ 1 1 及 びカ メ ラ 1 4 を所定の位置関係に配設する と共にカ メ ラ 1 4 の視野内に対象物 2 0 に対応するキ ヤ リ ブレー シ ョ 一 - ン用対象物を配置 した後、 従来公知のよ う に、 ビ ジ ョ ン シ ス テ ム のキ ヤ リ ブ レー シ ョ ンを行 う。

次に、 ビ ジ ョ ン シ ス テ ムを作動さ せて対象物認識処理 に用いる モデルデータを作成する。 こ のため、 先ず、 力 メ ラ 1 4 の視野内に対象物 2 0 が特定の姿勢で所定位置 に配される。 次いで、 画像処理装置 1 5 は、 対象物 2 0 に光を投射しない と きの対象物の画像をカ メ ラ 1 4 を介 して入力 し、 フ レ 一 ム メ モ リ 1 5 a の一つ に格納する。 そ して、 才 ペ レ 一 夕 に よ る シ テ ム タ ー ミ ナ ル 1 7 の操 作に応じて、 コ ー ドィ匕した第 1 のパタ ー ンデータが画像 処理装置 1 5 から液晶コ ン ト ロ ー ラ 1 3 に送出される。 パタ ー ンデー タ の入力に応 じてコ ン ト ロー ラ 1 3 の制御 下で液晶 シ ャ ツ 夕 ア レ イ 1 2 の電極の対応する も のに駆 動電圧が印加され、 シ ャ ッ タ ア レ イ 1 2 の、 これら電極 に対応する液晶セ グメ ン ト が光透過状態にな り、 その他 のセ グ メ ン トが光遮断状態になる。 結果と して、 シ ャ ッ 夕 ア レ イ 1 2 を介してプ ロ ジ ェ ク タ 1 1 から対象物 2 0 にパ夕 一 ンデー タ に対応するパタ ー ン光が投射される。 そ して、 画像処理装置 1 5 の制御下で作動するカ メ ラ 1 4 によ り対象物 2 0 が撮像され、 対象物 2 0 及びその周 辺の画像 （パタ ー ン画像） を表す映像信号がカ メ ラ 1 4 から画像処理装置 1 5 に送出される。 画像処理装置 1 5 は、 パタ ー ン画像から光非投射時の画像を画素毎に引算 してバッ ク グラ ン ドノ イ ズを除去したパタ ー ン画像を生 成し、 こ れを 2 値化してフ レ ー ム メ モ リ 1 5 a の一つに 格納する。

次いで、 第 2 〜第 n のパタ ー ンデ一タ についても同様 の処理を行い、 n 種類の 2 値化されたパタ ー ン画像を得 る。 これらの 2値化パタ ー ン画像を前述の曰本国特開昭 6 0 — 1 5 2 9 0 3号公報に述べられている よ う に組み 台わせる こ とによ り第 3 図に示されている よ うな空間コ 一 ド化画像を得る こ とができ る。 第 3 図に実線で示すパ タ ー ン線は、 隣接する空間コ ー ド と の境界を表す。

次に、 画像処理装置.1 5 は、 オ ペ レー タ と協働して、 特定の姿勢の対象物 2 0 を特定する ためのモデルデ— 夕 を空間コ ー ド化画像から抽出する。 こ のため、 オペ レー 夕 は、 画像処理装置 1 5 の制御下でモ ニ タ テ レ ビ 1 6上 に表示された空間コ ー ドの境界線を抽出した多重ス リ ッ ト画像を参照しつつ シ ス テ ムタ ー ミ ナ ル 1 7 を操作して、 多重ス リ ッ ト画像の一部をなす画像要素例えば第 4図に 示す符号 A, B及び Cに沿って延びるパタ ー ン要素曲線 をテ レ ビ画面上で指定する。 こ のパタ ー ン要素曲線は、 点 Aにおいて y軸正方向にステ ツ プ状に変化し、 X y平 面上において傾き 0 1 (図示略） で点 Aから点 B まで斜 め上方に延び、 点 B においてルー フ状 （上に凸） に変化 する。 そ して、 こ の曲線は、 点 Bか ら点 C ま で傾き 0 2

(図示略） で斜め下方に延び、 点 C において y軸負方向 に ス テ ッ プ状に変化する。

画像処理装置 1 5 は、 プロ ジェ ク タ 1 1 , カ メ ラ 1-4 及び対象物 2 0 の配置関係に応じて定ま る既知の幾何学 的パ ラ メ ー タ （ プ ロ ジ ェ ク タ 1 1 と カ メ ラ 1 4 間距離， 両要素 1 1 , 1 4 を結ぶ直線と対象物 2 0 の検出対象部 位とプロ ジェ ク タ 1 1 とを結ぶ直線とがなす角度および 要素 1 1 , 1 4 を結ぶ直線と検出対象部位と カ メ ラ 1 4 とを結ぶ直線とがなす角度） に基づいて、 三角測量法で パタ ー ン要素曲線上の点 A， B及び C の ビ ジ ョ ン シ ス テ ム配設空間での位置を算出する。 次いで、 パタ ー ン要素 曲線すなわち対象物 2 0 を特定するためのモ デルデー タ を構成す る数値パラ メ ー タ （好ま し く は、 点 A及び点 C での ス テ ッ プ状変化量， 点 A と点 B 間距離， 点 B と点 C 間距離および傾き 0 1， e 2 ) を算出 し、 装置 1 5 に内 蔵のメ モ リ （図示略） に格納する。

次いで、 対象物 2 0 の姿勢を変化させつつ上述のモデ ルデ - タ生成， 格納処理を繰り返して、 対象物が幾つか の典型的な姿勢を と つ た と き のモ デルデ— 夕 を夫々 求め る

ロ ボ ッ ト又は検査シ ス テ ムの稼働時、 対象物 2 0 が力 メ ラ 1 4 の視野内に配され、 ビ ジ ョ ン シ ス テ ムは対象物 2 0 に向けてス リ ッ ト光を投射してス リ ッ ト光画像を生 成し、 これを解析 して対象物認識処理を行う。 本実施例 では、 曰本国特願昭 6 3 - 2 1 5 1 8号に開示の方法と 同様に、 帯状光とその明暗を反転した反転パタ ー ン光を 順次投射 し、 即ち、 等価的には 2 つのス リ ツ ト光を同時 に投射する。

詳 し く は、 画像処理装置 1 5 から液晶コ ン ト ロ ー ラ 1 3 に帯状パタ ー ン デー タ が送出される と、 コ ン ト ロ ー ラ 1 3 の制御下で液晶シ ャ ツ タ ア レ イ 1 2 の液晶セ グメ ン トの対応する ものが光透過状態にされ、 シ ャ ッ タ ア レイ と協働するプロ ジ ェ ク タ 1 1 から対象物 2 0 に帯状光が 投射される。 画像処理装置 1 5 は、 帯状光投射時の対象 物 2 0 の画像 （第 1 画像） をカ メ ラ 1 4 を介して入力し、 これを フ レ ー ム メ モ リ 1 5 a の一つ （第 1 フ レ一 ム メ モ リ） に格納する。 次に、 画像処理装置 1 5 か らコ ン ト 口 — ラ 1 3 に反転パタ ー ンデータ に送出される。 この結果、 対象物 2 0 に反転パタ ー ン光が投射され、 画像処理装置 1 5 の第 2 フ レ ー ム メ モ リ に反転パター ン光投射時の対 象物 2 0 の画像 （第 2 画像） が格納される。

画像処理装置 1 5 は、 第 1 画像か ら第 2 画像を画素毎 に引算 して第 1 差分画像を求めて第 3 フ レ ー ム メ モ リ に 格納し、 また、 第 2画像か ら第 1 画像を引算 して得た第 2差分画像を第 4 フ レー ム メ モ リ に格納する。 次いで、 第 1 差分画像をラ ス タ ス キ ャ ン して第 1 差分画像のス キ ヤ ン ラ イ ン毎の明暗変化点を求め、 当該明暗変化点に対 応する点の近傍の領域における第 2 差分画像の明暗変化 状態を判別する。 そ して、 第 1 差分画像が暗から明に変 化しかつ第 2差分画像が明から暗に変化する位置がある と判別したと き、 当該位置を第 5 フ レー ム メ モ リ に格納 する。 斯かる判別， 格納処理を繰り返し行って、 帯状光 の上緣に対応し第 5 図に符号 a 〜 e で示すス リ ッ ト光画 像を求める。 同様に、 第 1 差分画像が明から暗に変化し - - かつ第 2 差分画像が暗か ら明に変化する位置を順次判別 し、 帯状光の下縁に対応する ス リ ツ ト光画像 a ' 〜 e ， を求める。

そ して、 画像処理装置 1 5 は、 両ス リ ツ ト光画像上の 点 b， c , d , b '， c '及び d ' の ビ ジ ョ ン シ ス テ ム配. 設空間における位置を三角測量法で算出する。 更に、 こ れら算出値に基づいて、 両ス リ ツ ト光画像についての、 モデルデータ に対応する照合デー タ を構成する数値パラ メ — 夕 （点 b ， bノ ¾び点 d ， d ' での ス テ ッ プ状変化 量， 点 b， b " と点 c， c ' 間距離， 点 c， c ' と点 d， d ' 間距離な らびに線 b c， ¹ c ' , c d及び c ' d ' の傾き） を算出 し、 内蔵の メ モ リ に格納する。 次いで、 画像処理装置 1 5 は、 照合デ - タがいずれかのモデルデ ー タ に合致するか否かを判別する。 好ま し く は、 照合デ — 夕 の距離ノ、。ラ メ 一 タ b c， b ' c ' とモデルデ一 タ の 距離パラ メ 一 タ A B との差および距離パラ メ 一タ c d , c * d ' と距離パ ラ メ ー タ B C と の差の双方が許容誤差 範囲内に入るか否かを判別 し、 判別結果が肯定であれば 照合デ— 夕 とモ デルデー タ とが合致 し、 従っ て、 対象物 2 0 が当該モデルデ―タ によ り表される姿勢をと つてい る と判別する。 なお、 距離パラ メ ー タ b e , b ' c ' お よ び線 b e , b " c ' の傾きは対象物 2 0 の姿勢に応じ て変化するので、 これらパ ラ メ ー タ か ら も対象物 2 0 の 姿勢を決定可能である。

次いで、 必要な らば、 第 5 図の線 b e ' と線 b ' c と の交点において対象物 2 0 の光投射面に立てた法線上に カ メ ラ 1 4 を移動させた後、 画像処理装置 1 5 はカ メ ラ を介して取り込んだ画像を処理して対象物 2 0 の ビジ ョ ン シ ス テ ム配設空間における位置， 姿勢と く に当該空間 内での対象物の y軸方向位置を計測する。

—方、 照合デー タ がモ デルデー タ のいずれと も合致し ない場合、 画像処理装置 1 5 から液晶コ ン ト ロ ー ラ 1 3 に新たな帯状パタ一ンデ— タ及び新たな反転パ夕一ンデ - 夕が順次送出され、 対象物 2 0 の別の部位に帯状光及 び反転パタ ー ン光が順次投射され、 上述の照合処理が行 われる。

Claims

請 求 の 範 囲

1 . 特定の姿勢を と る対象物にコ - ド化された複数のパ タ ー ン光を投射 して得た前記対象物の画像から、 前記 特定の姿勢の対象物を特定するに足るモ デルデータを 抽出する工程 （ a ) と、

ス リ ッ ト光を前記対象物に投射 したと き の前記対象 物の画像から、 前記対象物を特定する に足る照合デー 夕 'を抽出する工程 （ b ) と、

前記照合デー タ と前記モデルデー タ とが合致するか 否かを判別する工程 （ c ) とを備える対象物認識方法。

2 . 前記工程 （ a ) において、 前記パタ ー ン光投射時の 前記対象物の画像から当該画像の一部をなすパタ ー ン 画像要素を選択 し、 当該選択パタ ー ン画像要素から前 記モ デルデー タ を抽出する請求の範囲第 1 項記載の対 象物認識方法。 .

3 . 前記工程 （ b ) において、 前記対象物の前記ス リ ツ ト光投射部位の画像に基づいて前記照合データを抽出 する請求の範囲第 1 項記載の対象物認識方法。

4 . 前記モデルデータ は、 前記パタ ー ン画像要素の両端 間距離を表す数値パ ラ メ ー タを含む請求の範囲第 2項 記載の対象物認識方法。

5 . 前記照合デー タ は、 前記対象物の前記ス リ ッ ト光投 射部位の画像の両端間距離を表す数値パラ メ ー タを含 む請求の範囲第 3項記載の対象物認識方法。