JP2000293695A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2000293695A JP2000293695A JP11101885A JP10188599A JP2000293695A JP 2000293695 A JP2000293695 A JP 2000293695A JP 11101885 A JP11101885 A JP 11101885A JP 10188599 A JP10188599 A JP 10188599A JP 2000293695 A JP2000293695 A JP 2000293695A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- teaching model
- image processing
- workpieces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 山積みされた同一形状の対象物（ワークピー
ス）の個々の位置姿勢を検出することができる画像処理
装置を得る。 【解決手段】 ワークピースを複数の方向からカメラで
撮像した２次元画像から教示モデルを生成して記憶し、
ワークピースとカメラの相対位置姿勢を対応して記憶す
る。カメラでワークピースの山を撮像し２次元画像を得
る。そのときのカメラの位置姿勢を記憶する（２００〜
２０２）。教示モデルと撮像した２次元画像でマッチン
グ処理を行い適合した教示モデルを求める（２０３〜２
０７）。求めた教示モデルのワークピースとカメラの相
対位置姿勢と撮像したときのカメラの位置姿勢よりワー
クピースの３次元位置姿勢を得る（２０８，２０９）。
この位置姿勢に基づきワークピースをロボットでピッキ
ングする（２１０）。山積みされたワークピースでもロ
ボットで自動的にピッキングできる。
ス）の個々の位置姿勢を検出することができる画像処理
装置を得る。 【解決手段】 ワークピースを複数の方向からカメラで
撮像した２次元画像から教示モデルを生成して記憶し、
ワークピースとカメラの相対位置姿勢を対応して記憶す
る。カメラでワークピースの山を撮像し２次元画像を得
る。そのときのカメラの位置姿勢を記憶する（２００〜
２０２）。教示モデルと撮像した２次元画像でマッチン
グ処理を行い適合した教示モデルを求める（２０３〜２
０７）。求めた教示モデルのワークピースとカメラの相
対位置姿勢と撮像したときのカメラの位置姿勢よりワー
クピースの３次元位置姿勢を得る（２０８，２０９）。
この位置姿勢に基づきワークピースをロボットでピッキ
ングする（２１０）。山積みされたワークピースでもロ
ボットで自動的にピッキングできる。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元的に位置姿
勢が未知な対象物の３次元位置姿勢を検出する画像処理
装置に関する。特に、ロボット等の産業機械によって、
山積みされたワークピースを１つ１つ取り出すビンピッ
キング作業分野に適用される画像処理装置に関する。
勢が未知な対象物の３次元位置姿勢を検出する画像処理
装置に関する。特に、ロボット等の産業機械によって、
山積みされたワークピースを１つ１つ取り出すビンピッ
キング作業分野に適用される画像処理装置に関する。
【０００２】
【従来の技術】同一形状のワークピースが乱雑に山積み
された中から、又は、所定領域内に３次元的に異なる任
意の位置姿勢で収納されているワークピースの集合から
個々のワークピースを取出す作業は人手によって行われ
ている。ロボット（専用機）を使用してワークピースを
他パレット等の他のものに収納したり、機械や装置等の
所定位置に搬送するような場合においても、乱雑に山積
みされたワークピースから１つ１つをロボット（専用
機）が直接ワークピースを取り出すことができないこと
から、予めロボット（専用機）で取り出せるようにワー
クピースを整列させておく必要がある。この場合にも山
積みされたワークピースから人手によって１つ１つ取り
出し整列配置する必要があった。
された中から、又は、所定領域内に３次元的に異なる任
意の位置姿勢で収納されているワークピースの集合から
個々のワークピースを取出す作業は人手によって行われ
ている。ロボット（専用機）を使用してワークピースを
他パレット等の他のものに収納したり、機械や装置等の
所定位置に搬送するような場合においても、乱雑に山積
みされたワークピースから１つ１つをロボット（専用
機）が直接ワークピースを取り出すことができないこと
から、予めロボット（専用機）で取り出せるようにワー
クピースを整列させておく必要がある。この場合にも山
積みされたワークピースから人手によって１つ１つ取り
出し整列配置する必要があった。
【０００３】
【発明が解決しようとする課題】同一形状のワークピー
スが山積みされた中から、又は対象のワークピースが所
定領域内に３次元的に異なる任意の位置姿勢で収納され
ている中から個々のワークピースをロボット（専用機）
で取り出すことができない理由は、山積みされたワーク
ピースの位置姿勢を把握できないことから、ロボット
（専用機）を個々のワークピースを把持できる位置姿勢
に制御することができないことに起因する。
スが山積みされた中から、又は対象のワークピースが所
定領域内に３次元的に異なる任意の位置姿勢で収納され
ている中から個々のワークピースをロボット（専用機）
で取り出すことができない理由は、山積みされたワーク
ピースの位置姿勢を把握できないことから、ロボット
（専用機）を個々のワークピースを把持できる位置姿勢
に制御することができないことに起因する。
【０００４】そこで、本発明の課題は、山積みされ若し
くは所定領域内に３次元的に異なる任意の位置姿勢で収
納されている対象物（ワークピース）に対して、その対
象物の位置姿勢を検出することができる画像処理装置を
得ることにある。
くは所定領域内に３次元的に異なる任意の位置姿勢で収
納されている対象物（ワークピース）に対して、その対
象物の位置姿勢を検出することができる画像処理装置を
得ることにある。
【０００５】
【課題を解決するための手段】請求項１に係わる発明の
画像処理装置は、基準対象物の画像データから教示モデ
ルを作り、前記基準対象物と同一形状の対象物を含む画
像データをデータ取込み手段により取り込んで、前記教
示モデルと前記対象物を含む画像データとのマッチング
を行う画像処理装置であって、データ取込み手段により
前記基準対象物の画像データを複数の方向から捕らえ、
捕らえた方向毎に教示モデルを作り、この作られた教示
モデルを前記方向の情報と対応付けて記憶手段に記憶し
ておき、前記対象物を含む画像データに対し、前記教示
モデルとのマッチングを行って、適合する教示モデルを
選択する手段と、前記画像データにおける前記対象物の
位置情報又は姿勢情報を得る手段とを備え、さらに、前
記位置情報又は前記姿勢情報、及び前記選択した教示モ
デルに対応付けられた情報に基づいて、前記対象物の方
向、又は位置と方向を求める手段とを備えたものであ
る。
画像処理装置は、基準対象物の画像データから教示モデ
ルを作り、前記基準対象物と同一形状の対象物を含む画
像データをデータ取込み手段により取り込んで、前記教
示モデルと前記対象物を含む画像データとのマッチング
を行う画像処理装置であって、データ取込み手段により
前記基準対象物の画像データを複数の方向から捕らえ、
捕らえた方向毎に教示モデルを作り、この作られた教示
モデルを前記方向の情報と対応付けて記憶手段に記憶し
ておき、前記対象物を含む画像データに対し、前記教示
モデルとのマッチングを行って、適合する教示モデルを
選択する手段と、前記画像データにおける前記対象物の
位置情報又は姿勢情報を得る手段とを備え、さらに、前
記位置情報又は前記姿勢情報、及び前記選択した教示モ
デルに対応付けられた情報に基づいて、前記対象物の方
向、又は位置と方向を求める手段とを備えたものであ
る。
【０００６】請求項２に係わる発明は、前記画像処理さ
れる画像データが、カメラで撮影された画像から作成さ
れているものであり、請求項３に係わる発明は、前記画
像処理される画像データが、対象物からデータ取込み手
段までの距離の２次元配列、その２次元配列のある部
分、複数の距離の集合からなるものである。又、請求項
４に係わる発明は、教示モデルのための画像データは別
の場所で採取され、本画像処理装置までオンライン又は
オフラインで供給されるものであること。請求項５に係
わる発明は、前記データ取込み手段がロボットに取り付
けられていることを特徴とするものである。
れる画像データが、カメラで撮影された画像から作成さ
れているものであり、請求項３に係わる発明は、前記画
像処理される画像データが、対象物からデータ取込み手
段までの距離の２次元配列、その２次元配列のある部
分、複数の距離の集合からなるものである。又、請求項
４に係わる発明は、教示モデルのための画像データは別
の場所で採取され、本画像処理装置までオンライン又は
オフラインで供給されるものであること。請求項５に係
わる発明は、前記データ取込み手段がロボットに取り付
けられていることを特徴とするものである。
【０００７】
【発明の実施の形態】本発明の一実施形態としてロボッ
トシステムによって構成した例を以下説明する。本実施
形態では、図１に示すように、認識対象物である同一形
状のワークピースＷが多数山積みされている状態で、こ
の山をロボット手首先端に取り付けられたデータ取込み
手段としての撮像デバイス（カメラ又は視覚センサ等）
２０にて撮像し、撮像された画像に基づいて、個々のワ
ークピースＷの位置姿勢を検出するものである。そのた
めに、予め取り出そうとするワークピースＷの１つを基
準対象物とし、この基準対象物のワークピースＷに対し
て、撮像デバイス２０で複数の方向から撮像し、この撮
像で得られた画像データから対象物を教示モデルとして
記憶しておき、ワークピースＷの山を撮像しその画像に
対して教示モデルとマッチング処理を行い、マッチング
値に基づいて教示モデルを選択し、選択した教示モデル
と画像視野における対象物の位置に基づいて各ワークピ
ースの位置姿勢を求めるようにしたものである。
トシステムによって構成した例を以下説明する。本実施
形態では、図１に示すように、認識対象物である同一形
状のワークピースＷが多数山積みされている状態で、こ
の山をロボット手首先端に取り付けられたデータ取込み
手段としての撮像デバイス（カメラ又は視覚センサ等）
２０にて撮像し、撮像された画像に基づいて、個々のワ
ークピースＷの位置姿勢を検出するものである。そのた
めに、予め取り出そうとするワークピースＷの１つを基
準対象物とし、この基準対象物のワークピースＷに対し
て、撮像デバイス２０で複数の方向から撮像し、この撮
像で得られた画像データから対象物を教示モデルとして
記憶しておき、ワークピースＷの山を撮像しその画像に
対して教示モデルとマッチング処理を行い、マッチング
値に基づいて教示モデルを選択し、選択した教示モデル
と画像視野における対象物の位置に基づいて各ワークピ
ースの位置姿勢を求めるようにしたものである。
【０００８】図３は、本実施形態において用いるロボッ
トＲＢの制御装置１０の要部ブロック図であり、従来の
ロボット制御装置と同一構成である。符号８で示される
バスに、メインプロセッサ（以下単にプロセッサとい
う。）１、ＲＡＭ、ＲＯＭ、不揮発性メモリ（ＥＥＰＲ
ＯＭなど）からなるメモリ２、教示操作盤用インターフ
ェイス３，外部装置用のインターフェイス６、本発明の
画像処理装置との通信インターフェイス７及びサーボ制
御部５が接続されている。又、教示操作盤用インターフ
ェイス３には教示操作盤４が接続されている。
トＲＢの制御装置１０の要部ブロック図であり、従来の
ロボット制御装置と同一構成である。符号８で示される
バスに、メインプロセッサ（以下単にプロセッサとい
う。）１、ＲＡＭ、ＲＯＭ、不揮発性メモリ（ＥＥＰＲ
ＯＭなど）からなるメモリ２、教示操作盤用インターフ
ェイス３，外部装置用のインターフェイス６、本発明の
画像処理装置との通信インターフェイス７及びサーボ制
御部５が接続されている。又、教示操作盤用インターフ
ェイス３には教示操作盤４が接続されている。
【０００９】ロボットＲＢ及びロボット制御装置１０の
基本機能をささえるシステムプログラムは、メモリ２の
ＲＯＭに格納されている。又、アプリケーションに応じ
て教示されるロボットの動作プログラム並びに関連設定
データは、メモリ２の不揮発性メモリに格納される。そ
して、メモリ２のＲＡＭは、プロセッサ１が行う各種演
算処理におけるデータの一時記憶の記憶領域として使用
される。
基本機能をささえるシステムプログラムは、メモリ２の
ＲＯＭに格納されている。又、アプリケーションに応じ
て教示されるロボットの動作プログラム並びに関連設定
データは、メモリ２の不揮発性メモリに格納される。そ
して、メモリ２のＲＡＭは、プロセッサ１が行う各種演
算処理におけるデータの一時記憶の記憶領域として使用
される。
【００１０】サーボ制御部５は、サーボ制御器５a1〜５
an（ｎ：ロボットの総軸数にロボット手首に取り付ける
ツールの可動軸数を加算した数）を備えており、プロセ
ッサ、ＲＯＭ、ＲＡＭ等で構成され、各軸を駆動するサ
ーボモータの位置・速度のループ制御、さらには電流ル
ープ制御を行っている。いわゆる、ソフトウエアで位
置、速度、電流のループ制御を行うデジタルサーボ制御
器を構成している。サーボ制御器５a1〜５anの出力は各
サーボアンプ５b1〜５bnを介して各軸サーボモータＭ１
〜Ｍｎを駆動制御する。なお、図示はしていないが、各
サーボモータＭ１〜Ｍｎには位置・速度検出器が取り付
けられており、該位置・速度検出器で検出した各サーボ
モータの位置、速度は各サーボ制御器５a1〜５anにフィ
ードバックされるようになっている。又、入出力インタ
ーフェイス６には、ロボットに設けられたセンサや周辺
機器のアクチュエータやセンサが接続されている。
an（ｎ：ロボットの総軸数にロボット手首に取り付ける
ツールの可動軸数を加算した数）を備えており、プロセ
ッサ、ＲＯＭ、ＲＡＭ等で構成され、各軸を駆動するサ
ーボモータの位置・速度のループ制御、さらには電流ル
ープ制御を行っている。いわゆる、ソフトウエアで位
置、速度、電流のループ制御を行うデジタルサーボ制御
器を構成している。サーボ制御器５a1〜５anの出力は各
サーボアンプ５b1〜５bnを介して各軸サーボモータＭ１
〜Ｍｎを駆動制御する。なお、図示はしていないが、各
サーボモータＭ１〜Ｍｎには位置・速度検出器が取り付
けられており、該位置・速度検出器で検出した各サーボ
モータの位置、速度は各サーボ制御器５a1〜５anにフィ
ードバックされるようになっている。又、入出力インタ
ーフェイス６には、ロボットに設けられたセンサや周辺
機器のアクチュエータやセンサが接続されている。
【００１１】図４は、ロボット制御装置１０のインター
フェイス７に接続される画像処理装置３０のブロック図
で、従来の画像処理装置の構成と同一構成である。プロ
セッサ３１を備え、該プロセッサ３１にはバス４０を介
してこのプロセッサ３１が実行するシステムプログラム
等を記憶するＲＯＭ３２、画像処理プロセッサ３３、撮
像デバイス２０に接続された撮像デバイスインターフェ
イス３４、各種指令やデータを入出力するためのＣＲＴ
や液晶等の表示手段付ＭＤＩ３５、フレームメモリ３
６、不揮発性メモリ３７，データの一時記憶等に利用さ
れるＲＡＭ３８、ロボット制御装置に接続された通信イ
ンターフェイス３９が接続されている。カメラ２０で撮
像された画像は、画像メモリ２６に格納される。画像処
理プロセッサ３３は、画像メモリに格納された画像をプ
ロセッサ３１の指令により画像処理して対象物を認識す
る。この画像処理装置３０の構成、作用は従来の画像処
理装置と同一であり差異はないが、本発明に関連し、不
揮発性メモリ３７に後述する教示モデルが記憶されるこ
と、及びこの教示モデルを用いて撮像デバイス２０で撮
像したワークピースＷの山の画像に対してパターンマッ
チング処理を行い、ワークピースＷの位置姿勢を求める
点が相違するのみである。
フェイス７に接続される画像処理装置３０のブロック図
で、従来の画像処理装置の構成と同一構成である。プロ
セッサ３１を備え、該プロセッサ３１にはバス４０を介
してこのプロセッサ３１が実行するシステムプログラム
等を記憶するＲＯＭ３２、画像処理プロセッサ３３、撮
像デバイス２０に接続された撮像デバイスインターフェ
イス３４、各種指令やデータを入出力するためのＣＲＴ
や液晶等の表示手段付ＭＤＩ３５、フレームメモリ３
６、不揮発性メモリ３７，データの一時記憶等に利用さ
れるＲＡＭ３８、ロボット制御装置に接続された通信イ
ンターフェイス３９が接続されている。カメラ２０で撮
像された画像は、画像メモリ２６に格納される。画像処
理プロセッサ３３は、画像メモリに格納された画像をプ
ロセッサ３１の指令により画像処理して対象物を認識す
る。この画像処理装置３０の構成、作用は従来の画像処
理装置と同一であり差異はないが、本発明に関連し、不
揮発性メモリ３７に後述する教示モデルが記憶されるこ
と、及びこの教示モデルを用いて撮像デバイス２０で撮
像したワークピースＷの山の画像に対してパターンマッ
チング処理を行い、ワークピースＷの位置姿勢を求める
点が相違するのみである。
【００１２】撮像デバイス２０は、後述するように画像
データを得るものであるが、この撮像デバイス２０とし
ては、２次元画像を得るＣＣＤカメラでも、又、距離デ
ータを測定できる視覚センサでもよい。ＣＣＤカメラの
場合には撮像して得られた２次元画像より画像データを
従来から公知の方法で得るが、距離データを測定できる
視覚センサの場合は、センサと対象物との距離データを
要素とした２次元配列データを画像データとして得るも
のである。この距離データを測定できる視覚センサは、
例えば、特開平７−２７０１３７号公報に記載されたス
ポット光走査型３次元視覚センサ等で公知であるので、
簡単にこの３次元視覚センサについて述べる。
データを得るものであるが、この撮像デバイス２０とし
ては、２次元画像を得るＣＣＤカメラでも、又、距離デ
ータを測定できる視覚センサでもよい。ＣＣＤカメラの
場合には撮像して得られた２次元画像より画像データを
従来から公知の方法で得るが、距離データを測定できる
視覚センサの場合は、センサと対象物との距離データを
要素とした２次元配列データを画像データとして得るも
のである。この距離データを測定できる視覚センサは、
例えば、特開平７−２７０１３７号公報に記載されたス
ポット光走査型３次元視覚センサ等で公知であるので、
簡単にこの３次元視覚センサについて述べる。
【００１３】この視覚センサは、２台のスキャナによっ
て任意の方向（Ｘ方向、Ｙ方向）にスポット状の光を照
射して対象物上に照射された光ビームを、位置検出型の
検出器（ＰＳＤ）で測定することによって光ビームの位
置を計測するものである。２台のスキャナのミラーの偏
向角度θx、θyとＰＳＤ上の受光位置からビームが照射
された対象物の３次元位置から計算して求められるもの
である。
て任意の方向（Ｘ方向、Ｙ方向）にスポット状の光を照
射して対象物上に照射された光ビームを、位置検出型の
検出器（ＰＳＤ）で測定することによって光ビームの位
置を計測するものである。２台のスキャナのミラーの偏
向角度θx、θyとＰＳＤ上の受光位置からビームが照射
された対象物の３次元位置から計算して求められるもの
である。
【００１４】この３次元視覚センサを用いて、画像デー
タとして、距離データを要素とする２次元配列データを
得る方法について、図７から図９を参照しながら簡単に
説明する。
タとして、距離データを要素とする２次元配列データを
得る方法について、図７から図９を参照しながら簡単に
説明する。
【００１５】対象物に対する走査範囲（計測範囲）が予
め決められており、スキャナのミラーの偏向角度θx、
θyをディスクリートに制御して、図７に示すように、
この走査範囲のＸ、Ｙ平面における点（１，１）から点
（１，ｎ）、点（２，１）から点（２，ｎ）、・・・点
（ｍ，１）から点（ｍ，ｎ）と走査して各点における３
次元位置を測定し、各点（ｉ、ｊ）におけるこのセンサ
とビームが照射された点の対象物間の距離Ｚ（ｉ、ｊ）
を求め、画像処理装置３０のＲＡＭ３８に格納する。こ
うして、画像データを、図８に示すようなセンサと対象
物に照射されたビームの点間の距離データＺ（ｉ、ｊ）
を要素とする２次元配列データとして得る。
め決められており、スキャナのミラーの偏向角度θx、
θyをディスクリートに制御して、図７に示すように、
この走査範囲のＸ、Ｙ平面における点（１，１）から点
（１，ｎ）、点（２，１）から点（２，ｎ）、・・・点
（ｍ，１）から点（ｍ，ｎ）と走査して各点における３
次元位置を測定し、各点（ｉ、ｊ）におけるこのセンサ
とビームが照射された点の対象物間の距離Ｚ（ｉ、ｊ）
を求め、画像処理装置３０のＲＡＭ３８に格納する。こ
うして、画像データを、図８に示すようなセンサと対象
物に照射されたビームの点間の距離データＺ（ｉ、ｊ）
を要素とする２次元配列データとして得る。
【００１６】図９は、この画像データを得るための画像
処理装置３０のプロセッサ３１が実行する処理のフロー
チャートである。まず、指標ｉ、ｊを「１」にセットし
（ステップ３００）、予め決められた計測範囲の始点ｙ
１，ｘ１（図７における点（１，１））に対応するミラ
ーの偏向角度θx、θyをセンサ２０に送出し照射指令を
出力する（ステップ３０１〜３０３）、センサ２０は、
ミラーをこの偏向角度に設定し、光ビームを照射する。
そしてＰＳＤで得られた信号を画像処理装置３０に出力
する。画像処理装置３０のプロセッサ３１は、このＰＳ
Ｄからの信号と指令したミラーの偏向角度θx、θyよ
り、対象物に照射されたビームの位置を計算し、このセ
ンサとこのビームが照射された位置との距離Ｚ（ｉ、
ｊ）を計算し、この値をＲＡＭ２８に２次元配列データ
［ｉ、ｊ］として格納する（ステップ３０４，３０
５）。なお、対象物に照射されたビームの位置を計算し
及び距離Ｚ（ｉ、ｊ）の計算をセンサ２０側で行うよう
にしてもよい。
処理装置３０のプロセッサ３１が実行する処理のフロー
チャートである。まず、指標ｉ、ｊを「１」にセットし
（ステップ３００）、予め決められた計測範囲の始点ｙ
１，ｘ１（図７における点（１，１））に対応するミラ
ーの偏向角度θx、θyをセンサ２０に送出し照射指令を
出力する（ステップ３０１〜３０３）、センサ２０は、
ミラーをこの偏向角度に設定し、光ビームを照射する。
そしてＰＳＤで得られた信号を画像処理装置３０に出力
する。画像処理装置３０のプロセッサ３１は、このＰＳ
Ｄからの信号と指令したミラーの偏向角度θx、θyよ
り、対象物に照射されたビームの位置を計算し、このセ
ンサとこのビームが照射された位置との距離Ｚ（ｉ、
ｊ）を計算し、この値をＲＡＭ２８に２次元配列データ
［ｉ、ｊ］として格納する（ステップ３０４，３０
５）。なお、対象物に照射されたビームの位置を計算し
及び距離Ｚ（ｉ、ｊ）の計算をセンサ２０側で行うよう
にしてもよい。
【００１７】次に指標ｉを「１」インクリメントし、Ｘ
軸方向走査のミラーの偏差角度θｘを設定所定量Δｘだ
け増加させ（ステップ３０６，３０７）、指標ｉが設定
値ｎを越えたか判断し（ステップ３０８）、越えてなけ
ればステップ３０３に戻り、該ステップ３０３からステ
ップ３０８の処理を行い次の点の距離Ｚ（ｉ、ｊ）を求
める。以下、指標ｉが設定値ｎを越えるまでステップ３
０３〜ステップ３０８の処理を実行し、図７における点
（１，１）から点（１，ｎ）までの各点における距離Ｚ
（ｉ、ｊ）を求めて記憶する。
軸方向走査のミラーの偏差角度θｘを設定所定量Δｘだ
け増加させ（ステップ３０６，３０７）、指標ｉが設定
値ｎを越えたか判断し（ステップ３０８）、越えてなけ
ればステップ３０３に戻り、該ステップ３０３からステ
ップ３０８の処理を行い次の点の距離Ｚ（ｉ、ｊ）を求
める。以下、指標ｉが設定値ｎを越えるまでステップ３
０３〜ステップ３０８の処理を実行し、図７における点
（１，１）から点（１，ｎ）までの各点における距離Ｚ
（ｉ、ｊ）を求めて記憶する。
【００１８】ステップ３０８で指標ｉが設定値ｎを越え
たことが判別されると、指標ｉを「１」にセットしかつ
指標ｊを「１」インクリメントして、Ｙ軸方向走査のミ
ラーの偏差角度θｙを設定所定量Δｙだけ増加させる
（ステップ３０９〜３１１）。そして、指標ｊが設定値
ｍを越えたか判断し（ステップ３１２）、越えてなけれ
ばステップ３０２に戻り前述したステップ３０２以下の
処理を実行する。
たことが判別されると、指標ｉを「１」にセットしかつ
指標ｊを「１」インクリメントして、Ｙ軸方向走査のミ
ラーの偏差角度θｙを設定所定量Δｙだけ増加させる
（ステップ３０９〜３１１）。そして、指標ｊが設定値
ｍを越えたか判断し（ステップ３１２）、越えてなけれ
ばステップ３０２に戻り前述したステップ３０２以下の
処理を実行する。
【００１９】このようにして、指標ｊが設定値ｍを越え
るまでステップ３０２〜３１２の処理を繰り返し実行す
る。指標ｊが設定値ｍを越えると、図７に示す計測範囲
（走査範囲）を全て計測したことになり、ＲＡＭ２８に
は、２次元配列データである距離データＺ（１、１）〜
Ｚ（ｍ、ｎ）が記憶され、画像データ取得処理は終了す
る。指標ｉに対し、適当に距離の測定を省くことによっ
て、２次元配列の画像データの部分、あるいは複数の距
離データの集合を得ることができる。
るまでステップ３０２〜３１２の処理を繰り返し実行す
る。指標ｊが設定値ｍを越えると、図７に示す計測範囲
（走査範囲）を全て計測したことになり、ＲＡＭ２８に
は、２次元配列データである距離データＺ（１、１）〜
Ｚ（ｍ、ｎ）が記憶され、画像データ取得処理は終了す
る。指標ｉに対し、適当に距離の測定を省くことによっ
て、２次元配列の画像データの部分、あるいは複数の距
離データの集合を得ることができる。
【００２０】以上が、距離データを測定できる視覚セン
サによる画像データとしての２次元配列データを得る処
理である。こうして得られた２次元配列データを画像デ
ータとして用い、教示モデルの作成及び対象物の位置、
姿勢（方向）を検出するようにしてもよいが、説明を簡
単にするために、画像データを取り込むためのデータ取
込み手段としての撮像デバイスにＣＣＤカメラを用い
て、このカメラ２０で対象物を撮像して得られた画像デ
ータを用いるものとして以下説明する。
サによる画像データとしての２次元配列データを得る処
理である。こうして得られた２次元配列データを画像デ
ータとして用い、教示モデルの作成及び対象物の位置、
姿勢（方向）を検出するようにしてもよいが、説明を簡
単にするために、画像データを取り込むためのデータ取
込み手段としての撮像デバイスにＣＣＤカメラを用い
て、このカメラ２０で対象物を撮像して得られた画像デ
ータを用いるものとして以下説明する。
【００２１】まず、教示モデルを教示する動作処理につ
いて説明する。図５は、本発明の画像処理装置３０に教
示モデルのを教示する動作処理を示すフローである。ロ
ボット制御装置１０の教示操作盤４から予め、教示モデ
ルのために所定位置に所定姿勢で配置された基準となる
１つのワークピースＷに対して、ロボット手首先端に取
り付けられたカメラ２０で撮像する最初（第０番目）の
位置姿勢と、撮像方向を変えて撮像する位置姿勢を特定
するため、該最初の位置姿勢からカメラを回転させる回
転軸と回転角を設定し、かつ、その撮像位置姿勢の数Ｎ
をも設定する。なお、ここでは、位置姿勢情報を使用す
る例を取り上げるが、位置に対する要求精度が高くない
場合には、姿勢（方向）情報だけで充分である。
いて説明する。図５は、本発明の画像処理装置３０に教
示モデルのを教示する動作処理を示すフローである。ロ
ボット制御装置１０の教示操作盤４から予め、教示モデ
ルのために所定位置に所定姿勢で配置された基準となる
１つのワークピースＷに対して、ロボット手首先端に取
り付けられたカメラ２０で撮像する最初（第０番目）の
位置姿勢と、撮像方向を変えて撮像する位置姿勢を特定
するため、該最初の位置姿勢からカメラを回転させる回
転軸と回転角を設定し、かつ、その撮像位置姿勢の数Ｎ
をも設定する。なお、ここでは、位置姿勢情報を使用す
る例を取り上げるが、位置に対する要求精度が高くない
場合には、姿勢（方向）情報だけで充分である。
【００２２】例えば、図２に示すようにワークピースＷ
に対して４方向から撮像しこの４つの画像データから教
示モデルを生成する。図２（ａ）に示す第０番目の撮像
位置姿勢では、ワークピースＷを真上のワールド座標系
Ｚ軸方向から撮像した画像データから教示モデルを生成
する。次の撮像位置姿勢は、このカメラ位置において、
ワークピースの配置位置（ワークピースに対して設定さ
れているワーク座標系の原点）を通りカメラの中心軸方
向に対して垂直方向の軸及び該軸周りに回転させる回転
角を設定する。最初（第０番目）の位置姿勢でワールド
座標系のＺ軸とカメラの中心軸を平行とした場合には、
ワールド座標系のＸ軸、Ｙ軸は垂直であるから、このう
ちどちらかの軸を選択し該軸周りにワークピース位置を
中心に回転させる。
に対して４方向から撮像しこの４つの画像データから教
示モデルを生成する。図２（ａ）に示す第０番目の撮像
位置姿勢では、ワークピースＷを真上のワールド座標系
Ｚ軸方向から撮像した画像データから教示モデルを生成
する。次の撮像位置姿勢は、このカメラ位置において、
ワークピースの配置位置（ワークピースに対して設定さ
れているワーク座標系の原点）を通りカメラの中心軸方
向に対して垂直方向の軸及び該軸周りに回転させる回転
角を設定する。最初（第０番目）の位置姿勢でワールド
座標系のＺ軸とカメラの中心軸を平行とした場合には、
ワールド座標系のＸ軸、Ｙ軸は垂直であるから、このう
ちどちらかの軸を選択し該軸周りにワークピース位置を
中心に回転させる。
【００２３】図２（ｂ）に示す例では、ワールド座標系
Ｘ軸まわりに３０度回転するものとして設定し、そのと
き撮像して得られる画像データから教示モデルを生成す
る。同様に、図２（ｃ）、（ｄ）は、ワークピースの配
置位置を通りワールド座標系のＸ軸と平行な軸周りにカ
メラ２０をそれぞれ６０度、９０度回転させたときの画
像データから教示モデルを生成するものである。以下、
この４つの教示モデルを得るものを例に取り説明する。
なお、この例では、０度、３０度、６０度、９０度の４
つの教示モデルとしたが、この回転角の刻みを小さく
し、さらに多くの教示モデルを得るようにしておけば、
さらに精度のよいワークピースの位置姿勢を検出するこ
とができる。
Ｘ軸まわりに３０度回転するものとして設定し、そのと
き撮像して得られる画像データから教示モデルを生成す
る。同様に、図２（ｃ）、（ｄ）は、ワークピースの配
置位置を通りワールド座標系のＸ軸と平行な軸周りにカ
メラ２０をそれぞれ６０度、９０度回転させたときの画
像データから教示モデルを生成するものである。以下、
この４つの教示モデルを得るものを例に取り説明する。
なお、この例では、０度、３０度、６０度、９０度の４
つの教示モデルとしたが、この回転角の刻みを小さく
し、さらに多くの教示モデルを得るようにしておけば、
さらに精度のよいワークピースの位置姿勢を検出するこ
とができる。
【００２４】上述したように、ロボット手首先端に取り
付けたカメラ２０で最初（第０番目）に撮像するロボッ
トの位置姿勢と回転中心軸となる軸及び回転角を教示
し、かつその数Ｎを設定する。説明をわかりやすくする
ために、所定位置に所定姿勢で配置されたワークピース
Ｗに対し、カメラの中心軸がワールド座標系のＺ軸と平
行で、ワークピースＷのワールド座標系上のＸ、Ｙ軸座
標値と同一でＺ軸のみが異なる位置を第０番目の教示モ
デル撮像位置として教示し、さらに、ワークピースＷの
配置位置を通り、ワールド座標系Ｘ軸と平行な軸周りに
３０度、６０度、９０度回転させた位置を第１，第２、
第３の撮像位置として設定する。又撮像位置の数Ｎを
「４」と設定する。
付けたカメラ２０で最初（第０番目）に撮像するロボッ
トの位置姿勢と回転中心軸となる軸及び回転角を教示
し、かつその数Ｎを設定する。説明をわかりやすくする
ために、所定位置に所定姿勢で配置されたワークピース
Ｗに対し、カメラの中心軸がワールド座標系のＺ軸と平
行で、ワークピースＷのワールド座標系上のＸ、Ｙ軸座
標値と同一でＺ軸のみが異なる位置を第０番目の教示モ
デル撮像位置として教示し、さらに、ワークピースＷの
配置位置を通り、ワールド座標系Ｘ軸と平行な軸周りに
３０度、６０度、９０度回転させた位置を第１，第２、
第３の撮像位置として設定する。又撮像位置の数Ｎを
「４」と設定する。
【００２５】そして、教示モデル取得指令を教示操作盤
４から入力すると、ロボット制御装置１０のプロセッサ
１は、撮像回数を係数するカウンタＭを「０」にセット
し（ステップ１００）、ロボットを動作させ第Ｍ（＝
０）番目の位置姿勢に移動させ、画像処理装置３０へカ
メラでの撮像指令を出力する（ステップ１０１）。画像
処理装置３０では、この指令を受けてカメラ２０でワー
クピースＷを撮像し、その画像データを画像メモリ３６
に格納するが、さらに、この画像データからＭ番目の教
示モデルを生成して不揮発性メモリ３７に格納する（ス
テップ１０２）。さらに、カメラとワークピースとの相
対位置姿勢を求めＭ番目の教示モデルの相対位置姿勢と
して不揮発性メモリ３７に格納し、データ取得信号をロ
ボット制御装置に送る（ステップ１０３）。すなわち、
撮像を行ったときのワールド座標系上のカメラ位置姿勢
とワークピースＷの位置姿勢より、カメラに設けられた
カメラ座標系でのワークピースの位置姿勢に変換し、こ
れをカメラとワークピースとの相対位置姿勢として記憶
する。例えば、カメラ座標系の位置姿勢として［ｘ0，
ｙ0，ｚ0，α0，β0，γ0］c として記憶される。なお
α、β、γはそれぞれＸ、Ｙ、Ｚ軸周りの回転角を意味
し、「ｃ」はカメラ座標系を意味する。
４から入力すると、ロボット制御装置１０のプロセッサ
１は、撮像回数を係数するカウンタＭを「０」にセット
し（ステップ１００）、ロボットを動作させ第Ｍ（＝
０）番目の位置姿勢に移動させ、画像処理装置３０へカ
メラでの撮像指令を出力する（ステップ１０１）。画像
処理装置３０では、この指令を受けてカメラ２０でワー
クピースＷを撮像し、その画像データを画像メモリ３６
に格納するが、さらに、この画像データからＭ番目の教
示モデルを生成して不揮発性メモリ３７に格納する（ス
テップ１０２）。さらに、カメラとワークピースとの相
対位置姿勢を求めＭ番目の教示モデルの相対位置姿勢と
して不揮発性メモリ３７に格納し、データ取得信号をロ
ボット制御装置に送る（ステップ１０３）。すなわち、
撮像を行ったときのワールド座標系上のカメラ位置姿勢
とワークピースＷの位置姿勢より、カメラに設けられた
カメラ座標系でのワークピースの位置姿勢に変換し、こ
れをカメラとワークピースとの相対位置姿勢として記憶
する。例えば、カメラ座標系の位置姿勢として［ｘ0，
ｙ0，ｚ0，α0，β0，γ0］c として記憶される。なお
α、β、γはそれぞれＸ、Ｙ、Ｚ軸周りの回転角を意味
し、「ｃ」はカメラ座標系を意味する。
【００２６】次に、データ取得信号を受信するとロボッ
ト制御装置１０のプロセッサ１は、カウンタＭを「１」
インクリメントし（ステップ１０４）、該カウンタＭの
値が設定値Ｎ（＝４）より小さいか判断し（ステップ１
０５）、小さければ、（ステップ１０１に戻り第Ｍ番目
の撮像位置姿勢にロボットを移動させる。すなわち、図
２に示す上述した例では、ワークピース配置位置を通り
ワールド座標系のＸ軸と平行な軸周りに３０度をカメラ
を回転させ撮像を行い教示モデルとそのときのカメラと
ワークピースとの相対位置姿勢を記憶する。
ト制御装置１０のプロセッサ１は、カウンタＭを「１」
インクリメントし（ステップ１０４）、該カウンタＭの
値が設定値Ｎ（＝４）より小さいか判断し（ステップ１
０５）、小さければ、（ステップ１０１に戻り第Ｍ番目
の撮像位置姿勢にロボットを移動させる。すなわち、図
２に示す上述した例では、ワークピース配置位置を通り
ワールド座標系のＸ軸と平行な軸周りに３０度をカメラ
を回転させ撮像を行い教示モデルとそのときのカメラと
ワークピースとの相対位置姿勢を記憶する。
【００２７】以下、カウンタＭの値が設定値Ｎ（＝４）
になるまで、ステップ１０１〜１０５の処理を行い、教
示モデルとカメラとワークピースとの相対位置姿勢を不
揮発性メモリに記憶する。上述した例では、図２（ａ）
〜（ｄ）の画像データから生成された教示モデルが記憶
され、その教示モデルに対してそれぞれカメラとワーク
ピースとの相対位置姿勢としての、カメラ座標系のワー
クピースＷの位置姿勢として［ｘ0，ｙ0，ｚ0，α0，β
0，γ0］c 、［ｘ1，ｙ1，ｚ1，α1，β1，γ1］c 、
［ｘ2，ｙ2，ｚ2，α2，β2，γ2］c 、［ｘ3，ｙ3，ｚ
3，α3，β3，γ3］c が記憶される。
になるまで、ステップ１０１〜１０５の処理を行い、教
示モデルとカメラとワークピースとの相対位置姿勢を不
揮発性メモリに記憶する。上述した例では、図２（ａ）
〜（ｄ）の画像データから生成された教示モデルが記憶
され、その教示モデルに対してそれぞれカメラとワーク
ピースとの相対位置姿勢としての、カメラ座標系のワー
クピースＷの位置姿勢として［ｘ0，ｙ0，ｚ0，α0，β
0，γ0］c 、［ｘ1，ｙ1，ｚ1，α1，β1，γ1］c 、
［ｘ2，ｙ2，ｚ2，α2，β2，γ2］c 、［ｘ3，ｙ3，ｚ
3，α3，β3，γ3］c が記憶される。
【００２８】以上のようにして、画像処理装置３０の不
揮発性メモリ３７には教示モデルとカメラ２０とワーク
ピースＷとの相対位置が記憶される。なお、上述した実
施形態では、ロボットを使用して教示モデルを教示記憶
させたが、ロボットを使用せず、例えば手動操作で教示
記憶させるようにしてもよい。この場合は、画像処理装
置３０に接続されているカメラの視野内に基準となるワ
ークピースを配置し、このワークピースの姿勢を変え、
カメラで撮像しその画像データから教示モデルを生成
し、そのときのカメラとワークピースの相対位置姿勢を
手動で入力して教示モデルに対応させて記憶させるよう
にすればよい。
揮発性メモリ３７には教示モデルとカメラ２０とワーク
ピースＷとの相対位置が記憶される。なお、上述した実
施形態では、ロボットを使用して教示モデルを教示記憶
させたが、ロボットを使用せず、例えば手動操作で教示
記憶させるようにしてもよい。この場合は、画像処理装
置３０に接続されているカメラの視野内に基準となるワ
ークピースを配置し、このワークピースの姿勢を変え、
カメラで撮像しその画像データから教示モデルを生成
し、そのときのカメラとワークピースの相対位置姿勢を
手動で入力して教示モデルに対応させて記憶させるよう
にすればよい。
【００２９】又、教示モデルを作成し記憶しておくので
はなく、教示モデルとなる基準対象物の画像データを記
憶しておき、対象物の位置、姿勢を検出する際に、この
画像データから教示モデルを作成するようにしてもよい
ものである。
はなく、教示モデルとなる基準対象物の画像データを記
憶しておき、対象物の位置、姿勢を検出する際に、この
画像データから教示モデルを作成するようにしてもよい
ものである。
【００３０】次に、このように教示モデルが設定記憶さ
れている画像処理装置３０を用いて、３次元で位置姿勢
の異なる対象物のワークピースの３次元位置姿勢を検出
する方法の例として、教示モデルの基準のワークピース
と同一形状のワークピースが山積みされた山からロボッ
トによって個々のワークピースを取り出すピッキング作
業について説明する。
れている画像処理装置３０を用いて、３次元で位置姿勢
の異なる対象物のワークピースの３次元位置姿勢を検出
する方法の例として、教示モデルの基準のワークピース
と同一形状のワークピースが山積みされた山からロボッ
トによって個々のワークピースを取り出すピッキング作
業について説明する。
【００３１】図６は、このピッキング作業の動作処理フ
ローである。ロボット制御装置１０に教示操作盤４等か
らピッキング指令が入力されると、プロセッサ１は、ま
ず、教示されているロボット先端手首に取り付けられて
いるカメラ２０を山積みされたワークピースが該カメラ
の視野に入る撮像位置へロボットＲＢを移動させ、該カ
メラ２０のワールド座標系上の３次元位置姿勢を画像処
理装置３０へ出力すると共に撮像指令を出力する（ステ
ップ２００、２０１）。画像処理装置３０のプロセッサ
３１は、撮像指令を受信し、ワークピースＷの山を撮像
し幾つかのワークピースＷの画像データを得て画像メモ
リ３６に記憶する（ステップ２０２）。
ローである。ロボット制御装置１０に教示操作盤４等か
らピッキング指令が入力されると、プロセッサ１は、ま
ず、教示されているロボット先端手首に取り付けられて
いるカメラ２０を山積みされたワークピースが該カメラ
の視野に入る撮像位置へロボットＲＢを移動させ、該カ
メラ２０のワールド座標系上の３次元位置姿勢を画像処
理装置３０へ出力すると共に撮像指令を出力する（ステ
ップ２００、２０１）。画像処理装置３０のプロセッサ
３１は、撮像指令を受信し、ワークピースＷの山を撮像
し幾つかのワークピースＷの画像データを得て画像メモ
リ３６に記憶する（ステップ２０２）。
【００３２】続いて、画像メモリ３６に記憶した画像に
対して不揮発性メモリ３７に設定記憶されている教示モ
デルの１つ（第０番目の教示モデル）を使用してパター
ンマッチング処理を行いワークピースＷの検出を行う
（ステップ２０３）。このパターンマッチング処理で
は、ワークピースの画像内の位置、回転、及びスケール
の変化を検出するマッチング処理を行う。そして、マッ
チング値が設定基準値以上のものが検出されたか判断し
（ステップ２０４）、基準値以上のものが検出されなけ
れば、全教示モデル（第０〜第３番目の教示モデル）に
対してパターンマッチング処理を行ったか判断し（ステ
ップ２０５）、行っていなければ、他の教示モデルによ
りパターンマッチングの処理を行う（ステップ２０
６）。
対して不揮発性メモリ３７に設定記憶されている教示モ
デルの１つ（第０番目の教示モデル）を使用してパター
ンマッチング処理を行いワークピースＷの検出を行う
（ステップ２０３）。このパターンマッチング処理で
は、ワークピースの画像内の位置、回転、及びスケール
の変化を検出するマッチング処理を行う。そして、マッ
チング値が設定基準値以上のものが検出されたか判断し
（ステップ２０４）、基準値以上のものが検出されなけ
れば、全教示モデル（第０〜第３番目の教示モデル）に
対してパターンマッチング処理を行ったか判断し（ステ
ップ２０５）、行っていなければ、他の教示モデルによ
りパターンマッチングの処理を行う（ステップ２０
６）。
【００３３】こうして、ステップ２０４で、いずれかの
教示モデルに対してマッチング値が設定基準値以上のワ
ークピースＷが検出されると、この検出したワークピー
スＷに対して他の教示モデルで全てマッチング処理を行
う。すなわち、検出されたワークピースＷの２次元画像
に対して、設定記憶されている教示モデルの全てとパタ
ーンマッチング処理を行う（ステップ２０７）。このパ
ターンマッチング処理によって得られたマッチング値が
一番高い教示モデルを選択し、この選択教示モデルに対
応して記憶するカメラとワークピースとの相対位置姿勢
と、選択した教示モデルに対するマッチング処理での画
像内の位置、回転及びスケールの変化量とにより最終的
なカメラ２０とワークピースＷとの相対位置姿勢として
得る（ステップ２０８）。そしてこの相対位置姿勢とス
テップ２０１の処理で送られてきているカメラのワール
ド座標系における位置姿勢からワークピースのワールド
座標系上の位置、姿勢（方向）を求め出力する。すなわ
ち、ワークピースＷとカメラ２０の相対位置姿勢は、カ
メラ座標系からみたワークピースＷの位置姿勢であるか
ら、この位置姿勢のデータと、カメラ２０のワールド座
標系における位置姿勢のデータにより座標変換の演算を
行うことによりワールド座標系上の検出ワークピースＷ
の位置、姿勢（方向）が求められ出力される（ステップ
２０９）。なお、ここではマッチング値が一番高いもの
を選択したが、０度の教示モデルを優先的に選択した
り、スケールの拡大率の高いもの（即ち、カメラに近い
ものであり、山積みの最上部にあるもの）を優先的に選
択することができる。
教示モデルに対してマッチング値が設定基準値以上のワ
ークピースＷが検出されると、この検出したワークピー
スＷに対して他の教示モデルで全てマッチング処理を行
う。すなわち、検出されたワークピースＷの２次元画像
に対して、設定記憶されている教示モデルの全てとパタ
ーンマッチング処理を行う（ステップ２０７）。このパ
ターンマッチング処理によって得られたマッチング値が
一番高い教示モデルを選択し、この選択教示モデルに対
応して記憶するカメラとワークピースとの相対位置姿勢
と、選択した教示モデルに対するマッチング処理での画
像内の位置、回転及びスケールの変化量とにより最終的
なカメラ２０とワークピースＷとの相対位置姿勢として
得る（ステップ２０８）。そしてこの相対位置姿勢とス
テップ２０１の処理で送られてきているカメラのワール
ド座標系における位置姿勢からワークピースのワールド
座標系上の位置、姿勢（方向）を求め出力する。すなわ
ち、ワークピースＷとカメラ２０の相対位置姿勢は、カ
メラ座標系からみたワークピースＷの位置姿勢であるか
ら、この位置姿勢のデータと、カメラ２０のワールド座
標系における位置姿勢のデータにより座標変換の演算を
行うことによりワールド座標系上の検出ワークピースＷ
の位置、姿勢（方向）が求められ出力される（ステップ
２０９）。なお、ここではマッチング値が一番高いもの
を選択したが、０度の教示モデルを優先的に選択した
り、スケールの拡大率の高いもの（即ち、カメラに近い
ものであり、山積みの最上部にあるもの）を優先的に選
択することができる。
【００３４】ロボット制御装置１０は送られて来た検出
ワークピースＷの３次元位置姿勢に基づき、ロボットを
動作させ従来と同様にこの検出ワークピースＷを把持し
て教示された所定の位置に移動させるピッキング処理を
行う（ステップ２１０）。そして、ステップ２０２に戻
り、ステップ２０２以下の処理を繰り返し実行する。全
てのワークピースがワークピースの山からピッキングさ
れなくなると、ステップ２０３〜２０６の処理で、全て
の教示モデルに対してパターンマッチング処理をしても
設定基準値以上のマッチング値を得ることができないか
ら、このピッキング作業は終了する。
ワークピースＷの３次元位置姿勢に基づき、ロボットを
動作させ従来と同様にこの検出ワークピースＷを把持し
て教示された所定の位置に移動させるピッキング処理を
行う（ステップ２１０）。そして、ステップ２０２に戻
り、ステップ２０２以下の処理を繰り返し実行する。全
てのワークピースがワークピースの山からピッキングさ
れなくなると、ステップ２０３〜２０６の処理で、全て
の教示モデルに対してパターンマッチング処理をしても
設定基準値以上のマッチング値を得ることができないか
ら、このピッキング作業は終了する。
【００３５】山積み等されたワークピースが存在する全
領域がカメラの視野に入らないような場合や、カメラ２
０の向きを変更して他のワークピースの影に入ったワー
クピースを撮像する必要がある場合には、ステップ２０
５で「Ｙｅｓ」と判断されたときステップ２００に戻
り、他のワークピースをも撮像できる別の位置姿勢にカ
メラを移動させればよい。
領域がカメラの視野に入らないような場合や、カメラ２
０の向きを変更して他のワークピースの影に入ったワー
クピースを撮像する必要がある場合には、ステップ２０
５で「Ｙｅｓ」と判断されたときステップ２００に戻
り、他のワークピースをも撮像できる別の位置姿勢にカ
メラを移動させればよい。
【００３６】又、上述した実施形態のように、ロボット
と画像処理装置３０を用いた場合には、ステップ２０１
でカメラの３次元位置姿勢を画像処理装置３０に出力す
ることなくロボット制御装置が記憶しておき、ステップ
２０８でワークピースとカメラの相対位置姿勢をロボッ
ト制御装置に出力しステップ２０９の処理をロボット制
御装置で実行するようにしてもよい。
と画像処理装置３０を用いた場合には、ステップ２０１
でカメラの３次元位置姿勢を画像処理装置３０に出力す
ることなくロボット制御装置が記憶しておき、ステップ
２０８でワークピースとカメラの相対位置姿勢をロボッ
ト制御装置に出力しステップ２０９の処理をロボット制
御装置で実行するようにしてもよい。
【００３７】又、第１の視覚センサであるＣＣＤカメラ
に広角レンズを取り付けて撮像する場合において、例え
ば、０度の向きのワークピースが画像視野の角にある場
合には、視差の影響で３０度傾いていると判断する恐れ
がある。この場合には、画像内のワークピースの位置に
応じてロボット手先に取り付けたカメラを平行移動し
て、該ワークピースの真上に位置させ視差の影響をなく
し、その位置を図６のステップ２００の位置とすること
により誤判断を防ぐこともできる。
に広角レンズを取り付けて撮像する場合において、例え
ば、０度の向きのワークピースが画像視野の角にある場
合には、視差の影響で３０度傾いていると判断する恐れ
がある。この場合には、画像内のワークピースの位置に
応じてロボット手先に取り付けたカメラを平行移動し
て、該ワークピースの真上に位置させ視差の影響をなく
し、その位置を図６のステップ２００の位置とすること
により誤判断を防ぐこともできる。
【００３８】又、ロボットを用いない場合は、山積みさ
れたワークピース又は３次元的に位置姿勢の異なる対象
とするワークピースが少なくとも１以上含む領域をカメ
ラの視野内に配置し、カメラのワールド座標系上の位置
姿勢を教示し、対象物検出指令をこの画像処理装置３０
に入力すれば、画像処理装置３０は図６のステップ２０
２〜２０９の処理を行い対象のワークピースＷの３次元
位置姿勢を検出する。
れたワークピース又は３次元的に位置姿勢の異なる対象
とするワークピースが少なくとも１以上含む領域をカメ
ラの視野内に配置し、カメラのワールド座標系上の位置
姿勢を教示し、対象物検出指令をこの画像処理装置３０
に入力すれば、画像処理装置３０は図６のステップ２０
２〜２０９の処理を行い対象のワークピースＷの３次元
位置姿勢を検出する。
【００３９】又、教示モデルのための前記画像データ
は、別の場所で採取され手もよく、この場合には、本画
像処理装置までオンライン、又はフロッピー（登録商
標）ディスク等によりオフラインでこの画像処理装置に
供給するようにしてもよい。そのためには、画像処理装
置には、通信回線と接続される通信インターフェースや
フロッピーディスクからデータを読み込むためのディス
クドライバー等を設ければよい。
は、別の場所で採取され手もよく、この場合には、本画
像処理装置までオンライン、又はフロッピー（登録商
標）ディスク等によりオフラインでこの画像処理装置に
供給するようにしてもよい。そのためには、画像処理装
置には、通信回線と接続される通信インターフェースや
フロッピーディスクからデータを読み込むためのディス
クドライバー等を設ければよい。
【００４０】
【発明の効果】本発明においては、同一形状のワークピ
ースが乱雑に山積みされていても、又、所定領域内に同
一形状のワークピースが少なくとも１以上３次元的に異
なる任意の位置姿勢で収納されていても、対象とする各
ワークピースの位置姿勢を検出することかできるので、
このようなワークピースの山や集合から個々のワークピ
ースをロボット（専用機をも含む）で自動的にピッキン
グすることが可能になる。
ースが乱雑に山積みされていても、又、所定領域内に同
一形状のワークピースが少なくとも１以上３次元的に異
なる任意の位置姿勢で収納されていても、対象とする各
ワークピースの位置姿勢を検出することかできるので、
このようなワークピースの山や集合から個々のワークピ
ースをロボット（専用機をも含む）で自動的にピッキン
グすることが可能になる。
【図１】本発明の一実施形態の概要を説明する説明図で
ある。
ある。
【図２】同実施形態における教示モデルの例を示す図で
ある。
ある。
【図３】同実施形態におけるロボット制御装置の要部ブ
ロック図である。
ロック図である。
【図４】同実施形態における画像処理装置の要部ブロッ
ク図である。
ク図である。
【図５】同実施形態における教示モデルを生成する動作
処理フローである。
処理フローである。
【図６】同実施形態を用いたピッキング作業の動作処理
フローである。
フローである。
【図７】本発明の一実施形態に用いる距離データを測定
できる視覚センサの動作説明図である。
できる視覚センサの動作説明図である。
【図８】同距離データを測定できる視覚センサによって
得る画像データとしての距離データを要素とする２次元
配列データの説明図である。
得る画像データとしての距離データを要素とする２次元
配列データの説明図である。
【図９】同画像データとしての２次元配列データの取得
処理のフローチャートである。
処理のフローチャートである。
１０ ロボット制御装置 ２０ 撮像ディバイス ３０ 画像処理装置 Ｗ ワークピース
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 3F059 AA01 BA03 BA08 DA02 DB05 DB08 DB09 FB12 5L096 AA09 BA05 CA05 EA13 EA16 EA17 FA67 FA69 FA76 HA01 HA09
Claims (5)
- 【請求項１】 対象物自体、又は該対象物と同一形状の
物体を基準対象物とし、該基準対象物の画像データから
教示モデルを作り、前記対象物を含む画像データをデー
タ取込み手段により取り込んで、前記教示モデルと前記
対象物を含む画像データとのマッチングを行う画像処理
装置において、 データ取込み手段により前記基準対象物の画像データを
複数の方向から捕らえ、捕らえた方向毎に教示モデルを
作り、該教示モデルを前記方向の情報と対応付けて記憶
する手段と、 前記対象物を含む画像データに対し、前記教示モデルと
のマッチングを行って、適合する教示モデルを選択する
手段と、 前記画像データにおける前記対象物の位置情報又は姿勢
情報を得る手段と、 前記位置情報又は前記姿勢情報、及び前記選択した教示
モデルに対応付けられた情報に基づいて、前記対象物の
方向、又は位置と方向を求める手段とを備えた画像処理
装置。 - 【請求項２】 前記画像処理される画像データが、カメ
ラで撮影された画像から作成されていることを特徴とす
る請求項１に記載の画像処理装置。 - 【請求項３】 前記画像処理される画像データが、対象
物からデータ取込み手段までの距離の２次元配列、２次
元配列の部分、又は複数の距離の集合であることを特徴
とする請求項１に記載の画像処理装置。 - 【請求項４】 教示モデルのための前記画像データは、
別の場所で採取され、本画像処理装置までオンライン、
又はオフラインで供給されることを特徴とする請求項１
乃至３の内１項記載の画像処理装置。 - 【請求項５】 前記データ取込み手段はロボットに取り
付けられていることを特徴とする請求項１乃至３の内１
項記載の画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10188599A JP3377465B2 (ja) | 1999-04-08 | 1999-04-08 | 画像処理装置 |
| US09/546,214 US7084900B1 (en) | 1999-04-08 | 2000-04-10 | Image processing apparatus |
| EP00303009A EP1043689A3 (en) | 1999-04-08 | 2000-04-10 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10188599A JP3377465B2 (ja) | 1999-04-08 | 1999-04-08 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000293695A true JP2000293695A (ja) | 2000-10-20 |
| JP3377465B2 JP3377465B2 (ja) | 2003-02-17 |
Family
ID=14312402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10188599A Expired - Fee Related JP3377465B2 (ja) | 1999-04-08 | 1999-04-08 | 画像処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7084900B1 (ja) |
| EP (1) | EP1043689A3 (ja) |
| JP (1) | JP3377465B2 (ja) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005111619A (ja) * | 2003-10-08 | 2005-04-28 | Tsubakimoto Chain Co | 物品配置方法、及び物品配置装置 |
| JP2005279804A (ja) * | 2004-03-29 | 2005-10-13 | Advanced Telecommunication Research Institute International | 対象物認識装置 |
| EP1621296A1 (en) | 2004-07-29 | 2006-02-01 | Fanuc Ltd | Transfer robot system comprising a manipulator and a temporary container depository moving synchronously with the manipulator |
| KR100693262B1 (ko) | 2003-05-12 | 2007-03-13 | 화낙 가부시끼가이샤 | 화상 처리 장치 |
| EP1787892A1 (en) | 2005-11-21 | 2007-05-23 | Nissan Motor Co., Ltd. | Steer-by-wire steering system and method for a motor vehicle |
| JP2007245283A (ja) * | 2006-03-15 | 2007-09-27 | Nissan Motor Co Ltd | ワーク姿勢検知装置、ワーク姿勢検知方法、ピッキングシステム、およびピッキング方法 |
| EP1840053A1 (en) | 2006-02-27 | 2007-10-03 | Nissan Motor Company Limited | Workpiece transfer method, system and device |
| JP2009511288A (ja) * | 2005-10-18 | 2009-03-19 | モルフィック テクノロジーズ アクティエボラグ （ピーユービーエル） | キャリアから物品を探索し収集するための方法および構成 |
| KR100920931B1 (ko) | 2007-11-16 | 2009-10-12 | 전자부품연구원 | Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법 |
| JP2010152664A (ja) * | 2008-12-25 | 2010-07-08 | Nissei Corp | 画像を利用したセンサレスモータ駆動ロボット |
| JP2010210511A (ja) * | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の３次元位置・姿勢認識装置及びその方法 |
| WO2010150515A1 (en) * | 2009-06-25 | 2010-12-29 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| JP2015169515A (ja) * | 2014-03-06 | 2015-09-28 | 株式会社メガチップス | 姿勢推定システム、プログラムおよび姿勢推定方法 |
| US9302391B2 (en) | 2010-12-15 | 2016-04-05 | Canon Kabushiki Kaisha | Object gripping apparatus, method of controlling the same and storage medium |
| JP2017227463A (ja) * | 2016-06-20 | 2017-12-28 | 清水建設株式会社 | 位置姿勢決定装置 |
| JP2018092449A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、情報処理装置、情報処理方法、およびプログラム |
| JP2018167974A (ja) * | 2017-03-30 | 2018-11-01 | 愛知製鋼株式会社 | 物品の個数カウント装置 |
| JP2020163502A (ja) * | 2019-03-28 | 2020-10-08 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
| CN111745639A (zh) * | 2019-03-28 | 2020-10-09 | 精工爱普生株式会社 | 信息处理方法及装置、物体检测装置以及机器人系统 |
| EP4070922A2 (en) | 2021-04-06 | 2022-10-12 | Canon Kabushiki Kaisha | Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium |
| JPWO2022244212A1 (ja) * | 2021-05-20 | 2022-11-24 | ||
| CN115497087A (zh) * | 2022-11-18 | 2022-12-20 | 广州煌牌自动设备有限公司 | 一种餐具姿态的识别系统及其方法 |
| JP7324923B1 (ja) | 2022-11-14 | 2023-08-10 | 株式会社 日立産業制御ソリューションズ | 物体認識装置および物体認識方法 |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005515910A (ja) | 2002-01-31 | 2005-06-02 | ブレインテック カナダ インコーポレイテッド | シングルカメラ３ｄビジョンガイドロボティクスの方法および装置 |
| JP4513568B2 (ja) * | 2002-07-18 | 2010-07-28 | 株式会社安川電機 | ロボット制御装置 |
| JP3768174B2 (ja) * | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
| JP4255050B2 (ja) * | 2002-08-28 | 2009-04-15 | 株式会社キーエンス | 画像処理装置 |
| JP3842233B2 (ja) * | 2003-03-25 | 2006-11-08 | ファナック株式会社 | 画像処理装置及びロボットシステム |
| JP4492036B2 (ja) * | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
| DE102004046584A1 (de) | 2003-09-26 | 2005-05-19 | Micro-Epsilon Messtechnik Gmbh & Co Kg | Verfahren und Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts |
| JP4401727B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 画像表示装置及び方法 |
| US7212293B1 (en) * | 2004-06-01 | 2007-05-01 | N&K Technology, Inc. | Optical determination of pattern feature parameters using a scalar model having effective optical properties |
| US7760962B2 (en) * | 2005-03-30 | 2010-07-20 | Casio Computer Co., Ltd. | Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced |
| US20070276539A1 (en) * | 2006-05-25 | 2007-11-29 | Babak Habibi | System and method of robotically engaging an object |
| JP2007334678A (ja) * | 2006-06-15 | 2007-12-27 | Fanuc Ltd | ロボットシミュレーション装置 |
| JP4235214B2 (ja) * | 2006-07-04 | 2009-03-11 | ファナック株式会社 | ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法 |
| US8437535B2 (en) * | 2006-09-19 | 2013-05-07 | Roboticvisiontech Llc | System and method of determining object pose |
| JP5403861B2 (ja) * | 2006-11-06 | 2014-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
| JP5177146B2 (ja) * | 2007-08-17 | 2013-04-03 | コニカミノルタホールディングス株式会社 | コミュニケーションシステム及びコミュニケーションプログラム |
| US8559699B2 (en) | 2008-10-10 | 2013-10-15 | Roboticvisiontech Llc | Methods and apparatus to facilitate operations in image based systems |
| JP5381166B2 (ja) * | 2009-03-04 | 2014-01-08 | オムロン株式会社 | モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム |
| JP5333344B2 (ja) * | 2009-06-19 | 2013-11-06 | 株式会社安川電機 | 形状検出装置及びロボットシステム |
| US8941726B2 (en) * | 2009-12-10 | 2015-01-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting moving objects from images using foreground extraction |
| EP2383696A1 (en) * | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
| JP6000579B2 (ja) * | 2012-03-09 | 2016-09-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP5975685B2 (ja) | 2012-03-09 | 2016-08-23 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP5977544B2 (ja) | 2012-03-09 | 2016-08-24 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| JP5897532B2 (ja) * | 2013-11-05 | 2016-03-30 | ファナック株式会社 | 三次元空間に置かれた物品をロボットで取出す装置及び方法 |
| US9778650B2 (en) | 2013-12-11 | 2017-10-03 | Honda Motor Co., Ltd. | Apparatus, system and method for kitting and automation assembly |
| JP6380828B2 (ja) * | 2014-03-07 | 2018-08-29 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
| JP2015202544A (ja) * | 2014-04-15 | 2015-11-16 | 株式会社安川電機 | ロボット制御システム、情報通信モジュール、ロボットコントローラ、コンピュータプログラム及びロボット制御方法 |
| JP5778311B1 (ja) * | 2014-05-08 | 2015-09-16 | 東芝機械株式会社 | ピッキング装置およびピッキング方法 |
| US9832373B2 (en) | 2014-06-24 | 2017-11-28 | Cyberlink Corp. | Systems and methods for automatically capturing digital images based on adaptive image-capturing templates |
| JP6632208B2 (ja) * | 2015-03-24 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| JP2016221645A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | ロボット、ロボット制御装置およびロボットシステム |
| CN105196103B (zh) * | 2015-09-29 | 2017-09-05 | 佛山市利迅达机器人系统有限公司 | 一种自动化物料抓取系统 |
| JP2017196705A (ja) * | 2016-04-28 | 2017-11-02 | セイコーエプソン株式会社 | ロボット、及びロボットシステム |
| US9996805B1 (en) * | 2016-09-30 | 2018-06-12 | Amazon Technologies, Inc. | Systems and methods for automated shipping optimization |
| US10360531B1 (en) * | 2016-12-19 | 2019-07-23 | Amazon Technologies, Inc. | Robot implemented item manipulation |
| JP6585693B2 (ja) * | 2017-12-21 | 2019-10-02 | ファナック株式会社 | 物体検査システム及び物体検査方法 |
| CN108827371B (zh) * | 2018-03-12 | 2021-11-02 | 中国电力科学研究院有限公司 | 一种通信单元外观检测装置 |
| CN109205332A (zh) * | 2018-10-24 | 2019-01-15 | 山东科技大学 | 一种可移动式轮胎码垛机械手及方法 |
| CN112591356A (zh) * | 2020-12-04 | 2021-04-02 | 佛山隆深机器人有限公司 | 一种在封闭或半封闭局限空间下的码垛视觉检测系统 |
| CN117355397A (zh) * | 2021-05-27 | 2024-01-05 | 发那科株式会社 | 基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置 |
| JP2023121899A (ja) * | 2022-02-22 | 2023-09-01 | セイコーエプソン株式会社 | カメラで撮影される物体の位置及び姿勢を認識する方法、システム、及び、コンピュータープログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2085629B (en) | 1980-10-17 | 1984-08-08 | Micro Cosultants Ltd | Object recognition |
| JPS60200385A (ja) * | 1984-03-26 | 1985-10-09 | Hitachi Ltd | 姿勢判定方式 |
| US4985846A (en) * | 1989-05-11 | 1991-01-15 | Fallon Patrick J | Acoustical/optical bin picking system |
| US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
| US5559727A (en) * | 1994-02-24 | 1996-09-24 | Quad Systems Corporation | Apparatus and method for determining the position of a component prior to placement |
| KR100367272B1 (ko) * | 1994-08-11 | 2003-03-15 | 사이버옵틱스 코포레이션 | 부품정렬센서및부품검출시스템 |
| JP3560670B2 (ja) | 1995-02-06 | 2004-09-02 | 富士通株式会社 | 適応的認識システム |
| US5909504A (en) * | 1996-03-15 | 1999-06-01 | Cognex Corporation | Method of testing a machine vision inspection system |
| US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
| US6026189A (en) * | 1997-11-13 | 2000-02-15 | National Research Council Of Canada | Method of recognizing objects within two-dimensional and three-dimensional images |
| US6437784B1 (en) * | 1998-03-31 | 2002-08-20 | General Mills, Inc. | Image producing system for three-dimensional pieces |
| US6424745B1 (en) * | 1998-05-19 | 2002-07-23 | Lucent Technologies Inc. | Method and apparatus for object recognition |
| US6266442B1 (en) * | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
-
1999
- 1999-04-08 JP JP10188599A patent/JP3377465B2/ja not_active Expired - Fee Related
-
2000
- 2000-04-10 US US09/546,214 patent/US7084900B1/en not_active Expired - Lifetime
- 2000-04-10 EP EP00303009A patent/EP1043689A3/en not_active Withdrawn
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100693262B1 (ko) | 2003-05-12 | 2007-03-13 | 화낙 가부시끼가이샤 | 화상 처리 장치 |
| JP2005111619A (ja) * | 2003-10-08 | 2005-04-28 | Tsubakimoto Chain Co | 物品配置方法、及び物品配置装置 |
| JP2005279804A (ja) * | 2004-03-29 | 2005-10-13 | Advanced Telecommunication Research Institute International | 対象物認識装置 |
| EP1621296A1 (en) | 2004-07-29 | 2006-02-01 | Fanuc Ltd | Transfer robot system comprising a manipulator and a temporary container depository moving synchronously with the manipulator |
| JP2009511288A (ja) * | 2005-10-18 | 2009-03-19 | モルフィック テクノロジーズ アクティエボラグ （ピーユービーエル） | キャリアから物品を探索し収集するための方法および構成 |
| US7708517B2 (en) | 2005-11-21 | 2010-05-04 | Nissan Motor Co., Ltd. | Workpiece transfer method, workpiece transfer system and workpiece transfer device |
| EP1787892A1 (en) | 2005-11-21 | 2007-05-23 | Nissan Motor Co., Ltd. | Steer-by-wire steering system and method for a motor vehicle |
| EP1840053A1 (en) | 2006-02-27 | 2007-10-03 | Nissan Motor Company Limited | Workpiece transfer method, system and device |
| JP2007245283A (ja) * | 2006-03-15 | 2007-09-27 | Nissan Motor Co Ltd | ワーク姿勢検知装置、ワーク姿勢検知方法、ピッキングシステム、およびピッキング方法 |
| KR100920931B1 (ko) | 2007-11-16 | 2009-10-12 | 전자부품연구원 | Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법 |
| JP2010152664A (ja) * | 2008-12-25 | 2010-07-08 | Nissei Corp | 画像を利用したセンサレスモータ駆動ロボット |
| JP2010210511A (ja) * | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の３次元位置・姿勢認識装置及びその方法 |
| WO2010150515A1 (en) * | 2009-06-25 | 2010-12-29 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| US8917942B2 (en) | 2009-06-25 | 2014-12-23 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
| US9302391B2 (en) | 2010-12-15 | 2016-04-05 | Canon Kabushiki Kaisha | Object gripping apparatus, method of controlling the same and storage medium |
| JP2015169515A (ja) * | 2014-03-06 | 2015-09-28 | 株式会社メガチップス | 姿勢推定システム、プログラムおよび姿勢推定方法 |
| JP2017227463A (ja) * | 2016-06-20 | 2017-12-28 | 清水建設株式会社 | 位置姿勢決定装置 |
| US11200695B2 (en) | 2016-12-05 | 2021-12-14 | Sony Interactive Entertainment Inc. | System, jig, information processing device, information processing method, and program |
| JP7051287B2 (ja) | 2016-12-05 | 2022-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、および情報処理方法 |
| JP2018092449A (ja) * | 2016-12-05 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、情報処理装置、情報処理方法、およびプログラム |
| JP2018167974A (ja) * | 2017-03-30 | 2018-11-01 | 愛知製鋼株式会社 | 物品の個数カウント装置 |
| JP7275759B2 (ja) | 2019-03-28 | 2023-05-18 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
| JP2020163502A (ja) * | 2019-03-28 | 2020-10-08 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
| CN111745639A (zh) * | 2019-03-28 | 2020-10-09 | 精工爱普生株式会社 | 信息处理方法及装置、物体检测装置以及机器人系统 |
| EP4070922A2 (en) | 2021-04-06 | 2022-10-12 | Canon Kabushiki Kaisha | Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, program, and recording medium |
| US12400285B2 (en) | 2021-04-06 | 2025-08-26 | Canon Kabushiki Kaisha | Robot system, control method, image processing apparatus, image processing method, method of manufacturing products, and recording medium |
| WO2022244212A1 (ja) * | 2021-05-20 | 2022-11-24 | ファナック株式会社 | 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置 |
| JPWO2022244212A1 (ja) * | 2021-05-20 | 2022-11-24 | ||
| JP7733108B2 (ja) | 2021-05-20 | 2025-09-02 | ファナック株式会社 | 視覚センサにて撮像された画像に基づいて３次元の位置を算出する撮像装置 |
| US12602821B2 (en) | 2021-05-20 | 2026-04-14 | Fanuc Corporation | Imaging device for calculating three-dimensional position on the basis of image captured by visual sensor |
| JP7324923B1 (ja) | 2022-11-14 | 2023-08-10 | 株式会社 日立産業制御ソリューションズ | 物体認識装置および物体認識方法 |
| JP2024071152A (ja) * | 2022-11-14 | 2024-05-24 | 株式会社 日立産業制御ソリューションズ | 物体認識装置および物体認識方法 |
| CN115497087A (zh) * | 2022-11-18 | 2022-12-20 | 广州煌牌自动设备有限公司 | 一种餐具姿态的识别系统及其方法 |
| CN115497087B (zh) * | 2022-11-18 | 2024-04-19 | 广州煌牌自动设备有限公司 | 一种餐具姿态的识别系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7084900B1 (en) | 2006-08-01 |
| EP1043689A3 (en) | 2003-07-16 |
| JP3377465B2 (ja) | 2003-02-17 |
| EP1043689A2 (en) | 2000-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3377465B2 (ja) | 画像処理装置 | |
| JP3300682B2 (ja) | 画像処理機能を持つロボット装置 | |
| JP3421608B2 (ja) | 教示モデル生成装置 | |
| EP1607194B1 (en) | Robot system comprising a plurality of robots provided with means for calibrating their relative position | |
| US9990685B2 (en) | Automated guidance system and method for a coordinated movement machine | |
| US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
| EP1555508B1 (en) | Measuring system | |
| JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| JPH0435885A (ja) | 視覚センサのキャリブレーション方法 | |
| JPWO1997024206A1 (ja) | 複合センサーロボットシステム | |
| JP7453762B2 (ja) | 画像処理装置、撮像装置、ロボット及びロボットシステム | |
| JP4849178B2 (ja) | 移動型ロボット | |
| CN117355397A (zh) | 基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置 | |
| JP2022530589A (ja) | ロボット搭載移動装置、システム及び工作機械 | |
| JPH02110788A (ja) | ３次元物体の形状認識方法 | |
| WO2023032400A1 (ja) | 自動搬送装置、及びシステム | |
| JP3175623B2 (ja) | ロボットの制御装置 | |
| CN118510633A (zh) | 具备三维传感器的机器人装置以及机器人装置的控制方法 | |
| JP2024033308A (ja) | ロボットシステム、および、ロボットシステムの制御方法 | |
| TW202333920A (zh) | 取得工件位置之裝置、機器人之控制裝置、機器人系統及方法 | |
| TW202324009A (zh) | 產業機械、用於驗證產業機械之動作之裝置及方法 | |
| JP2022162340A (ja) | ピッキング装置 | |
| JPH0425907A (ja) | 自動機の位置ずれ補正装置 | |
| JPH05322530A (ja) | ３次元位置計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021105 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071206 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081206 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091206 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101206 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111206 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121206 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131206 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |