JPH07237158A

JPH07237158A - 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム

Info

Publication number: JPH07237158A
Application number: JP6318607A
Authority: JP
Inventors: Muneyuki Sakagami; 志之坂上; Shiyakuyuu Ou; 錫裕王; Hideo Yonemura; 秀雄米村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-12-28
Filing date: 1994-12-21
Publication date: 1995-09-12

Abstract

(57)【要約】【目的】自律性の高い生産システムを提供することを
目的とする。【構成】擬似作業環境情景生成手段２０は、作業環境
データ記憶手段２９に格納されたデータに基づき視覚ロ
ボット１５や作業ロボット１４等が設計通りの位置にあ
った場合、視覚ロボット１５により撮影されるであろう
情景を疑似的に合成する一方、視覚ロボット１５は、作
業環境１の情景を実際に撮影する。作業環境情景理解手
段２２は、該実画像と上記疑似情景とを比較することに
より、作業ロボット１４、視覚ロボット１５等の位置・
姿勢のずれを検出する。従って、絶対的な基準点が視覚
ロボット１５に映っていない状態でも、作業対象物等の
位置・姿勢を検出修正することができ、自律性の高い生
産システムを実現できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、製品の組立作業を自動
化するためにコンピュータを活用する生産システムの分
野で、ティーチングレスでロボットシステムに作業を行
わせる被撮像物の位置・姿勢検出方法およびその装置
と、これを用いたフレキシブル生産システムに関する。
特に、製品設計データ、加工・組立装置データ、周辺機
器データをもとにコンピュータ・グラフィックスで作成
した擬似作業環境モデルとテレビカメラを用いた視覚装
置で得られた実作業環境とを対比して、自律的に作業を
行える機能を実現するのに好適な位置・姿勢検出方法お
よびその装置と、これを用いたフレキシブル生産システ
ムに関する。

【０００２】

【従来の技術】これまでの生産システムにおいては、均
一な製品を大量に供給するための少品種大量生産システ
ムであった。ところが、現在では多様な顧客ニーズに応
えるために、製品に対する差別化、個性化へと価値の重
点が移るようになり、製品の多様化、多機能化、製品寿
命の短命化に伴い、多品種少量生産に対応する生産シス
テムの開発が要求されてきている。そこで、顧客のニー
ズにあった製品をタイムリーに供給するためには、受
注、設計、製造の全体システムを結んだ多品種少量生産
に対応した柔軟性の高いフレキシブル生産システムが要
求されてきている。更に、家庭電化製品の総組立工程は
人手作業が主体であるが、季節ごとの需要の変動に合わ
せて作業者数を増減することが困難なため、これを自動
化したいとの要求が高い。

【０００３】従来の少品種大量生産方式では、ロボット
はティーチングプレイバック方式で作業を行っている。
ロボットの動作シーケンスはオフラインで決定すること
が可能となってきているが、位置情報についてはオンラ
インティーチングが一般的であり、ティーチング中は生
産ラインを長時間停止する必要があるとともに、ロボッ
トの操作に熟練した作業者も必要である。また、多くの
ロボットを使用する場合には生産ライン全体の立ち上げ
に長時間を要する。

【０００４】一方、フレキシブル生産システムを実現す
るためには、作業計画部門からの指示に基づいて設備構
成を変更したり、ロボットの位置を変更する必要があ
る。このためには正確な位置にロボットを持っていくの
ではなく、不正確な位置にいるなりにロボットを自律的
に行動させる必要がある。かかる構成の従来例として、
特開平３−７３２８４号公報（以下、第一の従来技術と
云う）に記載された方法がある。この第一の従来技術に
よるロボット制御方法は、作業環境内に存在する運動物
体に関する情報をロボットに与えて、ロボットに的確な
行動をさせることを目的にしたものである。そのため
に、知識データベースとして、行動の手順や、いろいろ
の状況に応じた動作などの知識を格納していた。

【０００５】また、作業環境の模擬画像をリアルタイム
で表示して、実環境とシミュレーション環境とをオーバ
ーレイ表示し、シミュレーション環境モデルの位置・姿
勢が実環境のそれと違ってしまったような場合に、シミ
ュレーション環境モデルの位置・姿勢データを実環境の
それと一致するように人が簡単に修正を行えるようにす
るという従来例が、特開平３−５５１９４号公報（以
下、第二の従来技術と云う）に記載されている。この第
二の従来技術はロボットの遠隔操作が目的であり、画像
解析自体は人が行っていた。

【０００６】さらに、操作対象物の画像が、操作用手先
の画像で隠れる場合でも操作対象の認識を可能とし、あ
るいは操作対象物と操作用手先との相対位置関係の認識
を、人が可能とする画像を表示するという従来例が特開
平３−６０９８９号公報（以下、第三の従来技術と云
う）に記載されている。この従来例も遠隔操作が目的で
あり、画像解析自体は人が行っていた。

【０００７】ところで、ある地点で広く情報が欲しいと
いう場合もある。その場合にテレビカメラの向きを振る
ことでそれを可能とすることができる。この従来例が特
開平２−８３１９４号公報（以下、第四の従来技術と云
う）に記載されている。しかしこの従来技術は、ロボッ
トを遠隔操縦する人間に対して見やすいように表示する
ためのもので、画像解析に関しては考慮されていなかっ
た。

【０００８】

【発明が解決しようとする課題】上述の如く、顧客のニ
ーズにあった製品を、タイムリーに供給可能な、受注、
設計、製造の全体システムを結ぶ多品種少量生産に対応
した柔軟性の高いフレキシブル生産システムを実現する
ためには、生産設備の構成を変更したり、ロボットの位
置を変更したりしなければならない。このような条件の
もとで製造するためには、設備全体の信頼性を高くする
ことが必須である。このためには、作業計画通りに作業
対象が所期の位置に存在することを確認することや、所
期の位置からずれている場合にはそのずれを知ってその
ずれに対応した動作を行う自律性を生産システムにもた
せる必要がある。

【０００９】しかしながら、上記に示す第一〜第四の従
来技術は何れも、この生産システムの自律性を実現する
ことについて配慮されていなかった。特に、第一の従来
技術では、知識データベースにロボットの行動手順やい
ろいろの状況に応じた動作などの知識を格納しておき、
作業環境内に存在する運動物体に関する情報をもとに、
ロボットに的確な行動をさせるものの、情景として捕ら
えた作業環境を解析するためには、情景入力装置がどこ
にあれば情景がどのように見えるかが前もってわかって
いなければならない。第一の従来技術では、作業対象は
どう見えるか、周辺装置はどう見えるか、ロボットはど
う見えるか、部分的にどこがどう見えるか等、具体的に
わかる手段がなく、実作業環境を解析することについて
配慮していなかった。

【００１０】また、実作業環境を解析するには、できる
限り広範囲の情報をできる限り密度高く利用する必要が
ある。第四の従来技術では、テレビカメラの向きをふる
ことで、広範囲の情報を利用するようにしたものである
が、その際、情報として捕らえた作業環境を、ただ単に
スクリーンに表示しているだけであるため、作業環境の
解析として使用することができない。

【００１１】本発明は、上記のような従来技術の問題点
に鑑み、作業環境を解析するとともに、解析した結果に
基づいてロボット等の位置・姿勢ずれを正確に把握し、
以て位置・姿勢ずれの修正を精度よく自動的に行うこと
のできる、被撮影物の位置・姿勢検出方法を提供するこ
とにある。また、他の目的は、上記方法を的確に実施し
得る位置・姿勢検出装置を提供することにあり、さらに
他の目的は、多品種少量生産に対応し得る柔軟性の高い
フレキシブル生産システムを提供することにある。

【００１２】

【課題を解決するための手段】本発明方法では、情景検
出手段による作業環境中の被撮影物の撮影を、該情景検
出手段におけるカメラレンズの主点位置を中心に変更し
て行い、得られた複数の画像を一枚の平面へ投影して一
枚の広画角画像に合成し、上記情景検出手段および上記
被撮影物が、予め定められた設計上の位置・姿勢にあっ
たと仮定した場合、上記情景検出手段が撮影しているで
あろう画像を疑似的に合成し、該疑似的画像上におけ
る上記被撮影物上の各特徴点の位置と、上記情景検出手
段が実際に撮影して得た上記合成画像上における当該被
撮影物上の上記各特徴点と対応する各特徴点の位置との
ずれ量を抽出し、該ずれ量に基づき上記情景検出手段お
よび上記被撮影物の位置・姿勢を、上記被対象物を基準
にして修正することと、前記ずれ量に応じた分だけ上記
情景検出手段および被撮影物を移動する設計データを修
正することの何れか一方を行うことを特徴とする。

【００１３】また、本発明方法では、予め、作業対象物
と該作業対象を加工処理する加工装置とこれらの周辺装
置とを撮像し得る少なくとも２台の情景検査手段を設置
しておき、これら２台の情景検査手段，作業対象物，加
工装置，周辺装置からなる作業環境の各々の予測された
時間での位置・姿勢を、予め設計されたデータに基づい
て画像として疑似的に生成し、次いで、作業環境がその
疑似的画像を生成した時間軸に達したとき、実際の作業
環境を各情景検査手段によって撮像すると共に、該実際
に撮像した作業環境のデータと疑似的画像を生成したデ
ータとを比較して両者にずれがあったとき、該ずれに基
づいて作業環境内の各々の位置・姿勢を修正することと
前記ずれの分だけ作業環境内の対応する各々の設計デー
タを修正することとの何れか一方を実行することを有す
ることを特徴とする。

【００１４】本発明の位置・姿勢検出装置では、被撮影
物を撮影する情景検出手段と、該情景検出手段の実際の
位置を示す実データと、上記被撮影物についての設計上
の位置・姿勢を示す設計データを格納された記憶手段
と、上記被撮影物が上記設計上の位置・姿勢にあったと
仮定した場合、上記情景検出手段が撮影しているであろ
う画像を、上記実データおよび上記設計データを用いて
疑似的に作成し、該疑似的に作成した画像上における被
撮影物上の各特徴点の位置と、上記被撮影物を上記情景
検出手段が実際に撮影した画像上における当該被撮影物
上の上記各特徴点と対応する各特徴点の位置とのずれを
求め、該ずれに基づいて上記被撮影物の位置・姿勢を修
正することと前記ずれの分だけ作業環境内の対応する各
々の設計データを修正することとの何れか一方を実行す
る手段とを有することを特徴とする。

【００１５】また、本発明の位置・姿勢検出装置では、
作業対象物，該作業対象物を加工処理する加工装置，こ
れらの周辺装置，該作業対象物と加工装置と周辺装置と
を撮像し得る少なくとも２台の情景検査手段を有する作
業環境と、作業対象物，加工装置，周辺装置，各情景検
査手段の形状や特徴点に関する情報を格納した設計デー
タ記憶装置と、作業対象物，加工装置，周辺装置，各情
景検査手段に対する作業手順データ，作業工程データ，
動作経路データを夫々格納した作業計画データ記憶装置
と、設計データ記憶装置及び作業計画データ記憶装置に
格納されたデータに基づき、作業環境内の各々の予め予
測された時間での位置・姿勢情景を疑似的に生成し、そ
の疑似的に生成した時間軸に達したとき、実際の作業環
境を各情景検査手段によって撮像すると共に、該撮像デ
ータを疑似的に生成した作業環境の各々の位置・姿勢情
景と比較して作業環境の各々の位置・姿勢のずれを検出
し、その検出したずれを吸収する方向に作業環境内の各
々の位置・姿勢を修正する組立ステーション制御手段と
を有することを特徴とする。

【００１６】本発明のフレキシブル生産システムでは、
作業対象物，該作業対象物を加工処理する加工装置，こ
れらの周辺装置，該作業対象物と加工装置と周辺装置と
を撮像し得る少なくとも２台の情景検査手段を有する作
業環境と、作業対象物，加工装置，周辺装置，各情景検
査手段の形状や特徴点に関する情報を格納した設計デー
タ記憶装置と、作業対象物，加工装置，周辺装置，各情
景検査手段に対する作業手順データ，作業工程データ，
動作経路データを夫々格納した作業計画データ記憶装置
と、設計データ記憶装置及び作業計画データ記憶装置に
格納されたデータに基づき、作業環境内の各々の予め予
測された時間での位置・姿勢情景を疑似的に生成し、そ
の疑似的に生成した時間軸に達したとき、実際の作業環
境を各情景検査手段によって撮像すると共に、該撮像デ
ータを疑似的に生成した作業環境の各々の位置・姿勢情
景と比較して作業環境の各々の位置・姿勢のずれを検出
し、その検出したずれを吸収する方向に作業環境内の各
々の位置・姿勢を修正する位置・姿勢検出装置を備えて
いる。

【００１７】そして、上記フレキシブル生産システムに
おいては、前記位置・姿勢検出装置における作業環境内
の各情景検出手段のうち、少なくとも一方が姿勢変更装
置に設置されたテレビカメラで構成され、かつ該姿勢変
更装置は、軸周りに回転可能な第１の回転軸と、出力部
が第１の回転軸の出力部に直交して配置されると共に、
前記テレビカメラを取付けた第２の回転軸とを有し、第
１の回転軸出力部の中心線と第２の回転軸出力部の中心
線との互いに交差する位置にテレビカメラにおけるカメ
ラレンズの中心軸を配置すると共に、カメラレンズの回
転中心を一致させ、しかも、その一致する位置にカメラ
レンズの主点が一致するように配置されている。

【００１８】

【作用】自律的なフレキシブル生産システムでは、作業
計画通りに作業がなされているか、そして次の作業が予
定通りに行えるかを、各作業ごとに確認する必要があ
る。そのためには、まず、情景入力センサによって得ら
れる２次元的な映像から、作業対象物の３次元的な位置
および姿勢を検出することが必要となる。また、情景入
力センサによって、常に、確認したい作業点等を見るた
めには、必要に応じて情景入力センサの位置を適切な位
置に変更し、いわゆる「のぞき込み」動作を行う必要が
ある。そして、そのためには、該情景入力センサの位置
を正確に検出・修正することが必要となる。この場合、
特定の基準点を設け常に該基準点を用いて位置を検出す
ることはできない。なぜならば、該情景入力セイサは、
必要に応じて移動等するものだからである。

【００１９】そこで、本発明においては以下に述べる手
法によって、情景入力センサ、対象物の実際の位置・姿
勢の検出および修正を行っており、それらの概要につい
て説明する。

【００２０】まず、情景入力センサが、作業計画で指定
された位置に指定された方向を向いている作業計画通り
の場合には、作業環境がどのように見えるかを設計デー
タと作業計画データをもとに、コンピュータグラフィッ
クスで疑似作業環境画面しとて生成する。ここで、情景
入力センサは、ズーム機能付きが好ましい。

【００２１】続いて、前記生成した疑似作業環境画面内
で、色やエッジなどの期待される特徴点の候補を選択
し、実作業環境内において前記候補に対応する特徴点を
探す。この場合、生産現場においては作業環境は既知で
ある。また、生産ライン等の製造設備も既知のものが多
い。したがって、常時画像処理容易な基準となる特徴点
を用意しておくことが可能である。

【００２２】ズーム機能付きの情景入力センサを広角に
して情景を取り込むことにより、前記特徴点の何個かを
識別できる。この空間座標が既知である特徴点の疑似作
業環境画面位置と、情景入力センサにより取り込んだ実
作業環境画面位置との差異から、情景入力センサの空間
内の粗位置を決定することができる。また、必要に応じ
て、ズーム機能をさらに拡大にした情景入力センサで情
景を取り込めば、精密な三次元空間位置を決定すること
ができる。

【００２３】最後に、前記実作業環境画面と疑似作業画
面を重ね合わせて、両者が一致するかどうかを確認す
る。全情景が一致して、作業計画と異なるところがなけ
れば作業計画通りに作業が行われていることになる。一
方、異なるところがあれば、どの部分が異なるのかを設
計データや作業計画データをもとに、一部品毎または組
部品毎にパターンマッチング処理して調べ、例えば作業
対象や周辺装置の位置・姿勢が異なる場合にはデータベ
ースの中の該当するデータを変更したり、作業ロボット
の位置・姿勢のみ異なる場合には作業ロボットの位置・
姿勢を変更する。また、情景全体や作業ロボットの背景
がずれていた場合は、情景入力装置の位置や方向を変更
し、実作業環境の情景がコンピュータグラフィックスの
情景と一致するように修正され、作業計画通りの作業が
行われる。次に、情景入力センサによって得られる２次
元的な映像に基づいて、該映像を撮影している情景入力
センサ（テレビカメラ）自身や、撮影されている作業対
象物の３次元的な位置・姿勢を検出する方法について詳
細に説明する。

【００２４】本発明においては、予め与えられた位置デ
ータ等から作成される疑似作業環境画面と、情景入力セ
ンサによって得られる実作業環境画面位置との差異から
三次元空間上における位置および姿勢を決定している。

【００２５】まず、図４にこれ以降の説明の前提となる
作業環境のモデルを示す。ここでは、説明上ロボットや
ワークを長方体として示し、単に「対象物」と呼ぶこと
にする。この作業環境内には、情景入力センサとしての
１台のテレビカメラを装備した自走ロボットと、４つの
対象物がある。テレビカメラは対象物が見える位置およ
び、姿勢に設定しておく。

【００２６】図４に示すように作業環境内には、各個別
の対象物とは独立した静止座標系が設けられている。こ
の静止座標系を導入したのは、単に、座標変換などの処
理を容易にするためである。一方、テレビカメラは、独
自の視覚座標系を有している。また、４つの対象物も、
それぞれ独立した対象物座標系をもっており、各対象物
の特徴点（たとえば頂点）の座標は、対象物座標系上に
おいて定義されている。その一方で、視覚座標系および
対象物座標系（以下、視覚座標系および対象物座標系を
総称して、「ローカル座標系」という場合がある。）の
物体についての各座標系自体の原点は、静止座標系上に
おいて定義されるのが一般的である。このように、対象
物座標系の原点を静止座標系上において定義する一方
で、対象物の頂点などの座標は、対象物座標系上におい
て定義したことにより、「対象物」の動きを、単に、静
止座標系上において「対象物座標系」の動きとして、と
らえることができる。このため、対象物座標系において
定義された対象物上の頂点のように、各対象物の特徴点
の座標は全く変化せず、演算処理を単純化することがで
きる。これら各座標系間の関係を図５に示す。図中、Ｓ
が静止座標系の原点、Ｃは視覚座標系の原点、Ｐは対象
物座標系の原点である。

【００２７】また、三次元空間上（この場合、静止座標
系上）において、前記ローカル座標系の位置・姿勢を特
定するためには、６個のパラメータを必要とする。つま
り、位置のパラメータとして、各ローカル座標系の原点
の静止座標系上における位置（ｘ、ｙ、ｚ）が必要であ
り、また、姿勢のパラメータとして、静止座標系のｘ、
ｙ、ｚ軸まわりの、各ローカル座標系の回転角度θx、
θy、θzが必要となる。したがって、以下の説明におい
ては、静止座標系上における視覚座標系の原点Ｃの位置
を（Ｃx、Ｃy、Ｃz）として、また、静止座標系のｘ
軸、ｙ軸、ｚ軸まわりにおける視覚座標系の姿勢をθ
1、θ2、θ3、として示す。同様に、静止座標系上にお
ける対象物座標系の原点Ｐの位置を（Ｐx、Ｐy、Ｐz）
として、また、静止座標系のｘ軸、ｙ軸、ｚ軸まわりに
おける対象物座標系の姿勢をθα、θβ、θγとして示
す。

【００２８】つぎに、疑似作業環境画面の作成について
説明する。疑似作業環境画面の作成は、対象物の形状や
特徴点、対象物の置かれているべき位置および姿勢等に
関する予め与えられた３次元的データの全てを、一旦、
静止座標系に変換し、（この場合変換は、静止座標系に
限定されるものではなく、いずれか一つの座標系に変換
すればよい。）その後、改めてこれを視覚座標系上に変
換し、さらに、テレビカメラにより撮影される２次元画
面へ変換することにより行われる。

【００２９】上記視覚座標系上で定義されている座標を
静止座標系へ変換するには、まず、（Ｃｘ、Ｃｙ、Ｃ
ｚ）だけ平行移動を行い、その後、静止座標系のｙ軸、
ｘ軸、ｚ軸について、それぞれ、θ2、θ1、θ3、だけ
回転させればよい。対象物座標系上で定義されている座
標を静止座標系へ変換する場合にも同様に、まず、（Ｐ
ｘ、Ｐｙ、Ｐｚ）だけ平行移動を行い、その後、静止座
標系のｙ軸、ｘ軸、ｚ軸について、それぞれ、θβ、θ
α、θγ、だけ回転させればよい。

【００３０】この処理を数式化して示したのが数１、数
２である。なお、ここでは式を簡単化するために、ｓｉ
ｎθiをｓi、ｃｏｓθiをｃiで表わすことにする。

【００３１】視覚座標系上の点を静止座標系上に変換す
る座標変換行列ＴｃSは、

【００３２】

【数１】

【００３３】と表せる。該式中のＴransは平行移動変換
行列である。また、ＲoＴは回転移動変換行列であり、
ＲoＴ（ｙ、θ2）はｙ軸回りにθ2回転することを意味
する。

【００３４】同様に、静止座標系に対する対象物座標系
上の点を静止座標系上に変換する座標変換行列ＴｐS
は、

【００３５】

【数２】

【００３６】と表せる。

【００３７】したがって、静止座標系上の任意の点Ｅ
（Ｅx、Ｅy、Ｅz、１）を、視覚座標系上に変換した場
合の座標Ｅｃは、

【００３８】

【数３】

【００３９】となる。

【００４０】同様に、対象物座標系上の任意点の位置ベ
クトルＯ（ＯXp、ＯYp、ＯZp、１）を、視覚座標系上に
変換した場合の座標Ｏｃは、

【００４１】

【数４】

【００４２】と表せる。

【００４３】上記数１〜数４の変換式を用いて視覚座標
系上に集められた座標データは、上述したとおり２次元
画面（テレビカメラにより撮影される画面に相当する）
へ変換される。ここでは、前記視覚座標系上に変換され
た任意の点Ｅの座標Ｅｃを、該２次元画面上に変換する
場合の画面位置座標の求め方について説明する。

【００４４】視覚座標系上における任意点の座標Ｅｃ
は、図６に示すとおり、レンズを介して撮像面の点Ｇに
結像する。なお、視覚座標系は、その原点がレンズの中
心に位置するように設定される。該図中の点１と点２
は、視覚座標系のｚｃ軸に垂直な平面内にある。また、
点３と点４も、同様に、視覚座標系のｚｃ軸に垂直な平
面内にある。従って、図中の点０、点１、点２の形成す
る三角形と、点０、点３、点４の成す三角形とは相似で
ある。従って、撮像面上の点Ｇは、

【００４５】

【数５】

【００４６】として求まる。ここで、Ｓｘはｘ方向の見
かけの焦点距離を表す係数、Ｓｙはｙ方向の見かけの焦
点距離を表す係数である。ここで、Ｓｘ，Ｓｙを見かけ
の焦点距離と呼ぶのは、これが、レンズ主点からテレビ
カメラの撮像面までの距離ではなく、テレビカメラの撮
像面に結像した被対象物の映像信号を、アナログ／デジ
タル変換で計算機で処理できる画素列に変換して得られ
た計算機内の画面までの、レンズ主点からの見かけの距
離を意味するからである。

【００４７】同様にして、対象物座標系上の任意の点Ｏ
の画面上の点Ｇｐは、

【００４８】

【数６】

【００４９】として求まる。

【００５０】上述した数１〜数６からなる各関係式を用
いれば、設計データをもとに対象物がテレビカメラでど
う見えるかを計算できる。なお、同じ画面位置に複数の
ものがある場合には、ＯＺｃで表す距離情報に基づいて
テレビカメラとの距離を判定し、手前側に位置するもの
のみを表示することができる。このようにして疑似作業
環境画面を生成することができる。

【００５１】次に、テレビカメラが実際の作業環境を撮
影することによって得た二次元画面位置情報を用いて、
三次元空間位置情報を求める方法について説明する。

【００５２】該三次元空間位置情報は、前記処理によっ
て得た疑似作業環境画面と、テレビカメラによって実際
に撮影して得た作業画面とを比較し、両画面間のずれを
抽出することによって得ることができる。この場合、検
出された両画面間のずれを、テレビカメラ自体の位置・
姿勢のずれとして抽出する場合と、撮影された対象物等
の位置・姿勢のずれとして抽出する場合とで、処理内容
等が異なる。そのため、以下においては、両処理を分け
て説明を行う。

【００５３】まず、最初に、テレビカメラ自体の位置・
姿勢のずれとして扱う場合の処理について説明する。こ
の場合には、対象物の実際の位置・姿勢が予めわかって
いることを前提とする。また、疑似作業画面としては、
上記テレビカメラが予め定められた設計通りの位置およ
び姿勢にあった場合、該テレビカメラの画面上において
対象物がどのように見えているかを示す画像を作成す
る。そして、この作成された疑似画像と実画面とを比較
処理することによりテレビカメラの位置・姿勢を決定す
る。そして、該比較処理は、実際には以下のような数学
的な演算を行うことによってなされる。

【００５４】前記式数３および数５からわかるように、
数５のＧの成分ＧｘとＧｙは、静止座標系上における、
視覚座標系の原点Ｃの位置（Ｃｘ、Ｃｙ、Ｃｚ）と、姿
勢θ１、θ２、θ３、見かけの焦点距離Ｓｘ，Ｓｙの８
つのパラメータで表わすことができる。静止座標系上に
おいて、視覚座標系（テレビカメラ）を移動した場合、
テレビカメラの実際の位置（Ｃｘ′、Ｃｙ′、Ｃｚ′、
θ１′、θ２′、θ３′、Ｓｘ′、Ｓｙ′）と、設計位
置（Ｃｘ、Ｃｙ、Ｃｚ、θ１、θ２、θ３、Ｓｘ，Ｓ
ｙ）との間に、ずれ（△Ｃｘ、△Ｃｙ、△Ｃｚ、△θ
１、△θ２、△θ３、△Ｓｘ，△Ｓｙ）が生じていたと
する。この時パラメータの実際の値Ｃｘ′、Ｃｙ′、Ｃ
ｚ′、θ１′、θ２′、θ３′、Ｓｘ′、Ｓｙ′との間
には、

【００５５】

【数７】

【００５６】の関係が成り立っている。この時、画面上
に写る点Ｇ′の位置は

【００５７】

【数８】

【００５８】となる。ここで、ΔＧｘ、ΔＧｙは実位置
と設計位置の差で生じた画面上の位置差である。パラメ
ータの誤差△Ｃｘ、△Ｃｙ、△Ｃｚ、△θ１、△θ２、
△θ３、△Ｓｘ、△Ｓｙが十分に小さい時には、位置差
ΔＧは

【００５９】

【数９】

【００６０】と表すことができる。ここで、例えばΔＧ
ｘの第一項は数５より、

【００６１】

【数１０】

【００６２】と表せる。また該数１０に含まれている、
δＥｘｃ／δＣｘ、δＥｚｃ／δＣｘは数３および数１
より、

【００６３】

【数１１】

【００６４】と求まる。他の項についても同様にして求
まる。

【００６５】上記式数９より、一つの特徴点で２つの関
係式が成り立つ。ｎ個の特徴点の画面位置差ΔＧｎを

【００６６】

【数１２】

【００６７】と書くことにする。ここで、ΔＧｎ，Ｘ，
Ｒｎは、特徴点の画面位置差行列、パラメータ誤差行列
及び偏微分係数行列で、それぞれ下記の数１３〜数１５
で示されるものである。

【００６８】

【数１３】

【００６９】

【数１４】

【００７０】

【数１５】

【００７１】ところで、数１３のΔＧｎは疑似画像と実
画像との特徴点の画面位置差から求まる。また、設計デ
ータを数１５に代入すれば偏微分係数行列Ｒｎも計算で
きる。したがって、数１３よりパラメータ誤差Ｘは次式
により求まる。

【００７２】

【数１６】

【００７３】これは疑似逆行列を用いて最小２乗法で連
立方程式を解いたことになり、特徴点の数が多いほど精
度が高くなる。逆に、最低４点の特徴点があれば、数１
６中の（ＲｎＴ・Ｒｎ）^-1が計算でき、パラメータ誤差
Ｘを求めることができる。なお、ＲｎＴはＲｎの転置行
列である。

【００７４】ところで、前記数１２はパラメータ誤差が
十分に小さいとしたときの近似式であり、数１６はその
近似式の解である。実際の解はこの近似解を数７に代入
して設計値を更新し、これを数１５に代入し、数１６を
求め直す繰り返し演算をし、ある範囲内に収束させる方
法で求める。この演算により、静止座標系上における視
覚座標系（テレビカメラ）の位置と姿勢および見かけの
焦点距離を決定できる。以降これを単に「テレビカメラ
位置決定法」と呼ぶことにする。

【００７５】つぎに、作業画面と、疑似作業画面との間
のずれを、対象物の位置・姿勢のずれとして扱う場合の
処理について説明する。この場合には、テレビカメラの
実際の位置・姿勢が予めわかっていることを前提とす
る。また、疑似作業画面としては、上記対象物が予め定
められた設計どおりの位置・姿勢にあった場合、テレビ
カメラの画面上においてこの対象物がどのように見えて
いるかを示す画像を作成する。そして、該画像と、実画
面とを比較することによって対象物の位置・姿勢を決定
する。なお、該比較処理は、実際には以下のような数学
的な演算を行うことによってなされる。

【００７６】前記数６のＧｐの成分ＧｐｘとＧｐｙは、
静止座標系上における、対象物座標系の原点Ｐの位置
（Ｐｘ、Ｐｙ、Ｐｚ）と、姿勢θα、θβ、θγおよび
テレビカメラの見かけの焦点距離Ｓｘ，Ｓｙの８つのパ
ラメータで表すことができる。静止座標系上において、
対象物座標系（対象物）を移動した場合、該対象物の実
際の位置（Ｐｘ´、Ｐｙ´、Ｐｚ´、θα´、θβ´、
θγ´、Ｓｘ´、Ｓｙ´）と、設計位置（Ｐｘ、Ｐｙ、
Ｐｚ、θα、θβ、θγ、Ｓｘ、Ｓｙ）との間に、ずれ
（ΔＰｘ、ΔＰｙ、ΔＰｚ、Δθα、Δθβ、Δθγ、
ΔＳｘ、ΔＳｙ）が生じていたとすると、疑似作業画面
と、実際に撮影した画面との間には、該ずれに相当する
差が生じる。そこで、前述したテレビカメラ位置決定方
法と同様に、この画面位置差と偏微分係数行列からパラ
メータ誤差を求めれば、静止座標系上における対象物の
実際の位置、姿勢および見かけの焦点距離を決定するこ
とができる。以降これを単に「対象物位置決定法」と呼
ぶことにする。

【００７７】前述のテレビカメラ位置決定法とこの対象
物位置決定法との違いは、上述したとおり、前者が画面
内にある複数の対象物の特徴点情報に基づいて自己（テ
レビカメラ）の位置を決定するものであるのに対し、後
者は、対象物の特徴点情報に基づいて対象物そのものの
位置・姿勢を決定する点である。

【００７８】ここまでの説明において述べてきた対象物
位置決定法は、その原理上、テレビカメラの実際の位置
・姿勢が正確にわかっていることが前提となる。正確な
位置がわかっていなければ、実際のテレビカメラとは異
なるレンズ主点から見た疑似画像を作成することにな
り、その結果、対象物位置決定の精度が悪くなってしま
うからである。同様の理由から、前述のテレビカメラ位
置決定法も、対象物位置の実際の位置・姿勢が正確にわ
かっていることが前提になる。つまり、両者は、互いに
依存し合っており、テレビカメラと、全ての対象物との
うち、どちらかの実際の位置が予め正確にわかっていな
ければ、正確な位置検出等は行うことができない。

【００７９】しかし、移動するロボットのアームにテレ
ビカメラが設置されているような場合には、テレビカメ
ラと対象物の何個かが同時に設計位置からずれているこ
とが予想される。従って、上記対象物位置決定法等の適
用には、たとえば、テレビカメラが固定されているよう
な特定の状況の場合に限定されるという不便な問題が残
っている。そこで、本願発明者は、この問題について
も、以下において述べる第１および第２の２種類の手法
によって実用上問題がない程度にまで解決することがで
きた。

【００８０】ここで、テレビカメラの位置決定の精度
は、対象物位置の正しさに依存しているから、設計位置
にない位置データに基づいて決定したテレビカメラ位置
により対象物位置を決定すれば、当然精度が悪くなる。
そこで対象物の正確な位置を決定するため、まず、位置
ずれしている対象物を捜し出し、次に、残りの設計位置
通りの対象物の特徴点情報を用いて、もう一回テレビカ
メラの位置を決定する。さらに、このテレビカメラの決
定位置で位置ずれしている対象物の位置・姿勢を決定す
る。

【００８１】まず、本発明の第１の手法の概要を説明す
る。

【００８２】最初に、複数の対象物を用いて、暫定的
に、テレビカメラの位置を決定する。そして、これらの
対象物のうち位置ずれしているものを捜し出す。その
後、設計位置通りの位置にあった対象物の特徴点情報を
用いて、改めて、テレビカメラの位置を再決定する。さ
らに、この後、今度はテレビカメラの再決定された位置
で、位置ずれしている対象物の位置姿勢を決定する。

【００８３】以下、図７を用いて該手法を詳しく説明す
る。この場合、初期状態において、４個の対象物Ｐ０，
Ｐ１，Ｐ２，Ｐ３のうちＰ０，Ｐ１，Ｐ２は、設計位置
通りの正しい位置にあるが、対象物Ｐ３およびテレビカ
メラは、設計位置からずれているものとする。

【００８４】［ステップａ１］４個の対象物Ｐ０，Ｐ
１，Ｐ２，Ｐ３と、テレビカメラとの全てが、設計位置
にあった場合に見えるであろう画面を、予め有する設計
データを用いて疑似的に作成する。そして、作成した疑
似画像と、実際にテレビカメラによって撮影された画像
とを用いて、前述のテレビカメラ位置決定法によって
（この場合、対象物Ｐ０〜Ｐ３の位置・姿勢は、全て正
しい位置にあるものとみなして行う。）テレビカメラの
位置および姿勢、つまり、静止座標系上における視覚座
標系の原点の位置および視覚座標系の姿勢を求める。以
下、ここで求めたテレビカメラの位置および姿勢を、単
に「推定カメラ位置」という。

【００８５】しかし、位置ずれしている対象物Ｐ３の特
徴点情報をも用いているため、ここで求めたテレビカメ
ラの位置・姿勢、つまり、推定カメラ位置は、静止座標
系上における実際の位置とは完全には一致していないこ
とになる。

【００８６】［ステップａ２］続いて、前記ステップａ
１で求めた推定カメラ位置にテレビカメラがあり、かつ
各対象物が設計位置にあった場合に見えるであろう画面
を、予め有している設計データを用いて疑似的に作成す
る。そして、作成した疑似画像と、実際にテレビカメラ
によって撮影された画像とを用いて、前述の対象物位置
決定法により（この場合、上記推定カメラ位置に、実際
にテレビカメラがあるものとみなして行う。）静止座標
系上における各対象物Ｐ０〜Ｐ３の位置および姿勢、つ
まり、静止座標系上における各対象物座標系の原点の位
置および各対象物座標系の姿勢を暫定的に決定する。以
下、ここで求めた対象物の位置および姿勢を、単に「推
定対象物位置」という。

【００８７】しかし、このようにして得た推定対象物位
置が、静止座標系上における対象物Ｐ０〜Ｐ３の実際の
位置・姿勢と一致しているとは限らない。これは前記対
象物位置決定法を行う際に仮定した推定カメラ位置と、
テレビカメラの実際の位置との一致が、本当に成立して
いるとは限らないからである。

【００８８】［ステップａ３］静止座標系上の三次元空
間上において、各対象物を上記推定対象物位置に設定す
るとともに、テレビカメラを推定カメラ位置に設定す
る。ただし、この場合の設定は疑似的に行うものであ
り、テレビカメラや各対象物を実際に設置するものでは
ない。この後、上記各対象物を設計位置にまで疑似的に
移動させる。この場合、該各対象物の移動と共に、上記
推定対象物位置と推定カメラ位置との間に成り立ってい
た相対的な位置関係を保ったまま、テレビカメラも疑似
的に移動し、各対象物が上記設計位置にあるときのテレ
ビカメラの位置・姿勢を求める。ここで求めたテレビカ
メラの位置を、以下「第二次推定カメラ位置」という。

【００８９】上記処理を実際行う場合の具体的な演算処
理の内容を以下に説明する。

【００９０】上述のステップａ１で得た推定カメラ位置
を、Ｃ２ｘ、Ｃ２ｙ、Ｃ２ｚ、θ２１、θ２２、θ２３
とすると、静止座標系上で定義されている座標を、静止
座標系へ座標変換するための行列は、数１より、下記数
１７のように表すことができる。

【００９１】

【数１７】

【００９２】また、前記ステップａ２で得た対象物Ｐ０
についての推定対象物位置を、Ｐ０ｘ、Ｐ０ｙ、Ｐ０
ｚ、θ０α、θ０β、θ０γとすると、対象物座標系上
で定義されている座標を、静止座標系へ座標変換するた
めの行列は、前記数２より、下記数１８のように表すこ
とができる。

【００９３】

【数１８】

【００９４】前記対象物Ｐ０上の特徴点列Ｘｎを、視覚
座標系上に変換したものをＹｎとすると、Ｙｎは、数１
９のように表される。

【００９５】

【数１９】

【００９６】一方、前記対象物Ｐ０が設計位置にあった
場合の位置・姿勢、つまり、対象物Ｐ０の設計位置を、
Ｐｔ０ｘ、Ｐｔ０ｙ、Ｐｔ０ｚ、θｔ０α、θｔ０β、
θｔ０γとすると、静止座標系への座標変換行列は、前
記数２より、下記数２０のように表すことができる。

【００９７】

【数２０】

【００９８】ここで、もし、テレビカメラの実際の位置
・姿勢が、Ｃ３ｘ、Ｃ３ｙ、Ｃ３ｚ、θ３１、θ３２、
θ３３であったとする。また、この視覚座標系上で定義
されている座標を、静止座標系へ座標変換するための行
列は、下記数２１のように表すことができる。

【００９９】

【数２１】

【０１００】また、前記対象物Ｐ０上の特徴点列Ｘｎ
を、実際の視覚座標系上に変換したものをＹｎ′とする
と、Ｙｎ′は、数２２のように表される。

【０１０１】

【数２２】

【０１０２】ここで、この時、画面に全く同じ情景が写
っているとすると、つまり、Ｙｎ＝Ｙｎ′と考えると、
下記数２３の関係が成り立つはずである。

【０１０３】

【数２３】

【０１０４】従って、次式である数２４の関係が成り立
つ。

【０１０５】

【数２４】

【０１０６】いま、Ｃ２ｘ、Ｃ２ｙ、Ｃ２ｚ、θ２１、
θ２２、θ２３、Ｐ０ｘ、Ｐ０ｙ、Ｐ０ｚ、θ０α、θ
０β、θ０γ、Ｐｔ０ｘ、Ｐｔ０ｙ、Ｐｔ０ｚ、θｔ０
α、θｔ０β、θｔ０γ、はそれぞれ既知であるから、
前記数１９、数２０、数２２は、一意に求まる。そし
て、この結果と、前記数２４とを用いれば、前記数２１
は、下記数２５、数２６のように求めることができる。

【０１０７】

【数２５】

【０１０８】

【数２６】

【０１０９】［ステップａ４］つぎに、前記各対象物に
ついて求めた第２次推定カメラ位置間の距離を算出す
る。

【０１１０】［ステップａ５］ここで、各々の対象物毎
に求めた第２次推定カメラ位置の一致性を見れば、いず
れの対象物の位置がずれているかを判断することができ
る。すなわち、実際の位置と設計位置とが一致している
対象物Ｐ０，Ｐ１，Ｐ２を用いて算出した第２次推定カ
メラ位置は、全て一致するはずである。一方、設計位置
からずれた位置にある対象物Ｐ３を用いて算出した第２
次推定カメラ位置は、他と一致しないはずである。した
がって、量子化誤差の許容範囲外の距離を持つ対象物を
判別すれば、設計位置にない対象物を割り出すことがで
きる。

【０１１１】［ステップａ６］実際に設計位置上にある
ことが判明した対象物Ｐ０，Ｐ１，Ｐ２の特徴点情報を
用いて、改めて、正確にテレビカメラの位置を決定す
る。

【０１１２】［ステップａ７］上記ステップａ６で決定
された正確なテレビカメラの位置を用いて、許容範囲外
にあった対象物Ｐ３の位置および姿勢を決定する。

【０１１３】以上の手順により設計位置にない対象物と
テレビカメラとの位置を、精度高く決定することができ
る。

【０１１４】次ぎに第２の手法について説明する。この
手法においては、各対象物毎にテレビカメラ位置決定法
を適用し、テレビカメラの位置を決定する。以下、ここ
で求めたテレビカメラの位置を「暫定位置」という。

【０１１５】そして、この後は、上記第１の手法の［ス
テップａ５］〜［ステップａ７］と同様の処理を行う。
つまり、ここで求めた各対象物毎の各暫定位置の一致性
を見ることによって、設計位置にない対象物を判別する
ことができる。なお、この場合の一致性の判断の手法と
しては、上記ステップａ４、ａ５で示した方法に限定さ
れるものではない。

【０１１６】なお、上記第１の手法および第２の手法と
も、対象物を３個以上使用することが、その原理上必要
である。これは、対象物が１個では比較する相手がな
く、また、対象物が２個では、どちらが正確であるかを
判定できないからである。また、上述の説明中、各所に
おいて疑似画像を作成する旨を述べてきたが、これは概
念的な意味で述べたものであって、必ずしも実際に「画
像」とする必要はない。

【０１１７】つぎに、テレビカメラと対象物とを用い
て、テレビカメラあるいは対象物の位置を決定する他の
方法について説明する。

【０１１８】まず、１台のテレビカメラと１個の対象物
を用いたときの関係について説明する。静止座標系にお
いて、視覚座標系を移動した場合、テレビカメラの実際
の位置（Ｃｘ´、Ｃｙ´、Ｃｚ´、θ１´、θ２´、θ
３´、Ｓｘ´、Ｓｙ´）および対象物の実際の位置（Ｐ
ｘ´、Ｐｙ´、Ｐｚ´、θα´、θβ´、θγ´）と、
テレビカメラの設計位置（Ｃｘ、Ｃｙ、Ｃｚ、θ１、θ
２、θ３、Ｓｘ、Ｓｙ）および対象物の設計位置（Ｐ
ｘ、Ｐｙ、Ｐｚ、θα、θβ、θγ）との間に、それぞ
れずれ（ΔＣｘ、ΔＣｙ、ΔＣｚ、Δθ１、Δθ２、Δ
θ３、ΔＳｘ、ΔＳｙ）および（ΔＰｘ、ΔＰｙ、ΔＰ
ｚ、Δθα、Δθβ、Δθγ）が生じていたとする。こ
の時、バラメータの実際の位置と設計位置及びずれとの
間には、

【０１１９】

【数２７】

【０１２０】の関係が成り立っている。この時、画面上
に移る点Ｇｐ´の位置は、

【０１２１】

【数２８】

【０１２２】となる。ここで、パラメータのずれが十分
に小さいときには位置差ΔＧｐは、

【０１２３】

【数２９】

【０１２４】と表すことができる。対象物上のこの特徴
点の画面位置差ΔＧｐｎを、

【０１２５】

【数３０】

【０１２６】と書くことにする。ここで、ΔＧｐｎは特
徴点の画面位置差ベクトルで、

【０１２７】

【数３１】

【０１２８】で示されるものである。また、Ｘｐはパラ
メータ誤差ベクトルで、

【０１２９】

【数３２】

【０１３０】で示されるものである。この中のｓＸｐ、
ｃＸｐ、ｏＸｐはパラメータ誤差のうちの見かけの焦点
距離のパラメータ誤差ベクトル、カメラの位置姿勢のパ
ラメータ誤差ベクトル、対象物のパラメータ誤差ベクト
ルで、それぞれ下記の数式

【０１３１】

【数３３】

【０１３２】

【数３４】

【０１３３】

【数３５】

【０１３４】で示されるものである。

【０１３５】さらに、Ｒｐｎは偏微分係数行列で、

【０１３６】

【数３６】

【０１３７】で示されるものである。ところで、前記数
３１のΔＧｐｎは、疑似画像と実画像との特徴点の画面
位置差から求まる。また、設計データを上記数３６に代
入すれば偏微分係数行列Ｒｐｎも計算できる。したがっ
て、前記数３０よりパラメータ誤差Ｘｐは、次式で求ま
る。

【０１３８】

【数３７】

【０１３９】つぎに、複数のテレビカメラと複数の対象
物の位置決定法を、２台のテレビカメラと２個の対象物
を例に説明する。この説明の前に、前述した１台のテレ
ビカメラと１個の対象物に関する関係を次のように整理
する。

【０１４０】偏微分係数行列Ｒｐｎを

【０１４１】

【数３８】

【０１４２】とおく。ここで、ｃＲｐｎ、ｏＲｐｎ、ｓ
Ｒｐｎは、それぞれテレビカメラの位置・姿勢パラメー
タに関する偏微分係数行列、対象物の位置・姿勢パラメ
ータに関する偏微分係数行列、テレビカメラの見かけの
焦点距離パラメータに関する偏微分係数行列である。ま
た、パラメータ誤差ベクトルＸｐを、

【０１４３】

【数３９】

【０１４４】とおく。ここで、ｃＸｐ、ｏＸｐ、ｓＸｐ
はそれぞれテレビカメラの位置・姿勢パラメータベクト
ル、対象物の位置・姿勢パラメータベクトル、テレビカ
メラの倍率パラメータベクトルである。

【０１４５】つぎに、２台のテレビカメラと２個の対象
物を用いた場合における、対象物上の特徴点の画面位置
差ベクトルΔＧａｌｌとパラメータに関する偏微分係数
行列Ｒａｌｌとパラメータ誤差ベクトルＸａｌｌとの関
係は、

【０１４６】

【数４０】

【０１４７】次式となる。ここで、ΔＧａｌｌ、Ｒａｌ
ｌ、Ｘａｌｌをそれぞれ、

【０１４８】

【数４１】

【０１４９】

【数４２】

【０１５０】

【数４３】

【０１５１】のように表しなおす。式中１，１、１，２
等の右肩の指数ｉ、ｊは、ｉ番目のテレビカメラに対す
るｊ番目の対象物に関するものであることを意味してい
る。

【０１５２】前記数４０は、パラメータが冗長なので、
このままではパラメータ誤差で解くことができない。そ
こで、つぎの対象物のいずれか１個を静止座標系に固定
して解く例について説明する。対象物１個目を静止座標
系に固定すると、数４２の偏微分係数行列Ｒａｌｌと、
数４３のパラメータ誤差ベクトルＸａｌｌは、

【０１５３】

【数４４】

【０１５４】

【数４５】

【０１５５】となる。したがって、前記数４０は、

【０１５６】

【数４６】

【０１５７】と表せ、これより数４５はパラメータ誤差
Ｘａｌｌは、

【０１５８】

【数４７】

【０１５９】で求まる。ここで、数４６はパラメータ誤
差が十分に小さいとしたときの近似式であり、数４７は
その近似式の解である。前記テレビカメラ位置決定法と
同様に、収束演算することにより、複数のテレビカメラ
の位置と対象物の位置を決定することができる。

【０１６０】次に、複数のテレビカメラの間に、予め決
められた拘束関係がある場合のテレビカメラと対象物の
位置の決定法について、２台のテレビカメラと２個の対
象物を用いた例で説明する。

【０１６１】２台のテレビカメラは拘束されているの
で、ここでは１台目のテレビカメラの位置・姿勢をパラ
メータとして使用し、一個目の対象物を静止座標系に固
定して解く例について説明する。２台目のテレビカメラ
の位置・姿勢をパラメータは、１台目のテレビカメラの
位置・姿勢をパラメータに拘束されているので、この時
の偏微分係数行列Ｒａｌｌは、

【０１６２】

【数４８】

【０１６３】と表せる。また、このときのパラメータ誤
差Ｘａｌｌは、

【０１６４】

【数４９】

【０１６５】であり、対象物上の特徴点の画面位置差ベ
クトルΔＧａｌｌと、パラメータに関する偏微分係数行
列Ｒａｌｌおよびパラメータ誤差ベクトルＸａｌｌの関
係は、

【０１６６】

【数５０】

【０１６７】となる。ところで、対象物上の特徴点の画
面位置差ベクトルΔＧａｌｌは疑似画像と実画像との特
徴点の画面位置差から求まる。また、設計データを前記
数４８に代入すれば、パラメータに関する偏微分係数行
列Ｒａｌｌも計算できる。したがって、パラメータ誤差
ベクトルＸａｌｌは、

【０１６８】

【数５１】

【０１６９】により求まる。ここで、数５０はパラメー
タ誤差が十分に小さいとしたときの近似式であり、数５
１はその近似式の解である。前記「テレビカメラ位置決
定法」と同様に、収束演算することにより、複数のテレ
ビカメラの間に予め決められた拘束関係がある場合のテ
レビカメラと対象物の位置を決定することができる。

【０１７０】

【実施例】以下、本発明による位置・姿勢検出方法を実
施するために被撮像物の位置・姿勢検出装置を適用した
フレキシブル生産システムの一実施例を添付図面により
説明する。まず、フレキシブル生産システムの基本構成
を説明する。

【０１７１】本実施例のフレキシブル生産システムは大
別すると、図１に示すように、作業環境１と、組立ステ
ーション制御装置２と、設計データ記憶装置３と、作業
計画データ記憶装置４とを備えて構成されている。

【０１７２】作業環境１は、ワークとしての作業対象１
２，周辺装置１３，加工装置としての作業ロボット１４
のほか、視覚ロボット１５、テレビカメラ３４を有する
姿勢変更装置３３及びその他の構造物等からなってい
る。そして、視覚ロボット１５により、作業対象１２と
周辺装置１３と作業ロボット１４とテレビカメラ３４と
を撮像すると共に、テレビカメラ３４により、作業対象
１２と周辺装置１３と作業ロボット１４と視覚ロボット
１５とを撮像するようになっており、以下これらの撮像
した映像を全て「被撮影物」と云う。なお、周辺装置１
３は、作業環境１の中で作業対象１２を支持・搬送等す
るものであり、詳細は図３にて述べる。

【０１７３】作業ロボット１４は、作業対象１２に働き
かける手先効果器、いわゆるロボットハンドやその他の
加工器具等を有し、これを用いて作業対象１２の組立等
を行う。そして、該作業ロボット１４はそれ自身が移動
可能に構成されている。視覚ロボット１５は、作業環境
１の被撮像物を画像データとして取り込むため、テレビ
カメラ３４と同様のテレビカメラをなす情景検出手段を
有し、しかも作業ロボット１４と同様に移動可能に構成
されている。

【０１７４】姿勢変更装置３３は、テレビカメラ３４の
姿勢を変更する装置である。そして、テレビカメラ３４
は、視覚ロボット１５のビテオカメラと同様に、作業環
境１を画像データとして取り込むための情景検出手段で
ある。

【０１７５】組立ステーション制御装置２は、視覚ロボ
ット１５及びテレビカメラ３４によって撮像された作業
環境のデータと、設計データ記憶装置３と作業計画デー
タ記憶装置４とに基づいて被撮影物の位置・姿勢のずれ
を検出し、その検出したずれを吸収する方向に被撮影物
を移動し、修正させるようにしており、詳細は後述す
る。また組立ステーション制御装置２は、被撮影物の位
置・姿勢のずれを検出したとき、そのずれの分だけ設計
データを変更し、修正するようにもなっている。

【０１７６】設計データ記憶装置３は、製品やロボット
等の形状，これらの大きさ及び特徴点等に関する情報を
格納し、つまり製品設計データ，ロボット設計データ，
周辺機器設計データを格納している。

【０１７７】作業計画データ記憶装置４は、作業対象１
２と作業ロボット１４と周辺装置１３と視覚ロボット１
５と姿勢変更装置３３に対する作業手順データ，作業工
程データ，動作経路データを格納している。

【０１７８】つぎに、前記組立ステーション制御装置２
の構成について、さらに詳しく説明すると、該組立ステ
ーション制御装置２は、図１に示すように、擬似作業環
境情景生成手段２０、画像処理手段２１、作業環境情景
理解手段２２、周辺装置制御手段２３、作業ロボット制
御手段２４、視覚ロボット制御手段２５、動作指令生成
手段２６、作業環境データベース構築手段２８、作業環
境データ記憶手段２９、画像データ記憶手段３０、画像
合成手段３１、姿勢変更装置制御手段３２を有して構成
されている。

【０１７９】作業環境データベース構築手段２８は、設
計データ記憶装置３および作業計画データ記憶装置４に
格納されたデータと、作業環境情景理解手段２２で得ら
れた情報とから作業環境に関するデータベースを構築す
るものである。ここで構築したデータは、作業環境デー
タ記憶手段２９に格納される構成となっている。

【０１８０】そして、擬似作業環境情景生成手段２０
は、作業環境データ記憶手段２９に格納されたデータを
用いることにより、作業中における特定時間での作業環
境情景を擬似的に生成する機能を有する。なお、これ以
降の説明においては、このようにデータに基づいて、疑
似的に生成された作業環境情景を、「疑似情景画像」と
いう。

【０１８１】画像処理手段２１は、視覚ロボット１５の
情景検出手段としてのテレビカメラ及び姿勢変更装置３
３のテレビカメラ３４で得た実際の作業環境の画像デー
タを処理し、作業環境情景理解手段２２に出力する機能
を有する。また、画像処理手段２１は、複数の画像デー
タを画像データ記憶手段３０に格納する機能も有する。
なお、これ以降の説明においては、情景検出手段を通じ
て得た実際の作業環境の画像を、前記疑似情景画像に対
応して「実情景画像」という。

【０１８２】また、画像合成手段３１は、画像データ記
憶手段３０に格納された複数の画像データに基づき、一
枚の高精細画像や広角度の高精細画像を合成する機能を
有し、これら一枚の高精細画像や広角度の高精細画像
は、後述する作業環境情景理解手段２２からの支持によ
り選択的に実行される。これ以降の説明においては、視
覚ロボット１５，テレビカメラ３４を通じて得た実際の
作業環境の複数の画像に基づいて一枚の高精細画像また
はに合成した画像を、「高精細の合成画像」または「広
角の合成画像」と呼ぶが、これらも実情景画像とみな
す。

【０１８３】作業環境情景理解手段２２は、擬似作業環
境情景生成手段２０が生成した擬似情景画像と、視覚ロ
ボット１５等により得た実情景画像とを比較することに
より、作業対象１２等の位置・姿勢のずれを検出するよ
うになっている。

【０１８４】さらに、動作指令生成手段２６は、作業環
境情景理解手段２２で得た情報に基づいて、動作指令を
生成する機能を有し、その生成された動作指令に基づ
き、周辺装置制御手段２３が私有辺装置１３を、作業ロ
ボット制御手段２４が作業ロボット１４を、視覚ロボッ
ト制御手段２５が視覚ロボット１５を、姿勢変更装置制
御手段３２が姿勢変更装置３３を夫々制御するようにし
ている。

【０１８５】つぎに、図２を参照して、組立ステーショ
ン制御装置２を実現するための具体的なハードウエア構
成について説明する。

【０１８６】組立ステーション制御装置２は、システム
バス１０１、バス制御装置１０２、中央処理装置１０３
ａ、主記憶装置１０３ｂ、磁気ディスク装置１０４、キ
ーボード１０５、ディスプレイ１０６、画像生成装置１
０７、画像処理装置１０８、テレビカメラ１０９、ズー
ムモータ・フォーカスモータ・アイリスモータ制御装置
１１０、ズームモータ・フォーカスモータ・アイリスモ
ータ付きのレンズシステム１１１、モータ１１６、パル
スジェネレータ１１３、カウンタ１１２、モータ駆動装
置１１５、ＤＡ変換機（デジタル・アナログ変換機）１
１４、ＡＤ変換機（アナログ・デジタル変換機）１１
７、センサ１１８、ネットワーク１１９から構成されて
いる。なお、これらは市場にて一般に使用されているも
のと同じであるため、各々の詳細については説明を省略
する。

【０１８７】ここで、組立ステーション制御装置２の各
構成要素のうち、前記作業環境データベース構築手段２
８，作業環境データ記憶手段２９，画像データ記憶手段
３０，画像合成手段３１，作業環境情景理解手段２２，
周辺装置制御手段２３，作業ロボット制御手段２４，視
覚ロボット制御手段２５，動作指令生成手段２６及び姿
勢変更装置制御手段３２は、主として中央処理装置１０
３ａとその主記憶装置１０３ｂ及び磁気ディスク装置１
０４により実現されるものである。そして、疑似作業環
境情景生成手段２０は、主として画像生成装置１０７に
より実現されるものである。また、画像処理手段２１
は、主として画像処理装置１０８により実現されるもの
である。ただし、各構成要素は単独でこれらの機能を有
しているのではなく、他と密接に連携しつつこれら機能
を達成しているため、ここで上げた対応関係は必ずしも
厳密なものではない。

【０１８８】なお、前記図１における設計データ記憶装
置３及び作業計画データ記憶装置４とは、ネットワーク
１１９を介してデータの授受を行っている。また、図２
に示すテレビカメラ１０９及びレンズシステム１１１
は、前記図１に示す組立ステーション制御装置２ではな
く視覚ロボット１５や姿勢変更装置３３に搭載されるも
のである。モータ１１６についても同様に、前記図１に
示す周辺装置１３や作業ロボット１４等に搭載され、こ
れらを駆動するものである。

【０１８９】次に、作業環境１の詳細を図３により説明
する。同図において、テーブル形のロボット３０１ａ，
３０１ｂは、作業対象１２を載置するためのものであっ
て、図１に示す周辺装置１３をなしている。これら各ロ
ボット３０１ａ，３０１ｂは、必要に応じて自走して移
動する構成となっている。

【０１９０】また、アーム形のロボット３０２ａ，３０
２ｂ，３０２ｃは、各々がその動きを自在に制御可能な
アームを有している。そして、各ロボットのアームの先
端部には、作業対象１２に対してなんらかの加工・組立
等の作業を行うための手先効果器３０２１ａ，３０２１
ｂ，テレビカメラ３０２２が設けられている。ここで、
手先効果器３０２１ａ，３０２１ｂを有するロボット３
０２ａ，３０２ｂは、図１に示す作業ロボット１４であ
り、テレビカメラ３０２２を有するロボット３０２ｃは
図１に示す視覚ロボット１５である。

【０１９１】なお、テレビカメラ３０２２は、前記図２
におけるテレビカメラ１０９及びレンズシステム１１１
に該当するものである。そして、これら各ロボット３０
２ａ〜３０２ｃもテーブル形のロボット３０１ａ，３０
１ｂと同様に、必要に応じて自走して移動する構成とな
っている。

【０１９２】一方、前記各ロボットの近傍位置にはこれ
らを撮像し得るようにテレビカメラ３４が配置されてい
る。該テレビカメラ３４は姿勢変更装置３５に設置され
ている。このテレビカメラ３４も、前記図２におけるテ
レビカメラ１０９及びレンズシステム１１１に該当する
ものである。また、ワーク搬送ロボット３０３ａ，３０
３ｂは、作業対象１２を載せて、各工程間を移動するた
めのものであり、ロボット３０１ａ，３０１ｂと同様に
周辺装置１３をなしている。

【０１９３】次に前記構成からなるフレキシブ生産シス
テムの動作について説明する。フレキシブル生産システ
ムでは、製品の設計情報及び製品の種類，数量に合わせ
て設備構成をダイナミックに変更し、作業計画通りに作
業計画部署からのオンライン指令にしたがって加工，組
立を行う。各工程において、前記図１に示す周辺装置１
３，作業ロボット１４，視覚ロボット１５，姿勢変更装
置３３は、動作指令生成手段２６が生成した動作指令に
基づき、周辺装置制御手段２３，作業ロボット制御手段
２４，視覚ロボット制御手段２５，姿勢変更装置制御手
段３２により制御される。

【０１９４】これを図２及び図３に即して具体的に述べ
ると、中央処理装置１０３ａが動作指令（デジタル信
号）を生成する。該動作指令は、システムバス１０１を
介してＤＡ変換器１１４に送られ、ここでアナログ信号
に変換され、その後、モータ駆動装置１１５へ送られ
る。モータ駆動装置１１５は、該動作指令（アナログ信
号）に従ってモータ１１６を動かし、周辺装置１３とし
てのロボット３０１ａ・３０１ｂ，作業ロボット１４と
してのロボット３０２ａ・３０２ｂ，視覚ロボット１５
としてのロボット３０２ｃ，姿勢変更装置３５を動作さ
せる。これらの動作に対応し、カウンタ１１２，パルス
ジェネレータ１１３も作動し、各ロボット３０１ａ，３
０１ｂ，３０２ａ，３０２ｂ，３０２ｃや姿勢変更装置
３５の制御に使用される。

【０１９５】これにより、例えばロボット３０２ａ，３
０２ｂは手先効果器３０２１ａ、３０２１ｂを用い、ロ
ボット３０１ｂ上に載置された作業対象１２の組立を行
うこととなる。その際、テレビカメラ３０２２を有する
視覚ロボット３０２ｃと、姿勢変更装置３５に設置され
たテレビカメラ３４とは、この組立作業を監視してい
る。

【０１９６】上記テレビカメラ３０２２や３４は、ズー
ムモータ・フォーカスモータ・アイリスモータ制御装置
１１０で制御されるズームモータ・フォーカスモータ・
アイリスモータ付きのレンズシステム１１１を持ってお
り、前記監視している作業を精密に見たい場合は、ロボ
ット３０２ｃ及び姿勢変更装置３５によりテレビカメラ
３０２２や３４の向きを所望位置に変えると共に、レン
ズシステム１１１を望遠にすることにより、高精細の合
成画像を得る。

【０１９７】なお、該作業に際して必要となる組立対象
の部品の形状や大きさを示すデータは、磁気ディスク１
０４に格納されているものを使用する。また、同様に、
各ロボット３０２ａ・３０２ｂ，３０１ａ・３０１ｂや
手先効果器３０２１ａ，３０２１ｂへの動作指令として
は、たとえば、移動経路，配置，組立作業手順データ，
作業工程データ等も磁気ディスク１０４に格納されてい
るものを使用する。

【０１９８】上述の如き動作に際しては、同一部品であ
っても、途中の機械加工工程におけるバラツキなどによ
り各個体毎に差がある。従って、組付けられる部品点数
が多いほど位置ずれの程度は大きくなりがちとなり、そ
れだけ誤差が生じることとなる。この誤差は、各ロボッ
トが制御データ通りに動作したとしても、避けることの
できないものである。

【０１９９】本実施例においては、各作業ロボット１４
等の位置・姿勢を、視覚ロボット１５やテレビカメラ３
４により監視することにより、その位置・姿勢を修正し
ている。以下に、該位置・姿勢の監視及びその修正の手
順について述べる。

【０２００】まず、前記図１に示す作業環境データベー
ス構築手段２８により、設計データ記憶装置３及び作業
計画データ記憶装置４に格納されているデータのなかか
ら、作業環境を解析するのに必要なデータを作業環境デ
ータとして読み出し、その読み出したデータを作業環境
データ記憶手段２９（図２では、磁気ディスク１０４に
なる）に登録する。

【０２０１】次いで、疑似作業環境情景生成手段２０に
より、作業環境データ記憶手段２９に格納された前記作
業環境データに基づいて、作業ロボット１４等が該作業
環境データ通りの位置・姿勢にあった場合に視覚ロボッ
ト１５が捕らえるであろう情景を、疑似的に生成する、
即ち、作業中の特定時間における疑似情景画像を生成す
る。この処理内容は、図２において、中央処理装置１０
３ａ，主記憶装置１０３ｂ及び画像生成装置１０７によ
り、磁気ディスク１０４に格納されている作業環境デー
タを用いて疑似情景画像を生成することである。

【０２０２】そして、疑似作業環境情景生成手段２０
は、生成した該疑似情景を図１に示す作業環境情景理解
手段２２に出力する。なお、この疑似情景の生成処理に
ついては、前記作用の欄において既に記述したため、こ
こでは説明を省略する。

【０２０３】一方、画像処理手段２１は、視覚ロボット
１５やテレビカメラ３４が前記生成した疑似情景画像と
同一時間軸の画像を撮影したとき、該撮影した画像に所
定の処理を行った後、実情景画像として作業環境情景理
解手段２２に出力する一方、実情景画像としての複数の
画像データを画像データ記憶手段３０に格納する。これ
は図２において、画像処理装置１０８がテレビカメラ１
０９で得た画像を処理し、中央処理装置１０３ａに出力
する。

【０２０４】画像合成手段３１では、前記画像データ記
憶手段３０に格納された複数の画像データを、一枚の合
成画像に合成した後、該合成画像を作業環境情景理解手
段２２に出力する。これは図２において、中央処理装置
１０３ａで処理されることになる。

【０２０５】作業環境情景理解手段２２においては、疑
似作業環境情景生成手段２０によって生成された疑似情
景画像と、視覚ロボット１５，テレビカメラ３４により
得た作業環境１の実情景画像（広角の合成画像、あるい
は高精細の合成画像を含む）とを比較し、その相違を抽
出する。つまり、実情景画像から作業対象１２，周辺装
置１３，作業ロボット１４，視覚ロボット１５，テレビ
カメラ３４の各々の特徴点に関する情報を抽出し、該特
徴点に関する情報と疑似情景画像とを比較することによ
り、それら各部１２〜１５，３４の位置・姿勢を特定し
て、該位置・姿勢ずれを検出する。該位置・姿勢の特定
等の処理は、前記作用の欄において既に記述したため、
ここでの説明は省略する。

【０２０６】上記処理結果、疑似情景画像と実情景画像
とに相違がある場合、両者が一致するよう、作業環境情
景理解手段２２は、疑似情景画像のもとになった作業環
境データ記憶手段２９内の作業環境データそのものを変
更する。これにより、各部１２〜１５，３４の以降の動
作においては、疑似情景画像と実情景画像とが一致する
こととなる。

【０２０７】あるいは、作業対象１２，周辺装置１３，
作業ロボット１４，視覚ロボット１５，テレビカメラ３
４のうち、位置・姿勢ずれが発生しているもののずれを
修正すべく、動作指令生成手段２６に指令を送る。これ
により、動作指令生成手段２６は、該指令に応じた動作
指令を発し、各部１２〜１５，３４が疑似情景画像と一
致するように動作させる。

【０２０８】以上の処理は、作業対象１２，周辺装置１
３，作業ロボット１４（３０１ａ，３０１ｂ），視覚ロ
ボット１５，テレビカメラ３４が各工程の作業時におい
て、移動を行う毎に、即ち、一つの特定作業を行う毎に
実行する。これにより、作業対象１２と周辺装置１３と
作業ロボット１４と視覚ロボット１５とテレビカメラ３
４とが作業位置を動作する度に確認しながら遂行するの
で、作業計画通りに作業を実施することができる。な
お、各対象物（作業ロボット１４等）毎に、上述の対象
物位置決定法を実行すれば、これらの間の相対的な位置
関係、距離をも知ることができる。

【０２０９】以上説明したとおり、上記実施例において
は、作業環境１としての作業対象１２と周辺装置１３と
作業ロボット１４と視覚ロボット１５とテレビカメラ３
４との各々の位置・姿勢を、作業環境データに基づいて
予測すると共に、その予測した各部１２〜１５，３４の
疑似情景画像を求め、求めた疑似情景画像と、実際に撮
像された各部１２〜１５，３４の実情景画像との両者を
比較し、該比較結果、疑似情景画像と実情景画像とにず
れがある場合には、対応する各部１２〜１５，３４を、
前記ずれを吸収する方向に修正し、あるいはずれた分だ
け作業環境データを修正するので、実作業環境を明確に
解析することができる。また、これらの修正・変更を行
う際の作業環境の分析等をも自動的に行うため、数値デ
ータだけで各部１２〜１５，３４を正確に動作させるこ
とができる結果、オンラインティーチングの必要がなく
なる。

【０２１０】従って、上記の如き位置・姿勢検出装置を
生産システムに利用すれば、該生産システムを自律的に
運用することができる。また、作業対象やロボットの設
置を高精度にする必要がなくなるので、設備を安価に作
ることができる。さらに、長時間生産ラインを止める必
要がなく経済的であるばかりでなく、製造時間を短縮す
ることができる。

【０２１１】この他、視覚ロボット１５及びテレビカメ
ラ３４からなる情景検出手段が、作業ロボット１４，周
辺装置１３から独立させ、作業ロボットや周辺装置を動
作させながら作業環境を取り込むことにより情景を正確
に判断できるので、製造時間を可及的に短縮することが
できる。

【０２１２】また、情景検出手段で得られた作業環境内
の特徴点をもとに情景検出手段の位置を正確に求めるこ
とができるので、作業環境内のうちの任意の２者間の相
対関係を正確に求めることができる。

【０２１３】つぎに、図８乃至図１１に姿勢変更装置３
３の実施例を示す。まず、図８を参照して、姿勢変更装
置３３を実現するための具体的な構成を説明する。この
姿勢変更装置３３は、ベース４０１，１番目の回転軸４
０２，２番目の回転軸４０３，テレビカメラ４０４から
構成されている。即ち、ベース４０１上に第１の回転軸
４０２が取付けられ、その出力部４０２ａが垂直軸周り
に回転するようにしている。この出力部４０２ａの先端
には台座４０６ａを介して第２の回転軸４０３が取付け
られ、該回転軸４０３のＬ字状をなす出力部４０３ａが
水平軸周りに回転するようにしている。そして、出力部
４０３ａの先端部にはテレビカメラ４０４が固定されて
いる。

【０２１４】この場合、第１の回転軸４０２の出力部４
０２ａの延長線Ｙと、第２の回転軸４０３の出力部４０
３ａの延長線Ｘとは互いに直交し、それら延長線上の互
いに直交する位置Ｄにテレビカメラ４０４におけるカメ
ラレンズ４０５の中心軸Ｚを位置させると共に、カメラ
レンズ４０５の回転中心が一致し、しかも、その一致す
る位置Ｄにカメラレンズ４０５の主点も一致するように
配置されている。従って、第１の回転軸４０２上と第２
の回転軸４０３上とカメラレンズ４０５の中心軸Ｚはカ
メラレンズ４０５の主点（Ｄ）で一点に交わるように配
置されている。

【０２１５】なお、第１，第２の回転軸４０２，４０３
は共に減速機付きのモータから構成され、高分解能のエ
ンコーダを直結している。モータの回転は減速機を介し
て伝えられるので、減速機出力軸側の１回転はモータ側
で１００回転相当であり、モータ１回転を４０００分割
するエンコーダを用いると、減速機出力軸での１回転を
４０万分割するほどの高い精度が得られる。

【０２１６】回転軸４０２，４０３は図１に示す如く、
組立ステーション制御装置２の姿勢変更装置制御手段３
２に接続され、また図２に示す如く、モータ駆動装置１
１５で駆動される。回転軸４０２，４０３に取付けられ
たパルスエンコーダは、カウンタ１１２で計数され、テ
レビカメラ４０４の位置・姿勢を判定するのに用いられ
る。

【０２１７】この実施例では、姿勢変更装置３３が上述
の如く、第１の回転軸４０２，第２の回転軸４０３を有
し、しかも第１の回転軸４０２の出力部４０２ａの延長
線Ｙと第２の回転軸４０３の出力部４０３ａの延長線Ｘ
との直交する位置Ｄにテレビカメラ４０４のカメラレン
ズ４０５の回転中心が一致するように配置し、第１，第
２の回転軸４０２，４０３を選択的に駆動したとき、カ
メラレンズ４０５の回転中心を中心としてテレビカメラ
４０４が回動移動する首振り機能をもつので、該首振り
機能により、被撮影物を検出するときの検出精度を上げ
ることができる。

【０２１８】しかも、互いに一致した位置Ｄがカメラレ
ンズ４０５の主点をなすので、カメラレンズ４０５のゆ
がみ等のようなレンズ特性に影響されることがなく、よ
り正確な検出が可能となる。

【０２１９】図９に示す実施例は、図８の実施例に回転
軸４０６を１軸付加したものである。即ち、この場合
は、第２の回転軸４０３の出力部４０３ａに、取付板４
０７，該取付板に設けられたＬ字形の支持部４０８を介
し第３の回転軸４０６が設置されると共に、その回転軸
４０６の出力部（符号せず）にテレビカメラ４０４が取
付けられ、第３の回転軸４０６の駆動によりテレビカメ
ラ４０４が取付板４０７，支持部４０８上で、第２の回
転軸４０３と直交する水平軸周り、即ち、カメラレンズ
４０５の回転中心の周りを回転するようにしている。こ
の場合、第１の回転軸４０２の出力部４０２ａの延長線
Ｙと第２の回転軸４０３の出力部４０３ａの延長線Ｘと
の交差位置Ｄにカメラレンズ４０５の回転中心を一致さ
せると共に、その回転中心と延長線ＹとＸとの交点位置
Ｄにカメラレンズ４０５の主点を位置させている。

【０２２０】この実施例によれば、第１〜第３の回転軸
４０２，４０３，４０６を有し、これらの駆動により、
テレビカメラ４０５を微妙に回動移動させることができ
るので、図８に示す実施例に比較し、被撮影物を検出す
るときの検出精度をいっそう上げることができる。

【０２２１】図１０は図８の実施例の姿勢変更装置３３
に平行移動軸を付加したものである。即ち、第２の回転
軸４０３の出力部４０３ａに取付板４１０が取付けら
れ、該取付板４１０の一端部にシリンダからなる平行移
動軸４０９が設置され、該移動軸４０９の平行移動部４
０９ａにテレビカメラ４０４が連結されている。従っ
て、テレビカメラ４０４は、平行移動軸４０９の駆動に
より、第２の回転軸４０３と同一平面内において該回転
軸４０３と直交する方向に直線移動できるようにしてい
る。

【０２２２】そして、テレビカメラ４０４のカメラレン
ズ４０５は、その中心軸Ｚが第１の回転軸４０２の出力
部４０２ａの延長線Ｙと第２の回転軸４０３の出力部４
０３ａの延長線Ｘとの交差する位置Ｄに配置され、しか
もその中心軸Ｚ上に主点が位置するようにしている。

【０２２３】この実施例によれば、第１，第２の回転軸
４０２，４０３の駆動によってテレビカメラ４０４を回
動移動できる他、テレビカメラ４０４のカメラレンズ４
０５が第２の回転軸４０３と同一平面内で該回転軸４０
３と直交する方向に直線移動するので、カメラレンズ４
０５の焦点位置を容易にかつ短時間で合わせることがで
きる。

【０２２４】図１１は図１０の実施例に図９の実施例と
同様の回転軸４０６を付加したものである。即ち、第２
の回転軸４０３に取付けられた取付板４１０上に、支持
部４０８を介し第３の回転軸４０６が設置され、該回転
軸４０６の駆動により、テレビカメラ４０４が支持部４
０８に対し、カメラレンズ４０５の回転中心を中心とし
て回転するようにしている。

【０２２５】従って、この実施例によれば、図１０に示
す実施例に比較し、テレビカメラ４０４が第２の回転軸
４０３と同一平面上で該回転軸４０３と直交する方向に
直線移動する他、カメラレンズ４０５の中心軸Ｚ周りに
回動移動するので、よりいっそうに精緻に検出すること
ができる。

【０２２６】ところで、通常では、カメラレンズ４０５
の回転中心と主点とが一致しないことが多い。そこで、
カメラレンズ４０５の主点と回転中心とが一致できない
場合には、特徴点を画面内の特定の位置、例えば画面中
心に姿勢変更装置を用いて合わせ、このときの姿勢変更
装置の回転軸の角度データを用いる。図８のような２軸
を用いた姿勢変更装置を、図１２を用いて具体的に述べ
ると、まず、姿勢変更装置の座標系として、垂直方向下
向きの軸をＹ，水平方向の軸をＸ，これら両軸の交差す
る位置にあってかつこれらと直交する軸をＺとする。ま
た、第１，第２の回転軸４０２，４０３の回転角を夫々
ψ１，ψ２とする。このとき、レンズの中心線の方向Ｒ
ｏｔ（ｙ，ψ１）Ｒｏｔ（ｘ，ψ２）Ｚは、以下の式と
なる。

【０２２７】

【数５２】

【０２２８】となる。これを平面の画像情報として用い
る場合、例えば図１３に示すように、Ｘ，Ｙ平面に平行
な平面Ｚ＝１へ投影し直せばよい。投影された平面上の
座標をＧ_X，Ｇ_Yとすると、Ｇ_X，Ｇ_Yは以下のように求ま
る。

【０２２９】

【数５３】

【０２３０】

【数５４】

【０２３１】この場合、使用する特徴点の数だけ同様に
して求め、全てを同一の平面内に投影する。この平面の
データを一枚の画像データとして使用する。

【０２３２】次に、姿勢変更装置を用いて、特徴点を画
面上の任意の点に合わせることの利点について説明する
と、カメラレンズ４０５にズームレンズを用いて望遠を
使用した場合、焦点を合わせなければ特徴点がボケてし
まう。また焦点をずらしただけでレンズの主点位置はず
れてしまう。しかし、特徴点を画面上の任意の点に合わ
せると、レンズの主点の位置を知る必要がなくなる。従
って、計測すべきパラメータの項を減少できる利点があ
る。また、一般にゆがみのないレンズを製作することは
困難とされており、画像内の全面を利用することは計測
精度の低下につながるとされているので、その点でも特
徴点だけを投影する姿勢変更装置に利点がある。

【０２３３】つぎに、テレビカメラを複数立体的に配置
して、高倍率のカメラレンズを用いて広範囲を同時に映
像として取り込み、１枚の高精細画像に処理し、姿勢変
更装置での移動時間をなくしたものである。この１例
を、図１４，１５を用いて説明する。図１４は、複数の
テレビカメラ５０１〜５０５を円弧上に並べたものであ
り、それぞれのカメラレンズの主点Ｄの位置を１点にあ
わせたものである。図１５は、テレビカメラを球面上に
配置したもので、図１４において中央のカメラの中心線
方向からみたものである。

【０２３４】次に、撮像したデータの特徴点を計測する
手順について図１６を用いて説明する。図中の姿勢計測
対象物は、イ，ロ，ハの３個の箱から構成されていると
すると、これら３個の箱には、コントランスがはっきり
した特徴点がついている。図中にはこれを「＋」マーク
で表している。これらの特徴点は予め３個の箱夫々の座
標系で計測されている。ワークの加工が設計通りになさ
れている場合、計測値の代わりに設計値を使用してもよ
いのは当然である。

【０２３５】イ，ロ，ハの箱がでたらめになされてい
る。この場合、計測としては、一番大きな箱イに対して
箱ロ，箱ハの位置姿勢がどうなっているかを知ることで
ある。図中の姿勢変更装置３３は、各箱イ，ロ，ハの特
徴点が画面上の特定の位置、例えば画面中心にくるよう
に駆動し、そのときの回転角を検出する。次いで、その
回転角を用いて先に述べた数５３，数５４により同一平
面上の点に投影し直す、即ち、箱イを原点として姿勢変
更装置３３の位置姿勢と、箱ロ，ハの位置姿勢パラメー
タを先に述べた手順で求めるのである。

【０２３６】ところで、姿勢変更装置３３を用いたとき
に、最低限必要な特徴点の数について説明すると、ある
対象物、例えば図１６中の箱イに対する姿勢変更装置３
３の求める必要のあるパラメータは、姿勢変更装置３３
の原点の位置（Ｃｘ，Ｃｙ，Ｃｚ）と座標軸の向きに関
する姿勢（θ１，θ２，θ３）の６個である。一方、特
徴点の画像情報としては、各特徴点の同一平面上での座
標値の２個である。従って、特徴点が３個あれば、対象
物に対する姿勢変更装置３３の位置・姿勢のパラメータ
６個を求めることができる。

【０２３７】これを数式を用いて詳しく説明する。図１
６の姿勢変更装置３３は図１２に示したものと同様の２
軸タイプとし、またその座標系も図１２と同様とする。
第１，第２の回転軸４０２，４０３の回転角を夫々ψ
１，ψ２とする。このとき、カメラレンズ４０５の中心
軸の方向は、前記数５２と表せる。これを平面の画像情
報とするために、ＸｃＹｃ平面に平行な平面Ｚｃ＝１へ
投影し直す。投影された平面上の座標をＧ_X，Ｇ_Yとする
と、Ｇ_X，Ｇ_Yは、数５３，数５４として求まる。

【０２３８】静止座標系上における姿勢変更装置の座標
系の原点Ｃの位置を（Ｃ_X，Ｃ_Y，Ｃ_Z）、姿勢を静止座
標系のＸ軸，Ｙ軸，Ｚ軸周りの回転角θ１，θ２，θ３
で表す。

【０２３９】また、静止座標系上における位置姿勢対象
物の座標系の原点Ｐの位置を（Ｐｘ，Ｐｙ，Ｐｚ）、姿
勢を静止座標系のＸ軸，Ｙ軸，Ｚ軸周りの回転角θα，
θβ，θγで表す。一方、姿勢変更装置の見かけ上の焦
点距離Ｓ_X，Ｓ_Yは、Ｘｃ，Ｙｃ平面に平行な平面をＺｃ
＝１ととっているので、Ｓ_X＝１，Ｓ_Y＝１として固定さ
れた値となる。

【０２４０】ここで決めたパラメータは作用の中で説明
した一台のテレビカメラと一個の対象物を用いたときと
同じにしている。従って、特徴点の画面位置差は、数２
９で表せる。但し、画面位置差の生じる原因が位置姿勢
計測対象物の方のみであれば数２９は下記の数５５と変
更される。

【０２４１】

【数５５】

【０２４２】この６個のパラメータが該差要因であり、
位置姿勢計測対象物上の特徴点が最低限３点あれば、計
測できることになる。

【０２４３】以上では、各々の特徴点を同一平面上で計
測する場合について述べたが、今度は、対象物の一つの
特徴点の位置の計測方法について説明する。一つの特徴
点の位置は（Ｘ，Ｙ，Ｚ）の３個のパラメータをもって
いる。これに対して一台の情景検出手段のもつパラメー
タは、平面画像であるので（Ｇｘ，Ｇｙ）の２個であ
る。従って、情景検出手段は２台以上ないと一つの特徴
点の位置を計測することができない。２台以上の情景検
出センサを使う場合、その２台の位置関係を求める方法
について図１７により説明する。

【０２４４】図１７において、２台の姿勢変更装置３３
１，３３２に夫々取付けられた情景検出手段（テレビカ
メラ）Ａ，Ｂの２台と、キャリブレーション用ワーク３
３３及び計測対象物３３４がある。２台の姿勢変更装置
３３１，３３２は図８に示す如き２つの回転軸をもって
いる。一方、キャリブレーション用ワーク３３３にはキ
ャリブレーション用マーク３３３ａが任意の位置に複数
貼り付けられてあり、各マーク３３３ａは予め三次元測
定機によりワーク座標系で測定されることにより、それ
らの相対的位置がデータとして取り込まれている。

【０２４５】各情景検出手段Ａ，Ｂは、キャリブレーシ
ョン用ワーク３３３上のマーク３３３ａを検出して静止
座標系、例えば情景検出手段Ａの座標系で情景検出手段
Ｂとキャリブレーション用ワーク３３３の三次元の位置
・姿勢を計測する。この操作により、２台の情景検出手
段Ａ，Ｂの相対的位置が定まる。

【０２４６】次に、図中の計測対象物３３４の２点Ｐと
Ｑとの長さＬを求めることについて説明する。情景検出
手段Ａ，Ｂ夫々で計測対象物３３４のＰ点を画面中央に
合わせ、そのときの姿勢変更装置３３１，３３２におけ
る回転軸の角度を求める。この角度から、夫々の平面上
の一点を求め、前述した方法により三次元の座標を求め
る。同様にしてＱ点についても求める。この点Ｐ，Ｑの
三次元の座標から両点Ｐ，Ｑ間の距離Ｌを求める。ここ
で、三次元の位置の求め方についてさらに詳細に説明す
る。

【０２４７】例えば、点Ｐの座標を求める場合、情景検
出手段Ａが点Ｐを画面内の特定位置に合わせたときの姿
勢変更装置３３１の回転軸の角度をψ₁ ^A，ψ₂ ^Aとすれ
ば、次の数５６，数５７により、

【０２４８】

【数５６】

【０２４９】

【数５７】

【０２５０】として平面上の座標Ｇ_X ^A，Ｇ_Y ^Aは求まる。

【０２５１】同様に、情景検出手段Ｂの回転軸の角度
（姿勢変更装置３３２の回転軸の角度）をψ₁ ^B，ψ₂ ^Bと
すると、

【０２５２】

【数５８】

【０２５３】

【数５９】

【０２５４】として平面上の座標Ｇ_X ^B，Ｇ_Y ^Bが求まる。

【０２５５】点Ｐの静止座標系での設計位置をＰｘ，Ｐ
ｙ，Ｐｚとし、実際の位置をＰｘ′，Ｐｙ′，Ｐｚ′と
する。そのときの位置ずれをΔＰｘ，ΔＰｙ，ΔＰｚと
すると、以下の関係式となる。

【０２５６】

【数６０】

【０２５７】

【数６１】

【０２５８】

【数６２】

【０２５９】ここで、設計上での画面位置と実際の画面
位置との差をΔＧ_X ^A，ΔＧ_X ^B，ΔＧ _Y ^Bとすると、以下の
関係式が成り立つ。

【０２６０】

【数６３】

【０２６１】

【数６４】

【０２６２】

【数６５】

【０２６３】

【数６６】

【０２６４】そして、これら数６３〜数６６をΔＰｘ，
ΔＰｙ，ΔＰｚの連立方程式として解く。このΔＰｘ，
ΔＰｙ，ΔＰｚは近似値であり、前述した数式６０〜６
２の関係から次式

【０２６５】

【数６７】

【０２６６】

【数６８】

【０２６７】

【数６９】

【０２６８】の関係を用いることにより、Ｐｘ′，Ｐ
ｙ′，Ｐｚ′を更新する。この手順を繰り返すことによ
り、実際の位置Ｐｘ′，Ｐｙ′，Ｐｚ′を得ることがで
きる。

【０２６９】このように、特徴点１点ずつの三次元座標
がわかれば、これを組み合わせることで、空間上の物体
がどこにあるかを定義できることは自明であり、従っ
て、立体地図を作成することもできる。

【０２７０】次に、予め既知の曲面上の１点を情景検出
手段１つで求める方法について図１８により説明する。
予め既知の曲面をＺ＝ｆ（ｘ，ｙ）で表すこととする。
また、情景検出手段の曲線に対する位置・姿勢は既に求
まっているものとして以下に説明する。

【０２７１】図１８において、今、情景検出手段１８０
から点Ｂに向かうベクトルが姿勢変更装置３３１の値か
らわかっている。このときの点Ｂの座標を求めるには、
図１９に示すように、Ａ点の座標（ｘ０，ｙ０，ｚ０）
中の（ｘ０，ｙ０）で表される曲面上の点Ｃを求める。
次に、この点Ｃの近傍、例えば（ｘ０＋Δｘ０，ｙ
０），（ｘ０−Δｘ０，ｙ０）で得られる曲面上の点ど
うしをつなぐベクトルａを求める。同様にして（ｘ０，
ｙ０＋Δｙ０），（ｘ０，ｙ０−Δｙ０）で得られる曲
面上の点どうしをつなぐベクトルｂを求める。このベク
トルａ，ｂの外積でＣ点の接平面が定義できる。この接
平面とＡからＢに向かうベクトルの交点をＤ（ｘ１，ｙ
１，ｚ１）とする。この（ｘ１，ｙ１，ｚ１）で表され
る曲線上の点Ｅに接する平面を求め、この平面とＡから
Ｂに向かうベクトルの交点Ｆを求める。この操作を繰り
返すことで曲面上のＢ点の座標を得ることが可能とな
る。

【０２７２】ところで、図１８に示すように、曲面上の
あるエリアを情景検出手段１８０を用いて定義したけれ
ば、図中の斜線のエリアに沿った線を情景検出手段１８
０で得られた画面上で定義し、前述した方法で画面上の
画素１点について曲面上の対応点を求めることで、三次
元自由曲面上の領域を定義することができる。

【０２７３】

【発明の効果】以上説明したように、本発明の請求項１
〜４によれば、実際の作業環境情景と設計上の疑似的な
作業情景とを解析すると共に、解析した結果に基づいて
作業環境内の各々の位置・姿勢を把握し、実際の制御デ
ータを変更したり、設計値と一致するように作業環境内
の各々の位置・姿勢を修正できるように構成したの
で、、作業環境内の位置・姿勢ずれの修正を精度よく自
動的に行うことができる効果があり、また修正・変更を
行う際の作業環境の分析等をも自動的に行うことによ
り、加工装置のオンラインティーチングする必要がなく
なる等の効果もある。

【０２７４】また、本発明の請求項５〜１１によれば、
請求項１〜４の方法を的確に実施することができる効果
があり、特に請求項８〜１１によれば、情景検出手段と
してのテレビカメラにおけるカメラレンズが主点位置を
中心として姿勢を変更できるで、カメラレンズのゆがみ
等のようなレンズ特性に影響されることがなく、より正
確な検出が可能となる効果があり、テレビカメラを市販
の安価なもので広角度で高精細画像を容易に得ることが
でき、経済的である。

【０２７５】さらに、本発明の請求項１２〜１７によれ
ば、請求項５〜１１の位置・姿勢検出装置を備えるの
で、生産システムを自立的に運用することができ、また
作業環境内の各々を高精度に製作する必要がなくなるの
で、それだけ設備を安価にすることができ、さらに生産
ラインを長時間止める必要もない結果、多品種少量生産
に対応し得る柔軟性の高くかつ経済的なシステムを提供
することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の基本構成図である。

【図２】図１に示す組立ステーション制御装置のハード
ウエア構成例を示す図である。

【図３】図１に示す作業環境の１例の説明図である。

【図４】本発明の作業環境モデルの説明図である。

【図５】図４における各座標系間の関係の説明図であ
る。

【図６】視覚座標系上の任意の点Ｅｃの撮像面への透視
変換を示す説明図である。

【図７】テレビカメラ及び対象物の位置・姿勢を決定す
る処理を示すフローチャートである。

【図８】２つの回転軸を有する姿勢変更装置を示す説明
図である。

【図９】３つの回転軸を有する姿勢変更装置を示す説明
図である。

【図１０】２つの回転軸と１つの直線移動手段を有する
姿勢変更装置を示す説明図である。

【図１１】３つの回転軸と１つの直線移動手段を有する
姿勢変更装置を示す説明図である。

【図１２】カメラレンズの回転中心と主点との位置が一
致しない場合の姿勢変更装置を示す説明図。

【図１３】姿勢変更装置におけるカメラレンズの回転中
心と主点との位置が一致しない場合、撮像された特徴点
を同一平面上に投影するときの説明図。

【図１４】主点位置に対し複数台数のテレビカメラを同
一半径位置に配置した説明図である。

【図１５】主点位置を中心に配置された複数台のテレビ
カメラを主点位置から見た場合の説明図である。

【図１６】対象物の各特徴点を撮像したとき、その各特
徴点の位置を計測するときの説明図である。

【図１７】夫々が情景検出手段を有する２台の姿勢変更
装置を用い、対象物の一つの特徴点の位置を計測する説
明図である。

【図１８】既知の曲面上の１点を一つの情景検出手段で
求める場合の説明図である。

【図１９】同じく既知の曲面上の１点を情景検出手段で
求める場合の座標系の説明図である。

【符号の説明】

１…作業環境、２…組立ステーション制御装置、３…
設計データ記憶装置、４…作業計画データ記憶装置、１
２…作業対象、１３…周辺装置、１４…作業ロボット、
１５…視覚ロボット、２０…擬似作業環境情景生成手
段、２１…画像処理手段、２２…作業環境情景理解手
段、２３…周辺装置制御手段、２４…作業ロボット制御
手段、２５…視覚ロボット制御手段、２６…動作指令生
成手段、２８…作業環境データベース構築手段、２９…
作業環境データ記憶手段、３０…画像データ記憶手段、
３１…画像合成手段、３２…姿勢変更装置制御手段、３
３，３３１，３３２…姿勢変更装置、３４，１８０，４
０４…テレビカメラ、４０５…カメラレンズ、１０１…
システムバス、１０２…バス制御装置、１０３ａ…中央
処理装置、１０３ｂ…主記憶装置、１０４…磁気ディス
ク装置、１０５…キーボード、１０６…ディスプレイ、
１０７…画像生成装置、１０８…画像処理装置、１０９
…テレビカメラ、１１０…ズームモータ・フォーカスモ
ータ・アイリスモータ制御装置、１１１…レンズシステ
ム、１１２…カウンタ、１１３…パルスジェネレータ、
１１４…ＤＡ変換器、１１５…モータ駆動装置、１１６
…モータ、１１７…ＡＤ変換器、１１８…センサ、１１
９…ネットワーク、３０１ａ，３０１ｂ…テーブル形ロ
ボット、３０２ａ，３０２ｂ，３０２ｃ…アーム形ロボ
ット、３０２１ａ，３０２１ｂ…手先効果器、３０２２
…テレビカメラ、３０３ａ，３０３ｂ…ワーク搬送ロボ
ット、４０１，４１１，４２１，４３１…ベース、４０
２，４０３，４１２，４１３，４１４，４２２，４２
３，４３２，４３３，４３６…回転軸、４０２ａ，４０
３ａ，４０９ａ…出力部、４２５，４３５…平行移動
軸、４２４，４３４…平行移動軸用駆動モータ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｂ２５Ｊ 13/08 ＡＧ０１Ｂ 11/00 Ｈ 11/26 ＨＧ０５Ｂ 19/418 Ｇ０６Ｔ 7/00 1/00 Ｇ０６Ｆ 15/64 Ｍ

Claims

【特許請求の範囲】

【請求項１】情景検出手段および被撮影物が、予め定
められた設計上の位置・姿勢からずれているとき、その
ずれを修正する位置・姿勢検出方法において、上記情景
検出手段による作業環境中の被撮影物の撮影を、該情景
検出手段におけるカメラレンズの主点位置を中心に変更
して行い、得られた複数の画像を一枚の平面へ投影して
一枚の広画角画像に合成し、上記情景検出手段および上
記被撮影物が、予め定められた設計上の位置・姿勢にあ
ったと仮定した場合、上記情景検出手段が撮影している
であろう画像を疑似的に作成し、該疑似的画像上におけ
る上記被撮影物上の各特徴点の位置と、上記情景検出手
段が実際に撮影してえた上記合成画像上における当該被
撮影物上の上記各特徴点と対応する各特徴点の位置との
ずれ量を求め、該ずれ量に基づき上記情景検出手段およ
び上記被撮影物の位置・姿勢を、上記被撮像物を基準に
して修正することと、前記ずれ量に応じた分だけ上記情
景検出手段および被撮影物を移動する設計データを修正
することの何れか一方を行うことを特徴とする位置・姿
勢検出方法。
【請求項２】予め、作業対象物と該作業対象物を加工
処理する加工装置とこれらの周辺装置とを撮像し得る少
なくとも２台の情景検査手段を設置しておき、これら２
台の情景検査手段，作業対象物，加工装置，周辺装置か
らなる作業環境の各々の予測された時間での位置・姿勢
を、予め設計されたデータに基づいて画像として疑似的
に生成し、次いで、作業環境がその疑似的画像を生成し
た時間軸に達したとき、実際の作業環境を各情景検査手
段によって撮像すると共に、該実際に撮像した作業環境
のデータと疑似的画像を生成したデータとを比較して両
者にずれがあったとき、該ずれに基づいて作業環境内の
各々の位置・姿勢を修正することと、前記ずれに応じた
分だけ作業環境内の対応する各々の設計データを修正す
ることとの何れか一方を行うことを特徴とする位置・姿
勢検出方法。
【請求項３】予め、作業対象物と該作業対象物を加工
処理する加工装置とこれらの周辺装置とを撮像し得る少
なくとも２台の情景検査手段を設置しておき、これら２
台の情景検査手段，作業対象物，加工装置，周辺装置か
らなる作業環境の各々の予測された時間での位置・姿勢
情景を、予め設計されたデータに基づいて画像として疑
似的に生成し、次いで、作業環境がその疑似的画像を生
成した時間軸に達したとき、実際の作業環境を各情景検
査手段によって撮像すると共に、該実際に撮像した作業
環境のデータと疑似的画像を生成したデータを比較して
両者にずれがあったとき、該ずれに基づいて作業環境内
の各々の位置・姿勢を修正することと、前記ずれの分だ
け作業環境内の対応する各々の設計データを修正するこ
ととの何れか一方を行い、以下、上記疑似的に生成する
処理と作業環境内の各々の位置・姿勢を修正する処理と
を作業環境内の各々のが一つの特定動作を行うごとに実
行することを特徴とする位置・姿勢検出方法。
【請求項４】前記実際に撮像した作業環境のデータ
は、一枚の広角度かつ高精度画像であることを特徴とす
る請求項１〜３の何れか一項であることを特徴とする位
置・姿勢検出方法。
【請求項５】作業環境中にある被撮影物の位置・姿勢
を決定する位置・姿勢検出装置において、上記被撮影物を撮影する情景検出手段と、該情景検出手
段の実際の位置を示す実データと、上記被撮影物につい
ての設計上の位置・姿勢を示す設計データを格納された
記憶手段と、上記被撮影物が上記設計上の位置・姿勢に
あったと仮定した場合、上記情景検出手段が撮影してい
るであろう画像を、上記実データおよび上記設計データ
を用いて疑似的に作成し、該疑似的に作成した画像上に
おける被撮影物上の各特徴点の位置と、上記被撮影物を
上記情景検出手段が実際に撮影した画像上における当該
被撮影物上の上記各特徴点と対応する各特徴点の位置と
のずれを抽出し、該ずれに基づいて上記被撮影物の位置
・姿勢を修正することと前記ずれの分だけ上記被撮影物
の設計データを修正することとの何れか一方を実行する
手段とを有することを特徴とする位置・姿勢検出装置。
【請求項６】作業対象物，該作業対象物を加工処理す
る加工装置，これらの周辺装置，該作業対象物と加工装
置と周辺装置とを撮像し得る少なくとも２台の情景検査
手段を有する作業環境と、作業対象物，加工装置，周辺
装置，各情景検査手段の形状や特徴点に関する情報を格
納した設計データ記憶装置と、作業対象物，加工装置，
周辺装置，各情景検査手段に対する作業手順データ，作
業工程データ，動作経路データを夫々格納した作業計画
データ記憶装置と、設計データ記憶装置及び作業計画デ
ータ記憶装置に格納されたデータに基づき、作業環境内
の各々の予め予測された時間での位置・姿勢情景を疑似
的に生成し、その疑似的に生成した時間軸に達したと
き、実際の作業環境を各情景検査手段によって撮像する
と共に、該撮像データを疑似的に生成した作業環境の各
々の位置・姿勢情景と比較して作業環境の各々の位置・
姿勢のずれを検出し、その検出したずれを吸収する方向
に作業環境内の各々の位置・姿勢を修正する組立ステー
ション制御手段とを有することを特徴とする位置・姿勢
検出装置。
【請求項７】作業対象物，該作業対象物を加工処理す
る加工装置，これらの周辺装置，該作業対象物と加工装
置と周辺装置とを撮像し得る少なくとも２台の情景検査
手段を有する作業環境と、作業対象物，加工装置，周辺
装置，各情景検査手段の形状や特徴点に関する情報を格
納した設計データ記憶装置と、作業対象物，加工装置，
周辺装置，各情景検査手段に対する作業手順データ，作
業工程データ，動作経路データを夫々格納した作業計画
データ記憶装置と、設計データ記憶装置及び作業計画デ
ータ記憶装置に格納されたデータに基づき、作業環境内
の各々の予め予測された時間での位置・姿勢情景を疑似
的に生成し、その疑似的に生成した時間軸に達したと
き、実際の作業環境を各情景検査手段によって撮像する
と共に、該撮像データを疑似的に生成した作業環境の各
々の位置・姿勢情景と比較して作業環境の各々の位置・
姿勢のずれを検出し、その検出したずれを吸収する方向
に作業環境内の各々の位置・姿勢を修正する組立ステー
ション制御手段とを有し、かつ該組立ステーション制御
手段は、設計データ記憶装置及び作業計画データ記憶装
置に基づいて作業中の特定時間における作業環境情景を
疑似的に生成する疑似作業環境情景生成部と、作業中の
特定時間と同一時間軸に達したとき、各情景検査手段に
よって撮像された実際の撮像データに基づいて一枚の高
精度画像を合成する画像合成部と、疑似作業環境情景生
成部による疑似的作業環境情景及び画像合成部による高
精度画像とを比較し、作業環境内の各々の位置・姿勢の
ずれを検出する作業環境情景理解部と、該作業環境情景
理解部からの指令により作業環境内の位置ずれを吸収す
べく作業対象物，加工装置，周辺装置，各情景検査手段
を選択的に駆動する動作指令生成部とを有することを特
徴とする位置・姿勢検出装置。
【請求項８】前記作業環境内の各情景検出手段のう
ち、少なくとも一方が姿勢変更装置に設置されたテレビ
カメラで構成され、かつ該姿勢変更装置は、軸周りに回
転可能な第１の回転軸と、出力部が第１の回転軸の出力
部に直交して配置されると共に、前記テレビカメラを取
付けた第２の回転軸とを有し、第１の回転軸出力部の中
心線と第２の回転軸出力部の中心線との互いに交差する
位置にテレビカメラにおけるカメラレンズの中心軸を配
置すると共に、カメラレンズの回転中心を一致させ、し
かも、その一致する位置にカメラレンズの主点が一致す
るように配置されていることを特徴とする請求項６また
は７記載の位置・姿勢検出装置。
【請求項９】前記作業環境内の各情景検出手段のう
ち、少なくとも一方が姿勢変更装置に設置されたテレビ
カメラで構成され、かつ該姿勢変更装置は、軸周りに回
転可能な第１の回転軸と、出力部が第１の回転軸の出力
部に直交して配置された第２の回転軸と、出力部が第２
の回転軸の出力部に対し該第２の回転軸及び第１の回転
軸と直交して取付けられると共に、前記テレビカメラを
取付けた第３の回転軸とを有し、第１の回転軸出力部の
中心線と第２の回転軸出力部の中心線と第３の回転軸出
力部の中心線との互いに交差する位置に、テレビカメラ
におけるカメラレンズの中心軸を配置すると共に、カメ
ラレンズの回転中心を一致させ、しかも、その一致する
位置にカメラレンズの主点が一致するように配置し、カ
メラレンズが主点位置を中心に姿勢変更するように構成
したことを特徴とする請求項６または７記載の位置・姿
勢変更装置。
【請求項１０】前記作業環境内の各情景検出手段のう
ち、少なくとも一方が姿勢変更装置に設置されたテレビ
カメラで構成され、かつ該姿勢変更装置は、軸周りに回
転可能な第１の回転軸と、出力部が第１の回転軸の出力
部に直交して配置された第２の回転軸と、出力部が第２
の回転軸の出力部に対し該第２の回転軸及び第１の回転
軸と直交する方向に直線移動可能に取付けられると共
に、移動方向に沿い前記テレビカメラを取付けた直線移
動軸とを有し、第１の回転軸出力部の中心線と第２の回
転軸出力部の中心線との互いに交差する位置にテレビカ
メラにおけるカメラレンズの中心軸を配置すると共に、
カメラレンズの回転中心を一致させ、しかも、その一致
する位置にカメラレンズの主点が一致するように配置
し、カメラレンズが主点位置を中心に姿勢変更するよう
に構成したことを特徴とする請求項６または７記載の位
置・姿勢変更装置。
【請求項１１】前記作業環境内の各情景検出手段のう
ち、少なくとも一方が姿勢変更装置に設置されたテレビ
カメラで構成され、かつ該姿勢変更装置は、軸周りに回
転可能な第１の回転軸と、出力部が第１の回転軸の出力
部に直交して配置された第２の回転軸と、出力部が第２
の回転軸の出力部に対し該第２の回転軸及び第１の回転
軸と直交する方向に直線移動可能に取付けられた直線移
動軸と、出力部が直線移動軸の出力部に対し該出力部の
直線移動方向に沿って配置されると共に、前記テレビカ
メラを取付けた第３の回転軸とを有し、第１の回転軸出
力部の中心線と第２の回転軸出力部の中心線と第３の回
転出力部の中心線との互いに交差する位置に、テレビカ
メラにおけるカメラレンズの中心軸を配置すると共に、
カメラレンズの回転中心を一致させ、しかも、その一致
する位置にカメラレンズの主点が一致するように配置
し、カメラレンズが主点位置を中心に姿勢変更するよう
に構成したことを特徴とする請求項６または７記載の位
置・姿勢変更装置。
【請求項１２】作業対象物，該作業対象物を加工処理
する加工装置，これらの周辺装置，該作業対象物と加工
装置と周辺装置とを撮像し得る少なくとも２台の情景検
査手段を有する作業環境と、作業対象物，加工装置，周
辺装置，各情景検査手段の形状や特徴点に関する情報を
格納した設計データ記憶装置と、作業対象物，加工装
置，周辺装置，各情景検査手段に対する作業手順デー
タ，作業工程データ，動作経路データを夫々格納した作
業計画データ記憶装置と、設計データ記憶装置及び作業
計画データ記憶装置に格納されたデータに基づき、作業
環境内の各々の予め予測された時間での位置・姿勢情景
を疑似的に生成し、その疑似的に生成した時間軸に達し
たとき、実際の作業環境を各情景検査手段によって撮像
すると共に、該撮像データを疑似的に生成した作業環境
の各々の位置・姿勢情景と比較して作業環境の各々の位
置・姿勢のずれを検出し、その検出したずれを吸収する
方向に作業環境内の各々の位置・姿勢を修正する組立ス
テーション制御手段とを有する位置・姿勢検出装置を備
えたことを特徴とするフレキシブル生産システム。
【請求項１３】作業対象物，該作業対象物を加工処理
する加工装置，これらの周辺装置，該作業対象物と加工
装置と周辺装置とを撮像し得る少なくとも２台の情景検
査手段を有する作業環境と、作業対象物，加工装置，周
辺装置，各情景検査手段の形状や特徴点に関する情報を
格納した設計データ記憶装置と、作業対象物，加工装
置，周辺装置，各情景検査手段に対する作業手順デー
タ，作業工程データ，動作経路データを夫々格納した作
業計画データ記憶装置と、設計データ記憶装置及び作業
計画データ記憶装置に格納されたデータに基づき、作業
環境内の各々の予め予測された時間での位置・姿勢情景
を疑似的に生成し、その疑似的に生成した時間軸に達し
たとき、実際の作業環境を各情景検査手段によって撮像
すると共に、該撮像データを疑似的に生成した作業環境
の各々の位置・姿勢情景と比較して作業環境の各々の位
置・姿勢のずれを検出し、その検出したずれを吸収する
方向に作業環境内の各々の位置・姿勢を修正する組立ス
テーション制御手段とを有し、かつ該組立ステーション
制御手段は、設計データ記憶装置及び作業計画データ記
憶装置に基づいて作業中の特定時間における作業環境情
景を疑似的に生成する疑似作業環境情景生成部と、作業
中の特定時間と同一時間軸に達したとき、各情景検査手
段によって撮像された実際の撮像データに基づいて一枚
の高精度画像を合成する画像合成部と、疑似作業環境情
景生成部による疑似的作業環境情景及び画像合成部によ
る高精度画像とを比較し、作業環境内の各々の位置・姿
勢のずれを検出する作業環境情景理解部と、該作業環境
情景理解部からの指令により作業環境内の位置ずれを吸
収すべく作業対象物，加工装置，周辺装置，各情景検査
手段を選択的に駆動する動作指令生成部とを有する位置
・姿勢検出装置を備えたことを特徴とするフレキシブル
生産システム。
【請求項１４】前記位置・姿勢検出装置における作業
環境内の各情景検出手段のうち、少なくとも一方が姿勢
変更装置に設置されたテレビカメラで構成され、かつ該
姿勢変更装置は、軸周りに回転可能な第１の回転軸と、
出力部が第１の回転軸の出力部に直交して配置されると
共に、前記テレビカメラを取付けた第２の回転軸とを有
し、第１の回転軸出力部の中心線と第２の回転軸出力部
の中心線との互いに交差する位置にテレビカメラにおけ
るカメラレンズの中心軸を配置すると共に、カメラレン
ズの回転中心を一致させ、しかも、その一致する位置に
カメラレンズの主点が一致するように配置されているこ
とを特徴とする請求項１２または１３記載のフレキシブ
ル生産システム。
【請求項１５】前記位置・姿勢検出装置における作業
環境内の各情景検出手段のうち、少なくとも一方が姿勢
変更装置に設置されたテレビカメラで構成され、かつ該
姿勢変更装置は、軸周りに回転可能な第１の回転軸と、
出力部が第１の回転軸の出力部に直交して配置された第
２の回転軸と、出力部が第２の回転軸の出力部に対し該
第２の回転軸及び第１の回転軸と直交して取付けられる
と共に、前記テレビカメラを取付けた第３の回転軸とを
有し、第１の回転軸出力部の中心線と第２の回転軸出力
部の中心線と第３の回転軸出力部の中心線との互いに交
差する位置に、テレビカメラにおけるカメラレンズの中
心軸を配置すると共に、カメラレンズの回転中心を一致
させ、しかも、その一致する位置にカメラレンズの主点
が一致するように配置し、カメラレンズが主点位置を中
心に姿勢変更するように構成したことを特徴とする請求
項１２または１３記載のフレキシブル生産システム。
【請求項１６】前記位置・姿勢検出装置における作業
環境内の各情景検出手段のうち、少なくとも一方が姿勢
変更装置に設置されたテレビカメラで構成され、かつ該
姿勢変更装置は、軸周りに回転可能な第１の回転軸と、
出力部が第１の回転軸の出力部に直交して配置された第
２の回転軸と、出力部が第２の回転軸の出力部に対し該
第２の回転軸及び第１の回転軸と直交する方向に直線移
動可能に取付けられると共に、移動方向に沿い前記テレ
ビカメラを取付けた直線移動軸とを有し、第１の回転軸
出力部の中心線と第２の回転軸出力部の中心線との互い
に交差する位置にテレビカメラにおけるカメラレンズの
中心軸を配置すると共に、カメラレンズの回転中心を一
致させ、しかも、その一致する位置にカメラレンズの主
点が一致するように配置し、カメラレンズが主点位置を
中心に姿勢変更するように構成したことを特徴とする請
求項１２または１３記載のフレキシブル生産システム。
【請求項１７】前記位置・姿勢検出装置における作業
環境内の各情景検出手段のうち、少なくとも一方が姿勢
変更装置に設置されたテレビカメラで構成され、かつ該
姿勢変更装置は、軸周りに回転可能な第１の回転軸と、
出力部が第１の回転軸の出力部に直交して配置された第
２の回転軸と、出力部が第２の回転軸の出力部に対し該
第２の回転軸及び第１の回転軸と直交する方向に直線移
動可能に取付けられた直線移動軸と、出力部が直線移動
軸の出力部に対し該出力部の直線移動方向に沿って配置
されると共に、前記テレビカメラを取付けた第３の回転
軸とを有し、第１の回転軸出力部の中心線と第２の回転
軸出力部の中心線と第３の回転出力部の中心線との互い
に交差する位置に、テレビカメラにおけるカメラレンズ
の中心軸を配置すると共に、カメラレンズの回転中心を
一致させ、しかも、その一致する位置にカメラレンズの
主点が一致するように配置し、カメラレンズが主点位置
を中心に姿勢変更するように構成したことを特徴とする
請求項１２または１３記載のフレキシブル生産システ
ム。