JP2017013172A - 視覚センサを用いたロボットシステム - Google Patents

Abstract

【課題】人間を危険にすることのないロボットシステムを提供する。【解決手段】ロボットシステム（１）は、撮像部（１１）と、画像処理部（２５）と、人間が所定区画へ入場するのを要求する入場要求部（２９）と、人間が所定区画へ入場することを要求された状態において人間が所定区画へ入場するのを許可する入場許可信号を、画像処理部の処理結果に応じて出力する信号出力部（１２）と、を含む。人間が所定区画への入場を要求した後で、画像処理部により、ロボットが予め教示された停止位置に到達したことが検出された場合には、ロボットを停止させる指令を出力すると共に人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令を出力し、信号出力部により入場許可信号を出力する。【選択図】図１

Description

本発明は、視覚センサを用いて人間に対する安全性を高めたロボットシステムに関する。

特許文献１においては、ロボットが人間の立ち入りが制限されている動作領域で動作している。そして、ロボットが或る工程を実施しているときにおいて人間がその動作領域に来訪したのが検知されたときに、その時点でロボットの動作を停止すると予め定められた不都合な段階での停止になる場合には、ロボットは或る工程の後の別の工程まで行った後で停止される。

また、特許文献２においては、ロボットが動作しているときにメンテナンス要求信号が入力された場合には、メンテナンス要求信号入力時におけるブロック分についてはそのブロックのブロックエンドまで動作してロボットを停止させ、次いで、ロボットをメンテナンスに適した所定姿勢にすることが開示されている。

さらに、特許文献３においては、第一画像記録ユニットおよび第二画像記録ユニットにより記録された画像を少なくとも二つの異なる方法で分析し、いずれか一方の分析で異物を検出した場合にロボットを停止させることが開示されている。

特許第５５８２４２２号 特開平５−７７１７９号公報 特許第４４０５４６８号

しかしながら、特許文献１において、不都合な段階を予め定義してプログラムする必要がある。従って、特許文献１の技術を既存のロボットシステムに適用する場合には、そのロボットシステムのプログラムを変更したり、制御部の回路を変更する必要がある。このような変更に要するコストや手間は比較的大きい。そして、プログラムや回路の変更には高度の熟練さや慎重さが要求されるので作業者が限定され、ロボットシステムの現場で自由に変更するのは困難である。また、変更ミスがある場合には、変更後のロボットシステムによって却って人間が危険になる可能性があるので、一般に、既存のロボットシステムのプログラムなどの変更は積極的に行われない。

特許文献２においては、メンテナンスに適した所定姿勢の情報とその姿勢までロボットを移動させる情報とを事前に設定する必要がある。また、特許文献２においては、メンテナンス要求信号が入力された後で、ロボットはブロックエンドにて一旦停止する。このため、ブロックエンドの停止位置からメンテナンスに適した所定姿勢まで移動する際に、ロボットが障害物に接触する可能性がある。メンテナンス終了後にブロックエンドの停止位置まで戻るときにも、同様な問題がある。

さらに、特許文献３におけるロボットの停止位置は異物が検出されたときの位置であるので、ロボットの停止位置は設定されない。しかしながら、ロボットの停止位置によっては、ロボットの動作を再開するのが困難な場合がある。

本発明はこのような事情に鑑みてなされたものであり、プログラムなどを変更することなしに既存のシステムに適用できると共に、人間を危険にすることのないロボットシステムを提供することを目的とする。

前述した目的を達成するために１番目の発明によれば、ロボット動作区画に配置されたロボット（１０）と、該ロボットが前記ロボット動作区画において動作するよう制御するロボット制御部（２０）とを含むロボットシステム（１）において、前記ロボット動作区画を少なくとも含む所定区画を撮像する撮像部（１１）と、該撮像部により撮像された画像を処理する画像処理部（２５）と、人間が前記所定区画へ入場するのを要求する際に操作される入場要求部（２９）と、該入場要求部により人間が前記所定区画へ入場することを要求された状態において前記人間が前記所定区画へ入場するのを許可する入場許可信号を、前記画像処理部の処理結果に応じて出力する信号出力部（１２）と、を具備し、前記人間が前記所定区画への入場を要求した後で、前記画像処理部により、前記ロボットが予め教示された停止位置に到達したことが検出された場合には、前記ロボットを停止させる指令を出力すると共に前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令を出力し、前記信号出力部により前記入場許可信号を出力する、ロボットシステムが提供される。
２番目の発明によれば、１番目の発明において、前記信号出力部は、前記ロボットが動作しているときに前記人間が前記所定区画に入場不能な状態を示す入場不能信号と、前記入場許可信号との少なくともいずれか一方を、前記画像処理の処理結果に応じて出力する。
３番目の発明によれば、１番目の発明において、前記画像処理部によって前記人間が前記所定区画から退場したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットを再始動させるようにした。
４番目の発明によれば、１番目から３番目のいずれかの発明において、前記信号出力部が前記入場許可信号を出力した後で、前記画像処理部によって前記ロボットが動作開始したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
５番目の発明によれば、１番目から４番目のいずれかの発明において、前記画像処理部は、前記人間が着用する着用品の着用品画像モデルを含む動体を前記人間と判断すると共に前記着用品画像モデルを含んでいない動体を異物と判断する動体判断部（２２）を有し、該動体判断部により異物と判断された動体が前記所定区画に検出された場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
６番目の発明によれば、１番目から５番目のいずれかの発明において、前記画像処理部が、前記人間が前記所定区画から退場したことが検出される前に前記人間を見失った場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
７番目の発明によれば、１番目から６番目のいずれかの発明において、前記信号出力部が前記入場許可信号を出力する前に前記動体判断部が前記所定区画内の動体を前記人間と判断した場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
８番目の発明によれば、１番目から７番目のいずれかの発明において、前記停止位置は前記ロボットの作業動作の軌道上に予め教示されている。
９番目の発明によれば、２番目の発明において、前記信号出力部は前記入場許可信号を出力する第一出力部分（１２ａ）および前記入場不能信号を出力する第二出力部分（１２ｃ）のうちの少なくとも一方を有し、前記信号出力部が前記第一出力部分のみを有する場合において前記第一出力部分から前記入場許可信号が出力されていないときには、前記人間が前記所定区画に入場不能な状態を意味し、前記第一出力部分は前記人間から認識されるように配置されており、前記信号出力部が前記第二出力部分のみを有する場合において該第二出力部分から前記入場不能信号が出力されていないときには、前記人間が前記所定区画へ入場するのが許可された状態を意味し、前記第二出力部分は前記人間から認識されるように配置されており、前記信号出力部が前記第一出力部分および前記第二出力部分を有する場合には、前記第一出力部分および前記第二出力部分とは前記人間から認識されるよう配置されている。
１０番目の発明によれば、１番目から９番目のいずれかの発明において、前記停止位置は前記ロボットの作業動作の軌道上に予め教示されており、前記軌道上において前記停止位置よりも所定距離だけ上流側に前記ロボットの通過位置が教示されており、前記画像処理部により、前記ロボットが前記通過位置に到達したことが検出された場合には、前記信号出力部は、前記人間が前記入場要求部を操作可能な状態を示す入場準備信号を出力するようにした。

１１番目の発明によれば、1番目から９番目のいずれかの発明において、前記停止位置が、所定の大きさの空間として教示されており、前記画像処理部により、前記ロボットが前記空間に到達したことが検出された場合には、前記ロボットが前記停止位置に到達したとみなすようにした。
１２番目の発明において、前記停止位置または前記通過位置が、所定の大きさの空間として教示されており、前記画像処理部により、前記ロボットが前記空間に到達したことが検出された場合には、前記ロボットが前記停止位置または前記通過位置に到達したとみなすようにした。
１３番目の発明によれば、１０番目または１２番目の発明において、前記信号出力部は、前記入場許可信号を出力する第一出力部分、前記人間が前記所定区画に入場不能な状態を示す入場不能信号を出力する第二出力部分、および前記入場準備信号を出力する第三出力部分（１２ｂ）とを含んでおり、前記第一出力部分、前記第二出力部分および前記第三出力部分は前記人間から認識されるよう配置されている。
１４番目の発明によれば、９番目または１３番目の発明において、前記入場許可信号、前記入場不能信号または前記入場準備信号は視覚的および聴覚的のうちの少なくとも一方により互いに差異があるように出力される。
１５番目の発明によれば、１番目から１４番目のいずれかの発明において、前記ロボットを停止させるときに、前記ロボット制御部は、前記ロボットを減速させた後で停止させるか、または前記ロボットの動力源を遮断するようにした。

１番目の発明において、ロボットが停止位置に到達すると、ロボットを停止位置で停止させると共にロボットシステムを部分的に停止させ、入場許可信号を出力するようにしている。入場許可信号が出力されたときには、ロボットなどは停止しているので、人間は安全に所定区画に入場することができる。言い換えれば、ロボットが動作しているときには、人間が所定区画への入場を要求しても、人間は所定区画に入場できない。
また、撮像部を設置すると共にロボットの停止位置を画像処理部に教示するのみで、ロボット側を改造することなしに、１番目の発明を既存のロボットシステムに適用することができる。従って、プログラムおよび回路を変更する必要もない。
２番目の発明においては、人間は入場不能信号のときには所定区画に入場せず、入場許可信号のときに所定区画に入場する。
３番目の発明においては、人間が所定区画から退場した後で、ロボットなどを再始動させているので、人間の安全を確保できる。
４番目の発明においては、ロボットが停止しているべき状態であるときにロボットが動作開始した場合にはロボットなどを非常停止できることで、予めロボットを非常停止にした状態と同じレベルの安全を確保できる。言い換えれば、従来ならばロボットなどを非常停止させた後で入場していた区画であっても、人間は、ロボットなどを非常停止させることなしに、その区画に入場することができる。従って、非常停止状態では十分にメンテナンスできない箇所であっても十分なメンテナンスを行うことができる。また、ロボットなどの動作を再開させる再にも、非常停止の影響を完全に除去することができる。
５番目の発明においては、着用品画像モデル、例えばヘルメット、帽子、バッジなどの画像モデルを含まない動体を異物と判断するので、異物の判定を容易にすることができる。着用品画像モデルを含む動体、つまり人間が所定区画内に検出された場合には、ロボットなどは非常停止されず、人間は作業を継続できる。着用品画像モデルを着用していない人間、即ち所定区画での作業を認められていない人間は、所定区画内では異物として扱われるので、ロボットなどは非常停止にされ、該人間の安全も確保される。
６番目の発明においては、人間を所定区画内で見失った場合にロボットなどを停止させるので、人間の安全を図ることができる。
７番目の発明においては、人間の所定区画への入場を許可していないにもかかわらず、所定区画に人間が検出された場合に、ロボットなどを停止させている。このため、人間の安全を図ることができる。
例えばメンテナンスに適した場所はロボットの作業動作の軌道上にあることが多い。このため、８番目の発明において、メンテナンスのためにロボットを停止させた場合には、メンテナンス終了後のロボットの動作の再開を極めて円滑に行うことができる。
９番目の発明においては、人間は、少なくとも一つの出力部分を参照することにより、現在、所定区画に安全に入場可能か否かを容易に判断することができる。また、出力部分の数を減らすことができる。
１０番目の発明においては、ロボットが通過位置に到達したときに入場準備信号を出力する。このときに入場要求が行われると、入場許可されるので、人間は入場要求を行うのに適したタイミングを容易に認識できる。
１１番目および１２番目の発明においては、ロボットの停止位置などを所定の大きさの空間により定義しているので、ロボットの停止位置などに余裕代を与えることができる。
１３番目の発明においては、信号出力部が第一出力部分から第三出力部分を有するので、信号出力部を交通信号機に類似の構成にすることができる。従って、人間が、信号出力部から出力された信号を容易に認識することができる。
１４番目の発明においては、信号出力部を比較的簡易に構成できる。
１５番目の発明においては、ロボットを減速停止させる場合にはロボットに負荷がかかるのを避けられ、ロボットの動力源を遮断する場合にはロボットを確実に停止させられる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。

本発明に基づくロボットシステムの略図である。 本発明に基づくロボットシステムの基本動作を示すフローチャートである。 視覚センサにより撮像された画像と信号出力部とを示す第一の図である。 視覚センサにより撮像された画像と信号出力部とを示す第二の図である。 視覚センサにより撮像された画像と信号出力部とを示す第三の図である。 ロボットシステムの動作を示す第一のフローチャートである。 ロボットシステムの動作を示す第二のフローチャートである。

以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は本発明に基づくロボットシステムの略図である。図１に示されるように、本発明のロボットシステム１は、ロボット１０と、該ロボット１０を制御するロボット制御部２０とを含んでいる。さらに、図１においては、ロボット１０およびその周辺を視野に含む視覚センサ１１と、視覚センサ１１により撮像された画像を処理して各種信号を出力する画像処理部２５とが示されている。

ロボット１０は産業用ロボット１０、例えば多関節ロボット１０である。視覚センサ１１はロボット１０の近傍に配置されたポスト１４の先端に配置されており、ロボット１０などを上方から撮像する。視覚センサ１１はＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）のエリアセンサデバイスを組み込んだカメラ、およびＬＥＤ投光デバイスを含んでいる。視覚センサ１１は、ＬＥＤ光の反射光が戻ってくる時間を測定して二次元の奥行き画像を撮像する。

さらに、図１を参照すると、ドア１８を備えた安全柵１９がロボット１０の周りに配置されている。安全柵１９は、ロボット１０が動作するロボット動作区画を少なくとも含む所定区画を規定している。視覚センサ１１の視野には、ロボット動作区画を含む所定区画が含まれる。なお、所定区画が安全柵１９以外の手段、例えば床に配置された白線などによって定義されていてもよい。また、視覚センサ１１は所定区画を上方から撮像するものとする。

視覚センサ１１により所定時間毎に撮像された画像はロボット制御部２０の画像処理部２５によって処理される。これにより、所定区画に侵入した人間および異物を後述するように検知する。このような処理を所定時間毎に行うことにより、人間などを所定内で追跡することも可能である。

画像処理部２５に対しては、人間、人間の着用品、ロボット１０およびロボット動作領域などに関する画像モデルが予め教示されている。画像処理部２５は、視覚センサ１１により撮像された画像とこれら画像モデルとをマッチングすることにより、人間やロボット１０などを特定して検出する。画像モデルは、前処理された基準画像（後述する）から、人間やロボット１０などの特徴部分のみを切出すことにより作成される。

画像処理部２５は、視覚センサ１１により撮像された画像を用いて、人間が安全柵１９内の所定区画に安全に入場できるか否かを判断して、その結果を信号出力部１２に出力させる。信号出力部１２は視覚センサ１１の下方においてポスト１４に取付けられている。ただし、信号出力部１２は他の場所に配置されていてもよい。

また、図１に示されるように、入場要求部２９、例えば押下ボタンが安全柵１９のドア１８近傍に配置されている。人間は、入場要求部２９を操作することにより、所定区画に対して入場する意思があることを画像処理部２５に知らせる。

図１から分かるように、信号出力部１２は、複数、例えば三つの出力部分１２ａ〜１２ｃを含んでいる。信号出力部１２は、画像処理部２５の処理結果に従って、第一出力部分１２ａ〜第三出力部分１２ｃのうちのいずれか一つから、対応した信号を出力するものとする。これら第一出力部分１２ａ〜第三出力部分１２ｃは人間から認識されるように配置されている。

信号出力部１２の第一出力部分１２ａは、入場要求部２９により人間が所定区画へ入場することを要求された状態において人間が所定区画へ入場するのを許可する入場許可信号を出力する。また、第二出力部分１２ｃは、ロボット１０が動作していて人間が所定区画に入場不能な状態を示す入場不能信号を出力する。

さらに、第三出力部分１２ｂは、人間が入場要求部２９を操作可能な状態を示す入場準備信号を出力する。ここで、「人間が入場要求部２９を操作可能な状態」とは、入場要求部２９を実際に操作すると画像処理部２５の処理結果に応じて入場許可信号が出力される状態を意味する。
言い換えれば、入場準備信号が出力されるときは、画像処理部２５に教示された停止位置から後述する通過位置の間にロボット１０が到達していて、人間が所定区画に入場する準備が可能であることを示す。従って、入場準備信号が出力されているときに人間が入場要求部２９を操作すると、画像処理部２５の処理結果に応じて入場準備信号から入場許可信号に切替わる。なお、入場不能信号が出力されているときに人間が入場要求部２９を操作したとしても、入場準備信号が出力されていないときは入場要求部２９の操作を受け付けないので入場許可信号は出力されず、入場不能信号が出力され続ける。

また、各出力部分１２ａ〜１２ｃは発光体、例えば互いに異なる色の発光体であるのが好ましい。例えば入場許可信号を出力する第一出力部分１２ａは青色の発光体、入場準備信号を出力する第三出力部分１２ｂは黄色の発光体、および入場不能信号を出力する第二出力部分１２ｃは赤色の発光体であるのが好ましい。このように信号出力部１２が交通信号機に類似した機構である場合には、人間が、現在、所定区画に安全に入場可能か否かを容易に判断できるのが分かるであろう。

図１に示されるように、音声出力部１３、例えばスピーカが信号出力部１２近傍に設置されている。信号出力部１２に代えて、または信号出力部１２と協動して、入場不能信号、入場準備信号および入場許可信号のそれぞれに対応する異なる音声または音色を音声出力部１３から出力してもよい。

また、図１に示されるように、ロボット制御部２０は停止部２１に接続されている。停止部２１は画像処理部２５の処理結果に応じて、ロボット１０を停止させる指令を出力すると共に、人間が入場するのに必要なロボットシステム１のうちの一部分を停止させる指令を出力する。

ロボット１０を停止させる指令は、例えばロボット１０を減速させた後で停止させる指令である。この場合にはロボット１０に負荷がかかるのを避けられる。あるいは、ロボット１０を停止させる指令はロボット１０の動力源を遮断する指令であってもよい。この場合にはロボット１０を確実に停止させられる。さらに、停止部２１は、ロボットシステム１の前述した一部分および／またはロボット１０を停止させることも可能である。

また、画像処理部２５は人間が着用すべき着用品の着用品画像モデルを含む動体を人間と判断すると共に着用品画像モデルを含んでいない動体を異物と判断する動体判断部２２を有している。人間が着用すべき着用品は例えばヘルメット、帽子、バッジなどである。これにより、異物の判定を容易に行うことができる。

図２は本発明に基づくロボットシステム１の基本動作を示すフローチャートである。さらに、図３Ａから図３Ｂは視覚センサにより撮像された画像と、各画像に対応する信号出力部の状態とを示す図である。

前述したように視覚センサ１１はポスト１４の先端に取付けられている。このため、視覚センサ１１により撮像される画像は、図３Ａ〜図３Ｃに示されるように、安全柵１９内部の所定区画の平面図に相当する。図３Ａ〜図３Ｃに示される画像には、所定区画内にあるロボット１０と、ロボット１０周りに配置された第一周辺機器１５および第二周辺機器１６とが含まれている。図３Ａ〜図３Ｃより分かるように、第二周辺機器１６は、第一周辺機器１５よりもドア１８に対して遠位に位置している。

また、画像処理部２５には基準画像が予め登録されている。基準画像は、画像処理部２５に教示された停止位置または後述する通過位置にロボット１０を移動させたときに、視覚センサ１１によって撮像された画像である。例えば図３Ｂに示される画像においては、ロボット１０が第二周辺機器１６上で停止しており、また安全柵１９内部に侵入物、例えば人間３０、異物などが存在していない。つまり、この場合には、ロボット１０は第二周辺機器１６の位置で停止させることができるよう画像処理部２５に基準画像が予め教示されている。本発明では、このような状態で予め撮像された画像が基準画像として使用される。

なお、複数の停止位置が教示されていてもよく、その場合には、各停止位置およびそれらに対応した通過位置に対応した複数の基準画像が登録されるものとする。そのような場合であっても、停止位置および通過位置にロボット１０を移動させて視覚センサ１１により撮像されるのみで容易にロボットシステム１におけるロボットの位置を教示することができる。また、ロボット１０の停止位置および通過位置は、画像処理部２５に接続された操作盤（図示しない）の表示部に基準画像に基づいて表示されるので、操作者はロボット１０の停止位置などに関する情報を直感的に得ることができる。

また、停止位置は、ロボット１０が所定の動作プログラムに従って動作したときの作業動作の軌道上に設置されるのが好ましい。例えばロボット１０をメンテナンスする場合を考えると、メンテナンスに適した場所はロボットの作業動作の軌道上にあることが多い。従って、作業動作の軌道上に停止位置がある場合には、メンテナンスを容易に行うことができ、メンテナンス終了後のロボットの動作の再開を極めて円滑に行うことができる。

以下、図２などを参照して、本発明に基づくロボットシステム１の基本動作を説明する。図２等に示される内容はロボット１０が所定の動作プログラムに従って動作しているときに実施されるものとする。画像処理部２５に教示された停止位置はロボット１０の作業動作の軌道上にあるものとする。

はじめに、図２のステップＳ１１においては、ロボット１０が動作しているので、人間が安全柵１９内部の所定区画に入場するのは危険であると判断される。このため、信号出力部１２の第二出力部分１２ｃにより入場不能信号、例えば赤信号を出力する（図３Ａを参照されたい）。

ステップＳ１２においては、視覚センサ１１により撮像された現在の画像と、通過位置の基準画像とが比較される。この場合には、通過位置の基準画像は通過位置におけるロボット１０の画像モデルを含んでおり、それについてのモデルマッチングが画像処理部２５により行われ、モデルマッチングの照合でロボット１０が通過位置に到達したことを検知する。ここで、通過位置は、ロボット１０の作業動作の軌道上において停止位置よりも所定距離だけ上流側に設置されているものとする。ステップＳ１２においてロボット１０の現在位置が通過位置に到達すると、ステップＳ１３に進む。

この場合にはロボット１０の現在位置が停止位置の近傍にあるので、人間が所定区画に入場可能な状態に近づきつつあり入場の準備が可能になったと判定できる。従って、ステップＳ１３において、第二出力部分１２ｃによる入場不能信号、例えば赤信号から第三出力部分１２ｂによる入場準備信号、例えば黄信号に切替える（図３Ｂを参照されたい）。
ここで、ステップＳ１４において、入場要求部２９による入場要求を確認し、ステップＳ１５で入場要求が確認されるとステップＳ１６へ進む。

ステップＳ１６においては、視覚センサ１１により撮像された現在の画像と、停止位置の基準画像とが比較される。この場合には、停止位置の基準画像は停止位置におけるロボット１０の画像モデルを含んでおり、それについてのモデルマッチングが画像処理部２５により行われ、モデルマッチングの照合でロボット１０が停止位置に到達したことを検知する。

ロボット１０が、画像処理部２５に教示された停止位置に到達したと判定された場合には、ロボット１０はその停止位置で停止させられる（ステップＳ１８）ので、人間が安全柵１９内部の所定区画に入場しても危険はないのでステップＳ１７へ進む。

ステップＳ１７においては、第三出力部分１２ｂによる入場準備信号、例えば黄信号から第一出力部分１２ａによる入場許可信号、例えば青信号に切替える（図３Ｃを参照されたい）。このように本発明においては、入場準備信号、例えば黄信号が出力されているときに入場の要求が行われると、入場許可信号、例えば青信号が出力される。従って、人間が入場要求を行うタイミングを容易に認識することができる。

次いで、ステップＳ１８において、停止部２１が、ロボット１０を停止させる指令を出力する。これにより、ロボット１０は停止位置で停止し続けるようになる。さらに、停止部２１は、人間が入場するのに必要なロボットシステム１のうちの一部分を停止させる指令を出力する。さらに、ドア１８を解錠するようにしてもよい。図３Ｃに示されるように、このような状態においては人間３０が所定区画に入場したとしても、ロボット等が停止しているので、人間に危険が及ぶことはない。以上が、本発明のロボットシステム１の基本動作である。

なお、人間が入場要求部２９を操作する代わりに、人間が手信号により入場要求を行ってもよい。この場合には、手信号に対応する画像モデルが予め画像処理部２５に登録されており、画像処理部２５はモデルマッチングにより入場要求があるか否かを判断する。この場合には、物理的な入場要求部２９を排除できる。

次に、信号出力部１２が出力する信号の種類毎に、ロボットシステム１の動作を説明する。はじめに入場不能信号、例えば赤信号または入場準備信号、例えば黄信号が出力されているときのロボットシステムの動作を図３Ａから図３Ｃおよび図４を参照しつつ説明する。図４に示される内容は、所定の制御周期毎に繰返し実施されるものとする。

図４においては、入場不能信号、例えば赤信号が出力されたときに所定区画内を視覚センサ１１が撮像した画像を、状態監視の基準画像とする。この基準画像が撮像されるときには、入場不能信号、例えば赤信号が出力されており、所定区画内には人間や異物を含む動体は存在しない。

図４のステップＳ２１においては、視覚センサ１１が安全柵１９内部の所定区画の画像を撮像し、状態監視の基準画像との比較が行われる。そして、ステップＳ２２において、これら画像の間に差分が存在する場合には、ステップＳ２３に進む。そして、ステップＳ２３においては、動体判断部２２が画像処理部２５のモデルマッチングを通じて、画像内にロボット１０、人間３０または異物が存在するか否かを判定する。

ステップＳ２４において、まずロボット１０がモデルマッチングで照合されると、そのロボット１０の部分を除外して、人間３０または異物のモデルマッチングを進める。前述した着用品画像モデル、例えばヘルメットの画像モデルにマッチすれば、動体判断部２２は差分が人間３０であると判断する。予め登録した画像モデルにマッチしない差分が存在する場合には、動体判断部２２は差分が異物であると判断する。また、そのような差分が存在しない場合には、動体判断部２２は所定区画に人間および異物は無いと判定して処理を終了する。

入場不能信号、例えば赤信号が出力されている場合にはロボット１０は動作しているので、人間は所定区画内にいるべきではない。また、入場準備信号、例えば黄信号が出力されている場合には、ロボット１０は停止位置またはその近傍にある。しかしながら、この場合には、人間が入場が許可されていないので、人間は所定区画内には存在しない。

従って、入場不能信号または入場準備信号が出力されているときに人間が所定区画内に検出された場合には、入場が許可されていないのに人間が所定区画内に存在していることを意味する。それゆえ、ステップＳ２４において人間が検出された場合には、ステップＳ２５に進んで、停止部２１がロボット１０を非常停止させる。この場合、停止部２１がロボット１０の電源を遮断するのが好ましい。さらに、前述したようにロボットシステム１の一部分を停止させてもよい。

なお、ステップＳ２４において異物が検出された場合にも同様な処理が行われる。そして、第三出力部分１２ｂによる入場準備信号、例えば黄信号が出力されている場合には、ステップＳ２６において、これを第二出力部分１２ｃによる入場不能信号、例えば赤信号に切替える。なお、入場不能信号がはじめから出力されている場合には、ステップＳ２６において入場不能信号を維持する。

このように、本発明では、現在の画像と基準画像との比較を通じて異物および人間の判定を容易に行うことができる。なお、複数の画像モデルを用いて複数のモデルマッチングを行うのが好ましく、それにより、人間３０および異物の判定の精度を高められる。

次に、入場許可信号、例えば青信号が出力されているときのロボットシステムの動作を図３Ａから図３Ｃおよび図５を参照しつつ説明する。図５に示される内容は、所定の制御周期毎に繰返し実施されるものとする。また、図５のステップＳ２１〜ステップＳ２３は前述したのと同様であるので、再度の説明を省略する。ただし、入場許可信号、例えば青信号が出力されたときに所定区画内を視覚センサ１１が撮像した画像を、ステップＳ２１における状態監視の基準画像とする。

ステップＳ２２において、ロボット１０は停止しているので差分として出てこない。また前述した着用品画像モデル、例えばヘルメットの画像モデルにマッチすれば、動体判断部２２は差分が人間３０であると判断する。これに対し、予め登録した画像モデルにマッチしない差分が存在する場合には、動体判断部２２は差分が異物であると判断する。なお、そのような差分が存在しない場合には、ステップＳ２２において動体判断部２２は所定区画に人間および異物は無いと判定する。

異物が検出された場合には、異物によってロボット１０や周辺機器１５、１６などが破損する可能性がある。次にロボットシステム１を運転開始する際に異物が残る可能性がある。特に異物が着用品画像モデルとマッチしない人間であった場合、不用意にロボット１０に近づき、万一ロボットが動き出すと、その人間に危害が及ぶ危険性が生ずる。従って、この場合には、ステップＳ２５に進んで、停止部２１がロボット１０を前述したように非常停止させる。さらに、前述したようにロボットシステム１の一部分を停止させてもよい。これにより、前述した危険性を避けられる。そして、ステップＳ２６において、第一出力部分１２ａによる入場許可信号、例えば青信号を第二出力部分１２ｃによる入場不能信号、例えば赤信号に切替える。

ステップＳ２４において人間が検出された場合（図３Ｃを参照されたい）には、ステップＳ３１において人間３０を追跡するよう設定される。従って、画像処理部２５は所定時間毎に撮像された画像を通じて人間３０の場所を検出する。次いで、ステップＳ３２においては、人間３０が所定区画内にあるか否かが判定される。この判定は、人間３０のモデルマッチングの照合により行われる。人間３０のモデルマッチングの照合ができず、即ち人間３０を所定区画内で見失ったと判定された場合には、ステップＳ２５に進んで、前述したようにロボットシステム１の一部分および／またはロボット１０を非常停止にする。これにより、人間３０の安全を図ることができる。

さらに、ステップＳ３２において人間３０が所定区画内に存在すると判定された場合には、ステップＳ３３に進む。ステップＳ３３においては、ステップＳ２２のモデルマッチングの照合位置を監視することでロボット１０が停止しているか否かが判定される。このときには、入場許可信号、例えば青信号が出力されているのでロボット１０は教示された停止位置で停止しているはずである。

従って、ステップＳ３３においてロボット１０が動作していると判定された場合には、ロボット１０は何らかの原因により意図せずに動作しているものと判断できる。このような場合には、所定区画内の人間３０に危険が及ぶため、ステップＳ２５に進んで、前述したようにロボットシステム１の一部分および／またはロボット１０を非常停止させる。このような処理により、人間３０が安全柵１９内で作業をする場合であっても、人間３０の安全を確保できることが分かるであろう。

なお、図面には示さないものの、人間が所定区画に存在しない場合であっても、ロボット１０が動作していると判定された場合には、前述したようにロボットシステム１の一部分および／またはロボット１０を非常停止させるのが好ましい。これにより、ロボット１０が周辺機器などに衝突するのを避けることができる。

ところで、人間がロボット１０に対して行う作業の内容によっては、従来ならばロボット１０などを非常停止させた後で入場する必要のある区域が存在する。本発明においては入場許可信号が出力されているときにロボット１０が動作したことが検出されると、ロボット１０などは非常停止される。このような処理が行われるので、本発明において、人間は、ロボット１０などを従来のように始めから非常停止とすることなしに、前述した区域に入場することができる。従って、非常停止状態では十分にメンテナンスできない箇所であっても十分なメンテナンスを行うことが可能となる。また、ロボット１０などの動作を再開させる際にも、非常停止の影響を完全に除去することが可能である。

次いで、ステップＳ３６で人間の追跡を続け、該人間を見失わずに人間３０が所定区域から退場したことが確認されるとステップＳ３７に進む。入場要求部２９には退場操作部が追加されている。人間が所定区画から退場して退場操作部を操作すると、人間が安全柵１９内の所定区画から退場したことを宣言できる。ステップＳ３７においては、人間３０が所定区画から退場したか否かをこのように判定してもよい。ステップＳ３６の人間の追跡は、現在の画像に対し人間３０と判断する画像モデルマッチングを前述したように繰返し比較することにより行われる。

人間３０が所定区画から退場したのが確認されると、第一出力部分１２ａによる入場許可信号、例えば青信号から第二出力部分１２ｃによる入場不能信号、例えば赤信号に切替える。これと同時に、停止部２１を解除することによりロボット１０を再起動させ、ロボットシステム１を再開させる。これにより、ロボット１０は動作プログラムに従って作業を容易に継続することができる。また、人間が所定区画から退場した後で、ロボット１０などを再起動させているので、人間の安全は確保されている。

このように、本発明においては、ロボット１０が停止位置に到達すると、ロボット１０を停止位置で停止させると共にロボットシステム１を部分的に停止させ、入場許可信号を出力するようにしている。入場許可信号が出力されたときには、ロボット１０およびロボットシステム１は停止しているので、人間はロボット１０近傍の所定区画に安全に入場することができる。言い換えれば、ロボット１０が動作しているときに人間３０が所定区画への入場を要求しても、人間３０は所定区画に入場できない。

なお、ロボット１０の停止位置および通過位置は、所定の大きさの空間として教示されていてもよい。そして画像処理部２５により、ロボット１０がこれら空間に到達したことが検出された場合には、ロボット１０が停止位置および通過位置に到達したとみなされる。この場合には、ロボットの停止位置などに余裕代を与え、人間の安全をさらに確保することができる。

また、本発明では、視覚センサ１１を設置すると共にロボット１０の停止位置または通過位置を画像処理部２５に教示するのみで十分である。従って、ロボット１０側を改造することなしに、本発明を既存のシステムに適用することができる。それゆえ、従来技術のようにロボットのプログラムおよび回路を変更する必要性を排除できる。また、教示の際には、操作者に負担がかからず、また熟練度も必要とされない。

ところで、図示しない実施形態においては、信号出力部１２が第一出力部分１２ａおよび第二出力部分１２ｃのうちの少なくとも一方のみを備えていてもよい。例えば、信号出力部１２が第一出力部分１２ａと第二出力部分１２ｃのみを備えていても良い。
あるいは、信号出力部１２は第一出力部分１２ａのみを備えていてもよい。この場合には、第一出力部分１２ａから入場許可信号が出力されていないとき、例えば第一出力部分１２ａが消灯しているには、人間が所定区画に入場不能な状態を意味するものとする。

あるいは、信号出力部１２は第二出力部分１２ｃのみを備えていてもよい。この場合には、第二出力部分１２ｃから入場不能信号が出力されていないとき、例えば第二出力部分１２ｃが消灯しているときには、人間が所定区画へ入場するのが許可された状態を意味するものとする。

このような場合であっても、人間は信号出力部１２を参照することにより、現在、所定区画に安全に入場可能か否かを容易に判断することができる。また、出力部分の数を減らせるので、信号出力部１２の寸法および費用を低減させられる。

典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

１ ロボットシステム
１０ ロボット
１１ 視覚センサ（撮像部）
１２ 信号出力部
１２ａ 第一出力部分
１２ｂ 第三出力部分
１２ｃ 第二出力部分
１３ 音声出力部
１４ ポスト
１５ 第一周辺機器
１６ 第二周辺機器
１８ ドア
１９ 安全柵
２０ ロボット制御部
２１ 停止部
２２ 動体判断部
２５ 画像処理部

前述した目的を達成するために１番目の発明によれば、ロボット動作区画に配置されたロボットと、該ロボットが前記ロボット動作区画において動作するよう制御するロボット制御部とを含むロボットシステムにおいて、前記ロボット動作区画を少なくとも含む所定区画を撮像する撮像部と、該撮像部により撮像された画像を処理する画像処理部と、人間が前記所定区画へ入場するのを要求する際に操作される入場要求部と、該入場要求部により人間が前記所定区画へ入場することを要求された状態において前記人間が前記所定区画へ入場するのを許可する入場許可信号を、前記画像処理部の処理結果に応じて出力する信号出力部と、を具備し、前記人間が前記所定区画への入場を要求した後で、前記画像処理部により、前記ロボットが予め教示された停止位置に到達したことが検出された場合には、前記ロボットを停止させる指令または前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令のうちの少なくとも一方を出力し、前記信号出力部により前記入場許可信号を出力する、ロボットシステムが提供される。
２番目の発明によれば、１番目の発明において、前記信号出力部は、前記ロボットが動作しているときに前記人間が前記所定区画に入場不能な状態を示す入場不能信号と、前記入場許可信号との少なくともいずれか一方を、前記画像処理の処理結果に応じて出力する。
３番目の発明によれば、１番目の発明において、前記画像処理部によって前記人間が前記所定区画から退場したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットを再始動させるようにした。
４番目の発明によれば、１番目から３番目のいずれかの発明において、前記信号出力部が前記入場許可信号を出力した後で、前記画像処理部によって前記ロボットが動作開始したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
５番目の発明によれば、１番目から４番目のいずれかの発明において、前記画像処理部は、前記人間が着用する着用品の着用品画像モデルを含む動体を前記人間と判断すると共に前記着用品画像モデルを含んでいない動体を異物と判断する動体判断部を有し、該動体判断部により異物と判断された動体が前記所定区画に検出された場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
６番目の発明によれば、１番目から５番目のいずれかの発明において、前記画像処理部が、前記人間が前記所定区画から退場したことが検出される前に前記人間を見失った場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
７番目の発明によれば、１番目から６番目のいずれかの発明において、前記信号出力部が前記入場許可信号を出力する前に前記動体判断部が前記所定区画内の動体を前記人間と判断した場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした。
８番目の発明によれば、１番目から７番目のいずれかの発明において、前記停止位置は前記ロボットの作業動作の軌道上に予め教示されている。
９番目の発明によれば、２番目の発明において、前記信号出力部は前記入場許可信号を出力する第一出力部分および前記入場不能信号を出力する第二出力部分のうちの少なくとも一方を有し、前記信号出力部が前記第一出力部分のみを有する場合において前記第一出力部分から前記入場許可信号が出力されていないときには、前記人間が前記所定区画に入場不能な状態を意味し、前記第一出力部分は前記人間から認識されるように配置されており、前記信号出力部が前記第二出力部分のみを有する場合において該第二出力部分から前記入場不能信号が出力されていないときには、前記人間が前記所定区画へ入場するのが許可された状態を意味し、前記第二出力部分は前記人間から認識されるように配置されており、前記信号出力部が前記第一出力部分および前記第二出力部分を有する場合には、前記第一出力部分および前記第二出力部分とは前記人間から認識されるよう配置されている。
１０番目の発明によれば、１番目から９番目のいずれかの発明において、前記停止位置は前記ロボットの作業動作の軌道上に予め教示されており、前記軌道上において前記停止位置よりも所定距離だけ上流側に前記ロボットの通過位置が教示されており、前記画像処理部により、前記ロボットが前記通過位置に到達したことが検出された場合には、前記信号出力部は、前記人間が前記入場要求部を操作可能な状態を示す入場準備信号を出力するようにした。
１１番目の発明によれば、1番目から９番目のいずれかの発明において、前記停止位置が、所定の大きさの空間として教示されており、前記画像処理部により、前記ロボットが前記空間に到達したことが検出された場合には、前記ロボットが前記停止位置に到達したとみなすようにした。
１２番目の発明において、前記停止位置または前記通過位置が、所定の大きさの空間として教示されており、前記画像処理部により、前記ロボットが前記空間に到達したことが検出された場合には、前記ロボットが前記停止位置または前記通過位置に到達したとみなすようにした。
１３番目の発明によれば、１０番目または１２番目の発明において、前記信号出力部は、前記入場許可信号を出力する第一出力部分、前記人間が前記所定区画に入場不能な状態を示す入場不能信号を出力する第二出力部分、および前記入場準備信号を出力する第三出力部分とを含んでおり、前記第一出力部分、前記第二出力部分および前記第三出力部分は前記人間から認識されるよう配置されている。
１４番目の発明によれば、９番目または１３番目の発明において、前記入場許可信号、前記入場不能信号または前記入場準備信号は視覚的および聴覚的のうちの少なくとも一方により互いに差異があるように出力される。
１５番目の発明によれば、１番目から１４番目のいずれかの発明において、前記ロボットを停止させるときに、前記ロボット制御部は、前記ロボットを減速させた後で停止させるか、または前記ロボットの動力源を遮断するようにした。

Claims (15)

1. ロボット動作区画に配置されたロボット（１０）と、該ロボットが前記ロボット動作区画において動作するよう制御するロボット制御部（２０）とを含むロボットシステム（１）において、
   前記ロボット動作区画を少なくとも含む所定区画を撮像する撮像部（１１）と、
   該撮像部により撮像された画像を処理する画像処理部（２５）と、
   人間が前記所定区画へ入場するのを要求する際に操作される入場要求部（２９）と、
   該入場要求部により人間が前記所定区画へ入場することを要求された状態において前記人間が前記所定区画へ入場するのを許可する入場許可信号を、前記画像処理部の処理結果に応じて出力する信号出力部（１２）と、を具備し、
   前記人間が前記所定区画への入場を要求した後で、前記画像処理部により、前記ロボットが予め教示された停止位置に到達したことが検出された場合には、前記ロボットを停止させる指令を出力すると共に前記人間が入場するのに必要な前記ロボットシステムのうちの一部分を停止させる指令を出力し、前記信号出力部により前記入場許可信号を出力する、ロボットシステム。
2. 前記信号出力部は、前記ロボットが動作しているときに前記人間が前記所定区画に入場不能な状態を示す入場不能信号と、前記入場許可信号との少なくともいずれか一方を、前記画像処理の処理結果に応じて出力する、請求項１に記載のロボットシステム。
3. 前記画像処理部によって前記人間が前記所定区画から退場したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットを再始動させるようにした、請求項１に記載のロボットシステム。
4. 前記信号出力部が前記入場許可信号を出力した後で、前記画像処理部によって前記ロボットが動作開始したことが検出された場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした、請求項１から３のいずれか一項に記載のロボットシステム。
5. 前記画像処理部は、前記人間が着用する着用品の着用品画像モデルを含む動体を前記人間と判断すると共に前記着用品画像モデルを含んでいない動体を異物と判断する動体判断部（２２）を有し、
   該動体判断部により異物と判断された動体が前記所定区画に検出された場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした、請求項１から４のいずれか一項に記載のロボットシステム。
6. 前記画像処理部が、前記人間が前記所定区画から退場したことが検出される前に前記人間を見失った場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした、請求項１から５のいずれか一項に記載のロボットシステム。
7. 前記信号出力部が前記入場許可信号を出力する前に前記動体判断部が前記所定区画内の動体を前記人間と判断した場合には、前記ロボットシステムの前記一部分または前記ロボットのうちの少なくとも一方を停止させるようにした、請求項１から６に記載のロボットシステム。
8. 前記停止位置は前記ロボットの作業動作の軌道上に予め教示されている、請求項１から７のいずれか一項に記載のロボットシステム。
9. 前記信号出力部は前記入場許可信号を出力する第一出力部分（１２ａ）および前記入場不能信号を出力する第二出力部分（１２ｃ）のうちの少なくとも一方を有し、
   前記信号出力部が前記第一出力部分のみを有する場合において前記第一出力部分から前記入場許可信号が出力されていないときには、前記人間が前記所定区画に入場不能な状態を意味し、前記第一出力部分は前記人間から認識されるように配置されており、
   前記信号出力部が前記第二出力部分のみを有する場合において該第二出力部分から前記入場不能信号が出力されていないときには、前記人間が前記所定区画へ入場するのが許可された状態を意味し、前記第二出力部分は前記人間から認識されるように配置されており、
   前記信号出力部が前記第一出力部分および前記第二出力部分を有する場合には、前記第一出力部分および前記第二出力部分とは前記人間から認識されるよう配置されている、請求項２に記載のロボットシステム。
10. 前記停止位置は前記ロボットの作業動作の軌道上に予め教示されており、
    前記軌道上において前記停止位置よりも所定距離だけ上流側に前記ロボットの通過位置が教示されており、
    前記画像処理部により、前記ロボットが前記通過位置に到達したことが検出された場合には、前記信号出力部は、前記人間が前記入場要求部を操作可能な状態を示す入場準備信号を出力するようにした、請求項１から９のいずれか一項に記載のロボットシステム。
11. 前記停止位置が、所定の大きさの空間として教示されており、
    前記画像処理部により、前記ロボットが前記空間に到達したことが検出された場合には、前記ロボットが前記停止位置に到達したとみなすようにした、請求項１から９のいずれか一項に記載のロボットシステム。
12. 前記停止位置または前記通過位置が、所定の大きさの空間として教示されており、
    前記画像処理部により、前記ロボットが前記空間に到達したことが検出された場合には、前記ロボットが前記停止位置または前記通過位置に到達したとみなすようにした、請求項１０に記載のロボットシステム。
13. 前記信号出力部は、前記入場許可信号を出力する第一出力部分、前記人間が前記所定区画に入場不能な状態を示す入場不能信号を出力する第二出力部分、および前記入場準備信号を出力する第三出力部分（１２ｂ）とを含んでおり、
    前記第一出力部分、前記第二出力部分および前記第三出力部分は前記人間から認識されるよう配置されている、請求項１０または１２に記載のロボットシステム。
14. 前記入場許可信号、前記入場不能信号または前記入場準備信号は視覚的および聴覚的のうちの少なくとも一方により互いに差異があるように出力される、請求項９または請求項１３に記載のロボットシステム。
15. 前記ロボットを停止させるときに、前記ロボット制御部は、前記ロボットを減速させた後で停止させるか、または前記ロボットの動力源を遮断するようにした、請求項１または１４に記載のロボットシステム。

Images