JP2014006852A - 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム - Google Patents

認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム Download PDF

Info

Publication number
JP2014006852A
JP2014006852A JP2012144117A JP2012144117A JP2014006852A JP 2014006852 A JP2014006852 A JP 2014006852A JP 2012144117 A JP2012144117 A JP 2012144117A JP 2012144117 A JP2012144117 A JP 2012144117A JP 2014006852 A JP2014006852 A JP 2014006852A
Authority
JP
Japan
Prior art keywords
image
imaging
recognition processing
background
imaging condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012144117A
Other languages
English (en)
Inventor
Yukihiro Yamaguchi
如洋 山口
Takashi Minamimoto
高志 南本
Shingo Kagami
慎吾 鏡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2012144117A priority Critical patent/JP2014006852A/ja
Publication of JP2014006852A publication Critical patent/JP2014006852A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

【課題】少ない手間で、検出の対象となる対象物を環境変化に対してロバストに認識する。
【解決手段】撮像条件変更部321が、対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更手順と、撮像装置制御部322が、撮像条件変更部321が変更した撮像条件で、撮像装置に対象物を撮像させる撮像装置制御手順と、認識処理部323が、撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、対象物に対して予め決められた認識処理を行う認識処理手順と、を有する。
【選択図】図4

Description

本発明は、認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラムに関する。
金属光沢物は、その金属光沢物に照射される照明の光量の変化によって、その金属光沢物表面の輝度が大きく変わる。また、金属光沢物の周りの環境が金属光沢物に写り込むことがある。このように、照明条件によって金属光沢物のテクスチャが大きく変わるので、テクスチャによって対象物を認識する方法を使用した場合、金属光沢物を環境変化に対してロバストに認識することができなかった。
そこで、特許文献1には、ワークを水平に置き、同軸落射による照明方法により光とCCDカメラの線を同軸にして、ワーク全面に均等な光量を与え、CCDカメラでとらえた画面をグレースケールの画像処理装置で解析する金属光沢面の画像処理検査方法が開示されている。その画像処理検査方法では、ワークのエッヂ部分をマスキングして除外した上、表面欠陥部を周りよりも暗くとらえるようにして外観検査することが開示されている。
特開平7−110305号公報
しかし、特許文献1の方法では、同軸落射による照明方法により光とCCDカメラの線を同軸にしてワーク全面に均等な光量を与えなければいけないので、照明の設置に手間が掛かるという問題がある。
そこで本発明は、上記問題に鑑みてなされたものであり、少ない手間で検出の対象となる対象物の認識能力を向上することを可能とする認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラムを提供することを課題とする。
(1)本発明は前記事情に鑑みなされたもので、本発明の一態様は、撮像条件変更部が、対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更手順と、撮像装置制御部が、前記撮像条件変更部が変更した撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御手順と、認識処理部が、前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理手順と、を有する認識処理方法である。
この方法により、撮像装置制御部が、前記撮像条件変更部が背景画像の画素値が該背景画像の反射を軽減する範囲になるように変更した撮像条件で、撮像装置に対象物を撮像させるので、画像に含まれる背景の反射を軽減することができる。これにより、認識処理部は、画像の輝度を用いてより精度よく対象物と背景とを分離することができる。また、対象物に背景と同様の色が写り込んで色でみたときに対象物の画像領域と背景を明確に分離できなかったとしても、認識処理部は、輝度に基づいて抽出された画像を用いて、より精度よく対象物の画像領域を認識することができる。また、認識処理部は、撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像とで認識処理を行うので、対象物に影ができることで、輝度に基づいて抽出された画像を用いて対象物の画像領域と背景を分離できなかったとしても、色に基づいて抽出された画像を用いることで、より精度よく対象物の画像領域を認識することができる。更に、この認識処理の前に、背景画像の反射を軽減する範囲が決められているので、撮像毎に認識処理装置の操作者が行う操作が少ないため、撮像時における手間が少ない。以上により、少ない手間で対象物の認識能力を向上することができる。
(2)上記に記載の認識処理方法における前記認識処理手順において、前記認識処理部は、前記画像を色で2値化した画像と輝度で2値化した画像を生成し、前記色で2値化した画像に含まれる画素の画素値と、該画素と対応する前記輝度で2値化した画像の画素の画素値との論理和を、各画素について算出した結果に基づいて、前記対象物に対して予め決められた認識処理を行ってもよい。
この方法により、認識処理部は、対象物に影ができて、輝度で2値化した画像では対象物の一部の画像領域が欠損しても、色で2値化した画像では対象物の全ての画像領域が含まれるので、論理和を算出することで対象物の画像領域の認識を向上することができる。また、認識処理装置は、対象物に背景と同様の色が写り込んで、色で2値化した画像では対象物の一部の画像領域が欠損しても、輝度で2値化した画像では対象物の全ての画像領域が含まれるので、論理和を算出することで対象物の画像領域の認識を向上することができる。これにより、認識処理部は、環境変化に対してよりロバストに対象物を認識することができる。
(3)上記に記載の認識処理方法における前記撮像条件変更手順において、前記撮像条件変更部が、背景画像の明度が予め決められた範囲になるよう前記撮像条件を変更してもよい。
この方法により、背景画像の明度が予め決められた範囲にすることで、背景画像の反射を軽減することができる。それゆえ、背景が反射して背景画像が対象物の画像領域と同じ明度になる可能性を低減することができるので、背景画像と対象物の画像領域とを区別して対象物を認識する認識能力を向上させることができる。
(4)本発明の一態様は、対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更部と、前記撮像条件変更部が変更した撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御部と、前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理部と、を備える認識処理装置である。
この構成により、撮像装置制御部が、前記撮像条件変更部が背景画像の画素値が該背景画像の反射を軽減する範囲になるように変更した撮像条件で、撮像装置に対象物を撮像させるので、画像に含まれる背景の反射を軽減することができる。これにより、認識処理部は、画像の輝度を用いてより精度よく対象物と背景とを分離することができる。また、対象物に背景と同様の色が写り込んで色でみたときに対象物の画像領域と背景を明確に分離できなかったとしても、認識処理部は、輝度に基づいて抽出された画像を用いて、より精度よく対象物の画像領域を認識することができる。また、認識処理部は、撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像とで認識処理を行うので、対象物に影ができることで、輝度に基づいて抽出された画像を用いて対象物の画像領域と背景を分離できなかったとしても、色に基づいて抽出された画像を用いることで、より精度よく対象物の画像領域を認識することができる。更に、この認識処理の前に、背景画像の反射を軽減する範囲が決められているので、撮像毎に認識処理装置の操作者が行う操作が少ないため、撮像時における手間が少ない。以上により、少ない手間で対象物の認識能力を向上することができる。
(5)本発明の一態様は、対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更部と、前記撮像条件変更部が変更した撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御部と、前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理部と、を備えるロボットシステムである。
この構成により、撮像装置制御部が、前記撮像条件変更部が背景画像の画素値が該背景画像の反射を軽減する範囲になるように変更した撮像条件で、撮像装置に対象物を撮像させるので、画像に含まれる背景の反射を軽減することができる。これにより、認識処理部は、画像の輝度を用いてより精度よく対象物と背景とを分離することができる。また、対象物に背景と同様の色が写り込んで色でみたときに対象物の画像領域と背景を明確に分離できなかったとしても、認識処理部は、輝度に基づいて抽出された画像を用いて、より精度よく対象物の画像領域を認識することができる。また、認識処理部は、撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像とで認識処理を行うので、対象物に影ができることで、輝度に基づいて抽出された画像を用いて対象物の画像領域と背景を分離できなかったとしても、色に基づいて抽出された画像を用いることで、より精度よく対象物の画像領域を認識することができる。更に、この認識処理の前に、背景画像の反射を軽減する範囲が決められているので、撮像毎に認識処理装置の操作者が行う操作が少ないため、撮像時における手間が少ない。以上により、少ない手間で対象物の認識能力を向上することができる。
(6)本発明の一態様は、コンピュータに、対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更ステップと、前記撮像条件変更ステップにより変更された撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御ステップと、前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理ステップと、を実行させるための認識処理プログラムである。
このプログラムにより、撮像装置制御ステップにより、前記撮像条件変更部が背景画像の画素値が該背景画像の反射を軽減する範囲になるように変更した撮像条件で、撮像装置に対象物を撮像させるので、画像に含まれる背景の反射を軽減することができる。これにより、認識処理ステップにより、画像の輝度を用いてより精度よく対象物と背景とを分離することができる。また、対象物に背景と同様の色が写り込んで色でみたときに対象物の画像領域と背景を明確に分離できなかったとしても、認識処理ステップにより、輝度に基づいて抽出された画像を用いて、より精度よく対象物の画像領域を認識することができる。また、認識処理ステップにより、撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像とで認識処理を行うので、対象物に影ができることで、輝度に基づいて抽出された画像を用いて対象物の画像領域と背景を分離できなかったとしても、色に基づいて抽出された画像を用いることで、より精度よく対象物の画像領域を認識することができる。更に、この認識処理の前に、背景画像の反射を軽減する範囲が決められているので、撮像毎に認識処理装置の操作者が行う操作が少ないため、撮像時における手間が少ない。以上により、少ない手間で対象物の認識能力を向上することができる。
以上のように、本発明によれば、少ない手間で検出の対象となる対象物の認識能力を向上することができる。
第1の実施形態におけるロボットシステムの構成を示す概略ブロック図である。 第1の実施形態におけるロボット本体の斜視図の一例である。 第1の実施形態における認識処理装置のハードウェアの構成を示す概略ブロック図である。 第1の実施形態における制御部の論理的な構成を示す概略ブロック図である。 第1の実施形態における撮像条件変更部の処理を説明するための図である。 第1の実施形態における認識処理装置の処理の流れの一例を示すフローチャートである。 第1の実施形態における位置姿勢検出装置の処理の流れの一例を示すフローチャートである。 第2の実施形態におけるロボットシステムの概略外観図の一例である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。図1は、第1の実施形態におけるロボットシステム1の構成を示す概略ブロック図である。同図に示すように、ロボットシステム1は、制御ユニット2と、ロボット本体10と、撮像装置20と、を備える。制御ユニット2は、認識処理装置30と、位置姿勢検出装置40と、ロボット制御装置50とを備える。
撮像装置20は、ロボット制御装置50の制御に基づいて、認識の対象となる対象物200を撮像する。そして、撮像装置20は、撮像することにより得られた撮像画像を示す撮像画像データを認識処理装置30とロボット制御装置50へ出力する。
認識処理装置30は、撮像装置20から入力された撮像画像データに基づいて、対象物200を認識する。そして、認識処理装置30は、認識された対象物200が抽出された画像である対象物抽出画像を生成する。そして、認識処理装置30は、対象物抽出画像を示す対象物抽出画像情報を位置姿勢検出装置40へ出力する。
位置姿勢検出装置40は、認識処理装置30から入力された対象物抽出画像情報に基づいて、対象物200の位置または姿勢のうち少なくともいずれかを検出する。そして、位置姿勢検出装置40は、対象物200の位置または姿勢のうち少なくともいずれかを含む位置姿勢情報をロボット制御装置50へ出力する。
ロボット制御装置50は、例えば、対象物200とロボット本体10との位置関係を確認するために、撮像装置20から、対象物200が撮像された撮像画像を示す撮像画像データを取得する。ロボット制御装置50は、撮像装置20から取得した撮像画像データと位置姿勢検出装置40から入力された位置姿勢情報に基づいて、ロボット本体10を制御する。具体的には、例えば、ロボット制御装置50は、位置姿勢検出装置40から入力された位置姿勢情報に含まれる位置または姿勢の一方または双方に基づいて、ロボット本体10の把持部が対象物200を把持できる把持位置またはロボット本体10の把持部が対象物200を把持できる把持角度の一方または双方を算出する。例えば、ロボット制御装置50は、把持位置及び把持角度の双方を算出した場合、撮像画像データを参照しつつ、算出した把持位置へロボット本体10の把持部を移動するように制御するとともに、ロボット本体10の把持部の角度が算出した把持角度になるよう制御する。
そして、ロボット本体10の把持部の位置および角度がそれぞれ算出した把持位置及び把持角度になった場合、ロボット制御装置50は、例えば、ロボット本体10の把持部に、対象物200を把持させるように制御する。
ロボット本体10は、例えば、ロボット制御装置50の制御により、対象物200を把持し、対象物200を把持したまま予め決められた目的位置まで対象物200を搬送する。
図2は、第1の実施形態におけるロボット本体10の斜視図の一例である。同図において、ロボットシステム1におけるロボット本体10と、撮像装置20と、対象物200とが設置されている。同図は、ロボット本体10が対象物200をこれから把持する動作を開始する直前の図である。
同図の例において、撮像装置20の光軸上に、対象物200の中心が位置するよう、予め対象物200が位置決めされている。なお、同図では、位置姿勢検出装置40およびロボット制御装置50の図示を省略している。また、同図における部品や構造等の縮尺は、図を明瞭なものとするために実際のものとは異なる。
ロボット本体10は、地面に固定された支持台10aと、旋回可能および屈伸可能に支持台10aに連結されたアーム部10bと、回動可能および首振り可能にアーム部10bに連結されたハンド部10cと、ハンド部10cに取り付けられた把持部10dとを含んで構成される。
ロボット本体10は、例えば6軸の垂直多関節ロボットであり、支持台10aとアーム部10bとハンド部10cとの連係した動作によって6軸の自由度を有し、把持部10dが把持する対象物200の位置および角度を自在に変更することができる。ロボット本体10は、ロボット制御装置50による制御によって、アーム部10bとハンド部10cと把持部10dとのうちいずれか一つまたは組み合わせを動かす。
なお、ロボット本体10の自由度は6軸によるものに限ったものではなく、任意の数の軸を有してもよい。例えば、ロボット本体10の自由度は7軸でもよい。また、支持台10aは、壁や天井等、地面に対して固定された場所に設置してもよい。
対象物200は、例えば、組み立ての部品である。本実施形態では、一例として、対象物200は金属光沢物であるものとして、以下説明する。なお、対象物200は、金属光沢物に限らず、テクスチャの少ない物体である半透明物であってもよい。
金属光沢物は、その金属光沢物に照射される照明の光量の変化によって、その金属光沢物表面の輝度が大きく変わる。また、金属光沢物の周りの環境が金属光沢物に写り込むことがある。それゆえ、本実施形態では、金属光沢物を認識するために、認識処理装置30は、表面のテクスチャを用いたマッチングではなく、外形形状のマッチングを行う。外形形状のマッチングでは、認識処理装置30は、例えば、撮像画像データを2値化処理することで、対象物200の画像領域を抽出する。
ここで、照明条件を固定せずに金属光沢物が撮像された撮像画像を2値化して、環境変化に対してロバストに金属光沢物を認識しようとしたときに、金属光沢物を認識する場合、影の問題、背景の反射の問題及び背景の写り込みの問題という三つの問題が発生する。
影の問題は、金属光沢物が置かれた環境に存在する他の物体の影、または金属光沢物自身が立体形状している事で発生する影が、金属光沢物の上に生じるという問題である。これにより、金属光沢物が撮像された撮像画像において、金属光沢物の一部又は全部の輝度が背景の輝度と同程度となってしまう。この場合、撮像画像を輝度で2値化した画像(以下、輝度2値化画像と称す)において、金属光沢物の画像領域はその金属光沢物の一部が欠損した画像領域となってしまい、金属光沢物の外形を抽出できない場合がある。それに対して、背景と金属光沢物の色が異なるという前提で、撮像画像を色で2値化した画像(以下、色2値化画像と称す)においては、金属光沢物の画像領域はその金属光沢物の全体が保持された画像領域となるので、金属光沢物の外形を抽出することができる。
背景の反射の問題は、背景が例えば絶縁シートであり、背景が強い光により反射して、金属光沢物と同様の輝度となるという問題である。この場合も、撮像画像を輝度で2値化した場合、金属光沢物と背景の両方の画像領域を抽出してしまい、金属光沢物の外形形状を抽出することが困難である。それに対して、背景と金属光沢物の色が異なるという前提では、背景が金属光沢物と同程度の輝度となっても、撮像画像を色で2値化した場合、金属光沢物の画像領域と背景画像との分離精度を向上できるので、金属光沢物の外形の抽出精度を向上することができる。ここで、背景画像は背景の画像領域である。
背景の写り込みの問題は、金属光沢物表面に、背景と同様の色が写り込むという問題である。この場合、色2値化画像では、金属光沢物の画像領域と背景画像を分離できないので、金属光沢物の外形形状を抽出することが困難である。それに対して、撮像画像を輝度で2値化した場合、金属光沢物の画像領域と背景画像との分離精度を向上できるので、金属光沢物の外形の抽出精度を向上することができる。
以上により、環境変化に対してよりロバストに金属光沢物を認識するためには、輝度と色の情報を用いて2値化処理する方が好ましい。そこで、本実施形態における認識処理装置30は、輝度2値化画像と色2値化画像の論理和に相当する画像(以下、OR画像と称す)を対象物抽出画像として生成する。このOR画像では、色による2値化で影の問題、背景の反射の問題を解決でき、輝度による2値化で背景の写り込みの問題を解決できる。
しかし、輝度2値化画像には、影の問題及び背景の反射の問題の影響がでる。影の問題の場合、影が金属光沢物にできることにより影ができた部分の輝度が予め決められた閾値よりも低くなるので、例えば、輝度2値化画像では、金属光沢物の外形形状より内側の小さな領域が抽出される。一方、色2値化画像では、影が金属光沢物にできても影ができた部分の色の変化が小さく、影ができた部分の色が予め決められた色の範囲に収まるので金属光沢物の外形形状が抽出される。これにより、OR画像では、金属光沢物の外形形状が抽出されるので、影の問題は、金属光沢物の外形形状を抽出する上で問題とならない。
背景の反射の問題の場合、背景画像の輝度が金属光沢物と同程度の輝度になることで、輝度2値化画像では、例えば、金属光沢物の外形形状より外側の領域も抽出される。これにより、OR画像でも、金属光沢物の外形形状より外側の領域が抽出されるので、背景の反射の問題は、金属光沢物の外形形状を抽出する際に問題となる。そこで、背景の反射の問題に対して、認識処理装置30は、撮像装置20の設定であるカメラパラメータ(例えば、露光時間等)を調節し、背景が反射しない画像を撮像装置20に撮像させる事で対応する。これにより、認識処理装置30は、背景画像の輝度を、対象物200の画像領域より小さくなるようにすることで、背景画像を抽出せずに対象物200の画像領域のみを抽出するので、対象物200の外形形状を抽出精度を向上することができる。
図3は、第1の実施形態における認識処理装置30のハードウェアの構成を示す概略ブロック図である。認識処理装置30は、記憶部31と、制御部32とを備える。
記憶部31には、制御部32が読み出して実行する各種のプログラムが記憶されている。また、記憶部31には、撮像装置20の撮像条件(例えば、露光時間、ホワイトバランス等)を示す撮像条件情報が記憶されている。
制御部32は、撮像装置20から撮像画像データを取得し、取得した撮像画像データが示す撮像画像に含まれる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する。ここで、背景画像の反射を軽減する範囲は、予め決められているものとする。そして、制御部32は、撮像条件を変更する毎に、変更した撮像条件で、撮像装置に対象物200を撮像させる。そして、撮像画像に含まれる背景画像の画素値が、該背景画像の反射を軽減する範囲になった場合、制御部32は、その撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、対象物200に対して予め決められた認識処理を行う。
本実施形態では、予め決められた認識処理は、一例として、対象物200の画像領域を抽出する処理である。その場合、制御部32は、例えば、その撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、対象物200の画像領域を抽出する。そして、制御部32は、例えば、対象物200の画像領域が示された対象物抽出画像を生成し、生成した対象物抽出画像を示す情報を位置姿勢検出装置40へ出力する。
なお、予め決められた認識処理は、例えば、対象物200と背景を区別して認識する処理であってもよい。また、予め決められた認識処理は、対象物200に関して予め決められた特徴を算出することであってもよい。特徴は、例えば、対象物200の中心位置、対象物200の外縁の形状、対象物200の外縁の一辺、対象物200の領域、対象物200の面積、対象物200の中心位置または対象物200の重心位置などである。
図4は、第1の実施形態における制御部32の論理的な構成を示す概略ブロック図である。制御部32は、撮像条件変更部321と、撮像装置制御部322と、認識処理部323とを備える。
撮像条件変更部321は、撮像装置制御部322を介して、撮像画像データを撮像装置20から取得する。そして、撮像条件変更部321は、撮像画像データが示す撮像画像に含まれる背景画像の画素値が予め決められた範囲になるよう撮像条件を変更する。
具体的には、例えば、撮像条件変更部321は、撮像画像において、背景画像が一番大きな領域を占め、背景が均一色の場合に、撮像画像の色相H、彩度S、明度Vのそれぞれのヒストグラムを生成する。ここで、背景色が均一色の場合とは、例えば絶縁シートが敷いてある上に対象物200が置いてある場合である。また、対象物200以外の背景が背景差分処理により均一な背景色となっている場合も該当する。
そして、例えば、撮像条件変更部321は、色相Hのヒストグラムの最頻値、彩度Sのヒストグラムの最頻値、明度Vのヒストグラムの最頻値をそれぞれ背景画像の色相H、彩度S、明度Vとして算出する。これにより、撮像条件変更部321は、背景画像の色を同定する。
なお、本実施形態では、撮像条件変更部321は、一例として、上述したヒストグラムの最頻値を用いて背景画像の色相H、彩度S、明度Vとして算出したがこれに限ったものではない。撮像条件変更部321は、背景画像が画像内で一番大きな画像領域でない場合、予め決められた位置に位置する背景領域の色相H、彩度S及び明度Vを抽出すればよい。
また、撮像画像中で背景の領域が事前に決められており、撮像条件変更部321がその指定領域の色を抽出することにより、背景色を同定してもよい。撮像条件変更部321は、背景色の同定に際し、HSV表色系でなく、RGB表色系やLab表色系を用いてもよい。
撮像条件変更部321は、この背景色が予め決められた色の範囲に入っているか否か判定する。具体的には、例えば、撮像条件変更部321は、背景画像の色相H、彩度S、明度Vそれぞれが、それぞれに対して予め決められた範囲にあるか否か判定する。すなわち、撮像条件変更部321は、例えば、背景画像の色相Hが、色相Hについて予め決められた色相範囲にあるか否か判定する。同様に、撮像条件変更部321は、例えば、背景画像の彩度Sが、彩度Sについて予め決められた彩度範囲にあるか否か判定する。同様に、撮像条件変更部321は、例えば、背景画像の明度Vが、明度Vについて予め決められた明度範囲にあるか否か判定する。
撮像条件変更部321は、背景画像の色相H、彩度S、明度Vそれぞれが、背景画像の反射を軽減するようにそれぞれに対して予め決められている範囲にないと判定した場合、撮像条件変更部321は、撮像条件(例えば、カメラパラメータ)を変更する。撮像条件変更部321は、例えば、撮像画像の色相H、彩度S、明度Vが、目標の色相H、彩度S、明度Vに近づくようにカメラパラメータを更新する。具体的には、例えば、撮像条件変更部321は、背景画像の色相Hと予め決められた色相範囲との差が小さくなるよう、ホワイトバランスを変更して色相Hを変化させる。
また、撮像条件変更部321は、例えば、背景画像の彩度Sと予め決められた彩度範囲との差が小さくなるよう、撮像装置20におけるガンマ補正の補正量を変更して、色相Hを変化させる。また、撮像条件変更部321は、例えば、背景画像の明度Vと予め決められた明度範囲との差が小さくなるよう、露光時間を短くする。これにより、撮像条件変更部321は、背景画像の明度Vを下げる。
撮像条件変更部321は、上述した一例のようにカメラパラメータを変更する事で、背景色を指定した範囲の色及び輝度にする事で、背景が反射することを軽減することができる。その結果、撮像条件変更部321は、対象物200以外の画像領域を抽出する可能性を軽減ことができる。これにより、認識処理部323は、環境変化に対してよりロバストに、対象物200の外形形状を取得することができる。
そして、撮像条件変更部321は、変更後の撮像条件を示す撮像条件情報を、撮像装置制御部322に出力する。
なお、撮像条件変更部321は、ゲインを低くして、背景画像の明度Vを下げてもよい。また、撮像条件変更部321は、効率的にカメラパラメータを更新するために、勾配法等を用いてカメラパラメータを更新してもよい。
撮像条件変更部321は、上述したようにカメラパラメータを調整することで、後述する認識処理部323が実行する2値化処理の際の閾値が固定値でよく、対象物200の周囲の環境の変化に応じて、その閾値を変動させる必要がない。
なお、撮像条件変更部321がカメラパラメータを調整せずに、認識処理部323が、2値化処理の際の閾値を、対象物200の周囲の環境の変化に応じて変更してもよい。
また、本実施形態では、撮像条件変更部321は、背景画像の色相H、彩度S、明度Vそれぞれが、背景画像の反射を軽減するようにそれぞれに対して予め決められている範囲に収まるようにしたが、これに限ったものではない。例えば、撮像条件変更部321は、背景画像の明度Vが予め決められた範囲になるよう撮像条件を変更してもよい。これにより、撮像条件変更部321は、背景画像の明度を予め決められた範囲にすることで、背景画像の反射を軽減することができる。それゆえ、背景が反射して背景画像が対象物200の画像領域と同じ明度に可能性ことを低減することができるので、背景画像と対象物200の画像領域とを区別して対象物200を認識する認識能力を向上することができる。
撮像条件変更部321は、背景画像の明度Vが予め決められた閾値より低ければ背景の反射がなくなるので、少なくとも背景画像の明度Vが予め決められた閾値以下にすればよい。
一方、上記の判定において、撮像条件変更部321が、背景画像の色相H、彩度S、明度Vそれぞれが、背景画像の反射を軽減するようにそれぞれに対して予め決められている範囲にあると判定した場合、背景画像が反射していない撮像画像が撮像できている。その場合、撮像条件変更部321は、その撮像画像を示す撮像画像情報を認識処理部323へ出力する。
最初に撮像装置20に撮像させる際には、撮像装置制御部322は、記憶部31に記憶されているデフォルトの撮像条件を示す撮像条件情報を読み出す。そして、撮像装置制御部322は、読み出した撮像条件を指定して撮像装置20に撮像させる。そして、撮像装置制御部322は、撮像により得られた撮像画像を撮像装置20から取得し、撮像画像を示す撮像画像情報を撮像条件変更部321へ出力する。
次に撮像装置20に撮像させる際には、撮像装置制御部322は、撮像条件変更部321が変更した撮像条件で、撮像装置20に対象物200を撮像させる。そして、撮像装置制御部322は、撮像により得られた撮像画像を撮像装置20から取得し、撮像画像を示す撮像画像情報を撮像条件変更部321へ出力する。
以上により、撮像装置制御部322は、撮像条件変更部321が背景画像の画素値が、該背景画像の反射を軽減する範囲になるように変更した撮像条件で、撮像装置20に対象物200を撮像させる。
認識処理部323は、撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、対象物200に対して予め決められた認識処理を行う。ここで、撮像画像は、背景画像の画素値が、該背景画像の反射を軽減する範囲になるように変更した撮像条件で撮像装置20が撮像することにより得られた画像である。例えば、認識処理部323は、撮像条件変更部321から入力された撮像画像情報が示す撮像画像を色で2値化した画像(色2値化画像)と輝度で2値化した画像(輝度2値化画像)を生成する。
具体的には、例えば、以下のようにして、認識処理部323は、色2値化画像を生成する。また、認識処理部323は、例えば、各画素において色が予め決められた範囲にある場合に画素値を1とし、色が予め決められた範囲にない場合に画素値を0とする。認識処理部323は、例えば、この処理を撮像画像の全ての画素で行うことにより、色2値化画像を生成する。
また、例えば、以下のようにして、認識処理部323は、輝度2値化画像を生成する。認識処理部323は、例えば、撮像画像の各画素において輝度値が予め決められた輝度値よりも高い画素の画素値を1とし、輝度値が予め決められた輝度値以下の画素値を0とする。認識処理部323は、例えば、この処理を撮像画像の全ての画素で行うことにより、輝度2値化画像を生成する。
そして、認識処理部323は、例えば、画素毎に、色2値化画像に含まれる画素の画素値と、輝度2値化画像において該画素の位置に対応する位置の画素の画素値との論理和を算出する。認識処理装置30は、この処理を色2値化画像と輝度2値化画像の全ての画素の組について行う。これにより、認識処理部323は、例えば、色2値化画像の画素値または輝度2値化画像の画素値の少なくともいずれかが1の画素の画素値を1とする。
そして、認識処理部323は、例えば、その算出した結果に基づいて、対象物200に対して予め決められた認識処理を行う。本実施形態では、その一例として、認識処理部323は、
各画素について上述した論理和の値を各画素の画素値とする。これにより、認識処理部323は、対象物200の画像領域の画素値が1で、それ以外の画像領域の画素値が0である対象物抽出画像を生成する。そして、認識処理部323は、生成した対象物抽出画像を示す対象物抽出画像情報を位置姿勢検出装置40へ出力する。
図5は、第1の実施形態における撮像条件変更部321の処理を説明するための図である。同図の例では、五つの対象物が撮像された場合を想定している。同図において、撮像条件変更前の画像G50の模式図と撮像条件変更後の画像G60の模式図の一例が示されている。同図の撮像条件変更前の画像G50には、背景画像R51と、五つの対象物の画像領域R52−1〜R52−5とが示されている。ここで、背景が反射することにより、背景画像R51の輝度値が、五つの対象物の画像領域R52−1〜R52−5の輝度値それぞれと同じになっているものとする。
また、同図には、撮像条件変更後の画像G60には、背景画像R61と、五つの対象物の画像領域R62−1〜R62−5とが示されている。ここで、背景画像R61の輝度値が撮像条件の変更により画像G50の背景画像R51の輝度値よりも低くなっていることが示されている。また、背景画像R61の輝度値が、五つの対象物の画像領域R62−1〜R62−5の輝度値それぞれよりも低くなっている。これは、撮像条件変更部321により撮像条件が変更されたことにより、背景の反射がなくなったことによるものである。同図の例では、認識処理装置30は、背景の輝度値を、輝度で2値化する際に用いる閾値より低くすることで、輝度で2値化した画像において輝度値が1の画像領域に背景画像が含まれないようにする。これにより、認識処理部323は、五つの対象物の画像領域に背景画像を含まないようにするので、五つの対象物の外形形状の抽出精度を向上することができる。
図6は、第1の実施形態における認識処理装置30の処理の流れの一例を示すフローチャートである。まず、撮像装置制御部322は、撮像装置の撮像条件を指定して撮像装置20に撮像させる(ステップS101)。次に、撮像条件変更部321は、撮像画像の色相H、彩度S、明度Vのヒストグラムからそれぞれの最頻値を求める(ステップS102)。次に、撮像条件変更部321は、背景画像の色相H、彩度S、明度Vそれぞれが、色相H、彩度S、明度Vそれぞれに対して背景画像の反射を軽減するように予め決められた範囲にあるか否か判定する(ステップS103)。
背景画像の色相H、彩度S、明度Vそれぞれが、色相H、彩度S、明度Vそれぞれに対して背景画像の反射を軽減するように予め決められた範囲にない場合(ステップS103 NO)、撮像条件変更部321は、撮像条件を変更し(ステップS104)、ステップS101の処理に戻る。一方、背景画像の色相H、彩度S、明度Vそれぞれが、色相H、彩度S、明度Vそれぞれに対して背景画像の反射を軽減するように予め決められた範囲にある場合(ステップS103 YES)、認識処理部323は、色2値化画像を生成する(ステップS105)。次に、認識処理部323は、輝度2値化画像の生成を生成する(ステップS106)。
次に、認識処理部323は、各画素において、色2値化画像の画素値と、対応する輝度2値化画像の画素値との論理和を算出する(ステップS107)。次に、認識処理部323は、論理和を算出した結果に基づいて、対象物抽出画像を生成する(ステップS108)。ここで、対象物抽出画像は、例えば、対象物200である金属光沢物のみが白色、背景は黒色となった画像である。そして、認識処理部323は、生成した対象物画像が示す対象物抽出画像情報を位置姿勢検出装置40へ出力する。以上で、本フローチャートの処理を終了する。
以上、本実施形態における認識処理装置30は、背景画像の色相H、彩度S、明度Vそれぞれが、色相H、彩度S、明度Vそれぞれに対して背景画像の反射を軽減するように予め決められた範囲になった場合、撮像画像を取得する。これにより、認識処理装置30は、背景画像の色相H、彩度S、明度Vをこのように変更することで、撮像画像に含まれる背景画像の反射を軽減することができる。その結果、認識処理装置30は、背景画像の輝度値を予め決められた閾値よりも小さくできるので、その閾値を用いて輝度2値化画像を生成することにより、背景と対象物200とがより精度よく分離された輝度2値化画像を生成することができる。それゆえ、認識処理装置30は、対象物200の画像領域を背景画像から抽出する抽出精度を向上することができる。
認識処理装置30は、各画素において、色2値化画像の画素値と、対応する輝度2値化画像の画素値との論理和を算出し、算出結果に基づいて対象物抽出画像を生成する。これにより、認識処理装置30は、対象物200に影ができて、輝度2値化画像では対象物200の一部の画像領域が欠損しても、色2値化画像では対象物200の全ての画像領域が含まれる。そのため、認識処理装置30は、論理和を算出することで対象物200の画像領域の抽出精度を向上することができる。また、認識処理装置30は、対象物200に背景と同様の色が写り込んで、色2値化画像では対象物200の一部の画像領域が欠損しても、輝度2値化画像では対象物200の全ての画像領域が含まれる。そのため、認識処理装置30は、論理和を算出することで対象物200の画像領域の抽出精度を向上することができる。これにより、認識処理装置30は、環境変化に対してよりロバストに対象物200を認識することができる。
また、同軸落射による照明方法を取る必要がないので、照明の設置に手間が掛かるということがない。また、認識処理装置30は、対象物200の外形形状を抽出する前に、色相H、彩度S、明度Vそれぞれに対して背景画像の反射を軽減するように予め決められた範囲を保持するので、撮像毎に認識処理装置30の操作者が行う操作が少なく、撮像時における手間が少ない。以上により、認識処理装置30は、少ない手間で対象物200を認識することができる。
図7は、第1の実施形態における位置姿勢検出装置40の処理の流れの一例を示すフローチャートである。まず、位置姿勢検出装置40は、対象物抽出画像から、ラベリング処理により、対象物200の画像領域の重心位置を算出する(ステップS201)。次に、位置姿勢検出装置40は、対象物200の外縁を含む直線を抽出する(ステップS202)。具体的には、例えば、位置姿勢検出装置40は、canny処理を行った後にハフ変換を行うことで直線位置を抽出する。
次に、位置姿勢検出装置40は、例えば、重心位置から予め決められた画素分より近くて一番長い直線を抽出し、抽出した直線の角度を対象物200の角度として算出する(ステップS203)。次に、位置姿勢検出装置40は、算出された角度のテンプレート画像を読み出し、テンプレート画像と対象物抽出画像との間で、テンプレートマッチングを行い、対象物200の位置を検出する(ステップS204)。以上の一連の処理により、位置姿勢検出装置40は、算出した対象物200の角度を対象物200の姿勢とすることで、対象物200の位置及び姿勢を検出することができる。
認識処理装置30が環境変化に対してロバストに対象物200の外形形状を抽出するので、その外形形状を利用して対象物200の角度を算出する位置姿勢検出装置40も環境変化に対してロバストに対象物200の角度を検出できる。また、位置姿勢検出装置40は、その検出された対象物200の角度を利用して、対象物200の位置を算出するので、環境変化に対してロバストに対象物200の位置を算出することができる。以上により、位置姿勢検出装置40は、環境変化に対してロバストに対象物200の位置及び姿勢を検出することができる。
なお、第1の実施形態において、ロボット本体10は一例としてアームが1本のロボットを示したが、これに限らず、ロボット本体10はアームが複数あってもよい。例えば、図8のようにロボット本体60が2本のアームを備えていてもよい。
図8は、第2の実施形態におけるロボットシステム1bの概略外観図の一例である。同図におけるロボットシステム1bには、ロボット本体60と、撮像装置61と、把持部62と、制御ユニット2と、ケーブル63が示されている。制御ユニット2は、上述した第1の実施形態と同様の構成であるため、制御ユニット2についての詳細な説明を省略する。
ロボット本体60は、具体的には、地面に対して可動に設置された本体60aと、旋回可能に本体60aに連結された首部60bと、首部60bに対して固定された頭部60cと、旋回可能および屈伸可能に頭部60cに連結された第1アーム部60dと、旋回可能および屈伸可能に頭部60cに連結された第2アーム部60eと、ロボット本体60の設置面に対してロボット本体60を移動可能に本体60aに取り付けられた搬送部60fとを含んで構成される。
第1アーム部60dの開放端であるハンドには、把持部62が取り付けられている。また、第2アーム部60eの開放端であるハンドには、撮像装置61が取り付けられている。搬送部60fは、ロボット本体60の設置面に対して、ロボット本体60を一定方向または方向自在に移動可能に支持する。搬送部60fは、四組の車輪、四組のキャスター、一対の無限軌道等により実現される。
ロボット本体60は、例えば、2系統のアームを備えた垂直多関節ロボット(双腕ロボット)である。ロボット本体60は、ロボット制御装置50から供給されるロボット制御命令を取り込み、このロボット制御命令による駆動制御によって、撮像装置61および把持部62それぞれの位置および姿勢を三次元空間内で所望に変更し、また把持部62の爪部を開閉させる。
撮像装置61は、被写体を撮像して静止画像または動画像である撮像画像を取得し、この撮像画像をロボット制御装置50に供給する。撮像装置61は、例えば、デジタルカメラ装置、デジタルビデオカメラ装置により実現される。
把持部62は、物体を挟持可能な爪部を備える。なお、図8では、把持部62を、その機能を示すために模式的に示してある。
ケーブル63は、ロボット制御装置50が出力するロボット制御命令をロボット本体60に供給したり、ロボット本体60が出力するロボット制御応答をロボット制御装置50に供給したりする。ロボット制御命令は、ロボット本体60の各可動部を駆動制御する制御命令である。ロボット制御応答は、例えば、ロボット本体60がロボット制御装置50に対して通知する、ロボット制御命令に対する応答を含む。ケーブル63は、例えば、シリアル通信線等のケーブルやコンピューターネットワークである。
ロボット制御装置50は、ロボット本体60の首部60bと頭部60cと第2アーム部60eとの動作を制御し、撮像装置61の位置および姿勢を変更させる。具体的に、ロボット制御装置50は、撮像装置61を、図示しないアセンブリ部品に対して略垂直上方において、撮像方向が略垂直下方となる位置に設置させる。
また、ロボット制御装置50は、撮像装置61から供給される、アセンブリ部品の撮像画像を取り込み、この撮像画像に基づいてロボット本体60の首部60bと頭部60cと第1アーム部60dとの動作を制御し、第1の実施形態と同様に、対象物200を把持する。
以上、第2の実施形態におけるロボットシステム1bが、第1の実施形態と同様に制御ユニット2を備えており、第1の実施形態と同様の効果を奏する。
なお、ロボット制御装置50は、例えば、ロボット本体60の本体60aのキャビネットに収納されていてもよい。
なお、複数の装置を備えるシステムが、本実施形態の認識処理装置30の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の認識処理装置30、位置姿勢検出装置40及びロボット制御装置50の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、認識処理装置30、位置姿勢検出装置40及びロボット制御装置50に係る上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、1b ロボットシステム
2 制御ユニット
10、60 ロボット本体
20 撮像装置
30 認識処理装置
31 記憶部
32 制御部
40 位置姿勢検出装置
50 ロボット制御装置
61 撮像装置
62 把持部
63 ケーブル
321 撮像条件変更部
322 撮像装置制御部
323 認識処理部

Claims (6)

  1. 撮像条件変更部が、対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更手順と、
    撮像装置制御部が、前記撮像条件変更部が変更した撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御手順と、
    認識処理部が、前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理手順と、
    を有することを特徴とする認識処理方法。
  2. 前記認識処理手順において、前記認識処理部は、前記画像を色で2値化した画像と輝度で2値化した画像を生成し、前記色で2値化した画像に含まれる画素の画素値と、該画素と対応する前記輝度で2値化した画像の画素の画素値との論理和を、各画素について算出した結果に基づいて、前記対象物に対して予め決められた認識処理を行うことを特徴とする請求項1に記載の認識処理方法。
  3. 前記撮像条件変更手順において、前記撮像条件変更部が、背景画像の画素値の明度が予め決められた範囲になるよう前記撮像条件を変更することを特徴とする請求項1または請求項2に記載の認識処理方法。
  4. 対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更部と、
    前記撮像条件変更部が変更した撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御部と、
    前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理部と、
    を備えることを特徴とする認識処理装置。
  5. 対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更部と、
    前記撮像条件変更部が変更した撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御部と、
    前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理部と、
    を備えることを特徴とするロボットシステム。
  6. コンピュータに、
    対象物を撮像する際に背景となる背景画像の画素値が、該背景画像の反射を軽減する範囲になるよう撮像条件を変更する撮像条件変更ステップと、
    前記撮像条件変更ステップにより変更された撮像条件で、撮像装置に前記対象物を撮像させる撮像装置制御ステップと、
    前記撮像装置が撮像することにより得られた撮像画像の色に基づいて抽出された画像と該撮像画像の輝度に基づいて抽出された画像に基づいて、前記対象物に対して予め決められた認識処理を行う認識処理ステップと、
    を実行させるための認識処理プログラム。
JP2012144117A 2012-06-27 2012-06-27 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム Pending JP2014006852A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012144117A JP2014006852A (ja) 2012-06-27 2012-06-27 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012144117A JP2014006852A (ja) 2012-06-27 2012-06-27 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Publications (1)

Publication Number Publication Date
JP2014006852A true JP2014006852A (ja) 2014-01-16

Family

ID=50104480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012144117A Pending JP2014006852A (ja) 2012-06-27 2012-06-27 認識処理方法、認識処理装置、ロボットシステム及び認識処理プログラム

Country Status (1)

Country Link
JP (1) JP2014006852A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104942804A (zh) * 2014-03-25 2015-09-30 精工爱普生株式会社 机械臂
WO2017208389A1 (ja) * 2016-06-01 2017-12-07 富士機械製造株式会社 画像処理装置、ワーク移載装置及び画像処理方法
JPWO2016147331A1 (ja) * 2015-03-18 2017-12-28 富士機械製造株式会社 部品供給装置
CN112418242A (zh) * 2020-08-27 2021-02-26 河海大学 一种适用于大规模目标的彩色标识系统及其识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04130588A (ja) * 1990-09-20 1992-05-01 Mazda Motor Corp 画像処理方法
JPH07110305A (ja) * 1993-10-08 1995-04-25 Tanaka Kikinzoku Kogyo Kk 光沢のある金属面の画像処理検査方法
JP2001004525A (ja) * 1999-06-21 2001-01-12 Tokyo Electric Power Co Inc:The 鋼材の劣化・腐食検出判定方法
JP2001242095A (ja) * 1999-12-21 2001-09-07 Tomoe Corp 曲面を有する部材の腐食検出判定方法
JP2001250109A (ja) * 2000-03-06 2001-09-14 Dainippon Printing Co Ltd 検査方法及び装置
JP2002358520A (ja) * 2001-03-27 2002-12-13 Casio Comput Co Ltd 画像処理装置、及び、プログラム
JP2009253636A (ja) * 2008-04-04 2009-10-29 Sony Corp 画像処理装置と画像処理方法および撮像装置
JP2009293993A (ja) * 2008-06-03 2009-12-17 Central Res Inst Of Electric Power Ind 腐食度評価方法、装置及びプログラム
JP2012059213A (ja) * 2010-09-13 2012-03-22 Toyota Auto Body Co Ltd 二値化処理方法及び画像処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04130588A (ja) * 1990-09-20 1992-05-01 Mazda Motor Corp 画像処理方法
JPH07110305A (ja) * 1993-10-08 1995-04-25 Tanaka Kikinzoku Kogyo Kk 光沢のある金属面の画像処理検査方法
JP2001004525A (ja) * 1999-06-21 2001-01-12 Tokyo Electric Power Co Inc:The 鋼材の劣化・腐食検出判定方法
JP2001242095A (ja) * 1999-12-21 2001-09-07 Tomoe Corp 曲面を有する部材の腐食検出判定方法
JP2001250109A (ja) * 2000-03-06 2001-09-14 Dainippon Printing Co Ltd 検査方法及び装置
JP2002358520A (ja) * 2001-03-27 2002-12-13 Casio Comput Co Ltd 画像処理装置、及び、プログラム
JP2009253636A (ja) * 2008-04-04 2009-10-29 Sony Corp 画像処理装置と画像処理方法および撮像装置
JP2009293993A (ja) * 2008-06-03 2009-12-17 Central Res Inst Of Electric Power Ind 腐食度評価方法、装置及びプログラム
JP2012059213A (ja) * 2010-09-13 2012-03-22 Toyota Auto Body Co Ltd 二値化処理方法及び画像処理装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104942804A (zh) * 2014-03-25 2015-09-30 精工爱普生株式会社 机械臂
JP2015182184A (ja) * 2014-03-25 2015-10-22 セイコーエプソン株式会社 ロボット
US9527209B2 (en) 2014-03-25 2016-12-27 Seiko Epson Corporation Robot
JPWO2016147331A1 (ja) * 2015-03-18 2017-12-28 富士機械製造株式会社 部品供給装置
WO2017208389A1 (ja) * 2016-06-01 2017-12-07 富士機械製造株式会社 画像処理装置、ワーク移載装置及び画像処理方法
CN109153099A (zh) * 2016-06-01 2019-01-04 株式会社富士 图像处理装置、工件移载装置及图像处理方法
JPWO2017208389A1 (ja) * 2016-06-01 2019-03-28 株式会社Fuji 画像処理装置、ワーク移載装置及び画像処理方法
EP3466604A4 (en) * 2016-06-01 2019-04-24 Fuji Corporation Image Processing Device, Workpiece Transfer Device, and Image Processing Method
CN112418242A (zh) * 2020-08-27 2021-02-26 河海大学 一种适用于大规模目标的彩色标识系统及其识别方法
CN112418242B (zh) * 2020-08-27 2022-08-09 河海大学 一种适用于大规模目标的彩色标识系统及其识别方法

Similar Documents

Publication Publication Date Title
KR102574141B1 (ko) 이미지 디스플레이 방법 및 디바이스
US6925122B2 (en) Method for video-based nose location tracking and hands-free computer input devices based thereon
JP4309439B2 (ja) 対象物取出装置
US10306149B2 (en) Image processing apparatus, robot system, robot, and image processing method
KR101679290B1 (ko) 영상 처리 방법 및 장치
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
JP5799516B2 (ja) ロボット装置、検査装置、検査プログラム、および検査方法
CN101264007B (zh) 眼睑检测装置及其程序
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN108229369A (zh) 图像拍摄方法、装置、存储介质及电子设备
CN109079788B (zh) 一种基于人形机器人的国际象棋下棋方法及人形机器人
US9129358B2 (en) Inspecting apparatus, robot apparatus, inspecting method, and inspecting program
JP5935432B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP7126251B2 (ja) 建設機械制御システム、建設機械制御方法、及びプログラム
CN108198130A (zh) 图像处理方法、装置、存储介质及电子设备
WO2006008944A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2014029664A (ja) 比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラム
CN112714287A (zh) 一种云台目标转换控制方法、装置、设备及存储介质
JP2021026599A (ja) 画像処理システム
JP7171294B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20120092519A1 (en) Gesture recognition using chroma-keying
CN113034526B (zh) 一种抓取方法、抓取装置及机器人
KR20180092033A (ko) 부품 등록기
JP2011175347A (ja) 情報処理装置および情報処理方法
JP2019176424A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160419