JPH10160464A - 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 - Google Patents

Abstract

(57)【要約】 【課題】円柱などの特定形状の対象物の３次元的な位置
と姿勢を、画像から測定できるようにする。 【解決手段】特定形状の認識対象物体にスリット光を照
射し、スリット照射画像とスリット無し画像からスリッ
トパターンを抽出し、認識対象物体の縦方向の輪郭線位
置を求めるスリットパターン抽出手段４と、認識対象物
体の３次元モデルを保有し、この３次元モデルの投影像
を算出するど共に、当てはまり程度を示す情報に基づい
て３次元モデルの３次元的位置姿勢を修正して前記認識
対象物体と比較照合するための投影像を得るモデル投影
像生成手段７と、認識対象モデルの位置姿勢を修正し
て、前記認識対象物体の特徴線を当てはめる特徴線当て
はめ手段６と、当てはめ程度の最良の３次元モデル投影
像の位置・姿勢情報を、前記モデル投影像生成手段より
得て出力する結果出力手段８とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば配電作業ロ
ボットや知能ロボット制御において、碍子などの作業対
象を認識対象物体とし、その位置姿勢を画像により認識
するための位置姿勢認識装置および位置姿勢認識方法に
関する。

【０００２】

【従来の技術】ロボット技術の発展に伴い、産業分野の
みならず、様々な分野でロボットが活躍するようになっ
た。そして、近年では、高所など危険な環境下における
設備の部品交換、保守等作業をロボットに代行させる研
究が活発に行われている。

【０００３】このような危険な環境下における設備の部
品交換、保守などの作業を行うためのロボット（危険環
境下用の作業ロボット）は、ロボットの動作制御を人間
の手による遠隔操作により行う方式がとられているが、
人手を要し、かつ、操作に熟練を要するなどの扱いの面
での課題を抱えることから、当該作業ロボットにＴＶカ
メラを搭載し、その画像を用いて自律的に対象物体を認
識し、作業を行うことができるようにする自律型作業ロ
ボッートの実現が強く望まれている。

【０００４】自律型作業ロボットの実現には、作業対象
の３次元的な位置および姿勢を、入力画像から画像処理
により認識する位置姿勢認識装置が不可欠である。対象
物体の形状が既知であれば、単眼視のカメラによっても
物体の位置および姿勢が測定可能であることから、単眼
視の物体認識の研究が盛んに行われている。

【０００５】特に人工物体には円柱形状の物体や、ま
た、回転対称（点対象）な形状ではあるが、単なる円柱
形状でなく、円柱または円錐台をその軸方向に積み重ね
ることによってできる形状、つまり、軸方向に膨らみや
窪みを持つような形状（例えば、瓢箪型など）の物体
が、数多く存在する。このような形状を本明細書では以
後、「一般化された円柱」と呼ぶことにする。

【０００６】そして、これらの「一般化された円柱」形
状の位置および姿勢の認識は、自律型作業ロボットを実
現するための重要な要素である。自律型作業ロボットの
一つの利用例として、例えば、電柱上の配電線工事を行
なうロボットを考えてみると、ロボットが作業を行なう
ために認識すべき対象の形状は、限られたものである。

【０００７】その中で、最も重要な認識対象と考えられ
る装柱や碍子は、一般化された円柱形状の物体である。
そして、単眼視カメラにより撮影したこのような例え
ば、電柱上の碍子の如き既知対象についての画像情報に
基づいて、物体の３次元位置および姿勢を認識するため
の方法としては、投影像を図形としてとらえ、図形的な
パターンマッチング手法を応用する方法がある。

【０００８】この場合、対象物体の投影像の形状と、予
め記憶されている対象物体の見え方のパターンとを比較
することによって、物体の位置と姿勢を認識する。しか
しながら、「一般化された円柱」形状の物体が、３次元
的に自由に位置と姿勢を変えることができる場合は、対
象の見え方にはつぎの５種の変化要素がある。すなわ
ち、“大きさ”、“画面上の傾き”、“奥行き方向の傾
き”、“中心の軸方向の位置”、“中心の軸と垂直方向
の位置”の計５種の変化要素である。

【０００９】そして、全ての変化要素を考慮すると見え
方のパターンは無限となってしまうため、図形的なパタ
ーンマッチング手法を用いる場合は、“大きさを固定す
る”、あるいは、“奥行き方向の回転を固定する”など
の方法で、用意するパターンを制限する必要があった。

【００１０】このため、物体の３次元位置及び姿勢を認
識する他の手法としては、画像中から対象物体の形状の
特徴を示す２次元の画像特徴点を抽出し、組合せの手法
を用いて対象物体の特徴点と対応づけ、物体の３次元位
置及び姿勢を認識する手法がよく用いられる。

【００１１】しかしながら、「一般化された円柱」形状
の物体を、その形状の特徴点を抽出して認識しようとす
る場合には、対象物である当該「一般化された円柱」形
状の物体が表面滑らかな形状であるが故に、特徴点とな
り得る突起物や角の点が存在せず、従って、画像中から
特徴点を抽出することが困難であるという問題がある。

【００１２】特徴点を抽出するのでなく、特徴的な直
線、あるいは特徴的な曲線を抽出し、認識対象物体との
対応に基づいて認識を行う手法もある。この手法は、例
えば、対象物体が円柱形状の場合は、楕円形状や平行線
を抽出し、その形状から物体の認識を行うといったもの
である。

【００１３】この場合、正確な測定を行うためには、楕
円形状は全円周状に輪郭線が抽出されることが望まし
い。しかし、円柱形状の上下に物体が接している場合に
は、全円周状の輪郭線は抽出することができず、楕円弧
の一部として抽出されることが多く、正確な位置と姿勢
の測定は困難になる。また、「円柱」または「一般化さ
れた円柱」の場合、両側の輪郭線は物体固有の稜線とし
て現れる輪郭線ではなく、遮蔽輪郭線と呼ばれる輪郭線
であって、特に対象物体領域と背景領域の差が明確でな
い場合には、楕円形状の輪郭線を抽出する画像処理をそ
のまま利用しても抽出は難しい。

【００１４】このために、例えば、特公平６−５６２８
７号公報（後藤：円柱形状物の位置検出装置）では、認
識する物体として円柱形状に対象を限定して、円柱軸に
対して斜め上の方向から、能動的な照明を投射し、上方
に取り付けたカメラから円柱形状物体の投影像を撮影す
ることで、遮蔽輪郭線を影として能動的に抽出すると云
った手法を採用している。そして、その投影像の形状か
ら３次元的な位置を検出するようにしている。

【００１５】しかし、この方法では、物体とカメラの位
置関係が極めて限定されている。そのため、対象物とカ
メラが離れた位置関係にある場合は、当該方法を適用す
ることは不可能である。例えば、電柱上の配電線工事を
行なう自律型作業ロボットのための物体認識に画像処理
技術を利用しようとする場合は、認識対象の物体とカメ
ラの位置関係はそもそも未知であるし、認識対象の物体
に対するカメラの位置は物体の上方方向にあるのではな
く、横方向にあって、しかも、認識対象物体から離れた
所から横方向の撮影視野を以て撮影する場合が多いと考
えられるからである。

【００１６】

【発明が解決しようとする課題】電柱上の配電線工事を
行なう用途のロボットを実現する上で、認識できなけれ
ばならない対象物の一つに例えば碍子があるが、当該碍
子などのような「一般化された円柱」形状の物体をカメ
ラでとらえてその画像から認識しようとする場合、図形
的なパターンマッチングの手法や、画像の特徴点、特徴
線の抽出と組合わせを利用する方法、あるいは能動的な
光を照射する方法などの画像認識技術の適用が考えられ
る。

【００１７】しかしながら、従来における図形的なパタ
ーンマッチング手法を用いると、用意しなければならな
いパターンが膨大になり、また、特徴点の抽出と組合せ
の手法を用いると、認識対象が「一般化された円柱」形
状の物体である場合には画像中から特徴点や特徴線の抽
出が困難であり、能動的な光を照射する方法ではカメラ
位置が認識対象の上方にある必要があって、用途が限定
されるという問題があった。

【００１８】従って、電柱上の配電線工事を行なう用途
の自律型作業ロボットを実現する上で、認識できなけれ
ばならない碍子の認識技術の早急な確立が嘱望されてい
る。そこで、この発明の目的とするところは、「円柱」
形状および「一般化された円柱」形状物体について、そ
の位置と姿勢をカメラ画像から測定できるようにする位
置姿勢認識装置および位置姿勢認識方法を提供すること
にある。

【００１９】

【課題を解決するための手段】上記目的を達成するため
に本発明は、特定形状の認識対象物体を撮像した画像を
入力する画像入力手段と、前記特定形状の認識対象物体
に能動的にスリット光を照射するスリット光照射装置
と、前記画像入力手段から得た画像から画像処理により
スリット光の投影パターンを抽出するスリットパターン
抽出手段と、前記画像入力手段から得た画像と、スリッ
トパターン抽出手段から得た情報から、前記認識対象物
体のスリット光の投影パターンに交差する輪郭線を抽出
する経線抽出手段と、前記特定形状の認識対象物体の３
次元モデルを保有し、この３次元モデルの投影像を算出
すると共に、当てはまり程度を示す情報に基づいて３次
元モデルの３次元的位置姿勢を修正して前記認識対象物
体と比較照合するための投影像を得るモデル投影像生成
手段と、前記画像入力手段から得た画像から、前記認識
対象物体の画像特徴と、前記モデル投影像生成手段によ
り得られた投影像を照合比較して当てはめの程度を判別
し、前記認識対象モデルの位置姿勢を修正して、前記認
識対象物体の形状から生する特徴線を当てはめる特徴線
当てはめ手段と、前記当てはめ程度の最良の３次元モデ
ル投影像の位置・姿勢情報を、前記モデル投影像生成手
段より得て出力する結果出力手段とを具備することを特
徴とする。

【００２０】本発明では、認識対象を撮像する撮像手段
から得られる画像の画像特徴と、用意した前記認識対象
の３次元モデルの投影像を比較し、その当てはまりの程
度を検証して、この検証結果に応じ前記モデルの位置姿
勢を逐次修正して得た投影像と前記画像特徴とを再び照
合して当てはまりの程度を検証し、最も良く当てはまる
投影像を求めてその求めた最も良く当てはまる投影像か
ら前記認識対象の位置と姿勢の情報を求めることによ
り、認識対象物体の３次元的な位置と姿勢を認識する。

【００２１】具体的には特定形状の認識対象物体を撮像
した画像から、スリットパターン抽出手段、経線抽出手
段、特徴線当てはめ手段などで、その認識対象物体の画
像特徴を抽出し、また、モデル投影像生成手段は、保有
している前記特定形状の認識対象物体の３次元モデルを
用いて、この３次元モデルの投影像を算出すると共に、
当てはまり判断手段の判別した当てはまり程度に基づい
て３次元モデルの３次元的な位置と姿勢を修正して前記
認識対象物体と比較照合するための投影像を得る。

【００２２】また、抽出の困難な輪郭線に関してはスリ
ット光を照射し、そのスリットパターンの形状から、ス
リットパターンに交差する輪郭線の位置を抽出すること
で、安定かつ確実にその輪郭線の位置を抽出する。

【００２３】前記モデル投影像生成手段は、スリットパ
ターン抽出手段の抽出結果にしたがって３次元モデルの
位置と姿勢を修正し、経線抽出手段の抽出結果にしたが
って３次元モデルの位置と姿勢を修正し、特徴線当ては
め手段に３次元モデルの各種の位置と姿勢の投影像を送
信し、最良の当てはめ程度に判別された３次元モデルの
位置と姿勢の情報を得て出力する。

【００２４】このように、認識対象を撮像した画像情報
を得て、この画像情報から得られる画像の画像特徴を抽
出し、この抽出した画像特徴を、用意した前記認識対象
の３次元モデールの投影像と比較して、その当てはまり
の程度を検証し、前記モデルの位置と姿勢を逐次修正し
て、最も良く当てはまる投影像を求め、その求めた最も
良く当てはまる投影像から位置と姿勢を求めるようにし
て、認識対象物体の３次元的な位置と姿勢を認識するよ
うにした。

【００２５】従って、「円柱」形状や「一般化された円
柱」形状の認識対象物体について、その位置と姿勢を画
像から測定できるようになり、自律型の作業ロボットの
実現に道が開かれる。

【００２６】

【発明の実施の形態】本発明では、認識対象を撮像する
撮像手段から得られる画像の画像特徴と、用意した前記
認識対象の３次元モデルの投影像を比較し、その当ては
まりの程度を検証して、この検証結果に応じ前記モデル
の位置姿勢を逐次修正して得た投影像と前記画像特徴と
を再び照合して当てはまりの程度を検証し、最も良く当
てはまる投影像を求めてその求めた最も良く当てはまる
投影像から前記認識対象の位置と姿勢の情報を求めるこ
とにより、認識対象物体の３次元的な位置と姿勢を認識
するようにする。

【００２７】具体的には認識対象物体を特定形状のもの
とし、その認識対象物体を撮像した画像から、スリット
パターン抽出手段、経線抽出手段、特徴線当てはめ手段
などで、その認識対象物体の画像特徴を抽出する。ま
た、モデル投影像生成手段は、保有している前記特定形
状の認識対象物体の３次元モデルを用いて、この３次元
モデルの投影像を算出すると共に、当てはまり判断手段
の判別した当てはまり程度に基づいて３次元モデルの３
次元的な位置と姿勢を修正して前記認識対象物体と比較
照合するための投影像を得る。

【００２８】また、抽出の困難な輪郭線に関してはスリ
ット光を照射し、そのスリットパターンの形状から、ス
リットパターンに交差する輪郭線の位置を抽出すること
で、安定かつ確実にその輪郭線の位置を抽出する。

【００２９】前記モデル投影像生成手段は、スリットパ
ターン抽出手段の抽出結果にしたがって３次元モデルの
位置と姿勢を修正し、経線抽出手段の抽出結果にしたが
って３次元モデルの位置と姿勢を修正し、特徴線当ては
め手段に３次元モデルの各種の位置と姿勢の投影像を送
信し、最良の当てはめ程度に判別された３次元モデルの
位置と姿勢の情報を得て出力する。

【００３０】このように、認識対象を撮像した画像情報
を得て、この画像情報から得られる画像の画像特徴を抽
出し、この抽出した画像特徴を、用意した前記認識対象
の３次元モデールの投影像と比較して、その当てはまり
の程度を検証し、前記モデルの位置と姿勢を逐次修正し
て、最も良く当てはまる投影像を求め、その求めた最も
良く当てはまる投影像から位置と姿勢を求めるようにす
ることにより、認識対象物体の３次元的な位置と姿勢を
認識するようにした。

【００３１】従って、「円柱」形状や「一般化された円
柱」形状の認識対象物体について、その位置と姿勢を画
像から測定できるようになり、自律型の作業ロボットの
実現に道が開かれる。以下、本発明の具体例について、
図面を参照して説明する。

【００３２】（具体例）図１は本発明の位置姿勢認識装
置を適用した円柱形状物体認識装置の概略構成ブロック
図である。まず、図１に示す本装置の構成を説明する。
円柱形状物体認識装置は、ＴＶカメラ１、スリット光照
射手段２、画像入力部３、スリットパターン抽出手段
４、経線抽出手段５、特徴線当てはめ手段６、モデル投
影像生成手段７、結果出力手段８からなる。

【００３３】このうちＴＶカメラ１は、ビデオカメラな
どの撮像装置であって、認識対象である円柱状物体が入
力されるように設置され、対象物体の近傍領域を撮影し
てその撮影した像を画像信号として出力するものであ
る。

【００３４】スリット光照射手段２は、パターン形状が
十字型の光を、認識対象物の表面に投影するための装置
であり、スリット光の照射パターンが十字型になるよう
なスリッ卜装置が取り付けられていて、対象物体の輪郭
線のうちで画像処理だけでは抽出が困難な輪郭線を横切
ってパターン形状十字型の光を照射するように、カメラ
近傍位置に配置されている。スリット光照射手段２によ
り認識対象物体の表面に投影された十字型パターン形状
の光の像は当然、ＴＶカメラ１で撮像できる位置関係に
なるようにＴＶカメラ１とスリット光照射手段２の配置
関係は保たれるものとする。

【００３５】スリット光照射手段２は、白熱灯、水銀灯
など比較的強力な照明装置を用いて構成すれば何でも良
いが、本具体例ではレーザスリット光照射装置を使用す
ることとして説明する。

【００３６】画像入力部３は、ＴＶカメラ１から送信さ
れる画像信号をディジタル化して入力するためのもので
あり、また、スリット光照射手段２の照射スイッチを制
御してスリット光が照射された時点の画像や、スリット
光が照射されていない時点の画像を選択して入力する機
能を有する。

【００３７】スリットパターン抽出手段４は、画像入力
部３から送信されるスリット光が照射された時点でのデ
ィジタル画像と、スリット光が照射されていない時点で
のディジタル画像を処理し（処理の方法は後で詳しく説
明する）、画像中のスリットパターンを抽出し、その位
置情報をモデル投影像生成手段７から受信し、スリット
光が照射されていない時点のディジタル画像を画像入力
部３から受信し、その位置情報を用いて画像に対して画
像処理を施すことにより、スリットパターンに交差する
輪郭線を抽出する機能を有し、抽出結果をメモリ上に保
持したモデル投影像生成手段７の要求に対してデータを
送信する機能を有する。

【００３８】特徴線当てはめ手段６は、画像入力部３か
ら送信されるスリット光が照射されていない時点のディ
ジタル画像の画像特徴を抽出し、モデル投影像生成手段
７から送信される認識対象物体の３次元モデルの対応す
る特徴線の投影位置と、前記画像特徴を比較し（処理の
方法は後で詳しく説明する）、最適な当てはめ位置を算
出する機能を有する。

【００３９】モデル投影像生成手段７は、認識対象物体
の３次元モデルの構造データと位置と姿勢のデータを保
有し、モデルの投影像を生成する。また、スリットパタ
ーン抽出手段４や経線抽出手段５から送信されるモデル
の２次元的な存在位置を示すデータからモデルの３次元
位置を逆算し、認識対象物体の３次元モデルの位置と姿
勢のデータを修正する機能も有する。

【００４０】結果出力手段８は、最終的な認識結果を出
力する機能を有し、例えば認識物体の３次元的な位置と
姿勢を数値として出力したり、入力された画像の上に認
識結果に基づいてモデル投影像を上書き表示したりす
る。

【００４１】以上のような構成の本発明の動作を説明す
る。本システムをロボットの視覚システムとして搭載し
た自律型作業ロボットの動作環境として、電柱上の配電
線工事を例に挙げて説明する。この動作環境では自律型
作業ロボットは作業対象物体の認識と位置特定をするこ
とが必要になる。電柱上には例えば、碍子など「一般化
された円柱」形状の物体が数多く存在し、その位置特定
をすることになる。

【００４２】電柱が地面に垂直に立っているとすれば、
画像入力用のＴＶカメラ１を水平を保って撮影すること
により得た画像では、地面に対して縦方向に取り付けら
れた碍子は縦に撮影される。碍子など円柱形状の物体が
認識対象の場合には、画像処理だけを用いたのでは円柱
の軸方向の輪郭線（両脇の縦方向の輪郭線）の抽出は難
しい。

【００４３】この時はスリットパターンが円柱の両脇の
輪郭線を横切るようにスリット照射装置（スリット光照
射手段２）を設置することになる。自律型作業ロボット
は作業車の高所作業台の上に搭載される。高所作業台は
屈伸操作可能なアームを持つものであり、アームの基部
が作業車上に旋回操作可能に保持され、アームの自由端
側には作業者が乗る籠が取り付けてあるものが一般的で
あるが、作業ロボットをアーム先端に搭載して作業させ
る場合には籠を除去した構成であって差支えない。

【００４４】高所作業台の操作は操作者によってなされ
る。操作者はまず当該作業車を電柱のそばに設置し、高
所作業台の自由端部側を電柱の側に上げる。そして、ロ
ボットの可動範囲や、障害物による影響を考慮しなが
ら、適切な位置に作業ロボットが来るようにアーム先端
位置を位置調整する。周囲環境は場所によって異なるか
ら、作業のたびに全く同じ位置にロボットを設置すると
いうことは不可能であるし、また、電柱上の配置も場所
によって異なる。

【００４５】しかし、行なう作業は予め決まっているか
ら、認識が必要な作業対象物体が何であるかは事前に決
めることができるし、その物体が画面に収まるように、
ロボットの位置と姿勢を設定することができる。またこ
のとき、スリットが認識対象に照射されるようにロボッ
トの位置を設置することも可能である。

【００４６】このような場合では、本認識システムが認
識すべき対象は画面の中に収まっていることを前提とす
ることができるし、また、その対象物体の存在し得る空
間的な範囲も仮定することができる。

【００４７】なぜなら、前述したようにロボットの可動
範囲に関連して、作業ロボットと対象との位置関係が、
ある範囲に収まるように操作者が作業ロボットを設置す
るからである。

【００４８】図２は本発明を用いて構成した碍子認識の
ための位置姿勢認識装置の全体的な処理手順である。ま
た、図３〜図７に処理の流れを説明するための処理の移
り変わりの様子を示したその時々の画像の状態を模式図
で示しておく。

【００４９】碍子認識のための位置姿勢認識装置は、ス
リット光照射手段２によるスリット光を碍子に照射した
状態と、照射しない状態の各画像をＴＶカメラ１から取
り込む画像入力ステップ（図２のステップＳ２１）、ス
リット照射画像に対してスリットパターン抽出処理を行
うスリットパターン抽出手段４でのスリットパターン抽
出処理（図２のステップＳ２２）、パターンの端点を見
付けることで画像上における碍子の遮蔽輪郭線を見付け
る処理であるモデル投影像生成手段７での端点位置当て
はめ処理（図２のステップＳ２３）、これにより取得し
た端点位置を元にして経線抽出をする経線抽出手段５で
の経線抽出処理（図２のステップＳ２４）、抽出した経
線を用いて認識対象モデルの３次元的な位置と姿勢を経
線に当てはまるように修正するモデル投影像生成手段７
での経線当てはめ処理（図２のステップＳ２５）、“円
柱形状物体の中心軸の方向の位置”と、“奥行き方向の
回転角”という２種のパラメータを決めるための処理で
ある特徴線の当てはめ手段６による特徴線の当てはめ処
理（図２のステップＳ２６）、これらの処理を経て得ら
れた結果（“大きさ”、“画面上の傾き”、“奥行き方
向の傾き”、“中心の軸方向の位置”、“中心の軸と垂
直方向の位置”の計５種の変化要素の確定情報）を出力
する結果出力手段８での処理である出力処理（図２のス
テップＳ２７）という手順を踏み、最終結果を得る。順
を追って処理の詳細を説明する。

【００５０】〔画像入力（ステップＳ２１）〕まず認識
対象となる碍子が撮影されるように当該碍子にＴＶカメ
ラ１を向け、この位置でＴＶカメラ１により当該碍子を
撮像して当該碍子の３種類の画像を取り込む（画像入
力；ステップＳ２１）。ここで言う３種類の画像とは、
１つはスリット光照射手段２を用いずに自然のまま撮像
した画像であり、残りはスリット光照射手段２を用いて
十字型パターンのスリット光を対象物に照射した状態で
撮像した画像である。これにより、３種類の画像の内、
２種類は対象物にスリット光を照射した状態の画像が得
られる。

【００５１】スリット光照射状態の２種の画像は、対象
物に対する十字型パターンのスリット光の位置がそれぞ
れ異なるものとする。そのために、撮像にあたってはス
リット光照射手段２には対象物に対して異なる二カ所の
位置からスリット光を照射させるようにする。例えば、
ＴＶカメラ１の位置から対象物に向かう方向に対して右
下に３０ｃｍ離れた位置からと、左下へカメラから３０
ｃｍ離れた位置からの２地点から照射すると言った具合
である。

【００５２】従って、このようにするにはスリット光照
射手段２は例えば二台使用し、その設置位置はカメラ光
軸に対して左右に一つずつになるようにすれば良い（ス
リット光照射手段固定支持方式）。もちろん、左右移動
機構を設けて、カメラ光軸に対して左右、異なる位置か
ら対象物にスリット光を投影できる構成とすればスリッ
ト光照射手段２は一台でも間に合う（スリット光照射手
段移動方式）。

【００５３】いずれの構成でも差支えないが、要はカメ
ラの視点は変えず、スリット光は時点を変えて異なる二
つの位置から別々に照射させることができる構成をとる
ことである。このような異なる二つの位置からスリット
光を照射させなければならない理由は、認識対象（ここ
では碍子）の右側の縦の輪郭緑（右の経線）と、左側の
縦の輪郭線（左の経線）の位置を個別に抽出できるよう
にするためである。

【００５４】そのためには、二台のスリット光照射手段
２には、時間をおいて認識対象物に交互に十字型のパタ
ーンを照射させ、それぞれの十字型パターン投射状態の
画像をＴＶカメラ１により撮像するように、システムを
制御する。

【００５５】前述のように、ロボットの可動範囲等に関
連してロボットと対象との位置関係が、ある範囲に収ま
るように、操作者がロボットを設置するわけであるか
ら、レーザスリット光が対象物に照射されるようにシス
テムが設置されることは十分可能なことである。また、
万一、スリット光が当たらない場合でも、操作者がロボ
ットやＴＶカメラなどの位置を修正すれば良いのであ
る。

【００５６】ＴＶカメラ１でこのような画像をそれぞれ
撮像することにより得られた画像信号を、画像入力部３
は取り込み、それぞれディジタル画像に変換する。すな
わち、画像入力部３はスリット光を照射しないで撮影し
た画像（以降の説明では「スリット無し画像」と呼
ぶ）、左側からスリット光を照射した画像（以降の説明
では「左側スリット照射画像」と呼ぶ）、右側からスリ
ット光を照射した画像（以降の説明では「右側スリット
照射画像」と呼ぶ）の３種の画像を取り込み、それぞれ
ディジタル画像に変換することになる。

【００５７】上述の３種の画像を入力する間、画像入力
用のＴＶカメラ１は空間的に動いてはいけない。ただ
し、ＴＶカメラ１を機械的に動かす必要がある場合は、
移動パラメータを用いて３種の画像間の画素位置の対応
を算出できるように構成しておけばよい。また、ＴＶカ
メラ１が空間的に動かない場合でも、３種の画像を撮影
する時間に差があった場合は、背景によっては背景に差
が現われる場合があるが、数秒程度のずれ（通常ディジ
タル画像を複数枚撮影するには十分な時間）による背景
の差は、この後で説明するスリットパターン抽出処理で
対応可能であり、差を吸収できる。

【００５８】図３がスリット無し画像の模式図、図４が
スリット照射画像の模式図である。スリット光照射装置
２として、レーザプロジェクタを使用した場合は、照射
パターンが明瞭に撮影されるように、レーザ波長を透過
域とするような干渉フイルタをＴＶカメラ１のレンズの
前面に取り付けるなどの処置を講じておいても良い。

【００５９】〔スリットパターン抽出処理（ステップＳ
２２）〕次に、左右のスリット照射画像に対してスリッ
トパターン抽出処理を行う（図２のステップＳ２２）。

【００６０】図８に、スリットパターン抽出処理の処理
手続きの詳細を示す。スリット照射画像は、スリット無
し画像と比べてスリットパターンが照射された部分の画
素の輝度値が明るいことになる。従って、スリット照射
画像の輝度値からスリット無し画像の対応する面素の輝
度値の差をとれば、スリットパターンの部分だけが現わ
れることになる。この画素の輝度値の差をとった画像
（以後の説明では差分画像と呼ぶ）を作り、スリットパ
ターンの部分を抜き出すことで、認識対象物体の端点位
置を抽出する。

【００６１】そこで、まず、左右のスリット照射画像と
スリット無し画像との差分画像を作り、以後の処理では
差分画像を用いる（図８のステップＳ８１ａ、ステップ
Ｓ８１ｂ）。ここで行なう差分演算は画像間の差の絶対
値をとるのでなく、以下の演算とする。

【００６２】座標（ｘ，ｙ）の画素のスリット照射画像
の面素値をＰ（ｘ，ｙ）、スリット無し画像の対応する
面素の面素値をＰ´（ｘ，ｙ）としたとき、差分画像の
画素値を以下の演算で求める。

【００６３】 P(x,y)−P'(x,y) P(x,y)＞＝P'(x,y) のとき ０ P'(x,y) ＞P(x,y)のとき 次に、差分画像を２値化する。２値化しきい値の決定
は、例えば、大津の判別分析法（例えば、「画像解析ハ
ンドブック」東京大学出版会，１９９１年，高木幹雄
下田陽久監修等参照）を用いる（図８のステップＳ８２
ａ、ステップＳ８２ｂ）。次に、８連結でラベリング処
理（２値化された画素を連続領域に分割する処理）を行
い、各ラベルに分割する（図８のステップＳ８３ａ、ス
テップＳ８３ｂ）。

【００６４】差分画像から抽出されたラベルには背景の
変化が含まれる可能性がある。例えば、樹木の葉の揺れ
や画面のちらつきなどである。これらのラベルから、ス
リット光で作られた十字パターンを判別する必要があ
る。このためには、例えば、以下のような方法で十字パ
ターンを識別する。

【００６５】［十字パターン識別］ (i) 小さな面積のノイズラベルの除去 スリット光により生じたラベルは画素数（面積）が十分
大きいので、抽出したラべルの面素数をある閾値を以て
大小２種のいずれに属するか判別し、その結果、小さい
ラベルと判別されたラベルは除去する。判別閾値の決定
は差分処理と同様に、大津の判別分析法を用いれば良
い。

【００６６】(ii)ラベル密度が大きいノイズラベルの除
去 ラベルに含まれる画素数を、ラベルに外接する多角形の
面積で割った値をラベル密度と定義すると、十字型のラ
ベルはこのラベル密度が小さい。一方、ノイズとして現
れる円形の固まりや、矩形のノイズラベルはラベル密度
が大きいので、ラベル密度の大小を以て判断すれば十字
型と識別が可能である。そこで、ラベル密度の高いラベ
ルを除去する。

【００６７】(iii)外接する多角形の面積が最大のラベ
ルを抽出 以上の(i) ，(ii)の処理を通過した候補が複数ある場合
は、第三段階として外接する多角形の面積が最大のラベ
ルを抽出する。

【００６８】以上の処理で十字パターンが抽出される
（図８のステップＳ８４ａ、ステップＳ８４ｂ）。 〔端点位置当てはめ処理（図８のステップＳ２３）〕ス
リットパターン抽出処理が終わると、次に端点位置当て
はめ処理に移る。端点位置当てはめは、十字パターンの
端点を見付けることで画像上における碍子の遮蔽輪郭線
を見付ける処理である。

【００６９】既に説明したような十字パターン抽出処理
において、ラベル密度を算出するための多角形として有
効な最も簡単な図形は、外接する長方形である。図１７
は外接する長方形でラベル密度を計算する場合の摸式図
を示している。このラベルに外接する多角形は長方形に
限られたものではなく、例えば抽出されたラベルを外接
する凸の多角形とすることもできる。図１８は抽出され
たラベルを外接する凸の多角形とした場合の模式図を示
している。

【００７０】以上の処理で抽出されたラベルの左端位置
と、右端位置を測定する。左側の差分画像を処理する場
合は、この領域の左端位置を抽出し、右側の差分画像を
処理する場合はこの領域の右端位置を抽出する（図８の
ステップＳ８５ａ、ステップＳ８５ｂ）。

【００７１】以上の処理を左右の差分画像に対して行な
う。抽出された左右の端点位置から以下の二つの値を求
める。 （１）スリット光の左右の端点の幅を計算し、認識対象
物体の奥行き位置を計算する（図８のステップＳ８
６）。

【００７２】（２）左右の端点の中心位置を計算し、認
識対象物体の重心位置とみなす。この重心位置から認識
対象物体の３次元の位置を計算する（図８のステップＳ
８７）。

【００７３】本具体例で扱っている認識対象物体は、図
３に示すような電柱上の碍子であり、この碍子の経線は
遮蔽輪郭線と呼ばれ、物体の稜線や角の線のように物体
自身が保有する線でなく、対象が画像に投影されること
で現われる線であるので、背景や照明の条件によっては
画像処理だけでは抽出が困難な線である。

【００７４】しかし、このようにスリット光を照射した
像と照射しない像との差分画像からスリットパターンを
抜き出し、その抜き出したスリットパターンの端点位置
を抽出することで、従来、抽出が困難であった遮蔽輪郭
線を正確に求めることが可能になる。なお、ここで求め
た二つの値はこの後の処理を行うための暫定値であり、
以後の処理で正確な値に修正される。

【００７５】なお、図８のステップＳ８６とステップＳ
８７では、画像中の位置の情報から認識対象物体の３次
元的な位置と姿勢を計算する手続きが含まれている。ま
た、この後の処理でも、認識対象物体の投影像を求めた
り、投影位置の情報から認識対象物体の３次元的な位置
と姿勢を計算する手続きが多く現われる。そこで、これ
らの計算方法について、ここでまとめて詳しく説明す
る。なお、これらの計算は、モデル投影像生成手段７の
内部で処理される。

【００７６】［計算方法］図９はモデル投影像生成手段
７の内部構成図である。図に示すように、モデル投影像
生成手段７は、モデル位置算出手段９１、モデルの位置
及び姿勢パラメータ記憶手段９２、モデルの構造パラメ
ータ記憶手段９３、モデルの３次元位置算出手段９４、
カメラパラメータ記憶手段９５、モデルの投影位置算出
手段９６からなる。

【００７７】これらのうち、モデル位置算出手段９１
は、スリットパターン抽出手段４や経線抽出手段５か
ら、認識対象の画像中の位置に関するデータを受けて、
これらとカメラパラメータ記憶手段９５に保持されてい
るカメラパラメータを用い、モデルの３次元的な位置と
姿勢を計算するものである。

【００７８】また、モデルの位置及び姿勢パラメータ記
憶手段９２は、モデル位置算出手段９１により計算され
たモデルの３次元的な位置と姿勢のパラメータを保持す
るものである。また、モデルの構造パラメータ記憶手段
９３は、モデルＭの位置情報を各頂点の３次元座標とし
て記憶保持させたものであり、モデルの３次元位置算出
手段９４は、モデルの任意の位置と姿勢における各構成
点（図１０の例で言えば、各頂点）の３次元的な位置を
計算するためのものである。

【００７９】モデルの３次元的な位置と姿勢のパラメー
タは、３次元的な変換行列（４行４列の行列）で表現で
きるので、モデルの各構成点に対して変換行列を乗算す
れば、モデルの任意の位置と姿勢における各構成点の３
次元的な位置を計算できることを利用している。

【００８０】カメラパラメータ記憶手段９５は、前記Ｔ
Ｖカメラ１と画像入力部３からなる本システムのカメラ
入力系のカメラ・パラメータを記憶させたものであり、
モデルの投影位置算出手段９６は、カメラパラメータ記
憶手段９５に記憶されているカメラ入力系のカメラ・パ
ラメータと、モデルの３次元位置算出手段９４により求
められたモデルの任意の位置と姿勢における各構成点の
３次元的な位置とからモデルの投影位置を算出するもの
である。

【００８１】本具体例においてはモデル投影像生成部７
は、認識対象物体の３次元モデルを例えば、図１０に符
号Ｍを付して示すようなワイヤフレームモデルとして保
有する。この図１０に示した例は、認識対象物体が配電
構造物の碍子である場合に、この認識対象物体のモデル
を、正３０角形の角錐台の組合せとして近似しているこ
とを示している。

【００８２】ワイヤフレームモデルＭの位置情報は各頂
点の３次元座標として、モデルの構造パラメータ記憶手
段９３に保有される。また、ＴＶカメラ１と画像入力部
３からなるカメラ入力系のカメラ・パラメータは予め測
定し、カメラパラメータ記憶手段９５に記憶する。

【００８３】カメラ・パラメータは３次元空間中の座標
（Ｘ，Ｙ．Ｚ）から、画面上の投影位置（ｘ、ｙ）への
投影関係を表すパラメータである。例えば、以下の式
（１）、式（２）は１２個の定数｛ｐｉ｝ｉ＝１，２，
… …，１２により、投影関係を表現している。

【００８４】

【数１】

【００８５】これらのパラメータ｛ｐｉ｝ｉ＝１，２，
… …，１２を求めるには、３次元座標が既知の点を６
点以上撮影し、その投影位置を測定して、式（１）、式
（２）を線形方程式とみなし、最小自乗法によって求め
れば良い。あるいは、カメラ位置ベクトルＣ（ここで言
うカメラ位置は、カメラの焦点の位置のことを示す）、
焦点距離Ｆ、カメラの光軸方向べクトルＡ、画像中心位
置（ｘo ，ｙo ）が与えられても、以下の式からパラメ
ータ｛ｐｉ｝ｉ＝１，２，… …，１２を求めることが
できる。

【００８６】まず、カメラの光軸方向ベクトルＡから、
カメラ受光素子面のＸ方向ベクトルＵo とＹ方向ベクト
ルＶo を決める。これらは、ベクトルＵo 、ベクトル
Ａ、ベクトルＶo が右手系の直交座標系となるように定
めれば良い。このとき、パラメータは以下の式で算出さ
れる。なお、以下の式ではべクトル要素については、要
素符号上に矢印のべクトル符号を付して表わす。

【００８７】

【数２】

【００８８】ここで（・，・）はベクトルの内積を示
す。これらの１２個のパラメータから物理的なカメラの
パラメータに変換することも容易である。カメラ位置ベ
クトルＣ、焦点距離Ｆ、カメラの光軸方向ベクトルＡ、
画像中心位置（ｘo ，ｙo ）は以下の式により求めるこ
とができる。

【００８９】

【数３】

【００９０】本具体例では、以下、カメラ・パラメータ
は式（１）、式（２）の表現に基づき説明を行う。さ
て、スリットパターン抽出手段４や経線抽出手段５か
ら、認識対象の画像中の位置に関するデータがモデル投
影像生成手段７に送信されると、モデル投影像生成手段
７では、これらをモデル位置算出手段９１に与える。モ
デル位置算出手段９１はこれら認識対象の画像中の位置
に関するデータとカメラパラメータ記憶手段９５に保有
されるカメラパラメータとを用いて、モデルの３次元的
な位置と姿勢を計算する。この計算方法は後で詳しく説
明する。

【００９１】モデル位置算出手段９１により計算された
モデルの３次元的な位置と姿勢のパラメータは、モデル
の位置及び姿勢パラメータ記憶手段９２に記憶される。
モデルの３次元的な位置と姿勢のパラメータは、３次元
的な変換行列（４行４列の行列）で表現できるので、モ
デルの各構成点に対して変換行列を乗算すれば、モデル
の任意の位置と姿勢の時の各構成点（図１０の例で言え
ば、各頂点）の３次元的な位置が計算できる。この処理
はモデルの３次元位置算出手段９４によりなされる。

【００９２】このときモデル投影像は以下の手順で算出
される。まず、モデルの３次元位置算出手段９４で算出
された各構成点｛Ｐｉ｝ｉ＝１，２，…Ｎについて、式
（１）、式（２）に基づいて、各構成点の投影位置｛ｐ
ｉ｝ｉ＝１，２，…Ｎを求める。

【００９３】次に、一各構成点の投影位置の間を画像中
で直線近似することにより、各辺の投影像を求める。こ
のようにして生成された認識対象モデルの投影像（この
時点では全ての線が描かれている）から、画像上の最も
外側の線を選択し、外輪郭線を生成する。

【００９４】画像認識により碍子を識別し、その姿勢や
位置を識別し易くするために、自律型の作業ロボットに
作業をさせようとする配線設備の場合、図３の如く、碍
子の下部側外周面には予め、帯状リング型の塗色帯を形
成したものを使用することがある。すなわち、本具体例
では認識対象を図３に示したような碍子であった場合、
このような碍子の認識には塗色帯の位置の情報が重要な
役割を果たしてくれる。

【００９５】そのため、このような認識対象物体の表面
に認識に重要な役割を果たす線が存在するならば、本発
明においてはその線も外輪郭線として抽出して利用する
ようにする。図１１は、このようにして生成された認識
対象モデルの投影像を示している。本具体例では図３に
示すような碍子を認識対象としているため、碍子上部の
くびれの形状を表現するために、円周方向にも多数の線
を用いて表現した。

【００９６】しかし、認識対象物体が円柱形状に近い単
純な形状であれば、円周方向には少数の線（つまり少数
の構成点）で形状を表現できるし、最も簡単な場合には
単純な正多角柱で表現できることになる。このことは大
きな意味を持つ。すなわち、複雑な形状の物体の外輪郭
線を式（１）、式（２）の投影に従って厳密に求めるに
は、非常に多くの計算量を必要とする。しかし、このよ
うに構成点と直線近似でモデルを近似することによっ
て、少ない計算量で認識対象物体の近似輪郭投影像を生
成できるようになる。つまり、楽にしかも短時間のうち
に、認識対象物体の近似輪郭投影像を生成できる。

【００９７】また、モデル投影像生成部７では、モデル
を３次元座標の情報として保有している。そのため、モ
デルを空間的に移動させたり、回転させたりすることが
容易であり、モデルの見え方の５種の変化要素（図１２
参照）それぞれに応じた投影像を、容易に生成すること
ができる。

【００９８】例えば、画面上の傾きθに対応した回転
を、モデルに与えるためには、式（９）によって求まる
視点位置から、現在の認識対象物体の中心位置を通る３
次元ベクトルＪを求め、その軸まわりにθの回転を与え
れば良い。

【００９９】モデルの構成点の数を増やして無限大の数
に近づけて行けば、各頂点間の画面上での距離が１画素
未満になる。この場合は、画面上の当てはめに関して
は、曲線で構成された厳密なモデルの投影像と当てはめ
を行っていることに等しくなる。

【０１００】従って、モデルを構成する点の数は、多け
れば多いほど近似の精度が上がるようになるが、その反
面、処理のための計算量が増えることになり、逆に構成
点が少なければ近似の精度が下がることになるが、計算
量は減ることになる。

【０１０１】そこで、これらの条件を考慮して適正な値
を採用することとなるが、本具体例ではそれを３０角形
で近似して最適構成としている。但し、これに限られる
ものではないことを断っておく。

【０１０２】以上のように、モデル投影像生成部７は、
３次元的な位置と姿勢を持ったモデルを保有し、その投
影像を入力系のカメラ・パラメータに従って生成するた
め、もし、モデル投影像生成部７の輪郭投影像と、入力
画像の認識対象の像の輪郭線か一致するならば、認識対
象の実際の位置と姿勢は、モデル投影像生成部７のモデ
ルの位置と姿勢（モデル投影像生成部７ではモデルの位
置を３次元的に保有している）に一致する筈であり、３
次元的な測定が可能となる。

【０１０３】このような概念に基づいて、モデル投影像
生成手段７は認識対象物体のモデルの投影像を生成す
る。さて、いま例として挙げている円柱形状が投影され
た場合に、それが認識対象の円柱形状物体の投影であっ
たとして、該円柱形状物体をその軸の方向から見た時
の、カメラと認識対象との位置関係を図に示すと図１３
の如きとなる。

【０１０４】ここで、図１３の円の半径Ｒは円柱形状の
半径Ｒである。円柱形状の画像中の両側の縦線の位置Ａ
´及びＢ´が既知であれば、カメラの焦点Ｆと光軸の方
向は式（９）〜式（１２）にて求まっていることから、
中心角２θは正しく求めることができる。三角形ＡＣＦ
と三角形ＢＣＦは合同であるから、カメラから物体まで
の距離ｄは式（１３）により求めることができる。

【０１０５】

【数４】

【０１０６】以上の方法を用いることで、円柱形状の左
右の端点の幅から、認識対象物体の奥行き位置を計算で
きる。また、画像中の位置と物体の奥行き位置が既知の
ときに、物体の３次元の位置を計算する方法を以下に説
明する。

【０１０７】今、図１４に示すように、カメラ焦点位置
ベクトルＦからカメラ光軸ベクトルＡの光軸方向にｄだ
け離れた位置に、カメラ光軸べクトルＡに垂直な平面Ｑ
を仮定する。カメラ焦点位置ベクトルＦの要素をＦ＝
（Ｆｘ，Ｆｙ，ＦＺ）、カメラ光軸ベクトルＡの要素を
Ａ＝（Ａｘ，Ａｙ，Ａｚ）とすると、平面Ｑ上にある光
軸上の直線の点の位置ベクトルＨ＝（Ｈｘ，Ｈｙ，Ｈ
ｚ）は、以下の式で表わされる。 （Ｈｘ，Ｈｙ，Ｈｚ）＝（Ｆｘ＋Ａｘｄ，Ｆｙ＋Ａｙｄ，ＦＺ＋ＡＺｄ） …（１４） また、点Ｈを通り、光軸ベクトルＡに垂直な平面Ｑの方
程式は、以下の式で与えられる。

【０１０８】 （Ｘ−Ｈｘ）Ａｘ＋（Ｙ−Ｈｙ）Ａｙ＋（Ｚ−Ｈｚ）ＡＺ＝０ …（１５） 一方、面面中の認識対象物体の中心位置はＣ（ｘｃ，ｙ
ｃ）で与えられ、カメラから認識対象物体までの距離が
ｄであると仮定したとする。このとき、認識対象物体の
空間中の中心位置（Ｘ，Ｙ，Ｚ）は式（１）、式（２）
の投影の方程式を満たし、かつ、前述の平面Ｑ上に存在
するために式（１４）、式（１５）を満たす必要があ
る。よって、これらの式を組み合わせると、以下の連立
方程式が導かれる。

【０１０９】

【数５】

【０１１０】式（１６）の連立方程式を解くことによ
り、カメラから物体までの距離がｄであり、面面上の投
影位置が（ｘｃ，ｙｃ）であるための３次元位置（Ｘ，
Ｙ，Ｚ）が求められる。また、後の処理で必要になる、
モデルの“画面上の傾き”を修正する方法をここで説明
しておく。

【０１１１】［モデルの“画面上の傾き”修正法］ま
ず、モデルの投影像の画面上の傾きを算出する。これは
例えば認識対象モデルの上端面中心位置の投影位置と、
下端面中心位置の投影位置を結ぶ線の画面上の傾きを調
べれば良い。

【０１１２】次に、現在のモデルの投影像の画面上の傾
きと、変更先の面面上の傾きの差を算出する。式（１
０）で求めた光軸を回転軸として、認識対象モデルをこ
の角度だけ回転させれば、画面上の傾きが変更先の角度
に一致する。このようにして、モデルの“画面上の傾
き”修正を行うことができる。

【０１１３】さて、種々説明したが、モデル投影像生成
手段７では、画面上の位置情報をもとに、上述のように
してモデルの３次元位置を計算し、修正する機能を有す
る。以上の結果を元に、モデルの投影像の縦方向の輪郭
線の位置が、スリットパターン抽出処理（図２のステッ
プＳ２２）により抽出された十字スリットの端点位置に
合うように、モデル投影像生成手段７のモデルの位置パ
ラメータを修正する（図２のステップＳ２３）。以上で
図２のステップＳ２３での処理である端点位置当てはめ
処理が終了する。そして、この端点位置当てはめ処理が
終了すると、次に経線抽出処理（図２のステップＳ２
４）に入る。これは次のような処理である。

【０１１４】〔経線抽出処理（ステップＳ２４）〕経線
抽出処理（図２のステップＳ２４）について説明する。
図１５は経線抽出処理の処理手順を示している。本発明
において用いる「経線」とは、本具体例で認識対象とし
ている円柱形状のモデルが画面に投影された場合に現わ
れる両側の縦の輪郭線のことである。

【０１１５】この輪郭線は円柱形状の軸に平行に現われ
るので、経線を基準にした方向は、以後「軸方向」、
「軸と垂直な方向」などと記述する。さて、これまでの
処理で認識対象物体のおおまかな３次元位置が求められ
たので、認識対象物体の輪郭線がどのような位置に投影
されるかがわかる。

【０１１６】この推定位置を含むように、図５に示す如
きの経線抽出領域ａｌを設定する。この領域ａｌの大き
さは例えば、高さ２００画素、幅１００画素と言った具
合に事前に決めてしまっても良いが、認識対象モデルの
投影像の大きさに従ってその都度、設定するようにして
も良い。それには例えば、以下のようにする。モデル投
影像生成手段７が生成したモデルの経線の投影像の長さ
を基準にして、その長さ１．０倍を横幅、その長さ１．
５倍を高さとして経線の投影位置が中心になるように長
方形を設定する。

【０１１７】スリットパターンの抽出により求めた端点
位置は、上下位置に関しては認識対象のどこに対応する
のかは未知であり、認識対象は画面上で約１０度未満の
傾きがある可能性がある。

【０１１８】しかし、図５の如く、経線を含むように広
めの経線抽出領域を設定することにより、端点位置から
のずれや角度のずれがあったとしても、認識可能にする
ことができる。

【０１１９】左右の経線に対してこの領域を設定し、図
１５に示す如きの経線抽出処理を行う。まず、領域内の
各画素に対して画像処理により、軸方向（画面上の縦方
向）のエッジに指向性を持ったエッジ抽出処理を施す。
先にモデル投影像の生成をしたことから、認識対象物体
の経線の“方向”も同時に推定されている。従って、こ
こで、方向に指向性を持ったエッジの抽出処理を行なう
ことができる。この結果、領域内の各面素に縦方向のエ
ッジ強度の値が算出される（図１５のステップＳ１５
１）。

【０１２０】次にエッジ抽出を行った部分領域の上端及
び下端からそれぞれ各一点を選択し、この選択した両点
の一方を始点位置とする（図１５のステップＳ１５
２）。また、もう一方を終点位置とする（図１５のステ
ップＳ１５３）。

【０１２１】この始点位置と終点位置とを直線で結び、
その直線上の画素のエッジ強度を積算する（図１５のス
テップＳ１５４）。部分領域の上端及び下端には、その
端部位置での構成画素数分の点が存在する。従って、上
端と下端の各点について考えられる組合せ全てについて
同様な処理を行う。

【０１２２】積算値の解析のために、まず、積算に用い
た上端の画素数をＭ、下端の面素数をＮとすると、Ｍ×
Ｎの記憶領域を確保する。この記憶領域は部分領域の上
端および下端の各位置を結ぶ組み合わせそれぞれが、そ
れぞれ特定の１配列要素に該当することになるので、Ｍ
×Ｎの記憶領域のうち、それぞれの直線に対応する配列
要素の位置に、その直線上の面素のエッジ強度の値を加
算してデータを置く作業を行う（図１５のステップＳ１
５５）。

【０１２３】つまり、それぞれの直線に対応する配列要
素の位置に、その直線が通る画素のエッジ強度の値を投
票するわけである。このようにしてＭ×Ｎの記憶領域に
投票値を書き込むと、その結果、２次元配列にヒストグ
ラムが得られることになる。エッジの面素であれば、そ
の面素位置の画素はエッジ強度が大きいから、投票結果
のうち、大きい投票値を示す画素対応の直線がエッジで
ある可能性が高い。

【０１２４】そこで、このＭ×Ｎの領域内で２次元的な
局所的極大値の位置を、積算値の高い順に予め決めた個
数だけ選び、経線の候補とする（図１５のステップＳ１
５８）。そして、経線の始点位置と終点位置の逆算によ
り、その経線候補の位置を求める（図１５のステップＳ
１５９）。

【０１２５】同様な処理を像の左右両方の経線に対して
行い、両側の経線候補を求め、その位置を知る。これら
の経線候補の中からスリットパターン抽出処理で求めた
端点位置を通り、かつ、“左右の経線は平行である”と
いう事実を満足する、最も積算値の大きい経線候補を選
択することで、経線位置が決定される（図１５のステッ
プＳ１５１０）。

【０１２６】ここで本具体例で説明した線の抽出方法で
は、抽出される線はディジタル直線（方程式で直線を表
現した場合には線の位置は実数空間上に定義されるが、
ディジタル直線の場合は線の位置は画素の大きさに量子
化された位置になる）である。そして、ディジタル直線
であるがため、「スリットパターン抽出処理で求めた端
点位置を通る」線を選択するという処理は、実際には、
「抽出したディジタル直線と求めた端点位置の距離が予
め決めた面素数（例えば２画素以内などと決めておく）
より小さい線を選択する」、ということになる。

【０１２７】〔経線当てはめ処理（ステップＳ２５）〕
以上のような手統きでモデルの経線が求められると、図
２のステップＳ２３の端点位置当てはめ処理のところで
説明した方法を用いて、認識対象モデルの３次元的な位
置と姿勢を経線に当てはまるように修正する（経線当て
はめ処理；ステップＳ２５）。

【０１２８】ここまでの処理で、モデルの見え方の５種
の変化要素のうち、３つ分の変化要素が決まる。そし
て、残されたパラメータは“中心の軸方向の位置”と、
“奥行き方向の回転角”の２種となる（５種の見え方の
変化要素については、図１２の説明図を参照）。

【０１２９】〔特徴線の当てはめ処理（ステップＳ２
６）〕次に特徴線当てはめ手段６による処理である図２
のステップＳ２６での特徴線当てはめ処理に移る。図１
６は、特徴線の当てはめ処理の処理手順を示している。

【０１３０】本具体例では碍子を認識対象として説明し
ているが、碍子の場合、特徴線は塗色帯の上下にある線
である。塗色帯は碍子の胴体を周回するように塗られて
いるので、面面中では楕円形状に投影される。この特徴
線の当てはめ処理により、モデル投影像の上下の楕円状
の輪郭線を画像中のエッジ抽出結果に当てはめる処理と
照合の処理が行われる。ステップＳ２６での当てはめ
は、前ステップまでの処理で残された２種のパラメータ
を決めるための処理である。

【０１３１】つまり、残された２種のパラメータ（求ま
っていない２種のパラメータ）は、“円柱形状物体の中
心軸の方向の位置”と、“奥行き方向の回転角”であ
り、これらの２種のパラメータに応じてさまざまな種類
のモデル投影像を生成し、当てはまり検証を行うこと
で、当該２種のパラメータを決めることができる。

【０１３２】処理の具体的内容は次の通りである。認識
対象モデルは、この２種のパラメータに応じてモデル位
置と姿勢を変化させる。第１は、円柱形状物体の軸方向
の並進移動である。物体の軸方向は、端点位置当てはめ
処理の部分で説明したのと同様にして、物体中心を通り
カメラ光軸に垂直な平面Ｑ′を求め、その平面に対する
物体の一軸の投影をとることにより求められる。第２
は、奥行き方向の回転であり、この回転軸は、前述の平
面Ｑ′上にあり、物体中心を通り前記並進方向に垂直な
軸として設定される。

【０１３３】これら２種のパラメータを２次元的に変化
させて、モデル投影像と画像特徴との当てはまり検証を
行い、最適な当てはめ位置と角度を求める。パラメータ
の変化範囲と、分割数は以下のようにして設定する。パ
ラメータの変化範囲は認識対象物体の投影像が存在し得
る全ての領域である。実際には物体の存在する姿勢や位
置はある範囲で仮定できる場合が多い。例えば、極端に
上や下からカメラが物体を撮影することが無いならば、
回転角は１８０度の範囲に存在領域を限定することがで
きる。

【０１３４】また、カメラが物体を“見上げている”
か、“見下ろしている”か、“ほぼ横方向から見てい
る”かの区別ができるのならば、せいぜい９０度の範囲
に変化領域を設定すれば十分である。

【０１３５】一方、物体の軸方向の位置は画面中からは
み出した領域まで位置を変化させる必要は無く、画面の
大きさによって変化範囲を限定できる。以上のように、
これら２種のパラメータは変化範囲を限定できるもので
ある。パラメータの分割数は画像中の投影像の位置変化
が１画素未満になるように設定すれば良い。それより細
かい位置や姿勢の変化は、画像中の当てはめに関係しな
い。従って、分割数は有限個に限定することができる。

【０１３６】以上より、パラメータの変化範囲と分割数
は決まるので、それら２種のパラメータについて全ての
組み合わせでモデル投影像を生成し、当てはめ検証を行
う。当てはめ検証は次のようにする。当てはめ検証には
判断の尺度が必要となるがここでは以下のような尺度を
採用する。

【０１３７】いま、モデル投影像の外輪郭線上の画素位
置が｛Ｃｉ（ｃｉｘ，ｃｉｙ）｝ｉ＝１，２，…，Ｍで
あるとする。また、画素位置（ｃｉｘ，ｃｌｘ）のエッ
ジ強度が｛Ｅ（ｃｉｘ，ｃｉｙ）｝ｉ＝１，２，…Ｍで
あるとする。このとき、当てはめ尺度を次式で定義す
る。

【０１３８】

【数６】

【０１３９】すなわち、エッジ強度の値をそのまま積算
して、その値が高いものほど良く当てはまっていると判
断するのである。この当てはめ尺度の積算は、モデル投
影像生成手段７から送信されたモデルの外輪郭線全体の
画素に対して行っても良いが、このステップＳ２６では
本具体例の場合、楕円形状の輪郭線だけに注目している
ことから、楕円形状の輪郭線だけに対して、当てはめ尺
度の積算を行うことも可能である。

【０１４０】また、エッジ強度を積算する面素を、式
（１７）に示すように、モデル投影像の外輪郭線の画素
位置だけでなく、例えば、外輪郭線の画素位置から１画
素以内の近傍領域（つまり、当該画素の上下左右の４画
素と斜め位置の関係になる４面素、当該面素を含めて９
画素分の領域）のエッジ積算値を積算するようにしても
良い。

【０１４１】このように、近傍領域の値も積算すると、
装置が保有するモデルと実際の認識対象の大きさや、形
の僅かな違いや、画像のボケに対応できるようになる。
以上の手続きを、特徴線の当てはめ処理の処理手順であ
る図１６のフローチャートに従って説明する。まず、当
てはめ試行する２種のパラメータの範囲と分割数を決め
る。この範囲で認識対象モデルの投影像を生成した時に
画像中に特徴線（本具体例の場合は帯線）が現われる領
域を算出する。これはパラメータの最大値と最小値の組
合せでそれぞれ投影像を作り、それらの投影像が含まれ
るような大きめの領域を設定すれば良い（ステップＳ１
６１）。

【０１４２】次に、その領域内部にエッジ抽出処理を施
す。この場合のエッジ抽出は、図１５で説明した経線抽
出処理のステップＳ１５１と違って、方向指向性を持た
ないエッジ抽出処理を行なう。例えばラプラシアン・ガ
ウシアンフィルタを用いれば良い（ステップ１６２）。

【０１４３】次に、変化させる２種のパラメータのうち
の一つ“奥行き方向の回転角”（チルト角）を変化領域
内の１つの値として設定する（ステップＳ１６３）。さ
らに、もう一方のパラメータの“円柱形状物体の中心軸
の方向の位置”（軸方向の位置）を設定する（ステップ
Ｓ１６４）。

【０１４４】設定したパラメータに基づき、認識対象モ
デルの輪郭投影像を生成する（ステップＳ１６５）。式
（１７）に基づいて、特徴線上の（本実施例の場合は楕
円部の輪郭線の）エッジ強度を積算する（ステップＳ１
６６）。この当てはめ尺度を、経線抽出処理で行なった
のと同様に２次元配列に記憶する（ステップＳ１６
７）。

【０１４５】２つのパラメータの変化範囲全体の当ては
め尺度の計算が終了したら、２次元的に記憶されたエッ
ジ強度の積算値から、２次元的な局所的極大値の位置を
選択する（ステップＳ１６１０）。

【０１４６】そして、この局所的極大値のチルト角と軸
方向の位置を逆算し、これを最も良く当てはまったチル
ト角と軸方向の位置とする（ステップＳ１６１１）。以
上の手続きにより、認識対象モデルの３次元的な位置と
姿勢を求めたことになり、図２のステップＳ２６の処理
は終了する。

【０１４７】〔出力処理（ステップＳ２７）〕このよう
にして、図２のステップＳ２６の処理である特徴線の当
てはめ処理による最適な位置と姿勢の選択が終わると、
次に出力処理であるステップＳ２７の処理を行うことに
よって、最終的な認識結果を結果出力手段８が出力し、
全体の処理が終了する。

【０１４８】以上、本発明の詳細を説明したが、要する
に本発明は、認識対象を撮像する撮像手段から得られる
画像の画像特徴と、用意した前記認識対象の３次元モデ
ルの投影像を比較し、その当てはまりの程度を検証し
て、この検証結果に応じ前記モデルの位置姿勢を逐次修
正して得た投影像と前記画像特徴とを再び照合して当て
はまりの程度を検証し、最も良く当てはまる投影像を求
めてその求めた最も良く当てはまる投影像から前記認識
対象の位置と姿勢の情報を求めることにより、認識対象
物体の３次元的な位置と姿勢を認識するようにしたもの
である。

【０１４９】具体的には特定形状の認識対象物体を撮像
した画像から、スリットパターン抽出手段、経線抽出手
段、特徴線当てはめ手段などで、その認識対象物体の画
像特徴を抽出し、また、モデル投影像生成手段は、保有
している前記特定形状の認識対象物体の３次元モデルを
用いて、この３次元モデルの投影像を算出すると共に、
当てはまり判断手段の判別した当てはまり程度に基づい
て３次元モデルの３次元的な位置と姿勢を修正して前記
認識対象物体と比較照合するための投影像を得る。

【０１５０】また、抽出の困難な輪郭線に関してはスリ
ット光を照射し、そのスリットパターンの形状から、ス
リットパターンに交差する輪郭線の位置を抽出すること
で、安定かつ確実にその輪郭線の位置を抽出する。

【０１５１】前記モデル投影像生成手段は、スリットパ
ターン抽出手段の抽出結果にしたがって３次元モデルの
位置と姿勢を修正し、経線抽出手段の抽出結果にしたが
って３次元モデルの位置と姿勢を修正し、特徴線当ては
め手段に３次元モデルの各種の位置と姿勢の投影像を送
信し、最良の当てはめ程度に判別された３次元モデルの
位置と姿勢の情報を得て出力する。

【０１５２】このように、認識対象を撮像した画像情報
を得て、この画像情報から得られる画像の画像特徴を抽
出し、この抽出した画像特徴を、用意した前記認識対象
の３次元モデルの投影像と比較して、その当てはまりの
程度を検証し、前記モデルの位置と姿勢を逐次修正し
て、最も良く当てはまる投影像を求め、その求めた最も
良く当てはまる投影像から位置と姿勢を求めるようにし
て、認識対象物体の３次元的な位置と姿勢を認識するよ
うにした。

【０１５３】従って、「円柱」形状や「一般化された円
柱」形状の認識対象物体について、その位置と姿勢を画
像から測定できるようになり、自律型の作業ロボットの
実現に道が開かれる。

【０１５４】なお、本発明は上述した具体例に限定され
るものではなく、種々変形して実施し得る。また、本発
明において実施形態に記載した手法は、コンピュータに
実行させることのできるプログラムとして、磁気ディス
ク（フロッピーディスク、ハードディスクなど）、光デ
ィスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリな
どの記録媒体に格納して頒布することもできる。

【０１５５】

【発明の効果】以上説明したように、本発明によれば、
特定形状、例えば「円柱」形状や「一般化された円柱」
形状の認識対象物体に対して、何らマーカをつけること
なく、その認識対象物体の画像から物体の３次元的な位
置と姿勢を認識または測定することが可能であり、自律
ロボットの視覚の役割を担うことが可能になって、配電
設備などの作業のための自律ロボットの実現を可能にす
るなど、その実用的効果は多大である。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
一具体例の全体構成を示すブロック図。

【図２】本発明を説明するための図であって、本発明シ
ステムの動作例を示すフローチャート。

【図３】本発明システムにおける処理の移り変わりの様
子を説明するための図であって、取り込んだスリットな
し画像の状態を示す模式図。

【図４】本発明システムにおける処理の移り変わりの様
子を説明するための図であって、取り込んだスリット照
射画像の状態を示す模式図。

【図５】本発明システムにおける処理の移り変わりの様
子を説明するための図であって、経線抽出処理のために
設定する経線抽出領域を付与した状態での模式図。

【図６】本発明システムにおける処理の移り変わりの様
子を説明するための図であって、経線抽出処理により抽
出した経線を含む状態での模式図。

【図７】本発明システムにおける処理の移り変わりの様
子を説明するための図であって、最終的な当てはめ結果
の模式図。

【図８】本発明を説明するための図であって、レーザパ
ターン抽出処理の処理手順を示すフローチャート。

【図９】本発明を説明するための図であって、本発明シ
ステムにおけるモデル投影像生成手段の構成図。

【図１０】本発明を説明するための図であって、本発明
システムにおけるモデルの例を示す図。

【図１１】本発明を説明するための図であって、生成さ
れたモデル投影像の例を示す図。

【図１２】本発明を説明するための図であって、円柱モ
デルの見え方の５種類の変化要素の説明をする図。

【図１３】本発明を説明するための図であって、円柱モ
デルの奥行きを算出する方法の説明図。

【図１４】本発明を説明するための図であって、２次元
位置から３次元位置の変換に関する説明のための図。

【図１５】本発明を説明するための図であって、本発明
システムにおける経線抽出処理の手順を説明するための
図。

【図１６】本発明を説明するための図であって、本発明
システムにおける特徴線の当てはめ処理の手順を説明す
るための図。

【図１７】本発明を説明するための図であって、本発明
システムにおけるラベル密度計算の説明をするための模
式図。

【図１８】本発明を説明するための図であって、ラベル
に外接する凸の多角形を使用してラベル密度計算を行う
方法の説明図。

【符号の説明】

１…ＴＶカメラ ２…スリット光照射手段 ３…画像入力部 ４…スリットパターン抽出手段 ５…経線抽出手段 ６…特徴線当てはめ手段 ７…モデル投影像生成部 ８…結果出力手段 ９１…モデル位置算出手段 ９２…モデルの位置及び姿勢パラメータ記憶手段 ９３…モデルの構造パラメータ記憶手段 ９４…モデルの３次元位置算出手段 ９５…カメラパラメータ記憶手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡本 恭一 大阪府大阪市北区大淀中１丁目１番30号 株式会社東芝関西支社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】特定形状の認識対象物体にスリット光を照
   射するスリット光照射手段と、 前記特定形状の認識対象物体の画像を入力する画像入力
   手段と、 前記画像入力手段から得た画像から画像処理によりスリ
   ット光の投影パターンを抽出するスリットパターン抽出
   手段と、 前記画像入力手段から得た画像と、スリットパターン抽
   出手段から得た情報から、スリット光の投影パターンに
   交差する前記認識対象物体の輪郭線を抽出する経線抽出
   手段と、 前記特定形状の認識対象物体の３次元モデルを保有し、
   この３次元モデルの投影像を算出すると共に、当てはま
   り程度を示す情報に基づいて３次元モデルの３次元的位
   置・姿勢を修正することにより前記認識対象物体との比
   較照合用の投影像を得るモデル投影像生成手段と、 前記画像入力手段から得た画像から、前記認識対象物体
   の画像特徴と、前記モデル投影像生成手段により得られ
   た投影像を照合比較して当てはめの程度を判別し、前記
   認識対象モデルの位置姿勢を修正して、前記認識対象物
   体の形状から生ずる特徴線を当てはめる特徴線当てはめ
   手段と、 前記当てはめ程度の最良の３次元モデル投影像の位置・
   姿勢情報を、前記モデル投影像生成手段より得て出力す
   る結果出力手段と、を具備することを特徴とする認識対
   象物体の位置姿勢認識装置。
2. 【請求項２】円柱形状もしくは、円柱または円錐台をそ
   の軸方向に積み重ねることによってできる形状の認識対
   象物体を撮像した画像を入力する画像入力手段と、 前記特定形状の認識対象物体の軸方向に沿った方向に延
   びる輪郭線に交差するように、スリット光を照射するス
   リット光照射手段と、前記画像入力手段から得た画像か
   ら画像処理によりスリット光の投影パターンを抽出する
   スリットパターン抽出手段と、 前記画像入力手段から得た画像と、スリットパターン抽
   出手段から得た情報から、スリット光の投影パターンに
   交差する前記認識対象物体の輪郭線を抽出する経線抽出
   手段と、前記特定形状の認識対象物体の３次元モデルを
   保有し、この３次元モデルの投影像を算出すると共に、
   当てはまり程度を示す情報に基づいて３次元モデルの３
   次元的位置姿勢を修正して前記認識対象物体と比較照合
   するための投影像を得るモデル投影像生成手段と、 前記画像入力手段から得た画像から、前記認識対象物体
   の画像特徴と、前記モデル投影像生成手段により得られ
   た投影像を照合比較して当てはめの程度を判別し、前記
   認識対象モデル位置姿勢を修正して前記認識対象物体の
   形状から生ずる特徴線を当てはめる特徴線当てはめ手段
   と、 前記当てはめ程度の最良の３次元モデル投影像の位置・
   姿勢情報を、前記モデル投影像生成手段より得て出力す
   る結果出力手段と、を具備することを特徴とする認識対
   象物体の位置姿勢認識装置。
3. 【請求項３】請求項１記載の認識対象物体位置姿勢認識
   装置において、 前記スリット光照射手段は、少なくとも２本の交差する
   線で構成された形状のスリット光を照射する構成とする
   と共に、前記スリットパターン抽出手段は、スリット光
   の投影パターンに対応する画素の候補となる面素を連結
   領域として分割し、各連結領域に外接する形状の面積に
   対する、当該連結領域が包含する画素数の比が判断のた
   めの値より、小さい値を持つ連結領域の中で、外接形状
   の面積が最大の連結領域を選択することにより、スリッ
   ト光の投影パターンを抽出するようにしたことを特徴と
   する認識対象物体位置姿勢認識装置。
4. 【請求項４】請求項３記載の認識対象物体位置姿勢認識
   装置において、 前記スリットパターン抽出手段における前記連結領域に
   外接する形状は、連結領域に外接する矩形としたことを
   特徴とする認識対象物体の位置姿勢認識装置。
5. 【請求項５】スリット光を照射してなる認識対象を撮像
   した画像情報と、スリット光を照射しない前記認識対象
   の画像の情報とからスリット光の照射パターンを抽出
   し、前記認識対象の形状から生ずる特徴点または特徴線
   の、スリット光の照射パターンに交差する位置の情報を
   抽出し、その情報に基づいて用意した前記認識対象の位
   置姿勢を修正し、入力した画像情報から抽出した画像特
   徴と、前記認識対象の３次元モデルの投影像と比較して
   当てはまりの程度を検証し、前記モデルの位置姿勢を逐
   次修正して、最も良く当てはまる投影像を求め、その求
   めた最も良く当てはまる投影像から位置と姿勢を求める
   ようにすることにより、認識対象物体の３次元的な位置
   と姿勢を認識することを特徴とする認識対象物体の位置
   姿勢認識方法。