JP2000321035A

JP2000321035A - 検出装置

Info

Publication number: JP2000321035A
Application number: JP11134249A
Authority: JP
Inventors: Haruhisa Okuda; 晴久奥田; Manabu Hashimoto; 橋本　　学; Kazuhiko Washimi; 和彦鷲見
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-05-14
Filing date: 1999-05-14
Publication date: 2000-11-24
Anticipated expiration: 2019-05-14
Also published as: JP3609284B2

Abstract

(57)【要約】【課題】パターン成分の抽出にあたって特別な閾値調
整を行なう必要がなく、安定した検出性能を実現可能な
検出装置を提供する。【解決手段】計測対象物に計測光を複数段階強度で照
射する事が可能な計測光照射手段１０と、計測光を照射
された対象物像を光電変換処理する撮像手段１１と、光
電変換された対象物像１１２をＡ／Ｄ変換してデジタル
画像化するＡ／Ｄ変換手段１１３と、前記Ａ／Ｄ変換さ
れたデジタル画像１１４を複数蓄積することが可能なデ
ータ蓄積手段１１５と、パターンを有しない計測光を複
数段階強度で計測対象物に照射した複数強度全面照射画
像と計測用パターンを有する計測光を計測対象物に照射
したパターン照射画像を基に前記計測用パターンを検出
する多値化手段１１６と、前記各手段を統括的にコント
ロールする事が可能な計測コントロール手段１０９を備
える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン成分の抽
出にあたって特別な閾値調整を行なう必要のない検出装
置に関するものである。

【０００２】

【従来の技術】従来から、対象物あるいは作業環境に関
する距離分布情報や立体形状に関する情報を得る場合
に、対象物に計測用パターン光を照射して対象物の画像
（以下、「対象物画像」と呼ぶ）を処理することで、対
象物の形状特徴を抽出したり、ステレオ視の際の画像間
対応を容易にする手法がある。

【０００３】これらの手法では、いずれも計測用パター
ン光の照射された対象物画像から、計測用パターン光の
みに基づく成分（以下、「パターン成分」と呼ぶ）を精
度良く抽出することが重要である。しかし、対象物画像
を直接２値化処理した場合には、対象物自身の信号成分
（以下、「背景成分」と呼ぶ）の影響を受けて、計測用
パターン光を精度良く抽出することが困難である。ま
た、計測用パターン光が密に照射される場合には、迷光
の影響、すなわち本来計測用パターン光が照射されてい
ない部分が隣接する計測法パターン光の照射された部分
の干渉を受けるため、２値化処理により精度良くパター
ン成分を抽出することが困難であった。

【０００４】このような問題点に対して、従来から、計
測用パターン光を照射した対象物画像（以下、「パター
ン照射画像」と呼ぶ）から、計測用パターン光を照射し
ない状態での対象物画像（以下、「パターン非照射画
像」と呼ぶ）を差分処理することで、背景成分を除去し
て２値化処理する方法が広く用いられてきた。しかし、
この手法では迷光の影響の除去を行うことはできない。
また、差分後の２値化の際の閾値を合理的に決定するこ
とができないため、精度良くパターン成分の抽出を行う
ことが依然として困難であった。

【０００５】上記のような迷光の影響を低減する従来技
術を記載した文献として、特開平９−１５２３１６号公
報（以下、「文献１」と呼ぶ。）がある。この文献１に
は、パターンを有しない光束を対象物の全面に照射した
場合の対象物画像（以下、「全面照射画像」と呼ぶ）を
用いて、背景成分の除去、迷光の影響を低減できる形状
検査装置が記載されている。

【０００６】この形状検査装置は、図１２に示すよう
に、検査対象の立体物１に光切断線を照射する光源部２
２と、この光源部によって計測用パターン光が照射され
た立体物の表面を撮像する撮像部１８と、この撮像部１
８から出力された光切断線照射画像データの明度を補正
するとともに、当該明度補正した光切断線照射画像デー
タ（図示せず）と予め定められた標準モデル画像データ
（図示せず）との不一致部分を抽出する画像処理部１
２、およびその結果を表示する表示部１３を備えてい
る。

【０００７】以下、文献１に記載の形状検査装置におけ
る、パターン成分の抽出方法に関して説明する。この装
置では、まず、上記光学系によってムラのある被写体に
計測用パターン光を照射した画像（即ち、パターン照射
画像）を得る。このパターン照射物画像の１例を図１３
に示す。

【０００８】次いで、同じ光学系で計測用パターン光を
発生させるためのスリットを退避させ、全面照射画像を
得る。この全面照射画像の１例を図１４に示す。

【０００９】さらに、パターン照射画像と全面照射画像
との両画像の明るさの差の絶対値を取り、それを反転
（ＮＯＴ）させ、ある適当な閾値で二値化を行うことに
より、パターン成分を抽出することができる。それぞれ
異なる閾値を用いてパターン成分を抽出した画像（以
下、単に「パターン抽出画像」と呼ぶ。）の例を図１５
及び１６に示す。

【００１０】

【発明が解決しようとする課題】しかし、このような従
来の方法では、合理的な２値化閾値を決定することが困
難なため、閾値設定によってはパターン成分の抽出が不
完全となる。特に隣接部分からの干渉光（即ち、迷光）
の影響がある場合には閾値設定が困難となる。又、背景
画像が暗色である場合など計測用パターン光の反射成分
が弱い部分では、抽出ミスが生じる。図１５に示した例
でも、この閾値設定では暗色部について誤抽出が生じて
いる。逆に、図１６に示したように、この部分を誤抽出
しない閾値にした場合、迷光の影響を受けてしまう。

【００１１】以下に、これらパターン成分の抽出ミスの
発生理由について詳細に説明する。着目領域における、
計測用パターン光を対象物に照射した際のパターン照射
画像内で、着目領域に計測光が照射されている場合（非
マスク状態）および計測光が照射されていない場合（マ
スク状態）についての当該着目領域における画像信号Ｉ
_on、Ｉ_off、および全面照射画像の上記着目領域におけ
る画像信号Ｉ_fullを、それぞれ定式化すると以下のよう
になる。

【００１２】

【数１】

【００１３】ここで、Ｉ_a：対象物自身の画像信号強度（背景成分）Ｉ_b：計測光の画像信号強度（パターン成分）Ｉ_c0：迷光成分画像信号強度（全面照射時の迷光成分）Ｉ_c1：迷光成分画像信号強度（非マスク状態での迷光成
分）Ｉ_c2：迷光成分画像信号強度（マスク状態での迷光成
分）とする。

【００１４】次に、全面照射画像の画像信号Ｉ_fullか
ら、パターン照射画像の画像信号Ｉ_on、Ｉ_offを差分処
理すると、計測用パターン光の照射／非照射それぞれの
場合（即ち、非マスク／マスク状態それぞれ）における
演算結果Ｓ_on、Ｓ_offは以下のようになる。

【００１５】

【数２】

【００１６】なお、文献１では、この後さらに反転（Ｎ
ＯＴ）の処理を行なっている。ただし、この処理はパタ
ーン成分の抽出性能を議論する際において、原理上の違
いを与えないので、説明を簡略化するために、以下の説
明では、この処理を省略した場合について述べる。

【００１７】ここで、迷光成分の生成仮定について考察
すると、着目領域以外の領域に照射された計測用パター
ン光が対象物上で乱反射することなどにより、着目領域
内の明度成分として観測されるのが主な原因である。こ
のことから、全面照射画像中の迷光成分の方が、部分的
に計測光の非照射部分が存在するパターン照射画像中の
迷光成分よりも強いと考えられる。従って、Ｉ_c0≧
Ｉ_c1、Ｉ_c0≧Ｉ_c2となり、Ｓ_onとＳ_offを２値化して判
別する場合には、その２値化閾値Ｔ_sは少なくとも以下
の条件を満たさなければならない。

【００１８】

【数３】

【００１９】しかし、迷光成分を事前に知ることは困難
であるために、上記閾値Ｔ_sは試行錯誤的に決めざるを
得ない。さらに、事前に決定された閾値Ｔ_sを迷光成分
の差｜Ｉ_c0−Ｉ_c1｜が上回る場合には、計測用パターン
光の照射／非照射状態（即ち、非マスク／マスク状態）
の判別を誤ることとなる。

【００２０】図１５に示した例は、閾値Ｔ_sが｜Ｉ_c0−
Ｉ_c1｜を上回っているものの、Ｉ_bが弱いためにＳ_on、
Ｓ_offの大小関係自体が逆転してしまい、暗色部につい
て誤抽出が生じた事例である。また、図１６に示した例
は、閾値Ｔ_sが｜Ｉ_c0−Ｉ_c1｜を下回ったために迷光の
影響が除去できていない事例である。

【００２１】さらに、上記で述べたように、合理的な閾
値設定ができないことから、計測用パターン光の多階調
強度差を判別することは現実的に極めて困難であり、こ
の従来の手法を、多階調強度表現された計測用パターン
光のパターン成分の抽出に適用することは困難である。

【００２２】この発明は、以上のような問題点を鑑みて
なされたものであり、パターン成分の抽出にあたって特
別な閾値調整を行なう必要がなく、安定した検出性能を
実現可能な検出装置を提供することを目的とする。

【００２３】

【課題を解決するための手段】この発明に係る検出装置
は、計測用パターンを有する計測光を計測対象物に照射
することで得られる第１の画像、及び上記計測対象物の
上記第１の画像が得られる条件とは異なる条件下におい
て得られる第２の画像それぞれの画像信号を画素毎に差
分処理し、その差分結果の正負に基づいてパターン成分
を抽出する多値化手段を備えたものである。

【００２４】又、計測用パターンを有する計測光を計測
対象物に照射することで得られる第１の画像、及び上記
計測対象物の上記第１の画像が得られる条件とは異なる
条件下において得られる第２の画像それぞれの画素値を
画素毎に大小比較して、その比較結果に基づいてパター
ン成分を抽出する多値化手段を備えたものである。

【００２５】又、第２の画像が、計測用パターンを有し
ない計測光を複数段階強度で計測対象物に照射すること
で得られる該計測対象物の画像である、ことを特徴とす
るものである。

【００２６】又、第２の画像が、計測用パターンを有し
ない計測光を任意強度で計測対象物に照射することで得
られる任意強度全面照射画像と、計測光を上記計測対象
物に照射しない状態で得られる非照射画像とを任意の割
合で加重平均することで生成される画像である、ことを
特徴とするものである。

【００２７】又、第２の画像が、計測用パターンを有し
ない計測光を任意強度で計測対象物に照射し任意の露光
時間撮像することで得られる可変露光全面照射画像と、
計測光を上記計測対象物に照射しない状態で任意の露光
時間撮像することで得られる可変露光非照射画像とを任
意の割合で加算することで生成される画像である、こと
を特徴とするものである。

【００２８】又、任意強度全面照射画像中で強度飽和し
ている領域においては、上記任意強度全面照射画像に代
えて、該任意強度全面照射画像を得るための任意強度よ
りも弱い強度でパターンを有しない計測光を計測対象物
に照射することで得られる弱強度全面照射画像を用い
る、ことを特徴とするものである。

【００２９】

【発明の実施の形態】実施の形態１．図１は、本実施の
形態における計測光の照射手段および撮像手段の構成を
模式的に示した図である。図１において、計測光照射手
段１０は、光源１０ａとその出力調整を行う出力調整手
段１０ｂと光マスク１０ｃによって構成され、光源１０
ａで発生した光は、部分的に多段階強度での透過が可能
な光マスク１０ｃを経由して計測対象物４０上に、計測
用パターン光５０を照射する。この計測用パターン光５
０は、１次元的に広がったスリット上の離散的なパター
ンであってもよいし、２次元的な広がりを持つ面パター
ン、あるいはランダムドット光のような離散的なパター
ンであってもよい。また、光源自体が計測用パターンを
発生可能な点光源列を用いた場合には光マスク１０ｃは
なくてもよい。

【００３０】この計測用パターン光５０と計測対象物自
身の光像は撮像手段１１において、レンズ系１１ａを介
して、複数個の光電変換素子１１ｂにて撮像される。こ
の光電変換素子１１ｂは、計測用パターン光５０に応じ
て、ＴＶカメラのような二次元走査の可能な撮像装置で
もよいし、ＣＣＤやフォトダイオードを用いて一次元走
査するものであってもよい。

【００３１】このように構成したとき、出力調整手段１
０ｂで出力調整され、光マスク１０ｃで部分的にマスク
された計測用パターン光５０が照射された対象物像が光
電変換素子１１ｂに撮像される。この光マスク１０ｃは
機械的なものでも実現できるが、多段階強度でマスク可
能な液晶シャッターを用いて構成する方がより適してい
る。

【００３２】図２は、本実施の形態における検出処理系
１０８、計測光照射手段１０及び計測コントロール手段
１０９の関係を示したブロック図である。以下では、説
明の簡単化のために計測用パターン光が照射／非照射の
二段階照射であって、後述する多値化手段１１６におい
て２値化処理を行う場合について述べるが、多値化への
拡張は容易である。

【００３３】まず、計測光照射手段１０から出力調整手
段１０ｂによって出力調整された計測光は対象物に照射
される。その対象物像は、撮像手段１１によって撮像さ
れ、その映像信号１１２は、Ａ／Ｄ変換手段１１３によ
って、アナログ−デジタル変換され、この変換された対
象物画像の画像信号１１４は、例えばメモリによって構
成されるデータ蓄積手段１１５においてデジタルデータ
として蓄積される。

【００３４】次に、データ蓄積手段１１５に蓄積された
パターン照射画像（第１の画像）と、パターンを有しな
い計測光を前記パターン照射時の１／２強度で照射した
対象物画像（以降、「１／２強度全面照射画像（第２の
画像）」と呼ぶ）とを、多値化手段１１６において演算
処理する。

【００３５】多値化手段１１６での演算処理は例えば、
図１２に示したようなパターン照射画像から、図３に示
すような１／２強度全面照射画像を各画素について差分
処理し、処理後の値が正符号の場合は計測用パターン光
照射部分、０以下の場合は計測用パターン光非照射部分
と判定して、２値化処理を行うことで高精度な判定が可
能である。このようにして求められたパターン抽出画像
を図４に示す。あるいはパターン照射画像と１／２強度
全面照射画像の画素値を大小比較し、パターン照射画像
の画素値が大きい場合には計測用パターン光照射部分、
それ以外の場合は計測用パターン光非照射部分と判定し
ても良い。

【００３６】この多値化手段１１６での演算処理により
求められたパターン成分の抽出結果に基づき、対象物の
検出を行う。又、以上の一連の処理は、計測コントロー
ル手段１０９によって統括的にコントロールされる。こ
の計測コントロール手段１０９はパーソナルコンピュー
ターあるいは組込み型マイコンを用いて実現が可能であ
る。

【００３７】以下に、図５を用いて、本実施の形態にお
けるパターン成分の抽出方法について説明する。ここ
で、図５は本実施の形態におけるパターン成分の抽出方
法を示すフローチャートである。まず、計測光照射手段
１０から計測用パターン光を対象物に照射して、撮像手
段１１により撮像することで、パターン照射画像を得
る。次に、出力調整手段１０にて計測用パターン光を１
／２強度に調整する。この１／２強度のパターンを有し
ない計測光を対象物に照射し、撮像することで、１／２
強度全面照射画像を得る。そして、多値化手段１１６で
の１／２強度全面照射画像を用いた演算処理により、パ
ターン照射画像からパターン成分を抽出する。

【００３８】なお、以上では計測用パターン光が二段階
照射である場合について述べたが、パターン光が多段階
強度照射されたものである場合には、対応する複数強度
全面照射画像を予め取得しておくことで本手法を適用可
能である。

【００３９】次に、本実施の形態の効果を原理的に説明
するために、信号処理方式について説明する。まず、計
測用パターン光を対象物に照射した際のパターン照射画
像内で、着目領域に計測光が照射されている場合（非マ
スク状態）および計測光が照射されていない場合（マス
ク状態）についての当該着目領域における画像信号
Ｉ _on、Ｉ_off、および１／２強度全面照射画像の上記着
目領域における画像信号Ｉ_h _alfを、それぞれ定式化する
と以下のようになる。

【００４０】

【数４】

【００４１】ここで、Ｉ_a：対象物自身の画像信号強度（背景成分）Ｉ_b：計測光の画像信号強度（パターン成分）Ｉ_cm：迷光成分画像信号強度（１／２強度全面照射時の
迷光成分）Ｉ_c1：迷光成分画像信号強度（非マスク状態での迷光成
分）Ｉ_c2：迷光成分画像信号強度（マスク状態での迷光成
分）とする。

【００４２】ここで、パターン照射画像から１／２強度
全面照射画像を差分処理すると、計測光の照射、非照射
状態（即ち、非マスク状態、マスク状態）それぞれにお
ける演算結果Ｓ_on、Ｓ_offは以下のようになる。

【００４３】

【数５】

【００４４】ここで、迷光成分の生成仮定について考察
すると、着目領域以外に照射された計測光が対象物上で
乱反射することなどにより、着目領域内の明度成分とし
て観測されるのが主な原因である。従って、迷光成分の
画像信号強度も計測光の照射出力にほぼ比例すると考え
られる。

【００４５】ただし、計測光を全面照射した場合の方
が、部分的に計測光の非照射部分が存在する計測用パタ
ーン照射画像中の迷光成分よりも多くの迷光成分の影響
を受けていることを考えると、比例成分の他に補正値ｄ
Ｉ_cm1、ｄＩ_cm2（≧０）が必要となる。以上の議論より
以下の関係が導かれる。

【００４６】

【数６】

【００４７】したがって、上記演算結果Ｓ_on、Ｓ
_offは、

【００４８】

【数７】

【００４９】となり、迷光が存在しても演算結果Ｓ_on、
Ｓ_offの符号判定のみで、合理的にパターンの照射／非
照射状態（即ち、非マスク／マスク状態）を判別でき、
そのため、計測用パターン光照射部分と計測用パターン
光照射部分とを精度良く検出でき、特別な判定閾値を設
定しなくてもパターン成分の抽出が可能となることがわ
かる。

【００５０】なお、ここで迷光および補正値の生成仮定
から考えて以下の関係が成立するとした。

【００５１】

【数８】

【００５２】以上のように、本実施の形態においては、
背景成分の除去と計測用パターン光の迷光の影響をなく
すため、パターンを有しない計測光を複数段階強度で計
測対象物に照射した複数強度全面照射画像を基に、多段
階強度照射された計測用パターンを検出する。

【００５３】例えば、計測光照射／非照射の２段階強度
でパターン光照射されている場合、パターン照射画像か
ら１／２強度で照射した１／２強度全面照射画像を差分
処理した後、正の部分を計測光照射部分、負の部分を計
測光非照射部分と判定することで、背景成分の除去と計
測用パターン光の迷光の影響をなくした高精度なパター
ン成分の抽出が可能である。このようにして抽出された
パターン成分を用ることで、高精度な対象物の検出が可
能となる。

【００５４】また、計測光の多段階強度の中間値を判定
基準値とするという合理的な理由により閾値設定の困難
さを伴わず、常に安定した性能を実現できる。さらに、
複数強度全面照射画像を同時に用いることで、多段階強
度の計測用パターン光を用いた場合においても、パター
ン成分抽出が極めて容易かつ合理的に行える。

【００５５】また、Ｎ段階の強度判別に必要な複数強度
全面照射画像数も（Ｎ−１）枚で済み、特に強度段階が
少ない複数の計測用パターン光を連続して検出する場合
には高精度な検出処理を高速に行なえる。なお、以上の
各手順は計測コントロール手段１０９により統括的にコ
ントロールされて機能する。なお、ここで、対象物は立
体形状をなすものでなくても、平面形状であって反射率
が該平面上の位置により異なる物であってもかまわな
い。

【００５６】実施の形態２．図６は、本実施の形態にお
ける検出処理系２０８、計測光照射手段１０及び計測コ
ントロール手段２０９の関係を示したブロック図であ
る。以下では、実施の形態１と同様に計測用パターン光
が二段階照射であり、後述の多値化手段２１６において
２値化処理を行う場合について述べる。

【００５７】まず、実施の形態１と同様の手順で撮像さ
れた対象物像は、撮像手段１１で対象物画像２１２とし
て入力され、データ蓄積手段２１５にデジタルデータと
して蓄積される。ここで、データ蓄積手段２１５には、
パターンを有しない計測光を任意強度で計測対象物に照
射した任意強度全面照射画像と、計測用パターン光を計
測対象物に照射しないパターン非照射画像と、計測用パ
ターン光を計測対象物に照射したパターン照射画像（第
１の画像）とを蓄積しておく。なお、この任意強度は本
実施の形態では処理の簡便さから、通常は、計測用パタ
ーン光の計測光照射部分の強度と同じ強度にしている
が、必ずしも限定されない。

【００５８】次に、任意強度全面照射画像とパターン非
照射画像を加重平均化手段２１７にて加重平均すること
により、前記任意強度と異なる複数強度で全面照射され
た対象物画像（以下、「参照画像（第２の画像）」と呼
ぶ）２１８を内部生成する。本実施の形態では２値化処
理する場合について述べているので、この加重平均処理
は均等な平均化処理となり、１／２強度全面照射画像に
相当する画像（以下、「１／２強度参照画像」と呼
ぶ。）２１８が得られることとなる。

【００５９】この１／２強度参照画像２１８は参照画像
蓄積手段２１９に蓄積される。そして、多値化手段２１
６にて、計測用パターンが照射されたパターン照射画像
と１／２強度参照画像２１８とを演算処理することによ
り二値表現されたパターン成分の抽出を高精度に行うこ
とができる。

【００６０】多値化手段２１６での演算処理は例えば、
パターン照射画像から１／２強度参照画像を各画素につ
いて差分処理し、処理後の値が正符号の場合はパターン
光照射部分、０以下の場合はパターン光非照射部分と判
定して２値化処理を行う。あるいはパターン照射画像と
１／２強度参照画像の画素値を大小比較し、パターン照
射画像の画素値が大きい場合にはパターン光照射部分、
それ以外の場合はパターン光非照射部分と判定する。

【００６１】この多値化手段２１６での演算処理により
求められたパターン成分の抽出結果に基づき、対象物の
検出を行う。以上の処理は、計測コントロール手段２０
９によって統括的にコントロールされる。この計測コン
トロール手段２０９はパーソナルコンピューターあるい
は組込み型マイコンを用いて実現が可能である。

【００６２】以下に、図７を用いて、本実施の形態にお
けるパターン成分の抽出方法について説明する。ここ
で、図７は本実施の形態におけるパターン成分の抽出方
法を示すフローチャートである。まず、計測光照射手段
１０から計測用パターン光を対象物に照射して、撮像手
段１１により撮像することで、パターン照射画像を得
る。次に、計測光を照射しない状態で撮像し、パターン
非照射画像を得る。次に、パターンを有しない計測光を
任意強度で対象物に照射し、撮像することで、任意強度
全面照射画像を得る。そして、これら任意強度全面照射
画像とパターン非照射画像を、加重平均化手段２１７に
おいて加重平均処理することで、１／２強度参照画像を
生成する。そして、多値化手段２１６での１／２強度参
照画像を用いた演算処理により、パターン照射画像から
パターン成分を抽出する。

【００６３】なお、以上では計測用パターン光が二段階
照射である場合について述べたが、加重平均化手段にお
いて内挿で加重平均を取った場合には、前記任意強度よ
りも弱い強度に相当する参照画像が生成され、外挿で加
重平均を取った場合には、前記任意強度よりも強い強度
に相当する参照画像が生成されることとなる。パターン
光が多段階強度照射されたものである場合には、これら
の複数強度参照画像を用いることで本手法を適用可能で
ある。

【００６４】次に、本実施の形態の効果を原理的に説明
するために、信号処理方式について説明する。まず、計
測用パターン光を対象物に照射した際のパターン照射画
像内で、着目領域に計測光が照射されている場合（非マ
スク状態）および計測光が照射されていない場合（マス
ク状態）についての当該着目領域における画像信号
Ｉ _on、Ｉ_off、および任意強度全面照射画像と非照射画
像から生成された１／２強度参照画像の上記着目領域に
おける画像信号Ｉ_refを、それぞれ定式化すると以下の
ようになる。

【００６５】

【数９】

【００６６】ここで、Ｉ_a：対象物自身の画像信号強度（背景成分）Ｉ_b：計測光の画像信号強度（パターン成分）Ｉ_c0：迷光成分画像信号強度（全面照射時）Ｉ_c1：迷光成分画像信号強度（非マスク状態での迷光成
分）Ｉ_c2：迷光成分画像信号強度（マスク状態での迷光成
分）とする。

【００６７】ここで、パターン照射画像から１／２強度
参照画像を差分処理すると、計測光の照射、非照射状態
（即ち、非マスク状態、マスク状態）それぞれにおける
演算結果Ｓ_on、Ｓ_offは以下のようになる。

【００６８】

【数１０】

【００６９】となり、迷光が存在しても演算結果の符号
判定のみで、合理的にパターンの照射／非照射状態（即
ち、非マスク／マスク状態）を判別でき、そのため、計
測用パターン光照射部分と計測用パターン光照射部分と
を精度良く検出でき、特別な判定閾値を設定しなくても
パターン成分の抽出が可能となることがわかる。

【００７０】なお、ここで、Ｉ_c2、Ｉ_c0は同一部分への
迷光成分であるが、計測光を全面照射した場合の迷光成
分Ｉ_c0の方が、部分的に計測光の非照射部分が存在する
パターン照射画面中の迷光成分Ｉ_c2よりも多く迷光の影
響を受けていることを考え、Ｉ_c2≦Ｉ_c0が成立するとし
た。又、さらに、迷光の生成過程から考えて、Ｉ_b＞Ｉ
_c0、Ｉ_b＞Ｉ_c2も成立するとした。

【００７１】以上のように、本実施の形態においては、
任意強度全面照射画像と非照射画像とを任意の割合で加
重平均することにより、複数強度全面照射画像に相当す
る複数強度参照画像を内部生成する。多段階強度のパタ
ーンの検出を行う際には、これらの複数強度参照画像と
の明度差の正負符号を判定することで極めて容易かつ合
理的に検出を行える。また、背景成分の除去と計測用パ
ターン光の迷光の影響をなくした高精度な計測用パター
ンの検出が可能である。

【００７２】また、２枚の画像取得のみで複数強度参照
画像を内部生成することができるため、高精度な検出処
理を計測用パターン光の強度段階数に依存せずに高速に
行なえる。さらに、複数の閾値を調整することなく合理
的な検出が可能であり、常に安定した性能を実現でき
る。

【００７３】又、このようにして抽出されたパターン成
分を用ることで、高精度な対象物の検出が可能となる。
なお、以上の各手順は計測コントロール手段により統括
的にコントロールされて機能する。なお、ここで、対象
物は立体形状をなすものでなくても、平面形状であって
反射率が該平面上の位置により異なる物であってもかま
わない。

【００７４】実施の形態３．図８は、本実施の形態にお
ける検出処理系３０８、計測光照射手段１０及び計測コ
ントロール手段３０９の関係を示したブロック図であ
る。以下では、実施の形態１と同様に計測用パターン光
が二段階照射であり、後述の多値化手段３１６において
２値化処理を行う場合について述べる。尚、本実施の形
態においては、実施の形態１と異なり、撮像手段１１に
露光時間を任意に調整可能な露光時間可変調整手段１１
ｃを備えている。

【００７５】まず、実施の形態１と同様の手順で計測光
が照射された対象物像は、露光時間可変調整手段１１ｃ
により任意の露光時間をもって撮像手段１１から入力さ
れる。ここで、任意の露光時間は、本実施の形態では、
処理の簡便さから計測用パターン光照射時に用いる標準
露光時間の１／２の露光時間にしているが、必ずしも限
定しない。以下、この映像信号３１２は、実施の形態１
と同様の手順でＡ／Ｄ変換手段３１３を経由して、デー
タ蓄積手段３１５にデジタルデータとして蓄積される。
ここで、データ蓄積手段３１５にはパターンを有しない
計測光を照射した計測対象物像を標準露光時間の１／２
の露光時間をもって撮像した画像（以下、「１／２露光
全面照射画像」と呼ぶ。）と、計測光を照射しない計測
対象物像を通常の１／２の露光時間をもって撮像した画
像（以下、「１／２露光非照射画像」と呼ぶ。）と、計
測用パターン光を照射した計測対象物画像を標準露光時
間で撮像したパターン照射画像（第１の画像）と、を蓄
積しておく。

【００７６】次に、加算手段３１７にて１／２露光全面
照射画像と１／２露光非照射画像とを１：１の割合で加
算処理することにより、パターンを有しない計測光を１
／２強度で計測対象物に照射した画像に相当する１／２
強度参照画像（第２の画像）３１８を内部生成する。こ
の１／２強度参照画像３１８は参照画像蓄積手段３１９
に蓄積される。そして、多値化手段３１６にて、計測用
パターン光が照射されたパターン照射画像と１／２強度
参照画像３１８とを演算処理することにより二値表現さ
れたパターン成分の検出を高精度に行うことができる。

【００７７】多値化手段３１６での演算処理は、例え
ば、パターン照射画像から１／２強度参照画像を各画素
について差分処理し、処理後の値が正符号の場合はパタ
ーン光照射部分、０以下の場合はパターン光非照射部分
と判定して２値化処理を行う。あるいはパターン照射画
像と１／２強度参照画像の画素値を大小比較し、パター
ン照射画像の画素値が大きい場合にはパターン光照射部
分、それ以外の場合はパターン光非照射部分と判定す
る。

【００７８】この多値化手段３１６での演算処理により
求められたパターン成分の抽出結果に基づき、対象物の
検出を行う。以上の処理は、計測コントロール手段３０
９によって統括的にコントロールされる。この計測コン
トロール手段３０９はパーソナルコンピューターあるい
は組込み型マイコンを用いて実現が可能である。

【００７９】以下に、図９を用いて、本実施の形態にお
けるパターン成分の抽出方法について説明する。ここ
で、図９は本実施の形態におけるパターン成分の抽出方
法を示すフローチャートである。まず、計測光照射手段
１０から計測用パターン光を対象物に照射して、撮像手
段１１により標準露光時間で撮像することで、パターン
照射画像を得る。次に、計測光を照射しない状態で１／
２露光時間で撮像し、１／２露光非照射画像を得る。次
に、パターンを有しない計測光を対象物に照射し、１／
２露光時間で撮像することで、１／２露光全面照射画像
を得る。そして、これら１／２露光全面照射画像と１／
２露光非照射画像を、加算手段３１７において加算処理
することで、１／２強度参照画像を生成する。そして、
多値化手段３１６での１／２強度参照画像を用いた演算
処理により、パターン照射画像からパターン成分を抽出
する。

【００８０】なお、以上では計測用パターン光が二段階
照射である場合について述べたが、ここで任意の係数を
掛けて加算処理することにより、内挿、外挿処理による
任意強度全面照射画像に相当する複数強度参照画像を生
成することが可能である。パターン光が多段階強度照射
されたものである場合には、これらの複数強度参照画像
を用いることで本手法を適用可能である。

【００８１】次に、本実施の形態の効果を原理的に説明
するために、信号処理方式について説明する。まず、計
測用パターン光を対象物に照射した際のパターン照射画
像内で、着目領域に計測光が照射されている場合（非マ
スク状態）および計測光が照射されていない場合（マス
ク状態）についての当該着目領域における画像信号
Ｉ _on、Ｉ_off、および１／２露光全面照射画像と１／２
露光非照射画像を加算して生成された１／２強度参照画
像の上記着目領域における画像信号Ｉ_expを、それぞれ
定式化すると以下のようになる。

【００８２】

【数１１】

【００８３】ここで、Ｉ_a：対象物自身の画像信号強度（背景成分）Ｉ_b：計測光の画像信号強度（パターン成分）Ｉ_c0：迷光成分画像信号強度（全面照射時）Ｉ_c1：迷光成分画像信号強度（非マスク状態での迷光成
分）Ｉ_c2：迷光成分画像信号強度（マスク状態での迷光成
分）とする。

【００８４】ここで、パターン照射画像から１／２露光
参照画像を差分処理すると、計測光の照射／非照射状態
（即ち、非マスク状態、マスク状態）それぞれにおける
演算結果Ｓ_on、Ｓ_offは以下のようになる。

【００８５】

【数１２】

【００８６】となり、迷光が存在しても演算結果の符号
判定のみで、合理的にパターンの照射／非照射状態（即
ち、非マスク／マスク状態）を判別でき、そのため、計
測用パターン光照射部分と計測用パターン光照射部分と
を精度良く検出でき、特別な判定閾値を設定しなくても
パターン成分の抽出が可能となることがわかる。

【００８７】なお、ここで、Ｉ_c2、Ｉ_c0は同一部分への
迷光成分であるが、計測光を全面照射した場合の迷光成
分Ｉ_c0の方が、部分的に計測光の非照射部分が存在する
パターン照射画面中の迷光成分Ｉ_c2よりも多く迷光の影
響を受けていることを考え、Ｉ_c2≦Ｉ_c0が成立するとし
た。又、さらに、迷光の生成過程から考えて、Ｉ_b＞Ｉ
_c0、Ｉ_b＞Ｉ_c2も成立するとした。

【００８８】以上のように、本実施の形態においては、
可変露光全面照射画像と可変露光非照射画像を任意の割
合で加算することにより、複数強度全面照射画像に相当
する複数強度参照画像を内部生成する。多段階強度のパ
ターン検出を行う際には、これらの複数強度参照画像と
の明度差の正負符号を判定することで極めて容易かつ合
理的にパターン成分の抽出を行える。

【００８９】また、背景成分の除去と計測用パターン光
の迷光の影響をなくした高精度な計測用パターン検出が
可能である。また、２枚の画像取得のみで複数強度参照
画像を内部生成することができるため、高精度な検出処
理を計測用パターン光の強度段階数に依存せずに高速に
行なえる。さらに、複数の閾値を調整することなく合理
的な検出が可能であり、常に安定した性能を実現でき
る。

【００９０】又、このようにして抽出されたパターン成
分を用ることで、高精度な対象物の検出が可能となる。
尚、以上の各手順は計測コントロール手段により統括的
にコントロールされて機能する。なお、ここで、対象物
は立体形状をなすものでなくても、平面形状であって反
射率が該平面上の位置により異なる物であってもかまわ
ない。

【００９１】実施の形態４．図１０は、本実施の形態に
おける検出処理系４０８、計測光照射手段１０及び計測
コントロール手段４０９の関係を示したブロック図であ
る。以下では、実施の形態１と同様に計測用パターン光
が二段階照射であり、後述の多値化手段４１６において
２値化処理を行う場合について述べる。

【００９２】本実施の形態は実施の形態２のパターン成
分の抽出方法において、任意強度全面照射画像中に強度
飽和領域が存在する場合に実施の形態１の手法を一部適
用するものである。そのため、データ蓄積手段４１５に
パターン照射画像、任意強度全面照射画像、非照射画像
をデジタルデータとして蓄積するまでの処理は実施の形
態２に準じる。

【００９３】また、加重平均化手段４１７を介して１／
２強度参照画像４１８を参照画像蓄積手段４１９に蓄積
するまでの処理も実施の形態２に準じるが、その処理に
おいて飽和領域検出手段４２０が任意強度全面照射画像
中で強度飽和している領域を検出した場合は、その領域
について１／２強度全面照射画像データ使用命令を発生
し、任意強度全面照射画像の代わりに１／２強度全面照
射画像データを用いて１／２強度参照画像とする。

【００９４】なお、ここでは１／２強度全面照射画像を
加重平均化手段４１７で処理を加えずにそのまま飽和領
域として用いる構成としたが、飽和領域が発生しない強
度の任意強度全面照射画像を基に加重平均化手段４１７
を用いて、１／２強度参照画像を生成する構成としても
よい。あるいは、飽和領域が存在する場合には、全領域
について飽和領域が発生しない強度の任意全面照射画像
を基に加重平均化手段４１７を用いて、１／２強度参照
画像を生成する構成としてもよい。

【００９５】次に、多値化手段４１６では、実施の形態
２と同様に、１／２強度参照画像４１８を用いた演算処
理により２値表現された計測用パターンの検出を高精度
に行うことができる。

【００９６】この多値化手段４１６での演算処理により
求められたパターン成分の抽出結果に基づき、対象物の
検出を行う。以上の処理は、計測コントロール手段４０
９によって統括的にコントロールされる。この計測コン
トロール手段４０９はパーソナルコンピューターあるい
は組込み型マイコンを用いて実現が可能である。

【００９７】以下に、図１１を用いて、本実施の形態に
おけるパターン成分の抽出方法について説明する。ここ
で、図１１は本実施の形態におけるパターン成分の抽出
方法を示すフローチャートである。まず、計測光照射手
段１０から計測用パターン光を対象物に照射して、撮像
手段１１により撮像することでパターン照射画像を得
る。次に、計測光を照射しない状態で撮像し、パターン
非照射画像を得る。次に、パターンを有しない計測光を
任意強度で対象物に照射し、撮像することで任意強度全
面照射画像を得る。次に、この任意強度全面照射画像中
の強度飽和領域を飽和領域検出手段４２０において検出
する。この検出結果に基づいて、強度飽和していない領
域（非検出領域）では、上記任意強度全面照射画像とパ
ターン非照射画像を、加重平均化手段４１７において加
重平均処理することで、１／２強度参照画像を生成す
る。一方、強度飽和している領域（検出領域）では、パ
ターンを有しない計測光を１／２強度で対象物に照射
し、撮像することで１／２強度参照画像を得る。そし
て、多値化手段４１６での１／２強度参照画像を用いた
演算処理により、パターン照射画像からパターン成分を
抽出する。

【００９８】なお、本実施の形態では２段階表現された
計測用パターン光を２値化処理して検出する事例につい
て述べたが、実施の形態２と同様に少ない画像枚数で任
意強度全面照射画像に相当する複数強度参照画像を生成
することが可能である。また、強度飽和領域においても
正しい参照画像生成が可能となる。パターン光が多段階
強度照射されたものである場合には、これらの複数強度
参照画像を用いることで本手法を適用可能である。

【００９９】本実施の形態の効果は原理的に実施の形態
１と実施の形態２で述べた数式によって証明され、迷光
が存在しても演算結果の符号判定のみで、合理的にパタ
ーンの照射／非照射状態（即ち、非マスク／マスク状
態）を判別でき、そのため、計測用パターン光照射部分
と計測用パターン光照射部分とを精度良く検出でき、特
別な判定閾値を設定しなくてもパターン成分の抽出が可
能となることがわかる。

【０１００】以上のように、本実施の形態においては、
任意強度全面照射画像中において強度飽和している領域
を検出し、弱強度全面照射画像を任意強度面照射画像の
代替画像として用いることにより、複数強度参照画像を
生成する。このことにより、任意強度全面照射画像中に
飽和領域が存在してもその影響を受けない複数強度参照
画像を生成することが可能となる。多段階強度のパター
ン検出を行う際には、これらの複数強度参照画像との明
度差の正負符号を判定することで極めて容易かつ合理的
に検出を行える。

【０１０１】また、背景成分の除去と計測用パターン光
の迷光の影響をなくした高精度な計測用パターン検出が
可能である。さらに、３枚の画像取得のみで複数強度参
照画像を内部生成することができるため、高精度な検出
処理を計測用パターン光の強度段階数に依存せずに高速
に行なえる。さらに、複数の閾値を調整することなく合
理的な検出が可能であり、常に安定した性能を実現でき
る。

【０１０２】又、このようにして抽出されたパターン成
分を用ることで、高精度な対象物の検出が可能となる。
なお、以上の各手順は計測コントロール手段により統括
的にコントロールされて機能する。なお、ここで、対象
物は立体形状をなすものでなくても、平面形状であって
反射率が該平面上の位置により異なる物であってもかま
わない。

【０１０３】

【発明の効果】この発明に係る検出装置は、計測用パタ
ーンを有する計測光を計測対象物に照射することで得ら
れる第１の画像、及び上記計測対象物の上記第１の画像
が得られる条件とは異なる条件下において得られる第２
の画像それぞれの画像信号を画素毎に差分処理し、その
差分結果の正負に基づいてパターン成分を抽出する多値
化手段を備えたので、パターン成分の抽出にあたって特
別な閾値調整を行なう必要がないため、安定した検出性
能を実現できる。

【０１０４】又、計測用パターンを有する計測光を計測
対象物に照射することで得られる第１の画像、及び上記
計測対象物の上記第１の画像が得られる条件とは異なる
条件下において得られる第２の画像それぞれの画素値を
画素毎に大小比較して、その比較結果に基づいてパター
ン成分を抽出する多値化手段を備えたので、パターン成
分の抽出にあたって特別な閾値調整を行なう必要がない
ため、安定した検出性能を実現できる。

【０１０５】又、第２の画像が、計測用パターンを有し
ない計測光を複数段階強度で計測対象物に照射すること
で得られる該計測対象物の画像である、ことを特徴とす
るので、背景成分の除去と計測用パターン光の迷光の影
響をなくした高精度なパターン成分の抽出が可能であ
る。

【０１０６】又、第２の画像が、計測用パターンを有し
ない計測光を任意強度で計測対象物に照射することで得
られる任意強度全面照射画像と、計測光を上記計測対象
物に照射しない状態で得られる非照射画像とを任意の割
合で加重平均することで生成される画像である、ことを
特徴とするので、任意強度全面照射画像と非照射画像の
２枚の画像取得のみで、第１の画像を内部生成すること
ができるため、高精度な検出処理を計測用パターン光の
強度段階数に依存せずに高速に行なえる。

【０１０７】又、第２の画像が、計測用パターンを有し
ない計測光を任意強度で計測対象物に照射し任意の露光
時間撮像することで得られる可変露光全面照射画像と、
計測光を上記計測対象物に照射しない状態で任意の露光
時間撮像することで得られる可変露光非照射画像とを任
意の割合で加算することで生成される画像である、こと
を特徴とするので、可変露光全面照射画像と可変露光非
照射画像の２枚の画像取得のみで、第１の画像を内部生
成することができるため、高精度な検出処理を計測用パ
ターン光の強度段階数に依存せずに高速に行なえる。

【０１０８】又、任意強度全面照射画像中で強度飽和し
ている領域においては、上記任意強度全面照射画像に代
えて、該任意強度全面照射画像を得るための任意強度よ
りも弱い強度でパターンを有しない計測光を計測対象物
に照射することで得られる弱強度全面照射画像を用い
る、ことを特徴とするので、任意強度全面照射画像中に
飽和領域が存在しても、その影響を受けずに第１の画像
を生成することが可能となる。加えて、弱強度全面照射
画像、任意強度全面照射画像及び非照射画像の３枚の画
像取得のみで、第１の画像を内部生成することができる
ため、高精度な検出処理を計測用パターン光の強度段階
数に依存せずに高速に行なえる。

【図面の簡単な説明】

【図１】実施の形態１における照射撮像系の構成図で
ある。

【図２】実施の形態１における検出処理系、計測光照
射手段及び計測コントロール手段の関係を示すブロック
図である。

【図３】１／２強度全面照射画像の例である。

【図４】実施の形態１によるパターン抽出画像の例で
ある。

【図５】実施の形態１によるパターン成分の抽出方法
を示すフローチャートである。

【図６】実施の形態２における検出処理系、計測光照
射手段及び計測コントロール手段の関係を示すブロック
である。

【図７】実施の形態２によるパターン成分の抽出方法
を示すフローチャートである。

【図８】実施の形態３における検出処理系、計測光照
射手段及び計測コントロール手段の関係を示すブロック
である。

【図９】実施の形態３によるパターン成分の抽出方法
を示すフローチャートである。

【図１０】実施の形態４における検出処理系、計測光
照射手段及び計測コントロール手段の関係を示すブロッ
クである。

【図１１】実施の形態４によるパターン成分の抽出方
法を示すフローチャートである。

【図１２】従来の形状検出装置の構成図である。

【図１３】パターン照射画像の例である。

【図１４】全面照射画像の例である。

【図１５】従来技術によるパターン抽出画像の例であ
る。

【図１６】従来技術によるパターン抽出画像の例であ
る。

【符号の説明】

１立体物、１０計測光照射手段、１０ａ光
源、１０ｂ出力調整手段、１０ｃ光マスク、１
１撮像手段、１１ａレンズ系、１１ｂ光電変換
素子、１１ｃ露光時間可変調整手段、１２画像処
理部、１３表示部、１８撮像部、２２光源
部、４０計測対象物、５０計測パターン光、１０
８、２０８、３０８、４０８検出処理系、１０９、２
０９、３０９、４０９計測コントロール手段、１１
３、２１３、３１３、４１３Ａ／Ｄ変換手段、１１
５、２１５、３１５、４１５データ蓄積手段、１１
６、２１６、３１６、４１６多値化手段、２１７、４
１７加重平均化手段、２１９、３１９、４１９参照
画像蓄積手段、３１７加算手段、４２０飽和領域
検出手段。

───────────────────────────────────────────────────── フロントページの続き (72)発明者鷲見和彦東京都千代田区丸の内二丁目２番３号三菱電機株式会社内Ｆターム(参考） 2F065 AA51 BB01 BB05 DD06 DD12 EE04 FF04 FF42 HH06 HH07 LL41 NN02 NN12 QQ00 QQ03 QQ04 QQ13 QQ23 QQ24 QQ25 QQ27 QQ42 5B047 AA07 DB01 DC07

Claims

【特許請求の範囲】

【請求項１】計測用パターンを有する計測光を計測対
象物に照射することで得られる第１の画像、及び上記計
測対象物の上記第１の画像が得られる条件とは異なる条
件下において得られる第２の画像それぞれの画像信号を
画素毎に差分処理し、その差分結果の正負に基づいてパ
ターン成分を抽出する多値化手段を備えた検出装置。
【請求項２】計測用パターンを有する計測光を計測対
象物に照射することで得られる第１の画像、及び上記計
測対象物の上記第１の画像が得られる条件とは異なる条
件下において得られる第２の画像それぞれの画素値を画
素毎に大小比較して、その比較結果に基づいてパターン
成分を抽出する多値化手段を備えた検出装置。
【請求項３】第２の画像は、計測用パターンを有しな
い計測光を複数段階強度で計測対象物に照射することで
得られる該計測対象物の画像である、ことを特徴とする
請求項１又は２に記載の検出装置。
【請求項４】第２の画像は、計測用パターンを有しな
い計測光を任意強度で計測対象物に照射することで得ら
れる任意強度全面照射画像と、計測光を上記計測対象物
に照射しない状態で得られる非照射画像とを任意の割合
で加重平均することで生成される画像である、ことを特
徴とする請求項１又は２に記載の検出装置。
【請求項５】第２の画像は、計測用パターンを有しな
い計測光を任意強度で計測対象物に照射し任意の露光時
間撮像することで得られる可変露光全面照射画像と、計
測光を上記計測対象物に照射しない状態で任意の露光時
間撮像することで得られる可変露光非照射画像とを任意
の割合で加算することで生成される画像である、ことを
特徴とする請求項１又は２に記載の検出装置。
【請求項６】任意強度全面照射画像中で強度飽和して
いる領域においては、上記任意強度全面照射画像に代え
て、該任意強度全面照射画像を得るための任意強度より
も弱い強度でパターンを有しない計測光を計測対象物に
照射することで得られる弱強度全面照射画像を用いる、
ことを特徴とする請求項４記載の検出装置。