JP2007206797A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】照明を詳細に調整する必要なしに、検出対象物を簡単かつ精度良く検出できるようにする。
【解決手段】カメラ１の周囲４方向に設けられた光源２１〜２４を順に点灯させるとともに、点灯の都度カメラ１を駆動して、ワークＷの画像を４枚生成する。さらに、これらの画像間で座標が同一になる画素の組毎に、その組に属する各画素の明るさと、あらかじめ求めた各光源に対応する照明方向ベクトルとを用いて、法線ベクトルを算出する。さらに、画素毎の法線ベクトルを、空間座標系に対する当該ベクトルの関係を示す一次元情報に変換し、その算出結果を表す画像を生成した後、所定の特徴抽出処理を実行する。
【選択図】図１

Description

この発明は、所定の対象物に対して計測や検査などの処理を行う場合に、その前段階の処理として実行される画像処理に関連する。

対象物の表面状態を２次元の画像処理により認識する場合には、照明の調整が必要になる場合が多い。たとえば対象物の表面の凹部を検出する場合には、凹部がその他の部分よりも暗くなるような照明を施す必要がある。また表面に凹凸のある対象物について、その表面に印刷された文字や図柄などを検出する場合には、表面全体が均一な明るさになるように、照明の方向や種類を選定する必要がある。

一方、物体の立体形状を認識する方法として、照度差ステレオ法と呼ばれる方法が提案されている。この方法は、認識対象の対象物に対し、照明の方向を変化させる一方でカメラを固定配置し、生成された複数枚の画像の明るさを用いて対象物の表面に対する法線ベクトルや反射率を算出するものである。

ここで照度差ステレオ法の原理を簡単に説明する。
認識対象の対象物の表面が完全な拡散面であると仮定すると、所定位置に置かれた光源により対象物を照明した場合に対象物の表面で観測される明るさは、前記表面の法線と照明光の入射角度との関係によって変化する（ランバートの法則）。具体的に言うと、照明光の入射の方向をベクトルＬ^＊（以下、照明方向ベクトルＬ^＊という。）により表し、対象物の傾斜状態を法線ベクトルｎ^＊により表し、対象物の反射率をＲ、光源から対象物の表面までの距離をＤとすると、前記照明光による対象物の表面の明るさＩは、下記の（１）式により表される。

Ｉ＝（Ｒ／Ｄ^２）・Ｌ^＊・ｎ^＊ ・・・（１）

ここで、照明方向ベクトルＬ^＊を（ＬＸ，ＬＹ，ＬＺ）、法線ベクトルを（ｎＸ，ｎＹ，ｎＺ）とすると、（１）式を、下記の（２）式のように変形することができる。
Ｉ・Ｄ^２ ＝Ｒ・（ｎＸ・ＬＸ＋ｎＹ・ＬＹ＋ｎＺ・ＬＺ） ・・・（２）

上記において、照明方向ベクトルＬ^＊の各成分や距離Ｄは、光源と対象物との位置関係から求めることが可能である。また反射率Ｒは一定の値をとる。よって、対象物に対し複数の方向にそれぞれ光源を設置し、各光源を順に点灯させながら点灯毎に撮像を行い、生成された各画像を用いて、特定位置における明るさＩを光源毎に計測すると、光源毎のベクトルの内積Ｌ^＊・ｎ^＊は、Ｉ・Ｄ^２と同じ比率をもって変化すると考えられる。また、法線ベクトルｎ^＊を特定するには、３つの成分ｎＸ，ｎＹ，ｎＺ間の比率が判明すれば良い。
よって、少なくとも３個の光源を設置して、これらの光源毎に上記の撮像処理および計測処理を実施して明るさＩを求めれば、法線ベクトルｎ^＊の各成分ｎＸ，ｎＹ，ｎＺを求めることができる。さらに、算出されたｎＸ，ｎＹ，ｎＺの値を（１）式にあてめることにより、反射率Ｒを求めることができる。

下記の文献には、上記の照度差ステレオ法の原理が詳細に説明されている。
L.Hashemi, A.Azizi, M.Rezaeian ; "The reference modeling in shape from shading"; Dept. of Geomatics Engineering, University of Tehran, Tehran, Iran; [online]; [平成１７年１１月１日検索] 、インターネット＜URL:http://www.isprs.org/istanbul2004/comm5/papers/637.pdf＞

前記した従来の２次元画像処理では、検出精度を確保するために、照明条件を適切に設定する必要がある。しかし、このような設定には知識や経験が必要であるため、初心者が照明条件を設定するのは困難である。また、知識や経験を有するものであっても、照明条件を適切に設定するには試行錯誤の作業が必要になり、多大な労力を要するという問題がある。

一方、照度差ステレオ法によれば、照明条件を厳密に調整しなくとも、対象物の表面形状を表す３次元データを得ることができるが、３次元の計測処理を行う必要があるため、アルゴリズムが複雑になる。このため、処理が遅延する可能性が生じ、それを防止するには、ハードウェアの高性能化が必要になる。また、従来の２次元画像処理のために開発されたアルゴリズムを使用できないため、新たなソフトウェアを開発する必要があり、その面でもコストが高騰するおそれがある。

この発明は上記の問題点に着目してなされたもので、照明を詳細に調整する必要なしに、検出対象物を簡単かつ精度良く検出できるようにすることを目的とする。
また、この発明では、従来の２次元画像処理におけるアルゴリズムをそのまま適用できるようにすることにより、新たなソフトウェアを開発したり、ハードウェアを高性能化する必要をなくし、コストを抑えられるようにすることを目的とする。

この発明の第１の画像処理方法は、対象物を一定の方向から撮像する処理を、前記対象物に対する照明の方向を変更しながら少なくとも３回実行し、毎時の撮像により得られた複数の画像を用いて前記対象物の表面に対する法線ベクトルを求めた後、この法線ベクトルの取得結果を用いて所定の処理を実行する場合に、下記の第１、第２、第３のステップを実行することを特徴とする。

第１のステップでは、前記複数の画像間で対応関係にある画素の組毎に、それぞれの画素の明るさを用いて前記法線ベクトルを求める処理と、前記対象物を含む空間に対する前記法線ベクトルの関係を表す一次元情報を求める処理とを実行する。第２ステップでは、第１ステップで画素毎に求めた一次元情報を各画素の座標に対応づけた画像データを生成する。第３ステップでは、前記第２ステップで生成された画像データに対し所定の特徴抽出処理を実行する。

上記第１ステップの法線ベクトルを求める処理では、たとえば、それぞれ異なる照明方向からの照明により生成された３枚の画像を用いて、これらの画像間で同一の座標にある画素どおしを組み合わせ、これらの組毎に、その組に属する各画素の明るさを前出の（１）式に基づく連立方程式にあてはめて、法線ベクトルｎ^＊の各成分ｎＸ，ｎＹ，ｎＺを算出する。ただし、この演算に使用される画像は３枚に限定されるものではなく、４枚以上の画像を用いてもよい。

一次元情報としては、たとえば、空間内の任意の方向に法線ベクトルを投影したときの投影パターンの長さや、前記任意の方向に対して法線ベクトルがなす角度を求めることができる。
なお、ステップ１では、すべての画素の組について、法線ベクトルを求める処理を実行した後に、一次元情報を求める処理を実行してもよいが、これに限らず、数画素おきに各処理を実行してもよい。また法線ベクトルを求める処理と一次元情報を求める処理とを、組単位で連続して実行してもよい。

第２ステップでは、たとえば、一次元情報が示す数値をそれぞれの画素の濃度とする濃淡画像データを生成する。第３ステップでは、たとえば、２値化処理、エッジ抽出処理、パターンマッチング処理、濃度データの投影処理（各画素の濃度を所定の方向に沿って加算することにより、濃度分布を表すヒストグラムを生成する処理）などを実行する。

上記の画像処理方法によれば、画素毎に法線ベクトルの特徴を反映した一次元情報が求められ、その情報による画像データが生成されるので、第３ステップでは、従来の２次元画像処理の手法を用いた特徴抽出処理を行うことが可能になる。また毎時の撮像時の照明の方向や光源の位置が既知であれば、法線ベクトルを求めることは可能であるから、照明の条件を詳細に設定する必要もない。

上記画像処理方法の一態様では、一次元情報として、前記空間内の任意の方向（以下、「基準方向」という。）に法線ベクトルを投影したときの投影パターンの長さを求める。たとえば、この基準方向を向く単位ベクトルと前記法線ベクトルとの内積を求め、その値を前記一次元情報とすることができる。また、空間座標系を構成する３軸（Ｘ軸、Ｙ軸、Ｚ軸とする。）のいずれかを基準方向とする場合には、その方向に対応する法線ベクトルの成分（ｎＸ，ｎＹ，ｎＺのいずれか）を、一次元情報としてもよい。

上記の態様の一次元情報は、基準方向に対する法線ベクトルの類似度を示すものと考えられる。言い換えれば、前記基準方向を法線方向とする面（以下、「基準の面」という。）に対し、対象物の表面がどれだけ傾いているかを示すものと考えられる。
したがって、たとえば、ある傾斜角度を有する面を検出対象とする場合には、その傾斜面の法線の方向を前記基準方向として各法線ベクトルの投影パターンの長さを求め、その長さが所定のしきい値を上回る画素の集合体を検出してもよい。

上記画像処理方法の他の態様では、一次元情報として、前記空間内の任意のベクトルに対して法線ベクトルがなす角度を求める。
たとえば、空間座標系のＹＺ平面（Ｚ軸を高さ方向の軸とする。）のＹ軸に沿うベクトルに対して法線ベクトルがなす角度を求めた場合、求められた角度情報が０度に近くなるほど、対象物の表面は垂直面に近づくことになる。よって、この角度情報によって、対象物の傾斜状態を認識することができる。

また、空間座標系の水平面（ＸＹ平面）のＸ軸に沿うベクトルに対して法線ベクトルがなす角度を求めることによって、法線ベクトルを上方から見た場合の当該ベクトルの向き、言い換えればＸＹ平面に投影された法線ベクトルが示す方位を表すことができる。よって、対象物の表面が傾斜している場合に、その傾斜面の勾配の方向を認識することができる。

なお、上記の態様において、たとえば基準の面に対する傾きが所定の角度範囲にある部位を検出する場合には、画素毎に基準のベクトルに対する法線ベクトルの角度を求め、その角度が所定の角度範囲にある画素の集合体を検出すればよい。

上記第１の画像処理方法の他の態様では、第２ステップで生成された画像データに基づく画像を表示するステップを実行する。このようにすれば、法線ベクトルが表す対象物の表面状態を視覚を通じて認識することができる。

さらに上記の態様を適用する場合には、第１ステップにおいて、前記一次元情報を複数種求めるとともに、前記第２ステップにおいて、各一次元情報毎に画像データを生成し、画像を表示するステップにおいて、前記一次元情報毎の画像データをそれぞれ異なる成分に反映した画像を表示してもよい。

たとえば、一次元情報として、Ｘ，Ｙ，Ｚの各軸を基準方向として、それぞれの方向に対する法線ベクトルの投影パターンの長さｎＸ，ｎＹ，ｎＺを求める場合には、これらｎＸ，ｎＹ，ｎＺをそれぞれＲ，Ｇ，Ｂの色成分に置き換えたカラー画像を表示することができる。また２つの方向を基準方向として、それぞれの方向に対する法線ベクトルの角度を求める場合にも、各角度を、Ｒ，Ｇ，Ｂのうちの２成分に置き換えた画像を表示することができる。

さらに、前記のＲ，Ｇ，Ｂに代えて、各一次元情報を彩度、明度、色相の値に反映させた画像を表示してもよい。また１枚の画像を表示するものに限らず、たとえば、１つの画面上に、各一次元情報を個別に反映させた複数の濃淡画像を表示してもよい。

つぎに、この発明にかかる第２の画像処理方法は、対象物を一定の方向から撮像する処理を、前記対象物に対する照明の方向を変更しながら少なくとも３回実行し、毎時の撮像により得られた複数の画像を用いて前記対象物の表面の反射率を求めた後、この反射率の取得結果を用いて所定の処理を実行する場合に、以下の第１〜第３のステップを実行する。

第１ステップでは、前記複数の画像間で対応関係にある画素の組毎に、それぞれの画素の明るさを用いて前記対象物の反射率を求める処理を実行する。第２ステップでは、第１ステップで画素毎に求めた反射率を各画素の座標に対応づけた画像データを生成する。第３ステップでは、前記第２ステップで生成された画像データに対し所定の特徴抽出処理を実行する。

上記において、第１ステップでは、たとえば、対応する画素の組毎に、前記第１の画像処理方法の第１ステップと同様の方法で法線ベクトルを求めた後、その算出結果を所定の光源に対応する前記（１）式にあてはめて、反射率Ｒを求める。第２ステップでは、たとえば、前記反射率Ｒを反映した濃淡画像データを生成する。第３ステップでは、たとえば、２値化、エッジ抽出、パターンマッチングなどの処理によって、前記濃淡画像データから反射率が所定の範囲内にある領域を抽出する。

上記第２の画像処理方法によれば、照明を詳細に調整しなくとも、対象物の表面の反射率を反映した画像データを生成することができる。よって、たとえば、周囲に対し、色彩は同色であるが、反射率が異なる領域を検出する場合でも、照明を詳細に調整する必要なしに、検出対象の領域を精度良く検出することができる。

なお、この第２の画像処理方法においても、第１の画像処理方法と同様に、第２ステップで生成された画像データに基づく画像を表示するようにしてもよい。

さらに、前記第１、第２の画像処理方法に共通する態様では、前記第３ステップで抽出された特徴について、所定の計測処理を実行する第４ステップ、および前記計測処理の結果に基づき対象物の表面状態の適否を判別する第５ステップを、さらに実行する。
この態様によれば、対象物の表面上の所定の部位を検査する場合に、前記法線ベクトルまたは反射率を反映した一次元情報から検査対象部位を示す特徴を抽出した上で、計測処理および判別処理を実行するので、精度の良い検査を実行することができる。

つぎに、この発明にかかる画像処理装置は、前記第１の画像処理方法を実行するためのもので、所定の対象物を一定の方向から撮像するための撮像手段；前記対象物をそれぞれ異なる方向から照明するための少なくとも３個の照明手段；前記照明手段を１つずつ順に点灯させながら、毎時の点灯タイミングに応じて前記撮像手段を駆動することにより、複数の画像を生成する画像生成手段；前記複数の画像間で対応関係にある画素毎に、それぞれの画素の明るさを用いて前記対象物の表面に対する法線ベクトルを求める処理と、前記対象物を含む空間に対する前記法線ベクトルの関係を表す一次元情報を求める処理とを実行する演算手段；前記演算手段により求められた一次元情報を各画素の座標に対応づけた画像データを生成する画像データ生成手段；前記画像データ生成手段により生成された画像データに対し所定の特徴抽出処理を実行する特徴抽出手段；の各手段を具備する。

上記において、撮像手段および照明手段を除く各手段は、たとえば、プログラムが格納されたコンピュータにより構成される。ただし、これに限らず、たとえば、一部の手段を専用の回路により構成してもよい。また、コンピュータを使用する場合には、複数のコンピュータの組み合わせにより各手段が構成されるようにしてもよい。

上記画像処理装置の一態様では、前記撮像手段には、前記照明手段の数と同数の撮像素子が同一の視野を撮像可能な関係をもって配置される。たとえば、ハーフミラーやプリズムなどの分光手段によりカメラレンズの光軸を複数の軸に分け、各軸毎に撮像素子を配置するとよい。また、画像データ生成手段は、前記照明手段の点灯タイミングに応じて各撮像素子を１つずつ駆動して撮像を行わせるとともに、最後の撮像素子による撮像が終了した後に各撮像素子から同時に画像信号を出力させる。

上記の態様によれば、照明手段が点灯する毎に、いずれか１つの撮像素子を駆動して撮像処理を行わせるが、画像信号の出力は、最後の撮像素子における撮像が終了するまで保留される。よって、移動する物体を測定対象とする場合でも、その測定対象物をごく短い時間静止させて、測定に必要な画像を生成する。また毎時の撮像タイミングにおける位置ずれが撮像素子の分解能の範囲に収まるならば、測定対象物を移動させながら撮像を行うこともできる。

さらに、上記画像処理装置の別の態様では、前記特徴抽出手段により抽出された特徴に対し、所定の計測処理を実行する計測手段と、前記計測処理の結果に基づき前記対象物の表面状態の適否を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とが、設けられる。すなわち、この態様による画像処理装置は、所定の対象物の表面状態を検査する検査装置として機能すると考えられる。

この発明によれば、対象物の表面の法線ベクトルまたは反射率を求めた後に、その算出結果を反映した一次元情報を求め、この一次元情報による画像データを生成し、２次元画像処理の手法を用いて特徴を抽出するので、照明条件を詳細に調整しなくとも、検出対象部位を精度良く抽出することが可能になる。また、従来の２次元画像処理と同様のアルゴリズムを適用できるので、処理対象のデータ容量を抑えられる上、２次元画像処理で使用したソフトウェア資源を活用することができ、装置の製作にかかるコストを大幅に削減することができる。

（Ａ）撮像部の構成および基本原理
図１は、この発明にかかる画像処理装置に用いられる撮像部の構成例を示す。
この実施例の撮像部は、画像生成用のカメラ１と４個の光源２１，２２，２３，２４とを一体にした構成のものである。カメラ１の本体部は直方体状であって、光軸を鉛直方向を向けた状態で配備される。光源２１〜２４は、カメラ１の各側面に、それぞれ所定長さのアーム部２０を介して取り付けられる。また各光源２１〜２４は、いずれも前記カメラ１の撮像対象領域を照明できるように、光軸を斜め下方に向けて取り付けられる。さらに各アーム部２０の長さや傾斜角度を均一にすることによって、各光源２１〜２４のワークＷの支持面やカメラ１の光軸に対する距離が同一になるように設定されている。

図１の例では、球体状のワークＷを測定対象として、このワークＷの真上にカメラ１を配置している。各光源２１〜２４は、後記するコントローラ３からのトリガ信号に応じて順に１つずつ点灯する。カメラ１は、各光源２１〜２４が点灯する都度作動して、前記ワークＷを撮像する。

図２は、前記撮像部１により生成された前記ワークＷの４枚の濃淡画像（以下、単に「画像」という。）を示す。図中、Ｇ１は前記光源２１が点灯している状態下で生成された画像であり、Ｇ２は光源２２が点灯している状態下で生成された画像であり、Ｇ３は光源２３が点灯している状態下で生成された画像であり、Ｇ４は光源２４が点灯している状態下で生成された画像である。いずれの画像にも、点灯した光源による照明状態を反映した明暗分布が現れている。なお、いずれの画像Ｇ１〜Ｇ４にも、鏡面反射光の入射によって明るさに飽和が生じた領域ｈｒが含まれている。

この実施例の画像処理装置では、ワークＷを静止させた状態で前記４回の撮像を行うことによって、ワークＷ上の各点が各画像Ｇ１〜Ｇ４の同一座標に反映されるようにしている。そして、画像Ｇ１〜Ｇ４間において、座標が同一の画素どおしを組み合わせ、各組毎に、その組に属する各画素の明るさ（階調）や光源の位置から割り出される照明方向ベクトルを用いて、前記画素の組に対応するワークＷ上の一点における法線ベクトルを算出する。

さらに、この実施例では、算出した法線ベクトルを一次元情報に変換して、この変換後の情報を前記画素の組の座標に対応づけた画像を生成する（以下、この画像を「法線ベクトル画像」という。）。そしてこの法線ベクトル画像を処理することによって、前記ワークＷ上の所定のパターンを検出したり、欠陥の有無を判別する処理などを行うようにしている。

図３（１）（２）は、ワークＷ上の所定の点Ｃにおける法線ベクトルｎ^＊を求めるのに必要なパラメータを示している。なお、図３（１）では、前記球体状のワークＷの一部分を示している。

この例では、カメラ１の光軸にＺ軸を合わせ、光源２１，２３がＸ軸上に、光源２２，２４がＹ軸上に、それぞれ位置するような空間座標系を設定している。またカメラ１と各光源２１〜２４との間の距離をｋ、前記点Ｃを基準にした光源の高さをｈとしている。なお、ｋは前記アーム２０の長さから求めることができ、ｈは、ワークＷの支持面とカメラ１との距離を用いて求めることができる。

上記において、点Ｃにおける法線ベクトルをｎ^＊、各光源２１〜２４の照明方向ベクトルをＬｍ^＊（ｍ＝１〜４）、各光源２１〜２４から点Ｃまでの距離をＤｍ、各画像Ｇ１〜Ｇ４における点Ｃの明るさをＩｍ、ワークＷの反射率をＲとすると、ベクトルＬｍ^＊，ｎ^＊の内積を下記の（３）式で表すことができる。なお、この（３）式は、先の（１）（２）式と実質的に同一のものである。
Ｌｍ^＊・ｎ^＊＝（Ｉｍ・Ｄｍ^２）／Ｒ ・・・（３）

ここで、画像の２次元座標系を規定するｘ軸、ｙ軸は、それぞれ空間座標系のＸ軸、Ｙ軸に対応すると考えられるから、画像上の点Ｃの座標を（ｘ，ｙ）とすると、この点Ｃに対する光源２１〜２４の照明方向ベクトルＬｍ^＊は、以下の（ａ）〜（ｄ）のようになる。
Ｌ１^＊＝（ｋ・ｘ，ｙ，ｈ） ・・・（ａ）
Ｌ２^＊＝（ｘ，ｋ・ｙ，ｈ） ・・・（ｂ）
Ｌ３^＊＝（−ｋ・ｘ，ｙ，ｈ） ・・・（ｃ）
Ｌ４^＊＝（ｘ，−ｋ・ｙ，ｈ） ・・・（ｄ）

また距離Ｄｍは、照明方向ベクトルＬｍの長さに相当するから、上記のベクトル成分から求めることができる。また、明るさＩｍは、各画像Ｇ１〜Ｇ４から求めることができる。

なお、前記点ＣのＺ座標はその点Ｃの位置によって異なるから、高さｈは、厳密には一定値にならない。しかし、カメラ１の視野におけるワークＷの変位の幅が所定の許容値内であれば、たとえば、ワークＷ上の複数の点について、それぞれ光源２１〜２４との距離を求め、これらの距離の平均値などを前記ｈの値として固定してもよい。よって、（３）式のうち、Ｌｍ^＊，Ｄｍ，Ｉｍは既知となる。

上記（３）式によれば、各光源間における内積ｎ^＊・Ｌｍ^＊の比率は、Ｉｍ・Ｄｍ^２の比率と同一になると考えられる。また（３）式では、法線ベクトルｎ^＊のほか、反射率Ｒも未知数であるが、ベクトルｎ^＊を特定するには、このベクトルの各成分ｎＸ，ｎＹ，ｎＺ間の比率が明らかになれば良い。よって、少なくとも３個の光源に対応する画像から点Ｃの明るさＩｍを抽出すれば、法線ベクトルｎ^＊の各成分ｎＸ，ｎＹ，ｎＺを求めることが可能になる。

ただし、実際のワークＷの表面は完全拡散面にはならず、その表面からの反射光に鏡面反射光が含まれているため、前記図２に示したように、前記鏡面反射光により明るさが飽和した領域ｈｒを含む画像が生成される可能性がある。
そこでこの実施例では、４枚の画像Ｇ１〜Ｇ４からそれぞれ前記点Ｃの明るさＩ１，Ｉ２，Ｉ３，Ｉ４を抽出した後、これらＩ１〜Ｉ４の示す数値を小さいものから順に３個の明るさを抽出して法線ベクトルｎ^＊を求めるようにしている。

（Ｂ）法線ベクトル画像の具体例
以下、法線ベクトルから求められる一次元情報の種類、およびこれらの一次元情報による法線ベクトル画像の例や、法線ベクトル画像を用いた計測例について、説明する。

イ． 第１実施例
この実施例では、図４に示すように、前記法線ベクトルｎ^＊の３つの成分ｎＸ，ｎＹ，ｎＸのうちの１つを一次元情報とする。
この一次元情報は、Ｘ，Ｙ，Ｚのいずれかの軸に沿うワークの表面の傾きを抽出する上で有用な情報となる。

たとえば円筒状のワークＷ１に対し、図５に示すように、ワークＷ１の幅方向に沿う方向にＸ軸を、長さ方向に沿う方向にＹ軸を、高さ方向に沿う方向にＺ軸を、それぞれ設定した場合には、法線ベクトルｎ^＊のＸ軸の成分ｎＸを一次元情報に設定することにより、ワークＷ１の表面の傾斜角度の変化を反映した画像を得ることができる。

図６は、前記図５の設定例において、Ｘ軸方向の成分ｎＸにより生成された画像を示す。なお、この実施例でも、カメラ１や光源２１〜２２を、前記図３に示したのと同様の位置関係をもって配置することにより、画像のｘｙ座標系のｘ軸を空間座標系のＸ軸に対応させ、ｙ軸を空間座標系のＹ軸の方向に対応させている（以下の実施例でも、この設定は同様である。）。また表示される画像は８ビット構成、すなわち０〜２５５の階調で表され、０階調のときに最も明るい状態になるものとする。

この実施例では、あらかじめ、前記ワークＷ１のモデルを用いるなどして、Ｘ軸成分ｎＸの最大値を求めておき、その最大値が２５５階調になり、最小値（Ｘ軸の負方向に現れた成分を反映したもの）が０階調となるように、各ｎＸの値に対応する階調を調整している。この結果、左から右に向かう方向（ｘ軸の正方向）に沿ってしだいに暗くなるような画像が生成される。このような画像が生成されるのは、前記円筒状のワークＷ１における法線ベクトルは、ワークＷ１の支持面からみて最も高い部分においてほぼ垂直になり、この部分から遠ざかるにつれて、Ｘ軸の正方向または負方向に倒れていくためである。

このように、ワークの表面の傾きがＸ軸方向に沿って変化する場合には、法線ベクトルｎ^＊のＸ軸成分ｎＸを一次元情報として取り出して、画像化することにより、前記傾きの変化の状態を明瞭に表すことが可能になる。また、ワークが変形しているような場合には、画像のｘ軸方向に沿う濃度変化が通常とは異なるものになるため、変形の有無を精度良く判別することができる。

同様の趣旨から、ワークの表面の傾きの変化の方向に応じてｎＸ，ｎＹ，ｎＺのいずれかを一次元情報として選択し、その傾きの変化の状態を精度良く反映した画像を生成することが可能になる。また、前記した球体状のワークのように、傾きの変化が複数の方向に生じる場合には、２以上の成分（球体状ワークの場合であれば、ｎＸおよびｎＹ）を一次元情報とすることができる。この場合、それぞれの成分毎に濃淡画像を生成してもよいが、ｎＸを赤色成分Ｒに、ｎＹが青色成分Ｂに、それぞれ置き換えたカラー画像を生成してもよい。または、ｎＸを明度に、ｎＹを彩度に、それぞれ反映させた画像を生成してもよい。また、このようなカラーの法線ベクトル画像を表示してもよい。

ロ． 第２実施例
この実施例では、図７に示すように、空間座標系の任意のベクトルＡ^＊が示す方向を基準方向として、その基準方向に法線ベクトルｎ^＊を投影したときに得られる投影パターンの長さＵを、一次元情報とする。

上記の一次元情報Ｕは、たとえば、ワークＷの表面の中から、ＸＹ平面に対する傾きが所定の角度範囲にある領域を検出する処理に用いることができる。たとえば、基準の傾きを持つ平面の法線方向を前記ベクトルＡ^＊として、画素毎に前記一次元情報Ｕを求め、このＵの値が所定のしきい値を上回る画素の集合を、目的の領域として検出することができる。
なお、一次元情報Ｕを求めるには、前記ベクトルＡ^＊を単位ベクトルとして、この単位ベクトルと前記法線ベクトルｎ^＊との内積を求めればよい。

ハ． 第３実施例
図８は、一次元情報として法線ベクトルｎ^＊にかかる角度情報を求める例を示す。この例では、ＸＺ平面に対する法線ベクトルｎ^＊の角度θ、およびＸＹ平面に対する法線ベクトルｎ^＊の角度φを求めている。なお、角度θは、前記法線ベクトルｎ^＊をＸＹ平面に投影したときの投影パターンのＸ軸に対する角度として、角度φは、前記法線ベクトルｎ^＊をＹＺ平面に投影したときの投影パターンのＹ軸に対する角度として、それぞれ求められる。

角度θは、法線ベクトルｎ^＊を上方から見た場合の当該ベクトルの向き、言い換えればＸＹ平面に投影された法線ベクトルｎ^＊の方位を表すと考えられる。一方の角度φは、水平面（ＸＹ平面）に対する法線ベクトルｎ^＊の開き度合いを表すと考えられる。

上記の角度情報を一次元情報とする場合にも、ワークや検出対象部位の形状などに応じて、角度θ，φのいずれかを選択するのが望ましい。
たとえば図９に示すように、平板状のワークＷ２の表面に浮き彫り加工された文字列を検出する場合には、角度θを選択することによって、文字の特徴を反映した法線ベクトル画像を生成することが可能になる。なお、図９の例では、ワークＷ２の横幅方向（文字列の並び方向に対応する。）にＸ軸を、縦幅方向にＹ軸を、高さ方向にＺ軸を、それぞれ設定している。また、図中のＲは、検出対象の文字列を含む領域である。

図１０は、前記ワークＷ２に記された一文字（数字の２）に対する法線ベクトルを、上方から見た例を示す。この文字は、点線で示した中央部分が峰となって各端縁の方に向けて傾斜するので、図中の矢印で示す方向に法線ベクトルが現れると考えられる。

図１１は、前記図９の領域Ｒについて、前記法線ベクトルから抽出した角度θにより生成された画像を示す。
この実施例では、前記θが０°のときの階調が０となり、θの絶対値が大きくなるほど階調が大きくなるように調整することにより、各文字の前記峰の部分が明るく、峰から端縁の方に向かうほど暗くなるようにしている。また文字列の背景部分では、法線ベクトルが垂直方向を向くため、θ＝０となり、明るい状態で表される。

一方、図１２に示すように、表面に凹部ｃｐのある平板状のワークＷ３を対象にして、凹部を検出する場合には、前記角度φを選択することにより、前記凹部ｃｐの位置や大きさが明瞭な法線ベクトル画像を生成することができる。

図１３は、前記凹部ｃｐに対応する位置での縦断面を用いて、前記ワークＷ３における法線ベクトルを表したものである。
ワークＷ３の平坦部分での法線ベクトルの向きは、ほぼ垂直になる。凹部ｃｐでも、底部はほぼ平坦になるので、底部からの法線ベクトルの向きは垂直になるが、底部から周縁部に向かう傾斜面での法線ベクトルは、その傾斜状態を反映した方向を向くようになる。また傾斜面の傾斜角度は、底部から周縁部に向かうほど垂直面に近くなるので、法線ベクトルも、周縁部に近くなるほど水平面に沿う方向に近づいていく。

図１４は、前記ワークＷ３について、前記法線ベクトルから抽出した角度φにより生成された画像を示す。この例では、前記角度φが９０°のときに最も明るく（階調：０）、｜９０°−φ｜の値が大きくなるほど暗くなるように階調を設定しているため、平坦面が明るく表される一方、凹部の傾斜面は暗い状態に表される。

図１１，１４に示した画像では、いずれも検出対象物（文字列、凹部）が、背景とは異なる明るさで表されるので、２値化処理やエッジ抽出処理などによって、精度の高い検出を行うことが可能になる。また、図１１の例の文字のように輪郭形状が複雑なものについては、あらかじめモデルのパターンを登録して、正規化相関演算等によるマッチング処理を行ってもよい。

Ｃ） 反射率画像について
上記の各実施例では、法線ベクトル画像を用いて測定対象物の検出が可能になるようにしたが、これに代えて、前記ワークの反射率Ｒによる画像（以下、「反射率画像」という。）を生成してもよい。
なお、反射率Ｒは、法線ベクトルｎ^＊の各成分ｎＸ，ｎＹ，ｎＺを求めた後に、これらの成分を、光源２１〜２４のいずれか１つについて設定した前記（３）にあてはめることによって求めることができる。

この反射率画像を用いた処理は、特に、鏡面反射成分の大きい物が検出対象となる場合に効果を奏する。
たとえば、図１５に示すように、ワークＷ４について、表面に貼付された透明テープｔを検出する処理を行う場合、前記テープｔからの鏡面反射光が大きくなると、通常の画像では、テープｔの全体像の認識が困難になるおそれがある。

図１６（１）は、前記カメラ１により生成されたワークＷ４の画像の例である。この画像では、テープｔからの鏡面反射光がカメラ１に入射したため、画像上のテープｔ´の一部の明るさが飽和状態となり、透明テープの全体像を確認できない状態になっている。
一方、図１６（２）は、前記画像に対応する反射率画像を示す。この例では、反射率Ｒが高くなるほど暗くなるように階調を設定することにより、前記透明テープｔ´が背景部分より暗い領域として現れるようにしている。

このように、鏡面反射成分によって原画像での視認が困難な対象物であっても、反射率画像には、その形状が十分に現れる。よって、この場合にも、２値化、エッジ抽出、パターンマッチング、濃度データの投影処理などの方法により、対象物を精度良く検出することができる。

Ｄ）画像処理装置の構成
図１７は、前記カメラ１の詳細な構成を示す。
このカメラ１には、４枚のＣＣＤ１１，１２，１３，１４およびＣＣＤ毎に設けられた４つの駆動回路１０１，１０２，１０３，１０４が組み込まれている。またカメラレンズ１０の光軸上に３個の分光手段（ハーフミラーなど）１５，１６，１７が設けられ、これらの分光手段１５〜１７により分けられた４つの軸に、前記ＣＣＤ１１〜１４が１つずつ配備されている。

さらに前記カメラ１には、画像出力回路１８が設けられる。この画像出力回路１８は、各ＣＣＤ１１、１２，１３，１４からの画像信号Ｑ１、Ｑ２，Ｑ３，Ｑ４を受け付け、これらの信号を後記するコントローラ３にパラレル出力する。

各駆動回路１０１〜１０４には、それぞれ後記するコントローラ３から専用のトリガ信号ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ４および各回路１０１〜１０４に共通の出力用トリガが入力される。各駆動回路１０１〜１０４は、前記専用のトリガ信号ＴＲ〜ＴＲ４の入力に応じて対応するＣＣＤ１１〜１４を駆動して、撮像処理（各セルへの電荷蓄積）を行わせる。さらに出力用トリガが入力されると、前記ＣＣＤ１１〜１４に蓄積電荷による画像信号Ｑ１，Ｑ２，Ｑ３，Ｑ４を放出させる。

図１８は、画像処理装置の全体の電気構成を示す。
この画像処理装置には、前記カメラ１、光源２１〜２４のほかに、コントローラ３が含まれる。コントローラ３は、前記カメラ１および光源２１〜２４の動作を制御するとともに、カメラ１から入力された４つの画像信号Ｑ１〜Ｑ４を用いて、前記法線ベクトル画像の生成や、その法線ベクトル画像を用いた計測処理を実行する。さらに、その計測結果を用いて、ワークに欠陥がないかなどの判別処理を実施することもできる。

具体的には、コントローラ３には、ＣＰＵ３０、メモリ３１、画像入力部３２、パルス生成部３３、モニタ３４、入力部３５などが含まれる。なお、この実施例のメモリ３１は、ＲＯＭ、ＲＡＭ、およびハードディスク等の大容量メモリを含む概念のもので、計測処理や判定処理に必要なプログラムが格納される。またカメラ１からの入力画像、前記法線ベクトル画像、反射率画像などを個別に格納するためのエリアも設定されている。さらに、前記図３に示したｈ，ｋなど、各光源２１〜２４の照明方向ベクトルＬｍ^＊の特定に必要なパラメータも、メモリ３１にあらかじめ登録されている。

画像入力部３２には、前記カメラ１からの画像信号Ｑ１〜Ｑ４に対するインターフェース回路やＡ／Ｄ変換回路が含まれる。各画像信号Ｑ１〜Ｑ４による画像は、それぞれ画像入力部３２のＡ／Ｄ変換回路でディジタル変換された後に、メモリ３１に格納される。また、モニタ３４には、前記画像Ｑ１〜Ｑ４、前記法線ベクトル画像、および反射率画像を表示することができる。

前記ＣＰＵ３０には、図示しないワーク検出用のセンサから検知信号（図中の「タイミング信号」）の入力を受けると、パルス生成部３３にトリガ信号の出力指令を行う。パルス生成部３３には、別途、ＣＰＵ３０からクロック信号が入力されており、前記出力指令に応じて、トリガ信号ＴＲ１，ＴＲ２，ＴＲ３，ＴＲ４、および出力用トリガを、所定の時間間隔毎に順に出力する。

出力されたトリガ信号ＴＲ１〜ＴＲ４のうち、信号ＴＲ１は光源２１および前記カメラ１の駆動回路１０１に、信号ＴＲ２は光源２２および駆動回路１０２に、信号ＴＲ３は光源２３および駆動回路１０３に、信号ＴＲ４は光源２４および駆動回路１０４に、それぞれ与えられる。これにより、光源２１が点灯したときはＣＣＤ１１が、光源２２が点灯したときはＣＣＤ１２が、光源２３が点灯したときはＣＣＤ１３が、光源２４が点灯したときはＣＣＤ１４が、それぞれ作動し、前記図２に示したような画像Ｇ１，Ｇ２，Ｇ３，Ｇ４が生成される。

図１９は、前記コントローラ３の制御下におけるカメラ１および光源２１〜２４の動作状態を示す。
この実施例では、前記トリガ信号ＴＲ１〜ＴＲ４、および出力用トリガを、各ＣＣＤ１１〜１４の露光期間に対応する時間間隔をおいて生成することにより、各ＣＣＤ１１〜１４による撮像を連続実行させ、しかる後に、各ＣＣＤ１１〜１４から前記画像信号Ｑ１〜Ｑ４を同時に出力させるようにしている。

法線ベクトルを求めるには、４枚の画像間における同一点の対応づけのために、ワークを停止させて撮像を行う必要があるが、ＣＣＤが１枚であると、毎時の撮像後に生成された画像を出力してから次の撮像を行わなければならない。この場合、ワークを停止させる時間は、おのずと長くなる。
これに対し、上記図１６〜１８に示した構成や制御によれば、各ＣＣＤ１１〜１４からの画像出力を後回しにできるので、ワークを停止させる時間を大幅に短縮することができる。よって、工場の検査ラインなど、多数のワークが次々に送られるような現場でも、十分に対応することが可能になる。なお、ＣＣＤ１１〜１４の露光時間がきわめて短い場合には、ワークを停止させずに撮像を行ってもよい。

最後に、上記構成の画像処理装置を工場の検査ラインに設置して検査を行う場合に、前記コントローラ３において実行される処理の流れについて、図２０を用いて説明する。
この図２０は、１つのワークに対して実行される処理の手順を示すもので。前記タイミング信号が入力されたことに応じて開始される。まず最初のステップ１では、前記パルス生成部３３を用いて各ＣＣＤ１１〜１４および各光源２１〜２４に順にトリガ信号ＴＲ１〜ＴＲ４を与える。これにより各光源２１〜２４が順次点灯するとともに、点灯毎にＣＣＤ１１〜１４が駆動し、個々の光源２１〜２４による照明下での画像Ｇ１〜Ｇ４が生成される。

つぎのステップ２では、カメラ１に前記出力用トリガを与えることにより、各ＣＣＤ１１〜１４から画像信号Ｑ１〜Ｑ４を出力させる。これらの画像信号Ｑ１〜Ｑ４による画像は、画像入力部３２でディジタル変換された後に、メモリ３１に入力される。

ステップ３では、入力された４枚の画像を用いて、対応する画素の組毎に法線ベクトルを算出する。この後、ステップ４では、法線ベクトル画像を生成する。ただし、計測目的によっては、法線ベクトルの算出後に反射率Ｒを求め、反射率画像を生成してもよい。

ステップ５では、前記ステップ４で生成された法線ベクトル画像を用いて、検査の対象物を検出する。たとえば、前記図１２のワークＷ３について凹部ｃｐの有無を検査する場合には、２値化処理によって、濃度が所定値以下になる領域を検出する。また図９のワークＷ２の文字列を検査する場合には、２値化、エッジ抽出処理のほか、パターンマッチング処理を行うことができる。
ただしステップ５で実行する処理は上記に限らず、従来の濃淡画像処理で蓄積された種々のノウハウを適用して、高精度の検出処理を実行することができる。

ステップ６では、検出された対象物について、重心や面積などを測定する。さらにステップ７では、ステップ６で求めた測定値をあらかじめ設定された判定基準値と比較するなどして、ワークの適否を判別する。最後のステップ８では、ステップ７の判別結果を外部機器などに出力する。

上記図２０の処理によれば、検査の対象物の特徴が明確にされた法線ベクトル画像または反射率画像が生成されるから、照明の条件を詳細に調整しなくとも、検査の対象物の特徴を捉えた画像を生成することができ、画像上での対象物の検出処理を精度良く行うことができる。

また、３次元データである法線ベクトルを一次元情報に変換し、この変換後の情報に基づく２次元画像を処理するので、法線ベクトルを用いた認識処理を簡単にすることができる。しかも、その認識処理には、従来の濃淡画像処理で開発されたアルゴリズムを適用できるから、ソフトウェア資産の有効活用をはかることができる。

この発明にかかる画像処理装置の撮像部の構成を示す斜視図である。 図１の撮像部により生成された画像の例を示す説明図である。 法線ベクトルの算出に必要なパラメータを、撮像部の構成に対応づけて示す説明図である。 法線ベクトル画像に使用される一次元情報の例を示す説明図である。 円筒状のワークを計測する例を示す説明図である。 図５の設定状態下で求めた法線ベクトル画像の例を示す説明図である。 法線ベクトル画像に使用される一次元情報の他の例を示す説明図である。 法線ベクトル画像に使用される一次元情報の他の例を示す説明図である。 浮き彫り加工された文字を有するワークを計測する例を示す説明図である。 図９のワーク上の文字における法線ベクトルを示す説明図である。 図９のワークの領域Ｒについて、図８の角度θによる法線ベクトル画像を生成した例を示す説明図である。 凹部を有するワークを計測する例を示す説明図である。 図１２のワークにおける法線ベクトルを示す説明図である。 図１２のワークについて、図８の角度φによる法線ベクトル画像を生成した例を示す説明図である。 透明テープが貼付されたワークを計測する例を示す説明図である。 図１５のワークについて、濃淡画像と反射率画像とを対比して示す説明図である。 カメラの構成を示す説明図である。 画像処理装置の構成を示すブロック図である。 カメラおよび光源に対する制御を示すタイミングチャートである。 ワークに対する検査を行う場合のフローチャートである。

符号の説明

１ カメラ
３ コントローラ
３０ ＣＰＵ
３１ メモリ
３４ モニタ
１１，１２，１３，１４ ＣＣＤ
２１，２３，２４，２５ 光源
１５，１６，１７ 分光手段
１０１、１０２，１０３，１０４ 駆動回路
Ｗ ワーク
Ｇ１，Ｇ２，Ｇ３，Ｇ４ 濃淡画像

Claims (10)

1. 対象物を一定の方向から撮像する処理を、前記対象物に対する照明の方向を変更しながら少なくとも３回実行し、毎時の撮像により得られた複数の画像を用いて前記対象物の表面に対する法線ベクトルを求めた後、この法線ベクトルの取得結果を用いて所定の処理を実行する方法において、
   前記複数の画像間で対応関係にある画素の組毎に、それぞれの画素の明るさを用いて前記法線ベクトルを求める処理と、前記対象物を含む空間に対する前記法線ベクトルの関係を表す一次元情報を求める処理とを実行する第１ステップ；
   第１ステップで画素毎に求めた一次元情報を各画素の座標に対応づけた画像データを生成する第２ステップ；
   前記第２ステップで生成された画像データに対し所定の特徴抽出処理を実行する第３ステップ；
   の各ステップを実行することを特徴とする画像処理方法。
2. 請求項１に記載された画像処理方法において、
   前記一次元情報として、前記空間内の任意の方向に法線ベクトルを投影したときの投影パターンの長さを求める画像処理方法。
3. 請求項１に記載された画像処理方法において、
   前記一次元情報として、前記空間内の任意のベクトルに対して前記法線ベクトルがなす角度を求める画像処理方法。
4. 請求項１〜３のいずれかに記載された画像処理方法において、
   前記第２ステップで生成された画像データに基づく画像を表示するステップを実行する画像処理方法。
5. 請求項４に記載された画像処理方法において、
   複数種の前記一次元情報を求めるとともに、前記第２ステップにおいて各一次元情報毎に画像データを生成し、
   前記画像を表示するステップにおいて、前記一次元情報毎の画像データをそれぞれ異なる成分に反映した画像を表示する画像処理方法。
6. 対象物を一定の方向から撮像する処理を、前記対象物に対する照明の方向を変更しながら少なくとも３回実行し、毎時の撮像により得られた複数の画像を用いて前記対象物の表面の反射率を求めた後に、この反射率の取得結果を用いて所定の処理を実行する方法において、
   前記複数の画像間で対応関係にある画素の組毎に、それぞれの画素の明るさを用いて前記対象物の反射率を求める処理を実行する第１ステップ；
   第１ステップで画素毎に求めた反射率を各画素の座標に対応づけた画像データを生成する第２ステップ；
   前記第２ステップで生成された画像データに対し所定の特徴抽出処理を実行する第３ステップ；
   の各ステップを実行することを特徴とする画像処理方法。
7. 請求項１〜６のいずれかに記載された画像処理方法において、
   前記第３ステップで抽出された特徴について、所定の計測処理を実行する第４ステップ、および前記計測処理の結果に基づき対象物の表面状態の適否を判別する第５ステップを、さらに実行することを特徴とする画像処理方法。
8. 所定の対象物を一定の方向から撮像するための撮像手段；
   前記対象物をそれぞれ異なる方向から照明するための少なくとも３個の照明手段；
   前記照明手段を１つずつ順に点灯させながら、毎時の点灯タイミングに応じて前記撮像手段を駆動することにより、複数の画像を生成する画像生成手段；
   前記複数の画像間で対応関係にある画素毎に、それぞれの画素の明るさを用いて前記対象物の表面に対する法線ベクトルを取得する処理と、前記対象物を含む空間に対する前記法線ベクトルの関係を表す一次元情報を求める処理とを実行する演算手段；
   前記演算手段が画素毎に求めた一次元情報を各画素の座標に対応づけた画像データを生成する画像データ生成手段；
   前記画像データ生成手段により生成された画像データに対し所定の特徴抽出処理を実行する特徴抽出手段；
   の各手段を具備する画像処理装置。
9. 前記撮像手段には、前記照明手段の数と同数の撮像素子が同一の視野を撮像可能な関係をもって配置されており、
   前記画像データ生成手段は、前記照明手段の点灯タイミングに応じて各撮像素子を１つずつ駆動して撮像を行わせるとともに、最後の撮像素子による撮像が終了した後に各撮像素子から同時に画像信号を出力させる請求項８に記載された画像処理装置。
10. 請求項８または９に記載された画像処理装置において、
    前記特徴抽出手段により抽出された特徴に対し、所定の計測処理を実行する計測手段と、前記計測処理の結果に基づき前記対象物の表面状態の適否を判別する判別手段と、前記判別手段による判別結果を出力する出力手段とを、さらに具備することを特徴とする画像処理装置。