JPH1163950A - 物体検査方法および物体検査装置 - Google Patents

Abstract

(57)【要約】 【課題】検査物体が動いている場合でも、検査物体を止
めることなく、検査物体の形状や状態を検査できる物体
検査方法を提供する。 【解決手段】静止中または移動中の検査物体を含む画像
をカメラにより撮像し、この撮像した画像を解析するこ
とで、検査物体がカメラに対して前後方向に束ねられた
束であるのか、上下方向に束ねられている束であるの
か、左右方向に束ねられている束であるのか、箱状の剛
体のような一かたまりの物体であるのかを判別し、その
判別結果に応じて最適な位置の輪郭線の情報から近似輪
郭直線を求め、実際の輪郭線との関係から検査物体の端
点を抽出することで理想形状を推定し、実際の輪郭線と
比較することによって、検査物体が正常な状態や形状に
なっているかどうかを検査する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、静止中またはベル
トコンベアなどで移動中の検査物体の形状や状態を検査
する物体検査方法および物体検査装置に関する。

【０００２】

【従来の技術】従来、物体の形状や外見を検査する装置
において、 （１）静止物体、または、移動物体を停止させて形状検
査を行なう。 （２）所定の平面に印刷された絵文字を読取り、正常か
否かを検査する。 （３）決まった形の物体かどうかを検査する。 という技術があった。

【０００３】

【発明が解決しようとする課題】しかし、従来の物体の
形状や外見を検査する装置においては、 （１）任意の大きさや形状に対応しているわけではな
く、検査物体の種類や大きさなどに合わせて検査するシ
ステムの設定をなおさなければならない。

【０００４】（２）ベルトコンベアなどで移動している
物体の形状を認識するには、検査場所に検査物体がきた
段階で一旦流れを停止させる必要があった。 （３）紙葉類の束のように多くの物が１つに束ねられた
把状の物体の場合、それらがきちんと整えられた状態で
束ねられているかどうかを解析はしていなかった。

【０００５】というような問題があった。そこで、本発
明は、検査物体が動いている場合でも、検査物体を止め
ることなく、検査物体の形状や状態を検査できる物体検
査方法および物体検査装置を提供することを目的とす
る。

【０００６】また、本発明は、シートのように平面状の
物体をある方向に一定枚数束ねた束であるのか、箱状の
剛体のような一かたまりの物体であるのかを判別し、そ
れぞれの物体に最適な手法で求められた理想形状を利用
して形状の検査ができ、かつ、任意の大きさの検査物体
に対応した形状検査を可能にする物体検査方法および物
体検査装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明の物体検査方法
は、静止中または移動中の検査物体を含む画像を撮像手
段により撮像し、この撮像した画像を解析することで、
前記検査物体が前記撮像手段に対して前後方向に束ねら
れた束であるのか、上下方向に束ねられている束である
のか、左右方向に束ねられている束であるのか、箱状の
剛体のような一かたまりの物体であるのかを判別し、そ
の判別結果に応じて最適な位置の輪郭線の情報から近似
輪郭直線を求め、実際の輪郭線との関係から検査物体の
端点を抽出することで理想形状を推定し、実際の輪郭線
と比較することによって、検査物体が正常な状態や形状
になっているかどうかを検査することを特徴とする。

【０００８】また、本発明の物体検査方法は、検査物体
が静止して置かれているか移動している場合に、撮像手
段から入力した画像の縦方向および横方向それぞれの微
分画像の射影を求め、一定幅の凹部を持つ位置を帯の位
置として抽出し、その位置や方向によって、撮像手段に
向かって前後方向に束ねられている束であるのか、上下
方向に束ねられている束であるのか、左右方向に束ねら
れている束であるのか、箱状の剛体のような一かたまり
の物体であるのかを判別することを特徴とする。

【０００９】また、本発明の物体検査方法は、シートの
ように平面状の物体、または、平面状の物体が一定枚数
で束ねられている把状の物体、または、書籍や箱など
が、撮像手段から見て前後方向に複数束ねられている束
が置かれていたり移動している場合において、その物体
の撮像手段側手前と上側の隣接する２面のみが見えるよ
うにして得られた画像を利用することにより、物体の輪
郭線に含まれる点の中から物体領域内の最も上部で中央
に位置する輪郭線上の一点を抽出し、その近傍に位置す
る複数の点の情報を基に近似直線を求めて物体上底の理
想輪郭直線とし、その理想輪郭直線の中央に位置する点
から輪郭線に含まれる点を順番に追跡し、理想輪郭直線
から一定距離以上離れる点が続いた場合に、その場所を
物体の仮の端点と仮定し、その仮の端点と、左右に一定
画素数だけ離れた輪郭線上の２点とを結ぶことでできる
２本の直線によってできる角度を調べて、一定角度以上
ある場合にその場所を実際にその物体の端点として抽出
し、物体領域内の最も左右端にある点とでできる四角形
によって物体上面の理想形状を抽出し、物体上面の輪郭
線のうち撮像手段から見て手前から奥に延びている２本
の輪郭線に相当する部分と、その場所に対応する理想輪
郭直線との平均誤差距離を求めることによって、束が整
っていない状態で束ねられているかどうかを検査するこ
とを特徴とする。

【００１０】また、本発明の物体検査方法は、シートの
ように平面状の物体、または、平面状の物体が一定枚数
で束ねられている把状の物体、または、書籍や箱など
が、撮像手段から見て上下方向に複数束ねられている束
が置かれていたり移動している場合において、その物体
の撮像手段側手前と上側の隣接する２面のみが見えるよ
うにして得られた画像を利用することにより、物体抽出
領域の中で最も左右端に存在する点の重心を求めること
で物体上面手前側の両端点を検出し、その左右端点それ
ぞれから輪郭線に沿って下側に一定数とった輪郭線上の
点から求められた近似直線と、微分画像の射影から得ら
れた影の影響のない物体領域最下部を示す直線との交点
を物体前面の下側の両端点とし、これら求められた４つ
の点から得られる物体前面の理想輪郭直線のうち画像に
おいて垂直方向に延びている平行する左右端の理想輪郭
直線と、その場所に対応した輪郭線との平均誤差距離を
求めることによって、束が整っていない状態で束ねられ
ているかどうかを検査することを特徴とする。

【００１１】また、本発明の物体検査方法は、シートの
ように平面状の物体、または、平面状の物体が一定枚数
で束ねられている把状の物体、または、書籍や箱など
が、撮像手段から見て上下方向に複数束ねられている束
が置かれていたり移動している場合において、その物体
の撮像手段側手前と上側の隣接する２面のみが見えるよ
うにして得られた画像を利用することにより、物体抽出
領域の中で最も左右端に存在する点の重心を求めること
で物体上面手前側の両端点を検出し、その左右端点それ
ぞれから輪郭線に沿って上側に一定数とった輪郭線上の
点から求められた近似直線と、微分画像の射影から得ら
れた影の影響のない物体領域最上部を示す直線との交点
を物体上面の奥側の両端点とし、これら求められた４つ
の点から得られる物体前面の理想輪郭直線のうち画像に
おいて物体上面の一番奥に位置する水平方向の理想輪郭
直線と、その場所に対応する輪郭線との平均誤差距離を
求めることによって、束が整っていない状態で束ねられ
ているかどうかを検査することを特徴とする。

【００１２】また、本発明の物体検査方法は、箱状の剛
体のような一かたまりの物体が置かれていたり移動して
いる場合において、その物体の撮像手段側手前と上側の
隣接する２面のみが見えるようにして得られた画像を利
用することにより、物体領域の中で最も左右端に存在す
る点を上面手前側の両端点として検出し、さらに、物体
領域の外接矩形の左上と右上の点に最も近い輪郭線上の
点を物体上面奥側の両端点として検出し、これら検出し
た４点によって定められる物体上面の理想輪郭直線のう
ち最も手前側で水平方向に延びる直線以外の３本の理想
輪郭直線と、その位置に対応する輪郭線上の点との平均
誤差距離を求めることによって、検査物体の形状に凹凸
があるかどうかを検査することを特徴とする。

【００１３】また、本発明の物体検査装置は、静止また
は移動中の検査物体を含む画像を撮像手段で撮像して入
力する画像入力手段と、この画像入力手段で入力された
画像から前記検査物体の領域を抽出する物体領域抽出手
段と、この物体領域抽出手段で抽出された物体領域にお
いて輪郭線を抽出する輪郭抽出手段と、前記画像入力手
段で入力された画像に基づき、縦線強調および横線強調
の微分画像の射影の状態によって前記検査物体が前記撮
像手段に対して前後方向に束ねられた束であるのか、上
下方向に束ねられている束であるのか、左右方向に束ね
られている束であるのか、箱状の剛体のような一かたま
りの物体であるのかを判別する物体判別手段と、この物
体判別手段の判別結果に基づき、それぞれの検査物体に
応じて最適な位置にある輪郭線とその近似直線とから物
体の角にあたる端点を抽出し、それらを結ぶことで理想
形状を抽出する理想形状抽出手段と、この理想形状抽出
手段で抽出された理想形状直線と輪郭線上の点との平均
誤差距離を計算して前記検査物体が正常な状態や形状を
しているのかどうかを判定する形状判定手段とを具備し
ている。

【００１４】さらに、本発明の物体検査装置は、物体判
別手段は、検査物体が静止して置かれているか移動して
いる場合に、画像入力手段から入力した画像の縦方向お
よび横方向それぞれの微分画像の射影を求め、一定幅の
凹部を持つ位置を帯の位置として抽出し、その位置や方
向によって、画像入力手段の撮像手段に向かって前後方
向に束ねられている束であるのか、上下方向に束ねられ
ている束であるのか、左右方向に束ねられている束であ
るのか、箱状の剛体のような一かたまりの物体であるの
かを判別することを特徴とする。

【００１５】本発明によれば、検査物体を含む画像を撮
像手段により入力し、この入力した画像を解析すること
で、検査物体の方向や種類を判別し、その種類に応じて
理想形状を求めて実際の輪郭線と比較することで、検査
物体の形状を検査することにより、検査物体が動いてい
る場合でも、検査物体を止めることなく、検査物体の形
状や状態を検査できる。

【００１６】また、本発明によれば、入力された検査物
体の画像から、検査物体が、撮像手段に対して束ねられ
ている束であるか、左右方向に束ねられている束である
のか、前後方向に束ねられている束であるのか、箱状の
剛体のような一かたまりの物体であるのかを自動的に判
別し、それぞれの物体に最適な手法で求められた理想形
状を利用して形状の検査ができ、かつ、任意の大きさの
検査物体に対応した形状検査が可能となる。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。なお、本実施の形態では、
撮像手段としてのカメラから入力された画像中に含まれ
る静止または移動中の検査物体が、シートのように平面
状の物体をある方向に一定枚数束ねた束であるのか、箱
状の剛体のような一つのかたまりの物体であるのかを自
動的に判別し、その物体の種類に応じて最適な手法を適
用して理想形状を求め、その形状と実際の輪郭線とを比
較することで、不自然な形状をしているかどうか、束が
正しく束ねられていないかどうかを検査し、その結果を
管理者に出力する装置に適用した場合について説明す
る。

【００１８】図１は、本実施の形態に係る物体検査装置
の外観構成を概略的に示している。図１において、検査
物体１は、ベルトコンベア２によって図示矢印方向に移
動している（搬送されている）ものとする。検査物体１
の進行方向上から斜め下向きには、撮像手段としてのカ
メラ３が設置されているとともに、このカメラ３の近傍
には、検査物体１を照明するための照明灯（光源）４が
設置されている。カメラ３および照明灯４は、パーソナ
ルコンピュータやワークステーションなどからなる処理
装置５に接続されている。処理装置５には、出力手段と
しての画像表示装置（モニタ）６やスピーカ７などが接
続されている。

【００１９】図２は、本実施の形態に係る物体検査装置
の全体的な構成を概略的に示している。この物体検査装
置は、画像入力手段としての画像入力部１１、画像蓄積
部１２、物体領域抽出手段としての物体領域抽出部１
３、輪郭抽出手段としての輪郭抽出部１４、物体判別手
段としての物体判別部１５、理想形状抽出手段としての
箱理想形状抽出部１６、前後方向束理想形状抽出部１
７、上下方向束理想形状抽出部１８、左右方向束理想形
状抽出部１９、形状判定手段としての形状判定部２０、
および、出力手段としての出力部２１によって構成され
ている。

【００２０】ここに、画像蓄積部１２、物体領域抽出部
１３、輪郭抽出部１４、物体判別部１５、箱理想形状抽
出部１６、前後方向束理想形状抽出部１７、上下方向束
理想形状抽出部１８、左右方向束理想形状抽出部１９、
および、形状判定部２０は、前記処理装置５を構成して
いる。

【００２１】すなわち、画像入力部１１において、斜め
下向きに設置されたカメラ３で検査物体１を撮像するこ
とにより、グレースケール２５６階調のデジタル画像デ
ータを入力し、一度、画像蓄積部１２に格納する。

【００２２】次に、物体領域抽出部１３は、画像蓄積部
１２内の画像により検査物体１の領域を求め、位置の抽
出を行なう。次に、輪郭抽出部１４は、物体領域抽出部
１３で抽出された検査物体１の領域のそれぞれに対し
て、その中に含まれる検査物体１の輪郭線を抽出する。

【００２３】次に、物体判別部１５は、画像蓄積部１２
内の入力画像の微分画像を計算し、その射影を調べるこ
とで検査物体１が左右方向に束ねられている束であるの
か、前後方向に束ねられている束であるのか、上下方向
に束ねられている束であるのか、箱状の剛体のような一
かたまりの物体であるのかを自動判別する。

【００２４】次に、物体判別部１５の判別結果に応じ
て、箱理想形状抽出部１６、または、前後方向束理想形
状抽出部１７、または、上下方向束理想形状抽出部１
８、または、左右方向束理想形状抽出部１９、のいずれ
かによって理想的な形状を計算する。

【００２５】次に、形状判定部２０において、上記のよ
うに計算された理想形状と輪郭抽出部１４で求めた輪郭
線との比較を行なうことにより、検査物体１の形状が正
常であるか異常であるかを判定し、その結果を出力部２
１によって出力する。

【００２６】以下、各部について詳細に説明する。ま
ず、画像入力部１１について説明する。画像入力部１１
は、図１に示したように、移動する検査物体１の斜め上
から、斜め下向きに設置したカメラ３からの、検査物体
１を撮像した画像を入力する。カメラ３としてはＣＣＤ
形カメラもしくはラインスキャンカメラを用いていて、
画像サイズは６４０×４８０で、グレースケール２５６
階調とする。

【００２７】画像入力に用いるカメラ３であるが、ＶＡ
Ｇカメラで全フィールドとる場合と、通常のビデオカメ
ラを利用してインタレースで奇数フィールドまたは偶数
フィールドのみを対象にする方法を用いる。前者の場合
は解像度が高いまま奇麗な映像を得られるが、特殊なカ
メラを利用することになり、後者の場合はカメラが汎用
のものでよいのだが、片フィールドだけのため、入力画
像が６４０×２４０になってしまう。これは状況により
切換えて用いるようにすればよい。

【００２８】カメラ３の画角（アングル）は、箱状の剛
体のような一かたまりの物体の場合は図３に示すよう
に、前後方向束の場合は図４に示すように、上下方向束
の場合は図５に示すように、左右方向束の場合は図６に
示すように、進行方向前方より検査物体１の上面とカメ
ラ３側手前に位置する一側面が写るような向きに設置
し、その２面の境界線が入力画像の中央で水平になるよ
うに、検査物体１を斜め下向きに見下ろすようにカメラ
３を設置する。こうすることで、検査物体１の特定の面
や側面の凹凸が見渡すことができる。

【００２９】以上の条件で入力した画像の例を図７〜図
１０に示す。（ａ）図が正しい形状で入力した場合であ
り、（ｂ）図は形状に凹凸があったり、照明の反射が起
きてしまった場合の画像である。

【００３０】検査したい面が複数ある場合には、カメラ
３を進行方向に対して横や後ろにも設置するなどして、
複数方向からの入力を得るような手段をとることで、解
決することも可能である。

【００３１】なお、カメラ３と同じ側から照明灯４で照
明を行なうことによって、検査物体１の上面の周辺に影
や反射が生じたり、また、照明条件の変動などの影響を
なくすようにも設定が可能である。

【００３２】次に、画像蓄積部１２について説明する。
画像蓄積部１２は、画像入力部１１から取込まれた検査
物体１の画像を、原画像そのままの解像度でメモリに保
存する（記憶する）。

【００３３】次に、物体領域抽出部１３について説明す
る。物体領域抽出部１３は、画像蓄積部１２に蓄積され
た画像のうち、検査物体１が写っていない初期画面を背
景画像として登録し、以降入力される画面との差分を計
算する処理を行なうことにより、差分画像を得る。そし
て、得られた差分画像に対して、一定の閾値での２値化
処理を行なうことにより背景に対して変化した領域が抽
出される。また、その画像に対して孤立点除去や拡大縮
小フィルタ、縮小拡大フィルタ、モノフォロジー処理な
どの雑音の除去や穴埋め処理を行なう。さらに、ラベリ
ング処理を行ない、一まとまりの物体領域を外接矩形と
して抽出する。ここで、各ラベル内部の面積を調べ、閾
値処理をすることにより、孤立している雑音の除去を行
なうことができる。

【００３４】また、図１１にその処理説明図を示すよう
に、影や雑音の影響を減らすために、微分画像を求め
て、その射影（プロジェクション）を計算し、一定の閾
値を越える最も外側に位置する上下左右の位置を求め、
その内部に含まれる物体の外接矩形領域を抽出する手段
も併用できる。

【００３５】次に、輪郭抽出部１４について説明する。
輪郭抽出部１４は、物体領域抽出部１３で抽出されたそ
れぞれの物体領域（ラベル）において輪郭線を抽出す
る。輪郭線の抽出は、連結部分の境界点を８連結（上下
左右に斜め４方向を加えた８方向で隣接する画素）で連
結された画素列によって構成された閉曲線として求める
処理（安居院猛、長尾智春：「画像処理と認識」、（昭
和晃堂発行、ｐｐ７２−７４、１９９３年）参照）を用
いる。

【００３６】輪郭線の追跡は、追跡を開始した点Ｐ1 か
ら始まり、Ｐ2 ，Ｐ3 と輪郭線に沿って追跡していき、
最後にＰn ＝Ｐ1 ，Ｐn+1 ＝Ｐ2 となるようなＰn を見
つけた段階で輪郭線の追跡を終了する。輪郭線はｎ−１
個の点で表わされることになる。

【００３７】次に、物体判別部１５について説明する。
物体判別部１５は、カメラ３から入力された画像に対し
て、縦線強調および横線強調の微分画像を求めて、それ
ぞれの画像において水平方向および垂直方向に投影した
射影（プロジェクション）を求める。ここで、図１２〜
図１４に示すように、一定の閾値を越す射影値が得られ
ている中で、一定幅の凹部（閾値以下の値を示す連続す
る範囲）を持つ位置を帯の位置として検出し、その位置
や方向によって帯の位置や方向からカメラ３に向かって
水平方向に束ねられている束であるか、カメラ３に向か
って垂直方向に束ねられているか、箱状の剛体のような
一かたまりの物体であるのかを判別する。この判別結果
に応じて、その形状に対応した理想形状抽出部６〜９の
各処理が行なわれる。

【００３８】ここで行なう判別のアルゴリズムとして
は、以下の順番で判定を行なうもので、それをフローチ
ャートで表わすと図１５のようになる。 (1) 水平方向のエッジを抽出し、その画像で垂直方向に
投影した射影を求めて帯を検知する。そこで帯を検出し
た場合には(2) の処理に移り、検出しない場合には(3)
の処理に移る。

【００３９】(2) (1) で帯を検出した場合、水平方向に
投影した射影のピークの位置を計算し、検査物体１の中
心よりも上部にピークが多い場合には前後方向に束ねら
れている束と判定し、検査物体１の中心よりも下部にピ
ークが多い場合には上下方向に束ねられている束である
と判定する。

【００４０】(3) (1) で帯を検出しなかった場合、垂直
方向のエッジを抽出し、その画像で水平方向に投影した
射影を求めて帯を検知する。そこで帯が見つかった場合
には画面において左右に物体が束ねられている束である
と判定する。そうでない場合には箱状の剛体のような一
かたまりの物体であると判定する。

【００４１】次に、箱理想形状抽出部１６について、図
１６に示すフローチャートを参照して説明する。箱理想
形状抽出部１６は、図３のカメラアングルにおいて、箱
状の剛体のような一かたまりの物体の形状が異常な場合
に、その影響は垂直方向および水平方向の輪郭線上に凹
凸として現われる可能性があることになる。

【００４２】そこで、まず、輪郭抽出部１４で抽出され
た輪郭線の中で、図１７に示すように、物体領域抽出部
１３で求められた矩形領域の左上および右上の２点から
最も近い距離にある輪郭線上の点を物体の上面一番奥に
ある線の両端点Ｐlt，Ｐrtとして抽出する。

【００４３】この際、図１８に示すように、Ｐlt，Ｐrt
それぞれを中心として、そこから一定画素数だけ左右に
位置する輪郭線上の点と結んだ２本の直線でできる角度
θを求め、θの角度から、その場所が端点であるかどう
かを調べる方法も併用でき、これにより精度を上げるこ
とができる。

【００４４】また、物体矩形領域の最も左右に位置する
点の平均位置を計算し、その点を検査物体の最左右端の
点Ｐl ，Ｐr として求める。斜め上に設置したカメラ３
で見る場合、Ｐlt，Ｐrt，Ｐl ，Ｐr で表される点は検
査物体１の上面の四隅を意味することになり、それを結
ぶ四角形は検査物体１の上面の理想形状を表わすことに
なる。求められた点を入力画像にあてはめると、図１９
に示すようになる。

【００４５】同様の手法を利用して、カメラ３を複数設
置したり、カメラ３の設置位置を変更することにより、
ここで説明した平面以外の理想形状を抽出することも可
能になる。

【００４６】次に、前後方向束理想形状抽出部１７につ
いて、図２０に示すフローチャートを参照して説明す
る。前後方向束理想形状抽出部１７は、図４のカメラア
ングルにおいて、束が正しく束ねられていない場合に、
その影響は物体上面において手前から画面奥へ延びる方
向の輪郭線上に凹凸として現われやすいことになる。

【００４７】そこで、まず、輪郭抽出部４で抽出された
輪郭線の中で、ラベル領域内において最も上部に位置
し、かつ、中央にある点Ｐc を選び、Ｐc から、左右に
一定画素数をサンプルとしてとり、その点群の位置情報
から検査物体１の上底の理想輪郭直線を計算する。この
上底というのは、検査物体１の上面を形成するラインの
うち、カメラ３から見て一番奥に位置するラインにあた
る。

【００４８】ここで、このラインを選んだのは、影や反
射の影響が少ないこと、隣接面の影響がないこと、この
カメラアングルではその直線上の凹凸が現れにくく、直
線成分が多いということからである。そのため、Ｐc を
安定して得ることができ、理想輪郭直線を正確に抽出す
ることができる。

【００４９】図２１に示すように、理想輪郭直線は、周
知の最小二乗法（田中豊、脇本和昌：「多変量統計解析
法」、（現代数学社発行、ｐｐ２−４、１９９４年）参
照）から求められた近似直線を利用し、Ｐc から左右に
輪郭線に沿って点を追っていき、理想上底直線から一定
の閾値以上の距離をとる点が続いたときに、その位置を
上底の両端点Ｐlt，Ｐrtとして抽出する。

【００５０】この際、図１８に示すように、Ｐlt，Ｐrt
それぞれを中心として、そこから一定画素数だけ左右に
位置する輪郭線上の点と結んだ２本の直線でできる角度
θを求め、θの角度から、その場所が端点であるかどう
かを調べる方法も併用でき、これにより精度を上げるこ
とができる。

【００５１】また、物体矩形領域の最も左右に位置する
点の平均位置を計算し、その点を物体の最左右端の点Ｐ
l ，Ｐr として求める。斜め上に設置したカメラ３で見
る場合、Ｐlt，Ｐrt，Ｐl ，Ｐr で表される点は検査物
体１の上面の四隅を意味することになり、それを結ぶ四
角形は検査物体１の上面の理想形状を表わすことにな
る。求められた点を入力画像にあてはめると、図１９に
示すようになる。

【００５２】同様の手法を利用して、カメラ３を複数設
置したり、カメラ３の設置位置を変更することにより、
ここで説明した平面以外の理想形状を抽出することも可
能になる。

【００５３】次に、上下方向束理想形状抽出部１８につ
いて、図２２に示すフローチャートを参照して説明す
る。上下方向束理想形状抽出部１８は、図５のカメラア
ングルにおいて、束が正しく束ねられていない場合に、
その影響は物体手前の面の垂直方向に延びる輪郭線上に
凹凸として現われやすいことになる。

【００５４】そこで、まず、輪郭抽出部１４で抽出され
た輪郭線の中で、物体矩形領域の最も左右に位置する点
の平均位置を計算し、その点を物体の最左右端の点Ｐl
，Ｐr として求める。Ｐl ，Ｐr から、下方向にある
輪郭線上の点のうち一定画素数をサンプルとしてとり、
その位置情報から検査物体１の手前面の垂直方向に延び
る２本の理想輪郭直線を計算する。理想輪郭直線は、周
知の最小二乗法から求められた近似直線とする。

【００５５】また、図２３に示すように、図１１で求め
た検査物体１の矩形領域の下端位置を示す直線を求め、
Ｐl ，Ｐr それぞれからひいた理想輪郭直線との交点を
求める。それぞれの交点に最も近い輪郭線上の点をＰl
b，Ｐrbとして抽出する。

【００５６】斜め上に設置したカメラ３で見る場合、Ｐ
lb，Ｐrb，Ｐl ，Ｐr で表わされる点は、検査物体１の
カメラ３側手前に位置する四隅を意味することになり、
それを結ぶ四角形は検査物体１の前側の面の理想形状を
表わすことになる。求められた点を入力画像にあてはめ
ると、図２４に示すようになる。

【００５７】同様の手法を利用して、カメラ３を複数設
置したり、カメラ３の設置位置を変更することにより、
ここで説明した平面以外の理想形状を抽出することも可
能になる。

【００５８】次に、左右方向束理想形状抽出部１９につ
いて、図２５に示すフローチャートを参照して説明す
る。左右方向束理想形状抽出部１９は、図６のカメラア
ングルでは画面最上部に位置する水平方向の輪郭線上に
凹凸が現われやすい。

【００５９】そこで、まず、輪郭抽出部１４で抽出され
た輪郭線の中で、物体矩形領域の最も左右端に位置する
点の平均位置を計算し、その点を検査物体１の最左右端
の点Ｐl ，Ｐr として求める。Ｐl ，Ｐr から、上方向
にある輪郭線上の点のうち一定画素数をサンプルとして
とり、その位置情報から検査物体１の上面の手前から奥
方向に延びる２本の理想輪郭直線を計算する。理想輪郭
直線は、周知の最小二乗法から求められた近似直線とす
る。

【００６０】ここで、上下方向束理想形状抽出部１８で
示したように、図１１で求めた物体領域上端を示す直線
とＰl ，Ｐr から上方向に延ばした理想輪郭直線との交
点に最も近い輪郭線上の点をＰlt，Ｐrtとして抽出す
る。

【００６１】斜め上に設置したカメラ３で見る場合、Ｐ
lt，Ｐrt，Ｐl ，Ｐr で表わされる点は、検査物体１の
上面の四隅を意味することになり、それを結ぶ四角形は
検査物体１の上面の理想形状を表わすことになる。求め
られた点を入力画像にあてはめると、図１９に示すよう
になる。

【００６２】同様の手法を利用して、カメラ３を複数設
置したり、カメラ３の設置位置を変更することにより、
ここで説明した平面以外の理想形状を抽出することも可
能になる。

【００６３】次に、形状判定部２０について説明する。
形状判定部２０は、検査物体１のある一面における理想
形状と実際の形状とを比較するために、箱理想形状抽出
部１６や束理想形状抽出部１７〜１９で求められた理想
輪郭直線とそれに対応する輪郭線との誤差を計算する。

【００６４】どの線情報を用いるかは、図３〜図６の画
角によって異なるが、形状の検査をする上で一番凹凸が
出やすい線を選択するように定める。図３のように箱状
の剛体のような一かたまりの物体に関しては、手前側の
理想輪郭直線以外の３本を調べることが有効であり、図
４のように手前から奥に向かって束ねられている束に関
しては、左右に垂直方向に延びた２本の輪郭線が束の状
態を検査するのに有効であり、図５のように上下に束が
束ねられている状態では、カメラ３側手前の位置にある
面の垂直方向に延びる直線を検査するのが有効であり、
図６のように左右に物体が束ねられている状態では、一
番奥に位置する水平方向の線のみを利用するのが有効で
ある。以上をまとめると、下記表１のようになる。

【００６５】

【表１】

【００６６】誤差は、理想輪郭直線とその位置に対応し
た輪郭線に含まれる点との誤差距離を累積し、それを画
素の数で割って平均を求めた値を評価値とする。ここで
は、ＰltとＰl を結ぶ線分における評価を例にあげる
が、他の直線に関しても計算対象となる直線が異なるだ
けで、評価値の計算手法はここで述べるものと同様であ
る。ＰltとＰl を例にとると、図２６に示すように定め
られ、評価値は下記数１によって求められる。

【００６７】

【数１】

【００６８】以上に説明したように、この直線における
評価値を計算し、この値が一定値を越えた場合に形状異
常だと判定する。これで束が整った状態で束ねられてい
るかどうか、検査物体の形状に凹凸がないかどうか、な
どを検査することが可能となる。

【００６９】次に、出力部２１について説明する。出力
部２１は、形状判定部２０において束が乱れている場合
や検査物体１の外形に異常があった場合に、図１に示し
たモニタ６やランプなどで異常を報知するほか、図１に
示したスピーカ７などを利用して音声や警報などで通報
する。また、後で確認がしやすいように、その画像を画
像記録装置（ビデオテープレコーダなど）で記録保存す
る。

【００７０】以上説明したように、上記実施の形態によ
れば、静止中または移動中の検査物体の形状や状態を検
査するものにおいて、ベルトコンベアなどにより検査物
体が動いている場合でも、検査物体を止めることなく、
検査物体の形状検査を行なうことができ、入力された検
査物体の画像から、カメラに対して束ねられている束で
あるか、左右方向に束ねられている束であるのか、前後
方向に束ねられている束であるのか、箱状の剛体のよう
な一かたまりの物体であるのかを自動的に判別し、それ
ぞれの検査物体に最適な手法で求められた理想形状を利
用して形状の検査ができ、かつ、任意の大きさの検査物
体に対応した形状検査が可能となる。

【００７１】

【発明の効果】以上詳述したように本発明によれば、検
査物体が動いている場合でも、検査物体を止めることな
く、検査物体の形状や状態を検査できる物体検査方法お
よび物体検査装置を提供できる。

【００７２】また、本発明によれば、シートのように平
面状の物体をある方向に一定枚数束ねた束であるのか、
箱状の剛体のような一かたまりの物体であるのかを判別
し、それぞれの物体に最適な手法で求められた理想形状
を利用して形状の検査ができ、かつ、任意の大きさの検
査物体に対応した形状検査を可能にする物体検査方法お
よび物体検査装置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る物体検査装置の外観
構成を概略的に示す構成図。

【図２】本発明の実施の形態に係る物体検査装置の全体
的な構成を概略的に示すブロック図。

【図３】画像入力部における箱用の画角設定の説明図。

【図４】画像入力部における前後方向束用の画角設定の
説明図。

【図５】画像入力部における上下方向束用の画角設定の
説明図。

【図６】画像入力部における左右方向束用の画角設定の
説明図。

【図７】画像入力部における箱状物体に対する入力画
像。

【図８】画像入力部における前後方向束に対する入力画
像。

【図９】画像入力部における上下方向束に対する入力画
像。

【図１０】画像入力部における左右方向束に対する入力
画像。

【図１１】物体領域抽出部における処理の説明図。

【図１２】形状判定部における前後方向束の帯検知処理
の説明図。

【図１３】物体判別部における上下方向束の帯検知処理
の説明図。

【図１４】物体判別部における左右方向束の帯検知処理
の説明図。

【図１５】物体判別部の処理を説明するフローチャー
ト。

【図１６】箱理想形状抽出部の処理を説明するフローチ
ャート。

【図１７】箱理想形状抽出部における処理の説明図。

【図１８】各理想形状抽出部における端点の検出方法の
説明図。

【図１９】各理想形状抽出部における抽出結果の説明
図。

【図２０】前後方向束理想形状抽出部の処理を説明する
フローチャート。

【図２１】前後方向束理想形状抽出部における処理の説
明図。

【図２２】上下方向束理想形状抽出部の処理を説明する
フローチャート。

【図２３】上下方向束理想形状抽出部における処理の説
明図。

【図２４】上下方向束理想形状抽出部における抽出結果
の説明図。

【図２５】左右方向束理想形状抽出部の処理を説明する
フローチャート。

【図２６】形状判定部における処理の説明図。

【符号の説明】

１……検査物体、２……ベルトコンベア、３……カメラ
（撮像手段）、４……照明灯（光源）、５……処理装
置、６……画像表示装置（モニタ）、７……スピーカ、
１１……画像入力部（画像入力手段）、１２……画像蓄
積部、１３……物体領域抽出部（物体領域抽出手段）、
１４……輪郭抽出部（輪郭抽出手段）、１５……物体判
別部（物体判別手段）、１６……箱理想形状抽出部（理
想形状抽出手段）、１７……前後方向束理想形状抽出部
（理想形状抽出手段）、１８……上下方向束理想形状抽
出部（理想形状抽出手段）、１９……左右方向束理想形
状抽出部（理想形状抽出手段）、２０……形状判定部
（形状判定手段）、２１……出力部（出力手段）。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 静止中または移動中の検査物体を含む画
   像を撮像手段により撮像し、この撮像した画像を解析す
   ることで、前記検査物体が前記撮像手段に対して前後方
   向に束ねられた束であるのか、上下方向に束ねられてい
   る束であるのか、左右方向に束ねられている束であるの
   か、箱状の剛体のような一かたまりの物体であるのかを
   判別し、その判別結果に応じて最適な位置の輪郭線の情
   報から近似輪郭直線を求め、実際の輪郭線との関係から
   検査物体の端点を抽出することで理想形状を推定し、実
   際の輪郭線と比較することによって、検査物体が正常な
   状態や形状になっているかどうかを検査することを特徴
   とする物体検査方法。
2. 【請求項２】 前記撮像手段は検査物体の斜め上方から
   斜め下向きに設置されていることを特徴とする請求項１
   記載の物体検査方法。
3. 【請求項３】 検査物体が静止して置かれているか移動
   している場合に、撮像手段から入力した画像の縦方向お
   よび横方向それぞれの微分画像の射影を求め、一定幅の
   凹部を持つ位置を帯の位置として抽出し、その位置や方
   向によって、撮像手段に向かって前後方向に束ねられて
   いる束であるのか、上下方向に束ねられている束である
   のか、左右方向に束ねられている束であるのか、箱状の
   剛体のような一かたまりの物体であるのかを判別するこ
   とを特徴とする請求項１記載の物体検査方法。
4. 【請求項４】 シートのように平面状の物体、または、
   平面状の物体が一定枚数で束ねられている把状の物体、
   または、書籍や箱などが、撮像手段から見て前後方向に
   複数束ねられている束が置かれていたり移動している場
   合において、その物体の撮像手段側手前と上側の隣接す
   る２面のみが見えるようにして得られた画像を利用する
   ことにより、物体の輪郭線に含まれる点の中から物体領
   域内の最も上部で中央に位置する輪郭線上の一点を抽出
   し、その近傍に位置する複数の点の情報を基に近似直線
   を求めて物体上底の理想輪郭直線とし、その理想輪郭直
   線の中央に位置する点から輪郭線に含まれる点を順番に
   追跡し、理想輪郭直線から一定距離以上離れる点が続い
   た場合に、その場所を物体の仮の端点と仮定し、その仮
   の端点と、左右に一定画素数だけ離れた輪郭線上の２点
   とを結ぶことでできる２本の直線によってできる角度を
   調べて、一定角度以上ある場合にその場所を実際にその
   物体の端点として抽出し、物体領域内の最も左右端にあ
   る点とでできる四角形によって物体上面の理想形状を抽
   出し、物体上面の輪郭線のうち撮像手段から見て手前か
   ら奥に延びている２本の輪郭線に相当する部分と、その
   場所に対応する理想輪郭直線との平均誤差距離を求める
   ことによって、束が整っていない状態で束ねられている
   かどうかを検査することを特徴とする請求項１記載の物
   体検査方法。
5. 【請求項５】 シートのように平面状の物体、または、
   平面状の物体が一定枚数で束ねられている把状の物体、
   または、書籍や箱などが、撮像手段から見て上下方向に
   複数束ねられている束が置かれていたり移動している場
   合において、その物体の撮像手段側手前と上側の隣接す
   る２面のみが見えるようにして得られた画像を利用する
   ことにより、物体抽出領域の中で最も左右端に存在する
   点の重心を求めることで物体上面手前側の両端点を検出
   し、その左右端点それぞれから輪郭線に沿って下側に一
   定数とった輪郭線上の点から求められた近似直線と、微
   分画像の射影から得られた影の影響のない物体領域最下
   部を示す直線との交点を物体前面の下側の両端点とし、
   これら求められた４つの点から得られる物体前面の理想
   輪郭直線のうち画像において垂直方向に延びている平行
   する左右端の理想輪郭直線と、その場所に対応した輪郭
   線との平均誤差距離を求めることによって、束が整って
   いない状態で束ねられているかどうかを検査することを
   特徴とする請求項１記載の物体検査方法。
6. 【請求項６】 シートのように平面状の物体、または、
   平面状の物体が一定枚数で束ねられている把状の物体、
   または、書籍や箱などが、撮像手段から見て上下方向に
   複数束ねられている束が置かれていたり移動している場
   合において、その物体の撮像手段側手前と上側の隣接す
   る２面のみが見えるようにして得られた画像を利用する
   ことにより、物体抽出領域の中で最も左右端に存在する
   点の重心を求めることで物体上面手前側の両端点を検出
   し、その左右端点それぞれから輪郭線に沿って上側に一
   定数とった輪郭線上の点から求められた近似直線と、微
   分画像の射影から得られた影の影響のない物体領域最上
   部を示す直線との交点を物体上面の奥側の両端点とし、
   これら求められた４つの点から得られる物体前面の理想
   輪郭直線のうち画像において物体上面の一番奥に位置す
   る水平方向の理想輪郭直線と、その場所に対応する輪郭
   線との平均誤差距離を求めることによって、束が整って
   いない状態で束ねられているかどうかを検査することを
   特徴とする請求項１記載の物体検査方法。
7. 【請求項７】 箱状の剛体のような一かたまりの物体が
   置かれていたり移動している場合において、その物体の
   撮像手段側手前と上側の隣接する２面のみが見えるよう
   にして得られた画像を利用することにより、物体領域の
   中で最も左右端に存在する点を上面手前側の両端点とし
   て検出し、さらに、物体領域の外接矩形の左上と右上の
   点に最も近い輪郭線上の点を物体上面奥側の両端点とし
   て検出し、これら検出した４点によって定められる物体
   上面の理想輪郭直線のうち最も手前側で水平方向に延び
   る直線以外の３本の理想輪郭直線と、その位置に対応す
   る輪郭線上の点との平均誤差距離を求めることによっ
   て、検査物体の形状に凹凸があるかどうかを検査するこ
   とを特徴とする請求項１記載の物体検査方法。
8. 【請求項８】 静止または移動中の検査物体を含む画像
   を撮像手段で撮像して入力する画像入力手段と、 この画像入力手段で入力された画像から前記検査物体の
   領域を抽出する物体領域抽出手段と、 この物体領域抽出手段で抽出された物体領域において輪
   郭線を抽出する輪郭抽出手段と、 前記画像入力手段で入力された画像に基づき、縦線強調
   および横線強調の微分画像の射影の状態によって前記検
   査物体が前記撮像手段に対して前後方向に束ねられた束
   であるのか、上下方向に束ねられている束であるのか、
   左右方向に束ねられている束であるのか、箱状の剛体の
   ような一かたまりの物体であるのかを判別する物体判別
   手段と、 この物体判別手段の判別結果に基づき、それぞれの検査
   物体に応じて最適な位置にある輪郭線とその近似直線と
   から物体の角にあたる端点を抽出し、それらを結ぶこと
   で理想形状を抽出する理想形状抽出手段と、 この理想形状抽出手段で抽出された理想形状直線と輪郭
   線上の点との平均誤差距離を計算して前記検査物体が正
   常な状態や形状をしているのかどうかを判定する形状判
   定手段と、 を具備したことを特徴とする物体検査装置。
9. 【請求項９】 前記物体判別手段は、検査物体が静止し
   て置かれているか移動している場合に、画像入力手段か
   ら入力した画像の縦方向および横方向それぞれの微分画
   像の射影を求め、一定幅の凹部を持つ位置を帯の位置と
   して抽出し、その位置や方向によって、画像入力手段の
   撮像手段に向かって前後方向に束ねられている束である
   のか、上下方向に束ねられている束であるのか、左右方
   向に束ねられている束であるのか、箱状の剛体のような
   一かたまりの物体であるのかを判別することを特徴とす
   る請求項８記載の物体検査装置。
10. 【請求項１０】 前記形状判定手段の判定結果を画像や
    音声によって出力する出力手段を更に具備したことを特
    徴とする請求項８記載の物体検査装置。