JP5241410B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、物体表面を撮像して取得した多値画像から、用途に応じて所望の特徴量を強調する、あるいはブロブ化を可能とする画像処理装置、該画像処理装置で用いる画像処理方法、及び該画像処理方法における処理をコンピュータに実行させるコンピュータプログラムに関する。

従来、撮像された画像に対してフィルタ処理を実行することにより、画像に存在するノイズを減少させる、所定のエッジ部分を強調する等により、画像から目的対象物を精度良く抽出する技術が多々開発されている。また、画像内の所望のコントラストのみを強調することにより、より正確に目的対象物を抽出する技術も開発されている。

例えば特許文献１では、連続移動ウェブを自動検査する検査方法において、画像化したデジタルデータストリームからブロブリストを生成して、生成されたブロブリストに含まれているブロブを解析してサンプル画像と比較することにより、精度良く画像上の欠陥を識別する方法が開示されている。
特表２００４−５２７７３４号公報

しかし、特許文献１に開示されている検査方法に用いられている画像処理方法では、欠陥を識別する精度向上には一定の効果を奏するものの、フィルタ処理の程度をユーザの意図に応じて変動させることはできない。例えばユーザが、より広い範囲により高速処理が可能なフィルタ処理を実行した場合、ユーザが意識していたフィルタ処理よりもぼかしの程度が大きすぎ、再度一からフィルタ処理をやり直す必要が生じる場合、あるいは逆になかなか所望の程度にまで画像がぼけない等の使いにくさを解消することはできない。

処理後の画像の用途を広げるためには、フィルタ処理の程度をユーザが確認しながら調整できることが、使い勝手の観点からはより好ましい。すなわち、フィルタ処理による画像をぼかすことができる程度の幅に広狭があることがより望ましい。

本発明は上記事情に鑑みてなされたものであり、物体表面を撮像して取得した多値画像から、用途に応じて所望のぼかし程度を選択したフィルタ処理を実行することができる画像処理装置、該画像処理装置で用いる画像処理方法、及び該画像処理方法における処理をコンピュータに実行させるコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像処理装置は、撮像手段で撮像された多値画像に対する画像処理を実行する画像処理装置において、前記多値画像に対して平滑化処理を実行する第一のフィルタ処理手段と、前記多値画像を画像縮小率で縮小した縮小画像を生成する画像縮小手段、前記縮小画像に対して平滑化処理を実行する平滑化処理手段、及び該平滑化処理手段により平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する画像拡大手段を有する第二のフィルタ処理手段と、前記第一のフィルタ処理手段と前記第二のフィルタ処理手段との選択を受け付ける選択受付手段と、選択を受け付けた前記第一のフィルタ処理手段又は前記第二のフィルタ処理手段による処理が実行された画像を表示する画像表示手段と、前記画像縮小手段、前記平滑化処理手段及び前記画像拡大手段による処理を繰り返し実行する繰り返し手段とを備え、該繰り返し手段により前記画像縮小手段、前記平滑化処理手段及び前記画像拡大手段による処理を実行する都度、前記画像縮小率を小さく設定するようにしてあることを特徴とする。

また、第２発明に係る画像処理装置は、第１発明において、前記第二のフィルタ処理手段は、前記多値画像の鮮明度を減じる度合であるぼかし度の設定を受け付けるぼかし度設定受付手段と、受け付けたぼかし度を設定するぼかし度設定手段と、設定されたぼかし度に応じて画像縮小率を設定する画像縮小率設定手段とを備え、前記画像縮小手段は、前記画像縮小率設定手段で設定された前記画像縮小率で縮小した縮小画像を生成するようにしてあることを特徴とする。

また、第３発明に係る画像処理装置は、第１又は第２発明において、前記第一のフィルタ処理手段及び前記第二のフィルタ処理手段における平滑化処理の方向の指定を受け付けるフィルタ処理方向受付手段を備えることを特徴とする。

次に、上記目的を達成するために第４発明に係る画像処理方法は、撮像手段で撮像された多値画像に対する画像処理を実行する画像処理装置で実行することが可能な画像処理方法において、前記多値画像に対して平滑化処理を実行する処理と、前記多値画像を画像縮小率で縮小した縮小画像を生成し、前記縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理との選択を受け付け、選択を受け付けた処理が実行された画像を表示し、前記縮小画像を生成し、前記縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理を繰り返し実行し、前記縮小画像を生成し、前記縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理を実行する都度、前記画像縮小率を小さく設定することを特徴とする。

また、第５発明に係る画像処理方法は、第４発明において、前記多値画像の鮮明度を減じる度合であるぼかし度の設定を受け付け、受け付けたぼかし度を設定し、設定されたぼかし度に応じて画像縮小率を設定し、設定された前記画像縮小率で縮小した縮小画像を生成することを特徴とする。

また、第６発明に係る画像処理方法は、第４又は第５発明において、平滑化処理の方向の指定を受け付けることを特徴とする。

第１発明及び第４発明では、多値画像に対して平滑化処理を実行する処理と、多値画像を画像縮小率で縮小した縮小画像を生成し、縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理との選択を受け付け、選択を受け付けた処理が実行された画像を表示する。２種類のフィルタ処理の選択を受け付けることにより、後処理の必要度に応じて平滑化処理による多値画像のぼかし処理と、ぼかし度合を高めたぼかし処理とをユーザが任意に選択することができる。したがって、例えば誤ったブロブが生じるのを表示される画面で確認しながら未然に回避することができる。また、一定のぼかし度合に到達するまでの到達時間は、縮小画像を生成し、縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成するぼかし処理の方が早く、所望のぼかし度合まで到達する時間を大きく短縮することも可能となる。また、縮小画像を生成し、縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理を繰り返し実行し、一連の処理を繰り返し実行する都度、画像縮小率を小さく設定することにより、画像縮小率が大きい場合であっても、フィルタ処理実行後の画像の粒度が粗くなるのを最小限に止めることができ、円滑さを維持したぼかし画像を生成することが可能となる。

第２発明及び第５発明では、多値画像の鮮明度を減じる度合であるぼかし度の設定を受け付け、受け付けたぼかし度を設定し、設定されたぼかし度に応じて画像縮小率を設定し、設定された画像縮小率で縮小した縮小画像を生成する。これにより、処理後の画面を確認しながら後処理に最適なぼかし度を設定することができ、誤った処理がなされるのを未然に回避することが可能となる。

第３発明及び第６発明では、平滑化処理の方向の指定を受け付けることにより、後処理に応じて必要な方向のフィルタ処理を実行することが可能となる。

本発明によれば、２種類のフィルタ処理の選択を受け付けることにより、後処理の必要度に応じて平滑化処理による多値画像のぼかし処理と、ぼかし度合を高めたぼかし処理とをユーザが任意に選択することができる。したがって、例えば誤ったブロブが生じるのを表示される画面で確認しながら未然に回避することができる。また、一定のぼかし度合に到達するまでの到達時間は、縮小画像を生成し、縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成するぼかし処理の方が早く、所望のぼかし度合まで到達する時間を大きく短縮することも可能となる。また、縮小画像を生成し、縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理を繰り返し実行し、一連の処理を繰り返し実行する都度、画像縮小率を小さく設定することにより、画像縮小率が大きい場合であっても、フィルタ処理実行後の画像の粒度が粗くなるのを最小限に止めることができ、円滑さを維持したぼかし画像を生成することが可能となる。

以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。

図１は、本発明の実施の形態に係る画像処理装置の構成を模式的に示すブロック図である。図１に示すように本実施の形態に係る画像処理装置２は、多値画像を撮像する撮像手段であるカメラ１及び撮像された多値画像又は生成された画像を表示する画像表示手段である表示装置３に接続されている。

画像処理装置２は、少なくともＣＰＵ（中央演算装置）、ＬＳＩ等で構成された主制御部２１、ＲＡＭ２２、記憶手段２３、入力手段２４、出力手段２５、通信手段２６、補助記憶手段２７及び上述したハードウェアを接続する内部バス２８で構成されている。主制御部２１は、内部バス２８を介して画像処理装置２の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段２３に記憶されているコンピュータプログラム５に従って、種々のソフトウェア的機能を実行する。ＲＡＭ２２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム５の実行時にロードモジュールが展開され、コンピュータプログラム５の実行時に発生する一時的なデータ等を記憶する。

記憶手段２３は、内蔵される固定型記憶装置（ハードディスク、フラッシュメモリ）、ＲＯＭ等で構成されている。記憶手段２３に記憶されているコンピュータプログラム５は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ等の可搬型記録媒体４から、補助記憶手段２７によりダウンロードされ、実行時には記憶手段２３からＲＡＭ２２へ展開して実行される。もちろん、通信手段２６を介して外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。

通信手段２６は内部バス２８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段２３は、画像処理装置２に内蔵される構成に限定されるものではなく、通信手段２６を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。

入力手段２４は、キーボード及びマウス等のデータ入力媒体の他、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む広い概念である。出力手段２５は、レーザプリンタ、ドットプリンタ等の印刷装置等を意味する。

カメラ（撮像手段）１は、ＣＣＤ撮像素子を備えたＣＣＤカメラ等である。表示装置（画像表示手段）３は、ＣＲＴ、液晶パネル等を有する表示装置である。カメラ１、表示装置３等は、画像処理装置２と一体化されていても良いし、分離されていても良い。外部制御機器６は、通信手段２６を介して接続されている制御機器であり、例えばＰＬＣ（プログラマブルロジックコントローラ）等が相当する。ここで外部制御機器６とは、画像処理装置２による画像処理結果に応じて後処理を実行する機器全体を意味している。

図２は、本発明の実施の形態に係る画像処理装置２の一構成例を示す機能ブロック図である。図２において、本実施の形態に係る画像処理装置２は、カメラ１と、画像処理装置２の処理を実行する画像処理部７と、記憶手段２３と、入力受付／画像表示部８とから構成される。

カメラ１は、例えばディジタルカメラとして機能し、検出対象物として例えばフィルム表面を撮像し多値画像を取得して画像処理部７へ出力する。

画像処理部７は、フィルタ処理選択手段７０と、フィルタ回数設定手段７１と、平滑化処理手段７２と、ぼかし度設定手段７３と、処理方向設定手段７４と、画像縮小率設定手段７５と、画像縮小手段７６と、平滑化処理手段７７と、画像拡大手段７８と、画像表示手段７９と、後処理手段８０とを含む。また、画像処理部７は、主制御部２１、ＲＡＭ２２、外部Ｉ／Ｆ等を含んで構成され、フィルタ処理選択手段７０、フィルタ回数設定手段７１、平滑化処理手段７２、ぼかし度設定手段７３、処理方向設定手段７４、画像縮小率設定手段７５、画像縮小手段７６、平滑化処理手段７７、画像拡大手段７８、画像表示手段７９及び後処理手段８０の処理動作を制御する。

記憶手段２３は、画像メモリとして機能し、カメラ１により撮像された元の多値画像、及び画像処理部７において各種処理を行った後の画像を随時記憶する。

入力受付／画像表示部８は、コンピュータ用のモニタ等の表示装置３、マウス、キーボード等の入力手段２４で構成される。入力受付部は、例えばダイアログボックスとして表示装置３の表示画面上に設けられ、フィルタ処理選択受付手段３１と、ぼかし度設定受付手段３２と、処理方向設定受付手段３３と、フィルタ回数設定受付手段３４と、表示画像選択受付手段３５と、後処理設定受付手段３６とを含む。画像表示部２４０は、表示装置３の表示画面上の入力受付部に隣接して設けられ、元画像表示手段２４１と、フィルタ画像表示手段２４２とを含む。ユーザは、表示画像選択受付手段３５にて元の多値画像、及び選択されたフィルタ処理が実行されたフィルタ画像のいずれかを選択して、表示装置３の表示画面上に表示させることができる。

次に、画像処理部７の各構成について説明する。

フィルタ処理選択手段７０は、入力受付／画像表示部８のフィルタ処理選択受付手段３１にて、ユーザから受け付けたフィルタ処理の選択に応じて、通常の平滑化処理を複数回実行するか（以下、第一のフィルタ処理手段）、縮小画像に対して平滑化処理を実行して元の倍率の画像へ拡大する処理を実行するか（以下、第二のフィルタ処理手段）の選択を受け付ける。

フィルタ回数設定手段７１は、フィルタ処理選択手段７０により第一のフィルタ処理手段の選択を受け付けた場合、入力受付／画像表示部８のフィルタ回数設定受付手段３４にて、ユーザから受け付けたフィルタ処理の回数に応じて、平滑化処理手段７２にて実行する平滑化処理の回数を決定する。

平滑化処理手段７２は、例えば平均化フィルタに代表される二次元フィルタとして機能し、フィルタ回数設定手段７１により決定された回数だけカメラ１により撮像された元の多値画像に対して平滑化処理（フィルタ処理）を実行する。平均化フィルタは、注目画素の画素値を、フィルタサイズ範囲内の全画素値の平均値で置き換えて出力する二次元フィルタである。なお、平滑化処理（フィルタ処理）には、注目画素の画素値を、フィルタサイズ範囲内の全画素の画素値のうちの中間値で置き換えて出力する二次元フィルタであるメディアンフィルタ等、他のフィルタを用いても良い。

ぼかし度設定手段７３は、フィルタ処理選択手段７０により第二のフィルタ処理手段の選択を受け付けた場合、入力受付／画像表示部８のぼかし度設定受付手段３２にて、ユーザから受け付けたぼかし度を設定する。

処理方向設定手段７４は、入力受付／画像表示部８の処理方向設定受付手段３３にて、ユーザから受け付けたフィルタ処理の方向に応じて、平滑化処理手段７２にて実行する平滑化処理の方向を設定する。例えば、画面の横方向をｘ軸方向、縦方向をｙ軸方向とした場合、ｘ軸方向、ｙ軸方向等の設定を行う。

画像縮小率設定手段７５は、ぼかし度設定手段７３により設定されたぼかし度に応じて、カメラ１により取得された元の多値画像に対する画像縮小率を画像縮小手段７６に対して設定する。画像縮小率設定手段７５は、ぼかし度が大きい（小さい）ほど、画像縮小率を大きく（小さく）設定するように、例えば、ぼかし度を引数とする画像縮小率の参照テーブルの形態で構成されている。

なお、必ずしも参照テーブルである必要はなく、予め定められた規定の計算式に基づいて算出するようにしても良い。例えば画像縮小率の逆数を縮小度として、ぼかし度の２倍を縮小度と規定することにより、ぼかし度に基づいて画像縮小率を設定することができる。また、画像縮小率の微調整をすることができるように、参照テーブルを照会することで求まった画像縮小率に対して乗算する調整係数αの入力を受け付ける調整係数受付部（図示せず）を設けても良い。

さらに、ここで述べている画像縮小率とは、例えば１／２倍から１／５０倍までのものであり、その中で画像縮小率が大きいとは、例えば１／２倍より１／５０倍が画像縮小率が大きいという定義であり、逆に画像縮小率が小さいとは、１／５０倍より１／２倍が画像縮小率が小さいということを意味する。

画像縮小手段７６は、例えば面積平均法という手法を用いる処理を行い、画像縮小率設定手段７５により設定された画像縮小率で元の多値画像を縮小して縮小画像を生成する。ここで、面積平均法は、例えば４画素×４画素の元の多値画像を１／２に縮小して、２画素×２画素の縮小画像を生成する場合、元の多値画像を２画素×２画素の４ブロックに分割し、各ブロックを構成する４画素の輝度値の平均値を算出し、各ブロックの平均値を１画素値として２画素×２画素の縮小画像を生成する手法である。

平滑化処理手段７７は、例えば平均化フィルタに代表される二次元フィルタとして機能し、画像縮小手段７６により生成された縮小画像に対してフィルタ処理を実行する。平滑化処理手段７７は、ぼかし度（又は画像縮小率）が大きい（小さい）ほど、フィルタサイズ又はフィルタ通過回数を大きく（小さく）設定するように、ぼかし度（又は画像縮小率）を引数とするフィルタサイズ（又はフィルタ通過回数）の参照テーブルを含んで構成される。

なお、必ずしも参照テーブルである必要はなく、予め定められた規定の計算式に基づいて算出するようにしても良い。また、「フィルタサイズ」とは、Ｍ画素×Ｍ画素の二次元フィルタの一辺を構成する画素数Ｍを意味する。

画像拡大手段７８は、例えばバイリニア補間法という手法を用いる処理を行い、平滑化処理手段７７によりフィルタ処理が実行された縮小画像を、画像縮小率の逆数に相当する画像拡大率で拡大して拡大画像を生成する。該拡大画像は、元の多値画像に含まれるシェーディングに対応する。ここで、バイリニア補間法は、線形補間を二次元に拡大した補間法で、１画素の周囲４画素から補間対象画素までの距離に応じて重み付け平均された補間値を補間対象画素の画素値とする手法である。

画像表示手段７９は、入力受付／画像表示部８の画像表示部２４０に対して、記憶手段２３に記憶されている画像の表示を指示する。具体的には、入力受付／画像表示部８の表示画像選択受付手段３５にて、ユーザから受け付けた表示画像の選択に応じて、記憶手段２３から元の多値画像又はフィルタ処理手段で処理されたフィルタ画像のいずれかを読み出して元画像表示手段２４１又はフィルタ画像表示手段２４２で表示させる。ユーザは、画像表示部２４０に表示された画像（元画像、フィルタ画像）を適宜用いて、選択したフィルタ処理の効果を評価し、当該評価結果に応じて適切なフィルタ処理を再度選択することが可能となる。例えば、記憶手段２３に記憶された元画像に対するフィルタ処理の再実行や、フィルタ画像に対する更なるフィルタ処理を実行することが可能となり、所望の画像を効率良く得ることができる。例えば、第一のフィルタ処理手段によるフィルタ処理の結果、後処理に十分なフィルタ画像が得られていない、又は後処理に十分なフィルタ画像を得るまでに繰り返しのフィルタ処理が必要であると判断した場合、元画像やフィルタ画像に対して第二のフィルタ処理手段を実行することにより、適切なフィルタ画像を取得することができ、フィルタ処理時間の短縮を図ることが可能となる。

後処理手段８０は、入力受付／画像表示部８の後処理設定受付手段３６にて、ユーザから受け付けた後処理の選択に応じて、第一のフィルタ処理手段及び／又は第二のフィルタ処理手段で処理されたフィルタ画像を後処理する。後処理されたフィルタ画像は、外部制御機器６へ送信して、外部制御機器６により外部の機器等の動作を制御させる。

図３は、本発明の実施の形態に係る画像処理装置２の画像処理部７の主制御部２１による処理手順を示すフローチャートである。本発明の実施の形態に係る画像処理方法の各処理手順は、画像処理部７の内部に格納された本発明に係るコンピュータプログラム５に従って実行される。

図３において、画像処理部７の主制御部２１は、カメラ１により撮像された物体表面の多値画像を取得する（ステップＳ３０１）。主制御部２１は、ユーザによる処理領域の設定を受け付け（ステップＳ３０２）、受け付けた処理領域に対するフィルタ処理手段の選択を受け付ける（ステップＳ３０３）。

図４は、画像表示部２４０での表示画面の例示図である。カメラ１で取得した多値画像を記憶手段２３に記憶しておき、例えばフィルタ処理を実行する前の元の多値画像を表示する場合には「元画像」を、フィルタ処理を実行した後のフィルタ画像を表示する場合には「フィルタ後画像」を、表示画像選択領域（表示画像選択受付手段）４３にて選択する。「元画像」の選択を受け付けた場合、元画像表示手段２４１が動作して画像表示領域４１には記憶手段２３に記憶されている元の多値画像が表示され、「フィルタ後画像」の選択を受け付けた場合、フィルタ画像表示手段２４２が動作して画像表示領域４１にはフィルタ処理実行後のフィルタ画像が表示される。

マウス等の入力手段２４により矩形領域を指定することで、フィルタ処理を実行する処理領域４２の指定を受け付ける。すなわち、フィルタ処理の対象は処理領域４２内の多値画像となる。したがって、フィルタ処理実行後のフィルタ画像も処理領域４２内に表示される。

その他、フィルタ選択領域４４、フィルタ条件設定ボタン４５、フィルタ処理確定ボタン４６等を備えているが、各々の機能の詳細は後述する。

図３に戻って、画像処理部７の主制御部２１が、第一のフィルタ処理手段の選択を受け付けたと判断した場合（ステップＳ３０３：第一のフィルタ処理手段）、主制御部２１は、フィルタ回数の設定を受け付け（ステップＳ３０４）、取得した多値画像に対して受け付けた回数だけ平滑化処理を実行し（ステップＳ３０５）、処理をステップＳ３１３へ進める。

図５は、フィルタ処理手段の選択入力を受け付ける場合の画像表示部２４０での表示画面の例示図である。マウス等の入力手段２４でフィルタ選択領域４４を選択した場合、選択することが可能なフィルタ処理手段の種類を一覧表示するプルダウンメニュー４４１が表示される。図６は、フィルタ処理手段として第一のフィルタ処理手段、すなわち「平均化」の選択入力を受け付けた場合の画像表示部２４０での表示画面の例示図である。マウス等の入力手段２４でプルダウンメニュー４４１の中から「平均化」の選択入力を受け付けた場合、初期設定されているフィルタ条件に基づいて平滑化処理される。平滑化処理されたフィルタ画像は、マウス等の入力手段２４でフィルタ処理確定ボタン４６が選択された場合に処理領域４２に表示される。

なお、マウス等の入力手段２４でフィルタ条件設定ボタン４５を選択することにより、フィルタ条件の詳細情報を設定することができる。フィルタ条件設定ボタン４５が選択された場合、フィルタ条件設定画面がポップアップ表示される。図７は、「平均化」の選択入力を受け付けた場合のフィルタ条件設定画面の例示図である。

フィルタ条件設定画面４５１は、フィルタ回数を設定するフィルタ回数設定領域４５２を有しており、フィルタ回数設定領域４５２に入力されたフィルタ回数だけ平滑化処理が繰り返し実行される。設定されたフィルタ回数で確定する場合には「ＯＫ」ボタン４５３を選択し、再設定する場合には「キャンセル」ボタン４５４を選択する。

図８は、設定されたフィルタ回数に応じたフィルタ画像の例示図である。図８は、処理領域４２のフィルタ画像を示しており、図８（ａ）はフィルタ回数が‘１’と設定された場合のフィルタ画像を、図８（ｂ）はフィルタ回数が‘２’と設定された場合のフィルタ画像を、図８（ｃ）はフィルタ回数が‘３’と設定された場合のフィルタ画像を、図８（ｄ）はフィルタ回数が‘９’と設定された場合のフィルタ画像を、それぞれ示している。

図８（ａ）から図８（ｄ）を比較すればわかるように、フィルタ回数が増加するにしたがって画像が鮮明さを失してぼかし度が増大することがわかる。

図３に戻って、画像処理部７の主制御部２１が、第二のフィルタ処理手段の選択を受け付けたと判断した場合（ステップＳ３０３：第二のフィルタ処理手段）、主制御部２１は、ぼかし度の設定を受け付け（ステップＳ３０６）、フィルタ処理の方向の設定を受け付ける（ステップＳ３０７）。

図９は、フィルタ処理手段として第二のフィルタ処理手段の選択入力を受け付けた場合の画像表示部２４０での表示画面の例示図である。マウス等の入力手段２４でフィルタ選択領域４４を選択した場合、図５と同様に、選択することが可能なフィルタ処理手段の種類を一覧表示するプルダウンメニュー４４１が表示され、フィルタ処理手段として第二のフィルタ処理手段、すなわち画像縮小してから平滑化処理を実行し、元の大きさまで画像拡大する「ぼかし処理」の選択入力を受け付ける。「ぼかし処理」の選択入力を受け付けた場合、初期設定されているフィルタ条件に基づいて平滑化処理される。平滑化処理されたフィルタ画像は、マウス等の入力手段２４でフィルタ処理確定ボタン４６が選択された場合に処理領域４２に表示される。

なお、マウス等の入力手段２４でフィルタ条件設定ボタン４５を選択することにより、フィルタ条件の詳細情報を設定することができる。フィルタ条件設定ボタン４５が選択された場合、フィルタ条件設定画面がポップアップ表示される。図１０は、「ぼかし処理」の選択入力を受け付けた場合のフィルタ条件設定画面の例示図である。

図１０において、フィルタ条件設定画面４５５は、ぼかし処理の度合を示す「ぼかし度」を設定するぼかし度設定領域４５６とぼかし処理の処理方向を設定する処理方向設定領域４５７とを有している。ぼかし度設定領域４５６では、ぼかし度として例えば‘１’から‘１０’の数値の入力を受け付ける。受け付けた数値に基づいて、縮小画像を生成する場合の画像縮小率を決定する。受け付けた数値が大きい（小さい）ほど画像縮小率は大きく（小さく）なる。

処理方向設定領域４５７では、フィルタ処理を実行する方向の入力を受け付ける。例えば表示画面の横方向をｘ軸方向、縦方向をｙ軸方向とした場合、「ｘ軸方向」、「ｙ軸方向」及び「ｘ−ｙ軸方向」の３種類の方向の選択を受け付けることができる。設定されたぼかし度及び処理方向で確定する場合には「ＯＫ」ボタン４５３を選択し、再設定する場合には「キャンセル」ボタン４５４を選択する。

図１１は、設定されたぼかし度に応じたフィルタ画像の例示図である。図１１は、処理領域４２のフィルタ画像を示しており、図１１（ａ）はぼかし度が‘１’と設定された場合のフィルタ画像を、図１１（ｂ）はぼかし度が‘２’と設定された場合のフィルタ画像を、図１１（ｃ）はぼかし度が‘３’と設定された場合のフィルタ画像を、図１１（ｄ）はぼかし度が‘４’と設定された場合のフィルタ画像を、それぞれ示している。

図１１（ａ）から図１１（ｄ）を比較すればわかるように、ぼかし度が増大するにしたがって画像が大きく鮮明さを失うことがわかる。また、フィルタ回数を変更する第一のフィルタ処理手段と比べた場合、画像が早期に鮮明さを失うことが明らかである。しかも繰り返し処理を実行することが必要とならないので、演算処理時間は増加することがなく、むしろぼかし度が増大するほど画像縮小率が大きくなることから演算処理時間は短縮される。

図１２は、設定された処理方向に応じたフィルタ画像の例示図である。図１２は、処理領域４２のフィルタ画像を示しており、図１２（ａ）は元の多値画像を、図１２（ｂ）は処理方向が「ｘ軸方向」と設定された場合のフィルタ画像を、図１２（ｃ）は処理方向が「ｙ軸方向」と設定された場合のフィルタ画像を、図１２（ｄ）は処理方向が「ｘ−ｙ軸方向」と設定された場合のフィルタ画像を、それぞれ示している。

図１２（ａ）から図１２（ｄ）を比較すればわかるように、フィルタ処理の処理方向に応じて画像が鮮明さを失う部分が変化している。したがって、後処理における用途に応じて、フィルタ処理を実行するべき方向と実行するべきではない方向とを意識してフィルタ処理することが可能となる。

図３に戻って、画像処理部７の主制御部２１は、ぼかし度及び処理方向に基づいて、処理方向ごと、すなわちｘ軸方向及び／又はｙ軸方向の画像縮小率１／Ｒを決定し（ステップＳ３０８）、決定された画像縮小率１／Ｒにて、取得した多値画像を縮小して、縮小画像を生成する（ステップＳ３０９）。主制御部２１は、縮小画像に対して平滑化処理を実行し（ステップＳ３１０）、平滑化処理が実行された縮小画像を、画像縮小率１／Ｒの逆数に相当する画像拡大率Ｒで拡大し、拡大画像を生成する（ステップＳ３１１）。縮小画像を生成することにより平滑化処理の対象となる画素数を大きく減少することができ、平滑化処理を実行した後に、元の多値画像のスケールにまで拡大するので、全体として元の多値画像に対するぼかし処理に要する演算処理時間を短縮することができる。

主制御部２１が、第一のフィルタ処理手段及び第二のフィルタ処理手段以外のその他のフィルタ処理手段、例えば図５に示す２値化、膨張、収縮、メディアン、エッジ強調、エッジ抽出、ソーベル等の選択を受け付けたと判断した場合（ステップＳ３０３：その他のフィルタ処理手段）、主制御部２１は、選択を受け付けたその他のフィルタ処理を実行し（ステップＳ３１２）、処理をステップＳ３１３へ進める。

主制御部２１は、次に実行すべきフィルタ処理手段の選択を受け付けたか否かを判断し（ステップＳ３１３）、主制御部２１が、次に実行すべきフィルタ処理手段の選択を受け付けたと判断した場合（ステップＳ３１３：ＹＥＳ）、主制御部２１は、処理をステップＳ３０３へ戻し、上述した処理を繰り返す。主制御部２１が、次に実行すべきフィルタ処理手段の選択を受け付けないと判断した場合（ステップＳ３１３：ＮＯ）、主制御部２１は、選択されたフィルタ処理手段によるフィルタ処理実行後のフィルタ画像を表示する（ステップＳ３１４）。すなわち、ユーザは、図４に示す画像表示部２４０での表示画面の例示図で、現在設定されている複数のフィルタ処理手段の一連のフィルタ処理を全て実行した状態での処理後画像を目視で確認することができる。後述するように処理後画像を確認してから逐次フィルタ処理手段を追加することも可能である。なお、主制御部２１は、選択を受け付けたフィルタ処理手段を所定の手順でシーケンシャルに実行する。

主制御部２１は、新たなフィルタ処理手段の選択を受け付けたか否かを判断する（ステップＳ３１５）。主制御部２１が、新たなフィルタ処理手段の選択を受け付けたと判断した場合（ステップＳ３１５：ＹＥＳ）、主制御部２１は、処理をステップＳ３０３へ戻し、上述した処理を繰り返す。

これにより、ユーザは、例えば、第一のフィルタ処理手段によるフィルタ処理の結果、後処理に十分なフィルタ画像が取得できていない、又は後処理に十分なフィルタ画像を取得するまでに繰り返しのフィルタ処理が必要であると判断した場合、元画像やフィルタ画像に対して第二のフィルタ処理手段を実行するよう指示することができ、試行錯誤を繰り返して所望の画像を入手することができる。

主制御部２１が、新たなフィルタ処理手段の選択を受け付けないと判断した場合（ステップＳ３１５：ＮＯ）、主制御部２１は、例えば画素値の最小値又は最大値（画素値が０〜２５５とした場合、０又は２５５）となっている部分を検出するといった後処理を実行し（ステップＳ３１６）、実行後の結果を出力する（ステップＳ３１７）。

なお、第二のフィルタ処理手段において、画像縮小処理から画像拡大処理までの一連の処理を複数回実行しても良い。図１３は、本発明の実施の形態に係る画像処理装置２の画像処理部７の主制御部２１による繰り返し処理の手順を示すフローチャートである。

画像処理部７の主制御部２１が、第二のフィルタ処理手段の選択を受け付けたと判断した場合（ステップＳ３０３：第二のフィルタ処理手段）、主制御部２１は、ぼかし度の設定を受け付け（ステップＳ３０６）、フィルタ処理の方向の設定を受け付ける（ステップＳ３０７）。主制御部２１は、ぼかし度及び処理方向に基づいて、処理方向ごと、すなわちｘ軸方向及び／又はｙ軸方向の画像縮小率１／Ｒを決定し（ステップＳ３０８）、決定された画像縮小率１／Ｒにて、取得した多値画像を縮小して、縮小画像を生成する（ステップＳ３０９）。主制御部２１は、縮小画像に対して平滑化処理を実行し（ステップＳ３１０）、平滑化処理が実行された縮小画像を、画像縮小率１／Ｒの逆数に相当する画像拡大率Ｒで拡大し、拡大画像を生成する（ステップＳ３１１）。

主制御部２１は、設定された繰り返し回数に到達したか否かを判断する（ステップＳ１３０１）。繰り返し回数は、例えば図１０に示すフィルタ条件設定画面４５５において、繰り返し回数設定領域（図示せず）を設けることにより設定入力を受け付けておけば良い。あるいは、繰り返し回数を事前にＲＡＭ２２等に記憶しておき（例えば２回等）、記憶されている繰り返し回数に従って処理を実行しても良い。

主制御部２１が、設定された繰り返し回数に到達したと判断した場合（ステップＳ１３０１：ＹＥＳ）、主制御部２１は、処理をステップＳ３１３へ進めて、上述した処理を実行する。主制御部２１が、設定された繰り返し回数に到達していないと判断した場合（ステップＳ１３０１：ＮＯ）、主制御部２１は、画像縮小率を再計算し（ステップＳ１３０２）、処理をステップＳ３０９に戻して上述した処理を繰り返す。

画像縮小率の再計算方法は、特に限定されるものではないが、繰り返しぼかし処理を実行する都度、画像縮小率が小さくなることが好ましい。特にエッジ部分において滑らかに輝度を変動させるためである。

例えば、ｎ回目のぼかし処理における画像縮小率１／Ｒｎの逆数であるＲｎを画像縮小度と定義した場合、（ｎ＋１）回目のぼかし処理における画像縮小度Ｒ（ｎ＋１）は、（式１）にて求めれば良い。

Ｒ（ｎ＋１）＝Ｒｏｕｎｄｕｐ（Ｒｎ／４）・・・（式１）

なお、（式１）において、Ｒｏｕｎｄｕｐは、カッコ内の引数を切り上げ処理する関数である。したがって、例えばぼかし度の２倍を縮小度と規定した場合、ぼかし度が‘４’と設定されたときには、１回目の画像縮小度Ｒ１は、４×２＝８となる。したがって、１回目の画像縮小率１／Ｒ１は１／８となる。一方、２回目の画像縮小度Ｒ２は、（式１）より８／４＝２となる。したがって、２回目の画像縮小率１／Ｒ２は１／２となる。

図１４は、２回ぼかし処理を実行した場合のフィルタ画像の例示図である。図１４（ａ）は、元の多値画像を、図１４（ｂ）は、画像縮小率１／６４で１回ぼかし処理を実行した場合のフィルタ画像を、図１４（ｃ）は、画像縮小率１／６４で１回ぼかし処理を実行した後、さらに画像縮小率１／１６で１回ぼかし処理を実行した場合のフィルタ画像を、各々示している。

図１４（ａ）に示すように元の多値画像が円形であるのに対し、図１４（ｂ）では、平滑化処理により輪郭線が略多角形のような形状に見える程度にまで粗く表示されている。これに対して図１４（ｃ）では、図１４（ｂ）に見られた粗さを改善することができ、略円形を維持しつつ輪郭部分から順次ぼかしたフィルタ画像を生成している。このように１回目のぼかし処理における画像縮小率の略４倍程度の画像縮小率にて２回目のぼかし処理を実行した場合に、輪郭線の粗さが改善されていることが経験的に確認されている。

また、後処理に応じて、複数のフィルタ処理を組み合わせることも効果的である。例えば後処理が包装された菓子の個数を撮像された多値画像に基づいて計数する処理であった場合、撮像された多値画像を二値化することにより計数精度を高めることができる。

図１５は、後処理が包装された菓子の個数の計数処理である場合の画像の例示図である。図１５（ａ）はカメラ１で撮像された元の多値画像を、図１５（ｂ）は、第二のフィルタ処理手段を用いてぼかし処理を施した後のフィルタ画像を、図１５（ｃ）は、処理方向をｙ軸方向に設定してさらに第二のフィルタ処理手段を用いてぼかし処理を施した後のフィルタ画像を、それぞれ示している。

まず、図１５（ｂ）では、図１５（ａ）に示す多値画像に対してｘ−ｙ軸方向にぼかし処理を施すとともに、周知のブロブ化処理を実行することにより、略７個の包装された菓子が収容されていることを容易に計数することができる画像になっている。しかし、包装紙のデザインによっては黒っぽい部分と白っぽい部分とが混在している場合も生じうる。この場合、例えば分断誤認部１５０１のように、ブロブとして一体化するほうが良いのか、複数のブロブで構成されているのか判断に困る部分が生じるおそれがある。

また、包装された菓子があまりに近接していることにより、隣接するブロブが一体化されて一つの大きいブロブであると誤認される場合も生じうる。この場合、例えば接触誤認部１５０２、１５０２のように本来は別個独立したブロブであるにもかかわらず、両者が接続されて一つのブロブとして誤認される部分が生じるおそれがある。

このような場合であっても、例えば接触する可能性を有する方向と直交する方向であり、またブロブが分断される可能性を有する方向である、図１５（ｂ）の例におけるｙ軸方向にフィルタ処理の処理方向を設定して平滑化処理を施すことにより、図１５（ｃ）に示すように接触していると誤認される接触誤認部１５０２、１５０２が消滅し、かつ分断誤認部１５０１を消滅させることができるので、より精度良く計数することができる。

また、例えば後処理が、画面上の欠陥検出処理であった場合、撮像された多値画像を二値化処理する前に上述したぼかし処理を実行することにより、元の多値画像から直接検出することが困難な欠陥であっても精度良く検出することができる。

図１６は、カメラ１で撮像された多値画像から画像欠陥を検出する欠陥検出処理の例示図である。図１６（ａ）は元の多値画像を、図１６（ｂ）は、第二のフィルタ処理手段によるぼかし処理実行後の画像を、図１６（ｃ）は、二値化処理実行後の画像を、それぞれ示している。

図１６（ａ）のように格子模様が撮像されているために欠陥部１６０１、１６０１を検出することが困難な多値画像であっても、図１６（ｂ）に示すようにぼかし処理を実行することにより格子模様をぼかして表示することができる。ぼかし処理実行後のフィルタ画像に対して、例えば平均輝度値を基準として二値化処理を実行することにより、図１６（ｃ）に示すように欠陥部１６０１、１６０１のみを検出することができるようになる。

以上のように本実施の形態によれば、２つのフィルタ処理手段を選択することにより、取得した多値画像を大きくぼかす場合には第二のフィルタ処理手段に相当する「ぼかし処理」を、少しぼかす場合には第一のフィルタ処理手段に相当する「平均化」処理を、それぞれ施すことができ、しかもフィルタ処理を施した状態を目視で確認しながら随時選択することができるので、ぼかし度合を目視で確認しつつ所望の画像処理を確実にしかも短時間で施すことが可能となる。

なお図４に示す画像表示部２４０での表示画面の例示図では、フィルタ選択領域４４及びフィルタ条件設定ボタン４５が複数個並んで表示されている。これは、上段から順に、過去のフィルタ処理及び該フィルタ処理を実行した場合の条件を即座に確認することができるようにするためである。

例えば１段目のフィルタ選択領域４４が「ぼかし処理」であり、２段目のフィルタ選択領域４４が「平均化」であり、３段目のフィルタ選択領域４４が「２進化」である場合、１から３段目のフィルタ処理それぞれのフィルタ条件設定ボタン４５をマウス等の入力手段２４で選択することで、それぞれのフィルタ条件設定画面が表示される。フィルタ条件設定画面で条件を変更することにより、条件変更後であって、１段目から３段目までのフィルタ処理を実行した時点でのフィルタ画像が、画像表示領域４１に表示される。

もちろん、各段におけるフィルタ画像を世代管理して記憶手段２３に記憶しておき、条件が変更された時点でのフィルタ画像まで遡及してフィルタ画像を表示しても良い。例えば３段目までフィルタ処理を実行した時点で、２段目のぼかし処理におけるぼかし度が大きすぎると判断した場合、２段目のぼかし処理の条件を変更した時点で、世代管理している１段目のフィルタ画像に変更された条件でのぼかし処理を実行したフィルタ画像を画像表示領域４１に表示するようにしても良い。このようにすることで、ユーザが条件を誤ったと判断した時点で任意のフィルタ画像まで処理を遡ることができる。世代管理されるフィルタ画像は、全ての世代について記憶手段２３に記憶しても良いし、直近の所定の世代分のフィルタ画像、例えば直近１０世代のフィルタ画像のみ記憶するようにしても良い。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば第二のフィルタ処理手段を繰り返し実行する場合、画像拡大処理にて元の多値画像のスケールまで拡大するのではなく、次の画像縮小処理における画像縮小率で縮小される縮小画像のスケールまで一気に拡大することで、演算処理負荷を軽減しても良い。

本発明の実施の形態に係る画像処理装置の構成を模式的に示すブロック図である。 本発明の実施の形態に係る画像処理装置の一構成例を示す機能ブロック図である。 本発明の実施の形態に係る画像処理装置の画像処理部の主制御部による処理手順を示すフローチャートである。 画像表示部での表示画面の例示図である。 フィルタ処理手段の選択入力を受け付ける場合の画像表示部での表示画面の例示図である。 フィルタ処理手段として第一のフィルタ処理手段の選択入力を受け付けた場合の画像表示部での表示画面の例示図である。 「平均化」の選択入力を受け付けた場合のフィルタ条件設定画面の例示図である。 設定されたフィルタ回数に応じたフィルタ画像の例示図である。 フィルタ処理手段として第二のフィルタ処理手段の選択入力を受け付けた場合の画像表示部での表示画面の例示図である。 「ぼかし処理」の選択入力を受け付けた場合のフィルタ条件設定画面の例示図である。 設定されたぼかし度に応じたフィルタ画像の例示図である。 設定された処理方向に応じたフィルタ画像の例示図である。 本発明の実施の形態に係る画像処理装置の画像処理部の主制御部による繰り返し処理の手順を示すフローチャートである。 ２回ぼかし処理を実行した場合のフィルタ画像の例示図である。 後処理が包装された菓子の個数の計数処理である場合の画像の例示図である。 カメラで撮像された多値画像から画像欠陥を検出する欠陥検出処理の例示図である。

符号の説明

１ カメラ（撮像手段）
２ 画像処理装置
３ 表示装置（画像表示手段）
４ 可搬型記録媒体
５ コンピュータプログラム
６ 外部制御機器
７ 画像処理部
８ 入力受付／画像表示部
２１ 主制御部
２２ ＲＡＭ
２３ 記憶手段
２４ 入力手段
２５ 出力手段
２６ 通信手段
２７ 補助記憶手段
２８ 内部バス

Claims (6)

1. 撮像手段で撮像された多値画像に対する画像処理を実行する画像処理装置において、
   前記多値画像に対して平滑化処理を実行する第一のフィルタ処理手段と、
   前記多値画像を画像縮小率で縮小した縮小画像を生成する画像縮小手段、
   前記縮小画像に対して平滑化処理を実行する平滑化処理手段、及び
   該平滑化処理手段により平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する画像拡大手段を有する第二のフィルタ処理手段と、
   前記第一のフィルタ処理手段と前記第二のフィルタ処理手段との選択を受け付ける選択受付手段と、
   選択を受け付けた前記第一のフィルタ処理手段又は前記第二のフィルタ処理手段による処理が実行された画像を表示する画像表示手段と、
   前記画像縮小手段、前記平滑化処理手段及び前記画像拡大手段による処理を繰り返し実行する繰り返し手段と
   を備え、
   該繰り返し手段により前記画像縮小手段、前記平滑化処理手段及び前記画像拡大手段による処理を実行する都度、前記画像縮小率を小さく設定するようにしてあることを特徴とする画像処理装置。
2. 前記第二のフィルタ処理手段は、
   前記多値画像の鮮明度を減じる度合であるぼかし度の設定を受け付けるぼかし度設定受付手段と、
   受け付けたぼかし度を設定するぼかし度設定手段と、
   設定されたぼかし度に応じて画像縮小率を設定する画像縮小率設定手段と
   を備え、
   前記画像縮小手段は、前記画像縮小率設定手段で設定された前記画像縮小率で縮小した縮小画像を生成するようにしてあることを特徴とする請求項１に記載の画像処理装置。
3. 前記第一のフィルタ処理手段及び前記第二のフィルタ処理手段における平滑化処理の方向の指定を受け付けるフィルタ処理方向受付手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像手段で撮像された多値画像に対する画像処理を実行する画像処理装置で実行することが可能な画像処理方法において、
   前記多値画像に対して平滑化処理を実行する処理と、
   前記多値画像を画像縮小率で縮小した縮小画像を生成し、
   前記縮小画像に対して平滑化処理を実行し、
   平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理との選択を受け付け、
   選択を受け付けた処理が実行された画像を表示し、
   前記縮小画像を生成し、前記縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理を繰り返し実行し、
   前記縮小画像を生成し、前記縮小画像に対して平滑化処理を実行し、平滑化処理が実行された縮小画像を、前記画像縮小率の逆数に相当する画像拡大率で拡大した拡大画像を生成する処理を実行する都度、前記画像縮小率を小さく設定することを特徴とする画像処理方法。
5. 前記多値画像の鮮明度を減じる度合であるぼかし度の設定を受け付け、
   受け付けたぼかし度を設定し、
   設定されたぼかし度に応じて画像縮小率を設定し、
   設定された前記画像縮小率で縮小した縮小画像を生成することを特徴とする請求項４に記載の画像処理方法。
6. 平滑化処理の方向の指定を受け付けることを特徴とする請求項４又は５に記載の画像処理方法。

Images