JP2012198848A - 物体識別装置 - Google Patents

Abstract

【課題】 パン同士が部分的に互いに接触していても、画像認識により各物体の種類を識別するにあたり、物体毎の領域に自動的に分離処理し得る物体識別装置を提供する。
【解決手段】 ２以上のパンが接触した状態のカラー画像を二値化処理して２以上のパンの二値化画像を切り出し、抽出した輪郭線を多角形近似により近似多角形の各頂点Ｐ１〜Ｐ３３の座標を得る。各頂点（Ｐ１２）について前後の頂点（Ｐ１１−９，Ｐ１３−１４）との位置関係に基づき屈曲状況を表すくびれベクトル（ＫＨ）を求める。一対の境界点候補を結ぶ境界線候補の長さＬ、境界線候補と各くびれベクトルとのなす角度θ、境界線候補を直径とする円形領域（Ｅ１２−２７）が全体画像領域と重複する領域占有率、くびれベクトルの深さＤに基づいて境界線を確定する。境界線で領域分けして分離する。
【選択図】 図１０

Description

本発明は、撮像された例えばパン等の物体を識別するための物体識別装置に関し、特に同一画像内に複数の物体が接触した状態にある場合に個々の物体毎に識別するために自動的に各物体に分離処理し得る技術に係る。

従来、例えば特許文献１では、画像情報に含まれる物体を識別するために、その物体の輪郭線を得る技術が提案されている。
又、特許文献２では、画像情報に含まれる輪郭等の形状特徴を抽出して、これに類似するモデルとの対比により識別する技術が提案されている。
さらに、特許文献３では、画像情報に含まれる錠剤の個数を検出する上で、２個の錠剤が部分的に接触していたとしても、正確に２個と識別する技術が提案されている。このものでは、互いに接触して塊領域を示す二値画像の内側の輪郭線に沿って配置させた多数の点の内から選択した２点を結ぶ連結線が、一部でも前記塊領域の領域外を通る場合はその２点はそれぞれ異なる錠剤に属する、つまり２個の錠剤があると識別するようにしている。

特開平７−２２０８９号公報 特開２０００−２１５３１５号公報 特開２００６−２３４５１９号公報

ところで、近年、自家製のパンを販売するパン屋が増加傾向にあり、そのようなパン屋で製造・販売されるパンの種類も増加傾向にある。このようなパン屋では顧客が自己の欲するパンを陳列台からトレーに移し、トレーに載せた状態で代金計算が行われており、それに手間と時間を要している。すなわち、パンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。従って、販売員は、トレー上のパンの種類を正確に見分け、それに基づいて例えばＰＯＳレジスタに正確に入力する必要があり、これらに熟練作業が要求されることになる。このため、出願人において、トレー上のパンについてＣＣＤカメラにより撮像し、この画像情報からトレー上のパンの種類と数を自動的に認識して、代金計算を自動化し得る技術の開発を進めている。

このようなパンの識別において、顧客が陳列台からトレーに複数個のパンを載せる際に、それらの個々のパンを互いに接触させた状態でトレーを代金計算に持参する場合が考えられる。この場合、前記の画像情報からの自動認識を適用しようとしても、例えば２個のパンが接触して１つの輪郭を構成していると、たとえその輪郭から特徴量を得たとしても、本来は個々の種類のパンの特徴量についてモデル化されたものと合致せず、識別は困難又は不能となることが考えられる。このため、撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行わざるを得ず、その上に、衛生状態を維持しつつ前記移動作業とＰＯＳレジスタの操作とを行わざるを得ず、手間を要することになると考えられる。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、物体同士が部分的に互いに接触した状態で撮像されているとしても、その画像に基づいて各物体を識別するにあたり、個々の物体に自動的に分離処理して区分し得る物体識別装置を提供することにある。

上記目的を達成するために、本発明では、同一平面上に載置された２以上の物体について撮像手段により撮像されたカラー画像を取り込み、このカラー画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置を対象にして次の特定事項を備えることとした。すなわち、前記画像処理手段として、前記カラー画像に含まれる２以上の物体が互いに接触した状態にあるときに個々の物体に属する領域に分離して区分けする分離処理部を備えたものとし、この分離処理部により分離された個々の物体に属する領域毎に前記物体の種類についての識別処理を実行するように構成する。そして、前記分離処理部として、前記カラー画像から前記２以上の物体の画像領域を二値化処理により抽出する機能と、抽出された二値化画像から前記２以上の物体の画像領域の輪郭線を抽出する機能と、抽出された輪郭線に沿って多角形近似処理によりその近似多角形を構成する各頂点を抽出する機能と、各頂点について前後に位置する頂点との関係で特定される屈曲状況をくびれベクトルにして求める機能と、境界点候補として一対の頂点を抽出しこの一対の境界点候補間を結ぶ境界線候補の長さ及びその境界線候補に対する前記一対の境界点候補のそれぞれにおける前記くびれベクトルがなす角度をパラメータとして演算する機能と、演算された境界線候補の長さがより短くかつ前記くびれベクトルがなす角度が１８０度により近い一対の境界点候補の組み合わせを一対の境界点として設定して境界線を確定する機能と、前記２以上の物体の画像領域を前記一対の境界点を結ぶ境界線で分離して領域分けする機能とを備えた構成とする（請求項１）。

本発明の場合、２以上の物体が互いに接触した状態で撮像されていても、分離処理部によって、それら２以上の物体の画像領域の輪郭線抽出、その輪郭線に沿って多角形近似により得られる各頂点の抽出、抽出された各頂点についてくびれベクトルの演算を経た上で、境界点候補がくびれベクトルに基づいて抽出され、一対の境界点候補を結ぶ境界線候補からその長さや、境界線候補とくびれベクトルとのなす角度に基づいて境界線が確定される。そして、確定された境界線で２以上の物体が一体となった画像領域が領域分けされるため、領域分けされた個々の物体に対応する画像領域に基づき各物体の種類が確実に識別されることになる。従って、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン（物体）を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に接触状態の複数のパンを個々のパンに属するそれぞれの領域に分離（区分け）した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。なお、前記の識別処理としては個々の物体に属するものとして領域分けされた画像領域に対応するカラー画像部分の形状に関する特徴量に基づき各物体の種類を識別するようにすればよい。

前記発明の物体識別装置において、前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備えることとし、前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出する構成とすることができる（請求項２）。このようにすることにより、境界点候補の抽出、及び、この境界点候補の抽出による境界線の確定を、より確実に実現させ得ることになる。

又、その場合、前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備えることとし、この境界線スコアの値の大小に基づいて境界線を確定する構成とすることができる（請求項３）。このようにすることにより、境界線の確定をより確実なものとし得ることになる。

さらに、前記演算式として、前記境界線候補を直径とする円形領域が前記２以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成することができる（請求項４）。あるいは、加えて、前記演算式として、前記くびれベクトルのくびれ深さをもパラメータに加えて境界線スコアを演算するように構成することができる（請求項５）。このようにすることにより、前記演算式に基づく境界線の確定がより一層確実なものとし得ることになる。

以上、説明したように、本発明の物体識別装置によれば、２以上の物体が互いに接触した状態で撮像されていても、分離処理部によって、２以上の物体の画像領域において互いに接触している境界線を自動的に確定することができるようになる。そして、この確定された境界線で２以上の物体が一体となった画像領域を領域分けすることができるため、領域分けされた個々の物体に対応する画像領域に基づき各物体の種類を確実に識別することができるようになる。従って、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン（物体）を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に個々のパンに分離（区分け）した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。

特に、請求項２によれば、前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備え、前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出する構成とすることで、境界点候補の抽出、及び、この境界点候補の抽出による境界線の確定を、より確実に実現させることができるようになる。

又、請求項３によれば、前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備え、この境界線スコアの値の大小に基づいて境界線を確定する構成とすることで、境界線の確定をより確実なものとすることができるようになる。

さらに、請求項４によれば、前記演算式として、前記境界線候補を直径とする円形領域が前記２以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成することで、あるいは、請求項５によれば、前記演算式として、前記くびれベクトルのくびれ深さをもパラメータにさらに加えて境界線スコアを演算するように構成することで、前記演算式に基づく境界線の確定をより一層確実なものとすることができるようになる。

本発明の物体識別装置の実施形態を示す模式図である。 図１の物体識別装置を構成する画像処理装置を示すブロック図である。 画像処理の例を示すフローチャートである。 図３の画像処理に含まれる分離処理の例を示すフローチャートである。 図５（ａ）はトレー上に部分的に互いに接触した状態で載せられた２つの物体（パン）のカラー画像の例を示す平面図であり、図５（ｂ）はそのカラー画像から二値化処理により得られた２つの物体（パン）を含む二値画像を示す平面図である。 図６（ａ）は図５（ｂ）の二値画像から抽出した輪郭線を示す平面図であり、図６（ｂ）は図６（ａ）の輪郭線から多角形近似処理により得られた多角形と各頂点を示す平面図である。 図６（ｂ）の各頂点についてくびれベクトルを得るために検索範囲にある頂点を抽出する第１処理を説明するための平面説明図である。 第１処理により抽出された頂点によりくびれ方向ベクトルを得る第２処理を説明するための図７対応図である。 第２処理により得られたくびれ方向ベクトルからくびれベクトルを得る第３処理と、その後の境界点候補を抽出する第４処理とを説明するための図７対応図である。 第４処理により得られた境界点候補から境界線を確定する第５処理を説明するための図７対応図である。 第５処理により得られる境界線について最終確定させるための確認的条件を説明するための図７対応図である。 多数個の物体（パン）間における部分的接触を分離処理するための順序について例示する説明図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係る物体識別装置を示す。符号２は撮像手段であり、例えばＣＣＤカメラにより構成され、トレー３上に載せられた物体（例えばパン；以下、本実施形態の物体はパンとして説明する）４を光源５からの照明下で真上から撮像するようになっている。物体４としては任意数のパンであり、本実施形態では説明の都合上２個のパン４ａ，４ｂが部分的に接触した状態でトレー３上に載せられているものとして、以下説明する。又、６は画像処理装置であり、７は画像処理装置６と通信接続された例えばＰＯＳレジスタである。前記の画像処理装置６は、例えば、ＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク，通信インターフェースや、適宜の入力部・表示部を備えたパーソナルコンピュータにより構成されている。そして、前記ハードディスクには、オペレーティングシステムと、本実施形態による画像処理を実行するためのプログラムがインストールされており、以下説明する画像処理が実行可能となっている。前記の入力部としては例えばマウスやキーボード等、前記の表示部としては例えば液晶パネル等のディスプレイでもよいが、前記ディスプレイと、タッチパッド等の位置入力装置とを組み合わせたタッチパネル６１を採用するようにしてもよい。ＰＯＳレジスタ７は画像処理装置６からパン４ａ，４ｂの種類と個数との識別情報を受けて、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行するようになっている。ＰＯＳとは、販売時点情報管理（Point of sale system）の略称である。なお、前記のトレー３として、半透明の透過素材の材料により形成されたものを用い、背後（裏面側）に設置したバックライト光源８からのバックライトを照射した状態で撮像するようにしてもよい。これにより、パン４ａ，４ｂの周囲に形成されることのある影を可及的に排除し得るようになる。

前記画像処理装置６は、図２に示すように、撮像されてＣＣＤカメラ２から取り込まれた画像（カラーデジタル画像）を記憶する画像記憶部６２と、２個のパン４ａ，４ｂが部分的に接触して塊状になった状態で撮像された画像から個々のパン４ａ，４ｂに分離する、すなわち個々のパン４ａ，４ｂの境界線を確定して区分けする分離処理部６３と、互いに分離された個々のパン４ａ，４ｂ毎の種類を前記画像に基づいて識別する識別処理部６４とを備えている。さらに、前記画像処理装置６は、前記識別処理部６４による識別のために、パンの種類毎にモデル化された特徴量を組み合わせたテンプレート情報等が予め記憶登録されたマスタデータ記憶部６５と、このマスタデータ記憶部６５の登録情報を参照して識別処理部６４により識別処理を実行する際に取得される新たな特徴量等について学習処理し、マスタデータ記憶部６５の登録内容を更新する学習処理部６６とを備えている。そして、識別処理部６４による識別結果（パンの種類と個数）をＰＯＳレジスタ７に出力するようになっている。以上の画像記憶部６２、分離処理部６３、識別処理部６４及び学習処理部６６等の各処理は前記の如く所定のプログラムにより実行されるようになっており、画像処理装置６はかかる各処理を実行する機能を備えたものとして構成されている。

前記の画像処理装置６により実行される処理について図３を参照しつつ簡単に説明すると、次のようになる。すなわち、まず、例えばタッチパネル６１から画像取り込み指令を入力操作することでＣＣＤカメラ２により撮像された画像を取り込んで画像記憶部６２に記録する（ステップＳ１）。この画像ＷＩの例を図５（ａ）に示す。この例では各１個の２種類のパン４ａ，４ｂが部分的に互いに接触した状態になっている。次に、記録された画像に基づいてパン４ａ，４ｂの境界線を確定して各パン４ａ，４ｂに属する領域を区分けする分離処理を実行した上で（ステップＳ２）、各パン４ａ，４ｂの種類を識別処理し（ステップＳ３）、識別結果をタッチパネル６１及び／又はＰＯＳレジスタ７等に出力する（ステップＳ４）。

次に、前記の分離処理（ステップＳ２）について、図４を参照しつつ詳細に説明する。画像記憶部６２に記録された画像（初期画像；カラーデジタル画像）ＷＩはトレー３上にパン４ａ，４ｂが載置された状態で撮像されたものであるので、まず、背景分離処理（ステップＳ１１）及び二値化処理（ステップＳ１２）を実行することで、背景であるトレー３の部分を分離してパン４ａ，４ｂの部分のみを切り出し、図５（ｂ）に例示するようにパン４ａ，４ｂが互いに連続して塊状になった二値画像ＢＩを得る。前記の二値化処理によって、背景のトレー３とパン４ａ，４ｂとの彩度差に応じて初期画像に表れる各画素の濃淡情報が所定の閾値で１と０とに二値化され、これにより、パン４ａ，４ｂの領域が白色又は黒色のいずれか一色のモノクロで表示された二値画像ＢＩを得る。つまり二値化処理によって背景分離処理も行われる。

次に、二値画像ＢＩを対象にして輪郭抽出処理（ステップＳ１３）を実行し、図６（ａ）に例示する輪郭線画像ＣＩを得た後、輪郭線画像ＣＩの輪郭線を対象にして多角形近似処理（ステップＳ１４）を実行し、図６（ｂ）に多角画像ＰＩとして例示するように、前記輪郭線に沿って例えば左回りに折れ線近似して元の出発点に閉じることで近似多角形及びこの近似多角形を構成する各頂点Ｐ１〜Ｐ３３を得る。具体的には、前記の多角画像ＰＩとして、頂点Ｐ１〜Ｐ３３と、隣接する頂点間を結んだ線分とで、パン４ａ，４ｂの双方を１つの領域として表現した画像が得られ、各頂点Ｐ１〜Ｐ３３の頂点座標が得られることになる。以上の輪郭抽出処理及び多角形近似処理として、例えば画像処理用のオープンソースライブラリであるOpen CV（インテル社製品名）に含まれるcv Find Contourを輪郭抽出処理に、同cv Approx Poly による折れ線近似を多角形近似処理に、それぞれ利用することが可能である。

次に、本実施形態での特徴的な処理部分である、パン４ａ，４ｂの境界線を確定するまでの境界点判定処理（ステップＳ１５）及び境界線確定処理（ステップＳ１６）に基づく処理を以下詳細に説明する。概略手順としては、前記の多角画像ＰＩ（具体的には各頂点座標）に基づいて各頂点について各種パラメータを抽出し、抽出した各種パラメータに基づいて境界線スコアＢＳを一対の頂点の組み合わせ毎に演算し、境界線スコアＢＳが高い一対の頂点の組み合わせを境界点候補として抽出し、かかる境界点候補から最終的に境界線を確定させるものである。前記の境界線スコアＢＳを得るための各種パラメータとしては、例えば、一対の境界点候補を結んだ境界線候補の長さＬ，一対の境界点候補のそれぞれのくびれ深さＤｉ，前記境界線候補と一対の境界点候補のそれぞれのくびれベクトルの向きとのなす角度θｉ，一対の境界点候補を結んだ境界線候補を直径とする円領域が二値画像ＢＩに重複する割合である領域占有率Ｒである。

まず、第１処理（図７）、第２処理（図８）及び第３処理（図９）によりくびれベクトルを求め、くびれベクトルの深さＤｉと向きとを求める。第１処理では、各頂点から前後方向の両側に対し、例えば左回り方向ＹＡにマイナス側（逆方向）及びプラス側（順方向）に対し、それぞれ隣接する頂点と同様方向の所定の検索範囲に存在する頂点を求める。具体的には、図７に示すように、例えば頂点Ｐ１２からマイナス側に隣接する頂点Ｐ１１に伸びる方向を中心方向Ｃ１としてその両側に所定角度αずつの検索範囲（−α〜＋α）を設定し、この検索範囲に存在する頂点Ｐ１１，Ｐ１０，Ｐ９を抽出する。同様に、頂点Ｐ１２からプラス側に隣接する頂点Ｐ１３に伸びる方向を中心方向Ｃ２としてその両側に所定角度αずつの検索範囲（−α〜＋α）を設定し、この検索範囲に存在する頂点Ｐ１３，Ｐ１４を抽出する。図７に例示したものでは、頂点Ｐ２０からマイナス側の検索範囲に存在する頂点Ｐ１９，Ｐ１８を抽出し、プラス側の検索範囲に存在する頂点Ｐ２１，Ｐ２２，Ｐ２３を抽出している。又、同様に、頂点Ｐ２７からマイナス側の検索範囲に存在する頂点Ｐ２６，Ｐ２５，Ｐ２４を抽出し、プラス側の検索範囲に存在する頂点Ｐ２８，Ｐ３０，Ｐ３１を抽出している。前記の検索範囲（−α〜＋α）としては、２つの頂点が連続して検索範囲外となる場合の直前の頂点が検索範囲内に入るように設定すればよい。例えば、頂点Ｐ２７を起点とする場合には、頂点Ｐ２９が検索範囲外になったとしても１つのみであり、頂点Ｐ３２，Ｐ３３が連続して検索範囲外となるようになっている。

第２処理では、各頂点についてマイナス側及びプラス側の２つのくびれ方向ベクトルＫＨ１，ＫＨ２を求める。すなわち、対象とする各頂点のマイナス側及びプラス側について、それぞれ検索範囲から抽出した各頂点へのベクトルを合成したベクトル和と同じ向きと、対象とする前記頂点から最も遠い頂点へのベクトルと同じベクトル量とで定義したくびれ方向ベクトルを求める。具体的には、図８に示すように、例えば頂点Ｐ１２を起点としてマイナス側の検索範囲にある頂点Ｐ１１へのベクトル，頂点Ｐ１０へのベクトル及び頂点Ｐ９へのベクトルを合成したベクトル和ＶＴ１と同じ向きと、前記頂点Ｐ１２から最も遠い頂点Ｐ９へのベクトルと同じベクトル量とを有するくびれ方向ベクトルＫＨ１を求める。同様に、頂点Ｐ１２を起点としてプラス側の検索範囲にある頂点Ｐ１３へのベクトル及び頂点Ｐ１４へのベクトルを合成したベクトル和ＶＴ２と同じ向きと、前記頂点Ｐ１２から最も遠い頂点Ｐ１４へのベクトルと同じベクトル量とを有するくびれ方向ベクトルＫＨ２を求める。

図８に例示したものでは、頂点Ｐ２０について、頂点２０を起点としてマイナス側に頂点Ｐ１９へのベクトル及び頂点Ｐ１８へのベクトルを合成したベクトル和ＶＴ１と同じ向きと、前記頂点Ｐ２０から最も遠い頂点Ｐ１８へのベクトルと同じベクトル量とを有するくびれ方向ベクトルＫＨ１を求める一方、プラス側に頂点Ｐ２１へのベクトル，頂点Ｐ２２へのベクトル及び頂点Ｐ２３へのベクトルを合成したベクトル和ＶＴ１と同じ向きと、前記頂点Ｐ２０から最も遠い頂点Ｐ２３へのベクトルと同じベクトル量とを有するくびれ方向ベクトルＫＨ２を求める。同様に、頂点Ｐ２７について、頂点２７を起点としてマイナス側に頂点Ｐ２６へのベクトル，頂点Ｐ２５へのベクトル及び頂点Ｐ２４へのベクトルを合成したベクトル和ＶＴ１と同じ向きと、前記頂点Ｐ２７から最も遠い頂点Ｐ２４へのベクトルと同じベクトル量とを有するくびれ方向ベクトルＫＨ１を求める一方、プラス側に頂点Ｐ２８へのベクトル，頂点Ｐ３０へのベクトル及び頂点Ｐ３１へのベクトルを合成したベクトル和ＶＴ１と同じ向きと、前記頂点Ｐ２７から最も遠い頂点Ｐ３１へのベクトルと同じベクトル量とを有するくびれ方向ベクトルＫＨ２を求める。

第３処理では、各頂点についてマイナス側及びプラス側の２つのくびれ方向ベクトルＫＨ１，ＫＨ２からくびれベクトルＫＶを求める。具体的には、図９に示すように、例えば頂点Ｐ１２を対象とした場合には、頂点Ｐ１２を起点とする２つのくびれ方向ベクトルＫＨ１，ＫＨ２を２辺とする三角形を仮想し、頂点Ｐ１２を起点としてその２つのくびれ方向ベクトルＫＨ１，ＫＨ２のなす角（挟角）の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルＫＶと定義する。そして、くびれベクトルＫＶの長さを、くびれベクトルＫＶの深さとする。

図９に他に例示したものとしては、頂点Ｐ２０を対象とした場合には、頂点Ｐ２０を起点とする２つのくびれ方向ベクトルＫＨ１，ＫＨ２を２辺とする三角形を仮想し、頂点Ｐ２０を起点としてその２つのくびれ方向ベクトルＫＨ１，ＫＨ２のなす角（挟角）の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルＫＶとして求める。又、頂点Ｐ２７を対象とした場合には、頂点Ｐ２７を起点とする２つのくびれ方向ベクトルＫＨ１，ＫＨ２を２辺とする三角形を仮想し、頂点Ｐ２７を起点としてその２つのくびれ方向ベクトルＫＨ１，ＫＨ２のなす角（挟角）の二等分線が延びる方向と、その二等分線が前記三角形の対辺と交わる交点までの長さとで表されるベクトルをくびれベクトルＫＶとして求めればよい。

以上の第１処理〜第３処理により、各頂点におけるくびれベクトルＫＶ，ＫＶ，…が求められ、くびれベクトルの深さＤｉと向きとが求まる。次に、第４処理として、これら各頂点ＰｉにおけるくびれベクトルＫＶ，ＫＶ，…の深さＤｉと、２つのくびれ方向ベクトルＫＨ１，ＫＨ２のなす角βｉとに基づいて、境界点候補の抽出を行う。抽出の判定基準は次の２つがある。すなわち、第１の判定基準は、各頂点における２つのくびれ方向ベクトルＫＨ１，ＫＨ２のなす角βｉ（マイナス側のくびれ方向ベクトルＫＨ１からプラス側のくびれ方向ベクトルＫＨ２に対し左回りＹＡ方向に計測される角度）が所定の設定角度よりも小さいことであり、第２の判定基準は、くびれベクトルＫＶの深さＤｉが所定の閾値以上であることである。前記の設定角度としては、少なくとも１８０度未満の角度を設定し、好ましくは１５０度未満の角度を、通常は１３５度以下の角度を設定すればよい。くびれベクトルＫＶの深さＤｉは前記閾値以上で大きいほど、くびれが深く切れ込んでいる状況を表している。第４処理では、以上の第１及び第２の両判定基準に基づいて境界点候補を抽出する。

そして、第５処理では、第４処理で抽出した境界点候補により得られる境界線候補について、それぞれ境界線スコアＢＳを演算し、境界線スコアＢＳの値が大きいものを境界線として決定する。境界線スコアＢＳは、図１０に一対の境界点候補Ｐ１２，Ｐ２７について示すように、任意の一対の境界点候補毎に、その一対の境界点候補を結んだ境界線候補の長さＬ（一対の境界点候補の頂点座標間の長さ）、一対の境界点候補のそれぞれのくびれ深さＤj，前記境界線候補と一対の境界点候補のそれぞれのくびれベクトルの向きとのなす角度θj，及び，一対の境界点候補を結んだ境界線候補を直径とする円領域が二値画像ＢＩ（図５（ｂ）参照）に対し重複する割合である領域占有率Ｒという各パラメータに基づいて、次式（１）により演算する。ここで、境界点候補は相対向する一対であるため、添字ｊ＝１，２である。
ＢＳ＝−Ｎｌ・logＬ
＋Ｎｄ（logＤ１＋logＤ２）
−Ｎｓ｛log（cosθ１＋２）＋log（cosθ２＋２）｝
＋Ｎｒ・logＲ …（１）
ここで、Ｎｌ，Ｎｄ，Ｎｓ，Ｎｒは各パラメータについての係数である。

以上の式（１）では、境界線候補Ｌが短いほど、くびれ深さＤｊが深いほど、角度θｊが大きくて１８０度に等しいか近いほど、あるいは、領域占有率Ｒが１００％に等しいか近いほど、それぞれ境界線スコアＢＳの値は大きいものとなる。例えば、図１０にＥ12-27（頂点Ｐ１２，Ｐ２７間を結ぶ線分を直径とする円領域）として示す円領域の領域占有率Ｒは１００％であるのに対し、Ｅ12-19（頂点Ｐ１２，Ｐ１９間を結ぶ線分を直径とする円領域）として示す円領域の領域占有率Ｒはほぼ７０％であり、前者の方が境界線スコアＢＳの値は大きく表れることになる。以上の境界線スコアＢＳの値の大きさは、主として、第１項の境界線候補の長さＬの短さと、第３項のθｊが１８０度に等しいか近いかとに基づいて左右されるようになっている。従って、最小のパラメータとしてはこれら２種類のパラメータのみを用いて、境界線スコアＢＳの値を決定するようにしてもよい。あるいは、さらに前記の第４項の領域占有率Ｒに基づくパラメータをも加えて、境界線スコアＢＳの値を決定するようにしてもよい。

前記の第５処理で境界線スコアＢＳの値の基づいて得られた境界線について、最終的に次の確認的条件をクリアしたものを最終確定させる。すなわち、（ａ）境界線を特定する一対の境界点は一対一で対応し、１つの境界点（例えば図１１のＰ１２）から２本の境界線が生じることはない、（ｂ）２本の境界線（例えば図１１のＰ１６−Ｐ２９を結ぶ線と、Ｐ１２−Ｐ２７を結ぶ線）が互いに交差することはない、（ｃ）一対の境界点は互いに向かい合うくびれを構成すること、換言すれば前記のθｊを用いたcosθｊの値は所定の閾値以上であること、（ｄ）互いに隣接する境界点同士を結ぶ２本の境界線（例えば図１１のＰ１２−Ｐ２７を結ぶ線と、Ｐ１１−Ｐ２８を結ぶ線）は境界線スコアＢＳの値が少しでも大きい方を正解とすること、（ｅ）相隣接する境界点同士を結ぶものは境界線ではないこと、という確認的条件を適用して最終的に境界線（図１１ではＰ１２−Ｐ２７を結ぶ線）を確定させる。

そして、最後に前記境界線を挟んで分離された２つの領域にある各画素に対し領域毎に異なる値を設定するラベリング処理（ステップＳ１７；図４参照）を施して、パン４ａの領域と、パン４ｂの領域とに互いに区分けする。この分離処理後の領域情報を識別処理部６４に出力し、各領域毎のパン４ａ，４ｂの種類を識別処理する。

以上では、２個のパン４ａ，４ｂが互いに接触している例を対象にして分離処理する場合について説明したが、多数個にわたり接触している場合には例えば次の方針に基づく順序で分離処理を実行させればよい。すなわち、図１２に７個のパン４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉが接触した例を示すように、まず、接触により閉鎖状態に区画形成された空白部同士の間にある境界線（例えば符号９０，９１で示す部位の境界線）を確定して分離処理することを繰り返し、次に、閉鎖状態の空白部が開放されるように該当する境界線（例えば符号９２，９３で示す部位の境界線）を確定して分離処理し、閉鎖状態の空白部の存在が無くなれば、最後に個々のパン４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉに分離されるように残る境界線（（例えば符号９４〜９９で示す部位の境界線）を確定して分離処理すればよい。

本実施形態によれば、同一種類であっても焼き上がり形状の個体差が大きく、かつ、ほぼ円形の形状のものが多いとはいっても真円形状のものはなく、円形に近いものから楕円形に近いものまでいびつな形状を有するパンを識別対象や分離対象の物体４とする場合に、複数個が部分的に互いに接触した状態で撮像された画像に基づいて、個々の物体（パン４ａ，４ｂ）４に自動的に分離して区分けすることができるようになる。これにより、互いに接触した状態では物体（（パン４ａ，４ｂ）４毎の識別が困難又は不能となる事態を回避して、個々の物体（（パン４ａ，４ｂ）４の各種類を自動的かつ確実に識別することができるようになって、例えば代金の自動計算や、売上実績の自動管理等を行うことができるようになる。以上より、例えばパンを対象物体として画像識別により代金計算等を自動的に行うシステムを構築するにあたり、顧客が例えばトレー上に選択した複数のパン（物体）を撮像前に販売員がトレー上のパンを互いに非接触状態になるように移動する作業を行うことなく、衛生状態を維持した状態で、自動的に接触状態の複数のパンを個々のパンに属するそれぞれの領域に分離（区分け）した上で各パンの種類を画像識別により自動認識することができるようになる。これにより、パン屋等の小売り業において、大幅な省力化や自動化を図ることができるようになる。

＜他の実施形態＞
なお、本発明は上記実施形態に限定されるものではなく、その他種々の実施形態を包含するものである。すなわち、前記実施形態では、二値画像ＢＩを対象にして分離処理を実行する例を示したが、これに限らず、初期画像ＷＩであるカラーデジタル画像をそのまま、あるいは、グレースケール画像を対象にして分離処理を適用するようにしてもよく、この場合には、境界線スコアＢＳを得るための各種パラメータとして、本実施形態に例示したもの以外に、初期画像からエッジ画像を作成して境界線候補に沿った所定幅の領域でのエッジ画像の濃度値（エッジ強度）の平均値、及び／又は、初期画像から輝度画像を作成して前記の境界線候補に沿った所定幅の領域での輝度画像の濃度値（輝度）の平均値を追加して用いるようにしてもよい。

２ ＣＣＤカメラ（撮像手段）
３ トレー
４ 物体
４ａ，４ｂ パン
５ 光源
６ 画像処理装置（画像処理手段）
６３ 分離処理部
６４ 識別処理部

Claims (5)

1. 同一平面上に載置された２以上の物体について撮像手段により撮像されたカラー画像を取り込み、このカラー画像を画像認識することにより前記物体の種類を識別する画像処理手段を備えた物体識別装置であって、
   前記画像処理手段は、前記カラー画像に含まれる２以上の物体が互いに接触した状態にあるときに個々の物体に属する領域に分離して区分けする分離処理部を備え、この分離処理部により分離された個々の物体に属する領域毎に前記物体の種類についての識別処理を実行するように構成され、
   前記分離処理部は、前記カラー画像から前記２以上の物体の画像領域を二値化処理により抽出する機能と、抽出された二値化画像から前記２以上の物体の画像領域の輪郭線を抽出する機能と、抽出された輪郭線に沿って多角形近似処理によりその近似多角形を構成する各頂点を抽出する機能と、各頂点について前後に位置する頂点との関係で特定される屈曲状況をくびれベクトルにして求める機能と、境界点候補として一対の頂点を抽出しこの一対の境界点候補間を結ぶ境界線候補の長さ及びその境界線候補に対する前記一対の境界点候補のそれぞれにおける前記くびれベクトルがなす角度をパラメータとして演算する機能と、演算された境界線候補の長さがより短くかつ前記くびれベクトルがなす角度が１８０度により近い一対の境界点候補の組み合わせを一対の境界点として設定して境界線を確定する機能と、前記２以上の物体の画像領域を前記一対の境界点を結ぶ境界線で分離して領域分けする機能とを備えている
   ことを特徴とする物体識別装置。
2. 請求項１に記載の物体識別装置であって、
   前記境界線を確定する機能として、境界点判定処理により境界点候補として一対の頂点を抽出する機能と、抽出された境界点候補に基づいて境界線確定処理により境界線を確定する機能とを備えており、
   前記境界点判定処理として、一対の頂点を構成する各くびれベクトルのベクトル量により表されるくびれ深さが所定の閾値以上であることで境界点候補を抽出するように構成されている、物体識別装置。
3. 請求項２に記載の物体識別装置であって、
   前記境界線確定処理として、前記境界線候補の長さ及び前記くびれベクトルがなす角度をパラメータとして境界線スコアを演算する演算式を備え、この境界線スコアの値の大小に基づいて境界線を確定するように構成されている、物体識別装置。
4. 請求項３に記載の物体識別装置であって、
   前記演算式は、前記境界線候補を直径とする円形領域が前記２以上の物体の画像領域と重複する比率である領域占有率をもパラメータに加えて境界線スコアを演算するように構成されている、物体識別装置。
5. 請求項４に記載の物体識別装置であって、
   前記演算式は、前記くびれベクトルのくびれ深さをもパラメータに加えて境界線スコアを演算するように構成されている、物体識別装置。

Images