JP6239460B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

従来、物品を撮像した画像から抽出される当該物品の特徴量と、辞書に予め登録された照合用の特徴量とを比較し、その類似度に応じて当該物品の種別等を認識する技術が存在している。また、この物品認識に係る技術を青果品等の商品の識別に用い、識別された商品を売上登録する店舗システムが提案されている。

ところで、商品の品種や種別によっては、その商品の表面色が撮像時の背景の色と略同等となる場合がある。このような場合、商品と背景との境界を検出することが困難となるため、その商品を認識することが可能なレベルの特徴量を抽出できない可能性がある。そのため、認識率向上の観点において更なる改善の余地があった。

本発明が解決しようとする課題は、認識率を向上させることが可能な情報処理装置及びプログラムを提供することである。

実施形態の情報処理装置は、所定の撮像範囲を撮像する撮像手段から画像を取り込む第１取込手段と、前記撮像範囲内に存在する物体までの距離を測定する測距手段から測定結果を取り込む第２取込手段と、前記第１取込手段が取り込んだ画像のうち、略同等色の領域が所定の割合を占めるか否かを判定する判定手段と、前記判定手段が占めないと判定した場合に、前記撮像手段の被写体となった対象物と背景との境界を前記画像から検出することで、当該対象物が存在する領域を前記画像から切り出し、前記判定手段が占めると判定した場合に、前記測定結果に基づいて前記撮像範囲内に存在する物体の中から最も近接する物体の存在位置を特定し、当該存在位置を基準に前記対象物が存在する領域を前記画像から切り出す切出手段と、前記切出手段が切り出した領域から特徴量を抽出する抽出手段と、辞書登録された登録物各々の特徴量と、前記抽出手段が抽出した特徴量とを比較し、その類似度を算出する算出手段と、辞書登録された登録物の中から、前記類似度が閾値以上の登録物を前記対象物の候補として認識する認識手段と、を備え、前記切出手段は、前記判定手段が占めると判定した場合に、最も近接する前記物体までの距離が所定の閾値の範囲以内であるか否かを判定し、閾値以内と判定したことを条件に、当該物体の存在位置を前記画像の中から特定し、閾値を上回ると判定したことを条件に、前記存在位置の特定を行わずに前記撮像範囲に物体が存在しないと判断する。

図１は、本実施形態のチェックアウトシステムの一例を示す斜視図である。 図２は、図１に示したＰＯＳ端末及び商品読取装置のハードウェア構成を示すブロック図である。 図３は、図２に示したＰＬＵファイルのデータ構成を例示する概念図である。 図４は、図１に示したＰＯＳ端末の機能構成を示すブロック図である。 図５は、画像取込部によって取り込まれた画像の一例を示す図である。 図６は、領域切出部の動作の一例を説明するための図である。 図７は、領域切出部の動作の一例を説明するための図である。 図８は、商品候補画面の表示例を示す図である。 図９は、本実施形態のＰＯＳ端末が実行する売上登録処理の一例を示すフローチャートである。 図１０は、セルフＰＯＳの構成を示す外観斜視図である。 図１１は、セルフＰＯＳのハードウェア構成を示すブロック図である。

以下では、チェックアウトシステムを例に本実施形態に係る情報処理装置及びプログラムについて、図面を参照して説明する。店舗システムは、一取引に係る商品の登録、精算を行うＰＯＳ（Point Of Sales）端末を備えるチェックアウトシステム（ＰＯＳシステム）等である。本実施形態は、スーパーマーケット等の店舗に導入されたチェックアウトシステムへの適用例である。

図１は、チェックアウトシステム１の一例を示す斜視図である。図１に示すように、チェックアウトシステム１は、一取引に係る商品の登録・精算を行うＰＯＳ端末１０と、商品に関する情報を読み取る商品読取装置２０とを備える。以下では、ＰＯＳ端末１０を本実施形態にかかる情報処理装置として適用する例について説明する。

ＰＯＳ端末１０は、チェックアウト台３０上のドロワ４０上面に載置されている。ドロワ４０は、ＰＯＳ端末１０によって開放動作の制御を受ける。ＰＯＳ端末１０の上面には、オペレータ（店員）によって押下操作されるキーボード１１が配置されている。キーボード１１を操作するオペレータから見てキーボード１１よりも奥側には、オペレータに向けて情報を表示する第１表示デバイス１２が設けられている。第１表示デバイス１２は、その表示面１２ａに情報を表示する。表示面１２ａには、タッチパネル１３が積層されている。第１表示デバイス１２よりも更に奥側には、第２表示デバイス１４が回転可能に立設されている。第２表示デバイス１４は、その表示面１４ａに情報を表示する。なお、第２表示デバイス１４は、表示面１４ａを図１中奥側に向くように回転させることによって、顧客に向けて情報を表示する。

ＰＯＳ端末１０が載置されているチェックアウト台３０とＬ字を形成するようにして、横長テーブル状のカウンタ台５０が配置されている。カウンタ台５０の上面には、荷受け面５１が形成されている。荷受け面５１には、商品Ｇを収納する買物カゴ６０が載置される。買物カゴ６０は、顧客によって持ち込まれる第１買物カゴ６０ａと、第１買物カゴ６０ａから商品読取装置２０を挟んだ位置に載置される第２買物カゴ６０ｂとに分けて考えることができる。なお、買物カゴ６０は、いわゆるカゴ形状のものに限るものではなく、トレー等であってもよい。また、買物カゴ６０（第２買物カゴ６０ｂ）は、いわゆるカゴ形状のものに限らず、箱状や袋状等であってもよい。

カウンタ台５０の荷受け面５１には、ＰＯＳ端末１０とデータ送受信可能に接続された商品読取装置２０が設置されている。商品読取装置２０は、薄型矩形形状のハウジング２１を備える。ハウジング２１の正面には読取窓２２が配置されている。ハウジング２１の上部には、表示・操作部２３が取り付けられている。表示・操作部２３には、タッチパネル２４が表面に積層された表示部である第１表示デバイス２５が設けられている。第１表示デバイス２５の右隣にはキーボード２６が配設されている。キーボード２６の右隣には、カードリーダのカード読取溝２７が設けられている。オペレータから見て表示・操作部２３の裏面左奥側には、顧客に情報を提供するための第２表示デバイス２８が設置されている。

このような商品読取装置２０は、商品読取部２１０（図２参照）を備えている。商品読取部２１０は、読取窓２２の奥側に撮像部２０４と測距部２０５とを配置している（図２参照）。

顧客によって持ち込まれた第１買物カゴ６０ａには、一取引に係る商品Ｇが収納されている。第１買物カゴ６０ａ内の商品Ｇは、商品読取装置２０を操作するオペレータにより第２買物カゴ６０ｂに移動される。この移動過程で、商品Ｇが商品読取装置２０の読取窓２２に向けられる。この際、読取窓２２内に配置された撮像部２０４（図２参照）は商品Ｇを撮像する。また、読取窓２２内に配置された測距部２０５（図２参照）は、撮像部２０４から撮像範囲内に存在する物体までの距離を測定する。

商品読取装置２０では、撮像部２０４により撮像された画像に含まれる商品Ｇが、後述するＰＬＵファイルＦ１（図３参照）に登録されたどの商品に対応するかを指定させるための画面を表示・操作部２３に表示する。そして、商品読取装置２０は、指定された商品の商品ＩＤをＰＯＳ端末１０に通知する。ＰＯＳ端末１０では、商品読取装置２０から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価等の売上登録に係る情報を、売上マスタファイル（図示せず）等に記録して売上登録を行う。

図２は、ＰＯＳ端末１０及び商品読取装置２０のハードウェア構成を示すブロック図である。ＰＯＳ端末１０は、情報処理を実行する情報処理部としてのマイクロコンピュータ１００を備える。マイクロコンピュータ１００は、各種演算処理を実行し各部を制御するＣＰＵ（Central Processing Unit）１０１に、ＲＯＭ（Read Only Memory）１０２とＲＡＭ（Random Access Memory）１０３とがバス接続されて構成されている。

ＰＯＳ端末１０のＣＰＵ１０１には、前述したキーボード１１、第１表示デバイス１２、タッチパネル１３、第２表示デバイス１４、ドロワ４０が何れも各種の入出力回路（何れも図示せず）を介して接続されている。これらは、ＣＰＵ１０１による制御を受ける。

キーボード１１は、数字や算術演算子が上面に表示されているテンキー１１ａ、仮締めキー１１ｂ、及び締めキー１１ｃ等を含む。

ＰＯＳ端末１０のＣＰＵ１０１には、ＨＤＤ（Hard Disk Drive）１０４が接続されている。ＨＤＤ１０４には、プログラムや各種ファイルが記憶されている。ＨＤＤ１０４に記憶されているプログラムや各種ファイルは、ＰＯＳ端末１０の起動時に、その全部又は一部がＲＡＭ１０３にコピーされてＣＰＵ１０１により実行される。ＨＤＤ１０４に記憶されているプログラムの例は、後述する売上登録処理や辞書登録処理用のプログラム等である。また、ＨＤＤ１０４に記憶されているファイルの例は、ＰＬＵファイルＦ１等である。

ＰＬＵファイルＦ１は、店舗に陳列して販売する商品Ｇの各々について、商品Ｇの売上登録に係る情報を格納する商品ファイルである。

以下の説明では、ＰＬＵファイルＦ１を辞書として用いるが、辞書はＰＬＵファイルＦ１と異なるファイルであってもよい。辞書は、撮像した画像データから抽出した商品の照合用データ（特徴量）を記憶する。辞書はＰＬＵファイルＦ１と異なるファイルである場合、辞書に記憶される照合用データ（特徴量）と、ＰＬＵファイルＦ１の情報（識別情報）とは対応付けられる。特徴量は、商品の標準的な形状、表面の色合い、模様、凹凸状況等の外観の特徴をパラメータ化したものである。

図３は、ＰＬＵファイルＦ１のデータ構成を例示する概念図である。図３に示すように、ＰＬＵファイルＦ１は、商品毎に、商品情報と、イラスト画像と、特徴量とを格納するファイルである。商品情報は、各商品にユニークに割り当てられた識別情報である商品ＩＤ、商品が属する商品分類、商品名、単価等の商品に関する情報を含む。イラスト画像は、その商品を写真やイラストで表した画像データである。

特徴量は、商品を撮像した画像から読み取られる色合いや表面の凹凸状況等、その商品の外観上の特徴を表した情報である。係る特徴量は、後述する類似度の判定の際に照合用のデータとして用いられる。

物品の品種まで認識（検出）する必要がある場合には、図３に示すように、品種毎に商品名や単価等の商品に関する情報と、その商品を示すイラスト画像と、特徴量とを管理する。例えば、物品のカテゴリ（商品）が「ＹＹ」の場合において、「ＹＹ＿１」、「ＹＹ＿２」、「ＹＹ＿３」のような品種毎にその商品に関する情報と、イラスト画像と、特徴量とを管理する。また、候補の表示にイラスト画像を用いず、文字で候補を表示する場合は、イラスト画像をＰＬＵファイルＦ１に格納しなくてもよい。

図２に戻り、ＰＯＳ端末１０のＣＰＵ１０１には、ストアコンピュータＳＣとデータ通信を実行するための通信インターフェース１０５が入出力回路（図示せず）を介して接続されている。ストアコンピュータＳＣは、店舗のバックヤード等に設置されている。ストアコンピュータＳＣのＨＤＤ（図示せず）には、ＰＯＳ端末１０に配信されるＰＬＵファイルＦ１が格納されている。

更に、ＰＯＳ端末１０のＣＰＵ１０１には、接続インターフェース１０６が接続されている。接続インターフェース１０６は、商品読取装置２０との間でデータ送受信を可能にする。接続インターフェース１０６には、商品読取装置２０が接続されている。また、ＰＯＳ端末１０のＣＰＵ１０１には、レシート等に印字を行うプリンタ１０７が接続されている。ＰＯＳ端末１０は、ＣＰＵ１０１の制御の下、一取引の取引内容をレシートに印字する。

商品読取装置２０も、マイクロコンピュータ２００を備える。マイクロコンピュータ２００は、ＣＰＵ２０１にＲＯＭ２０２とＲＡＭ２０３とがバス接続されて構成されている。ＲＯＭ２０２には、ＣＰＵ２０１によって実行されるプログラムが記憶されている。ＣＰＵ２０１には、撮像部２０４、測距部２０５、音声出力部２０６が各種の入出力回路（何れも図示せず）を介して接続されている。撮像部２０４、測距部２０５、音声出力部２０６は、ＣＰＵ２０１によって動作が制御される。

表示・操作部２３は接続インターフェース２０７を介して、商品読取部２１０及びＰＯＳ端末１０に接続されている。表示・操作部２３は、商品読取部２１０のＣＰＵ２０１、ＰＯＳ端末１０のＣＰＵ１０１によって動作が制御される。ここで、第１表示デバイス２５は、ＣＰＵ１０１やＣＰＵ２０１の制御の下、後述する商品候補画面（図８参照）等の各種画面を表示する。また、第１表示デバイス２５は、各種の業務を選択指示するための業務選択画面（図示せず）を表示する。業務選択画面は、例えば、背景登録、除外色域登録、特徴量登録、売上登録等、後述する各処理の実行を指示するための選択メニューを有する。

撮像部２０４は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサ等の撮像装置である。撮像部２０４は、ＣＰＵ２０１の制御の下で読取窓２２からの撮像を行う。例えば、撮像部２０４は、３０ｆｐｓで動画像の撮像を行う。撮像部２０４が所定のフレームレートで順次撮像したフレーム画像（撮像画像）はＲＡＭ２０３に保存される。なお、移動体となる商品Ｇをブレなく撮像するため、撮像部２０４のシャッター時間は短く設定することが好ましい。

測距部２０５は、ＴＯＦ（Time Of Flight）方式等を用いた距離画像センサや、測域センサ等の距離センサである。測距部２０５が距離の測定を行う測定範囲は、撮像部２０４の撮像範囲と略同等となるよう設定されている。測距部２０５は、ＣＰＵ２０１の制御の下で動作することで、測距部２０５（読取窓２２）から撮像部２０４の撮像範囲内に存在する物体までの距離（奥行：デプス）を測定する。なお、撮像部２０４が距離画像センサの機能を有する場合には、この撮像部２０４を測距部２０５として用いてもよい。

音声出力部２０６は、予め設定された警告音等を発生するための音声回路とスピーカ等である。音声出力部２０６は、ＣＰＵ２０１の制御の下で警告音や音声による報知を行う。

更に、ＣＰＵ２０１には、ＰＯＳ端末１０の接続インターフェース１０６に接続して、ＰＯＳ端末１０との間でデータ送受信を可能にする接続インターフェース２０８が接続されている。また、ＣＰＵ２０１は、接続インターフェース２０８を介して、表示・操作部２３との間でデータ送受信を行う。

次に、ＣＰＵ１０１がプログラムを実行することで実現される、ＰＯＳ端末１０の機能構成について、図４を参照して説明する。

図４は、ＰＯＳ端末１０の機能構成を示すブロック図である。図４に示すように、ＰＯＳ端末１０のＣＰＵ１０１は、ＨＤＤ１０４に記憶されたプログラムを実行することにより、画像取込部１１１、奥行情報取込部１１２、領域切出部１１３、類似度算出部１１４、類似度判定部１１５、商品提示部１１６、入力受付部１１７、情報入力部１１８及び売上登録部１１９を機能部として備える。以下、各機能部について説明する。

画像取込部１１１は、撮像部２０４に撮像オン信号を出力して撮像部２０４に撮像動作を開始させる。画像取込部１１１は、撮像動作開始後に撮像部２０４が撮像してＲＡＭ２０３に保存された画像（フレーム画像）を順次取り込む。画像取込部１１１による画像の取り込みは、ＲＡＭ２０３に保存された順に行われる。

奥行情報取込部１１２は、画像取込部１１１による画像の取り込みタイミングと同期して、測距部２０５による測定結果を奥行情報として取り込む。

図５は、画像取込部１１１によって取り込まれた画像の一例を示す図である。図５に示すように、オペレータが読取窓２２に商品Ｇをかざすと、撮像部２０４の撮像範囲Ｒに入った商品Ｇの全部又は一部が、撮像部２０４により撮影される。画像取込部１１１は、撮像部２０４によって撮像された画像を順次取り込む。また、測距部２０５は、撮像部２０４による撮影の際に、撮像範囲Ｒ内に存在する物体（商品Ｇや当該商品Ｇを把持する手の一部、背景等）までの距離を測定する。そして、奥行情報取込部１１２は、測距部２０５によって測定された撮像範囲Ｒ内に存在する物体までの距離を奥行情報として順次取り込む。

領域切出部１１３は、パターンマッチング技術やエッジ検出技術等の公知の技術を用いることで、画像取込部１１１が取り込んだ画像から、被写体である商品Ｇが表された領域を切り出す。具体的には、領域切出部１１３は、取り込まれた画像から輪郭線等を抽出することで、商品Ｇと背景との境界を検出する。次いで、領域切出部１１３は、商品Ｇの輪郭線で囲われた領域の一部又は全てを、商品Ｇが存在する領域として切り出す。以下、上述した公知技術による領域の切り出し方法を従来方法という。

ところで、商品の品種や種別によっては、その商品の表面色が撮像時の背景の色と略同等となる場合がある。例えば、上記したように撮像部２０４のシャッター時間を短く設定した場合、その背景は黒色となる。この状態で表面色が黒色或いは黒色に近い商品Ｇ（例えば、なす、アボカド、ぶどう等）を撮像した場合、撮像された画像の全域が略同等色となる。このような場合、従来方法では商品Ｇと背景との境界を検出することは困難である。また、従来方法により画像中から商品Ｇの領域を切り出したとしても、商品Ｇの特徴量を抽出できない可能性がある。

そこで、領域切出部１１３では、商品Ｇと背景との境界を検出することができない場合、つまり画像の略全域が略同等色で表される場合、商品Ｇが存在する領域を奥行情報に基づいて切り出す。

具体的に、領域切出部１１３は、撮像部２０４の撮像範囲内に存在する物体のうち、読取窓２２（測距部２０５）に最も近接する物体の存在位置を画像の中から特定する。そして、領域切出部１１３は、特定した画像中の位置（以下、画素位置）を基準に所定範囲の領域を定めると、この領域を商品Ｇが存在する領域として切り出す。

なお、商品Ｇと背景との境界検出に係る判定基準は任意に定めることが可能である。例えば、撮像された画像のうち、略同等色の領域が所定の割合を占める場合（例えば８０％以上等）に、商品Ｇと背景との境界を検出できないと判定してもよい。

図６及び図７は、領域切出部１１３の動作の一例を説明するための図である。図６は、画像取込部１１１が取り込んだ画像の一例を示す図である。この図６では、商品Ｇの表面色と背景とが略同等色となった例を示している。このような場合、領域切出部１１３は、奥行情報取込部１１２が取り込んだ奥行情報に基づき、測距部２０５（読取窓２２）に最も近接する物体の画素位置を画像の中から特定する。ここで、画素位置Ｐ１に存在する物体が最も近接する場合、領域切出部１１３は、図７に示すように、画素位置Ｐ１を基準に領域ＡＧを設定し、この領域ＡＧを切り出す。なお、図７では、画素位置Ｐ１を中心に、矩形状の領域ＡＧを抽出した例を示しているが、抽出する領域ＡＧの形状や大きさはこれに限らないものとする。

商品読取装置２０を用いて読み取りを行う場合、オペレータは、商品Ｇを読取窓２２にかざすことで撮像部２０４に撮像を行わせる。このとき、商品Ｇは読取窓２２に向けて突き出された状態となる。そのため、撮像部２０４の撮像範囲内に存在する物体のうち、商品Ｇが読取窓２２（測距部２０５）に最も近付くことになる。本実施形態では、この動作の特性に着目することで、測距部２０５に最も近接した物体の画素位置を画像中から特定し、この画素位置周辺の所定領域を切り出す。これにより、商品Ｇと背景とが略同等色で表される場合であっても、商品Ｇが存在する領域を効率的に切り出すことができる。

なお、読取窓２２に商品Ｇがかざされていない状態、つまり撮像部２０４の撮像範囲内に商品Ｇが存在しない状態を判別するため、最近接と判定する距離（奥行）に閾値を設定してもよい。具体的には、読取窓２２（測距部２０５）に最も近接する物体までの距離が閾値（例えば１０ｃｍ）以内の場合に、領域切出部１１７は、当該物体（商品Ｇ）に対応する画素位置の特定を行う。一方、閾値を上回る場合、領域切出部１１７は、画素位置の特定を行わずに、撮像範囲に商品Ｇが存在しないと判断する。これにより、撮像範囲内に商品Ｇが存在しない場合に、不要な処理の実行を抑えることができるため、処理の効率化を図ることができる。

図４に戻り、類似度算出部１１４は、領域切出部１１３が切り出した領域、つまり撮像部２０４により撮像された商品Ｇの全部又は一部の画像から特徴量を抽出する。ここで、類似度算出部１１４が抽出する特徴量は、商品Ｇの色合いや凹凸状況等の表面の状態を表すものである。

また、類似度算出部１１４は、ＰＬＵファイルＦ１に辞書登録された各商品（以下、登録商品）の特徴量と、商品Ｇの特徴量とを比較することで、商品Ｇと登録商品との類似度を算出する。類似度算出部１１４は、類似度の算出を各登録商品について実行し、その類似度が所定の閾値を上回った登録商品を、商品Ｇの候補として認識する。ここで、類似度は、登録商品の画像を１００％＝「類似度：１．０」とした場合に、商品Ｇの全部又は一部の画像がどの程度類似しているかを示すものである。また、色合いと表面の凹凸状況とでは、重み付けを変えて類似度を算出してもよい。

このように画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれる。このような一般物体認識については、下記の文献において各種認識技術が解説されている。
柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６ [平成２４年５月１９日検索]，インターネット<URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf >

また、画像をオブジェクト毎に領域分割することによって一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，[平成２４年５月１９日検索]，インターネット<URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf >

なお、撮像された商品Ｇの画像と、登録商品との類似度の算出方法は特に問わないものとする。例えば、撮像された商品Ｇの画像と、各登録商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合、撮像された商品Ｇの画像と、各登録商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合、撮像された商品Ｇと、各登録商品との類似度の総和が１．０（１００％）となるよう算出すればよい。

また、類似度は、商品Ｇの特徴量と、ＰＬＵファイルＦ１に登録された商品の基準の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値（類似度）であればよい。なお、類似度の概念は、この例に限らず、ＰＬＵファイルＦ１に登録された各登録商品の特徴量との一致度を示す値や、商品Ｇの特徴量とＰＬＵファイルＦ１に登録された各登録商品の特徴量とがどの程度相関するかを示す値であってもよい。

類似度判定部１１５は、類似度算出部１１４で算出された類似度のうち、その値が所定の閾値以上となる登録商品（商品ＩＤ）を、撮像部２０４で撮像された商品Ｇの候補（商品候補）として認識する。ここで、類似度が閾値以上の登録商品の中で、その値が他と比べて非常に高くなる登録商品が一つ存在するような場合には、その登録商品を確定商品として自動確定してもよい。なお、類似度の比較基準は任意に設定可能であるとする。

商品提示部１１６は、類似度判定部１１５で商品候補と認識された登録商品に関する情報を、第１表示デバイス２５に表示させる。より詳細には、商品提示部１１６は、商品候補として認識された登録商品のレコードをＰＬＵファイルＦ１から読み出し、第１表示デバイス２５の商品候補画面内に表示させる。

図８は、商品候補画面の表示例を示す図である。図８に示すように、第１表示デバイス２５に表示される商品候補画面Ａ１は、撮像画像領域Ａ１１と、商品候補領域Ａ１２とを含む。

撮像画像領域Ａ１１は、画像取込部１１１が取り込んだ撮像画像を表示するための領域である。撮像画像領域Ａ１１の下部には、部門コードや商品リスト等から手動で商品Ｇを認識（登録）するための手動登録ボタンＢ１が設けられる。ＣＰＵ２０１は、手動登録ボタンＢ１の操作に応じて、商品Ｇの認識（登録）を手動で行うための手動登録画面（図示せず）を第１表示デバイス２５に表示する。なお、手動登録画面を介して指定された商品は、確定商品として処理される。

商品候補領域Ａ１２は、商品候補として認識された登録商品に関する情報を表示するための領域である。商品候補領域Ａ１２には、表示領域Ａ２が配置される。図８では、商品候補領域Ａ１２に４つの表示領域Ａ２を設定した例を示しているが、表示領域Ａ２の個数は特に問わないものとする。商品提示部１１６は、表示領域Ａ２に、商品候補の商品画像や商品名等の商品情報（ＸＡ等）を配置して表示する。なお、商品候補領域Ａ１２に表示された商品候補は、タッチパネル２４を介して選択可能に構成される。上記の構成により、商品読取装置２０のオペレータは、商品候補領域Ａ１２に表示された商品候補の中から、商品Ｇに該当する商品候補を確定商品として選択することができる。

入力受付部１１７は、タッチパネル２４又はキーボード２６を介して第１表示デバイス２５の表示に対応する各種入力操作を受け付ける。例えば、入力受付部１１７は、商品候補に対する選択操作に基づき、表示された商品候補の中から商品Ｇに該当する確定商品の選択操作を受け付ける。

情報入力部１１８は、入力受付部１１７が受け付けた操作内容に応じた情報を、接続インターフェース１０６を介して自装置に入力する。例えば、情報入力部１１８は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名等）を入力する。なお、情報入力部１１８は、タッチパネル２４又はキーボード２６を介して別途入力された販売個数を、商品ＩＤ等とともに入力するとしてもよい。

売上登録部１１９は、情報入力部１１８から入力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的に、売上登録部１１９は、ＰＬＵファイルＦ１を参照して、通知された商品ＩＤ及び当該商品ＩＤに対応する商品分類、商品名、単価等を、販売個数とともに売上マスタファイル等に記録して売上登録を行う。

以下、チェックアウトシステム１の動作について説明する。ここで、図９は、ＰＯＳ端末１０が実行する売上登録処理の一例を示すフローチャートである。

ＰＯＳ端末１０のＣＰＵ１０１は、第１表示デバイス１２に表示された業務選択画面（図示せず）のメニューから「売上登録」が選択されると、売上登録処理を開始する。まず、画像取込部１１１は、撮像部２０４に撮像オン信号を出力することで撮像動作を開始させる（ステップＳ１１）。これに伴い、画像取込部１１１は、撮像部２０４が撮像した画像をＲＡＭ１０３等に取り込む（ステップＳ１２）。また、奥行情報取込部１１２は、測距部２０５の測定結果を奥行情報としてＲＡＭ１０３等に取り込む（ステップＳ１３）。

次いで、領域切出部１１３は、従来方法を用いることで、取り込まれた画像から商品Ｇの検出を行う。ここで、商品Ｇを検出した場合（ステップＳ１４；Ｙｅｓ）、領域切出部１１３は、画像から商品Ｇを検出した領域を切り出し（ステップＳ１５）、ステップＳ１９に移行する。

従来方法で商品Ｇを検出できない場合（ステップＳ１４；Ｎｏ）、領域切出部１１３は、取り込まれた奥行情報に基づき、最も近接する物体との距離（最近接距離）が閾値以内か否かを判定する（ステップＳ１６）。ここで、最近接距離が閾値を上回ると判定した場合（ステップＳ１６；Ｎｏ）、領域切出部１１３は、商品Ｇが存在しないと判断し、ステップＳ１２に戻る。

一方、最近接距離が閾値以内と判定した場合（ステップＳ１６；Ｙｅｓ）、領域切出部１１３は、その最近接距離の物体が存在する画素位置を画像の中から特定する（ステップＳ１７）。次いで、領域切出部１１３は、画素位置を中心に所定範囲の領域を設定すると（ステップＳ１８）、ステップＳ１５に移行することでその領域を切り出す。

続いて、類似度算出部１１４は、ステップＳ１５で切り出された領域から、商品Ｇの特徴量を抽出する（ステップＳ１９）。次いで、類似度算出部１１４は、ステップＳ１９で抽出された特徴量と、ＰＬＵファイルＦ１に登録された各登録商品の特徴量とを比較し、その類似度をそれぞれ算出する（ステップＳ２０）。

類似度判定部１１５は、ステップＳ２０で算出された類似度のうち、その値が所定の閾値以上の登録商品が存在するか否かを判定する（ステップＳ２１）。ここで、閾値以上の登録商品が存在しない場合（ステップＳ２１；Ｎｏ）、ステップＳ１２に再び戻る。また、閾値以上の登録商品が存在する場合（ステップＳ２１；Ｙｅｓ）、類似度判定部１１５は、その登録商品（商品ＩＤ）を商品候補として認識する。

商品提示部１１６は、ステップＳ２１で認識された商品候補を第１表示デバイス２５に表示する（ステップＳ２２）。続いて、入力受付部１１７は、タッチパネル２４又はキーボード２６を介して、確定商品の選択を受け付けたか否かを判定する（ステップＳ２３）。ここで、確定商品の選択操作を受け付けない場合（ステップＳ２３；Ｎｏ）、ステップＳ１２に再び戻る。

また、ステップＳ２３において、確定商品の選択操作を受け付けると（ステップＳ２３；Ｙｅｓ）、情報入力部１１８は、その商品の商品ＩＤ等の情報を、ＰＯＳ端末１０に入力し（ステップＳ２４）、ステップＳ２５に移行する。ここで、タッチパネル２４又はキーボード２６を介して販売個数が別途入力された場合には、ステップＳ２４において、確定商品を示す情報とともに、その販売個数をＰＯＳ端末１０に入力するものとする。なお、販売個数の入力が行われない場合には、デフォルト値として販売個数“１”を出力する形態としてもよい。

次いで、売上登録部１１９は、ステップＳ２４で入力された商品ＩＤ及び販売個数に基づいて、ＰＬＵファイルＦ１から商品種別や単価等の商品情報を読み出し、売上マスタファイルに登録する（ステップＳ２５）。

続いて、ＣＰＵ１０１は、キーボード１１の操作指示による売上登録の終了等による業務終了の有無を判定する（ステップＳ２６）。業務を継続する場合（ステップＳ２６；Ｎｏ）、ＣＰＵ１０１は、ステップＳ１２へ戻り処理を継続させる。業務を終了する場合（ステップＳ２６；Ｙｅｓ）、画像取込部１１１は、撮像部２０４に撮像オフ信号を出力することで、撮像部２０４による撮像を終了させ（ステップＳ２７）、本処理を終了する。

以上のように、本実施形態のＰＯＳ端末１０によれば、商品Ｇと背景との境界を検出することができない場合に、奥行情報を用いて商品Ｇの存在する領域を画像から切り出す。これにより、商品Ｇの特徴量をより確実に抽出することが可能となるため、認識率を向上させることができる。

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、追加等を行うことができる。また、上記実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、上記実施形態では、ＰＯＳ端末１０がＰＬＵファイルＦ１を備える形態としたが、これに限らないものとする。例えば、商品読取装置２０がＰＬＵファイルＦ１を備える形態としてもよいし、ＰＯＳ端末１０及び商品読取装置２０がアクセス可能な外部装置がＰＬＵファイルＦ１を備える形態としてもよい。

また、上記実施形態の領域切出部１１３では、従来方法による領域の切り出しを試みた後に、奥行情報に基づいた領域の切り出しを行う形態としたが、これに限らないものとする。例えば、従来方法を用いずに、奥行情報に基づいた領域の切り出しを最初から行う形態としてもよい。

また、上記実施形態では、画像取込部１１１、奥行情報取込部１１２、領域切出部１１３、類似度算出部１１４、類似度判定部１１５、商品提示部１１６、入力受付部１１７、情報入力部１１８の機能を有する情報処理装置としてＰＯＳ端末１０を適用したが、これに限らないものとする。例えば、商品読取装置２０が上記機能部の何れか又は全てを備え、算出結果、判定結果、確定商品等をＰＯＳ端末１０に出力する形態としてもよい。

また、上記実施形態では、店舗システムとしてＰＯＳ端末１０と商品読取装置２０とで構成されるチェックアウトシステム１を適用したがこれに限るものではなく、ＰＯＳ端末１０及び商品読取装置２０の機能を備えた１台構成の装置に適用するようにしてもよい。ＰＯＳ端末１０及び商品読取装置２０の機能を備えた１台構成の装置としては、スーパーマーケット等の店舗に設置されて用いられるセルフチェックアウト装置（以降、単にセルフＰＯＳと称する）が挙げられる。

ここで、図１０はセルフＰＯＳ７０の構成を示す外観斜視図、図１１はセルフＰＯＳ７０のハードウェア構成を示すブロック図である。なお、以下では、図１及び図２に示される同様の構成については同一の符号を付して示し、その重複する説明を省略する。図１０及び図１１に示すように、セルフＰＯＳ７０の本体７１には、精算用の紙幣の入金や釣り紙幣の受け取りを行うための釣り銭器７２が設けられている。また、本体７１は、タッチパネル２４が表面に配設された第１表示デバイス２５や、商品の種別等を認識（検出）するために商品画像を読み取る商品読取部２１０を備えている。

第１表示デバイス２５としては例えば液晶表示器が用いられる。第１表示デバイス２５は、案内画面や登録画面、精算画面等の各種画面を表示する。案内画面は、客にセルフＰＯＳ７０の操作方法を知らせる画面である。登録画面は、商品読取部２１０で読み込んだ商品情報を表示する画面である。精算画面は、商品の合計金額や預かり金額、釣銭額等を表示し、支払い方法の選択をする画面である。

商品読取部２１０は、客が商品を商品読取部２１０の読取窓２２にかざすことで、当該商品を表す画像を撮像部２０４により読み取るものである。

本体７１の右側には、かごに入った未精算の商品を置くための商品載置台７３が設けられる。また、本体７１の左側には、精算済みの商品を置くための商品載置台７４が設けられる。商品載置台７４には、精算済みの商品を入れるための袋を掛けるための袋掛けフック７５や、精算済みの商品を袋に入れる前に一時的に置いておくための一時置き台７６が設けられている。また、商品載置台７３、７４には計量器７７、７８がそれぞれ備えられており、精算の前後で商品の重量が同じであることを確認する機能を有している。

このような構成のセルフＰＯＳ７０を店舗システムに適用した場合、セルフＰＯＳ７０が情報処理装置として機能することになる。

また、上記実施形態の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。更に、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１ チェックアウトシステム
１０ ＰＯＳ端末
２０ 商品読取装置
１１１ 画像取込部
１１２ 奥行情報取込部
１１３ 領域切出部
１１４ 類似度算出部
１１５ 類似度判定部
１１６ 商品提示部
１１７ 入力受付部
１１８ 情報入力部
１１９ 売上登録部
Ｆ１ ＰＬＵファイル

特開２０１３−８９０８５号公報

Claims (3)

1. 所定の撮像範囲を撮像する撮像手段から画像を取り込む第１取込手段と、
   前記撮像範囲内に存在する物体までの距離を測定する測距手段から測定結果を取り込む第２取込手段と、
   前記第１取込手段が取り込んだ画像のうち、略同等色の領域が所定の割合を占めるか否かを判定する判定手段と、
   前記判定手段が占めないと判定した場合に、前記撮像手段の被写体となった対象物と背景との境界を前記画像から検出することで、当該対象物が存在する領域を前記画像から切り出し、前記判定手段が占めると判定した場合に、前記測定結果に基づいて前記撮像範囲内に存在する物体の中から最も近接する物体の存在位置を特定し、当該存在位置を基準に前記対象物が存在する領域を前記画像から切り出す切出手段と、
   前記切出手段が切り出した領域から特徴量を抽出する抽出手段と、
   辞書登録された登録物各々の特徴量と、前記抽出手段が抽出した特徴量とを比較し、その類似度を算出する算出手段と、
   辞書登録された登録物の中から、前記類似度が閾値以上の登録物を前記対象物の候補として認識する認識手段と、
   を備え、
   前記切出手段は、前記判定手段が占めると判定した場合に、最も近接する前記物体までの距離が所定の閾値の範囲以内であるか否かを判定し、閾値以内と判定したことを条件に、当該物体の存在位置を前記画像の中から特定し、閾値を上回ると判定したことを条件に、前記存在位置の特定を行わずに前記撮像範囲に物体が存在しないと判断する情報処理装置。
2. 前記切出手段は、前記判定手段が占めると判定した場合に、前記存在位置を中心とした矩形状の領域を前記画像から切り出す請求項１に記載の情報処理装置。
3. コンピュータを、
   所定の撮像範囲を撮像する撮像手段から画像を取り込む第１取込手段と、
   前記撮像範囲内に存在する物体までの距離を測定する測距手段から測定結果を取り込む第２取込手段と、
   前記第１取込手段が取り込んだ画像のうち、略同等色の領域が所定の割合を占めるか否かを判定する判定手段と、
   前記判定手段が占めないと判定した場合に、前記撮像手段の被写体となった対象物と背景との境界を前記画像から検出することで、当該対象物が存在する領域を前記画像から切り出し、前記判定手段が占めると判定した場合に、前記測定結果に基づいて前記撮像範囲内に存在する物体の中から最も近接する物体の存在位置を特定し、当該存在位置を基準に前記対象物が存在する領域を前記画像から切り出す切出手段と、
   前記切出手段が切り出した領域から特徴量を抽出する抽出手段と、
   辞書登録された登録物各々の特徴量と、前記抽出手段が抽出した特徴量とを比較し、その類似度を算出する算出手段と、
   辞書登録された登録物の中から、前記類似度が閾値以上の登録物を前記対象物の候補として認識する認識手段と、
   して機能させ、
   前記切出手段は、前記判定手段が占めると判定した場合に、最も近接する前記物体までの距離が所定の閾値の範囲以内であるか否かを判定し、閾値以内と判定したことを条件に、当該物体の存在位置を前記画像の中から特定し、閾値を上回ると判定したことを条件に、前記存在位置の特定を行わずに前記撮像範囲に物体が存在しないと判断するプログラム。