JP5675722B2 - 認識辞書処理装置及び認識辞書処理プログラム - Google Patents

Description

本発明の実施形態は、認識辞書処理装置及び認識辞書処理プログラムに関する。

対象となる物品（オブジェクト）を撮像部で撮像した画像データから当該物品の特徴量を抽出し、認識辞書ファイルに登録された特徴量データと照合して類似度を算出し、この類似度に応じて当該物品の種別等を認識する技術がある。このような画像中に含まれる物品を認識する技術は、一般物体認識（generic object recognition）と呼ばれる。この一般物体認識の技術については、下記の文献において各種認識技術が解説されている。

柳井 啓司，“一般物体認識の現状と今後”，情報処理学会論文誌，Ｖｏｌ．４８，Ｎｏ．ＳＩＧ１６［平成２２年８月１０日検索］，インターネット＜ URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf ＞
また、画像をオブジェクト毎に領域分割することによって、一般物体認識を行う技術が、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”，［平成２２年８月１０日検索］，インターネット＜ URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=repl&type=pdf ＞
近年、例えば小売店の会計システム（ＰＯＳシステム）において、顧客が買い上げる商品、特に、野菜、果物等のようにバーコードが付されていない商品の認識装置に、一般物体認識の技術を適用することが提案されている。この場合、認識辞書ファイルには、認識対象商品の外観形状、色合い、模様、凹凸具合等の表面情報をパラメータで表わす特徴量データが保存される。商品認識装置は、撮像手段によって撮像された商品の画像データから当該商品の外観上の特徴量を抽出し、この特徴量を認識辞書ファイルに登録されている各商品の特徴量データと照合する。そして商品認識装置は、特徴量が類似している商品を認識商品候補として出力する。

特開平１０−２６０９６０号公報

一般物体認識の技術を店舗の商品認識装置に適用する場合、店舗では、野菜や果物などの認識対象商品を入荷した際に、その商品に対する特徴量データが認識辞書ファイルに登録されているか否かを確認する必要がある。そして登録されていない場合には、その商品に対する特徴量データを認識辞書ファイルに登録する必要がある。

本発明が解決しようとする課題は、認識対象商品に対する特徴量データが認識辞書ファイルに登録されているか否かを確認でき、登録されていない場合には、前記特徴量データを認識辞書ファイルに登録できるようにすることにある。

一実施形態において、認識辞書作成装置は、特徴量抽出手段と、商品候補認識手段と、第１の候補商品出力手段と、第２の候補商品出力手段と、更新手段とを含む。特徴量抽出手段は、撮像された画像に含まれる商品の外観特徴量を抽出する。商品候補認識手段は、特徴量抽出手段により抽出された外観特徴量のデータを、商品の表面情報を表わす特徴量データが保存される処理対象の認識辞書ファイルの特徴量データと照合して、画像に含まれる商品の候補を認識する。第１の候補商品出力手段は、商品候補認識手段により画像に含まれる商品の候補として認識された候補商品を出力する。第２の候補商品出力手段は、第１の候補商品出力手段により出力された候補商品の中に画像に含まれる商品が存在しない場合には、ネットワークを経由して接続される複数の外部サーバのうちいずれか１つの外部サーバに外観特徴量のデータを送信し、１つの外部サーバが外観特徴量のデータを当該１つの外部サーバが有する認識辞書ファイルの特徴量データと照合して画像に含まれる商品の候補を認識した結果得られた候補商品を出力する。更新手段は、第２の候補商品出力手段により出力された候補商品の中に画像に含まれる商品が存在する場合には、１つの外部サーバ及び他の外部サーバがそれぞれ有する認識辞書ファイルに保存される商品の特徴量データを処理対象の認識辞書ファイルに追加する。

一実施形態であるチェーンストアシステムの要部構成図。 店舗サーバの機能構成を示すブロック図。 辞書データの構造を示す模式図。 辞書管理データの構造を示す模式図。 店舗サーバのハードウェア構成を示すブロック図。 認識辞書処理プログラムに従って店舗サーバのＣＰＵが実行する情報処理の前半部を示す流れ図。 認識辞書処理プログラムに従って店舗サーバのＣＰＵが実行する情報処理の後半部を示す流れ図。 図６の自辞書内認識処理の手順を具体的に示す流れ図。 候補商品リスト画面の一例を示す図。 更新不要メッセージ画面の一例を示す図。 候補商品リスト画面の一例を示す図。 検索確認画面の一例を示す図。

以下、認識辞書処理装置の実施形態について、図面を用いて説明する。なお、この実施形態は、複数の店舗を本部で統括するチェーンストアの各店舗に設置される店舗サーバに認識辞書処理装置としての機能を持たせた場合である。

図１は、チェーンストアシステムの要部構成図である。チェーンストアシステムは、各店舗にそれぞれ構築されるＰＯＳシステム１と、本部に構築される本部システム２と、インターネットを主体とするクラウドシステム３とを含む。各ＰＯＳシステム１と本部システム２とは、クラウドシステム３を介して双方向通信自在に接続される。

ＰＯＳシステム１は、複数台のＰＯＳ端末１１と、１台の店舗サーバ１２とを含む。各ＰＯＳ端末１１と店舗サーバ１２とは、有線または無線のＬＡＮ（Local Area Network）１３で接続される。各ＰＯＳ端末１１は、客が購入する商品の販売データを売上処理する。店舗サーバ１２は、各ＰＯＳ端末１１で売上処理された各商品の販売データを、ＬＡＮ１３を介して収集し、集計して、店舗全体の売上、在庫等を管理する。

各ＰＯＳ端末１１は、一般物体認識の技術を利用して、客が購入する商品を認識する。このため、各ＰＯＳ端末１１には、撮像部１４Ａを備えたスキャナ１４が接続され、店舗サーバ１２には、認識辞書ファイル１５が設けられる。認識辞書ファイル１５には、認識対象である商品毎に、その商品の外観形状、色合い、模様、凹凸具合等の表面情報を表わす特徴量データが保存される。

各ＰＯＳ端末１１は、先ず、スキャナ１４の撮像部１４Ａで撮像された画像から、この画像に含まれる商品の領域を切り出し、この商品領域の画像から、当該商品の外観上の特徴量を抽出する。次に、各ＰＯＳ端末１１は、当該商品の外観特徴量のデータを、認識辞書ファイル１５に登録されている商品毎の特徴量データとそれぞれ照合して、商品別に特徴量の類似度を算出する。そして各ＰＯＳ端末１１は、特徴量の類似度が高い商品を認識商品の候補として選択可能に表示する。この認識商品の候補の中からいずれかの商品が選択されると、各ＰＯＳ端末１１は、この商品の販売データを売上処理する。なお、類似度は、例えば、一致する度合いを示す一致度（一致率）や、どの程度相関するかを示す相関値等であってもよい。すなわち類似度は、撮像部１４Ａにより撮像された画像の特徴量と認識辞書ファイル１５に記憶されている特徴量とを基に得られる値であればよい。

店舗サーバ１２は、Ｗｅｂブラウザを実装しており、クラウドシステム３上のＷｅｂサービスを利用可能である。クラウドシステム３には、本部システム２の中枢を担う中央サーバ４も接続される。中央サーバ４も認識辞書ファイル５を備える。中央サーバ４の認識辞書ファイル５には、各店舗で販売される各種商品の特徴量データが保存される。これに対し、各店舗サーバ１２の認識辞書ファイル１５には、その店で販売される各商品の特徴量データが保存される。ここに、中央サーバ４の認識辞書ファイル５はマスタファイルと位置付けられ、各店舗サーバ１２の認識辞書ファイル１５はローカルファイルと位置付けられる。

以下では、中央サーバ４の認識辞書ファイル５を中央辞書ファイル５と称し、各店舗サーバ１２の認識辞書ファイル１５を店舗辞書ファイル１５と称する。また、各店舗を主たる自店舗と従たる他店舗として区別する際には、自店舗の店舗サーバ１２を自店舗サーバ１２Ａ、店舗辞書ファイル１５を自店舗辞書ファイル１５Ａと称し、他店舗の店舗サーバを他店舗サーバ１２Ｂ、店舗辞書ファイル１５を他店舗辞書ファイル１５Ｂと称する。

クラウドシステム３は、ネットワークサーバ３１と辞書管理サーバ３２とを含む。ネットワークサーバ３１と辞書管理サーバ３２とは、互いに通信可能に連結される。ネットワークサーバ３１は、前記中央サーバ４と各店舗サーバ１２との間、あるいは自店舗サーバ１２Ａと他店舗サーバ１２Ｂとの間のデータ通信を制御する。

辞書管理サーバ３２は、後述する辞書管理データ３３Ｒを蓄積するための辞書管理ファイル３３を備える。辞書管理サーバ３２は、辞書管理ファイル３３に蓄積された辞書管理データ３３Ｒを用いて、店舗サーバ１２で実現される認識辞書処理機能を支援する。

店舗サーバ１２は、認識辞書処理機能を実現するために、撮像手段としてデジタルビデオカメラ１６を接続し、操作・出力手段としてタッチパネル１７を接続する。さらに店舗サーバ１２は、ソフトウェアとハードウェアとの協働により、図２に示すように、特徴量抽出手段６１、商品候補認識手段６２、候補商品出力手段６３、入力受付手段６４及び処理手段６５を備える。

特徴量抽出手段６１は、デジタルビデオカメラ１６で撮像された画像からその画像に含まれる商品の外観特徴量を抽出する。商品候補認識手段６２は、特徴量抽出手段６１により抽出された外観特徴量のデータを、自店舗辞書ファイル１５Ａの特徴量データと照合して、画像に含まれる商品の候補を認識する。候補商品出力手段６３は、商品候補認識手段６２により画像に含まれる商品の候補として認識された候補商品をタッチパネル１７に表示出力する。入力受付手段６４は、タッチパネル１７に表示出力された候補商品の中に画像に含まれる商品が存在するか否かの選択入力をタッチパネル１７から受け付ける。処理手段６５は、入力受付手段６４により画像に含まれる商品が存在しない旨の選択入力を受け付けると、自店舗辞書ファイル１５Ａの更新に係る第１の処理を実行し、存在する旨の選択入力を受け付けると、自店舗辞書ファイル１５Ａの更新に係らない第２の処理を実行する。

ここで、第１の処理は、クラウドシステム３を経由して接続される外部サーバ、すなわち中央サーバ４または他店舗サーバ１２Ｂに対して特徴量抽出手段６１により抽出された外観特徴量のデータを送信し、当該外観特徴量のデータを他の認識辞書ファイル、すなわち中央辞書ファイル５または他店舗辞書ファイル１５Ｂの特徴量データと照合させて画像に含まれる商品の候補を認識させ、認識された候補商品を取得する処理を含む。

また、第１の処理は、前記外部サーバから取得した候補商品の中から、画像に含まれる商品としていずれかの候補商品が選択されると、この選択された候補商品の特徴量データを前記他の認識辞書ファイルから収集する処理を含む。

一方、第２の処理は、自店舗辞書ファイル１５Ａの更新が不要である旨を報知する処理を含む。

図３は、認識辞書ファイル、すなわち中央辞書ファイル５または店舗辞書ファイル１５に保存される辞書データ５Ｒ（１５Ｒ）の構造を示す模式図である。中央辞書ファイル５に保存される辞書データ５Ｒと店舗辞書ファイル１５に保存される辞書データ１５Ｒとは、同一構造である。

図３に示すように、認識辞書ファイル５（１５）には、少なくとも商品を識別する商品ＩＤ及び商品名と複数の特徴量データとで構成される辞書データ５Ｒ（１５Ｒ）が保存される。前記特徴量データは、対応する商品ＩＤで識別される商品の表面情報である外観上の特徴量をパラメータで表わしたもので、１つの商品に対し、その商品を様々な方向から見たときの特徴量データ０〜Ｎがそれぞれ保存される。なお、１つの商品に対する特徴量データの数（Ｎ＋１）は、固定ではない。また、特徴量データの数（Ｎ＋１）は商品によって異なる。

図４は、辞書管理ファイル３３に保存される辞書管理データ３３Ｒの構造を示す模式図である。図４に示すように、辞書管理ファイル３３には、少なくとも商品を識別する商品ＩＤ及び商品名と辞書アドレスとで構成される辞書管理データ３３Ｒが保存される。辞書アドレスは、クラウドシステム３を介して接続される中央サーバ４及び各店舗サーバ１２（１２Ａ，１２Ｂ）がそれぞれ管理する認識辞書ファイル、すなわち中央辞書ファイル５と店舗辞書ファイル１５（１５Ａ，１５Ｂ）とを個々に識別するために、認識辞書ファイル毎に設定される固有の情報である。

図５は、店舗サーバ１２の要部構成を示すブロック図である。店舗サーバ１２は、制御部本体としてＣＰＵ（Central Processing Unit）７１を搭載する。そして店舗サーバ１２は、このＣＰＵ７１に、アドレスバス，データバス等のバスライン７２を介して、主記憶部を構成するＲＯＭ（Read Only Memory）７３及びＲＡＭ（Random Access Memory）７４と、補助記憶部７５とを接続する。また店舗サーバ１２は、同バスライン７２を介して、通信インターフェース７６、タッチパネルインターフェース７７、撮像装置インターフェース７８及びＬＡＮコントローラ７９を、前記ＣＰＵ７１に接続する。

通信インターフェース７６は、通信回線を介してクラウドシステム３と接続し、当該店舗サーバ１２とネットワークサーバ３１との間のデータ通信を司る。タッチパネルインターフェース７７は、通信ケーブルを介して前記タッチパネル１７と接続する。タッチパネル１７は、画面表示が可能なディスプレイ１７１と、画面上のタッチ位置座標を検知するためにディスプレイ１７１の画面上に重ねて配置されたタッチパネルセンサ１７２とからなる。タッチパネルインターフェース７７は、表示画像データをディスプレイ１７１に送信し、また、タッチパネルセンサ１７２からタッチ位置座標信号を受信する。撮像装置インターフェース７８は、通信ケーブルを介して前記デジタルビデオカメラ１６と接続し、このカメラ１６で撮影される画像データを取り込む。ＬＡＮコントローラ７９は、ＬＡＮ１３を介して接続される各ＰＯＳ端末１１と当該店舗サーバ１２との間のデータ通信を制御する。

ＲＯＭ７３には、基本プログラム、種々の設定データ等の固定的なデータが予め格納される。ＲＡＭ７４には、少なくとも当該店舗サーバ１２が認識辞書処理機能を実現するために必要なメモリエリアが形成される。例えばＨＤＤ（Hard Disk Drive）装置またはＳＳＤ（Solid State Drive）装置等が用いられる補助記憶部７５には、種々のアプリケーションプログラムや集計データ等が格納される。前記認識辞書処理機能をＣＰＵ７１に実現させるためのアプリケーションプログラム、すなわち認識辞書処理プログラムも、上記補助記憶部７５に格納される。

かかる構成の店舗サーバ１２は、業務メニューの１つに認識辞書処理業務がある。この業務が実行されると、店舗サーバ１２では、一般物体認識の技術を利用して認識する対象の商品に対する辞書データ１５Ｒが自店舗辞書ファイル１５Ａに登録されているか否かが確認され、登録されていない場合には辞書データ１５Ｒが自店舗辞書ファイル１５Ａに追加される。

このような業務は、例えば認識対象の商品が店舗に入荷された際に、検品担当の店員によって実行される。すなわち検品担当の店員は、認識対象の商品が店舗に入荷されると、自店舗サーバ１２Ａの業務メニューの中から認識辞書処理業務を選択する。

認識辞書処理業務が選択されると、自店舗サーバ１２Ａでは認識辞書処理プログラムが起動する。この起動により、自店舗サーバ１２ＡのＣＰＵ７１は、図６〜図７の流れ図に示す手順の情報処理を開始する。先ず、ＣＰＵ７１は、撮像装置インターフェース７８から撮像オン信号を出力する（ＳＴ１）。この撮像オン信号により、デジタルビデオカメラ１６は撮像領域の撮像を開始する。デジタルビデオカメラ１６で撮像された撮像領域のフレーム画像は、ＲＡＭ７４に順次保存される。そこで、検品担当の店員は、認識対象の商品をデジタルビデオカメラ１６の撮像領域にかざす。

ＣＰＵ７１は、ＲＡＭ７４に保存されたフレーム画像のデータを取り込む（ＳＴ２）。そしてＣＰＵ７１は、このフレーム画像から商品が検出されるか否かを確認する（ＳＴ３）。具体的には、ＣＰＵ７１は、フレーム画像を二値化した画像から輪郭線等を抽出する。そしてＣＰＵ７１は、フレーム画像に映し出されている物体の輪郭抽出を試みる。物体の輪郭が抽出されると、実際に物体認識したところを示すマスク画像（輪郭を境界として内側あるいは外側を塗りつぶした二色で構成される画像）を作ったり、物体の輪郭を基に物体部分を矩形座標で処理することで、ＣＰＵ７１は、その輪郭内の画像を商品とみなす。

フレーム画像から商品が検出されない場合（ＳＴ３にてＮＯ）、ＣＰＵ７１は、ＲＡＭ７４から次のフレーム画像を取り込む（ＳＴ２）。そしてＣＰＵ７１は、このフレーム画像から商品が検出されるか否かを確認する（ＳＴ３）。

フレーム画像から商品が検出された場合には（ＳＴ３にてＹＥＳ）、ＣＰＵ７１は、その輪郭内の画像から商品の形状、表面の色合い、模様、凹凸状況等の外観上の特徴量（外観特徴量）を抽出する（ＳＴ４：特徴量抽出手段６１）。抽出された外観特徴量のデータは、ＲＡＭ７４のワークエリアに一時的に格納される。

特徴量を抽出し終えると、ＣＰＵ７１は、自辞書内認識処理を実行する（ＳＴ５）。自辞書内認識処理の手順は、図８の流れ図によって具体的に示される。先ず、ＣＰＵ７１は、自店舗辞書ファイル１５Ａを検索する（ＳＴ４１）。そしてＣＰＵ７１は、自店舗辞書ファイル１５Ａから１商品のデータレコード（商品ＩＤ、商品名、複数の特徴量データ）を読み込む（ＳＴ４２）。

データレコードを読み込めたならば、ＣＰＵ７１は、ステップＳＴ４の処理で抽出された外観特徴量のデータが、当該レコードの特徴量データに対してどの程度類似しているかを示す類似度を算出する（ＳＴ４３）。類似度は、値が大きいほど類似率が高いと言える。本実施形態では、類似度の上限を“１００”として、商品毎に特徴量データの類似度が算出される。

ＣＰＵ７１は、類似度が所定の基準閾値より高いか否かを確認する（ＳＴ４４）。基準閾値は、登録商品候補として残すべき商品の類似度の下限である。前述したように類似度の上限値を“１００”とした場合、基準閾値は、例えばその１／５の“２０”と設定する。類似度が基準閾値より高いレベルにある場合（ＳＴ４４にてＹＥＳ）、ＣＰＵ７１は、当該データレコードの商品ＩＤ及び商品名と、ステップＳＴ４３の処理で算出された類似度とを、登録商品候補としてＲＡＭ７４の所定エリアに格納する（ＳＴ４５：商品候補認識手段６２）。これに対し、類似度が基準閾値を超えない場合には（ＳＴ４４にてＮＯ）、ＣＰＵ７１は、ステップＳＴ４５の処理を実行しない。

しかる後、ＣＰＵ７１は、自店舗辞書ファイル１５Ａに未処理のデータレコードが存在するか否かを確認する（ＳＴ４６）。存在する場合（ＳＴ４６にてＹＥＳ）、ＣＰＵ７１は、ステップＳＴ４２の処理に戻る。すなわちＣＰＵ７１は、自店舗辞書ファイル１５Ａから未処理のデータレコードをさらに読み込んで、前記ステップＳＴ４３〜ＳＴ４６の処理を実行する。

こうして、自店舗辞書ファイル１５Ａに保存されている全ての商品のデータレコードについて、前記ステップＳＴ４３〜ＳＴ４６の処理が実行され、類似度が基準閾値より高いレベルにある登録商品候補を認識したならば（ＳＴ４６にてＮＯ）、自辞書内認識処理が終了する。自辞書内認識処理が終了すると、ＣＰＵ７１は、登録商品候補の有無を確認する（ＳＴ６）。

ＲＡＭ７４の所定エリアに登録商品候補となる商品データ（商品コード，商品名，類似度）が１つでも格納されていた場合、すなわち、所定の閾値を超える商品候補が１つ以上存在する場合には、登録商品候補がある。この場合（ＳＴ６にてＹＥＳ）、ＣＰＵ７１は、候補となった商品の商品名を例えば類似度の高い順に並べた候補商品リストの画面をタッチパネル１７に表示させる（ＳＴ７：候補商品出力手段）。

図９は、候補商品リスト画面の一表示例である。図示するように、画面は、商品画像の領域８０と、複数の商品名ボタン８１ａ〜８１ｆの領域とに区分される。また、「次へ」ボタン８２、「前へ」ボタン８３及び「終了」ボタン８４の各タッチボタンが、画面上に配置される。領域８０には、ステップＳＴ２の処理で取り込んだフレーム画像から検出された商品の画像が表示される。各商品名ボタン８１ａ〜８１ｆには、領域８１内に表示された商品の外観特徴量から登録商品候補となった各商品の名称がそれぞれ表記される。つまり、各商品名ボタン８１ａ〜８１ｆに表記される商品名が、候補商品リストとなる。「次へ」ボタン８２及び「前へ」ボタン８３は、各商品名ボタン８１ａ〜８１ｆに表記される商品名の更新を指示する際にタッチされる。「終了」ボタン８４は、候補商品リストの中に選択すべき商品名がないときにタッチされる。

ＣＰＵ７１は、候補商品リストの中のいずれかの商品が選択されるのを待機する（ＳＴ８：入力受付手段）。各商品名ボタン８１ａ〜８１ｆの中のいずれか１つのボタンがタッチされると、ＣＰＵ７１は、候補商品リストの中から商品が選択されたとみなす（ＳＴ８にてＹＥＳ）。この場合、ＣＰＵ７１は、タッチパネル１７に、自店舗辞書ファイル１５Ａの更新が不要である旨を報知するメッセージを表示させる（ＳＴ９：処理手段）。

なお、ステップＳＴ６の処理にて、ＲＡＭ７４の所定エリアに登録商品候補となる商品データ（商品コード，商品名，類似度）が１つしか格納されていなかった場合、すなわち、所定の閾値を超える商品候補が１つしか存在していない場合には、ステップＳＴ７及びステップＳＴ８の処理を省略して、ステップＳＴ９の処理に移行し、タッチパネル１７に、自店舗辞書ファイル１５Ａの更新が不要である旨を報知するメッセージを表示させてもよい。

図１０は、上記メッセージの一表示例である。この例では、商品画像の領域８０の画面に向かって右側近傍に、更新が不要である旨を報知するメッセージ「左の商品は既に辞書に登録されています」が表示される。また、「次へ」ボタン８２と「終了」ボタン８４が、画面上に配置される。なお、メッセージの内容や表示位置は、図１０の例に限定されるものではない。要は、ユーザに自店舗辞書ファイル１５Ａの更新が不要である旨が伝わればよい。

ＣＰＵ７１は、「次へ」ボタン８２または「終了」ボタン８４のいずれか一方が入力されるのを待機する（ＳＴ１０）。「次へ」ボタン８２がタッチされた場合（ＳＴ１０にて「次へ」）、ＣＰＵ７１は、ステップＳＴ２の処理に戻る。すなわちＣＰＵ７１は、ＲＡＭ７４から次のフレーム画像を取り込み、前記ステップＳＴ３以降の処理を再度実行する。

これに対し、「終了」ボタン８４がタッチされた場合には（ＳＴ１０にて「終了」）、ＣＰＵ７１は、撮像装置インターフェース７８から撮像オフ信号を出力する（ＳＴ１１）。この撮像オフ信号により、デジタルビデオカメラ１６は撮像領域の撮像を終了する。

したがって、認識対象の商品をデジタルビデオカメラ１６にかざした店員は、タッチパネル１７に更新が不要である旨を報知するメッセージが表示されたならば、認識対象商品の辞書データ１５Ｒが自店舗辞書ファイル１５Ａに既に登録されていると確認できる。これに対し、タッチパネル１７に候補商品リスト画面が表示された場合には、認識対象商品の辞書データ１５Ｒが自店舗辞書ファイル１５Ａに登録されていないと確認することができる。

前記ステップＳＴ６の処理にて、ＲＡＭ７４の所定エリアに登録商品候補となる商品データ（商品コード，商品名，類似度）が１つも格納されていない場合、すなわち、所定の閾値を超える商品候補が１つも存在しない場合には、登録商品候補はない。この場合（ＳＴ６にてＮＯ）、ＣＰＵ７１は、ステップＳＴ２１（図７を参照）の処理に進む。また、前記ステップＳＴ８の処理にて、「終了」ボタン８４がタッチされた場合にも（ＳＴ８にてＮＯ）、ＣＰＵ７１は、ステップＳＴ２１の処理に進む。

ステップＳＴ２１では、ＣＰＵ７１は、通信インターフェース７６を介してクラウドシステム３に、中央辞書検索コマンドを送信する。このコマンドには、ステップＳＴ４の処理にて得られた外観特徴量のデータが含まれる。中央辞書検索コマンドは、ネットワークサーバ３１を介して中央サーバ４に送信される。中央サーバ４のＣＰＵは、上記中央辞書検索コマンドを受けて、中央辞書内認識処理を実行する。

中央辞書内認識処理の手順は、検索対象の辞書ファイルが自店舗辞書ファイル１５Ａから中央辞書ファイル５に変わった点以外は、図８に示したＳＴ４１〜ＳＴ４６の手順と同一である。すなわち、中央サーバ４のＣＰＵは、中央辞書ファイル５に登録されている各辞書データの特徴量データと、中央辞書検索コマンドに含まれる外観特徴量のデータとを照合して、商品毎に類似度を求め、この類似度が基準閾値を超える商品を登録商品候補として認識する。

中央辞書内認識処理が終了すると、中央サーバ４のＣＰＵは、登録商品候補となる商品データ（商品コード，商品名、類似度）を、クラウドシステム３のネットワークサーバ３１を介して、中央辞書検索コマンド送信元の店舗サーバ１２Ａに送信する。なお、登録商品候補となる商品データが存在しない場合には、候補商品無しを示すデータを、同店舗サーバ１２Ａに送信する。

中央辞書検索コマンドを送信した店舗サーバ１２のＣＰＵ７１は、登録商品候補となる商品データを受信するのを待機する（ＳＴ２２）。登録商品候補となる商品データを受信した場合（ＳＴ２２にてＹＥＳ）、ＣＰＵ７１は、中央サーバ４にて候補となった商品の商品名を例えば類似度の高い順に並べた候補商品リストの画面をタッチパネル１７に表示させる（ＳＴ２３）。

図１１は、ステップＳＴ２３の時点における候補商品リスト画面の一表示例である。図示するように、画面は、ステップＳＴ７の処理にて表示される画面と同様に、商品画像の領域８１と、複数の商品名ボタン８１ａ〜８１ｆの領域とに区分される。また、「次へ」ボタン８２、「前へ」ボタン８３及び「終了」ボタン８４の各タッチボタンが、画面上に配置される。

因みに、図９と図１１の画面例は、店員が自店舗サーバ１２Ａのデジタルビデオカメラ１６に商品「洋ナシ」をかざした場合である。ただし、商品「洋ナシ」の辞書データ１５Ｒは、自店舗辞書ファイル１５Ａには保存されておらず、中央辞書ファイル５に保存されている。この場合、図９に示すように、商品名ボタン８１ａ〜８１ｆに商品「洋ナシ」の商品名が表記されないので、店員は、「終了」ボタン８４にタッチする。そうすると、図１１に示すように、商品名ボタン８１ａに商品「洋ナシ」の商品名が表記されるので、店員は、この商品名ボタン８１ａにタッチする。

ＣＰＵ７１は、候補商品リストの中のいずれかの商品が選択されるのを待機する（ＳＴ２４）。各商品名ボタン８１ａ〜８１ｆの中のいずれか１つのボタンがタッチされると、ＣＰＵ７１は、候補商品リストの中から商品が選択されたとみなす（ＳＴ２４にてＹＥＳ）。この場合、ＣＰＵ７１は、通信インターフェース７６を介してクラウドシステム３に、辞書データ収集コマンドを送信する。このコマンドには、ステップＳＴ２４の処理にて選択された商品の商品ＩＤが含まれる。

辞書データ収集コマンドは、ネットワークサーバ３１を介して辞書管理サーバ３２に送信される。辞書管理サーバ３２は、辞書管理ファイル３３を検索して、受信コマンド中の商品ＩＤを含む辞書管理データ３３Ｒを検出する。該当する辞書管理データ３３Ｒが検出されると、辞書管理サーバ３２は、そのデータ中の辞書アドレスで識別される外部サーバ（中央サーバ４または他店舗サーバ１２Ｂ）に、受信コマンド中の商品ＩＤを含む辞書データ５Ｒ（１５Ｒ）の収集コマンドを送信する。

このコマンドを受信した外部サーバは、対応する認識辞書ファイル（中央辞書ファイル５または他店舗辞書ファイル１５Ｂ）から受信コマンド中の商品ＩＤを含む辞書データ５Ｒ（１５Ｒ）を読出し、辞書管理サーバ３２に送信する。辞書管理サーバ３２は、外部サーバから収集した辞書データ５Ｒ（１５Ｒ）を、ネットワークサーバ３１を介して、辞書データ収集コマンド送信元の自店舗サーバ１２Ａに送信する。

辞書データ収集コマンドを送信したＣＰＵ７１は、辞書データ５Ｒ（１５Ｒ）の受信を待機する（ＳＴ２６）。通信インターフェース７６を介して辞書データ５Ｒ（１５Ｒ）が受信されると、ＣＰＵ７１は、受信した辞書データ５Ｒ（１５Ｒ）を自店舗辞書ファイル１５Ａに追加登録する（ＳＴ２７：処理手段６５）。

したがって、認識対象商品の辞書データが自店舗辞書ファイル１５Ａに登録されていないが、中央辞書ファイル５に登録されていた場合には、この中央辞書ファイル５の辞書データ５Ｒが自店舗辞書ファイル１５Ａに追加登録される。また、このとき、他店舗の辞書ファイル１５Ｂに当該認識対象商品の辞書データ１５Ｒが登録されていた場合にも、この他店舗辞書ファイル１５Ｂの辞書データ１５Ｒが自店舗辞書ファイル１５Ａに追加登録される。この際、既に追加登録されている辞書データ５Ｒまたは１５Ｒの特徴量データと重複する特徴量データは削除される。

しかる後、ＣＰＵ７１は、「次へ」ボタン８２か「終了」ボタン８４のいずれか一方が入力されるのを待機する（ＳＴ２８）。「次へ」ボタン８２がタッチされた場合（ＳＴ２８にて「次へ」）、ＣＰＵ７１は、ステップＳＴ２の処理に戻る。すなわちＣＰＵ７１は、ＲＡＭ７４から次のフレーム画像を取り込み、前記ステップＳＴ３以降の処理を再度実行する。

これに対し、「終了」ボタン８４がタッチされた場合には（ＳＴ２８にて「終了」）、ＣＰＵ７１は、撮像装置インターフェース７８から撮像オフ信号を出力する（ＳＴ３２）。この撮像オフ信号により、デジタルビデオカメラ１６は撮像領域の撮像を終了する。

前記ステップＳＴ２２の処理にて候補商品無しを示すデータを受信した場合（ＳＴ２２にてＮＯ）、あるいは前記ステップＳＴ２４の処理にて「終了」ボタン８４がタッチされた場合（ＳＴ２４にてＮＯ）、ＣＰＵ７１は、他店舗の認識辞書ファイルを検索するか否かを確認する検索確認画面をタッチパネル１７に表示させる。

図１２は、検索確認画面の一表示例である。図示するように、画面は、商品画像の領域８０と、複数の店名ボタン９１ａ〜９１ｃの領域とに区分される。また、「次へ」ボタン８２、「前へ」ボタン８３及び「終了」ボタン８４の各タッチボタンが、画面上に配置される。領域８０には、ステップＳＴ２の処理で取り込んだフレーム画像から検出された商品の画像が表示される。各店名ボタン９１ａ〜９１ｆには、予め補助記憶部７５に設定されている同一地域内の他店舗の店名が表記される。

たとえば、地域限定の商品の場合、中央辞書ファイル５に辞書データ５Ｒが登録されていないが、他店舗辞書ファイル１５Ｂには辞書データ１５Ｒが登録されている可能性がある。その場合、店員は、所望の店名が表記された店名ボタン９１ａ〜９１ｃにタッチする。

検索確認画面を表示させたＣＰＵ７１は、いずれかの店名ボタン９１ａ〜９１ｃがタッチされるか「終了」ボタン８４がタッチされるのを待機する（ＳＴ３０）。いずれかの店名ボタン９１ａ〜９１ｃがタッチされた場合、ＣＰＵ７１は、タッチされた店名ボタン９１ａ〜９１ｃに表記されている店名の他店舗が選択されたとみなす。そしてＣＰＵ７１は、通信インターフェース７６を介してクラウドシステム３に、他店舗辞書検索コマンドを送信する。このコマンドには、ステップＳＴ４の処理にて得られた外観特徴量のデータと、検索確認画面から選択された他店舗の識別データとが含まれる。他店舗辞書検索コマンドは、ネットワークサーバ３１を介して該当する他店舗サーバ１２Ｂに送信される。他店舗サーバ１２ＢのＣＰＵ７１は、上記他店舗辞書検索コマンドを受けて、他店舗辞書内認識処理を実行する。

他辞書内認識処理の手順は、検索対象の辞書ファイルが自店舗辞書ファイル１５Ａから他店舗辞書ファイル１５Ｂに変わった点以外は、図８に示したＳＴ４１〜ＳＴ４６の手順と同一である。すなわち、他店舗サーバ１２ＢのＣＰＵ７１は、他店舗辞書ファイル１５Ｂに登録されている各辞書データの特徴量データと、他店舗辞書検索コマンドに含まれる外観特徴量のデータとを照合して、商品毎に類似度を求め、この類似度が基準閾値を超える商品を登録商品候補として認識する。

他店舗辞書内認識処理が終了すると、他店舗サーバ１２ＢのＣＰＵ７１は、登録商品候補となる商品データ（商品コード，商品名、類似度）を、クラウドシステム３のネットワークサーバ３１を介して、他店舗辞書検索コマンド送信元の店舗サーバ１２Ａに送信する。なお、登録商品候補となる商品データが存在しない場合には、候補商品無しを示すデータを、同店舗サーバ１２Ａに送信する（要求受け手段）。

他店舗辞書検索コマンドを送信した店舗サーバ１２のＣＰＵ７１は、登録商品候補となる商品データを受信するのを待機する（ＳＴ２２）。以後、ＣＰＵ７１は、前記ステップＳＴ２２以降の処理を実行する。

したがって、認識対象商品の辞書データが中央辞書ファイル４にも登録されていないが、他店舗辞書ファイル１５Ｂに登録されていた場合には、この他店舗辞書ファイル１５Ｂの辞書データ１５Ｒが自店舗辞書ファイル１５Ａに追加登録される。

このように本実施形態によれば、検品担当の店員が認識対象の商品をデジタルビデオカメラ１６の撮像領域にかざすだけで、当該商品の辞書データが自店舗辞書ファイル１５Ａに登録されているか否かを容易に確認することができる。そして、自店舗辞書ファイル１５Ａに登録されておらず、外部サーバ、例えば中央サーバ４または他店舗サーバ１２Ｂが管理する中央辞書ファイル５または他店舗辞書ファイル１５Ｂに登録されている場合には、この中央辞書ファイル５または他店舗辞書ファイル１５Ｂに登録されている辞書データが自店舗辞書ファイル１５Ａに自動的に登録される。したがって、自店舗辞書ファイル１５Ａに辞書データを追加登録する手間を削減することができる。

なお、本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、ネットワークサーバ３１と辞書管理サーバ３２とをクラウドシステム３に配置したが、ネットワークサーバ３１及び辞書管理サーバ３２としての機能を店舗サーバ１２に持たせることで、各店舗サーバ１２と中央サーバ４との間でクラウドシステム３を用いることなくネットワークを構築してもよい。

また、前記実施形態では、自店舗サーバ１２Ａに対する外部サーバとして、中央サーバ４と他店舗サーバ１２Ｂとを示したが、中央サーバ４または他店舗サーバ１２Ｂのいずれか一方を外部サーバとしてもよい。

また、前記実施形態では、店舗サーバ１２の撮像手段としてデジタルビデオカメラ１６を例示し、操作・出力手段としてタッチパネル１７を例示したが、撮像手段及び操作・出力手段はこれに限定されるものではない。例えば、カメラ搭載型の多機能携帯端末または高機能携帯電話を、撮像手段及び操作・出力手段として兼用することもできる。

また、前記実施形態は、装置内部のプログラム記憶部である補助記憶部７５に発明の機能を実現させる認識辞書処理プログラムが予め記録されているものとした。しかしこれに限らず、同様のプログラムがネットワークから装置にダウンロードされてもよい。あるいは、記録媒体に記録された同様のプログラムが、装置にインストールされてもよい。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される処理対象の認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を認識する商品候補認識手段と、前記商品候補認識手段により前記画像に含まれる商品の候補として認識された候補商品を出力する候補商品出力手段と、前記候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在しない場合には前記処理対象の認識辞書ファイルの更新に係る第１の処理を実行し、存在する場合には前記処理対象の認識辞書ファイルの更新に係らない第２の処理を実行する処理手段と、を具備し、前記第１の処理は、ネットワークを経由して接続される外部サーバに対し、前記特徴量抽出手段により抽出された前記外観特徴量のデータを送信し、前記外観特徴量のデータを他の認識辞書ファイルの前記特徴量データと照合させて前記画像に含まれる商品の候補を認識させ、認識された候補商品を取得することを特徴とする認識辞書処理装置。
［２］前記候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在するか否かの選択入力を受け付ける入力受付手段、をさらに具備し、前記処理手段は、前記入力受付手段により前記画像に含まれる商品が存在しない旨の選択入力を受け付けると前記第１の処理を実行し、存在する旨の選択入力を受け付けると前記第２の処理を実行することを特徴とする付記１記載の認識辞書処理装置。
［３］前記第１の処理は、さらに、取得した前記候補商品の中から、前記画像に含まれる商品としていずれかの候補商品が選択されると、この選択された候補商品の特徴量データを前記他の認識辞書ファイルから収集する処理を含むことを特徴とする付記１記載の認識辞書処理装置。
［４］前記第２の処理は、前記処理対象の認識辞書ファイルの更新が不要である旨を報知する処理を含むことを特徴とする付記１〜３のうちいずれか１に記載の認識辞書処理装置。
［５］前記外部サーバを介して候補商品の要求を受けると、この要求とともに受信した前記外観特徴量のデータを前記処理対象の認識辞書ファイルの前記特徴量データと照合して候補商品を認識し、当該候補商品のデータを要求元へ出力する要求受け手段、をさらに具備したことを特徴とする付記１〜４のうちいずれか１に記載の認識辞書処理装置。
［６］コンピュータを、撮像された画像からその画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段、前記特徴量抽出手段により抽出された外観特徴量のデータを、認識対象である商品毎にその商品の表面情報を表わす特徴量データが保存される処理対象の認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を認識する商品候補認識手段、前記商品候補認識手段により前記画像に含まれる商品の候補として認識された候補商品のリストを出力する候補商品出力手段、前記候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が含まれる場合には前記処理対象の認識辞書ファイルの更新に係る第１の処理を実行し、含まれない場合には前記処理対象の認識辞書ファイルの更新に係らない第２の処理を実行する処理手段、として機能させ、前記第１の処理は、ネットワークを経由して接続される外部サーバに対し、前記特徴量抽出手段により抽出された前記外観特徴量のデータを送信し、前記外観特徴量のデータを他の認識辞書ファイルの前記特徴量データと照合させて前記画像に含まれる商品の候補を認識させ、認識された候補商品を取得する認識辞書処理プログラム。

１…ＰＯＳシステム、２…本部システム、３…クラウドシステム、４…中央サーバ、５…中央辞書ファイル、１２…店舗サーバ、１５…店舗辞書ファイル、１６…デジタルビデオカメラ、１７…タッチパネル、３１…ネットワークサーバ、３２…辞書管理サーバ、３３…辞書管理ファイル、６１…特徴量抽出手段、６２…商品候補認識手段、６３…候補商品出力手段、６４…入力受付手段、６５…処理手段。

Claims (5)

1. 撮像された画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出された外観特徴量のデータを、商品の表面情報を表わす特徴量データが保存される処理対象の認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を認識する商品候補認識手段と、
   前記商品候補認識手段により前記画像に含まれる商品の候補として認識された候補商品を出力する第１の候補商品出力手段と、
   前記第１の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在しない場合には、ネットワークを経由して接続される複数の外部サーバのうちいずれか１つの外部サーバに前記外観特徴量のデータを送信し、前記１つの外部サーバが前記外観特徴量のデータを当該１つの外部サーバが有する認識辞書ファイルの前記特徴量データと照合して前記画像に含まれる商品の候補を認識した結果得られた候補商品を出力する第２の候補商品出力手段と、
   前記第２の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在する場合には、前記１つの外部サーバ及び他の前記外部サーバがそれぞれ有する前記認識辞書ファイルに保存される前記商品の特徴量データを前記処理対象の認識辞書ファイルに追加する更新手段と、
   を具備したことを特徴とする認識辞書処理装置。
2. 前記候補商品の中に前記画像に含まれる商品が存在するか否かの選択入力を受け付ける入力受付手段、をさらに具備し、
   前記第２の候補商品出力手段は、前記第１の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在しない旨の選択入力を前記入力受付手段により受け付けると前記１つの外部サーバに前記外観特徴量のデータを送信して得られた候補商品を出力する処理を実行し、
   前記更新手段は、前記第２の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在する旨の選択入力を前記入力受付手段により受け付けると、前記１つの外部サーバ及び他の前記外部サーバがそれぞれ有する前記認識辞書ファイルに保存される前記商品の特徴量データを前記処理対象の認識辞書ファイルに追加する処理を実行することを特徴とする請求項１記載の認識辞書処理装置。
3. 各商品を識別する商品ＩＤに関連付けて、その商品の特徴量データが保存された認識辞書ファイルを識別する辞書アドレスを記憶する辞書管理ファイル、
   をさらに具備し、
   前記更新手段は、前記第２の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在する場合に、前記辞書管理ファイルを参照して前記商品の特徴量データが保存された他の外部サーバの認識辞書ファイルを検出し、前記１つの外部サーバと前記検出された他の外部サーバとがそれぞれ有する前記認識辞書ファイルに保存される前記商品の特徴量データを前記処理対象の認識辞書ファイルに追加することを特徴とする請求項１または２に記載の認識辞書処理装置。
4. 前記第１の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在する場合には、前記処理対象の認識辞書ファイルの更新が不要である旨を報知する報知手段、
   をさらに具備したことを特徴とする請求項１〜３のうちいずれか１に記載の認識辞書処理装置。
5. コンピュータを、
   撮像された画像に含まれる商品の外観特徴量を抽出する特徴量抽出手段、
   前記特徴量抽出手段により抽出された外観特徴量のデータを、商品の表面情報を表わす特徴量データが保存される処理対象の認識辞書ファイルの前記特徴量データと照合して、前記画像に含まれる商品の候補を認識する商品候補認識手段、
   前記商品候補認識手段により前記画像に含まれる商品の候補として認識された候補商品を出力する第１の候補商品出力手段、
   前記第１の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在しない場合には、ネットワークを経由して接続される複数の外部サーバのうちいずれか１つの外部サーバに前記外観特徴量のデータを送信し、前記１つの外部サーバが前記外観特徴量のデータを当該１つの外部サーバが有する認識辞書ファイルの前記特徴量データと照合して前記画像に含まれる商品の候補を認識した結果得られた候補商品を出力する第２の候補商品出力手段、及び
   前記第２の候補商品出力手段により出力された候補商品の中に前記画像に含まれる商品が存在する場合には、前記１つの外部サーバ及び他の前記外部サーバがそれぞれ有する前記認識辞書ファイルに保存される前記商品の特徴量データを前記処理対象の認識辞書ファイルに追加する更新手段、
   として機能させるための認識辞書処理プログラム。

Images