JP7517819B2 - 情報処理システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理システム、情報処理装置及び情報処理方法に関する。

従来、商品の代金の清算のために、物体が何れの商品であるかを特定する情報処理システムが求められている。例えば、所定エリアに置かれた１つ以上の物体を複数方向からそれぞれ撮像した複数の画像に基づいて、物体が何れの商品であるかを特定する情報処理システムが知られている（特許文献１）。

特開２０１７－２２０１９８号公報

従来の情報処理システムには、改善の余地がある。

かかる点に鑑みてなされた本開示の目的は、改善された、情報処理システム、情報処理装置及び情報処理方法を提供することにある。

本開示の一実施形態に係る情報処理システムは、撮像により画像信号を生成する撮像部と、情報処理装置とを備える。前記情報処理装置は、前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定する。

本開示の一実施形態に係る情報処理装置は、通信部と、制御部とを備える。前記通信部は、撮像により画像信号を生成する撮像部と通信可能である。前記制御部は、前記通信部によって前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定する。

本開示の一実施形態に係る情報処理方法は、撮像により画像信号を生成することを含む。前記情報処理方法は、前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定することを含む。

本開示の一実施形態によれば、改善された、情報処理システム、情報処理装置及び情報処理方法が提供され得る。

本開示の一実施形態に係る精算システムの全体構成を示す図である。 図１に示す情報処理システムの全体構成を示す図である。 図２に示す情報処理システムの機能ブロック図である。 本開示の一実施形態に係る撮像画像の一例を示す図である。 本開示の一実施形態に係る撮像画像の一例を示す図である。 本開示の一実施形態に係る撮像画像の一例を示す図である。 本開示の一実施形態に係る差分画像の一例を示す図である。 本開示の一実施形態に係る差分画像の一例を示す図である。 本開示の一実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。 本開示の他の実施形態に係る撮像画像の一例を示す図である。 本開示の他の実施形態に係る撮像画像の一例を示す図である。 本開示の他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。 本開示のさらに他の実施形態に係る情報処理システムの全体構成を示す図である。 本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。 本開示のさらに他の実施形態に係る差分画像の一例を示す図である。 本開示のさらに他の実施形態に係る情報処理システムの差分画像に対する物体認識を示すフローチャートである。 本開示のさらに他の実施形態に係る情報処理システムの全体構成を示す図である。

以下、本開示に係る実施形態について、図面を参照して説明する。

図１に示すように、精算システム１１は、少なくとも１つの情報処理システム１０と、サーバ１２とを含む。サーバ１２は、物理サーバであってよいし、クラウドサーバであってよい。情報処理システム１０とサーバ１２とは、ネットワーク１３を介して通信可能である。ネットワーク１３は、無線、有線、又は、無線及び有線の組み合わせであってよい。

情報処理システム１０は、コンビニエンスストア及びスーパーマーケット等の任意の店舗に、配置されてよい。情報処理システム１０は、店舗のキャッシュレジスタ端末として構成されてよい。情報処理システム１０は、顧客が後述の載置台１４に載置した商品を撮像することにより、撮像画像を生成する。情報処理システム１０は、生成した撮像画像中の物体が、店舗の何れの商品であるかを特定する。本開示において「撮像画像中の物体」は、撮像画像中の、画像として描画される物体の像を意味する。情報処理システム１０は、特定した商品情報を、ネットワーク１３を介してサーバ１２に送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ１２は、商品情報に基づいて、顧客に対する請求金額を算出する。サーバ１２は、請求金額を、ネットワーク１３を介して情報処理システム１０に送信する。情報処理システム１０は、顧客に請求金額を提示することにより、顧客に請求金額の支払いを要求する。

図２に示すように、情報処理システム１０は、カメラ１６（撮像部）と、情報処理装置１８とを含む。情報処理システム１０は、載置台１４と、支持柱１５と、表示装置１７とを含んでよい。

載置台１４は、載置面１４ａを含む。顧客は、会計時に、購入したい商品を載置面１４ａに載置する。本実施形態では、載置面１４ａは、略長方形状である。ただし、載置面１４ａは、任意の形状であってよい。

支持柱１５は、載置台１４の側部から、載置面１４ａの法線方向の一方に向けて延びる。当該法線方向の一方は、載置面１４ａの法線方向のうち、載置面１４ａから離れる方向であってよい。支持柱１５の先端には、カメラ１６が位置する。

カメラ１６は、撮像により撮像画像に相当する画像信号を生成する。本実施形態では、カメラ１６は、載置台１４の載置面１４ａを撮像する。ただし、カメラ１６が撮像する範囲は、載置面１４ａの少なくとも一部であればよく、載置面１４ａを超える範囲であってもよい。また、カメラ１６が撮像する範囲は、載置台１４の載置面１４ａに限定されない。例えば、カメラ１６が撮像する範囲は、後述の図１７に示すような、買い物かご２１４の中であってよい。

カメラ１６は、載置台１４の載置面１４ａを撮像可能に、配置されていてよい。カメラ１６は、載置面１４ａに光軸が垂直になるように、配置されていてよい。カメラ１６は、支持柱１５の先端に、配置されていてよい。カメラ１６は、載置台１４の載置面１４ａを撮像可能に、例えば支持柱１５の先端に、固定されていてよい。

カメラ１６は、情報処理装置１８から、撮像開始を指示する信号を取得し得る。カメラ１６は、撮像開始を指示する信号を取得すると、撮像を開始し得る。カメラ１６は、撮像により生成した画像信号を、通信線を介して情報処理装置１８に、出力する。カメラ１６は、任意のフレームレートで連続的に撮像を実行する。カメラ１６は、連続的に撮像を実行することにより、撮像時刻が異なる画像信号を生成し得る。ただし、カメラ１６は、所定トリガーに基づいて、静止画を随時撮像してよい。

表示装置１７は、液晶ディスプレイ等の任意のディスプレイを含んで構成されてよい。表示装置１７は、情報処理装置１８から取得した信号に基づいて、画像を表示する。例えば、表示装置１７は、情報処理装置１８から、商品の請求金額を示す信号を取得し得る。表示装置１７は、当該商品の請求金額を示す信号に基づいて、請求金額を示す画像を表示し得る。

表示装置１７は、タッチスクリーン機能を有してよい。表示装置１７は、載置台１４の近辺の近くに配置されてよい。表示装置１７は、顧客が商品を載置台１４に置く際に、顧客の方を向くように、配置されていてよい。

情報処理装置１８は、載置台１４の近辺に配置されてよい。図３に示すように、情報処理装置１８は、制御部２３を含む。情報処理装置１８は、通信部２０と、入力部２１と、記憶部２２とを含んでよい。

通信部２０は、任意の通信モジュールを含む。当該任意の通信モジュールは、通信線を介してカメラ１６と通信可能な通信モジュール、通信線を介して表示装置１７と通信可能なモジュール、及び、ネットワーク１３を介してサーバ１２と通信可能な通信モジュールを含んでよい。カメラ１６と通信部２０との間の通信線、及び、表示装置１７と通信部２０との間の通信線は、有線又は無線を含んで構成されていてよい。

入力部２１は、ユーザ入力を検出可能な１つ以上のインターフェースを含む。例えば、入力部２１は、物理キー、静電容量キー及びタッチスクリーンの少なくとも何れかを含んで構成されてよい。本実施形態においては、入力部２１は、タッチスクリーンである。タッチスクリーンである入力部２１は、表示装置１７と一体として設けられている。

記憶部２２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の任意の記憶デバイスを含む。記憶部２２は、制御部２３を機能させる多様なプログラム及び制御部２３が用いる多様な情報を記憶する。

記憶部２２は、店舗の商品データを記憶してよい。当該商品データは、後述の物体検出及び物体認識等に用いられ得る。商品データは、商品を識別する識別子と対応付けられた、商品画像及び商品のパッケージに付された文字等を含んでよい。以下、商品を識別する識別子は、便宜上、商品名であるものとする。

制御部２３は、１つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ:Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ:Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２３は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-ａ-Chip）、及び、ＳｉＰ（System In a Package）の何れかであってよい。

制御部２３は、通信部２０によって、ネットワーク１３を介してサーバ１２から、上述の商品データを取得してよい。制御部２３は、取得した商品データを、記憶部２２に記憶させてよい。

制御部２３は、カメラ１６に、撮像開始を指示する信号を、通信部２０によって送信し得る。制御部２３は、情報処理装置１８が起動したときに、撮像開始を指示する信号を送信してよい。制御部２３は、撮像開始を指示するユーザ入力を、入力部２１によって検出したとき、撮像開始を指示する信号を送信してよい。当該ユーザ入力は、店員によって、店舗の開店時等に、入力部２１から入力され得る。

制御部２３は、カメラ１６から、画像信号を、通信部２０によって取得する。制御部２３は、画像信号を取得することにより、画像信号に相当する撮像画像を取得し得る。制御部２３は、取得した撮像画像を記憶部２２に記憶させてよい。カメラ１６によって撮像時刻が異なる画像信号が生成されることにより、制御部２３は、撮像時刻が異なる撮像画像を取得し得る。ここで、顧客は、複数の商品を購入する場合、次々に、商品を載置台１４の載置面１４ａに載置し得る。顧客が商品を次々に載置台１４の載置面１４ａに載置することにより、撮像画像には、当該撮像画像の撮像時間が進むに連れて、次々に載置台１４に載置されていく商品が映り得る。例えば、制御部２３は、図４、図５及び図６に示すような、撮像画像３０，３１，３２を取得し得る。

図４に示すような撮像画像３０は、撮像時刻ｔ０に撮像された画像である。撮像時刻ｔ０では、載置台１４の載置面１４ａには、商品等が載置されていない。撮像画像３０は、載置台１４の載置面１４ａに対応する画像を含む。

図５に示すような撮像画像３１は、撮像時刻ｔ１に撮像された画像である。撮像時刻ｔ１は、撮像時刻ｔ０よりも、後の時刻である。撮像時刻ｔ１では、バターが載置台１４の載置面１４ａに載置されている。撮像画像３１は、部分画像３１ａを含む。部分画像３１ａは、撮像画像３１の一部である。部分画像３１ａは、バターに対応する。

図６に示すような撮像画像３２は、撮像時刻ｔ２に撮像された画像である。撮像時刻ｔ２は、撮像時刻ｔ１よりも、後の時刻である。撮像時刻ｔ２では、バター及びおにぎりが、載置台１４の載置面１４ａに載置されている。おにぎりは、顧客がバターを載置台１４に載置した後に、載置される。おにぎりは、バターの一部に重ねられている。撮像画像３２は、部分画像３２ａと、部分画像３２ｂとを含む。部分画像３２ａ及び部分画像３２ｂは、撮像画像３２の一部である。部分画像３２ａは、バターに対応する。部分画像３２ｂは、おにぎりに対応する。おにぎりがバターの一部に重ねられていることにより、部分画像３２ａは、図５に示すような部分画像３１ａとは異なり、一部が欠けている。

制御部２３は、撮像時刻の異なる２つの撮像画像に基づいて、差分画像を生成する。例えば、制御部２３は、２つの撮像画像にそれぞれ含まれる各画素の輝度値の差分を算出することにより、差分画像を生成してよい。ここで、制御部２３は、撮像時刻の異なる２つの撮像画像に差分があると判定する場合、差分画像を生成してよい。以下、２つの撮像画像に差分があるか否かを判定する処理の一例を説明する。

制御部２３は、物体検出によって、撮像画像中の物体の数を検出する。本開示において「物体検出」は、検出の対象となる物体を、撮像画像中の背景及び他の物体から区別して検出することを意味する。検出の対象となる物体は、情報処理システム１０が配置されている店舗の商品である。制御部２３は、公知の物体検出方法によって撮像画像中の物体を検出することにより、物体の数を検出してよい。公知の物体検出方法の一例として、セグメンテーション、セマンティックセグメンテーション及び／又はバウンディングボックスを利用する方法が挙げられる。制御部２３は、公知の物体認証方法によって、撮像画像中の物体の数を検出してよい。公知の物体認証方法の一例として、深層学習等の機械学習及び／又は特徴量パターンマッチングを利用する方法が挙げられる。

制御部２３は、撮像画像中の個別に検出された物体の数が変化したか否か判定する。制御部２３は、最新の検出処理で検出された物体の数と、最新の物体検出の処理の１つ前の検出処理で検出された物体の数とを比較することにより、撮像画像中の個別に検出された物体の数が変化したか否か判定してよい。このような構成により、２つの撮像画像に差分があるか否かが判定され得る。

制御部２３は、個別に検出された物体の数が変化したと判定する場合、物体の数が変化したときの撮像画像と、当該撮像画像の撮像時刻よりも前の撮像時刻の撮像画像とを用いて、差分画像を生成する。物体の数が変化したときの撮像画像の撮像時刻よりも前の撮像時刻の撮像画像として、物体の数が変化したときの撮像画像の撮像時刻よりも、所定時間前に撮像された撮像画像が用いられてよい。所定時間は、顧客が１つの商品を載置台１４に載置してから次の商品を載置台１４に載置するまでに要する時間を想定して、適宜設定されてよい。又は、物体の数が変化したときの撮像画像の撮像時刻よりも前の撮像時刻の撮像画像として、物体の数が変化する前の撮像画像が用いられてよい。当該物体の数が変化する前の撮像画像は、物体の数が変化する前の撮像画像の中で、最新のものであってよい。本実施形態では、物体の数が変化したときの撮像画像の撮像時刻よりも前の撮像時刻の撮像画像として、物体の数が変化する前の撮像画像が用いられる。

例えば、検出処理にて、制御部２３は、撮像画像３０の中の物体の数をゼロ個と検出する。次の検出処理にて、制御部２３は、撮像画像３１の中の物体の数を１個と検出する。制御部２３は、最新の検出処理にて検出した物体の数の１個と、最新の検出処理の１つ前の検出処理で検出された物体の数のゼロ個とを比較することにより、撮像画像３１中の個別に検出された物体の数が変化したと判定する。制御部２３は、物体の数が１個に変化した撮像画像３１と、物体の数が１個に変化する前の撮像画像３０とを用いて、図７に示すような、差分画像４０を生成する。差分画像４０は、部分画像４０ａを含む。部分画像４０ａは、ゼロではない画素が連続する領域である。部分画像４０ａは、撮像画像３１の部分画像３１ａと、部分画像３１ａに対応する撮像画像３０の部分との間の差分値に基づいて生成され得る。部分画像４０ａは、２つの撮像画像すなわち撮像画像３０及び撮像画像３１のうちの、撮像画像３１に含まれる部分画像３１ａに対応する。

例えば、検出処理にて、制御部２３は、撮像画像３２の中の物体を２個と検出する。当該検出処理の１つ前の検出処理は、撮像画像３１に対する検出処理であるとする。制御部２３は、最新の検出処理にて検出した物体の数の２個と、最新の検出処理の１つ前の検出処理で検出された物体の数の１個とを比較することにより、撮像画像３２の中の個別に検出された物体の数が変化したと判定する。制御部２３は、物体の数が２個に変化した撮像画像３２と、物体の数が２個に変化する前の撮像画像３１とを用いて、図８に示すような、差分画像４１を生成する。差分画像４１は、部分画像４１ａを含む。部分画像４１ａは、ゼロではない画素が連続する領域である。部分画像４１ａは、撮像画像３２の部分画像３ｂと、部分画像３２ｂに対応する撮像画像３１の部分との間の差分値に基づいて生成され得る。部分画像４１ａは、２つの撮像画像すなわち撮像画像３１及び撮像画像３２のうちの、撮像画像３２に含まれる部分画像３２ｂに対応する。

制御部２３は、差分画像４０，４１に対して物体認識を実行することにより、撮像画像３０～３２の少なくとも何れかに含まれる部分画像に対応する物体を特定する。差分画像に対する物体認識は、差分画像中の部分画像を解析することにより、当該部分画像に対応する物体の識別子すなわち名称を特定することを含んでよい。差分画像に対する物体認識は、差分画像から物体を検出することを含んでよい。制御部２３は、公知の物体認識方法を、差分画像に対して実行してよい。公知の物体認識方法の一例として、深層学習等の機械学習、文字認識、及び／又は、特徴量パターンマッチングを利用する方法が挙げられる。制御部２３は、差分画像４０に対して物体認識を実行することにより、部分画像４０ａを検出して、部分画像４０ａに対応する物体の商品名が「バター」であると特定する。制御部２３は、差分画像４１に対して物体認識を実行することにより、物体に対応する部分画像４１ａを検出して、部分画像４１ａに対応する物体の商品名が「おにぎり」であることを特定する。

制御部２３は、会計の要求を指示するユーザ入力を、入力部２１によって検出したとき、差分画像の生成を終了する。会計の要求を指示するユーザ入力は、顧客が商品を全て載置台１４に載置させた後、顧客によって入力部２１から入力され得る。又は、制御部２３は、撮像画像中の物体の数が変化したと判定してから所定時間経過しても、撮像画像中から個別に検出される物体の数が変化しない場合、差分画像の生成を終了してよい。所定時間は、顧客が１つの商品を載置台１４に載置してから次の商品を載置台１４に載置するまでに要すると想定される時間よりも、長い時間であってよい。

制御部２３は、物体を特定する処理を終了すると、特定した商品情報を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ１２は、当該商品情報を、ネットワーク１３を介して情報処理装置１８から取得する。サーバ１２は、当該商品情報に基づいて、顧客に対して請求すべき請求金額を算出する。サーバ１２は、請求金額を示す信号を、ネットワーク１３を介して情報処理装置１８に送信する。制御部２３は、ネットワーク１３を介してサーバ１２から、請求金額を示す信号を、通信部２０によって取得する。制御部２３は、請求金額を示す信号を、通信部２０によって表示装置１７に送信する。

図９は、本開示の一実施形態に係る情報処理システム１０の物体特定処理を示すフローチャートである。制御部２３は、カメラ１６からの画像信号の取得を開始すると、物体特定処理を開始してよい。制御部２３は、カメラ１６から取得した画像信号を、記憶部２２に記憶させてよい。また、制御部２３は、顧客の会計が終了した後、再び、物体特定処理を開始してよい。

制御部２３は、撮像画像中の物体の数を検出する（ステップＳ１０）。制御部２３は、撮像画像中の個別に検出された物体の数が変化したか否か判定する（ステップＳ１１）。

制御部２３は、個別に検出された物体の数が変化したと判定する場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２の処理に進む。一方、制御部２３は、個別に検出された物体の数が変化しないと判定する場合（ステップＳ１１：ＮＯ）、ステップＳ１０の処理に戻る。

ステップＳ１２の処理では、制御部２３は、物体の数が変化したときの撮像画像と、当該撮像画像の撮像時刻よりも前の撮像時刻の撮像画像とを用いて、差分画像を生成する。ステップＳ１３の処理では、制御部２３は、差分画像に対して物体認識を実行することにより、物体を特定する。

ステップＳ１４の処理では、制御部２３は、会計の要求を指示するユーザ入力を、入力部２１によって検出したか否か判定する。制御部２３は、会計の要求を指示するユーザ入力を、入力部２１によって検出したと判定する場合（ステップＳ１４：ＹＥＳ）、ステップＳ１５の処理に進む。一方、制御部２３は、会計を指示するユーザ入力を、入力部２１によって検出したと判定しない場合（ステップＳ１４：Ｎо）、ステップＳ１０の処理に戻る。

ステップＳ１５の処理では、制御部２３は、特定した商品情報を、通信部２０によってサーバ１２に送信する。

ここで、制御部２３は、ステップＳ１１の処理にて個別に検出された物体の数が変化したと判定してから、所定時間経過しても、撮像画像中から個別に検出された物体の数が変化しない場合、ステップＳ１５の処理に進んでよい。

このように本実施形態に係る情報処理システム１０では、情報処理装置１８によって、撮像時刻の異なる２つの撮像画像から、差分画像が生成される。２つの撮像画像の何れかが物体に対応する部分画像を複数含む場合でも、これら複数の部分画像は、別個の差分画像に含まれ得る。例えば、図６に示すような撮像画像３２は、バターに対応する部分画像３２ａと、おにぎりに対応する部分画像３２ｂとを含む。部分画像３２ａに対応する部分画像４０ａは、差分画像４０に含まれる。部分画像３２ｂに対応する部分画像４１ａは、差分画像４１に含まれる。情報処理装置１８は、このような差分画像に対して物体認識が実行されることにより、撮像画像に対して物体認識を実行する場合よりも、物体を精度良く特定することができる。

さらに、本実施形態に係る情報処理システム１０では、物体を複数方向からカメラによって撮像しなくても、差分画像に対して物体認識を実行することにより、物体を特定することができる。情報処理システム１０では、物体を複数方向からカメラで撮像しなく済むことにより、複数のカメラを載置台１４に向けて設置しなくて済む。このような構成により、本実施形態に係る情報処理システム１０では、より簡素な構成で、物体を特定することができる。

よって、本実施形態によれば、改善された、情報処理システム１０、情報処理装置１８及び情報処理方法が提供され得る。

また、本実施形態に係る情報処理システム１０では、個別に検出された物体の数が変化したときの撮像画像と、当該撮像画像の撮像時刻よりも前の撮像時刻の撮像画像とを用いて、差分画像が生成される。このような構成により、より確実に差分がある撮像画像を用いて、差分画像が生成され得る。

次に、本開示の他の実施形態に係る情報処理システム１０について説明する。本開示の他の実施形態では、制御部２３は、差分画像の生成に用いる上述の撮像時刻の異なる２つの撮像画像として、手指に対応する部分画像を含む撮像画像の撮像時刻の前後の撮像時刻の撮像画像を用いる。本開示の他の実施形態において、記憶部２２は、手指の画像等を記憶してよい。

制御部２３は、カメラ１６から取得する撮像画像に、手指に対応する部分画像が含まれているか否か判定する。制御部２３は、撮像画像に物体認識を実行することにより、手指に対応する部分画像が含まれているか否か判定してよい。

制御部２３は、手指に対応する部分画像が撮像画像に含まれていると判定する場合、当該撮像画像の撮像時刻の前後の撮像時刻の撮像画像を取得する。例えば、制御部２３は、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第１時間前の撮像時刻の撮像画像と、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第２時間後の撮像時刻の撮像画像とを取得してよい。第１時間及び第２時間は、顧客が個々の商品を載置台１４に置く際に要する時間を想定して、適宜設定されてよい。第１時間と第２時間とは、同じであってよいし、異なってよい。本実施形態では、制御部２３は、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第１時間前の撮像時刻の撮像画像と、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第２時間後の撮像時刻の撮像画像とを取得する。

例えば、制御部２３は、図１０に示すような、撮像画像３３を取得する。撮像画像３３は、撮像時刻ｔ０１に撮像された画像である。撮像時刻ｔ０１では、顧客が手でバターを掴んで、載置台１４の載置面１４ａに載置しようとしている。撮像画像３３は、部分画像３３ａと、部分画像３３ｂとを含む。部分画像３３ａ及び部分画像３３ｂは、撮像画像３３の一部である。部分画像３３ａは、手指に対応する。部分画像３３ｂは、バターに対応する。制御部２３は、撮像画像３３に、手指に対応する部分画像３３ａが含まれていると判定する。ここで、撮像時刻ｔ０１よりも、第１時間前の撮像時刻は、上述の撮像画像３０の撮像時刻ｔ０であるものとする。また、撮像時刻ｔ０１よりも、第２時間後の撮像時刻は、上述の撮像画像３１の撮像時刻ｔ１であるものとする。制御部２３は、上述の撮像画像３０と上述の撮像画像３１とを用いて、上述の差分画像４０を生成する。

例えば、制御部２３は、図１１に示すような、撮像画像３４を取得する。撮像画像３４は、撮像時刻ｔ１２に撮像された画像である。撮像時刻ｔ１２では、顧客がおにぎりを手で掴んで、載置台１４の載置面１４ａに載置しようとしている。撮像画像３４は、部分画像３４ａと、部分画像３４ｂと、部分画像３４ｃとを含む。部分画像３４ａ、部分画像３４ｂ及び部分画像３４ｃは、撮像画像３４の一部である。部分画像３４ａは、手指に対応する。部分画像３４ｂは、おにぎりに対応する。部分画像３４ｃは、バターに対応する。制御部２３は、撮像画像３４に、手指に対応する部分画像３４ａが含まれていると判定する。ここで、撮像時刻ｔ１２よりも、第１時間前の撮像時刻は、上述の撮像画像３１の撮像時刻ｔ１であるものとする。また、撮像時刻ｔ１２よりも、第２時間後の撮像時刻は、上述の撮像画像３２の撮像時刻ｔ２であるものとする。制御部２３は、上述の撮像画像３１と上述の撮像画像３２とを用いて、上述の差分画像４１を生成する。

図１２は、本開示の他の実施形態に係る情報処理システム１０の物体特定処理を示すフローチャートである。制御部２３は、カメラ１６から画像信号の取得を開始すると、物体特定処理を開始してよい。制御部２３は、カメラ１６から取得した画像信号を、記憶部２２に記憶させてよい。また、制御部２３は、顧客の会計が終了した後、再び、物体特定処理を開始してよい。

制御部２３は、撮像画像に物体認識を実行することにより（ステップＳ２０）、手指に対応する部分画像が含まれているか否か判定する（ステップＳ２１）。制御部２３は、手指に対応する部分画像が撮像画像に含まれていると判定する場合（ステップＳ２１：ＹＥＳ）、ステップＳ２２の処理に進む。一方、手指に対応する部分画像が撮像画像に含まれていると判定しない場合（ステップＳ２１：ＮＯ）、ステップＳ２０の処理に戻る。

ステップＳ２２の処理では、制御部２３は、手指に対応する部分画像を含む撮像画像の撮像時刻の前後の撮像時刻の撮像画像を用いて、差分画像を生成する。

制御部２３は、図９に示すステップＳ１３，Ｓ１４，Ｓ１５の処理と同じに、ステップＳ２３，Ｓ２４，Ｓ２５の処理を実行する。

図１３は、本開示のさらに他の実施形態に係る情報処理システム１１０の全体構成を示す図である。情報処理システム１１０は、カメラ１６と、情報処理装置１８と、重量センサ１９とを含む。情報処理システム１１０は、載置台１４と、支持柱１５と、表示装置１７とを含んでよい。

重量センサ１９は、載置台１４の載置面１４ａにかかる重量を検出する。重量センサ１９は、検出した重量を、通信線を介して情報処理装置１８に、出力する。重量センサ１９は、載置面１４ａにかかる重量を検出可能な位置に、適宜配置されている。

本実施形態に係る情報処理装置１８では、通信部２０は、通信線を介して重量センサ１９と通信可能な通信モジュールを含んでよい。重量センサ１９と通信部２０との間の通信線は、有線又は無線を含んで構成されてよい。

本実施形態に係る情報処理装置１８では、制御部２３は、差分画像の生成に用いる上述の撮像時刻の異なる２つの撮像画像として、載置台１４の載置面１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像を用いる。例えば、制御部２３は、通信線を介して重量センサ１９から、通信部２０によって載置台１４の載置面１４ａにかかる重量を取得し得る。制御部２３は、載置台１４の載置面１４ａにかかる重量が変化したか否か判定する。制御部２３は、載置台１４の載置面１４ａにかかる重量が変化したと判定する場合、載置台１４の載置面１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像を取得する。重量が変化した時刻の前の撮像時刻の画像として、制御部２３は、載置面１４ａにかかる重量が変化した時刻よりも第３時間前の撮像時刻の撮像画像を取得してよい。第３時間は、顧客が個々の商品を載置台１４に置く際に要する時間を想定して、適宜設定されてよい。重量が変化した時刻の後の撮像時刻の撮像画像として、制御部２３は、載置面１４ａにかかる重量が変化した時刻よりも後に撮像された撮像画像の中で、載置面１４ａにかかる重量が変化した時刻に最も近い撮像時刻の撮像画像を取得してよい。

例えば、何も載置されていない載置台１４に、顧客がバターを載置した場合、バターの重みによって、載置台１４の載置面１４ａにかかる重量が大きくなる。つまり、載置台１４の載置面１４ａにかかる重量は、変化する。制御部２３は、載置台１４の載置面１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像として、上述の撮像画像３０及び撮像画像３１を取得するものとする。制御部２３は、撮像画像３０及び撮像画像３１を用いて、上述の差分画像４０を生成し得る。

例えば、バターが載置された載置台１４に、顧客がおにぎりを載置した場合、おにぎりの重量によって、載置台１４の載置面１４ａにかかる重量が大きくなる。つまり、載置台１４の載置面１４ａにかかる重量は、変化する。制御部２３は、載置台１４の載置面１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像として、上述の撮像画像３１及び撮像画像３２を取得するものとする。制御部２３は、撮像画像３１及び撮像画像３２を用いて、上述の差分画像４１を生成し得る。

制御部２３は、載置台１４の載置面１４ａにかかる重量が変化したとき、カメラ１６に撮像を指示する信号を、通信部２０によって送信してよい。ここで、顧客は、複数の商品を購入する場合、次々に、商品を載置台１４の載置面１４ａに載置し得る。顧客が商品を次々に載置台１４の載置面１４ａに載置することにより、載置面１４ａにかかる重量は、随時変化し得る。載置面１４ａにかかる重量が随時変化する場合に、制御部２３が載置面１４ａにかかる重量が変化したときにカメラ１６に撮像を指示する信号を送信する場合、制御部２３は、撮像を指示する信号を、随時送信し得る。カメラ１６は、制御部２３からの撮像を指示する信号を所定トリガーとして、静止画を随時撮像してよい。

図１４は、本開示のさらに他の実施形態に係る情報処理システム１１０の物体特定処理を示すフローチャートである。制御部２３は、カメラ１６から画像信号の取得を開始すると、物体特定処理を開始してよい。制御部２３は、カメラ１６から取得した画像信号を、記憶部２２に記憶させてよい。また、制御部２３は、顧客の会計が終了した後、再び、物体特定処理を開始してよい。

制御部２３は、通信線を介して重量センサ１９から、通信部２０によって載置台１４の載置面１４ａにかかる重量を取得する（ステップＳ３０）。制御部２３は、載置台１４の載置面１４ａにかかる重量が変化したか否か判定する（ステップＳ３１）。

制御部２３は、載置台１４の載置面１４ａにかかる重量が変化したと判定する場合（ステップＳ３１：ＹＥＳ）、ステップＳ３２の処理に進む。一方、制御部２３は、載置台１４の載置面１４ａにかかる重量が変化したと判定しない場合（ステップＳ３１：ＮＯ）、ステップＳ３０の処理に戻る。

ステップＳ３２の処理では、制御部２３は、載置台１４の載置面１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像を用いて、差分画像を生成する。

制御部２３は、図９に示すステップＳ１３，Ｓ１４，Ｓ１５の処理と同じに、ステップＳ３３，Ｓ３４，Ｓ３５の処理を実行する。

図１５は、本開示のさらに他の実施形態に係る差分画像４２の一例を示す図である。差分画像４２は、２つの物体にそれぞれ対応する部分画像を含む。例えば、差分画像４２は、部分画像４２ａと、部分画像４２ｂとを含む。部分画像４２ａ及び部分画像４２ｂは、差分画像４２の一部である。部分画像４２ａは、チョコレートに対応する。部分画像４２ｂは、おにぎりに対応する。

顧客によって複数の商品が、一度に、載置台１４の載置面１４ａに載置される場合がある。顧客によって複数の商品が一度に載置面１４ａに載置される場合、差分画像４２のような、複数の物体にそれぞれ対応する部分画像を含む差分画像が生成され得る。

本実施形態に係る情報処理装置１８では、制御部２３は、差分画像から個別に複数の物体が検出された場合、各物体に対応する部分画像毎に物体認識を実行する。例えば、制御部２３は、差分画像中の物体の数を検出してよい。制御部２３は、上述の公知の物体検出方法によって差分画像中の物体を検出することにより、物体の数を検出してよい。制御部２３は、差分画像から個別に複数の物体が検出されたか否か判定する。制御部２３は、差分画像から個別に複数の物体が検出されたと判定する場合、各物体に対応する部分画像毎に、物体認識を実行する。

例えば、制御部２３は、差分画像４２から、別個の２つの物体を検出する。制御部２３は、差分画像４２から別個に複数の物体が検出されたと判定する。制御部２３は、各物体に対応する部分画像４２ａ及び部分画像４２ｂ毎に、物体認識を実行する。制御部２３は、部分画像４２ａに物体認識を実行することにより、部分画像４２ａに対応する物体がチョコレートであると特定する。制御部２３は、部分画像４２ｂに物体認識を実行することにより、部分画像４２ｂに対応する物体がおにぎりであると特定する。

図１６は、本開示のさらに他の実施形態に係る情報処理システム１０の差分画像に対する物体認識を示すフローチャートである。差分画像に対する物体認識は、図９に示すステップＳ１３の処理、図１２に示すステップＳ２３の処理及び図１４に示すステップＳ３３の処理に代えて、実行されてよい。この場合、制御部２３は、図９に示すステップＳ１２の処理を実行した後、図１２に示すステップＳ２２の処理を実行した後、又は、図１４に示すステップＳ３２の処理を実行した後、差分画像に対する物体認識を開始してよい。

制御部２３は、差分画像中の物体の数を検出する（ステップＳ４０）。制御部２３は、差分画像から個別に複数の物体が検出されたか否か判定する（ステップＳ４１）。

制御部２３は、差分画像から別個に複数の物体が検出されたと判定しない場合（ステップＳ４１：Ｎо）、ステップＳ４２の処理に進む。例えば、制御部２３は、差分画像から１個の物体が検出されたと判定する場合、ステップＳ４２の処理に進む。ステップＳ４２の処理では、制御部２３は、差分画像に対して物体認識を実行する。ステップＳ４２の処理の実行後、制御部２３は、図９に示すステップＳ１４の処理、図１２に示すステップＳ２４の処理又は図１４に示すステップＳ３４の処理に、進む。

制御部２３は、差分画像から個別に複数の物体が検出されたと判定する場合（ステップＳ４１：ＹＥＳ）、ステップＳ４３の処理に進む。制御部２３は、ステップＳ４３の処理に進む際、差分画像から検出された物体の数を、記憶部２２に記憶させておいてよい。

ステップＳ４３の処理では、制御部２３は、差分画像に含まれる１個の物体に対応する部分画像に、物体認識を実行する。ステップＳ４４の処理では、制御部２３は、差分画像に含まれる、物体に対応する部分画像の全てに対して、ステップＳ４３の処理を実行したか否か判定する。

制御部２３は、物体に対応する部分画像の全てに対してステップＳ４３の処理を実行したと判定する場合（ステップＳ４４：ＹＥＳ）、図９に示すステップＳ１４の処理、図１２に示すステップＳ２４の処理又は図１４に示すステップＳ３４の処理に、進む。

制御部２３は、物体に対応する部分画像の全てに対してステップＳ４３の処理を実行したと判定しない場合（ステップＳ４４：ＮＯ）、ステップＳ４３の処理を再び実行する。再び実行するステップＳ４３の処理では、制御部２３は、差分画像から検出された物体に対応する部分画像の中で、物体認識を実行していない部分画像に対して、物体認識を実行する。

このように本実施形態によれば、差分画像から個別に複数の物体が検出された場合、各物体に対応する部分画像毎に物体認識を実行する。このような処理によって、物体がより精度良く特定され得る。

図１７は、本開示のさらに他の実施形態に係る情報処理システム２１０の全体構成を示す図である。情報処理システム２１０は、買い物かご２１４と、カメラ１６と、表示装置１７と、情報処理装置１８とを含む。

買い物かご２１４は、店舗に来店した顧客によって、使用され得る。顧客は、購入したい商品を、買い物かご２１４の中に入れ得る。

カメラ１６は、買い物かご２１４の中を撮像する。カメラ１６は、買い物かご２１４の中を撮像可能に、配置されていてよい。カメラ１６は、買い物かご２１４の上部の縁部に、配置されていてよい。カメラ１６は、買い物かご２１４の中を撮像可能に、例えば買い物かご２１４の上部の縁部に、固定されていてよい。

カメラ１６は、情報処理装置１８と無線通信可能な、通信モジュールを含んでよい。カメラ１６は、画像信号を、当該無線モジュールによって情報処理装置１８に送信してよい。

情報処理装置１８は、上述したように、撮像時刻の異なる２つの撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる画像に対応する物体を特定することができる。

本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは、分割したりすることが可能である。

１０，１１０，２１０ 情報処理システム
１１ 精算システム
１２ サーバ
１３ ネットワーク
１４ 載置台
１４ａ 載置面
１５ 支持柱
１６ カメラ
１７ 表示装置
１８ 情報処理装置
１９ 重量センサ
２０ 通信部
２１ 入力部
２１４ 買い物かご
２２ 記憶部
２３ 制御部
３０，３１，３２，３３，３４ 撮像画像
３１ａ，３２ａ，３２ｂ，３３ａ，３３ｂ，３４ａ，３４ｂ，３４ｃ 部分画像
４０，４１，４２ 差分画像
４０ａ，４１ａ，４２ａ，４２ｂ 部分画像

Claims (11)

1. 物体の重量を検出するセンサと、
   前記物体の画像を含む撮像画像を撮影可能な撮像部と、
   前記センサによって検出される重量が変化する前後に撮影された第１撮像画像及び第２撮像画像に基づき、前記第１撮像画像及び前記第２撮像画像に含まれる物体の画像の、差分となる物体を特定する情報処理装置と、を備える、情報処理システム。
2. 請求項１に記載の情報処理システムであって、
   前記情報処理装置は、前記第１撮像画像と前記第２撮像画像との差分画像を生成する、情報処理システム。
3. 請求項１又は２に記載の情報処理システムであって、
   前記第１撮像画像の撮像時刻と前記第２撮像画像の撮像時刻とは、異なる、情報処理システム。
4. 請求項２又は請求項２に従属する請求項３に記載の情報処理システムであって、
   前記情報処理装置は、前記差分画像に対して物体認識を実行することにより、前記物体を特定する、情報処理システム。
5. 請求項４に記載の情報処理システムであって、
   前記情報処理装置は、前記差分画像から個別に複数の物体が検出された場合、各物体に対応する部分画像毎に前記物体認識を実行する、情報処理システム。
6. 請求項２又は請求項２に従属する請求項３に記載の情報処理システムであって、
   前記情報処理装置は、前記第１撮像画像と前記第２撮像画像との間に差分があると判定する場合、前記差分画像を生成する、情報処理システム。
7. 請求項６に記載の情報処理システムであって、
   前記情報処理装置は、前記第１撮像画像及び前記第２撮像画像から物体の数を検出し、個別に検出された物体の数が変化したときの前記第２撮像画像と、前記第２撮像画像の撮像時刻よりも前の撮像時刻の前記第１撮像画像とを用いて、前記差分画像を生成する、情報処理システム。
8. 請求項７に記載の情報処理システムであって、
   前記情報処理装置は、前記第１撮像画像として、前記物体の数が変化する前の撮像画像を用いる、情報処理システム。
9. 物体の画像を含む撮像画像を取得し、前記物体の重量を検出するセンサによって検出される重量が変化する前後に撮影された第１撮像画像及び第２撮像画像に基づき、前記第１撮像画像及び前記第２撮像画像に含まれる物体の画像の、差分となる物体を特定する制御部と、を備える、情報処理装置。
10. 情報処理装置が、物体の画像を含む撮像画像を取得することと、
    前記情報処理装置が、前記物体の重量を検出するセンサによって検出される重量が変化する前後に撮影された第１撮像画像及び第２撮像画像に基づき、前記第１撮像画像及び前記第２撮像画像に含まれる物体の画像の、差分となる物体を特定することと、を含む、情報処理方法。
11. コンピュータに、
    物体の画像を含む撮像画像を取得することと、
    前記物体の重量を検出するセンサによって検出される重量が変化する前後に撮影された第１撮像画像及び第２撮像画像に基づき、前記第１撮像画像及び前記第２撮像画像に含まれる物体の画像の、差分となる物体を特定することと、を含む動作を実行させる、プログラム。

Images