JP7704414B2 - セルフレジ装置 - Google Patents

Description

本発明は、顧客自身が購入する商品の精算を行うセルフレジ装置に関する。

従来から顧客自身が購入する商品の精算を行うために、顧客自身が商品情報をスキャンするスキャナ等を備えたセルフレジ装置が知られている。

例えば、特許文献１には、以下のようなセルフレジ端末の発明が記載されている。特許文献１に記載のセルフレジ端末は、ディスプレイやバーコードスキャナ等を備えている。そして、商品を一時的に乗せるためのテーブルや、買い物かご載置台が設けられることが記載されている。また、テーブルの下部には、硬貨投入口、紙幣入出口、硬貨返金口、硬貨出金口が設けられることも記載されている。

特許文献１に記載のセルフレジ端末においては、顧客はバーコードが貼付された商品について、自らバーコードスキャナ等を操作して登録を行い、セルフレジ端末は、読み取った情報に基づいて商品を精算対象として会計登録する。

特開２０１５－１５３３２４号公報

特許文献１に記載のセルフレジ端末は、ディスプレイは顧客（利用者）に正対するように設けられており、さらに、テーブルや硬貨投入口等はディスプレイよりも下に設けられている。そのため、顧客の精算作業時に、精算方法が表示されるディスプレイと、商品のスキャンや現金の投入等を行うテーブルや硬貨投入口等と、で視線移動が大きくなり、操作ミスが発生する場合があった。

本発明は、上記のような問題点を解決しようとするものであり、操作ミスを少なくし、利用者の利便性を向上させることができるセルフレジ装置を提供することを目的とする。

上記課題を解決するためになされた請求項１に記載された発明は、水平に設けられた第１の表示面と、前記第１の表示面の表示領域外に設けられ、前記第１の表示面に表示された操作部への操作を検出する検出部と、を備え、前記第１の表示面には、利用者に対する操作ガイドが表示される、ことを特徴とするセルフレジ装置である。

以上説明したように本発明によれば、水平に設けられた第１の表示面に利用者に対する操作ガイドが表示され、その第１の表示面に表示された操作部への操作を検出する検出部は、第１の表示面の表示領域外に設けられている。そのため、水平な第１の表示面を商品を載置するテーブル等として利用することも可能となり、そのテーブルに操作ガイドが表示されることで、視線を商品に合わせた状態で操作ガイドを視認することができ、視線の移動が殆ど生じなくなる。したがって、操作ミスが減少し、利用者の利便性が向上する。

本発明の一実施形態にかかるセルフレジ装置の側面から見た概略構成図である。 図１に示されたセルフレジ装置の上面から見た概略構成図である。 セルフレジ装置の利用イメージを示した図である。 購入作業時の操作ガイドの変化を示した図（その１）である。 購入作業時の操作ガイドの変化を示した図（その２）である。 ビデオカメラによる商品検知についての説明図である。 モーションセンサによる商品検知についての説明図である。

本発明の一実施形態にかかるセルフレジ装置を図１～図５を参照して説明する。図１は、本発明の一実施形態にかかるセルフレジ装置１の側面から見た概略構成図である。また、図２は、セルフレジ装置１の上面から見た概略構成図である。

セルフレジ装置１は、筐体２と、モニタ３、４と、顔認識カメラ５と、ビデオカメラ６と、スキャナ７と、プリンタ８と、モーションセンサ９と、プロジェクタ１０と、決済端末１１と、自動釣銭機１２と、ＰＣ１３と、ＳＵＢＰＣ１４と、を備えている。

筐体２は、箱状の第１筐体部２ａと、第１筐体部の上面から立設されている平板状の第２筐体部２ｂと、からなる。第１筐体部２ａには、上面部２ａ１にモニタ３と、決済端末１１と、が設けられている。また、上面部２ａ１には、自動釣銭機１２が備える紙幣投入口１２ａ１、紙幣出金口１２ａ２、硬貨投入口１２ｂ１、硬貨出金口１２ｂ２、硬貨返却口１２ｂ３等（図４及び図５参照）が設けられている。

モニタ３は、筐体２の上面部２ａ１に設けられている。即ち、モニタ３は、水平に設けられた第１の表示面として機能する。モニタ３は、本実施形態では、プロジェクタ１０のスクリーンとして構成されている。また、モニタ３は、後述するように、表示面であるとともに商品をスキャン等精算作業時に利用するテーブル等として利用可能な強度を有している。したがって、モニタ３は、テーブル等として利用されるため、載置された商品等による誤動作のおそれがあることから自身がタッチパネルとしての機能を有していない。タッチパネルに代わる機能は、後述するようにモーションセンサ９を用いて実現している。

また、モニタ３には、セルフレジ装置１を利用するための操作ガイドが表示される。操作ガイドについては後述する。

決済端末１１は、例えばクレジットカードや電子マネー等の決済機能を司る端末装置である。

また、第１筐体部２ａ内には、自動釣銭機１２と、ＰＣ１３と、ＳＵＢＰＣ１４と、が設けられている。

自動釣銭機１２は、紙幣取扱装置１２ａ及び硬貨取扱装置１２ｂからなり（図２を参照）、ＰＣ１３からの制御により現金の精算を行う。また、自動釣銭機１２は、後述する図４及び図５に示したように、紙幣投入口１２ａ１、紙幣出金口１２ａ２、硬貨投入口１２ｂ１、硬貨出金口１２ｂ２、硬貨返却口１２ｂ３等を備える。即ち、自動釣銭機１２は、現金の投入口、お釣りの排出口を備えている。

ＰＣ１３は、小型のコンピュータとして構成され、商品購入にかかる精算処理全般を行う。即ち、ＰＣ１３は、内蔵するＰＯＳ（Point of sale）アプリケーションプログラム等により、ＰＯＳ機能を有するキャッシュレジスタとして機能することができる。

ＳＵＢＰＣ１４は、小型のコンピュータとして構成され、客層の自動認識や動作自動解析及び音声認識等の処理を行う。ＳＵＢＰＣ１４は、ＰＣ１３と別のＰＣ（コンピュータ）として構成しているが、１つのＰＣにまとめてもよい。ＰＣ１３とＳＵＢＰＣ１４とを分けることで、既存のシステムに客層の自動認識や動作自動解析及び音声認識等の処理を追加することが容易になる。

客層の自動認識は、顔認識カメラ５で撮像された顔画像から周知の方法により顧客の性別や年齢を識別する。動作自動解析は、ビデオカメラ６で撮像された顧客（利用者）の動作（顔の向き、手の動作等）を周知の方法により認識する。音声認識は、顧客の発した音声を認識する。これら客層自動認識、動作自動解析、音声認識は、それぞれの処理結果を後述するロボットアシスタント処理部２２に送信する。

第２筐体部２ｂには、モニタ４と、顔認識カメラ５と、ビデオカメラ６と、スキャナ７と、プリンタ８と、モーションセンサ９と、プロジェクタ１０と、が設けられている（図２も参照）。つまり、これらの機器はモニタ３の表示領域外に設けられている。

モニタ４は、表示面が顧客Ｕに正対（対面）するように略鉛直に設けられている。即ち、モニタ４は、モニタ３（第１の表示面）より上方かつ顧客Ｕ（利用者）に向かって設けられている。モニタ４は、本実施形態では、液晶ディスプレイとして構成されている。また、モニタ４は、タッチパネルとしての機能は有していない。また、モニタ４には、ロボットアシスタントとなる実写またはＣＧ（Computer Graphics）等による人物画像（人型の案内画像）が表示される。モニタ４に表示される具体的な内容については後述する。

顔認識カメラ５は、顧客Ｕの顔画像を撮像して性別や年齢を認識するためのカメラであり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有するカメラモジュールである。

ビデオカメラ６は、顧客Ｕの動作の認識するためのビデオカメラ及び顧客Ｕの発した音声を認識するためのマイクを有する。ビデオカメラ６は、ビデオカメラとマイクが一体的に構成されるに限らず、別体であってもよい。

スキャナ７は、レーザ走査線を商品に照射したり、ＣＣＤスキャナ等により、商品に付されたバーコード等の各種コードを読み取る。また、スキャナ７は、会員カードやポイントカード等のバーコード等が付されているカードであればスキャンすることができる。

プリンタ８は、購入した商品名、商品単価、預かり金額、釣銭金額などの情報が記載されたレシートを印刷する。

モーションセンサ９は、顧客の手指の形状や移動する方向を検出する。本実施形態では、モーションセンサ９はカメラで構成され、撮像した手指を画像解析することで動きを検知する。即ち、モーションセンサ９は、モニタ３（第１の表示面）に表示されたボタン等（操作部）への操作を検出する検出部として機能する。

ＳＵＢＰＣ１４では、モーションセンサ９の検出結果に基づいてモニタ３に表示（投影）されたボタン等の画像（操作部）のうち、どの画像が操作されたかが判定される。そして、判定結果に基づいて、操作に応じた処理（精算等）をＰＣ１３に実行させたり、モニタ３に表示する画像の変更やモニタ４に表示される映像を変化させたりする。

また、本実施形態では、ＰＣ１３において、特定された指先の位置に基づいて、指先が、例えばモニタ３の表面から３ｃｍ以内に近づいたと判定されると、当該指先が指していると推定されるモニタ３上の位置にマークを表示させる。そして、例えばモニタ３の表面から１ｃｍ以内に近づいたと判定されると、ＰＣ１３は、その位置のボタンをタッチした（操作された）ものと判定する。これらの距離等の判定は、モーションセンサ９の特定結果に基づいて行うことができる。

即ち、ＰＣ１３（判定部）は、モニタ３（第１の表示面）の表面から３ｃｍ以内（第１距離よりも長い距離である第２距離以内）に指先が近づいた場合に、当該指先が指していると推定される操作ガイド上の位置にマークを表示させる。また、ＰＣ１３（判定部）は、モニタ３（第１の表示面）の表面から１ｃｍ以内（第１距離以内）に指先が近づいた場合に、操作ガイドの操作を判定する。

プロジェクタ１０は、ＰＣ１３からの制御によりモニタ３へ操作ガイドを投影する。即ち、プロジェクタ１０は、モニタ３（第１の表示面）へ操作ガイドを投影する投影部として機能する。なお、スキャナ７、プリンタ８、モーションセンサ９、プロジェクタ１０は、第２筐体部２ｂに設置されるに限らず、第１筐体部２ａ（ただし、上面部２ａ１の投影部分を除く）に設置してもよい。

クラウドサービス２０は、セルフレジ装置１とインターネット等のネットワークを介して接続されたサーバ装置等から構成されている。即ち、セルフレジ装置１（ＰＣ１３及びＳＵＢＰＣ１４）は通信機能を有している。クラウドサービス２０は、ＰＯＳＤＡＴＡ２１と、ロボットアシスタント処理部２２と、を有している。

ＰＯＳＤＡＴＡ２１は、セルフレジ装置１を含む複数のＰＯＳ端末で収集された販売データ等が蓄積される。

ロボットアシスタント処理部２２は、ＳＵＢＰＣ１４から送信された客層自動認識、動作自動解析、音声認識に結果に基づいて、学習済みのシナリオから顧客Ｕの次の動作を予測してＳＵＢＰＣ１４に送信する。ＳＵＢＰＣ１４では、受信した予測動作に基づいてモニタ４に映像を表示させる。

次に、モニタ３に表示される操作ガイド及びモニタ４に表示されるロボットアシスタント画像について図３～図５を参照して説明する。図３は、セルフレジ装置１の利用イメージを示した図である。図３においては、図１及び図２に示した機器のうち、スキャナ７やプリンタ８等の一部の機器は図示を省略している。

図３に示したように、顧客Ｕが例えば書籍等の商品Ｐを購入する際には、モニタ４には、ロボットアシスタント画像Ｒが表示される。また、モニタ３には、操作ガイドＧが表示される。顧客Ｕは、モニタ３に表示された操作ガイドＧに従って精算作業をし、必要に応じてロボットアシスタント画像Ｒからのアシストを受けることができる。

図４及び図５に、購入作業時の操作ガイドＧの変化を示す。まず、待機状態では、ＳＵＢＰＣ１４で顔認識カメラ５等により顧客Ｕがセルフレジ装置１に近づくことを検出し、ＰＣ１３は、ＳＵＢＰＣ１４の検出結果を受けてモニタ３に挨拶や商品Ｐのスキャンのための誘導等の文章や画像等を表示させる。

次に、商品スキャン状態として、ＰＣ１３はスキャンの方法を説明する画面をモニタ３に表示させる。このとき、支払いに移行する場合は、支払いを示すボタン等を表示し、そのボタンへのタッチ操作を可能とする。タッチ操作は、上述したようにモーションセンサ９による手指の位置等の検出によって行われる。そのため、モニタ３のボタン以外の部分に商品等を載置しても構わない。

次に、支払い方法選択として、ＰＣ１３は支払い方法を説明する画面をモニタ３に表示させる。図４では支払い方法として複数の選択肢があるが、例えば現金のみ等選択の余地が無い場合はこの表示を省略して次の画面に遷移してもよい。

次に、支払い方法で現金が選択されると、現金の投入方法を説明する画面をモニタ３に表示させる（図５）。図５の支払い画面においては、操作ガイドＧとして矢印と文字情報を用いて実際の硬貨投入口１２ｂ１と紙幣投入口１２ａ１の位置を示す。硬貨投入口１２ｂ１と紙幣投入口１２ａ１は上から見てモニタ３と同一平面上に位置している（モニタ３の周縁部に位置している）。即ち、操作ガイドＧは、矢印及び文字情報にて操作すべき機器の位置を示す表示をしている。本実施形態における機器の操作とは、硬貨の投入といった対象となる機器が何らかの動作をするような行動も含むものである。

次に、精算作業終了として、操作ガイドＧとして矢印を用いて実際のレシートプリンタ（プリンタ８）と紙幣出金口１２ａ２や硬貨出金口１２ｂ２の位置を示す。レシートプリンタやスキャナ７も上から見てモニタ３と同一平面上に位置している（モニタ３の端部に位置している）。

ロボットアシスタント画像Ｒは、例えば実写の人物画像とすることができる（ＣＧでもよいが実写のほうがより親近感を与えるため好ましい）。この人物画像は予め応答パターンに応じて複数種類収録されている。そして、ロボットアシスタント画像Ｒは、顔認識カメラ５で撮像された画像から認識された顧客Ｕに対応した人物像（性別、年齢）に切り替え可能となっている。また、ロボットアシスタント画像Ｒは、ビデオカメラ６で撮像された画像から認識された顧客Ｕの動作及びビデオカメラ６が有するマイクで取得された音声から認識された顧客Ｕの発話内容に基づいて、顧客Ｕが円滑な精算作業を行うことができるようにアシストする。

具体的には、例えば顧客Ｕの動作が早過ぎる場合は、「ゆっくり操作してください」といった案内をすることができる。また、例えば支払い方法の選択に時間がかかっている場合は「お支払は現金ですか」といった案内をし、顧客Ｕが「はい」等の肯定的な返答をした場合は「現金と表示されている部分をタッチしてください」と案内をすることができる。あるいは操作に手間取っている場合は「オペレータを呼び出しましょうか」といった案内をしてもよい。そして、顧客Ｕが「はい」等の肯定的な返答をした場合は、モニタ４の映像をオペレータに切り替えてもよい。以後はテレビ電話として実在するオペレータとやり取りをすることができる。

以上説明した本実施形態によれば、セルフレジ装置１は、水平に設けられたモニタ３と、モニタ３の表示領域外に設けられ、モニタ３に表示された操作ガイドＧへの操作を検出するモーションセンサ９と、を備え、モニタ３には、顧客Ｕに対する操作ガイドＧが表示されている。このようにすることにより、水平に設けられたモニタ３に顧客Ｕに対する操作ガイドＧが表示されるので、水平なモニタ３を商品Ｐを載置するテーブル等として利用することも可能となり、そのテーブルに操作ガイドＧが表示されることで、視線を商品Ｐに合わせた状態で操作ガイドＧを視認することができ、視線の移動が殆ど生じなくなる。したがって、操作ミスが減少し、利用者の利便性が向上する。

また、操作用ガイドＧは、矢印及び文字情報にて硬貨投入口１２ｂ１や紙幣投入口１２ａ１等の利用（操作）すべき機器の位置を示す表示を行うので、どこを利用すればよいか直感的に理解することができ、利便性が向上する。

また、利用（操作）すべき機器として、購入する商品から商品情報を読み取るスキャナ７、プリンタ８、紙幣投入口１２ａ１、紙幣出金口１２ａ２、硬貨投入口１２ｂ１、硬貨出金口１２ｂ２、硬貨返却口１２ｂ３を含み、これらは、上から見てモニタ３と同一平面上に設置されている。このようにすることにより、上記した各機器をモニタ３上に表示する矢印等を用いて示すことが容易となり、利用者に分かり易く案内することができる。

また、モニタ３へ操作用ガイドＧを投影するプロジェクタ１０を備えているので、モニタ３はスクリーンとして構成すればよく、商品を載置するテーブルと兼ねるのが容易になる。

また、モニタ３より上方かつ顧客Ｕに正対するように設けられたモニタ４を備え、モニタ４は、人型の案内画像が表示されるので、セルフレジでありながらレジ係が対応する対面式のレジに近い親近感を得ることができる。このように、人型の案内画像はレジ係の代わりともいえるものであり、顧客Ｕの正面に表示するのが望ましく、そのため、モニタ３に表示するのではなく別途モニタ４を設置することで、顧客Ｕの利便性を向上させることができる。

また、セルフレジ装置１は、モニタ３を操作する手指の位置を検出するモーションセンサ９と、モーションセンサ９の検出結果に基づいて操作ガイドＧの操作を判定するＰＣ１３を備えている。このようにすることにより、タッチパネルを必要とせず、タッチパネルと同等の機能を実現することができる。したがって、モニタ３をテーブルと兼ねることができる。

また、ＰＣ１３は、モニタ３の表面から例えば１ｃｍ以内に指先が近づいた場合に、操作ガイドＧの操作を判定するので、画面に指が触れる直前に操作の判定をすることができる。また、タッチパネルと同等の操作感を得ることができる。

また、ＰＣ１３は、モニタ３の表面から例えば３ｃｍ以内に指先が近づいた場合に、当該指先が指していると推定されるモニタ３上の位置にマークを表示させるので、指がどこを指そうとしているかを顧客Ｕ等に提示することができる。

なお、上述した実施形態では、モニタ４を設けていたが必須ではない。モニタ４を設けない場合、ロボットアシスタント画像Ｒに代えて、音声のみを出力して顧客Ｕをアシストしてもよい。

また、モニタ３は、プロジェクタ１０のスクリーンとして構成しなくてもよい。例えば、モニタ３として液晶ディスプレイで構成し、当該液晶ディスプレイ上に強度がある透明カバーを設けることで、商品等を載置するテーブルとして利用可能に構成することができる。

また、操作ガイドＧは、モニタ３上に載置された商品を避けて表示してもよい。即ち、操作ガイドＧは、第１の表示面上の商品を避けて表示される。これは、プロジェクタ等で表示した場合に操作ガイドＧが商品で隠れたり、商品に映りこむことで表示が見づらくなることを防止できる。避けるのは、上下左右にずらすのでもよいし、縮小表示でもよく、或いは商品位置に応じて操作ガイドＧの表示パターンを複数用意してもよい。

商品を避けて操作ガイドＧを表示するためにはモニタ３上の商品を検知する必要がある。商品検知の方法の例について図６及び図７を参照して説明する。図６及び図７では、ビデオカメラ６とモーションセンサ９を利用するものである。ビデオカメラ９は、図６のビデオカメラ６から延びた破線で示したエリアＡ１の範囲を撮影可能となっている。したがって、ビデオカメラ６で商品を認識することで当該商品の位置を検知することができる。商品の認識は、物体形状を学習することで検出してもよいが、少なくとも平面でない部分を検出することで検知してもよい。

また、ビデオカメラ６だけでなく、モーションセンサ９も併用することで、商品の検出精度を向上させることができる。モーションセンサ９は、図７のモーションセンサ９から延びた破線よりも下側のセルフレジ装置１の各機器（モニタ３、紙幣投入口１２ａ１等）を含む領域であるエリアＡ２の範囲が認識可能となっている。また、モーションセンサ９は、上記したように、手指の動きでモニタ３のどの位置を操作したかを認識することに加えて、商品かご等からモニタ３上に載置されたなど商品がどのように移動したかも認識できる。したがって、モーションセンサ９の検出結果も利用することで、商品の位置を高精度に認識することができる。そして、認識された商品を避けて操作ガイドＧを表示させればよい。

また、本発明は上記実施形態に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明のセルフレジ装置の構成を具備する限り、勿論、本発明の範疇に含まれるものである。

１ セルフレジ装置
３ モニタ（第１の表示面）
４ モニタ（第２の表示面）
７ スキャナ（操作すべき機器）
８ プリンタ（レシートプリンタ）
９ モーションセンサ（検出部）
１０ プロジェクタ（投影部）
１２ 自動釣銭機
１２ａ１ 紙幣投入口（操作すべき機器）
１２ａ２ 紙幣出金口（操作すべき機器）
１２ｂ１ 硬貨投入口（操作すべき機器）
１２ｂ２ 硬貨出金口（操作すべき機器）
１２ｂ３ 硬貨返却口（操作すべき機器）
１３ ＰＣ（判定部）
１４ ＳＵＢＰＣ
Ｇ 操作ガイド
Ｒ ロボットアシスタント画像（人型の案内画像）
Ｕ 顧客（利用者）

Claims (8)

1. 水平に設けられた第１の表示面と、
   前記第１の表示面の表示領域外に設けられ、前記第１の表示面に表示された操作部への操作を検出する検出部と、を備え、
   前記第１の表示面には、利用者に対する操作ガイドが表示され
   前記操作ガイドは、矢印及び文字情報にて操作すべき機器の位置を示す表示を含み、
   前記操作すべき機器は、上方から見て前記第１の表示面と同一平面上に設置されている、ことを特徴とするセルフレジ装置。
2. 前記操作すべき機器として、購入する商品から商品情報を読み取るスキャナ、現金の投入口、お釣りの排出口及びレシートプリンタを含む、ことを特徴とする請求項１に記載のセルフレジ装置。
3. 前記操作ガイドは、前記第１の表示面上の商品を避けて表示されることを特徴とする請求項１または２に記載のセルフレジ装置。
4. 前記第１の表示面へ前記操作ガイドを投影する投影部を備えることを特徴とする請求項１から３のうちいずれか一項に記載のセルフレジ装置。
5. 前記第１の表示面より上方かつ前記利用者に正対するように設けられた第２の表示面を備え、
   前記第２の表示面は、人型の案内画像が表示される、ことを特徴とする請求項１から４のうちいずれか一項に記載のセルフレジ装置。
6. 前記検出部は、前記利用者の指先の位置を検出し、
   前記検出部の検出結果に基づいて前記操作ガイドの操作を判定する判定部を更に備えることを特徴とする請求項１から５のうちいずれか一項に記載のセルフレジ装置。
7. 前記判定部は、前記第１の表示面の表面から第１距離以内に前記指先が近づいた場合に、前記操作ガイドの操作を判定することを特徴とする請求項６に記載のセルフレジ装置。
8. 前記判定部は、前記第１の表示面の表面から前記第１距離よりも長い距離である第２距離以内に前記指先が近づいた場合に、当該指先が指していると推定される前記操作ガイド上の位置にマークを表示させることを特徴とする請求項７に記載のセルフレジ装置。

Images