JP2017162105A

JP2017162105A - 情報処理装置、その制御方法、プログラム、および情報処理システム

Info

Publication number: JP2017162105A
Application number: JP2016044762A
Authority: JP
Inventors: 智大佐藤; Tomohiro Sato
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-03-08
Filing date: 2016-03-08
Publication date: 2017-09-14
Anticipated expiration: 2036-03-08
Also published as: US20170262870A1; JP6735574B2

Abstract

【課題】少ない台数のカメラで顧客の情報を精度よく取得する。
【解決手段】撮影装置５２１によって撮影された映像５５１から取得された人物の画像データを含む人物の情報を取得する第１の取得手段と、前記人物の画像データを表示部に表示する表示制御手段と、ユーザの操作に基づいて、顧客の購買情報を取得する第２の取得手段と、前記表示部に表示された前記人物の画像データから、ユーザにより指定された人物の画像データを選択する選択手段と、前記選択手段により選択された人物の画像データが含まれる人物の情報と、前記顧客の購買情報とを関連付ける関連付け手段と、を有し、前記表示制御手段は、前記表示部に表示された前記人物の画像データのうち、他の情報処理装置により選択された人物の画像データを識別可能に表示する。
【選択図】図５

Description

本発明は、映像データの解析技術に関するものであって、特にカメラ等により撮影された映像に映る人物の特定に関する技術である。

近年、ネットワークカメラ（以下、カメラと呼ぶ）を用いてレジに位置する人物を撮影し、撮影画像から人物情報を抽出し、当該人物情報と当該人物の購買情報とを関連付けるシステムが提案されている（例えば、特許文献１）。このようなシステムでは、まず、ＰＯＳ（ＰｏｉｎｔｏｆＳａｌｅｓ）レジに搭載されたカメラ、またはＰＯＳレジの近傍に設置されたカメラが、会計処理の際に顧客である人物の顔を撮影する。撮影画像から、当該人物の年齢や性別等の顧客データ（人物情報）が画像処理等により取得され、ＰＯＳレジによ取得される購買点数や金額等の売上データと紐付けてデータベースに保管される。一定期間蓄積された顧客データと売上データは、例えば経営者等が顧客満足度や売上および利益の向上を図る経営改善策を考える上で有益な情報となる。

特開２０１３−０４５１３２号公報

特許文献１等における従来の顧客の撮影方法を図１を用いて説明する。図１は、従来の顧客の撮影方法を説明する図である。従来では、図１（Ａ）のように、会計のための順番待ちをする顧客の列１０１、１０２、１０３のために、それぞれＰＯＳレジ１１１、１１２、１１３が存在する。また、ＰＯＳレジ１１１、１１２、１１３に対し、それぞれ１台のカメラ１２１、１２２、１２３が設置されている。カメラ１２１、１２２、１２３により撮影される画像は、図１（Ｂ）の画像１３１のように、画像解析に必要な十分な大きさとなり、適切な人物情報を得ることが可能となる。しかし、図１（Ａ）の形態では、顧客の列の数だけ、カメラが必要となる。したがって、顧客の列が増えるに従い、導入するＰＯＳレジの数が増加し、運用コストや導入コストが高くなる恐れがあった。

そのような課題を解決するため、図２に示すような撮影方法が考えられる。図２は、図１に示す従来方法から派生した撮影方法を説明する図である。この撮影方法において、図２（Ａ）のように、会計のために順番待ちをする顧客の列２０１、２０２、２０３のために、それぞれＰＯＳレジ２１１、２１２、２１３が存在する。また、ＰＯＳレジ２１１、２１２、２１３に対し、１台のカメラ２２１が設置されている。カメラ２２１は、ＰＯＳレジ２１１、２１２、２１３から遠く、１台でＰＯＳレジ２１１、２１２、２１３の近傍に位置する顧客全体を撮影するため、カメラ２２１により撮影される画像は、図２（Ｂ）の画像２３１のように、画像解析に必要な十分な大きさとならず、適切な人物情報を得ることは難しくなる。カメラ２２１が高解像度で撮影を行った場合には、映像解析に必要な大きさで顧客の顔を撮影する事が可能になるが、導入コストが高くなるという課題を解決することはできない。

本発明は、上記課題に鑑みてなされたものであり、少ない台数のカメラで顧客の情報を精度よく取得することを目的とする。

上記課題を達成するための一手段として、本発明の情報処理装置は以下の構成を有する。すなわち、撮影装置によって撮影された映像から取得された人物の画像データを含む人物の情報を取得する第１の取得手段と、前記人物の画像データを表示部に表示する表示制御手段と、ユーザの操作に基づいて、顧客の購買情報を取得する第２の取得手段と、
前記表示部に表示された前記人物の画像データから、ユーザにより指定された人物の画像データを選択する選択手段と、前記選択手段により選択された人物の画像データが含まれる人物の情報と、前記顧客の購買情報とを関連付ける関連付け手段と、を有し、前記表示制御手段は、前記表示部に表示された前記人物の画像データのうち、他の情報処理装置により選択された人物の画像データを識別可能に表示することを特徴とする。

本発明によれば、少ない台数のカメラで顧客の情報を精度よく取得することが可能となる。

従来の顧客の撮影方法を説明する図。従来の方法から派生した顧客の撮影方法を説明する図。情報処理装置４２１のハードウェア構成の一例を示す図。実施形態１における情報処理システムの構成の一例を示す図。顧客の動きとオペレータの操作を説明する図。ＰＯＳレジの表示画面の遷移を示す図。映像処理装置４０１の処理のフローチャート。情報処理装置４２１の処理のフローチャート。

以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施形態１］
実施形態１として、顧客データと売上データとを紐付けてデータベースに保管する情報処理システムについて説明する。図４は、本実施形態における情報処理システム４００の構成の一例を示す図である。情報処理システム４００は、映像処理装置４０１、顧客データ保持部４１１、情報処理装置４２１、および顧客購買データ保持部４３１から構成される。

映像処理装置４０１は、撮影部４０２、映像解析部４０３、および顧客データ生成部４０４を有する。撮影部４０２は、カメラ部であり、映像を撮影し、当該映像を映像解析部４０３に送る。映像解析部４０３は、撮影部４０２から受け取った映像において、人物（顧客）の顔を画像処理により抽出する。また、映像解析部４０３は、当該人物の顔を含む顔画像（人物の画像データ）を生成して顧客データ生成部４０４に送る。顧客データ生成部４０４は、映像解析部４０３から受け取った顔画像から、年齢や性別等の顧客情報（人物の情報）を画像認識処理により取得する。また、顧客データ生成部４０４は、取得した顧客情報を映像解析部４０３から受け取った顔画像と関連付けて顧客データを生成し、当該顧客データを顧客データ保持部４１１に保存する。なお、映像処理装置４０１は、撮影部４０２を撮影装置として他の構成から分離するように構成されてもよい。

情報処理装置４２１は、ネットワーク４１２を介して、顧客データ保持部４１１と顧客購買データ保持部４３１と接続されている。情報処理システム４００は、情報処理装置４２１を複数有することが可能である。情報処理装置４２１は、データ管理部４２２、会計部４２３、表示制御部４２４、入力制御部４２５、および顧客購買データ生成部４２６を有する。データ管理部４２２は、顧客データ保持部４１１に保持される顧客データの管理を行う。会計部４２３は、オペレータによる操作入力に基づいて会計処理を行い、売上データ（購買情報）を生成する。表示制御部４２４は、顧客データ保持部４１１から顧客データを取得し、当該顧客データに含まれる顔画像を、表示部３０４（図３を参照）を介してオペレータに提示する。入力制御部４２５は、オペレータが、表示部３０４を介して提示された１以上の顔画像の中から１以上の顔画像を選択（指定）するために入力部３０３（図３を参照）に対して行った操作入力に対応する制御を行う。また、入力制御部４２５は、オペレータにより選択された顔画像に対応する顧客データを一時的に保持する。顧客購買データ生成部４２６は、会計部４２３により生成された売上データと、入力制御部４２５により保持されている顧客データとを紐付けることにより顧客購買データを生成し、当該顧客購買データを顧客購買データ保持部４３１に保存する。

図３は、情報処理装置４２１のハードウェア構成の一例を示す図である。記憶部３０１は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリにより構成される。記憶部３０１は、後述する各種動作を行うためのプログラムや、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部３０１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。また、記憶部３０１が複数のメモリ等を備えていてもよい。

制御部３０２は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のプロセッサにより構成される。制御部３０２は、記憶部３０１に記憶されたプログラムを実行することにより情報処理装置４２１全体を制御する。また、制御部３０２がマルチコア等の複数のプロセッサを備え、複数のプロセッサにより情報処理装置４２１全体を制御するようにしてもよい。

入力部３０３は、ユーザからの各種操作の受付を行う。表示部３０４は、画面上で各種表示を行う。なお、タッチパネルのように入力部３０３と表示部３０４の両方を１つのモジュールで実現するようにしてもよい。表示部３０４は、例えばＬＣＤ（Liquid Crystal Display）により構成される。表示部３０４は、ユーザが視覚で認知可能な情報を出力し、各種ＵＩ（User Interface）の表示制御を行う。

通信部３０５は、無線通信または有線通信の制御を行う。また、無線通信を行う場合は、通信部３０５はアンテナ３０６を制御して、無線通信のための無線信号の送受信を行う。情報処理装置４２１は、通信部３０５を介して、映像データ等のコンテンツを対向機１０２へ送信する。

＜オペレータの操作＞
図５は、顧客の動きとオペレータの操作を説明する図である。図５（Ａ）において、オペレータａ、ｂ、ｃは、それぞれＰＯＳレジ５１１、５１２、５１３を操作することが出来る。ＰＯＳレジ５１１、５１２、５１３はそれぞれ、図４を用いて説明した情報処理装置４２１の機能を有する。画面５３１、５３２、５３３はそれぞれ、ＰＯＳレジ５１１、５１２、５１３の表示部３０４に表示される画面の例である。

本実施形態では、顧客は、ＰＯＳレジ５１１、５１２、５１３の前に、顧客の列５０１のように一列に並ぶものとする。ＰＯＳレジ５１１、５１２、５１３は、オペレータの操作入力に基づいて顧客購買データを生成する。例えば、顧客Ａ５０２がＰＯＳレジ５１１に進んだ場合、オペレータａは、ＰＯＳレジ５１１の表示部３０４に表示された画面５３１において、顧客Ａを選択する。また、オペレータａは、ＰＯＳレジ５１１で会計処理のための操作入力を行う。オペレータａによるこれらの操作に基づいて、ＰＯＳレジ５１１は、顧客データと売上データを取得し、これらのデータを紐づけることにより顧客購買データを生成する。

＜顧客の動き＞
図５（Ａ）の例では、顧客の列５０１に、顧客Ａ５０２、顧客Ｂ５０３、顧客Ｃ５０４、顧客Ｄ５０５、および顧客Ｅ５０６が順に並んでいる。先行する顧客がＰＯＳレジ５１１、５１２、５１３のいずれかにおいて会計が終了すると、後続の顧客は順に空いているＰＯＳレジに進む。また、顧客の列５０１には、会計のために代金を支払う顧客である支払者以外に、当該支払者の同伴者である顧客も並び得る。図５（Ａ）の例では、顧客（Ｄ）５０５が支払者であり、顧客Ｃ５０４は顧客Ｄ５０５の同伴者である。更に、顧客の列５０１に並ばない顧客も存在し得る（図５（Ａ）の例では、顧客Ｘ５４１）。本実施形態では、会計を行うために、顧客は、顧客の列５０１に並ぶ必要があると仮定するため、このような顧客Ｘ５４１の存在は無視することができる。もしくは、顧客Ｘ５４１は、顧客Ｂ５０３の同伴者である場合も、会計を行わないため、同様にこのような人物の存在を無視することができる。

＜カメラの設置例＞
本実施形態では、顧客の列５０１に並ぶ顧客の先頭から順に撮影が行えるように、１台のカメラ５２１が設置される。カメラ５２１は、図４における映像処理装置４０１の撮影部４０２に相当する。顧客Ａ５０２〜顧客Ｅ５０６は、会計を行う前に顧客の列５０１に並び、当該列の先頭から順にＰＯＳレジ５１１、５１２、５１３のいずれかに移動するため、会計を行う顧客は必ずカメラ５２１に撮影されることになる。

カメラ５２１は、顧客の列５０１に並ぶ顧客Ａ５０２〜顧客Ｅ５０６を一度に撮影する必要はなく、先頭から順に数人の人物が、画像処理を行うのに十分な大きさで撮影ができれば良い。例えば、カメラ５２１は、図５（Ｂ）の画面５５１に示すように、先頭の４人の顧客が一つの画面に映るように撮影を行ってもよい。このようにすることにより、図１のように全てのＰＯＳレジに対して１台ずつカメラを設置する必要が無く、また、図２のように画像処理が困難な大きさとなることがない。

なお、カメラの設置位置は、図５（Ａ）に示すようなカメラ５２１の位置に限定されない。例えば、顧客の列５０１のような列が複数存在する場合、２列以上の列に対応して少なくとも１台のカメラが設定されてもよい。また、カメラを店舗の出入口に設置することも可能である。

＜ＰＯＳレジの表示画面の遷移＞
図５と図６を参照して、ＰＯＳレジ５１１、５１２、５１３の表示部３０４における画面例について説明する。図６は、ＰＯＳレジの表示部に表示される画面の遷移を示す。画面６０１、６０２、６０３はそれぞれ、ＰＯＳレジ５１１、５１２、５１３の表示部３０４に表示される初期画面である。画面６０１、６０２、６０３には、それぞれ、顧客の列５０１の先頭から４人の顧客（顧客Ａ５０２〜顧客Ｄ５０５）が表示されている。それぞれの画面に表示される顧客の下に示される数字は、顧客の列５０１の先頭から順に顧客に付与された番号であるが、この番号は付与されなくてもよい。

まず、顧客の列５０１に並んでいた顧客Ａは、ＰＯＳレジ５１１に移動して会計を行ったため、オペレータａは画面６１１に表示された顧客Ａの画像を選択する（Ｓ６６１）。この操作を受けて、ＰＯＳレジ５１２の画面６１２と、ＰＯＳレジ５１３の画面６１３には、顧客Ａの画像に既選択マーク（図６では星マークを付与した）が付いた状態で表示される（Ｓ６６２）。すなわち、顧客Ａの画像が、既選択であることが識別可能に表示される。このような表示により、オペレータｂとオペレータｃは、顧客Ａが他のレジで会計を行った顧客であると明確にわかるため、短時間でそれぞれのＰＯＳレジで会計を行う顧客を選択することが可能となる。ただし、オペレータａが間違って顧客Ａの画像を選択してしまう可能性も考慮し、ＰＯＳレジ５１１、５１２、５１３において、オペレータａ、ｂ、ｃは、顧客Ａの画像を、まだ選択可能とする。オペレータにより選択された顧客の画像にも、既選択マークが付される（例えば、顧客Ａについては、画面６２１）。

次に、顧客の列５０１に並んでいた顧客Ｂは、ＰＯＳレジ５１２に移動して会計を行ったため、オペレータｂは画面６２２に表示された顧客Ｂの画像を選択する（Ｓ６６３）。Ｓ６６２と同様に、ＰＯＳレジ５１１の画面６２１と、ＰＯＳレジ５１３の画面６２３には、顧客Ｂの画像に既選択マークが付いた状態で表示される（Ｓ６６４）。ここで、オペレータｂによって選択された顧客Ｂよりも先に会計を始めた顧客Ａは、今後は選択される顧客の対象となり得ないため、ＰＯＳレジ５１２において、顧客Ａの画像は、画面６２２以降の画面６３２、６４２では非表示となる（Ｓ６６５）。

次に、顧客の列５０１に並んでいた顧客Ｃと顧客Ｄは、ＰＯＳレジ５１３に移動し、顧客Ｄが会計を行ったため、オペレータｃは画面６３３に表示された顧客Ｄの画像を選択する（Ｓ６６６）。顧客Ｃは顧客Ｄの同伴者であるので、オペレータｃは正しい操作を行ったと見なされる。ＰＯＳレジ５１１の画面６３１と、ＰＯＳレジ５１２の画面６３２には、顧客Ｄの画像に既選択マークが付いた状態で表示される（Ｓ６６７）。同伴者の顧客Ｃの画像には、購買者と見なされないため、既選択マークは付かない。さらに、顧客よりも先に会計を始めた顧客Ａと顧客Ｂに対応する顧客Ａと顧客Ｂの画像は、ＰＯＳレジ５１３において、画面６３３以降の画面６４３では非表示となる。

ＰＯＳレジ５１２の画面６４２では、顧客Ａの画像が非表示になったため、顧客の列５０１に並ぶ次の顧客の画像が画面に表示されるように更新される（Ｓ６６８）。顧客の列５０１に並んでいた顧客Ｅは、ＰＯＳレジ５１２に移動して会計を行ったため、オペレータｃは画面６４２に表示された顧客Ｅの画像を選択する（Ｓ６６９）。ＰＯＳレジ５１１の画面６４１と、ＰＯＳレジ５１３の画面６４３には、顧客Ｅの画像に既選択マークが付いた状態で表示される（Ｓ６１０、Ｓ６１１）。また、ＰＯＳレジ５１３において、画面６４３では、顧客Ｅより先に会計を始めた顧客Ａと顧客Ｂは、選択される顧客の対象となり得ないため、客Ａと顧客Ｂの画像は非表示となる（Ｓ６１２）。

また、長時間画面に表示されている顧客は、他のＰＯＳレジで会計したが間違ってオペレータにより選択されなかったか、途中でレジ待ちをやめた可能性が考えられる。そのため、表示されたまま一定時間が経過した顧客の顔画像は定期的に非表示とする。図６では、ＰＯＳレジ５１１において、画面６２１から画面６４１への画面遷移において、顧客Ｂが既に他のＰＯＳレジで選択されて一定時間が経過したため、顧客Ｂの画像が非表示となった例を示している（Ｓ６１３）。また、顧客Ａが会計を終了したことを受けて、オペレータａは顧客Ａの画像を消去することができる（Ｓ６１３）。

＜顧客データ生成処理の流れ＞
図７は、映像処理装置４０１の処理のフローチャートである。映像処理装置４０１は、顧客の列５０１に並ぶ顧客を撮影して、顧客データを生成し、当該顧客データを顧客データ保持部４１１に保存する。

まず、ステップＳ７０１では、撮影部４０２（すなわち、カメラ）は、顧客の列に並ぶ顧客の映像を撮影する。ステップＳ７０２では、映像解析部４０３は、撮影部４０２により撮影された映像に映る人物の顔を認識し、顔のみを切り抜いた顔画像を生成する。ステップＳ７０３では、顧客データ生成部４０４は、ステップＳ７０２で生成された顔画像それぞれについて、画像認識を行い、顧客情報（顧客の年齢と性別等）を取得し、当該顧客情報と顔画像とを関連づけて顧客データを生成する。ここで、顧客データ生成部４０４は、顧客データ保持部４１１に既に格納されている顧客データの顔画像を参照し、同一の顧客と識別される顔画像については、顧客データを生成しなくてもよい。また、顧客データを生成する前に、顧客データ生成部４０４は、顧客データ保持部４１１に既に格納されている顧客データのうち、同一の顧客と識別される顔画像を含む顧客データを削除するなどして、常に新しい顔画像を格納するようにしてもよい。また、顧客データ生成部４０４は、顧客データ保持部４１１に格納される顧客データに順に番号を付してもよい。

ステップＳ７０４では、顧客データ生成処理が継続されるのであれば（Ｓ７０４のＹｅｓ）、処理はステップＳ７０１に戻り、そうでなければ（Ｓ７０４のＮｏ）、処理は終了する。例えば、撮影部４０２による映像の撮影が継続されている場合や、オペレータによる指示入力が行われた場合に、顧客データ生成処理が継続されてもよい。

＜購買者候補選択部の処理の流れ＞
図８は、情報処理装置４２１の処理のフローチャートである。情報処理装置４２１は、オペレータの操作入力に基づいて、会計処理と顧客の顔画像の選択を行い、顧客購買データを生成し、当該顧客購買データを顧客購買データ保持部４３１に保存する。

まず、図８（Ａ）を参照して、情報処理装置４２１の全体の処理を説明する。ステップＳ８０１では、会計部４２３が、オペレータの操作入力に基づいて会計処理を行い、売上データを生成する。オペレータの操作入力は、入力部３０３に対して行われ、入力制御部４２５が当該操作入力に対応する指示を、会計部４２３に対して行う。情報処理装置４２１は、会計処理と並行して、ステップＳ８０２からＳ８０４で、図６を参照して説明したように、オペレータの操作入力に基づいて会計を行っている顧客の選択を行う。具体的には、ステップＳ８０２において、表示制御部４２４は、顧客データ保持部４１１に格納されている顧客データの顔画像を取得し、表示部３０４に表示する。ステップＳ８０３において、入力制御部４２５は、入力部３０３に対してオペレータにより行われた操作入力により、表示部３０４に表示された顧客を選択する。続いて、ステップＳ８０４において、データ管理部４２２は、顧客データ保持部４１１に格納されている顧客データの更新を行う。

ステップ８０１とステップ８０４の処理が完了した後、ステップＳ８０５において、顧客購買データ生成部４２６は、会計部４２３により生成された売上データと、入力制御部４２５により選択された顧客の顔画像に対応する顧客データとを関連付け、顧客購買データを生成する。その後、情報処理装置４２１は、会計処理を継続するならば（ステップＳ８０６のＹｅｓ）、処理はステップＳ８０１とＳ８０２へ戻る。そうでなければ（ステップＳ８０６のＮｏ）、処理は終了する。会計処理を継続する場合として、情報処理装置４２１がオペレータによる会計処理を継続するための操作入力を受け付けた場合等が想定される。

次に、ステップＳ８０２の処理の具体例について、図８（Ｂ）を参照して説明する。図８（Ｂ）の例では、顧客データ保持部４１１に格納されている顧客データに、格納される順（顧客の列の先頭からの順）に番号が付され、当該顧客データに含まれる顔画像と当該顧客データに付された番号は関連付けられているものとする。

ステップＳ８１１において、表示制御部４２４は、顧客データ保持部４１１から顧客データに含まれる顔画像と当該顔画像に関連付けられている番号を取得する。ステップＳ８１２では、既にステップＳ８０３の処理が行われていた場合に、表示制御部４２４は、入力制御部４２５により選択された顧客の顔画像に対応する番号よりも小さい番号の顔画像を消去する（非表示にする）。例えば図６を参照して説明すると、ＰＯＳレジ５１２の画面６２２から画面６３２への変化において、選択された顧客（顧客（Ｂ））の顔画像よりも時間的に前に選択された顧客（顧客（Ａ））の顔画像は非表示となる。ステップＳ８１３では、表示制御部４２４は、番号順に顧客の顔画像を表示部３０４に表示する。ステップＳ８１４では、表示制御部４２４は、他の情報処理装置４２１で既選択とされた顧客の顔画像に既選択のマークを表示し、図８（Ａ）のメインルーチンに戻る。なお、図８（Ｂ）の例では、各顧客の顔画像に関連付けられた番号により、顧客の時間的な順序が識別されたが、各顧客の時間的な順序が識別されれば、他の識別手段を用いてもよい。

次に、ステップＳ８０４の処理の具体例について、図８（Ｃ）を参照して説明する。ステップＳ８２１では、データ管理部４２２は、図８（Ａ）のステップＳ８０３で選択された顧客の顔画像に既選択の印を付けて顧客データ保持部４１１に保存し直す。こうすることで、他の情報処理装置は、選択の有無が反映された顧客データを取得することが可能となる。ステップＳ８２２では、データ管理部４２２は、表示部３０４に一定時間以上表示されている顔情報に対応する顧客データを、顧客データ保持部４１１から削除し、図８（Ａ）のメインルーチンに戻る。この削除処理により、表示制御部４２４は、表示部３０４に、削除された顧客データに含まれる顔画像を表示しない。なお、一定時間とは、例えば、顧客が顧客の列に並んで会計が終わるまで５分間であれば、その２倍程度に設定される。

以上に説明した実施形態では、ＰＯＳレジ前の顧客の列に並び、ＰＯＳレジで会計を行う人物の情報が、売上データと紐付き、当該紐付けされたデータが、顧客購買データとして保存される説明を行った。しかし、顧客の列からの離脱、顔認識の失敗、同伴者の存在、オペレータの作業ミス等によって、紐付けに成功しない場合も存在する。その場合は、オペレータはエラーであることを入力部３０３を介して入力してもよい。また、紐付けに成功しなかった顧客購買データに対して、オペレータが入力部３０３を介して必要な情報（売上データや顧客データ）を入力し、当該入力に応じて紐付けが行われてもよい。また、本実施形態では、顧客の列を１列に限定して説明したが、カメラは１台に限らない。また、ＰＯＳレジの台数とカメラの台数は一致する必要はないため顧客の列は２列以上であってもよい。

このように、本実施形態によれば、複数のＰＯＳレジで会計処理をする時の顧客の精度良く特定し、年齢や性別等の顧客データと紐付ける処理が、より少ない台数のカメラにより容易に行えるようになる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４０１映像処理装置、４０２撮影部、４０３映像解析部、４０４顧客データ生成部、４１１顧客データ保持部、４１２ネットワーク、４２１情報処理装置、４２２データ管理部、４２３会計部、４２４表示制御部、４２５入力制御部、４２６顧客購買データ生成部、４３１顧客購買データ保持部

Claims

情報処理装置であって、
撮影装置によって撮影された映像から取得された人物の画像データを含む人物の情報を取得する第１の取得手段と、
前記人物の画像データを表示部に表示する表示制御手段と、
ユーザの操作に基づいて、顧客の購買情報を取得する第２の取得手段と、
前記表示部に表示された前記人物の画像データから、ユーザにより指定された人物の画像データを選択する選択手段と、
前記選択手段により選択された人物の画像データが含まれる人物の情報と、前記顧客の購買情報とを関連付ける関連付け手段と、
を有し、
前記表示制御手段は、前記表示部に表示された前記人物の画像データのうち、他の情報処理装置により選択された人物の画像データを識別可能に表示する
ことを特徴とする情報処理装置。
前記表示制御手段は、他の情報処理装置により選択された人物の画像データを、既選択であることと、どの情報処理装置が選択したかを識別可能に表示することを特徴とする請求項１に記載の情報処理装置。
前記選択手段は、前記表示部に表示された前記人物の画像データのうち、前記他の情報処理装置により選択されていない画像データを選択することが可能であることを特徴とする請求項１または２に記載の情報処理装置。
前記選択手段は、前記他の情報処理装置により選択されているか否かにかかわらず、前記表示部に表示された前記人物の画像データを選択することが可能であることを特徴とする請求項１または２に記載の情報処理装置。
前記表示制御手段は、前記表示部に表示された前記人物の画像データのうち、前記選択手段により選択された人物の画像データを、ユーザの操作に基づいて前記表示部から消去することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
前記表示部に表示された前記人物の画像データのうち、前記他の情報処理装置により選択されている人物の画像データが、前記選択手段により選択された人物の画像データよりも前の時間に前記表示部に表示されていた場合、前記表示制御手段は、前記他の情報処理装置により選択されている人物の画像データを前記表示部から消去することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
前記表示制御手段は、前記表示部に表示された前記人物の画像データのうち、一定時間が経過した人物の画像データを、前記表示部から消去することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
表示部を有する情報処理装置の制御方法であって、
撮影装置によって撮影された映像から取得された人物の画像データを含む人物の情報を取得する第１の取得工程と、
前記人物の画像データを前記表示部に表示する第１の表示制御工程と、
ユーザの操作に基づいて、顧客の購買情報を取得する第２の取得工程と、
前記表示部に表示された前記人物の画像データから、ユーザにより指定された人物の画像データを選択する選択工程と、
前記選択工程において選択された人物の画像データが含まれる人物の情報と、前記顧客の購買情報とを関連付ける関連付け工程と、
前記表示部に表示された前記人物の画像データのうち、他の情報処理装置により選択された人物の画像データを識別可能に表示する第２の表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。
表示部を有する情報処理装置に備えられたコンピュータに、
撮影装置によって撮影された映像から取得された人物の画像データを含む人物の情報を取得する第１の取得工程と、
前記人物の画像データを前記表示部に表示する第１の表示制御工程と、
ユーザの操作に基づいて、顧客の購買情報を取得する第２の取得工程と、
前記表示部に表示された前記人物の画像データから、ユーザにより指定された人物の画像データを選択する選択工程と、
前記選択工程において選択された人物の画像データが含まれる人物の情報と、前記顧客の購買情報とを関連付ける関連付け工程と、
前記表示部に表示された前記人物の画像データのうち、他の情報処理装置により選択された人物の画像データを識別可能に表示する第２の表示制御工程と、
を実行させるためのプログラム。
映像処理装置と、複数の情報処理装置とを有する情報処理システムであって、
前記映像処理装置は、
撮影した映像から人物の画像データを含む人物の情報を取得する取得手段を有し、
前記複数の情報処理装置は、それぞれ
前記映像処理装置から前記人物の情報を取得する第１の取得手段と、
前記人物の情報に含まれる前記人物の画像データを、前記複数の情報処理装置それぞれの表示部に表示する表示制御手段と、
ユーザの操作に基づいて、顧客の購買情報を取得する第２の取得手段と、
前記表示部に表示された前記人物の画像データから、ユーザにより指定された人物の画像データを選択する選択手段と、
前記選択手段により選択された人物の画像データが含まれる人物の情報と、前記顧客の購買情報とを関連付ける関連付け手段と、
を有することを特徴とする情報処理システム。
前記複数の情報処理装置それぞれの前記表示制御手段は、前記複数の情報処理装置それぞれの前記選択手段により選択された人物の画像データを識別可能に表示することを特徴とする請求項１０に記載の情報処理システム。