WO2016059817A1

WO2016059817A1 - 関連付プログラム、コンピュータ読取媒体、情報処理方法及び情報処理装置

Info

Publication number: WO2016059817A1
Application number: PCT/JP2015/063622
Authority: WO
Inventors: のり子荒井; 征天谷; 上條　裕義; 上田　健次; ちひろ松隈
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2014-10-14
Filing date: 2015-05-12
Publication date: 2016-04-21
Anticipated expiration: 2017-04-14
Also published as: US20170068969A1; EP3208763A4; CN106663279A; JP5704279B1; JP2016081174A; EP3208763A1

Abstract

　情報処理装置１は、カメラで撮影した画像から人物と入れ物と商品とを抽出する人物抽出部１０１、入れ物抽出部１０２及び商品抽出部１０３と、入れ物に商品が入れられる又は出される動きを特定する特定部１０４と、特定部１０４が動きを特定した場合、商品が入れられた又は出された入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付部１０５とを有する。

Description

関連付プログラム、コンピュータ読取媒体、情報処理方法及び情報処理装置

　本発明は、関連付プログラム、コンピュータ読取媒体、情報処理方法及び情報処理装置に関する。

　動画像中の複数の人物をグループ分けする情報処理装置が提案されている（例えば、特許文献１参照）。

　特許文献１に開示された情報処理装置は、動画像から人物及び人物の位置を検出して、検出された人物の相対距離を集計し、相対距離の出現分布から相対距離の閾値を算出するとともに、人物間の相対距離が当該閾値を下回る状態が長く続く人物を、同一行動をしているグループと判定する。

日本国特許４５０６３８１号

　本発明の少なくとも一の実施の形態の目的は、人物と入れ物を関連付けする関連付プログラム、コンピュータ読取媒体、情報処理方法及び情報処理装置を提供することにある。

　［１］　本発明のある観点によれば、コンピュータを、カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出部と、前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定部と、前記第１の特定部が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付部として機能させるための関連付プログラム。
　［２］　複数の人物間の商品の動きを特定する第２の特定部としてさらに機能させ、前記関連付部は、前記第１の特定部が前記商品の動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定部が前記商品の動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける［１］に記載の関連付プログラムでもよい。
　［３］　複数の人物間の前記入れ物の移動を特定する第３の特定部としてさらに機能させ、前記第３の特定部が前記入れ物の移動を特定した場合、前記関連付部は、当該複数の人物を関連付ける［１］又は［２］に記載の関連付プログラムでもよい。
　［４］　前記抽出した人物の視線又は顔の向きを特定する第４の特定部としてさらに機能させ、前記関連付部は、前記第４の特定部が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける［１］から［３］のいずれか１つに記載の関連付プログラムでもよい。
　［５］　前記抽出した人物の音声を取得する音声取得部としてさらに機能させ、前記関連付部は、前記音声取得部が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける［１］から［４］のいずれか１つに記載の関連付プログラムでもよい。
　［６］　前記抽出した人物の口の動きを特定する第５の特定部としてさらに機能させ、前記関連付部は、前記第５の特定部が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける［１］から［５］のいずれか１つに記載の関連付プログラムでもよい。
　［７］　前記抽出した人物の属性を取得する属性取得部と、当該取得した属性に基づいて、前記関連付部が関連付けた複数の人物からなるグループの属性を特定するグループ属性特定部としてさらに機能させる［１］から［６］のいずれか１つに記載の関連付プログラムでもよい。
　［８］　前記抽出した人物の購入した商品に関する情報を取得する取得部としてさらに機能させ、前記関連付部は、当該情報を前記関連付けられた複数の人物に関連付ける［１］から［７］のいずれか１つに記載の関連付プログラムでもよい。
　［９］　前記抽出した人物の会員情報を取得する取得部としてさらに機能させ、前記関連付部は、当該会員情報を前記関連付けられた複数の人物に関連付ける［１］から［７］のいずれか１つに記載の関連付プログラムでもよい。
　［１０］　本発明の他の観点によれば、コンピュータを、カメラで撮影した画像から人物と車両とを抽出する抽出部と、前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定する特定部と、前記特定部が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付部として機能させるための関連付プログラムである。
　［１１］　本発明の他の観点によれば、コンピュータを、カメラで撮影した画像から人物と商品とを抽出する抽出部と、複数の人物間の商品の動きを特定する特定部と、前記特定部が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラムである。
　［１２］　本発明の他の観点によれば、コンピュータを、カメラで撮影した画像から人物と入れ物とを抽出する抽出部と、複数の人物間の前記入れ物の移動を特定する特定部と、前記特定部が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラムである。
　［１３］　本発明の他の観点によれば、コンピュータを、カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出部と、前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定部と、前記第１の特定部が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体である。
　［１４］　複数の人物間の商品の動きを特定する第２の特定部としてさらに機能させ、前記関連付部は、前記第１の特定部が前記商品の動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定部が前記商品の動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける［１３］に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［１５］　複数の人物間の前記入れ物の移動を特定する第３の特定部としてさらに機能させ、前記第３の特定部が前記入れ物の移動を特定した場合、前記関連付部は、当該複数の人物を関連付ける［１３］又は［１４］に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［１６］　前記抽出した人物の視線又は顔の向きを特定する第４の特定部としてさらに機能させ、前記関連付部は、前記第４の特定部が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける［１３］から［１５］のいずれか１つに記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［１７］　前記抽出した人物の音声を取得する音声取得部としてさらに機能させ、前記関連付部は、前記音声取得部が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける［１３］から［１６］のいずれか１つに記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［１８］　前記抽出した人物の口の動きを特定する第５の特定部としてさらに機能させ、前記関連付部は、前記第５の特定部が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける［１３］から［１７］のいずれか１つに記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［１９］　前記抽出した人物の属性を取得する属性取得部と、当該取得した属性に基づいて、前記関連付部が関連付けた複数の人物からなるグループの属性を特定するグループ属性特定部としてさらに機能させる［１３］から［１８］のいずれか１つに記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［２０］　前記抽出した人物の購入した商品に関する情報を取得する取得部としてさらに機能させ、前記関連付部は、当該情報を前記関連付けられた複数の人物に関連付ける［１３］から［１９］のいずれか１つに記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［２１］　前記抽出した人物の会員情報を取得する取得部としてさらに機能させ、前記関連付部は、当該会員情報を前記関連付けられた複数の人物に関連付ける［１３］から［１９］のいずれか１つに記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体でもよい。
　［２２］　本発明の他の観点によれば、コンピュータを、カメラで撮影した画像から人物と車両とを抽出する抽出部と、前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定する特定部と、前記特定部が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体である。
　［２３］　本発明の他の観点によれば、コンピュータを、カメラで撮影した画像から人物と商品とを抽出する抽出部と、複数の人物間の商品の動きを特定する特定部と、前記特定部が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体である。
　［２４］　本発明の他の観点によれば、コンピュータを、カメラで撮影した画像から人物と入れ物とを抽出する抽出部と、複数の人物間の前記入れ物の移動を特定する特定部と、前記特定部が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体である。
　［２５］　本発明の他の観点によれば、抽出処理として、カメラで撮影した画像から人物と入れ物と商品とを抽出し、第１の特定処理として、前記入れ物に前記商品が入れられる又は出される動きを特定し、関連付処理として、前記第１の特定処理が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける処理をコンピュータにさせる情報処理方法である。
　［２６］　さらに、第２の特定処理として、複数の人物間の商品の動きを特定し、前記関連付処理は、前記第１の特定処理が前記動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定処理が前記商品の動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける［２５］に記載の情報処理方法でもよい。
　［２７］　さらに、第３の特定処理として、複数の人物間の前記入れ物の移動を特定し、前記第３の特定処理が前記入れ物の移動を特定した場合、前記関連付処理は、当該複数の人物を関連付ける［２５］又は［２６］に記載の情報処理方法でもよい。
　［２８］　さらに、第４の特定処理として、前記抽出した人物の視線又は顔の向きを特定し、前記関連付処理は、前記第４の特定処理が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける［２５］から［２７］のいずれか１つに記載の情報処理方法でもよい。
　［２９］　さらに、音声取得処理として、前記抽出した人物の音声を取得し、前記関連付処理は、前記音声取得処理が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける［２５］から［２８］のいずれか１つに記載の情報処理方法でもよい。
　［３０］　さらに、第５の特定処理として、前記抽出した人物の口の動きを特定し、前記関連付処理は、前記第５の特定処理が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける［２５］から［２９］のいずれか１つに記載の情報処理方法でもよい。
　［３１］　さらに、属性処理取得処理として、前記抽出した人物の属性を取得し、グループ属性特定処理として、当該取得した属性に基づいて、前記関連付処理が関連付けた複数の人物からなるグループの属性を特定する［２５］から［３０］のいずれか１つに記載の情報処理方法でもよい。
　［３２］　さらに、取得処理として、前記抽出した人物の購入した商品に関する情報を取得し、前記関連付処理は、当該情報を前記関連付けられた複数の人物に関連付ける［２５］から［３１］のいずれか１つに記載の情報処理方法でもよい。
　［３３］　さらに、取得処理として、前記抽出した人物の会員情報を取得し、前記関連付処理は、当該会員情報を前記関連付けられた複数の人物に関連付ける［２５］から［３１］のいずれか１つに記載の情報処理方法でもよい。
　［３４］　本発明の他の観点によれば、抽出処理として、カメラで撮影した画像から人物と車両とを抽出し、特定処理として、前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定し、関連付処理として、前記特定処理が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける処理をコンピュータにさせる情報処理方法である。
　［３５］　本発明の他の観点によれば、抽出処理として、カメラで撮影した画像から人物と商品とを抽出し、特定処理として、複数の人物間の商品の動きを特定し、特定処理として、前記特定処理が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける処理をコンピュータにさせる情報処理方法である。
　［３６］　本発明の他の観点によれば、抽出処理として、カメラで撮影した画像から人物と入れ物とを抽出し、特定処理として、複数の人物間の前記入れ物の移動を特定し、特定処理として、前記特定処理が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける処理をコンピュータにさせる情報処理方法である。

　［３７］　本発明の他の観点によれば、カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出部と、前記入れ物に前記商品が入れられる又は出される動きを特定する特定部と、前記特定部が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付部とを備える情報処理装置である。
　［３８］　本発明の他の観点によれば、カメラで撮影した画像から人物と車両とを抽出する抽出部と、前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定する特定部と、前記特定部が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付部とを備える情報処理装置である。
　［３９］　本発明の他の観点によれば、カメラで撮影した画像から人物と商品とを抽出する抽出部と、複数の人物間の商品の動きを特定する特定部と、前記特定部が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付部とを備える情報処理装置である。
　［４０］　本発明の他の観点によれば、カメラで撮影した画像から人物と入れ物とを抽出する抽出部と、複数の人物間の前記入れ物の移動を特定する特定部と、前記特定部が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付部とを備える情報処理装置である。

　［１］、［１３］、［２５］又は［３７］の観点によれば、人物と入れ物を関連付けすることができる。
　［２］、［１４］又は［２６］の観点によれば、基準時から予め定めた時間内の動きに基づいて人物同士を関連付けすることができる。
　［３］、［１５］又は［２７］の観点によれば、複数の人物間の入れ物の移動に基づいて人物同士を関連付けすることができる。
　［４］、［１６］又は［２８］の観点によれば、人物の視線又は顔の向きと予め定めた関係にある人物とを関連付けすることができる。
　［５］、［１７］又は［２９］の観点によれば、音声に基づいて予め定めた関係にある人物を関連付けすることができる。
　［６］、［１８］又は［３０］の観点によれば、人物の口の動きと予め定めた関係にある人物とを関連付けすることができる。
　［７］、［１９］又は［３１］の観点によれば、人物の属性に基づいてグループの属性を特定することができる。
　［８］、［２０］又は［３２］の観点によれば、関連付けられた人物と、購入した商品に関する情報とを関連付けすることができる。
　［９］、［２１］又は［３３］の観点によれば、関連付けられた人物と、会員情報とを関連付けすることができる。
　［１０］、［２２］、［３４］又は［３８］の観点によれば、人物と車両を関連付けすることができる。
　［１１］、［２３］、［３５］又は［３９］の観点によれば、複数の人物間の商品の動きに基づいて人物同士を関連付けすることができる。
　［１２］、［２４］、［３６］又は［４０］の観点によれば、複数の人物間の入れ物の動きに基づいて人物同士を関連付けすることができる。

図１は、実店舗の構成例を示す概略図である。図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。図３は、関連付情報の構成の一例を示す概略図である。図４は、特定部が特定する動きのパターンの一例を示す概略図であり、図４の（ａ）は、客が商品を手にとる様子を示し、図４の（ｂ）は、客が商品をカートに入れる様子を示す。図５は、特定部が特定する動きのパターンの他の例を示す概略図であり、図５の（ａ）は、客が商品を手にとる様子を示し、図５の（ｂ）は、客が商品をカートに入れる様子を示す。図６は、特定部が特定する動きのパターンの他の例を示す概略図であり、図６の（ａ）は、客が商品を手にとる様子を示し、図６の（ｂ）は、客から客に商品が手渡される様子を示し、図６の（ｃ）は、客が商品をカートに入れる様子を示す。

［実施の形態］
（実店舗の構成）
　図１は、店舗の構成例を示す概略図である。

　実店舗２は、例えば、スーパーマーケット等の小売店であって、棚２０ａ－２０ｅに複数の商品２００ａ、２００ｂ…（以降、総称して商品２００ということがある。）が設置される。客３ａ－３ｋは、実店舗２の入口２１から入ってきて、それぞれカート５ａ－５ｄとともに実店舗２内を回り、商品２００をカート５ａ－５ｄで運搬し、レジで店員４ａ－４ｃにより会計を済ませる。レジにおいて会計がなされると、ＰＯＳシステム（Ｐｏｉｎｔ　ｏｆ　ｓａｌｅ　ｓｙｓｔｅｍ）等の売り上げデータが図示しないデータベースに保存される。

　実店舗２にはカメラ１３ａ～１３ｄが設置されており、後述する情報処理装置１によってカメラ１３で撮像された動画から客３ａ～３ｋが人物として認識されるとともに、客３ａ－３ｋがそれぞれ誰とグループを構成しているか認識される。なお、ここで「グループ」とは、互いに関連付けられた客の集合をいうものとする。

　なお、カメラ１３は通常のカメラの他、全方位カメラを用いることもできる。また、カメラ１３は動画を撮像するものであってもよいし、予め定めた間隔で静止画を撮像するものであってもよい。また、カメラ１３の設置位置は予め登録されているものとし、撮影した動画の画像中の座標と実店舗２内の位置座標とが対応付けられているものとする。

　なお、ここで「動画」とは、時系列に沿って撮像された複数のフレーム（静止画）の集合であり、当該複数フレームは時系列に沿って再生される。

（情報処理装置の構成）
　図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。

　情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２と、動画又は静止画を撮像可能なカメラ１３とを備える。

　制御部１０は、後述する関連付プログラム１１０を実行することで、動画受付部１００、人物抽出部１０１、入れ物抽出部１０２、商品抽出部１０３、特定部１０４、関連付部１０５、売り上げデータ取得部１０６、人物属性取得部１０７及び会員情報取得部１０８等として機能する。

　動画受付部１００は、カメラ１３で撮像されて生成された動画情報を受信する。

　人物抽出部１０１は、動画受付部１００が受信した動画情報のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。なお、人物抽出部１０１は、当該人物が複数いる場合はそれぞれを識別するものとし、予め登録された人物（店員等）については、予め登録された画像に基づいて識別するものとしてもよい。予め登録された画像を特徴量に変換しておいてもよい。特徴量は、一例として、画像中からＤｉｆｆｅｒｅｎｃｅ　ｏｆ　Ｇａｕｓｓｉａｎｓ演算により特徴点を抽出し、特徴点からＳＩＦＴ特徴量を抽出して得られる。また、特徴量の他の例として、抽出された特徴点とその上位スケールの点との勾配情報から生成されるＦＩＴ（Ｆａｓｔ　Ｉｎｖａｒｉａｎｔ　Ｔｒａｎｓｆｏｒｍ）特徴量を用いてもよい。

　また、複数の予め登録された画像から学習モデルを生成し、この学習モデルを用いて人物を識別してもよい。なお、人物抽出部１０１は、抽出した人物から店員を識別の対象外にするようにしてもよい。たとえば、店員のユニフォームがある場合には、予めユニフォームの画像から特徴量を生成しておく。そして、この特徴量を用いて、抽出した人物の画像から店員を識別の対象外とすることができる。なお、店員と客の識別はユニフォームに限定されるものではなくネームプレート等の他の画像を用いて特徴量を生成してもよい。

　また、以下に説明する入れ物抽出部１０２及び商品抽出部１０３についても同様の手法を用いて入れ物及び商品を抽出するものとする。

　入れ物抽出部１０２、動画受付部１００が受信した動画のすべて又は一部のフレームに入れ物の一例としてカートの画像が含まれている場合に当該カートを抽出する。なお、カートを識別するためにカートに文字・数字・マーク等を付しておいてもよい。

　商品抽出部１０３は、動画受付部１００が受信した動画のすべて又は一部のフレームに商品の画像が含まれている場合に当該商品を抽出する。なお、商品を識別するために商品に文字・数字・マーク等を付しておいてもよい。

　特定部１０４は、人物抽出部１０１が抽出した人物の動き、入れ物抽出部１０２が抽出したカートの動き、商品抽出部１０３が抽出した商品の動きが予め定めた動きのパターンのいずれに該当するか特定する。なお、特定部１０４は、単一のパターンのみを特定するものであってもよいし、複数のパターンを識別して特定するものであってもよい。また、特定部１０４は、後述するように、第１の特定部として、入れ物に商品が入れられる又は出される動きを特定するものを、第２の特定部として、複数の人物間の商品の動きを特定するものを、第３の特定部として、複数の人物間の入れ物の移動を特定するものを、第４の特定部として、人物の視線又は顔の向きを特定するものを、第５の特定部として、人物の口の動きを特定するものを、第６の特定部として、車両に人物が入る又は車両から人物が出る動きを特定するものを実現する。

　関連付部１０５は、特定部１０４が特定したパターンに基づいて関連付け行う。たとえば、第１の関連付けのパターンとしては、人物抽出部１０１が抽出した人物と入れ物特定部１０２が抽出した入れ物を関連付ける場合、第２の関連付のパターンとしては、人物抽出部１０１で抽出した複数の人物同士を関連付ける場合、第３のパターンとしては、人物抽出部で抽出した複数の人物と入れ物特定部１０２とを関連付ける場合などがある。

　なお、関連付部１０５は、単一の関連付けのパターンのみ実施するものであってもよいし、複数の関連付けのパターンを実施するものであってもよい。また、関連付部１０５が行う関連付けの回数は、１度に限定されない。すなわち、繰り返して関連付けを行うことができる。たとえば、最初、関連付け部１０５が、カート５ａと客３ａを関連付ける。その後、関連付け部１０５が、カート５ａと客３ｂを関連付けることも可能である。この場合、カート５ａと客３ａと客３ｂとが関連付けられたこととなる。言い換えると、客３ａと３ｂはグループとして認識される。関連付部１０５は、人物を関連付けた情報を関連付情報１１１として記憶部１１に格納する。

　売り上げデータ取得部１０６は、レジにおいて会計がなされた場合にＰＯＳシステム等の情報が格納された図示しないデータベースから売り上げデータを取得して売り上げデータ１１２として記憶部１１に格納する。ここで言う売上データとは、たとえば、購入した商品種別、購入数、支払額、支払時間などのＰＯＳシステムから取得できるデータである。

　人物属性取得部１０７は、人物抽出部１０１が抽出した人物の画像から年齢、性別、地域情報（詳細は後述する）等の属性情報を取得して人物属性情報１１３として記憶部１１に格納する。

　会員情報取得部１０８は、客の顔写真、名前、性別、年齢、住所、電話番号、購入履歴等が記録された会員情報を図示しないデータベースから取得して会員情報１１４として記憶部１１に格納する。

　記憶部１１は、制御部１０を上述した各部１００～１０８として動作させる関連付プログラム１１０、関連付情報１１１、売り上げデータ１１２、人物属性情報１１３及び会員情報１１４等を記憶する。

（情報処理装置の動作）
　次に、本実施の形態の作用を説明する。

　まず、カメラ１３は実店舗２内において客３ａ～３ｋ、商品２００ａ、２００ｂ及びカート５ａ～５ｄ等を撮影し、動画情報を生成する。

　情報処理装置１の動画受付部１００は、カメラ１３で撮像されて生成された動画情報を受信する。

　次に、人物抽出部１０１は、動画受付部１００が受信した動画のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。なお、人物抽出部１０１は、当該人物が複数いる場合はそれぞれを識別するものとし、予め登録された人物（店員や頻繁に来店する客等）については、予め登録された画像に基づいて識別する。

　次に、入れ物抽出部１０２、動画受付部１００が受信した動画のすべて又は一部のフレームに入れ物の一例としてカートの画像が含まれている場合に当該カートを抽出する。画像中に複数のカートが存在する場合にはそれぞれを識別する。識別する場合はカートのそれぞれに識別するための文字や画像等を付してもよいし、一旦識別したカートを以降追跡するようにしてもよい。

　次に、商品抽出部１０３は、動画受付部１００が受信した動画のすべて又は一部のフレームに商品の画像が含まれている場合に当該商品を抽出する。画像中に複数の商品が存在する場合にはそれぞれを識別してもよいし、しなくてもよい。識別する場合は商品のそれぞれに識別するための文字、数字やマーク等を付しておいてもよいし、商品の画像を予め登録しておいて画像認識により識別してもよい。

　次に、特定部１０４は、人物抽出部１０１が抽出した人物の動き、入れ物抽出部１０２が抽出したカートの動き、商品抽出部１０３が抽出した商品の動きが予め定めた動きのパターンのいずれに該当するか特定する。

　以下に、特定部１０４が特定する動きのパターンについて説明する。

（パターン１）
　図４は、特定部１０４が特定する動きのパターンの一例を示す概略図である。

　図４の（ａ）に示すように、カート５ａを押す又はカート５ａの付近にいる客３ａが、商品２００ｃを手に取り、図４の（ｂ）に示すように、商品２００ｃをカート５ａに入れた場合、特定部１０４は当該客３ａ、カート５ａ及び商品２００ｃの動きを「パターン１」に特定する（第１の特定部）。

　次に、関連付部１０５は、特定部１０４が特定した動きのパターンに基づいて人物抽出部１０１が抽出した人物と入れ物特定部１０２が抽出した入れ物を関連付ける。

　上記した図４に示す「パターン１」を特定した場合、関連付部１０５は、客３ａをカート５ａに関連付ける。

　なお、上記「パターン１」では商品２００ｃをカート５ａに入れた場合を示したが、特定部１０４はカート５ａに入っていた商品２００ｃを出す動きを「パターン１’」として特定し、当該「パターン１’」を特定した場合に関連付部１０５は客３ａをカート５ａに関連付けてもよい。

　また、上記「パターン１」において、商品２００ｃの有無に関わらず、客３ａが予め定めた時間以上、カート５ａを押していた場合又はカート５ａから一定の範囲内にいた場合に、関連付部１０５は客３ａをカート５ａに関連付けるようにしてもよい。

　図３は、関連付情報１１１の構成の一例を示す概略図である。

　関連付情報１１１は、入れ物抽出部１０２が抽出したカートのカートＩＤと、当該カートＩＤに関連付けられた人物であって、人物抽出部１０１が抽出した人物ＩＤを単数又は複数有する。

　例えば、カートＩＤが「００１」のカートに人物ＩＤが「１１１３」と「１１１２」の二人が関連付けられる場合は、人物１の欄に「１１１３」と、人物２の欄に「１１１２」と記載される。人物１、人物２、人物３…は、抽出された順に記載されるものであってもよいし、カートに対する距離や一定範囲内にいる時間の順で記載されるものであってもよい。

　また、関連付部１０５が関連付けを行うごとに、関連付情報１１１の情報が更新される。なお、予め定めた条件に該当する場合には、関連付情報１１１に記載された、カートＩＤに関連付けられた人物ＩＤをリセットしてもよい。予め定めた条件としては、関連付情報１１１に記載されている人物がレジにおいて支払いを完了させた場合や、関連付け情報１１１に記載されたカートがカート置き場に返却された場合が挙げられる。関連付け情報１１１に記載された人物がレジに支払いを完了させたか否かは、売り上げデータ取得部１０６を用いて確認することができる。また、関連付け情報１１１に記載された、カートがカート置き場に返却されたか否かは、予め定められた場所（たとえば、カート置き場）にカートがあるか否かで確認することができる。なお、リセットする場合の条件や、確認する方法は、上述内容に限定されない。なお、関連付情報１１１のリセットは後述する他のパターンにおいても同様適用可能である。

（パターン１の他の例）
　図５は、特定部１０４が特定する動きのパターンの他の例を示す概略図である。

　図５の（ａ）に示すように、カート５ａの付近にいる客３ｂが商品２００ｃを手に取り、図５の（ｂ）に示すように、商品２００ｃをカート５ａに入れた場合、特定部１０４は当該客３ｂ、カート５ａ及び商品２００ｃの動きを「パターン１」に特定する。さらに、商品が入れられた、カート５ａを押す又はカート５ａの付近にいる客３ａが立っている。このような場合には、カート５ａと客３ａとが予め定められた関係にあるとして、関連付部１０５は、客３ａ及び３ｂをカート５ａに関連付けてもよい。

　なお、この場合、既に客３ａがカート５ａに関連付けられていることを条件として（たとえば、客３ａとカート５ａが、上述のパターン１に該当していた場合）、客３ａ及び３ｂをカート５ａに関連付けてもよい。すなわち、まだ客３ａがカート５ａに関連付けられていないなら、客３ｂとカート５ｂのみを関連付けてもよい。又は、先ずカート５ａと客３ｂとを対応付けておき、その後、カート５ａと客３ａとが上述のパターン１に該当した場合に、客３ｂが関連付けられたカート５ａに客３ａを追加で関連付けてもよい。

（パターン２）
　図６は、特定部１０４が特定する動きのパターンの他の例を示す概略図である。

　図６の（ａ）に示すように、カート５ａを押す又はカート５ａの付近にいる客３ａが立っており、客３ｂが商品２００ｃを手に取っている。次に、図６の（ｂ）に示すように、客３ｂから客３ａに商品２００ｃが手渡された場合、特定部１０４は当該客３ａと客３ｂ及び商品２００ｃの動きを「パターン２」に特定する（第２の特定部）。次に、図６の（ｃ）に示すように、客３ａが商品２００ｃをカート５ａに入れた場合、特定部１０４は当該客３ａ、カート５ａ及び商品２００ｃの動きを「パターン１」に特定する。

　最初に特定部１０４の第２の特定部により、「パターン２」を特定した場合には、客３ａと客３ｂとを関連付ける。この場合、関連付情報１１１には、客３ａの人物ＩＤと客３ｂの人物ＩＤが関連付けられている。すなわち、必ずしもカート５ａのカートＩＤは、客３ａや客３ｂの人物ＩＤに関連付けられる必要はない。次に、第１の特定部により、「パターン１」を特定した場合には、客３ａとカート５ａを関連付ける。このとき、既に関連付情報１１１には、客３ａの人物ＩＤと客３ｂの人物ＩＤとが関連付けらている。したがって、「パターン１」を特定した場合は、客３ａの人物ＩＤと客３ｂの人物ＩＤとカート５ａのカートＩＤが関連付けられることとなる。

　また、客３ａから客３ｂに入れ物であるカート５ａが渡された又は移動した動きを「パターン３」として特定してもよい（第３の特定部）。この場合、関連付部１０５は、客３ａ及び３ｂとを関連付ける。なお、客３ａ及び３ｂとカート５ａを関連付けてもよい。

　なお、上記した「パターン１」～「パターン３」はレジにおける商品の会計前の動きを説明したものであるが、会計前だけに限らず、会計中の客や商品の動き、会計後の客や商品の動きについてもパターンを設定可能である。

　会計中であれば、例えば、ある客がレジにおいて会計中に別の客が遅れて商品を持ってきた場合であって、カートに商品を追加した場合や、カートに商品を入れることなくレジ係の店員に商品を渡した場合等にカートに対して当該別の客を関連付けてもよい。

　また、会計後であれば、例えば、会計を済ませた商品をある客から他の客へ渡した場合、両者は同一グループに属するとして関連付けてもよい。

　次に、売り上げデータ取得部１０６は、関連付けされた客のいずれかがレジにおいて会計した場合に、当該レジに対応するＰＯＳシステム等の売り上げデータ１１２を図示しないデータベースから取得し、関連付情報１１１のカートＩＤに関連付けて記憶部１１に格納する。

　また、人物属性取得部１０７は、人物抽出部１０１が抽出した人物の画像から年齢、性別、地域情報（詳細は後述する）等の属性情報を取得して人物属性情報１１３とし、関連付情報１１１の各利用者に関連付けて記憶部１１に格納する。

　また、会員情報取得部１０８は、客がレジにおいて会計する際に会員カードを用いた場合、当該会員カードに関連付けられた会員情報を図示しないデータベースから取得して会員情報１１４とし、関連付情報１１１に関連付けて記憶部１１に格納する。

　上記した売り上げデータ１１２、人物属性情報１１３及び会員情報１１４は、グループを定義する関連付情報１１１とともにグループの行動分析や売り上げ分析等に用いられる。また、会員情報にグループＩＤを付与してもよい。この場合、来店の度にグループＩＤを更新してもよいし、蓄積していってもよい。

（実施の形態の効果）
　上記した実施の形態によれば、入れ物の一例としてのカートの付近にいる人物、カートに対する商品の出し入れ等の各動きを特定し、当該動きによってカートと人物とを関連付けすることができる。または、人物間の商品の受け渡し、人物間のカートの移動等の各動きを特定し、当該動きによって人物同士を関連付けすることができる。

［他の実施の形態］
　なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

　上記した本実施の形態においては、実店舗２において行動する客同士を関連付けるものであったが、実店舗２に限られるものではなく、構造物内において行動する客同士を関連付けるものであってもよい。たとえば、構造物としては、飲食店、ショッピングモール、ビル、空港、駅、病院、学校、レジャー施設などが挙げられる。また、飛行機や船舶等のように移動するものであってもよい。そして、客に関する売り上げ情報は、客が注文したメニューや、レジで支払った額などが対応する。また、ビルや空港などの場合は、ビルや空港内で働く店員の行動内容を特定することとなる。

　また、特定部１０４は客の視線又は顔の向きを「第４のパターン」として特定するようにしてもよい（第４の特定部）。関連付部１０５は客と、当該客が予め定めた時間以上視線又は顔を向けた他の客とを関連付けるようにしてもよい。また、特定部１０４は口の動きを「第５のパターン」として特定するようにしてもよい（第５の特定部）。関連付部１０５は会話を交わした客同士を関連付けるようにしてもよい。

　また、カートは、商品を入れる入れ物の一例であって、バスケットやショッピングバッグ等であってもよい。

　さらに、本実施の形態においては、カートなどの入れ物に人物を関連付けた。しかしながら、カート等の入れ物に限らず、自動車やバイク等の乗り物に人物を関連付けてもよい。たとえば、駐車場にカメラを設置しておき、自動車を撮影する。そして、特定部１０４を用いて、ある車から客が出る又はある車に客が入る動きを特定する。特定部１０４はある車から客が出てくる又はある車に入っていく動きを「パターン６」に特定する（第６の特定部）。

　次に、関連付部１０５はこれらの客をそれぞれ自動車に関連付けるものとし、グループとして取り扱うものとする。たとえば、自動車から複数人の客が出てきた場合には、この複数の人物を関連付けることができる。さらに、自動車のナンバープレートを撮影できる場合には、この撮影したナンバープレートの情報から地域情報を属性情報として取得してもよい。

　なお、特定部１０４は、車やバイク等の車両である場合であって、当該車両が客を乗せることのないような配送車等の営業車である場合は動きを特定しなくてもよい。このように配送車等の営業車を対象外にする場合は、予め対象外にする車両の画像や、ナンバープレート等を登録しておき、これらを用いて対象外の車両を識別すればよい。

　なお、特定部１０４は、少なくとも一つのパターンを特定する特定部を有していればよい。たとえば、「パターン１」のみを有する特定部であってもよいし、「パターン１」から「パターン６」を特定する特定部を有していてもよい。

　また、関連付部１０５について、たとえば、商品２００ｃの有無に関わらず、客３ａが予め定めた時間以上、カート５ａを押していた場合又はカート５ａから一定の範囲内にいた場合に、関連付部１０５は客３ａをカート５ａに関連付けるようにしてもよい。このように、関連付部１０５は、客とカートとの関係が、予め定められた関係であるか否かを画像処理を用いて判定し、予め定められた関係であると判定した場合に、客とカートを関連付ける構成を有しても良い。なお、判定動作は異なる部に実行させるものであってもよく、必ずしも関連付部１０５が実行する必要はない。

　また、会話の音声を取得する音声取得部をさらに設けてもよく、取得した音声を分析することで当該会話内容のパターンを特定し、関連付部１０５は会話内容のパターンに基づいて客同士を関連付けるようにしてもよい。

　また、人物属性取得部１０７が取得するグループに属する人物の属性や人数に応じて、グループが家族、カップル、団体等のいずれのカテゴリか特定する部をさらに設けてもよい。また、特定されたグループのカテゴリと、売り上げデータとから、購入パターンを分析してもよい。

　また、分析の他の例として、客が手に取った商品と、売り上げデータに表れた実際に購入した商品との差分をとり、手に取ったが買っていないものを検出して分析の情報として用いてもよい。

　また、上記実施の形態では画像から人物、商品、カート等を抽出したが、これに限られず、携帯電話やカード等に埋設されたＩＣチップ等から識別情報及び現在位置を取得してもよいし、ＧＰＳを利用して現在位置を取得してもよい。

　上記実施の形態では制御部１０の各部１００～１０８の機能をプログラムで実現したが、各部の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ－ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

　本発明の上記少なくとも一の実施の形態によれば、例えば、販売商品についてのデータ分析に有用である。

　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１４年１０月１４日出願の日本特許出願（特願２０１４－２１０００２）に基づくものであり、それらの内容はここに参照として取り込まれる。

１　情報処理装置
２　店舗
３ａ～３ｋ　客
４ａ～４ｃ　店員
５ａ～５ｄ　カート
１０　制御部
１１　記憶部
１２　通信部
１３ａ～１３ｄ　カメラ
２０ａ～２０ｅ　棚
２１　入口
１００　動画受付部
１０１　人物抽出部
１０２　入れ物抽出部
１０３　商品抽出部
１０４　特定部
１０５　関連付部
１０６　売り上げデータ取得部
１０７　人物属性取得部
１０８　会員情報取得部
１１０　関連付プログラム
１１１　関連付情報
１１２　売り上げデータ
１１３　人物属性情報
１１４　会員情報
２００ａ～２００ｃ　商品

Claims

　コンピュータを、
　カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出部と、
　前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定部と、
　前記第１の特定部が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付部として機能させるための関連付プログラム。
　複数の人物間の商品の動きを特定する第２の特定部としてさらに機能させ、
　前記関連付部は、前記第１の特定部が前記商品の動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定部が前記商品の動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける請求項１に記載の関連付プログラム。
　複数の人物間の前記入れ物の移動を特定する第３の特定部としてさらに機能させ、
　前記第３の特定部が前記入れ物の移動を特定した場合、前記関連付部は、当該複数の人物を関連付ける請求項１又は２に記載の関連付プログラム。
　前記抽出した人物の視線又は顔の向きを特定する第４の特定部としてさらに機能させ、
　前記関連付部は、前記第４の特定部が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１から３のいずれか１項に記載の関連付プログラム。
　前記抽出した人物の音声を取得する音声取得部としてさらに機能させ、
　前記関連付部は、前記音声取得部が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１から４のいずれか１項に記載の関連付プログラム。
　前記抽出した人物の口の動きを特定する第５の特定部としてさらに機能させ、
　前記関連付部は、前記第５の特定部が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１から５のいずれか１項に記載の関連付プログラム。
　前記抽出した人物の属性を取得する属性取得部と、
　当該取得した属性に基づいて、前記関連付部が関連付けた複数の人物からなるグループの属性を特定するグループ属性特定部としてさらに機能させる請求項１から６のいずれか１項に記載の関連付プログラム。
　前記抽出した人物の購入した商品に関する情報を取得する取得部としてさらに機能させ、
　前記関連付部は、当該情報を前記関連付けられた複数の人物に関連付ける請求項１から７のいずれか１項に記載の関連付プログラム。
　前記抽出した人物の会員情報を取得する取得部としてさらに機能させ、
　前記関連付部は、当該会員情報を前記関連付けられた複数の人物に関連付ける請求項１から７のいずれか１項に記載の関連付プログラム。
　コンピュータを、
　カメラで撮影した画像から人物と車両とを抽出する抽出部と、
　前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定する特定部と、
　前記特定部が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付部として機能させるための関連付プログラム。
　コンピュータを、
　カメラで撮影した画像から人物と商品とを抽出する抽出部と、
　複数の人物間の商品の動きを特定する特定部と、
　前記特定部が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラム。
　コンピュータを、
　カメラで撮影した画像から人物と入れ物とを抽出する抽出部と、
　複数の人物間の前記入れ物の移動を特定する特定部と、
　前記特定部が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラム。
　コンピュータを、
　カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出部と、
　前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定部と、
　前記第１の特定部が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　複数の人物間の商品の動きを特定する第２の特定部としてさらに機能させ、
　前記関連付部は、前記第１の特定部が前記商品の動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定部が前記商品の動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける請求項１３に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　複数の人物間の前記入れ物の移動を特定する第３の特定部としてさらに機能させ、
　前記第３の特定部が前記入れ物の移動を特定した場合、前記関連付部は、当該複数の人物を関連付ける請求項１３又は１４に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　前記抽出した人物の視線又は顔の向きを特定する第４の特定部としてさらに機能させ、
　前記関連付部は、前記第４の特定部が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１３から１５のいずれか１項に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　前記抽出した人物の音声を取得する音声取得部としてさらに機能させ、
　前記関連付部は、前記音声取得部が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１３から１６のいずれか１項に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　前記抽出した人物の口の動きを特定する第５の特定部としてさらに機能させ、
　前記関連付部は、前記第５の特定部が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１３から１７のいずれか１項に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　前記抽出した人物の属性を取得する属性取得部と、
　当該取得した属性に基づいて、前記関連付部が関連付けた複数の人物からなるグループの属性を特定するグループ属性特定部としてさらに機能させる請求項１３から１８のいずれか１項に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　前記抽出した人物の購入した商品に関する情報を取得する取得部としてさらに機能させ、
　前記関連付部は、当該情報を前記関連付けられた複数の人物に関連付ける請求項１３から１９のいずれか１項に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　前記抽出した人物の会員情報を取得する取得部としてさらに機能させ、
　前記関連付部は、当該会員情報を前記関連付けられた複数の人物に関連付ける請求項１３から１９のいずれか１項に記載の関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　コンピュータを、
　カメラで撮影した画像から人物と車両とを抽出する抽出部と、
　前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定する特定部と、
　前記特定部が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　コンピュータを、
　カメラで撮影した画像から人物と商品とを抽出する抽出部と、
　複数の人物間の商品の動きを特定する特定部と、
　前記特定部が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　コンピュータを、
　カメラで撮影した画像から人物と入れ物とを抽出する抽出部と、
　複数の人物間の前記入れ物の移動を特定する特定部と、
　前記特定部が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付部として機能させるための関連付プログラムを記憶する非一時的なコンピュータ読取媒体。
　抽出処理として、カメラで撮影した画像から人物と入れ物と商品とを抽出し、
　第１の特定処理として、前記入れ物に前記商品が入れられる又は出される動きを特定し、
　関連付処理として、前記第１の特定処理が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける処理をコンピュータにさせる情報処理方法。
　さらに、第２の特定処理として、複数の人物間の商品の動きを特定し、
　前記関連付処理は、前記第１の特定処理が前記動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定処理が前記商品の動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける請求項２５に記載の情報処理方法。
　さらに、第３の特定処理として、複数の人物間の前記入れ物の移動を特定し、
　前記第３の特定処理が前記入れ物の移動を特定した場合、前記関連付処理は、当該複数の人物を関連付ける請求項２５又は２６に記載の情報処理方法。
　さらに、第４の特定処理として、前記抽出した人物の視線又は顔の向きを特定し、
　前記関連付処理は、前記第４の特定処理が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項２５から２７のいずれか１項に記載の情報処理方法。
　さらに、音声取得処理として、前記抽出した人物の音声を取得し、
　前記関連付処理は、前記音声取得処理が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項２５から２８のいずれか１項に記載の情報処理方法。
　さらに、第５の特定処理として、前記抽出した人物の口の動きを特定し、
　前記関連付処理は、前記第５の特定処理が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項２５から２９のいずれか１項に記載の情報処理方法。
　さらに、属性処理取得処理として、前記抽出した人物の属性を取得し、
　グループ属性特定処理として、当該取得した属性に基づいて、前記関連付処理が関連付けた複数の人物からなるグループの属性を特定する請求項２５から３０のいずれか１項に記載の情報処理方法。
　さらに、取得処理として、前記抽出した人物の購入した商品に関する情報を取得し、
　前記関連付処理は、当該情報を前記関連付けられた複数の人物に関連付ける請求項２５から３１のいずれか１項に記載の情報処理方法。
　さらに、取得処理として、前記抽出した人物の会員情報を取得し、
　前記関連付処理は、当該会員情報を前記関連付けられた複数の人物に関連付ける請求項２５から３１のいずれか１項に記載の情報処理方法。
　抽出処理として、カメラで撮影した画像から人物と車両とを抽出し、
　特定処理として、前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定し、
　関連付処理として、前記特定処理が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける処理をコンピュータにさせる情報処理方法。
　抽出処理として、カメラで撮影した画像から人物と商品とを抽出し、
　特定処理として、複数の人物間の商品の動きを特定し、
　特定処理として、前記特定処理が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける処理をコンピュータにさせる情報処理方法。
　抽出処理として、カメラで撮影した画像から人物と入れ物とを抽出し、
　特定処理として、複数の人物間の前記入れ物の移動を特定し、
　特定処理として、前記特定処理が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける処理をコンピュータにさせる情報処理方法。
　カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出部と、
　前記入れ物に前記商品が入れられる又は出される動きを特定する特定部と、
　前記特定部が前記商品の動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付部とを備える情報処理装置。
　カメラで撮影した画像から人物と車両とを抽出する抽出部と、
　前記車両に前記人物が入る又は前記車両から前記人物が出る動きを特定する特定部と、
　前記特定部が前記人物の動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付部とを備える情報処理装置。
　カメラで撮影した画像から人物と商品とを抽出する抽出部と、
　複数の人物間の商品の動きを特定する特定部と、
　前記特定部が前記商品の動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付部とを備える情報処理装置。
　カメラで撮影した画像から人物と入れ物とを抽出する抽出部と、
　複数の人物間の前記入れ物の移動を特定する特定部と、
　前記特定部が前記入れ物の移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付部とを備える情報処理装置。