JP2017117384A

JP2017117384A - 情報処理装置

Info

Publication number: JP2017117384A
Application number: JP2015255038A
Authority: JP
Inventors: 大輔宮城; Daisuke Miyagi; 小林　徹; Toru Kobayashi; 徹小林
Original assignee: Toshiba Tec Corp
Current assignee: Toshiba Tec Corp
Priority date: 2015-12-25
Filing date: 2015-12-25
Publication date: 2017-06-29
Also published as: US11023908B2; US10600065B2; US20200175529A1; EP3185146A1; US20170186022A1

Abstract

【課題】店舗内を回遊する顧客が興味を持った商品をより的確に把握することができる情報処理装置を提供する。
【解決手段】実施形態の情報処理装置は、店舗の所定領域を撮像する撮像部が撮像した画像の入力を受け付ける入力手段と、前記入力手段が入力を受け付けた前記画像に含まれる人物の視線の向きを検出する視線検出手段と、前記視線検出手段が検出した視線の向きに基づいて当該人物が閲覧した商品を判定する判定手段と、を備える。
【選択図】図６

Description

本発明の実施形態は、情報処理装置に関する。

スーパーマーケット等の店舗において、顧客は、店舗内を回遊して商品を見て、興味を持ち、取得する欲求を持つ、という段階を経て商品の購入に至ることがある。そのため、店舗は、店舗に設置されたカメラで撮像した画像を解析して、店舗内を回遊する顧客の動線を把握し、動線に沿って配置された商品の情報を顧客にＰＲするようにしている。

しかしながら、顧客の動線を把握するだけでは、顧客が興味を持っている商品の把握情報として不十分であった。

本発明が解決しようとする課題は、店舗内を回遊する顧客が興味を持った商品をより的確に把握することができる情報処理装置を提供することである。

実施形態の情報処理装置は、店舗の所定領域を撮像する撮像部が撮像した画像の入力を受け付ける入力手段と、前記入力手段が入力を受け付けた前記画像に含まれる人物の視線の向きを検出する視線検出手段と、前記視線検出手段が検出した視線の向きに基づいて当該人物が閲覧した商品を判定する判定手段と、を備える。

図１は、実施形態に係る人物認証システムを店舗に設置した一例を示す説明図である。図２は、サーバ装置のハードウェア構成を示すブロック図である。図３は、人物認証辞書のデータ構成の一例を示す説明図である。図４は、人物認証システムの機能構成を示すブロック図である。図５は、商品の判定に用いられた画像の一例を示す説明図である。図６は、人物認証処理の流れを示すフローチャートである。図７は、商品閲覧情報生成処理の流れを示すフローチャートである。図８は、商品の関連情報の送信処理の流れを示すフローチャートである。

以下、添付図面を参照して実施形態の情報処理装置について説明する。実施形態では、サーバ装置を情報処理装置の一例として説明する。なお、この実施形態によりこの発明が限定されるものではない。

図１は、実施形態に係る人物認証システム１を店舗Ｍに設置した場合の一例を示す説明図である。人物認証システム１は、サーバ装置１０と、複数台のＰＯＳ端末４０（Point Of Sale）と、複数台のカメラ２０と、複数台のサイネージ６０を備える。図１に示すように、店舗Ｍは、大別すると、バックヤードＭ１と、売り場Ｍ２と、出入り口Ｍ３とを有する。バックヤードＭ１は、商品倉庫や、商品のパッケージングや、商品の発注などの店舗運営に関する業務を行う場所である。また、バックヤードＭ１には、サーバ装置１０が設置される。

売り場Ｍ２は、商品を販売する場所である。また、売り場Ｍ２には、店舗Ｍを回遊する人物である顧客を撮像するカメラ２０と、顧客が購入対象とする商品の売上登録をするＰＯＳ端末４０と、商品を配置する棚５０と、商品に関連する情報を表示するサイネージ６０が設けられる。

カメラ２０は、可視光線を出射して、後述する記憶部である人物認証辞書Ｄ１（図２参照）に登録された顧客であるか否かを顔認証するための動画像でかつ人物認証辞書Ｄ１に登録するための動画像を撮像する。またカメラ２０は、赤外線を出射して、顧客の視線を判定する動画像を撮像する。具体的には、カメラ２０は、可視光線と赤外線を一定間隔で交互に出射する。そして、カメラ２０は、出射された可視光線の顧客による反射光を受光して、人物認証辞書Ｄ１に登録された顧客であるか否かを顔認証するための動画像であってかつ人物認証辞書Ｄ１に登録するための動画像を撮像する。また、カメラ２０は、出射された赤外線の顧客の目による反射光を受光して、顧客の視線の方向を判定する動画像を撮像する。なお、赤外線照射による視線検出方法は公知であるので、詳細な説明は省略する。

そして、人物認証システム１は、一台以上のカメラ２０を備え、顧客が通行する店舗Ｍ内の通路を中心とした所定領域を撮像する。ここで、サーバ装置１０と、カメラ２０とは、ＬＡＮ（Local Area Network）３０で接続される。ＬＡＮ３０は、有線であってもよいし、無線であってもよい。また、ＬＡＮ３０は、各種公衆網であってもよい。顧客は、店舗Ｍに来店すると売り場Ｍ２を回遊し、購入対象の商品を選択する。その際に、カメラ２０は、回遊する顧客を撮像する。

サーバ装置１０は、カメラ２０が撮像した動画像から顧客の顔を認証し、動画像から顧客が閲覧していた商品の商品閲覧情報を生成する情報処理装置である。そして、サーバ装置１０は、生成した商品閲覧情報を顧客毎に記憶する。そして、サーバ装置１０は、カメラ２０が撮像した動画像に含まれる顧客の顔を認証し、その顧客ごとに撮像したカメラ２０の識別情報と、撮像時刻とを記録する。これにより、顧客ごとに行動を追跡することができる。

さらに、サーバ装置１０は、詳細は後述するが、顧客の視線の方向から顧客が閲覧している商品を判定することにより、商品閲覧情報を生成することができる。図１に示す店舗Ｍには、５台のカメラ２０と、３台のＰＯＳ端末４０と、棚５０を４個１組とした４組分の棚とが記載されているが、各個数は、これに限らず、任意の個数を設定してよい。

また、図１に示すカメラ２０は、棚５０と並行方向に向けて配置されている。しかし、カメラ２０の配置場所及びカメラ２０を向ける方向は問わない。例えば、カメラ２０は、棚５０の上に配置し、棚５０と垂直方向に向けて配置してもよい。サイネージ６０は、例えば液晶表示部である。サイネージ６０は、顧客が回遊する通路に設置されている。サイネージ６０は、各棚５０に対応して１個ずつ設置されている。サイネージ６０は、サーバ装置１０、カメラ２０、ＰＯＳ端末４０と、ＬＡＮ接続されている。サイネージ６０は、対応する棚５０に配置された商品の関連情報を、通路を回遊する顧客に向けて表示する。商品の関連情報とは、棚に配置された商品の産地情報、価格情報、特売情報、味情報等である。商品の関連情報は、後述する商品レイアウトファイルＦ１に記憶されている。

次に、実施形態の人物認証システム１が有する各部について説明する。まず、サーバ装置１０のハードウェア構成を説明する。図２は、サーバ装置１０のハードウェア構成を示すブロック図である。図２に示すように、サーバ装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、記憶部１３と、ネットワークインターフェース１４と、表示部１５と、入力部１６と、時計部１７とを備える。ＣＰＵ１１は、サーバ装置１０の全体を制御する。メモリ１２は、データを一時的に記憶する。記憶部１３は、ＣＰＵ１１からの命令で読み書きが可能であり、プログラムやデータ等を記憶する。また、記憶部１３は、人物認証プログラムＰ１と、人物認証辞書Ｄ１と、性別顔認証辞書Ｄ２と、年齢別顔認証辞書Ｄ３と、商品レイアウトファイルＦ１とを記憶する。

人物認証プログラムＰ１は、カメラ２０が撮像した動画像から顧客の顔を認証し、認証した顧客の人物認証情報を人物認証辞書Ｄ１に記憶させるプログラムである。人物認証辞書Ｄ１は、カメラ２０が過去に撮像した動画像から認証した顧客ごとに人物認証情報を記憶する。

ここで、図３は、人物認証辞書Ｄ１に記憶されたある顧客の人物認証情報のデータ構成を示す登録者ファイルの一例を示す説明図である。人物認証辞書Ｄ１は、人物識別情報に対応付けられた１以上の人物認証情報を有する。人物識別情報は、顧客ごとに割り振られた、顧客を識別可能な識別情報である。人物認証情報は、動画像から抽出した顧客の認証に関する情報である。なお、人物認証情報は、顧客の顔の正面が向けられた動画像を代表するフレーム画像から抽出した顧客の認証に関する情報であってもよい。

そして、人物認証情報は、動画像と、特徴量と、カメラ識別情報と、撮像時刻と、１以上の商品閲覧情報とを有する。動画像は、その顧客を認証した動画像である。動画像は、顧客の顔の正面が向けられた動画像を代表するフレーム画像であってもよい。特徴量は、顧客を認証した動画像から抽出した、その顧客の特徴量である。

ここで、顧客の特徴量とは、顧客の顔（目、鼻、口、顎等）から抽出された顧客の特徴を示す情報や、顧客の服飾から抽出された情報等である。服飾の特徴量とは、例えば、顧客が着ている服の色などである。カメラ識別情報は、動画像を撮像したカメラ２０を識別する識別情報である。撮像時刻は、カメラ２０が動画像を撮像した時刻である。商品閲覧情報は、動画像において、顧客が閲覧したすべての商品の情報である。商品閲覧情報は、例えば、商品を識別可能な識別情報（例えば商品を特定する商品コード）である。

性別顔認証辞書Ｄ２は、性別ごとの顔の特徴点が記憶された情報である。すなわち、性別顔認証辞書Ｄ２は、男性の顔の特徴量と、女性の顔の特徴量とを有する。性別顔認証辞書Ｄ２は、顧客の顔画像から抽出された特徴量と、性別顔認証辞書Ｄ２に記憶された特徴量とを比較し、顧客が男性であるか女性であるかの判定に使用される。

年齢別顔認証辞書Ｄ３は、年齢ごとの顔の特徴点が記憶された情報である。年齢別顔認証辞書Ｄ３は、顧客の顔画像から抽出された特徴量と、年齢別顔認証辞書Ｄ３に記憶された特徴量とを比較し、顧客の年齢の判定に用いられる。なお、年齢別顔認証辞書Ｄ３は、年代ごとであってもよい。または、年齢別顔認証辞書Ｄ３は、幼年期、少年期、青年期、壮年期、中年期、高年期などの年齢層を示す区分であってもよい。

商品レイアウトファイルＦ１は、店舗Ｍの売り場Ｍ２の商品の配置位置が記憶されたファイルである。商品レイアウトファイルＦ１は、例えば、棚５０それぞれを識別可能な棚識別情報と、商品閲覧情報とを対応付けて記憶させる。また、商品レイアウトファイルＦ１は、商品が配置された一の座標情報を、商品毎に記憶する。これにより、どの棚５０のどの位置にどの商品が配置されているかがわかる。また、商品レイアウトファイルＦ１は、各商品の識別情報に対応して、商品の関連情報を記憶する。

ネットワークインターフェース１４は、ＬＡＮ３０に接続される。なお、ＬＡＮ３０は、各種公衆網であってもよい。表示部１５は、各種情報を表示するディスプレイなどである。入力部１６は、キーボードやマウスなどの入力装置から入力された情報を制御する。または、入力部１６は、表示部１５に積層されたタッチパネル入力された情報を制御する。時計部１７は、時間を計時する。

次に、カメラ２０について説明する。カメラ２０は、カメラ２０が設置された顧客が回遊する通路を中心とした所定領域を撮像する。カメラ２０は、撮像した動画像をサーバ装置１０に送信する。カメラ２０は、ＬＡＮ３０に接続される。

カメラ２０は、図示しない撮像部を備える。撮像部は、カメラ２０の撮像範囲内に存在する顧客や物体等の被写体を撮像し、カラー画像情報を収集する。例えば、撮像部は、被写体表面で反射される可視光や赤外線を受光素子で検知して電気信号に変換する。受光素子とは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などである。そして、撮像部は、その電気信号をデジタルデータに変換して撮像範囲に対応する１フレームのカラー画像情報を生成する。

次に、実施形態にかかる人物認証システム１が有する特徴的な機能について説明する。図４は、人物認証システム１の機能構成を示すブロック図である。サーバ装置１０のＣＰＵ１１は、メモリ１２や記憶部１３に記憶された制御プログラムに従って動作することで、受信部１１１と、顔検出部１１２と、視線判定部１１３と、位置算出部１１４と、商品判定部１１５と、商品閲覧情報生成部１１６と、特徴量抽出部１１７と、属性判定部１１８と、類似度算出部１１９と、類似度判定部１２０と、登録部１２１と、表示部１２２として機能する。

入力手段である受信部１１１は、カメラ２０から送信された動画像と、撮像時刻とを順次受信する。これにより、受信部１１１は、動画像などの撮像データの入力を受け付ける。顔検出部１１２は、受信部１１１が受信した動画像から、動画像に含まれる顧客の顔を検出する。また、顔検出部１１２は、検出した顧客毎に、新規な人物識別情報を割り当てる。具体的には、顔検出部１１２は、フレーム画像の輝度情報を利用して顔の領域を示す座標を求める。

なお、顔領域を求める方法は、どのような方法を用いてもよい。検出手法の一例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法などである。または、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用してもよい。また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔領域の形状を異ならせても良い。

視線検出手段である視線判定部１１３は、カメラ２０から出射し、顧客の目で反射した赤外線をカメラ２０により撮像した動画像に基づいて、顧客の視線の方向を判定する。視線判定部１１３が行う顧客の視線の向きを判定する手法は、どのような手法を用いてもよく、公知の技術を用いるものとする。一例としては、カメラ２０がとらえた人の顔、眼球、角膜反射に基づいて顧客の視線の向き判定する公知の技術である。視線判定部１１３は、顧客の視線が右側を見ているか左側を見ているかを判定する。

位置算出部１１４は、カメラ２０が撮像した動画像に含まれる顧客がいる位置を算出する。カメラ２０は、売り場Ｍ２の所定領域を撮像する位置に配置される。顔検出部１１２は、動画像から顧客の顔画像を検出し、顔画像が検出された位置を示す座標を算出する。よって、位置算出部１１４は、カメラ２０の撮像範囲と、顔画像の座標とを基に、動画像に含まれる顔画像の顧客がいる位置を算出する。

判定手段である商品判定部１１５は、カメラ２０が撮像した動画像から顔検出部１１２が検出した顔の顧客が閲覧している商品を判定する。商品判定部１１５は、位置算出部１１４が算出した顧客の位置と、視線判定部１１３が判定した顧客の視線の方向（視線の方向は右方向か左方向か）に基づいて、当該位置の当該方向に位置していて、顧客が閲覧している商品を判定する。具体的には、位置算出部１１４が算出した顧客の位置と、視線判定部１１３が判定した顧客の視線の方向とに基づいて、記憶部１３に記憶された売り場Ｍ２の商品レイアウトファイルＦ１に記憶された当該位置の当該方向に配置された商品を判定する。すなわち、商品判定部１１５は、位置算出部１１４が算出した顧客の位置と、視線判定部１１３が判定した顧客の視線の方向とに基づいて、顧客が閲覧している商品を判定する。

ここで、図５は、顧客が閲覧している商品の判定に用いられたフレーム画像の一例を示す説明図である。カメラ２０は、売り場Ｍ２の所定領域を撮像する。これにより、フレーム画像に含まれる顧客は、そのカメラ２０の撮像領域にいることになる。顔検出部１１２は、フレーム画像から顧客の顔を検出し、Ｘ方向とＹ方向とにおける座標を検出する。これにより、顔検出部１１２は、顧客の顔がカメラ２０の撮像領域のどの位置にいるかを検出することができる。

視線判定部１１３は、フレーム画像に含まれる顧客の顔の視線の方向を判定する。そして、商品判定部１１５は、検出された顧客の位置および顧客の視線の方向とから算出された場所、並びに売り場Ｍ２の商品レイアウトとを比較することで顧客が閲覧している商品を判定することができる。図５の例の場合、視線判定部１１３は、顧客が進行方向左側を閲覧していることを判定する。そして商品判定部１１５は、Ｘ方向とＹ方向とにおける現在顧客が位置する座標から、顧客が商品Ｅまたは商品Ｆを閲覧していると判定する。この場合、商品Ｅまたは商品Ｆに関連する情報が、商品Ｅまたは商品Ｆが配置されている棚５０に対応したサイネージ６０ａに表示される。

図４に戻り、商品閲覧情報生成部１１６は、顔検出部１１２が検出した顔の顧客が閲覧した商品の識別情報である商品コードを、閲覧した時刻とともに記憶する。商品閲覧情報生成部１１６は、商品判定部１１５が商品を判定した場合において、初めて判定した商品について商品閲覧情報生成部１１６は、判定した商品の閲覧回数を１からカウントアップする。一方、商品閲覧情報生成部１１６は、後に判定した商品が前に判定した商品と同一である場合に、当該商品の閲覧回数をカウントアップする。

特徴量抽出部１１７と、類似度算出部１１９と、類似度判定部１２０とは、人物認証辞書Ｄ１に登録された顧客であるか否かを認証する。まず、特徴量抽出部１１７は、顔検出部１１２により検出した顔の顧客の特徴量を抽出する。特徴量抽出部１１７は、検出された顔領域から、目、鼻、口、顎などの顔の特徴点を検出する。そして、特徴量抽出部１１７は、特徴点ごとに特徴量を抽出する。特徴量は、特徴点の形状、表面の色合い、凹凸状況等の外観の特徴をパラメータ化したものである。なお、設定等によって検出すべき顔の特徴点は任意に変更することができる。また、特徴量抽出部１１７における顔の特徴点の検出方法は、どのような方法を用いてもよく、公知の技術を用いるものとする。

また、特徴量抽出部１１７は、顔検出部１１２が検出した顧客の服飾から特徴量を抽出する。特徴量抽出部１１７は、顧客が着用している衣服や、装身具などから色を特徴量として抽出する。これにより、人物認証辞書Ｄ１に登録された顧客であるか否かの判定に、顧客の服飾も加味される。よって、認証精度を高めることができる。

属性判定部１１８は、カメラ２０が撮像した画像に含まれる顧客の属性を判定する。属性とは、性別や、年齢等である。属性判定部１１８は、特徴量抽出部１１７が抽出した特徴点の特徴量と、記憶部１３に記憶された性別顔認証辞書Ｄ２とを比較することで、顧客の性別を判定する。また、属性判定部１１８は、特徴量抽出部１１７が抽出した特徴点の特徴量と、記憶部１３に記憶された年齢別顔認証辞書Ｄ３とを比較することで、顧客の年齢を判定する。なお、年齢は、年代や、年齢層を示す区分などであってもよい。

算出手段である類似度算出部１１９は、人物認証辞書Ｄ１に登録された顧客毎の特徴量と、特徴量抽出部１１７が抽出した特徴量とを比較し、顧客毎の類似度を算出する。ここで、類似度は、カメラ２０が撮像した顧客の特徴量と、人物認証辞書Ｄ１に登録された各顧客の特徴量とを比較し、両特徴量がどの程度類似しているかを示す値であればよい。

特定手段である類似度判定部１２０は、算出された類似度に基づいて顧客を特定する。類似度が閾値以上の顧客が登録されているか否かを判定する。実施形態では、第１閾値（第１所定値）、第２閾値、第３閾値（第２所定値）の３種類の閾値を設けている。第１閾値は、最も類似度が低い（似ていない）閾値であり、類似度が第１閾値未満の場合は、同一人物ではないとする閾値である。第２閾値は第１閾値よりも類似度が高い閾値であり、類似度が第１閾値〜第２閾の間であれば、顔がよく似ていることを示し、同一人物とみなして良い値である。第３閾値は第２閾値よりも類似度が高い閾値であり、顔は同一人物を示しているが、例えば服飾が異なるといった値である。類似度が第２閾値〜第３閾の間であれば、同一人物で間違いない値である。第３閾値を超える場合は、顔が同一人物でありかつ服飾も同一であることを示している。この場合も同一人物で間違いない値である。

人物認証辞書Ｄ１に登録されたすべての顧客に対して類似度算出部１１９が算出した類似度が第１閾値より低い場合は、類似度判定部１２０は、撮像された顧客は人物認証辞書Ｄ１に登録されていないと判断する。また、人物認証辞書Ｄ１に登録された複数の顧客に対して類似度算出部１１９が算出した類似度が第１閾値より高く第２閾値より低い場合は、類似度判定部１２０は、人物認証辞書Ｄ１に登録された中で最も類似度が高い顧客をカメラ２０が撮像した顧客と判定する。また、人物認証辞書Ｄ１に登録されたいずれか一の顧客に対して類似度算出部１１９が算出した類似度が第２閾値より高く第３閾値より低い場合は、類似度判定部１２０は、当該顧客をカメラ２０が撮像した顧客である可能性が高いと判定する。また、人物認証辞書Ｄ１に登録されたいずれか一の顧客に対して類似度算出部１１９が算出した類似度が第３閾値より高い場合は、類似度判定部１２０は、当該顧客をカメラ２０が撮像した顧客と判定する。

登録部１２１は、カメラ２０が撮像した動画像に係る人物認証情報を、人物認証辞書Ｄ１に顔検出部１１２が検出した顔の顧客毎に登録することで記憶させる。登録部１２１は、類似度を判定した動画像と、特徴量抽出部１１７が抽出した特徴量と、動画像を送信したカメラ２０の識別情報と、動画像を撮像した撮像時刻と、動画像から生成された閲覧履歴情報とを人物認証情報として人物認証辞書Ｄ１に登録することで記憶させる。

登録部１２１が行う登録には、新規登録と、追加登録とがある。登録部１２１は、類似度判定部１２０が閾値以上の顧客の人物認証情報が人物認証辞書Ｄ１に登録されていないと判定した場合に、新規登録する。登録部１２１は、顔検出部１１２が割り当てた新規な人物識別情報を用いて、属性情報と、人物認証情報とを人物認証辞書Ｄ１に登録する。

一方、登録部１２１は、類似度判定部１２０が閾値以上の顧客の人物認証情報が人物認証辞書Ｄ１に登録されていると判定した場合に、時系列的に追加登録する。登録部１２１は、人物認証辞書Ｄ１に登録された、該当する顧客の人物認証情報に、今回の撮像に係る人物認証情報を対応付けて登録する。このように、登録部１２１は、追加登録することにより、該当する人物識別情報の人物認証情報が増加する。これにより、類似度算出部１１９は、複数の人物認証情報と比較することができるため、判定結果の信頼性を向上させることができる。

類似度判定部１２０が、類似度が第１閾値より低いと判定した顧客について、登録部１２１は、新たな顧客の人物認証情報を記憶した登録者ファイルを人物認証辞書Ｄ１に新規登録する。類似度判定部１２０が、類似度が第１閾値より高く第２閾値より低いと判定した顧客について、登録部１２１は、最も類似度が高い顧客の登録者ファイルに、当該顧客の人物認証情報を追加登録する。類似度判定部１２０が、類似度が第２閾値より高く第３閾値より低いと判定した顧客について、登録部１２１は、当該顧客の登録者ファイルに対して当該顧客の人物認証情報を追加登録する。類似度判定部１２０が、類似度が第３閾値より高いと判定した顧客について、登録部１２１は、いずれの登録者ファイルにも当該顧客の人物認証情報を新規登録も追加登録もしない。すなわち、ＣＰＵ１１は、この顧客の類似度は、顔も服飾も同一であると判断している。この場合、同一日に一度通路を回遊した当該顧客が再度回遊している可能性があり、当該顧客の画像はすでに撮像しているため、当該顧客の人物認証情報や当該顧客が閲覧した商品の情報を追加登録しない。

情報提供手段である表示部１２２は、商品判定部１１５が判定した商品の関連情報を、当該判定した商品に対応した位置に設置されたサイネージ６０に表示する。表示部１２２は、判定した商品の関連情報を、商品レイアウトファイルＦ１から読み出して、サイネージ６０に表示する。

次に、上述した実施形態にかかるサーバ装置１０のＣＰＵ１１が人物認証プログラムＰ１に従って実行する人物認証処理について説明する。実施形態にかかるサーバ装置１０は、カメラ２０が撮像した動画像を用いて、人物認証処理を実行する。

図６は、サーバ装置１０のＣＰＵ１１が人物認証プログラムＰ１に従って実行する人物認証処理の流れを示すフローチャートである。まず、サーバ装置１０のＣＰＵ１１（受信部１１１）は、カメラ２０が撮像した動画像を入力する（Ｓ１１）。次いで、サーバ装置１０のＣＰＵ１１（顔検出部１１２）は、受信した動画像から顔を検出することができるか否かを判定する（Ｓ１２）。顔を検出することができない場合に（Ｓ１２のＮｏ）、サーバ装置１０のＣＰＵ１１は、ステップＳ１１に戻り、動画像を受信する。

一方、顔を検出することができた場合に（Ｓ１２のＹｅｓ）、サーバ装置１０のＣＰＵ１１（特徴量抽出部１１７）は、検出した顔に基づいて当該顔の特徴量を抽出する。そしてＣＰＵ１１（類似度算出部１１９）は、抽出した特徴量と、人物認証辞書Ｄ１に登録されたすべての顧客の人物認証情報の特徴量とを比較して類似度を算出する。そしてＣＰＵ１１（類似度判定部１２０）は、算出された類似度に基づいて、当該顧客の類似度を判定する（Ｓ１３）。

次にＣＰＵ１１（類似度判定部１２０）は、類似度算出部１１９が算出した類似度が、第１閾値未満であるかを判断する（Ｓ１４）。第１閾値未満、すなわち人物認証辞書Ｄ１には当該顧客と同一顧客はいないと判断した場合には（Ｓ１４のＹｅｓ）、ＣＰＵ１１（登録部１２１）は、人物認証辞書Ｄ１に、新たな登録者ファイルを作成し、人物認証情報を記憶して登録する（Ｓ１５）。この際、ＣＰＵ１１（属性判定部１１８）は、性別顔認証辞書Ｄ２に基づいて、新たに登録する顧客の性別を判定する。また、ＣＰＵ１１（属性判定部１１８）は、年齢別顔認証辞書Ｄ３に基づいて、新たに登録する顧客の年齢を判定する。そしてＣＰＵ１１は、判定した性別と年齢を人物認証辞書Ｄ１に属性情報として登録する。続いてＣＰＵ１１は、商品閲覧情報生成処理を実行する（Ｓ２０）。そしてＣＰＵ１１は、処理を終了する。

図７は、Ｓ２０における商品閲覧情報生成処理の流れを示すフローチャートである。図７に示すように、ＣＰＵ１１（視線判定部１１３）顧客の視線の方向を判定する（Ｓ３１）。続いてＣＰＵ１１（位置算出部１１４）は、当該顧客の現在の位置を算出する（Ｓ３２）。そしてＣＰＵ１１（商品判定部１１５）は、視線判定部１１３が判定した顧客の視線の方向と位置算出部１１４が算出した顧客の位置とから、当該顧客が閲覧している商品を判定する（Ｓ３３）。すなわちＣＰＵ１１は、当該顧客がいる位置における当該顧客の視線の方向にある商品を、商品レイアウトファイルＦ１に記憶されている商品の配置位置情報に基づいて判定する。

次にＣＰＵ１１（表示部）は、商品レイアウトファイルＦ１から該当する商品の関連情報を読み出して、当該商品に対応するサイネージ６０に表示する（Ｓ３４）。次にＣＰＵ１１は、人物認証辞書Ｄ１に、商品判定部１１５が判定した商品と同一の商品に関する商品閲覧情報がすでに記憶されているか否かを判断する（Ｓ３５）。同一の商品の商品閲覧情報がすでに記憶されていると判断した場合には（Ｓ３５のＹｅｓ）、ＣＰＵ１１は、Ｓ３３で判定した商品の商品閲覧情報を追加的に記憶する（Ｓ３７）。すなわち、ＣＰＵ１１は、人物認証辞書Ｄ１１の商品閲覧情報に記憶されている当該商品の閲覧した閲覧数を＋１カウントアップする。また、ＣＰＵ１１は、商品閲覧情報に、商品の閲覧時刻を追加的に記憶する。そしてＣＰＵ１１は、処理を終了する。

また、同一の商品がまだ登録されていないと判断した場合には（Ｓ３５のＮｏ）、ＣＰＵ１１は、新たな商品の商品閲覧情報を作成して人物認証辞書Ｄ１１に記憶する（Ｓ３６）。そしてＣＰＵ１１は、処理を終了する。

図６の説明に戻る。類似度が第１閾値未満ではないと判断した場合には（Ｓ１４のＮｏ）、ＣＰＵ１１は、類似度算出部１１９が算出した類似度が、第１閾値以上であってかつ第２閾値未満であるか否かを判断する（Ｓ１６）。第１閾値以上であってかつ第２閾値未満であると判断した場合には（Ｓ１６のＹｅｓ）、ＣＰＵ１１は、人物認証辞書Ｄ１１に記憶されている一つの登録ファイルを選定する（Ｓ１７）。すなわち、ＣＰＵ１１は、人物認証辞書Ｄ１１に記憶されている登録ファイルから、類似度が第１閾値以上かつ第２閾値未満の登録ファイルのうち、最も類似度が高い登録ファイルを選定する。そしてＣＰＵ１１は、Ｓ２０を実行する。

また、類似度が第１閾値以上であって第２閾値未満ではないと判断した場合には（Ｓ１６のＮｏ）、ＣＰＵ１１は、類似度算出部１１９が算出した類似度が、第２閾値以上であってかつ第３閾値未満である一つの登録ファイルの存在の有無を判断する（Ｓ１８）。類似度が第２閾値を超えて第３閾値未満であることは、比較対象どうしがほぼ同一人物であることを示しており、本人の登録ファイルとの比較した場合にこのような類似度となる。第２閾値以上であってかつ第３閾値未満の一つの登録ファイルがあると判断した場合には（Ｓ１８のＹｅｓ）、ＣＰＵ１１は、該当する一つの登録ファイルを選定する（Ｓ１９）。そしてＣＰＵ１１は、、Ｓ２０の処理を実行する。

また、類似度が第２閾値以上であって第３閾値未満ではないと判断した場合には（Ｓ１８のＮｏ）、ＣＰＵ１１は、類似度が第３閾値以上であると判断して、何もすることなく（すなわち、Ｓ２０の処理を実行することなく）処理を終了する。

ここからは、ＰＯＳ端末４０から受信した顧客の画像情報に基づいて、サーバ装置１０が、当該顧客が閲覧した商品の関連情報を当該ＰＯＳ端末４０に送信する制御処理に付いて説明する。ＰＯＳ端末４０は、サーバ装置１０から受信した商品の関連情報を、レシート用紙に印字して顧客に手渡す。レシートに印字する商品の関連情報は、当該顧客が店内の通路を回遊しながら閲覧した商品の関連情報である。

図８は、商品の関連情報の送信処理の流れを示すフローチャートである。ＰＯＳ端末４０は、顧客が購入する商品を決済処理する際に、当該顧客の顔画像を撮像する。そしてＰＯＳ端末４０は、撮像した顧客の顔画像をサーバ装置１０に送信する。図８に示すように、サーバ装置１０のＣＰＵ１１は、ＰＯＳ端末４０から顔画像の情報を受信したか否かを判断する（Ｓ４１）。受信したと判断した場合には（Ｓ４１のＹｅａ）、ＣＰＵ１１は、当該顔画像から求めた特徴量と人物認証辞書Ｄ１１に記憶された特徴量と比較して類似度を判定する（Ｓ４２）。そしてＣＰＵ１１は、同一顧客の登録ファイルの有無を判断する（Ｓ４３）。あると判断した場合には（Ｓ４３のＹｅｓ）、ＣＰＵ１１（送信手段）は、当該登録ファイルに記憶された、当該顧客が閲覧した商品の関連情報を、顔画像を送信したＰＯＳ端末４０に送信する（Ｓ４４）。ＣＰＵ１１は、例えば、同日中に顧客が通路を回遊して閲覧した商品の関連情報を送信する。また、ＣＰＵ１１は、例えば、閲覧回数が多い商品の関連情報を送信する。そしてＣＰＵ１１は、処理を終了する。なお、ＰＯＳ端末４０から顔画像の情報を受信していない場合（Ｓ４１のＮｏ）、および同一の登録ファイルがないと判断した場合には（Ｓ４３のＮｏ）、ＣＰＵ１１は、処理を終了する。

このような実施形態によれば、サーバ装置１０は、カメラ２０が撮像した画像に基づいて、通路を回遊する顧客の視線の向きを判定して、当該顧客が閲覧している商品を判定する。そのため、店舗内を回遊する顧客が興味を持った商品をより的確に把握することができる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、サーバ装置１０は、カメラ２０が撮像した動画像を受信部１１１が受信することによって、動画像の入力を受け付けているが、動画像は、カメラ２０が過去に撮像し、撮りためられた動画ファイルなどであってもよい。

また、実施形態では、サーバ装置１０の商品判定部１１５は、位置算出部１１４が算出した顧客の位置と、視線判定部１１３が判定した顧客の視線の向きと、商品レイアウトファイルＦ１とから顧客が閲覧している商品を判定している。しかしながら、例えば、カメラ２０ａが撮像した動画像のフレーム画像から、公知のオブジェクト認識技術を用いて、商品（商品名）を認識する形態であってもよい。

上記実施形態や変形例の各装置で実行されるプログラムは、各装置が備える記憶媒体（ＲＯＭ又は記憶部）に予め組み込んで提供するものとするが、これに限らないものとする。例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記憶媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。

また、上記実施形態や変形例の各装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよいし、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

１人物認証システム
１０サーバ装置
１１ＣＰＵ
１１１受信部
１１３視線判定部
１１５商品判定部
１１６商品閲覧情報生成部
１２２表示部
Ｄ１人物認証辞書
Ｄ２性別顔認証辞書
Ｄ３年齢別顔認証辞書
Ｆ１商品レイアウトファイル
２０カメラ

特開２０１３−６５１１９号公報

Claims

店舗の所定領域を撮像する撮像部が撮像した画像の入力を受け付ける入力手段と、
前記入力手段が入力を受け付けた前記画像に含まれる人物の視線の向きを検出する視線検出手段と、
前記視線検出手段が検出した視線の向きに基づいて当該人物が閲覧した商品を判定する判定手段と、
を備える情報処理装置。
前記判定手段が判定した商品の関連情報を前記人物に提供する情報提供手段、
をさらに備えた、
請求項１に記載の情報処理装置。
前記人物が閲覧した前記商品の情報を人物別に記憶する記憶部と、
前記入力手段が入力を受け付けた前記画像から人物を特定する特定手段と、
前記判定手段が判定した前記商品を前記特定手段が特定した前記人物に対応した前記記憶部に記憶する記憶手段と、
をさらに備えた請求項１または２に記載の情報処理装置。
前記記憶部は人物毎に特徴量を記憶し、
前記入力手段が受け付けた前記画像から求めた特徴量と前記記憶部に記憶した特徴量とに基づいて人物の類似度を算出する算出手段、
をさらに備え、
前記算出手段が算出した類似度が第１所定値より低い場合は、前記記憶手段は、前記判定手段が判定した商品の情報を新たな人物が閲覧した商品の情報として前記記憶部に記憶する、
請求項３に記載の情報処理装置。
前記算出手段が算出した類似度が前記第１所定値より高い第２所定値より高い場合は、前記記憶手段は、前記判定手段が判定した人物が閲覧した商品の情報を当該人物に対応した前記記憶部に記憶しない、
請求項４に記載の情報処理装置。