JP6624368B2 - 接客モニタリングシステム及び接客モニタリング方法 - Google Patents

Description

本発明は、従業員の音声を用いて接客時の状況をモニタリングする接客モニタリングシステム及び接客モニタリング方法に関する。

従来、各種の接客業務では、顧客満足度が売上実績に大きく影響することが知られており、店舗の責任者（例えば店長）には、顧客満足度を定量的に測定することが必要とされるようになっている。

顧客満足度を測定する方法の一例として、調査員による覆面調査という手法がある。調査員による臨店調査では、臨店調査が行われる環境の違いにより得られる調査結果が異なり、調査結果に基づいて行われる改善アドバイスが的確ではない可能性がある。調査が行われる環境の違いとは、例えば臨店調査が行われた時間帯毎の臨店対象店舗内の混雑度や店員（従業員）数の違いや、調査員の調査技術や臨店調査を受ける店員の接客技術の熟練度（例えば勤務年数の長短による差異）の違いである。

そこで、特許文献１では、臨店調査が実施された環境の違いに基づく臨店調査結果への影響を修正した上で、修正後の調査結果に基づく現実に即したアドバイス情報を提示するサービス評価診断システムが開示されている。特許文献１では、店舗調査（例えば臨店調査）の調査結果は携帯情報端末を操作する調査員により入力される。

また、顧客満足度を測定する他の方法の一例として、店員と顧客の会話に含まれる店員の音声及び顧客の音声を基に、店員の感情及び顧客の感情を認識し、この認識結果に基づいて店員満足度データ及び顧客満足度データをそれぞれ算定する接客データ記録装置が知られている（例えば特許文献２参照）。

特許文献２に示す接客データ記録装置は、店員満足度データと顧客満足度データと店員の顧客に対する売上実績とを関連付けた接客データをデータベースに記録する。特許文献２では、特許文献１とは異なり、携帯情報端末を操作する調査員による入力操作は必要無い。

特許第５３３６６７５号公報 特許第５５３３２１９号公報

特許文献１では、携帯情報端末を操作しながら臨店調査を行う調査員により調査結果が入力されるので、調査員の裁量の範囲に差異があると、公平性に配慮した調査結果が得られない場合がある。また調査習熟度が均等な調査員の人的リソースを確保することも求められる。

また特許文献２では、接客データの元になる店員満足度データ及び顧客満足度データを生成するために、顧客の音声を基に生成した顧客の感情に関するデータが用いられる。このため、顧客の個人情報の保護の観点に鑑みると、顧客のプライバシーを広範に保護するためには、顧客満足度を定量的に測定する際に顧客の音声を直接的に用いることを避ける方が好ましい場合があると考えられる。

本発明は、上述した従来の状況に鑑みて案出されたものであり、調査員のような人的リソースを用いず、顧客のプライバシーを広範に保護した上で、店舗内の顧客に対する各種の接客イベント時における該当接客者の発話内容を監視することで接客状況を的確かつ客観的に評価する接客モニタリングシステム及び接客モニタリング方法を提供することを目的とする。

本発明は、所定の収音領域における従業員の音声を収音する収音部と、所定の接客イベント毎の判定条件を含む接客イベントデータを記憶する第１記憶部と、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて記憶する第２記憶部と、前記第１記憶部に記憶される前記接客イベントデータと前記第２記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出する検出部と、前記検出部により検出された前記接客イベントにおいて、前記第２記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する算定部と、前記算定部により算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する出力部と、を備える、接客モニタリングシステムである。

また、本発明は、所定の収音領域における従業員の音声を収音する収音部を含む接客モニタリングシステムにおける接客モニタリング方法であって、所定の接客イベント毎の判定条件を含む接客イベントデータを第１記憶部に記憶し、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて第２記憶部に記憶し、前記第１記憶部に記憶される前記接客イベントデータと前記第２記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出し、検出された前記接客イベントにおいて、前記第２記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定し、算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する、接客モニタリング方法である。

本発明によれば、調査員のような人的リソースを用いず、顧客のプライバシーを広範に保護した上で、店舗内の顧客に対する各種の接客イベント時における該当接客者の発話内容を監視することで接客状況を的確かつ客観的に評価することができる。

本実施形態の接客モニタリングシステムが設置された店舗内のイメージの一例を示す図 本実施形態の接客モニタリングシステムの第１のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの第２のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの第３のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの第４のシステム構成例を示すブロック図 本実施形態の接客モニタリングシステムの全体の動作手順の一例を説明するフローチャート イベント検出可否判定処理の詳細な動作手順の一例を説明するフローチャート 接客イベント検出処理の詳細な動作手順の一例を説明するフローチャート 接客イベント情報処理の詳細な動作手順の一例を説明するフローチャート 接客状況ＤＢの一例を示す図 図２に示す接客モニタリングシステムに対応した接客イベント情報ＤＢの一例を示す図 図３に示す接客モニタリングシステムに対応した接客イベント情報ＤＢの一例を示す図 図４に示す接客モニタリングシステムに対応した接客イベント情報ＤＢの一例を示す図 図５に示す接客モニタリングシステムに対応した接客イベント情報ＤＢの一例を示す図 接客発話評価処理の動作手順の一例を説明するフローチャート 騒音レベル判定処理の動作手順の一例を説明するフローチャート 接客キーワードの発話判定処理の動作手順の一例を説明するフローチャート スコアリング処理の動作手順の一例を説明するフローチャート （Ａ）発話長さの判定処理の動作手順の一例を説明するフローチャート、（Ｂ）周波数特性の判定処理の動作手順の一例を説明するフローチャート モデル音声データを用いた発話長さの判定処理の具体例を示す図 モデル音声データの各音素の基本周波数を用いた周波数特性の判定処理の具体例を示す図 （Ａ）接客発話評価ＤＢの一部を構成する発話想定キーワード表の一例を示す図、（Ｂ）接客発話評価ＤＢの一部を構成する接客発話モデル一覧表の一例を示す図 限定された閲覧者による閲覧処理又は接客発話評価値の修正処理の動作手順の一例を示すフローチャート 接客発話評価値の修正処理の詳細な動作手順の一例を説明するフローチャート 図２４に示す接客発話評価値の修正処理の詳細な動作手順の続きを説明するフローチャート （Ａ）閲覧者ＤＢの一例を示す図、（Ｂ）接客者ＤＢの一例を示す図 接客モニタリングシステムにおける閲覧対象となる接客状況ＤＢへのログイン画面の一例を示す図 １日単位の来店客に対する全接客者の接客発話評価値の集計結果の一例を接客状況表示画面として示す図 １日の時間帯における来店客に対する全接客者の接客発話評価値の集計結果の一例を示す図 （Ａ）1日の時間帯毎の１人の接客者の接客発話評価値の集計結果の一例を示す図、（Ｂ）１日の接客者毎の接客発話評価値の集計結果の一例を示す図 １日の店舗毎の接客発話評価値の集計結果の一例を示す図 接客状況ＤＢの詳細表示画面に表示された各レコードの具体例を示す図 接客状況ＤＢの詳細表示画面に表示された特定のレコードの接客発話評価値の修正操作の一例を示す図 接客状況ＤＢの詳細表示画面に表示された特定のレコードの修正後の接客発話評価値の一例を示す図 接客状況プレビュー画面における接客位置の修正操作の一例を示す図 接客状況ＤＢの詳細表示画面に表示された特定のレコードの修正後の接客位置の座標の一例を示す図 接客者マイク装置、マイク装置、マイクアレイ装置とプライバシー保護マークとの関係の一例を示す図 モニタリングデータのシフト切り出し処理の一例を示す説明図 モニタリングデータの切り出し処理のバリエーションの一例を示す説明図 接客イベント情報処理の詳細な動作手順の他の一例を説明するフローチャート 接客発話評価ＤＢの一部を構成する接客イベントごとの発話想定区間表の一例を示す図

以下、本発明に係る接客モニタリングシステム及び接客モニタリング方法を具体的に開示した実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の接客モニタリングシステムは、接客業務が行われる店舗（例えば小売店、卸売店、百貨店、コンビニエンスストア、スーパーマーケット、飲食店、銀行）に設置され、店舗の店員（従業員）の顧客に対する接客状況を監視し、店舗における各種の接客イベント（例えば入退店挨拶、会計開始挨拶等。詳細は後述参照）を行う店員の接客態度（おもてなし）を客観的に評価する。以下の説明において、接客モニタリングシステムにおいて店員の顧客に対する接客態度（接客状況）を客観的に評価した結果の定量的な指標（値）を「接客発話評価値」という。なお、本実施形態では、店員の顧客に対する接客状況の評価について説明するが、本発明に係る接客モニタリングシステム及び接客モニタリング方法は、店員以外の従業員（例えば銀行員、職員など）の顧客に対する接客状況の評価にも適用可能である。

なお、本発明は、接客モニタリングシステムを構成する各装置（例えば後述する接客評価装置）、指向性制御システムを構成する各装置（例えば接客評価装置）が行う各動作を含む方法、又は当該方法をコンピュータである接客評価装置に実行させるためのプログラムとして表現することも可能である。

（接客モニタリングシステムの概略）
図１は、本実施形態の接客モニタリングシステム１００が設置された店舗内のイメージの一例を示す図である。図１では、例えば店舗において、２個のＰＯＳ端末５が設置されたレジカウンターにそれぞれ２名の従業員がＰＯＳ端末５を操作しながら複数の顧客を接客している。店舗には、収音領域であるレジカウンターの周囲の音声を収音するためのマイク装置Ｍ１が少なくとも１個設置され、レジカウンターを画角に含むように撮像するカメラ装置Ｃ１が少なくとも１個設置され、更に、店舗への顧客の入退店を検出するためのセンサ装置Ｓ１が店舗の入り口付近に設置されている。また、接客モニタリングシステム１００では、店舗のバックヤード（例えば監視室）において、従業員（店員）の接客状況の監視（モニタリング）により接客発話評価値を算定するための接客評価装置３（例えばＰＣ：Personal Computer）が設置されており、例えば店舗の責任者（例えば店長）により操作される。

接客モニタリングシステム１００は、例えばＰＯＳ端末５を操作する店員の操作履歴を示すデータ（以下、「ＰＯＳ操作履歴データ」という）と、後述する種々の接客イベント毎に接客イベントの有無を検出するための接客イベント判定条件を含む接客イベントデータとを基に、店員による接客イベントを検出する。なお、ＰＯＳ操作履歴データには、例えば接客者（店員）の接客者ＩＤ（店員の識別情報）、接客者ＩＤをＰＯＳ端末５に入力する接客者ＩＤ入力操作履歴、来店客（顧客）の年齢入力履歴、会計完了操作履歴等が含まれる。

接客モニタリングシステム１００は、接客イベントを検出した場合には、例えばマイク装置Ｍ１、カメラ装置Ｃ１、センサ装置Ｓ１又はこれらの組み合わせにより得られたデータを基に、ＰＯＳ端末５を操作時における所定の発話想定キーワード（発話キーワード）に対応する接客発話評価値（言い換えると、発話想定キーワードを発話した店員に対する接客発話評価値）を算定する。また、接客モニタリングシステム１００は、算定された接客発話評価値を、店員の識別情報と店員の接客位置及び接客時刻により特定される店員の音声データに対応付けて記憶する。ここでいう「店員（従業員）の音声データ」とは、例えば店員の位置において店員が発話した声がマイク装置Ｍ１、接客者マイク装置ＳＭ１又はマイクアレイ装置ＡＭ１により収音された音声が記録されているデータである。

（接客モニタリングシステムの構成例）
次に、本実施形態の接客モニタリングシステムのシステム構成例について、図２から図５を参照して説明する。図２は、本実施形態の接客モニタリングシステム１００の第１のシステム構成例を示すブロック図である。図３は、本実施形態の接客モニタリングシステム１００Ａの第２のシステム構成例を示すブロック図である。図４は、本実施形態の接客モニタリングシステム１００Ｂの第３のシステム構成例を示すブロック図である。図５は、本実施形態の接客モニタリングシステム１００Ｃの第４のシステム構成例を示すブロック図である。図２から図５の説明では、図２に示す接客モニタリングシステム１００を詳細に説明し、図３，図４，図５にそれぞれ示す接客モニタリングシステム１００Ａ，１００Ｂ，１００Ｃの構成については図２に示す接客モニタリングシステム１００との差異について説明し、同一の構成については同一の符号を付して説明を簡略化又は省略する。

図２に示す接客モニタリングシステム１００は、少なくとも１個のマイク装置Ｍ１，…，ＭＬ（Ｌは１以上の整数。以下同様）と、管理サーバ２と、接客評価装置３と、レコーダ装置４と、ＰＯＳ端末５とを含む構成である。図２に示す接客モニタリングシステム１００では、少なくとも１個のマイク装置Ｍ１，…，ＭＬと、管理サーバ２と、接客評価装置３と、レコーダ装置４と、ＰＯＳ端末５とが、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。

収音部の一例としての少なくとも１個のマイク装置Ｍ１，…，ＭＬは、所定の収音領域（例えば店舗のレジカウンター）の所定の設置面（例えば天井面）に設置され、収音領域の従業員（店員）の音声を収音し、収音により得られた店員の音声データをレコーダ装置４に送信する。マイク装置Ｍ１，…，ＭＬの指向性は、指向性が無い無指向性であることも含めて、それぞれ製造時から設計仕様により既に決められているものであり、変更することはできない。また、マイク装置Ｍ１，…，ＭＬは、従業員（店員）の音声のみ収音するものではなく、例えば顧客と従業員（店員）とが会話している際に顧客が発話した声も漏れて収音することはあり得る。

また、マイク装置Ｍ１，…，ＭＬは、店員の顧客に対する接客状況を評価するための接客用途に設けられてもよいし、店舗の防犯等の監視用途に設けられてもよい（図３７参照）。監視用途のマイク装置は、店舗内の人目の付きにくい場所、店舗内のレジカウンターから遠く離れた場所等に設置される。

図３７は、接客者マイク装置ＳＭ１，…，ＳＭＬ、マイク装置Ｍ１，…，ＭＬ、マイクアレイ装置ＡＭ１，…，ＡＭＬとプライバシー保護マークとの関係の一例を示す図である。プライバシー保護マークは、例えば顧客のプライバシー保護を示す所定情報の一例であり、顧客のプライバシーを保護するために、顧客の音声が店員の音声データに混じって収音される可能性がある場合にはその音声データを用いた店員の接客評価の対象としないことを予め示す情報である。

つまり、図３７に示すように、接客用途に設けられたマイク装置は、接客用途に設けられたことを示す情報を予め保持し、監視用途に設けられたマイク装置は、監視用途に設けられたことを示す情報を予め保持している。監視用途に設けられたマイク装置の収音により得られた店員の音声データには、マイク装置の処理により、プライバシー保護マークが付与される。しかし、接客用途に設けられたマイク装置の収音により得られた店員の音声データには、プライバシー保護マークは付与されない。

第１記憶部の一例としての管理サーバ２は、接客評価装置３において接客イベント毎の店員の接客発話評価値を算定する際、又は接客評価装置３において算定された接客イベント毎の店員の接客発話評価値を閲覧（更に、必要に応じて修正）する際に必要となる各種データを管理ＤＢ（Database）２ａとして格納（保存）している。また、管理サーバ２は、接客評価装置３において算定された接客イベント毎の店員の接客発話評価値を管理ＤＢ２ａにおいて格納している。

管理ＤＢ２ａは、接客イベント情報ＤＢと、閲覧者ＤＢと、接客者ＤＢと、接客発話評価ＤＢと、接客状況ＤＢとを有する構成である。各々のＤＢの内容の詳細については後述する。なお、管理サーバ２は、接客モニタリングシステム１００が設置される店舗自体に配置されなくてもよく、例えばネットワークＮＷを介して接続されるオンラインストレージ（例えばクラウドサービスにおいて使用されるストレージ）でもよい。

接客評価装置３は、所定の収音領域（例えば店舗内）における各種の接客イベントを検出し、更に、検出された接客イベント中の店員の音声データを基に、接客イベント中の店員の所定の発話想定キーワードに対応する接客発話評価値を算定する。接客評価装置３は、例えばＰＣ（ラップトップやデスクトップも含む）、スマートフォン、タブレット端末、携帯電話機又はＰＤＡ（Personal Digital Assistant）等のデータ通信機器を用いて構成され、操作部３１と、メモリ３２と、接客発話評価部３３と、出力部３４と、表示装置３５と、スピーカ装置３６と、モニタリングデータ抽出部３８とを有する構成である。

操作部３１は、ユーザ（例えば店舗の店長）の操作の内容を接客発話評価部３３又は出力部３４に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３１は、例えば表示装置３５の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

メモリ３２は、例えばＲＡＭ（Random Access Memory）を用いて構成され、接客評価装置３の各部の動作時のワークメモリとして機能し、更に、接客評価装置３の各部の動作時に必要なデータを記憶する。

接客発話評価部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、接客イベント検出部３３１と、接客発話評価値算定部３３２とを有する構成である。

検出部の一例としての接客イベント検出部３３１は、管理サーバ２の管理ＤＢ２ａの接客イベント情報ＤＢ（接客イベントデータ、後述参照）と、所定の業務端末の一例としてのＰＯＳ端末５に対する店員の操作履歴を示すＰＯＳ操作履歴データ（端末操作履歴データ）とを基に、店員の接客イベントを検出する。接客イベントの検出方法の詳細については後述する。

算定部の一例としての接客発話評価値算定部３３２は、接客イベント検出部３３１により検出された接客イベントにおいて、レコーダ装置４に格納（記憶）された店員の音声データを基に、ＰＯＳ端末５の操作時における所定の発話想定キーワードに対応する接客発話評価値を算定する。接客発話評価値の算定方法の詳細については後述する。

出力部３４は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成され、接客発話評価値算定部３３２により算定された接客発話評価値を、店員の識別情報（例えば店員が装着する名札に印字された、店員の識別情報を示すバーコード）と店員の接客位置（例えば座標情報）及び接客時刻により特定される店員の音声データに対応付けてメモリ３２又は管理サーバ２の管理ＤＢ２ａに記憶する。

また、出力部３４は、接客モニタリングシステム１００の各装置との間のネットワークＮＷを介した通信機能（有線通信機能、無線通信機能）を有するとともに、表示装置３５やスピーカ装置３６の動作を制御し、ユーザの所定の入力操作に応じて、接客モニタリングシステム１００に関する各種画面を表示装置３５に表示させたり、マイク装置Ｍ１，…，ＭＬから送信された音声パケット（不図示）を受信してスピーカ装置３６から出力させたりする。

表示部の一例としての表示装置３５は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、ユーザの入力操作に応じて、出力部３４の制御の下で、例えば接客モニタリングシステム１００に関する各種画面（後述参照）を表示する。

音声出力部の一例としてのスピーカ装置３６は、マイク装置Ｍ１，…，ＭＬから送信された音声パケットに含まれる音声データを出力する。なお、表示装置３５及びスピーカ装置３６は、接客評価装置３と一体的に構成されてもよいし、異なる装置でもよい。

音声データ抽出部の一例としてのモニタリングデータ抽出部３８は、レコーダ装置４に記憶されているモニタリングデータ４ａから、接客発話評価部３３の接客発話評価値算定部３３２が店員の接客発話評価値を算定するために必要な所定時間間隔（例えば１０〜２０秒程度）毎のモニタリングデータ４ａｋ（ｋ：１以上の整数、例えば図３８参照）に切り取って抽出する。モニタリングデータ抽出部３８におけるモニタリングデータの抽出処理の詳細は図３８〜図４１を参照して後述する。

第２記憶部の一例としてのレコーダ装置４は、例えば接客イベントの際に発話した店員の音声データとＰＯＳ端末５の操作履歴を示すＰＯＳ操作履歴データとを対応付けてモニタリングデータ４ａとして記憶する。店員の音声データは、少なくとも１個のマイク装置Ｍ１，…，ＭＬにより収音されてレコーダ装置４に送信された音声データである。ＰＯＳ操作履歴データは、例えばＰＯＳ端末５において取得され、更に、管理サーバ２又は接客評価装置３がＰＯＳ端末５から取得してレコーダ装置４に送信されたデータである。

業務端末の一例としてのＰＯＳ端末５は、店舗のレジカウンターに設置され、入力装置５１と、表示装置５２と、メモリ５３とを有する構成である。ＰＯＳ端末５は、例えば店舗の売上情報や各商品の価格に関する情報をメモリ５３に記憶する。なお、図２から図５では、ＰＯＳ端末５は１個のみ図示されているが、複数のＰＯＳ端末５がネットワークＮＷを介して接続されてもよい。

入力装置５１は、操作部３１と同様に、ユーザ（例えば店員）の入力操作を受け付けてＰＯＳ端末５に通知するためのユーザインターフェース（ＵＩ）であり、例えばマウス、キーボード等のポインティングデバイスである。また、入力装置５１は、例えば表示装置５２の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

表示装置５２は、表示装置３５と同様にＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、ユーザの入力操作に応じて、店舗の売上情報、各商品の価格に関する情報や商品の精算に関する画面を表示する。

メモリ５３は、メモリ３２と同様にＲＡＭ（Random Access Memory）を用いて構成され、ＰＯＳ端末５の各部の動作時のワークメモリとして機能し、更に、ＰＯＳ端末５の各部の動作時に必要なデータを記憶する。

図３に示す接客モニタリングシステム１００Ａでは、図２に示す接客モニタリングシステム１００の少なくとも１個のマイク装置Ｍ１，…，ＭＬが少なくとも１個の接客者マイク装置ＳＭ１，…，ＳＭＬに置き換わった構成であり、その他の構成は図２に示す接客モニタリングシステム１００と同様である。接客者マイク装置ＳＭ１，…，ＳＭＬの指向性は、それぞれ製造時から設計仕様により既に決められているものであり、変更することはできない。

収音部の一例としての少なくとも１個の接客者マイク装置ＳＭ１，…，ＳＭＬは、例えばピンマイクを用いて構成され、店舗内の各々の店員に個々に装着され、該当する店員の音声を収音し、収音により得られた店員の音声データをレコーダ装置４に送信する。なお、接客者マイク装置ＳＭ１，…，ＳＭＬは、従業員（店員）の音声のみ収音するものではなく、例えば顧客と従業員（店員）とが会話している際に顧客が発話した声も漏れて収音することはあり得る。

なお、接客者マイク装置は接客用途に設けられることが多いため、本実施形態の接客者マイク装置ＳＭ１，…，ＳＭＬは接客用途に設けられたことを示す情報を予め保持している。このため、図３７に示すように、接客者マイク装置ＳＭ１，…，ＳＭＬの収音により得られた店員の音声データには、プライバシー保護マークは付与されない。

なお、図３に示す接客モニタリングシステム１００Ａでは、レコーダ装置４に格納（記憶）されるモニタリングデータ４ａは、図２に示す接客モニタリングシステム１００と同様に、店員毎のＰＯＳ操作履歴データと接客者マイク装置（例えば接客者マイク装置ＳＭ１）により収音された店員の音声データである。

図４に示す接客モニタリングシステム１００Ｂでは、図２に示す接客モニタリングシステム１００に対し、少なくとも１個のカメラ装置Ｃ１，…，ＣＭと、少なくとも１個のセンサ装置Ｓ１，…，ＳＮとが更に追加された構成であり、その他の構成は図２に示す接客モニタリングシステム１００と同様である。

撮像部の一例としての少なくとも１個のカメラ装置Ｃ１，…、ＣＭ（Ｍは１以上の整数）は、例えば店舗の天井面に固定して設置され、監視カメラ又は防犯カメラとしての機能を有し、ネットワークＮＷに接続された接客評価装置３からの遠隔操作によって、ズーム機能（例えばズームイン処理、ズームアウト処理）や光軸移動機能（パン、チルト）を用いて、それぞれのカメラ装置Ｃ１，…，ＣＭの画角内の映像を撮像する。

それぞれのカメラ装置Ｃ１，…，ＣＭの設置位置や方向は、例えば接客評価装置３のメモリ３２に予め登録されており、パンチルトズームに関する制御情報は、接客評価装置３に随時送信されて、映像を構成する各画像位置と指向方向との位置関係は常に関連付けが行われている。また、各カメラ装置Ｃ１，…，ＣＭは、例えば全方位カメラである場合には、収音領域の全方位の映像を示す映像データ（即ち、全方位映像データ）、又は全方位映像データに所定の歪み補正処理を施してパノラマ変換して生成した平面映像データを、ネットワークＮＷを介して接客評価装置３に送信する。なお、それぞれのカメラ装置Ｃ１，…，ＣＭの画角及び光軸が固定でもよい。

出力部３４は、例えばユーザの入力操作に応じて、カメラ装置Ｃ１，…，ＣＭのうちいずれかのカメラ装置から送信された映像データを表示装置３５に表示させる。

顧客検出部の一例としての少なくとも１個のセンサ装置Ｓ１，…，ＳＮは、店舗に対する顧客の登場又は退場（言い換えると、顧客の入店又は退店）を検出し、検出結果に関する情報をセンサデータとしてレコーダ装置４に送信する。なお、センサ装置Ｓ１，…，ＳＮは、接客モニタリングシステム１００が検出可能な接客イベントの種類や数に応じて、複数設けられてもよい。

なお、図４に示す接客モニタリングシステム１００Ｂ，図５に示す接客モニタリングシステム１００Ｃにおいて、店舗内の既定位置（プリセット位置）を収音するマイク装置と既定位置を撮像するカメラ装置とは予め対応付けされている。このため、プリセット位置の識別情報であるプリセットＩＤとそのプリセット位置を撮像するカメラ装置の識別情報であるカメラＩＤとは予め対応づけられる。

なお、図４に示す接客モニタリングシステム１００Ｂでは、レコーダ装置４に格納（記憶）されるモニタリングデータ４ｂは、図２に示す接客モニタリングシステム１００における店員毎のＰＯＳ操作履歴データとマイク装置（例えばマイク装置ＳＭ１）により収音された店員の音声データ以外に、店員による接客イベントの際に少なくとも１個のカメラ装置Ｃ１，…，ＣＭから送信された映像データと少なくとも１個のセンサ装置Ｓ１，…，ＳＮから送信されたセンサデータとが更に追加された構成である。

図５に示す接客モニタリングシステム１００Ｃでは、図２に示す接客モニタリングシステム１００の少なくとも１個のマイク装置Ｍ１，…，ＭＬが少なくとも１個のマイクアレイ装置ＡＭ１，…，ＡＭＬに置き換わり、接客評価装置３Ｃにおいて指向性制御部３７が追加され、また少なくとも１個のカメラ装置Ｃ１，…，ＣＭと、少なくとも１個のセンサ装置Ｓ１，…，ＳＮとが更に追加された構成であり、その他の構成は図２に示す接客モニタリングシステム１００と同様である。

収音部の一例としての少なくとも１個のマイクアレイ装置ＡＭ１，…，ＡＭＬは、所定の収音領域（例えば店舗のレジカウンター）の所定の設置面（例えば天井面）に設置され、収音領域の店員の音声を収音する。少なくとも１個のマイクアレイ装置ＡＭ１，…，ＡＭＬは、具体的には収音素子の一例としてのマイクロホンを複数含み、複数のマイクロホンを用いて、マイクアレイ装置ＡＭ１，…，ＡＭＬの設置位置を中心として３６０°の方向（全方位）からの音声（例えば店員の音声）を収音する。また、マイクアレイ装置ＡＭ１，…，ＡＭＬは、従業員（店員）の音声のみ収音するものではなく、例えば顧客と従業員（店員）とが会話している際に顧客が発話した声も漏れて収音することはあり得る。

また、マイクアレイ装置ＡＭ１，…，ＡＭＬは、店員の顧客に対する接客状況を評価するための接客用途に設けられてもよいし、店舗の防犯等の監視用途に設けられてもよい（図３７参照）。監視用途のマイクアレイ装置は、店舗内の人目の付きにくい場所、店舗内のレジカウンターから遠く離れた場所等に設置される。

つまり、図３７に示すように、接客用途に設けられたマイクアレイ装置は、接客用途に設けられたことを示す情報を予め保持し、監視用途に設けられたアレイマイク装置は、監視用途に設けられたことを示す情報を予め保持している。監視用途に設けられたマイクアレイ装置の収音により得られた店員の音声データには、アレイマイク装置の処理により、プライバシー保護マークが付与される。しかし、接客用途に設けられたマイクアレイ装置の収音により得られた店員の音声データには、プライバシー保護マークは付与されない。

少なくとも１個のマイクアレイ装置ＡＭ１，…，ＡＭＬは、各々のマイクロホンにより収音された音声を音声データとして含む音声パケット（不図示）を、ネットワークＮＷを介して、レコーダ装置４に送信する。

操作部３１は、表示装置３５に表示された画面上の画像（例えばカメラ装置Ｃ１，…，ＣＭのうちいずれかのカメラ装置により撮像された画像。以下同様。）に対し、ユーザの操作によって指定された画面上の画像の位置を示す座標データを取得して接客発話評価部３３又は出力部３４に出力する。

それぞれのカメラ装置Ｃ１，…，ＣＭは、各カメラ装置が撮像した映像データが表示装置３５の画面上に表示された状態でユーザの指ＦＧ又はスタイラスペンによって任意の位置が指定されると、指定位置の座標データを接客評価装置３から受信し、各カメラ装置から、指定位置に対応する実空間上の位置（以下、単に「音声位置」と略記する）までの距離、方向（水平角及び垂直角を含む。以下同様。）のデータを算定して接客評価装置３に送信する。なお、いずれのカメラ装置における距離、方向のデータ算定処理は公知技術であるため、説明は省略する。

指向性制御部３７は、表示装置３５の画面上に表示された映像からユーザの位置の指定操作に応じて、その映像を撮像したカメラ装置に対応付けられたいずれかのマイクアレイ装置から、指定位置に対応する音声位置に向かう指向方向を示す座標を算定する。指向性制御部３７の指向方向を示す座標の算定方法は公知技術であるため、詳細な説明を省略する。

指向性制御部３７は、例えばカメラ装置Ｃ１の設置位置から音声位置までの距離、方向のデータをカメラ装置Ｃ１から取得し、これらのデータを用いて、例えばマイクアレイ装置ＡＭ１（例えばカメラ装置Ｃ１とマイクアレイ装置ＡＭ１とが予め対応付けられているとする）の設置位置から音声位置に向かう指向方向を示す座標を算定する。例えばカメラ装置Ｃ１の筐体を囲むようにマイクアレイ装置ＡＭ１の筐体とカメラ装置Ｃ１とが一体的に取り付けられている場合には、カメラ装置Ｃ１から音声位置までの方向（水平角，垂直角）は、マイクアレイ装置ＡＭ１から音声位置までの指向方向を示す座標として用いることができる。

なお、カメラ装置Ｃ１の筐体とマイクアレイ装置ＡＭ１の筐体とが離れて取り付けられている場合には、指向性制御部３７は、事前に算定されたキャリブレーションパラメータのデータと、カメラ装置Ｃ１から音声位置までの方向（水平角，垂直角）のデータとを用いて、マイクアレイ装置ＡＭ１から音声位置までの指向方向を示す座標を算定する。なお、キャリブレーションとは、接客評価装置３Ｃの指向性制御部３７が指向方向を示す座標を算定するために必要となる所定のキャリブレーションパラメータを算定又は取得する動作であり、公知技術により予め行われているとする。

指向方向を示す座標は、マイクアレイ装置ＡＭ１から音声位置に向かう指向方向の水平角と、マイクアレイ装置ＡＭ１から音声位置に向かう指向方向の垂直角とにより示される。なお、音声位置は、操作部３１が表示装置３５の画面上に表示された映像においてユーザの指ＦＧ又はスタイラスペンによって指定された指定位置に対応する実際の監視対象又は収音対象となる現場の位置である（図１参照）。

また、指向性制御部３７は、例えばマイクアレイ装置ＡＭ１から送信された音声パケットに含まれる店員の音声データを用いて、算定した座標が示す方向に指向性を形成することで音声データを強調処理し、強調処理後の音声データを生成して出力部３４に渡す。なお、指向性制御部３７における強調処理は、ユーザが選択した映像を撮像したカメラ装置に対応するいずれかのマイクアレイ装置により行われてもよい。

なお、図５に示す接客モニタリングシステム１００Ｃでは、レコーダ装置４に格納（記憶）されるモニタリングデータ４ｂは、図２に示す接客モニタリングシステム１００における店員毎のＰＯＳ操作履歴データとマイク装置（例えばマイク装置Ｍ１）により収音された店員の音声データ以外に、店員による接客イベントの際に少なくとも１個のカメラ装置Ｃ１，…，ＣＭから送信された映像データと少なくとも１個のセンサ装置Ｓ１，…，ＳＮから送信されたセンサデータとが更に追加された構成である。

また、図５ではネットワークＮＷにマイクアレイ装置ＡＭ１，…，ＡＭＬが接続されているが、図２に示すマイク装置Ｍ１，…ＭＬのうち一部又は全部が接続されてもよいし、更に、図３に示す接客者マイク装置ＳＭ１，…ＳＭＬのうち一部又は全部が接続されてもよい。

次に、本実施形態の接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃに共通する全体の動作手順について、図６を参照して説明する。図６は、本実施形態の接客モニタリングシステムの全体の動作手順の一例を説明するフローチャートである。以下の説明では、基本的にどの接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃの構成を用いても同様に動作するが、説明を簡単にするために、例えば図２に示す接客モニタリングシステム１００のシステム構成を用いて説明し、必要に応じて、図３から図５に示す各接客モニタリングシステム１００Ａ，１００Ｂ，１００Ｃの構成を参照して説明する。

図６において、接客評価が終了する場合には（Ｓ１、ＹＥＳ）、図６に示す接客モニタリングシステム１００の動作は終了する。なお、接客評価が終了する場合とは、例えば接客評価装置３にインストールされている接客評価用のアプリケーションの「終了」ボタンが押下された場合や、接客評価装置３がシャットダウンした場合が挙げられるが、これらの場合に限定されない。

一方、接客評価が終了しない場合には（Ｓ１、ＮＯ）、接客評価装置３のモニタリングデータ抽出部３８は、接客発話評価部３３の接客発話評価値算定部３３２が店員の接客発話評価値を算定するために、レコーダ装置４から取得するモニタリングデータ４ａを所定時間間隔（例えば１０〜２０秒程度）毎に切り取る。モニタリングデータ抽出部３８によって切り取られるモニタリングデータの長さは、あらかじめ想定されている接客イベント（例えば会計完了操作）が起きてから又はその前後に、あらかじめ想定されている接客キーワード（例えば「ありがとうございました」）が発話されて終了するまでの全てが入りうるものとする。その際に接客評価装置３のモニタリングデータ抽出部３８は、モニタリングデータ４ａを切り取るための起点となる切り取り開始時刻を、その直前のモニタリングデータの切り取り開始時刻から所定時間（例えば１秒程度）シフト処理して設定する（Ｓ２、図３８参照）。但し、接客評価装置３のモニタリングデータ抽出部３８は、初回のモニタリングデータ４ａの切り取り時にはシフト処理を行わない。図３８は、モニタリングデータ４ａのシフト切り出し処理の一例を示す説明図である。ステップＳ２の処理は、ステップＳ３において取得されるモニタリングデータ（例えば図３８に示すモニタリングデータ４ａ２）の所定時間間隔の境界時点に接客イベントがあると、切り取られたモニタリングデータ４ａ２の中から接客キーワードの検出が困難になってしまうことを回避するために設けられる。ステップＳ２の処理を行うことにより生成される複数のモニタリングデータ４ａ１，４ａ２，４ａ３，…の中には、あらかじめ想定されている接客キーワードの音声データを、途中でとぎらせることなく、最初から最後まで全て記録されているモニタリングデータが含まれることになる。

例えば図３８に示すように、レコーダ装置４に記憶されるモニタリングデータ４ａに、時刻ｔ１に会計完了操作が発生したことを示すＰＯＳ操作履歴データと、時刻ｔ２から時刻ｔ３にわたって店員が「ありがとうございました」と発話した音声データとが記憶されている場合を想定する。この場合、ステップＳ２においてモニタリングデータ抽出部３８によって１回目に切り取られたモニタリングデータ４ａ１には、会計完了操作に対応する店員の音声データが含まれていないため、接客イベントの検出ができず、正確な接客評価が不可である。次回のステップＳ２では、接客評価装置３のモニタリングデータ抽出部３８は、モニタリングデータ４ａを切り取るための起点となる切り取り開始時刻を、モニタリングデータ４ａ１の切り取り開始時刻から所定時間ｔｓシフト処理したモニタリングデータ４ａ２を抽出する。切り取りにより取得された所定時間間隔分のモニタリングデータ４ａｋ（ｋ：１以上の整数）のデータサイズは同一である。但し、モニタリングデータ４ａ２には店員の「ありがとうございました」という発話の全ての音声データが記憶されていないため、接客イベントの検出ができず、同様に正確な接客評価ができない。そして、次回のステップＳ２では、接客評価装置３のモニタリングデータ抽出部３８は、モニタリングデータ４ａを切り取るための起点となる切り取り開始時刻を、モニタリングデータ４ａ２の切り取り開始時刻から所定時間ｔｓシフト処理したモニタリングデータ４ａ３を抽出する。モニタリングデータ４ａ３には、店員の「ありがとうございました」という発話の全ての音声データが記憶されているので、接客評価装置３は、接客イベントの検出ができる。

このように、接客評価装置３は、モニタリングデータ抽出部３８により抽出された常に同じ長さ（つまり、所定時間ｔｓ）であるモニタリングデータ４ａ１，４ａ２，４ａ３，…のそれぞれにおいて、接客キーワードが含まれているか否かを、例えば音声認識により検出を試みるだけでよい。音声の発話開始時刻及び発話終了時刻の検出や音声認識すべき範囲の設定などの処理は不要となる。従って、あらかじめ想定されている接客キーワードを確実に検出することができる。なお、モニタリングデータの切り取り開始時刻のシフト処理のバリエーションについては図３９〜図４１を参照して後述する。また、モニタリングデータ４ｂの切り取りの方法についても、モニタリングデータ４ａの切り取りの方法と同様であり、説明を省略する。

ステップＳ２の後、接客評価装置３のモニタリングデータ抽出部３８は、ステップＳ２において設定された開始時刻から所定時間間隔（例えば１０秒程度）毎のモニタリングデータ４ａをレコーダ装置４から取得し（Ｓ３）、取得したモニタリングデータ４ａ（具体的には、モニタリングデータ４ａに含まれる店員のＰＯＳ操作履歴データ及び音声データ）とモニタリングデータ４ａの開始時刻及び終了時刻とを対応付けてメモリ３２に保持する（Ｓ４）。なお、終了時刻は、開始時刻から所定時間間隔の時間を加算した時刻である。

ステップＳ４の後、接客評価装置３の接客発話評価部３３において、イベント検出可否判定処理が行われ（Ｓ５）、イベント検出可否フラグが「可」に設定されていれば（Ｓ６、ＹＥＳ）、接客評価装置３の出力部３４は、ステップＳ４においてメモリ３２に保持した所定時間間隔毎のモニタリングデータ４ａ（言い換えると、レコーダ装置４から取得した所定時間間隔毎のモニタリングデータ４ａ）を接客発話評価部３３の各部（つまり、接客イベント検出部３３１，接客発話評価値算定部３３２）に渡す（Ｓ７）。ステップＳ７の後、接客評価装置３の接客発話評価部３３の接客イベント検出部３３１において、接客イベント検出処理が行われる（Ｓ８）。

一方、イベント検出可否フラグが「否」に設定されている場合（Ｓ６、ＮＯ）又はステップＳ８の後、接客モニタリングシステム１００の動作はステップＳ１に戻る。

図７は、イベント検出可否判定処理の詳細な動作手順の一例を説明するフローチャートである。図７において、接客評価装置３の接客発話評価部３３は、ステップＳ４においてメモリ３２に保持した所定時間間隔毎のモニタリングデータ４ａの所定領域（例えばヘッダ領域、ペイロード領域の一部又はその他のオプション領域）に、顧客のプライバシー保護を示す所定情報の一例としてのプライバシー保護マークが含まれていると判定すると（Ｓ５−１、ＹＥＳ）、接客イベントの検出処理の有無を示すイベント検出可否フラグを「否」（つまり、接客イベント処理は行わずに省略すること）に設定する（Ｓ５−２）。ステップＳ５−２の後、接客モニタリングシステム１００の動作はステップＳ６に進む。

一方、接客発話評価部３３は、ステップＳ４においてメモリ３２に保持した所定時間間隔毎のモニタリングデータ４ａの所定領域（例えばヘッダ領域、ペイロード領域の一部又はその他のオプション領域）に、顧客のプライバシー保護を示す所定情報の一例としてのプライバシー保護マークが含まれていないと判定すると（Ｓ５−１、ＮＯ）、接客評価装置３の接客発話評価部３３は、店舗に入店した顧客の音声がモニタリングデータ４ａに含まれていないかを判定する（Ｓ５−３）。

例えば、接客発話評価部３３は、モニタリングデータ４ａに含まれる音声データに、顧客が店舗において発話する可能性が高いキーワードが含まれている（より具体的には、例えばモニタリングデータ４ａに含まれる音声データに対して顧客が店舗において発話する可能性が高いキーワードのワードスポッティング処理結果が所定のレベル以上）と判定した場合には、顧客の音声がモニタリングデータ４ａに含まれていると判定する（Ｓ５−４、ＹＥＳ）。

又は、接客発話評価部３３は、店員に個々に装着される接客者マイク装置において、予め登録された店員以外の音声が収音されている（より具体的には、例えば収音された音声データに対して予め登録された店員の声紋認識結果が所定のレベル以下）と判定した場合には、顧客の音声がモニタリングデータ４ａに含まれていると判定してもよい（Ｓ５−４、ＹＥＳ）。

又は、接客評価装置３Ｃの接客発話評価部３３は、モニタリングデータ４ｂに含まれる映像データに対して画像処理することで、予め登録された店員の顔画像以外の顔を検出し、更にその検出された顔の位置から発せられた音声、或いはその検出された顔の位置に指向性を形成し強調処理された音声に人の音声が含まれていると判定した場合には、顧客の音声がモニタリングデータ４ａに含まれていると判定してもよい（Ｓ５−４、ＹＥＳ）。

接客評価装置３（又は接客評価装置３Ｃ）の接客発話評価部３３は、顧客音声の有無判定処理結果として顧客の音声が含まれていると判定した場合には（Ｓ５−４、ＹＥＳ）、イベント検出可否フラグを「否」に設定する（Ｓ５−５）。

一方、接客評価装置３（又は接客評価装置３Ｃ）の接客発話評価部３３は、顧客音声の有無判定処理結果として顧客の音声が含まれていないと判定した場合には（Ｓ５−４、ＮＯ）、イベント検出可否フラグを「可」に設定する（Ｓ５−６）。ステップＳ５−５の後、及びステップＳ５−６の後、接客モニタリングシステム１００の動作はステップＳ６に進む。

次に、図６に示すステップＳ８の接客イベント検出処理を説明する前に、図２から図５に示す接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃに対応した所定の接客イベント毎の判定条件を含む接客イベントデータの一例としての接客イベント情報ＤＢの例について、図１１から図１４を参照して説明する。図１１から図１４に示す各接客イベント情報ＤＢは、管理サーバ２の管理ＤＢ２ａに格納されている。

図１１は、図２に示す接客モニタリングシステム１００に対応した接客イベント情報ＤＢの一例を示す図である。図１２は、図３に示す接客モニタリングシステム１００Ａに対応した接客イベント情報ＤＢの一例を示す図である。図１３は、図４に示す接客モニタリングシステム１００Ｂに対応した接客イベント情報ＤＢの一例を示す図である。図１４は、図５に示す接客モニタリングシステム１００Ｃに対応した接客イベント情報ＤＢの一例を示す図である。図１２から図１４の説明では、図１１の説明と重複する内容の説明は省略し、異なる内容について説明する。

図１１に示す接客イベント情報ＤＢは、接客イベントＩＤと、接客イベント名と、接客イベント判定条件（つまり、モニタリングデータ４ａに接客イベントが検出されたか否かを判定するための条件）と、接客イベント出力情報（つまり、接客イベントが検出されたときに出力する情報）との各項目に対応するデータの種類、種別が規定される。

図１１に示す接客イベント情報ＤＢの接客イベント判定条件では、接客イベントの検出トリガがＰＯＳ端末５に対する所定の動作（ＰＯＳ動作）が行われたことであると規定されている。

図１１に示す接客イベント出力情報では、プリセットＩＤと接客者ＩＤと接客イベントＩＤとが出力されると規定されている。

図１２に示す接客イベント情報ＤＢの接客イベント判定条件では、接客イベントの検出トリガが接客イベント毎に異なり、具体的にはＰＯＳ端末５に対する所定の動作（ＰＯＳ動作）が行われたこと、音声データ中に特定のキーワードが含まれることがそれぞれ規定されている。

図１２に示す接客イベント情報ＤＢの接客イベント出力情報では、接客イベント毎に異なり、具体的にはプリセットＩＤ（店舗内の既定位置の識別情報。以下同様）と接客者ＩＤ（店員の識別情報。以下同様）と接客イベントＩＤとの組み合わせと、単に接客者ＩＤ（店員が装着している接客者マイク装置の識別情報。以下同様）のみが規定されている。

図１３に示す接客イベント情報ＤＢは、接客イベントＩＤと、全接客者対象イベントであるか否かを示す項目と、接客イベント名と、接客イベント判定条件（つまり、モニタリングデータ４ａに接客イベントが検出されたか否かを判定するための条件）と、接客イベント出力情報（つまり、接客イベントが検出されたときに出力する情報）との各項目に対応するデータの種類、種別が規定される。

図１３に示す接客イベント情報ＤＢの接客イベント判定条件では、接客イベントの検出トリガが接客イベント毎に異なり、具体的には店舗入り口付近に設置されたセンサ装置Ｓ１（例えば自動ドア）が開閉動作したことを検出したこと、所定のプリセットＩＤに対応する既定位置（プリセット位置）に店員が滞在して更に所定の来客者位置プリセットＩＤに対応する位置（即ち、接客イベント時に顧客（来客者）がいる可能性が高い位置）に顧客が所定時間（例えば５秒程度）滞在したこと、ＰＯＳ端末５に対する所定の動作（ＰＯＳ動作）が行われたことがそれぞれ規定されている。

図１３に示す接客イベント情報ＤＢの接客イベント出力情報では、接客イベント毎に異なり、具体的にはマイクＩＤ（後述参照）とカメラＩＤ（後述参照）と接客者ＩＤと接客イベントＩＤとの組み合わせと、プリセットＩＤと接客者ＩＤと接客イベントＩＤとの組み合わせとがそれぞれ規定されている。

図１４に示す接客イベント情報ＤＢの接客イベント出力情報では、接客イベント毎に異なり、具体的には接客者位置座標とカメラＩＤと接客者ＩＤと接客イベントＩＤとの組み合わせと、プリセットＩＤと接客者ＩＤと接客イベントＩＤとの組み合わせとがそれぞれ規定されている。接客者位置座標は、指向性制御部３７が各店員の音声データを収音したマイクアレイ装置から各店員に向かう方向に音声の指向性を形成する際に用いられる。

次に、図１１から図１４に示す接客イベント情報ＤＢの具体例を用いた接客イベント検出処理（図６に示すステップＳ８参照）の詳細について、図８及び図９を参照して説明する。図８は、接客イベント検出処理の詳細な動作手順の一例を説明するフローチャートである。図９は、接客イベント情報処理の詳細な動作手順の一例を説明するフローチャートである。

図８及び図９の説明では、説明を具体的かつ分かりやすくするために、図２から図５に示す接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃの各システム構成に対応する図１１から図１４に示す接客イベント情報ＤＢの各レコードの内容を参照して具体的に説明する。また、図１１から図１４に示す接客イベント情報ＤＢにおいて重複する接客イベントＩＤのレコードが規定されている場合には、重複する説明は省略し、異なる内容について説明する。

（図２に示す接客モニタリングシステム１００における接客イベント検出処理）
先ず、接客イベント検出部３３１は、開始時刻及び終了時刻が定められた所定時間間隔（例えば１０秒程度）毎のモニタリングデータ４ａを接客発話評価部３３から受け取り（Ｓ８−１）、管理サーバ２の管理ＤＢ２ａに格納されている接客イベント情報ＤＢ（図１１参照）を読み込む（Ｓ８−２）。

接客イベント検出部３３１は、未取得である接客イベント情報ＤＢの１行目のレコード（接客イベントＩＤ「ＥＩＤ１」、接客イベント名「会計完了挨拶」）を取得し（Ｓ８−３）、接客イベント情報処理を開始する。接客イベント検出部３３１は、モニタリングデータ４ａから照合対象データとしてのＰＯＳ操作履歴データを取得し（Ｓ１１）、ＰＯＳ操作履歴データから会計完了操作の接客イベント判定条件の検出トリガ（即ち、ＰＯＳ端末５に対する所定の動作（操作）があったか否か）を満たすか否かを照合する（Ｓ１２）。

ＰＯＳ操作履歴データから会計完了操作の接客イベント判定条件の検出トリガを満たさない場合には（Ｓ１３、ＮＯ）、図９に示す接客イベント情報処理は終了し、接客イベント検出部３３１の処理はステップＳ８−５に進む。

一方、ＰＯＳ操作履歴データから会計完了操作の接客イベント判定条件の検出トリガを満たす場合には（Ｓ１３、ＹＥＳ）、接客イベント検出部３３１は、図１１に示す接客イベント情報ＤＢの接客イベント出力情報（具体的には、該当するプリセットＩＤ（１〜ＰＮのうち該当するもの）、接客者ＩＤ（店員の識別情報：１〜ＥＮのうち該当するもの）、接客イベントＩＤ）を接客状況ＤＢ（図１０参照）に格納（保持）する（Ｓ１４）。

なお、検出された接客イベントにおいて、該当するＰＯＳ端末５を操作した接客者（店員）の識別情報（接客者ＩＤ：１〜ＥＮ）は、ＰＯＳ端末５の操作開始時に例えば名札に印字されたバーコードをバーコードリーダ（不図示）によって読み取られた接客者ＩＤが用いられる。

図２に示す接客モニタリングシステム１００では、マイク装置Ｍ１，…，ＭＬの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図２に示す接客モニタリングシステム１００ではマイクアレイ装置ＡＭ１，…，ＡＭＬにより音声が収音されていないため（Ｓ１５、ＮＯ）、指向性の形成処理が不可であり、接客イベント検出部３３１は、モニタリングデータ４ａから、検出された接客イベントに対応する店員の音声データを取得し（Ｓ１６）、接客発話評価値算定部３３２に音声データと接客イベントＩＤとを入力する（Ｓ１８）。検出された接客イベントに対応する店員の音声データは、例えば「会計完了操作」の接客イベントが検出されたＰＯＳ端末５に対応付けられるマイク装置により収音された音声データである。

接客発話評価値算定部３３２は、図１５に示す接客発話評価処理を実行し（Ｓ１９）、接客発話評価出力値を接客状況ＤＢに格納（保持）する（Ｓ２０）。これにより、図９に示す接客イベント情報処理が終了する。図８において、ステップＳ８−４の後、接客イベント情報ＤＢの全てのレコードが取得されていない場合には（Ｓ８−５、ＮＯ）、接客イベント検出部３３１の処理はステップＳ８−３に戻る。一方、接客イベント情報ＤＢの全てのレコードが取得された場合には（Ｓ８−５、ＹＥＳ）、接客イベント検出部３３１の処理は終了する。

（図３に示す接客モニタリングシステム１００Ａにおける接客イベント検出処理）
ステップＳ８−２の後、接客イベント検出部３３１は、未取得である接客イベント情報ＤＢの２行目のレコード（接客イベントＩＤ「ＥＩＤ２」、接客イベント名「入店挨拶」）を取得し（Ｓ８−３）、接客イベント情報処理を開始する。接客イベント検出部３３１は、モニタリングデータ４ａから照合対象データとしての接客者マイク装置において収音された全ての音声データを取得し（Ｓ１１）、全ての音声データを音声認識処理し、その結果に特定キーワード「いらっしゃいませ」が含まれるか否かを照合する（Ｓ１２）。

全ての音声データの音声認識処理結果に特定キーワード「いらっしゃいませ」が含まれない場合には（Ｓ１３、ＮＯ）、図９に示す接客イベント情報処理は終了し、接客イベント検出部３３１の処理はステップＳ８−５に戻る。

一方、音声データのいずれかの音声認識処理結果に特定キーワード「いらっしゃいませ」が含まれる場合には（Ｓ１３、ＹＥＳ）、接客イベント検出部３３１は、図１２に示す接客イベント情報ＤＢの接客イベント出力情報（具体的には、接客者ＩＤ（店員の識別情報：１〜ＥＮのうち該当するもの）、接客イベントＩＤ）を接客状況ＤＢ（図１０参照）に格納（保持）する（Ｓ１４）。

図３に示す接客モニタリングシステム１００Ａでは、接客者マイク装置ＳＭ１，…，ＳＭＬの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図３に示す接客モニタリングシステム１００Ａではマイクアレイ装置ＡＭ１，…，ＡＭＬにより音声が収音されていないため（Ｓ１５、ＮＯ）、指向性の形成処理が不可であり、接客イベント検出部３３１は、モニタリングデータ４ａから、検出された接客イベントに対応する店員の音声データを取得し（Ｓ１６）、接客発話評価値算定部３３２に音声データと接客イベントＩＤとを入力する（Ｓ１８）。検出された接客イベントに対応する店員の音声データとは、接客イベント検出部３３１における音声認識処理結果に特定キーワード「いらっしゃいませ」を含む音声データである。

接客発話評価値算定部３３２は、図１５に示す接客発話評価処理を実行し（Ｓ１９）、接客発話評価出力値を接客状況ＤＢに格納（保持）する（Ｓ２０）。これにより、図９に示す接客イベント情報処理が終了する。図８において、ステップＳ８−４の後、接客イベント情報ＤＢの全てのレコードが取得されていない場合には（Ｓ８−５、ＮＯ）、接客イベント検出部３３１の処理はステップＳ８−３に戻る。一方、接客イベント情報ＤＢの全てのレコードが取得された場合には（Ｓ８−５、ＹＥＳ）、接客イベント検出部３３１の処理は終了する。

（図４に示す接客モニタリングシステム１００Ｂにおける接客イベント検出処理）
ステップＳ８−２の後、接客イベント検出部３３１は、未取得である接客イベント情報ＤＢの１行目のレコード（接客イベントＩＤ「ＥＩＤ１」、接客イベント名「入退店挨拶」）を取得し（Ｓ８−３）、接客イベント情報処理を開始する。なお、この「入退店挨拶」の接客イベントは、全接客者（全店員）を対象とする接客イベントであるため、接客イベント出力情報として、全店員を把握可能なマイクＩＤ及びカメラＩＤが出力され、以下同様である。接客イベント検出部３３１は、モニタリングデータ４ｂから照合対象データとしての映像データとセンサデータに含まれる検出結果（自動ドア開閉履歴データ）とを取得し（Ｓ１１）、自動ドア開閉履歴データに自動ドアの開閉動作があるか否かを照合する（Ｓ１２）。

自動ドア開閉履歴データが自動ドアの開閉動作を含まない場合には（Ｓ１３、ＮＯ）、図９に示す接客イベント情報処理は終了し、接客イベント検出部３３１の処理はステップＳ８−５に戻る。

一方、自動ドア開閉履歴データが自動ドアの開閉動作を含む場合には（Ｓ１３、ＹＥＳ）、接客イベント検出部３３１は、図１３に示す接客イベント情報ＤＢの接客イベント出力情報（具体的には、マイクＩＤ（マイク装置の識別情報：１〜ＭＮのうち該当するもの）、カメラＩＤ（カメラ装置の識別情報：１〜ＣＮのうち該当するもの）、接客者ＩＤ（店員の識別情報：１〜ＥＮのうち該当するもの）、接客イベントＩＤ）を接客状況ＤＢ（図１０参照）に格納（保持）する（Ｓ１４）。カメラＩＤは、接客イベント検出部３３１が所定の映像データを画像処理することで、自動ドアの開閉動作時に各店員が存在した位置を最も近くで撮像するカメラ装置の識別情報として出力される。

図４に示す接客モニタリングシステム１００Ｂでは、マイク装置Ｍ１・・・ＭＬの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図４に示す接客モニタリングシステム１００Ｂではマイクアレイ装置ＡＭ１，…，ＡＭＬにより音声が収音されていないため（Ｓ１５、ＮＯ）、指向性の形成処理が不可であり、接客イベント検出部３３１は、モニタリングデータ４ｂから、検出された接客イベントに対応する各店員の音声データを取得し（Ｓ１６）、接客発話評価値算定部３３２に音声データと接客イベントＩＤとを入力する（Ｓ１８）。

検出された接客イベントに対応する各店員の音声データは、接客イベント検出部３３１が所定の映像データを画像処理することで、自動ドアの開閉動作時に各店員が存在した位置に最も近いと判定されたマイク装置により収音された音声データである。マイク装置からは、その識別情報であるマイクＩＤが出力される。

なお、所定の映像データとは、例えば店舗内の全域が分かるための必要最低限な１個以上のカメラ装置により撮像された映像データ又は複数の映像データの組み合わせであり、該当するカメラ装置は固定でもよいし、ユーザの入力操作に応じて適宜変更されてもよく、以下同様である。

接客発話評価値算定部３３２は、図１５に示す接客発話評価処理を実行し（Ｓ１９）、接客発話評価出力値を接客状況ＤＢに格納（保持）する（Ｓ２０）。これにより、図９に示す接客イベント情報処理が終了する。図８において、ステップＳ８−４の後、接客イベント情報ＤＢの全てのレコードが取得されていない場合には（Ｓ８−５、ＮＯ）、接客イベント検出部３３１の処理はステップＳ８−３に戻る。

そこで、接客イベント検出部３３１は、未取得である接客イベント情報ＤＢの２行目のレコード（接客イベントＩＤ「ＥＩＤ２」、接客イベント名「会計開始挨拶」）を取得し（Ｓ８−３）、接客イベント情報処理を開始する。接客イベント検出部３３１は、モニタリングデータ４ｂから照合対象データとしての上述した所定の映像データを取得し（Ｓ１１）、映像データを画像処理することで、店員が「会計開始挨拶」を行うための既定位置（例えばレジカウンターの操作立ち位置）に存在し、かつ顧客（来店者）が所定の位置（例えばレジカウンターの前又は店舗内に敷かれた所定の待機位置）に所定期間（例えば５秒程度）以上滞在したか否かを照合する（Ｓ１２）。顧客が所定期間以上滞在した否かを判定することで、顧客がレジカウンターを素通りした場合を除外することが可能となる。

映像データの画像処理結果として、店員が「会計開始挨拶」を行うための既定位置（例えばレジカウンターの操作立ち位置）に存在しない、又は顧客（来店者）が所定の位置（例えばレジカウンターの前又は店舗内に敷かれた所定の待機位置）に所定期間（例えば５秒程度）以上滞在していないと判定された場合には（Ｓ１３、ＮＯ）、図９に示す接客イベント情報処理は終了し、接客イベント検出部３３１の処理はステップＳ８−５に戻る。

一方、映像データの画像処理結果として、店員が「会計開始挨拶」を行うための既定位置（例えばレジカウンターの操作立ち位置）に存在し、かつ顧客（来店者）が所定の位置（例えばレジカウンターの前又は店舗内に敷かれた所定の待機位置）に所定期間（例えば５秒程度）以上滞在したと判定された場合には（Ｓ１３、ＹＥＳ）、接客イベント検出部３３１は、図１３に示す接客イベント情報ＤＢの接客イベント出力情報（具体的には、プリセットＩＤ（既定位置の識別情報：１〜ＰＮのうち該当するもの）、接客者ＩＤ（店員の識別情報：１〜ＥＮのうち該当するもの）、接客イベントＩＤ）を接客状況ＤＢ（図１０参照）に格納（保持）する（Ｓ１４）。

図４に示す接客モニタリングシステム１００Ｂでは、マイク装置Ｍ１・・・ＭＬの指向性が製造時から予め決まっているものであり、その指向性を変更することができない。すなわち、図４に示す接客モニタリングシステム１００Ｂではマイクアレイ装置ＡＭ１，…，ＡＭＬにより音声が収音されていないため（Ｓ１５、ＮＯ）、指向性の形成処理が不可であり、接客イベント検出部３３１は、モニタリングデータ４ｂから、検出された接客イベントに対応する店員の音声データを取得し（Ｓ１６）、接客発話評価値算定部３３２に音声データと接客イベントＩＤとを入力する（Ｓ１８）。検出された接客イベントに対応する店員の音声データとは、既定位置（プリセット位置）と対応付けられたマイク装置により収音された店員の音声データである。

接客発話評価値算定部３３２は、図１５に示す接客発話評価処理を実行し（Ｓ１９）、接客発話評価出力値を接客状況ＤＢに格納（保持）する（Ｓ２０）。これにより、図９に示す接客イベント情報処理が終了する。図８において、ステップＳ８−４の後、接客イベント情報ＤＢの全てのレコードが取得されていない場合には（Ｓ８−５、ＮＯ）、接客イベント検出部３３１の処理はステップＳ８−３に戻る。一方、接客イベント情報ＤＢの全てのレコードが取得された場合には（Ｓ８−５、ＹＥＳ）、接客イベント検出部３３１の処理は終了する。

（図５に示す接客モニタリングシステム１００Ｃにおける接客イベント検出処理）
ステップＳ８−２の後、接客イベント検出部３３１は、未取得である接客イベント情報ＤＢの１行目のレコード（接客イベントＩＤ「ＥＩＤ１」、接客イベント名「入退店挨拶」）を取得し（Ｓ８−３）、接客イベント情報処理を開始する。接客イベント検出部３３１は、モニタリングデータ４ｂから照合対象データとしての映像データとセンサデータに含まれる検出結果（自動ドア開閉履歴データ）とを取得し（Ｓ１１）、自動ドア開閉履歴データに自動ドアの開閉動作があるか否かを照合する（Ｓ１２）。

自動ドア開閉履歴データが自動ドアの開閉動作を含まない場合には（Ｓ１３、ＮＯ）、図９に示す接客イベント情報処理は終了し、接客イベント検出部３３１の処理はステップＳ８−５に戻る。

一方、自動ドア開閉履歴データが自動ドアの開閉動作を含む場合には（Ｓ１３、ＹＥＳ）、接客イベント検出部３３１は、図１３に示す接客イベント情報ＤＢの接客イベント出力情報（具体的には、各店員の接客者位置座標、カメラＩＤ（カメラ装置の識別情報：１〜ＣＮのうち該当するもの）、接客者ＩＤ（店員の識別情報：１〜ＥＮのうち該当するもの）、接客イベントＩＤ）を接客状況ＤＢ（図１０参照）に格納（保持）する（Ｓ１４）。

接客者位置座標は、接客イベント検出部３３１が所定の映像データを画像処理することで得られ、表示装置３５の画面上に表示された映像データにおいて各店員が存在する位置の座標として出力される。また、カメラＩＤは、接客イベント検出部３３１が所定の映像データを画像処理することで、自動ドアの開閉動作時に各店員が存在した位置を最も近くで撮像するカメラ装置の識別情報として出力される。マイクＩＤは、カメラＩＤと予め対応付けられているので、カメラＩＤが選択された時点で選択されることになって出力される。

図５に示す接客モニタリングシステム１００Ｃではマイクアレイ装置ＡＭ１，…，ＡＭＬにより収音され（Ｓ１５、ＹＥＳ）、その収音により得られた音声データによる指向性の形成処理が可能のため、接客イベント検出部３３１は、検出された接客イベントに対応する各店員の接客者位置座標のデータと、モニタリングデータ４ｂに含まれる接客イベントに対応する各店員の音声データとを指向性制御部３７に入力し、指向性制御部３７において各店員の音声データに対して各店員に最も近いマイクアレイ装置から各店員に向かう方向に指向性が形成された後の音声データを取得する（Ｓ１７）。接客イベント検出部３３１は、接客発話評価値算定部３３２に、各店員の接客者位置座標（例えば表示装置３５の画面上に表示された店員の存在する位置の座標）のデータとステップＳ１７において取得した音声データと接客イベントＩＤとを入力する（Ｓ１８）。

接客発話評価値算定部３３２は、図１５に示す接客発話評価処理を実行し（Ｓ１９）、接客発話評価出力値を接客状況ＤＢに格納（保持）する（Ｓ２０）。これにより、図９に示す接客イベント情報処理が終了する。図８において、ステップＳ８−４の後、接客イベント情報ＤＢの全てのレコードが取得されていない場合には（Ｓ８−５、ＮＯ）、接客イベント検出部３３１の処理はステップＳ８−３に戻る。

次に、図８に示す接客イベント検出処理の結果として出力される接客イベント出力情報（図１１から図１４参照）が含まれる接客状況ＤＢの一例について、図１０を参照して説明する。図１０は、接客状況ＤＢの一例を示す図である。

図１０に示す接客状況ＤＢは、接客状況データＩＤと、接客発話評価値と、イベント開始時刻と、イベント終了時刻と、接客者ＩＤと、接客イベントＩＤと、接客者位置（プリセット）と、接客者位置（プリセット外）との各項目に対応するデータが規定される。

接客状況データＩＤ「ＩＤ１」では、接客発話評価値はＶ１１…Ｖ１ｎであり、接客者位置は接客者（店員）が既定位置（プリセット位置）ではない位置に存在することが検出されたためにその店員を撮像したカメラ装置のカメラＩＤと、表示装置３５の画面上に表示された映像データ上の店員の位置を示す座標（画面上座標位置）とにより構成される。なお、カメラＩＤ「Ｃ１」のカメラ装置は全方位カメラ装置でもよいし、固定の画角を有するカメラ装置、又はパンチルトズーム機能を有するＰＴＺカメラ装置でもよい。

また、接客発話評価値Ｖ１１の左側の添え字である「１」は接客イベントＩＤ「ＥＩＤ１」に対応しており、接客発話評価値Ｖ１１の右側の添え字である「１」は所定時間間隔毎に切り取られるモニタリングデータ４ａ，４ｂの中で同一の接客イベントＩＤの接客イベントが検出された場合の接客イベントの識別情報を示す。ｎは１以上の整数であり、例えば１０秒程度のモニタリングデータ４ａ，４ｂの中で同一の接客イベントＩＤの接客イベントが複数検出された場合には、ｎは２以上の整数となる。

接客状況データＩＤ「ＩＤ２」では、接客発話評価値はＶ２１…Ｖ２ｍであり、上述したｎと同様にｍは１以上の整数である。接客者位置は接客者（店員）が既定位置（プリセット位置）に存在することが検出されたためにその既定位置（プリセット位置）を示すプリセットＩＤにより構成される。

従って、図２から図５に示す接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、このように図１０に示す接客状況ＤＢを有することで、該当する接客イベントの開始時刻から終了時刻までの音声データ及び映像データを接客評価装置３において出力（再生）することができ、店舗の責任者（例えば店長）が接客イベント時の店員の接客状況を音声及び映像で確認しながら注意深く観察、レビューすることができる。なお、音声データはレコーダ装置４に格納（記憶）されているので、接客評価装置３は、接客イベントＩＤに対応する接客イベントの検出時に収音された音声データをレコーダ装置４から取得した上で出力（再生）する。

次に、図９に示す接客発話評価処理（ステップＳ１９参照）の動作手順の詳細について、図１５を参照して説明する。図１５は、接客発話評価処理の動作手順の一例を説明するフローチャートである。

図１５において、接客発話評価値算定部３３２は、ステップＳ１８において接客イベント検出部３３１から渡された音声データと接客イベントＩＤとを取得し（Ｓ２１）、騒音レベル判定処理を行い（Ｓ２２）、接客キーワードの発話判定処理を行う（Ｓ２３）。ステップＳ２３の後、接客発話評価値算定部３３２は、検出状態（後述参照）のフラグが「１」であるか否かを判定する（Ｓ２４）。検出状態のフラグが「１」である場合には（Ｓ２４、ＹＥＳ）、接客発話評価値算定部３３２は、スコアリング処理を行う（Ｓ２５）。一方、検出状態のフラグが「１」ではない場合には（Ｓ２４、ＮＯ）、接客発話評価値算定部３３２は、接客発話評価値をゼロ点に設定するか所定点数を減点する（Ｓ２６）。

ステップＳ２５又はステップＳ２６の後、接客発話評価値算定部３３２は、スコアリングデータとして、検出したキーワードＩＤ（後述参照）と接客発話評価値とを接客発話評価部３３に出力する（Ｓ２７）。

次に、図１５に示す騒音レベル判定処理（ステップＳ２２参照）の動作手順の詳細について、図１６を参照して説明する。図１６は、騒音レベル判定処理の動作手順の一例を説明するフローチャートである。

図１６において、接客発話評価値算定部３３２は、接客評価装置３が取得した収音領域（例えば店舗）の周囲の騒音レベルが所定値ｘ［ｄＢ］以下であるか否かを判定する（Ｓ２２−１）。騒音レベルは、例えばマイク装置、接客者マイク装置又はマイクアレイ装置のいずれかにより収音されて接客評価装置３に送信される。接客発話評価値算定部３３２は、騒音レベルが所定値ｘ［ｄＢ］以下であると判定した場合には（Ｓ２２−１、ＹＥＳ）、発話判定閾値（後述参照）をα１に決定する（Ｓ２２−２）。

一方、接客発話評価値算定部３３２は、騒音レベルが所定値ｘ［ｄＢ］を超える場合には（Ｓ２２−１、ＮＯ）、騒音レベルが所定値ｙ（＞ｘ）［ｄＢ］以下であるか否かを判定する（Ｓ２２−３）。接客発話評価値算定部３３２は、騒音レベルが所定値ｙ［ｄＢ］以下であると判定した場合には（Ｓ２２−３、ＹＥＳ）、発話判定閾値（後述参照）をα２に決定する（Ｓ２２−４）。一方、接客発話評価値算定部３３２は、騒音レベルが所定値ｙ［ｄＢ］を超えると判定した場合には（Ｓ２２−３、ＮＯ）、発話判定閾値（後述参照）をα３に決定する（Ｓ２２−５）。

次に、図１５に示す接客キーワードの発話判定処理（ステップＳ２３参照）の動作手順の詳細について、図１７を参照して説明する。図１７は、接客キーワードの発話判定処理の動作手順の一例を説明するフローチャートである。

図１７において、接客発話評価値算定部３３２は、検出状態のフラグを「０」に設定する（Ｓ２３−１）。検出状態のフラグとは、接客イベントにおいて店員が発話する可能性が高い又は発話するべき模範的な発話想定キーワード（図２２（Ａ）参照）が発話された状態を示す情報である。

接客発話評価値算定部３３２は、ステップＳ２１において取得した音声データを接客発話評価値算定部３３２の音声認識エンジン（不図示）に入力し（Ｓ２３−２）、更に、接客イベントＩＤに対応する全ての発話想定キーワードとそれぞれの発話想定キーワードを識別するキーワードＩＤとの組を管理サーバ２の管理ＤＢ２ａの接客発話評価ＤＢから取得する（Ｓ２３−３）。

接客発話評価値算定部３３２は、音声認識エンジンによる音声認識結果に、ステップＳ２３−３で取得された発話想定キーワードが含まれるか否かを判定する（Ｓ２３−４）。音声認識エンジンによる音声認識結果に発話想定キーワードが含まれないと判定された場合には（Ｓ２３−４、ＮＯ）、図１７に示す接客発話評価値算定部３３２の処理は終了する。

一方、接客発話評価値算定部３３２は、音声認識エンジンによる音声認識結果に、ステップＳ２３−３で取得された発話想定キーワードが含まれると判定した場合には（Ｓ２３−４、ＹＥＳ）、音声認識処理結果の評価値がステップＳ２２−２、ステップＳ２２−４又はステップＳ２２−５において決定された発話判定閾値（α１，α２，α３のうちいずれか）以上であるか否かを判定する（Ｓ２３−５）。音声認識処理結果の評価値が発話判定閾値（α１，α２，α３のうちいずれか）未満であると判定された場合には（Ｓ２３−５、ＮＯ）、図１７に示す接客発話評価値算定部３３２の処理は終了する。

一方、接客発話評価値算定部３３２は、音声認識処理結果の評価値が発話判定閾値（α１，α２，α３のうちいずれか）以上であると判定した場合には（Ｓ２３−５、ＹＥＳ）、検出状態のフラグを「１」に設定変更し（Ｓ２３−６）、ステップＳ２１において取得した音声データを、発話想定キーワードに対応するキーワードの発話部分のみに切り取って更新して上書き保存する（Ｓ２３−７）。発話部分の前後に余計なノイズ音が入っている場合であっても、キーワードの発話部分のみを切り取ることにより、その前後に入っているノイズ音はカットされるので、音声認識の精度が向上し、後続のステップＳ２５におけるスコアリング処理の精度も確保される。

次に、図１５に示すスコアリング処理（ステップＳ２５参照）の動作手順の詳細について、図１８を参照して説明する。図１８は、スコアリング処理の動作手順の一例を説明するフローチャートである。

図１８において、接客発話評価値算定部３３２は、ステップＳ２３−７において更新された音声データを用いて、発話長さ判定処理を行い（Ｓ２５−１）、更に、周波数特性判定処理を行う（Ｓ２５−２）。更に、接客発話評価値算定部３３２は、発話長さ判定処理及び周波数特性判定処理の結果としてのスコアリングデータ（具体的には、ステップＳ２３−７において更新された音声データから検出されたキーワードと同じ発話想定キーワードを識別するキーワードＩＤと接客発話評価値との組）をメモリ３２に保持する（Ｓ２５−３）。

次に、図１８に示す発話長さ判定処理（ステップＳ２５−１参照）及び周波数特性判定処理（ステップＳ２５−２参照）の動作手順の詳細について、図１９（Ａ）及び（Ｂ）を参照して説明する。図１９（Ａ）は、発話長さの判定処理の動作手順の一例を説明するフローチャートである。図１９（Ｂ）は、周波数特性の判定処理の動作手順の一例を説明するフローチャートである。

図１９（Ａ）において、接客発話評価値算定部３３２は、管理サーバ２の管理ＤＢ２ａの接客発話評価ＤＢを参照し、ステップＳ２１において取得した接客イベントＩＤに対応する接客発話モデルＩＤにより特定されるモデル音声データを管理サーバ２の管理ＤＢ２ａから取得する（Ｓ３１）。モデル音声データは、所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データの一例である。接客発話評価値算定部３３２は、ステップＳ２３−７において更新された音声データ（例えば店員の発話部分）の長さが模範的な所定範囲内であるか否かを判定する（Ｓ３２）。

図２０は、モデル音声データを用いた発話長さの判定処理の具体例を示す図である。図２０では、横軸は時間を示し、例えば「入店挨拶」の接客イベントにおいて発話される「いらっしゃいませ」の模範的な所定範囲の音声の発話長さｌ０の「いらっしゃいませ」と、所定範囲を超える音声の発話長さｌ１の「いらっしゃいませ」（図２０に示すＮｏ．１参照）及び発話長さｌ２の「いらっしゃいませ」（図２０に示すＮｏ．２参照）とが示されている。

接客発話評価値算定部３３２は、ステップＳ２３−７において更新された音声データの発話長さがモデル音声データの発話長さ（発話長さｌ０）より所定範囲（例えば１０％）内を超える場合（例えば図２０に示すＮｏ．１及びＮｏ．２参照）には（Ｓ３２、ＮＯ）、接客発話評価値から所定点数を減点する（Ｓ３４）。

例えば図２０に示すＮｏ．１のケースでは、発話された「いらっしゃいませ」の発話長さがモデル音声データの「いらっしゃいませ」の発話長さより所定範囲ほど短く、この場合には、接客発話評価値算定部３３２は、所定点数として、「１００×（０．９ｌ０−ｌ１）／ｌ０」を減点する。ｌ１は、図２０に示すＮｏ．１のケースで発話された「いらっしゃいませ」の発話長さを示す。より具体的には、モデル音声データの「いらっしゃいませ」の発話長さが１秒で、所定範囲がモデル音声データの「いらっしゃいませ」の発話長さの±１０％であると、図２０に示すＮｏ．１のケースで発話された「いらっしゃいませ」の発話長さが０．９秒〜１．１秒の間であれば減点はされないが、例えば０．７秒であった場合には、２０点（＝１００×（０．９×１秒−０．７秒））が減点される。

また、例えば図２０に示すＮｏ．２のケースでは、発話された「いらっしゃいませ」の発話長さがモデル音声データの「いらっしゃいませ」の発話長さより所定範囲ほど長く、この場合には、接客発話評価値算定部３３２は、所定点数として、「１００×（ｌ２−１．１ｌ０）／ｌ０」を減点する。ｌ２は、図２０に示すＮｏ．２のケースで発話された「いらっしゃいませ」の発話長さを示す。より具体的には、モデル音声データの「いらっしゃいませ」の発話長さが１秒で、所定範囲がモデル音声データの「いらっしゃいませ」の発話長さの±１０％であると、図２０に示すＮｏ．２のケースで発話された「いらっしゃいませ」の発話長さが０．９秒〜１．１秒の間であれば減点はされないが、例えば１．３秒であった場合には、２０点（＝１００×（１．３秒−１．１×１秒））が減点される。

一方、接客発話評価値算定部３３２は、ステップＳ２３−７において更新された音声データの発話長さがモデル音声データの発話長さ（発話長さｌ０）より所定範囲（例えば１０％）内を超えない場合（Ｓ３２、ＹＥＳ）又はステップＳ３４の後、スコアリングデータ（具体的には、ステップＳ２３−７において更新された音声データの中で検出したキーワードを識別するキーワードＩＤとステップＳ３４で減点された後若しくはステップＳ３４で減点されなかった初期値（例えば１００点）である接客発話評価値との組）をメモリ３２に保持する（Ｓ３３）。

図１９（Ｂ）において、接客発話評価値算定部３３２は、管理サーバ２の管理ＤＢ２ａの接客発話評価ＤＢを参照し、ステップＳ２１において取得した接客イベントＩＤに対応する接客発話モデルＩＤにより特定されるモデル音声データを管理サーバ２の管理ＤＢ２ａから取得する（Ｓ４１）。接客発話評価値算定部３３２は、ステップＳ２３−７において更新された音声データの音素（一つ一つの言葉の音）毎の周波数特性（例えば周波数）が模範的な音素毎の基本周波数から所定範囲内であるか否かを判定する（Ｓ４２）。

図２１は、モデル音声データの各音素の基本周波数を用いた周波数特性の判定処理の具体例を示す図である。図２１では、横軸は時間を示し、点線の丸はモデル音声データの各音素の基本周波数ｆ１〜ｆ７を示し、実線の丸はステップＳ２３−７において更新された音声データの各音素の周波数ｆ’１〜ｆ’７を示し、例えば「入店挨拶」の接客イベントにおいて発話される「いらっしゃいませ」の模範的な音素の基本周波数ｆ１〜ｆ７毎の所定範囲（図２１に示す直線型の各実線矢印参照）とが示されている。

接客発話評価値算定部３３２は、ステップＳ２３−７において更新された音声データの音素毎に、各音素の周波数特性（例えば周波数）がモデル音声データの各音素の周波数特性毎の所定範囲（例えば６０［Ｈｚ］）内を超えると判定した場合には（Ｓ４２、ＮＯ）、所定範囲を超えた音素の数に応じて、接客発話評価値から所定点数を減点する（Ｓ４４）。

例えば図２１に示すケースでは、音素「ら」と音素「ま」の周波数ｆ’１，ｆ’６が対応する各基本周波数ｆ１，ｆ６毎の所定範囲を超えているので、接客発話評価値算定部３３２は、周波数差分（例えば｜ｆ１−ｆ’１｜）が６０［Ｈｚ］から１２０［Ｈｚ］であれば５点を該当する音素毎に減点し、周波数差分（例えば｜ｆ１−ｆ’１｜）が１２０［Ｈｚ］を超えるなら１０点を該当する音素毎に減点する。なお、地域や業界によっては発話想定キーワードの語尾が上げ調子で発話されることが好ましい場合もあるので（図２１に示す一点鎖線参照）、例えば語尾又は語尾を含む所定数個の音素に対しては、基本周波数の値が増加されて使用されてもよい。

一方、接客発話評価値算定部３３２は、ステップＳ２３−７において更新された音声データの音素毎に、各音素の周波数特性（例えば周波数）がモデル音声データの各音素の周波数特性毎の所定範囲（例えば６０［Ｈｚ］）内を超えないと判定した場合には（Ｓ４２、ＹＥＳ）又はステップＳ４４の後、スコアリングデータ（具体的には、ステップＳ２３−７において更新された音声データの中で検出したキーワードを識別するキーワードＩＤとステップＳ４４で減点された後若しくはステップＳ４４で減点されなかった初期値（例えば１００点）である接客発話評価値との組）をメモリ３２に保持する（Ｓ４３）。

図２２（Ａ）は、接客発話評価ＤＢの一部を構成する発話想定キーワード表の一例を示す図である。図２２（Ｂ）は、接客発話評価ＤＢの一部を構成する接客発話モデルの一覧表の一例を示す図である。

図２２（Ａ）に示す発話想定キーワード表は、接客イベントＩＤと、接客イベント名と、キーワードＩＤと、発話想定キーワードと、接客発話モデルＩＤとの各項目に対応するデータが規定される。キーワードＩＤは、発話想定キーワードを識別する。接客発話モデルＩＤは、図２２（Ｂ）に示すように、モデル音声データと対応付けられる。図２２（Ａ）に示すように、１つの接客発話モデルＩＤに対応して１つ以上の発話想定キーワードが規定されてもよい（図２２（Ａ）に示す接客イベントＩＤ「ＥＩＤ２」のレコード参照）。

次に、本実施形態の接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃにおける接客状況ＤＢの閲覧処理又は修正処理の動作手順について、図２３を参照して説明する。図２３は、限定された閲覧者による閲覧処理又は接客発話評価値の修正処理の動作手順の一例を示すフローチャートである。

図２３において、例えば表示装置３５に表示された接客状況閲覧画面へのログイン画面ＷＤ１（図２７参照）において、接客状況ＤＢの閲覧要求者の入力操作（例えば指ＦＧによるタッチ操作）により、ログインＩＤ及びパスワードが入力され、ログインボタンＬＧＩが押下される（Ｓ５１）。また、接客評価装置３は、管理サーバ２の管理ＤＢ２ａの閲覧者ＤＢ（図２６（Ａ）参照）を参照し、閲覧要求者により入力された情報（具体的には図２７のログイン画面ＷＤ１において入力されたパスワード）から、アクセス権、権限レベル、パスワードを取得する（Ｓ５１）。図２６（Ａ）は、閲覧者ＤＢの一例を示す図である。図２６（Ｂ）は、接客者ＤＢの一例を示す図である。

図２６（Ａ）に示す閲覧者ＤＢは、閲覧者ＩＤと、パスワードと、閲覧者権限と、権限レベルの各項目に対するデータの種類、種別がそれぞれ規定されている。閲覧者権限には、閲覧操作及び修正操作の両方が可能な権限と、閲覧操作のみ可能な権限との２種類が規定されている。パスワードは、例えば実際に入力されるパスワードでもよいし、入力されるパスワードのハッシュ値（ダイジェスト）でもよい。

図２６（Ｂ）に示す接客者ＤＢは、店員の識別情報を示す接客者ＩＤと、店舗の識別情報を示す店舗ＩＤと、店員の氏名の各項目に対するデータの種類、種別がそれぞれ規定されている。

図２７は、接客モニタリングシステムにおける閲覧対象となる接客状況ＤＢへのログイン画面の一例を示す図である。接客評価装置３は、ステップＳ５１においてログイン画面に入力した閲覧要求者が閲覧者ＤＢに規定される閲覧操作のアクセス権があって、かつパスワードが一致したか否かを判定する（Ｓ５２）。閲覧操作のアクセス権が無い又はパスワードが一致しないと判定された場合には（Ｓ５２、ＮＯ）、図２３に示す接客評価装置３の処理は終了する。

一方、接客評価装置３は、閲覧者ＤＢに規定される閲覧操作のアクセス権があって、かつパスワードが一致したと判定した場合には（Ｓ５２、ＹＥＳ）、管理サーバ２の管理ＤＢ２ａの接客状況ＤＢにアクセスし、例えば１日単位の顧客（来店客）に対する全店員の接客発話評価値の集計結果を接客状況表示画面ＷＤ２（図２８参照）として表示装置３５に表示させる（Ｓ５３）。

図２８は、１日単位の来店客に対する全接客者の接客発話評価値の集計結果の一例を接客状況表示画面ＷＤ２として示す図である。図２８では、来店した顧客に対して検出された接客イベントの件数が２５５であり、そのうち入店挨拶の接客イベントの中で「いらっしゃいませ」の発話想定キーワードの発話が実行された件数が２３０で全件数２５５に比べた割合が９０％であり、退店挨拶の接客イベントの中で「ありがとうございました」の発話想定キーワードの発話が実行された件数が１９５で全件数２５５に比べた割合が７６％であることが示されている。

また、図２８では、来店した顧客に対してレジ応対に関する接客イベントが検出された件数が１８０であり、そのうちポイントカードの確認漏れ（つまり、ポイントカードの提示を促すための接客イベントが検出されなかったこと）の件数が８で、全件数１８０に比べた割合が４％であり、店員のポイントカード確認によって顧客のポイントカードが提示された提示率が１０％であることが示され、更に、温め確認漏れ（つまり、お弁当を電子レンジにおいて温めることを確認するための接客イベントが検出されなかったこと）の件数が３で、全件数１８０に比べた割合が２％であることが示されている。

なお、接客評価装置３の出力部３４は、所定の入力操作に応じて、１日単位ではなく、１週間単位や１カ月単位に切り替えて図２８に示す各項目のデータを集計して再表示してもよい。

図２８に示す接客状況表示画面ＷＤ２において、ログアウトボタンＬＧＯがユーザ（閲覧操作の権限レベルを有する者）の指ＦＧによりタッチ操作で選択された場合には（Ｓ５４、ＹＥＳ）、接客評価装置３の出力部３４は、表示装置３５において表示されている全ての閲覧画面を閉じる（クローズする）（Ｓ５５）。一方、ログアウトボタンＬＧＯが選択されない場合には（Ｓ５４、ＮＯ）、図２８に示す接客状況表示画面ＷＤ２の詳細表示ボタンＩＤＴが選択され、かつ該当するアクセス権（修正操作が可能な権限レベルＬ１）があると判定された場合には（Ｓ５６、ＹＥＳ）、接客評価装置３の出力部３４は、図２８に示す接客状況表示画面ＷＤ２から図３２に示す詳細表示画面ＷＤ７に切り替えて表示装置３５に表示させる（Ｓ５７）。ステップＳ５７の後、接客評価装置３において、接客発話評価値修正処理が行われる（Ｓ５８）。図３２は、接客状況ＤＢの詳細表示画面ＷＤ７に表示された各レコードの具体例を示す図である。

一方、接客状況表示画面ＷＤ２の詳細表示ボタンＩＤＴが選択されず、該当するアクセス権が無い、又はステップＳ５８の後、図２３に示す接客評価装置３の処理はステップＳ５４に戻る。

次に、図２３に示す接客発話評価値修正処理（ステップＳ５８参照）の詳細について、図２４及び図２５を参照して説明する。図２４は、接客発話評価値の修正処理の詳細な動作手順の一例を説明するフローチャートである。図２５は、図２４に示す接客発話評価値の修正処理の詳細な動作手順の続きを説明するフローチャートである。

図２４において、図３２に示す詳細表示画面ＷＤ７が表示装置３５に表示された状態で、例えばユーザ（修正要求者）が修正したい接客状況データＩＤ（図３３参照）のレコードＲＣ１がユーザの指ＦＧにより指定される（Ｓ５８−１）。図３３は、接客状況ＤＢの詳細表示画面ＷＤ７に表示された特定のレコードＲＣ１の接客発話評価値の修正操作の一例を示す図である。

接客評価装置３の接客発話評価部３３は、出力部３４を介して管理サーバ２の管理ＤＢ２ａの接客状況ＤＢにアクセスし、ステップＳ５８−１において指定された接客イベントＩＤに対応するイベント開始時刻及びイベント終了時刻を抽出し、更に、イベント開始時刻及びイベント終了時刻に対応する映像データ及び音声データをレコーダ装置４より取得して出力部３４に渡す（Ｓ５８−２）。

また、出力部３４は、詳細表示画面ＷＤ７から図３５に示す接客状況プレビュー画面ＷＤ８に切り替えて表示装置３５に表示させ、取得した映像データを表示装置３５において出力（再生）しながら、音声データをスピーカ装置３６から出力させる（Ｓ５８−２）。図３５は、接客状況プレビュー画面における接客位置の修正操作の一例を示す図である。

なお、図５に示す接客モニタリングシステム１００Ｃであれば、接客発話評価部３３は、接客状況データＩＤに対応する接客者位置のデータを接客状況ＤＢから取得し、音声データとともに指向性制御部３７に渡す。指向性制御部３７は、音声データと接客者位置のデータとを用いて、接客状況データＩＤに対応する接客者ＩＤの店員を最も近くで収音するマイクアレイ装置から店員に向かう方向に音声の指向性を形成して出力部３４に渡す（Ｓ５８−２）。

ステップＳ５８−２の後、接客発話評価部３３は、図３５に示す接客状況プレビュー画面ＷＤ８の位置変更ボタンが選択可能にアクティブ状態であって、ユーザ（修正要求者）の指ＦＧにより接客状況プレビュー画面ＷＤ８の停止ボタンが選択され、かつユーザ（修正要求者）に該当するアクセス権（修正操作が可能な権限レベルＬ１）があるか否かを判定する（Ｓ５８−３）。なお、図５に示す接客モニタリングシステム１００Ｃを除く図２から図４に示す接客モニタリングシステム１００，１００Ａ，１００Ｂでは、マイクアレイ装置が使用されないので、図３５に示す接客状況プレビュー画面ＷＤ８の位置変更ボタンは選択不可状態（非アクティブ状態）である。

接客状況プレビュー画面ＷＤ８の位置変更ボタンが非アクティブ状態である場合、ユーザ（修正要求者）の指ＦＧにより接客状況プレビュー画面ＷＤ８の停止ボタンが選択されない場合又はユーザ（修正要求者）に該当するアクセス権が無い場合には、いずれもステップＳ５８−８（図２５参照）に進む。

一方、接客状況プレビュー画面ＷＤ８の位置変更ボタンが選択可能なアクティブ状態であって、ユーザ（修正要求者）の指ＦＧにより接客状況プレビュー画面ＷＤ８の停止ボタンが選択され、かつ該当するアクセス権（修正操作が可能な権限レベルＬ１）があると判定された場合には（Ｓ５８−３、ＹＥＳ）、接客状況プレビュー画面ＷＤ８上でユーザ（修正要求者）の指ＦＧにより指向方向が指定されると（Ｓ５８−４）、指向性制御部３７は、ステップＳ５８−４において指定された方向に音声の指向性を形成するための指向方向を変更する（Ｓ５８−５）。出力部３４は、指向方向を変更した指向性形成後の音声データをスピーカ装置３６から出力させる。この音声データはユーザ（修正要求者）によって確認される（Ｓ５８−５）。

接客状況プレビュー画面ＷＤ８の位置変更ボタンがユーザ（修正要求者）の指ＦＧにより選択されると（Ｓ５８−６、ＹＥＳ）、接客発話評価部３３は、図３２に示す詳細表示画面ＷＤ７の接客者情報を、ステップＳ５８−４において指定された指向方向の位置を示す座標（つまり、表示装置３５に表示された画面上の位置を示す座標）に変更して表示装置３５に表示させ、更に、接客状況ＤＢの該当するレコードの接客者位置を変更（修正）して上書きして保存する（Ｓ５８−７、図３６参照）。図３６は、接客状況ＤＢの詳細表示画面に表示された特定のレコードの修正後の接客位置の座標の一例を示す図である。図３６では、例えば接客状況データＩＤ「４」のレコードの接客者位置（プリセット外）の任意座標（つまり、指向方向が変更された表示装置３５の画面上の指定位置を示す座標）のセルＣＬ２が変更されていることが示されている。

一方、接客状況プレビュー画面ＷＤ８の位置変更ボタンがユーザ（修正要求者）の指ＦＧにより選択されない場合には（Ｓ５８−６、ＮＯ）、図２４に示す接客発話評価値修正処理はステップＳ５８−４に戻る。

ステップＳ５８−７の後、図２５において、接客発話評価部３３は、表示装置３５により表示された詳細表示画面ＷＤ７（図３２参照）上でユーザ（修正要求者）の指ＦＧにより選択された接客状況データＩＤ（ステップＳ５８−１参照）のレコードの接客発話評価値のセルＣＬ１（図３４参照）がダブルタップされ、かつ該当するアクセス権（修正操作が可能な権限レベルＬ１）があるか否かを判定する（Ｓ５８−８）。図３４は、接客状況ＤＢの詳細表示画面ＷＤ７に表示された特定のレコードの修正後の接客発話評価値の一例を示す図である。

詳細表示画面ＷＤ７上でユーザ（修正要求者）の指ＦＧにより選択された接客状況データＩＤのレコードの接客発話評価値のセルＣＬ１がダブルタップされない場合、又は該当するアクセス権が無い場合には（Ｓ５８−８、ＮＯ）、図２５に示す接客発話評価値修正処理は終了し、接客評価装置３の処理はステップＳ５４に戻る。

一方、詳細表示画面ＷＤ７（図３２参照）上でユーザ（修正要求者）の指ＦＧにより選択された接客状況データＩＤ（ステップＳ５８−１参照）のレコードの接客発話評価値のセルＣＬ１がダブルタップされ、かつ該当するアクセス権（修正操作が可能な権限レベルＬ１）があると判定された場合には（Ｓ５８−８、ＹＥＳ）、例えば修正要求者の指ＦＧを用いた操作により、ダブルタップされたセルＣＬ１の接客発話評価値が修正（変更）された場合には（Ｓ５８−９、ＹＥＳ）、接客発話評価部３３は、修正（変更）された接客発話評価値（図３４参照）を接客状況ＤＢに上書きして保存（格納）する（Ｓ５８−１０）。

また、修正要求者の指ＦＧを用いた操作により、ダブルタップされたセルＣＬ１の接客発話評価値が修正（変更）されない場合には（Ｓ５８−９、ＮＯ）、図２５に示す接客発話評価値修正処理は終了し、接客評価装置３の処理はステップＳ５４に戻る。

図２９は、１日の時間帯における来店客に対する全接客者の接客発話評価値の集計結果の一例を示す図である。図３０（Ａ）は、1日の時間帯毎の１人の接客者の接客発話評価
値の集計結果の一例を示す図である。図３０（Ｂ）は、１日の接客者毎の接客発話評価値の集計結果の一例を示す図である。図３１は、１日の店舗毎の接客発話評価値の集計結果の一例を示す図である。

また、接客評価装置３の出力部３４は、ユーザ（つまり、少なくとも図２６（Ａ）に示す権限レベルＬ１を有する者）の所定の入力操作により、図２８に示す接客状況表示画面ＷＤ２から、図２９に示す接客状況表示画面ＷＤ３に切り替えて表示装置３５に表示させてもよい。図２９では、横軸には１日の時刻が示され、縦軸には来店者（顧客）の数（黒棒参照）とその顧客に対して店員が挨拶することができた件数（言い換えると、接客イベント名「入店挨拶」が店員により適正に実行された件数、白棒参照）が示されている。

また、接客評価装置３の出力部３４は、ユーザ（つまり、少なくとも図２６（Ａ）に示す権限レベルＬ１を有する者）の所定の入力操作により、図２９に示す接客状況表示画面ＷＤ３から、図３０（Ａ）に示すように、特定の時間帯に限定した接客状況表示画面ＷＤ４に切り替えて表示装置３５に表示させてもよい。図３０（Ａ）では、横軸には１日の時刻が示され、縦軸には来店者（顧客）の数（黒棒参照）とその顧客に対して店員が挨拶することができた件数（言い換えると、接客イベント名「入店挨拶」が店員により適正に実行された件数、白棒参照）が示されている。

また、接客評価装置３の出力部３４は、ユーザ（つまり、少なくとも図２６（Ａ）に示す権限レベルＬ１を有する者）の所定の入力操作により、図２８に示す接客状況表示画面ＷＤ２から、図３０（Ｂ）に示す接客状況表示画面ＷＤ５に切り替えて表示装置３５に表示させてもよい。図３０（Ｂ）では、１日単位で、店員（例えば４人）毎の挨拶率と平均スコアとレジ対応人数とが対比的に示されている。なお、接客評価装置３の出力部３４は、所定の入力操作に応じて、１日単位ではなく、１週間単位や１カ月単位に切り替えて図３０（Ｂ）に示す各項目のデータを集計して再表示してもよい。

また、接客評価装置３の出力部３４は、ユーザ（つまり、少なくとも図２６（Ａ）に示す権限レベルＬ１を有する者）の所定の入力操作により、図２８に示す接客状況表示画面ＷＤ２から、図３１に示す接客状況表示画面ＷＤ６に切り替えて表示装置３５に表示させてもよい。図３１では、１日単位で、店舗（例えば４個）毎の顧客の来店数と挨拶率と平均スコアとレジ対応人数とが対比的に示されている。なお、接客評価装置３の出力部３４は、所定の入力操作に応じて、１日単位ではなく、１週間単位や１カ月単位に切り替えて図３１に示す各項目のデータを集計して再表示してもよい。

以上により、本実施形態の接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、所定の接客イベント毎の接客イベント判定条件を含む接客イベント情報ＤＢ（接客イベントデータ）とＰＯＳ端末５（所定の業務端末）に対する店員（従業員）のＰＯＳ端末５の操作履歴を示すＰＯＳ操作履歴データとを基に、店員の接客イベントを検出し、モニタリングデータ４ａ又はモニタリングデータ４ｂに含まれる店員の音声データを基に、ＰＯＳ端末５の操作時における所定の発話キーワードに対応する接客発話評価値を算定する。また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、算定された接客発話評価値を、接客者ＩＤ（店員の識別情報）と接客者位置（店員の接客位置）及び接客時刻により特定される店員の音声データに対応付けて記憶する。

これにより、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、従来技術のように調査員のような人的リソースを用いること無く、接客される顧客のプライバシーを広範に保護した上で、所定の収音領域（例えば店舗）内の顧客に対する各種の接客イベント時における該当接客者（従業員）の接客発話の監視により、該当接客者の接客発話内容の客観性を接客発話評価値として得ることができ、従業員の顧客に対する接客状況を的確かつ客観的に評価することができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、第２記憶部であるレコーダ装置４に記憶される従業員の音声データに顧客のプライバシー保護を示す所定情報を示すデータ（つまり、プライバシー保護マーク）が付与されている場合には従業員の接客イベントの検出を省略するので、顧客が介在するような接客イベントを除外することで、接客イベントの検出の際に顧客のプライバシーを一層明確に保護することができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、所定の接客イベント毎の発話想定キーワードを含む接客発話評価ＤＢの発話想定キーワード表（キーワードデータ）を管理サーバ２の管理ＤＢ２ａにおいて更に記憶し、店員の音声データに接客イベントに対応する発話想定キーワードが含まれていない場合には接客発話評価値をゼロに設定し又は接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを発話しない店員に対する接客状況を正確に評価することができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、所定の接客イベント毎の発話想定キーワードを含む接客発話評価ＤＢの発話想定キーワード表（キーワードデータ）を管理サーバ２の管理ＤＢ２ａにおいて更に記憶し、店員の音声データに接客イベントに対応する発話想定キーワードが含まれている場合には店員の音声データを発話想定キーワードに対応するキーワードの発話部分のみに切り取って更新し上書き保存するので、不要なノイズ音をカットしてスコアリング処理精度を向上できるとともに、店員の音声データの容量を低減することができる。さらに、正確な接客発話評価値の算定に資することができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、所定の接客イベント毎の発話想定キーワードの音声データを含む接客発話評価ＤＢの接客発話モデル一覧表（キーワード音声データ）を管理サーバ２の管理ＤＢ２ａにおいて更に記憶し、更新された店員の音声データの発話想定キーワードの発話長さがキーワード音声データの発話想定キーワードの発話長さから所定範囲を超える場合に、接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な発話長さから逸脱して発話した店員に対する接客状況を正確に評価することができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、所定の接客イベント毎の発話想定キーワードの音声データを含む接客発話評価ＤＢの接客発話モデル一覧表（キーワード音声データ）を管理サーバ２の管理ＤＢ２ａにおいて更に記憶し、更新された店員の音声データの発話想定キーワードの音素毎の周波数がキーワード音声データの発話想定キーワードの音素毎の基本周波数から所定範囲を超える場合に接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な基本周波数から逸脱して発話した店員に対する接客状況を正確に評価することができる。

また、接客モニタリングシステム１００Ａは、店員に個々に装着される接客者マイク装置ＳＭ１，…，ＳＭＬにより収音される各店員の音声データと接客イベントデータとを基に店員の接客イベントを検出するので、接客者マイク装置以外のマイク装置（例えば天井面に設置されたマイクロホン）と店員とが離れている場合に比べて、店員の音声を明瞭に収音することができ、入店挨拶のような接客イベントを正確に検出することができる。

また、接客モニタリングシステム１００Ｂ，１００Ｃは、カメラ装置Ｃ１，…，ＣＭの撮像により得られた所定の収音領域（例えば店舗）の既定位置の映像データをモニタリングデータ４ｂとしてレコーダ装置４において更に記憶し、この映像データを基に店員の接客イベントを検出するので、所定の収音領域（例えば店舗）の会計開始挨拶の接客イベントが行われるＰＯＳ端末５の付近を既定位置とする映像データを画像処理することで、会計開始挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。

また、接客モニタリングシステム１００Ｂ，１００Ｃは、センサ装置Ｓ１，…，ＳＮにより得られた所定の収音領域における顧客の登場又は退場（例えば店舗への顧客の入店又は退店）の検出結果をモニタリングデータ４ｂとしてレコーダ装置４において更に記憶し、この検出結果を基に店員の接客イベントを検出するので、所定の収音領域（例えば店舗）の入退店挨拶の接客イベントが行われる動機を与えるセンサ装置（例えば開閉する自動ドア）の検出結果に応じて、入退店挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。

また、接客モニタリングシステム１００Ｃは、マイクアレイ装置ＡＭ１，…，ＡＭＬのうちいずれかから所定の指向方向（例えば店員（従業員）の接客時の定位置（例えばレジカウンター）など）に音声の指向性を形成した店員の音声データを基に接客発話評価値を算定する時に、店員（従業員）の音声が強調されるので、指向性が形成されない場合に比べて、接客発話評価値の算定精度を向上することができ、店員に対する接客発話評価値を正確に算定することができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、接客イベント毎の接客発話評価値の表示装置３５における接客状況ＤＢの詳細表示画面ＷＤ７（接客発話評価値表示画面）の閲覧操作の権限情報を含む権限レベル（権限データ）を管理サーバ２の管理ＤＢ２ａの閲覧者ＤＢにおいて更に記憶し、接客発話評価値表示画面の閲覧要求者（ユーザ）の権限情報が権限データに含まれる閲覧操作の権限情報を満たす場合に、接客発話評価値表示画面を表示装置３５に表示させることができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、接客状況ＤＢの詳細表示画面ＷＤ７（接客発話評価値表示画面）に対する接客発話評価値の修正操作の権限情報を権限データとして更に含み、接客発話評価値の修正要求者（ユーザ）の権限情報が権限データに含まれる修正操作の権限情報を満たす場合に、接客発話評価値の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新（修正）することができる。

また、接客モニタリングシステム１００Ｂ，１００Ｃは、カメラ装置Ｃ１，…，ＣＭの撮像により得られた所定の収音領域の既定位置の映像データをモニタリングデータ４ｂとしてレコーダ装置４において更に記憶し、閲覧操作及び修正操作の両方の権限情報を有するユーザの操作によって映像データを出力している間の店員の接客イベントの接客位置の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新（修正）することができる。

また、接客モニタリングシステム１００，１００Ａ，１００Ｂ，１００Ｃは、少なくとも閲覧操作の権限情報を有するユーザによる所定の入力操作に応じて、接客発話評価値表示画面の接客イベント毎の接客発話評価値を所定項目毎に対比的に表示装置３５に表示させることができ、所定項目毎の比較を簡易に行うことができる。

なお、本実施形態において、図６に示すステップＳ２のシフト処理は、モニタリングデータ４ａを切り取るための起点となる切り取り開始時刻を所定時間ｔｓシフトする方法に限定されない。シフト処理のバリエーションについて、図３９〜図４１を参照して説明する。図３９は、モニタリングデータ４ａの切り出し処理のバリエーションの一例を示す説明図である。図４０は、接客イベント情報処理の詳細な動作手順の他の一例を説明するフローチャートである。図４１は、接客発話評価ＤＢの一部を構成する接客イベントごとの発話想定区間表の一例を示す図である。なお、図４０の説明では、図９に示すそれぞれの処理と同一の処理については同一のステップ番号を付与して説明を簡略化又は省略する。

例えば図３８と同様に、図３９に示すモニタリングデータ４ａに、時刻ｔ１に会計完了操作が発生したことを示すＰＯＳ操作履歴データと、時刻ｔ２から時刻ｔ３にわたって店員が「ありがとうございました」と発話した音声データとが記憶されている場合を想定する。この場合、図３８を参照して説明したシフト処理を用いると、接客評価装置３のモニタリングデータ抽出部３８は、モニタリングデータ４ａの先頭から所定時間間隔分（つまり、切り取り範囲ＲＧ０）の音声データとＰＯＳ操作履歴データとを切り取ったモニタリングデータ４ａ１を抽出する。但し、図３８と同様にモニタリングデータ４ａ１には、会計完了操作に対応する店員の音声データが含まれていないため、接客イベントの検出ができず、正確な接客評価が不可である。

そこで、接客評価装置３のモニタリングデータ抽出部３８は、図４０に示すステップＳ１４の後、図４１に示す発話想定区間表を参照し、接客イベントＩＤに対応した発話想定区間に関する情報を取得し、モニタリングデータ４ａ１から、切り取るべき音声データの範囲を変更してモニタリングデータ４ａ２’を再取得する（図４０に示すＳ１４−１）。ステップＳ１４−１以降の処理は、図９に示すステップＳ１５以降の処理と同一であるため、説明を省略する。

ここで、ステップＳ１４−１の詳細について、図４１を参照して説明する。図４１に示す発話想定区間表には、接客イベントＩＤと、接客イベント名と、発話想定区間とが対応付けられている。例えば接客イベントＩＤが「ＥＩＤ１」の「会計完了挨拶」である場合には、店員が発話すると想定される区間は、その接客イベント（つまり、会計完了挨拶）が検出された時点から１０秒間である。従って、接客評価装置３のモニタリングデータ抽出部３８は、接客イベントＩＤを基に、モニタリングデータ４ａの音声データを切り取るための起点となる切り取り開始時刻を、接客イベント（例えば会計完了挨拶）の検出時である時刻ｔ１に変更し、時刻ｔ１から１０秒間の音声データを切り取り範囲ＲＧ１の音声データとして再取得する。これにより、接客評価装置３のモニタリングデータ抽出部３８は、１回目に取得したモニタリングデータ４ａ１を、モニタリングデータ４ａ２’にアップデートするので、接客イベント時に店員が発話する音声の区間に相当する音声データが得られ、接客イベントの検出精度が向上する。

また、図４１に示すように、音声データの切り取り範囲は、接客イベント毎に異なり、接客イベントＩＤが「ＥＩＤ２」の「会計開始挨拶」では、接客イベント（つまり、会計開始挨拶）が検出された時点を起点とした前後５秒間にわたる計１０秒間である（例えば図３９に示す切り取り範囲ＲＧ３参照）。

また、接客イベントＩＤが「ＥＩＤ３」の「入店挨拶」では、音声データの切り取り範囲は、接客イベントＩＤが「ＥＩＤ１」の「会計完了挨拶」と同様に、接客イベント（つまり、入店挨拶）が検出された時点から１０秒間である。更に、接客イベントＩＤが「ＥＩＤ４」の「退店挨拶」では、音声データの切り取り範囲は、接客イベント（つまり、退店挨拶）が検出された時点から１０秒前の期間である（例えば図３９に示す切り取り範囲ＲＧ２参照）。

これにより、接客評価装置３のモニタリングデータ抽出部３８は、検出された接客イベントＩＤに応じた接客イベント時の店員の発話音声が含まれると想定される音声区間に関する情報を発話想定区間表として保持でき、これを利用することで、接客イベント毎に店員が発話した最適な音声区間の音声データをモニタリングデータとして切り取って抽出することができ、正確な接客評価を行うことができる。

最後に、本発明に係る接客モニタリングシステム及び接客モニタリング方法の構成、作用、効果について説明する。

本発明の一実施形態は、所定の収音領域における従業員の音声を収音する収音部と、所定の接客イベント毎の判定条件を含む接客イベントデータを記憶する第１記憶部と、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて記憶する第２記憶部と、前記第１記憶部に記憶される前記接客イベントデータと前記第２記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出する検出部と、前記検出部により検出された前記接客イベントにおいて、前記第２記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する算定部と、前記算定部により算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する出力部と、を備える、接客モニタリングシステムである。

この構成では、接客モニタリングシステムは、所定の接客イベント毎の判定条件を含む接客イベントデータと所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データとを基に、従業員の接客イベントを検出し、検出された接客イベントにおける従業員の音声データを基に、業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する。また、接客モニタリングシステムは、算定された接客発話評価値を、従業員の識別情報と従業員の接客位置及び接客時刻により特定される従業員の音声データに対応付けて記憶する。

これにより、接客モニタリングシステムは、従来技術のように調査員のような人的リソースを用いること無く、接客される顧客のプライバシーを広範に保護した上で、所定の収音領域（例えば店舗）内の顧客に対する各種の接客イベント時における該当接客者（従業員）の接客発話の監視により、該当接客者の接客発話内容の客観性を接客発話評価値として得ることができ、従業員の顧客に対する接客状況を的確かつ客観的に評価することができる。

また、本発明の一実施形態は、前記検出部は、前記第２記憶部に記憶される前記従業員の音声データに顧客のプライバシー保護を示す情報が含まれる場合に、前記従業員の前記接客イベントの検出を省略する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、収音により得られた従業員の音声データに顧客のプライバシー保護を示す所定情報（つまり、プライバシー保護マーク）が含まれる場合には従業員の接客イベントの検出を省略するので、顧客が介在するような接客イベントを除外することで、接客イベントの検出の際に顧客のプライバシーを一層明確に保護することができる。

また、本発明の一実施形態は、前記第１記憶部は、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータを更に記憶し、前記算定部は、前記第２記憶部に記憶される前記従業員の音声データに、前記検出部により検出された前記接客イベントに対応する前記発話想定キーワードが含まれていない場合に、前記接客発話評価値をゼロに設定し又は前記接客発話評価値から所定点数を減点する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードを含むキーワードデータが更に記憶され、従業員の音声データに接客イベントに対応する発話想定キーワードが含まれていない場合には接客発話評価値をゼロに設定し又は接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを発話しない従業員に対する接客状況を正確に評価することができる。

また、本発明の一実施形態は、前記第１記憶部は、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータを更に記憶し、前記算定部は、前記第２記憶部に記憶される前記従業員の音声データに、前記検出部により検出された前記接客イベントに対応する前記発話想定キーワードが含まれている場合に、前記第２記憶部に記憶される前記従業員の音声データを前記発話想定キーワードの音声データに更新する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードを含むキーワードデータが更に記憶され、従業員の音声データに接客イベントに対応する発話想定キーワードが含まれている場合には従業員の音声データを発話想定キーワードに対応するキーワードの発話部分のみに切り取って更新し上書き保存するので、従業員の音声データの容量を低減することができる。さらに、正確な接客発話評価値の算定に資することができる。

また、本発明の一実施形態は、前記第１記憶部は、前記所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データを更に記憶し、前記算定部は、更新された前記従業員の音声データの前記発話想定キーワードの発話長さが前記第１記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの発話長さから第１所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データが更に記憶され、更新された従業員の音声データの発話想定キーワードの発話長さがキーワード音声データの発話想定キーワードの発話長さから第１所定範囲を超える場合に、接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な発話長さから逸脱して発話した従業員に対する接客状況を正確に評価することができる。

また、本発明の一実施形態は、前記第１記憶部は、前記所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データを更に記憶し、前記算定部は、更新された前記従業員の音声データの前記発話想定キーワードの音素毎の周波数が前記第１記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの音素毎の基本周波数から第２所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、
接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、所定の接客イベント毎の発話想定キーワードの音声データを含むキーワード音声データが更に記憶され、更新された従業員の音声データの発話想定キーワードの音素毎の周波数がキーワード音声データの発話想定キーワードの音素毎の基本周波数から第２所定範囲を超える場合に接客発話評価値から所定点数を減点するので、接客イベント時に発話想定キーワードを模範的な基本周波数から逸脱して発話した従業員に対する接客状況を正確に評価することができる。

また、本発明の一実施形態は、前記収音部は、前記従業員に個々に装着されるマイク装置であり、前記検出部は、前記第１記憶部に記憶される前記接客イベントデータと前記マイク装置により収音された前記従業員の音声データとを基に、前記従業員の前記接客イベントを更に検出する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、従業員に個々に装着されるマイク装置（例えばピンマイク）により収音される従業員の音声データと接客イベントデータとを基に従業員の接客イベントを検出するので、ピンマイク以外の収音部（例えば天井面に設置されたマイクロホン）と従業員とが離れている場合に比べて、従業員の音声を明瞭に収音することができ、入店挨拶のような接客イベントを正確に検出することができる。

また、本発明の一実施形態は、前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、前記第２記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、前記検出部は、前記第２記憶部に記憶される前記所定の収音領域の既定位置における映像データを基に、前記従業員の前記接客イベントを検出する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、撮像部の撮像により得られた所定の収音領域の既定位置の映像データが更に記憶され、この映像データを基に従業員の接客イベントを検出するので、所定の収音領域（例えば店舗）の会計開始挨拶の接客イベントが行われるＰＯＳ端末の付近を既定位置とする映像データを画像処理することで、会計開始挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。

また、本発明の一実施形態は、前記所定の収音領域に対する顧客の登場又は退場を検出する顧客検出部と、を更に備え、前記第２記憶部は、前記顧客検出部による前記顧客の登場又は退場の検出結果を更に記憶し、前記検出部は、前記顧客検出部による前記顧客の登場又は退場の検出結果を基に、前記従業員の前記接客イベントを検出する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、顧客検出部により得られた所定の収音領域における顧客の登場又は退場（例えば店舗への顧客の入店又は退店）の検出結果が更に記憶され、この検出結果を基に従業員の接客イベントを検出するので、所定の収音領域（例えば店舗）の入退店挨拶の接客イベントが行われる動機を与える顧客検出部（例えば開閉する自動ドア）の検出結果に応じて、入退店挨拶の接客イベントが適正に行われているか否かを正確に評価することができる。

また、本発明の一実施形態は、前記第２記憶部に記憶される前記従業員の音声データを基に、前記収音部から所定の指向方向に音声の指向性を形成する指向性制御部、を更に備え、前記算定部は、前記指向性制御部により前記音声の指向性が形成された前記従業員の音声データを基に、前記接客発話評価値を算定する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、収音部から所定の指向方向（例えば従業員（店員）の接客時の定位置（例えばレジカウンター）など）に音声の指向性を形成した従業員の音声データを基に接客発話評価値を算定する時に、従業員の音声が強調されるので、指向性が形成されない場合に比べて、従業員に対する接客発話評価値を正確に算定することができる。

また、本発明の一実施形態は、前記第１記憶部は、前記接客イベント毎に前記算定部により算定された前記接客発話評価値の表示部における接客発話評価値表示画面の閲覧操作の権限情報を含む権限データを更に記憶し、前記出力部は、前記接客発話評価値表示画面の閲覧要求者の権限情報が前記第１記憶部に記憶される前記権限データに含まれる前記閲覧操作の権限情報を満たす場合に、前記接客発話評価値表示画面を前記表示部に表示させる、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、接客イベント毎の接客発話評価値の表示部における接客発話評価値表示画面の閲覧操作の権限情報を含む権限データが更に記憶され、接客発話評価値表示画面の閲覧要求者（ユーザ）の権限情報が権限データに含まれる閲覧操作の権限情報を満たす場合に、接客発話評価値表示画面を表示部に表示させることができる。

また、本発明の一実施形態は、前記権限データは、前記接客発話評価値表示画面に対する前記接客発話評価値の修正操作の権限情報を含み、前記出力部は、前記接客発話評価値の修正要求者の権限情報が前記第１記憶部に記憶される前記権限データに含まれる前記修正操作の権限情報を満たす場合に、前記接客発話評価値の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、接客発話評価値表示画面に対する接客発話評価値の修正操作の権限情報が権限データに更に含まれ、接客発話評価値の修正要求者（ユーザ）の権限情報が権限データに含まれる修正操作の権限情報を満たす場合に、接客発話評価値の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新（修正）することができる。

また、本発明の一実施形態は、前記所定の収音領域の既定位置を撮像する撮像部、を更に備え、前記第２記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、前記出力部は、前記第２記憶部に記憶される前記所定の収音領域の既定位置における映像データを出力している間に、前記検出部により検出された前記従業員の接客イベントの接客位置の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、撮像部の撮像により得られた所定の収音領域の既定位置の映像データが更に記憶され、閲覧操作及び修正操作の両方の権限情報を有するユーザの操作によって映像データを出力している間の従業員の接客イベントの接客位置の修正操作に応じて、接客発話評価値表示画面の接客発話評価値を更新（修正）することができる。

また、本発明の一実施形態は、前記出力部は、所定の入力操作に応じて、前記接客発話評価値表示画面の前記接客イベント毎の前記接客発話評価値を所定項目毎に対比的に前記表示部に表示させる、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、少なくとも閲覧操作の権限情報を有するユーザによる所定の入力操作に応じて、接客発話評価値表示画面の接客イベント毎の接客発話評価値を所定項目毎に対比的に表示部に表示させることができ、所定項目毎の比較を簡易に行うことができる。

また、本発明の一実施形態は、前記第２記憶部に記憶される前記従業員の音声データを抽出する音声データ抽出部、を更に備え、前記第１記憶部には、前記接客イベント毎に前記従業員が発話すると想定される発話想定区間に関する情報が記憶され、前記音声データ抽出部は、前記発話想定区間に関する情報を用いて、前記検出部により検出された前記接客イベントに応じた前記発話想定区間に対応する前記従業員の音声データを抽出する、接客モニタリングシステムである。

この構成によれば、接客モニタリングシステムは、検出された接客イベントＩＤに応じた接客イベント時の店員の発話音声が含まれると想定される音声区間に関する情報を発話想定区間表として保持でき、これを利用することで、接客イベント毎に店員が発話した最適な音声区間の音声データをモニタリングデータとして切り取って抽出することができ、正確な接客評価を行うことができる。

また、本発明の一実施形態は、所定の収音領域における従業員の音声を収音する収音部を含む接客モニタリングシステムにおける接客モニタリング方法であって、所定の接客イベント毎の判定条件を含む接客イベントデータを第１記憶部に記憶し、所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて第２記憶部に記憶し、前記第１記憶部に記憶される前記接客イベントデータと前記第２記憶部に記憶される前記端末操作履歴データとを基に、前記従業員の前記接客イベントを検出し、検出された前記接客イベントにおいて、前記第２記憶部に記憶される前記従業員の音声データを基に、前記業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定し、算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する、接客モニタリング方法である。

この方法では、接客モニタリングシステムは、所定の接客イベント毎の判定条件を含む接客イベントデータと所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データとを基に、従業員の接客イベントを検出し、検出された接客イベントにおける従業員の音声データを基に、業務端末の操作時における所定の発話キーワードに対応する接客発話評価値を算定する。また、接客モニタリングシステムは、算定された接客発話評価値を、従業員の識別情報と従業員の接客位置及び接客時刻により特定される従業員の音声データに対応付けて記憶する。

これにより、接客モニタリングシステムは、従来技術のように調査員のような人的リソースを用いること無く、接客される顧客のプライバシーを広範に保護した上で、所定の収音領域（例えば店舗）内の顧客に対する各種の接客イベント時における該当接客者（従業員）の接客発話の監視により、該当接客者の接客発話内容の客観性を接客発話評価値として得ることができ、従業員の顧客に対する接客状況を的確かつ客観的に評価することができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、調査員のような人的リソースを用いず、顧客のプライバシーを広範に保護した上で、店舗内の顧客に対する各種の接客イベント時における該当接客者の発話内容を監視することで接客状況を的確かつ客観的に評価する利便性を向上させる接客モニタリングシステム及び接客モニタリング方法として有用である。

２ 管理サーバ
２ａ 管理ＤＢ
３、３Ｃ 接客評価装置
４ レコーダ装置
４ａ、４ｂ モニタリングデータ
５ ＰＯＳ端末
３１ 操作部
３２、５３ メモリ
３３ 接客発話評価部
３４ 出力部
３５、５２ 表示装置
３６ スピーカ装置
３７ 指向性制御部
５１ 入力装置
３３１ 接客イベント検出部
３３２ 接客発話評価値算定部
１００、１００Ａ、１００Ｂ、１００Ｃ 接客モニタリングシステム
ＡＭ１、ＡＭＬ マイクアレイ装置
Ｃ１、ＣＭ カメラ装置
Ｍ１、ＭＬ マイク装置
Ｓ１、ＳＮ センサ装置
ＳＭ１、ＳＭＬ 接客者マイク装置

Claims (17)

1. 所定の収音領域における従業員の音声を収音する収音部と、
   所定の接客イベント毎に前記接客イベントの有無を検出するための判定条件を含む接客イベントデータと、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータと、を記憶する第１記憶部と、
   所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて記憶する第２記憶部と、
   前記第１記憶部に記憶される前記所定の接客イベントデータおよび前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータと、前記第２記憶部に記憶される前記端末操作履歴データと、を基に、前記従業員が行った操作の検出時刻を含む所定時間間隔のモニタリングデータを前記第２記憶部に記憶される前記従業員の音声データから切り取り、切り取った前記所定時間間隔のモニタリングデータから、前記従業員が行った操作に対応してあらかじめ想定されている所定の発話想定キーワードの全てが含まれているか否かを判定することにより接客イベントを検出する検出部と、
   前記検出部により検出された前記接客イベントに対応する前記所定の発話キーワードが含まれるモニタリングデータを用いて、前記従業員の接客発話評価値を算定する算定部と、
   前記算定部により算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する出力部と、を備える、
   接客モニタリングシステム。
2. 請求項１に記載の接客モニタリングシステムであって、
   前記収音部は、前記従業員に個々に装着されるマイク装置であり、
   前記検出部は、前記第１記憶部に記憶される前記接客イベントデータと前記マイク装置により収音された前記従業員の音声データとを基に、前記従業員の前記接客イベントを更に検出する、
   接客モニタリングシステム。
3. 所定の収音領域における従業員の音声を収音する収音部を含む接客モニタリングシステムにおける接客モニタリング方法であって、
   所定の接客イベント毎に前記接客イベントの有無を検出するための判定条件を含む接客イベントデータと、前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータと、を第１記憶部に記憶し、
   所定の業務端末に対する従業員の操作履歴を示す端末操作履歴データと、前記収音部により収音された前記従業員の音声データとを対応付けて第２記憶部に記憶し、
   前記第１記憶部に記憶される前記所定の接客イベントデータおよび前記所定の接客イベント毎の発話想定キーワードを含むキーワードデータと、前記第２記憶部に記憶される前記端末操作履歴データと、を基に、前記従業員が行った操作の検出時刻を含む所定時間間隔のモニタリングデータを前記第２記憶部に記憶される前記従業員の音声データから切り取り、切り取った前記所定時間間隔のモニタリングデータから、前記従業員が行った操作に対応してあらかじめ想定されている所定の発話キーワードの全てが含まれているか否かを判定することにより接客イベントを検出し、
   検出された前記接客イベントに対応する前記所定の発話キーワードが含まれるモニタリングデータを用いて、前記従業員のする接客発話評価値を算定し、
   算定された前記接客発話評価値を、前記従業員の識別情報と前記従業員の接客位置及び接客時刻により特定される前記従業員の音声データに対応付けて記憶する、
   接客モニタリング方法。
4. 請求項３に記載の接客モニタリング方法であって、
   前記接客イベントを検出した場合には、前記接客発話評価値を算定して記憶し、
   前記接客イベントを検出しなかった場合には、前記所定時間間隔のモニタリングデータの切り取り開始時刻を、その直前のモニタリングデータの切り取り開始時刻から所定時間シフト処理して設定し、前記接客イベントの検出を再度行う、
   接客モニタリング方法。
5. 請求項３に記載の接客モニタリング方法であって、
   前記第２記憶部に記憶される前記従業員の音声データに顧客のプライバシー保護を示す情報が含まれる場合に、前記従業員の前記接客イベントの検出を省略する、
   接客モニタリング方法。
6. 請求項３に記載の接客モニタリング方法であって、
   前記第２記憶部に記憶される前記従業員の音声データに、前記検出された前記接客イベントに対応する前記発話想定キーワードが含まれていない場合に、前記接客発話評価値をゼロに設定し又は前記接客発話評価値から所定点数を減点する、
   接客モニタリング方法。
7. 請求項３に記載の接客モニタリング方法であって、
   前記第１記憶部に記憶されるキーワードデータは、キーワード音声データであって、
   前記第２記憶部に記憶される前記従業員の音声データに、前記検出された前記接客イベントに対応する前記発話想定キーワードが含まれている場合に、前記第２記憶部に記憶される前記従業員の音声データを前記発話想定キーワードの音声データに更新する、
   接客モニタリング方法。
8. 請求項７に記載の接客モニタリング方法であって、
   前記第１記憶部に記憶されるキーワードデータは、キーワード音声データであって、
   更新された前記従業員の音声データの前記発話想定キーワードの発話長さが前記第１記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの発話長さから第１所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、
   接客モニタリング方法。
9. 請求項７に記載の接客モニタリング方法であって、
   更新された前記従業員の音声データの前記発話想定キーワードの音素毎の周波数が前記第１記憶部に記憶される前記キーワード音声データの前記発話想定キーワードの音素毎の基本周波数から第２所定範囲を超える場合に、前記接客発話評価値から所定点数を減点する、
   接客モニタリング方法。
10. 請求項３に記載の接客モニタリング方法であって、
    前記接客モニタリングシステムは、前記所定の収音領域の既定位置を撮像する撮像部、を更に含み、
    前記第２記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、
    前記第２記憶部に記憶される前記所定の収音領域の既定位置における映像データを基に、前記従業員の前記接客イベントを検出する、
    接客モニタリング方法。
11. 請求項１０に記載の接客モニタリング方法であって、
    前記接客モニタリングシステムは、前記所定の収音領域に対する顧客の登場又は退場を検出する顧客検出部と、を更に備え、
    前記第２記憶部は、前記顧客検出部による前記顧客の登場又は退場の検出結果を更に記憶し、
    前記顧客検出部による前記顧客の登場又は退場の検出結果を基に、前記従業員の前記接客イベントを検出する、
    接客モニタリング方法。
12. 請求項１０又は１１に記載の接客モニタリング方法であって、
    前記接客モニタリングシステムは、前記第２記憶部に記憶される前記従業員の音声データを基に、前記収音部から所定の指向方向に音声の指向性を形成する指向性制御部、を更に備え、
    前記指向性制御部により前記音声の指向性が形成された前記従業員の音声データを基に、前記接客発話評価値を算定する、
    接客モニタリング方法。
13. 請求項３に記載の接客モニタリング方法であって、
    前記第１記憶部は、前記接客イベント毎に前記算定された前記接客発話評価値の表示部における接客発話評価値表示画面の閲覧操作の権限情報を含む権限データを更に記憶し、
    前記接客発話評価値表示画面の閲覧要求者の権限情報が前記第１記憶部に記憶される前記権限データに含まれる前記閲覧操作の権限情報を満たす場合に、前記接客発話評価値表示画面を前記表示部に表示させる、
    接客モニタリング方法。
14. 請求項１３に記載の接客モニタリング方法であって、
    前記権限データは、前記接客発話評価値表示画面に対する前記接客発話評価値の修正操作の権限情報を含み、
    前記接客発話評価値の修正要求者の権限情報が前記第１記憶部に記憶される前記権限データに含まれる前記修正操作の権限情報を満たす場合に、前記接客発話評価値の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、
    接客モニタリング方法。
15. 請求項１４に記載の接客モニタリング方法であって、
    前記接客モニタリングシステムは、前記所定の収音領域の既定位置を撮像する撮像部、を更に含み、
    前記第２記憶部は、前記撮像部により撮像された前記所定の収音領域の既定位置における映像データを更に記憶し、
    前記第２記憶部に記憶される前記所定の収音領域の既定位置における映像データを出力している間に、前記検出された前記従業員の接客イベントの接客位置の修正操作に応じて、前記接客発話評価値表示画面の前記接客発話評価値を更新する、
    接客モニタリング方法。
16. 請求項１３に記載の接客モニタリング方法であって、
    所定の入力操作に応じて、前記接客発話評価値表示画面の前記接客イベント毎の前記接客発話評価値を所定項目毎に対比的に前記表示部に表示させる、
    接客モニタリング方法。
17. 請求項３に記載の接客モニタリング方法であって、
    前記第１記憶部には、前記接客イベント毎に前記従業員が発話すると想定される発話想定区間に関する情報が記憶され、
    前記発話想定区間に関する情報を用いて、前記検出された前記接客イベントに応じた前記発話想定区間に対応する前記従業員の音声データを、前記第２記憶部より抽出する、
    接客モニタリング方法。

Images