JP2014178909A - 商取引システム - Google Patents

Abstract

【課題】本発明は、高齢者や買い物難民者を含む地域の顧客が、地域の商店街とインターネットを介したてビデオ画像と音声でリアルタイムにショッピングを行うことを可能とする商取引システムを提供することを目的とするのもである。
【解決手段】本発明は、売り手側に設けられたジェスチャー認識装置と、撮影カメラ及びテレビ電話装置と、買い手側に設けられたテレビ電話装置とからなる商取引システムであって、前記売り手側のジェスチャー認識装置によるジェスチャー認識結果に基づいて前記撮影カメラで撮影された商品を拡大表示する機能を有することを特徴とするものである。
【選択図】 図１

Description

本発明は、比較的小規模の商店と買い手との間をテレビ電話を用いて双方向に情報伝達可能として、商取引をより円滑に行うための商取引システムに関するものである。

大規模小売店の出店や高齢化、過疎化などにより、地域の商店街がビジネス機会を失って行く中、本来機能していた店頭顧客対応による緊密な商品提供や売買コミュニケーションを介した地域情報交換が失われつつある。
このため、高齢化、過疎化により買い物難民者や独居老人のコミュニケーションの遮断問題が増大している。

一方、インターネットの普及により、ＩＴ技術を用いた商取引は盛んに行われている。
例えば、下記の特許文献１には、携帯電話を用いた決済システム、及び商品購入方法が示されている。
また、特許文献２には所定の地域の店舗情報や地図情報、掲示板などの情報を記録したサーバを用いたコミュニケーション支援装置が示されている。
また、特許文献３には、インターネット上の仮想空間に商店を設ける電子商店システムが示されている。
更に、特許文献４には、通信販売における御用聞き機能が示されている。

特開２００５−６３２４８号 特開２００６−１０６９５３号 特開２０１１−２０３７９３号 特開２０１１−２１５７０４号

上述の従来のネットワークを用いた商取引システムは、いずれも、大掛かりなサーバーを用いるものであり、また商品情報や店舗情報などのサーバーへの入力作業や、更新作業が必要となる。
また、利用者は、携帯電話やパーソナルコンピュータなどについての一定の知識が必要となる。
このため、これらのＩＴ技術に詳しくない小規模商店や買い手にとっては、利用が困難となっている。

尚、インターネットを使ったテレビ電話技術は既に実用化されているが、これを小規模商店が商取引のツールとして利用する技術は未だ実用化されていない。
この技術は高度なコンピュータ・情報通信リテラシーを必要としないテレビ電話を使った売買を実用化するもので低迷している地域商店街から切望されているものである。
すでに実用化されているテレビ電話はテレビ会議や個人が顔を映し出して会話するための機能は整備されているもののこれを商品の売買に応用するために必要なリアルタイムの商品画像提供、売り側・買い側の交渉、商品比較、配送情報との連携、売り上げ管理システムとの連携機能を持っていない。

請求項１に記載するように、売り手側に設けられたジェスチャー認識装置と、撮影カメラ及びテレビ電話装置と、買い手側に設けられたテレビ電話装置とからなる商取引システムであって、前記売り手側のジェスチャー認識装置によるジェスチャー認識結果に基づいて前記撮影カメラで撮影された商品を拡大表示する機能を有することを特徴としている。
また、請求項２に記載するように、ジェスチャー認識によって、商取引における商品購入の可否の決定を行うことを特徴としている。
また、請求項３に記載するように、前記売り手側のジェスチャー認識装置はＲＧＢカメラと深度センサーとからなることを特徴としている。
また、請求項４に記載するように、前記ジェスチャー認識装置は、１対のセンサーユニットで構成されていることを特徴としている。

更に、請求項４に記載するように、売り手側のジェスチャー認識の対象者の手には識別用の部材、例えばリストバンドを配置することを特徴としている。

本発明は販売員の指先を検知し、指先のジェスチャーに対応した対象商品の自動的認識・拡大縮小・対象商品の画像キャプチャーを可能にするものであり、テレビ電話を利用したシステムによって、地域経済の活性化や買い物難民者への支援に貢献するものである。

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

以下、図に沿って本発明の一実施例を説明する。
図１は本発明の一実施例に用いられるシステム構成図である。
１は売り手側に設けられたジェスチャー認識装置である。
２は売り手及び商品を撮影する撮影カメラであり、３は売り手側のテレビ電話装置、４はテレビ電話をインタネットに接続する制御装置、５は先の撮影カメラで撮影した画像を表示する、買い手側のテレビ電話装置、６はテレビ電話をインタネットに接続する制御装置、７はテレビ電話の操作を行うリモートコントローラである。
尚、ここでいうテレビ電話とは、インターネットに接続可能なテレビのことを言っているが、本商取引システムを導入するに当たって、インターネットに接続できるテレビの購入を強いることがないように、通常のテレビをインターネットに接続可能とするセットトップボックスを用いても良い。

本実施例のジェスチャー認識装置１は、売り手側の店の玄関の左右の壁面上部端に１対設けられている。
このジェスチャー認識装置１は、例えばＲＧＢカメラと深度センサで構成され、距離画像から売り手の顔及び手を抽出し、売り手の動作を認識するものである。

図２に買い手側のテレビ電話３の表示画面１０を示す。
前述の撮影カメラ２は、店内の売り手１１とその周辺を撮影するものであり、その撮影した映像が、このテレビ電話３の表示画面１０に表示される。
尚、この表示画面１０の右側には、買い物の候補リスト１２が表示される。この部分は、通常、買い物かごと称されている。

また、図２に示すように、例えば人差し指１３を伸ばして商品１４を指し示すような、特定の動作が認識されると、その認識結果に基づいて、図３に示すように、その指し示された商品の付近がその撮影画像から切り出される。
この切り出された画像は、拡大されて拡大画像１５として表示画面１０に表示される。
また、この切り出された画像は、買い物かごのリストに縮小画像１６として表示される。
尚、店内に複数の人物がいる場合、売り手を特定するのは難しい。
このため、売り手１１は手に、特別な色のリストバンド１７を装着している。
このリストバンド１７によって、ジェスチャー認識するべき売り手１１を特定することが可能となる。

売り手側のテレビ電話３の表示画面を図４に示す。
この画面には、買い手側の顧客１８の映像と共に、撮影カメラ２で撮影された映像１９、及び買い物候補リスト１２が表示される。
買い手が、音声によって、その商品を購入する旨の意思表示をした場合において、売り手が、例えば親指と人差し指で円を形作る動作を行うと、この動作が認識され、商品の購入の決定がなされ、買い物かごに○が表示される。

また、買い手１８が、購入をキャンセルする意思を表示した場合は、例えば、人差し指で×を形作る動作を行うことで、その商品を購入しないことが決定される。
以上のように、売り手１１の人差し指１３による商品１４の指示や○、×を形成する等のジェスチャーによって、購入が決定された商品が買い物かごに並んで表示される。

尚、買い手１８によっては、自分の顔を表示させたくない場合もある。
そのために、買い手１８の表示を行わないか、或いは代替画像を表示してもよい。
同様に、買い手側の表示面に売り手１１の顔を表示せず、或いは代替画像を表示してもよい。

続いて図５を用いて、本実施例の商取引システムのジェスチャー認識について説明する。
本実施例で用いるジェスチャー認識装置１としては、例えば赤外線深度センサーを用いることができる。
この赤外線深度センサーは、赤外線レーザー照射部と受光部を有し、対象物からの赤外線反射光の受光データを基にして、対象物の深度情報（３次元距離情報）を計測するものであり、この赤外線深度センサーによる対象物の深度情報と、予め準備された人体のモデルデータを用いて、売り手の位置と形状を認識する（第１工程）。

また、ジェスチャー認識装置１にはＲＧＢカメラも設けられており、人物を除いた店内の背景画像を記録して、売り手がいる場合、背景差分法によって、売り手を背景から分離して認識する。
この深度情報による認識とＲＧＢカメラによる認識を併用することで、対象物の認識精度が向上する。
売り手が移動した場合、ジェスチャー認識装置１によって、その移動が認識され、撮影カメラ２は、売り手をトラッキングするように回転運動が行われる（第２工程）。

続いて、売り手の手の指先の形状のパターンや、動作の認識を行う（第３工程）。
売り手のあらゆる位置や姿勢に対応するため、手のパターンの認識には、手の３次元モデルデータと、この３次元モデルデータを元にした複数の輪郭画像情報と、座標データとを記録したパターン認識用データベースを用いる。

売り手が商品を指示するジェスチャーを行った場合は、その指示する商品を認識する（第４工程）。
この商品認識の場合は、ＲＧＢカメラで撮影した画像により、商品のエッジ検出を行い、切り出す商品の輪郭を抽出する。
更に、検出されたエッジには輪郭以外も含まれるため、深度センサーによる深度情報を用いて、輪郭以外のエッジを除去する。
尚、ジェスチャー認識装置１は、店舗の左右壁面上部に１対設けられているが、右側或いは左側の一方のジェスチャー認識装置１での認識結果と、他方のジェスチャー認識装置１での認識結果を用いることで、認識精度が向上する。

本発明は、上述の実施例に限定されるものではなく、例えば、ジェスチャー認識装置は、上述の形態に限定されない。
例えば、深度センサーではなく、１対のステレオカメラで構成してもよい。
また、表示画面のレイアウトや、ジェスチャー認識装置や撮影カメラのレイアウト等も本実施例に限定されるものではない。

尚、上述の実施例ではジェスチャー認識装置は２つ配置しているが、店舗によっては、１つ或いは３つ以上配置してもよい。

本発明は、高齢者や買い物難民者を含む地域の顧客と地域の商店街が、インターネットを介したビデオ画像と音声によってリアルタイムに商取引を行うことを可能とするものである。

図１は、本発明の第１の実施例に用いられる商取引システムの構成を示す図である。 図２は、本発明の第１の実施例の買い手側の表示画面を示す図である。 図３は、本発明の第１の実施例の商品認識後の買い手側の表示画面を示す図である。 図４は、本発明の第１の実施例の売り手側の表示画面を示す図である。 図５は、本発明の第１の実施例のジェスチャー認識の動作を説明するためのフロー図である。

１：ジェスチャー認識装置
２：撮影カメラ
３：テレビ電話装置
５：テレビ電話装置

Claims (5)

1. 売り手側に設けられたジェスチャー認識装置と、撮影カメラ及びテレビ電話装置と、買い手側に設けられたテレビ電話装置とからなる商取引システムであって、前記売り手側のジェスチャー認識装置によるジェスチャー認識結果に基づいて前記撮影カメラで撮影された商品を拡大表示する機能を有することを特徴とする商取引システム。
2. 前記ジェスチャー認識によって、商取引における商品購入の可否の決定を行うことを特徴とする請求項１項記載の商取引システム。
3. 前記売り手側のジェスチャー認識装置はＲＧＢカメラと深度センサーとからなることを特徴とする請求項１項記載の商取引システム。
4. 前記ジェスチャー認識装置は、１対のセンサーユニットで構成されていることを特徴とする請求項３項記載の商取引システム。
5. 売り手側のジェスチャー認識の対象者の手には識別用の部材を配置することを特徴とする請求項１項記載の商取引システム。