JPH09161102A - 行動認識型自動券売装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像処理を用いて利用者の行動を認識し、利
用者の行動パターンに対応した誘導案内が実施できる行
動認識型自動券売装置を提供する。 【解決手段】 接近検知器２が利用者の接近を検知する
と、ＩＴＶカメラ３が利用者を撮影して画像を行動認識
処理部８に出力する。行動認識処理部８は入力画像より
利用者の所定の部位が撮影された領域を切り出し、その
領域の時系列画像データに基づいて利用者の行動パター
ンを認識・分類して制御出力を生成する。案内処理部９
は制御出力に従って認識した行動パターンに対応する所
定の誘導案内をタッチパネル４、スピーカ７より出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理を用いて
利用者の行動を認識し、その行動パターンに応じて操作
手順の誘導案内を行う行動認識型自動券売装置に関す
る。

【０００２】

【従来の技術】従来の自動券売装置としては、例えば、
駅等に設置され乗車券を発券する自動券売機等で広く一
般に利用されている。また、近年このような自動券売機
に様々な機能が付加されるようになり自動券売機の多機
能化が進んでいる。これに伴い操作手順が複雑になるこ
とも多く、機器の操作に不慣れな人にとっては操作を円
滑に進めることが難しい場合もある。このため、不慣れ
な人でも容易に機器操作を行えるように、例えば、ディ
スプレイ表示による操作案内や音声による操作案内等を
行って利用者の操作を誘導案内する自動券売装置が提案
されている。

【０００３】

【発明が解決しようとする課題】しかし、このような従
来の操作手順を誘導案内する自動券売装置では、利用者
の意志や心理状態とは無関係に画一的な誘導案内が行わ
れているだけである。即ち、利用者の状態（意志・心理
等）、例えば、操作方法が判らなくて考え込んでいるの
か、間違った操作をしようとしているのか、あるいは、
操作方法は判っているがお金を探しているのか等、とは
関係なく操作が誘導案内される。従って、利用者がその
時に本当に必要とする操作案内が行われているとは限ら
ず、逆に、誘導案内が行われることによって利用者に心
理的負担を強いてしまう虞があった。

【０００４】そこで、利用者に心理的負担を強いること
のない効果的なヒューマンインターフェースを有する装
置を実現する一つの手段として、利用者の状態を装置側
で理解して的確な誘導案内を行うようにすることが考え
られる。このためには、利用者の状態（意志・心理等）
は体の動き、即ち、行動に現れると考えられるので、自
動券売装置が利用者の行動を計測・認識できるようにす
る必要がある。

【０００５】尚、特開平７−４９９６９号公報で公知の
自動取引機において、接客面の所定位置に設置された複
数のセンサによって操作者（利用者）の手の存在位置を
検知し、この検知結果に基づいて操作者に適正な操作を
案内する構成の装置が提案されている。この自動取引機
によれば、例えば、操作者が手を伸ばして所定の操作を
行おうとしたが、操作者の手が本来あるべきではない場
所に位置していることがセンサにより検知されると、検
知した手の存在位置に応じて適正な操作位置を誘導案内
することによって、自動取引機の操作に不慣れな人で
も、また操作ステップの多い自動取引機でも戸惑うこと
なく容易に操作が行えるようにしたものである。しか
し、この自動取引機では、利用者の手が所定の位置に存
在するか否かを検知するだけであって、利用者の行動の
計測・認識が実施されているとは言い難く、利用者の意
志や心理状態に対応した的確な誘導案内を行うには不十
分である。

【０００６】本発明は上記のような点に着目してなされ
たもので、画像処理を用いて自動的に利用者の行動を認
識・処理し、利用者の行動パターンに対応して効果的な
誘導案内を実施する行動認識型自動券売装置を提供する
ことを目的とする。

【０００７】

【課題を解決するための手段】このため本発明では、操
作手順の誘導案内を行う自動券売装置であって、利用者
が前記自動券売装置に接近すると接近検知信号を出力す
る接近検知手段と、前記接近検知信号を開始トリガとし
て前記利用者を撮影する画像入力手段と、該画像入力手
段で撮影した入力画像から前記利用者の計測対象とする
所定の部位が撮影された領域を切り出す計測部位切り出
し手段と、前記切り出した領域の時系列画像データから
前記利用者の行動パターンを認識して予め設定した行動
パターンに分類する行動パターン認識手段と、該行動パ
ターン認識手段で分類した利用者の行動パターンに対応
して所定の誘導案内を出力する案内出力手段とを備えて
構成されることを特徴とする。

【０００８】かかる構成によれば、利用者が本装置に接
近し接近検知手段で検知されると接近検知信号が画像入
力手段に出力され、画像入力手段はその接近検知信号を
開始トリガとして利用者を撮影し、撮影した画像を計測
部位切り出し手段に出力する。計測部位切り出し手段で
は画像入力手段で撮影した入力画像より、利用者の行動
パターンを認識するための計測対象として、利用者の所
定の部位が撮影された画像領域を特定して切り出す。こ
の計測部位の切り出しを連続して送られてくる入力画像
について行い、切り出した領域の連続する変化を示す時
系列画像データに基づいて行動パターン認識手段で利用
者の行動パターンを認識して、その認識した行動パター
ンを予め設定した行動パターンに分類する。利用者の行
動パターンが認識・分類されると、その行動パターンに
対応する所定の誘導案内が案内出力手段から利用者に伝
達される。利用者はその誘導案内に従って操作を行う。

【０００９】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて説明する。本実施形態では、例えば、乗車券
の発券処理を行う自動券売機に本発明の行動認識型自動
券売装置を適用した場合について説明する。図１には、
本実施形態に係る自動券売機１の機能ブロック図を示
し、図２には、自動券売機１の外観図を示す。

【００１０】図２において、自動券売機１は接客面Ａ
に、利用者が自動券売機１に接近すると接近検知信号を
出力する接近検知手段としての接近検知器２と、その接
近検知信号が発生すると利用者の撮影を開始する画像入
力手段としての、例えば、産業用テレビジョンカメラ３
（以下、ＩＴＶカメラ３とする）と、乗車券の区間や料
金、操作手順等を表示し、また、利用者が表示画面上を
触れることによって乗車区間や操作方法等の選択が行わ
れるタッチパネル４と、乗車券の購入料金が投入される
料金投入口５と、乗車券や釣銭が放出される放出口６
と、音声による誘導案内を出力するスピーカ７とが設け
られている。

【００１１】また、自動券売機１の内部には、図１に示
すように、ＩＴＶカメラ３で撮影した入力画像に基づい
て利用者の行動パターンを認識する行動認識処理部８
と、タッチパネル４、スピーカ７への表示や音声による
誘導案内の出力を制御する案内処理部９と、乗車券を発
行する発券処理部10と、利用者によって投入された料金
の金額を検出し釣銭を放出する料金処理部11と、自動券
売機１の各部の動作を制御するＣＰＵ12と、制御プログ
ラムを格納するＲＯＭ13と、自動券売機１の制御に関す
るデータの記憶及び読み出しを行うＲＡＭ14と、各部を
接続するインターフェース回路15とが設けられている。

【００１２】ＣＰＵ12は、インターフェース回路15を介
して、行動認識処理部８、案内処理部９、発券処理部1
0、料金処理部11、ＲＯＭ13及びＲＡＭ14が接続され、
ＲＯＭ14に格納された制御プログラムに従って各部を駆
動制御する。行動認識処理部８は、ＩＴＶカメラ３が接
続され、ＩＴＶカメラ３で撮影した入力画像から後述す
る利用者の計測対象部位が撮影された領域を切り出し、
その切り出した領域の時系列データに基づいて利用者の
行動パターンを認識する。

【００１３】案内処理部９は、タッチパネル４及びスピ
ーカ７が接続され、行動認識処理部８で認識した利用者
の行動パターンに対応して、予めＲＡＭ14に記憶させた
後述の制御テーブルに従い所定の誘導案内をタッチパネ
ル４に表示し、あるいは、スピーカ７に音声出力する。
発券処理部10は、タッチパネル４で利用者によって選択
された乗車区間の乗車券を発行し放出口６に放出する。

【００１４】料金処理部11は、料金投入口５に投入され
た金額を検出し、タッチパネル４で選択された乗車区間
の料金と投入金額との差額に応じた釣銭を放出口６に放
出する。従って、行動認識処理部８が計測部位切り出し
手段及び行動パターン認識手段として機能し、また、案
内処理部９、タッチパネル４及びスピーカ７が案内出力
手段として機能する構成である。

【００１５】次に、本実施形態の動作について説明す
る。図３は、利用者が自動券売機１に接近してから乗車
券が発行されるまでの動作を示すフローチャートであ
る。図３において、利用者が自動券売機１の接客面Ａに
接近すると、ステップ１（図中Ｓ１で示し、以下同様と
する）では、接近検知器２が利用者の接近を検知し接近
検知信号をＩＴＶカメラ３に出力する。

【００１６】ステップ２では、ＩＴＶカメラ３が接近検
知信号の入力を開始トリガとして接客面Ａの前に位置す
る利用者の撮影を開始し、撮影した画像信号を行動認識
処理部８に出力する。ステップ３では、行動認識処理部
８がＩＴＶカメラ３で連続して撮影された時系列の入力
画像より利用者の行動パターンを認識し、認識した行動
パターンに対応する制御出力を生成する。

【００１７】ここで、ステップ３における行動認識処理
部８の処理動作について、図４に示す機能ブロック図を
参照しながら詳述する。図４において、行動認識処理部
８にＩＴＶカメラ３より画像が入力されると、行動認識
処理部８は、利用者の行動パターンを認識するためのパ
ラメータとして計測対象となる利用者の部位、例えば、
目、顔、腕等が撮影されている画像領域をそれぞれ入力
画像領域より特定し計測部位の画像領域を切り出す。一
例として、利用者の目を計測対象とした場合について具
体的に記述する。尚、目の動きの検出方法については、
大門 樹他：動画像処理によるドライバーの視線自動検
出，人間工学，Vol.31,No.1, 39 〜50, 1995. 等に詳し
いので、以下では検出方法の概略について説明する。

【００１８】まず、入力画像領域より各画素の明度差等
に基づいて利用者の顔部分が撮影された領域を特定す
る。そして、顔領域より両目の位置を決定するために両
目と眉とを含むテンプレートのマッチングを行って両目
と眉を含む領域を切り出す。この切り出した領域内にお
いて両目と眉が黒画素となるような閾値で２値化処理を
行い、黒画素の連結部分をラベルづけし両目以外の部分
を除去して目の領域を抽出する。更に、抽出した目の領
域のエッジを検出し、エッジ画像を基に左右それぞれの
目の領域内で黒目（角膜）の中心位置を検出する。この
ようにして、ＩＴＶカメラ３より連続して送られてくる
各入力画像について、両目の中心位置の検出を繰り返し
実行して、両目の中心位置の連続する変化を示す時系列
画像データを取得する。

【００１９】このようにして、目、顔、腕等の時系列画
像データが取得されると、各時系列画像データに基づい
て、それぞれの計測部位の変化を判断する。例えば、上
記両目の中心位置の連続する変化を示す時系列画像デー
タを基に利用者の目の動きを判断する場合には、時間的
に前後する入力画像の両目の中心位置を比較して目の移
動量を求め、その変化量から視線方向を判定して利用者
がどこを見ているかを推定し、視線がどの方向に移動し
たかによって目の動きを判断する。また、同様に顔や腕
についてもそれぞれの時系列画像データを用いて顔、腕
の位置や動きを判断する。このようにして判断した各計
測部位の変化より利用者の行動パターンを認識し、予め
設定した行動パターンに分類する。この分類は、例え
ば、事前に自動券売機１の利用者の行動を調査し、各操
作段階（料金投入段階、区間選択段階等）毎に発生し得
る複数の行動パターンを設定してＲＡＭ14に記憶してお
く。実際に利用者の行動パターンが認識されると、その
認識した行動パターンはＲＡＭ14に記憶した行動パター
ンと比較され、一致または類似する行動パターンに分類
される。例えば、料金投入段階において、利用者の視線
が料金投入口５の方向に位置せずタッチパネル４や放出
口６等の操作面Ａ内を移動し、腕が静止した状態にある
ような行動パターンが認識された場合には、利用者は操
作方法が判らないか若しくは料金投入口５を探している
ときの行動パターンに分類される。また、利用者の腕が
タッチパネル４の方向に伸び、表示画面付近で動いてい
るような行動パターンが認識された場合には、利用者が
操作手順を間違えているときの行動パターンに分類され
る。あるいは、利用者の視線が操作面Ａから離れ利用者
の身体の方向に位置し、腕が自動券売機１に接近しない
で身体の方で動いているような行動パターンが認識され
た場合には、利用者がお金を用意または探しているとき
の行動パターンに分類される。

【００２０】利用者の行動パターンが認識・分類される
と、その行動パターンに応じた誘導案内を行うため、行
動認識処理部８は予めＲＡＭ14に記憶させた前記制御テ
ーブルを参照して制御出力を発生する。制御テーブルに
は、各操作段階の行動パターン毎に案内処理部９を駆動
して所定の誘導案内を出力させる制御内容が設定されて
いる。この制御テーブルに従って認識した行動パターン
に対応する制御出力が、インターフェース回路15を介し
て行動認識処理部８より案内処理部９に出力される。具
体的には、前述の行動パターンの例において、操作方法
が判らないか若しくは料金投入口５を探しているときの
行動パターン及び操作手順を間違えているときの行動パ
ターンに対応する制御テーブルの制御内容は、案内処理
部９に料金投入を促す誘導案内と料金投入口５の位置を
示す誘導案内とを出力させる制御となる。また、お金を
用意または探しているときの行動パターンに対しては、
お金が用意され料金を投入しようとするまで次の案内を
行わないように案内処理部９を待機状態にさせる制御と
なる。

【００２１】このようにして行動認識処理部８より制御
出力が発生してステップ３の動作が完了しステップ４に
移る。ステップ４では、案内処理部９が行動認識処理部
８からの制御出力を受けて、その制御内容をタッチパネ
ル４への表示案内、あるいは、スピーカ７への音声案内
に変換処理して、適切な誘導案内を利用者に伝達する。

【００２２】ステップ５では、ステップ４で行われた案
内に従って利用者が料金投入等の操作を行う。このよう
にして乗車券の発行処理が完了するまで、ステップ２〜
ステップ５の動作、即ち、入力画像の取得、利用者の行
動パターンの認識、誘導案内の出力及び利用者の操作が
繰り返し実行される。尚、発券処理部10及び料金処理部
11の動作は、従来の自動券売機等で行われている動作と
同様であり、ここでの説明を省略する。

【００２３】上述のように本実施形態によれば、自動券
売機１が利用者の行動を撮影・処理し、処理した時系列
のデータに基づいて利用者の行動パターンを自動的に認
識・分類することによって、利用者の意志や心理状態に
対応した効果的な誘導案内を実施することができる。従
って、利用者に心理的負担を強いるような誘導案内が行
われることを防止し、利用者が最も必要とする誘導案内
を自動的に行うことが可能である。

【００２４】尚、上記の実施形態において、利用者の行
動パターンを認識する計測対象部位を目、顔、腕等とし
たが、計測対象部位は必要に応じて任意に設定すること
が可能である。また、接近検知手段に接近検知器を用い
る構成としたが、接近検知手段はこれに限らず、例え
ば、接近検知器を用いる代わりに入力画像を撮影するＩ
ＴＶカメラで利用者の接近を検知する構成等も応用可能
である。加えて、案内出力手段はタッチパネルやスピー
カに限られるものではない。

【００２５】

【発明の効果】以上説明したように本発明によれば、画
像入力手段で利用者の行動を撮影し、計測部位切り出し
手段及び行動パターン認識手段で利用者の行動パターン
を自動的に認識して、その行動パターンに対応した誘導
案内を実施することによって、利用者の状態に応じた適
切な誘導案内を自動的に行うことが可能である。従っ
て、操作に不慣れな利用者に対しても、また、操作手順
の複雑な装置においても、利用者に心理的負担を強いる
ことのない効果的な誘導案内が実施できる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る自動券売機の機能ブ
ロック図

【図２】同上実施形態に係る自動券売機の外観図

【図３】同上実施形態の動作を説明するフローチャート

【図４】同上実施形態の行動認識処理部の動作を説明す
る機能ブロック図

【符号の説明】

１ 自動券売機 ２ 接近検知器 ３ 産業用テレビジョンカメラ（ＩＴＶカメラ） ４ タッチパネル ７ スピーカ ８ 行動認識処理部 ９ 案内処理部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小林 直也 埼玉県浦和市上木崎１丁目13番８号 日本 信号株式会社与野事業所内 (72)発明者 和田 博行 埼玉県浦和市上木崎１丁目13番８号 日本 信号株式会社与野事業所内 (72)発明者 八木 誠 埼玉県浦和市上木崎１丁目13番８号 日本 信号株式会社与野事業所内

Claims (1)

【特許請求の範囲】
1. 【請求項１】操作手順の誘導案内を行う自動券売装置で
   あって、利用者が前記自動券売装置に接近すると接近検
   知信号を出力する接近検知手段と、前記接近検知信号を
   開始トリガとして前記利用者を撮影する画像入力手段
   と、該画像入力手段で撮影した入力画像から前記利用者
   の計測対象とする所定の部位が撮影された領域を切り出
   す計測部位切り出し手段と、前記切り出した領域の時系
   列画像データから前記利用者の行動パターンを認識して
   予め設定した行動パターンに分類する行動パターン認識
   手段と、該行動パターン認識手段で分類した利用者の行
   動パターンに対応して所定の誘導案内を出力する案内出
   力手段とを備えて構成されることを特徴とする行動認識
   型自動券売装置。