JPH10188103A

JPH10188103A - 自動機器の操作案内装置

Info

Publication number: JPH10188103A
Application number: JP34905996A
Authority: JP
Inventors: Hiroshi Sukegawa; 寛助川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-12-26
Filing date: 1996-12-26
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】目や耳もしくは手が不自由な人などの障害者で
あっても、自動機器を利用することのできる自動機器の
操作案内装置を提供する。【解決手段】人物画像入力部11で操作人物の画像を入力
し、変化領域抽出部14は入力画像から変化領域を抽出
し、画像変化判別部15は抽出された変化領域が背景変化
によるものか操作人物によるものかを判別し、操作人物
による変化領域であると、人物接近検知部16は操作人物
の接近具合を検知し、人物位置検知部17は操作人物の位
置や移動方向を検知し、人物振り向き検知部18は人物の
振り向きを検知し、人物挙動検知部は各部16〜18の検知
結果およびＡＴＭ操作入力部19、指入力部20、音声入力
部21、振り向き入力部22からの各入力情報により操作人
物の挙動を解析して、操作人物が健常者か障害者かを判
別し、この判別結果に応じて入力手段の入力方法や操作
案内手段の操作案内方法を切換える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば、現金自
動入出金装置（ＡＴＭ）や券売機などの社会システム機
器、あるいは、パーソナルコンピュータやワードプロセ
ッサなどのオフィスオートメーション機器など、人物の
操作により所定の処理を自動的に行なう自動機器におい
て、それを操作する人物に対してその状態に応じた操作
案内を行なう自動機器の操作案内装置に関する。

【０００２】

【従来の技術】一般に、たとえば、いわゆるＡＴＭと称
される現金自動入出金装置の操作案内においては、音声
出力とタッチパネル上に示す画像出力により、利用者が
どういう状態でも定められたメッセージを順番に出力し
ていた。

【０００３】また、利用者の状態を調べるために得るこ
とのできる情報は、ボタンやタッチパネルから得られる
操作情報、および、赤外線センサを利用して自動機器の
前に利用者が存在しているかどうかが分かるだけであ
る。一方、利用者の情報入力手段は、ボタンもしくはタ
ッチパネルを用いて入力することに限られている。

【０００４】

【発明が解決しようとする課題】ところが、障害者が来
ても、健常者と同じ入出力方法での操作案内や説明を利
用していたので、目の不自由な利用者はタッチパネル上
に示された情報を読取ることができず、自動機器の操作
を行なうことができなかった。

【０００５】また、従来は現金や取引媒体（カード、通
帳など）を取り忘れした場合、ブザーを鳴らして、その
取り忘れをした物の出口のランプを点滅させるくらいで
あったため、耳の不自由な利用者が取り忘れをして振り
向いて立ち去ろうとしてしまうと、注意する情報を伝え
ることができなかった。

【０００６】また、操作の中にはセキュリティ性の高い
内容もあるため、目の不自由な人を想定した音声入力で
の操作だけでは、完全なセキュリティ保護は不可能であ
ったため、目の不自由な人が自動機器を利用するのは難
しかった。

【０００７】さらに、手が不自由な利用者は、タッチパ
ネルやボタンを押すことが不可能であったため、手の不
自由な人が自動機器を利用するのは難しかった。そこ
で、本発明は、目や耳もしくは手が不自由な人などの障
害者であっても、自動機器を利用することのできる自動
機器の操作案内装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明の自動機器の操作
案内装置は、人物の操作により所定の処理を自動的に行
なう自動機器を操作する人物の上半身を含む画像を連続
的に入力する画像入力手段と、この画像入力手段で入力
された画像から操作対象人物の上半身領域、および、上
半身の形状から得られる特徴量を特定し、これら特定し
た上半身領域および特徴量から、操作人物の位置や振り
向き方向などを特定して、その操作人物の挙動を解析す
ることにより、操作人物が健常者か障害者かを判別する
判別手段と、この判別手段の判別結果に応じた画像や音
声を用いた操作案内を行なうよう案内方法を切換えて行
なう操作案内手段とを具備している。

【０００９】また、本発明の自動機器の操作案内装置
は、健常者が各種情報を入力する第１のモードおよび障
害者が各種情報を入力する第２のモードを有する入力手
段を備え、この入力手段を人物が操作することにより所
定の処理を自動的に行なう自動機器を操作する人物の上
半身を含む画像を連続的に入力する画像入力手段と、こ
の画像入力手段で入力された画像を一時記憶する画像記
憶手段と、この画像記憶手段に記憶された画像から変化
領域を抽出する変化領域抽出手段と、この変化領域抽出
手段で抽出された変化領域が背景変化によるものか人物
によるものかを判別する画像変化判別手段と、この画像
変化判別手段で人物による変化領域であると判別された
とき、その領域における前記画像入力手段に対する人物
の接近具合を検知する人物接近検知手段と、前記画像変
化判別手段で人物による変化領域であると判別されたと
き、その領域における人物の位置や移動方向を検知する
人物位置検知手段と、前記画像変化判別手段で人物によ
る変化領域であると判別されたとき、その領域における
人物の振り向きを検知する人物振り向き検知手段と、こ
れら人物接近検知手段、人物位置検知手段、および、人
物振り向き検知手段の各検知結果から操作人物の挙動を
解析することにより、操作人物が健常者か障害者かを判
別する人物挙動検知手段と、この人物挙動検知手段の判
別結果に応じて前記入力手段のモードを切換える切換手
段と、健常者に対して画像や音声を用いて操作案内する
第１のモードおよび障害者に対して画像や音声を用いて
操作案内する第２のモードを有し、これら第１，第２の
モードが前記人物挙動検知手段の判別結果に応じて切換
えられる操作案内手段とを具備している。

【００１０】さらに、本発明の自動機器の操作案内装置
は、健常者が各種情報を入力する第１のモードおよび障
害者が各種情報を入力する第２のモードを有する入力手
段を備え、この入力手段を人物が操作することにより所
定の処理を自動的に行なう自動機器を操作する人物の上
半身を含む画像を連続的に入力する画像入力手段と、こ
の画像入力手段で入力された画像を一時記憶する画像記
憶手段と、この画像記憶手段に記憶された画像から変化
領域を抽出する変化領域抽出手段と、この変化領域抽出
手段で抽出された変化領域が背景変化によるものか人物
によるものかを判別する画像変化判別手段と、この画像
変化判別手段で人物による変化領域であると判別された
とき、その領域における前記画像入力手段に対する人物
の接近具合を検知する人物接近検知手段と、前記画像変
化判別手段で人物による変化領域であると判別されたと
き、その領域における人物の位置や移動方向を検知する
人物位置検知手段と、前記画像変化判別手段で人物によ
る変化領域であると判別されたとき、その領域における
人物の振り向きを検知する人物振り向き検知手段と、こ
れら人物接近検知手段、人物位置検知手段、および、人
物振り向き検知手段の各検知結果から操作人物の挙動を
解析することにより、操作人物が健常者か障害者かを判
別する人物挙動検知手段と、この人物挙動検知手段の判
別結果に応じて前記入力手段のモードを切換える切換手
段と、健常者に対して画像や音声を用いて操作案内する
第１のモードおよび障害者に対して画像や音声を用いて
操作案内する第２のモードを有し、これら第１，第２の
モードが前記人物挙動検知手段の判別結果に応じて切換
えられる操作案内手段と、操作人物が自動機器の前でど
の位置でどの方向に向いているかを検知し、操作人物が
操作に適した状態になるよう音声で誘導する人物誘導手
段とを具備している。

【００１１】本発明によれば、入力された操作人物の上
半身を含む画像から操作対象人物の上半身領域、およ
び、上半身の形状から得られる特徴量を特定し、これら
特定した上半身領域および特徴量から操作人物の位置や
振り向き方向などを特定して、その操作人物の挙動を解
析することにより、もし不自然な動作をしている場合に
はユーザインタフェースを切換えることで、目や耳もし
くは手が不自由な人などの障害者であっても、自動機器
を利用することができる。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。図１、図２は、本実施の形
態に係る自動機器の操作案内装置が適用されるシステム
の外観構成を概略的に示している。操作する自動機器と
しての現金自動入出金装置１（以降、自動機器と言うこ
ともある）の前面には、ほぼＬ字状の接客面２が形成さ
れていて、この接客面２の水平面には、入力手段として
のタッチパネル入力装置３や操作ボタン４が設けられて
いる。ここに、タッチパネル入力装置３は、各種操作案
内を画像で行なう操作案内手段としての操作案内装置も
兼ねている。

【００１３】現金自動入出金装置１の接客面２の垂直面
には、各種情報を音声で入力するための音声手段として
の複数のマイクロフォン５，…が設けられている。この
場合、複数のマイクロフォン５，…は、現金自動入出金
装置１を操作する人物（利用者）６の頭部とほぼ対応す
る位置で、その正面および左右の各位置にそれぞれ配設
されている。

【００１４】現金自動入出金装置１の接客面２のほぼ中
央部で、タッチパネル入力装置３の近傍には、撮像面が
現金自動入出金装置１を操作する人物６の前面上半身に
対して下方から上方に向けて斜め上向きになるように、
撮像手段としてのモノクロのＣＣＤ形ビデオカメラ７が
設置されている。また、現金自動入出金装置１の接客面
２の上部には、撮像面がタッチパネル入力装置３の部分
と対応する真上から垂直に真下を見下ろすように、撮像
手段としてのモノクロのＣＣＤ形ビデオカメラ８が設置
されている。

【００１５】現金自動入出金装置１の接客面２の左右両
側部には、それぞれ画像を表示する表示手段としての側
面モニタ９，９が設置されている。また、現金自動入出
金装置１の接客面２と対向する部位で、現金自動入出金
装置１を操作する人物６の背後に位置する部位には、同
じく画像を表示する表示手段としての背面モニタ１０が
設置されている。

【００１６】なお、接客面２には、その外、取引媒体と
してのカードを挿入するカード口、同じく取引媒体とし
ての通帳を挿入する通帳口、現金を投入する入金口、現
金を受取る出金口なども設けられているが、これらは従
来から周知の技術であるので説明は省略する。

【００１７】図３は、本実施の形態に係る自動機器の操
作案内装置が適用されるシステムの全体的な構成を概略
的に示している。このシステムは、前記モノクロのビデ
オカメラ７、および、その出力を２５６階調のデジタル
画像データに変換するＡ／Ｄ変換器などかなり、現金自
動入出金装置１を操作する人物６の上半身を含む画像を
連続的に入力する画像入力手段としての人物画像入力部
１１、前記モノクロのビデオカメラ８、および、その出
力を２５６階調のデジタル画像データに変換するＡ／Ｄ
変換器などかなり、現金自動入出金装置１のタッチパネ
ル入力装置３の部分の画像を真上から連続的に入力する
画像入力手段としての手画像入力部１２、画像入力部１
１，１２により入力されたモノクロ２５６階調のデジタ
ル画像データを一時記憶する画像記憶手段としての画像
記憶部１３、画像記憶部１３に記憶された画像から変化
領域（人物領域）を抽出するとともに、人物の頭部の頂
上位置、人物領域の重心位置、人物領域の面積、人物下
方部幅、および、縦・横方向のプロジェクション（投影
画像）を検出する変化領域抽出手段としての変化領域抽
出部１４、変化領域抽出部１４の出力に基づき、抽出さ
れた変化領域が背景の変化であるか、人物の登場による
ものであるか、非人物による雑音であるのかを判別する
画像変化判別手段としての画像変化判別部１５、画像変
化判別部１５の出力に基づき、人物が近づいているのか
遠去かっているのかを判別する人物接近検知手段として
の人物接近検知部１６、画像変化判別部１５の出力に基
づき、人物が画面内に登場したときや退出したときの方
向および人物の位置を検知する人物位置検知手段として
の人物位置検知部１７、画像変化判別部１５の出力に基
づき、人物が機器に向かって正面を向いているのか横を
向いているのかを検知する人物振り向き検知手段として
の人物振り向き検知部１８、前記タッチパネル入力装置
３や操作ボタン４からなるＡＴＭ操作入力部１９、画像
記憶部１３に記憶された手画像からタッチパネル上にか
ざした両手の指の本数を認識することにより数値情報を
入力する指入力手段としての指入力部２０、前記複数の
マイクロフォン５，…を用いて音声入力を行なう音声入
力手段としての音声入力部２１、操作人物６の体の左右
の振り向き方向により数値情報を入力する振り向き入力
手段としての振り向き入力部２２、これら各部１６〜２
２の各出力から、操作人物６の位置状態や動作状態など
を特定して、その操作人物６の挙動を解析するにより、
操作人物６が健常者か障害者かを判別する人物挙動検知
手段としての人物挙動検知部２３、操作人物６の状態に
合わせて処理の案内を音声と画像を合わせて出力する操
作案内手段としての出力部２４、操作人物６が障害者の
場合に音声と画像を合わせて補助案内を出力する操作案
内手段としての補助出力部２５、および、操作人物６の
体の向きや位置を正しい状態にするように音声案内で誘
導する人物誘導部２６によって構成されている。

【００１８】このような構成において、全体的な処理動
作の概要について説明する。まず、人物画像入力部１１
により入力されたモノクロ２５６階調のデジタル画像デ
ータは、圧縮した上で画像記憶部１３に格納する。ま
た、手画像入力部１２により入力されたモノクロ２５６
階調のデジタル画像データは、そのまま画像記憶部１３
に格納する。

【００１９】変化領域抽出部１４は、画像記憶部１３内
の画像から、初期画面を背景画像とする背景差分画像を
生成し、この生成した背景差分画像を２値化することに
より、背景に対して変化した領域を抽出するとともに、
人物の頭部の頂上位置、人物領域の重心位置、人物領域
の面積、人物下方部幅、および、縦・横方向のプロジェ
クションなどをそれぞれ検出する。

【００２０】次に、変化領域抽出部１４は、生成した背
景差分２値化画像、検出した人物の頭部の頂上位置、人
物領域の重心位置、人物領域の面積、人物下方部幅、お
よび、縦・横方向のプロジェクションをそれぞれ画像変
化判別部１５に送る。

【００２１】次に、画像変化判別部１５は、変化領域抽
出部１４の出力によって、抽出された変化領域（入力画
像内）の変化が背景の変化であるか、人物の登場による
ものであるか、非人物による雑音であるのかを判別し、
人物の登場による変化領域と判別できたとき、変化領域
抽出部１４から出力された人物の頭部の頂上位置、人物
領域の面積、人物領域の重心位置、および、縦・横方向
のプロジェクションを出力する。

【００２２】次に、人物接近検知部１６は、画像変化判
別部１５から出力される人物の頭部の頂上位置および人
物領域の面積から、人物が近づいているのか遠去かって
いるのかを検知し、その検知結果を出力する。

【００２３】また、人物位置検知部１７は、画像変化判
別部１５から出力される人物領域の重心位置から、人物
が画面内に登場したときや退出したときの方向を検知
し、その検知結果を出力する。

【００２４】また、人物振り向き検知部１８は、画像変
化判別部１５から出力されるプロジェクション（投影画
像）から、操作人物が機器に向かって正面を向いている
のか横を向いているのかを検知し、その検知結果を出力
する。

【００２５】次に、人物挙動検知部２３は、上記各部１
６〜１８の各検知結果（人物接近状態、人物位置、人物
移動方向、人物振り向き状態など）から、操作人物の位
置状態や動作状態などを特定して、その操作人物６の挙
動を解析するにより、操作人物６が健常者か障害者かを
判別し、その判別結果を出力部２４へ出力する。

【００２６】次に、出力部２４は、人物挙動検知部２３
の判別結果に基づき制御されることにより、操作人物６
に対して、一定時間ごとに画像や音声の出力がされるの
だが、たとえば、目や耳が不自由な人だと判別されたと
きには、補助出力部２５により操作案内方法を切換えて
出力する。この場合、画面で説明していた内容なども音
声で出力したり、画面表示を多めにしたり、派手にした
りして、より親切な説明をする機能を含んでいる。

【００２７】また、たとえば、目が不自由な人だと判別
されたときには、操作入力部を切換えて音声入力部２１
を使用することも含まれる。また、その場合、暗証番号
や金額などを声で話すわけにもいかないので、真上から
垂直に見下ろしたビデオカメラ８から得られた画像デー
タを利用し、指入力部２０においてタッチパネル上にか
ざした両手の指の本数を認識することにより数値情報の
入力とする。ここで、タッチパネルに触った指の本数を
認識することにより、数値情報の入力を行なう方式も併
用する。また、たとえば、手が不自由な人だと判別され
たときには、振り向き入力部２２を利用するようにす
る。

【００２８】人物誘導部２６は、指入力部２０、音声入
力部２１、振り向き入力部２２を利用する際、正確に入
力情報をとらえるために、操作人物６の体の向きや位置
を正しい状態にするように音声で誘導する。

【００２９】以下、各部について詳細に説明する。ま
ず、人物画像入力部１１の処理について説明する。人物
画像入力部１１は、タッチパネル入力装置３の近傍に設
置された斜め上向きのビデオカメラ７からの画像を入力
するもので、その画像サイズは、たとえば、３２０×２
４０で、グレースケール２５６階調とする。

【００３０】次に、手画像入力部１２の処理について説
明する。手画像入力部１２は、タッチパネル入力装置３
の真上から垂直に真下を見下ろした向きに設置されたビ
デオカメラ８からの画像を入力するもので、その画像サ
イズは、たとえば、３２０×２４０で、グレースケール
２５６階調とする。

【００３１】次に、画像記憶部１３について説明する。
人物画像入力部１１から取込まれた画像は、たとえば、
８×８画素の矩形内で平均圧縮処理によって４０×３０
の画像に圧縮された後、画像記憶部１３に記憶される。
手画像入力部１２から取込まれた画像は、入力された原
画像そのままの解像度で画像記憶部１３に記憶される。

【００３２】次に、ＡＴＭ操作入力部１９について説明
する。現金自動入出金装置１の接客面２に設置された、
表示装置とその表示画面上に設置されたタッチパネルと
からなるタッチパネル入力装置３、および、その周辺に
配設された操作ボタン４などから構成されている。な
お、目の不自由な人のために点字も添えるようにしてお
く。

【００３３】次に、変化領域抽出部１４の処理について
説明する。画像記憶部１３に格納された画像のうち初期
画像を背景画像として登録し、以降の画面から背景差分
処理を行なうことによって背景差分画像を得る。さら
に、２値化処理を行なうことによって、背景に対して変
化した領域を抽出し、その画像に対して拡大縮小フィル
タ、モフォロジ処理などの雑音の除去と穴埋め処理を行
なって、入力画像内での最終的な変化領域を確定する。

【００３４】次に、画像変化判別部１５の処理について
説明する。入力画像内で変化領域が見られた場合、現金
自動入出金装置１の前において何かしらの変化が生じた
と考えられる。入力画像の変化を引き起す原因として
は、大きく分けて以下の３つが考えられる。

【００３５】(1) 自動機器利用者の背景で人物が動く (2) 非人物である小物体（雑音とみなす）が画面に入る (3) ビデオカメラが動いたり、照明変化がおきて背景画
像がわかる (1) の場合には人物の登場として挙動の解析を行なう必
要がある。(2) の場合には特に何らかの反応を示す必要
はない。(3) の場合には背景があまりにも変わって、そ
の状態のままであるなら背景画像を更新する必要があ
る。ということで、これらを３つのどの状態であるかを
決めるために、以下の条件をチェックして判別する。

【００３６】(1) 画面全体のブロック数チェック（面積
チェック）人物がビデオカメラの前によっぽど近付いた場合を除い
て、画面の大半が変化した場合は、照明の変化やビデオ
カメラの動きによる背景変化と判断し、または、あまり
にも小さ過ぎるときには雑音であると判断するチェッ
ク。

【００３７】(2) 背景差分画像のヒストグラムのピーク
を与える輝度値チェック人物が登場したときは、背景差分画像のヒストグラムの
ピークを与える輝度値はほぼ「０」に近いところにある
が、照明条件が変わったときなどは、濃度が画面全体に
変化するので、ピークを与える輝度値が大きい値にずれ
ることが多いということのチェック。

【００３８】(3) 最上段のブロック数の最下段との比較
チェック普通に人物が現れた場合、最上段にブロックがくること
はあまりないが、近付いた場合や背の高い人がいた場合
は最上段まで届く。その場合も、最下段のブロック数よ
りは少なくなるであろうということを仮定したチェック
（背景画像が大きく変化したときを抽出する）。

【００３９】(4) 最下段のブロック数チェックビデオカメラが上向きということで、人物が登場する場
合には、必ず最下段に一定幅以上のブロックが存在する
ということを仮定したチェック（人物であるかそうでな
いか）。

【００４０】以上の条件を用いて、入力画像を上記の３
つに分類する流れを図４に示す。まず、(1) のチェック
では、極端に大きい変化があったときには背景異常と
し、極端に小さい変化であるときには雑音だとする。
(2) のチェックでは、人物が登場した場合には、人物領
域以外の部分は背景画像と変わらない領域となり、背景
差分画像の多くの領域が「０」に近い値となるはずであ
る。そのため、ヒストグラムをとったときに最高輝度と
なるピークの位置は「０」に近い所に位置するはずであ
る。

【００４１】(3) のチェックでは、斜め上向きに設置し
たビデオカメラから得られる画像では、通常、人物が登
場した場合、頭の方が幅が狭く、胴体部分の幅の方が広
くなるはずである。もし、上部の方が幅が広いという場
合には、背景異常か雑音であるということが考えられ
る。(4) のチェックでは、(3) と同じビデオカメラから
得られた画像の場合、人物は画面内で必ず下の方から登
場するため、下の方に変化が生じないことはないはずで
ある。そのため、最下段の変化画素数が一定値に達しな
い場合には、雑音の影響であるとして考える。

【００４２】(1) から(4) の状態を全てパスした場合の
み人物の登場として考える。背景異常と判定された場合
には、その背景異常をカウントするエラーカウンタをフ
レームごとに持たせ、一定の閾値以上にそのカウント値
が増えた場合には背景の更新を行なう。エラーカウンタ
は、正常な状態が続いている場合には、そのカウント値
が徐々に減るように設定をしておく。雑音であると判別
された場合には、無視して次の状態を待つようにする。

【００４３】次に、人物接近検知部１６の処理について
説明する。画像変化判別部１５で人物が登場したと判別
された場合は、人物の動きを追跡する必要がある。人物
が画面内にいないと判別された場合には、人物の状態を
示す人物距離ステータスをＮＯＮＥと定義する。ビデオ
カメラが斜め上向きという条件をつけているため、人物
が近寄ることによって入力画像内の人物領域は画面下方
から上方へと動くように映る。つまり、頭の頂上位置を
追跡することにより、上方へ移動したら接近している、
下方へ移動したら遠ざかっていると判断できる。

【００４４】しかし、横方向からの進入が考えられるこ
と、入力画像を圧縮している関係で、縦方向の解像度が
「３０」程度ということがあるため、それ以外の情報を
も組み込むことが必要である。そこで、画像で変化領域
の面積の増減を調べ、面積が増加したら接近している、
減少したら遠ざかっていると判断することができる。そ
の２つを共に考慮して近寄り、遠ざかりを検知する。具
体的にいうと、・近付いたと判断する条件（状態：ＮＥＡＲ）面積増加＆（頭の高さ≧直前フレームの頭の位置−１）・遠ざかると判断する条件＊（状態：ＦＡＲ）面積減少＆（頭の高さ≦直前フレームの頭の高さ＋１）・人物と思われる領域が一定面積以上あって、上記の２
つに当てはまらないときは状態：ＳＴＡＹとするなお、縦方向のモザイクのブロックが「３０」というこ
とで、多少人物が前後しても頭の位置が動くとは限らな
いため、頭の高さに関しては条件を緩めている。また、
雑音によって１画素程度のぶれが生じるため、１画素分
だけ余裕を持たせている。

【００４５】また、雑音による影響を減らすために、図
５に示すように、横方向に走査する走査線３１を画面上
部から数本引いて、ある一定幅を持つ変化領域３２が上
の走査線３１から順に調べて、どこまで上に上がってい
るかというのを調べる方法も使用する。これは、横方向
のプロジェクションを用いることにより容易に計算でき
る。斜め上向きビデオカメラからの画像ということで、
人物がある程度近付いたときには、上部に位置する走査
線上まで一定幅の変化が起こるはずである。

【００４６】また、人物の接近やいなくなったことの判
定条件であるが、一瞬の判定ミスの影響による誤動作を
なくすため、接近および遠ざかりのそれぞれにＮＥＡＲ
ＣＯＵＮＴ，ＦＡＲＣＯＵＮＴという接近検知カウン
タ、遠ざかり検知カウンタを持たせて、数フレームのデ
ータを見た上での結果から、「人物が自動機器の前に来
た」、「人物が自動機器の前からいなくなった」を判断
する。人物がいないときには常に接近だけを検知し、一
度人物が自動機器の前に来たら遠ざかりだけを検知す
る。

【００４７】ここで、接近検知カウンタＮＥＡＲＣＯＵ
ＮＴ、遠ざかり検知カウンタＦＡＲＣＯＵＮＴの処理の
流れをそれぞれ図６、図７に示す。各カウンタＮＥＡＲ
ＣＯＵＮＴ，ＦＡＲＣＯＵＮＴのカウント値は、最初は
「０」に設定されているが、フレームごとの接近、遠ざ
かり判定によりカウンタを増減させ（たとえば、近付き
を検知しているとき、ＳＴＡＹ，ＮＥＡＲのときにはカ
ウンタＮＥＡＲＣＯＵＮＴを「＋２」し、ＦＡＲ，ＮＯ
ＮＥのときにはカウンタＮＥＡＲＣＯＵＮＴを「−１」
する）、カウント値が一定の閾値（ＣＯＭＥＭＡＸ，Ａ
ＷＡＹＭＡＸ）に達した時点で初めてビデオカメラの前
に存在している、ビデオカメラの前からいなくなったと
の判定を行なう。

【００４８】次に、人物位置検知部１７の処理について
説明する。人物領域とされる部分の重心の水平座標を追
跡するとともに、重心の移動を追跡することにより、画
面内に人物が入退出したときの方向を調べることができ
る。人物が画面に入ってきたときは、入ってきた直後の
フレームでの重心の水平座標、人物が画面から出ていく
ときは、出る直前のフレームでの重心の水平座標を考慮
し、それが画面全体に対して左側か右側かを検知する。
この場合、人物が画面中央に存在するときには、無理矢
理左右に決めるのではなく、「中央」という判断をす
る。

【００４９】次に、人物振り向き検知部１８の処理につ
いて説明する。人物が横を向いたとき、基本的に向いた
方向に頭の位置がずれるため、頭の頂上位置が向いた方
向にずれる。また、斜め上向きビデオカメラという性質
上、画面上では向いた方向側の肩の位置が下がり、逆側
の肩の位置は上に移動する。そのため、向いた方向側に
位置する面積は減少して、逆側に位置する部分の面積は
増加する。

【００５０】これを利用して、操作人物が作業を終了し
て立ち去るときなどに振り向いたことを検知する。ま
た、正面を向いているのか横を向いているのかの判断に
加えて、どの位横を向いているのかも検知したい。そこ
で、頭の頂上の水平座標がわかっているので、そこを基
準に、図８に示すように、プロジェクション３３の面積
を左右にわけて計算する。基本的に左右がほぼ同じ面積
であるときを正面と判断する。さらに、横を向いている
度合を示す数字が必要であるので、Ｌ：頭の頂上位置から降ろした垂線３４よりも左側に位
置する部分の面積Ｒ：頭の頂上位置から降ろした垂線３４よりも右側に位
置する部分の面積として、振り向き指数α＝Ｌ／（Ｒ＋Ｌ）で表わす。この指数αは「０〜１」の間に位置する数値
であり、「０．５」のときが正面、「１」に近寄れば右
向き、「０」に近寄れば左向きと判断できる。

【００５１】次に、指入力部２０の処理について説明す
る。音声入力部２１において、金額や暗証番号を音声入
力で行なうことは、セキュリティ上危険なため、タッチ
パネル入力装置３のタッチパネル上に手をかざしてもら
い、タッチパネル入力装置３の真上から垂直に見下ろし
たビデオカメラ８から得られた画像を背景差分２値化処
理、雑音処理（解像度は違うが変化領域抽出部１４と同
様の処理を行なう）を行なって手の形を抽出する。この
際に、ビデオカメラの代わりに赤外線センサや距離セン
サなどを用いる場合もある。

【００５２】次に、手の形が入力されたら細線化処理を
行なって、手の構造を線の組合わせで表す。ここで、図
９に示すような原画像に対して細線化処理を行なった結
果を図１０に示す。この場合、図１０において、画面下
方（操作人物の体に近い方）から伸びている線を腕とし
て除外し、残りの線の中で２つの端点のうち片方がどこ
にもつながっていない線分（指）の本数を数えて、その
本数を入力された数値情報とする。

【００５３】なお、「０」は１０本の指で表すものとす
る。また、数字と数字とのつながりが不明確になるた
め、一度両方ともぐー（指を全て閉じる）の状態にして
から、次の数字の入力にする。また、指をつけたり離し
たりによって本数を認識することが難しくなることも考
えられるため、認識をし易くするために「０〜９」まで
の数字に対応した指の出し方をあらかじめ決めておけ
ば、さらに認識精度が上がることが考えられる。さら
に、指の状態（本数）を認識するたびに「ぴっ」という
ブザーを鳴らして、それが鳴ったら次の状態に指を変化
させるようにしてもらうこともできる。

【００５４】入力が終了したら、音声で「おわり」と言
うか、タッチパネル入力装置３で所定の操作を行なって
もらうようにする。目が見えない場合、ビデオカメラや
センサの位置に手を差し出すことができない場合もある
ために、人物誘導部２６などによって手の位置をできる
だけビデオカメラやセンサでとらえることができる位置
に誘導して利用してもらうこともできる。

【００５５】また、上記した非接触の手段をとる場合の
外に、タッチパネル入力装置３のタッチパネル上に直接
指を置いてもらって、その本数を認識する方法も併用で
きる。タッチパネル上に指が何本接触しているかは、タ
ッチパネルからの情報をラベリングすることにより、何
本の指が接触しているかを数えることが可能であり、目
が見えない場合でも、人物誘導部２６などによって手の
位置をタッチパネルのある位置に誘導してから利用して
もらうことができる。

【００５６】次に、音声入力部２１の処理について説明
する。人物挙動検知部２３で目が不自由な人であると判
別された場合、処理の説明や案内を音声出力主導にする
だけでなく、入力においても難度が高いと思われるので
入力手段を音声入力とする。前述したように配設された
複数のマイクロフォン５のうち、いずれかのマイクロフ
ォン５からの入力を利用する。

【００５７】入力された音声から音声認識を行なう。こ
の場合は不特定話者であるが、入力される単語は操作や
数字に限られた限定の単語であるため、認識自体はそれ
ほど難度の高いものではないといえる。しかし、目が見
えないような操作人物は、マイクロフォンがどこにある
かも分からないということで、図１１に示すように、人
物振り向き検知部１８から得られる振り向き方向検知情
報により、操作人物６の振り向き方向３５を計算すると
ともに、人物位置検知部１７から得られる人物位置検知
情報により、操作人物６の水平位置３６を計算すること
により、複数のマイクロフォン５のうち一番指向精度の
よいと思われるマイクロフォン５を選択し、この選択し
たマイクロフォン５からの入力を利用して音声認識を行
なう。また、人物誘導部２６により、できるだけ操作人
物が正面中央に位置するようにも誘導する。

【００５８】次に、振り向き入力部２２の処理について
説明する。操作人物が手の不自由な人であった場合、現
金自動入出金装置１の入力デバイス（キーボードやタッ
チパネル）を利用することができないときや、音声入力
部２１や指入力部２０を利用できないときがあるため、
自動的に振り向き入力モードに切換えることにより、図
１２に示すように、タッチパネル入力装置３の表示画面
３７に選択肢（たとえば、暗証番号入力用の数字０〜
９）３８を横に並べて表示し、操作人物６の体の左右の
振り向き方向に合わせてカーソル３９を左右に移動さ
せ、手や口が不自由な人でも入力することができるよう
にしている。

【００５９】カーソル３９は左右方向にのみ移動し、操
作人物６の体が右に向いたときにはその向いた方向にカ
ーソル３９の移動を行なう。また、操作人物６が一定時
間正面を向いていたら、その時点でカーソル３９の存在
する場所の数値を選択したとみなし、暗証番号入力状態
表示部４０に入力完了マーク４１を表示すようにしてい
る。

【００６０】なお、図１２において、４２は選択までの
時間を表示する選択までの時間表示部、４３，４４は体
の振り向き方向検知結果を表示する体振り向き方向表示
部である。

【００６１】次に、人物挙動検知部２３の処理について
説明する。人物挙動検知部２３は、現金自動入出金装置
１の操作情報や音声と画像から操作人物の挙動を解析
し、入力手段の入力方法や操作案内手段の操作案内方法
を切換えるものであり、以下に順を追って説明する。

【００６２】人物接近検知部１６からは人物が現金自動
入出金装置１の前に来ているかどうかの情報、人物位置
検知部１７からは人物が現金自動入出金装置１に対して
どのような位置に立っているかの情報、人物振り向き検
知部１８からは人物が左右にどのくらい振り向いている
かの情報が得られる。これらをまとめると以下のような
パラメータが得られる。

【００６３】・人物の存在状態（自動機器の前に存在、
接近中、退出中、不在）・人物の位置（画面内の水平位置）・人物の振り向きの方向これらの状態から人物が現金自動入出金装置１の前で困
っている状態を検知する。まず、現金自動入出金装置１
の正面に正しく立っているかどうかを判別する。この場
合、以下の２つに分類できる。

【００６４】(1) 自動機器の前に登場して落ち着いた
（次の判定に進む） (2) 自動機器の前に登場したがなかなか正面にこないで
ふらふらしている (2) の場合は、目の見えない人物が操作する場所がわか
らずに困っていると判定し、その時点で直ぐに「音声出
力補助」を行なうようにする。次に、現金自動入出金装
置１の前で落ち着いた状態で、特定の操作ボタンを押す
ように音声で案内する。そこで、操作人物６の挙動を検
知していて、次のような状態が考えられる。

【００６５】(1) 正しく操作ボタンを押している（通常
の処理を続ける） (2) ふらふら動作が落ち着かない（目や手の不自由な人
物だと判断） (3) 何も操作をせずじっとしている（耳や手の不自由な
人物だと判断） (1) の場合には、正常に処理が進んでいるために、通常
の処理を以降続ける。(2) の場合には、音声は聞こえる
が目が見えないという人物か、手が自由に動かせずふら
ふらしている人物という可能性があるため、目が見えな
い人物のために音声入力の状態に切換え、この後で述べ
る(3) の場合と同様に、視覚的案内を利用することによ
って手が原因かどうかを調べる。

【００６６】また、(3) の場合は、音声が聞こえないだ
けなのか、手が不自由で操作入力部１９を扱うことがで
きないのかがわからないため、「視覚的出力補助」とし
て視覚的な操作案内をタッチパネル入力装置３の表示画
面に出力し、それに反応して操作を始めた場合は、耳が
不自由であるが手は自由に使えるということにし、それ
でも操作が始まらない場合には、手が不自由ということ
で「振り向き入力モード」にする。以上の結果から、
「音声出力補助」、「通常処理」、「音声入力」、「視
覚的出力補助」、「振り向き入力」の補助入出力に切換
える。以上の処理の流れを示すと図１３のようになる。

【００６７】次に、出力部２４の処理について説明す
る。出力部２４は、現金自動入出金装置１の前にいる操
作人物６の状態に合わせて処理の案内を音声と画像と合
わせて出力する。すなわち、人物挙動検知部２３の検知
結果とあらかじめ与えられている正規の処理手順とを比
較し、操作人物６が誤った処理と思われる動作をした瞬
間、できるだけ早く注意することにより、誤った処理の
まま立ち去ることを防ぐことができる。

【００６８】実際の処理誤りといって最も考えられると
いえば、処理が未完了のうちに退出する場合が考えられ
る。たとえば、現金自動入出金装置などでの通帳や現金
の取り忘れなどがそれにあたる。操作状況は現金自動入
出金装置１の方で順を追って処理をしているので、現在
どの処理までが終了して、どの処理を現在受付中である
のかが確認できる。仮に、ある処理を受付中であるの
に、操作人物が立ち去ってしまった場合には、何らかの
方法で処理が未完了であることを伝えなければならな
い。

【００６９】そこで、操作人物の立ち去りを、人物位置
検知部１７および人物振り向き検知部１８の各検知結果
に基づき検知する。すなわち、ある方向に重心が移動し
ながら、その方向に振り向いている状態が一定時間続く
ことにより、「立ち去り始めた」と判断して、「未完
了」を画面や音声で警告する。

【００７０】次に、補助出力部２５の処理について説明
する。もし、人物挙動検知部２３において、「音声出力
補助」というように判定された場合には、タッチパネル
入力装置３の表示画面で説明していた内容を全て音声に
して読み上げるというように切換える。それでも操作が
進まない場合には、操作人物６は手が不自由であるか、
目が完全に不自由であると判断して、音声入力モードに
切換え、音声入力部２１または振り向き入力部２２を利
用して、現金自動入出金装置１の操作を進めるようにす
る。

【００７１】逆に、人物挙動検知部２３において、「視
覚的出力補助」と判定された場合や、あらかじめキャッ
シュカードやクレジットカードのような、その自動機器
で使用する利用者カードに「視覚的出力補助が必要であ
る」という情報が入っている場合、または、自動機器に
設置した視覚的援助を要求するための入力デバイス（タ
ッチパネルや操作ボタンなど）を押下した場合には、視
覚的出力補助モードに出力を変更する。通常の画面出力
に比べて、ブザーのかわりに画面をフラッシュさせたり
して、出力を派手にする他、色盲の人物が使った場合に
備えて、画面の色をできるだけ明度差を出して読み易く
したり、説明の文章をできるだけ表示画面に多く出力し
たりする。

【００７２】タッチパネル入力装置３の表示画面による
出力以外に、周囲に設置されている側面モニタ９や背面
モニタ１０に、取り忘れなどの警告の信号を出力して
（これもフラッシュさせるなどしてできるだけ目立つよ
うにする）、操作人物６に案内や注意の通報を行なう。

【００７３】なお、操作人物６の立ち去ろうとしている
方向は、操作人物６の位置と振り向き方向から求められ
るため、一番目に付き易いと思われるモニタをより目立
つように画面出力するよう切換える。

【００７４】次に、人物誘導部２６の処理について説明
する。音声入力部２１や指入力部２０、振り向き入力部
２２において、操作人物６が現金自動入出金装置１の正
面に向かっていることが望ましいため、現金自動入出金
装置１の前の操作人物６の位置と振り向き方向から、操
作人物６が画面内の中央で正面に向くように音声で誘導
を行なう。

【００７５】操作人物６の水平位置は人物位置検知部１
７で検知しているため、右に寄っていると判定されてい
るなら「もう少し左に移動してください」などの音声案
内を出力をして、操作人物６が中央に寄るように誘導す
る。また、人物振り向き検知部１８において振り向き方
向が正面を向いていないと判定されている場合には、振
り向き方向が正面になるよう「もう少し右（左）を向い
てください」といった音声案内を出力して、操作人物６
が正面を向くように誘導する。

【００７６】このような操作人物６の誘導を行なうの
は、音声入力部２１において正面に設置されたマイクロ
フォン５から入力を行なうことの他、指入力部２０でも
正確に手の領域をビデオカメラ８で入力できる状態にす
ることが目的である。

【００７７】このように、現金自動入出金装置や券売機
などの社会システム機器において、操作人物の状態に応
じて表示または音声を用いて操作案内や操作誤りの忠告
を行なうことにより、一般ユーザが希望する操作をでき
ずに終わることをできる限り防ぐことができ、ユーザフ
レンドリな自動機器を構築できる。

【００７８】また、目や耳または手の不自由な人のよう
な障害者が利用した場合に、操作人物が操作方法に困っ
ているとか、操作ボタンが見当たらなくて探している動
作などから、自動的に操作人物は障害者だということを
判別して、画像のメッセージや音声のメッセージに反映
させる、また、目の不自由な人の場合には音声認識によ
る入力や指の本数で暗証番号やその他の数値情報を入力
するようなモードに切換える、また、手が不自由な人の
場合には音声入力や振り向き入力を併用することによ
り、どのような人物でも自動機器側で判断して操作を可
能にすることができる。

【００７９】

【発明の効果】以上詳述したように本発明によれば、目
や耳もしくは手が不自由な人などの障害者であっても、
自動機器を利用することのできる自動機器の操作案内装
置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る自動機器の操作案内
装置が適用されるシステムの外観構成を概略的に示す模
式図。

【図２】図１において横方向から見た模式図。

【図３】本発明の実施の形態に係る自動機器の操作案内
装置が適用されるシステムの全体的な構成を概略的に示
すブロック図。

【図４】画像変化判別部の処理を説明する流れ図。

【図５】人物接近検知部の処理を説明する図。

【図６】人物接近検知部における接近検知カウンタの処
理を説明する流れ図。

【図７】人物接近検知部における遠ざかり検知カウンタ
の処理を説明する流れ図。

【図８】人物振り向き検知部の処理を説明する図。

【図９】指入力部の処理を説明する図。

【図１０】指入力部の処理を説明する図。

【図１１】音声入力部の処理を説明する図。

【図１２】振り向き入力部の処理を説明する図。

【図１３】人物挙動検知部の処理を説明する流れ図。

【符号の説明】

１……現金自動入出金装置（自動機器）、２……接客
面、３……タッチパネル入力装置（入力手段、操作案内
手段）、４……操作ボタン（入力手段）、５……マイク
ロフォン、６……操作人物、７，８……ビデオカメラ
（撮像手段）、９……側面モニタ（表示手段）、１０…
…背面モニタ（表示手段）、１１……人物画像入力部
（画像入力手段）、１２……手画像入力部（画像入力手
段）、１３……画像記憶部（画像記憶手段）、１４……
変化領域抽出部（変化領域抽出手段）、１５……画像変
化判別部（画像変化判別手段）、１６……人物接近検知
部（人物接近検知手段）、１７……人物位置検知部（人
物位置検知手段）、１８……人物振り向き検知部（人物
振り向き検知手段）、１９……ＡＴＭ操作入力部（入力
手段）、２０……指入力部（指入力手段）、２１……音
声入力部（音声入力手段）、２２……振り向き入力部
（振り向き入力手段）、２３……人物挙動検知部（判定
手段、人物挙動検知手段）、２４……出力部、２５……
補助出力部、２６……人物誘導部（人物誘導手段）。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩ // Ｇ０６Ｆ 1/00 ３９０Ｇ０６Ｆ 15/30 Ａ３２０

Claims

【特許請求の範囲】

【請求項１】人物の操作により所定の処理を自動的に
行なう自動機器を操作する人物の上半身を含む画像を連
続的に入力する画像入力手段と、この画像入力手段で入力された画像から操作対象人物の
上半身領域、および、上半身の形状から得られる特徴量
を特定し、これら特定した上半身領域および特徴量か
ら、操作人物の位置や振り向き方向などを特定して、そ
の操作人物の挙動を解析することにより、操作人物が健
常者か障害者かを判別する判別手段と、この判別手段の判別結果に応じた画像や音声を用いた操
作案内を行なうよう案内方法を切換えて行なう操作案内
手段と、を具備したことを特徴とする自動機器の操作案内装置。
【請求項２】前記特徴量は、人物の頭部の頂上位置、
人物領域の重心位置、人物領域の面積、および、人物領
域の射影データなどであることを特徴とする請求項１記
載の自動機器の操作案内装置。
【請求項３】健常者が各種情報を入力する第１のモー
ドおよび障害者が各種情報を入力する第２のモードを有
する入力手段を備え、この入力手段を人物が操作するこ
とにより所定の処理を自動的に行なう自動機器を操作す
る人物の上半身を含む画像を連続的に入力する画像入力
手段と、この画像入力手段で入力された画像を一時記憶する画像
記憶手段と、この画像記憶手段に記憶された画像から変化領域を抽出
する変化領域抽出手段と、この変化領域抽出手段で抽出された変化領域が背景変化
によるものか人物によるものかを判別する画像変化判別
手段と、この画像変化判別手段で人物による変化領域であると判
別されたとき、その領域における前記画像入力手段に対
する人物の接近具合を検知する人物接近検知手段と、前記画像変化判別手段で人物による変化領域であると判
別されたとき、その領域における人物の位置や移動方向
を検知する人物位置検知手段と、前記画像変化判別手段で人物による変化領域であると判
別されたとき、その領域における人物の振り向きを検知
する人物振り向き検知手段と、これら人物接近検知手段、人物位置検知手段、および、
人物振り向き検知手段の各検知結果から操作人物の挙動
を解析することにより、操作人物が健常者か障害者かを
判別する人物挙動検知手段と、この人物挙動検知手段の判別結果に応じて前記入力手段
のモードを切換える切換手段と、健常者に対して画像や音声を用いて操作案内する第１の
モードおよび障害者に対して画像や音声を用いて操作案
内する第２のモードを有し、これら第１，第２のモード
が前記人物挙動検知手段の判別結果に応じて切換えられ
る操作案内手段と、を具備したことを特徴とする自動機器の操作案内装置。
【請求項４】前記入力手段の第１のモードはキーボー
ドやタッチパネルを用いて各種情報を入力し、第２のモ
ードはマイクロフォンを用いて音声で各種情報を入力す
ることを特徴とする請求項３記載の自動機器の操作案内
装置。
【請求項５】前記入力手段の第２のモードは、複数の
マイクロフォンを有し、これら複数のマイクロフォンの
うち、操作人物の体の位置と振り向き方向とから一番指
向性がよい状態だと思われるマイクロフォンを選択し、
この選択したマイクロフォンの出力を入力情報とするこ
とを特徴とする請求項４記載の自動機器の操作案内装
置。
【請求項６】前記入力手段の第１のモードはキーボー
ドやタッチパネルを用いて各種情報を入力し、第２のモ
ードは操作人物が差し出した手の指の本数で数値情報な
どを表現し、それを非接触で読取って認識することによ
り、数値情報などを入力することを特徴とする請求項３
記載の自動機器の操作案内装置。
【請求項７】前記入力手段の第１のモードはキーボー
ドやタッチパネルを用いて各種情報を入力し、第２のモ
ードは操作人物が操作板上に接触した手の指の本数で数
値情報などを表現し、この操作板上に接触した指の本数
を認識することにより、数値情報などを入力することを
特徴とする請求項３記載の自動機器の操作案内装置。
【請求項８】前記入力手段の第１のモードはキーボー
ドやタッチパネルを用いて各種情報を入力し、第２のモ
ードは操作人物の体の振り向き方向に合わせて左右方向
に移動するカーソルを、画面の左右方向に配列表示した
複数の文字からなる文字列の各文字に選択的に合わせる
ことにより所望の情報を入力することを特徴とする請求
項３記載の自動機器の操作案内装置。
【請求項９】健常者が各種情報を入力する第１のモー
ドおよび障害者が各種情報を入力する第２のモードを有
する入力手段を備え、この入力手段を人物が操作するこ
とにより所定の処理を自動的に行なう自動機器を操作す
る人物の上半身を含む画像を連続的に入力する画像入力
手段と、この画像入力手段で入力された画像を一時記憶する画像
記憶手段と、この画像記憶手段に記憶された画像から変化領域を抽出
する変化領域抽出手段と、この変化領域抽出手段で抽出された変化領域が背景変化
によるものか人物によるものかを判別する画像変化判別
手段と、この画像変化判別手段で人物による変化領域であると判
別されたとき、その領域における前記画像入力手段に対
する人物の接近具合を検知する人物接近検知手段と、前記画像変化判別手段で人物による変化領域であると判
別されたとき、その領域における人物の位置や移動方向
を検知する人物位置検知手段と、前記画像変化判別手段で人物による変化領域であると判
別されたとき、その領域における人物の振り向きを検知
する人物振り向き検知手段と、これら人物接近検知手段、人物位置検知手段、および、
人物振り向き検知手段の各検知結果から操作人物の挙動
を解析することにより、操作人物が健常者か障害者かを
判別する人物挙動検知手段と、この人物挙動検知手段の判別結果に応じて前記入力手段
のモードを切換える切換手段と、健常者に対して画像や音声を用いて操作案内する第１の
モードおよび障害者に対して画像や音声を用いて操作案
内する第２のモードを有し、これら第１，第２のモード
が前記人物挙動検知手段の判別結果に応じて切換えられ
る操作案内手段と、操作人物が自動機器の前でどの位置でどの方向に向いて
いるかを検知し、操作人物が操作に適した状態になるよ
う音声で誘導する人物誘導手段と、を具備したことを特徴とする自動機器の操作案内装置。
【請求項１０】前記画像入力手段は、ビデオカメラな
どの撮像手段を主体に構成されていて、この撮像手段
は、その撮像面が自動機器を操作する人物の前面に対し
て下方から上方に向けて斜め上向きになるよう設置され
ていることを特徴とする請求項３または９記載の自動機
器の操作案内装置。
【請求項１１】前記変化領域抽出手段は、画像記憶手
段に記憶された画像から、初期画面を背景画像とする背
景差分画像を生成し、この生成した背景差分画像を２値
化することにより、背景に対して変化した領域を抽出す
ることを特徴とする請求項１０記載の自動機器の操作案
内装置。
【請求項１２】前記画像変化判別手段は、斜め上向き
の撮像手段から得られた人物画像から、背景差分画像の
ヒストグラムにおいてピークを与える差分濃度値の特
徴、および、斜め上向きの撮像手段から得られた人物画
像から、画面の最下部に現れる変化領域の特徴を利用し
て、前記変化領域抽出手段で抽出された変化領域が背景
変化によるものか人物によるものかを判別することを特
徴とする請求項１０記載の自動機器の操作案内装置。
【請求項１３】前記人物接近検知手段は、変化領域抽
出手段で抽出された変化領域の頂上を人物の頭の頂上と
仮定して、斜め上向きの撮像手段から得られた画像とい
う条件から前記頭の頂上位置の上下動、および、前記抽
出された変化領域の面積の増減により人物の接近を検知
することを特徴とする請求項１０記載の自動機器の操作
案内装置。
【請求項１４】前記人物振り向き検知手段は、変化領
域抽出手段で抽出された変化領域において、人物の頭の
頂上位置から縦方向への投影を行なった投影画像に対
し、頭の頂上位置からの垂線よりも左側に位置する領域
の面積と右側に位置する領域の面積とを比較することに
より、人物の向きや振り向きを検知することを特徴とす
る請求項１０記載の自動機器の操作案内装置。