JP2012185633A - 電子機器、処理システム及び処理プログラム - Google Patents

Abstract

【課題】対象者の動きを適切に検出する電子機器を提供する。
【解決手段】体の第１部分の動きを検出する第１センサ（１３，２３，３３）の検出結果を入力する第１入力部（３２）と、前記第１部分とは異なる体の第２部分の動きを検出する、前記第１センサとは異なる第２センサ（１３，２３，３３）の検出結果を入力する第２入力部（３２）と、前記第１部分と前記第２部分とが、同一人物の一部であるか否かを判定する判定部（４０）と、を備えている。
【選択図】図６

Description

本発明は、電子機器、処理システム及び処理プログラムに関する。

ユーザがカメラに向かってジェスチャーを行なうことで機器を操作するインターフェース装置が提案されている（例えば、特許文献１）。

特開２００４−２４６８５６号公報

しかしながら、従来のインターフェース装置では、ユーザが行った動作がジェスチャーかどうか必ずしも正確に判定することができなかった。

そこで本発明は上記の課題に鑑みてなされたものであり、対象者の動きを適切に検出することが可能な電子機器、処理システム及び処理プログラムを提供することを目的とする。

本発明の電子機器は、体の第１部分の動きを検出する第１センサ（１３，２３，３３）の検出結果を入力する第１入力部（３２）と、前記第１部分とは異なる体の第２部分の動きを検出する、前記第１センサとは異なる第２センサ（１３，２３，３３）の検出結果を入力する第２入力部（３２）と、前記第１部分と前記第２部分とが、同一人物の一部であるか否かを判定する判定部（４０）と、を備える電子機器（１９）である。

この場合において、前記判定部が同一人物の一部であると判定した場合に、前記第１、第２入力部が入力した検出結果に基づいた処理を行う処理部（４０）を備えることができる。

また、前記判定部は、前記第１部分の動きを検出した前記第１センサの位置情報と、前記第２部分の動きを検出した前記第２センサの位置情報と、に基づいて、前記第１部分と前記第２部分とが、同一人物の一部であるか否かを判定することができる。

また、前記第１センサは、前記第１部分と接触して前記第１部分の動きを検出する接触型センサであり、前記第２センサは、前記第２部分と接触して前記第２部分の動きを検出する接触型センサであることとすることができる。

また、前記第１センサと前記第２センサの一方は、手の動きを検出する手検出センサ（２３）であり、前記第１センサと前記第２センサの他方は、足の動きを検出する足検出センサ（１３）であることとすることができる。

また、前記第１センサは、前記第１部分と接触して前記第１部分の動きを検出する接触型センサであり、前記第２センサは、前記第２部分に接触せずに前記第２部分の動きを検出する非接触型センサであることとすることができる。

また、前記第２センサは、頭部の動きを検出する頭部検出センサ（３３）であることとしてもよい。

本発明の電子機器では、前記第１、第２部分とは異なる、体の第３部分の動きを検出する第３センサ（１３，２３，３３）の検出結果を入力する第３入力部（３２）を備えることとしてもよい。

また、体の生体情報の変化を検出する生体センサ（２１）の検出結果を入力する第４入力部（３１）を備えることとしてもよい。

本発明の電子機器は、頭部の動きを非接触にて検出する非接触センサ（３３）の検出結果を入力する第１入力部（３２）と、前記頭部とは異なる体の部分に接触して、当該部分の動きを検出する接触センサ（１３，２３）の検出結果を入力する第２入力部（３２）と、前記第１、第２入力部が入力した検出結果に応じた処理を行う処理部（４０）と、を備える電子機器（１９）である。

この場合において、前記接触センサにより前記動きを検出したときに、前記非接触センサによる検出を行う制御部（４０）を備えることができる。また、前記非接触センサが動きを検出した頭部と、前記接触センサが動きを検出した前記体の部分とが、同一人物の一部であるか否かを判定する判定部（４０）、を備えることができる。

また、前記処理部は、前記判定部による判定の結果、前記非接触センサが動きを検出した頭部と、前記接触センサが動きを検出した前記体の部分とが、同一人物の一部であった場合に、前記第１、第２入力部が入力した検出結果に応じた処理を行うことができる。

また、前記接触センサは、前記体の第１部分の動きを検出する第１センサ（１３，２３、３３）と、前記第１部分とは異なる第２部分の動きを検出する第２センサ（１３，２３、３３）と、を備えていてもよい。

また、体の生体情報の変化を検出する生体センサ（２１）の検出結果を入力する第４入力部（３１）を備えることとしてもよい。

本発明の処理システムは、体の第１部分の動きを検出する第１センサ（１３，２３，３３）と、前記第１部分とは異なる体の第２部分の動きを検出する第２センサ（１３，２３，３３）と、本発明の電子機器（１９）と、を備える処理システム（１００）である。

本発明の処理システムは頭部の動きを非接触にて検出する非接触センサ（３３）と、前記頭部とは異なる体の部分に接触して、当該部分の動きを検出する接触センサ（１３，２３）と、本発明の電子機器（１９）と、を備える処理システム（１００）である。

本発明の処理プログラムは、体の第１部分の動きを検出する第１センサの検出結果を入力する第１入力工程と、前記第１部分とは異なる体の第２部分の動きを検出する、前記第１センサとは異なる第２センサの検出結果を入力する第２入力工程と、前記第１部分と前記第２部分とが、同一人物の一部であるか否かを判定する判定工程と、をコンピュータに実行させる処理プログラムである。

本発明の処理プログラムは、頭部の動きを非接触にて検出する非接触センサの検出結果を入力する第１入力工程と、前記頭部とは異なる体の部分に接触して、当該部分の動きを検出する接触センサの検出結果を入力する第２入力工程と、前記第１、第２入力部が入力した検出結果に応じた処理を行う処理工程と、をコンピュータに実行させる処理プログラムである。

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

本発明の電子機器、処理システム及び処理プログラムは、対象者の動きを適切に検出することができるという効果を奏する。

一実施形態に係るトラブル対応システムの構成を概略的に示す図である。 トラブル対応システムの電車内への実装例を示す図である。 つり革に設けられた圧力センサ及び生体センサを示す図である。 リファレンス画像の一例を示す図である。 電子機器のハードウェア構成図である。 電子機器の機能ブロック図である。 トラブル対応システム（電子機器の処理・制御部）の処理を示すフローチャートである。

以下、一実施形態に係るトラブル対応システム１００について詳細に説明する。図１は、トラブル対応システム１００の概略構成を示すブロック図である。図１に示すように、トラブル対応システム１００は、処理装置１９と、本体部１２と、生体センサ２１と、圧電センサ１３と、圧力センサ２３と、車両センサ１１と、空調部２９と、タイマー２０と、フラッシュメモリ３０と、を備える。

図２にはトラブル対応システム１００の実装例が示されている。この図２に示すように、本実施形態では、トラブル対応システム１００は、電車５０内に設けられるものとする。例えば、処理装置１９や本体部１２は、電車５０の天井部に設けられ、圧電センサ１３は、電車５０の床面に設けられる。また、生体センサ２１や圧力センサ２３は、電車５０内のつり革２２（図３参照）に設けられる。更に、その他の装置についても電車５０内に設けられるものとする。

本体部１２は、図１に示すように、撮像部１４、スピーカ１５、マイク１６、ＬＥＤ（Light Emitting Diode）１８、及び駆動装置９を有する。本体部１２は、各装置を１つのユニットとして構成してもよいが、少なくとも１つの装置を分離配置することとしてもよい。

撮像部１４は、撮影レンズ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、及び撮像素子を制御する制御回路などを有する。撮像部１４は、前述のように電車５０の天井部に設けられているので、主に、乗客の頭部を撮像する。また、撮像部１４は、乗客が天井の方向を見たときに当該乗客の顔を撮像する。なお、撮像部１４が主に頭部を撮像するのは、乗客のプライバシーを守るためである。

スピーカ１５は、車内でトラブルが発生した際にトラブルを抑制するためのアナウンスをしたり、乗客に問いかけてトラブルが発生しているかどうかを確認するためのものである。スピーカ１５は、処理装置１９（処理・制御部４０（図６参照））からの指示に基づいて、例えば“大丈夫ですか”、“落ち着いて下さい”などといった音声合成技術を用いて合成された音声を出力する。スピーカ１５としては、種々のスピーカを用いることができるが、例えば、超音波トランスデューサを有し、限られた方向のみに音声を伝達する指向性スピーカや超指向性スピーカを用いることができる。指向性のあるスピーカを用いた場合、車両全体ではなく、トラブルが起きている付近に向けて音声を発することができる。

マイク１６は、車内の音声を集音するものである。マイク１６では、例えば、トラブル時に乗客から発せられる“助けて”や“キャー”などの音声を集音し、処理装置１９（処理・制御部４０）に入力する。

ＬＥＤ１８は、トラブルが発生している付近に向けて光を照射するものであり、トラブルが発生していることを周りの乗客や駅員などに知らせるものである。

駆動装置９は、例えばボイスコイルモータ等を含み、撮像部１４、スピーカ１５、マイク１６及びＬＥＤ１８の位置・姿勢の調節を行うものである。

上述のように構成される本体部１２は、車両毎に１台もしくは複数台設けることができる（図２では、２台の場合を図示している）。本体部１２を何台設けるかは、例えば、撮像部１４の撮像領域に応じて（車両全体を撮像できるように）決定することができる。

圧電センサ１３は、ピエゾ素子を有し、外部から与えられた力を圧電効果により電圧に変換することで、振動を電気的に検出するものである。多数の圧電センサ１３を車両内の全域をカバーするように配置すれば、車両内のどの位置において振動が生じているかを検出することができる。

例えば、車両内の女性が複数の男性に囲まれて困っており、床（圧電センサ１３）を何回か強く踏んだとする。この場合、圧電センサ１３がその振動を検出して処理装置１９（処理・制御部４０）に当該検出結果を送信することで、処理装置１９（処理・制御部４０）ではトラブル発生の可能性及びその位置を検出することができる。なお、トラブルの検出方法の詳細については、後述する。

タイマー２０は、計時機能を有し、圧電センサ１３が振動を検出した時間を計測するものである。例えば、タイマー２０は、振動が５秒以上続けて検出された場合や、所定時間（例えば３０秒）内に断続的に振動が検出された場合に、処理装置１９（処理・制御部４０）に対してその旨を通知する。

生体センサ２１は、心拍数、血中酸素濃度、血圧などの生体情報を検出するものであり、図１に示すように、ＬＥＤ２４、フォトセンサ２５、発汗センサ２６を有する。ＬＥＤ２４、フォトセンサ２５、発汗センサ２６は、図３に示すように、電車５０内に設けられるつり革２２の手すり部分２２ａに設けられるものとする。具体的には、手すり部分２２ａには、ＬＥＤ２４とフォトセンサ２５が、交互に複数配置されるとともに、ＬＥＤ２４とフォトセンサ２５とを挟むように一対の発汗センサ２６が設けられている。

ＬＥＤ２４とフォトセンサ２５は、ＬＥＤ２４の照射する光を指に当てたときに反射する光をフォトセンサ２５で受光することにより心拍数や血中酸素濃度を検出する。発汗センサ２６は、複数の電極により手のインピーダンスを測定して、発汗量を検出する。なお、ＬＥＤ２４、フォトセンサ２５、発汗センサ２６の数や配置は適宜設定することができる。

また、図３のつり革２２の手すり部分２２ａには、圧力センサ２３も設けられているものとする。圧力センサ２３としては、歪センサを用いてもよいし、静電容量の変化から圧力を検出するセンサを用いてもよい。圧力センサ２３は、乗客がつり革２２につかまっていることを検出したり、あるいは、乗客がトラブルに巻き込まれた場合などにおいてつり革２２を強く握るなどの通常と異なる握り方（ジェスチャー）をしたことを検出する。なお、圧力センサ２３を設ける数や配置は適宜設定することができる。

なお、本実施形態においては、図３に示すように生体センサ２１の一部と、圧力センサ２３を近接配置したが、別々に設けてもよく、また、これらを一つのユニットとしてもよい。なお、つり革２２の位置は、予めわかっており、各つり革２２の位置の情報は、フラッシュメモリ３０等に格納されているものとする。

車両センサ１１は、電車が走行、停止等することで生じる電車自体の振動を検出する振動センサを含む。また、車両センサ１１は、車両内の温度を検出する温度センサを含んでいてもよい。車両センサ１１の検出結果は、処理装置１９（処理・制御部４０）に対して送信される。

空調部２９は、車両内の空調を行なうものであり、本実施の形態においては、撮像部１４により撮像された頭の数（すなわち乗客数）に基づいて、処理装置１９（処理・制御部４０）により制御される。

フラッシュメモリ３０は、各種データを記憶している不揮発性のメモリであり、本実施形態においては、フラッシュメモリ３０には、乗客の頭を基準とした、手、足の位置を示すリファレンス画像が記憶されている。図４は、リファレンス画像の一例を示す図である。図４において、破線で囲まれた領域が、頭の位置を基準とした手の存在範囲（存在している可能性が高い範囲）であり、一点鎖線で囲まれた領域が、頭の位置を基準とした足の存在範囲である。

次に、処理装置１９について、詳細に説明する。処理装置１９は、トラブル対応システム１００全体を制御するものであり、生体センサ２１や圧電センサ１３、圧力センサ２３等の出力に基づいて、車両内でトラブルが発生しているかどうかの判断を行う。また、処理装置１９は、トラブルが発生した際にトラブルが沈静化するような動作・処理を、本体部１２等に行わせる。

図５には、処理装置１９のハードウェア構成図が示されている。この図５に示すように、処理装置１９は、ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６等を備えており、処理装置１９の構成各部は、バス９８に接続されている。処理装置１９では、ＲＯＭ９２あるいはＨＤＤ９６に格納されている処理プログラムをＣＰＵ９０が実行することにより、図６の各部の機能が実現される。

図６には、処理装置１９の機能ブロック図が示されている。この図６に示すように、処理装置１９は、ＣＰＵ９０が処理プログラムを実行することで、生体情報入力部３１、動作情報入力部３２、顔認識部３３、音声認識部３４、及び処理・制御部４０としての機能を発揮する。

生体情報入力部３１には、生体センサ２１において検出された検出結果が入力される。生体情報入力部３１は、入力された情報を、処理・制御部４０に対して出力する。

動作情報入力部３２には、圧電センサ１３、圧力センサ２３において検出された検出結果、及び後述する顔認識部３３の認識結果が入力される。動作情報入力部３２は、入力された情報を、処理・制御部４０に対して出力する。

顔認識部３３は、撮像部１４が撮像した画像を取得し、当該画像中の顔画像を検出するものである。顔認識部３３は、目、鼻、口といった顔の特徴部分を画像として検出することにより顔と判定する。本実施形態においては、撮像部１４が車両の天井部に設けられているため、顔認識部３３は、撮像部１４で撮像した画像に含まれる略円形状の画像が、頭部であるか、顔であるかを判別しているとも言える。また、顔認識部３３は、頭部の動きを非接触にて検出するものでもある。なお、車内においては天井を見るために顔を動かすことが難しい状況もある。したがって、顔認識部３３は、乗客があごを上げて額と目が撮像部１４に撮像されたときに、顔の検出が行われたとするアルゴリズムを採用してもよい。

音声認識部３４は、音声認識辞書を有しており、当該音声認識辞書を用いて、マイク１６から入力された音声の識別を行う。本実施形態では、音声認識辞書には、“助けて”、“キャー”というような、非常時に発する音声が登録されているものとする。なお、マイク１６から処理・制御部４０に対しては、音声のみならず、集音された音声の大きさ（ｄＢ）も入力されるものとする。なお、図６では、音声認識部３４に、マイク１６から処理装置１９に入力された音声が、処理・制御部４０を介して入力されているが、これに限られるものではない。マイク１６から音声認識部３４に直接音声が入力されることとしてもよい。

処理・制御部４０は、処理装置１９内部又は外部から入力される情報を用いて、各種処理を行ったり、処理装置１９内部又は外部の装置の制御を行ったりする。例えば、処理・制御部４０は、フラッシュメモリ３０に記憶されているリファレンス画像を用いることで、顔認識部３３で認識された頭又は顔の画像を基準として、生体センサ２１、圧電センサ１３、圧力センサ２３の出力が同一人物（一人の乗客）からの出力であるかどうかを判別する。この場合、リファレンス画像を拡大、縮小、回転させて乗客とのパターンマッチングを行うことにより同一人物かどうかの判別を行うものとする。なお、処理・制御部４０は、リファレンス画像の拡大、縮小を、頭の大きさに基づいて行うことができる。このようにするのは、頭の大きさに応じて体格が異なるためである。なお、処理・制御部４０は、ジェスチャーを検出した圧力センサ２３及び生体情報の変化を検出した生体センサ２１の位置を、つり革２２の位置情報（フラッシュメモリ３０等に格納されている）に基づいて取得することができる。なお、リファレンス画像として男性用、女性用、子供用などをそれぞれの平均的な体格からフラッシュメモリ３０に記憶させてもよい。

また、処理・制御部４０は、生体センサ２１や圧電センサ１３、圧力センサ２３の検出結果に基づいて、乗客が車内でトラブルに巻き込まれたか否かを判断する。ここで、トラブルに巻き込まれた乗客は、生体情報が変化したり、あるいは床を何回か踏むというジェスチャー（アクション）や、つり革２２を強く握るというジェスチャー（アクション）や、顔を上げて天井を見るといったジェスチャー（アクション）を行う。また、トラブルに巻き込まれた乗客は、恐怖のあまりに足がガタガタ震えだしたり、つり革２２を無意識に強くにぎることがあるため、乗客は無意識にジェスチャー（アクション）を行なうことができる。したがって、処理・制御部４０は、生体センサ２１や圧電センサ１３、圧力センサ２３、顔認識部３３からの情報に基づいて、トラブルの発生の有無を判断することができる。なお、圧電センサ１３、圧力センサ２３、顔認識部３３は、上記のようなジェスチャー（アクション）を検出しているので、ジェスチャー（アクション）検出部であるともいえる。以下においては、圧電センサ１３、圧力センサ２３、顔認識部３３を纏めて、ジェスチャー検出部（１３，２３，３３）と呼ぶものとする。

また、処理・制御部４０は、前述した本体部１２を駆動する駆動装置９を制御して、トラブルが発生した場所に向けて、音声や光を発したり、トラブルが発生した場所で発せられる音声を集音する。更に、処理・制御部４０は、生体センサ２１や圧電センサ１３、圧力センサ２３、顔認識部３３からの情報に基づいてトラブルが発生したと判断したタイミングで、マイク１６などのスイッチをオンにする（通常はオフの状態が維持される）ような制御を行うこともできる。これにより、省エネルギー化を図ることができる。また、省エネルギー化の観点からすると、処理・制御部４０は、つり革２２に設けられたＬＥＤ２４やフォトセンサ２５の近傍の圧力センサ２３で、乗客がつり革につかまったことを検出している間だけ、ＬＥＤ２４を発光させるようにしてもよい。

次に、上述したように構成されるトラブル対応システム１００の処理・動作について、図７のフローチャートに沿って説明する。

図７の処理では、ステップＳ１０において、生体情報入力部３１が生体センサ２１から入力される生体情報を、処理・制御部４０に入力する。具体的には、生体情報入力部３１は、処理・制御部４０に対して、ＬＥＤ２４およびフォトセンサ２５で検出された心拍数および血中酸素濃度を入力するとともに、発汗センサ２６で検出された発汗量を入力する。なお、生体センサ２１から生体情報入力部３１に入力される生体情報は、１つの情報であっても複数の情報であってもよい。また、生体情報には、例えば血圧の情報などが含まれていてもよい。なお、ステップＳ１０では、生体情報入力部３１は、複数の乗客の生体情報を、処理・制御部４０に繰り返し入力するものとする。

次いで、ステップＳ１２では、圧電センサ１３、圧力センサ２３の検出情報及び顔認識部３３の認識結果を用いて、処理・制御部４０が、ジェスチャーの検出を行う。なお、本実施形態では、圧電センサ１３、圧力センサ２３、顔認識部３３を利用してジェスチャー検出を行うが、トラブル検出のシチュエーションに応じて、圧電センサ１３、圧力センサ２３、顔認識部１７の少なくとも１つを利用してジェスチャー検出を行うこととしてもよい。また、圧電センサ１３、圧力センサ２３、顔認識部１７とは別のセンサを利用してジェスチャー検出を行うこととしてもよい。なお、処理・制御部４０は、生体センサ２１による生体情報の検出と、圧電センサ１３又は圧力センサ２３によるジェスチャー検出の少なくとも一方があった場合に、撮像部１４による撮像を行い、それ以外の場合は撮像部１４のスイッチをオフにしておく（又は電源を供給しない）こととしてもよい。

なお、ステップＳ１０とステップＳ１２の実行順は入れ替えてもよい。この場合、ステップＳ１０において圧力センサ２３からの出力がなかったつり革２２においては、ステップＳ１２の生体センサ２１による検出を省略してもよい。この場合、生体センサ２１への電力供給を、同一のつり革２２に設けられた圧力センサ２３による圧力の検出タイミングで行うこととしてもよい。

次いで、ステップＳ１４では、処理・制御部４０が、ステップＳ１０，Ｓ１２の結果に基づき電車５０内でトラブルが発生しているか否かの判断を行う。具体的には、まず、処理・制御部４０は、フラッシュメモリ３０に記憶されているリファレンス画像（図４）を用いて、乗客の頭又は顔の位置と、生体センサ２１及びジェスチャー検出部（圧電センサ１３、圧力センサ２３）の位置関係（手と足の位置関係）から、どの乗客の生体情報が変化しているか、どの乗客がジェスチャーをしているか、及び、それは同一の乗客かどうかを判断する。そして、処理・制御部４０は、乗客が特定できた後に、トラブルが発生しているかどうかを判断する。この場合、処理・制御部４０は、以下の（ａ）〜（ｃ）の判断基準を満たしている場合に、トラブルが発生していると判断する。

（ａ） 同一の乗客に関し、生体センサ２１が、心拍数もしくは血中酸素濃度の変化を検出するとともに、ジェスチャー検出部（１３，２３，３３）の少なくとも１つが乗客のジェスチャーを検出した場合。
（ｂ） 車両センサ１１（温度センサ）による検出の結果、車内の温度が高くない（例えば、２３℃以下）にもかかわらず、同一の乗客に関し、発汗センサ２６が所定量以上の発汗を検出し、かつジェスチャー検出部（１３，２３，３３）の少なくとも１つのセンサが乗客のジェスチャーを検出した場合。
（ｃ） 同一の乗客に関し、圧力センサ２３の出力がない（すなわち生体センサ２１からの出力も得られていない）が、圧電センサ１３と顔認識部３３から所定量以上のジェスチャーを検出した場合。

なお、車両内に乗客の体温を検出することが可能な赤外線センサを設ける場合には、処理・制御部４０は、以下の（ｄ）の判断基準を満たす場合に、トラブルが発生していると判断してもよい。
（ｄ） 同一の乗客に関し、圧力センサ２３の出力がないが、赤外線センサにて体温の上昇が検出されるとともに、圧電センサ１３と顔認識部１７との少なくとも一方から所定量以上のジェスチャーを検出した場合。

ここで、赤外線センサは、乗客から出ている赤外線放出エネルギー量を検出して、温度に変換するものであり、広い範囲の表面温度の分布を検出することができる。この場合、乗客の頭部の温度変化を検出して、トラブル発生の検出ができる。赤外線カメラのような非接触のセンサを用いれば、乗客に特別なセンサを持たせる（掴ませる）ことなく、乗客の生体情報を入手することができる。

なお、上記（ａ）〜（ｄ）の判断では、処理・制御部４０は、タイマー２０の計時結果に基づいて、生体センサ２１の出力値の変化が５秒以上続いた場合、もしくは生体センサ２１の出力値が３０秒以内に断続的に変化している場合に、生体センサ２１の出力値の変化があったと判断する。ただし、これに限らず、処理・制御部４０は、生体センサ２１の出力値の変化が大きい場合（例えば変化量が元の値の１０％以上となった場合）に、生体情報の変化があったと判断することとしてもよい。また、処理・制御部４０は、タイマー２０の計時結果に基づいて、ジェスチャー検出部（１３，２３，３３）の出力値の変化が５秒以上続いた場合、もしくはジェスチャー検出部（１３，２３，３３）の出力値が３０秒以内に断続的に変化している場合に、乗客がジェスチャーを行ったと判断する。

また、電車が急停車した場合や、揺れが大きい場合、あるいは乗客が乗り降りする場合などにおいては、ジェスチャー検出部（１３，２３，３３）の検出結果が、トラブル発生時と同様の検出結果となる場合がある。このような場合に、トラブルが発生したと判断することが無いようにするため、処理・制御部４０は、車両センサ１１の検出結果を考慮して、トラブル発生有無の判断を行うこととしてもよい。

上記のような判断により、ステップＳ１４の判断が肯定された場合には、ステップＳ２２に移行し、否定された場合には、ステップＳ１６に移行する。

ステップＳ１６に移行した場合、処理・制御部４０は、トラブルが発生しているかいないかが明確に判断できないかどうか（すなわち、確認が必要かどうか）を判断する。具体的には、処理・制御部４０は、以下の（Ａ）及び（Ｂ）のいずれかの条件を満足するか否かに基づいた判断を行う。

（Ａ） 生体センサ２１が生体情報の変化を検出している一方、ジェスチャー検出部（１３，２３，３３）の検出結果からはジェスチャーが行われていることを確認できない場合。
（Ｂ） 圧力センサ２３の検出結果からジェスチャーが行われていることを確認できる場合で、生体センサ２１が生体情報の変化を検出しておらず、圧電センサ１３の検出結果及び顔認識部３３の認識結果の少なくとも一方からジェスチャーが行われていることを確認できる場合。

上記（Ａ）、（Ｂ）のいずれかの条件を満たす場合には、ステップＳ１６の判断が肯定され、ステップＳ１８に移行する。一方、上記（Ａ）、（Ｂ）のいずれの条件も満たさない場合には、トラブルが発生している可能性はほとんどないとして、ステップＳ１６の判断が否定され、ステップＳ１０に戻る。

ステップＳ１８に移行した場合、処理・制御部４０は、ステップＳ１４で特定した乗客に対して確認を行う。具体的には、処理・制御部４０は、スピーカ１５及びマイク１６を駆動装置９により駆動して、特定した乗客に向け、スピーカ１５を用いて“大丈夫ですか？”などの音声で問い掛けを行う。また、処理・制御部４０は、問い掛けたタイミングでマイク１６のスイッチをオンにして、問い掛けに対する乗客からの応答音声を取得する。そして、処理・制御部４０は、応答音声を音声認識部３４に送信し、音声認識部３４による音声認識結果を取得する。

次いで、ステップＳ２０では、処理・制御部４０が、音声認識部３４の認識結果及びステップＳ１６からステップＳ１８の間の生体センサ２１およびジェスチャー検出部（１３，２３，３３）の出力に基づいて、トラブルが発生しているか否かを判断する。例えば、処理・制御部４０は、音声認識部３４の認識結果が“大丈夫です”などであった場合にはトラブルがなかったと判断し、“助けて”や“キャー”などであった場合には、トラブルが発生していると判断する。また、例えば、乗客からの応答音声が無い一方、当該乗客においてジェスチャーがされた場合には、トラブルが発生していると判断する。なお、処理・制御部４０は、集音された応答音声の大きさ（ｄＢ）を考慮して、トラブルの発生有無を判断してもよい。

ステップＳ２０の判断が否定された場合（トラブルが発生していない場合）には、ステップＳ１０に戻るが、肯定された場合（トラブルが発生していた場合）には、ステップＳ２２に移行する。

上記ステップＳ２０の判断、又は前述したステップＳ１４の判断が肯定されて、ステップＳ２２に移行すると、処理・制御部４０は、トラブル抑制処理を実行する。

具体的には、処理・制御部４０は、トラブルを抑制するために、駆動装置９を制御して、撮像部１４、スピーカ１５、マイク１６及びＬＥＤ１８を特定した乗客（トラブルに巻き込まれた乗客）及びその周辺に向ける。そして、処理・制御部４０は、スピーカ１５から、“どうかしましたか”、“大丈夫ですか”などと問い掛けを行ったり、スピーカ１５から“トラブルが発生した恐れがありますので、状況を記録いたします”などとアナウンスした後、撮像部１４により撮像した映像やマイク１６により集音した音声をフラッシュメモリ３０に記録する。また、処理装置１９は、ＬＥＤ１８を発光させ、特定した乗客がいる付近に向け光を照射する。処理・制御部４０が、ステップＳ２２を実行すれば、車内で痴漢行為が行われているような場合に、痴漢行為の実行者は行為続行を躊躇する可能性が高い。これにより、その後の痴漢行為の発生を抑制することが可能となる。なお、処理・制御部４０は、上記アナウンス、撮像、録音、照射のうちの少なくとも１つの動作を行うこととしてもよい。例えば、ＬＥＤ１８の発光は、撮像部１４の撮像結果、圧電センサの検出結果などから、乗車率が高いと判断できる場合、あるいは夜間などにおいてのみ、行うこととしてもよい。

次いで、ステップＳ２４では、処理・制御部４０は、トラブルが沈静化したか否かの確認を行う。この場合、処理・制御部４０は、前述したステップＳ１８と同様、スピーカ１５を用いた問い掛けを行い、マイク１６から取得した応答音声の音声認識部３４による認識結果に基づいて、トラブルが沈静化したか否かを判断する。なお、処理・制御部４０は、生体センサ２１、ジェスチャー検出部（１３，２３，３３）の検出結果に基づいてトラブルが沈静化したか否かを判断することとしてもよい。この場合、生体センサ２１、ジェスチャー検出部（１３，２３，３３）の検出結果が正常の値に戻っていれば、トラブルが沈静化したと判断することができる。

ステップＳ２４における判断が肯定された場合には、ステップＳ１０に戻る。一方、ステップＳ２４の判断が否定された場合には、ステップＳ２６に移行する。ステップＳ２６では、処理・制御部４０は、次の停車駅の駅員にトラブルが発生している車両を通知する。この場合、処理・制御部４０は、図４のＣＰＵによって実現される通信機能（電話機能やメール機能など）や、処理装置に接続される通信装置を用いて、次の停車駅の駅員に通知することができる。

以上の処理を、電車運行中に繰り返し実行することで、電車内におけるトラブル発生の検出及びトラブルの沈静化を図ることが可能となる。

以上、詳細に説明したように、本実施形態によると、処理・制御部４０は、生体情報入力部３１から入力される電車内の乗客の生体情報の変化を検出する生体センサ２１の検出結果と、動作情報入力部３２から入力される乗客の動作を認識するジェスチャー検出部（１３，２３，３３）の認識結果とに基づいて、乗客の動作（ジェスチャー）に応じた処理を行う。すなわち、処理・制御部４０は、ジェスチャー検出部（１３，２３，３３）が認識した動作に加えて、生体センサ２１の検出結果を考慮した処理（トラブル発生有無の判断やトラブル沈静化の処理）を行うことで、乗客の動作に応じた適切な処理を行うことができる。

また、本実施形態によると、ジェスチャー検出部（１３，２３，３３）が、異なる複数のセンサを有しており、処理・制御部４０は、生体情報入力部３１への生体情報の変化の入力がない場合でも、動作情報入力部３２が入力する複数のセンサの認識結果に基づいて、乗客の動作に応じた処理を行うこととしている。したがって、複数のセンサの動作（ジェスチャー）の認識結果に基づく処理を行うことで、乗客の動作に応じた処理をより適切に行うことが可能となる。

また、本実施形態によると、ジェスチャー検出部が、非接触センサである顔認識部３３と、圧電センサ１３や圧力センサ２３などの接触式のセンサとを含んでおり、処理・制御部４０は、接触式のセンサが乗客の動作を認識したときに、撮像部１４による撮像を行う。これにより、撮像部１４は、接触式のセンサが乗客の動作を認識するまでの間、電源をオフにすることができるので省エネルギー化を図ることが可能となる。

また、本実施形態によると、撮像部１４は、接触式のセンサよりも上方（天井部）に設けられているので、撮像部１４では、主に乗客の頭を撮像することができる。これにより、乗客のプライバシーを守ることが可能となる。

また、本実施形態によると、ジェスチャー検出部の少なくとも一部（本実施形態では圧力センサ２３）が、生体センサ２１の近傍に設けられているので、ジェスチャーを行った手自体の生体情報の変化を生体センサ２１で検出することができる。この場合、ジェスチャーと生体情報の変化の関連が高いため、乗客の動作に応じた処理をより適切に行うことが可能となる。

また、本実施形態によると、処理・制御部４０は、乗客の動作に応じた処理として、乗客に向けてスピーカ１５から音を出力する処理を行うので、乗客への問い掛けや乗客の行為に対する注意などを行うことができる。これにより、トラブル発生有無の判断やトラブル抑制の処理を適切に行うことができる。

また、本実施形態では、スピーカ１５が、限られた方向に音を出力する指向性スピーカとすることができる。この場合、乗客への問い掛けや注意を、特定の乗客（ジェスチャーを行った乗客）やその周囲の乗客に限定して、行うことができる。

また、本実施形態によると、処理・制御部４０は、音声を入力するマイク１６から乗客が発する音声を受け付け、音声認識部３４に音声を識別させるので、処理・制御部４０は、乗客が発した音声の意味に基づいた適切な処理（トラブル発生の確認など）を行うことが可能となる。

また、本実施形態では、乗客の生体情報が変化している時間と、乗客のジェスチャーが認識されている時間と、を計時するタイマー２０を備えており、処理・制御部４０は、生体情報入力部３１及び動作情報入力部３２の入力結果と、タイマー２０の計時結果と、に応じた処理を実行する。例えば、処理・制御部４０は、入力結果の変化が５秒以上続けて検出された場合や、所定時間（例えば３０秒）内に断続的に入力結果が変化した場合に、ジェスチャーが行われたと判断して、処理を実行するようにする。これにより、ジェスチャーが行われたことの判断を適切に行うことができ、ひいては処理を適切に実行することが可能となる。

また、本実施形態では、乗客が、電車という移動可能な装置内に存在しており、処理・制御部４０は、電車の動きを検出する車両センサ１１の検出結果を考慮して、処理を行うこととしている。すなわち、急な加減速、停止、乗客の昇降などにおいて生じる電車の動きを考慮することで、電車の動きに起因する乗客の動作があっても乗客のジェスチャーの有無を適切に判断することができ、ひいては、適切な処理を行うことが可能となる。

また、本実施形態では、動作情報入力部３２が、乗客の手の動きを検出する圧力センサ２３の検出結果、足の動きを検出する圧電センサ１３の検出結果、及び頭部の動きを検出する顔認識部３３の認識結果を入力し、処理・制御部４０が、手、足、頭部が同一人物の一部であるか否かを判定するので、処理・制御部４０は、同一人物の手、足、頭部の動きの検出結果を関連付けることが可能となる。また、本実施形態では、処理・制御部４０は、同一人物の手、足、頭の動きの検出結果に基づいた処理を行うので、手、足、頭部の動きに基づいた適切な処理を行うことができる。

また、本実施形態では、処理・制御部４０は、手の動きを検出した圧力センサ２３の位置情報、足の動きを検出した圧電センサ１３の位置情報に基づいて、手と足とが、同一人物のものであるか否かを判定するので、位置情報に基づく適切な判定が可能となる。

また、本実施形態では、動作情報入力部３２に加えて、乗客の生体情報の変化を検出する生体センサ２１の検出結果を入力する生体情報入力部３１を備えているので、ジェスチャーと生体情報の変化とに基づいた適切な処理を行うことが可能となる。

また、本実施形態では、処理・制御部４０は、顔認識部３３から入力される、頭部の動きと頭部以外（手や足）の動きとに基づいた処理を行うので、頭部の動きや頭部以外の動きいずれかに基づいた処理を行う場合と比べて、適切な処理を行うことが可能となる。

なお、上記実施形態では、処理装置１９が、音声認識部３４、顔認識部３３の機能を有する場合について説明した。しかしながら、これに限られるものではなく、音声認識部３４と同等の機能を有する装置や顔認識部３３と同等の機能を有する装置（ＣＰＵなど）が、処理装置１９の外部に設けられることとしてもよい。

なお、上記実施形態では、圧電センサ１３に代えて、又はこれとともに、乗客が身に付ける加速度センサをジェスチャー検出部の一部として採用することとしてもよい。加速度センサは、例えば、靴に内蔵する又は取り付けることとする。加速度センサの情報は、処理装置１９又はフラッシュメモリ３０に登録しておく。そして、乗客が車内で床を踏むジェスチャーを行った際には、加速度センサの検出結果が、無線通信などにより処理装置１９（動作情報入力部３２）に入力される。このようにすることで、圧電センサ１３を利用した場合と同様の処理を行うことが可能となる。また、加速度センサをつま先部分とかかと部分にそれぞれ設けることとすれば、車内でどのような姿勢になった場合でも、乗客が行った床を踏むというジェスチャーを検出することが可能となる。このように加速度センサを使用した場合には、トラブルの発生をより正確に検出することが可能である。

なお、上記実施形態では、生体センサ２１をつり革２２に設ける場合について説明したが、これに限られるものではない。例えば、生体センサ２１を乗客が身に付ける時計型の装身具や指輪型の装身具に設けることとしてもよい。この場合、装身具には無線ユニットを設けておき、無線ユニットを用いて生体センサ２１が検出した生体情報を無線送信するようにする。また、生体センサ２１は、処理装置１９に登録しておく。この場合、乗客が生体センサ２１を身につけておけば、例えば乗客が痴漢行為を受け心拍数が上昇したときに（すなわち、生体情報が変化したときに）、無線ユニットを用いて処理装置１９に痴漢行為の発生の可能性を通知することができる。また、この場合、痴漢行為を受けている乗客がつり革を掴んでいなくてもよいため、より正確にトラブルの発生を検出することができる。

なお、上記実施形態では、処理装置１９が車両内に設けられた場合について説明したが、これに限られるものではない。例えば、処理装置１９は、車両外（例えば駅や鉄道管制施設など）に設けることとしてもよい。この場合、図１に示す処理装置１９以外の各部と、処理装置１９とが通信可能である必要がある。

なお、上記実施形態では、車両内のつり革２２に生体センサ２１や圧力センサ２３を設ける場合について説明したが、これに限らず、車両内に設けられた棒状の手すりに生体センサ２１や圧力センサ２３を設けることとしてもよい。

なお、トラブル対応システム１００は、電車内に設ける場合に限らず、バスやエレベータなど人が搭乗することが可能な移動装置内に設置することが可能であり、これに加えて、学校、病院、銀行、商業施設、自宅などへ設置することも可能である。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１１ 車両センサ
１３ 圧電センサ
１５ スピーカ
１６ マイク
１９ 処理装置
２０ タイマー
２１ 生体センサ
２３ 圧力センサ
３１ 生体情報入力部
３２ 動作情報入力部
３３ 顔認識部
３４ 音声認識部
４０ 処理・制御部
５０ 電車
９０ ＣＰＵ
１００ トラブル対応システム

Claims (19)

1. 体の第１部分の動きを検出する第１センサの検出結果を入力する第１入力部と、
   前記第１部分とは異なる体の第２部分の動きを検出する、前記第１センサとは異なる第２センサの検出結果を入力する第２入力部と、
   前記第１部分と前記第２部分とが、同一人物の一部であるか否かを判定する判定部と、を備えることを特徴とする電子機器。
2. 前記判定部が同一人物の一部であると判定した場合に、前記第１、第２入力部が入力した検出結果に基づいた処理を行う処理部を備えることを特徴とする請求項１記載の電子機器。
3. 前記判定部は、前記第１部分の動きを検出した前記第１センサの位置情報と、前記第２部分の動きを検出した前記第２センサの位置情報と、に基づいて、前記第１部分と前記第２部分とが、同一人物の一部であるか否かを判定することを特徴とする請求項１又は２に記載の電子機器。
4. 前記第１センサは、前記第１部分と接触して前記第１部分の動きを検出する接触型センサであり、
   前記第２センサは、前記第２部分と接触して前記第２部分の動きを検出する接触型センサであることを特徴とする請求項１〜３のいずれか一項に記載の電子機器。
5. 前記第１センサと前記第２センサの一方は、手の動きを検出する手検出センサであり、
   前記第１センサと前記第２センサの他方は、足の動きを検出する足検出センサであることを特徴とする請求項１〜４のいずれか一項に記載の電子機器。
6. 前記第１センサは、前記第１部分と接触して前記第１部分の動きを検出する接触型センサであり、
   前記第２センサは、前記第２部分に接触せずに前記第２部分の動きを検出する非接触型センサであることを特徴とする請求項１〜３のいずれか一項に記載の電子機器。
7. 前記第２センサは、頭部の動きを検出する頭部検出センサであることを特徴とする請求項１〜３及び６のいずれか一項に記載の電子機器。
8. 前記第１、第２部分とは異なる、体の第３部分の動きを検出する第３センサの検出結果を入力する第３入力部を備えることを特徴とする請求項１〜７のいずれか一項に記載の電子機器。
9. 体の生体情報の変化を検出する生体センサの検出結果を入力する第４入力部を備えることを特徴とする請求項１〜８のいずれか一項に記載の電子機器。
10. 頭部の動きを非接触にて検出する非接触センサの検出結果を入力する第１入力部と、
    前記頭部とは異なる体の部分に接触して、当該部分の動きを検出する接触センサの検出結果を入力する第２入力部と、
    前記第１、第２入力部が入力した検出結果に応じた処理を行う処理部と、を備えることを特徴とする電子機器。
11. 前記接触センサにより前記動きを検出したときに、前記非接触センサによる検出を行う制御部を備えることを特徴とする請求項１０に記載の電子機器。
12. 前記非接触センサが動きを検出した頭部と、前記接触センサが動きを検出した前記体の部分とが、同一人物の一部であるか否かを判定する判定部、を備えることを特徴とする請求項１０又は１１に記載の電子機器。
13. 前記処理部は、前記判定部による判定の結果、前記非接触センサが動きを検出した頭部と、前記接触センサが動きを検出した前記体の部分とが、同一人物の一部であった場合に、前記第１、第２入力部が入力した検出結果に応じた処理を行うことを特徴とする請求項１０〜１２のいずれか一項に記載の電子機器。
14. 前記接触センサは、前記体の第１部分の動きを検出する第１センサと、前記第１部分とは異なる第２部分の動きを検出する第２センサと、を備えていることを特徴とする請求項１０〜１３のいずれか一項に記載の電子機器。
15. 体の生体情報の変化を検出する生体センサの検出結果を入力する第４入力部を備えることを特徴とする請求項１０〜１４のいずれか一項に記載の電子機器。
16. 体の第１部分の動きを検出する第１センサと、
    前記第１部分とは異なる体の第２部分の動きを検出する第２センサと、
    請求項１〜９のいずれか一項に記載の電子機器と、を備える処理システム。
17. 頭部の動きを非接触にて検出する非接触センサと、
    前記頭部とは異なる体の部分に接触して、当該部分の動きを検出する接触センサと、
    請求項１０〜１５のいずれか一項に記載の電子機器と、を備える処理システム。
18. 体の第１部分の動きを検出する第１センサの検出結果を入力する第１入力工程と、
    前記第１部分とは異なる体の第２部分の動きを検出する、前記第１センサとは異なる第２センサの検出結果を入力する第２入力工程と、
    前記第１部分と前記第２部分とが、同一人物の一部であるか否かを判定する判定工程と、をコンピュータに実行させることを特徴とする処理プログラム。
19. 頭部の動きを非接触にて検出する非接触センサの検出結果を入力する第１入力工程と、
    前記頭部とは異なる体の部分に接触して、当該部分の動きを検出する接触センサの検出結果を入力する第２入力工程と、
    前記第１、第２入力部が入力した検出結果に応じた処理を行う処理工程と、をコンピュータに実行させることを特徴とする処理プログラム。

Images