JP2004171476A - ハンドパターンスイッチ装置 - Google Patents

Abstract

【課題】制御対象機器のスイッチをグルーピングし、各グループのスイッチは操作調整形態が類似したものを集合させて関連づけ操作性の向上を図るようにしたハンドパターンスイッチ操作を提供する。
【解決手段】ハンドパターンスイッチ装置は、カメラ３の入力画像から認識される手指の形状により運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し、その上でスイッチ制御対象設定手段１４によりその後の手指の形状や動きを認識してグループ分けした複数の制御対象の中から１つの制御対象を選択し、所定のスイッチ操作情報を出力する。各制御対象における複数のスイッチは、操作・調整形態が類似したものを集合させていることで、関連づけて覚えやすく操作性が向上する。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、車載の制御対象機器の様々な機能を統合した多機能スイッチにおける動作をグルーピングし、機能が類似する複数のスイッチを集合させて操作性の向上を図るようにしたハンドパターンスイッチ装置に関する。
【０００２】
【従来の技術】
車両には走行に直接必要な走行装置として方向指示器、ワイパ、ライト及びミラー等の機器があり、乗員に快適な空間を提供するための快適装備としてオーディオ、空調機器等の機器が搭載されている。これらの各機器は、一つの機能毎に操作スイッチが設けられているためにその個数が機能分だけ必要となり、総数が数十にも及んでいる。車載搭載機器は、増加する傾向にあり、これに伴い操作スイッチが増加することとなる。また、これらの各スイッチは、基本的に運転員が操作するためにインストルメントパネル（以下「インパネ」という）の運転席寄りの位置に集中配置されており、スイッチ数の増加と共に設置が困難となる。
【０００３】
近年、空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転員の身体の一部（例えば左手）を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている（例えば特許文献１参照）。また運転員の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている（例えば特許文献２参照）。
【０００４】
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した掌の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ハンドパターンスイッチ等と称される。そこで、上記各機器の各機能のスイッチを上記ハンドパターンスイッチを適用して多機能スイッチに統合することが考えられる。
【０００５】
【特許文献１】
特開平１１−１３４０９０号公報
【特許文献２】
特開２００１−２１６０６９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記各機器の各機能のスイッチをハンドスイッチに置き換えて多機能スイッチに統合した場合、様々な機能にすることができる反面、機能数の増加と共に操作が極めて複雑となり、かえって操作性が悪化するという問題が発生する。
【０００７】
本発明は、上述の点に鑑みてなされたもので、走行装置及び快適装備等の制御対象機器のスイッチをグルーピングし、各グループのスイッチは操作調整形態が類似したものを集合させて関連づけ操作性の向上を図るようにしたハンドパターンスイッチ装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明に係るハンドパターンスイッチ装置は、所定の撮像領域内におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における掌の動きを検出して所定のスイッチ操作情報を得るものであって、認識した手指の形状又は予め設定された手の動きパターンを検出して複数のスイッチ制御対象の中から１つを選択するスイッチ制御対象設定手段を有し、前記複数のスイッチは、操作調整形態が類似したものが集合されたことを特徴としている。
【０００９】
即ち、本発明に係るハンドパターンスイッチ装置は、入力画像から認識される手指の形状により運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し、その上でその後の手指の形状や動きを認識してグループ分けした複数の制御対象の中から１つの制御対象を選択し、所定のスイッチ操作情報を出力するようにしている。各制御対象における複数のスイッチは、機能を統合して操作・調整形態が類似したものを集合させていることで、関連づけて運転員が覚えやすく、多機能スイッチとしての操作性が向上するようにしている。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図１は、車載に搭載された機器のスイッチを系統立ててグルーピング（分類）したレイアウトの一例を示す。図１に示すように系統１において制御対象としての走行に必要な「走行装置」と、乗員の環境を快適にする「快適装備」とに分類し、走行装置を系統２において方向指示器、ワイパ、ライト及びドアミラーに分類する。同様に快適装備を系統２においてオーディオ機器と空調機器（エアコン）とに分類し、オーディオ機器は、更に系統３においてラジオ、ＣＤ、テープ等に分類する。
【００１１】
そして、系統２、又は系統３において分類した各制御対象機器のスイッチを更に系統４において分類する。そして、各機器のスイッチは、２〜５個として運転員が容易に記憶が可能としている。更に、各機器のスイッチは、機能を統合する即ち、操作・調整形態が類似したものを集合させて、運転員が関連づけて覚えやすくして多機能スイッチとしての操作性の向上を図るようにしている。
【００１２】
例えば、快適装備における「ラジオ」の音量、チャンネル、バンド切替え、周波数調整と、「ＣＤ」の早送り・巻戻し、トラック送り・戻し、リピート、取出しと、「テープ」のリバース、早送り・巻戻し、トラック送り・戻し、取り出しと、「エアコン」の温度、風量、風向、内外気切替とは、操作・調整形態が類似しており（図６参照）、これらの類似したものを集合させている。走行装置における「方向指示器」、「ワイパ」、「ライト」、「ドアミラー」のスイッチにおいても同様である。このように、ライト、オーディオ、空調機器のスイッチのように大きな分類でグルーピングされ、レイアウトされているため、比較的迷うことなく操作が可能である。
【００１３】
次に、上記グルーピングした「快適装備」の制御対象機器のスイッチにハンドパターンスイッチ装置を適用して系統４における複数のスイッチ制御対象の中から１つを選択する操作について説明する。
図２は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現される装置の機能を示している。運転席には運転員（ドライバ）によって操舵されるステアリングホイール（ハンドル）１やコンビネーションスイッチ（図示せず）等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部２が設けられている。このような運転席上方の天井には、ステアリングホイール１の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像する撮像装置としてのビデオカメラ３が設けられている。このカメラ３は、ＣＣＤカメラ等の小型のものからなる。
【００１４】
因みに前記カメラ３による撮像領域Ａは、図３に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０ｍｍ離れた位置、好ましくは１００ｍｍ程度離れた位置として設定されている。またこの撮像領域Ａは、ステアリングホイール１の側方に腕を伸ばした運転員の掌の指先方向に略６００ｍｍ、また掌の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されている。
【００１５】
このようにして設定された撮像領域Ａは、ステアリングホイール１を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ（図示せず）を操作する運転員の手指を撮像することがない領域である。特に運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手指が触れることのない位置である。
【００１６】
尚、このように設定された撮像領域Ａにギヤシフトレバー（図示せず）が配置されているような場合には、撮像領域Ａに伸ばされた手指がギヤシフトレバーを操作している状態であるか、或いはスイッチ操作を行う状態であるかを判定する確認機能を設けておくことが好ましい。この確認機能としては、例えば、ギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域Ａに伸ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。
【００１７】
さて、ハンドパターンスイッチ装置は、基本的には上記カメラ３によって撮像される運転員の手指の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上記操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。
【００１８】
具体的にはハンドパターンスイッチ装置は、図２に示すようにカメラ３によって撮像された入力画像を２値化処理してその背景画像成分を除去し、手指画像だけを抽出する手指抽出部１１と、抽出された手指画像からその掌の重心位置を求める重心検出部１２、掌の重心位置を基準にして該掌を拡げた位置に指画像の存在有無から手指の形状を認識する形状認識部１３とを備える。
【００１９】
更に、ハンドパターンスイッチ装置は、形状認識部１３による認識結果、及び重心検出部１２により検出された掌の重心位置に従って運転員の手指の形状やその動きにより示されるスイッチ操作を認識するスイッチ制御対象手段としての操作指示認識部１４を備える。この操作指示認識部１４は、概略的には上記形状認識部１３にて認識された情報を基にその手指形状を判定（識別）する形状判定部１６、掌の重心位置の移動を追跡して手指の変位を検出する変位量検出部１７、および掌の動きを時間経過として監視するタイマ１８を備える。そして操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手指の形状とその動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を前記オーディオ機器や空調機器等に対して出力するように構成される。
【００２０】
尚、操作指示認識部１４には、上述した判定結果等に従って運転員に対して所定のガイダンス（アナウンス）を行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャンネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。
【００２１】
上述したハンドパターンスイッチ装置において予め設定した手指形状でその手指の位置を所定時間に亘って停止させたとき、この状態を運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し（操作開始認識手段）、その後、手指の形状と動きとに基づくスイッチ操作の検出処理を実行するようにしている。
【００２２】
次に、スイッチ操作動作について説明すると、このハンドパターンスイッチ装置においてはスイッチ操作を指定する手指形状として、例えば図５（ａ）〜（ｄ）に示すような手指パターンが用いられる。具体的には図５（ａ）に示すような握り拳形状の手指パターン［手形状１］、図５（ｂ）に示すような人差し指を立てた指差し形状の手指パターン［手形状２］、図５（ｃ）に示すような親指を立てた手指形状のパターン［手形状３］、そして図５（ｄ）に示すような親指と人差し指とを立てた手指形状のパターン［手形状４］が用いられる。
【００２３】
因みに指差し形状の手指パターンおよびは親指と人差し指とを立てた手指パターンは、スイッチを押圧操作するイメージを表現している。また握り拳形状の手指パターンは、レバー状のスイッチを把持して前後にシフト操作するイメージを表しており、更に親指を立てた手指形状は、待機指示を表すイメージを表している。
【００２４】
さて、図４に示すように運転員がステアリングホイール１を握って車両を操舵している場合には、動作状態Ａ１に示すように運転員の手指は撮像領域Ａから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけであるのでハンドパターンスイッチ装置が作動することはない。
これに対して運転員の手指がステアリングホイール１を外れて動作状態Ａ２に示すように撮像領域Ａ内に入り込むと、これによって手指に対する認識処理が開始される。この場合、例えば手指が握り拳形状［手形状１］をなし、その掌が所定時間（例えば、１秒以上）に亘って移動しない（停止している）とき、この状態を運転員がスイッチ操作を意図していると認識してスイッチ操作情報の入力開始を指示することが望ましい。
【００２５】
しかる後、手指の形状がスイッチを押圧操作する指差し形状のパターン［手形状４］に変更されたか否かを判定する。そして指差し形状のパターンが検出された場合には、動作状態Ａ３に示すように選択スイッチを繰り返し押圧操作（プッシュ）して所定の機器を選択指定するものとして、その動きの検出が行われる。具体的には指差し形状の手指が前後に動く（変位する）ことをその掌の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。この場合、１回のプッシュ動作が検出される都度、例えば、図６（ａ）に示すようにその制御対象機器を「エアコン」，「ラジオ」，「テープ」，「ＣＤ」等として巡回的に選択指定するようにその制御アルゴリズムを設定しておけば良い。特にこの際、１回のプッシュ動作が検出される都度、「ピッ」等の操作確認音を出力するようにしたり、選択された制御対象を音声メッセージとして報知することも有用である。このようなガイダンスにより、運転員はその操作状態を目で確認することなく選択指定した機器を認識することが可能となるので運転操作に専念することが可能となる。そして所望とする制御対象機器が選択された後、手指形状が変化したときにはこの状態を制御対象機器の選択が完了し、運転員が次のスイッチ操作を意図していると認識するようにすれば良い。
【００２６】
具体的には動作状態Ａ５に示すように指差し形状のパターン［手形状２］に変更されたか否かを判定する。そして指差し形状のパターン［手形状２］が前後に移動したとき、これを選択スイッチを繰り返し押圧操作（プッシュ）して所定の制御対象を選択指定するものとして、その動きの検出が行われる。具体的にはこの場合には、指差し形状の手指が前後に動く（変位する）ことを手指の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。そして、１回のプッシュ動作が検出される都度、例えば、図６（ａ）に示すように制御対象機器として「エアコン」が選択されている場合には、その制御対象を「温度」、「風量」、「風向」、「内外気」等として巡回的に選択指定する。また、制御対象機器として「ラジオ」が選択されている場合にはその制御対象を「音量」、「チャンネル」、「ＦＭ／ＡＭ」、「周波数調整」等として巡回的に選択指定する。
【００２７】
同様に制御対象機器として「テープ」が選択されている場合には、その制御対象を「リバース」、「早送り」、「頭出し」、「取出し」等として巡回的に選択指定するようにし、また、制御対象機器として「ＣＤ」が選択されている場合には、その制御対象を「早送り」、「頭出し」、「リピート」、「取出し」等として巡回的に選択指定するようにすれば良い。
【００２８】
そして、上述したように所望とする制御対象を選択したならば、例えば、動作状態Ａ６に示すようにその手指形状を親指を立てたパターン［手形状３］に変更し、制御対象の選択完了と、次に実行すべきスイッチ操作情報の入力開始を指示する。この指示についても手指形状が親指を立てた［手形状３］をなし、その掌が所定時間（例えば１秒以上）に亘って移動しない（停止している）とき、この状態を運転員が次のスイッチ操作を意図していると認識するようにすれば良い。この場合、その確認音として前述した確認音とは異なる「ピー」等の音を発することが好ましい。
【００２９】
その後、動作状態Ａ７に示すように手指形状を握り拳形状［手形状１］に変更し、手指の前後移動によってスイッチ操作情報を入力する。このとき握り拳形状の手指の動きをその重心位置の変位量等から検出し、その動きに対応したスイッチ操作情報を出力する。具体的にはこのスイッチ操作情報の入力においては、前述したプッシュ操作により選択指定された制御対象に応じて検出すべき情報内容を変更する。
【００３０】
即ち、制御対象によってはその制御量（スイッチ操作情報）を大きな変化量で多段階（ステップ的）に変更したいものと、小さい変化量で連続的に細かく変更したいものとがある。従って、選択した操作対象に応じて、例えば手指の動き量（変位量）をスイッチ操作情報とする距離モード（動作状態Ａ８ａ）、所定距離だけ変位した手指の停止時間からそのスイッチ操作情報を求める時間モード（動作状態Ａ８ｂ）、またはこれらのモードを併用した距離・時間モード（動作状態Ａ８ｃ）を選択的に設定する。
【００３１】
因みに上記距離モードは、基準位置からの手の移動量に応じて多段階にスイッチ操作情報を出力するモードであり、ラジオ放送のチャンネル選択や空調設備における風量・風向を選択設定する場合に好適である。また時間モードは、基準位置から変位させた掌の停止時間に応じたスイッチ操作情報を出力するモードであり、オーディオ機器の音量や空調機器における温度等を細かく調節する場合等に好適である。更に前記距離・時間モードは、掌の僅かな移動時にはその移動量に応じたスイッチ操作情報を出力し、掌が所定距離以上移動した場合には、その移動位置での掌の停止時間に応じたスイッチ操作情報を出力するモードである。この距離・時間モードは制御対象を粗調整した後、更に微調整する場合等に好適なものである。
【００３２】
前述した操作指示認識部１４は、上述したように制御対象に応じて選択的に設定される入力モード（距離モード／時間モード／距離・時間モード）に応じて前記撮像領域Ａ内での手の動きを追跡し、手の移動量（変位量とその変位方向）や移動が停止した手の停止時間を計測する。そしてこれらの計測結果に応じたスイッチ操作情報を出力することになる。
【００３３】
尚、各種のスイッチ制御対象と上述した各モードとの対応関係や、スイッチ操作量として検出する内容（検出距離や時間）については予め固定的に設定しておけば良い。しかし前述した操作指示認識部１４が備える、例えば、図７に示す制御画面１４ａを用いてスイッチ操作者（運転員）の好み等に応じて適宜変更し得るようにしておいても良い。具体的には複数のスイッチ制御対象のそれぞれについてどの入力モードでスイッチ操作情報を入力するかを選択的に指定し、また、その検出単位となる掌の変位量（移動距離）や計測時間等をそれぞれ可変設定し得るようにしておけば良い。
【００３４】
尚、上記実施形態においては、制御対象機器として快適装備におけるラジオ、ＣＤ、テープ、及び空調機器のスイッチに多機能スイッチとしてのハンドパターン装置を適用した場合について説明したが、これに限るものではなく、走行装置に適用しても良い。更に、ユーザの要望に応じてハンドスイッチ装置による制御対象機器としてＣＤやテープ等に代えてワイパやドアミラー等の機器に適用すべく変更することも可能である。
【００３５】
更に、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。
また、簡易なシステムにあっては、図６（ｂ）に示すようにその制御対象を「音量」、「チャンネル」、「温度」、「風量」等としてその装置と一括して巡回的に選択するように構成することも可能である。また、情報入力に用いる手指の形状は、上述した例に限定されないことも言うまでもない。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
【００３６】
【発明の効果】
以上説明したように本発明によれば、ハンドパターンスイッチ装置は、入力画像から認識される手指の形状により運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し、その上でその後の手指の形状や動きを認識してグループ分けした複数の制御対象の中から１つの制御対象を選択し、所定のスイッチ操作情報を出力するようにし、各制御対象における複数のスイッチは、機能を統合して操作・調整形態が類似したものを集合させて関連づけることで、比較的迷うことなく操作が可能であり、覚えやすく多機能スイッチとしての操作性の向上が図られる。
【００３７】
また、運転員にとってはスイッチ装置を操作したいときにだけ、手指形状を形作り、撮像領域内で所定時間に亘って手を停止させるだけで良いので、余分な操作負担を掛けることなく簡易に、確実にスイッチ装置を操作することができる。また、ハンドパターンスイッチ装置は、操作者の意図を容易に、確実に判断して意図された手指の形状や動きだけを確実に認識することができ、種々の制御対象に対してスイッチ操作情報を適切に出力することができる。
【図面の簡単な説明】
【図１】本発明に係るハンドパターンスイッチ装置を適用する制御対象機器をグルーピングし、操作調整の形態が類似した複数のスイッチを集合させたレイアウトの一例を示す図である。
【図２】本発明に係わるハンドパターンスイッチ装置の概略構成を示す図である。
【図３】図２に示すハンドパターンスイッチ装置における手指の撮像領域を示す図である。
【図４】ハンドパターンスイッチ装置におけるスイッチ操作情報の指示入力動作の概略的な手順を示す図である。
【図５】ハンドパターンスイッチ装置に対してスイッチ操作指示を与えるための手指形状の一例を示す図である。
【図６】手指によるプッシュ操作に伴う制御対象の選択例を示す図である。
【図７】制御対象に対応付ける入力モードの設定画面の一例を示す図である。
【符号の説明】
１ ステアリングホイール
２ オーディオ機器等の操作部
３ カメラ（撮像装置）
１４ 操作指示認識部（スイッチ制御対象設定手段）
１９ ガイド部

Claims (1)

1. 所定の撮像領域内におかれた手指を撮像し、その入力画像から手指形状を認識すると共に、前記撮像領域内における手の動きを検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置であって、
   認識した手指の形状又は予め設定された手の動きパターンを検出して複数のスイッチ制御対象の中から１つを選択するスイッチ制御対象設定手段を有し、前記複数のスイッチは、操作調整形態が類似したものが集合されたことを特徴とするハンドパターンスイッチ装置。

Images