JP7091983B2 - 機器制御装置 - Google Patents

Description

本発明は、電子機器を制御するための機器制御装置に関する。

特許文献１には、ユーザの手先の形状、位置、姿勢を認識し、ユーザの手先の形状やその状態変化の時系列情報を基に制御対象機器に対する制御コマンドを出力する情報入力装置が記載されている。

特開２０１３－２０５９８３号公報

特許文献１に記載の情報入力装置を車載機器の操作に適用した場合、車両の走行中の振動等の影響があるため、手先の形状やその状態変化の提示をユーザが正確に行うことが困難である。したがって、手先の形状やその状態変化の時系列情報に基づいて車載機器を操作する構成では、ユーザの意図した車載機器の操作ができなかったり、ユーザが意図しない車載機器の操作が行われたりする可能性がある。

それ故に、本発明は、車載機器に対するユーザの操作指示を精度良く判別できる機器制御装置を提供することを目的とする。

本発明は、車両に搭載された機器を制御する機器制御装置に関する。車両に搭載された機器を制御する機器制御装置であって、車両の乗員の画像を撮像する撮像部と、撮像部によって撮像された画像に基づいて、乗員の姿勢を認識する第１の認識部と、撮像部によって撮像された画像に基づいて、少なくとも乗員の手の形状を含む、手の状態を認識する第２の認識部と、第１の認識部によって認識された乗員の姿勢と、第２の認識部によって認識された手の状態とに基づいて、制御対象の機器及び実行する動作を特定する判別処理部と、特定された制御対象の機器及び実行する動作に対応する制御コマンドを発行する制御部とを備え、制御部は、制御コマンドを発行した後、制御コマンドの発行契機となった乗員の姿勢または手の状態が変化した場合、または、予め定められた乗員の姿勢または手の状態が更に検出された場合に、制御コマンドによって指示した動作を中止または変更させる補助コマンドを発行する。

本発明によれば、車載機器に対するユーザの操作指示を精度良く判別できる機器制御装置を提供できる。

第１の実施形態に係る機器制御装置の機能ブロック図 第１の実施形態に係る機器制御装置が実行する制御処理を示すフローチャート 乗員の姿勢検出方法の一例を説明するための図 第１の実施形態に係る機器制御装置が参照する判別処理テーブルの一例を示す図 第１の実施形態の変形例に係る機器制御装置が参照する判別処理テーブルの一例を示す図 第１の実施形態の変形例に係る機器制御装置が実行する制御処理を示すフローチャート 第２の実施形態に係る機器制御装置の機能ブロック図 第２の実施形態に係る機器制御装置が実行する制御処理を示すフローチャート 第３の実施形態に係る機器制御装置の機能ブロック図

実施形態に係る機器制御装置においては、乗員の姿勢と手の形状との組み合わせに基づいて、予め割り当てられた制御を行う。制御対象機器及び制御内容の判別に乗員の姿勢を組み入れることにより、乗員による機器の操作指示を精度良く検出することができる。

（第１の実施形態）
＜構成＞
図１は、第１の実施形態に係る機器制御装置の機能ブロック図である。

機器制御装置１は、通信ネットワークまたは信号線を介して接続された車載機器２０の動作を制御する装置であり、撮像部１０と、第１の認識部１１と、第２の認識部１２と、判別処理部１３と、制御部１４とを備える。機器制御装置１が制御する車載機器２０として、例えば、パワーウィンドウ、エアコン、ワイパー、ステレオ、ナビゲーションシステム、ヘッドライト、車内照明等が挙げられるが、これらに限定されない。

撮像部１０は、カメラ等の撮像装置であり、乗員の画像を撮影する。撮像部１０は、乗員の上半身と、上半身近傍の空間に配置される乗員の手とを撮像可能な位置（例えば、車両前方のルーフ寄りの位置）に設けられる。撮像部１０は、座席毎に設けられて１人の乗員を撮像しても良いし、車内の特定の位置に設けられて複数の乗員を同時に撮像しても良い。尚、撮像部１０には、可視光カメラ及び赤外線カメラのいずれも利用できる。

第１の認識部１１は、撮像部１０によって撮影された画像に基づいて、乗員の姿勢を認識する。本実施形態では、第１の認識部１１は、撮影された画像から乗員の骨格を検出する。乗員の骨格は、既知の骨格検出アルゴリズムによって認識することができ、人間の複数の関節の位置情報の組み合わせによって表わすことができる。

第２の認識部１２は、撮像部１０によって撮影された画像に基づいて、乗員の手の状態を推定する。ここで、乗員の手の状態とは、手の形状、もしくは、手の形状と手の向きとの組み合わせをいう。乗員の手の形状は、手の各指の曲げ伸ばしの状態、隣接する指の間隔、掌の形状の組み合わせによって構成される。手の向きは、伸ばした指先の向き、または、掌の向きによって特定することができる。

判別処理部１３は、第１の認識部１１によって検出された乗員の姿勢と、第２の認識部１２によって検出された手の状態とに基づいて、制御対象の車載機器２０と、制御対象の車載機器２０に実行させる動作とを特定する。判別処理部１３は、乗員の姿勢を表す情報及び手の状態を表す情報の組み合わせ毎に、制御対象の車載機器２０及び実行する動作が予め関連付けられた判別処理テーブルを保持する。判別処理部１３は、判別処理テーブルを参照して、第１の認識部１１及び第２の認識部１２による認識結果と、判別処理テーブルに定義された情報との一致度に基づいて、制御対象の車載機器２０及び実行する動作を特定する。判別処理テーブルは、機器制御装置１が備えるメモリ等の記憶装置に記憶される。尚、制御対象の車載機器２０とは、乗員の姿勢及び手の状態の組み合わせによって、乗員が最終的に動作させたい機器をいう。また、制御対象の車載機器２０及び実行する動作を特定するために判別処理部１３が行う処理の詳細は後述する。

制御部１４は、判別処理部１３によって特定された制御対象の車載機器２０及び実行する動作に対応する制御コマンドを生成し発行する。制御コマンドによって可能な指示は特に限定されず、制御対象の車載機器２０のオンまたはオフ、動作モードの変更、音量や温度、明るさ、動作速度といった車載機器２０の動作を制御する指示の他、車載機器２０を制御するための要求を受け付ける動作を実行する指示も含まれる。車載機器２０を制御するための要求を受け付ける動作としては、例えば、音声認識装置に音声認識処理を開始させる動作が挙げられる。特定された制御対象の車載機器２０及び実行する動作に対応する制御コマンドとは、実行する動作が制御対象の車載機器２０によるものである場合は、制御対象の車載機器に送る制御コマンドが該当し、実行する動作が制御対象の車載機器２０とは別の機器（音声認識装置等）によるものである場合は、当該別の機器に送る制御コマンドが該当する。

また、制御部１４は、判別処理部１３によって特定された動作を指示する制御コマンドを発行した後、予め定められた条件が満たされると、補助的な動作を指示するための補助コマンドを発行することができる。補助的な動作としては、制御コマンドで指示した動作の中止や取り消し、変更、出力調整等が挙げられるが、これらに限定されない。また、制御部１４が補助コマンドを発行するために満たされるべき条件としては、車内に設けられたスイッチ、ボタン、レバー、ダイヤル等の入力装置の操作が行われたことや、制御コマンドの発行契機となった乗員の姿勢または手の状態が変化したこと、補助コマンドを発行するために予め定められた乗員の姿勢又は手の状態が検出されたこと、乗員により特定の言葉が発話されたこと等が挙げられるが、これらに限定されない。尚、補助コマンドの発行契機として乗員の姿勢または手の状態を利用する場合、乗員の姿勢及び手の状態は、それぞれ第１の認識部１１及び第２の認識部１２で検出することができる。

例えば、制御部１４は、乗員の姿勢及び手の状態の組み合わせに基づいて特定された、助手席の窓を開ける操作を指示する制御コマンドを発行した後、ハンドルに設けられたいずれかのスイッチ（通常は、窓の操作に使用されないスイッチ）が操作されたことを条件として、窓の開動作を停止させるための補助コマンドを発行することができる。制御部１４がこのような補助コマンドを発行することにより、運転席の乗員は、運転中にハンドルから手を離すことなく助手席の窓の開動作を停止することができる。また、制御部１４は、乗員の姿勢及び手の状態の組み合わせに基づいて特定された、音声認識処理の開始を指示する制御コマンドを発行した後、乗員の姿勢が変化したことを条件として、音声認識処理の中止を指示する補助コマンドを発行することができる。制御部１４がこのような補助コマンドを発行することにより、特段の操作を行うことなく、速やかに開始した音声認識処理を中止することができる。制御部１４が補助コマンドを発行可能であることにより、制御対象の車載機器２０の使い勝手を向上させることができる。補助コマンドは、制御対象の車載機器２０をより使いやすくするためのものであり、ここで挙げた操作を中止する例の他にも、制御コマンドで指示した操作を中止して元の状態に戻す指示や（操作の取り消し）、制御コマンドで指示した操作を中止して別の操作を行う指示や（操作の変更）、制御コマンドで指示した操作を開始した後、温度や音量、明るさ等の出力を変更する指示（出力調整）等を補助コマンドで行っても良い。

＜制御処理＞
以下、図１～図４を併せて参照しながら、第１の実施形態に係る機器制御装置の詳細を説明する。

図２は、第１の実施形態に係る機器制御装置が実行する制御処理を示すフローチャートであり、図３は、乗員の姿勢検出方法の一例を説明するための図であり、図４は、第１の実施形態に係る機器制御装置が参照する判別処理テーブルの一例を示す図である。尚、図２に示す処理は、車両が始動されたことを契機に開始され、エンジン停止または電源オフされるまで（終了条件が満たされるまで）、所定のインターバルで繰り返し実行される処理である。

ステップＳ１：撮像部１０は、乗員の画像を撮影する。撮像部１０が撮影するのは、座席に着座した乗員の上半身及び手を含む範囲の画像である。尚、以下の説明では、撮像部１０が車両の前方側のルーフ寄りに設けられており、前方上方から乗員を撮影するものとする。その後、処理はステップＳ２に進む。

ステップＳ２：第１の認識部１１は、撮像部１０によって撮像された画像から乗員の姿勢を検出する。上述したように、乗員の姿勢は、骨格認識に基づいて算出された乗員の関節の位置情報の組み合わせにより表すことができる。例えば、第１の認識部１１は、図３に示すように、骨格認識を行うことにより、乗員の頭、頚部、腰、右肩、右肘、右手首、左肩、左肘及び左手首のそれぞれの三次元座標を取得し、三次元座標の組み合わせである骨格座標列を生成することによって、乗員の姿勢を表現することができる。その後、処理はステップＳ３に進む。

ステップＳ３：判別処理部１３は、第１の認識部１１によって認識された乗員の姿勢が、判別処理テーブルに登録されているか否かを判定する。判別処理テーブルは、図４に示すように、乗員の姿勢を表す情報と、乗員の手の状態を表す情報と、制御対象の車載機器２０及び実行する動作を関連付けて定義する。図４の判別処理テーブルの例では、乗員の姿勢を表す情報として、骨格座標列が定義されている。骨格座標列は、図３に示す各部の三次元座標を一定の順序で並べたものであり、骨格パターンを表す。判別処理部１３は、第１の認識部１１によって生成された乗員の骨格座標列を、判別処理テーブルに登録された骨格座標列のそれぞれと順次比較し、両方の骨格座標列の一致度に基づいて、第１の認識部１１によって生成された骨格座標列が登録されているか否かを判定する。判別処理部１３は、第１の認識部１１によって生成された骨格座標列と、判別処理テーブルに登録された骨格座標列とのズレをある程度許容することができ、両方の骨格座標列の各座標が完全に一致していなくても、各座標の距離の差が所定の閾値以内であれば、第１の認識部１１によって生成された骨格座標列が、判別処理テーブルに登録されていると判定することができる。ステップＳ３の判定がＹＥＳの場合、処理はステップＳ４に進み、それ以外の場合、処理はステップＳ１に進む。

乗員は車内で着座しており、乗員が取り得る姿勢は、上半身で取り得る姿勢に限られる。判別処理テーブルに登録する乗員の姿勢は、上半身で取り得る姿勢の中でも、運転操作中でも取りやすい姿勢であって、相互に区別がつきやすいも姿勢であることが好ましく、運転操作中に乗員が取り得る姿勢とは異なる姿勢であることがより好ましい。例えば、乗員は、運転操作中には車内で上半身を大きく傾けたり、捻ったりする姿勢は取りにくい。そこで、判別処理テーブルに登録する乗員の姿勢は、頭部または肩の関節位置に対して肘及び手首の関節の位置を変えた複数の姿勢とすることが好ましい。具体的には、手首を頭部の右側、左側、前方側のいずれかに配置した姿勢や、手首や肘を肩の上側または下側に配置した姿勢等が検出しやすい。

ステップＳ４：第２の認識部１２は、撮像部１０によって撮像された画像から乗員の手の状態を検出する。上述したように、乗員の手の状態は、手の形状、または、手の形状と手の向きによって表すことができる。例えば、第２の認識部１２は、深層学習に基づく画像認識により乗員の手の形状と手の向きとを認識することができる。その後、処理はステップＳ５に進む。

ステップＳ５：判別処理部１３は、第２の認識部１２によって認識された手の状態が、判別処理テーブルに登録されているか否かを判定する。判別処理テーブルは、図４に示すように、手の状態として、手の形状、または、手の形状と手（指先）の方向の組み合わせが定義されている。図４の判別処理テーブルの例では、手の形状として、グーの形（全ての指を曲げて握った形）、パーの形（全ての指を伸ばして広げた形）、Ｖサインの形、人差し指を立てた形が定義されており、人差し指を立てた手の形には、人差し指の指先方向が組み合わされている。図４の例では、人差し指を立てた手の形に対してのみ手（指先）の方向が定義されているが、他の手の形状に対しても手（指先）の方向を定義しても良い。また、手の方向は、指先の方向に限らず、掌もしくは手の甲の向きで定義しても良い。ただし、手（指先）の方向は必須ではなく、手の形状のみで手の状態を定義しても良い。判別処理部１３は、第２の認識部１２によって認識された手の形状と手の向き（指先方向）の組み合わせが、判別処理テーブルに登録された手の状態と一致するか否かにより、登録の有無を判定する。ステップＳ５の判定がＹＥＳの場合、処理はステップＳ６に進み、それ以外の場合、処理はステップＳ１に進む。

ステップＳ６：判別処理部１３は、第１の認識部１１によって認識された乗員の姿勢と、第２の認識部１２によって認識された乗員の手の状態との組み合わせに対して、制御処理、すなわち、制御対象の車載機器２０及び実行する動作が判別情報テーブルに登録されているか否かを判定する。例えば、図４の例において、乗員の姿勢が｛（ｘ２，ｙ２，ｚ２），・・・｝であると認識され、かつ、手の形状が「人差し指」で、指先方向が「（撮像部から見て）右」であると認識された場合、この認識された姿勢及び手の状態の組み合わせに対して判別処理テーブルには、制御対象の車載機器２０として「助手席窓」が、動作として「音声認識作動」が登録されている。この場合、判別処理部１３は、ステップＳ６でＹＥＳと判定する。ステップＳ６の判定がＹＥＳの場合、処理はステップＳ７に進み、それ以外の場合、処理はステップＳ１に進む。

尚、判別テーブルには、制御対象の車載機器２０を直接制御する動作と、制御対象の車載機器２０とは別の機器を介して制御対象の車載機器２０を制御する動作とを登録することができる。図４の例において、エアコンをＯＮまたはＯＦＦする動作やワイパーをサービスモードに設定する動作が、制御対象の車載機器２０を直接制御する動作に該当する。また、図４の例において、助手席窓やスライドルーフを制御するために音声認識処理を作動させる動作が、別の機器を介して制御対象の車載機器２０を制御する動作に該当する。

ステップＳ７：制御部１４は、判別処理部１３による判別結果に基づき、制御コマンド生成処理を行う。制御部１４は、認識された乗員の姿勢及び手の状態の組み合わせに対して登録された制御対象の車載機器２０に対し、登録された動作を指示する制御コマンドを生成する。例えば、図４の例において、乗員の姿勢が｛（ｘ２，ｙ２，ｚ２），・・・｝であると認識され、かつ、手の形状が「人差し指」で、指先方向が「（撮像部から見て）右」であると認識された場合、助手席の窓を操作するために音声認識処理を開始させる制御コマンドを生成する。この制御コマンドは、音声認識処理を開始するためにハンドル等に設けられる音声認識ボタンが押下された場合に発行されるものと等価なコマンドである。また、助手席の窓を操作するための音声認識処理では、助手席の窓を開くまたは閉じるための指示である、「窓を開けて」や「窓を閉めて」等の発話を認識する。

尚、音声認識処理は、制御対象の車載機器２０が音声認識部を備える場合は、車載機器２０の音声認識部が行っても良いし、機器制御装置１に設けられた図示しない音声認識部が行っても良いし、機器制御装置１と通信ネットワークまたは信号線を介して接続された音声認識装置が行っても良い。

また、ステップＳ７において、制御部１４は、更に、所定の条件が満たされたときに行う動作を指示するための補助コマンドを生成することができる。上述した通り、補助コマンドは、制御コマンドで指示した動作が開始された後に発行され、制御対象の車載機器２０に対して補助的な動作を指示するためのコマンドである。補助コマンドを生成するか否か及び生成する補助コマンドの内容は、判別処理テーブルにおいて、姿勢と手の状態との組み合わせ毎に登録しておいても良いし、制御対象の車載機器２０と動作の組み合わせ毎に定められていても良い。例えば、ステップＳ７において、助手席の窓を操作するために音声認識を作動させる制御コマンドを生成した場合、制御部１４は、窓の開動作または閉動作を停止するための補助コマンドや、助手席の窓の操作指示を受け付ける音声認識処理を中止するための補助コマンドを生成することができる。これらの補助コマンドを発行するために満たされるべき条件としては、車内に設けられたいずれかのボタンが押下されたことや、ステップＳ２で認識された姿勢またはステップＳ５で認識された手の状態が変化したこと等を設定することができる。

制御部１４が制御コマンドと必要に応じて補助コマンドを生成した後、処理はステップＳ８に進む。

ステップＳ８：制御部１４は、ステップＳ７で生成した制御コマンドを発行する。尚、制御部１４が、音声認識装置等の別の機器を介して制御対象の車載機器２０を制御する場合、当該別の機器が制御対象の車載機器２０に対して制御コマンドを送出しても良いし、当該別の機器の処理結果に基づいて制御部１４が車載機器２０に対して制御コマンドを送出しても良い。
その後、処理はステップＳ９に進む。

ステップＳ９：制御部１４は、車両のエンジン停止や電源オフ等の処理の終了条件が満たされたか否かを判定する。ステップＳ９の判定がＹＥＳの場合、処理を終了し、それ以外の場合、処理はステップＳ１に進む。

＜効果等＞
手の形状や手の動き（ジェスチャー）のみで制御対象の車載機器と実行する動作を特定する構成では、走行中の振動による手の位置の変化や運転操作のための手の動きがあるため、手の形状や動きを常に正確に認識することは困難である。したがって、乗員が意図した通りに車載機器を制御できなかったり、乗員の手の形状や動きが登録されたものと偶然一致して予期しない車載機器の動作が行われたりする可能性がある。認識しやすい手の形状や動き（ジェスチャー）を検出対象とすることも考えられるが、この場合、手の形状や動きに割り当て可能な機能の数が少なくなるため、手の形状や動きで指示可能な操作が限定されてしまう。

これに対して、本実施形態に係る機器制御装置１では、乗員の撮影画像から検出した姿勢及び手の状態の組み合わせに基づいて、制御対象の車載機器２０及び実行する動作を特定する。乗員の姿勢は、各関節の相対的な配置によって区別されるため、手の形状や動きと比べると、姿勢毎の各関節の位置の差が明確であり、手の形状や動きよりも判別がし易い。乗員の撮影画像に基づいて乗員による車載機器２０の操作指示を受け付ける装置において、本実施形態のように、操作指示に乗員の姿勢を組み入れることにより、操作指示の判別精度を向上させることができる。また、本実施形態のように、乗員の姿勢と手の状態との組み合わせに対して、操作対象の車載機器２０及び実行する動作を割り当てる場合、乗員の姿勢のみ、または、手の状態のみに、操作対象の車載機器２０及び実行する動作を割り当てる場合と比べて、割り当て可能な機能を多くすることができる。車両の走行中の振動や運転操作による手の動きを考慮すると、検出対象とする手の状態は、認識しやすいものとすることが好ましい。この場合、検出対象とする手の状態の種類が限られることになるが、本実施形態のように、乗員の姿勢を組み合わせることにより、認識精度の高い手の形状を採用しつつ、割り当て可能な機能の数を増やすことができる。

（第１の実施形態の変形例）
図５は、第１の実施形態の変形例に係る機器制御装置が参照する判別処理テーブルの一例を示す図である。

本変形例に係る機器制御装置の基本的な構成は、第１の実施形態に係る機器制御装置１と同じであるが、判別処理部が参照する判別処理テーブルの内容と、制御対象の車載機器及び実行する動作を特定するために判別処理部が行う処理とが異なる。以下、図１、５及び６を併せて参照しながら、本変形例と第１の実施形態との相異点を中心に説明する。

図５に示すように、本変形例に係る判別処理テーブルには、乗員の姿勢を表す情報及び手の状態を表す情報の組み合わせ毎に、更に、乗員の姿勢及び手の状態の維持時間が関連付けられている。維持時間は、これに関連付けられた乗員の姿勢と手の状態とが意図的に行われたか、偶然発生したかを区別するために用いる閾値である。乗員の姿勢と手の状態とが定義された維持時間以上継続した場合に、乗員により意図的な操作指示が行われたとみなすことができる。

図６は、第１の実施形態の変形例に係る機器制御装置が実行する制御処理を示すフローチャートである。図６に示すフローチャートは、図２に示したフローチャートのステップＳ６及びＳ７の間にステップＳ２０を挿入したものである。

ステップＳ２０：判別処理部１３が、第１の認識部１１によって認識された乗員の姿勢と、第２の認識部１２によって認識された乗員の手の状態との組み合わせに対して、制御対象の車載機器２０及び実行する動作が登録されていると判定した場合（ステップＳ６でＹＥＳ）、判別処理部１３は、図５に示した判別処理テーブルを参照して、認識された乗員の姿勢及び手の状態の組み合わせに関連付けられた維持時間を取得する。判別処理部１３は、タイマを開始して、認識された乗員の姿勢及び手の状態の継続時間を計測し、乗員の姿勢及び手の状態が、判別処理テーブルから取得した維持時間以上継続したか否かを判定する。ステップＳ２０の判定がＹＥＳの場合、処理はステップＳ７に進み、それ以外の場合、処理はステップＳ１に進む。

例えば、乗員の姿勢が｛（ｘ３，ｙ３，ｚ３），・・・｝であると第１の認識部１１によって認識され、かつ、手の形状が「Ｖサイン」であると第２の認識部１２によって認識された場合、図５の判別処理テーブルの例では、認識された姿勢及び手の状態の組み合わせに対して、制御対象の車載機器として「エアコン」が、実行する動作として「ＯＮ」が登録され、更に、維持時間として「１０００ミリ秒」が登録されている。判別処理部は、乗員の姿勢｛（ｘ３，ｙ３，ｚ３），・・・｝及び手の形状「Ｖサイン」が認識されてからの継続時間をタイマで計測し、認識された姿勢及び手の状態が１０００ミリ秒以上継続すると、エアコンをＯＮするための制御コマンドと、必要に応じて、上述した補助コマンドを生成して送出する。一方、維持時間である１０００ミリ秒が経過する前に、乗員の姿勢｛（ｘ３，ｙ３，ｚ３），・・・｝及び手の形状「Ｖサイン」の少なくとも一方が認識されなくなると、制御コマンドの生成は行わずに、乗員の姿勢及び手の状態の認識処理を継続する。

本変形例に係る機器制御装置では、判別処理部１３が、乗員の姿勢及び手の状態の組み合わせが維持時間以上継続したか否かを判定することにより、認識された乗員の姿勢及び手の状態の組み合わせが意図的に行われたものであるか、あるいは、偶然に発生したものであるかを判別することができる。したがって、本変形例に係る機器制御装置によれば、乗員が意図的に行った車載機器２０の操作要求の判別精度をより向上させることができる。

運転操作中には、例えば、シフトレバーやハンドルを掴むことにより「グー」に近い手の形状が生じたり、クラクションボタンを押すことにより「パー」に近い手の形状が生じたりすることがある。上記の第１の実施形態でも、手の形状だけでなく乗員の姿勢を組み合わせて操作指示を判定するため、手の形状だけで判定する場合と比べて判定精度が高くなっている。しかしながら、「グー」や「パー」のように発生頻度が高い手の形状を操作指示に利用している場合、乗員の姿勢によっては、偶然に誤った判別がなされる可能性がある。本変形例に係る機器制御装置では、運転操作等で発生しやすい手の形状を操作指示の判別に利用した場合でも、偶然に誤った判別がなされる可能性を低減できる。

尚、本変形例において、判別処理テーブルに登録された乗員の姿勢及び手の状態の組み合わせのそれぞれについて、姿勢及び手の状態の認識が維持時間以上継続しなかった回数を記録し、記録した回数が所定の閾値より高い姿勢及び手の状態の組み合わせを無効化したり、記録した回数が所定の閾値より高い姿勢及び手の状態の組み合わせの維持時間を更に長くしたりしても良い。乗員の姿勢及び手の状態の組み合わせが維持時間以上継続しない頻度が高い場合、当該組み合わせの指示が偶然発生しやすい、あるいは、乗員が勘違い等で誤って当該組み合わせの指示を選択しやすいと考えられる。そこで、姿勢及び手の状態の組み合わせが維持時間以上継続しない頻度が高い組み合わせに対して、削除または維持時間の変更を行うことにより、このような組み合わせが偶発的に選択されてしまうことを防止することができる。尚、判別処理テーブルに登録された姿勢及び手の状態の組み合わせを無効化したり、当該組み合わせに関連付けられた維持時間を更新したりする場合は、車内の表示部等でユーザに対して通知を行っても良い。

尚、図４及び５の例では、骨格座標列を構成する各関節の位置は、特定の座標ではなく、座標の範囲で表しても良い。また、各関節の座標は、予め定められた基準点を基準とした相対座標で表しても良いし、カメラの撮像範囲に予め固定された座標系の座標値で表しても良い。

（第２の実施形態）
図７は、第２の実施形態に係る機器制御装置の機能ブロック図である。

本実施形態に係る機器制御装置２は、第１の実施形態に係る機器制御装置１の判別処理部１３に代えて判別処理部１５を設け、更に車両状態推定部１６を設けたものである。以下、本実施形態と第１の実施形態との相異点を中心に説明する。

車両状態推定部１６は、通信ネットワークまたは信号線を介して接続される他の制御装置やセンサ類から、車両の動作に関する各種の車両信号を取得し、取得した車両信号に基づいて車両の状態を推定する。車両状態推定部１６が取得する車両信号としては、例えば、車速、アクセルペダル操作量、ブレーキペダル操作量、シフトレンジ、各ドアの開閉状態、各ドアのロック状態等を表す信号が挙げられるが、これらに限定されない。車両状態推定部１６が推定する車両の状態としては、例えば、走行中、停車中、駐車中、乗車または降車中等が挙げられるが、これらに限定されない。車両状態推定部１６は、推定した車両の状態を判別処理部１５に出力する。

判別処理部１５は、第１の認識部１１によって認識された乗員の姿勢と、第２の認識部１２によって認識された乗員の手の状態とに基づいて、制御対象の車載機器２０及び実行する動作を特定した場合、車両状態推定部１６によって推定された車両の状態に基づいて、特定した動作の実行可否を判定する。例えば、制御対象の車載機器２０及び実行する動作と、当該動作の実行を許可（または禁止）する車両の状態とを関連付けた情報を予め用意しておき、判別処理部１５がこの情報を参照して、特定した制御対象の車載機器２０及び実行する動作を許可するか否かを判定することができる。動作を許可（または禁止）する車両の状態は、判別処理テーブル（図４及び５）に定義されていても良いし、判別処理テーブルとは別の情報として定義されていても良い。尚、判別処理部１５が行う、制御対象の車載機器２０及び実行する動作の特定方法は、第１の実施形態と同じである。

判別処理部１５によって、乗員の姿勢及び手の状態に基づいて特定された動作の実行が可能と判定された場合、制御部１４は、特定された動作を指示するための制御コマンドを生成し発行する。

図８は、第２の実施形態に係る機器制御装置が実行する制御処理を示すフローチャートである。図８に示すフローチャートは、図２に示したフローチャートのステップＳ６及びＳ７の間にステップＳ２５及びＳ２６を挿入したものである。

ステップＳ２５：判別処理部１５が、第１の認識部１１によって認識された乗員の姿勢と、第２の認識部１２によって認識された乗員の手の状態との組み合わせに対して、制御対象の車載機器２０及び実行する動作が登録されていると判定した場合（ステップＳ６でＹＥＳ）、車両状態推定部１６は、車両信号に基づいて車両の状態を推定する。車両状態推定部は、例えば、車速、アクセルペダル操作量、ブレーキペダル操作量、シフトレンジ、各ドアの開閉状態、各ドアのロック状態等を表す信号の１つまたは２以上の組み合わせに基づいて、走行中、停車中、駐車中、乗車または降車中等の車両の状態を推定することができる。

ステップＳ２６：判別処理部１５は、車両状態推定部１６によって推定された車両の状態に基づいて、ステップＳ６で特定した動作を許可するか否かを判定する。上述したように、特定した動作の実行可否は、制御対象の車載機器２０及び実行する動作と、当該動作の実行を許可（または禁止）する車両の状態とを予め関連付けた情報を参照することによって判定することができる。ステップＳ２６の判定がＹＥＳの場合、処理はステップＳ７に進み、それ以外の場合、処理はステップＳ１に進む。

本実施形態に係る機器制御装置２においては、乗員の姿勢及び手の状態に基づいて特定された制御対象の車載機器２０及び実行する動作を、車両の状態に応じて許可したり制限したりすることが可能である。したがって、例えば、車両の走行中に、カーナビゲーションシステムの操作や窓の開操作を禁止したり、車両の走行中に、運転操作により生じやすい姿勢や手の状態に割り当てられた動作が偶然実行されてしまうことを抑制したり、車両の停車時に、乗員の乗降により生じやすい姿勢や手の状態に割り当てられた動作が偶然実行されてしまうことを抑制したりすることが可能である。本実施形態に係る機器制御によれば、乗員の姿勢及び手の状態に基づく車載機器２０の操作を車両の状態に応じて細かく制御することができる。また、特定の車両の状態で生じやすい乗員の姿勢及び手の状態を、当該特定の車両の状態でのみ無効化し、他の車両の状態では、車載機器２０の操作に利用可能となるため、機能を割り当て可能な乗員の姿勢及び手の状態の組み合わせを増やすことができる。

尚、本実施形態では、車両の状態に応じて、乗員の姿勢及び手の状態に基づいて特定された制御対象の車載機器２０及び実行する動作の可否を決定する例を説明した、車両の状態毎に判別処理テーブルを用意し、車両の状態に応じて、乗員の姿勢及び手の状態に基づいて特定される制御対象の車載機器２０及び実行する動作を異ならせても良い。また、車両の状態に応じて、乗員の姿勢及び手の状態に基づいて特定される動作のみを異ならせても良い。このようにすれば、例えば、乗員が車載機器２０の操作を指示する際の姿勢及び手の状態は同じでも、例えば、車両の停車中と走行中とで、操作対象の車載機器や指示する操作内容を変えることができ、乗員の姿勢及び手の状態に基づく車載機器２０の操作を車両の状態に応じて更に細かく制御することができる。

また、本実施形態で説明した、車両の状態に基づく制御対象の車載機器２０及び実行する動作の決定は、第１の実施形態の変形例にも適用可能である。具体的には、図６のステップＳ２０とＳ７との間に、図８のＳ２５及びＳ２６を挿入し、認識された姿勢及び手の状態の組み合わせが維持時間以上継続した場合に（Ｓ２０でＹＥＳ）、車両状態推定部１６が取得した車両状態に基づき、判別処理部１５が認識された姿勢及び手の状態の組み合わせにより特定された制御対象の車載機器２０及び実行する動作の可否を判定し、許可すると判定した場合に（Ｓ２６でＹＥＳ）、制御部１４が制御コマンドを生成し発行すれば良い（Ｓ７）。この制御によれば、乗員の姿勢及び手の状態に基づく車載機器２０の操作を車両の状態に応じて更に細かく制御しつつ、乗員が意図的に行った車載機器２０の操作要求の判別精度をより向上させることができる。

（第３の実施形態）
図９は、第３の実施形態に係る機器制御装置の機能ブロック図である。

本実施形態に係る機器制御装置３は、撮像部１０及び制御部１７を有する車載装置２５と、第１の認識部３１、第２の認識部３２及び判別処理部３３を有する外部装置３０とを備える。外部装置３０は、例えば、無線通信により車載装置２５と通信可能なサーバや、有線通信または無線通信により車載装置２５と通信可能なスマートフォンである。外部装置３０がスマートフォンである場合、ＵＳＢ、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等で車載装置と接続することができるが、接続方式はこれらに限定されない。

撮像部１０、第１の認識部３１、第２の認識部３２、判別処理部３３及び制御部１７は、それぞれ、第１の実施形態または第１の実施形態の変形例で説明した撮像部１０、第１の認識部１１、第２の認識部１２、判別処理部１３及び制御部１４と同じである。ただし、本実施形態では、第１の認識部３１、第２の認識部３２及び判別処理部３３が車載装置２５とは別の外部装置３０にあるので、撮像部１０が撮影した乗員の画像は、有線通信または無線通信により第１の認識部３１及び第２の認識部３２に送信される。同様に、判別処理部３３の判定結果（乗員の姿勢及び手の状態の認識結果に対応した制御対象の車載機器２０及び実行する動作、認識された乗員の姿勢及び手の状態が維持時間以上継続したこと）は、有線通信または無線通信により制御部１７に送信される。

本実施形態では、判別処理部３３を外部装置３０に設けているので、判別処理部３３が参照する判別処理テーブルも外部装置３０の記憶装置に記憶される。車両の外部の装置に判別処理テーブルを記憶させると、スマートフォンやウェブアプリケーション等を用いて、ユーザが判別処理テーブルの内容を変更することにより、姿勢及び手の状態の組み合わせで指示可能な車載機器２０及びその操作を好みに合わせてカスタマイズすることができる。

尚、本実施形態では、車載装置２５の撮像部１０を用いて乗員の画像を撮影する構成としたが、外部装置３０がカメラを備えるスマートフォンやタブレットの場合は、外部装置３０のカメラを撮像部１０として利用しても良い。

また、本実施形態の車載装置２５及び撮像部１０の構成は、上記の第２の実施形態に適用しても良い。この場合、車載装置２５に図７に示した車両状態推定部１６を設け、有線通信または無線通信により、車両状態推定部１６が推定した車両の状態を判別処理部３３に送信しても良い。あるいは、外部装置３０がスマートフォンやタブレットの場合は、図７に示した車両状態推定部１６を外部装置３０に設けても良い。車両状態推定部１６を外部装置３０に設ける場合、外部装置３０が備える加速度センサやＧＰＳ等を利用して車両の状態を判定しても良い。

（その他の変形例）
上記の機器制御装置は、運転席の乗員だけでなく、助手席や後部座席の乗員も操作指示の検出対象としても良い。この場合、乗員の着座位置毎に判別処理テーブルを用意して、乗員の着座位置毎に操作可能な車載機器２０または可能な操作を変えることが可能となる。

また、上記の機器制御装置では、認識された姿勢と判別処理テーブルとの一致度を判定し、認識された手の状態と判別処理テーブルのデータとの一致度を判定し、その後に、認識された姿勢及び手の状態の組み合わせに関連付けられた、制御対象の車載機器及び実行する動作を特定しているが、特定方法はこれには限られない。例えば、認識された姿勢に一致するデータを判別処理テーブルから抽出し、認識された手の状態と抽出されたデータとの一致度を判定することにより、制御対象の車載機器及び実行する動作を特定しても良い。あるいは、認識された姿勢及び手の状態の両方と判別処理テーブルのデータとの一致度を版値することにより、制御対象の車載機器及び実行する動作を特定しても良い。

また、上記の機器制御装置において、判別処理テーブルをユーザ毎に登録しておき、乗車時にユーザに応じて判別処理テーブルを切り替えても良い。例えば、判別処理テーブルの登録時には、判別情報テーブルにユーザを特定するための識別情報（コードや生体情報等）を関連付けておき、乗車時には、ユーザの識別情報を入力し、入力された識別情報に関連付けられた判別処理テーブルを取得すれば良い。ユーザの識別情報としては、指紋や顔の画像を利用することができる。ユーザの識別情報として顔の画像を利用する場合、乗車時に撮像部がユーザの顔を撮影することにより、ユーザを識別しても良い。また、第３の実施形態において、外部装置としてカメラを備えるスマートフォンやタブレットを使用する場合は、乗車時に、外部装置の指紋または顔認識機能によりユーザを識別しても良い。

また、上記の機器制御装置において、判別処理テーブルは、車両に搭載される記憶装置に記憶されても良いし、車両の外部装置（サーバやスマートフォン、タブレット等）の記憶装置に記憶されても良い。また、乗車時や車両の始動時等に、判別処理テーブルを外部装置から取得して車両に搭載される記憶装置に記憶しても良い。

また、上記の機器制御装置において、乗員の姿勢の認識結果を骨格座標列として出力する例を説明したが、座標列ではなく、機械学習に基づく抽象的な出力としても良い。例えば、大量の画像を用いて、後席振り返り、助手席の物探し、シートベルト装着姿勢等の抽象的な概念を学習し、乗員の撮影画像に基づいて、乗員の姿勢を抽象的な概念として出力しても良い。

また、上記の機器制御装置において、手の状態として、手を左右に振る、手を上げ下げする、指を曲げ伸ばしする等の手の動き（ジェスチャー）を認識しても良い。この場合、車両走行中の振動や運転操作により手の動きが正確に認識されない可能性を考慮して、認識対象とする手の動きは、なるべく単純なものにすることが好ましい。

本発明は、車載機器を制御するための機器制御装置として利用できる。

１、２、３ 機器制御装置
１０ 撮像部
１１ 第１の認識部
１２ 第２の認識部
１３ 判別処理部
１４ 制御部
１５ 判別処理部
１６ 車両状態推定部
１７ 制御部
２０ 車載機器
３１ 第１の認識部
３２ 第２の認識部
３３ 判別処理部

Claims (5)

1. 車両に搭載された機器を制御する機器制御装置であって、
   車両の乗員の画像を撮像する撮像部と、
   前記撮像部によって撮像された画像に基づいて、乗員の姿勢を認識する第１の認識部と、
   前記撮像部によって撮像された画像に基づいて、少なくとも乗員の手の形状を含む、手の状態を認識する第２の認識部と、
   前記第１の認識部によって認識された乗員の姿勢と、前記第２の認識部によって認識された手の状態とに基づいて、制御対象の機器及び実行する動作を特定する判別処理部と、
   特定された制御対象の機器及び実行する動作に対応する制御コマンドを発行する制御部とを備え、
   前記制御部は、前記制御コマンドを発行した後、前記制御コマンドの発行契機となった乗員の姿勢または手の状態が変化した場合、または、予め定められた乗員の姿勢または手の状態が更に検出された場合に、前記制御コマンドによって指示した動作を中止または変更させる補助コマンドを発行する、機器制御装置。
2. 前記判別処理部は、乗員の姿勢を表す情報と、手の状態を表す情報と、機器を表す情報と、動作を表す情報とが予め関連付けられた判別処理情報を参照して、制御対象の機器及び実行する動作を特定する、請求項１に記載の機器制御装置。
3. 前記判別処理情報には、
   前記乗員の姿勢を表す情報として、骨格座標列によって表される骨格パターンが定義され、
   前記手の状態を表す情報として、手の形状、もしくは、手の形状及び向きの組み合わせが定義され、
   前記第１の認識部は、前記撮像部によって撮像された画像から乗員の骨格座標列を認識し、
   前記第２の認識部は、前記撮像部によって撮像された画像から乗員の手の形状及び向きを認識し、
   前記判別処理部は、前記第１の認識部及び前記第２の認識部の認識結果と、前記判別処理情報との一致度に基づいて、認識された乗員の姿勢及び手の状態関連付けられた機器及び動作を、制御対象の機器及び実行する動作として特定する、請求項２に記載の機器制御装置。
4. 前記判別処理情報には、前記乗員の姿勢を表す情報及び前記手の状態を表す情報の組み合わせ毎に、前記乗員の姿勢及び前記手の状態の維持時間が更に関連付けられて定義されており、
   前記判別処理部は、前記第１の認識部及び前記第２の認識部の認識結果と、前記判別処理情報との一致度に基づいて、制御対象の機器及び実行する動作を特定した場合、更に、前記第１の認識部によって認識された乗員の姿勢と、前記第２の認識部によって認識された手の状態とが、前記判別処理情報に定義される維持時間以上継続したか否かを判定し、
   前記制御部は、前記判別処理部によって制御対象の機器及び実行する動作が特定され、かつ、前記第１の認識部によって認識された乗員の姿勢と、前記第２の認識部によって認識された手の状態とが、前記判別処理情報に定義される維持時間以上継続したと判定された場合に、前記制御コマンドを発行する、請求項２に記載の機器制御装置。
5. 車両の状態を推定する車両状態推定部を更に備え、
   前記判別処理部は、前記車両状態推定部が推定した車両の状態に基づいて、特定された動作を許可するか否かを決定し、
   前記制御部は、前記判別処理部によって制御対象の機器及び実行する動作が特定され、かつ、特定された動作を許可すると決定された場合に、前記制御コマンドを発行する、請求項１に記載の機器制御装置。

Images