JP5983575B2 - 操作入力装置、操作入力方法およびプログラム - Google Patents

Description

本発明は、操作入力装置、操作入力方法およびプログラムに関する。

近年、自動車にはカーナビゲーション装置、オーディオシステム、エアコン等多くの機器が搭載されている。運転者によるそれらの機器を操作するときの通常のボタンの押下による操作は、運転者の視線の動きを伴うことになる。したがって、自動車の運転中のボタン操作による機器の操作は、運転者の前方不注意につながる誘因となるため、前方を見たままの状態で機器の操作が可能であることが望ましい。

このような、前方を見たままの機器の操作を可能とする操作入力装置として、カメラで運転者の手の形状および手振り（以下、ジェスチャーという）を撮像し、ジェスチャーを判別して、車載機器の操作を行う装置が提案されている（特許文献１参照）。特許文献１に記載された操作入力装置は、カメラとして主に昼間には可視光カメラを用い、夜間には赤外線カメラを用いて、ジェスチャーを撮像および判別するものとしている。

特開２００９−１０４２９７号公報

しかしながら、特許文献１に記載された操作入力装置は、赤外線カメラを使用する場合、昼間は太陽光による外乱の影響を受けるため、ジェスチャーの検出精度が悪いという問題点があった。また、赤外線カメラを夜間に用い、可視光カメラを昼間に用いる場合、２台のカメラが必要になり、コストアップにつながるという問題点もあった。

本発明は、上記に鑑みてなされたものであって、外乱の影響を抑制してジェスチャーの検出精度を向上させる操作入力装置、操作入力方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、赤外線を照射する赤外線照射手段と、赤外線を検出して撮像し、画像を生成する撮像手段と、前記画像において、前記赤外線照射手段により赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出する輝度演算手段と、前記輝度差が所定の目標値となるように、前記赤外線照射手段から照射される赤外線の照射強度を調整する赤外線制御手段と、前記画像から指示物体の形状を検出する画像処理手段と、前記形状から、前記指示物体による操作内容を判定する判定手段と、前記操作内容に対応した機能を操作対象機器に実行させる命令手段と、を備えることを特徴とする。

本発明によれば、外乱の影響を抑制してカメラの検出精度を向上させることができる。

図１は、実施形態に係る操作入力システムの全体構成の例を示す図である。 図２は、実施形態の入力コントローラのブロック構成の例を示す図である。 図３は、実施形態の入力コントローラにおける赤外線ＬＥＤの輝度調整処理の動作例を示すフローチャートである。 図４は、実施形態のカメラユニットによって撮像される画像およびサンプルエリアの例を示す図である。 図５は、実施形態の入力コントローラにおけるジェスチャー操作認識処理の動作例を示すフローチャートである。 図６は、実施形態の入力コントローラにより撮像された画像の二値化画像の例を示す図である。 図７は、実施形態の入力コントローラにより撮像された画像の二値化画像から距離変換と輪郭抽出とを行ってもとめた輪郭抽出画像を示す図である。

以下に、図面を参照しながら、本発明に係る操作入力装置、操作入力方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。

（操作入力システムの構成）
図１は、実施形態に係る操作入力システムの全体構成の例を示す図である。図１を参照しながら、本実施形態に係る操作入力システム１の全体構成について説明する。なお、以下の説明において、図１に示す操作入力システム１が自動車に搭載される場合を例に説明するが、これに限定されるものではなく、電車または飛行機等に搭載されるものとしてもよい。

図１に示す操作入力システム１は、運転者のジェスチャーを認識して、ジェスチャーに対応した操作コマンドにしたがって、操作対象機器を操作するシステムである。操作入力システム１は、入力コントローラ１０（操作入力装置）と、カーナビゲーション装置２０とが、通信ケーブル３０によって接続されて構成されている。

入力コントローラ１０は、運転者のジェスチャーを認識して、ジェスチャーに対応する操作コマンドを生成し、通信ケーブル３０を介して、操作コマンドをカーナビゲーション装置２０に送信する装置である。入力コントローラ１０は、赤外線を照射する複数の赤外線ＬＥＤ４０１と、所定の画角内の画像を撮像するカメラ４１１と、カメラ４１１の光学系の入射側に取り付けられ、赤外線のみを透過させる赤外線透過フィルタ４１２と、を備えている。また、入力コントローラ１０は、撮像する画像に自動車のウィンドウが入らないような撮像方向となるように設置される。例えば、入力コントローラ１０は、自動車の車内のダッシュボードに設置され、ダッシュボードから斜め上方の車内のルーフに向かう撮像方向となるように設置するようにするのが望ましい。これによって、後述するジェスチャー操作認識処理において、自動車のウィンドウから入り込んでくる太陽光等の外乱によるジェスチャーの検出精度の低下を抑制することができる。

カメラ４１１は、例えば、通常の可視光を検出するカメラでよいが、少なくとも赤外線についても検出できるカメラであるものとする。カメラ４１１は、図示しないレンズ等によって構成された光学系と、赤外線透過フィルタ４１２を透過して光学系に入射した赤外線を電気信号に変換することによって画像を生成する固体撮像素子（撮像素子）と、を備えている。固体撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等である。

上述のように、少なくとも赤外線を検出できるカメラ４１１および赤外線透過フィルタ４１２を使用しているので、赤外線のみを高精度に検出する赤外線カメラを使用する場合と比較してコストを低減することができる。

なお、図１に示すように、赤外線ＬＥＤ４０１は、カメラ４１１の周囲を囲むように複数設けられるものとしているが、複数の赤外線ＬＥＤ４０１の配置構成は、図１に示す配置構成に限定されるものではない。また、赤外線ＬＥＤ４０１は、複数ではなく、１つであってもよい。

カーナビゲーション装置２０は、入力コントローラ１０による操作対象機器の一例としての装置であり、搭載された自動車等の車両の現在地、および目的地への経路案内を表示する装置である。カーナビゲーション装置２０は、入力コントローラ１０によって生成され、通信ケーブル３０を介して受信した操作コマンドに従って、操作コマンドに対応した機能を実行する。カーナビゲーション装置２０は、自動車等の車両の現在地、および目的地への経路案内を表示する表示画面４２１を備えている。

通信ケーブル３０は、入力コントローラ１０およびカーナビゲーション装置２０の通信規格に対応したケーブルであり、例えば、ＵＳＢケーブルまたはＥｔｈｅｒｎｅｔ（登録商標）ケーブル等である。

なお、図１に示す操作対象機器としては、カーナビゲーション装置２０を例に示したが、これに限定されるものではなく、オーディオシステム、エアコンその他の車載機器であってもよい。

また、図１においては、入力コントローラ１０と、操作対象機器としてのカーナビゲーション装置２０とが別体として構成されているが、これに限定されるものではなく、一体型として構成されるものとしてもよい。この場合、カメラ４１１の位置は、カーナビゲーション装置２０をダッシュボードに設置したとき、ダッシュボードから斜め上方の車内のルーフに向かう撮像方向となる位置に設けることが望ましい。

（入力コントローラのブロック構成）
図２は、実施形態の入力コントローラのブロック構成の例を示す図である。図２を参照しながら、本実施形態の入力コントローラ１０のブロック構成について説明する。

図２に示すように、入力コントローラ１０は、赤外線ＬＥＤユニット１１（赤外線照射手段）と、カメラユニット１２（撮像手段）と、通信インターフェース（Ｉ／Ｆ）１３と、制御ユニット１４と、を備えている。

赤外線ＬＥＤユニット１１は、図１に示した赤外線ＬＥＤ４０１を備え、後述するＬＥＤ制御部１４２からの命令によって、赤外線を照射するユニットである。

カメラユニット１２は、画像を撮像し、制御ユニット１４に送信するユニットである。カメラユニット１２は、図１に示した赤外線透過フィルタ４１２が装着されたカメラ４１１によって実現される。

通信インターフェース１３は、操作対象機器であるカーナビゲーション装置２０の通信規格に対応したインターフェースであり、例えば、ＵＳＢインターフェースまたはＥｔｈｅｒｎｅｔインターフェース等である。

制御ユニット１４は、入力コントローラ１０の全体の制御をつかさどる。制御ユニット１４は、例えば、赤外線ＬＥＤユニット１１から照射する赤外線の強度の調整、カメラユニット１２によって撮像された画像に対する各種処理、撮像された画像に基づいた運転者のジェスチャーの判定、および、判定されたジェスチャーに対応する操作コマンドのカーナビゲーション装置２０への送信を制御する。制御ユニット１４は、輝度演算部１４１（輝度演算手段）と、ＬＥＤ制御部１４２（赤外線制御手段）と、画像処理部１４３（画像処理手段）と、ジェスチャー判定部１４４（判定手段）と、コマンド生成部１４５（命令手段）と、記憶部１４６（記憶手段）と、を有する。

輝度演算部１４１は、カメラユニット１２によって撮像された画像において、赤外線ＬＥＤユニット１１からの赤外線の照射領域に相当するエリアの輝度の平均値、および、照射領域外の所定のエリアの輝度の平均値を算出する。輝度演算部１４１は、照射領域に相当するエリアの輝度の平均値と、照射領域外の所定のエリアの輝度の平均値との輝度差を算出する。

ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射する赤外線の強度を制御する。

画像処理部１４３は、カメラユニット１２によって撮像された画像を二値化し、二値化した画像に運転者の手によるジェスチャーが含まれるか否かを判断する。

ジェスチャー判定部１４４は、画像処理部１４３によって検出されたジェスチャーが、どのようなジェスチャーであるかを判定する。なお、ジェスチャーは運転者の手によるものに限定されるものではなく、広く操作指示をするための指示物体（手を含む）であってもよい。

コマンド生成部１４５は、ジェスチャー判定部１４４によって判定されたジェスチャーに対応する操作対象機器としてのカーナビゲーション装置２０に対する操作コマンドを生成する。

記憶部１４６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の書き換え可能な揮発性または不揮発性の記憶装置によって実現される。記憶部１４６は、ＬＥＤ制御部１４２によって照射する赤外線が所定の強度に制御された場合に、カメラユニット１２によって撮像された画像において赤外線の照射領域に相当するエリアの最大輝度値を記憶する。

輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４４およびコマンド生成部１４５は、図示しないＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記憶されたプログラムに従ったＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）からの命令により動作することで実現される機能または手段である。なお、輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４４およびコマンド生成部１４５の一部または全部は、ソフトウェアであるプログラムではなく、ハードウェア回路によって実現されてもよい。また、輝度演算部１４１、ＬＥＤ制御部１４２、画像処理部１４３、ジェスチャー判定部１４４およびコマンド生成部１４５は、機能を概念的に構成したものであって、このような構成に限定されるものではない。

（輝度調整処理の動作）
図３は、実施形態の入力コントローラにおける赤外線ＬＥＤの輝度調整処理の動作例を示すフローチャートである。図４は、実施形態のカメラユニットによって撮像される画像およびサンプルエリアの例を示す図である。図３および４を参照しながら、本実施形態の入力コントローラ１０における赤外線ＬＥＤユニット１１から照射される赤外線についての輝度調整処理について説明する。

＜ステップＳ１１＞
制御ユニット１４のＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から所定強度の赤外線をある程度の広がりをもった状態で照射させる。カメラユニット１２は、自動車のルーフに向かう撮像方向の画像を撮像し、画像を制御ユニット１４の輝度演算部１４１に送信する。カメラユニット１２が撮像する画像は、赤外線ＬＥＤユニット１１から照射された赤外線のうち自動車のルーフ等から反射した赤外線が赤外線透過フィルタ４１２を透過して撮像された白黒の画像である。そして、ステップＳ１２へ進む。

＜ステップＳ１２＞
輝度演算部１４１は、図４に示すように、受信した画像である撮像画像２０１において、赤外線ＬＥＤユニット１１からルーフに照射される赤外線のエリアである照射領域２５１内に含まれる所定のエリアである照射領域サンプルエリア２０２（第１エリア）の輝度の平均値（以下、照射部輝度平均値という）を算出する。また、輝度演算部１４１は、撮像画像２０１において、照射領域２５１外の所定のエリアである周辺部サンプルエリア２０３ａ〜２０３ｄ（第２エリア）それぞれの輝度の平均値を算出する。輝度演算部１４１は、算出した周辺部サンプルエリア２０３ａ〜２０３ｄそれぞれの輝度の平均値から最大の平均値（以下、周辺部輝度平均値という）を抽出する。この場合、赤外線が照射されている照射領域２５１内の照射領域サンプルエリア２０２の輝度は高く、赤外線が照射されていない照射領域２５１外の周辺部サンプルエリア２０３ａ〜２０３ｄの輝度は低い状態となる。そして、輝度演算部１４１は、照射部輝度平均値と周辺部輝度平均値との差である輝度差を算出する。そして、ステップＳ１３へ進む。

図４に示す周辺部サンプルエリア２０３ａ〜２０３ｄのように、輝度の平均値を算出するサンプルエリアを複数とすることによって、照射領域２５１外のエリアの輝度情報の多くを含んだ状態で周辺部輝度平均値を算出することができる。これによって、輝度演算部１４１は、照射部輝度平均値と周辺部輝度平均値との差である輝度差を精度よく算出することができる。

なお、図４に示すように、照射領域サンプルエリア２０２は１つ、かつ、周辺部サンプルエリア２０３ａ〜２０３ｄは４つとしたが、これに限定されるものではなく、その他の数のサンプルエリアを構成するものとしてもよい。また、図４に示すように、周辺部サンプルエリア２０３ａ〜２０３ｄは、撮像画像２０１の四隅に配置されるものとしているが、これに限定されるものではなく、照射領域２５１外のエリアであればいずれに配置されるものとしてもよい。ただし、撮像画像２０１に自動車のウィンドウ部分が含まれている場合は、太陽光による赤外線の輝度の影響を低減するため、周辺部サンプルエリア２０３ａ〜２０３ｄを、ウィンドウ部分を避けた位置に構成することが望ましい。

＜ステップＳ１３＞
ＬＥＤ制御部１４２は、輝度差と所定の目標値とを比較する。ＬＥＤ制御部１４２による輝度差と目標値との比較の結果、輝度差が目標値よりも大きい場合（ステップＳ１３：大）、ステップＳ１４へ進み、輝度差が目標値よりも小さい場合（ステップＳ１３：小）、ステップＳ１５へ進み、そして、輝度差が目標値と同じである場合（ステップＳ１３：同）、ステップＳ１６へ進む。

なお、ＬＥＤ制御部１４２は、輝度値と所定の目標値との比較を実行しているが、所定の目標値であるか否かの判定は、輝度値が所定の目標範囲内にあるか否かを判定するものを含む概念とする。この場合、輝度値が所定の目標範囲よりも大きい場合、ステップＳ１４へ進み、輝度値が所定の目標範囲よりも小さい場合、ステップＳ１５へ進み、そして、輝度値が所定の目標範囲内である場合、ステップＳ１６へ進むものとすればよい。

＜ステップＳ１４＞
ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射している赤外線の強度を所定量小さくする。そして、ステップＳ１１に戻り、再び、カメラユニット１２は画像を撮像する。

＜ステップＳ１５＞
ＬＥＤ制御部１４２は、赤外線ＬＥＤユニット１１から照射している赤外線の強度を所定量大きくする。そして、ステップＳ１１に戻り、再び、カメラユニット１２は画像を撮像する。

このように、ステップＳ１４およびステップＳ１５の動作が繰り返されることによって、輝度差が所定の目標値と一致するように、赤外線ＬＥＤユニット１１から照射される赤外線の強度が調整される。

＜ステップＳ１６＞
ＬＥＤ制御部１４２は、輝度差と所定の目標値とが同じである場合、そのときの赤外線ＬＥＤユニット１１からの赤外線の照射強度を維持し、輝度演算部１４１は、照射領域サンプルエリア２０２の最大輝度値をもとめ、その最大輝度値を記憶部１４６に記憶させる。

以上のように輝度調整処理が実行される。輝度調整処理は、操作入力システム１の起動時に初期動作として実行され、その後は、所定時間ごとに実行されるものとすればよい。

（ジェスチャー操作認識処理）
図５は、実施形態の入力コントローラにおけるジェスチャー操作認識処理の動作例を示すフローチャートである。図６は、実施形態の入力コントローラにより撮像された画像の二値化画像の例を示す図である。図７は、実施形態の入力コントローラにより撮像された画像の二値化画像から距離変換と輪郭抽出とを行ってもとめた輪郭抽出画像を示す図である。図５〜７を参照しながら、本実施形態の入力コントローラ１０におけるジェスチャー操作認識処理について説明する。

＜ステップＳ３１＞
カメラユニット１２は、自動車のルーフに向かう撮像方向の画像を撮像し、画像を制御ユニット１４の輝度演算部１４１に送信する。そして、ステップＳ３２へ進む。

＜ステップＳ３２＞
輝度演算部１４１は、受信した画像を構成する各画素の画素値と、記憶部１４６に記憶されている最大輝度値とを比較して画像を二値化し、図６に示す二値化画像２０１ａを生成する。例えば、輝度演算部１４１は、受信した画像を構成する各画素の画素値が、最大輝度値よりも大きい場合、値が「１」である画素に変換し、最大輝度値以下である場合、値が「０」である画素に変換して、二値化画像２０１ａを生成する。そして、ステップＳ３３へ進む。

＜ステップＳ３３＞
図６に示した二値化画像２０１ａは、撮像した画像を二値化した例を示すものであり、画素値「１」の画素の塊であるブロックとしてブロック３０１〜３０３を有している。運転者は、入力コントローラ１０のカメラユニット１２の前に手をかざすと、赤外線ＬＥＤ４０１から照射した赤外線が手に当たる。手をかざす前は、赤外線ＬＥＤ４０１から照射した赤外線は、車内のルーフに当たっていたが、手をかざすことによって、ルーフまでの距離よりも短い手の位置で反射し、カメラユニット１２に入射することになる。したがって、手をかざした状態でカメラユニット１２により撮像された画像において、手の領域部分の輝度は、手をかざしていない状態でカメラユニット１２により撮像された画像においてルーフに相当する部分の輝度と比較して高い値となる。よって、カメラユニット１２により撮像された画像を二値化すると、手の領域部分の画素の画素値は「１」となり、手の領域以外の部分の画素の画素値は「０」となる。

ただし、上述のような方法で撮像画像を二値化すると、細かいノイズが発生することがあるので、ノイズ除去のためのフィルタをかけるのが望ましい。二値化画像のノイズ除去のために、例えば、メディアンフィルタによってフィルタ処理を行う。ここで、メディアンフィルタとは、フィルタ対象の画像におけるｎ×ｎの局所領域における画素の画素値を小さい順に並べ、並べた画素値のうち真中に相当する画素値を局所領域の中央の画素の画素値として置換するフィルタである。このような、ノイズ除去のためのフィルタをかけた後でも、手の領域のブロック以外のブロックが残る場合がある。したがって、画像処理部１４３は、二値化画像２０１ａに複数のブロックが存在する場合、それぞれのブロックの面積を算出し、最大面積のブロックを手の領域のブロックの候補として抽出する。図６においては、画像処理部１４３は、ブロック３０１〜３０３のうち、最大面積を有するブロック３０１を手の領域のブロックの候補として抽出する。そして、ステップＳ３４へ進む。

＜ステップＳ３４＞
画像処理部１４３は、二値化画像２０１ａにおける手の領域の候補であるブロック３０１の面積を、所定の閾値と比較し、閾値よりも大きい場合、ブロック３０１が手の領域に対応するものであると判定する。画像処理部１４３は、二値化画像２０１ａにおいて手の領域の候補であるブロック３０１の面積が所定の閾値以下である場合、ブロック３０１が手の領域のブロックでないと判断し、ジェスチャー操作認識処理を終了する。一方、画像処理部１４３は、手の領域の候補であるブロック３０１の面積が所定の閾値より大きい場合、ブロック３０１が手の領域のブロックであると判断し、ステップＳ３５へ進む。

＜ステップＳ３５＞
画像処理部１４３は、二値化画像２０１ａにおいて、手の領域のブロックと判定したブロック３０１の輪郭線を抽出した図７に示す輪郭抽出ブロック３０１ａを含む輪郭抽出画像２０１ｂを得る。具体的には、画像処理部１４３は、二値化画像２０１ａのうちブロック３０１以外のブロックであるブロック３０２、３０３を消去した画像に対して、距離変換処理を実行する。ここで、距離変換処理とは、二値化画像における画素値が「１」である画素の画素値を、その画素から最も近い画素値が「０」である画素までの距離に置換する処理である。距離変換処理した画像において、距離が「１」である画素を結ぶことによって、画像における図形の輪郭線をもとめることができる。このようにしてもとめた画像が輪郭抽出画像２０１ｂである。さらに、画像処理部１４３は、輪郭抽出ブロック３０１ａの輪郭線の長さを算出する。そして、ステップＳ３６へ進む。

＜ステップＳ３６＞
ジェスチャー判定部１４４は、ここでは、例えば、運転者の手によるジェスチャーとして「グー」、「チョキ」および「パー」のいずれのジェスチャーであるかを判定するものとする。手のジェスチャーが「パー」である場合、指それぞれの輪郭線が現れるため、輪郭線が長くなるのに対し、「グー」である場合、手の形状が楕円のようになるため輪郭線も短くなるという特徴がある。ここで、特徴量として（輪郭線の長さ）／（面積の平方根）を定義する。「パー」のような複雑な図形の場合、上述の特徴量は大きくなり、「グー」のような単純な図形の場合、特徴量は小さくなり、「チョキ」の場合は、特徴量はそれらの中間の値となることから、この特徴量を採用することによって、「グー」、「チョキ」および「パー」のジェスチャーの判定が可能となる。ジェスチャー判定部１４４は、画像処理部１４３によって算出されたブロック３０１の面積、および、輪郭抽出ブロック３０１ａの輪郭線の長さから上述の特徴量を算出し、この特徴量に基づいて、手のジェスチャーが「グー」、「チョキ」または「パー」のいずれであるか判定する。そして、ステップＳ３７へ進む。

なお、上述のように、ジェスチャー判定部１４４が判定するジェスチャーとして「グー」、「チョキ」および「パー」を例に挙げたが、これに限定されるものではない。例えば、ジェスチャー判定部１４４は、立てた指の本数を検出してジェスチャーを判定するものとしてもよい。

また、ジェスチャー判定部１４４がジェスチャーを判定するための特徴量として、（輪郭線の長さ）／（面積の平方根）を挙げたが、これに限定されるものではなく、ジェスチャーを判定することが可能な特徴量であれば、どのような算出式を用いてもよい。

また、ジェスチャー判定部１４４は、上述のような「グー」、「チョキ」および「パー」のように静的な運転者のジェスチャーのみではなく、過去のジェスチャーと比較して、運転者の手の動き、その方向および指の屈伸等、動的なジェスチャーを判定するものとしてもよい。

＜ステップＳ３７＞
コマンド生成部１４５は、ジェスチャー判定部１４４によって判定されたジェスチャーに対応するカーナビゲーション装置２０に対する操作コマンドを生成する。そして、ステップＳ３８へ進む。

＜ステップＳ３８＞
コマンド生成部１４５は、生成した操作コマンドを、通信インターフェース１３および通信ケーブル３０を介して、カーナビゲーション装置２０に送信する。カーナビゲーション装置２０は、受信した操作コマンドにしたがって、操作コマンドに対応した機能を実行する。

例えば、ジェスチャー判定部１４４によって判定されたジェスチャーが「パー」である場合、カーナビゲーション装置２０は、表示画面４２１に表示されている地図を市街図に変更する。また、カーナビゲーション装置２０は、ジェスチャーが「チョキ」である場合、表示画面４２１に表示されている地図を拡大し、ジェスチャーが「グー」である場合、表示画面４２１に表示されている地図を縮小する。

以上のようなジェスチャー操作認識処理は、繰り返し実行されるものとする。上述のようなジェスチャー操作認識処理が実行されることによって、運転者のジェスチャーによって、操作対象機器であるカーナビゲーション装置２０を操作することが可能になる。

また、ステップＳ３３で、画像処理部１４３により何らかの最大面積を有するブロックが抽出され、ステップＳ３４で、画像処理部１４３によりそのブロックの面積が所定の閾値以下である場合、運転者が何らかのジェスチャー操作を試みた可能性が高く、輝度調整処理が適切に実行されていない可能性も高い。このように、ステップＳ３４で画像処理部１４３によりそのブロックの面積が所定の閾値以下となり、ジェスチャー操作認識処理が終了したとき、制御ユニット１４は、輝度調整処理を実行するのが望ましい。

以上のように、赤外線ＬＥＤユニット１１によって撮像される赤外線による画像において、照射領域サンプルエリア２０２の輝度と、周辺部サンプルエリア２０３ａ〜２０３ｄの輝度との差である輝度差が、目標の輝度差となるように、赤外線ＬＥＤユニット１１から照射される赤外線の照射強度を調整している。これによって、入力コントローラ１０の周辺環境の変化に応じて、赤外線の照射強度が調整されるので、ジェスチャー操作認識処理に対する外乱の影響を低減し、ジェスチャーの検出精度を向上させることができる。また、可視光を利用しないで赤外線を利用するので夜間でも使用することが可能であり、かつ、昼間でも外乱として太陽光の影響も受けにくいので、入力コントローラ１０の機器の信頼性が向上する。さらに、赤外線ＬＥＤユニット１１から照射される赤外線の照射強度は、上述のように、目標の輝度差となるように調整されるので、消費電力の増大を抑制することができる。

また、本実施の形態に係る操作入力システム１は、昼間は可視光カメラを使用し、夜間は赤外線カメラを使用するというように、２つのカメラを使用する必要がないので、コストの増大を抑制することができる。

１ 操作入力システム
１０ 入力コントローラ
１１ 赤外線ＬＥＤユニット
１２ カメラユニット
１３ 通信インターフェース
１４ 制御ユニット
２０ カーナビゲーション装置
３０ 通信ケーブル
１４１ 輝度演算部
１４２ ＬＥＤ制御部
１４３ 画像処理部
１４４ ジェスチャー判定部
１４５ コマンド生成部
１４６ 記憶部
２０１ 撮像画像
２０１ａ 二値化画像
２０１ｂ 輪郭抽出画像
２０２ 照射領域サンプルエリア
２０３ａ〜２０３ｄ 周辺部サンプルエリア
２５１ 照射領域
３０１〜３０３ ブロック
３０１ａ 輪郭抽出ブロック
４０１ 赤外線ＬＥＤ
４１１ カメラ
４１２ 赤外線透過フィルタ
４２１ 表示画面

Claims (9)

1. 赤外線を照射する赤外線照射手段と、
   赤外線を検出して撮像し、画像を生成する撮像手段と、
   前記画像において、前記赤外線照射手段により赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出する輝度演算手段と、
   前記輝度差が所定の目標値となるように、前記赤外線照射手段から照射される赤外線の照射強度を調整する赤外線制御手段と、
   前記画像から指示物体の形状を検出する画像処理手段と、
   前記形状から、前記指示物体による操作内容を判定する判定手段と、
   前記操作内容に対応した機能を操作対象機器に実行させる命令手段と、
   を備えた操作入力装置。
2. 記憶手段をさらに備え、
   前記輝度演算手段は、前記赤外線制御手段によって前記輝度差が前記目標値の輝度差となるように前記照射強度が調整された場合における前記第１エリアの最大輝度値を記憶手段に記憶させ、
   前記画像処理手段は、前記撮像手段によって撮像された前記画像を構成する各画素の画素値と、前記最大輝度値とを比較して二値化画像を生成し、前記二値化画像から前記指示物体の形状を検出する請求項１に記載の操作入力装置。
3. 前記撮像手段による前記画像の撮像および生成、前記輝度演算手段による前記輝度差の算出、および前記赤外線制御手段による前記照射強度の調整を所定間隔に実行する請求項１または２に記載の操作入力装置。
4. 前記撮像手段は、少なくとも赤外線を検出する撮像素子と、前記撮像素子の入射側に配置された赤外線透過フィルタと、を含む請求項１〜３のいずれか一項に記載の操作入力装置。
5. 前記輝度演算手段は、前記画像において、前記第１エリアの輝度の平均値と、前記第２エリアの輝度の平均値との差を前記輝度差として算出する請求項１〜４のいずれか一項に記載の操作入力装置。
6. 前記赤外線制御手段は、前記輝度差が所定の目標範囲内に入るように前記照射強度を調整する請求項１〜５のいずれか一項に記載の操作入力装置。
7. 前記第２エリアは、前記画像において複数配置された請求項１〜６のいずれか一項に記載の操作入力装置。
8. 赤外線を照射するステップと、
   赤外線を検出して撮像し、画像を生成するステップと、
   前記画像において、赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出するステップと、
   前記輝度差が所定の目標値となるように、照射する赤外線の照射強度を調整するステップと、
   前記画像から指示物体の形状を検出するステップと、
   前記形状から、前記指示物体による操作内容を判定するステップと、
   前記操作内容に対応した機能を操作対象機器に実行させるステップと、
   を有する操作入力方法。
9. 撮像手段によって赤外線が検出され、生成された画像において、赤外線照射手段により赤外線が照射された第１エリアの輝度と、前記第１エリア外に配置された第２エリアの輝度との輝度差を算出する輝度演算手段と、
   前記輝度差が所定の目標値となるように、前記赤外線照射手段から照射される赤外線の照射強度を調整する赤外線制御手段と、
   前記画像から指示物体の形状を検出する画像処理手段と、
   前記形状から、前記指示物体による操作内容を判定する判定手段と、
   前記操作内容に対応した機能を操作対象機器に実行させる命令手段と、
   をコンピュータに実現するためのプログラム。