JP2014100998A - 操作支援システム、操作支援方法及びコンピュータプログラム - Google Patents

Abstract

【課題】車両に始めて乗車するユーザに対しても操作面の存在を認識させることを可能にした操作支援システム、操作支援方法及びコンピュータプログラムを提供する。
【解決手段】操作対象物となる複数のメニューアイコン４１をフロントガラス３６に表示し、左操作入力装置２で受け付けたタッチ操作と右操作入力装置３によって受け付けたタッチ操作に基づいて、表示されたメニューアイコン４１の内から、いずれかのメニューアイコン４１を選択及び操作する一方、左操作入力装置２と右操作入力装置３のタッチパッド１１の操作面を同時にタッチする操作を受け付けた場合には、エンジンのオン制御等の特殊な車両機器の制御を行う（Ｓ３２、Ｓ３６、Ｓ３８〜Ｓ４０）ように構成する。
【選択図】図９

Description

本発明は、タッチ操作による車両内の機器の操作を支援する操作支援システム、操作支援方法及びコンピュータプログラムに関する。

従来より、パーソナルコンピュータ、ＡＴＭ、券売機、ナビゲーション装置、スマートフォン等の機器に対してユーザが操作を行う際に、機器に対するユーザの操作を受け付ける手段として、様々なマンマシンインタフェースが用いられている。特に、近年、マンマシンインタフェースの一つとして、ユーザのタッチ操作を受け付ける操作面を設け、該操作面に対するユーザのタッチ操作（例えば、タッチオンする操作、タッチオフする操作、ドラッグ操作、フリック操作等）をユーザの操作として検出する操作機器が良く用いられる。このような操作機器としては、タッチパッド、タッチパネル、タブレット等（以下、タッチパッド等という）があり、ユーザに直感的で分かり易い操作を行わせることが可能となる。

ここで、上記タッチパッド等をユーザが操作する場合の操作態様として、ユーザがタッチパッド等を視認せずに操作を行う場合がある。具体的には、他の作業を行いながら、タッチパッド等の操作を行う場合であり、例えば、車両の運転操作をしながらタッチパッド等の操作を行う場合がある。例えば、特開２０１２−１７７９９９号公報には、車両のハンドルに対して左右２箇所に円形状のタッチパッドを設け、タッチパッドに対する指のタッチ操作と、ディスプレイに表示される表示内容とを用いて、ナビゲーション装置やオーディオ機器等の車載器の操作を行う技術について記載されている。

特開２０１２−１７７９９９号公報（第１０頁−第１１頁、図１）

ここで、上記特許文献１に記載の技術では、左側に配置されたタッチパッドに対するタッチ操作と右側に配置されたタッチパッドに対するタッチ操作の組み合わせによって、車載器に対して様々な操作（例えば地図画像の縮尺変更等）を行うことが記載されている。しかしながら、複数のタッチパッドへのタッチ操作の組み合わせにより操作を行うことによって、複雑な操作指示が実現できる一方、操作内容が複雑になる問題があった。また、タッチパッドがハンドルに一体化して設けられるので、レンタカー等を借りて乗車したユーザはタッチパッドの存在に気付かない虞がある。

本発明は前記従来における問題点を解消するためになされたものであり、ハンドルの異なる箇所に設置された２つの操作面に対して同時に触れるという簡易なユーザの操作によって、車両機器に対する各種制御を行うことを可能となるとともに、車両に始めて乗車するユーザに対しても操作面の存在を認識させることを可能にした操作支援システム、操作支援方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本願の請求項１に係る操作支援システム（１）は、車両のハンドル（５）の異なる箇所に夫々設けられ、操作面（１１）を介して前記ユーザの操作を受け付ける第１操作入力装置（２）及び第２操作入力装置（３）と、前記第１操作入力装置及び前記第２操作入力装置により操作される操作対象物（４１）を表示する表示機器（４）と、を備えた操作支援システムにおいて、複数の前記操作対象物を前記表示機器に表示する操作対象物表示手段（３１）と、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器を含む車両機器のいずれかを制御する車両制御手段（３１）と、を有することを特徴とする。
尚、「操作面に触れる」とは、実際にユーザが操作面に接触する場合に加えて、静電容量方式ではユーザが操作面に接触していなくても静電容量が変化した場合には触れたとみなす。
また、「同時に触れる」とは厳密に同一時刻に触れることに加えて、触れた時刻に許容範囲内の差分が有る場合も含む。

また、請求項２に係る操作支援システム（１）は、請求項１に記載の操作支援システムであって、前記車両制御手段（３１）は、前記車両機器の制御状態と、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作とに基づいて、前記車両機器の制御状態を制御することを特徴とする。

また、請求項３に係る操作支援システム（１）は、請求項１又は請求項２に記載の操作支援システムであって、前記第１操作入力装置（２）の操作面（１１）は前記ハンドル（５）の左側のスポーク部分に配置され、前記第２操作入力装置（３）の操作面は前記ハンドルの右側のスポーク部分に配置されることを特徴とする。

また、請求項４に係る操作支援システム（１）は、請求項１乃至請求項３のいずれかに記載の操作支援システムであって、前記車両機器は前記車両の駆動源を含み、前記車両制御手段は、前記第１操作入力装置（２）の操作面（１１）と前記第２操作入力装置（３）の操作面とに同時に触れる操作を受け付けた場合に、前記駆動源をオン又はオフに制御することを特徴とする。
尚、車両の駆動源としては、例えばエンジンやモータがある。

また、請求項５に係る操作支援システム（１）は、請求項４に記載の操作支援システムであって、前記車両制御手段（３１）は、前記車両機器の制御状態として前記車両の駆動源がオフ状態であって、且つ前記第１操作入力装置（２）の操作面と前記第２操作入力装置（３）の操作面とに同時に触れる操作を受け付けた場合に、前記駆動源をオフ状態からオン状態に制御することを特徴とする。

また、請求項６に係る操作支援システム（１）は、請求項４又は請求項５に記載の操作支援システムであって、前記第１操作入力装置（２）の操作面と前記第２操作入力装置（３）の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の前記操作面において同時に触れる状態を継続した時間を検出するタッチ時間検出手段を有し、前記車両制御手段（３１）は、前記車両機器の制御状態として前記車両の駆動源がオン状態であって、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合で、且つ前記タッチ時間検出手段によって検出された時間が閾値以上である場合に、前記駆動源をオン状態からオフ状態に制御することを特徴とする。

また、請求項７に係る操作支援システム（１）は、請求項４乃至請求項６のいずれかに記載の操作支援システムであって、前記第１操作入力装置（２）の操作面と前記第２操作入力装置（３）の操作面とに同時に触れる操作を受け付けた否かを判定する同時操作判定手段（３１）を有し、前記同時操作判定手段は、所定の許容範囲時間内に前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とにそれぞれ触れる操作を受け付けた場合に、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けたと判定し、前記許容範囲時間は、前記車両機器の制御状態として前記車両の駆動源がオン状態である場合に比べて前記車両の駆動源がオフ状態である場合に短く設定することを特徴とする。

また、請求項８に係る操作支援システム（１）は、請求項４乃至請求項７のいずれかに記載の操作支援システムであって、前記車両制御手段（３１）は、前記車両機器の制御状態として前記車両の駆動源がオン状態であって、前記車両のパーキングブレーキが作動している状態と判定した場合で、且つ前記第１操作入力装置（２）の操作面と前記第２操作入力装置（３）の操作面とに同時に触れる操作を受け付けた場合に、前記駆動源をオン状態からオフ状態に制御することを特徴とする。

また、請求項９に係る操作支援システム（１）は、請求項１乃至請求項３のいずれかに記載の操作支援システムであって、前記車両制御手段（３１）は、前記車両機器の制御状態として前記表示機器（４）の表示画面の電源がオフ状態であって、且つ前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器において前記操作対象物の選択画面（４０）を表示するように前記表示機器を制御することを特徴とする。

また、請求項１０に係る操作支援システム（１）は、請求項１乃至請求項３、請求項９のいずれかに記載の操作支援システムであって、前記車両制御手段（３１）は、前記車両機器の制御状態として前記表示機器（４）の表示画面の電源がオン状態であって、且つ前記第１操作入力装置（２）の操作面と前記第２操作入力装置（３）の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器の電源をオン状態からオフ状態に制御することを特徴とする。

また、請求項１１に係る操作支援システム（１）は、請求項１乃至請求項３のいずれかに記載の操作支援システムであって、前記第１操作入力装置（２）の操作面と前記第２操作入力装置（３）の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の前記操作面において同時に触れる状態を継続した時間を検出するタッチ時間検出手段（３１）を有し、前記車両制御手段（３１）は、前記タッチ時間検出手段によって検出された時間によって異なる制御を行うことを特徴とする。

また、請求項１２に係る操作支援システム（１）は、請求項１１に記載の操作支援システムであって、前記車両制御手段（３１）は、前記タッチ時間検出手段（３１）によって検出された時間が閾値未満である場合には、前記表示機器（４）において前記操作対象物の選択画面（４０）を表示又は電源をオフするように前記表示機器を制御し、前記タッチ時間検出手段によって検出された時間が閾値以上である場合には、前記車両のエンジンをオフに制御することを特徴とする。

また、請求項１３に係る操作支援方法は、車両のハンドル（５）の異なる箇所に夫々設けられ、操作面（１１）を介して前記ユーザの操作を受け付ける第１操作入力装置（２）及び第２操作入力装置（３）と、前記第１操作入力装置及び前記第２操作入力装置により操作される操作対象物（４１）を表示する表示機器（４）と、を備えた操作支援システムによる操作支援方法において、複数の前記操作対象物を前記表示機器に表示する操作対象物表示ステップと、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器を含む車両機器のいずれかを制御する車両制御ステップと、を有することを特徴とする操作支援方法。

更に、請求項１４に係るコンピュータプログラムは、車両のハンドル（５）の異なる箇所に夫々設けられ、操作面（１１）を介して前記ユーザの操作を受け付ける第１操作入力装置（２）及び第２操作入力装置（３）と、前記第１操作入力装置及び前記第２操作入力装置により操作される操作対象物（４１）を表示する表示機器（４）と、を備えた操作支援システムにおいて実行されるコンピュータプログラムにおいて、複数の前記操作対象物を前記表示機器に表示する操作対象物表示機能と、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器を含む車両機器のいずれかを制御する車両制御機能と、を実行させることを特徴とする。

前記構成を有する請求項１に記載の操作支援システムによれば、表示機器に表示された複数の操作対象物からいずれかの操作対象物を選択させる操作をユーザに行わせる場合において、操作対象物が多数ある場合であってもハンドルの異なる箇所に設置された２つの操作面への操作を組み合わせることによってユーザの意図する操作対象物を正確に選択させつつ、２つの操作面に対して同時に触れるという簡易なユーザの操作によって、車両機器に対する各種制御を行うことが可能となる。また、２つの操作面を触れさせることによって、車両に始めて乗車するユーザに対しても操作面の存在を認識させることが可能となる。

また、請求項２に記載の操作支援システムによれば、車両機器の制御状態と、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作とに基づいて、車両機器の制御状態を制御するので、現在の車両機器の制御状態に応じた適切な制御を行うことが可能となる。

また、請求項３に記載の操作支援システムによれば、第１操作入力装置の操作面はハンドルの左側のスポーク部分に配置され、第２操作入力装置の操作面はハンドルの右側のスポーク部分に配置されるので、車両を運転するユーザは最小限の手の動きによって第１操作入力装置及び第２操作入力装置を操作することが可能となる。

また、請求項４に記載の操作支援システムによれば、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、駆動源をオン又はオフに制御するので、第１操作入力装置と第２操作入力装置を用いた簡易な操作によって車両の駆動源のオン制御又はオフ制御が可能となる。また、運転開始時に、２つの操作面を触れさせる操作をユーザに課すことによって、車両に始めて乗車するユーザに対しても操作面の存在を確実に認識させることが可能となる。

また、請求項５に記載の操作支援システムによれば、車両の駆動源がオフ状態である場合に、第１操作入力装置と第２操作入力装置を用いた簡易な操作によって車両の駆動源をオンすることが可能となる。

また、請求項６に記載の操作支援システムによれば、車両の駆動源がオン状態である場合に、第１操作入力装置と第２操作入力装置を用いた簡易な操作によって車両の駆動源をオフすることが可能となる。また、両方の操作面において同時に触れる状態を継続していることを条件とするので、車両の走行中に誤って駆動源がオフされることを防止することが可能となる。

また、請求項７に記載の操作支援システムによれば、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作を受け付けたか否かの判定を行う際の許容範囲時間を、車両の駆動源がオン状態である場合に比べて車両の駆動源がオフ状態である場合に短く設定するので、誤操作が行われた際のリスクを考慮して適切な許容範囲時間を設定することが可能となる。

また、請求項８に記載の操作支援システムによれば、車両のパーキングブレーキが作動している状態において、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、駆動源をオフに制御するので、車両の走行中に誤って駆動源がオフされることを防止することが可能となる。

また、請求項９に記載の操作支援システムによれば、表示機器の表示画面の電源がオフ状態であって、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、表示機器において操作対象物の選択画面を表示するので、ユーザが操作対象物の選択及び操作を希望する場合において、任意のタイミングで該操作対象物の選択及び操作を開始することが可能となる。

また、請求項１０に記載の操作支援システムによれば、表示機器の表示画面の電源がオン状態であって、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、表示機器の表示画面の電源をオフに制御するので、ユーザが操作対象物の選択及び操作を希望しない場合において、任意のタイミングで表示機器の表示画面の電源をオフし、視界を広げることによってその後の車両の運転操作を集中して行うことが可能となる。

また、請求項１１に記載の操作支援システムによれば、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の操作面において同時に触れる状態を継続した時間を検出し、検出された時間によって異なる制御を行うので、２つの操作面に対して同時に触れるという簡易なユーザの操作によって、車両機器に対する複数種類の制御を行うことが可能となる。

また、請求項１２に記載の操作支援システムによれば、第１操作入力装置の操作面と第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の操作面において同時に触れる状態を継続した時間を検出し、検出された時間が長い場合に駆動源のオフ制御を行い、検出された時間が短い場合に表示機器の制御を行うので、ユーザの意図に反して走行中に駆動源がオフされることを防止することが可能となる。

また、請求項１３に記載の操作支援方法によれば、表示機器に表示された複数の操作対象物からいずれかの操作対象物を選択させる操作をユーザに行わせる場合において、操作対象物が多数ある場合であってもハンドルの異なる箇所に設置された２つの操作面への操作を組み合わせることによってユーザの意図する操作対象物を正確に選択させつつ、２つの操作面に対して同時に触れるという簡易なユーザの操作によって、車両機器に対する各種制御を行うことが可能となる。また、２つの操作面を触れさせることによって、車両に始めて乗車するユーザに対しても操作面の存在を認識させることが可能となる。

更に、請求項１４に記載のコンピュータプログラムによれば、表示機器に表示された複数の操作対象物からいずれかの操作対象物を選択させる操作をユーザに行わせる場合において、操作対象物が多数ある場合であってもハンドルの異なる箇所に設置された２つの操作面への操作を組み合わせることによってユーザの意図する操作対象物を正確に選択させつつ、２つの操作面に対して同時に触れるという簡易なユーザの操作によって、車両機器に対する各種制御を行わせることが可能となる。また、２つの操作面を触れさせることによって、車両に始めて乗車するユーザに対しても操作面の存在を認識させることが可能となる。

本実施形態に係る操作支援システムの概略構成を示したブロック図である。 操作入力装置及び表示画面の車両に対する配置態様を示した図である。 左操作入力装置を示した斜視図である。 図３の線Ｘ−Ｘで左操作入力装置を切断した矢視断面図である。 ピン駆動機構におけるピンの駆動態様を示した図である。 車両のフロントガラスに表示されるメイン画面を示した図である。 車両のフロントガラスに表示される設定操作画面を示した図である。 本実施形態に係る操作支援処理プログラムのフローチャートである。 同時タッチ処理のサブ処理プログラムのフローチャートである。 ＡＣＣがオンされた直後においてフロントガラスに表示されるメイン画面を示した図である。 タッチパッドの操作面上に設定される選択領域を示した図である。 メイン画面における選択対象候補アイコンの配置態様を示した図である。 左ドラッグ処理のサブ処理プログラムのフローチャートである。 メイン画面における選択対象候補アイコンの配置態様を示した図である。 図１０に示すメイン画面が表示されている状態において、左操作入力装置で右方向のドラッグ操作を受け付けた場合における選択対象候補の切り換え態様を示した図である。 図１０に示すメイン画面が表示されている状態において、左操作入力装置で左方向のドラッグ操作を受け付けた場合における選択対象候補の切り換え態様を示した図である。 左フリック処理のサブ処理プログラムのフローチャートである。 図１０に示すメイン画面が表示されている状態において、左操作入力装置で右方向のフリック操作を受け付けた場合における選択対象候補の切り換え態様を示した図である。 右ドラッグ処理のサブ処理プログラムのフローチャートである。 右タッチ処理のサブ処理プログラムのフローチャートである。

以下、本発明に係る操作支援システムについて具体化した一実施形態について図面を参照しつつ詳細に説明する。

先ず、本実施形態に係る操作支援システム１の概略構成について図１を用いて説明する。図１は本実施形態に係る操作支援システム１の概略構成を示したブロック図である。

図１に示すように本実施形態に係る操作支援システム１は、車両内に設置され、ユーザによる操作を受け付ける左操作入力装置２及び右操作入力装置３と、ダッシュボード上に設置され車両のフロントガラスに映像を投影するヘッドアップディスプレイ（ＨＵＤ）４と、左操作入力装置２及び右操作入力装置３とＣＡＮ等の車載ネットワークを介して接続された各種車載器（例えば、オーディオ、ナビゲーション装置）や車両機器（例えば、エアコン、パワーウィンドウ、ドアミラー）の制御装置等から構成されている。

ここで、左操作入力装置２は、図２に示すように車両のハンドル５の左側スポーク部分に配置されている。また、右操作入力装置３は、車両のハンドル５の右側スポーク部分に配置されている。左操作入力装置２及び右操作入力装置３の前面には、後述のようにユーザのタッチ操作を受け付けるタッチパッド（操作面）が設けられており、ユーザはハンドル５を支持した状態で、後述のタッチ操作により左操作入力装置２や右操作入力装置３を操作可能に構成されている。そして、本実施形態に係る操作支援システム１では、ユーザは左操作入力装置２や右操作入力装置３を介して、特にアプリケーションプログラムの実行や、実行されたアプリケーションプログラムによる車両に搭載された各種車載器や車両機器の操作等を行うことが可能に構成されている。例えば、インターネット、メール、ナビゲーション装置の目的地設定操作や地図画像のスクロール操作、エアコンの電源切り替え操作や温度調整操作、オーディオのチャンネル操作や音量調整操作、ウィンドウの開閉、ドアのロック等を行うことが可能である。また、特に本実施形態に係る操作支援システム１では、左操作入力装置２の操作面と右操作入力装置３の操作面とを同時に触れる（タッチする）ことによって、車両のエンジンのオン、オフ等の特殊な制御を行うことも可能である。

以下に、左操作入力装置２及び右操作入力装置３の構成についてより詳細に説明する。尚、左操作入力装置２と右操作入力装置３は基本的に同一の構成を有しており、以下では特に左操作入力装置２を例に挙げて説明することとし、右操作入力装置３の説明は省略する。図３は左操作入力装置２を示した斜視図であり、図４は図３の線Ｘ−Ｘで左操作入力装置２を切断した矢視断面図である。
図３及び図４に示すように左操作入力装置２は、ユーザからのタッチ操作を検出するタッチパッド１１と、タッチパッド１１を振動させる為の圧電素子１２と、タッチパッド１１の下方において円柱形状のピンを上下動させる複数のピン駆動機構１３と、ピン駆動機構１３を所定の位置に固定する基部１４と、後述の操作支援ＥＣＵ１５が搭載される制御基板１６から基本的に構成される。尚、タッチ操作は、ユーザがタッチ面を触れることによって行う各種操作であり、例えばタッチパッド１１のいずれかの地点に触れる（タッチする）操作、上記触れた状態（タッチ状態）を解除する操作、ドラッグ操作、フリック操作等がある。

また、タッチパッド１１は、上面側から順にタッチパッド１１を保護するカバーシート１７と、静電容量の変化によってユーザのタッチ操作を検出する導電膜１８と、カバーシート１７や導電膜１８を前記基部１４に対して上方に支持する天板１９とから構成される。そして、操作支援ＥＣＵ１５は、後述のように所定の検出周期でユーザがタッチしたタッチ座標をタッチパッド１１の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１１の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１１の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１１としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

一方、天板１９の下面には圧電素子１２が取り付けられている。更に、タッチパッド１１と基部１４とは、四隅に配置された支持部２０によって両者間に所定の間隙を設けるように構成されている。その結果、圧電素子１２に信号電圧を加えることにより、圧電素子１２を歪ませると、その歪によってタッチパッド１１を上下方向に振動させることが可能となる。そして、本実施形態に係る操作支援システム１では、後述のようにタッチパッド１１内の所定の領域がタッチオンされた場合や、ユーザがタッチパッド１１の操作面を押下することによって操作面に所定量以上の変形（撓み）が生じた場合に、タッチパッド１１を振動させる。それによって、ユーザが実在するボタンを操作した触感を与えることが可能となる。また、操作支援ＥＣＵ１５は、電圧値を変更することによって振動方向や振動の振幅を任意に設定することが可能である。振動周期は、圧電素子１２の種類や設置態様によって異なるが、例えば２５０Ｈｚ〜２ｋＨｚとなる。尚、圧電素子１２はタッチパッド１１に直接接触して配置される必要はなく、タッチパッド１１に振動を伝達できるのであれば、他の部材に対して配置されていても良い。また、タッチパッド１１に振動を生じさせる手段としては、圧電素子１２の代わりに小型の振動モータ等を用いても良い。

また、圧電素子１２は、タッチパッド１１の操作面に生じた変形（撓み）を検出するセンサとしても機能する。即ち、天板１９の下面に取り付けられた圧電素子１２は、タッチパッド１１の操作面が変形するとそれに伴って変形する。従って、操作支援ＥＣＵ１５は圧電素子１２からの信号によってタッチパッド１１の操作面に変形（撓み）が生じたことを検出することが可能となる。

また、ピン駆動機構１３は、基部１４に対して３×３の計９箇所に所定の配置間隔（例えば縦横１ｃｍ間隔）で、ピン２１の先端部がタッチパッド１１に対向するように配置される。また、ピン２１は図４の矢印Ｚ方向に沿って上下動可能に支持されている。更に、ピン２１の底面には挿入孔２２が形成されており、挿入孔２２には支持部材２３が挿入されている。また、支持部材２３の底面には圧電素子２４が接続されている。そして、操作支援ＥＣＵ１５は、挿入孔２２と支持部材２３との間に生じる摩擦力を利用し、圧電素子２４に信号電圧を加えて振動させることによってピン２１を上方向及び下方向のいずれか一方の任意の方向に移動させることが可能となる。尚、ピン２１の駆動機構の詳細については公知であるので省略する。

また、タッチパッド１１を構成する導電膜１８及び天板１９は、ピン２１と対応する計９箇所の位置に貫通孔２５が形成されており、ピン２１が上方向に移動される場合には、タッチパッド１１の上面よりも上側にピン２１の先端が位置可能に構成されている。そして、操作支援ＥＣＵ１５は、各ピン駆動機構１３を駆動させることによって、計９個のピン駆動機構１３を図５に示すようなピン２１の先端がタッチパッド１１の操作面よりも下方にある“非突出状態”とピン２１の先端がタッチパッド１１の操作面よりも上方にある“突出状態”との間で選択的に切り換えることが可能となる。尚、カバーシート１７は図５に示すようにタッチパッド１１に対して突出された状態にあるピン２１を保護する為に、伸縮性のある材料（例えばシリコン樹脂）等を用いて形成することが望ましい。

また、左操作入力装置２及び右操作入力装置３の内、特に左操作入力装置２の操作面上には、図３に示すようにハードウェアの操作部である操作ボタン２７が設けられている。ここで、操作ボタン２７としては例えばホームボタンやショートカットボタンがある。そして、後述のようにアプリケーションの操作を行っている状態でホームボタンが押下されると、該アプリケーションを一旦終了し、ＨＵＤ４によって表示される表示画面も初期画面へと復帰される。また、ショートカットボタンが押下されると、予めショートカットボタンに対応付けられた機能（例えば、ウェブブラウザの起動、地図の縮尺変更操作、エアコンの設定温度変更操作等）が実行される。尚、操作ボタン２７は右操作入力装置３の操作面上にも設ける構成としても良い。また、操作ボタン２７をハードウェアの操作部であるハードキーではなく仮想的に操作面上に配置されるキーとしても良い。その場合には、操作支援ＥＣＵ１５は、タッチ座標が予め操作ボタン２７に対応付けられた座標範囲にある場合に、操作ボタン２７が押下されたと判定する。

また、制御基板１６に搭載される操作支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、左操作入力装置２の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ３１、並びにＣＰＵ３１が各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ３２、制御用のプログラムのほか、後述の操作支援処理プログラム（図８参照）等が記録されたＲＯＭ３３、ＲＯＭ３３から読み出したプログラムや後述のメニューアイコンの選択履歴やタッチ座標の履歴を記憶するフラッシュメモリ３４等の内部記憶装置を備えている。尚、操作支援ＥＣＵ１５は、処理アルゴリズムとしての各種手段を構成する。例えば、操作対象物表示手段は、複数の操作対象物（アイコン等）を車両のフロントガラス３６に表示する。車両制御手段は、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、ＨＵＤ４を含む車両機器のいずれかを制御する。タッチ時間検出手段は、左操作入力装置２の操作面と右操作入力装置３の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の操作面において同時に触れる状態を継続した時間を検出する。

また、ＨＵＤ４は、図２に示すようにダッシュボード３５上に設置されており、映像の投射方向が運転席の前方のフロントガラス３６の下縁付近となるように設定されている。そして、フロントガラス３６の表示対象領域３７に対して各種画像を表示する。

ここで、図６及び図７はＨＵＤ４によってフロントガラス３６の表示対象領域３７に表示される画像の一例を示した図である。
先ず、ＡＣＣがオンされた直後の状態では表示対象領域３７において図６に示すメイン画面４０が表示される。メイン画面４０は、操作支援システム１において実行可能な各種アプリケーションを実行する為の操作を受け付ける基本操作画面であり、ホーム画面やデスクトップ等が相当する。図６に示すように、メイン画面４０には、複数のメニューアイコン（操作対象物）４１が配置されている。メニューアイコン４１は、操作支援システム１において実行可能なアプリケーションを起動させる為に選択且つ操作されるアイコンであり、ユーザによってメニューアイコン４１が操作されると、操作されたメニューアイコン４１に対応したアプリケーションの起動が開始される。また、起動されるアプリケーションには、ウェブブラウザやメールアプリ以外に、各種車載器（例えば、オーディオ、ナビゲーション装置）や車両機器（例えば、エアコン、パワーウィンドウ、ドアミラー）に対する操作を行う為のアプリケーションも含まれる。そして、メイン画面４０においていずれかのメニューアイコン４１が選択且つ操作されると、対応するアプリケーションが起動され、起動されたアプリケーションに対応する操作画面が表示される。特に、車両に搭載された各種車載器や車両機器の操作に対応したアプリケーションが起動された場合には、図７に示すように設定操作画面４２（図７に示す例ではエアコンの操作に対応）が表示される。設定操作画面４２では、操作対象となる機器の現在の設定状態（パラメータ等）が設定アイコン４３〜４５内にそれぞれ表示され、更にその設定状態の確認や変更操作が可能となる。

また、メイン画面４０において表示されるメニューアイコン４１の内、所定数のメニューアイコン４１は、他のアイコンよりも拡大して表示され、また、アイコンを囲む枠も太くなる。ここで、本実施形態に係る操作支援システム１では、操作面の面積が狭いタッチパッド１１を用いてメニューアイコン４１の選択を行うので、右操作入力装置３によって直接的に選択対象（以下、選択対象候補）とすることが可能なメニューアイコン４１の数に限界がある。例えば、本実施形態では右操作入力装置３が備えるピン２１の数である９つのアイコンまで、選択対象候補とすることが可能である。従って、メイン画面４０に表示されるメニューアイコン４１が多数ある場合には、選択対象候補とするメニューアイコン４１を識別して表示する必要があり、選択対象候補とするメニューアイコン４１は他のアイコンよりも拡大して表示され、また、アイコンを囲む枠も太くなる。更に、選択対象候補とするメニューアイコン４１は、右操作入力装置３のタッチパッド１１に配置されるピン２１の配置態様と対応する配置態様で表示する。即ち、３×３の等間隔の配置間隔で配置される。尚、選択対象候補とするメニューアイコン４１は、後述するように左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作又はフリック操作によって切り換えることが可能となる。

また、メニューアイコン４１が特に多数存在する場合には、起動されるアプリケーションの種類によって複数のグループに区分する。そして、グループ単位で該グループに属するメニューアイコン４１をメイン画面４０に表示するように構成する。例えば、図６に示す例ではナビゲーション装置に関する操作を行う為のアプリケーションを起動させるメニューアイコン４１のグループと、オーディオに関する操作を行う為のアプリケーションを起動させるメニューアイコン４１のグループと、一般的なアプリケーションやその他の車両機器に関する操作を行う為のアプリケーションを起動させるメニューアイコン４１のグループとに区分され、現時点でその他の車両機器に関するメニューアイコン４１のグループが表示対象となっている。また、ユーザは左操作入力装置２において左右へのフリック操作やドラッグ操作を行うことによって、メイン画面４０に表示対象となるグループを順次変更することが可能である。

また、ユーザは右操作入力装置３を操作することによって選択対象候補となっているメニューアイコン４１の内から任意のメニューアイコン４１を選択及び操作することが可能となる。具体的には、選択を希望するメニューアイコン４１の位置に対応するタッチパッド１１の位置（例えば、図６に示す例で『エアコン』のメニューアイコン４１を選択する場合には左上のピン２１周辺）を右操作入力装置３においてタッチオンすることによってメニューアイコン４１が選択される。尚、メニューアイコン４１の位置に対応するピン２１を押下することや操作面に一定量以上の撓みを生じさせることを選択の条件としても良い。そして、いずれかのメニューアイコン４１が選択且つ操作されると、対応するアプリケーションが起動され、起動されたアプリケーションに対応する操作画面が表示される。
尚、メイン画面４０や設定操作画面４２を表示する表示手段としては、ＨＵＤ４の代わりに、車両内に設置された液晶ディスプレイや有機ＥＬディスプレイ、車両の運転者の頭部に装着可能に構成されるヘッドマウントディスプレイ（ＨＭＤ）等を用いても良い。また、ナビゲーション装置のディスプレイを用いても良い。

一方、左操作入力装置２や右操作入力装置３が有するＣＡＮ（コントローラエリアネットワーク）インターフェース４７は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるＣＡＮに対して、データの入出力を行うインターフェースである。そして、操作支援ＥＣＵ１５は、ＣＡＮを介して、各種車載器や車両機器の制御装置（例えば、ナビゲーション装置４８、ＡＶ装置４９、エアコン制御ＥＣＵ５０等）と相互通信可能に接続される。そして、操作支援ＥＣＵ１５は、特定のアプリケーションが起動された状態で左操作入力装置２や右操作入力装置３においてユーザの操作を受け付けた場合に、操作信号を各種車載器や車両機器の制御装置へと送信することによって、左操作入力装置２や右操作入力装置３を介した各種車載器や車両機器の操作を行う。

続いて、前記構成を有する操作支援システム１において操作支援ＥＣＵ１５が実行する操作支援処理プログラムについて図８に基づき説明する。図８は本実施形態に係る操作支援処理プログラムのフローチャートである。ここで、操作支援処理プログラムは車両のＡＣＣがＯＮされた後に実行され、左操作入力装置２及び右操作入力装置３を介して各種アプリケーションの起動及び操作を行うプログラムである。尚、以下の図８、図９、図１３、図１７、図１９及び図２０にフローチャートで示されるプログラムは、操作支援システム１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。

先ず、操作支援処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は、操作支援処理プログラムに関する各種の初期化処理を実行する。初期化処理では、タッチ座標の履歴や後述の選択対象候補アイコンの設定情報等が初期化される。

次に、Ｓ２においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、左操作入力装置２及び右操作入力装置３のいずれかのタッチパッド１１の操作面において、ユーザが少なくとも１点以上をタッチしている状態（以下、タッチ状態という）にあるか否かを判定する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、所定値以上の圧力を検出した場合や所定値以上の静電容量の変化を検出した場合に、ユーザがタッチパッド１１をタッチした状態にあると判定する。

そして、左操作入力装置２及び右操作入力装置３のいずれかのタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ２：ＹＥＳ）には、Ｓ３へと移行する。それに対して、左操作入力装置２及び右操作入力装置３のいずれのタッチパッド１１の操作面もタッチした状態にないと判定された場合（Ｓ２：ＮＯ）には、タッチ状態となるまで待機する。

Ｓ３においてＣＰＵ３１は、特に左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とにユーザが同時にタッチする（触れる）操作が行われたか否か判定する。尚、「同時に触れる」とは厳密に同一時刻に触れることに加えて、触れた時刻の差分が所定の許容範囲時間内である場合も含む。ここで、許容範囲時間は、後述する駆動源（例えば、エンジン）をオフ状態からオン状態にする場合に設定される許容範囲時間に比べて駆動源をオン状態からオフ状態にする場合に設定する許容範囲時間を短くする方が望ましい。その理由としては、駆動源をオフ状態からオン状態にする場合には車速が検出されている場合がほとんど存在しないと考えられるので、誤操作により駆動源をオフ状態からオン状態になったとしても車両等に問題が生じる可能性が低い。一方、駆動源をオフ状態にする場合には車速が検出されている場合も存在するため、誤操作により駆動源をオン状態からオフ状態にした場合に車両等に問題が生じる可能性があるためである。

そして、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とにユーザが同時にタッチする操作が行われたと判定された場合（Ｓ３：ＹＥＳ）には、Ｓ４へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とにユーザが同時にタッチする操作が行われていないと判定された場合（Ｓ３：ＮＯ）には、Ｓ５へと移行する。

Ｓ４においてＣＰＵ３１は、後述の両タッチ処理（図９）が実行される。尚、両タッチ処理は、後述のように左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面で同時に受け付けたタッチ操作に基づいて、エンジンのオン制御、オフ制御やＨＵＤ４の電源制御等の特殊な車両制御を行う処理である。その後、Ｓ２３へと移行する。

ここで、前記Ｓ４において実行される同時タッチ処理のサブ処理について図９に基づき説明する。図９は同時タッチ処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ３１においてＣＰＵ３１は、ＣＡＮによって接続された車両制御ＥＣＵと通信を行うことによって、車両機器の制御状態として車両のエンジンがオフの状態にあるか否かを判定する。

そして、車両のエンジンがオフの状態にあると判定された場合（Ｓ３１：ＹＥＳ）には、Ｓ３２へと移行する。それに対して、車両のエンジンがオンの状態にあると判定された場合（Ｓ３１：ＮＯ）には、Ｓ３３へと移行する。

Ｓ３２においてＣＰＵ３１は、前記Ｓ３１において車両機器の制御状態としてエンジンがオフ状態であるために、タッチパッド１１の操作面で同時に受け付けたタッチ操作に対応する車両機器の制御内容がエンジン始動であると判定して、エンジンの始動信号をＣＡＮを介して車両制御ＥＣＵへと送信する。一方、エンジンの始動信号を受信した車両制御ＥＣＵは、停止状態にある車両のエンジンを始動する。その結果、左操作入力装置２及び右操作入力装置３を介したエンジンの駆動制御を行うことが可能となる。その後、Ｓ２３へと移行する。

Ｓ３３においてＣＰＵ３１は、左操作入力装置２と右操作入力装置３の両方のタッチパッド１１の操作面に同時にタッチした後において、左操作入力装置２と右操作入力装置３の両方のタッチパッド１１の操作面において同時に触れる状態を継続した継続時間Ｔを検出する。ここで、継続時間Ｔが左操作入力装置２と右操作入力装置３の両方のタッチパッド１１の操作面において同時に触れる状態を継続した時点から計時される理由について説明する。近年、駆動源をオン状態にするためにスターターボタンが配設されている車両が増えているが、これらは運転者が比較的操作しにくい位置にスターターボタンを配設して誤操作を防ぐようにしている。これに対して、本発明では左操作入力装置２と右操作入力装置３はハンドルに配設しているので、タッチパッドの一方が押されている状態でタッチパッドの他方が誤って押された場合にこれら２つの操作入力装置への同時入力（タッチ操作）がユーザに為されたと誤判定しないようにする必要があるためである。さらに、継続時間Ｔをエンジンのオン状態からオフ状態へ変更する際に用いていて、エンジンのオフ状態からオン状態へ変更する際に用いていない理由は、駆動源の制御と並行して後述する画面の表示状態（オン状態）と非表示状態（オフ状態）を制御するため以外にも車両が走行中（車速が検出されている場合）に誤って駆動源をオン状態からオフ状態とされないようにして車両等に問題が生じるのを防止するためである。

Ｓ３４においてＣＰＵ３１は、前記Ｓ３３で検出された継続時間Ｔが所定時間以上であるか否かを判定する。ここで、所定時間は例えば３ｓｅｃとし、ＲＡＭ３２等の記憶手段に記憶される。

そして、前記Ｓ３３で検出された継続時間Ｔが所定時間以上であると判定された場合（Ｓ３４：ＹＥＳ）には、Ｓ３５へと移行する。それに対して、前記Ｓ３３で検出された継続時間Ｔが所定時間未満であると判定された場合（Ｓ３４：ＮＯ）には、Ｓ３７へと移行する。

Ｓ３５においてＣＰＵ３１は、ＣＡＮを介して車両制御ＥＣＵと通信することにより、車両のパーキングブレーキが作動した状態であるか否かを判定する。

そして、車両機器の制御状態として車両のパーキングブレーキが作動した状態であると判定された場合（Ｓ３５：ＹＥＳ）には、Ｓ３６へと移行する。それに対して、車両のパーキングブレーキが作動した状態でないと判定された場合（Ｓ３５：ＮＯ）には、Ｓ３７へと移行する。

Ｓ３６においてＣＰＵ３１は、Ｓ３１とＳ３５の判定からタッチパッド１１の操作面で同時に受け付けたタッチ操作に対応する車両の制御内容がエンジンの停止に相当すると判定して、エンジンの停止信号をＣＡＮを介して車両制御ＥＣＵへと送信する。一方、エンジンの停止信号を受信した車両制御ＥＣＵは、駆動状態にある車両のエンジンを停止する。その結果、左操作入力装置２及び右操作入力装置３を介したエンジンの駆動制御を行うことが可能となる。その後、Ｓ２３へと移行する。

一方、Ｓ３７においてＣＰＵ３１は、車両機器の制御状態としてＨＵＤ４の電源がオンされているか否か（即ち、フロントガラス３６の表示対象領域３７に対してメイン画面４０や設定操作画面４２等の何らかの表示画面が表示されているか否か）を判定する。

そして、車両機器の制御状態としてＨＵＤ４の電源がオンされていると判定された場合（Ｓ３７：ＹＥＳ）には、Ｓ３８へと移行する。それに対して、ＨＵＤ４の電源がオフされていると判定された場合（Ｓ３７：ＮＯ）には、Ｓ３９へと移行する。

Ｓ３８においてＣＰＵ３１は、電源オフ信号をＨＵＤ４へと送信する。一方、電源オフ信号を受信したＨＵＤ４のＥＣＵは、ＨＵＤ４の電源をオフする。その結果、左操作入力装置２及び右操作入力装置３を介したＨＵＤ４の制御を行うことが可能となる。その後、Ｓ２３へと移行する。尚、ＨＵＤ４の電源はオンした状態のままで表示機能のみオフする制御を行っても良い。

一方、Ｓ３９においてＣＰＵ３１は、電源オン信号をＨＵＤ４へと送信する。一方、電源オン信号を受信したＨＵＤ４のＥＣＵは、ＨＵＤ４の電源をオンする。その結果、左操作入力装置２及び右操作入力装置３を介したＨＵＤ４の制御を行うことが可能となる。

そして、電源がオンされたＨＵＤ４は、フロントガラス３６の表示対象領域３７に対してメイン画面４０を表示する。メイン画面４０には、前記したように左操作入力装置２及び右操作入力装置３による操作によって操作及び選択の対象となる複数のメニューアイコン４１が表示される（図６参照）。また、前記したようにメイン画面４０では、右操作入力装置３によって直接的に選択対象とすることが可能、即ち右操作入力装置３によって選択対象候補となるメニューアイコン４１（以下、選択対象候補アイコンという）が設定されている。例えば、図６に示す例では『エアコン』〜『通信』までの９個のアイコンが選択対象候補アイコンであり、選択対象候補アイコンは他のアイコンと識別可能（例えば、サイズが拡大され、アイコンを囲む枠を太く）に強調表示される。

また、表示された時点（初期状態）でのメイン画面４０においては、フラッシュメモリ３４に記憶されたメニューアイコン４１の選択履歴を読み出し、選択回数の多いメニューアイコン４１を優先して選択対象候補アイコンに設定する。具体的には、初期状態ではメイン画面４０において選択回数の高いメニューアイコン４１から順に、左上から右下方向へと並べて表示され、メイン画面４０に表示された複数のメニューアイコン４１の内、最も左上側に位置する３×３の計９個のメニューアイコン４１が選択対象候補アイコンとなる。例えば、図１０は、ＡＣＣがオンされた直後に表示されるメイン画面４０の一例を示すものであり、選択対象候補アイコンとして選択回数の高い順に『目的地』、『地図縮尺』、『地図スクロール』・・・、『地点登録』の９つのナビゲーション装置に係るメニューアイコン４１が設定される。また、図１０に示すように起動されるアプリケーションの種類によってメニューアイコン４１が複数のグループに区分されている場合には、グループ毎に選択回数順に並べて表示する。更に、初期状態では予め決められた特定のグループ（例えばナビゲーション装置に関する操作を行う為のアプリケーションを起動させるメニューアイコン４１）をメイン画面４０に表示しても良いし、選択回数の多いグループを優先的に表示することとしても良い。

また、メイン画面４０に表示された選択対象候補アイコンは、後述の左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作やフリック操作によって他のメニューアイコン４１へと切り換えることが可能であるが、選択対象候補アイコンとするメニューアイコン４１の配置態様は固定する。即ち、右操作入力装置３のタッチパッド１１に配置されるピン２１の配置態様と対応する３×３の等間隔の配置間隔で配置される

続いて、Ｓ４０においてＣＰＵ３１は、前記Ｓ３９で表示されたメイン画面４０における選択対象候補アイコンの配置態様に対応して、選択対象候補アイコン毎に、右操作入力装置３の操作面に対して該選択対象候補アイコンを選択する為の選択領域を設定する。具体的には、先ず選択対象候補アイコンに設定される各メニューアイコン４１の中心座標を表示画面の座標系で取得し、取得した中心座標を右操作入力装置３のタッチパッド１１の操作面の座標系に変換する。その後、変換された中心座標を含む操作面の周辺エリア（メニューアイコン４１のサイズに対応したエリア）を選択領域に設定する。また、選択領域は、各選択領域内にピン２１を突出させる貫通孔２５を夫々含むように設定する。更に、前記Ｓ３では、設定された各選択領域内に含まれるピン２１が操作面から突出した“突出状態”となるようにピン駆動機構１３を駆動する（図５参照）。その後、Ｓ２３へと移行する。

例えば、図１０に示すメイン画面４０が表示されている場合には、図１１に示すように９つの選択領域５１〜５９を右操作入力装置３のタッチパッド１１の操作面に対して設定する。ここで、選択領域５１は『目的地』のメニューアイコン４１に対応付けられた選択領域であり、上段の左側に位置するピン２１の貫通孔２５を含む領域に設定される。また、選択領域５２は『地図縮尺』のメニューアイコン４１に対応付けられた選択領域であり、中央の段の左側に位置するピン２１の貫通孔２５を含む領域に設定される。以下同様に他の選択領域５３〜５９についても各選択対象候補アイコンに対応付けて設定されている。

一方、図８に示すメインフローチャートに戻って説明を継続すると、Ｓ５においてＣＰＵ３１は、特に左操作入力装置２のタッチパッド１１の操作面をタッチしたタッチ状態にあるか否か判定する。

そして、左操作入力装置２のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ５：ＮＯ）には、Ｓ１７へと移行する。

Ｓ６においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザがタッチする地点の座標であるタッチ座標をタッチパッド１１の操作面の座標系で検出する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、圧力変化のあった地点や静電容量の変化に基づいて流れた電流の位置を検出することによって、タッチ座標を検出する。

次に、Ｓ７においてＣＰＵ３１は、前記Ｓ６で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、左操作入力装置２のタッチパッド１１の操作面に対してドラッグ操作が行われたか否かを判定する。尚、ドラッグ操作は、操作面に対するタッチ状態を維持してタッチ座標を移動させる操作をいう。

そして、左操作入力装置２のタッチパッド１１の操作面に対してドラッグ操作が行われたと判定された場合（Ｓ７：ＹＥＳ）には、Ｓ８へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に対してドラッグ操作が行われていないと判定された場合（Ｓ７：ＮＯ）には、Ｓ９へと移行する。

Ｓ８においてＣＰＵ３１は、後述の左ドラッグ処理（図１３）が実行される。尚、左ドラッグ処理は、後述のように左操作入力装置２のタッチパッド１１の操作面で受け付けたドラッグ操作に基づいて、選択対象候補アイコンの切り換えを行う処理である。その後、当該操作支援処理プログラムを終了する。その後、Ｓ１１へと移行する。

Ｓ９においてＣＰＵ３１は、前記Ｓ６で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、左操作入力装置２のタッチパッド１１の操作面に対してフリック操作が行われたか否かを判定する。尚、フリック操作は、タッチ座標を移動させつつタッチオフ（操作面に対してタッチした状態からタッチしない状態へと移行）を行う操作をいう。

そして、左操作入力装置２のタッチパッド１１の操作面に対してフリック操作が行われたと判定された場合（Ｓ９：ＹＥＳ）には、Ｓ１０へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に対してフリック操作が行われていないと判定された場合（Ｓ９：ＮＯ）には、Ｓ１２へと移行する。

Ｓ１０においてＣＰＵ３１は、後述の左フリック処理（図１７）が実行される。尚、左フリック処理は、後述のように左操作入力装置２のタッチパッド１１の操作面で受け付けたフリック操作に基づいて、選択対象候補アイコンの切り換えを行う処理である。

次に、Ｓ１１においてＣＰＵ３１は、前記Ｓ８又はＳ１０において切り換えられた後の選択対象候補アイコンの配置態様に対応させて、操作領域を新たに設定し、更に右操作入力装置３の操作面において新たに設定された操作領域内のピン２１が突出した“突出状態”となるようにピン駆動機構１３を駆動する。尚、詳細については前記Ｓ４０と同様であるので説明は省略する。尚、前記Ｓ８又はＳ１０において選択対象候補アイコンが切り換えられることによって選択対象候補アイコンの数が増減した場合には、選択領域や“突出状態”とするピンの数についても増減することとなる。その後、Ｓ２３へと移行する。

一方、Ｓ１２においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面に配置されたホームボタンが操作されたか否かを判定する。尚、ホームボタンがハードウェアの操作部からなる場合には、該操作部から送信された検出信号に基づいてホームボタンが操作されたか否かを判定する。一方、ホームボタンが操作面に配置された仮想キーからなる場合には、前記Ｓ６で検出されたタッチ座標が予めホームボタンに対応付けられた座標範囲にある場合に、ホームボタンが操作されたと判定する。

そして、左操作入力装置２のタッチパッド１１の操作面に配置されたホームボタンが操作されたと判定された場合（Ｓ１２：ＹＥＳ）には、Ｓ１３へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に配置されたホームボタンが操作されていないと判定された場合（Ｓ１２：ＮＯ）には、Ｓ１４へと移行する。

Ｓ１３においてＣＰＵ３１は、現在実行されているアプリケーションを一旦終了し、フロントガラス３６の表示対象領域３７に表示される表示画面も初期状態のメイン画面４０（図１０）へと復帰する。尚、ホームボタンが仮想キーである場合には、タッチオンを検出した時点で予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させることについても行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在するボタンを押下するかのような触覚を与える。その後、Ｓ２３へと移行する。但し、初期状態のメイン画面４０（図９）へと復帰することによって選択対象候補アイコンが変更となる場合には、Ｓ１１へと移行する。

一方、Ｓ１４においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面に配置されたショートカットボタンが操作されたか否かを判定する。尚、ショートカットボタンがハードウェアの操作部からなる場合には、該操作部から送信された検出信号に基づいてショートカットボタンが操作されたか否かを判定する。一方、ショットカットボタンが操作面に配置された仮想キーからなる場合には、前記Ｓ６で検出されたタッチ座標が予めショートカットボタンに対応付けられた座標範囲にある場合に、ショートカットボタンが操作されたと判定する。

そして、左操作入力装置２のタッチパッド１１の操作面に配置されたショートカットボタンが操作されたと判定された場合（Ｓ１４：ＹＥＳ）には、Ｓ１５へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に配置されたショートカットボタンが操作されていないと判定された場合（Ｓ１４：ＮＯ）には、Ｓ１６へと移行する。

Ｓ１５においてＣＰＵ３１は、現在実行されているアプリケーションを一旦終了し、ショートカットボタンに対応付けられた機能（例えば、ウェブブラウザの起動、地図の縮尺変更操作、エアコンの設定温度変更操作等）を実行する。尚、ショートカットボタンが仮想キーである場合には、タッチオンを検出した時点で予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させることについても行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在するボタンを押下するかのような触覚を与える。その後、Ｓ２３へと移行する。

また、Ｓ１６においてＣＰＵ３１は、タッチ操作に基づくその他の処理を実行する。その後、Ｓ２３へと移行する。

一方、右操作入力装置３のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合に実行されるＳ１７では、ＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザがタッチする地点の座標であるタッチ座標をタッチパッド１１の操作面の座標系で検出する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、圧力変化のあった地点や静電容量の変化に基づいて流れた電流の位置を検出することによって、タッチ座標を検出する。

次に、Ｓ１８においてＣＰＵ３１は、前記Ｓ１７でタッチパッド１１の操作面の座標系で検出されたタッチ座標を、表示画面の内、特に選択対象候補アイコンが表示された表示領域の座標系に変換する。例えば、図１２に示すメイン画面が表示されている場合には、『目的地』、『地図縮尺』、『地図スクロール』、・・・『地点登録』の９つの選択対象候補アイコンを含む四角形の表示領域６０の座標系に変換される。それによって、選択対象候補アイコンが表示される表示領域６０の座標系と右操作入力装置３のタッチパッド１１の操作面における座標系を対応させることが可能となる。尚、表示領域６０は、右操作入力装置３のタッチパッド１１の操作面の形状に対応する形状とする。

次に、Ｓ１９においてＣＰＵ３１は、前記Ｓ１７で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、右操作入力装置３のタッチパッド１１の操作面に対してフリック操作が行われたか否かを判定する。

そして、右操作入力装置３のタッチパッド１１の操作面に対してフリック操作が行われたと判定された場合（Ｓ１９：ＹＥＳ）には、メニューアイコン４１の選択を行うことなくＳ２３へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面に対してフリック操作が行われていないと判定された場合（Ｓ１９：ＮＯ）には、Ｓ２０へと移行する。

Ｓ２０においてＣＰＵ３１は、前記Ｓ１７で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、右操作入力装置３のタッチパッド１１の操作面に対してドラッグ操作が行われたか否かを判定する。

そして、右操作入力装置３のタッチパッド１１の操作面に対してドラッグ操作が行われたと判定された場合（Ｓ２０：ＹＥＳ）には、Ｓ２１へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面に対してドラッグ操作が行われていないと判定された場合（Ｓ２０：ＮＯ）、即ち、操作面上の一点をタッチ状態とする通常のタッチ操作が行われているには、Ｓ２２へと移行する。

Ｓ２１においてＣＰＵ３１は、後述の右ドラッグ処理（図１９）が実行される。尚、右ドラッグ処理は、後述のように右操作入力装置３のタッチパッド１１の操作面で受け付けたドラッグ操作に基づいて、選択対象候補アイコンに設定されているメニューアイコン４１の内から、任意のメニューアイコン４１の選択を行う処理である。その後、Ｓ２３へと移行する。

また、Ｓ２２においてＣＰＵ３１は、後述の右タッチ処理（図２０）が実行される。尚、右タッチ処理は、後述のように右操作入力装置３のタッチパッド１１の操作面で受け付けたタッチ操作に基づいて、選択対象候補アイコンに設定されているメニューアイコン４１の内から、任意のメニューアイコン４１の選択を行う処理である。その後、Ｓ２３へと移行する。

次に、Ｓ２３においてＣＰＵ３１は、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を終了するか否か判定する。例えば、ＡＣＣがオフされた場合や特定の操作ボタンによる操作を受けつけた場合等に、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を終了すると判定する。

そして、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を継続すると判定された場合（Ｓ２３：ＮＯ）には、Ｓ２へと戻る。一方、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を終了すると判定された場合（Ｓ２３：ＹＥＳ）には、当該操作支援処理プログラムを終了する。その後、全てのピン２１は非突出状態となり、ＨＵＤ４の表示もオフされる。

次に、前記Ｓ８において実行される左ドラッグ処理のサブ処理について図１３に基づき説明する。図１３は左ドラッグ処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ４１においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたドラッグ操作によって選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数を取得する。具体的には、ドラッグ操作を受け付ける直前において選択対象候補アイコンに設定されているメニューアイコン４１の数が相当する。ここで、選択対象候補アイコンに設定されるメニューアイコン４１の数は、右操作入力装置３のタッチパッド１１に配置されるピン２１の数が最大値となり、１〜９個のいずれかの数となる。例えば、図６に示すメイン画面４０が表示されている状態でドラッグ操作を受け付けた場合には、選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数は“９個”となる。一方、図１４に示すメイン画面４０が表示されている状態でドラッグ操作を受け付けた場合には、選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数は“７個”となる。

次に、Ｓ４２においてＣＰＵ３１は、前記Ｓ４１で取得された選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数に基づいて、右操作入力装置３のタッチパッド１１の操作面を振動させる振動波形を算出する。具体的には、前記Ｓ４１で取得されたメニューアイコン４１の数が多い程、より振幅の大きい振動波形を算出する。

続いて、Ｓ４３においてＣＰＵ３１は、前記Ｓ４２で算出された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させる。尚、振動処理はドラッグ操作が開始されてからドラッグ操作を終了するまでの間、所定の振動周期で継続して行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在する複数のボタン上を指がスライド移動するかのような触覚を与える。

次に、Ｓ４４においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面で受け付けたドラッグ操作に伴うタッチ座標の移動方向（以下、ドラッグ方向という）及びドラッグ操作に伴うタッチ座標の移動速度（以下、ドラッグ速度という）を取得する。

その後、Ｓ４５においてＣＰＵ３１は、現在メイン画面４０に表示されるメニューアイコン４１の内、現在選択対象候補アイコンに設定されるメニューアイコン４１のドラッグ方向に、他のメニューアイコン４１があるか否か判定する。例えば、図１４に示すメイン画面４０が表示されている状態で左方向のドラッグ操作を受け付けた場合には、他のメニューアイコン４１は有ると判定される。一方、右方向のドラッグ操作を受け付けた場合には、他のメニューアイコン４１が無いと判定される。

そして、選択対象候補アイコンに設定されるメニューアイコン４１のドラッグ方向に、他のメニューアイコン４１が有ると判定された場合（Ｓ４５：ＹＥＳ）、即ち、選択対象候補アイコンがメイン画面４０においてドラッグ方向の端に位置しない場合には、Ｓ４６へと移行する。一方、選択対象候補アイコンに設定されるメニューアイコン４１のドラッグ方向に、他のメニューアイコン４１が無いと判定された場合（Ｓ４５：ＮＯ）、即ち、選択対象候補アイコンがメイン画面４０においてドラッグ方向の端に位置する場合には、Ｓ４８へと移行する。

Ｓ４６においてＣＰＵ３１は、メイン画面４０において表示されるメニューアイコン４１は変更せず、選択対象候補アイコンに設定するメニューアイコン４１をドラッグ方向へドラッグ速度で他のメニューアイコン４１へと切り換える処理を行う。

ここで、図１５は、図１０に示すメイン画面４０が表示されている状態で右方向のドラッグ操作を受け付けた場合における選択対象候補アイコンの切り換え態様を示した図である。図１５に示す例では、ユーザが左操作入力装置２のタッチパッド１１の操作面に対して右方向へとドラッグ操作を行うことにより、選択対象候補アイコンに設定されるメニューアイコン４１が、順次右側にあるメニューアイコン４１へと切り換わる。そして、新たなメニューアイコン４１が選択対象候補アイコンに設定されるのに伴って、最も左側にある選択対象候補アイコンに設定されたメニューアイコン４１から順に選択対象候補アイコンの対象から外れる。

例えば、図１５に示す例ではドラッグ操作を受け付ける直前において『目的地』、・・・『地点登録』の９つのメニューアイコン４１が選択対象候補アイコンに設定されている。その後、右方向へのメニューアイコン４１の配置間隔に対応する距離のドラッグ操作が行われた時点で、『現在地』、・・・『視点変更』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。その後、メニューアイコン４１の配置間隔に対応する距離のドラッグ操作が更に行われた時点で、『地点検索（ＴＥＬ）』、・・・『画面設定』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。尚、選択対象候補アイコンの切り換え速度はドラッグ速度に比例することとなる。

そして、Ｓ４７においてＣＰＵ３１は、前記Ｓ４６の処理で切り換えられた後の選択対象候補アイコンに対応して、メイン画面４０におけるメニューアイコン４１の表示態様を変更する。具体的には、新たに選択対象候補アイコンに設定されたメニューアイコン４１は強調表示（サイズを拡大及び枠の太く）し、選択対象候補アイコンから外れたメニューアイコン４１については強調表示を解除する（サイズ及び枠の太さを元に戻す）。その結果、左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作によって、選択対象候補アイコンとするメニューアイコン４１を変更できるとともに、現在選択対象候補アイコンに設定されているメニューアイコン４１を容易に識別することが可能となる。

一方、Ｓ４８においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたドラッグ操作に基づいて、メイン画面４０において表示されるメニューアイコン４１を変更する。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も切り換わることとなる。

ここで、図１６は、図１０に示すメイン画面４０が表示されている状態で左方向のドラッグ操作を受け付けた場合における選択対象候補アイコンの切り換え態様を示した図である。図１６に示す例では、ユーザが左操作入力装置２のタッチパッド１１の操作面に対して左方向へとドラッグ操作を行うことにより、メイン画面４０において表示対象となるメニューアイコン４１のグループが、ナビゲーション装置に関するメニューアイコン４１のグループからその他の車両機器に関するメニューアイコン４１のグループへと変更となる。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も、新たに表示されたメニューアイコン４１に対して設定されることとなり、ドラッグ操作を受け付ける前に選択対象候補アイコンに設定されていたメニューアイコン４１は、全て選択対象候補アイコンの対象から外れる。そして、新たにメイン画面４０に表示されたメニューアイコン４１の内、最も右側に位置する所定数（最大９個）のメニューアイコン４１が新たに選択対象候補アイコンに設定される。

例えば、図１６に示す例ではドラッグ操作を受け付ける直前において『目的地』、・・・『地点登録』の９つのメニューアイコン４１が選択対象候補アイコンに設定されている。その後、左方向へのメニューアイコン４１の配置間隔に対応する距離のドラッグ操作が行われた時点で、『ドア』、・・・『その他』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。その後、更に左方向へのドラッグ操作を継続すれば、前記Ｓ４６及びＳ４７に基づく処理が実行され、選択対象候補アイコンは左方向へ順次切り換わることとなる。

そして、Ｓ４９においてＣＰＵ３１は、前記Ｓ４８の処理で切り換えられた後の選択対象候補アイコンに対応して、メイン画面４０におけるメニューアイコン４１の表示態様を変更する。具体的には、新たにメイン画面４０に表示されたメニューアイコン４１の内、選択対象候補アイコンに設定されたメニューアイコン４１を強調表示（サイズを拡大及び枠の太く）する。その結果、左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作によって、選択対象候補アイコンとするメニューアイコン４１を変更できるとともに、現在選択対象候補アイコンに設定されているメニューアイコン４１を容易に識別することが可能となる。

次に、前記Ｓ１０において実行される左フリック処理のサブ処理について図１７に基づき説明する。図１７は左フリック処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ５１においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたドラッグ操作によって選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数を取得する。尚、詳細は前記Ｓ４１と同様であるので説明は省略する。

次に、Ｓ５２においてＣＰＵ３１は、前記Ｓ５１で取得された選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数に基づいて、右操作入力装置３のタッチパッド１１の操作面を振動させる振動波形を算出する。尚、詳細は前記Ｓ４２と同様であるので説明は省略する。

続いて、Ｓ５３においてＣＰＵ３１は、前記Ｓ５２で算出された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させる。尚、振動処理はフリック操作が開始されてからフリック操作を終了するまでの間、所定の振動周期で継続して行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在する複数のボタン上を指がスライド移動するかのような触覚を与える。

次に、Ｓ５４においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面で受け付けたフリック操作に伴うタッチ座標の移動方向（以下、フリック方向という）及びフリック操作に伴うタッチ座標の移動速度（以下、フリック速度という）を取得する。

続いて、Ｓ５５においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたフリック操作に基づいて、メイン画面４０において表示されるメニューアイコン４１を変更する。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も切り換わることとなる。

ここで、図１８は、図１０に示すメイン画面４０が表示されている状態で右方向のフリック操作を受け付けた場合における選択対象候補アイコンの切り換え態様を示した図である。図１８に示す例では、ユーザが左操作入力装置２のタッチパッド１１の操作面に対して右方向へフリック操作を行うことにより、メイン画面４０において表示対象となるメニューアイコン４１のグループが、ナビゲーション装置に関するメニューアイコン４１のグループからオーディオに関するメニューアイコン４１のグループへと変更となる。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も、新たに表示されたメニューアイコン４１に対して設定されることとなり、ドラッグ操作を受け付ける前に選択対象候補アイコンに設定されていたメニューアイコン４１は、全て選択対象候補アイコンの対象から外れる。そして、新たにメイン画面４０に表示されたメニューアイコン４１の内、フリック操作前の選択対象候補アイコンと同位置にある所定数（最大９個）のメニューアイコン４１が新たに選択対象候補アイコンに設定される。

例えば、図１８に示す例ではドラッグ操作を受け付ける直前において『目的地』、・・・『地点登録』の９つのメニューアイコン４１が選択対象候補アイコンに設定されている。その後、右方向へのフリック操作が行われた時点で、『ＨＤ』、・・・『ラジオ』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。尚、その後に更に右方向へとフリック操作を行えば、その他の車両機器に関するメニューアイコン４１のグループへと選択対象候補アイコンが切り換わることとなる。

そして、Ｓ５６においてＣＰＵ３１は、前記Ｓ５５の処理で切り換えられた後の選択対象候補アイコンに対応して、メイン画面４０におけるメニューアイコン４１の表示態様を変更する。具体的には、新たにメイン画面４０に表示されたメニューアイコン４１の内、選択対象候補アイコンに設定されたメニューアイコン４１を強調表示（サイズを拡大及び枠の太く）する。その結果、左操作入力装置２のタッチパッド１１の操作面に対するフリック操作によって、選択対象候補アイコンとするメニューアイコン４１を変更できるとともに、現在選択対象候補アイコンに設定されているメニューアイコン４１を容易に識別することが可能となる。

次に、前記Ｓ２１において実行される右ドラッグ処理のサブ処理について図１９に基づき説明する。図１９は右ドラッグ処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ６１においてＣＰＵ３１は、予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、右操作入力装置３のタッチパッド１１を振動させる。また、振動波形の振幅は、前記Ｓ４３及び前記Ｓ５３において右操作入力装置３のタッチパッド１１を振動させる際の振幅より大きくし、単位時間当たりの振動回数は、前記Ｓ４３及び前記Ｓ５３において右操作入力装置３のタッチパッド１１を振動させる際の振動回数よりも少なくすることが好ましい。尚、振動処理はドラッグ操作が開始されてからドラッグ操作を終了するまでの間、所定の振動周期で継続して行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在する複数のボタン上を指がスライド移動するかのような触覚を与える。

次に、Ｓ６２においてＣＰＵ３１は、前記Ｓ１８で表示領域の座標系に変換したタッチ座標と、メイン画面４０に含む選択対象候補アイコンに設定されたメニューアイコン４１の表示領域とを比較し、選択対象候補アイコンに設定されたメニューアイコン４１内にタッチ座標を含む場合には、該メニューアイコン４１をその地点でのタッチ操作により選択可能な対象として更に強調表示する。強調表示の方法としては、例えば、枠の太さをより太くなるように変更したり、表示色を変更すること等が可能である。

その後、Ｓ６３においてＣＰＵ３１は、ドラッグ操作が終了したか否かを判定する。そして、ドラッグ操作が終了したと判定された場合（Ｓ６３：ＹＥＳ）には振動処理やメニューアイコン４１の強調表示を終了する。一方、ドラッグ操作が継続していると判定された場合（Ｓ６３：ＮＯ）にはドラッグ操作が終了するまで振動処理やメニューアイコン４１の強調表示を継続して行う。

次に、前記Ｓ２２において実行される右タッチ処理のサブ処理について図２０に基づき説明する。図２０は右タッチ処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ７１においてＣＰＵ３１は、前記Ｓ１７で検出されたタッチ座標と前記Ｓ４０及び前記Ｓ１１で操作面上に設定された選択領域とを比較し、タッチ座標がいずれかの選択領域以内に含まれるか否か判定する。尚、選択領域内にあるピン２１が押下されたことや、操作面に対して所定量以上の撓みが生じたことを前記Ｓ７１の判定条件に追加しても良い。

そして、タッチ座標がいずれかの選択領域以内に含まれると判定された場合（Ｓ７１：ＹＥＳ）には、Ｓ７２へと移行する。それに対して、タッチ座標がいずれの選択領域以内にも含まれないと判定された場合（Ｓ７１：ＮＯ）には、メニューアイコン４１の選択を行うことなくＳ２３へと移行する。

Ｓ７２においてＣＰＵ３１は、予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、右操作入力装置３のタッチパッド１１を振動させる。また、振動波形の振幅は、前記Ｓ４３及び前記Ｓ５３において右操作入力装置３のタッチパッド１１を振動させる際の振幅より大きくすることが好ましい。尚、振動処理は基本的にタッチオンを検出した時点で予め決められた回数（例えば１回）や期間のみ行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在するボタンを指で押下する触覚を与える。

続いて、Ｓ７３においてＣＰＵ３１は、前記Ｓ７１でタッチ座標が含まれると判定された選択領域に対応するメニューアイコン４１を、ユーザにより選択されたメニューアイコン４１として特定する。

その後、Ｓ７４においてＣＰＵ３１は、前記Ｓ７３で特定されたメニューアイコン４１の選択及び操作に基づく各種制御処理を実行する。具体的には、特定されたメニューアイコン４１に対応するアプリケーションを起動し、更に、その後に受け付けたユーザの操作に基づいて起動されたアプリケーションを実行する。特に、車両に搭載された各種車載器や車両機器の操作に対応したアプリケーションが起動された場合には、設定操作画面４２（図７）を表示し、更に、その後に受け付けたユーザの操作に基づく操作信号を各種車載器や車両機器の制御装置へと送信する。一方、操作信号を受信した車載器や車両機器では、受信した操作信号に基づく制御（例えば、地図の縮尺変更操作、エアコンの設定温度変更操作等）を行う。その結果、左操作入力装置２や右操作入力装置３を介した各種車載器や車両機器の操作を行うことが可能となる。

以上詳細に説明した通り、本実施形態に係る操作支援システム１、操作支援システム１による操作支援方法及び操作支援システム１で実行されるコンピュータプログラムによれば、操作対象物となる複数のメニューアイコン４１をフロントガラス３６に表示し（Ｓ１）、左操作入力装置２で受け付けたタッチ操作に基づいて、複数のメニューアイコン４１の内、所定数のメニューアイコン４１を右操作入力装置３によって直接的に選択対象とすることが可能な選択対象候補アイコンに設定し（Ｓ４６〜Ｓ４９）、右操作入力装置３によって受け付けたタッチ操作に基づいて、所定数の選択対象候補アイコンに設定されたメニューアイコン４１の内から、いずれかのメニューアイコン４１を選択及び操作する（Ｓ７３、Ｓ７４）一方、左操作入力装置２と右操作入力装置３のタッチパッド１１の操作面を同時にタッチする操作を受け付けた場合には、エンジンのオン制御等の特殊な車両機器の制御を行う（Ｓ３２、Ｓ３６、Ｓ３８〜Ｓ４０）ので、メニューアイコン４１が多数ある場合であってもハンドル５の異なる箇所に設置された２つの操作面への操作を組み合わせることによってユーザの意図するメニューアイコン４１を正確に選択させつつ、２つの操作面に対して同時に触れるという簡易なユーザの操作によって、車両機器に対する各種制御を行うことが可能となる。また、２つの操作面を触れさせることによって、車両に始めて乗車するユーザに対しても操作面の存在を認識させることが可能となる。
また、車両機器の制御状態と、左操作入力装置２の操作面と右操作入力装置３の操作面とに同時に触れる操作とに基づいて、車両機器の制御状態を制御するので、現在の車両機器の制御状態に応じた適切な制御を行うことが可能となる。
また、左操作入力装置２の操作面はハンドル５の左側のスポーク部分に配置され、右操作入力装置３の操作面はハンドルの右側のスポーク部分に配置されるので、車両を運転するユーザは最小限の手の動きによって左操作入力装置２及び右操作入力装置３を操作することが可能となる。
また、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、エンジンをオン又はオフに制御するので、左操作入力装置２と右操作入力装置３を用いた簡易な操作によって車両のエンジンのオン制御又はオフ制御が可能となる。また、運転開始時に、２つの操作面を触れさせる操作をユーザに課すことによって、車両に始めて乗車するユーザに対しても操作面の存在を確実に認識させることが可能となる。
また、車両のパーキングブレーキが作動している状態において、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、エンジンをオフに制御するので、車両の走行中に誤ってエンジンがオフされることを防止することが可能となる。
また、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、ＨＵＤ４においてメニューアイコン４１の選択画面（メイン画面４０）を表示するので、ユーザがメニューアイコン４１の選択及び操作を希望する場合において、任意のタイミングで該メニューアイコン４１の選択及び操作を開始することが可能となる。
また、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、ＨＵＤ４の電源をオフに制御するので、ユーザがメニューアイコン４１の選択及び操作を希望しない場合において、任意のタイミングでＨＵＤ４の電源をオフし、視界を広げることによってその後の車両の運転操作を集中して行うことが可能となる。
また、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の操作面において同時に触れる状態を継続した時間を検出し、検出された時間によって異なる制御を行うので、２つの操作面に対して同時に触れるという簡易なユーザの操作によって、車両機器に対する複数種類の制御を行うことが可能となる。
また、左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の操作面において同時に触れる状態を継続した時間を検出し、検出された時間が長い場合にエンジンのオフ制御を行い、検出された時間が短い場合にＨＵＤ４の制御を行うので、ユーザの意図に反して走行中にエンジンがオフされることを防止することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではタッチパッドによるタッチ操作を行う場合について説明しているが、タッチ操作を受け付ける手段としてはタッチパッド以外のタッチパネル、タブレット等を用いても良い。また、タッチパネルを用いる場合には、メニューアイコン４１を表示するディスプレイを、タッチパネルに重畳して配置する。

また、本実施形態では左操作入力装置２のタッチパッド１１の操作面と右操作入力装置３のタッチパッド１１の操作面とに同時に触れる操作を受け付けた場合に、エンジンの駆動制御やＨＵＤ４の制御を行うこととしているが、それ以外の車両機器（例えばドアのロック機構、ナビゲーション装置等）の制御を行う構成としても良い。

また、本実施形態では、左操作入力装置２と右操作入力装置３の両方にピン駆動機構１３を設けることとしているが、右操作入力装置３のみに設けることとしても良い。また、ピンを駆動させる処理を省略すれば右操作入力装置３にもピン駆動機構１３を設けない構成とすることも可能である。

また、本実施形態では、左操作入力装置２及び右操作入力装置３において、ピン２１は３×３の計９個配置する構成としているが、例えば２×２の計４個や４×４の計１６個配置する構成としても良い。また、ピン２１の配置態様に応じて左操作入力装置２及び右操作入力装置３によって操作対象となるアイコンの数や配置を定義変更する必要がある。

また、本実施形態では、車両オン駆動源としてエンジンを用いるガソリン車を例に挙げて説明しているが、がハイブリッド車両やＥＶ車両に適用することも可能である。その場合には、前記Ｓ３２及びＳ３６において車両の駆動源としてモータの制御を行う。

また、上述した操作支援ＥＣＵ１５が実行する処理の一部又は全部をナビゲーション装置のＥＣＵが実行する構成としても良い。また、操作対象物となるアイコンを表示する表示画面はナビゲーション装置のディスプレイにおいて表示する構成としても良い。

１ 操作支援システム
２ 左操作入力装置
３ 右操作入力装置
４ ＨＵＤ
１１ タッチパッド
１２ 圧電素子
１３ ピン駆動機構
１５ 操作支援ＥＣＵ
２１ ピン
３１ ＣＰＵ
３２ ＲＡＭ
３３ ＲＯＭ
３４ フラッシュメモリ
４１ メニューアイコン
５１〜５９ 選択領域

Claims (14)

1. 車両のハンドルの異なる箇所に夫々設けられ、操作面を介して前記ユーザの操作を受け付ける第１操作入力装置及び第２操作入力装置と、前記第１操作入力装置及び前記第２操作入力装置により操作される操作対象物を表示する表示機器と、を備えた操作支援システムにおいて、
   複数の前記操作対象物を前記表示機器に表示する操作対象物表示手段と、
   前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器を含む車両機器のいずれかを制御する車両制御手段と、を有することを特徴とする操作支援システム。
2. 前記車両制御手段は、前記車両機器の制御状態と、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作とに基づいて、前記車両機器の制御状態を制御することを特徴とする請求項１に記載の操作支援システム。
3. 前記第１操作入力装置の操作面は前記ハンドルの左側のスポーク部分に配置され、
   前記第２操作入力装置の操作面は前記ハンドルの右側のスポーク部分に配置されることを特徴とする請求項１又は請求項２に記載の操作支援システム。
4. 前記車両機器は前記車両の駆動源を含み、
   前記車両制御手段は、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記駆動源をオン又はオフに制御することを特徴とする請求項１乃至請求項３のいずれかに記載の操作支援システム。
5. 前記車両制御手段は、前記車両機器の制御状態として前記車両の駆動源がオフ状態であって、且つ前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記駆動源をオフ状態からオン状態に制御することを特徴とする請求項４に記載の操作支援システム。
6. 前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の前記操作面において同時に触れる状態を継続した時間を検出するタッチ時間検出手段を有し、
   前記車両制御手段は、前記車両機器の制御状態として前記車両の駆動源がオン状態であって、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合で、且つ前記タッチ時間検出手段によって検出された時間が閾値以上である場合に、前記駆動源をオン状態からオフ状態に制御することを特徴とする請求項４又は請求項５に記載の操作支援システム。
7. 前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた否かを判定する同時操作判定手段を有し、
   前記同時操作判定手段は、所定の許容範囲時間内に前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とにそれぞれ触れる操作を受け付けた場合に、前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けたと判定し、
   前記許容範囲時間は、前記車両機器の制御状態として前記車両の駆動源がオン状態である場合に比べて前記車両の駆動源がオフ状態である場合に短く設定することを特徴とする請求項４乃至請求項６のいずれかに記載の操作支援システム。
8. 前記車両制御手段は、前記車両機器の制御状態として前記車両の駆動源がオン状態であって、前記車両のパーキングブレーキが作動している状態と判定した場合で、且つ前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記駆動源をオン状態からオフ状態に制御することを特徴とする請求項４乃至請求項７のいずれかに記載の操作支援システム。
9. 前記車両制御手段は、前記車両機器の制御状態として前記表示機器の表示画面の電源がオフ状態であって、且つ前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器において前記操作対象物の選択画面を表示するように前記表示機器を制御することを特徴とする請求項１乃至請求項３のいずれかに記載の操作支援システム。
10. 前記車両制御手段は、前記車両機器の制御状態として前記表示機器の表示画面の電源がオン状態であって、且つ前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器の表示画面の電源をオン状態からオフ状態に制御することを特徴とする請求項１乃至請求項３、請求項９のいずれかに記載の操作支援システム。
11. 前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、その後に両方の前記操作面において同時に触れる状態を継続した時間を検出するタッチ時間検出手段を有し、
    前記車両制御手段は、前記タッチ時間検出手段によって検出された時間によって異なる制御を行うことを特徴とする請求項１乃至請求項３のいずれかに記載の操作支援システム。
12. 前記車両制御手段は、
    前記タッチ時間検出手段によって検出された時間が閾値未満である場合には、前記表示機器において前記操作対象物の選択画面を表示又は表示画面の電源をオン状態からオフ状態とするように前記表示機器を制御し、
    前記タッチ時間検出手段によって検出された時間が閾値以上である場合には、前記車両の駆動源をオン状態からオフ状態に制御することを特徴とする請求項１１に記載の操作支援システム。
13. 車両のハンドルの異なる箇所に夫々設けられ、操作面を介して前記ユーザの操作を受け付ける第１操作入力装置及び第２操作入力装置と、前記第１操作入力装置及び前記第２操作入力装置により操作される操作対象物を表示する表示機器と、を備えた操作支援システムによる操作支援方法において、
    複数の前記操作対象物を前記表示機器に表示する操作対象物表示ステップと、
    前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器を含む車両機器のいずれかを制御する車両制御ステップと、を有することを特徴とする操作支援方法。
14. 車両のハンドルの異なる箇所に夫々設けられ、操作面を介して前記ユーザの操作を受け付ける第１操作入力装置及び第２操作入力装置と、前記第１操作入力装置及び前記第２操作入力装置により操作される操作対象物を表示する表示機器と、を備えた操作支援システムにおいて実行されるコンピュータプログラムにおいて、
    複数の前記操作対象物を前記表示機器に表示する操作対象物表示機能と、
    前記第１操作入力装置の操作面と前記第２操作入力装置の操作面とに同時に触れる操作を受け付けた場合に、前記表示機器を含む車両機器のいずれかを制御する車両制御機能と、
    を実行させることを特徴とするコンピュータプログラム。

Images