JP2017129973A - 運転支援装置および運転支援方法 - Google Patents

Abstract

【課題】運転操作の推定精度を向上することができる運転支援装置および運転支援方法を提供すること。【解決手段】実施形態に係る運転支援装置は、検出部と、取得部と、推定部と、情報生成部とを備える。検出部は、運転者が移動体を操作する前に行う予備動作を検出する。取得部は、移動体の周辺状況に関する周辺情報を取得する。推定部は、検出部が検出した予備動作および取得部が取得した周辺情報に基づき運転者が行う運転操作を推定する。情報生成部は、推定部が推定した運転操作を支援するための支援情報を生成する。【選択図】図２

Description

本発明は、運転支援装置および運転支援方法に関する。

従来、運転者が移動体を操作する前に行う一連の動作を検出することで、運転者が行う運転操作を推定し、かかる運転操作を行うための運転支援を実施する運転支援装置がある。

また、かかる装置は、過去に行った運転操作の前の一連の動作をパターンとして記憶しておくことで、新たに検出される運転者の動作から、運転操作の推定を可能にする技術が提案されている（例えば、特許文献１参照）。

特開２００８−２３２９１２号公報

しかしながら、上述した従来技術では、運転者が特定の運転操作を意図せずに上記のパターンと類似する動作を行うと、パターンに対応する特定の運転操作を誤って推定する可能性がある。このように、従来技術には、運転操作の推定精度に改善の余地があった。

本発明は、上記に鑑みてなされたものであって、運転操作の推定精度を向上することができる運転支援装置および運転支援方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る運転支援装置は、検出部と、取得部と、推定部と、情報生成部とを備える。検出部は、運転者が移動体を操作する前に行う予備動作を検出する。取得部は、移動体の周辺状況に関する周辺情報を取得する。推定部は、検出部が検出した予備動作および取得部が取得した周辺情報に基づき運転者が行う運転操作を推定する。情報生成部は、推定部が推定した運転操作を支援するための支援情報を生成する。

本発明によれば、運転操作の推定精度を向上することができる。

図１は、実施形態に係る運転支援方法の概要を示す図である。 図２は、実施形態に係る運転支援装置を含む運転支援システムの構成を示すブロック図である。 図３Ａは、運転者の視線の検出方法を示す図（その１）である。 図３Ｂは、運転者の視線の検出方法を示す図（その２）である。 図３Ｃは、運転者の視線の検出方法を示す図（その３）である。 図４は、推定情報を示す図である。 図５は、実施形態に係る運転支援装置が実行する推定処理の処理手順を示すフローチャートである。 図６は、運転支援装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。 図７は、実施形態の変形例に係る運転支援装置を含む運転支援システムの構成を示すブロック図である。 図８は、推定情報の変形例を示す図である。

以下、添付図面を参照して、本願の開示する運転支援装置および運転支援方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、実施形態に係る運転支援方法の概要について図１を用いて説明する。図１は、実施形態に係る運転支援方法の概要を示す図である。なお、以下では、運転支援方法が移動体である車両６０に搭載される運転支援装置１によって実行される場合について説明する。

また、ここでは移動体として、自動車である車両６０を示しているがこれに限定されるものではなく、バスやタクシーなどの商用車両や、バイク、船舶等、運転者によって操作されるものであれば、どのような移動体であってもよい。

図１には、車両６０が前方車両６１を追い越そうとする場面を示している。なお、図１に示す場面以外でも、本実施形態にかかる運転支援方法を適用することは可能であり、他の場面で適用する例については、図７および図８を用いて後述する。

実施形態に係る運転支援方法は、運転者が車両６０を操作する前に行う一連の動作（以下、予備動作と記載）および車両６０の周辺状況に基づいて運転者が行う運転操作を推定することで、かかる運転操作を支援するものである。

具体的には、図１に示すように、まず、運転支援方法は、運転者が車両６０を操作する前に行う予備動作を検出する（ステップＳ１）。ここで予備動作とは、運転操作に付随する動作であって、運転操作の前に無意識または意識的に行われる運転者の動作を指す。例えば、図１のように、運転者は、車線変更を行う前に、変更先の車線に他車両が存在するか否かを確認するため、サイドミラーを注視することが多い。そこで、例えば図１の場合では、運転支援装置１は、サイドミラーを注視する動作を予備動作として検出する。

次に、実施形態に係る運転支援方法は、車両６０の周辺状況に関する周辺情報を取得し（ステップＳ２）、検出された予備動作およびかかる周辺情報に基づいて運転操作を推定する（ステップＳ３）。

ここで、運転支援装置１が、予備動作およびかかる周辺情報に基づいて運転操作を推定する点について説明する。まず、運転支援装置１が仮に予備動作に基づいて運転操作を推定する場合について説明する。この場合、運転支援装置１は、運転操作と予備動作とを関連付けて記憶しているものとする。例えば、図１では、運転支援装置１が、サイドミラー注視動作と車線変更とを関連付けて記憶しておき、運転者から検出した予備動作が、車線変更の予備動作であるか否かを推定する。

ところが、このように、予備動作に基づいて運転操作を推定すると、運転操作の推定精度が低下してしまう恐れがある。例えば、運転者が右折あるいは左折しようとした場合にもサイドミラーを注視することがある。この場合に、上述したように予備動作に基づいて運転操作を推定すると、右折あるいは左折という運転操作を誤って車線変更と推定する可能性がある。

そこで、実施形態に係る運転支援方法では、予備動作および周辺情報に基づいて運転操作を推定する。これにより、運転操作の誤推定を低減することができる。

具体的に、運転支援装置１は、例えば周辺情報として車両６０の周囲に存在する前方車両６１等の物体情報を取得する。例えば、図１では、運転支援装置１は、かかる物体情報として前方車両６１に関する情報（例えば、前方車両６１との車間距離）を取得し、かかる情報とサイドミラーの注視動作とに基づいて運転操作が車線変更であると推定する。

このように、類似の予備動作が運転者から検出された場合に、車両６０の周辺がかかる予備動作の運転操作を行う必要がある状況であるか否かを判定することで、誤った運転操作の推定が為されることを低減できるため、運転操作の推定精度を向上することができる。

そして、実施形態に係る運転支援方法は、推定した運転操作に応じて支援情報を生成する（ステップＳ４）。具体的には、運転支援装置１は、運転操作として車線変更を推定した場合に、例えば「車線変更ですか？ウインカーを出して、周辺車両に注意しながら車線変更してください」といった音声を車両６０の図示しないスピーカから出力することで支援情報を運転者へ提示する。

ここで、支援情報は、運転者が行う運転操作を支援するための情報であり、例えば、推定された運転操作を促す内容や、注意を喚起する内容などを含む。また、生成する支援情報は音声に限らず、たとえば車両６０内に配置されるディスプレイに支援情報を表示するようにしてもよい。

なお、運転支援装置１が記憶する予備動作は、例えば、機械学習を用いて生成したパターンとしてもよい。運転支援装置１は、機械学習によって、膨大な過去の予備動作のデータからかかる予備動作の特徴を抽出し、かかる特徴を予備動作のパターンとして記憶する。

過去の予備動作のデータはいわゆる教師データであり、特定の運転操作における、運転者の心身状態や道路特性等の様々な条件下での予備動作を含む。なお、機械学習の詳細な説明については後述する。

これにより、運転支援装置１は、運転者から検出された予備動作と記憶された予備動作とが一致せずとも、予備動作の特徴が一致すれば推定が行える。そのため、運転者の心身状態や道路特性等によって予備動作が変化したとしても運転操作を推定することができ、運転操作の推定精度をより向上させることができる。

また、運転者から検出される予備動作は、視線の動きに限定されるものではなく、運転者によるアクセルおよびブレーキ操作や顔の動き等の特定の運転操作と関連付けられる動作であればよい。

また、周辺情報は、前方車両６１の他に、後方車両や落下物などの物体情報や、交差点、分岐点、駐車場、信号機などの道路上の構成を含む地図情報であってもよい。

次に、図２を参照して、実施形態に係る運転支援方法が実行される運転支援装置１の構成について具体的に説明する。図２は、実施形態に係る運転支援装置１を含む運転支援システムＳの構成を示すブロック図である。

図２に示すように、運転支援システムＳは、例えば車両６０に搭載され、運転支援装置１と、出力部２と、赤外線カメラ３０と、赤外線ＬＥＤ３１と、カメラ４０と、位置検出部４１とを備える。

出力部２は、運転支援装置１から出力される支援情報を運転者に対して提示する装置である。出力部２は、例えば、スピーカや、他にも図示しないナビゲーション装置のディスプレイであってもよい。この場合、例えばかかるディスプレイ上に支援情報を文字表示することで運転者に対して支援情報を提示する。あるいは、出力部２は、インストルメントパネルなどであってもよい。

赤外線カメラ３０および赤外線ＬＥＤ３１は、例えば、運転席のステアリングコラムの上部に設けられ、赤外線カメラ３０が赤外線ＬＥＤ３１で照らした運転者の顔を含む領域を所定間隔で連続して撮像する。赤外線カメラ３０から得られる赤外画像中には、運転者の眼球、目尻および目頭などが含まれる。

カメラ４０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えるカメラであり、車両６０の後方を撮像する位置に設置される。カメラ４０によって撮像された画像は、運転支援装置１へ出力される。

なお、カメラ４０は、車両６０の後方を撮像する位置に限定されず、前後左右の少なくとも一つの方向を撮像する位置であればよい。また、カメラ４０は、車両６０の周囲を撮像するように複数設けられてもよい。

位置検出部４１は、車両６０の現在地（例えば、緯度経度）を検出する。位置検出部４１は、複数のＧＰＳ（Global Positioning System）衛星から出力される信号を受信し、受信された信号に基づいて車両６０の現在地情報を取得する。また、位置検出部４１は、ＧＰＳ衛星から正確な現在時刻の情報も取得可能である。位置検出部４１は、取得した情報を運転支援装置１へ通知する。なお、位置検出部４１は、車両６０にＧＰＳ機能を有したナビゲーション装置が搭載される場合、かかるナビゲーション装置のＧＰＳが取得した車両６０の位置や時刻の情報を取得してもよい。

実施形態に係る運転支援装置１は、制御部１０と、記憶部２０とを備える。制御部１０は、検出部１１と、取得部１２と、学習部１３と、推定部１４と、情報生成部１５とを備える。

制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）を備えるマイクロコンピュータである。かかるＣＰＵは、たとえば、ＲＯＭに予め記憶されたプログラムに従い、演算処理を行うことで、上述した検出部１１、取得部１２、学習部１３、推定部１４および情報生成部１５として機能する。

検出部１１は、運転者が車両６０を操作する前に行う予備動作を検出する。検出部１１は、例えば、視線検出部１１ａを備え、赤外線ＬＥＤ３１で照射された運転者の顔を含む赤外画像を赤外線カメラ３０から取得することで、運転者の視線の動きを予備動作として検出する。

ここで、図３Ａおよび図３Ｂを参照して、視線検出部１１ａによる運転者の視線の検出方法について具体的に説明する。図３Ａ〜図３Ｃは、視線検出部１１ａによる視線の検出方法を示す図である。

図３Ａに示すように、視線検出部１１ａは、まず、赤外線ＬＥＤ３１で照らした運転者の顔を赤外線カメラ３０で撮像することによって得られる赤外画像から、例えばパターンマッチングによって運転者の目を含む領域を検出する。

そして、視線検出部１１ａは、検出した領域から目の領域に含まれる瞳孔１０１と、眼球上に生じる赤外照明反射像１０２（角膜反射）との位置関係により、運転者の視線方向を検出する。

たとえば、図３Ａに示すように、瞳孔１０１が角膜反射１０２よりも目頭１０３側にあれば、運転者は目頭１０３側を視ていることが分かる。また、たとえば、瞳孔１０１が角膜反射１０２よりも目尻１０４側にあれば、運転者は目尻１０４側を視ていることが分かる。

なお、視線方向の検出は、赤外線カメラ３０および赤外線ＬＥＤ３１を用いた方法に限定されず、例えば、運転者の顔を撮像する位置に設けられたカメラの撮像画像から目、鼻、口等の特徴点を抽出し、抽出した特徴点に基づいて検出した運転者の顔の向きを視線の向きとしてもよい。

そして、視線検出部１１ａは、図３Ｂ左側の図に示すように、運転者の視点ＥＰ（例えば、赤外照明反射像１０２）から真正面方向の無限遠点∞を視る場合の視線方向を基準として、かかる基準と検出された視線方向とのなす角θを算出する。無限遠点∞は、例えば、勾配のない平坦な直線道路の消失点である。

また、図３Ｂ右側の図は、縦軸が時間、横軸が視線方向のなす角θで示されるグラフである。視線検出部１１ａは、例えば所定間隔で連続してなす角θを算出することで、視線の動きを検出する。図３Ｂに示すグラフには、かかる視線の動きを時系列で示している。そして、視線検出部１１ａは、例えば学習部１３が学習した予備動作のパターンに基づいて、視線の動きの中から予備動作を検出する。

具体的には、例えば図３Ｃの左図に示すように、サイドミラー、前方、サイドミラーの順に視線を移動させる動きが、学習部１３によって車線変更時の予備動作のパターンとして学習されているものとする。視線検出部１１ａは、運転者から検出される視線の動きの中から、例えば、パターン認識等によってかかるパターンと一致する視線の動きを予備動作として検出する。

このように、運転者の視線の動きを予備動作として検出することで、運転者が運転操作のために特定の動作をせずとも運転操作の推測を行うことができる。なお、予備動作の検出は、学習部１３が生成したパターンと完全に一致することを要せず、類似する動作であればよい。図２の視線検出部１１ａは、検出した予備動作を学習部１３および推定部１４へ通知する。

図２に示す取得部１２は、例えば、物体情報取得部１２ａと、地図情報取得部１２ｂとを備え、車両６０の周辺状況に関する周辺情報を取得する。

物体情報取得部１２ａは、周辺情報として車両６０の周辺に存在する物体に関する物体情報を取得する。物体情報は、例えば、車両６０の周辺を走行している前方車両や後方車両等の移動体の有無や、道路上に落下した積荷等の落下物の有無等の情報である。また、物体情報は、かかる物体と車両６０との距離の情報を含む。なお、物体情報は、これらに限定されず、運転操作に影響を与える物体に関する情報であればよい。

物体情報取得部１２ａは、例えば、車両６０の周辺を撮像するカメラ４０の画像を取得し、パターン認識やオプティカルフロー等の検出方法を用いることで、物体の検出、検出した物体と車両６０との相対速度やかかる物体までの距離等の物体情報を取得する。

なお、物体情報取得部１２ａによる物体情報の取得は、カメラ４０の画像から以外に、ミリ波レーダ等を用いて物体情報を取得してもよく、取得方法は特に限定されない。

地図情報取得部１２ｂは、周辺情報として地図情報２１を取得する。地図情報２１は、いわゆる電子地図データであり、交差点および道路上の地点を表すノードと、ノード間を結ぶ道路を表すリンクとによって表される道路網データである。ノードには、各ノードを識別するノードＩＤや、交差点や分岐点に関する情報等の属性情報などが含まれる。リンクには、各リンクを識別するリンクＩＤや、リンクに対応する道路種別（例えば、高速道路）などの属性情報が含まれる。また、道路網データは、施設情報を含み、かかる施設情報には、駐車場の有無や施設種別（例えば、飲食店）等の情報が含まれる。

また、地図情報取得部１２ｂは、位置検出部４１から取得した車両６０の現在地の情報を電子地図上における車両６０の位置情報に変換する。なお、地図情報取得部１２ｂは、地図情報２１を予め記憶部２０へ記憶する構成としたが、これに限定されず、例えば、外部に設置されたサーバ装置との通信や車載のナビゲーション装置から適宜地図情報２１を取得する構成としてもよい。

取得部１２は、物体情報取得部１２ａおよび地図情報取得部１２ｂが取得した各種情報を周辺情報として学習部１３および推定部１４へ通知する。

学習部１３は、検出部１１が検出した予備動作および取得部１２が取得した周辺情報に基づき、運転者の予備動作のパターンをいわゆる機械学習によって学習する。ここでは、学習の例として、車線変更を行う場合について説明する。

具体的には、学習部１３は、車線変更の前に行った予備動作を視線検出部１１ａから取得し、かかる予備動作を開始した時刻の周辺情報を物体情報取得部１２ａから取得する。なお、ここでは、周辺情報として車両６０と前方車両６１との車間距離を取得するものとする。学習部１３は、予備動作と周辺情報とを関連付けた教師データを予備動作のパターン学習用として用いるとともに、履歴データ２２として記憶部２０へ記憶する。

なお、ここで、学習部１３は、運転者による運転操作（ここでは車線変更）を例えば図示しないステアリングセンサの検出結果に基づいて検出するものとする。あるいは、図示しない操作検出部がステアリングセンサ等の検出結果に基づいて運転操作を検出し、かかる検出結果を学習部１３が取得するようにしてもよい。また、推定部１４による推定結果を運転操作として取得するようにしてもよい。

そして、学習部１３による学習は、履歴データ２２として蓄積された過去の複数の教師データと、取得した最新の教師データを用いて行われる。すなわち、現在および過去の膨大な教師データの集合から所定のアルゴリズムを用いて、車線変更時のパターンを学習する。学習部１３は、学習したパターンを検出部１１へ通知するとともに、推定情報２３として記憶部２０へ記憶する。

このように、学習部１３によって学習される推定情報２３は、過去の膨大な予備動作のデータの集合から共通する特徴を抽出しているため、運転者の予備動作が多少異なっても、予備動作に共通する特徴が含まれていれば、運転操作を推定できるため、推定精度をより向上させることができる。

なお、周辺情報は上述した例に限られない。例えば、視線検出部１１ａが検出した視線の動きに基づいて取得部１２が取得した運転者の集中力や眠気等の心身状態や、地図情報取得部１２ｂが取得した道路幅や車線数等の道路特性、気象情報、渋滞情報等、様々な状況に関する情報を取得して教師データとして用いることができる。かかる情報は、例えば取得部１２が取得するものとする。これにより、車両６０の周辺の環境や運転者の状態によって運転操作の推定精度に差が生じにくくすることができる。

なお、機械学習に用いられるアルゴリズムの例として、人工ニューラルネットワーク、サポートベクターマシン、決定木学習、相関ルール学習、ベイジアンネットワークなどが挙げられるが、これ以外のアルゴリズムでもよい。

また、学習部１３を、運転支援装置１が備える構成とすることで、検出部１１および取得部１２の情報が入力される都度、推定情報２３を最新版に更新することができる。なお、学習部１３を運転支援装置１が必ずしも備える必要はなく、例えば、学習部１３を、外部のサーバ装置が備えるようにしてもよい。

かかる場合、運転支援装置１とサーバ装置とを通信可能に接続し、運転支援装置１から送信される履歴データ２２に基づいて、サーバ装置が予備動作のパターンを学習し、学習結果である推定情報２３を運転支援装置１へ送信する。

これにより、運転支援装置１が、予備動作のパターンを学習する必要がなくなり、運転支援装置１のＣＰＵの処理負担を軽減することができる。

推定部１４は、検出部１１が検出した予備動作と、取得部１２が取得した周辺情報とに基づき、運転者が行う運転操作を推定する。推定部１４の推定処理は、推定情報２３に従って行われる。

ここで、図４を参照して、推定部１４の推定処理に用いる推定情報２３の内容について説明する。図４は、推定情報２３を示す図である。なお、推定情報２３は、学習部１３によって生成される。また、図４に示す推定情報２３の内容は、一例であってこれに限定されるものではない。

図４に示すように、推定情報２３は、「運転操作」、「予備動作」、「周辺状況」といった項目を含む情報である。「運転操作」は、運転者が行う運転操作である。「予備動作」は、対応する運転操作を行う前の予備動作である。「周辺状況」は、運転操作が行われる際の車両６０の周辺状況である。推定部１４は、かかる推定情報２３を参照することで、検出される予備動作および取得される周辺情報に基づいて運転操作が車線変更であるか否かを推定する。

例えば、視線検出部１１ａによって検出された予備動作が、サイドミラー、前方、サイドミラーの順に動く視線の動き（図３Ｃ参照）であり、物体情報取得部１２ａが、車両６０と前方車両６１との車間距離が所定距離以下であることを示す物体情報を取得したとする。かかる場合、推定部１４は、推定情報２３に従い、運転者が車線変更を行うと推定する。

ここでは、例えば車両６０が前方車両６１を追い越すために車線変更を行う場合について説明したが、車線変更を行う例はこれに限られない。例えば、車両６０の後方から接近する後方車両を回避するために車線変更を行う場合がある。このような場面の一例として、高速道路において車両６０および後方車両が追越車線を走行中の場面が挙げられる。

この場合、例えば視線検出部１１ａが予備動作として、サイドミラー、ルームミラー、サイドミラーの順に動く視線の動きを検出し、物体情報取得部１２ａが、後方車両の接近を示す周辺情報を取得する。後方車両の接近を示す周辺情報は、たとえば後方車両との距離が所定値以下であることを示す情報や、後方車両との相対速度が増加していることを示す情報などがある。このような場合に、推定部１４は、推定情報２３に従い、後方車両を回避するために車線変更を行うと推定する。なお、後方車両は、前方車両と同様の検出方法を用いることができる。

これにより、運転支援装置１は、他車両の追い越しや回避のための車線変更を精度良く推定することができ、推定結果に基づいて適切に支援することができる。

なお、推定部１４は、積載物等の落下物を物体情報として取得した場合にも、車両６０とかかる落下物との距離が所定距離以下となり、所定の予備動作が検出されると、かかる予備動作に応じて車線変更や車両の停止といった推定を行うことができる。

このように、推定部１４は、物体情報取得部１２ａが取得した物体情報に基づいて推定することで、物体情報の内容に応じた適切な運転操作の推定を行うことができる。

また、検出部１１によって運転者が右前方を広範囲に注視する動作が検出され、取得部１２によって地図情報２１に基づく車両６０と右折レーンがある交差点との距離が所定距離以下であるという周辺情報が取得された場合、推定部１４は、右折レーンへ車線変更を行うと推定する。

また、検出部１１によって分岐・合流先注視、サイドミラーの順に動く視線の動きが検出され、取得部１２によって地図情報２１に基づく車両６０と分岐点または合流地点との距離が所定距離以下であるという周辺情報が取得された場合、推定部１４は、分岐・合流するための車線変更を行うと推定する。

このように、推定部１４は、地図情報取得部１２ｂが地図情報２１および車両６０の位置情報を取得することで、車両６０の現在地に応じた適切な運転操作の推定を行うことができる。そして、推定部１４は、推定した運転操作を推定結果として情報生成部１５へ通知する。

情報生成部１５は、推定部１４の推定結果に基づいて、運転操作を支援するための支援情報２４を生成する。具体的には、各運転操作に対応する支援内容が含まれる支援情報２４が記憶部２０に予め記憶されており、情報生成部１５は、かかる支援情報２４のうち推定結果の運転操作に応じて支援情報２４の支援の内容を選択する。

例えば出力部２がスピーカである場合、情報生成部１５は、例えば「車線変更ですか？ウインカーを出して、周辺車両に注意しながら車線変更してください」といった音声信号を支援情報２４として生成する。

また、例えば出力部２がディスプレイ等の表示部である場合、上述した音声信号を示す文字情報を含む画像情報を支援情報２４として生成する。なお、出力部２がスピーカおよびディスプレイ等の表示部を有する場合は、かかる音声情報および文字情報を支援情報２４として生成する。

なお、出力部２がインストルメントパネルである場合、例えばインストルメントパネル内のウインカーインジケーターを所定の点滅速度や所定の色で自動表示する表示情報を支援情報２４として生成してもよい。この場合、運転者によるウインカー操作によって表示されるウインカーインジケーターの点滅速度や表示色と異なる点滅速度や表示色とすることで、運転者にウインカー操作を促す支援を行うようにしてもよい。情報生成部１５は、選択した支援内容を支援情報２４として出力部２へ出力する。

記憶部２０は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される記憶部であり、地図情報２１、履歴データ２２、推定情報２３および支援情報２４を記憶する。

次に、実施形態に係る運転支援装置１が実行する推定処理の処理手順について、図５を用いて説明する。図５は、実施形態に係る運転支援装置１が実行する推定処理の処理手順を示すフローチャートである。

図５に示すように、検出部１１は、運転者が車両６０を操作する前に行う予備動作を検出する（ステップＳ１０１）。つづいて、取得部１２は、車両６０の周辺状況に関する周辺情報を取得する（ステップＳ１０２）。なお、ステップＳ１０１、ステップＳ１０２の処理については、その順序を入れ替えてもよく、同時に実行してもよい。

つづいて、推定部１４は、検出部１１が検出した予備動作および取得部１２が取得した周辺情報に基づき、運転者が行う運転操作を推定する（ステップＳ１０３）。つづいて、情報生成部１５は、推定部１４が推定した運転操作を支援するための支援情報２４を生成し（ステップＳ１０４）、処理を終了する。

また、実施形態に係る運転支援装置１は、図６に一例として示す構成のコンピュータ２００で実現することができる。図６は、運転支援装置１の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ２００は、ＣＰＵ（Central Processing Unit）２１０と、ＲＯＭ（Read Only Memory）２２０と、ＲＡＭ（Random Access Memory）２３０と、ＨＤＤ（Hard Disk Drive）２４０とを備える。また、コンピュータ２００は、メディアインターフェイス（Ｉ／Ｆ）２５０と、通信インターフェイス（Ｉ／Ｆ）２６０と、入出力インターフェイス（Ｉ／Ｆ）２７０とを備える。

なお、コンピュータ２００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ２４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ２４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ２１０は、ＲＯＭ２２０およびＨＤＤ２４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ２２０は、コンピュータ２００の起動時にＣＰＵ２１０によって実行されるブートプログラムや、コンピュータ２００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ２４０は、ＣＰＵ２１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ２５０は、記憶媒体２８０に格納されたプログラムやデータを読み取り、ＲＡＭ２３０を介してＣＰＵ２１０に提供する。ＣＰＵ２１０は、かかるプログラムを、メディアＩ／Ｆ２５０を介して記憶媒体２８０からＲＡＭ２３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ２１０は、かかるデータを用いてプログラムを実行する。記憶媒体２８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からデータを受信してＣＰＵ２１０に送り、ＣＰＵ２１０が生成したデータを、ネットワーク２９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からプログラムを受信してＣＰＵ２１０に送り、ＣＰＵ２１０がかかるプログラムを実行する。

ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、ディスプレイ等の出力部２を制御する。ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、出力部２からデータを取得する。また、ＣＰＵ２１０は、生成したデータを入出力Ｉ／Ｆ２７０を介して出力部２に出力する。

例えば、コンピュータ２００が運転支援装置１として機能する場合、コンピュータ２００のＣＰＵ２１０は、ＲＡＭ２３０上にロードされたプログラムを実行することにより、検出部１１、取得部１２、学習部１３、推定部１４および情報生成部１５の各機能を実現する。

コンピュータ２００のＣＰＵ２１０は、例えばこれらのプログラムを記憶媒体２８０から読み取って実行するが、他の例として、他の装置からネットワーク２９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ２４０は、記憶部２０が記憶する地図情報２１、履歴データ２２、推定情報２３および支援情報２４を記憶することができる。

上述してきたように、実施形態に係る運転支援装置１は、検出部１１と、学習部１３と、取得部１２と、推定部１４と、情報生成部１５とを備える。検出部１１は、運転者が車両６０を操作する前に行う予備動作を検出する。学習部１３は、予備動作および周辺情報に基づいて運転者の予備動作のパターンを学習する。取得部１２は、車両６０の周辺状況に関する周辺情報を取得する。推定部１４は、検出部１１が検出した予備動作および取得部１２が取得した周辺情報に基づき、運転者が行う運転操作を推定する。情報生成部１５は、推定部１４が推定した運転操作を支援するための支援情報２４を生成する。

また、検出部１１は、視線検出部１１ａを備える。視線検出部１１ａは、予備動作として車両６０を操作する前の運転者の視線の動きを検出する。

また、取得部１２は、物体情報取得部１２ａと、地図情報取得部１２ｂとを備える。物体情報取得部１２ａは、周辺情報として車両６０の周辺に存在する物体に関する物体情報を取得する。地図情報取得部１２ｂは、周辺情報として地図情報２１を取得する。

これにより、実施形態に係る運転支援装置１は、運転操作の推定精度を向上することができる。

次に、図７および図８を用いて、実施形態の変形例を説明する。図７は、実施形態の変形例に係る運転支援装置１を含む運転支援システムＳの構成を示すブロック図である。図８は、推定情報２３の変形例を示す図である。

上述した実施形態では、検出部１１が運転者の視線を予備動作として検出した場合を説明したが、例えば図７に示すように、検出部１１が、車両６０の走行に関する情報を取得する各種センサ群からの信号に基づいて予備動作を検出してもよい。

なお、図７に示す本変形例に係る運転支援装置１は、検出部１１が視線以外の各種センサ群から予備動作を検出する点を除き、図２に示す運転支援装置１と同じであるため、同一符号を付し説明を省略する。

図７に示すように、各種センサ群には、例えば車両６０の走行速度を検出する車速センサ３２、車両６０のドアの開閉状態を検出するドアセンサ３３、運転者のアクセル操作によるアクセル開度を検出するアクセル開度センサ３４、運転者のブレーキ操作を検出するブレーキセンサ３５、車両６０のエンジン点火を制御するＩＧスイッチ３６等が含まれる。検出部１１はかかる各種センサ群が出力する各信号に基づいて予備動作を検出する。なお、各信号から予備動作を検出する方法は、視線の動きを示すなす角θに基づいて検出する場合と同様であるため説明を省略する。

学習部１３は、検出部１１が検出する予備動作に基づいて予備動作のパターンを学習し、推定情報２３を生成する。なお、学習部１３が生成する推定情報２３を除き、例えばパターンの学習方法等は、上述した実施形態と同様である。

ここで、図８を用いて本変形例にかかる推定情報２３の一例を説明する。図８に示すように、本変形例にかかる推定情報２３には、「運転操作」として、車線変更以外に、右左折、発進、停車等の運転操作が含まれる。以下、推定部１４が推定情報２３に基づいて運転操作として右左折を推定する場合について説明する。

推定部１４は、地図情報取得部１２ｂが地図情報２１および車両６０の位置情報に基づき、車両６０と交差点との距離が所定距離以下であることを示す周辺情報を取得した場合、車両６０が交差点に接近したとして、検出部１１が予備動作として減速の動作を検出すると、運転者が右左折の運転操作を行うと推定する。なお、推定部１４は、予備動作として減速動作以外に運転者の視線の動きも併せて検出することで、運転者が注視する方向を曲折方向として特定することができる。

そして、情報生成部１５は、運転操作が右左折であると推定された場合、車両６０の死角を目視確認させる内容の支援情報２４を生成する。これにより、運転支援装置１は、交差点等における右左折時に、運転者が死角を目視確認することなく曲がることを低減することができる。

次に、発進について説明する。推定部１４は、地図情報取得部１２ｂが地図情報２１および車両６０の位置情報に基づき、車両６０が駐車場で停車中であることを示す周辺情報を取得した場合、検出部１１が予備動作としてドアロック解除、エンジン始動の動きを順に検出すると、運転者が発進の運転操作を行うと推定する。

そして、情報生成部１５は、運転操作が発進であると推定された場合、車両６０の発進操作前に運転者に対して目視で周辺を確認させる内容の支援情報２４を生成する。これにより、運転支援装置１は、駐車場において、運転者が周辺確認をすることなく発進するのを低減することができる。

次に、停車について説明する。まず、地図情報取得部１２ｂは、地図情報２１および車両６０の位置情報に基づき、車両６０の進行方向に存在する信号機に関する信号機情報を取得する。

ここで、信号機に関する情報とは、例えば信号機と車両６０との距離や、信号機の点灯色を示す情報である。なお、かかる情報は、例えば車両６０に搭載され、車両６０の前方を撮像するカメラ４０の撮像画像に基づいて取得するようにしてもよい。この場合、取得部１２がカメラ４０の撮像画像から信号機までの距離や点灯色を検出し、信号機情報を生成するものとする。

推定部１４は、地図情報取得部１２ｂまたは取得部１２が取得した信号機情報と、検出部１１が検出した前方上方向の注視、車両６０の減速動作の予備動作とに基づいて、運転操作が停車であると推定する。具体的には、信号機情報に基づき、車両６０から所定距離内にある信号機の点灯色が停止を示す色であった場合に、運転者がかかる信号機を注視する予備動作や車両６０を減速させる予備動作を行った場合に運転者が停車の運転操作を行うと推定する。

これにより、情報生成部１５は、運転操作が停車であると推定された場合、停車までの適切なブレーキのタイミング等の支援情報２４を生成する。これにより、運転支援装置１は、信号機手前で停車する場合、運転者がスムーズなブレーキング操作を行うことを容易にすることができる。

なお、上述した変形例に係る推定情報２３の「運転操作」は、車線変更、右左折、発進、停車に限定されず、予備動作および周辺状況から推測可能な運転操作であればよい。

なお、上述した実施形態および変形例では、周辺情報として車両６０の周辺状況に関する情報を例に挙げて説明したが、周辺情報はこれに限られない。例えば、取得部１２が周辺情報としてナビゲーション装置から車両６０の経路に関する経路情報を取得するようにしてもよい。この場合、推定部１４がかかる経路情報を用いて運転操作を推定するものとする。なお、かかる経路情報として、たとえば所定の目的地までの経路を案内する経路案内がある。

具体的に、推定部１４は、例えば取得部１２が取得した経路案内において右折予定の交差点まで所定距離以下であり、かつ、運転者が右サイドミラーを注視する等の右折の予備動作を行った場合、運転者が交差点を右折すると推定する。情報生成部１５は、推定結果の運転操作として、例えば右折を支援する支援情報２４を生成する。

一方、推定部１４は、取得部１２によって上述の経路案内が取得されても、運転者が右折の予備動作を行わない場合、運転者が交差点を直進または左折する、つまり、予め設定された経路案内を右折しないと推定する。

この場合、情報生成部１５は、推定結果に応じて、例えば右折予定の交差点を通知する支援情報２４を生成する。これにより、例えば、運転者が経路案内が示す交差点での右折を見落としている場合であっても、運転者に対して運転操作（ここでは右折操作）を支援することができる。

また、経路情報の経路は、ナビゲーション装置から取得する経路案内の経路に限定されない。例えば、車両６０の走行履歴であってもよい。この場合、例えば取得部１２がナビゲーション装置から車両６０が過去に走行した経路の履歴情報を取得し、学習部１３がかかる履歴情報に基づいて運転者がよく使う経路を学習するようにしてもよい。よく使う経路の一例として、運転者が通勤時に使用する通勤経路等が挙げられる。

例えば、まず学習部１３が、取得部１２がナビゲーション装置から取得した履歴情報に基づいて、車両６０が所定回数以上走行したことのある経路を「よく使う経路」として学習し、推定情報２３として記憶する。

そして、推定部１４は、かかる推定情報２３に基づいて、「よく使う経路」において右折する交差点まで所定距離以下であり、かつ、運転者が右折の予備動作を行った場合、運転者が交差点を右折すると推定する。

なお、取得部１２がナビゲーション装置から取得する情報は経路情報に限られない。取得部１２が、例えば車両６０の現在地に基づき、特定の施設に関する施設情報をナビゲーション装置から取得するようにしてもよい。この場合、推定部１４は、取得部１２が取得した施設情報を用いて、運転操作を推定するものとする。

例えば、取得部１２が、周辺情報として、運転者が過去に利用したことがあるガソリンスタンド等の商業施設が道路右側の側道周辺に位置していることを示す施設情報を取得したとする。この場合、推定部１４は、運転者がかかる商業施設を注視する予備動作および右折する予備動作を行った場合、運転者が商業施設へ向かって右折すると推定する。

また、取得部１２が、施設情報として、ナビゲーション装置が記憶する運転者が登録した登録地点（自宅や会社等）の情報を取得するようにし、推定部１４がかかる登録地点の情報に基づいて運転操作を推定するようにしてもよい。

例えば自宅へ向かう経路に、右折すると自宅に近づき直進または左折すると自宅から遠ざかる交差点が含まれるものとする。この場合、推定部１４は、車両６０とかかる交差点との距離が所定距離以下であり、かつ、運転者が右折の予備動作を行った場合、運転者が自宅へ向かうために交差点を右折すると推定する。

このように、推定部１４は、経路情報や施設情報を用いることで、運転者が走行する経路が特定できるため、特定した走行経路と予備動作とに基づいて運転操作を推定することで、運転操作の推定精度を向上することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 運転支援装置
１１ 検出部
１１ａ 視線検出部
１２ 取得部
１２ａ 物体情報取得部
１２ｂ 地図情報取得部
１３ 学習部
１４ 推定部
１５ 情報生成部

Claims (10)

1. 運転者が移動体を操作する前に行う予備動作を検出する検出部と、
   前記移動体の周辺状況に関する周辺情報を取得する取得部と、
   前記検出部が検出した前記予備動作および前記取得部が取得した前記周辺情報に基づき前記運転者が行う運転操作を推定する推定部と、
   前記推定部が推定した前記運転操作を支援するための支援情報を生成する情報生成部と
   を備えることを特徴とする運転支援装置。
2. 前記検出部は、
   前記予備動作として前記移動体を操作する前の前記運転者の視線の動きを検出する視線検出部を備え、
   前記推定部は、
   前記視線検出部が検出した前記視線の動きおよび前記周辺情報に基づき前記運転操作を推定すること
   を特徴とする請求項１に記載の運転支援装置。
3. 前記予備動作および前記周辺情報に基づいて前記運転者の前記予備動作のパターンを学習する学習部をさらに備え、
   前記推定部は、
   前記学習部が学習した前記パターンと前記検出部が検出した前記予備動作と前記周辺情報とに基づき前記運転操作を推定すること
   を特徴とする請求項１または２に記載の運転支援装置。
4. 前記取得部は、
   前記周辺情報として前記移動体の周辺に存在する物体に関する物体情報を取得する物体情報取得部を備え、
   前記推定部は、
   前記物体情報取得部が取得した前記物体情報および前記予備動作に基づき前記運転操作を推定すること
   を特徴とする請求項１、２または３に記載の運転支援装置。
5. 前記物体情報取得部は、
   前記移動体と前記移動体の前方および／または後方の前記物体との距離を取得し、
   前記推定部は、
   前記物体情報取得部が取得した前記距離が所定距離以下である場合、前記予備動作に基づき前記運転操作が車線変更であるか否かを推定すること
   を特徴とする請求項４に記載の運転支援装置。
6. 前記取得部は、
   前記周辺情報として地図情報を取得する地図情報取得部を備え、
   前記推定部は、
   前記地図情報取得部が取得した前記地図情報、前記移動体の現在地および前記予備動作に基づき前記運転操作を推定すること
   を特徴とする請求項１、２または３に記載の運転支援装置。
7. 前記地図情報取得部は、
   前記地図情報および前記移動体の現在地に基づき前記移動体の進行方向に存在する信号機に関する信号機情報を取得し、
   前記推定部は、
   前記地図情報取得部が取得した前記信号機情報と前記予備動作とに基づき前記運転操作が停車であるか否かを推定すること
   を特徴とする請求項６に記載の運転支援装置。
8. 前記推定部は、
   前記移動体が駐車場で停車している場合、前記予備動作に基づき前記運転操作が発進であるか否かを推定すること
   を特徴とする請求項６または７に記載の運転支援装置。
9. 前記推定部は、
   前記移動体が前方の交差点へ接近する場合、前記予備動作に基づき前記運転操作が右左折であるか否かを推定すること
   を特徴とする請求項６、７または８に記載の運転支援装置。
10. 運転者が移動体を操作する前に行う予備動作を検出する検出工程と、
    前記移動体の周辺状況に関する周辺情報を取得する取得工程と、
    前記検出工程が検出した前記予備動作および前記取得工程が取得した前記周辺情報に基づき前記運転者が行う運転操作を推定する推定工程と、
    前記推定工程が推定した前記運転操作を支援するための支援情報を生成する情報生成工程と
    を含むことを特徴とする運転支援方法。

Images