JP4977482B2 - 画像提供装置、車両、および画像提供方法 - Google Patents

Description

本発明は、画像提供装置、車両、および画像提供方法に関する。

従来、車載カメラにより車両外側を撮像し画像表示することで車両周辺の安全確認を支援する画像提供装置が知られている。これらの装置では、複数のカメラにより取得した画像を合成したり広角カメラを用いたりすることで、車内モニタに広範囲の画像を表示するようにしている（特許文献１および非特許文献１参照）。

また、撮像方向を変更可能な移動機構を有するカメラからの撮像データを処理する画像提供装置が提案されている。この装置では、カメラの撮像方向を移動させるスイッチを有しているため、運転者が望む方向の画像をモニタに表示させることができる（特許文献２参照）。

また、複数のカメラにより車両後方を撮像し、後部座席のシートバック付近に設けられた表示装置に、複数のカメラにより得られた撮像データを合成して表示させる画像提供装置が提案されている。この装置では、実際に運転者が車内から車両後方を視認したときに認識される車外の様子を表示装置に表示させるようになっている。さらに、この装置では、運転者の視点位置に応じて表示領域を調整するようになっている。このため、大柄な運転者や小柄な運転者であっても、適切な車両後方の画像を提供できることとなる（特許文献３参照）。

また、運転者の頭部の移動によって、モニタに表示させる画像を切り替える画像提供装置が提案されている。この装置では、車両左側方に設置されたカメラからの画像と、カーナビ画像とが切り替えられる構成となっている（特許文献４参照）。
特開２００２−８３２８５号公報 特開２００３−２８４０５６号公報 特開２００６−１３５７９７号公報 特開２００５−５１４０３号公報 大久保聡著、"アルプス電気１９０度カメラ"、〔online〕、平成１８年１０月４日、日経エレクトロニクス、〔平成１８年１２月１日検索〕、インターネット＜ＵＲＬ：http://techon.nikkeibp.co.jp/article/NEWS/20061004/121928/＞

しかし、従来のように画像をモニタ表示する場合、車両周辺の障害物等がモニタに小さく表示されてしまうと、障害物等を視認し難くなってしまう。特に、この問題は、特許文献１および非特許文献１に記載の装置のように、広範囲の画像をモニタ表示する場合に一層顕著となる。そして、この問題は、上記装置等に特許文献２〜特許文献４に記載の技術を適用したとしても解消されることはない。なお、このような問題は、車両に搭載される画像表示装置に限らず、他の用途に用いられる画像表示装置についても共通ものである。

本発明は、上記の問題に鑑み、視認性を向上させることが可能な画像提供装置、車両、および画像提供方法を提供することを目的とする。

本発明の画像提供装置は、撮像して得られた撮像データを処理する処理手段と、処理手段による処理に応じて利用者に対して画像表示する表示手段と、表示手段の設置位置に対する利用者頭部の前後位置を検出する頭部位置検出手段と、を備え、処理手段は、頭部位置検出手段により検出された利用者頭部の前後位置に応じて、撮像データに基づく撮像画像の一部を拡大して表示させる拡大処理を実行することを特徴とする。

本発明の画像提供装置によると、利用者の頭部の前後位置に応じて画像が拡大することとなる。このため、例えば利用者が表示手段の設置位置に顔を近づけるという直感的且つ自然な動きによって、画像が拡大され、利用者にとって見やすい画像が表示されることとなる。従って、視認性を向上させることができる。

また、本発明の画像提供装置において、頭部位置検出手段は、表示手段の設置位置に対する利用者頭部の左右位置を検出し、処理手段は、頭部位置検出手段により検出された利用者頭部の左右位置に応じて、撮像画像のうち拡大して表示させる領域の位置を変更する位置変更処理を実行することが好ましい。

この画像提供装置によると、利用者の頭部の左右位置に応じて画像拡大箇所が移動することとなり、利用者の直感的且つ自然な頭部の横移動により利用者が望む箇所を拡大表示させることができる。従って、一層視認性を向上させることができる。

また、本発明の画像提供装置において、利用者に操作される操作機器にされた操作を検出する操作検出手段をさらに備え、処理手段は、操作検出手段により検出された操作に応じて、拡大処理、および、位置変更処理の少なくとも一方を実行することが好ましい。

この画像提供装置によると、利用者の操作機器への操作に応じて、画像拡大および拡大箇所の移動の少なくとも一方が行われることとなり、利用者の操作が画像拡大を望むものと推定される場合に画像拡大させたり、利用者の操作が拡大箇所の移動を望むものと推定される場合に拡大箇所の移動をさせたりすることが可能となる。従って、利便性を向上させることができる。

また、本発明の画像提供装置において、利用者に操作される移動体の動作を検出する動作検出手段をさらに備え、処理手段は、動作検出手段により検出された動作に応じて、拡大処理、および、位置変更処理の少なくとも一方を実行することが好ましい。

この画像提供装置によると、移動体の動作に応じて、画像拡大および拡大箇所の移動の少なくとも一方が行われることとなり、移動体の動作から画像拡大が適切と判断される場合に画像拡大させたり、移動体の動作から拡大箇所の変更が適切と判断される場合に拡大箇所の移動をさせたりすることが可能となる。従って、利便性を向上させることができる。

また、本発明の画像提供装置において、利用者に操作される移動体の停止を検出する停止検出手段をさらに備え、処理手段は、停止検出手段により車両の停止が検出された場合のみに、拡大処理、および、位置変更処理の少なくとも一方を実行することが好ましい。

この画像提供装置によると、移動体の停止時のみに画像拡大および拡大箇所の移動の少なくとも一方が行われることとなり、利用者が移動体を移動させつつ画像を確認してしまうという事態を防止することができる。

また、本発明の車両は、車両に設置されたカメラと、車両に搭載され、カメラにより撮像された撮像データを入力する上記画像提供装置とを備えることを特徴とする。

本発明の車両によると、利用者は画像表示によって車両周囲の安全確認などを行うことができる。

また、本発明の画像提供方法は、撮像して得られた撮像データを処理する処理ステップと、処理ステップにおける処理に応じて、画像表示機能を備える表示手段に画像表示させる表示ステップと、表示手段の設置位置に対する利用者頭部の前後位置を検出する頭部位置検出ステップと、を有し、処理ステップでは、頭部位置検出ステップにおいて検出された利用者頭部の前後位置に応じて、撮像データに基づく撮像画像の一部を拡大して表示手段に表示させる拡大処理が実行されることを特徴とする。

本発明の画像提供方法によると、利用者の頭部の前後位置に応じて画像が拡大することとなる。このため、例えば利用者が表示手段の設置位置に顔を近づけるという直感的且つ自然な動きによって、画像が拡大され、利用者にとって見やすい画像が表示されることとなる。従って、視認性を向上させることができる。

本発明によると、視認性を向上させることができる。

次に、図面を用いて、本発明の実施の形態を説明する。図１は、本実施形態に係る画像提供装置を含む車両周囲画像提供システムの概略構成図であり、図２は、図１に示した車両周囲画像提供システムの設置状態および表示画像例を示す図である。なお、図２においては、図１に示した構成の一部を省略して図示するものとする。また、以下の実施形態においては画像提供装置が車両に搭載される場合を例に説明するが、画像提供装置は車両に設けられなくともよく、他の移動体に搭載されてもよいし、移動体に搭載されていなくともよい。

図１に示すように、車両周囲画像提供システム１は、車外カメラ（カメラ）１０と、車内カメラ１１と、画像提供装置２０とを備えている。車外カメラ１０は、図２（ａ）に示すように車両後方を撮像するように車体に取り付けられている。また、車外カメラ１０は、車両後方の広範囲を撮像可能な広角カメラにより構成されている。なお、本実施形態において車外カメラ１０は車両後方を撮像しているが、特に後方に限るものではなく、他の方向を撮像してもよい。

車内カメラ１１は、車室内に設けられ、運転者の頭部を撮像する構成となっている。この車内カメラ１１は、例えば赤外線カメラにより構成されており、夜間運転時など車室内が暗くなる場合においても運転者頭部を撮像できるように構成されている。

画像提供装置２０は、車外カメラ１０により撮像された撮像データを処理し、利用者に対して画像表示するものである。この画像提供装置２０は、画像処理部（処理手段）２１と、モニタ（表示手段）２２と、頭部位置検出部（頭部位置検出手段）２３と、車載機器検出部（操作検出手段）２４と、車輪動作検出部（動作検出手段）２５と、車速検出部（停止検出手段）２６とを備えている。

画像処理部２１は、車外カメラ１０により撮像して得られた撮像データを処理するものである。モニタ２２は、画像処理部２１による処理に応じて、利用者に対して画像を表示するものである。図２（ｂ）は表示画像の一例を示している。図２（ｂ）に示すように、車両後方には障害物Ｏ１〜Ｏ３が存在している。この場合、モニタ２２には、障害物Ｏ１〜Ｏ３を含む画像が表示される。なお、車外カメラ１０は広角カメラであるため、モニタ２２に表示される障害物Ｏ１〜Ｏ３は、一つ一つがモニタ２２に小さく表示される。

頭部位置検出部２３は、モニタ２２の設置位置に対する利用者頭部の前後位置および左右位置を検出するものである。この頭部位置検出部２３は、車内カメラ１１により撮像された画像データに基づいて、利用者頭部の前後位置および左右位置を検出する。ここで、モニタ２２はインストルメントパネルの中央部に設けられている。このため、頭部位置検出部２３は、インストルメントパネルの中央部に対する利用者頭部の前後位置および左右位置を検出することとなる。利用者頭部位置を検出するにあたり、頭部位置検出部２３は、３次元空間内で楕円形状の物体の動きを追跡してもよいし、肌色領域を追跡してもよい。また、頭部位置検出部２３は、車内カメラ１１の撮像により得られた撮像画像のうち、顔が存在する可能性が高い候補領域を切り出し、候補領域内を画像処理して頭部（顔）を追跡するようにしてもよい。

なお、本実施形態において頭部位置検出部２３は、車内カメラ１１からの画像に基づいて利用者頭部の位置を検出しているが、画像処理技術に限らず、超音波センサなどからの信号により利用者頭部の位置を検出してもよい。

車載機器検出部２４は、車両に搭載されて利用者に操作される操作機器にされた操作を検出するものである。ここで、車載機器とは、ナビゲーション装置やオーディオ装置の他に、ステアリング、アクセルペダル等のペダル類、およびシフトレバーなどを含めていうものである。すなわち、車載機器とは、車両の走行に係わる機器および走行に係わらない機器の双方を含めていうものである。車載機器検出部２４は、これらの機器にされた操作を検出する構成となっている。

車輪動作検出部２５は、車両（利用者に操作される移動体）の動作を検出するものであり、具体的には車輪の回転および車輪の向く方向を検出するものである。車速検出部２６は、車両（利用者に操作される移動体）の停止を検出するものであり、具体的には車両の速度を検出するものである。これら車輪動作検出部２５および車速検出部２６は、車輪近傍に取り付けられたセンサに接続され、センサからの出力信号によって車両の動作や車速を検出する構成となっている。

なお、画像提供装置２０は、車輪動作検出部２５および車速検出部２６を備えているが、これらは機能が共通化され１つの検出部によって車輪の回転および車輪の向く方向を検出し、且つ、車速を検出するように構成されていてもよい。

また、画像提供装置２０は、車輪動作検出部２５および車速検出部２６に代えて他の検出部を備えていてもよい。一例を挙げると、例えば画像提供装置２０は、車輪動作検出部２５に代えて、ナビゲーション装置からの信号に基づいて車両の動きを検出する検出部を備えていてもよい。また、画像提供装置２０は、車速検出部２６に代えて、シフトレバーがパーキングポジションにあるか否か等を検出するシフトレバー検出部を備えていてもよい。

さらに、画像処理部２１は、撮像データに基づく撮像画像（すなわち図２（ｂ）に示すような画像）の一部を拡大してモニタ２２に表示させる拡大処理と、撮像画像のうち拡大して表示させる領域の位置を変更する位置変更処理とを実行するように構成されている。具体的に画像提供装置２０は、頭部位置検出部２３により検出された利用者頭部の前後位置に応じて撮像画像の一部を拡大する拡大処理を実行する。また、画像提供装置２０は、頭部位置検出部２３により検出された利用者頭部の左右位置に応じて、撮像画像のうち拡大して表示させる領域の位置を変更する位置変更処理を実行する。

図３は、拡大処理および位置変更処理が行われたときのモニタ２２の表示例を示す図である。図３（ａ）に示すような画像、すなわち撮像データ全体に基づく撮像画像が表示されているとする。ここで、利用者がモニタ２２に顔を近づけるとすると、画像処理部２１は、拡大処理を実行する。このとき、図３（ａ）に示す画像のうち領域Ｔ１が拡大され、図３（ｂ）に示す画像が表示される。これにより、障害物Ｏ２が拡大して表示されることとなり、利用者は、障害物Ｏ２を確認しやすくなって視認性が向上することとなる。

また、利用者がモニタ２２に対して頭部を右（または左）に動かしたとすると、画像処理部２１は、位置変更処理を実行する。このとき、図３（ａ）に示す領域Ｔ１が右に移動することとなる。すなわち、図３（ａ）に示す領域Ｔ２が拡大され、図３（ｃ）に示すような画像がモニタ２２に表示されることとなる。これにより、利用者は、障害物Ｏ１を確認しやすくなり、視認性が向上することとなる。

なお、頭部位置検出部２３が利用者頭部の上下位置を検出し、画像処理部２１が利用者頭部の上下位置に応じて位置変更処理を実行してもよい。これにより、さらに視認性が向上することとなる。

また、画像処理部２１は、車載機器センサ２４により検出された操作に応じて拡大処理および位置変更処理の少なくとも１つを実行してもよい。例えば利用者が車両のステアリングを右に切ったとする。この場合、利用者は車両の右側を注視したいと推定できる。このため、画像処理部２１は、図３（ｂ）に示すように画像を拡大すると共に、図３（ｃ）に示すように拡大箇所を右側に変更する。このように、利用者の操作が画像拡大を望むものと推定される場合に画像拡大させたり、利用者の操作が拡大箇所の移動を望むものと推定される場合に拡大箇所の移動をさせたりすることが可能となる。

また、画像処理部２１は、車輪動作検出部２５により検出された車両の動きに応じて拡大処理および位置変更処理の少なくとも１つを実行してもよい。例えば車両が右車線に車線変更しようとしているとする。この場合、利用者は車両の右側を注視したいと推定できる。このため、画像処理部２１は、図３（ｂ）に示すように画像を拡大すると共に、図３（ｃ）に示すように拡大箇所を右側に変更する。このように、移動体の動作から画像拡大が適切と判断される場合に画像拡大させたり、移動体の動作から拡大箇所が適切と判断される場合に拡大箇所の移動をさせたりすることが可能となる。

さらに、画像処理部２１は、車速検出部２６により車両の停止が検出された場合のみに、拡大処理および位置変更処理の少なくとも１つを実行してもよい。これにより、車両の停止時のみに画像拡大および拡大箇所の移動の少なくとも一方が行われることとなり、利用者が車両を運転しつつ画像を確認してしまうという事態を防止することができる。

図４は、本実施形態に係る画像提供方法の一例を示すフローチャートである。図４に示すように、まず、画像提供装置２０は車外カメラ１０の撮像により得られた撮像データを入力する（ステップＳ１）。次に、車速検出部２６は、車両が停止しているか否かを判断する（ステップＳ２）。

車両が停止していないと判断した場合（ステップＳ２：ＮＯ）、画像処理部２１は、車外カメラ１０により得られた撮像データ全体に対して画像処理を行い（ステップＳ８）、撮像画像全体を表示させる（ステップＳ９）。その後、処理はステップＳ１に移行する。

一方、車両が停止していると判断した場合（ステップＳ２：ＹＥＳ）、画像提供装置２０は、前回頭部位置を判定してから所定時刻経過したか否か（例えば前回頭部位置を判定してから１秒経過したか否か）を判断する（ステップＳ３）。所定時刻経過してないと判断した場合（ステップＳ３：ＮＯ）、処理はステップＳ６に移行する。

また、所定時刻経過したと判断した場合（ステップＳ３：ＹＥＳ）、頭部位置検出部２３は、車内カメラ１１からの撮像データに基づいて頭部位置を判定し、記憶する（ステップＳ４）。次いで、頭部位置検出部２３は、前回判定されて記憶された頭部位置と、今回判定された頭部位置とに基づいて、頭部位置の移動量を判定する（ステップＳ５）。これにより、頭部位置検出部２３は、利用者頭部がどの方向に移動したかを判定する。そして、処理はステップＳ６に移行する。

ステップＳ６において、操作機器検出部２４は、利用者によってなされた操作機器への操作を検出する（ステップＳ６）。次に、車輪動作検出部２５は、車輪の動作を検出する（ステップＳ７）。

その後、画像処理部２１は、画像処理を行う（ステップＳ８）。このとき、画像処理部２１は、ステップＳ５において判定された頭部の前後移動量が所定の閾値を超えているか否かを判断し、所定の閾値を超える場合に拡大処理を実行する。また、画像処理部２１は、ステップＳ５において判定された頭部の上下左右の移動量が所定の閾値を超えているか否かを判断し、所定の閾値を超える場合に位置変更処理を実行する。さらに、画像処理部２１は、ステップＳ６において検出された操作機器への操作内容、および、ステップＳ７において検出された車輪動作に基づき、拡大処理や位置変更処理を実行する。

その後、モニタ２２は、ステップＳ８の処理に応じた画像表示を行う（ステップＳ９）。これにより、モニタ２２には、画像の一部が拡大されたり、拡大箇所の位置を変更されたりした画像が表示されることとなる。そして、処理はステップＳ１に移行し、上記処理は繰り返し実行されることとなる。なお、上記処理は、例えば車両エンジンが停止した場合などに終了する。

このようにして、本実施形態に係る画像提供装置２０および画像提供方法によれば、利用者の頭部の前後位置に応じて画像が拡大することとなる。このため、例えば利用者がモニタ２２の設置位置に顔を近づけるという直感的且つ自然な動きにより画像が拡大され、利用者にとって見やすい画像が表示されることとなる。従って、視認性を向上させることができる。

また、本実施形態によれば、利用者の頭部の左右位置に応じて画像拡大箇所が移動することとなり、利用者の直感的且つ自然な動きにより利用者が望む箇所を拡大表示させることができる。従って、一層視認性を向上させることができる。

また、本実施形態によれば、利用者の操作機器への操作に応じて、画像拡大および拡大箇所の移動の少なくとも一方が行われることとなる。このため、利用者の操作が画像拡大を望むものと推定される場合に画像拡大させたり、利用者の操作が拡大箇所の移動を望むものと推定される場合に拡大箇所の移動をさせたりすることが可能となる。従って、利便性を向上させることができる。

また、本実施形態によれば、車両の動作に応じて、画像拡大および拡大箇所の移動の少なくとも一方が行われることとなる。このため、車両の動作から画像拡大が適切と判断される場合に画像拡大させたり、移動体の動作から拡大箇所の変更が適切と判断される場合に拡大箇所の移動をさせたりすることが可能となる。従って、利便性を向上させることができる。

また、本実施形態によれば、車両の停止時のみに画像拡大および拡大箇所の移動の少なくとも一方が行われることとなり、利用者が車両を移動させつつ画像を確認してしまうという事態を防止することができる。

また、本実施形態に係る車両によれば、利用者が画像表示によって車両周囲の安全確認などを行うことができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では画像についてのみ説明したが、画像が連続する映像についても同様に視認性を向上させることができる。

例えば、本実施形態において画像提供装置２０は広角カメラにより撮像された撮像データをモニタ２２に表示させているが、これに限らず、複数のカメラにより撮像された撮像データを合成して広範囲の画像を利用者に提供するものであってもよい。また、車外カメラ１０は広角カメラでなく、通常の画角を有するカメラであってもよい。

また、本実施形態では、利用者頭部がモニタ２２に接近したときに画像を拡大させているが、利用者の頭部がモニタ２２から離れた場合に画像を拡大させてもよい。さらに、利用者頭部のモニタ２２への接近度合い（または離間度合い）に応じて、画像の拡大率を変更させてもよいし、頭部の上下左右への移動量に応じて拡大箇所の移動量を変更してもよい。また、拡大率は段階的に変更されてもよいし、段階的ではなくてもよい。拡大箇所の移動量についても段階的に変更されもよいし、段階的ではなくてもよい。

また、本実施形態では乗用車を例にしたが、本発明はこれに限らず、トラックなどの大型車にも適用可能であるし、フォークリフトなどの産業用車両にも適用可能である。さらには、他の移動体にも適用可能であるし、移動体に設置されない場合にも適用可能である。

本実施形態に係る画像提供装置を含む車両周囲画像提供システムの概略構成図である。 図１に示した車両周囲画像提供システムの設置状態および表示画像例を示す図であり、（ａ）は設置状態を示しており、（ｂ）は表示例を示している。 拡大処理および位置変更処理が行われたときのモニタ２２の表示例を示す図であり、（ａ）は撮像画像を示し、（ｂ）は拡大処理後の画像を示し、（ｃ）は位置変更処理後の画像を示している。 本実施形態に係る画像提供方法の一例を示すフローチャートである。

符号の説明

１０…車外カメラ
１１…車内カメラ
２０…画像提供装置
２１…画像処理部
２２…モニタ
２３…頭部位置検出部
２４…車載機器検出部
２５…車輪動作検出部
２６…車速検出部

Claims (5)

1. 撮像して得られた撮像データを処理する処理手段と、
   前記処理手段による処理に応じて利用者に対して画像表示する表示手段と、
   前記表示手段の設置位置に対する利用者頭部の前後位置を検出する頭部位置検出手段と、を備え、
   前記処理手段は、前記頭部位置検出手段により検出された利用者頭部の前後位置に応じて、前記撮像データに基づく撮像画像の一部を拡大して前記表示手段に表示させる拡大処理を実行し、
   利用者に操作される移動体の停止を検出する停止検出手段をさらに備え、
   前記処理手段は、前記停止検出手段により車両の停止が検出された場合のみに、前記拡大処理、および、前記位置変更処理の少なくとも一方を実行し、
   前記処理手段は、前記停止検出手段により車両の停止が検出されなかった場合には、撮像画像全体を表示させる処理を実行する
   ことを特徴とする画像提供装置。
2. 前記頭部位置検出手段は、前記表示手段の設置位置に対する利用者頭部の左右位置を検出し、
   前記処理手段は、前記頭部位置検出手段により検出された利用者頭部の左右位置に応じて、前記撮像画像のうち前記撮像画像のうち拡大して表示させる領域の位置を変更する位置変更処理を実行する
   ことを特徴とする請求項１に記載の画像提供装置。
3. 利用者に操作される操作機器にされた操作を検出する操作検出手段をさらに備え、
   前記処理手段は、前記操作検出手段により検出された操作に応じて、前記拡大処理、および、前記位置変更処理の少なくとも一方を実行する
   ことを特徴とする請求項２に記載の画像提供装置。
4. 車両に設置されたカメラと、
   前記車両に搭載され、カメラにより撮像された撮像データを入力する請求項１〜請求項３のいずれか１項に記載の画像提供装置と、
   を備えることを特徴とする車両。
5. 撮像して得られた撮像データを処理する処理ステップと、
   前記処理ステップにおける処理に応じて、画像表示機能を備える表示手段に画像表示させる表示ステップと、
   前記表示手段の設置位置に対する利用者頭部の前後位置を検出する頭部位置検出ステップと、を有し、
   前記処理ステップでは、前記頭部位置検出ステップにおいて検出された利用者頭部の前後位置に応じて、前記撮像データに基づく撮像画像の一部を拡大して前記表示手段に表示させる拡大処理が実行され、
   利用者に操作される移動体の停止を検出する停止検出ステップをさらに備え、
   前記処理ステップは、前記停止検出ステップにより車両の停止が検出された場合のみに、前記拡大処理、および、前記位置変更処理の少なくとも一方を実行し、
   前記処理ステップは、前記停止検出手段により車両の停止が検出されなかった場合には、撮像画像全体を表示させる処理を実行する
   ことを特徴とする画像提供方法。

Images