JP2014197818A - 画像処理装置、画像処理方法、及び、画像処理システム - Google Patents

Abstract

【課題】運転席から見える車両周辺の画像ＣＰを表示するシステムにおいて、車室画像２００の全体を透過させて表示すると、透過部分に様々な被写体が表示されるため、ユーザは周辺画像のうち、どこに最も注視すべきか直ちに判別できない。この場合、進行経路上に障害物ＶＥが表示されているにもかかわらず、ユーザが障害物ＶＥを見落とす恐れが生じていた。【解決手段】画像処理装置は、車室画像２００の複数の部分の透過率を個別に決定し、かかる透過率で複数の部分を各々透過させて表示する。これにより、ユーザは車両２と周辺領域との位置関係を直感的に認識することができ、進行経路上の障害物ＶＥを見落とすことがない。【選択図】図２

Description

本発明は、車両の周辺を示す画像を処理する技術に関する。

従来より、自動車等の車両周辺を撮影した画像を合成し、運転席から見える車両周辺の様子を表示するシステムが知られている。このようなシステムにより、ユーザ（代表的には運転者）は、車両内にいながらにして車両周辺を確認できる。

また、近年では、車両周辺の画像に運転席から見える車室画像を重畳させ、車室画像の全体を透過的に表示し、目視では車体に遮られる障害物をも表示する技術が提案されている（例えば、特許文献１）。ユーザは、このような画像を視認して、車両周辺の様子を車両との位置関係を把握しながら確認できる。

特開２０１０−１０９６８４号公報

しかし、車室画像の全体を透過させると、透過部分に様々な被写体が表示されるため、ユーザは周辺画像のうち、どこに最も注視すべきか直ちに判別できない。この場合、進行経路上に障害物が表示されているにもかかわらず、ユーザがこのような障害物を見落とす恐れがあった。

本発明は、上記課題に鑑み、車室画像を透過させ、かかる画像に周辺画像を重畳させた際、ユーザが被写体を直感的に把握できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両で用いられ、画像を処理する画像処理装置であって、前記車両に設置されたカメラで取得した画像を用い、前記車両内の仮想視点からみた前記車両の周辺領域を示す周辺画像を生成する生成手段と、前記仮想視点からみた前記車両を示す、複数の部分に分割される車両画像を取得する取得手段と、前記車両画像の前記複数の部分の透過率を個別に決定し、該透過率で該複数の部分をそれぞれ透過させる透過手段と、前記周辺画像と、前記透過率で透過された前記車両画像とを合成して合成画像を生成する合成手段と、前記合成画像を表示装置に出力して表示させる出力手段と、を備える。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記複数の部分は、前記仮想視点から前記周辺領域をみた場合に、重なって位置する部分を含む。

また、請求項３の発明は、請求項１または２に記載の画像処理装置において、前記複数の部分は、テールランプ、ヘッドライト、タイヤ、及び、タイヤハウスのいずれかを含む。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記仮想視点は、前記車両内から前記車両後方をみた視点であり、前記複数の部分は、前記車両の形状を示す外縁部、テールランプ、及び、タイヤを各々示す車両画像を含む。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像処理装置において、前記透過手段は、前記車両画像のうち前記車両の形状を示す外縁部は透過させない。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像処理装置において、前記透過手段は、前記複数の部分のうち車両の所定の高さより上部に該当する部分の画像を全て透過させる。

また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像処理装置において、前記透過手段は、前記複数の部分を網目状に透過させる。

また、請求項８の発明は、請求項１ないし７のいずれかに記載の画像処理装置において、前記車両の状態を取得する取得手段、をさらに備え、前記透過手段は、前記車両の状態に基づいて前記透過率を決定する。

また、請求項９の発明は、請求項１ないし８のいずれかに記載の画像処理装置において、前記車両の周辺に存在する物体の位置を検出する障害物検出手段、をさらに備え、前記透過手段は、前記物体の位置に基づいて前記透過率を決定する。

また、請求項１０の発明は、請求項１ないし９のいずれかに記載の画像処理装置において、前記透過手段は、ユーザの操作に基づいて設定される設定情報に基づいて、前記複数の部分の透過率を個別に決定する。

また、請求項１１の発明は、請求項１ないし１０のいずれかに記載の画像処理装置において、前記出力手段は、前記複数の部分のうち透過率の設定が可能な部分を前記表示装置に出力して表示し、前記透過手段は、前記表示装置に表示された前記透過率の設定が可能な部分に対するユーザの操作に基づいて、前記透過率を個別に決定する部分を選択する。

また、請求項１２の発明は、車両で用いられる画像処理方法であって、前記車両に設置されたカメラで取得した画像を用いて、前記車両内の仮想視点からみた前記車両の周辺領域を示す周辺画像ＡＰを生成する工程と、前記仮想視点からみた前記車両を示す車両画像を取得する工程と、前記車両画像を複数の部分に分割し、該複数の部分の透過率を決定し、該透過率で該複数の部分を透過させる工程と、前記周辺画像ＡＰと前記複数の部分が透過された車両画像とを合成して合成画像を生成する工程と、前記合成画像を表示装置に出力して表示させる工程と、を備える。

また、請求項１３の発明は、車両で用いられる画像処理システムであって、請求項１ないし１１のいずれかに記載の画像処理装置と、前記画像処理装置から出力された前記合成画像を表示する表示装置と、を備える。

請求項１から１３の発明によれば、車両画像を分割した複数の部分を透過させるので、ユーザは車両と周辺領域との位置関係を直感的に認識することができる。

また、特に請求項２の発明によれば、仮想視点から周辺領域をみた場合に、重なって位置する部分を透過させるので、ユーザは車両と周辺領域との位置関係を容易に把握することができる。

また、特に請求項３の発明によれば、複数の部分には、テールランプ、ヘッドライト、タイヤ、及び、タイヤハウスのいずれかを含むので、ユーザは車両の周辺領域に存在する障害物を容易に把握することができる。

また、特に請求項４の発明によれば、車両内から車両後方をみた視点における車両画像を透過させるので、ユーザは車両と車両後方の周辺領域との位置関係を直感的に認識することができる。

また、特に請求項５の発明によれば、車両の外縁部は透過させないので、ユーザは車両の周辺領域に存在する障害物と車両との位置関係を容易に把握することができる。

また、特に請求項６の発明によれば、車両上部に該当する部分の画像を全て透過させるので、ユーザは周辺領域に存在する障害物と車両との位置関係を把握しつつ、周辺領域を明瞭に認識することができる。

また、特に請求項７の発明によれば、複数の部分を網目状に透過させるので、ユーザは網目状の部分を通して車両の周辺領域の色彩を認識することができる。

また、特に請求項８の発明によれば、車両の動作に合わせた適切な車両画像の部分の透過を行うことができる。

また、特に請求項９の発明によれば、透過率を物体の位置に基づいて決定するので、ユーザは物体の位置を車両画像の部分を透過して確認することができ、車両と物体との位置関係を容易に把握できる。

また、特に請求項１０の発明によれば、ユーザの操作により透過率を設定するので、ユーザの見やすい透過率で車両画像の部分を透過することができる。

また、特に請求項１１の発明によれば、表示装置に表示された透過率の設定が可能な部分に対するユーザの操作に基づいて、透過率を個別に決定する部分を選択するので、ユーザは表示装置を参照して容易に透過率を決定する部分を選択できる。

図１は、画像処理システムの概要を示す図である。 図２は、画像処理システムの概要を示す図である。 図３は、画像処理システムの構成を示す図である。 図４は、車載カメラの取り付け位置を示す図である。 図５は、車室画像を説明する図である。 図６は、車室画像を説明する図である。 図７は、合成画像の生成手法を説明する図である。 図８は、合成画像の生成手法を説明する図である。 図９は、画像処理装置の処理手順を説明する図である。 図１０は、透過処理の処理手順を説明する図である。 図１１は、透過処理の例を示す図である。 図１２は、透過処理の例を示す図である。 図１３は、透過処理の例を示す図である。 図１４は、透過処理の例を示す図である。 図１５は、透過処理の例を示す図である。 図１６は、透過処理の例を示す図である。 図１７は、透過率の設定処理の処理手順を説明する図である。 図１８は、表示モードの設定画面を示す図である。 図１９は、透過率の設定画面を示す図である。 図２０は、透過率の設定画面を示す図である。 図２１は、透過処理の例を示す図である。 図２２は、透過処理の例を示す図である。 図２３は、透過処理の例を示す図である。 図２４は、透過処理の例を示す図である。 図２５は、画像表示の例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．概要＞
図１は、本発明の実施の形態に係る画像処理システム１の概要を示す。画像処理システム１は、車両２周囲に配置された複数のカメラ５（５Ｆ、５Ｂ、５Ｌ、５Ｒ）で取得した映像に対し、画像処理装置３が透過率を高めた車室内を示す車室画像を合成し、表示装置４に表示する。

この車室画像は複数の部分に分割されている。画像処理装置３は、車室画像の複数の部分の透過率を個別に決定し、決定した透過率で複数の部分それぞれを透過させる。

そして、画像処理装置３は、カメラ５から取得した周辺画像ＡＰと、部分毎に透過率を高めた車室画像とを合成し、合成画像を生成する。

図２は、このような合成画像ＣＰの例を示す。この合成画像ＣＰは、車両２が駐車車両ＶＥの側方を通行する際、ユーザの視点から左前方を見た様子である。駐車車両ＶＥ等を含む周辺画像ＡＰに対し、車室画像２００が重畳されている。そして、複数の部分に分割された車室画像２００のうち、ユーザの視線上において駐車車両ＶＥに重複する部分の透過率が、他の部分より増加されている。すなわち、車室画像２００のうち左側ダッシュボード２１７、左側ドアパネル２１８、左側ピラー２１９、及び、ルームミラー２１１の透過率が、他の部分より増加される。これにより、ユーザは、自車両付近に駐車する他車両との位置関係を、自らの視点の合成画像ＣＰにより直感的に認識でき、駐車車両ＶＥの側方を安全に通行できる。

なお、本実施の形態における、複数に分割される車室画像２００の「部分」とは、車両の組み立て時等に用いられる物理的に独立した「部品」を含む。このような部品は、例えば、ボディーやドアパネル等である。また、「部分」には、部品において分別できる「領域」を含む。例えば、ボディーは、ルーフ、ピラー、フェンダー等の領域に分別可能である。したがって、ボディーの領域であるルーフ、ピラー、フェンダー等も独立して「部分」に含まれる。なお、ボディー等以外の車両を構成する、例えばダッシュボート等についても同様である。したがって、本実施の形態において、複数に分割される車室画像２００の「部分」を「部品」、又は「領域」と示す場合がある。

＜１−２．構成＞
図３は、第１の実施の形態における画像処理システム１の構成を示す。画像処理システム１は、自動車等の車両２に搭載され、車両２の周辺領域を示す画像を生成して車室内のユーザに提示する。

画像処理システム１は、画像処理装置３及び表示装置４を備える。また、画像処理装置３は、車両２周辺を撮影する複数のカメラ５を備える。

画像処理装置３は、撮影画像等に対し各種の画像処理を行い、表示装置４に表示する画像を生成する。表示装置４は、画像処理装置３で生成され、出力された画像を表示する。

複数のカメラ５は各々、レンズと撮像素子とを備え、車両２周辺を撮影して撮影画像を電子的に取得する。４つのカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含む。これら４つのカメラ５（５Ｆ、５Ｂ、５Ｌ、５Ｒ）は、車両２の互いに異なる位置に配置され、車両２の互いに異なる方向を撮影する。

図４は、４つのカメラ５が各々撮影する方向を示す。フロントカメラ５Ｆは、車両２前端に設置され、光軸５Ｆａが車両２の直進方向に向けられる。リアカメラ５Ｂは、車両２後端に設置され、光軸５Ｂａが車両２の直進方向と逆方向、すなわち後進方向に向けられる。左サイドカメラ５Ｌは、左側のサイドミラー５ＭＬに設置され、光軸５ＭＬａが車両２の左方向（直進方向に対する直交方向）に向けられる。また、右サイドカメラ５Ｒは、右側のサイドミラー５ＭＲに設置され、光軸５ＭＲａが車両２の右方向（直進方向に対する直交方向）に向けられる。

これらカメラ５は、レンズに魚眼レンズ等の広角レンズを採用し、１８０度以上の画角θを有する。４つのカメラ５を利用して、車両２の全周囲を撮影可能である。

図３を再度参照する。表示装置４は、液晶等の薄型の表示パネルとユーザの入力操作を検知するタッチパネル４ａとを備えたディスプレイである。表示装置４は、ユーザが車両２の運転席に着座した状態でその画面を視認できるよう、車室内に配置される。

画像処理装置３は、各種の画像処理が可能な電子制御装置である。画像処理装置３は、画像取得部３１、画像処理部３２、制御部３３、記憶部３４、及び、信号受信部３５を備える。

画像取得部３１は、４つのカメラ５で各々得られた撮影画像を取得する。画像取得部３１は、アナログの撮影画像をデジタルの撮影画像に変換するＡ／Ｄ変換等の画像処理機能を有する。画像取得部３１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像処理部３２に入力する。

画像処理部３２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像処理部３２は、複数のカメラ５で取得された複数の撮影画像を合成し、仮想視点からみた車両２周辺の様子を示す周辺画像ＡＰを生成する。また、画像処理部３２は、周辺画像生成部３２ａ、合成画像生成部３２ｂ、及び、画像透過部３２ｃを備える。

周辺画像生成部３２ａは、４つのカメラ５で取得された複数の撮影画像を合成し、仮想視点からみた車両２の周辺の様子を示す周辺画像ＡＰを生成する。仮想視点は、運転席の位置から外部を見る運転席視点、及び、車両２の外部の位置から車両２を俯瞰する俯瞰視点である。

合成画像生成部３２ｂは、周辺画像生成部３２ａで生成された周辺画像ＡＰに対し、車両２の車体画像１００又は車室画像２００を重畳する。

画像透過部３２ｃは、車室画像２００の透過率を変更する。すなわち、画像透過部３２ｃは、ユーザの視線上において、車室画像２００が重複する周辺画像ＡＰが透過して見えるよう画像処理を行う。この際、画像透過部３２ｃは、車室画像２００の複数の部分の透過率を個別に決定し、決定した透過率で複数の部分をそれぞれ透過させる。なお、「透過」には、周辺画像ＡＰに対して車室画像２００が透過する場合（すなわち、車内から車外が見える）のみならず、車室画像２００に対して他の車室画像２００が透過する場合（すなわち、車内から座席等の内装部品を透過して車体内側が見える）を含む。

なお、「透過率」とは、ユーザの視線上において、車室画像２００に重複する周辺画像ＡＰの色彩が車室画像２００の色彩を透過する割合である。したがって、画像の透過率を高めると、画像の線及び色彩が薄く表示され、合成画像生成部３２ｂにより重畳された周辺画像ＡＰが車室画像２００を透過する。例えば、透過率を５０％に変更すると、車室画像２００の線及び色彩は薄く表示され、薄く表示された車室画像２００を通して周辺画像ＡＰが表示される。すなわち、車室画像２００が半透明の状態となる。また、車室画像２００の透過率を１００％に変更すると、車室画像２００の線及び色彩は表示されず、周辺画像ＡＰのみが表示される。一方、透過率を０％に変更すると、車室画像２００の線及び色彩は濃く表示され、車室画像２００と重なる周辺画像ＡＰは表示されない。

この透過率の変更は、具体的には、車室画像２００と周辺画像ＡＰとのＲＧＢカラーモデルの各成分を混合する割合を変更して行われる。例えば、車室画像２００の透過率を５０％とするには、車室画像２００と周辺画像ＡＰとのＲＧＢ成分を平均して表示すればよい。また、車室画像２００の透過率を高めるには（すなわち車室画像２００を「薄く」するには）、例えば周辺画像ＡＰのＲＧＢ成分を２倍にして車室画像２００のＲＧＢ成分と加算して３で割ればよい。反対に、車室画像２００の透過率を低下させるには（すなわち車室画像２００を「濃く」するには）、例えば車室画像２００のＲＧＢ成分を２倍にし、周辺画像ＡＰのＲＧＢ成分と加算して３で割ればよい。また、その他の既知の画像処理手法を用い、画像の透過率を変更することが可能である。

制御部３３は、ＣＰＵ、ＲＡＭ、及び、ＲＯＭを備え、画像処理装置３の全体を統括的に制御するマイクロコンピュータである。制御部３３の各種機能は、予め記憶されたプログラムに従い、ＣＰＵが演算処理を行うことで実現される。なお、制御部３３の備える各部の動作は後述する。

記憶部３４は、フラッシュメモリ等の不揮発性メモリである。記憶部３４は、車両画像データ３４ａ、透過モデル３４ｂ、設定データ３４ｃ、及び、ファームウェアとしてのプログラム３４ｄを記憶する。

車両画像データ３４ａは、車体画像データ１００及び車室画像データ２００を含む。車体画像データ１００及び車室画像データ２００は、あらゆる角度からみた車両外観及び車室内の画像を備える。

車体画像データ１００は、車両２を俯瞰してみた場合の車両２の外観を示す画像である。

車室画像データ２００は、車両２の運転席等の車内から見える車室内の画像である。また、車室画像２００は、複数の部分に分割され、分割された部分毎に記憶部３４に記憶されている。

図５及び図６は、合成画像生成部３２ｂにより、周辺画像ＡＰに車室画像２００が合成され、合成画像ＣＰが表示装置４に表示された例を示す。

図５は、運転席に着座するユーザの視点位置から車両２後方をみた仮想視点において、合成画像生成部３２ｂにより生成された合成画像ＣＰの例を示す。合成画像生成部３２ｂは、合成画像ＣＰを生成する際、車室画像２００の部分として、ボディー画像２０１、左側テールランプ２０２、左側タイヤハウス２０３、左側後方タイヤ２０４、右側後方タイヤ２０５、右側タイヤハウス２０６、及び、右側テールランプ２０７を記憶部３４から読み出す。そして、読み出した複数の車室画像２００の部分を予め決められた位置に配置して周辺画像ＡＰに重畳する。

なお、これら車室画像２００の複数の部分には、車両２の形状を示す外縁部ｆも含まれる。また、仮想視点の位置及び方向と車室画像２００の表示される位置とは、予め位置関係を設定し、記憶しておけばよい。また、仮想視点として、運転席に着座するユーザの視点位置から車両後方を見た視点に代えて、ルームミラーの位置から車両後方を見た視点としてもよい。ユーザは車両後方を確認する場合、ルームミラーに映る車両後方の象を見るからである。

また、運転席に着座するユーザの視点位置から車両後方をみた仮想視点においては、座席も視野に含まれる。このため、合成画像生成部３２ｂは、座席の画像（図示せず）をさらに記憶部３４から読み出し、周辺画像ＡＰに合成し、座席の画像を配置した車両後方をみた合成画像ＣＰを生成してもよい。

図６は、合成画像生成部３２ｂにより生成された合成画像ＣＰの他の例を示す。図６は、運転席に着座するユーザの視点位置から車両前方をみた仮想視点において、合成画像生成部３２ｂにより生成される合成画像ＣＰの例である。合成画像生成部３２ｂは、車室画像２００として、ルームミラー２１１、ステアリング２１２、右ピラー２１３、右側ヘッドライト２１４、右側ダッシュボード２１５、センターコンソール２１６、及び、左側ダッシュボード２１７を記憶部３４から読み出し、予め決められた位置に配置して周辺画像ＡＰに重畳し、合成画像ＣＰを生成する。

図３を再度参照する。透過モデル３４ｂは、車室画像２００の部分毎に予め透過率が設定されたモデルである。透過モデル３４ｂは、複数用意される。たとえば、各部分の透過率を高、中、低の３段階で用意される。この際、中程度の透過率として５０％を設定する。画像透過部３２ｃは、車両画像３４ａの透過率を５０％程度に高めるのが好ましいからである。すなわち、車両画像３４ａと周辺画像ＡＰの両画像が同程度に視認できるため、ユーザは車両２の周辺状況と車両２の位置関係とを容易に把握できるからである。

なお、車両画像３４ａの透過率は、車両２周囲の明るさに応じて変更してもよい。すなわち、夜間や照明のない屋内等により車両２周囲の照度が低い場合には、車室画像２００の透過率を５０％より高めてもよい。この場合、ユーザは車室画像２００を透過して周辺画像ＡＰをより明確に視認できる。車両２の周囲の照度が低い場合であっても、ユーザは車両２の周辺状況と車両２の位置関係を把握しやすい。

透過モデル３４ｂは、ユーザにより選択される。選択されたモデルの透過率で透過された車室画像２００が表示装置４に表示される。透過モデル３４ｂがユーザにより選択される以前の画像処理装置３においては（工場出荷時等）、中程度の透過率の透過モデル３４ｂが予め選択されていてもよい。これにより、画像処理装置３の最初の起動直後から車室画像２００を透過して表示させることができる。

設定データ３４ｃは、車室画像２００の部分毎にユーザにより透過率が設定されたデータである。

プログラム３４ｄは、制御部３３により読み出され、制御部３３が画像処理装置を制御する際に実行されるファームウェアである。

信号受信部３５は、車両２に関するデータを取得し、制御部３３へ送信する。信号受信部３５は、シフトセンサ３５ａ、ステアリングセンサ３５ｂ、ウィンカスイッチ３５ｃ、車速センサ３５ｄ、及び、周辺監視センサ３５ｅと車内ＬＡＮを介して接続される。

シフトセンサ３５ａは、「ＤＲｉｖｅ」や「ＲｅｖｅＲｓｅ」等のシフトポジションを検知し、現在入力されているシフトポジションを示すシフトデータを送信する。

ステアリングセンサ３５ｂは、ステアリングが中立位置（車両が直進するステアリング位置）から左右いずれかに回転した角度を検知し、角度データを送信する。

ウィンカスイッチ３５ｃは、ウィンカ（方向指示器）が左右どちらに操作されたかを検知し、該当する方向を示す方向データを送信する。

車速センサ３５ｄは、車両２の速度を取得し、速度データを送信する。

周辺監視センサ３５ｅは、車両２の周辺に存在する物体を検知し、車両２に対する物体の方向及び距離を示す物体データを送信する。周辺監視センサ３５ｅは、例えば音波を利用したクリアランスソナーや、電波や赤外線を利用したレーダである。また、これらの組合せである。

次に、制御部３３の備える各部の動作について説明する。制御部３３は、視点変換部３３ａ、透過率設定部３３ｂ、及び、画像出力部３３ｃを備える。

視点変換部３３ａは、仮想視点の位置及び方向を設定する。詳細は後述する。

透過率設定部３３ｂは、車室画像２００の透過率を０％から１００％の範囲で設定を行う。透過率設定部３３ｂにより設定された透過率に基づき、前述の画像透過部３２ｃが車室画像２００の複数の部分の透過率を決定し、決定した透過率で各部分をそれぞれ透過させる。透過率は予め設定されたもののほか、ユーザにより任意の透過率が設定される。

画像出力部３３ｃは、画像処理部３２により生成された合成画像を、表示装置４に出力する。これにより、表示装置４に合成画像が表示される。

＜１−３．画像の生成＞
次に、画像処理部３２が、車両２の周辺領域を示す周辺画像ＡＰ、及び、周辺画像ＡＰに車室画像２００を重畳した合成画像ＣＰを生成する手法を説明する。図７は、周辺画像生成部３２ａが周辺画像ＡＰを生成する手法を示す。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒの各々で車両２周辺の撮影が行われると、車両２の前方、後方、左側方、及び、右側方を各々示す４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）が取得される。これら４つの画像は、車両２の全周囲のデータを含む。

周辺画像生成部３２ａは、これら４つの画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）である。この投影面ＴＳの中心部（お椀の底部分）は、車両２の存在位置である。また、投影面ＴＳの中心部以外の部分は、画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）のいずれかと対応付けられる。

まず、周辺画像生成部３２ａは、この投影面ＴＳの中心部以外の部分に、周辺画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）を投影する。周辺画像生成部３２ａは、投影面ＴＳにおける車両２前方に相当する領域にフロントカメラ５Ｆの画像ＡＰ（Ｆ）を投影し、車両２後方に相当する領域にリアカメラ５Ｂの画像ＡＰ（Ｂ）を投影する。さらに、周辺画像生成部３２ａは、投影面ＴＳにおける車両２左側方に相当する領域に左サイドカメラ５Ｌの画像ＡＰ（Ｌ）を投影し、車両２右側方に相当する領域に右サイドカメラ５Ｒの画像ＡＰ（Ｒ）を投影する。

次に、周辺画像生成部３２ａは、この三次元空間における仮想視点ＶＰを設定する。周辺画像生成部３２ａは、三次元空間における任意の視点位置に任意の視野方向に向けた仮想視点ＶＰを設定可能である。そして、周辺画像生成部３２ａは、投影面ＴＳのうち、設定した仮想視点ＶＰからみた視野角に含まれる領域を画像として切り出し、切り出した画像を合成する。これにより、周辺画像生成部３２ａは、仮想視点ＶＰからみた車両２周辺の領域を示す周辺画像ＡＰを生成する。

次に、合成画像生成部３２ｂが、周辺画像生成部３２ａが生成した周辺画像ＡＰ、仮想視点ＶＰに応じて記憶部３４から読み出した車室画像２００、及び、タッチパネル４ａに用いるアイコン画像ＰＩを合成し、合成画像ＣＰを生成する。

例えば、仮想視点の視点位置を車両２の運転席、視野方向を車両２前方とする仮想視点ＶＰａを設定すると、運転席から前方を見渡すように、車室内及び車両２の前方領域を示す合成画像ＣＰａが生成される。すなわち、図８に示すように、合成画像生成部３２ｂは、視点位置が運転席、かつ視野方向が前方である合成画像ＣＰａを生成する場合、車両２の前方を示す周辺画像ＡＰ（Ｆ）に対し、運転席を示す車室画像２００及びアイコン画像ＰＩを重畳して合成し、合成画像ＣＰａを生成する。

また、仮想視点の視点位置を車両２の運転席位置、視野方向を車両２後方とした仮想視点ＶＰｂを設定した場合、バックドア等を示す車室画像２００及び周辺画像ＡＰ（Ｂ）を用いて、車両２の後方車室及び車両２の後方の周辺領域を示す合成画像ＣＰｂが生成される。

また、視点位置を車両２の直上、視野方向を直下とした仮想視点ＶＰｃ（平面的かつ俯瞰的な仮想視点）を設定した場合、車体画像１００及び周辺画像ＡＰ（Ｆ）、ＡＰ（Ｂ）、ＡＰ（Ｌ）、ＡＰ（Ｒ）を用いて、車両２及び車両２の周辺領域を俯瞰する合成画像ＣＰｃが生成される。

＜１−４．処理手順＞
次に、画像処理装置３が、合成画像ＣＰを生成する処理手順について説明する。図９は、画像処理装置３の処理手順を示す。図９に示す処理は、所定の周期（例えば、１／３０秒周期）で繰り返し実行される。

まず、４つのカメラ５で各々撮影が行われる。画像取得部３１は４つのカメラ５から４つの撮影画像を取得する（ステップＳ１１）。画像取得部３１は取得した撮影画像を画像処理部３２に送信する。

画像取得部３１が撮影画像を画像処理部３２に送信すると、制御部３３の視点変換部３３ａが、仮想視点ＶＰの視点位置及び視野方向を決定する（ステップＳ１２）。画像表示の当初は、視点変換部３３ａは視点位置を運転席に設定し、視野方向を車両２前方に設定することが好ましい。運転席に着座したユーザにとって最も違和感のない視点だからである。

ただし、視点変換部３３ａは、ステアリングやウィンカが操作された場合には、操作が行われた方向に視野を設定する。かかる方向が、車両が進行する方向だからである。この際、視点変換部３３ａは、ステアリングセンサ３５ｂから送信される角度データ、及び、ウィンカスイッチ３５ｃから送信される方向データ等に基づき、視野方向を設定すればよい。

また、視野方向に車両２前方を選択する場合には、視野方向を車両２の左前方としてもよい。車両２の左前方は、車両２がいわゆる右ハンドルである場合、ユーザの死角となりやすい方向だからである。同様に左ハンドルの場合には、視野方向を右前方とすればよい。

また、シフトポジションがリバースに入力されると、視点変換部３３ａは、視野方向に車両２後方を設定する。シフトポジションがリバースに入力された場合には、ユーザは車両２を後退させようとしているからである。シフトポジションの判別は、シフトセンサ３５ａから送信されるシフトデータに基づいて行われる。

なお、視点位置及び方向の変更は、ユーザによるタッチパネル４ａへの操作に応じて行ってもよい。この際、表示装置４に表示されるアイコン画像ＰＩが操作される毎に、仮想視点ＶＰを変更する。すなわち、視点位置が運転席位置かつ視野方向が前方、視点位置が運転席位置かつ視野方向が後方、視点位置が俯瞰視点位置かつ視野方向が直下となる３つの仮想視点ＶＰを順次変更して表示する。さらに、視点位置が運転席位置の画像と、俯瞰視点位置の画像とを並列して同時表示してもよい。この場合、ユーザは複数の位置から車両２の周辺状況を同時に把握でき、車両２をより安全に運転することができる。

仮想視点ＶＰの位置及び方向が決定されると、周辺画像生成部３２ａは、画像取得部３１が取得した撮影画像に基づき、前述の手法により、車両２の周辺画像ＡＰを生成する（ステップＳ１３）。

周辺画像ＡＰが生成されると、合成画像生成部３２ｂは、制御部３３を介して記憶部３４から仮想視点ＶＰに応じた車室画像２００を読み出す（ステップＳ１４）。視点位置が俯瞰視点位置の場合には、車体画像１００が読み出される。視点位置が運転席位置の場合には、車室画像２００が読み出される。なお、合成画像生成部３２ｂによる記憶部３４からの読み出し処理は、制御部３３を介して実行される。

次に、画像透過部３２ｃが、前述の手法により読み出された車室画像２００の透過率を変更する透過処理を実行する（ステップＳ１５）。透過処理の詳細は後述する。

透過率設定部３３ｂにより車室画像２００の透過率を変更する処理が行われると、合成画像生成部３２ｂが、４つの撮影画像及び車室画像２００を用いて、前述の手法により、合成画像ＣＰを生成する（ステップＳ１６）。

合成画像生成部３２ｂにより合成画像ＣＰが生成されると、画像出力部３３ｃは、合成画像ＣＰを表示装置４へ出力する（ステップＳ１７）。出力された合成画像ＣＰは表示装置４に表示され、ユーザにより参照される。

合成画像ＣＰが出力されると、制御部３３の透過率設定部３３ｂは、ユーザによりタッチパネル４ａが操作され、車室画像２００の透過率を設定すべき指示があるか否か判断する（ステップＳ１８）。

透過率を設定すべき指示があると判断すると（ステップＳ１８でＹｅｓ）、透過率を設定する画面を表示装置４に表示し、透過率の設定処理を実行する（ステップＳ１９）。設定処理の詳細は後述する。

透過率の設定処理が実行された場合、及び、透過率を設定すべき指示がないと判断した場合（ステップＳ１８でＮｏ）、制御部３３は、ユーザにより合成画像ＣＰの表示を終了すべき指示があるか否か判断する（ステップＳ２０）。かかる判断は、画像表示の終了ボタン（図示せず）がユーザにより操作されたか否かにより行う。ユーザは合成画像ＣＰの表示を終了し、ナビゲーション画面等の表示を希望する場合もあるからである。

合成画像ＣＰの表示を終了すべき指示があると判断すると（ステップＳ２０でＹｅｓ）、画像出力部３３ｃは、合成画像ＣＰの出力を停止し、本処理は終了する。

一方、合成画像ＣＰの表示を終了すべき指示がないと判断すると（ステップＳ２０でＮｏ）、処理はステップＳ１１に戻り、撮影画像の取得を再度実行する。そして、ステップＳ１１以降の処理を繰り返す。なお、ステップＳ１９によりユーザが表示モードを新たに設定した場合や、任意の透過率を設定した場合には、再度実行される処理において、かかる表示モード及び透過率にて合成画像ＣＰが生成される。

次に、ステップＳ１６における車室画像２００の透過処理について、図１０から図１６を参照して説明する。図１０は、透過処理の処理手順であり、ステップＳ１５の詳細を示す。ステップＳ１５が実行されると、まず制御部３３が、透過モデル３４ｂの透過率で車室画像２００を透過させるか、又は、ユーザにより任意に設定された透過率で車室画像２００を透過させるか判断する（ステップＳ５１）。かかる判断は、記憶部３４に記憶されている設定データ３４ｃに基づき行う。

制御部３３が、透過モデル３４ｂの透過率で車室画像２００を透過させると判断すると（ステップＳ５１でＹｅｓ）、画像透過部３２ｃは、ユーザにより予め選択されている透過モデル３４ｂの透過率を用い、車室画像２００を透過させる。車室画像２００の透過処理は、前述の手法により行う（ステップＳ５２）。

一方、制御部３３が、ユーザにより任意に設定された透過率で車室画像２００を透過させると判断すると（ステップＳ５１でＮｏ）、画像透過部３２ｃは、ユーザにより任意に設定された透過率を用い、車室画像２００を透過させる（ステップＳ５３）。

次に、制御部３３が、車両状態による透過率の設定がオンとされているか否か判断する（ステップＳ５４）。なお、車両状態とは、ステアリングの操作状態等の車両に備わる装置の状態、及び、車両速度等の車両自体の状態である。車両状態による透過率の設定がオンとされている場合には、画像透過部３２ｃは、車両状態に基づいて車室画像２００の透過率を決定する。

車両状態による透過率の設定がオンとされていると判断すると（ステップＳ５４でＹｅｓ）、制御部３３は、ユーザによりステアリングが操作されたか否か判断する（ステップＳ５５）。かかる判断は、ステアリングセンサ３５ｂから送信されるセンサ信号に基づき行われる。

ステアリングが操作されたと判断すると（ステップＳ５５でＹｅｓ）、画像透過部３２ｃが、ステアリングが操作された方向の車室画像２００の透過率を変更する（ステップＳ５６）。さらに、視点変換部３３ａが、ステアリングが操作された方向へ仮想視点の向きを設定する。なお、透過率の変更は、例えば変更前の透過率を５０％程度増加させる。ただし、変更前の透過率が５０％未満の低透過率である場合には、透過率を８０％から１００％程度の値に設定すればよい。

図１１は、駐車場ＰＡにおいて、車両２のステアリングが左方向へ操作された場面を示す。ステアリングが左方向へ操作されたため、視点変換部３３ａにより、車両２の左方向へ仮想視点ＶＰの向きが設定される。

図１２は、図１１で示す場面において、表示装置４に表示される合成画像ＣＰを示す。表示される合成画像ＣＰは、駐車場ＰＡを示す周辺画像ＡＰに車室画像２００が重畳される。また、車室画像２００は透過率が５０％で表示され、他の駐車車両が透過して表示される。さらに、ステアリングが左方向へ操作されたため、画像透過部３２ｃによりステアリングが操作された方向の左側ドアパネル２１８の透過率が１００％に増加されている。

このように、ステアリングが操作された方向は車両２が進行する方向であるため、かかる方向の車室画像２００の透過率を増加させることで、ユーザに対し進行方向における障害物等の有無を明確に提示できる。これにより、ユーザは駐車操作において、自車両と他車両や駐車場設備等と位置関係を直感的に認識でき、障害物等との接触を容易に回避できる。

さらに、例えば、交差点を左折する際に左ドアパネルの透過率を高めると、車両２近傍を通行する歩行者、二輪車等を認識しやすく、巻き込み事故等の防止を図ることができる。また、一部の車室画像２００の透過率を他の車室画像２００の透過率より高めることで、透過率を高めた部分に対し、ユーザの注意をより多く引き付けることができる。

図１０を再度参照する。ステップＳ５６でステアリングが操作された方向の車室画像２００の透過率を増加させた場合、及び、ステップＳ５４で車両状態による透過率の設定がオンとされていないと判断した場合、ステップＳ６３の処理が実行される。ただし、ステップＳ６３以降の処理は後述する。

次に、制御部３３は、ユーザによりステアリングが操作されていないと判断すると（ステップＳ５５でＮｏ）、ウィンカが作動しているか否か判断する（ステップＳ５７）。かかる判断は、ウィンカスイッチ３５ｃからの制御信号に基づき行われる。

ウィンカが動作していると判断すると（ステップＳ５７でＹｅｓ）、画像透過部３２ｃが、ウィンカが動作している方向の斜め前方となる車室画像２００の透過率を増加させる（ステップＳ５８）。ウィンカが動作している方向の斜め前方とするのは、ウィンカの動作状態は、これから車両２が進行する方向を予告するものであり、ステアリングが操作された場合と異なり、未だ車両２が左右いずれへも進行していない場合があるからである。したがって、ウィンカ動作中においては、ユーザに対し、真横よりも斜め前方の車室画像２００の透過率を増加させて表示することが好ましい。

次に、視点変換部３３ａが、ウィンカが動作している方向へ仮想視点の向きを設定する。ただし、ウィンカが動作している方向の斜め前方でもよく、前方でもよい。要するに、周辺画像ＡＰを表示した際に、ウィンカが動作している方向の斜め前方が表示装置４内に収まる方向であればよい。なお、増加させる透過率は、ステップＳ５６にける場合と同様である。

図１３は、駐車場ＰＡにおいて、車両２のウィンカが左方向へ作動している場面を示す。ウィンカが左方向へ作動しているため、視点変換部３３ａにより、車両２の左斜め前方を含む前方へ仮想視点ＶＰの向きが設定される。また、車両２の左斜め前方には、他車両ＶＥが駐車している。

図１４は、図１３で示す場面において、表示装置４に表示される合成画像ＣＰを示す。表示される合成画像ＣＰは、駐車場ＰＡを示す周辺画像ＡＰに車室画像２００が重畳される。また、車室画像２００は透過率が５０％で表示され、駐車場ＰＡ内が車室画像２００を透過して表示される。さらに、ウィンカが左方向へ作動しているため、画像透過部３２ｃにより左斜め前方の左側ピラー２１９の透過率が１００％に増加されている。これにより、ユーザは、駐車車両ＶＥの位置を正確に目測し、駐車車両ＶＥとの接触を回避しつつ円滑に駐車操作を行うことができる。

このように、ウィンカが作動している方向は車両２がこれから進行する方向であるため、かかる方向の斜め前方となる車室画像２００の透過率を増加させることが好ましい。また、かかる箇所に対し、ユーザの注意をより多く引き付けることができる。

図１０を再度参照する。制御部３３は、ウィンカが作動していないと判断すると（ステップＳ５７でＮｏ）、車両速度が高速、中速、又は、低速のいずれかであるか判断する（ステップＳ５９）。かかる判断は、車速センサ３５ｄからの速度データに基づき行われる。なお、高速は８０ｋｍ／以上、中速は８０ｋｍ／ｈ未満から３０ｋｍ／ｈ以上、低速は３０ｋｍ／ｈ未満とすればよい。低速には０ｋｍ／ｈ、すなわち停車状態を含む。

車両速度が高速であると判断されると（ステップＳ５９で「高速」）、画像透過部３２ｃが車室画像２００上位部の透過率を増加させる（ステップＳ６０）。また、視点変換部３３ａがシフトポジションに基づき、仮想視点ＶＰを車両前方又は後方へ向ける。シフトポジションが「Ｄｒｉｖｅ」の場合は仮想視点ＶＰを車両前方へ向け、「Ｒｅｖｅｒｓｅ」の場合は仮想視点ＶＰを車両後方へ向ける。視点変換部３３ａによる仮想視点ＶＰの設定は、後述のステップＳ６１及びステップＳ６２でも同様である。

なお、画像透過部３２ｃが車室画像２００上位部の透過率を増加させるのは、車両を高速度で運転中は、一般的にユーザの視野は車両近傍よりも遠方へ向くためである。したがって、遠方に該当する周辺画像ＡＰとユーザの視線とに重なる車室画像２００上位部の透過率を増加させることで、高速運転中のユーザの見るべき箇所を提示することができる。なお、車室画像２００上位部とは、車両の高さの半分以上程度であればよい。また、高速運転中におけるユーザの視野と重なる車室画像２００であればよい。

また、車両速度が中速であると判断されると（ステップＳ５９で「中速」）、画像透過部３２ｃが車室画像２００中位部の透過率を増加させる（ステップＳ６１）。また、視点変換部３３ａが仮想視点ＶＰを車両前方へ向ける。車両を中速度で運転中は、一般的にユーザの視野は遠方よりもやや下方向へ向くからである。したがって、遠方よりもやや下方向に該当する周辺画像ＡＰとユーザの視線とに重なる車室画像２００中位部の透過率を増加させることで、中速運転中のユーザの見るべき箇所を提示することができる。なお、車室画像２００中位部とは、車両の高さを三分した場合の中段の部位であればよい。また、中速運転中におけるユーザの視野と重なる車室画像２００であればよい。

また、車両速度が低速であると判断されると（ステップＳ５９で「低速」）、画像透過部３２ｃが車室画像２００下位部の透過率を増加させる（ステップＳ６２）。また、視点変換部３３ａが仮想視点ＶＰを車両前方へ向ける。車両を低速度で運転中は、障害物と接近して走行する場合があり、一般的にユーザの視野は車両近傍へ向く機会が増加する。したがって、車両近傍に該当する周辺画像ＡＰとユーザの視線とに重なる車室画像２００下位部の透過率を増加させることで、低速運転中のユーザの見るべき箇所を提示することができる。なお、車室画像２００下位部とは、車両の高さの半分以下程度であればよい。また、低速運転中におけるユーザの視野と重なる車室画像２００であればよい。

次に、制御部３３が、周辺状況による透過率の設定がオンとされているか否か判断する（ステップＳ６３）。なお、周辺状況とは、車両周辺に存在する障害物の有無等、車両に何らか影響を及ぼす恐れのある車両周辺の状況である。

周辺状況による透過率の設定がオンとされていると判断すると（ステップＳ６３でＹｅｓ）、制御部３３は、車両２周辺に障害物か存在するか否か判断する（ステップＳ６４）。かかる判断は、周辺監視センサ３５ｅから送信される物体データに基づき行われる。

障害物か存在すると判断すると（ステップＳ６４でＹｅｓ）、画像透過部３２ｃが、障害物か存在する方向の車室画像２００の透過率を増加させる（ステップＳ６５）。すなわち、画像透過部３２ｃは、車両２周辺に存在する物体の位置に基づいて、車室画像２００の透過率を決定する。そして、視点変換部３３ａが、障害物か存在する方向へ仮想視点の向きを設定する。ただし、障害物か存在する方向を含む方向であればよい。なお、増加させる透過率は、ステップＳ５６における場合と同様である。

図１５は、駐車場ＰＡにおいて、車両２前方に障害物ＯＢが存在する場面を示す。車両２に搭載された周辺監視センサ３５ｅにより障害物ＯＢの存在が認識され、視点変換部３３ａにより、車両２前方へ仮想視点ＶＰの向きが設定されている。

図１６は、図１５で示す場面において、表示装置４に表示される合成画像ＣＰを示す。表示される合成画像ＣＰは、駐車場ＰＡを示す周辺画像ＡＰに車室画像２００が重畳される。また、車室画像２００は透過率が５０％で表示され、駐車場ＰＡ内が車室画像２００を透過して表示される。さらに、車両２前方に障害物ＯＢの存在が認識されているため、画像透過部３２ｃにより右側ダッシュボード２１５、ステアリング２１２、及び、右側ヘッドライト２１４の透過率が１００％に増加されている。これにより、ユーザは、障害物ＯＢの位置を正確に目測し、障害物ＯＢとの接触を回避しつつ円滑に駐車操作を行うことができる。また、車室画像２００の透過率を増加させた障害物ＯＢの箇所に対し、ユーザの注意をより多く引き付けることができる。

車室画像２００の透過率を増加させる処理が実行されると、処理は図９で示した処理手順に戻りステップＳ１７以降の処理を実行する。また、周辺状況による透過率の設定がオンとされていると判断した場合（ステップＳ６３でＮｏ）、及び、車両２周辺に障害物か存在しないと判断した場合（ステップＳ６４でＮｏ）も同様に、処理は図９で示した処理手順に戻る。

このように、車室画像２００の透過処理では、透過モデル３４ｂ又はユーザによる設定データ３４ｃにより画像を透過させた後、車両状態や周辺状況に応じて対応する部品の透過率を増加させる。これのため、ユーザは車両２と周辺領域との位置関係を直感的に認識することができる。

次に、ステップＳ１９における透過率の設定処理について、図１７を参照して説明する。図１７は、透過率の設定処理の手順であり、ステップＳ１９の詳細を示す。ステップＳ１９が実行されると、まず画像出力部３３ｃが、透過率の設定画面を表示装置４に表示させる（ステップＳ７１）。

次に、制御部３３は、ユーザによるタッチパネル４ａへの操作を受け付ける（ステップＳ７２）。

制御部３３は、設定操作が終了すべきか否か判断する（ステップＳ７３）。かかる判断は、ユーザによりタッチパネル４ａの所定の終了ボタンにタッチがあったか否かにより行われる。

設定操作を終了すべきと判断すると（ステップＳ７３でＹｅｓ）、制御部３３は、入力された設定値を設定データ３４ｃとして記憶部３４に記憶する（ステップＳ７４）。なお、画像透過部３２ｃは、ユーザの操作に基づいて設定される設定データ３４ｃに基づき、車室画像２００の複数の部分の透過率を個別に決定する（図１０のステップＳ５３）。これにより、ユーザの見やすい透過率で車室画像２００の部分を透過することができる。

設定値が記憶部３４に記憶されると、処理は図９で示した処理手順に戻る。

一方、設定操作を終了すべきでないと判断すると（ステップＳ７３でＮｏ）、制御部３３は、再度ステップＳ７２を実行し、ユーザによるタッチパネル４ａへの操作を受け付ける。以降、制御部３３は、設定操作の終了ボタンがタッチされるまで、繰り返し操作の受け付を実行する。

次に、図１７のステップＳ７１で表示される設定画面について、図１８から図２０を参照して説明する。設定画面は、表示モードの設定画面と車室画像２００の部品毎の透過率の設定画面とが用意される。

図１８は、表示モードの設定画面Ｓ１の例を示す。表示モードの設定画面Ｓ１では、透過モデル３４ｂやユーザによる任意に設定した値の使用の要否の設定が可能である。なお、透過モデル３４ｂと任意設定値のうち、一方が設定されると他方は設定が解除される。同時に２種類の透過率で透過できないからである。その他の設定としては、車両状態による透過率の設定、周辺状況による透過率の設定、車両外観のフレーム化、テールランプの網目表示、テールランプの自動消去、車両上部の消去等である。表示モードの設定画面Ｓ１では、これらの項目について設定可能である。

図１９は、部品毎の透過率の設定画面Ｓ２の例を示す。透過率の設定画面Ｓ２では、表示モードの設定画面Ｓ１において、「任意設定値の使用」がＯＮに設定された場合に透過される、部品毎の透過率を設定可能である。

透過率の設定画面Ｓ２は、これら部品を一覧で表示し、ユーザは部品毎に任意の透過率を入力する。透過率が設定される部品としては、左ドアパネル、右ドアパネル、バックドア、テールランプ、車両上部等である。

また、表示装置４の表示領域の関係上、全部品を１画面に表示できない場合には、新たなページに切替えるボタンＮＢを用意し、新たなページに他の部品を表示すればよい。例えば、ステアリング、ダッシュボード、タイヤ、タイヤハウス、ヘッドライト、ルームミラー等の部品である。透過率の設定画面Ｓ２では、これらの部品について透過率を０％から１００％の範囲で設定可能である。

また、透過率の設定画面Ｓ２では部品を一覧で表示したが、各部品を車室画像２００を用いて表示し、ユーザは車室画像２００の各部品をタッチすることで、透過率を設定すべき部品を指定してもよい。図２０は、部品の画像表示による透過率の設定画面Ｓ３の例を示す。すなわち、車室画像２００の複数の部分のうち透過率の設定が可能な部分を表示装置４に出力して表示した例である。

同図上段に示す部品の画像表示による透過率の設定画面Ｓ３では、車室画像２００が表示され、各部品に枠線が重畳される。ユーザは透過率を設定したい部品の枠線内をタッチし、所望の部品を指定できる。これにより、部品名を一覧表示した場合に比較して容易に透過率を決定する部分を選択できる。

そして、画像透過部３２ｃが、表示装置４に表示された透過率の設定が可能な部分に対するユーザの操作に基づき、透過率を個別に決定する部分を選択し、該当部分の透過率を変更する。周辺画像ＡＰに透過率が変更された車室画像２００を重畳して表示することで、ユーザは透過率が変更された合成画面を直ちに参照できる。このため、ユーザの個別の感覚に合致した透過率の設定を行うことができる。例えば、図２０下段に示すように、ユーザがステアリング２１２を指定し、透過率を増加させると、透過率が変更されたステアリング２１２と他の部品とを直ちに参照することができる。

なお、図１９及び図２０に示すように、タッチパネル４ａに切替ボタンＳＢを用意することで、部品の一覧表示による透過率の設定画面Ｓ２と、部品の画像表示による透過率の設定画面Ｓ３とをユーザにより切替え可能とすることが好ましい。どちらの設定画面により操作を行うべきかは、ユーザや使用状況により異なるからである。

次に、表示モードの設定画面Ｓ１において設定される各部品の表示の変更例について、図２１から図２４を参照して説明する。表示モードの設定画面Ｓ１において設定される項目は、車両外観のフレーム化、テールランプの網目表示、テールランプの自動消去、車両上部の消去である。

図２１は、「車両外観のフレーム化」を説明する図である。図２１上段に示す図は、周辺画像ＡＰに車室画像２００が重畳された合成画像ＣＰである。また、図２１下段に示す図は、合成画像ＣＰに対し車両外観のフレーム化が行われた図である。

車両外観のフレーム化が行われると、車室画像２００の透過率が１００％に設定され、車両２外観の外延部に該当するフレーム部分ｆのみが線分で表示される。したがって、車室画像２００のうち車両の形状を示す外縁部は透過されないため、車両２外観の線分以外の領域では、周辺画像ＡＰが参照可能な状態となる。

なお、車両外観とは、車両を外部から見た場合に最も外側に位置し、車体の外縁となる部分であり、いわゆる外枠である。画像透過部３２ｃは、この外枠を線分で表示し、車両外観のフレーム化を行う。このような表示とすることで、ユーザはフレームｆの表示により車体の位置を把握しつつ、広い範囲の周辺画像ＡＰを認識することができる。したがって、ユーザはテールランプやタイヤ等の個々の部品を参照することがなく、これら部品にユーザの注意が分散することがない。ユーザは車両２周囲に存在する障害物等に多くの注意を向けることができる。なお、車室画像２００の透過率を１００％としたが、９０％等の高い透過率であればよい。ユーザが広い範囲の周辺画像ＡＰを明確に認識できる透過率であればよい。

図２２は、「テールランプの網目表示」を説明する図である。図２２上段に示す図は、周辺画像ＡＰにテールランプ２０７を含む車室画像２００が重畳された合成画像ＣＰである。また、図２１下段に示す図は、車室画像２００のうちテールランプ２０７を網目状に透過したテールランプ２０７ｎを示す合成画像ＣＰｎである。すなわち、画像透過部３２ｃが、車室画像２００の複数の部分のいずれかを網目状に透過させる。

テールランプ２０７が網目状に表示されると、ユーザは網目を通して周辺画像ＡＰを参照できる。合成画像ＣＰにおいてテールランプ２０７は通常、赤色で表示される。このため、テールランプ２０７の透過率を低下させても、ユーザは赤色を通して周辺画像ＡＰを参照する。この場合、テールランプ２０７の位置に存在する物体の色彩をテールランプ２０７の赤色と混合して判別しなければならず、物体の色彩の判別が困難となる。特に、周辺画像ＡＰのうちテールランプ２０７に相当する位置に他車両の灯火類や信号機が存在すると、その点灯状態がテールランプ２０７の赤色と混合され不明となり、周囲状況の判別に支障が生じる恐れがある。したがって、テールランプ２０７を網目状に表示することで、ユーザは周辺画像ＡＰの色彩を明確に把握することができ、車両外の状況を正確に判別することができる。

なお、テールランプを網目状としたが、テールランプ以外の部品でもよい。また、網目状とする部品は、他の部品の色彩と比較した場合、彩度が高い部品が好ましい。このような部品が、周辺画像ＡＰの色彩を判別し難くするからである。

図２３は、「テールランプの自動消去」を説明する図である。図２３上段に示す図は、周辺画像ＡＰに左右のテールランプ２０７及び２０２を含む車室画像２００が重畳された合成画像ＣＰである。また、図２３中段に示す図は、両テールランプ２０７及び２０２の透過率が増加された合成画像ＣＰｏ１である。また、図２３下段に示す図は、両テールランプ２０７及び２０２の透過率が１００％に増加された合成画像ＣＰｏ２である。

表示モードの設定において、テールランプの自動消去が設定されると、表示装置４に合成画像ＣＰが表示された後、左右のテールランプ２０７及び２０２の透過率が徐々に増加され、テールランプが薄く表示される（テールランプ２０７ｏ及び２０２ｏ）。さらに透過率が増加され、透過率が１００％に至るとテールランプの表示は行われなくなる（消去される）。

テールランプの表示を行わないことで、ユーザは周辺画像ＡＰをより明確に参照することができる。すなわち、車両後方を表示すると、テールランプは表示装置４の中心付近に表示される。このため、テールランプの透過率を高めた場合であっても、ユーザが参照を希望する表示装置４の中心付近の周辺画像ＡＰとテールランプとが重複するため、障害物等を認識しがたくする恐れがある。したがって、テールランプの表示を徐々に消去することで、ユーザは周辺画像ＡＰを明確に認識することができる。また、テールランプの表示を徐々に消去することで、テールランプの表示が消去された後であっても、ユーザはテールランプが本来存在する位置を把握できるため、車両２周辺の障害物等の把握が容易となる。

なお、テールランプの表示を徐々に消去するとしたが、一端消去したのち徐々に透過率を低下させ表示を回復させてもよい。テールランプの位置は車両の高さを測る目安となるため、再度表示させることでユーザは車両２と周辺状況の位置関係の把握がより容易となる。この際、テールランプの消去と再表示の周期は長時間に設定することが好ましい。例えば、１０秒間隔である。この周期を短周期、例えば２秒間隔以下とすると、表示装置４の中心付近に表示されるテールランプが目立って表示され、却ってユーザは周辺画像ＡＰを参照し難くなるからである。

図２４は、「車両上部の消去」を説明する図である。図２４上段に示す図は、周辺画像ＡＰに車室画像２００が重畳された合成画像ＣＰである。また、図２４下段に示す図は、車室画像２００の複数の部分のうち車両２の高さｈより上部に該当する部分の画像を全て透過、すなわち透過率を１００％とした合成画像ＣＰｈである。

表示モードの設定において車両上部の消去がオンに設定されると、画像透過部３２ｃにより、高さｈより上部の車室画像２００の透過率が常時１００％とされる。これにより、ユーザは、車両下部の画像により車両位置を把握しつつ、車両２周辺をより広く認識することができる。

なお、高さｈは、例えば、車両２を運転し得る人間が直立した状態における腰の高さである。ユーザが車両２周辺を見た場合、腰の高さより上部の車室画像２００を消去することで、腰の高さ以下の画像により車両位置を把握しつつ、腰の高さより上部に見える車両２周辺を広く認識することができるからである。

以上のように、本実施の形態における画像処理装置は、車室画像２００の複数の部分の透過率を個別に決定し、かかる透過率で複数の部分を各々透過させて表示させる。これにより、ユーザは車両２と周辺領域との位置関係を直感的に認識することができる。

また、車室画像２００の所定の部分の透過率を他の部分より増加して表示することで、ユーザの注意を透過率を増加させた部分に引き付けることができ、ユーザはより安全に運転操作を行うことができる。

また、車室画像２００を透過して周辺画像ＡＰを参照するので、周辺画像ＡＰのみを表示させた場合に比較し、ユーザはどの方向が表示装置４に表示されているのか、直ちに識別することができる。

＜２．変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下、変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜組み合わせ可能である。

上記実施の形態では、運転席視点の合成画像ＣＰを表示装置４の全体に表示して説明した。しかし、運転席視点の合成画像ＣＰと車両２を上方から見下ろした俯瞰画像とを並列して表示装置４に表示してもよい。

図２５は、運転席視点の合成画像ＣＰと俯瞰画像ＯＰとの両画像を表示装置４に並列して表示した例を示す。俯瞰画像ＯＰには、車体画像１００が俯瞰画像ＯＰの略中心に表示され、ユーザは車両２の周辺を上方から広く確認することができる。また、運転席視点の合成画像ＣＰには、前述の通り車室画像２００が周辺画像ＡＰに重畳して表示される。車室画像２００のうち左側ドアパネル等の一部の部品の透過率が他の部品より増加されている。このため、ユーザは自車両付近に駐車する他車両との位置関係を、運転席視点の合成画像ＣＰ及び俯瞰視点の俯瞰画像ＯＰの両画像により明確に把握でき、車両を安全に運転操作することができる。

また、上記実施の形態では、ユーザが設定した透過率で画像表示した際、透過率を車両状態や周辺状況に応じて所定の値へ増加させるとした。しかし、ユーザが設定した透過率を基として、新たな透過率を設定してもよい。例えば、新たな透過率として、ユーザにより設定された透過率を所定値だけ倍した透過率である。

また、上記実施の形態では、車室の画像２００を透過させたが、車体画像１００を透過させてもよい。この場合、仮想視点は、車外に設定すればよい。

また、上記実施の形態では、仮想視点は、仮想の３次元空間における任意の位置及び方向とした。単一のカメラを採用した場合には、カメラの位置及びカメラの向く方向を仮想視点の位置及び方向とすればよい。

また、上記実施の形態では、運転席視点において車両画像を透過させた画像を表示する例を示した。しかし、俯瞰視点と運転席視点の画像を表示し、運転席視点の画像について透過画像と不透過画像とを切替えてもよい。俯瞰視点と運転席視点の透過画像を表示し、ユーザが切り替えボタンを押すと、透過画面と不透過画面とを切替えられるようにすればよい。すなわち、仮想視点の位置として運転席視点（図７におけるＶＰａ又はＶＰｂ）が選択されていた場合には、新たな仮想視点の位置として俯瞰視点（図７におけるＶＰｃ）が選択される。

また、俯瞰視点が選択されていた場合には、その反対に新たな仮想視点の位置として運転席視点が選択され、ユーザによる指示に応じて順次視点が変更される。なお、俯瞰画像と運転席視点の画像とを同時表示した場合、ユーザによる指示に応じ、運転席視点、俯瞰視点、及び、同時表示の画像が順次表示されるようにしてもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によりソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 画像処理システム
２ 車両
３ 画像処理装置
４ 表示装置
５ カメラ

Claims (13)

1. 車両で用いられ、画像を処理する画像処理装置であって、
   前記車両に設置されたカメラで取得した画像を用い、前記車両内の仮想視点からみた前記車両の周辺領域を示す周辺画像を生成する生成手段と、
   前記仮想視点からみた前記車両を示す、複数の部分に分割される車両画像を取得する取得手段と、
   前記車両画像の前記複数の部分の透過率を個別に決定し、該透過率で該複数の部分をそれぞれ透過させる透過手段と、
   前記周辺画像と、前記透過率で透過された前記車両画像とを合成して合成画像を生成する合成手段と、
   前記合成画像を表示装置に出力して表示させる出力手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記複数の部分は、前記仮想視点から前記周辺領域をみた場合に、重なって位置する部分を含むことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記複数の部分は、テールランプ、ヘッドライト、タイヤ、及び、タイヤハウスのいずれかを含むことを特徴とする画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置において、
   前記仮想視点は、前記車両内から前記車両後方をみた視点であり、
   前記複数の部分は、前記車両の形状を示す外縁部、テールランプ、及び、タイヤをそれぞれ示す車両画像を含むことを特徴とする画像処理装置。
5. 請求項１ないし４のいずれかに記載の画像処理装置において、
   前記透過手段は、前記車両画像のうち前記車両の形状を示す外縁部は透過させないことを特徴とする画像処理装置。
6. 請求項１ないし５のいずれかに記載の画像処理装置において、
   前記透過手段は、前記複数の部分のうち車両の所定の高さより上部に該当する部分の画像を全て透過させることを特徴とする画像処理装置。
7. 請求項１ないし６のいずれかに記載の画像処理装置において、
   前記透過手段は、前記複数の部分を網目状に透過させることを特徴とする画像処理装置。
8. 請求項１ないし７のいずれかに記載の画像処理装置において、
   前記車両の状態を取得する取得手段、
   をさらに備え、
   前記透過手段は、前記車両の状態に基づいて前記透過率を決定することを特徴とする画像処理装置。
9. 請求項１ないし８のいずれかに記載の画像処理装置において、
   前記車両の周辺に存在する物体の位置を検出する障害物検出手段、
   をさらに備え、
   前記透過手段は、前記透過率を前記物体の位置に基づいて決定することを特徴とする画像処理装置。
10. 請求項１ないし９のいずれかに記載の画像処理装置において、
    前記透過手段は、ユーザの操作に基いて設定される設定情報に基いて、前記複数の部分の透過率を個別に決定することを特徴とする画像処理装置。
11. 請求項１ないし１０のいずれかに記載の画像処理装置において、
    前記出力手段は、前記複数の部分のうち透過率の設定が可能な部分を前記表示装置に出力して表示し、
    前記透過手段は、前記表示装置に表示された前記透過率の設定が可能な部分に対するユーザの操作に基いて、前記透過率を個別に決定する部分を選択することを特徴とする画像処理装置。
12. 車両で用いられる画像処理方法であって、
    前記車両に設置されたカメラで取得した画像を用いて、前記車両内の仮想視点からみた前記車両の周辺領域を示す周辺画像を生成する工程と、
    前記仮想視点からみた前記車両を示す車両画像を取得する工程と、
    前記車両画像を複数の部分に分割し、該複数の部分の透過率を決定し、該透過率で該複数の部分を透過させる工程と、
    前記周辺画像と前記複数の部分が透過された車両画像とを合成して合成画像を生成する工程と、
    前記合成画像を表示装置に出力して表示させる工程と、
    を備えることを特徴とする画像処理方法。
13. 車両で用いられる画像処理システムであって、
    請求項１ないし１１のいずれかに記載の画像処理装置と、
    前記画像処理装置から出力された前記合成画像を表示する表示装置と、
    を備えることを特徴とする画像処理システム。

Images