JP7291900B2

JP7291900B2 - 視界支援画像生成装置および画像変換プログラム

Info

Publication number: JP7291900B2
Application number: JP2019069444A
Authority: JP
Inventors: 将由道口
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2023-06-16
Anticipated expiration: 2039-03-29
Also published as: JP2020167649A

Description

本発明は、車両の乗員に対して表示する視界支援画像を生成する装置、および画像変換プログラムに関する。

車両のドアミラーにつき、横方向（車両のドライバーから見た左右方向の、自車両から離れる方向）の死角を減らす為に、光学ミラーであるアスフェリカルミラーを用いるものがある。図１は、既存技術である光学アスフェリカルミラーの模式図であり、ドアミラーＭが通常のミラー部Ｍ１とアスフェリカル部Ｍ２を備える。アスフェリカル部Ｍ２は、曲率を変化させ、前記横方向についてより広範囲の像が映るようにしている。

ドアミラーＭに撮像用のカメラをさらに備えたＣＭＳ（カメラモニタリングシステム）においても、上記の光学ミラーであるアスフェリカルミラーを模した原理により、前記横方向に画角を広げている。すなわち、カメラが撮像した画像における、上記ドアミラーＭのアスフェリカル部Ｍ２に相当する領域に、前記横方向に圧縮をかけ、当該圧縮後の画像を表示器に表示している。

特許文献１には、車両の後側方の撮像画像を、横方向に変化する倍率で拡大又は圧縮してなる画像を表示器に表示させる場合に、自車両の前後方向に延在するはずの白線等の走行領域区分線が表示器に表示される画像中で曲がって表示されるのを防止するために、設定された横方向拡縮倍率で撮像画像の各部を横方向にスケール修正する横スケール修正処理と、横スケールが修正された画像中で曲がって表示される走行領域区分線の画像が直線状に延在するように設定された縦方向拡縮倍率でさらに部分的に縦方向にスケール修正する縦スケール修正処理を実行することが開示されている。

特開２０１３－８５１４２号公報

ところで、車両の乗員、特にドライバー（以下、ドライバー等と表記する）の視点で考えると、当該ドライバー等は、車載モニタ等に表示された表示画像を見ることになる。この表示画像の元となる画像は、ドアミラー等に備えられたカメラによって撮像されたものである。この表示画像は違和感の少ない状態で表示されるのが好ましい。

また、ドアミラーは車両の外（以下、外界と表記する）の状況を把握するためのものであるから、外界の適切な状況把握ができる表示画像であることも望まれる。

本開示は上記の観点から、違和感が少なく、また、外界の適切な状況把握ができる表示画像を提供することを目的とする。

車両の視界支援画像を生成する視界支援画像生成装置が、車両からの画像を撮像するカメラと、処理部を備え、前記カメラが撮像した撮像画像を、前記処理部が画像変換することで、前記視界支援画像を生成し、前記画像変換は、前記撮像画像内に含まれる深消失点を中心として、前記撮像画像の横方向における圧縮率が、前記撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮するものである。前記構成により、生成した視界支援画像が、違和感が少なく、かつ、外界の適切な状況把握ができるものになる。

違和感が少なく、外界の適切な状況把握ができる表示画像を提供することができる。

既存技術である光学アスフェリカルミラーの模式図。本開示の視界支援画像生成装置１による画像生成の原理を示す模式図であり、（ａ）レンズモデルの一例を示す図、（ｂ）撮像画像（入力画像）を示す図、（ｃ）表示画像（出力画像）を示す図。本開示の視界支援画像生成装置１の実施例を示す構成図。処理部１１が行う画像処理の一例を示すフロー図。真円レンズモデルの説明図。入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との比較図。入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第２の比較図。入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第３の比較図。従来技術である視界支援画像生成装置を用いて生成した視界支援画像（出力画像）Ｉ_ｏｕｔを示す図。本開示の視界支援画像生成装置１Ｂの実施例を示す構成図。本開示の視界支援画像生成装置１Ｂが備えるカメラ１２によって撮像されるセンサ画像と、表示装置１３に表示される視界支援画像ＭＰとを示す図。検出車両表示部Ｄの、視界支援画像ＭＰ内での追随を示す図であり、（ａ）初期状態、（ｂ）追随状態、（ｃ）追随終了状態をそれぞれ示す。入力画像Ｉ_ｉｎから視界支援画像を生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１Ｂによる場合との比較図。割付の１態様を示す図であり、（ａ）センサ画像、（ｂ）視界支援画像ＭＰを示す。極座標に基づいた割り当てを示す図。図１０に示したシステム構成に基づく処理フロー図。本開示の視界支援画像生成装置１Ｃの実施例を示す構成図。車載カメラの様々な設置例を示す図。図１７に示したシステム構成に基づく処理フロー図であり、（ａ）距離感を仮想的に表現する処理、（ｂ）表示装置１３の輝度調光処理を示す。表示装置１３に表示される視界支援画像の比較図であり、（ａ）表示装置上の注視ポイントを示す図、（ｂ）本開示の視界支援画像生成装置１Ｃを用いない場合の視界支援画像、（ｃ）本開示の視界支援画像生成装置１Ｃを用いた場合の視界支援画像ＭＰ。

以下、車両は右ハンドルの自動車であり、ドライバーの死角になりやすい右側のドアミラーに設けたカメラによって撮像した撮像画像を用いて、車内に設けた表示装置に表示画像を表示する、という前提で、適宜図面を参照しながら詳細に説明する。ただし、特許請求の範囲に記載の主題をこの前提のみに限定することは意図されていない。例えば、車両以外の移動体や、車両が有するハンドルの位置（左ハンドル、右ハンドル、ハンドルがそもそも存在しない自動運転）や、カメラを取り付ける位置（左ドアミラー、右ドアミラー、その他）等の、種々の変形があり得る。

添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図２は、本開示の視界支援画像生成装置１（図３に基づき後述）による画像生成の原理を示す模式図であり、（ａ）レンズモデルの一例を示す図、（ｂ）撮像画像（入力画像）を示す図、（ｃ）表示画像（出力画像）を示す図である。

本開示の視界支援画像生成装置１においては、撮像画像内に含まれる深消失点を中心として、撮像画像の横方向における圧縮率が、撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮できるような幾何学形状レンズモデルを用いる。幾何学形状レンズモデルとして、本実施形態においては、図２（ａ）に示した縦長楕円レンズモデルＥを用いる。

この縦長楕円レンズモデルＥにおける長軸（縦軸）の長さをｂ、短軸（横軸）の長さをｃとすると、ｂ＞ｃである。そして、後述するが、この縦長楕円レンズモデルＥを用いると、画像の圧縮率は横方向から縦方向に線形に変化することになる。これを言い換えると、横方向を偏角０度、縦方向を偏角９０度とした場合、偏角が０度から９０度へと増加するにつれて、圧縮率は線形に減少する。また、これも後述するが、楕円の中心からの距離が遠いほどに、圧縮率が増加するものとなる。

図２（ｂ）は、入力画像Ｉ_ｉｎを示す図であり、本実施形態においては、自車両１００の右ドアミラーに取り付けられたカメラが撮像した撮像画像に相当する。

入力画像Ｉ_ｉｎの中には、その左側に、自車両１００の車体が映り込んでいる。また、説明の為の一例にすぎないが、入力画像Ｉ_ｉｎの中には、物体ＯＢＪ１～ＯＢＪ４が映りこんでいる。この例においては、物体ＯＢＪ１～ＯＢＪ４はそれぞれ、自車両１００の隣のレーンを走行中の、自車両１００とは異なる車両である。

図２（ｃ）は、出力画像Ｉ_ｏｕｔを示す図であり、本実施形態においては、自車両１００の内部に取り付けられたモニタによって、右ハンドルを握るドライバーへ向けて表示される表示画像に相当する。

図２（ｃ）から分かるように、出力画像Ｉ_ｏｕｔにも、自車両１００の車体と、物体ＯＢＪ１～ＯＢＪ４とが映り込んでいる。ここで、入力画像Ｉ_ｉｎ（図２（ｂ））と出力画像Ｉ_ｏｕｔ（図２（ｃ））とを比較すると、出力画像Ｉ_ｏｕｔに映りこんでいる物体ＯＢＪ１～ＯＢＪ４は、横方向の圧縮率の方が、縦方向の圧縮率よりも高くなっている。すなわち、横方向に画角が広がる。なお、このような出力画像Ｉ_ｏｕｔが、違和感が少なく、また、外界の適切な状況把握ができる表示画像である事については、後述する。

図３は、本開示の視界支援画像生成装置１の実施例を示す構成図である。本開示の視界支援画像生成装置１は、処理部１１とカメラ１２とを備える。なお、これら以外の構成要素を備えていてもよい。図示しているように、視界支援画像生成装置１が不揮発性メモリ１４等を更に備えるようにすることもできる。

処理部１１は、視界支援画像生成装置１における情報処理を行う構成要素である。処理部１１は画像処理を行い、装置内の他の構成要素や装置外部から入力された指令や信号の処理を行い、逆に、装置内の他の構成要素や装置外部へと指令や信号を送信してよい。

カメラ１２は、車両からの画像を撮像して上述の入力画像Ｉ_ｉｎを取得するための手段である。本実施形態においては、カメラ１２は車両の後側方を撮像するための、ドアミラーに取り付けられたカメラであるが、これには限定されない。例えば、車両の前方や後方を撮像するカメラ等であってもよい。

表示装置１３は、視界支援画像生成装置１によって生成された表示画像を表示することができる装置である。典型的には、表示装置１３は自車両１００内に設けられたモニタ等であるが、これには限定されない。ドライバー等は、この表示装置１３に表示された表示画像を見ることとなる。図３においては、表示装置１３は視界支援画像生成装置１とは別体となっている。しかし、表示装置１３を視界支援画像生成装置１の中に含めてもよい。

不揮発性メモリ１４は、処理部１１が行う画像処理に用いるプログラムや、各種パラメータ情報、真円レンズモデル（後述）に基づく変換テーブル等を記憶していてよい。

なお、視界支援画像生成装置１に含まれる構成要素は、さらに一体化されていてもよく、逆に複数のサブコンポーネントへとさらに分割されていてもよい。

図４は、処理部１１が行う画像処理の一例を示すフロー図である。

図４は、入力画像Ｉ_ｉｎに基づいて出力画像Ｉ_ｏｕｔ生成する画像変換処理に用いられる、変換テーブルを作成する為の処理の一例を示している。前提条件として、本例においては、図２（ａ）に示した縦長楕円レンズモデルＥを用いる。また、図５に基づき後述するように、本例においては、レンズ歪みの除去も併せて行うこととする。

ステップＳ０１において、処理部１１が、入力画像Ｉ_ｉｎを取り込む。取り込まれた画像は、図示を省略するメモリ等に保持されてよい。

ステップＳ０２では、処理部１１が、処理すべき次の画素が残っているか否かを判断している。次の画素がある場合（図中のｙｅｓ）は、ステップＳ０３へと進む。次の画素が残っていない場合（図中のｎｏ）は、入力画像Ｉ_ｉｎの全てについて処理が終了した状況を示しており、変換テーブル作成処理は終了となる。

ステップＳ０３において、処理部１１が、処理対象となる次の画素を選択する。選択された画素の座標を、便宜的に座標Ｐとする。

ステップＳ０４において、処理部１１が、中央座標Ｏと座標Ｐとの間の距離Ｄｏを算出する。ここで、中央座標Ｏは、入力画像Ｉ_ｉｎ内に含まれる深消失点を意味している。例えば図２（ｂ）を用いて例示すると、自動車が走行している路面には白線Ｗが複数引かれている。これら複数の白線Ｗの延長線上に、それらの延長線が１点に交わる点がある。この交点が、深消失点である。図２（ｂ）においては、画像内部、左上側に深消失点（中央座標О）がある。

ステップＳ０５において、処理部１１が、距離Ｄｏを真円レンズモデルの変換テーブルで変換し、変換後の距離Ｄｏ’を決定する。このステップＳ０５については、図５も併せて参照しつつ、下記でさらに詳述する。

図５に、真円レンズモデルの説明図を示している。図５に示されるレンズ５０は、ピンホールカメラ等で用いられる一般的な真円状のレンズである。なお、図５は、真円レンズを正面ではなく横から見た状態を示している。

光学系の評価面５１上での像位置を、光軸からの距離で表した値を像高と呼ぶが、像高には理想像高５３と実像高５２の２種類がある。理想像高５３は理想的な像高である。しかし、通常の光学系の像高は、レンズ歪み等の影響を受けるため、理想像高５３とはならない。一方、実像高５２は、評価面で実際に結像している位置を指す像高である。なお、前記ステップＳ０４で算出した中央座標Ｏと座標Ｐとの間の距離Ｄｏは、実像高５２に相当する。

そして、各座標における実像高５２と、各座標における理想像高５３とを組み合わせて、１つの変換テーブルとする。図５に示した例において、レンズ５０は真円レンズである。したがって、図５に示してある実像高５２と、真円レンズの理想像高５３とを組み合わせた変換テーブルは、真円レンズモデルの変換テーブルとなる。真円レンズモデルの変換テーブルを用いれば、レンズ歪みの影響を受けた実像高５２を、レンズ歪みの除去された（真円レンズモデルの）理想像高５３へと変換することができる。

上述のような真円レンズモデルの変換テーブルは、例えば不揮発性メモリ１４等に保存されていてよい。そして処理部１１が、上記ステップＳ０５において、この真円レンズモデルの変換テーブルを用いて、実像高５２である距離Ｄｏから、真円レンズモデルの理想像高５３に相当する変換後の距離Ｄｏ’を決定する。

ステップＳ０６において、処理部１１が、真円レンズモデルによる、像高変化割合ａを算出する。なお、ａ＝（Ｄｏ’／Ｄｏ）－１である。

像高変化割合ａは、真円レンズモデルの理想像高５３である距離Ｄｏ’を、実像高５２である距離Ｄｏで除算し、そこから１を引いた値である。例えば、理想像高５３である距離Ｄｏ’＝１２０、実像高５２である距離Ｄｏ＝１００である場合、像高変化割合ａ＝（１２０／１００）－１＝０．２となる。これは、実像高５２に対して（真円レンズモデルの）理想像高５３が２０％変化（この場合は増加）していることを意味する。

ここで、本開示における視界支援画像生成装置１は、既に述べたように、縦長楕円レンズモデルＥ（図２（ａ））を用いる。そのため、ステップＳ０６で計算した像高変化割合ａに、縦長楕円の要素を混入させる必要がある。そこで、後続のステップＳ０７以降において、以下のような処理を行う。

ステップＳ０７において、処理部１１が、座標Ｏから座標Ｐへと延びる直線と、長軸ｂおよび短軸ｃで定義される縦長楕円関数Ｅとの交点Ｐ１の座標を計算する。次のステップＳ０８において、処理部１１が、座標Ｏと座標Ｐ１との間の距離Ｄ１を算出する。

なお、長軸ｂおよび短軸ｃの長さは、適宜決定することができる。本例においては縦長楕円レンズモデルＥを用いているので、長軸ｂが縦方向（Ｙ軸方向）に延び、短軸ｃが横方向（Ｘ軸方向）に延びる。ｃ＜ｂである。

ここで、理解をより容易とするために、具体例を２つ示す。

まず、第１の具体例を示す。座標Ｐが、座標Оを原点とした場合のＸ軸上に存在していたとする。つまり、座標Ｐ＝（ｍ，０）であったとする。ｍは任意の正の実数である。この時、座標Ｏから座標Ｐへと延びる直線と、上記縦長楕円関数Ｅとの交点Ｐ１の座標は（ｃ／２，０）であるので、Ｄ１＝ｃ／２である。

第２の具体例を示す。座標Ｐが、座標Оを原点とした場合のＹ軸上に存在していたとする。つまり、座標Ｐ＝（０，ｎ）であったとする。ｎは任意の正の実数である。この時、座標Ｏから座標Ｐへと延びる直線と、上記縦長楕円関数Ｅとの交点Ｐ１の座標は（０，ｂ／２）であるので、Ｄ１＝ｂ／２である。

ここで、上述の２つの具体例同士を比較すると、ｃ＜ｂであるから、ｃ／２＜ｂ／２となる。すなわち、第１の具体例よりも、第２の具体例の方が、距離Ｄ１の値が大きい。

続くステップＳ０９において、処理部１１が、座標Ｐについての圧縮係数Ａ_ｐ＝（ａ／Ｄ１）＋１を算出する。上述のように、ａは像高変化割合、Ｄ１は座標Ｏから座標Ｐ１までの距離である。ここでＤ１が逆数として用いられているので、上記２つの具体例の間で、値の大小関係は逆転する。すなわち、第２の具体例におけるＡ_ｐ＝（２ａ／ｂ）＋１よりも、第１の具体例におけるＡ_ｐ＝（２ａ／ｃ）＋１の方が、圧縮係数Ａ_ｐの値が大きい。この圧縮係数Ａ_ｐは、圧縮率に相当する。

つまり、横方向にある座標Ｐ＝（ｍ，０）である第１の具体例の方が、縦方向にある座標Ｐ＝（０，ｎ）である第２の具体例よりも、圧縮係数Ａ_ｐの値が大きい。これは、座標Ｏ（深消失点）を中心として、横方向の圧縮率が、縦方向の圧縮率よりも高いことを示している。

続くステップＳ１０において、処理部１１は、座標Ｐについての圧縮係数Ａ_ｐを、縦長楕円レンズモデルの理想像高５３として、縦長楕円レンズモデルＥの変換テーブルに書き入れる。つまり、実像高５２と、縦長楕円レンズモデルＥの理想像高５３とを組み合わせて記録する。ここまでの説明から分かるように、縦長楕円レンズモデルＥの変換テーブルは、上述の真円レンズモデルの変換テーブルを変形したものとなる。

そして、処理はステップＳ０２へと戻る。つまり、上述のステップＳ０１で処理部１１が取り込んだ入力画像Ｉ_ｉｎに含まれる、すべての画素（座標Ｐ）に対して、実像高５２と、縦長楕円レンズモデルＥの理想像高５３との組み合わせを記録して、これを縦長楕円レンズモデルＥの変換テーブルとする。

以上のようにして、真円レンズモデルの変換テーブルを変形して、縦長楕円レンズモデルＥの変換テーブルを作成することができる。

そして、入力画像Ｉ_ｉｎに対して、縦長楕円レンズモデルＥの変換テーブルを適用することにより、出力画像Ｉ_ｏｕｔを生成することができる。より詳しくは、入力画像Ｉ_ｉｎにおける座標Ｏから座標Ｐまでの線分を、Ａ_ｐ倍圧縮する（距離Ｄｏを、距離Ｄｏ／Ａ_ｐへと変える）。この圧縮は、座標Ｏ（深消失点）を中心とした横方向の圧縮率が、縦方向の圧縮率よりも高いものである。

なお、縦長楕円レンズモデルＥの長軸ｂおよび短軸ｃの長さは、適宜変更が可能である。つまり、本開示の視界支援画像生成装置１は、座標Ｏ（深消失点）を中心とした横方向の圧縮率と、縦方向の圧縮率とを、別個独立に調整することができる。

図６は、入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との比較図である。図６（ａ）は入力画像Ｉ_ｉｎである。この入力画像Ｉ_ｉｎに対し従来技術を用いて生成した出力画像Ｉ_ｏｕｔが図６（ｂ）である。同じ入力画像Ｉ_ｉｎに対し、本開示の視界支援画像生成装置１を用いて生成した出力画像Ｉ_ｏｕｔが図６（ｃ）である。

図６（ａ）に示す入力画像Ｉ_ｉｎの中には、その左側に、自車両１００の車体が映り込んでいる。また、説明の為の一例ではあるが、入力画像Ｉ_ｉｎの中には、物体ＯＢＪ１～ＯＢＪ４が映り込んでいる。この例においては、物体ＯＢＪ１～ＯＢＪ４は、自車両の隣のレーンを走行中の、自車両１００とは異なる車両である。

図６（ｂ）に示す、従来技術により生成された出力画像Ｉ_ｏｕｔは、入力画像Ｉ_ｉｎに映り込んだレーン上の白線Ｗを直線化するために、横方向の拡縮を行った後に、縦方向の拡縮をさらに行って生成されている。つまり、横方向と縦方向の、２段階の拡縮を行っている。これは、後述の図７（ｂ）および図８（ｂ）についても同様である。

図６（ｂ）に示した出力画像Ｉ_ｏｕｔをみると、車両であるＯＢＪ１、ＯＢＪ２の形状が、入力画像Ｉ_ｉｎとは大きく異なっている。これらは横方向に大きく潰れ、原形を認識し難いものとなっている。また、横方向の距離感も大きく変動しており、ＯＢＪ１からＯＢＪ２までの車間距離が、極端に短縮化している。これをドライバー等の視点で見た場合、そこに何かしらの物体が存在していること自体は知覚できるものの、その物体がはたして何であるかが判別困難になることがある。また、ＯＢＪ１とＯＢＪ２との間の車間距離は、本来は充分にあけられている（図６（ａ））。しかし、図６（ｂ）では互いに衝突しそうであるように見える。

一方、図６（ｃ）に示す、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔの場合は、立体の形状変化が緩和される。また、横方向の距離感の変化も緩やかである。よって、ドライバー等の視点では、隣のレーンを移動する物体ＯＢＪ１～ＯＢＪ４の形を認識しやすい。また、距離感の急激な変動によって混乱することもない。

図７は、入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第２の比較図である。図７（ａ）は入力画像Ｉ_ｉｎである。この入力画像Ｉ_ｉｎに対し従来技術を用いて生成した出力画像Ｉ_ｏｕｔが図７（ｂ）である。同じ入力画像Ｉ_ｉｎに対し、本開示の視界支援画像生成装置１を用いて生成した出力画像Ｉ_ｏｕｔが図７（ｃ）である。

図７においては、自車両１００の進行方向に対して直交する直線Ｌ１、Ｌ２を、補助線として付加した。直線Ｌ１が、自車両１００の近傍における線、直線Ｌ２が、自車両１００の遠方における線である。

図７（ａ）に示す入力画像Ｉ_ｉｎにおいては、２つの直線Ｌ１とＬ２は平行になっている。

図７（ｂ）に示す、従来技術により生成された出力画像Ｉ_ｏｕｔを見ると、２つの直線Ｌ１とＬ２は、その傾きが大きく異なっている。この傾きの相違は、ドライバー等の視点では、画像の歪みや違和感として認識される。また、画像内に映り込んだ複数台の車両は、２つの直線Ｌ１、Ｌ２と直交する方向に進行している。つまり、出力画像Ｉ_ｏｕｔが動画であった場合、この動画内に映り込んだ車両は、実際には直進しているはずであるが、画像の右側へと進むにつれ、カーブしながら進行しているように映る。これもまた、ドライバー等に違和感を覚えさせる。

一方、図７（ｃ）に示す、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔであれば、２つの直線Ｌ１とＬ２との間の傾きの違いが、従来よりも緩やかになる。よって、ドライバー等にとっての違和感が少ない。また、出力画像Ｉ_ｏｕｔが動画であった場合、当該動画に映り込んでいる車両の進行がより自然に見えるので、やはり違和感が少ない。

図８は、入力画像Ｉ_ｉｎから出力画像Ｉ_ｏｕｔを生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１による場合との第３の比較図である。図８（ａ）は入力画像Ｉ_ｉｎである。この入力画像Ｉ_ｉｎに対し従来技術を用いて生成した出力画像Ｉ_ｏｕｔが図８（ｂ）である。同じ入力画像Ｉ_ｉｎに対し、本開示の視界支援画像生成装置１を用いて生成した出力画像Ｉ_ｏｕｔが図８（ｃ）である。

図８においては、車両であるＯＢＪ２のフロントバンパー付近に説明用の矢印Ｌ３を入れている。この矢印Ｌ３は、画像に映り込む物体が備えている、自車両１００の進行方向に直交する直線を示している。

図８（ｂ）に示す、従来技術により生成された出力画像Ｉ_ｏｕｔを見ると、矢印Ｌ３が湾曲していることが見て取れる。つまりドライバー等の視点では、物体ＯＢＪ２を構成する、直線状に形成されている部材（フロントバンパー等）が、湾曲して見えることになる。これもまた、ドライバー等に違和感を覚えさせる。

一方、図８（ｃ）に示す、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔであれば、上述の湾曲も緩和され、直線状に形成されている部材（フロントバンパー等）が、直線に近い形状としてドライバー等の目に映る。すなわち、ドライバー等にとって違和感が少ない。

以上、例示したように、本開示の視界支援画像生成装置１によって生成された出力画像Ｉ_ｏｕｔは、違和感の少ない画像となる。

これに加えて、本開示の視界支援画像生成装置１によって生成される出力画像Ｉ_ｏｕｔは、撮像画像内に含まれる深消失点を中心として、撮像画像の横方向における圧縮率が、撮像画像の縦方向における圧縮率よりも高くなるように、前記撮像画像を圧縮するものである（図１～図５参照）。よって、画角を横方向に拡大するという、光学アスフェリカルミラーが有する利点も、依然として享受することができる。

すなわち、本開示の視界支援画像生成装置１は、違和感が少なく、また、外界の適切な状況把握ができる出力画像Ｉ_ｏｕｔを生成することができる。

なお、下記にて、補足事項をいくつか説明する。

図４に基づき説明したフロー図は、真円レンズモデルの変換テーブルに基づいて縦長楕円レンズモデルＥの変換テーブルを作成し、縦長楕円レンズモデルＥの変換テーブルを用いて出力画像Ｉ_ｏｕｔを生成する例であった。この縦長楕円レンズモデルＥの変換テーブルを不揮発性メモリ１４等に保存しておけば、入力画像Ｉ_ｉｎが入力される都度、新たに変換テーブルを生成する必要が無くなる。つまり、入力画像Ｉ_ｉｎに対して、既に保存されている縦長楕円レンズモデルＥの変換テーブルを参照して、出力画像Ｉ_ｏｕｔを生成することができるようになる。逆に、入力画像Ｉ_ｉｎが入力される都度、上記のように圧縮係数Ａ_ｐを動的に計算した上で、出力画像Ｉ_ｏｕｔを生成してもよい。

また、上記の実施形態においては、ステップＳ０１～Ｓ１０に係る処理を、処理部１１が行っている。この処理に係るプログラムが不揮発性メモリ１４等に保存され、処理部１１がこのプログラムを読み出して画像処理を行ってよい。一方、上述の処理を、ソフトウェア処理ではなく、ハードウェア処理によって行ってもよい。例えば、専用の回路等によって当該処理を行ってよい。

次に、圧縮率についての補足説明を行う。図４のステップＳ０９につき、具体例を２つ示した。すなわち、圧縮率（圧縮係数Ａ_ｐ）について、横方向（第１の具体例）と縦方向（第２の具体例）との２方向を比較した。しかし、その中間である斜め方向の圧縮率もある。上述のように、縦長楕円レンズモデルＥの変換テーブルは、上述の真円レンズモデルの変換テーブルを変形したものある。真円を縦長楕円に変換しているので、圧縮率（圧縮係数Ａ_ｐ）は横方向から縦方向に、線形に変化することになる（図２（ａ）参照）。これを言い換えると、横方向を偏角０度、縦方向を偏角９０度とした場合、偏角が増加するにつれて、圧縮率（圧縮係数Ａ_ｐ）は線形に減少する。

また、真円レンズモデルとして、中心からの距離が遠いほどに圧縮率が増加するレンズモデルを用いることができる。そのような真円レンズモデルに基づいて作成した縦長楕円レンズモデルＥもまた、中心（深消失点）からの距離が遠いほどに圧縮率が増加するものとなる。

次に、違和感が少なく、また、外界の適切な状況把握ができる表示画像を提供するという本開示の目的から、アスフェリカル部分を可動にする工夫である、視界支援画像生成装置１Ｂについて説明する。

ＣＭＳ（カメラモニタリングシステム）が搭載された車両に搭乗するドライバー等は、車両に設けられた表示装置によって、視界支援画像を見ることになる。しかし、従来技術である視界支援画像生成装置を用いて生成した視界支援画像は、光学ミラーであるドアミラーＭのアスフェリカル部Ｍ２（図１参照）に相当する、視界支援画像の片側端部に行くほど強く圧縮される。すると、当該視界支援画像を見るドライバー等は、違和感を覚えることになる。

図９を用いて例示を行う。図９は、従来技術である視界支援画像生成装置を用いて生成した視界支援画像（出力画像）Ｉ_ｏｕｔを示す図である。図９の下部には黒色の矢印が付加されており、圧縮率を表現している。すなわち、視界支援画像（出力画像）Ｉ_ｏｕｔの右側に行くにつれて、圧縮率が上昇している。

視界支援画像（出力画像）Ｉ_ｏｕｔには、車両である物体ＯＢＪ２が、自車両１００の隣の車線を走行しており、後方から自車両１００に近づき、追い越していく状況が映っている。この時、物体ＯＢＪ２が、前記アスフェリカル部Ｍ２に相当する視界支援画像（出力画像）Ｉ_ｏｕｔの右側へと移動するにつれて、物体ＯＢＪ２の形状は画像圧縮によって大きくつぶれることになる。図９に示された、左右に大きくつぶれた物体ＯＢＪ１と、同じく図９の、物体ＯＢＪ１ほどは左右につぶれていない物体ＯＢＪ２とを対比することで、つぶれの問題を直感的に理解できる。

また、物体ＯＢＪ２の視界支援画像（出力画像）Ｉ_ｏｕｔ上の移動速度は、自車両１００に距離が近づくにつれて、徐々に速く見えるようになる。しかし一方、アスフェリカル部Ｍ２に相当する画像右側においては、画像が圧縮されるため、物体ＯＢＪ２が急速に減速するように見える。すると、自車両１００のドライバー等の目には、車両である物体ＯＢＪ２が徐々に加速しながら自車両に１００近づいた後、突如減速しながら、自車両１００を追い抜いていくかのように映る。このような画像表示は、違和感が大きいものである。

そこで本開示の視界支援画像生成装置１Ｂにおいては、ＣＭＳ（カメラモニタリングシステム）による、光学アスフェリカルミラー状の画像表示において、上述のような違和感が生じることを抑制する。これを実現するために、光学アスフェリカルミラーのアスフェリカル部に相当する表示部分における圧縮の仕方を、車両表示位置に応じて変動させる。

より詳しくは、視界支援画像内の高圧縮部分を、視界支援画像内に表示される検出車両ＤＣ（後述）以外の箇所に設定する。そして、検出車両ＤＣが表示される位置における圧縮強度が急激に変わらないようにする。

上述のような本開示の視界支援画像生成装置１Ｂにより、ドライバー等にとって違和感の無い視界支援画像を提供することができる。さらに、視界支援画像には依然としてアスフェリカル部に相当する箇所があるため、高画角の表示が可能である。以下、このような本開示の視界支援画像生成装置１Ｂについて詳述する。

図１０は、本開示の視界支援画像生成装置１Ｂの実施例を示す構成図である。図１０に示した各装置が、自車両１００に搭載されている。図１０に示すハードウェア構成は、図３に基づき説明した視界支援画像生成装置１と基本的に同様である。図１０に示した実施例が、図３に示した実施例と異なるのは、視界支援画像生成装置１Ｂが、近接車両位置算出装置１５と接続されている点である。

近接車両位置算出装置１５は、例えば、車両のリアバンパー内側等に設置されたミリ波レーダーであってよく、隣接車線を走行する車両を検出し、当該車両の位置を算出することが出来る。ただし、例えばＴＯＦセンサ等の他の測距装置を用いて、隣接車線を走行する車両を検出してもよい。

また、近接車両位置算出装置１５は、例えばカメラ１２であってもよい。すなわち、カメラ１２によって自車両１００から見た外界（特に、隣接車線）を撮像し、この撮像画像から、隣接車線を走行する車両の位置をソフトウェア処理で求めればよい。

上記いずれの場合においても共通するのは、近接車両位置算出装置１５によって、自車両１００の隣接車線を走行する最も近い車両（以下、検出車両ＤＣと表記する）の位置を算出する、ということである。このような車両が、自車両１００との衝突の危険性が最も高い。視界支援画像生成装置１Ｂは、検出車両ＤＣの位置情報を、近接車両位置算出装置１５から取得することで、後述の画像処理を行うことができる。

図１１は、本開示の視界支援画像生成装置１Ｂが備えるカメラ１２によって撮像されるセンサ画像と、表示装置１３に表示される視界支援画像ＭＰとを示す図である。なお、視界支援画像ＭＰは上述の出力画像Ｉ_ｏｕｔに相当する画像であり、表示装置１３に表示される。自車両１００に搭乗するドライバー等が、表示装置１３に表示された視界支援画像ＭＰを見る。自車両１００の外界の様子が視界支援画像ＭＰに含まれているので、視界支援画像ＭＰは、ドライバー等の視界を支援するものである。

図１１（ｂ）に示すように、視界支援画像ＭＰは、検出車両表示部Ｄとアスフェリカル部Ａとを有している。検出車両表示部Ｄは、前記近接車両位置算出装置１５によって位置が取得された検出車両ＤＣが映り込む、画像上の領域である。一方で、アスフェリカル部Ａは、上述の光学アスフェリカルミラーにおけるアスフェリカル部Ｍ２に相当する画像上の領域である。

本来、光学アスフェリカルミラーにおけるアスフェリカル部Ｍ２は、ミラーに映る視野角を広げる為に、当該光学ミラーの他の箇所よりも圧縮度が高くなっている。これと同様に、視界支援画像ＭＰが有するアスフェリカル部Ａは、検出車両表示部Ｄよりも圧縮率が高くなっている。ただし、ＣＭＳ（カメラモニタリングシステム）上では、検出車両表示部Ｄを必ずしも等倍表示にしなくてもよい。検出車両表示部Ｄを一定の圧縮率で圧縮し、アスフェリカル部Ａをさらに大きな圧縮率にすることもできる。いずれにせよ、本開示の視界支援画像生成装置１Ｂにおいては、圧縮する合計画素数と検出車両ＤＣ周辺の圧縮率とを、予め決めておく。

（表示量の規定）
以下、検出車両表示部Ｄの圧縮率を１倍（等倍）とした例を説明する。まず、ドライバー等が表示装置１３で視認できる、視界支援画像ＭＰの最終表示画角を規定する。なお、図１１（ａ）に示すように、センサ画像上の画素数を規定してもよい。

本例では、センサ画像上の画素数に基づいて例示を行こととする。図１１（ａ）に示したセンサ画像上の、横方向の画素数を１３００ピクセルと予め決定する。センサ画像上での、検出車両表示部Ｄの横方向の画素数を５００ピクセルと設定する。センサ画像上での、アスフェリカル部Ａの横方向の画素数を８００ピクセルと規定する。

この時、センサ画像上の、図１１（ａ）に示した横方向５００ピクセル＋８００ピクセルの領域が、一部圧縮されて、視界支援画像ＭＰへと変換されることとなる。視界支援画像ＭＰの横方向の画素数を８００ピクセルとする。

なお、上記の画素数はあくまで例示であり、他の設定値にしてもよい。

図１１（ａ）に示したセンサ画像中の横方向１３００ピクセルおいて、アスフェリカル部Ａを８００ピクセルから３００ピクセルへと圧縮する。一方、検出車両表示部Ｄの５００ピクセルは、この例においては圧縮しない。予め、検出車両表示部Ｄの表示倍率を等倍に決めていたからである。すると、図１１（ｂ）に示したように、アスフェリカル部Ａが横方向に縮んだ状態で、視界支援画像ＭＰが生成される。なお、圧縮前の１３００ピクセル分の画角は、視界支援画像ＭＰにおいても維持されている。

そして、図１１（ｂ）に示したような、表示上の按分比率（検出車両表示部Ｄ：アスフェリカル部Ａ＝５００：３００）を固定する。この、図１１（ｂ）に示した態様を、表示の初期状態とする。次に、この初期状態からの、検出車両表示部Ｄの追随移動について説明する。

図１２は、検出車両表示部Ｄの、視界支援画像ＭＰ内での追随を示す図であり、（ａ）初期状態、（ｂ）追随状態、（ｃ）追随終了状態をそれぞれ示している。

図１２の右側、視界支援画像ＭＰ上に示された破線は、可変閾値である所定の箇所を示している。本例では、検出車両表示部Ｄの横方向（水平方向）の中心に、可変閾値を、図のように仮想的に設置する。なお、可変閾値は検出車両表示部Ｄのさらに右側、あるいは左側へとずれていてもよい。

近接車両位置算出装置１５によって検出した検出車両ＤＣは、道路上で自車両１００を後ろから追い抜く、追い抜き車両である。この検出車両ＤＣは、図１２に示した検出車両表示部Ｄ上を、左側から右側へと移動するように表示される。

この検出車両ＤＣ（の所定の箇所。例えば車両の前面（フロントバンパー等））が前述の可変閾値を超えた後は、視界支援画像ＭＰにおける、検出車両表示部Ｄが右側に移動する。検出車両表示部Ｄの移動は、前記検出車両ＤＣ（の中の所定の箇所）が、検出車両表示部Ｄの前記左右方向における中央に位置するように行われる。すなわち、視界支援画像ＭＰにおける検出車両表示部Ｄの位置が、検出車両ＤＣ（の中の所定の箇所）に追随して、初期状態から右方向へと移動する（図１２中段の追随状態）。

検出車両表示部Ｄの前記追随移動に伴い、アスフェリカル部Ａが、アスフェリカル部Ａ１およびＡ２の２つに分割される。ただし、表示上の按分比率（検出車両表示部Ｄ：アスフェリカル部Ａ＝５００：３００）は、依然として固定されたままである。例えば、検出車両表示部Ｄの右側に存在する、本来のアスフェリカル部Ａであるアスフェリカル部Ａ１は、図１２に示した追随状態においては、横方向に１５０ピクセル分の領域を占める。検出車両表示部Ｄの左側領域を補うように出現した、追加のアスフェリカル部Ａ２は、図１２に示した追随状態においては、横方向に１５０ピクセル分の領域を占める。アスフェリカル部Ａ１とＡ２を併せると、横方向に３００ピクセルとなる。このように、検出車両表示部Ｄの前記追随移動に伴い、検出車両表示部Ｄの左右に配置されたアスフェリカル部Ａ１、Ａ２の画素数（画角）も変化する。アスフェリカル部Ａ１、Ａ２の画素数（画角）の変化幅は、いずれも、０画素（０度）から所定の設計値までである。

以上のような、視界支援画像ＭＰにおける検出車両表示部Ｄの追随移動は、図１２の下段に示した追随終了状態になるまで行われる。追随終了状態においては、視界支援画像ＭＰにおける左側の３００ピクセルがアスフェリカル部Ａ２であり、右側の５００ピクセルが検出車両表示部Ｄである。アスフェリカル部Ａ１の幅は０ピクセルである。

検出車両ＤＣは、自車両１００を追い抜いて、視界支援画像ＭＰの右側方向へ抜ける。つまり、検出車両ＤＣは、視界支援画像ＭＰに表示されなくなる。検出車両ＤＣが視界支援画像ＭＰに表示されなくなった段階で、視界支援画像ＭＰの表示形態は、図１２の上段に示した初期状態に戻る。

図１３は、入力画像Ｉ_ｉｎから視界支援画像を生成した際の、従来技術による場合と、本開示の視界支援画像生成装置１Ｂによる場合との比較図である。図６（ａ）は入力画像Ｉ_ｉｎである。この入力画像Ｉ_ｉｎに対し従来技術を用いて生成した出力画像Ｉ_ｏｕｔが図１３（ｂ）である。同じ入力画像Ｉ_ｉｎに対し、本開示の視界支援画像生成装置１Ｂを用いて生成した視界支援画像ＭＰ（出力画像Ｉ_ｏｕｔ）が図１３（ｃ）である。

なお、図１３（ａ）および図１３（ｂ）は、図８（ａ）および図８（ｂ）にそれぞれ相当する。

図１３（ｂ）については、出力画像Ｉ_ｏｕｔのアスフェリカル部に相当する右側部分が圧縮されている為、車両である物体ＯＢＪ１だけでなく、車両である物体ＯＢＪ２も形状が歪んでいる。また、物体ＯＢＪ２は、図９に基づいて説明したように、画像の右側へと進むにつれて、急速に減速するように見える。

一方、図１３（ｃ）に示した、本開示の視界支援画像生成装置１Ｂを用いて生成した視界支援画像ＭＰ（出力画像Ｉ_ｏｕｔ）の場合は、検出車両ＤＣ（物体ＯＢＪ２）の形状が歪んでいない。なぜなら検出車両ＤＣは、検出車両表示部Ｄに表示されるからである。上述のように、本例において検出車両表示部Ｄは等倍表示されている。その一方で、左右に設けられたアスフェリカル部Ａ１およびＡ２は横方向に圧縮されている。

したがって、視界支援画像生成装置１Ｂによって生成した視界支援画像ＭＰにおいては、衝突の可能性が一番高く、もっとも注意を払うべき検出車両ＤＣが、正しい形状、正しい位置に表示される。かつ、この検出車両ＤＣが、自車両１００の後方から接近し自車両１００を追い抜くまでの状況を、視界支援画像ＭＰによって、直感的に広画角で表示し、乗員に情報提示を行うことができる。

次に、検出車両ＤＣの、視界支援画像ＭＰへの割り付けについて説明する。

上述のように、視界支援画像ＭＰは検出車両表示部Ｄとアスフェリカル部Ａ１（およびＡ２）を有しており、検出車両表示部Ｄは所定の一定倍率（本例においては等倍）としつつ、アスフェリカル部Ａ１（およびＡ２）を適宜圧縮して、横方向の広画角を実現している。

ここで、検出車両ＤＣの視界支援画像ＭＰ上への割り付けには自由度がある。図１４は割付の１態様を示す図であり、（ａ）センサ画像、（ｂ）視界支援画像ＭＰを示す。

図１４（ａ）に示したセンサ画像において、既に説明した横方向１３００ピクセルの全体が、車両（検出車両ＤＣ、およびそれ以外の車両）が表示される範囲となる。

ここで、図１４（ａ）に２つの丸印がプロットされている。一方は検出車両ＤＣ（物体ＯＢＪ２）の位置を示しており、他方は、検出車両ＤＣの前を走る車両（物体ＯＢＪ１）の位置を示している。図１４（ａ）にセンサ画像上においては、アスフェリカル部Ａ１、Ａ２はまだ圧縮前の状態である。

図１４（ａ）に示した状況において、センサ画像の左端から検出車両ＤＣまで（間隔１）、検出車両ＤＣから物体ＯＢＪ１まで（間隔２）、物体ＯＢＪ１からセンサ画像の右端まで（間隔３）が、それぞれ等間隔にであったとする。

このようなセンサ画像に基づいて、視界支援画像生成装置１Ｂは、これらの間隔１、間隔２、間隔３が等間隔のままになるように、検出車両ＤＣの表示位置を視界支援画像ＭＰ上に割り当てることができる。この割り当ては、左右に配置されたアスフェリカル部Ａ１及びＡ２のそれぞれの幅を適宜調整し、また、アスフェリカル部Ａ１及びＡ２のそれぞれの箇所の圧縮率を適宜調整することにより、実現可能である。

検出車両ＤＣの表示位置を上述のように割り当てることにより、視界支援画像ＭＰにおける検出車両ＤＣの表示位置が、視界支援画像ＭＰに表示可能な最大画角範囲（１３００ピクセル）における、検出車両ＤＣの移動の仕方に追従する。

次に、極座標に基づいた均等割り割り当てについて説明する。

図１５は、極座標に基づいた割り当てを示す図である。図の右側に示すように、自車両１００と検出車両ＤＣとが並走している。検出車両ＤＣは自車両１００の隣接車線を走行中であり、自車両１００を追い抜こうとしている。

図１５の右側には、自車両１００が備えるカメラ１２の視野範囲（例えば画角９０度）が、扇形状に示されている。また、この視野範囲を、極座標系において等間隔に分割する間隔線ＰＣＬが複数本、描かれている。

一方、図１５の左側には、表示装置１３に表示する視界支援画像ＭＰ（この例においては、横方向の画角９０度）に上述の間隔線ＰＣＬが描かれている。

そして、視界支援画像ＭＰ（図１５左側）における検出車両ＤＣの表示位置が、カメラ１２と検出車両ＤＣとの間の相対位置（図１５右側）と極座標上で一致するように割り当てられてよい。この割り当てもまた、左右に配置されたアスフェリカル部Ａ１及びＡ２のそれぞれの幅を適宜調整し、また、アスフェリカル部Ａ１及びＡ２のそれぞれの箇所の圧縮率を適宜調整することにより、実現可能である。

図１６は、図１０に示したシステム構成に基づく処理フロー図である。

ステップＳ１０１において、近接車両位置算出装置１５が、隣接車線の車両情報を確認する。

ステップＳ１０２において、処理部１１が、隣接車線に車両が存在したか否かを判断する。存在した場合（Ｙｅｓの場合）はステップＳ１０３に進む。存在しなかった場合（Ｎｏの場合）は、検出車両表示部Ｄの追随等を行わない、上述の初期状態（図１２上段を参照）での視界支援画像ＭＰの表示を行う。この表示は、処理部１１による制御の下、表示装置１３により行われる。

ステップＳ１０３において、処理部１１が、近接車両位置算出装置１５が確認した最も近い車両（前記検出車両ＤＣ）の位置情報に基づいて、この車両の視界支援画像ＭＰ上の表示位置を計算する。

ステップＳ１０４において、処理部１１が、検出車両ＤＣの視界支援画像ＭＰ上の表示位置が、視界支援画像ＭＰ上の可変閾値である所定の箇所を超えたか否かを判断する。超えた場合（Ｙｅｓの場合）はステップＳ１０５へ進む。超えない場合（Ｎｏの場合）は、検出車両表示部Ｄの追随等を行わない、上述の初期状態（図１２上段を参照）での視界支援画像ＭＰの表示を行う。この表示は、処理部１１による制御の下、表示装置１３により行われる。

ステップＳ１０５において、処理部１１が、検出車両ＤＣの視界支援画像ＭＰ上の表示位置に応じて、表示データ（視界支援画像ＭＰ）の形成を行う。すなわち前述のような検出車両表示部Ｄの追随等の処理が行われる。

上記の構成とすることによって、表示装置１３に表示する視界支援画像ＭＰを、自車両１００のドライバー等に違和感を与えない、また、アスフェリカル部により画角も広く確保した画像にすることができる。

次に、違和感が少なく、また、外界の適切な状況把握ができる表示画像を提供するという本開示の目的から、表示画像上で距離感を表現する工夫である、視界支援画像生成装置１Ｃについて説明する。

車両の中には、光学ミラーや、前述の光学アスフェリカルミラーを車載カメラに置き換えるものがある。車載カメラで撮像した画像を適宜画像処理し、視界支援画像として車内の表示装置等に表示する。車両に搭乗したドライバー等はこの視界支援画像を見て、車外の様子を確認することができる。

ここで、上記の置き換え前の光学ミラーの場合、肉眼の視差から発生する眼球の動き、対象物に対するピント合わせの反応により、ドライバー等は距離感を得ることができる。

一方、車載カメラは、一般的にピント調整の機構を持たない。その為、例えば無限遠に固定ピントで撮像すると、得られる映像のピントは一様となる。したがって、表示装置に表示された視界支援画像から、ドライバー等が十分な遠近感を得ることはできないものであった。

特に、ＣＭＳ（カメラモニタリングシステム）などでドアミラーが車載カメラに置き換わった場合に、ドライバー等が表示装置上の画像を見ながら車両を後退させるシーンなどで、遠近感の無さが問題となる。

例えば、ドライバーが車両を後退させて駐車する場合を考える。車両の後方に柵などによって駐車枠が仕切られていることがある。この時、ドライバーの視点では、表示装置上の画像からドライバー等が十分な遠近感を得ることはできないため、車体に柵が刺さっているかの如く見える。このような状態では、ドライバーが後退駐車時の停止位置をうまく判断することができない。

そこで、本開示の視界支援画像生成装置１Ｃにおいては、表示装置への人間の注視ポイントを把握し、当該注視ポイントにピントを合わせ、そのポイントとは距離（遠近）の異なる箇所にぼかし処理を行うことにより、視界支援画像上で距離感を仮想的に表現することができる。

以下、視界支援画像上で距離感を仮想的に表現するための構成について詳述するが、本開示の視界支援画像生成装置１Ｃにより、ドライバー等は、視界支援画像上で距離感を得ることができる。

図１７は、本開示の視界支援画像生成装置１Ｃの実施例を示す構成図である。図１７に示した各装置が、自車両１００に搭載されている。図１７に示すハードウェア構成は、図３に基づき説明した視界支援画像生成装置１と基本的に同様である。図１７に示した実施例が、図３に示した実施例と違うのは、視界支援画像生成装置１Ｃが、カメラが２つに増えていることと、検知部１８を更に備えていることである。検知部１８については後述することとし、まずはカメラが２つに増えていることについて説明する。

図１８は、車載カメラの様々な設置例を示している。なお、図１８には、車両の進行方向をｘ軸、車幅方向をｙ軸、車両の高さ方向をｚ軸とした直交座標系を付加してある。

本開示の視界支援画像生成装置１Ｃにおいては、視差検出範囲を得る為に、カメラを２つ以上配置する。図１８の例では、カメラを２つ配置している。複数のカメラの設置位置は自由である。図１８（ａ）に示しているように、車両のドアミラーと車両後部とにそれぞれ１つずつ、カメラを設置してよい。また、車両後部に２つカメラを設置してもよい。車両のドアミラーに２つカメラを設置してもよい。

また、図１８（ｂ）に示すように、車両のドアミラーと、Ａピラーのルーフ付近とに１つずつカメラを設置してもよい。

設置するカメラが２つである場合、一方のカメラを主カメラ１２とし、他方のカメラを副カメラ１６とする。主カメラ１２が撮像する画像をＣＭＳ（カメラモニタリングシステム）の表示装置１３（モニタ）上に表示し、副カメラ１６が撮像する画像は視差検出用に用いる。ただし、副カメラ１６の画像をＣＭＳ（カメラモニタリングシステム）の表示装置１３（モニタ）上に表示してもよい。

そして、主カメラ１２が撮像した画像における距離推定が可能な画素に対して、副カメラ１６の画像を利用して、被写体までの距離の推定を行う。この距離推定は、既存の距離推定技術を用いてよい。

なお、必ずしも主カメラ１２の撮像画像における全画素について距離推定を行う必要は無いため、主カメラ１２上の画素を間引いて距離推定を行ってもよい。このことにより、画像処理に必要な時間を節約できる。

次に、再び図１７を参照しつつ、検知部１８について説明する。検知部１８は、典型的には、ＣＭＳ（カメラモニタリングシステム）の表示装置１３または表示装置１３付近に設けられた、ドライバー等の眼球監視用カメラである。例えば車両のドライバーは運転時に表示装置１３を見るので、その眼球をカメラで監視し、表示装置による表示上のどこを注視しているのか（注視ポイント）を検出することができる。

この検知部１８から注視ポイントに係る情報を得た処理部１１は、表示装置１３に表示された視界支援画像ＭＰにおける注視座標（注視ポイントに相当する座標）を推定する。

そして処理部１１は、視界支援画像ＭＰにおける前記注視座標を中心にした、上述の主カメラ１２および副カメラ１６によって行われた距離推定により算出された距離（遠近）に応じたぼかしフィルタを、視界支援画像ＭＰに対して適用する。白シェーディングの透過重畳を行ってもよい。

より詳しくは、注視座標からの距離が所定の閾値を超える画素（注視座標とは遠近が大きく違う画素）に対して、前記ぼかしフィルタを適用する。また、当該距離が大きいほど強いぼかしフィルタを適用してよい。

上記構成により、視界支援画像の注視ポイントと距離が近い一定領域（距離が閾値以内の領域）はピントが合った状態となり、その周辺領域は、注視ポイントから前記推定距離が離れるにしたがって、ぼけの強い状態となる。したがって、ドライバー等が視界支援画像ＭＰを、表示装置１３を用いて見たときに、注視対象とそれ以外との間の距離感を得ることができる。

なお、上記の所定の閾値の値（例えば１０メートル）や、ぼかし強度を変える距離の分解能は、複数カメラの視差による距離検出の精度や、仕様に応じて変更することができる。また、ぼかしフィルタは、画素単位ではなく、複数の画素からなるブロック単位で適用されてもよい。

変形例として、タッチパネル式の表示装置１３を用いて、タッチパネル画面を指でタッチするなどして、注視ポイントを変更／固定しても良い。

図１９は、図１７に示したシステム構成に基づく処理フロー図であり、（ａ）距離感を仮想的に表現する処理、（ｂ）表示装置１３の輝度調光処理を示している。

ステップＳ２０１において、処理部１１が、主カメラ１２と副カメラ１６がそれぞれ撮像した画像に基づいて、主カメラ１２の距離情報を算出する。

ステップＳ２０２において、検知部１８が、ドライバー等が表示装置１３（モニタ）を注視しているか否かを確認する。注視している場合（Ｙｅｓの場合）はステップＳ２０３へ進む。注視していない場合（Ｎｏの場合）は処理終了となる。

ステップＳ２０３において、処理部１１が、前述の注視座標を算出する。この算出処理には、主カメラ１２が撮像した画像と、検知部１８が検出した前述の注視ポイントに係る情報とが用いられる。

ステップＳ２０４において、処理部１１が、前記注視座標における距離情報と周辺の距離情報（ステップＳ２０１にて算出済み）に応じたぼかしフィルタを、視界支援画像ＭＰに対して適用する。このフィルタ適用後の視界支援画像ＭＰにおいては、距離感が疑似的に表現されている。

次に、図１９（ｂ）に示した輝度調光処理について説明する。なお、図１７に示した検知部１８は上述のように、ドライバー等の眼球をカメラで監視し、表示装置１３（モニタ）による表示上のどこを注視しているのかを算出する。そのため、この眼球監視を適切に行いうる程度の輝度が、表示装置１３（モニタ）には必要となる。

ステップＳ３０１において、検知部１８が、ドライバー等が表示装置１３（モニタ）を注視しているか否かを確認する。注視している場合（Ｙｅｓの場合）はステップＳ３０２へ進む。注視していない場合（Ｎｏの場合）はステップＳ３０４へ進む。

ステップＳ３０２において、処理部１１が、表示装置１３（モニタ）は目標輝度に達しているか否かを判断する。目標輝度に達している場合（Ｙｅｓの場合）、輝度をさらに上げる必要はなく、処理終了となる。目標輝度に達していない場合（Ｎｏの場合）、ステップＳ３０３へと進み、表示装置１３（モニタ）の輝度を徐々に上げる。

ステップＳ３０４は、ドライバー等が表示装置１３（モニタ）を注視していない場合（ステップＳ３０１参照）に行われる処理である。このとき、検知部１８が、一定時間、非注視状態が継続しているか否かを判断する。非注視状態が一定時間継続している場合（Ｙｅｓの場合）は、ステップＳ３０５へと進んで、表示装置１３（モニタ）の減光を行う。一方、非注視状態が一定時間継続していない場合（Ｎｏの場合）は、上記減光処理をせず、処理終了となる。ドライバーが短時間に何度も表示装置１３（モニタ）から目を離した時に、その都度減光を行うと、輝度の上下が短時間に繰り返されて煩わしいためである。

図２０は、表示装置１３に表示される視界支援画像の比較図であり、（ａ）表示装置上の注視ポイントを示す図、（ｂ）本開示の視界支援画像生成装置１Ｃを用いない場合の視界支援画像、（ｃ）本開示の視界支援画像生成装置１Ｃを用いた場合の視界支援画像ＭＰである。

本例では、ドライバーの注視ポイントが図２０（ａ）に示した白い丸形の部分にある。これを踏まえて図２０（ｂ）と図２０（ｃ）とを比較すると、図２０（ｂ）においては、画像全体にピントが合っているため、距離感を感じづらい。一方、図２０（ｃ）においては、視界支援画像における注視ポイントから一定距離以上の部分をぼかすことで、疑似的に距離感を表現している。このことにより、視界支援画像を見るドライバー等に安心感を与えることができる。

また、図示は省略するが、視界支援画像に複数の建物（立体物）が映り込むことがある。例えば、遠くにあるビルと、近くにあるビルが映り込む。ここで、前記注視座標と同程度の距離にある建物は、ぼかしフィルタの適用後であっても、ピントが合った状態となる。すなわち、同定度の距離にどの建物があるかをドライバー等が認識することができる。この点もまた、本開示の視界支援画像生成装置１Ｃが奏する効果の一つと言える。

上記構成において、前記画像変換は、前記撮像画像内に含まれる深消失点を中心として、前記撮像画像の横方向から前記撮像画像の縦方向へと偏角が変わるにつれて、圧縮率が線形に変化するものであってよい。線形変化であれば、偏角に応じて圧縮率が徐々に変動するので、生成された視界支援画像も自然なものとなる。

上記構成において、前記画像変換は、前記深消失点からの距離が遠いほどに圧縮率が増加するものであってよい。この構成により、深消失点の周辺部は低圧縮として画像の情報量を保ちつつ、画角を自然に広げることが可能となる。

上記構成において、前記画像変換は縦長楕円レンズモデルを用いた圧縮であってよい。縦長楕円モデルであれば、通常用いられる真円レンズモデルと形状が近く、画像変換後の表示画像における違和感が少ない。また、真円を規定するパラメータは半径ｒの１つのみであったのに対して、縦長楕円であれば長軸ｂ、短軸ｃの２つのパラメータにすることができる。この２つのパラメータを適宜調節することで、従来では生じていた表示画像の違和感を少なくしつつ、画像の縦方向および横方向の圧縮率を柔軟に変動させることができる。

上記構成において、視界支援画像生成装置１は、前記視界支援画像を表示する表示部を更に備えてよい。かかる表示部に視界支援画像を表示することにより、ドライバー等が、横方向に視野の広がった自然な視覚支援画像を見ることができる。

また、本開示は、車両の視界支援画像を生成するための画像変換プログラムにも関する。前記画像変換プログラムは、装置が有する処理部に、画像の実像高と、真円レンズモデルの理想像高との対応関係を示すデータに基づいて、前記画像の実像高と、幾何学形状レンズモデルの理想像高との対応関係を算出するステップと、前記画像の実像高と、前記幾何学形状レンズモデルの理想像高との対応関係に基づいて、前記画像に含まれる各画素の圧縮率を算出するステップと、前記各画素の圧縮率に基づいて、前記画像を圧縮するステップとを実行させ、前記幾何学形状は、前記幾何学形状の中心から横方向に向かう長さが、前記幾何学形状の中心から縦方向に向かう長さよりも短いものであってよい。前記構成により、車両のドアミラー等に設けたカメラが撮像した入力画像から、ドライバー等にとって違和感が少なく、また、外界の適切な状況把握ができる視界支援画像を提供することができる。

上記構成において、前記幾何学形状は、前記幾何学形状の中心からの距離が、前記幾何学形状の横方向から縦方向へと偏角が変わるにつれて、線形に変化するものであってよい。線形変化であれば、偏角に応じて圧縮率が徐々に変動するので、当該プログラムを用いて生成された画像も、ドライバー等にとって自然なものとなる。

上記構成において、前記幾何学形状は縦長楕円であってよい。縦長楕円モデルであれば、通常用いられる真円レンズモデルと形状が近く、画像変換後の視界支援画像における違和感が少ない。また、真円を規定するパラメータは半径ｒの１つのみであったのに対して、縦長楕円であれば長軸ｂ、短軸ｃの２つのパラメータにすることができる。この２つのパラメータを適宜調節することで、従来では生じていた表示画像の違和感を少なくしつつ、画像の縦方向および横方向の圧縮率を柔軟に変動させることができる。

また、車両が視界支援画像生成装置と、表示装置と、近接車両位置算出装置とを備え、前記近接車両位置算出装置は、自車両である前記車両が走行する車線の隣接車線を走行する、最も近い車両である検出車両の位置情報を取得し、前記視界支援画像生成装置は、前記自車両からの画像を撮像するカメラと、処理部とを備え、前記処理部は、前記カメラが撮像した撮像画像を画像変換して視界支援画像を生成し、前記表示装置は、前記視界支援画像を表示し、前記視界支援画像は、検出車両表示部とアスフェリカル部とを有しており、前記アスフェリカル部における圧縮率は、前記検出車両表示部における圧縮率よりも高く、前記検出車両は前記検出車両表示部に表示され、前記検出車両の、前記検出車両表示部における表示位置が、前記検出車両表示部内の所定の箇所を超えた後は、前記視界支援画像における前記検出車両表示部の位置が、前記検出車両の表示位置の移動に追随してよい。

同様に、車両の視界支援画像を生成する視界支援画像生成装置が、車両からの画像を撮像するカメラと、処理部とを備え、前記処理部は、近接車両位置算出装置から、自車両である前記車両が走行する車線の隣接車線を走行する、最も近い車両である検出車両の位置情報を取得し、前記処理部は、前記カメラが撮像した撮像画像を画像変換して、表示用の視界支援画像を生成し、前記視界支援画像は、検出車両表示部とアスフェリカル部とを有しており、前記アスフェリカル部における圧縮率は、前記検出車両表示部における圧縮率よりも高く、前記検出車両は前記検出車両表示部に表示され、前記検出車両の、前記検出車両表示部における表示位置が、前記検出車両表示部内の所定の箇所を超えた後は、前記視界支援画像における前記検出車両表示部の位置が、前記検出車両の表示位置の移動に追随してよい。

上記構成により、ドライバー等にとって違和感の無い視界支援画像を提供することができる。さらに、視界支援画像には依然としてアスフェリカル部に相当する箇所があるため、高画角の表示が可能である。

上記構成において、前記視界支援画像がアスフェリカル部を２つ有しており、前記２つのアスフェリカル部が、前記視界支援画像における前記検出車両表示部の左右にそれぞれ配置されてよい。また、前記視界支援画像における前記検出車両表示部の位置が、前記検出車両の表示位置の移動に追随するのに応じて、前記２つのアスフェリカル部における画角または画素数が変化し、前記２つのアスフェリカル部における画角または画素数の変化は、前記視界支援画像における画角または画素数が所定の値に維持されるように行われてよい。前記構成により、前記検出車両表示部の位置が前記検出車両の表示位置の移動に追随しても、２つ目のアスフェリカル部が前記視界支援画像の画角を補うことができる。

上記構成において、前記視界支援画像における、前記検出車両の表示位置が、前記視界支援画像に表示可能な最大画角範囲における、前記検出車両の移動の仕方に追従するように割り当てられてよい。前記構成により、視界支援画像における検出車両の移動を違和感なく表示することができる。

上記構成において、前記視界支援画像における前記検出車両の表示位置が、前記カメラと前記検出車両との間の相対位置と極座標上で一致するように割り当てられてよい。前記構成により、視界支援画像における検出車両の角度的位置が、車両の乗員が肉眼で見るのと同様の位置に表示されるので、違和感が少ない。

また、視界支援画像生成装置を備えた車両において、前記視界支援画像生成装置は、処理部と、第１カメラと、第２カメラと、第１カメラが撮像した画像に基づいて生成された視界支援画像を表示する表示装置と、車両に搭乗する乗員の、前記表示装置における注視ポイントを検出する検知部と、を備え、前記処理部が、第１カメラが撮像した画像における、第１カメラから被写体までの距離を、前記第１カメラと前記第２カメラの間に生じる視差を用いて算出し、前記検知部が、車両に搭乗する乗員の、前記表示装置における注視ポイントを検出し、前記処理部が、前記注視ポイントに基づいて、前記視界支援画像における、前記乗員の注視座標を推定し、前記処理部が、前記視界支援画像における前記注視座標を中心にした、前記距離に応じたぼかしフィルタを、前記視界支援画像に対して適用してよい。

同様に、車両の視界支援画像を生成する視界支援画像生成装置が、処理部と、第１カメラと、第２カメラと、第１カメラが撮像した画像に基づいて生成された視界支援画像を表示する表示装置と、車両に搭乗する乗員の、前記表示装置における注視ポイントを検出する検知部と、を備え、前記処理部が、第１カメラが撮像した画像における、第１カメラから被写体までの距離を、前記第１カメラと前記第２カメラの間に生じる視差を用いて算出し、前記検知部が、車両に搭乗する乗員の、前記表示装置における注視ポイントを検出し、前記処理部が、前記注視ポイントに基づいて、前記視界支援画像における、前記乗員の注視座標を推定し、前記処理部が、前記視界支援画像における前記注視座標を中心にした、前記距離に応じたぼかしフィルタを、前記視界支援画像に対して適用してよい。

上記構成により、車両に搭乗するドライバー等は、視界支援画像上で距離感を得ることができる。

上記構成において、前記ぼかしフィルタは、前記注視座標を基準にした、所定の距離以上の画素または画素ブロックに対してぼかしが適用されるものであってよい。また、前記ぼかしフィルタは、前記注視座標からの距離が大きくなるほどに強いぼかしが適用されるものであってよい。前記構成により、注視座標と距離の近い箇所がピントの合った状態となり、注視座標と距離の遠い箇所はぼけた状態となるので、車両に搭乗するドライバー等は、視界支援画像上で距離感をより明確に得ることができる。また、前記注視座標からの距離が大きくなるほどに強いぼかしがかけられることにより、ドライバー等の注意力は注視座標付近へと集中し、ドライバー等は、さらに明確な距離感を得ることができる。

上記構成において、前記ぼかしフィルタの、前記距離についての分解能が、前記第１カメラおよび前記第２カメラの視差検出精度に応じて設定されてよい。前記構成により、複数のカメラの視差検出精度が良い場合には、視界支援画像上で、より細やかな距離感を表現することができる。

上記構成において、前記検知部が、前記乗員の注視ポイントが前記表示装置上に無いことを検知した時に、前記表示装置の輝度を低下させてよい。また、前記検知部が、前記乗員の注視ポイントが前記表示装置上にあることを検知した時に、前記処理部が前記表示装置の輝度を徐々に上昇させてよい。前記構成により、車両の乗員が表示装置を見ているか否かによって、表示装置の輝度を適切に制御しつつ、注視ポイントを適切に検出することができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

１視界支援画像生成装置
１Ｂ視界支援画像生成装置
１Ｃ視界支援画像生成装置
１１処理部
１２カメラ
１３表示装置
１４不揮発性メモリ
１５近接車両位置算出装置
１６カメラ
１８検知部
５０レンズ
５１評価面
５２実像高
５３理想像高
１００自車両
Ａアスフェリカル部
Ａ１アスフェリカル部
Ａ２アスフェリカル部
Ｄ検出車両表示部
Ｅ縦長楕円レンズモデル
Ｉ_ｉｎ入力画像
Ｉ_ｏｕｔ出力画像
Ｍドアミラー
Ｍ１ミラー部
Ｍ２アスフェリカル部
ＭＰ視界支援画像
ＯＢＪ１～ＯＢＪ４物体
ＰＣＬ間隔線

Claims

視界支援画像生成装置を備えた車両であって、
前記視界支援画像生成装置は、
処理部と、
第１カメラと、第２カメラと、
第１カメラが撮像した画像に基づいて生成された視界支援画像を表示する表示装置と、
車両に搭乗する乗員の、前記表示装置における注視ポイントを検出する検知部と、
を備え、
前記処理部が、第１カメラが撮像した画像における、第１カメラから被写体までの距離を、前記第１カメラと前記第２カメラの間に生じる視差を用いて算出し、
前記検知部が、車両に搭乗する乗員の、前記表示装置における注視ポイントを検出し、
前記処理部が、前記注視ポイントに基づいて、前記視界支援画像における、前記乗員の注視座標を推定し、
前記処理部が、前記視界支援画像における前記注視座標を中心にした、前記距離に応じたぼかしフィルタを、前記視界支援画像に対して適用する、
車両。
請求項１に記載の車両であって、
前記ぼかしフィルタは、前記注視座標を基準にした、前記距離が所定の閾値以上の画素または画素ブロックに対してぼかしが適用されるものである、
車両。
請求項１または請求項２に記載の車両であって、
前記ぼかしフィルタは、前記注視座標を基準にした前記距離が大きくなるほどに強いぼかしが適用されるものである、
車両。
請求項１から請求項３のいずれか１項に記載の車両であって、
前記ぼかしフィルタの、前記距離についての分解能が、前記第１カメラおよび前記第２カメラの視差検出精度に応じて設定される、
車両。
請求項１から請求項４のいずれか１項に記載の車両であって、
前記検知部が、前記乗員の注視ポイントが前記表示装置上に無いことを検知した時に、前記表示装置の輝度を低下させる、
車両。
請求項１から請求項５のいずれか１項に記載の車両であって、
前記検知部が、前記乗員の注視ポイントが前記表示装置上にあることを検知した時に、前記処理部が前記表示装置の輝度を徐々に上昇させる、
車両。
車両の視界支援画像を生成する視界支援画像生成装置であって、
処理部と、
第１カメラと、第２カメラと、
第１カメラが撮像した画像に基づいて生成された視界支援画像を表示する表示装置と、
車両に搭乗する乗員の、前記表示装置における注視ポイントを検出する検知部と、
を備え、
前記処理部が、第１カメラが撮像した画像における、第１カメラから被写体までの距離を、前記第１カメラと前記第２カメラの間に生じる視差を用いて算出し、
前記検知部が、車両に搭乗する乗員の、前記表示装置における注視ポイントを検出し、
前記処理部が、前記注視ポイントに基づいて、前記視界支援画像における、前記乗員の注視座標を推定し、
前記処理部が、前記視界支援画像における前記注視座標を中心にした、前記距離に応じたぼかしフィルタを、前記視界支援画像に対して適用する、
視界支援画像生成装置。
請求項７に記載の視界支援画像生成装置であって、
前記ぼかしフィルタは、前記注視座標を基準にした、前記距離が所定の閾値以上の画素または画素ブロックに対してぼかしが適用されるものである、
視界支援画像生成装置。
請求項７または請求項８に記載の視界支援画像生成装置であって、
前記ぼかしフィルタは、前記注視座標を基準にした、前記距離が大きくなるほどに強いぼかしが適用されるものである、
視界支援画像生成装置。
請求項７から請求項９のいずれか１項に記載の視界支援画像生成装置であって、
前記ぼかしフィルタの、前記距離についての分解能が、前記第１カメラおよび前記第２カメラの視差検出精度に応じて設定される、
視界支援画像生成装置。
請求項７から請求項１０のいずれか１項に記載の視界支援画像生成装置であって、
前記検知部が、前記乗員の注視ポイントが前記表示装置上に無いことを検知した時に、前記表示装置の輝度を低下させる、
視界支援画像生成装置。
請求項７から請求項１１のいずれか１項に記載の視界支援画像生成装置であって、
前記検知部が、前記乗員の注視ポイントが前記表示装置上にあることを検知した時に、前記処理部が前記表示装置の輝度を徐々に上昇させる、
視界支援画像生成装置。