JP2012120088A - 画像認識装置 - Google Patents

Abstract

【課題】車載式の画像認識装置において画像認識処理に係るトータル処理時間を短縮可能な技術を提供する。
【解決手段】車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき運転者に対して情報提供を行う画像認識装置であって、画像認識処理は、画像データに含まれる特定のターゲットを認識するターゲット認識処理と、ターゲット認識処理によるターゲットの認識を補助するためにターゲット認識処理に先行して行われる前段処理とを含んでいる。また、カメラは少なくとも、画像データを生成する画像センサと、画像センサが生成した画像データであって前段処理が施される前の元画像データに対して前段処理を施す前段処理部とを有する。
【選択図】図１

Description

本発明は、車載用の画像認識装置に関する。

従来、車載式のカメラにより得られた情報に基づいて運転者に対して情報提供を行い、運転者の安全運転を支援するための運転支援装置が公知である（例えば、特許文献１を参照）。運転支援装置の代表例としては、カメラが取得した画像データに基づいて自車両の周辺を監視し、歩行者や他車両との衝突の危険がある場合に運転者に対して警告を発し、または、これに併せてモニタ表示することで運転操作を支援するものが挙げられる。他にも、自車両が走行車線（走行レーン）から逸脱する可能性があるか否かを判定し、逸脱する可能性がある場合に警告を行う車線逸脱警報装置（LDW：Lane Departure Warning)や、車両を走行車線内に戻すように支援する機能も備える車線逸脱防止支援装置（LDP：Lane Departure Prevention）なども上記運転支援装置に含まれる。

図１は、従来の車載用の画像認識装置１００の概略構成を示す概略構成図である。同図に示すように、画像認識装置１００は車両５０に搭載されており、カメラ（カメラユニット）１と、認識処理ユニット２とから構成される。カメラ１は、画像センサ（撮像素子）１１、アンプ１２、バッファ１３、データ送信部１４、カメラ制御部１５等を備える。

一方、認識処理ユニット２は、ＣＰＵ２１、メモリ２２、ＡＳＩＣ（ Application Specific Integrated Circuit ）２３、ＧＤＣ（グラフィックス・ディスプレイ・コントロ
ーラー：graphics display controller ）２４、データ受信部２５等を備える。ＣＰＵ２１は、カメラ１のカメラ制御部１５の他、車両５０に搭載される表示モニタ５１やスピーカ（警報器）５２などと、コントローラー・エリア・ネットワーク（ Controller Area Network :CAN）によって相互接続されている。

カメラ１側の画像センサ１１により生成された画像信号は、アンプ１２を経てバッファ１３一時記憶される。なお、図示はしていないが、実際には二つのバッファに画像信号が交互に送られるようになっている。そして、一方のバッファにある画像データがデータ送信部１４から認識処理ユニット２のデータ受信部２５に転送されると共にメモリ２２に記憶されている間は、カメラ１側の他方のバッファに対して画像センサ１１からの画像データが送られるようになっている。なお、バッファは、複数の機器やソフトウェアの間でデータをやり取りするときに、処理速度や転送速度の差を補うためにデータを一時的に保存しておく記憶装置や記憶領域である。

ＡＳＩＣ２３は電子部品の一種で、特定の用途向けに複数機能の回路を１つにまとめた集積回路の総称である。メモリ２２に読み出された画像データは、例えば順次ＡＳＩＣ２３において画像認識処理が施される。この画像認識処理は、いわゆるパターンマッチング処理などのような、画像データに含まれる特定のターゲット（例えば、他車両、通行人、道路標識、白線等）を検出するためのターゲット認識処理と、これに先行して行われる前段処理とに分けられる。

前段処理は、ターゲット認識処理に係るターゲットの認識を補助する目的、すなわちターゲットの認識精度、認識性能を高めるために行われる画像処理である。一般的な画像認識アルゴリズムでは、ノイズによる誤認識を低減させて認識精度を向上させる目的で、画像データに対して輝度調整やガウシアン・フィルタ等によるノイズ低減処理を施した後、二値化処理を施すなどによって前段処理が行われる。

ＧＤＣ２４は、一般に画像表示を担当する集積回路の総称である。前段処理が施された画像データ（以下、「前段処理済み画像データ」という）に対して先述のターゲット認識処理が施されることで得られたターゲットの認識結果は、ＧＤＣ２４を介して車両５０の車室内に設けられる表示モニタ５１に認識結果画像として表示される。例えば、認識結果画像では、他車両や通行人、或いは道路標識等のターゲット（認識対象）が存在する領域を色付き線で囲むなどの強調表示を行ってモニタ表示することで、運転者は危険を察知、回避したり、安全運転に有用な情報を得ることができる。また、車両５０が通行人や他車両（先行車両、対向車両等）と接触する可能性がある場合には、車両５０に設けられたスピーカ５２から警告音が発せられるようになっている。

特開２０００−１４２２２１号公報 特開２００２−２９３３１号公報 特開２００２−１７５５９７号公報 特開２００９−１５３２１９号公報 特開２００９−２１９１４４号公報

ここで、カメラ１のシャッターがおりてから表示モニタ５１に認識結果画像がモニタ出力されたり、スピーカ５２からの警報出力が行われるなど、画像認識結果に基づく情報提供を行うまでの時間差（タイムラグ）はできるだけ少ないことが望まれる。このようなタイムラグの許容値としては、概ね３０ｍｓ〜５０ｍｓ程度と考えられる。

ここで、画像認識装置１００のスループットを、カメラ１のシャッターがおりてから画像認識結果が出力されるまでに要する時間（以下、「トータル処理時間」という）を基準に考えると、この処理時間は図２に示すようになる。すなわち、トータル処理時間は、カメラ１から認識処理ユニット２への転送時間Ｔ１、前段処理に要する前段処理時間Ｔ２、ターゲット認識処理に要するターゲット認識処理時間Ｔ３（前段処理時間Ｔ２と、ターゲット認識処理時間Ｔ３とを合わせて「画像認識時間」という）となる。厳密に言うと、トータル処理時間には上記Ｔ１〜Ｔ３の何れにも属さない時間、例えばカメラ１内での処理時間も存在すると考えられるが、そのような時間はここで挙げたものに比べて小さく、ここでは考えないものとする。

図示のように、前段処理時間Ｔ２およびターゲット認識処理時間Ｔ３に比して転送時間Ｔ１が長く掛かることが多く、従来においては画像データの転送時間がネックとなって画像認識装置全体のスループットをあまり高くすることが困難となっていた。

本件の目的は、本発明は上記実情に鑑みてなされたものであり、その目的は、車載式の画像認識装置において画像認識処理に係るトータル処理時間を短縮可能な技術を提供することにある。

本発明は、上記課題を解決するために、以下の手段を採用する。すなわち、本発明は、車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行う画像認識装置であって、前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助するために該ターゲット認識処理に先行して行われる所定の前
段処理とを含んでおり、前記カメラは少なくとも、画像データを生成する画像センサと、前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、を有する画像認識装置である。

本発明によれば、画像センサが生成した元画像データに前段処理を施す前段処理部をカメラとは別体の装置（以下、外部装置とも称する）に配置するのではなく、カメラ内に設けることにより、カメラから外部装置に転送される前の画像データに対して前段処理を実施することができる。本発明において、前記カメラは、前記画像センサが生成した前記元画像データを一時記憶するバッファ部を更に有し、前記前段処理部は前記バッファ部における前記元画像データに対して前記前段処理を施すようにしても良い。本発明における前段処理とは、元画像データに対する輝度調整処理、ノイズ低減処理、二値化処理等を含めることができる。

ここで、元画像データに前段処理を施した後の画像データを前段処理済み画像データとすると、この前段処理済み画像データは、元画像データに比べて容量が小さい。例えば、帯域２７ＭＨｚのアナログ回線でＮＴＳＣフレーム（フレームサイズ720px×480lines）
とした場合に、二値化処理後の前段処理済み画像データの容量は元画像データの５％程度に相当する場合がある。そして、転送速度が同じ条件であれば、転送する画像データの容量が小さいほど、より短時間で転送することができる。従って、カメラから外部装置に元画像データを転送する場合に比べて、前段処理済み画像データを転送する場合の方が、その転送時間を短くすることができる。

そして、本発明の構成では、カメラ側で前段処理を行うことにより低容量化した前段処理済み画像データを外部装置に転送して該外部装置にてターゲット認識処理を施し、あるいは、前段処理済み画像データにカメラ内でターゲット認識処理を施すなどの手法を採用することができるので、従来のようにカメラから外部装置に元画像データをいったん転送した後、前段処理とターゲット認識処理を順次行う場合に比べて、画像認識処理に係るトータル処理時間を短縮することができる。従って、カメラのシャッターがおりてから画像認識処理の結果に基づき運転者へ情報を提供するまでに要するタイムラグを低減することができる。

例えば、本発明に係る画像認識装置の第一の形態として、前記カメラとは別体の認識処理ユニットを更に備え、前記カメラは、前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データを送信する送信部を更に有し、前記認識処理ユニットは、前記カメラの前記送信部から転送される前記前段処理済み画像データを受信する受信部と、前記受信部が受信した前記前段処理済み画像データを記憶するメモリ部と、前記メモリ部に記憶された前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部と、を有するものが挙げられる。

上記第一の形態において、前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれる場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送処理と、前記カメラにおける前記前段処理部での前記前段処理とが、並行して行われると良い。その際、前記元画像データの転送処理と前記前段処理部での前記前段処理が同時に開始されるとより好適である。

また、上記第一の形態において、前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれない場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像
データの転送は行わず、前記前段処理済み画像データを前記カメラの前記送信部から前記認識処理ユニットの前記受信部へと転送すると良い。運転者に上記画像情報を提供する必要がない場合には、元画像データを認識処理ユニットに転送する必要がない。そこで、元画像データの転送処理を省くことにより大幅にトータル処理時間を短縮することが可能となる。

一方、この第一の形態では、認識処理ユニット側においてターゲット認識処理を行うため、前段処理済み画像データに関しては認識処理ユニットに転送する必要がある。その場合においても、前段処理済み画像データは元画像データに比べて容量が極めて小さいため、その転送に要する時間もそれに伴って短縮することができる結果、トータル処理時間の短縮が実現される。

また、本発明に係る画像認識装置の第二の形態として、前記カメラは、前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部を更に有するものを挙げることができる。この構成では、前段処理部のみならず、ターゲット認識処理部もカメラ側に統合する。これにより、画像センサが生成した元画像データに対する前段処理、および、前段処理済み画像データに対するターゲット認識処理からなる一連の画像認識処理がカメラ内で完結するため、認識処理ユニットなどの外部装置に対する画像データの転送という処理が一切必要なく、トータル処理時間を飛躍的に短縮することが可能である。

また、上述までのいずれかの画像認識装置において、前記前段処理部は、前記元画像データに対し前記前段処理を施す前に、画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を絞り込む画像切り出し処理を施すようにしても良い。

その場合、画像認識装置は、自車両の走行状態に関する走行情報、および該自車両の諸寸法に関する車両情報のうち少なくともいずれか一方を取得し、取得した情報に基づいて、前記前段処理部が前記前段処理を施す対象とする前段処理対象領域を決定する情報処理部を、更に備えても良い。

本件によれば、車載式の画像認識装置に関する処理時間を短縮することができ、カメラのシャッターがおりてから画像認識処理結果に基づき運転者へ情報を提供するまでに要するタイムラグを短縮することができる。

従来の車載用の画像認識装置の概略構成を示す概略構成図である。 画像認識装置におけるトータル処理時間を説明するための説明図である。 実施例１に係る画像認識装置の概略構成を示す図である。 実施例１に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。 実施例１に係る画像認識処理のフローを示すフローチャートである。 実施形態におけるトータル処理時間を説明する説明図である。 実施例２に係る画像認識装置の概略構成を示す図である。 実施例２に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。 実施例３に係る画像認識装置の概略構成を示す図である。 実施例３に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。 実施例４に係る画像認識装置の概略構成を示す図である。 実施例４に係る画像認識装置のバッファと周辺回路との接続状態を示す図である。 実施例５に係る画像認識処理のフローを示すフローチャートである。 元画像データにおけるフレーム領域を表示した第一の図である。 実施例５の第一変形例に係る画像認識処理のフローを示すフローチャートである。 元画像データにおけるフレーム領域を表示した第二の図である。 実施例５の第三変形例に係る画像認識装置の概略構成を示す図である。

以下、図面を参照して本実施形態に係る車載用の画像認識装置を例示的に説明する。ここでは、画像認識装置を車両の運転支援装置として適用する場合を例に説明するが、これに限定されるものではない。また、以下の実施形態に係る構成は例示であり、各構成要素の寸法、材質、形状、その相対配置等は、発明の技術的範囲をそれらのみに限定する趣旨のものではない。

＜実施例１＞
図３は、実施例１に係る画像認識装置１００Ａの概略構成を示す図である。図１に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置１００Ａは、カメラ１Ａおよび認識処理ユニット２Ａを含んで構成されている。カメラ１Ａは、グローバルシャッター方式のＣＣＤカメラあるいはＣＭＯＳカメラであり、車両５０の車室内のウインドシールド中央上部に、前方に光軸が合致するように配設されている。

画像認識装置１００Ａは、カメラ１より撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行うことで運転を支援する。ここで、画像認識処理は、所定の前段処理とこの前段処理の施された後の画像データ（前段処理済み画像データ）に対して実施されるターゲット認識処理を含むものである。

ターゲット認識処理は、前段処理の施された後の前段処理済み画像データに対して行われ、具体的には、いわゆるパターンマッチング処理によって、画像中におけるターゲットを認識する処理である。パターンマッチング処理は、画像の中から指定した標準パターン（テンプレート）と似ている位置を探し出すことにより特定のターゲットを認識する処理である。この特定のターゲットは、他車両（先行車両、対向車両等）、通行人、道路標識、白線等、種々のターゲットを対象とすることができる。具体的には、画像認識装置１００Ａは、ターゲット認識処理に使用する種々のテンプレートが格納されたデータベース（図示せず）を備えており、このデータベースにアクセスすることで画像内におけるターゲットを認識することができる。

前段処理には、輝度調整処理、ノイズ低減処理、二値化処理等の一連の画像処理が含まれている。これらの各画像処理は周知であるため詳しい説明は省略するが、これら前段処理は、ターゲット認識処理によるターゲットの認識を補助する目的、すなわちターゲットの認識精度、認識性能を高めるために行う画像処理である。従って、時系列的には、前段処理は、必ずターゲット認識処理に先行して行われるといえる。

認識処理ユニット２Ａについて説明する。認識処理ユニット２Ａは、ＣＰＵ（中央演算装置）２１、メモリ２２、ＧＤＣ２４、データ受信部２５、ターゲット認識処理部２６を備える。ここでも、既に説明した電子部品については詳しい説明を省略する。ターゲット認識処理部２６は、先述したターゲット認識処理を行う機能を有する電子回路であり、ここではＡＳＩＣ（ Application Specific Integrated Circuit ）として構成されている
。

ＣＰＵ２１は、カメラ１Ａのカメラ制御部１５の他、車両５０に搭載される表示モニタ５１、スピーカ５２、車両を制御するための電子制御ユニットであるＥＣＵ（ Electronic Control Unit ）５３と、コントローラー・エリア・ネットワーク（CAN）によって相互に接続されている。例えば、ＣＰＵ２１は、後述するカメラ１Ａのカメラ制御部１５に制御信号を出力して、カメラ１Ａのシャッタースピードや絞り量などを調整する。

一方、カメラ１Ａは、画像センサ１１、アンプ１２、バッファ１３、データ送信部１４、カメラ制御部１５、前段処理部１６を備える。例えば、ＣＣＤやＣＭＯＳからなる画像センサ１１は、不図示の撮影光学系を通過した光束を光電変換してアナログ画像信号を生成する。

アンプ１２は、入力されるアナログ画像信号のゲイン調整を行う。ゲイン調整が行われたアナログ画像信号は、アンプ１２とバッファ１３の間に介在する図示しないアナログデジタル変換器（以下、「ＡＤ変換器」と略称する）でアナログ信号からデジタル信号に変換された後、バッファ１３に一時的に記憶される。

アンプ１２、バッファ１３、および前段処理部１６との接続関係、配置関係を詳しく説明すると、図４に示すように、アンプ１２は、第一系統用アンプ１２１および第二系統アンプ１２２を有する。また、バッファ１３は、第一系統用バッファ１３１Ａ，１３１Ｂ（これらを包括的に示す際には「第一系統用バッファ１３１」と表記する）と、第二系統用バッファ１３２Ａ，１３２Ｂ（これらを包括的に示す際には「第二系統用バッファ１３２」と表記する）を有する。

第一系統用アンプ１２１および第二系統アンプ１２２は、それぞれ画像センサ１１に接続されており、それぞれには、画像センサ１１が生成した画像信号が、順次入力されるようになっている。そして、第一系統用アンプ１２１に対しては第一系統用バッファ１３１Ａ，１３１Ｂが接続されている。また、第一系統用バッファ１３１Ａ，１３１Ｂはデータ送信部１４に接続されている。画像センサ１１からの画像信号は、第一系統用アンプ１２１にてゲイン調整がなされた後、第一系統用バッファ１３１Ａ，１３１Ｂにおいて一時的に記憶（貯留）されてからデータ送信部１４に入力される。

第一系統用バッファ１３１Ａ，１３１Ｂには、第一系統用アンプ１２１からの画像信号が交互に送られる。図示のように、例えば、第一系統用アンプ１２１から最新のフレームに係る画像信号が第一系統用バッファ１３１Ａに入力されると、その画像データは第一系統用バッファ１３１Ａで一時的に記憶される（図４中、実線矢印ａを参照）。その間に、第一系統用バッファ１３１Ｂにある前回のフレームに係る画像信号がデータ送信部１４に送られ（図４中、実線矢印ｂを参照）、データ送信部１４からデータ受信部２５に転送され、メモリ２２に記憶される。一方、次のフレームに係る画像データは、第一系統用バッファ１３１Ｂに入力され、一時的に記憶される（図４中、破線矢印ｃを参照）。その間に、第一系統用バッファ１３１Ａに貯留されている画像データがデータ送信部１４へと送られ（図４中、破線矢印ｄを参照）、更にはデータ送信部１４からデータ受信部２５に転送されると共にメモリ２２に記憶される。

一方、第二系統用アンプ１２２に対しては第二系統用バッファ１３２Ａ，１３２Ｂが接続されている。また、第二系統用バッファ１３２Ａ，１３２Ｂは前段処理部１６を介してデータ送信部１４に接続されている。前段処理部１６は、先述した前段処理に係る各処理を行う機能を有する電子回路であり、ここではＡＳＩＣ（ Application Specific Integrated Circuit ）として構成されている。第二系統用バッファ１３２Ａ，１３２Ｂは、画
像データの入力元、出力先が異なることを除いて、基本的な機能は第一系統用バッファ１３１Ａ，１３１Ｂと共通する。

第二系統用アンプ１２２から最新のフレームに係る画像信号が第二系統用バッファ１３２Ａに入力されると、その画像データは第二系統用バッファ１３２Ａで一時的に記憶される（図４中、実線矢印ｅを参照）。その間に、第二系統用バッファ１３２Ｂにある前回のフレームに係る画像データに対して前段処理部１６が前段処理を施す（図４中、実線矢印ｆを参照）。そして、前段処理部１６によって前段処理が施された後の画像データである前段処理済み画像データは、データ送信部１４からデータ受信部２５に転送され、メモリ２２に記憶される。一方、次のフレームに係る画像データは、第二系統用バッファ１３２Ｂに入力され、一時的に記憶される（図４中、破線矢印ｇを参照）。その間に、第一系統用バッファ１３２Ａに貯留されている画像データに対して前段処理部１６が前段処理を施す（図４中、破線矢印ｈを参照）。その後、その前段処理済み画像データは、データ送信部１４からデータ受信部２５に転送され、メモリ２２に記憶される。なお、バッファ１３とデータ送信部１４には、画像データをデジタル信号からアナログ信号に変換するデジタルアナログ変換器（図示せず）が設けられている。

以上のように構成される本実施例の画像認識装置１００Ａでは、従来に比べてトータル処理時間の低減を図るべく、前段処理を行う前段処理部１６（ＡＳＩＣ）を、カメラ１Ａ側の回路に統合した点を特徴とする。図５は、実施例１に係る画像認識装置１００Ａが行う画像認識処理のフローを示すフローチャートである。このフローチャートは、例えばメモリ２２内のＲＯＭに格納されたシーケンスプログラムをＣＰＵ２１が実行することにより実現される。

ステップＳ１０１では、画像センサ１１が車両５０の前方を撮像し、画像データ（画像信号）を生成する。画像センサ１１は、予め設定されている周期毎に画像データを生成するところ、この実施形態ではフレームレートが３０ｆｐｓ（frame per second）に設定されている。なお、画像センサ１１の制御は、認識処理ユニット２ＡのＣＰＵ２１からの制御信号に基づいてカメラ制御部１５が画像センサ１１を制御することで行われる。従って、図１では省略しているが、カメラ制御部１５とカメラ１の他の電子部品とは適宜、電気回路等によって接続されている。

ステップＳ１０２では、画像センサ１１からの画像データが、第一系統用バッファ１３１（１３１Ａ，１３１Ｂ）と、第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）のそれぞれに入力され、一時的に記憶される。画像データの詳細な流れについては、図４において既に説明済みのためここでは省略する。画像センサ１１から送られてくる画像データは、前段処理が施されていないものであり、以下「元画像データ」と称する。

ステップＳ１０３では、第一系統用バッファ１３１に一時記憶されている元画像データが、データ送信部１４およびデータ受信部２５を介して転送され、転送された元画像データがメモリ２２に書き込まれる（記憶される）。ここで、メモリ２２には、第一記憶領域〜第三記憶領域が設けられており、カメラ１Ａ側から転送される元画像データは第一記憶領域に書き込まれる。

また、本ステップでは、元画像データの転送処理と並行して、カメラ１Ａ側において第二系統用バッファ１３２に一時記憶されている元画像データに対して、前段処理部１６が先述した前段処理を施す。すなわち、前段処理部１６は第二系統用バッファ１３２における元画像データに輝度調整処理、ノイズ低減処理、二値化処理を行う。第二系統用バッファ１３２は、画像センサ１１が生成した元画像データを最初に一時記憶する記憶領域であり、本発明におけるバッファ部に対応している。

図示の処理フローでは、元画像データの転送処理と前段処理部１６での前段処理が同時に開始される。ここで、元画像データの転送処理と前段処理の双方が終了すると、次のステップＳ１０４において、前段処理部１６が前段処理を施した後の画像データである前段処理済み画像データを、データ送信部１４からデータ受信部２５に転送し、データ受信部２５に転送した前段処理済み画像データをメモリ２２の第二記憶領域に書き込む。

図２にも示したように、通常、転送時間Ｔ１は前段処理時間Ｔ２に比べて長くなる。従って、元画像データの転送処理が完了する前に、通常は前段処理が完了する。この場合、元画像データの転送処理が完了すると同時に、今度は第二系統用バッファ１３２にある前段処理済み画像データが、カメラ１Ａから認識処理ユニット２Ａに転送される。

次に、ステップＳ１０５では、メモリ２２の第二記憶領域に記憶されている前段処理済み画像データに対してターゲット認識処理部２６がターゲット認識処理を施し、その結果を第三記憶領域に保存する。ターゲット認識処理の具体的内容については既述のため、ここでは省略する。本ステップの処理が終了すると、次のステップＳ１０６では、画像認識結果に基づく情報を運転者に提供することで安全運転を支援する。

具体的には、ターゲット認識処理において、車両５０の進路上に障害物となるターゲット、例えば通行人や他車両が存在する場合には、ＣＰＵ２１は、スピーカ５２にその旨を報知するための警報を出力させる。ところで、画像認識装置１００Ａでは、運転者に対して提供する情報のなかに、ターゲット認識処理部２６によるターゲットの認識結果が反映された画像表示が含まれている。ここで、メモリ２２の第一記憶領域には元画像データが記憶され、第三記憶領域にはターゲットの認識結果が記憶されている。認識処理ユニット２ＡのＧＤＣ２４は、第三記憶領域にある認識結果に基づいて、第一記憶領域に記憶している元画像データに対してターゲットの周囲を色付き線で囲む等による強調表示を施し、ターゲット認識結果を追記した画像（以下、認識結果画像という）として表示モニタ５１に出力する。尚、認識結果画像は、ターゲットの認識結果が反映された画像情報に対応する。

また、車両５０の走行車線を区分する白線（区分標示線）をターゲットとして認識することによって、車両５０が走行車線を逸脱する虞がある場合に警報を行う車線逸脱警報装置（LDW）、或いは車線逸脱を防止する車線逸脱防止支援装置（LDP）として機能させることもできる。この場合、車両５０が走行車線を逸脱する虞があるとＣＰＵ２１が判定した場合、スピーカ５２にその旨を報知するための警報を出力させる。また、ＣＰＵ２１は、ＥＣＵ５３を介して、車両５０のステアリング・ホイール（ハンドル）を振動させることで運転者に注意を喚起したり、操舵装置（図示せず）を制御させることで車両５０が走行車線から逸脱しないようにすることも可能である。

本ステップの処理が終了すると、画像認識処理に係るフローを一旦終了する。なお、本フローは、カメラ１Ａのフレームレートに対応する周期毎に繰り返し行われる。

以下、本実施例の画像認識装置１００Ａが実現する効果について、図６を参照して説明する。図６は、本実施形態におけるトータル処理時間を説明する説明図である。なお、同図には、本実施例に係るトータル処理時間のほか、後から参照するために後述する実施例２〜４に係るトータル処理時間も示している。

従来の画像認識装置１００では、常に、カメラ１から元画像データを認識処理ユニット２に転送し、認識処理ユニット２側で元画像データに対して前段処理をまず施し、その後、前段処理済み画像データに対してターゲット認識処理を実施して得られたターゲット認
識結果に基づいて運転者に情報提供を行っていたため、トータル処理時間Ｔｓｕｍ０は常に、元画像データ転送時間Ｔ１＋前段処理時間Ｔ２＋ターゲット認識処理時間Ｔ３となっていた。

これに対して、本実施例の画像認識装置１００Ａでは、前段処理部１６をカメラ１Ａ側に統合し、元画像データの転送処理と並行してカメラ１Ａ側で前段処理を行うことが可能である。そして、元画像データの転送終了後、前段処理済み画像データをカメラ１Ａから認識処理ユニット２Ａに転送することになるが、その転送に要する前段処理後転送時間Ｔ１´は、元画像データの転送時間Ｔ１に比べて顕著に短い時間で済む。これは、元画像データに比べて前段処理済み画像データの容量が極めて小さいことによる。例えば、帯域２７ＭＨｚのアナログ回線でＮＴＳＣフレーム（フレームサイズ720px×480lines）とした
場合に、二値化後の前段処理済み画像データの容量は元画像データの５％程度に相当するため、元画像データの転送時間Ｔ１に比べて前段処理後転送時間Ｔ１´を１／２０程度に短縮することができる。

画像認識装置１００Ａにおけるトータル処理時間Ｔｓｕｍ１は、ｍａｘ（Ｔ１，Ｔ２）＋前段処理後転送時間Ｔ１´＋ターゲット認識処理時間Ｔ３となる。ここで、ｍａｘ（Ｔ１，Ｔ２）は、元画像データ転送時間Ｔ１と前段処理時間Ｔ２のうち長い方の所要時間を意味するものであり、通常は元画像データ転送時間Ｔ１である。従って、トータル処理時間Ｔｓｕｍ１は、前段処理時間Ｔ２から前段処理後転送時間Ｔ１´を差し引いた時間だけ従来のトータル処理時間Ｔｓｕｍ０に比べて、短縮することができる。例えば、Ｔ１＝３３ｍｓ、Ｔ２＝１１ｍｓ、Ｔ３＝２２ｍｓ、Ｔ１´＝１．６ｍｓとすると、従来方式によるトータル処理時間Ｔｓｕｍ０は６６ｍｓとなるところ、本実施例の方式では、トータル処理時間Ｔｓｕｍ１を５６．６ｍｓまで短縮することができる。

尚、元画像データの転送処理と前段処理部１６での前段処理は、当該前段処理の終期が元画像データの転送処理の終期に対して遅くならない限り、必ずしも同時に開始させなくても構わない。但し、元画像データの転送処理及び前段処理の双方を同時に開始させることは前段処理部１６に要求される処理速度の緩和に繋がるため、これによって回路の簡素化すなわち低コスト化の実現が可能となる。

尚、上記のように画像認識処理に係るトータル処理時間を従来に比べて短縮できるということは、トータル処理時間の増大を伴わずに前段処理の内容を充実させたり（ノイズ低減処理に用いるフィルタを複数のパターン試みる等を例示できる）、ターゲット認識処理に費やすことの可能な時間を増大させることができることを意味する。そして、本実施例では、このようにすることでターゲット認識処理に関するターゲットの認識精度を好適に向上させることが可能である（後述する他の実施例についても同様である）。また、本実施例における画像認識装置１００Ａでは、カメラ１Ａ内にバッファを備えているが、必ずしもバッファを備えている必要はない。例えば、画像センサ１１からの元画像データはバッファを介さずデータ送信部１４から転送されても良いし、バッファを介さずに前段処理部１６による前段処理が施された後、同じくデータ送信部１４から転送されても良い。

＜実施例２＞
図７は、実施例２に係る画像認識装置１００Ｂの概略構成を示す図である。図３に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置１００Ｂが運転者に対して提供する情報のなかに、ターゲットの認識結果が反映された認識結果画像の画像表示が含まれていない。そのため、本実施例における車両５０には実施例１で示したような表示モニタが備えられていない。

また、画像認識装置１００Ｂは、カメラ１Ｂとおよび認識処理ユニット２Ｂを含んで構
成されている。カメラ１Ｂおよび認識処理ユニット２Ｂの基本機能は、カメラ１Ａとおよび認識処理ユニット２Ａのそれぞれと同様であるが、ここではその相違点を中心に説明する。

まず、認識処理ユニット２Ｂについては、表示モニタに画像を表示することがないため、ＧＤＣと、メモリ２２における第一記憶領域を備えていない点を除けば実施例１に係る認識処理ユニット２Ａと共通である。また、図８に示すように、カメラ１Ｂは、実施例１で説明した第一系統用アンプ１２１、および第一系統用バッファ１３１（１３１Ａ，１３１Ｂ）が備えられていない。すなわち、画像センサ１１には第二系統用アンプ１２２を経由して第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）が接続されている。また、第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）は、前段処理部１６を介して、データ送信部１４と接続されている。

以上のように構成される画像認識装置１００Ｂでは、画像認識処理において、カメラ１Ｂのデータ送信部１４から認識処理ユニット２Ｂのデータ受信部２５への元画像データの転送は行わず、前段処理済み画像データをデータ送信部１４からデータ受信部２５へと転送する。

より詳しくは、画像センサ１１が生成した元画像データは、アンプ１２（第二系統用アンプ１２２）においてゲイン調整がなされた後、第二系統用バッファ１３２Ａ，１３２Ｂに交互に入力され、これらに一時的に記憶される。そして、前段処理部１６は、第二系統用バッファ１３２にある元画像データに対して先述した前段処理を施す。その後、前段処理済み画像データがデータ送信部１４からデータ受信部２５に転送され、メモリ２２に書き込まれる。例えば、第二系統用バッファ１３２Ａにある元画像データに対して前段処理を施し、そのデータを転送しつつメモリ２２に書き込んでいる間は、次のフレームに対応する元画像データは第二系統用バッファ１３２Ｂに入力され、この第二系統用バッファ１３２Ｂで一時的に貯留される。

認識処理ユニット１Ｂに転送された前段処理済み画像データは、ターゲット認識処理部２６によってターゲット認識処理が実施される。そして、ＣＰＵ２１は、ターゲット認識処理の結果に基づいて運転者に情報提供を行う。運転者に提供する情報については、認識結果画像の画像表示が除外される他は実施例１と同様であり、ここでの説明を省略する。

上記のように、画像認識装置１００Ｂは、運転者に対して認識結果画像の画像表示を行う必要がないため、元画像データを認識処理ユニット１Ｂにわざわざ転送せずに、トータル処理時間の短縮を図るようにしている。画像認識装置１００Ｂにおけるトータル処理時間Ｔｓｕｍ２は、前段処理時間Ｔ２＋前段処理後転送時間Ｔ１´＋ターゲット認識処理時間Ｔ３となる。そのため、実施例１に係る画像認識装置１００Ａよりも更にトータル処理時間を短縮することができる。

実施例１においても説明したように、例えば、Ｔ１＝３３ｍｓ、Ｔ２＝１１ｍｓ、Ｔ３＝２２ｍｓ、Ｔ１´＝１．６ｍｓとすると、従来方式によるトータル処理時間Ｔｓｕｍ０は６６ｍｓ、実施例１に係るトータル処理時間Ｔｓｕｍ１は５６．６ｍｓとなるところ、実施例２に係る方式によればトータル処理時間Ｔｓｕｍ２を３４．６ｍｓまで短縮することができる。

＜実施例３＞
図９は、実施例３に係る画像認識装置１００Ｃの概略構成を示す図である。図３、７に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。画像認識装置１００Ｃは、既述の実施例に係る認識処理ユニットの機能もカメラ１Ｃに統合し
ている。

カメラ１Ｃは、画像センサ１１、アンプ１２、バッファ１３、カメラ制御部１５、前段処理部１６、ＣＰＵ２１、ＧＤＣ２４、ターゲット認識処理部２６を備える。図１０には、バッファ１３とその周辺回路との接続状態を示している。本実施例に係るカメラ１Ｃにおいても、カメラ１Ａと同様に、アンプ１２は第一系統用アンプ１２１および第二系統アンプ１２２を有する。また、バッファ１３は、第一系統用バッファ１３１（１３１Ａ，１３１Ｂ）と、第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）を有する。第一系統用アンプ１２１および第二系統アンプ１２２を経由した第一系統用バッファ１３１（１３１Ａ，１３１Ｂ）、第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）への元画像データの入力態様については、実施例１における図４で説明したものと同様である。

図１０に示すように、第一系統用バッファ１３１（１３１Ａ，１３１Ｂ）にはＧＤＣ２４が接続されている。また、第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）には、前段処理部１６、ターゲット認識処理部２６、およびＣＰＵ２１がそれぞれ接続されている。

画像センサ１１が生成した画像信号は、第一系統用バッファ１３１（１３１Ａ，１３１Ｂ）と第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）のそれぞれに入力される。第一系統用バッファ１３１（１３１Ａ，１３１Ｂ）に入力された元画像データは順次ＧＤＣ２４に送られ、該ＧＤＣ２４から表示モニタ５１に出力される。一方、第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）に一時的に記憶された元画像データには、まず前段処理部１６によって先述した前段処理が施され、その後の前段処理済み画像データにはターゲット認識処理部２６によるターゲット認識処理が施される。

次いで、ＣＰＵ２１は、ターゲット認識処理部２６によるターゲットの認識結果を取得し、その認識結果に基づいて運転者に先述したような種々の情報提供を行う。例えば、ＣＰＵ２１は、車両５０の進路上に障害物、通行人、他車両等が存在する場合には、スピーカ５２から警報音を出力する。また、先述したように車両５０が走行車線から逸脱する虞がある場合には、同じくスピーカ５２から警報音を出力したり、ＥＣＵ５３を介してステアリング・ホイールや操舵装置を制御することで、車線からの逸脱を抑止するための制御を行う。

本実施例に係る画像認識装置１００Ｃでは、カメラ１Ｃが撮像した画像データに前段処理を行う前段処理部１６に加えて、ターゲット認識処理を行うターゲット認識処理部２６もカメラ１Ｃ側の回路に組み込み、統合した。この構成によれば、実施例１および２に係る認識処理ユニットのように、カメラ１Ｃから画像データを転送する必要が一切ない。従って、トータル処理時間を先述した実施例に比べて更に短縮することが可能である。

従って、例えば、既述の実施例において説明したように、例えばＴ１＝３３ｍｓ、Ｔ２＝１１ｍｓ、Ｔ３＝２２ｍｓ、Ｔ１´＝１．６ｍｓとすると、従来方式によるトータル処理時間Ｔｓｕｍ０は６６ｍｓ、実施例１に係るトータル処理時間Ｔｓｕｍ１は５６．６ｍｓ、実施例２に係るトータル処理時間Ｔｓｕｍ２は３４．６ｍｓとなるところ、実施例３に係る方式によればトータル処理時間Ｔｓｕｍ３を前段処理時間Ｔ２＋ターゲット認識処理時間Ｔ３の３３ｍｓまで短縮することができる。

＜実施例４＞
図１１は、実施例４に係る画像認識装置１００Ｄの概略構成を示す図である。図９に示すものと同様の構成については、同じ符号を付けることで詳細な説明は省略する。本実施例に係る画像認識装置１００Ｄはカメラ１Ｄを主要な構成として備えている。そして、運
転者に提供する情報のなかに、カメラ１の撮像したモニタ表示画像が含まれない点で、実施例３に係る画像認識装置１００Ｃと相違する。そのため、本実施例においては、カメラ１Ｄが撮像した画像を表示するためのＧＤＣ、表示モニタ等の装置が設けられていない。

カメラ１Ｄは、画像センサ１１、アンプ１２、バッファ１３、カメラ制御部１５、前段処理部１６、ＣＰＵ２１、ターゲット認識処理部２６を備える。また、図１２には、バッファ１３とその周辺回路との接続状態を示している。本実施例に係るカメラ１Ｄは、カメラ１Ｂと同様、アンプ１２は先述した第二系統アンプ１２２のみからなり、バッファ１３は、第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）のみからなる。実施例３の画像認識装置１００Ｃ（カメラ１Ｃ）が備えていた第一系統アンプおよび第一系統用バッファを画像認識装置１００Ｄ（カメラ１Ｄ）が有していないのは、カメラ１Ｄの撮像した画像をモニタ表示する必要がないためである。

そして、画像センサ１１には第二系統用アンプ１２２を経由して第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）が接続され、この第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）には、前段処理部１６、ターゲット認識処理部２６、およびＣＰＵ２１がそれぞれ接続されている。

画像センサ１１が生成した画像信号は第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）に順次入力され、この第二系統用バッファ１３２（１３２Ａ，１３２Ｂ）に一時的に記憶された元画像データには、まず前段処理部１６によって先述した前段処理が施され、その後の前段処理済み画像データにはターゲット認識処理部２６によるターゲット認識処理が施される。そして、ＣＰＵ２１は、ターゲット認識処理部２６によるターゲットの認識結果を取得し、その認識結果に基づいて運転者に先述したような種々の情報提供を行う。例えば、ＣＰＵ２１は、車両５０の進路上に障害物、通行人、他車両等が存在する場合には、スピーカ５２から警報音を出力する。また、車両５０が走行車線から逸脱する虞がある場合には、スピーカ５２から警報音を出力したり、ＥＣＵ５３を介してステアリング・ホイールや操舵装置を制御することで車線からの逸脱を抑止する制御を行う。

そして、本実施例では、カメラの撮像した画像をモニタ表示するかどうかの違いがあるものの、前段処理を行う前段処理部１６のみならずターゲット認識処理を行うターゲット認識処理部２６もカメラ１Ｄ側に統合する構成を採用する点で実施例３に係る画像認識装置１００Ｃと同様である。よって、カメラ１Ｄから外部装置に画像データを転送する必要が一切なく、トータル処理時間を上記画像認識装置１００Ｃと同等とすることが可能である。

＜実施例５＞
次に、実施例５について説明する。本実施例では、図３に示した画像認識装置１００Ａにおいて行われる画像切り出し処理を説明する。この画像切り出し処理は、前段処理部１６が元画像データに対し前段処理を施す前に事前に行われる処理であって、元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する（絞り込む）処理をいう。なお、ここでは、実施例１に係る画像認識装置１００Ａに画像切り出し処理を実施する場合を説明するが、当該処理は上述までのいずれの実施例に係る画像認識装置（１００Ａ〜１００Ｄ）に対しても適用することができる。

車載用の画像認識装置においては、カメラ１Ａの撮像した画像のフレーム領域内に、必ずしもターゲット認識処理を行う必要のない領域（以下、「画像認識不要領域」という）が存在する。例えば、自車両５０におけるボンネットの像や上空の像が映し出される部分の領域はそもそもターゲットが存在しないと考えられる。そのため、画像認識装置１００Ａでは、上記した画像認識不要領域に対しては、その領域内にターゲットが存在するのか
否かの検出を行わないことにした。

以下、画像切り出し処理に係る具体的な処理内容について説明する。図１３は、本実施例に係る画像認識処理のフローを示すフローチャートである。なお、図５で説明した処理フローにおいて同じ内容の処理が行われるステップについては、共通の符号を付すことでその説明を省略するものとする。

ステップＳ１０１、Ｓ１０２の処理が終了すると、ステップＳ２０１に進む。ステップＳ２０１において、ＣＰＵ２１はＥＣＵ５３から車両５０の車両情報を取得する。ここで、車両情報とは、車両５０の諸寸法、形状等（車高、車幅、ボンネットの形状やその寸法、位置等）を含む情報である。

ステップＳ２０２において、ＣＰＵ２１は、ステップＳ２０１で取得した車両情報をカメラ制御部１５に受け渡す。言い換えると、本ステップでは、カメラ制御部１５が車両情報をＣＰＵ２１から取得する。

図１４は、カメラが取得した元画像データにおけるフレーム領域（フレームの全領域）Ａａｏｆを表示したものである。図中には、フレーム下部領域Ａｂｏｆ、フレーム上部領域Ａｔｏｆ、前段処理対象領域Ａｔｇｔ等が示されている。また、同図の符号Ｐｏｈは地平線位置を示したものである。

カメラ１Ａの車室内での取り付け位置や、取り付け角度などは予め決まっているため、上述した車両情報に基づいて、車両５０のボンネットの像が主に写り出されるフレーム下部領域Ａｂｏｆや、上空の像が主に映し出されるフレーム上部領域Ａｔｏｆを割り出すことができる。そこで、続くステップＳ２０３において、カメラ制御部１５は、ＣＰＵ２１から取得した車両情報に基づいて、フレーム下部領域Ａｂｏｆおよびフレーム上部領域Ａｔｏｆを導出する。なお、図示のように、フレーム上部領域Ａｔｏｆは、地平線位置Ｐｏｈに所定のマージン幅Ｍｒｇを加えた位置より上部の領域として求められる。

ステップＳ２０４では、カメラ制御部１５は、フレーム領域Ａａｏｆから画像認識不要領域（フレーム下部領域Ａｂｏｆ、フレーム上部領域Ａｔｏｆ）を除外した領域として前段処理対象領域Ａｔｇｔを決定する。前段処理対象領域Ａｔｇｔは、図１４に示すように、フレーム下部領域Ａｂｏｆとフレーム上部領域Ａｔｏｆの間に挟まれている領域として求めることができる。本実施例では、前段処理対象領域Ａｔｇｔを決定するカメラ制御部１５が本発明の情報処理部に対応している。

次に、ステップＳ２０５において、前段処理部１６は、フレーム領域Ａａｏｆからカメラ制御部１５が決定した前段処理対象領域Ａｔｇｔだけ残し、その他の領域（画像認識不要領域）を元画像データから削除することで、画像切り出し処理を実施する。本ステップの処理が終了すると、ステップＳ１０３に進み、元画像データの転送処理と並行して、画像切り出し処理後の元画像データに対して前段処理部１６が前段処理を施す。その後の各ステップの処理は既述した通りである。

以上述べた画像切り出し処理によれば、前段処理を施す領域を限定することができるため、フレーム領域Ａａｏｆ全体に前段処理を行う場合に比べて、前段処理に要する時間（つまり、前段処理時間Ｔ２）をより短縮することができ、以ってトータル処理時間を一層短くすることが可能である。言い換えると、トータル処理時間の増大を伴わずに、元画像デに対する前段処理をより一層念入りに行うことができる。つまり、例えば画像切り出し処理を行わない場合と前段処理に費やす時間を変更せず、ノイズ低減処理に用いるフィルタを複数のパターン試みる等、前段処理の内容を充実させるようにしても良い。これによ
り、前段処理済み画像データに対して行われるターゲット認識処理に関するターゲットの認識精度を向上させることができる。

（第一変形例）
次に、本実施例に係る第一変形例について説明する。上記の例では、画像認識不要領域を車両情報に基づいて決定したが、第一変形例では走行情報に基づいて決定する。例えば、自車両５０の前方に他車両や歩行者（例えば、道路を横断する通行人）、落下物等が存在する場合であっても、これらターゲットの自車両５０からの距離が過度に遠い場合や、逆に過度に近い場合には、以下の理由によりターゲットに関する情報を運転者に提供する必要がないと考えられる。

例えば、ターゲットが車両５０から過度に遠い場合には、双方の距離が適正距離となってから運転者にターゲットの存在を知らしめれば情報提供を行えば良いと考えられる。また、このように、ターゲットがまだ車両５０から遠いうちから警報などを行うと、運転者に不快感を与えたり、真に運転者にとって知らせるべき重要な情報と、あまり重要でない情報とが錯綜する虞がある。なお、上記の適正距離とは、画像認識処理の結果に基づく情報提供を運転者に行った場合に、運転者がその情報内容を把握（理解）し、危険が差し迫っている場合にはその危険を回避するための操作をする時間を充分に確保可能な距離である。

一方、ターゲットが車両５０から過度に近い場合には、たとえターゲットの存在を運転者に知らしめたとしても、運転者がターゲットに接触するまでに上記回避操作を行うことが困難と考えられる。そこで、第一変形例においては、自車両５０との距離が過度に遠い位置、又は近い位置のターゲットは、ターゲット認識処理に係る対象から外すことにした。

図１５は、第一変形例に係る画像認識処理のフローを示すフローチャートである。なお、図１３と同じ内容のステップについては、共通の符号を付すことでその説明を省略するものとする。

ステップＳ１０１、Ｓ１０２の処理が終了すると、ステップＳ３０１に進む。ステップＳ３０１において、ＣＰＵ２１は図示しない車速センサから車両５０の走行情報を取得する。ＥＣＵ５３には、図示しない車速センサが配線接続されており、車両５０の車速に対応する信号がＥＣＵ５３に入力されるようになっている。ＣＰＵ２１は、ＥＣＵ５３にアクセスすることで、走行情報としての車速を取得する。

ステップＳ３０２において、ＣＰＵ２１は、ステップＳ３０１で取得した車両情報と走行情報を、カメラ制御部１５に受け渡す。言い換えると、本ステップでは、カメラ制御部１５が走行情報（車速）をＣＰＵ２１から取得する。

次に、ステップＳ３０３において、カメラ制御部１５は、遠方除外領域Ａｆｏｆおよび近接除外領域Ａｎｏｆを導出する。図１６は、カメラが取得した元画像データにおけるフレーム領域Ａａｏｆを表示したものであり、遠方除外領域Ａｆｏｆおよび近接除外領域Ａｎｏｆが示されている。

近接除外領域Ａｎｏｆ（所定の近接領域に対応）は、ターゲットに対する車両の到達時間が、車両を運転者が操作してターゲットを回避するのに要する所定の第一設定時間Ｐｔｍ１以下になる領域である。一方、遠方除外領域Ａｆｏｆは、ターゲットに対する車両の到達時間が、上記第一設定時間Ｐｔｍ１よりも長い時間として設定された所定の第二設定時間Ｐｔｍ２以上になる領域であり、ターゲットが車両５０から遠くにあるうちに警報な
どを行うことによって運転者に不快感を与えたり、情報の錯綜が起こることを回避する観点から定められている。

ここで、車両５０の車速が速いほど、遠方除外領域Ａｆｏｆがより狭い領域として、近接除外領域Ａｎｏｆがより広い領域として導出される。言い換えると、車両５０の車速が遅いほど、遠方除外領域Ａｆｏｆがより広い領域として、近接除外領域Ａｎｏｆがより狭い領域として導出される。車両５０の車速が速いほど、車両５０からより離れた位置に存在するターゲットも運転者に報知する必要があるため、遠方除外領域Ａｆｏｆに相当する領域を狭くするようにした。一方、車両５０にターゲットが近接する場合、車両５０の車速が速いほどターゲットを回避することが難しくなるため、近接除外領域Ａｎｏｆについては車両５０の車速が速いほど対応する領域を拡大させるようにした。

ステップＳ３０４において、カメラ制御部１５は、フレーム領域Ａａｏｆから画像認識不要領域（遠方除外領域Ａｆｏｆ、近接除外領域Ａｎｏｆ）を除外した領域として前段処理対象領域Ａｔｇｔを決定する。尚、図１６に示すように、前段処理対象領域Ａｔｇｔは実質的に、遠方除外領域Ａｆｏｆおよび近接除外領域Ａｎｏｆの間に挟まれた部分の領域として求めることができる。本変形例では、前段処理対象領域Ａｔｇｔを決定するカメラ制御部１５が本発明の情報処理部に対応している。

次に、ステップＳ３０５において、前段処理部１６は、フレーム領域Ａａｏｆからカメラ制御部１５が決定した前段処理対象領域Ａｔｇｔだけ残し、その他の領域（画像認識不要領域）を削除することで、画像切り出し処理を実施する。本ステップの処理が終了すると、ステップＳ１０３に進み、元画像データの転送処理と並行して、画像切り出し処理後の元画像データに対して前段処理部１６が前段処理を施す。その後の各ステップの処理は既述した通りである。

（第二変形例）
次に、第二変形例を説明する。この場合、ＣＰＵ２１は、車両５０の舵角センサ（図示せず）が検出するステアリングの操作角度を取得する。なお、上記舵角センサはＥＣＵ５３と電気的に接続されており、ステアリングの操作角度に対応する信号がＥＣＵ５３に入力されるようになっている。ＣＰＵ２１は、ＥＣＵ５３にアクセスすることで、ステアリングの操作角度を取得することができる。そして、ＣＰＵ２１は、ステアリングが基準角度よりも左に操作されている場合には、車両５０の右側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。逆に、ステアリングが基準角度よりも右に操作されている場合には、車両５０の左側方に位置する領域に存在するターゲットを認識する必要がないため、その領域を画像認識不要領域に設定して、画像切り出し処理を実施しても良い。

（第三変形例）
図１７は、実施例５の第三変形例に係る画像認識装置１００Ｅの概略構成を示す図である。図示の画像認識装置１００Ｅは、カメラ１Ｅおよび認識処理ユニット２Ａを含んで構成されている。この認識処理ユニット２Ａは、図３に示したものと共通のハード構成となっている。また、カメラ１Ｅは、第二メモリ１７を備える点以外は図３に示したカメラ１Ａとハード構成は同等である。

本実施例では、直近のフレームへの画像認識結果（ターゲット認識処理の結果）に基づいて、フレーム領域Ａａｏｆ内においてターゲットが存在する可能性の高い領域（以下、「ターゲット存在領域」という）を決定し、このターゲット存在領域内のコントラストを増大させる処理（以下、「コントラスト増大処理」という）を、前段処理の前に実施する。ここでは、上述した画像切り出し処理の実施後、前段処理の実施前にコントラスト増大
処理を実施する場合を例に説明するが、画像切り出し処理の実施を省略することも可能である。

各フレームの画像データに対するターゲット認識処理が完了すると、認識されたターゲットが引き続き存在する可能性が高い領域の座標（以下、「ターゲット領域座標」という）が、ＣＰＵ２１、カメラ制御部１５を経て、順次、第二メモリ１７に書き込まれるようになっている。このターゲット領域座標は、例えばターゲット認識処理によって認識されたターゲットを囲む矩形枠等に囲まれる領域の座標として置き換えても良い。

図示のように、第二メモリ１７は前段処理部１６に接続されている。前段処理部１６は、元画像データに画像切り出し処理を施した後、直近（一サイクル前）のフレームに対応するターゲット領域座標を第二メモリ１７から読み出すことで、ターゲット存在領域を取得する。次いで、前段処理部１６は、取得したターゲット存在領域内におけるコントラストを増大させることでコントラスト増大処理を実施する。これによれば、先行する画像認識処理の結果に基づいてターゲットが存在する可能性の高い画面内の領域を予測し、その領域内のコントラストを強めておくことができるので、ターゲット認識処理に係るターゲットの認識精度を向上させることができる。

尚、コントラスト増大処理の対象となるターゲットの設定は、ターゲット認識処理において検出する優先度が高い動的なターゲット（他車両や歩行者等）に限定して行っても良い。これによれば、ターゲット認識処理の実施に際して、動的なターゲットに係る認識精度を優先して高めることが可能である。なお、本実施例に係る処理内容、および第一乃至第三変形例に係る処理内容は適宜、組み合わせて実施することができる。

以上、本発明の実施形態を説明したが、本発明に係る画像認識装置はこれらに限らず、可能な限りこれらの組合せを含むことができる。また、本発明の本旨を逸脱しない範囲内において上記した実施形態には種々の変更を加えてもよい。例えば、本実施形態に係る前段処理、ターゲット認識処理はＡＳＩＣによって行うようにしたが、ＣＰＵ等によって実施されても良いのは勿論である。

１Ａ，１Ｂ，１Ｃ，１Ｄ・・・カメラ
２Ａ，２Ｂ，２Ｃ，２Ｄ・・・認識処理ユニット
１１・・・画像センサ
１２・・・アンプ
１３・・・バッファ
１４・・・データ送信部
１５・・・カメラ制御部
１６・・・前段処理部
２１・・・ＣＰＵ
２２・・・メモリ
２４・・・ＧＤＣ
２５・・・データ受信部
２６・・・ターゲット認識処理部
５０・・・車両
５１・・・表示モニタ
５２・・・スピーカ
５３・・・ＥＣＵ
１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ・・・画像認識装置

Claims (9)

1. 車載されたカメラにより撮像された画像データへの画像認識処理の結果に基づき、運転者に対して情報提供を行う画像認識装置であって、
   前記画像認識処理は、前記画像データに含まれる特定のターゲットを認識するターゲット認識処理と、該ターゲット認識処理によるターゲットの認識を補助するために該ターゲット認識処理に先行して行われる所定の前段処理とを含んでおり、
   前記カメラは少なくとも、
   画像データを生成する画像センサと、
   前記画像センサが生成した画像データであって前記前段処理が施される前の画像データである元画像データに対して前記前段処理を施す前段処理部と、
   を有する、画像認識装置。
2. 前記カメラは、前記画像センサが生成した前記元画像データを一時記憶するバッファ部を更に有し、
   前記前段処理部は前記バッファ部における前記元画像データに対して前記前段処理を施す、請求項１に記載の画像認識装置。
3. 前記カメラとは別体の認識処理ユニットを更に備え、
   前記カメラは、前記前段処理部が前記元画像データに前記前段処理を施した後の前段処理済み画像データを送信する送信部を更に有し、
   前記認識処理ユニットは、前記カメラの前記送信部から転送される前記前段処理済み画像データを受信する受信部と、
   前記受信部が受信した前記前段処理済み画像データを記憶するメモリ部と、
   前記メモリ部に記憶された前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部と、
   を有する、請求項１又は２に記載の画像認識装置。
4. 前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれる場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送処理と、前記カメラにおける前記前段処理部での前記前段処理とが、並行して行われる、請求項３に記載の画像認識装置。
5. 前記元画像データの転送処理と前記前段処理部での前記前段処理が同時に開始される、請求項４に記載の画像認識装置。
6. 前記運転者に対して提供する情報のなかに、前記ターゲット認識処理部による前記ターゲットの認識結果が反映された画像表示が含まれない場合には、前記カメラの前記送信部から前記認識処理ユニットの前記受信部への前記元画像データの転送は行わず、前記前段処理済み画像データを前記カメラの前記送信部から前記認識処理ユニットの前記受信部へと転送する、請求項３に記載の画像認識装置。
7. 前記カメラは、前記前段処理済み画像データに対して前記ターゲット認識処理を施すターゲット認識処理部を更に有する、請求項１又は２に記載の画像認識装置。
8. 前記前段処理部は、前記元画像データに対し前記前段処理を施す前に、該元画像データのフレーム領域から該前段処理を施す対象となる前段処理対象領域を限定する画像切り出し処理を施す、請求項１から７のいずれか一項に記載の画像認識装置。
9. 自車両の走行状態に関する走行情報、および車両情報のうち少なくともいずれか一方を取得し、取得した情報に基づいて、前記前段処理部が前記前段処理を施す対象とする前段処理対象領域を決定する情報処理部を、更に備える、請求項８に記載の画像認識装置。

Images