JP5267794B2 - 画像処理装置及び車載カメラ装置 - Google Patents

Description

本発明は、ＣＣＤ等の撮像素子で取得した画像を処理する画像処理装置、及び、該画像処理装置を備えた車載カメラ装置に関する。

近年、車のブラインドコーナーモニタやバックモニタなどの用途に向けて車載カメラ装置の需要が増大している。このような車載カメラ装置の撮影環境はいつも明るいとは限らず、暗い時もあり、暗い撮影環境では画面の明度が不足するため、何らかの対策が必要となる。

従来からＣＣＤ等の撮像素子を用いたカメラ装置において、画面の明度が不足している場合、撮像素子のＡＧＣ（オートゲインコントロール）回路のゲインを上げて、暗部でも明るい画像を得る方法が一般に行われている（例えば、特許文献１参照）。一方、その際に問題となるのがノイズの増加である。これを避けるため、従来より暗部でローパスフィルタを働かせてノイズを低減する手法が一般に用いられていた。また、ＩＩＲ（無限インパルス応答）フィルタを用いて、比較的小さい回路規模でローパスフィルタを実現することも一般に行われている（例えば、特許文献２参照）。

したがって、車載カメラ装置などにＩＩＲフィルタを備えれば、暗部でゲインを上げて画像の明度を一定に保つと同時にノイズを低減することが可能になる。

特開平０４−２４７７７７号公報 特開２００５−１８４７８６号公報

一般に車載カメラ装置などには広画角の光学系が用いられ、その画像処理部には、光学系による解像度の劣化を補正する目的で、ＦＩＲ（有限インパルス応答）フィルタなどの高域強調フィルタが具備されているが、この高域強調フィルタには数ライン分のラインバッファが必須である。一方、ノイズで抑止するためにＩＩＲフィルタでローパスフィルタを実現する場合には、新たにラインバッファが必要となる。しかしながら、近年の撮像素子の高画素化により、ラインバッファの必要容量も大きく増加し、ＩＩＲフィルタのために新たにラインバッファを用意すると、回路規模の増大を招くことになる。

本発明の目的は、回路規模の増大を招くことなく、光学系により落ち込んだ画像の高域周波数成分を強調する共に暗部でのノイズ低減を実現し、低コスト、低消費電力の画像処理装置、及び、該画像処理装置を備えた車載カメラ装置を提供することにある。

請求項１の発明は、撮像素子で取得した画像情報を処理する画像処理装置であって、画像情報を一時的に順次格納するラインバッファと、前記ラインバッファを用いて、画像情報の空間周波数特性を整形するＦＩＲ（有限インパルス応答）フィルタと、処理済み画像情報をフィードバックするために必要なバッファメモリを、前記ラインバッファで前記ＦＩＲフィルタと兼用するＩＩＲ（無限インパルス応答）フィルタと、画像情報のノイズ量を検出するノイズ量検出手段と、前記ノイズ量の検出結果に基づき、前記ＦＩＲフィルタあるいは前記ＩＩＲフィルタによる処理を選択する選択手段とを有することを特徴とする。これにより、新たにＩＩＲフィルタにラインバッファが必要なく、回路規模を小さくできると共に、ノイズ量に応じてＦＩＲフィルタとＩＩＲフィルタを切り替えて、ノイズ量が少ない場合の解像度の低下を防ぐことができる。

請求項２の発明は、前記ＦＩＲフィルタは、画像情報の高域周波数成分を強調するエッジ強調フィルタであることを特徴とする。また、請求項３の発明は、前記ＩＩＲフィルタは、ノイズを低減するローパスフィルタであることを特徴とする。

請求項４の発明は、前記ノイズ量検出手段は、前記撮像素子のＡＧＣ回路のゲインをもとにノイズ量を検出することを特徴とする。また、請求項５の発明は、前記ノイズ量検出手段は、画像の平均明度よりノイズ量を検出することを特徴とする。これにより、簡易にノイズ量を検出することが可能である。

請求項６の発明は、前記選択手段は、ノイズ量が小さい場合には、前記ＦＩＲフィルタをオン、前記ＩＩＲフィルタをオフとして、前記ラインバッファの出力側が前記ＦＩＲフィルタの入力側と接続し、ノイズ量が大きい場合には、前記ＩＩＲフィルタをオン、前記ＦＩＲフィルタをオフとして、前記ＩＩＲフィルタの出力側を前記ラインバッファの入力側と接続すると共に、前記ラインバッファの出力側を前記ＩＩＲフィルタの入力側に接続することを特徴とする。これにより、ＦＩＲフィルタとＩＩＲフィルタとでラインバッファを兼用する具体的構成が実現される。

請求項７の発明は、光学系と、前記光学系を通して撮像された画像を読み取る撮像素子と、前記撮像素子で読み取られた画像情報を処理する請求項１乃至６いずれか１項に記載の画像処理装置と、前記画像処理装置で処理された画像情報を表示する表示装置とを具備してなる車載カメラ装置を特徴とする。これにより、広画角の光学系を用いた場合にも、高画質で、低コスト、低消費電力の車載カメラ装置を提供できる。

ＣＣＤ等の撮像素子で取得した画像を処理する画像処理装置、及び、該画像処理装置を備えた車載カメラ装置において、回路規模の増大を招くことなく、光学系により落ち込んだ画像の高域周波数成分を強調する共に暗部でのノイズ低減が可能となる。

以下、本発明の一実施の形態について図面を用いて詳しく説明する。実施形態は、高画角で倍率色収差と歪曲収差の大きい光学系を用いて被写体を撮像する画像撮像装置とし、その画像処理系は、本発明に関係するＭＴＦ補正に加えて、倍率色収差補正や歪曲収差補正なども行う構成とするが、この構成に限定されるものではない。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

図１に、本発明を適用した画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。本画像撮像装置は、外に操作部、画像記憶部、画像表示部（モニタ）などを備えているが、図１では省略してある。本画像撮像装置は、車載カメラ装置として使用することを想定しているが、一般に用途はそれに限らない。

図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。該制御部１００は更に、ＡＧＣ回路１２０のゲインやＭＴＦ補正部１６０で得られる輝度信号などをもとに画像のノイズ量を検出するノイズ量検出手段１０２、該ノイズ量検出手段１０２の検出結果に基づいてＭＴＦ補正部１６０内の後述するＩＩＲフィルタ及びＦＩＲフィルタの機能をオンオフする切替信号を生成する切替信号生成手段１０４を有している。

撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画素信号）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画素信号が、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号を入力として撮像素子１１０の内部で生成して、撮像素子１１０から順次、後段に与えることでもよい。

ＡＧＣ回路１２０は、撮像素子１１０から出力されたアナログ信号の画素信号を所定の値に増幅する。該ＡＧＣ回路１２０のゲイン量は画面の要求明度とノイズ量とのトレードオフにより適した値に決定される。後述するように、一実施形態では、制御部１００内のノイズ量検出手段１０２は、このＡＧＣ回路１２０のゲイン量を基に画像のノイズ量を検出する。

Ａ／Ｄ変換器１３０は、ＡＧＣ回路１２０で増幅されたアナログ信号としてのベイヤー配列のＲＧＢ画素信号をデジタル信号（画素データ）に変換してベイヤー補完部１４０に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。

ベイヤー補完部１４０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画素データを入力して、ＲＧＢ各色独立に、全座標位置の画素データを線形補完によって生成し、倍率色収差補正部１５０に送出する。

なお、本実施形態ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要となる。

倍率色収差補正部１５０は、ベイヤー補完されたＲＧＢ画素データを入力して、所定の多項式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画素データを出力する。後述するように、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。

ＭＴＦ補正部１６０は、後述するようにエッジ強調フィルタとしてのＦＩＲフィルタとノイズ低減フィルタとしてのＩＩＲフィルタを備えている。該ＭＴＦ補正部１６０は、倍率色収差補正されたＲＧＢ画素データを入力して、それを輝度信号Ｙと色信号Ｃｂ，Ｃｒに変換した後、通常はＦＩＲフィルタを用いてＹ信号について高域強調（エッジ強調）処理を施し、一方、画像のノイズ量が増加すると、ＩＩＲフィルタを用いてＹＣｂＣｒ信号についてノイズ低減処理を施し、該エッジ強調あるいはノイズ低減されたＹＣｂＣｒ信号をＲＧＢ信号（ＲＧＢ画素データ）に逆変換して出力する。本発明は、このＭＴＦ補正部１６０のＦＩＲフィルタとＩＩＲフィルタ部分の構成にかかる。なお、後述するように、一実施形態では、制御部１００内のノイズ量検出手段１０２は、このＭＴＦ補正部１６０で得られる輝度信号Ｙにより画像の平均明度を求めてノイズ量を検出する。

歪曲収差補正部１７０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画素データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画素データを出力する。後述するように、歪曲収差補正の座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。

ガンマ補正部１８０は、歪曲収差補正部１７０から出力されるＲＧＢ画素データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画素データを出力する。ガンマ補正部１８０から出力された画素データは、図示しない表示部にモニタ表示される。

図１の構成により、色倍率収差および歪曲収差があり、高画角の光学系を用いた場合にも、高画質で、回路規模が小さい低コストな撮像システムを提供できる。また、暗部でゲインが増大して画像のノイズ量が増加する場合にも、ノイズ量を抑止できる。なお、倍率色収差補正部１５０は、倍率色収差と歪曲収差を同時に補正する倍率色収差・歪曲収差補正部とすることでもよく、この場合には歪曲収差補正部１７０は不要となる。また、ガンマ補正部１８０はベイヤー補完部１４０の直後でもよい。

以下では、図１中の主要構成である倍率色収差補正部１５０、ＭＴＦ補正部１６０及び歪曲収差補正部１７０の具体的実施例について詳述する。
はじめに、倍率色収差補正部１５０と歪曲収差補正部１７０について詳述するが、まず、倍率色収差補正と歪曲収差補正の原理を説明する。

図２に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画素データは、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画素データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。ここで、２，３，４の位置が座標変換元の座標、１の位置が座標変換先の座標となる。

光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。

図３は倍率色収差と歪曲収差を同時に補正する方法を模式的に示したものである。すなわち、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画素データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正することができる。しかしながら、この方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図３の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。

図４は倍率色収差と歪曲収差とを独立に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、ＲＧＢ各色成分の画素データをそれぞれ座標変換して（後述の実施例では、ＲＢの色成分を座標変換して、Ｇ成分の位置にコピーする）、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画素データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。図１のシステム構成は、この場合に対応する。

図４の（ａ）は倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画素データについて座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図４の（ｂ）は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画素データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。

図４の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図３に比較して、全体しては低コスト化が可能となる。

なお、ここで対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。

図５に倍率色収差補正部１５０の一実施形態の構成図を示す。１５１０は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１５２０は所定の座標変換式に従いＲＧＢそれぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１５３０は座標変換式に使用される係数を保持する座標変換係数テーブルである。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットであり、座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）は、小容量であるため、画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

倍率色収差を受けた各ＲＧＢ画素データが、座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画素データが書き込まれると、先頭ラインの画素データから順次捨てられ、代って後続ラインの画素データが新しく書き込まれていく。こうして、座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画素データが順次格納される。

ここで、座標値（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値（ｘ，ｙ）をそのまま座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）の書込みアドレスに使用することができない。このため、座標値（ｘ，ｙ）の値を、座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）の実アドレスに変換する必要があるが、図５ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値（Ｘ，Ｙ）と座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換算出部１５２０は、座標変換先座標である座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの座標変換元座標である座標値（Ｘ，Ｙ）を出力する。図４（ａ）に示したように、本実施形態では、ＲＢの色成分を座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１５２０では、Ｇ成分については、入力された座標値（ｘ，ｙ）をそのまま座標値（Ｘ，Ｙ）として出力し、ＲＢ色成分について、所定の座標変換式を用いてそれぞれ入力された座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ）に変換し、この座標値（Ｘ，Ｙ）を出力する。これを座標値（ｘ，ｙ）ごとに繰り返す。

ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（１）
と表わすことができる。ａｂｓ（ ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル１５３０に保持される。

座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１５２０から出力される座標値（Ｘ，Ｙ）に基づいて（実際には、座標値（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画素データを順次読み出していく。この場合、座標変換メモリ１５１０（Ｇ）からは、書込み時と同じ位置のＧ成分画素データが読み出される。一方、座標変換メモリ１５１０（Ｒ），１５１０（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画素データが読み出される。

以上の処理により、座標変換メモリ１５１０（Ｒ），１５１０（Ｇ），１５１０（Ｂ）からは、倍率色収差補正されたＲＧＢ画素データが出力されることになる。すなわち、座標変換元座標値（Ｘ，Ｙ）のＲＧＢ画素データが、座標変換先座標値（ｘ，ｙ）のＲＧＢ画素データとして出力される。

図６は倍率色収差補正座標変換演算部１５２０の二、三の実施例を示したものである。図６（ａ）は、Ｇの色成分は座標変換を行われず、入力された座標値（ｘ，ｙ）をそのまま、Ｇ用座標値（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１５２１、１５２２により、入力された座標値（ｘ，ｙ）を変換して、Ｒ用座標値（Ｘ，Ｙ）、Ｂ用座標値（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲとＢ色成分のみでよいため、回路規模が少なくてすむ。

図６（ｂ），（ｃ）は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図２）。ここで、図６（ｂ）は、座標変換演算部１５２３により、座標値（ｘ，ｙ）について補正量を求め、減算部１５２４で補正量分だけ座標値（ｘ，ｙ）から減算した値をＢ用座標値（Ｘ，Ｙ）とし、一方、加算部１５２５で補正量分だけ座標値（ｘ，ｙ）に加算した値をＲ用座標値（Ｘ，Ｙ）とする実施例である。図６（ａ）と同様に、Ｇ用座標値（Ｘ，Ｙ）には入力座標値（ｘ，ｙ）をそのまま出力する。

図６（ｃ）は、対称位置のずれを考慮し、さらにゲイン回路１５２６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図６（ｂ），（ｃ）の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。

なお、図６（ａ）の座標変換演算部１５２１、１５２２のかわりにＲとＢの各色成分毎に入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図６（ｂ），（ｃ）の座標変換演算部１５２３のかわりに入力座標値（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標値（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。

次に、図７に歪曲収差補正部１７０の一実施形態の構成図を示す。１７１０はＲＧＢ３つの画素データを一つに合成するＲＧＢ合成部、１７２０はＲＧＢ画素データに共通の歪曲収差補正用座標変換メモリ、１７３０は合成されたＲＧＢ画素データを元の各色成分に分離するＲＧＢ分離部、１７４０は合成されたＲＧＢ画素データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１７５０は座標変換式に使用される係数を保持する座標変換係数テーブルである。

歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画素データを最大１画面分記憶しておくバッファメモリが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画素データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画素データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ１７２０は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。

このように、歪曲収差補正用座標変換メモリ１７２０は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。

ＲＧＢ合成部１７１０は、順次、倍率色収差補正済みの各ＲＧＢ画素データ（各８ビット）を入力し、一つの画素データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画素データが、座標変換メモリ１７２０に、それぞれ座標変換先の座標値（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。

一方、歪曲収差補正座標変換演算部１７４０は、座標変換先の座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（１）式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル１７５０に保持される。

座標変換メモリ１７２０は、先のＲＧＢ合成画素データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１７４０から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画素データを順次読み出していく。ＲＧＢ分離部１７３０は、座標変換メモリ１７２０から読み出されたＲＧＢ合成画素データ（２４ビット）を元のＲＧＢ各色成分の画素データ（８ビット）に分離する。

以上の処理により、ＲＧＢ分離部１７３０からは、歪曲収差の補正された各ＲＧＢ画素データが出力されることになる。すなわち、各ＲＧＢ画素データが本来の位置である座標値（ｘ，ｙ）にコピーされる。

なお、歪曲収差補正処理でも、入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。

次に、ＭＴＦ補正部１６０について説明する。図８に示すように、ＭＴＦ補正部１６０はＲＧＢ／ＹＣｂＣｒ変換部１６１０とフィルタリング部１６２０とＹＣｂＣｒ／ＲＧＢ変換部１６３０とからなる。

ここで、ＹＣｂＣｒ／ＲＧＢ変換部１６１０では、例えば次式により、入力されたＲＧＢ画素データを輝度信号Ｙと色信号Ｃｒ，Ｃｂに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （２）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （３）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （４）

フィルタリング部１６２０は、エッジ強調フィルタ（ＦＩＲフィルタ）とノイズ低減フィルタ（ＩＩＲフィルタ）を備えて、通常はＦＩＲフィルタにて輝度信号Ｙについて高域強調（エッジ強調）処理を施し、画像のノイズ量が増加すると、ＩＩＲフィルタにてＹＣｂＣｒ信号についてノイズ低減処理を施す。本発明の特徴は該フィルタリング部１６２０の構成にある。このフィルタリング部１６２０の具体的構成、動作については後で詳述する。

ＹＣｂＣｒ／ＲＧＢ変換部１６３０は、高域強調あるいはノイズ低減されたＹＣｂＣｒ信号を入力して、例えば次式によりＲＧＢ画素データに逆変換して出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （５）
Ｇ＝Ｙ−０.７１４Ｃｒ−０．３４４Ｃｂ （６）
Ｂ＝Ｙ＋１.７７２Ｃｂ （７）
なお、後段への出力がＲＧＢ信号ではなく、輝度信号Ｙと色信号ＹＣｂＣｒの出力の方が望ましい場合には、ＹＣｂＣｒ／ＲＧＢ変換部１６３０は省略される。

図９に、ＭＴＦ補正部１６０内のフィルタリング部１６２０の具体的構成図を示す。図９に示すように、フィルタリング部１６２０は、ノイズ低減フィルタとしてのＩＩＲ（有限インパルス応答）フィルタ１６２１、エッジ強調フィルタとしてのＦＩＲ（無限インパルス応答）フィルタ１６２２、これらＩＩＲフィルタ１６２１とＦＩＲフィルタ１６２２とで共用されるラインバッファ１６２３、及び、スイッチＳＷ，ＳＷ２で構成される。

ここで、スイッチＳＷ１とＳＷ２には、制御部１００内の切替信号生成手段１０４（図１）から切替信号が与えられている。切替信号の生成については後述するが、該切替信号に基づき、通常の画像のノイズが小さい場合には、スイッチＳＷ１はＩＩＲフィルタ１６２１をオフとして、入力されたＹＣｂＣｒ信号をそのままラインバッファ１６２３に送出し、また、スイッチＳＷ２はＦＩＲフィルタ１６２２をオンとして、該ＦＩＲフィルタ１６２２からのＹＣｂＣｒ信号を出力側に送出する。一方、画像のノイズが大きい場合には、スイッチＳＷ１はＩＩＲフィルタ１６２１をオンに切り替えて、ＩＩＲフィルタ１６２１からのＹＣｂＣｒ信号をラインバッファ１６２３に送出し、また、スイッチＳＷ２はＦＩＲフィルタ１６２２をオフに切り替えて、ラインバッファ１６２３からのＹＣｂＣｒ信号をそのまま出力側に送出する。このように、スイッチＳＷ１，ＳＷ２は、ＦＩＲフィルタ１６２２あるいはＩＩＲフィルタ１６２１による処理を選択する選択手段として機能する。

ラインバッファ１６２３は、ノイズ低減用のＩＩＲフィルタ１６２１とエッジ強調用のＦＩＲフィルタ１６２２で共用される。例えば、ＦＩＲフィルタ１６２２のタップ数を５×５とした場合、ラインバッファ１６２３としては少なくとも５行分あればよい。該ラインバッファ１６２３は、例えば、色深度ＲＧＢ各８ビットすなわちＹＣｂＣｒ各８ビットの合計２４ビットに対応して、１アドレスが２４ビット（１ワード）からなり、各アドレス毎に、１画素のＹＣｂＣｒ信号（ＹＣｂＣｒデータ）が格納される。

ＦＩＲフィルタ１６２２は、通常のＡＧＣ回路１２０のゲインが低い、すなわち、画像のノイズが小さい場合、光学系により落ち込んだ画像の高域周波数成分を強調し（エッジ強調）、空間周波数特性の整形を実施する。該ＦＩＲフィルタ１６２２の係数は、例えば、図１０のように設定される。ＦＩＲフィルタ１６２２は、ラインバッファ１６２３からＮラインの注目画素を中心に、Ｎ−２〜Ｎ＋２ラインの５×５画素のＹＣｂＣｒ信号を順次取り込んで、注目画素のＹ信号にエッジ強調フィルタリング処理を施す。これにより、色信号ＣｂＣｒのノイズの増加を抑えることができる。

図１１にＦＩＲフィルタ１６２２の詳細構成図を示す。分離部１６２２１は、ラインバッファ１６２３から読み出されるＹＣｂＣｒ信号を入力して、Ｙ信号とＣｂＣｒ信号に分離する。フィルタ１６２２２は、Ｙ信号について、図１０に示したような係数を適用してエッジ強調処理を施す。合成部１６２２３は、エッジ強調された信号とＣｂＣｒ信号を合成し、ＹＣｂＣｒ信号を出力する。

図９に戻り、ＩＩＲフィルタ１６２１は、暗部などでＡＧＣ回路１２０のゲインが上がり、画像のノイズ量が増加した場合、ノイズ低減を実施する。ＩＩＲフィルタ１６２１の係数は、例えば、次式のように設定される。
Cb(x,y)＝0.25＊Cb(x,y)＋0.375＊Cb(x,y-1)＋0.375＊Cb(x-1,y) （８）
Cr(x,y)＝0.25＊Cr(x,y)＋0.375＊Cr(x,y-1)＋0.375＊Cr(x-1,y) （９）
Y(x,y)＝0.5＊Y(x,y)＋0.25＊Y(x,y-1)＋0.25＊Y(x-1,y) （１０）

Ｃｂ（ｘ，ｙ），Ｃｒ（ｘ，ｙ）は、それぞれＮラインの注目画素の座標（ｘ，ｙ）の色信号であり、Ｙ（ｘ，ｙ）は同座標（ｘ，ｙ）の輝度信号である。Ｃｂ（ｘ，ｙ−１），Ｃｒ（ｘ，ｙ−１）は、それぞれ注目画素のＮラインの直前のＮ−１ラインの座標（ｘ，ｙ−１）の色信号、Ｙ（ｘ，ｙ−１）は同座標（ｘ，ｙ−１）の輝度信号であり、また、Ｃｂ（ｘ−１，ｙ），Ｃｒ（ｘ−１，ｙ）は、それぞれＮラインの注目画素の一つ前の座標（ｘ−１，ｙ）の色信号、Ｙ（ｘ−１，ｙ）は同座標（ｘ−１，ｙ）の輝度信号である。

ＩＩＲフィルタ１６２１では、順次、ラインバッファ１６２３からそれぞれＮ−１とＮラインの座標（ｘ，ｙ−１），（ｘ−１，ｙ）のＹＣｂＣｒ信号を取り込み、これらと入力された注目画素である座標（ｘ．ｙ）のＹＣｂＣｒ信号とにより、ノイズ低減フィルタリング処理を施す。処理済みのＹＣｂＣｒ信号はラインバッファ１６２３に書き込まれ、その後の注目画素に対する処理時、ＩＩＲフィルタ１６２１にフィードバックされる。

図１２にＩＩＲフィルタ１６２１の詳細構成図を示す。分離部１６２１１は、入力されたＹＣｂＣｒ信号及びラインバッファ１６２３からフィードバックされたＹＣｂＣｒ信号をそれぞれＹ，Ｃｂ，Ｃｒに分離する。フィルタ１６２１２，１６２１３，１６２１４は、それぞれＣｂ，Ｃｒ，Ｙ信号について先の式（８），（９），（１０）を適用してフィルタリングを施す。ここで、式（８），（９），（１０）より、ＣｂＣｒ信号については強いノイズ抑制が掛かり、一方、Ｙ信号では弱いノイズ抑制が掛かる。式（８），（９），（１０）は一例であり、例えば、Ｙ信号はスルーとすることでもよい。合成部１６２１５は、ノイズ低減されたＣｂ，Ｃｒ，Ｙ信号を合成する。

次に、図１３と図１４によりフィルタリング部１６２０の全体的な処理の流れを説明する。
図１３は、ＡＧＣ回路１２０のゲインが低い、すなわち、画像のノイズが小さい場合のＩＩＲフィルタ１６２１、ラインバッファ１６２３、ＦＩＲフィルタ１６２２の接続関係を示していたものである。この場合、ＩＩＲフィルタ１６２１がオフ（出力オープン）、ＦＩＲフィルタ１６２２がオンである。

ＲＧＢ／ＹＣｂＣｒ変換部１６１０から出力されるＹＣｂＣｒ信号はスイッチＳＷ１によりＩＩＲフィルタ１６２１をバイパスし、順次、ラインバッファ１６２３に書き込まれる。ＦＩＲフィルタ１６２２は、ラインバッファ１６２３からＮ−２〜Ｎ＋２ラインの５×５画素（座標（ｘ−２，ｙ−２）〜（ｘ＋２，ｙ＋２）の画素）のＹＣｂＣｒ信号を順次取り込み、その輝度信号Ｙを用いて、図１０の係数を適用して、注目画素である座標（ｘ，ｙ）の輝度信号Ｙにエッジ強調フィルタリング処理を施す。Ｙ信号のエッジ強調されたＹＣｂＣｒ信号は、順次、スイッチＳＷ２を通ってＹＣｂＣｒ/ＲＧＢ変換部１６３０に送られ、ＲＧＢ信号に戻される。

図１４は、ＡＧＣ回路１２０のゲインが上がり、画像のノイズ量が増加した場合のＩＩＲフィルタ１６２１、ラインバッファ１６２３、ＦＩＲフィルタ１６２２の接続関係を示したものである。この場合、ＩＩＲフィルタ１６２１がオン、ＦＩＲフィルタ１６２２がオフ（出力オープン）である。

ＲＧＢ／ＹＣｂＣｒ変換部１６１０から出力されるＹＣｂＣｒ信号（座標（ｘ，ｙ）のＹＣｂＣｒ信号）は、順次、ＩＩＲフィルタ１６２１に入力される。一方、ラインバッファ１６２３からは順次、Ｎ−１ラインの座標（ｘ，ｙ−１）の処理済みのＹＣｂＣｒ信号及びＮラインの座標（ｘ−１，ｙ）の同じく処理済みのＹＣｂＣｒ信号が読みだされ、ＩＩＲフィルタ１６２１にフィードバックされる。ＩＩＲフィルタ１６２１は、入力された座標（ｘ，ｙ）のＹＣｂＣｒ信号、及び、ラインバッファ１６２３からフィードバックされる座標（ｘ，ｙ−１），（ｘ−１，ｙ）の処理済みＹＣｂＣｒ信号を取り込み、式（８），（９），（１０）を適用して、注目画素である座標（ｘ，ｙ）のＹＣｂＣｒ信号にノイズ低減フィルタリング処理を施す。ノイズ低減されたＹＣｂＣｒ信号は、順次、スイッチＳＷ１を通ってラインバッファ１６２３に書き込まれる。同時に、ラインバッファ１６２３は、順次、座標（ｘ，ｙ）の処理済みのＹＣｂＣｒ信号、座標（ｘ，ｙ−１），（ｘ−１，ｙ）の処理済みのＹＣｂＣｒ信号を読み出していく。ラインバッファ１６２３から読み出された座標（ｘ，ｙ）のＹＣｂＣｒ信号は、ＦＩＲフィルタ１６２２をバイパスし、スイッチＳＷ２を通ってＹＣｂＣｒ／ＲＧＢ変換部１６３０に送られ、ＲＧＢ信号に戻される。一方、ラインバッファ１６２３から読み出された座標（ｘ，ｙ−１），（ｘ−１，ｙ）のＹＣｂＣｒ信号はＩＩＲフィルタ１６２１にフィードバックされて、次の注目画素のノイズ低減処理のために使用される。

先に述べたように、制御部１００の切替信号生成手段１０４からの切替信号により、フィルタリング部１６２０は、通常は図１３の構成とすることで（ＩＩＲフィルタ１６２１をオフ、ＦＩＲフィルタ１６２２をオン）、解像度を優先して輝度信号にエッジ強調処理を施し、暗部などでＡＧＣ回路１２０のゲインが上がり、画像のノイズ量が増加した場合には、図１４の構成とすることで（ＩＩＲフィルタ１６２１をオン、ＦＩＲフィルタ１６２２をオフ）、ＹＣｂＣｒ信号にノイズ低減処理を施す。ここで、ＩＩＲフィルタ１６２１において、処理済みのＹＣｂＣｒ信号をフィードバックするために必要なラインバッファを、ＦＩＲフィルタ１６２２と共通のラインバッファ１６２３を用いて実現することで、ＩＩＲフィルタのために新たなラインバッファが不要となり、回路規模が小さくできる。

次に、画像のノイズ量の検出と切替信号の生成について説明する。制御部１００のノイズ量検出手段１０２では、例えば、以下のような方法で画像のノイズ量を検出する。もちろん、これらの方法は一例であり、ノイズ量が判定できれば、それはどのような方法でもよい。

（ｉ）撮像素子１１０の出力信号は、Ａ／Ｄ変換器１３０でのＡ／Ｄ変換前にＡＧＣ回路１２０により増幅される。このＡＧＣ回路１２０のゲインは画面の要求明度とノイズ量とのトレードオフにより適した値に決定されるが、暗部で明度が低下して、あるゲイン以上となった場合には、ノイズ量が許容範囲以上となってしまう。すなわち、暗部の感度を上げるためゲインを上げた場合、撮像画像はノイズが支配的になる。そこで、ノイズ量検出手段１０２において、ＡＧＣ回路１２０のゲインにより、ノイズ量を判定する。

（ii）一般的にＡＧＣ回路１２０により、撮像素子１１０による画像の平均明度が一定に保たれるようにゲインは調整されている。そのため、通常は平均明度は一定となるが、ゲインが最大になってもまだ感度が足りない場合には、画像の平均明度は小さくなる。そのため画面の平均輝度を検出することで、ゲインが最大になったか、つまりノイズが増大したかを判断することができる。そこで、ノイズ量検出手段１０２において、ＭＴＦ補正部１６０で得られる輝度信号Ｙにより、画面全体の輝度の和や、場合によっては、画面中心などにある被写体に重みを付けた輝度の和などにより、画面の平均輝度を算出し、ノイズ量を判定する。

（iii）明るさとノイズ量は反比例の関係にある。そこで、別途照度センサを設け、ノイズ量検出手段１０２では、該照度センサの出力に基づいて、ノイズ量を判定する。

切替信号生成手段１０４では、ノイズ量検出手段１０２での検出結果に基づいて切替信号を生成する。すなわち、画像のノイズ量が小さい場合には、スイッチＳＷ１ではＩＩＲフィルタ１６２１をオフ、スイッチＳＷ２ではＦＩＲフィルタ１６２２をオンとすべく切替信号を生成し、一方、ノイズ量が大きい場合には、逆にスイッチＳＷ１ではＩＩＲフィルタ１６２１をオン、スイッチＳＷ２ではＦＩＲフィルタ１６２２をオフとすべく切替信号を生成する。

以上、本発明の一実施形態を説明したが、図１などに示した画像処理装置の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、その処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることで本発明を実現できることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。

本発明を適用した画像撮像装置の一実施形態の全体構成図。 倍率色収差及び歪曲収差の説明図。 倍率色収差及び歪曲収差を同時に補正する説明図。 倍率色収差及び歪曲収差を独立に補正する説明図。 図１中の倍率色収差補正部の具体的構成図。 図５中の倍率色収差補正座標変換演算部の各実施例の構成図。 図１中の歪曲収差補正部の具体的構成図。 図１中のＭＴＦ補正部の全体構成図。 図８中のフィルタリング部の構成図。 ＦＩＲフィルタの係数例を示す図。 ＦＩＲフィルタの具体的構成図。 ＩＩＲフィルタの具体的構成図。 ノイズ量が小さい場合のＩＩＲフィルタ、ラインバッファ、ＦＩＲフィルタの接続を示す図。 ノイズ量が大きい場合のＩＩＲフィルタ、ラインバッファ、ＦＩＲフィルタの接続を示す図。

符号の説明

１００ 制御部
１０２ ノイズ量検出手段
１０４ 切替信号生成手段
１１０ 撮像素子
１２０ ＡＧＣ回路
１３０ Ａ／Ｄ変換器
１４０ ベイヤー補完部
１５０ 倍率色収差補正部
１６０ ＭＴＦ補正部
１７０ 歪曲収差補正部
１８０ ガンマ補正部
１６１０ ＲＧＢ／ＹＣｂＣｒ変換部
１６２０ フィルタリング部
１６２１ ＩＩＲフィルタ
１６２２ ＦＩＲフィルタ
１６２３ ラインバッファ
１６３０ ＹＣｂＣｒ／ＲＧＢ変換部

Claims (7)

1. 撮像素子で取得した画像情報を処理する画像処理装置であって、
   画像情報を一時的に順次格納するラインバッファと、
   前記ラインバッファを用いて、画像情報の空間周波数特性を整形するＦＩＲ（有限インパルス応答）フィルタと、
   処理済み画像情報をフィードバックするために必要なバッファメモリを、前記ラインバッファで前記ＦＩＲフィルタと兼用するＩＩＲ（無限インパルス応答）フィルタと、
   画像情報のノイズ量を検出するノイズ量検出手段と、
   前記ノイズ量の検出結果に基づき、前記ＦＩＲフィルタあるいは前記ＩＩＲフィルタによる処理を選択する選択手段と、
   を有することを特徴とする画像処理装置。
2. 前記ＦＩＲフィルタは、画像情報の高域周波数成分を強調するエッジ強調フィルタであることを特徴とする請求項１に記載の画像処理装置。
3. 前記ＩＩＲフィルタは、ノイズを低減するローパスフィルタであることを特徴とする請求項１に記載の画像処理装置。
4. 前記ノイズ量検出手段は、前記撮像素子のＡＧＣ回路のゲインをもとにノイズ量を検出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記ノイズ量検出手段は、画像の平均明度よりノイズ量を検出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、
   ノイズ量が小さい場合には、前記ＦＩＲフィルタをオン、前記ＩＩＲフィルタをオフとして、前記ラインバッファの出力側を前記ＦＩＲフィルタの入力側と接続し、
   ノイズ量が大きい場合には、前記ＩＩＲフィルタをオン、前記ＦＩＲフィルタをオフとして、前記ＩＩＲフィルタの出力側を前記ラインバッファの入力側と接続すると共に、前記ラインバッファの出力側を前記ＩＩＲフィルタの入力側に接続する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 光学系と、
   前記光学系を通して撮像された画像を読み取る撮像素子と、
   前記撮像素子で読み取られた画像情報を処理する請求項１乃至６いずれか１項に記載の画像処理装置と、
   前記画像処理装置で処理された画像情報を表示する表示装置と、
   を具備してなる車載カメラ装置。

Images