JP2005295302A

JP2005295302A - カメラ画像処理装置

Info

Publication number: JP2005295302A
Application number: JP2004108944A
Authority: JP
Inventors: Miki Sugano; 美樹菅野; Yoshihiro Nishida; 好宏西田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-04-01
Filing date: 2004-04-01
Publication date: 2005-10-20

Abstract

【課題】簡単な構成と処理により、特に低照度撮影時において、手ぶれによる画質劣化の少ないノイズ低減が可能なカメラ画像処理装置を提供するものである。
【解決手段】撮像回路１０１から出力される画像データはカメラ画像処理装置１００に入力され、メモリ制御回路１０２を介してメモリ１０５に記憶される。また、微分回路１０６によりエッジ強度が出力され、特徴画素抽出回路１０７によりエッジ強度が極大になる画素の情報が出力される。この特徴画素の情報は特徴画素情報保持回路１０８に１フレーム前の特徴画素の情報として保存される。特徴画素抽出回路１０７の出力と特徴画素情報保持回路１０８の出力が特徴画素判定回路１０９にて処理され、同じ特徴点を表すか否かが判定される。同じ特徴点の場合、１フレーム前後の画像データの位置が補正され、ノイズ低減フィルタ１１０にてノイズ低減がなされる。
【選択図】図１

Description

本発明は、カメラにより連続的に撮像された画像の画質補正に係わり、特に低照度条件下で撮影した画像のノイズ低減に関するものである。

従来のカメラ画像処理装置は、ＣＣＤやＣ−ＭＯＳなどの撮像センサーで光電変換された電気信号を画像処理することで画像データを得ているが、一般に供給電圧の変動や周辺回路の影響によりランダムノイズが発生し、特に低照度条件下で撮影した画像データの場合、その画質劣化が目立つ。このランダムノイズは、注目画素周辺の画素データを使用して平均化することで軽減できるが、この平均化処理を実施すると画像が滑らかになる反面、画像のエッジ情報等の高周波信号成分が失われる。また、対象とする画像データが動画の場合、時間的に連続して取り込んだ画像データを使用することにより同様の平均化処理が可能であるが、たとえ被写体が静止している場合でも、手ぶれ等による画素ずれが生じるため、そのまま平均化等のフィルタ処理を行うと被写体のエッジ部分がぼけてしまう。

この改善策として、複数のフレーム画像データを用いて画素ずれを補正するものとして、入力される画像に画素レベルでの位置ずれが生じている場合に、関数フィッティングやテンプレートマッチングにより画像の位置合わせを行った後、平均化処理によりランダムノイズを軽減するものがある（例えば、特許文献１参照）。
特許第２８９７７２号公報（段落００１９、段落００２１、図１）

従来のカメラ画像処理装置では、入力される画像に画素レベルでの位置ずれが生じている場合、関数フィッティングやテンプレートマッチングにより画像の位置合わせを行った後、平均化などのフィルタ処理を施しランダムノイズを軽減することで画像のエッジ部分の画質劣化を抑制していたが、これらの処理が複雑であるため高速化が困難であり、連続して入力される画像データには適さないという問題点があった。

本発明は、以上のような問題点を解消するためになされたもので、簡単な構成と処理により、特に低照度撮影時において、手ぶれによる画質劣化の少ないノイズ低減が可能なカメラ画像処理装置を提供するものである。

本発明に係る請求項１のカメラ画像処理装置は、少なくとも入力される第１の画像データおよび第２の画像データを記憶する記憶手段と、前記各画像データに対して微分演算を行う微分手段と、前記微分手段の出力から前記各画像のエッジの強度および向きを算出し、エッジの強度が極大の画素を特徴画素として抽出する特徴画素抽出手段と、前記第１の画像に対応する第１の特徴画素情報を、少なくとも前記特徴画素抽出手段での前記第２の画像に対応する第２の特徴画素情報の検出処理が終了するまで保持する特徴画素情報保持手段と、第１の特徴画素情報と第２の特徴画素情報とが示す特徴画素が同じ画像に関わる特徴画素を表すかどうかを判定し、これらの特徴画素位置情報を出力する特徴画素判定手段と、前記各画像の前記記憶手段への書き込み及び読み出しを制御する記憶制御手段と、前記特徴画素位置情報に基づき、前記第１の画像位置に対する前記第２の画像位置のずれ量を算出する位置情報生成手段と、前記記憶手段から読み出された前記第１の画像データに前記第２の画像データを前記位置ずれ量を補正して重ね合わせ、平均化演算処理によりノイズ低減画像データを得るノイズ低減処理手段とを供えたことを特徴とする。

また、請求項２のカメラ画像処理装置は、請求項１のカメラ画像処理装置において、前記特徴画素抽出手段から出力される特徴画素数を所定の条件に従って制限する特徴画素情報制限手段を備えたことを特徴とする。

また、請求項３のカメラ画像処理装置は、請求項１のカメラ画像処理装置において、前記位置情報生成手段において算出された前記第１の画像位置に対する前記第２の画像位置のずれ量に、その位置ずれ量により設定される画素数分の位置ずれを付加したことを特徴とする。

この発明のカメラ画像処理装置は、入力画像データを水平及び垂直方向に微分して得られたエッジの強度が極大の画素を特徴画素として抽出し、その特徴画素によりフレーム間の画像のずれ量検出及び画素位置合わせを行い、複数フレームの画像データを用いたノイズ低減処理を行うようにしたので、簡単な構成と処理により、特に手ぶれによる画像の画質劣化を低減できる。

実施の形態１．
図１はこの発明の実施の形態１であるカメラ画像処理装置の構成を示すブロック図である。同図において、カメラ画像処理装置１００は、撮像回路１０１からフレーム単位で順次入力される画像データのエッジ情報を用いてフレーム間で発生する位置ずれを補正しフィルタ処理を行うものであり、入力される画像データを順次記憶するメモリ１０５と、メモリ制御信号発生部１０３および位置情報生成部１０４からなりメモリ１０５への書き込みおよび読み出し動作を制御するメモリ制御回路１０２と、入力される画像データの微分値を算出する微分回路１０６と、微分回路１０６の結果からフレーム内での特徴あるエッジ情報をもつ画素を決定する特徴画素抽出回路１０７と、特徴画素抽出回路１０７での結果を保持する特徴画素情報保持回路１０８と、特徴画素抽出回路１０７の出力と特徴画素情報保持回路１０８で保持している前フレーム画像データに対する情報から、連続する２つのフレームのそれぞれの特徴画素が同じ特徴点を表すものであるかどうかを判定して現フレームに対してフィルタ処理を行うか否かを決定する特徴画素判定回路１０９と、複数フレームの画像データを用いてフィルタ処理を行うノイズ低減フィルタ１１０と、特徴画素判定回路１０９の結果から現フレームの画像データとノイズ低減フィルタ１１０の画像データ出力とを選択する選択回路１１１とから構成されている。

次に、このカメラ画像処理装置１００の動作について、図面を用いて説明する。

まず、カメラ画像処理装置１００の外部にある撮像回路１０１から、ディジタル画像データがフレーム単位で微分回路１０６に順次入力されるとともに、メモリ制御回路１０２から出力される書き込み制御信号および書き込みアドレスに従って、画像データがメモリ１０５に記憶される。

微分回路１０６では、入力される画像データに対して１次微分を適用して縦方向および横方向のそれぞれに微分演算を実施し、各画素毎の縦方向微分値と横方向微分値を出力する。ここで縦方向および横方向とは、フレーム画像データの各画素の位置を２次元直交座標系で表した場合のｙ軸およびｘ軸の方向に相当する。

次に、特徴画素抽出回路１０７で、フレーム内の画素全てに対して縦方向微分値および横方向微分値の２乗和の平方根、あるいはそれぞれの絶対値の和を算出することでエッジ強度を生成してエッジ強度が極大である特徴画素を抽出し、その特徴画素の位置やエッジ強度および方向を含む特徴画素情報を生成する。ここでの画素位置とは、フレーム画像データの各画素の位置を２次元直交座標系で表した場合のｘ座標とｙ座標のことである。エッジ強度が最大となる特徴画素が複数個になる場合も考えられるが、本実施例では、特徴画素がフレームに１つだけあるものとして説明する。

特徴画素抽出回路１０７で生成された特徴画素情報は特徴画素情報保持回路１０８で記憶され、特徴画素抽出回路１０７での次フレームの画像データに対する処理が完了した時点で、特徴画素抽出回路１０７の出力とあわせて特徴画素判定回路１０９に出力される。つまり、２フレーム分の画像データについて、各フレームでの特徴画素情報が特徴画素判定回路１０９に出力されることになり、特徴画素判定回路１０９においては特徴画素情報であるエッジ強度および方向のそれぞれについてフレーム間での差分を算出して各フレームで抽出された特徴画素が同じ特徴画素を表すか否かを判定し、同じ特徴画素と判定された場合それら特徴画素間の位置ずれ量と方向を算出し、メモリ制御回路１０２の位置情報発生部１０４に出力する。

例えば、１番目のフレームとして図２（Ａ）のような画像データが入力され、点線で囲まれた右下隅の画素Ｐａがこのフレームでの特徴あるエッジ情報をもつ画素になるものとし、図２（Ｃ）は図２（Ａ）の画素Ｐａ周辺を拡大表示したものである。微分回路１０６で１番目のフレームの各画素データに対して微分演算を行うことで縦方向微分値および横方向微分値が得られ、特徴画素抽出回路１０７において各画素でのエッジ強度および方向を算出した結果、画素Ｐａを特徴画素として抽出する。画素Ｐａの縦方向微分値および横方向微分値はそれぞれ、図２（Ｃ）での矢印Ｃ２および矢印Ｃ１になり、エッジの強度は矢印Ｃ３の大きさ｜Ｃ３｜で、矢印Ｃ３の向きは矢印Ｃ１および矢印Ｃ２をベクトル加算した結果として表される。このようにして得られる画素Ｐａに関する情報は、次段の特徴画素判定回路１０９に出力されるとともに特徴画素情報保持回路１０８へと出力され、次の２番目のフレームに対する特徴画素抽出回路１０７での同様の動作が完了するまで保持される。

１番目のフレームについては、特徴画素判定回路１０９には有効な情報を保持していないため、いったんメモリ１０５に書き込んでノイズ低減フィルタ１１０での演算処理はせずに読み出したデータをそのまま出力する、あるいは１フレーム目のデータは出力しないといった特別な処理を行う。

２番目のフレームとして図２（Ｂ）のような画像データが入力され、右下隅の画素Ｐｂが２番目のフレームでの特徴あるエッジ情報をもつ画素になるものとし、図２（Ｄ）は図２（Ｂ）の画素Ｐｂ周辺を拡大表示したものである。図２（Ａ）での画像の位置は図２（Ｂ）における破線の位置に相当し、矢印Ｂ１だけ画像位置がずれているものとする。２番目のフレームの画像データに対しても１番目のフレームの場合と同様な処理を実行することで画素Ｐｂが特徴画素として抽出される。画素Ｐｂの縦方向微分値および横方向微分値はそれぞれ図２（Ｄ）での矢印Ｄ２および矢印Ｄ１になり、特徴画素抽出回路１０７においてエッジ強度は矢印Ｄ３の大きさ｜Ｄ３｜で、矢印Ｄ３の向きは矢印Ｄ１および矢印Ｄ２をベクトル加算した結果として表される。

特徴画素判定回路１０９には、２番目のフレームの処理時に特徴画素情報保持回路１０８からは画素Ｐａの、特徴画素抽出回路１０７からは画素Ｐｂの、画素位置とエッジ強度および方向の情報が入力され、これら２つの画素について、エッジ強度の差分（｜Ｄ３｜−｜Ｃ３｜）およびエッジ方向の差｛（Ｄ１＋Ｄ２）−（Ｃ１＋Ｃ２）｝を算出し、例えばそれぞれがあらかじめ設定してある閾値の範囲内である場合、画素ＰａおよびＰｂは同じ特徴をもつ画素でそれぞれのフレームにおいて同一の画素を表すと判定し、エッジ強度の差分及び方向の差が閾値の範囲を越えている場合、画素ＰａおよびＰｂは異なる特徴を持ち、相関のない画素であると判定する。

画素間の相関の判断基準は、あらかじめ設定しておいても、外部から設定可能な構成としておいてもよい。

画素Ｐａ、Ｐｂが同一画素であると判定された場合、画像データが図２（Ｂ）の矢印Ｂ１で表される画素数および方向にずれていると考えられる。画素Ｐａ、Ｐｂの位置情報からｘ方向およびｙ方向のそれぞれについての画素数のずれ量、つまり矢印Ｂ１のｘ成分Ｂｘおよびｙ成分Ｂｙを算出し、その結果をメモリ制御回路１０２へと出力する。メモリ制御回路１０２では、メモリ１０５から２番目のフレームの画像データ読み出す際に１番目のフレームに対して読み出し開始アドレスにｘ方向にＢｘ画素、ｙ方向にＢｙ画素だけオフセットを持たせるように位置情報生成部１０４においてメモリ制御用のアドレスを生成し、制御信号発生部１０３では位置情報生成部１０４の出力に同期してチップセレクト信号やアウトプットイネーブル信号といった実際にメモリを制御する信号生成することでメモリ１０５を制御し、フレーム間での画素位置のずれを補正する。

つまりメモリ１０５に記憶している１フレーム目の画像データのうち、図２（Ｅ）の太線で囲まれた領域Ｒａのデータのみを読み出して出力するとすれば、２フレーム目の画像データとしては図２（Ｅ）の領域Ｒａから矢印Ｂ１だけ平行移動した、図２（Ｆ）で太線で囲まれた領域Ｒｂのデータを読み出すことになる。

したがって、画素の位置ずれを補正可能な範囲は、メモリ１０５に記憶できる画像データの画素数およびカメラ画像処理装置１００から出力する画像データのフレーム画素数等により制限される。

次にノイズ低減フィルタ１１０では、メモリ１０５に記憶している画像データを読み出して、例えば連続する２フレームの画像データに対して加算平均をとるといったノイズを低減する処理を行う。

選択回路１１１では、特徴画素判定回路１０９での判定結果に従って、画素Ｐａ、Ｐｂに相関がないと判定した場合はメモリ１０５から読み出した画像データそのものを、画素Ｐａ、Ｐｂは同じ特徴画素であると判定した場合はメモリ１０５から読み出した画像データに対し演算処理を施したノイズ低減フィルタ１１０の出力画像データを選択して出力する。

以上の処理をフレーム画像データが入力される毎に繰り返し実行する。ただし、３フレーム目以降のデータに対しては、１つ前のフレームに対する処理の際に特徴画素判定回路１０９において特徴画素が同一の画像構成要素であると判定してメモリ１０５からの画像データの読み出しアドレスを補正している場合、特徴画素情報保持回路１０８で保持している特徴画素の位置情報は１つ前のフレームで読み出しアドレスに対して補正した分のずれを含んでいることになるため、補正後の位置情報に差し換えて特徴画素判定回路１０９での処理に使用する必要がある。

なお、本実施の形態では、連続する２フレーム分の画像データに対する処理として説明したが、メモリ１０５の容量および書き込み読み出しに必要な時間に制限されなければ、３フレーム分以上の画像データに対しても同様な処理を実行可能なように構成することもできる。

上述した処理により、順次入力される画像データに対する画素ずれを補正した上でフィルタ演算を実行することになり、画像のエッジ周辺部分のぼけを最低限に抑えることができる。

実施の形態２．
図３はこの発明装置の実施の形態２の構成を示すブロック図である。このカメラ画像処理装置２００において、図１に示したカメラ画像処理装置１００と同様の部分については同一の符号を付しており、特徴画素抽出回路１０７と特徴画素判定回路１０９の間に、特徴画素フィルタ２０１を設けている点が異なる。特徴画素フィルタ２０１は、特徴画素抽出回路１０７において複数の特徴画素を抽出した場合に、設定された特定の条件に従って後段回路に出力する特徴画素数を制限するものである。以下にカメラ画像処理装置２００の具体的な動作について説明する。

特徴画素抽出回路１０７で複数の画素が抽出された場合、その特徴画素の全ての情報を次段の回路に出力すると、特徴画素情報保持回路１０８では抽出された特徴画素数分の情報を保持する回路が必要になり、特徴画素判定回路１０９では抽出された特徴画素数と同じ回数の判定処理を実行する必要がある。そのための実行時間あるいは並列処理するための回路が必要となるが、これら回路規模や処理時間は、入力されるフレーム画像データの総画素数が多くなるほど増大することになる。

本実施の形態では、特徴画素フィルタ２０１において、例えばフレーム内で最後の特徴画素のみを用いるといった条件を設定して抽出された複数の特徴画素からさらに制限した情報を後段回路での処理に用いることで、回路規模や処理時間の増大を抑制できるとともに、入力されるフレーム画像データの総画素数に依存しない回路を構成することが可能となる。

なお、特徴画素フィルタ２０１に設定するフィルタ条件は、あらかじめ設定しておいても、外部から設定可能な構成しておいてもよい。

実施の形態３．
図４はこの発明装置の実施の形態３の構成を示すブロック図である。このカメラ画像処理装置３００において、図１に示したカメラ画像処理装置１００と同様の部分については同一の符号を付しており、メモリ制御回路１０２の位置情報生成部１０４の代わりに、エッジ強調処理用位置情報生成部３０１を用いている点が異なる。以下にカメラ画像処理装置３００の具体的な動作について説明する。

カメラ画像処理装置１００の位置情報生成部１０４では、連続して入力される画像データのエッジが一致するようにアドレス発生を制御していたが、ノイズ低減フィルタ１１０において画像データの内容によらず一様にノイズの低減処理を行うとエッジ部分がぼける。そこでエッジ強調処理用位置情報生成部３０１を用いて、ノイズ低減フィルタ１１０で処理を行う複数フレームの画像データを重ね合わせた時に画像の輪郭が上下左右のいずれかの方向に１画素程度ずれるようにメモリ１０５からの画像データ読み出しアドレスを制御することでエッジ部分の強調処理と同様な効果が得られ、ノイズ低減フィルタ１１０での画像のエッジ周辺部分のぼけを抑制することができる。

なお、エッジ強調処理用位置情報生成部３０１でずらす画素数や方向については、あらかじめ固定としても、外部から設定可能な構成としてもよい。

この発明の実施の形態１のカメラ画像処理装置の構成を示すブロック図である。この発明の実施の形態１のカメラ画像処理装置の画像のずれ検出動作を説明するための図である。この発明の実施の形態２のカメラ画像処理装置の構成を示すブロック図である。この発明の実施の形態３のカメラ画像処理装置の構成を示すブロック図である。

符号の説明

１００カメラ画像処理装置、１０１撮像回路、１０２メモリ制御回路、１０３メモリ制御信号発生部、１０４位置情報生成部、１０５メモリ、１０６微分回路、
１０７特徴画素抽出回路、１０８特徴画素情報保持回路、１０９特徴画素判定回路、１１０ノイズ低減フィルタ、１１１選択回路。

Claims

カメラ撮影により得られたディジタル画像データを画像処理するカメラ画像処理装置において、
少なくとも入力される第１の画像データおよび第２の画像データを記憶する記憶手段と、
前記各画像データに対して微分演算を行う微分手段と、
前記微分手段の出力から前記各画像のエッジの強度および向きを算出し、エッジの強度が極大の画素を特徴画素として抽出する特徴画素抽出手段と、
前記第１の画像に対応する第１の特徴画素情報を、少なくとも前記特徴画素抽出手段での前記第２の画像に対応する第２の特徴画素情報の検出処理が終了するまで保持する特徴画素情報保持手段と、
第１の特徴画素情報と第２の特徴画素情報とが示す特徴画素が同じ画像に関わる特徴画素を表すかどうかを判定し、これらの特徴画素位置情報を出力する特徴画素判定手段と、
前記各画像の前記記憶手段への書き込み及び読み出しを制御する記憶制御手段と、
前記特徴画素位置情報に基づき、前記第１の画像位置に対する前記第２の画像位置のずれ量を算出する位置情報生成手段と、
前記記憶手段から読み出された前記第１の画像データに前記第２の画像データを前記位置ずれ量を補正して重ね合わせ、平均化演算処理によりノイズ低減画像データを得るノイズ低減処理手段とを供えたことを特徴とするカメラ画像処理装置。
前記特徴画素抽出手段から出力される特徴画素数を所定の条件に従って制限する特徴画素情報制限手段をさらに備えたことを特徴とする請求項１に記載のカメラ画像処理装置。
前記位置情報生成手段において算出された前記第１の画像位置に対する前記第２の画像位置のずれ量に、その位置ずれ量により設定される画素数分の位置ずれを付加したことを特徴とする請求項１に記載のカメラ画像処理装置。