JP5663228B2

JP5663228B2 - 画像処理装置

Info

Publication number: JP5663228B2
Application number: JP2010167154A
Authority: JP
Inventors: 杉本　行弘; 行弘杉本; 英池田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-07-26
Filing date: 2010-07-26
Publication date: 2015-02-04
Anticipated expiration: 2030-07-26
Also published as: JP2012029146A

Description

本発明は、画像処理装置に関する。

ＦＮＲ（ＦｒａｍｅＮｏｉｓｅＲｅｄｕｃｔｉｏｎ、フレームノイズリダクション）ブロックにおけるフレーム相関ＮＲ（ＮｏｉｓｅＲｅｄｕｃｔｉｏｎ、ノイズリダクション）処理を行う際、処理対象としている現フレームの画像データと、それより前に撮影された画像データ（巡回画像データ）を用いて処理を行う。

また、現フレームの画像データと前フレームの画像データのＹ／Ｃｂ／Ｃｒを用いてノイズ低減処理を行う技術が知られている（例えば、特許文献１参照）。この技術は、Ｙ／Ｃｂ／Ｃｒ毎に、現フレームの画像データの注目画素Ａと、注目画素Ａと同位置に相当する巡回画像データの注目画素Ｂとの差分、および、注目画素Ａの周辺画素と、注目画素Ｂの周辺画素との差分を算出し、その差分データから注目画素Ａにおける重み係数を求め、その重み係数を元に現フレームの画像データのノイズ低減処理を行う。

特開２００１−８２２８号公報

しかしながら、上述した方法では、現フレームの画像データのノイズ低減処理を行うために、現フレームの画像データの画像サイズと同一の画像サイズである、ＹＣｂＣｒの画像データを保存するためのメモリ領域を確保する必要がある。

本発明は、上記事情に鑑みてなされたものであり、必要なメモリ領域を少なくすることができる画像処理装置を提供することを目的とする。

本発明は、ノイズ除去対象のＹＣ４４４形式の画像データより１フレーム前の前記画像データの画像形式をＹＣ４４４形式からＹＣ４２２形式へ変換して、データ容量を少なくした巡回画像データを生成するダウンサンプリング部と、前記巡回画像データを記録する巡回画像記録部と、前記巡回画像記録部が記録する前記巡回画像データの画像形式をＹＣ４２２形式からＹＣ４４４形式へ変換して、データ容量を多くした巡回アップサンプリング画像データを生成するアップサンプリング部と、前記巡回アップサンプリング画像データを用いて、ノイズ除去対象の前記画像データのノイズ除去を行うノイズ除去部と、を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記ノイズ除去部は、前記巡回アップサンプリング画像データと前記画像データとの相関関係に基づいて、当該画像データのノイズ除去の強度を変更することを特徴とする。

また、本発明の画像処理装置において、前記ノイズ除去部は、前記巡回アップサンプリング画像データと前記画像データとの相関関係が高いほど、当該画像データのノイズ除去の強度を強くし、前記巡回アップサンプリング画像データと前記画像データとの相関関係が低いほど、当該画像データのノイズ除去の強度を弱くすることを特徴とする。

本発明によれば、ダウンサンプリング部は、ノイズ除去対象の画像データより１フレーム前の画像データの画像形式を変換して、データ容量を少なくした巡回画像データを生成する。また、巡回画像記録部は、巡回画像データを記録する。また、アップサンプリング部は、巡回画像記録部が記録する巡回画像データの画像形式を変換して、データ容量を多くした巡回アップサンプリング画像データを生成する。また、ノイズ除去部は、巡回アップサンプリング画像データを用いて、ノイズ除去対象の画像データのノイズ除去を行う。これにより、巡回画像記録部が記録するデータのサイズが小さくなるため、必要なメモリ領域を少なくすることができる。

本発明の一実施形態における画像処理装置の構成を示したブロック図である。本実施形態における画像処理装置のノイズ除去処理手順を示したフローチャートである。本実施形態における注目画素の配置例を示した概略図である。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本実施形態における画像処理装置１の構成を示したブロック図である。図示する例では、画像処理装置１は、撮像光学系１０１と、撮像素子１０２と、画像処理部１０３と、アップサンプリング部１０４と、ＮＲ処理部１０５（ノイズ除去部）と、ダウンサンプリング部１０６と、ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ、ダイレクトメモリアクセス）部１０７と、巡回画像記録部１０８と、記録部１０９と、表示部１１０とを備える。

撮像光学系１０１は、被写体からの光を撮像素子１０２の撮像面に結像させる。撮像素子１０２は、図示せぬ制御部からのタイミング制御に従い、結像された像を電気信号に変換して画像処理部１０３に出力する。画像処理部１０３は、撮像素子１０２から出力される電気信号に対して、γ補正や色分離や色マトリクス等の高画質化するための画像処理や、出力形式の変換処理を行い、画像データを生成する。アップサンプリング部１０４は、画像データのアップサンプリングを行う。具体的には、ＹＣ４２２形式の画像データをＹＣ４４４形式の画像データにアップサンプリングする。ＮＲ処理部１０５は、画像データに対してＮＲ処理を行う。ダウンサンプリング部１０６は、画像データのダウンサンプリングを行う。具体的には、ＹＣ４４４形式の画像データをＹＣ４２２形式の画像データにダウンサンプリングする。

ＤＭＡ部１０７は、巡回画像記録部１０８および記録部１０９に対するデータの読み出しおよび書き込み（Ｒ／Ｗ）を行う。巡回画像記録部１０８は、巡回画像データを記録する。本実施形態における巡回画像データの画像形式はＹＣ４２２形式である。記録部１０９は、一時記憶領域および外部記録メディア等であり、一時的に処理に必要なデータや、画像データ等を記録する。表示部１１０は、液晶ディスプレイ等であり、画像データに基づいた画像を表示する。

次に、画像処理装置１のノイズ除去処理（ＦＮＲ）手順について説明する。図２は、本実施形態における画像処理装置１のノイズ除去処理手順を示したフローチャートである。このフローチャートは、１フレーム毎の画像データに対する処理手順を示している。なお、ノイズ除去処理の前段階の処理として、撮像光学系１０１と、撮像素子１０２と、画像処理部１０３によって画像データが生成され、記録部１０９に一時記録される。具体的には、撮像光学系１０１を通して得られた光学像を、撮像素子１０２で撮像して電気信号に変換し、画像処理部で高画質化や出力形式変換等の処理を行い、ＤＭＡ部１０７を介して記録部１０９に一時記録される。なお、本実施形態における画像データの画像形式はＹＣ４４４形式である。

（ステップＳ１０１）ＮＲ処理部１０５は、ＤＭＡ部１０７を介して、処理対象の画像データを記録部１０９から取得する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）アップサンプリング部１０４は、巡回画像記録部１０８に巡回画像データが記録されているか否かを判定する。アップサンプリング部１０４が、巡回画像記録部１０８に巡回画像データが記録されていると判定した場合にはステップＳ１０３の処理に進み、それ以外の場合にはステップＳ１１２の処理に進む。

（ステップＳ１０３）アップサンプリング部１０４は、ＤＭＡ部１０７を介して、巡回画像データを巡回画像記録部１０８から取得する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）アップサンプリング部１０４は、巡回画像データの画像形式が、画像データの画像形式と同一となるように、ステップＳ１０３で読み出した巡回画像データをアップサンプリングし、巡回アップサンプリング画像データを生成する。具体的には、ＹＣ４２２形式の巡回画像データをアップサンプリングし、ＹＣ４４４形式の巡回アップサンプリング画像データを生成する。その後、ステップＳ１０５の処理に進む。

（ステップＳ１０５）ＮＲ処理部１０５は、ステップＳ１０１で取得した画像データの注目画素とその周辺画素および、ステップＳ１０４で生成した巡回アップサンプリング画像データの注目画素とその周辺画素より差分データを算出する。その後、ステップＳ１０６の処理に進む。なお、差分データについては後述する。

（ステップＳ１０６）ＮＲ処理部１０５は、ステップＳ１０５で取得した差分データと予め定められている閾値とを比較する。差分データが閾値未満である場合にはステップＳ１０７の処理に進み、差分データが閾値以上である場合にはステップＳ１０８の処理に進む。
（ステップＳ１０７）ＮＲ処理部１０５は、ＮＲ処理（ＬＰＦ（Ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）処理）の強度を示す重み係数（ＬＰＦ係数）を「大」とする。その後、ステップＳ１０９の処理に進む。
（ステップＳ１０８）ＮＲ処理部１０５は、ＮＲ処理（ＬＰＦ処理）の強度を示す重み係数（ＬＰＦ係数）を「小」とする。その後、ステップＳ１０９の処理に進む。

（ステップＳ１０９）ＮＲ処理部１０５は、ステップＳ１０１で取得した画像データに対して、ステップＳ１０７もしくはステップＳ１０８で定めた重み係数とを用いてＮＲ処理を行い、ＮＲ処理後画像データを生成する。その後、ステップＳ１１０の処理に進む。

（ステップＳ１１０）ダウンサンプリング部１０６は、ステップＳ１０９でＮＲ処理部１０５が生成したＮＲ処理後画像データをダウンサンプリングし、巡回画像データを生成する。具体的には、ＹＣ４４４形式のＮＲ処理後画像データをダウンサンプリングし、ＹＣ４２２形式の巡回画像データを生成する。その後、ステップＳ１１１の処理に進む。
（ステップＳ１１１）ＮＲ処理部１０５は、ＤＭＡ部１０７を介して、ステップＳ１０９で生成したＮＲ処理後画像データを記録部１０９に記録させる。その後、ステップＳ１１３の処理に進む。
（ステップＳ１１２）ステップＳ１０１でＮＲ処理部１０５が取得した画像データに対し、ダウンサンプリング部１０６で画像データをダウンサンプリングし、巡回画像データを生成する。具体的には、ＹＣ４４４形式の画像データをダウンサンプリングし、ＹＣ４２２形式の巡回画像データを生成する。その後、ステップＳ１１３の処理に進む。

（ステップＳ１１３）ダウンサンプリング部１０６は、ＤＭＡ部１０７を介して、ステップＳ１１０またはステップＳ１１２で生成した巡回画像データを巡回画像記録部１０８に記録させる。なお、既に巡回画像記録部１０８が巡回画像データを記録している場合には、既に記録している巡回画像データを消去した後に、新たにダウンサンプリング部１０６が生成した巡回画像データを記録させる。その後、処理を終了する。

上述したノイズ除去処理を行った後、表示部１１０は、記録部１０９に記録されたＮＲ処理後画像データを、ＤＭＡ部１０７を介して読み出して表示する。

次に、差分データの算出方法について説明する。差分データは、画像データと巡回アップサンプリング画像データとの相関を示す値であり、値が低いほど、画像データと巡回アップサンプリング画像データとの相関が高い。

図３（１）は、画像データの注目画素の配置例を示した概略図である。また、図３（２）は、巡回アップサンプリング画像データの注目画素の配置例を示した概略図である。図３（１）に示す例では、画像データの注目画素として画素ａ４が示されており、注目画素ａ４の周辺画素として画素ａ０〜ａ３，ａ５〜ａ８が示されている。また、図３（２）に示す例では、巡回アップサンプリング画像データの注目画素として画素ｂ４が示されており、注目画素ｂ４の周辺画素として画素ｂ０〜ｂ３，ｂ５〜ｂ８が示されている。

注目画素と周辺画素との配置が図示する配置の場合、差分データは以下の式で算出する。
差分データ＝｜（ａ０−ｂ０）｜＋｜（ａ１−ｂ１）｜＋｜（ａ２−ｂ２）｜＋｜（ａ３−ｂ３）｜＋｜（ａ４−ｂ４）｜＋｜（ａ５−ｂ５）｜＋｜（ａ６−ｂ６）｜＋｜（ａ７−ｂ７）｜＋｜（ａ８−ｂ８）｜

算出した差分データの値が大きい場合、注目画素における画像データと巡回アップサンプリング画像データとの相関関係が低い為、重み係数（ＬＰＦ係数）を小さくして、画像データに対するＮＲ処理（ＬＰＦ処理）の効きを弱くする。また、算出した差分データの値が小さい場合、注目画素における画像データと巡回アップサンプリング画像データとの相関関係が高い為、重み係数（ＬＰＦ係数係数）を大きくして、画像データに対するＮＲ処理（ＬＰＦ処理）の効きを強くする。

上述したとおり、本実施形態によれば、巡回画像記録部１０８に記録させる巡回画像データの画像形式をＹＣ４２２とすることで、ＹＣ４４４形式である画像データよりもデータ容量を小さくする。また、ＮＲ処理を行う際に、巡回画像データの画像形式が画像データの画像形式と同一となるようにアップサンプリングし、巡回アップサンプリング画像データを生成する。そして、生成した巡回アップサンプリング画像データを用いてＮＲ処理を行う。これにより、巡回画像記録部１０８に記録させる巡回画像データのデータ容量が小さくなるため、巡回画像記録部１０８のメモリ領域を少なくすることができる。

また、本実施形態によれば、画像データと巡回アップサンプリング画像データとの相関関係を算出し、画像データと巡回アップサンプリング画像データとの相関関係が高い場合には、画像データに対するＮＲ処理の効きを強くする。また、画像データと巡回アップサンプリング画像データとの相関関係が低い場合には、画像データに対するＮＲ処理の効きを弱くする。これにより、より精度の良いＮＲを行うことができる。

以上、この発明の一実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１・・・画像処理装置、１０１・・・撮像光学系、１０２・・・撮像素子、１０３・・・画像処理部、１０４・・・アップサンプリング部、１０５・・・ＮＲ処理部、１０６・・・ダウンサンプリング部、１０７・・・ＤＭＡ部、１０８・・・巡回画像記録部、１０９・・・記録部、１１０・・・表示部

Claims

ノイズ除去対象のＹＣ４４４形式の画像データより１フレーム前の前記画像データの画像形式をＹＣ４４４形式からＹＣ４２２形式へ変換して、データ容量を少なくした巡回画像データを生成するダウンサンプリング部と、
前記巡回画像データを記録する巡回画像記録部と、
前記巡回画像記録部が記録する前記巡回画像データの画像形式をＹＣ４２２形式からＹＣ４４４形式へ変換して、データ容量を多くした巡回アップサンプリング画像データを生成するアップサンプリング部と、
前記巡回アップサンプリング画像データを用いて、ノイズ除去対象の前記画像データのノイズ除去を行うノイズ除去部と、
を備えたことを特徴とする画像処理装置。
前記ノイズ除去部は、前記巡回アップサンプリング画像データと前記画像データとの相関関係に基づいて、当該画像データのノイズ除去の強度を変更する
ことを特徴とする請求項１に記載の画像処理装置。
前記ノイズ除去部は、前記巡回アップサンプリング画像データと前記画像データとの相関関係が高いほど、当該画像データのノイズ除去の強度を強くし、前記巡回アップサンプリング画像データと前記画像データとの相関関係が低いほど、当該画像データのノイズ除去の強度を弱くする
ことを特徴とする請求項２に記載の画像処理装置。