JP2012163777A - 画像処理装置、撮像装置およびプログラム - Google Patents

Abstract

【課題】 背景領域のみの情報を別途取得することなく、処理対象の画像から背景領域での輝度ムラを精度良く求める。
【解決手段】 画像処理装置は、観察対象を撮像した画像を取得する取得部と、画像のうちで観察対象の領域を除いた背景領域での輝度分布を推定する推定部とを備える。推定部は、背景領域の残差に対して観察対象の残差よりも大きな重みを付与した状態で最小二乗法の演算を行って、背景領域での輝度分布を推定する。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置およびプログラムに関する。

例えば画像の二値化の前処理として、観察対象を撮像した処理対象の画像に対して、背景領域での輝度ムラ（シェーディング）を補正することが従来から行われている。

一般的なシェーディング補正では、予め背景部分のみ撮像した背景画像との差分で処理対象の画像からシェーディングを補正する手法や、処理対象の画像にハイパスフィルタをかけて観察対象を抽出することで、処理対象の画像からシェーディングによる低周波数成分の変化を求める手法などが知られている。

特開２００４−２２６３４７号公報

ところで、背景画像を用いてシェーディングを補正する手法では、背景画像がなければシェーディングを補正できない。また、上記の手法では、例えば背景画像の取得時と観察時とで照明条件が変化した場合には、正しくシェーディング補正を行うことができない。

また、画像の周波数成分に着目してシェーディングを補正する手法では、観察対象が低周波数成分に近い成分を含む場合（例えば観察対象の占有面積が大きな場合）には、ハイパスフィルタで観察対象を精度良く分離することが困難である。

上記事情に鑑み、背景領域のみの情報を別途取得することなく、処理対象の画像から背景領域での輝度ムラを精度良く求める技術を提供する。

一の態様の画像処理装置は、観察対象を撮像した画像を取得する取得部と、画像のうちで観察対象の領域を除いた背景領域での輝度分布を推定する推定部とを備える。推定部は、背景領域の残差に対して観察対象の残差よりも大きな重みを付与した状態で最小二乗法の演算を行って、背景領域での輝度分布を推定する。

上記の推定部は、背景領域と観察対象とで残差の重みを等しくした状態で最小二乗法の演算を行って、背景領域の輝度分布を推定するときの演算モデルの初期パラメータを求めてもよい。

上記の画像処理装置は、画像の分散値または微分値に基づいて、画像から非背景領域を抽出するフィルタ処理部をさらに備えていてもよい。また、推定部は、画像のうちで非背景領域を除いた範囲を対象として、背景領域での輝度分布を推定してもよい。

上記の画像処理装置は、推定部によって推定された輝度分布を用いて、背景領域での輝度ムラを補正する補正部をさらに備えていてもよい。

なお、上記の画像処理装置を撮像部とともに備える撮像装置や、コンピュータを上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。

背景領域の残差に対して観察対象の残差よりも大きな重みを付与した状態で、最小二乗法を用いて背景領域での輝度分布を推定する。これにより、背景領域のみの情報を別途取得することなく、処理対象の画像から背景領域での輝度ムラを精度良く求めることができる。

一の実施形態での画像処理装置の構成例を示す図 シェーディングのない画像でのｘ方向の画素値の分布例を示す図 シェーディングのある画像でのｘ方向の画素値の分布例を示す図 一の実施形態での画像処理装置の動作例を示す流れ図 最小二乗法による背景領域の輝度分布の推定例を示す図 シェーディング補正前の画像の例を示す図 シェーディング補正後の画像の例を示す図 他の実施形態における撮像装置の構成例を示す図

＜一の実施形態の説明＞
図１は、一の実施形態での画像処理装置の構成例を示す図である。一の実施形態での画像処理装置は、シェーディング補正を行う画像処理プログラムがインストールされたパーソナルコンピュータである。

図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部１２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置１３には、画像処理プログラムが記憶されている。なお、記憶装置１３には、データ読込部１２から読み込んだ画像のデータや、画像処理プログラムで合成された画像のデータを記憶しておくこともできる。

ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、画像処理プログラムの実行によって、推定部２１、フィルタ処理部２２、補正部２３として動作する（推定部２１、フィルタ処理部２２および補正部２３の各動作については後述する）。

メモリ１５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭである。

次に、一の実施形態での画像処理装置の動作例を説明する。

ここで、一の実施形態の例では、蛍光試薬で蛍光染色された細胞を暗視野で撮像した画像に対して、画像処理装置が画像の二値化処理を実行する。また、画像処理装置は、画像の二値化処理の前処理として、最小二乗法を用いて背景領域（観察対象以外の領域）のシェーディング補正を実行する。

図２は、シェーディングのない画像でのｘ方向の画素値の分布例を示す図であり、図３は、シェーディングのある画像でのｘ方向の画素値の分布例を示す図である。図２および図３において、縦軸は画素値（０〜２５５）を示し、横軸はｘ方向の座標を示している。

一の実施形態において、画像中において蛍光試薬は背景（暗視野）よりも明るく写る。図２のようにシェーディングのない状態では、画像全体で同じ閾値を用いても観察対象と背景領域とを比較的精度よく分離することが可能である。

一方、観察視野に迷光が入射した場合には、迷光の影響によって視野内の輝度値が全体的に持ち上げられるとともに、画像内で輝度ムラ（シェーディング）も発生する（図３参照）。かかる場合には、シェーディングによって背景領域の輝度値が画像内でばらつくので、画像全体で同じ閾値を用いると観察対象と背景領域とを正しく分離できなくなる。図３の例であれば、図中左側の観察対象の輝度値と、図中右端部分の背景領域の輝度値との差が小さいので、図中左側の観察対象を抽出できる閾値を一律に適用すると、背景領域の輝度値が閾値を上回ってしまう。そのため、一の実施形態の画像処理装置は、背景領域のシェーディング補正を予め実行することで、二値化処理における観察対象と背景領域との分離精度を向上させる。

以下、図４の流れ図を参照しつつ、一の実施形態での画像処理装置の動作例を説明する。なお、図４の流れ図の処理は、ユーザからのプログラム実行指示に応じてＣＰＵ１４が開始する。

ステップ＃１０１：ＣＰＵ１４は、データ読込部１２を介して処理対象の画像のデータを外部から取得する。＃１０１で取得された画像のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、処理対象の画像のデータが予め記憶装置１３に記憶されている場合には、ＣＰＵ１４は＃１０１の処理を省略してもよい。

ここで、一の実施形態での処理対象の画像は、蛍光染色された細胞を共焦点蛍光顕微鏡で撮像した画像である。共焦点蛍光顕微鏡は暗視野の光学系であるので、処理対象の画像における背景領域の輝度は低くなる。一方、処理対象の画像において、観察対象となる細胞の染色部分の輝度は背景領域と比べて相対的に高くなる。

ステップ＃１０２：フィルタ処理部２２は、処理対象の画像に分散フィルタまたは微分フィルタをかけて、各画素の分散値または微分値をそれぞれ求める。そして、フィルタ処理部２２は、各画素の分散値または微分値を用いて、処理対象の画像に含まれる非背景領域を抽出する。

一般的に、画像の背景領域はほぼ一様であるため、背景領域における画素値の分散値および微分値はいずれも小さくなる。

＃１０２でのフィルタ処理部２２は、上記の性質を利用して、画素値の分散値が閾値以上の領域または画素値の微分値が閾値以上の領域を非背景領域として抽出する。これにより、処理対象の画像から、背景領域と観察対象の部分（非背景領域）とを粗く分離できる。その後、フィルタ処理部２２は、処理対象の画像から非背景領域を除いた範囲を演算範囲に指定する。なお、推定部２１は、処理対象の画像のうち、上記の演算範囲を対象として背景領域での輝度分布を推定する。

ステップ＃１０３：推定部２１は、演算範囲（＃１０２）の画素値を用いて、背景領域の輝度分布を推定するときに用いる演算モデルの初期パラメータを求める。

一例として、背景輝度の分布を二次曲面（照明光であれば球面）の演算モデルで表現する場合を考える。座標（ｘ，ｙ）での輝度値をＩ_x,yとすると、式（１）の関係となる。

また、画像の各位置での輝度値を求めると、式（２）のように連立できる。また、式（２）を行列で表現すると式（３）となる。なお、本明細書において、「ｎ」は演算範囲内での標本点の数を示す。

＃１０３での推定部２１は、背景領域と観察対象とで残差の重みを等しくした状態で最小二乗法の演算を行って、二次曲面の演算モデルの初期パラメータ（ａ₁〜ａ₆）を求めればよい。

ステップ＃１０４：推定部２１は、上記の演算モデルを用いて、背景領域での輝度分布を最小二乗法により推定する。＃１０４での推定部２１は、背景領域の残差に対して観察対象の残差よりも大きな重みを付与した状態で最小二乗法の演算を行う。

ここで、＃１０４の最小二乗法の演算において、背景領域と観察対象との間で残差の重みを相違させる理由を説明する。

背景領域と観察対象との間で残差の重みを等しくした場合、画像の明部（観察対象）および暗部（背景領域）はいずれも残差として評価される。上記の場合には、最小二乗法では残差の二乗和が最小となるように背景領域の輝度分布が推定される。

背景領域が大半を占める画像の場合、上記の演算によっても背景領域の輝度分布が比較的よく近似する。しかし、観察対象の面積が大きい画像の場合には、上記の演算によると背景領域の輝度分布が画像の明部の残差で引き上げられてしまい、背景領域の輝度分布を正しく求めることが困難になる（図５参照）。そのため、一の実施形態では、背景領域の残差にのみ大きな重みを付与し、背景領域の輝度分布の推定精度を向上させている。

より具体的には、＃１０４での推定部２１は、以下の（イ）〜（ハ）の処理を順次実行する。

（イ）推定部２１は、演算範囲（＃１０２）の全標本点ｎにおいて、式（４）により画素ｉでの残差Ｐ_iをそれぞれ求める。

ここで、式（４）の「ａ₁〜ａ₆」には、１回目の演算において＃１０３で求めた初期パラメータが代入される。また、２回目以降の演算において、式（４）の「ａ₁〜ａ₆」には、前回の演算で求めた値が代入される。

（ロ）推定部２１は、上記（イ）で求めた各標本点の残差Ｐ_iを式（５）に代入し、各標本点での重み付き残差Ｒ_iをそれぞれ求める。

式（５）において、残差Ｐ_iがゼロまたは正の値である場合には、残差Ｐ_iがそのままＲ_iとなる。一方、残差Ｐ_iが負の値である場合には、残差Ｒ_iとして大きな重みが付与される。ここで、残差Ｐ_iが負の値であるときの残差Ｒ_iを極端に大きくすると、背景領域の輝度分布を推定するときにノイズの影響を大きく受けるようになる。そのため、残差Ｐ_iが負の値であるときの残差Ｒ_iの値は、ノイズによる影響の受けやすさを考慮して適宜決定される。例えば、式（５）での「ｍ」の設計値は４である。

ステップ＃１０５：推定部２１は、＃１０４で求めた演算結果が収束条件を満たすか否かを判定する。一例として、＃１０５での推定部２１は、式（７）が成り立つときに収束条件を満たすと判定する。

式（７）において、「ε」は収束条件を規定する定数であり、一例として「ε＝１．０ｅ^-6」である。また、「ｋ」は評価関数Ｅの探索回数を示している。式（７）の演算によれば、前回の演算結果と今回の演算結果とで評価関数Ｅの差が非常に小さくなるときに、収束条件が満たされることとなる。

上記の要件を満たす場合（ＹＥＳ側）、＃１０６に処理が移行する。一方、上記の要件を満たさない場合（ＮＯ側）、推定部２１は＃１０４に戻って上記動作を繰り返す。なお、＃１０５のＮＯ側の場合、推定部２１は、式（４）の「ａ₁〜ａ₆」を今回の演算で求めた値に更新してから演算を行う。かかる＃１０５のＮＯ側のループにより、処理対象の画像の背景領域と近似する二次曲面のパラメータが求められる。

ステップ＃１０６：補正部２３は、＃１０４で推定した背景領域の輝度分布を用いて、処理対象の画像における背景領域のシェーディングを補正する。なお、図６はシェーディング補正前の画像の例を示し、図７はシェーディング補正後の画像の例を示す。図６では図中上側と下側で背景領域の明るさが相違するが、図７では図中の背景領域の明るさがほぼ一様に補正されていることが分かる。

ステップ＃１０７：ＣＰＵ１４は、シェーディング補正された処理対象の画像（＃１０６）に二値化処理を施す。＃１０７では、シェーディング補正（＃１０６）によって背景領域の輝度がほぼ一様となった画像に対して二値化処理を行うので、処理対象に含まれる観察対象と背景領域とを精度よく分離することが可能となる。

その後、ＣＰＵ１４は、二値化処理の結果をモニタ１９に表示してもよく、二値化処理によって得た画像のデータを記憶部に記録してもよい。以上で、図４の流れ図の説明を終了する。

一の実施形態の画像処理装置は、背景領域での輝度分布を最小二乗法により推定するときに、背景領域の残差に対して観察対象の残差よりも大きな重みを付与する（＃１０４）。これにより、一の実施形態では、背景領域が少ない画像が処理対象である場合でも、最小二乗法の演算において観察対象の残差の影響を非常に小さくできるので、背景領域の輝度分布の推定精度が向上する。

また、一の実施形態の画像処理装置は、背景領域と観察対象とで残差の重みを等しくして最小二乗法の演算を行って、演算モデルの初期パラメータを求めている（＃１０３）。これにより、一の実施形態では、演算モデルのパラメータを求めるときに比較的少ない回数で演算結果を収束させることができる。

また、一の実施形態の画像処理装置は、微分フィルタまたは分散フィルタを適用して画像から非背景領域を抽出し、処理対象の画像から非背景領域を除いた範囲を演算範囲に指定する（＃１０２）。これにより、一の実施形態では、処理対象の画像において演算すべき範囲を限定でき、シェーディング補正を行うときの演算負荷を大幅に抑制できる。

＜他の実施形態の説明＞
図８は、他の実施形態における撮像装置の構成例を示す図である。他の実施形態の撮像装置は、共焦点蛍光顕微鏡による結像を撮像する装置であって、シェーディング補正を行う画像処理装置が組み込まれている。

撮像装置は、光源３１と、照明光学系３２と、共焦点光学系３３と、撮像素子３４と、信号処理部３５と、ＣＰＵ３６と、記憶部３７と、操作部３８および表示部３９とを有している。ここで、信号処理部３５、記憶部３７、操作部３８および表示部３９はそれぞれＣＰＵと接続されている。

光源３１は、例えばレーザ光を照射するレーザ光源である。照明光学系３２は、例えばコンデンサレンズである。光源３１および照明光学系３２は、図８において共焦点光学系３３の側方に位置し、後述するビームスプリッタ４３から側方に延びる光軸Ｌ１上に配置される。

共焦点光学系３３は、観察対象の細胞を収納した培養容器４０から上方に延びる光軸Ｌ２上に、培養容器４０側（図中下側）からみて、対物レンズ系４１、ピンホールディスク４２、ビームスプリッタ４３、リレーレンズ系４４の順で配置される。共焦点光学系３３は、上記のピンホールディスク４２を通過した光を、ステージ４５に載置された培養容器４０に共焦点ピンホールの像（点像）として集光照射する。ピンホールディスク４２は、光を透過する共焦点ピンホール（図示省略）が多数螺旋状に配列された薄い円盤であって、ビームスプリッタ４３で反射された光を遮るように、共焦点光学系３３の光軸Ｌ２に対して直交して配置されている。また、ピンホールディスク４２は、モータ４６により所定の回転速度で回転されている。そして、共焦点ピンホールを透過した光のみが対物レンズ系４１に向けて照射される。

ビームスプリッタ４３は、照明光学系３２からの照明光のうち、特定の偏光成分の光を透過させるとともに、残りの偏光成分を反射する。ビームスプリッタ４３で反射された偏光成分の光は、ピンホールディスク４２の上面に照射される。また、ビームスプリッタ４３は、ピンホールディスク４２の共焦点ピンホールを通過した反射光を透過させて、リレーレンズ系４４に照射する。リレーレンズ系４４は、ビームスプリッタ４３を透過した反射光を集光し、撮像素子３４の撮像面に共焦点ピンホールの像を結像させる。

撮像素子３４は、リレーレンズ系４４の像面位置に設けられており、共焦点光学系３３による結像を撮像する。撮像素子３４の出力は、信号処理部３５と接続されている。信号処理部３５は、撮像素子３４から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次施す。信号処理部３５から出力される画像のデータはＣＰＵ３６に入力される。

ＣＰＵ３６は、撮像装置の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ３６は、信号処理部３５から出力された画像のデータに対して画像処理（階調変換処理、ホワイトバランス調整処理、ノイズ除去処理、輪郭強調処理、色変換処理など）を施す。また、ＣＰＵ３６は、画像処理プログラムの実行によって、一の実施形態の推定部２１、フィルタ処理部２２、補正部２３としてそれぞれ動作する。

記憶部３７は、撮像素子３４で撮像された画像や画像処理プログラムを記憶する記憶媒体である。例えば、記憶部３７は、ハードディスクや、不揮発性の半導体メモリなどで構成される。操作部３８は、ユーザから画像の撮像指示の入力を受け付ける。また、表示部３９は、撮像素子３４で撮像された画像を再生表示する表示デバイスである。

他の実施形態の撮像装置は、撮像素子３４で撮像された画像を処理対象として取得し、図４の＃１０２〜＃１０７の処理を実行する。したがって、他の実施形態の撮像装置においても一の実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足事項１）上記実施形態では、観察対象が背景領域よりも明るく写る暗視野の画像を処理対象とする例を説明したが、本発明は上記実施形態に限定されるものではない。例えば、本発明は、観察対象が背景領域よりも暗く写る明視野の画像（例えば、液晶方式やプラズマ方式等のフラット表示デバイスに用いるガラス基板や、ウェハなどを観察対象とする工業用顕微鏡の画像など）を処理対象とする画像処理装置や撮像装置にも応用できる。なお、明視野の画像を撮像できる位相差顕微鏡や微分干渉顕微鏡の光学系はいずれも公知であるので、明視野の顕微鏡画像を撮像する撮像装置の説明は省略する。

（補足事項２）一の実施形態において、最小二乗法によって初期パラメータを求めたとき（＃１０３）に、ＣＰＵ１４は、正方向の残差が大きくなる部分をさらに演算範囲から除外して、演算範囲を絞り込んでもよい。

（補足事項３）上記実施形態では、背景領域のシェーディングを二次曲面の演算モデルで近似する例を説明した。しかし、背景領域のシェーディングは、照明のレンズ構成や外乱によって、二次曲面で表現できるとは限らない。そのため、本発明の画像処理装置は、三次以上の関数を用いた演算モデルで背景領域のシェーディングを近似してもよい。

なお、背景領域のシェーディングをよく近似できる曲面の次数が不明な場合、画像処理装置は赤池情報量基準（Akaike Information Criterion）のアルゴリズムによって最適な次数の演算モデルを決定すればよい。

（補足事項４）上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、推定部２１、フィルタ処理部２２、補正部２３の各機能をＡＳＩＣによってハードウエア的に実現してもかまわない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス、１８…入力デバイス、１９…モニタ、２１…推定部、２２…フィルタ処理部、２３…補正部、３１…光源、３２…照明光学系、３３…共焦点光学系、３４…撮像素子、３６…ＣＰＵ

Claims (6)

1. 観察対象を撮像した画像を取得する取得部と、
   前記画像のうちで前記観察対象の領域を除いた背景領域での輝度分布を推定する推定部と、を備え、
   前記推定部は、前記背景領域の残差に対して前記観察対象の残差よりも大きな重みを付与した状態で最小二乗法の演算を行って、前記背景領域での輝度分布を推定する画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記推定部は、前記背景領域と前記観察対象とで残差の重みを等しくした状態で最小二乗法の演算を行って、前記背景領域の輝度分布を推定するときの演算モデルの初期パラメータを求める画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記画像の分散値または微分値に基づいて、前記画像から非背景領域を抽出するフィルタ処理部をさらに備え、
   前記推定部は、前記画像のうちで前記非背景領域を除いた範囲を対象として、前記背景領域での輝度分布を推定する画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記推定部によって推定された輝度分布を用いて、前記背景領域での輝度ムラを補正する補正部をさらに備える画像処理装置。
5. 顕微鏡を介して観察対象を撮像する撮像部と、
   請求項１から請求項４のいずれか１項に記載の画像処理装置と、
   を備える撮像装置。
6. 観察対象を撮像した画像を取得する取得処理と、
   前記画像のうちで前記観察対象の領域を除いた背景領域での輝度分布を推定する推定処理とをコンピュータに実行させ、
   前記推定処理では、前記背景領域の残差に対して前記観察対象の残差よりも大きな重みを付与した状態で最小二乗法の演算を行って、前記背景領域での輝度分布を推定するプログラム。