JP2012181132A - 表面状態観測装置およびその方法 - Google Patents

Abstract

【課題】簡易かつ低コストな構成で、高精度に表面状態を観測する。
【解決手段】入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも３つ以上のバンドパスフィルタ５をそれぞれ相関演算し、分光画像を生成する分光画像生成部３２と、分光画像生成部３２により生成された各分光画像をグレースケール化するグレースケール処理部３３と、グレースケール処理部３３によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部４１とを備えた。
【選択図】図３

Description

この発明は、観測領域を撮像した画像を用いて、当該観測領域の表面状態を観測する表面状態観測装置およびその方法に関するものである。

従来から、浄水場や河川、湖沼等の水面に存在する油膜を検知する油膜検知装置が知られている（例えば特許文献１〜４参照）。これらの油膜検知装置では、水面上に存在する油膜に外光が照射された際に、油膜表面での反射光と水面での反射光が分光干渉することに着目して、油膜検知を行っている。

具体的には、特許文献１，２に開示される方式では、波長選択型カメラ装置を用いて、観測領域（水面）を短波長域（Ｂｌｕｅ）と長波長域（Ｒｅｄ）で撮像することで分光画像を生成している。そして、生成した短波長域と長波長域の画像信号を差分して、油膜領域のコントラストを高くした画像を生成している。また、この分光画像を生成する波長選択型カメラ装置の構成として、回転盤とシャッタを用いて光学フィルタをサイクリックに切り替えるもの、液晶波長可変フィルタ等の透過波長を制御可能なバンドパスフィルタを用いたもの、プリズムと２波長の光学フィルタを用いたものが示されている。
また、特許文献３，４に開示される方式では、反射光の分光干渉によって生じる虹色パターンを検知することで、油膜検知を行っている。この際、この虹色パターンの発生に伴う、米国ＥＩＡ規格の色度図上でのカラーデータの分布変化に基づき油膜検知を行っている。

特許第３９３０１６４号公報 特許第３７７２０１６号公報 特開２００７−１４７４４８号公報 特開２００９−０６３３９８号公報

しかしながら、特許文献１，２に開示される方式では、回転盤等の機械的構造物、液晶波長可変フィルタ、プリズムおよび２波長の光学フィルタ等のように一般的でない構成要素を使用しており、高額で扱いにくいという課題があった。また、特許文献１，２は、画像上の油膜領域のコントラストを高めることを目的としたものであるが、油膜とコントラストとの関係性が明確でないという課題があった。
また、特許文献３，４に開示される方式では、油膜の反射光によって生じる虹色パターンに伴う、色度図上でのカラーデータの分布変化を油膜検知の要としているため、油膜の存在と虹色パターンとの関連が一義的でなく、虹色パターンの検知だけでは油膜の特定に充分ではないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、簡易かつ低コストな構成で、高精度に表面状態を観測することが可能な表面状態観測装置およびその方法を提供することを目的としている。

この発明に係る表面状態観測装置は、入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも３つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成部と、分光画像生成部により生成された各分光画像をグレースケール化するグレースケール処理部と、グレースケール処理部によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部とを備えたものである。

この発明によれば、上記のように構成したので、観測領域を撮像した画像に対して、仮想のバンドパスフィルタを用いて、所定波長に対応した複数の分光画像を生成することができるため、液晶波長可変フィルタ等の高額な光学部品を用いることなく、簡易かつ低コストな構成で、観測領域の表面状態を高精度に観測することができる。

水面に存在する油膜による分光干渉を説明する図である。 図１に示す反射光のスペクトラム特性を示す図である。 この発明の実施の形態１に係る表面状態観測システムの構成を示すブロック図である。 この発明の実施の形態１におけるＮＢＩフィルタの色コードを示す図である。 純粋なＲＧＢの色コードを示す図である。 この発明の実施の形態１における乗算器による分光画像の生成を説明する図である。 この発明の実施の形態１に係る表面状態観測システムの観測動作を示すフローチャートである。 この発明の実施の形態１に係る表面状態観測システムの観測動作を説明する図であり、（ａ）各波長に対応したＮＢＩフィルタであり、（ｂ）各波長に対応した分光画像であり、（ｃ）隣接波長間での差分画像である。 この発明の実施の形態１における閾値の変化に伴う２値化画像の変化を示す図である。 この発明の実施の形態１における撮像画像、総和差分画像および２値化画像を示す図である。 ＮＢＩフィルタとして純粋なＲＧＢ色コード画像を用いた場合（λ１，λ３，λ７をＲＧＢ色コード画像とした場合）での観測動作を説明する図であり、（ａ）各波長に対応したＮＢＩフィルタであり、（ｂ）各波長に対応した分光画像であり、（ｃ）隣接波長間での差分画像である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
以下では、表面状態観測システムを用いて、浄水場や河川、湖沼等の水面上に存在する油膜を検知する場合について説明する。

まず、水面上に存在する油膜による分光干渉について説明する。
図１に示すように、水面（Ｎ２）上に屈折率が異なる油膜（Ｎ１）が存在する場合に、光源からの連続スペクトラム光や太陽光等の外光が油膜に照射されると、この光の一部が油膜表面で反射し（図１の反射光Ａ）、一部は屈折して透過する。また、油膜を透過した光の一部は水面で反射する（図１の反射光Ｂ）。そして、油膜表面で反射された光と水面で反射された光とが油膜の膜厚に応じた位相差で干渉する。

この反射光のスペクトラム特性は例えば図２に示すようになる。なお図２では、油膜の膜厚をｄ＝２μｍとし、外光の入射角をθ＝１０°とした場合の４５０〜６５０ｎｍの波長範囲内での反射率と反射率波長差分を示している。反射率波長差分は、隣接波長間での反射率を差分して反射率変化を示したものである。
図２に示すように、反射光は反射率６％程度で波打っている。すなわち、特定の波長では、油膜表面からの反射光と水面からの反射光が強め合うように作用し、また別の波長では油膜表面からの反射光と水面からの反射光が弱め合うように作用する分光干渉が生じている。このように、水面上に油膜が存在しない場合には、反射光の干渉はないため反射率は全波長範囲で一定であるが、油膜が存在する場合には、油膜の膜厚に応じた位相差で反射光が分光干渉するため、反射率は波長により変化する。

そこで、実施の形態１に係る表面状態観測システムでは、観測領域（水面）を撮像した画像に対して、２次元の分光器を用いることで、所定波長に対応した分光画像を複数生成する。そして、各分光画像の輝度を隣接波長間で差分して、輝度変化（図２の反射率変化に相当）を検出することで表面状態観測（油膜検知）を行う。
なお、２次元の分光器は、液晶波長可変フィルタのようなデバイスで実現できる。しかしながら、このデバイスは、開発途上のデバイスであり価格も高価な上、付帯する制御装置が必要になる。そこで実施の形態１に係る表面状態観測システムでは、このような扱いにくいデバイスは使用せず、撮像画像と、空間情報を持たない、所定波長の分光特性に対応した色コードの無地画像からなるバンドパスフィルタ（ＮＢＩフィルタ５）とを用いて、２次元の分光器を実現する。

次に、表面状態観測システムの構成について説明する。
表面状態観測システムは、図３に示すように、カラーカメラ１、および、分光エンジン３と干渉位相差検出部４とを有する表面状態観測装置２から構成されている。
カラーカメラ１は、観測領域（水面）を撮像するものである。このカラーカメラ１は、レンズ１１、ＲＧＢフィルタ１２、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１３およびＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース１４から構成されている。なおカラーカメラ１は、ＲＧＢの３つの分解能を有する一般的なカメラであり、携帯電話に内蔵されたカメラを用いてもよい。

レンズ１１は、外光に対する観測領域からの反射光を集光するものである。
ＲＧＢフィルタ１２は、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色のマイクロカラーフィルタであり、レンズ１１により集光された光をＲＧＢ成分の光に分離するものである。

ＣＣＤ１３は、ＲＧＢフィルタ１２によりＲＧＢ成分に分離された光を受光し、電気信号（アナログ画像）に変換するものである。
ＵＳＢインタフェース１４は、ＣＣＤ１３により変換されたアナログ画像をデジタル画像に変換し、分光エンジン３の後述する各波長別輝度調整部３１にそれぞれ出力するものである。

分光エンジン３は、カラーカメラ１により撮像された画像を所定波長に対応した分光画像に変換するものである。この分光エンジン３は、波長別輝度調整部３１、乗算器（分光画像生成部）３２、グレースケール処理部３３および分光感度等価器３４から構成されている。なお図３では、分光エンジン３の各機能部を波長ごと個々に設けて、個々に処理する場合について示しているが、全ての波長に対してまとめて処理を行ってもよい。

また、分光エンジン３では、カラーカメラ１からの撮像画像を所定波長に対応した分光画像に変換するため、ＮＢＩ（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）フィルタ５を用いる。このＮＢＩフィルタ５は、空間情報を持たない、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなるバンドパスフィルタ（仮想のバンドパスフィルタ）である。このＮＢＩフィルタ５は、表面観測に用いる分光画像の数に応じて少なくとも３つ以上設けられ（図１では波長λ１〜λ７それぞれに対応したＮＢＩフィルタ５が設けられている）、図４に示す色コードで構成されている。なお図４に示す色コードは、ＲＧＢ（赤、緑、青）成分をそれぞれ８ｂｉｔ，２５５階調で表現したものである。また、ＮＢＩフィルタ５として、純粋なＲＧＢの色コード（図５参照）は用いない。
例えば、波長λ１を赤（６１０〜７５０ｎｍ）、波長λ４を緑（５００〜５６０ｎｍ）、波長λ７を青（４３５〜４８０ｎｍ）とした場合、λ２とλ３は、λ１よりも短波長であり、かつ、λ４より長波長の帯域から選択される。また、λ３はλ２よりも短い波長域から選択される。λ５とλ６も同様であり、λ１からλ７の波長の長さは、λ１＞λ２＞λ３・・・λ６＞λ７とされる。そして、λ１に対応する色コードとしてＲＧＢ（２３４，６２，６６）が、λ４に対応する色コードとしてＲＧＢ（６７，２３５，６３）が、λ７に対応する色コードとしてＲＧＢ（７６，７２，２１９）が設定される。

波長別輝度調整部３１は、カラーカメラ１からの撮像画像に対して輝度調整を行うものである。
乗算器３２は、波長別輝度調整部３１により輝度調整された撮像画像に対して、対応するＮＢＩフィルタ５を用いて相関演算を行い、分光画像を生成するものである。この際、乗算器３２は、図６に示すように、まず、撮像画像とＮＢＩフィルタ５とをそれぞれＲＧＢ成分で分割する。そして、このＲＧＢ成分それぞれの色ベクトル画像同士で乗算を行い、その乗算結果を再合成することで分光画像を生成する。

グレースケール処理部３３は、乗算器３２により生成された分光画像をグレースケール化して輝度信号に変換するものである。この際、グレースケール処理部３３は、図６に示すように、分光画像に対して色ベクトル画像のノルム（√（Ｒ^２＋Ｇ^２＋Ｂ^２））を演算することで輝度信号に変換した分光画像（白黒画像）を生成する。
分光感度等価器３４は、グレースケール処理部３３によりグレースケール化された分光画像の感度を一定に調整するものである。

干渉位相差検出部４は、分光エンジン３により生成された各分光画像の輝度を隣接波長間で差分し、輝度変化を検出することで、表面状態観測（油膜検知）が可能な画像を生成するものである。この干渉位相差検出部４は、波長差分算出部４１、総和算出部４２および２値化処理部４３から構成されている。

波長差分算出部４１は、分光エンジン３からの各分光画像の輝度を隣接波長間で差分し、差分画像を生成するものである。この際、波長差分算出部４１は、隣接波長の各分光画像の輝度をそれぞれＩλＨ，ＩλＬとした場合に、
差分＝｜ＩλＨ−ＩλＬ｜／（ＩλＨ＋ＩλＬ）
を用いて輝度の均一化を図ったうえで、輝度差分を行う。
なお図３では、波長差分算出部４１を、隣接波長間ごとに個々に設けて、個々に処理を行う場合について示しているが、全ての隣接波長に対してまとめて処理を行ってもよい。

総和算出部４２は、各波長差分算出部４１により生成された差分画像の輝度を総和し、総和差分画像を生成するものである。
２値化処理部４３は、総和算出部４２により生成された総和差分画像の輝度を所定閾値で２値化し、２値化画像を生成するものである。この２値化処理部４３により生成された２値化画像はディスプレイ（不図示）上に表示される。

次に、上記のように構成された表面状態観測システムの観測動作について説明する。
表面状態観測システムの観測動作では、図７に示すように、まず、カラーカメラ１が、観測領域（水面）を撮像する（ステップＳＴ１）。すなわち、カラーカメラ１は、レンズ１１で集光した観測領域からの反射光を、ＲＧＢフィルタ１２でＲＧＢ成分の光に分離する。そして、ＲＧＢ成分に分離した光をＣＣＤ１３で受光し、ＵＳＢインタフェース１４でデジタル画像に変換し分光エンジン３に出力する。

次いで、分光エンジン３の各波長別輝度調整部３１が、カラーカメラ１からの撮像画像に対して輝度調整を行う（ステップＳＴ２）。次いで、各乗算器３２が、波長別輝度調整部３１により輝度調整された撮像画像に対して、対応するＮＢＩフィルタ５を用いて相関演算を行い、分光画像を生成する（ステップＳＴ３，分光画像生成ステップ）。
これにより、表面状態観測システムで用いられている光学フィルタは、ＲＧＢの３つの分解能のみを有するＲＧＢフィルタ１２だけであるのにも関わらず、図８（ａ）に示す各波長（λ１〜λ７）に対応した仮想のバンドパスフィルタ（ＮＢＩフィルタ５）を用いることで、図８（ｂ）に示すような各波長に対応した分光画像を得ることができる。

次いで、各グレースケール処理部３３が、乗算器３２により生成された分光画像をグレースケール化する（ステップＳＴ４，グレースケール処理ステップ）。次いで、各分光感度等価器３４が、グレースケール処理部３３によりグレースケール化された分光画像の感度を一定に調整する（ステップＳＴ５）。

次いで、各波長差分算出部４１が、分光感度等価器３４により感度調整された、対応する隣接波長の分光画像の輝度を差分し、差分画像を生成する（ステップＳＴ６，波長差分算出ステップ）。この際、輝度の均一化を図ったうえで輝度差分を行う。
これにより、図８（ｃ）に示すような、隣接波長間での輝度変化の度合いを示す分光画像を得ることができる。なお図８（ｃ）に示す差分画像において、白く表示されている部分が輝度変化が大きい領域である。ここで、図８（ｃ）の例では、左端の差分画像（λ１−λ２）、右から３番目の差分画像（λ４−λ５）、右端の差分画像（λ６−λ７）で輝度変化が大きくなっていることが分かる。

この差分画像に示される輝度変化は図２での反射率変化に対応する。すなわち、水面上に油膜が存在しない場合には、反射光の干渉はないため反射率は全波長範囲で一定であり、輝度変化を有する差分画像はない。一方、油膜が存在する場合には、油膜の膜厚に応じた位相差で反射光が分光干渉するため、反射率は波長により変化し、輝度変化を有する差分画像が発生する。よって、この各波長差分算出部４１で生成された差分画像を監視することで油膜の存在を検知することができる。
しかしながら、各波長差分算出部４１で差分画像を算出しただけでは、どの差分画像に輝度変化が生じているかを特定することが難しく、輝度変化を有する差分画像があるかを１枚ずつ確認しなければならない。

そこで、総和算出部４２が、各波長差分算出部４１により生成された差分画像の輝度を総和し、総和差分画像を生成する（ステップＳＴ７，総和算出ステップ）。次いで、２値化処理部４３が、総和算出部４２により生成された総和差分画像の輝度を所定閾値で２値化し、２値化画像を生成する（ステップＳＴ８，２値化処理ステップ）。この２値化処理部４３により生成された２値化画像はディスプレイ上に表示される。
このように、各差分画像の輝度を総和した画像を生成して所定閾値で２値化することで、図９に示すように、輝度変化が生じているかを一目で判断することが可能となる。なお図９では、閾値の変化に伴う２値化画像の変化を示している。

ここで、図１０（ａ）に示すように、単にカラーカメラ１を用いて水面を撮像しただけでは、水面に存在する油膜を視認することは難しい。しかしながら、所定波長に対応したＮＢＩフィルタ５を用いて、撮像画像を所定波長に対応した分光画像に変換し、隣接波長間での輝度変化を検出することで、図１０（ｂ），（ｃ）に示すように、水面に存在する油膜を容易に視認することが可能となる。

なお、ＮＢＩフィルタ５として、図５に示す純粋なＲＧＢの色コードを用いた場合（例えば波長λ１，λ３，λ７をＲＧＢの色コード画像とした場合）には、図１１に示すような結果となる。
ここで、図８（ｂ），１１（ｂ）に示すように、撮像画像とＮＢＩフィルタ５との相関演算結果である分光画像には両者にそれほどの差異はない。しかしながら、図８（ｃ），１１（ｃ）に示すように、隣接波長間の分光画像での輝度差分である差分画像には違いが現れ、純粋なＲＧＢの色コードを用いた場合には、全面黒（輝度差分なし）または全面白（オーバースケール）となる差分画像が生じてしまい、バンドパスフィルタとして機能していないことが分かる。この結果から、ＮＢＩフィルタ５を作成する際には、隣接波長の差分に連続性を保てるような色コードの設定が重要となる。

また、図３に示す表面状態観測装置２では、画像ファイルを乗除算する必要があるため、大きなハードウェア構成となる。そのため、表面観察処理に高速性が求められる場合には、表面状態観測装置２の各機能ブロックをＩＣ化する。この際、各機能ブロックに対して個々にＩＣ化を行ってもよいし、まとめてＩＣ化してもよい。これにより、μ秒オーダで解析可能となる。

また、通常の場合には、図３に示す表面状態観測装置２のハードウェアモデル構成をベースにしたモデル（構成）ベースデザインによるソフトウェア開発によってＰＣのＣＰＵチップ内にシステム構築する。
ここで、ＰＣのＣＰＵ機能を活用する場合には、表面状態観測装置２の開発プロトタイプまたは特殊タイプを、ＰＣのカメラインタフェース、表示装置および入出力装置を活用して、デバッグ機器として開発する。すなわち、図３に示す表面状態観測装置２の構成をモデルベースデザインによってＰＣのＯＳ上にシステム構築する。なお、外観はノートＰＣにＵＳＢカメラを接続した形態をとる。

また、組み込み型のＣＰＵに移植する場合には、ＰＣ−ＯＳ上でシステム構築されたソフトウェアを機能圧縮して、マイクロコンピュータ上で動作可能なように開発プロトタイプを専用機器化する。すなわち、モデルベースデザインのシステム構築をマイクロコンピュータベースで行う。
また、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）化して全てハードウェアとする場合には、モデルベースデザインのソフトウェア開発に並行して、図３に示す表面状態観測装置２のモデルをＦＰＧＡ化してマイクロコンピュータと組み合わせて一体化する。

以上のように、この実施の形態１によれば、観測領域を撮像した画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも３つ以上のＮＢＩフィルタ５をそれぞれ相関演算して、分光画像を生成し、隣接波長間での輝度差分を行うように構成したので、ＲＧＢの３つの分解能しか持たないカラー画像から仮想のバンドパスフィルタであるＮＢＩフィルタ５によってＲＧＢの分解能を超える分光画像を生成することができるため、液晶波長可変フィルタ等の高額な光学部品を用いることなく、簡易かつ低コストな構成で、観測領域の表面状態を高精度に観測することができる。

なお、実施の形態１に係る表面状態観測システムでは、水面上に存在する油膜を検知する場合について説明を行ったが、これに限るものではなく、その他の表面状態観察、例えば、水面に存在するゴミや泡、道路上のスリップ痕等を検知する場合にも同様に適用可能である。なお、ここで言う「表面」には、外光の照射空間と所定の観測対象物質（例えば水）との境界面上（例えば水面上）だけでなく、撮像した三次元空間の画像から観察可能な奥行きのある範囲（観測対象物質内）も含まれる。すなわち、例えば水中に存在するゴミや泡等を検知する場合に対しても、このゴミや泡等に起因する反射率変化に相当する輝度変化を画像から検出可能であれば、同様に適用可能である。

また、実施の形態１に係る表面状態観測装置２の干渉位相差検出部４では、総和算出部４２および２値化算出部４３を含めた場合について示したが、波長差分算出部４１のみを有するように構成してもよい。この場合にも、各波長差分算出部４１からの差分画像に輝度変化が高い領域が存在しているかを監視することで表面状態観測を行うことができる。
また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ カラーカメラ
２ 表面状態観測装置
３ 分光エンジン
４ 干渉位相差検出部
５ ＮＢＩフィルタ
１１ レンズ
１２ ＲＧＢフィルタ
１３ ＣＣＤ
１４ ＵＳＢインタフェース
３１ 波長別輝度調整部
３２ 乗算器（分光画像生成部）
３３ グレースケール処理部
３４ 分光感度等価器
４１ 波長差分算出部
４２ 総和算出部
４３ ２値化処理部

Claims (4)

1. 入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも３つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成部と、
   前記分光画像生成部により生成された各分光画像をグレースケール化するグレースケール処理部と、
   前記グレースケール処理部によりグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出部とを備えた
   ことを特徴とする表面状態観測装置。
2. 前記波長差分算出部により生成された各差分画像の輝度を総和し、総和差分画像を生成する総和算出部と、
   前記総和算出部により生成された総和差分画像の輝度を所定閾値で２値化し、２値化画像を生成する２値化処理部と
   を備えたことを特徴とする請求項１記載の表面状態観測装置。
3. 前記波長差分算出部は、隣接波長の各分光画像の輝度をそれぞれＩλＨ，ＩλＬとした場合に、
   差分＝｜ＩλＨ−ＩλＬ｜／（ＩλＨ＋ＩλＬ）
   を用いて輝度の均一化を図る
   ことを特徴とする請求項１または請求項２記載の表面状態観測装置。
4. 入力された撮像画像に対して、それぞれ異なる所定波長の分光特性に対応した色コードの無地画像からなる、少なくとも３つ以上のバンドパスフィルタをそれぞれ相関演算し、分光画像を生成する分光画像生成ステップと、
   前記分光画像生成ステップにおいて生成した各分光画像をグレースケール化するグレースケール処理ステップと、
   前記グレースケール処理ステップにおいてグレースケール化された各分光画像の輝度を隣接波長間で差分し、差分画像を生成する波長差分算出ステップとを有する
   ことを特徴とする表面状態観測方法。

Images