JP5936239B2

JP5936239B2 - 路面の劣化度合い推定方法およびアルゴリズム（多重解像度画像のガボール・フィルター出力画像を使用した、ひび割れ検出手法）

Info

Publication number: JP5936239B2
Application number: JP2014166736A
Authority: JP
Inventors: 中野　宏毅; 宏毅中野
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2014-08-19
Filing date: 2014-08-19
Publication date: 2016-06-22
Anticipated expiration: 2034-08-19
Also published as: JP2016045508A; US20160055392A1; US9390343B2

Description

本発明は、画像解析に関し、より詳しくは、道路の路面のひび割れを定量化して劣化度合いの定量化を行なう画像解析に関する。

近年道路・橋梁などの社会インフラ構造物の老朽化による劣化が問題視されており、それらの構造物の定期的モニタリングおよび劣化度合いの定量化への要求が高まっている。

特に、長大な主要道路の路面の状態を目視確認により定量化することは事実上不可能であり、画像解析による自動化が求められている。

図１は、従来手法（その１）における路面画像の一例を示す図である。

対象画像は路面画像であるが、アスファルトで舗装された道路上に、白線がペイントされているものを撮影した画像である。

図１の下から上へ向かう方向が自動車の走行レーンであって、白い破線が道路標示としてアスファルト上に示されている。

左右にある２本の白い破線の間が、車両通行帯となる。

車両通行帯内に現れている「追」の文字（日本語の漢字）の一部は、追い越し禁止などの規制を示すための道路標示の一部である。

道路標示は、自動車の進行方向に向かって読取ることができるよう縦長に、これも白でペイントされている。

従来手法（その１）では、目視によるひび割れの定量化と記録をする。

ひび割れは、その性質上、異なる回転方向成分（θ）のものが散在して現れている。

また、ひび割れは、道路標示としてペイントされた部分にも入り込んでしまう（ペイントを破断してしまう）ことがある。

図２は、従来手法（その１）における目視によるひび割れの定量化を示す図である。

図２では、目視により、ひび割れを検出し、ひび割れを複数の線分（太線）でマーキングする。

そして、各線分ベクトルの始点と終点の座標のペアを記録する。

目視による官能検査であるため、作業者ごとにひび割れの判定基準や線分の引き方が異なることが問題となる。

また、長大な道路の画像をすべて目視で処理することは現実的ではない。

図３は、従来手法（その２）におけるエッジ検出アルゴリズムによるひび割れの検出を示す図である。

通常、当業者が考案するであろう手法が、エッジ検出アルゴリズムの利用である。

図３では、エッジ検出アルゴリズムは複数知られているが、ここではひび割れの検出結果が比較的明瞭である Cannyと呼ばれるエッジ検出アルゴリズムを使用している。

エッジ検出がされた結果は、エッジとなる画素の点列の集合にすぎない。

図４は、従来手法（その２）における線分ベクトルの抽出を示す図である。

図３のままでは、エッジとなる画素の点列の集合にすぎないため、Hough変換により、点列から直線成分を抽出し、線分ベクトルの集合として、ひび割れ情報を記録する。

しかし、目視で検出されるひび割れがエッジとして現れなかったり、路面の白線や文字のエッジが線分ベクトルとして検出されてしまうことが問題となる。

特許文献１には、ストライプパターンのような模様や溝が形成された帯状体の表面の疵を検出する方法について記載されており、画像処理によって傾斜した線を認識する点が記載されている。

特許文献２には、製品の傷等の検査を画像処理を用いて行うことが記載されており、対象物の表面にある加工跡のような特有のパターンを検出することが記載されている。

特許文献３には、平面上の物体の表面を画像処理を用いて検査する技術が記載されており、画像処理にはローパスフィルタを用いて空間周波数の高い成分を遮断する点が記載されている。

特許文献４には、被検査物の欠陥を検出する際に、傷等の欠陥が強調された画像を生成する検査装置について記載されている。

特許文献４にはまた、「欠陥抽出画像の各画素の輝度を反転する」ことが記載されており、また、方向性フィルタとしてガボールフィルタを用いることが記載されている。

特許文献５には、道路の路面検査において、精度の高いひび割れ検出を行う技術が記載されている。

特許文献５の技術は、路面原画像から画像を切り出し、二値化によるひび割れやパッチングのエッジ抽出処理を切り出した画像ごとに行うことに特徴がある。

特許文献６には、画像からコンクリートのひび割れを検知する技術について記載されている。

特許文献６にはまた、ひび割れを検出するために、コンクリート構造物を撮影した画像に複数のエッジフィルタを適用して画素値を比較することが記載されている。

上記特許文献１〜６の何れもが、画像処理を用いてひび割れ等のエッジを抽出する点を記載する。

しかし、いずれも本願の発明の構成要素を断片的に開示している程度であり、本件発明との関連性は低い。

特許文献７〜９は、参考事例にすぎない。

特開２００７−１３２８５８特開平６−２３５６２６特開２０００−３２６４９４特開２００９−２２９０８５特開平９−６１１３８特開２０１１−２４２３６５特開２００４−１４５５０１特開２０００−２８５２３６特開２００７−１５５４０５

本発明の目的は、デジタル画像として記録された路面の画像から、路面のひび割れを定量化し、劣化度合いの定量化を行うための画像解析方法を提供することにある。

多重解像度画像にガボール・フィルターを作用させた画像をもとに、路面のひび割れを検出し、かつ、路面の白線や文字をひび割れと区別できることを特徴とした画像解析手法を提供する。

本発明に従えば、従来手法の欠点である、目視で検出されるひび割れがエッジとして現れなかったり、路面の白線や文字のエッジが線分ベクトルとして検出される問題を解決することができる。

図１は、従来手法（その１）における路面画像の一例を示す図である。図２は、従来手法（その１）における目視によるひび割れの定量化を示す図である。図３は、従来手法（その２）におけるエッジ検出アルゴリズムによるひび割れの検出を示す図である。図４は、従来手法（その２）における線分ベクトルの抽出を示す図である。図５は、ガボール・フィルターを説明する図である。図６は、異なる回転方向成分（θ）をもつ、複数のガボール・フィルターの群を示す図である。図７は、本発明を適用して、線分ベクトルを検出した結果を示す図である。図８は、本発明［実施例２］を適用するフィルターの濃淡画像を表示する図である。図９は、本発明［実施例２］を適用して、得られた線分ベクトルを示す図である。

用語の定義：

多重解像度画像：拡大・縮小により得られる複数のスケールの画像

多重解像度解析：多重解像度画像に、フィルターや直交変換などを画像に作用させて画像解析を行う手法。画像を拡大縮小する代わりに、フィルターや直交変換の基底のサイズを拡大・縮小することもある。

図５は、ガボール・フィルターを説明する図である。

２次元ガボール・フィルターは式（１）で表される。

Ψ=0 の場合は、概ねこのような形状のフィルターとなる。

ガボール・フィルターと同様の性質をもつ視覚細胞が人間の大脳視覚野にも存在することが知られており、線状のパターンを認識する機能を持つとされている。

ガボール・フィルターは方向性を持つため、異なる方向の線状パターンを検出するために複数のガボール・フィルタを用意する。

図６は、異なる回転方向成分（θ）をもつ、複数のガボール・フィルターの群を示す図である。

また、ガボール・フィルターは、特定の空間周波数帯に応答するため、式（１）において、ひび割れの線幅に応答しやすいλを選択することが好ましい。

［実施例１］

実施例１として、画像サイズ 500x500 画素、σ=3.0, γ=0, λ= 2π, Ψ=0,

θは π/12 ごとに12種類のガボール・フィルター群を設計し、それぞれを濃淡反転画像に作用させて、その応答がしきい値 (Thd1=190)以上の画素を１、それ以外を０とした２値画像を得る。

この２値画像から、Hough変換により線分を検出し、図７のような線分ベクトルを得た。

図７は、本発明を適用して、線分ベクトルを検出した結果を示す図である。

線分のスクリーントーンの種別の違いは、フィルターの角度方向θの違いに対応している。

なお、濃淡反転画像を使う理由は、実施例１のフィルターが白い線状パターンに正の応答をするためである。

主要なひび割れは検出されているものの、依然として白線や文字の周囲も線分ベクトルとして検出されている。

［実施例２］

不要な線分ベクトルを除去するために、異なるパラメーターのフィルターを設計する。

このフィルターの設計指針としては、ひび割れの空間周波数には応答しないが、白線のエッジのもつ空間周波数に応答するフィルターを設計し、図７の線分ベクトル群から、白線や文字のエッジの線分ベクトルを除去するという技術的思想を適用する。

実施例２として、σ=7.5, λ= 5π, Ψ=π/2,

その他のパラメータは実施例１と同じものとする。

図８は、本発明［実施例２］を適用するフィルターの濃淡画像を表示する図である。

適用するフィルターを濃淡画像として表示すると、このような画像となる。

幅広の黒領域−幅広の白領域の境界で正の応答をするフィルターとなっている。

このフィルター応答の絶対値をとり、その値が閾値(Thd2=560)以上で、かつ、実施例１の２値画像で値１の画素を０に置換する。

この処理により、白線や文字のエッジが除去される。

この２値画像からHough変換により、線分ベクトルを検出した結果が図９となる。

図９は、本発明［実施例２］を適用して、得られた線分ベクトルを示す図である。

Hough変換に限らず、複数の画素についての連続性を推定する変換であればよい。

図９からは、白線や文字のエッジが除去されていることがわかる。

絶対値をとる理由は、黒−白のエッジと白−黒のエッジの両方に正の応答をするフィルター出力を得るためである。

本発明の手順を以下にまとめる。

以下のステップ（Step1〜Step5）により、路面のひび割れを検出し、かつ、白線や文字のエッジを除去したひび割れのみの線分ベクトル群を得る。

この手法を利用することにより、路面のひび割れを画像処理により検出・記録することが可能となる。

Step1: 対象画像の濃淡を反転させた濃度反転画像を得る。（理由：Step2のフィルターが白い線分パターンに正の応答をするため）

Step2: Step3 からStep5 を、フィルターの回転角θを変化させながら繰り返す。

Step3: ［実施例１］のフィルターを濃度反転画像に作用させ、フィルター応答がある閾値以上の画素を1 それ以外を0とした２値画像を得る。

Step4: ［実施例２］のフィルターを濃度反転画像に作用させ、その絶対値がある閾値以上の画素で、かつ、Step1で画素値１の画素を０に置換する。（白線・文字エッジの除去）

Step5: 得られた二値画像から、Hough変換により線分ベクトルを抽出し、記録する。

本発明の技術的思想は、コンピュータに実行させる方法として具現化することができる。

具現化にあたっては、ディジタル化処理のために、対象画像の領域は、複数の画素に分割される。

拡大・縮小により得られる複数のスケールの画像として、多重解像度画像が得られる。

さらには、コンピュータに実行させるシステム、または、コンピュータに実行させるプログラムとしても具現化することができることは言うまでもない。

Claims

コンピュータに実行させることで、対象画像からクラックを検出する方法であって、
（ａ）対象画像の領域を、複数の画素に分割するステップと、
（ｂ）（分割されている）複数の画素の各々の濃淡値を反転させるステップと、
（ｃ）異なる回転方向成分（θ）をもつ、複数のガボール・フィルターの群を準備するステップと、
（ｄ）複数のガボール・フィルターのうちの１つを、複数の画素に作用させるステップと、
（ｅ）フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定するステップと、
（ｆ）白線のエッジのもつ空間周波数に応答するフィルターを複数の画素に作用させるステップと、
（ｇ）フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換するステップと、
（ｈ）複数の画素についてのハフ(Hough)変換によって、クラックと推定できる線分ベクトルを抽出するステップと、
（ｉ）準備されている（θが群の中では異なっている）複数のガボール・フィルターの各々について、ステップ（ｃ）〜（ｈ）を繰り返すステップと、を有する、
方法。
コンピュータに実行させることで、対象画像からクラックを検出する方法であって、
対象画像の領域を、複数の画素に分割して、複数の画素の各々の濃淡値を反転させるステップと、
異なる回転方向成分（θ）をもつ、複数のフィルターの群を準備して、複数のフィルターのうちの１つを、複数の画素に作用させるステップと、
フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定するステップと、
白い道路標示のエッジのもつ空間周波数に応答するフィルターを複数の画素に作用させるステップと、
フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換するステップと、
複数の画素についての連続性を推定する変換によって、クラックと推定できる線分ベクトルを抽出するステップと、を有していて、
複数のフィルターの群について、少なくとも異なる回転方向成分（θ）のフィルターについても上記の複数のステップを適用することを特徴とする、
方法。
コンピュータに実行させることで、道路標示がプリントされている路面を撮像している対象画像からクラックを検出する方法であって、
対象画像の領域を複数の画素に分割して複数の画素の各々の濃淡値を反転させたものを準備して、かつ、ひび割れの線幅に応答しやすいλが選択されていて異なる回転方向成分（θ）をもつ複数のフィルターの群を準備して、複数のフィルターのうちの１つを、複数の画素に作用させるステップと、
フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定するステップと、
プリントされている道路標示のもつ空間周波数に応答するフィルターを複数の画素に作用させるステップと、
フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換するステップと、
複数の画素についての連続性を推定する変換によって、クラックと推定できる線分ベクトルを抽出するステップと、を有していて、
複数のフィルターの群について、少なくとも異なる回転方向成分（θ）のフィルターについても上記の複数のステップを適用することを特徴とする、
方法。
コンピュータに実行させることで、対象画像からクラックを検出するシステムであって、
（ａ）対象画像の領域を、複数の画素に分割し、
（ｂ）（分割されている）複数の画素の各々の濃淡値を反転させ、
（ｃ）異なる回転方向成分（θ）をもつ、複数のガボール・フィルターの群を準備し、
（ｄ）複数のガボール・フィルターのうちの１つを、複数の画素に作用させ、
（ｅ）フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定し、
（ｆ）白線のエッジのもつ空間周波数に応答するフィルターを複数の画素に作用させ、
（ｇ）フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換し、
（ｈ）複数の画素についてのハフ(Hough)変換によって、クラックと推定できる線分ベクトルを抽出し、
（ｉ）準備されている（θが群の中では異なっている）複数のガボール・フィルターの各々について、（ｃ）〜（ｈ）の処理を繰り返す、
システム。
コンピュータに実行させることで、対象画像からクラックを検出するシステムであって、
対象画像の領域を、複数の画素に分割して、複数の画素の各々の濃淡値を反転させ、
異なる回転方向成分（θ）をもつ、複数のフィルターの群を準備して、複数のフィルターのうちの１つを、複数の画素に作用させ、
フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定し、
白い道路標示のエッジのもつ空間周波数に応答するフィルターを複数の画素に作用させ、
フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換し、
複数の画素についての連続性を推定する変換によって、クラックと推定できる線分ベクトルを抽出し、
複数のフィルターの群について、少なくとも異なる回転方向成分（θ）のフィルターについても上記を適用することを特徴とする、
システム。
コンピュータに実行させることで、道路標示がプリントされている路面を撮像している対象画像からクラックを検出するシステムであって、
対象画像の領域を複数の画素に分割して複数の画素の各々の濃淡値を反転させたものを準備して、かつ、ひび割れの線幅に応答しやすいλが選択されていて異なる回転方向成分（θ）をもつ複数のフィルターの群を準備して、複数のフィルターのうちの１つを、複数の画素に作用させ、
フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定し、
プリントされている道路標示のもつ空間周波数に応答するフィルターを複数の画素に作用させ、
フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換し、
複数の画素についての連続性を推定する変換によって、クラックと推定できる線分ベクトルを抽出し、
複数のフィルターの群について、少なくとも異なる回転方向成分（θ）のフィルターについても上記を適用することを特徴とする、
システム。
コンピュータに実行させることで、対象画像からクラックを検出するプログラムであって、
（ａ）対象画像の領域を、複数の画素に分割するステップと、
（ｂ）（分割されている）複数の画素の各々の濃淡値を反転させるステップと、
（ｃ）異なる回転方向成分（θ）をもつ、複数のガボール・フィルターの群を準備するステップと、
（ｄ）複数のガボール・フィルターのうちの１つを、複数の画素に作用させるステップと、
（ｅ）フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定するステップと、
（ｆ）白線のエッジのもつ空間周波数に応答するフィルターを複数の画素に作用させるステップと、
（ｇ）フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換するステップと、
（ｈ）複数の画素についてのハフ(Hough)変換によって、クラックと推定できる線分ベクトルを抽出するステップと、
（ｉ）準備されている（θが群の中では異なっている）複数のガボール・フィルターの各々について、ステップ（ｃ）〜（ｈ）を繰り返すステップと、を有していて、
これらのステップをコンピュータに実行させる、
プログラム。
コンピュータに実行させることで、対象画像からクラックを検出するプログラムであって、
対象画像の領域を、複数の画素に分割して、複数の画素の各々の濃淡値を反転させるステップと、
異なる回転方向成分（θ）をもつ、複数のフィルターの群を準備して、複数のフィルターのうちの１つを、複数の画素に作用させるステップと、
フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定するステップと、
白い道路標示のエッジのもつ空間周波数に応答するフィルターを複数の画素に作用させるステップと、
フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換するステップと、
複数の画素についての連続性を推定する変換によって、クラックと推定できる線分ベクトルを抽出するステップと、を有していて、
これらのステップをコンピュータに実行させ、
複数のフィルターの群について、少なくとも異なる回転方向成分（θ）のフィルターについても上記の複数のステップを適用することを特徴とする、
プログラム。
コンピュータに実行させることで、道路標示がプリントされている路面を撮像している対象画像からクラックを検出するプログラムであって、
対象画像の領域を複数の画素に分割して複数の画素の各々の濃淡値を反転させたものを準備して、かつ、ひび割れの線幅に応答しやすいλが選択されていて異なる回転方向成分（θ）をもつ複数のフィルターの群を準備して、複数のフィルターのうちの１つを、複数の画素に作用させるステップと、
フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定するステップと、
プリントされている道路標示のもつ空間周波数に応答するフィルターを複数の画素に作用させるステップと、
フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換するステップと、
複数の画素についての連続性を推定する変換によって、クラックと推定できる線分ベクトルを抽出するステップと、を有していて、
これらのステップをコンピュータに実行させ、
複数のフィルターの群について、少なくとも異なる回転方向成分（θ）のフィルターについても上記の複数のステップを適用することを特徴とする、
プログラム。
コンピュータに実行させることで、対象画像から路面の劣化度合いを推定する方法であって、
対象画像の領域を複数の画素に分割して複数の画素の各々の濃淡値を反転させたものを準備して、かつ、ひび割れの線幅に応答しやすいλが選択されていて異なる回転方向成分（θ）をもつ複数のフィルターの群を準備して、複数のフィルターのうちの１つを、複数の画素に作用させるステップと、
フィルター応答がしきい値（Ｔｈｄ１）以上の画素の値を１と設定して、それ以外の画素の値を０と設定するステップと、
プリントされている道路標示のもつ空間周波数に応答するフィルターを複数の画素に作用させるステップと、
フィルター応答の絶対値がしきい値（Ｔｈｄ２）以上であって、かつ、設定されている画素の値が１である場合には、その画素の値を０に置換するステップと、
複数の画素についての連続性を推定する変換によって、路面の劣化度合いを推定できる線分ベクトルを抽出するステップと、を有していて、
複数のフィルターの群について、少なくとも異なる回転方向成分（θ）のフィルターについても上記の複数のステップを適用することを特徴とする、
方法。