JP7712268B2 - 見積支援装置、見積支援方法、及びプログラム - Google Patents

Description

本発明は、見積支援装置、見積支援方法、及びプログラムに関する。

自動車などの車両の修理、例えば板金修理を行う際には、事前に修理コストの見積を作成するのが一般的である。この見積は、修理の技能を有する技能者が車両を点検して、変形している箇所や、問題が生じている箇所を特定し、そのうえで、変形しているパーツの修理の難易度や、交換する場合はその入手可能性などを考慮して行っているのが現状である。

特開平０８－４４４２１号公報

このような、上記従来の人為的な見積作成は、その作成に専門的な知識が必要なうえ、時間もかかり、さらに、見積を作成しても必ずしも修理が行われるとは限らないので、コストが生じるだけで修理の依頼者も修理の依頼を受ける側にも利益になっていない。

なお、特許文献１には、金属製の部品に生じた亀裂等を検出する手段の一つとして、顕微鏡画像を処理する手段を備えて、劣化や損傷の程度から補修コストを予測する例が開示されているが、部品ごとに検査を行うことはできても、修理の対象となる自動車等の全体像の画像から各パーツの良否の程度を判断することは行われておらず、また、例えば一部が標準とは異なるパーツに置き換えられている場合等のコスト上昇を考慮することができない。

本発明は上記実情に鑑みて為されたもので、複数のパーツを含む対象物の修理に要する費用見積を支援できる見積支援装置、見積支援方法、及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明の一態様は、見積支援装置であって、複数のパーツを含む対象物を撮像して得られた画像データを取得する取得手段と、前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する判断手段と、前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する算定手段と、を含むこととしたものである。

本発明によると、複数のパーツを含む対象物の修理に要する費用見積を支援できる。

本発明の実施の形態に係る見積支援装置の構成例を表すブロック図である。 本発明の実施の形態に係る見積支援装置の例を表す機能ブロック図である。 本発明の実施の形態に係る見積支援装置におけるパーツ認識部の一例に係る機能ブロック図である。 本発明の実施の形態に係る見積支援装置の動作例を表す説明図である。 本発明の実施の形態に係る見積支援装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る見積支援装置の動作例を表すもう一つのフローチャート図である。 本発明の実施の形態に係る見積支援装置における処理の例に係る説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る見積支援装置１は、図１に例示するように、撮像装置２に接続されたコンピュータ装置であり、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、入出力部１５とを含んで構成されている。

ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであって、記憶部１２に格納されたプログラムに従って動作する。

本実施の形態の例では、この制御部１１は、複数のパーツを含む自動車等の対象物を撮像して得られた画像データを取得し、当該取得した画像データに基づいて、対象物が含むパーツごとの良否の程度を判断する。そして制御部１１は、ここで判断されたパーツごとの良否の程度に基づいて、対象物の修理に要する費用の見積を算定して出力する。この制御部１１の詳しい動作については後に述べる。

記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラムを保持する。このプログラムは、コンピュータ可読、かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってよい。またこの記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、マウスやキーボード等であり、ユーザの操作を受け入れて、当該操作を表す情報を、制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示する。

入出力部１５は、ＵＳＢ（Universal Serial Bus）インタフェース等であり、制御部１１から入力される指示に従って、情報をプリンタ等の周辺機器に出力する。また本実施の形態では、この入出力部１５には撮像装置２が接続され、撮像装置２から入力される情報を制御部１１に出力する。

撮像装置２は、対象物全体を撮像可能な画角を有するカメラＣと、当該カメラで撮像された画像データ（動画像のデータでもよい）を保持し、見積支援装置１に対して出力するコントローラＲとを含んで構成される。本実施の形態の例では、この撮像装置２は、一般的なディジタルカメラでよく、見積を作成しようとするユーザは、この撮像装置２を操作して、対象物の画像データを少なくとも一つ撮影する。撮影は複数の互いに異なる視点から行われてもよく、対象物を種々の角度から撮像した画像データ（動画像データでもよい）が得られてもよい。この撮像装置２は、見積支援装置１に接続されると、当該撮像して得た画像データを、見積支援装置１に対して出力する。

本実施の形態の一例では、この撮像装置２により、対象物を複数の方向から撮像した画像データを得て、見積支援装置１に対して出力してもよい。例えば対象物が車両である場合、撮像装置２により、車両の正面、左側面、右側面、及び背面からの画像を撮像して、当該撮像して得た画像データを、見積支援装置１へ出力する。

次に、見積支援装置１の制御部１１の動作について説明する。本実施の形態の例では、この制御部１１は、図２に例示するように、機能的に、画像受入部２１と、良否判定部２２と、算出部２３とを含んで構成される。 画像受入部２１は、入出力部１５に接続された撮像装置２から、当該撮像装置２が撮像した、対象物の画像データを受け入れて、記憶部１２に保持する。

良否判定部２２は、画像受入部２１が受け入れた画像データ（動画像データ等、複数の静止画の画像がある場合はその各々）を参照して、当該画像データに撮像されている対象物のパーツごとの良否の程度を判断する。

本実施の形態の一例では、この良否判定部２２は、パーツ認識部２２１と、良否情報取得部２２２とを含む。

［パーツ認識部の動作］
パーツ認識部２２１は、輪郭線抽出と、輪郭線による領域の分割との処理を行うなどして、対象物の各部品（パーツ）が撮像されている部分をそれぞれ特定する。なお、ここでのパーツの撮像されている部分の特定の方法は輪郭線で分割する方法に限られない。

例えばパーツ認識部２２１は、対象物の前後方向、左右方向などの姿勢を認識し、パーツごとに予め用意された、パーツの外形を表す三次元モデルデータ（ここではポリゴンの集合により対象物の外形を表すデータなど。一例としてはＯＢＪ形式のデータが相当する）と、認識した対象物の姿勢とから、パーツの三次元データを仮想的な三次元空間に配置して得られた仮想的な対象物の画像との比較によって、パーツの撮像されている部分を推定することとしてもよい。

この場合パーツ認識部２２１は、対象物に含まれる各パーツの三次元モデルデータを、撮像された対象物の画像に応じて拡大／縮小し、また、三次元空間中での回転角度や位置を調整して配置してレンダリングし、撮像された対象物の画像データを再現する。そしてパーツ認識部２２１は、このレンダリング結果から、各パーツの三次元モデルデータが撮像された部分を抽出することで、パーツの撮像されている部分を推定する。

また、輪郭線による領域の分割と、三次元モデルデータを用いた方法との双方を組み合わせて（例えばいずれかの方法でパーツとして認識されればパーツとして扱うなどして）、対象物の各パーツの撮像された部分を認識してもよい。

［パーツ認識部の動作の別の例］
またパーツ認識部２２１は、三次元モデルデータを用いずに次のように処理してもよい。本実施の形態に係るパーツ認識部２２１の別の動作例は、次のようになる。すなわちこの別の例に係るパーツ認識部２２１は、図３に例示するように、背景除去部２２１１と、輪郭強調部２２１２と、パーツ領域確定部２２１３と、画像抽出部２２１４とを含んで構成される。

背景除去部２２１１は、撮像装置１から入力された画像データ（処理対象画像データと呼ぶ）から対象物が撮影されている部分を除く部分を背景部分として、当該背景部分を、当該画像データから除去して前景部分を抽出する。この処理は、前景を抽出するための一般的な処理により行われてもよい。一例として背景除去部２２１１は、グラブ・カット（Grab Cut）などのセグメンテーション処理により実現できる。

また本実施の形態のこの例における背景除去部２２１１は、グラブ・カットのように、対話的に処理できるようになっていてもよい。グラブ・カットではマスクを設定し、当該設定されたマスクを利用して前景領域の抽出を行うため、マスクの設定の内容によって抽出される前景領域が調整できる。

そこで背景除去部２２１１は、当初は予め定められたマスクを用いてグラブ・カット処理によって前景の抽出を行い、その結果を表示してユーザに示す。そして背景除去部２２１１は、ユーザから誤抽出した箇所の指定を受け入れる。ユーザは、背景であるのに前景として抽出された部分と、前景であるのに背景であるとして抽出された部分とをそれぞれ指定し、マスクを設定する。

背景除去部２２１１は、ユーザが設定したマスクを利用して、グラブ・カット処理を再度行い、前景の抽出を行って、その結果を表示してユーザに示す。ユーザは、その結果により前景が抽出されたと判断すると、背景除去部２２１１に対して処理の完了を指示する。またユーザは、前景の抽出に誤りがあると判断すると、マスクの再設定を行い、背景除去部２２１１は、ユーザが設定したマスクを利用して、グラブ・カット処理を繰り返して行う。

背景除去部２２１１は、ユーザから処理完了の指示を受けると、その時点でユーザに示していた前景の抽出結果である画像のデータを、輪郭強調部２２１２に出力する。

輪郭強調部２２１２は、背景除去後の画像データに対して、輪郭部分を強調する処理を行う。具体的にこの輪郭強調部２２１２は、いわゆるアンシャープマスキング処理により輪郭の強調処理を実行する。もっとも、輪郭強調の処理は、アンシャープマスクに限られず、例えばキャニー（canny）などの輪郭線抽出処理を行った後、抽出された輪郭線上の画素の画素値で、当該輪郭線上の画素に隣接する画素の画素値を上書きするなどの処理により、輪郭部分を強調してもよい。

パーツ領域確定部２２１３は、輪郭強調部２２１２により輪郭が強調された前景の画像データに対し、広く知られたウオーターシェッド（watershed）などの方法でセグメンテーションを行う。この処理により輪郭線で区切られた領域が分割されて、各パーツの領域が抽出されることとなる。パーツ領域確定部２２１３は、抽出した各パーツの領域ごとに固有なラベルを、当該領域内の画素に対して設定して、パーツごとのラベリング処理を行う。

画像抽出部２２１４は、共通のラベルが設定された画素群ごとに、当該画素群に対応する画素群を処理対象画像データから抽出し、パーツごとの画像データを生成する。

［輪郭抽出の別の例］
また上記の輪郭強調部２２１２は、次の処理により輪郭を抽出することとしてもよい。すなわち、本実施の形態の一つの例では、一般に金属製で、種々のカラーバリエーションのある自動車の車体を対象物とするため、撮像装置２によって撮像された対象物には、対象物の周辺の景色が写り込んでいたり、対象物の色味によって境界の輝度変化が異なってしまうと、一つのパーツの輪郭線が連続したエッジとして取り出せない場合がある。

そこで輪郭強調部２２１２は、背景除去後の画像データをグレースケール化して輝度の情報のみを取り出し、グレースケール化した画像データに対してプレヴィットフィルタなどの微分フィルタを適用することで、画像データを構成する各画素の横方向（Ｘ軸方向）と縦方向（Ｙ軸方向）とのそれぞれの軸方向の極小点（画素値が周囲の画素よりも、所定の割合を超えて小さい値となっている画素）を探索する。

図４には、自動車の後端部が撮像された画像データをグレースケール化した例を示している（図４（ａ））。この図４（ａ）の例では、車体の右側に光源があるため、車体後方はやや暗となっており、また、隣接する車両の側面が写り込んだものとして例示している。

輪郭強調部２２１２は、画像データを構成する各画素を、横方向（Ｘ軸方向）と縦方向（Ｙ軸方向）とのそれぞれの軸方向の一次元のラインに沿ってスキャンして極小点を探索する。例えば、Ｙ軸方向の線分Ｑに沿った各画素にプレヴィットフィルタを適用して、輝度が急激に変化する部分（変化量が予め定めた値より大きく、最低値となっている画素）を探索すると、輝度が急激に変化するパーツの境界では極小点となる画素が検出されるが（Ｐ）、写り込みなど輝度の変化がゆるやかな部分では極小点となる画素が検出されない（Ｒ）ので、パーツの境界が主として検出されることとなる（図４（ｂ））。

輪郭強調部２２１２はさらに、この得られた画像データから孤立点を除去する処理を実行する。すなわち輪郭強調部２２１２は、検出した極小点の一つ（過去未選択の極小点）を選択して、当該選択した極小点に固有の識別子を発行する。輪郭強調部２２１２は、当該発行した固有の識別子を、選択した極小点を特定する情報に関連付けて記録しておく。そして輪郭強調部２２１２は、当該選択した極小点の近傍８画素（８近傍）を参照して、８近傍に、選択した極小点とは異なる別の（未選択の）極小点があれば、当該別の極小点を特定する情報も、選択した極小点を特定する情報とともに、上記発行した、選択した極小点に固有の識別子に関連付けて記録する。そして輪郭強調部２２１２は、当該別の極小点（複数ある場合はそれぞれについて順次）を選択して、その８近傍を参照する処理を続ける。

また輪郭強調部２２１２は、選択した極小点の８近傍に、未選択の極小点がなければ、他に未選択の極小点がないか探索し、未選択の極小点があれば、当該極小点を選択して固有の識別子を発行し、上記処理を繰り返す。さらに輪郭強調部２２１２は、未選択の極小点がなくなると処理を終了する。

輪郭強調部２２１２は、以上の処理を行った後、一つの識別子に関連付けられた極小点の数が予め定めた数より少ない識別子を見出し、当該見出した識別子に関連付けられた極小点を、記録から削除する（孤立点除去処理）。これにより孤立点あるいは、微小な極小点集合を除去する。

輪郭強調部２２１２は、孤立点除去処理を行った後の記録を参照し、各識別子に関連付けられた極小点を結んでできる線分を、輪郭線として出力する（図４（ｃ））。このように、本実施の形態のパーツ認識部２２１の一例では、画像データをグレースケールに変換し、横方向と縦方向とのそれぞれの軸方向の各ラインから極小点を探索して、当該探索して見いだされた極小点であって、互いに隣接する極小点の組を見いだして、連続する極小点群を検出する処理を実行し、当該検出された極小点群のうち、当該極小点群に属する極小点の数が予め定めた数より少ない極小点群を除く極小点群により構成される線分を、パーツの輪郭線として決定し、当該輪郭線を用いてパーツごとの（パーツの撮像された部分ごとの）部分画像データを得る。

［写り込み境界の識別］
さらに輪郭強調部２２１２は、上述の処理により決定したパーツの輪郭線のそれぞれに対して、グレースケール変換後の画像のうち、当該輪郭線を含む領域を抽出し、その領域内の画素の二階微分値（隣接画素の差分の差分）を求める。具体的に輪郭強調部２２１２は、上述の処理により決定したパーツの輪郭線を一つずつ順次選択する。そして選択した輪郭線が所定の軸方向、例えば画像データの上下方向に延びる線となるようにグレースケール変換後の画像を回転変換する。これは例えば輪郭線に外接する矩形を検出したとき、当該矩形の横方向の大きさが最も小さくなるよう、輪郭線を回転させることにより行われる。

そして輪郭強調部２２１２は、上記所定の軸方向に対して垂直な方向（画素の走査方向）に、隣接画素の画素値の差分の差分を演算する。具体的に左から右（画素の走査方向）へ、画素値（輝度）がＰ１，Ｐ２，Ｐ３，Ｐ４…であるような画素が配列されているとき、差分の差分である（Ｐ２－Ｐ１）－（Ｐ３－Ｐ２）を、二階微分値として求める。

輪郭強調部２２１２は、この二階微分値が予め定めた、二階微分しきい値を超えているときに、当該二階微分値に係る画素（上記の例であれば画素値がＰ１，Ｐ２，Ｐ３である画素）に輪郭線が含まれていると判断し、二階微分値が予め定めた、二階微分しきい値を超えていなければ、当該二階微分値に係る画素には輪郭線が含まれていると判断する。

この処理によると、車体のボディなどに写り込んだ像の輪郭を、パーツの輪郭線として誤って判断することがなくなる。すなわち、写り込みによる輪郭線の輝度は、ボディ表面などの素材によって分散され、図７（ａ）に例示するように、その写り込んだ輪郭線を挟んで画素を走査すると、画素の輝度は滑らかに変化する。

一方、ボディの実際のパーツの境界である輪郭線は、その輪郭線を挟んで画素を走査すると、画素の輝度が急激に変化する（図７（ｂ））。そこで、これらを峻別するために、本実施の形態では、輝度の二階微分（の絶対値）を用いる。図７（ａ）の例に対応する二階微分結果を図７（ｃ）に示し、図７（ｂ）の例に対応する二階微分の結果を図７（ｄ）に示す。図７（ｃ）、（ｄ）に認められるように、写り込みでないパーツの境界を表す輪郭線では、当該輪郭線における二階微分値が比較的大きい値となっているのに対し、写り込みの輪郭線では当該輪郭線における二階微分値は十分小さい値となっている。そこで、これらの値を識別するためのしきい値（二階微分しきい値）を実験的、経験的に定めて利用する。

このように輪郭強調部２２１２は、先に説明した処理により決定したパーツの輪郭線のうち、ここで述べた二階微分値を用いる方法により、輪郭線が含まれないと判断された画像部分にある輪郭線については、以下の処理でパーツの輪郭線として扱わないこととしてもよい。

つまり、輪郭強調部２２１２は、先に説明した処理により決定したパーツの輪郭線のうち、ここで述べた二階微分値を用いる方法により、輪郭線が含まれると判断された画像部分にある輪郭線（輪郭線を跨いで画素値が急激に変化している輪郭線）についてのみ、写り込みではない、実際のパーツの境界を表す輪郭線であるものと判断する。そしてパーツ領域確定部２２１３が、ここで輪郭線と判断された輪郭線で囲まれた前景の画像データに対し、広く知られた方法でセグメンテーションを行う。この処理により輪郭線で区切られた領域が分割されて、各パーツの領域が抽出されることとなる。

良否情報取得部２２２は、パーツごとに、必要となる修理を決定するために必要な情報（提案修理情報）を生成する。本実施の形態の一例では、この良否情報取得部２２２は、受け入れた画像データに基づいて、パーツの撮像された部分ごとに、無傷である状態の推定画像を生成する。この推定画像は、撮像されたパーツに傷や凹み（デント）等がある場合、当該傷やデント等の画像部分の画素値を、周辺の画像部分の画素値を参照して補正することで行うことができる（例えば米国アドビ社のPhotoshop（登録商標）における修復ツールの処理と同様の処理を実行すればよい）。

具体的に良否情報取得部２２２は、受け入れた画像データから、パーツ認識部２２１で認識した各パーツの部分の画像を抽出して、パーツごとの部分画像データを生成する。この部分画像データは、抽出したパーツの部分の画像に外接する矩形状の画像データであって、パーツの部分の画像を内包し、パーツの部分以外の画素については無効な画素（例えば透過画素）として設定したものである。

良否情報取得部２２２は、各パーツの部分画像データについて、さらに当該部分画像データを二値化した二値化画像と、当該部分画像データの色相成分のみを抽出した画像（色相成分画像）とを生成する。ここで二値化は、画像をブロックに分割し、ブロックごとにガウス分布による重みづけを行ったしきい値で二値化する処理や、大津の方法を採用した二値化処理など広く知られた処理を採用できる。なお、ブロック内にパーツ部分以外の画素が含まれる場合は、良否情報取得部２２２は、当該画素の画素値を無視して画素値がないものとして扱う。

良否情報取得部２２２は、各パーツの部分画像データごとに生成した二値化画像と、色相成分画像とについてブロブ解析を行い、パーツごとに傷やデント等が生じている部分（以下修復対象部分と呼ぶ）を特定する。

良否情報取得部２２２は、各パーツの部分画像データのうち、修復対象部分が特定された部分画像データについて、修復対象部分に含まれる各画素の画素値を、修復対象部分以外の画素であって、当該画素に最も近接する、パーツ部分の画素の画素値で置き換える（修復処理）。あるいはこの修復処理では、良否情報取得部２２２は、修復対象部分に含まれる各画素の画素値を、修復対象部分以外の画素であって、当該画素に近接する、パーツ部分の複数の画素の画素値の平均値で置き換える。

さらに良否情報取得部２２２は、修復処理として、修復対象部分以外の画素であってパーツ部分の複数の画素の配列からテクスチャの情報を得て、修復対象部分の画素を当該テクスチャで塗りつぶすこととしてもよい。

この修復処理により良否情報取得部２２２は、各パーツの部分画像データごとに、当該部分画像データに対応する、パーツが無傷である状態の推定画像を生成する。

良否情報取得部２２２は、各パーツの部分画像データごとに、当該パーツが無傷である状態の推定画像と、修復処理前の各パーツの部分画像データ（元データ）とを比較する。良否情報取得部２２２は、この比較を、推定画像と、元データとをそれぞれ二値化して比較した二値化比較、及び推定画像と、元データとからそれぞれ色相成分を抽出した画像を比較した色相比較によって行う。

良否情報取得部２２２は、比較の結果に基づいて、修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷の種類、あるいは、修復対象部分に含まれる傷やデントの深さ（周辺の画素との色相の差等によって得られる）等、パーツの変形の程度に係る情報を得る。

そして良否情報取得部２２２は、ここで得たパーツごとの修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷の種類、修復対象部分に含まれる傷やデントの深さを表す情報を提案修理情報として出力する。

あるいは良否情報取得部２２２は、次の方法で、修復対象部分に含まれる傷の種類を分類しつつ提案修理情報を生成してもよい。

［線傷の抽出］
良否情報取得部２２２は、例えば次の方法で、各パーツの部分画像データから線状の傷（線傷と呼ぶ）の部分を抽出する。良否情報取得部２２２は、各パーツの部分画像データごとに、部分画像データ（RGB色空間の画像データ）を、HSV（Hue, Saturation, Value）色空間の画像データに変換する。そして良否情報取得部２２２は、変換後の画像データ中にある画素値の明度（Ｖ）をkmeans法により分類したときのしきい値（kmeansしきい値）Ｋと、当該画素値の明度（Ｖ）の平均値（mean）Ｍとを比較し、平均値Ｍがkmeansしきい値Ｋより大きい（Ｍ＞Ｋ）場合に、傷の色調が黒色に近いと判断し、Ｍ＞Ｋでない場合に、傷の色調が白色に近いと判断する。

良否情報取得部２２２は、傷の色調が白色に近いと判断したときには、HSV色空間に変換した画像データのうち、Ｓチャンネル（彩度空間）の色成分の画像と、Ｖチャンネル（明度空間）の色成分の画像とを抽出し、それぞれを２値化した２値化画像を生成し、当該生成した２つの２値化画像データを合成（加算）して、ラベリング対象データを生成する。なお、この２値化のしきい値は、kmeansしきい値としてよい。もっともＶチャンネルの画像データについては２値化のしきい値を、kmeansしきい値を初期値として、利用者に仮の２値化結果を提示しつつ、利用者の指示により２値化のしきい値を変化させて、利用者が傷の部分が抽出された２値化画像として適切と判断したときのしきい値を用いて２値化を行ってもよい。

また、良否情報取得部２２２は、傷の色調が黒色に近いと判断したときには、HSV色空間に変換した画像データのうち、Ｖチャンネル（明度空間）の色成分の画像とを抽出して、当該抽出したＶチャンネルの色成分の画像を、そのままラベリング対象データとする。

良否情報取得部２２２は、これらの処理のいずれかで得たラベリング対象データに対して、ラベリング処理（背景となっている画素と識別可能な色調の画素が連続している箇所ごとにそれぞれ異なるラベルを設定する処理）を行う。この処理は、たとえばopencvなどにおけるconnectComponentsなどの処理を適用することで実行できる。

良否情報取得部２２２は、ラベリング処理で見いだされた画素塊に外接する矩形領域を順次選択して、選択した矩形領域の面積を求める。良否情報取得部２２２は、この求めた面積が「０」であるかまたは、所定の方法で定められたしきい値（面積しきい値）を超える場合には当該矩形領域に対する以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの線傷の抽出の処理を終了する）。

なお、ここで面積しきい値は、予め定められた値としてもよいし、処理しているパーツの部分画像データの面積に対して予め定めた比率（１未満の比率）を乗じて求めた値としてもよい。

良否情報取得部２２２は、この求めた面積が「０」より大きく、かつ、上記所定の方法で定められた面積しきい値を下回る場合、次の処理を実行する。すなわち良否情報取得部２２２は、選択している矩形領域のアスペクト比（長辺の長さを短辺の長さで除した値）を求め、このアスペクト比が、予め定めたアスペクト比しきい値よりも小さい（細長い形状でない）か、またはラベリング処理で見いだされた画素塊の面積（ラベリングされた画素の数）を、矩形領域（画素塊に外接する矩形）の面積で除した値が予め定めた面積比しきい値を超える場合（大きい傷である場合）には、以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの線傷の抽出の処理を終了する）。

良否情報取得部２２２は、予め定めたアスペクト比しきい値以上であり（細長い形状であり）か、またはラベリング処理で見いだされた画素塊の面積（ラベリングされた画素の数）を、矩形領域（画素塊に外接する矩形）の面積で除した値が予め定めた面積比しきい値を下回る場合（比較的小さい傷である場合）には、選択している矩形領域内の、ラベリング処理で見いだされた画素塊が表す画像部分に線傷があるものと判断し、処理の対象としている部分画像データに対応するパーツを特定する情報に、傷の種類が「線傷」である旨の情報と、矩形領域（あるいは画素塊）の面積（大きさ）、部分画像データに対応するパーツ内での位置を特定する情報（矩形領域の座標情報から求められる情報）とを関連付けて、提案修理情報に含め、次の矩形領域を選択する処理から繰り返す。なお、ここで選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、良否情報取得部２２２は、現在処理の対象としている部分画像データからの線傷の抽出の処理を終了する。

［擦り傷の抽出］
良否情報取得部２２２は、また、この線傷の抽出の処理に続けて、あるいはこの線傷の抽出の処理の前に、擦り傷を抽出する処理を行ってもよい。

この処理では、良否情報取得部２２２は、各パーツの部分画像データごとに、部分画像データ（HSV色空間の画像データ）に対し、画素値のＶチャンネル（明度成分）の値をkmeans法により分類したときのしきい値（kmeansしきい値）を求める。そして良否情報取得部２２２は、このkmeansしきい値を含む所定の値の範囲を閾値範囲として定める、例えば良否情報取得部２２２は、kmeansしきい値Ｔkから予め定めた値ｔを減算した値Ｔk－ｔを下限とし、kmeansしきい値Ｔkに当該予め定めた値ｔを加算した値Ｔk＋ｔを上限とする（ただし求めた下限が「０」（明度Ｖの最低値）を下回る場合は下限を「０」とし、求めた上限が明度Ｖが取り得る最大値、例えば「２５５」を上回る場合は上限を当該最大値とする）閾値範囲を定める。

そして良否情報取得部２２２は、この閾値範囲の下限の値を初期値とし、閾値範囲の上限の値までの複数の値を閾値として、当該閾値を用いて部分画像データを二値化した画像を生成し、それぞれ二値化した画像を合成（二値化した画素値を累算して多値画像を生成）する。

良否情報取得部２２２は、当該合成して得た多値画像に対してラベリング処理を施し、ラベリング処理で見いだされた画素塊に外接する矩形領域を順次選択して、選択した矩形領域の面積を求める。良否情報取得部２２２は、この求めた面積が「０」である場合には当該矩形領域に対する以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの擦り傷の抽出の処理を終了する）。

良否情報取得部２２２は、求めた面積が「０」より大きい場合、選択している矩形領域のアスペクト比（長辺の長さを短辺の長さで除した値）を求め、このアスペクト比が、予め定めたアスペクト比しきい値よりも大きく（細長い形状である）か、またはラベリング処理で見いだされた画素塊の面積（ラベリングされた画素の数）を矩形領域（画素塊に外接する矩形）の面積で除した値が予め定めた面積比しきい値を超える場合（大きい傷である場合）には、以下の処理をスキップして次の矩形領域を選択する（選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、現在処理の対象としている部分画像データからの擦り傷の抽出の処理を終了する）。なお、ここでのアスペクト比しきい値や面積比しきい値は、線傷の抽出処理において利用するそれぞれのしきい値と同じでもよいし、異なっていてもよい。

良否情報取得部２２２は、ここで細長い形状でなくかつ、大きい傷でない傷の画像と判断される画素塊が見いだされると、当該画素塊のラベルを、処理対象ラベルとして記録する。そして良否情報取得部２２２は、次の矩形領域を選択する処理から繰り返す。なお、ここで選択するべき矩形領域がない場合、つまりすべての矩形領域についての処理を終了したならば、良否情報取得部２２２は、処理対象ラベルとして記録したラベルに係る画素塊を取り囲む多角形領域を生成する。この多角形領域の生成は、いわゆる凸包を生成する処理であってもよいし、アルファシェイプ（平面上の有限点群の形状に付随する、単純で区分線形な一群の曲線で形成される形状）を生成する処理（いずれも広く知られているため、ここでの詳しい説明は省略する）であってもよい。

良否情報取得部２２２は、処理の対象としている部分画像データに対応するパーツを特定する情報に、傷の種類が「擦り傷」である旨の情報と、ここで得た多角形領域の面積、部分画像データに対応するパーツ内での当該多角形領域の位置を特定する情報とを関連付けて、提案修理情報に含め、次の矩形領域を選択する処理から繰り返す。

［傷・デントの深さの推定］
良否情報取得部２２２は、また、これらの線傷や擦り傷の抽出の処理に続けて、傷やデントの深さを抽出する処理を行ってもよい。

傷やデントは、それらが深いほど、それらの中心部での明度は低くなる。そこで良否情報取得部２２２は、次のようにして傷やデントの中心部と周縁部との明度差を求める。すなわち良否情報取得部２２２は、各パーツの部分画像データごとに、部分画像データ（HSV色空間の画像データ）に対し、画素値のＶチャンネル（明度成分）の値をkmeans法により分類したときのしきい値（kmeansしきい値）を求める。そして良否情報取得部２２２は、このkmeansしきい値を含む所定の値の範囲を閾値範囲として定める、例えば良否情報取得部２２２は、kmeansしきい値Ｔkから予め定めた値τ（例えばこのτはkmeansしきい値ＴｋからＶチャンネルの画素値の平均Ｍとの差の絶対値としてもよい）を減算した値Ｔk－τを下限とし、kmeansしきい値Ｔkに当該予め定めた値τを加算した値Ｔk＋τを上限とする（ただし求めた下限が「０」（明度Ｖの最低値）を下回る場合は下限を「０」とし、求めた上限が明度Ｖが取り得る最大値、例えば「２５５」を上回る場合は上限を当該最大値とする）閾値範囲を定める。

そして良否情報取得部２２２は、この閾値範囲の下限の値を初期値とし、閾値範囲の上限の値までの複数の値を閾値として、それぞれの閾値を用いて部分画像データを二値化した画像を生成し、それぞれの閾値を用いて生成した複数の二値化した画像のそれぞれから、等明度の閉曲線（コンター）を抽出する。

良否情報取得部２２２は、抽出した等明度閉曲線のうち、より明度の高い閾値で二値化した画像から得られた等明度閉曲線であって、線傷や擦り傷と判定された画素塊をその閉曲線内に含まず、かつ、比較的明度の低い閾値で二値化した画像から得られた等明度閉曲線を内包する（下限の閾値の画像から得られた等明度閉曲線であるときには、線傷や擦り傷と判定された画素塊をその閉曲線内に含まない）等明度閉曲線を選択する。そして良否情報取得部２２２は、部分画像データのＶチャンネル（明度成分）の画像であって、当該選択した等明度閉曲線に対応する領域内で最も低い明度となっている画素の明度の値と、当該選択した等明度閉曲線に対応する領域外の画素であって、当該選択した等明度閉曲線に隣接する画素の平均値との差を求めて、この差により傷やデントなどの凹部の深さを推定する。具体的にはこの差が凹部の深さを表す値であるとして、処理の対象としている部分画像データに対応するパーツを特定する情報に、種類が「デント」である旨の情報と、部分画像データに対応するパーツ内での選択した等明度閉曲線の位置を特定する情報と、上記推定した凹部の深さの値とを関連付けて、提案修理情報に含め、次の矩形領域を選択する処理から繰り返す。

良否情報取得部２２２は、以上のような処理を含む、提案修理情報を生成する処理を、各パーツの部分画像データについて繰り返し実行する。

そして良否情報取得部２２２は、ここで得た提案修理情報（パーツごとの修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷の種類、修復対象部分に含まれる傷やデントの深さを表す情報）を、算出部２３に出力する。

算出部２３は、良否判定部２２が出力する、パーツごとの提案修理情報を参照しつつ、対象物の修理に要する費用の見積を算出する。具体的にこの算出部２３は、パーツごとに、修理の必要の程度に対応した費用を算定する。例えば、この算出部２３は、修理の必要の程度である変形程度が、デントの面積（修復対象部分の大きさ）で表される場合、当該デントの単位面積あたりの費用の額を表す単価情報を予め設定しておき、当該単価情報に、修理の必要の程度である上記情報で表される面積を乗じて、費用の見積を算出する。

［動作］
本実施の形態は以上の構成を備えており、次のように動作する。本実施の形態の見積支援装置１のユーザは、撮像装置２を用いて、修理見積の対象物である車両の画像を撮影する。そして当該対象物の画像データを見積支援装置１に入力する（図５：Ｓ１）。

見積支援装置１は、受け入れた画像データ（複数ある場合はその各々）を参照して、当該画像データに撮像されている対象物のパーツごとの良否の程度を判断する。すなわち見積支援装置１は、受け入れた画像データに撮像された車両の画像から、当該車両の各パーツが撮像された画像の部分（画素の範囲）を特定する（Ｓ２）。この処理は、例えば輪郭線による領域の分割などの処理として実現できる。

見積支援装置１は、受け入れた画像データから、ステップＳ２で特定した各パーツの部分の画像を抽出して、パーツごとの部分画像データを生成する（Ｓ３）。既に述べたように、この部分画像データは、抽出したパーツの部分の画像に外接する矩形状の画像データであって、パーツの部分の画像を内包し、パーツの部分以外の画素については無効な画素（例えば透過画素）として設定したものである。

見積支援装置１は、ステップＳ３で得た各パーツの部分画像データについて、次の処理を繰り返して実行する。見積支援装置１は、ステップＳ３で得た各パーツの部分画像データのうち未選択のものを一つ選択し（Ｓ４）、当該選択した部分画像データに基づいて修理提案情報を生成する処理を実行する（Ｓ５）。

一例としてこの修理提案情報の生成は、次のようにして行う。すなわち見積支援装置１は、図６に例示するように、ステップＳ４で選択した部分画像データを二値化した二値化画像と、当該部分画像データの色相成分のみを抽出した画像（色相成分画像）とを生成する（Ｓ１１）。

そして見積支援装置１は、ステップＳ１１で生成した二値化画像と、色相成分画像とについてブロブ解析を行い、傷やデント等が生じている部分（以下修復対象部分と呼ぶ）を特定する（Ｓ１２）。なお、選択した部分画像データに含まれるパーツの画像に、傷やデント等が撮像されていない場合（パーツに傷等がないか、あるいは外観として見えない場合）は、見積支援装置１は、修復対象部分は特定しない。

見積支援装置１は、ステップＳ１２で修復対象部分が特定されたか否かを判断し（Ｓ１３）、修復対象部分が特定されていれば（Ｓ１３：Ｙｅｓ）、選択された部分画像データについて、修復対象部分に含まれる各画素の画素値を、修復対象部分以外の画素であって、当該画素に最も近接する、パーツ部分の画素の画素値で置き換えるなどして、パーツが無傷である状態の推定画像を生成する（Ｓ１４：修復推定処理）。

見積支援装置１は、ここで生成した推定画像と、修復推定処理前の部分画像データ（元データ）とをそれぞれ二値化した画像と、それぞれ色相成分を抽出した画像を生成して、当該二値化した画像同士、及び色相成分の画像同士を比較し、その比較の結果に基づいて、修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷やデントの深さ等の情報を得る。そして見積支援装置１は、選択した部分画像データに撮像されているパーツの修復対象部分の大きさや方向、幅、修復対象部分に含まれる傷やデントの深さの情報等を、修理提案情報として生成する（Ｓ１５）。

一方、見積支援装置１は、ステップＳ１３で修復対象部分が特定されていなければ（Ｓ１３：Ｎｏ）、選択した部分画像データに撮像されているパーツが無傷である旨の情報を生成する。

見積支援装置１は、選択したパーツの部分画像データについて、この修理提案情報の生成を行うと、ステップＳ３で得たパーツの部分画像データのうち未選択のものがあればステップＳ４に戻って当該未選択の部分画像データの一つを選択して処理を続ける（Ｓ６）。

これにより見積支援装置１は、パーツごとに修理が必要となっている部分の面積等に相当する情報を得ることとなる。見積支援装置１は、パーツの単位面積あたりの修理費用の額を表す単価情報を予め設定して保持しておき、当該単価情報に、修理の必要の程度である上記情報で表される面積を乗じて、パーツごとの修理の費用の見積を算出し（Ｓ７）、当該算出したパーツごとの修理の費用の見積、あるいはそれを累算した見積を出力してユーザに提示する（Ｓ８）。

また見積支援装置１は、図６に例示した、ステップＳ５における修理提案情報の生成処理に代えて、次のような処理を行ってもよい。すなわち見積支援装置１は、ステップＳ４で選択した部分画像データに対して、既に説明した線傷の抽出処理と、擦り傷の抽出処理と、傷ないしデントの深さを推定する処理とを順次実行して、修理提案情報を生成してもよい。

この例によっても、ステップＳ７においてパーツごとの修理の費用の見積を算出し、ステップＳ８でユーザに提示することが可能となる。

［変形例］
本実施の形態のここまでの説明では、外形状の変形に基づいて修理の費用を算出することとしていたが、本実施の形態はこれに限られず、例えばパーツ識別子及びそれにより識別されるパーツ修理の必要の程度を表す情報を入力とし、過去に同じパーツに同程度の損傷が生じたときの内部（外形状の変形に現れない修理の必要な部分）の損傷の程度を表す情報を教師情報として予め機械学習した状態にあるニューラルネットワーク等を用いて、内部損傷を推定してもよい。

この場合、見積支援装置１は、外形状の変形に対応する修理費用とともに、当該推定した内部損傷に対応する修理費用をユーザに提示してもよい。

１ 見積支援装置、２ 撮像装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 入出力部、２１ 画像受入部、２２ 良否判定部、２３ 算出部、２２１ パーツ認識部、２２２ 良否情報取得部。

Claims (4)

1. 複数のパーツを含む対象物を撮像して得られた画像データを取得する取得手段と、
   前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する判断手段と、
   前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する算定手段と、
   を含み、
   前記判断手段は、
   画像データをグレースケールに変換し、横方向と縦方向とのそれぞれの軸方向の各ラインから極小点を探索して、当該探索して見いだされた極小点であって、互いに隣接する極小点の組を見いだして、連続する極小点群を検出する処理を実行し、
   当該検出された極小点群のうち、当該極小点群に属する極小点の数が予め定めた数より少ない極小点群を除く極小点群により構成される線分を、パーツの輪郭線として決定し、当該輪郭線を用いてパーツごとの部分画像データを得て、
   当該得られたパーツごとの部分画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する見積支援装置。
2. 請求項１に記載の見積支援装置であって、
   前記対象物は車両であり、
   前記パーツの良否の程度は、パーツの変形の程度の情報を含む見積支援装置。
3. コンピュータを用いた見積支援方法であって、
   取得手段が、複数のパーツを含む対象物を撮像して得られた画像データを取得する工程と、
   判断手段が、前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する工程と、
   算定手段が、前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する工程と、
   を含み、
   前記判断手段は、
   画像データをグレースケールに変換し、横方向と縦方向とのそれぞれの軸方向の各ラインから極小点を探索して、当該探索して見いだされた極小点であって、互いに隣接する極小点の組を見いだして、連続する極小点群を検出する処理を実行し、
   当該検出された極小点群のうち、当該極小点群に属する極小点の数が予め定めた数より少ない極小点群を除く極小点群により構成される線分を、パーツの輪郭線として決定し、当該輪郭線を用いてパーツごとの部分画像データを得て、
   当該得られたパーツごとの部分画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する見積支援方法。
4. コンピュータを、
   複数のパーツを含む対象物を撮像して得られた画像データを取得する取得手段と、
   前記取得した画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断する判断手段と、
   前記判断手段によって判断されたパーツごとの良否の程度に基づいて、前記対象物の修理に要する費用の見積を算定して出力する算定手段と、
   として機能させ、
   前記判断手段として機能させるときには、前記コンピュータに、
   画像データをグレースケールに変換し、横方向と縦方向とのそれぞれの軸方向の各ラインから極小点を探索して、当該探索して見いだされた極小点であって、互いに隣接する極小点の組を見いだして、連続する極小点群を検出する処理と、
   当該検出された極小点群のうち、当該極小点群に属する極小点の数が予め定めた数より少ない極小点群を除く極小点群により構成される線分を、パーツの輪郭線として決定し、当該輪郭線を用いてパーツごとの部分画像データを得る処理とを実行させ、
   当該得られたパーツごとの部分画像データに基づいて、前記対象物が含むパーツごとの良否の程度を判断させるプログラム。