JP6347384B2 - 変状評価支援システム - Google Patents

Description

本発明は，道路などをはじめとした建造物を含むインフラストラクチャーの変状を評価する際の変状評価支援システムに関する。

近年，日本各地の道路や橋，トンネルなどのインフラストラクチャーの老朽化が問題となっている。老朽化による事故の発生を防止するためには，変状（損傷のほか，通常の状態とは異なる状態）箇所がどこにあるのか，どのような種類の変状であるのか，変状の程度がどの程度であるのかなどを，適切に把握する点検業務が重要である。

従来，点検業務は，国土交通省が提供している事例写真集（非特許文献１）や，各企業が整備している点検要領（点検マニュアル）などを参考にし，作業員が目視や打音で点検をして，変状箇所を発見し，その種類や損傷の程度などを判断していた。この場合，変状箇所の発見などを安定的に行うには作業に熟練度が要求されるが，熟練作業員のリタイアなどにより，熟練した作業員が減少している。そのため，これらの判断にばらつきが発生する。

また，点検が必要なインフラストラクチャーの数は年々増加しており，作業員の作業量は増加している。そこで，変状箇所の発見などの判断のばらつきを抑える一方，素早く正確な判断ができることも求められている。

そこで，この作業の支援のため，点検箇所を撮像装置で撮像し，撮像した画像情報と，あらかじめ記憶されている変状箇所を写した画像情報とを画像認識技術を用いて比較する技術が存在する（非特許文献２）。

国土交通省国土技術政策総合研究所，"道路橋の定期点検に関する資料−橋梁損傷事例写真集−"，[online]，インターネット＜ＵＲＬ：http://www.nilim.go.jp/lab/bcg/siryou/tnn/tnn0196.htm＞ 東北インフラ・イノベーション・コンソーシアム，"ＩＴ融合による被災地のインフラ復旧支援とメンテナンス拠点の形成・展開"，[online]，インターネット＜ＵＲＬ：http://www.infinov.jp/system.html＞

非特許文献２では，点検の際に変状箇所を撮像した画像情報と，過去の多くの場所で変状箇所を撮像した画像情報との画像類似性の判定処理を行うことで，点検の際に撮像した画像情報が，どのような変状であるのか，どの程度の損傷レベルであるのかなどを作業員が判断するときに参考となる事例を提供する。これによって，作業員の負担を軽減できる。

しかし，点検の際に変状箇所を撮像した画像情報や過去の変状箇所を撮像した画像情報に，変状とは無関係なものが写り込んでいる場合もある。その場合に，写り込んでいる無関係なものが共通していると，画像同士の類似性が高く判定されてしまい，参考となる事例の提供を精度よく行うことができなくなる問題点がある。

そこで，変状箇所の発見や，変状の種類，損傷の程度等の判断のばらつきを抑える一方，作業員の負担を軽減し，判定の精度をあげることができるシステムが望まれている。

本発明者らは上記課題に鑑み，本発明の変状評価支援システムを発明した。

第１の発明は，インフラストラクチャーの変状の評価を支援する変状評価支援システムであって，前記変状評価支援システムは，前記変状情報に対する共起確率である共起性情報を記憶する共起性情報記憶部と，処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部と，前記処理対象となる変状情報における変状画像情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状画像情報との画像類似性の判定処理を実行することで画像類似性リストを生成する画像類似性リスト生成処理部と，前記共起性による推薦順位のリストと，前記画像類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部と，を有する変状評価支援システムである。

従来の画像認識技術による処理の場合には画像自体のノイズなどによる影響を受けることが大きかった。しかし，本発明のように構成することで，従来よりも精度を向上させて，処理対象となる変状情報に類似するほかの変状情報のユーザへの提供を行うことができる。また，処理対象となる変状情報に類似する変状情報が生成されるので，作業員の負担も軽減され，かつそれを参考に判断することとなるので，判断のばらつきも抑えられる。

上述の発明において，前記変状評価支援システムは，さらに，前記変状情報の全部または一部を記憶する変状情報記憶部と，前記変状情報記憶部に記憶する変状情報における変状画像情報に対する画像類似性リストを記憶する画像類似性リスト記憶部と，前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合に，前記処理対象となる変状情報における変状画像情報に対する画像類似性リストを，前記画像類似性リスト記憶部に記憶する画像類似性リストから特定する画像類似性リスト特定処理部と，を有しており，前記共起性推薦順位リスト生成処理部は，前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合において前記画像類似性リスト特定処理部で特定した画像類似性リストにおける全部または一部の変状情報について，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する，変状評価支援システムのように構成することができる。

共起性による推薦順位のリストにおける件数は，数件の場合もあれば数万件の場合もあり得る。共起性による推薦順位のリストにおける件数が多くなった場合，そのリストにおける変状情報の変状画像情報に対する画像類似性の処理を行うのは困難となる。そこで本発明のように，共起性による推薦順位のリストにおける件数が設定値以内ではない場合（設定値よりも多くなった場合）には，あらかじめ生成しておいた画像類似性のリストに基づいて，先に画像類似性に基づくリストを特定し，そのリストにおける変状情報に対する共起性の処理を実行することで，現実的な処理時間で処理を実行することができる。

第２の発明は，インフラストラクチャーの変状の評価を支援する変状評価支援システムであって，前記変状評価支援システムは，前記変状情報に対する共起確率である共起性情報を記憶する共起性情報記憶部と，処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部と，前記処理対象となる変状情報における変状音情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状音情報との音類似性の判定処理を実行することで音類似性リストを生成する音類似性リスト生成処理部と，前記共起性による推薦順位のリストと，前記音類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部と，を有する変状評価支援システムである。

インフラストラクチャーに対する検査には打音検査を行う場合もある。そのため，第１の発明の変状画像情報に代えて変状音情報の類似性を判定してもよい。このように構成しても第１の発明と同様の技術的効果を得ることができる。

上述の発明において，前記変状評価支援システムは，さらに，前記変状情報の全部または一部を記憶する変状情報記憶部と，前記変状情報記憶部に記憶する変状情報における変状音情報に対する音類似性リストを記憶する音類似性リスト記憶部と，前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合に，前記処理対象となる変状情報における変状音情報に対する音類似性リストを，前記音類似性リスト記憶部に記憶する音類似性リストから特定する音類似性リスト特定処理部と，を有しており，前記音類似性リスト特定処理部は，前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合，前記処理対象となる変状情報における変状音情報に対する音類似性リストを前記音類似性リスト記憶部から特定し，前記共起性推薦順位リスト生成処理部は，前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合において前記音類似性リスト特定処理部で特定した音類似性リストにおける全部または一部の変状情報について，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する，変状評価支援システムのように構成することができる。

本発明のように構成した場合でも上述の請求項２の発明と同様の技術的効果を得ることができる。すなわち，共起性による推薦順位のリストにおける件数が設定値以内ではない場合（設定値よりも多くなった場合）には，あらかじめ生成しておいた音類似性のリストに基づいて，先に音類似性に基づくリストを特定し，そのリストにおける変状情報に対する共起性の処理を実行することで，現実的な処理時間で処理を実行することができる。

上述の発明において，前記共起性推薦順位リスト生成処理部は，さらに，
前記生成した共起性による推薦順位のリストにおける件数が設定値以内の場合，前記共起性情報記憶部に記憶する共起性情報を参照して，未処理のうちでもっとも共起性の値が高い共起性情報を特定して候補を絞り込み，その件数が前記設定値以上になるまで反復することで，共起性による推薦順位のリストを生成する，変状評価支援システムのように構成することができる。

共起性の値で絞り込みを行う場合，その件数が数件になってしまうなど，絞り込まれすぎる可能性もある。そのような場合，処理対象となる変状情報に類似するほかの変状情報のユーザへの提供を充分に行うことができない。そこで，共起性の値が第２位，第３位というように，処理対象となる変状情報に類似するほかの変状情報の件数があらかじめ定めた件数に到達するまで，処理を反復する。これによって，ユーザに充分な件数の情報を提供することができる。

上述の各発明において，前記結合処理部は，前記共起性による推薦順位のリストと，前記画像類似性リストおよび／または前記音類似性リストとの尺度を揃え，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する，変状評価支援システムのように構成することができる。

多くの場合，共起性による推薦順位のリストと，画像類似性リスト，音類似性リストでは，類似度の正負，分布，分散が異なっている。そのため，単に共起性の値と類似度を示す値（非類似性距離など）をそのまま結合することができない。あるいは精度に影響を与えてしまう。そこで，いずれか一方の尺度に，他方の尺度を合わせる処理を実行した上で結合処理を行うことが好ましい。

上述の発明において，前記結合処理部は，前記共起性による推薦順位のリストと，前記画像類似性リストおよび／または前記音類似性リストのうち，基準とするリストの分布を生成し，その基準となるリスト以外のリストについて，値の分布を生成し，基準となる分布とそれ以外のリストの分布の分散を合わせ，基準となる分布とそれ以外のリストの分布の平均を合わせる，ことにより尺度を揃える，変状評価支援システムのように構成することができる。

本発明のように構成することで，各リストの分布を揃えることができるので，精度を低下させることなく結合処理を行うことができる。

上述の発明において，前記結合処理部は，前記共起性による推薦順位のリストと，前記画像類似性リストおよび／または前記音類似性リストに対する結合比率に基づいて結合処理を行う，変状評価支援システムのように構成することができる。

結合処理を行う場合には，単純に結合するのみならず，いずれのリストを重視するかによって重み付けが行えてもよい。これによって精度の向上を図ることができる。

上述の各発明において，前記共起性推薦順位リスト生成処理部は，前記処理対象となる変状情報と前記共起条件とに基づいて，前記共起性情報記憶部に記憶する共起性情報を参照して，もっとも高い共起性の値で順位付けを行うことで前記共起性による推薦順位のリストを生成する，変状評価支援システムのように構成することができる。

最初に処理を行う場合には共起性の値がもっとも高いものから順番にリストを生成することが好ましい。

上述の各発明において，前記変状評価支援システムは，さらに，前記前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストに対するユーザの操作を記憶するユーザ操作記憶部，を有しており，前記結合処理部は，前記ユーザ操作記憶部に記憶するユーザの操作情報を加味して前記前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する，変状評価支援システムのように構成することができる。

ユーザは，提供された，処理対象となる変状情報に類似するほかの変状情報を参照しながら処理対象となる変状情報における変状の判定を行う。そのため，提供した変状情報が役に立ったかどうかをユーザの操作として記憶しておく。このユーザの操作を次回以降の処理の際に参照することで，処理の精度向上に役立てることが可能となる。

第３の発明は，インフラストラクチャーの変状の評価を支援する変状評価支援システムであって，前記変状評価支援システムは，処理対象となる変状情報における共起性による推薦順位のリストと，前記処理対象となる変状情報における変状画像情報の画像類似性リストおよび／または前記処理対象となる変状情報における変状音情報の音類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部，を有する変状評価支援システムである。

本発明のように構成することでも，上述の第１の発明，第２の発明と同様の技術的効果を得ることができる。

本発明のプログラムをコンピュータに読み込ませて実行することで，第１の発明の変状評価支援システムを実現することができる。すなわち，コンピュータを，処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，共起性情報記憶部に記憶した前記変状情報に対する共起確率である共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部，前記処理対象となる変状情報における変状画像情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状画像情報との画像類似性の判定処理を実行することで画像類似性リストを生成する画像類似性リスト生成処理部，前記共起性による推薦順位のリストと，前記画像類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部，として機能させる変状評価支援プログラムのように構成できる。

本発明のプログラムをコンピュータに読み込ませて実行することで，第２の発明の変状評価支援システムを実現することができる。すなわち，コンピュータを，処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，共起性情報記憶部に記憶した前記変状情報に対する共起確率である共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部，前記処理対象となる変状情報における変状音情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状音情報との音類似性の判定処理を実行することで音類似性リストを生成する音類似性リスト生成処理部，前記共起性による推薦順位のリストと，前記音類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部，として機能させる変状評価支援プログラムのように構成できる。

本発明の変状評価支援システムでは，画像情報または音情報の類似性判定のリストと，変状情報におけるタグ情報の共起性判定のリストの双方に基づいて，処理対象として選択された変状情報に類似するほかの変状情報を，ユーザに提供することができる。そのため，従来よりも精度が向上した変状情報をユーザに提供できるので，ユーザは，推薦されたほかの変状情報に基づいて，処理対象とする変状情報との類否を判定することができ，変状箇所の有無，どのような種類の変状なのか，どの程度の損傷なのか，などの判断を容易かつ迅速に行える。また，過去に登録されている変状情報を参考にするので，判断のばらつきが抑えられる。

本発明の基本的な実施態様の概念を示す概念図である。 本発明の基本的な実施態様のシステム構成の一例を模式的に示す概念図である。 コンピュータのハードウェア構成の一例を模式的に示す概念図である。 各変状情報における変状画像情報に対する類似度を示す類似性リストの生成処理の処理プロセスの一例を示すフローチャートである。 推薦順位の生成処理の処理プロセスの一例を示すフローチャートである。 変状情報記憶部に記憶する各変状情報の一般的な一例を模式的に示す図である。 共起性の値に基づいて絞り込まれた各変状情報の具体的な一例を模式的に示す図である。 共起性情報の概念の一例を模式的に示す図である。 クエリ変状画像情報に対するほかの変状画像情報の非類似性距離のリストの一例を模式的に示す図である。 クエリ変状画像情報に対するほかの変状画像情報の非類似性距離を並べ替えたリストの一例を模式的に示す図である。 共起性による推薦順位リストの一例を模式的に示す図である。 結合処理を模式的に示す図である。 クエリ変状に対する類似度を示す値を示す図である。 結合処理部で生成されたリストの一例を模式的に示す図である。 実施例２における変状評価支援システムのシステム構成の一例を模式的に示す図である。 変状情報に変状外的要因タグ情報を備える場合の変状情報の一例を模式的に示す図である。 実施例５における変状評価支援システムのシステム構成の一例を模式的に示す図である。

本発明の変状評価支援システム１の基本的な実施態様の概念図の一例を図１に示す。また，変状評価支援システム１の基本的な実施態様のシステム構成の一例の概念図を図２に示す。

変状評価支援システム１は，本システムを利用する企業などが利用するサーバやパーソナルコンピュータ，可搬型通信端末などの各種のコンピュータで起動する。図３にコンピュータのハードウェア構成の一例を示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，キーボードやポインティングデバイス（マウスやテンキーなど）などの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

なお，図１，図２ではコンピュータが一台のコンピュータで実現される場合を示したが，複数台のコンピュータにその機能が分散配置され，実現されても良い。また，本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

まず，本発明の変状評価支援システム１の基本的構成を説明する。変状評価支援システム１は，変状情報記憶部１０と，共起性情報記憶部１１と，検索条件設定受付処理部１２と，処理対象選択受付処理部１３と，共起性推薦順位リスト生成処理部１４と，画像類似性リスト生成処理部１５と，画像特徴量記憶部１６と，画像類似性リスト記憶部１７と，画像類似性リスト特定処理部１８と，結合処理部１９と，表示処理部２０と，確定情報入力受付処理部２１とを有する。

変状情報記憶部１０は，過去に登録された確定済みの変状情報と，あらたに登録された未確定の変状情報を記憶する。変状情報は，変状情報を識別する変状ＩＤと，変状箇所を撮像した画像情報である変状画像情報と，変状の属性に関する事実を示す情報であるタグ情報（変状属性タグ情報）と，日時情報とを少なくとも有する。確定済み，未確定とは，変状属性タグ情報の内容が確定しているか否かを意味する。

あらたに登録された未確定の変状情報には，変状ＩＤと，変状画像情報と，未確定の変状属性タグ情報と，日時情報とが対応付けられているが，未確定の変状属性タグ情報について，本発明を利用することにより確定させる。確定した情報の入力は，後述する確定情報入力受付処理部２１で受け付ける。図６に変状情報記憶部１０における各変状情報の一般的な一例を示す。

変状属性タグ情報としては，たとえば，構造種別名称，損傷項目名称，損傷部位名称，損傷判定区分名称，ＩＣ（インターチェンジ）区間名称などがある。構造種別名称とはインフラストラクチャーの構造の種別を示す名称であって，たとえばＰＣ桁，ＰＣ床版，ＲＣ桁，ＲＣ床版，橋脚，橋台，支柱などがある。損傷項目名称は変状の種類を示す名称であり，たとえばひびわれ，遊離石灰，鉄筋露出，剥落，剥離，漏水，錆汁などがある。損傷部位名称とは変状箇所がある部位を示す名称であり，たとえば左外側車線，左内側車線，橋脚，支柱，主桁などがある。損傷判定区分名称とは変状の程度を示す情報であり，Ａ，Ｂ，Ｃのように所定の基準に従ったランクを示す情報が該当する。ＩＣ区間名称とはその変状があったインターチェンジ区間を示す名称であり，たとえば川口西，川口中央，川口東，川上，船橋，前橋，前橋南，蘇我，草加などがある（なお，区間名称なので本来は川口西−川口中央区間のような表記になるが，処理の便宜のため，区間の先頭または後尾のいずれかで示している）。なお，変状属性タグ情報およびその設定値としてはさまざまなものを用途に合わせて採用することができ，上記は一例にすぎない。

共起性情報記憶部１１は，変状情報記憶部１０に記憶する変状属性タグ情報に対する共起性解析を行い，その解析結果を記録した共起性情報を記憶する。共起性情報とは，事象ｙが起こるという条件の下で別の事象ｘが発生する共起確率Ｐ（ｘ｜ｙ）を示す情報である。共起確率Ｐ（ｘ｜ｙ）は，たとえばベイジアンネットワークを用いた解析処理により算出する。

Ｐ（ｘ｜ｙ）としては，たとえば，Ｐ（損傷項目名称｜ＩＣ区間），Ｐ（損傷部位名称｜ＩＣ区間），Ｐ（損傷判定区分名称｜ＩＣ区間），Ｐ（損傷項目名称｜構造種別名称），Ｐ（損傷部位名称｜構造種別名称），Ｐ（損傷判定区分名称｜構造種別名称），Ｐ（損傷部位名称｜損傷項目名称），Ｐ（損傷判定区分名称｜損傷項目名称），Ｐ（損傷判定区分名称｜損傷部位名称），Ｐ（損傷項目名称｜損傷判定区分名称），Ｐ（損傷部位名称｜損傷判定区分名称）などがある。たとえばＰ（損傷項目名称｜ＩＣ区間）であれば，ＩＣ区間の具体的な値（たとえば「市原インターチェンジ」など）がｍ種類，損傷項目名称の具体的な値（たとえば「ひび割れ」，「鉄骨露出」など）がｎ種類あったとすると，そのｍ×ｎのすべての組み合わせに対して共起確率を算出し，それを共起性情報として記憶しておく。共起性情報の概念を図８に示す。

処理対象選択受付処理部１３は，本発明の変状評価支援システム１において，処理対象となる，あらたに登録された未確定の変状情報（クエリ変状情報）の選択を受け付ける。この選択は，ユーザによる選択操作の入力を受け付けることでもよいし，何らかの方法により自動的に選択を受け付けてもよい。たとえば複数のあらたに登録された未確定の変状情報がある場合，それらを順に自動的にクエリ変状情報として選択を受け付けてもよい。

検索条件設定受付処理部１２は，後述する共起性推薦順位リスト生成処理部１４において共起性による推薦順位のリストを生成するための共起条件（ｘ｜ｙ）と，共起性による推薦順位のリストと画像類似性リストとを結合してユーザに提供する推薦順位のリストを生成する際の結合比率と，を受け付ける。すなわち共起条件におけるｘとｙ，共起性の結合比率と画像特徴量の結合比率との入力を受け付ける。たとえばｘとして構造種別名称，ｙとして損傷項目名称，共起性の結合比率として４０％，画像特徴量の結合比率として６０％のようになる。これらの情報は，あらかじめ管理者などによって，事前に設定され，その入力を受け付けることが好ましいが，ユーザからの操作入力を受け付けてもよい。

共起性推薦順位リスト生成処理部１４は，処理対象選択受付処理部１３で受け付けたクエリ変状情報について，検索条件設定受付処理部１２で受け付けた共起条件に基づき，共起性情報記憶部１１に記憶する共起性情報を参照して，共起性による推薦順位リストの生成処理を行う。たとえば共起条件として（ｘ｜ｙ）＝（損傷項目名称｜構造種別名称）が設定されていた場合，変状情報記憶部１０に記憶する変状情報における変状属性タグ情報から構造種別名称で絞り込みを行い，損傷項目名称の共起性の値で順位付けを行う。たとえば，図１に示すように，共起性の値が高い変状情報から，順番にリスト化する。この際に，変状ＩＤと，共起性の値とをリスト化して生成することが好ましいがそれに限定されない。

画像類似性リスト生成処理部１５は，特定の変状情報における変状画像情報と，変状情報記憶部１０に記憶するほかの変状情報における変状画像情報との類似度の値を算出し，類似性のリストを生成する。この類似性のリストは，特定の変状画像情報に類似するほかの変状画像情報が順位付けされたものであり，類似度の値が高い変状画像情報が順にリスト化されている。この際に，変状ＩＤと，類似度の値とをリスト化して生成することが好ましいがそれに限定されない。

変状画像情報同士の類似性の判定の方法にはさまざまな方法があるが，それぞれの画像特徴量を算出し，それらを用いて類似度の値，たとえば非類似性距離を算出して類似性を判定する方法を用いることができる。

コンピュータの処理能力にも依存するが，一般的に変状画像情報の類似性の判定処理には多くの処理時間を要する。そのため，あらかじめ設定された設定値より多い数の変状画像情報の類似性の判定処理を行う場合には，事前に処理を行っておき，画像類似性リストとして後述する画像類似性リスト記憶部１７に記憶させておくことが好ましい。たとえば変状情報記憶部１０に記憶する変状情報が図６であったとすると，変状情報ＩＤ１における変状画像情報とそれ以外の変状情報における変状画像情報の画像類似性リスト，変状情報ＩＤ２における変状画像情報と変状情報ＩＤ３乃至変状情報ＩＤｎの変状画像情報の画像類似性リスト，といったように，すべての変状画像情報に対する画像類似性リストを事前に生成しておくことが好ましい。

画像特徴量記憶部１６は，画像類似性リスト生成処理部１５において，特定の変状情報における変状画像情報と，変状情報記憶部１０に記憶するほかの変状情報における変状画像情報との類似度の値を算出する際の，各画像の特徴量を記憶する。画像の特徴量としては，たとえば局所特徴量が用いられるが，それに限定されない。

画像類似性リスト記憶部１７は，変状情報記憶部１０に記憶する各変状情報における変状画像情報の画像特徴量における類似性のリストを記憶する。図６は変状情報記憶部１０における各変状情報の一般的な一例であり，図７は，後述する結合処理部１９における処理において絞り込まれた状態を示す変状情報の具体的な一例を示す。なお，図７では図示の都合上，変状情報の表示順番を変更しているが，その技術的意義は変わらないし，如何なる順番で記憶されていてもよい。また，図７におけるクエリ変状情報とは，あらたに登録した未確定の変状情報であり，これが対象となる変状情報である。またクエリ変状画像情報とは，クエリ変状情報における画像情報であり，この画像情報に類似する画像情報の類似度のリスト（類似性リスト）を，後述する画像類似性リスト生成処理部１５で求めることとなる。

画像類似性リスト特定処理部１８は，あらかじめ設定された設定値より多い数の変状情報がある場合，画像類似性リスト記憶部１７に記憶する画像類似性リストを特定することで，処理対象となる変状画像情報に類似するほかの変状画像情報の順位付けの情報を取得する。

結合処理部１９は，共起性推薦順位リスト生成処理部１４で生成した共起性による推薦順位のリストと，画像類似性リスト生成処理部１５で生成した画像類似性のリストまたは画像類似性リスト特定処理部１８で特定した画像類似性のリストと，検索条件設定受付処理部１２で受け付けた結合比率の情報とに基づいて，ユーザに対して提供する，クエリ変状情報に類似度の高い変状情報の推薦順位のリストを生成する。

リストの長さとクエリ変状情報に類似度の高い変状情報の推薦順位の精度とはトレードオフの関係にある。しかし長いリストに基づく処理は，処理時間を要してしまう。また，結合処理部１９での２つのリストの結合処理において，共起性によるリストは同順位での第１位が数件の場合もあれば，数万件の場合もある。この場合，共起性の値に基づいて絞り込むことを優先して処理を実行するが，候補件数が多すぎる場合には先に画像類似性により絞り込みを行う。すなわち，共起性による推薦順位のリストの件数が設定値以内であれば画像類似性リスト生成処理部１５で生成した画像類似性リストに基づく処理を実行し，その画像類似性リストと共起性による推薦順位のリストとに基づいて結合処理を実行する。また，共起性による推薦順位のリストの件数が設定値以内でなければ画像類似性リスト特定処理部１８で画像類似性リストを特定し，そのリストにおける変状情報に対する共起性の処理を実行し，その共起性による推薦順位のリストと画像類似性リストとに基づいて結合処理を実行する。

以上のような処理を実行することで，クエリ変状情報に類似度の高い変状情報の推薦順位の精度を維持しながら，処理時間を抑えることができる。

また，共起性による推薦順位のリストを優先して絞り込む場合，その件数が数件のみなど絞り込まれすぎる可能性がある。その場合，共起性の値の同順第２位について第１位と同様の処理を実行させる。これを，表示件数に至るまで反復する。このような処理によって，表示件数が絞り込まれすぎてしまうことを防止することができる。

表示処理部２０は，結合処理部１９で生成した変状情報の推薦順位のリストを，コンピュータの表示装置７２に表示させる。

確定情報入力受付処理部２１は，表示処理部２０で表示した変状情報の推薦順位のリストに基づいて，クエリ変状情報のうち，未確定の変状属性タグ情報についての入力を受け付け，変状情報記憶部１０に記憶させる。この入力によって未確定の変状情報ではなくなるので，確定済みの変状情報になる。

たとえば変状属性タグ情報のうち，損傷項目名称が「未確定」であったとする。本発明の変状評価支援システム１での処理の結果，クエリ変状情報に対して，表示処理部２０が表示装置７２で表示させた変状情報の推薦順位のリストを閲覧したユーザは，そのリストに基づいて判断を行う。そしてその損傷項目名称が「ひび割れ」であると判断した場合，クエリ変状情報の未確定の変状属性タグ情報における損傷項目名称として「ひび割れ」を入力する。この入力を確定情報入力受付処理部２１で受け付けると，それを変状情報記憶部１０に記憶させる。

つぎに本発明の変状評価支援システム１の基本的実施態様における処理プロセスの一例を図４および図５を用いて説明する。

まず事前処理として，画像類似性リスト生成処理部１５が実行する，変状情報記憶部１０に記憶する各変状情報における変状画像情報の類似性リストの生成処理を説明する。

まず，ユーザは所定の方法で変状評価支援システム１を起動し，そこから画像類似性リスト生成処理の対象とする変状画像情報（クエリ変状画像情報）を特定する操作を行い，その操作入力を変状評価支援システム１で受け付ける（Ｓ１００）。

画像類似性リスト生成処理部１５は，クエリ変状画像情報における画像特徴量，たとえば局所特徴量を算出し，画像特徴量記憶部１６に記憶させる（Ｓ１１０）。そして変状情報記憶部１０に記憶するほかの変状情報における変状画像情報を比較対象として特定し（Ｓ１２０），その比較対象となる変状画像情報の画像特徴量，たとえば局所特徴量を算出し，画像特徴量記憶部１６に記憶させる（Ｓ１３０）。

そして画像特徴量記憶部１６に記憶させた，クエリ変状画像情報における画像特徴量（局所特徴量）と，比較対象となる変状画像情報の画像特徴量（局所特徴量）とに基づいて，それらの画像類似性の判別処理を実行する（Ｓ１４０）。画像類似性の判別処理としてはさまざまな方法があるが，たとえば局所特徴量を用いて非類似性距離を算出することで行える。そして変状情報記憶部１０に記憶するすべての変状情報の変状画像情報に対して，Ｓ１２０からＳ１４０の処理を実行する（Ｓ１５０）。

このようにして，クエリ変状画像情報に対するすべての変状画像情報の類似性（たとえば非類似性距離）が判定できる。そして類似度の値（非類似性距離）に基づいて類似する変状画像情報から順にリスト化することで，クエリ変状画像情報に対する画像類似性のリストを生成する（Ｓ１６０）。

Ｓ１５０までの処理の結果，画像特徴量による類似性としての非類似性距離が図９であったとする。そうすると，画像類似性リスト生成処理部１５は，画像類似性のリストとして図１０を生成し，画像類似性リスト記憶部１７に記憶させる。

以上のような事前処理を行うことで，クエリ変状画像情報に対して類似する類似性リストが生成できる。生成したリストは，画像類似性リスト記憶部１７に記憶する。なお，クエリ変状画像情報が複数ある場合には，各クエリ変状画像情報に対して上述の処理を実行しておくことで，クエリ変状画像情報ごとに対する類似性のリストが生成，記憶できる。

上記においては，ユーザによるクエリ変状画像情報の選択を受け付けてから処理を実行したが，あらたにクエリ変状情報が変状情報記憶部１０に記憶されることで，自動的に処理対象とするクエリ変状画像情報として特定し，任意のタイミングで処理を実行することとしてもよい。

つぎにクエリ変状情報に類似度の高い変状情報の推薦順位のリストの生成処理を説明する。ユーザは，所定の方法で変状評価支援システム１を起動し，そこからリスト生成処理の対象とする変状情報（クエリ変状情報）を特定する操作を行い，その操作入力を処理対象選択受付処理部１３で受け付ける（Ｓ２００）。

そして受け付けたクエリ変状情報と，検索条件設定受付処理部１２であらかじめ受け付けた共起条件とに基づいて，共起性情報記憶部１１に記憶する共起性情報を参照して，共起性による推薦順位リストの生成処理を，共起性推薦順位リスト生成処理部１４で実行する（Ｓ２１０）。たとえば共起性の検索条件として（ｘ｜ｙ）＝（損傷項目名称｜構造種別名称）が設定されており，構造種別名称（ｙ）＝「橋脚」であった場合，変状情報記憶部１０に記憶する変状情報のうち，変状属性タグ情報における構造種別名称が「橋脚」である変状情報の絞り込みを行う。絞り込まれた変状情報の一例が図７である。そして，絞り込まれた変状情報（すなわち構造種別名称が「橋脚」である変状情報）のうち，共起性情報記憶部１１に記憶する共起性情報を参照し，もっとも高い共起性の値で順位付けを行うことで推薦順位リストを生成する。たとえば図１１に示す共起性による推薦順位リストが共起性推薦順位リスト生成処理部１４により生成される。

そしてＳ２１０で生成した共起性による推薦順位リストの件数（絞り込まれた変状情報の件数）が設定値（たとえば２０００件）以内である場合には（Ｓ２２０），十分な提供をユーザに行えないことから，共起性推薦順位リスト生成処理部１４は，共起性情報記憶部１１に記憶する共起性情報を参照して，Ｓ２１０と同様に，つぎに共起性の値が高いｘ，ｙで絞り込みを行う（Ｓ２３０）。

たとえば上述の場合，Ｓ２１０において，変状情報記憶部１０に記憶する変状情報のうち，変状属性タグ情報における構造種別名称が「橋脚」である変状情報で絞り込みが行われているので，絞り込まれた変状情報のうち，共起性情報記憶部１１に記憶する共起性情報を参照し，２番目に共起性の値が高いｘ，ｙで順位付けを行うことで推薦順位リストを生成する。

推薦順位リストにおける候補数が設定値以上（上記の場合，たとえば２０００件以上）になるまで，共起性の値が高い順番のｘ，ｙで処理（Ｓ２３０の処理）を繰り返して行う（Ｓ２４０）。

以上のようにして推薦順位リストにおける候補数が設定値以上になると，画像類似性リスト生成処理部１５が，絞り込まれた各変状情報の変状画像情報と，クエリ変状情報のクエリ変状画像情報との類似性の判定処理を実行することで，画像類似性リスト生成処理を実行する（Ｓ２５０）。すなわち，図７の場合，クエリ変状画像情報の画像特徴量と，変状情報ＩＤ１乃至変状情報ＩＤ８の各変状画像情報との画像特徴量とを算出し，それらに基づいて，非類似性距離を算出する（図９参照）。そして非類似性距離に基づいて画像類似性リストを生成する（図１０参照）。

なお，Ｓ２５０において，クエリ変状画像情報に対する画像類似性リストが画像類似性リスト記憶部１７に記憶されている場合，画像類似性リスト生成処理部１５で画像類似性リストの生成処理を行う代わりに，画像類似性リスト特定処理部１８で画像類似性リスト記憶部１７から画像類似性リストを特定してもよい。

以上のような処理を実行することで，共起性による推薦順位リストと，画像類似性リストとが生成できるので，結合処理部１９は，検索条件設定受付処理部１２で受け付けた結合比率に基づいて結合処理を実行し，ユーザに対して提供する推薦順位のリストを生成する（Ｓ２６０）。

結合処理としては，単純に共起性に基づく推薦順位のリストと画像類似性に基づくリストとを結合してもよい。たとえば，共起性の値に結合比率４０％を乗算し，画像特徴量に結合比率６０％を乗算し，それぞれ算出される値に基づいて並び替えることで，ユーザに対して提供する推薦順位のリストを生成する。変状画像情報に付されている変状属性タグ情報の共起性と，変状画像情報の類似性の尺度が同じ場合にはこの方法で処理ができる。

一方，多くの場合には，変状画像情報に付されている変状属性タグ情報の共起性と，変状画像情報の類似性とは，類似度の正負号，分布，分散が異なっているため，尺度を揃えてから結合をする。そこで，結合処理部１９は，いずれか一方の尺度に，他方の尺度を合わせる処理を行う。たとえば変状属性タグ情報の共起性の尺度に，変状画像情報の類似性の尺度を合わせる処理を行う。

変状属性タグ情報の共起性による推薦順位のリストと，画像類似性による画像類似性リストとの尺度を合わせる処理の概念を図１２に模式的に示す。

まず結合処理部１９は，共起性情報記憶部１１に記憶する共起性情報に基づいて，対象となる共起性の組み合わせ（上述の例では，たとえば１１の組み合わせ）について，共起性の値の分布を生成する。そしてここで生成した共起性の組み合わせに関する共起性の値の分布を結合の基準となる分布とする。すなわちｘ軸に共起性の値，ｙ軸にサンプル数をとる分布を生成する。

つぎに，結合処理部１９は，画像類似性リスト記憶部１７に記憶する画像の類似度を示す値，たとえば非類似性距離のすべてまたは一部を抽出することで，非類似性距離とサンプル数の分布を生成する。すなわちｘ軸に非類似性距離，ｙ軸にサンプル数をとる分布を生成する。

そして共起性の値に基づく分布と，画像類似性に基づく分布とはその尺度が異なるので，それを揃える。まず非類似性距離の符号を揃える処理を実行し，つぎに，共起性の値に基づく分布の分散と，画像類似性に基づく分布の分散をあわせる処理を実行する。そして，共起性の値に基づく分布の平均と，画像類似性に基づく分布の平均をあわせる処理を実行する。以上のような処理を実行することによって，変状属性タグ情報の共起性による推薦順位のリストと，画像類似性による画像類似性リストとの尺度を合わせることができる。

このようにして結合処理部１９が２つのリストの尺度を合わせると，検索条件設定受付処理部１２で受け付けた結合比率に基づいて，それぞれの値を重み付けし，加算をする。そして加算の結果，最終的に算出された値が，クエリ変状に対する類似度を示す値となる。そしてクエリ変状に対する類似度を示す値に基づいて，リスト化をする。

以上の結合処理を実行するには，たとえば，
クエリ変状に対する類似度を示す値＝Ｔ×ｗ＋（ａ×Ｐ＋ｂ）×（１−ｗ）
で算出すればよい。なお，上記の算出式において，Ｔは共起性の値，Ｐは非類似性距離（画像の類似度を示す値），ｗは結合比率のうち共起性に対する重み，ａは分散を揃えるための定数，ｂは平均を揃えるための定数である。

また，２つの分布において，分布の偏りを補正するため，分布を平滑化する関数ｆ１，ｆ２を導入することもできる。この場合，たとえば，
クエリ変状に対する類似度を示す値＝ｆ１（Ｔ）×ｗ＋（ａ×ｆ２（Ｐ）＋ｂ）×（１−ｗ）
で算出すればよい。なお，関数ｆ１は共起性の値の分布を平滑化する関数であり，関数ｆ２は画像類似性に基づく分布を平滑化する関数である。

たとえば絞り込んだ変状属性情報が図７に示すような場合であり，共起性による推薦順位のリストが図１１，画像類似性に基づくリストが図１０であり，ａが「−０．５」，ｂが「０．３」，ｗが「０．６」，クエリ変状に対する類似度を示す値＝Ｔ×ｗ＋（ａ×Ｐ＋ｂ）×（１−ｗ）の算出式を用いた場合，クエリ変状に対する類似度を示す値として図１３に示すようになる。したがって，結合処理部１９は推薦順位を決定し，図１４に示すようにリスト化する。

なお，クエリ変状に対する類似度を示す値のほかの算出方法として，
クエリ変状に対する類似度を示す値＝ｍａｘ（ｆ１（Ｔ）×ｗ，（ａ×ｆ２（Ｐ）＋ｂ）×（１−ｗ））
で算出してもよい。

以上のようにして，Ｓ２６０における，結合処理部１９が共起性の値と非類似性距離とに基づく結合処理とクエリ変状に対する類似度を示す値のリストを生成すると，表示処理部２０がＳ２６０で生成したリストをコンピュータの表示装置７２に表示させる。

一方，上述のＳ２２０において，Ｓ２１０で生成した共起性による推薦順位リストの件数（絞り込まれた変状情報の件数）が設定値以内でない場合には，画像類似性リスト特定処理部１８は，Ｓ２００において選択されたクエリ変状情報におけるクエリ変状画像情報に対する画像類似性のリストを画像類似性リスト記憶部１７から抽出し，そのリストにおける上位所定数（たとえば２５００件）の変状情報を特定する（Ｓ２７０）。変状情報の特定は，画像類似性リストにおける変状ＩＤに基づいて特定が可能である。

そして，共起性推薦順位リスト生成処理部１４は，Ｓ２７０において特定した各変状情報の共起性の値を算出し，共起性に基づく推薦順位のリストを生成する（Ｓ２８０）。

結合処理部１９は，Ｓ２８０で生成した共起性に基づく推薦順位のリストと，Ｓ２７０で特定した変状画像の類似性のリストとの結合処理をＳ２６０と同様に実行し，クエリ変状に対する類似性の値を算出して，リスト化する（Ｓ２９０）。

以上のようにして，Ｓ２９０における，結合処理部１９が共起性の値と非類似性距離とに基づく結合処理とクエリ変状に対する類似度を示す値のリストを生成すると，表示処理部２０がＳ２９０で生成したリストをコンピュータの表示装置７２に表示させる。

以上のような処理を実行することで，クエリ変状情報に類似する変状情報の候補がコンピュータの表示装置７２に表示され，それをユーザが視認することで，クエリ変状情報における変状の種類や程度等を判断する。そして判断の結果を入力装置７３を介して入力すると，確定情報入力受付処理部２１でそれを受け付け，変状情報記憶部１０に記憶するクエリ変状情報の未確定の変状属性タグ情報として，その情報を追加して記憶させる。これによって，未確定の変状属性タグ情報をあらたに登録していくことが可能となる。

実施例１では，変状属性タグ情報の共起性に基づく共起性リストと，変状画像情報の類似性に基づくリストとに基づいて処理を実行したが，変状画像情報に代えて，変状箇所の音情報の類似性に基づくリストとに基づいて処理を実行してもよい。変状箇所の音情報（変状音情報）とは，変状と疑われる箇所に対して実施した打音検査による音を集音した情報である。

この場合，画像類似性リスト生成処理部１５の代わりに音類似性リスト生成処理部２２，画像特徴量記憶部１６の代わりに音特徴量記憶部２３，画像類似性リスト記憶部１７の代わりに音類似性リスト記憶部２４，画像類似性リスト特定処理部１８の代わりに音類似性リスト特定処理部２５を備える。また変状情報記憶部１０における変状情報には，変状画像情報の代わりに変状音情報を備える。図１５に本実施態様における変状評価支援システム１のシステム構成の一例を模式的に示す。

音類似性リスト生成処理部２２は，特定の変状情報における変状音情報と，変状情報記憶部１０に記憶するほかの変状情報における変状音情報との類似性を判定し，類似性のリストを生成する。この類似性のリストは，特定の変状音情報に類似するほかの変状音情報が順位付けされたものであり，類似度の値が高い変状音情報が順にリスト化されている。この際に，変状ＩＤと，類似度の値とをリスト化して生成することが好ましいがそれに限定されない。

変状音情報同士の類似性の判定の方法にはさまざまな方法があるが，たとえばスペクトログラムを利用して音の特性抽出を行い，周波数の帯域，たとえば低域，中域，高域ごとに重みを与えて類似度の値を算出することで行える。

変状画像情報の場合と同様，変状音情報の場合にも，一般的にはその類似性の判定処理には多くの処理時間を要するため，あらかじめ後述の音類似性リスト記憶部２４に記憶させておくことが好ましい。

音特徴量記憶部２３は，音類似性リスト生成処理部２２において，特定の変状情報における変状音情報と，変状情報記憶部１０に記憶するほかの変状情報における変状音情報との類似度の値を算出する際の，各音情報の特徴量を記憶する。音の特徴量としては，たとえば局所特徴量が用いられるが，それに限定されない。

音類似性リスト記憶部２４は，変状情報記憶部１０に記憶する各変状情報における変状音情報の類似性のリストを記憶する。

音類似性リスト特定処理部２５は，あらかじめ設定された設定値より多い数の変状情報がある場合，音類似性リスト記憶部２４に記憶する音類似性リストを特定することで，処理対象となる変状音情報に類似するほかの変状音情報の順位付けの情報を取得する。

結合処理部１９は，共起性推薦順位リスト生成処理部１４で生成した共起性による推薦順位のリストと，音類似性リスト生成処理部２２で生成した音類似性のリストと，検索条件設定受付処理部１２で受け付けた結合比率の情報とに基づいて，ユーザに対して提供する，クエリ変状情報に類似度の高い変状情報の推薦順位のリストを生成する。

結合処理部１９においては実施例１の場合と同様に，
クエリ変状に対する類似度を示す値＝Ｔ×ｗ＋（ａ×Ｓ＋ｂ）×（１−ｗ）
で算出する。なお，上記の算出式において，Ｓは音の類似度を示す値である。

また，２つの分布において，分布の偏りを補正するため，分布を平滑化する関数ｆ１，ｆ２を導入することもできる。この場合，たとえば，
クエリ変状に対する類似度を示す値＝ｆ１（Ｔ）×ｗ＋（ａ×ｆ２（Ｓ）＋ｂ）×（１−ｗ）
で算出する。
また，クエリ変状に対する類似度を示す値＝ｍａｘ（ｆ１（Ｔ）×ｗ，（ｃ×ｆ２（Ｓ）＋ｄ）×（１−ｗ））
で算出してもよい。ｃは共起性に基づく分布に対する分散を揃えるための定数，ｄは共起性に基づく分布に対する平均を揃えるための定数である。

また実施例１および実施例２を組み合わせてもよい。すなわち，変状属性タグ情報の共起性に基づく共起性リストと，変状画像の類似性に基づくリストと，変状箇所の音情報の類似性に基づくリストとに基づいて処理を実行してもよい。

この場合，結合処理部１９は，共起性推薦順位リスト生成処理部１４で生成した共起性による推薦順位のリストと，画像類似性リスト生成処理部１５で生成した画像類似性のリストと，音類似性リスト生成処理部２２で生成した音類似性のリストと，検索条件設定受付処理部１２で受け付けた結合比率の情報とに基づいて，ユーザに対して提供する，クエリ変状情報に類似度の高い変状情報の推薦順位のリストを生成する。

結合処理部１９においては実施例１の場合と同様に，
クエリ変状に対する類似度を示す値＝Ｔ×ｗ１＋（ａ×Ｐ＋ｂ）×ｗ２＋（ｃ×Ｓ＋ｄ）×ｗ３
で算出する。なお，上記の算出式において，ｗ１は結合比率のうち共起性に対する重み，ｗ２は結合比率のうち画像類似性に対する重み，ｗ３は結合比率のうち音類似性に対する重みである。

また，２つの分布において，分布の偏りを補正するため，分布を平滑化する関数ｆ１，ｆ２，ｆ３を導入することもできる。この場合，たとえば，
クエリ変状に対する類似度を示す値＝ｆ１（Ｔ）×ｗ１＋（ａ×ｆ２（Ｐ）＋ｂ）×ｗ２＋（ｃ×ｆ３（Ｓ）＋ｄ）×ｗ３
で算出する。なお，ｆ３は音類似性に基づく分布を平滑化する関数である。
また，
クエリ変状に対する類似度を示す値＝ｍａｘ（ｆ１（Ｔ）×ｗ１，（ａ×ｆ２（Ｐ）＋ｂ）×ｗ２，（ｃ×ｆ３（Ｓ）＋ｄ）×ｗ３）
で算出してもよい。

実施例１乃至実施例３の別の実施態様として，変状に関する外的要因を示すタグ情報（変状外的要因タグ情報）を変状情報の一部に追加あるいは変状情報とは別に追加してもよい。外的要因とは，その変状が生じた環境や状況など，変状が生じた原因に関する情報である。たとえば「交通量」，「構造物の構造」，「建設年」などがある。この場合の変状情報の一例を図１６に示す。

共起性推薦順位リスト生成処理部１４においては，共起性の値の算出にあたり，上述のように変状属性タグ情報のほか，変状外的要因タグ情報に対してもその共起性の値を算出処理し，上述の変状属性タグ情報と同様に処理を実行してもよい。

変状外的要因タグ情報を用いることによって，変状に対する原因推定とそこから導き出される参考事例の提示を行うことができる。たとえば，「Ｘという変状が生じている理由は，交通量がＹ台／年を超えているためと考えられる」，「建設年がα年であり，β構造で作られていることから，γ年度建設基準に基づいて作られた構造物であることが分かる。したがって，変状δの原因はεである可能性が高い」といったことが，もっともらしさをもって推定され，「参考になるのはこの変状事例」とユーザに示すことができる。

実施例１乃至実施例４の別の実施態様として，ユーザの操作を記憶し，それに対する学習処理を行っても良い。この場合の実施態様の一例を図１７に示す。本実施態様においては，結合処理部１９が生成したクエリ変状に対する類似度を示す値のリストについて，ユーザの評価（実際にどれをどのくらい類似していると評価したか）を記憶することで，学習結果を反映させる場合を説明する。

ユーザ操作記憶部２６は，クエリ変状に対する類似度を示す値のリストについてユーザが行った操作を記憶する。ここで記憶するユーザの操作は，少なくともクエリ変状に対する類似度を示す値のリストに対する評価を示す操作であり，たとえば選択した変状情報，クエリ変状情報の変状属性タグ情報に対する入力，その入力した情報と一致するリストにおける変状情報などの情報を記憶する。すなわち，結合処理部１９が生成したリストに対する評価を示すユーザの操作であればどのようなものであってもよい。また，クエリ変状情報に対応づけてその操作内容を記憶していることが好ましい。どのようなクエリ変状情報に対して，どのような操作が行われたかを判定可能な形式で情報を記憶しているとよい。

そのため結合処理部１９では，変状属性タグ情報の共起性の値によるリスト，画像類似性リストおよび／または音類似性リストに基づいて，クエリ変状に対する類似度を示す値の算出処理を実行するにあたり，ユーザ操作記憶部２６に記憶したユーザの操作に基づくユーザの評価を利用した，共起性の値，画像類似性または音類似性の特性を変える関数ｇ１，ｇ２を導入してもよい。関数ｇ１は，ある特性を有する情報の共起性を強めるまたは弱める関数であり，関数ｇ２は，ある特性を有する情報の画像類似性，音類似性を強めるまたは弱める関数である。

たとえば，共起性と画像類似性を用いる場合には，
クエリ変状に対する類似度を示す値＝ｆ１（ｇ１（Ｔ））×ｗ＋（ａ×ｆ２（ｇ２（Ｐ））＋ｂ）×（１−ｗ）
によって算出できる。
この場合，
クエリ変状に対する類似度を示す値＝ｍａｘ（ｆ１（ｇ１（Ｔ））×ｗ，（ａ×ｆ２（ｇ２（Ｐ））＋ｂ）×（１−ｗ））
によって算出してもよい。
また，共起性と音類似性を用いる場合には，
クエリ変状に対する類似度を示す値＝ｆ１（ｇ１（Ｔ））×ｗ＋（ｃ×ｆ２（ｇ２（Ｓ））＋ｄ）×（１−ｗ）
によって算出できる。
この場合，
クエリ変状に対する類似度を示す値＝ｍａｘ（ｆ１（ｇ１（Ｔ））×ｗ，（ｃ×ｆ２（ｇ２（Ｓ））＋ｂ）×（１−ｗ））
によって算出してもよい。
さらに，共起性と画像類似性と音類似性を用いる場合には，
クエリ変状に対する類似度を示す値＝ｆ１（ｇ１（Ｔ））×ｗ１＋（ａ×ｆ２（ｇ２（Ｐ））＋ｂ）×ｗ２＋（ｃ×ｆ３（ｇ３（Ｓ））＋ｄ）×ｗ３
によって算出できる。
この場合，
クエリ変状に対する類似度を示す値＝ｍａｘ（ｆ１（ｇ１（Ｔ））×ｗ１，（ａ×ｆ２（ｇ２（Ｐ））＋ｂ）×ｗ２，（ｃ×ｆ３（ｇ３（Ｓ））＋ｄ）×ｗ３）
によって算出してもよい。

以上のような処理を実行することで，クエリ変状に対する類似度を示す値の算出処理の際に，いままでの処理結果に対するユーザの評価を反映させることができる。

上述の実施例１乃至実施例５では，共起性情報として，事象ｙが起こるという条件の下で別の事象ｘが発生する共起確率Ｐ（ｘ｜ｙ）を示す情報の場合を説明した。共起性情報としては，さらに，複合的な共起確率に基づいて処理を行えてもよい。すなわち，上記の事象ｙが２つ以上（ｙ１，ｙ２，・・・）の場合の複合的な事象の共起確率を用いてもよい。たとえば，構造種別名称（ｙ１）および損傷部位名称（ｙ２）であって，損傷項目名称（ｘ）が発生する共起確率を示す情報とする。

これを実施するためには，あらかじめ共起確率Ｐ（ｘ｜ｙ１，ｙ２）をベイジアンネットワークなどを用いて解析処理しておく方法がある。そしてこの共起確率を共起性情報として，上述の実施例１乃至実施例５と同様の処理を実行する。

また別の方法としては，Ｐ（ｘ｜ｙ１），Ｐ（ｘ｜ｙ２）をベイジアンネットワークなどを用いて解析処理しておく。そして，結合処理部１９における処理の際に，それぞれの共起性情報について実施例１乃至実施例５と同様の処理を実行し，結合処理部１９での結合処理の際に結合することで推薦順位リストを生成する。たとえば共起性情報としてＰ（ｘ｜ｙ１）の場合に結合処理部１９において推薦順位リスト（第１の推薦順位リスト）を生成し，また共起性情報としてＰ（ｘ｜ｙ２）の場合に結合処理部１９において推薦順位リスト（第２の推薦順位リスト）を生成する。そして，第１の推薦順位リストと第２の推薦順位リストを所定の重み付けによって結合する。これによって，最終的に表示処理部２０で表示させる推薦順位リストを生成する。

本実施例のように構成することで，より複雑な処理を行うことができる。

本発明の変状評価支援システム１を用いることによって，画像情報または音情報の類似性判定のリストと，変状情報におけるタグ情報の共起性判定のリストの双方に基づいて，処理対象として選択された変状情報に類似するほかの変状情報を，ユーザに提供することができる。そのため，従来よりも精度が向上した変状情報をユーザに提供できるので，ユーザは，推薦されたほかの変状情報に基づいて，処理対象とする変状情報との類否を判定することができ，変状箇所の有無，どのような種類の変状なのか，どの程度の損傷なのか，などの判断を容易かつ迅速に行える。また，過去に登録されている変状情報を参考にするので，判断のばらつきが抑えられる。

１：変状評価支援システム
１０：変状情報記憶部
１１：共起性情報記憶部
１２：検索条件設定受付処理部
１３：処理対象選択受付処理部
１４：共起性推薦順位リスト生成処理部
１５：画像類似性リスト生成処理部
１６：画像特徴量記憶部
１７：画像類似性リスト記憶部
１８：画像類似性リスト特定処理部
１９：結合処理部
２０：表示処理部
２１：確定情報入力受付処理部
２２：音類似性リスト生成処理部
２３：音特徴量記憶部
２４：音類似性リスト記憶部
２５：音類似性リスト特定処理部
２６：ユーザ操作記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims (13)

1. インフラストラクチャーの変状の評価を支援する変状評価支援システムであって，
   前記変状評価支援システムは，
   前記変状情報に対する共起確率である共起性情報を記憶する共起性情報記憶部と，
   処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部と，
   前記処理対象となる変状情報における変状画像情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状画像情報との画像類似性の判定処理を実行することで画像類似性リストを生成する画像類似性リスト生成処理部と，
   前記共起性による推薦順位のリストと，前記画像類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部と，
   を有することを特徴とする変状評価支援システム。
2. 前記変状評価支援システムは，さらに，
   前記変状情報の全部または一部を記憶する変状情報記憶部と，
   前記変状情報記憶部に記憶する変状情報における変状画像情報に対する画像類似性リストを記憶する画像類似性リスト記憶部と，
   前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合に，前記処理対象となる変状情報における変状画像情報に対する画像類似性リストを，前記画像類似性リスト記憶部に記憶する画像類似性リストから特定する画像類似性リスト特定処理部と，を有しており，
   前記共起性推薦順位リスト生成処理部は，
   前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合において前記画像類似性リスト特定処理部で特定した画像類似性リストにおける全部または一部の変状情報について，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する，
   ことを特徴とする請求項１に記載の変状評価支援システム。
3. インフラストラクチャーの変状の評価を支援する変状評価支援システムであって，
   前記変状評価支援システムは，
   前記変状情報に対する共起確率である共起性情報を記憶する共起性情報記憶部と，
   処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部と，
   前記処理対象となる変状情報における変状音情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状音情報との音類似性の判定処理を実行することで音類似性リストを生成する音類似性リスト生成処理部と，
   前記共起性による推薦順位のリストと，前記音類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部と，
   を有することを特徴とする変状評価支援システム。
4. 前記変状評価支援システムは，さらに，
   前記変状情報の全部または一部を記憶する変状情報記憶部と，
   前記変状情報記憶部に記憶する変状情報における変状音情報に対する音類似性リストを記憶する音類似性リスト記憶部と，
   前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合に，前記処理対象となる変状情報における変状音情報に対する音類似性リストを，前記音類似性リスト記憶部に記憶する音類似性リストから特定する音類似性リスト特定処理部と，を有しており，
   前記音類似性リスト特定処理部は，
   前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合，前記処理対象となる変状情報における変状音情報に対する音類似性リストを前記音類似性リスト記憶部から特定し，
   前記共起性推薦順位リスト生成処理部は，
   前記生成した共起性による推薦順位のリストにおける件数が設定値以内でない場合において前記音類似性リスト特定処理部で特定した音類似性リストにおける全部または一部の変状情報について，前記共起性情報記憶部に記憶する共起性情報を参照することで，共起性による推薦順位のリストを生成する，
   ことを特徴とする請求項３に記載の変状評価支援システム。
5. 前記共起性推薦順位リスト生成処理部は，さらに，
   前記生成した共起性による推薦順位のリストにおける件数が設定値以内の場合，前記共起性情報記憶部に記憶する共起性情報を参照して，未処理のうちでもっとも共起性の値が高い共起性情報を特定して候補を絞り込み，その件数が前記設定値以上になるまで反復することで，共起性による推薦順位のリストを生成する，
   ことを特徴とする請求項１から請求項４のいずれかに記載の変状評価支援システム。
6. 前記結合処理部は，
   前記共起性による推薦順位のリストと，前記画像類似性リストおよび／または前記音類似性リストとの尺度を揃え，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する，
   ことを特徴とする請求項１から請求項５のいずれかに記載の変状評価支援システム。
7. 前記結合処理部は，
   前記共起性による推薦順位のリストと，前記画像類似性リストおよび／または前記音類似性リストのうち，基準とするリストの分布を生成し，
   その基準となるリスト以外のリストについて，値の分布を生成し，
   基準となる分布とそれ以外のリストの分布の分散を合わせ，
   基準となる分布とそれ以外のリストの分布の平均を合わせる，ことにより尺度を揃える，
   ことを特徴とする請求項６に記載の変状評価支援システム。
8. 前記結合処理部は，
   前記共起性による推薦順位のリストと，前記画像類似性リストおよび／または前記音類似性リストに対する結合比率に基づいて結合処理を行う，
   ことを特徴とする請求項１から請求項７のいずれかに記載の変状評価支援システム。
9. 前記共起性推薦順位リスト生成処理部は，
   前記処理対象となる変状情報と前記共起条件とに基づいて，前記共起性情報記憶部に記憶する共起性情報を参照して，もっとも高い共起性の値で順位付けを行うことで前記共起性による推薦順位のリストを生成する，
   ことを特徴とする請求項１から請求項８のいずれかに記載の変状評価支援システム。
10. 前記変状評価支援システムは，さらに，
    前記前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストに対するユーザの操作を記憶するユーザ操作記憶部，を有しており，
    前記結合処理部は，
    前記ユーザ操作記憶部に記憶するユーザの操作情報を加味して前記前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する，
    ことを特徴とする請求項１から請求項９のいずれかに記載の変状評価支援システム。
11. インフラストラクチャーの変状の評価を支援する変状評価支援システムであって，
    前記変状評価支援システムは，
    処理対象となる変状情報における共起性による推薦順位のリストと，前記処理対象となる変状情報における変状画像情報の画像類似性リストおよび／または前記処理対象となる変状情報における変状音情報の音類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部，
    を有することを特徴とする変状評価支援システム。
12. コンピュータを，
    処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，共起性情報記憶部に記憶した前記変状情報に対する共起確率である共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部，
    前記処理対象となる変状情報における変状画像情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状画像情報との画像類似性の判定処理を実行することで画像類似性リストを生成する画像類似性リスト生成処理部，
    前記共起性による推薦順位のリストと，前記画像類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部，
    として機能させることを特徴とする変状評価支援プログラム。
13. コンピュータを，
    処理対象となる変状情報とあらかじめ受け付けた共起条件とに基づいて，共起性情報記憶部に記憶した前記変状情報に対する共起確率である共起性情報を参照することで，共起性による推薦順位のリストを生成する共起性推薦順位リスト生成処理部，
    前記処理対象となる変状情報における変状音情報と，前記生成した共起性による推薦順位のリストにおける変状情報の変状音情報との音類似性の判定処理を実行することで音類似性リストを生成する音類似性リスト生成処理部，
    前記共起性による推薦順位のリストと，前記音類似性リストとに基づいて，前記処理対象となる変状情報に類似度の高い変状情報の推薦順位のリストを生成する結合処理部，
    として機能させることを特徴とする変状評価支援プログラム。

Images