添付した図面を参照しながら、本発明の実施形態を説明する。以下に説明する実施例は、本発明をより理解しやすくするために用いられるものであって、本発明の技術的範囲を限定するものではなく、本発明の技術的範囲内において様々な態様に変更できることに注意されたい。以下の説明において、熱画像データは、熱画像AD値データ(たとえば、赤外線検出器の出力信号がAD変換された後に取得されるデータ)、赤外線熱画像の画像データ、温度値のアレイデータ、またはその他の熱画像AD値データに基づいて生成されるデータなどであってよい。
[実施例1]
実施例1は、熱画像装置13を熱画像診断装置とした実施例である。図1を参照しながら、実施例1に係る熱画像装置13の構成について説明する。図1は、本実施例に係る熱画像装置13の電気的構成を示すブロック図である。
熱画像装置13は、撮影部1、画像処理部2、表示制御部3、表示部4、通信I/F5、一時記憶部6、メモリカードI/F7、メモリカード8、フラッシュメモリ9、制御部10、操作部11を有する。制御部10は、コントロールおよびデータバス12を介して上記対応する各部と接続し、熱画像装置13の全体の制御を行う。制御部10は、たとえば、CPU、MPU、SOC、プログラマブルFPGAなどにより実現できる。
撮影部1は、図示しない光学部品、レンズ駆動部品、赤外線検出器、信号前処理回路などにより構成される。光学部品は、赤外線光学レンズにより構成され、受け取った赤外線放射を赤外線検出器にフォーカスさせる。レンズ駆動部品は、制御部10の制御信号に基づいてレンズを駆動することにより、フォーカスまたはズーミング操作を行う。また、光学部品をマニュアル調整することによりフォーカスまたはズーミング操作を行ってもよい。赤外線検出器は、たとえば冷却または非冷却タイプの赤外線焦点面アレイ検出器であり、光学部品を通過した赤外線放射を電気信号に変換する。信号前処理回路は、サンプリング回路、AD変換回路、定時トリガ回路などを含み、赤外線検出器から出力された電気信号に対して所定の周期内においてサンプリングするなどの信号処理を行い、AD変換回路によりデジタル熱画像データに変換する。当該熱画像データは、たとえば、14ビットまたは16ビットの2進データ(AD値とも称する)である。
画像処理部2は、撮影部1により取得した熱画像データに対して所定の処理を行う。画像処理部2の処理は、たとえば、編集、補間、疑似カラー、合成、圧縮、解凍など、表示用や記録用などに適合するデータに変換する処理である。画像処理部2は、撮影部1により撮影して取得した熱画像データに対して所定の処理を行って赤外線熱画像の画像データを取得する。たとえば、画像処理部2は、撮影部1により撮影して取得した熱画像データに対して不均一補正、補間などの所定の処理を行った後、さらに所定処理後の熱画像データに対して疑似カラー処理を行って赤外線熱画像の画像データを取得する。疑似カラー処理の一つの実施形態では、たとえば、熱画像データ(AD値)の範囲またはAD値の設定範囲に基づいて対応する疑似カラーパレットの範囲を確定し、熱画像データの疑似カラーパレットの範囲内における対応する具体的な色彩値を、赤外線熱画像における対応する画素位置の画像データとする。ここで、グレースケールの赤外線画像は、疑似カラー画像の一つの特例であるとみなすことができる。また、制御部10の記録指示に基づいて、画像処理部2は、熱画像データを所定の圧縮処理に従って圧縮し、圧縮後の熱画像データを取得する。その後、当該熱画像データは、メモリカード8などの記憶媒体に記録される。さらに、制御部10の制御に基づいて、画像処理部2は、画像処理に関連する各種の処理を行う。たとえば、画素数を増減させて画像データのサイズを変更する処理や画像データに対してカット処理を行う。画像処理部2は、DSP、その他のマイクロプロセッサ、またはプログラマブルFPGAなどによって実現できる。画像処理部2は、さらに、制御部10と一体化されてもよい。
表示制御部3は、制御部10の制御に基づいて、一時記憶部6に記憶された表示用の画像データを表示部4に表示させる。具体的には、表示制御部3は、VRAM、VRAM制御ユニット、信号生成ユニットなどを有し、制御部10の制御のもとで一時記憶部6から読み出してVRAMに記憶された画像データを、VRAMから定期的に読み出してビデオ信号を生成して出力し、表示部4に表示させる。熱画像装置13において、表示部4は、表示部の実施例である。これに限らず、表示部は、熱画像装置13と接続されるその他の表示装置であってもよく、熱画像装置13自体の電気的構成に表示部を有しなくてもよい。表示制御部3は、画像処理部2または制御部10と一体化されてもよい。
通信I/F5は、たとえば、USB、IEEE1394、ネットワークなどの通信規格に従って、熱画像装置13を外部装置と接続させ、データの交換を行うためのインターフェースである。外部装置は、たとえば、パーソナルコンピュータ、サーバー、PDA(個人用携帯情報端末装置)、その他の熱画像装置、可視光撮影装置、記憶装置などである。
一時記憶部6は、たとえば、RAM、DRAMなどの揮発性記憶装置であって、撮影部1から出力される熱画像データを一時的に記憶するバッファメモリである。また、一時記憶部6は、画像処理部2および制御部10の作業記憶装置としての役割も果たして、画像処理部2および制御部10により処理されるデータを一時的に記憶する。これに限らず、制御部10、画像処理部2などの処理装置内部に含まれている記憶装置またはレジスタなども一時記憶媒体の一例であるとみなすことができる。
メモリカードI/F7は、メモリカード8のインターフェースである。メモリカードI/F7には、書換えが可能な非揮発性記憶装置であるメモリカード8が接続されている。メモリカード8は、取付けおよび取り外しが自在となるように熱画像装置13の本体のスロット内に取付けられ、制御部10の制御に基づいて熱画像データなどのデータを記録する。
フラッシュメモリ9には、制御用プログラムおよび各部分の制御に使用する各種のデータが記憶されている。
操作部11は、使用者による操作に用いられる。制御部10は、操作部11の操作信号に基づいて、対応するプログラムを実行する。図2を参照しながら、操作部11について説明する。操作キーには、記録操作キー21、切換操作キー22、分析操作キー23、メニュー操作キー24、モード操作キー25、加工操作キー26、確認操作キー27、方向操作キー28、位置操作キー29および再生操作キー30などが含まれる。記録操作キー21は、記録の操作に用いられ、切換操作キー22は、切換えの操作に用いられる。分析操作キー23は、分析診断に関連する操作に用いられ、メニュー操作キー24は、他のモードからメニューモードへ遷移、またはメニューモードから他のモードへ遷移するための操作に用いられる。モード操作キー25は、他のモードから診断モードへ遷移、または診断モードから他のモードへ遷移するための操作に用いられ、加工操作キー26は、他のモードから加工モードへ遷移、または加工モードから他のモードへ遷移するための操作に用いられる。確認操作キー27は、確認の操作に用いられ、方向操作キー28は、メニュー項目などの選択に用いられる。再生操作キー30は、他のモードから再生モードへ遷移、または再生モードから他のモードへ遷移するための操作に用いられる。これに限らず、タッチパネル31または音声識別部品(不図示)などにより関連する操作を実現してもよい。
以下、本明細書における記憶媒体、参照画像、構成データ、形態構成データ、補助構成データ、分析領域、分析モード、診断規則、演算対象、加工対象、主対象、所定位置および所定サイズ、位置パラメータ、位置情報、自己適応領域、自己適応などの用語について解釈する。
記憶媒体は、たとえば、フラッシュメモリ9、メモリカード8などの非揮発性記憶媒体、一時記憶部6などの揮発性記憶媒体といった熱画像装置13内の記憶媒体であってよい。また、記憶媒体は、熱画像装置13と有線または無線により接続されるその他の記憶媒体であってもよい。たとえば、通信I/F5を介して有線または無線により接続されて通信するその他の装置(その他の記憶装置、熱画像装置)、コンピュータなどに含まれる記憶媒体またはネットワークの目的地の記憶媒体であってもよい。なお、構成データなどのデータは、熱画像装置13内または熱画像装置13と接続する非揮発性記憶媒体(たとえば、フラッシュメモリ9)に予め記憶されていることが好ましい。
被写体の形態特徴を表す参照画像は、たとえば、図5に示す参照画像と赤外線熱画像とが共同表示される画像である。図501において示される参照画像TU1(半透明)は、被写体の模様を表し、さらに被写体の輪郭も表している。このため、比較的に生々しく、理解しやすい。このような参照画像は、たとえば、被写体の可視光画像、赤外線熱画像、予め描かれた模様および輪郭などの特徴を含む画像であり、通常は半透明に表示される。図502において示される参照画像T1(エッジ輪郭画像、不透明または半透明であってよい)および図503において示される参照画像W1(模様画像、不透明または半透明であってよい)では、重畳位置以外のその他の画素位置を全透明の赤外線熱画像に表示している。形態特徴は、被写体全体または局部の形態特徴であってよい。
構成データは、参照画像、分析領域などに関連する構成データであり、ベクトル図形データ、アレイデータ、またはベクトル図形データおよびアレイデータをともに含むデータであってよい。アレイデータは、たとえば、アレイ画像データ、熱画像データなどのアレイデータであってよい。構成データは、形態構成データおよび補助構成データに分けられる。図5に示すような被写体形態特徴を表す参照画像を取得するための構成データは、形態構成データと称される。形態特徴を表す参照画像は、一つまたは複数の形態構成データ、または形態構成データと補助構成データの結合により取得される。形態特徴を表す参照画像を取得するための構成データは、一つまたは一つ以上であってよく、少なくとも一つの形態構成データを含む。
補助構成データは、本実施例では、形態構成データ以外の構成データである。補助構成データの役割は、たとえば、分析領域の生成に用いられる。図6に示すような分析領域F1は、既存技術により設置した分析領域であるが、単独で使用する際には、撮影における参照性が弱い。また、記録処理において、熱画像データと関連付ける補助構成データは、形態構成データのデータ量が比較的に大きいため、参照画像と所定の位置関係を有する補助対象の補助構成データを記憶することは記憶データ量を減少できる。補助構成データにより取得される対象が分析領域を表す場合、当該記憶方式は、その後のバッチ処理に役立つ。
形態構成データおよび補助構成データにより参照画像を取得することが好ましい。図7に示すように、輪郭画像T1および分析領域F1と赤外線熱画像との共同表示を提供することにより、T1の参照効果が向上され、F1の参照性が弱いという欠点が避けられる。
本実施例において、記憶媒体には少なくとも一つの形態構成データが記憶されている。構成データは、一つの構成データを一つのファイル(たとえば、データファイル、熱画像ファイル、画像ファイル、図形ファイルなど)に対応する形式で記憶媒体に記憶される。また、構成データは、外部のコンピュータにより生成された後、記憶媒体に記憶されたものや、熱画像装置13により撮影した熱画像データなどを所定処理した後に取得して、記憶媒体に記憶させるものであってもよい。さらに、データベースの形態により構成データを記憶し、構成データを特定のフィールドに対応するデータとして記憶してもよい。また、複数の構成データを一つのデータファイルに記憶してもよい。好ましくは、補助構成データは、予め形態構成データと関連付けられて記憶媒体に記憶され、かつ、記憶媒体には、補助構成データおよび形態構成データにより取得した対象間の所定の位置関係を記憶される。ここで、補助構成データを形態構成データの一つの属性に係るデータとすることもできる。
分析領域は、赤外線熱画像における分析すべき部位に対応し、例えば、点、線、面などの領域ユニット、または複数の領域ユニットの組合せである。本実施例では、形態構成データまたは補助構成データにより分析領域を取得できる。好ましくは、予め記憶媒体に記憶された構成データにより分析領域を確定する。また、加工対象と加工アルゴリズムの組合せを指定することや、演算対象を指定して、所定のアルゴリズムに従って演算することにより分析領域を取得してもよい。
図3に示す表(以下、表3とも称する)を参照しながら、記憶媒体に記憶される構成データの一つの実施形態について説明する。当該実施形態では、記憶媒体には、複数の被写体情報および各被写体情報に関連付けられた一つの形態構成データが記憶されている。複数の被写体情報および各被写体情報に対応する形態構成データ(T1構成データ、T2構成データなど)は、表3を介して関連付けられている。また、表3に形態構成データの索引情報(たとえば、ファイル名など)を記憶することにより関連付ける形態であれば、記憶媒体には索引情報(たとえば、ファイル名など)に対応する形態構成データのファイルもさらに記憶される。被写体情報は、被写体に関連する情報であり、たとえば、被写体の場所、類型、番号、名称などを示す情報のうちの一つまたは複数の組合せである。表3において、一部異なる被写体情報(たとえば、表3における被写体2、被写体3)は、同じ構成データに関連付けられている。赤外線検出の場合、同じ外形を有する異なる被写体が大量に存在することがよくある。表3に示すような被写体情報と形態構成データとを関連付ける形態を採用して構成データを記憶すれば、使用者は、現場において認知した被写体情報に基づいて選択利用を便利にでき、構成データを間違って選択利用することによる戸惑いを避けることができ、データの冗長も低減できる。
図4に示す表(以下、表4とも称する)を参照しながら、記憶媒体に記憶される構成データの他の一つの実施形態について説明する。当該実施形態では、記憶媒体には、複数の被写体情報および各被写体情報に関連付けられた複数の構成データが記憶されている。表4に示すように、複数の被写体情報に関連付けられた複数の構成データ(形態構成データの類型:基準1、基準2、補助構成データの類型:補助1)、補助1構成データにより分析領域を取得する際の「分析モード1」の分析モード情報、各類型構成データにより分析領域を取得する際の「分析モード2」の分析モード情報、「分析モード1」に対応する「診断規則1」、「分析モード2」に対応する「診断規則2」は、表4を介して関連付けられる。また、記憶媒体には、同一被写体情報に関連付ける各構成データにより取得される対象間の所定の位置関係情報(図示せず)も記憶される。構成データにより取得される対象は、たとえば、構成データにより取得される参照画像、または分析領域を表す特定の点、線、面であり、所定の位置関係は、所定の相対位置関係を指す。具体的には、たとえば、記憶の初期状態(変位、縮小拡大、回転が発生していない状態)において、同一被写体情報に関連付ける基準2、補助1類型の構成データにより取得される対象がそれぞれ基準1類型の構成データにより取得される対象に相対する位置情報(座標位置、または、サイズ、回転角度などの情報をさらに含む)である。また、所定の位置関係は、各類型の対象がそれぞれ同一参照系における(たとえば、赤外線熱画像における)位置情報(座標位置、または、サイズ、回転角度などの情報をさらに含む)を記憶する表現形式であってもよい。表4において、所定の位置関係の情報を構成データの一つの属性としてもよい。また、所定の位置関係の情報を個別に記憶してもよい。また、表4に構成データの索引情報(たとえば、ファイル名など)を記憶することにより関連付ける形態であれば、記憶媒体には、索引情報(たとえば、ファイル名など)に対応する構成データのファイルもさらに記憶される。表4において、各種構成データは、所定の類型に従って、分類されて記憶される。たとえば、構成データにより取得される対象の表示効果に従って分類でき、基準1は輪郭に対応し、基準2は予め加工される赤外線熱画像(たとえば、局部の標準被写体熱画像)にし対応し、補助1は重点注目領域に対応する。これに限らず、撮影用途、データ類型(ベクトル図形データ、アレーデータ)などに従っても分類できる。なお、分類は、一つの構成データに限らず、複数の構成データの組合せに対しても分類できる。さらに、表4の実施形式に限らず、記憶媒体の中に図形ファイル、画像ファイル(たとえば、ファイル名に対応する被写体情報を含む)の形式により構成データを記憶することや、ファイルフォルダを利用してこれらのファイルに対して分類することもできる。
表4のような実施形態では、同一被写体情報に関連付ける構成データにより取得される対象間の所定の位置関係情報を予め記憶媒体(フラッシュメモリ9)に記憶する。しかしながら、記憶しなくてもよい。たとえば、使用者により対象間の所定の位置関係を与えることや、熱画像装置13のデフォルト位置規則により対象間の所定の位置関係を与えてもよい。また、演算により取得される構成データおよび加工により取得される構成データとその他の対象との間の所定の位置関係、指定対象を演算および/または加工することにより取得される構成データと指定対象との間の所定の位置関係については、対応する演算規則、加工規則により決定してよい。たとえば、輪郭を縮小拡大し、変形した後に取得される分析領域と輪郭との所定の位置関係は、縮小拡大および変形の基準点、縮小拡大および変形の比率により決定できる。以下において、構成データにより取得される対象間の所定の位置関係を構成データ間の所定の位置関係とも称する。
対象(または構成データ)間の所定の位置関係に基づいて、二つの対象を例にすると、一つの対象の赤外線熱画像における位置パラメータ(位置、またはサイズ、回転角度をさらに含む)に基づいて、両者間の相対的な所定の位置関係を変えずに保持することで、他の一つの対象の赤外線熱画像における位置パラメータ(位置、またはサイズ、回転角度をさらに含む)を設置できる。たとえば、そのうちの一つが変位する際、他の一つの対象も同じく変位することで両者間の相対位置が変わらないことを維持する。また、そのうちの一つのサイズが縮小拡大される際、他の一つの対象も同じ基準点に基づいて同じく縮小拡大され、両者間のサイズの比率関係が変わらないことを維持する。さらに、そのうちの一つが一定角度回転される際、他の一つの対象も同じ基準点に基づいて同じ角度を回転して、両者間の相対回転角度が変わらないことを維持する。特殊の場合として、たとえば、一つの対象は他の一つの対象に対応する特徴点(特徴座標点)である。この場合、他の一つの対象が変位されると、当該特徴点もともに同じく変位される。他の一つの対象が基準点に相対して縮小拡大されると、当該基準点を座標原点にして、特徴点が縮小拡大された後に当該縮小拡大の基準点に相対する座標(X2、Y2)は、特徴点が縮小拡大される前に当該縮小拡大の基準点に相対する座標(X1、Y1)に縮小拡大比率Sを乗じた座標(X1*S、Y1*S)と等しい。他の一つの対象が角度P(たとえば、反時計回り)回転されると、特徴点も同一の回転基準点に基づいて、同じ角度回転する。特徴点が回転された後に当該回転基準点に相対する座標(X2、Y2)と、特徴点が回転される前に当該回転基準点に相対する座標(X1、Y1)との関係は、(X2、Y2)=(X1cosP−Y1sinP、Y1cosP−X1sinP)である。
分析モードは、分析領域により決定される熱画像データに基づいて、所定の分析を行うことにより取得される分析結果において利用される分析演算規則である。温度値の演算を例にすると、最高温度、平均温度、最低温度、パーセンテージなどを演算すること、さらには、温度差などのような各領域ユニット間の演算関係である。ただし、温度値の演算に限らず、熱画像データまたは赤外線熱画像に関連する各種分析の分析演算規則であってもよい。
好ましくは、分析モードに関連する分析モード情報は、予め対応する構成データと関連付けて記録媒体に記憶され、当該構成データにより分析領域を取得する際に使用される(関連付けの形態の一つとして、分析モードまたは診断規則を当該構成データの属性情報としてさらに含むこともできる)。これにより、複雑な分析領域の用意および分析モードの分析を便利にでき、操作も簡単である。異なる被写体情報に対して、分析モード情報は、同じまたは異なる構成データに応じて異なってもよい。図4に示すように、構成データ類型「補助1」に関連付ける「分析モード1」は、被写体1の分析モード1の情報に対しては、領域ユニットS01の最高温度およびS02の最高温度(F1構成データにより取得される分析領域F1、領域ユニットS01、S02を有する)、並びにS01とS02との最高温度の温度差の演算である。一方、被写体2の分析モード1の情報(F2モード情報)は、領域(F2構成データにより取得される分析領域F2)内の平均温度および最高温度、並びに最高温度と平均温度との温度差の演算である。異なる被写体情報に対して、分析モード情報は、同じまたは異なる構成データに対して通用するものであってもよい。たとえば、分析モード2の情報は、演算により確定される構成データにより取得される分析領域内の最高温度と平均温度、並びに最高温度と平均温度との温度差であり、表4におけるすべての構成データに通用され、各類型の構成データが関連付ける分析モードである。
診断規則は、診断部が熱画像分析部により取得される分析結果に基づいて、所定の診断規則に従って診断し、診断結果の取得に用いられる。好ましくは、分析モードと関連付ける診断規則に基づいて診断する。たとえば、分析に関連する分析モードに対応する分析モード情報と予め関連付けて記憶された診断規則情報に基づいて、診断規則を取得して診断を行う。
分析モード1に関連付ける診断規則1を例にすると、診断規則1の情報(F1診断規則)には、分析モード1(F1分析モード)に対応する少なくとも一つの診断比較関係および診断閾値が含まれる。さらに、電力業界であれば、診断の結論を直接得ることを期待するため、被写体の正常、要注意、欠陥との三つ(一つまたは三つ以上であってもよい)の状況に対しては、それぞれに対応する診断閾値および結論を有する。被写体1の診断規則1(F1診断規則)を例にすると、
1)正常:S01とS02との最高温度の差は2℃より小さい(正常:S01MAX−S02MAX<2℃またはS02MAX−S01MAX<2℃);
2)要注意:S01とS02との最高温度の差は4℃以下で、2℃以上(要注意:2≦S01MAX−S02MAX≦4℃または2≦S02MAX−S01MAX≦4℃);
3)欠陥:S01とS02との最高温度の差が4℃より大きい(欠陥:S01MAX−S02MAX>4℃またはS02MAX−S01MAX>4℃);
当然ながら、同一の分析モードには、一つまたは複数の診断規則が対応されうる。好ましくは、分析モードは、対応する診断規則と関連付けて記憶される。さらに、診断規則には、結論に対応する診断根拠、詳細な欠陥類型、欠陥レベル、処理提案などが関連付けられていてもよい。一方、分析モード2に関連付ける診断規則2では、分析領域における最高温度と平均温度との温度差が3℃より小さければ正常で、それ以外は欠陥である。分析モード2および診断規則2は、被写体情報、構成データなどと関連付けて表4に記憶しなくてもよく、熱画像装置13の記憶媒体に記憶させ、通用の分析モードおよび診断規則とすることもできる。
診断処理の具体例をいうと、制御部10(診断部として)は、分析により取得した分析結果に基づいて、分析モードに対応する診断規則における診断閾値と比較し、当該診断閾値および分析結果を診断規則における比較関係に依拠して、診断結果を取得する。診断結果の出力は、制御信号であってよい。たとえば、制御部10は、通知制御部として、表示部品などを介して文字または画像(赤外線熱画像、参照画像などを含む)の表示を変化させたり、指示ランプに光を生成させたり、音声案内、振動などを制御する。なお、使用者が感知できる方法であればよい。好ましくは、表示部4を制御して診断結論を表示する。さらに、診断と関連する診断閾値、診断根拠、欠陥類型、欠陥レベル、処理提案などを文字など使用者が感知できる形態により通知してもよい。この場合、これらの関連するデータと診断規則のデータとを関連付けて記憶する。
加工対象は、所定の加工規則に従って、加工処理により取得できる形態構成データである。加工対象は、予め記憶媒体に記憶される形態構成データであってよい。たとえば、加工対象は、表4に示すような「基準1」、「基準2」が表す形態構成データ、メモリカード8に記憶される熱画像ファイル、撮影により取得する熱画像データであってよい。加工対象および加工規則は、予め配置されたものであってよい。好ましくは、加工規則には、少なくとも加工対象に対して、「切取り」、「閾値範囲抽出」、「エッジ抽出」のうち一つまたは一つ以上の画像処理を行うことが含まれる。加工とは、たとえば、加工対象に対して、切取り、特徴抽出(たとえば、閾値範囲抽出、エッジ抽出)、強化、フィルタリング、疑似カラー、色彩調整などの所定の画像処理のうちの一つまたは一つ以上を行うことである。
切取りでは、加工対象の切取り領域におけるデータを抽出する。
閾値範囲抽出では、加工対象の閾値範囲におけるデータを抽出する。閾値範囲の表現形式は、たとえば、熱画像データAD値範囲、赤外線熱画像のカラーパッチ範囲、温度の閾値範囲、グレースケール範囲、輝度範囲、色彩範囲などであってよい。また、閾値範囲は、予め記憶された閾値範囲、使用者により設置および調整された閾値範囲であってよい。閾値範囲抽出の役割は、たとえば、赤外線熱画像(加工対象)における温度帯または色帯を抽出することにより形態構成データを取得し、可視光画像(加工対象)における特定色の画素を抽出することにより形態構成データを取得し、熱画像データ(加工対象)における特定AD値の画素を抽出することにより形態構成データを取得することである。
エッジ抽出処理では、所定のアルゴリズムに従って、加工対象に基づいてエッジ輪郭のデータを抽出する。たとえば、所定の閾値範囲に従って、赤外線熱画像(加工対象)を二値化する。ここで、所定の閾値範囲は予め記憶される閾値範囲であってよく、二値画像を表示してもよい。また、手動により二値化閾値範囲を設定してもよい。閾値範囲は、熱画像データAD値範囲、温度の閾値範囲、グレースケールの範囲、カラーパッチの範囲などである。続いて、二値化処理後の画像に対して、領域を結合する処理を行い、結合領域に対してエッジ検出処理を行ってエッジ輪郭データを取得する。さらに、取得したエッジ輪郭データに対してベクトル化する処理を行ってもよい。その他の加工処理方法については、その分野における熟練方法を採用できるため、ここでは詳細な説明を省略する。
演算対象は、所定の演算規則に従って、演算処理により取得できる補助構成データである。演算対象は、たとえば、表4に示される「基準1」、「基準2」、「補助1」のうちの一つまたは複数であってよい。演算規則には、少なくとも演算対象に対する縮小拡大、変形、分割、等分、外接矩形の演算、内接矩形の演算、中心線の演算、特徴点の演算、包絡線のうちの一つまたは一つ以上が含まれる。また、使用者は、表示部4に表示される参照画像または合成対象に対する選択に基づいて、演算対象を指定できる。さらに、使用者により設置、与えられる参照画像と所定の位置関係を有する点、線、面の構成データから演算対象を指定できる。
所定位置および所定サイズは、参照画像の赤外線熱画像における位置及びサイズで、または、回転角度をさらに含む。具体的には、表示部(表示スクリーン)の座標系における所定位置および所定サイズのパラメータ(ただし、赤外線熱画像表示ウィンドウにおける)であってもよいし、赤外線熱画像表示ウィンドウにおける赤外線熱画像の座標系内の所定位置および所定サイズのパラメータであってもよい。さらに、位置設置部(制御部10)が参照画像の赤外線熱画像における位置のみを設置し、デフォルトとして元のサイズにより表示する場合も、所定位置および所定サイズを設置したとみなすことができる。
位置パラメータは、形態特徴を示す参照画像については、参照画像の赤外線熱画像における所定位置および所定サイズを指し、分析領域については、分析領域の赤外線熱画像における位置(たとえば、分析領域が点である場合)を指す。位置パラメータは、サイズ、回転角度をさらに含むこともできる。本実施例における位置パラメータは、具体的には、表示部(表示スクリーン)の座標系における位置パラメータ(ただし、赤外線熱画像表示ウィンドウにおける)であってもよいし、赤外線熱画像表示ウィンドウにおける赤外線熱画像の座標系内の位置パラメータであってもよい。
位置情報は、たとえば、構成データと関連付ける位置情報であり、位置パラメータであってもよいし、位置パラメータを取得する規則であってもよい。
主対象は、所定の位置関係を有する構成データが複数(たとえば、参照画像を関連する)である場合、そのうちの一つまたは複数の構成データにより取得される対象から指定された対象である。主対象が指定されると、位置設置部は、主対象の赤外線熱画像における位置パラメータを設置した後、その他の対象と主対象との所定位置関係および主対象の赤外線熱画像における位置パラメータに基づいて、その他の対象の赤外線熱画像における位置パラメータを設置する。
自己適応領域は、赤外線熱画像における所定領域である。たとえば、本実施例では、赤外線熱画像において、サイズが赤外線熱画像の90%で、センタリングのウィンドウ領域Z1を自己適応領域とする。
自己適応とは、自己適応対象が自己適応領域の指定位置(または所定の回転角度をさらに含む)において、自己適応領域から溢れ出ず、縦横比が固定のまま最大に縮小拡大されて自己適応後のサイズを取得し、自己適応対象の赤外線熱画像における所定位置および所定サイズを取得する位置設置実施形態である。自己適応対象がZ1においてセンタリングされ、自己適応する具体的実施形態を例にして説明すると、自己適応領域Z1(サイズは、X1、Y1)と自己適応対象(自己適応対象の元のサイズは、X2、Y2)とのX軸、Y軸の比を演算し、X1/X2およびY1/Y2のうち比較的小さい値を選択して、これを自己適応対象がセンタリングされる場合における自己適応対象の中心点に基づく縮小拡大の倍率として、自己適応対象の赤外線熱画像における位置パラメータを取得する。自己適応対象は、たとえば、分析領域、参照画像である。自己適応により位置パラメータを設置すれば、分析領域、参照画像の赤外線熱画像における位置パラメータの標準化および調整を便利にできる。以下の実施例において、自己適応は、全て自己適応対象がZ1でセンタリングされて自己適応されることを例にする。
合成対象は、異なる表示制御の実施形態に基づいて、赤外線熱画像と共同に表示される参照画像で、たとえば、一つまたは複数の赤外線熱画像などと合成する合成対象であってよい。一つの合成対象は、一つまたは複数の構成データから取得されうる。複数の合成データから一つの合成対象を取得する場合、位置設置部は、当該合成対象の赤外線熱画像における所定位置および所定サイズのみを設置でき、各構成データから取得される対象の赤外線熱画像における位置パラメータを個別に設置しなくてもよい。一方、参照画像に複数の合成対象が含まれる場合、位置設置部は、各合成対象の赤外線熱画像における位置パラメータを個別に設置できる。
以下では、実施例1における具体的操作および制御フローについて詳細に説明する。フラッシュメモリ9には、たとえば、図4に示したような内容が記憶されている。本応用のシーンでは、たとえば変電所の被写体を撮影する。電源がONされた後、制御部10は、内部電気回路の初期化を行ってから撮影待ちモードへ遷移する。すなわち、撮影部1は、撮影により熱画像データを取得し、画像処理部2は、撮影部1により撮影して取得した熱画像データに対して所定の処理を行って、一時記憶部6に記憶する。制御部10は、表示制御部3を制御することにより、動的画像の形式で赤外線熱画像を表示部4に連続表示させる。この場合において、制御部10は、所定の操作に従って他のモードの処理への切換えまたはシャットダウン操作が行われたか否かを監視し続ける。制御部10は、他のモードの処理への切換えまたはシャットダウン操作が行われる場合、対応する処理を行うように制御する。
使用者によりメニュー操作キーが押されると、メニューモードへ遷移し、表示部4には、図9に示すようなメニューが表示される。いずれかのメニューが選択されると、対応する配置インターフェースが表示される。制御部10および操作部11などは配置部を構成し、制御部10は使用者の操作信号に応答して、対応する表示制御を行う。
図10に示す配置インターフェースを参照しながら、「対象加工CD1」メニューについて説明する。当該メニューは、使用者による加工対象および加工規則の設置(増加、編集、削除)に用いられる。
構成データCD11には、選択に供される構成データの情報が表示される。選択に供される構成データの情報は、たとえば、表4から取得される「基準1」、「基準2」の類型情報である。また、たとえば、指定された加工対象類型と特定の加工規則の結合により表される構成データの類型情報のようなその他の類型情報がある場合、これも選択に供される類型情報として表示される。
加工対象CD12は、使用者による加工対象としての構成データの選択に用いられる。当然ながら、一つまたは複数の形態構成データを加工対象として選択できる。
加工規則CD13は、使用者による加工対象に対する加工規則の設置に用いられる。加工規則には、加工アルゴリズムおよび関連するパラメータが含まれる。加工アルゴリズムを選択する際、確認操作キーを長押しすると、パラメータ入力に供されるパラメータ欄が表示される(図示せず)。
図11に示す配置インターフェースを参照しながら、「対象演算CD2」メニューについて説明する。当該メニューは、使用者による演算対象の選択および演算規則の設置(増加、編集、削除)に用いられる。
構成データCD21には、選択に供される構成データの情報が表示される。選択に供される構成データの情報は、たとえば、表4から取得される「基準1」、「基準2」、「補助1」の類型情報である。また、たとえば、指定された演算対象類型と特定の演算規則の結合により表される類型情報、指定された加工対象類型と特定の加工規則の結合により表される類型情報「基準1(加工)」のようなその他の類型情報がある場合、これも選択に供される類型情報として表示される。
演算対象CD22は、使用者による演算対象の選択に用いられる。当然ながら、一つまたは複数の形態構成データを演算対象として選択でき、また、加工対象を加工することにより取得される構成データを演算対象として選択できる。
演算規則CD23は、使用者による演算対象に対する演算規則の選択および設置に用いられる。演算規則には、アルゴリズムおよび関連するパラメータが含まれる。アルゴリズムは、たとえば、縮小拡大、変形、特徴点演算、等分、外接矩形、内接矩形、中心線、包絡線などのアルゴリズムを含む。パラメータは、たとえば、縮小拡大の基準点および倍率、変形の基準点および変形比率(たとえば、縦横比など)、特徴点(たとえば、輪郭の中心点を演算する)演算用パラメータ、特徴点に基づいて設置される構成データの類型(たとえば、点、線、面など)およびサイズ、等分の数等といったアルゴリズムに関連するパラメータを含む。アルゴリズムが選択された際に、確認操作キーが長押しされると、パラメータの入力に供されるパラメータ欄が表示される(図示せず)。選択された演算対象に対して、一つまたは複数の演算規則を選択できる。
図12を参照しながら、演算および/または加工により分析領域などを取得する作用および効果について説明する。
図12(101)には、輪郭T1構成データを演算対象とし、輪郭T1の中心点を基準点として縮小拡大、変形した後に取得される分析領域F101が示されている。分析領域F101は、被写体本体の所定領域における温度分布の分析、演算に用いられ、評価に対する周囲環境の影響を減らせる。
図12(102)には、輪郭T1構成データを演算対象とし、アルゴリズムパラメータを8等分とした場合に取得される8等分の分析領域F102が示されている。分析領域F102は、被写体本体の異なる部分における温度分布の分析に用いられる。
図12(103)には、輪郭T1構成データを演算対象とし、アルゴリズムパラメータを外接矩形の演算とした場合に取得される外接矩形F103が示されている。外接矩形F103は、被写体における最高温度の分析、測定に用いられ、バックグラウンドにおける高温物体の影響を減らせる。
図12(104)には、TU1(TU1は、局部の赤外線熱画像である)構成データを加工対象とし、加工規則をエッジ輪郭抽出とした場合に取得されるエッジ輪郭の分析領域F104が示されている。エッジ輪郭の分析領域F104は、被写体における最高温度の分析、測定に用いられ、バックグラウンドにおける高温物体の影響を減らせる。
図12(105)には、TU1(TU1は、局部の赤外線熱画像である)構成データを加工対象とし、加工規則を所定温度閾値以上の画素点の抽出(閾値範囲抽出)とした場合に取得される分析領域F105が示されている。分析領域F105は、被写体の特徴部位に対する分析、演算に用いられる。
当然ながら、指定対象を加工および/または演算することにより構成データを取得できる。また、「対象加工CD1」および「対象演算CD2」の配置メニューは、一つの配置インターフェースに併合でき、指定対象(たとえば、図4における予め記憶される構成データ、メモリカード8における熱画像ファイル、撮影して取得した熱画像データなど)に対して一つまたは複数の加工規則を選択でき、および/または、一つまたは複数の演算規則を選択できる。加工および/または演算は、いずれも指定対象に対する処理といえる。さらに、関連する加工規則または演算規則のみを配置し、特定の構成データと関連付けしなくてもよい。たとえば、デフォルトの配置としては、その後に選択される構成データに適用できる。
図13に示す配置インターフェースを参照しながら、「診断配置CD3」の配置について説明する。
「診断配置CD3」は、診断モードにおける非切換え状態で、使用者による参照画像および分析領域に関連する構成データの所定指定類型、位置規則、合成パラメータ、分析モード、診断規則などの設置に用いられる。
構成データCD31は、選択に供される構成データの情報を表示する。選択に供される構成データの情報は、たとえば、表4から取得される「基準1」、「基準2」、「補助1」のような類型情報である。また、その他の類型情報、たとえば、「対象加工CD1」において設置される加工対象類型と特定の加工規則との結合に対応する「基準1(加工)」の類型情報や、「対象演算CD2」において設置される演算対象類型と特定の演算規則との結合に対応する「基準1(演算)」の類型情報がある場合、これらも選択に供する類型情報として表示する。
参照画像CD32は、使用者による参照画像の取得に用いる構成データの選択に用いられる。一つまたは複数の構成データを選択して参照画像を取得できる。本実施例では、各構成データにより取得される対象を全て一つの合成対象とする。すなわち、複数の構成データを選択した場合、参照画像は、複数の合成対象を含む。また、参照画像CD32を選定して確認操作キーを長押しすることにより、選択された構成データの一部または全部を一つの合成対象(図示せず)とすることができる。
位置規則CD33は、使用者による参照画像、分析領域などの赤外線熱画像における位置パラメータに関連する位置規則の配置に用いられる。
主対象は、主対象を取得するための構成データの選択に用いられる。図13に示すように、主対象は、構成データCD31から選択でき、参照画像などの構成データにより取得される主対象であってよい。すなわち、主対象の取得に用いられる構成データは、たとえば、所定の位置関係を有する形態構成データ、形態構成データと関連付けられる構成データのうちの一つもしくは複数であってよい。また、形態構成データまたはそれに関連付けられる構成データから指定される演算対象と所定の演算規則との結合に基づいて主対象を取得でき、または、形態構成データから指定される加工対象と所定の加工規則との結合に基づいて主対象を取得できる。通常、設置される主対象は、重点的に観察すべき領域を表している。主対象を変更することによって、参照画像の異なる表示位置における変更を実現でき、異なる撮影目的を実現できる。また、使用者は、表示部4に表示される参照画像(合成対象の一つまたは複数)を主対象として選択してもよい。
主対象が指定されると、その他の対象と主対象との間の所定の位置関係および主対象の赤外線熱画像における位置パラメータに基づいて、その他の対象の赤外線熱画像における位置パラメータを設置する。主対象を指定しない場合、「参照画像CD32」、「分析領域CD35」において選択される構成データにより取得した対象は、各自の位置規則に従ってその位置パラメータが設置される。
位置規則のうち、「自己適応」は、自己適応処理の位置の設置形態の配置および自己適応対象の指定に用いられる。自己適応を選定した後、確認操作キーを長押しすると、自己適応領域の赤外線熱画像における位置、サイズ、回転角度、および自己適応対象の自己適応領域における位置と回転角度を設置できる。本実施例では、赤外線熱画像の90%大きさのセンタリングウィンドウ領域を自己適応領域(以下はZ1と称する。)として設置する。自己適応対象はZ1内において、自己適応的にセンタリングされる。自己適応対象は、構成データCD31から選択できる。
位置規則のうち、「指定位置」は、選択された構成データにより取得される対象の赤外線熱画像における位置パラメータの配置に用いられる。使用者が「指定位置欄」を選定すると、入力欄(図示せず)を表示する。使用者は、選択される構成データにより取得される対象の赤外線熱画像における位置、サイズ、回転角度などを入力できる。何も入力しない場合には、たとえば、デフォルトとして、位置起点が赤外線熱画像の左上隅で、サイズが元のサイズで、回転角度がゼロであるとする。
位置規則のうち、「関連付け」は、当該項目が選択されると、選択された構成データに予め関連付けられている位置情報に基づいて、当該構成データにより取得される対象の赤外線熱画像における位置パラメータを取得する。
合成パラメータCD34は、選択された構成データにより取得される参照画像と赤外線熱画像との合成パラメータの設置に用いられる。合成パラメータは、たとえば、透明度比率、色彩、線型(図示せず)、参照画像に複数の合成対象が含まれる場合の合成順序など、または構成データに関連づけられる合成パラメータである。
分析領域CD35は、使用者による分析領域の類型の配置に用いられる。使用者は、構成データCD31から分析領域の取得に用いる構成データを選択できる。また、「分析領域CD35」を選定して、確認操作キーを長押しすると、図15に示す設置インターフェースが表示される。当該設置インターフェースは、使用者による参照画像または赤外線熱画像において点、線、面の分析領域の設置に用いられる。また、分析領域の範囲をさらに設置でき、例えば、図15のT1のように、分析領域をT1の領域内、またはT1の領域外、T1のエッジ輪郭のいずれに位置させるかを設置できる。
分析領域の構成データは、記憶媒体に記憶される形態構成データまたは当該形態構成データに関連付ける構成データに基づいて取得できる。また、分析領域の構成データは、記憶媒体に記憶される形態構成データまたは関連付ける構成データにおける指定対象に基づいて、所定の演算規則および/または加工規則に従って、対応する処理を行うことにより取得できる。一つまたは複数の構成データを指定対象として分析領域を取得できる。また、手動操作により設置した「点、線、面」を分析領域としてもよい。参照画像に基づいて分析領域を設置できるため、設置された分析領域はその後の使用にも便利である。いずれかの分析領域の設置形態を採用するかは、赤外線検出の目的に応じて使用者が選択できる。なお、分析領域を配置する際、分析領域における領域ユニットに対して人為的にまたは自動に番号(たとえば、図15におけるF1は、ブロック形状の領域ユニットS01、S02を有する)を振分け、または予め記憶される構成データにはそれぞれの番号を有し、分析領域の番号としてもよい。分析領域の配置が終わると、当該分析領域に対応する分析モードおよび分析モードに対応する診断規則をさらに設置できる。
分析モードおよび診断規則CD36は、使用者による分析領域に対応する分析モード、分析モードに対応する診断規則の配置に用いられる。選択に供される情報は、たとえば、表4から取得される分析診断1(分析モード1およびそれに関連付ける診断規則1)、分析診断2(分析モード2およびそれに関連付ける診断規則2)または予め記憶されるその他の分析モードおよび診断規則の情報である。また、「分析モードおよび診断規則CD36」を選定して確認操作キーを長押しすると、図15に示すような設置インターフェースが表示される。
図15を参照しながら、分析領域、分析モード、診断規則などの設置インターフェースについて説明する。当該設置インターフェースには、分析領域の調整欄SZ0、分析領域設置欄SZ1、分析モードおよび診断規則設置欄SZ2などを有する。被写体1を例にして説明する。
調整欄SZ0では、分析領域と参照画像との間の所定の位置関係を調整するため、通常、調整が便利となるように参照画像および分析領域が表示される。本実施例では、「参照画像CD32」において選択される参照画像T1(基準1)、および「分析領域CD35」において選択される分析領域F1(補助1)が表示される。調整欄SZ0において、使用者は、分析領域F1における領域ユニットS01、S02に対して、縮減、位置変更、調整、種類(点、線、面)変更、または、新たな領域ユニットの設置などを行うことができる。
分析領域設置欄SZ1は、参照画像T1の対応する分析領域、点、線、面および「対象演算CD1」における演算規則などを含む設置に用いられる。この場合における演算対象は、デフォルトとして参照画像T1とすることができる。
診断規則設置欄SZ2は、分析モードおよび診断規則の設置に用いられる。「領域」は、SZ0に表示されるS01、S02のような領域ユニットの番号の選択に用いられる。「モード」は、たとえば、最高、最低、平均温度などである。「演算」は、あとえば、加算、減算、乗算、除算である。「比較」は、たとえば、大きい、小さいなどの比較関係である。「閾値」は、診断に用いられる閾値である。「関係」は、たとえば、AND、OR、NOTなどのロジック関係である。また、診断根拠、欠陥類型、欠陥レベル、処理提案などの入力に用いられる情報選択または入力欄(図示せず)をさらに有しうる。
ここで、「比較」関係および「閾値」を入力しない場合、分析モードを構成し、「比較」関係および「閾値」を入力する場合、分析モードおよび対応する診断規則(または、分析モードを有する診断規則と理解できる)を構成する。設置が終わって確認した後、参照画像T1の構成データ、分析領域の構成データ、両者の所定の位置関係(たとえば、分析領域F1の参照画像T1における位置パラメータ)、分析領域に対応する分析モード、分析モードに対応する診断規則を関連付けて記憶媒体に記憶させることができる。たとえば、フラッシュメモリ9の表4に記憶させる。
切換えCD4は、診断モードにおいて、たとえば、「診断配置CD3」で配置された参照画像と赤外線熱画像とを共同表示する状態で、切換え操作キーが一回押される際に、切換え対象に関連する配置情報の配置に用いられる。図14に示す配置インターフェースを参照しながら、「切換えCD4」の配置について説明する。切換える配置情報は、たとえば、切換える参照画像の構成データの類型、合成パラメータ(たとえば、重畳順序、透明度比率、色彩)、分析領域の構成データの類型、位置規則、分析モード、診断規則などのうちの一つまたは複数の項目の変更である。すなわち、図14におけるCD31−CD36のうちの任意の一つの項目の変更であってよく、異なる使用効果の診断配置を取得する。具体的な配置項目は「診断配置CD3」と似ているため、説明を省略する。異なる点としては、さらに赤外線熱画像を切換え対象にできるところである。切換えCD4における矢印は、切換え規則の設置(増加、編集、削除)に用いられる。たとえば、矢印により次の切換えのインターフェースに遷移でき、更なる切換え対象の配置情報を配置できる。
図29に示す配置インターフェースを参照しながら、「記録設置CD5」の配置について説明する。記録設置CD5は、記録する際に、使用者による赤外線データと関連付けて記憶される所定の記録情報の設置に用いられる。所定記録情報は、使用者が被写体情報、構成データ、構成データの身元情報(たとえば、構成データのファイル名、番号など)、構成データにより取得した対象、分析領域、分析モード、分析結果、位置情報のうちの一つまたは複数により構成される所定の記録情報である。
実施例1において、使用者の撮影目的は、被写体全体にわたる熱場の分布、および重要な分析部位(サポート1により示される領域)を検出することである。当該検出目的を便利に実現するために、使用者は、図13に示すように、参照画像については「基準1」、「補助1」を配置し、位置規則については基準1(主対象)、自己適応領域Z1、自己適応センタリングを配置し、合成パラメータについては透明度比率が1に、基準1の合成順序が1で補助1の合成順序が2に、色彩などがデフォルトになるように配置し、分析領域については補助1に配置し、分析モードおよび診断規則については分析モード1および対応する診断規則1(分析診断1)に配置する。
疑わしい箇所が見つかれば、さらに近づいて被写体の重点分析部位(補助1により示される領域)を撮影する。使用者は、図14に示すように、「切換えCD4」を介して、参照画像については「基準1」、「補助1」を配置し、位置規則については補助1(主対象)、自己適応、自己適応領域Z1、センタリングを配置し、合成パラメータについては透明度比率が1に、基準1の合成順序が1で補助1の合成順序が2になるように配置し、分析領域については補助1に配置し、分析モードおよび診断規則については分析モード1および対応する診断規則1(分析診断1)に配置する。
すなわち、切換え操作キーが一回押されると、「基準1(主対象)、補助1」と赤外線熱画像との共同表示から「基準1、補助1(主対象)」と赤外線熱画像との共同表示に切り換え、切換え操作キーがもう一回押されると、「基準1(主対象)、補助1」と赤外線熱画像との共同表示の表示状態に戻る。異なる主対象を使用することは、要注意する重点を異ならせる制御形態である。
実施例1は、表4における一部の構成データにより参照画像および分析領域を配置する例である。ただし、図9−15に示すメニューについての上述の説明により、使用者は、指定される演算対象と演算規則とを結合することや指定される加工対象と加工規則とを結合することを含む表4における構成データにより様々な異なる効果の参照画像および分析効果を有する分析領域を配置できることは明らかである。参照画像の構成データ、位置規則、合成パラメータ、分析領域の構成データ、分析モード、診断規則のうちの少なくとも一つが異なれば、異なる応用用途の分析診断の配置を取得できる。切換えに対する配置により異なる用途および効果を有する分析配置を取得でき、記録に対する配置により異なる用途の所定の記録情報を取得できる。
また、図3に示すような構成データであっても、使用者は、「診断配置CD3」または「切換え配置CD4」を介して、参照画像および分析領域と関連する構成データ、位置規則、合成パラメータ、分析モード、診断規則などを配置でき、異なる用途の診断配置を取得できる。
設置操作の完了後、確認操作キーを押すと、制御部10(配置部)は、設置された各配置を関連付けてその後の熱画像装置13のデフォルト配置として、フラッシュメモリ9(たとえば、一つの配置ファイルとする)に記憶し、使用する度に設置する必要性を無くす。その後、撮影待ち状態に戻る。上述した実施例では、使用者により関連の配置を行うことを示したが、これに限らず、たとえば、熱画像装置13が出荷される場合にはすでに上述した各種処理に関連する配置が行われ、使用者による手動設置を一切行う必要がないか、すでに外部のコンピュータにおいて配置が完了され、撮影前に配置ファイルを熱画像装置13にローディングするか、または使用者により上述した説明の一部の内容について配置することもできることに注意されたい。
以下、熱画像装置13の全体の機能について説明する。
取得部(たとえば、撮影部1)は、撮影により熱画像データを取得する。
参照画像指定部(制御部10)は、被写体形態特徴を表す参照画像の取得に用いる構成データを指定する。記憶媒体に記憶される構成データに基づいて、参照画像の構成データを指定できる。たとえば、図4に示すように、記憶される「基準1」、「基準2」、「補助1」から、参照画像と関連する一つの形態構成データを指定でき、少なくとも一つの形態構成データを含む複数の構成データを指定できる。また、記憶される構成データ「基準1」、「基準2」に基づいて、加工対象(形態構成データ、または形態構成データおよび補助構成データ)と所定の加工規則との結合により示される形態構成データ「基準1(加工)」を指定でき、演算対象と所定の演算規則との結合により示される補助構成データ「基準1(演算)」および一つの形態構成データにより取得される形態特徴を表す参照画像を指定できる。さらに、撮影により取得した熱画像データに基づいて参照画像の構成データを指定できる。とにかく、記憶媒体に記憶される構成データに基づいて、被写体形態特徴を表す参照画像の取得に用いる構成データを指定すればよい。たとえば、記憶媒体に記憶された構成データから参照画像の取得に用いる構成データを選択する。また、記憶媒体に記憶された構成データにおける指定される加工対象および加工規則により形態構成データを取得できる。さらに、記憶媒体に記憶される構成データにおける指定される演算対象および演算規則により補助構成データを取得し、形態構成データとともに参照画像を取得できる。予め記憶される構成データのほか、加工、演算などの形態によっても適切な構成データまたは適切な参照画像を取得できる。
具体的な指定形態は、たとえば、デフォルトの構成データを選択できる。また、使用者の操作によっても構成データを選択できる。たとえば、被写体選択情報に対する使用者の選択と構成データの所定の確定類型との結合により構成データを選択できる。たとえば、構成データの身元情報に対する使用者の選択により構成データを選択できる。たとえば、特定操作キーに対する操作により当該操作キーに対応する構成データを選択できる。また、所定のトリガ条件に基づいて当該トリガ条件に対応する構成データを確定できる。
参照画像位置設置部(制御部10)は、指定される構成データに基づいて取得される形態特徴を表す参照画像の赤外線熱画像における位置パラメータの設置に用いられる。位置設置の具体的な実施形態は、たとえば、所定の位置規則に従って参照画像の位置パラメータを自動設置する。たとえば、記憶媒体に記憶される構成データおよびそれに関連付ける位置情報に基づいて、位置情報が表す構成データにより取得される参照画像の赤外線熱画像における位置パラメータを、当該構成データにより取得される参照画像の赤外線熱画像における位置パラメータと設置できる。また、所定の自己適応領域に従って、参照画像の赤外線熱画像における位置パラメータを自動設置してもよいし、先に参照画像と所定の位置関係を有する主対象を確定して、主対象の赤外線熱画像における位置パラメータを設置した後、参照画像と主対象との間の所定の位置関係および主対象の赤外線熱画像における位置パラメータに基づいて、参照画像の赤外線熱画像における位置パラメータを設置してもよい。さらに、熱画像装置13のデフォルトの指定位置に従って、参照画像の位置パラメータを設置することもできる。
また、使用者の操作に従って(たとえば、入力される位置パラメータ)、参照画像の位置パラメータを設置できる。
表示制御部(制御部10)は、指定される構成データにより取得される所定サイズの参照画像を、所定位置に従って、撮影部により撮影して取得した熱画像データにより生成される赤外線熱画像との共同表示の制御に用いられる。赤外線熱画像との共同表示は、様々な実施形態を有する。
参照画像が一つの合成対象である場合、所定位置に従って、撮影部により撮影して取得した熱画像データにより生成される赤外線熱画像と連続的に合成した後、参照画像と赤外線熱画像との合成画像の表示を制御することにより共同表示を実現する。ここで、所定の透明度比率に従って合成できる。所定の透明度比率は、固定値であってよい。たとえば、熱画像装置13に記憶されるデフォルト値、使用者が操作部11を介して設置した値、または取得される合成対象の構成データの属性に記憶される透明度比率に関する情報であってよい。合成対象の透明度比率は、合成する際、合成対象と背景(たとえば、赤外線熱画像)との合成により取得される合成画素に占められる比率である。たとえば、一つの合成対象と背景とを合成する際、「合成対象の画像データ×合成対象の透明度比率+背景の画像データ×(1−合成対象の透明度比率)」により合成画素点の画像データを取得する。また、透明度比率のパラメータを設置しない場合、デフォルトとして透明度比率は1である。
実施形態の一例として、背景(たとえば、赤外線熱画像)と合成すべき合成対象が複数ある場合、各合成対象の合成順序および対応する透明度比率に従って、順次に合成処理を行い、最終の合成画像を取得する。たとえば、合成対象1(合成順番が1)および合成対象2(合成順番が2)を有する場合、先に合成対象1をその透明度比率に従って背景と合成して中間データ「 合成対象1の画像データ×合成対象1の透明度比率 + 背景の画像データ×(1 −合成対象1の透明度比率) 」を取得してから、合成対象2をその透明度比率に従って中間データと再度合成する。すなわち、当該処理によって取得される合成画素は、式「 合成対象2*合成対象2の透明度比率 + 中間データ*(1−合成対象2の透明度比率) 」により取得される。
実施形態の他の一例として、参照画像の赤外線熱画像における画素位置に基づいて、撮影により取得される熱画像データに対して選択的に疑似カラー処理を行うことにより表示する画像を取得する。具体的には、重畳画素位置の熱画像データに対しては疑似カラー変換処理を行わず、重畳画素位置以外の熱画像データに対してのみ疑似カラー変換処理を行って、赤外線熱画像の画像データを取得する。これにより表示する画像を生成すれば、一部の応用では処理速度を速くでき、たとえば、エッジ輪郭の参照画像に適用する。当該形態により処理されることを希望する参照画像または補助対象については、その構成データの属性に、予め対応する標識情報を付加する。また、参照画像に対応する熱画像データにおける画素位置の熱画像データを、その他の画素位置の熱画像データに対する疑似カラー処理と異なる処理を行ってもよい。たとえば、異なる疑似カラーパレットの疑似カラー処理や参照画像の対応する熱画像データ中の画素の位置における熱画像データから所定値を減算した後に疑似カラー処理などを行うことにより合成画像を生成してもよい。
実施形態の更なる他の一例として、撮影して取得される熱画像データの閾値区間範囲(たとえば、AD値の範囲)に基づいて、合成される参照画像部分の透明度比率を確定する。具体的には、たとえば、閾値区間範囲内に位置される赤外線熱画像と合成する参照画像の透明度比率を0に設置し、閾値区間範囲外のものを1に設置することにより、重要な部分(閾値区間の範囲内)の赤外線熱画像が隠されることを防止できる。ここで、所定の透明度比率は、変化する値であってもよい。
表示制御部は、表示部4に参照画像、赤外線画像が表示されることを制御する。表示インターフェースにその他の所定の情報も表示すると配置される場合、その他の所定情報の画像データの表示も制御する。たとえば、図8に示すように、表示画像は、参照画像、赤外線熱画像の画像802、およびその他の所定情報の画像801により構成される。なお、分析領域も表示でき、分析領域および基準として参照される形態特徴の画像部分を、色彩、透明度比率、線形のうちの少なくとも一つの領域形態により表示する。
分析領域確定部は、分析領域の構成データの確定に用いられる。好ましくは、分析領域確定部は、参照画像の構成データと所定の位置関係を有する構成データから分析領域の構成データを確定する。たとえば、図13に示すように、フラッシュメモリ9に記憶される所定の位置関係を有し、関連付けられている「基準1」、「基準2」、「補助1」から、一つまたは複数の構成データを指定することにより分析領域を取得できることは明らかである。また、指定対象と所定の加工規則および/または所定の演算規則との結合に基づいて、分析領域の構成データを取得できる。指定対象は、参照画像の構成データまたは参照画像と所定の位置関係を有する対象の構成データであることが好ましい。また、デフォルトの位置規則、所定の位置関係を有する構成データに基づいて、分析領域の構成データを確定できる。たとえば、参照画像の構成データに関連付ける構成データ(予め所定の位置関係を記憶せず、熱画像装置13のデフォルトの位置規則により所定の位置関係を与える)から分析領域の構成データを確定できる。参照画像と分析領域との所定の位置関係は、予め記憶媒体に記憶される所定の位置関係の情報から取得でき、使用者により設置することや、熱画像装置13のデフォルトの位置規則により与えることができる。さらに、指定対象を演算および/または加工することにより取得される構成データと、指定対象または指定対象と所定の位置関係を有するその他の対象との間の所定の位置関係は、対応する演算規則、加工規則により決定できる。
具体的な確定形態は、たとえば、デフォルトの構成データを選択でき、使用者による操作により構成データを選択してもよい。たとえば、被写体選択情報に対する使用者の選択と構成データの所定の確定類型とを結合することにより構成データを選択できる。また、構成データの身元情報に対する使用者の選択によって構成データを選択できる。また、特定操作キーに対する操作により当該操作キーに対応する構成データを選択できる。さらに、所定のトリガ条件に基づいて、当該トリガ条件に対応する構成データを確定して分析領域を取得してもよい。
また、所定の位置関係を有しない構成データから分析領域の構成データを確定することもできる。たとえば、参照画像の構成データと関連付ける構成データ(両者の間には予め記憶される所定の位置関係を有しない)から、分析領域の構成データを確定できる。また、使用者により両者の位置パラメートを設置することもできる。さらに、使用者の操作により設置される分析領域の構成データ(たとえば、点、線、面)からも確定できる。参照画像を参照できるため、従来技術に比べて便利である。
分析領域位置設置部は、分析領域の赤外線熱画像における位置パラメータの設置に用いられる。
たとえば、所定の位置規則に従って分析領域の位置パラメータを自動設置できる。たとえば、記憶媒体に記憶される構成データおよびそれに関連付ける位置情報に基づいて、位置情報が表す構成データにより取得される分析領域の赤外線熱画像における位置パラメータを、当該構成データにより取得される分析領域の赤外線熱画像における位置パラメートと設置できる。また、所定の自己適応領域に従って、分析領域の赤外線熱画像における位置パラメータを自動設置することもでき、先に分析領域と所定の位置関係を有する主対象を確定し、主対象の赤外線熱画像における位置パラメータを設置した後、分析領域と主対象との間の所定の位置関係および主対象の赤外線熱画像における位置パラメータに基づいて、分析領域の赤外線熱画像における位置パラメータを設置してもよい。さらに、熱画像装置13のデフォルトの指定位置に従って、たとえば、デフォルトの位置パラメータにより分析領域の位置パラメータを設置してもよい。
また、使用者の操作(たとえば、入力される位置パラメータ)に従って分析領域の位置パラメータなどを設置することもできる。
分析領域および参照画像の設置(構成データの確定、位置パラメータの設置)は、異なる順序を有することができることに注意されたい。たとえば、分析領域位置設置部は、参照画像位置設置部により設置された参照画像の赤外線熱画像における位置パラメータ、および参照画像と分析領域との間の所定の位置関係に基づいて、分析領域の赤外線熱画像における位置パラメータの設置に用いられる。参照画像位置設置部は、分析領域設置部により設置される分析領域の赤外線熱画像における位置パラメータ、および参照画像と分析領域との間の所定の位置関係に基づいて、参照画像の赤外線熱画像における所定の位置および所定のサイズの設置に用いられる。先に分析領域、参照画像と所定の位置関係を有する主対象を確定し、主対象の赤外線熱画像における位置パラメータを設置した後、両者と主対象との間の所定の位置関係および主対象の赤外線熱画像における位置パラメータに基づいて、分析領域および参照画像の赤外線熱画像における位置パラメータを設置してもよい。
参照画像の構成データと所定の位置関係を有する構成データまたは関連付ける関係を有する構成データに基づいて設置される分析領域は、参照画像に対応する分析領域ともいう。
熱画像分析部は、位置パラメータの分析領域に基づいて、所定の分析モードに従って、取得部(撮影部1)により取得した熱画像データ(熱画像データに対して所定の処理を行った後に取得されるデータを含む)を分析して、分析結果の取得に用いられる。所定の分析モードは、少なくとも以下の場合における一つまたは一つ以上の組合せを含むことが好ましい。
1)確定された分析領域の構成データに関連付ける分析モード情報に基づいて、分析モードを設置する。たとえば、分析領域の構成データと関連付けて記憶される分析モードにより分析モードを取得する。
2)分析領域を取得する位置パラメータの位置規則または位置情報に関連付けられる分析モード情報に基づいて、分析モードを設置する。この場合、分析がさらに柔軟で、異なる位置パラメータにおいて分析領域が変換する際にも便利に適用できる。
3)分析領域の構成データが指定対象を演算および/または加工することにより取得される場合、対応する演算および/または加工規則に関連付ける分析モード情報、および/または指定対象に関連付ける分析モード情報に基づいて、分析モードを取得する。一定の場合(たとえば、輪郭を変形した後に取得される領域については、輪郭と同じく最高温度を演算する分析モードを利用できる)、当該分析領域の構成データに対応する分析モード情報とすることもでき、操作を簡便にできる。
また、熱画像装置13のその他のデフォルトまたは使用者の操作により設置される分析モードであってよい。当然ながら、上述した複数の実施形態に係る分析モードを同時に有してもよい。
温度分析を例にして、具体的な実施形態を説明する。たとえば、制御部10の制御に基づいて、画像処理部2は、撮影部1により撮影して取得した熱画像データまたは編集、補間のような所定の処理をさらに行った熱画像データに対して、分析領域の赤外線熱画像における位置パラメータに基づいて、たとえば、設置される分析領域により決定される熱画像データを抽出して、温度値への変換処理を行い、これらの熱画像データに対応する温度値を取得する。その後、取得された温度値に対して、分析モードに従って分析演算を行う。たとえば、最大値を演算するならば、その中の最大の温度値を抽出して分析結果とする。分析領域に複数の領域ユニットが含まれる場合、たとえば、図6の分析領域F1に領域ユニットS01、S02を有する場合、各領域ユニット内の熱画像データに対して、順番に温度値への変換および分析を行い、各領域ユニットの分析結果を取得し、演算により取得した分析結果を領域ユニットの番号と関連付けて一時記憶部6の所定の領域に記憶する。その後、各領域ユニットの分析結果に基づいて、分析モードにおける各ユニットの相互関係に従って、演算により相互関係の分析結果を取得する。
また、分析領域における熱画像データを温度値に変換する処理は、分析領域における全ての熱画像データを温度値に全部変換する処理であってもよいし、所定の一部の熱画像データを温度値に変換する処理であってもよい。また、分析モードにおける最高、最低、平均温度を演算するなど異なるモードに応じて、分析領域における一部の熱画像データを変換するか全部を変換するかなど熱画像データに対する変換を決定してもよい。たとえば、分析領域における最高温度を演算する場合、分析領域において熱画像データAD値の大きさを比較することで、最大のAD値を温度値に変換し、分析領域における熱画像データの全てを温度値に変換しなくてもよい。さらに、異なるアルゴリズムを含む場合、たとえば、最高温度を演算する場合、画素単位ではなく所定数の隣接画素のAD値の平均値により、最大の平均値を有する隣接画素のAD値を温度値に変換し、当該隣接画素の熱画像データの温度値の平均値を最高温度値としてもよい。ここで、熱画像データを所定の処理により温度値に変換する実施形態は、たとえば、設置された被写体の放射係数、環境温度、湿度、熱画像装置13との距離等および熱画像データのAD値と温度との間の変換係数に基づいて、所定の変換式により温度値を取得する。また、分析領域により決定される熱画像データは、図6に示すように、分析ユニットS01、S02内の熱画像データ、分析ユニットS01、S02外の熱画像データ、分析ユニットS01、S02のラインが所在する画素の熱画像データであってよく、予め分析領域の構成データの当該属性を定めることができる。
また、熱画像に対する分析は、熱画像データを温度値に変換することに限らず、たとえば、放射エネルギー値、グレー値、放射率等に変換して分析する場合もある。当然ながら、取得される熱画像データに対する分析も、一フレームの熱画像データに限らず、たとえば、一時記憶部6に記憶される複数フレームの熱画像データ、または複数フレームの熱画像データに対して積分演算を行って取得される処理後の一フレームの熱画像データに対して分析してもよい。本発明は、これらの場合にも同様に適用できる。
診断部は、熱画像分析部により取得した分析結果に基づいて、所定の診断規則に従って診断し、診断結果を取得する。診断規則には、少なくとも診断モードと予め関連付けた診断規則に基づいて設置される診断規則が含まれることが好ましい。たとえば、分析モード情報に関連付ける診断規則の情報に基づいて取得される分析モードおよびそれに関連付ける診断規則である。
図16に示すフローチャートを参照しながら、実施例1の制御ステップについて説明する。図17は、T1およびF1により構成される参照画像を利用した被写体1の撮影、診断プロセスにおける表示インターフェースを示す図である。本実施例において、使用者により操作部11のモード操作キーが押されると診断モードに遷移し、分析操作キーが押されると分析診断結果をチェックできる。
制御部10は、使用者が診断モードを選択したか否かを監視し続ける(ステップA01)。撮影待ち状態において、表示部4は、動的に赤外線熱画像を表示する。この場合の撮影角度と距離により図17の表示インターフェース1701に示すような赤外線熱画像が取得される。被写体1の熱画像IR1に対して、従来技術の場合では、使用者は、被写体1の撮影位置、撮影部位、分析領域の設置、分析モードの設置、診断規則の設置などについて戸惑うことがある。参照画像を参照することにより被写体1の撮影の正確性、分析領域の設置、分析モードおよび診断規則の設置の便利性、分析診断の正確性を保証するため、使用者は、操作部11を介して診断モードを選択して、ステップA02の処理に進む。
制御部10は、参照画像の構成データの指定処理を行う(ステップA02)。処理内容の詳細については、図18のステップS101−S107において後述する。
制御部10は、参照画像の赤外線熱画像における位置パラメータの設置処理を行う(ステップA03)。処理内容の詳細については、図19のステップS201−S203において後述する。
制御部10は、分析領域の構成データの確定処理を行う(ステップA04)。処理内容の詳細については、図20のステップS301−S303において後述する。
制御部10は、分析領域に対応する分析モードおよび分析モードに対応する診断規則の確定処理を行う(ステップA05)。処理内容の詳細については、図21のステップS401−S403において後述する。
制御部10は、分析領域の赤外線熱画像における位置パラメータの設置処理を行う(ステップA06)。処理内容の詳細については、図22のステップS501−S503において後述する。
熱画像データを取得し、撮影により取得した熱画像データを一時記憶部6に伝送する(ステップA07)。
分析処理を行う(ステップA08)。設置された分析領域F1に基づいて、所定の分析モードに従って、撮影部1により撮影して取得した熱画像データに対して分析を行い、分析結果を取得する。たとえば、画像処理部2を制御することにより、分析領域F1(S01、S02)により決定される熱画像データ(S01、S02における熱画像データ)を温度値に変換する処理を行い、分析領域F1に関連付けるF1分析モード情報により取得される分析モードに基づいて演算を行う。演算により取得される分析結果データ、たとえば、領域ユニットS01、S02の最高温度、およびS01とS02との間の温度差等の分析結果を一時記憶部6の所定の領域に記憶する。
診断処理を行う(ステップA09)。具体的には、たとえば、制御部10(診断部として)は、分析により取得される分析結果を分析モードに対応する診断規則における診断閾値と比較し、当該診断閾値および分析結果を診断規則における比較関係に基づいて診断結果を取得する。
確定される構成データを位置設置部により設置される所定サイズに基づいて取得される参照画像を、所定の位置に従って、赤外線熱画像と共同表示する(ステップA10)。具体的には、本実施例において、構成データは、T1構成データおよびF1構成データであり、所定の処理(たとえば、縮小拡大処理など)により取得される参照画像(T1およびF1)を所定の位置に従って赤外線熱画像と合成し、合成した画像データを一時記憶部6に記憶する。続いて、制御部10の制御により、表示インターフェース1703に示すように、参照画像および赤外線熱画像を表示部4に表示させる。図に示されるように、被写体熱画像IR1と輪郭画像T1との間には比較的に大きな差異があることがわかる。仮に被写体形態特徴を表す参照画像による参照手段がなければ、使用者が撮影した被写体熱画像IR1の形態および赤外線熱画像における結像位置、大きさ、角度は主観的に把握しにくく、重要な測定部位が漏れやすいだけでなく、分析領域を設置するための操作も煩雑になってしまう。また、輪郭画像T1による形態の参照がなければ、F1の参照効果はとても弱い。
制御部10は、診断通知指示を受付けたか否かを検出する(ステップA11)。受付けていない場合、ステップA14の処理に進み、診断モードから他のモードへ遷移するか否かを判断する。診断モードから他のモードへ遷移しない場合、ステップA07の処理に戻り、ステップA08、A09の処理において、新たに取得した熱画像データに対して分析を行い、分析および診断の結果により直前の分析および診断の結果を代替し、一時記憶部6の所定の領域に記憶させる。その後、ステップA10の処理において、参照画像と撮影して取得した熱画像データにより取得される赤外線熱画像とを共同表示し、連続撮影して取得される動的な赤外線熱画像と参照画像を連続表示する状態を反映する。
使用者は、輪郭画像T1の視覚参照に基づけば、撮影すべき被写体熱画像IR1の形態要求および赤外線熱画像における結像位置、大きさ、角度を理解でき、その後は、熱画像装置13の光学部品および被写体1との間の撮影距離、角度、結像位置を調整することにより、図17(表示インターフェース1704)における被写体熱画像IR1と輪郭画像T1とが視覚的に重畳してマッチングされる状態にさせる。この場合、使用者により分析操作キーが押されると、ステップA12の処理に進む。
分析および診断の結果を表示する(ステップA12)。図17(表示インターフェース1705)に示すように、所定の領域に記憶された分析および診断の結果J17を表示部4に表示させ、使用者による分析および診断結果の判断に供する。ただし、これに限らず、表示しなくてもよい。たとえば、その他の装置の動作を制御する制御信号として、通信インターフェースI/F5から出力してもよい。図17の表示インターフェース1703および1704において、分析領域F1を表示するが、表示しないように設置してもよい。
切換え操作キーが押されたか否かを判断する(ステップA13)。押された場合、対応する切換を行う。たとえば、ステップA02の処理に戻り、切換えの配置により、T1およびF1の構成データを確定して参照画像を取得し、分析領域F1を主対象として、先に分析領域F1の赤外線熱画像における位置パラメータを設置した後、分析領域F1の位置およびサイズに基づいて参照画像(T1およびF1を含む)の赤外線熱画像における所定の位置および所定のサイズを設置する。参照画像に基づいて撮影した被写体熱画像は、図17の表示インターフェース1706が示すように、撮影距離が異なるため、表示インターフェース1706に示す分析診断結果と表示インターフェース1705に示す分析診断結果とは異なり、温度差は4.5(欠陥)まで増える。このように、使用者は、当該分析の診断結果に基づいて、より全面的に判断でき、欠陥漏れを防げる。
分析領域F1を主対象と設置して表示する効果は、分析領域F1が表す分析部位に対して、自己適応領域Z1における最大表示の撮影分析目的を示す。輪郭T1部分が溢れ出すが、応用要求を満たすため受け入れられる。異なる測定目的などに応じて、異なる主対象を設置して重点的に観察すべき領域を表してよい。主対象の赤外線熱画像における位置パラメータに基づいて参照画像または分析領域の赤外線熱画像における位置パラメータを配置することは、便利で柔軟である。
また、切換えは、位置規則の切換えに限らず、切換えられるのは参照画像、分析領域、合成パラメータ、分析モード、診断規則などのうちの一つまたは複数であってもよい。これにより、異なる測定または観察の効果が得られる。なお、切換え処理を有することが好ましいが、切換えステップA13はなくてもよい。
診断モードから他のモードへ遷移するか否かを判断する(ステップA14)。診断モードから他のモードへ遷移しない場合、ステップA07の処理に戻る。たとえば、使用者により分析操作キーが解放されていない場合、ステップA12の処理では、ステップA07の処理で撮影して取得した熱画像データに基づいて分析診断処理により取得されるリアルタイムな分析および診断結果を表示する。一方、使用者により分析操作キーが解放される場合、動的な赤外線熱画像および参照画像を表示する。
図18を参照しながら、参照画像の構成データの指定処理について説明する。
デフォルトの構成データの有無を判断する(ステップS101)。デフォルトの構成データがある場合、ステップS107の処理にジャンプし、制御部10は、デフォルトの構成データを選択する。デフォルトの構成データがない場合、ステップS102の処理に進む。
制御部10(被写体情報選択部)は、フラッシュメモリ9に記憶される表4に基づいて、表示部4の所定の位置に所定数の被写体選択情報を表示するようにする(ステップS102)。たとえば、図17における表示インターフェース1702に示される被写体選択情報リストLBを表示する。
続いて、撮影現場の被写体に対する認知(たとえば、現場の装置プレート)に基づいて、操作部11を介して表示部4に表示される「被写体1」を選択する(ステップS103)。制御部10は被写体選択情報に対する選択に基づいて、被写体情報を選択する。
また、表4における被写体情報が複数の属性の属性情報に組合せにより構成される場合、被写体情報を構成する複数の属性の属性情報(被写体選択情報)に対する表示および複数回の選択により、最終的に被写体情報を選択する。たとえば、仮に「被写体1」が変電所属性、装置エリア属性、装置類型属性に対応する属性情報「変電所1」、「装置エリア1」、「装置1」により構成される場合、選択操作は、表示される変電所属性に対応する所定数の被写体選択情報(属性情報)から「変電所1」を選択した後、装置エリア属性に対応する所定数の被写体選択情報(属性情報)から「装置エリア1」を選択し、続いて、装置類型属性に対応する所定数の被写体選択情報(属性情報)から「装置1」を選択することにより、最終的に「被写体1」を選択する。選択操作は、属性情報に対する複数回の選択操作に分けて最終的に被写体情報を選択できる。
続いて、制御部10は、選択された被写体選択情報に対応する被写体情報に関連付ける構成データに、所定の指定類型の構成データ(たとえば、一つの構成データにのみ関連付けた)の有無を判断する(ステップS104)
一つの構成データにのみ関連付ける場合、制御部10は、使用者により選択された被写体選択情報に対応する被写体情報に基づいて構成データを指定する。たとえば、フラッシュメモリ9に図3に示すような被写体情報およびそれに関連付ける構成データが記憶されている場合、ステップS107の処理において、制御部10は、T1構成データを参照画像の構成データとして確定する。
一方、フラッシュメモリ9に図4に示すような被写体情報およびそれに関連付ける複数の類型の構成データが記憶されている場合、本実施例では、構成データの所定の指定類型を予め設置しているため、ステップS107の処理にジャンプし、制御部10は、「被写体1」および所定の指定類型「基準1」、「補助1」に基づいて、構成データを「T1構成データ」、「F1構成データ」と指定する。所定の指定類型の構成データがない場合、すわなち、ステップS103の処理において選択される被写体情報が複数の類型の構成データに関連付けられ、かつ、所定の指定類型を配置していない場合、ステップS105の処理に進む。
制御部10は、使用者に再度選択してもらうため、表示部4に各構成データの身元情報を表示させる(ステップS105)。身元情報は、たとえば、対応する構成データの身元標識に関連するファイル名、番号、サムネイルなどである。たとえば、構成データに対応するサムネイルを表示して、使用者の選択に供する。使用者は、そのうちの一つまたは複数を選択できる。
使用者が選択すると、ステップS107の処理に進む(ステップS106)。
参照画像指定部は、参照画像の取得に用いる構成データを選択する(ステップS107)。続いて、フラッシュメモリ9からT1、F1構成データを読み出し、両者間の所定の位置関係を含めて、一時記憶部6に伝送する。
上述の実施形態において、参照画像指定部により指定される構成データは、デフォルトの構成データであってよい。また、選択される被写体情報に関連付ける構成データにより指定することや、さらに、所定の指定類型により、記憶媒体に記憶される構成データに基づいて所定の指定類型を満たす構成データを自動に確定してもよい。被写体情報に関連付ける構成データに基づく参照画像の構成データの指定は、被写体情報に関連付ける構成データから参照画像の取得に用いる構成データを取得してもよいし、被写体情報に関連付ける構成データから加工対象を指定し、加工により取得される構成データを参照画像の取得に用いる構成データとして指定してもよい。あるいは、使用者により構成データの身元情報を選択することにより構成データを指定してもよい。さらに、記憶媒体における構成データがそれと関連付ける被写体情報を有しない場合、上述のステップのS102、ステップS103の処理を省略すれば、構成データの身元情報により構成データを選択する実施形態を構成する。ステップS102、S103の処理における被写体情報選択ステップは、参照画像の構成データを確定するステップよりも一つ前のステップとすることができ、参照画像の構成データの確定ステップ内に限られない。たとえば、特定操作キーに対する操作により当該操作キーに対応する構成データを選択できるし、所定のトリガ条件に基づいて当該トリガ条件に対応する構成データを確定できる。
図19を参照しながら、参照画像の赤外線熱画像における位置パラメータの設置処理について説明する。
制御部10は、所定の位置規則の有無を判断する(ステップS201)。所定の位置規則がある場合、ステップS203の処理にジャンプする。所定の位置規則がない場合、ステップS202の処理に進む。
図9に示すような設置メニューおよび対応するメッセージを表示して、使用者による位置規則の配置を求める(ステップS202)。配置完了後、位置規則をフラッシュメモリ9に記憶し、その後のデフォルト配置とする。
参照画像の赤外線熱画像における位置パラメータを設置する(ステップS203)。
本実施例では、予め設置した位置規則、すなわち、主対象の類型が「基準1」の位置規則に基づいて、自己適応領域Z1のセンタリング位置に従って自己適応的に輪郭T1の赤外線熱画像における位置パラメータを演算した後、参照画像(輪郭T2およびF1)のF1部分と輪郭T1との間の所定の位置関係に基づいて、F1の赤外線熱画像における位置パラメータを確定する。たとえば、両者の所定の位置関係および輪郭T1の赤外線熱画像における位置パラメータに基づいて、輪郭T1の縮小拡大基準点(たとえば、中心点)をF1の縮小拡大の基準点として、F1に対してT1と同じ縮小拡大率で縮小拡大することにより赤外線熱画像における位置パラメータを取得する。上述の位置設置形態によれば、使用者は、手動操作により参照画像の位置パラメータを入力する必要がなく、撮影する際、熱画像装置13により所定の位置規則に基づいて参照画像の赤外線熱画像における所定の位置および所定のサイズを自動設置するため、被写体熱画像のサイズおよび位置の標準化を確保できるとともに、操作が簡単になる。
図20を参照しながら、分析領域の構成データの確定処理について説明する。
分析領域の構成データの所定の指定類型の有無を判断する(ステップS301)。分析領域の構成データの所定の指定類型がある場合、ステップS303の処理にジャンプし、制御部10は、所定の指定類型に基づいて分析領域の構成データを確定する。分析領域の構成データの所定の指定類型がない場合、ステップS302の処理に進む。
分析領域の構成データを配置する(ステップS302)。たとえば、図9に示すような設置メニューおよび対応するメッセージ、または点、線、面の設置欄をさらに表示して、使用者による分析領域の構成データの類型の選択、配置を求める。
分析領域の構成データを確定する(ステップS303)。
本実施例では、使用者により「被写体1」が選択されたため、分析領域の構成データの所定の確定類型が「補助1」であることに基づいて、「F1構成データ」を分析領域の構成データとして確定する。
分析領域の構成データの確定は、たとえば、デフォルトの構成データを確定できる。たとえば、選択される被写体情報と構成データの所定の指定類型との結合により分析領域の構成データを自動確定できる。たとえば、構成データの身元情報に対する使用者の選択により分析領域の構成データを確定できる。たとえば、特定操作キーに対する操作により当該操作キーに対応する分析領域の構成データを選択できる。また、所定のトリガ条件に基づいて、当該トリガ条件に対応する分析領域の構成データを確定することにより、分析領域を取得できる。被写体情報に関連付ける構成データに基づく分析領域の構成データの確定は、被写体情報に関連付ける構成データから分析領域の取得に用いる構成データを選択してもよいし、被写体情報に関連付ける構成データから対象を指定し、加工および/または演算により取得される構成データを分析領域の取得に用いる構成データと指定できる。
図21を参照しながら、分析モードおよび診断規則の確定処理について説明する。
所定の分析モードおよび診断規則の有無を判断する(ステップS401)。所定の分析モードおよび診断規則がある場合、ステップS403の処理にジャンプし、制御部10は、所定の分析モードおよび診断規則を確定する。所定の分析モードおよび診断規則がない場合、ステップS402の処理に進む。
図13に示すような設置メニューを表示させ、使用者による分析モードおよび診断規則の設置を求める(ステップS402)。分析領域に対応する分析モードおよび診断規則が設置された後、設置された関連付けを一時記憶部6に記憶させる。また、新たに設置した分析領域に対応する分析モード、当該分析モードに対応する診断規則と被写体情報を関連付けてフラッシュメモリ9に記憶できる。たとえば、表4に記憶でき、その後の使用に利用できる。さらに、熱画像装置13において、予め記憶されたその他の分析モードおよびそれに対応する診断規則なども選択に供するために表示できる。
本実施例では、「分析診断1」を予め配置したため、F1構成データに関連付ける分析モード1(F1モード情報)、分析モード1に関連付ける診断規則1(F1診断規則)を確定できる(ステップS403)。
分析領域F1に関連付ける分析モードおよび当該分析モードに関連付ける診断規則を使用することは、使用者による現場設置操作の面倒を無くし、複数の分析モードおよび診断規則の組合せに関連付ける場合でも、複数の複雑な演算ができる。また、分析領域に対応する分析モードおよび分析モードに対応する診断規則と、分析領域の構成データとは、予め関連付けて記憶されていなくてもよく、その他の予め定めた分析モードおよび診断規則により取得してもよい。さらに、使用者の設置操作に応答して一時的に設置してもよい。分析領域に対応する分析モード、分析モードに対応する診断規則は、分析領域の構成データと予め関連付けて記憶されるもの、熱画像装置13におけるその他の分析モードおよび診断規則、使用者により一時設置する分析モードおよび診断規則などであってよい。
図22を参照しながら、分析領域の赤外線熱画像における位置パラメータの設置処理について説明する。
制御部10は、所定の位置規則の有無を判断する(ステップS501)。所定の位置規則がある場合、ステップS503の処理にジャンプし、所定の位置規則がない場合、ステップS502の処理に進む。
図9に示すような設置メニューを表示して、使用者による分析領域の位置規則の設置を求める(ステップS502)。設置完了後、当該類型の分析領域の位置規則をフラッシュメモリ9に記憶し、その後のデフォルト配置とする。
分析領域の赤外線熱画像における位置パラメータを設置する(ステップS503)。本実施例では、分析領域の位置規則は、主対象の類型が基準1で、主対象は、自己適応領域Z1のセンタリング位置に従って、自己適応的に赤外線熱画像における位置パラメータを演算した後、分析領域F1と輪郭T1との間の所定の位置関係に基づいて、分析領域F1の赤外線熱画像における位置パラメータを確定する。切換え状態において、主対象の類型は補助1で、主対象(分析領域F1)は自己適応領域Z1のセンタリング位置に従って、自己適応的に赤外線熱画像における位置パラメータを演算した後、分析領域F1と輪郭T1との間の所定の位置関係に基づいて、輪郭T1の赤外線熱画像における位置パラメータを確定する。
また、主対象は、参照画像、分析領域以外の構成データにより取得されてもよい。すわなち、分析領域および参照画像は、ともに主対象に基づいて各自の位置パラメータを設置する。
撮影する際、所定の位置規則に基づいて参照画像および分析領域の赤外線熱画像における位置パラメータを自動設置するため、使用者は手動操作により分析領域などの位置パラメータなどを入力する必要がなく、被写体熱画像のサイズおよび位置の標準化を確保するとともに、操作が簡単になる。これに限らず、制御部10は、使用者による操作部を介して入力された位置パラメータに基づいて参照画像および分析領域の赤外線熱画像における位置パラメータを確定できる。
また、参照画像の構成データの指定(ステップA02)、参照画像の位置設置(ステップA03)、分析領域の構成データの確定(ステップA04)、分析領域の位置設置(ステップA06)、分析モードおよび診断規則の確定(ステップA05)などの関連処理については、一定のステップの順序に従って説明されたが、異なる実施形態に応じては、順序が変わることもあり、実施例に説明される処理の順序に限られない。
また、本実施例では、分析診断処理を行い、分析診断結果を更新し、使用者による診断通知指示を受付ける場合、分析及び診断の結果を表示している。ただし、これに限らず、分析操作キーが押された場合のみ分析及び診断処理を行うか、分析及び診断の結果が常に表示され、更新されるように設置してもよい。或いは、診断結果のみを表示し、分析結果を表示しなくてもよい。
また、表示インターフェース1703に示すように、参照画像の位置パラメータを調整することにより、赤外線熱画像における被写体熱画像IR1とマッチングさせてもよい。好ましくは、参照画像位置設置部および分析領域位置設置部は、使用者による調整作業に基づいて参照画像および分析領域の赤外線熱画像における位置、サイズ、回転角度のうちの少なくとも一つを変更させ、両者の所定の位置関係が変わらないことを保証する。たとえば、そのうちの一つを調整する際、他の一つも調整された位置、サイズ、回転角度の変化に応じて同じく変化し、両者の所定の位置関係が変わらないことを保証する。
上述したように、実施例1では、被写体情報を選択することにより参照画像および分析領域の構成データを指定するため、被写体に対応する参照画像および分析領域の選択が便利となる。赤外線熱画像において被写体の形態特徴を表す参照画像を表示するため、撮影により標準化された赤外線画像の取得が便利である。所定の位置関係を有する構成データにより参照画像および分析領域の構成データを指定するため、設置された分析領域が標準化および参照画像と対応する位置が標準化され、参照画像を参照することにより撮影した赤外線熱画像、分析領域が極めて高い正確性を有し、操作が簡単である。分析領域に関連付ける分析モードおよび当該分析モードに関連付ける診断規則に従って被写体熱画像に対して分析診断するため、分析モードおよび診断規則の設置の問題を解決でき、操作が簡単で、使用者に対する技術レベルの要求が低減され、撮影速度を向上でき、欠陥漏れが発生しにくく、複雑な分析診断などが便利になるという有益な効果をもたらす。従って、一般の使用者でも良質な撮影技術レベルを達成できる。
[実施例2]
実施例2に係る熱画像装置は、実施例1に係る熱画像装置13と同じ構成を有し、フラッシュメモリ9には、実施例1とは異なる診断制御プログラムが記憶されている。使用者の診断指示に応答して、熱画像データの表示および保持を固定させ、分析診断を行う。また、フラッシュメモリ9には、たとえば、図4に示すような記憶内容が記憶され、図13に示すように配置されている。
図23を参照しながら、制御フローについて説明する。
制御部10は、使用者が診断モードを選択したか否かを監視し続ける(ステップB01)。診断モードが選択される場合、ステップB02の処理に進む。
制御部10は、参照画像の構成データの確定処理を行う(ステップB02)。処理内容の詳細は、図18のステップS101−S107の処理と同じである。
制御部10は、参照画像の赤外線熱画像における位置パラメータの設置処理を行う(ステップB03)。処理内容の詳細は、図19のステップS201−S203の処理と同じである。
続いて、撮影により取得した熱画像データを一時記憶部6に伝送する(ステップB04)。
指定される構成データを位置設置部により設置される所定サイズに基づいて取得される参照画像を、所定の位置に従って、表示インターフェース1703に示されるように赤外線熱画像と共同表示する(ステップB05)。
使用者により分析操作キーが押されたか否かを判断する(ステップB06)。押されなかった場合、ステップB04−B05の処理に戻り、すなわち、参照画像と撮影により取得される赤外線熱画像とを連続的に合成した画像を表示する。使用者は、熱画像装置13の光学部品および被写体1との間の撮影距離、角度、結像位置を調整することにより、取得される図17(表示インターフェース1704)における被写体熱画像IR1と輪郭画像T1とが視覚的に重畳してマッチングされる状態にさせる。この場合、使用者により分析操作キーが押されると、次のステップの処理に進む。
当該操作に応答して、ステップB04の処理において取得される熱画像データを一時記憶部6の所定の領域の保持する(ステップB07)。また、ステップB05の処理において取得される合成画像、または一時記憶部6の所定の領域に記憶される赤外線熱画像、合成画像(または当該赤外線熱画像)を固定させて表示する。
制御部10は、分析領域の構成データの確定処理を行う(ステップB08)。処理内容の詳細は、図20のステップS301−S303の処理と同じである。
制御部10は、分析領域に対応する分析モードおよび分析モードに対応する診断規則の確定処理を行う(ステップB09)。処理内容の詳細は、図21のステップS401−S403の処理と同じである。
制御部10は、分析領域の赤外線熱画像における位置パラメータの設置処理を行う(ステップB10)。処理内容の詳細は、図22のステップS501−S503の処理と同じである。
保持される熱画像データに対して分析処理を行い、取得される分析結果データ、たとえば、領域ユニットS01、S02における最高温度、およびS01とS02との間の温度差などの分析結果を一時記憶部6の所定の領域に記憶する(ステップB11)。
診断処理を行う(ステップB12)。診断処理後、診断部は、当該分析結果データを閾値と比較して、診断結果を取得する。
診断結果を通知する(ステップB13)。本実施例では、表示インターフェース1704に示すように、分析診断結果J17を表示部4に表示させる。使用者は、分析診断結果に基づいて便利に判断できる。また、表示しなくてもよい。たとえば、その他の装置に提供する分析診断結果として通信インターフェースI/F5から出力してもよい。あるいは、診断結果を通知のみしてもよい。
分析操作キーが解放されたか否かを判断する(ステップB14)。解放された場合、ステップB15の処理に進み、解放されなかった場合、ステップB13の処理に戻り、分析診断結果を表示し続ける。
診断モードから他のモードへ遷移するか否かを判断する(ステップB15)。診断モードから他のモードへ遷移しない場合、ステップB04の処理に戻り、診断モードから他のモードへ遷移する場合、診断モードから他のモードへ遷移する。
上述したように、実施例1と異なって、使用者は、参照画像と赤外線熱画像とが視覚的にマッチングされた状態で、赤外線熱画像または合成画像を固定させて表示し、分析及び診断を行った結果を表示するため、分析の正確性を確保できる。上述のプロセスは、赤外線撮影における分析診断を便利にし、使用者に対する技術レベルの要求が低減され、撮影速度を向上でき、診断の難度を下げることができ、操作も簡単である。
[実施例3]
実施例3に係る熱画像装置は、実施例1に係る熱画像装置13と同じ構成を有し、フラッシュメモリ9には、図3に示すような内容が予め記憶されている。
被写体本体の特定領域、たとえば、被写体のエッジにおける熱場の分布を分析するため、使用者により「演算対象CD2」を介して設置された配置は、たとえば、図24に示されるように、演算対象が「基準1」で、演算規則が中心点に基く縮小拡大、変形で、その後の分析領域F101の取得に用いられる。使用者による「診断配置CD2」の配置は図25に示されるとおりである。さらに、図26に示すように、演算により取得される分析領域F101および分析領域としてのT1に対して分析モードおよび診断規則を配置する。
図27の制御フローを参照しながら、実施例3に係る診断モードの制御ステップについて説明する。図28は、輪郭画像T1および分析領域T1、F101を利用した被写体1の撮影、診断プロセスにおける表示インターフェースを示す図である。本実施例では、使用者は、操作部11のモード操作キー押す操作により診断モードに遷移し、分析操作キーを押す操作により分析診断結果をチェックする。
制御部10は、使用者が診断モードを選択したか否かを監視し続ける(ステップC01)。診断モードが選択される場合、ステップB02の処理に進む。
制御部10は、参照画像の構成データの指定処理を行う(ステップC02)。フラッシュメモリ9に記憶される表3に基づいて、表示部4の所定位置に、所定数の被写体選択情報を表示させ、使用者により「被写体1」が選択されると、T1の構成データを指定する。
制御部10は、分析領域の構成データの確定処理を行う(ステップC03)。具体的には、図24における配置に基づいて、基準1を演算対象(中心点に基づく縮小拡大および変形)として、分析領域F101の構成データ(T1との相対位置関係を含む)および一時記憶部6の所定領域に関連付けて記憶されている対応する分析ユニットの番号を取得する。T1により決定される領域も分析領域として確定する。
制御部10は、分析領域T1、F101に対応する分析モードおよび分析モードに対応する診断規則の確定処理を行う(ステップC04)。具体的には、図26の配置に基づいて、対応する分析モードおよび診断規則を取得する。
制御部10は、参照画像の赤外線熱画像における所定の位置および所定のサイズの設置処理を行う(ステップC05)。具体的には、所定の位置規則「自己適応領域Z1、自己適応センタリング」に基づいて、参照画像T1の赤外線熱画像における位置パラメータを設置する。
制御部10は、分析領域の赤外線熱画像における位置パラメータの設置処理を行う(ステップC06)。参照画像T1の赤外線熱画像における位置パラメータ、および分析領域と参照画像との所定の位置関係に基づいて、分析領域T1、F101の赤外線熱画像における位置パラメータを確定する。
続いて、撮影により取得した熱画像データを一時記憶部6に伝送する(ステップC07)。
分析処理および診断処理を行う(ステップC08)。すなわち、上述の位置パラメータの分析領域T1、F101に基づいて、所定の分析モードに従って、撮影部により撮影して取得した熱画像データに対して分析を行い、分析診断結果を取得する。画像処理部2は、分析領域T1、F101により決定される熱画像データ(T1、F101領域内の熱画像データ)を温度値に変換する処理を行い、分析領域に対応する分析モードに基づいて演算した後、診断規則に従って診断する。演算により取得される分析結果のデータ、たとえば、領域ユニットT1、F101の最高温度、およびT1とF101との間の温度差などの診断結果、診断により取得される診断結果を一時記憶部6の所定の領域に記憶する。
確定される構成データを位置設置部により設置される所定のサイズに従って参照画像T1を取得し、所定の位置に従って、表示インターフェース2802に示すように、赤外線熱画像と共同表示する(ステップC09)。図に示されるように、被写体熱画像IR1と参照画像T1との間には比較的に大きな差異があることがわかる。仮に参照画像による参照手段がなければ、使用者が撮影した被写体熱画像IR1の形態および赤外線熱画像における結像位置、大きさ、角度は主観的に把握しにくく、重要な測定部位が漏れやすく、分析領域を設置するための一連の作業が煩雑になってしまう。
制御部10は、診断指示を受付けたか否かを検出する(ステップC10)。診断指示がない場合、ステップC12の処理に進み、診断モードから他のモードへ遷移するか否かを判断する。診断モードから他のモードへ遷移しない場合、ステップC07の処理に戻り、ステップC08の処理で取得される熱画像データに対して分析および診断を行い、分析診断結果を一時記憶部6の所定の領域に記憶して、直前の分析診断結果を代替する。その後、ステップC09の処理において、参照画像と撮影により取得した熱画像データにより取得される赤外線熱画像とを共同表示する。熱画像装置13を調整することにより、図28(表示インタフェース2803)に示す被写体熱画像IR1と参照画像T1とが視覚的に重畳されたマッチング状態にさせる。この場合、使用者により分析操作キーが押されると、ステップC11の処理に進む。
分析診断結果を表示する(ステップC11)。たとえば、図28(表示インターフェース2804)に示すように、所定領域に記憶された分析診断結果J28および分析領域F101を表示させる(表示される内容を定めることができる)。従って、使用者は分析診断結果に基づいて便利に判断できる。ただし、これに限らず、表示しなくてもよい。たとえば、その他の装置の動作を制御する分析データを通信インターフェースI/F8から出力してもよい。図28の表示インターフェース2802および2803において、分析領域F101は表示されないが、表示するように配置してもよい。
診断モードから他のモードへ遷移するか否かを判断する(ステップC12)。診断モードから他のモードへ遷移しない場合、ステップC07の処理に戻り、使用者が分析操作キーを解放しない場合、ステップC11の処理において、ステップC07の処理で撮影して取得した熱画像データを分析処理することにより取得される分析診断結果をリアルタイムに表示する。使用者により分析操作キーが解放される場合、動的な赤外線画像、参照画像を表示する。
上述したように、本実施例3では、参照画像に基づいて、演算により分析領域を取得するため、分析領域の設置の便利性を確保でき、その後の分析診断の正確性を確保できる。上述の分析領域T1、F101の設置は、従来技術により実現できるのは極めて困難である。上述の実施形態によれば、分析領域、分析モード、診断規則の設置が便利で、使用者に対する技術レベルの要求が低減され、撮影速度を向上でき、操作が簡単になる有益な効果を奏する。
[実施例4]
実施例4に係る熱画像装置は、実施例1に係る熱画像装置13と同じ構成を有し、記録処理を行う制御プログラムが記憶されている。所定の記録情報の配置は、たとえば、図29のようである。図30を参照しながら、本実施例におけるフローチャートについて説明する。
制御部10は、使用者が診断モードを選択したか否かを監視し続ける(ステップD01)。診断モードが選択される場合、ステップD02の処理に進む。
実施例1におけるステップA02−A12、実施例2におけるステップB02−B12、または実施例3に係るステップC02−C11の処理とほぼ同じ処理を行う(ステップD02)。従って、処理内容の詳細を省略する。
制御部10は、記録指示操作の有無を判断する(ステップD03)。たとえば、実施例1において、表示部4に図17に示すような表示インターフェース1705が表示される際、使用者により操作部11の記録操作キーが押されると、次のステップの処理に進む。ただし、これに限らず、制御部10は、その他の所定の記録条件に基づいて、自動にステップS104の処理に進んでもよい。たとえば、制御部10により所定の時間間隔を満たすか否かを判断すること、熱画像における温度値が所定の閾値を超えるか否かを判断すること、熱画像装置13と接続するその他のセンサのトリガ信号などの所定の記録条件が検出されたことなど、予め定めた記録操作がなくてもよい。
記録処理を行う(ステップD04)。記録部としての制御部10は、記録指示操作に応答するか、所定の記録条件に従って、所定の赤外線データおよび所定の記録情報を関連付けて記録した後、ステップD05の処理に進む。
ここで、赤外線データは、撮影部により撮影して取得される(取得部により取得)熱画像データおよび/または撮影部により撮影して取得される熱画像データに対して所定の処理後に取得されるデータである。所定の赤外線データとは、たとえば、記録指示の操作に応答し、または所定の記録条件に合致する時刻(またはその後の所定時刻)を判断して、赤外線検出器が信号を読み取って取得した熱画像データ(フレーム)や、例えば、記録指示操作に応答し、または所定の記録条件に合致する時刻(またはその後の規定時刻)を判断して一時記憶部6中に一時記憶された複数フレームの熱画像データ中の所定の熱画像データ(フレーム)や、例えば、上記の状況の熱画像データに所定の処理を行って取得したデータ(所定の処理とは、編集、補間、擬似カラー、温度数値への変換、画素間引き、圧縮などの処理の一つまたは複数である)や、例えば、所定数量を記録した複数フレームの熱画像データや、例えば、一時記憶部6に記憶した複数フレームの熱画像データに対して積分演算を行って取得した該処理後の1フレームの熱画像データなど、これらの状況で取得する赤外線データのうちの一つまたは複数などである。たとえば、赤外線データには、熱画像データにより取得される各画素の温度数値、赤外線熱画像の画像データが含まれる。
所定の記録情報は、図29に示すように、たとえば、以下の情報のうちの一つまたは複数である。
1)選択される被写体情報(被写体情報うち所定の一部または全部);
2)指定される参照画像の構成データ(またはファイル名のような構成データの身元情報)および/または参照画像の赤外線熱画像における位置情報;
3)指定される分析領域の構成データ(またはファイル名のような構成データの身元情報)および/または分析領域の赤外線熱画像における位置情報;
4)参照画像または分析領域と所定の位置関係を有するその他の構成データ(またはファイル名のような構成データの身元情報)および/またはその他の構成データにより取得される対象の赤外線熱画像における位置情報。たとえば、指定対象を演算および/または加工して取得される構成データ、および/または当該構成データにより取得される対象の赤外線熱画像における位置情報;
5)分析領域に対応する分析モード;
6)分析結果;
7)分析モードに対応する診断規則;
8)診断結果。
上述の位置情報について、図13に示すような配置を用いる際、図13に示した位置規則に従って対応する位置情報を取得する。一方、図14に示すような配置を用いる際、図14に示した位置規則に従って対応する位置情報を取得する。当然ながら、分析領域などに位置パラメータの調整変化が生じる場合、記録すべき位置情報は調整された後の位置パラメータである。
関連付けて記録する実施形式の一つとして、所定の記録情報を所定のフォーマットの赤外線データの情報として付加する。具体的には、一つの実施形式として(実施例1の場合)、制御部10は、操作部11の記録指示操作に応答して、赤外線検出器により信号を読み取り、熱画像データの取得を制御する。画像処理部2は、当該熱画像データに対して所定の熱画像データ圧縮処理、または当該熱画像データに所定の処理、たとえば、編集、補間などの処理を行なった後にさらに圧縮処理を行い、一時記憶部の所定の領域に所定の記録情報が記憶されているか否かを判断する。記憶されている場合、一時記憶部6の所定の領域に記憶される所定の記録情報と圧縮後の熱画像データを関連付けて熱画像ファイルを生成してメモリカード8に記録し、当該処理を終了する。ただし、これに限らず、所定の記録情報を付加した後に圧縮してもよい。一方、記憶されていない場合、圧縮された熱画像データにより生成される熱画像ファイルをメモリカード8に記録する。また、記録する記憶媒体は、メモリカード8、フラッシュメモリ9などに限らず、通信I/F5を介して通信するネットワークの目的地であってもよい。
図31に示される熱画像ファイル構造の一例において、赤外線データ3101は、記録指示操作に応答して、または所定の記録条件の時刻に従って、赤外線検出器から読出して取得される熱画像データである。図29に示すような配置によれば、所定記録情報3102に含まれる情報は、被写体1、T1構成データ、F1構成データ、輪郭画像T1の位置情報、分析領域F1の位置情報、分析モード1、分析および診断結果(記録指示に応答する際の所定の分析診断結果、実施例1において、当該時刻、または分析操作キーが押された後の所定の分析診断結果であってよい。たとえば、温度差が最大である分析診断結果)である。その他の付加情報3103は、たとえば、撮影時間などである。
図32は、参照画像T1と視覚的にマッチングされる際、記録される熱画像データに対応する赤外線熱画像IR0を示す図である。被写体熱画像IR1の赤外線熱画像IR0における位置およびサイズは標準であり、T1の位置情報は、IR1の赤外線熱画像IR0における位置パラメータを表す。「F1位置情報」は、F1の赤外線熱画像IR0における位置パラメータである。
また、関連付け記録処理は、所定記録情報を、熱画像ファイルに関連付ける情報ファイルまたは索引ファイルなどに記録することもできる。制御部10は、当該情報ファイルまたは索引ファイルを生成できる。また、被写体情報または構成データの身元情報などに基づいて熱画像ファイル名を生成できる。関連付け記録は、実質的には、その後のバッチ処理分析に必要な情報を記録することである。たとえば、被写体情報を記録すれば、その後の赤外線データの分類が便利になる。また、参照画像の構成データおよびその位置情報を記録すれば、その後にパッチ処理において分析される分析領域の設置が便利になる。さらに、分析領域の構成データおよびその位置情報を記録すれば、その後のバッチ処理の分析速度を向上でき、分析結果および診断結果を記録すれば、その後のバッチ処理の処理時間および処理負担を軽減できる。
診断モードから他のモードへ遷移するか否かを判断する(ステップD05)。診断モードから他のモードへ遷移しない場合、ステップD02の処理に戻り、上述のステップの処理を繰り返し、使用者は複数回記録操作を行うことができる。一方、診断モードから他のモードへ遷移する場合、処理を終了する。
上述したように、参照画像、分析領域を用いて被写体熱画像の撮影をサポートするため、撮影品質を向上できる。また、分析診断などと関連する所定記録情報を関連付けて記録するため、その後のパッチ処理の分析診断が便利になる。
[実施例5]
実施例5に係る熱画像装置は、図1に示される熱画像装置13と同じ構成を有する。本実施例で、フラッシュメモリ9には、再生モードにおいて再生される赤外線熱画像のために参照画像、分析領域を設置し、参照画像および分析領域を調整し、分析および診断する制御プログラムが記憶されている。
たとえば、再生モードにおいて処理すべき赤外線データ(たとえば、メモリカード8から処理すべき熱画像ファイルを選択し、取得される熱画像データ)を選択した後、先に赤外線データ(フレーム)に、分析領域、参照画像などと関連付けられている情報があるか否かを判断する。たとえば、赤外線データと関連付けて記憶される構成データ、参照画像または分析領域の位置パラメータ、構成データの身元情報、被写体情報などがあるか否かを判断する。関連付けられる情報がある場合には、これらの情報に基づいて分析領域を確定した後、所定の分析モードおよび診断規則に基づいて赤外線データに対して分析、診断し、分析および診断の結果を取得する。または、被写体形態特徴を表す参照画像および処理すべき赤外線データにより取得される赤外線熱画像を共同表示できる。使用者は、参照画像と被写体熱画像の視覚的にマッチングされる程度を観察できる。一方、関連付けられる情報がない場合には、使用者が選択できるように、選択に供される構成データの身元標識に関連するファイル名、番号、サムネイルなどを表示して、被写体形態特徴を表す参照画像と処理すべき赤外線データにより取得される赤外線熱画像とを共同表示する。視覚的に被写体の熱画像と参照画像とがマッチングされる場合、参照画像と所定の位置関係を有する分析領域、および対応する分析モードおよび診断規則を用いて、分析診断を行う。マッチングされない場合、使用者は、参照画像の位置、サイズ、回転角度を再度調整して、赤外線熱画像における被写体熱画像をマッチングさせ、視覚的にマッチングされると、参照画像と所定の位置関係を有する分析領域を確定して所定の分析モードおよび診断規則に従って分析診断を行う。
なお、撮影機能を有する熱画像装置に限らず、本実施例は、熱画像処理装置(たとえば、コンピュータ、個人用携帯情報端末装置、撮影機能を有する熱画像装置とセットで使用される表示装置など)を熱画像診断装置として、赤外線データ(たとえば、熱画像ファイル)を整理してもよい。
[実施例6]
本発明に対して、撮影により熱画像データを取得する機能は必須ではなく、本発明は、さらに外部からの熱画像データ(熱画像伝送データ)を受信して処理する熱画像処理装置などにも適用できる。熱画像伝送データは、たとえば、熱画像(AD値)データ、熱画像データにより生成される赤外線熱画像、圧縮後の熱画像データ、赤外線熱画像を圧縮した画像データなどであってよい。実施例6は、熱画像処理装置100を熱画像装置とした実施例である。
図33は、熱画像処理装置100と熱画像撮影装置101とが接続されて構成される熱画像処理システムの電気的構成の一例を示すブロック図である。
熱画像処理装置100は、通信インターフェース1、補助記憶部2、表示部3、RAM4、ハードディスク5、操作部6、バスを介して上述した各部と接続し、全体の制御を行うCPU7を有する。熱画像処理装置100としては、たとえば、パーソナルコンピュータ、個人用携帯情報端末装置、熱画像撮影装置とセットで使用される表示装置などである。熱画像処理装置100は、CPU7の制御に基づいて、通信インターフェース1を介して熱画像処理装置100と接続される熱画像撮影装置101から出力される熱画像伝送データを受信する。
通信インターフェース1は、熱画像撮影装置101から出力される熱画像データを連続的に受信することに用いられる。受信される熱画像データは、中継装置によって発送される(熱画像撮影装置101から出力される熱画像データが中継装置を介して発送されるもの)熱画像伝送データを含む。同時に、通信インターフェース1は、熱画像撮影装置101を制御するための通信インターフェースとしても用いられる。通信インターフェース1は、熱画像処理装置100における各種の有線または無線の通信インターフェース、たとえば、ネットワークインターフェース、USBインターフェース、1394インターフェース、ビデオインターフェースなどを含む。
補助記憶部2は、たとえば、CD−ROM、メモリカードなどの記憶媒体および関連するインターフェースである。
表示部3は、たとえば、液晶表示器である。表示部3は、また、熱画像処理装置100と接続されるその他の表示器であってもよい。この場合、熱画像処理装置100自身の電気的構成に表示器がなくてもよい。
RAM4は、通信インターフェース1を介して受信される熱画像伝送データを一時的に記憶するバッファメモリである。また、RAM4は、CPU7の作業記憶器として、CPU7の処理するデータを一時的に記憶する。
ハードディスク5には、制御用プログラム、および制御において使用される各種のデータが記憶されている。
熱画像装置13から撮影部1を除いた構成は、熱画像処理装置100とほぼ同じである。当然ながら、熱画像伝送データを取得することによって同様に上述した実施例に適用できる。このため、上述した実施例と同様な実施形式については、説明を省略する。
ここで、CPU7は、画像処理部の機能も行い、受信された熱画像伝送データに対して所定の処理を行って赤外線熱画像の画像データの取得に用いられる。所定の処理は、たとえば、編集、補間、疑似カラー、合成、圧縮、解凍などであって、表示用、記録用に適合するデータの変換処理である。CPU7は、熱画像伝送データの形式に応じて異なる処理を行う。
一つの実施形式として、たとえば、受信される熱画像伝送データが圧縮された熱画像データである場合、所定の処理として、たとえば、CPU7は、取得部により受信される熱画像伝送データを解凍し、対応する所定の処理を行う。解凍および対応する所定の処理の一つの実施形式として、圧縮される熱画像データ(熱画像伝送データ)を解凍した後、疑似カラー処理のような対応する所定の処理を行うことにより赤外線熱画像の画像データを取得する。また、所定の処理は、解凍後の熱画像伝送データを校正、補間するなどの処理であってもよい。
他の一つの実施形式として、たとえば、受信される熱画像伝送データ自身が既に圧縮された赤外線熱画像の画像データである場合、解凍により赤外線熱画像の画像データを取得する。
さらに他の一つの実施形式として、たとえば、通信インターフェース1を介して受信されるものがアナログの赤外線熱画像である場合、対応するAD変換回路によりAD変換した後のデジタル赤外線熱画像の画像データを、一時記憶部4に伝送するように制御する。
熱画像撮影装置101は、各類型の熱画像撮影装置であってよい。熱画像撮影装置101は、被写体を撮影し、熱画像伝送データを出力する。図33の熱画像撮影装置101の電気的構成のブロック図に示すように、熱画像撮影装置101は、通信インターフェース10、撮影部20、フラッシュメモリ30、画像処理部40、RAM50、CPU60を有する。CPU60は、熱画像撮影装置101の全体の動作を制御し、フラッシュメモリ30には、制御プログラムおよび各部の制御に使用される各種のデータが記憶されている。撮影部20は、図示しない光学部品、駆動部品、熱画像センサ、信号前処理回路を含み、熱画像データを取得するための撮影に用いられる。当該熱画像データは、一時的にRAM50に記憶された後、画像処理部40(たとえば、DSP)により所定の処理(たとえば、圧縮処理など)を行われて熱画像伝送データが得られ、通信インターフェース10を介して出力される。設計および使用の目的によって、たとえば、熱画像撮影装置101が出力する画像データは、所定処理後の熱画像データ、熱画像の画像データ(熱画像データにより生成される熱画像の画像データ)、熱画像データまたは熱画像の画像データを所定の形式で圧縮した後のデータの一つまたは複数であってよい。これらのデータは、ともに熱画像伝送データと称する。熱画像撮影装置101は、撮影および熱画像伝送データの出力に用いられ、その役割は熱画像装置13における撮影部1とほぼ同様である。
図34は、熱画像処理装置100と熱画像撮影装置101とを接続して構成される熱画像診断システムの一実施例を示す図である。
熱画像撮影装置101は、雲台などを利用して測定車両に架設され、専用ケーブルなどの通信ケーブル、または有線もしくは無線形態により構成されるLANなどの形態で熱画像処理装置100と接続する。使用者は、熱画像処理装置100を通じて被写体熱画像を観察し測定する。熱画像撮影装置101と熱画像処理装置100とが接続されて構成される熱画像処理システムは、被写体を撮影して熱画像データを取得し、熱画像伝送データを出力する。
上述したように、参照画像の構成データと分析領域の構成データとは、所定の位置関係を有し、表示される参照画像および分析に関連する分析領域は、上記所定の位置関係をみたしていることが好ましい。参照画像指定部および分析領域確定部は、所定の位置関係を有する構成データに基づいて、参照画像および分析領域の構成データを確定する。たとえば、記録媒体に予め記憶され、所定の位置関係を有する構成データから、両者の構成データを確定する。たとえば、参照画像の構成データのような指定対象に対して加工および/または演算することにより取得される構成データに基づいて、分析領域の構成データを確定できる。指定対象と加工および/または演算することにより取得される構成データとの間の所定の位置関係は、対応する演算および/または加工規則により決定される。また、構成データの所定の位置関係は、熱画像装置13のデフォルトの位置規則()により所定の位置関係を与えてもよい。
また、所定の位置関係を有する構成データは、参照画像と分析領域との所定の位置関係に基づいてはいちされる分析領域の構成データのような一時的に配置されたものであってよい。たとえば、分析領域は、参照画像の赤外線熱画像における位置パラメータにより、参照画像における所定の位置に基づいて設置される分析領域である。所定の位置は、たとえば、座標位置である。当該座標位置は、予め参照画像の構成データと関連付けて記憶されるもの、参照画像の構成データを演算および/または加工して取得されるものであってよい。座標位置に基づいて分析領域の構成データ(たとえば、点、線、面)を一時的に配置することにより分析領域を設置する。分析領域は、参照画像と所定の位置関係を有する所定の位置に基づいて設置される分析領域であってよい。
さらに、記憶媒体に参照画像の構成データおよびそれに関連付けられる分析領域の構成データ、並びに参照画像および分析領域の赤外線熱画像における位置情報が記憶されている場合、参照画像位置設置部および分析領域位置設置部は、参照画像および分析領域の赤外線熱画像における位置情報に基づいて、参照画像および分析領域のそれぞれの赤外線熱画像における位置パラメータを設置する。
また、所定の位置関係を有しない構成データから参照画像および分析領域の構成データを確定してもよい。たとえば、参照画像の構成データに関連付ける構成データまたは同一の被写体情報に関連付ける構成データから選択される参照画像の構成データと分析領域の構成データとの間に予め記憶される所定の位置関係を有しない場合、使用者により両者の位置パラメータを設置してもよい。参照画像を参照できるため、従来技術に比べてだいぶ便利になる。
本発明は、記憶装置に記録されるプログラムを実行することにより上述した実施例の機能を実現するシステムまたは装置のコンピュータ(たとえば、CPU、MPUなどの装置)に関し、およびシステムまたは装置のコンピュータにより記憶装置に記録されたプログラムを読み出して実行することで上述した実施例の機能を実現するステップを有する方法に関する。このため、たとえば、ネットワークを介して、または記憶装置として用いられる各種類型の記憶媒体(たとえば、コンピュータにより読取可能な媒体)からプログラムをコンピュータに提供する。
ハードウェア、ソフトウェアまたはその結合により添付図中の機能ブロックを実現できるが、通常は、一対一の対応形態で機能ブロックを実現するという構造を設定する必要はない。例えば、一つのソフトウェアまたはハードウェアユニットにより複数の機能のブロックを実現することもできるし、また複数のソフトウェアまたはハードウェアユニットにより1つの機能のブロックを実現することもできる。また、専用回路や汎用プロセッサ、またはプログラマブルFPGAを用いて、本発明の実施形態における一部または全部の部材の処理及び制御機能を実現することもできる。
音声形態により通知し、音声ライブラリのデータ(たとえば、分析診断結果に対応する音声、または文字や符号に対応する音声データが分析診断結果の内容により生成される対応の音声)が記憶されていることが好ましい。
上記の実施例において、様々な参照画像および分析領域の構成データ並びに参照画像および分析領域の位置設置の実施形態、分析モードおよび診断規則の確定の実施形態、合成パラメータの設置の実施形態、切換えの設置の実施形態、使用者によりこれらの処理について配置できることについて説明した。ただし、これに限らず、たとえば、熱画像装置13が出荷される場合、既に上述した複数の設置のうち一つまたは一つ以上の組合せが配置され(たとえば、出荷される場合、既に参照画像および分析領域の構成データの所定の指定類型、参照画像および分析領域の位置規則、合成パラメータ、分析モード、診断規則の実施形式)、使用時には、記憶媒体における構成データに基づいて、自動的に出荷配置に応じた上述した処理を行ってもよいし、または、出荷される場合、一部の項目を配置し、使用者によりその他の部分の配置を行ってもよい。上述した効果は、一連の代表性のある実施形態として実行され、本発明の実施形態による任意の製品は必ずしも上述したすべての効果を同時に達成する必要性はない。
上述した実施例では、電力業界における被写体への応用するシーンを例示しているが、本発明は、赤外線測定の各分野に広く適用できる。
上述した説明は本発明の具体的な実施形式だけであって、各種の例示説明は本発明の実質な内容を制限しない。本発明の属する分野における技術者は、本明細書の記載に基づいて、具体的な実施形態について修正および変更することができても、本発明の技術的範囲に属する。