JP5367305B2 - 目視検査装置および目視検査方法 - Google Patents

Description

本発明は、構造物の目視検査装置及びその検査方法に係り、特に、原子炉炉内構造物の目視検査装置及びその検査方法に関する。

原子力発電プラントでは、安全性と信頼性を維持するために機器の定期的な検査が行われている。その中でも重要となる炉内構造物の検査は、カメラを使用した間接目視で実施される。この間接目視検査は、炉内上部から水中カメラや水密ケースに入れたカメラを作業員の手作業で炉内水中に沈め、炉内上部からカメラを遠隔で操作して検査対象を撮影し、炉内上部に設置したモニタに出力したカメラの映像を検査員が目視確認している（特許文献１）。

また、カメラの映像をビデオテープなどに記録しておき、欠陥などがある場合には、このビデオテープを事務所に持ち帰り、再度ビデオテープの映像を確認しながら検査記録を作成している。

また、原子力発電プラントのような大型機器では撮影範囲が広いため、複数のカメラを搭載した検査装置を走査して広範囲の画像データを得る方法も開発されている（特許文献２）。
特開２０００−３４６９７６号公報 特開２００２−１４９８５９号公報

従来の目視検査では、カメラの映像から検査員が目視で欠陥を探すために、カメラの解像度が検出すべき欠陥に対して不十分である場合、欠陥の視認性が悪くなり欠陥の見落としが発生する可能性がある。このような欠陥の見落としを防止するには、カメラの撮影範囲を狭くして検査を行う必要があるが、大型機器の炉内構造物全てを撮影範囲の狭いカメラで撮影するには時間がかかり、検査時間が長時間化するといった問題がある。

また、特許文献２に示されるように複数のカメラを用いて検査時間の短縮化を図る手段も知られているが、装置が大規模になり高コストで操作性が悪く、また、得られた画像の解像度もそれぞれのカメラが有する解像度を超えるものではなく、解像度は十分とはいえないものであった。

一方、高解像度のカメラを利用する方法もあるが、高解像度のカメラはフレームレートが遅いため、作業員の操作がカメラの映像に反映されるまでに時間差が生じ、操作性が悪いものとなっている。また、高解像度のカメラを用いる際も、大型機器の炉内構造物全てを撮影範囲の狭いカメラで撮影するには時間がかかり、検査時間が長時間化するといった問題がある。さらに、高解像度の映像はデータサイズが大きいために、従来よりも大規模な記録装置が必要になったり、通信回線を使用したデータの伝送に時間がかかったりなどの問題もある。

次に、検査員のリソースの問題として、現在の検査は、検査員が現場で検査を実施しているために、異なる発電プラントの検査を同じ検査員が掛け持つことが不可能であり、検査員のリソースを十分に活用することが困難な状況にある。

本発明は、上記の問題を解決するためになされたもので、通常の解像度を有するカメラを用い、検査員に欠陥の視認性が良い検査画像を提供することで検査品質が向上できる低コストでコンパクトな検査装置を提供することを第１の目的とし、さらに、検査員が現場で検査することなく、同一の検査員が異なる発電プラントの検査も担当できる検査装置を提供することを第２の目的とする。

上記課題を解決するために、本発明に係る目視検査装置は、検査映像を取り込みデジタルデータの画像を出力する画像入力装置と、前記画像入力装置から出力される画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択する画像選択装置と、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成する高解像度画像作成装置と、前記検査画像と高解像度画像を表示する画像確認装置とを備え、前記画像選択装置は、連続した画像間のカメラ運動量及び／又は連続した画像間の照明の変化状態に基づいて検査に使用する前記複数の検査画像を選択することを特徴とする。

また、本発明に係る目視検査装置は、検査対象を撮影するカメラと、前記カメラに取り付けられ外部制御信号により前記カメラを操作させるカメラ操作装置と、前記カメラで撮影された検査映像を取り込みデジタルデータの画像を出力する画像入力装置と、前記画像入力装置から出力される画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択する画像選択装置と、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成する高解像度画像作成装置と、前記検査画像と高解像度画像を表示する画像確認装置とを備え、前記画像選択装置は、連続した画像間のカメラ運動量及び／又は連続した画像間の照明の変化状態に基づいて検査に使用する前記複数の検査画像を選択することを特徴とする。

また、本発明に係る目視検査装置は、検査対象を撮影するカメラと、前記カメラに取り付けられ外部制御信号により前記カメラを操作させるカメラ操作装置と、前記カメラで撮影された検査映像を取り込みデジタルデータの画像を出力する画像入力装置と、検査対象の形状情報を記録する検査対象記録装置と、前記検査対象記録装置に記録された形状情報と前記画像入力装置から出力される出力画像とを比較照合して前記出力画像から検査対象を認識する画像認識装置と、前記画像入力装置から出力される画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択する画像選択装置と、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成する高解像度画像作成装置と、前記検査画像と高解像度画像を表示する画像確認装置とを備え、前記画像認識装置の認識結果から前記カメラと前記カメラ操作装置とを制御することにより、前記画像選択装置で選択される特徴量の画像を前記カメラから画像入力装置に入力することを特徴とする。

また、本発明に係る目視検査方法は、請求項１乃至１１記載の目視検査装置を用いた目視検査方法において、検査映像を取り込みデジタルデータの画像を出力するステップと、前記出力画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択するステップと、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成するステップと、前記検査画像と前記高解像度画像を表示するステップと、を有し、前記複数の検査画像を選択するステップは、連続した画像間のカメラ運動量及び／又は連続した画像間の照明の変化状態に基づいて検査に使用する当該複数の検査画像を選択することを特徴とする。

本発明は、上記の構成を有することにより、通常の解像度を有するカメラを用いて検査員に欠陥の視認性が良い検査画像を提供することで、検査品質が向上できる低コストでコンパクトな検査装置を提供することができると共に、検査員が現場で検査することなく、同一の検査員が異なる発電プラントの検査も担当できる検査装置を提供することができる。

以下、本発明に係わる実施形態について、図面を参照して説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る目視検査装置の構成を示すブロック図である。図１に示すように、第１の実施形態に係る目視検査装置は、検査対象１００を撮影するカメラ１０１と、カメラを吊り下げて支持する例えば吊りからなる操作装置１０２と、カメラ１０１の映像を取り込みデジタルの画像を出力する画像入力装置１０３と、前記画像入力装置の出力画像の中から画像の特徴量に基づいて検査に使用する検査画像を選択する画像選択装置１０４と、画像選択装置１０４で選択された検査画像から検査画像の解像度よりも高解像度の高解像度画像を作成する高解像度画像作成装置１０５と、画像選択装置１０４で選択された検査画像と高解像度画像作成装置１０５で作成された高解像度画像を表示する画像確認装置１０６とから構成される。

次に、この目視検査装置の動作について説明する。カメラ１０１は、通常の解像度を有するカメラで、例えばカメラ１０１の上部に取り付けられた操作装置１０２で支持され、カメラ１０１とは反対側の操作装置１０２端を作業者が操作して検査対象１００までカメラ１０１を移動させ検査対象１００を撮影する。カメラ１０１の映像は、画像入力装置１０３に入力されデジタル画像として出力される。画像入力装置１０３の出力画像は画像選択装置１０４に入力され、画像選択装置１０４は、入力された画像入力装置１０３の出力画像の画像特徴量を画像処理により計測し、計測した画像特徴量を基に検査に使用する画像を選択し出力する。

（第１の画像選択方法）
画像選択装置１０４の第１の画像選択方法について説明する。
画像選択装置１０４は、画像入力装置１０３の出力画像を逐次記録しておき、記録している画像と画像入力装置１０３の最新の出力画像の２枚を画像処理で比較する。

図２は、画像２００ａと画像２００ｂの２枚の画像の比較方法の説明図である。画像選択装置１０４は、画像２００ａに矩形の比較領域２０１を設定し、比較領域２０１を画像２００ｂの左上部から右下部にかけて逐次画像の重ね合わせ位置を１画素ずつずらしながら画像走査２０２を行い、各位置でマッチング処理を実行し輝度の相関値を計算する。

画像選択装置１０４は、各位置で計算した輝度の相関値の中で最も相関値の高い位置を検索し、画像２００ａの比較領域２０１の位置に対する画像間のずれ量を計算する。この結果、得られたずれ量は、カメラ１０１の運動により撮影範囲が移動したものである。

次に、画像選択装置１０４は、２枚の画像の撮影時間の差から時間単位のずれ量を計算する。このずれ量が大きい場合には、大きなカメラ運動が起きていることから画像のブレが発生している可能性が高い。よって、画像選択装置１０４は、このずれ量が小さい画像を選択し、検査画像として出力する。

また、本説明では、比較領域を１つの矩形で説明したが、検査対象の形状に合わせるなど、任意の形状で比較領域を設定しても良いし、表面の凹凸形状に対応するために複数の局所領域ごとのブロックマッチングを用いてもよい。

（第２の画像選択方法）
次に、画像選択装置１０４の第２の画像選択方法について説明する。
画像選択装置１０４は、第１の画像選択方法と同様に、画像入力装置１０３の出力画像を逐次記録しておき、記録している画像と画像入力装置１０３の最新の出力画像の２枚を画像処理で比較する。

図３は、画像２００ａと画像２００ｂの２枚の画像の比較方法の説明図である。
画像選択装置１０４は、画像２００ａと画像２００ｂを入力として画像差絶対値処理３０１を行い、２枚の画像間の輝度差を示した輝度差画像３０２を求め、輝度差画像３０２から輝度差ヒストグラム３０３を計算する。

輝度差ヒストグラム３０３は、横軸に輝度差、縦軸に各輝度差の画素数を示した頻度グラフである。輝度差ヒストグラム３０３では、２枚の画像間の輝度差が小さい場合には、輝度差ヒストグラム３０３ａのように輝度差の小さい方に画素数が分布する。また、画像間の輝度差が大きい場合には、輝度差ヒストグラム３０３ｂのように輝度差の大きいほうに画素数が分布する。画像間の輝度差は、照明の変化により生じるため、輝度差ヒストグラム３０３ａでは照明の変化が小さく、輝度差ヒストグラム３０３ｂでは照明の変化が大きいことになる。

したがって、画像選択装置１０４は、この輝度差ヒストグラムの画素数の頻度が輝度差の小さい方に分布した場合に画像を選択し検査画像として出力する。

また、本説明では、画像差絶対値処理を画像全体に対して実行しているが、検査対象の形状に合わせるなど、任意の領域に対して実行しても良いし、局所的な輝度変化を捉えるために局所領域ごとに実行してもよい。

画像選択装置１０４における画像選択方法として、第１の方法ではカメラの運動を基に画像を選択し、第２の方法では照明の変化を基に画像を選択したが、第１の方法と第２の方法を組み合わせて画像を選択する方法でも良い。

（高輝度画像作成装置及び作成方法）
高解像度画像作成装置１０５は、図４に示したように画像間位置合せ装置４００と輝度推定装置４０１で構成され、画像選択装置１０４で選択された検査画像は、高解像度画像作成装置１０５の画像間位置合せ装置４００と輝度推定装置４０１に入力される。

画像間位置合せ装置４００は、画像選択装置１０４から入力された検査画像を逐次記録しておき、記録している画像と画像選択装置１０４から入力される最新の検査画像の２枚を画像処理で比較し、画像間の位置合せを１画素以下のサブピクセル精度で行う。

実行方法として例えば、画像を拡大処理することで画像の画素精度を上げ、画像選択装置１０４の第１の画像選択方法と同様に、比較領域を設定し逐次画像の重ね合わせ位置を１画素ずつずらしながら画像走査を行い、各位置でマッチング処理を実行して輝度の相関値を計算する。次に、各位置で計算した輝度の相関値の中で最も相関値の高い位置を検索し、画像間の位置合せを行う。また、検査対象１００の表面が凹凸状の場合には、カメラ１０１から検査対象１００までの距離が一定でないため、局所領域ごとに画像間の位置合せの位置が異なる。そのような場合には、局所領域ごとにマッチング処理を実行し局所領域ごとに画像間の位置合せを行う。

輝度推定装置４０１は、画像選択装置１０４から入力される検査画像と画像間位置合せ装置４００の位置合せ位置から、画像選択装置１０４の検査画像の解像度よりも高解像度の高解像度画像を作成する。

高解像度画像の作成方法の一例を図５により説明する。
画像５００ａと画像５００ｂは、画像選択装置１０４から入力される検査画像で、これらの画像から高解像度画像５０２が作成される。

この例では高解像度画像５０２の解像度を画像５００ａと画像５００ｂに対して２倍に設定している。画像５００ａの画素５０１ａが高解像度画像５０２の1A、2A、1B、2Bの座標の画素だとすると、画像５００ｂの画素５０１ｂは、画像間位置合せ装置４００の位置合せ位置から、高解像度画像５０２における座標が計算される。この例では、2B、3B、2C、3Cとする。

次に、高解像度画像５０２の輝度を計算する。図５の例における高解像度画像５０２の座標2Bは、画像５００ａの画素５０１ａと画像５００ｂの画素５０１ｂが重なった座標であり、輝度推定装置４０１は、画素５０１ａと画素５０１ｂの輝度から高解像度画像５０２の座標2Bの輝度を推定する。
このような手順で、順次、１画素以下のサブピクセル単位の輝度を推定し、検査対象物の高解像度画像を作成する。

画像確認装置１０６では、画像選択装置１０４から出力される検査画像と高解像度画像作成装置１０５で作成した高解像度画像を表示し検査員へ提供する。その際、両者を適宜比較することにより欠陥の把握、視認を迅速・的確に行うことができると共に、作成された高解像度画像の評価も行うことができる。そして、その評価に基づき、必要に応じて、検査対象の再撮影、再度の画像処理を指示することができる。

本実施形態では、カメラ１０１の画像を画像入力装置１０３に入力する構成であるが、既存のビデオテープなどに記録した映像を画像入力装置１０３に入力する構成でも良い。
また、画像はモノクロ画像でもカラー画像でも上述した画像処理が適用できる。

この第１の実施形態によれば、カメラの解像度よりも高解像度な高解像度画像を検査員が確認し検査を行うことで欠陥の視認性が良くなり、検査品質を向上させることができる。また、カメラの運動が小さい場合や照明の変化が小さい場合の画像から高解像度画像を作成することで、高解像度画像の品質が向上し、欠陥の視認性が良くなることで検査品質を向上させることができる。

［第２の実施形態］
次に、本発明の第２の実施形態について図６を用いて説明する。
図６は、本発明の第２の実施形態に係る目視検査装置の構成を示すブロック図である。図６において、図１と同一または相当の部分については同一の符号を付し説明を省略する。

この第２の実施形態は、図１に示す第１の実施形態に対して、カメラ１０１を操作させるカメラ操作装置６００と、カメラ１０１とカメラ操作装置６００を操作するカメラ制御装置６０１を追加して設けたものである。

次に動作について説明する。
作業者は、カメラ制御装置６０１を操作してカメラ１０１で検査対象１００を撮影するように、カメラ１０１の撮影範囲やカメラ１０１の撮影方向を調整する。カメラ制御装置６０１は、作業者の操作に応じた外部制御信号をカメラ１０１とカメラ操作装置６００に送信し、カメラ１０１の画角とカメラ操作装置６００の操作方向を制御する。この際にカメラ制御装置６０１は、急激なカメラ１０１の画角変化や、急激なカメラ操作装置６００の操作運動が発生しないようにカメラ１０１とカメラ操作装置６００を制御することで、画像選択装置１０４で選択される画像特徴量の画像がカメラ１０１から出力される。

この第２の実施形態によれば、作業者がカメラの撮影範囲や撮影方向を操作できると共に、カメラとカメラ操作装置を制御することにより画像選択装置で選択される画像をカメラから画像選択装置に入力することができ、常に高解像度画像を作成することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について図７、図８を用いて説明する。
図７は、本発明の第３の実施形態に係る目視検査装置の構成を示すブロック図である。図７において、図１と同一または相当の部分については同一の符号を付し説明を省略する。

この第３の実施形態は、図１に示す第１の実施形態に対して、カメラ１０１を操作させるカメラ操作装置６００と、検査対象の形状情報を記録する検査対象記録装置７０１と、検査対象記録装置７０１に記録された検査対象の形状情報と画像入力装置１０３の出力画像とを画像処理により比較照合して、検査対象を認識する画像認識装置７００を追加して設けたものである。

次に動作について説明する。
図８は、画像認識装置７００の動作の説明図である。検査対象記録装置７０１には検査対象の形状を示した検査対象形状情報８００が記録されており、画像認識装置７００は、画像入力装置１０３の出力画像８０１に対して、画像を拡大縮小させる画像処理を複数の拡大条件で実行する画像拡大縮小処理８０２を行う。

次に、画像拡大縮小処理８０２の複数の出力画像に対して、画像を回転させる画像処理を複数の回転条件で実行する画像回転処理８０３を行い、画像回転処理８０３から出力される複数の変換画像と検査対象形状情報８００を画像比較処理８０４で比較照合し、画像８０１から検査対象を認識する。

画像認識装置７００は、画像入力装置１０３の出力画像から検査対象を認識した結果を基に、カメラ１０１の画角とカメラ操作装置６００の操作方向を制御することで、カメラ１０１の撮影範囲を検査対象に追従させる。これにより検査対象１００を安定してカメラ１０１で撮影することができ、画像選択装置１０４で選択される画像特徴量の画像がカメラ１０１から出力される。

この第３の実施形態によれば、画像処理によりカメラの画像から検査対象を自動認識しカメラの撮影範囲や撮影方向を自動制御することで、画像選択装置で選択される画像をカメラから画像選択装置に入力することができ、常に高解像度画像を作成することができる。

［第４の実施形態］
次に、本発明の第４の実施形態について図９を用いて説明する。
図９は、本発明の第４の実施形態に係る目視検査装置の構成を示すブロック図である。図９において、図１と同一または相当の部分については同一の符号を付し説明を省略する。

この第４の実施形態は、図１に示す第１の実施形態に対して、カメラ１０１を操作させるカメラ操作装置６００と、カメラ１０１の位置を計測する位置計測装置９００を追加して設けたものである。

次に動作について説明する。
作業者は、カメラ１０１に取り付けられた操作装置１０２を操作して検査対象１００までカメラ１０１を移動させ、操作装置１０２による操作や、カメラ操作装置６００によりカメラ１０１を操作させて、カメラ１０１で検査対象１００を撮影する。

位置計測装置９００は、カメラの位置をＧＰＳなどの方法を用いて計測し、計測結果をカメラ操作装置６００の操作位置とカメラ１０１の視野角と共に画像確認装置に入力する。画像確認装置１０６では、位置計測装置９００で計測したカメラ１０１の位置とカメラ操作装置６００の操作位置とカメラ１０１の視野角から、カメラ１０１で撮影している検査対象１００の位置を計算し、高解像度画像作成装置１０５により高解像度画像を作成した検査対象の位置の履歴を表示する。

この第４の実施形態によれば、高解像度画像を作成した検査対象の位置が把握できるため、検査対象の位置情報を付加して検査結果を記録管理できると共に、検査を行っていない場所が明確になり、検査漏れを防止することができる。

［第５の実施形態］
次に、本発明の第５の実施形態について図１０を用いて説明する。
図１０は、本発明の第５の実施形態に係る目視検査装置の構成を示すブロック図である。図１０において、図１と同一または相当の部分については同一の符号を付し説明を省略する。

この第５の実施形態は、図１に示す第１の実施形態に対して、画像確認装置１０６に検査員の指示により画像確認装置１０６に表示している高解像度画像を記録する画像記録メモリ１０００を追加して設けたものである。

次に動作について説明する。
従来の目視検査では、カメラの映像をビデオテープなどに記録しておき、検査対象に欠陥などがある場合には、このビデオテープを事務所に持ち帰り、再度ビデオテープの映像を確認しながら検査員が検査記録を作成していた。

この第５の実施形態の目視検査装置は、検査員が画像確認装置１０６に表示された画像を確認している際に、検査対象１００に欠陥があると判断した場合に検査員の指示により画像確認装置１０６に表示していた高解像度画像を画像確認装置１０６の画像記録メモリ１０００に記録する。その後、画像確認装置１０６の画像記録メモリ１０００に記録されている高解像度画像を元に検査報告書１００１を作成する。

この第５の実施形態によれば、画像確認装置１０６に表示された画像を検査員が確認しながら欠陥があると判断した高解像度画像を画像記録メモリ１０００に逐次記録し検査報告書１００１を作成することで、再度映像を確認しながら検査報告書を作成する必要がなく、検査員の拘束時間を短縮することができる。

［第６の実施形態］
次に、本発明の第６の実施形態について図１１を用いて説明する。
図１１は、本発明の第６の実施形態に係る目視検査装置の構成を示すブロック図である。図１１において、図１と同一または相当の部分については同一の符号を付し説明を省略する。

この第６の実施形態は、図１に示す第１の実施形態に対して、通信回線１１０３で接続され検査対象１００をカメラ１０１で撮影する現場側１１００と、現場側１１００から離れた場所に位置し実際に検査を行う事務所側１１０１間でデータの送受信を行う送受信装置１１０２を追加して設けたものである。

次に動作について説明する。
画像選択装置１０４で選択された検査画像は、現場側１１００に設置された第１の送受信装置１１０２ａにより通信回線１１０３を使用して事務所側１１０１に設置された第２の送受信装置１１０２ｂへ送信される。通信回線１１０３とは、電話回線、LAN、無線LAN、赤外線通信、衛星通信などで実現される。

事務所側に設置された第２の送受信装置１１０２ｂは、第１の送受信装置１１０２ａから送信された検査画像を高解像度画像作成装置１０５と画像確認装置１０６に出力する。高解像度画像作成装置１０５は、第１の送受信装置１１０２ａから出力された検査画像から高解像度画像を作成し画像確認装置１０６に出力する。画像確認装置１０６では、第２の送受信装置１１０２ｂから出力される検査画像と高解像度画像作成装置１０５で作成した高解像度画像を表示し検査員へ提供する。

この第６の実施形態によれば、現場から離れた場所においても通信回線を利用することにより遠隔で高精度な目視検査が可能となる。また、通信回線で送受信した検査画像から高解像度な高解像度画像を作成しているために、高解像度な画像を通信回線で送受信するよりもデータ量を削減でき、伝送帯域が限られた通信回線を使用した遠隔検査においても高精度な検査を提供することができる。さらに、連続して送られてくる検査画像からカメラ１０１の位置や検査対象１００の位置などの撮影状況を検査員が確認できるため、従来現場で行っていた検査と同様の検査が、通信回線を使用して送受信した画像から行えることになる。

［第７実施形態］
次に、本発明の第７の実施形態について図１２を用いて説明する。
図１２は、本発明の第７の実施形態に係る目視検査装置の構成を示すブロック図である。図１２において、図１１と同一または相当の部分については同一の符号を付し説明を省略する。

この第７の実施形態は、図１１に示す第６の実施形態に対して、画像選択装置１０４で選択された検査画像の画質を画像処理により改善する画像画質改善装置１２００と、画像画質改善装置１２００で画質改善を行った画像を表示するモニタ１２０１と、現場側１１００の作業者と事務所側１１０１の検査員の音声を入出力する音声入出力装置１２０２を追加して設けたものである。

次に動作について説明する。
従来の目視検査では、モニタに表示したカメラの映像を検査員が目視で確認し、欠陥とは判断できないが欠陥らしいものが映っていた場合には、カメラを検査対象に近づけて再確認していた。

この第７の実施形態の目視検査装置は、検査員が画像確認装置１０６に表示された画像を確認している際に、検査対象１００にカメラ１０１を近づけて再確認が必要と判断した場合には、検査員は音声で作業者へ指示する。

この第７の実施形態では、検査員の音声を事務所側１１０１の音声入出力装置１２０２ｂに入力し、音声入出力装置１２０２ｂは送受信装置１１０２により検査者の音声を通信回線１１０３を利用して現場側１１００の音声入出力装置１２０２ａに送信する。音声入出力装置１２０２ａは、検査員の音声を出力して検査員の指示を作業者へ伝達する。

また、作業者の作業確認などの音声は、現場側１１００の音声入出力装置１２０２ａに入力され、第２の送受信装置１１０２により事務所側１１０１の音声入出力装置１２０２ｂに送信される。音声入出力装置１２０２ｂは、作業者の音声を出力して作業者の音声を検査員に伝達する。

これらの動作により、現場側の作業者と事務所側の検査員は、対話しながら遠隔検査を行う。また同時に、画像選択装置１０４で選択された検査画像は、画像画質改善装置１２００に入力され、画像画質改善装置１２００で画像処理により画像の画質が改善されてモニタ１２０１に出力される。画像画質改善装置１２００は、例えば高解像度画像作成装置１０５と同様な画像処理により画像の高解像度化や、画像のコントラストを強調する画像処理により画像の画質改善を行った画像を出力する。

現場側１１００では、検査対象１００のどの位置を検査員が再確認したいかを、音声入出力装置１２０２による対話とモニタ１２０１に表示された画像で作業者が確認し、検査対象１００にカメラ１０１を近づける等の操作作業を行う。

この第７の実施形態によれば、検査対象１００にカメラ１０１を近づける等の再確認作業の位置を、作業者が対話とモニタに表示された画像で確認することにより、遠隔にいる検査員の意思を的確に作業者に伝えることができ作業性がよくなる。また、従来現場で行っていた検査と同様の検査が、通信回線を使用して送受信した画像から実施可能となる。

［第８の実施形態］
次に、本発明の第８の実施形態について図１３を用いて説明する。
図１３は、本発明の第８の実施形態に係る目視検査装置の構成を示すブロック図である。図１３において、図１１と同一または相当の部分については同一の符号を付し説明を省略する。

この第８の実施形態は、図１１に示す第６の実施形態に対して、画像選択装置１０４で選択された検査画像に日付と時間を描画する日時描画装置１３００を追加して設けたものである。

次に動作について説明する。
画像選択装置１０４で選択された検査画像は日時描画装置１３００に入力され、日時描画装置１３００で現在の日時が例えば検査画像の左上部などの位置に描画される。日時描画装置で日時が描画された検査画像は、送受信装置１１０２により通信回線１１０３を使用して現場側１１００から事務所側１１０１に伝送され画像確認装置１０６に表示される。また、同時に日時描画装置１３００から検査画像に描画した日時情報が送受信装置１１０２により画像確認装置１０６に送信される。画像確認装置１０６では、検査画像に描画されている日時を画像処理により読み取り、日時描画装置１３００から送信された日時情報と比較し、受信した検査画像が現場側から送信された検査画像であることを確認する。また検査員は、画像確認装置１０６に表示された検査画像の日時と現在の日時を比較し、確認している検査画像が現場側１１００から送信された検査画像であることが確認できる。

この第８の実施形態によれば、通信回線を使用して遠隔検査を行う場合に、検査員が確認している画像が現場側から事務所側に送信された検査画像であることが確認でき、検査が正しい検査画像で行われたことを保障できる。よって、意図しない通信回線の異常やシステムのトラブルにより検査画像の伝送に問題が発生した場合においても、その異常が分かるため適切に対処することができる。

［第９の実施形態］
次に、本発明の第９の実施形態について図１４を用いて説明する。
図１４は、本発明の第９の実施形態に係る目視検査装置の構成を示すブロック図である。図１４において、図１１と同一または相当の部分については同一の符号を付し説明を省略する。

この第９の実施形態は、図１１に示す第６の実施形態に対して、高解像度画像作成装置１０５と、新規に画像を圧縮する画像圧縮装置１４００を現場側１１００に設置し、また、事務所側１１０１に画像を復元する画像復元装置１４０１を追加して設けたものである。

次に動作について説明する。
画像選択装置１０４は、選択した検査画像を高解像度画像作成装置１０５と画像圧縮装置１４００に出力する。高解像度画像作成装置１０５は、画像選択装置１０４から出力された検査画像から高解像度画像を作成し第１の送受信装置１１０２ａに出力する。

また、画像圧縮装置１４００は、画像選択装置１０４から出力された検査画像をMPEGなどの動画圧縮を行い第１の送受信装置１１０２ａに出力する。第１の送受信装置１１０２ａは、高解像度画像作成装置１０５から出力された高解像度画像と、画像圧縮装置１４００から出力された動画圧縮の検査画像とを通信回線１１０３を使用して事務所側１１０１に設置された第２の送受信装置１１０２ｂに送信する。

事務所側に設置された第２の送受信装置１１０２ｂは、第１の送受信装置１１０２ａから送信された高解像度画像を画像確認装置１０６に、動画圧縮の検査画像を画像復元装置１４０１に出力する。画像復元装置１４０１は、動画圧縮された検査画像を復元し画像確認装置１０６に出力する。画像確認装置１０６では、復元した検査画像と高解像度画像を表示し検査員へ提供する。

この第９の実施形態によれば、第６の実施形態と同様に、現場から離れた場所においても通信回線を利用することにより遠隔で高精度な目視検査が可能となる。また、動画圧縮の検査画像と、時間空間の画像情報を集約した高解像度画像を通信回線で伝送しているため、非圧縮の検査画像を伝送するよりもデータ量を削減でき、伝送帯域が限られた通信回線を使用した遠隔検査においても高精度な目視検査が可能となる。

本発明の第１の実施形態に係る目視検査装置の構成図。 本発明の第１の実施形態に係る第１の画像選択方法の説明図。 本発明の第１の実施形態に係る第２の画像選択方法の説明図。 本発明の第１の実施形態に係る高解像度画像作成装置の構成図。 本発明の第１の実施形態に係る高解像度画像の作成方法の説明図。 本発明の第２の実施形態に係る目視検査装置の構成図。 本発明の第３の実施形態に係る目視検査装置の構成図。 本発明の第３の実施形態に係る画像認識装置の動作の説明図。 本発明の第４の実施形態に係る目視検査装置の構成図。 本発明の第５の実施形態に係る目視検査装置の構成図。 本発明の第６の実施形態に係る目視検査装置の構成図。 本発明の第７の実施形態に係る目視検査装置の構成図。 本発明の第８の実施形態に係る目視検査装置の構成図。 本発明の第９の実施形態に係る目視検査装置の構成図。

符号の説明

１００…検査対象、１０１…カメラ、１０２…操作装置、１０３…画像入力装置、１０４…画像選択装置、１０５…高解像度画像作成装置、１０６…画像確認装置、２００ａ，２００ｂ，５００ａ，５００ｂ，８０１…画像、２０１…比較領域、２０２…画像走査、３０１…画像差絶対値処理、３０２…輝度差画像、３０３，３０３ａ，３０３ｂ…輝度差ヒストグラム、４００…画像間位置合せ装置、４０１…輝度推定装置、５０１ａ，５０１ｂ…画素、５０２…高精細画像、６００…カメラ操作装置、６０１…カメラ制御装置、７００…画像認識装置、７０１…検査対象記録装置、８００…検査対象形状情報、８０２…画像拡大縮小処理、８０３…画像回転処理、８０４…画像比較処理、９００…位置計測装置、１０００…画像記憶メモリ、１１０２，１１０２ａ，１１０２ｂ…送受信装置、１１０３…通信回線、１２００…画像画質改善装置、１２０１…モニタ、１２０２ａ，１２０２ｂ…音声入出力装置、１３００…日時描画装置、１４００…画像圧縮装置、１４０１…画像復元装置。

Claims (12)

1. 検査映像を取り込みデジタルデータの画像を出力する画像入力装置と、前記画像入力装置から出力される画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択する画像選択装置と、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成する高解像度画像作成装置と、前記検査画像と高解像度画像を表示する画像確認装置とを備え、
   前記画像選択装置は、連続した画像間のカメラ運動量及び／又は連続した画像間の照明の変化状態に基づいて検査に使用する前記複数の検査画像を選択することを特徴とする目視検査装置。
2. 検査対象を撮影するカメラと、前記カメラに取り付けられ外部制御信号により前記カメラを操作させるカメラ操作装置と、前記カメラで撮影された検査映像を取り込みデジタルデータの画像を出力する画像入力装置と、前記画像入力装置から出力される画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択する画像選択装置と、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成する高解像度画像作成装置と、前記検査画像と高解像度画像を表示する画像確認装置とを備え、
   前記画像選択装置は、連続した画像間のカメラ運動量及び／又は連続した画像間の照明の変化状態に基づいて検査に使用する前記複数の検査画像を選択することを特徴とする目視検査装置。
3. 前記カメラと前記カメラ操作装置とを操作するカメラ制御装置を備えたことを特徴とする請求項２記載の目視検査装置。
4. 前記カメラの位置を計測する位置計測装置を備え、前記カメラの位置と前記カメラ操作装置の操作位置と前記カメラの視野角から前記カメラで撮影している検査対象の位置を算出し、前記高解像度画像作成装置により高解像度画像を作成した検査対象の位置履歴を計測することを特徴とする請求項３記載の目視検査装置。
5. 検査対象を撮影するカメラと、前記カメラに取り付けられ外部制御信号により前記カメラを操作させるカメラ操作装置と、前記カメラで撮影された検査映像を取り込みデジタルデータの画像を出力する画像入力装置と、検査対象の形状情報を記録する検査対象記録装置と、前記検査対象記録装置に記録された形状情報と前記画像入力装置から出力される出力画像とを比較照合して前記出力画像から検査対象を認識する画像認識装置と、前記画像入力装置から出力される画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択する画像選択装置と、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成する高解像度画像作成装置と、前記検査画像と高解像度画像を表示する画像確認装置とを備え、
   前記画像認識装置の認識結果から前記カメラと前記カメラ操作装置とを制御することにより、前記画像選択装置で選択される特徴量の画像を前記カメラから画像入力装置に入力することを特徴とする目視検査装置。
6. 前記画像確認装置に任意の画像を記録する画像メモリを備え、前記画像メモリに記録した画像から検査報告書を作成することを特徴する請求項１乃至５いずれかに記載の目視検査装置。
7. 前記画像選択装置で選択された検査画像の画質を改善する画像画質改善装置と、前記画像画質改善装置の出力画像を表示するモニタとを備えたことを特徴とする請求項１乃至６いずれかに記載の目視検査装置。
8. 前記画像選択装置で選択された検査画像を通信回線によって第２の送受信装置に送信する第１の送受信装置と、前記選択された検査画像を受信し前記高解像度画像作成装置に出力する第２の送受信装置を備えることを特徴とする請求項１乃至７いずれかに記載の目視検査装置。
9. 前記画像選択装置で選択された検査画像を圧縮する画像圧縮装置と、前記画像圧縮装置で作成された圧縮画像と前記高解像度画像作成装置で作成された前記高解像度画像を通信回線によって第２の送受信装置に送信する第１の送受信装置と、前記圧縮画像と前記高解像度画像を受信すると共に、前記圧縮画像を画像復元装置を介して前記画像確認装置に出力し、前記高解像度画像を前記画像確認装置に出力する第２の送受信装置を備えることを特徴とする請求項１乃至８いずれかに記載の目視検査装置。
10. 音声の入出力をする音声入出力装置を備え、前記第１又は第２の送受信装置により通信回線を使用して音声を送受信し対話しながら遠隔検査を行うことを特徴とする請求項８又は９記載の目視検査装置。
11. 前記第１又は第２の送受信装置により通信回線を使用して送受信する画像に日付と時間を描画し、送信した画像と受信した画像が相違ないことを確認できるようにしたことを特徴とする請求項８乃至１０いずれかに記載の目視検査装置。
12. 請求項１乃至１１記載の目視検査装置を用いた目視検査方法において、検査映像を取り込みデジタルデータの画像を出力するステップと、前記出力画像の中から画像の特徴量に基づいて検査に使用する複数の検査画像を選択するステップと、前記複数の検査画像から当該検査画像の解像度よりも高解像度の高解像度画像を画像間位置合せ装置と輝度推定装置により作成するステップと、前記検査画像と前記高解像度画像を表示するステップと、を有し、
    前記複数の検査画像を選択するステップは、連続した画像間のカメラ運動量及び／又は連続した画像間の照明の変化状態に基づいて検査に使用する当該複数の検査画像を選択することを特徴とする目視検査方法。

Images