JPH0764950A - 監視装置および監視方法 - Google Patents

Abstract

(57)【要約】 【目的】 カメラ等の撮影装置からの画像情報をニュー
ラルネットワークに入力して異常の有無を判断する監視
装置において、外乱を除去し、判断の高速化を図る。 【構成】 監視対象物を撮影してその画像を入力する撮
影装置と、入力された画像について画像圧縮、階層圧縮
などの前処理を行う画像処理装置と、画像処理装置から
出力された画像の輝度データに基づきテキスチャー特徴
量を求める特徴量算出装置と、求めたテキスチャー特徴
量に基づき異常の有無を判断するニューラルネットワー
クとを備えた監視装置。 【効果】 判断に要する時間が短縮し、精度が向上す
る。また、使用するニューラルネットワークのニューロ
ン数を大幅に低減することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、監視装置および監視方
法に係り、特にプラント装置などの対象物の監視を行な
う装置および方法であって、学習機能を有し、外乱の除
去と判断の高速化をはかった監視装置および監視方法に
関する。

【０００２】

【従来の技術】火力発電所等のプラントにおいては、設
備の長寿命化、パトロールの省力化等の要請により、設
備監視の自動化に対する要求が高まっている。そのため
重要機器（例えば、燃料供給装置、バーナー部、主要バ
ルブ等）を監視テレビカメラを用いて、モニターテレビ
上で集中的に監視する方法が広く用いられている。ま
た、近年の画像処理技術の進展に伴い、監視テレビカメ
ラの画像を画像処理することによって、異常の有無判断
に使用するケースがＦＡ（ Factory Automation ) の分
野からの波及として増加する傾向にある。

【０００３】しかしながら、テレビカメラでは監視領域
が限られ、広大な敷地内に設置されているボイラープラ
ント全体をカバーできず、実際には巡視員による１日６
〜７回の目視および／または聴覚による巡視点検が行な
われている。この巡視点検業務は異常発見に対して熟練
を要するものであり、かなりの負担となっている。また
発電所のニーズとして監視の中央集中化、または省力化
に伴なう人的な制約があり、現在、巡視員に代わって現
場を巡視点検するロボットが開発されている。

【０００４】人間の巡視に対する機能を分析すると、
（１）状況把握、（２）移動、（３）状況判断、（正常
または異常）（４）処理機能に大別され、これに相当す
るシステム機能は、（１）センサー技術、（２）移動機
能、（３）コンピューター技術、（４）運転ガイダンス
表示となる。

【０００５】これらのシステムを具体化し、ロボットに
よる点検システムを実現させると、この概略は図２に示
すように次の３つの部分、すなわち（１）現場を巡回点
検する監視ロボット１、（２）監視ロボットからの情報
を処理し、異常の有無を判断する異常判断装置４、
（３）現場からの生画像、生音響を提示し、異常判断装
置から”異常あり”の判断があれば、異常内容の提示を
行なうマン・マシン・インターフェイス５から構成され
る。

【０００６】監視ロボットには人間の五感のうち視覚、
聴覚、嗅覚、および触覚に匹敵するＩＴＶカメラ２、マ
イクロフォン３、ガスセンサーおよび非接触型の温度計
を搭載している。これらのセンサーを用い、現場内を移
動し、各情報を収集する。これらの情報を異常判断装置
にて、画像データであれば、画像処理、音響データであ
れば音響処理といったように処理し、異常の有無を判断
する。

【０００７】ここで異常の検出例を述べる。異常項目は
監視対象、監視場所によって異なるが、ボイラープラン
トを例にとると、主に油のリーク、蒸気リークに絞られ
る。これらのリークは放っておくと重大事故につなが
り、早期発見が要求されている項目である。油リークは
画像変化のみを伴なうもので、画像変化のみに注目した
画像処理を行ない、異常を抽出する。以下に現在行なわ
れている異常検出画像処理手順を、油リーク検出を例に
とり説明する。

【０００８】画像処理フローチャートを図３に示す。同
図中１：静画像による方法に示すように、ロボットは基
準画面として対象となる機器や場所の正常時の状態を画
像としてメモリーに記憶しておく。ボイラーでいえば、
油リークの発生確率が高い場所（油配管のフランジ部、
バーナー前のオイルパン等）の正常時の画像である。ま
た二値化処理とは、画像を画素単位でとらえ、あるしき
い値を基準に輝度の高いものを白、低いものを黒とする
処理であり、一般に画像処理の前処理として行なわれて
いるものである。ロボットが巡回を行ない、基準画像を
記憶した場所に再度停止すると、図中のフローチャート
のような処理を行なう。すなわち、基準画像として取り
込んだ同じ対象を対象画像として取り込み、先に取り込
んだ基準画像と後に入力した対象画像の減算を行ない、
変化分（差画像）を抽出し、この変化分があるしきい値
より大きければその画素を白、小さいものを黒となるよ
う二値化処理を行なう。ここで、例えば白となったもの
についてのみ面積計算を行ない、異常かどうかを判定す
る。この面積計算を行なう理由は以下の通りである。

【０００９】画像と画像のマッチングは、一般的に固定
カメラで同一場所を取り込んだ画像同士でも、必ず１画
素分程度のズレを生じる。これは対象機器の振動等、人
間には変化がわからないような微少な変化分のためであ
る。まして現在行なっている監視システムにおいては、
固定カメラではなく、ロボットによる移動カメラを利用
した画像であり、位置決めの再現性は常識的に限界があ
る。このズレによる変化分を誤判断しないために、判定
基準にしきい値を設けている。この基準は現在３％とし
ている。すなわち面積計算を行ない、変化分が３％以内
であるとズレによる画像変化であるとみなし、異常なし
と判定し、３％以上であると、異常と判定する。

【００１０】異常の処理を行なった実例を図４に示す。
これは油配管のフランジ部の漏洩油を受けるオイルパン
（油受け皿）を点検した場合の例であり、図中において
基準画像は正常時の画像であり、対象画像は油がフラン
ジよりリークした場合の画像である。この二つの画像に
対し、ノイズ除去、二値化処理を行なうと、リークした
油のみが検出された画像を得ることができる。この種の
異常検知手法は一般的であり、製品としては無人監視用
デジタル画像センサー等の異常判断ロジックで使用され
ている。

【００１１】以上、プラントにおけるロボットによる監
視システムの構成および画像処理手法を利用した異常検
知判定例を述べた。この他、ニューラルネットワークに
よる判断により、異常を検知する方法もある。この方法
の概要を述べると、前記従来例と同様にカメラによりオ
イルパンの画像を取り込み、カメラにより取り込まれた
原画面はスムージングによりノイズ除去を行なった後、
あらかじめ決定されている画面上の領域（監視対象：オ
イルパン等が映っている部分）に処理領域の設定を行な
う。その後、処理領域内の画面を圧縮（例：２５６×２
５６画素の画面→６４×６４画素の画面）を行なう。

【００１２】圧縮された輝度データは、ニューラルネッ
トワークの入力部に送られ、ネットワークは画像の正常
／異常を教師信号により学習し、調整を行なう。このニ
ューラルネットワークに学習条件と同様に、検知対象と
なる映像の圧縮された輝度データを入力することによ
り、その対象画面の正常／異常を判断するものである。

【００１３】

【発明が解決しようとする課題】上記従来技術には、以
下のような問題点がある。 （１）基準画像取り込み時と対象画面取り込み時の照度
変化や、例えば太陽の移動による周囲の物体の影の侵入
や、被写体の位置ズレおよびロボットの監視点位置の再
現性の限界があるため、対象画面が正常の状態であって
も異常と検知したり、または、これを避けるために判断
のしきい値を上げる必要があり、検知感度を低下せざる
を得ない。 （２）点検場所および監視対象物ごとに基準画像を保持
する必要があり、ロボットのメモリーが巨大になる。 （３）圧縮された輝度データをニューラルネットワーク
に送る場合、圧縮輝度データ中には不必要な部分（オイ
ルパンの縁外の検知対象物以外の部分）もあり、その部
分の変化がニューラルネットワークの学習および判断に
とって外乱となりやすい。

【００１４】また、階層型ニューラルネットワークの学
習過程においては、いわゆる、教師信号との誤差に基づ
くエネルギー関数が最小になるようにシナプスの荷重を
修正していくわけだが、画像の輝度データをそのまま入
力する場合、当該輝度データに中には冗長で曖昧な、い
わば不要な情報が含まれたまま学習を進めるため、正常
／異常の学習は収束しても、上記誤差エネルギー関数の
最小値とはならず、ある極小値に留まったままの場合が
ある。この場合には、検知画像の中で既学習の画像との
パターン間の相違によっては、誤った認識結果を出力す
ることがある。

【００１５】

【課題を解決するための手段】上記目的を達成するため
本願で特許請求する発明は次のとおりである。 （１）監視対象物を撮影しその画像を入力する撮影装置
と、入力された画像を処理する画像処理装置と、画像処
理装置より出力されたデータに基づき異常の有無を判断
する異常判断装置とを備えた監視装置において、画像処
理装置から出力された画像の輝度データに基づきテクス
チャー特徴量を求める特徴量算出装置と、求められたテ
クスチャー特徴量に基づき異常の有無を判断するニュー
ラルネットワークとを設けたことを特徴とする監視装
置。 （２）撮影装置により対象物を撮影してその画像を入力
する工程と、入力された画像を画像処理装置より処理す
る工程と、処理された画像のデータに基づき異常判断装
置により異常の有無を判断する工程とを有する監視方法
において、撮影装置により入力された画像を画像処理装
置により画像圧縮、階調圧縮などの前処理を行なう工程
と、前処理された画像を特徴量算出装置に入力して、入
力された画像を輝度により構成される行列とみなし、そ
の行列を基にその画像特有の輝度分布の、相互の相対位
置を確立化した同時生起行列を作成する工程と、該行列
の要素をもとに一定の法則にしたがって得られるテクス
チャー値を算出する工程と、算出したテクスチャー値を
ニューラルネットワークに入力して異常の有無を判断す
る工程とを備えたことを特徴とする監視方法。

【００１６】

【作用】本発明において採用する同時生起行列のテクス
チャー値は、映像の絶対的なパラメーターであり、従来
技術で問題とされる基準画像と対象画像での取り込み時
の位置ずれ、日照の変化等に対してかなり柔軟に対応す
る。これは輝度全体の増加や、その位置の移動があって
も、テクスチャー値は従来より行なわれている画像の輝
度データを直接の判断基準にしている方法に比べ変化が
少ない。

【００１７】このため、従来技術で問題となる画像取り
込み時の位置決めの限界や、日照変化等の問題を解決す
ることができる。

【００１８】

【実施例】本発明の全体の構成を図１に示す。カメラな
どの外部情報機器から取り込まれた画像は、画像情報処
理装置およびそれに準ずる装置に送られ、スムージング
等のノイズ除去や、その他の前処理を施される。この
後、この画像データは輝度により構成される縦横の配列
すなわち行列とみなされ、これを基にテクスチャー値を
求めるために、輝度の分布の相互相関位置を確率化した
同時生起行列を作成し、テクスチャー値と呼ばれる行列
の特徴値を特徴量抽出装置によって算出する。

【００１９】このテクスチャー値の抽出方法の一つであ
る同時生起行列（ Co-occurrence Matrix ) について述
べる。同時生起行列とは、画像の濃度ｉの点から一定の
変位＝（ｒ（距離），ｃ（角度））だけ離れた点の濃度
がｊである確率Ｐδ（ｉ，ｊ）（ｉ，ｊ＝０，１，２，
……ｎ−１）を要素とするもので、画像の濃度分布の相
関性を表わす性質のものである。

【００２０】ここで画像情報処理装置から送られてきた
輝度データを濃度とみなし、この同時生起行列から一定
の法則に従って演算し得られる１４種類の特徴値を算出
し、テクスチャー特徴量とするものである。ここでｒは
濃度ｉの点からｊの点までの距離であり、ｃはその角度
の絶対値である。またｎは画像の濃度レベルである。図
５、図６、図７にこの１４種類の特徴量を求める式を示
す。

【００２１】これらの特徴量は、視覚的情報処理におい
てもきわめて重要な役割を果たしている。画像情報処理
装置に入力された監視対象の映像画面は５１２×５１２
のます目の画面であったものを、平均、圧縮化して８×
８のます目画面としたものを図８、図９に示す。これら
の映像は、プラント内の異常監視の際には、正常と判断
されるべき基準画像と異常と判断されるべき対象画像で
ある。映像画面を８×８の縦、横それぞれ８つに分割
し、６４ケのます目にして、各ます目の平均輝度を真白
を２５５、真黒を０の数字で表わした２５６階調の数字
として表わしたものが各画像面の下に示されている。

【００２２】画像情報処理装置は、入力された映像にノ
イズ除去等の前処理を施した後、必要に応じて、サイズ
の圧縮（画像サイズを縮小し、数個の輝度を平均化する
こと）および階調の圧縮（輝度の階調数を小さくするこ
と）を行ない、加工された輝度データを特徴量抽出装置
へ出力する。図１１は図８で示した正常時のオイルパン
画像の輝度階調を２５６階調から１６階調に圧縮した場
合の輝度配列であり、図１２は図９で示した異常時のオ
イルパン画像の輝度階調を同様に圧縮した場合の輝度配
列を示す。特徴量抽出装置は、画像情報処理装置より送
られた輝度データ配列から画像のテクスチャー値を抽出
するため、同時生起行列を作成し、図５、図６、図７に
示されている式（１）〜（１４）により定めるテクスチ
ャー値（特徴量）について演算を行なう。この演算処理
過程を図１０に示す。図１１に示した正常時の画像の輝
度配列パターンである正常１〜４に対して同時生起行列
を作成した結果を図１３〜図１６に示し、図１２に示し
た異常時の画像の輝度配列パターンである異常１〜４に
対して同時生起行列を作成した結果を図１７〜図２０に
示す。図１３〜図１６および図１７〜図２０に示した８
つの行列の各々について、図６の式（４）、（７）によ
る特徴量を算出した結果を図２１に示す。図２１は、正
常画像の輝度配列パターン１と異常画像の輝度配列パタ
ーン１について、式（７）による特徴量算出値は、それ
ぞれ２５．３と２６．４であることを示し、同上の輝度
配列パターンについて式（４）による特徴量算出値は
９．１と９．６であることを示す。演算されたテクスチ
ャー値は、学習を終了したニューラルネットワークの入
力層に送られ、ニューラルネットワークは監視対象につ
いての状況判断の結果を出力する。ニューラルネットワ
ークの学習および認識の結果を図２２に示す。

【００２３】ここでは、１４種類のテクスチャー値の中
から、オイルパン上へのリークによって特徴量の変化の
大きい図６中の式（４）、（７）によるテクスチャー値
について、学習および認識を行なっている。なお、１４
種類のテクスチャーの中でも、（４）、（７）に示す定
義式において重油漏れの有無に応じて、輝度の差が大き
く評価させるからである。これは、（４）、（７）に示
す定義式が、重油の有無によって変化する輝度の濃淡の
変化に大きく依存しているためである。

【００２４】特徴量抽出装置において行なわれる演算
は、監視対象の画像構成を確率的に意味付けていくため
に行なわれる。このため、 ・画像のずれが極端（画面の１／２程度）でない場合、
特に従来から問題となっている０〜１０画素（画面の１
／５０程度）では、さしたる問題なく、ずれのない状況
と同じ結果を算出する。 ・元来、テクスチャー値は、人間の視覚的情報処理にお
いても重要な意味をもつので、巡視点検、および監視に
関する場合、より人間に近づいた判定ができる。等の利
点がある。

【００２５】テクスチャー値はあらかじめ監視対象の映
像の特徴量について学習を終え、調整されたニューラル
ネットワークに入力される。ネットワークは監視対象の
判断に必要な特徴値を中間層および出力層のシナプス荷
重により演算し、判断結果を出力する。このニューラル
ネットワークは学習材料が従来の輝度データの平均では
なく、画面構造の特徴量（テクスチャー値）であるた
め、学習に必要な時間が短縮化され（テクスチャー値が
正常／異常の違いによって大きく変わる。）またネット
ワークの規模も小さくできる。

【００２６】なお、上記実施例の説明においては、テク
スチャー値を階層型ニューラルネットワークに入力して
判断させる場合について説明したが、その他の相互結合
型ネットワーク（ボルツマンマシン型）をニューラルネ
ットワークに代えて適用することもできる。この場合も
画像の輝度分布を直接ネットワークに入力しないで、テ
クスチャー特徴量を入力することによって、ネットワー
クの調整時間を大幅に短縮することができる。

【００２７】本発明のシステム構成は、カメラ→画像情
報処理装置→ニューラルネットワークとなっているが、
前もってテクスチャー値の判断結果に対する相関を明ら
かにしている場合には、画像情報処理装置内でテクスチ
ャー値に対してしきい値を設定することで判断結果を求
める方法を適用できる。この場合、本発明のシステム構
成から、ニューラルネットワークを省くことができる。

【００２８】監視システム中で、しきい値を設ける方法
を用いる場合は、監視対象の周辺の環境（照度・日照変
化等）があらかじめ正確に模擬できる場合、および監視
対象のある場所での調整にてしきい値を決定する必要が
ある。

【００２９】

【発明の効果】画像情報処理装置およびそれに準じる機
器で、従来から行なわれている輝度データをサイズ圧
縮、階調圧縮し、ニューラルネットワークに送り学習お
よび認識をさせる従来手法と、本発明方法でのニューラ
ルネットワークの、構成・学習過程・認識結果の比較を
図２２に示す。 １）同程度の認識を行なうのに必要な学習時間が、本発
明方法では従来法の半分で終了する。 ２）従来法ではニューロン素子を合計１００個程度（入
力層、中間層、出力層の合計）必要としていたが、本発
明では、３０個以下ですむ。（図２２では６個であ
る。） ３）未学習のデータに対して判断をさせた場合、図２２
に見られるような判断の正確度が向上している。

【図面の簡単な説明】

【図１】本発明の全体構成概要図。

【図２】従来技術によるロボットによる点検システムを
示す図。

【図３】従来技術による画像処理フローチャート図。

【図４】従来技術による画像処理方法の説明図。

【図５】、

【図６】、

【図７】同時生起行列によるテクスチャー特徴量を示す
図。

【図８】、

【図９】オイルパンに油もれのない正常時と油もれのあ
った異常発生時の画像についての輝度分布を示す輝度行
列パターン図。

【図１０】テクスチャー特徴量の演算過程フロー図。

【図１１】、

【図１２】図８、図９の輝度行列パターンの輝度階調を
圧縮した図。

【図１３】、

【図１４】、

【図１５】、

【図１６】図８の輝度行列パターンに対して同時生起行
列を作成した結果を示す図。

【図１７】、

【図１８】、

【図１９】、

【図２０】図９の輝度行列パターンに対して同時生起行
列を作成した結果を示す図。

【図２１】図１３〜図２０の同時生起行列により求めた
テクスチャー特徴量を示す図。

【図２２】本発明の効果を示す図。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00 Ｇ０６Ｇ 7/60 Ｇ０８Ｂ 25/00 ５１０ Ｍ 7323−5Ｇ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 監視対象物を撮影しその画像を入力する
   撮影装置と、入力された画像を処理する画像処理装置
   と、画像処理装置より出力されたデータに基づき異常の
   有無を判断する異常判断装置とを備えた監視装置におい
   て、画像処理装置から出力された画像の輝度データに基
   づきテクスチャー特徴量を求める特徴量算出装置と、求
   められたテクスチャー特徴量に基づき異常の有無を判断
   するニューラルネットワークとを設けたことを特徴とす
   る監視装置。
2. 【請求項２】 撮影装置により対象物を撮影してその画
   像を入力する工程と、入力された画像を画像処理装置よ
   り処理する工程と、処理された画像のデータに基づき異
   常判断装置により異常の有無を判断する工程とを有する
   監視方法において、撮影装置により入力された画像を画
   像処理装置により画像圧縮、階調圧縮などの前処理を行
   なう工程と、前処理された画像を特徴量算出装置に入力
   して、入力された画像を輝度により構成される行列とみ
   なし、その行列を基にその画像特有の輝度分布の、相互
   の相対位置を確立化した同時生起行列を作成する工程
   と、該行列の要素をもとに一定の法則にしたがって得ら
   れるテクスチャー値を算出する工程と、算出したテクス
   チャー値をニューラルネットワークに入力して異常の有
   無を判断する工程とを備えたことを特徴とする監視方
   法。