JPH07128199A - 監視方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 正常時の基準画像を用いずに多種多様な外乱
やあいまいな情報を含む原画像に対しても誤判断の少な
い高度な異常判断を行うこと。 【構成】 取り込み画像の輝度パターンを０〜１に正規
化し、画像中の異常な位置に無関係にニューラルネット
ワークに入力することで汎化能力が向上し、照度変化、
経時的変化などの種々の外乱に対する誤判断が少なく、
検知性能を格段に向上させることができる。図１２にお
ける川１１の流れにおいて、油１２と日影１４のように
輝度分布の差が少ないため、輝度の程度が油１２の流出
による異常によるものか、単に日影１４が川１１上にか
かっているだけの正常な状態であるのか不明であるが、
正常と異常との識別率を向上させるに、正常画像として
は日影１４を含む図１２（ｂ）を、異常画像としては図
１２（ａ）を学習パターンとして選定することが学習の
収束、ニューラルネットの認識能力の点で有効である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、火力発電プラント、Ｌ
ＮＧ基地その他の設備の異常を監視する方法と装置に係
り、特に監視カメラからの画像、マイクロフォンからの
音響をニューラルネットワークにより学習し、認識を行
う監視方法及び装置に関する。

【０００２】

【従来の技術】火力発電プラント、ＬＮＧ基地等におい
て、その設備の長寿命化、パトロールの省力化などの要
請により、設備監視の自動化要求が強まっている。その
ため重要機器（例えば燃料供給装置、バーナ部、主要バ
ルブ、気化器など）を監視テレビカメラを用いて、モニ
タテレビ上で集中的に監視する方法が広く用いられるよ
うになっている。また、近年の画像処理技術および処理
装置の進展に伴い、監視テレビカメラからの画像を画像
処理して異常の有無判定に使用するケースがＦＡ（Ｆａ
ｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）分野からの波及と
して増加する傾向にある。しかしながら、監視テレビカ
メラでは監視領域が限られ、火力発電プラント、ＬＮＧ
基地等の設備全体をカバーできず、実際には巡視員によ
る１日約６〜７回の目視、あるいは聴覚による巡視点検
が行われている。この巡視点検業務は異常発見に対し熟
練を要するものであり、かなりの負担となっている。ま
た、発電所のニーズとして監視システムの中央集中化、
あるいは省力化に伴う人的な制約があり、現在、巡視員
に代わって現場を巡視点検するロボットが開発されてい
る。

【０００３】人間の巡視に対する機能を分析すると、
（１）状態把握、（２）移動、（３）状態判断（正常あ
るいは異常）、（４）処理機能に大別され、これに相当
するシステム機能は、（１）センサ技術、（２）移動機
構、（３）コンピュータ技術、（４）運転ガイダンス表
示となる。これらのシステムを具体化し、監視ロボット
による点検システムを実現させると、その概略は図８
（ａ）〜図８（ｃ）に示すように次の３つの部分から構
成される。 （１）現場を巡視点検する監視ロボット１、（２）監視
ロボット１からの情報を処理し、異常の有無を判断する
異常判断装置４、（３）現場の生画像、生音響を教示
し、異常判断装置４から異常有の判断が出れば、異常内
容の提示を行うと同時に監視ロボット１の制御も行うマ
ン・マシン・インターフェース５、監視ロボット１には
人間の五感のうち、視覚、聴覚、嗅覚および触覚に匹敵
するＩＴＶカメラ２、マイクロフォン３、その他図示し
ていないガスセンサおよび非接触型の温度計を搭載して
いる。これらのセンサを用い、図８（ｂ）の矢印のよう
に走行レール７に沿って現場内をくまなく移動し、各情
報を収集して廻り、その監視情報を通信装置６を介して
異常判断装置４に送る。

【０００４】ここで、ある領域内の異常検知として、河
川などの汚泥や油を監視する場合の検出例を述べる。異
常項目は監視対象、監視場所によって異なるが、火力発
電用のボイラプラントを例にとると、主に油リークと蒸
気リークに絞られる。これらのリークは放っておくと重
大事故につながるもので、早期発見が要求されている項
目である。油リークは画像変化のみを伴うもので、画像
変化だけに注目し画像処理を行い、異常を抽出する。以
下に、現在一般に行われている異常検出画像処理手法
を、油リーク検出を例にして説明する。画像処理フロー
チャートを図９に示す。同図の（ａ）に示すように、監
視ロボット１は第１画像として、対象となる機器や場所
の正常時の状態を画像として取り込み（ステップ１）、
２値化処理して（ステップ２）、メモリ（１）に記憶し
ておく（ステップ３）。ここで２値化処理とは、画像を
画素単位でとらえ、あるしきい値を基準に輝度の高いも
のを白、低いものを黒とする処理であり、一般に画像処
理の前処理として行われているものである。監視時には
図９の（ｂ）に示す処理を行う。すなわち、第１画像と
して取り込んだ同じ対象を第２画像として取り込み（ス
テップ４）、２値化処理して（ステップ５）、メモリ
（２）に記憶する（ステップ６）。次にメモリ（１）に
記憶してある第１画像とメモリ（２）に記憶してある第
２画像との減算を行い（ステップ７）、変化分を抽出し
て面積計算を行い、異常かどうか判定する（ステップ
８）。異常がある場合には警報を発する（ステップ
９）。

【０００５】面積計算を行う理由は以下の通りである。
第１画像と第２画像のマッチングは、一般的に固定カメ
ラで同一場所を取り込んだ画像同士でも、必ず１画素分
ぐらいのズレを生じる。これは監視カメラのゆれなどが
あるためであり、まして川の流れのように、表面の輝度
が時々刻々と変化しているので、正常時でも差画像とし
て画像のズレが生じる。すなわち、減算を行うと、正常
な画像においても画像変化分が抽出され、この変化分を
誤判断しないために判定基準のしきいを設けている。以
上の処理を行った実例を図１０に示す。これは川１１の
流れの表面をカメラにより監視した場合である。図にお
いて、Ａ₁は正常時の画像であり、Ｂ₁は水面上に油１２
が浮いて流れている場合の画像である。この２つの画像
を前処理として、ノイズ除去、２値化処理を行ったもの
が画像Ａ₂と画像Ｂ₂である。次に、画像Ａ₂と画像Ｂ₂に
おいてＥＸＯＲ演算（排他的論理和演算）を行うと、油
１２の部分とその他に川１１の水面上のズレ１３も検出
された画像Ｃを得ることができる。この種の異常検知手
法は一般的であり、製品としては無人監視用デジタル画
像のセンサなどの異常判断ロジックで使用されている。
ただし、この異常監視装置においては監視カメラは固定
されている。

【０００６】しかしながら、前述した従来の監視カメラ
を用いるシステムでは、常に基準画像をメモリとして持
ってなくてはならないという不便さがあり、以下のよう
な問題点がある。 （１）日照変化の影響を受け易い。例えば、朝基準画像
を取り込み、昼に点検に来たら影ができており、その影
を異常と判断することがある。 （２）人の接触による監視対象物のズレの影響が出る。
基準画像を取り込んだ後、作業員などが、例えばオイル
パンなどの対象物を動かした場合に画像に変化が発生
し、異常と判定することがある。 （３）ロボットに正確な位置決めが要求される。 （４）基準画像を点検場所、監視対象物ごとに持たなけ
ればならず、大量のメモリを必要とする。

【０００７】また、上述した図１０に示したような画像
処理に基づく異常判断の問題点のない異常判断方法とし
て、画像データをニューラルネットワークに入力し、自
己学習をさせる方法が提案されており、この方法は基準
画像をメモリとして持たず、画像情報に含まれる外乱に
対する誤判断が少なく、検知感度が高い特徴を持ってい
る。しかしながら、正常または異常な種々の画像をニュ
ーラルネットワークで学習させる場合に、その学習パタ
ーンによっては収束させるのに長時間を要し、また学習
パターンの選び方によってはあいまいな認識結果を出力
する場合がある。これは学習パターンに比較的近い対象
画像であれば、当該学習済みのニューラルネットワーク
は、妥当な認識結果を出力するが、既学習パターンと比
較してかなりかけ離れた対象画像では、正常と異常の判
断が困難な場合が生じてしまうことが指摘されている。

【０００８】このことを、図１２、図１３の川１１の流
れにおける油１２、日影１４などの監視の例で説明す
る。図１２（ａ）〜（ｄ）と図１３（ａ）〜（ｄ）には
川１１内での油１２、日影１４がある場合と無い場合の
種々の画像パターン例を示す。川１１の表面を監視カメ
ラで撮影した場合の輝度分布の例を図１１に示す。ここ
では、輝度を１０段階に分けて、各段階における輝度の
川１１の油１２、日影１４、標準的な水面上および日光
の反射している部分の各々の段階の輝度における画素数
を結んで得られる輝度分布曲線を示す。このように、特
に野外では、一つの画像の中での輝度分布の範囲が非常
に広いため、全ての可能性のある画像をニューラルネッ
トワークに学習させることは実用上困難である。また、
油１１と日影１４のように輝度分布の差が少ないため、
輝度の程度が油１１の流出による異常によるものか、単
に日影１４が川１１上にかかっているだけの正常な状態
であるのかの識別ができないことになる。このように、
異常時の輝度分布に比べて、正常時の輝度分布やその経
時的変化の方が大きい場合が多いため、入力データの差
の小さい異常監視（ここでは、油１２と日影１４の判
定）を目的とする場合には、異常データとあまりにかけ
離れた正常データ（ここでは、日光の反射など）をも正
常パターンとして選定すると、学習の収束性が極端に悪
くなるばかりでなく、いわゆるニューラルネットワーク
の汎化能力の点でも劣ることになる。

【０００９】

【発明が解決しようとする課題】上記従来技術は、画像
処理方法における異常判定手法に、正常時の基準画像が
必要であり、正常時の数多くの定量化、モデル化が困難
な外乱に対する適切な除去について配慮がされておら
ず、またニューラルネットワークを用いた学習認識の手
法においても検知しようとする画像の輝度パターンと学
習パターンとの差が大きい場合、誤判断あるいは異常検
知の限界が低いなどの問題があった。本発明は、正常時
の基準画像、音響を用いずに多種多様な外乱やあいまい
な情報を含む原画像、音響等の入力データに対しても誤
判断の少ない高度な異常判断を行う方法および装置を提
供することを目的とする。

【００１０】

【課題を解決するための手段】本発明の上記目的は次の
構成によって達成される。 （１）監視カメラにより監視対象を撮影し、その撮影画
像により監視対象の異常の有無を判断する監視方法にお
いて、監視カメラにより監視対象の撮影を行い原画像を
取り込む行程と、この原画像の各画素ごとの輝度を多値
化する行程と、複数個の画素をブロックに変換する行程
と、各ブロック毎の輝度レベル値を当該ブロックの中の
輝度の最大値と最小値をそれぞれ１と０に正規化してニ
ューラルネットワークに入力することにより原画像の異
常の有無を判断する行程とよりなる監視方法。 （２）マイクロフォンにより音響を取り込み、その音響
により監視対象の異常の有無を判断する監視方法におい
て、マイクロフォンにより監視対象の音響を取り込む行
程と、取り込んだ各周波数の音圧の最大値と最小値をそ
れぞれ１と０に正規化してニューラルネットワークに入
力することにより原音響の異常の有無を判断する行程と
よりなる監視方法。

【００１１】（３）監視カメラにより監視対象を撮影
し、その撮影画像により監視対象の異常の有無を判断す
る監視装置において、監視カメラにより対象の撮影を行
い原画像を取り込む手段と、この原画像の各画素ごとの
輝度を多値化する手段と、複数個の画素をブロックに変
換する手段と、各ブロック毎の輝度レベル値を当該ブロ
ックの中の輝度の最大値と最小値をそれぞれ１と０に正
規化する手段と、該正規化した値をニューラルネットワ
ークに入力して、教師信号との比較により正常／異常を
判別する手段とを備えた監視装置。 （４）マイクロフォンにより監視対象の音響を取り込
み、その音響により監視対象の異常の有無を判断する監
視装置において、マイクロフォンにより監視対象の音響
を取り込む手段と、取り込んだ各周波数の音圧の最大値
と最小値を１と０にそれぞれ正規化するる手段と、該正
規化した値をニューラルネットワークに入力して、教師
信号との比較により正常／異常を判別する手段とを備え
た監視装置。

【００１２】

【作用】一つの画像の中での輝度分布の範囲が非常に広
いため、全ての可能性のある画像をニューラルネットワ
ークに学習させることは実用上困難である。しかし、本
発明によるニューラルネットワークは、取り込み画像の
輝度パターンを０〜１に正規化することにより、画像中
の異常な位置に無関係にニューラルネットワークに入力
することで汎化能力が向上するので照度変化、経時的変
化などの種々の外乱に対する誤判断が少なく、検知性能
を格段に向上させることができる。

【００１３】例えば、図１２、図１３における川１１の
流れにおいて、油１２と日影１４のように輝度分布の差
が少ないため、輝度の程度が油１２の流出による異常に
よるものか、単に日影１４が川１１上にかかっているだ
けの正常な状態であるのか不明である。また、異常時の
輝度分布に比べて、正常時の輝度分布やその経時的変化
の方が大きい場合が多いため、入力データの差の小さい
異常監視（ここでは、油１２と日影１４の判定）を目的
とする場合には、異常データとあまりにかけ離れた正常
データ（ここでは、日光の反射など）をも正常パターン
として選定すると、学習の収束性が極端に悪くなるばか
りでなく、いわゆるニューラルネットワークの汎化能力
の点でも劣ることになる。そこで、前記正常と異常との
識別率を向上させるに、例えば図１２、図１３に示す種
々の画像の中で正常画像として最も標準的な図１３
（ａ）と日影１４を含む図１２（ｂ）を選択し、異常画
像としては、各々の正常画像に対応して図１３（ｂ）お
よび図１２（ａ）を学習パターンとして選定することが
学習の収束、ニューラルネットの認識能力の点で有効で
ある。また、ニューラルネットワークの学習パターンは
パターン間の類似度により選択することが望ましい。ま
た、音響の入力データにも適用できる。

【００１４】

【実施例】本発明の実施例を図面と共に説明する。本実
施例の異常検出のアルゴリズムを図１に示す。カメラに
より原画像を取り込むが、この１画面は、多数の画素か
ら構成されている。例えばテレビでは、縦方向２５６
列、横方向２５６行に、つまり２５６×２５６＝６５，
５３６個の画素から構成され、１画素は複数の段階に分
けられた輝度信号を出力する。従来技術では、この輝度
信号を、あるしきい値により０か１に、つまり白から黒
に決めて（２値化）、画像処理を行っていたが、本実施
例では、多値化として０〜２５５の２５６段階の輝度信
号を分割した。このことにより、原画像の中のわずかな
情報を欠落させることなく、次行程の画像認識が効果を
出すことができた。もちろん、原画像の輝度分布がほぼ
白と黒に分かれており、中間的な輝度成分が少ない場合
は、２値化でも十分な画像認識が可能である。

【００１５】次の行程は、ブロック化である。原画像の
全ての画像数、例えば前記の場合６５，５３６個の情報
を本発明のニューラルネットワークへ入力しようとする
とニューロン数、さらにシナプス結合係数は膨大とな
り、非現実的である。また原画像の輝度データには、画
像認識を行って異常の度合いや正常などの判断をすると
いう目的上、不要な、あるいはあまり影響を持たない画
素の情報は無視し、さらにある輝度分布のものは、１つ
に代表させるなどの前処理を施すことによるブロック化
を行う。この方法には、図２に示すように標本中央値を
出力するメジアンフィルタや標本値の平均値を出力する
一様平滑化フィルタなどがある。以上のブロック化によ
り、６５，５３６個の画素データを有効な数の入力デー
タに削減する。

【００１６】次の行程は、正規化である。各ブロック毎
の輝度レベル値を当該ブロックの中の輝度の最大値と最
小値を１と０に正規化する。当該正規化した輝度レベル
値を昇順または降順に並び替える。このことにより、原
画像の特徴部分の範囲を限定することによるわずかな情
報を欠落させることなく、画像認識処理が効果を出すこ
とができる。なお、正規化を行う前の輝度レベル値の分
布を図４（ａ）に示し、正規化および並び替えをした輝
度レベル値の分布を図４（ｂ）に示す。同図に示すよう
に、それぞれの正常パターンを１つ正常パターンに近似
することが可能となる。当該ブロック化した輝度レベル
値は各々、ニューラルネットワークの入力層（図２）に
対応させる。

【００１７】次に、予め学習用画像を正常あるいは異常
として学習収束したニューラルネットワークに入力し、
その出力層のニューロン出力Ｒ１の値が認識結果を示
す。なお、Ｒ１の教師信号は、図３に示すように０が正
常、１が異常として学習した。図５（ａ）に正規化およ
び並び替えを行い学習した認識結果を示す。また、図５
（ｂ）に正規化および並び替えを行わずに学習した認識
結果を示す。こうして、本実施例により、照度変化、経
時的変化などの外乱のある画像に対して、目的とする異
常監視を行うことができる。

【００１８】本発明の他の実施例を図６に示す。本実施
例は、マイクロフォンにより生音響を取り込み、各周波
数の音圧を正規化して、ニューラルネットワークにより
学習・認識をするものであり、図７に示すように、取り
込み各周波数の音圧（曲線２）に各周波数の音圧の最大
値と最小値を１と０に正規化して正規化周波数音圧（曲
線１）を得る。このことにより音圧の変動による外乱を
除外することが可能となる。この音響データをニューラ
ルネットワークにより学習、認識を行うことにより異常
監視を行う。この実施例の効果は、経時的変化などの外
乱のある音響に対して、目的とする異常監視を行うこと
ができる。

【００１９】

【発明の効果】本発明によれば以下に示す効果がある。 （１）自己学習機能を有するので、外乱に強い画像、音
響等の入力データの認識が可能となった。 （２）輝度データ、音圧データ等の正規化、並べ替えに
より効率よく特徴抽出されニューラルネットワークによ
る認識能力（汎化能力）が向上した。したがって、従来
技術では、日照変化、対象物のズレなどの外乱の下で
は、この中に埋もれた異常は検知不可能であったが本発
明では判断可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施例のアルゴリズムを示す図。

【図２】 本発明の一実施例の画像データのブロック化
の概念を説明する図。

【図３】 本発明の一実施例のニューラルネットワーク
の構成を示す図。

【図４】 本発明の一実施例の画像データの正規化前後
の輝度分布を説明する図。

【図５】 本発明の一実施例のニューラルネットワーク
の出力結果を示す図。

【図６】 本発明の他の実施例のアルゴリズムを示す
図。

【図７】 本発明の他の実施例の音響データの正規化前
後の音圧分布を説明する図。

【図８】 監視システムの全体構成図。

【図９】 従来技術の監視システムのフローチャートを
説明する図。

【図１０】 従来技術の監視システムの概念を説明する
図。

【図１１】 川の流れの各種画像パターンの輝度分布を
示す図。

【図１２】 川の流れに対する各種の画像を示す図。

【図１３】 川の流れに対する各種の画像を示す図。

【符号の説明】

１…監視ロボット、２…ＩＴＶカメラ、３…マイクロフ
ォン、４…異常判断装置、５…マン・マシン・インター
フェース、６…通信装置、７…走行レール、１１…川、
１２…油、１３…ズレ、１４…日影

Claims (4)

【特許請求の範囲】
1. 【請求項１】 監視カメラにより監視対象を撮影し、そ
   の撮影画像により監視対象の異常の有無を判断する監視
   方法において、監視カメラにより監視対象の撮影を行い
   原画像を取り込む行程と、この原画像の各画素ごとの輝
   度を多値化する行程と、複数個の画素をブロックに変換
   する行程と、各ブロック毎の輝度レベル値を当該ブロッ
   クの中の輝度の最大値と最小値をそれぞれ１と０に正規
   化してニューラルネットワークに入力することにより原
   画像の異常の有無を判断する行程とよりなることを特徴
   とする監視方法。
2. 【請求項２】 マイクロフォンにより音響を取り込み、
   その音響により監視対象の異常の有無を判断する監視方
   法において、マイクロフォンにより監視対象の音響を取
   り込む行程と、取り込んだ各周波数の音圧の最大値と最
   小値をそれぞれ１と０に正規化してニューラルネットワ
   ークに入力することにより原音響の異常の有無を判断す
   る行程とよりなることを特徴とする監視方法。
3. 【請求項３】 監視カメラにより監視対象を撮影し、そ
   の撮影画像により監視対象の異常の有無を判断する監視
   装置において、監視カメラにより対象の撮影を行い原画
   像を取り込む手段と、この原画像の各画素ごとの輝度を
   多値化する手段と、複数個の画素をブロックに変換する
   手段と、各ブロック毎の輝度レベル値を当該ブロックの
   中の輝度の最大値と最小値をそれぞれ１と０に正規化す
   る手段と、該正規化した値をニューラルネットワークに
   入力して、教師信号との比較により正常／異常を判別す
   る手段とを備えたことを特徴とする監視装置。
4. 【請求項４】 マイクロフォンにより監視対象の音響を
   取り込み、その音響により監視対象の異常の有無を判断
   する監視装置において、マイクロフォンにより監視対象
   の音響を取り込む手段と、取り込んだ各周波数の音圧の
   最大値と最小値を１と０にそれぞれ正規化するる手段
   と、該正規化した値をニューラルネットワークに入力し
   て、教師信号との比較により正常／異常を判別する手段
   とを備えたことを特徴とする監視装置。