JP7410323B2 - 異常検出装置、異常検出方法及び異常検出システム - Google Patents

Description

本開示は、異常検出装置、異常検出方法及び異常検出システムに関する。

近年、ＩＴ化の進展に伴い、社会に多数のセンサが配置され、極めて大量のデータが蓄積されている。そうした中、集積された映像データを活用する様々な方策が検討されている。特に、写真、動画、画像等の映像コンテンツが増えるにつれ、その映像に写る物体に異常が存在するか否かを正確に検出する手段が望まれている。

従来では、取得した映像に写る物体について異常の有無を検出するいくつかの提案がなされている。

：「総延長約1万4000kmに及ぶ送電線の点検をどうこなすのか、解決の糸口はAIにアリ」2018年01月25日 ：日経ビジネス「ビッグデータ、IoTで老朽電線対策」2017年5月31日 ：石野 隆一, 堤 富士雄, 上野 嘉之,"送電線点検のための空撮映像を使った架空地線の異常検出,"電気学会論文誌Ｂ, vol. 126, no. 4, pp. 407-414，2006年7月．

非特許文献１には、ヘリコプター等の飛行体によって取得された映像をＡＩで解析し、送電線の破損や劣化を特定することで、送電線の点検作業を支援する手段が記載されている。
非特許文献２には、送電線の上を自走するロボットで送電線の外観を撮影し、撮影した映像を独自開発のAIで解析することで、直線形状になっていない箇所を「断線」と判断することで、落雷や雪によって発生する異常を検出する手段が記載されている。
非特許文献３には、画像解析によって正常部分の平均輝度値や色の変化からの偏差を解析することで送電線の異常を検出する方法が示されている。

しかしながら、上述した非特許文献１～２はいずれもＡＩによる画像解析に依存しているため、良好な検出精度を実現するためには、このＡＩを学習させるための大量の教師データが必要となるため、撮影と専門作業員による正解付けのコストがかかる。
また、上述した非特許文献３に記載されている手段では、異常の判断材料となる輝度値や色は天候や時間帯、周辺の環境によって大きく変わるため、検出精度が限定されてしまい、輝度値や色が変動しやすい環境への適用が難しい。

そこで、本開示は、ＡＩを用いずに、輝度値や色が変動しやすい環境であっても、解析対象の入力映像から異常の有無を高精度で検出する手段を提供することを目的とする。

上記の課題を解決するために、代表的な本開示の異常検出装置の一つは、異常検出対象物の映像を入力する映像入力部と、前記映像を所定の領域に分割し、前記領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成する勾配分布生成部と、前記領域毎に生成した前記勾配分布を解析することで、異常の有無を判定する異常判定部とを含む。

本開示によれば、ＡＩを用いずに、輝度値や色が変動しやすい環境であっても、解析対象の入力映像に写る物体について異常の有無を高精度で検出する手段を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図１は、本開示の実施形態を実施するためのコンピュータシステムのブロック図である。 図２は、本開示の実施形態に係る異常検出システムの構成の一例を示す図である。 図３は、本開示の実施形態に係る異常検出対象物を示す入力映像と、当該入力映像における輝度勾配とを示す図である。 図４は、本開示の実施形態に係る輝度勾配の表記の一例を示す図である。 図５は、本開示の実施形態に係る異常検出方法の前半の流れを示す処理の一例を示すフローチャートである 図６は、本開示の実施形態に係る異常検出方法の後半の流れを示す処理の一例を示すフローチャートである。 図７は、本開示の実施形態に係る勾配分布の例を示す図である。 図８は、本開示の実施形態に係る異常検出方法の後半の流れを示す処理の別の一例を示すフローチャートである。 図９は、図８に示す処理の概念を示すための図である。

以下、図面を参照して、従来例及び本開示の実施形態について説明する。なお、この実施形態により本開示が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（本開示の背景及び概要）

上述したように、写真、動画、画像等の映像コンテンツが増えるにつれ、その映像に写る物体（以下、「異常検出対象物」）に異常が存在するか否かを正確に検出する手段が望まれている。

従来は、製造現場などにおいて基板やデバイスなどの外観検査を映像解析によって行う場合、検査対象を固定画角・固定照明撮影を行うことで検査の精度を向上させている。
しかし、近年では、製造現場などの固定画角・固定照明条件が保証される環境での検査が求められている。例えば、送電線、橋、道路、トンネルなどのインフラの外観検査についても、映像処理の適用が検討されている。検査にはロボットやドローンなどの活用が進んでいるが、工場での外観検査とは異なり、画角や照明などの撮影条件を一定に保つことは非常に難しい。

一方、機械学習等のＡＩ手法によって撮影条件の違いによる影響を抑える手段が検討されているが、多くのＡＩ手法は高性能の計算機を必要とし、更には正常映像に加え異常映像のデータを大量に集める必要がある。

そこで、本開示では、異常検出対象物を示す入力映像の輝度の勾配に基づいて異常判定を行う。輝度の勾配方向は、天候変化などによって明るさの変化があっても変わらないため、輝度値や色の変化を指標とするよりもロバストな異常検出が可能となる上、ＡＩを学習させるための大量の教師データを集める必要はない。このように、本開示によれば、ＡＩを用いずに、輝度値や色が変動しやすい環境であっても、解析対象の入力映像に写る物体について異常の有無を高精度で検出する手段を提供することができる。

ここでの異常検出対象物とは、異常検出の対象となる物体を意味するものであり、例えば電子回路の製造に用いられるシリコンウエハー、送電線、建物の外壁等、任意のものであってもよいが、後述するように、周期的なパターンを有する物体であることが好ましい。
また、ここでの異常とは、異常検出の対象となる物体である異常検出対象物において、通常の性質とは違う性質を意味するものであり、異常検出対象物の種類によって様々な異常が考えられる。例えば、異常検出対象物が送電線の場合には、当該送電線における傷、落雷による溶解、断線、形状変化等が考えられ、異常検出対象物が基板の場合には、ひび割れ、欠け、歪み等が考えられる。
（ハードウェア構成）

まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、異常検出アプリケーション３５０を格納していてもよい。ある実施形態では、異常検出アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

ある実施形態では、異常検出アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、異常検出アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

次に、図２を参照して、本開示の実施形態に係る異常検出システムの構成について説明する。

図２は、本開示の実施形態に係る異常検出システム２００の構成の一例を示す図である。図２に示すように、異常検出システム２００は、センサ装置２０５、クライアント端末２１０、及び異常検出装置２３０を含む。また、センサ装置２０５、クライアント端末２１０、及び異常検出装置２３０は、通信ネットワーク２２５を介して相互的に接続される。
通信ネットワーク２２５は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。

センサ装置２０５は、異常検出の対象となる物体である異常検出対象物の外観を示す映像を取得するセンサである。センサ装置２０５によって取得される映像（以下、異常検出装置に入力される「入力映像」）は、直接に異常検出装置２３０に送信されてもよく、クライアント端末２１０に送信されてもよい。
センサ装置２０５の数、種類、及び配置は、異常検出対象物によって適宜に選択されてもよい。例えば、異常検出対象物が送電線の場合には、センサ装置２０５は、送電線に沿って移動する自走ロボットに搭載されるカメラであってもよく、異常検出対象物が電子回路の製造に用いられるシリコンウエハーの場合には、センサ装置２０５は、当該シリコンウエハーを加工する装置に搭載されるカメラであってもよい。

また、センサ装置２０５は、異常検出対象物の外観を示す映像に加えて、異常検出対象物を識別するための物体識別情報を取得してもよい。これにより、例えば、異常検出対象物について異常が検出された場合、検出した異常を確認する作業員等のユーザは、異常検出対象物を容易に特定することができる。

クライアント端末２１０は、異常検出対象物に対する異常検出処理を、異常検出装置２３０に依頼し、異常検出システム２００によって出力される異常通知を確認するための装置である。クライアント端末２１０は、例えば、スマートフォンやタブレット等の携帯型端末であってもよく、デスクトップパソコン等の固定型の端末であってもよい。ある実施形態では、クライアント端末２１０は、異常検出対象物について検出した異常を確認する現場の作業員等のユーザが利用する端末であってもよい。

一例として、クライアント端末２１０は、センサ装置２０５によって取得される映像を受信した後、受信した映像の中から、異常検出の対象となる物体である異常検出対象物の外観を鮮明に示す映像を選択し、選択した映像と、異常検出対象物に対する異常検出処理を依頼する異常検出要求を通信ネットワーク２２５を介して異常検出装置２３０に送信してもよい。その後、異常検出装置２３０による判定の結果、異常検出対象物について異常が判定された場合には、現場の作業員等のユーザは、クライアント端末２１０を用いて、異常検出装置２３０から送信される異常通知を確認し、異常検出対象物に対する点検や保守等を行ってもよい。

異常検出装置２３０は、センサ装置２０５又はクライアント端末２１０から受信した入力映像に対して、本開示の実施形態に係る異常検出処理を施し、異常の有無を検出するための装置である。図２に示すように、異常検出装置２３０は、映像入力部２３２と、前処理部２３３、勾配分布生成部２３４と、異常判定部２３６と、出力部２３８、及びストレージ部２４０を含む。

映像入力部２３２は、異常検出対象物を示す入力映像を入力するための機能部である。例えば、映像入力部２３２は、通信ネットワーク２２５を介して、異常検出の対象となる物体である異常検出対象物の外観を示す入力映像をセンサ装置２０５又はクライアント端末２１０から受信し、入力してもよい。

前処理部２３３は、映像入力部２３２によって受信される入力映像に対して、本開示の実施形態に係る異常検出処理を容易にするための前処理（エリア抽出、グレースケール変換）を施すための機能部である。
なお、前処理部２３３によって行われる前処理の詳細については、図５を参照して後述する。

勾配分布生成部２３４は、入力映像を所定の大きさの領域に分割し、領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成するための機能部である。なお、本開示において、勾配分布とは輝度の勾配方向の分布を表現したものであり、マップや図面など様々な表現形態のものが含まれる。後述するように、ここで生成される勾配分布を用いることで、ＡＩを用いずに、輝度値や色が変動しやすい環境であっても、対象の映像に写る物体について異常の有無を高精度で検出することができる。

異常判定部２３６は、領域毎に生成した勾配分布を解析することで、異常の有無を判定するための機能部である。
ここで、異常判定部２３６は、例えば、領域毎に生成したそれぞれの勾配分布の中から、所定の度数基準を満たす勾配を分布のピークとして検出し、検出した分布のピークと、予め設定される所定の異常閾値とに基づいて、異常の有無を判定してもよい。

また、ある実施形態では、異常判定部は、領域毎に生成したそれぞれの勾配分布を平均化した平均勾配分布を生成し、平均勾配分布において、所定の度数基準を満たす勾配を分布のピークとして検出し、検出した分布のピークと、予め設定される所定の異常閾値とに基づいて、異常の有無を判定してもよい。

更に、ある実施形態では、異常判定部は、領域毎に生成したそれぞれの勾配分布の中から、第１の領域に対応する第１の勾配分布と、第１の領域に隣接する第２の領域に対応する第２の勾配分布を抽出し、第１の勾配分布と第２の勾配分布とを比較することで、第１の勾配分布と第２の勾配分布との分布乖離度を判定し、判定した前記分布乖離度と、予め設定される所定の分布乖離度閾値とに基づいて、異常の有無を判定してもよい。
なお、異常判定部２３６の処理の詳細については後述する。

出力部２３８は、異常判定部による異常判定の結果を出力するための機能部である。例えば、出力部２３８は、異常判定部の異常の有無の判定により、異常が判定された場合、異常と判定された領域を示す映像を含む異常通知を出力してもよい。ここで出力される異常通知は、通信ネットワーク２２５を介してクライアント端末２１０に送信されてもよい。このように、現場の作業員等のユーザは、クライアント端末２１０を用いて、異常検出装置２３０から送信される異常通知を確認し、異常検出対象物に対する点検や保守等を行ってもよい。

ストレージ部２４０は、異常検出装置２３０によって使用される各種情報を格納するための記憶装置である。ストレージ部２４０は、例えばセンサ装置２０５又はクライアント端末２１０から受信する入力映像の情報、異常通知の情報等を格納してもよい。
ストレージ部２４０は、例えば、異常検出装置２３０に搭載されるハードディスクドライブ、ソリッドステートドライブなどのストレージ装置であってもよく、異常検出装置２３０からアクセス可能なクラウド型のストレージ領域であってもよい。

以上説明したように構成した異常検出システム２００によれば、ＡＩを用いずに、輝度値や色が変動しやすい環境であっても、対象の入力映像に写る物体について異常の有無を高精度で検出する手段を提供することができる。

次に、図３～図４を参照して、本開示の実施形態に係る異常検出手段に用いられる輝度勾配について説明する。

図３は、本開示の実施形態に係る異常検出対象物を示す入力映像３６０と、当該入力映像３６０における輝度勾配方向３６５とを示す図である。また、図３に示す拡大図３６１は、入力映像３６０における所定の領域３６２を拡大したものである。

入力映像３６０は、例えば図２を参照して説明したセンサ装置２０５によって撮影された、送電線の外観を示す映像である。また、後述するように、図３に示す入力映像３６０は、本開示の実施形態に係る異常検出手段を容易にするための前処理（エリア抽出、グレースケール変換、コントラスト補正、領域分割）が既に施された映像である。

入力映像３６０における各画素は、当該画素の輝度（ｂｒｉｇｈｔｎｅｓｓ）を表す値として、０～２５５の輝度値を有する。黒に近い画素程、輝度値が低くなり、白に近い画素程、輝度値が高くなる（０＝黒、２５５＝白）。本開示では、輝度値の高い方から低い方に向かう方向は、「輝度の勾配」又は「輝度勾配」という。拡大図３６１では、入力映像３６０における所定の領域３６２を構成する複数のブロック毎に、当該ブロックの輝度勾配方向３６５が示されている。
なお、本開示では、異常検出対象物の外観には、周期性のある、一様な模様が存在することを前提としており、ここでの領域３６２は、この模様における少なくとも１周期が収まる大きさの領域である。

図４に示す標記基準４５０のように、本開示では、輝度の勾配は、入力映像の横軸方向を０度とし、反時計回りを正の値とし、時計回りを負の値とする。この表記基準によれば、任意の入力映像における特定の領域を構成する複数のブロック毎の輝度勾配の角度を一貫性のある標記で表現することができる。

上述したように、本開示の実施形態に係る異常検出手段では、異常検出対象物における異常の判定は、異常検出対象物を示す入力映像の輝度の勾配に基づいて行われる。異常検出対象物を示す入力映像における輝度の勾配の分布を解析することで、当該異常検出対象物の外観に異常が現れているかを把握することができる。例えば、入力映像における特定の領域を構成する複数のブロック毎の輝度勾配の分布が様々な角度を渡って分散されている場合や、隣接する領域間の分布が大きく乖離する場合等には、異常検出対象物の外観に破損や劣化等の異常が存在すると判定される。

輝度の勾配の方向は、例えば天候変化などによって撮影環境で明るさの変化があっても変わらないため、輝度値や色の変化を指標とするよりもロバストな異常検出が可能となる上、ＡＩを学習させるための大量の教師データを集める必要はない。このように、本開示は、ＡＩを用いずに、輝度値や色が変動しやすい環境であっても、対象の映像に写る物体について異常の有無を高精度で検出する手段を提供することができる。

次に、図５を参照して、本開示の実施形態に係る異常検出方法の前半の流れを示す処理について説明する。

図５は、本開示の実施形態に係る異常検出方法の前半の流れを示す処理５００の一例を示すフローチャートである。図５に示す処理５００は、例えば図２に示す異常検出装置２３０における映像入力部２３２、前処理部２３３、及び勾配分布生成部２３４によって行われる処理である。

まず、ステップＳ５１０では、映像入力部（例えば、図２に示す映像入力部２３２）は、入力映像を入力する。上述したように、ここでは、映像入力部は、通信ネットワークを介して、異常検出の対象となる物体である異常検出対象物の外観を示す入力映像をセンサ装置又はクライアントから受信し、入力してもよい。ここでの入力映像は、例えば、ＲＧＢ映像であってもよい。

次に、ステップＳ５２０では、前処理部（例えば、図２に示す前処理部２３３）は、ステップＳ５１０で受信した入力映像の中から、異常検出対象物の外観を示すエリアを抽出してもよい。ここでは、前処理部は、例えば、カメラ等のセンサ装置の画角が固定されている場合には、当該カメラ等のセンサ装置に予め設定されているプリセットに基づいて異常検出対象物の外観を示すエリアを抽出してもよい。また、前処理部は、既存の背景除去手段、セグメンテーション手段、又は物体認識手段を用いてエリアの抽出を行ってもよい。

次に、ステップＳ５３０では、前処理部は、ステップＳ５２０で抽出された入力映像のエリアに対するグレースケール変換を施す。ここでは、前処理部は、任意の既存の手法を用いてもよく、本開示では特に限定されない。
なお、本開示では、カラー映像をグレースケールに変換する場合を一例として説明するが、本開示はこれに限定されず、カラー情報に特徴がある場合には、ＲＧＢそれぞれのカラーチャネルに対して後述する勾配解析を行うことも可能である。

次に、ステップＳ５４０では、前処理部は、ステップＳ５３０でグレースケール変換を施した映像に対するコントラスト補正を行う。このコントラスト補正は、映像の明暗を強調し、濃淡を明瞭にすることで映像の視認性を向上するために行われる処理であり、後述する勾配解析において必須ではない。そのため、コンピューティング資源が限られている場合等には、ここでのステップＳ５４０はスキップされてもよい。ただし、コントラスト補正を行うことで異常判定の結果の目視確認がより容易となるため、行うことが望ましい。

次に、ステップＳ５５０では、勾配分布生成部（例えば、図２に示す勾配分布生成部２３４）は、勾配の解析を行う。ここでの勾配の解析は、例えばＳｏｂｅｌフィルタ等の既存の方法によって行われてもよく、隣接する画素間における画素値の大小関係を表現するための解析である。

以上説明した処理５００によれば、エリア抽出、グレースケール変換等の前処理が施された映像に対して輝度勾配の解析処理が行われるため、良好な異常判定結果を得ることができる。

次に、図６及び図７を参照して、本開示の実施形態に係る異常検出方法の後半の流れを示す処理について説明する。

図６は、本開示の実施形態に係る異常検出方法の後半の流れを示す処理６００の一例を示すフローチャートである。図６に示す処理６００は、異常検出対象物を示す入力映像の輝度勾配の分布のピークに基づいて異常の有無を判定する処理であり、例えば図５に示す異常検出方法の前半の処理５００におけるステップＳ５５０に続いて行われる処理である。また、図７は、本開示の実施形態に係る勾配分布の例を示す図である。
なお、図６に示す処理６００は、例えば図２に示す異常検出装置２３０における勾配分布生成部２３４、異常判定部２３６、及び出力部２３８によって行われる処理である。

まず、ステップＳ６１０では、勾配分布生成部は、入力映像を複数の領域に分割し、領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成する。ここでの勾配分布は、特定の領域において、所定の勾配角度が現れる度数の分布を示すデータ構造であり、例えば図７に示す勾配分布７１０のように、－１８０度から１８０度の範囲における異なる勾配角度に対応するビン毎の度数を示すヒストグラムとして表現されてもよい。これにより、例えば図７に示す勾配分布のセット７２０のように、領域の数に等しい数のヒストグラムが得られる。
一例として、以下の数式１及び数式２に示すように、入力映像をN個の領域に分割し、領域

毎に、当該領域の輝度の勾配方向の分布を示すヒストグラム

を生成してもよい。
ここでは、Ｔは転置を意味し、Ｂはヒストグラムのビンの数である。

また、ここでの領域のサイズは、領域内に異常検出対象物の模様などのパターンを１周期分以上含む必要があり、領域内に数周期分を含むことで勾配分布によって異常検出対象物の正常状態の特徴を表すことができる。
なお、領域のサイズが大きすぎると、微小な異常があった場合に異常を検出することが困難となり、検知をすることが難しくなる。また、勾配分布をヒストグラムとして表現した場合、ヒストグラムのビンの幅は、任意に設定可能であるが、ビンの幅が細かすぎると、カメラ等のセンサ装置の歪みや照明条件、異常検出対象物の公差などの影響を受けやすくなるため、正常状態の特徴が表れにくくなる。一方、ビンの幅が粗すぎると、正常と異常の特徴の違いが曖昧になる。以上のことから、領域のサイズやビンの幅を適度に設定することは、良好な異常判定結果を得るために重要である。

次に、ステップＳ６２０では、異常判定部は、勾配分布における分布のピークを検出する。ここでの分布のピークとは、勾配分布において、度数が最も高い勾配角度を意味するものであり、異常検出対象物について異常が存在するか否かを判定するための特徴となる。
勾配分布における分布のピークは、様々な手法によって求めることが可能であり、ここでは特に限定されない。一例として、領域毎に生成したそれぞれの勾配分布の中から、所定の度数基準を満たす勾配角度を分布のピークとしてもよい。この所定の度数基準は、任意に設定される所定の度数であってもよく、度数が最も高い勾配角度を指定する基準等であってもよい（つまり、各領域についてヒストグラムのピークとなる勾配方向を求め、ピークとなる勾配方向のうち、度数が最も多いものをピークとする）。

勾配分布における分布のピークを検出する別の一例として、領域毎に生成したそれぞれの勾配分布を平均化した平均勾配分布を生成し、当該平均勾配分布において、所定の度数基準を満たす勾配を分布のピークとして検出してもよい。
例えば、勾配分布をヒストグラムとして表現した場合、以下の数式３～６で示すように、各領域のヒストグラムを平均化することで得られた平均ヒストグラム

を用いてピークとなるビン

の検出を行ってもよい。

次に、ステップＳ６３０では、異常判定部は、ステップＳ６２０で検出したピークの勾配に対応する値に基づいて、各領域の異常度を算出する。ここでは、各領域の異常度とは、特定の領域の勾配分布の、通常の分布からの乖離度（分布乖離度）を示す値であり、異常度の算出方法としては例えば、以下の数式７、８によって求められる特徴量グラフｇを用いてもよい。

次に、ステップＳ６４０では、異常判定部は、ステップＳ６３０で分布のピークに基づいて算出した異常度と、予め設定される所定の異常閾値とに基づいて、入力映像の各領域について異常の有無を判定する。ここでの異常閾値とは、通常と異常との境界線を定義する値であり、ユーザによって設定されてもよく、以前の異常判定用データに基づいて異常判定部によって自動的に決定されてもよい。一例として、異常判定部は、特定の領域について算出した異常度が、予め設定される所定の異常閾値以上の値である場合（つまり、特徴量グラフｇの値が異常閾値以上である場合）、当該領域について異常が存在すると判定し、特定の領域について算出した異常度が、予め設定される所定の異常閾値未満の値である場合、当該領域について異常が存在しないと判定する。

次に、ステップＳ６５０では、出力部（例えば、図２に示す出力部２３８）は、ステップＳ６４０での異常判定の結果を示す異常通知を出力する。ここでの異常通知は、入力映像における領域毎に、当該領域について算出された異常度を示す映像であってもよい。ある実施形態では、この異常通知は、異常と判定された領域を示す映像を含んでもよい。また、ある実施形態では、異常通知は、図７に示す勾配分布のセット７２０を集合したヒートマップ７３０を含んでもよい。このヒートマップ７３０では、入力映像における各領域の異常度は、色の諧調で示される。
また、上述したように、ステップＳ６５０で生成される異常通知は、通信ネットワークを介してクライアント端末に送信されてもよい。

以上説明した処理６００によれば、異常検出対象物を示す入力映像の輝度勾配の分布のピークに基づいて、当該異常検出対象物について異常の有無を高精度で検出することができる。

次に、図８及び図９を参照して、本開示の実施形態に係る異常判定処理の別の一例について説明する。

図８は、本開示の実施形態に係る異常検出方法の後半の流れを示す処理８００の一例を示すフローチャートである。図８に示す処理８００は、図６に示す処理６００とは別の手法で異常を検出するための処理であり、図６に示す処理６００と同様に、例えば図５に示す処理５００におけるステップＳ５５０に続いて行われる処理である。また、図９は、図８に示す処理８００の概念を示すための図である。
より具体的には、図８に示す処理８００は、異常検出対象物を示す入力映像において隣接する領域同士の勾配分布を比較することで異常の有無を判定する処理であり、例えば図２に示す勾配分布生成部２３４、異常判定部２３６、及び出力部２３８によって行われる。

まず、ステップＳ８１０では、勾配分布生成部は、入力映像を複数の領域に分割し、領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成する。上述したように、ここでの勾配分布は、特定の領域において、所定の勾配角度が現れる度数の分布を示すデータ構造であり、例えば図７に示す勾配分布７１０のように、－１８０度から１８０度の範囲における異なる勾配角度に対応するビン毎の度数を示すヒストグラムとして表現されてもよい。これにより、例えば図７に示す勾配分布のセット７２０のように、領域の数に等しい数のヒストグラムが得られる。
なお、処理８００におけるステップＳ８１０は、図６を参照して説明した処理６００におけるステップＳ６１０と実質的に同様であるため、ここではその説明を省略する。

次に、ステップＳ８２０では、異常判定部は、領域毎に生成したそれぞれの勾配分布の中から、互いに隣接する（隣り合う）領域（以下、「隣接領域」）に対応する勾配分布を抽出する。例えば、ここで、異常判定部は、第１の領域に対応する第１の勾配分布と、当該第１の領域に隣接する第２の領域に対応する第２の勾配分布を抽出してもよい。

次に、ステップＳ８３０では、異常判定部は、ステップＳ８３０で抽出した隣接領域のそれぞれの勾配分布を比較し、これらの勾配分布の分布乖離度を判定する。ここでの分布乖離度とは、勾配分布の距離を示す値であり、勾配方向分布の分布乖離度が大きい程、他の領域の勾配方向分布との差異が大きいことを示す。例えば、図９に示すように、勾配分布のセット９１０の中から、勾配分布９１１と勾配分布９１２とが比較され、勾配分布９１３と勾配分布９１４とが比較される。
以下、隣接領域同士の勾配方向分布（ヒストグラム等）

と

とを比較し、これらの分布乖離度を計算する場合を検討する。

まず、以下の数式１１～１２に示すように、勾配方向分布（ヒストグラム等）

を確率分布

として表す。ここでは、

は領域（画素数またはブロック数）の幅を表し、

は領域の高さ（画素数またはブロック数）を表す。

その後、分布乖離度の値として、ＫＬダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ）Ｄを数式１５によって求めることができる。

なお、ここでは、隣り合う領域を比較の対象として使用するのは、近接する領域はカメラの歪や照明条件などが同様である可能性が高いためであり、正常時において外観のパターンが同一であると推定される領域同士の比較であれば、任意の組合せでもよい。

次に、ステップＳ８４０では、異常判定部は、ステップＳ８３０で判定した分布乖離度と、予め設定される所定の分布乖離度閾値とに基づいて、異常の有無を判定する。ここでの分布乖離度閾値は、通常の分布乖離度と異常の分布乖離度との境界線を定義する値であり、ユーザによって設定されてもよく、以前の異常判定用データに基づいて異常判定部によって自動的に決定されてもよい。一例として、異常判定部は、特定の隣接領域について算出した分布乖離度が、予め設定される所定の分布乖離度閾値以上の値である場合、当該隣接領域について異常が存在すると判定し、特定の隣接領域について算出した分布乖離度が、予め設定される所定の分布乖離度閾値未満の値である場合、当該隣接領域について異常が存在しないと判定する。

次に、ステップＳ８５０では、出力部（例えば、図２に示す出力部２３８）は、ステップＳ８４０での異常判定の結果を示す異常通知を出力する。
なお、処理８００におけるステップＳ８５０は、図６を参照して説明した処理６００におけるステップＳ６５０と実質的に同様であるため、ここではその説明を省略する。

以上説明した処理８００によれば、異常検出対象物を示す入力映像の輝度勾配の分布のピークに基づいて、当該異常検出対象物について異常の有無を高精度で検出することができる。

以上、本開示の実施の形態について説明したが、本開示は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

２００：異常検出システム、２０５：センサ装置、２１０：クライアント端末、２２５：通信ネットワーク、２３０：異常検出装置、２３２：映像入力部、２３３：前処理部、２３４：勾配分布生成部、２３６：異常判定部、２３８：出力部、２４０：ストレージ部

Claims (8)

1. 異常検出装置であって、
   前記異常検出装置は、
   異常検出対象物を示す入力映像を入力する映像入力部と、
   前記入力映像を所定の領域に分割し、前記領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成する勾配分布生成部と、
   前記領域毎に生成した前記勾配分布のピークと、予め設定される所定の異常閾値とに基づいて、異常の有無を判定する異常判定部と、
   を含むことを特徴とする異常検出装置。
2. 前記異常判定部は、
   前記領域毎に生成したそれぞれの前記勾配分布の中から、所定の度数基準を満たす勾配方向を分布のピークとして検出する、
   ことを特徴とする、請求項１に記載の異常検出装置。
3. 前記異常判定部は、
   前記領域毎に生成したそれぞれの前記勾配分布を平均化した平均勾配分布を生成し、
   前記平均勾配分布において、所定の度数基準を満たす勾配方向を分布のピークとして検出する、
   ことを特徴とする、請求項１に記載の異常検出装置。
4. 異常検出装置であって、
   前記異常検出装置は、
   異常検出対象物を示す入力映像を入力する映像入力部と、
   前記入力映像を所定の領域に分割し、前記領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成する勾配分布生成部と、
   前記領域毎に生成した前記勾配分布を解析することで、異常の有無を判定する異常判定部と、
   を含み、
   前記異常判定部は、
   前記領域毎に生成したそれぞれの前記勾配分布の中から、第１の領域に対応する第１の勾配分布と、前記第１の領域に隣接する第２の領域に対応する第２の勾配分布とを抽出し、
   前記第１の勾配分布と前記第２の勾配分布とを比較することで、前記第１の勾配分布と前記第２の勾配分布との分布乖離度を判定し、
   判定した前記分布乖離度と、予め設定される所定の分布乖離度閾値とに基づいて、異常の有無を判定する、
   ことを特徴とする異常検出装置。
5. 前記異常検出装置は、
   前記異常判定部の異常の有無の判定により、異常が判定された場合、
   異常と判定された領域を示す映像を含む異常通知を出力する出力部を更に含む、
   ことを特徴とする、請求項１に記載の異常検出装置。
6. 異常検出対象物は、
   周期性のある模様を含み、
   前記勾配分布生成部は、
   前記入力映像を、前記周期性のある模様における少なくとも１周期が前記領域に収まる大きさの領域に分割する、
   ことを特徴とする、請求項１に記載の異常検出装置。
7. 異常検出方法であって、
   前記異常検出方法は、
   異常検出対象物を示す入力映像を入力する工程と、
   前記入力映像を所定の大きさの領域に分割し、前記領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成する工程と、
   前記領域毎に生成したそれぞれの前記勾配分布の中から、第１の領域に対応する第１の勾配分布と、前記第１の領域に隣接する第２の領域に対応する第２の勾配分布とを抽出する工程、
   前記第１の勾配分布と前記第２の勾配分布とを比較することで、前記第１の勾配分布と前記第２の勾配分布との分布乖離度を判定する工程と、
   判定した前記分布乖離度と、予め設定される所定の分布乖離度閾値とに基づいて、異常の有無を判定する工程と、
   異常の有無の判定により、異常が判定された場合、異常と判定された領域を示す映像を含む異常通知を出力する工程と、
   を含むことを特徴とする異常検出方法。
8. 異常検出対象物を撮影し、前記異常検出対象物を示す入力映像を取得するためのセンサ装置と、
   前記異常検出対象物に関する異常検出処理を依頼するためのクライアント端末と、
   前記異常検出対象物に関する異常検出処理を行うための異常検出装置とが通信ネットワークを介して接続されている異常検出システムであって、
   前記異常検出装置は、
   前記異常検出対象物を示す前記入力映像を前記センサ装置から入力する映像入力部と、
   前記入力映像を所定の大きさの領域に分割し、前記領域毎に、当該領域の輝度の勾配方向の分布を示す勾配分布を生成する勾配分布生成部と、
   前記領域毎に生成した前記勾配分布のピークと、予め設定される所定の異常閾値とに基づいて、異常の有無を判定する異常判定部と、
   前記異常判定部の異常の有無の判定により、異常が判定された場合、異常と判定された領域を示す映像を含む異常通知を前記クライアント端末に転送する出力部と、
   を含むことを特徴とする異常検出システム。

Images