JP7347775B2 - 監視装置、監視システム、監視方法、及びプログラム - Google Patents

Description

本発明は、監視装置、監視システム、監視方法、及びプログラムに関する。

ガラス工場、製鉄所などの工場では、工場の屋外若しくは屋内に設置された原料ヤードで、ガラスの原料である珪砂、鉄鋼の原料である鉄鉱石などの原材料を保管している。原料ヤードに保管された原材料は、スタッカ、リクレーマなどのヤード機械で高炉等に搬送される。原料ヤード、高炉等の現場の監視（巡視、巡回点検、環境整備、清掃、保守点検など）の際、作業員が徒歩、又は、移動体（車等）に乗って定期的に現場に出向いて、作業者が目視したり、カメラで撮影し、撮影した画像を確認して、現場を監視している。

現場に出向いて監視する方法では、いくつかの問題がある。例えば、人手に任せた現場の監視は、広域範囲に及ぶため、多大な時間が掛かる。また、原材料の形態は様々であるため、作業者の確認が感覚的になったり、作業者の経験に依存して、監視基準がばらつく可能性がある。さらに、原材料は様々な種類があるので、単なる監視だけでなく原材料の性質を把握する必要がある。

このような問題を解決するために、現場に設置された可視カメラ及び赤外線カメラを用いて、現場の監視を自動的かつ連続的に行うことができる方法がある（例えば、特許文献１参照）。

特開平７－２９８２４８号公報

以下の分析は、本願発明者により与えられる。

しかしながら、監視手段として特許文献１に記載された可視カメラや赤外線カメラだけでなく、原材料の形態や種類、顧客の要望に応じて、様々な種類のカメラを用いて現場の様々な状況を監視できるようになることが期待される。

本発明の主な課題は、現場の様々な状況を監視することに貢献することができる監視装置、監視システム、監視方法、及びプログラムを提供することである。

第１の視点に係る監視装置は、拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する画像化部と、前記撮影データが３次元データであるときに前記３次元データを点群データに変換する点群化部と、第１モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データを用いて、機械学習して予測モデルを作成する予測モデル作成部と、前記第１モードとは異なる第２モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データと、前記予測モデル作成部で作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記静止画データに含まれる監視対象物の変化を判定するモデル判定部と、前記第２モードのときに、前記点群化部で変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する基準値判定部と、を備え、前記予測モデルの作成に用いた前記画像データ又は前記点群データ若しくは前記静止画データの種類は、前記第２モードで比較される前記画像データ又は前記点群データ若しくは前記静止画データの種類に対応しており、前記予測モデルは、前記機械学習によって抽出された特徴を有する対象物に係るデータである。

第２の視点に係る監視システムは、拠点を撮影する監視カメラと、前記第１の視点に係る監視装置と、を備える。

第３の視点に係る監視方法は、拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換するステップと、前記撮影データが３次元データであるときに前記３次元データを点群データに変換するステップと、第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データを用いて、機械学習して予測モデルを作成するステップと、前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記静止画データに含まれる監視対象物の変化を判定するステップと、前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定するステップと、を含み、前記予測モデルの作成に用いた前記画像データ又は前記点群データ若しくは前記静止画データの種類は、前記第２モードで比較される前記画像データ又は前記点群データ若しくは前記静止画データの種類に対応しており、前記予測モデルは、前記機械学習によって抽出された特徴を有する対象物に係るデータである。

第４の視点に係るプログラムは、拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する処理と、前記撮影データが３次元データであるときに前記３次元データを点群データに変換する処理と、第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データを用いて、機械学習して予測モデルを作成する処理と、前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記静止画データに含まれる監視対象物の変化を判定する処理と、前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する処理と、をハードウェア資源に実行させ、前記予測モデルの作成に用いた前記画像データ又は前記点群データ若しくは前記静止画データの種類は、前記第２モードで比較される前記画像データ又は前記点群データ若しくは前記静止画データの種類に対応しており、前記予測モデルは、前記機械学習によって抽出された特徴を有する対象物に係るデータである。

なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。

前記第１～第４の視点によれば、現場の様々な状況を監視することに貢献することができる。

実施形態１に係る監視システムの構成を模式的に示したブロック図である。 実施形態１に係る監視システムにおける監視装置の詳細な構成を模式的に示したブロック図である。 実施形態１に係る監視システムにおける監視装置の学習モードの動画データの処理経路を模式的に示した図である。 実施形態１に係る監視システムにおける監視装置の学習モードの画像データの処理経路を模式的に示した図である。 実施形態１に係る監視システムにおける監視装置の学習モードの三次元データの処理経路を模式的に示した図である。 実施形態１に係る監視システムにおける監視装置の運用モードの動画データの処理経路を模式的に示した図である。 実施形態１に係る監視システムにおける監視装置の運用モードの画像データの処理経路を模式的に示した図である。 実施形態１に係る監視システムにおける監視装置の運用モードの三次元データの処理経路を模式的に示した図である。 実施形態１に係る監視システムにおける監視装置の画像化部の動作を模式的に示したフローチャート図である。 実施形態１に係る監視システムにおける監視装置の点群化部の動作を模式的に示したフローチャート図である。 実施形態１に係る監視システムにおける監視装置のモデル判定部の動作を模式的に示したフローチャート図である。 実施形態１に係る監視システムにおける監視装置の基準値判定部の動作を模式的に示したフローチャート図である。 実施形態２に係る監視システムの構成を模式的に示したブロック図である。 実施形態３に係る監視装置の構成を模式的に示したブロック図である。 ハードウェア資源の構成を模式的に示したブロック図である。

以下に説明する本開示では、モード１に係る監視装置及びその変形モードを適宜選択して組み合わせることができる。

前記モード１に係る監視装置として、拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する画像化部を備える。前記監視装置は、前記撮影データが３次元データであるときに前記３次元データを点群データに変換する点群化部を備える。前記監視装置は、第１モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データを用いて、機械学習して予測モデルを作成する予測モデル作成部を備える。前記監視装置は、前記第１モードとは異なる第２モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが画像データであるときの前記他の画像データと、前記予測モデル作成部で作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記他の画像データに含まれる監視対象物の変化を判定するモデル判定部を備える。前記監視装置は、前記第２モードのときに、前記点群化部で変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する基準値判定部を備える。

前記モード１に係る監視装置の変形モードとして、前記監視カメラからのデータの出力経路を制御する第１経路制御部を備える。前記監視装置は、前記画像化部又は前記点群化部若しくは前記第１経路制御部からのデータの出力経路を制御する第２経路制御部を備える。前記第１経路制御部は、前記撮影データが動画データであるときに、前記動画データを前記画像化部に向けて出力する。前記第１経路制御部は、前記撮影データが３次元データであるときに、前記３次元データを前記点群化部に向けて出力する。前記第１経路制御部は、前記撮影データが画像データであるときの前記他の画像データを第２経路制御部に向けて出力する。前記第２経路制御部は、前記第１モードのときに、前記画像化部からの前記画像データ、又は、前記点群化部からの前記点群データ、若しくは、前記第１経路制御部からの前記他の画像データを前記モデル作成部に向けて出力する。前記第２経路制御部は、前記第２モードのときに、前記画像化部からの前記画像データ、又は、前記第１経路制御部からの前記他の画像データを前記モデル判定部に向けて出力し、若しくは、前記点群化部からの前記点群データを前記モデル判定部及び前記基準値判定部に向けて出力する。前記監視装置は、前記監視カメラからの前記撮影データを取得して前記第１経路制御部に向けて出力するデータ取得部を備える。前記監視装置は、前記モデル判定部及び前記基準値判定部の少なくとも１つからの判定結果を出力する出力部を備える。前記出力部は、前記判定結果を前記データ取得部に向けて出力する。前記データ取得部は、前記出力部からの前記判定結果に基づいて前記監視対象物の変化を確認し、変化の程度に応じて前記監視カメラからの前記撮影データを取得する時間間隔を調整する。前記撮影データは、時刻情報、位置情報、カメラ情報及び対象物情報の少なくとも１つの情報を含む。前記判定結果は、前記時刻情報、前記位置情報、前記カメラ情報及び前記対象物情報の少なくとも１つの情報を含む。前記画像化部は、前記動画データから、予め設定されたサンプリング周期で前記画像データを切り出し、切り出した前記画像データを所定の画像処理することによって、前記動画データから前記画像データに変換する。前記所定の画像処理は、精細化、高解像度化、ノイズ除去、低解像度化、オープニング処理、及び、モルフォロジー変換の少なくとも１つの処理である。前記点群化部は、前記３次元データを１次点群データに変換し、変換された前記１次点群データに基づいてモデルデータを生成し、生成された前記モデルデータを２次点群データに変換することによって、前記３次元データを前記点群データに変換する。前記点群化部は、変換された前記点群データに対してフィルタ処理を実行する。前記監視装置は、前記第１モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データに予測モデル用ラベルを付与し、前記予測モデル用ラベルが付与されたデータを前記予測モデル作成部に向けて出力するラベル付与部を備える。

本開示では、モード２に係る監視システム及びその変形モードを適宜選択して組み合わせることができる。

前記モード２に係る監視システムとして、拠点を撮影する監視カメラと、前記モード１に係る監視装置と、を備える。

前記モード２に係る監視システムの変形モードとして、前記監視カメラを搭載するとともに、衛星測位装置を搭載し、かつ、前記監視装置と通信可能にする通信部を有する自動運転車両を備える。前記自動運転車両は、前記衛星測位装置で測位した測位情報を、前記監視カメラで撮影された前記撮影データに含めて、前記通信部を介して前記監視装置に送信する。

本開示では、モード３に係る監視方法として、拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換するステップと、前記撮影データが３次元データであるときに前記３次元データを点群データに変換するステップと、第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データを用いて、機械学習して予測モデルを作成するステップと、前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの前記他の画像データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記他の画像データに含まれる監視対象物の変化を判定するステップと、前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定するステップと、を含む。

本開示では、モード４に係るプログラムとして、拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する処理と、前記撮影データが３次元データであるときに前記３次元データを点群データに変換する処理と、第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データを用いて、機械学習して予測モデルを作成する処理と、前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの前記他の画像データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記他の画像データに含まれる監視対象物の変化を判定する処理と、前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する処理と、をハードウェア資源に実行させる。

以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。

［実施形態１］
実施形態１に係る監視システムについて図面を用いて説明する。図１は、実施形態１に係る監視システムの構成を模式的に示したブロック図である。図２は、実施形態１に係る監視システムにおける監視装置の詳細な構成を模式的に示したブロック図である。図３～図８は、実施形態１に係る監視システムにおける監視装置の各種データの処理経路を模式的に示した図である。

監視システム１は、拠点５０ａ～５０ｎ（例えば、原料ヤード、倉庫、工場、搬送経路、高炉等）に存在する監視対象物（以下「対象物」という場合がある）を監視（点検）するシステムである。監視システム１は、監視装置１０と、監視カメラ３０ａ～３０ｎと、ネットワーク４０と、を有する。

ここで、監視対象物として、例えば、原料ヤードや倉庫における原材料、工場、高炉、搬送経路における落鉱落炭等とすることができる。

監視装置１０は、監視カメラ３０ａ～３０ｎを用いて拠点５０ａ～５０ｎに存在する対象物を監視する装置である（図１参照）。監視装置１０は、ネットワーク４０を介して監視カメラ３０ａ～３０ｎと通信可能に接続されている。監視装置１０は、データ取得部１１と、経路制御部１２と、画像化部１３と、点群化部１４と、経路制御部１５と、ラベル付与部１６と、予測モデル作成部１７と、モデル判定部１８と、基準値判定部１９と、出力部２０と、を有する（図２参照）。監視装置１０には、例えば、プロセッサ、メモリ、ネットワークインタフェイス等を含むハードウェア資源（例えば、情報処理装置、コンピュータ）を用いることができる。この場合、ハードウェア資源は、プログラムを記憶するメモリを利用しながら、プロセッサにおいて当該プログラムを実行することにより、仮想的な、データ取得部１１、経路制御部１２、画像化部１３、点群化部１４、経路制御部１５、ラベル付与部１６、予測モデル作成部１７、モデル判定部１８、基準値判定部１９、及び、出力部２０を実現するようにしてもよい。

データ取得部１１は、監視カメラ（図１の３０ａ～３０ｎ）で撮影された撮影データを、ネットワーク（図１の４０）を介して取得する機能部である（図２参照）。データ取得部１１は、ネットワーク（図１の４０）を介して監視カメラ（図１の３０ａ～３０ｎ）と通信可能に接続されている。データ取得部１１は、取得した撮影データを経路制御部１２に向けて出力する（図３～図８参照）。データ取得部１１で取得する撮影データは、様々な撮影形式の監視カメラ（図１の３０ａ～３０ｎ；赤外線カメラ、ハイパースペクトルカメラ、ＲＧＢ（Red Green Blue）カメラ、３次元センサ、デプスセンサ等）で撮影された撮影データ（動画データ、画像データ、３次元データ等）を用いることができる。

ここで、撮影データは、監視カメラ３０ａ～３０ｎで撮影されたデータであり、動画データ、画像データ、３次元データのいずれかである。

経路制御部１２は、データ取得部１１で取得した撮影データの出力経路を制御する機能部（第１経路制御部）である（図２参照）。経路制御部１２は、撮影データの種別（動画データ、画像データ、３次元データ）を判断する。経路制御部１２は、撮影データが動画データ（赤外線カメラ、ハイパースペクトルカメラ、ＲＧＢカメラ等で撮影した動画データ）であるときに、当該動画データを画像化部１３に向けて出力する（図３、図６参照）。経路制御部１２は、撮影データが画像データ（赤外線カメラ、ハイパースペクトルカメラ、ＲＧＢカメラ等で撮影した静止画データ）であるときに、当該画像データを経路制御部１５に向けて出力する（図４、図７参照）。経路制御部１２は、撮影データが３次元データ（例えば、３次元カメラ、デプスセンサ等で撮影した３次元データ）であるときに、当該３次元データを点群化部１４に向けて出力する（図５、図８参照）。

画像化部１３は、経路制御部１２からの動画データを画像データに変換する機能部である（図２参照）。画像化部１３は、動画データから、予め設定されたサンプリング周期で画像データを切り出し、切り出した画像データを所定の画像処理（例えば、精細化、高解像度化、ノイズ除去、低解像度化、オープニング処理、モルフォロジー変換等）することによって、動画データから画像データに変換する。なお、画像処理は、必要に応じて、省略することができる。画像化部１３は、変換された画像データを経路制御部１５に向けて出力する（図３、図６参照）。

点群化部１４は、経路制御部１２からの３次元データを点群データに変換する機能部である（図２参照）。点群化部１４は、３次元データを１次点群データに変換し、変換された１次点群データに基づいてモデルデータ（例えば、ＣＡＤ（Computer Aided Design）データ）を生成し、生成されたモデルデータを２次点群データに変換することによって、３次元データを点群データに変換する。点群データに変換した際、点群化部１４は、必要に応じて、点群データに対してフィルタ処理を実行し、はずれ点群の除去やダウンサンプリングを行うようにしてもよく、予測モデル作成部１７で機械学習する部分以外の点群を除去するようにしてもよい。なお、モデルデータの生成、及び、モデルデータの点群データへの変換は、必要に応じて、省略することができる。点群化部１４は、変換された点群データ（モデルデータを生成した場合は２次点群データ）を経路制御部１５に向けて出力する（図５、図８参照）。ここで、点群化部１４において３次元データを点群データに変換しているのは、３次元カメラやデプスセンサで撮影された３次元データはフォーマットがメーカ固有で統一されていないことが多いため画一的な処理が行い難いのに対し、点群データはフォーマットが統一されて画一的な処理が行い易いからである。

経路制御部１５は、画像化部１３からの画像データ、及び、経路制御部１２からの画像データ、並びに、点群化部１４からの点群データの出力経路を制御する機能部（第２経路制御部）である（図２参照）。経路制御部１５は、学習モードのときに、画像化部１３からの画像データ、又は、経路制御部１２からの画像データ、若しくは、点群化部１４からの点群データをラベル付与部１６に向けて出力する（図３、図４、図５参照）。経路制御部１５は、運用モードのときに、画像化部１３からの画像データ、又は、経路制御部１２からの画像データをモデル判定部１８に向けて出力する（図６、図７参照）。経路制御部１５は、運用モードのときに、点群化部１４からの点群データをモデル判定部１８及び基準値判定部１９に向けて出力する（図８参照）。

ここで、学習モードとは、予測モデル作成部１７において機械学習（有用な規則、ルール、知識表現、判断基準等の特徴を抽出）するときのモード（第１モード）である。運用モードとは、モデル判定部１８及び基準値判定部１９において通常運用（判定処理）するときのモード（第２モード）である。

ラベル付与部１６は、学習モードのときに、経路制御部１５からのデータ（画像データ、点群データ）に予測モデル用ラベルを付与する機能部である（図２参照）。ラベル付与部１６は、予測モデル用ラベルが付与されたデータ（ラベル付きデータ）を予測モデル作成部１７に向けて出力する。

予測モデル作成部１７は、ラベル付与部１６からのラベル付きデータを用いて機械学習（有用な規則、ルール、知識表現、判断基準等の特徴を抽出）して予測モデルを作成する機能部である。予測モデルは、機械学習によって抽出された特徴（予測される対象物の特徴）を有する対象物（オブジェクト）に係るモデル（データ）であり、モデル判定部１８における判定基準となる。予測モデル作成部１７は、作成された予測モデルをモデル判定部１８に向けて出力する。

モデル判定部１８は、経路制御部１５からのデータ（画像データ、点群データ）と、予測モデル作成部１７で作成された対応する予測モデルと、を比較することにより、当該データに含まれる対象物の変化を判定する機能部である（図２、図６～図８参照）。モデル判定部１８は、予測モデル作成部１７で作成された最新の予測モデルを保持する。判定では、温度（データが赤外線カメラ由来の画像データの場合）、成分（データがハイパースペクトルカメラ由来の画像データの場合）、見た目（データがＲＧＢカメラ由来の画像データの場合）、点群（データが３次元カメラ由来の点群データの場合）で判定することができる。対象物の変化の判定では、対象物有りの確信度（％）、対象物無しの確信度（％）を用いて判定を実施することができる。例えば、対象物有と判断された確信度が８５％以上のものを対象物有りと最終的に判断するように判定を行うことができる。確信度は判定したい状況に応じてチューニングすることが可能である。また、対象物の変化の判定では、データに含まれる対象物が予測モデルに対してどの程度（例えば、何％）変化しているかを判定することができ、変化が上限及び下限の範囲内にあるか否かを判定することができる。モデル判定部１８は、対象物の変化の判定に係る結果（判定結果）を出力部２０に向けて出力する。判定結果には、時刻情報、位置情報、カメラ情報、対象物情報等を含めることができる。

基準値判定部１９は、経路制御部１５からの点群データに含まれる対象物の所定形態に係る計測値（例えば、体積、形状の大きさ、面積等の形態の計測値）と、予め設定された基準値と、を比較することにより、当該対象物の変化を判定する機能部である（図２、図８参照）。基準値判定部１９は、経路制御部１５からの点群データから対象物に係る点群を抽出する。基準値判定部１９は、抽出された対象物に係る点群に基づいて当該対象物の所定形態を計測する。基準値判定部１９は、学習モードでは、計測された対象物に係る所定形態の計測値を基準値として保持する。基準値については、計測される対象物に係る所定形態に応じて予め設定され、例えば、体積、形状の大きさ、面積等とすることができる。基準値判定部１９は、運用モードでは、計測された対象物に係る所定形態の計測値と、予め設定された基準値と、を比較することにより、当該対象物の変化を判定する。対象物の変化の判定では、対象物に係る所定形態の計測値が基準値に対してどの程度（例えば、何％）変化しているかを判定することができ、変化の程度が上限及び下限の範囲内にあるか否かを判定することができる。基準値判定部１９は、対象物の変化の判定に係る結果（判定結果）を出力部２０に向けて出力する。判定結果には、時刻情報、位置情報、カメラ情報、対象物情報等を含めることができる。

出力部２０は、モデル判定部１８又は基準値判定部１９からの判定結果を出力（表示、送信、音声出力、印刷等）する機能部である（図２参照）。出力部２０は、判定結果をデータ取得部１１に向けて出力するようにし、データ取得部１１にて、判定結果に基づいて対象物の変化を確認し、変化の程度に応じて監視カメラ３０ａ～３０ｎからの撮影データを取得する時間間隔を調整するようにしてもよい。例えば、対象物の変化が大きければ撮影データを取得する時間間隔を短くし、対象物の変化が小さければ撮影データを取得する時間間隔を長くすることができる。撮影データを取得する時間間隔を短くすることで、対象物の変化を早期かつ正確に把握することができ、撮影データを取得する時間間隔を長くすることで、システムの消費電力を抑えることができる。出力部２０として、例えば、表示を行うディスプレイ、データ転送を行うインタフェイス、音声を出力するスピーカ、印刷を行うプリンタその他の出力手段を用いることができ、図示しない通信部及びネットワークを介して有線又は無線により通信可能に接続された出力部を有する情報端末等を用いてもよい。

監視カメラ３０ａ～３０ｎは、監視対象物（対象物）を撮影するカメラ（センサを含む）である（図１参照）。監視カメラ３０ａ～３０ｎは、撮影した対象物に係る撮影データ（動画データ、画像データ、３次元データのいずれか）を生成し、生成された撮影データを監視装置１０のデータ取得部（図２～図８の１１）に向けて出力する。監視カメラ３０ａ～３０ｎは、データ取得部（図２～図８の１１）での撮影データを取得する時間間隔に応じて撮影データを出力するようにしてもよい。監視カメラ３０ａ～３０ｎには、各種カメラを用いることができる。撮影データには、時刻情報、位置情報、カメラ情報、対象物情報等を含めることができる。

監視カメラ３０ａ～３０ｎは、多数の拠点５０ａ～５０ｎに設置される。監視カメラ３０ａ～３０ｎは、顧客の要望に応じて各種のカメラが選択される。監視カメラ３０ａ～３０ｎは、拠点５０ａ～５０ｎごとに１台だけでなく２台以上設置してもよく、１つの拠点に異なる種類のカメラを複数台設置してもよい。顧客に対して対象物を監視する際に、どのような目的で何をどの範囲で監視したいのかの要望を確認する。これにより、顧客の要望に応じたサービス展開を柔軟に組み合わせることができる。

監視カメラ３０ａ～３０ｎには、例えば、赤外線カメラ、ハイパースペクトルカメラ、ＲＧＢカメラ、３次元カメラ、デプスセンサ等を用いることができる。

例えば、落鉱落炭を対象物とする場合、落鉱落炭は発火のおそれもあることから、監視カメラ３０ａ～３０ｎには、温度を検出することが可能な赤外線カメラを用いることができる。赤外線カメラによれば、温度情報により落鉱落炭の温度変化を抽出することができる。これにより、人の目には見えない温度での判定が可能である。

また、工場の敷地には落鉱落炭だけでなく土やその他の成分の堆積物も存在していることから、監視カメラ３０ａ～３０ｎには、成分を検出することが可能なハイパースペクトルカメラを用いることができる。ハイパースペクトルカメラによれば、波長情報により落鉱落炭の成分を抽出することができる。これにより、人の目には見えない成分での判定が可能である。

また、対象物の「見た目」の特徴を検出する場合、監視カメラ３０ａ～３０ｎには、ＲＧＢカメラを用いることができる。ＲＧＢカメラによれば、見た目のテクスチャ情報などにより落鉱落炭を抽出することができる。これにより、人の見た目での判定と同様な判定が可能である。

さらに、対象物の形状の大きさや体積を検出する場合、監視カメラ３０ａ～３０ｎには、３次元カメラやデプスセンサを用いることができる。３次元カメラやデプスセンサを用いれば、人の目では計測できない３次元データを活用して、不定形な対象物（原材料、落鉱落炭）の正確な形状の大きさや体積の検出が可能となり、原材料の在庫管理を行い、不足する原材料を自動的に発注することができ、また、落鉱落炭の堆積管理を行い、清掃を行う場所やタイミングを絞り込むことができる。３次元カメラは、屋内／屋外撮影、撮影距離、撮影制度に応じて、３Ｄ－ＬｉＤＡＲ（Light Detection And Ranging）、ＴｏＦ（Time of Flight）カメラ、ステレオカメラなど多数の種類が存在し、撮影された３次元データのフォーマットが異なるが、点群化部１４で画一的な処理が可能であるので、どのような種類の３次元カメラでもお客様の用途に応じて選択することができる。

なお、１つの拠点５０ａ～５０ｎに１種類の監視カメラ３０ａ～３０ｎのみを設置した場合、対象物の変化の判定が困難なことがあるが、１つの拠点５０ａ～５０ｎに複数種類の監視カメラ３０ａ～３０ｎを設置して複数種類の判定結果を得てフュージョンさせることにより、効果的に対象物の変化の判定を行うことができる。

ネットワーク４０は、監視装置１０と監視カメラ３０ａ～３０ｎとを有線又は無線により通信可能に接続する情報通信網である（図１参照）。ネットワーク４０には、例えば、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）等を用いることができる。

次に、実施形態１に係る監視システムにおける監視装置の画像化部の動作について図面を用いて説明する。図９は、実施形態１に係る監視システムにおける監視装置の画像化部の動作を模式的に示したフローチャート図である。なお、監視システム１及び監視装置１０の構成部については、図１及び図２を参照されたい。

まず、画像化部１３は、経路制御部１２からの動画データ（監視カメラ３０ａ～３０ｎ（赤外線カメラ、ハイパースペクトルカメラ、ＲＧＢカメラ等）で撮影した動画データ）を取得する（ステップＡ１）。

次に、画像化部１３は、ステップＡ１で取得した動画データから予め設定されたサンプリング周期で画像データを切り出す（ステップＡ２）。

次に、画像化部１３は、ステップＡ２で切り出された画像データを精細化（例えば、高解像度化、ノイズ除去）する（ステップＡ３）。

最後に、画像化部１３は、ステップＡ３で精細化された画像データを経路制御部１５に向けて出力し（ステップＡ４）、その後、終了する。

次に、実施形態１に係る監視システムにおける監視装置の点群化部の動作について図面を用いて説明する。図１０は、実施形態１に係る監視システムにおける監視装置の点群化部の動作を模式的に示したフローチャート図である。なお、監視システム１及び監視装置１０の構成部については、図１及び図２を参照されたい。

まず、点群化部１４は、経路制御部１２からの３次元データを取得する（ステップＢ１）。

次に、点群化部１４は、ステップＢ１で取得した３次元データを１次点群データに変換する（ステップＢ２）。

次に、点群化部１４は、ステップＢ２で変換された１次点群データに基づいてモデルデータ（例えば、ＣＡＤデータ）を生成する（ステップＢ３）。

次に、点群化部１４は、ステップＢ３で生成されたモデルデータを２次点群データに変換する（ステップＢ４）。

最後に、点群化部１４は、ステップＢ４で変換された２次点群データを経路制御部１５に向けて出力し（ステップＢ５）、その後、終了する。

次に、実施形態１に係る監視システムにおける監視装置のモデル判定部の動作について図面を用いて説明する。図１１は、実施形態１に係る監視システムにおける監視装置のモデル判定部の動作を模式的に示したフローチャート図である。なお、監視システム１及び監視装置１０の構成部については、図１及び図２を参照されたい。ここでは、予め予測モデル作成部１７により予測モデルが作成され、作成された予測モデルがモデル判定部１８に保持されているものとする。

まず、モデル判定部１８は、経路制御部１５からのデータ（画像データ、点群データ（モデルデータを生成した場合は２次点群データ））を取得する（ステップＣ１）。

次に、モデル判定部１８は、ステップＣ１で取得したデータと、予測モデル作成部１７で作成された対応する予測モデルと、を比較する（ステップＣ２）。

次に、モデル判定部１８は、ステップＣ２での比較により、ステップＣ１で取得したデータに含まれた対象物の変化を判定する（ステップＣ３）。

最後に、モデル判定部１８は、ステップＣ３での判定に係る結果（判定結果）を出力部２０に向けて出力し（ステップＣ４）、その後、終了する。

次に、実施形態１に係る監視システムにおける監視装置の基準値判定部の動作について図面を用いて説明する。図１２は、実施形態１に係る監視システムにおける監視装置の基準値判定部の動作を模式的に示したフローチャート図である。なお、監視システム１及び監視装置１０の構成部については、図１及び図２を参照されたい。

まず、基準値判定部１９は、経路制御部１５からの点群データを取得する（ステップＤ１）。

次に、基準値判定部１９は、ステップＤ１で取得した点群データから対象物に係る点群を抽出する（ステップＤ２）。

次に、基準値判定部１９は、ステップＤ２で抽出された対象物に係る点群に基づいて当該対象物の所定形態を計測する（ステップＤ３）。

次に、基準値判定部１９は、ステップＤ３で計測された対象物に係る所定形態の計測値（例えば、体積、形状の大きさ等の形態の計測値）と、予め設定された基準値と、を比較する（ステップＤ４）。

次に、基準値判定部１９は、ステップＤ４での比較により、ステップＤ１で取得した点群データに含まれた対象物の変化を判定する（ステップＤ５）。

最後に、基準値判定部１９は、ステップＤ５での対象物の変化の判定に係る結果（判定結果）を出力部２０に向けて出力し（ステップＤ６）、その後、終了する。

以上のような監視システム１は、スマートファクトリ分野における原材料の管理、鉱業分野における落鉱落炭の管理、食品製造業の分野における原材料の管理、廃棄物処理業の分野における廃棄物の管理、各種施設におけるトイレ掃除の管理等に利用することができる。

実施形態１によれば、以下のような効果を奏する。

第１の効果は、お客さまの要望に応じて最適な種類の監視カメラ３０ａ～３０ｎを選択することが可能となるので、現場の様々な状況を監視することに貢献することができる。

第２の効果は、撮影した撮影データの中から監視対象物の形状、大きさ、体積、温度、成分等を検出することができるので、作業員の見た目だけでは判別がつかない要素についても監視することができる。

第３の効果は、監視したい場所に監視カメラ３０ａ～３０ｎを設置することで、作業員が現場に出向かずに遠隔地で、監視対象物の形状、大きさ、体積、温度、成分等を監視することができ、監視業務を効率化させることができる。

第４の効果は、監視対象物の検出内容に応じて基準値を設定することで、監視対象物の異常を検出することができる。

第５の効果は、１つの監視システム１に様々な監視カメラ３０ａ～３０ｎをフュージョンさせて活用し、監視業務自体の品質向上を図ることができる。

第６の効果は、監視を定常的に実施しているだけでなく、監視対象物の状況変化に応じて、監視を行う時間間隔を調整することができるので、監視システム１の消費電力を抑えることができる。

第７の効果は、監視カメラ３０ａ～３０ｎとして３次元カメラを活用することで、位置の取得が可能になり、清掃すべき場所、発注すべき対象を絞り込むことができ、広範囲な点検・監視を実現することができる。

第８の効果は、原材料の在庫管理においては、自動的に不足する対象物の発注を行ったり、在庫補充後の安定した状態までをライフサイクルとして管理することができる。また、落鉱落炭の堆積管理においては、清掃を行うタイミングを知らせることができる。

［実施形態２］
実施形態２に係る監視システムについて図面を用いて説明する。図１３は、実施形態２に係る監視システムの構成を模式的に示したブロック図である。

実施形態２は、実施形態１の変形例であり、拠点５０ａ～５０ｎごとに監視カメラを設置するのをやめ、監視カメラ３０（１つの監視カメラ、複数種類の監視カメラでも可）及び通信部８０（無線通信部）を搭載した自動運転車両６０を用いて、監視対象物が存在する拠点５０ａ～５０ｎを巡回して、撮影データを、通信部８０及びネットワーク４０を介して監視装置１０で取得できるようにしたものである。自動運転車両６０は、衛星測位装置７０（例えば、ＧＰＳ；Global Positioning System）を搭載している。衛星測位装置７０で測位した測位情報は、撮影データに含めて、通信部８０及びネットワーク４０を介して監視装置１０に送信される。監視装置１０は、当該測位情報により撮影データの撮影位置を特定することができる。その他の構成は実施形態１と同様である。

実施形態２によれば、実施形態１と同様に、現場の様々な状況を監視することに貢献することができる。

［実施形態３］
実施形態３に係る監視装置について図面を用いて説明する。図１４は、実施形態３に係る監視装置の構成を模式的に示したブロック図である。

監視装置１０は、監視カメラ３０を用いて拠点５０に存在する監視対象物を監視する装置である（図１４参照）。監視装置１０は、画像化部１３と、点群化部１４と、予測モデル作成部１７と、モデル判定部１８と、基準値判定部１９と、を備える。

画像化部１３は、拠点５０を撮影する監視カメラ３０からの撮影データが動画データであるときに当該動画データを画像データに変換する（図１４参照）。

点群化部１４は、撮影データが３次元データであるときに当該３次元データを点群データに変換する（図１４参照）。

予測モデル作成部１７は、第１モードのときに、画像化部１３で変換された画像データ、又は、点群化部１４で変換された点群データ、若しくは、撮影データが画像データであるときの他の画像データを用いて、機械学習して予測モデルを作成する（図１４参照）。

モデル判定部１８は、第１モードとは異なる第２モードのときに、画像化部１３で変換された画像データ、又は、点群化部１４で変換された点群データ、若しくは、撮影データが画像データであるときの他の画像データと、予測モデル作成部１７で作成された予測モデルと、を比較することにより、画像データ又は点群データ若しくは他の画像データに含まれる監視対象物の変化を判定する。

基準値判定部１９と、第２モードのときに、点群化部１４で変換された点群データに含まれる監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、監視対象物の変化を判定する。

実施形態３によれば、実施形態１と同様に、現場の様々な状況を監視することに貢献することができる。

なお、実施形態１～３に係る監視装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図１５に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源１００は、内部バス１０４により相互に接続される、プロセッサ１０１、メモリ１０２、ネットワークインタフェイス１０３等を備える。

なお、図１５に示す構成は、ハードウェア資源１００のハードウェア構成を限定する趣旨ではない。ハードウェア資源１００は、図示しないハードウェア（例えば、入出力インタフェイス）を含んでもよい。あるいは、装置に含まれるプロセッサ１０１等のユニットの数も図１５の例示に限定する趣旨ではなく、例えば、複数のプロセッサ１０１がハードウェア資源１００に含まれていてもよい。プロセッサ１０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

メモリ１０２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。

ネットワークインタフェイス１０３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。

ハードウェア資源１００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１０２に格納されたプログラムをプロセッサ１０１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
本発明では、前記第１の視点に係る監視装置の形態が可能であり、以下の通りである。
拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する画像化部と、
前記撮影データが３次元データであるときに前記３次元データを点群データに変換する点群化部と、
第１モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データを用いて、機械学習して予測モデルを作成する予測モデル作成部と、
前記第１モードとは異なる第２モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが画像データであるときの前記他の画像データと、前記予測モデル作成部で作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記他の画像データに含まれる監視対象物の変化を判定するモデル判定部と、
前記第２モードのときに、前記点群化部で変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する基準値判定部と、
を備える、
監視装置。

［付記２］
前記監視カメラからのデータの出力経路を制御する第１経路制御部と、
前記画像化部又は前記点群化部若しくは前記第１経路制御部からのデータの出力経路を制御する第２経路制御部と、
をさらに備え、
前記第１経路制御部は、
前記撮影データが動画データであるときに、前記動画データを前記画像化部に向けて出力し、
前記撮影データが３次元データであるときに、前記３次元データを前記点群化部に向けて出力し、
前記撮影データが画像データであるときの前記他の画像データを第２経路制御部に向けて出力し、
前記第２経路制御部は、
前記第１モードのときに、前記画像化部からの前記画像データ、又は、前記点群化部からの前記点群データ、若しくは、前記第１経路制御部からの前記他の画像データを前記モデル作成部に向けて出力し、
前記第２モードのときに、前記画像化部からの前記画像データ、又は、前記第１経路制御部からの前記他の画像データを前記モデル判定部に向けて出力し、若しくは、前記点群化部からの前記点群データを前記モデル判定部及び前記基準値判定部に向けて出力する、
付記１記載の監視装置。

［付記３］
前記監視カメラからの前記撮影データを取得して前記第１経路制御部に向けて出力するデータ取得部と、
前記モデル判定部及び前記基準値判定部の少なくとも１つからの判定結果を出力する出力部と、
をさらに備え、
前記出力部は、前記判定結果を前記データ取得部に向けて出力し、
前記データ取得部は、前記出力部からの前記判定結果に基づいて前記監視対象物の変化を確認し、変化の程度に応じて前記監視カメラからの前記撮影データを取得する時間間隔を調整する、
付記２記載の監視装置。

［付記４］
前記撮影データは、時刻情報、位置情報、カメラ情報及び対象物情報の少なくとも１つの情報を含み、
前記判定結果は、前記時刻情報、前記位置情報、前記カメラ情報及び前記対象物情報の少なくとも１つの情報を含む、
付記３記載の監視装置。

［付記５］
前記画像化部は、前記動画データから、予め設定されたサンプリング周期で前記画像データを切り出し、切り出した前記画像データを所定の画像処理することによって、前記動画データから前記画像データに変換する、
付記１乃至４のいずれか一に記載の監視装置。

［付記６］
前記所定の画像処理は、精細化、高解像度化、ノイズ除去、低解像度化、オープニング処理、及び、モルフォロジー変換の少なくとも１つの処理である、
付記５記載の監視装置。

［付記７］
前記点群化部は、前記３次元データを１次点群データに変換し、変換された前記１次点群データに基づいてモデルデータを生成し、生成された前記モデルデータを２次点群データに変換することによって、前記３次元データを前記点群データに変換する、
付記１乃至６のいずれか一に記載の監視装置。

［付記８］
前記点群化部は、変換された前記点群データに対してフィルタ処理を実行する、
付記７記載の監視装置。

［付記９］
前記第１モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データに予測モデル用ラベルを付与し、前記予測モデル用ラベルが付与されたデータを前記予測モデル作成部に向けて出力するラベル付与部をさらに備える、
付記１乃至６のいずれか一に記載の監視装置。

［付記１０］
本発明では、前記第２の視点に係る監視システムの形態が可能であり、以下の通りである。
拠点を撮影する監視カメラと、
付記１乃至９のいずれか一に記載の監視装置と、
を備える、
監視システム。

［付記１１］
前記監視カメラを搭載するとともに、衛星測位装置を搭載し、かつ、前記監視装置と通信可能にする通信部を有する自動運転車両をさらに備え、
前記自動運転車両は、前記衛星測位装置で測位した測位情報を、前記監視カメラで撮影された前記撮影データに含めて、前記通信部を介して前記監視装置に送信する、
付記１０記載の監視システム。

［付記１２］
本発明では、前記第３の視点に係る監視方法の形態が可能であり、以下の通りである。
拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換するステップと、
前記撮影データが３次元データであるときに前記３次元データを点群データに変換するステップと、
第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データを用いて、機械学習して予測モデルを作成するステップと、
前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの前記他の画像データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記他の画像データに含まれる監視対象物の変化を判定するステップと、
前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定するステップと、
を含む、
監視方法。

［付記１３］
本発明では、前記第４の視点に係るプログラムの形態が可能であり、以下の通りである。
拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する処理と、
前記撮影データが３次元データであるときに前記３次元データを点群データに変換する処理と、
第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの他の画像データを用いて、機械学習して予測モデルを作成する処理と、
前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが画像データであるときの前記他の画像データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記他の画像データに含まれる監視対象物の変化を判定する処理と、
前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する処理と、
をハードウェア資源に実行させる、
プログラム。

なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。

１ 監視システム
１０ 監視装置
１１ データ取得部
１２ 経路制御部
１３ 画像化部
１４ 点群化部
１５ 経路制御部
１６ ラベル付与部
１７ 予測モデル作成部
１８ モデル判定部
１９ 基準値判定部
２０ 出力部
３０、３０ａ～３０ｎ 監視カメラ
４０ ネットワーク
５０、５０ａ～５０ｎ 拠点
６０ 自動運転車両
７０ 衛星測位装置
８０ 通信部
１００ ハードウェア資源
１０１ プロセッサ
１０２ メモリ
１０３ ネットワークインタフェイス
１０４ 内部バス

Claims (10)

1. 拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する画像化部と、
   前記撮影データが３次元データであるときに前記３次元データを点群データに変換する点群化部と、
   第１モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データを用いて、機械学習して予測モデルを作成する予測モデル作成部と、
   前記第１モードとは異なる第２モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データと、前記予測モデル作成部で作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記静止画データに含まれる監視対象物の変化を判定するモデル判定部と、
   前記第２モードのときに、前記点群化部で変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する基準値判定部と、
   を備え、
   前記予測モデルの作成に用いた前記画像データ又は前記点群データ若しくは前記静止画データの種類は、前記第２モードで比較される前記画像データ又は前記点群データ若しくは前記静止画データの種類に対応しており、
   前記予測モデルは、前記機械学習によって抽出された特徴を有する対象物に係るデータである、
   監視装置。
2. 前記監視カメラからのデータの出力経路を制御する第１経路制御部と、
   前記画像化部又は前記点群化部若しくは前記第１経路制御部からのデータの出力経路を制御する第２経路制御部と、
   をさらに備え、
   前記第１経路制御部は、
   前記撮影データが動画データであるときに、前記動画データを前記画像化部に向けて出力し、
   前記撮影データが３次元データであるときに、前記３次元データを前記点群化部に向けて出力し、
   前記撮影データが静止画データであるときの前記静止画データを第２経路制御部に向けて出力し、
   前記第２経路制御部は、
   前記第１モードのときに、前記画像化部からの前記画像データ、又は、前記点群化部からの前記点群データ、若しくは、前記第１経路制御部からの前記静止画データを前記予測モデル作成部に向けて出力し、
   前記第２モードのときに、前記画像化部からの前記画像データ、又は、前記第１経路制御部からの前記静止画データを前記モデル判定部に向けて出力し、若しくは、前記点群化部からの前記点群データを前記モデル判定部及び前記基準値判定部に向けて出力する、
   請求項１記載の監視装置。
3. 前記監視カメラからの前記撮影データを取得して前記第１経路制御部に向けて出力するデータ取得部と、
   前記モデル判定部及び前記基準値判定部の少なくとも１つからの判定結果を出力する出力部と、
   をさらに備え、
   前記出力部は、前記判定結果を前記データ取得部に向けて出力し、
   前記データ取得部は、前記出力部からの前記判定結果に基づいて前記監視対象物の変化を確認し、変化の程度に応じて前記監視カメラからの前記撮影データを取得する時間間隔を調整する、
   請求項２記載の監視装置。
4. 前記画像化部は、前記動画データから、予め設定されたサンプリング周期で前記画像データを切り出し、切り出した前記画像データを所定の画像処理することによって、前記動画データから前記画像データに変換する、
   請求項１乃至３のいずれか一に記載の監視装置。
5. 前記点群化部は、前記３次元データを１次点群データに変換し、変換された前記１次点群データに基づいてモデルデータを生成し、生成された前記モデルデータを２次点群データに変換することによって、前記３次元データを前記点群データに変換する、
   請求項１乃至４のいずれか一に記載の監視装置。
6. 前記第１モードのときに、前記画像化部で変換された前記画像データ、又は、前記点群化部で変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データに予測モデル用ラベルを付与し、前記予測モデル用ラベルが付与されたデータを前記予測モデル作成部に向けて出力するラベル付与部をさらに備える、
   請求項１乃至５のいずれか一に記載の監視装置。
7. 拠点を撮影する監視カメラと、
   請求項１乃至６のいずれか一に記載の監視装置と、
   を備える、
   監視システム。
8. 前記監視カメラを搭載するとともに、衛星測位装置を搭載し、かつ、前記監視装置と通信可能にする通信部を有する自動運転車両をさらに備え、
   前記自動運転車両は、前記衛星測位装置で測位した測位情報を、前記監視カメラで撮影された前記撮影データに含めて、前記通信部を介して前記監視装置に送信する、
   請求項７記載の監視システム。
9. 拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換するステップと、
   前記撮影データが３次元データであるときに前記３次元データを点群データに変換するステップと、
   第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データを用いて、機械学習して予測モデルを作成するステップと、
   前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記静止画データに含まれる監視対象物の変化を判定するステップと、
   前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定するステップと、
   を含み、
   前記予測モデルの作成に用いた前記画像データ又は前記点群データ若しくは前記静止画データの種類は、前記第２モードで比較される前記画像データ又は前記点群データ若しくは前記静止画データの種類に対応しており、
   前記予測モデルは、前記機械学習によって抽出された特徴を有する対象物に係るデータである、
   監視方法。
10. 拠点を撮影する監視カメラからの撮影データが動画データであるときに前記動画データを画像データに変換する処理と、
    前記撮影データが３次元データであるときに前記３次元データを点群データに変換する処理と、
    第１モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データを用いて、機械学習して予測モデルを作成する処理と、
    前記第１モードとは異なる第２モードのときに、変換された前記画像データ、又は、変換された前記点群データ、若しくは、前記撮影データが静止画データであるときの前記静止画データと、作成された前記予測モデルと、を比較することにより、前記画像データ又は前記点群データ若しくは前記静止画データに含まれる監視対象物の変化を判定する処理と、
    前記第２モードのときに、変換された前記点群データに含まれる前記監視対象物の所定形態を計測し、計測された計測値と、予め設定された基準値と、を比較することにより、前記監視対象物の変化を判定する処理と、
    をハードウェア資源に実行させ、
    前記予測モデルの作成に用いた前記画像データ又は前記点群データ若しくは前記静止画データの種類は、前記第２モードで比較される前記画像データ又は前記点群データ若しくは前記静止画データの種類に対応しており、
    前記予測モデルは、前記機械学習によって抽出された特徴を有する対象物に係るデータである、
    プログラム。

Images