JP7300958B2 - 撮像装置、制御方法、及びコンピュータプログラム - Google Patents
撮像装置、制御方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7300958B2 JP7300958B2 JP2019186730A JP2019186730A JP7300958B2 JP 7300958 B2 JP7300958 B2 JP 7300958B2 JP 2019186730 A JP2019186730 A JP 2019186730A JP 2019186730 A JP2019186730 A JP 2019186730A JP 7300958 B2 JP7300958 B2 JP 7300958B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- recognition
- animals
- information indicating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
また、監視対象以外の画像データが、トレイルカメラからクラウドへ送信されることにより不要なデータ送信が発生する。また、監視対象以外の画像データが、トレイルカメラの搭載されたSDメモリカードや内部ストレージに記憶されることによって、SDメモリカードや内部ストレージの容量を逼迫する。
本発明は、このような事情を考慮してなされたものであり、その目的は、撮像することによって得られた画像データのうち、不要な画像データの送信、不要な画像データの記憶を低減できる撮像装置、学習装置、制御方法、学習方法、及びコンピュータプログラムを提供することにある。
(2)本発明の一態様は、上記(1)に記載の撮像装置において、前記認識部は、動物の画像と、前記画像に写っている動物の状態を示す情報との関係を学習した学習モデルを用いて、前記認識画像に写っている動物の状態を認識し、前記送信判定部は、前記認識部が行った前記認識画像に写っている前記動物の状態の認識結果に基づいて、前記認識画像の画像データの送信を行うか否かを判定し、前記記憶判定部は、前記認識結果に基づいて、前記認識画像の画像データの記憶を行うか否かを判定する。
(3)本発明の一態様は、上記(1)又は上記(2)に記載の撮像装置において、動物の前記画像には、可視光線を撮影した動物の画像と、赤外線を撮影した動物の画像とが含まれる。
(4)本発明の一態様は、上記(1)から上記(3)のいずれか一項に記載の撮像装置において、前記学習モデルを生成する学習装置が送信する前記学習モデルを受信する通信部を備え、前記認識部は、前記通信部が受信した前記学習モデルを用いて、前記認識画像に写っている動物の種類を認識する。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
(撮像システム)
図1は、本発明の第1の実施形態に係る撮像システムの構成例を示す図である。図1において、撮像システム100は、撮像装置1と、サーバー2とを備える。図1には、撮像装置1と、サーバー2とに加え、画像データを取得するユーザーUと、ユーザーUが使用する端末装置3とが示されている。
撮像装置1とサーバー2と端末装置3とは、ネットワークNWを介して通信する。ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、プロバイダ装置、無線基地局などを含む。
サーバー2は、撮像装置1が送信した画像データ通知情報を受信し、受信した画像データ通知情報に含まれるその画像データ通知情報を送信した撮像装置1の撮像装置IDと、画像データと、その画像データの画像データIDと、その画像データが生成された撮像日時情報とを取得し、取得した撮像装置IDと、画像データと、画像データIDと、撮像日時情報とを関連付けて、記憶する。
サーバー2は、端末装置3が送信した画像データ要求を受信し、受信した画像データ要求に含まれる撮像装置IDを取得する。サーバー2は、取得した撮像装置IDに関連付けて記憶されている画像データを取得し、取得した画像データを含み、画像データ要求を送信した端末装置3を宛先とする画像データ応答を作成する。サーバー2は、作成した画像データ応答を、端末装置3へ送信する。
端末装置3は、サーバー2が送信した画像データ応答を受信し、受信した画像データ応答に含まれる画像データを取得する。端末装置3は、取得した画像データ処理することによって出力する。
以下、撮像システム100に含まれる撮像装置1と、サーバー2と、端末装置3との各々について、順次説明する。
撮像装置1の一例は、トレイルカメラである。トレイルカメラは、動物の生態調査や獣害対策などに用いられる。以下、撮像装置1がトレイルカメラであるとして説明を続ける。
撮像装置1は、例えば、撮像部11と、認識部12と、送信判定部13と、通信部14と、記憶判定部15と、記憶部16と、送信制御部17と、電源部PSUとを備える。
記憶部16は、HDD(Hard Disk Drive)やフラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)などにより実現される。記憶部16には、観測対象画像データ16aと、学習モデル16bとが記憶される。観測対象画像データ16aと、学習モデル16bとがクラウド上に記憶されていてもよい。
観測対象画像データ16aは、画像データIDと、画像データと、撮像日時情報とを関連付けたテーブル形式の情報である。
図2は、観測対象画像データの一例を示す図である。観測対象画像データ16aの一例には、画像データID「***」と、画像データ「*****」と、撮像日時情報「****/**/**/**:**」とが関連付けられている。また、観測対象画像データ16aの一例には、画像データID「+++」と、画像データ「+++++」と、撮像日時情報「++++/++/++/++:++」とが関連付けられている。図1に戻り説明を続ける。
学習モデル16bとして、可視光線を撮影した動物の画像と、その画像に写っている動物の種類を示す情報との関係を学習することによって生成された第1学習モデルと、赤外線を撮影した動物の画像と、その画像に写っている動物の種類を示す情報との関係を学習することによって生成された第2学習モデルとが用意されてもよい。このように構成することによって、昼夜を問わず、撮像部11が、撮像することによって生成した静止画像に写っている動物の種類を認識できる。
送信判定部13は、認識部12が出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の種類を示す情報に基づいて、画像データを、サーバー2へ送信するか否かを判定する。例えば、送信判定部13は、認識結果情報に含まれる認識した動物の種類を示す情報が、予め指定した観測対象の動物の種類を示す情報と一致する場合には、画像データを、サーバー2へ送信すると判定する。一方、送信判定部13は、認識結果情報に含まれる認識した動物の種類を示す情報が、予め指定した観測対象の動物の種類を示す情報と一致しない場合には、画像データを、サーバー2へ送信しないと判定する。送信判定部13は、画像データを、サーバー2へ送信すると判定した場合に、画像データを、送信制御部17へ出力する。
送信制御部17は、送信判定部13が出力した画像データを取得し、画像データを送信する撮像装置1の撮像装置IDと、取得した画像データと、その画像データの画像データIDと、その画像データが生成された撮像日時情報とを含み、サーバー2を宛先とする画像データ通知情報を作成する。送信制御部17は、作成した画像データ通知情報を、通信部14へ出力する。
電源部PSUは、撮像装置1を駆動するための電源である。電源としては、コンセントなどの外部電源、乾電池、太陽光パネルと二次電池などが挙げられる。
サーバー2は、パーソナルコンピュータ、サーバー、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。サーバー2は、例えば、通信部24と、記憶部26と、処理部28とを備える。
画像データDB26aは、画像データ通知情報を送信した撮像装置1の撮像装置IDと、画像データIDと、画像データと、撮像日時情報とを関連付けたテーブル形式の情報である。
図4は、画像データDBの一例を示す図である。画像データDB26aの一例には、撮像装置ID「****」と、画像データID「***」と、画像データ「*****」と、撮像日時情報「****/**/**/**:**」とが関連付けられている。また、画像データDB26aの一例には、撮像装置ID「++++」と、画像データID「+++」と、画像データ「+++++」と、撮像日時情報「++++/++/++/++:++」とが関連付けられている。図1に戻り説明を続ける。
処理部28は、通信部24が受信した画像データ通知情報を取得し、取得した画像データ通知情報に含まれる撮像装置IDと、画像データIDと、画像データと、撮像日時情報とを取得する。処理部28は、取得した撮像装置IDと、画像データIDと、画像データと、撮像日時情報とを関連付けて、記憶部26に記憶されている画像データDB26aに記憶する。
処理部28は、通信部24が受信した画像データ要求を取得し、取得した画像データ要求に含まれる撮像装置IDを取得する。処理部28は、取得した撮像装置IDに関連付けて記憶されている画像データIDと、画像データと、撮像日時情報とを、記憶部26に記憶されている画像データDB26aから取得する。処理部28は、取得した画像データIDと、画像データと、撮像日時情報とを含み、画像データ要求を送信した端末装置3を宛先とする画像データ応答を作成する。処理部28は、作成した画像データ応答を、通信部24へ出力する。
端末装置3は、スマートフォン、携帯端末、又はパーソナルコンピュータ、タブレッ
ト端末装置、腕時計型端末装置、あるいはその他の情報処理機器として実現される。
端末装置3は、ユーザーが、端末装置3に対して画像データを要求する操作を行った場合に、画像データを送信した撮像装置1の撮像装置IDと、画像データを要求する情報を含み、サーバー2を宛先とする画像データ要求を作成する。端末装置3は、作成した画像データ要求を、サーバー2へ送信する。端末装置3は、サーバー2が送信した画像データ応答を受信し、受信した画像データ応答に含まれる画像データを取得する。端末装置3は、取得した画像データを処理することによって出力する。例えば、端末装置3は、画像データの処理結果を、表示部(図示なし)に表示するようにしてもよい。
図5は、第1の実施形態に係る撮像システムの動作の一例を示すシーケンスチャートである。
(ステップS1)
撮像装置1において、撮像部11は、撮像装置1に取り付けられている赤外線センサ(図示なし)が動体を検知した際に、撮影することによって静止画を生成する。
(ステップS2)
撮像装置1において、認識部12は、撮像部11が生成した静止画の画像データを取得し、取得した静止画の画像データを処理することによって、静止画を取得する。認識部12は、学習モデル16bを用いて、取得した静止画に写っている動物の種類を認識する。認識部12は、認識した動物の種類を示す情報を含む認識結果情報を作成し、作成した認識結果情報を、画像データとともに、送信判定部13と、記憶判定部15とへ出力する。
(ステップS3)
撮像装置1において、送信判定部13は、認識部12が出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の種類を示す情報に基づいて、画像データを、サーバー2へ送信するか否かを判定する。画像データを、サーバー2へ送信しないと判定した場合、ステップS6へ移行する。
(ステップS4)
撮像装置1において、送信判定部13は、画像データを、サーバー2へ送信すると判定した場合に、画像データを、送信制御部17へ出力する。送信制御部17は、送信判定部13が出力した画像データを取得し、撮像装置IDと、取得した画像データと、その画像データの画像データIDと、その画像データが生成された撮像日時情報とを含み、サーバー2を宛先とする画像データ通知情報を作成する。
(ステップS5)
撮像装置1において、送信判定部13は、作成した画像データ通知情報を、通信部14へ出力する。通信部14は、送信判定部13が出力した画像データ通知情報を取得し、取得した画像データ通知情報を、サーバー2へ送信する。
撮像装置1において、記憶判定部15は、認識部12が出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の種類を示す情報に基づいて、画像データを、記憶部16へ記憶するか否かを判定する。画像データを、記憶部16に記憶しないと判定した場合、ステップS1へ移行する。
(ステップS7)
撮像装置1において、記憶判定部15は、画像データを、記憶部16へ記憶すると判定した場合に、画像データを、画像データIDと、撮像日時情報と関連付けて記憶部16の観測対象画像データ16aに記憶する。その後、ステップS1へ移行する。
(ステップS8)
サーバー2において、通信部24は、撮像装置1が送信した画像データ通知情報を受信し、受信した画像データ通知情報を、処理部28へ出力する。処理部28は、通信部24が受信した画像データ通知情報を取得し、取得した画像データ通知情報に含まれる撮像装置IDと、画像データIDと、画像データと、撮像日時情報とを取得する。処理部28は、取得した撮像装置IDと、画像データIDと、画像データと、撮像日時情報とを関連付けて、記憶部26に記憶されている画像データDB26aに記憶する。
(ステップS9)
端末装置3は、ユーザーが、端末装置3に対して画像データを要求する操作を行った場合に、撮像装置IDと、画像データを要求する情報とを含み、サーバー2を宛先とする画像データ要求を作成する。
(ステップS10)
端末装置3は、作成した画像データ要求を、サーバー2へ送信する。
サーバー2において、通信部24は、端末装置3が送信した画像データ要求を受信し、受信した画像データ要求を、処理部28へ出力する。処理部28は、通信部24が受信した画像データ要求を取得し、取得した画像データ要求に含まれる撮像装置IDを取得する。処理部28は、取得した撮像装置IDに関連付けて記憶されている画像データIDと、画像データと、撮像日時情報とを、記憶部26に記憶されている画像データDB26aから取得する。処理部28は、取得した画像データIDと、画像データと、撮像日時情報とを含み、画像データ要求を送信した端末装置3を宛先とする画像データ応答を作成する。ここで、処理部28は、取得した撮像装置IDに関連付けて記憶されている画像データIDと、画像データと、撮像日時情報とを、記憶部26に記憶されている画像データDB26aから取得できない場合に、画像データがないことを示す情報を含む画像データ応答を作成する。
(ステップS12)
サーバー2において、処理部28は、作成した画像データ応答を、通信部24へ出力する。通信部24は、処理部28が出力した画像データ応答を取得し、取得した画像データ応答を、端末装置3へ送信する。
(ステップS13)
端末装置3は、サーバー2が送信した画像データ応答を受信し、受信した画像データ応答に含まれる画像データを取得する。端末装置3は、取得した画像データを処理することによって出力する。例えば、端末装置3は、画像データの処理結果を、表示部(図示なし)に表示するようにしてもよい。
前述した第1の実施形態では、撮像装置1が撮像することによって静止画を生成する場合について説明したが、この例に限られない。例えば、撮像装置1が撮像することによって、動画を生成するようにしてもよい。
前述した第1の実施形態では、撮像装置1は、撮像部11が生成した静止画に写っている動物の認識結果に基づいて、静止画の画像データを、サーバー2へ送信するか否かを判定するとともに、画像データを、記憶部16へ記憶するか否かを判定する場合について説明したが、この例に限られない。例えば、撮像装置1では、撮像部11が生成した静止画に写っている動物の認識結果に基づいて、静止画の画像データを、サーバー2へ送信するか否かを判定すること、画像データを、記憶部16へ記憶するか否かを判定することとのいずれかを行うようにしてもよい。
前述した第1の実施形態では、撮像システム100に、一台の撮像装置1が含まれる場合について説明したが、この例に限られない。例えば、撮像装置1が複数であってもよい。このように構成することによって、サーバー2は、複数の撮像装置1の各々が送信する画像データ通知情報に基づいて、画像データDB26aに画像データ通知情報を記憶できる。端末装置3は、画像データ要求を送信することによって、複数の撮像装置1のいずれかによって通知された画像データ通知情報を取得できる。
前述した第1の実施形態では、サーバー2が一台である場合について説明したが、この例に限られない。例えば、サーバー2が複数であってもよい。この場合、撮像装置1が認識した動物の種類に基づいて、画像データ通知情報を送信するサーバー2を異なるようにしてもよい。
前述した第1の実施形態において、撮像装置1は、観測対象画像データ16aに含まれる情報から、サーバー2に通知した画像データ通知情報に該当するものを削除してもよい。このように構成することによって、撮像装置1の記憶容量を確保できる。
前述した第1の実施形態において、撮像装置1は、画像データ通知情報に、静止画に写っている動物の種類の認識結果を含めてもよい。具体的には、撮像装置1は、イノシシなどの動物の種類の認識結果を、JSON(JavaScript Object Notation)、XML(eXtensible Markup Language)など言語の形式で作成し、作成した動物の種類の認識結果を、画像データ通知情報に含めてもよい。
前述した第1の実施形態において、撮像装置1は、画像データを、記憶部16へ記憶すると判定した場合に、画像データとともに動物の種類の認識結果を、記憶部16の観測対象画像データ16aに記憶するようにしてもよい。具体的には、撮像装置1は、イノシシなどの動物の種類の認識結果を、JSON、XMLなど言語の形式で作成し、作成した動物の種類の認識結果を、画像データと、画像データIDと、撮像日時情報と関連付けて、記憶部16の観測対象画像データ16aに、記憶してもよい。
前述した第1の実施形態において、撮像装置1の送信判定部13が、画像データを、サーバー2へ送信するか否かを判定する条件と、記憶判定部15が、画像データを記憶するか否かを判定する条件とを異なるようにしてもよい。
観察対象以外の物体に対して赤外線センサが反応した際にも撮影が実施される。この場合に、従来にように、その都度画像データの保存が行われる場合には、SDメモリカードの交換、本体メモリからの画像データの吸い出しを実施する前に、容量が超過してしまうおそれある。第1の実施形態に係る撮像装置1では、記憶判定部15において、所望の画像データを保存する制御を行うことで、SDメモリカードなどの記憶媒体の使用容量を低減することができる。
例えば、撮像システム100を、イノシシによる農作物被害対策として利用する場合には、観測対象としてイノシシを設定する。送信判定部13では、認識部12で判定された情報に基づき、イノシシが写っているデータを送信する判断を行う。このように構成することによって、通信料金を低減できる。
(撮像システム)
第1の実施形態の変形例1に係る撮像システムの構成例は、図1を適用できる。第1の実施形態の変形例1に係る撮像システム100aは、第1の実施形態に係る撮像システム100と、撮像装置1の代わりに撮像装置1aを備える点で異なる。
撮像装置1aは、動体を検出した際に、撮影することによって静止画を生成する。撮像装置1aは、学習モデル16baを用いて、生成した静止画に写っている動物の数を認識する。撮像装置1aは、認識した動物の数を示す情報に基づいて、静止画の画像データを、サーバー2へ送信するか否かを判定する。撮像装置1aは、認識した動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを、サーバー2へ送信すると判定する。一方、撮像装置1aは、認識した動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致しない場合には、画像データを、サーバー2へ送信しないと判定する。撮像装置1aは、画像データを、サーバー2へ送信すると判定した場合に、画像データを送信する撮像装置1aの撮像装置IDと、画像データと、その画像データの画像データIDと、その画像データが生成された撮像日時情報とを含む画像データ通知情報を作成し、作成した画像データ通知情報を、サーバー2へ送信する。
サーバー2は、撮像装置1aが送信した画像データ通知情報を受信し、受信した画像データ通知情報に含まれる撮像装置IDと、画像データと、画像データIDと、撮像日時情報とを取得し、取得した撮像装置IDと、画像データと、画像データIDと、撮像日時情報とを関連付けて、記憶する。
撮像装置1aは、画像データを、記憶すると判定した場合に、画像データを、その画像データの画像データIDと、その画像データが生成された撮像日時情報とを関連付けて記憶する。
以下、撮像システム100aに含まれる撮像装置1aと、サーバー2と、端末装置3とのうち、第1の実施形態と異なる撮像装置1aについて、説明する。
撮像装置1aの一例は、トレイルカメラである。トレイルカメラは、動物の生態調査や獣害対策などに用いられる。以下、撮像装置1aがトレイルカメラであるとして説明を続ける。
撮像装置1aは、例えば、撮像部11と、認識部12aと、送信判定部13aと、通信部14と、記憶判定部15aと、記憶部16と、送信制御部17と、電源部PSUとを備える。記憶部16には、学習モデルbaが記憶される。
認識部12aは、撮像部11が生成した静止画の画像データを取得し、取得した静止画の画像データを処理することによって、静止画を取得する。認識部12aは、学習モデル16baを用いて、取得した静止画に写っている動物の数を認識する。認識部12は、認識した動物の数を示す情報を含む認識結果情報を作成し、作成した認識結果情報を、画像データとともに、送信判定部13aと、記憶判定部15aとへ出力する。ここで、学習モデル16baの一例は、動物の画像と、その画像に写っている動物の数を示す情報との関係を学習することによって生成されたものである。ここでは、学習モデル16baは、予め作成されている。認識部12aは、例えば、Faster R-CNN、YOLO、SSDなどの物体認識技術を使用して、動物の種類を認識する。
学習モデル16baとして、可視光線を撮影した動物の画像と、その画像に写っている動物の種類を示す情報との関係を学習することによって生成された第1学習モデルと、赤外線を撮影した動物の画像と、その画像に写っている動物の種類を示す情報との関係を学習することによって生成された第2学習モデルとが用意されてもよい。このように構成することによって、昼夜を問わず、撮像部11が、撮像することによって生成した静止画像に写っている動物の数を認識できる。
送信判定部13aは、認識部12aが出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の数を示す情報に基づいて、画像データを、サーバー2へ送信するか否かを判定する。例えば、送信判定部13aは、認識結果情報に含まれる認識した動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを、サーバー2へ送信すると判定する。一方、送信判定部13aは、認識結果情報に含まれる認識した動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致しない場合には、画像データを、サーバー2へ送信しないと判定する。送信判定部13aは、画像データを、サーバー2へ送信すると判定した場合に、画像データを、送信制御部17へ出力する。
第1の実施形態の変形例1に係る撮像システム100aの動作の一例は、図5を適用できる。ただし、ステップS2からステップS4の処理が、第1の実施形態に係る撮像システム100と異なる。
ステップS2では、撮像装置1aにおいて、認識部12aは、撮像部11が生成した静止画の画像データを取得し、取得した静止画の画像データを処理することによって、静止画を取得する。認識部12aは、学習モデル16baを用いて、取得した静止画に写っている動物の数を認識する。認識部12aは、認識した動物の数を示す情報を含む認識結果情報を作成し、作成した認識結果情報を、画像データとともに、送信判定部13aと、記憶判定部15aとへ出力する。
ステップS3では、撮像装置1aにおいて、送信判定部13aは、認識部12aが出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の数を示す情報に基づいて、画像データを、サーバー2へ送信するか否かを判定する。
ステップS4では、撮像装置1aにおいて、記憶判定部15aは、認識部12aが出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の数を示す情報に基づいて、画像データを、記憶部16へ記憶するか否かを判定する。記憶部16へ記憶しないと判定した場合には、ステップS1へ移行する。
前述した第1の実施形態の変形例1において、撮像装置1aは、画像データ通知情報に、静止画に写っている動物の数の認識結果を含めてもよい。具体的には、撮像装置1aは、動物の数の認識結果を、JSON、XMLなど言語の形式で作成し、作成した動物の数の認識結果を、画像データ通知情報に含めてもよい。
前述した第1の実施形態の変形例1において、撮像装置1aは、画像データを、記憶部16へ記憶すると判定した場合に、画像データと、画像データIDと、撮像日時情報とともに動物の数の認識結果を、記憶部16の観測対象画像データ16aに記憶するようにしてもよい。具体的には、撮像装置1aは、動物の数の認識結果を、JSON、XMLなど言語の形式で作成し、作成した動物の数の認識結果を、画像データと、画像データIDと、撮像日時情報と関連付けて、記憶部16の観測対象画像データ16aに、記憶してもよい。
前述した第1の実施形態と、第1の実施形態の変形例1とが組み合わされてもよい。具体的には、撮像装置1aは、学習モデル16bと、学習モデル16baとを用いて、取得した静止画に写っている動物の種類と数とを認識するようにしてもよい。この場合、撮像装置1aは、認識結果情報に含まれる認識した動物の種類と数とを示す情報が、予め指定した観測対象の動物の種類と数とを示す情報と一致するか否かを判定してもよい。
この場合に、複数の撮像装置1aを多地点に設置し、多地点の各々に設置された撮像装置1aは、撮像装置1aの撮像装置IDと、認識結果情報とを含む認識結果通知情報を作成し、作成した認識結果通知情報を、クラウドへ送信するようにしてもよい。クラウド側には、複数の撮像装置1aの各々の識別情報と、撮像装置1aが設置されている位置情報とを関連付けた撮像装置位置情報が記憶されている。クラウド側では、複数の撮像装置1aの各々が送信した認識結果通知情報を受信し、受信した認識結果通知情報に含まれる撮像装置1aの識別情報と、認識結果情報と、記憶している撮像装置位置情報とに基づいて、地図上の撮像装置1aが設置された位置に、その位置で認識された動物に種類と位置とを表示した動物出没マップを作成する。クラウド側では、動物出没マップを一時間、数時間、一日などの所定の周期で更新する。ここで、認識結果通知情報に、画像データが含まれてもよい。そして、クラウド側では、地図上の撮像装置1aが設置された位置に、その位置で認識された動物に種類と位置とに加え、画像データを処理することによって得られる静止画像を表示した動物出没マップを作成してもよい。ユーザーは、端末装置3を操作することによって、クラウド側で作成された動物出没マップを参照できる。仮に、動物に種類としてクマが設定された場合には、クマ出没マップが、クラウド側で作成される。ユーザーは、端末装置3を操作することによって、クラウド側で作成されたクマ出没マップを参照できる。ユーザーへクマ出没マップを知らせることによって、クマが出没したことによる危険性を周知する際に、詳細な情報を知らせることができる。また、作成した動物出没マップを、動物の生態調査に役立てることができる。
(撮像システム)
第1の実施形態の変形例2に係る撮像システムの構成例は、図1を適用できる。第1の実施形態の変形例2に係る撮像システム100bは、第1の実施形態に係る撮像システム100と、撮像装置1の代わりに撮像装置1bを備える点で異なる。
撮像装置1bは、動体を検出した際に、撮影することによって静止画を生成する。撮像装置1bは、学習モデル16bbを用いて、生成した静止画に写っている動物の状態を認識する。撮像装置1bは、認識した動物の状態を示す情報に基づいて、静止画の画像データを、サーバー2へ送信するか否かを判定する。撮像装置1bは、認識した動物の状態を示す情報が、予め指定した観測対象の動物の状態を示す情報と一致する場合には、画像データを、サーバー2へ送信すると判定する。一方、撮像装置1bは、認識した動物の状態を示す情報が、予め指定した観測対象の動物の状態を示す情報と一致しない場合には、画像データを、サーバー2へ送信しないと判定する。撮像装置1bは、画像データを、サーバー2へ送信すると判定した場合に、画像データを送信する撮像装置の撮像装置IDと、画像データと、その画像データの画像データIDと、その画像データが生成された撮像日時情報とを含む画像データ通知情報を作成し、作成した画像データ通知情報を、サーバー2へ送信する。
サーバー2は、撮像装置1bが送信した画像データ通知情報を受信し、受信した画像データ通知情報に含まれる撮像装置IDと、画像データと、画像データIDと、撮像日時情報とを取得し、取得した撮像装置IDと、画像データと、画像データIDと、撮像日時情報とを関連付けて、記憶する。
以下、撮像システム100bに含まれる撮像装置1bと、サーバー2と、端末装置3とのうち、第1の実施形態と異なる撮像装置1bについて、説明する。
撮像装置1bの一例は、トレイルカメラである。トレイルカメラは、動物の生態調査や獣害対策などに用いられる。以下、撮像装置1bがトレイルカメラであるとして説明を続ける。
撮像装置1bは、例えば、撮像部11と、認識部12bと、送信判定部13bと、通信部14と、記憶判定部15bと、記憶部16と、送信制御部17と、電源部PSUとを備える。記憶部16には、学習モデル16bbが記憶される。
認識部12bは、撮像部11が生成した静止画の画像データを取得し、取得した静止画の画像データを処理することによって、静止画を取得する。認識部12bは、学習モデル16bbを用いて、取得した静止画に写っている動物の状態を認識する。認識部12は、認識した動物の状態を示す情報を含む認識結果情報を作成し、作成した認識結果情報を、画像データとともに、送信判定部13bと、記憶判定部15bとへ出力する。ここで、学習モデル16bbの一例は、動物の画像と、その画像に写っている動物の状態を示す情報との関係を学習することによって生成されたものである。ここでは、学習モデル16bbは、予め作成されている。認識部12bは、例えば、Faster R-CNN、YOLO、SSDなどの物体認識技術を使用して、動物の種類を認識する。
学習モデル16bbとして、可視光線を撮影した動物の画像と、その画像に写っている動物の種類を示す情報との関係を学習することによって生成された第1学習モデルと、赤外線を撮影した動物の画像と、その画像に写っている動物の種類を示す情報との関係を学習することによって生成された第2学習モデルとが用意されてもよい。このように構成することによって、昼夜を問わず、撮像部11が、撮像することによって生成した静止画像に写っている動物の状態を認識できる。
送信判定部13bは、認識部12bが出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の状態を示す情報に基づいて、画像データを、サーバー2へ送信するか否かを判定する。例えば、送信判定部13bは、認識結果情報に含まれる認識した動物の状態を示す情報が、予め指定した観測対象の動物の状態を示す情報と一致する場合には、画像データを、サーバー2へ送信すると判定する。一方、送信判定部13bは、認識結果情報に含まれる認識した動物の状態を示す情報が、予め指定した観測対象の動物の状態を示す情報と一致しない場合には、画像データを、サーバー2へ送信しないと判定する。送信判定部13bは、画像データを、サーバー2へ送信すると判定した場合に、画像データを、送信制御部17へ出力する。
第1の実施形態の変形例2に係る撮像システム100bの動作の一例は、図5を適用できる。ただし、ステップS2からステップS4の処理が、第1の実施形態に係る撮像システム100と異なる。
ステップS2では、撮像装置1bにおいて、認識部12bは、撮像部11が生成した静止画の画像データを取得し、取得した静止画の画像データを処理することによって、静止画を取得する。認識部12bは、学習モデル16bbを用いて、取得した静止画に写っている動物の状態を認識する。認識部12bは、認識した動物の状態を示す情報を含む認識結果情報を作成し、作成した認識結果情報を、画像データとともに、送信判定部13bと、記憶判定部15bとへ出力する。
ステップS3では、撮像装置1bにおいて、送信判定部13bは、認識部12bが出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の状態を示す情報に基づいて、画像データを、サーバー2へ送信するか否かを判定する。
ステップS4では、撮像装置1bにおいて、記憶判定部15bは、認識部12bが出力した認識結果情報と画像データとを取得し、取得した認識結果情報に含まれる認識した動物の状態を示す情報に基づいて、画像データを、記憶部16へ記憶するか否かを判定する。記憶部16へ記憶しないと判定した場合には、ステップS1へ移行する。
前述した第1の実施形態の変形例2において、撮像装置1bは、画像データを、記憶部16へ記憶すると判定した場合に、画像データと、画像データIDと、撮像日時情報ともに動物の状態の認識結果を、記憶部16の観測対象画像データ16aに記憶するようにしてもよい。具体的には、撮像装置1bは、動物の状態の認識結果を、JSON、XMLなど言語の形式で作成し、作成した動物の状態の認識結果を、画像データと、画像データIDと、撮像日時情報と関連付けて、記憶部16の観測対象画像データ16aに、記憶してもよい。
前述した第1の実施形態と、第1の実施形態の変形例2とが組み合わされてもよい。具体的には、撮像装置1bは、学習モデル16bと、学習モデル16baとを用いて、取得した静止画に写っている動物の種類と状態とを認識するようにしてもよい。この場合、撮像装置1bは、認識結果情報に含まれる認識した動物の種類と状態とを示す情報が、予め指定した観測対象の動物の種類と状態とを示す情報と一致するか否かを判定してもよい。例えば、撮像装置1bは、学習モデル16bと、学習モデル16baとを用いて、取得した静止画に写っている動物の種類としてイノシシ、状態として罠捕獲を認識するようにしてもよい。
前述した第1の実施形態と、第1の実施形態の変形例1と、第1の実施形態の変形例2とが組み合わされてもよい。具体的には、撮像装置1bは、学習モデル16bと、学習モデル16baと、学習モデル16bbとを用いて、取得した静止画に写っている動物の種類と数と状態とを認識するようにしてもよい。この場合、撮像装置1bは、認識結果情報に含まれる認識した動物の種類と数と状態とを示す情報が、予め指定した観測対象の動物の種類と数と状態とを示す情報と一致するか否かを判定してもよい。例えば、撮像装置1bは、学習モデル16bと、学習モデル16baと、学習モデル16bbとを用いて、取得した静止画に写っている動物の種類としてイノシシ、数として3、状態として罠捕獲を認識するようにしてもよい。
撮像装置1bと、罠とを連動して動作させてもよい。具体的には、撮像装置1bは、認識結果情報に含まれる認識した動物の種類と数と状態とを示す情報が、予め指定した観測対象の動物の種類と数と状態とを示す情報と一致する場合に、罠を動作させる制御信号を送信するようにしてもよい。具体的には、撮像装置1bは、取得した静止画に写っている動物の種類としてイノシシ、数として3、状態として罠捕獲を認識した場合に、箱罠へ罠の柵を下ろすなどの罠を動作させる制御信号を送信してもよい。罠は、撮像装置1bが送信した制御信号を受信し、受信した制御信号に基づいて、箱罠へ罠の柵を下ろす動作を行う。このように構成することによって、クラウドを経由することなく罠の作動判定を行うことができるため、罠の作動判定に要する時間を短縮できる。また、時間帯によって、箱罠へ罠の柵を下ろす動作を行うか否かを制御してもよい。このように構成することによって、猟師が仕留めに行く場合に、罠の柵を下ろす制御を行わせることができる。
(撮像システム)
図8は、本発明の第2の実施形態に係る撮像システムの構成例を示す図である。図8において、撮像システム100cは、撮像装置1と、サーバー2と、学習装置4とを備える。図8には、撮像装置1と、サーバー2と、学習装置4とに加え、画像データを取得するユーザーUと、ユーザーUが使用する端末装置3とが示されている。
撮像装置1とサーバー2と端末装置3と学習装置4とは、ネットワークNWを介して通信する。ネットワークNWは、例えば、インターネット、WAN、LAN、プロバイダ装置、無線基地局などを含む。
図9は、第2の実施形態に係る撮像システムの一例を示す模式図である。
撮像装置1は、観測を行う場所に設置されてからしばらくの間、撮像部11が撮像することによって生成した静止画の画像データを、クラウドへ送信する。静止画には、動物などの動体が写っている。
クラウドでは、撮像装置1が送信した画像データが取得され、取得された画像データが蓄積される。学習装置4は、蓄積された画像データを処理することで生成した動物の静止画と、その静止画に写っている動物の種類を示す情報との関係を学習することによって、学習モデル46bを生成する。学習装置4は、生成した学習モデル46bを記憶する。具体的には、クラウド上では、WEBアプリケーションなどのプログラムが実行され、撮像装置1が送信した静止画をユーザーが確認できる。ユーザーは、WEB上で、静止画の画像データに、ラベル付け(アノテーション)を行うことができる。例えば、ユーザーは、静止画の画像データに、動物の種類を示す情報を付与できる。ここで、WEB上で、静止画の画像データにラベル付け(アノテーション)が、画像認識技術によって、自動的に実行されてもよい。
学習装置4は、所定の精度が得られる学習モデル46bを生成した場合に、生成した学習モデル46bと、送信条件と、保存条件とを含み、撮像装置1を宛先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、撮像装置1へ送信する。ここで、送信条件は、学習モデル46bが適用された場合に、サーバー2へ、画像データを送信する条件である。保存条件は、学習モデル46bが適用された場合に、画像データを保存する条件である。具体的には、送信条件の一例は「認識した動物がイノシシの場合、画像データの送信を行う」であり、保存条件の一例は「認識した動物がイノシシの場合、画像データの保存を行う」である。
撮像装置1は、学習装置4が送信した学習モデル通知情報を受信し、受信した学習モデル通知情報に含まれる学習モデル46bと、送信条件と、保存条件とを設定し、設定した学習モデル46bと、送信条件と、保存条件とに基づいて、動作する。
撮像装置1は、学習モデル16bを用いて、取得した静止画に写っている動物の種類を認識できない場合、認識した動物の種類の信頼を示すスコアーがスコアー閾値よりも低い場合には、その静止画の画像情報を、クラウドへ送信する。学習装置4は、撮像装置1が送信した静止画の画像データに基づいて、学習モデル46bを更新する。
以下、撮像システム100cに含まれる撮像装置1と、サーバー2と、端末装置3と、学習装置4のうち、第1の実施形態と異なる学習装置4について、説明する。
学習装置4は、パーソナルコンピュータ、サーバー、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。学習装置4は、例えば、通信部44と、記憶部46と、学習部48とを備える。
記憶部46は、HDDやフラッシュメモリ、RAM、ROMなどにより実現される。記憶部46には、学習モデル46bが記憶される。
学習モデル46bは、動物の静止画と、その静止画に写っている動物の種類を示す情報との関係を学習することによって、生成されたものである。
学習部48は、例えば、CPUなどのハードウェアプロセッサが記憶部46に格納されたプログラム(ソフトウェア)を実行することにより実現される。また、これらの機能部のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
学習部48は、通信部44が受信した画像データを取得し、取得した画像データを、記憶部46に蓄積する。学習部48は、蓄積した画像データを処理することで生成した動物の静止画と、その静止画に写っている動物の種類を示す情報との関係を学習することによって、学習モデル46bを生成する。学習部48は、生成した学習モデル46bを、記憶部46に記憶する。具体的には、学習装置4は、動物が写っている静止画と、その静止画の画像データに付与されている動物の種類を示す情報との組み合わせを複数生成することによって、学習データを生成する。学習装置4は、十分な学習データが集まった場合に、SSD、YOLO、Faster R-CNNなどの物体認識技術を使用して、生成した学習データに基づいて、動物の静止画と、その静止画に写っている動物の種類を示す情報との関係を学習することによって学習モデル46bを生成する。学習部48は、生成した学習モデル46bを、逐次更新する。
学習部48は、所定の精度が得られる学習モデルを生成した場合に、生成した学習モデル46bと、送信条件と、保存条件とを含み、撮像装置1を宛先とする学習モデル通知情報を作成し、作成した学習モデル通知情報を、通信部44へ出力する。
図10は、第2の実施形態に係る撮像システムの動作の一例を示すシーケンスチャートである。図10には、学習装置4が、学習モデル46bを生成し、生成した学習モデル46bを、撮像装置1へ送信する処理が示される。
(ステップS21)
撮像装置1において、撮像部11は、撮像装置1に取り付けられている赤外線センサ(図示なし)が動体を検知した際に、撮影することによって静止画を生成する。
(ステップS22)
撮像装置1において、撮像部11は、生成した静止画の画像データを、送信制御部17へ出力する。送信制御部17は、撮像部11が出力した画像データを取得し、取得した画像データを含み、学習装置4を宛先とする画像データ通知情報を作成する。
(ステップS23)
撮像装置1において、送信制御部17は、作成した画像データ通知情報を、通信部14へ出力する。通信部14は、送信制御部17が出力した画像データ通知情報を取得し、取得した画像データ通知情報を、学習装置4へ送信する。
(ステップS24)
学習装置4において、通信部44は、撮像装置1が送信した画像データ通知情報を受信し、受信した画像データ通知情報を、学習部48へ出力する。学習部48は、通信部44が出力した画像データ通知情報を取得し、取得した画像データ通知情報に含まれる画像データを取得し、取得した画像データを、記憶部46に蓄積する。
(ステップS29)
学習装置4において、学習部48は、蓄積した複数の画像データの各々を処理することで生成した動物の静止画と、その静止画に写っている動物の種類を示す情報との関係を学習することによって、学習モデル46bを生成する。
(ステップS30)
学習装置4において、学習部48は、生成した学習モデル46bと、送信条件と、保存条件とを含み、撮像装置1を宛先とする学習モデル通知情報を作成する。
(ステップS31)
学習装置4において、学習部48は、作成した学習モデル通知情報を、通信部44へ出力する。通信部44は、学習部48が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報を、撮像装置1へ送信する。
(ステップS32)
撮像装置1において、通信部14は、学習装置4が送信した学習モデル通知情報を受信し、受信した学習モデル通知情報を、認識部12と、送信判定部13と、記憶判定部15とへ出力する。認識部12は、通信部14が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報に含まれる学習モデル46bを、記憶部16の学習モデル16bに記憶する。送信判定部13は、通信部14が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報に含まれる送信条件を設定する。記憶判定部15は、通信部14が出力した学習モデル通知情報を取得し、取得した学習モデル通知情報に含まれる保存条件を設定する。その後の動作は、図5を適用できる。
前述した第2の実施形態では、学習装置4が、学習モデル46bと、送信条件と、保存条件とを含み、撮像装置1を宛先とする学習モデル通知情報を作成する場合について説明したが、この例に限られない。例えば、学習装置4が、学習モデル46bを含み、撮像装置1を宛先とする学習モデル通知情報を作成してもよい。この場合、送信条件と、保存条件とが、撮像装置1に設定される。このように構成することによって、学習装置4から撮像装置1へ送信するデータ量を低減できる。
前述した第2の実施形態では、撮像装置1が送信した画像データ通知情報に含まれる画像データに基づいて、学習モデル46bが生成される場合について説明したが、この例に限られない。例えば、撮像装置1が送信した画像データ通知情報に含まれる画像データに加え、撮像装置1以外の撮像装置が送信する画像データ通知情報に含まれる画像データに基づいて、学習モデル46bを生成してもよい。また、他のユーザーと学習モデル46bを共有してもよい。
第2の実施形態に係る撮像システム100cによれば、撮像システム100cは、学習モデル46bを生成する学習装置4を備える。このように構成することによって、撮像装置1の設置位置に基づいて、学習モデル46bを生成することができる。このため、観測対象とする動物の種類を増加させることができる。撮像装置1が設定された位置、撮像装置1が設置された環境などに基づいて、学習モデルが生成されるため、静止画に写っている動物の種類を認識する精度を向上できる。
例えば、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (6)
- 動体を検出した際に、撮影することによって静止画を生成する撮像部と、
動物の画像と、前記画像に写っている動物の種類を示す情報との関係を学習した学習モデルを用いて、前記撮像部が撮像することによって得られた認識対象の画像である認識画像に写っている動物の種類を認識する認識部と、
前記認識部が行った前記認識画像に写っている前記動物の認識結果に基づいて、前記認識画像の画像データの送信を行うか否かを判定する送信判定部と、
前記認識結果に基づいて、前記認識画像の画像データの記憶を行うか否かを判定する記憶判定部と
を備え、
前記認識部は、動物の画像と、前記画像に写っている動物の数を示す情報との関係を学習した学習モデルを用いて、前記認識画像に写っている動物の数を認識し、
前記記憶判定部は、前記認識部が行った前記認識画像に写っている前記動物の数の認識結果に基づいて、動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを記憶すると判定し、動物の数を示す情報が、予め指定した観測対象の動物の前記数を示す情報と一致しない場合には、画像データを記憶しないと判定し、
前記送信判定部は、前記認識部が行った前記認識画像に写っている前記動物の数の認識結果に基づいて、動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを送信すると判定し、動物の数を示す情報が、予め指定した観測対象の動物の前記数を示す情報と一致しない場合には、画像データを送信しないと判定する、撮像装置。 - 前記認識部は、動物の画像と、前記画像に写っている動物の状態を示す情報との関係を学習した学習モデルを用いて、前記認識画像に写っている動物の状態を認識し、
前記送信判定部は、前記認識部が行った前記認識画像に写っている前記動物の状態の認識結果に基づいて、前記認識画像の画像データの送信を行うか否かを判定し、
前記記憶判定部は、前記認識結果に基づいて、前記認識画像の画像データの記憶を行うか否かを判定する、請求項1に記載の撮像装置。 - 動物の前記画像には、可視光線を撮影した動物の画像と、赤外線を撮影した動物の画像とが含まれる、請求項1又は請求項2に記載の撮像装置。
- 前記学習モデルを生成する学習装置が送信する前記学習モデルを受信する通信部
を備え、
前記認識部は、前記通信部が受信した前記学習モデルを用いて、前記認識画像に写っている動物の種類を認識する、請求項1から請求項3のいずれか一項に記載の撮像装置。 - 動物の画像と、前記画像に写っている動物の種類を示す情報との関係を学習した学習モデルを用いて、動体を検出した際に撮影することによって静止画を生成する撮像部が撮像することによって得られた認識対象の画像である認識画像に写っている動物の種類を認識するステップと、
前記認識するステップで得られる前記認識画像に写っている前記動物の認識結果に基づいて、前記認識画像の画像データの送信を行うか否かを判定するステップと、
前記認識結果に基づいて、前記認識画像の画像データの記憶を行うか否かを判定するステップと
を有し、
前記認識するステップでは、動物の画像と、前記画像に写っている動物の数を示す情報との関係を学習した学習モデルを用いて、前記認識画像に写っている動物の数を認識し、
前記画像データの送信を行うか否かを判定するステップでは、前記認識するステップで行った前記認識画像に写っている前記動物の数の認識結果に基づいて、動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを記憶すると判定し、動物の数を示す情報が、予め指定した観測対象の動物の前記数を示す情報と一致しない場合には、画像データを記憶しないと判定し、
前記認識画像の画像データの記憶を行うか否かを判定するステップでは、前記認識するステップで行った前記認識画像に写っている前記動物の数の認識結果に基づいて、動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを送信すると判定し、動物の数を示す情報が、予め指定した観測対象の動物の前記数を示す情報と一致しない場合には、画像データを送信しないと判定する、撮像装置が実行する制御方法。 - コンピュータに、
動物の画像と、前記画像に写っている動物の種類を示す情報との関係を学習した学習モデルを用いて、動体を検出した際に撮影することによって静止画を生成する撮像部が撮像することによって得られた認識対象の画像である認識画像に写っている動物の種類を認識させるステップと、
前記認識させるステップで得られる前記認識画像に写っている前記動物の認識結果に基づいて、前記認識画像の画像データの送信を行うか否かを判定させるステップと、
前記認識結果に基づいて、前記認識画像の画像データの記憶を行うか否かを判定させるステップと
を実行させ、
前記コンピュータに、
前記認識するステップでは、動物の画像と、前記画像に写っている動物の数を示す情報との関係を学習した学習モデルを用いて、前記認識画像に写っている動物の数を認識させ、
前記画像データの送信を行うか否かを判定するステップでは、前記認識するステップで行った前記認識画像に写っている前記動物の数の認識結果に基づいて、動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを記憶すると判定させ、動物の数を示す情報が、予め指定した観測対象の動物の前記数を示す情報と一致しない場合には、画像データを記憶しないと判定させ、
前記認識画像の画像データの記憶を行うか否かを判定するステップでは、前記認識するステップで行った前記認識画像に写っている前記動物の数の認識結果に基づいて、動物の数を示す情報が、予め指定した観測対象の動物の数を示す情報と一致する場合には、画像データを送信すると判定させ、動物の数を示す情報が、予め指定した観測対象の動物の前記数を示す情報と一致しない場合には、画像データを送信しないと判定させる、コンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019186730A JP7300958B2 (ja) | 2019-10-10 | 2019-10-10 | 撮像装置、制御方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019186730A JP7300958B2 (ja) | 2019-10-10 | 2019-10-10 | 撮像装置、制御方法、及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021064825A JP2021064825A (ja) | 2021-04-22 |
| JP7300958B2 true JP7300958B2 (ja) | 2023-06-30 |
Family
ID=75486711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019186730A Active JP7300958B2 (ja) | 2019-10-10 | 2019-10-10 | 撮像装置、制御方法、及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7300958B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7814889B2 (ja) * | 2021-11-02 | 2026-02-17 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、画像処理装置、および撮像システム |
| JP7839541B2 (ja) * | 2022-03-14 | 2026-04-02 | 学校法人立命館 | アノテーション付与学習データ蓄積システム、及び、アノテーション付与学習データを蓄積する方法 |
| JP7729466B2 (ja) * | 2022-03-18 | 2025-08-26 | 日本電気株式会社 | 画像分類装置、画像分類方法、及び、プログラム |
| JP2023155714A (ja) * | 2022-04-11 | 2023-10-23 | キヤノン株式会社 | 撮像装置及びその制御方法並びにプログラム |
| JP2023155650A (ja) * | 2022-04-11 | 2023-10-23 | キヤノン株式会社 | 撮像装置及びその制御方法並びにプログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011160706A (ja) | 2010-02-08 | 2011-08-25 | Asahi Denshi Kenkyusho:Kk | 野生動物捕獲装置 |
| JP2016119614A (ja) | 2014-12-22 | 2016-06-30 | 日本電気株式会社 | 動体検知装置、動体検知方法および動体検知プログラム |
| JP2017176058A (ja) | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 箱罠制御システム、制御装置、箱罠制御方法および箱罠制御プログラム |
| JP2018022332A (ja) | 2016-08-03 | 2018-02-08 | ヤフー株式会社 | 判定装置、判定方法、及び判定プログラム |
| JP2019028577A (ja) | 2017-07-27 | 2019-02-21 | 日本電信電話株式会社 | 動物種別判定装置、方法およびプログラム |
| US20190132510A1 (en) | 2017-11-01 | 2019-05-02 | Objectvideo Labs, Llc | Intelligent self-powered camera |
| JP2019083786A (ja) | 2017-11-09 | 2019-06-06 | 東芝ライテック株式会社 | 監視システム |
-
2019
- 2019-10-10 JP JP2019186730A patent/JP7300958B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011160706A (ja) | 2010-02-08 | 2011-08-25 | Asahi Denshi Kenkyusho:Kk | 野生動物捕獲装置 |
| JP2016119614A (ja) | 2014-12-22 | 2016-06-30 | 日本電気株式会社 | 動体検知装置、動体検知方法および動体検知プログラム |
| JP2017176058A (ja) | 2016-03-30 | 2017-10-05 | 富士通株式会社 | 箱罠制御システム、制御装置、箱罠制御方法および箱罠制御プログラム |
| JP2018022332A (ja) | 2016-08-03 | 2018-02-08 | ヤフー株式会社 | 判定装置、判定方法、及び判定プログラム |
| JP2019028577A (ja) | 2017-07-27 | 2019-02-21 | 日本電信電話株式会社 | 動物種別判定装置、方法およびプログラム |
| US20190132510A1 (en) | 2017-11-01 | 2019-05-02 | Objectvideo Labs, Llc | Intelligent self-powered camera |
| JP2019083786A (ja) | 2017-11-09 | 2019-06-06 | 東芝ライテック株式会社 | 監視システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021064825A (ja) | 2021-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7300958B2 (ja) | 撮像装置、制御方法、及びコンピュータプログラム | |
| Bjerge et al. | Real‐time insect tracking and monitoring with computer vision and deep learning | |
| US11636562B2 (en) | Systems and methods for processing recorded data for storage using computer-aided dispatch information | |
| CN111476179B (zh) | 关键目标的行为预测方法、ai追踪相机及存储介质 | |
| US20200226360A1 (en) | System and method for automatically detecting and classifying an animal in an image | |
| O'Donoghue et al. | Real‐time anti‐poaching tags could help prevent imminent species extinctions | |
| GB2583253A (en) | Method, device and system for adaptive training of machine learning models via detected in-field contextual sensor events and associated located and retrieved | |
| WO2017049612A1 (en) | Smart tracking video recorder | |
| CN111354024B (zh) | 关键目标的行为预测方法、ai服务器及存储介质 | |
| EP3323239B1 (en) | Systems and methods for processing recorded data for storage using computer-aided dispatch information | |
| KR20190033892A (ko) | 야생동물 모니터링 시스템 및 그 방법 | |
| JP2020092643A (ja) | 無人飛行装置、無人飛行システム及び無人飛行装置制御システム | |
| JP6526457B2 (ja) | 害獣検知方法、害獣検知プログラムおよび害獣検知システム | |
| JP6625786B2 (ja) | 異常検知システム、異常検知方法及びプログラム | |
| CN104320623B (zh) | 一种智能监控系统记录异常目标移动路线的方法 | |
| EP3462734A1 (en) | Systems and methods for directly accessing video data streams and data between devices in a video surveillance system | |
| KR102304109B1 (ko) | 반려동물 추종 모니터링 서버 및 그 동작 방법 | |
| US9922049B2 (en) | Information processing device, method of processing information, and program for processing information | |
| CN102223473A (zh) | 摄像装置及利用其动态追踪特定物体的方法 | |
| CN107820008A (zh) | 一种机房监控系统及方法 | |
| US10051452B2 (en) | Notification system and method of environment abnormality | |
| AU2020103515A4 (en) | A system and a method for real time monitoring and identification of endangered animals | |
| EP4592981A1 (en) | Systems and methods for forest fire prediction and detection of fire outbreaks | |
| CN116385744B (zh) | 无人机集群的位置确定方法及边缘设备集群系统、存储介质和电子设备 | |
| US12465025B2 (en) | Animal detecting device, system, method and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7300958 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |