JP7741770B2 - 揚重実績取得システム - Google Patents

Description

本発明は、資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムに関する。

建築施工の合理化においては、資機材及び作業員の稼働状況を把握し改善していくことが重要である。特にタワークレーン等のクレーンによる揚重作業は、工程のボトルネックとなり得る。そのため、クレーンによる揚重作業を効率化することが求められる。クレーンによる揚重作業を効率化するためには、まず、クレーンの揚重実績を示す情報を取得することが必要となる。クレーンの揚重実績としては、例えば、クレーンによる揚重作業が行われた時間帯、及び当該時間帯において揚重された資材の種別がある。

以下の特許文献１には、クレーンの揚重実績を示す情報の取得に係る方法が示されている。この方法では、クレーンによって資材が揚重される際の資材の画像を用いて、資材の種別を判別することが示されている。

米国特許出願公開第２０２１／０２９２１３２号明細書

しかしながら、特許文献１に示される方法では、撮像時の光の影響、及び画像における資材の写り等によっては、必ずしも適切に資材の種別を判別できないおそれがあった。その結果、取得されるクレーンの揚重実績を示す情報が適切なものとならないおそれがあった。

本発明は、上記に鑑みてなされたものであり、クレーンの揚重実績を示す情報を適切に取得することができる揚重実績取得システムを提供することを目的とする。

上記目的を達成するために、本発明に係る揚重実績取得システムは、資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムであって、クレーンの揚重に係る時系列の荷重を示す荷重情報を取得する荷重情報取得手段と、荷重情報取得手段によって取得された荷重情報に基づいて、揚重された資材毎にクレーンによって資材の揚重が行われた時間帯を特定する時間帯特定手段と、時間帯特定手段によって特定された時間帯それぞれについて、当該時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段と、画像取得手段によって取得された複数の画像から、時間帯毎に揚重された資材の種別を判別する種別判別手段と、を備える。

本発明に係る揚重実績取得システムでは、揚重が行われた時間帯において揚重された資材の複数の画像から、資材の種別が判別される。従って、適切に資材の種別を判別することができる。その結果、本発明に係る揚重実績取得システムによれば、クレーンの揚重実績を示す情報を適切に取得することができる。

画像取得手段は、時間帯を等間隔で予め設定した数に分割した複数のタイミングで撮像された、揚重された資材の複数の画像を取得することとしてもよい。この構成によれば、資材の種別に用いる複数の画像を適切なものとすることができる。その結果、クレーンの揚重実績を示す情報を適切かつ確実に取得することができる。

種別判別手段は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、適切かつ確実に資材の種別を判別することができる。その結果、クレーンの揚重実績を示す情報を適切かつ確実に取得することができる。

種別判別手段は、荷重情報取得手段によって取得された荷重情報によって示される、時間帯特定手段によって特定された時間帯における時系列の荷重にも基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、時系列の荷重にも基づいて、更に適切に資材の種別を判別することができる。その結果、クレーンの揚重実績を示す情報を更に適切に取得することができる。

種別判別手段は、画像取得手段によって取得された複数の画像から、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎のスコアに対して、時間帯における時系列の荷重に応じて重み付けして、重み付けされたスコアに基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、資材の種別の判別時に適切に時系列の荷重を用いることができる。その結果、クレーンの揚重実績を示す情報を更に適切に取得することができる。

種別判別手段は、画像取得手段によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーンの揚重実績を示す情報を更に適切に取得することができる。

種別判別手段は、画像取得手段によって取得された複数の画像のフックが写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーンの揚重実績を示す情報を更に適切に取得することができる。

揚重実績取得システムは、クレーンのブームの先端に設けられる撮像手段を更に備え、画像取得手段は、撮像手段による撮像によって得られた画像を取得することとしてもよい。この構成によれば、確実に画像を取得できるようにすることができ、また、撮像手段からの画像の取得及び給電を容易に行うことができる。

本発明によれば、クレーンの揚重実績を示す情報を適切に取得することができる。

本発明の実施形態に係る揚重実績取得システムの構成を示す図である。 揚重実績を示す情報の例を示すグラフである。 荷重情報の例を示すと共に揚重中の時間帯の検出を示すグラフである。 資材の種別の判別に用いられる画像に係るタイミングの例を示すグラフである。 画像を用いた資材の種別の判別の一部を示す図である。 本発明の実施形態に係る揚重実績取得システムで実行される処理を示すフローチャートである。

以下、図面と共に本発明に係る揚重実績取得システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る揚重実績取得システム１を示す。揚重実績取得システム１は、資材を揚重するクレーン１００の揚重実績を示す情報を取得するシステム（装置）である。クレーン１００は、例えば、建設現場等で用いられるタワークレーンである。例えば、クレーン１００には、ブーム１０１が設けられており、ブーム１０１の先端から吊り下げられたフック１０２が用いられて揚重が行われる。なお、クレーン１００は、タワークレーン以外のクレーンであってもよい。例えば、クレーン１００は、タワークレーン以外の定置式のクレーン、又は、クローラークレーン若しくはラフタークレーン等の移動式のクレーンであってもよい。クレーン１００は、従来と同様のものでよい。

揚重実績は、クレーン１００による資材の揚重作業が行われた時間帯、及び当該時間帯において揚重された資材の種別（種類）である。揚重作業が行われた時間帯は、例えば、揚重の開始時刻（例えば、資材が地上を離れる時刻）及び終了時刻（例えば、資材が着地する時刻）によって示される。資材の種別は、例えば、建築する構造物を構成する資材（部材）の種別である。具体的には、資材の種別は、デッキ、鉄骨柱、階段、鉄筋、仮設材、鉄骨大梁、鉄骨小梁及び鉄骨関連材等である。なお、資材の種別は、上記に限られず任意に設定されたものであってもよい。

図２に揚重実績取得システム１によって取得される揚重実績を示す情報の例を示す。図２のグラフにおいて横軸は時間軸である。図２のグラフのハッチングで示される部分が、クレーン１００によって資材が揚重されている時間帯である。図２の上のグラフが実際の揚重実績を示し、下のグラフが揚重実績取得システム１によって取得（推定）される揚重実績を示す。揚重実績取得システム１によって取得された揚重実績を示す情報は、例えば、クレーン１００による揚重作業の効率化のために用いられる。具体的には、揚重実績を示す情報から揚重計画と揚重実績との乖離が把握されて、工事遅延の原因究明及び行動改善が実施される。例えば、午前中に鉄骨柱を３本揚重する予定だったのに、図２のグラフに示すように２本しか揚重されていなければ、そこに何かしらの遅延をきたすトラブルがあったことが把握できる。

図１に示すように、揚重実績取得システム１は、サーバ装置１０と、荷重計２０と、カメラ３０とを含んで構成される。サーバ装置１０は、荷重計２０及びカメラ３０からデータを取得し、取得したデータから揚重実績を生成して、揚重実績を示す情報を取得する装置である。サーバ装置１０の具体的な機能については後述する。

サーバ装置１０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアを含むコンピュータである。サーバ装置１０の後述する各機能は、これらの構成要素がプログラム等により動作することによって発揮される。なお、サーバ装置１０は、１つのコンピュータで実現されてもよいし、複数のコンピュータがネットワークにより互いに接続されて構成されるコンピュータシステムにより実現されていてもよい。また、サーバ装置１０は、クラウドシステムにより実現されていてもよい。

サーバ装置１０、荷重計２０及びカメラ３０はそれぞれ、通信機能を有しており、荷重計２０及びカメラ３０からサーバ装置１０のデータを送信できるようになっている。

荷重計２０は、クレーン１００の揚重に係る荷重を検出するセンサである。例えば、荷重計２０は、クレーン１００のフック１０２にかかる荷重を検出する。荷重計２０は、時系列の荷重を検出して、検出した時系列の荷重を示す荷重情報をサーバ装置１０に送信する。サーバ装置１０に送信される荷重情報は、荷重が検出されたタイミングを把握できるようになっている。荷重計２０は、揚重実績の取得に適切な時間間隔で荷重を検出する。荷重計２０は、例えば、クレーン１００の本体に内蔵されている。クレーン１００の本体に荷重計２０を内蔵させることで、有線での給電及び通信が可能となる。これにより、バッテリー交換が不要となるほか、超高層ビル施工時等の通信が困難な環境でも安定したデータ通信を実現することができる。荷重計２０は、従来の荷重計と同様のものでよい。図３に、荷重計２０によって検出される時系列の荷重の例のグラフを示す。図３のグラフにおいて横軸は時間軸であり、縦軸は荷重の軸である。

カメラ３０は、クレーン１００によって揚重された資材を撮像する撮像手段である。例えば、カメラ３０は、クレーン１００のブーム１０１の先端に位置決めされて、フック１０２に向けて、フック１０２及び揚重される資材が撮像される画像に写るように配置される。ブーム１０１にカメラ３０を配置することで、有線での給電及び通信が可能となる。これにより、バッテリー交換が不要となるほか、超高層ビル施工時等の通信が困難な環境でも安定したデータ通信を実現することができる。但し、カメラ３０は、揚重される資材が撮像される画像に写るように、ブーム１０１以外の場所に配置されてもよい。例えば、カメラ３０は、フック１０２の側部に取り付けられてもよい。なお、フック１０２の側部にカメラ３０を取り付ける場合には、他のものと接触しないように小型にすること、またカメラ３０が落下しないように落下防止ワイヤーを付けることとしてもよい。

カメラ３０は、時系列の撮像を行って、撮像によって得られた画像をサーバ装置１０に送信する。サーバ装置１０に送信される画像は、撮像されたタイミングを把握できるようになっている。カメラ３０は、揚重実績の取得に適切な時間間隔で撮像を行う。例えば、カメラ３０は、荷重計２０による荷重の検出と同様のタイミングで撮像を行う。従って、クレーン１００によって資材が揚重されていない際にもカメラ３０は撮像を行っていてもよい。また、カメラ３０は、動画を取得してもよい。カメラ３０は、従来のカメラと同様のものでよい。

引き続いて、サーバ装置１０の機能について説明する。図１に示すようにサーバ装置１０は、荷重情報取得部１１と、時間帯特定部１２と、画像取得部１３と、種別判別部１４とを備えて構成される。

荷重情報取得部１１は、クレーン１００の揚重に係る時系列の荷重を示す荷重情報を取得する荷重情報取得手段である。荷重情報取得部１１は、荷重計２０から送信された荷重情報を受信して取得する。荷重情報取得部１１は、取得した荷重情報を時間帯特定部１２及び種別判別部１４に出力する。

時間帯特定部１２は、荷重情報取得部１１によって取得された荷重情報に基づいて、揚重された資材毎にクレーン１００によって資材の揚重が行われた時間帯を特定する時間帯特定手段である。例えば、時間帯特定部１２は、以下のように上記の時間帯を特定する。

時間帯特定部１２は、荷重情報取得部１１から荷重情報を入力する。時間帯特定部１２は、荷重情報によって示される各時刻の荷重と、予め設定された閾値とを比較する。時間帯特定部１２は、荷重が閾値以上の時刻を、クレーン１００によって資材の揚重が行われた揚重中の時刻とし、荷重が閾値未満の時刻を、クレーン１００によって資材の揚重が行われていない非揚重（停止中）の時刻とする。なお、以下に示すように、ここでの揚重中の時刻は暫定的なものである。図３（ａ）のグラフに当該判断の例を示す。図３（ａ）のグラフの例の場合、閾値は０．３２ｔである。

通常、クレーン１００による資材の揚重は一定時間以上の時間を要する。当該一定時間以上、荷重が生じていない場合には、資材の揚重は行われておらず、ロープの巻き上げ等の一時的な荷重変化であると考えられる。そのような一時的な荷重変化は、揚重中の時間帯から取り除かれる必要がある。そのため、時間帯特定部１２は、上記の判断に続いて、連続する揚重中の時刻の時間帯と、予め設定された時間長の閾値とを比較する。時間帯特定部１２は、閾値未満の時間長の時間帯を、非揚重（停止中）の時間帯に変更する。図３（ｂ）のグラフに当該判断の例を示す。図３（ｂ）のグラフの例の場合、時間長の閾値は２０秒である。

クレーン１００による資材の揚重の際には、揚重する資材のバランスを取る等の目的で治具が用いられることがある。治具はクレーン１００によって資材と共に揚重されるが、治具のみがクレーン１００によって揚重される時間帯は、揚重中の時間帯から取り除かれてもよい。

そのため、時間帯特定部１２は、上記の判断に続いて、荷重に基づく新たな閾値を設定し、揚重中とされた各時刻の荷重と、設定された新たな閾値とを比較する。新たな閾値は、例えば、最大荷重に基づいて設定される。具体的には、新たな閾値は、最大荷重の予め設定された割合の値に設定される。なお、この際の最大荷重は、全時間帯の最大荷重としてもよいし、判断対象の時刻が含まれる、連続する揚重中の時刻の時間帯での最大荷重としてもよい。時間帯特定部１２は、荷重が閾値未満の時刻を、非揚重（停止中）の時刻に変更する。図３（ｃ）のグラフに当該判断の例を示す。図３（ｃ）のグラフの例の場合、閾値は最大荷重の１／７である。

時間帯特定部１２は、上記の判断によって揚重中と判断された連続する時刻の時間帯のそれぞれを、資材毎の揚重中の時間帯と特定する。連続する揚重中の時間帯では、通常１つの資材のみが揚重されているためである。上記のような段階的な判断をすることで、揚重する資材に軽量資材と重量資材とが混在している場合であっても、即ち、揚重する資材の種別間の荷重の違いが大きい場合であっても、適切に資材毎の揚重中の時間帯を特定することができる。なお、揚重中の時間帯の特定は、荷重情報に基づいて行われるものであれば、必ずしも上記のように行われる必要はない。例えば、揚重する資材の種別間の荷重の違いが小さい場合等には、上述した最初の荷重の閾値を用いた判断を省略し、最大荷重に基づく閾値を用いた判断を行い、その後、時間長の閾値を用いた判断を行って揚重中の時間帯の特定を行ってもよい。また、この場合の荷重に係る閾値については、最大荷重に基づくものではなく予め設定されたものとしてもよい。時間帯特定部１２は、特定した揚重中の時間帯を示す情報（例えば、揚重の開始時刻及び終了時刻）を画像取得部１３及び種別判別部１４に出力する。

画像取得部１３は、時間帯特定部１２によって特定された時間帯それぞれについて、当該時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段である。画像取得部１３は、時間帯を等間隔で予め設定した数に分割した複数のタイミングで撮像された、揚重された資材の複数の画像を取得してもよい。画像取得部１３は、カメラ３０による撮像によって得られた画像を取得してもよい。

画像取得部１３によって取得される画像は、時間帯特定部１２によって揚重中と特定された時間帯において、揚重された資材の種別を判別するためのものである。例えば、画像取得部１３は、以下のようにそのための画像を取得する。画像取得部１３は、時間帯特定部１２から揚重中の時間帯を示す情報を入力する。画像取得部１３は、カメラ３０から画像を入力して取得する。

画像取得部１３は、揚重中の時間帯毎に、カメラ３０から入力した画像のうち、当該時間帯に含まれる複数のタイミングで撮像された複数の画像を、資材の種別の判別に用いる画像とする。例えば、画像取得部１３は、当該時間帯を等間隔で予め設定した数に分割した複数のタイミングで撮像された複数の画像を、資材の種別の判別に用いる画像とする。

例えば、図４に示すように揚重中の時間帯（ハッチングされた時間帯）における等間隔での１５個のタイミング（太い縦線で示されるタイミング）での画像を、資材の種別の判別に用いる画像としてもよい。なお、上記のタイミングのうち最初のタイミング及び最後のタイミングは、揚重中の時間帯の開始時刻及び終了時刻と一致していてもよいし、一致していなくてもよい。それらが一致していない場合、例えば、最初のタイミングは、揚重中の時間帯の開始時刻よりも予め設定したわずかな時間長だけ内側のタイミングとし、最後のタイミングは、揚重中の時間帯の終了時刻よりも予め設定したわずかな時間長だけ内側のタイミングとすればよい。

なお、資材の種別の判別に用いる画像に係るタイミングは、必ずしも上記である必要はなく、揚重中の時間帯毎に、揚重中の時間帯に含まれる複数のタイミングであればよい。画像取得部１３は、揚重中の時間帯毎の資材の種別の判別に用いる複数の画像を種別判別部１４に出力する。

種別判別部１４は、画像取得部１３によって取得された複数の画像から、時間帯毎に揚重された資材の種別を判別する種別判別手段である。種別判別部１４は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別してもよい。種別判別部１４は、荷重情報取得部１１によって取得された荷重情報によって示される、時間帯特定部１２によって特定された時間帯における時系列の荷重にも基づいて、揚重された資材の種別を判別してもよい。

種別判別部１４は、画像取得部１３によって取得された複数の画像から、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎のスコアに対して、時間帯における時系列の荷重に応じて重み付けして、重み付けされたスコアに基づいて、揚重された資材の種別を判別してもよい。種別判別部１４は、画像取得部１３によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別してもよい。種別判別部１４は、画像取得部１３によって取得された複数の画像のフック１０２が写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別してもよい。例えば、種別判別部１４は、以下のように上記の時間帯毎に揚重された資材の種別を判別する。

種別判別部１４は、荷重情報取得部１１から荷重情報を入力する。種別判別部１４は、時間帯特定部１２から揚重中の時間帯を示す情報を入力する。種別判別部１４は、画像取得部１３から揚重中の時間帯毎の複数の画像を入力する。画像取得部１３から入力した画像は、クレーン１００による資材の揚重が行われているタイミングで撮像された画像であるので、フック１０２及び揚重された資材が写っている。

図５に示すように、種別判別部１４は、画像取得部１３から入力した画像Ｉ１のフック１０２が写った部分Ｐを検出する。当該検出は、従来の画像解析の技術によって行われればよい。続いて、種別判別部１４は、画像Ｉ１から、検出したフック１０２が写った部分Ｐに応じた部分を部分画像Ｉ２として切り出す。部分画像Ｉ２は、予め設定されたサイズ及び形状（例えば、矩形）の画像である。画像Ｉ１における部分画像Ｉ２の位置は、例えば、フック１０２が写った部分を部分画像Ｉ２の中心とした位置である。種別判別部１４は、切り出した部分画像Ｉ２と資材の種別の判別に用いる学習モデル（画像認識モデル）Ｍとを用いて、揚重中の時間帯において揚重された資材の種別を判別する。

上述したようにカメラ３０を、ブーム１０１の先端に取り付けた場合、カメラ３０による撮像によって得られる画像には、揚重される資材以外のものが多く含まれてしまう。上記のようにフック１０２の周囲の部分画像Ｉ２を用いることで、揚重される資材以外のものを画像から除外することができ、より適切な判別が可能になる。なお、部分画像Ｉ２の切り取りは、必ず行われる必要はなく、種別判別部１４は、画像取得部１３から入力した画像をそのまま用いて判別を行ってもよい。例えば、カメラ３０をフック１０２に取り付けた場合には、画像取得部１３によって取得される画像が、揚重される資材が大写しの画像となるため、部分画像Ｉ２の切り取りを行う必要はない。

種別判別部１４は、複数の画像それぞれから、揚重された資材の種別を一次的に判別する。例えば、種別判別部１４は、予め機械学習によって生成された学習モデルを用いて一時的な判別を行う。学習モデルは、画像を入力して、画像に写った資材の種別に係る情報を出力する。例えば、学習モデルは、ニューラルネットワークを含んで構成されていてもよい。ニューラルネットワークは、多層のもの、即ち、深層学習（ディープラーニング）を行って生成されたものであってもよい。また、ニューラルネットワークは、ＣＮＮ（畳み込みニューラルネットワーク）であってもよい。ＣＮＮは画像データに強く、画像認識の分野では最も一般的に使われる手法であり、ＣＮＮを用いることでより適切な判別が可能となる。

例えば、学習モデルは、入力層、中間層及び出力層を備える。入力層には、画像の画素数分のニューロンが設けられ、それぞれのニューロンには画像の画素値が入力される。出力層には、判別される資材の種別数分のニューロンが設けられ、それぞれのニューロンから種別毎のスコアである信頼度（％）（確率）が出力される。当該信頼度は、画像に写った資材がその種別である度合いを示すものである。例えば、信頼度が高いほど、画像に写った資材がその種別である度合いが大きい。上記の学習モデルは、予め写った資材の種別が既知である学習用の画像を用いて、従来の機械学習によって生成することができる。

種別判別部１４は、予め学習モデルを記憶しておく。種別判別部１４は、資材の種別の判別に用いる画像を学習モデルに入力して、当該画像によって、揚重された資材の種別を一次的に判別する。種別判別部１４は、画像を学習モデルに入力して、学習モデルからの出力として、当該画像についての資材の種別毎の信頼度を得る。種別判別部１４は、学習モデルから出力される種別毎の信頼度のうち、最も高い信頼度の種別を、当該画像から判別される資材の種別とする。

種別判別部１４は、同一の揚重中の時間帯のタイミングの画像（図４に示す例では１５枚の画像）全てについて、上記の一次的な判別を行う。種別判別部１４は、画像数の判別のうち、最も判別された数が多い種別を、当該揚重中の時間帯で揚重された資材の種別とする。即ち、種別判別部１４は、多数決によって資材の種別を最終的に判別する。例えば、１５枚の画像の一次的な種別の判別が、鉄骨柱、鉄骨柱、鉄骨柱、鉄骨大梁、鉄骨大梁、鉄骨柱、鉄筋、鉄筋、階段、鉄骨柱、鉄骨柱、鉄骨柱、鉄骨柱、鉄骨柱及び鉄骨柱であった場合には、最も判別された数が多い鉄骨柱に最終決定する。

複数の画像から、揚重された資材の種別を判別することで、１枚の画像から適切な種別が判別できなかった場合であっても、適切に資材の種別を判別することができる。即ち、一次的な画像の見え方の影響を低減し、画像認識精度を向上することができる。

種別判別部１４は、上記の画像を用いた判別に、時間帯特定部１２によって特定された時間帯における、荷重情報によって示される時系列の荷重を考慮してもよい。資材の重さは、資材の種別に応じたものとなる。種別判別部１４は、荷重情報によって示される荷重が資材の種別に応じた重さを考慮して妥当ではない種別について、判別されにくくしたり、判別から除外したりする。

例えば、種別判別部１４は、画像と学習モデルとから得られた種別毎の信頼度に、時系列の荷重に応じて重み付けして、重み付けした信頼度によって判別する。この場合、種別判別部１４は、予め種別毎の資材の荷重ｗ_ａｌｌ（種別毎の値）を記憶しておく。例えば、種別毎の資材の荷重は、種別毎の複数の資材についての実際の荷重の測定値の平均とすればよい。種別判別部１４は、荷重情報から、判別対象となる揚重中の時間帯における、揚重の最大荷重ｗを得る。

種別判別部１４は、種別毎のそれらの差分｜ｗ_ａｌｌ－ｗ｜（誤差）を算出する。種別判別部１４は、以下の式によって画像と学習モデルとから得られた種別毎の信頼度ｐに重み付けを行って、重み付け後の信頼度ｐ´を算出する。

上記の式におけるｎは、正の値であるハイパーパラメータである。ｎは通常１とされる。ｎは、荷重による信頼度の調整の影響度を表している。ｎを予め大きい値（例えば、３等）、判別に対する荷重の影響が大きくなる。種別判別部１４は、重み付け後の信頼度ｐ´を用いて上記と同様に種別を判別する。種別判別部１４は、上記以外の方法で種別の判別において時系列の荷重を考慮してもよい。

また、種別判別部１４は、一次的な判別を行わずに資材の種別を判別してもよい。例えば、種別判別部１４は、１つの揚重中の時間帯について、揚重された資材の種別毎の信頼度から、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別してもよい。具体的には、算出された信頼度を種別毎に全て足し合わせたものを判別用スコアとしてもよい。あるいは、画像毎に最も高い信頼度を種別毎に全て足し合わせたものを判別用スコアとしてもよい。種別判別部１４は、判別用スコアが最も高い種別を当該揚重中の時間帯で揚重された資材の種別とする。

また、種別判別部１４は、１つの揚重中の時間帯に係る複数の画像全てを入力して、当該複数の画像の入力に対して資材の種別に係る１つの情報を出力する学習モデルを用いて、揚重中の時間帯で揚重された資材の種別を判別してもよい。当該学習モデルは、例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＬＳＴＭ（Long Short Term Memory）である。この場合の学習モデルからの出力は、例えば、上述した学習モデルと同様の種別毎のスコアである信頼度である。種別判別部１４は、最も高い信頼度の種別を、当該揚重中の時間帯において揚重された資材の種別とする。このような判別によって、複数の画像の特徴を総合的に踏まえた判別（複数の画像に共通して含まれる特徴又は特定の資材に見られる運動（空中での回転など）を考慮した判別）が可能となり、結果的にクレーン１００の揚重実績を示す情報をより適切に取得することができる。

種別判別部１４は、時間帯特定部１２から入力した揚重中の時間帯を示す情報、及び判別した当該時間帯において揚重された資材の種別を示す情報を、クレーン１００の揚重実績を示す情報として出力する。例えば、種別判別部１４は、揚重実績を示す情報をユーザ等の端末（例えば、工事管理者が用いる事務所の端末）に送信する。あるいは、種別判別部１４は、サーバ装置１０が備える表示装置に表示させる。揚重実績を示す情報の表示は、時系列に何の資材がどのタイミングで揚重されたかを可視化するものであってもよい。また、資材の種別毎の時間当たりの揚重回数等の統計量も表示してもよい。ユーザは、出力された情報を参照することでクレーン１００の揚重実績を把握することができる。

種別判別部１４による判別、及び判別に基づくクレーン１００の揚重実績を示す情報は、予め設定したタイミングで行われればよい。例えば、種別判別部１４は、３０分毎に最新の情報に更新して出力する。また、そのような出力が行えるように各機能部も適宜のタイミングで処理を行う。また、種別判別部１４は、揚重中の時間帯に含まれる複数のタイミングでの画像を用いるものであれば、上記以外の方法によって資材の種別を判別してもよい。以上が、サーバ装置１０の機能である。

引き続いて、図６のフローチャートを用いて、本実施形態に係る揚重実績取得システム１で実行される処理を説明する。本処理では、荷重計２０によって、クレーン１００の揚重に係る荷重が検出される（Ｓ０１）。また、カメラ３０によって、クレーン１００によって揚重された資材が撮像される（Ｓ０２）。なお、荷重計２０による検出（Ｓ０１）及びカメラ３０による撮像（Ｓ０２）は、クレーン１００の揚重実績を示す情報の取得対象となる時間帯において継続して行われる。

サーバ装置１０では、荷重情報取得部１１によって、荷重計２０による検出結果である、クレーン１００の揚重に係る時系列の荷重を示す荷重情報が取得される（Ｓ０３）。続いて、時間帯特定部１２によって、荷重情報に基づいて、揚重された資材毎にクレーン１００によって資材の揚重が行われた時間帯が特定される（Ｓ０４）。続いて、画像取得部１３によって、揚重中の時間帯それぞれについて、当該時間帯に含まれる複数のタイミングでカメラ３０によって撮像された、揚重された資材の複数の画像が取得される（Ｓ０５）。

続いて、種別判別部１４によって、複数の画像から、時間帯毎に揚重された資材の種別が判別される（Ｓ０６）。この判別には、荷重情報も用いられてもよい。続いて、種別判別部１４によって、判別結果を含む、クレーン１００の揚重実績を示す情報が出力される（Ｓ０７）。以上が、本実施形態に係る揚重実績取得システム１で実行される処理である。

本実施形態では、揚重が行われた時間帯において揚重された資材の複数の画像から、資材の種別が判別される。これによって、上述したように１枚の画像から適切な種別が判別できなかった場合であっても、適切に資材の種別を判別することができる。その結果、本実施形態によれば、クレーン１００の揚重実績を示す情報を適切に取得することができる。また、本実施形態によれば、自動的かつ合理的に揚重実績を示す情報を取得することができ、作業員の目視による記録等を省力化することができる。即ち、本実施形態によれば、揚重実績を示す情報取得の省力化を図ることができる。従って、本実施形態は、クレーン１００による揚重作業の効率化に寄与することができる。

また、本実施形態のように、揚重中の時間帯を等間隔で予め設定した数に分割した複数のタイミングで撮像された、揚重された資材の複数の画像を、資材の種別の判別に用いてもよい。この構成によれば、資材の種別に用いる複数の画像を適切なものとすることができる。その結果、クレーン１００の揚重実績を示す情報を適切かつ確実に取得することができる。但し、画像に係るタイミングは、上記である必要はなく、揚重中の時間帯に含まれる複数のタイミングであればよい。

また、本実施形態にように、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別することとしてもよい。例えば、上述したように多数決によって資材の種別を最終決定してもよい。この構成によれば、適切かつ確実に資材の種別を判別することができる。その結果、クレーン１００の揚重実績を示す情報を適切かつ確実に取得することができる。但し、揚重された資材の種別の判別において、必ずしも画像毎の一時的な判別を行う必要はない。

また、本実施形態にように、揚重中の時間帯における時系列の荷重にも基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、時系列の荷重にも基づいて、更に適切に資材の種別を判別することができる。

具体的には、本実施形態にように、複数の画像から、揚重された資材について、資材の種別毎のスコア（例えば、上述したような学習モデルから出力される信頼度）を算出して、算出した資材の種別毎のスコアに対して、時間帯における時系列の荷重に応じて重み付けして、重み付けされたスコアに基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、資材の種別の判別時に適切に時系列の荷重を用いることができる。その結果、クレーン１００の揚重実績を示す情報を更に適切に取得することができる。

例えば、資材の種別毎に荷重が異なる場合には、更に適切に資材の種別を判別することができる。その結果、クレーン１００の揚重実績を示す情報を更に適切に取得することができる。但し、荷重が資材の種別に応じたものとならない場合等には、揚重された資材の種別の判別において、必ずしも時系列の荷重を用いる必要はない。

また、本実施形態にように、複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーン１００の揚重実績を示す情報を更に適切に取得することができる。但し、必ずしも、揚重された資材の種別の判別は上記のように行われる必要はない。

また、本実施形態にように、画像のフック１０２が写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別することとしてもよい。この構成によれば、更に適切に資材の種別を判別することができる。その結果、クレーン１００の揚重実績を示す情報を更に適切に取得することができる。例えば、画像に判別対象以外の資材以外のものが写っている場合であっても、適切に適切に資材の種別を判別することができる。但し、切り取りを行わずに適切に資材の種別を判別できる場合等には、必ずしも上記の構成を取る必要はない。

また、本実施形態にように、揚重実績取得システム１は、クレーン１００のブーム１０１の先端に設けられる撮像手段であるカメラ３０を更に備え、カメラ３０の撮像によって得られた画像を資材の種別を判別に用いてもよい。この構成によれば、確実に画像を取得できるようにすることができ、また、カメラ３０からの画像の取得及び給電を容易に行うことができる。但し、カメラ３０に関して必ずしも上記の構成を取る必要はない。

なお、本実施形態では、揚重実績取得システム１は、サーバ装置１０と、荷重計２０と、カメラ３０とを含むものとしたが、揚重実績取得システム１は、サーバ装置１０のみから構成されていてもよい。その場合、揚重実績取得システム１は、揚重実績取得システム１に含まれない荷重計及びカメラから、上記の必要なデータを取得すればよい。

本開示の揚重実績取得システムは、以下の構成を有する。
［１］資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムであって、
クレーンの揚重に係る時系列の荷重を示す荷重情報を取得する荷重情報取得手段と、
前記荷重情報取得手段によって取得された荷重情報に基づいて、揚重された資材毎にクレーンによって資材の揚重が行われた時間帯を特定する時間帯特定手段と、
前記時間帯特定手段によって特定された時間帯それぞれについて、当該時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段と、
前記画像取得手段によって取得された複数の画像から、時間帯毎に揚重された資材の種別を判別する種別判別手段と、
を備える揚重実績取得システム。
［２］前記画像取得手段は、前記時間帯を等間隔で予め設定した数に分割した複数のタイミングで撮像された、揚重された資材の複数の画像を取得する［１］に記載の揚重実績取得システム。
［３］前記種別判別手段は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別する［１］又は［２］に記載の揚重実績取得システム。
［４］前記種別判別手段は、前記荷重情報取得手段によって取得された荷重情報によって示される、前記時間帯特定手段によって特定された時間帯における時系列の荷重にも基づいて、揚重された資材の種別を判別する［１］～［３］の何れかに記載の揚重実績取得システム。
［５］前記種別判別手段は、前記画像取得手段によって取得された複数の画像から、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎のスコアに対して、前記時間帯における時系列の荷重に応じて重み付けして、重み付けされたスコアに基づいて、揚重された資材の種別を判別する［４］に記載の揚重実績取得システム。
［６］前記種別判別手段は、前記画像取得手段によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別する［１］～［５］の何れかに記載の揚重実績取得システム。
［７］前記種別判別手段は、前記画像取得手段によって取得された複数の画像のフックが写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別する［１］～［６］の何れかに記載の揚重実績取得システム。
［８］クレーンのブームの先端に設けられる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段による撮像によって得られた画像を取得する［１］～［７］の何れかに記載の揚重実績取得システム。

１…揚重実績取得システム、１０…サーバ装置、１１…荷重情報取得部、１２…時間帯特定部、１３…画像取得部、１４…種別判別部、２０…荷重計、３０…カメラ、１００…クレーン、１０１…ブーム、１０２…フック。

Claims (8)

1. 資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムであって、
   クレーンの揚重に係る時系列の荷重を示す荷重情報を取得する荷重情報取得手段と、
   前記荷重情報取得手段によって取得された荷重情報に基づいて、揚重された資材毎にクレーンによって資材の揚重が行われた時間帯を特定する時間帯特定手段と、
   前記時間帯特定手段によって特定された時間帯それぞれについて、当該時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段と、
   前記画像取得手段によって取得された複数の画像から、時間帯毎に揚重された資材の種別を判別する種別判別手段と、
   を備え、
   前記時間帯特定手段は、前記荷重情報によって示される各時刻の荷重と予め設定された閾値とを比較して揚重中の時間帯を特定し、特定された連続する揚重中の時間帯における当該荷重情報によって示される各時刻の荷重に基づいて新たな閾値を設定し、当該特定された連続する揚重中の時間帯における各時刻の荷重と設定した新たな閾値とを比較して最終的な揚重中の時間帯を特定する揚重実績取得システム。
2. 資材を揚重するクレーンの揚重実績を示す情報を取得する揚重実績取得システムであって、
   クレーンの揚重に係る時系列の荷重を示す荷重情報を取得する荷重情報取得手段と、
   前記荷重情報取得手段によって取得された荷重情報に基づいて、揚重された資材毎にクレーンによって資材の揚重が行われた時間帯を特定する時間帯特定手段と、
   前記時間帯特定手段によって特定された時間帯それぞれについて、当該時間帯に含まれる複数のタイミングで撮像された、揚重された資材の複数の画像を取得する画像取得手段と、
   前記画像取得手段によって取得された複数の画像から、時間帯毎に揚重された資材の種別を判別する種別判別手段と、
   を備え、
   前記種別判別手段は、前記画像取得手段によって取得された複数の画像から、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎のスコアに対して、前記時間帯における時系列の荷重に応じて重み付けして、重み付けされたスコアに基づいて、揚重された資材の種別を判別する揚重実績取得システム。
3. 前記画像取得手段は、前記時間帯を等間隔で予め設定した数に分割した複数のタイミングで撮像された、揚重された資材の複数の画像を取得する請求項１又は２に記載の揚重実績取得システム。
4. 前記種別判別手段は、複数の画像それぞれから、揚重された資材の種別を一次的に判別し、当該一次的な判別による複数の判別結果に基づいて、揚重された資材の種別を判別する請求項１又は２に記載の揚重実績取得システム。
5. 前記種別判別手段は、前記荷重情報取得手段によって取得された荷重情報によって示される、前記時間帯特定手段によって特定された時間帯における時系列の荷重にも基づいて、揚重された資材の種別を判別する請求項１又は２に記載の揚重実績取得システム。
6. 前記種別判別手段は、前記画像取得手段によって取得された複数の画像それぞれから、揚重された資材について、資材の種別毎のスコアを算出して、算出した資材の種別毎の複数のスコアから、予め設定した算出式によって資材の種別毎の判別用スコアを算出して、算出した判別用スコアに基づいて、揚重された資材の種別を判別する請求項１又は２に記載の揚重実績取得システム。
7. 前記種別判別手段は、前記画像取得手段によって取得された複数の画像のフックが写った部分を検出して、画像から検出した部分に応じた部分を切り出して、切り出した画像から、揚重された資材の種別を判別する請求項１又は２に記載の揚重実績取得システム。
8. クレーンのブームの先端に設けられる撮像手段を更に備え、
   前記画像取得手段は、前記撮像手段による撮像によって得られた画像を取得する請求項１又は２に記載の揚重実績取得システム。