WO2023171625A1

WO2023171625A1 - 搬送状態検知装置、及び搬送状態検知方法

Info

Publication number: WO2023171625A1
Application number: PCT/JP2023/008373
Authority: WO
Inventors: 萌河西; 雄亮石垣; 慶晃西名
Original assignee: JFE Steel Corp
Current assignee: JFE Steel Corp
Priority date: 2022-03-07
Filing date: 2023-03-06
Publication date: 2023-09-14
Anticipated expiration: 2024-09-07
Also published as: KR20240134373A; JP7568112B2; EP4464632A1; JPWO2023171625A1; EP4464632A4; CN118804885A

Abstract

ベルト上の搬送物の搬送状態を自動検知可能とする。ベルトコンベア（１）で搬送されるベルト（３）上の原料（２）の搬送状態を検知する搬送状態検知装置（２１）であって、搬送物を搬送する上記ベルト（３）を上方から撮像する撮像装置と、上記撮像装置が撮像した撮像画像を画像処理することで、上記ベルト（３）上の原料（２）の搬送状態を検知する搬送状態検知部（１０）と、を備える。

Description

搬送状態検知装置、及び搬送状態検知方法

　本発明は、ベルトコンベアで搬送されるベルト上の搬送物の搬送状態を、画像処理にて自動検知する技術に関する。

　原料ヤードに貯蔵された原料（搬送物）は、製鉄所の生産に応じて、次工程である焼結、コークス、高炉等の各工場に搬送される。このため、原料ヤードでの原料の搬送能力が製鉄所の生産に大きく影響する。原料ヤード内には、原料の搬送のために多数のベルトコンベアが設置されている。そして、種類や銘柄の異なる原料を搬送する。このため、各種の原料は、落下式のシュート等を利用した乗り継ぎ部により、複数のベルトコンベアを乗り継いで目的の場所に向けて搬送される構成となっている。

　このとき、ベルトコンベアの乗り継ぎ部でのベルトへの原料積載時に、原料がベルトの幅方向に片寄って乗ってしまうことがある。この場合、原料の搬送中に落鉱（ベルトからの原料の落下）が生じてしまうことがある。特に、原料の搬送量（ベルトへの積載量）が増加するほど、落鉱のリスクが高まる。また、落鉱にともなって、ベルトコンベアやその周辺の設備での機械トラブルや清掃コストが増加する。

　従来は、カメラで撮影した画像をオペレータが画面上で見て、ベルト上の原料の搬送状態を監視している。しかし、人の目によって、ベルトコンベアによる搬送状態を常時監視することは難しい。このため、従来、落鉱のリスクを回避するために、ベルトへの原料の積載量を安全サイドで操業していた。つまり、ベルト幅に対し、原料の搬送量の余力を大きく残して操業していた。そして、このことは、原料ヤードでの原料の搬送能力を抑える一因となる。
　このため、近年、人の目での監視によらずに、複数のベルトコンベアの搬送状態をまとめて監視することが望まれている。

　ここで、ベルトコンベアのベルト異常を監視する技術として、例えば特許文献１又は２に記載された技術がある。
　特許文献１では、搬送物を搬送するベルトコンベアを管理するために、ベルトの画像を連続的に取得する。更に、特許文献１では、連続的に取得した画像群の位置関係からベルトの位置を判別する。そして、特許文献１には、判別したベルトの位置関係から、ベルトコンベアの異常発生の危険度を判別する、ことが開示されている。
　また、特許文献２では、ベルトの幅方向端部領域の画像データを、劣化レベル判定モデルに入力して、ベルトの幅方向端部領域の劣化レベルを判定する。そして、特許文献２には、判定したベルト位置の情報とそのベルト位置に対する劣化レベルの情報を出力する、ことが開示されている。

特開２０１９－１８９９９号公報特開２０２１－１７２９６号公報

　しかし、特許文献１及び２に記載のベルト異常を監視する方法では、走行するベルトの蛇行などベルト自体の異常状態を監視することは可能である。しかし、特許文献１及び２に記載の方法では、搬送物の積載量（搬送量）が少なすぎるなど、ベルト上の搬送物の異常を直接、検知することはできない。

　本発明は、上記のような点に着目してなされたもので、ベルト上の搬送物の搬送状態を自動検知可能とすることを目的とする。

　課題解決のために、本発明の一態様は、ベルトコンベアで搬送されるベルト上の搬送物の搬送状態を検知する搬送状態検知装置であって、搬送物を搬送する上記ベルトを上方から撮像する撮像装置と、上記撮像装置が撮像した撮像画像を画像処理することで、上記ベルト上の搬送物の搬送状態を検知する搬送状態検知部と、を備えることを要旨とする。

　また、本発明の態様は、ベルトコンベアのベルトで搬送される搬送物の搬送状態を検知する搬送状態検知方法であって、搬送物を搬送するベルトを上方から撮像し、撮像した撮像画像を画像処理することで、上記ベルト上の搬送物の搬送状態を判定する、ことを要旨とする。

　本発明の態様によれば、搬送物を搬送するベルトを撮像した撮像画像について画像処理を行う。この結果、本発明の態様によれば、ベルト上の搬送物の搬送状態を、自動検知することが可能となる。

本発明の実施形態に係るベルトコンベア及び搬送状態検知装置の構成例を示す概略図である。上行きベルトをベルト走行方向からみた図である。搬送状態検知部の構成例を示す図である。本発明に基づく実施形態に係る撮像画像の例を示す図である。（ａ）は撮像部（カメラ）が撮像した撮像画像を、（ｂ）は、撮像部（カメラ）が撮像した画像から一部領域を切り出した撮像画像を示す。学習済みモデルでの入力（（ａ））と出力（（ｂ））のイメージを示す図である。搬送状態検知部及び判定情報出力部での処理例を示すフロー図である。

　次に、本発明の実施形態について図面を参照して説明する。
　ここで、原料ヤードには、ベルトコンベアが多数設置されている。原料は、ベルトコンベアによって原料ヤードまで搬送されて原料山として貯蔵される。また、原料は、必要に応じて、ベルトコンベアによって次工程に供給される。原料ヤードでは、種類や銘柄の異なる原料が、落下式のシュート等を利用した乗り継ぎ部により複数のベルトコンベアを乗り継いで搬送される。
　本実施形態では、原料ヤードで用いるベルトコンベアへの適用を想定して説明する。しかし、本開示は、その他のベルトコンベアの設備に対しても適用できる。
　また、本実施形態では、ベルトで搬送される搬送物として、バラ物からなる原料を例に説明する。搬送物は、バラ物に限定されない。
　なお、以下の説明では、搬送物を原料とも記載する。

　（全体構成）
　図１は、本実施形態のベルトコンベア１及び搬送状態検知装置２１を示す概略図である。

　＜ベルトコンベア１＞
　ベルトコンベア１は、無端状のベルト３と、プーリー７とを備える。ベルト３は、駆動プーリー７ａ及び複数の従動プーリー７ｂからなるプーリー７の回転により、所定の張力を持って、複数のローラー８上を走行する。駆動プーリー７ａは、電動機５により減速機６を介して回転駆動される。
　本実施形態では、ローラー８のうち、上行きベルト３ａを支持するローラーは、図２に示すように、中央ローラー８ａと、左右ローラー８ｂとの組合せから構成される。中央ローラー８ａは、ベルト幅方向（図２における左右方向）において、幅方向中央に配置される。左右ローラー８ｂは、中央ローラー８ａの左右に配置されて軸が傾斜したローラーである。これによって、ローラー８は、上行きベルト３ａを台形状に支持可能となっている。なお、下行きベルト３ｂ側を支持するローラー８は、一本のローラーで構成される。もっとも、ローラー８によるベルト３の支持構成は、これに限定されない。

　また、本実施形態では、シュート等からなる原料投入装置２０が、上行きベルト３ａの搬送方向上流に位置する。原料投入装置２０から、搬送物としての原料２がベルト３上に積載されて、走行するベルト３で原料２が搬送される。そして、原料２は、上行きベルト３ａで搬送方向下流まで搬送され、順次、シュート４に投入される。

　＜搬送状態検知装置２１＞
　搬送状態検知装置２１は、ベルト３上に積載されている原料２の搬送状態を検知する装置である。原料２の搬送状態は、例えば、走行するベルト３上の原料２の載置状態である。
　搬送状態検知装置２１は、図１に示すように、撮像装置９と搬送状態検知部１０とを備える。符号１１は、撮像画像を蓄積する画像蓄積装置としてのデータベースである。

　＜撮像装置９＞
　本実施形態の撮像装置９は、可視カメラからなる。撮像装置９は、ベルトコンベア１のベルト３のうち、上行きベルト３ａを上方から撮像して、撮像画像を取得する。図４は、撮像画像の例を示す模式図である。撮像装置９は、ベルト３の少なくとも幅方向両端部が撮像されるように調節して設置されている。図１の例では、撮像装置９の撮像軸は、ベルト３の走行方向に傾けて設置されている。
　なお、撮像装置９の設置場所は、ベルト３を十分に監視可能な視野を確保する必要がある。また、図１では、１台のベルトコンベア１に１台の撮像装置９を設ける場合を図示している。上行きベルト３ａの延在方向（走行方向）に沿って２台以上の撮像装置９を設けても良い。この場合、搬送方向に沿った２カ所での搬送状態の違いから、途中での落鉱等を検出できる。

　＜搬送状態検知部１０＞
　搬送状態検知部１０は、図３に示すように、画像処理部１０Ａと、状態判定部１０Ｂと、判定情報出力部１０Ｃとを備える。

　＜画像処理部１０Ａ＞
　画像処理部１０Ａは、撮像装置９が撮像した撮像画像について画像処理を行う。そして、画像処理部１０Ａは、搬送物領域情報及びベルト領域情報のうち、少なくとも搬送物領域情報を取得する。搬送物領域情報は、ベルト３上での原料２の領域の情報である搬送物領域情報である。ベルト領域情報は、原料２が載っていないベルト３（ベルト３の上面が露出している部分）の領域の情報である。
　搬送物領域情報としては、載置されている原料２の位置情報などが例示できる。
　画像処理部１０Ａは、画像処理として、取得した画像について２値化その他の強調処理を行う構成でもよい。この場合、画像中のベルト３の幅方向端部位置や、ベルト３上に載置された原料２の外周輪郭位置を検出する。そして、検出した位置から、ベルト領域情報や搬送物領域情報を取得する。

　しかし、原料ヤードのベルトコンベア１は室外に置かれることも多い。この場合、周りの環境（季節や天候など）によって、強調処理では、撮像画像から画像中のベルト３の幅方向端部位置の検出精度が悪くなるおそれがある。また、強調処理では、ベルト３上に載置されている原料２の外周輪郭位置の検出精度が悪くなるおそれがある。
　このため、本実施形態では、予め、学習済みモデル１２を、教師有りデータを用いた、深層学習などの機械学習によって予め生成しておく。学習済みモデル１２は、撮像画像を入力とし、ベルト３上に載置されている原料２の載置位置の領域の搬送物領域情報を出力とするモデルである。
　そして、本実施形態の画像処理部１０Ａは、撮像画像を入力データとし、上記の学習済みモデル１２を使用して搬送物領域情報を取得することとする。
　学習済みモデル１２を得るための機械学習としては、例えばセマンティックセグメンテーションが例示できる。

　セマンティックセグメンテーションを採用する場合を考える。この場合、予め撮像した学習用の撮像画像を構成する各画素についてそれぞれ、３つの領域のクラスいずれかにラベリングした教師画像データを作成する。３つの領域とは、ベルト３上の原料２の領域、原料位置を除くベルト３の領域、及びそれ以外の領域である。すなわち、画像中を、ベルト３上の原料２の領域、ベルト３の領域、及びそれ以外の領域に分割する。そして、画像中の画素について、それぞれどの領域（クラス）に分類されるかラベリングして教師画像データを作成する。そして、多数の教師画像データを畳み込みニューラルネットワークで学習させることで、学習済みモデル１２を生成する。学習済みモデル１２は、撮像画像（入力データ）を入力とし、撮像画像中の少なくとも原料２の領域に関する情報を出力する。

　ここで、撮像装置９で撮像する時間帯や天候が異なる複数の教師画像データを用いてモデルを生成するとよい。これによって、屋外でのベルトコンベア１の撮像画像であっても、安定して精度良く原料２の領域が検出できる。この結果、原料２の搬送状態の自動監視が精度よく可能となる。
　学習済みモデル１２の出力情報は、例えば、撮像画像中の、どの領域が原料２の領域で、どの領域がベルト３の領域なのかの情報が付与されたデータである。なお、原料２の領域は、１つの領域で構成されている場合もあるし、複数の領域に分かれて構成されている場合もある。

　セマンティックセグメンテーションを用いた学習済みモデル１２を使用した場合、次のような出力になる。つまり、出力画像中の原料２の領域の画素に対し、画素毎に、原料２の領域である旨の識別情報（搬送物領域情報）が付与された画像データが出力される。すなわち、セマンティックセグメンテーションを用いた学習済みモデル１２の出力値である画像データでは、原料２かベルト３かその他かの識別情報が画素毎に付与されている。これにより、どの領域が原料２で、どの領域がベルト３なのか識別することができる。例えば、学習済みモデル１２は、クラス毎に画素の色を変えて表示した画像データを出力する。
　そして、画像処理部１０Ａは、上記の学習済みモデル１２を用いて、撮像装置９が撮像した撮像画像を入力とし、搬送物領域情報を含む画像データを出力する。

　ここで、学習済みモデル１２に入力する撮像画像は、撮像装置９が撮像した画像そのものである必要は無い。撮像装置９が、図４（ａ）のように、ベルト３の長手方向（走行方向）に所定長さ撮像するように設定されている場合を考える。この場合、その撮像した撮像画像から長手方向の一部を切り出した、図４（ｂ）のような領域の画像を学習済みモデル１２に入力する撮像画像としても良い。切り出す領域は、画像データの搬送状態の検知が必要な特定領域のみとする。特定領域とは、例えば、原料２の状態が安定している領域とか、逆にベルト３が幅方向に蛇行しやすい領域とかである。また、２以上の領域を切り出しても良い。この場合、切り出した領域毎に画像処理を実行すれば良い。ここで、符号３ａは、ベルト３のうち、原料２が載っていない露出部分を指す。図５（ａ）でも同様である。
　なお、撮像装置９が撮像した撮像画像や切り出した画像等は、データベース１１に逐次、蓄積しておく。そして、蓄積した画像で、適宜、学習済みモデル１２の更新処理を実行しても良い。

　＜状態判定部１０Ｂ＞
　状態判定部１０Ｂは、画像処理部１０Ａが取得した情報に基づき、原料２の搬送状態を判定する。
　ここで、原料２の搬送状態は、例えば、ベルト３上に載置されている原料２の載置状態に関する情報である。更に、原料２の搬送状態は、ベルト３上の原料２の有無、ベルト３による原料２の搬送量の情報、ベルト３上に存在する原料２の幅方向位置に関する情報である。
　ベルト領域情報も検出する場合、ベルト３に対する原料２の相対的な位置の状態も、搬送状態として識別可能となる。また、ベルト領域情報から、間接的に搬送状態を判定しても良い。
　本実施形態の状態判定部１０Ｂは、画像処理部１０Ａが求めた情報から、原料２の搬送状態を判定する。状態判定部１０Ｂは、例えば、学習済みモデル１２が出力した、搬送物領域情報やベルト領域情報が付与された画像から、原料２の搬送状態を判定する。

　＜搬送量算出部１０Ｂａ＞
　本実施形態の状態判定部１０Ｂは、搬送量算出部１０Ｂａを備える。
　搬送量算出部１０Ｂａは、上面視における、ベルト３上に存在する原料２の面積を算出する。搬送量算出部１０Ｂａは、算出した原料２の面積から、ベルト３の単位長さ当たりのベルト３による原料２の搬送量を算出する。搬送量は搬送状態の一例を構成する。

　搬送量算出部１０Ｂａは、例えば、学習済みモデル１２が出力した画像データ中の、原料２の画素の数（原料２の占める面積相当）を求める。そして、搬送量算出部１０Ｂａは、画素の大きさに対応する係数を乗算することで、原料２の占有面積を算出する。そして、搬送量算出部１０Ｂａは、算出した原料２の占有面積から、ベルト３に積載されている原料２の単位長さ当たりの搬送量を求める。搬送量は、原料２の面積から算出することができる。例えば、トラフ型ベルトコンベヤの理論搬送量を算出する式（真島卯太郎：コンベヤ計算法、工学図書株式会社、東京、（１９７９）、ｐ．１４）を用いる。この場合、特定した画素から求めた原料２の画素数（面積）から、原料２の体積、すなわち搬送量を算出することができる。このとき、操業条件からベルト３の速度や密度をあてはめる。

　＜判定情報出力部１０Ｃ＞
　判定情報出力部１０Ｃは、状態判定部１０Ｂが求めた判定情報や、搬送量算出部１０Ｂａが求めた搬送量、及びそのような情報から判定した搬送状態などの情報を出力する。例えば、その情報の出力によって、判定情報などをオペレータに報知する。
　状態判定部１０Ｂ及び判定情報出力部１０Ｃの処理フロー例について、図６を参照して説明する。この処理は、例えば、画像処理部１０Ａからの出力を入力する度に繰り返し実行される。
　状態判定部１０Ｂは、まずステップＳ１０にて、学習済みモデル１２の出力データ（画像データ）を入力する。

　ここで、本実施形態では、学習済みモデル１２によって、例えば、図５（ａ）のような撮像画像を入力し、図５（ｂ）のような画像データを出力する。図５（ｂ）に示す画像データの画像は、原料２の領域Ｒ１、ベルト３の領域Ｒ２、その他の領域Ｒ３を、それぞれ異なる表示で表したものである。上述のように画素単位で識別情報が付与されている。ここで、原料２の種類毎に画素の識別情報を変えるようにしてもよい。図５（ｂ）では、Ｒ１が原料２の領域を示し、Ｒ２がベルト３の領域を示し、Ｒ３がその他の領域を示す。同じ領域中の画素には、同じ識別情報が付与されている。

　次に、ステップＳ２０にて、ステップＳ１０にて取得した画像データ中の原料２（搬送物）の画素を特定し、原料２の画素数を求める。画素数は、原料２の占める面積Ｓに比例する。１つの画素の大きさを実際のベルト３上での大きさに変換する係数を、求めた画素数に乗算することで、原料２が占有する面積Ｓが求められる。
　次に、ステップＳ３０では、ステップＳ２０にて求めた原料２の画素数（又は、原料２の占める面積Ｓ）が、予め設定した閾値Ａ以上か否かを判定する。そして、閾値Ａ以上の場合にはステップＳ５０に移行し、閾値Ａ未満の場合にはステップＳ４０に移行する。なお、閾値Ａは、操業条件に基づき設定すればよい。

　ステップＳ４０では、「ベルト３上に原料２が無い」と判定し、その判定結果を出力して処理を終了する。判定結果の報知は、例えば、アラーム音の発生、電子メールへの送信、画面への表示などによって実行する。これによって、オペレータは、ベルト３上に原料２が無いことを知ることができる。
　ベルト３上に原料２が有る場合には、ステップＳ５０に移行して、切り出した画像領域内の原料２の搬送量Ｖを求める。搬送量Ｖは、原料２の面積Ｓから、公知の手段によって算出することができる。
　そして、求めた搬送量Ｖを表示部に出力する。

　次に、ステップＳ６０では、ステップＳ５０で求めた搬送量Ｖが、予め設定した許容範囲（Ｖ１以上Ｖ２以下）内か否かを判定する。そして、許容範囲内の場合には、処理を終了する。許容範囲外の場合には、ステップＳ７０に移行する。
　ベルト領域情報から、ベルトの露出している部分のベルト幅方向の大きさから、許容範囲内か否かを判定してもよい。
　なお、許容範囲外には、搬送量が多すぎる場合（Ｖ＞Ｖ２）と少なすぎる場合（Ｖ＜Ｖ１）とがある。
　すなわち、搬送条件に応じて、適正な搬送量の範囲（下限値Ｖ１と上限値Ｖ２）を求め、その範囲を許容範囲とすれば良い。

　ステップＳ７０では、異常判定の結果を出力する。異常判定の報知は、例えば、アラーム音の発生、電子メールへの送信、画面への表示などによって実行する。オペレータは、その出力された判定結果と搬送量とに基づき、ベルト３による原料２の搬送量の増減を調節することが可能である。
　また、ベルト３からの落鉱の有無の推定が行われる。
　また、オペレータは、連続して取得した搬送量の履歴に基づき、ベルト３への原料２の積載量を調整しても良い。
　ここで、状態判定部１０Ｂは、ベルト３上に原料２が積載されていると判定した場合、ベルト３に対する原料２の位置を搬送状態として検知する処理を実行しても良い。

　例えば、ベルト３の領域を表す画素から、ベルト３の幅方向両端部の位置若しくはベルト３の幅方向中心位置を求める。更に、原料２の画素の位置から、原料２の領域の重心点を求める。そして、ベルト３の幅方向中心に対する原料２の領域の重心点のベルト幅方向の偏差から、ベルト３上に積載されている原料２のベルト幅方向の片寄りを検知する。また、例えば、ベルト３の幅方向端部と原料２の領域の輪郭とのベルト幅方向の距離を、原料２の搬送状態として求めても良い。
　ベルト３の幅方向端部と原料２の領域の輪郭とのベルト幅方向の距離は、ベルト３へ積載された原料２の搬送量の限界の判定材料となる。

　（動作その他）
　本実施形態では、ベルトコンベア１のベルト３を監視可能な位置に可視カメラ（撮像装置９）を設置する。そのカメラで、常時、原料２（搬送物）を搬送するベルト３を監視する。そして、カメラが撮像した撮像画像を画像処理することで、自動でベルト３上の原料２の搬送状態を検知できる。本実施形態では、自動検知であるため、多数のベルトコンベア１の搬送状態を、人の目によらずに、まとめて効率的に監視することが可能となる。
　このとき、ベルト３上の原料２の有無、ベルト３上の原料２の幅や搬送量などを、オペレータが把握することができる。そして、ベルトコンベア１による原料２の搬送量を適宜、適正値に調整することで、ベルト３からの落鉱を未然に防止することができる。また、設備トラブルの発生前に効率的な対策をとることができる。このため、本実施形態では、落鉱に起因する設備トラブルや清掃時間・清掃コストを削減することができる。

　また、適正な最大量が落鉱せずに搬送されているか等を効率的に検知することができる。このため、ベルトコンベア１の設備仕様に対して搬送量を最大化することで、搬送量が抑えられることによる滞船料の削減につながる。
　さらに、本実施形態では、学習済みモデル１２を用いて搬送状態を検知する。このため、本開示を屋外のベルトコンベア１に適用しても、精度よく搬送状態を検知することが可能である。

　このように、本開示は、鉄鉱石や石炭などの原料２を搬送、貯蔵する原料ヤードの監視に有用である。本開示は、特に原料２の片寄り検知に好適な技術である。
　なお、本開示は、従来のようにベルト３自体の状態からベルト３で搬送される原料２の搬送状態を間接的に検知するものではない。本開示は、ベルト３上の原料２の状態である搬送状態を検知するものである。そして、その搬送状態の検知から、場合によっては、ベルト３の搬送異常を判定できるものである。

　（その他）
　本開示は、次の構成も取り得る。
　（１）ベルトコンベアで搬送されるベルト上の搬送物の搬送状態を検知する搬送状態検知装置であって、
　搬送物を搬送する上記ベルトを上方から撮像する撮像装置と、
　上記撮像装置が撮像した撮像画像を画像処理することで、上記ベルト上の搬送物の搬送状態を検知する搬送状態検知部と、を備える。
　（２）上記搬送状態検知部は、上記搬送物の搬送状態として、上記ベルト上の搬送物の有無及び上記ベルトによる搬送物の搬送量の情報の少なくとも一方の情報を検知する。
　（３）上記搬送状態検知部は、画像処理によって、上記ベルト上に存在する上記搬送物の領域に関する情報である搬送物領域情報を取得する画像処理部と、
　取得した上記搬送物領域情報に基づき、上記ベルト上に積載されている搬送物の状態である上記搬送状態を判定する状態判定部と、を備える。
　（４）上記画像処理部は、予め撮像した上記撮像画像について、ベルト上の搬送物の領域、ベルトの領域、及びそれ以外の領域のどの領域のクラスに分類されるかを画素ごとにラベリングした教師画像データを、畳み込みニューラルネットワークで学習することで作成した学習済みモデルを用いて、上記撮像装置が撮像した撮像画像から、上記搬送物領域情報を取得する。
　（５）上記搬送状態検知部は、上記ベルト上に存在する搬送物の面積を算出し、算出した搬送物の面積から上記搬送物の搬送量を搬送状態の情報として求める搬送量算出部を備える。
　（６）上記搬送状態検知部は、上記搬送量算出部が求めた搬送量が、予め設定した許容範囲内か否かを判定し、許容範囲外と判定すると、その判定結果を出力する判定情報出力部を備える。
　（７）ベルトコンベアのベルトで搬送される搬送物の搬送状態を検知する搬送状態検知方法であって、
　搬送物を搬送するベルトを上方から撮像し、撮像した撮像画像を画像処理することで、上記ベルト上の搬送物の搬送状態を判定する。
　（８）上記画像処理によって、上記ベルト上に存在する上記搬送物の領域に関する情報である搬送物領域情報を取得し、
　取得した上記搬送物領域情報に基づき、上記ベルト上に積載されている搬送物の状態である上記搬送状態を判定する。

　ここで、本願が優先権を主張する、日本国特許出願２０２２－０３４５６１（２０２２年　３月　７日出願）の全内容は、参照により本開示の一部をなす。ここでは、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく各実施形態の改変は当業者にとって自明なことである。

１ベルトコンベア
２原料（搬送物の一例）
３ベルト
９撮像装置
１０搬送状態検知部
１０Ａ画像処理部
１０Ｂ状態判定部
１０Ｂａ　搬送量算出部
１０Ｃ判定情報出力部
１２学習済みモデル
２１　搬送状態検知装置

Claims

　ベルトコンベアで搬送されるベルト上の搬送物の搬送状態を検知する搬送状態検知装置であって、
　搬送物を搬送する上記ベルトを上方から撮像する撮像装置と、
　上記撮像装置が撮像した撮像画像を画像処理することで、上記ベルト上の搬送物の搬送状態を検知する搬送状態検知部と、
　を備える、搬送状態検知装置。
　上記搬送状態検知部は、上記搬送物の搬送状態として、上記ベルト上の搬送物の有無及び上記ベルトによる搬送物の搬送量の情報の少なくとも一方の情報を検知する、
　請求項１に記載した搬送状態検知装置。
　上記搬送状態検知部は、画像処理によって、上記ベルト上に存在する上記搬送物の領域に関する情報である搬送物領域情報を取得する画像処理部と、
　取得した上記搬送物領域情報に基づき、上記ベルト上に積載されている搬送物の状態である上記搬送状態を判定する状態判定部と、
　を備える、
　請求項１又は請求項２に記載した搬送状態検知装置。
　上記画像処理部は、予め撮像した上記撮像画像について、ベルト上の搬送物の領域、ベルトの領域、及びそれ以外の領域のどの領域のクラスに分類されるかを画素ごとにラベリングした教師画像データを、畳み込みニューラルネットワークで学習することで作成した学習済みモデルを用いて、上記撮像装置が撮像した撮像画像から、上記搬送物領域情報を取得する、
　請求項３に記載した搬送状態検知装置。
　上記搬送状態検知部は、上記ベルト上に存在する搬送物の面積を算出し、算出した搬送物の面積から上記搬送物の搬送量を搬送状態の情報として求める搬送量算出部を備える、
　請求項１～請求項４のいずれか１項に記載した搬送状態検知装置。
　上記搬送状態検知部は、上記搬送量算出部が求めた搬送量が、予め設定した許容範囲内か否かを判定し、許容範囲外と判定すると、その判定結果を出力する判定情報出力部を備える、
　請求項５に記載した搬送状態検知装置。
　ベルトコンベアのベルトで搬送される搬送物の搬送状態を検知する搬送状態検知方法であって、
　搬送物を搬送するベルトを上方から撮像し、撮像した撮像画像を画像処理することで、上記ベルト上の搬送物の搬送状態を判定する、
　搬送状態検知方法。
　上記画像処理によって、上記ベルト上に存在する上記搬送物の領域に関する情報である搬送物領域情報を取得し、
　取得した上記搬送物領域情報に基づき、上記ベルト上に積載されている搬送物の状態である上記搬送状態を判定する、
　請求項７に記載した搬送状態検知方法。