JP7724042B2 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

Description

特許法第３０条第２項適用 提出日 ２０２１年１月２５日 提出場所 東京都文京区本郷７－３－１ 東京大学大学院 工学系研究科 マテリアル工学 星野・醍醐研究室に提出

特許法第３０条第２項適用 ウェブサイトの掲載日 ２０２１年２月１日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｚｏｏｍ．ｕｓ／ｊ／９５０８１２８４６３８にて発表

特許法第３０条第２項適用 開催日 ２０２１年３月１７日～２０２１年３月２１日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｏｎｌｉｎｅ．ｓｘｓｗ．ｃｏｍ／ｅｖｅｎｔ／ｓｘｓｗ－ｏｎｌｉｎｅ／ｅｘｈｉｂｉｔｏｒ／ＲＸｈｏａＷＪｐｄＧ９ｙＸｚＭｗＭＴＡ２Ｍｇ＝＝にて公開

特許法第３０条第２項適用 開催日 ２０２１年９月３日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ｓｏｕｂｕｎｐｒｉｎｔｉｎｇｃｏｌｔｄ．ｍｙ．ｗｅｂｅｘ．ｃｏｍ／ｓｏｕｂｕｎｐｒｉｎｔｉｎｇｃｏｌｔｄ．ｍｙ／ｊ．ｐｈｐ？ＭＴＩＤ＝ｍ７ｅｆｃ５３８ｆ０ｆｅａ３ｃ８ｅ２ｅａ５ｃ０ａｅ２１８ｆ２ｆ８５にて公開

特許法第３０条第２項適用 開催日 ２０２１年７月２８日～２０２１年９月１０日 ウェブサイトのアドレス ｈｔｔｐｓ：／／ａ００．ｈｍ－ｆ．ｊｐ／ｃｃ．ｐｈｐ？ｔ＝Ｍ１１９９２２８＆ｃ＝１３５＆ｄ＝ｃ３ｂ０にて公開

特許法第３０条第２項適用 開催日 ２０２２年７月１１日 集会名、開催場所 ２０２２年７月豊通会「講演（例会）」 豊通マテリアル株式会社主催のＺｏｏｍを用いたＷＥＢ開催にて公開

特許法第３０条第２項適用 開催日 ２０２２年９月１３日 集会名、開催場所 鉄スクラップオンラインセミナー「カーボンニュートラルで、鉄スクラップはこう変わる！」 株式会社鉄リサイクリング・リサーチ主催のＴｅａｍｓを用いたＷＥＢ開催にて公開

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

鉄鉱石から鉄を製造する場合、高炉で鉄鉱石と石炭を用いた製鉄の過程で膨大な二酸化炭素が排出される。二酸化炭素の低減が求められている現在、鉄スクラップのリサイクルがより重要となっている。

ここで、回収業者によって回収された鉄スクラップは、集積場に集積された後、電炉メーカなどに搬送され、測定された重量、鉄スクラップの等級などに基づいて価格が算出されている。

従来は、電炉メーカのスクラップ受入現場において、運び込まれた鉄スクラップの等級の割合を検収員による目視で査定していたために非常に非効率であったところ、スクラップ積載車両の荷台に積み重なった鉄スクラップから一部の鉄スクラップをリフティングマグネットにより持ち上げる毎に、当該荷台に残された鉄スクラップ及び当該リフティングマグネットに持ち上げられた鉄スクラップを撮影し、部分割合決定部が、当該リフティングマグネットが鉄スクラップを持ち上げる毎に、持ち上げ直前に車両撮影カメラにより生成された画像から推定された等級割合と、持ち上げ時にリフマグ撮影カメラにより生成された画像から推定された等級割合とを平均化して、持ち上げられた鉄スクラップの等級割合を決定し、全体割合決定部が、当該リフティングマグネットが鉄スクラップを持ち上げる毎に当該部分割合決定部により決定された鉄スクラップの等級割合を集計し、平均値を算出することで、スクラップ積載車両からスクラップヤードへ荷下ろしされた鉄スクラップ全体の等級割合を決定する等級判定システムが提案されている。部分割合決定部が、リフティングマグネットにより持ち上げられる鉄スクラップを異なる視点から表した画像ごとに等級割合を推定して、それらの平均として持ち上げられた鉄スクラップごとの等級割合を決定し、全体割合判定部が、これらの持ち上げられた鉄スクラップごとの等級割合をさらに平均化して、鉄スクラップ全体の等級割合を決定する（特許文献１参照）。

特開２０２０－９５７０９号公報

しかしながら、従来の技術には、鉄スクラップの判定精度に向上の余地がある。

本発明は、このような点に鑑みてなされたものであり、その課題は、１又は複数の等級の鉄スクラップを含む鉄スクラップ群をより正確に判定できる情報処理装置、情報処理方法又は情報処理プログラムを提供することにある。

このような課題を解決するために、本発明の第１の態様は、判定対象となる鉄スクラップ群に含まれる各等級の等級割合を判定するための方法であって、前記判定対象となる鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した、一組の鉄スクラップ群データを受信する工程と、１又は複数の等級の鉄スクラップを含む鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した一組の学習用画像データと、前記一組の学習用データの対象である鉄スクラップ群全体に関連付けられた１又は複数の等級の等級割合を含むラベルとを用いた学習により作成された学習モデルを用い、前記一組の鉄スクラップ群データを前記学習モデルに対する入力として、前記判定対象となる鉄スクラップ群全体に含まれる各等級の等級割合を判定する工程とを含む。

また、本発明の第２の態様は、第１の態様の方法であって、前記判定する工程は、入力された前記一組の鉄スクラップ群データに含まれる複数の画像データから抽出した特徴間の相関値を中間特徴として取得する工程を含む。

また、本発明の第３の態様は、第１の態様の方法であって、前記判定する工程は、前記判定対象となる鉄スクラップ群に所定の鋼材が含まれる場合に前記所定の鋼材に予め紐づけられた等級を判定する工程を含む。

また、本発明の第４の態様は、第１又は第２の態様の方法であって、前記一組の鉄スクラップ群データに基づいて、前記判定対象となる鉄スクラップ群に含まれる品種を判定する工程をさらに含む。

また、本発明の第５の態様は、第１又は第２の態様の方法であって、前記学習モデルは、各等級の鉄スクラップを落下させた際に生じる音を収音した学習用音データをさらに用いて作成されたものであり、前記判定は、前記判定対象となる鉄スクラップ群を落下させた際に生じる音を取得した音データをさらに前記学習モデルに対する入力とする。

また、本発明の第６の態様は、第１又は第２の態様の方法であって、前記判定対象となる鉄スクラップ群に含まれる異物を検出する工程をさらに含む。

また、本発明の第７の態様は、第６の態様の方法であって、前記学習モデルは、前記一組の学習用画像データのうちの少なくともいずれかによる画像に異物を撮像した画像を合成して得られた合成データを用いて作成されたものである。

また、本発明の第８の態様は、第１又は第２の態様の方法であって、前記判定対象となる鉄スクラップ群に含まれる各等級の割合に応じて、前記判定対象となる鉄スクラップ群の価値を算出する工程をさらに含む。

また、本発明の第９の態様は、コンピュータに、判定対象となる鉄スクラップ群に含まれる各等級の等級割合を判定するための方法を実行させるためのプログラムであって、前記方法は、前記判定対象となる鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した、一組の鉄スクラップ群データを受信する工程と、１又は複数の等級の鉄スクラップを含む鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した一組の学習用画像データと、前記一組の学習用データの対象である鉄スクラップ群全体に関連付けられた１又は複数の等級の等級割合を含むラベルとを用いた学習により作成された学習モデルを用い、前記一組の鉄スクラップ群データを前記学習モデルに対する入力として、前記判定対象となる鉄スクラップ群全体に含まれる各等級の等級割合を判定する工程とを含む。

また、本発明の第１０の態様は、判定対象となる鉄スクラップ群に含まれる各等級の等級割合を判定するための装置であって、前記判定対象となる鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した、一組の鉄スクラップ群データを受信し、１又は複数の等級の鉄スクラップを含む鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した一組の学習用画像データと、前記一組の学習用データの対象である鉄スクラップ群全体に関連付けられた１又は複数の等級の等級割合を含むラベルとを用いた学習により作成された学習モデルを用い、前記一組の鉄スクラップ群データを前記学習モデルに対する入力として、前記判定対象となる鉄スクラップ群全体に含まれる各等級の等級割合を判定する。

本発明の一態様によれば、鉄スクラップ群をより正確に判定できる情報処理装置、情報処理方法又は情報処理プログラムを提供することができる。

本発明の一実施形態に係る鉄スクラップヤードの概略構成図である。 本実施形態に係る情報処理システムの概略構成の一例を示す図である。 本実施形態に係るサーバのハード構成の一例を示す図である。 本実施形態に係るサーバの機能構成の一例を示す図である。 本実施形態に係るユーザ端末の表示装置に表示される表示画面の一例を示す図である。 本実施形態に係るユーザ端末の表示装置に表示される表示画面の一例を示す図である。 本実施形態に係るサーバで実行される処理の一例を示すフローチャートである。 本実施形態にかかる学習モデルによる判定結果を示すグラフである。 従来技術にかかる学習モデルによる判定結果を比較例として示すグラフである。

図１の概略構成図に示すように、本発明の一実施形態に係る鉄スクラップヤードは、所定の位置に停車したトラック４０の荷台に積載された、１又は複数の等級を含む鉄スクラップ群１０に対して、磁力を制御して吸着及びその解除を行うリフトマグネット３０と、リフトマグネット３０に吸着した鉄スクラップ群１０の一部を鉄スクラップ載置場２０へ移動させるクレーンレール５０とを有する。また、鉄スクラップヤードは、荷台に鉄スクラップ群１０を積載したトラック４０の重量を計測する計測機器（不図示）を有してもよい。この計測機器で計測された重量からトラック４０の重量を差し引いた値を鉄スクラップ群１０の重量として、図２に示すサーバ３に入力可能である。

本実施形態に係る情報処理システム１は、トラック４０の荷台に積載された鉄スクラップ群１０を撮影する１又は複数の撮像装置２を有し、図２に示すように、各撮像装置２は、ネットワーク５を介してサーバ又は情報処理装置３とデータ通信可能に接続されている。また、サーバ３は、ネットワーク５を介してユーザ端末４とデータ通信可能に接続されている。なお、サーバ３と、このサーバ３とネットワーク５を介して接続されたユーザ端末４及び撮像装置２の数はそれぞれ任意である。

（撮像装置２）
撮像装置２は、鉄スクラップ群１０を好ましくは真上から撮影できる位置に設置され、鉄スクラップ群１０を撮像し、撮像した鉄スクラップ群データ（画像データ）をサーバ３へ送信する。撮像装置２は、一例として、所定の位置に停車したトラック４０の荷台に積載された鉄スクラップ群１０から、リフトマグネット３０が一部の鉄スクラップを持ち上げる毎に、トラック４０の荷台に残された鉄スクラップ群１０の表面を撮影する。撮像装置２は、現れてくる新たな表面について、この撮影をトラック４０の荷台から鉄スクラップが無くなるまで繰り返す。このようにして、リフトマグネット３０による鉄スクラップ群１０の荷台からの荷下ろしの進行に沿って撮像された複数の鉄スクラップ群データが得られる。

また、撮像装置２は、所定の位置に停車したトラック４０の荷台に積載された鉄スクラップ群１０を真下に見下ろす位置に設置配置されることが好ましいが、撮像に際して、鉄スクラップヤードの所定物、例えばリフトマグネット３０やクレーンレール５０が撮像範囲に入る場合には、リフトマグネット３０やクレーンレール５０が撮像範囲又はその中心部分から外れる位置に設置してもよい。

（サーバ３）
図３は、サーバ３のハード構成及び機能構成の一例を示す図である。図３に示すように、サーバ３は、通信ＩＦ３００Ａ、記憶装置３００Ｂ、ＣＰＵ３００Ｃなどを備える。なお、サーバ３に入力装置（例えば、キーボード、タッチパネルなど）及び表示装置（例えば、液晶モニタや有機ＥＬモニタなど）を備えるようにしてもよい。

通信ＩＦ３００Ａは、外部端末（本実施形態では、ユーザ端末４など）と通信するためのインターフェースである。

記憶装置３００Ｂは、例えば、ＨＤＤや半導体記憶装置である。記憶装置３００Ｂには、サーバ３で利用する情報処理プログラム及び各種データベースなどが記憶されている。例えば、記憶装置３００Ｂには、鉄スクラップ群１０の価値算出用のテーブルデータが記憶されている。例えば、記憶装置３００Ｂには、鉄スクラップの等級に応じた単価（所定重量の値段）が品種ごとに記憶されている。なお、本実施形態では、情報処理プログラム及び各種データベースは、サーバ３の記憶装置３００Ｂに記憶されているが、ＵＳＢメモリなどの外部記憶装置やネットワークを介して接続された外部サーバに記憶し、必要に応じて参照したり、ダウンロード可能に構成されていてもよい。

ＣＰＵ３００Ｃは、サーバ３を制御し、例えば、図示しないＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備えている。

図４に示すように、サーバ３は、受信部３０１、送信部３０２、記憶装置制御部３０３、品種判定部３０４、等級判定部３０５、異物検出部３０６、価値算出部３０７などの機能を有する。なお、図４に示す各処理又は各動作は、サーバ３の記憶装置３００Ｂ等に記憶された情報処理プログラムに含まれる命令をＣＰＵ３００Ｃが実行することにより実現される。当該プログラムは、１又は複数のプログラムを含むことがあり、また、コンピュータ読み取り可能な記憶媒体に記録して非一過性のプログラムプロダクトとすることができる。

受信部３０１は、例えば、撮像装置２から送信される鉄スクラップ群１０を撮像した撮像データ（画像データ）を受信する。また、例えば、受信部３０１は、鉄スクラップ群１０を納入する納入業者などの検収情報（図５左側を参照）を受信する。また、受信部３０１は、例えば、鉄スクラップ群１０の重量の情報を受信する。

送信部３０２は、例えば、サーバ３での鉄スクラップ群１０の品種（例えば、ダライ、ヘビー、シュレッダ、新断、故銑など）及び等級の判定結果、鉄スクラップ群１０に含まれる異物の検出結果、算出した鉄スクラップ群１０の価値などの情報をユーザ端末４へ送信する。また、送信部３０２は、検出された異物を認識可能な態様で表示させる情報を送信することができる。

記憶装置制御部３０３は、記憶装置３００Ｂを制御する。例えば、記憶装置制御部３０３は、記憶装置３００Ｂへの情報の書き込みや読み出しを行う。

品種判定部３０４は、例えば、鉄スクラップ群を撮像した学習用画像データと、当該学習用画像データに関連付けられた品種を含むラベルとを用いた機械学習により作成された学習モデルを用い、受信部３０１が受信した鉄スクラップ群データを当該学習モデルに対する入力として、判定対象となる鉄スクラップ群１０に含まれる鉄スクラップの品種を判定することができる。「ラベル」は、鉄スクラップの品種、例えば、ダライ、ヘビー、シュレッダ、新断、故銑などである。「ラベル」には、例えば検収員によって判断された品種が付与されてもよい。なお、品種については、品種判定部３０４が判定するのではなく、ユーザ端末４から、例えば、作業員などのユーザが入力する構成としてもよい。

等級判定部３０５は、品種判定部３０４が判定した品種又は（例えば、ユーザが）ユーザ端末４から入力した品種に対応する学習モデルを用いてもよいし、品種ごとに学習モデルを用意せずに、一つの学習モデルとしてもよい。

等級判定部３０５は、例えば、１又は複数の等級の鉄スクラップを含む鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した一組の学習用画像データと、当該一組の学習用画像データに対応する、当該鉄スクラップ群全体に関連付けられた１又は複数の等級の等級割合を含むラベルとを用いた機械学習により作成された学習モデルを用いてもよい。受信部３０１が受信した、判定対象となる鉄スクラップ群１０を荷台からの荷下ろしの進行に沿って撮像した一組の鉄スクラップ群データを当該学習モデルに対する入力として、鉄スクラップ群１０全体に含まれる各等級の割合を判定することもできる。鉄スクラップ群を荷台からの荷下ろしの進行に沿って撮像した一組の学習用画像データに対して、当該一組の学習用画像データの対象である鉄スクラップ群全体に関連づけられた等級割合をラベルとして用いることで、学習用画像データごとのラベルのアノテーションが不要となる。この場合、品種判定、異物検出その他の処理又は動作のための学習に際して、一組の学習用画像データのすべてを必ずしも用いる必要はなく、また、品種判定、異物検出その他の処理又は動作に際して、一組の鉄スクラップ群データのすべてを必ずしも用いる必要はない。

従来技術のように、リフトマグネット３０がトラック４０の荷台から荷下ろしする過程で撮像した学習用画像データごとに、当該学習用画像データにより特定される鉄スクラップ１０の等級割合を判定し、その判定結果を各学習用画像データのアノテーションとして用いて鉄スクラップ１０全体の等級割合を判定することが、より多くのアノテーションを用いることになり、機械学習を用いる上で適切であると一見思われるものの、検収員が従来行ってきた１台ごとの目視による査定の業務にない作業となることから、機械学習に必要な一組の学習用画像データを多数組作成することの負担が大きく、データの蓄積を通じて実用的に精度を向上させていくことのできる方式ではない。さらに、発明者らは、鉄スクラップ群に含まれる各等級の割合の研修員による査定精度は、熟練工とそうでない者との間で開きがあり、学習用画像データごとの査定という新たな業務においては、熟練工を含めて高い精度を期待することができないこと、したがって、学習用画像データごとのアノテーションの信頼性は低く、よって、そのようなアノテーションを用いて得られた学習モデルの信頼性も低いことに着目し、学習用画像データごとのラベルのアノテーションを必ずしも必要としない本発明を見い出した。後述するように、本発明は、従来技術よりも高い判定精度を実現しており、そのさらなる向上が期待できるものであり、検収員による属人的な査定業務を客観的に検証又は代替し、今後さらに求められていく鉄スクラップのリサイクルに寄与するものである。

一組の学習用画像データの数は、例として、３以上１５以下であることが好ましい。３未満であると等級判定に必要な情報が不足し、学習モデルの推論精度が低下するおそれが高まる。１５を超えると解析時間が長くなり得るものの、解析自体は行うことができる。

「ラベル」は、例えば、等級割合として、鉄スクラップ群１０に含まれるヘビー屑の各等級の割合を含んでいる。等級は、例えば、ＨＳ、Ｈ１、Ｈ２、Ｈ３、及びＨ４などで示される。「ラベル」には、例えば検収員によって判断された値が付与されてもよいし、実際に測定された値が付与されてもよい。割合は、例えば重量割合であるが、これに限らず、面積割合であってもよいし、体積割合であってもよい。

なお、等級判定部３０５は、所定の鋼材について、この所定の鋼材と、所定の鋼材の等級とを対応付けたデータを教師データとした学習により作成された学習モデルを用い、撮像データに基づいて鉄スクラップ群１０に含まれる所定の鋼材の等級を判定するようにしてもよい。この場合、所定の鋼材を学習させた学習モデルにより、所定の鋼材を検出し、別途鋼材と等級が予め紐づいた情報を参照して等級を判定する。スクラップヤードでは、所定の鋼材には決まった等級が定められている場合があり、等級判定の重要な基準の一つとなっているため、単に等級を学習するのみではなく、特定の鋼材の情報も学習することでより精度の高い判定が可能となる。

異物検出部３０６は、例えば、異物（例えば、銅、錫、鉛、亜鉛などを多く含むワイヤーハーネスやモータなど）を含む鉄スクラップ群を撮像した学習用画像データと、当該学習用画像データに関連付けられた異物の種類（モータなど）をラベルとして用いた機械学習により作成された学習モデルを用い、受信部３０１が受信した鉄スクラップ群データを当該学習モデルに対する入力として、鉄スクラップ群１０に含まれる異物を検出することができる。ここで、学習用画像データは、異物を含む鉄スクラップ群を撮像した画像データのほかに、異物を撮像した画像と鉄スクラップ群の画像とを合成して得られた合成データが挙げられる。このように、通常、異物が含まれた種々のパターンの画像を入手することは困難であるが、異物が含まれた種々のパターンの画像を合成により生成して学習用の合成データとすることができ、学習モデルを効率化することができる。

価値算出部３０７は、例えば、鉄スクラップ群１０の価値を算出する。ここで、価値算出部３０７は、品種判定部３０４及び等級判定部３０５での判定結果に基づいて、鉄スクラップ群１０の価値を算出する。ここで、価値算出部３０７は、鉄スクラップ群１０に含まれる鉄スクラップ以外（例えば、異物、ダスト、水分など）の割合又は重量に応じて、鉄スクラップ群１０の価値を算出する。具体的には、鉄スクラップ群１０に含まれる鉄スクラップ以外（異物、ダスト、水分など）の重量を鉄スクラップ群１０の重量から減算（「重量引き」）した後、品種判定部３０４で判定された品種（品種はユーザが入力してもよい）及び等級判定部３０５で判定された各等級の重量に単価を乗算して鉄スクラップ群１０の価値を算出する。なお、価値算出部３０７は、鉄スクラップ群１０に含まれる鉄スクラップ以外の割合又は重量を受信部３０１で受信した撮像データから自動で判定してもよいし、ユーザがユーザ端末４から入力した鉄スクラップ以外の割合又は重量を利用してもよい。

（表示画面例）
図５及び図６は、本実施形態に係るユーザ端末４の表示装置に表示される画面の一例を示す図である。以下、図５及び図６を参照してユーザ端末４の表示装置に表示される画面について説明する。なお、以下の説明では同一の構成には同一の符号を付して重複する説明を省略する。

図５は、検収情報入力画面５１の一例を示す図である。図５に示すように、画面左側には、検収情報、例えば、納入業者の業者名、商社名、品種、荷下ろし場所などの情報を入力ボックス５２～５５にそれぞれ入力することができる。また、図５に示すように、画面右側には、撮像装置２が撮像した画像５６（トラック４０の荷台に積載された鉄スクラップ群１０を見下ろした画像）が表示される。また、ユーザがユーザ端末４の入力装置を操作して、検収開始ボタン５７を選択すると鉄スクラップ群の解析（例えば、等級の判定、価値の算出など）が開始される。

図６は、検収結果の表示画面の一例を示す図である。図６に示すように、検収結果の画面７１の左側には、検収開始時刻、検収終了時刻、検収時間、納品業者、担当商社、担当検収者、荷下ろし場所、（重量引き前の）鉄スクラップ群１０の重量、（重量引き後の）鉄スクラップ群１０の重量などの情報が表示される。図６に示すように、検収結果の画面の右側には、検収を行った鉄スクラップ群１０の品種、等級、各等級の割合、単価、価格、割引き事由、購入価格（価値）などの情報が表示される。

（価値算出処理）
図７は、サーバ３で実行される価値算出処理の一例を示すフローチャートである。以下、図７を参照して、サーバ３で実行される価値算出処理について説明する。

（ステップＳ７０１）
サーバ３の受信部３０１は、鉄スクラップ群１０に含まれる鉄スクラップ以外（例えば、ダスト、水分など）の割合又は重量を受信する。なお、鉄スクラップ群１０に含まれるダスト、水分などの割合又は重量を、受信部３０１で受信した撮像データから自動で判定してもよい。

（ステップＳ７０２）
価値算出部３０７は、鉄スクラップ群１０の価値を算出する。具体的には、価値算出部３０７は、鉄スクラップ群１０に含まれる鉄スクラップ以外（異物、ダスト、水分など）の重量を鉄スクラップ群１０の重量から減算（「重量引き」）する。次いで、価値算出部３０７は、記憶装置３００Ｂに記憶された価値算出用のテーブルデータの対応する品種の価格データを参照する。次いで、価値算出部３０７は、重量引き後の鉄スクラップ群１０の重量と、等級判定部３０５が判定した鉄スクラップ群１０に含まれる各等級の割合に基づいて、鉄スクラップ群１０に含まれる各等級の重量を算出する。次いで、価値算出部３０７は、価格データを参照して、等級ごとに、重量に単価を乗算した値を加算した値（合計値）を算出する。

（ステップＳ７０３）
送信部３０２は、算出した鉄スクラップ群１０の価値をユーザ端末４へ送信する。これにより、図６で例示したように、ユーザ端末４の表示装置には、鉄スクラップ群の価値が表示される。

比較実験
検収員がトラック１台ごとに当該トラックの荷台に積まれた鉄スクラップ全体に含まれる各等級の割合を査定した結果を５３０台分用意し、検収員が各トラックについて、鉄スクラップ群の表面を荷台からの荷下ろしの進行に沿って撮像した５枚の画像データに対して行った査定の結果を１００台分用意した。また、ＨＳ、Ｈ１、Ｈ２、Ｈ３、Ｌ１及びＬ２の６つの等級を判定候補とした。前者のデータを用いて、本実施形態にかかる学習モデル（以下「複数入力モデル」ともいう）。を生成し、後者のデータを用いて、従来技術にかかる学習モデル（以下「単一入力モデル」ともいう。）を生成した。より具体的には、本実施形態については、畳み込みニューラルネットワークであるＲｅｓＮｅｔ５０をバックボーンとし、複数の画像データから抽出した特徴間の相関値を中間特徴として用いて学習することでトラック１台の等級を予測するモデルを構築し、従来技術については、同様にＲｅｓＮｅｔ５０をバックボーンとし、単一の画像データから等級を予測するモデルを構築し、トラック１台の等級の予測については複数の画像データに対する予測を平均して算出した。いずれの方式についても、ｋ－分割交差検証（ｋ＝５）によってデータ分割を行った。

評価方法としては、検収員によるトラックごとの査定結果を答え（ｇｒａｎｄ ｔｒｕｅｔｈ（ＧＴ））として、等級ごとの誤差の最大値が１０ｐｔ以内であれば正解（ｔｒｕｅ）であると評価した。表１に評価例を挙げる。

図８に複数入力モデルの結果を示し、図９に単一入力モデルの結果を示す。前者では５７．７％、後者では４５．０％の正答率（ａｃｃｕｒａｃｙ）となり、前者の方が約１２．７％精度が高い結果となった。

上記実施形態に加えて、各品種又は各等級の鉄スクラップを落下させた際に生じる音データをさらに用いた学習により作成された学習モデルにより鉄スクラップ群１０の品種又は等級を判定するようにしてもよい。なお、鉄スクラップを落下させた際に生じる音データを用いる場合、鉄スクラップヤードごとに学習用音データを作成することが好ましい。

鉄スクラップを落下させた際に生じる音データをさらに用いた学習により作成された学習モデルとする場合、鉄スクラップヤードに鉄スクラップ群１０を落下させた際に生じる音を収音するマイクを備え、サーバ３は、撮像装置２で撮像された撮像データに加え、鉄スクラップ群１０を落下させた際に生じる音を取得した音データを受信する。

また、上記実施形態において、「××のみに基づいて」、「××のみに応じて」、「××のみの場合」というように「のみ」との記載がなければ、本明細書においては、付加的な情報も考慮し得ることが想定されていることに留意されたい。また、一例として、「ａの場合にｂする」という記載は、明示した場合を除き、「ａの場合に常にｂする」こと、「ａの直後にｂする」ことを必ずしも意味しないことに留意されたい。また、「Ａを構成する各ａ」という記載は、必ずしもＡが複数の構成要素によって構成されることを意味するものではなく、構成要素が単数であることを含む。

また、念のため、なんらかの方法、プログラム、端末、装置、サーバ又はシステム（以下「方法等」）において、本明細書で記述された動作と異なる動作を行う側面があるとしても、本発明の各態様は、本明細書で記述された動作のいずれかと同一の動作を対象とするものであり、本明細書で記述された動作と異なる動作が存在することは、当該方法等を本発明の各態様の範囲外とするものではないことを付言する。

図７において示されるフローチャートは、一例を示すものに過ぎず、図示された手順で必ず開始され、図示された手順で必ず終了することを意味するものではない。

その他、上記実施形態及び変形例は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 情報処理システム
２ 撮像装置
３ サーバ
４ ユーザ端末
５ ネットワーク
１０ 鉄スクラップ群
２０ 鉄スクラップ載置場
３０ リフトマグネット
４０ トラック
５０ クレーンレール
５１ 情報入力画面
５２、５３、５４、５５ 入力ボックス
５６ 撮像された画像
５７ 開始ボタン
７１ 解析結果画面
３００Ａ 通信ＩＦ
３００Ｂ 記憶装置
３００Ｃ ＣＰＵ
３０１ 受信部
３０２ 送信部
３０３ 記憶装置制御部
３０４ 品種判定部
３０５ 等級判定部
３０６ 異物検出部
３０７ 価値算出部

Claims (9)

1. 判定対象となる鉄スクラップ群に含まれる各等級の等級割合を判定するための方法であって、
   前記判定対象となる鉄スクラップ群を荷台からの荷下ろしの進行に沿って複数枚撮像した、一組の鉄スクラップ群データを受信する工程と、
   １又は複数の等級の鉄スクラップを含む鉄スクラップ群を荷台からの荷下ろしの進行に沿って複数枚撮像した一組の学習用画像データと、前記一組の学習用データの対象である鉄スクラップ群全体に関連付けられた１又は複数の等級の等級割合を含むラベルとを用いた学習により作成された学習モデルを用い、前記一組の鉄スクラップ群データを前記学習モデルに対する入力として、前記判定対象となる鉄スクラップ群全体に含まれる各等級の等級割合を判定する工程と
   を含む。
2. 請求項１に記載の方法であって、前記判定する工程は、入力された前記一組の鉄スクラップ群データに含まれる複数の画像データから抽出した特徴間の相関値を中間特徴として取得する工程を含む。
3. 請求項１に記載の方法であって、
   前記一組の鉄スクラップ群データに基づいて、前記判定対象となる鉄スクラップ群に含まれる品種を判定する工程をさらに含み、
   前記学習モデルは、判定された品種に対応するモデルである。
4. 請求項１に記載の方法であって、
   前記判定対象となる鉄スクラップ群に含まれる異物を検出する工程をさらに含む。
5. 請求項４に記載の方法であって、
   前記学習モデルは、前記一組の学習用画像データのうちの少なくともいずれかによる画像に異物を撮像した画像を合成して得られた合成データを用いて作成されたものである。
6. 請求項１から４のいずれかに記載の方法であって、
   前記判定対象となる鉄スクラップ群に含まれる鉄スクラップの各等級の割合又は重量及び前記判定対象となる鉄スクラップ群に含まれる前記鉄スクラップ以外の割合又は重量に応じて、前記判定対象となる鉄スクラップ群の価値を算出する工程をさらに含む。
7. 請求項１から４のいずれかに記載の方法であって、
   前記一組の学習用画像データの数は、３組以上である。
8. コンピュータに、判定対象となる鉄スクラップ群に含まれる各等級の等級割合を判定するための方法を実行させるためのプログラムであって、前記方法は、
   前記判定対象となる鉄スクラップ群を荷台からの荷下ろしの進行に沿って複数枚撮像した、一組の鉄スクラップ群データを受信する工程と、
   １又は複数の等級の鉄スクラップを含む鉄スクラップ群を荷台からの荷下ろしの進行に沿って複数枚撮像した一組の学習用画像データと、前記一組の学習用データの対象である鉄スクラップ群全体に関連付けられた１又は複数の等級の等級割合を含むラベルとを用いた学習により作成された学習モデルを用い、前記一組の鉄スクラップ群データを前記学習モデルに対する入力として、前記判定対象となる鉄スクラップ群全体に含まれる各等級の等級割合を判定する工程と
   を含む。
9. 判定対象となる鉄スクラップ群に含まれる各等級の等級割合を判定するための装置であって、
   前記判定対象となる鉄スクラップ群を荷台からの荷下ろしの進行に沿って複数枚撮像した、一 組の鉄スクラップ群データを受信する受信部と、
   １又は複数の等級の鉄スクラップを含む鉄スクラップ群を荷台からの荷下ろしの進行に沿って複数枚撮像した一組の学習用画像データと、前記一組の学習用データの対象である鉄スクラップ群全体に関連付けられた１又は複数の等級の等級割合を含むラベルとを用いた学習により作成された学習モデルを用い、前記一組の鉄スクラップ群データを前記学習モデルに対する入力として、前記判定対象となる鉄スクラップ群全体に含まれる各等級の等級割合を判定する判定部と
   を備える。