WO2024142701A1 - 情報処理プログラム、情報処理装置及び情報処理方法 - Google Patents

情報処理プログラム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2024142701A1
WO2024142701A1 PCT/JP2023/042251 JP2023042251W WO2024142701A1 WO 2024142701 A1 WO2024142701 A1 WO 2024142701A1 JP 2023042251 W JP2023042251 W JP 2023042251W WO 2024142701 A1 WO2024142701 A1 WO 2024142701A1
Authority
WO
WIPO (PCT)
Prior art keywords
fish
school
information
blurred
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/042251
Other languages
English (en)
French (fr)
Inventor
裕子 石若
駿 小川
忠幸 利根
智博 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to EP23911483.8A priority Critical patent/EP4614442A4/en
Publication of WO2024142701A1 publication Critical patent/WO2024142701A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • the present invention relates to an information processing program, an information processing device, and an information processing method.
  • the above conventional technology only estimates the number of fish tails contained in areas of the image where individual fish are visually identifiable using a learning model trained by machine learning, and therefore does not necessarily make it possible to estimate the number of fish tails contained in a school of fish corresponding to an area of the image where individual fish are not visually identifiable.
  • the information processing program causes a computer to execute an acquisition step of acquiring an image including a school of fish, the image including blurred regions, which are regions in which individual fish included in the school of fish cannot be visually identified, and shadow regions corresponding to the shadows of the school of fish corresponding to the blurred regions, and an estimation step of estimating information regarding the volume of the space between fish included in the school of fish corresponding to the blurred regions, and estimating the number of fish tails included in the school of fish corresponding to the blurred regions based on the information regarding the volume of the space between the fish.
  • FIG. 1 is a diagram showing an example of a school of fish in a fish pen.
  • FIG. 2 is a diagram illustrating an example of the configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a diagram for explaining a mass of a school of fish corresponding to a blurred region and a shadow of the school of fish corresponding to a blurred region.
  • FIG. 4 is a diagram illustrating an example of a CG image according to the embodiment.
  • FIG. 5 is a diagram for explaining the relationship between a mass of fish corresponding to a blurred region and the personal space of the fish.
  • FIG. 6 is a diagram for explaining an example of a personal space of a fish.
  • FIG. 7 is a diagram for explaining an example of a personal space of a fish.
  • FIG. 1 is a diagram showing an example of a school of fish in a fish pen.
  • FIG. 2 is a diagram illustrating an example of the configuration of the information processing apparatus according to the embodiment.
  • FIG. 3
  • FIG. 8 is a diagram for explaining a process of estimating a personal space of a fish based on a red image including a school of fish illuminated with red light.
  • FIG. 9 is a flowchart showing an information processing procedure by the information processing device according to the embodiment.
  • FIG. 10 is a hardware configuration diagram illustrating an example of a computer that realizes the functions of the information processing device.
  • this method trains a machine learning model for image recognition to estimate the number of fish tails in a school of fish from a photographed image. More specifically, a trained machine learning model is used to detect individual fish in the photographed image, and the number of individual fish detected is added up to calculate the number of tails. In other words, in conventional methods, a trained machine learning model is used to estimate the number of fish tails included in areas of the photographed image where individual fish are visually identifiable, within the photographed image where individual fish are visually identifiable.
  • the image is a moving image.
  • the image may also be a still image.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a random access memory (RAM) or a flash memory, or a storage device such as a hard disk or an optical disk. Specifically, the storage unit 120 stores various programs (examples of information processing programs).
  • the output unit 140 is a display screen realized by, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display, and is a display device for displaying various information.
  • the output unit 140 displays various information according to the control of the control unit 150. Note that, when a touch panel is adopted in the information processing device 100, the input unit 130 and the output unit 140 are integrated. In the following description, the output unit 140 may be referred to as a screen.
  • the control unit 150 is a controller, and is realized, for example, by a CPU (Central Processing Unit) or an MPU (Micro Processing Unit) executing various programs (corresponding to an example of an information processing program) stored in a storage device inside the information processing device 100 using a RAM as a working area.
  • the control unit 150 is also a controller, and is realized, for example, by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 150 has an acquisition unit 151, a generation unit 152, an estimation unit 153, and an output control unit 154 as functional units, and may realize or execute the information processing functions described below. Note that the internal configuration of the control unit 150 is not limited to the configuration shown in FIG. 2, and may be other configurations that perform the information processing described below. Also, each functional unit indicates a function of the control unit 150, and does not necessarily have to be physically distinct.
  • Figure 3 is a diagram explaining clumps of fish that correspond to blurred regions and the shadows of the schools of fish that correspond to blurred regions.
  • a “blurred region” refers to a region in an image that includes a school of fish where the individual fish in the school cannot be visually identified.
  • a “blurred region” refers to a region in an image that includes a school of fish where the boundaries between the individual fish are visually unclear.
  • a region in an image that corresponds to the shadows of the school of fish that correspond to a blurred region may be referred to as a "shadow region.”
  • the generation unit 152 also generates a second machine learning model trained to output, when the CG image, information on the blurred region of the learning target, and information on the shadow region of the learning target are input as input information as information on the CG image, the number of fish tails included in the school of fish corresponding to the blurred region of the learning target is output as output information.
  • the estimation unit 153 estimates the number of fish tails included in the school of fish corresponding to the blurred region from the image, information on the blurred region, and information on the shadow region as information on the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Farming Of Fish And Shellfish (AREA)

Abstract

情報処理プログラムは、魚群を含む画像であって、魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、不鮮明領域に対応する魚群の影に対応する影領域を含む画像を取得する取得手順と、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、魚同士の間の空間の体積に関する情報に基づいて、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する推定手順と、をコンピュータに実行させる。

Description

情報処理プログラム、情報処理装置及び情報処理方法
　本発明は、情報処理プログラム、情報処理装置及び情報処理方法に関する。
　従来、魚の養殖技術を向上させるための様々な技術が知られている。例えば、生簀内の魚が撮影された撮影画像から、魚の数（尾数ともいう）に応じて変化する予め定められた特徴量を抽出する。そして、機械学習による特徴量と尾数との関係データである学習モデルに、抽出された特徴量を照合することにより、学習モデルから尾数を検知する技術が知られている。
国際公開第２０１９／０４５０９１号
　しかしながら、上記の従来技術では、機械学習により学習された学習モデルを用いて、画像のうち個々の魚を視覚的に識別可能な領域に含まれる魚の尾数を推定するにすぎないため、画像のうち個々の魚を視覚的に識別不可能な領域に対応する魚群に含まれる魚の尾数を推定することができるとは限らない。
　実施形態に係る情報処理プログラムは、魚群を含む画像であって、前記魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、前記不鮮明領域に対応する魚群の影に対応する影領域を含む前記画像を取得する取得手順と、前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、前記魚同士の間の空間の体積に関する情報に基づいて、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する推定手順と、をコンピュータに実行させる。
　実施形態の一態様によれば、画像のうち、個々の魚を視覚的に識別不可能な領域に対応する魚群に含まれる魚の尾数を推定することができるといった効果を奏する。
図１は、生け簀における魚群の一例を示す図である。 図２は、実施形態に係る情報処理装置の構成例を示す図である。 図３は、不鮮明領域に対応する魚群の塊および不鮮明領域に対応する魚群の影について説明するための図である。 図４は、実施形態に係るＣＧ画像の一例を示す図である。 図５は、不鮮明領域に対応する魚群の塊と魚のパーソナルスペースとの関係について説明するための図である。 図６は、魚のパーソナルスペースの一例について説明するための図である。 図７は、魚のパーソナルスペースの一例について説明するための図である。 図８は、赤色の光を照射された魚群を含む赤色画像に基づいて、魚のパーソナルスペースを推定する処理について説明するための図である。 図９は、実施形態に係る情報処理装置による情報処理手順を示すフローチャートである。 図１０は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本願に係る情報処理プログラム、情報処理装置及び情報処理方法を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理プログラム、情報処理装置及び情報処理方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
（実施形態）
〔１．はじめに〕
　近年、魚の養殖は、地球の食糧問題を解決する手段として注目されている。魚の養殖によって高品質な魚を供給するには、給餌（魚に対する餌やり）と関わりが深い魚の尾数を正確に知ることが重要である。
　しかしながら、養殖場の水中という特殊な環境下では、地上のＩＴ技術を活用することが難しい場合がある。そのため、従来は、人が網で一部の魚をすくい上げて計量した後に、目視で尾数を数えていた。この方法は、魚への負担が大きいうえ、正確さに欠けるといった問題がある。
　そこで近年、コンピュータビジョンを用いて生け簀における魚群（魚の群れともいう）を撮影した撮影画像から魚群の尾数を自動でカウントする方法が注目を浴びている。具体的には、撮影画像から魚群の尾数を推定するよう画像認識用の機械学習モデルを学習する方法である。より具体的には、学習済みの機械学習モデルを用いて、撮影画像中の個々の魚を検出し、検出された個々の魚の数を合計して尾数を算出する。すなわち、従来の方法では、学習済みの機械学習モデルを用いて、撮影画像中の個々の魚を視覚的に識別可能な撮影画像のうち、個々の魚を視覚的に識別可能な領域に含まれる魚の尾数を推定する。
　しかしながら、実際には、撮影画像中の個々の魚を視覚的に識別することができない撮影画像が存在する。この点について図１を用いて説明する。図１は、生け簀における魚群の一例を示す図である。例えば、マダイのように、野生で群れない魚種の魚群については、図１に示すように、魚が密集しており、魚の密度が非常に高い領域（過密な領域）と、魚がまばらに存在し、魚の密度が非常に低い領域（疎な領域）とが混在することが知られている。図１に示す生け簀における魚群を撮像した撮像画像のうち、疎な領域に対応する部分は、撮影画像中の個々の魚を視覚的に識別することができる。そのため、疎な領域に対応する部分は、従来の学習済みの機械学習モデルを用いて、撮影画像中の個々の魚を検出し、検出された個々の魚の数を合計して尾数を算出することができる。これに対し、図１に示す生け簀における魚群を撮像した撮像画像のうち、過密な領域に対応する部分は、魚同士の境界が視覚的に不鮮明で、撮影画像を確認してもただの黒い塊にしか見えず、撮影画像中の個々の魚を視覚的に識別することができないため、一尾ずつ数えて検出することができない。すなわち、過密な領域に対応する部分は、従来の学習済みの機械学習モデルを用いて、撮影画像中の個々の魚を検出し、検出された個々の魚の数を合計して尾数を算出することが非常に困難である。
　これに対し、実施形態に係る情報処理装置１００は、魚群を含む画像であって、魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、不鮮明領域に対応する魚群の影に対応する影領域を含む画像を取得する。また、情報処理装置１００は、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、魚同士の間の空間の体積に関する情報に基づいて、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。これにより、情報処理装置１００は、例えば、不鮮明領域に対応する魚群の塊の体積を、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積と魚の体積とを加算した体積で除することにより、不鮮明領域に対応する魚群に含まれる魚の尾数を推定することができる。したがって、情報処理装置１００は、画像のうち、個々の魚を視覚的に識別不可能な領域に対応する魚群に含まれる魚の尾数を推定することができる。
　なお、魚の大きさを表す寸法には、魚の全長、標準体長（体長）、尾叉長、体高、体幅などの種類が存在する。本願明細書において「魚の大きさ」と記載する場合には、魚の全長、標準体長（体長）、尾叉長、体高、体幅などいずれの寸法によって測定される魚の大きさをも含む概念とする。
　また、以下では、画像が動画像である場合について説明する。なお、画像は静止画像であってもよい。
〔２．情報処理装置の構成〕
　図２は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、制御部１５０とを有する。
（通信部１１０）
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、魚を管理する管理者によって利用される端末装置や撮像装置との間で情報の送受信を行う。
（記憶部１２０）
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、各種プログラム（情報処理プログラムの一例）を記憶する。
（入力部１３０）
　入力部１３０は、利用者から各種操作が入力される。例えば、入力部１３０は、タッチパネル機能により表示面（例えば出力部１４０）を介して利用者からの各種操作を受け付けてもよい。また、入力部１３０は、情報処理装置１００に設けられたボタンや、情報処理装置１００に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
（出力部１４０）
　出力部１４０は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部１４０は、制御部１５０の制御に従って、各種情報を表示する。なお、情報処理装置１００にタッチパネルが採用される場合には、入力部１３０と出力部１４０とは一体化される。また、以下の説明では、出力部１４０を画面と記載する場合がある。
（制御部１５０）
　制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　制御部１５０は、取得部１５１と、生成部１５２と、推定部１５３と、出力制御部１５４を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部１５０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１５０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
　図３は、不鮮明領域に対応する魚群の塊および不鮮明領域に対応する魚群の影について説明するための図である。ここで、「不鮮明領域」とは、魚群を含む画像のうち、魚群に含まれる個々の魚を視覚的に識別不可能な領域のことを指す。言い換えると、「不鮮明領域」とは、魚群を含む画像のうち、個々の魚の境界が視覚的に不鮮明な領域のことを指す。また、以下では、画像のうち、不鮮明領域に対応する魚群の影に対応する領域のことを「影領域」と記載する場合がある。
　図３は、生け簀１における魚群を示す。生け簀１には、図１で説明したような過密な領域と疎な領域が混在している。以下では、過密な領域のことを、「不鮮明領域に対応する魚群の塊」と記載する場合がある。例えば、情報処理装置１００は、ＲＧＢカメラまたはソナーを用いて、不鮮明領域に対応する魚群の塊を検出してよい。図３では、不鮮明領域に対応する魚群の塊２と、不鮮明領域に対応する魚群の塊２の影３を示す。また、図３では、疎な領域に所在する魚２２の影３１を示す。上述したように、過密な領域に対応する部分は、魚同士の境界が視覚的に不鮮明で、撮影画像を確認してもただの黒い塊にしか見えず、撮影画像中の個々の魚を視覚的に識別することができないため、一尾ずつ数えて検出することができない。そこで、情報処理装置１００は、不鮮明領域に対応する魚群の塊は塊ごとに何尾であると推定する。また、情報処理装置１００は、不鮮明領域に対応する魚群の塊の尾数と疎な領域に所在する魚の尾数を合計して、生け簀全体における魚の尾数を推定する。
　ここで、不鮮明領域に対応する魚群の塊２の影３の色が濃いことは、不鮮明領域に対応する魚群に含まれる魚同士の距離が近い（密である）ことと相関があると考えられる。また、不鮮明領域に対応する魚群の塊２の影３の色が薄いことは、不鮮明領域に対応する魚群に含まれる魚同士の距離がやや離れている（やや疎である）ことと相関があると考えられる。すなわち、不鮮明領域に対応する魚群の影に対応する影領域と、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積（以下、「魚のパーソナルスペース」と記載する場合がある）との間には、相関関係があると考えられる。つまり、不鮮明領域に対応する魚群の塊２の影３を示す影領域の濃さを示す情報は、後述する機械学習モデルＭ１およびＭ２により不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積を推定する際の手がかりとなると考えられる。そこで、情報処理装置１００は、画像のうち、不鮮明領域に対応する魚群の塊２の影３を示す影領域の濃さを示す情報（例えば、ＲＧＢ値の値など）を後述する機械学習モデルＭ１およびＭ２の入力情報として入力する。
（取得部１５１）
　取得部１５１は、魚群を含む画像であって、魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、不鮮明領域に対応する魚群の影に対応する影領域を含む画像を取得する。例えば、取得部１５１は、通信部１１０を介して、撮像装置から画像を取得してよい。
（生成部１５２）
　生成部１５２は、コンピュータグラフィックスにより生成された学習対象の魚群を含むＣＧ画像であって、学習対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である学習対象の不鮮明領域、および、学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含むＣＧ画像に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を推定するよう学習された第１機械学習モデルＭ１を生成する。具体的には、生成部１５２は、ＣＧ画像に関する情報として、ＣＧ画像、学習対象の不鮮明領域に関する情報、および、学習対象の影領域に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された第１機械学習モデルＭ１を生成する。
　より具体的には、生成部１５２は、学習対象の不鮮明領域に関する情報として、学習対象の不鮮明領域に対応する魚群の塊の体積に関する情報、学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報、および、学習対象の不鮮明領域に対応する魚群に含まれる魚の体積に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された第１機械学習モデルＭ１を生成する。
　例えば、生成部１５２は、コンピュータグラフィックスにより生成された学習対象の魚群を含むＣＧ画像であって、学習対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である学習対象の不鮮明領域、および、学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含むＣＧ画像に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群の塊の体積を出力情報として出力する機械学習モデルＭ１１を生成する。続いて、生成部１５２は、機械学習モデルＭ１１を用いて、ＣＧ画像から、学習対象の不鮮明領域に対応する魚群の塊の体積に関する情報を推定する。例えば、生成部１５２は、機械学習モデルＭ１１を用いて、学習対象の不鮮明領域に対応する魚群の塊の体積に関する情報の一例として、コンピュータグラフィックスにより生成された３次元ＣＧの生け簀における魚群の塊のＸＹＺ軸の各方向における長さを推定してよい。続いて、生成部１５２は、機械学習モデルＭ１１を用いて推定した学習対象の不鮮明領域に対応する魚群の塊の体積に関する情報を入力情報として第１機械学習モデルＭ１に入力してよい。
　また、生成部１５２は、コンピュータグラフィックスにより生成された学習対象の魚群を含むＣＧ画像であって、学習対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である学習対象の不鮮明領域、および、学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含むＣＧ画像に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を出力情報として出力するよう学習された第２機械学習モデルＭ２を生成する。生成部１５２は、第２機械学習モデルＭ２を用いて、学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。例えば、生成部１５２は、第２機械学習モデルＭ２を用いて、学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報の一例として、後述する図６および図７に示す距離Ａ、ＢおよびＣの長さを推定してよい。続いて、生成部１５２は、第２機械学習モデルＭ２を用いて推定した学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を入力情報として第１機械学習モデルＭ１に入力してよい。
　生成部１５２は、疎な領域における魚の大きさ（つまり、魚の体積）を推定する公知の機械学習モデルを用いて、ＣＧ画像から、学習対象の不鮮明領域に対応する魚群に含まれる魚の体積に関する情報を推定する。例えば、生成部１５２は、公知の機械学習モデルを用いて、学習対象の不鮮明領域に対応する魚群に含まれる魚の体積に関する情報の一例として、後述する図６および図７に示す魚の尾叉長４１、体幅４２および体高４３を推定してよい。続いて、生成部１５２は、公知の機械学習モデルを用いて推定した学習対象の不鮮明領域に対応する魚群に含まれる魚の体積に関する情報を入力情報として第１機械学習モデルＭ１に入力してよい。なお、不鮮明領域に対応する魚群の塊は、塊が一定の速度で水中を移動することから、不鮮明領域に対応する魚群の塊の中にいる魚が泳ぐ速度がほぼ同じであると考えられる。また、魚が泳ぐ速度は、魚の大きさに比例するため、不鮮明領域に対応する魚群の塊の中にいる魚の大きさ（つまり、魚の体積）は、ほぼ同一であると考えらえる。また、生け簀における魚の大きさ（つまり、魚の体積）は、おおよそわかっている。そこで、ＣＧ画像に用いられる魚の大きさ（つまり、魚の体積）が既知である場合は、学習対象の不鮮明領域に対応する魚群に含まれる魚の体積に関する情報として、既知の魚の大きさ（つまり、魚の体積）を入力情報として第１機械学習モデルＭ１に入力してもよい。
　また、生成部１５２は、学習対象の影領域に関する情報として、学習対象の影領域の色の濃さを示す情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された第１機械学習モデルＭ１を生成する。例えば、生成部１５２は、学習対象の影領域の色の濃さを示す情報の一例として、学習対象の影領域のＲＧＢ値の値を入力情報として第１機械学習モデルＭ１に入力してよい。
　図４は、実施形態に係るＣＧ画像の一例を示す図である。図４は、生け簀の水中から水面を見た際の魚群を含むＣＧ画像である。生成部１５２は、コンピュータグラフィックスにより、魚群における魚が過密な状態を作って、引いた状態で仮想カメラにより撮影することにより、学習対象の不鮮明領域、および、学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含むＣＧ画像を生成する。また、生成部１５２は、生け簀の水上に位置する太陽の位置や天気による水中照度を変化させたＣＧ画像を生成する。続いて、生成部１５２は、生成したＣＧ画像を第１機械学習モデルＭ１の入力情報とする。
　図５は、不鮮明領域に対応する魚群の塊と魚のパーソナルスペースとの関係について説明するための図である。ここで、魚のパーソナルスペースとは、魚にとって快適な距離を保つ空間のことを指す。図５に示すように、不鮮明領域に対応する魚群の塊２の中には、多数の魚４が、相互に魚のパーソナルスペース２０だけ間隔を空けた状態で密集している。言い換えると、不鮮明領域に対応する魚群の塊の中には、不鮮明領域に対応する魚群に含まれる魚４の体積と、不鮮明領域に対応する魚群に含まれる魚同士の間の空間２０の体積とを加算した多数のラグビーボール状の体積が詰まっている状態である。したがって、不鮮明領域に対応する魚群の塊２の体積を、不鮮明領域に対応する魚群に含まれる魚４の体積と不鮮明領域に対応する魚群に含まれる魚同士の間の空間２０の体積とを加算した体積で除することにより、不鮮明領域に対応する魚群に含まれる魚の尾数を推定することができる。
　図６および図７は、魚のパーソナルスペースの一例について説明するための図である。図６および図７では、魚にとって快適な距離が３魚身である場合について説明するが、過密な状態における魚にとっての快適な距離は、０．５魚身、１魚身、１．５魚身、または２魚身であってもよい。
　図６では、中央の魚４と、中央の魚４の両隣に並んで泳ぐ魚それぞれとの間の距離Ｂは、中央の魚４の体幅４２の３倍の距離であることを示す。また、図６に示す例では、中央の魚４の体積は、中央の魚４の尾叉長４１、中央の魚４の体幅４２、および、中央の魚４の体高４３によって近似的に算出することができる。
　図７では、中央の魚４と、中央の魚４の前後を泳ぐ魚それぞれとの間の距離Ａは、図６に示す中央の魚４の尾叉長４１の３倍の距離であることを示す。また、中央の魚４と、中央の魚４の上下を泳ぐ魚それぞれとの間の距離Ｃは、図６に示す中央の魚４の体高４３の３倍の距離であることを示す。魚群に含まれる各魚は、図７に示すラグビーボールのような魚のパーソナルスペース２０を保って泳ぐ。また、図７に示す例では、魚のパーソナルスペース２０の体積は、距離Ａ、ＢおよびＣによって近似的に算出することができる。
（推定部１５３）
　推定部１５３は、生成部１５２によって生成された第１機械学習モデルＭ１を用いて、画像に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。具体的には、推定部１５３は、画像に関する情報として、画像、不鮮明領域に関する情報、および、影領域に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。より具体的には、推定部１５３は、不鮮明領域に関する情報として、不鮮明領域に対応する魚群の塊の体積に関する情報、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報、および、不鮮明領域に対応する魚群に含まれる魚の体積に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。また、推定部１５３は、影領域に関する情報として、影領域の色の濃さを示す情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。
　推定部１５３は、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、魚同士の間の空間の体積に関する情報に基づいて、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。
　図８は、赤色の光を照射された魚群を含む赤色画像に基づいて、魚のパーソナルスペースを推定する処理について説明するための図である。推定部１５３は、不鮮明領域に対応する魚群のうち、赤色の光を照射された魚群である赤色魚群を含む赤色画像に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　具体的には、推定部１５３は、赤色の光を照射された水中の参照物体を含む参照画像であって、水中の撮像装置により撮像された参照画像のうち、参照物体が占める物体領域における輝度値である参照輝度値と、撮像装置から参照物体までの距離である参照距離との関係性を示す参照情報を取得する。続いて、推定部１５３は、参照情報と、赤色画像のうち、赤色魚群に含まれる個々の魚が占める魚領域における輝度値である魚輝度値との比較に基づいて、撮像装置から赤色魚群に含まれる個々の魚までの距離である魚距離を推定する。続いて、推定部１５３は、魚距離に基づいて、赤色魚群に含まれる魚同士の相対距離を推定する。続いて、推定部１５３は、魚同士の相対距離に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　また、推定部１５３は、魚同士の相対距離の平均に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　また、推定部１５３は、魚同士の相対距離の時間平均に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
（出力制御部１５４）
　出力制御部１５４は、推定部１５３が推定した推定結果を画面に表示するよう制御する。
〔３．情報処理手順〕
　図９は、実施形態に係る情報処理装置１００による情報処理手順を示すフローチャートである。図９では、生成部１５２は、魚群および魚群の影を含むＣＧ画像に関する情報が入力情報として入力された場合に、ＣＧ画像のうち、魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された第１機械学習モデルを生成する（ステップＳ１０１）。
　また、推定部１５３は、生成部１５２によって生成された第１機械学習モデルを用いて、処理対象の魚群および処理対象の魚群の影を含む処理対象の画像に関する情報から、処理対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である処理対象の不鮮明領域に対応する魚群に含まれる魚の尾数を推定する（ステップＳ１０２）。
　続いて、推定部１５３は、処理対象の不鮮明領域に対応する魚群に含まれる魚の尾数に基づいて、生け簀に所在する魚の尾数を推定する（ステップＳ１０３）。
〔４．変形例〕
　上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。ここから、実施形態の変形例について説明する。
　上述した実施形態では、推定部１５３が、不鮮明領域に対応する魚群のうち、赤色の光を照射された魚群である赤色魚群を含む赤色画像に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する場合について説明した。変形例では、推定部１５３は、生成部１５２によって生成された第２機械学習モデルＭ２を用いて、画像から不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。例えば、推定部１５３は、第２機械学習モデルＭ２に画像を入力することにより、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定結果として得る。
〔５．効果〕
　上述したように、実施形態に係る情報処理装置１００は、取得部１５１と推定部１５３を備える。取得部１５１は、魚群を含む画像であって、魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、不鮮明領域に対応する魚群の影に対応する影領域を含む画像を取得する。推定部１５３は、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、魚同士の間の空間の体積に関する情報に基づいて、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。
　これにより、情報処理装置１００は、例えば、不鮮明領域に対応する魚群の塊の体積を、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積と魚の体積とを加算した体積で除することにより、不鮮明領域に対応する魚群に含まれる魚の尾数を推定することができる。したがって、情報処理装置１００は、画像のうち、個々の魚を視覚的に識別不可能な領域に対応する魚群に含まれる魚の尾数を推定することができる。また、情報処理装置１００は、画像のうち、個々の魚を視覚的に識別不可能な領域に対応する魚群に含まれる魚の尾数を推定することができるので、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。
　また、推定部１５３は、不鮮明領域に対応する魚群のうち、赤色の光を照射された魚群である赤色魚群を含む赤色画像に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　これにより、情報処理装置１００は、不鮮明領域に対応する魚群に赤色の光を照射し、赤色の光を照射された魚群である赤色魚群を含む赤色画像を取得することができる場合、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定することができる。
　また、推定部１５３は、赤色の光を照射された水中の参照物体を含む参照画像であって、水中の撮像装置により撮像された参照画像のうち、参照物体が占める物体領域における輝度値である参照輝度値と、撮像装置から参照物体までの距離である参照距離との関係性を示す参照情報と、赤色画像のうち、赤色魚群に含まれる個々の魚が占める魚領域における輝度値である魚輝度値との比較に基づいて、撮像装置から赤色魚群に含まれる個々の魚までの距離である魚距離を推定し、魚距離に基づいて、赤色魚群に含まれる魚同士の相対距離を推定し、魚同士の相対距離に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　これにより、情報処理装置１００は、撮像装置から赤色魚群に含まれる個々の魚までの距離である魚距離を推定することができるので、例えば、魚距離に基づいて、赤色魚群に含まれる魚同士の相対距離を推定し、魚同士の相対距離に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定することができる。
　また、推定部１５３は、魚同士の相対距離の平均に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　これにより、情報処理装置１００は、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を精度よく推定することができる。
　また、推定部１５３は、魚同士の相対距離の時間平均に基づいて、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　これにより、情報処理装置１００は、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を精度よく推定することができる。
　また、情報処理装置１００は、生成部１５２をさらに備える。生成部１５２は、コンピュータグラフィックスにより生成された学習対象の魚群を含むＣＧ画像であって、学習対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である学習対象の不鮮明領域、および、学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含むＣＧ画像に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を出力情報として出力するよう学習された第１機械学習モデルを生成する。推定部１５３は、生成部１５２によって生成された第１機械学習モデルを用いて、画像から不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する。
　これにより、情報処理装置１００は、不鮮明領域に対応する魚群に赤色の光を照射し、赤色の光を照射された魚群である赤色魚群を含む赤色画像を取得することができない場合であっても、第１機械学習モデルを用いて、画像から不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定することができる。
　また、生成部１５２は、コンピュータグラフィックスにより生成された学習対象の魚群を含むＣＧ画像であって、学習対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である学習対象の不鮮明領域、および、学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含むＣＧ画像に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を推定するよう学習された第２機械学習モデルを生成する。推定部１５３は、生成部１５２によって生成された第２機械学習モデルを用いて、画像に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。
　これにより、情報処理装置１００は、第２機械学習モデルを用いることで、画像に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を精度よく推定することができる。
　また、生成部１５２は、ＣＧ画像に関する情報として、ＣＧ画像、学習対象の不鮮明領域に関する情報、および、学習対象の影領域に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された第２機械学習モデルを生成する。推定部１５３は、画像に関する情報として、画像、不鮮明領域に関する情報、および、影領域に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。
　これにより、情報処理装置１００は、画像、不鮮明領域に関する情報、および、影領域に関する情報を学習した第２機械学習モデルを用いることで、画像に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を精度よく推定することができる。
　また、生成部１５２は、学習対象の不鮮明領域に関する情報として、学習対象の不鮮明領域に対応する魚群の塊の体積に関する情報、学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報、および、学習対象の不鮮明領域に対応する魚群に含まれる魚の体積に関する情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された第２機械学習モデルを生成する。推定部１５３は、不鮮明領域に関する情報として、不鮮明領域に対応する魚群の塊の体積に関する情報、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報、および、不鮮明領域に対応する魚群に含まれる魚の体積に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。
　これにより、情報処理装置１００は、不鮮明領域に対応する魚群の塊の体積に関する情報、不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報、および、不鮮明領域に対応する魚群に含まれる魚の体積に関する情報を学習した第２機械学習モデルを用いることで、画像に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を精度よく推定することができる。
　また、生成部１５２は、学習対象の影領域に関する情報として、学習対象の影領域の色の濃さを示す情報が入力情報として入力された場合に、学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された第２機械学習モデルを生成する。推定部１５３は、影領域に関する情報として、影領域の色の濃さを示す情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を推定する。
　これにより、情報処理装置１００は、影領域の色の濃さを示す情報を学習した第２機械学習モデルを用いることで、画像に関する情報から、不鮮明領域に対応する魚群に含まれる魚の尾数を精度よく推定することができる。
〔６．ハードウェア構成〕
　また、上述してきた実施形態に係る情報処理装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
　ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
　メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
　以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔７．その他〕
　また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　１００　情報処理装置
　１１０　通信部
　１２０　記憶部
　１３０　入力部
　１４０　出力部
　１５０　制御部
　１５１　取得部
　１５２　生成部
　１５３　推定部
　１５４　出力制御部

Claims (12)

  1. 　魚群を含む画像であって、前記魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、前記不鮮明領域に対応する魚群の影に対応する影領域を含む前記画像を取得する取得手順と、
    　前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、前記魚同士の間の空間の体積に関する情報に基づいて、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する推定手順と、
    　をコンピュータに実行させる情報処理プログラム。
  2. 　前記推定手順は、
    　前記不鮮明領域に対応する魚群のうち、赤色の光を照射された魚群である赤色魚群を含む赤色画像に基づいて、前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する、
    　請求項１に記載の情報処理プログラム。
  3. 　前記推定手順は、
    　前記赤色の光を照射された水中の参照物体を含む参照画像であって、前記水中の撮像装置により撮像された参照画像のうち、前記参照物体が占める物体領域における輝度値である参照輝度値と、前記撮像装置から前記参照物体までの距離である参照距離との関係性を示す参照情報と、前記赤色画像のうち、前記赤色魚群に含まれる個々の魚が占める魚領域における輝度値である魚輝度値との比較に基づいて、前記撮像装置から前記赤色魚群に含まれる個々の魚までの距離である魚距離を推定し、前記魚距離に基づいて、前記赤色魚群に含まれる魚同士の相対距離を推定し、前記魚同士の相対距離に基づいて、前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する、
    　請求項２に記載の情報処理プログラム。
  4. 　前記推定手順は、
    　前記魚同士の相対距離の平均に基づいて、前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する、
    　請求項３に記載の情報処理プログラム。
  5. 　前記推定手順は、
    　前記魚同士の相対距離の時間平均に基づいて、前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する、
    　請求項３に記載の情報処理プログラム。
  6. 　コンピュータグラフィックスにより生成された学習対象の魚群を含むＣＧ画像であって、前記学習対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である学習対象の不鮮明領域、および、前記学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含む前記ＣＧ画像に関する情報が入力情報として入力された場合に、前記学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を出力情報として出力するよう学習された第１機械学習モデルを生成する生成手順をさらに備え、
    　前記推定手順は、
    　前記生成手順によって生成された前記第１機械学習モデルを用いて、前記画像から前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定する、
    　請求項１に記載の情報処理プログラム。
  7. 　コンピュータグラフィックスにより生成された学習対象の魚群を含むＣＧ画像であって、前記学習対象の魚群に含まれる個々の魚を視覚的に識別不可能な領域である学習対象の不鮮明領域、および、前記学習対象の不鮮明領域に対応する魚群の影に対応する学習対象の影領域を含む前記ＣＧ画像に関する情報が入力情報として入力された場合に、前記学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を推定するよう学習された第２機械学習モデルを生成する生成手順をさらに備え、
    　前記推定手順は、
    　前記生成手順によって生成された前記第２機械学習モデルを用いて、前記画像に関する情報から、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する、
    　請求項１に記載の情報処理プログラム。
  8. 　前記生成手順は、
    　前記ＣＧ画像に関する情報として、前記ＣＧ画像、前記学習対象の不鮮明領域に関する情報、および、前記学習対象の影領域に関する情報が入力情報として入力された場合に、前記学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された前記第２機械学習モデルを生成し、
    　前記推定手順は、
    　前記画像に関する情報として、前記画像、前記不鮮明領域に関する情報、および、前記影領域に関する情報から、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する、
    　請求項７に記載の情報処理プログラム。
  9. 　前記生成手順は、
    　前記学習対象の不鮮明領域に関する情報として、前記学習対象の不鮮明領域に対応する魚群の塊の体積に関する情報、前記学習対象の不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報、および、前記学習対象の不鮮明領域に対応する魚群に含まれる魚の体積に関する情報が入力情報として入力された場合に、前記学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された前記第２機械学習モデルを生成し、
    　前記推定手順は、
    　前記不鮮明領域に関する情報として、前記不鮮明領域に対応する魚群の塊の体積に関する情報、前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報、および、前記不鮮明領域に対応する魚群に含まれる魚の体積に関する情報から、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する、
    　請求項８に記載の情報処理プログラム。
  10. 　前記生成手順は、
    　前記学習対象の影領域に関する情報として、前記学習対象の影領域の色の濃さを示す情報が入力情報として入力された場合に、前記学習対象の不鮮明領域に対応する魚群に含まれる魚の尾数を出力情報として出力するよう学習された前記第２機械学習モデルを生成し、
    　前記推定手順は、
    　前記影領域に関する情報として、前記影領域の色の濃さを示す情報から、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する、
    　請求項８に記載の情報処理プログラム。
  11. 　魚群を含む画像であって、前記魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、前記不鮮明領域に対応する魚群の影に対応する影領域を含む前記画像を取得する取得部と、
    　前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、前記魚同士の間の空間の体積に関する情報に基づいて、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する推定部と、
    　を備える情報処理装置。
  12. 　情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    　魚群を含む画像であって、前記魚群に含まれる個々の魚を視覚的に識別不可能な領域である不鮮明領域、および、前記不鮮明領域に対応する魚群の影に対応する影領域を含む前記画像を取得する取得工程と、
    　前記不鮮明領域に対応する魚群に含まれる魚同士の間の空間の体積に関する情報を推定し、前記魚同士の間の空間の体積に関する情報に基づいて、前記不鮮明領域に対応する魚群に含まれる魚の尾数を推定する推定工程と、
    　を含む情報処理方法。
PCT/JP2023/042251 2022-12-27 2023-11-24 情報処理プログラム、情報処理装置及び情報処理方法 Ceased WO2024142701A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP23911483.8A EP4614442A4 (en) 2022-12-27 2023-11-24 INFORMATION PROCESSING PROGRAM, INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-210796 2022-12-27
JP2022210796A JP7637109B2 (ja) 2022-12-27 2022-12-27 情報処理プログラム、情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2024142701A1 true WO2024142701A1 (ja) 2024-07-04

Family

ID=91717179

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/042251 Ceased WO2024142701A1 (ja) 2022-12-27 2023-11-24 情報処理プログラム、情報処理装置及び情報処理方法

Country Status (3)

Country Link
EP (1) EP4614442A4 (ja)
JP (1) JP7637109B2 (ja)
WO (1) WO2024142701A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025115392A1 (ja) * 2023-11-27 2025-06-05 ソフトバンク株式会社 情報処理システム、プログラム、及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105700A (ja) * 2004-10-01 2006-04-20 Furuno Electric Co Ltd 魚群情報、魚群の体積及び単体魚の後方散乱強度を算出可能な水中探知装置、並びにそれらの方法
WO2019045091A1 (ja) 2017-09-04 2019-03-07 日本電気株式会社 情報処理装置、計数システム、計数方法およびプログラム記憶媒体
CN111406693A (zh) * 2020-04-23 2020-07-14 上海海洋大学 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法
JP2021152782A (ja) * 2020-03-24 2021-09-30 国立大学法人愛媛大学 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2589046B2 (ja) * 1993-11-01 1997-03-12 財団法人ダム水源地環境整備センター 魚数計測方法と装置および移動体計数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105700A (ja) * 2004-10-01 2006-04-20 Furuno Electric Co Ltd 魚群情報、魚群の体積及び単体魚の後方散乱強度を算出可能な水中探知装置、並びにそれらの方法
WO2019045091A1 (ja) 2017-09-04 2019-03-07 日本電気株式会社 情報処理装置、計数システム、計数方法およびプログラム記憶媒体
JP2021152782A (ja) * 2020-03-24 2021-09-30 国立大学法人愛媛大学 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム
CN111406693A (zh) * 2020-04-23 2020-07-14 上海海洋大学 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4614442A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025115392A1 (ja) * 2023-11-27 2025-06-05 ソフトバンク株式会社 情報処理システム、プログラム、及び情報処理方法

Also Published As

Publication number Publication date
EP4614442A4 (en) 2026-02-25
EP4614442A1 (en) 2025-09-10
JP7637109B2 (ja) 2025-02-27
JP2024094067A (ja) 2024-07-09

Similar Documents

Publication Publication Date Title
Garcia et al. Automatic segmentation of fish using deep learning with application to fish size measurement
Chouinard-Thuly et al. Technical and conceptual considerations for using animated stimuli in studies of animal behavior
US12106428B2 (en) Radiance fields for three-dimensional reconstruction and novel view synthesis in large-scale environments
Paulin et al. Review and analysis of synthetic dataset generation methods and techniques for application in computer vision.
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
Georgoulis et al. Reflectance and natural illumination from single-material specular objects using deep learning
Interrante et al. Elucidating factors that can facilitate veridical spatial perception in immersive virtual environments
Drew et al. Robust estimation of surface properties and interpolation of shadow/specularity components
JP7638395B2 (ja) 情報処理装置及び情報処理方法
CN109711246A (zh) 一种动态物体识别方法、计算机装置及可读存储介质
JP7637109B2 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
CN114067172B (zh) 一种仿真图像生成方法、仿真图像生成装置及电子设备
JP7654108B2 (ja) 情報処理方法、非一時的なコンピュータ可読記憶媒体及び情報処理装置
WO2012030975A2 (en) Method and apparatus for enhancing a white board experience
JP7602509B2 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
CN117075782A (zh) 图像处理方法、装置、计算机设备及存储介质
JP7686146B2 (ja) 情報処理方法、非一時的なコンピュータ可読記憶媒体及び情報処理装置
Bode et al. Real-Time Multi-Material Reflectance Reconstruction for Large-Scale Scenes Under Uncontrolled Illumination from RGB-D Image Sequences.
Yan et al. Recording and documenting the chromatic information of architectural heritage
Plum et al. replicAnt-generating annotated images of animals in complex environments with Unreal Engine
Borg et al. Perceptual evaluation of photo-realism in real-time 3D augmented reality
Dyrstad et al. Creating synthetic data sets for training of neural networks for automatic catch analysis in fisheries
JP7608411B2 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
Dias et al. ARTIC: Augmented Reality Tangible Interface by Color Evaluation
JP4831344B2 (ja) 目の位置の検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23911483

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023911483

Country of ref document: EP

Ref document number: EP23911483.8

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023911483

Country of ref document: EP

Effective date: 20250605

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2023911483

Country of ref document: EP