WO2024143401A1 - 画像解析システム、画像解析方法、および画像解析プログラム - Google Patents

画像解析システム、画像解析方法、および画像解析プログラム Download PDF

Info

Publication number
WO2024143401A1
WO2024143401A1 PCT/JP2023/046750 JP2023046750W WO2024143401A1 WO 2024143401 A1 WO2024143401 A1 WO 2024143401A1 JP 2023046750 W JP2023046750 W JP 2023046750W WO 2024143401 A1 WO2024143401 A1 WO 2024143401A1
Authority
WO
WIPO (PCT)
Prior art keywords
mask
instance
semantic
image
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/046750
Other languages
English (en)
French (fr)
Inventor
大斗 筏井
一貴 上田
克彦 富坂
英之 関
光晴 松沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Resonac Corp
Original Assignee
Resonac Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Resonac Corp filed Critical Resonac Corp
Priority to EP23912179.1A priority Critical patent/EP4618014A4/en
Priority to CN202380037386.0A priority patent/CN120457452A/zh
Publication of WO2024143401A1 publication Critical patent/WO2024143401A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • An image analysis method is performed by an image analysis system having at least one processor.
  • the image analysis method includes the steps of acquiring a target image showing one or more objects having a substrate and a coating region on the substrate, inputting the target image into an instance segmentation model that performs instance segmentation to set at least one instance mask corresponding to at least one of the one or more objects, inputting the target image into a semantic segmentation model that performs semantic segmentation to set a semantic mask indicating a contour and a coating region of an object set consisting of the at least one object, and identifying the contour and coating region of each of the at least one object based on the at least one instance mask and the semantic mask.
  • the coating region can be formed by depositing powder or granular particles on the substrate, or by applying a liquid coating agent or a coating agent containing a metal on the substrate.
  • a plurality of coating regions separated from each other can be provided on a single substrate.
  • the coating region can be formed by one or more coating elements arranged on the substrate. Examples of coating elements include individual particles. Particles arranged on the substrate as coating elements can be understood as protrusions.
  • the coating region may be understood as a convex portion that is raised above the surface of the substrate, or as a collection of dense protrusions. At least some of the components may be different between the substrate and the coating region, or all of the components may be the same.
  • Both the substrate and the coating region may be organic or inorganic compounds, or may contain both organic and inorganic compounds.
  • the object may be a particulate matter.
  • the particulate matter comprises a core particle and a number of microparticles disposed on a surface of the core particle.
  • the microparticles have a diameter smaller than the diameter of the core particle.
  • the core particle is an example of a substrate, each microparticle is an example of a coating element, and a collection of multiple microparticles is an example of a coating region.
  • FIG. 1 is a diagram showing an example of a functional configuration of an evaluation system 10 to which an image analysis system according to the present disclosure is applied.
  • the evaluation system 10 includes a processor 101 as a hardware component.
  • the processor 101 is, for example, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
  • the evaluation system 10 further includes, as hardware components, a main storage device composed of RAM and ROM, an auxiliary storage device composed of a flash memory, a hard disk, etc., an input device such as a keyboard and a mouse, an output device such as a monitor and a speaker, and a communication module that executes data communication between an external device.
  • Each functional module of the evaluation system 10 is realized by the processor 101 executing a program stored in the auxiliary storage device.
  • the evaluation program for causing a computer to function as the evaluation system 10 includes program code for implementing each functional module of the evaluation system 10.
  • This evaluation program includes the image analysis program of the present disclosure.
  • the evaluation program may be provided in a state in which it is recorded on a non-transitory recording medium, such as a CD-ROM, DVD-ROM, or semiconductor memory.
  • the evaluation program may be provided via a communications network as a data signal superimposed on a carrier wave.
  • the provided evaluation program is stored, for example, in an auxiliary storage device.
  • the evaluation system 10 may be composed of one computer, or may be composed of a collection of multiple computers, i.e., a distributed system. Examples of computers that may be used for the evaluation system 10 include various types of computers such as personal computers, workstations, tablet terminals, and smartphones. When multiple computers are used for the evaluation system 10, a single evaluation system 10 is logically constructed by connecting these computers via a communication network such as the Internet or an intranet.
  • the evaluation system 10 may be realized as a client-server system such as a cloud system, or may be realized by a standalone computer.
  • FIG. 1 shows a teacher image database 41 and an original image database 42 as examples of external storage.
  • the teacher image database 41 is a storage that stores at least one teacher image used for machine learning.
  • the original image database 42 is a storage that stores at least one original image 51 showing at least one object.
  • the teacher image database 41 and the original image database 42 may be integrated into a single database.
  • the evaluation system 10 communicates with a learning device 30 via a communication network.
  • the learning device 30 is a computer or computer system that generates the trained model 20.
  • the learning device 30 may be a component of the evaluation system 10 or may be provided outside the evaluation system 10. Since the trained model 20 is portable between computer systems, the evaluation system 10 can also use a trained model 20 provided from another computer or computer system. The generation of the trained model 20 by the learning device 30 corresponds to the learning phase.
  • the processor 101 functions as a preprocessing unit 11, an instance segmentation unit 12, a first semantic segmentation unit 13, a second semantic segmentation unit 14, an identification unit 15, a postprocessing unit 16, and a calculation unit 17. These functional modules correspond to the operation phase in which the generated trained model 20 is used.
  • the preprocessing unit 11 is a functional module that performs preprocessing on the original image 51 to generate a target image 52 showing one or more objects.
  • the instance segmentation unit 12 is a functional module that performs instance segmentation on the target image 52 and sets at least one instance mask corresponding to at least one object in the target image 52.
  • the instance segmentation unit 12 sets the instance mask using an instance segmentation model 21, which is an example of a trained model 20.
  • the instance mask is a mask that is set for each object by instance segmentation so that individual objects can be distinguished from one another.
  • the second semantic segmentation unit 14 is a functional module that performs semantic segmentation of the coating region of the object set on the target image 52 and sets a semantic mask indicating the coating region.
  • this semantic mask is also referred to as the second semantic mask.
  • the second semantic mask is set for a coating set consisting of at least one coating region corresponding to the object set.
  • the second semantic segmentation unit 14 sets the second semantic mask using the second semantic segmentation model 23, which is a trained model 20 that performs semantic segmentation of the coating region of the object set.
  • the identification unit 15 is a functional module that identifies the contour and coating area of an object in the target image 52 based on at least one instance mask, a first semantic mask, and a second semantic mask.
  • the post-processing unit 16 is a functional module that performs post-processing on the target image 52 in which the object has been identified.
  • the calculation unit 17 is a functional module that calculates an evaluation value for the coverage of each identified object.
  • Fig. 2 is a flowchart showing an example of the process as a process flow S1.
  • the process flow S1 corresponds to a learning phase.
  • the process flow S1 is executed for each of the instance segmentation model 21, the first semantic segmentation model 22, and the second semantic segmentation model 23, and is therefore a process common to these three types of trained models.
  • the learning device 30 performs learning based on the teacher image.
  • the learning device 30 inputs the teacher image into a machine learning model including a neural network, and obtains an estimation result output from the machine learning model. Based on the error between the estimation result and the label of the teacher image, the learning device 30 updates the parameters in the machine learning model using a method such as backpropagation. For example, the learning device 30 updates the weights of the neural network.
  • the learning device 30 performs learning using Mask R-CNN to generate the instance segmentation model 21, and performs learning using U-Net to generate the first and second semantic segmentation models 22, 23.
  • step S13 the learning device 30 determines whether or not to end the machine learning. If the learning device 30 determines that a predetermined end condition is not met (NO in step S13), the process returns to step S11. In the repetitive process, the learning device 30 acquires the next teacher image in step S11, and executes learning based on that teacher image in step S12. On the other hand, if the learning device 30 determines that the end condition is met (YES in step S13), the process proceeds to step S14.
  • the end condition may be set based on the error, or may be set based on the number of teacher images to be processed, i.e., the number of times of learning. Alternatively, the learning device 30 may evaluate the performance of the machine learning model using given validation data, and end the machine learning if the evaluation meets a given criterion.
  • step S14 the learning device 30 outputs the machine learning model for which machine learning has been completed as the trained model 20 (the instance segmentation model 21, the first semantic segmentation model 22, or the second semantic segmentation model 23).
  • the learning device 30 stores the trained model 20 in an auxiliary storage device of the evaluation system 10.
  • the process flow S1 is executed for each of the instance segmentation model 21, the first semantic segmentation model 22, and the second semantic segmentation model 23.
  • These three types of trained models 20 are used by the evaluation system 10.
  • Fig. 3 is a flowchart showing an example of the process as a process flow S2.
  • Fig. 4 is a flowchart showing the details of the process of identifying the target from the target image.
  • the pre-processing unit 11 obtains the raw image 51 from the raw image database 42.
  • the raw image 51 showing the particulate matter is an SEM image obtained by imaging a plurality of particulate matter collected on a carbon tape with a scanning electron microscope (SEM).
  • the preprocessing unit 11 performs preprocessing on the original image 51 to generate a target image 52. If auxiliary information such as text, scale marks, etc. is written in the original image 51, the preprocessing unit 11 may remove the auxiliary information by image processing such as cropping to generate a target image 52 that does not include the auxiliary information. The preprocessing unit 11 may perform histogram equalization on the original image 51 to generate a target image 52 with high contrast, i.e., a target image 52 that depicts the target object more clearly. In this way, the preprocessing may include at least one of the removal of auxiliary information and histogram equalization.
  • step S23 the instance segmentation unit 12, the first semantic segmentation unit 13, the second semantic segmentation unit 14, and the identification unit 15 work together to identify an object from the target image 52. The details of this process will be described with reference to Figure 4.
  • step S231 the instance segmentation unit 12, the first semantic segmentation unit 13, and the second semantic segmentation unit 14 each obtain a target image 52 from the pre-processing unit 11.
  • step S232 the instance segmentation unit 12 performs instance segmentation on the target image 52.
  • the instance segmentation unit 12 inputs the target image 52 to the instance segmentation model 21 and obtains an instance mask estimated by this trained model.
  • the instance segmentation unit 12 sets at least one instance mask corresponding to at least one of the one or more objects appearing in the target image 52.
  • the first semantic segmentation unit 13 performs semantic segmentation for contours on the target image 52.
  • the first semantic segmentation unit 13 inputs the target image 52 to the first semantic segmentation model 22 and obtains a first semantic mask estimated by this trained model.
  • the first semantic segmentation unit 13 sets a first semantic mask that indicates the contour of an object set consisting of at least one object appearing in the target image 52.
  • step S234 the second semantic segmentation unit 14 performs semantic segmentation of the coating region on the target image 52.
  • the second semantic segmentation unit 14 inputs the target image 52 to the second semantic segmentation model 23 and obtains a second semantic mask estimated by this trained model. As a result, the second semantic segmentation unit 14 sets a second semantic mask that indicates the coating set.
  • step S235 the identification unit 15 combines the first semantic mask and the second semantic mask to generate a combined semantic mask that indicates both the contours and the coating areas of the object set.
  • FIG. 6 is a diagram showing an example of semantic segmentation.
  • FIG. 6 shows a portion of the target image 52 processed by the first semantic segmentation unit 13 as partial image 202, and a portion of the target image 52 processed by the second semantic segmentation unit 14 as partial image 203. Both partial images 202 and 203 correspond to partial image 201 shown in FIG. 5.
  • a first semantic mask 221 is set for a set of objects 310 and 320
  • a second semantic mask 222 is set for a set of coating regions on the objects 310 and 320.
  • the second semantic mask 222 is set for coating regions or coating elements having an area or height equal to or greater than a predetermined threshold.
  • Such a result of the second semantic mask 222 is due to the label set for the teacher image. Since semantic masks do not distinguish between two or more objects of the same type, the first semantic mask 221 does not distinguish between the objects 310 and 320, and the second semantic mask 222 does not distinguish between individual coating regions. As described above, the accuracy of the shape of the semantic mask is relatively high.
  • the outer edge of the first semantic mask 221 approximately matches the contours of the objects 310 and 320
  • the outer edge of the second semantic mask 222 approximately matches the contours of the individual coating regions.
  • the partial image 204 is obtained by combining the partial images 202 and 203. Partial image 204 shows a combined semantic mask consisting of both the first semantic mask 221 and the second semantic mask 222.
  • the identification unit 15 sets a provisional instance mask and a provisional center of gravity based on each instance mask obtained by the instance segmentation unit 12.
  • the identification unit 15 sets each instance mask as a provisional instance mask as is, and sets the center of gravity of each instance mask as a provisional center of gravity as is.
  • FIG. 7 is a diagram showing an example of dilating a temporary instance mask.
  • the identification unit 15 dilates each of the temporary instance masks 211 and 212. Through this process, the dilated temporary instance mask 211 covers the entire object 310, and the dilated instance mask 212 covers the entire object 320.
  • FIG. 8 shows an example of mask replacement, and corresponds to FIG. 7. As shown in FIG. 7, the provisional instance masks of objects 310 and 320 overlap within range 240. Thus, there is an overlap between the two objects.
  • the post-processing unit 16 performs post-processing on the target image 52 in which the object has been identified.
  • the post-processing unit 16 may delete or invalidate instance information of an object that is located at the edge of the target image 52 and is not entirely captured in the image.
  • the calculation unit 17 calculates the diameter of the particulate matter 330, i.e., the particle size.
  • the calculation unit 17 virtually divides the particulate matter 330 into n equal parts along the circumferential direction centered on the provisional center of gravity 333, and sets n fan-shaped sections.
  • the calculation unit 17 calculates the radius of the particulate matter 330 in each fan-shaped section.
  • the calculation unit 17 calculates the radius for the i-th fan-shaped section as follows. That is, the calculation unit 17 sets sample points for each angle ⁇ on the contour of the particulate matter 330 across the i-th fan-shaped section and the (i+1)-th fan-shaped section.
  • the calculation unit 17 may exclude the sector sections that correspond to the contours that correspond to the overlapping portions, calculate the radius of each of the remaining sector sections, and obtain the particle diameter as twice the average value of the calculated radii.
  • the calculation unit 17 virtually divides the particulate matter 330 every 20° to set 18 sector sections 401, 402, 403, 404, ....
  • the calculation unit 17 sets sample points every 2° across sector sections 401 and 402, and calculates the distance 411 from the virtual center of gravity 333 for each sample point. The calculation unit 17 then obtains the average of the top three distances 411 as the radius in sector section 401.
  • the calculation unit 17 obtains the bottom p distances, and obtains the average value L ave of the p distances as the lowest point. Then, the calculation unit 17 obtains the difference between the two average values H ave and L ave as the height of the fine particle 332 in the i-th fan-shaped section. By also using the sample points of the next sector section to calculate the radius of the fine particles 332 in a certain sector section, it is possible to suppress errors in height that may occur due to the presence of fine particles 332 on the boundary of the sector section or the presence of distorted fine particles 332. The calculation unit 17 calculates the average value of the heights in the n sector sections, and obtains the average value as the height of the fine particles 332 of the particulate matter 330.
  • the calculation unit 17 may exclude the fan-shaped sections corresponding to the contours corresponding to the overlapping portions, calculate the height of the fine particles 332 for each of the remaining fan-shaped sections, and determine the average value of the calculated heights as the height of the fine particles 332 of the particulate matter 330.
  • the original image may be provided from a device other than a database, for example directly from an imaging device such as a SEM, camera, etc.
  • the identification unit 15 generates an integrated semantic mask by combining the first semantic mask and the second semantic mask, but the semantic mask indicating the contours and coating regions of the object set may be set by another method.
  • the image analysis system may input the target image into a semantic segmentation model that performs semantic segmentation of both the contours and coating regions of the object set, and set the semantic mask.
  • the processing procedure of the method executed by at least one processor is not limited to the example in the above embodiment.
  • some of the above-mentioned steps may be omitted, or the steps may be executed in a different order.
  • any two or more of the above-mentioned steps may be combined, or some of the steps may be modified or deleted.
  • other steps may be executed in addition to the above-mentioned steps.
  • at least one of the pre-processing and post-processing of the target image may be omitted. Dilation of the tentative instance mask may also be omitted.
  • At least one processor At least one processor; the at least one processor: acquiring an image of an object showing one or more objects having a substrate and a coating area on the substrate; inputting the object image into an instance segmentation model that performs instance segmentation to set at least one instance mask corresponding to at least one object among the one or more objects; inputting the object image into a semantic segmentation model that performs semantic segmentation to generate a semantic mask indicating contours and coating regions of an object set consisting of the at least one object; identifying, for each of the at least one object, the contour and the coating area of the object based on the at least one instance mask and the semantic mask; Image analysis system.
  • the at least one processor for each of the at least one instance mask, replacing the instance mask with a corresponding portion of the semantic mask to identify the contour and the coating area of the object corresponding to the instance mask.
  • the one or more objects include a first object and a second object adjacent to each other; the at least one instance mask includes a first instance mask corresponding to the first object and a second instance mask corresponding to the second object; the at least one processor: Dividing an overlapping portion of the first instance mask and the second instance mask into a first portion corresponding to the first instance mask and a second portion corresponding to the second instance mask; replacing the non-overlapping portion and the first portion of the first instance mask with the corresponding portion of the semantic mask to identify the contour and the coating area of the first object; replacing the non-overlapping portion and the second portion of the second instance mask with the corresponding portion of the semantic mask to identify the contour and the coating area of the second object; 3.
  • two types of image segmentation, instance segmentation and semantic segmentation are performed, and two types of masks are set for each object. Then, based on the two types of masks, the contour and coating area are identified for each object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

画像解析システムは、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定する。

Description

画像解析システム、画像解析方法、および画像解析プログラム
　本開示の一側面は画像解析システム、画像解析方法、および画像解析プログラムに関する。
　特許文献１には、表面に導電性の複数の突起部を備えた導電粒子の表面形状を評価する導電粒子形状評価装置が記載されている。
特開２０１６－０６１７２２号公報
　画像中の対象物を正確に特定するための仕組みが望まれている。
　本開示の一側面に係る画像解析システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定する。
　本開示の一側面に係る画像解析方法は、少なくとも一つのプロセッサを備える画像解析システムにより実行される。この画像解析方法は、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定するステップとを含む。
　本開示の一側面に係る画像解析プログラムは、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定するステップとをコンピュータに実行させる。
　このような側面においては、インスタンスセグメンテーションとセマンティックセグメンテーションという２種類の画像セグメンテーションが実行されて、各対象物について２種類のマスクが設定される。そして、その２種類のマスクに基づいて、各対象物について輪郭およびコーティング領域が特定される。このように一つの対象画像に対して２種類の画像セグメンテーションを適用することで、画像中の対象物を正確に特定できる。
　本開示の一側面によれば、画像中の対象物を正確に特定できる。
評価システムの機能構成を示す図である。 学習済みモデルの生成の一例を示すフローチャートである。 画像解析および評価の一例を示すフローチャートである。 対象画像から対象物を特定する処理の詳細を示すフローチャートである。 インスタンスセグメンテーションの一例を示す図である。 セマンティックセグメンテーションの一例を示す図である。 仮インスタンスマスクの膨張の一例を示す図である。 マスクの置換の一例を示す図である。 評価値の算出方法を説明するための図である。
　以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
　［システムの概要］
　本開示に係る画像解析システムは、画像に写る対象物を特定するコンピュータシステムである。一例では、画像解析システムは画像に写る対象物の輪郭およびコーティング領域を特定する。
　対象物とは画像解析システムによって特定される固体をいう。対象物は基材およびコーティング領域を有する。基材は対象物の主たる領域を占める構成要素をいう。コーティング領域は基材上に位置する構成要素をいう。対象物は任意の形状、寸法、および成分を有する。例えば、対象物は球状、平面状、または柱状を呈してもよいし、より複雑な形状を呈してもよい。対象物は視認できる大きさを有してもよいし、顕微鏡を用いないと確認できないほどに小さくてもよい。基材の形状および寸法は、対象物の形状および寸法を左右し得る。コーティング領域は基材の表面の少なくとも一部を被覆する構成要素である。コーティング領域は粉状または粒状の粒子が基材上に付着することで形成されてもよいし、液状のコーティング剤または金属を含むコーティング剤が基材上に適用されることで形成されてもよい。互いに離れた複数のコーティング領域が一つの基材上に設けられてもよい。コーティング領域は、基材上に配置された１以上のコーティング要素によって形成され得る。コーティング要素の例として個々の粒子が挙げられる。コーティング要素として基材上に配置された粒子は、突起として把握されてもよい。コーティング領域は、基材の表面よりも盛り上がった凸部として、または密集した突起の集合として把握されてもよい。基材とコーティング領域との間で、成分の少なくとも一部が異なってもよいし、全成分が共通してもよい。基材およびコーティング領域のいずれも、有機化合物でも無機化合物でもよいし、有機化合物および無機化合物の双方を含んでもよい。
　対象物は粒子状物質であってもよい。一例では、粒子状物質は、コア粒子と、該コア粒子の表面に配置される複数の微粒子とを備える。微粒子の径はコア粒子の径より小さい。コア粒子は基材の一例であり、個々の微粒子はコーティング要素の一例であり、複数の微粒子の集合はコーティング領域の一例である。
　画像解析システムは、機械学習によって生成された学習済みモデルを用いて対象物を特定する。機械学習とは、与えられた情報に基づいて反復的に学習することで、法則またはルールを自律的に見つけ出す手法をいう。画像解析システムで用いられる学習済みモデルは、画像中の対象物を特定するために用いられる計算モデル、すなわち、画像セグメンテーションのための計算モデルである。一例では、画像解析システムは一つの対象画像に対して、インスタンスセグメンテーション（ｉｎｓｔａｎｃｅ　ｓｅｇｍｅｎｔａｔｉｏｎ）とセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ　ｓｅｇｍｅｎｔａｔｉｏｎ）という２種類の画像セグメンテーションを実行し、これらの実行結果に基づいて対象物を特定する。
　インスタンスセグメンテーションとは、画像に写る１以上の物体を、物体毎に、すなわちインスタンス毎に区別して特定する手法をいう。インスタンスセグメンテーションの例として、Ｍａｓｋ　Ｒ－ＣＮＮ、Ｒ－ＲＣＮ、およびＹＯＬＡＣＴが挙げられる。インスタンスセグメンテーションは同種の個々の物体を互いに区別して検出する。一般に、インスタンスセグメンテーションでは、画像中における物体の領域を示すマスクの形状の精度がセマンティックセグメンテーションよりも低い。
　セマンティックセグメンテーションとは、インスタンスの違いを区別することなく、画像に写る１以上の物体を特定する手法をいう。セマンティックセグメンテーションの例として、Ｕ－Ｎｅｔ、ＦＣＮ、およびＳｅｇＮｅｔが挙げられる。セマンティックセグメンテーションは同種の２以上の物体を区別することができず、該２以上の物体の集合を示すマスクに対して一つの意味を与えることしかできない。しかし、一般に、セマンティックセグメンテーションでは、そのマスクの形状の精度はインスタンスセグメンテーションよりも高い。
　このようにインスタンスセグメンテーションおよびセマンティックセグメンテーションのそれぞれは長所および短所を持つ。画像解析システムはこれら２種類の画像セグメンテーションの長所を利用して、画像中の個々の対象物を自動的に且つ正確に特定することを目指す。
　一例では、画像解析システムは、画像に写る対象物の被覆に関する評価を実行するコンピュータシステムである評価システムの少なくとも一部として実現されてもよい。被覆とは、対象物の外観において基材の少なくとも一部がコーティング領域によって隠れた状態をいう。評価システムは、画像に写る対象物の輪郭およびコーティング領域を特定し、コーティング領域に関する評価を実行する。コーティング領域に関する評価とは、基材を被覆するコーティング領域について定量的に判断する処理をいう。例えば、評価システムは、コーティング領域による基材の被覆に関して評価してもよいし、コーティング領域そのものを評価してもよい。一例では、評価システムはコーティング領域に関する定量的な指標である評価値を算出し、その評価値を出力する。評価値は、コーティング領域による基材の被覆に関する値でもよいし、コーティング領域そのものの物理量でもよい。評価システムは、コーティング領域を自動的にかつ正確に特定して、対象物の被覆に関する評価を正確に実行することができる。
　［システムの構成］
　図１は、本開示に係る画像解析システムが適用された評価システム１０の機能構成の一例を示す図である。評価システム１０はハードウェア構成要素としてプロセッサ１０１を備える。プロセッサ１０１は例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。評価システム１０はハードウェア構成要素として更に、ＲＡＭおよびＲＯＭで構成される主記憶装置と、フラッシュメモリ、ハードディスク等で構成される補助記憶装置と、キーボード、マウス等の入力装置と、モニタ、スピーカ等の出力装置と、外部装置との間のデータ通信を実行する通信モジュールとを備える。評価システム１０の各機能モジュールは、補助記憶装置に格納されたプログラムをプロセッサ１０１が実行することで実現される。
　コンピュータを評価システム１０として機能させるための評価プログラムは、評価システム１０の各機能モジュールを実現するためのプログラムコードを含む。この評価プログラムは本開示に係る画像解析プログラムを含む。評価プログラムは、例えばＣＤ―ＲＯＭ、ＤＶＤ―ＲＯＭ、または半導体メモリの非一時的な記録媒体に記録された上で提供されてもよい。あるいは、評価プログラムは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。提供された評価プログラムは例えば補助記憶装置に記憶される。
　評価システム１０は１台のコンピュータで構成されてもよいし、複数のコンピュータの集合、すなわち分散システムで構成されてもよい。評価システム１０のために用いられるコンピュータの例として、パーソナルコンピュータ、ワークステーション、タブレット端末、スマートフォン等の様々な種類のコンピュータが挙げられる。評価システム１０のために複数台のコンピュータが用いられる場合には、これらのコンピュータがインターネット、イントラネット等の通信ネットワークを介して接続されることで、論理的に一つの評価システム１０が構築される。評価システム１０は、クラウドシステムのようなクライアント－サーバシステムとして実現されてもよいし、スタンドアローンのコンピュータによって実現されてもよい。
　一例では、評価システム１０は通信ネットワークを介して少なくとも一つの外部ストレージと連携する。外部ストレージは、評価システム１０での処理に用いられる各種のデータを格納する装置または記録媒体である。外部ストレージは評価システム１０の構成要素でもよいし、評価システム１０の外部に設けられてもよい。通信ネットワークはインターネット、イントラネット、またはこれらの組合せによって構築されてもよい。通信ネットワークは有線ネットワーク、無線ネットワーク、またはこれらの組合せによって構築されてもよい。
　図１は外部ストレージの例として教師画像データベース４１および原画像データベース４２を示す。教師画像データベース４１は、機械学習のために用いられる少なくとも一つの教師画像を記憶するストレージである。原画像データベース４２は、少なくとも一つの対象物を示す少なくとも一つの原画像５１を記憶するストレージである。教師画像データベース４１および原画像データベース４２は一つのデータベースとして統合されてもよい。
　一例では、評価システム１０は通信ネットワークを介して学習装置３０と連携する。学習装置３０は学習済みモデル２０を生成するコンピュータまたはコンピュータシステムである。学習装置３０は評価システム１０の構成要素でもよいし、評価システム１０の外部に設けられてもよい。学習済みモデル２０はコンピュータシステム間で移植可能なので、評価システム１０は他のコンピュータまたはコンピュータシステムから提供された学習済みモデル２０を用いることも可能である。学習装置３０による学習済みモデル２０の生成は学習フェーズに相当する。
　一例では、プロセッサ１０１は、前処理部１１、インスタンスセグメンテーション部１２、第１セマンティックセグメンテーション部１３、第２セマンティックセグメンテーション部１４、特定部１５、後処理部１６、および算出部１７として機能する。これらの機能モジュールは、生成された学習済みモデル２０を用いる運用フェーズに対応する。
　前処理部１１は、原画像５１に対して前処理を実行して、１以上の対象物を示す対象画像５２を生成する機能モジュールである。
　インスタンスセグメンテーション部１２は、対象画像５２に対してインスタンスセグメンテーションを実行して、対象画像５２内の少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定する機能モジュールである。インスタンスセグメンテーション部１２は、学習済みモデル２０の一例であるインスタンスセグメンテーションモデル２１を用いてインスタンスマスクを設定する。インスタンスマスクは、個々の対象物が互いに区別されるように、インスタンスセグメンテーションによって各対象物に設定されるマスクである。
　第１セマンティックセグメンテーション部１３は、対象物の集合についての輪郭についてのセマンティックセグメンテーションを対象画像５２に対して実行して、その輪郭を示すセマンティックマスクを設定する機能モジュールである。以下ではこのセマンティックマスクを第１セマンティックマスクともいう。第１セマンティックマスクは、対象画像５２上の少なくとも一つの対象物から成る対象物集合に対して設定される。第１セマンティックセグメンテーション部１３は、対象物集合の輪郭についてのセマンティックセグメンテーションを実行する学習済みモデル２０である第１セマンティックセグメンテーションモデル２２を用いて第１セマンティックマスクを設定する。
　第２セマンティックセグメンテーション部１４は、対象物集合のコーティング領域についてのセマンティックセグメンテーションを対象画像５２に対して実行して、そのコーティング領域を示すセマンティックマスクを設定する機能モジュールである。以下ではこのセマンティックマスクを第２セマンティックマスクともいう。第２セマンティックマスクは、対象物集合に対応する少なくとも一つのコーティング領域から成るコーティング集合に対して設定される。第２セマンティックセグメンテーション部１４は、対象物集合のコーティング領域についてのセマンティックセグメンテーションを実行する学習済みモデル２０である第２セマンティックセグメンテーションモデル２３を用いて第２セマンティックマスクを設定する。
　特定部１５は少なくとも一つのインスタンスマスク、第１セマンティックマスク、および第２セマンティックマスクに基づいて、対象画像５２における対象物の輪郭およびコーティング領域を特定する機能モジュールである。
　後処理部１６は、対象物が特定された対象画像５２に対して後処理を実行する機能モジュールである。
　算出部１７は、特定された各対象物の被覆に関する評価値を算出する機能モジュールである。
　［システムの動作］
　以下では、評価システム１０に関連する処理の例を説明すると共に、本開示に係る画像解析方法および評価方法の例を説明する。以下の例では対象物として粒子状物質を示し、コーティング要素としてコア粒子上の個々の微粒子を示す。
　（学習済みモデルの生成）
　図２を参照しながら、学習済みモデル２０の生成について説明する。図２はその処理の一例を処理フローＳ１として示すフローチャートである。処理フローＳ１は学習フェーズに相当する。処理フローＳ１はインスタンスセグメンテーションモデル２１、第１セマンティックセグメンテーションモデル２２、および第２セマンティックセグメンテーションモデル２３のそれぞれについて実行され、したがって、これら３種類の学習済みモデルに共通の処理である。
　ステップＳ１１では、学習装置３０が一つの教師画像を教師画像データベース４１から取得する。教師画像は、機械学習において正解（ｇｒｏｕｎｄ　ｔｒｕｔｈ）として扱われる情報であるラベルが関連付けられた画像である。一例では、提供されたサンプル画像に対してユーザ操作によってラベルが設定されることで、教師画像が生成される。インスタンスセグメンテーションモデル２１を生成するための教師画像のラベルは、各対象物に設定されるインスタンスマスクである。第１セマンティックセグメンテーションモデル２２を生成するための教師画像のラベルは、対象物集合に設定される第１セマンティックマスクである。第２セマンティックセグメンテーションモデル２３を生成するための教師画像のラベルは、コーティング集合に設定される第２セマンティックマスクである。一例では、ラベルとしての第２セマンティックマスクは、所定の閾値以上の面積または高さを有するコーティング領域またはコーティング要素に設定される。面積に関する閾値も高さに関する閾値も、対象物の種類等に応じて適宜設定されてよい。
　ステップＳ１２では、学習装置３０が教師画像に基づく学習を実行する。一例では、学習装置３０はニューラルネットワークを含む機械学習モデルに教師画像を入力し、その機械学習モデルから出力される推定結果を得る。学習装置３０はその推定結果と、教師画像のラベルとの誤差に基づいて、バックプロパゲーション（誤差逆伝播法）等の手法を用いて機械学習モデル内のパラメータを更新する。例えば学習装置３０はニューラルネットワークの重みを更新する。一例では、学習装置３０は、インスタンスセグメンテーションモデル２１を生成するために、Ｍａｓｋ　Ｒ－ＣＮＮによる学習を実行し、第１および第２セマンティックセグメンテーションモデル２２，２３を生成するために、Ｕ－Ｎｅｔによる学習を実行する。
　ステップＳ１３では、学習装置３０が機械学習を終了するか否かを判定する。所定の終了条件を満たさないと学習装置３０が判定した場合には（ステップＳ１３においてＮＯ）、処理はステップＳ１１に戻る。繰り返し処理では、学習装置３０はステップＳ１１において次の教師画像を取得し、ステップＳ１２においてその教師画像に基づく学習を実行する。一方、終了条件を満たすと学習装置３０が判定した場合には（ステップＳ１３においてＹＥＳ）、処理はステップＳ１４に進む。終了条件は誤差に基づいて設定されてもよいし、処理する教師画像の個数、すなわち学習の回数に基づいて設定されてもよい。あるいは、学習装置３０は所与の検証用データを用いて機械学習モデルの性能を評価し、その評価が所与の基準を満たす場合に機械学習を終了してもよい。
　ステップＳ１４では、学習装置３０が、機械学習が終了した機械学習モデルを学習済みモデル２０（インスタンスセグメンテーションモデル２１、第１セマンティックセグメンテーションモデル２２、または第２セマンティックセグメンテーションモデル２３）として出力する。一例では、学習装置３０はその学習済みモデル２０を評価システム１０の補助記憶装置に格納する。
　上述したように、処理フローＳ１はインスタンスセグメンテーションモデル２１、第１セマンティックセグメンテーションモデル２２、および第２セマンティックセグメンテーションモデル２３のそれぞれについて実行される。これら３種類の学習済みモデル２０は評価システム１０によって用いられる。
　（対象画像の解析および対象物の評価）
　図３および図４を参照しながら、対象画像を解析して対象物を評価する処理について説明する。図３はその処理の一例を処理フローＳ２として示すフローチャートである。図４は対象画像から対象物を特定する処理の詳細を示すフローチャートである。
　ステップＳ２１では、前処理部１１が原画像５１を原画像データベース４２から取得する。一例では、粒子状物質を示す原画像５１は、カーボンテープ上に採取された複数の粒子状物質を走査型電子顕微鏡（ＳＥＭ）によって撮像することにより得られるＳＥＭ画像である。
　ステップＳ２２では、前処理部１１が、原画像５１に対する前処理を実行して対象画像５２を生成する。文字列、目盛等の補助情報が原画像５１中に表記されている場合には、前処理部１１はその補助情報をトリミング等の画像処理によって除去して、補助情報を含まない対象画像５２を生成してもよい。前処理部１１は原画像５１に対してヒストグラム平坦化を実行して、コントラストが高い対象画像５２、すなわち対象物をより明瞭に写す対象画像５２を生成してもよい。このように、前処理は補助情報の削除とヒストグラム平坦化との少なくとも一方を含み得る。
　ステップＳ２３では、インスタンスセグメンテーション部１２、第１セマンティックセグメンテーション部１３、第２セマンティックセグメンテーション部１４、および特定部１５が協働して対象画像５２から対象物を特定する。図４を参照しながらこの処理の詳細を説明する。
　ステップＳ２３１では、インスタンスセグメンテーション部１２、第１セマンティックセグメンテーション部１３、および第２セマンティックセグメンテーション部１４のそれぞれが前処理部１１から対象画像５２を取得する。
　ステップＳ２３２では、インスタンスセグメンテーション部１２が対象画像５２に対してインスタンスセグメンテーションを実行する。インスタンスセグメンテーション部１２は対象画像５２をインスタンスセグメンテーションモデル２１に入力し、この学習済みモデルによって推定されたインスタンスマスクを取得する。この結果、インスタンスセグメンテーション部１２は、対象画像５２に写る１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定する。
　図５はインスタンスセグメンテーションの一例を示す図である。図５は、インスタンスセグメンテーション部１２によって処理された対象画像５２の一部を部分画像２０１として示す。部分画像２０１は、隣り合う対象物３１０，３２０を写す。この例では、対象物３１０に対してインスタンスマスク２１１が設定され、対象物３２０に対してインスタンスマスク２１２が設定される。上述したように、インスタンスマスクの形状の精度は相対的に低い。この例では、インスタンスマスク２１１，２１２の外縁は対象物３１０，３２０の輪郭と完全に一致しない。例えば、インスタンスマスク２１１は、対象物３１０の輪郭より外側の領域を覆う一方で、対象物３１０のわずかな部分を覆っていない。インスタンスマスク２１２と対象物３２０との関係も同様である。
　図４に戻って、ステップＳ２３３では、第１セマンティックセグメンテーション部１３が対象画像５２に対して輪郭についてのセマンティックセグメンテーションを実行する。第１セマンティックセグメンテーション部１３は対象画像５２を第１セマンティックセグメンテーションモデル２２に入力し、この学習済みモデルによって推定された第１セマンティックマスクを取得する。この結果、第１セマンティックセグメンテーション部１３は、対象画像５２に写る少なくとも一つの対象物から成る対象物集合の輪郭を示す第１セマンティックマスクを設定する。
　ステップＳ２３４では、第２セマンティックセグメンテーション部１４が対象画像５２に対してコーティング領域についてのセマンティックセグメンテーションを実行する。第２セマンティックセグメンテーション部１４は対象画像５２を第２セマンティックセグメンテーションモデル２３に入力し、この学習済みモデルによって推定された第２セマンティックマスクを取得する。この結果、第２セマンティックセグメンテーション部１４は、コーティング集合を示す第２セマンティックマスクを設定する。
　ステップＳ２３５では、特定部１５が第１セマンティックマスクおよび第２セマンティックマスクを合成して、対象物集合の輪郭およびコーティング領域の双方を示す統合セマンティックマスクを生成する。
　図６はセマンティックセグメンテーションの一例を示す図である。図６は、第１セマンティックセグメンテーション部１３によって処理された対象画像５２の一部を部分画像２０２として示し、第２セマンティックセグメンテーション部１４によって処理された対象画像５２の一部を部分画像２０３として示す。部分画像２０２，２０３はいずれも、図５に示す部分画像２０１に対応する。
　この例では、対象物３１０，３２０の集合に対して第１セマンティックマスク２２１が設定され、対象物３１０，３２０上のコーティング領域の集合に対して第２セマンティックマスク２２２が設定される。この例では、第２セマンティックマスク２２２は、所定の閾値以上の面積または高さを有するコーティング領域またはコーティング要素に設定される。このような第２セマンティックマスク２２２の結果は、教師画像に設定されるラベルに起因する。セマンティックマスクは同種の２以上の物体を区別しないので、第１セマンティックマスク２２１は対象物３１０と３２０とを区別せず、第２セマンティックマスク２２２は個々のコーティング領域を区別しない。上述したように、セマンティックマスクの形状の精度は相対的に高い。この例では、第１セマンティックマスク２２１の外縁は対象物３１０，３２０の輪郭とほぼ一致し、第２セマンティックマスク２２２の外縁は個々のコーティング領域の輪郭とほぼ一致する。部分画像２０４は部分画像２０２，２０３を合成することで得られる。部分画像２０４は、第１セマンティックマスク２２１および第２セマンティックマスク２２２の双方から成る統合セマンティックマスクを示す。
　図４に戻って、ステップＳ２３６では、特定部１５が、インスタンスセグメンテーション部１２によって得られた各インスタンスマスクに基づいて、仮インスタンスマスクおよび仮重心を設定する。一例では、特定部１５はそれぞれのインスタンスマスクをそのまま仮インスタンスマスクとして設定し、それぞれのインスタンスマスクの重心をそのまま仮重心として設定する。
　ステップＳ２３７では、特定部１５がそれぞれの仮インスタンスマスクを膨張させる。この膨張は、仮インスタンスマスクの外縁を径方向外側に向けてｎピクセルだけ移動させて、仮インスタンスマスクの面積を増加させる処理である。この処理は、対象物の全体を覆うようにそれぞれの仮インスタンスマスクを設定することを意図する。値ｎは対象物の一般的な形状または寸法に応じて設定されてよい。
　図７は仮インスタンスマスクの膨張の一例を示す図である。この例では、特定部１５は、仮インスタンスマスク２１１，２１２のそれぞれを膨張させる。この処理により、膨張させた仮インスタンスマスク２１１は対象物３１０の全体を覆い、膨張させたインスタンスマスク２１２は対象物３２０の全体を覆う。
　図４に戻って、ステップＳ２３８では、特定部１５が、膨張させたそれぞれの仮インスタンスマスクについて非重複部分を統合セマンティックマスクに置換する。仮インスタンスマスクの非重複部分とは、他の仮インスタンスマスクと重ならない部分をいう。特定部１５はその非重複部分を、統合セマンティックマスクのうち該非重複部分に対応する部分に置換して、該非重複部分における対象物の輪郭およびコーティング領域を最終的に特定する。一例では、特定部１５は、個々の対象物を一意に特定するための識別子である対象物ＩＤをそれぞれの非重複部分に関連付けて、置換された個々のマスクを個々の対象物に対応させる。
　ステップＳ２３９では、特定部１５が、膨張させたそれぞれの仮インスタンスマスクについて重複部分を統合セマンティックマスクに置換する。重複部分が存在しない場合にはステップＳ２３９は省略される。仮インスタンスマスクの重複部分とは、他の仮インスタンスマスクと重なる部分をいう。一例では、特定部１５は、重複部分の個々の画素と個々の仮重心との距離に基づいて、重複部分の各画素を単一の仮インスタンスマスクに割り当てる。例えば、特定部１５は重複部分の各画素について、該画素からの距離が最も短い仮重心を判定し、その仮重心を有する仮インスタンスマスクに該画素を割り当てる。特定部１５はこのような処理によって、重複部分を、個々の仮インスタンスマスクに対応する個々の部分に分割する。特定部１５はその分割によって個々の対象物の輪郭を最終的に決定する。更に、特定部１５は重複部分に対応する統合セマンティックマスクを参照して、重複部分に位置する１以上の対象物のそれぞれのコーティング領域を特定する。
　ステップＳ２３８，Ｓ２３９において、特定部１５は少なくとも一つのインスタンスマスクと統合セマンティックマスクとに基づいて、対象画像５２中の少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定する。一例では、特定部１５は、少なくとも一つのインスタンスマスクのそれぞれについて、該インスタンスマスクを、セマンティックマスクのうち対応する部分に置換して、該インスタンスマスクに対応する対象物の輪郭およびコーティング領域を特定する。第１対象物および第２対象物の重複部分が存在する場合には、特定部１５はその重複部分を、第１仮インスタンスマスクに対応する第１部分と第２仮インスタンスマスクに対応する第２部分とに分割する。そして、特定部１５は、第１仮インスタンスマスクの非重複部分および第１部分を、統合セマンティックマスクのうち対応する部分に置換して、第１対象物の輪郭およびコーティング領域を特定する。また、特定部１５は、第２インスタンスマスクの非重複部分および第２部分を、統合セマンティックマスクのうち対応する部分に置換して、第２対象物の輪郭およびコーティング領域を特定する。一例では、特定部１５は特定された各対象物について、対象物ＩＤ、輪郭、およびコーティング領域の対応を示すインスタンス情報を生成する。
　図８はマスクの置換の一例を示す図であり、図７に対応する。その図７で示すように、対象物３１０，３２０の仮インスタンスマスクは範囲２４０内で重なる。したがって、それら２個の対象物の間には重複部分が存在する。
　この例では、特定部１５は仮インスタンスマスク２１１の非重複部分を統合セマンティックマスクに置換して、対象物３１０の輪郭を示すマスク２３１と、対象物３１０のコーティング領域を示すマスク２３２とを設定する。また、特定部１５は仮インスタンスマスク２１２の非重複部分を統合セマンティックマスクに置換して、対象物３２０の輪郭を示すマスク２３３と、対象物３２０のコーティング領域を示すマスク２３４とを設定する。マスク２３１，２３３は第１セマンティックマスク２２１に対応し、マスク２３２，２３４は第２セマンティックマスク２２２に対応する。
　特定部１５は更に、範囲２４０内に位置する重複部分を統合セマンティックマスクに置換する。特定部１５は重複部分の各画素について、対象物３１０の仮重心３１１からの距離と、対象物３２０の仮重心３２１からの距離とを求め、該画素に最も近い仮重心を有する仮インスタンスマスクに該画素を関連付ける。この結果、境界線２５０が対象物３１０および対象物３２０の輪郭の一部として設定される。特定部１５は対象物３１０に対応する部分を統合セマンティックマスクに置換して、対象物３１０の輪郭を示すマスク２３１と、対象物３１０のコーティング領域を示すマスク２３２とを最終的に確定する。また、特定部１５は対象物３２０に関連付けられた部分を統合セマンティックマスクに置換して、対象物３２０の輪郭を示すマスク２３３と、対象物３２０のコーティング領域を示すマスク２３４とを最終的に確定する。確定されたマスク２３１，２３２は、対象物３１０を示す最終的なインスタンスマスクであるといえ、確定されたマスク２３３，２３４は、対象物３２０を示す最終的なインスタンスマスクであるといえる。
　図４に戻って、ステップＳ２４０では、後処理部１６が、対象物が特定された対象画像５２に対する後処理を実行する。例えば、後処理部１６は、対象画像５２の端に位置して全体が写っていない対象物のインスタンス情報を削除または無効化してもよい。
　図３に戻って、ステップＳ２４では、算出部１７が、特定された対象物に関する評価値を算出する。対象物に関する評価値は、基材およびコーティング層を含む対象物全体に関する評価値でもよいし、コーティング層に関する評価値でもよいし、コーティング要素に関する評価値でもよい。例えば、算出部１７は対象物の寸法を算出してもよい。あるいは、算出部１７は、コーティング領域による基材の被覆に関する評価値を算出してもよく、例えば、コーティング領域によって基材が被覆された割合を示す被覆率を算出してもよい。あるいは、算出部１７は少なくとも一つのコーティング要素のそれぞれについて、面積、高さ、半径等の物理パラメータを評価値として算出してもよい。コーティング要素の高さとは、基材表面からコーティング要素の頂部までの距離をいう。あるいは、算出部１７は少なくとも一つのコーティング要素のそれぞれについて、真円度等のような、形状に関する評価値を算出してもよい。算出部１７は標準偏差、平均値、中央値等のような、複数のコーティング要素に関する統計値を評価値として算出してもよい。例えば、算出部１７は面積、真円度、高さ、半径等の様々な物理パラメータについての統計値を算出し得る。コーティング要素が粒子である場合には、算出部１７は粒子径の変動係数（Ｃｏｅｆｆｉｃｉｅｎｔ　ｏｆ　Ｖａｒｉａｔｉｏｎ）であるＣＶ値を評価値として算出してもよい。ＣＶ値は下記式により得られる。ＣＶ値も統計値の一例である。
ＣＶ値＝（標準偏差）／（中位径）
　算出部１７は、特定された１以上の対象物のうち、所定の要件を満たす対象物に限って評価値を算出してもよい。例えば、算出部１７は、対象物の輪郭の全長に対する、重複部分に対応する輪郭の長さの割合が所定の閾値以下である対象物に限って、評価値を算出してもよい。その閾値は例えば３０％でもよい。図８に示す例では、「重複部分に対応する輪郭」は境界線２５０上に位置する輪郭である。重複部分に対応する輪郭の長さの割合が相対的に大きい場合には、特定された輪郭が対象物の実際の輪郭から乖離する可能性がある。そのような可能性を持つ対象物を評価値の計算から排除することで、より正確な評価値を得ることが可能になる。
　図９を参照しながら、評価値の算出方法に関する様々な例を説明する。図９はその算出方法を説明するための図である。この例に示す対象物は、基材３３１と、コーティング要素である微粒子３３２とを有する粒子状物質３３０である。
　一例では、算出部１７は粒子状物質３３０の径、すなわち粒径を算出する。算出部１７は仮重心３３３を中心に周方向に沿って粒子状物質３３０を仮想的にｎ等分して、ｎ個の扇状区間を設定する。続いて、算出部１７は各扇状区間において粒子状物質３３０の半径を算出する。算出部１７はｉ番目の扇状区間について次のようにその半径を算出する。すなわち、算出部１７はｉ番目の扇状区間と（ｉ＋１）番目の扇状区間とにわたって、粒子状物質３３０の輪郭上に角度θ毎にサンプル点を設定する。そして、算出部１７は各サンプル点について仮重心３３３からの距離を算出する。続いて、算出部１７は算出された複数の距離を降順にソートして上位ｐ個の距離を取得し、そのｐ個の距離の平均値を半径として得る。或る扇状区間での半径を算出するために次の扇状区間のサンプル点も用いることで、扇状区間の境界上に微粒子３３２が存在したり歪な微粒子３３２が存在したりするために生じ得る半径の誤差を抑制し得る。算出部１７はｎ個の扇状区間での半径の平均値を求め、その平均値の２倍を粒径として得る。
　算出部１７は、重複部分に対応する輪郭に対応する扇状区間を除外し、残りの扇状区間のそれぞれにおける半径を算出し、算出された複数の半径の平均値の２倍を粒径として求めてもよい。
　図９の例では、算出部１７は２０°毎に粒子状物質３３０を仮想的に分割して１８個の扇状区間４０１，４０２，４０３，４０４，…を設定する。続いて、算出部１７は各扇状区間について半径を算出する。一例では、θ＝２°であり、ｐ＝３である。扇状区間４０１での半径を算出する場合には、算出部１７は扇状区間４０１，４０２にわたって２°毎にサンプル点を設定し、各サンプル点について仮重心３３３からの距離４１１を算出する。そして、算出部１７は上位３個の距離４１１の平均値を扇状区間４０１での半径として得る。扇状区間４０２での半径を算出する場合には、算出部１７は扇状区間４０２，４０３にわたって２°毎にサンプル点を設定し、続いて、扇状区間４０１の場合と同様に、扇状区間４０２での半径を得る。その後、算出部１７は１８個の扇状区間での半径の平均値を求め、その平均値の２倍を粒径として算出する。図９はその粒径を円４２１で示す。
　一例では、算出部１７は粒子状物質３３０での被覆率を次のように求める。すなわち、算出部１７は算出された粒径のα倍の径を有し、仮重心３３３を中心とする規定円４２２を設定する。係数αは０より大きく１より小さい値であり、例えばα＝０．６である。規定円４２２は粒子状物質３３０の中央領域に対応する。算出部１７は、規定円４２２内に位置するコーティング領域の総面積、すなわち、中央領域内に位置する１以上のコーティング要素の総面積を算出する。そして、算出部１７は中央領域（規定円４２２）の面積に対する該総面積の割合を被覆率として算出する。それぞれの面積は画素数によって特定され得る。したがって、算出部１７は、中央領域の画素数に対する、該中央領域内に位置するコーティング領域の総画素数の割合を被覆率として算出してもよい。
　一例では、算出部１７は中央領域（規定円４２２）内に位置するコーティング要素のそれぞれについて、面積を評価値として算出してもよいし、形状に関する評価値を算出してもよい。算出部１７は中央領域内に位置する複数のコーティング要素に関する統計値を評価値として算出してもよい。コーティング要素が粒子である場合には、算出部１７は中央領域内におけるＣＶ値を評価値として算出してもよい。
　一例では、算出部１７は微粒子３３２の高さを算出する。まず、算出部１７はｎ個の扇状区間のそれぞれにおいて微粒子３３２の高さを算出する。ｉ番目の扇状区間における高さの算出方法は次のとおりである。すなわち、算出部１７はｉ番目の扇状区間と（ｉ＋１）番目の扇状区間とにわたって、粒子状物質３３０の輪郭上に角度θ毎にサンプル点を設定する。そして、算出部１７は各サンプル点について仮重心３３３からの距離を算出し、算出された複数の距離を降順にソートする。続いて、算出部１７は上位ｐ個の距離を取得し、そのｐ個の距離の平均値Ｈａｖｅを最高地点として得る。また、算出部１７は下位ｐ個の距離を取得し、そのｐ個の距離の平均値Ｌａｖｅを最低地点として得る。そして、算出部１７はその二つの平均値Ｈａｖｅ，Ｌａｖｅの差を、ｉ番目の扇状区間での微粒子３３２の高さとして求める。或る扇状区間での微粒子３３２の半径を算出するために次の扇状区間のサンプル点も用いることで、扇状区間の境界上に微粒子３３２が存在したり歪な微粒子３３２が存在したりするために生じ得る高さの誤差を抑制し得る。算出部１７はｎ個の扇状区間での高さの平均値を求め、その平均値を粒子状物質３３０の微粒子３３２の高さとして得る。
　図９の例では、算出部１７は１８個の扇状区間のそれぞれについて微粒子３３２の高さを算出する。一例では、θ＝２°であり、ｐ＝３である。扇状区間４０１での高さを算出する場合には、算出部１７は扇状区間４０１，４０２にわたって２°毎にサンプル点を設定し、各サンプル点について仮重心３３３からの距離４１１を算出する。そして、算出部１７は、上位３個の距離４１１の平均値Ｈａｖｅと下位３個の距離４１１の平均値Ｌａｖｅとの差を、扇状区間４０１での微粒子３３２の高さとして得る。扇状区間４０２での半径を算出する場合には、算出部１７は扇状区間４０２，４０３にわたって２°毎にサンプル点を設定し、続いて、扇状区間４０１の場合と同様に、扇状区間４０２での微粒子３３２の高さを得る。その後、算出部１７は１８個の扇状区間での高さの平均値を、粒子状物質３３０の微粒子３３２の高さとして求める。
　算出部１７は、重複部分に対応する輪郭に対応する扇状区間を除外し、残りの扇状区間のそれぞれについて微粒子３３２の高さを算出し、算出された複数の高さの平均値を粒子状物質３３０の微粒子３３２の高さとして求めてもよい。
　図３に戻って、ステップＳ２５では、算出部１７が評価値を出力する。算出部１７は評価値を、モニタ上に表示してもよいし、データベース等の所定の記憶装置に格納してもよいし、他のコンピュータに送信してもよい。
　算出部１７は、インスタンスセグメンテーションおよびセマンティックセグメンテーションの少なくとも一方の結果を表示してもよい。例えば、算出部１７は、インスタンスマスク（仮インスタンスマスク）、第１セマンティックマスク、第２セマンティックマスク、または統合セマンティックマスクが重畳された対象画像５２を表示してもよい。あるいは、算出部１７はインスタンス情報に基づいて、最終的なインスタンスマスクが重畳された対象画像５２を表示してもよい。ユーザはこれらのような画像を通して、画像セグメンテーションの結果、評価値の根拠等を確認できる。
　評価システム１０は処理フローＳ２を複数回または繰り返し実行し得る。例えば、評価システム１０は、ユーザが対象画像５２を選択する度に、その選択に応答して処理フローＳ２を実行する。評価システム１０は、複数の対象物に対応する複数の評価値の統計値を、更なる評価値として算出してもよい。
　［変形例］
　以上、本開示に係る技術をその様々な例に基づいて詳細に説明した。しかし、本開示は上記の例に限定されるものではない。本開示に係る技術については、その要旨を逸脱しない範囲で様々な変形が可能である。
　原画像はデータベース以外の装置から提供されてもよく、例えば、ＳＥＭ、カメラ等のような撮像装置から直接に提供されてもよい。
　上記の例では特定部１５が第１セマンティックマスクおよび第２セマンティックマスクを合成して統合セマンティックマスクを生成するが、対象物集合の輪郭およびコーティング領域を示すセマンティックマスクは別の手法により設定されてもよい。例えば、画像解析システムは、対象物集合の輪郭およびコーティング領域の双方についてのセマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、そのセマンティックマスクを設定してもよい。
　少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップの一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。例えば、対象画像に対する前処理および後処理の少なくとも一方が省略されてもよい。仮インスタンスマスクの膨張も省略可能である。
　本開示における二つの数値の大小関係の比較では、「以上」および「よりも大きい」という二つの基準のどちらが用いられてもよく、「以下」および「未満」の二つの基準のうちのどちらが用いられてもよい。
　本開示において、「少なくとも一つのプロセッサが、第１の処理を実行し、第２の処理を実行し、…第ｎの処理を実行する。」との表現、またはこれに対応する表現は、第１の処理から第ｎの処理までのｎ個の処理の実行主体（すなわちプロセッサ）が途中で変わる場合を含む概念を示す。すなわち、この表現は、ｎ個の処理のすべてが同じプロセッサで実行される場合と、ｎ個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念を示す。
　［付記］
　上記の様々な例から把握されるとおり、本開示は以下に示す態様を含む。
（付記１）
　少なくとも一つのプロセッサを備え、
　前記少なくとも一つのプロセッサが、
　　基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、
　　インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、
　　セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、
　　前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定する、
画像解析システム。
（付記２）
　前記少なくとも一つのプロセッサが、前記少なくとも一つのインスタンスマスクのそれぞれについて、該インスタンスマスクを、前記セマンティックマスクのうち対応する部分に置換して、該インスタンスマスクに対応する前記対象物の前記輪郭および前記コーティング領域を特定する、
付記１に記載の画像解析システム。
（付記３）
　前記１以上の対象物が、隣り合う第１対象物および第２対象物を含み、
　前記少なくとも一つのインスタンスマスクが、前記第１対象物に対応する第１インスタンスマスクと、前記第２対象物に対応する第２インスタンスマスクとを含み、
　前記少なくとも一つのプロセッサが、
　　前記第１インスタンスマスクおよび前記第２インスタンスマスクの重複部分を、前記第１インスタンスマスクに対応する第１部分と前記第２インスタンスマスクに対応する第２部分とに分割し、
　　前記第１インスタンスマスクの非重複部分および前記第１部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第１対象物の前記輪郭および前記コーティング領域を特定し、
　　前記第２インスタンスマスクの非重複部分および前記第２部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第２対象物の前記輪郭および前記コーティング領域を特定する、
付記２に記載の画像解析システム。
（付記４）
　前記少なくとも一つのプロセッサが、
　　前記重複部分の各画素について、該画素から前記第１インスタンスマスクの第１重心までの距離と、該画素から前記第２インスタンスマスクの第２重心までの距離とに基づいて、該画素を前記第１インスタンスマスクおよび前記第２インスタンスマスクの一方に割り当て、これにより前記重複部分を前記第１部分と前記第２部分とに分割する、
付記３に記載の画像解析システム。
（付記５）
　前記少なくとも一つのプロセッサが、
　　前記少なくとも一つのインスタンスマスクのそれぞれを膨張させ、
　　前記膨張させた少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて前記輪郭および前記コーティング領域を特定する、
付記１～４のいずれか一つに記載の画像解析システム。
（付記６）
　前記少なくとも一つのプロセッサが、
　　前記輪郭についてのセマンティックセグメンテーションを実行する第１セマンティックセグメンテーションモデルに前記対象画像を入力して、前記対象物集合の前記輪郭を示す第１セマンティックマスクを設定し、
　　前記コーティング領域についてのセマンティックセグメンテーションを実行する第２セマンティックセグメンテーションモデルに前記対象画像を入力して、前記コーティング領域を示す第２セマンティックマスクを設定し、
　　前記第１セマンティックマスクおよび前記第２セマンティックマスクを合成して、前記対象物集合の前記輪郭および前記コーティング領域を示す前記セマンティックマスクを設定する、
付記１～５のいずれか一つに記載の画像解析システム。
（付記７）
　前記対象物が粒子状物質である、
付記１～６のいずれか一つに記載の画像解析システム。
（付記８）
　前記基材がコア粒子であり、
　前記コーティング領域が複数の微粒子の集合である、
付記７に記載の画像解析システム。
（付記９）
　少なくとも一つのプロセッサを備える画像解析システムにより実行される画像解析方法であって、
　基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
　インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
　セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
　前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
を含む画像解析方法。
（付記１０）
　基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
　インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
　セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
　前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
をコンピュータに実行させる画像解析プログラム。
　付記１，９，１０によれば、インスタンスセグメンテーションとセマンティックセグメンテーションという２種類の画像セグメンテーションが実行されて、各対象物について２種類のマスクが設定される。そして、その２種類のマスクに基づいて、各対象物について輪郭およびコーティング領域が特定される。このように一つの対象画像に対して２種類の画像セグメンテーションを適用することで、上述したインスタンスセグメンテーションおよびセマンティックセグメンテーションの双方の長所を生かして、画像中の対象物を正確に特定できる。対象物が正確に特定されることで、その対象物に関する評価もより正確に行うことが可能になる。
　付記２によれば、個々の対象物を互いに区別するインスタンスマスクが基準として用いられた上で、形状の精度が高いセマンティックマスクによってそのインスタンスマスクが置換される。このように２種類のマスクを用いることで、対象物の輪郭およびコーティング領域を正確に特定できる。
　付記３によれば、隣り合うインスタンスマスクが重なり合った場合にそれぞれのインスタンスマスクが明確に分けられるので、隣り合う２個の対象物のそれぞれを的確に特定できる。
　付記４によれば、各インスタンスの重心からの距離を考慮することで、重複部分の各画素を、最も確からしいと推定されるインスタンスマスクに割り当てることができる。したがって、隣り合うインスタンスマスクが重なる場合にも画像中の各対象物を正確に特定できる。
　付記５によれば、形状の精度がセマンティックマスクよりも低いインスタンスマスクを膨張させることで、対象物の全体がインスタンスマスクによってより確実に覆われる。その膨張させたインスタンスマスクがセマンティックマスクによって置換されるので、対象物の輪郭およびコーティング領域を正確に特定できる。
　付記６によれば、対象物の輪郭およびコーティング領域のそれぞれについて個別にセマンティックセグメンテーションが実行されるので、その輪郭およびコーティング領域を示すセマンティックマスクの形状をより正確に設定できる。その結果、画像中の対象物をより正確に特定できる。
　付記７によれば、画像中の粒子状物質を正確に特定できる。その結果、粒子状物質に関する評価もより正確に行うことが可能になる。
　付記８によれば、インスタンスセグメンテーションおよびセマンティックセグメンテーションを用いて複数の微粒子の集合を正確に特定できる。その結果、微粒子をコーティング領域の構成要素として含む粒子状物質をより正確に評価できる。
１０…評価システム、１１…前処理部、１２…インスタンスセグメンテーション部、１３…第１セマンティックセグメンテーション部、１４…第２セマンティックセグメンテーション部、１５…特定部、１６…後処理部、１７…算出部、２０…学習済みモデル、２１…インスタンスセグメンテーションモデル、２２…第１セマンティックセグメンテーションモデル、２３…第２セマンティックセグメンテーションモデル、３０…学習装置、４１…教師画像データベース、４２…原画像データベース、５１…原画像、５２…対象画像、２１１，２１２…インスタンスマスク（仮インスタンスマスク）、２２１…第１セマンティックマスク、２２２…第２セマンティックマスク、３１０，３２０…対象物、３１１，３２１…仮重心、３３０…粒子状物質、３３１…基材、３３２…微粒子、３３３…仮重心。

 

Claims (10)

  1. 　少なくとも一つのプロセッサを備え、
    　前記少なくとも一つのプロセッサが、
    　　基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、
    　　インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、
    　　セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、
    　　前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定する、
    画像解析システム。
  2. 　前記少なくとも一つのプロセッサが、前記少なくとも一つのインスタンスマスクのそれぞれについて、該インスタンスマスクを、前記セマンティックマスクのうち対応する部分に置換して、該インスタンスマスクに対応する前記対象物の前記輪郭および前記コーティング領域を特定する、
    請求項１に記載の画像解析システム。
  3. 　前記１以上の対象物が、隣り合う第１対象物および第２対象物を含み、
    　前記少なくとも一つのインスタンスマスクが、前記第１対象物に対応する第１インスタンスマスクと、前記第２対象物に対応する第２インスタンスマスクとを含み、
    　前記少なくとも一つのプロセッサが、
    　　前記第１インスタンスマスクおよび前記第２インスタンスマスクの重複部分を、前記第１インスタンスマスクに対応する第１部分と前記第２インスタンスマスクに対応する第２部分とに分割し、
    　　前記第１インスタンスマスクの非重複部分および前記第１部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第１対象物の前記輪郭および前記コーティング領域を特定し、
    　　前記第２インスタンスマスクの非重複部分および前記第２部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第２対象物の前記輪郭および前記コーティング領域を特定する、
    請求項２に記載の画像解析システム。
  4. 　前記少なくとも一つのプロセッサが、
    　　前記重複部分の各画素について、該画素から前記第１インスタンスマスクの第１重心までの距離と、該画素から前記第２インスタンスマスクの第２重心までの距離とに基づいて、該画素を前記第１インスタンスマスクおよび前記第２インスタンスマスクの一方に割り当て、これにより前記重複部分を前記第１部分と前記第２部分とに分割する、
    請求項３に記載の画像解析システム。
  5. 　前記少なくとも一つのプロセッサが、
    　　前記少なくとも一つのインスタンスマスクのそれぞれを膨張させ、
    　　前記膨張させた少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて前記輪郭および前記コーティング領域を特定する、
    請求項１～４のいずれか一項に記載の画像解析システム。
  6. 　前記少なくとも一つのプロセッサが、
    　　前記輪郭についてのセマンティックセグメンテーションを実行する第１セマンティックセグメンテーションモデルに前記対象画像を入力して、前記対象物集合の前記輪郭を示す第１セマンティックマスクを設定し、
    　　前記コーティング領域についてのセマンティックセグメンテーションを実行する第２セマンティックセグメンテーションモデルに前記対象画像を入力して、前記コーティング領域を示す第２セマンティックマスクを設定し、
    　　前記第１セマンティックマスクおよび前記第２セマンティックマスクを合成して、前記対象物集合の前記輪郭および前記コーティング領域を示す前記セマンティックマスクを設定する、
    請求項１～４のいずれか一項に記載の画像解析システム。
  7. 　前記対象物が粒子状物質である、
    請求項１～４のいずれか一項に記載の画像解析システム。
  8. 　前記基材がコア粒子であり、
    　前記コーティング領域が複数の微粒子の集合である、
    請求項７に記載の画像解析システム。
  9. 　少なくとも一つのプロセッサを備える画像解析システムにより実行される画像解析方法であって、
    　基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
    　インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
    　セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
    　前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
    を含む画像解析方法。
  10. 　基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
    　インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
    　セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
    　前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
    をコンピュータに実行させる画像解析プログラム。

     
PCT/JP2023/046750 2022-12-27 2023-12-26 画像解析システム、画像解析方法、および画像解析プログラム Ceased WO2024143401A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23912179.1A EP4618014A4 (en) 2022-12-27 2023-12-26 IMAGE ANALYSIS SYSTEM, METHOD AND PROGRAM
CN202380037386.0A CN120457452A (zh) 2022-12-27 2023-12-26 图像分析系统、图像分析方法及图像分析程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-210268 2022-12-27
JP2022210268A JP2024093718A (ja) 2022-12-27 2022-12-27 画像解析システム、画像解析方法、および画像解析プログラム

Publications (1)

Publication Number Publication Date
WO2024143401A1 true WO2024143401A1 (ja) 2024-07-04

Family

ID=91718142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/046750 Ceased WO2024143401A1 (ja) 2022-12-27 2023-12-26 画像解析システム、画像解析方法、および画像解析プログラム

Country Status (4)

Country Link
EP (1) EP4618014A4 (ja)
JP (1) JP2024093718A (ja)
CN (1) CN120457452A (ja)
WO (1) WO2024143401A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119863620A (zh) * 2024-12-04 2025-04-22 中国科学院遗传与发育生物学研究所 用于对视频数据进行标注的方法、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061722A (ja) 2014-09-19 2016-04-25 日立化成株式会社 導電粒子形状評価装置及び導電粒子形状評価方法
JP2020201243A (ja) * 2019-06-05 2020-12-17 国立大学法人電気通信大学 センシングシステム、及びセンシング方法
JP2022050347A (ja) * 2020-09-17 2022-03-30 エボニック オペレーションズ ゲーエムベーハー 被覆加工表面の定性的または定量的特徴付け

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897816B (zh) * 2022-05-09 2024-06-14 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016061722A (ja) 2014-09-19 2016-04-25 日立化成株式会社 導電粒子形状評価装置及び導電粒子形状評価方法
JP2020201243A (ja) * 2019-06-05 2020-12-17 国立大学法人電気通信大学 センシングシステム、及びセンシング方法
JP2022050347A (ja) * 2020-09-17 2022-03-30 エボニック オペレーションズ ゲーエムベーハー 被覆加工表面の定性的または定量的特徴付け

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4618014A1

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119863620A (zh) * 2024-12-04 2025-04-22 中国科学院遗传与发育生物学研究所 用于对视频数据进行标注的方法、设备和存储介质

Also Published As

Publication number Publication date
EP4618014A1 (en) 2025-09-17
JP2024093718A (ja) 2024-07-09
CN120457452A (zh) 2025-08-08
EP4618014A4 (en) 2025-09-17

Similar Documents

Publication Publication Date Title
KR102805684B1 (ko) 비지도 학습 기반 웨이퍼 불량 패턴 검출 방법 및 그 장치
CN114283332A (zh) 一种模糊聚类遥感影像分割方法、系统、终端及存储介质
CN109146920B (zh) 一种可嵌入式实现的目标跟踪方法
CN115131596B (zh) 缺陷分类装置、方法以及程序
JP2005235222A (ja) 物体の追跡方法およびその装置
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
JP2009545045A (ja) パターン分類方法
CN113436223B (zh) 点云数据的分割方法、装置、计算机设备和存储介质
CN114882215B (zh) 一种煤矸光电分选图像颗粒集料区域形选识别方法
KR20200129314A (ko) 고해상도 항공 이미지내의 물체를 감지하기 위한 단일 단계 고밀도 피라미드 특징 네트워크
CN120807853B (zh) 一种基于bim的工程建筑构件模型构建方法及系统
CN115457044A (zh) 基于类激活映射的路面裂缝分割方法
CN106295716A (zh) 一种基于视频信息的交通运动目标分类方法及装置
CN117992765A (zh) 基于动态新兴标记的偏标签学习方法、装置、设备及介质
WO2024143401A1 (ja) 画像解析システム、画像解析方法、および画像解析プログラム
CN117788735A (zh) 基于栅格划分的动态点云去除方法
CN116266359A (zh) 目标物的跟踪方法、装置、计算机设备和存储介质
Guermazi et al. A dynamically weighted loss function for unsupervised image segmentation
US20250316052A1 (en) Training Method for Training a Machine Learning Algorithm, Segmentation Method, Computer Program Product and Segmentation Device
CN117173195A (zh) 一种基于Transformer的3D实例分割方法、系统和设备
JP2008084076A (ja) 画像処理装置、方法およびプログラム
CN120526229B (zh) 基于数字图像和深度学习算法的矿物颗粒识别与分级方法
CN114022404A (zh) 一种通信设备的检测方法、装置及电子设备
CN116051959B (zh) 一种目标检测方法、装置
WO2021005745A1 (ja) 情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23912179

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380037386.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023912179

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023912179

Country of ref document: EP

Effective date: 20250609

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380037386.0

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2023912179

Country of ref document: EP