WO2020049864A1 - 情報処理方法及び情報処理システム - Google Patents

情報処理方法及び情報処理システム Download PDF

Info

Publication number
WO2020049864A1
WO2020049864A1 PCT/JP2019/027259 JP2019027259W WO2020049864A1 WO 2020049864 A1 WO2020049864 A1 WO 2020049864A1 JP 2019027259 W JP2019027259 W JP 2019027259W WO 2020049864 A1 WO2020049864 A1 WO 2020049864A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition result
recognition
likelihood
candidate
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/027259
Other languages
English (en)
French (fr)
Inventor
デニス グドフスキー
拓也 山口
育規 石井
宗太郎 築澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019076509A external-priority patent/JP7287823B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to EP19857798.3A priority Critical patent/EP3848889A4/en
Priority to CN201980005088.7A priority patent/CN111213180A/zh
Publication of WO2020049864A1 publication Critical patent/WO2020049864A1/ja
Priority to US16/849,334 priority patent/US11449706B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an information processing method and the like.
  • Non-Patent Document 1 a method for visualizing the reaction of a deep neural network has been proposed (for example, Non-Patent Document 1).
  • recognition processing such as object detection
  • an object may not be detected, and it may be difficult to analyze the output of the recognition processing.
  • an object of the present disclosure is to provide an information processing method or the like capable of outputting information for analyzing the output of the recognition process even when no object is detected in the recognition process.
  • the computer obtains a plurality of recognition results on the sensing data, which are obtained by inputting sensing data to a model that is trained by machine learning and executes a recognition process.
  • Candidate and obtain the likelihood of each of the plurality of recognition result candidates, obtain an instruction to specify a portion to be analyzed in the sensing data, the relationship between each of the plurality of recognition result candidates and the portion, And selecting at least one recognition result candidate from the plurality of recognition result candidates based on the likelihood of each of the plurality of recognition result candidates, and outputting the selected at least one recognition result candidate.
  • non-transitory recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • An apparatus, a method, an integrated circuit, a computer program, and a recording medium may be realized by a non-transitory recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • FIG. 1 is an image diagram showing an input image used for the identification processing in the reference example.
  • FIG. 2 is an image diagram showing an identification result obtained by the identification processing in the reference example.
  • FIG. 3 is an image diagram showing an input image used for the detection processing in the reference example.
  • FIG. 4 is an image diagram showing a detection result obtained by the detection processing in the reference example.
  • FIG. 5 is an image diagram showing a positive contribution to the identification result in the reference example.
  • FIG. 6 is an image diagram showing a negative contribution to the identification result in the reference example.
  • FIG. 7 is a block diagram illustrating a configuration of the information processing system according to the embodiment.
  • FIG. 8 is an image diagram showing an aspect of the information processing system according to the embodiment.
  • FIG. 9 is a flowchart illustrating processing of the information processing system according to the embodiment.
  • FIG. 10 is a conceptual diagram illustrating processing of the recognition unit according to the embodiment.
  • FIG. 11 is a conceptual diagram illustrating a process of the designation unit according to the embodiment.
  • FIG. 12 is a conceptual diagram illustrating another aspect of the processing of the specifying unit according to the embodiment.
  • FIG. 13 is a conceptual diagram showing still another mode of the process of the specifying unit in the embodiment.
  • FIG. 14 is a conceptual diagram showing still another mode of the process of the specifying unit in the embodiment.
  • FIG. 15 is a conceptual diagram illustrating processing of the selection unit according to the embodiment.
  • FIG. 16 is a flowchart illustrating processing of the selection unit according to the embodiment.
  • FIG. 17 is a flowchart illustrating another mode of the process of the selection unit according to the embodiment.
  • FIG. 16 is a flowchart illustrating processing of the selection unit according to the embodiment.
  • FIG. 18 is a conceptual diagram illustrating a process of deriving an analysis target area from designated coordinates according to the embodiment.
  • FIG. 19 is a conceptual diagram showing another aspect of the processing for deriving the analysis target area from the designated coordinates in the embodiment.
  • FIG. 20 is a conceptual diagram illustrating a process of the analysis unit according to the embodiment.
  • a neural network is a mathematical model simulating the nerves of an organism, and this mathematical model may have multiple layers.
  • the neural network type recognition model is a model configured by a neural network, and is a model for performing recognition processing. For example, sensing data such as an image is input to a neural network type recognition model, and the content of the sensing data is recognized by the neural network type recognition model.
  • various recognition processes are performed according to various recognition models, and these recognition processes are classified into an identification process, a detection process, a segmentation process, and the like.
  • the identification process what the sensing data represents is identified.
  • the identification process is also referred to as a classification process.
  • the sensing data is classified into one of a plurality of types.
  • the detection processing a portion representing the content of the detection target in the sensing data is detected.
  • the detection process which part of the sensing data represents what is detected.
  • FIG. 1 is an image diagram showing an input image used for the identification processing in the reference example.
  • the input image shown in FIG. 1 is input to a recognition model that performs an identification process.
  • FIG. 2 is an image diagram showing an identification result obtained by the identification processing in the reference example. For example, by inputting the input image shown in FIG. 1 to a recognition model for performing a classification process, the classification result shown in FIG. 2 is obtained. Specifically, the identification result indicates that the input image represents a dog.
  • FIG. 3 is an image diagram showing an input image used for the detection processing in the reference example.
  • the input image shown in FIG. 3 is input to a recognition model that performs a detection process.
  • FIG. 4 is an image diagram showing a detection result obtained by the detection processing in the reference example. For example, by inputting the input image shown in FIG. 3 to a recognition model for performing a detection process, the identification result shown in FIG. 4 is obtained. Specifically, a portion representing a dog is obtained as a detection result. In other words, the detection result indicates that the dotted frame in FIG. 4 represents a dog.
  • Non-Patent Document 1 is an example.
  • FIG. 5 is an image diagram showing a positive contribution to the identification result shown in FIG.
  • the degree of positively contributing to the identification result that the input image represents a dog is represented by the density of points.
  • the degree of positively contributing to the identification result may be expressed by the color density or the like for each pixel.
  • the part where the dog's head appears in the input image and the part where the dog's tail appears in the input image positively contribute to the identification result that the input image represents the dog. That is, the portion where the dog's head is reflected and the portion where the dog's tail is reflected guide the identification result in the direction that the input image represents the dog.
  • FIG. 6 is an image diagram showing a negative contribution to the identification result shown in FIG.
  • the degree of negatively contributing to the identification result that the input image represents a dog is represented by the density of points.
  • the degree of negatively contributing to the identification result may be expressed by the color density or the like for each pixel.
  • the portion of the input image where the dog's paw is shown contributes negatively to the identification result that the input image represents a dog.
  • the portion where the front paws of the dog is reflected leads the identification result in the direction that the input image does not represent the dog.
  • the positive contribution and the negative contribution are represented separately, but may be represented in combination with the positive contribution and the negative contribution.
  • the degree of positively contributing to the identification result may be expressed by red density
  • the degree of negatively contributing to the identification result may be expressed by blue density.
  • the factor of the identification result that the input image represents a dog is shown.
  • Such information is useful for improving the accuracy of the recognition model. For example, if the identification result is incorrect, it is possible to adjust the parameters of the recognition model or perform relearning based on the factor. Therefore, it is possible to efficiently improve the accuracy of the recognition model.
  • the identification result of the identification process is simple, but the detection result of the detection process is complicated. Therefore, it is difficult to apply the process of deriving the contribution in the identification process to the detection process.
  • the detection processing when an object is correctly detected or when an object is erroneously detected, it may be possible to derive the degree of contribution to the object detection for each pixel of the image.
  • an object may not be detected in the detection processing. In this case, there is no degree that has contributed to the detection of the object, and it is difficult to derive the degree of contribution.
  • a computer is obtained by inputting sensing data into a model that is trained by machine learning and executes a recognition process.
  • a plurality of recognition result candidates, and the likelihood of each of the plurality of recognition result candidates are obtained, an instruction to specify a part to be analyzed in the sensing data is obtained, and each of the plurality of recognition result candidates and the part are obtained.
  • at least one recognition result candidate is selected from the plurality of recognition result candidates based on the likelihood of each of the plurality of recognition result candidates, and the selected at least one recognition result candidate is output. I do.
  • the computer further presents a processing result based on the outputted at least one recognition result candidate.
  • the processing result indicates a degree to which each of a plurality of values included in the sensing data contributes to the likelihood of each of the output at least one recognition result candidate.
  • the relationship is at least one of the presence / absence of overlap between each of the plurality of recognition result candidates and the portion and the degree of overlap.
  • each of the at least one recognition result candidate selected from the plurality of recognition result candidates is a recognition result candidate whose likelihood is higher than a threshold value among the plurality of recognition result candidates.
  • the computer lowers the threshold, and , The at least one recognition result candidate is selected based on the likelihood and the lowered threshold value.
  • the computer further outputs the likelihood of each of the selected at least one recognition result candidate.
  • the sensing data is an image
  • the recognition process is an object recognition process on the image
  • each of the plurality of recognition result candidates is a candidate for an object appearing in the image.
  • the information processing system may include a plurality of recognition methods on the sensing data, which are obtained by inputting sensing data to a model that is trained by machine learning and that executes a recognition process.
  • a result candidate, and the likelihood of each of the plurality of recognition result candidates are obtained, an instruction to specify a part to be analyzed in the sensing data is obtained, and the relationship between each of the plurality of recognition result candidates and the part is obtained.
  • a computer that selects at least one recognition result candidate from the plurality of recognition result candidates based on the likelihood of each of the plurality of recognition result candidates, and outputs the selected at least one recognition result candidate.
  • the information processing system can output a recognition result candidate useful for the analysis processing or the like based on the designated portion. That is, the information processing system can output information for analyzing the output of the recognition process even when no object is detected in the recognition process.
  • a non-transitory recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • An apparatus, a method, an integrated circuit, a computer program, and a recording medium may be implemented in a non-transitory recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • FIG. 7 is a block diagram illustrating a configuration of the information processing system according to the present embodiment.
  • the information processing system 100 illustrated in FIG. 7 includes a recognition unit 101, a designation unit 102, a selection unit 103, and an analysis unit 104.
  • each component is configured by an electric circuit, and can transmit information to another component via wired or wireless communication, an input / output circuit, or the like.
  • the recognition unit 101 is an information processing unit that acquires sensing data and performs a recognition process on the sensing data. For example, the recognition unit 101 performs a recognition process on the sensing data by inputting the sensing data to the recognition model, and acquires a recognition result. At that time, the recognition unit 101 inputs a plurality of recognition result candidates on the sensing data and a likelihood of each of the plurality of recognition result candidates by inputting the sensing data to the recognition model. Then, the recognition unit 101 obtains a final recognition result indicating a recognition result candidate whose likelihood is equal to or larger than the threshold.
  • the sensing data is an image
  • the recognition process is a process of detecting an object in the image
  • the recognition result is a detection result as shown in FIG. 4
  • each of the plurality of recognition result candidates is an object in the image. Is a candidate.
  • the recognition model is a model trained by machine learning, and is a model that executes a recognition process.
  • the recognition unit 101 may train a recognition model using the correct answer data.
  • the recognition model may be a mathematical model called a neural network. More specifically, an object such as an SSD (Single Shot multibox Detector), a Faster-RCNN (Faster Region-based Convolutional Neutral Network), or a YOLO (Your Only Look) that recognizes an object such as a model that recognizes an object such as a Only-Look is used. You may.
  • SSD Single Shot multibox Detector
  • Faster-RCNN Faster Region-based Convolutional Neutral Network
  • YOLO Your Only Look
  • ⁇ Recognition unit 101 also outputs to recognition unit 103 the plurality of recognition result candidates on the sensing data and the likelihood of each of the plurality of recognition result candidates. That is, the recognition unit 101 outputs to the selection unit 103 a plurality of recognition result candidates on the sensing data and information indicating the likelihood of each of the plurality of recognition result candidates. The recognition unit 101 does not necessarily need to obtain the final recognition result indicating the recognition result candidate whose likelihood is equal to or larger than the threshold, and need not output the final recognition result.
  • the designation unit 102 is an information processing unit that acquires an instruction to designate a part to be analyzed in the sensing data. For example, when the sensing data is an image, the specifying unit 102 acquires an instruction to specify a part included in the image as a part to be analyzed.
  • the designating unit 102 may include an input interface or a communication interface for acquiring an instruction.
  • the input interface is a touch panel, a keyboard, a mouse, a microphone, or the like.
  • the communication interface is a communication terminal or an antenna for obtaining an instruction via a communication network.
  • the selection unit 103 is an information processing unit that selects at least one recognition result candidate from a plurality of recognition result candidates on the sensing data.
  • the recognition unit 101 acquires a plurality of recognition result candidates on the sensing data and the likelihood of each of the plurality of recognition result candidates by inputting the sensing data to the recognition model.
  • the selecting unit 103 acquires a plurality of recognition result candidates on the sensing data and the likelihood of each of the plurality of recognition result candidates from the recognition unit 101.
  • the selecting unit 103 determines at least one recognition result candidate from the plurality of recognition result candidates based on the relationship between each of the plurality of recognition result candidates and the designated portion and the likelihood of each of the plurality of recognition result candidates. Elect. Then, the selection unit 103 outputs at least one selected recognition result candidate. That is, the selection unit 103 outputs information indicating at least one selected recognition result candidate.
  • each of the plurality of recognition result candidates and the designated portion may be the presence or absence of overlap between each of the plurality of recognition result candidates and the designated portion, or may be the degree of overlap.
  • the at least one recognition result candidate selected by the selection unit 103 may be a recognition result candidate having an overlap with a designated part among a plurality of recognition result candidates, or a plurality of recognition result candidates.
  • the recognition result candidate that has a large overlap with the designated portion may be used.
  • each of the plurality of recognition result candidates and the specified portion may be the Euclidean distance between each of the plurality of recognition result candidates and the specified portion.
  • the at least one recognition result candidate selected by the selection unit 103 may be a recognition result candidate within a predetermined Euclidean distance from a specified portion among a plurality of recognition result candidates.
  • ⁇ At least one recognition result candidate selected by the selection unit 103 may be a recognition result candidate whose likelihood is higher than a threshold among a plurality of recognition result candidates. That is, the selecting unit 103 selects a recognition result candidate having a likelihood higher than the threshold value and having an overlap or a large overlap with the designated portion, from among the plurality of recognition result candidates obtained from the recognition unit 101. Is also good.
  • the threshold for the selection unit 103 to select a recognition result candidate may be lower than the threshold for the recognition unit 101 to obtain the recognition result.
  • the selection unit 103 may lower the threshold value and select at least one recognition result candidate from the plurality of recognition result candidates until a predetermined number of recognition result candidates are selected from the plurality of recognition result candidates.
  • the analysis unit 104 is an information processing unit that performs an analysis process. For example, the analysis unit 104 performs an analysis process based on at least one recognition result candidate output from the selection unit 103, and presents a processing result of the analysis process.
  • the analysis unit 104 may include an output interface or a communication interface for presenting a processing result.
  • the output interface is a touch panel, a display, a speaker, or the like.
  • the communication interface is a communication terminal or an antenna for presenting a processing result via a communication network.
  • the analysis unit 104 presents a processing result indicating the degree to which each of a plurality of values included in the sensing data contributes to the likelihood of at least one recognition result candidate output from the selection unit 103.
  • the degree to which each of the plurality of values contributes to the likelihood of the recognition result candidate can also be expressed as the degree of contribution of each of the plurality of values to the likelihood of the recognition result candidate.
  • the processing result indicates the contribution of each of the plurality of pixel values to the likelihood of the recognition result candidate.
  • the analysis unit 104 may perform the analysis process using any one of a plurality of methods called PDA, LIME, Grad-CAM, and G ⁇ Back ⁇ Prop. Thus, the analysis unit 104 may present a processing result indicating the contribution of each of the plurality of pixel values to the likelihood of the recognition result candidate.
  • the recognition unit 101 and the analysis unit 104 are optional components, and the information processing system 100 does not need to include them.
  • another recognition system may include the recognition unit 101
  • another analysis system may include the analysis unit 104.
  • the sensing data to be processed used in the information processing system 100 may not be an image.
  • the sensing data is not limited to two-dimensional data such as an image, but may be one-dimensional data such as waveform data obtained by a microphone or an inertial sensor.
  • the sensing data may be point cloud data obtained by, for example, LiDAR or radar, or three-dimensional data such as moving image data that is a plurality of time-series images. Further, the sensing data may be data of another dimension.
  • the dimension of the sensing data to be processed may be changed.
  • the sensing data when the sensing data is waveform data, the sensing data may be used as two-dimensional data by using the waveform data for a predetermined period. Further, when the sensing data is waveform data, the dimension of the sensing data may be changed by converting the waveform data into two-dimensional data including time and frequency like a cepstrum.
  • the sensing data is point group data composed of points specified by positions in the horizontal direction, the vertical direction, and the depth direction
  • the point group data obtained in the horizontal direction and the vertical direction at a specific position in the depth direction may be used. That is, in this case, sensing data on a plane at a specific position in the depth direction may be used.
  • the sensing data may be a voice signal representing waveform data of voice.
  • the element to be recognized may be a word, a sentence, a speech section, or the like.
  • the sensing data may be point cloud data that is three-dimensional data. Then, in the three-dimensional object detection, the element to be recognized, that is, the element to be detected may be a three-dimensional object.
  • the designation unit 102 acquires an instruction to designate a part to be analyzed in the sensing data in the above dimensions. Then, when the selecting unit 103 selects a recognition result candidate, the relationship between each of the plurality of recognition result candidates and the designated part is used. At this time, the overlap ratio between the region specified as the analysis target portion and the recognition result candidate may be used. Alternatively, the Euclidean distance between the coordinates specified as the analysis target portion and the recognition result candidate may be used.
  • a condition that an overlap rate between a region specified as a part to be analyzed and a recognition result candidate is equal to or greater than a predetermined overlap rate may be used as a selection condition.
  • a condition that the Euclidean distance between the coordinates specified as the analysis target portion and the recognition result candidate is equal to or less than a predetermined Euclidean distance may be used as the selection condition.
  • the fact that the likelihood of the recognition result candidate is higher than the threshold value may be used as a selection condition in the selection unit 103.
  • the selection unit 103 selects one or more recognition result candidates extracted from the plurality of recognition result candidates output from the recognition unit 101 based on a relationship between each of the plurality of recognition result candidates and a designated part. Alternatively, at least one recognition result candidate having a relatively high likelihood may be selected. For example, the selection unit 103 may select a recognition result candidate having the highest likelihood from among one or more recognition result candidates, or may select a predetermined number of recognition result candidates in descending order of the likelihood. .
  • FIG. 8 is an image diagram showing an aspect of the information processing system 100 shown in FIG.
  • the information processing system 100 includes a computer 110 corresponding to a plurality of components included in the information processing system 100 illustrated in FIG.
  • the computer 110 may serve as a plurality of components included in the information processing system 100 illustrated in FIG.
  • the computer 110 may include a plurality of devices that are distributed and arranged.
  • the computer 110 may play the role of only the designation unit 102 and the selection unit 103 among the recognition unit 101, the designation unit 102, the selection unit 103, and the analysis unit 104 shown in FIG.
  • One or more other devices different from the computer 110 may serve as the recognition unit 101 and the analysis unit 104.
  • FIG. 9 is a flowchart showing the processing of the information processing system 100 shown in FIG.
  • the recognition unit 101 performs a recognition process on sensing data (S101). Specifically, the recognition unit 101 acquires a plurality of recognition result candidates and the likelihood of each of the plurality of recognition result candidates by inputting the sensing data to the recognition model. Then, the recognition unit 101 outputs the plurality of recognition result candidates and the likelihood of each of the plurality of recognition result candidates.
  • the selection unit 103 acquires a plurality of recognition result candidates and the likelihood of each of the plurality of recognition result candidates from the recognition unit 101 (S102).
  • the specifying unit 102 acquires an instruction to specify a part to be analyzed in the sensing data (S103).
  • the selection unit 103 acquires, via the specifying unit 102, an instruction to specify a part to be analyzed in the sensing data.
  • the selection unit 103 determines at least one recognition result from the plurality of recognition result candidates based on the relationship between each of the plurality of recognition result candidates and the designated portion and the likelihood of each of the plurality of recognition result candidates.
  • a candidate is selected (S104).
  • the selection unit 103 outputs at least one selected recognition result candidate (S105).
  • the analysis unit 104 performs an analysis process based on at least one recognition result candidate output from the selection unit 103, and presents a processing result of the analysis process (S106).
  • the information processing system 100 can output a recognition result candidate that is useful for the analysis processing based on the specified portion even when a valid recognition result cannot be obtained in the recognition processing. it can. Therefore, the information processing system 100 can present the processing result of the appropriate analysis processing based on the recognition result candidate.
  • the processing performed by the information processing system 100 is not limited to the following example.
  • FIG. 10 is a conceptual diagram showing the processing of the recognition unit 101 shown in FIG.
  • the recognizing unit 101 acquires sensing data and performs a recognition process on the sensing data.
  • the sensing data is an image
  • the recognition process is a process of detecting an object in the image. That is, the recognition unit 101 acquires an input image and performs an object detection process on the input image.
  • the recognition unit 101 obtains a plurality of recognition result candidates and the likelihood of each of the plurality of recognition result candidates from an input image using a multilayer neural network.
  • the recognition result candidate is a candidate for a recognition target object in the input image, that is, a candidate for a detection target object in the input image.
  • the recognition unit 101 inputs an input image to an input layer of a multilayered neural network, and generates a feature map indicating a feature of the input image in each of a plurality of processing layers included in the multilayered neural network. Derive. Then, the recognition unit 101 derives a recognition result candidate that matches the feature map and its likelihood. Thereby, the recognition unit 101 derives a plurality of recognition result candidates and the likelihood of each of the plurality of recognition result candidates from one or more feature maps.
  • ⁇ Recognition unit 101 then outputs the plurality of recognition result candidates and the likelihood of each of the plurality of recognition result candidates to selection unit 103.
  • ⁇ Recognition unit 101 may determine whether the recognition result candidate is a recognition target object, that is, whether the recognition result candidate is a detection target object, based on the likelihood of each of the plurality of recognition result candidates. Then, the recognizing unit 101 may output a recognition result indicating the recognition result candidate determined to be the recognition target object as the recognition target object, that is, the detection target object. However, the determination as to whether the object is a recognition target object and the output of the recognition result need not be performed.
  • FIG. 11 is a conceptual diagram showing the processing of the specifying unit 102 shown in FIG.
  • the specifying unit 102 acquires an instruction to specify a part to be analyzed in the sensing data.
  • the sensing data is an image
  • the specifying unit 102 acquires an instruction to specify a part included in the image as a part to be analyzed.
  • the part to be analyzed may be a point or a position of the object to be analyzed, that is, the coordinates of the object to be analyzed.
  • the portion to be analyzed may be a region having a width, a size, or the like.
  • the coordinates are specified as a part to be analyzed.
  • the user of the information processing system 100 specifies a part to be analyzed in the sensing data via the input interface provided in the specifying unit 102.
  • the specification unit 102 acquires information indicating the specified part as an instruction.
  • the specifying unit 102 may include a screen for displaying an image and a mouse for acquiring an input. Then, the specifying unit 102 acquires the image input to the recognizing unit 101, and displays the acquired image on a screen. Then, the specifying unit 102 may obtain the coordinates clicked with the mouse on the screen on which the image is displayed, as an analysis target portion, more specifically, as an instruction to specify the analysis target portion.
  • the user can specify a part to be analyzed by clicking the object displayed on the screen with a mouse, and the specifying unit 102 can obtain an instruction to specify the part to be analyzed. .
  • a touch panel may be used.
  • the specifying unit 102 may acquire the coordinates touched on the touch panel as a part to be analyzed.
  • FIG. 12 is a conceptual diagram showing another aspect of the process of the specifying unit 102 shown in FIG.
  • the part to be analyzed may be specified by an operation of painting a region corresponding to the part to be analyzed with a mouse. Then, the specifying unit 102 may acquire the filled area as a part to be analyzed.
  • FIG. 13 is a conceptual diagram showing still another mode of the process of the specifying unit 102 shown in FIG.
  • the part to be analyzed may be specified by an operation of surrounding the area corresponding to the part to be analyzed with the mouse.
  • a rectangular frame may be designated as a part to be analyzed by a mouse.
  • Such a designation method is also called rectangle selection.
  • the portion to be analyzed may be specified by not only a rectangle but also another polygon or another shape.
  • FIG. 14 is a conceptual diagram showing still another mode of the process of the specifying unit 102 shown in FIG.
  • the specifying unit 102 may read the correct answer data and acquire a region of the object indicated by the correct answer data as a part to be analyzed.
  • the correct answer data may be input via a recording medium or the like. Further, the correct answer data may be input to the recognition unit 101 together with the image. Then, the specifying unit 102 may acquire the correct answer data from the recognizing unit 101.
  • FIGS. 11 to 14 there are a plurality of methods for specifying a part to be analyzed. These methods include a method for specifying the coordinates of the analysis target (FIG. 11) and a method for specifying the coordinates of the analysis target. (FIGS. 12 to 14). One of these methods may be available, or two or more methods may be available.
  • the coordinates specified in the instruction to specify the analysis target coordinates as the analysis target part are also simply expressed as specified coordinates.
  • the area specified in the instruction to specify the area to be analyzed as the part to be analyzed is simply expressed as a specified area.
  • the part specified in the instruction for specifying the part to be analyzed is also simply expressed as a specified part.
  • the specifying unit 102 outputs to the selecting unit 103 an instruction to specify a coordinate or a region to be analyzed as a part to be analyzed.
  • FIG. 15 is a conceptual diagram showing the processing of the selection unit 103 shown in FIG.
  • the selection unit 103 selects at least one recognition result candidate from a plurality of recognition result candidates on the sensing data.
  • the selecting unit 103 acquires a plurality of recognition result candidates on the sensing data and the likelihood of each of the plurality of recognition result candidates from the recognition unit 101.
  • the selection unit 103 acquires an instruction to specify a part to be analyzed from the specification unit 102.
  • the selecting unit 103 selects at least one recognition result candidate from the plurality of recognition result candidates based on the likelihood of each of the plurality of recognition result candidates and the designated portion, and selects at least one of the selected recognition result candidates.
  • One recognition result candidate is output.
  • the selecting unit 103 selects a recognition result candidate corresponding to the designated portion and having a high likelihood from a plurality of recognition result candidates.
  • the selection unit 103 may select a plurality of recognition result candidates. Specifically, the selection unit 103 may select the top three recognition result candidates based on the likelihood.
  • the selection unit 103 determines that at least one recognition result candidate corresponding to the specified portion, that is, at least one detection result candidate corresponding to the specified portion. Select and output result candidates.
  • FIG. 16 is a flowchart showing the processing of the selection unit 103 shown in FIG. This example corresponds to the processing when the area to be analyzed is specified as the part to be analyzed.
  • the selecting unit 103 obtains an instruction to specify a region to be analyzed from the specifying unit 102, thereby obtaining the specified region as a region to be analyzed (S201). Then, the selection unit 103 repeats the likelihood threshold loop until the number of selection candidates becomes larger than the predetermined number (S202 to S212).
  • the selection unit 103 acquires a recognition result candidate list including recognition result candidates whose likelihood is higher than the threshold based on the likelihood of each of the plurality of recognition result candidates and the threshold ( S203).
  • the selection unit 103 may obtain a recognition result candidate list from the recognition unit 101 based on the likelihood and the threshold.
  • the selection unit 103 obtains a plurality of recognition result candidates and the likelihood of each of the plurality of recognition result candidates from the recognition unit 101 before the likelihood threshold loop, and obtains the likelihood in advance in the likelihood threshold loop.
  • a recognition result candidate list may be obtained from a plurality of recognition result candidates thus obtained.
  • the selection unit 103 initializes the selection candidate list (S204). For example, in the likelihood threshold loop, recognition result candidates may be added to the selection candidate list. The selection unit 103 deletes the recognition result candidates added to the selection candidate list from the selection candidate list. Then, the selection unit 103 repeats the recognition result candidate list loop (S205 to S210) until the recognition result candidate list becomes empty.
  • the selection unit 103 extracts one recognition result candidate from the recognition result candidate list, and deletes the extracted recognition result candidate from the recognition result candidate list (S206). Then, the selection unit 103 derives an overlap rate between the analysis target area and the extracted recognition result candidate area (S207). For example, the overlap rate corresponds to the rate at which the extracted recognition result candidate area is included in the analysis target area. IoU (Intersection @ over @ Union) may be used for the overlap ratio.
  • the selection unit 103 determines whether or not the overlap rate is equal to or more than the threshold (S208). If the overlap rate is equal to or greater than the threshold (Yes in S208), the selection unit 103 updates the selection candidate list (S209). That is, in this case, the selection unit 103 adds the extracted recognition result candidates to the selection candidate list. When the overlap rate is smaller than the threshold (No in S208), the selection unit 103 does not update the selection candidate list. That is, in this case, the selection unit 103 does not add the extracted recognition result candidates to the selection candidate list.
  • the selection unit 103 repeats the recognition result candidate list loop (S205 to S210) until the recognition result candidate list becomes empty, and thereafter, the selection unit 103 reduces the likelihood threshold (S211). Then, the selection unit 103 repeats the likelihood threshold loop until the number of selection candidates becomes larger than the predetermined number (S202 to S212).
  • the number of selection candidates corresponds to the number of recognition result candidates included in the selection candidate list. That is, the recognition result candidates are selected while lowering the threshold value until more than a predetermined number of recognition result candidates are selected.
  • the selection unit 103 After the number of selection candidates becomes larger than the predetermined number, the selection unit 103 outputs a selection candidate list (S213).
  • the selecting unit 103 selects at least one recognition result candidate from the plurality of recognition result candidates based on the likelihood of each of the plurality of recognition result candidates and the designated part by the above-described processing. At least one recognized recognition result candidate can be output.
  • FIG. 17 is a flowchart showing another mode of the process of the selection unit 103 shown in FIG. This example corresponds to the process when the coordinates of the analysis target are specified as the analysis target portion.
  • the selection unit 103 acquires the designated coordinates by acquiring an instruction to designate the coordinates of the analysis target from the designation unit 102 (S301). Then, the selection unit 103 obtains the analysis target area by deriving the analysis target area based on the designated coordinates (S302). Subsequent processing is the same as the processing after the analysis target area is acquired in FIG. 16 (S202 to S213).
  • FIG. 18 is a conceptual diagram showing a process of deriving an analysis target area from designated coordinates in the selection unit 103 shown in FIG.
  • the selection unit 103 may derive a region in a range relatively determined from the designated coordinates as the region to be analyzed.
  • the analysis target area is an area defined by a circle having the specified coordinates at the center and having a certain radius.
  • the region to be analyzed may be a rectangular region having the designated coordinates at the center of gravity, or another polygonal region having the designated coordinates at the center of gravity.
  • the designating unit 102 may acquire an instruction for designating at least one of the shape and the size of the analysis target area, and output the instruction to the selecting unit 103.
  • the selection unit 103 may derive the analysis target area based on the designated coordinates and the designated shape or size.
  • FIG. 19 is a conceptual diagram showing another mode of the process of deriving the analysis target area from the designated coordinates in the selection unit 103 shown in FIG.
  • the selection unit 103 may derive an analysis target area based on the segmentation result of the image input to the recognition unit 101 and the designated coordinates. That is, the selection unit 103 may derive, as the analysis target region, a region of the segment including the designated coordinates among the plurality of segments indicated by the segmentation result of the image.
  • the segmentation of the image may be performed by a neural network, or may be performed by edge detection or the like of the image.
  • the image segmentation may be performed in the recognition unit 101, may be performed in the designation unit 102, may be performed in the selection unit 103, and may be performed in other components.
  • the selection unit 103 may acquire the segmentation result of the image from outside the information processing system 100.
  • FIGS. 18 and 19 are an example, and another processing that can obtain an equivalent result may be performed.
  • the selection unit 103 derives the analysis target area from the designated coordinates.
  • the specifying unit 102 may derive an area to be analyzed from the specified coordinates. Then, the specifying unit 102 may obtain an instruction to specify coordinates in the sensing data as an instruction to specify an area to be analyzed. In this case, the coordinates are not used as the part to be analyzed, but the area is used.
  • FIG. 20 is a conceptual diagram showing the processing of the analysis unit 104 shown in FIG.
  • the analysis unit 104 performs an analysis process based on at least one recognition result candidate output from the selection unit 103, and presents a processing result of the analysis process.
  • the analysis unit 104 presents a processing result indicating the degree to which each of a plurality of values included in the sensing data contributes to the likelihood of each of the at least one recognition result candidate output from the selection unit 103.
  • the sensing data is an image
  • the processing result indicates the contribution of each of the plurality of pixel values to the likelihood of the recognition result candidate.
  • the analysis unit 104 uses any one of a plurality of methods called PDA, LIME, Grad-CAM, and G @ Back @ Prop to derive the recognition result candidate in the same manner as the derivation of the degree of contribution to the identification result. The contribution to the likelihood of is derived. Then, the analysis unit 104 presents a processing result indicating the degree of contribution on a screen or the like provided in the analysis unit 104.
  • the degree of positive contribution to the likelihood of the recognition result candidate is expressed by the density of points as the positive degree of contribution.
  • the degree of positively contributing to the likelihood of the recognition result candidate may be expressed by color density or the like for each pixel. Specifically, a portion where the dog's head is reflected and a portion where the dog's tail is reflected in the input image positively contribute to the likelihood of the recognition result candidate. In other words, the part where the dog's head is reflected and the part where the dog's tail is reflected guide the recognition result candidate in a direction in which the likelihood increases.
  • the degree of negative contribution is represented by the density of points.
  • the degree of negatively contributing to the likelihood of the recognition result candidate may be represented by a color density or the like for each pixel.
  • the portion where the front paws of the dog is reflected negatively contributes to the likelihood of the recognition result candidate.
  • the portion where the front paws of the dog is reflected leads to a direction in which the likelihood of the recognition result candidate decreases.
  • the positive contribution and the negative contribution are represented separately here, they may be represented in combination with the positive contribution and the negative contribution.
  • the degree of positively contributing to the likelihood of the recognition result candidate may be expressed by red density
  • the degree of negatively contributing to the likelihood of the recognition result candidate may be expressed by blue density.
  • the analysis unit 104 may present a plurality of processing results to a plurality of recognition result candidates by performing an analysis process on each of the plurality of recognition result candidates and presenting the processing results.
  • the analysis unit 104 may present a single processing result by integrating a plurality of processing results obtained for a plurality of recognition result candidates.
  • the information processing system 100 described above can be applied to a process of detecting a plurality of types of objects from an image. Further, in FIGS. 10 to 20, the object detection processing is used as the recognition processing, but other recognition processing such as a segmentation processing may be used.
  • the embodiment of the information processing system 100 has been described based on the embodiment and the like, the embodiment of the information processing system 100 is not limited to the embodiment and the like. Modifications conceived by those skilled in the art may be made to the embodiments and the like, and a plurality of components in the embodiments and the like may be arbitrarily combined. For example, a process performed by a specific component in the embodiment and the like may be performed by another component instead of the specific component. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel.
  • the information processing method including the steps performed by each component of the information processing system 100 may be executed by an arbitrary device or system.
  • the information processing method may be executed by a computer (computer 110 or another computer) including a processor, a memory, an input / output circuit, and the like.
  • the information processing method may be executed by causing the computer to execute a program for causing the computer to execute the information processing method.
  • the program may be recorded on a non-transitory computer-readable recording medium.
  • the above program is obtained by inputting sensing data to a computer, a model trained by machine learning and performing a recognition process, a plurality of recognition result candidates on the sensing data, and Obtaining the likelihood of each of the plurality of recognition result candidates, obtaining an instruction to specify a part to be analyzed in the sensing data, the relationship between each of the plurality of recognition result candidates and the part, and the plurality of At least one recognition result candidate is selected from the plurality of recognition result candidates based on the likelihood of each recognition result candidate, and an information processing method of outputting the selected at least one recognition result candidate is executed.
  • the plurality of components of the information processing system 100 may be configured by dedicated hardware, may be configured by general-purpose hardware that executes the above-described programs, or the like, or may be configured by a combination of these. You may.
  • the general-purpose hardware may be configured by a memory in which a program is recorded, a general-purpose processor that reads out the program from the memory and executes the program.
  • the memory may be a semiconductor memory or a hard disk, or the general-purpose processor may be a CPU or the like.
  • dedicated hardware may be configured with a memory, a dedicated processor, and the like.
  • a dedicated processor may execute the above information processing method with reference to a memory in which information of a recognition model is recorded.
  • Each component of the information processing system 100 may be an electric circuit. These electric circuits may constitute one electric circuit as a whole, or may be separate electric circuits. Further, these electric circuits may correspond to dedicated hardware, or may correspond to general-purpose hardware that executes the above-described programs and the like.
  • the computer 110 obtains a plurality of recognition result candidates on sensing data obtained by inputting sensing data to a model, and the likelihood of each of the plurality of recognition result candidates. Is acquired (S102).
  • the model is a model that is trained by machine learning and that executes a recognition process.
  • the computer 110 acquires an instruction to specify a part to be analyzed in the sensing data (S103). Then, the computer 110 determines at least one recognition result candidate from the plurality of recognition result candidates based on a relationship between each of the plurality of recognition result candidates and a part to be analyzed and a likelihood of each of the plurality of recognition result candidates. A selection is made (S104). Then, the computer 110 outputs at least one selected recognition result candidate (S105).
  • the computer 110 presents a processing result based on the output at least one recognition result candidate.
  • processing results such as analysis processing based on the selected recognition result candidates.
  • the processing result indicates the degree to which each of the plurality of values included in the sensing data contributes to the likelihood of each of the at least one output recognition result candidate. This makes it possible to present the contribution of each of the plurality of values in the sensing data to the selected recognition result candidate.
  • the relationship between each of the plurality of recognition result candidates and the portion to be analyzed is based on whether or not each of the plurality of recognition result candidates overlaps with the portion to be analyzed, and each of the plurality of recognition result candidates. It is at least one of the degrees of overlap with the part to be analyzed. As a result, it is possible to output the recognition result candidates selected based on the presence or absence or the degree of overlap with the designated part.
  • each of the at least one recognition result candidate selected from the plurality of recognition result candidates is a recognition result candidate whose likelihood is higher than the threshold value among the plurality of recognition result candidates. This makes it possible to select a recognition result candidate having a high likelihood, and to output a more useful recognition result candidate.
  • the computer 110 lowers the threshold value. Then, the computer 110 selects at least one recognition result candidate based on the relationship, the likelihood, and the lowered threshold.
  • the relationship is the relationship between each of the plurality of recognition result candidates and the part to be analyzed
  • the likelihood is the likelihood of each of the plurality of recognition result candidates
  • the threshold is at least one recognition result candidate. This is a threshold value for selection.
  • the predetermined number may be 0, 1, or 2 or more.
  • the computer 110 outputs the likelihood of each of the at least one selected recognition result candidate. This makes it possible to output the likelihood of the selected recognition result candidate as information useful for analysis processing and the like.
  • the sensing data is an image
  • the recognition process is an object recognition process on the image
  • each of the plurality of recognition result candidates is a candidate for an object appearing in the image. This makes it possible to output a candidate for an object appearing in the image with respect to the object recognition processing on the image.
  • the information processing system 100 includes the computer 110.
  • the computer 110 obtains a plurality of recognition result candidates on the sensing data obtained by inputting the sensing data to a model that is a model trained by machine learning and executes a recognition process, and a likelihood of each of the plurality of recognition result candidates.
  • the degree is obtained (S102).
  • the computer 110 acquires an instruction to specify a part to be analyzed in the sensing data (S103). Then, the computer 110 determines at least one recognition result candidate from the plurality of recognition result candidates based on the relationship between each of the plurality of recognition result candidates and the analysis target portion and the likelihood of each of the plurality of recognition result candidates. A selection is made (S104). Then, the computer 110 outputs at least one selected recognition result candidate (S105).
  • the information processing system 100 can output a recognition result candidate useful for the analysis processing or the like based on the designated portion. That is, the information processing system 100 can output information for analyzing the output of the recognition process even when no object is detected in the recognition process.
  • the present disclosure can be used to output information for analyzing a recognition process, and is applicable to an information processing system or the like for improving a recognition system or an analysis system.
  • REFERENCE SIGNS LIST 100 information processing system 101 recognition unit 102 designation unit 103 selection unit 104 analysis unit 110 computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

情報処理方法において、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得し（Ｓ１０２）、センシングデータのうちの分析対象の部分を指定する指示を取得し（Ｓ１０３）、複数の認識結果候補それぞれと部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出し（Ｓ１０４）、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。

Description

情報処理方法及び情報処理システム
　本開示は、情報処理方法等に関する。
　従来、ディープニューラルネットワークの反応を可視化する方法が提案されている（例えば、非特許文献１）。
Ｌｕｉｓａ　Ｍ　Ｚｉｎｔｇｒａｆ、他３名、「Ｖｉｓｕａｌｉｚｉｎｇ　Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｄｅｃｉｓｉｏｎｓ：　Ｐｒｅｄｉｃｔｉｏｎ　Ｄｉｆｆｅｒｅｎｃｅ　Ａｎａｌｙｓｉｓ」、２０１７年２月１５日、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１７０２．０４５９５．ｐｄｆ
　しかしながら、物体検出等のような認識処理では、物体が検出されない場合があり、認識処理の出力の分析が困難な場合がある。
　そこで、本開示は、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能な情報処理方法等を提供することを目的とする。
　本開示の一態様に係る情報処理方法では、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する。
　なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様に係る情報処理方法等により、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能である。
図１は、参考例における識別処理に用いられる入力画像を示すイメージ図である。 図２は、参考例における識別処理によって得られる識別結果を示すイメージ図である。 図３は、参考例における検出処理に用いられる入力画像を示すイメージ図である。 図４は、参考例における検出処理によって得られる検出結果を示すイメージ図である。 図５は、参考例における識別結果に対する正の寄与度を示すイメージ図である。 図６は、参考例における識別結果に対する負の寄与度を示すイメージ図である。 図７は、実施の形態における情報処理システムの構成を示すブロック図である。 図８は、実施の形態における情報処理システムの態様を示すイメージ図である。 図９は、実施の形態における情報処理システムの処理を示すフローチャートである。 図１０は、実施の形態における認識部の処理を示す概念図である。 図１１は、実施の形態における指定部の処理を示す概念図である。 図１２は、実施の形態における指定部の処理の別の態様を示す概念図である。 図１３は、実施の形態における指定部の処理のさらに別の態様を示す概念図である。 図１４は、実施の形態における指定部の処理のさらに別の態様を示す概念図である。 図１５は、実施の形態における選出部の処理を示す概念図である。 図１６は、実施の形態における選出部の処理を示すフローチャートである。 図１７は、実施の形態における選出部の処理の別の態様を示すフローチャートである。 図１８は、実施の形態における指定座標から分析対象の領域を導出する処理を示す概念図である。 図１９は、実施の形態における指定座標から分析対象の領域を導出する処理の別の態様を示す概念図である。 図２０は、実施の形態における分析部の処理を示す概念図である。
　（本開示の基礎となった知見）
　近年、ニューラルネットワーク型の認識モデルが利用され始めている。ニューラルネットワークは生物の神経が模擬された数理モデルであり、この数理モデルは複数の層を有し得る。ニューラルネットワーク型の認識モデルは、ニューラルネットワークで構成されるモデルであって、認識処理を行うためのモデルである。例えば、ニューラルネットワーク型の認識モデルに画像等のセンシングデータが入力され、ニューラルネットワーク型の認識モデルによってセンシングデータの内容が認識される。
　また、様々な認識モデルによって、様々な認識処理が行われるが、これらの認識処理は、識別処理、検出処理、及び、セグメンテーション処理等に分類される。例えば、識別処理では、センシングデータが何を表しているかが識別される。識別処理は、分類処理とも表現され、例えば、センシングデータが複数の種類のいずれかに分類される。また、例えば、検出処理では、センシングデータにおいて検出対象の内容を表す部分が検出される。あるいは、検出処理では、センシングデータのどの部分が何を表しているかが検出される。
　図１は、参考例における識別処理に用いられる入力画像を示すイメージ図である。例えば、図１に示された入力画像が、識別処理を行う認識モデルに入力される。
　図２は、参考例における識別処理によって得られる識別結果を示すイメージ図である。例えば、図１に示された入力画像が、識別処理を行う認識モデルに入力されることにより、図２に示された識別結果が得られる。具体的には、入力画像が犬を表していることが識別結果として得られる。
　図３は、参考例における検出処理に用いられる入力画像を示すイメージ図である。例えば、図３に示された入力画像が、検出処理を行う認識モデルに入力される。
　図４は、参考例における検出処理によって得られる検出結果を示すイメージ図である。例えば、図３に示された入力画像が、検出処理を行う認識モデルに入力されることにより、図４に示された識別結果が得られる。具体的には、犬を表す部分が検出結果として得られる。言い換えれば、図４の点線枠部分が犬を表していることが検出結果として得られる。
　また、センシングデータの識別処理を行う認識モデルを解析するため、識別結果に対して、センシングデータに含まれる複数の値それぞれの寄与度を導出する方法が提案されている。
　具体的には、ＰＤＡ（Ｐｒｅｄｉｃｔｉｏｎ　Ｄｉｆｆｅｒｅｎｃｅ　Ａｎａｌｙｓｉｓ）、ＬＩＭＥ（Ｌｏｃａｌ　Ｉｎｔｅｒｐｒｅｔａｂｌｅ　Ｍｏｄｅｌ－ａｇｎｏｓｔｉｃ　Ｅｘｐｌａｎａｔｉｏｎｓ）、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ　Ｃｌａｓｓ　Ａｃｔｉｖａｔｉｏｎ　Ｍａｐｐｉｎｇ）、又は、Ｇ　Ｂａｃｋ　Ｐｒｏｐ（Ｇｕｉｄｅｄ　Ｂａｃｋ　Ｐｒｏｐａｇａｔｉｏｎ）等のような方法がある。非特許文献１は、その一例である。
　このような方法に基づいて、例えば、入力されるセンシングデータが画像である場合、画像の識別結果に対して、画像に含まれる複数の画素値それぞれの寄与度が導出される。
　図５は、図２に示された識別結果に対する正の寄与度を示すイメージ図である。便宜上、図５には、入力画像が犬を表しているという識別結果に肯定的に寄与した度合いが点の密度で表現されている。実際には、画素毎に色の濃度等で、識別結果に肯定的に寄与した度合いが表現されてもよい。
　この例において、入力画像において犬の頭が映る部分、及び、入力画像において犬の尾が映る部分が、入力画像が犬を表しているという識別結果に肯定的に寄与している。つまり、犬の頭が映る部分、及び、犬の尾が映る部分が、入力画像が犬を表しているという方向へ識別結果を導いている。
　図６は、図２に示された識別結果に対する負の寄与度を示すイメージ図である。便宜上、図６には、入力画像が犬を表しているという識別結果に否定的に寄与した度合いが点の密度で表現されている。実際には、画素毎に色の濃度等で、識別結果に否定的に寄与した度合いが表現されてもよい。
　この例において、入力画像において犬の前足が映る部分が、入力画像が犬を表しているという識別結果に否定的に寄与している。つまり、犬の前足が映る部分は、入力画像が犬を表していないという方向へ識別結果を導いている。
　ここでは、正の寄与度と負の寄与度とが分けられて表現されているが、正の寄与度と負の寄与度とが組み合わされて表現されてもよい。例えば、赤色の濃度で、識別結果に肯定的に寄与した度合いが表現され、青色の濃度で、識別結果に否定的に寄与した度合いが表現されてもよい。
　図５及び図６に示された情報に従って、入力画像が犬を表しているという識別結果の要因が示される。このような情報は、認識モデルの精度向上に有用である。例えば、識別結果が誤りである場合、その要因に基づいて、認識モデルのパラメータの調整、又は、再学習等を行うことが可能である。よって、認識モデルの精度を効率的に向上させることが可能である。
　しかしながら、識別処理の識別結果は単純であるが、検出処理の検出結果は複雑である。したがって、識別処理において寄与度を導出する処理を検出処理に適用することは困難である。
　例えば、検出処理において、物体が正しく検出された場合、あるいは、物体が誤って検出された場合、物体の検出に寄与した度合いを画像の画素毎に導出することが可能であるかもしれない。一方、検出処理において、物体が検出されない場合がある。この場合、物体の検出に寄与した度合いが存在せず、寄与度を導出することは困難である。
　したがって、検出処理において、画像に物体が映っているにもかかわらず、物体が検出されなかった場合等では、その検出結果を分析することが困難であり、認識モデルの精度を効率的に向上させることが困難である。
　そこで、例えば、本開示の一態様に係る情報処理方法では、コンピュータが、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する。
　これにより、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することが可能になる。すなわち、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能になる。
　例えば、さらに、前記コンピュータが、出力された前記少なくとも１つの認識結果候補に基づいて処理結果を提示する。
　これにより、選出された認識結果候補に基づく分析処理等の処理結果を提示することが可能になる。
　また、例えば、前記処理結果は、前記センシングデータに含まれる複数の値それぞれが、出力された前記少なくとも１つの認識結果候補それぞれの前記尤度に寄与する度合いを示す。
　これにより、選出された認識結果候補に対して、センシングデータにおける複数の値それぞれの寄与度を提示することが可能になる。
　また、例えば、前記関係は、前記複数の認識結果候補それぞれと前記部分との重複の有無、及び、前記重複の程度のうち少なくとも１つである。
　これにより、指定された部分に対する重複の有無又は程度に基づいて選出された認識結果候補を出力することが可能になる。
　また、例えば、前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補それぞれは、前記複数の認識結果候補のうち、前記尤度が閾値よりも高い認識結果候補である。
　これにより、尤度が高い認識結果候補を選出することが可能になり、より有用な認識結果候補を出力することが可能になる。
　また、例えば、前記コンピュータが、前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する。
　これにより、閾値よりも尤度が高い認識結果候補が存在しない場合等において、閾値を下げ、下げられた閾値よりも尤度が高い認識結果候補を選出することが可能になる。
　また、例えば、さらに、前記コンピュータが、選出された前記少なくとも１つの認識結果候補それぞれの前記尤度を出力する。
　これにより、分析処理等に有用な情報として、選出された認識結果候補の尤度を出力することが可能になる。
　また、例えば、前記センシングデータは、画像であり、前記認識処理は、前記画像上の物体認識処理であり、前記複数の認識結果候補それぞれは、前記画像に映る物体の候補である。
　これにより、画像上の物体認識処理に関して、画像に映る物体の候補を出力することが可能になる。
　また、例えば、本開示の一態様に係る情報処理システムは、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力するコンピュータを備える。
　これにより、情報処理システムは、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することができる。すなわち、情報処理システムは、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報を出力することができる。
　さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　図７は、本実施の形態における情報処理システムの構成を示すブロック図である。図７に示された情報処理システム１００は、認識部１０１、指定部１０２、選出部１０３及び分析部１０４を備える。例えば、各構成要素は、電気回路で構成され、有線又は無線の通信、あるいは、入出力回路等を介して、他の構成要素へ情報を伝達することができる。
　認識部１０１は、センシングデータを取得し、センシングデータに対して認識処理を行う情報処理部である。例えば、認識部１０１は、認識モデルにセンシングデータを入力することにより、センシングデータに対して認識処理を行い、認識結果を取得する。その際、認識部１０１は、認識モデルにセンシングデータを入力することにより、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。そして、認識部１０１は、尤度が閾値以上である認識結果候補を示す最終的な認識結果を取得する。
　また、例えば、センシングデータは、画像であり、認識処理は、画像における物体の検出処理であり、認識結果は、図４のような検出結果であり、複数の認識結果候補それぞれは、画像における物体の候補である。また、認識モデルは、機械学習によって訓練されたモデルであり、認識処理を実行するモデルである。認識部１０１が、正解データを用いて認識モデルを訓練してもよい。
　また、認識モデルは、ニューラルネットワークと呼ばれる数理モデルであってもよい。具体的には、ＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　ｍｕｌｔｉｂｏｘ　Ｄｅｔｅｃｔｏｒ）、Ｆａｓｔｅｒ－ＲＣＮＮ（Ｆａｓｔｅｒ　Ｒｅｇｉｏｎ－ｂａｓｅｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、又は、ＹＯＬＯ（Ｙｏｕ　Ｏｎｌｙ　Ｌｏｏｋ　Ｏｎｃｅ）等のような物体検出方法に対応する認識モデルが用いられてもよい。
　また、認識部１０１は、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を選出部１０３へ出力する。つまり、認識部１０１は、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を示す情報を選出部１０３へ出力する。必ずしも、認識部１０１は、尤度が閾値以上である認識結果候補を示す最終的な認識結果を取得しなくてもよいし、最終的な認識結果を出力しなくてもよい。
　指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する情報処理部である。例えば、センシングデータが画像である場合、指定部１０２は、画像に含まれる部分を分析対象の部分として指定する指示を取得する。
　また、指定部１０２は、指示を取得するための入力インタフェース又は通信インタフェースを備えていてもよい。ここで、入力インタフェースは、タッチパネル、キーボード、マウス又はマイクロフォン等である。また、通信インタフェースは、通信ネットワークを介して指示を取得するための通信端子又はアンテナ等である。
　選出部１０３は、センシングデータ上の複数の認識結果候補から少なくとも１つの認識結果候補を選出する情報処理部である。
　具体的には、上述した通り、認識部１０１が、認識モデルにセンシングデータを入力することにより、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。選出部１０３は、認識部１０１から、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。
　そして、選出部１０３は、複数の認識結果候補それぞれと、指定された部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する。そして、選出部１０３は、選出された少なくとも１つの認識結果候補を出力する。つまり、選出部１０３は、選出された少なくとも１つの認識結果候補を示す情報を出力する。
　例えば、複数の認識結果候補それぞれと、指定された部分との上記の関係は、複数の認識結果候補それぞれと、指定された部分との重複の有無であってもよいし、重複の程度であってもよい。具体的には、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、指定された部分に対して重複がある認識結果候補であってもよいし、複数の認識結果候補のうち、指定された部分に対して重複が大きい認識結果候補であってもよい。
　また、例えば、複数の認識結果候補それぞれと、指定された部分との上記の関係は、複数の認識結果候補それぞれと、指定された部分とのユークリッド距離であってもよい。具体的には、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、指定された部分から所定のユークリッド距離の範囲内の認識結果候補であってもよい。
　また、選出部１０３によって選出される少なくとも１つの認識結果候補は、複数の認識結果候補のうち、尤度が閾値よりも高い認識結果候補であってもよい。つまり、選出部１０３は、認識部１０１から得られる複数の認識結果候補のうち、尤度が閾値よりも高く、かつ、指定された部分に対して重複がある又は大きい認識結果候補を選出してもよい。選出部１０３が認識結果候補を選出するための閾値は、認識部１０１が認識結果を取得するための閾値よりも低くてもよい。
　また、選出部１０３は、複数の認識結果候補から所定数の認識結果候補が選出されるまで、閾値を下げて、複数の認識結果候補から少なくとも１つの認識結果候補を選出してもよい。
　分析部１０４は、分析処理を行う情報処理部である。例えば、分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する。分析部１０４は、処理結果を提示するための出力インタフェース又は通信インタフェースを備えていてもよい。ここで、出力インタフェースは、タッチパネル、ディスプレイ又はスピーカ等である。また、通信インタフェースは、通信ネットワークを介して処理結果を提示するための通信端子又はアンテナ等である。
　具体的には、分析部１０４は、センシングデータに含まれる複数の値それぞれが、選出部１０３から出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す処理結果を提示する。認識結果候補の尤度に複数の値それぞれが寄与する度合いは、認識結果候補の尤度に対する複数の値それぞれの寄与度とも表現され得る。例えば、センシングデータが、複数の画素値を含む画像である場合、処理結果は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す。
　また、分析部１０４は、ＰＤＡ、ＬＩＭＥ、Ｇｒａｄ－ＣＡＭ、及び、Ｇ　Ｂａｃｋ　Ｐｒｏｐ等と呼ばれる複数の方法のいずれかを用いて、分析処理を行ってもよい。そして、これにより、分析部１０４は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す処理結果を提示してもよい。
　なお、認識部１０１及び分析部１０４は、任意の構成要素であって、情報処理システム１００は、これらを備えなくてもよい。例えば、他の認識システムが認識部１０１を備えていてもよいし、他の分析システムが分析部１０４を備えていてもよい。
　また、情報処理システム１００において用いられる処理対象のセンシングデータは、画像でなくてもよい。例えば、センシングデータは、画像などのような２次元データに限られず、例えばマイクロフォン又は慣性センサによって得られる波形データ等のような１次元データであってもよい。また、センシングデータは、例えばＬｉＤＡＲ又はレーダによって得られる点群データ、若しくは、時系列の複数の画像である動画データ等のような３次元データであってもよい。また、センシングデータは、その他の次元のデータであってよい。
　また、処理対象のセンシングデータの次元が変更されてもよい。例えば、センシングデータが波形データである場合、所定期間の波形データが用いられることによって、センシングデータが２次元データとして用いられてもよい。また、センシングデータが波形データである場合、ケプストラムのように波形データを時間と周波数とからなる２次元データに変換することで、センシングデータの次元が変更されてもよい。
　また、センシングデータが水平方向、垂直方向及び奥行方向における位置で特定される点で構成される点群データである場合、奥行方向における特定の位置において水平方向及び垂直方向に得られる点群データ（すなわち２次元データ）が用いられてもよい。つまり、この場合、奥行方向における特定の位置における平面上のセンシングデータが用いられてもよい。
　また、例えば、音声認識において、センシングデータは、音声の波形データを表す音声信号であってもよい。そして、音声認識において、認識対象の要素は、単語、文、又は、発話区間等であってもよい。３次元の物体検出において、センシングデータは、３次元データである点群データであってもよい。そして、３次元の物体検出において、認識対象の要素、つまり検出対象の要素は、３次元の物体であってもよい。
　指定部１０２では、上記のような次元におけるセンシングデータのうち分析対象の部分を指定する指示が取得される。そして、選出部１０３が認識結果候補を選出する際に、複数の認識結果候補それぞれと、指定された部分との関係が用いられる。その際、分析対象の部分として指定された領域と、認識結果候補との重なり率が用いられてもよい。あるいは、分析対象の部分として指定された座標と、認識結果候補とのユークリッド距離が用いられてもよい。
　例えば、分析対象の部分として指定された領域と、認識結果候補との重なり率が所定の重なり率以上であることが、選出の条件に用いられてもよい。また、分析対象の部分として指定された座標と、認識結果候補とのユークリッド距離が所定のユークリッド距離以下であることが、選出の条件に用いられてもよい。
　また、上述したように、認識結果候補の尤度が閾値よりも高いことが、選出部１０３における選出の条件に用いられてもよい。
　あるいは、選出部１０３は、認識部１０１が出力する複数の認識結果候補から、複数の認識結果候補それぞれと、指定された部分との関係に基づいて抽出される１つ以上の認識結果候補のうち、尤度が相対的に高い少なくとも１つの認識結果候補を選出してもよい。例えば、選出部１０３は、１つ以上の認識結果候補のうち、尤度が最も高い認識結果候補を選出してもよいし、尤度の高い順に所定数の認識結果候補を選出してもよい。
　図８は、図７に示された情報処理システム１００の態様を示すイメージ図である。例えば、情報処理システム１００は、図７に示された情報処理システム１００が備える複数の構成要素に対応するコンピュータ１１０を備える。そして、コンピュータ１１０は、図７に示された情報処理システム１００が備える複数の構成要素の役割を果たしてもよい。また、コンピュータ１１０は、分散して配置される複数の装置を備えてもよい。
　また、コンピュータ１１０は、図７に示された認識部１０１、指定部１０２、選出部１０３及び分析部１０４のうち、指定部１０２及び選出部１０３のみの役割を果たしてもよい。コンピュータ１１０とは異なる他の１つ以上の装置が、認識部１０１及び分析部１０４の役割を果たしてもよい。
　図９は、図７に示された情報処理システム１００の処理を示すフローチャートである。まず、認識部１０１が、センシングデータに対して認識処理を行う（Ｓ１０１）。具体的には、認識部１０１は、センシングデータを認識モデルに入力することにより、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。そして、認識部１０１は、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を出力する。
　選出部１０３は、認識部１０１から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。また、指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、選出部１０３は、指定部１０２を介して、センシングデータのうちの分析対象の部分を指定する指示を取得する。
　次に、選出部１０３は、複数の認識結果候補それぞれと、指定された部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、選出部１０３は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
　次に、分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する（Ｓ１０６）。
　上述された処理によって、情報処理システム１００は、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理に有用な認識結果候補を出力することができる。したがって、情報処理システム１００は、認識結果候補に基づく適切な分析処理の処理結果を提示することができる。以下、例を用いて、より具体的な処理を説明する。なお、以下は例であり、情報処理システム１００が行う処理は、以下の例に限定されない。
　図１０は、図７に示された認識部１０１の処理を示す概念図である。認識部１０１は、センシングデータを取得し、センシングデータに対して認識処理を行う。この例において、センシングデータは、画像であり、認識処理は、画像における物体の検出処理である。すなわち、認識部１０１は、入力画像を取得し、入力画像に対して物体の検出処理を行う。
　具体的には、物体の検出処理において、認識部１０１は、多層構造のニューラルネットワークを用いて、入力画像から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。ここで、認識結果候補は、入力画像における認識対象物体の候補、つまり、入力画像における検出対象物体の候補である。
　より具体的には、認識部１０１は、入力画像を多層構造のニューラルネットワークの入力層に入力し、多層構造のニューラルネットワークに含まれる複数の処理層それぞれにおいて、入力画像の特徴を示す特徴マップを導出する。そして、認識部１０１は、特徴マップに適合する認識結果候補、及び、その尤度を導出する。これにより、認識部１０１は、１つ以上の特徴マップから、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を導出する。
　そして、認識部１０１は、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を選出部１０３へ出力する。
　また、認識部１０１は、複数の認識結果候補それぞれの尤度に基づいて、認識結果候補が、認識対象物体であるか否か、つまり検出対象物体であるか否かを判定してもよい。そして、認識部１０１は、認識対象物体であると判定された認識結果候補を認識対象物体つまり検出対象物体として示す認識結果を出力してもよい。ただし、認識対象物体であるか否かの判定、及び、認識結果の出力は、行われなくてもよい。
　図１１は、図７に示された指定部１０２の処理を示す概念図である。指定部１０２は、センシングデータのうちの分析対象の部分を指定する指示を取得する。この例において、センシングデータは、画像であり、指定部１０２は、画像に含まれる部分を分析対象の部分として指定する指示を取得する。分析対象の部分は、分析対象の点又は位置、つまり分析対象の座標であってもよい。あるいは、分析対象の部分は、幅又は大きさ等を有する領域であってもよい。図１１の例では、座標が分析対象の部分として指定されている。
　例えば、情報処理システム１００のユーザが、指定部１０２が備える入力インタフェースを介して、センシングデータのうちの分析対象の部分を指定する。指定部１０２は、指定された部分を示す情報を指示として取得する。
　より具体的には、指定部１０２は、画像を表示する画面と、入力を取得するマウスとを備えていてもよい。そして、指定部１０２は、認識部１０１へ入力された画像を取得し、取得された画像を画面に表示する。そして、指定部１０２は、画像が表示された画面において、マウスでクリックされた座標を分析対象の部分として、より具体的には分析対象の部分を指定する指示として取得してもよい。
　例えば、ユーザは、画面において表示されている物体をマウスでクリックすることで、分析対象の部分を指定することができ、指定部１０２は、分析対象の部分を指定する指示を取得することができる。
　画面とマウスとの組み合わせに代えて、タッチパネルが用いられてもよい。指定部１０２は、タッチパネルでタッチされた座標を分析対象の部分として取得してもよい。
　図１２は、図７に示された指定部１０２の処理の別の態様を示す概念図である。分析対象の部分に対応する領域をマウスで塗りつぶす操作によって、分析対象の部分が指定されてもよい。そして、指定部１０２は、塗りつぶされた領域を分析対象の部分として取得してもよい。
　図１３は、図７に示された指定部１０２の処理のさらに別の態様を示す概念図である。分析対象の部分に対応する領域をマウスで囲む操作によって、分析対象の部分が指定されてもよい。例えば、マウスによって矩形の枠が分析対象の部分として指定されてもよい。このような指定方法は、矩形選択とも呼ばれる。ただし、矩形に限らず、その他の多角形又はその他の形状によって分析対象の部分が指定されてもよい。
　図１４は、図７に示された指定部１０２の処理のさらに別の態様を示す概念図である。指定部１０２は、正解データを読み込み、正解データが示す物体の領域を分析対象の部分として取得してもよい。正解データは、記録媒体等を介して入力されてもよい。また、正解データは、認識部１０１へ画像と共に入力されてもよい。そして、指定部１０２は、認識部１０１から正解データを取得してもよい。
　図１１～図１４に示された通り、分析対象の部分を指定する方法として複数の方法が存在し、これらの複数の方法は、分析対象の座標を指定する方法（図１１）と、分析対象の領域を指定する方法（図１２～図１４）とに大別される。これら複数の方法のうち、１つの方法が利用可能であってもよいし、２つ以上の方法が利用可能であってもよい。
　分析対象の座標を分析対象の部分として指定する指示において指定される座標は、単に指定座標とも表現される。分析対象の領域を分析対象の部分として指定する指示において指定される領域は、単に指定領域とも表現される。分析対象の部分を指定する指示において指定される部分は、単に指定部分とも表現される。指定部１０２は、分析対象の座標又は領域を分析対象の部分として指定する指示を選出部１０３へ出力する。
　図１５は、図７に示された選出部１０３の処理を示す概念図である。選出部１０３は、センシングデータ上の複数の認識結果候補から少なくとも１つの認識結果候補を選出する。選出部１０３は、認識部１０１から、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する。また、選出部１０３は、指定部１０２から、分析対象の部分を指定する指示を取得する。
　そして、選出部１０３は、複数の認識結果候補の中から、複数の認識結果候補それぞれの尤度、及び、指定された部分に基づいて、少なくとも１つの認識結果候補を選出し、選出された少なくとも１つの認識結果候補を出力する。例えば、選出部１０３は、複数の認識結果候補の中から、指定された部分に対応し、かつ、高い尤度を有する認識結果候補を選出する。選出部１０３は、複数の認識結果候補を選出してもよい。具体的には、選出部１０３は、尤度に基づいて、上位３つの認識結果候補を選出してもよい。
　例えば、認識部１０１が行う検出処理において、物体が検出されない場合でも、選出部１０３は、指定された部分に対応する少なくとも１つの認識結果候補、つまり、指定された部分に対応する少なくとも１つの検出結果候補を選出して出力する。
　図１６は、図１５に示された選出部１０３の処理を示すフローチャートである。この例は、分析対象の部分として分析対象の領域が指定された場合の処理に対応する。
　まず、選出部１０３は、分析対象の領域を指定する指示を指定部１０２から取得することにより、指定された領域を分析対象の領域として取得する（Ｓ２０１）。そして、選出部１０３は、選出候補数が所定数よりも大きくなるまで、尤度閾値ループを繰り返す（Ｓ２０２～Ｓ２１２）。
　尤度閾値ループにおいて、選出部１０３は、複数の認識結果候補それぞれの尤度、及び、閾値に基づいて、尤度が閾値よりも高い認識結果候補で構成される認識結果候補リストを取得する（Ｓ２０３）。選出部１０３は、尤度閾値ループにおいて、認識部１０１から尤度及び閾値に基づいて認識結果候補リストを取得してもよい。あるいは、選出部１０３は、尤度閾値ループの前に、認識部１０１から、複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を予め取得し、尤度閾値ループにおいて、予め取得された複数の認識結果候補等から、認識結果候補リストを取得してもよい。
　次に、選出部１０３は、選出候補リストを初期化する（Ｓ２０４）。例えば、尤度閾値ループにおいて、選出候補リストに認識結果候補が追加されている可能性がある。選出部１０３は、選出候補リストに追加されている認識結果候補を選出候補リストから削除する。そして、選出部１０３は、認識結果候補リストが空になるまで、認識結果候補リストループ（Ｓ２０５～Ｓ２１０）を繰り返す。
　認識結果候補リストループにおいて、選出部１０３は、認識結果候補リストから１つの認識結果候補を抽出し、抽出された認識結果候補を認識結果候補リストから削除する（Ｓ２０６）。そして、選出部１０３は、分析対象の領域と、抽出された認識結果候補の領域との重なり率を導出する（Ｓ２０７）。例えば、重なり率は、抽出された認識結果候補の領域が、分析対象の領域に含まれている割合に対応する。重なり率にＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）が用いられてもよい。
　そして、選出部１０３は、重なり率が閾値以上であるか否かを判定する（Ｓ２０８）。重なり率が閾値以上である場合（Ｓ２０８でＹｅｓ）、選出部１０３は、選出候補リストを更新する（Ｓ２０９）。つまり、この場合、選出部１０３は、抽出された認識結果候補を選出候補リストに追加する。重なり率が閾値よりも小さい場合（Ｓ２０８でＮｏ）、選出部１０３は、選出候補リストを更新しない。つまり、この場合、選出部１０３は、抽出された認識結果候補を選出候補リストに追加しない。
　選出部１０３は、認識結果候補リストが空になるまで、認識結果候補リストループ（Ｓ２０５～Ｓ２１０）を繰り返し、その後、選出部１０３は、尤度の閾値を下げる（Ｓ２１１）。そして、選出部１０３は、選出候補数が所定数よりも大きくなるまで、尤度閾値ループを繰り返す（Ｓ２０２～Ｓ２１２）。選出候補数は、選出候補リストに含まれる認識結果候補の数に対応する。つまり、所定数よりも多い認識結果候補が選出されるまで、閾値を下げながら、認識結果候補を選出する。
　選出候補数が所定数よりも大きくなった後、選出部１０３は、選出候補リストを出力する（Ｓ２１３）。
　選出部１０３は、上記の処理によって、複数の認識結果候補の中から、複数の認識結果候補それぞれの尤度、及び、指定された部分に基づいて、少なくとも１つの認識結果候補を選出し、選出された少なくとも１つの認識結果候補を出力することができる。
　図１７は、図１５に示された選出部１０３の処理の別の態様を示すフローチャートである。この例は、分析対象の部分として分析対象の座標が指定された場合の処理に対応する。
　まず、選出部１０３は、分析対象の座標を指定する指示を指定部１０２から取得することにより、指定された座標を取得する（Ｓ３０１）。そして、選出部１０３は、指定された座標に基づいて分析対象の領域を導出することにより、分析対象の領域を取得する（Ｓ３０２）。その後の処理は、図１６において分析対象の領域が取得された後の処理と同じである（Ｓ２０２～Ｓ２１３）。
　図１８は、図１５に示された選出部１０３において指定座標から分析対象の領域を導出する処理を示す概念図である。選出部１０３は、指定座標から相対的に定められる範囲の領域を分析対象の領域として導出してもよい。図１８の例では、分析対象の領域は、指定座標を中心に有し、かつ、一定の半径を有する円によって定められる領域である。この例に限らず、分析対象の領域は、指定座標を重心に有する矩形の領域であってもよいし、指定座標を重心に有するその他の多角形の領域であってもよい。
　指定部１０２は、分析対象の領域の形状及びサイズの少なくとも一方を指定する指示を取得し、その指示を選出部１０３に出力してもよい。選出部１０３は、指定座標、及び、指定された形状又はサイズに基づいて、分析対象の領域を導出してもよい。
　図１９は、図１５に示された選出部１０３において指定座標から分析対象の領域を導出する処理の別の態様を示す概念図である。選出部１０３は、認識部１０１に入力された画像のセグメンテーション結果と、指定座標とに基づいて、分析対象の領域を導出してもよい。つまり、選出部１０３は、画像のセグメンテーション結果が示す複数のセグメントのうち、指定座標を含むセグメントの領域を分析対象の領域として導出してもよい。
　画像のセグメンテーションは、ニューラルネットワークによって行われてもよいし、画像のエッジ検出等によって行われてもよい。また、画像のセグメンテーションは、認識部１０１において行われてもよいし、指定部１０２において行われてもよいし、選出部１０３において行われてもよいし、その他の構成要素において行われてもよい。また、選出部１０３は、画像のセグメンテーション結果を情報処理システム１００の外部から取得してもよい。
　なお、図１８及び図１９に示された処理は例であって、同等の結果が得られる別の処理が行われてもよい。
　また、上記の説明では、指定部１０２において、座標を指定する指示が取得された場合に、選出部１０３において、指定された座標から分析対象の領域が導出されている。しかし、指定部１０２において、指定された座標から分析対象の領域が導出されてもよい。そして、指定部１０２は、センシングデータにおいて座標を指定する指示を分析対象の領域を指定する指示として取得してもよい。この場合、分析対象の部分として、座標が利用されず、領域が利用される。
　図２０は、図７に示された分析部１０４の処理を示す概念図である。分析部１０４は、選出部１０３から出力された少なくとも１つの認識結果候補に基づいて、分析処理を行い、分析処理の処理結果を提示する。具体的には、分析部１０４は、センシングデータに含まれる複数の値それぞれが、選出部１０３から出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す処理結果を提示する。ここでは、センシングデータは画像であり、処理結果は、認識結果候補の尤度に対する複数の画素値それぞれの寄与度を示す。
　具体的には、分析部１０４は、識別結果に対する寄与度の導出と同様に、ＰＤＡ、ＬＩＭＥ、Ｇｒａｄ－ＣＡＭ、及び、Ｇ　Ｂａｃｋ　Ｐｒｏｐ等と呼ばれる複数の方法のいずれかを用いて、認識結果候補の尤度に対する寄与度を導出する。そして、分析部１０４は、寄与度を示す処理結果を分析部１０４が備える画面等に提示する。
　この例では、正の寄与度として、認識結果候補の尤度に肯定的に寄与した度合いが点の密度で表現されている。認識結果候補の尤度に肯定的に寄与した度合いは、画素毎に色の濃度等で表現されてもよい。具体的には、犬の頭が映る部分、及び、入力画像において犬の尾が映る部分が、認識結果候補の尤度に肯定的に寄与している。つまり、犬の頭が映る部分、及び、犬の尾が映る部分が、認識結果候補の尤度が高くなる方向へ導いている。
　また、負の寄与度として、認識結果候補の尤度に否定的に寄与した度合いが点の密度で表現されている。認識結果候補の尤度に否定的に寄与した度合いは、画素毎に色の濃度等で表現されてもよい。具体的には、犬の前足が映る部分が、認識結果候補の尤度に否定的に寄与している。つまり、犬の前足が映る部分は、認識結果候補の尤度が低くなる方向へ導いている。
　また、ここでは、正の寄与度と負の寄与度とが分けられて表現されているが、正の寄与度と負の寄与度とが組み合わされて表現されてもよい。例えば、赤色の濃度で、認識結果候補の尤度に肯定的に寄与した度合いが表現され、青色の濃度で、認識結果候補の尤度に否定的に寄与した度合いが表現されてもよい。
　また、分析部１０４は、複数の認識結果候補それぞれに対して分析処理を行って処理結果を提示することにより、複数の認識結果候補に対して複数の処理結果を提示してもよい。あるいは、分析部１０４は、複数の認識結果候補に対して得られる複数の処理結果を統合して、１つの処理結果を提示してもよい。
　なお、上述した情報処理システム１００は、画像に対する複数種の物体の検出処理に適用され得る。また、図１０～図２０では認識処理として物体検出処理が用いられているが、セグメンテーション処理のようなその他の認識処理が用いられてもよい。
　以上、情報処理システム１００の態様を実施の形態等に基づいて説明したが、情報処理システム１００の態様は、実施の形態等に限定されない。実施の形態等に対して当業者が思いつく変形が施されてもよいし、実施の形態等における複数の構成要素が任意に組み合わされてもよい。例えば、実施の形態等において特定の構成要素によって実行される処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、情報処理システム１００の各構成要素が行うステップを含む情報処理方法が任意の装置又はシステムによって実行されてもよい。例えば、情報処理方法は、プロセッサ、メモリおよび入出力回路等を備えるコンピュータ（コンピュータ１１０又は他のコンピュータ）によって実行されてもよい。その際、コンピュータに情報処理方法を実行させるためのプログラムがコンピュータによって実行されることにより、情報処理方法が実行されてもよい。
　また、非一時的なコンピュータ読み取り可能な記録媒体に、プログラムが記録されていてもよい。
　例えば、上記のプログラムは、コンピュータに、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、前記センシングデータのうちの分析対象の部分を指定する指示を取得し、前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、選出された前記少なくとも１つの認識結果候補を出力する情報処理方法を実行させる。
　また、情報処理システム１００の複数の構成要素は、専用のハードウェアで構成されてもよいし、上記のプログラム等を実行する汎用のハードウェアで構成されてもよいし、これらの組み合わせで構成されてもよい。また、汎用のハードウェアは、プログラムが記録されたメモリ、及び、メモリからプログラムを読み出して実行する汎用のプロセッサ等で構成されてもよい。ここで、メモリは、半導体メモリ又はハードディスク等でもよいし、汎用のプロセッサは、ＣＰＵ等でもよい。
　また、専用のハードウェアが、メモリ及び専用のプロセッサ等で構成されてもよい。例えば、専用のプロセッサが、認識モデルの情報が記録されたメモリを参照して、上記の情報処理方法を実行してもよい。
　また、情報処理システム１００の各構成要素は、電気回路であってもよい。これらの電気回路は、全体として１つの電気回路を構成してもよいし、それぞれ別々の電気回路であってもよい。また、これらの電気回路は、専用のハードウェアに対応していてもよいし、上記のプログラム等を実行する汎用のハードウェアに対応していてもよい。
　以下、本開示の一態様における情報処理システム１００の基本的な構成及び代表的な変形例等を示す。これらは、互いに組み合わされてもよいし、上記の実施の形態等の一部と組み合わされてもよい。
　（１）本開示の一態様における情報処理方法では、コンピュータ１１０が、モデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。ここで、モデルは、機械学習で訓練されたモデルであって認識処理を実行するモデルである。
　また、コンピュータ１１０は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、コンピュータ１１０は、複数の認識結果候補それぞれと、分析対象の部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、コンピュータ１１０は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
　これにより、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することが可能になる。すなわち、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報の出力が可能になる。
　（２）例えば、コンピュータ１１０は、出力された少なくとも１つの認識結果候補に基づいて処理結果を提示する。これにより、選出された認識結果候補に基づく分析処理等の処理結果を提示することが可能になる。
　（３）例えば、処理結果は、センシングデータに含まれる複数の値それぞれが、出力された少なくとも１つの認識結果候補それぞれの尤度に寄与する度合いを示す。これにより、選出された認識結果候補に対して、センシングデータにおける複数の値それぞれの寄与度を提示することが可能になる。
　（４）例えば、複数の認識結果候補それぞれと、分析対象の部分との関係は、複数の認識結果候補それぞれと、分析対象の部分との重複の有無、及び、複数の認識結果候補それぞれと、分析対象の部分との重複の程度のうち少なくとも１つである。これにより、指定された部分に対する重複の有無又は程度に基づいて選出された認識結果候補を出力することが可能になる。
　（５）例えば、複数の認識結果候補から選出される少なくとも１つの認識結果候補それぞれは、複数の認識結果候補のうち、尤度が閾値よりも高い認識結果候補である。これにより、尤度が高い認識結果候補を選出することが可能になり、より有用な認識結果候補を出力することが可能になる。
　（６）例えば、複数の認識結果候補から、関係、尤度及び閾値に基づいて選出される認識結果候補の数が所定数以下である場合、コンピュータ１１０は、閾値を下げる。そして、コンピュータ１１０は、関係、尤度、及び、下げられた閾値に基づいて、少なくとも１つの認識結果候補を選出する。
　ここで、関係は、複数の認識結果候補それぞれと、分析対象の部分との関係であり、尤度は、複数の認識結果候補それぞれの尤度であり、閾値は、少なくとも１つの認識結果候補を選出するための閾値である。
　これにより、閾値よりも尤度が高い認識結果候補が存在しない場合等において、閾値を下げ、下げられた閾値よりも尤度が高い認識結果候補を選出することが可能になる。なお、この所定数は、０であってもよいし、１であってもよいし、２以上の数であってもよい。
　（７）例えば、コンピュータ１１０は、選出された少なくとも１つの認識結果候補それぞれの尤度を出力する。これにより、分析処理等に有用な情報として、選出された認識結果候補の尤度を出力することが可能になる。
　（８）例えば、センシングデータは、画像であり、認識処理は、画像上の物体認識処理であり、複数の認識結果候補それぞれは、画像に映る物体の候補である。これにより、画像上の物体認識処理に関して、画像に映る物体の候補を出力することが可能になる。
　（９）本開示の一態様における情報処理システム１００は、コンピュータ１１０を備える。コンピュータ１１０は、機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、センシングデータ上の複数の認識結果候補、及び、複数の認識結果候補それぞれの尤度を取得する（Ｓ１０２）。
　また、コンピュータ１１０は、センシングデータのうちの分析対象の部分を指定する指示を取得する（Ｓ１０３）。そして、コンピュータ１１０は、複数の認識結果候補それぞれと、分析対象の部分との関係、及び、複数の認識結果候補それぞれの尤度に基づいて、複数の認識結果候補から少なくとも１つの認識結果候補を選出する（Ｓ１０４）。そして、コンピュータ１１０は、選出された少なくとも１つの認識結果候補を出力する（Ｓ１０５）。
　これにより、情報処理システム１００は、認識処理において有効な認識結果が得られない場合であっても、指定された部分に基づいて、分析処理等に有用な認識結果候補を出力することができる。すなわち、情報処理システム１００は、認識処理において物体が検出されない場合であっても認識処理の出力の分析のための情報を出力することができる。
　本開示は、認識処理を分析するための情報の出力に利用可能であり、認識システム又は分析システムを改善するための情報処理システム等に適用可能である。
　　１００　情報処理システム
　　１０１　認識部
　　１０２　指定部
　　１０３　選出部
　　１０４　分析部
　　１１０　コンピュータ

Claims (9)

  1. 　コンピュータが、
    　機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、
    　前記センシングデータのうちの分析対象の部分を指定する指示を取得し、
    　前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、
    　選出された前記少なくとも１つの認識結果候補を出力する
    　情報処理方法。
  2. 　さらに、前記コンピュータが、出力された前記少なくとも１つの認識結果候補に基づいて処理結果を提示する
    　請求項１に記載の情報処理方法。
  3. 　前記処理結果は、前記センシングデータに含まれる複数の値それぞれが、出力された前記少なくとも１つの認識結果候補それぞれの前記尤度に寄与する度合いを示す
    　請求項２に記載の情報処理方法。
  4. 　前記関係は、前記複数の認識結果候補それぞれと前記部分との重複の有無、及び、前記重複の程度のうち少なくとも１つである
    　請求項１～３のいずれか１項に記載の情報処理方法。
  5. 　前記複数の認識結果候補から選出される前記少なくとも１つの認識結果候補それぞれは、前記複数の認識結果候補のうち、前記尤度が閾値よりも高い認識結果候補である
    　請求項１～４のいずれか１項に記載の情報処理方法。
  6. 　前記コンピュータが、
    　前記複数の認識結果候補から前記関係、前記尤度及び前記閾値に基づいて選出される認識結果候補の数が所定数以下である場合、前記閾値を下げ、
    　前記関係、前記尤度、及び、下げられた前記閾値に基づいて、前記少なくとも１つの認識結果候補を選出する
    　請求項５に記載の情報処理方法。
  7. 　さらに、前記コンピュータが、選出された前記少なくとも１つの認識結果候補それぞれの前記尤度を出力する
    　請求項１～６のいずれか１項に記載の情報処理方法。
  8. 　前記センシングデータは、画像であり、
    　前記認識処理は、前記画像上の物体認識処理であり、
    　前記複数の認識結果候補それぞれは、前記画像に映る物体の候補である
    　請求項１～７のいずれか１項に記載の情報処理方法。
  9. 　機械学習で訓練されたモデルであって認識処理を実行するモデルにセンシングデータを入力して得られる、前記センシングデータ上の複数の認識結果候補、及び、前記複数の認識結果候補それぞれの尤度を取得し、
    　前記センシングデータのうちの分析対象の部分を指定する指示を取得し、
    　前記複数の認識結果候補それぞれと前記部分との関係、及び、前記複数の認識結果候補それぞれの前記尤度に基づいて、前記複数の認識結果候補から少なくとも１つの認識結果候補を選出し、
    　選出された前記少なくとも１つの認識結果候補を出力する
    　コンピュータを備える情報処理システム。
PCT/JP2019/027259 2018-09-07 2019-07-10 情報処理方法及び情報処理システム Ceased WO2020049864A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19857798.3A EP3848889A4 (en) 2018-09-07 2019-07-10 INFORMATION PROCESSING PROCESS AND SYSTEM
CN201980005088.7A CN111213180A (zh) 2018-09-07 2019-07-10 信息处理方法以及信息处理系统
US16/849,334 US11449706B2 (en) 2018-09-07 2020-04-15 Information processing method and information processing system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862728418P 2018-09-07 2018-09-07
US62/728,418 2018-09-07
JP2019076509A JP7287823B2 (ja) 2018-09-07 2019-04-12 情報処理方法及び情報処理システム
JP2019-076509 2019-04-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/849,334 Continuation US11449706B2 (en) 2018-09-07 2020-04-15 Information processing method and information processing system

Publications (1)

Publication Number Publication Date
WO2020049864A1 true WO2020049864A1 (ja) 2020-03-12

Family

ID=69721789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027259 Ceased WO2020049864A1 (ja) 2018-09-07 2019-07-10 情報処理方法及び情報処理システム

Country Status (1)

Country Link
WO (1) WO2020049864A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074368A (ja) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd 移動物体認識追跡装置
JP2013125524A (ja) * 2011-12-16 2013-06-24 Hitachi High-Technologies Corp 学習用装置、および、遺伝子学習方法
JP2018010626A (ja) * 2016-06-30 2018-01-18 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074368A (ja) * 2000-08-25 2002-03-15 Matsushita Electric Ind Co Ltd 移動物体認識追跡装置
JP2013125524A (ja) * 2011-12-16 2013-06-24 Hitachi High-Technologies Corp 学習用装置、および、遺伝子学習方法
JP2018010626A (ja) * 2016-06-30 2018-01-18 キヤノン株式会社 情報処理装置、情報処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LUISA M ZINTGRAF ET AL., VISUALIZING DEEP NEURAL NETWORK DECISIONS: PREDICTION DIFFERENCE ANALYSIS, 15 February 2017 (2017-02-15), Retrieved from the Internet <URL:https://arxiv.org/pdf/1702.04595.pdf>
See also references of EP3848889A4 *

Similar Documents

Publication Publication Date Title
JP7287823B2 (ja) 情報処理方法及び情報処理システム
US11768974B2 (en) Building information model (BIM) element extraction from floor plan drawings using machine learning
US11586785B2 (en) Information processing apparatus, information processing method, and program
WO2019091417A1 (zh) 基于神经网络的识别方法与装置
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
WO2018099194A1 (zh) 一种字符识别方法及装置
CN107392141B (zh) 一种基于显著性检测和lsd直线检测的机场提取方法
KR20160101683A (ko) 공식 입력 방법 및 장치
KR102161052B1 (ko) 영상에서 객체를 분리하는 방법 및 장치.
KR102910859B1 (ko) 불확실성 간격을 갖는 성능 예측의 생성
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
JP6914724B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017511917A (ja) 音楽記号を認識するための方法および装置
CN115861400A (zh) 目标对象检测方法、训练方法、装置以及电子设备
US11113531B2 (en) Annotation device, annotation method, and non-transitory computer-readable storage medium
CN114387600A (zh) 文本特征识别方法、装置、计算机设备和存储介质
CN116246161B (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
US11164036B2 (en) Human-assisted machine learning through geometric manipulation and refinement
KR20200009858A (ko) 가상 키보드 오타 보정을 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체
CN113343918A (zh) 一种电力设备识别方法、系统、介质及电子设备
CN114037865B (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN111968030B (zh) 信息生成方法、装置、电子设备和计算机可读介质
JP2024014029A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN115393337A (zh) 工业缺陷检测方法、装置、设备及计算机可读存储介质
WO2021131127A1 (ja) 識別情報付与装置、識別情報付与方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857798

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019857798

Country of ref document: EP

Effective date: 20210407