WO2021111704A1 - 情報処理方法、情報処理システム及びプログラム - Google Patents

情報処理方法、情報処理システム及びプログラム Download PDF

Info

Publication number
WO2021111704A1
WO2021111704A1 PCT/JP2020/035522 JP2020035522W WO2021111704A1 WO 2021111704 A1 WO2021111704 A1 WO 2021111704A1 JP 2020035522 W JP2020035522 W JP 2020035522W WO 2021111704 A1 WO2021111704 A1 WO 2021111704A1
Authority
WO
WIPO (PCT)
Prior art keywords
object detection
results
inference
detection result
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/035522
Other languages
English (en)
French (fr)
Inventor
亮太 藤村
育規 石井
拓也 山口
弘章 浦部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to EP20896142.5A priority Critical patent/EP4072129A4/en
Priority to CN202080082714.5A priority patent/CN114788265B/zh
Priority to JP2021562462A priority patent/JP7478960B2/ja
Publication of WO2021111704A1 publication Critical patent/WO2021111704A1/ja
Priority to US17/826,990 priority patent/US12260624B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to an information processing method executed by a computer.
  • Patent Document 1 A technique used for presenting the result of object detection in an image has been proposed (see, for example, Patent Document 1 and Non-Patent Document 1).
  • the present disclosure provides an information processing method and the like capable of evaluating the behavior of each of a plurality of different inference devices in parallel.
  • the information processing method is a method executed by a computer, and obtains a plurality of inference results which are the results of inference for the same input data by each of the plurality of inference devices, and obtains the plurality of inference results.
  • the influence of the input data on each is acquired for each of the plurality of inference results, one or more combinations of the plurality of inference results are determined based on the plurality of inference results, and the plurality of inference results are determined.
  • the information processing system includes an inference result acquisition unit that acquires a plurality of inference results that are the results of inference for the same input data by each of the plurality of inference devices, and the inference result acquisition unit for each of the plurality of inference results.
  • An input data influence acquisition unit that acquires the influence of the input data for each of the plurality of inference results, and a determination unit that determines one or more combinations of the plurality of inference results based on the plurality of inference results.
  • An influence presenting unit is provided, which presents the influences acquired for each of the inference results included in the same combination among the plurality of inference results in parallel or in an overlapping manner via a presenting device.
  • these comprehensive or specific aspects may be realized by a device, an integrated circuit, or a recording medium such as a computer-readable CD-ROM, and the device, system, or the like. It may be realized by any combination of integrated circuits, methods, computer programs and recording media.
  • the information processing method and the like according to the present disclosure make it possible to evaluate the behavior of each of a plurality of different inference devices in parallel.
  • FIG. 1 is a schematic view of a screen to which the information processing method according to the embodiment can be applied.
  • FIG. 2 is a schematic diagram for explaining the difference in the result of object detection by each of the different object detection models.
  • FIG. 3A is a diagram schematically showing an object detection result by three object detection models for a common input image.
  • FIG. 3B is a diagram showing an example of data of the object detection result set output from the object detection model.
  • FIG. 4A is a diagram schematically showing an example of a state after applying the information processing method according to the embodiment to the object detection result shown in FIG. 3A.
  • FIG. 4B shows an example of data of the object detection result set after applying the information processing method according to the embodiment.
  • FIG. 4A is a diagram schematically showing an example of a state after applying the information processing method according to the embodiment to the object detection result shown in FIG. 3A.
  • FIG. 4B shows an example of data of the object detection result set after applying the information processing method according to the embodiment.
  • FIG. 5A is a diagram for explaining the result of the processing of inserting alternative data performed in the information processing method according to the embodiment.
  • FIG. 5B is a diagram showing an example of data of the object detection result set corresponding to the result of the processing shown in FIG. 5A.
  • FIG. 6 is a diagram for explaining a mode different from the example shown in FIG. 5A in the insertion of alternative data performed by the information processing method according to the embodiment.
  • FIG. 7A shows a display example on the UI screen to which the information processing method according to the embodiment is applied.
  • FIG. 7B shows a display example on the UI screen to which the information processing method according to the embodiment is applied.
  • FIG. 7C shows a display example on the UI screen to which the information processing method according to the embodiment is applied.
  • FIG. 7D shows a display example on the UI screen to which the information processing method according to the embodiment is applied.
  • FIG. 8 is a block diagram showing a configuration example of a computer that executes the information processing method according to the embodiment.
  • FIG. 9A is a schematic diagram for explaining the analysis frame acquired by the above information processing method.
  • FIG. 9B shows an example of the data of the object detection result set to which the data related to the analysis frame is added.
  • FIG. 10 is a flow chart showing the procedure of the information processing method according to the present embodiment.
  • the number of detected subjects may be different.
  • the creator of the inference model tries to compare and analyze the detection results for each inference model between the inference models, the result for the same inference model is searched from the detection results output by each inference model. It is troublesome, inconvenient and inefficient.
  • the estimated position or the range of the image to be detected may differ between the inference models, and the visual association may be troublesome or mistaken. Easy and inefficient.
  • the information processing method which was devised in view of the problem of such inefficiency, is a method executed by a computer for the same input data by a plurality of inference devices.
  • a plurality of inference results that are the results of inference are acquired, the influence of the input data on each of the plurality of inference results is acquired for each of the plurality of inference results, and the plurality of inference results are obtained based on the plurality of inference results.
  • One or more combinations of the inference results of the above are determined, and among the plurality of inference results, the influences acquired for each of the inference results included in the same combination are presented in parallel or superimposed via the presenting device. It is an information processing method to be performed.
  • inference results for a common object are selected and combined from the inference results of each of a plurality of inference models (inference devices). Then, the influence of the input data on the inference result included in this combination is presented in parallel or superimposed at one time. Therefore, the behavior (that is, the influence) of each of the plurality of different inferiors can be evaluated in parallel. As a result, the user's time and effort required to analyze the inference result is reduced as compared with the conventional case. Therefore, the user can analyze the inference result more efficiently than in the past.
  • each of the plurality of inference devices is an object detector
  • each of the plurality of inference results is an object detection result set including a plurality of object detection results
  • each of the plurality of inference results is acquired.
  • the influence is the influence of the input data on each of the plurality of object detection results included in the object detection result set, and each of the one or more combinations is different from each other among the plurality of the object detection result sets.
  • the effects presented in parallel or superimposed on the plurality of object detection results included in the object detection result set are acquired for each of the plurality of object detection results included in the same combination. It may be an effect.
  • the influence of the input data on the object detection result included in this combination is displayed in parallel or superimposed at one time.
  • the user's labor required to analyze the object detection result is reduced as compared with the conventional case, so that the user can analyze the object detection result more efficiently than in the conventional case.
  • Object detection is particularly meaningful because the time and effort required for analysis is enormous because a plurality of objects are detected by each object detector.
  • each of the plurality of object detection results includes a class based on the detected object, and even if the class included in each of the plurality of object detection results included in each of the one or more combinations is common. Good.
  • each of the plurality of object detection results includes a detection frame
  • the one or more combinations include the detection frame included in the plurality of object detection results included in the plurality of object detection result sets different from each other. It may be determined based on the overlap or positional relationship between the two.
  • each of the plurality of object detection results includes the likelihood of detection
  • the combination of the one or more is the detection included in the plurality of object detection results included in the plurality of object detection result sets different from each other. It may be determined based on the closeness of the likelihoods of each other.
  • the same combination when the same combination does not include the plurality of object detection results included in the object detection result set by any of the plurality of object detectors, the same combination is included in the same combination.
  • the influence acquired for each of the plurality of object detection results and the alternative data may be presented in parallel.
  • the influence and alternative data acquired on the isolated object detection result when there is an isolated object detection result that is not included in any of the one or more combinations among the plurality of object detection results, the influence and alternative data acquired on the isolated object detection result. And may be presented in parallel.
  • the user can easily grasp which object detector did not detect which object detector or only which object detector detected. can do.
  • the presentation of the influence it was acquired for the reference object detection result which is one of the plurality of object detection results included in the reference object detection result set which is one of the plurality of object detection result sets.
  • the influence and the influence obtained for each of the plurality of object detection results included in the combination including the reference object detection result may be presented. Further, the operation of selecting the reference object detection result set may be accepted, and the reference object detection result set may be switched to the object detection result set selected by the operation.
  • the user can focus on a specific object detector and analyze the object detection result more efficiently than before.
  • analysis by changing the object detector of interest can be performed more efficiently than in the past.
  • the operation of selecting the input data is accepted, the input data is switched to the input data selected by the operation, and in the presentation of the influence, each of the plurality of inferiors with respect to the selected input data.
  • the obtained influence may be presented for each of the plurality of inference results.
  • the user can analyze the object detection result of each object detector more efficiently than before.
  • the operation of selecting the group of the object detection results is accepted, and the object detection result or the presented object detection result for the presented influence is switched to the object detection result of the group selected by the operation. You may.
  • the user can select the object detection result related to the presentation on the UI screen according to the attribute, and the object detection result can be analyzed more efficiently than in the past.
  • information indicating the inference device that outputs the inference result for each of the presented influences may be presented among the plurality of inference devices.
  • the information processing method is a method executed by a computer, and includes a plurality of object detection result sets including a plurality of object detection results for the same input data by each of the plurality of object detectors.
  • One or more combinations of one or more of the plurality of object detection results included in each of the plurality of object detection result sets are determined based on the plurality of object detection results included in the plurality of object detection result sets. Then, among the plurality of object detection results included in each of the plurality of object detection result sets, the object detection results included in the same combination may be presented in parallel or in superposition via the presenting device.
  • the information processing system includes an inference result acquisition unit that acquires a plurality of inference results that are the results of inference for the same input data by each of the plurality of inference devices, and the inference result acquisition unit for each of the plurality of inference results.
  • An input data influence acquisition unit that acquires the influence of the input data for each of the plurality of inference results, and a determination unit that determines one or more combinations of the plurality of inference results based on the plurality of inference results.
  • An influence presenting unit is provided, which presents the influences acquired for each of the inference results included in the same combination among the plurality of inference results in parallel or in an overlapping manner via a presenting device.
  • inference results for a common object are selected and combined from the inference results of each of a plurality of inference models (inference devices). Then, the influence of the input data on the inference result included in this combination is presented in parallel or superimposed at one time. Therefore, the behavior of each of the plurality of different inferiors can be evaluated in parallel. As a result, the user's time and effort required to analyze the inference result is reduced as compared with the conventional case. Therefore, the user can analyze the inference result more efficiently than in the past.
  • these comprehensive or specific aspects may be realized by a device, an integrated circuit, or a recording medium such as a computer-readable CD-ROM, and the device, system. , Integrated circuits, methods, computer programs and any combination of recording media.
  • FIG. 1 is a schematic view of a screen to which the information processing method according to the embodiment can be applied.
  • This screen functions as a user interface of application software used for analyzing the result of inference by an inference device (hereinafter, the user interface, which is written in English, is abbreviated as UI).
  • the application software may be a web application that displays this screen (hereinafter referred to as a UI screen) on a web browser, or may be a native application or a hybrid application.
  • This application software is executed by a processor provided in various business or personal computers such as a tower type, a desktop type, and a tablet type, and displays such a UI screen on a monitor used by a user.
  • the UI screen 10 accepts a user's operation and displays the result of inference by the inference device or information related to the result according to the user's operation.
  • the inference device is an object detector that detects an object appearing in the input image indicated by the input data
  • the information related to the inference result in this example is, for example, whether or not each part of the input data has an influence on the inference result by the object detector, and if there is an influence, its magnitude and direction (positive influence). Information about either or both).
  • the effect is, for example, the reaction of the inference device to the input data in the inference process for outputting the inference result.
  • the effect may be expressed as an analysis result (that is, an analysis frame or an analysis value) of the reaction.
  • the UI screen 10 is divided into three parts, an input data field, a model field, and a result field, in order from the left.
  • the frame individual switching unit 50C is included.
  • the input data selection unit 20A presents a candidate of input data for displaying the inference result or the analysis result (hereinafter, also referred to as the result information without distinguishing the inference result and the analysis result) in the result column, and presents the user. Let me choose.
  • the input data in this example is image data, and the input data is presented as a thumbnail of the image. Images selected by the user, thumbnails of all images in the example shown in FIG. 1, are surrounded by a thick frame.
  • the input data is also referred to as an input image.
  • the model selection unit 20B presents a candidate for an inferior to display the result information and causes the user to select it.
  • the inference device here is an inference model for machine learning (hereinafter, also simply referred to as a model for convenience).
  • the user narrows down the candidate inference models to those used for object detection, and then selects two of "Model A" and "Model E".
  • the plurality of models selected by the model selection unit 20B have the same purpose, they are different in terms of training method or network configuration, data set used for training, or training amount. Different from each other.
  • the display result selection unit 20C allows the user to select an item of result information to be displayed.
  • object detection it is, for example, the type (class) of the detected object that is selected by the user as an item of result information.
  • the type (class) of the detected object In the example shown in FIG. 1, cars, bicycles, pedestrians and motorcycles are presented as selectable classes, and pedestrians are selected.
  • the user is made to select the result type (TP: True Positive, FP: False Positive, FN: False Negative) as another item of the result information to be displayed.
  • TP and FN are selected.
  • the model selection unit 20B and the display result selection unit 20C clicks or taps the display button under the display result selection unit 20C, the result information corresponds to the content of the selection. Is displayed on the result display unit 40 in the result column.
  • the input image selected by the input data selection unit 20A and the information about the object detection result which is the inference result for the input image are the objects for which the object detection result is output. Displayed with the name of the model for detection.
  • the influences of the two models (Model A and Model E) selected by the model selection unit 20B on the inference result on the input image selected by the input data selection unit 20A are superimposed.
  • the displayed images are displayed side by side on the result display unit 40.
  • the displayed images may be displayed side by side.
  • the display data switching unit 50A is a slider, and the input image displayed on the result display unit 40 is switched according to the position of the knob moved by the user. Along with the switching of the input image, the result information superimposed on the input image is also switched. Further, in this example, the name of the input image currently displayed on the result display unit 40 and the order in the selected input image are displayed on the display data switching unit 50A.
  • the analysis frame batch switching unit 50B and the analysis frame individual switching unit 50C switch the analysis frame, which is an aspect of the influence on the inference result, which is superimposed on the input image and displayed as a part of the display image in the result display unit 40. Let me do it.
  • the switched analysis frame is superimposed on the input image to generate a display image. For example, when each model executes object detection on one input image and a plurality of objects are detected, one analysis frame is generated for each of the plurality of detection results (that is, detection frames). However, what is temporarily superimposed on each input image in the result display unit 40 is one of the plurality of analysis frames generated for the plurality of detection frames. In the example of FIG.
  • pressing among the analysis frames generated for the detection results of each of the plurality of models, the analysis frames superimposed on the input image displayed on the result display unit 40 are collectively advanced. It switches with.
  • the analysis frame individual switching unit 50C which is a slider, is provided for each input image, that is, the display image on which the analysis frame related to each model is superimposed on the result display unit 40. When the user moves the knob of the slider, the analysis frame superimposed on the input image can be individually switched for each image.
  • the information processing method according to the present embodiment By applying the information processing method according to the present embodiment to the UI screen 10, it is possible to analyze the inference result more efficiently using the UI screen 10. In other words, the user can analyze the inference result more efficiently by using the UI screen that can be operated in the same way as before.
  • FIG. 2 is a schematic diagram for explaining the difference in the object detection result between such models.
  • FIG. 2 shows a detection frame surrounding a pedestrian or a vehicle as a detected object among the object detection results in the input image Image 1 by each of the two models Model A and Model B. Comparing the two object detection results, the number of detected pedestrians is different, and although the size and range of what seems to be a common pedestrian detection frame are similar, they do not match.
  • the third detection frame from the top by Model B surrounds a road cone on the road that is erroneously detected as a pedestrian or a car, and is an example of a result type FP. And the car shown at the right end of the image detected in Model A is not detected in Model B. Further, these detection frames are arranged from the top in the order included in the detection result data output from each model, but the order may differ between the models as shown in FIG.
  • the user uses the UI screen 10 to compare and analyze the object detection results output by the plurality of models for each object to be detected. At that time, there may be a request to display the results of the common detected objects side by side on the UI screen 10 at one time.
  • the user uses the analysis frame individual switching unit 50C to output a common object to be detected, for example, an object that is considered to be the result of detection of a pedestrian appearing near the left end of the image by each model.
  • the result display unit 40 displays what is found from the detection results.
  • the analysis frame batch switching unit 50B is used after the object detection results output by each model are rearranged and arranged in a desired order by the user.
  • the information processing method according to the present embodiment saves the user's trouble in this sorting, so to speak.
  • the details of sorting by this method will be described with reference to an example.
  • FIG. 3A is a diagram schematically showing the object detection results by the three object detection models for a common input image.
  • the solid rectangle represents the entire area of the input image that is the target of the object detection process.
  • the broken line frame and the alternate long and short dash line frame in the solid line rectangle are the detection frames acquired as a result of the object detection process by each model, and the difference in line type is different, for example, pedestrian and car.
  • the vertical arrangement of these detection frames corresponds to the order in which the data related to the detection frames are arranged in the object detection result data output by each object detection model.
  • FIG. 3B shows an example of the object detection result data output from the model Model A.
  • Each line from the second line to the sixth line of this data includes an output value related to the detection frame.
  • the content of this output value shows the position and size (range) of each detection frame included in the object detection result by Model A in FIG. 3A in the entire image area and the class of the detected object.
  • Similar data is output from Model B and C, which are other object detection models.
  • a plurality of object detection results output by each object detection model are collectively referred to, and hereinafter also referred to as an object detection result set. That is, the data illustrated in FIG. 3B is the data of the object detection result set consisting of five detection frames acquired as a result of Model A executing object detection on one input image.
  • FIG. 3B is the data of the object detection result set consisting of five detection frames acquired as a result of Model A executing object detection on one input image.
  • FIG. 3B is the data of the object detection result set consisting of five detection frames acquired as a result of Model A executing object detection on one input image.
  • FIG. 3B is the
  • FIGS. 4B, 5B and 9B show an example of the structure and numerical values of such data, and the data format and numerical values of the object detection result set are not limited to this example. Further, the items included in each object detection result are not limited to this example. For example, the type of the result described above may be included in the object detection result. The same applies to FIGS. 4B, 5B and 9B used in the following description.
  • the result display unit 40 is included in the display image by the operation of the analysis frame batch switching unit 50B and the analysis frame individual switching unit 50C.
  • the object detection result (detection frame) is switched in the order in which they are arranged vertically in the figure.
  • FIG. 4A is a diagram schematically showing an example of a state after applying the information processing method according to the present embodiment to the object detection result shown in FIG. 3A.
  • the detection frames that are the object detection results by each object detection model are sorted according to the class of the object to be detected. This is because the output value of each detection frame in the data of the object detection result set output by each object detection model by this information processing method depends on the class of the object to be detected ("car", "pedestrian"). Reflects that it has been sorted.
  • the output value of each detection frame in the second to sixth rows is the class of the object to be detected ("". It is sorted in the order of "car", "pedestrian”). The same sorting is performed on the data of the object detection result set output from Models B and C.
  • FIG. 5A is a diagram for explaining the result of processing performed following the above-mentioned sorting performed according to the class of the detected object in the information processing method according to the present embodiment. The results shown in FIG. 5A will be described focusing on the differences from the states shown in FIG. 4A.
  • FIG. 5A it is a detection result for a common object to be detected (or a detection result for a common object to be detected) among the object detection result sets output by each of the object detection models of Models A, B, and C. (Most likely) are placed in the same position (in order) in the vertical direction.
  • the object detection results in the object detection result set output by the other model are displayed based on the order of the object detection results in the object detection result set output by one of the models. Rearranges.
  • the model in the detection result set output by the model that is not the reference of the order is The order of the object detection results may be determined.
  • the overlap between the detection frames is, for example, IoU (Intersection over Union), that is, the ratio of the intersection to the union of the detection frames. Or, more simply, it may be decided whether or not to place them in the same order based on the size of the overlapping portion between the detection frames of the same class.
  • the positional relationship of each detection frame of the same class is set between the object detection result sets output by each of the plurality of object detection models. It may be determined based on. As a specific example based on the positional relationship of the detection frames, the distance between the corresponding vertices or the corresponding sides of the two detection frames, or the distance between the geometric centers of gravity of the two detection frames may be used.
  • the detection results for each object to be detected are placed in the same order in the object detection result set output by each of the plurality of object detection models. It is also called determining the combination.
  • the two or three object detection results contained in the same row in FIG. 5A are included in the same combination.
  • the object detection results included in the same combination are temporarily displayed on the result display unit 40 without the user searching for or rearranging them.
  • the detection frames that are the object detection results by the models placed in the same row are the same class of detection frames, and the IoU is larger than the detection frames in the other rows. , Or the position in the image is closer.
  • Whether or not to include the detection results of different models based on the overlap between the detection frames such as IoU or the positional relationship of the detection frames in the same combination is determined by, for example, the overlap or the distance and the predetermined threshold value. It may be determined by comparison. Even if the detection results are in the same class and have a larger IoU than the detection frames in other rows, if the IoU is below a predetermined threshold, it is decided not to include them in the same combination. Will be done. Further, as another example, the determination may be made by optimizing the whole by the Hungarian method or the like.
  • the object detection result set (hereinafter, also referred to as the reference object detection result set) used by the computer that executes the information processing method according to the present embodiment as a reference for rearranging the object detection results in each object detection result set.
  • the selection method is not particularly limited.
  • the user may be allowed to select a reference object detection result set.
  • the one having the smallest number of detection results (detection frames) included in the object detection result, or the one having the largest number of detection results (detection frame) may be selected as the reference object detection result set. Further, for example, it may be randomly selected at the time of sorting.
  • FIG. 5A shows the result of using the order of the object detection results in the object detection results by Model A as a reference in such processing performed in the information processing method according to the present embodiment.
  • results shown in FIG. 5A include rectangles with halftone dots that are not shown in FIG. 4A. This is inserted into the object detection result set by the model that did not detect the detected object when there is a detected object detected by only a part of the models selected by the model selection unit 20B.
  • Data indicating alternative information (hereinafter referred to as alternative data) is shown.
  • FIG. 5B is a diagram showing an example of inserting alternative information into the object detection result set output by Model A. It is an example of the alternative information in which " ⁇ blanc ⁇ " of the 4th line and the 5th line in FIG. 5B is inserted. This information corresponds to the two dots with halftone dots found in the column of object detection results by Model A in FIG. 5A.
  • the alternative data is presented in parallel with the display image based on the object detection result by another model in the result display unit 40, so that the user is provided with the information that the detected object was not detected in the model.
  • Such alternative data may be presented in the result display unit 40 as, for example, a blank frame or a simple blank area without a frame, or presented as characters, symbols, patterns or figures indicating that the data has not been detected. May be done.
  • FIG. 6 is a diagram for explaining a mode different from the example of FIG. 5A for inserting alternative data.
  • the order of the object detection results in the object detection result set by Model A was used as the reference for the order of the object detection results.
  • alternative data is not inserted into the object detection result set of Model A, and the sorted state based on the class shown in FIG. 4A is maintained.
  • the detection results of the objects to be detected that are not detected by Model A are collected at the end (bottom) of the order.
  • Sorting of object detection results in such an object detection result set may be automatically executed, for example, when the user presses the display button.
  • the UI screen 10 may include an operation component (not shown) that receives an instruction to execute such a rearrangement from the user, and the rearrangement may be executed in response to an operation on the operation component.
  • the fourth and sixth from the top of Model A, and in FIG. 6, the fourth from the top of Model A are the detected objects that were detected in only one of the three models.
  • Corresponds to the detection result of (hereinafter referred to as the isolated object detection result).
  • the isolated object detection result is not included in any of the combinations of the object detection results determined as described above.
  • a display image based on such an isolated object detection result may also be presented in parallel with the alternative data in the result display unit 40.
  • FIGS. 7A to 7D show an example of display on the UI screen 10 after such rearrangement is performed.
  • 7A to 7D show an excerpt of a part of the result display unit 40 and the analysis frame batch switching unit 50B in the result column of the UI screen 10.
  • For the image to be detected by the object refer to the image Image 1 in FIG.
  • the display images including the analysis results of the detection results of the pedestrians reflected slightly to the left from the center, which were detected in all three models, are shown in parallel.
  • the analysis result magnitude and directionality of influence
  • the analysis frame is schematically represented by a patterned region superimposed on the image. The part where the analysis frame is not superimposed indicates that the part of the input image did not affect the object detection result or the influence was very small.
  • FIG. 7B shows the state of the result display unit 40 after the downward-pointing triangle included in the analysis frame batch switching unit 50B is pressed once in the state shown in FIG. 7A.
  • a display image including the analysis result of the detection result of the pedestrian near the left end of the input image is shown.
  • Model C since this pedestrian was not detected, a frame including a figure as alternative data is displayed side by side with other display images.
  • FIG. 7C shows the state of the result display unit 40 after the downward-pointing triangle included in the analysis frame batch switching unit 50B is pressed once more in the state shown in FIG. 7B.
  • the display image including the analysis result of the pedestrian detection result included only in the object detection result set output by Model B and the frame including the figure as alternative data for Model A and Model C are parallel. It is shown in.
  • FIG. 7D shows the state of the result display unit 40 after the downward-pointing triangle included in the analysis frame batch switching unit 50B is pressed once more in the state shown in FIG. 7C.
  • two display images including the analysis result of the vehicle detection result commonly included in the object detection result set by Model A and the object detection result set by Model C, and Model B as alternative data.
  • the frame containing the figure is shown in parallel.
  • the combinations determined in this way in the object detection process by each model, the influence of the input image on the object detection results included in the same combination is presented to the user in parallel. As a result, the user can simultaneously view the detection results for the same detected object for analysis without having to search for the detection results for the same detected object or rearrange the searched detection results. Can be done.
  • FIG. 8 is a block diagram showing a configuration example of a computer 100 on which the information processing method according to the present embodiment is executed.
  • the computer 100 is the various computers described above, and includes an information processing device 80 and a display device 60.
  • the information processing device 80 includes a storage unit that stores the above-mentioned application software and an arithmetic processing unit that reads and executes the application software.
  • the information processing device 80 includes an analysis unit 81, a synthesis unit 82, a presentation target selection unit 83, and a presentation unit 84 as functional components provided by executing the application software.
  • the analysis unit 81 has each of the images (hereinafter referred to as input images) to be object detection processed for each of the plurality of object detection results (that is, each detection frame) included in the object detection result set output by the object detection model. Calculate the presence or absence of influence by the part (size and directionality if any). Such effects are calculated using various methods. For example, the impact can be calculated using the methods disclosed in the following documents.
  • the analysis unit 81 is an example of the inference result acquisition unit and the input data influence acquisition unit in the present embodiment.
  • FIG. 9A is a schematic diagram for explaining the calculation of the influence by the analysis unit 81.
  • the broken line frame in the input image represents the detection frame which is the object detection result.
  • the left side of the input image is an excerpt of the area including the detection frame, and the squares are the pixels (partially omitted) that make up the input image.
  • the numerical value in the grid is a value calculated by the analysis unit 81 and representing the influence of the value of each pixel on the object detection result (hereinafter, also referred to as an analysis value).
  • an analysis value is input to each pixel for convenience of explanation, but such data is not added to the value possessed by each pixel. Further, in the above description, the analysis value is described as being calculated for each pixel, but the analysis value is not limited to this. After grouping a plurality of pixels into super pixels, the analysis value may be calculated for each super pixel.
  • the range of pixels from which the analysis value is calculated differs depending on the design value of the object detection model and the size of the detection frame.
  • the analysis value is calculated for a range in which the pixels overlapping the detection frame are expanded by 2 pixels vertically and 4 pixels horizontally.
  • the above-mentioned analysis frame corresponds to the outline of the entire set of pixels for which the influence is calculated in this way, or the contour of the set of pixels whose magnitude of the calculated influence is within a specific range.
  • FIG. 9B is a diagram showing an example of data of the object detection result set in which the analysis value calculated by the analysis unit 81 is added to the object detection result.
  • the data of the analysis value calculated by the analysis unit 81 as shown in FIG. 9A is inserted into the data of the object detection result set output by Model A also shown in FIG. 3B.
  • the second line is data showing the position and size of the detection frame and the class of the object to be detected to which the detection frame is attached
  • the third line is the analysis unit 81 for this detection frame. Is the data of the analysis value calculated by (omitted in the middle). From the fourth line onward, the position and size of other detection frames included in the data of this object detection result set, the class of the object to be detected, and the data of the analysis value calculated for this detection frame follow.
  • the synthesis unit 82 synthesizes and outputs an image in which an analysis frame is superimposed on an input image, that is, a display image, based on the analysis value calculated by the analysis unit 81.
  • this analysis frame is represented by a patterned region as illustrated in FIGS. 1 and 7A to 7D.
  • one display image is combined for each detection frame. Such a display image is the influence of one input image and the input image on the object detection result executed on the input image, and the analysis result calculated by the analysis unit 81 is collectively shown.
  • the presentation target selection unit 83 selects a display image to be displayed on the result display unit 40 via the presentation unit 84 in response to an input from the operation unit 2050 included in the UI screen 10 displayed on the display device 60 such as a monitor. To do.
  • the operation unit 2050 is a component on the UI screen 10 that accepts an operation in which the user selects a group of object detection results for which the analysis result is included in the display image displayed on the result display unit 40. This group is defined by the attributes of the object detection result such as the class of the object to be detected and the result type.
  • the operation unit 2050 in the present embodiment includes an input data selection unit 20A, a model selection unit 20B, a display result selection unit 20C, a display data switching unit 50A, an analysis frame batch switching unit 50B, and an analysis frame individual switching unit 50C. ..
  • the input from the operation unit 2050 includes information on the input image and model selected by the user, and information on the group of object detection results, that is, information on the class or result type of the object to be detected.
  • the presentation target selection unit 83 selects the display image output by the synthesis unit 82 to be displayed on the result display unit 40. Further, the presentation target selection unit 83 rearranges the selected display images in each object detection result set to determine the combination. Furthermore, alternative information is inserted into the object detection result set, which lacks the detection result for the object to be detected in common with other models, depending on the setting or specification.
  • the presentation target selection unit 83 is an example of the determination unit in the present embodiment.
  • the presentation unit 84 outputs to the display device 60 so that the display images included in the same combination among the combinations determined by the presentation target selection unit 83 are displayed in parallel on the result display unit 40.
  • alternative data is output so as to be displayed on the result display unit 40 in parallel with the display image according to the setting or the specification.
  • the result display unit 40 of the presentation unit 84 and the display device 60 is an example of the influence presentation unit in the present embodiment. Further, the display device 60 is an example of the presentation device in the present embodiment.
  • the flow chart shown in FIG. 10 shows the procedure of the information processing method according to the present embodiment executed by the computer 100 having such a configuration.
  • the processing by each of the above functional components will be described below as a processing by the computer 100.
  • the computer 100 acquires an object detection result set output by executing object detection on a common input image by a plurality of different object detection models (step S11).
  • This object detection result set includes output values for individual detection frames that are object detection results (see FIG. 3B).
  • it may be the computer 100 or a device other than the computer 100 that actually acquires the data of the input image and executes the object detection by the object detection model on the data.
  • an information processing terminal such as a smartphone or an information processing device provided in a device such as a camera may execute object detection on an image captured by an image sensor included in each device.
  • the computer 100 calculates the influence of each part of the input image on the calculation of the output value related to the detection frame for each detection frame which is the object detection result included in each object detection result set (step S12). ..
  • the calculation of the effect is specifically to calculate an analysis value indicating either or both of the magnitude (including the presence or absence) and the direction of the effect.
  • the computer 100 synthesizes a display image in which the influence calculated in step S12 is superimposed on the input image (step S13). Specifically, based on the calculated analysis value, a display image in which an analysis frame is superimposed on the input image is synthesized.
  • the computer 100 determines the combination of the detection results (detection frames) included in the object detection result sets output by different object detection models (step S14).
  • the detection results included in the same combination may be the detection results for a common detected object or the detection results for a common detected object based on the overlap or positional relationship between the detection frames. It is judged that the sex is higher than the predetermined standard.
  • the process of determining this combination may also include inserting alternative information into the object detection result set, depending on the settings or specifications.
  • the computer 100 presents a display image selected according to the setting of the object detection result group defined by the attributes such as class and result type (step S15). Since this selection is performed in the unit of the combination determined in step S14, the display images including the analysis results of the detection results of the common detected bodies (or the detected bodies that are likely to be common) are presented in parallel. Will be done.
  • the composition of the analysis image (S13), the acquisition of the influence (S12), and the composition of the analysis image (S13) may be executed after the combination is determined (S14) and before the display image is actually presented. ..
  • the input image to be included in the display image to be displayed on the result display unit 40 is first selected based on the object detection result. Then, the acquisition of the influence and the synthesis of the analysis image may be synthesized only for the object detection result for the selected input image.
  • step S15 the user's operation regarding the group setting on the UI screen 10 is accepted at any stage before step S15, and the display target according to this setting becomes the processing target in the unexecuted procedure. May be good.
  • the result display unit 40 switches to the display image based on the object detection result selected according to the latest group setting.
  • the displayed image may be displayed once without executing the combination determination (step S14).
  • step S14 may be executed, and the display content on the result display unit 40 may be updated according to the result.
  • the display content reflecting the result of step S14 and the display content not reflecting the result may be reversibly switchable.
  • the calculation of the influence is executed by the computer 100, but the calculation is not limited to this.
  • the calculation of the influence may be executed by a device other than the computer 100 provided with the information processing device, and the computer 100 may directly or indirectly receive and acquire the input of the influence output from this device.
  • the expression mode of the influence is exemplified only by the frame (analysis frame) along the region or its outline, but is not limited to this.
  • the frame analysis frame
  • it may be represented by a figure such as a point or a cross placed at the center of an area or a geometric center of gravity.
  • a plurality of object recognition results included in the same combination and individually acquired effects on these object recognition results are superimposed.
  • a plurality of display images are presented in parallel on the left and right lines on the result display unit 40, but the form of presentation is not limited to this. For example, they may be presented in parallel in one upper and lower column, or may be arranged and presented on a matrix consisting of a plurality of rows and a plurality of columns such as a rice field shape.
  • the detection frame which is the object detection result by each of the plurality of models, or the analysis frame acquired for the detection frame may be superimposed on one input image collectively.
  • the analysis frame in this case may be shown only by the outline or by a region painted with higher transparency, instead of the region with the pattern as illustrated in FIGS. 7A to 7D.
  • the result display unit 40 may present an input image on which a detection frame, which is an object detection result, is superimposed, instead of or in addition to the influence. Further, the information superimposed on the input image may be switchable according to the operation of the user.
  • the object detection result included in one combination and the object are temporarily displayed on the UI screen 10 on the result display unit 40. It was only the effect obtained on the detection result, but it is not limited to this.
  • the result display unit 40 supports a plurality of combinations as long as the display images based on the object detection results included in the same combination can be easily grasped by the user by collecting and arranging them or enclosing them in a frame.
  • the display image may be presented at one time.
  • the combination is determined by rearranging the contents of the data of the object detection result set and placing them in the same order, but the realization form of the combination is not limited to this.
  • an identifier indicating the combination to which each object detection result belongs can be added, or a table that holds the combination information separately from the object detection result set is generated or updated. You may do it.
  • a combination that determines the display image to be presented by the result display unit 40 may be determined by being calculated each time according to the operation of the user.
  • Sorting according to the class of the detected object described with reference to FIGS. 3A and 4A is not only for comparing inference results between a plurality of models, but also for organizing the inference results by one model. It may be executed.
  • sorting according to the class is not essential. That is, the combination may be determined based on the overlap or positional relationship between the detection frames without sorting according to the class.
  • the determination of the combination of the object detection results is executed based on the overlap or the positional relationship between the detection frames, but the determination of the combination is performed.
  • the method is not limited to this.
  • the combination may be determined based on the similarity between the influences.
  • the degree of similarity of the influence is, for example, the size of the vector whose element is the size of the pixel area (vertical x horizontal) in which the analysis unit 81 calculates the analysis value for the object detection result output by each of the two object detection models. It can be determined based on comparison or similarity between these vectors (eg, cosine distance).
  • the combination of the object detection results may be determined based on the overlap or position of the detection frames and the closeness of the likelihood of the detection results. For example, a score may be given so as to give a higher score to those having a larger overlap of detection frames and those having a closer likelihood of detection results, and the combination may be determined based on the scoring results.
  • a part or all of the functional components included in each of the above-mentioned information processing systems may be composed of one system LSI (Large Scale Integration).
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip. Specifically, a microprocessor, a ROM (Read-Only Memory), and a RAM (Random Access Memory) are used. It is a computer system that includes such as. A computer program is stored in the ROM. When the microprocessor operates according to this computer program, the system LSI achieves the function of each component.
  • system LSI Although it is referred to as a system LSI here, it may be referred to as an IC, an LSI, a super LSI, or an ultra LSI due to the difference in the degree of integration. Further, the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
  • FPGA Field Programmable Gate Array
  • One aspect of the present disclosure is not limited to the information processing method described above using the flow chart of FIG. 10, and may be a program executed by the computer 100 and an information processing system including the computer 100. Also, one aspect of the present disclosure may be a computer-readable, non-temporary recording medium on which such a computer program is recorded.
  • the information processing method and the like according to the present disclosure can be used as a user interface used for comparing the results of inference processing by a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

コンピュータにより実行される情報処理方法として、複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得し（Ｓ１１）、取得した複数の推論結果それぞれに入力データが及ぼした影響を、個々の推論結果について取得し（Ｓ１２）、複数の推論結果に基づいて当該複数の推論結果同士の組合せを１つ以上決定し（Ｓ１４）、決定した複数の推論結果のうち、同一の組合せに含まれる推論結果それぞれについて取得した影響同士を並列に又は重畳して、提示装置を介して提示する（Ｓ１５）。

Description

情報処理方法、情報処理システム及びプログラム
　本開示は、コンピュータによって実行される情報処理方法等に関する。
　画像に写る物体検出の結果の提示に利用される技術が提案されている（例えば特許文献１及び非特許文献１参照）。
特開２０１８－１８１２７３号公報
Erik Bochinski et al, "High-Speed tracking-by-detection without using image information", 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2017年8月
　従来提案されている技術では、それぞれが物体検出処理等の推論処理を行う複数の異なる推論器それぞれの振る舞いを並行して評価することが困難であった。
　本開示は、複数の異なる推論器それぞれの振る舞いを並行して評価することが可能な情報処理方法等を提供する。
　本開示の一態様に係る情報処理方法は、コンピュータにより実行される方法であって、複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得し、前記複数の推論結果それぞれに前記入力データが及ぼした影響を、前記複数の推論結果のそれぞれについて取得し、前記複数の推論結果に基づいて前記複数の推論結果同士の組合せを１つ以上決定し、前記複数の推論結果のうち、同一の前記組合せに含まれる推論結果それぞれについて取得した前記影響同士を並列に又は重畳して提示装置を介して提示する情報処理方法である。
　また、本開示の一態様に係る情報処理システムは、複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得する推論結果取得部と、前記複数の推論結果それぞれに前記入力データが及ぼした影響を、前記複数の推論結果のそれぞれについて取得する入力データ影響取得部と、前記複数の推論結果に基づいて前記複数の推論結果同士の組合せを１つ以上決定する決定部と、前記複数の推論結果のうち、同一の前記組合せに含まれる推論結果それぞれについて取得された前記影響同士を並列に又は重畳して提示装置を介して提示する影響提示部と、を備える。
　なお、包括的又は具体的なこれらの態様は、上記の方法及びシステムの他に、装置、集積回路、又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示に係る情報処理方法等によって、複数の異なる推論器それぞれの振る舞いを並行して評価することが可能になる。
図１は、実施の形態に係る情報処理方法が適用可能な画面の模式図である。 図２は、異なる物体検出モデルそれぞれによる物体検出の結果の差異を説明するための模式図である。 図３Ａは、共通の入力画像に対する３つの物体検出モデルによる物体検出結果を模式的に示す図である。 図３Ｂは、物体検出モデルから出力された物体検出結果セットのデータの例を示す図である。 図４Ａは、図３Ａに示す物体検出結果に、実施の形態に係る情報処理方法を適用した後の状態の一例を模式的に示す図である。 図４Ｂは、実施の形態に係る情報処理方法を適用した後の物体検出結果セットのデータの例を示す。 図５Ａは、実施の形態に係る情報処理方法において行われる代替データの挿入の処理の結果を説明するための図である。 図５Ｂは、図５Ａに示す処理の結果に対応する物体検出結果セットのデータの例を示す図である。 図６は、実施の形態に係る情報処理方法で行われる代替データの挿入の、図５Ａに示す例と異なる態様を説明するための図である。 図７Ａは、実施の形態に係る情報処理方法が適用されたＵＩ画面での表示例を示す。 図７Ｂは、実施の形態に係る情報処理方法が適用されたＵＩ画面での表示例を示す。 図７Ｃは、実施の形態に係る情報処理方法が適用されたＵＩ画面での表示例を示す。 図７Ｄは、実施の形態に係る情報処理方法が適用されたＵＩ画面での表示例を示す。 図８は、実施の形態に係る情報処理方法を実行するコンピュータの構成例を示すブロック図である。 図９Ａは、上記の情報処理方法で取得される解析枠を説明するための模式図である。 図９Ｂは、上記の解析枠に関するデータが付加された物体検出結果セットのデータの例を示す。 図１０は、本実施の形態に係る情報処理方法の手順を表すフロー図である。
　（本開示の基礎となった知見）
　発明者らは、上述した提案されている従来の技術では、以下の問題が生じることを見出した。
　例えば同一の画像に対する複数の推論モデルが各々実行した物体検出では、検出された被写体（以下、被検出体ともいう）の数が異なっている場合がある。このような場合に、推論モデルの作成者が検出結果を推論モデル間で被検出体ごとに比較して解析しようとすると、同じ被検出体についての結果を各推論モデルが出力した検出結果から探し出すだけで手間がかかり、不便で非効率である。また、被検出体の数が同じであっても、ある被検出体の推定された位置又は写る範囲は推論モデル間で異なることがあり、目視での対応付けは手間がかかったり、間違えたりしやすく非効率である。
　このような非効率な状況があるという問題に鑑みて案出された本開示の一態様に係る情報処理方法は、コンピュータにより実行される方法であって、複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得し、前記複数の推論結果それぞれに前記入力データが及ぼした影響を、前記複数の推論結果のそれぞれについて取得し、前記複数の推論結果に基づいて前記複数の推論結果同士の組合せを１つ以上決定し、前記複数の推論結果のうち、同一の前記組合せに含まれる推論結果それぞれについて取得した前記影響同士を並列に又は重畳して提示装置を介して提示する情報処理方法である。
　これにより、複数の推論モデル（推論器）それぞれの推論結果の中から、例えば共通の対象についての推論結果が選択されて組み合わせられる。そして、入力データによるこの組み合わせに含まれる推論結果への影響が並列に又は重畳して一時に提示される。よって、複数の異なる推論器それぞれの振る舞い（すなわち影響）を並行して評価することができる。その結果、推論結果の解析にかかるユーザの手間は従来に比べ削減される。したがって、ユーザは従来に比べて効率よく推論結果の解析を行うことができる。
　また、前記複数の推論器のそれぞれは、物体検出器であり、前記複数の推論結果のそれぞれは、複数の物体検出結果を含む物体検出結果セットであり、前記複数の推論結果のそれぞれについて取得する前記影響は、前記物体検出結果セットが含む前記複数の物体検出結果それぞれに前記入力データが及ぼした影響であり、前記１つ以上の組合せのそれぞれは、複数の前記物体検出結果セットのうち互いに異なる物体検出結果セットに含まれている複数の物体検出結果を含み、前記並列に又は重畳して提示される影響は、前記同一の組合せに含まれる前記複数の物体検出結果のそれぞれに対して取得された影響であってもよい。
　これにより、入力データによるこの組み合わせに含まれる物体検出結果への影響が並列に又は重畳して一時に表示される。その結果、物体検出結果の解析までに至るユーザの手間は従来に比べ削減されるため、ユーザは従来に比べて効率よく物体検出結果の解析を行うことができる。物体検出では、各物体検出器において複数の物体が検出されるせいで解析にかかる手間が膨大になるため特に有意義である。
　また、前記複数の物体検出結果のそれぞれは、検出された物体に基づくクラスを含み、前記１つ以上の組合せのそれぞれに含まれる前記複数の物体検出結果がそれぞれ含む前記クラスは共通であってもよい。
　これにより、複数のクラスについての物体検出が実行される場合で、例えば被検出体の推定された位置が近くても、異なるクラスであればユーザに対して影響が一時に提示されることは避けられる。その結果、物体検出結果の解析までに至るユーザの手間は従来に比べ削減されるため、ユーザは従来に比べて効率よく物体検出結果の解析を行うことができる。
　ここで、例えば前記複数の物体検出結果のそれぞれは、検出枠を含み、前記１つ以上の組合せは、互いに異なる前記複数の物体検出結果セットに含まれる前記複数の物体検出結果が含む前記検出枠同士の重なり又は位置関係に基づいて決定されてもよい。また、例えば前記複数の物体検出結果のそれぞれは、検出の尤度を含み、前記１つ以上の組合せは、互いに異なる前記複数の物体検出結果セットに含まれる前記複数の物体検出結果が含む前記検出の尤度同士の近さにさらに基づいて決定されてもよい。
　これにより、各物体検出器による物体検出結果の中から共通の被検出体についての検出結果同士の組合せをより確実に成立させることができる。
　また、前記影響の提示では、前記同一の組合せが、複数の前記物体検出器のいずれかによる前記物体検出結果セットに含まれる前記複数の物体検出結果を含まない場合、前記同一の組合せに含まれる前記複数の物体検出結果それぞれに対して取得された前記影響と代替データとを並列に提示してもよい。また、さらに、前記複数の物体検出結果のうち、前記１つ以上の組合せのいずれにも含まれていない孤立物体検出結果がある場合、前記孤立物体検出結果に対して取得された影響と代替データとを並列に提示してもよい。
　これにより、物体検出器間で被検出体の数が異なる場合に、どの被検出体についてどの物体検出器が検出しなかったか、又はどの物体検出器のみが検出したかを、ユーザは容易に把握することができる。
　また、前記影響の提示では、前記複数の物体検出結果セットのうちの１つである基準物体検出結果セットが含む前記複数の物体検出結果の１つである基準物体検出結果に対して取得された影響と、前記基準物体検出結果が含まれる前記組合せに含まれる前記複数の物体検出結果のそれぞれに対して取得された影響と、を提示してもよい。また、さらに、前記基準物体検出結果セットを選択する操作を受け付け、前記基準物体検出結果セットを、前記操作によって選択された物体検出結果セットに切り替えてもよい。
　これにより、ユーザは特定の物体検出器に着目して物体検出結果の解析を、従来に比較して効率よく行うことができる。また、着目する物体検出器を変えての解析を従来に比べて効率よく行うことができる。
　また、さらに、前記入力データを選択する操作を受け付け、前記入力データを、前記操作によって選択された入力データに切り替え、前記影響の提示では、前記選択された入力データに対する前記複数の推論器のそれぞれによる前記複数の推論結果それぞれに対して取得された影響を提示してもよい。
　これにより、複数の入力データがある場合にも、物体検出器それぞれの物体検出結果の解析を、ユーザは従来に比べて効率よく行うことができる。
　また、さらに、前記物体検出結果のグループを選択する操作を受け付け、提示される前記影響に対する前記物体検出結果又は提示される前記物体検出結果を、前記操作によって選択されたグループの物体検出結果に切り替えてもよい。
　これにより、ユーザはＵＩ画面での提示に係る物体検出結果を属性に応じて選択することができ、従来に比べて効率よく物体検出結果の解析を行うことができる。
　また、前記影響の提示では、さらに、前記複数の推論器のうち、提示される前記影響それぞれについての前記推論結果を出力した推論器を示す情報を提示してもよい。
　これにより、ユーザは提示される影響が複数の推論器のうちのどの推論器に係る影響であるかを判別することができる。
　また、本開示の一態様に係る情報処理方法は、コンピュータにより実行される方法であって、複数の物体検出器それぞれによる同じ入力データに対する複数の物体検出結果をそれぞれ含む複数の物体検出結果セットを取得し、前記複数の物体検出結果セットがそれぞれ含む前記複数の物体検出結果に基づいて、前記複数の物体検出結果セットがそれぞれ含む前記複数の物体検出結果の一つ同士の組合せを一つ以上決定し、前記複数の物体検出結果セットがそれぞれ含む前記複数の物体検出結果のうち、同一の前記組合せに含まれる物体検出結果を、並列に又は重畳して提示装置を介して提示してもよい。
　これにより、複数の異なる物体検出器それぞれの振る舞い（すなわち物体検出結果）を並行して評価することができる。その結果、物体検出器それぞれの物体検出結果同士の比較も、ユーザは従来に比べて効率よく行うことができる。
　また、本開示の一態様に係る情報処理システムは、複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得する推論結果取得部と、前記複数の推論結果それぞれに前記入力データが及ぼした影響を、前記複数の推論結果のそれぞれについて取得する入力データ影響取得部と、前記複数の推論結果に基づいて前記複数の推論結果同士の組合せを１つ以上決定する決定部と、前記複数の推論結果のうち、同一の前記組合せに含まれる推論結果それぞれについて取得された前記影響同士を並列に又は重畳して提示装置を介して提示する影響提示部と、を備える。
　これにより、複数の推論モデル（推論器）それぞれの推論結果の中から、例えば共通の対象についての推論結果が選択されて組み合わせられる。そして、入力データによるこの組み合わせに含まれる推論結果への影響が並列に又は重畳して一時に提示される。よって、複数の異なる推論器それぞれの振る舞いを並行して評価することができる。その結果、推論結果の解析にかかるユーザの手間は従来に比べ削減される。したがって、ユーザは従来に比べて効率よく推論結果の解析を行うことができる。
　なお、包括的又は具体的なこれらの態様は、上記の方法及びシステムの他に、装置、集積回路、又はコンピュータが読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、方法、コンピュータプログラム及び記録媒体の任意な組合せで実現されてもよい。
　以下、本開示の一態様に係る情報処理方法及び情報処理システムの実施の形態について、図面を参照しながら説明する。ここで示す実施の形態は、本開示の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びにステップ（工程）及びステップの順序等は一例であって、本開示を限定するものではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素は任意に付加可能な構成要素である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
　（実施の形態）
　図１は、実施の形態に係る情報処理方法が適用可能な画面の模式図である。この画面は、推論器による推論の結果の解析に用いられるアプリケーションソフトウェアのユーザインタフェース（以下、英文表記であるUser Interfaceを略してＵＩと表記する）として機能する。このアプリケーションソフトウェアは、この画面（以下、ＵＩ画面と呼ぶ）をウェブブラウザで表示させるウェブアプリケーションであってもよいし、ネイティブアプリケーション又はハイブリッドアプリケーションであってもよい。このアプリケーションソフトウェアは、例えばタワー型、デスクトップ型、タブレット型等の各種の業務用又は個人用のコンピュータが備えるプロセッサによって実行されて、ユーザが使用するモニタにこのようなＵＩ画面を表示させる。
　ＵＩ画面１０は、ユーザの操作を受け付け、このユーザの操作に従って推論器による推論の結果又はその結果に関連する情報を表示する。なお、本実施の形態は、推論器は入力データが示す入力画像に写る物体を検出する物体検出器である場合を例に用いて説明する。この例における推論の結果に関連する情報とは、例えば物体検出器による推論の結果に対する入力データの各部分が及ぼした影響の有無、並びに影響がある場合はその大きさ及び方向性（肯定的影響であるか否定的影響であるか）のいずれか又は両方に関する情報である。言い換えると、当該影響は、例えば、当該推論結果を出力するための推論処理における入力データに対する推論器の反応である。あるいは、当該影響は、当該反応の解析結果（すわなち解析枠又は解析値）として表現されてもよい。
　ＵＩ画面１０は、左から順に入力データ欄、モデル欄及び結果欄の３つの部分に分かれる。入力データ欄には入力データ選択部２０Ａ、モデル欄にはモデル選択部２０Ｂ及び表示結果選択部２０Ｃ、結果欄には、結果表示部４０、表示データ切替部５０Ａ、解析枠一括切替部５０Ｂ及び解析枠個別切替部５０Ｃが含まれる。
　入力データ選択部２０Ａは、結果欄で推論結果又は解析結果（以下、推論結果及び解析結果を区別せずに指して結果情報ともいう）を重畳して表示させる入力データの候補を提示してユーザに選択させる。この例での入力データは画像のデータであり、入力データは画像のサムネイルとして提示される。ユーザによって選択された画像、図１に示す例では全画像のサムネイルが太枠で囲まれている。以下、入力データを入力画像とも称する。
　モデル選択部２０Ｂは、結果情報を表示させる推論器の候補を提示してユーザに選択させる。ここでの推論器とは、機械学習の推論モデル（以下、便宜的に単にモデルともいう）である。図１に示す例では、ユーザは候補の推論モデルのうち、物体検出の用途のものに絞り込んでから、「Ｍｏｄｅｌ　Ａ」及び「Ｍｏｄｅｌ　Ｅ」の２つを選択している。なお、このようにモデル選択部２０Ｂで選択される複数のモデルは、用途は共通であっても、訓練手法若しくはネットワーク構成の違いによる種類、訓練に用いられたデータセット、又は訓練量の点で互いに異なる。
　表示結果選択部２０Ｃは、表示させる結果情報の項目をユーザに選択させる。物体検出の場合、結果情報の項目としてユーザに選択させるのは、例えば検出された物体の種類（クラス）である。図１に示す例では、選択可能なクラスとして車、自転車、歩行者及びバイクが提示され、歩行者が選択されている。また、図１に示す例では、表示させる結果情報の他の項目として、結果の種別（ＴＰ：True Positive、ＦＰ：False Positive、ＦＮ：False Negative）もユーザに選択させている。図１に示す例では、ＴＰ及びＦＮが選択されている。
　入力データ選択部２０Ａ、モデル選択部２０Ｂ及び表示結果選択部２０Ｃでの選択が終わったユーザが表示結果選択部２０Ｃの下にある表示ボタンをクリック又はタップすると、結果情報がその選択の内容に応じて結果欄の結果表示部４０に表示される。図１の例では、結果表示部４０には、入力データ選択部２０Ａで選択された入力画像と、この入力画像に対する推論結果である物体検出結果に関する情報とが、当該物体検出結果を出力した物体検出用のモデルの名称とともに表示される。
　図１に示す例では、モデル選択部２０Ｂで選択された２つのモデル（Ｍｏｄｅｌ　Ａ、Ｍｏｄｅｌ　Ｅ）による、入力データ選択部２０Ａで選択された入力画像に対する推論結果に対する影響がそれぞれ重畳された２つの表示画像が結果表示部４０に左右に並べて表示されている。なお、表示画像は上下に並べて表示されてもよい。
　結果表示部４０に、入力データ選択部２０Ａで選択されたいずれの入力画像を表示させるかは、表示データ切替部５０Ａを用いて切り替えることができる。図１に示す例では、表示データ切替部５０Ａはスライダであり、ユーザが動かすつまみの位置に応じて結果表示部４０に表示される入力画像が切り替わる。入力画像の切り替えと共に、入力画像に重畳される結果情報も切り替えられることになる。またこの例では、結果表示部４０に現在表示されている入力画像の名称及び選択された入力画像の中での順番が、表示データ切替部５０Ａの上に表示されている。
　解析枠一括切替部５０Ｂ及び解析枠個別切替部５０Ｃは、結果表示部４０において入力画像に重畳され表示画像の一部として表示される、推論結果に対する影響の一態様である解析枠の切替えをユーザに行わせる。切り替えられた解析枠が入力画像に重畳されて表示画像が生成される。例えば、各モデルがひとつの入力画像に対して物体検出を実行して複数の物体が検出されると、複数の検出結果（すなわち検出枠）それぞれに対して１つの解析枠が生成される。ただし、結果表示部４０において各入力画像に一時に重畳されるのは、複数の検出枠に対して生成された複数の解析枠のうちの１つである。図１の例では、結果欄に１つのみ備えられる解析枠一括切替部５０Ｂの部品である上下を指す三角形をユーザが１回クリック又はタップする（以下、クリック及びタップの操作を区別せずに「押す」とも表現する）と、複数のモデルそれぞれによる検出結果に対して生成された解析枠の中で、結果表示部４０に表示されている入力画像に重畳される解析枠が一括して順送りで切り替わる。また、スライダである解析枠個別切替部５０Ｃは、結果表示部４０において各モデルに係る解析枠が重畳されている入力画像すなわち表示画像ごとに備えられている。スライダのつまみをユーザが動かすと、入力画像に重畳される解析枠を、画像ごとに個別に切り替えることができる。
　このＵＩ画面１０に本実施の形態に係る情報処理方法を適用することで、ＵＩ画面１０を用いてより効率のよい推論結果の解析を行うことができる。別の表現をすると、ユーザは従来と同じように操作できるＵＩ画面を用いて、より効率よく推論結果の解析を行うことができる。
　同一の入力データに対する複数のモデルによる推論結果間には上述のような差があることが少なくない。例えば物体検出では、検出された被写体（以下、被検出体ともいう）の数、画像内での推定された位置又は写る範囲がモデル間で異なり得る。図２は、このようなモデル間の物体検出結果の差異を説明するための模式図である。図２では、Ｍｏｄｅｌ　Ａ及びＭｏｄｅｌ　Ｂの２つのモデルそれぞれによる入力画像Ｉｍａｇｅ　１での物体検出結果のうち、被検出体である歩行者又は車を囲む検出枠を示している。２つの物体検出結果を比較すると、検出された歩行者の数が異なり、共通の歩行者の検出枠と思われるものの大きさ及び範囲は似ているが一致はしていない。なお、Ｍｏｄｅｌ　Ｂによる上から３つ目の検出枠は、歩行者又は車として誤検出された路上のロードコーンを囲むものであり、結果種別ＦＰの例である。そしてＭｏｄｅｌ　Ａでは検出されている画像右端に写る車が、Ｍｏｄｅｌ　Ｂでは検出されていない。また、これらの検出枠は、各モデルから出力された検出結果のデータに含まれる順に上から並べたものであるが、その順序は図２に示されるようにモデル間で異なる場合がある。
　ユーザは複数のモデルが出力した物体検出の結果を、被検出体ごとに比較して解析するためにＵＩ画面１０を使用する。その際、共通の被検出体の結果をＵＩ画面１０上で並べて一時に表示させるという要求が生じ得る。従来はこのような場合、ユーザは、解析枠個別切替部５０Ｃを用いて、共通の被検出体、例えば画像の左端付近に写る歩行者の検出の結果と考えられるものを各モデルが出力した物体検出の結果から探し出したものを結果表示部４０に表示させる。または、ＵＩ画面１０ではこのための操作部を例示していないが、各モデルが出力した物体検出の結果をユーザが所望の順序に並べ替えて揃えてから、解析枠一括切替部５０Ｂを用いる。
　本実施の形態に係る情報処理方法は、いわばこの並べ替えにおけるユーザの手間を省くものである。以下、この方法による並べ替えの詳細について例を用いて説明する。
　図３Ａは、共通の入力画像に対する３つの物体検出モデルによる物体検出結果を模式的に示す図である。実線の矩形は、物体検出処理の対象である入力画像の領域全体を表す。また、実線の矩形の中にある破線の枠及び一点鎖線の枠は、各モデルによって物体検出処理の結果として取得された検出枠であり、線種の違いは、例えばそれぞれ歩行者、車といった異なるクラスの被検出体の検出枠であることを示す。これらの検出枠の上下方向の並びは、各物体検出モデルが出力した物体検出結果のデータ内で検出枠に関するデータが並ぶ順序に対応する。図３ＢはモデルであるＭｏｄｅｌ　Ａから出力された物体検出結果のデータの例を示す。このデータの２行目から６行目にかけての各行は検出枠に関する出力値を含む。この出力値の内容は、図３ＡにおけるＭｏｄｅｌ　Ａによる物体検出結果に含まれる検出枠それぞれの、画像領域全体における位置及び大きさ（範囲）と被検出体のクラスとを示す。他の物体検出モデルであるＭｏｄｅｌ　Ｂ及びＣからも同様のデータが出力される。なお、物体検出モデルそれぞれが出力した複数の物体検出結果をまとめて指して、以下では物体検出結果セットともいう。つまり、図３Ｂに例示したデータは、Ｍｏｄｅｌ　Ａが１つの入力画像に対して物体検出を実行した結果として取得された５つの検出枠からなる物体検出結果セットのデータである。ただし、図３Ｂに示すのはこのようなデータの構造及び数値の一例であり、物体検出結果セットのデータの形式及び数値はこの例に限定されない。また、各物体検出結果に含まれる項目もこの例に限定されない。例えば上述した結果の種別も物体検出結果に含まれてもよい。以降の説明に用いる図４Ｂ、図５Ｂ及び図９Ｂについても同様である。
　ＵＩ画面１０の入力データ選択部２０Ａでこの入力画像が表示対象に選択されると、結果表示部４０では、解析枠一括切替部５０Ｂ及び解析枠個別切替部５０Ｃによる操作で、表示画像に含まれる物体検出結果（検出枠）が図中の上下に並ぶ順で切り替わる。
　図４Ａは、図３Ａに示す物体検出結果に、本実施の形態に係る情報処理方法を適用した後の状態の一例を模式的に示す図である。図４Ａに示す例では、各物体検出モデルによる物体検出結果である検出枠が、被検出体のクラスに応じてソートされている。これは、この情報処理方法によって、各物体検出モデルが出力した物体検出結果セットのデータ内で、各検出枠の出力値が被検出体のクラス（"車"、"歩行者"）に応じて並び替えられたことを反映する。例えば図３Ｂに示すＭｏｄｅｌ　Ａから出力された物体検出結果セットのデータ内では、図４Ｂに示すように、２行目から６行目にある各検出枠の出力値が被検出体のクラス（"車"、"歩行者"）の順に並び替えられている。Ｍｏｄｅｌ　Ｂ及びＣから出力された物体検出結果セットのデータでも同様の並び替えが行われている。
　図５Ａは、本実施の形態に係る情報処理方法において、被検出体のクラスに応じてなされた上述のソートに続いて行われる処理の結果を説明するための図である。図５Ａに示す結果について、図４Ａに示す状態との相違点を中心に説明する。
　図５Ａを参照すると、Ｍｏｄｅｌ　Ａ、Ｂ及びＣの物体検出モデルそれぞれが出力した物体検出結果セットの間で、共通の被検出体についての検出結果（又は共通の被検出体についての検出結果である可能性が高いもの）が上下方向で同じ位置（順）に置かれている。
　このように物体検出結果を並べるには、いずれかのモデルが出力した物体検出結果セット内の物体検出結果の並び順を基準として、他のモデルが出力した物体検出結果セット内の物体検出結果を並び替える。このとき、２つのモデルそれぞれが出力した物体検出結果セットに含まれる検出枠のうちで同じクラスの検出枠同士の重なりに基づいて、並び順の基準でないほうのモデルが出力した検出結果セット内の物体検出結果の並び順が決定されてもよい。検出枠同士の重なりとは、例えばＩｏＵ（Intersection over Union）、つまり検出枠同士の和集合に対する積集合の割合である。またはより単純に、同じクラスの検出枠同士の重複部分の大きさに基づいて、同じ順に置くか否かが決定されてもよい。
　また、物体検出結果セット内の物体検出結果の並び順の決定方法の別の例として、複数の物体検出モデルそれぞれが出力した物体検出結果セットの間で、同じクラスの各検出枠の位置関係に基づいて決定されてもよい。検出枠の位置関係に基づく具体例としては、２つの検出枠の対応する頂点間又は対応する辺間の距離、又は２つの検出枠それぞれの幾何重心間の距離が用いられてもよい。
　なお、上述のように、複数の物体検出モデルそれぞれが出力した物体検出結果セット内で各被検出体についての検出結果を同じ順に置くことを、本開示では物体検出結果（又は推論結果）同士の組合せを決定するともいう。別の表現をすると、図５Ａにおいて同一の行に含まれている２つ又は３つの物体検出結果は、同一の組合せに含まれる。同一の組合せに含まれる物体検出結果は、ユーザが探したり並べ替えたりせずとも、結果表示部４０において一時に表示される。図５Ａに示す例では、同一の行に置かれている各モデルによる物体検出結果である検出枠同士は同じクラスの検出枠であって、かつ、他の行にある検出枠よりもＩｏＵが大きい、又は画像内における位置がより近い。
　このようなＩｏＵ等の検出枠同士の重なりに基づいて、又は検出枠の位置関係に基づいて異なるモデルによる検出結果を同一の組合せに含めるか否かは、例えば重なり又は距離と所定の閾値との比較によって決定されてもよい。同じクラスの検出枠であって、かつ、他の行にある検出枠よりもＩｏＵが大きい検出結果同士であっても、ＩｏＵが所定の閾値を下回る場合には、同一の組合せに含めないと決定される。また他の例として、ハンガリアン法等による全体の最適化を図って決定されてもよい。
　なお、本実施の形態に係る情報処理方法を実行するコンピュータが、各物体検出結果セット内の物体検出結果の並べ替えの基準として用いる物体検出結果セット（以下、基準物体検出結果セットともいう）の選択の手法は特に限定されない。例えば、ユーザに基準物体検出結果セットを選択させてもよい。また例えば、物体検出結果に含まれる検出結果（検出枠）の個数が最も少ないもの、又は最も多いものが基準物体検出結果セットとして選択されてもよい。また例えば、並べ替えの際にランダムに選択されてもよい。図５Ａに示されるのは、本実施の形態に係る情報処理方法において行われるこのような処理において、Ｍｏｄｅｌ　Ａによる物体検出結果内の物体検出結果の順序が基準として用いられた結果である。
　また、図５Ａに示す結果には、図４Ａにはない網点の付された矩形が含まれる。これは、モデル選択部２０Ｂで選択されたモデルのうち、一部のモデルのみが検出した被検出体がある場合に、この被検出体を検出しなかったモデルによる物体検出結果セットに挿入される代替的な情報を示すデータ（以下、代替データという）を示す。図５Ｂは、Ｍｏｄｅｌ　Ａが出力した物体検出結果セットへの代替的な情報の挿入例を示す図である。図５Ｂにおける４行目及び５行目の「｛ｂｌａｎｋ｝」が挿入された代替的な情報の例である。この情報が、図５Ａにおける、Ｍｏｄｅｌ　Ａによる物体検出結果の列に見られる網点の付された２つの矩形に対応する。代替データは、結果表示部４０において他のモデルによる物体検出結果に基づく表示画像と並列に提示されることで、当該モデルでは当該被検出体の検出がなかったという情報をユーザに提供する。このような代替データは、結果表示部４０において例えば中が空白の枠、又は枠もない単なる空白領域として提示されてもよいし、検出されなかったことを伝える文字、記号、模様又は図形として提示されてもよい。
　また、図６に示すのは、代替データの挿入の図５Ａの例と異なる態様を説明するための図である。この例でも、物体検出結果の並び順の基準に用いられたのはＭｏｄｅｌ　Ａによる物体検出結果セット内の物体検出結果の並び順である。ただし、図５Ａでは、Ｍｏｄｅｌ　Ａの物体検出結果セットには代替データが挿入されず、図４Ａに示されるクラスに基づくソート後の状態が維持されている。Ｍｏｄｅｌ　Ｂ及びＭｏｄｅｌ　Ｃの物体検出結果セットに含まれる物体検出結果のうち、Ｍｏｄｅｌ　Ａでは検出されていない被検出体の検出結果は、並び順の末尾（最下部）に集められている。
　このような物体検出結果セット内での物体検出結果の並び替え（ソート）は、例えばユーザが表示ボタンを押すと自動的に実行されてもよい。または、ＵＩ画面１０が、このような並び替えの実行の指示をユーザから受け付ける操作部品（図示無し）を備えて、並び替えは、この操作部品に対する操作に応じて実行されてもよい。
　なお、図５ＡではＭｏｄｅｌ　Ａの上から４つ目及び６つ目、及び図６ではＭｏｄｅｌ　Ａの上から４つ目は、３つのモデルのうち１つのモデルでしか検出されなかった被検出体についての検出結果（以下、孤立物体検出結果という）に対応する。孤立物体検出結果は、上記のように決定される物体検出結果同士の組合せのいずれにも含まれていない。このような孤立物体検出結果に基づく表示画像もまた、結果表示部４０で代替データと並列に提示されてもよい。
　このような並び替えが行われた後のＵＩ画面１０での表示例を図７Ａから図７Ｄに示す。図７Ａから図７Ｄでは、ＵＩ画面１０の結果欄にある結果表示部４０の一部と解析枠一括切替部５０Ｂとが抜粋して示されている。物体検出の対象の画像については、図２にある画像Ｉｍａｇｅ　１を参照されたい。この例では、画像Ｉｍａｇｅ　１に対して、Ｍｏｄｅｌ　Ａ、Ｍｏｄｅｌ　Ｂ及びＭｏｄｅｌ　Ｃの３つのモデルが物体検出を実行した場合を想定している。
　図７Ａを参照すると、この状態では、３つのモデルいずれでも検出された、中央から少し左端寄りに映る歩行者の検出結果についての解析結果を含む表示画像が並列に示されている。本開示の例では、上記で解析枠と呼んでいる解析結果（影響の大きさ及び方向性）を、画像に重畳される模様付の領域で模式的に表している。解析枠が重畳されていない部分は、入力画像のその部分が物体検出結果に影響しなかったか、影響がごく小さかったことを示す。
　図７Ｂは、図７Ａに示す状態で解析枠一括切替部５０Ｂに含まれる下を指す三角形が１回押された後の結果表示部４０の状態を示す。Ｍｏｄｅｌ　Ａ及びＭｏｄｅｌ　Ｂのそれぞれが出力した物体検出結果セットのうち、いずれも入力画像の左端に近い歩行者の検出結果についての解析結果を含む表示画像が示されている。また、Ｍｏｄｅｌ　Ｃでは、この歩行者が検出されなかったため、代替データとしての図形を含む枠が、他の表示画像と並べて表示されている。
　図７Ｃは、図７Ｂに示す状態で解析枠一括切替部５０Ｂに含まれる下を指す三角形がさらに１回押された後の結果表示部４０の状態を示す。この状態では、Ｍｏｄｅｌ　Ｂが出力した物体検出結果セットにのみ含まれる歩行者の検出結果についての解析結果を含む表示画像と、Ｍｏｄｅｌ　Ａ及びＭｏｄｅｌ　Ｃについては代替データとしての図形を含む枠とが並列に示されている。
　図７Ｄは、図７Ｃに示す状態で解析枠一括切替部５０Ｂに含まれる下を指す三角形がさらに１回押された後の結果表示部４０の状態を示す。この状態では、Ｍｏｄｅｌ　Ａによる物体検出結果セット及びＭｏｄｅｌ　Ｃによる物体検出結果セットに共通に含まれている車の検出結果についての解析結果を含む２つの表示画像と、Ｍｏｄｅｌ　Ｂについては代替データとしての図形を含む枠とが並列に示されている。
　このように、本実施の形態に係る情報処理方法では、複数のモデルそれぞれによる推論結果に含まれる同士の組合せ、上記の例では、物体検出結果セットに含まれる物体検出結果である検出枠の重なり又は位置関係に基づいて決定される。このように決定された組合せのうち、各モデルによる物体検出処理において、同一の組合せに含まれる物体検出結果に対して入力画像が及ぼした影響は、並列させてユーザに提示される。これにより、ユーザは同一の被検出体についての検出結果を探したり、探した検出結果を並べ替えたりする手間を要することなく、同一の被検出体についての検出結果を解析のために同時に見ることができる。
　次に、このような並び替えを実行するコンピュータの構成及び当該コンピュータがこの並び替えのために実行する本実施の形態に係る情報処理方法について説明する。図８は、本実施の形態に係る情報処理方法が実行されるコンピュータ１００の構成例を示すブロック図である。
　コンピュータ１００は、上述した各種のコンピュータであり、情報処理装置８０及び表示装置６０を備える。
　情報処理装置８０は上述したアプリケーションソフトウェアが記憶される記憶部及びこのアプリケーションソフトウェアを読み出して実行する演算処理部で構成される。情報処理装置８０は、アプリケーションソフトウェアが実行されることで提供される機能的な構成要素として、解析部８１、合成部８２、提示対象選択部８３及び提示部８４を備える。
　解析部８１は、物体検出モデルが出力した物体検出結果セットに含まれる複数の物体検出結果の各々（すなわち各検出枠）に対する、物体検出処理の対象である画像（以下、入力画像という）の各部分による影響の有無（有る場合には大きさ及び方向性）を算出する。このような影響は、様々な手法を用いて算出される。例えば、下記文献に開示されている手法を用いて影響を算出することができる。解析部８１は、推論結果取得部及び入力データ影響取得部の本実施の形態における例である。文献：Denis Gudovskiy, Alec Hodgkinson, Takuya Yamaguchi, Yasunori Ishii, and Sotaro Tsukizawa; "Explain to Fix: A Framework to Interpret and Correct DNN Object Detector Predictions"; arXiv:1811.08011v1; 2018年11月19日。
　図９Ａは、解析部８１による影響の算出を説明するための模式図である。図９Ａ中、入力画像内の破線の枠は、物体検出結果である検出枠を表す。入力画像の左は検出枠を含む領域の抜粋であり、枡目は入力画像を構成する画素（一部省略）である。枡目内の数値は、解析部８１が算出した、各画素が持つ値が物体検出結果に及ぼした影響を表す値（以下、解析値ともいう）である。なお、図９Ａでは説明の便宜上、各画素に解析値を入れているが、各画素が持つ値にこのようなデータが追加されるわけではない。また、上記では、解析値は画素ごとに算出されるものとして説明しているがこれに限定されない。複数の画素をグルーピングしてスーパーピクセルとした上で、スーパーピクセルごとに解析値が算出されてもよい。
　解析値が算出される画素の範囲は、物体検出モデルの設計値及び検出枠のサイズによって異なる。図９Ａに示す例では、検出枠と重なる画素より、上下へ２画素、左右へ４画素広げた範囲に対して解析値が算出されている。上述の解析枠は、このように影響が算出された画素全体の集合、又は算出された影響の大きさが特定の範囲内の画素の集合の輪郭に対応する。
　図９Ｂは、解析部８１によって算出された解析値が、物体検出結果に付加された物体検出結果セットのデータの例を示す図である。この例では、図３Ｂにも示したＭｏｄｅｌ　Ａが出力した物体検出結果セットのデータに、図９Ａのように解析部８１によって算出された解析値のデータが挿入されている。図９Ｂにおいて２行目にあるのは、検出枠の位置及び大きさ、並びにこの検出枠が付けられた被検出体のクラスを示すデータであり、３行目は、この検出枠について解析部８１が算出した解析値のデータ（途中省略）である。４行目以降、この物体検出結果セットのデータに含まれる他の検出枠の位置及び大きさ、被検出体のクラス、並びにこの検出枠に対して算出された解析値のデータが続く。
　合成部８２は、解析部８１が算出した解析値に基づいて、入力画像に、解析枠を重畳した画像、つまり表示画像を合成して出力する。本開示においては、この解析枠を図１及び図７Ａから図７Ｄに例示したような模様付の領域で表している。１つの入力画像に複数の検出枠がある場合、表示画像は検出枠ごとに１つ合成される。このような表示画像は、１つの入力画像と、この入力画像に実行された物体検出結果に対する入力画像の影響であり、解析部８１によって算出された解析結果とをひとまとめに示す。
　提示対象選択部８３は、モニタ等の表示装置６０に表示されるＵＩ画面１０に含まれる操作部２０５０からの入力に応じて、提示部８４を介して結果表示部４０で表示させる表示画像を選択する。操作部２０５０とは、結果表示部４０に表示される表示画像に解析結果を含めさせる物体検出結果のグループをユーザが選択する操作を受け付ける、ＵＩ画面１０における部品である。このグループは、例えば被検出体のクラス、結果種別等の物体検出結果の属性で規定される。本実施の形態における操作部２０５０には、入力データ選択部２０Ａ、モデル選択部２０Ｂ、表示結果選択部２０Ｃ、表示データ切替部５０Ａ、解析枠一括切替部５０Ｂ及び解析枠個別切替部５０Ｃが含まれる。操作部２０５０からの入力は、ユーザが選択した入力画像及びモデルの情報と、物体検出結果のグループの情報、つまり被検出体のクラス又は結果種別の情報とを含む。提示対象選択部８３は、これらの情報に従って、合成部８２が出力した表示画像から結果表示部４０に表示させるものを選択する。また、提示対象選択部８３は、選択した表示画像を各物体検出結果セット内で並び替えて組合せを決定する。さらには、他のモデルと共通の被検出体についての検出結果を欠く物体検出結果セットには、設定又は仕様に応じて代替情報を挿入する。提示対象選択部８３は、本実施の形態における決定部の例である。
　提示部８４は、提示対象選択部８３が決定した組合せのうち、同一の組合せに含まれる表示画像が、結果表示部４０に並列に表示されるように表示装置６０に出力する。または、設定又は仕様に応じて、表示画像と並列して結果表示部４０に表示されるよう代替データを出力する。提示部８４及び表示装置６０の結果表示部４０は、本実施の形態における影響提示部の例である。また、表示装置６０は本実施の形態における提示装置の例である。
　このような構成を有するコンピュータ１００によって実行される本実施の形態に係る情報処理方法の手順を表すのが図１０に示すフロー図である。なお、上記の機能的な各構成要素による処理を、以下ではコンピュータ１００による処理として説明する。
　コンピュータ１００は、異なる複数の物体検出モデルがそれぞれ共通の入力画像に対して物体検出を実行して出力した物体検出結果セットを取得する（ステップＳ１１）。この物体検出結果セットには、物体検出結果である個々の検出枠に関する出力値が含まれる（図３Ｂ参照）。なお、入力画像のデータを実際に取得して、当該データに対して物体検出モデルによる物体検出を実行するのは、コンピュータ１００であってもよいし、コンピュータ１００以外の機器であってもよい。例えばスマートフォンなどの情報処理端末又はカメラ等の機器が備える情報処理装置が、各機器が備える撮像素子で撮影された画像に対して物体検出を実行してもよい。
　次にコンピュータ１００は、各物体検出結果セットに含まれる物体検出結果である検出枠それぞれについて、検出枠に関する出力値の算出に対して入力画像の各部分が及ぼした影響を算出する（ステップＳ１２）。影響の算出とは、具体的にはこの影響の大きさ（有無を含む）及び方向性のいずれか又はその両方を示す解析値を算出することである。
　次にコンピュータ１００は、ステップＳ１２で算出した影響を、入力画像に重畳した表示画像を合成する（ステップＳ１３）。具体的には、算出した解析値に基づいて、入力画像に解析枠を重畳した表示画像が合成される。
　次にコンピュータ１００は、異なる物体検出モデルが出力した物体検出結果セットに含まれる検出結果（検出枠）同士の組合せを決定する（ステップＳ１４）。ここで同一の組合せに含められる検出結果は、検出枠同士の重なり又は位置関係に基づいて、共通の被検出体についての検出結果であるか、又は共通の被検出体についての検出結果である可能性が所定の基準より高いと判断されたものである。また、この組合せの決定の過程には、設定又は仕様に応じて、物体検出結果セットへの代替情報の挿入が含まれてもよい。
　最後にコンピュータ１００は、クラス、結果種別等の属性で規定される物体検出結果のグループの設定に従って選択される表示画像の提示を行う（ステップＳ１５）。この選択はステップＳ１４で決定された組合せの単位で行われるため、共通の被検出体（又は共通である可能性が高い被検出体）の検出結果についての解析結果を含む表示画像が並列に提示される。
　なお、上述の手順は一例であり、本実施の形態の情報処理方法の手順はこれに限定されない。例えば、解析画像の合成（Ｓ１３）、又は影響の取得（Ｓ１２）及び解析画像の合成（Ｓ１３）は、組合せの決定（Ｓ１４）後、表示画像が実際に提示される前に実行されてもよい。この場合には、結果表示部４０に表示させる表示画像に含める入力画像が物体検出結果に基づいてまず選択される。そして影響の取得及び解析画像の合成は、選択された入力画像に対する物体検出結果のみを対象に合成されてもよい。また、ＵＩ画面１０でのグループの設定に関するユーザの操作は、ステップＳ１５の前までの任意の段階で受け付けられて、この設定に従って表示対象になるものが未実行の手順での処理対象になってもよい。そして、グループの設定に関するユーザの操作がステップＳ１５以降に再度受け付けられた場合、結果表示部４０では、最新のグループの設定に従って選択される物体検出結果に基づく表示画像に切り替えられる。また、組合せの決定（ステップＳ１４）が実行されないままいったん表示画像が表示されてもよい。その後、例えばユーザからの並び替えの要求操作が受け付けられてからステップＳ１４が実行され、その結果に従って結果表示部４０での表示内容が更新されてもよい。また、ステップＳ１４の結果を反映した表示内容と反映しない表示内容とが可逆的に切替可能であってもよい。
　また、ここまでの説明では、物体検出結果（検出枠）同士の組合せという表現を用いているが、本開示でこの表現が指すところには、検出枠同士の重なり又は位置関係に基づいて決定される入力画像又は表示画像同士の組合せも含まれる。
　（変形例及びその他の補足事項）
　本開示の一又は複数の態様に係る情報処理方法は、上記の実施の形態の説明に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が想到する各種の変形を上記の実施の形態に施したものも、本開示の態様に含まれてもよい。下記にそのような変形の例、及び実施の形態の説明へのその他の補足事項を挙げる。
　（１）上記実施の形態では、影響の算出はコンピュータ１００で実行されているが、これに限定されない。影響の算出は、情報処理装置を備えるコンピュータ１００以外の機器で実行されてもよく、コンピュータ１００は、この機器から出力された影響の入力を直接に又は間接に受けて取得してもよい。
　また、上記実施の形態では、影響の表現態様は、領域又はその輪郭に沿う枠（解析枠）のみを例示したが、これに限定されない。例えば領域の中心又は幾何重心等に置かれる点又は十字等の図形で示されてもよい。
　（２）上記実施の形態の説明及びその説明で参照した図面では、同一の組合せに含まれる複数の物体認識結果と、これらの物体認識結果に対して個々に取得された影響とが重畳された複数の表示画像は、結果表示部４０に左右一行に並列で提示されているが、提示の形態はこれに限定されない。例えば上下一列で並列に提示されてもよいし、田の字型等のように複数行及び複数列からなる行列上に配置されて提示されてもよい。また例えば、複数のモデルそれぞれによる物体検出結果である検出枠、又は検出枠について取得された解析枠がひとつの入力画像に、まとめて重畳されてもよい。この場合の解析枠は、図７Ａ～図７Ｄで例示したような模様が付された領域ではなく、輪郭のみで示されるか、又はより高い透明度で塗られた領域で示されてもよい。
　（３）上記実施の形態の説明及びその説明で参照した図面では、決定された同一の組合せに含まれる物体検出結果について取得された影響が入力画像に重畳された表示画像が並列に提示される例を示したが、結果表示部４０に提示されるのはこのような表示画像に限定されない。例えば結果表示部４０には、影響に代えて又は加えて、物体検知結果である検出枠が重畳された入力画像が提示されてもよい。また、入力画像に重畳する情報は、ユーザの操作に応じて切替可能であってもよい。
　（４）上記実施の形態の説明及びその説明で参照した図面では、説明の便宜上、結果表示部４０に一時にＵＩ画面１０に表示されるのは１つの組合せに含まれる物体検出結果及び当該物体検出結果に対して取得された影響のみであったが、これに限定されない。同一の組合せに含まれる物体検出結果に基づく表示画像は集めて並べる、さらに枠で囲むなどしてユーザに容易に把握され得るものであれば、結果表示部４０には、複数の組合せに対応する表示画像が一時に提示されてもよい。
　（５）上記実施の形態の説明では、組合せは、物体検出結果セットのデータの中身を並び替えて同じ順に置くことで決定されると説明したが、組合せの実現形態はこれに限定されない。例えば、物体検出結果セットのデータの中身の並べ替えに代えて、各物体検出結果が属する組合せを示す識別子を追加したり、物体検出結果セットとは別に組合せの情報を保持するテーブルを生成又は更新したりしてもよい。または、ユーザの操作に応じてその都度計算されて、結果表示部４０で提示する分の表示画像を決める組合せが決定されてもよい。
　（６）図３Ａ及び図４Ａを用いて説明した被検出体のクラスに応じたソートは、複数のモデル間で推論結果を比較する場合のみならず、１つのモデルによる推論結果を整理するために実行されてもよい。
　一方、複数のモデルによる推論結果又はその解析結果が表示の対象であっても、クラスに応じたソートが必須ではない。つまり、クラスに応じたソートをせずに、検出枠同士の重なり又は位置関係に基づく組合せの決定が行われてもよい。
　（７）図３Ａ～図６に示す例を用いた上記実施の形態の説明では、物体検出結果の組合せの決定は検出枠同士の重なり又は位置関係に基づいて実行されるが、組合せの決定の手法はこれに限定されない。例えば、影響、つまり解析枠が既に算出済みである場合、影響同士の類似度に基づいて組合せが決定されてもよい。ここでいう影響の類似度は、例えば２つの物体検出モデルそれぞれが出力した物体検出結果について解析部８１が解析値を算出した画素領域のサイズ（縦×横）を要素とするベクトルの大きさの比較、又はこれらのベクトル間の類似度（例：コサイン距離）に基づいて判定され得る。
　（８）また、物体検出結果の組合せは、検出枠同士の重なり又は位置に加えて、検出結果の尤度の近さにさらに基づいて決定されてもよい。例えば、検知枠の重なりがより大きいもの、及び検出結果の尤度がより近いものにより高得点を与えるよう採点し、この採点結果に基づいて組合せが決定されてもよい。
　（９）上述の各情報処理システムが備える機能的な構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサがこのコンピュータプログラムに従って動作することにより、システムＬＳＩは各構成要素の機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　（１０）本開示の一態様は、図１０のフロー図を用いて上述した情報処理方法に限定されず、コンピュータ１００によって実行されるプログラム、及びコンピュータ１００を含む情報処理システムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
　本開示に係る情報処理方法等は、コンピュータによる推論処理の結果同士の比較に用いられるユーザインタフェースに利用可能である。
　１０　ＵＩ画面
　２０Ａ　入力データ選択部
　２０Ｂ　モデル選択部
　２０Ｃ　表示結果選択部
　４０　結果表示部
　５０Ａ　表示データ切替部
　５０Ｂ　解析枠一括切替部
　５０Ｃ　解析枠個別切替部
　６０　表示装置
　８０　情報処理装置
　８１　解析部
　８２　合成部
　８３　提示対象選択部
　８４　提示部
　１００　コンピュータ
　２０５０　操作部

Claims (15)

  1. 　コンピュータにより実行される方法であって、
    　複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得し、
    　前記複数の推論結果それぞれに前記入力データが及ぼした影響を、前記複数の推論結果のそれぞれについて取得し、
    　前記複数の推論結果に基づいて前記複数の推論結果同士の組合せを１つ以上決定し、
    　前記複数の推論結果のうち、同一の前記組合せに含まれる推論結果それぞれについて取得した前記影響同士を並列に又は重畳して提示装置を介して提示する
    　情報処理方法。
  2. 　前記複数の推論器のそれぞれは、物体検出器であり、
    　前記複数の推論結果のそれぞれは、複数の物体検出結果を含む物体検出結果セットであり、
    　前記複数の推論結果のそれぞれについて取得する前記影響は、前記物体検出結果セットが含む前記複数の物体検出結果それぞれに前記入力データが及ぼした影響であり、
    　前記１つ以上の組合せのそれぞれは、複数の前記物体検出結果セットのうち互いに異なる物体検出結果セットに含まれている複数の物体検出結果を含み、
    　前記並列に又は重畳して提示される影響は、前記同一の組合せに含まれる前記複数の物体検出結果のそれぞれに対して取得された影響である
    　請求項１に記載の情報処理方法。
  3. 　前記複数の物体検出結果のそれぞれは、検出された物体に基づくクラスを含み、
    　前記１つ以上の組合せのそれぞれに含まれる前記複数の物体検出結果がそれぞれ含む前記クラスは共通である
    　請求項２に記載の情報処理方法。
  4. 　前記複数の物体検出結果のそれぞれは、検出枠を含み、
    　前記１つ以上の組合せは、互いに異なる前記複数の物体検出結果セットに含まれる前記複数の物体検出結果が含む前記検出枠同士の重なり又は位置関係に基づいて決定される
    　請求項２又は３に記載の情報処理方法。
  5. 　前記複数の物体検出結果のそれぞれは、検出の尤度を含み、
    　前記１つ以上の組合せは、互いに異なる前記複数の物体検出結果セットに含まれる前記複数の物体検出結果が含む前記検出の尤度同士の近さにさらに基づいて決定される
    　請求項４に記載の情報処理方法。
  6. 　前記影響の提示では、前記同一の組合せが、複数の前記物体検出器のいずれかによる前記物体検出結果セットに含まれる前記複数の物体検出結果を含まない場合、前記同一の組合せに含まれる前記複数の物体検出結果それぞれに対して取得された前記影響と代替データとを並列に提示する
    　請求項２～５のいずれか一項に記載の情報処理方法。
  7. 　さらに、前記複数の物体検出結果のうち、前記１つ以上の組合せのいずれにも含まれていない孤立物体検出結果がある場合、前記孤立物体検出結果に対して取得された影響と代替データとを並列に提示する
    　請求項２～６のいずれか一項に記載の情報処理方法。
  8. 　前記影響の提示では、前記複数の物体検出結果セットのうちの１つである基準物体検出結果セットが含む前記複数の物体検出結果の１つである基準物体検出結果に対して取得された影響と、前記基準物体検出結果が含まれる前記組合せに含まれる前記複数の物体検出結果のそれぞれに対して取得された影響と、を提示する
    　請求項２～７のいずれか一項に記載の情報処理方法。
  9. 　さらに、前記基準物体検出結果セットを選択する操作を受け付け、
    　前記基準物体検出結果セットを、前記操作によって選択された物体検出結果セットに切り替える
    　請求項８に記載の情報処理方法。
  10. 　さらに、前記入力データを選択する操作を受け付け、
    　前記入力データを、前記操作によって選択された入力データに切り替え、
    　前記影響の提示では、前記選択された入力データに対する前記複数の推論器のそれぞれによる前記複数の推論結果それぞれに対して取得された影響を提示する
    　請求項１～９のいずれか一項に記載の情報処理方法。
  11. 　さらに、前記物体検出結果のグループを選択する操作を受け付け、
    　提示される前記影響に対する前記物体検出結果又は提示される前記物体検出結果を、前記操作によって選択されたグループの物体検出結果に切り替える
    　請求項２～１０のいずれか一項に記載の情報処理方法。
  12. 　前記影響の提示では、さらに、前記複数の推論器のうち、提示される前記影響それぞれについての前記推論結果を出力した推論器を示す情報を提示する
    　請求項１～１１のいずれか一項に記載の情報処理方法。
  13. 　コンピュータにより実行される方法であって、
    　複数の物体検出器それぞれによる同じ入力データに対する複数の物体検出結果をそれぞれ含む複数の物体検出結果セットを取得し、
    　前記複数の物体検出結果セットがそれぞれ含む前記複数の物体検出結果に基づいて、前記複数の物体検出結果セットがそれぞれ含む前記複数の物体検出結果の一つ同士の組合せを一つ以上決定し、
    　前記複数の物体検出結果セットがそれぞれ含む前記複数の物体検出結果のうち、同一の前記組合せに含まれる物体検出結果を、並列に又は重畳して提示装置を介して提示する
    　情報処理方法。
  14. 　複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得する推論結果取得部と、
    　前記複数の推論結果それぞれに前記入力データが及ぼした影響を、前記複数の推論結果のそれぞれについて取得する入力データ影響取得部と、
    　前記複数の推論結果に基づいて前記複数の推論結果同士の組合せを１つ以上決定する決定部と、
    　前記複数の推論結果のうち、同一の前記組合せに含まれる推論結果それぞれについて取得された前記影響同士を並列に又は重畳して提示装置を介して提示する影響提示部と、
    　を備える情報処理システム。
  15. 　プロセッサを備える情報処理装置において、前記プロセッサによって実行されることで前記プロセッサに、
    　複数の推論器それぞれによる同じ入力データに対する推論の結果である複数の推論結果を取得させ、
    　前記複数の推論結果それぞれに前記入力データが及ぼした影響を、前記複数の推論結果のそれぞれについて取得させ、
    　前記複数の推論結果に基づいて前記複数の推論結果同士の組合せを１つ以上決定させ、
    　前記複数の推論結果のうち、同一の前記組合せに含まれる推論結果それぞれについて取得させた前記影響同士を並列に又は重畳して提示装置を介して提示させる
    　プログラム。
PCT/JP2020/035522 2019-12-02 2020-09-18 情報処理方法、情報処理システム及びプログラム Ceased WO2021111704A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20896142.5A EP4072129A4 (en) 2019-12-02 2020-09-18 INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM AND PROGRAM
CN202080082714.5A CN114788265B (zh) 2019-12-02 2020-09-18 信息处理方法、信息处理系统和存储介质
JP2021562462A JP7478960B2 (ja) 2019-12-02 2020-09-18 情報処理方法、情報処理システム及びプログラム
US17/826,990 US12260624B2 (en) 2019-12-02 2022-05-27 Information processing method for presenting influences obtained for prediction results, information processing system, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-218153 2019-12-02
JP2019218153 2019-12-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/826,990 Continuation US12260624B2 (en) 2019-12-02 2022-05-27 Information processing method for presenting influences obtained for prediction results, information processing system, and recording medium

Publications (1)

Publication Number Publication Date
WO2021111704A1 true WO2021111704A1 (ja) 2021-06-10

Family

ID=76221719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035522 Ceased WO2021111704A1 (ja) 2019-12-02 2020-09-18 情報処理方法、情報処理システム及びプログラム

Country Status (5)

Country Link
US (1) US12260624B2 (ja)
EP (1) EP4072129A4 (ja)
JP (1) JP7478960B2 (ja)
CN (1) CN114788265B (ja)
WO (1) WO2021111704A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023113172A (ja) * 2022-02-03 2023-08-16 株式会社デンソーテン 画像認識装置及び方法並びに学習用データセット生成装置
JP2026509783A (ja) * 2023-03-08 2026-03-25 日本電気株式会社 ビデオストリームを処理するためのハードウェアリソースを割り当てる方法、装置、システムおよびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018077829A (ja) * 2016-11-09 2018-05-17 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
JP2018181273A (ja) 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置及びその方法、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4161769B2 (ja) * 2003-03-31 2008-10-08 カシオ計算機株式会社 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP4949924B2 (ja) * 2007-05-17 2012-06-13 オリンパス株式会社 撮影システム及び撮影装置
AU2011203219B2 (en) * 2011-06-30 2013-08-29 Canon Kabushiki Kaisha Mode removal for improved multi-modal background subtraction
JP6474107B2 (ja) * 2013-06-28 2019-02-27 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
EP3118813B1 (en) * 2014-03-14 2021-06-02 Omron Corporation Image recognition device, image sensor, and image recognition method
CN105892787B (zh) * 2015-08-03 2019-06-25 中国电建集团昆明勘测设计研究院有限公司 一种多机、多模型与多窗口同步浏览与分析方法
US10269135B2 (en) * 2017-03-14 2019-04-23 Qualcomm Incorporated Methods and systems for performing sleeping object detection in video analytics
CN107886539B (zh) * 2017-10-19 2021-05-14 昆明理工大学 一种工业场景下高精度齿轮视觉检测方法
JP2019159553A (ja) * 2018-03-09 2019-09-19 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP7151787B2 (ja) * 2018-12-26 2022-10-12 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN110008853B (zh) * 2019-03-15 2023-05-30 华南理工大学 行人检测网络及模型训练方法、检测方法、介质、设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018077829A (ja) * 2016-11-09 2018-05-17 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
JP2018181273A (ja) 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置及びその方法、プログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BOCHINSKI, ERIK; EISELEIN VOLKER; SIKORA THOMAS: "High-Speed tracking-by-detection without using image information", 2017 14TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO SIGNAL BASED SURVEILLANCE (AVSS, 29 August 2017 (2017-08-29), pages 1 - 6, XP033233368, DOI: 10.1109/AVSS.2017.8078516 *
DENIS GUDOVSKIYALEC HODGKINSONTAKUYA YAMAGUCHIYASUNORI ISHIISOTARO TSUKIZAWA: "Explain to Fix: A Framework to Interpret and Correct DNN Object Detector Predictions", ARXIV: 1811.08011V1, 19 November 2018 (2018-11-19)
ERIK BOCHINSKI ET AL.: "High-Speed tracking-by-detection without using image information", 14TH IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE (AVSS, August 2017 (2017-08-01)
KUBOTA,TOMONORI, MURATA, YASUYUKI, UEHARA, YOSHIFUMI, NAKACAWA, AKIRA: "A method for visualizing the cause of misrecognition in object recognition using CNN", IPSJ SIG NOTES, vol. 2019-CVIM-218, no. 20, 28 August 2019 (2019-08-28), pages 1 - 6, XP009536087 *
See also references of EP4072129A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023113172A (ja) * 2022-02-03 2023-08-16 株式会社デンソーテン 画像認識装置及び方法並びに学習用データセット生成装置
JP7826032B2 (ja) 2022-02-03 2026-03-09 株式会社デンソーテン 画像認識装置及び方法並びに学習用データセット生成装置
JP2026509783A (ja) * 2023-03-08 2026-03-25 日本電気株式会社 ビデオストリームを処理するためのハードウェアリソースを割り当てる方法、装置、システムおよびプログラム
JP7889750B2 (ja) 2023-03-08 2026-07-14 日本電気株式会社 ビデオストリームを処理するためのハードウェアリソースを割り当てる方法、装置、システムおよびプログラム

Also Published As

Publication number Publication date
CN114788265B (zh) 2026-05-08
JP7478960B2 (ja) 2024-05-08
EP4072129A4 (en) 2023-05-03
US20220292816A1 (en) 2022-09-15
US12260624B2 (en) 2025-03-25
CN114788265A (zh) 2022-07-22
JPWO2021111704A1 (ja) 2021-06-10
EP4072129A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
US12229643B2 (en) Teaching data extending device, teaching data extending method, and program
JP2015143951A (ja) 物体判別装置、画像センサ、物体判別方法
US7931602B2 (en) Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
KR20230073875A (ko) 이미지를 적응적으로 디스플레이하는 전자 장치 및 그 동작 방법
CN113283513A (zh) 基于目标互换和度量学习的小样本目标检测方法及系统
CN114510142B (zh) 基于二维图像的手势识别方法及其系统和电子设备
CN108520263B (zh) 一种全景图像的识别方法、系统及计算机存储介质
JP2020042684A (ja) 検索装置、検索方法及びプログラム
US12260624B2 (en) Information processing method for presenting influences obtained for prediction results, information processing system, and recording medium
CN113313066A (zh) 图像识别方法、装置、存储介质以及终端
US12254654B2 (en) Microstructural image analysis device and microstructural image analysis method
CN116229497B (zh) 版面文本的识别方法、装置及电子设备
JP5104291B2 (ja) 画像解析プログラム、画像解析装置、および画像解析方法
CN112818894B (zh) 识别pdf文件中文本框的方法、装置及计算机设备及存储介质
JP2007034525A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN110750501A (zh) 文件检索方法和装置、存储介质及相关设备
CN110597593A (zh) 用户引导任务的处理方法、装置、计算机设备及存储介质
JP7648192B2 (ja) モデル生成システム、形状認識システム、モデル生成方法、形状認識方法、及びコンピュータプログラム
JPWO2016117564A1 (ja) プログラム、情報記憶媒体及び認識装置
CN114730487A (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN115700825B (zh) 白板的笔迹识别方法、装置和电子设备
CN113573153B (zh) 图像处理方法、装置及设备
JP7556463B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7107544B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2018005612A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20896142

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021562462

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020896142

Country of ref document: EP

Effective date: 20220704

WWW Wipo information: withdrawn in national office

Ref document number: 2020896142

Country of ref document: EP