WO2020008710A1 - 学習データ収集装置、学習データ収集システム、及び学習データ収集方法 - Google Patents

学習データ収集装置、学習データ収集システム、及び学習データ収集方法 Download PDF

Info

Publication number
WO2020008710A1
WO2020008710A1 PCT/JP2019/017236 JP2019017236W WO2020008710A1 WO 2020008710 A1 WO2020008710 A1 WO 2020008710A1 JP 2019017236 W JP2019017236 W JP 2019017236W WO 2020008710 A1 WO2020008710 A1 WO 2020008710A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning data
data collection
captured image
image
photographer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/017236
Other languages
English (en)
French (fr)
Inventor
大介 上田
誠 新崎
裕一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to EP19829839.0A priority Critical patent/EP3819863A4/en
Priority to CN201980043669.XA priority patent/CN112334943A/zh
Priority to US17/256,871 priority patent/US11579904B2/en
Publication of WO2020008710A1 publication Critical patent/WO2020008710A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present disclosure relates to a learning data collection device, a learning data collection system, and a learning data collection method for collecting learning data used for image recognition.
  • image recognition technology for recognizing an object from an image captured by a camera or the like has been rapidly developed by machine learning using deep learning (deep learning) or the like.
  • image recognition using machine learning more data of a captured image in which an object (recognition target) is a subject is collected as learning data, and the learning device learns the data, so that an object in an unknown captured image can be obtained. It is possible to improve the recognition accuracy of the trained model.
  • a plurality of shooting conditions including camera settings, lighting settings, and placement of the object
  • Time-consuming work such as taking a picture by taking a picture.
  • a learning data generating apparatus changes each shooting condition while changing at least the shooting condition including information on the position of the camera with respect to the subject.
  • a photographing processing unit for associating the photographing environment information including information indicating photographing conditions at the time of photographing with each of the photographed object images generated below, and extracting an object region that is a region where the object is captured from each photographed object image
  • Object region extracting means for performing the first object photographing using a second object photographed image having a different photographing condition from the first object photographed image from which the object region is extracted.
  • a technique for extracting an object region from an image is known (see Patent Document 1).
  • Patent Document 1 Although a captured image corresponding to a change in the direction of a target object is obtained, it is considered that an inappropriate captured image that is not suitable for learning may be included. I didn't.
  • the present disclosure has been devised in view of such a problem of the related art, and in collecting learning data used for image recognition, it is possible to suppress collection of an inappropriate photographed image that is not suitable for learning. It is a main object to provide a learning data collection device, a learning data collection system, and a learning data collection method that can be performed.
  • a learning data collection device is a learning data collection device that collects, as learning data used for image recognition, a photographed image generated by a photographing device used by a photographer to photograph a target object.
  • a processor that executes a process of collecting the captured image from the capturing device, determines whether the captured image is suitable for the learning data, and determines that the captured image is not suitable for the learning data.
  • a notifying process for prompting the photographer to re-photograph the photographed image is performed.
  • a learning data collection system includes the learning data collection device and the photographing device.
  • the learning data collection method is a learning data collection method by a learning data collection device that collects, as learning data used for image recognition, a captured image generated by an imaging device used by a photographer to capture an object. Acquiring the photographed image from the photographing device, determining whether the photographed image is suitable for the learning data, and acquiring the photographed image determined not to be suitable for the learning data from the photographing device. Executes a notification process for urging the photographer to re-photograph the photographed image.
  • the learning data collection device in the collection of learning data used for image recognition, it is possible to suppress the collection of inappropriate photographed images that are not suitable for learning. It becomes possible.
  • FIG. 4 is a flowchart showing details of the photographing data registration process in step ST102 in FIG.
  • a first invention made to solve the above-described problem is a learning data collection device that collects, as learning data used for image recognition, a photographed image generated by a photographer used by a photographer to photograph an object.
  • a processor that executes a process of collecting the learning data, wherein the processor acquires the photographed image from the photographing device, determines whether the photographed image is suitable for the learning data, For the photographed image determined to be unsuitable for the data, a notification process for urging the photographer to re-photograph is performed.
  • the second invention relates to the learning data collection device, further comprising a display device for displaying information based on control by the processor, wherein the processor performs the notification process for prompting the photographer to re-photograph.
  • a notification screen is displayed on the display device.
  • a third invention relates to the learning data collection device, wherein the processor determines whether or not each of the captured images is suitable for the learning data using a plurality of determination criteria, and the processor is used for the determination.
  • a plurality of different modes of the notification processing are executed according to the type of the determination criterion.
  • the fourth invention relates to the learning data collection device, further comprising a storage device for storing data based on control by the processor, wherein the notification process includes, as the plurality of different modes, The process includes a process related to a re-shooting instruction in which storage of the learning data related to the captured image is prohibited, and a process related to a recommended re-shooting in which storage of the learning data related to the captured image in the storage device is allowed.
  • a fifth invention relates to the learning data collection device, wherein the processor includes a plurality of objects or a transparent portion when the processor determines that the captured image includes a plurality of objects.
  • the processor includes a plurality of objects or a transparent portion when the processor determines that the captured image includes a plurality of objects.
  • a sixth invention relates to the learning data collection device, wherein the processor is configured to execute the learning process on the captured image acquired from the imaging device before determining whether each of the captured images is suitable for the learning data.
  • the processor is configured to execute the learning process on the captured image acquired from the imaging device before determining whether each of the captured images is suitable for the learning data.
  • a seventh invention relates to the learning data collection device, wherein the processor acquires the set of the captured images obtained by simultaneously capturing the object from different directions from the imaging device, and stores the set of the captured images in the set of the captured images.
  • the processor acquires the set of the captured images obtained by simultaneously capturing the object from different directions from the imaging device, and stores the set of the captured images in the set of the captured images.
  • a notifying process for prompting the photographer to re-photograph the set of the photographed images is performed. .
  • an eighth invention relates to the learning data collection device, wherein the processor acquires a result of recognizing the object in the captured image registered as the learning data using a learned model prepared in advance. If it is determined based on the recognition result that another different object similar to the target object has been learned, it is determined that the captured image is not suitable for the learning data.
  • the captured image that is, an image in which the object is captured in a form that can be confused with another different object
  • the photographer is encouraged to re-take a photograph, collection of inappropriate photographed images that are not suitable for learning can be suppressed.
  • a ninth invention is a learning data collection system comprising the learning data collection device and the photographing device.
  • a tenth invention is a learning data collection method by a learning data collection device that collects, as learning data used for image recognition, a photographed image generated by a photographing device used by a photographer to photograph an object. Acquiring the photographed image from the photographing device, determining whether the photographed image is suitable for the learning data, and acquiring the photographed image determined not to be suitable for the learning data from the photographing device. A notification process for prompting the photographer to re-photograph the photographed image.
  • An eleventh aspect of the present invention relates to the learning data collection method, wherein a notification screen for prompting the photographer to re-photograph is displayed on a display device as the notification processing.
  • a twelfth invention relates to the learning data collection method, wherein it is determined whether or not each of the captured images is suitable for the learning data using a plurality of criteria, and a type of the criteria used for the determination is determined.
  • the notification process is executed in a plurality of different modes according to
  • a thirteenth invention relates to the learning data collection method, wherein the notification processing includes, as the plurality of different aspects, processing relating to a re-shooting instruction in which storage of the learning data in a storage device is prohibited; And processing relating to re-imaging recommendation in which the storage of the learning data is permitted.
  • a fourteenth aspect of the present invention relates to the learning data collection method, wherein, when the captured image is determined to include a plurality of objects, whether the object is a plurality of objects or an object including a transparent portion.
  • the processing relating to the re-imaging instruction is performed, and when the input indicating that the object includes the transparent portion is received, the re-imaging is recommended. Is performed.
  • a fifteenth invention relates to the learning data collection method, wherein, before determining whether each of the captured images is suitable for the learning data, storing the captured image acquired from the imaging device as the learning data.
  • the processing relating to the re-shooting instruction is performed on the captured image that is stored in the device and determined to be unsuitable for the learning data, the registration as the learning data of the captured image is canceled.
  • a sixteenth aspect of the present invention relates to the learning data collection method, wherein a result of recognizing the object in the captured image registered as the learning data by using a prepared trained model is obtained, and When it is determined based on the result that an object identical or similar to the target has been learned, it is determined that the captured image is not suitable for the learning data.
  • a seventeenth aspect of the present invention relates to the learning data collection method, wherein the target object in the photographed image registered as the learning data is recognized using a learned model prepared in advance, and is similar to the target object. When it is determined that another different object has been learned, it is determined that the captured image is not suitable for the learning data.
  • FIG. 1 is a schematic configuration diagram of a learning data collection system 1 according to the present disclosure.
  • the learning data collection system 1 collects a photographing device 2 used by a photographer for photographing an object 6 (see FIG. 2) and a photographed image generated by the photographing device 2 as learning data used for image recognition. It mainly includes a learning data collection device 3 that executes processing (hereinafter, referred to as “learning data collection processing”), and an identification device 4 that photographs an unknown object.
  • the imaging device 2 has a plurality of cameras 5A-5C that can simultaneously capture the object 6 from different directions.
  • the reason why the cameras with different orientations are provided is that the characteristics of the appearance of the target object can be totally grasped so that the identification device 4 can correctly perform the identification even if the posture of the target object changes.
  • Each of the cameras 5A to 5C is a video camera having a known photographing function, and generates a photographed image (moving image or still image) having the object 6 as a subject.
  • the imaging device 2 has a known communication function, and sequentially transmits the generated captured images to the learning data collection device 3.
  • the photographing device 2 can be connected to the learning data collection device 3 by a known communication cable or wireless communication, but is not limited thereto, and can be connected to the learning data collection device 3 via a known communication network (LAN or the like). Is also good.
  • the object 6 photographed by the photographing apparatus 2 is not limited to the one shown in the present disclosure, but is any object that can be a target of image recognition.
  • the captured images generated by the cameras 5A to 5C can take any format as long as they can be used for image recognition (identification of the object 6).
  • an RGB image and a distance image may be generated as captured images.
  • the learning data collection device 3 includes an image acquisition unit 11 that sequentially acquires captured images generated by the imaging device 2, an image determination unit 12 that sequentially determines whether the acquired captured images are suitable for learning data, and an image determination unit.
  • a notification processing unit 13 for executing a notification process for urging the photographer to re-take a photographed image determined to be inappropriate for the learning data by the unit 12, and a display unit 14 for displaying necessary information to the photographer.
  • an input unit 15 for a user (for example, a photographer) to perform an input operation on the learning data collection device 3.
  • the display unit 14 can display information for prompting the photographer to perform re-imaging, for example, regarding the notification process performed by the notification processing unit 13.
  • the learning data collection device 3 includes a storage unit 22 that stores an identification model 21 used for image recognition (identification of an unknown object) by machine learning, and a captured image determined by the image determination unit 12 to be suitable for the learning data.
  • An identification model learning unit 23 that executes re-learning of the identification model 21 based on the identification model 21 and an image identification that identifies an object 6 included in a captured image or an unknown object captured by the identification device 4 using the identification model 21.
  • the identification model 21 is a learned model prepared in advance, and uses the captured image collected by the learning data collection device 3 as learning data to determine the accuracy rate and accuracy of identification (image recognition) of an unknown object. It is possible to further improve.
  • the identification device 4 has an identification camera (not shown) that captures an unknown object, and transmits a captured image of the unknown object captured by the identification camera to the learning data collection device 3. I do.
  • the image identification unit 24 of the learning data collection device 3 uses the identification model 21 to identify unknown objects in the captured image from the identification device 4 (hereinafter, referred to as “object recognition process”). It is possible to do.
  • the identification camera can have the same configuration as the cameras 5A-5C.
  • the function of the object recognition processing in the learning data collection system 1 is not an essential component of the system 1, and the remodeled identification model 21 may be used in another system. In that case, the identification device 4 can be omitted in the learning data collection system 1.
  • FIG. 2 is an explanatory diagram showing a configuration example of the photographing device 2 shown in FIG.
  • the imaging device 2 includes a substantially flat base portion 31 placed on a floor surface, a desk top surface, or the like, a substantially flat first arm portion 32 extending from one end of the base portion 31 in a substantially vertical direction.
  • a substantially flat second arm 33 extending obliquely upward from the upper end of the first arm 32 toward the other end of the base 31, and the base 31 from the upper end of the second arm 33;
  • a third arm 34 extending substantially horizontally toward the other end of the arm.
  • the imaging device 2 includes a built-in battery (or a power cable), a wireless communication unit (or a communication cable) for performing communication with the learning data collection device 3, and the like.
  • the base portion 31 has a turntable 41 provided rotatably about a vertical axis.
  • the photographer places the object (in this case, a beverage container) 6 on the turntable 41 and rotates the turntable 41 at a desired rotation angle in this state, whereby the direction of the object 6 with respect to the cameras 5A-5C is changed. (That is, the arrangement of the object 6 with respect to the cameras 5A-5C) can be changed.
  • a planar view camera 5A is arranged on the lower surface side of the third arm unit 34.
  • the photographing direction of the planar view camera 5A is directed to the lower rotating table 41, and can photograph a photographed image 46 substantially corresponding to the plan view of the object 6.
  • a perspective camera 5B is arranged on the lower surface side (inner surface side) of the second arm portion 33.
  • the photographing direction of the camera 5B is directed to the turntable 41 obliquely downward, and can photograph a photographed image 47 substantially corresponding to a perspective view from above the object 6.
  • a side view camera 5C is disposed on the inner side of the first arm 32 (the other end of the base 31).
  • the shooting direction of the camera 5C is oriented substantially in the horizontal direction (above the turntable 41), and can shoot a shot image 48 substantially corresponding to the side view of the object 6.
  • the configuration of the photographing device 2 (for example, the number of cameras, the photographing direction) is not limited to that shown in FIG. 2 and various changes can be made.
  • the imaging device 2 may have at least one camera.
  • FIG. 3 is an explanatory diagram showing a hardware configuration of the learning data collection device 3 shown in FIG.
  • the learning data collection device 3 includes a computer having a known hardware configuration, and a processor 51 that collectively executes learning data collection processing (including object recognition processing as necessary) based on a predetermined control program; RAM 52 which is a volatile memory functioning as a work area for the processor 51, ROM 53 which is a non-volatile memory for storing control programs and data executed by the processor 51, a storage device 54 such as an HDD or a flash memory, a liquid crystal monitor, etc. , An input device 56 including input devices such as a keyboard, a mouse, and a touch panel, a communication module 57 for executing communication with other devices, and the like.
  • the functions of the display unit 14, the input unit 15, and the storage unit 22 in the learning data collection device illustrated in FIG. 1 can be realized by the display device 55, the input device 56, and the storage device 54 illustrated in FIG.
  • the processor 51 executes a control program for at least part of the functions of the image acquisition unit 11, the image determination unit 12, the notification processing unit 13, the identification model learning unit 23, and the image identification unit 24 in the learning data collection device 3. This is feasible.
  • the learning data collection device 3 is not necessarily limited to the configuration illustrated in FIG. 3, and at least a part of the functions of the learning data collection device 3 illustrated in FIG. It may be replaced.
  • FIG. 4 is a flowchart showing the flow of the learning data collection process by the learning data collection device 3
  • FIG. 5 is a flowchart showing the details of the photographing data registration process in step ST102 in FIG.
  • the learning data collection system 1 when a photographer photographs a target with the photographing device 2, photographing data including the photographed image and its related information (such as photographing conditions of the cameras 5A to 5C) are transmitted from the photographing device 2 to the learning data collecting device. 3, the learning data collection device 3 receives (acquires) the photographed data (ST101).
  • the photographer places the object 6 on the turntable 41 in a desired manner and turns the turntable.
  • the photographing button 62 is clicked (pressed) on the photographing screen 61 (see FIG. 6A) displayed on the display device 55 to execute photographing by the cameras 5A-5C. Can be.
  • step ST101 the learning data collection device 3 obtains shooting data including a set of shooting images (three shooting images) shot simultaneously by the cameras 5A to 5C, but is not limited thereto.
  • the system 1 only needs to obtain at least one captured image.
  • the learning data collection device 3 executes a process of registering the acquired imaging data as learning data (hereinafter, referred to as “imaging data registration process”) (ST102).
  • imaging data registration process a process of registering the acquired imaging data as learning data
  • the photographer can execute the photographing data registration process by clicking (pressing) the registration button 63 on the photographing screen 61 (see FIG. 6A).
  • the learning data collecting device 3 sets the label of the label inputted by the photographer for the acquired photographed image (that is, the photographed target). Information is obtained (ST201).
  • the learning data collection device 3 extracts a foreground image in the captured image as an image area of the target object by a known method (ST202).
  • This foreground image can be extracted, for example, by a difference from the background image.
  • the learning data collection device 3 extracts a feature amount from the extracted foreground image by a known method (ST203). At this time, the learning data collection device 3 can extract the feature amount based on a method such as HOG (Histograms of Oriented Gradients) or SURF (Speeded-Up Robust Features), or a method using deep learning.
  • a method such as HOG (Histograms of Oriented Gradients) or SURF (Speeded-Up Robust Features), or a method using deep learning.
  • the learning data collection device 3 executes the re-learning of the identification model 21 based on the feature amount extracted in step ST203 (ST204).
  • the re-learning function (identification model learning unit 23) in the learning data collection system 1 is not an essential component of the system, and the collected learning data may be used in another system.
  • learning data collection device 3 determines whether or not the acquired captured image is suitable for learning data (ST103).
  • the learning data collection device 3 can use a plurality of criteria (1) to (7) as shown below for determining the suitability of a captured image.
  • the captured image is suitable for the learning data based on whether or not another different object (feature amount) similar to the target is registered by the identification model 21. Can be determined. More specifically, in the learning data collection device 3, the image identification unit 24 detects an object having a similar feature (for example, a score indicating a certainty of recognition exceeds a predetermined threshold) from the captured image, and detects the object. If the object obtained is different from the label input by the photographer in step ST201, another different object that can be confused with the object included in the photographed image is registered in the identification model 21. The determination unit 12 determines that the captured image (that is, the image in which the target object is captured in a form that can be confused with another different object) is inappropriate.
  • the image identification unit 24 detects an object having a similar feature (for example, a score indicating a certainty of recognition exceeds a predetermined threshold) from the captured image, and detects the object. If the object obtained is different from the label input by the photographer in step ST201, another different object that can be confused with the object included in
  • the learning data collection device 3 recommends the photographer to re-photograph as one mode of the above-described notification process in order to obtain captured images having different capturing conditions for the target object.
  • storage of learning data regarding the captured image in the storage device 54 here, re-learning of the identification model 21
  • This makes it possible to acquire a captured image (learning data) from which the features of the target object can be more easily extracted for the same target object.
  • it is possible to further improve the accuracy rate and accuracy of the identification model 21 for identifying the target object and another different object similar to the target object.
  • the learning data collection device 3 determines whether a captured image is suitable for learning data based on whether a human hand (for example, a hand of a photographer) exists in the captured image. Can be determined. More specifically, when the learning data collection device 3 determines that a human hand is present in the captured image by a known method (for example, when a characteristic point of the human hand is extracted), the learning data collection device 3 sets the learning data as learning data. Since there is a possibility that the feature amount of the extracted target object may include a hand feature, the image determination unit 12 determines that the captured image is inappropriate.
  • the learning data collecting device 3 recommends the photographer to re-photograph in order to obtain a photographed image without human hands. As a result, it is possible to acquire an appropriate captured image.
  • the learning data collection device 3 determines whether the captured image is suitable for the learning data based on whether at least a part of the captured image includes a transparent object (target object). can do. More specifically, in the learning data collection device 3, when it is determined by a known method that an object that is at least partially transparent is present in the captured image (for example, the entire contour of the object cannot be extracted), Since there is a possibility that a transparent (including translucent) part is not recognized as a target (that is, it is recognized as a background), the image determination unit 12 determines that the captured image is inappropriate.
  • the learning data collection device 3 recommends the photographer to re-photograph in order to obtain an appropriate photographed image even if a part of the object is transparent. This allows the photographer to acquire an appropriate photographed image, for example, by changing the arrangement of the object.
  • the learning data collection device 3 determines whether or not a captured image is suitable for learning data based on whether or not a plurality of objects (targets) exist in the captured image. it can. More specifically, in the learning data collection device 3, when it is determined that a plurality of objects are present in the captured image by a known method (for example, a plurality of separated foreground regions are extracted), the learning data is collected as learning data. Since there is a possibility that the feature amount of the extracted target object may include a feature of another object, the image determination unit 12 determines that the captured image is inappropriate. Note that, even when the above-mentioned part is a transparent object (that is, an object having a plurality of opaque parts separated from each other), it can be determined that a plurality of objects exist in the captured image.
  • the learning data collection device 3 instructs the photographer to perform re-shooting as one mode of the above-described notification processing in order to acquire an appropriate photographed image without photographing a plurality of objects (that is, the re-shooting instruction). Perform processing).
  • the learning data regarding the captured image in the storage device 54 here, re-learning of the identification model 21
  • the learning data collection device 3 based on whether or not an overexposed area (a region almost solid white) exists in the captured image, whether the captured image is suitable for the learning data. Can be determined. More specifically, when the learning data collection device 3 determines by a known method that the ratio (or area) of the overexposed area existing in the captured image is equal to or greater than a specified threshold, the learning data collection apparatus 3 determines the texture of the target object. Since it becomes difficult to extract features, the image determination unit 12 determines that the captured image is inappropriate.
  • the learning data collection device 3 instructs the photographer to re-photograph in order to suppress the occurrence of overexposure and obtain an appropriate photographed image.
  • the photographer can acquire an appropriate photographed image, for example, by changing the direction of illumination (or the arrangement of the object with respect to the illumination light).
  • re-imaging is not essential, and the learning data collection device 3 can recommend re-imaging.
  • the learning data collection device 3 may determine whether the captured image is suitable for the learning data based on whether the object in the captured image is a small object. it can. More specifically, when the learning data collection device 3 determines that the ratio (or area) of the image area of the object in the captured image is smaller than a predetermined threshold by a known method, the image of the object is determined. Since it becomes difficult to extract the feature amount from the region, the image determination unit 12 determines that the captured image is inappropriate.
  • the learning data collection device 3 recommends re-shooting even if the target object is small, in order to obtain an appropriate shot image. Accordingly, the photographer enlarges the image area of the object by using the zoom function of the cameras 5A to 5C or changing the distance between the object and the cameras 5A to 5C, for example, to obtain an appropriate photographed image. It becomes possible to acquire.
  • the learning data collection device 3 determines whether a captured image has been obtained at low illuminance or whether there is a blackout area (an area that is substantially solid black). Based on this, it can be determined whether the captured image is suitable for the learning data. More specifically, in the learning data collection device 3, the brightness of the entire captured image (or the image area of the object) is smaller than a predetermined threshold value, or the ratio of the blackout area existing in the captured image, by a known method. If (or the area) is determined to be equal to or larger than a predetermined threshold, it becomes difficult to extract the feature amount from the image region of the target object, and the image determination unit 12 determines that the captured image is inappropriate. Is determined.
  • the learning data collection device 3 recommends re-shooting in order to avoid shooting at low illuminance or to suppress occurrence of underexposure to obtain an appropriate shot image.
  • the photographer can obtain an appropriate photographed image by, for example, adjusting the brightness of the illumination (for example, by bringing the light source closer to the object or adding a new lighting device). It becomes.
  • the learning data collection device 3 executes the step ST103 by using all of the determination criteria (1) to (7).
  • the present invention is not limited to this, and the learning data collection device 3 may select and use at least one of the determination criteria (1) to (7) according to the type of the target object or the like.
  • an instruction for re-imaging has priority over recommendation for re-imaging. For example, if it is determined that the captured image is inappropriate for both (1) the determination regarding the presence of a similar object and (4) the determination regarding the presence of a plurality of objects, an instruction to re-photograph is given. The result of the determination regarding the priority is given priority.
  • the learning data collection device 3 executes the above-described step ST103 using a plurality of determination criteria, there is no determination result regarding the instruction for re-imaging, and there are a plurality of determination results regarding recommendation for re-imaging.
  • the result of the determination based on the highest determination criterion is prioritized according to a preset priority.
  • the priority order can be set, for example, in the order of (1) determination regarding the presence of a similar object, (2) determination regarding reflection of a hand, and (3) determination regarding a transparent object.
  • the learning data collection device 3 can appropriately execute the notification process for urging the photographer to perform re-imaging according to the type of the criterion. Further, even when it is determined that the captured image is not suitable for the learning data, the learning data collection device 3 executes a plurality of different types of notification processing (processing relating to a re-photographing instruction and processing relating to re-photographing recommendation). Whether or not the learning data can be stored is set according to the degree (that is, how inappropriate the learning data is), and it is possible to prevent the photographing work (and, consequently, the learning data collection) by the photographer from being excessively hindered.
  • a degree that is, how inappropriate the learning data is
  • the learning data collection device 3 determines in the step ST103 that the captured image is not suitable for the learning data (ST104: No), and determines that the process regarding recommendation of re-imaging should be performed on the captured image. In this case (ST105: Yes), a process relating to a re-shooting instruction is executed as a notification process to the photographer (ST106).
  • the learning data collection device 3 releases the registration of the photographing data registered as the learning data in the photographing data registration process of step ST102 (ST107). This makes it possible to exclude inappropriate captured images that are not suitable for learning from the learning data (delete the corresponding data from the identification model 21) without excessively hindering the learning data collection process.
  • the learning data collection device 3 determines that the captured image is not suitable for the learning data in the above-described step ST103 (ST104: No), and determines that the process regarding recommendation of re-imaging should not be performed on the captured image. In this case (ST105: No), a process related to re-imaging is executed as a notification process to the photographer (ST108).
  • the above-described series of processes is repeatedly executed each time the photographer takes an image of an object.
  • the display device 55 displays a screen for the photographer regarding steps ST105, ST106, ST108, and the like.
  • step ST102 does not need to be performed before step ST103. For example, it is performed after it is determined in step ST104 that the captured image is suitable for the learning data (Yes) or after ST108. You may do so. In these cases, since the learning data has not been registered at the time of ST106, the process of deregistering the learning data in ST106 is omitted. Further, the processing in step ST108 is not limited to the configuration in which information is displayed on the display device 55 as in the case of step ST106 described above.
  • the photographer in collecting learning data used for image recognition, the photographer is prompted to re-photograph a photographed image determined to be unsuitable for learning data. Collection of captured images can be suppressed.
  • FIG. 6 is an explanatory diagram showing a first example of a screen display of the display device 55 for the photographer in the learning data collection processing shown in FIG.
  • a screen display example is shown in a case where it is determined that the captured image is not suitable for the learning data based on (3) a determination regarding a transparent object or (4) a determination regarding the presence of a plurality of objects in the learning data collection process. ing.
  • the shooting screen 61 shown in FIG. 6A is displayed on the display device 55, and thereafter, the shot image is learned. If it is determined that the data is not suitable for the data (see step ST104 (No) in FIG. 4), the display changes from the shooting screen 61, and as to step ST105 in FIG. 4, as shown in FIG.
  • a notification screen 71 including a message for urging the photographer to confirm the object detected from the image of the target object (accepting the photographer's input) is displayed.
  • the first notification screen 71 explains that the photographer needs to confirm (input of either a transparent object or a plurality of objects) because a transparent object or a plurality of objects has been detected in the captured image. Is displayed.
  • a new message (instruction of re-shooting) for the photographer is displayed on the generated event (here, a plurality of objects cannot be shot at the same time) and in a more appropriate state (here, A second message 74 is displayed explaining that re-imaging has to be performed (one object to be placed).
  • the notification screen 71 (message for prompting the photographer to confirm) illustrated in FIG. 6B is omitted when the photographer does not need to confirm the object detected from the image of the target object. In this case, the display changes from FIG. 6 (A) to FIG. 6 (C) or FIG. 6 (D).
  • processing in steps ST105, ST106, ST108, and the like is not limited to the configuration in which the screen including the predetermined information is displayed on the display device 55 as described above, and is provided in, for example, the imaging device 2 or the learning data collection device 3. It is also possible to notify the photographer that re-imaging is required by audio output from the speaker. Alternatively, the photographer may be notified that re-imaging is required by the operation state (lighting, blinking, etc.) of the warning lamp provided in the imaging device 2 or the learning data collection device 3.
  • FIG. 7 is an explanatory diagram showing a second example of the screen display of the display device 55 for the photographer in the learning data collection processing shown in FIG.
  • the learning data collection process it is determined that the captured image is not suitable for the learning data based on (1) a determination regarding the presence of a similar object, (5) a determination regarding illumination conditions, and (7) a determination regarding low illuminance.
  • 9 shows an example of a screen display in the case of being performed.
  • the shooting screen 61 shown in FIG. 7A is displayed on the display device 55, and thereafter, it is determined that the shot image is not suitable for the learning data. Then, the display changes from the shooting screen 61, and a notification screen 81 including a message for urging the photographer to re-shoot is displayed as shown in any of FIGS. 7B to 7D. .
  • FIG. 6B shows a screen display example when it is determined that the captured image is not suitable for the learning data based on the above (1) determination regarding the presence of a similar object.
  • a message (recommendation of re-shooting) that prompts the user to re-shoot, the event that occurred (here, there is another different object similar to the target object (that is, another different object has been learned) ), And a fourth message 82 explaining that it is preferable to retake the same object in a more appropriate state (for example, after changing the arrangement of the object).
  • FIG. 6C it is determined that the captured image is not suitable for the learning data based on the above (5) determination regarding the lighting condition (here, the ratio (or area) of the overexposed area in the captured image is determined.
  • the lighting condition here, the ratio (or area) of the overexposed area in the captured image is determined.
  • An example of a screen display in the case of being smaller than a predetermined threshold is shown, and an information screen 81 displays an event (here, shooting Fifth description that it is preferable to perform re-imaging of the object in a more appropriate state (here, changing the lighting conditions), and that an overexposed portion exists in the object in the image)
  • a message 83 is displayed.
  • the notification screen 81 displays As a message for prompting the photographer to perform re-imaging (instruction of re-imaging), a message that indicates that the object needs to be re-imaging is displayed.
  • FIG. 6D shows a screen display example when it is determined that the captured image is not suitable for the learning data based on the determination (7) regarding the low illuminance described above.
  • the message (recommendation of re-shooting) that prompts the user to re-shooting includes the event that occurred (here, the brightness of the captured image is insufficient) and a more appropriate state (here, lighting conditions (Alternatively) a sixth message 84 is displayed explaining that it is preferable to retake the object.
  • the photographing device 2 includes the cameras 5A to 5C in a fixed direction.
  • the same photographed image can be obtained by making one camera movable.
  • the storage of the learning data is associated with either the permission or the prohibition, but the present invention is not limited to this.
  • the storage of the learning data may be uniformly prohibited.
  • the storage of the learning data is prohibited in an example that does not contribute to the improvement of the learning result, and the storage of the learning data is allowed in another example.
  • the learning data is stored in the determination regarding the existence of a plurality of objects, the feature of the combination of the objects is learned as the feature of one object. In the model, the recognition accuracy of the one object is reduced.
  • the ratio (or area) of the overexposure area in the determination regarding the illumination condition (reflection) is equal to or greater than a specified threshold, the feature to be learned cannot be extracted. Cannot contribute to the improvement of learning results.
  • the learning data collection device, the learning data collection system, and the learning data collection method according to the present disclosure can suppress the collection of inappropriate captured images that are not suitable for learning in the collection of learning data used for image recognition.
  • the present invention is useful as a learning data collection device, a learning data collection system, and a learning data collection method for collecting learning data used for image recognition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像認識に利用される学習データの収集において、学習に適さない不適切な撮影画像の収集を抑制する。 【解決手段】学習データ収集装置３において、プロセッサ５１が、撮影画像を撮影装置２から取得し、その撮影画像が学習データに適するか否かを判定し、学習データに適さないと判定した撮影画像については、撮影者に再撮影を促すための報知処理を実行する構成とする。

Description

学習データ収集装置、学習データ収集システム、及び学習データ収集方法
　本開示は、画像認識に利用される学習データを収集する学習データ収集装置、学習データ収集システム、及び学習データ収集方法に関する。
　近年、カメラの撮影画像などから対象物を認識する画像認識の技術が、ディープラーニング（深層学習）などを用いた機械学習により急速に発展している。機械学習を利用した画像認識では、対象物（認識対象）を被写体とする撮影画像のデータを学習データとしてより多く収集し、これを学習器に学習させることで、未知の撮影画像における対象物を学習済モデルで認識する精度を向上させることが可能となる。
　そのような学習データの収集において、対象物の画像を含む撮影画像を網羅的に収集するためには、複数の撮影条件（カメラ設定、照明設定、対象物の配置などを含む）を適切に設定して撮影を行うなどの手間の掛かる作業が生じる。
　そこで、そのような学習データを簡易に生成するための技術が開発されており、例えば、学習データ生成装置が、被写体に対するカメラの位置に関する情報を少なくとも含む撮影条件を変更しながら、各々の撮影条件下で生成された各物体撮影画像に、撮影時の撮影条件を示す情報を含む撮影環境情報を対応づける撮影処理手段と、各物体撮影画像から、物体が写っている領域である物体領域を抽出する物体領域抽出手段とを備え、物体領域抽出手段は、物体領域の抽出元とされた第１の物体撮影画像とは撮影条件が異なる第２の物体撮影画像を用いて、第１の物体撮影画像から物体領域を抽出するようにした技術が知られている（特許文献１参照）。
特開２０１４－１７８９５７号公報
　ところで、上記のような学習データをより多く収集するための対象物の撮影は、全て適切に実施されるとは限らないため、撮影によって得られた撮影画像の中には、必ずしも学習に適さない不適切な撮影画像（例えば、対象物が適切に撮影されていない）が含まれ得る。そのような不適切な撮影画像が学習データに多く含まれると、学習済モデルによる画像認識の精度を低下させることになる。
　しかしながら、上記特許文献１に記載されたような従来技術では、対象物の向きの変化に対応した撮影画像が得られるものの、学習に適さない不適切な撮影画像が含まれ得ることについては考慮されていなかった。
　本開示は、このような従来技術の課題を鑑みて案出されたものであり、画像認識に利用される学習データの収集において、学習に適さない不適切な撮影画像の収集を抑制することができる学習データ収集装置、学習データ収集システム、及び学習データ収集方法を提供することを主目的とする。
　本開示の学習データ収集装置は、撮影者が対象物の撮影に用いる撮影装置によって生成された撮影画像を、画像認識に利用される学習データとして収集する学習データ収集装置であって、前記学習データを収集する処理を実行するプロセッサを備え、前記プロセッサは、前記撮影画像を前記撮影装置から取得し、前記撮影画像が前記学習データに適するか否かを判定し、前記学習データに適さないと判定した前記撮影画像について、前記撮影者に再撮影を促すための報知処理を実行することを特徴とする。
　本開示の学習データ収集システムは、前記学習データ収集装置および前記撮影装置を備えたことを特徴とする。
　本開示の学習データ収集方法は、撮影者が対象物の撮影に用いる撮影装置によって生成された撮影画像を、画像認識に利用される学習データとして収集する学習データ収集装置による学習データ収集方法であって、前記撮影画像を前記撮影装置から取得し、前記撮影画像が前記学習データに適するか否かを判定し、前記学習データに適さないと判定した前記撮影画像を前記撮影装置から取得した場合には、前記撮影者に対し、当該撮影画像について再撮影を促すための報知処理を実行することを特徴とする。
　本開示の学習データ収集装置、学習データ収集システム、及び学習データ収集方法によれば、画像認識に利用される学習データの収集において、学習に適さない不適切な撮影画像の収集を抑制することが可能となる。
本開示に係る学習データ収集システムの概略構成図 撮影装置の構成例を示す説明図 学習データ収集装置のハードウェア構成を示す説明図 学習データ収集装置による学習データの収集処理の流れを示すフロー図 図４中のステップＳＴ１０２における撮影データ登録処理の詳細を示すフロー図 図４に示した学習データの収集処理における撮影者に対する表示装置の画面表示の第１の例を示す説明図 図４に示した学習データの収集処理における撮影者に対する表示装置の画面表示の第２の例を示す説明図
　上記課題を解決するためになされた第１の発明は、撮影者が対象物の撮影に用いる撮影装置によって生成された撮影画像を、画像認識に利用される学習データとして収集する学習データ収集装置であって、前記学習データを収集する処理を実行するプロセッサを備え、前記プロセッサは、前記撮影画像を前記撮影装置から取得し、前記撮影画像が前記学習データに適するか否かを判定し、前記学習データに適さないと判定した前記撮影画像について、前記撮影者に再撮影を促すための報知処理を実行することを特徴とする。
　これによると、画像認識に利用される学習データの収集において、学習データに適さないと判定した撮影画像について撮影者に再撮影を促すため、学習に適さない不適切な撮影画像の収集を抑制することができる。
　また、第２の発明は、前記学習データ収集装置に関し、前記プロセッサによる制御に基づき情報を表示する表示装置を更に備え、前記プロセッサは、前記報知処理として、前記撮影者に再撮影を促すための報知画面を前記表示装置に表示することを特徴とする。
　これによると、学習データに適さないと判定した撮影画像について、簡易かつ明確に撮影者に再撮影を促すことが可能となる。
　また、第３の発明は、前記学習データ収集装置に関し、前記プロセッサは、複数の判定基準を用いて前記各撮影画像が前記学習データに適するか否かを判定し、前記判定に用いられた前記判定基準の種類に応じて、複数の異なる態様の前記報知処理を実行することを特徴とする。
　これによると、判定基準の種類に応じて撮影者に再撮影を促すための報知処理を適切に実行することが可能となる。
　また、第４の発明は、前記学習データ収集装置に関し、前記プロセッサによる制御に基づきデータを記憶する記憶装置を更に備え、前記報知処理には、前記複数の異なる態様として、前記記憶装置への前記撮影画像に関する前記学習データの記憶が禁止される再撮影指示に関する処理と、前記記憶装置への前記撮影画像に関する前記学習データの記憶が許容される再撮影推奨に関する処理と、が含まれることを特徴とする。
　これによると、撮影画像が学習データに適さないと判定された場合でも、その程度（すなわち、どれくらい適さないか）に応じてその学習データの記憶の可否が設定されるため、撮影者による撮影作業（延いては、学習データの収集）が過度に阻害されることを回避できる。
　また、第５の発明は、前記学習データ収集装置に関し、前記プロセッサは、前記撮影画像が、複数の対象物を含むと判定した場合、前記対象物が複数の物体であるか透明な部分を含む物体であるかを示す入力を受け付け、前記複数の物体である旨の入力を受け付けた場合、前記再撮影指示に関する処理を行い、前記透明な部分を含む物体である旨の入力を受け付けた場合、前記再撮影推奨に関する処理を行うことを特徴とする。
　これによると、複数の物体が検知された場合であっても、当該検知結果が透明な部分を含むことに起因するか否かに応じて学習データの記憶の可否を設定することができる。したがって、撮影者による撮影作業（延いては、学習データの収集）が過度に阻害されることを回避できる。
　また、第６の発明は、前記学習データ収集装置に関し、前記プロセッサは、前記各撮影画像が前記学習データに適するか否かを判定する前に、前記撮影装置から取得した前記撮影画像を前記学習データとして前記記憶装置に記憶し、前記学習データに適さないと判定した前記撮影画像に関して前記再撮影指示に関する処理を実行する場合には、当該撮影画像の前記学習データとしての登録を解除することを特徴とする。
　これによると、学習データの収集処理を過度に阻害することなく、学習に適さない不適切な撮影画像を学習データから除外することが可能となる。
　また、第７の発明は、前記学習データ収集装置に関し、前記プロセッサは、前記対象物を互いに異なる向きから同時に撮影した前記撮影画像のセットを前記撮影装置から取得し、前記撮影画像のセットに前記学習データに適さないと判定した少なくとも１つの前記撮影画像が含まれる場合には、前記撮影者に対し、当該撮影画像のセットについて前記再撮影を促すための報知処理を実行することを特徴とする。
　これによると、複数のカメラによって対象物を互いに異なる向きから同時に撮影した撮影画像を取得しつつ、学習に適さない不適切な撮影画像の収集を抑制することができる。
　また、第８の発明は、前記学習データ収集装置に関し、前記プロセッサは、前記学習データとして登録された前記撮影画像における前記対象物を、予め準備された学習済みモデルを用いて認識した結果を取得し、前記認識結果に基づき、前記対象物と類似する他の異なる物体を学習済みであると判定した場合、当該撮影画像が前記学習データに適さないと判定することを特徴とする。
　これによると、撮影画像に含まれる対象物と類似する他の異なる物体を学習済みである場合に、当該撮影画像（すなわち、他の異なる物体と混同され得る形態で対象物が撮影された画像）について撮影者に再撮影を促すため、学習に適さない不適切な撮影画像の収集を抑制することができる。
　また、第９の発明は、前記学習データ収集装置および前記撮影装置を備えたことを特徴とする学習データ収集システムである。
　これによると、画像認識に利用される学習データの収集において、学習データに適さないと判定した撮影画像について撮影者に再撮影を促すため、学習に適さない不適切な撮影画像の収集を抑制することができる。
　また、第１０の発明は、撮影者が対象物の撮影に用いる撮影装置によって生成された撮影画像を、画像認識に利用される学習データとして収集する学習データ収集装置による学習データ収集方法であって、前記撮影画像を前記撮影装置から取得し、前記撮影画像が前記学習データに適するか否かを判定し、前記学習データに適さないと判定した前記撮影画像を前記撮影装置から取得した場合には、前記撮影者に対し、当該撮影画像について再撮影を促すための報知処理を実行することを特徴とする。
　また、第１１の発明は、前記学習データ収集方法に関し、前記報知処理として、前記撮影者に再撮影を促すための報知画面を表示装置に表示することを特徴とする。
　また、第１２の発明は、前記学習データ収集方法に関し、複数の判定基準を用いて前記各撮影画像が前記学習データに適するか否かを判定し、前記判定に用いられた前記判定基準の種類に応じて、複数の異なる態様の前記報知処理を実行することを特徴とする。
　また、第１３の発明は、前記学習データ収集方法に関し、前記報知処理には、前記複数の異なる態様として、記憶装置への前記学習データの記憶が禁止される再撮影指示に関する処理と、記憶装置への前記学習データの記憶が許容される再撮影推奨に関する処理と、が含まれることを特徴とする。
　また、第１４の発明は、前記学習データ収集方法に関し、前記撮影画像が、複数の対象物を含むと判定した場合、前記対象物が複数の物体であるか透明な部分を含む物体であるかを示す入力を受け付け、前記複数の物体である旨の入力を受け付けた場合、前記再撮影指示に関する処理を行い、前記透明な部分を含む物体である旨の入力を受け付けた場合、前記再撮影推奨に関する処理を行うことを特徴とする。
　また、第１５の発明は、前記学習データ収集方法に関し、前記各撮影画像が前記学習データに適するか否かを判定する前に、前記撮影装置から取得した前記撮影画像を前記学習データとして前記記憶装置に記憶し、前記学習データに適さないと判定した前記撮影画像に関して前記再撮影指示に関する処理を実行する場合には、当該撮影画像の前記学習データとして登録を解除することを特徴とする。
　また、第１６の発明は、前記学習データ収集方法に関し、前記学習データとして登録された前記撮影画像における前記対象物を、予め準備された学習済みモデルを用いて認識した結果を取得し、前記認識結果に基づき、前記対象物と同一または類似の物体を学習済みであると判定した場合、当該撮影画像が前記学習データに適さないと判定することを特徴とする。
　また、第１７の発明は、前記学習データ収集方法に関し、予め準備された学習済みモデルを用いて、前記学習データとして登録された前記撮影画像における前記対象物を認識し、当該対象物と類似する他の異なる物体を学習済みであると判定した場合、当該撮影画像が前記学習データに適さないと判定することを特徴とする。
　以下、本開示の実施形態について、図面を参照しながら説明する。
　図１は、本開示に係る学習データ収集システム１の概略構成図である。
　学習データ収集システム１は、撮影者が対象物６（図２参照）の撮影に用いる撮影装置２と、この撮影装置２によって生成された撮影画像を、画像認識に利用される学習データとして収集する処理（以下、「学習データ収集処理」という。）を実行する学習データ収集装置３と、未知の物体を撮影する識別装置４と、を主として備える。
　撮影装置２は、対象物６を互いに異なる向きから同時に撮影可能な複数のカメラ５Ａ－５Ｃを有する。異なる向きカメラを設けている理由は、対象物の外観の特徴を全体的に捉え、識別装置４で対象物の姿勢が変わっても識別を正しく実施できるようにするためである。カメラ５Ａ－５Ｃは、それぞれ公知の撮影機能を有するビデオカメラであり、対象物６を被写体とする撮影画像（動画または静止画）を生成する。また、撮影装置２は、公知の通信機能を有し、生成した撮影画像を学習データ収集装置３に対して順次送信する。撮影装置２は、公知の通信ケーブルや無線通信により学習データ収集装置３に接続可能であるが、これに限らず、公知の通信ネットワーク（ＬＡＮ等）を介して学習データ収集装置３に接続されてもよい。
　なお、撮影装置２によって撮影される対象物６は、本開示に示すものに限定されず、画像認識の対象となり得る任意の物体である。また、カメラ５Ａ－５Ｃによって生成される撮影画像としては、画像認識（対象物６の識別）に利用可能な限りにおいて任意の形式を採用することができ、例えば、カメラ５Ａ－５ＣがＲＧＢ－Ｄセンサを備えることにより、撮影画像としてＲＧＢ 画像および距離画像が生成されてもよい。
　学習データ収集装置３は、撮影装置２によって生成された撮影画像を順次取得する画像取得部１１と、取得した撮影画像が学習データに適するか否かを順次判定する画像判定部１２と、画像判定部１２により学習データに適さないと判定された撮影画像について、撮影者に再撮影を促すための報知処理を実行する報知処理部１３と、撮影者に対して必要な情報を表示する表示部１４と、ユーザ（例えば、撮影者）が学習データ収集装置３に対して入力操作を行うための入力部１５と、を有する。後に詳述するように、表示部１４は、例えば、報知処理部１３が実行する報知処理に関し、撮影者に再撮影を促すための情報を表示することができる。
　また、学習データ収集装置３は、機械学習による画像認識（未知の物体の識別）に用いられる識別モデル２１を記憶する記憶部２２と、画像判定部１２により学習データに適すると判定された撮影画像に基づき識別モデル２１の再学習を実行する識別モデル学習部２３と、識別モデル２１を利用して撮影画像に含まれる対象物６または識別装置４によって撮影された未知の物体の識別を行う画像識別部２４と、を有する。識別モデル２１は、予め準備された学習済みモデルであり、学習データ収集装置３により収集された撮影画像を学習データとして利用することにより、未知の物体の識別（画像認識）に関する正解率や精度をより向上させることが可能となる。
　識別装置４は、未知の物体を撮影する識別用カメラ（図示せず）を有しており、その識別用カメラによって撮影された未知の物体を被写体とする撮影画像を学習データ収集装置３に送信する。これにより、学習データ収集装置３の画像識別部２４では、識別モデル２１を利用して、識別装置４からの撮影画像の未知の物体を識別する処理（以下、「物体認識処理」という。）を行うことが可能である。識別用カメラは、上記カメラ５Ａ－５Ｃと同様の構成とすることができる。
　なお、学習データ収集システム１における物体認識処理の機能は、システム１に必須の構成ではなく、再学習した識別モデル２１を他のシステムで利用してもよい。その場合、学習データ収集システム１において識別装置４を省略することができる。
　図２は、図１に示した撮影装置２の構成例を示す説明図である。
　撮影装置２は、床面や机上面等に載置される略平板状のベース部３１と、ベース部３１の一端側から略鉛直方向に延出する略平板状の第１のアーム部３２と、第１のアーム部３２の上端からベース部３１の他端側に向けて斜め上方に延出する略平板状の第２のアーム部３３と、第２のアーム部３３の上端からベース部３１の他端側に向けて略水平に延出する第３のアーム部３４と、を有する。なお、図２では、図示を省略するが、撮影装置２は、内蔵バッテリ（または電源ケーブル）や、学習データ収集装置３との通信を行うための無線通信部（または通信ケーブル）等を備える。
　ベース部３１は、鉛直方向の軸周りに回転自在に設けられた回転台４１を有している。撮影者は、対象物（ここでは、飲料容器）６を回転台４１上に配置し、その状態で回転台４１を所望の回転角度で回転させることにより、カメラ５Ａ－５Ｃに対する対象物６の方向（すなわち、カメラ５Ａ－５Ｃに対する対象物６の配置）を変更することができる。
　第３のアーム部３４の下面側には、平面視カメラ５Ａが配置されている。平面視カメラ５Ａの撮影方向は、下方の回転台４１に向けられており、対象物６の平面図に概ね相当する撮影画像４６を撮影可能である。
　また、第２のアーム部３３の下面側（内面側）には、斜視カメラ５Ｂが配置されている。カメラ５Ｂの撮影方向は、斜め下方の回転台４１に向けられており、対象物６の上側からの斜視図に概ね相当する撮影画像４７を撮影可能である。
　また、第１のアーム部３２の内面側（ベース部３１の他端側）には、側面視カメラ５Ｃが配置されている。カメラ５Ｃの撮影方向は、略水平方向（回転台４１の上方）に向けられており、対象物６の側面図に概ね相当する撮影画像４８を撮影可能である。
　なお、撮影装置２の構成（例えば、カメラの数、撮影方向）は、図２に示したものに限らず種々の変更が可能である。撮影装置２は、少なくとも１つのカメラを有するものであればよい。
　図３は、図１に示した学習データ収集装置３のハードウェア構成を示す説明図である。
　学習データ収集装置３は、公知のハードウェア構成を有するコンピュータからなり、所定の制御プログラムに基づき、学習データの収集処理（必要に応じて物体認識処理を含む）を統括的に実行するプロセッサ５１、このプロセッサ５１のワークエリア等として機能する揮発性メモリであるＲＡＭ５２、プロセッサ５１が実行する制御プログラムやデータを格納する不揮発性メモリであるＲＯＭ５３、ＨＤＤやフラッシュメモリ等からなる記憶装置５４、液晶モニタ等からなる表示装置５５、キーボード、マウス、及びタッチパネル等の入力デバイスからなる入力装置５６、他の装置との通信を実行する通信モジュール５７等を有している。
　図１に示した学習データ収集装置における表示部１４、入力部１５、及び記憶部２２の機能は、それぞれ図２に示した表示装置５５、入力装置５６、及び記憶装置５４によって実現可能である。また、学習データ収集装置３における画像取得部１１、画像判定部１２、報知処理部１３、識別モデル学習部２３、及び画像識別部２４の機能の少なくとも一部は、プロセッサ５１が制御プログラムを実行することによって実現可能である。なお、学習データ収集装置３は、必ずしも図３に示した構成に限定される必要はなく、図１に示した学習データ収集装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
　図４は、学習データ収集装置３による学習データの収集処理の流れを示すフロー図であり、図５は、図４中のステップＳＴ１０２における撮影データ登録処理の詳細を示すフロー図である。
　学習データ収集システム１では、撮影装置２により撮影者が対象物を撮影すると、その撮影画像およびその関連情報（カメラ５Ａ－５Ｃの撮影条件等）を含む撮影データが撮影装置２から学習データ収集装置３に送信され、学習データ収集装置３は、その撮影データを受信（取得）する（ＳＴ１０１）ここで、撮影者は、回転台４１上に所望の態様で対象物６を載置して回転台４１の角度を調整した後に、表示装置５５に表示される撮影画面６１（図６（Ａ）参照）において、撮影ボタン６２をクリック（押下）することにより、カメラ５Ａ－５Ｃによる撮影を実行することができる。
　なお、上記ステップＳＴ１０１において、学習データ収集装置３は、カメラ５Ａ－５Ｃにより同時に撮影された撮影画像のセット（３つの撮影画像）を含む撮影データを取得するが、これに限らず、学習データ収集システム１では、少なくとも１つの撮影画像が得られればよい。
　次に、学習データ収集装置３は、取得した撮影データを学習データとして登録する処理（以下、「撮影データ登録処理」という。）を実行する（ＳＴ１０２）。ここで、撮影者は、撮影画面６１（図６（Ａ）参照）において、登録ボタン６３をクリック（押下）することにより、撮影データ登録処理を実行することができる。
　上記ステップＳＴ１０２の撮影データ登録処理では、図５に示すように、まず、学習データ収集装置３は、取得した撮影画像（すなわち、撮影された対象物）に対して撮影者によって入力されたラベルの情報を取得する（ＳＴ２０１）。
　続いて、学習データ収集装置３は、公知の手法により、撮影画像における前景画像を対象物の画像領域として抽出する（ＳＴ２０２）。この前景画像は、例えば背景画像との差分によって抽出することができる。
　そこで、学習データ収集装置３は、抽出した前景画像から公知の手法により特徴量を抽出する（ＳＴ２０３）。このとき、学習データ収集装置３は、例えば、ＨＯＧ（Histograms of Oriented Gradients）やＳＵＲＦ （Speeded-Up Robust Features）などの手法や、ディープラーニングを用いた手法に基づき特徴量を抽出することができる。
　その後、学習データ収集装置３は、ステップＳＴ２０３において抽出した特徴量に基づき、識別モデル２１の再学習を実行する（ＳＴ２０４）。なお、学習データ収集システム１における再学習の機能（識別モデル学習部２３）は、システムに必須の構成ではなく、収集した学習データを他のシステムで利用してもよい。
　再び図４を参照して、続いて、学習データ収集装置３は、取得した撮影画像が学習データに適するか否かを判定する（ＳＴ１０３）。
　このステップＳＴ１０３において、学習データ収集装置３は、撮影画像の適否判定に次に示すような複数の判定基準（１）－（７）を用いることができる。
（１）類似物体の存在に関する判定
　学習データ収集装置３では、識別モデル２１によって対象物と類似する他の異なる物体（特徴量）が登録されているか否かに基づき、撮影画像が学習データに適するか否かを判定することができる。より詳細には、学習データ収集装置３では、画像識別部２４により、撮影画像から特徴が類似する（例えば、認識の確からしさを表すスコアが所定の閾値を超える）物体を検出し、且つその検出された物体が上記ステップＳＴ２０１において撮影者によって入力されたラベルとは異なる場合、撮影画像に含まれる対象物と混同され得る他の異なる物体が識別モデル２１に登録されていることになるため、画像判定部１２は、その撮影画像（すなわち、他の異なる物体と混同され得る形態で対象物が撮影された画像）を不適切であると判定する。
　そこで、学習データ収集装置３は、当該対象物について撮影条件が異なる撮影画像を取得するために、上記報知処理の一態様として撮影者に再撮影を推奨する。後に詳述するように、再撮影推奨に関する処理では、記憶装置５４への撮影画像に関する学習データの記憶（ここでは、識別モデル２１の再学習）が許容される。これにより、同一の対象物に関し、当該対象物の特徴をより抽出しやすい撮影画像（学習データ）を取得することが可能となる。その結果、識別モデル２１による当該対象物と、それに類似する他の異なる物体との識別に関する正解率や精度をより向上させることが可能となる。
（２）手の写り込みに関する判定
　学習データ収集装置３では、撮影画像中に人の手（例えば、撮影者の手）が存在するか否かに基づき、撮影画像が学習データに適するか否かを判定することができる。より詳細には、学習データ収集装置３では、公知の手法により、撮影画像中に人の手が存在すると判定した（例えば、人の手の特徴点が抽出された）場合には、学習データとして抽出される対象物の特徴量に手の特徴が含まれてしまう可能性があるため、画像判定部１２は、その撮影画像を不適切であると判定する。
　そこで、学習データ収集装置３は、人の手を排除した撮影画像を取得するために、撮影者に再撮影を推奨する。これにより、適切な撮影画像を取得することが可能となる。
（３）透明な物体に関する判定
　学習データ収集装置３では、撮影画像に少なくとも一部が透明な物体（対象物）が存在するか否かに基づき、撮影画像が学習データに適するか否かを判定することができる。より詳細には、学習データ収集装置３では、公知の手法により、撮影画像に少なくとも一部が透明な物体が存在すると判定した（例えば、対象物の全体の輪郭を抽出できない）場合には、その透明（半透明を含む）な部位が対象物として認識されない（すなわち、背景として認識されてしまう）可能性があるため、画像判定部１２は、その撮影画像を不適切であると判定する。
　そこで、学習データ収集装置３は、対象物の一部が透明であっても適切な撮影画像を取得するために、撮影者に再撮影を推奨する。これにより、撮影者は、例えば対象物の配置を変更することにより、適切な撮影画像を取得することが可能となる。
（４）複数物体の存在に関する判定
　学習データ収集装置３では、撮影画像に複数の物体（対象物）が存在するか否かに基づき、撮影画像が学習データに適するか否かを判定することができる。より詳細には、学習データ収集装置３では、公知の手法により、撮影画像に複数の物体が存在すると判定した（例えば、複数の分離された前景領域が抽出された）場合には、学習データとして抽出される対象物の特徴量に別の物体の特徴が含まれてしまう可能性があるため、画像判定部１２は、その撮影画像を不適切であると判定する。なお、上述のような一部が透明な物体（すなわち、互いに離間した複数の不透明な部分を有する物体）である場合にも、撮影画像に複数の物体が存在すると判定され得る。
　そこで、学習データ収集装置３は、複数の対象物を撮影することなく適切な撮影画像を取得するために、上記報知処理の一態様として撮影者に再撮影を指示する（すなわち、再撮影指示に関する処理を実行する）。後に詳述するように、再撮影指示に関する処理では、記憶装置５４への撮影画像に関する学習データの記憶（ここでは、識別モデル２１の再学習）が禁止される。これにより、撮影者は、例えば、撮影対象を１つの対象物とする（対象物以外の物体を撮影領域から取り除く）か、或いは、一部が透明な物体（すなわち、互いに離間した複数の不透明な部分を有する物体）の配置を変更することにより、適切な撮影画像を取得することが可能となる。
（５）照明条件（反射）に関する判定
　学習データ収集装置３では、撮影画像に白とび領域（概ね白一色に塗りつぶされた領域）が存在するか否かに基づき、撮影画像が学習データに適するか否かを判定することができる。より詳細には、学習データ収集装置３では、公知の手法により、撮影画像に存在する白とび領域の割合（または面積）が規定の閾値以上であると判定した場合には、対象物のテクスチャから特徴を抽出することが難しくなるため、画像判定部１２は、その撮影画像を不適切であると判定する。
　そこで、学習データ収集装置３は、白とびの発生を抑制して適切な撮影画像を取得するために、撮影者に再撮影を指示する。これにより、撮影者は、例えば照明の方向（または照明光に対する対象物の配置）を変更することにより、適切な撮影画像を取得することが可能となる。なお、撮影画像における白とび領域の割合（または面積）が予め定めた閾値よりも小さい場合には、再撮影は必須ではないため、学習データ収集装置３は、再撮影を推奨することができる。
（６）対象物の大きさ（小物体）に関する判定
　学習データ収集装置３では、撮影画像の対象物が小物体か否かに基づき、撮影画像が学習データに適するか否かを判定することができる。より詳細には、学習データ収集装置３では、公知の手法により、撮影画像に占める対象物の画像領域の割合（または面積）が規定の閾値よりも小さいと判定した場合には、対象物の画像領域から特徴量を抽出することが難しくなるため、画像判定部１２は、その撮影画像を不適切であると判定する。
　そこで、学習データ収集装置３は、対象物が小さい場合でも適切な撮影画像を取得するために、再撮影を推奨する。これにより、撮影者は、例えば、カメラ５Ａ－５Ｃのズーム機能の利用や、対象物とカメラ５Ａ－５Ｃとの距離の変更などにより対象物の画像領域を拡大することにより、適切な撮影画像を取得することが可能となる。
（７）低照度に関する判定
　学習データ収集装置３では、撮影画像が低照度において得られたか否かに基づき、或いは、黒つぶれ領域（概ね黒一色に塗りつぶされた領域）が存在するか否かに基づき、撮影画像が学習データに適するか否かを判定することができる。より詳細には、学習データ収集装置３では、公知の手法により、撮影画像全体（または対象物の画像領域）の明度が規定の閾値よりも小さい、或いは、撮影画像に存在する黒つぶれ領域の割合（または面積）が予め定めた閾値以上であると判定した場合には、対象物の画像領域から特徴量を抽出することが難しくなるため、画像判定部１２は、その撮影画像を不適切であると判定する。
　そこで、学習データ収集装置３は、低照度における撮影を回避して、或いは、黒つぶれの発生を抑制して適切な撮影画像を取得するために、再撮影を推奨する。これにより、撮影者は、例えば、照明の明るさを調整する（例えば、光源を対象物に近づけたり、新たな照明装置を追加したりする）ことにより、適切な撮影画像を取得することが可能となる。
　学習データ収集装置３では、上記判定基準（１）－（７）の全てを用いて上記ステップＳＴ１０３を実行する。ただし、これに限らず、学習データ収集装置３では、対象物の種類等に応じて、上記判定基準（１）－（７）のうちの少なくとも１つを選択して用いてもよい。
　また、学習データ収集装置３において、複数の判定基準を用いて上記ステップＳＴ１０３を実行した場合の報知処理としては、再撮影の推奨よりも再撮影の指示が優先される。例えば、（１）類似物体の存在に関する判定および（４）複数物体の存在に関する判定に関して共に撮影画像が不適切であると判定された場合には、再撮影を指示する（４）複数物体の存在に関する判定の結果が優先される。
　さらに、学習データ収集装置３において、複数の判定基準を用いて上記ステップＳＴ１０３を実行した場合に、再撮影の指示に関する判定結果は存在せずに、再撮影の推奨に関する判定結果が複数存在する場合には、予め設定された優先順位にしたがって、最上位の判定基準による判定の結果が優先される。優先順位は、例えば、（１）類似物体の存在に関する判定、（２）手の写り込みに関する判定、及び（３）透明な物体に関する判定の順に設定することができる。
　このように、学習データ収集装置３は、判定基準の種類に応じて撮影者に再撮影を促すための報知処理を適切に実行することができる。また、学習データ収集装置３では、撮影画像が学習データに適さないと判定された場合でも、複数の異なる態様の報知処理（再撮影指示に関する処理、再撮影推奨に関する処理）が実行されるため、その程度（すなわち、どれくらい適さないか）に応じてその学習データの記憶の可否が設定され、撮影者による撮影作業（延いては、学習データの収集）が過度に阻害されることを回避できる。
　その後、学習データ収集装置３は、上記ステップＳＴ１０３において撮影画像が学習データに適さないと判定され（ＳＴ１０４：Ｎｏ）、かつ当該撮影画像について再撮影推奨に関する処理を実行すべきであると判定された場合（ＳＴ１０５：Ｙｅｓ）、撮影者に対する報知処理として再撮影指示に関する処理を実行する（ＳＴ１０６）。
　その後、学習データ収集装置３は、ステップＳＴ１０２の撮影データ登録処理により学習データとして登録された撮影データの登録を解除する（ＳＴ１０７）。これにより、学習データの収集処理を過度に阻害することなく、学習に適さない不適切な撮影画像を学習データから除外（識別モデル２１から対応するデータを削除）することが可能となる。
　一方、学習データ収集装置３は、上記ステップＳＴ１０３において撮影画像が学習データに適さないと判定され（ＳＴ１０４：Ｎｏ）、かつ当該撮影画像について再撮影推奨に関する処理を実行すべきででないと判定された場合（ＳＴ１０５：Ｎｏ）、撮影者に対する報知処理として再撮影推奨に関する処理を実行する（ＳＴ１０８）。
　学習データの収集処理では、撮影者が対象物の撮影を行うたびに、上述のような一連の処理が繰り返し実行される。また、図６および図７について後述するように、学習データの収集処理では、上記ステップＳＴ１０５、ＳＴ１０６、及びＳＴ１０８等に関し、表示装置５５では撮影者に対する画面表示が実行される。
　なお、ステップＳＴ１０２の撮影データ登録処理については、ステップＳＴ１０３の前に実行する必要はなく、例えば、ステップＳＴ１０４において撮影画像が学習データに適すると判定された（Ｙｅｓ）後や、ＳＴ１０８の後に実行するようにしてもよい。これらの場合、ＳＴ１０６の時点では学習データはまだ登録されていないため、ＳＴ１０６における学習データの登録解除の処理は省略される。また、ステップＳＴ１０８における処理は、上述のステップＳＴ１０６の場合と同様に、表示装置５５に情報を表示する構成には限定されない。
　このように、学習データ収集システム１では、画像認識に利用される学習データの収集において、学習データに適さないと判定した撮影画像について撮影者に再撮影を促すため、学習に適さない不適切な撮影画像の収集を抑制することができる。
　図６は、図４に示した学習データの収集処理における撮影者に対する表示装置５５の画面表示の第１の例を示す説明図である。ここでは、学習データの収集処理において、（３）透明な物体に関する判定または（４）複数物体の存在に関する判定に基づき、撮影画像が学習データに適さないと判定された場合の画面表示例を示している。
　上述のように、対象物の撮影開始時（図４中のステップＳＴ１０１参照）には、表示装置５５には図６（Ａ）に示す撮影画面６１が表示されており、その後、撮影画像が学習データに適さないと判定されると（図４中のステップＳＴ１０４（Ｎｏ）参照）、その撮影画面６１から表示が変化し、図４中のステップＳＴ１０５に関し、図６（Ｂ）に示すように、対象物の画像から検知された物体に関して撮影者に確認を促す（撮影者の入力を受け付ける）ためのメッセージを含む報知画面７１が表示される。この報知画面７１には、撮影画像において透明な物体または複数の物体が検知されたために撮影者の確認（透明な物体または複数の物体のいずれかの入力）が必要であることを説明する第１のメッセージ７２が表示される。
　そこで、撮影者は、対象物が複数配置されていることを確認して第１のメッセージ７２における複数物体ボタン７３をクリックすると、図４中のステップＳＴ１０６に関し、図６（Ｃ）に示すように、報知画面７１には、撮影者に対する新たなメッセージ（再撮影の指示）として、発生した事象（ここでは、複数物体を同時に撮影することはできないこと）、及びより適切な状態で（ここでは、配置する物体を１つにして）再撮影を行う必要があることを説明する第２のメッセージ７４が表示される。
　一方、撮影者が、対象物の少なくとも一部が透明であることを確認してメッセージ７２における透明物体ボタン７６をクリックすると、図４中のステップＳＴ１０８に関し、図６（Ｄ）に示すように、報知画面７１には、撮影者に対する新たなメッセージ（再撮影の推奨）として、より適切な状態で（ここでは、対象物の置き方を変えて）再撮影を行うことが好ましいことを説明する第３のメッセージ７７が表示される。
　前述した通り、画像を基に物体の数を判定する場合、一部が透明な物体が検知されたのか、複数の物体が検知されたのか判定することが難しい。一方、複数の物体が検知された場合は、複数の物体の特徴がひとつの物体の特徴として記憶されてしまうことを避けるために再撮影指示を行わなくてはならず、一部透明な物体の場合まで再撮影指示の処理を行うとユーザの負担が大きくなる。そのため、図６では、複数の物体が検知されているのか、一部透明な物体が検知されているのかの判断を受け付けた上で、どちらの物体であるのかに応じて、一部透明な物体が検知されている場合の再撮影推奨の処理を行うのか、複数の物体が検知されている場合の再撮影指示の処理を行うか否かを切り替える動作を例示している。
　なお、図６（Ｂ）に示した報知画面７１（撮影者に確認を促すためのメッセージ）は、対象物の画像から検知された物体に関して撮影者の確認を必要としない場合には省略することができ、その場合、図６（Ａ）から図６（Ｃ）または図６（Ｄ）のように表示が変化する。
　また、ステップＳＴ１０５、ＳＴ１０６、及びＳＴ１０８等における処理は、上述のように表示装置５５に所定の情報を含む画面を表示する構成に限らず、例えば、撮影装置２や学習データ収集装置３に設けたスピーカからの音声出力により再撮影が必要であることを撮影者に知らせることも可能である。或いは、撮影装置２や学習データ収集装置３に設けた警告ランプの動作状態（点灯、点滅など）によって、再撮影が必要であることを撮影者に知らせてもよい。
　図７は、図４に示した学習データの収集処理における撮影者に対する表示装置５５の画面表示の第２の例を示す説明図である。ここでは、学習データの収集処理において、（１）類似物体の存在に関する判定、（５）照明条件に関する判定、及び（７）低照度に関する判定に基づき、それぞれ撮影画像が学習データに適さないと判定された場合の画面表示例を示している。
　図６の場合と同様に、対象物の撮影開始時には、表示装置５５には図７（Ａ）に示す撮影画面６１が表示されており、その後、撮影画像が学習データに適さないと判定されると、その撮影画面６１から表示が変化し、図７（Ｂ）－図７（Ｄ）のいずれかに示すように、撮影者に再撮影を促すためのメッセージを含む報知画面８１が表示される。
　図６（Ｂ）では、上述の（１）類似物体の存在に関する判定に基づき、撮影画像が学習データに適さないと判定された場合の画面表示例を示しており、報知画面８１には、撮影者に再撮影を促すためのメッセージ（再撮影の推奨）として、発生した事象（ここでは、対象物と類似する他の異なる物体が存在する（すなわち、他の異なる物体を学習済みである）こと）、及びより適切な状態で（例えば、対象物の配置を変えた後に）同じ対象物の再撮影を行うことが好ましいことを説明する第４のメッセージ８２が表示される。
　また、図６（Ｃ）では、上述の（５）照明条件に関する判定に基づき、撮影画像が学習データに適さないと判定された（ここでは、撮影画像における白とび領域の割合（または面積）が予め定めた閾値よりも小さい）場合の画面表示例を示しており、報知画面８１には、撮影者に再撮影を促すためのメッセージ（再撮影の推奨）として、発生した事象（ここでは、撮影画像中の物体に白とびしている部分が存在すること）、及びより適切な状態で（ここでは、照明条件を変えて）対象物の再撮影を行うことが好ましいことを説明する第５のメッセージ８３が表示される。
　なお、図６（Ｃ）関し、上述の（５）照明条件に関する判定において、撮影画像における白とび領域の割合（または面積）が予め定めた閾値よりも大きい場合には、報知画面８１には、撮影者に再撮影を促すためのメッセージ（再撮影の指示）として、対象物の再撮影を必要があることを説明するメッセージが表示される。
　また、図６（Ｄ）では、上述の（７）低照度に関する判定に基づき、撮影画像が学習データに適さないと判定された場合の画面表示例を示しており、報知画面８１には、撮影者に再撮影を促すためのメッセージ（再撮影の推奨）として、発生した事象（ここでは、撮影画像の明るさが不十分であること）、及びより適切な状態で（ここでは、照明条件を変えて）対象物の再撮影を行うことが好ましいことを説明する第６のメッセージ８４が表示される。
　以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る学習データ収集装置、学習データ収集システム、及び学習データ収集方法は、必ずしも全てが必須ではなく、当業者であれば、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
　上述した実施形態では、撮影装置２は、各カメラ５Ａ－５Ｃを固定的した向きで備えているが、１つのカメラを可動式にすることで同様の撮影画像を得ることもできる。
　上述した実施形態では、各判定において学習データの記憶を許容または禁止のいずれかをそれぞれ対応付けていたが、これに限られるものではない。例えば、学習データの質を重視するのであれば、一律で学習データの記憶を禁止してもよい。ただし、上述した実施形態では、学習結果の改善に寄与しない例では学習データの記憶を禁止し、他の例では学習データの記憶を許容している。例えば、（４）複数物体の存在に関する判定において学習データを記憶してしまうと、物体の組合せの特徴がひとつの物体の特徴として学習されてしまうため、その結果を反映して構築される学習済みモデルでは当該ひとつの物体の認識精度が低下してしまう。また、（５）照明条件（反射）に関する判定における白とび領域の割合（または面積）が規定の閾値を以上である場合は、学習させるべき特徴自体が抽出できないため、この学習データを記憶しても学習結果の向上には貢献できない。
　本開示に係る学習データ収集装置、学習データ収集システム、及び学習データ収集方法は、画像認識に利用される学習データの収集において、学習に適さない不適切な撮影画像の収集を抑制することを可能とし、画像認識に利用される学習データを収集する学習データ収集装置、学習データ収集システム、及び学習データ収集方法などとして有用である。
１　　　　：学習データ収集システム
２　　　　：撮影装置
３　　　　：学習データ収集装置
４　　　　：識別装置
５Ａ－５Ｃ：カメラ
６　　　　：対象物
１１　　　：画像取得部
１２　　　：画像判定部
１３　　　：報知処理部
２１　　　：識別モデル
２２　　　：記憶部
２３　　　：識別モデル学習部
２４　　　：画像識別部
４１　　　：回転台
４６－４８：撮影画像
５１　　　：プロセッサ
５４　　　：記憶装置
５５　　　：表示装置
５６　　　：入力装置
５７　　　：通信モジュール
６１　　　：撮影画面
６２　　　：撮影ボタン
６３　　　：登録ボタン
７１、８１：報知画面
７２　　　：第１のメッセージ
７４　　　：第２のメッセージ
７７　　　：第３のメッセージ
８２　　　：第４のメッセージ
８３　　　：第５のメッセージ
８４　　　：第６のメッセージ

Claims (17)

  1. 　撮影者が対象物の撮影に用いる撮影装置によって生成された撮影画像を、画像認識に利用される学習データとして収集する学習データ収集装置であって、
    　前記学習データを収集する処理を実行するプロセッサを備え、
    　前記プロセッサは、
    　前記撮影画像を前記撮影装置から取得し、
    　前記撮影画像が前記学習データに適するか否かを判定し、
    　前記学習データに適さないと判定した前記撮影画像について、前記撮影者に再撮影を促すための報知処理を実行することを特徴とする学習データ収集装置。
  2. 　前記プロセッサによる制御に基づき情報を表示する表示装置を更に備え、
    　前記プロセッサは、前記報知処理として、前記撮影者に再撮影を促すための報知画面を前記表示装置に表示することを特徴とする請求項１に記載の学習データ収集装置。
  3. 　前記プロセッサは、
    　複数の判定基準を用いて前記各撮影画像が前記学習データに適するか否かを判定し、
    　前記判定に用いられた前記判定基準の種類に応じて、複数の異なる態様の前記報知処理を実行することを特徴とする請求項１または請求項２に記載の学習データ収集装置。
  4. 　前記プロセッサによる制御に基づきデータを記憶する記憶装置を更に備え、
    　前記報知処理には、前記複数の異なる態様として、前記記憶装置への前記撮影画像に関する前記学習データの記憶が禁止される再撮影指示に関する処理と、前記記憶装置への前記撮影画像に関する前記学習データの記憶が許容される再撮影推奨に関する処理と、が含まれることを特徴とする請求項３に記載の学習データ収集装置。
  5. 　前記プロセッサは、
    　前記撮影画像が、複数の対象物を含むと判定した場合、前記対象物が複数の物体であるか透明な部分を含む物体であるかを示す入力を受け付け、
    　前記複数の物体である旨の入力を受け付けた場合、前記再撮影指示に関する処理を行い、
    　前記透明な部分を含む物体である旨の入力を受け付けた場合、前記再撮影推奨に関する処理を行うことを特徴とする請求項４に記載の学習データ収集装置。
  6. 　前記プロセッサは、
    　前記各撮影画像が前記学習データに適するか否かを判定する前に、前記撮影装置から取得した前記撮影画像を前記学習データとして前記記憶装置に記憶し、
    　前記学習データに適さないと判定した前記撮影画像に関して前記再撮影指示に関する処理を実行する場合には、当該撮影画像の前記学習データとしての登録を解除することを特徴とする請求項４に記載の学習データ収集装置。
  7. 　前記プロセッサは、
    　前記対象物を互いに異なる向きから同時に撮影した前記撮影画像のセットを前記撮影装置から取得し、
    　前記撮影画像のセットに前記学習データに適さないと判定した少なくとも１つの前記撮影画像が含まれる場合には、前記撮影者に対し、当該撮影画像のセットについて前記再撮影を促すための報知処理を実行することを特徴とする請求項１から請求項６のいずれかに記載の学習データ収集装置。
  8. 　前記プロセッサは、
    　前記学習データとして登録された前記撮影画像における前記対象物を、予め準備された学習済みモデルを用いて認識した結果を取得し、
    　前記認識結果に基づき、前記対象物と類似する他の異なる物体を学習済みであると判定した場合、当該撮影画像が前記学習データに適さないと判定することを特徴とする請求項１から請求項７のいずれかに記載の学習データ収集装置。
  9. 　請求項１から請求項８のいずれかに記載の前記学習データ収集装置および前記撮影装置を備えたことを特徴とする学習データ収集システム。
  10. 　撮影者が対象物の撮影に用いる撮影装置によって生成された撮影画像を、画像認識に利用される学習データとして収集する学習データ収集装置による学習データ収集方法であって、
    　前記撮影画像を前記撮影装置から取得し、
    　前記撮影画像が前記学習データに適するか否かを判定し、
    　前記学習データに適さないと判定した前記撮影画像を前記撮影装置から取得した場合には、前記撮影者に対し、当該撮影画像について再撮影を促すための報知処理を実行することを特徴とする学習データ収集方法。
  11. 　前記報知処理として、前記撮影者に再撮影を促すための報知画面を表示装置に表示することを特徴とする請求項１０に記載の学習データ収集方法。
  12. 　複数の判定基準を用いて前記各撮影画像が前記学習データに適するか否かを判定し、
    　前記判定に用いられた前記判定基準の種類に応じて、複数の異なる態様の前記報知処理を実行することを特徴とする請求項１０または請求項１１に記載の学習データ収集方法。
  13. 　前記報知処理には、前記複数の異なる態様として、記憶装置への前記学習データの記憶が禁止される再撮影指示に関する処理と、記憶装置への前記学習データの記憶が許容される再撮影推奨に関する処理と、が含まれることを特徴とする請求項１２に記載の学習データ収集方法。
  14. 　前記撮影画像が、複数の対象物を含むと判定した場合、前記対象物が複数の物体であるか透明な部分を含む物体であるかを示す入力を受け付け、
    　前記複数の物体である旨の入力を受け付けた場合、前記再撮影指示に関する処理を行い、
    　前記透明な部分を含む物体である旨の入力を受け付けた場合、前記再撮影推奨に関する処理を行うことを特徴とする請求項１３に記載の学習データ収集方法。
  15. 　前記各撮影画像が前記学習データに適するか否かを判定する前に、前記撮影装置から取得した前記撮影画像を前記学習データとして前記記憶装置に記憶し、
    　前記学習データに適さないと判定した前記撮影画像に関して前記再撮影指示に関する処理を実行する場合には、当該撮影画像の前記学習データとして登録を解除することを特徴とする請求項１４に記載の学習データ収集方法。
  16. 　前記学習データとして登録された前記撮影画像における前記対象物を、予め準備された学習済みモデルを用いて認識した結果を取得し、
    　前記認識結果に基づき、前記対象物と同一または類似の物体を学習済みであると判定した場合、当該撮影画像が前記学習データに適さないと判定することを特徴とする請求項１０から請求項１５のいずれかに記載の学習データ収集方法。
  17. 　予め準備された学習済みモデルを用いて、前記学習データとして登録された前記撮影画像における前記対象物を認識し、当該対象物と類似する他の異なる物体を学習済みであると判定した場合、当該撮影画像が前記学習データに適さないと判定することを特徴とする請求項１０から請求項１６のいずれかに記載の学習データ収集方法。
PCT/JP2019/017236 2018-07-02 2019-04-23 学習データ収集装置、学習データ収集システム、及び学習データ収集方法 Ceased WO2020008710A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19829839.0A EP3819863A4 (en) 2018-07-02 2019-04-23 LEARNING DATA COLLECTION DEVICE, LEARNING DATA COLLECTION SYSTEM, AND LEARNING DATA COLLECTION METHOD
CN201980043669.XA CN112334943A (zh) 2018-07-02 2019-04-23 学习数据收集装置、学习数据收集系统以及学习数据收集方法
US17/256,871 US11579904B2 (en) 2018-07-02 2019-04-23 Learning data collection device, learning data collection system, and learning data collection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018126399A JP7122625B2 (ja) 2018-07-02 2018-07-02 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP2018-126399 2018-07-02

Publications (1)

Publication Number Publication Date
WO2020008710A1 true WO2020008710A1 (ja) 2020-01-09

Family

ID=69060547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017236 Ceased WO2020008710A1 (ja) 2018-07-02 2019-04-23 学習データ収集装置、学習データ収集システム、及び学習データ収集方法

Country Status (5)

Country Link
US (1) US11579904B2 (ja)
EP (1) EP3819863A4 (ja)
JP (1) JP7122625B2 (ja)
CN (1) CN112334943A (ja)
WO (1) WO2020008710A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022003973A1 (ja) * 2020-07-03 2022-01-06 株式会社ソニー・インタラクティブエンタテインメント 訓練データ選別装置、訓練データ選別方法及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238610B2 (ja) * 2019-06-04 2023-03-14 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6800453B1 (ja) * 2020-05-07 2020-12-16 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
US20230222685A1 (en) * 2020-06-02 2023-07-13 Nec Corporation Processing apparatus, processing method, and non-transitory storage medium
JP7241718B2 (ja) 2020-06-22 2023-03-17 株式会社日立ソリューションズ データ収集システム
WO2022014220A1 (ja) * 2020-07-13 2022-01-20 古野電気株式会社 学習用データ収集システム、学習用データ収集方法、データ収集装置、プログラム、学習済みモデルの生成方法、学習装置、及び推定装置
US11272097B2 (en) * 2020-07-30 2022-03-08 Steven Brian Demers Aesthetic learning methods and apparatus for automating image capture device controls
KR102249635B1 (ko) * 2020-11-06 2021-05-10 주식회사 웨이센 Ai 예측 모델을 이용한 2개의 예측 결과의 학습 데이터 추가 방법
JP7076521B1 (ja) * 2020-11-27 2022-05-27 楽天グループ株式会社 情報処理システム、情報処理方法およびプログラム
CN117356100A (zh) * 2021-05-20 2024-01-05 松下电器（美国）知识产权公司 信息处理系统以及信息处理方法
JP7666266B2 (ja) * 2021-09-24 2025-04-22 トヨタ自動車株式会社 機械学習システム、学習データ収集方法及び学習データ収集プログラム
JP7626243B2 (ja) * 2021-10-14 2025-02-04 日本電気株式会社 データセット作成装置、データセット作成方法、及び、プログラム
KR102794417B1 (ko) * 2021-12-30 2025-04-15 최재유 구강 이미지 학습 및 분류 장치 및 방법
WO2023224930A1 (en) * 2022-05-16 2023-11-23 Gemiini Educational Systems, Inc. Mobile application for generating and viewing video clips in different languages
CN119317938A (zh) * 2022-06-21 2025-01-14 株式会社日立高新技术 不适合检测装置以及不适合检测方法
US12332935B2 (en) * 2022-07-11 2025-06-17 Adobe Inc. Multichannel content recommendation system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168641A (ja) * 2011-02-10 2012-09-06 Nikon Corp 画像判断装置、画像処理装置、カメラ及び画像判断プログラム
JP2012227653A (ja) * 2011-04-18 2012-11-15 Nikon Corp 撮像装置及び撮像方法
JP2013146844A (ja) * 2012-01-23 2013-08-01 Seiko Epson Corp 教示画像生成装置、教示画像生成方法および教示画像生成プログラムならびにロボット制御装置、ロボット制御方法およびロボット制御プログラム
JP2014178957A (ja) 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
WO2017109854A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
JP2018045390A (ja) * 2016-09-13 2018-03-22 東芝テック株式会社 物品読取装置およびプログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100486A1 (en) * 2001-02-07 2004-05-27 Andrea Flamini Method and system for image editing using a limited input device in a video environment
JP4443270B2 (ja) 2003-03-12 2010-03-31 株式会社日立ハイテクノロジーズ 欠陥分類方法
JP3879719B2 (ja) * 2003-08-22 2007-02-14 松下電器産業株式会社 画像入力装置およびそれを用いた認証装置
CN101431611A (zh) * 2004-11-30 2009-05-13 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序以及图像文件格式
WO2008012905A1 (en) * 2006-07-27 2008-01-31 Panasonic Corporation Authentication device and method of displaying image for authentication
WO2008133237A1 (ja) * 2007-04-23 2008-11-06 Sharp Kabushiki Kaisha 撮像装置、その制御プログラムを記録したコンピュータ読取り可能な記録媒体、ならびに制御方法
US8740076B2 (en) * 2012-07-11 2014-06-03 Linksmart Technologies Pvt. Ltd. Label for enabling verification of an object
CN104041016B (zh) * 2012-02-06 2017-05-17 松下电器产业株式会社 服务器装置及系统控制方法
JP5870733B2 (ja) * 2012-02-14 2016-03-01 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2014183004A1 (en) * 2013-05-10 2014-11-13 Robert Bosch Gmbh System and method for object and event identification using multiple cameras
JP6205941B2 (ja) 2013-07-24 2017-10-04 富士通株式会社 撮像プログラム、撮像方法および情報処理装置
US9158996B2 (en) 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
JP6471934B2 (ja) * 2014-06-12 2019-02-20 パナソニックＩｐマネジメント株式会社 画像認識方法、カメラシステム
CA3180239A1 (en) * 2014-09-08 2016-03-17 Becton, Dickinson And Company Enhanced platen for pharmaceutical compounding
US9626582B2 (en) * 2014-12-30 2017-04-18 Kodak Alaris Inc. System and method for measuring mobile document image quality
JP6402653B2 (ja) 2015-03-05 2018-10-10 オムロン株式会社 物体認識装置、物体認識方法、およびプログラム
US9715508B1 (en) * 2016-03-28 2017-07-25 Cogniac, Corp. Dynamic adaptation of feature identification and annotation
CN106295567B (zh) * 2016-08-10 2019-04-12 腾讯科技（深圳）有限公司 一种关键点的定位方法及终端
JP2018041261A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置及びプログラム
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
JP7252122B2 (ja) * 2016-11-23 2023-04-04 コーニンクレッカ フィリップス エヌ ヴェ 医療撮像装置、及び、画像取得方法を行うように少なくとも１つのプロセッサを制御するためのソフトウェアを担う非一時的コンピュータ可読媒体
RU2634195C1 (ru) * 2016-12-06 2017-10-24 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и устройство для определения пригодности документа для оптического распознавания символов (ocr)
US10713540B2 (en) * 2017-03-07 2020-07-14 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
CN106960416B (zh) * 2017-03-20 2019-05-10 武汉大学 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
JP6849824B2 (ja) * 2017-05-31 2021-03-31 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
US11250541B2 (en) * 2017-09-08 2022-02-15 Apple Inc. Camera-based transparent display
US10817997B2 (en) * 2017-09-11 2020-10-27 Mx Technologies, Inc. Propensity model based optimization
WO2019122271A1 (en) * 2017-12-20 2019-06-27 Alpvision S.A. Authentication machine learning from multiple digital representations
CN108665441B (zh) * 2018-03-30 2019-09-17 北京三快在线科技有限公司 一种近似重复图像检测方法及装置，电子设备
US11321618B2 (en) * 2018-04-25 2022-05-03 Om Digital Solutions Corporation Learning device, image pickup apparatus, image processing device, learning method, non-transient computer-readable recording medium for recording learning program, display control method and inference model manufacturing method
US20190341150A1 (en) * 2018-05-01 2019-11-07 Google Llc Automated Radiographic Diagnosis Using a Mobile Device
US11250321B2 (en) * 2018-05-08 2022-02-15 Microsoft Technology Licensing, Llc Immersive feedback loop for improving AI

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012168641A (ja) * 2011-02-10 2012-09-06 Nikon Corp 画像判断装置、画像処理装置、カメラ及び画像判断プログラム
JP2012227653A (ja) * 2011-04-18 2012-11-15 Nikon Corp 撮像装置及び撮像方法
JP2013146844A (ja) * 2012-01-23 2013-08-01 Seiko Epson Corp 教示画像生成装置、教示画像生成方法および教示画像生成プログラムならびにロボット制御装置、ロボット制御方法およびロボット制御プログラム
JP2014178957A (ja) 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
WO2017109854A1 (ja) * 2015-12-22 2017-06-29 オリンパス株式会社 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
JP2018045390A (ja) * 2016-09-13 2018-03-22 東芝テック株式会社 物品読取装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3819863A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022003973A1 (ja) * 2020-07-03 2022-01-06 株式会社ソニー・インタラクティブエンタテインメント 訓練データ選別装置、訓練データ選別方法及びプログラム
JPWO2022003973A1 (ja) * 2020-07-03 2022-01-06
JP7449385B2 (ja) 2020-07-03 2024-03-13 株式会社ソニー・インタラクティブエンタテインメント 訓練データ選別装置、訓練データ選別方法及びプログラム

Also Published As

Publication number Publication date
JP7122625B2 (ja) 2022-08-22
CN112334943A (zh) 2021-02-05
EP3819863A1 (en) 2021-05-12
US20210264210A1 (en) 2021-08-26
EP3819863A4 (en) 2021-08-25
US11579904B2 (en) 2023-02-14
JP2020008904A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
WO2020008710A1 (ja) 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
JP5975099B2 (ja) 情報処理装置、システム、および記憶媒体
CN108600610A (zh) 拍摄辅助方法和装置
JP2013214858A (ja) 撮像装置、撮像装置の制御方法およびコンピュータプログラム
WO2020008711A1 (ja) 学習装置、学習システム、及び学習方法
CN105847666B (zh) 摄像设备及其控制方法
JPWO2017047012A1 (ja) 撮像装置および撮像装置とサーバとを含むシステム
US20150116471A1 (en) Method, apparatus and storage medium for passerby detection
WO2017020382A1 (zh) 拍照控制方法、拍照控制装置及终端
JP4577275B2 (ja) 撮像装置、画像記録方法、および、プログラム
CN110581950A (zh) 相机、选择相机设置的系统和方法
CN104394329B (zh) 一种拍照方法、装置及移动终端
JP6270578B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
WO2019084756A1 (zh) 一种图像处理方法、装置及飞行器
CN105049714B (zh) 一种人物图像预览方法和装置
WO2015192579A1 (zh) 污垢检测方法及装置
TWI697838B (zh) 拍照功能啟用方法和裝置
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
JP5820210B2 (ja) 撮像装置、撮像装置の制御方法
JP2015019376A (ja) 撮影制御システム及びその制御方法
JP6594666B2 (ja) 撮像補助装置、撮像装置および撮像補助方法
JP2009267468A (ja) 撮影装置
CN103647903A (zh) 一种移动终端拍照方法及系统
CN103929590A (zh) 提供拍摄设置信息的方法及设备
WO2019205566A1 (zh) 一种显示图片的方法和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19829839

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019829839

Country of ref document: EP

Effective date: 20210202

WWW Wipo information: withdrawn in national office

Ref document number: 2019829839

Country of ref document: EP