WO2018173819A1 - 画像認識装置 - Google Patents

画像認識装置 Download PDF

Info

Publication number
WO2018173819A1
WO2018173819A1 PCT/JP2018/009377 JP2018009377W WO2018173819A1 WO 2018173819 A1 WO2018173819 A1 WO 2018173819A1 JP 2018009377 W JP2018009377 W JP 2018009377W WO 2018173819 A1 WO2018173819 A1 WO 2018173819A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
candidate
processing unit
distance
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/009377
Other languages
English (en)
French (fr)
Inventor
繁 齋藤
信三 香山
征人 竹本
基範 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201880019314.2A priority Critical patent/CN110431562B/zh
Priority to US16/494,742 priority patent/US10984221B2/en
Priority to EP18772141.0A priority patent/EP3605454A4/en
Publication of WO2018173819A1 publication Critical patent/WO2018173819A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • This disclosure relates to an image recognition device used for an in-vehicle camera or the like.
  • an object detection system using an imaging device such as a camera has been developed in order to determine the presence or absence of a traveling obstacle in a moving body such as a traveling vehicle.
  • Patent Literature 1 after a candidate object of an object is simply detected from an image captured by a vehicle-mounted camera or the like by a terminal device mounted on a vehicle or the like, only an image including the candidate object is transmitted to a server, On the server side, an object detection technique for recognizing an object by examining a received image is disclosed. According to this technology, even when the brightness of an image in a video changes, the background in the image and the object in the background are accurately separated to collect the image of the detected object efficiently, and the terminal device and the server The amount of data communication between them can be suppressed. Patent Document 1 discloses recognizing an object by machine learning.
  • Patent Document 2 the external shape of an object is photographed using a stereo camera, and when measuring the distance from the object, a plurality of points are designated in the detected object, A technique for determining whether a target object is a three-dimensional object by comparing a distance with a camera and generating a left-eye image and a right-eye image in a three-dimensional display is disclosed.
  • the distance difference varies depending on which point of the object is specified, so there may be almost no distance difference depending on the specified location.
  • the object is a three-dimensional object. There is a risk that the accuracy of determining whether or not the object is low.
  • the present disclosure has been made in view of such a point, and the purpose thereof is to extract a candidate object such as a person or a car from a captured image and quickly determine whether the extracted candidate object is an actual person or a car. It is another object of the present invention to provide an image recognition apparatus that can reliably identify an image.
  • an image recognition apparatus includes a light source that emits modulated light that is temporally intensity-modulated, and reflected light from a subject to be irradiated with the modulated light.
  • a light receiving element that receives light
  • a luminance image generation unit that generates a luminance image based on an image signal of the photographing object output from the light receiving element, and a distance based on the image signal of the photographing object output from the light receiving element
  • a distance image generation unit that generates an image and a target recognition processing unit that extracts a target candidate from the luminance image using a machine learning database in which image data for identifying a feature amount of the target is stored
  • a three-dimensional object discrimination processing unit that discriminates whether the target candidate extracted by the target object recognition processing unit is a three-dimensional object using the distance image, and the three-dimensional object discrimination processing unit Target candidate If it is determined not to be a three-dimensional object, in the machine learning database, the object candidates extracted from the luminance image
  • the three-dimensional object determination processing unit calculates the distance between the target object extracted by the target object recognition processing unit and the light receiving element on a plurality of lines in a distance image of the target object candidate, and the plurality of lines The average value and variation of the distance in one line is calculated, and based on the ratio of the pixels whose difference with respect to the average value is equal to or larger than a predetermined value with respect to the variation to the number of pixels in the one line, It may be determined whether the object candidate is a three-dimensional object.
  • the three-dimensional object determination processing unit is configured such that when a pixel whose difference from the average value is twice or more than the variation occupies 10% or more of the number of pixels of the one line, the target object is a three-dimensional object. It may be determined that there is.
  • the wavelength of the modulated light emitted from the light source may be in the range of 800 nm to 1100 nm.
  • the luminance image and the distance image of the object can be acquired without affecting the human vision.
  • the image recognition apparatus it is possible to extract an object candidate from a shooting object and reliably identify whether it is an actual object. Further, by reflecting the determination result as to whether the object candidate is a three-dimensional object in the machine learning database, it is possible to improve the object identification accuracy.
  • FIG. 1 is a block diagram illustrating a configuration example of an image recognition apparatus according to an embodiment and the periphery thereof.
  • FIG. 2 is an example of a result of extracting human candidates by luminance image analysis.
  • FIG. 3A is an example of a three-dimensional object identification result by distance image analysis.
  • FIG. 3B is another example of a three-dimensional object identification result by distance image analysis.
  • FIG. 4 is an example of a flowchart illustrating a person identification method using the image recognition apparatus according to the embodiment.
  • each of the embodiments described below shows a preferred specific example of the present invention.
  • the numerical values, shapes, materials, constituent elements, arrangement positions and connecting forms of the constituent elements shown in the following embodiments are merely examples, and are not intended to limit the present invention.
  • constituent elements that are not described in the independent claims showing the highest concept of the present invention will be described as optional constituent elements that constitute a more preferable embodiment.
  • each figure is a schematic diagram and does not necessarily represent a strict dimension.
  • FIG. 1 is a block diagram illustrating a configuration example of an image recognition apparatus 10 according to the embodiment and the periphery thereof.
  • FIG. 2 shows an example of a person candidate extraction result by luminance image analysis.
  • 3A and 3B show an example of a three-dimensional object identification result by distance image analysis according to the present embodiment.
  • the luminance image displays only the outline of the human candidate.
  • FIG. 1 includes a light source 1, a light receiving element 2, a luminance image generation unit 3, and a distance image generation unit 4.
  • FIG. 1 also shows a machine learning database 7, a display unit 8, and a photographing object 9 around the image recognition device 10.
  • the light source 1 is composed of a laser or LED using near infrared light having a wavelength in the range of 800 nm to 1100 nm.
  • the reason for using light in this wavelength band is that the luminance image and the distance image of the photographing object 9 can be acquired without affecting human vision.
  • the emitted light emitted from the light source 1 is temporally intensity-modulated.
  • the pulse width of the emitted light emitted from the light source 1 can be controlled in the range of several nanoseconds to several hundred nanoseconds, and is determined by the necessary measurement distance range, distance accuracy, frame rate, and the like.
  • the light receiving element 2 has a photoelectric conversion unit having a plurality of pixels arranged two-dimensionally, and each pixel includes a photodiode mainly made of a Si-based material.
  • the light receiving element 2 is a semiconductor element in which a photoelectric conversion unit and a circuit unit that transfers or processes a signal from the pixel are integrated.
  • the imaging lens Through the imaging lens, the light emitted from the light source 1 is imaged on the light receiving surface of the light receiving element 2 by reflecting the reflected light reflected from the object 9 so that the optical information from the photographing object 9 is received by the light receiving element 2. Obtainable.
  • the image recognition device 10 determines whether or not the photographed photographing object 9 is a candidate object based on the luminance image obtained by the luminance image generation unit 3, and the photographing object 9 determined as the candidate object.
  • the luminance image generation unit 3 generates a luminance image from the received light signal intensity reflected by the photographing object 9 and received by the light receiving element 2.
  • the contrast of the subject can be obtained from the luminance image.
  • the brightness image is transferred to the object recognition processing unit 5 to determine whether the photographing object 9 is a candidate object.
  • the distance image generation unit 4 generates a distance image based on the arrival time of the light reception signal reflected by the photographing object 9 and received by the light receiving element 2. Specifically, by measuring the time until the reflected light from the object 9 reaches the light receiving element 2 on the basis of the light emission timing from the light source 1, and dividing this time by the speed of light, The distance from the light receiving element 2 to the subject 9 can be measured. This method is called a Time-of-Flight (TOF) method and is generally known. A distance image is obtained by plotting the measured distance two-dimensionally for each pixel of the light receiving element 2.
  • TOF Time-of-Flight
  • the object recognition processing unit 5 uses the luminance image generated by the luminance image generation unit 3 to identify whether or not the photographed object 9 is an object candidate, and extracts the object candidate.
  • the target object candidate is extracted as image data of a portion in the luminance image corresponding to the target object candidate.
  • identification of person candidates and the like will be described in the following description.
  • identifying a person candidate a feature amount is extracted from the luminance image of the shooting object 9 by various methods and determined, and whether or not the person candidate is a person candidate is mainly identified by whether or not the outer shape of the shooting object 9 corresponds to a person. Is done.
  • a classifier capable of identifying a human candidate by machine learning is generated. It is necessary to.
  • Various methods have been proposed for calculating these feature values and generating classifiers (for example, HOG (Histograms of Oriented Gradients) feature values, SVM (Support Vector Machine) classifiers, etc.), but there is no particular limitation here. .
  • HOG Hemograms of Oriented Gradients
  • SVM Small Vector Machine
  • the three-dimensional object determination processing unit 6 determines whether or not the person candidate extracted by the object recognition processing unit 5 is a three-dimensional object. In some cases, it is not possible to determine whether the candidate person extracted by the object recognition processing unit 5 is an actual person or a pseudo-picture in a poster / signboard. For example, in FIG. 2, an image (left corner image) extracted as a human candidate from the left luminance image shows a uniform plate-like contour in the right distance image, and this image is not an actual person. It can be seen that the object is a flat object such as a poster or a signboard.
  • the three-dimensional object determination processing unit 6 determines whether the person candidate extracted based on the luminance image is a three-dimensional object, and the person candidate is Judging whether it is an actual person. Further, this result can be displayed on the display unit 8 and detected.
  • the machine learning DB 7 stores several thousand to several tens of thousands of image data.
  • the image data is read by the object recognition processing unit 5 to identify the feature amount of a person. It is used for generator generation.
  • the display unit 8 is, for example, a liquid crystal display or an organic EL display, and displays a luminance image, a distance image, a result of image processing of these, and the like.
  • the solid object discrimination processing unit 6 scans the distance image obtained by the distance image generation unit 4 in a horizontal direction and compares the distances. Here, scanning is performed so that the lines are separated at a predetermined interval. If the distance image includes a three-dimensional object as shown in FIG. 3A, the distance distribution does not overlap in the plurality of lines, but the distance image is a flat object such as wallpaper as shown in FIG. 3B. When the photograph is taken, the distance distributions coincide in the plurality of lines.
  • the photographing object 9 is a three-dimensional object is calculated by calculating the average value and the variation of the measurement distance in one line, and the pixel whose difference with respect to the average value is equal to or larger than a predetermined value with respect to the above variation. Is determined based on the ratio of the number of pixels in the line to the number of pixels. In the present embodiment, the average and variation of the measurement distance in one line are obtained, and the number of pixels whose difference from the average is twice or more the above variation is 10% of the number of pixels in one scanned line. When it occupies the above, it is determined that the photographing object 9 is a three-dimensional object.
  • the criterion for determining whether or not the photographing object 9 is a three-dimensional object is not particularly limited to this.
  • the interval between lines to be scanned, the number of pixels on one line, and the photographing of the photographing object 9 Can be appropriately changed depending on whether or not is performed by a light source and a light receiving element provided on the moving body.
  • the discrimination result in the three-dimensional object discrimination processing unit 6 can be reflected in the machine learning DB 7 to further improve the discrimination accuracy as to whether or not a person is included in the photographed image.
  • 3A and 3B show a method of calculating the distance at each point by scanning the distance image in the horizontal direction.
  • the present invention is not limited to this, and for example, scanning in the vertical direction is performed. The distance may be calculated.
  • FIG. 4 is an example of a flowchart showing a person identification method using the image recognition apparatus according to the embodiment.
  • the object 9 is irradiated with intensity-modulated light from the light source 1 (step S1), the reflected light reflected by the object 9 is received by the light receiving element 2, and the object 9 is imaged. (Step S2).
  • the image signal of the shooting target 9 output from the light receiving element 2 is sent to the luminance image generation unit 3 and the distance image generation unit 4 to generate a luminance image and a distance image of the shooting target 9 respectively (step S3). ).
  • the generated luminance image is sent from the luminance image generating unit 3 to the object recognition processing unit 5. Further, the machine learning DB 7 is accessed from the object recognition processing unit 5 (step S4). Based on the image data stored in the machine learning DB 7, a feature quantity for identifying whether or not the person is a person is extracted, and a discriminator is generated in the object recognition processing unit 5 (step S5). Using these feature quantities and classifiers, it is recognized whether or not the subject 9 is a human candidate (step S6).
  • the three-dimensional object discrimination processing unit 6 performs a plurality of horizontal or vertical pixel line scans of the corresponding distance image to obtain a distance distribution at a plurality of measurement points. Calculate (step S7). Based on this distance distribution, the three-dimensional object determination processing unit 6 determines whether or not the extracted person candidate is a three-dimensional object (step S8). This discrimination method is performed in the same manner as described above with reference to FIGS. 3A and 3B. If the extracted person candidate is a three-dimensional object, the person candidate is assumed to be an actual person, and for example, the image of the photographing object 9 is stored in the machine learning DB 7 (step S8), and photographing is continued again. Is done.
  • step S6 if the subject 9 is not a person candidate, photographing is continued again.
  • step S7 if it is determined in step S7 that the human candidate is not a three-dimensional object, the image data extracted as the human candidate is disabled in the machine learning DB 7 (step S10), and shooting is continued again.
  • image data extracted as a human candidate is not stored in the machine learning DB 7, or even if it is stored in the machine learning DB 7, a discriminator for identifying a person's feature quantity is generated. Is not used.
  • the object 9 is irradiated with the temporally intensity-modulated light, and the reflected light is photographed to generate the luminance image and the distance image.
  • the outer shape and contrast, and the distance to the light source in the photographing object 9 can be obtained.
  • a candidate for an object such as a person is extracted from a luminance image using the machine learning DB 7, and whether or not the extracted object candidate is a three-dimensional object is determined using a distance image. It can be identified whether the object 9 is an actual object.
  • the image data used for extracting the object candidate is not used as data for extracting the feature amount or the like of the object.
  • the identification speed as to whether or not the photographing object 9 is an actual object.
  • the image data of the object in the sign is not used for object identification. The accuracy and speed of the are improved. Thereby, the misrecognition of a target object can be controlled.
  • the photographing object 9 is a person.
  • the photographing object 9 is a vehicle, a person boarding the vehicle, a specific animal, or the like. May be identified.
  • image data of the machine learning DB 7 used in this case image data of a vehicle, a person on the vehicle, or a specific animal is used.
  • the machine learning DB 7 and / or the display unit 8 may be incorporated in the image recognition apparatus 10.
  • the image recognition apparatus has been described based on the embodiment, but the present disclosure is not limited to the embodiment. As long as it does not deviate from the gist of the present disclosure, various modifications conceived by those skilled in the art have been made in this embodiment, and other forms constructed by arbitrarily combining some of the constituent elements in the embodiments and modifications are also possible. Are included within the scope of this disclosure.
  • the image recognition apparatus can suppress erroneous recognition of an object such as a person, and is useful as an image recognition camera for an in-vehicle camera. It can also be used for monitoring and security.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

画像認識装置（１０）は、受光素子（２）から出力された撮影対象物（９）の画像信号に基づき輝度画像と距離画像とをそれぞれ生成する輝度画像生成部（３）及び距離画像生成部（４）と、機械学習用データベース（７）を利用して、輝度画像から対象物候補を抽出する対象物認識処理部（５）と、抽出された対象物候補が立体物であるかどうかを距離画像を用いて判別する立体物判別処理部（６）と、を備え、対象物候補が立体物ではないと判別された場合、機械学習用データベース（７）において、輝度画像から抽出された対象物候補を、対象物の特徴量を抽出するための画像データとして使用することを禁止する。

Description

画像認識装置
　本開示は車載カメラ等に用いられる画像認識装置に関する。
　従来、走行車両等の移動体において走行障害物の有無等を判別するために、カメラ等の撮像装置を用いた物体検出システムの開発が進められている。
　特許文献１には、車両等に搭載された端末装置により、車載カメラ等で撮影した画像から対象物の候補物体を簡易的に検出した後、この候補物体を含む画像のみをサーバに送信し、サーバ側では受信された画像を精査して対象物を認識する物体検出技術が開示されている。この技術によれば、映像内の画像の明るさが変わる場合でも画像内の背景と背景内の物体を的確に分離して効率よく検出された対象物の画像を収集するとともに、端末装置及びサーバ間におけるデータ通信量を抑制できる。また、特許文献１では、機械学習によって対象物を認識することが開示されている。
　一方、特許文献２には、ステレオカメラを用いて対象物の外形を撮影し、また、対象物との距離を計測するにあたって、検知された対象物において複数点を指定し、指定された点とカメラとの距離を比較することで対象物が立体かどうかを判定し、立体表示の左目用画像及び右目用画像を生成する技術が開示されている。
特開２０１６－２１８７６０号公報 特開２０１３－１６８７２９号公報
　ところで、例えば、特許文献１に開示されるような機械学習による対象物認識において、機械学習用データベース（以下、ＤＢという）に蓄積されるデータ母数が大きい程、生成される認識器の数等が増加するため、認識精度は向上する。一方、処理速度自体は遅くなるため、短時間で走行障害物の有無等を判別するには不利となる場合があった。
　また、特許文献２に開示される構成では、対象物のどの点を指定するかによって距離差が変わるため、指定した箇所によっては距離差がほとんど無い場合があり、この場合には対象物が立体物かどうかの判別精度が低下するというおそれがあった。
　本開示はかかる点に鑑みてなされたもので、その目的は、撮像した画像から人や車等の対象物候補を抽出し、抽出された対象物候補が実際の人や車等かどうかを迅速かつ確実に識別する画像認識装置を提供することにある。
　上記の目的を達成するため、本開示の一態様に係る画像認識装置は、時間的に強度変調された変調光を出射する光源と、該変調光が照射された撮影対象物からの反射光を受光する受光素子と、前記受光素子から出力された前記撮影対象物の画像信号に基づき輝度画像を生成する輝度画像生成部と、前記受光素子から出力された前記撮影対象物の画像信号に基づき距離画像を生成する距離画像生成部と、対象物の特徴量を識別するための画像データが格納された機械学習用データベースを利用して、前記輝度画像から対象物候補を抽出する対象物認識処理部と、前記対象物認識処理部で抽出された前記対象物候補が立体物であるかどうかを前記距離画像を用いて判別する立体物判別処理部と、を備え、前記立体物判別処理部で前記対象物候補が立体物ではないと判別された場合、前記機械学習用データベースにおいて、前記輝度画像から抽出された前記対象物候補を、対象物の特徴量を抽出するための画像データとして使用することを禁止する。
　この構成によれば、輝度画像と距離画像との両方を用いることで、抽出された対象物候補が実際の対象物か、あるいはポスター等に描かれた絵や写真かを確実に識別することができる。また、対象物候補が立体物かどうかの判別結果を機械学習用データベースに反映することで、対象物の識別精度を向上させることができる。
　前記立体物判別処理部は、前記対象物認識処理部で抽出された前記対象物候補と前記受光素子との距離を前記対象物候補の距離画像における複数のライン上で算出し、該複数のラインのうち一のラインにおける距離の平均値及びばらつきを算出し、該平均値に対する差が該ばらつきに対して所定の値以上である画素が、当該一のラインの画素数に占める割合に基づき、前記対象物候補が立体物かどうかを判別してもよい。
　前記立体物判別処理部は、前記平均値に対する差が前記ばらつきに対して２倍以上である画素が、前記一のラインの画素数の１０％以上を占める場合、前記対象物候補が立体物であると判別してもよい。
　また、前記光源から出射される変調光の波長は８００ｎｍから１１００ｎｍの範囲内であってもよい。
　この構成によれば、人の視覚に影響を与えることなく対象物の輝度画像及び距離画像を取得できる。
　本開示に係る画像認識装置によれば、撮影対象物から対象物候補を抽出し、それが実際の対象物かどうかを確実に識別することができる。また、対象物候補が立体物かどうかの判別結果を機械学習用データベースに反映することで、対象物の識別精度を向上させることができる。
図１は、実施の形態に係る画像認識装置の構成例およびその周辺を示すブロック図である。 図２は、輝度画像解析による人物候補の抽出結果の一例である。 図３Ａは、距離画像解析による立体物の識別結果の一例である。 図３Ｂは、距離画像解析による立体物の識別結果の別の一例である。 図４は、実施の形態に係る画像認識装置を用いた人物識別方法を示すフローチャートの一例である。
　以下、本実施形態を図面に基づいて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明する。また、各図は、模式図であり、必ずしも厳密な寸法を表すものではない。
　図１は、実施の形態に係る画像認識装置１０の構成例およびその周辺を示すブロック図である。図２は、輝度画像解析による人物候補の抽出結果の一例を示す。図３Ａ及び図３Ｂは、本実施形態に係る距離画像解析による立体物の識別結果の一例を示す。なお、説明の便宜上、図２及び図３Ａ，３Ｂにおいて輝度画像は人物候補の輪郭のみを表示している。
　図１の画像認識装置１０は、光源１と受光素子２と輝度画像生成部３と距離画像生成部４とを備えている。また、図１には、画像認識装置１０の周辺の機械学習用データベース７、表示部８および撮影対象物９も図示している。
　光源１は、波長が８００ｎｍから１１００ｎｍの範囲にある近赤外光を用いたレーザーあるいはＬＥＤから構成される。この波長帯の光を用いる理由は、人の視覚に影響を与えることなく撮影対象物９の輝度画像及び距離画像を取得できるからである。さらに光源１から出射される出射光は、時間的に強度変調されている。光源１から出射される出射光のパルス幅は数ナノ秒から数百ナノ秒の範囲で制御可能であり、必要な測定距離範囲、距離精度、フレームレート等によって定まる。
　受光素子２は、２次元状に配列された複数の画素を有する光電変換部を有し、画素には主にＳｉ系材料からなるフォトダイオードが含まれる。受光素子２は、光電変換部と上記の画素からの信号を転送あるいは処理する回路部とが集積された半導体素子である。
　撮像レンズを通して、光源１から出射された出射光が撮影対象物９で反射された反射光を受光素子２の受光面に結像することで、撮影対象物９からの光学情報を受光素子２で得ることができる。
　また、画像認識装置１０は、輝度画像生成部３で得られた輝度画像に基づき、撮影された撮影対象物９が対象物候補かどうかを判定し、対象物候補と判定された撮影対象物９の画像を抽出する対象物認識処理部５と、距離画像生成部４で得られた距離画像に基づき、抽出された撮影対象物９が立体物かどうかを判別する立体物判別処理部６と、を有している。
　輝度画像生成部３は、撮影対象物９で反射し、受光素子２で受光された受光信号強度から輝度画像を生成する。輝度画像から被写体のコントラストを得ることができる。この輝度画像を対象物認識処理部５にデータを転送し、撮影対象物９が対象物候補かどうかの判断を行う。
　距離画像生成部４は、撮影対象物９で反射し、受光素子２で受光された受光信号の到達時間に基づき距離画像を生成する。具体的には、光源１からの光出射タイミングを基準として、撮影対象物９からの反射光が受光素子２に到達するまでの時間を測定し、この時間を光の速度で除算することで、受光素子２から撮影対象物９までの距離を測定することができる。この方法は、Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ（ＴＯＦ）法と呼ばれ、一般的に知られている。測定された距離を受光素子２の画素毎に２次元上にプロットして距離画像が得られる。
　対象物認識処理部５は、輝度画像生成部３で生成された輝度画像を用いて、撮影された撮影対象物９が対象物候補かどうかを識別し、対象物候補を抽出する。例えば、対象物候補は、対象物候補に対応する輝度画像中の部分の画像データとして抽出される。なお、本実施形態では、対象物が人物であるため、以降の説明において、人物候補の識別等について説明する。人物候補の識別にあたっては、撮影対象物９の輝度画像から様々な手法で特徴量を抽出して判断され、主に撮影対象物９の外形が人物に対応するかどうかで人物候補かどうかが識別される。この識別精度を上げるためには、数千～数万枚の画像データを機械学習用ＤＢ７に蓄積し、さらにこれらの画像データを用いて、機械学習により人物候補を識別可能とする識別器を生成することが必要である。これらの特徴量の計算、識別器生成にはさまざまな手法が提案されているが（例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＳＶＭ（Support Vector Machine）識別器など）、ここでは特に限定しない。図２に示すように、対象物認識処理部５で抽出された人物候補の外形や撮像領域内での位置を、例えば、表示部８に表示して検知することができる。
　立体物判別処理部６は、対象物認識処理部５で抽出された人物候補が立体物かどうかを判別する。対象物認識処理部５で抽出された人物候補が、実際の人物か、ポスター・看板等の中の擬似絵か判別ができない場合がある。例えば、図２において、左の輝度画像から人物候補として抽出された画像（左隅の画像）が、右の距離画像において一様な板状の輪郭を示しており、この画像が実際の人物ではなく、ポスターあるいは看板等の平面物であることがわかる。例えば、移動体に搭載される車載カメラ等を有する画像認識装置において、輝度画像のみで人物が判断されると、ポスターあるいは看板等を誤って人物と認識し、急停止や急なハンドル操作による事故が生じかねない。
　そこで、本実施形態に係る画像認識装置１０では、これらの誤認識を防ぐために立体物判別処理部６において、輝度画像に基づいて抽出された人物候補が立体物かどうかを判別し、人物候補が実際の人物かどうかを判断している。また、この結果は、表示部８に表示して検知することができる。
　機械学習用ＤＢ７は、数千～数万枚の画像データを格納しており、本実施形態では、対象物認識処理部５に画像データが読み出されて、人物の特徴量等を識別する識別器の生成等に用いられる。
　表示部８は、例えば、液晶ディスプレイや有機ＥＬディスプレイであり、輝度画像や距離画像、あるいはこれらを画像処理した結果等を表示する。
　立体物判別処理部６では、距離画像生成部４で得られた距離画像に対し、水平方向に複数ラインスキャンをし、それぞれの距離を比較する。ここで、ラインは所定の間隔をあけて離間するようにスキャンが行われる。図３Ａに示すように距離画像に立体物が含まれていれば、上記の複数のラインにおいて、距離分布が重なることが無いが、図３Ｂに示すように、距離画像が壁紙等の平面物を撮影したものであるときは、上記の複数のラインにおいて、距離分布が一致する。
　撮影対象物９が立体物であるかどうかは、一のラインにおける測定距離の平均値及びばらつきを算出し、平均値に対する差が上記のばらつきに対して所定の値以上である画素が、当該一のラインの画素数に占める割合に基づき判別される。本実施形態では、一つのラインにおける測定距離の平均とばらつきを求め、平均に対する差が上記のばらつきに対して２倍以上である画素が、スキャンされた一つのラインの画素数に対して１０％以上を占める場合に、撮影対象物９が立体物であると判別することとしている。ただし、撮影対象物９が立体物かどうかの判断基準は特にこれに限定されるものではなく、例えば、スキャンするラインの間隔や、一つのライン上の画素数、また、撮影対象物９の撮影が移動体上に設けられた光源と受光素子とにより行われたかどうか等より適宜変更されうる。また、立体物判別処理部６での判別結果を機械学習用ＤＢ７に反映させ、撮影画像に人物が含まれるかどうかの識別精度をさらに向上させることができる。なお、図３Ａ及び図３Ｂには、距離画像上を水平方向にスキャンして各々の点での距離を算出する方法を示したが、特にこれに限定されず、例えば、垂直方向にスキャンして距離を算出してもよい。
　図４は、実施形態に係る画像認識装置を用いた人物識別方法を示すフローチャートの一例である。
　まず、撮影対象物９に対して、光源１から強度変調された光を照射し（ステップＳ１）、撮影対象物９で反射された反射光を受光素子２で受光し、撮影対象物９を撮影する（ステップＳ２）。次に、受光素子２から出力された撮影対象物９の画像信号を輝度画像生成部３及び距離画像生成部４に送り、撮影対象物９の輝度画像と距離画像とをそれぞれ生成する（ステップＳ３）。
　生成された輝度画像は輝度画像生成部３から対象物認識処理部５に送られる。さらに、対象物認識処理部５から機械学習用ＤＢ７にアクセスする（ステップＳ４）。機械学習用ＤＢ７に蓄積された画像データに基づいて、人物かどうかを識別するための特徴量を抽出し、また識別器を対象物認識処理部５に生成する（ステップＳ５）。これら特徴量及び識別器を用いて撮影対象物９が人物候補かどうかを認識する（ステップＳ６）。
　撮影対象物９が人物候補であれば、次に、立体物判別処理部６において、対応する距離画像の水平または垂直方向の画素のラインスキャンを複数実施し、複数の測定点での距離分布を算出する（ステップＳ７）。この距離分布に基づいて、立体物判別処理部６により、抽出された人物候補が立体物かどうかを判別する（ステップＳ８）。この判別手法は、図３Ａ及び図３Ｂを用いて上記に説明したのと同様の方法で行われる。抽出された人物候補が立体物であれば、この人物候補が実際の人物であるとして、例えば、撮影対象物９の画像を機械学習用ＤＢ７にも保存し（ステップＳ８）、再度、撮影が続行される。
　ステップＳ６において、撮影対象物９が人物候補でなければ、再度、撮影が続行される。一方、ステップＳ７において、人物候補が立体物ではないと判別されると、人物候補として抽出された画像データを、機械学習用ＤＢ７内で使用禁止にし（ステップＳ１０）、再度、撮影が続行される。使用禁止の例としては、例えば、人物候補として抽出された画像データを機械学習用ＤＢ７に保存しない、あるいは、機械学習用ＤＢ７に保存したとしても、人物の特徴量を識別する識別器の生成には用いない等が挙げられる。
　このように、本実施形態によれば、時間的に強度変調された光を対象物に照射し、その反射光を撮影して輝度画像と距離画像とを生成することにより、撮影対象物９の外形やコントラストと、撮影対象物９における光源までの距離とをそれぞれ求めることができる。また、機械学習用ＤＢ７を用いて輝度画像から人物等の対象物候補を抽出し、距離画像を用いて、抽出された対象物候補が立体物かどうかを判別することで、撮影された撮影対象物９が実際の対象物かどうかを識別することができる。
　また、抽出された人物等の対象物候補が立体物でない場合には、対象物候補の抽出に用いられた画像データを、対象物の特徴量等を抽出するためのデータとして用いないようにすることで、撮影対象物９が実際の対象物かどうかの識別速度を向上することができる。例えば、対象物が描かれた同種の看板が走行する道路に複数設置されているような場合、看板内の対象物の画像データを対象物の識別に用いないようにすることで、対象物識別の精度及び速度が向上する。これにより、対象物の誤認識を抑制できる。
　なお、本実施形態では、撮影対象物９が人物であるかどうかを識別する例を示したが、撮影対象物９が車両や車両に搭乗している人物、あるいは特定の動物等であるかどうかを識別してもよい。この場合に使用される機械学習用ＤＢ７の画像データとして、それぞれ車両や車両に搭乗している人物、あるいは特定の動物の画像データを使用することは言うまでもない。また、機械学習用ＤＢ７または表示部８、あるいはこれら両方とも画像認識装置１０に組み込まれていてもよい。
　以上、本発明に係る画像認識装置について、実施の形態に基づいて説明したが、本開示は、実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態及び変形例における一部の構成要素を任意に組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
　本開示に係る画像認識装置は、人物等の対象物の誤認識を抑制することができ、車載カメラの画像認識用カメラ等として有用である。また監視、セキュリティー等の用途にも応用できる。
１　　光源
２　　受光素子
３　　輝度画像生成部
４　　距離画像生成部
５　　対象物認識処理部
６　　立体物判別処理部
７　　機械学習用データベース
８　　表示部
９　　撮影対象物
１０　画像認識装置

Claims (4)

  1. 　時間的に強度変調された変調光を出射する光源と、
    　該変調光が照射された撮影対象物からの反射光を受光する受光素子と、
    　前記受光素子から出力された前記撮影対象物の画像信号に基づき輝度画像を生成する輝度画像生成部と、
    　前記受光素子から出力された前記撮影対象物の画像信号に基づき距離画像を生成する距離画像生成部と、
    　対象物の特徴量を識別するための画像データが格納された機械学習用データベースを利用して、前記輝度画像から対象物候補を抽出する対象物認識処理部と、
    　前記対象物認識処理部で抽出された前記対象物候補が立体物であるかどうかを前記距離画像を用いて判別する立体物判別処理部と、を備え、
    　前記立体物判別処理部で前記対象物候補が立体物ではないと判別された場合、前記機械学習用データベースにおいて、前記輝度画像から抽出された前記対象物候補を、対象物の特徴量を抽出するための画像データとして使用することを禁止する
    画像認識装置。
  2. 　前記立体物判別処理部は、前記対象物認識処理部で抽出された前記対象物候補と前記受光素子との距離を前記対象物候補の距離画像における複数のライン上で算出し、該複数のラインのうち一のラインにおける距離の平均値及びばらつきを算出し、該平均値に対する差が該ばらつきに対して所定の値以上である画素が、当該一のラインの画素数に占める割合に基づき、前記対象物候補が立体物かどうかを判別する
    請求項１に記載の画像認識装置。
  3. 　前記立体物判別処理部は、前記平均値に対する差が前記ばらつきに対して２倍以上である画素が、前記一のラインの画素数の１０％以上を占める場合、前記対象物候補が立体物であると判別する
    請求項２に記載の画像認識装置。
  4. 　前記光源から出射される変調光の波長は８００ｎｍから１１００ｎｍの範囲内である
    請求項１ないし３のいずれか１項に記載の画像認識装置。
PCT/JP2018/009377 2017-03-22 2018-03-12 画像認識装置 Ceased WO2018173819A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880019314.2A CN110431562B (zh) 2017-03-22 2018-03-12 图像识别装置
US16/494,742 US10984221B2 (en) 2017-03-22 2018-03-12 Image recognition device
EP18772141.0A EP3605454A4 (en) 2017-03-22 2018-03-12 IMAGE RECOGNITION DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-056350 2017-03-22
JP2017056350A JP6782433B2 (ja) 2017-03-22 2017-03-22 画像認識装置

Publications (1)

Publication Number Publication Date
WO2018173819A1 true WO2018173819A1 (ja) 2018-09-27

Family

ID=63584414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009377 Ceased WO2018173819A1 (ja) 2017-03-22 2018-03-12 画像認識装置

Country Status (5)

Country Link
US (1) US10984221B2 (ja)
EP (1) EP3605454A4 (ja)
JP (1) JP6782433B2 (ja)
CN (1) CN110431562B (ja)
WO (1) WO2018173819A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110802A1 (ja) * 2018-11-30 2020-06-04 株式会社小糸製作所 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
WO2020116195A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2021026642A1 (en) * 2019-08-13 2021-02-18 Avigilon Corporation Method and system for enhancing use of two-dimensional video analytics by using depth data

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839220B2 (en) * 2018-10-15 2020-11-17 Kepler Vision Technologies B.V. Method for categorizing a scene comprising a sub-scene with machine learning
JP2022020871A (ja) 2018-12-06 2022-02-02 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識方法、およびプログラム
WO2020116035A1 (ja) 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 距離情報取得装置、距離情報取得方法、およびプログラム
WO2020216535A1 (en) * 2019-04-24 2020-10-29 Sony Corporation Sensing apparatus and control system for automotive
CN115038990A (zh) * 2020-01-31 2022-09-09 日产自动车株式会社 物体识别方法及物体识别装置
WO2022172719A1 (ja) * 2021-02-15 2022-08-18 パナソニックＩｐマネジメント株式会社 物体情報生成システム、物体情報生成方法、および、物体情報生成プログラム
CN118335018A (zh) * 2023-01-12 2024-07-12 奥图码股份有限公司 显示器、控制显示器的方法以及显示系统
JP2025099634A (ja) * 2023-12-22 2025-07-03 株式会社Ｊｖｃケンウッド 教師データセット生成システム、形状推定装置及び教師データセット生成方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311691A (ja) * 2004-04-21 2005-11-04 Toyota Central Res & Dev Lab Inc 物体検出装置及び方法
JP2013168729A (ja) 2012-02-14 2013-08-29 Nikon Corp 画像処理装置およびプログラム
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置
JP2015057690A (ja) * 2013-08-15 2015-03-26 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2016001435A (ja) * 2014-06-12 2016-01-07 富士重工業株式会社 車外環境認識装置
JP2016136321A (ja) * 2015-01-23 2016-07-28 トヨタ自動車株式会社 物体検出装置及び物体検出方法
JP2016218760A (ja) 2015-05-20 2016-12-22 株式会社日立製作所 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326084B1 (en) * 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
GB0405014D0 (en) * 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
JP5404064B2 (ja) * 2008-01-16 2014-01-29 株式会社半導体エネルギー研究所 レーザ処理装置、および半導体基板の作製方法
JP5275122B2 (ja) * 2008-05-30 2013-08-28 パナソニック株式会社 ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置
KR101681538B1 (ko) * 2010-10-20 2016-12-01 삼성전자주식회사 영상 처리 장치 및 방법
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
US8401225B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
JP5776795B2 (ja) * 2011-12-19 2015-09-09 日産自動車株式会社 立体物検出装置
US20130266174A1 (en) * 2012-04-06 2013-10-10 Omek Interactive, Ltd. System and method for enhanced object tracking
JP5962393B2 (ja) * 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
EP2728306A1 (en) * 2012-11-05 2014-05-07 Hexagon Technology Center GmbH Method and device for determining three-dimensional coordinates of an object
JP6013884B2 (ja) * 2012-11-08 2016-10-25 日立オートモティブシステムズ株式会社 物体検出装置及び物体検出方法
US10057498B1 (en) * 2013-03-15 2018-08-21 Cognex Corporation Light field vision system camera and methods for using the same
JP5906224B2 (ja) * 2013-09-27 2016-04-20 富士重工業株式会社 車外環境認識装置
JP5893601B2 (ja) * 2013-10-31 2016-03-23 富士重工業株式会社 車両制御システム
US10452892B2 (en) * 2013-12-17 2019-10-22 Sony Corporation Controlling image processing device to display data based on state of object in real space
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
US9778476B2 (en) * 2014-11-03 2017-10-03 Aquifi, Inc. 3D depth sensor and projection system and methods of operating thereof
JP2018517228A (ja) * 2015-03-23 2018-06-28 フィリップス ライティング ホールディング ビー ヴィ 照明器具による駐車誘導
US9690984B2 (en) * 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
WO2017014691A1 (en) * 2015-07-17 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a distance map based on captured images of a scene
JP6657789B2 (ja) * 2015-10-29 2020-03-04 株式会社リコー 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP6960915B2 (ja) * 2015-11-10 2021-11-05 ルミレッズ ホールディング ベーフェー 適応光源
JP6310899B2 (ja) * 2015-11-25 2018-04-11 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US20170228606A1 (en) * 2016-02-09 2017-08-10 Haike Guan Information processing apparatus, information processing method, and recording medium
KR102529120B1 (ko) * 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
WO2018021984A1 (en) * 2016-07-28 2018-02-01 Cy Vision Inc. System and method for high-quality speckle-free phase-only computer-generated holographic image projection
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
US10242454B2 (en) * 2017-01-25 2019-03-26 Google Llc System for depth data filtering based on amplitude energy values
KR102647351B1 (ko) * 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US10683034B2 (en) * 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
US10444761B2 (en) * 2017-06-14 2019-10-15 Trifo, Inc. Monocular modes for autonomous platform guidance systems with auxiliary sensors
KR102422021B1 (ko) * 2017-07-27 2022-07-15 삼성전자주식회사 광 검출기 선택 장치 및 방법과, 산란계수 측정 장치 및 방법
JP7028588B2 (ja) * 2017-09-04 2022-03-02 株式会社日立エルジーデータストレージ ３次元距離測定装置
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
JP7236680B2 (ja) * 2018-02-09 2023-03-10 パナソニックＩｐマネジメント株式会社 投影システム
CN108648225B (zh) * 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
US11030458B2 (en) * 2018-09-14 2021-06-08 Microsoft Technology Licensing, Llc Generating synthetic digital assets for a virtual scene including a model of a real-world object
KR101981202B1 (ko) * 2018-12-11 2019-05-22 메디컬아이피 주식회사 의료영상 재구성 방법 및 그 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311691A (ja) * 2004-04-21 2005-11-04 Toyota Central Res & Dev Lab Inc 物体検出装置及び方法
JP2013168729A (ja) 2012-02-14 2013-08-29 Nikon Corp 画像処理装置およびプログラム
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置
JP2015057690A (ja) * 2013-08-15 2015-03-26 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2016001435A (ja) * 2014-06-12 2016-01-07 富士重工業株式会社 車外環境認識装置
JP2016136321A (ja) * 2015-01-23 2016-07-28 トヨタ自動車株式会社 物体検出装置及び物体検出方法
JP2016218760A (ja) 2015-05-20 2016-12-22 株式会社日立製作所 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605454A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110802A1 (ja) * 2018-11-30 2020-06-04 株式会社小糸製作所 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
JPWO2020110802A1 (ja) * 2018-11-30 2021-10-14 株式会社小糸製作所 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
JP7288460B2 (ja) 2018-11-30 2023-06-07 株式会社小糸製作所 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
WO2020116195A1 (ja) * 2018-12-07 2020-06-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JPWO2020116195A1 (ja) * 2018-12-07 2021-10-21 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7320001B2 (ja) 2018-12-07 2023-08-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US12270895B2 (en) 2018-12-07 2025-04-08 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
WO2021026642A1 (en) * 2019-08-13 2021-02-18 Avigilon Corporation Method and system for enhancing use of two-dimensional video analytics by using depth data
US11303877B2 (en) 2019-08-13 2022-04-12 Avigilon Corporation Method and system for enhancing use of two-dimensional video analytics by using depth data

Also Published As

Publication number Publication date
EP3605454A4 (en) 2020-04-15
JP6782433B2 (ja) 2020-11-11
US10984221B2 (en) 2021-04-20
US20200097702A1 (en) 2020-03-26
CN110431562A (zh) 2019-11-08
CN110431562B (zh) 2023-08-01
EP3605454A1 (en) 2020-02-05
JP2018160049A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6782433B2 (ja) 画像認識装置
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
CN113243016B (zh) 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法
US11310411B2 (en) Distance measuring device and method of controlling distance measuring device
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
CN108692719B (zh) 物体检测装置
JP5867807B2 (ja) 車両識別装置
JP7594539B2 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
CN108351964B (zh) 图像识别装置及图像识别方法
CN107272021A (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
JP2015195018A (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
US20140347484A1 (en) Apparatus and method for providing surrounding environment information of vehicle
US11454723B2 (en) Distance measuring device and distance measuring device control method
JP2016009474A (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
JP2019530924A (ja) カメラ画像からのオブジェクトの検出
EP3688407B1 (en) Light projection systems
JP6452361B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
KR20170119167A (ko) 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP2006318061A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
EP4432681A1 (en) Sensing system
Kasahara et al. A dynamic background subtraction method for detecting walkers using mobile stereo-camera
KR20220089788A (ko) 차량용 카메라를 이용한 주차보조 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772141

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018772141

Country of ref document: EP

Effective date: 20191022