WO2019136641A1 - 信息处理方法、装置、云处理设备以及计算机程序产品 - Google Patents

信息处理方法、装置、云处理设备以及计算机程序产品 Download PDF

Info

Publication number
WO2019136641A1
WO2019136641A1 PCT/CN2018/072132 CN2018072132W WO2019136641A1 WO 2019136641 A1 WO2019136641 A1 WO 2019136641A1 CN 2018072132 W CN2018072132 W CN 2018072132W WO 2019136641 A1 WO2019136641 A1 WO 2019136641A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
depth image
pothole
suspected
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/072132
Other languages
English (en)
French (fr)
Inventor
李业
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shenzhen Robotics Systems Co Ltd
Original Assignee
Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shenzhen Robotics Systems Co Ltd filed Critical Cloudminds Shenzhen Robotics Systems Co Ltd
Priority to US16/609,447 priority Critical patent/US11379963B2/en
Priority to PCT/CN2018/072132 priority patent/WO2019136641A1/zh
Priority to CN201880000099.1A priority patent/CN108235774B/zh
Priority to JP2019559815A priority patent/JP6955783B2/ja
Priority to EP18899638.3A priority patent/EP3605460A4/en
Publication of WO2019136641A1 publication Critical patent/WO2019136641A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Definitions

  • the present application relates to the field of data processing technologies, and in particular, to an information processing method, apparatus, cloud processing device, and computer program product.
  • Computer vision can be a representative. field of. Computer vision is a science that studies how to make a machine "look”. Further, it refers to the use of equipment instead of the human eye to identify, track, and measure the machine vision, and further image processing. It is more suitable for human eyes to observe or transmit images detected by the instrument.
  • machine vision can be applied in many scenes, for example, applying machine vision to a guide cane, using a cane to avoid obstacles in front of the visually impaired, and, for example, applying machine vision to the navigation field.
  • machine vision can be applied in many scenes, for example, applying machine vision to a guide cane, using a cane to avoid obstacles in front of the visually impaired, and, for example, applying machine vision to the navigation field.
  • the embodiment of the present application provides an information processing method, device, cloud processing device, and computer program product, which can improve the accuracy of detecting whether there is a pothole or the like in front.
  • an embodiment of the present application provides an information processing method, including:
  • the suspected pit area is determined according to the pit threshold, and it is determined whether the hole image is included in the depth image.
  • the embodiment of the present application further provides an information processing apparatus, including:
  • a processing unit configured to process the depth image to obtain a line average map, and determine a road surface area in the depth image according to the line average map;
  • a determining unit configured to determine a suspected pothole area in the road surface area
  • the determining unit is configured to determine the suspected pit area according to the pothole threshold, and determine whether the pitted area is included in the depth image.
  • the embodiment of the present application further provides a cloud processing device, where the device includes a processor and a memory; the memory is configured to store an instruction, when the instruction is executed by the processor, causing the device to perform, for example, The method of any of the first aspects.
  • the embodiment of the present application further provides a computer program product, which can be directly loaded into an internal memory of a computer and includes software code. After the computer program is loaded and executed by a computer, the first aspect can be implemented. One such method.
  • the information processing method, the device, the cloud processing device, and the computer program product provided by the embodiments of the present application by processing the acquired depth image, first determine the road surface area in the depth image according to the line average value of the depth image, and then determine the road surface area.
  • the suspected pitted area is finally determined by using the pit threshold to determine whether the pitted area is included in the depth image.
  • the technical solution provided by the embodiment of the present application can effectively determine whether the road surface has pits.
  • the detection efficiency is high and the calculation speed is fast, which solves the problem that the accuracy of detecting objects in the pits or below the horizontal line is low in the prior art.
  • FIG. 1 is a flowchart of an embodiment of an information processing method according to an embodiment of the present application
  • FIG. 2 is a schematic diagram of a first scenario of an information processing method according to an embodiment of the present disclosure
  • FIG. 3 is a schematic diagram of a world coordinate system provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a second scenario of an information processing method according to an embodiment of the present disclosure.
  • FIG. 5 is another flowchart of an embodiment of an information processing method according to an embodiment of the present disclosure.
  • FIG. 6 is another flowchart of an embodiment of an information processing method according to an embodiment of the present disclosure.
  • FIG. 7 is a schematic structural diagram of an embodiment of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 8 is another schematic structural diagram of an embodiment of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 9 is another schematic structural diagram of an embodiment of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 10 is a schematic structural diagram of an embodiment of a cloud processing device according to an embodiment of the present disclosure.
  • the word “if” as used herein may be interpreted as “when” or “when” or “in response to determining” or “in response to detecting.”
  • the phrase “if determined” or “if detected (conditions or events stated)” may be interpreted as “when determined” or “in response to determination” or “when detected (stated condition or event) “Time” or “in response to a test (condition or event stated)”.
  • FIG. 1 is a flowchart of an embodiment of an information processing method provided by an embodiment of the present disclosure, as shown in FIG. 1 , which is shown in FIG. 1 .
  • the information processing method may specifically include the following steps:
  • the depth sensor is used to capture the object in real time, and the depth image is obtained.
  • FIG. 2 is a schematic diagram of the first scene of the information processing method provided by the embodiment of the present application, and may also be obtained.
  • a good depth image is taken, for example, the user uploads the depth image to the processing device, and, for example, acquires the specified depth image in the depth image library.
  • the depth sensor (also referred to as a depth camera) may generally include the following three types: three-dimensional sensors based on structured light, such as Kinect, RealSense, LeapMotion, Orbbec, etc.; or based on binocular stereo vision. Three-dimensional sensors, such as ZED, Inuitive, Human+, etc.; or depth sensors based on the TOF principle, such as PMD, Panasonic, etc.
  • the depth image is obtained by the above-mentioned method, it is used for subsequent detection to determine whether the current image contains a pothole region.
  • the pothole region exists in the road surface, in practical applications. It is not limited to the road surface, but it can also be in other scenes, for example, indoors.
  • FIG. 3 is a schematic diagram of the world coordinate system provided by the embodiment of the present application, such as As shown in Fig. 3, specifically, the depth of the optical center of the depth sensor can be taken as the origin of the world coordinate system, and the horizontal direction to the right is the positive direction of the X axis, the vertical direction is the positive direction of the Y axis, perpendicular to the plane and pointing to the front is the Z axis.
  • Direction establish a world coordinate system.
  • u v is the coordinate value of the point P in the pixel coordinate system
  • X c , Y c , Z c are the coordinate values of the point P in the camera coordinate system
  • X w is the pixel of the image in the world coordinate system X-axis coordinate value
  • Y w is the Y-axis coordinate value of each pixel in the image in the world coordinate system
  • Z w is the Z-axis coordinate value of each pixel in the image in the world coordinate system
  • ⁇ , ⁇ , ⁇ are depth sensors
  • the attitude angle represents the rotation angle of the X, Y, and Z axes of the depth sensor around the X, Y, and Z axes of the world coordinate system
  • X c is the X-axis coordinate value of each pixel in the image in the depth sensor coordinate system
  • Y c The Y-axis coordinate value of each pixel point in the image in the depth sensor coordinate system
  • Z c is the Z-axis coordinate value of each
  • the image composed of Z w is a depth image in the world coordinate system.
  • the depth image in the world coordinate system is processed, and the row average is calculated to obtain a row mean map.
  • the depth image in the world coordinate system may be preprocessed.
  • the preprocessing may include smoothing, filtering, denoising, etc., and then according to the ground.
  • the same row in the depth image has the similarity of the depth value, calculates the pixel average of each row of pixels in the depth image, and establishes the row mean graph I rowsMean by the row-row average.
  • the line mean map is processed to determine the suspected ground area.
  • the road surface since the road surface has certain characteristics, it usually represents the near and far road surface from the bottom to the top in the Zw in the world coordinate system, and has a monotonously increasing characteristic, so the row average value map I rowsMean can be removed first. From the bottom to the top, the non-monotonically increasing row mean value is then filtered out by the lone point of the remaining row mean value, and the micro-fracture band is connected to obtain the pre-processing result. After the pre-processing result is obtained, the suspected ground area in the depth image is filtered according to the pre-processing result.
  • the pre-processed depth image may be set to 0 in the row average column vector value of 0;
  • the difference between the depth value of each pixel in the depth map and the corresponding value of the row average column vector, the value of the position greater than or equal to the preset road surface tolerance is set to 0; the position in the depth map that is not 0 is determined to be suspect Road area.
  • the suspected ground area is judged according to the preset main plane position threshold, and the road surface area included in the depth image is determined.
  • the selection strategy may be preset, for example, the selection area is the largest, and the area at the bottom of the selected area from the bottom of the depth map Z w does not exceed the ⁇ rows row. Specifically, it can be set Where ⁇ rows is the set primary plane position threshold, The height of the depth image Z w is high.
  • the process of determining the suspected pothole area in the road surface area may be as follows:
  • the road surface area can be pre-processed in advance.
  • the pre-processing may include smoothing, filtering, denoising, and the like.
  • the average value of the processed road surface area is calculated.
  • the formula of the band rejection filter is as follows:
  • Z wGnd (i, j) is the depth value of the depth image corresponding to the road surface region at coordinates (i, j);
  • I rowsMeanGnd (i) is the mean value of the depth image corresponding to the road surface region in the ith row; Fixed road surface pit tolerance.
  • ⁇ is related to the depth sensor used and the actual road condition. If the value is too small, the number of false detections is too large. If the value is too large, the number of missed detections is large, which is not conducive to subsequent processing. Therefore, combined with a large amount of experimental data and empirical values, ⁇ usually ranges between [5, 30].
  • FIG. 4 is a schematic diagram of a second scenario of the information processing method provided by the embodiment of the present application. After filtering the row mean value using the above formula, the obtained Z wGnd (i, j) set is the suspected pitted region.
  • the suspected pit area is preprocessed.
  • pre-processing operations such as binarization and morphological processing on the suspected pothole area, remove the effects of noise such as burrs and islands on the subsequent extraction of the edge of the pit.
  • the contour C pothole of the suspected pothole region is extracted , and the contour is taken as the candidate pit region.
  • the area of the candidate pothole region is calculated.
  • the area of the candidate pothole region is set to S pothole .
  • the rightmost leftmost Xw value of the candidate pit region can be utilized: XwR, XwL, and the uppermost and lower corresponding Zw values: ZwT, ZwB; XwR, XwL, ZwT, The area of the rectangular frame formed by ZwB is replaced.
  • the depth image contains a pothole region.
  • the area threshold is set to ⁇ , then when S pothole > ⁇ , it is determined that the candidate pit area is a pothole area, and the depth image currently acquired by the depth sensor includes the pothole area.
  • the setting of the ⁇ value is related to the depth sensor used and the actual road condition. If the value is too small, the number of false detections is too large. If the value is too large, the number of missed detections is large. Therefore, a large number of combinations are combined. Experimental data and empirical values, usually in the range of [100,400].
  • the information processing method provided by the embodiment of the present application by processing the acquired depth image, first determines the road surface area in the depth image according to the line average value of the depth image, and then determines the suspected pothole area in the road surface area, and finally, uses the pit.
  • the threshold value is used to determine the suspected pit area, and whether the pitted area is included in the depth image is determined.
  • FIG. 5 is another flowchart of an embodiment of the information processing method provided by the embodiment of the present application. As shown in FIG. 5, the information processing method in this embodiment may further include the following steps:
  • the candidate pothole area is deleted.
  • the area of the candidate pothole region is set to S pothole , and the area threshold is set to ⁇ .
  • S pothole > ⁇ it is determined that the candidate pothole region is a non-pit region, and the candidate pit region is deleted.
  • FIG. 6 is the information provided by the embodiment of the present application. Another flowchart of the processing method embodiment, as shown in FIG. 6, the information processing method in this embodiment may further include the following steps:
  • the prompt information is output.
  • the detecting module of the product feeds back the parameter to the corresponding prompting module, so that the prompting module outputs the prompting information, in a specific implementation process,
  • the prompt information may include voice information, vibration information, text information, sound information, lighting information, and the like.
  • FIG. 7 is a schematic structural diagram of an embodiment of an information processing apparatus according to an embodiment of the present application. As shown in FIG. The method includes an acquisition unit 11, a processing unit 12, a determination unit 13, and a determination unit 14.
  • the obtaining unit 11 is configured to acquire a depth image.
  • the processing unit 12 is configured to process the depth image to obtain a line average map, and determine a road surface area in the depth image according to the line average map.
  • the determining unit 13 is configured to determine a suspected pothole area in the road surface area.
  • the determining unit 14 is configured to determine the suspected pothole region according to the pit threshold, and determine whether the pitted region is included in the depth image.
  • the depth image is an image in the camera coordinate system.
  • the processing unit 12 is specifically configured to:
  • the suspected ground area is judged according to the preset main plane position threshold, and the road surface area included in the depth image is determined.
  • the determining unit 13 is specifically configured to:
  • the line mean is filtered using a band-stop filter to obtain a suspected pit area.
  • the determining unit 14 is specifically configured to:
  • the depth image includes a pothole area.
  • the information processing apparatus provided by the embodiment of the present application may be used to implement the technical solution of the method embodiment shown in FIG. 1 , and the implementation principle and technical effects thereof are similar, and details are not described herein again.
  • FIG. 8 is another schematic structural diagram of an embodiment of an information processing apparatus according to an embodiment of the present application. As shown in FIG. The method may further include: deleting the unit 15.
  • the deleting unit 15 is configured to delete the candidate pothole area when the area of the candidate pothole area is less than or equal to the area threshold.
  • the information processing apparatus provided by the embodiment of the present application may be used to implement the technical solution of the method embodiment shown in FIG. 5, and the implementation principle and technical effects are similar, and details are not described herein again.
  • FIG. 9 is another schematic structural diagram of an embodiment of an information processing apparatus according to an embodiment of the present application. As shown in FIG. 9, the apparatus of this embodiment is shown in FIG. It may also include: an output unit 16.
  • the output unit is configured to output prompt information when it is determined that the depth image includes a pothole region.
  • the information processing apparatus provided by the embodiment of the present application may be used to implement the technical solution of the method embodiment shown in FIG. 6.
  • the implementation principle and technical effects are similar, and details are not described herein again.
  • FIG. 10 is a schematic structural diagram of an embodiment of a cloud processing device according to an embodiment of the present disclosure.
  • the cloud processing device includes a processor 21 and a memory 22; the memory 22 is for storing instructions that, when executed by the processor 21, cause the device to perform any of the methods described above.
  • the cloud processing device provided by the embodiment of the present application may be used to implement the technical solution of the method embodiment shown in FIG. 1 to FIG. 6.
  • the implementation principle and technical effects are similar, and details are not described herein again.
  • the embodiment of the present application further provides a computer program product, which can be directly loaded into an internal memory of a computer and contains software code, and the computer program can be implemented by being loaded and executed by a computer. Any method.
  • the cloud processing device provided by the embodiment of the present application may be used to implement the technical solution of the method embodiment shown in FIG. 1 to FIG. 6.
  • the implementation principle and technical effects are similar, and details are not described herein again.
  • the disclosed system, apparatus, and method may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • multiple units or components may be combined.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, device or unit, and may be in an electrical, mechanical or other form.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of hardware plus software functional units.
  • the above-described integrated unit implemented in the form of a software functional unit can be stored in a computer readable storage medium.
  • the software functional unit is stored in a storage medium and includes instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) or a processor to perform the methods of the various embodiments of the present application. Part of the steps.
  • the foregoing storage medium includes: a U disk, a mobile hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk, or an optical disk, and the like, which can store program codes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种信息处理方法、装置、云处理设备以及计算机程序产品，涉及数据处理技术领域，一定程度上提高了检测路面是否存在坑洼区域的效率。本申请实施例提供的信息处理方法，包括：获取深度图像；对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；确定所述路面区域中的疑似坑洼区域；根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。

Description

信息处理方法、装置、云处理设备以及计算机程序产品 技术领域
本申请涉及数据处理技术领域，尤其涉及一种信息处理方法、装置、云处理设备以及计算机程序产品。
背景技术
随着物联网技术的快速发展，普适计算、全息计算、云计算等全新数据计算模式正逐渐步入人们日常生活中，其可以应用到多种领域中，其中，计算机视觉可以是一个具有代表性的领域。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指使用设备代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用处理器处理成为更适合人眼观察或传送给仪器检测的图像。
在实际应用中，机器视觉可以应用在很多场景中，例如，将机器视觉应用在导盲杖上，利用导盲杖来躲避视障人士前方的障碍物，又例如，将机器视觉应用在导航领域，利用导航对路面以及和路面障碍进行检测。
然而，现有技术中，多依赖于检测颜色、形状等信息，以及对强烈边缘信息进行分割和对比，判断物体的形状，而对于坑洼或者低于水平线的物体检测的准确度较低。
发明内容
本申请实施例提供一种信息处理方法、装置、云处理设备以及计算机程序产品，能够提高检测前方是否存在坑洼等情况的准确度。
第一方面，本申请实施例提供一种信息处理方法，包括：
获取深度图像；
对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
确定所述路面区域中的疑似坑洼区域；
根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。
第二方面，本申请实施例还提供一种信息处理装置，包括：
获取单元，用于获取深度图像；
处理单元，用于对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
确定单元，用于确定所述路面区域中的疑似坑洼区域；
判断单元，用于根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。
第三方面，本申请实施例还提供一种云处理设备，所述设备包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，使得所述设备执行如第一方面中任一种所述的方法。
第四方面，本申请实施例还提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现如第一方面中任一种所述的方法。
本申请实施例提供的信息处理方法、装置、云处理设备以及计算机程序产品，通过对获取的深度图像进行处理，首先根据深度图像的行均值来确定深度图像中的路面区域，然后确定路面区域中的疑似坑洼区域，最后，利用坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含有坑洼区域，通过本申请实施例提供的技术方案，能够有效的判断路面是否存在坑洼，检测效率高，计算速度快，解决了现有技术中对于坑洼或者低于水平线的物体检测的准确度较低的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的信息处理方法实施例的流程图；
图2为本申请实施例提供的信息处理方法的第一场景示意图；
图3为本申请实施例提供的世界坐标系示意图；
图4为本申请实施例提供的信息处理方法的第二场景示意图；
图5为本申请实施例提供的信息处理方法实施例的另一流程图；
图6为本申请实施例提供的信息处理方法实施例的另一流程图；
图7为本申请实施例提供的信息处理装置实施例的结构示意图；
图8为本申请实施例提供的信息处理装置实施例的另一结构示意图；
图9为本申请实施例提供的信息处理装置实施例的另一结构示意图；
图10为本申请实施例提供的云处理设备实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地 表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在现有技术中，机器视觉可以应用在很多场景中，例如，将机器视觉应用在导盲杖上，又例如，将机器视觉应用在导航领域，其中，在检测路面的过程中，多停留在路面检测或者障碍检测等情况。并且，在检测过程中，使用种子点区域增长方法、随机点最小二乘法、分块高度均值法、V-视差算法等方式，会存在计算复杂、容易受到样本的影像、实际环境影响结果的准确性、识别效率低、检测范围有限等问题，因此，本申请实施例提供了一种信息处理方法，利用采集的深度图像来对路面是否存在坑洼进行检测，检测效率高，并且可以应用在辅助视障人士出行、机器人避障、无人驾驶、导航等多种场景中，具体的，图1为本申请实施例提供的信息处理方法实施例的流程图，如图1所示，本实施例的信息处理方法，具体可以包括如下步骤：
101、获取深度图像。
在本申请实施例中，可以通过深度传感器来实时对事物进行拍摄，获取深度图像，如图2所示，图2为本申请实施例提供的信息处理方法的第 一场景示意图，也可以获取已经拍摄好的深度图像，例如，用户上传深度图像至处理设备，又例如，在深度图像库中获取指定深度图像。
具体的，在本申请实施例中，深度传感器(又称为深度相机)通常可以包括以下三类：基于结构光的三维传感器，如Kinect、RealSense、LeapMotion、Orbbec等；或者基于双目立体视觉的三维传感器，如ZED、Inuitive、Human+司眸等；或者基于TOF原理的深度传感器，如PMD、Panasonic等。
通过上述途径，得到深度图像后，用于后续进行检测，确定当前图像中是否包含有坑洼区域；可以理解的是，在本申请实施例中，坑洼区域存在于路面中，在实际应用中，并不限制于路面，还可以是其他场景中，例如，室内。
102、对深度图像进行处理得到行均值图，根据行均值图确定深度图像中的路面区域。
在本申请实施例中，当采用深度传感器实时采集深度图像时，首先，对深度图像进行坐标转换将相机坐标系转换为世界坐标系；图3为本申请实施例提供的世界坐标系示意图，如图3所示，具体的，可以以深度传感器光心为世界坐标系原点，选取水平向右为X轴正方向，垂直向下为Y轴正方向，垂直于平面并指向正前方为Z轴正方向，建立世界坐标系。因为世界坐标系与深度传感器坐标系原点重合，故两个坐标系之间只存在旋转关系，没有平移关系，以及结合像素坐标系、相机坐标系、世界坐标系三者之间的关系，所以可以根据深度传感器的姿态角将深度传感器坐标系下的点P(X c，Y c，Z c)转换到世界坐标系下的点P(X w，Y w，Z w)，计算公式为：
Figure PCTCN2018072132-appb-000001
Figure PCTCN2018072132-appb-000002
其中，u,v是点P在像素坐标系中的坐标值，X c,Y c,Z c是点P在相机坐标系中的坐标值；X w为图像中各像素点在世界坐标系的X轴坐标值；Y w为图像中各像素点在世界坐标系的Y轴坐标值；Z w为图像中各像素点在世界坐标系的Z轴坐标值；α，β，γ是深度传感器的姿态角，分别表示深度传感器的X、Y、Z轴绕世界坐标系的X、Y、Z轴的旋转角；X c为图像中各像素点在深度传感器坐标系的X轴坐标值；Y c为图像中各像素点在深度传感器坐标系的Y轴坐标值；Z c为图像中各像素点在深度传感器坐标系的Z轴坐标值；M 3×4是相机的内参矩阵。
在本申请实施例中，Z w组成的图像即为世界坐标系下的深度图像。
然后，对世界坐标系下的深度图像进行处理，并计算行均值得到行均值图。在本申请实施例中，为了提高计算效率，可以对世界坐标系下的深度图像进行预处理，在一个具体的实现过程中，预处理可以包括平滑、滤波、去噪等处理，然后根据地面在深度图像中同一行具有相似的深度值的特性，计算深度图像中每一行像素的像素平均值，并以行数-行均值建立行均值图I rowsMean。
接着，对行均值图进行处理，确定疑似地面区域。具体的，由于路面具有一定的特质，因此，通常在世界坐标系中的Zw中从下往上代表的是由近及远的路面，具有单调递增的特性,因此可以先去除行均值图I rowsMean中从下往上非单调递增的行均值，然后对剩下的行均值进行孤点滤除，微小断裂带连接操作，得到预处理结果。在得到预处理结果后，根据预处理结果筛选深度图像中的疑似地面区域，具体地，可以将预处理后的该深度图像中、行均值列向量中值为0的行置0；并将该深度图 中各像素点的深度值与该行均值列向量相应值的差，大于等于预先设定的路面起伏容忍度的位置的值置0；将该深度图中不为0的位置确定为疑似路面区域。
最后，根据预设的主平面位置阈值对疑似地面区域进行判断，确定深度图像中包含的路面区域。具体的，可以预先设定选取策略，例如，选取面积最大，且选定区域最下方距离深度图Z w最下方不超过ε rows行的区域。具体地，可以设置
Figure PCTCN2018072132-appb-000003
其中ε rows为设定的主平面位置阈值，
Figure PCTCN2018072132-appb-000004
为深度图像Z w的高。
103、确定路面区域中的疑似坑洼区域。
在本申请实施例中，确定路面区域中的疑似坑洼区域的过程可以采用如下方式：
首先，计算路面区域的行均值。由于，路面区域也会存在一定的误差因素，因此，可以预先对路面区域进行预处理，在一个具体的实现过程中，预处理可以包括平滑、滤波、去噪等处理。接着，计算经过处理后的路面区域的行均值，具体的计算方式，可以参考前述内容中的说明。
然后，建立带阻滤波器。在本申请实施例中，带阻滤波器的公式如下：
Figure PCTCN2018072132-appb-000005
其中，Z wGnd(i，j)为路面区域对应的深度图像在坐标(i，j)处的深度值；I rowsMeanGnd(i)为路面区域对应的深度图像在第i行的均值；δ为设定的路面坑洼容忍度。
需要说明的是，在实际应用中，δ值的设定与使用的深度传感器和实际路况有关，取值过小则误检较多，取值过大则漏检较多，均不利于后续处理，因此，结合大量的实验数据和经验值，δ通常取值范围在[5,30]之间。
最后，使用带阻滤波器对行均值进行滤波处理，得到疑似坑洼区域，如图4所示，图4为本申请实施例提供的信息处理方法的第二场景示意图。使用上述公式对行均值进行滤波处理后，得到的Z wGnd(i，j)集合即为疑似坑洼区域。
104、根据坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含坑洼区域。
在本申请实施例中，首先，对疑似坑洼区域进行预处理。具体地址，对疑似坑洼区域进行二值化、形态学处理等预处理操作，去除毛刺及孤岛等噪声对后续提取坑洼边缘时的影响。
然后，提取疑似坑洼区域的轮廓C pothole，并将轮廓作为候选坑洼区域。
接着，计算候选坑洼区域的面积。在本申请实施例中，候选坑洼区域的面积设为S pothole。在实际应用中，除了常规的计算方法，还可以利用候选坑洼区域最右最左对应的Xw值:XwR，XwL，以及最上最下对应的Zw值:ZwT，ZwB；XwR，XwL，ZwT，ZwB构成的矩形框面积代替。
最后，当候选坑洼区域的面积大于面积阈值时，确定深度图像中包含坑洼区域。在本申请实施例中，面积阈值设为ε，则当S pothole＞ε，则确定候选坑洼区域为坑洼区域，则深度传感器当前获取的深度图像中包含坑洼区域。
需要说明的是，在实际应用中，ε值的设定与使用的深度传感器和实际路况有关，取值过小则误检较多，取值过大则漏检较多，因此，结合大量的实验数据和经验值，通常取值范围在[100,400]之间。
本申请实施例提供的信息处理方法，通过对获取的深度图像进行处理，首先根据深度图像的行均值来确定深度图像中的路面区域，然后确定路面区域中的疑似坑洼区域，最后，利用坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含有坑洼区域，通过本申请实施例提供 的技术方案，能够有效的判断路面是否存在坑洼，检测效率高，计算速度快，解决了现有技术中对于坑洼或者低于水平线的物体检测的准确度较低的问题。
在前述内容的基础上，为了减少缓存压力，提高计算速度，对于获取到的深度图像，当根据坑洼阈值对疑似坑洼区域进行判断时，对于不存在坑洼区域的深度图像还可以进行如下操作，具体的，图5为本申请实施例提供的信息处理方法实施例的另一流程图，如图5所示，本实施例的信息处理方法，还可以包括如下步骤：
105、当候选坑洼区域的面积小于或者等于面积阈值时，删除候选坑洼区域。
在本申请实施例中，候选坑洼区域的面积设为S pothole，面积阈值设为ε，则当S pothole＞ε，则确定候选坑洼区域为非坑洼区域，则删除候选坑洼区域。
前述内容中，介绍了如何对坑洼区域进行判断，当本申请实施例中的方案应用在实际产品中时，还可以具有提示用户的效果，具体的，图6为本申请实施例提供的信息处理方法实施例的另一流程图，如图6所示，本实施例的信息处理方法，还可以包括如下步骤：
106、当确定深度图像中包含坑洼区域时，输出提示信息。
在本申请实施例中，当确定了获取的深度图像中具有坑洼区域时，在产品的检测模块会反馈参数给相应的提示模块，使得提示模块输出提示信息，在一个具体的实现过程中，提示信息可以包括语音信息、震动信息、文字信息、声音信息、灯光信息等。
为了实现前述内容的方法流程，本申请实施例还提供一种信息处理装置，图7为本申请实施例提供的信息处理装置实施例的结构示意图，如图7所示，本实施例的装置可以包括：获取单元11、处理单元12、确定单元13和判断单元14。
获取单元11，用于获取深度图像。
处理单元12，用于对深度图像进行处理得到行均值图，根据行均值图确定深度图像中的路面区域。
确定单元13，用于确定路面区域中的疑似坑洼区域。
判断单元14，用于根据坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含坑洼区域。
在一个具体的实现过程中，深度图像为相机坐标系下的图像。
处理单元12，具体用于：
对深度图像进行坐标转换，将相机坐标系转换为世界坐标系；
对世界坐标系下的深度图像进行处理，并计算行均值得到行均值图；
对行均值图进行处理，确定疑似地面区域；
根据预设的主平面位置阈值对疑似地面区域进行判断，确定深度图像中包含的路面区域。
在一个具体的实现过程中，确定单元13，具体用于：
计算路面区域的行均值；
建立带阻滤波器；
使用带阻滤波器对行均值进行滤波处理，得到疑似坑洼区域。
在一个具体的实现过程中，判断单元14，具体用于：
对疑似坑洼区域进行预处理；
提取疑似坑洼区域的轮廓，并将轮廓作为候选坑洼区域；
计算候选坑洼区域的面积；
当候选坑洼区域的面积大于面积阈值时，确定深度图像中包含坑洼区域。
本申请实施例提供的信息处理装置，可以用于执行图1示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在前述内容的基础上，本申请实施例还提供一种信息处理装置，图8为本申请实施例提供的信息处理装置实施例的另一结构示意图，如图8所示，本实施例的装置，还可以包括：删除单元15。
删除单元15，用于当候选坑洼区域的面积小于或者等于面积阈值时，删除候选坑洼区域。
本申请实施例提供的信息处理装置，可以用于执行图5示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在前述内容的基础上，本申请实施例还提供一种信息处理装置，图9为本申请实施例提供的信息处理装置实施例的另一结构示意图，如图9所示，本实施例的装置，还可以包括：输出单元16。
输出单元，用于当确定深度图像中包含坑洼区域时，输出提示信息。
本申请实施例提供的信息处理装置，可以用于执行图6示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
为了实现前述内容的方法流程，本申请实施例还提供一种云处理设备，图10为本申请实施例提供的云处理设备实施例的结构示意图，如图10所示，本申请实施例提供的云处理设备包括处理器21以及存储器22；存储器22用于存储指令，指令被处理器21执行时，使得设备执行如前述内容中任一种方法。
本申请实施例提供的云处理设备，可以用于执行图1～图6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
为了实现前述内容的方法流程，本申请实施例还提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，计算机程序经由计算机载入并执行后能够实现如前述内容中任一种方法。
本申请实施例提供的云处理设备，可以用于执行图1～图6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

  1. 一种信息处理方法，其特征在于，包括：
    获取深度图像；
    对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
    确定所述路面区域中的疑似坑洼区域；
    根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。
  2. 根据权利要求1所述的方法，其特征在于，所述深度图像为相机坐标系下的图像；
    所述对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域，包括：
    对所述深度图像进行坐标转换，将相机坐标系转换为世界坐标系；
    对世界坐标系下的所述深度图像进行处理，并计算行均值得到行均值图；
    对所述行均值图进行处理，确定疑似地面区域；
    根据预设的主平面位置阈值对所述疑似地面区域进行判断，确定所述深度图像中包含的路面区域。
  3. 根据权利要求1所述的方法，其特征在于，所述确定所述路面区域中的疑似坑洼区域，包括：
    计算所述路面区域的行均值；
    建立带阻滤波器；
    使用所述带阻滤波器对所述行均值进行滤波处理，得到所述疑似坑洼区域。
  4. 根据权利要求1所述的方法，其特征在于，所述根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域，包括：
    对所述疑似坑洼区域进行预处理；
    提取所述疑似坑洼区域的轮廓，并将所述轮廓作为候选坑洼区域；
    计算所述候选坑洼区域的面积；
    当所述候选坑洼区域的面积大于面积阈值时，确定所述深度图像中包含坑洼区域。
  5. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    当所述候选坑洼区域的面积小于或者等于面积阈值时，删除所述候选坑洼区域。
  6. 根据权利要求1或4所述的方法，其特征在于，所述方法还包括：
    当确定所述深度图像中包含坑洼区域时，输出提示信息。
  7. 一种信息处理装置，其特征在于，包括：
    获取单元，用于获取深度图像；
    处理单元，用于对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
    确定单元，用于确定所述路面区域中的疑似坑洼区域；
    判断单元，用于根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。
  8. 根据权利要求7所述的装置，其特征在于，所述深度图像为相机坐标系下的图像；
    所述处理单元，具体用于：
    对所述深度图像进行坐标转换，将相机坐标系转换为世界坐标系；
    对世界坐标系下的所述深度图像进行处理，并计算行均值得到行均值图；
    对所述行均值图进行处理，确定疑似地面区域；
    根据预设的主平面位置阈值对所述疑似地面区域进行判断，确定所述深度图像中包含的路面区域。
  9. 根据权利要求7所述的装置，其特征在于，所述确定单元，具体用于：
    计算所述路面区域的行均值；
    建立带阻滤波器；
    使用所述带阻滤波器对所述行均值进行滤波处理，得到所述疑似坑洼区域。
  10. 根据权利要求7所述的装置，其特征在于，所述判断单元，具体用于：
    对所述疑似坑洼区域进行预处理；
    提取所述疑似坑洼区域的轮廓，并将所述轮廓作为候选坑洼区域；
    计算所述候选坑洼区域的面积；
    当所述候选坑洼区域的面积大于面积阈值时，确定所述深度图像中包含坑洼区域。
  11. 根据权利要求10所述的装置，其特征在于，所述装置还包括：
    删除单元，用于当所述候选坑洼区域的面积小于或者等于面积阈值时，删除所述候选坑洼区域。
  12. 根据权利要求7或10所述的装置，其特征在于，所述装置还包括：
    输出单元，用于当确定所述深度图像中包含坑洼区域时，输出提示信息。
  13. 一种云处理设备，其特征在于，所述设备包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，使得所述设备执行如权利要求1～6中任一种所述的方法。
  14. 一种计算机程序产品，其特征在于，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现如权利要求1～6中任一种所述的方法。
PCT/CN2018/072132 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品 Ceased WO2019136641A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/609,447 US11379963B2 (en) 2018-01-10 2018-01-10 Information processing method and device, cloud-based processing device, and computer program product
PCT/CN2018/072132 WO2019136641A1 (zh) 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品
CN201880000099.1A CN108235774B (zh) 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品
JP2019559815A JP6955783B2 (ja) 2018-01-10 2018-01-10 情報処理方法、装置、クラウド処理デバイス及びコンピュータプログラム製品
EP18899638.3A EP3605460A4 (en) 2018-01-10 2018-01-10 INFORMATION PROCESSING METHOD AND DEVICE, CLOUD PROCESSING DEVICE AND COMPUTER PROGRAM PRODUCT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/072132 WO2019136641A1 (zh) 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品

Publications (1)

Publication Number Publication Date
WO2019136641A1 true WO2019136641A1 (zh) 2019-07-18

Family

ID=62657689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/072132 Ceased WO2019136641A1 (zh) 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品

Country Status (5)

Country Link
US (1) US11379963B2 (zh)
EP (1) EP3605460A4 (zh)
JP (1) JP6955783B2 (zh)
CN (1) CN108235774B (zh)
WO (1) WO2019136641A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149656A (zh) * 2020-09-29 2020-12-29 腾讯科技（深圳）有限公司 箱体透气罩区域确定方法、装置、计算机设备和存储介质
CN112435297A (zh) * 2020-12-02 2021-03-02 达闼机器人有限公司 目标物体位姿确定方法、装置、存储介质及电子设备
CN113536854A (zh) * 2020-04-20 2021-10-22 蘑菇车联信息科技有限公司 一种高精地图路牌的生成方法、装置及服务器
CN115760805A (zh) * 2022-11-24 2023-03-07 中山大学 一种基于视触觉进行加工元件表面凹陷的定位方法
CN116820125A (zh) * 2023-06-07 2023-09-29 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020006764A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
WO2020006765A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 地面检测方法、相关装置及计算机可读存储介质
CN110852312B (zh) * 2020-01-14 2020-07-17 深圳飞科机器人有限公司 悬崖检测方法、移动机器人的控制方法及移动机器人
CN111274939B (zh) * 2020-01-19 2023-07-14 交信北斗科技有限公司 基于单目摄像头的道路路面坑洼破损自动提取方法
CN112070700B (zh) * 2020-09-07 2024-03-29 深圳市凌云视迅科技有限责任公司 一种去除深度图像中突起干扰噪声的方法与装置
CN112099504B (zh) * 2020-09-16 2024-06-18 深圳优地科技有限公司 机器人移动方法、装置、设备及存储介质
DE102021107904A1 (de) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz
CN115393813B (zh) * 2022-08-18 2023-05-02 中国人民公安大学 基于遥感图像的道路识别方法、装置、设备及存储介质
CN116258710B (zh) * 2023-03-16 2025-10-24 潍柴动力股份有限公司 基于青贮机的草料深度确定方法、装置、设备及介质
CN116704459A (zh) * 2023-04-17 2023-09-05 蔚来汽车科技(安徽)有限公司 路面坑洼检测方法、系统、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106597690A (zh) * 2016-11-23 2017-04-26 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知眼镜
CN106843491A (zh) * 2017-02-04 2017-06-13 上海肇观电子科技有限公司 带增强现实的智能设备及电子设备
CN206460410U (zh) * 2017-02-04 2017-09-01 上海肇观电子科技有限公司 带增强现实的智能设备
CN107341789A (zh) * 2016-11-23 2017-11-10 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264673B2 (en) * 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
JP2014106897A (ja) 2012-11-29 2014-06-09 Toyota Motor Corp 通行可否判定装置
CN104200453B (zh) 2014-09-15 2017-01-25 西安电子科技大学 基于图像分割和可信度的视差图像校正方法
CN104463145B (zh) * 2014-12-23 2018-07-31 上海斐讯数据通信技术有限公司 一种电子设备及障碍提醒方法
CN104899869B (zh) * 2015-05-14 2017-09-01 浙江大学 基于rgb‑d相机和姿态传感器的平面和障碍检测方法
JP6811534B2 (ja) 2016-02-04 2021-01-13 株式会社トプコン 道路性状の表示方法、及び道路性状の表示装置
US10140719B2 (en) * 2016-12-22 2018-11-27 TCL Research America Inc. System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles
US10788829B2 (en) * 2017-12-20 2020-09-29 International Business Machines Corporation Self-driving vehicle passenger management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106597690A (zh) * 2016-11-23 2017-04-26 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知眼镜
CN107341789A (zh) * 2016-11-23 2017-11-10 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知系统和方法
CN106843491A (zh) * 2017-02-04 2017-06-13 上海肇观电子科技有限公司 带增强现实的智能设备及电子设备
CN206460410U (zh) * 2017-02-04 2017-09-01 上海肇观电子科技有限公司 带增强现实的智能设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605460A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536854A (zh) * 2020-04-20 2021-10-22 蘑菇车联信息科技有限公司 一种高精地图路牌的生成方法、装置及服务器
CN112149656A (zh) * 2020-09-29 2020-12-29 腾讯科技（深圳）有限公司 箱体透气罩区域确定方法、装置、计算机设备和存储介质
CN112435297A (zh) * 2020-12-02 2021-03-02 达闼机器人有限公司 目标物体位姿确定方法、装置、存储介质及电子设备
CN115760805A (zh) * 2022-11-24 2023-03-07 中山大学 一种基于视触觉进行加工元件表面凹陷的定位方法
CN115760805B (zh) * 2022-11-24 2024-02-09 中山大学 一种基于视触觉进行加工元件表面凹陷的定位方法
CN116820125A (zh) * 2023-06-07 2023-09-29 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统
CN116820125B (zh) * 2023-06-07 2023-12-22 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统

Also Published As

Publication number Publication date
CN108235774A (zh) 2018-06-29
CN108235774B (zh) 2020-07-14
EP3605460A1 (en) 2020-02-05
US11379963B2 (en) 2022-07-05
JP6955783B2 (ja) 2021-10-27
JP2020518918A (ja) 2020-06-25
EP3605460A4 (en) 2020-06-17
US20200090323A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
WO2019136641A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN106909873B (zh) 人脸识别的方法和装置
EP3358298B1 (en) Building height calculation method and apparatus, and storage medium
CN110070570A (zh) 一种基于深度信息的障碍物检测系统及方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN115082815B (zh) 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统
CN103093198B (zh) 一种人群密度监测方法及装置
CN108280401B (zh) 一种路面检测方法、装置、云端服务器及计算机程序产品
CN116309810B (zh) 一种火灾场景下消防机器人的实时火焰定位方法
CN106264537B (zh) 图像中人体姿态高度的测量系统及方法
CN116188417B (zh) 基于slam和图像处理的裂缝检测及其三维定位方法
CN105913013A (zh) 双目视觉人脸识别算法
CN114648686A (zh) 一种融合激光点云与rgb图像数据的逆光水面目标识别方法、系统及装置
CN111402331A (zh) 基于视觉词袋和激光匹配的机器人重定位方法
CN111899345B (zh) 一种基于2d视觉图像的三维重建方法
CN114120417A (zh) 人脸图像处理方法、装置、电子设备和存储介质
CN116168385B (zh) 一种基于视觉三维场景重建的样本采集结果评估方法
CN103413318A (zh) 靶标球镜面中心定位方法
CN115272417A (zh) 图像数据的处理方法、图像处理设备以及可读存储介质
CN117008136A (zh) 车辆前方障碍物的测距方法、装置、电子设备及存储介质
CN120496188A (zh) 融合图像处理与深度学习的员工行为安全预警系统及其方法
CN106127147B (zh) 一种基于三维数据的人脸深度纹理修复方法
CN110473246B (zh) 一种基于双目视觉的多重遮挡目标的测距方法
CN114612809B (zh) 一种安全边界、平面、障碍物自动识别和精准定位的方法
CN116977615B (zh) 荔枝果梗识别定位方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899638

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019559815

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018899638

Country of ref document: EP

Effective date: 20191029

NENP Non-entry into the national phase

Ref country code: DE