WO2017197988A1 - 一种确定物体体积的方法及装置 - Google Patents

一种确定物体体积的方法及装置 Download PDF

Info

Publication number
WO2017197988A1
WO2017197988A1 PCT/CN2017/078768 CN2017078768W WO2017197988A1 WO 2017197988 A1 WO2017197988 A1 WO 2017197988A1 CN 2017078768 W CN2017078768 W CN 2017078768W WO 2017197988 A1 WO2017197988 A1 WO 2017197988A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
depth
depth image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/078768
Other languages
English (en)
French (fr)
Inventor
张文聪
吴旷
贾永华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to US16/099,343 priority Critical patent/US10922834B2/en
Priority to EP17798552.0A priority patent/EP3460385B1/en
Publication of WO2017197988A1 publication Critical patent/WO2017197988A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present application relates to the field of machine vision technology, and in particular to a method and apparatus for determining the volume of an object.
  • Volume data as one of the most basic attribute information of objects, is widely used in the fields of production and logistics, especially in the fields of volume-based logistics billing, automatic loading of objects, and so on.
  • the object here refers to a relatively standard rectangular parallelepiped object.
  • volume determination methods include a laser determination method and a manual scale determination method.
  • the laser determination method has high precision, it requires expensive laser measurement equipment, and the cost performance is low, which is difficult to be widely accepted by users; and the determination method using the manual scale requires manual cooperation, and is affected by manual operation and emotion. As a result, neither accuracy nor efficiency can be guaranteed.
  • the purpose of the embodiments of the present application is to provide a method and a device for determining the volume of an object, so as to achieve the purpose of determining the volume of the object with high precision, high efficiency, and low economic cost.
  • the specific technical solutions are as follows:
  • an embodiment of the present application provides a method for determining an object volume, including:
  • a volume of the target object is determined based on the target circumscribed rectangle and depth data in the target depth image.
  • the acquiring the target depth image of the target object collected by the depth image acquiring device includes:
  • a target depth image containing the target object acquired by the time-of-flight TOF camera is obtained.
  • the segmentation of the target image region corresponding to the target object is performed based on the depth data in the target depth image, including:
  • the target image region corresponding to the target object is segmented by using a depth map frame difference method.
  • the determining, according to the depth data in the target depth image, the target image region corresponding to the target object by using a depth map frame difference method including:
  • the predetermined background depth image is a pre-depth image acquisition that does not include the target object An image acquired by the device for the background environment in which the target object is located;
  • the target image region corresponding to the target object is segmented from the binarized image after the binarization process.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region is determined by the connected region analysis algorithm or the edge detection fitting algorithm.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the determining, according to the target circumscribed rectangle and the depth data in the target depth image, the volume of the target object including:
  • the volume of the target object is obtained by using the three-dimensional coordinates of the respective reference points and the depth data of the target depth image.
  • an apparatus for determining an object volume including:
  • a depth image obtaining module configured to obtain a target depth image that is collected by the depth image capturing device and includes the target object
  • An image region segmentation module configured to segment a target image region corresponding to the target object based on depth data in the target depth image
  • An circumscribing rectangle determining module configured to determine a target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region
  • a volume determining module configured to determine a volume of the target object based on the target circumscribed rectangle.
  • the depth image obtaining module includes:
  • the depth image obtaining unit is configured to obtain a target depth image including the target object acquired by the time-of-flight TOF camera.
  • the image area segmentation module includes:
  • the image region dividing unit is configured to segment the target image region corresponding to the target object by using a depth map frame difference method based on the depth data in the target depth image.
  • the image area dividing unit includes:
  • a subtraction subunit configured to subtract depth data of each pixel in the target depth image from depth data of a corresponding pixel point of the predetermined background depth image, wherein the predetermined background depth image does not include the target object Collected in advance by the depth image acquisition device for the An image of the background environment in which the target object is located;
  • a frame difference image forming subunit configured to form a frame difference image corresponding to the target depth image based on a subtraction result corresponding to each pixel point
  • a binarization processing subunit configured to perform binarization processing on the frame difference image
  • the image region segmentation sub-unit is configured to segment the target image region corresponding to the target object from the binarized frame difference image.
  • the circumscribed rectangle determining module includes:
  • the first circumscribed rectangle determining unit is configured to determine, by using a connected area analysis algorithm or an edge detection fitting algorithm, a target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area.
  • the circumscribed rectangle determining module includes:
  • a second circumscribing rectangle determining unit configured to determine a target circumscribed rectangle having a smallest area value corresponding to the target image region
  • a third circumscribed rectangle determining unit configured to determine a target circumscribed rectangle having a smallest difference between the area value corresponding to the target image area and the predetermined area threshold.
  • the volume determining module includes:
  • An image coordinate extraction unit configured to extract image coordinates of the vertices of the target circumscribed rectangle in the frame difference image after binarization processing
  • a reference point forming unit configured to project image coordinates of the extracted respective vertices into the target depth image to form a reference point located in the target depth image
  • a three-dimensional coordinate calculation unit for calculating a three-dimensional coordinate of each reference point corresponding to the camera world coordinate system by using a perspective projection principle of the camera imaging
  • a volume determining unit configured to obtain a volume of the target object by using three-dimensional coordinates of the respective reference points and depth data of the target depth image.
  • the embodiment of the present application further provides a storage medium for storing executable program code, where the executable program code is executed to execute the method for determining an object volume according to an embodiment of the present application.
  • the embodiment of the present application further provides an application program for performing a method for determining an object volume according to an embodiment of the present application at runtime.
  • an embodiment of the present application further provides an electronic device, including: a housing, a processor, a memory, a circuit board, and a power supply circuit, wherein the circuit board is disposed inside the space enclosed by the housing, the processor and the memory Provided on a circuit board; a power supply circuit for powering each circuit or device; a memory for storing executable program code; and a processor for executing the determination described in the embodiment of the present application by running executable program code stored in the memory The method of object volume.
  • the target image region corresponding to the target object is segmented based on the depth data in the target depth image; and the target image is determined.
  • FIG. 1 is a flowchart of a method for determining an object volume according to an embodiment of the present application
  • FIG. 2 is another flow chart of a method for determining an object volume according to an embodiment of the present application
  • FIG. 3 is another flowchart of a method for determining an object volume according to an embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of an apparatus for determining an object volume according to an embodiment of the present application.
  • FIG. 5 is a schematic structural diagram of an electronic device according to an embodiment of the present application.
  • the embodiments of the present application provide a method and a device for determining the volume of an object, so as to achieve the purpose of determining the volume of the object with high precision, high efficiency, and low economic cost.
  • a method for determining the volume of an object provided by the embodiment of the present application is first introduced.
  • the execution body of the method for determining the volume of the object provided by the embodiment of the present application may be a device for determining the volume of the object, and in practical applications, the device for determining the volume of the object may be set to the depth. It is reasonable that the function software in the image acquisition device, or functional software, can be provided in a background server that communicates with the depth image acquisition device.
  • the object to be determined according to the embodiment of the present application may be: a workpiece, a package, or the like belonging to a relatively standard rectangular parallelepiped in production and logistics.
  • a method for determining an object volume may include:
  • the device for determining the volume of the object may first obtain the target depth image of the target object collected by the depth image acquisition device, and then perform subsequent processing using the obtained target depth image containing the target object. Wherein at least one target object may be included in one frame of the target depth image.
  • the device for determining the volume of the object can directly obtain the target depth image acquired by the depth image acquisition device;
  • the device for determining the volume of the object can obtain the target depth image acquired by the background server from the depth image capturing device, and the background server from the depth image
  • the way to obtain the target depth image in the acquisition device can be active acquisition or passive reception, which is reasonable.
  • the depth image capturing device can be placed at a position where the depth data of the target object can be collected.
  • the method of collecting the target depth image may be a triggering collection mode.
  • the so-called triggering collection mode may start to trigger the collection of the depth image only when the measured target object appears in the scene.
  • the manner of triggering the collection may include External physical trigger triggered by photoelectric signal
  • the method or the intelligent analysis automatic trigger mode wherein the external physical trigger mode triggered by the photoelectric signal specifically refers to when the target object that needs to determine the volume passes, the photoelectric signal is interrupted, thereby issuing a trigger signal to the depth image acquisition device, and the intelligent analysis automatically triggers.
  • the method refers to the automatic detection by the motion detection algorithm to determine whether the target object appears, and then the depth image acquisition device can acquire the target depth image about the target object when the judgment result indicates that it appears.
  • the depth image capturing device may be a TOF (Time of Flight) camera.
  • the obtained depth image capturing device includes a target depth image of the target object.
  • the method may include: obtaining a target depth image of the target object acquired by a TOF (Time of Flight) camera.
  • the depth image acquisition principle of the TOF camera is: by continuously transmitting a light pulse to the target object, and then receiving the light returned from the target object by using the sensor, and obtaining the distance of the target object by detecting the flight time of the light pulse.
  • the depth image capturing device is not limited to the TOF camera. Other devices that can collect the depth image can also be used as the depth image capturing device used in the embodiments of the present application.
  • the correlation of the depth of the image is as follows: the picture is composed of one pixel, all the pixels of different colors constitute a complete image, and the computer stores the picture in binary. Where, if 1 bit is used for storage, that is, one bit is used for storage, then the pixel has a value range of 0 or 1, then the picture is either black or white; if 4 bit is used for storage, then the pixel The value of the point ranges from 0 to 2 to the power of 4; if 8 bits are used for storage, the value of this pixel ranges from 0 to 2, and so on; in the prior art, the computer stores a single pixel. The bit used for the point is called the depth of the image, and the so-called depth image is a picture that can reflect the depth of the picture.
  • the specific implementation of the target depth image of the target object collected by the depth image acquisition device is only taken as an example and should not be construed as limiting the embodiments of the present application.
  • the target image region corresponding to the target object is segmented according to the depth data in the target depth image.
  • the target image region corresponding to the target object may be segmented based on the depth data in the target depth image.
  • the segmenting the target image region corresponding to the target object based on the depth data in the target depth image may include:
  • the target image region corresponding to the target object is segmented by using the depth map frame difference method.
  • the specific implementation manner of segmenting the target image region corresponding to the target object based on the depth data in the target depth image is only an example, and should not be limited to the embodiment of the present application.
  • the following describes a specific implementation manner of the target image region corresponding to the target object by using the depth map frame difference method based on the depth data in the target depth image.
  • the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region may be determined, and then the target circumscribed rectangle is used to perform subsequent processing.
  • the connected region analysis algorithm or the edge detection fitting algorithm may be used to determine the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region, which is of course not limited to the connected region analysis algorithm and the edge.
  • the fitting algorithm is detected.
  • the basic principle of the so-called connected region analysis algorithm is: first, the connected region is marked for the binarized image, and then the convex hull of each connected region is calculated, and the circumscribed rectangle characteristic of the minimum area of the convex hull is used, that is, one edge on the convex hull It coincides with one edge of the circumscribed rectangle and the four sides of the rectangle must have the characteristics of the vertices of the convex hull.
  • the minimum circumscribed rectangle corresponding to the target object is calculated.
  • the convex hull is the existing basic concept in computer geometry and is included.
  • the minimum convex polygon of all point sets in the connected region; the basic principle of the so-called edge detection fitting algorithm is: directly fitting the edge of each target image region by a straight line fitting method, and calculating the external connection of the target image region according to the edge straight line equation Rectangular, in which the straight line fitting method is a common method in the prior art, mainly Hough transform and least squares fitting.
  • the Hough transform is a parameter estimation technique using the voting principle. The principle is to use the point-line duality of the image space and the Hough parameter space to transform the detection problem in the image space into the parameter space.
  • E ⁇ 2 ⁇ [p(Xi)-Yi] ⁇ 2
  • the function p(x) is called the fitting function or the least squares solution
  • the method of fitting the function p(x) is called the least square method of curve fitting.
  • the target circumscribed rectangles corresponding to the target image area there may be multiple target circumscribed rectangles corresponding to the target image area, and one of the plurality of target circumscribed rectangles may be obtained according to a predetermined condition, and then according to the acquired target external condition that meets the predetermined condition.
  • the rectangle performs a subsequent volume determination process.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area may include: determining a target circumscribed rectangle having the smallest area value corresponding to the target image area;
  • the target circumscribed rectangle with the smallest area value is the circumscribed rectangle that best fits the edge of the target image area, and therefore can be used for subsequent volume determination; in addition, the so-called target external value with the smallest difference between the area value and the predetermined area threshold value
  • the rectangle is a circumscribed rectangle having the smallest error with the circumscribed rectangle as a reference standard, and therefore can also be used for subsequent volume determination, wherein the area of the circumscribed rectangle as a reference standard is a predetermined area threshold.
  • S104 Determine a volume of the target object based on the target circumscribed rectangle and the depth data in the target depth image.
  • the volume of the target object may be determined by a specific processing manner based on the target circumscribed rectangle and the depth data in the target depth image.
  • the target object is segmented based on the depth data in the target depth image.
  • Corresponding target image area determining a target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area; determining a volume of the target object based on the target circumscribed rectangle and depth data in the target depth image.
  • the solution adopts a deep image capturing device without laser measuring equipment, and the economic cost is low.
  • the scheme adopts a software program to automatically determine the volume without manual cooperation, and has high precision and efficiency. It can be seen that the purpose of determining the volume of the object is to achieve high precision, high efficiency and low economic cost.
  • the segmentation of the target image region corresponding to the target object by using the depth map frame difference method based on the depth data in the target depth image (S102) may include:
  • the predetermined background depth image is an image that is not included in the target object and is collected by the depth image capturing device in advance for the background environment of the target object.
  • the subtracting the depth data of each pixel point in the target depth image from the depth data of the corresponding pixel point of the predetermined background depth image specifically means: for each pixel point in the target depth image, subtracting the depth data thereof Go to the depth data of the corresponding pixel of the background depth image.
  • subtracting the pixel point 1 in the target depth image from the corresponding pixel point 2 in the predetermined background depth image may specifically refer to subtracting the value of the pixel point 1 from the value of the corresponding pixel point 2.
  • the so-called binarization processing on the frame difference image specifically refers to: setting the absolute value of the pixel value of each pixel in the frame difference image to a predetermined threshold. Compare, if it is greater than the threshold, change the pixel value of the pixel to 1, otherwise, the pixel The pixel value is changed to 0. Of course, in theory, if it is larger than the threshold, the pixel value of the pixel can be changed to 0. Otherwise, the pixel value of the pixel is changed to 1; further, the frame difference is made by such processing.
  • the pixel value of each pixel in the target image region corresponding to the target object in the image is different from the pixel value of each pixel in the target image region, and the target object can be segmented from the binarized frame difference image.
  • Corresponding target image area the binary value of the binarization process may also be 0 and 255.
  • the specific manner of performing the binarization processing on the frame difference image is similar to the above-described binarization processing for 0 and 1, and is not here. Do it in detail.
  • the determining the volume of the target object based on the target circumscribed rectangle and the depth data in the target depth image (S104) may include:
  • S1044 Obtain a volume of the target object by using three-dimensional coordinates of each reference point and depth data of the target depth image.
  • the frame difference image corresponds to a two-dimensional coordinate system. Therefore, the image coordinates of the respective vertices of the target circumscribed rectangle in the frame difference image after binarization processing can be extracted; in addition, the frame difference image is used as the basis.
  • the target depth image is determined, and therefore, the frame difference image is the same as the image specification of the target depth image, then the frame difference image is the same as the two-dimensional coordinate system of the target depth image, such that the image coordinates of the reference point located in the target depth image
  • the image coordinates of the corresponding vertex in the frame difference image located after the binarization processing are the same.
  • the specific implementation process of obtaining the volume of the target object by using the three-dimensional coordinates of the respective reference points and the depth data of the target depth image may include: calculating the Euclidean distance between the two reference points, according to the calculated Euclidean distance, determine the length and width of the target object, subtract the Z value corresponding to the target background depth image from the Z value corresponding to the target object, obtain the height of the target object, and further, determine the length and width of the target object.
  • the product of the height and the height is determined as the volume of the target object; wherein the Z value corresponding to the target object is the Z value corresponding to the region corresponding to the four reference points, that is, the depth value; the Z value corresponding to the predetermined background depth image For depth values.
  • the diagonal lines of the rectangle exist in the two or two lines of the four reference points, that is, at the four reference points.
  • the Euclidean distance between the two pairs includes the Euclidean distance between the reference points at both ends of the diagonal; and based on this factor, when determining the length and width of the target object based on the calculated Euclidean distance, it should be first removed as a pair.
  • the Euclidean distance between the reference points at both ends of the corner line that is, the Euclidean distance with the largest value removed, and then the remaining Euclidean distance is determined as the length and width of the target object.
  • the embodiment of the present application further provides a device for determining the volume of an object.
  • the method may include:
  • a depth image obtaining module 410 configured to obtain a target depth image that is collected by the depth image capturing device and includes the target object;
  • the image region segmentation module 420 is configured to segment the target image region corresponding to the target object based on the depth data in the target depth image;
  • the circumscribing rectangle determining module 430 is configured to determine a target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region;
  • the volume determining module 440 is configured to determine a volume of the target object based on the target circumscribed rectangle and depth data in the target depth image.
  • the object including the target object collected by the depth image acquisition device is obtained.
  • the target image region corresponding to the target object is segmented; the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region is determined; and the circumscribed rectangle is based on the target and the target.
  • the depth data in the target depth image determines the volume of the target object.
  • the solution adopts a deep image capturing device without laser measuring equipment, and the economic cost is low.
  • the scheme adopts a software program to automatically determine the volume without manual cooperation, and has high precision and efficiency. It can be seen that the purpose of determining the volume of the object is to achieve high precision, high efficiency and low economic cost.
  • the depth image obtaining module 410 may include:
  • the depth image obtaining unit is configured to obtain a target depth image including the target object acquired by the time-of-flight TOF camera.
  • the image area segmentation module 420 may include:
  • the image region dividing unit is configured to segment the target image region corresponding to the target object by using a depth map frame difference method based on the depth data in the target depth image.
  • the image area dividing unit may include:
  • a subtraction subunit configured to subtract depth data of each pixel in the target depth image from depth data of a corresponding pixel point of the predetermined background depth image, wherein the predetermined background depth image does not include the target object
  • a frame difference image forming subunit configured to form a frame difference image corresponding to the target depth image based on a subtraction result corresponding to each pixel point
  • a binarization processing subunit configured to perform binarization processing on the frame difference image
  • the image region segmentation sub-unit is configured to segment the target image region corresponding to the target object from the binarized frame difference image.
  • the circumscribed rectangle determining module 430 may include:
  • the first circumscribed rectangle determining unit is configured to determine, by using a connected area analysis algorithm or an edge detection fitting algorithm, a target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area.
  • the circumscribed rectangle determining module 430 may include:
  • a second circumscribing rectangle determining unit configured to determine that an area value corresponding to the target image area is the most Small target circumscribed rectangle
  • a third circumscribed rectangle determining unit configured to determine a target circumscribed rectangle having a smallest difference between the area value corresponding to the target image area and the predetermined area threshold.
  • the volume determining module 440 may include:
  • An image coordinate extraction unit configured to extract image coordinates of the vertices of the target circumscribed rectangle in the frame difference image after binarization processing
  • a reference point forming unit configured to project image coordinates of the extracted respective vertices into the target depth image to form a reference point located in the target depth image
  • a three-dimensional coordinate calculation unit for calculating a three-dimensional coordinate of each reference point corresponding to the camera world coordinate system by using a perspective projection principle of the camera imaging
  • a volume determining unit configured to obtain a volume of the target object by using three-dimensional coordinates of the respective reference points and depth data of the target depth image.
  • the embodiment of the present application further provides a storage medium for storing executable program code, where the executable program code is executed at runtime: determining the volume of the object provided by the embodiment of the present application.
  • the method for determining the volume of the object may include the following steps:
  • a volume of the target object is determined based on the target circumscribed rectangle and depth data in the target depth image.
  • the obtaining the target depth image that is collected by the depth image acquiring device and including the target object includes:
  • a target depth image containing the target object acquired by the time-of-flight TOF camera is obtained.
  • the segmentating the target image region corresponding to the target object based on the depth data in the target depth image includes:
  • the target image region corresponding to the target object is segmented by using a depth map frame difference method.
  • the determining, according to the depth data in the target depth image, the target image region corresponding to the target object by using a depth map frame difference method including:
  • the predetermined background depth image is a pre-depth image acquisition that does not include the target object An image acquired by the device for the background environment in which the target object is located;
  • the target image region corresponding to the target object is segmented from the binarized image after the binarization process.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region is determined by the connected region analysis algorithm or the edge detection fitting algorithm.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the determining the volume of the target object based on the target circumscribed rectangle and the depth data in the target depth image comprises:
  • the volume of the target object is obtained by using the three-dimensional coordinates of the respective reference points and the depth data of the target depth image.
  • the storage medium stores executable code for performing the method for determining the volume of the object provided by the embodiment of the present application at runtime, thereby achieving high precision, high efficiency, and low economic cost when determining the volume of the object. purpose.
  • the embodiment of the present application further provides an application program for performing, at runtime, a method for determining an object volume provided by an embodiment of the present application; specifically, the method for determining an object volume, It can include the following steps:
  • a volume of the target object is determined based on the target circumscribed rectangle and depth data in the target depth image.
  • the obtaining the target depth image that is collected by the depth image acquiring device and including the target object includes:
  • a target depth image containing the target object acquired by the time-of-flight TOF camera is obtained.
  • the segmentating the target image region corresponding to the target object based on the depth data in the target depth image includes:
  • the target image region corresponding to the target object is segmented by using a depth map frame difference method.
  • the determining, according to the depth data in the target depth image, the target image region corresponding to the target object by using a depth map frame difference method including:
  • the predetermined background depth image is a pre-depth image acquisition that does not include the target object
  • the target image region corresponding to the target object is segmented from the binarized image after the binarization process.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region is determined by the connected region analysis algorithm or the edge detection fitting algorithm.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the determining the volume of the target object based on the target circumscribed rectangle and the depth data in the target depth image comprises:
  • the volume of the target object is obtained by using the three-dimensional coordinates of the respective reference points and the depth data of the target depth image.
  • the application performs the method for determining the volume of the object provided by the embodiment of the present application at runtime, thereby achieving the purpose of determining the volume of the object while taking into account high precision, high efficiency, and low economic cost.
  • the embodiment of the present application further provides an electronic device, including: a housing 510, a processor 520, a memory 530, a circuit board 540, and a power circuit 550, wherein the circuit board 540 is disposed in the housing 510.
  • the processor 520 and the memory 530 are disposed on the circuit board 540; the power supply circuit 540 is used to supply power to the respective circuits or devices; the memory 530 is used to store executable program code; and the processor 520 is stored in the running memory.
  • the executable program code is configured to perform the method for determining the volume of the object provided by the embodiment of the present application; wherein the method for determining the volume of the object may be as follows:
  • a volume of the target object is determined based on the target circumscribed rectangle and depth data in the target depth image.
  • the electronic device may be a depth image acquisition device or a background server that communicates with the depth image acquisition device.
  • the obtaining the target depth image that is collected by the depth image acquiring device and including the target object includes:
  • a target depth image containing the target object acquired by the time-of-flight TOF camera is obtained.
  • the segmentating the target image region corresponding to the target object based on the depth data in the target depth image includes:
  • the target image region corresponding to the target object is segmented by using a depth map frame difference method.
  • the determining, according to the depth data in the target depth image, the target image region corresponding to the target object by using a depth map frame difference method including:
  • the predetermined background depth image is a pre-depth image acquisition that does not include the target object An image acquired by the device for the background environment in which the target object is located;
  • the target image region corresponding to the target object is segmented from the binarized image after the binarization process.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image region is determined by the connected region analysis algorithm or the edge detection fitting algorithm.
  • the determining the target circumscribed rectangle corresponding to the predetermined condition corresponding to the target image area includes:
  • the determining the volume of the target object based on the target circumscribed rectangle and the depth data in the target depth image comprises:
  • the volume of the target object is obtained by using the three-dimensional coordinates of the respective reference points and the depth data of the target depth image.
  • the processor of the electronic device runs a program corresponding to the executable program code by reading executable program code stored in the memory, and the program executes the determined object provided by the embodiment of the present application at runtime.
  • the method of volume can therefore achieve the purpose of determining the volume of the object with high precision, high efficiency and low economic cost.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种确定物体体积的方法，包括：获得深度图像采集设备所采集的包含目标物体的目标深度图像（S101）；基于目标深度图像中的深度数据，分割得到目标物体所对应的目标图像区域（S102）；确定目标图像区域所对应的符合预定条件的目标外接矩形（S103）；基于目标外接矩形和目标深度图像中的深度数据，确定目标物体的体积（S104）。与现有技术中的采用激光的确定方法相比，该方法采用深度图像采集设备而无需激光测量设备，经济成本较低，另外，与现有技术中的采用手工标尺的确定方法相比，该方法采用软件程序自动确定体积而无需人工配合，具有较高精度和效率，可见，该方法实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。还提供了一种确定物体体积的装置。

Description

一种确定物体体积的方法及装置
本申请要求于2016年5月16日提交中国专利局、申请号为201610323084.1发明名称为“一种确定物体体积的方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及机器视觉技术领域，特别是涉及一种确定物体体积的方法及装置。
背景技术
体积数据作为物体的一项最为基本的属性信息，被广泛应用生产和物流等领域中，特别是应用于基于体积的物流计费、物体的自动装载等领域。其中，这里的物体指较为标准的长方体物体。
现有技术中，常用的体积确定方法包括采用激光的确定方法和采用手工标尺的确定方法。其中，采用激光的确定方法虽然具有很高的精度，但是需昂贵的激光测量设备，性价比低，很难被用户广泛接受；而采用手工标尺的确定方法需要人工配合，且受人工操作及情绪影响，导致无论精度还是效率均无法得到保证。
发明内容
本申请实施例的目的在于提供一种确定物体体积的方法及装置，以实现确定物体体积时兼顾高精度、高效率和较低经济成本的目的。具体技术方案如下：
第一方面，本申请实施例提供了一种确定物体体积的方法，包括：
获得深度图像采集设备所采集的包含目标物体的目标深度图像；
基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。
可选的，所述获得深度图像采集设备所采集的包含目标物体的目标深度图像，包括：
获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
可选的，所述基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域，包括：
基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
可选的，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域，包括：
将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像；
基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
对所述帧差图像进行二值化处理；
从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
可选的，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
可选的，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
确定所述目标图像区域所对应的面积值最小的目标外接矩形；
或者，
确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标 外接矩形。
可选的，所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：
提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
第二方面，本申请实施例提供了一种确定物体体积的装置，包括：
深度图像获得模块，用于获得深度图像采集设备所采集的包含目标物体的目标深度图像；
图像区域分割模块，用于基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
外接矩形确定模块，用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
体积确定模块，用于基于所述目标外接矩形，确定所述目标物体的体积。
可选的，所述深度图像获得模块包括：
深度图像获得单元，用于获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
可选的，所述图像区域分割模块包括：
图像区域分割单元，用于基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
可选的，所述图像区域分割单元包括：
相减子单元，用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述 目标物体所在背景环境的图像；
帧差图像形成子单元，用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
二值化处理子单元，用于对所述帧差图像进行二值化处理；
图像区域分割子单元，用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
可选的，所述外接矩形确定模块包括：
第一外接矩形确定单元，用于通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
可选的，所述外接矩形确定模块包括：
第二外接矩形确定单元，用于确定所述目标图像区域所对应的面积值最小的目标外接矩形；
或者，
第三外接矩形确定单元，用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
可选的，所述体积确定模块包括：
图像坐标提取单元，用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
参考点形成单元，用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
三维坐标计算单元，用于利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
体积确定单元，用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
第三方面，本申请实施例还提供了一种存储介质，用于存储可执行程序代码，所述可执行程序代码被运行以执行本申请实施例所述的确定物体体积的方法。
第四方面，本申请实施例还提供了一种应用程序，所述应用程序用于在运行时执行本申请实施例所述的确定物体体积的方法。
第五方面，本申请实施例还提供了一种电子设备，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过运行存储器中存储的可执行程序代码，以执行本申请实施例所述的确定物体体积的方法。
本申请实施例中，在获得深度图像采集设备所采集的包含目标物体的目标深度图像后，基于该目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域；确定该目标图像区域所对应的符合预定条件的目标外接矩形；基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积。与现有技术中的采用激光的确定方法相比，本方案采用深度图像采集设备而无需激光测量设备，经济成本较低，另外，与现有技术中的采用手工标尺的确定方法相比，本方案采用软件程序自动确定体积而无需人工配合，具有较高精度和效率，可见，通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
附图说明
为了更清楚地说明本申请实施例和现有技术的技术方案，下面对实施例和现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种确定物体体积的方法的流程图；
图2为本申请实施例所提供的一种确定物体体积的方法的另一流程图；
图3为本申请实施例所提供的一种确定物体体积的方法的另一流程图；
图4为本申请实施例所提供的一种确定物体体积的装置的结构示意图；
图5为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而 不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术问题，本申请实施例提供了一种确定物体体积的方法及装置，以实现确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
下面首先对本申请实施例所提供的一种确定物体体积的方法进行介绍。
需要说明的是，本申请实施例所提供的一种确定物体体积的方法的执行主体可以为一种确定物体体积的装置，并且，在实际应用中，该确定物体体积的装置可以为设置于深度图像采集设备中的功能软件，或者，可以为设置于与深度图像采集设备相通信的后台服务器中的功能软件，这都是合理的。另外，本申请实施例所涉及的待确定体积的物体可以为：生产和物流中的属于较为标准的长方体的工件、包裹等物体。
如图1所示，本申请实施例所提供的一种确定物体体积的方法，可以包括：
S101，获得深度图像采集设备所采集的包含目标物体的目标深度图像；
在确定目标物体的体积的过程中，确定物体体积的装置可以首先获得深度图像采集设备所采集的包含目标物体的目标深度图像，进而，利用所获得的包含目标物体的目标深度图像执行后续的处理，其中，一帧目标深度图像中可以包括至少一个目标物体。可以理解的是，对于确定物体体积的装置为位于深度图像采集设备中的功能软件的情况而言，该确定物体体积的装置可以直接获得该深度图像采集设备所采集的目标深度图像；而对于确定物体体积的装置为位于后台服务器中的功能软件的情况而言，该确定物体体积的装置可以获得该后台服务器从该深度图像采集设备中获取的目标深度图像，并且，该后台服务器从该深度图像采集设备中获取目标深度图像的方式可以为主动获取或被动接收，这都是合理的。
需要说明的是，为了保证该深度图像采集设备能够采集到目标物体的深度图像，该深度图像采集设备可以被放置于能够采集到该目标物体的深度数据的位置。并且，采集目标深度图像的方式可以为触发采集方式，所谓的触发采集方式可以为只有当场景中出现被测的目标物体时才开始触发深度图像的采集，举例而言，触发采集的方式可以包括光电信号触发的外部物理触发 方式或智能分析自动触发方式，其中，光电信号触发的外部物理触发方式具体指当有需要确定体积的目标物体经过时，光电信号中断，从而发出触发信号给深度图像采集设备，而智能分析自动触发方式指利用运动检测算法进行自动检测来判定目标物体是否出现，进而在判断结果表明出现时深度图像采集设备可以采集关于目标物体的目标深度图像。
具体的，在一种实现方式中，所述深度图像采集设备可以为TOF(Time of flight，飞行时间)相机，此时，所述获得深度图像采集设备所采集的包含目标物体的目标深度图像，可以包括：获得TOF(Time of flight，飞行时间)相机所采集的包含目标物体的目标深度图像。其中，TOF相机的深度图像采集原理为：通过给目标物体连续发送光脉冲，然后利用传感器接收从目标物体返回的光，通过探测光脉冲的飞行时间来得到目标物的距离。当然，所述深度图像采集设备并不局限于TOF相机，其他可以采集深度图像的设备也可以作为本申请实施例所利用的深度图像采集设备。
为了便于对本申请实施例的理解，将图像的深度的相关介绍如下：图片是由一个个像素点构成的，所有不同颜色的像素点构成了一副完整的图像，计算机存储图片是以二进制来进行的，其中，如果采用1bit来存储，即用一位来存储，那么这个像素点的取值范围为0或者1，那么这帧图片要么是黑色要么是白色；如果采用4bit来存储，那么这个像素点的取值范围为0到2的4次方；如果采用8bit来存储，那么这个像素点的取值范围为0到2的8次方，以此类推；现有技术中将计算机存储单个像素点所用到的bit为称之为图像的深度，而所谓的深度图像为能够体现出图片的深度的图片。
需要强调的是，上述所给出的获得深度图像采集设备所采集的包含目标物体的目标深度图像的具体实现方式仅仅作为示例，并不应该构成对本申请实施例的限定。
S102，基于该目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域；
其中，由于需要确定目标物体的体积，在获得包含目标物体的目标深度图像后，可以基于该目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域。
具体的，在一种实现方式中，所述基于目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域，可以包括：
基于该目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域。
需要说明的是，所述基于目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域的具体实现方式仅仅作为示例，并不应该构成对本申请实施例的限定。另外，为了布局清楚，后续介绍基于该目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域的具体实现方式。
S103，确定该目标图像区域所对应的符合预定条件的目标外接矩形；
其中，在分割得到该目标物体所对应的目标图像区域后，为了确定目标物体的体积，可以确定该目标图像区域所对应的符合预定条件的目标外接矩形，进而利用该目标外接矩形执行后续的处理。
可以理解的是，在实际应用中，可以通过连通区域分析算法或边缘检测拟合算法，确定该目标图像区域所对应的符合预定条件的目标外接矩形，当然并不局限于连通区域分析算法和边缘检测拟合算法。具体的，所谓连通区域分析算法的基本原理为：首先对二值化图像进行连通区域标记，然后计算各连通区域的凸包，利用凸包最小面积的外接矩形特性，即凸包上的一条边与外接矩形的一条边重合且矩形的四条边上必然都有凸包的顶点的特性，计算目标物体所对应的最小的外接矩形，其中，凸包是计算机几何中的现有基本概念，是包含该连通区域中所有点集的最小凸多边形；所谓的边缘检测拟合算法的基本原理为：直接采用直线拟合方法拟合各目标图像区域的边缘，根据边缘直线方程计算出目标图像区域的外接矩形，其中，直线拟合方法现有技术的常用方法，主要有Hough变换和最小二乘拟合。具体的，Hough变换是一种使用表决原理的参数估计技术，原理是利用图像空间和Hough参数空间的点－线对偶性，把图像空间中的检测问题转换到参数空间。而最小二乘拟合的定义为：(xi)2为最小，按ni＝1这样的标准定义的拟合函数称为最小二乘拟合,是离散情形下的最佳平方逼近，对给定数据点{(Xi,Yi)}(i＝0,1,…,m),在取定的函数类Φ中，求p(x)∈Φ,使误差的平方和E^2 最小，E^2＝∑[p(Xi)-Yi]^2，另外，从几何意义上讲,就是寻求与给定点{(Xi,Yi)}(i＝0,1,…,m)的距离平方和为最小的曲线y＝p(x)，函数p(x)称为拟合函数或最小二乘解，求拟合函数p(x)的方法称为曲线拟合的最小二乘法。
另外，需要说明的是，该目标图像区域所对应的目标外接矩形可以有多个，可以从多个目标外接矩形中获取一个符合预定条件的，进而依据所获取到的一个符合预定条件的目标外接矩形执行后续的体积确定过程。基于上述需求，所述确定该目标图像区域所对应的符合预定条件的目标外接矩形，可以包括：确定该目标图像区域所对应的面积值最小的目标外接矩形；
或者，
确定该目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
其中，所谓的面积值最小的目标外接矩形为最贴合目标图像区域的边缘的外接矩形，因此，可以用于后续的体积确定；另外，所谓的面积值与预定面积阈值差值最小的目标外接矩形为与作为参考标准的外接矩形误差最小的外接矩形，因此，也可以用于后续的体积确定，其中，作为参考标准的外接矩形的面积值为预定面积阈值。
需要说明的是，上述的确定该目标图像区域所对应的符合预定条件的目标外接矩形的具体实现方式仅仅作为示例，并不应该构成对本申请实施例的限定。
S104，基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积。
在确定出目标外接矩形后，可以基于该目标外接矩形和该目标深度图像中的深度数据，通过特定的处理方式，确定该目标物体的体积。
需要说明的是，基于该目标外接矩形和该目标深度图像中的深度数据来确定该目标物体的体积的具体实现方式存在多种，为了方案清楚以及布局清楚，后续将举例介绍基于该目标外接矩形和该目标深度图像中的深度数据来确定该目标物体的体积的具体实现方式。
本申请实施例中，在获得深度图像采集设备所采集的包含目标物体的目标深度图像后，基于该目标深度图像中的深度数据，分割得到该目标物体所 对应的目标图像区域；确定该目标图像区域所对应的符合预定条件的目标外接矩形；基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积。与现有技术中的采用激光的确定方法相比，本方案采用深度图像采集设备而无需激光测量设备，经济成本较低，另外，与现有技术中的采用手工标尺的确定方法相比，本方案采用软件程序自动确定体积而无需人工配合，具有较高精度和效率，可见，通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
下面详细介绍基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域的具体实现方式。
如图2所示，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到该目标物体所对应的目标图像区域(S102)，可以包括：
S1021，将该目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减；
其中，所述预定背景深度图像为未包含该目标物体的、预先通过深度图像采集设备采集的针对于该目标物体所在背景环境的图像。
S1022，基于各个像素点所对应的相减结果形成该目标深度图像所对应的帧差图像；
S1023，对该帧差图像进行二值化处理；
S1024，从二值化处理后的帧差图像中分割得到该目标物体所对应的目标图像区域。
其中，将该目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减具体指：对于该目标深度图像中每一像素点而言，将其的深度数据减去预定背景深度图像相应像素点的深度数据。举例而言，对目标深度图像中的像素点1和预定背景深度图像中的相应像素点2进行相减，具体可以指将像素点1的值减去对应像素点2的值。
其中，假设二值化处理的二值为0和1，那么，所谓的对该帧差图像进行二值化处理具体指：将帧差图像中的各个像素点的像素值的绝对值与预定阈值比较，如果大于阈值则将该像素点的像素值更改为1，否则，将该像素点的 像素值更改为0，当然，理论上，如果大于阈值也可以将像素点的像素值更改为0，否则，将该像素点的像素值更改为1；进而，通过这样的处理方式，使得帧差图像中目标物体所对应的目标图像区域内的各个像素点的像素值不同于目标图像区域内各个像素点的像素值，进而能够从二值化处理后的帧差图像中分割得到该目标物体所对应的目标图像区域。当然，二值化处理的二值也可以为0和255，此时，所谓的对该帧差图像进行二值化处理的具体方式与上述关于0和1的二值化处理类似，在此不做详述。
下面举例介绍基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积的具体实现方式，当然，所举例介绍的该具体实现方式仅仅作为示例，并不应该构成对本申请实施例的限定。
如图3所示，所述基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积(S104)，可以包括：
S1041，提取该目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
S1042，将所提取的各个顶点的图像坐标投影到该目标深度图像中，形成位于该目标深度图像中的参考点；
S1043，利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
S1044，利用各个参考点的三维坐标和该目标深度图像的深度数据，得到该目标物体的体积。
可以理解的是，帧差图像对应有二维坐标系，因此，可以提取该目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；另外，由于帧差图像为依据目标深度图像所确定出，因此，帧差图像与目标深度图像的图像规格相同，那么，帧差图像与目标深度图像的二维坐标系相同，这样位于该目标深度图像中的参考点的图像坐标与位于二值化处理后的帧差图像中相应的顶点的图像坐标相同。
其中，利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标的具体实现方式可以采用现有技术实现，在此不 做赘述。
其中，利用各个参考点的三维坐标和该目标深度图像的深度数据，得到该目标物体的体积的具体的实现过程可以包括：计算4个参考点两两之间的欧式距离，根据所计算出的欧式距离，确定目标物体的长和宽，将预定背景深度图像所对应的Z值减去目标物体所对应的Z值，得到目标物体的高，进一步，将所确定出的目标物体的长、宽和高的乘积确定为目标物体的体积；其中，该目标物体所对应的Z值即为4个参考点所对应区域所对应的Z值，即深度值；该预定背景深度图像所对应的Z值为深度值。需要强调的是，由于以4个参考点作为顶点所构成的图形为矩形，那么，该4个参考点的两两连线中存在矩形的对角线，也就是说，在该4个参考点两两之间的欧式距离中，包括作为对角线两端的参考点间的欧式距离；而基于该种因素，根据所计算出的欧式距离确定目标物体的长和宽时，应该首先去除作为对角线两端的参考点间的欧式距离，即去除值最大的欧式距离，进而将其余的欧式距离确定为目标物体的长和宽。
当然，在计算目标物体的长和宽时，也可以选择一个参考点作为目标参考点，然后计算该目标参考点与其他三个参考点间的欧式距离，将值较小的两个欧式距离作为目标物体的长和宽，这也是合理的。
相应于上述方法实施例，本申请实施例还提供了一种确定物体体积的装置，如图4所示，可以包括：
深度图像获得模块410，用于获得深度图像采集设备所采集的包含目标物体的目标深度图像；
图像区域分割模块420，用于基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
外接矩形确定模块430，用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
体积确定模块440，用于基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。
本申请实施例中，在获得深度图像采集设备所采集的包含目标物体的目 标深度图像后，基于该目标深度图像中的深度数据，分割得到该目标物体所对应的目标图像区域；确定该目标图像区域所对应的符合预定条件的目标外接矩形；基于该目标外接矩形和该目标深度图像中的深度数据，确定该目标物体的体积。与现有技术中的采用激光的确定方法相比，本方案采用深度图像采集设备而无需激光测量设备，经济成本较低，另外，与现有技术中的采用手工标尺的确定方法相比，本方案采用软件程序自动确定体积而无需人工配合，具有较高精度和效率，可见，通过本方案实现了确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
其中，所述深度图像获得模块410，可以包括：
深度图像获得单元，用于获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
其中，所述图像区域分割模块420，可以包括：
图像区域分割单元，用于基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
进一步的，具体的，所述图像区域分割单元，可以包括：
相减子单元，用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像；
帧差图像形成子单元，用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
二值化处理子单元，用于对所述帧差图像进行二值化处理；
图像区域分割子单元，用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
其中，所述外接矩形确定模块430，可以包括：
第一外接矩形确定单元，用于通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
其中，所述外接矩形确定模块430，可以包括：
第二外接矩形确定单元，用于确定所述目标图像区域所对应的面积值最 小的目标外接矩形；
或者，
第三外接矩形确定单元，用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
其中，所述体积确定模块440，可以包括：
图像坐标提取单元，用于提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
参考点形成单元，用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
三维坐标计算单元，用于利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
体积确定单元，用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
相应于上述方法实施例，本申请实施例还提供了一种存储介质，用于存储可执行程序代码，所述可执行程序代码用于在运行时执行：本申请实施例所提供的确定物体体积的方法；具体的，所述确定物体体积的方法，可以包括如下步骤：
获得深度图像采集设备所采集的包含目标物体的目标深度图像；
基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。
可选地，所述获得深度图像采集设备所采集的包含目标物体的目标深度图像，包括：
获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
可选地，所述基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域，包括：
基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
可选地，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域，包括：
将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像；
基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
对所述帧差图像进行二值化处理；
从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
可选地，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
可选地，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
确定所述目标图像区域所对应的面积值最小的目标外接矩形；
或者，
确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
可选地，所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：
提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
本实施例中，存储介质存储有在运行时执行本申请实施例所提供的确定物体体积的方法的可执行代码，因此能够实现：确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
相应于上述方法实施例，本申请实施例还提供了一种应用程序，用于在运行时执行：本申请实施例所提供的确定物体体积的方法；具体的，所述确定物体体积的方法，可以包括如下步骤：
获得深度图像采集设备所采集的包含目标物体的目标深度图像；
基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。
可选地，所述获得深度图像采集设备所采集的包含目标物体的目标深度图像，包括：
获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
可选地，所述基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域，包括：
基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
可选地，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域，包括：
将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景 环境的图像；
基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
对所述帧差图像进行二值化处理；
从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
可选地，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
可选地，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
确定所述目标图像区域所对应的面积值最小的目标外接矩形；
或者，
确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
可选地，所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：
提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
本实施例中，应用程序在运行时执行本申请实施例所提供的确定物体体积的方法，因此能够实现：确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
相应于上述方法实施例，本申请实施例还提供了一种电子设备，包括：壳体510、处理器520、存储器530、电路板540和电源电路550，其中，电路板540安置在壳体510围成的空间内部，处理器520和存储器530设置在电路板540上；电源电路540，用于为各个电路或器件供电；存储器530用于存储可执行程序代码；处理器520通过运行存储器中存储的可执行程序代码，以执行本申请实施例所提供的确定物体体积的方法；其中，该确定物体体积的方法，可以如下步骤：
获得深度图像采集设备所采集的包含目标物体的目标深度图像；
基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。
其中，该电子设备可以为深度图像采集设备或与深度图像采集设备相通信的后台服务器。
可选地，所述获得深度图像采集设备所采集的包含目标物体的目标深度图像，包括：
获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
可选地，所述基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域，包括：
基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
可选地，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域，包括：
将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像；
基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
对所述帧差图像进行二值化处理；
从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
可选地，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
可选地，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
确定所述目标图像区域所对应的面积值最小的目标外接矩形；
或者，
确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
可选地，所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：
提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
本实施例中，该电子设备的处理器通过读取存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，该程序在运行时执行本申请实施例所提供的确定物体体积的方法，因此能够实现：确定物体体积时兼顾高精度、高效率和较低经济成本的目的。
需要强调的是，对于电子设备、应用程序以及存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (17)

  1. 一种确定物体体积的方法，其特征在于，包括：
    获得深度图像采集设备所采集的包含目标物体的目标深度图像；
    基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
    确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
    基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积。
  2. 根据权利要求1所述的方法，其特征在于，所述获得深度图像采集设备所采集的包含目标物体的目标深度图像，包括：
    获得飞行时间TOF相机所采集的包含目标物体的目标深度图像。
  3. 根据权利要求1所述的方法，其特征在于，所述基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域，包括：
    基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
  4. 根据权利要求3所述的方法，其特征在于，所述基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域，包括：
    将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像；
    基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
    对所述帧差图像进行二值化处理；
    从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
  5. 根据权利要求1所述的方法，其特征在于，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
    通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
  6. 根据权利要求1所述的方法，其特征在于，所述确定所述目标图像区域所对应的符合预定条件的目标外接矩形，包括：
    确定所述目标图像区域所对应的面积值最小的目标外接矩形；
    或者，
    确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
  7. 根据权利要求1所述的方法，其特征在于，所述基于所述目标外接矩形和所述目标深度图像中的深度数据，确定所述目标物体的体积，包括：
    提取所述目标外接矩形的各个顶点在经过二值化处理后的帧差图像中的图像坐标；
    将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
    利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
    利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
  8. 一种确定物体体积的装置，其特征在于，包括：
    深度图像获得模块，用于获得深度图像采集设备所采集的包含目标物体的目标深度图像；
    图像区域分割模块，用于基于所述目标深度图像中的深度数据，分割得到所述目标物体所对应的目标图像区域；
    外接矩形确定模块，用于确定所述目标图像区域所对应的符合预定条件的目标外接矩形；
    体积确定模块，用于基于所述目标外接矩形，确定所述目标物体的体积。
  9. 根据权利要求8所述的装置，其特征在于，所述深度图像获得模块包括：
    深度图像获得单元，用于获得飞行时间TOF相机所采集的包含目标物体 的目标深度图像。
  10. 根据权利要求8所述的装置，其特征在于，所述图像区域分割模块包括：
    图像区域分割单元，用于基于所述目标深度图像中的深度数据，利用深度图帧差法，分割得到所述目标物体所对应的目标图像区域。
  11. 根据权利要求10所述的装置，其特征在于，所述图像区域分割单元包括：
    相减子单元，用于将所述目标深度图像中各个像素点的深度数据与预定背景深度图像相应像素点的深度数据进行相减，其中，所述预定背景深度图像为未包含所述目标物体的、预先通过深度图像采集设备采集的针对于所述目标物体所在背景环境的图像；
    帧差图像形成子单元，用于基于各个像素点所对应的相减结果形成所述目标深度图像所对应的帧差图像；
    二值化处理子单元，用于对所述帧差图像进行二值化处理；
    图像区域分割子单元，用于从二值化处理后的帧差图像中分割得到所述目标物体所对应的目标图像区域。
  12. 根据权利要求8所述的装置，其特征在于，所述外接矩形确定模块包括：
    第一外接矩形确定单元，用于通过连通区域分析算法或边缘检测拟合算法，确定所述目标图像区域所对应的符合预定条件的目标外接矩形。
  13. 根据权利要求8所述的装置，其特征在于，所述外接矩形确定模块包括：
    第二外接矩形确定单元，用于确定所述目标图像区域所对应的面积值最小的目标外接矩形；
    或者，
    第三外接矩形确定单元，用于确定所述目标图像区域所对应的面积值与预定面积阈值差值最小的目标外接矩形。
  14. 根据权利要求8所述的装置，其特征在于，所述体积确定模块包括：
    图像坐标提取单元，用于提取所述目标外接矩形的各个顶点在经过二值 化处理后的帧差图像中的图像坐标；
    参考点形成单元，用于将所提取的各个顶点的图像坐标投影到所述目标深度图像中，形成位于所述目标深度图像中的参考点；
    三维坐标计算单元，用于利用摄像机成像的透视投影原理，计算各个参考点的对应于摄像机世界坐标系中的三维坐标；
    体积确定单元，用于利用所述各个参考点的三维坐标和所述目标深度图像的深度数据，得到所述目标物体的体积。
  15. 一种存储介质，其特征在于，用于存储可执行程序代码，所述可执行程序代码被运行以执行权利要求1-7任一项所述的确定物体体积的方法。
  16. 一种应用程序，其特征在于，所述应用程序用于在运行时执行权利要求1-7任一项所述的确定物体体积的方法。
  17. 一种电子设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过运行存储器中存储的可执行程序代码，以执行权利要求1-7任一项所述的确定物体体积的方法。
PCT/CN2017/078768 2016-05-16 2017-03-30 一种确定物体体积的方法及装置 Ceased WO2017197988A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/099,343 US10922834B2 (en) 2016-05-16 2017-03-30 Method and apparatus for determining volume of object
EP17798552.0A EP3460385B1 (en) 2016-05-16 2017-03-30 Method and apparatus for determining volume of object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610323084.1 2016-05-16
CN201610323084.1A CN107388960B (zh) 2016-05-16 2016-05-16 一种确定物体体积的方法及装置

Publications (1)

Publication Number Publication Date
WO2017197988A1 true WO2017197988A1 (zh) 2017-11-23

Family

ID=60324822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/078768 Ceased WO2017197988A1 (zh) 2016-05-16 2017-03-30 一种确定物体体积的方法及装置

Country Status (4)

Country Link
US (1) US10922834B2 (zh)
EP (1) EP3460385B1 (zh)
CN (1) CN107388960B (zh)
WO (1) WO2017197988A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766744A (zh) * 2019-11-05 2020-02-07 北京华捷艾米科技有限公司 一种基于3d深度摄像头的mr体积测量方法及装置
CN111383231A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
CN111507390A (zh) * 2020-04-11 2020-08-07 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法
CN112802087A (zh) * 2021-02-04 2021-05-14 上海中通吉网络技术有限公司 堆积物整体体积的检测方法、装置及电子设备

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870126A (zh) * 2017-12-05 2019-06-11 宁波盈芯信息科技有限公司 一种面积计算方法以及一种能够进行面积计算的手机
CN109186461A (zh) * 2018-07-27 2019-01-11 南京阿凡达机器人科技有限公司 一种箱体大小的测量方法及测量设备
CN109190696A (zh) * 2018-08-28 2019-01-11 江苏科技大学苏州理工学院 一种物流包裹分类方法、装置、设备及可读存储介质
CN109146952B (zh) * 2018-09-06 2020-11-20 北京京东尚科信息技术有限公司 估计车厢空闲体积的方法、装置及计算机可读存储介质
CN109059770B (zh) * 2018-09-10 2020-09-04 青岛大学 一种基于tof深度相机的包裹体积测量方法
CN109443196B (zh) * 2018-09-28 2020-07-24 顺丰科技有限公司 一种体积测量方法及系统
CN109357637B (zh) * 2018-12-11 2021-12-10 长治学院 一种基于深度相机的卷板机卷板曲率半径和厚度测量方法
CN109712350B (zh) * 2019-01-31 2024-06-11 浙江云澎科技有限公司 一种智能识别的自助结算机
CN110006340B (zh) * 2019-03-26 2020-09-08 华为技术有限公司 一种物体尺寸测量方法和电子设备
CN110017773B (zh) * 2019-05-09 2021-12-17 福建（泉州）哈工大工程技术研究院 一种基于机器视觉的包裹体积测量方法
CN111986251B (zh) * 2019-05-22 2024-07-26 顺丰科技有限公司 物体体积测量方法、装置、测量设备及存储介质
CN110322478B (zh) * 2019-06-10 2021-09-07 广州视源电子科技股份有限公司 特征点观察窗口处理方法、跟踪方法、装置、设备和介质
CN110174056A (zh) * 2019-06-18 2019-08-27 上海商米科技集团股份有限公司 一种物体体积测量方法、装置及移动终端
CN110349205B (zh) * 2019-07-22 2021-05-28 浙江光珀智能科技有限公司 一种物体体积的测量方法及装置
CN110425980A (zh) * 2019-08-12 2019-11-08 深圳市知维智能科技有限公司 仓储设施内容物的体积的测量方法和系统
CN110816522B (zh) * 2019-11-12 2021-02-23 深圳创维数字技术有限公司 车辆姿态的控制方法、设备及计算机可读存储介质
CN111308484B (zh) * 2019-11-26 2022-03-22 歌尔光学科技有限公司 深度模组测距方法、装置、深度相机及移动终端
CN113065810B (zh) * 2019-12-31 2024-01-26 杭州海康机器人股份有限公司 检测包裹的方法、装置、计算设备、物流系统及存储介质
CN111583283B (zh) * 2020-05-20 2023-06-20 抖音视界有限公司 图像分割方法、装置、电子设备及介质
CN112254635B (zh) * 2020-09-23 2022-06-28 洛伦兹（北京）科技有限公司 体积测量方法、装置及系统
CN112419398A (zh) * 2020-11-25 2021-02-26 创新奇智(西安)科技有限公司 矩形工件尺寸测量方法、装置、设备及存储介质
CN113160161B (zh) * 2021-04-14 2023-07-11 歌尔股份有限公司 目标边缘处缺陷的检测方法和装置
CN113658226B (zh) * 2021-08-26 2023-09-05 中国人民大学 一种限高装置高度检测方法和系统
CN113706602A (zh) * 2021-08-27 2021-11-26 浙江大学 一种基于激光雷达和单目相机的道路可通行区域标签生成方法及装置
CN113963016A (zh) * 2021-10-26 2022-01-21 深圳市玻尔智造科技有限公司 调用第三方库函数求解最小外接矩形的正确性验证方法
EP4181064A1 (en) * 2021-11-12 2023-05-17 SITA Information Networking Computing UK Limited Method and system for measuring an article
CN114399733B (zh) * 2022-01-14 2025-09-26 京东方科技集团股份有限公司 图像检测方法、装置、设备和存储介质
CN114396875B (zh) * 2022-01-18 2023-11-10 安徽工业大学 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN114777702B (zh) * 2022-04-22 2024-03-12 成都市绿色快线环保科技有限公司 一种堆叠板材体积识别方法及其装置、系统
CN117152045A (zh) * 2022-05-24 2023-12-01 北京小米移动软件有限公司 镜头污渍检测方法、装置及存储介质
CN115597678A (zh) * 2022-08-25 2023-01-13 安徽工业大学（Cn） 一种基于多帧深度图像概率处理的薄包裹体积测量方法
CN115588037A (zh) * 2022-09-27 2023-01-10 杭州海康机器人股份有限公司 一种数据采集设备、方法、装置及存储介质
CN116758024B (zh) * 2023-06-13 2024-02-23 山东省农业科学院 一种花生种子方向识别方法
CN117066702B (zh) * 2023-08-25 2024-04-19 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统
CN117611657B (zh) * 2024-01-22 2024-04-23 江西农业大学 一种杏鲍菇体积计算方法
WO2025229505A1 (en) * 2024-04-30 2025-11-06 Stereolabs SAS Method for volumetric estimation using a stereo camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564338A (zh) * 2010-08-10 2012-07-11 霍尼韦尔国际公司 用于物体计量的系统和方法
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
CN104517095A (zh) * 2013-10-08 2015-04-15 南京理工大学 一种基于深度图像的人头分割方法
US20150302594A1 (en) * 2013-07-12 2015-10-22 Richard H. Moore System and Method For Object Detection Using Structured Light
CN204881572U (zh) * 2015-03-31 2015-12-16 北京京东尚科信息技术有限公司 测量物体尺寸的设备
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
CN101846503B (zh) * 2010-04-21 2011-09-28 中国科学院自动化研究所 一种基于立体视觉的行李信息在线获取系统及其方法
CN104330038B (zh) * 2014-11-26 2017-02-22 厦门优策信息科技有限公司 一种尺寸测量的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102564338A (zh) * 2010-08-10 2012-07-11 霍尼韦尔国际公司 用于物体计量的系统和方法
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
US20150302594A1 (en) * 2013-07-12 2015-10-22 Richard H. Moore System and Method For Object Detection Using Structured Light
CN104517095A (zh) * 2013-10-08 2015-04-15 南京理工大学 一种基于深度图像的人头分割方法
CN103983334A (zh) * 2014-05-20 2014-08-13 联想(北京)有限公司 一种信息处理的方法及电子设备
CN204881572U (zh) * 2015-03-31 2015-12-16 北京京东尚科信息技术有限公司 测量物体尺寸的设备
CN106839975A (zh) * 2015-12-03 2017-06-13 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383231A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
CN111383231B (zh) * 2018-12-28 2023-10-27 成都皓图智能科技有限责任公司 一种基于3d图像的图像分割方法、装置及系统
CN110766744A (zh) * 2019-11-05 2020-02-07 北京华捷艾米科技有限公司 一种基于3d深度摄像头的mr体积测量方法及装置
CN110766744B (zh) * 2019-11-05 2022-06-10 北京华捷艾米科技有限公司 一种基于3d深度摄像头的mr体积测量方法及装置
CN111507390A (zh) * 2020-04-11 2020-08-07 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法
CN111507390B (zh) * 2020-04-11 2023-07-04 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法
CN112802087A (zh) * 2021-02-04 2021-05-14 上海中通吉网络技术有限公司 堆积物整体体积的检测方法、装置及电子设备

Also Published As

Publication number Publication date
EP3460385A1 (en) 2019-03-27
EP3460385A4 (en) 2019-04-24
CN107388960B (zh) 2019-10-22
CN107388960A (zh) 2017-11-24
US20190139251A1 (en) 2019-05-09
US10922834B2 (en) 2021-02-16
EP3460385B1 (en) 2020-04-29

Similar Documents

Publication Publication Date Title
WO2017197988A1 (zh) 一种确定物体体积的方法及装置
US10212324B2 (en) Position detection device, position detection method, and storage medium
JP6620888B2 (ja) 煙検出装置、方法及び画像処理装置
CN110728196B (zh) 一种人脸识别的方法、装置及终端设备
CN112330751B (zh) 一种结构光相机行偏差检测方法及装置
US9552514B2 (en) Moving object detection method and system
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
WO2019200837A1 (zh) 一种包裹体积的测量方法、系统、储存介质及移动终端
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
EP3531340B1 (en) Human body tracing method, apparatus and device, and storage medium
CN110207702B (zh) 目标定位的方法及装置
CN104732514A (zh) 用于处理高度图的设备、系统和方法
JP2019164842A (ja) 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
CN109697444B (zh) 基于深度图像的对象识别方法及装置、设备、存储介质
CN106406507B (zh) 图像处理方法以及电子设备
CN105488802A (zh) 一种指尖深度检测方法及系统
CN109146969A (zh) 行人定位方法、装置及处理设备及其存储介质
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质
KR20240035842A (ko) 3d 얼굴 인식 시스템
CN115797995A (zh) 人脸活体检测方法、电子设备及存储介质
Bhadouria et al. Stereo image to graphics conversion for indoor environments
CN113379921A (zh) 轨道识别方法、装置、存储介质及设备
CN107589834B (zh) 终端设备操作方法及装置、终端设备
Ma et al. Depth from defocus via active quasi-random point projections

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17798552

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017798552

Country of ref document: EP

Effective date: 20181217