WO2018121247A1 - 控制无人机飞行的方法、装置以及无人机 - Google Patents

控制无人机飞行的方法、装置以及无人机 Download PDF

Info

Publication number
WO2018121247A1
WO2018121247A1 PCT/CN2017/115681 CN2017115681W WO2018121247A1 WO 2018121247 A1 WO2018121247 A1 WO 2018121247A1 CN 2017115681 W CN2017115681 W CN 2017115681W WO 2018121247 A1 WO2018121247 A1 WO 2018121247A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
geometric
drone
flight
determining whether
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/115681
Other languages
English (en)
French (fr)
Inventor
李佐广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Priority to EP17825356.3A priority Critical patent/EP3367201A4/en
Priority to US15/884,893 priority patent/US20180181129A1/en
Publication of WO2018121247A1 publication Critical patent/WO2018121247A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Definitions

  • Embodiments of the present invention relate to the field of drone technology, and in particular, to a method, a device, and a drone for controlling flight of a drone.
  • UAVs are used in aerial photography, agriculture, plant protection, self-timer, express delivery, disaster relief, observation of wildlife, surveillance of infectious diseases, surveying and mapping, news reporting, power inspection, disaster relief, film and television shooting, manufacturing romance, etc.
  • the use of drones has been greatly expanded.
  • the technical problem mainly solved by the embodiments of the present invention is to provide a method, a device and a drone for controlling the flight of a drone, which can realize autonomous flight without intervention, and has a high degree of intelligence and convenient use.
  • a technical solution adopted by the embodiment of the present invention is to provide a method for controlling flight of a drone, including:
  • the drone is controlled to fly along an area between edges or edges of the geometry.
  • the acquiring the captured image including the geometric figure includes:
  • the identifying the geometric figure in the captured image includes:
  • the identifying the geometric figure in the captured image comprises:
  • the grayscale image is image processed to identify the geometric image.
  • the image processing of the grayscale image to identify the geometric figure includes:
  • the edge image is detected using a preset algorithm to identify the geometric image.
  • the method further includes:
  • the at least two geometric figures are stitched together.
  • the determining whether the at least two geometric figures can be spliced comprises:
  • determining whether the gray value of the at least two geometric figures meets a preset condition comprises:
  • determining whether the gray value of the at least two geometric figures meets a preset condition comprises:
  • the method further includes:
  • the method further includes:
  • controlling the drone to fly along an area between the edges or edges of the geometric figure includes:
  • the drone is controlled to fly along the guiding path.
  • the method further includes:
  • the drone is controlled to end the flight.
  • the method further includes:
  • the geometric figure comprises a graphic formed by at least any of the following objects:
  • the embodiment of the present invention provides an apparatus for controlling flight of a drone, including:
  • An image acquisition module configured to acquire a captured image including a geometric figure
  • An identification module configured to identify the geometric figure in the captured image
  • a flight control module for controlling the drone to fly along an area between edges or edges of the geometric figure.
  • the image acquisition module is further configured to acquire a previous frame captured image and a current frame captured image
  • the identification module is configured to splicing the previous frame captured image and the current frame captured image and identifying Geometry in the stitched captured image.
  • the identification module is specifically configured to:
  • the grayscale image is image processed to identify the geometric image.
  • the identification module is specifically configured to:
  • the edge image is detected using a preset algorithm to identify the geometric image.
  • the identification module is further configured to:
  • the identification module is further configured to:
  • the identification module is specifically configured to:
  • the identification module is specifically configured to:
  • the identification module is specifically configured to:
  • the prompt information is sent to the control terminal to prompt the user to select the geometric figure.
  • the prompt information is sent to the control terminal to prompt the user to select the geometric figure.
  • the obtaining module is further configured to:
  • the identification module is further configured to:
  • the flight control module controls the drone to end the flight.
  • the flight control controls the drone to end the flight at the end of the region between the edges or edges of the geometry.
  • the geometry includes a graphic formed by at least any of the following objects:
  • an embodiment of the present invention provides a drone, including:
  • An image acquiring device connected to the body for acquiring a captured image including a geometric figure
  • a vision chip disposed on the body for identifying the geometric image in the captured image
  • a flight control chip for controlling the drone to fly along an area between edges or edges of the geometric figure.
  • the image acquiring apparatus is further configured to acquire a previous frame captured image and a current frame captured image; the visual chip is configured to splicing the previous frame captured image and the current frame captured image and identifying Geometry in the stitched captured image.
  • the visual chip is specifically used to:
  • the grayscale image is image processed to identify the geometric image.
  • the visual chip is specifically used to:
  • the edge image is detected using a preset algorithm to identify the geometric image.
  • the visual chip is further configured to:
  • the at least two geometric figures are stitched together.
  • the visual chip is specifically used to:
  • the visual chip is specifically used to:
  • the visual chip is specifically used to:
  • the visual chip is specifically used to:
  • the prompt information is sent to the control terminal to prompt the user to select the geometric figure.
  • the drone further includes a processor, the processor configured to generate a guiding path according to an area between edges or edges of the geometric figure, wherein the flight control chip is configured to control the The drone flies along the guiding path.
  • the image acquisition device is further configured to:
  • the vision chip is also used to:
  • the flight control chip controls the drone to end the flight.
  • the flight control controls the drone to end the flight at the end of the region between the edges or edges of the geometry.
  • the geometry includes a graphic formed by at least any of the following objects:
  • an embodiment of the present invention provides a drone, including a memory and a processor, where a computer program is stored in the memory, and when the computer program is executed by the processor, the processor executes the foregoing The method of controlling the flight of a drone.
  • an embodiment of the present invention provides a non-transitory computer readable storage medium, where the computer readable storage medium stores computer executable instructions, when the computer executable instructions are unmanned When the machine is executed, the drone is caused to perform the method of controlling the drone flight described above.
  • a method and apparatus for controlling flight of a drone obtains a captured image including a geometric figure and recognizes a geometric figure, and generates a guiding path according to the recognition result, so as to control the drone to fly autonomously along the guiding path, Autonomous flight can be realized without human intervention, with a high degree of intelligence and easy to use.
  • FIG. 1 is a schematic structural diagram of a drone according to an embodiment of the present invention.
  • FIG. 2 is an application scenario diagram of the drone shown in FIG. 1;
  • FIG. 3 is a schematic diagram of another practical application in the process of generating a boot path
  • FIG. 5 is a flowchart of a method for controlling flight of a drone according to an embodiment of the present invention
  • FIG. 6 is a flowchart of a method for controlling flight of a drone according to another embodiment of the present invention.
  • FIG. 7 is a flowchart of an apparatus for controlling flight of a drone according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of a hardware structure of a drone that performs a method of controlling flight of a drone according to an embodiment of the present invention.
  • the invention provides a method and device for controlling flight of a drone and a drone using the same.
  • the method or apparatus for controlling the flight of the drone allows the drone to fly according to the identified geometry. For example, after the identification line on the expressway is identified by the image algorithm, the drone can fly along the expressway. This way makes the flight of the drone more convenient, intelligent and precise. By configuring ultrasound and optical flow on the drone, the drone can also fly autonomously indoors.
  • the drone 10 includes a body 11, an arm 12 connected to the body 11, a power unit 13 disposed at one end of the arm 12, a platform 15 connected to the body 11, and a pan/tilt 13
  • the connected image acquisition device 14 and the processor 16, the visual chip 17, and the flight control chip 18 are disposed in the body 11.
  • the number of the arms 12 is four, that is, the drone is a quadrotor. In other possible embodiments, the number of the arms 12 may also be 3, 6, 8, 10, and the like.
  • the drone 10 can also be other movable objects such as manned aircraft, model aircraft, unmanned airships, fixed-wing drones, and unmanned hot air balloons.
  • the power unit 13 includes a motor 132 disposed at one end of the arm 12 and a propeller 131 coupled to the rotating shaft of the motor 132.
  • the rotating shaft of the motor 132 rotates to drive the propeller 131 to rotate to provide lift to the drone 10.
  • the pan/tilt 15 serves to alleviate or even eliminate the vibration transmitted by the power unit 13 to the image capturing device 14 to ensure that the image capturing device 14 can capture a stable and clear image or video.
  • the image acquisition device 14 can be a binocular camera, a monocular camera, and an infrared image device. Equipment such as equipment, UV imaging equipment, camcorders, etc.
  • the image capturing device 14 may be directly mounted on the drone 10, or may be mounted on the drone 10 by the pan/tilt head 15 as shown in this embodiment, and the pan/tilt head 15 allows the image capturing device 14 to be wound relative to the drone 10 At least one axis rotates.
  • the processor 16 may include a plurality of functional units, such as a target recognition unit for identifying a target, a tracking unit for tracking a specific target, a navigation unit for navigating the aircraft (eg, GPS (Global Positioning System), Beidou), And a data processing unit or the like for processing environmental information acquired by an associated onboard device (eg, image acquisition device 14).
  • a target recognition unit for identifying a target
  • a tracking unit for tracking a specific target
  • a navigation unit for navigating the aircraft (eg, GPS (Global Positioning System), Beidou)
  • a data processing unit or the like for processing environmental information acquired by an associated onboard device (eg, image acquisition device 14).
  • both the flight control chip 17 for flight control and the vision chip 18 for processing images may be integrated with the processor 16.
  • FIG. 2 is a schematic diagram of an application scenario according to an embodiment of the present invention.
  • the drone 10 acquires a captured image including a geometric figure by the mounted image acquiring device 14.
  • the geometric figure is an arc formed by the edge of the road or the identification line.
  • the geometric figures may also be straight lines, curved lines, circles, ellipses, or geometric shapes formed by splicing these shapes.
  • the geometric figure may also be a graphic formed by at least any one of the following: wires, communication cables, pipes, wind turbines, signal towers, bridges, or highways.
  • the image acquiring device 14 may further acquire the captured image of the previous frame and the captured image of the current frame, and the visual chip 18 splices the previous frame captured image and the current frame captured image to identify the stitching. After the geometry of the captured image.
  • the vision chip 18 recognizes the geometric image contained therein based on the captured image containing the geometric image acquired by the image acquisition device 14.
  • the vision chip 18 first converts the image captured by the image acquisition device 14 into a grayscale image, and then performs edge detection and binarization processing on the grayscale image to obtain a binarized edge image, and finally Checking the binarized edge image with a preset algorithm Measure to identify the geometry.
  • the visual chip 18 converts the RGB image into a grayscale image, and then the Canny operator can perform edge detection and binarization processing on the grayscale image to obtain binarization. Edge image. Edge detection is further performed on the edge image using a Hough Transform algorithm to obtain at least one geometric figure.
  • the vision chip 18 needs to further determine whether the recognized geometry includes at least two geometric figures. If so, it is necessary to determine whether at least two geometric figures can be stitched. If so, the visual chip 18 is paired.
  • the geometric values of the difference values of the gray values in the at least two geometric shapes are spliced in a preset range to obtain a spliced graphic, and the processor 16 generates a guiding path according to the spliced graphic.
  • the difference value may be the difference between the gray value or the average gray value of the two geometric figures, or may be the ratio of the gray value of the two geometric figures or the average gray value, and the preset range may be performed according to the needs of the actual application. set up. For example, splicing a line with a curve; for example, splicing a curve with an arc; for example, splicing two curves. As shown in FIG. 3, the adjacent two straight lines are spliced to generate a guiding path, wherein the difference values of the gray values or the average gray values of the adjacent two straight lines are within a preset range.
  • the visual chip 18 determines that at least two geometric figures cannot be spliced, then a user decision is required to be sent, and the prompt information is sent to the control terminal to prompt the user to select one of the at least two geometric figures.
  • the drone 10 can wirelessly transmit the geometric figure to a mobile phone, a tablet computer, etc. that communicates with the drone 10.
  • the terminal performs display, and the user operates the control terminal to connect the adjacent two straight lines to generate a guiding path, thereby facilitating control of the drone to fly autonomously along the guiding path.
  • the flight control chip 17 controls the drone to fly along the area between the edges or edges of the geometry. For example, controlling a drone to fly along the edge of a road or between two edges of a road.
  • the processor 16 generates a guide path based on the edge of the geometry or edge between the edges identified by the vision chip 18, and the flight control chip 17 controls the drone 10 to fly along the guide path.
  • the image acquiring device 10 in order to realize that the drone automatically ends the flight after completing one or more flights, the image acquiring device 10 also acquires the drone 10 The image is taken at the starting position, and the captured image acquired every preset time length is obtained during the autonomous flight of the drone 10 along the guiding path, and then it is determined whether the captured image acquired every preset time period exists and is photographed at the starting position.
  • the image matching image if present, indicates that the drone 10 has completed the closed loop flight, and the flight control chip 17 controls the drone to end the flight.
  • a sift (scale-invariant feature transform) feature point matching algorithm may be used to obtain a geometric image in a captured image during the autonomous flight of the drone 10 along the guiding path.
  • the sift feature point set and the Euclidean distance of the sift feature point of the geometric image in the image at the starting position are within a preset threshold range, and it can be determined that there is an image matching the image taken at the starting position, thereby controlling the drone to end the flight. .
  • the way the drone ends the flight can be hovering, landing, and the like.
  • the guiding path includes a non-closed linear feature, it can be controlled to automatically end the flight when the drone 10 reaches the end of the guiding path with non-closed linear features.
  • the guiding path in order to facilitate viewing the position of the drone on the map and the flight path through the control terminal, the guiding path may be superimposed on the map displayed by the control terminal according to the GPS position information of the drone.
  • the unmanned aerial vehicle acquires a captured image including a geometric figure, recognizes a geometric figure, generates a guiding path according to the recognition result, and autonomously flies according to the guiding path, and can realize autonomous flight without human intervention, and intelligently High degree of use and easy to use.
  • FIG. 5 is a flowchart of a method for controlling flight of a drone according to an embodiment of the present invention. The method includes:
  • the geometry is the arc formed by the edge or marking line of the road.
  • the geometric figures may also be straight lines, curved lines, circles, ellipses, or geometric shapes formed by splicing these shapes.
  • the geometric figure may also be at least one of the following Graphics formed by objects: wires, communication cables, pipes, wind turbines, signal towers, bridges, or highways.
  • the drone 10 when the drone 10 needs to complete the circuit inspection, it only needs to identify the straight line or curve formed by the electric wire; similarly, when it is necessary to complete the pipeline, the wind power generator, the signal tower, the bridge inspection or the highway inspection, It is only necessary to identify the geometric shapes formed by these objects.
  • the captured image of the previous frame and the captured image of the next frame may also be acquired, and the captured image of the previous frame and the captured image of the subsequent frame may be stitched to obtain the stitched captured image.
  • identifying the geometric image in the captured image comprises the following steps:
  • the edge image is detected by using a preset algorithm to identify the geometric figure.
  • the acquired image is an RGB image
  • the RGB image is first converted into a grayscale image, and then the Canny operator can perform edge detection and binarization processing on the grayscale image to obtain a binarized edge image.
  • Edge detection is further performed on the edge image using a preset algorithm, such as a Hough Transform algorithm, to obtain at least one geometric figure.
  • step S55 If yes, go to step S55, if no, go to step S58.
  • determining whether the at least two geometric figures are splicable is determined by determining whether the gray values of the at least two geometric shapes satisfy a preset condition.
  • the preset condition may be whether the difference of the gray values of the at least two geometric shapes is within a preset range, or whether the ratio of the gray value values of the at least two geometric figures is within a preset range.
  • This preset range can be set as needed. For example, splicing a line with a curve; for example, splicing a curve with an arc; for example, splicing two curves.
  • the adjacent two straight lines are spliced to generate a guiding path, wherein the adjacent two The difference value of the straight line gray value or the average gray value is within a preset range.
  • step S56 stitching at least two geometric figures.
  • step S57 send the prompt information to the control terminal to prompt the user to select the geometric figure.
  • the prompt information is sent to the control terminal to prompt the user to select one of the at least two geometric figures.
  • the geometric figure can be wirelessly transmitted to a control terminal such as a mobile phone or a tablet computer, and the user operation control terminal will be adjacent. Two straight lines are connected to generate a guiding path, which is convenient for controlling the drone to fly autonomously along the guiding path.
  • S61 Determine whether there is an image matching the image taken at the starting position in the image taken by the drone every preset time period during the flight.
  • step S62 control the drone to end the flight.
  • step S63 control the drone to end the flight at the end of the guidance path.
  • FIG. 6 is a flow chart of another embodiment of a method of controlling drone flight in accordance with the present invention. The method includes:
  • S66 Control the drone to fly along an edge of the geometric figure or an area between the edges.
  • FIG. 7 is a structural block diagram of an apparatus for controlling flight of a drone according to an embodiment of the present invention.
  • the device 70 includes:
  • An image obtaining module 71 configured to acquire a captured image that includes a geometric figure
  • An identification module 72 configured to identify the geometric figure in the captured image
  • a flight control module 74 is configured to control the drone to fly along an area between edges or edges of the geometric figure.
  • the image acquisition module 71 is further configured to acquire a previous frame captured image and a current frame captured image
  • the identification module 72 is configured to splicing the previous frame captured image and the current frame captured image. And identifying geometric shapes in the stitched captured image.
  • the identification module 72 is specifically configured to:
  • the grayscale image is image processed to identify the geometric image.
  • the identification module 72 is specifically configured to:
  • the edge image is detected using a preset algorithm to identify the geometric image.
  • the identification module 72 is further configured to:
  • the at least two geometric figures are stitched together.
  • the identification module 72 is further configured to:
  • the identification module 72 is specifically configured to:
  • the identification module 72 is specifically configured to:
  • the identification module 72 is specifically configured to:
  • the apparatus further includes a path generating module 73, configured to generate a guiding path according to an area between edges or edges of the geometric figure, the flight control module 74 Controlling the drone to fly along the guiding path.
  • the obtaining module 71 is further configured to:
  • the identification module 72 is further configured to:
  • the flight control module controls the drone to end the flight.
  • the flight Control module 74 controls the drone to end the flight at the end of the region between the edges or edges of the geometry.
  • the geometry includes a graphic formed by at least any of the following objects:
  • FIG. 8 is a schematic diagram showing the hardware structure of a drone 90 for performing a method of controlling flight of a drone according to an embodiment of the present invention.
  • the drone 90 can include:
  • One or more processors 91, a memory 92, and an image pickup device 93 are exemplified by a processor 91 in FIG.
  • the processor 91, the memory 92, and the camera 93 can be connected by a bus or the like, and the bus connection is taken as an example in FIG.
  • the processor 91 and the memory 92 may be disposed inside the body of the drone 90, and the camera 93 may be connected to the body and disposed outside the body.
  • the memory 92 is a non-volatile computer readable storage medium that can be used to store non- Volatile software program, non-volatile computer executable program and module, such as the program instruction/module corresponding to the method of autonomous flight of the drone in the embodiment of the present invention (for example, the image acquisition module 71 shown in FIG. 7)
  • the processor 91 and the camera 93 perform various functional applications and data processing of the drone 90 by operating non-volatile software programs, instructions, and modules stored in the memory 92, i.e., implementing the above-described method embodiments.
  • the method of autonomous flight is a non-volatile computer readable storage medium that can be used to store non- Volatile software program, non-volatile computer executable program and module, such as the program instruction/module corresponding to the method of autonomous flight of the drone in the embodiment of the present invention (for example, the image acquisition module 71 shown in FIG. 7)
  • the memory 92 may include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application required for at least one function; the storage data area may store data created according to use of the device for photographing the composition, and the like.
  • memory 92 can include high speed random access memory, and can also include non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other non-volatile solid state storage device.
  • the memory 92 can optionally include a memory remotely located relative to the processor 91 that can be connected to the device that captures the composition over a network. Examples of such networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
  • the one or more modules are stored in the memory 92, and when executed by the one or more processors 91, perform a method of autonomous flight of the drone in any of the above method embodiments, for example, performing the above description
  • the UAV 90 can perform the method for autonomous flight of the UAV provided by the embodiment of the present invention, and has the corresponding functional modules and beneficial effects of the execution method.
  • a method for autonomous flight of a drone provided by an embodiment of the present invention.
  • Embodiments of the present invention provide a non-transitory computer readable storage medium storing computer-executable instructions that are executed by one or more processors, such as in FIG. a processor 91, which may cause the one or more processors to perform the method of autonomous flight of the drone in any of the above method embodiments, for example, to perform the method steps S50-S63 in FIG. 5 described above,
  • the functions of the image acquisition module 71, the identification module 72, the path generation module 73, and the flight control module 74 shown in FIG. 7 are performed in steps S64-S66.
  • the device embodiments described above are merely illustrative, wherein the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, ie may be located A place, or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • the embodiments can be implemented by means of software plus a general hardware platform, and of course, by hardware.
  • a person skilled in the art can understand that all or part of the process of implementing the above embodiments can be completed by a computer program to instruct related hardware, and the program can be stored in a computer readable storage medium. When executed, the flow of an embodiment of the methods as described above may be included.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

一种涉及无人机（10）技术领域的控制无人机（10）飞行的方法、装置（70）以及无人机（10）。通过获取包含几何图形的拍摄图像（S50, S64），识别拍摄图像中的几何图形（S65），控制无人机（10）沿几何图形的边沿或者边沿之间的区域飞行（S66），能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。

Description

控制无人机飞行的方法、装置以及无人机
相关申请的交叉引用
本申请要求于2016年12月27日申请的申请号为201611223787.3的中国专利申请的优先权，其全部内容通过引用并入本申请。
技术领域
本发明实施例涉及无人机技术领域，特别是涉及一种控制无人机飞行的方法、装置以及无人机。
背景技术
目前，无人机在航拍、农业、植保、自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大地拓展了无人机的用途。
在无人机的自主飞行控制方面，目前主要是基于人工设定的路径自主飞行，人为干预程度较大，使得无人机不够智能化。
发明内容
本发明实施例主要解决的技术问题是提供一种控制无人机飞行的方法、装置以及无人机，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。
第一方面，为解决上述技术问题，本发明实施例采用的一个技术方案是：提供一种控制无人机飞行的方法，包括：
获取包含几何图形的拍摄图像；
识别所述拍摄图像中的所述几何图形；
控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行。
在本发明的一实施例中，所述获取包含几何图形的拍摄图像，包括：
获取前一帧拍摄图像和当前帧拍摄图像；
将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接；
则所述识别所述拍摄图像中的所述几何图形，包括：
识别所述拼接后的拍摄图像中的几何图形。
在本发明的一实施例中，所述识别所述拍摄图像中的所述几何图形，包括：
将所述拍摄图像转换成灰度图像；
对所述灰度图像进行图像处理以识别所述几何图形。
在本发明的一实施例中，所述对所述灰度图像进行图像处理以识别所述几何图形，包括：
对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
利用预设算法对所述边缘图像进行检测，以识别所述几何图形。
在本发明的一实施例中，所述方法还包括：
判断识别的所述几何图形是否包含至少两个几何图形；
若是，则判断所述至少两个几何图形是否能够拼接；
若是，则拼接所述至少两个几何图形。
在本发明的一实施例中，所述判断所述至少两个几何图形是否能够拼接，包括：
判断所述至少两个几何图形的灰度值是否满足预设条件；
若是，则判断所述至少两个几何图形能够拼接。
在本发明的一实施例中，所述判断所述至少两个几何图形的灰度值是否满足预设条件，包括：
判断所述至少两个几何图形的差值是否在预设范围内。
在本发明的一实施例中，所述判断所述至少两个几何图形的灰度值是否满足预设条件，包括：
判断所述至少两个几何图形的比值是否在预设范围内。
在本发明的一实施例中，所述方法还包括：
若判断所述至少两个几何图形不能拼接，则发送提示信息至控制终 端以提示用户选择几何图形。
在本发明的一实施例中，所述方法还包括：
根据所述几何图形边沿或者边沿之间的区域，生成引导路径；
则，控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行，包括：
控制所述无人机沿所述引导路径飞行。
在本发明的一实施例中，所述方法还包括：
获取所述无人机在起点位置拍摄的图像；
获取所述无人机在飞行的过程中，每隔预设时长拍摄的图像；
判断所述无人机在飞行的过程中每隔预设时长拍摄的图像中是否存在与在所述起点位置拍摄的图像匹配的图像；
若存在，则控制所述无人机结束飞行。
在本发明的一实施例中，所述方法还包括：
若所述无人机在飞行的过程中拍摄的图像中不存在与在所述起点位置拍摄的图像相匹配的图像，则控制所述无人机在所述几何图形的边沿或者边沿之间的区域的终点结束飞行。
在本发明的一实施例中，所述几何图形包括下述至少任一物体形成的图形：
电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
第二方面，未解决上述问题，本发明的实施例提供一种控制无人机飞行的装置，包括：
图像获取模块，用于获取包含几何图形的拍摄图像；
识别模块，用于识别所述拍摄图像中的所述几何图形；
飞行控制模块，用于控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行。
在本发明的一实施例中，所述图像获取模块还用于获取前一帧拍摄图像和当前帧拍摄图像，所述识别模块用于拼接所述前一帧拍摄图像和当前帧拍摄图像以及识别所述拼接后的拍摄图像中的几何图形。
在本发明的一实施例中，所述识别模块具体用于：
将所述拍摄图像转换成灰度图像；
对所述灰度图像进行图像处理以识别所述几何图形。
在本发明的一实施例中，所述识别模块具体用于：
对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
利用预设算法对所述边缘图像进行检测，以识别所述几何图形。
在本发明的一实施例中，所述识别模块还用于：
判断识别的所述几何图形是否包含至少两个几何图形；
若是，则判断所述至少两个几何图形是否能够拼接；
若是，则拼接所述至少两个几何图形。19、根据权利要求18所述的装置，其特征在于，所述识别模块还用于：
判断所述至少两个几何图形的灰度值是否满足预设条件；
若是，则判断所述至少两个几何图形能够拼接。
在本发明的一实施例中，所述识别模块具体用于：
判断所述至少两个几何图形的差值是否在预设范围内。
在本发明的一实施例中，所述识别模块具体用于：
判断所述至少两个几何图形的比值是否在预设范围内。
在本发明的一实施例中，所述识别模块具体用于：
若判断所述至少两个几何图形不能拼接，则发送提示信息至控制终端以提示用户选择几何图形。23、根据权利要求14-22任一项所述的装置，其特征在于，该装置还包括路径生成模块，所述路径生成模块用于根据所述几何图形的边沿或边沿之间的区域生成引导路径，所述飞行控制模块用于控制所述无人机沿所述引导路径飞行。
在本发明的一实施例中，所述获取模块还用于：
获取所述无人机在起点位置拍摄的图像；
获取所述无人机在飞行的过程中，每隔预设时长拍摄的图像；
所述识别模块还用于：
判断所述无人机在飞行的过程中每隔预设时长拍摄的图像中是否 存在与在所述起点位置拍摄的图像匹配的图像；
若存在，则所述飞行控制模块控制所述无人机结束飞行。
在本发明的一实施例中，若所述识别模块判断所述无人机在飞行的过程中拍摄的图像中不存在与在所述起点位置拍摄的图像相匹配的图像，则所述飞行控制模块控制所述无人机在所述几何图形的边沿或者边沿之间的区域的终点结束飞行。
在本发明的一实施例中，
所述几何图形包括下述至少任一物体形成的图形：
电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
第三方面，为解决上述问题，本发明实施例提供一种无人机，包括：
机身；
图像获取装置，与所述机身相连，用于获取包含几何图形的拍摄图像；
视觉芯片，设于所述机身，用于识别所述拍摄图像中的所述几何图形；以及
飞控芯片，用于控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行。
在本发明的一实施例中，所述图像获取装置还用于获取前一帧拍摄图像和当前帧拍摄图像；所述视觉芯片用于拼接所述前一帧拍摄图像和当前帧拍摄图像以及识别所述拼接后的拍摄图像中的几何图形。
在本发明的一实施例中，所述视觉芯片具体用于：
将所述拍摄图像转换成灰度图像；
对所述灰度图像进行图像处理以识别所述几何图形。
在本发明的一实施例中，所述视觉芯片具体用于：
对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
利用预设算法对所述边缘图像进行检测，以识别所述几何图形。
在本发明的一实施例中，所述视觉芯片还用于：
判断识别的所述几何图形是否包含至少两个几何图形；
若是，则判断所述至少两个几何图形是否能够拼接；
若是，则拼接所述至少两个几何图形。
在本发明的一实施例中，所述视觉芯片具体用于：
判断所述至少两个几何图形的灰度值是否满足预设条件；
若是，则判断所述至少两个几何图形能够拼接。
在本发明的一实施例中，所述视觉芯片具体用于：
判断所述至少两个几何图形的差值是否在预设范围内。
在本发明的一实施例中，所述视觉芯片具体用于：
判断所述至少两个几何图形的比值是否在预设范围内
在本发明的一实施例中，所述视觉芯片具体用于：
若判断所述至少两个几何图形不能拼接，则发送提示信息至控制终端以提示用户选择几何图形。
在本发明的一实施例中，该无人机还包括处理器，所述处理器用于根据所述几何图形的边沿或边沿之间的区域生成引导路径，所述飞控芯片用于控制所述无人机沿所述引导路径飞行。
在本发明的一实施例中，所述图像获取装置还用于：
获取所述无人机在起点位置拍摄的图像；
获取所述无人机在飞行的过程中，每隔预设时长拍摄的图像；
所述视觉芯片还用于：
判断所述无人机在飞行的过程中每隔预设时长拍摄的图像中是否存在与所述起点的拍摄图像匹配的图像；
若存在，则所述飞控芯片控制所述无人机结束飞行。
在本发明的一实施例中，若所述视觉芯片判断所述无人机在飞行的过程中拍摄的图像中不存在与在所述起点位置拍摄的图像相匹配的图像，则所述飞控芯片控制所述无人机在所述几何图形的边沿或者边沿之间的区域的终点结束飞行。
在本发明的一实施例中，
所述几何图形包括下述至少任一物体形成的图形：
电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
第四方面，为解决上述问题，本发明实施例提供一种无人机，包括存储器和处理器，存储器中存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述所述的控制无人机飞行的方法。
第四方面，为解决上述问题，本发明实施例提供一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行上述所述的控制无人机飞行的方法。
本发明实施例提供的一种控制无人机飞行的方法和装置，通过获取包含几何图形的拍摄图像，并识别几何图形，根据识别结果生成引导路径，以便控制无人机沿引导路径自主飞行，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种无人机的结构示意图；
图2是图1所示无人机的一种应用场景图；
图3是生成引导路径过程中的另一实际应用示意图；
图4是根据用户操作将几何图形进行连接的实际应用示意图；
图5是本发明其中一实施例提供的一种控制无人机飞行的方法的流程图；
图6是本发明另一实施例提供的一种控制无人机飞行的方法的流程图；
图7是本发明实施例提供的一种控制无人机飞行的装置的流程图；
图8是本发明实施例提供的一种执行控制无人机飞行的方法的无人机的硬件结构示意图。
具体实施例
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合具体附图对本发明实施例作具体阐述。
本发明提供了一种控制无人机飞行的方法、装置以及采用该方法、装置的无人机。利用该控制无人机飞行的方法或装置使得无人机可以根据识别的几何图形进行飞行。如高速道路上的标识线，通过图像算法识别出来后，无人机可以沿着高速道路进行飞行。这种方式使无人机的飞行更加方便，智能，精准。通过在无人机上配置超声和光流，也可以使无人机在室内自主飞行。
如图1所示，无人机10包括机身11、与机身11相连的机臂12、设置在机臂12一端的动力装置13、与机身11相连的云台15、与云台13相连的图像获取装置14以及设置在机身11内的处理器16、视觉芯片17以及飞控芯片18。
在本实施例中，机臂12的数量为4，即该无人机为四旋翼飞行器，在其他可能的实施例中，机臂12的数量也可以为3、6、8、10等。无人机10还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇、固定翼无人机和无人热气球等。
动力装置13包括设置在机臂12一端的电机132以及与电机132的转轴相连的螺旋桨131。电机132的转轴转动以带动螺旋桨131旋转从而给无人机10提供升力。
云台15用于减轻甚至消除动力装置13传递给图像获取装置14的振动，以保证图像获取装置14能够拍摄出稳定清晰的图像或视频。
图像获取装置14可以是双目摄像头、单目摄像头、红外线影像设 备、紫外线影像设备、摄录机等类似的设备。图像获取装置14可以直接搭载在无人机10上，也可以通过如本实施例所示的云台15搭载在无人机10上，云台15允许图像获取装置14相对于无人机10绕至少一个轴转动。
处理器16可以包括多个功能性单元，如，用于识别目标的目标识别单元、用于跟踪特定目标的跟踪单元、用于导航飞行器的导航单元(例如GPS(Global Positioning System)、北斗)、以及用于处理相关机载设备(如，图像获取装置14)所获取的环境信息的数据处理单元等。
在本发明的一实施例中，用于飞行控制的飞控芯片17和用于处理图像的视觉芯片18均可以与处理器16集成。
图2是本发明实施例的一种应用场景图。无人机10通过搭载的图像获取装置14获取包含几何图形的拍摄图像。在本实施例中，几何图形为公路的边沿或标识线形成的弧线。在其他可能的实施例中，几何图形还可以是直线、曲线、圆形、椭圆型或者由这些形状拼接形成的几何图形。
在本发明的其他实施例中，几何图形还可以为由下述至少任意一个物体形成的图形：电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
例如，但无人机10需要完成电路巡检时，只需要识别由电线形成的直线或者曲线即可；同理，在需要完成管道、风力发电机、信号塔、桥梁检测或者公路巡检时，只需要识别由这些物体形成的几何图形即可。在本发明其他可能的实施例中，图像获取装置14还可以获取前一帧的拍摄图像和当前帧的拍摄图像，视觉芯片18将前一帧拍摄图像和当前帧拍摄图像进行拼接，从而识别拼接后的拍摄图像中的几何图形。
视觉芯片18根据图像获取装置14获取的包含几何图形的拍摄图像对其中包含的几何图形进行识别。
在本发明的一实施例中，视觉芯片18首先将图像获取装置14拍摄的图像转换成灰度图像，然后对灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像，最后利用预设算法对二值化的边缘图像进行检 测以识别所述几何图形。
例如，若图像获取装置14拍摄的图像为RGB图像，则视觉芯片18将RGB图像转换成灰度图像，进而可以利用Canny算子对灰度图像做边缘检测和二值化处理，得到二值化的边缘图像。进一步地利用霍夫变换(Hough Transform)算法对边缘图像进行边缘检测，以获得至少一种几何图形。
在本发明的一实施例中，视觉芯片18需要进一步判断其识别出来的几何图形是否包含至少两个几何图形，若是，则需要判断至少两个几何图形是否能够拼接，若是，则视觉芯片18对至少两个几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得拼接图形，处理器16根据所述拼接图形生成引导路径。
上述差异值可以是两个几何图形的灰度值或平均灰度值的差值，也可以是两个几何图形灰度值或平均灰度值的比值，预设范围可以根据实际应用的需要进行设定。例如，将一条直线与一条曲线进行拼接；又如，将一条曲线与一个圆弧进行拼接；又如，将两条曲线进行拼接。如图3所示，将相邻的两条直线进行拼接，生成引导路径，其中，相邻的两条直线的灰度值或平均灰度值的差异值在预设范围内。
在本发明的一实施例中，若视觉芯片18判断至少两个几何图形无法拼接时，此时需要寻求用户决策，发送提示信息至控制终端提示用户选择至少两个几何图形中的一个。如图4所示，当至少一种几何图形中存在无法智能连接的几何图形时，无人机10可以将几何图形通过无线方式发送至与无人机10进行连接通信的手机、平板电脑等控制终端进行显示，用户操作控制终端将相邻的两条直线进行连接，生成引导路径，从而便于控制无人机沿引导路径自主飞行。
在视觉芯片18将拍摄图像中的几何图形识别出来之后，飞控芯片17控制无人机沿所述几何图形的边沿或者边沿之间的区域飞行。例如，控制无人机沿公路的边沿或者公路两条边沿之间的区域飞行。
处理器16根据视觉芯片18识别出来的几何图形的边沿或者边沿之间的区域生成引导路径，飞控芯片17控制无人机10沿该引导路径飞行。
在一可选实施例中，若引导路径包含闭环线特征，为了实现无人机在完成一圈或多圈飞行后，自动结束飞行，所述图像获取装置10还会获取包含无人机10在起点位置拍摄图像，获取无人机10沿引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像，然后判断每隔预设时长获取的拍摄图像中是否存在与在起点位置拍摄的图像相匹配的图像，若存在，则说明无人机10已经完成闭环飞行，飞控芯片17控制无人机结束飞行。在本发明的一实施例中，可以采用sift(scale-invariant feature transform，尺度不变特征变换)特征点匹配算法，当无人机10沿引导路径自主飞行的过程中获取的拍摄图像中几何图形的sift特征点集与在起点位置拍摄图像中几何图形的sift特征点的欧式距离在预设阈值范围内，则可以判定存在与在起点位置拍摄的图像匹配的图像，从而控制无人机结束飞行。无人机结束飞行的方式可以是悬停、降落等。
在一可选实施例中，若引导路径包含非闭合的线性特征，可以在无人机10到达具有非闭合的线性特征的引导路径的终点时，控制其自动结束飞行。
在一可选实施例中，为了便于通过控制终端查看无人机在地图上的位置以及飞行路径，可以根据无人机的GPS位置信息，将引导路径叠加至通过控制终端显示的地图上。
本发明实施例提供的无人机，通过获取包含几何图形的拍摄图像，并识别几何图形，根据识别结果生成引导路径，根据引导路径自主飞行，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。
图5为本发明实施例提供的一种控制无人机飞行的方法的流程图。该方法包括：
S50、获取包含几何图形的拍摄图像。
几何图形为公路的边沿或标识线形成的弧线。在其他可能的实施例中，几何图形还可以是直线、曲线、圆形、椭圆型或者由这些形状拼接形成的几何图形。
在本发明的其他实施例中，几何图形还可以为由下述至少任意一个 物体形成的图形：电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
例如，但无人机10需要完成电路巡检时，只需要识别由电线形成的直线或者曲线即可；同理，在需要完成管道、风力发电机、信号塔、桥梁检测或者公路巡检时，只需要识别由这些物体形成的几何图形即可。
在其他可能的实施例中，还可以获取前一帧的拍摄图像和后一帧的拍摄图像，并对前一帧的拍摄图像和后一帧的拍摄图像进行拼接得到拼接后的拍摄图像。
识别上述的拍摄图像或拼接后的拍摄图像中的几何图形，在本发明的一实施例中，识别拍摄图像中的几何图形包括以下步骤：
S51、将拍摄图像转换成灰度图像。
S52、对灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像。
S53、利用预设算法对边缘图像进行检测，以识别所述几何图形。
例如，若获取的图像为RGB图像，则首先将RGB图像转换成灰度图像，进而可以利用Canny算子对灰度图像做边缘检测和二值化处理，得到二值化的边缘图像。进一步地利用预设算法，例如霍夫变换(Hough Transform)算法对边缘图像进行边缘检测，以获得至少一种几何图形。
S54、判断识别的几何图形是否包含至少两个几何图形。
若是，则进行步骤S55，若否，则进行步骤S58。
S55、判断至少两个几何图形是否能够拼接。
在本发明的一实施例中，判断至少两个几何图形是否能够拼接是通过判断至少两个几何图形的灰度值是否满足预设条件来进行判断的。该预设条件可以是至少两个几何图形的灰度值的差值是否在预设范围内，或者是至少两个几何图形的灰度值的比值是否在预设范围内。该预设范围可以根据需要设定。例如，将一条直线与一条曲线进行拼接；又如，将一条曲线与一个圆弧进行拼接；又如，将两条曲线进行拼接。如图3所示，将相邻的两条直线进行拼接，生成引导路径，其中，相邻的两条 直线的灰度值或平均灰度值的差异值在预设范围内。
若是，则进行步骤S56：拼接至少两个几何图形。
若否，则进行步骤S57：发送提示信息至控制终端以提示用户选择几何图形。
若判断至少两个几何图形无法拼接时，此时需要寻求用户决策，发送提示信息至控制终端提示用户选择至少两个几何图形中的一个。如图4所示，当至少一种几何图形中存在无法智能连接的几何图形时，可以将几何图形通过无线方式发送至与手机、平板电脑等控制终端进行显示，用户操作控制终端将相邻的两条直线进行连接，生成引导路径，从而便于控制无人机沿引导路径自主飞行。
S58、根据几何图形的边沿或者边沿之间的区域生成引导路径。
S59、控制无人机沿引导路径飞行。
S60、获取无人机在起点位置拍摄的图像。
S61、判断无人机在飞行的过程中每隔预设时长拍摄的图像中是否存在与起点位置拍摄的图像匹配的图像。
若是，则进行步骤S62：控制无人机结束飞行。
若否，则进行步骤S63：控制无人机在引导路径的终点结束飞行。
有关该方法中各步骤的详细内容可以参考前述的描述，在此不再赘述。
图6是本发明一种控制无人机飞行的方法另一实施例的流程图。该方法包括：
S64、获取包含几何图形的拍摄图像。
S65、识别拍摄图像中的几何图形；
S66、控制无人机沿几何图形的边沿或者边沿之间的区域飞行。
有关该方法中各步骤的详细内容可以参考前述的描述，在此不再赘述。
图7是本发明实施例提供的一种控制无人机飞行的装置的结构框 图。该装置70包括:
图像获取模块71，用于获取包含几何图形的拍摄图像；
识别模块72，用于识别所述拍摄图像中的所述几何图形；
飞行控制模块74，用于控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行。
在本发明的一实施例中，所述图像获取模块71还用于获取前一帧拍摄图像和当前帧拍摄图像，所述识别模块72用于拼接所述前一帧拍摄图像和当前帧拍摄图像以及识别所述拼接后的拍摄图像中的几何图形。
在本发明的一实施例中，所述识别模块72具体用于：
将所述拍摄图像转换成灰度图像；
对所述灰度图像进行图像处理以识别所述几何图形。
在本发明的一实施例中，所述识别模块72具体用于：
对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
利用预设算法对所述边缘图像进行检测，以识别所述几何图形。
在本发明的一实施例中，所述识别模块72还用于：
判断识别的所述几何图形是否包含至少两个几何图形；
若是，则判断所述至少两个几何图形是否能够拼接；
若是，则拼接所述至少两个几何图形。
在本发明的一实施例中，所述识别模块72还用于：
判断所述至少两个几何图形的灰度值是否满足预设条件；
若是，则判断所述至少两个几何图形能够拼接。
在本发明的一实施例中，所述识别模块72具体用于：
判断所述至少两个几何图形的差值是否在预设范围内。
在本发明的一实施例中，所述识别模块72具体用于：
判断所述至少两个几何图形的比值是否在预设范围内。
在本发明的一实施例中，所述识别模块72具体用于：
若判断所述至少两个几何图形不能拼接，则发送提示信息至控制终 端以提示用户选择几何图形。
在本发明的一实施例中，该装置还包括路径生成模块73，所述路径生成模块73用于根据所述几何图形的边沿或边沿之间的区域生成引导路径，所述飞行控制模块74用于控制所述无人机沿所述引导路径飞行。
在本发明的一实施例中，所述获取模块71还用于：
获取所述无人机在起点位置拍摄的图像；
获取所述无人机在飞行的过程中，每隔预设时长拍摄的图像；
所述识别模块72还用于：
判断所述无人机在飞行的过程中每隔预设时长拍摄的图像中是否存在与在所述起点位置拍摄的图像匹配的图像；
若存在，则所述飞行控制模块控制所述无人机结束飞行。
在本发明的一实施例中，若所述识别模块72判断所述无人机在飞行的过程中拍摄的图像中不存在与在所述起点位置拍摄的图像相匹配的图像，则所述飞行控制模块74控制所述无人机在所述几何图形的边沿或者边沿之间的区域的终点结束飞行。
在本发明的一实施例中，
所述几何图形包括下述至少任一物体形成的图形：
电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
有关该装置的详细内容可以参考前述的描述，在此不再赘述。
图8是本发明实施例提供的一种执行控制无人机飞行的方法的无人机90的硬件结构示意图。如图8所示，该无人机90可以包括：
一个或多个处理器91、存储器92以及摄像装置93，图8中以一个处理器91为例。
处理器91、存储器92以及摄像装置93可以通过总线或者其他方式连接，图8中以通过总线连接为例。其中，处理器91和存储器92可以设于无人机90的机身内部，摄像装置93可以与机身连接，设于机身的外部。
存储器92作为一种非易失性计算机可读存储介质，可用于存储非 易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的无人机自主飞行的方法对应的程序指令/模块(例如，附图7所示的图像获取模块71、识别模块72、路径生成模块73和飞行控制模块74)。处理器91和摄像装置93通过运行存储在存储器92中的非易失性软件程序、指令以及模块，从而执行无人机90的各种功能应用以及数据处理，即实现上述方法实施例的无人机自主飞行的方法。
存储器92可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据拍摄构图的装置的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器92可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至拍摄构图的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器92中，当被所述一个或者多个处理器91执行时，执行上述任意方法实施例中的无人机自主飞行的方法，例如，执行以上描述的图5中步骤S50-S63，附图6中步骤S64-S66，附图7所示的图像获取模块71、识别模块72、路径生成模块73和飞行控制模块74的功能。
上述无人机90可执行本发明实施例所提供的无人机自主飞行的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的无人机自主飞行的方法。
本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图8中的一个处理器91，可使得上述一个或多个处理器可执行上述任意方法实施例中的无人机自主飞行的方法，例如，执行以上描述的图5中的方法步骤S50-S63，附图6中步骤S64-S66，附图7所示的图像获取模块71、识别模块72、路径生成模块73和飞行控制模块74的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (41)

  1. 一种控制无人机飞行的方法，其特征在于，包括：
    获取包含几何图形的拍摄图像；
    识别所述拍摄图像中的所述几何图形；
    控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行。
  2. 根据权利要求1所述的方法，其特征在于，所述获取包含几何图形的拍摄图像，包括：
    获取前一帧拍摄图像和当前帧拍摄图像；
    将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接；
    则所述识别所述拍摄图像中的所述几何图形，包括：
    识别所述拼接后的拍摄图像中的几何图形。
  3. 根据权利要求1或2所述的方法，其特征在于，所述识别所述拍摄图像中的所述几何图形，包括：
    将所述拍摄图像转换成灰度图像；
    对所述灰度图像进行图像处理以识别所述几何图形。
  4. 根据权利要求3所述的方法，其特征在于，所述对所述灰度图像进行图像处理以识别所述几何图形，包括：
    对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
    利用预设算法对所述边缘图像进行检测，以识别所述几何图形。
  5. 根据权利要求4所述的方法，其特征在于，所述方法还包括：
    判断识别的所述几何图形是否包含至少两个几何图形；
    若是，则判断所述至少两个几何图形是否能够拼接；
    若是，则拼接所述至少两个几何图形。
  6. 根据权利要求5所述的方法，其特征在于，所述判断所述至少两个几何图形是否能够拼接，包括：
    判断所述至少两个几何图形的灰度值是否满足预设条件；
    若是，则判断所述至少两个几何图形能够拼接。
  7. 根据权利要求6所述的方法，其特征在于，所述判断所述至少两个几何图形的灰度值是否满足预设条件，包括：
    判断所述至少两个几何图形的差值是否在预设范围内。
  8. 根据权利要求6所述的方法，其特征在于，所述判断所述至少两个几何图形的灰度值是否满足预设条件，包括：
    判断所述至少两个几何图形的比值是否在预设范围内。
  9. 根据权利要求5-8任一项所述的方法，其特征在于，所述方法还包括：
    若判断所述至少两个几何图形不能拼接，则发送提示信息至控制终端以提示用户选择几何图形。
  10. 根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
    根据所述几何图形边沿或者边沿之间的区域，生成引导路径；
    则，控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行，包括：
    控制所述无人机沿所述引导路径飞行。
  11. 根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：
    获取所述无人机在起点位置拍摄的图像；
    获取所述无人机在飞行的过程中，每隔预设时长拍摄的图像；
    判断所述无人机在飞行的过程中每隔预设时长拍摄的图像中是否存在与在所述起点位置拍摄的图像匹配的图像；
    若存在，则控制所述无人机结束飞行。
  12. 根据权利要求11所述的方法，其特征在于，所述方法还包括：
    若所述无人机在飞行的过程中拍摄的图像中不存在与在所述起点位置拍摄的图像相匹配的图像，则控制所述无人机在所述几何图形的边沿或者边沿之间的区域的终点结束飞行。
  13. 根据权利要求1-12任一项所述的方法，其特征在于，所述几何图形包括下述至少任一物体形成的图形：
    电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
  14. 一种控制无人机飞行的装置，其特征在于，包括：
    图像获取模块，用于获取包含几何图形的拍摄图像；
    识别模块，用于识别所述拍摄图像中的所述几何图形；
    飞行控制模块，用于控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行。
  15. 根据权利要求14所述的装置，其特征在于，所述图像获取模块还用于获取前一帧拍摄图像和当前帧拍摄图像，所述识别模块用于拼接所述前一帧拍摄图像和当前帧拍摄图像以及识别所述拼接后的拍摄图像中的几何图形。
  16. 根据权利要求14或15所述的装置，其特征在于，所述识别模块具体用于：
    将所述拍摄图像转换成灰度图像；
    对所述灰度图像进行图像处理以识别所述几何图形。
  17. 根据权利要求16所述的装置，其特征在于，所述识别模块具体用于：
    对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
    利用预设算法对所述边缘图像进行检测，以识别所述几何图形。
  18. 根据权利要求17所述的装置，其特征在于，所述识别模块还用于：
    判断识别的所述几何图形是否包含至少两个几何图形；
    若是，则判断所述至少两个几何图形是否能够拼接；
    若是，则拼接所述至少两个几何图形。
  19. 根据权利要求18所述的装置，其特征在于，所述识别模块还用于：
    判断所述至少两个几何图形的灰度值是否满足预设条件；
    若是，则判断所述至少两个几何图形能够拼接。
  20. 根据权利要求19所述的装置，其特征在于，所述识别模块具体用于：
    判断所述至少两个几何图形的差值是否在预设范围内。
  21. 根据权利要求19所述的装置，其特征在于，所述识别模块具体用于：
    判断所述至少两个几何图形的比值是否在预设范围内。
  22. 根据权利要求18-21任一项所述的装置，其特征在于，所述识别模块具体用于：
    若判断所述至少两个几何图形不能拼接，则发送提示信息至控制终端以提示用户选择几何图形。
  23. 根据权利要求14-22任一项所述的装置，其特征在于，该装置还包括路径生成模块，所述路径生成模块用于根据所述几何图形的边沿或边沿之间的区域生成引导路径，所述飞行控制模块用于控制所述无人机沿所述引导路径飞行。
  24. 根据权利要求14-23任一项所述的装置，其特征在于，所述获取模块还用于：
    获取所述无人机在起点位置拍摄的图像；
    获取所述无人机在飞行的过程中，每隔预设时长拍摄的图像；
    所述识别模块还用于：
    判断所述无人机在飞行的过程中每隔预设时长拍摄的图像中是否存在与在所述起点位置拍摄的图像匹配的图像；
    若存在，则所述飞行控制模块控制所述无人机结束飞行。
  25. 根据权利要求24所述的装置，其特征在于，若所述识别模块判断所述无人机在飞行的过程中拍摄的图像中不存在与在所述起点位置拍摄的图像相匹配的图像，则所述飞行控制模块控制所述无人机在所述几何图形的边沿或者边沿之间的区域的终点结束飞行。
  26. 根据权利要求14-25任一项所述的装置，其特征在于，
    所述几何图形包括下述至少任一物体形成的图形：
    电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
  27. 一种无人机，其特征在于，包括：
    机身；
    图像获取装置，与所述机身相连，用于获取包含几何图形的拍摄图像；
    视觉芯片，设于所述机身，用于识别所述拍摄图像中的所述几何图形；以及
    飞控芯片，用于控制所述无人机沿所述几何图形的边沿或者边沿之间的区域飞行。
  28. 根据权利要求27所述的无人机，其特征在于，所述图像获取装置还用于获取前一帧拍摄图像和当前帧拍摄图像；所述视觉芯片用于拼接所述前一帧拍摄图像和当前帧拍摄图像以及识别所述拼接后的拍摄图像中的几何图形。
  29. 根据权利要求27或28所述的无人机，其特征在于，所述视觉芯片具体用于：
    将所述拍摄图像转换成灰度图像；
    对所述灰度图像进行图像处理以识别所述几何图形。
  30. 根据权利要求29所述的无人机，其特征在于，所述视觉芯片具体用于：
    对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
    利用预设算法对所述边缘图像进行检测，以识别所述几何图形。
  31. 根据权利要求30所述的无人机，其特征在于，所述视觉芯片还用于：
    判断识别的所述几何图形是否包含至少两个几何图形；
    若是，则判断所述至少两个几何图形是否能够拼接；
    若是，则拼接所述至少两个几何图形。
  32. 根据权利要求31所述的无人机，其特征在于，所述视觉芯片具体用于：
    判断所述至少两个几何图形的灰度值是否满足预设条件；
    若是，则判断所述至少两个几何图形能够拼接。
  33. 根据权利要求32所述的无人机，其特征在于，所述视觉芯片具体用于：
    判断所述至少两个几何图形的差值是否在预设范围内。
  34. 根据权利要求32所述的无人机，其特征在于，所述视觉芯片具体用于：
    判断所述至少两个几何图形的比值是否在预设范围内。
  35. 根据权利要求31所述的无人机，其特征在于，所述视觉芯片具体用于：
    若判断所述至少两个几何图形不能拼接，则发送提示信息至控制终端以提示用户选择几何图形。
  36. 根据权利要求37-35任一项所述的无人机，其特征在于，该无人机还包括处理器，所述处理器用于根据所述几何图形的边沿或边沿之间的区域生成引导路径，所述飞控芯片用于控制所述无人机沿所述引导路径飞行。
  37. 根据权利要求27-36任一项所述的无人机，其特征在于，所述图像获取装置还用于：
    获取所述无人机在起点位置拍摄的图像；
    获取所述无人机在飞行的过程中，每隔预设时长拍摄的图像；
    所述视觉芯片还用于：
    判断所述无人机在飞行的过程中每隔预设时长拍摄的图像中是否存在与所述起点的拍摄图像匹配的图像；
    若存在，则所述飞控芯片控制所述无人机结束飞行。
  38. 根据权利要求37所述的装置，其特征在于，若所述视觉芯片判断所述无人机在飞行的过程中拍摄的图像中不存在与在所述起点位置拍摄的图像相匹配的图像，则所述飞控芯片控制所述无人机在所述几何图形的边沿或者边沿之间的区域的终点结束飞行。
  39. 根据权利要求27-38任一项所述的无人机，其特征在于，
    所述几何图形包括下述至少任一物体形成的图形：
    电线，通信线缆，管道，风力发电机，信号塔，桥梁，或者公路。
  40. 一种无人机，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至13中任意一项所述的方法。
  41. 一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行权利要求1-13的任一项所述的方法。
PCT/CN2017/115681 2016-12-27 2017-12-12 控制无人机飞行的方法、装置以及无人机 Ceased WO2018121247A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17825356.3A EP3367201A4 (en) 2016-12-27 2017-12-12 Method and device for controlling flight of unmanned aerial vehicle, and unmanned aerial vehicle
US15/884,893 US20180181129A1 (en) 2016-12-27 2018-01-31 Method and apparatus for controlling flight of unmanned aerial vehicle and unmanned aerial vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611223787.3 2016-12-27
CN201611223787.3A CN106647805B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/884,893 Continuation US20180181129A1 (en) 2016-12-27 2018-01-31 Method and apparatus for controlling flight of unmanned aerial vehicle and unmanned aerial vehicle

Publications (1)

Publication Number Publication Date
WO2018121247A1 true WO2018121247A1 (zh) 2018-07-05

Family

ID=58831324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/115681 Ceased WO2018121247A1 (zh) 2016-12-27 2017-12-12 控制无人机飞行的方法、装置以及无人机

Country Status (3)

Country Link
EP (1) EP3367201A4 (zh)
CN (2) CN106647805B (zh)
WO (1) WO2018121247A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106647805B (zh) * 2016-12-27 2019-02-15 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机
CN108521804A (zh) * 2017-06-20 2018-09-11 深圳市大疆创新科技有限公司 一种无人机的飞行区域规划方法及设备
CN107563183A (zh) * 2017-07-28 2018-01-09 翔升（上海）电子技术有限公司 无人机控制方法、装置、设备和计算机可读存储介质
WO2019051638A1 (zh) * 2017-09-12 2019-03-21 深圳市大疆创新科技有限公司 可移动设备以及其作业方法
CN108319264A (zh) * 2017-12-28 2018-07-24 北京臻迪科技股份有限公司 航行控制方法、装置
EP3845992A4 (en) * 2018-08-31 2022-04-20 SZ DJI Technology Co., Ltd. MOBILE PLATFORM CONTROL METHOD, MOBILE PLATFORM, TERMINAL DEVICE AND SYSTEM
CN109767387A (zh) * 2018-12-26 2019-05-17 北京木业邦科技有限公司 一种基于无人机的森林图像获取方法及装置
CN112585555A (zh) * 2020-01-21 2021-03-30 深圳市大疆创新科技有限公司 基于可通行空域判断的飞行控制方法、装置及设备
CN111123968B (zh) * 2020-02-03 2020-10-16 向杰 一种蜂窝阵列飞行器控制系统
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
CN112904878B (zh) * 2021-01-15 2022-08-16 西南石油大学 一种用于管道高后果区识别的无人机系统和方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031168A1 (en) * 2003-08-04 2005-02-10 Osamu Katayama Road position detection
US20090125223A1 (en) * 2006-03-31 2009-05-14 Higgins Robert P Video navigation
CN104134209A (zh) * 2014-07-18 2014-11-05 北京国电富通科技发展有限责任公司 一种视觉导航中的特征提取与匹配方法及系统
CN104252705A (zh) * 2014-09-30 2014-12-31 中安消技术有限公司 一种图像拼接方法及装置
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
CN106092102A (zh) * 2016-07-20 2016-11-09 广州极飞电子科技有限公司 一种无人机路径规划方法及装置
CN106204507A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种无人机图像拼接方法
CN106647805A (zh) * 2016-12-27 2017-05-10 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8089375B1 (en) * 2008-06-09 2012-01-03 Rockwell Collins, Inc. Head-up display/synthetic vision system predicted flight path depiction
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
WO2013020143A1 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack quantification
CN103869819B (zh) * 2014-03-10 2016-08-17 中国矿业大学 一种基于多旋翼无人机的带式输送机自动巡检方法
CN103941748B (zh) * 2014-04-29 2016-05-25 百度在线网络技术（北京）有限公司 自主导航方法及系统和地图建模方法及系统
US10564649B2 (en) * 2015-03-02 2020-02-18 Izak Jan van Cruyningen Flight planning for unmanned aerial tower inspection
US9513635B1 (en) * 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031168A1 (en) * 2003-08-04 2005-02-10 Osamu Katayama Road position detection
US20090125223A1 (en) * 2006-03-31 2009-05-14 Higgins Robert P Video navigation
CN104134209A (zh) * 2014-07-18 2014-11-05 北京国电富通科技发展有限责任公司 一种视觉导航中的特征提取与匹配方法及系统
CN104252705A (zh) * 2014-09-30 2014-12-31 中安消技术有限公司 一种图像拼接方法及装置
CN106204507A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种无人机图像拼接方法
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
CN106092102A (zh) * 2016-07-20 2016-11-09 广州极飞电子科技有限公司 一种无人机路径规划方法及装置
CN106647805A (zh) * 2016-12-27 2017-05-10 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3367201A4 *

Also Published As

Publication number Publication date
EP3367201A1 (en) 2018-08-29
CN106647805B (zh) 2019-02-15
CN109358648A (zh) 2019-02-19
CN109358648B (zh) 2022-11-04
EP3367201A4 (en) 2018-10-24
CN106647805A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
WO2018121247A1 (zh) 控制无人机飞行的方法、装置以及无人机
CN112106006B (zh) 无人飞行器的控制方法、装置及计算机可读存储介质
US20210009270A1 (en) Methods and system for composing and capturing images
WO2018072717A1 (zh) 拍摄构图的方法及其装置、可移动物体及计算机可读存储介质
CN108496129A (zh) 一种基于飞行器的设施检测方法及控制设备
CN111316288A (zh) 道路结构信息的提取方法、无人机及自动驾驶系统
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
CN113273173A (zh) 可移动平台的巡检方法、装置、可移动平台及存储介质
CN205353774U (zh) 一种伴随拍摄飞行器的无人机航拍系统
CN108292140A (zh) 用于自动返航的系统和方法
CN108323190A (zh) 一种避障方法、装置和无人机
WO2019230604A1 (ja) 検査システム
CN114020039A (zh) 无人机巡检杆塔自动对焦系统及方法
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JPWO2018198313A1 (ja) 無人飛行体のアクションプラン作成システム、方法及びプログラム
CN107820585A (zh) 飞行器降落方法、飞行器和计算机可读存储介质
WO2021056139A1 (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
CN106774363A (zh) 无人机飞行控制系统和方法
CN113454558A (zh) 障碍物检测方法、装置、无人机和存储介质
WO2022141956A1 (zh) 飞行控制方法、视频编辑方法、装置、无人机及存储介质
US20180181129A1 (en) Method and apparatus for controlling flight of unmanned aerial vehicle and unmanned aerial vehicle
CN110720210B (zh) 照明设备控制方法、设备、飞行器及系统
WO2022141123A1 (zh) 可移动平台及其控制方法、装置、终端设备和存储介质
US20240019866A1 (en) Aerial vehicle control method and apparatus, aerial vehicle, and storage medium
CN119007132A (zh) 基于无人机的道路交通巡检方法、无人机、设备和介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17825356

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE