WO2011052827A1 - 이동 로봇의 슬립 감지 장치 및 방법 - Google Patents

이동 로봇의 슬립 감지 장치 및 방법 Download PDF

Info

Publication number
WO2011052827A1
WO2011052827A1 PCT/KR2009/006367 KR2009006367W WO2011052827A1 WO 2011052827 A1 WO2011052827 A1 WO 2011052827A1 KR 2009006367 W KR2009006367 W KR 2009006367W WO 2011052827 A1 WO2011052827 A1 WO 2011052827A1
Authority
WO
WIPO (PCT)
Prior art keywords
slip
mobile robot
angle
image
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2009/006367
Other languages
English (en)
French (fr)
Inventor
신경철
박성주
이희공
이재영
김형오
대니얼스토니어
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yujin Robot Co Ltd
Original Assignee
Yujin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yujin Robot Co Ltd filed Critical Yujin Robot Co Ltd
Priority to JP2012536639A priority Critical patent/JP5421461B2/ja
Priority to EP09850898.9A priority patent/EP2495079B1/en
Priority to CN200980162244.7A priority patent/CN102666032B/zh
Priority to US13/504,510 priority patent/US8873832B2/en
Publication of WO2011052827A1 publication Critical patent/WO2011052827A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1615—Program controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Definitions

  • the present invention relates to a sensing device and a method of a mobile robot. More specifically, the present invention accurately detects slips generated when the mobile robot travels using a plurality of direction sensors and a single image sensor, and based on this, it controls the driving of the mobile robot and escapes a dangerous area, The present invention relates to a sensing device and a method of a mobile robot capable of recovering a position of a misidentified mobile robot.
  • a mobile robot that sets and moves itself is used.
  • Representative examples of the mobile robot include a cleaning robot for cleaning the inside of a house or building, a guide robot for guiding a location, and the like.
  • the cleaning robot is equipped with various sensors and traveling means while cleaning the indoor floor using a vacuum cleaning unit provided therein, a number of actual products are currently used.
  • SLAM Simultaneous Localization And Mapping
  • image-based SLAM generates a map of the surrounding environment using the visual feature points extracted from the image and estimates the robot's pose.
  • a mobile robot travels in dead reckoning using an encoder provided in a gyroscope and a driving motor, and analyzes an image and generates a map using a camera installed on the top.
  • the accumulated error is corrected by using image information obtained from the camera.
  • the mobile robot according to the above-described prior art has a problem in that when a slip occurs while driving, the mobile robot does not effectively escape the slip area or accurately detects the slip angle and direction.
  • the present invention detects the slip angle and the slip direction during side slip, and also detect the front slip to determine the type of slip, and escape the slip region in different ways according to the type of slip It is an object of the present invention to provide an apparatus and method for detecting a mobile robot that can recover a accumulated error by estimating a slip direction and time that occur.
  • a slip detection apparatus for a mobile robot, including: a first rotation angle estimating unit for estimating a first rotation angle at which the mobile robot is rotated; A second rotation angle measuring unit measuring a second rotation angle generated by actual rotation of the mobile robot; An image change amount calculator configured to calculate a change amount of at least two sequential images obtained from the image acquisition means; And calculating a slip direction and a slip angle of the mobile robot based on the error angles of the first and second rotation angles and the amount of change of the image, and detecting a slip type, for escaping the slip area according to the detected slip type. And a slip detector for outputting different escape control signals.
  • the slip detection unit may output a recovery signal for the position of the mobile robot in response to an error in the position information generated during the sleep based on the slip direction, the slip angle, and the image change amount.
  • the slip detector may detect the occurrence of the first slip in the mobile robot when the error angle is larger than the reference error angle.
  • the slip detection unit detects that the sign of the error angle has a negative value when the slip is detected, it is determined that slip has occurred on the right wheel of the mobile robot, and the mobile robot moves backwards for a predetermined distance or time and then moves to the left direction. It is characterized in that for outputting the escape control signal to advance.
  • the slip detector may determine that slip has occurred in the left wheel of the mobile robot when the sign of the error angle has a positive value when the slip is detected, and the mobile robot moves backward for a predetermined distance or time and then moves to the right direction. It is characterized in that for outputting the escape control signal to advance.
  • the slip detector may compare the image change amount and the reference change amount, and calculate the number of stalls by estimating that the mobile robot is stagnant if the image change amount is smaller than the reference change amount.
  • the slip detector may detect the occurrence of the second slip when the number of stagnation is greater than the reference frequency and the speed of the mobile robot based on the error angle is greater than the reference speed.
  • a slip detection method of a mobile robot including: a) estimating a first rotation angle at which the mobile robot is estimated to have rotated; b) measuring a second rotational angle caused by actual rotation of the mobile robot; And c) obtaining an error angle between the first rotation angle and the second rotation angle, and calculating a slip direction and a slip angle of the mobile robot based on the error angle to detect the first slip.
  • the slip detection method may further include d) detecting a second slip by calculating an amount of change of at least two sequentially input images.
  • the slip detection method may further include e) detecting a type of slip based on the detected first slip and the second slip, and selectively escaping a slip area according to the detected slip type. It is done.
  • the slip detection method may further include f) restoring the position of the mobile robot based on the slip direction, the slip angle, and the image change amount.
  • the first rotation angle estimating step may include detecting a first angular velocity, which is a rotational speed of the left wheel drive of the mobile robot, and a second angular velocity, which is a rotational speed of the right wheel drive; And calculating the first rotation angle based on the difference between the first angular velocity and the second angular velocity and the diameter of the wheel of the mobile robot.
  • the step c) may include obtaining an error angle between the first rotation angle and the second rotation angle and comparing the error angle with a reference error angle; And estimating that slip has occurred in the mobile robot when the error angle is larger than the reference error angle, and escaping a slip region.
  • the mobile device moves forward in a direction opposite to the slip direction to escape the slip area.
  • the slip area escaping step when the sign of the error angle has a negative value, it is determined that slip has occurred in the right wheel of the mobile robot, and after moving backward for a predetermined distance or time, the vehicle moves forward to the left to move the slip area. It is characterized by escaping.
  • the slip area escaping step when the sign of the error angle has a positive value, it is determined that slip has occurred on the left wheel of the mobile robot, and after moving backward for a predetermined distance or time, the vehicle moves forward to the right to move the slip area. It is characterized by escaping.
  • the error angle may be a value between +180 and -180 degrees based on the initial position of the mobile robot.
  • the error angle When the error angle has a discontinuous section with respect to the movement time of the mobile robot, by moving the error angle of the discontinuous section in the y-axis direction, the error angle is pre-processed so that the discontinuous section is a continuous section. It is done.
  • the step d) may include: dividing the input image into N regions, and calculating an average and a variance of each increased region by increasing the target region by 1 / N based on the moving direction or the opposite direction of the mobile robot; And calculating the number of congestion by estimating that the input image is stagnant when the image change amount is smaller than a reference change amount when the image is not shielded based on the change amount of the mean and the variance values of the respective areas. It features.
  • the occurrence of the second slip is detected when the number of stagnation is greater than the reference frequency and the speed of the mobile robot based on the error angle is larger than the reference speed.
  • the mobile robot moves backward while avoiding the slip generation area after reversing for a predetermined distance or time.
  • the slip detection apparatus and method of a mobile robot may detect a slip angle and a slip direction during side slip, and also detect a front slip to determine the type of slip.
  • slip detection apparatus and method of the mobile robot according to an embodiment of the present invention can efficiently escape the slip region in different ways depending on the type of slip detected.
  • the slip detection apparatus and method of the mobile robot can recover the position error of the mobile robot accumulated at the time of slip by estimating the slip direction and time.
  • FIG. 1 is a block diagram showing the configuration of a mobile robot to which a preferred embodiment of the present invention is applied;
  • Figure 2 is a block diagram showing the configuration of a slip detection device of a mobile robot according to an embodiment of the present invention
  • FIG. 3 is a flowchart illustrating a slip detection method of a mobile robot according to a preferred embodiment of the present invention
  • FIG. 5 is a view illustrating rotation angle data sensed by the slip detection device and method of a mobile robot and processed data thereof according to a preferred embodiment of the present invention
  • FIG. 7 illustrates a first slip detection result detected by a slip method of a mobile robot according to an exemplary embodiment of the present invention.
  • FIG. 8 illustrates a process of determining whether the image acquisition unit is shielded by dividing the acquired image into four parts based on the moving direction d of the mobile robot.
  • FIG. 1 is a block diagram showing the configuration of a mobile robot to which a preferred embodiment of the present invention is applied.
  • the mobile robot 100 processes an image acquired by the image acquisition unit 110 and an image acquisition unit 110 to extract an image, extracts feature points within the image, and describes a descriptor for the feature point.
  • the driving unit 150 includes a slip detection device 200 that detects a slip angle, a slip direction, and a slip type of the mobile robot, and outputs a different escape control signal for escape of the slip area according to the detected slip type.
  • the image acquisition unit 110 is an apparatus for acquiring an image of a surrounding environment in which a mobile robot is located, and may include an image sensor such as a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like. In the present invention, it is preferable that the image acquisition unit 110 is disposed to face upward to obtain a ceiling image. More preferably, the image acquisition unit 110 may include a wide angle lens such as a fisheye lens to acquire a wide range of ceiling images.
  • CMOS complementary metal oxide semiconductor
  • the image processor 120 includes an image distortion corrector 121 and an image quality checker 122.
  • the image distortion correction unit 121 performs a function of correcting the distortion of the image acquired by the image acquisition unit 110.
  • the image acquisition unit 110 includes a fisheye lens or a wide-angle lens
  • the image acquired through the image acquisition unit 110 includes radial distortion. Accordingly, the image acquisition unit 110 removes the distortion of the image by using a camera parameter obtained in advance.
  • the image quality checker 122 performs a function of determining the availability of the acquired image.
  • the image acquired by the image acquisition unit 110 may be inappropriate to be used for position recognition of the mobile robot. have. Accordingly, the image quality checker 122 checks the acquired image and excludes the obtained image if it is inappropriate. As an example, the image quality checker 122 may process an inappropriate image when the brightness is too high or low based on the brightness of the acquired image.
  • the main controller 130 may control the movement of the mobile robot 100 based on the driving record information obtained from the gyroscope 44 or the encoder 142.
  • the map manager 131 may move the mobile robot 100 based on an image acquired by the image acquirer 110 of the mobile robot 100, driving information such as a moving direction and a distance of the mobile robot 100, a location of a feature point, and the like. Creates and updates a map of this space.
  • a map of the space may be provided to the mobile robot 100 in advance, and in this case, the map manager 131 may continuously update the map based on information such as obstacles located in the space and feature point information. can do.
  • the driving control unit 132 controls the driving of the mobile robot 100 based on the current position and the driving information of the mobile robot 100.
  • the mobile robot 100 includes a left wheel 151 and a right wheel 152, and includes a left wheel drive motor as a robot driver 150 for driving the left and right wheels. And a right wheel driving motor (not shown).
  • the driving controller 132 may control the rotation of each of the left wheel driving motor and the right wheel driving motor to enable the moving robot 100 to move forward, backward, left, and right.
  • the left wheel drive motor and the right wheel drive motor are each provided with an encoder 142 to obtain driving information of the left wheel drive motor and the right wheel drive motor.
  • the driving controller 132 predicts the location of the next feature point and the location of the mobile robot based on the location of the current feature point and the location of the mobile robot using an extended Kalman filter (EKF). It may be designed to control the running of 100.
  • EKF extended Kalman filter
  • Figure 2 is a block diagram showing the configuration of a slip detection device of a mobile robot according to an embodiment of the present invention.
  • the slip detection apparatus 200 of a mobile robot includes a first rotation angle estimator 220 estimating a first rotation angle at which the mobile robot is estimated to rotate; A second rotation angle measuring unit 240 measuring a second rotation angle generated by actual rotation of the mobile robot; An image change amount calculator 250 for calculating a change amount of at least two images obtained from the image acquisition means; And calculating a slip direction and a slip angle of the mobile robot based on the error angles of the first and second rotation angles and the amount of change of the image, and detecting a slip type, for escaping the slip area according to the detected slip type. And a slip detector 210 for outputting different escape control signals.
  • the first rotation angle estimator 220 estimates the first rotation angle by receiving an angular velocity detected by the driving speed detector 230 that calculates the angular velocity of the rotation axis of the robot driving unit 150.
  • a wheel encoder may be used as the driving speed detector 230, and an inertial sensor such as a gyroscope may be used as the second rotation angle measuring unit 240.
  • the driving speed detector 230 and the second rotation angle measuring unit 240 may be used as the encoder 142 and the inertial sensor 141 of the sensor unit 140 as it is.
  • the estimated first rotation angle is a rotation angle estimated by the wheel encoder
  • the second rotation angle is a rotation angle measured by the inertial sensor.
  • the slip detection unit 210 outputs a recovery signal for the position of the mobile robot in response to an error of the position information generated during the slip based on the slip direction, the slip angle, and the image change amount.
  • the slip detection unit 210 detects that the side slip has occurred in the mobile robot, and the sign of the error angle is positive to know in which direction the slip occurs. Determine whether it is or not.
  • the slip detector 210 determines that slip has occurred in the right wheel 152 of the mobile robot when the sign of the error angle has a negative value during slip detection.
  • the slip detection unit 210 slips on the right wheel as described above, the slip detection unit 210 outputs an escape control signal for moving forward in the left direction after the mobile robot moves backward for a predetermined distance or time.
  • the slip detector 210 determines that slip has occurred in the left wheel 151 of the mobile robot when the sign of the error angle has a positive value at the time of slip detection, and the mobile robot is preset. After retreating for a distance or time, an escape control signal for advancing in the right direction is output.
  • FIG. 3 is a flowchart illustrating a slip detection method of a mobile robot according to a preferred embodiment of the present invention
  • FIG. 4 is a view illustrating an estimated rotation angle and a measured rotation angle when slip occurs in a left wheel at a time t1 of the mobile robot while driving
  • FIG. 5 illustrates rotation angle data and data processed by the slip detection device and method of the mobile robot according to an exemplary embodiment of the present invention
  • FIG. 6 illustrates processing when slip occurs at time t1.
  • Figure 7 shows the estimated estimated rotation angle and the measured rotation angle
  • Figure 7 shows the first slip detection result detected by the slip method of the mobile robot according to a preferred embodiment of the present invention
  • Figure 8 shows the movement of the acquired image The process of determining whether the image acquisition unit is shielded by dividing into four parts based on the moving direction (d) of the robot.
  • the slip detection method of the mobile robot may include a) estimating a first rotation angle at which the mobile robot is estimated to have rotated (S210); b) measuring a second rotational angle caused by actual rotation of the mobile robot (S210); And c) obtaining an error angle between the first rotation angle and the second rotation angle and calculating a slip direction and a slip angle of the mobile robot based on the error angle (S200). .
  • the slip detection method may further include d) detecting a second slip by calculating a change amount of at least two sequentially input images.
  • the slip detection method may include: e) detecting a type of slip based on the detected first slip and a second slip (S400), and selectively escaping the slip area according to the detected slip type (S500). It characterized in that it further comprises.
  • the slip detection method may further include f) restoring the position of the mobile robot based on the slip direction, the slip angle, and the image change amount (S600).
  • the first rotation angle estimating step (S120) detects a first angular velocity, which is a rotational speed of the left wheel driving unit of the mobile robot, and a second angular velocity, which is a rotational speed of the right wheel driving unit, and the difference between the first angular velocity and the second angular velocity;
  • the first rotation angle is calculated based on the diameter of the wheel of the mobile robot.
  • the mobile robot 100 moves backward in a direction opposite to the slip direction after reversing for a predetermined distance or time to escape the slip area.
  • the slip detection unit 210 determines that slip has occurred on the right wheel of the mobile robot, and the mobile robot 100 determines the escape control signal of the slip detection unit. After the reverse for a predetermined distance or time to advance to the left direction to escape the slip area.
  • the slip detection unit 210 determines that slip has occurred on the left wheel of the mobile robot, and the mobile robot 100 escapes the control signal of the slip detection unit. After the reverse for a predetermined distance or time to advance in the right direction to escape the slip area.
  • the first rotation angle estimator 220 integrates the angular velocity component of the rotation axis of the robot driver measured by the driving speed detector 230 and outputs ⁇ enco which is a rotation angle estimated to be rotated by the mobile robot 100.
  • the driving speed detector 230 measures the driving rotational angular velocities wL and wR from the left wheel 151 and the right wheel 152 in the differential driving method.
  • the moving speed of the mobile robot can be obtained by multiplying the radius of the wheel by the average of the angular velocities.
  • the rotation angle ⁇ enco can be obtained by multiplying the difference in the angular velocity of both wheels by the radius of the wheels.
  • the linear velocity v and the rotational angular velocity w of the mobile robot 100 can be obtained using Equations (1) and (2) below.
  • v and w are the linear and rotational angular velocities of the mobile robot
  • rR is the right wheel radius
  • rL is the left wheel radius
  • wR is the right wheel rotation speed
  • wL is the left wheel rotation speed
  • B is The distance between the two wheels.
  • the first rotation angle estimator ( An error angle is generated between the rotation angle ⁇ enco estimated at 220 and the rotation angle ⁇ gyro measured by the second rotation angle measuring unit 240.
  • the slip detector 210 accumulates such an error angle.
  • the slip detector 210 moves the error angle of the discontinuous section in parallel in the y-axis direction to preprocess the error angle so that the discontinuous section becomes a continuous section. . .
  • the side slip of the mobile robot may be determined by the difference between the patterns of ⁇ gyro and ⁇ enco for a predetermined time.
  • SlipAngle (n) is an error angle with respect to the rotation angle output from the first rotation angle measuring unit and the second rotation angle measuring unit for the slip in the lateral direction.
  • the slip detection unit 210 determines that slip has occurred if the absolute value of the measured slip angle is larger than a predetermined reference value, and slips. If the sign of SlipAngle is positive, slip occurs on the left side of the robot's direction of travel; if negative, slip occurs on the right side. If a slip occurs, the positional error can be reduced by not proceeding in that direction anymore, so you can use a movement strategy to step back and avoid it in the opposite direction.
  • the position update of the robot based on the encoder during the slip period can be restored only if the actual position can be recovered.
  • the two-dimensional plane coordinates of the robot are modified as shown in Equations (4) and (5) by using the difference between the direction angles in the encoder space and the gyro space, that is, the accumulated slip angle.
  • r is the radius of the wheel
  • dx (n) and dy (n) are the positional errors in the X- and Y-axis directions, respectively
  • ( ⁇ L + ⁇ R ) * r / 2 is the moving speed of the mobile robot
  • W is the window size applied to the raw data for data processing.
  • the slip detection unit 210 compares the image change amount and the reference change amount, and estimates that the mobile robot is stagnant when the image change amount and the reference change amount are smaller than that.
  • the slip detector 210 detects the occurrence of the second slip when the number of stalls is greater than the reference frequency and the speed of the mobile robot based on the error angle is greater than the reference speed.
  • the image change calculator 250 detects a change in brightness of the image acquired by the image acquirer 110 to detect that the mobile robot 100 moves below an obstacle such as a table.
  • the image acquisition unit 110 of the mobile robot 100 is detected to be shielded by an obstacle using brightness averages and variances of the acquired images.
  • the slip detection unit 210 may include an inertial sensor 240 such as a gyroscope, and the like. A signal for controlling the movement of the mobile robot 100 is output based on the position information acquired from the wheel encoder 23.
  • the inertial sensor 240 detects the inertia so that the heading direction of the mobile robot 100 can be checked, and the sensing information of the inertial sensor 240 and the sensing information of the wheel encoder 230 include the mobile robot ( 100 driving information (odometry) is configured.
  • each of L1 and L2 is a derivative of the direction angles on the wheel encoder and the gyro sensor space
  • L3 is a sum of the difference between L1 and L2 for a predetermined time window. If L3 is greater than a certain value, it is classified as slip.
  • the third peak corresponds to the case where the slip defined by the present inventors occurs, and a threshold of about 1.2 is used here.
  • the slip is caused by the cleaning robot struggling in the lateral direction for a certain time.
  • the slip detection unit 210 divides the input image into N regions, and targets the target image based on the moving direction or the opposite direction of the mobile robot.
  • the area is increased by 1 / N to calculate the average and the variance of each increased area (S330), and the amount of change in the image when the image is not shielded based on the amount of change in the mean and the variance of the respective areas is changed. If it is smaller, it is estimated that the input image is stagnant and calculates the number of times of congestion.
  • the slip detector 210 detects the occurrence of the second slip when the number of stalls is greater than the reference frequency and the speed of the mobile robot based on the error angle is greater than the reference speed.
  • the image acquired by the image acquisition unit 110 is divided into four equal parts based on the moving direction d of the mobile robot 100.
  • the average and the variance of the entire image may be obtained using the brightness average values of the divided regions to determine whether the mobile robot 100 is shielded.
  • a vision sensor such as a camera is used to detect a front slip, but methods using a speed difference with a driving wheel using an accelerometer or driven wheels may be applied.
  • the difference is calculated on the continuous image sequence to estimate the change of the robot camera pose.
  • the background lighting may be different for each acquired image, the average and the variance of the image are obtained to obtain a normalized image as shown in Equations (6) and (7), and the variation of the image information is measured as the difference.
  • the predetermined reference value is small, it is assumed that congestion of the camera pose has occurred. However, in order to reliably determine whether congestion occurs in the pose of the mobile robot, it searches for successive congestion. At the same time, if the driving speed of the robot is higher than a certain level, it is judged that the front slip has occurred or is caught on both sides if it is not stopped.
  • the mobile robot When the slip detection unit 210 detects a front slip, the mobile robot outputs a control signal so that the mobile robot avoids the slip generating area and then travels after reversing for a predetermined distance or time. That is, in the case of the front slip, it can be rotated outward to avoid the environment in which slip can occur, and the robot retracts by multiplying the number of times of congestion and the moving speed of the robot to correct the estimated position of the robot.
  • the SLAM mobile robot equipped with a single camera applied to the present invention processes 2-3 frames per second, so the EKF (Extended Kalman Filter) map is detected while the front slip is detected by visual odometry. It is necessary to correct the coordinate information of a landmark incorrectly registered on the image. Therefore, the covariance is increased with respect to the landmarks registered in the landmark initialization buffer so that an error caused by slip can be corrected by subsequent observation.
  • the side slip detection can be processed in a relatively short time to correct the current position information of the mobile robot when updating the EKF.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 이동 로봇의 슬립 감지 장치 및 방법에 관한 것으로서, 더욱 상세하게는, 복수의 회전 감지 센서를 이용하여 측면 슬립각 및 측면 슬립방향을 감지할 뿐만 아니라 영상 변화량을 분석하여 영상 입력부의 차폐 정도를 검출하여 입력영상의 품질을 판단하고 정면 슬립 여부를 감지할 수 있어 슬립의 종류와 슬립의 방향 및 회전각을 정밀하게 감지할 수 있고, 이에 기반하여 슬립영역을 탈출 및 회피할 수 있고, 이동로봇의 정확한 위치를 복구할 수 있는 이동 로봇의 슬립 감지 장치 및 방법에 관한 것이다.

Description

이동 로봇의 슬립 감지 장치 및 방법
본 발명은 이동 로봇의 감지 장치 및 방법에 관한 것이다. 더욱 상세하게는, 본 발명은 복수의 방향 센서와 단일의 영상 센서를 이용하여 이동 로봇의 주행시 발생한 슬립을 정확하게 감지하고, 이를 바탕으로 이동 로봇의 주행을 제어하고 위험 지역을 탈출하고, 슬립에 의한 오인식된 이동 로봇의 위치를 복구할 수 있는 이동 로봇의 감지 장치 및 방법에 관한 것이다.
최근 로봇 기술의 발전에 따라 스스로 경로를 설정하고 이동하는 이동 로봇이 활용되고 있다. 이동 로봇의 대표적인 예로는 주택이나 건물 내부를 청소하는 청소용 로봇, 위치를 안내하는 안내 로봇 등을 들 수 있다. 특히 청소 로봇의 경우에는 각종 센서와 주행 수단을 구비하여 주행하면서 내부에 구비된 진공 청소 유닛을 이용하여 실내 바닥을 청소하며 현재 다수의 실제 제품이 사용되고 있다.
이들 이동 로봇이 공간에서 효과적으로 위치를 판단하며 이동하기 위해서 이동하고 있는 공간에 대한 지도를 생성하고 공간상의 자신의 위치를 인식하는 것이 요구된다. 이동 로봇이 주변 공간에 대하여 스스로 위치를 인식하고 지도를 형성하는 것을 동시 위치인식 및 지도형성(SLAM : Simultaneous Localization And Mapping)이라고 한다.
SLAM 기법 중에서 영상 기반의 SLAM은 영상에서 추출한 시각 특징점을 이용하여 주변 환경에 대한 지도를 생성하고, 로봇의 자세를 추정한다. 통상적으로 이동 로봇은 자이로스코프와 구동 모터에 구비된 엔코더를 이용하여 추측 항법(dead reckoning)으로 주행하며, 상부에 설치된 카메라를 이용하여 영상을 분석하고 지도를 생성한다. 이 때 자이로스코프와 엔코더로부터의 주행 정보에 의한 오차가 발생하는 경우 카메라로부터 획득된 영상 정보를 활용하여 누적되는 오차가 보정된다.
상술한 종래 기술에 따른 이동 로봇은 주행시에 슬립이 발생한 경우 효과적으로 슬립영역을 탈출하지 못하거나 슬립각과 방향을 정확하게 검출하지 못하는 문제점이 있었다.
상기한 문제점을 해결하기 위하여, 본 발명은 측면 슬립시의 슬립각과 슬립방향을 감지하고, 이와 아울러 정면슬립을 감지하여 슬립의 종류를 판단하고, 슬립의 종류에 따라 상이한 방법으로 슬립 영역의 탈출하고, 발생한 슬립 방향과 시간을 추정하여 누적된 오차를 복구할 수 있는 이동 로봇의 감지 장치 및 방법을 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 이동 로봇의 슬립 감지 장치는 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 제1 회전각 추정부; 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 제2 회전각 측정부; 영상 획득 수단으로부터 획득한 적어도 순차적인 두 영상의 변화량을 산출하는 영상 변화량 산출부; 및 상기 제1,2 회전각의 오차각 및 상기 영상 변화량에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립 감지부를 포함한다.
상기 슬립 감지부는, 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 상기 슬립시 발생한 위치 정보의 오류에 대하여 이동 로봇의 위치를 복구 신호를 출력하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 오차각이 기준 오차각보다 큰 경우에는 상기 이동 로봇에 제1 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 슬립 감지시 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 슬립 감지시 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 영상 변화량과 기준 변화량을 비교하고, 상기 영상 변화량과 기준 변화량 보다 작은 경우에 상기 이동 로봇이 정체된 것으로 추정하여 정체 회수를 산출하는 것을 특징으로 한다.
상기 슬립 감지부는, 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에는 제2 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명에 따른 이동 로봇의 슬립 감지 방법은 a) 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 단계; b) 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 단계; 및 c) 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하고, 그 오차각에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 제1 슬립을 감지하는 단계를 포함한다.
상기 슬립 감지 방법은, d) 적어도 순차적으로 입력된 두 영상의 변화량을 산출하여 제2 슬립을 감지하는 단계를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, e) 상기 감지된 제1 슬립과 제2 슬립에 기초하여 슬립의 종류를 검출하고, 그 검출된 슬립의 종류에 따라 선택적으로 슬립 영역을 탈출하는 단계를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, f) 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 이동 로봇의 위치를 복구하는 단계를 더 포함하는 것을 특징으로 한다.
상기 제1 회전각 추정단계는, 상기 이동 로봇의 좌륜 구동부의 회전 속도인 제1 각속도와 우륜 구동부의 회전 속도인 제2 각속도를 검출하는 단계; 및 상기 제1 각속도와 제2 각속도의 차이 및 상기 이동 로봇의 바퀴의 지름에 기초하여 상기 제1 회전각을 산출하는 단계를 포함하는 것을 특징으로 한다.
상기 c) 단계는, 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하여 기준 오차각과 비교하는 단계; 및 상기 오차각이 상기 기준 오차각보다 큰 경우에는 상기 이동 로봇에 슬립이 발생한 것으로 판단하여 슬립 영역을 탈출하는 단계를 포함하는 것을 특징으로 한다.
상기 슬립 영역 탈출 단계는, 상기 이동로봇이 기설정된 거리 또는 시간 동안 후진한 후에 상기 슬립방향과 반대 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 한다.
상기 슬립 영역 탈출 단계는, 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 한다.
상기 슬립 영역 탈출 단계는, 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 한다.
상기 오차각은 상기 이동 로봇의 초기위치를 기준으로 +180와 -180도 사이의 값을 갖는 것을 특징으로 한다.
상기 오차각이 상기 이동로봇의 이동 시간에 대하여 불연속 구간을 갖는 경우에, 상기 불연속 구간의 오차각을 y축 방향으로 평행이동시켜, 상기 불연속 구간이 연속구간이 되도록 상기 오차각을 전처리하는 것을 특징으로 한다.
상기 d) 단계는, 상기 입력된 영상을 N 영역으로 분할하고, 이동 로봇의 진행 방향 또는 반대방향을 기준으로 대상 영역을 1/N 만큼 증가시켜 각 증가된 영역의 평균과 분산을 산출하는 단계; 및 상기 각 영역의 평균과 분산 값의 변화량에 기초하여 상기 영상이 차폐되지 않은 경우에 상기 영상 변화량이 기준 변화량보다 작은 경우에 입력 영상이 정체된 것으로 추정하여 정체 회수를 계산하는 단계를 포함하는 것을 특징으로 한다.
상기 d) 단계에서는, 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에 상기 제2 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 제2 슬립의 발생이 감지되면, 상기 이동 로봇은 기설정된 거리 또는 시간동안 후진한 후에 상기 슬립 발생영역을 회피하여 주행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법은 측면 슬립시의 슬립각과 슬립방향을 감지하고, 이와 아울러 정면슬립을 감지하여 슬립의 종류를 판단할 수 있다.
또한, 본 발명의 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법은 검출된 슬립의 종류에 따라 상이한 방법으로 효율적으로 슬립 영역을 탈출할 수 있다.
또한, 본 발명의 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법은 슬립 방향과 시간을 추정하여 슬립시에 누적된 이동 로봇의 위치 오차를 복구할 수 있다.
도 1은 본 발명의 바람직한 실시예가 적용되는 이동 로봇의 구성을 도시한 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치의 구성을 도시한 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 방법을 도시한 순서도,
도 4는 이동 로봇의 주행중 시간 t1에서 좌륜에 슬립이 발생한 경우의 추정 회전각과 측정 회전각을 도시한 것이고,
도 5는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법에 의하여 감지된 회전각 데이터와 이를 가공한 데이터를 도시한 것이고,
도 6은 시간 t1에서 슬립이 발생한 경우에 있어서, 가공된 추정 회전각과 측정 회전각을 도시한 것이고,
도 7은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립 방법에 의하여 감지된 제1 슬립 감지 결과를 도시한 것이고,
도 8은 획득한 영상을 이동 로봇의 진행방향(d)을 기준으로 4등분하여 영상 획득부의 차폐 여부를 판단하는 과정을 도시한 것이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예가 적용되는 이동 로봇의 구성을 도시한 블록도이다.
도 1을 참조하면, 상기 이동 로봇(100)은, 영상을 취득하는 영상 획득부(110), 영상 획득부(110)에서 획득된 영상을 처리하고 영상 내의 특징점을 추출하며 특징점에 대한 기술자(descriptor)를 생성하는 영상 처리부(120), 이동 로봇(100)의 이동 방향 정보와 이동 거리 등을 센싱하는 센서부(140), 획득된 영상을 바탕으로 이동 로봇이 이동하는 공간에 대한 지도를 생성하고 획득된 영상에서 추출한 특징점에 관한 정보와 센서부(140)로부터 획득된 주행 정보를 바탕으로 이동 로봇의 작동을 제어하는 주제어부(130), 주제어부(130)의 제어에 따라 로봇을 구동하는 로봇 구동부(150), 및 이동 로봇의 슬립각, 슬립방향 및 슬립 종류를 감지하여 감지된 슬립종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립감지 장치(200)를 포함한다.
영상 획득부(110)는 이동 로봇이 위치한 주변 환경에 대한 영상을 취득하는 장치로서, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서를 포함하여 구성될 수 있다. 본 발명에 있어서 영상 획득부(110)는 상향을 향하도록 배치되어 천장 영상을 획득하도록 배치됨이 바람직하다. 더욱 바람직하게는 영상 획득부(110)는 어안 렌즈(fisheye lens)와 같은 광각(wide angle) 렌즈를 구비하여 넓은 범위의 천장 영상을 획득할 수 있도록 한다.
영상 처리부(120)는 영상 왜곡 보정부(121) 및 영상 품질 점검부(122)를 포함한다.
영상 왜곡 보정부(121)는 영상 획득부(110)에서 획득된 영상의 왜곡을 보정하는 기능을 수행한다. 영상 획득부(110)가 어안 렌즈 또는 광각 렌즈를 포함하는 경우, 영상 획득부(110)를 통해 획득된 영상은 왜곡(radial distortion)을 포함한다. 이에 따라 영상 획득부(110)는 사전에 획득된 카메라 파라미터를 이용하여 영상의 왜곡을 제거한다.
영상 품질 점검부(122)는 획득된 영상의 가용성을 판단하는 기능을 수행한다. 영상 획득부(110)로 직사 광선이 조사되거나 영상 획득부(110)가 테이블과 같은 장애물에 의해 가려지는 경우 영상 획득부(110)에서 획득된 영상은 이동 로봇의 위치 인식에 사용되기 부적합할 수 있다. 이에 따라 영상 품질 점검부(122)는 획득된 영상을 점검하여 획득된 영상이 부적합한 경우 이를 배제하는 기능을 수행한다. 일례로서, 영상 품질 점검부(122)는 획득된 영상의 명도를 기준으로 명도가 너무 높거나 낮은 경우 부적합한 영상으로 처리할 수 있다. 획득된 영상이 배제되는 경우 주제어부(130)는 자이로스코프(44)나 엔코더(142)로부터 획득된 주행 기록정보를 바탕으로 이동 로봇(100)의 이동을 제어할 수 있다.
지도 관리부(131)는 이동 로봇(100)의 영상 획득부(110)에서 획득된 영상, 이동 로봇(100)의 이동 방향과 거리 등의 주행 정보, 특징점의 위치 등을 바탕으로 이동 로봇(100)이 위치한 공간에 대한 지도를 생성하고 갱신하는 기능을 수행한다. 경우에 따라서는 상기 공간에 대한 지도가 이동 로봇(100)에 미리 제공될 수 있으며, 이 경우에는 공간에 위치한 장애물 등의 정보와 특징점 정보를 바탕으로 지도 관리부(131)는 지도를 계속적으로 갱신하도록 할 수 있다.
주행 제어부(132)는 이동 로봇(100)의 현재 위치 및 주행 정보를 바탕으로 이동 로봇(100)의 주행을 제어하는 기능을 수행한다. 이동 로봇(100)의 주행을 위한 일 실시 형태로서, 이동 로봇(100)은 좌륜(151)과 우륜(152)를 구비하고, 좌륜과 우륜의 구동을 위한 로봇 구동부(150)로서 좌륜 구동 모터(미도시)와 우륜 구동 모터(미도시)를 구비할 수 있다. 주행 제어부(132)는 좌륜 구동 모터와 우륜 구동 모터 각각의 회전을 제어함으로써 이동 로봇(100)의 전진, 후진, 좌회전, 및 우회전 등의 주행이 가능하도록 할 수 있다. 이 경우 좌륜 구동모터와 우륜 구동모터에는 각각 엔코더(142)가 구비되어 좌륜 구동모터와 우륜 구동모터의 구동 정보를 획득한다.
한편, 상기 주행 제어부(132)는 확장된 칼만 필터(EKF : Extended Kalman Filter)를 활용하여 현재 특징점의 위치와 이동 로봇의 위치에 기반하여 이후의 특징점의 위치와 이동 로봇의 위치를 예측함으로써 이동 로봇(100)의 주행을 제어하도록 설계될 수 있다.
이하에서는 도 2를 참조하여 본 발명의 일실시예에 따른 이동 로봇의 슬립감지 장치(200)를 상세히 설명하겠다.
도 2는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 이동 로봇의 슬립 감지 장치(200)는 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 제1 회전각 추정부(220); 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 제2 회전각 측정부(240); 영상 획득 수단으로부터 획득한 적어도 순차적인 두 영상의 변화량을 산출하는 영상 변화량 산출부(250); 및 상기 제1,2 회전각의 오차각 및 상기 영상 변화량에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립 감지부(210)를 포함한다.
상기 제1 회전각 추정부(220)는 로봇의 구동부(150)의 회전축의 각속도를 산출하는 구동 속도 검출부(230)에서 검출한 각속도를 입력받아 상기 제1 회전각을 추정한다.
여기서, 상기 구동 속도 검출부(230)로는 휠 엔코더가 사용될 수 있고, 상기 제2 회전각 측정부로(240)는 자이로스코프와 같은 관성 센서가 사용될 수 있다. 또한, 상기 구동 속도 검출부(230)와 제2 회전각 측정부(240)는 상기 센서부(140)의 엔코더(142)와 관성센서(141)가 그대로 이용될 수 있다. 이 경우에 상기 추정된 제1 회전각은 상기 휠 엔코더가 추정한 회전각이 되고, 상기 제2 회전각은 상기 관성 센서가 측정한 회전각이 된다.
상기 슬립 감지부(210)는, 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 상기 슬립시 발생한 위치 정보의 오류에 대하여 이동 로봇의 위치를 복구 신호를 출력한다.
상기 슬립 감지부(210)는, 상기 오차각이 기준 오차각보다 큰 경우에는 상기 이동 로봇에 측면슬립이 발생하였음을 감지하며, 상기 슬립이 어느 방향으로 발생하였는지를 알기 위하여 상기 오차각의 부호가 양인지 또는 음인지를 판단한다.
상기 슬립 감지부(210)는, 슬립 감지시에 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜(152)에 슬립이 발생한 것으로 판단한다. 상기 슬립 감지부(210)는, 상기와 같이 우륜에 슬립 발생한 경우에 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하는 탈출 제어신호를 출력한다.
또한, 상기 슬립 감지부(210)는, 슬립 감지시에 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜(151)에 슬립이 발생한 것으로 판단하여, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하는 탈출 제어신호를 출력한다.
이하에서는, 도 3 내지 도 7을 참조하여 본 발명의 일실시예에 따른 설명에 따른 이동 로봇(100)의 슬립감지 방법을 설명하면 다음과 같다.
도 3은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 방법을 도시한 순서도, 도 4는 이동 로봇의 주행중 시간 t1에서 좌륜에 슬립이 발생한 경우의 추정 회전각과 측정 회전각을 도시한 것이고, 도 5는 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립감지 장치 및 방법에 의하여 감지된 회전각 데이터와 이를 가공한 데이터를 도시한 것이고, 도 6은 시간 t1에서 슬립이 발생한 경우에 있어서, 가공된 추정 회전각과 측정 회전각을 도시한 것이고, 도 7은 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립 방법에 의하여 감지된 제1 슬립 감지 결과를 도시한 것이고, 도 8은 획득한 영상을 이동 로봇의 진행방향(d)을 기준으로 4등분하여 영상 획득부의 차폐 여부를 판단하는 과정을 도시한 것이다.
도 3을 참조하면, 이동 로봇의 슬립 감지 방법은 a) 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 단계(S210); b) 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 단계(S210); 및 c) 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하고, 그 오차각에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 제1 슬립을 감지하는 단계(S200)를 포함한다.
상기 슬립 감지 방법은, d) 적어도 순차적으로 입력된 두 영상의 변화량을 산출하여 제2 슬립을 감지하는 단계(S300)를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, e) 상기 감지된 제1 슬립과 제2 슬립에 기초하여 슬립의 종류를 검출하고(S400), 그 검출된 슬립의 종류에 따라 선택적으로 슬립 영역을 탈출하는 단계(S500)를 더 포함하는 것을 특징으로 한다.
상기 슬립 감지 방법은, f) 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 이동 로봇의 위치를 복구하는 단계(S600)를 더 포함하는 것을 특징으로 한다.
상기 제1 회전각 추정단계(S120)는, 상기 이동 로봇의 좌륜 구동부의 회전 속도인 제1 각속도와 우륜 구동부의 회전 속도인 제2 각속도를 검출하고, 상기 제1 각속도와 제2 각속도의 차이 및 상기 이동 로봇의 바퀴의 지름에 기초하여 상기 제1 회전각을 산출한다.
상기 제1 슬립을 감지하는 단계(S200)에서는, 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하여 기준 오차각과 비교하고, 상기 오차각이 상기 기준 오차각보다 큰 경우에는 상기 이동 로봇에 슬립이 발생한 것으로 판단하여 슬립 영역을 탈출한다.(S500)
이때, 상기 이동 로봇(100)은 기설정된 거리 또는 시간 동안 후진한 후에 상기 슬립방향과 반대 방향으로 전진하여 상기 슬립 영역을 탈출하게 된다. 이때, 상기 슬립 감지부(210)는 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇(100)은 상기 슬립 감지부의 탈출 제어신호에 따라 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하여 상기 슬립 영역을 탈출하게 된다. 그러나, 상기 슬립 감지부(210)는 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇(100)은 상기 슬립 감지부의 탈출 제어신호에 따라 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하여 상기 슬립 영역을 탈출하게 된다.
도 4 내지 도 6을 참조하여, 보다 상세하게 상기 제1 슬립 감지 단계를 설명하겠다.
우선 제1 회전각 추정부(220)는 구동 속도 검출부(230)에서 측정한 로봇 구동부의 회전축의 각속도 성분을 적분하여 이동 로봇(100)이 회전한 것으로 추정되는 회전각인 θenco를 출력한다. 상기 구동 속도 검출부(230)는 차등 구동 방식에서 좌륜(151)과 우륜(152)으로부터 구동 회전 각속도 wL과 wR를 측정한다. 이동 로봇의 이동 속도는 각속도의 평균에 바퀴의 반지름을 곱하여 구할 수 있다. 또한, 회전각(θenco)은 양 바퀴의 각속도 차이에 바퀴의 반지름을 곱하여 구할 수 있다. 이를 다시 적분하게 되면 엔코더와 같은 구동 속도 검출(230)에 의한 회전각(θenco)을 구할 수 있다.
이동 로봇(100)의 선속도(v)와 회전 각속도(w)는 아래의 식(1) 및 (2)를 이용하여 구할 수 있다.
v = (wR * rR + wL * rL) / 2 --------------------------(1)
w = (wR * rR - wL * rL) / B --------------------------(2)
여기서, v와 w의 각각은 이동 로봇의 선속도와 회전 각속도이고, rR은 오른쪽 바퀴 반지름이고, rL은 왼쪽 바퀴 반지름이고, wR은 오른쪽 바퀴 회전속도이고, wL은 왼쪽바퀴 회전속도 이고, B는 양 바퀴 간의 거리이다.
도 4에 도시된 바와 같이, 이동 로봇(100)이 초기 위치( t = 0)에서 주행 또는 청소를 시작한 후 시간 t = t1에서 우륜(151)에 슬립이 발생하게 되면 제1 회전각 추정부(220)에 추정한 회전각(θenco )과 제2 회전각 측정부(240)에서 측정한 회전각(θ gyro )에 사이에 오차각이 발생한다. 상기 슬립 감지부(210)는 이와 같은 오차각을 누적하게 된다.
그러나 본 발명에 따른 실시예에서는 이동 로봇의 회전각은 -π ~ +π로 제한되어 있으므로 회전각의 절대값이 π를 넘어가면 부호가 바뀌어서 연속적인 처리가 불가능하다. 그래서 이를 다시 전처리하는 과정이 필요하다.
도 5를 참조하여, 상기 전처리 과정을 상세히 설명하겠다.
도 5(a)에 도시된 바와 같이, 상기 오차각은 -π ~ +π의 값을 가지므로, 상기 오착각이 +π를 넘는 경우 -π ~ 0 사이의 값을 갖게 된다. 그러므로, 상기 오차각은 +π와 -π에 해당하는 이동 시간에 대하여 불연속 구간을 갖게 된다. 따라서, 상기 슬립 감지부(210)는 도 5(b)에 도시된 바와 같이, 상기 불연속 구간의 오차각을 y축 방향으로 평행이동시켜, 상기 불연속 구간이 연속구간이 되도록 상기 오차각을 전처리한다. .
이동 로봇의 측면 슬립은 일정 시간 동안의 θ gyro 와 θ enco 의 패턴의 차이에 의하여 판단될 수 있다. 이와 같은 슬립은 이동 로봇의 주행 또는 회전 경로에 장애물이 존재함으로써 회전 또는 주행 제어 명령에 의한 각도와 실제 회전 각도 간에 오차가 발생한 것을 의미한다. 즉, 도 6에 도시된 바와 같이, 이동 로봇(100)이 시간 t = t1에서 슬립이 발생한 경우에 회전각(θ gyro , θ enco )의 패턴은 t = t1에서 달라진다.
다만, 이와 같은 회전각 패턴의 오차가 이동 로봇의 슬립으로 판단되기 위해서는 일정 시간 동안 슬립 상태가 유지되어야 한다. 따라서 슬립을 판단하는 경우에 회전각 θ gyro , θ enco 의 출력 데이터에 일정한 샘플링 윈도우 구간에서 이동 평균(moving average)을 구한 후, 그 이동 평균의 차이로써 슬립 여부를 판단한다. 상기 오차각은 아래 식 (3)에 의하여 구할 수 있다.
SlipAngle(n) =
Figure PCTKR2009006367-appb-I000001
-----------------------(3)
여기서, SlipAngle(n)은 측면 방향의 슬립에 대한 제1 회전각 측정부와 제2 회전각 측정부에서 출력한 회전각에 대한 오차각이다.
슬립을 감지하기 위해서는 일정한 샘플링 시간 간격에 따른 회전각 θgyro 와 θenc의 차이를 살펴보아야 한다. 따라서 상기 회전각의 차이를 명확하게 구분하기 위하여 각 회전각의 미분값인 dθ gyro /dt , dθ enc /dt 를 구하는 것이 필요하며, 본 실시예에서는 가우스 미분(Gaussian derivative) 연산자를 적용하여 노이즈 성분을 제거한 미분값을 취한다.
상기 슬립 감지부(210)는 측정한 슬립각(SlipAngle)의 절대값이 정해진 기준치보다 크다면 슬립이 발생한 것으로 판단하고, 슬립각한다. SlipAngle의 부호가 양이면 로봇의 진행방향의 왼쪽에서 슬립이 발생한 것이며 음이면 오른쪽에서 슬립이 발생한 것이다. 슬립이 발생하면 더 이상 그 방향으로 진행하지 않아야 위치오차를 줄일 수 있으므로 뒤로 약간 물러난 후 반대 방향으로 회피하는 이동전략을 구사할 수 있다.
한편 슬립이 발생한 기간 동안 엔코더를 기반으로 한 로봇의 위치 갱신은 취소되어야 실제 위치를 복구할 수 있다. 이를 위하여 엔코더 공간과 자이로 공간에서의 방향각의 차이, 즉 누적된 슬립각(SlipAngle)을 이용하여 로봇의 2차원 평면 좌표를 식(4) 및 (5)와 같이 수정한다.
dx(n) = cos(SlipAngle(n)) * (ωL +ωR)*r/2 * W ------------------(4)
dy(n) = sin(SlipAngle(n)) * (ωL +ωR)*r/2 * W ------------------(5)
여기서, r은 바퀴의 반지름이고, dx(n)와 dy(n)은 각각 X축 방향과 Y축 방향의 위치 오차이고, (ωL +ωR)*r/2은 이동 로봇의 이동 속도이고, W는 데이터 처리를 위하여 로우 데이터에 적용되는 윈도 사이즈이다.
다른 한편으로는, 상기 슬립 감지부(210)는, 상기 영상 변화량과 기준 변화량을 비교하고, 상기 영상 변화량과 기준 변화량보다 작은 경우에 상기 이동 로봇이 정체된 것으로 추정하여 정체 회수를 한다.
상기 슬립 감지부(210)는, 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에는 제2 슬립의 발생을 감지하는 것을 특징으로 한다.
상기 영상 변화량 산출부(250)는 영상 획득부(110)에 의해 획득된 영상의 명도 변화를 감지하여 이동 로봇(100)이 테이블과 같은 장애물의 하부로 이동하는 것을 감지할 수 있다. 예컨대, 획득된 영상의 명도 평균 및 분산을 이용하여 이동 로봇(100)의 영상 획득부(110)가 장애물에 의해 차폐되는 것을 감지한다.
영상 획득부(110)가 장애물에 의해 차폐되는 경우에는 영상을 기반으로 한 이동 로봇(100)의 위치 제어가 불가능하게 되므로, 상기 슬립 감지부(210)는 자이로스코프와 같은 관성 센서(240) 및 휠 엔코더(23)으로 부터 획득한 위치 정보를 바탕으로 하여 이동 로봇(100)의 이동을 제어하는 신호를 출력한다.
상술한 관성 센서(240)는 관성을 감지하여 이동 로봇(100)의 헤딩(heading) 방향을 확인할 수 있도록 하는데, 관성 센서(240)의 센싱 정보와 휠 엔코더(230)의 센싱 정보는 이동 로봇(100)의 주행 정보(odometry)를 구성한다.
도 7을 참조하여, 본 발명의 바람직한 실시예에 따른 이동 로봇의 슬립 방법에 의하여 감지된 제1 슬립 감지 결과를 설명하겠다.
도 7에서, L1과 L2의 각각은 휠 엔코더와 자이로 센서 공간 상에서의 방향각을 미분한 값이며, L3는 L1과 L2의 차이를 일정 시간 윈도우 동안 합한 값이다. L3가 일정 값보다 크게 되면 슬립으로 분류된다.
도 7에 도시된 바와 같이, L3 상에서 세 개의 피크가 나타나는데 첫 번째 피크는 바닥이 약간 울퉁불퉁하여 일시적인 슬립이 발생한 경우이고, 두 번째 피크는 180도 회전 시작과 종료시 동기가 맞지 않아서 휠 엔코더와 자이로 센서의 헤딩이 틀어져서 발생한 경우이다.
그러나, 세 번째 피크는 본 발명자가 정의한 슬립이 발생한 경우에 해당하며, 여기서는 1.2 정도의 문턱값(threshold)을 사용한다. 상기 슬립은 일정 시간 동안 청소로봇이 측면방향으로 힘겨루기를 하여서 발생한 것이다.
도 8을 참조하여, 보다 상세하게 상기 제2 슬립 감지 단계를 설명하겠다.
도 8에 도시된 바와 같이, 상기 제2 슬립 감지 단계(S300)에서는, 상기 슬립 감지부(210)는 상기 입력된 영상을 N 영역으로 분할하고, 이동 로봇의 진행 방향 또는 반대방향을 기준으로 대상 영역을 1/N 만큼 증가시켜 각 증가된 영역의 평균과 분산을 산출하고(S330), 상기 각 영역의 평균과 분산 값의 변화량에 기초하여 상기 영상이 차폐되지 않은 경우에 상기 영상 변화량이 기준 변화량보다 작은 경우에 입력 영상이 정체된 것으로 추정하여 정체 회수를 계산한다.(S340)
즉, 상기 슬립 감지부(210)는 상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에 상기 제2 슬립의 발생을 감지하게 된다.
만약 이동 로봇(100)이 테이블의 하부로 들어가게 되는 경우라면, 영상 프레임의 명도 평균이 점차 감소하면서 명도의 분산값이 커졌다가 작아지게 될 것이다. 본 실시예에서는 도 7에 도시된 바와 같이, 상기의 경우에 계산량을 감소시키는 방법으로서, 영상 획득부(110)에서 획득된 영상을 이동 로봇(100)의 진행방향(d)을 기준으로 4등분하여 분할된 각 영역의 명도 평균값을 이용하여 전체 영상에 대한 평균과 분산을 구하여 이동 로봇(100)의 차폐 여부를 판단할 수 있다.
본 실시예에서는 정면 슬립을 감지하기 위해서 카메라와 같은 비젼 센서를 사용하였으나, 가속도계를 이용하거나 종동바퀴를 이용하여 구동바퀴와의 회전수 차이를 이용하는 방법들이 적용될 수 있다.
영상 획득 수단인 카메라가 차폐되지 않았다면 연속된 영상 시퀀스 상에서 차이를 계산하여 로봇 카메라 포즈의 변화를 추정한다. 그러나 획득한 영상마다 배경조명의 차이가 발생할 수 있으므로 영상의 평균과 분산을 구하여 식 (6) 및 (7)과 같이 정규화된 영상을 구하여 그 차이로써 영상정보의 변화량을 측정한다.
Figure PCTKR2009006367-appb-I000002
------------------------(6)
Figure PCTKR2009006367-appb-I000003
------------------------(7)
이때 정해진 기준치가 변화량이 적으면 카메라 포즈의 정체가 발생한 것으로 추정한다. 그러나 이동 로봇의 포즈에 정체가 발생하는 지를 신뢰성 있게 판단하기 위하여 연속적인 정체 여부를 탐색한다. 동시에 로봇의 구동속도가 일정 정도 이상이어서 정지상태가 아니면 정면슬립이 발생했거나 양 측면에 끼인 걸로 판단한다.
상기 슬립 감지부(210)는 정면 슬립을 감지하면, 상기 이동 로봇이 기설정된 거리 또는 시간동안 후진한 후에 상기 슬립 발생영역을 회피하여 주행하도록 제어신호를 출력한다. 즉, 정면슬립의 경우 뒤로 회전하여 나오게 하여 슬립이 일어날 수 있는 환경을 회피할 수 있으며 정체 회수와 로봇의 이동속도를 곱하여 뒤로 후퇴하여 로봇의 추정위치를 수정한다.
즉, 본 발명에 적용되는 단일의 카메라를 장착한 SLAM 방식의 이동 로봇은 초당 2-3 프레임을 처리하므로 영상 오도메터리(Visual odometry)에 의해 정면슬립이 감지되는 동안 EKF(Extended Kalman Filter) 지도 상에 오등록된 랜드마크(landmark)의 좌표 정보를 수정할 필요가 있다. 따라서, 랜드마크 초기화 버퍼에 등록되어 있는 랜드마크들에 대하여 공분산(covariance)을 증가시켜서 슬립으로 발생한 오차를 이후의 관측측정에 의하여 교정될 수 있도록 한다. 또한, 측면 슬립 감지의 경우에는 비교적 짧은 시간에 처리될 수 있으므로 EKF의 갱신시 이동 로봇의 현 위치정보를 보정한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (21)

  1. 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 제1 회전각 추정부;
    상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 제2 회전각 측정부;
    영상 획득 수단으로부터 획득한 적어도 순차적인 두 영상의 변화량을 산출하는 영상 변화량 산출부; 및
    상기 제1,2 회전각의 오차각 및 상기 영상 변화량에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 슬립의 종류를 검출하고, 그 검출된 슬립 종류에 따라 슬립영역의 탈출을 위한 상이한 탈출 제어신호를 출력하는 슬립 감지부
    를 포함하는 이동 로봇의 슬립 감지 장치.
  2. 제 1 항에 있어서,
    상기 슬립 감지부는, 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 상기 슬립시 발생한 위치 정보의 오류에 대하여 이동 로봇의 위치를 복구 신호를 출력하는 것을 특징으로 하는 이동 로봇의 슬립 감지 장치.
  3. 제 1 항에 있어서,
    상기 슬립 감지부는, 상기 오차각이 기준 오차각보다 큰 경우에는 상기 이동 로봇에 제1 슬립의 발생을 감지하는 것을 특징으로 하는 이동 로봇의 슬립 감지 장치.
  4. 제 3 항에 있어서,
    상기 슬립 감지부는, 상기 슬립 감지시 상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 하는 이동 로봇의 슬립 감지 장치.
  5. 제 3 항에 있어서,
    상기 슬립 감지부는, 상기 슬립 감지시 상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하고, 상기 이동 로봇이 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하는 탈출 제어신호를 출력하는 것을 특징으로 하는 이동 로봇의 슬립 감지 장치.
  6. 제 1 항에 있어서,
    상기 슬립 감지부는, 상기 영상 변화량과 기준 변화량을 비교하고, 상기 영상 변화량과 기준 변화량 보다 작은 경우에 상기 이동 로봇이 정체된 것으로 추정하여 정체 회수를 산출하는 것을 특징으로 하는 로봇의 슬립 감지 장치.
  7. 제 6 항에 있어서,
    상기 슬립 감지부는,
    상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에는 제2 슬립의 발생을 감지하는 것을 특징으로 하는 로봇의 슬립 감지 장치.
  8. a) 이동 로봇이 회전한 것으로 추정되는 제1 회전각을 추정하는 단계;
    b) 상기 이동 로봇의 실제 회전에 의하여 발생한 제2 회전각을 측정하는 단계; 및
    c) 상기 제1 회전각과 상기 제2 회전각의 오차각을 구하고, 그 오차각에 기초하여 상기 이동 로봇의 슬립방향과 슬립각을 산출하여 제1 슬립을 감지하는 단계
    를 포함하는 이동 로봇의 슬립 감지 방법.
  9. 제 7 항에 있어서,
    상기 슬립 감지 방법은,
    d) 적어도 순차적으로 입력된 두 영상의 변화량을 산출하여 제2 슬립을 감지하는 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  10. 제 9 항에 있어서,
    상기 슬립 감지 방법은,
    e) 상기 감지된 제1 슬립과 제2 슬립에 기초하여 슬립의 종류를 검출하고, 그 검출된 슬립의 종류에 따라 선택적으로 슬립 영역을 탈출하는 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  11. 제 10 항에 있어서,
    상기 슬립 감지 방법은,
    f) 상기 슬립방향, 슬립각 및 영상 변화량에 기초하여 이동 로봇의 위치를 복구하는 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  12. 제 8 항 내지 제 11 항 중 어느 하나에 있어서,
    상기 제1 회전각 추정단계는,
    상기 이동 로봇의 좌륜 구동부의 회전 속도인 제1 각속도와 우륜 구동부의 회전 속도인 제2 각속도를 검출하는 단계; 및
    상기 제1 각속도와 제2 각속도의 차이 및 상기 이동 로봇의 바퀴의 지름에 기초하여 상기 제1 회전각을 산출하는 단계
    를 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  13. 제 12 항에 있어서,
    상기 c) 단계는,
    상기 제1 회전각과 상기 제2 회전각의 오차각을 구하여 기준 오차각과 비교하는 단계; 및
    상기 오차각이 상기 기준 오차각보다 큰 경우에는 상기 이동 로봇에 슬립이 발생한 것으로 판단하여 슬립 영역을 탈출하는 단계
    를 포함하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  14. 제 13 항에 있어서,
    상기 슬립 영역 탈출 단계는,
    상기 이동로봇이 기설정된 거리 또는 시간 동안 후진한 후에 상기 슬립방향과 반대 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  15. 제 13 항에 있어서,
    상기 슬립 영역 탈출 단계는,
    상기 오차각의 부호가 음의 값을 갖는 경우에는 상기 이동 로봇의 우륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 좌측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  16. 제 13 항에 있어서,
    상기 슬립 영역 탈출 단계는,
    상기 오차각의 부호가 양의 값을 갖는 경우에는 상기 이동 로봇의 좌륜에 슬립이 발생한 것으로 판단하여 기설정된 거리 또는 시간 동안 후진한 후에 우측 방향으로 전진하여 상기 슬립 영역을 탈출하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  17. 제 13 항에 있어서,
    상기 오차각은 상기 이동 로봇의 초기위치를 기준으로 +180와 -180도 사이의 값을 갖는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  18. 제 17 항에 있어서,
    상기 오차각이 상기 이동로봇의 이동 시간에 대하여 불연속 구간을 갖는 경우에, 상기 불연속 구간의 오차각을 y축 방향으로 평행이동시켜, 상기 불연속 구간이 연속구간이 되도록 상기 오차각을 전처리하는 것을 특징으로 하는 이동 로봇의 슬립 감지 방법.
  19. 제 9 항 내지 제 11 항 중 어느 하나에 있어서,
    상기 d) 단계는
    상기 입력된 영상을 N 영역으로 분할하고, 이동 로봇의 진행 방향 또는 반대방향을 기준으로 대상 영역을 1/N 만큼 증가시켜 각 증가된 영역의 평균과 분산을 산출하는 단계; 및
    상기 각 영역의 평균과 분산 값의 변화량에 기초하여 상기 영상이 차폐되지 않은 경우에 상기 영상 변화량이 기준 변화량보다 작은 경우에 입력 영상이 정체된 것으로 추정하여 정체 회수를 계산하는 단계
    를 포함하는 것을 특징으로 하는 로봇의 슬립 감지 방법.
  20. 제 19 항에 있어서,
    상기 d) 단계에서는
    상기 정체 회수가 기준회수보다 크고, 이와 아울러 상기 오차각에 기초한 이동 로봇의 속도가 기준속도보다 큰 경우에 상기 제2 슬립의 발생을 감지하는 것을 특징으로 하는 로봇의 슬립 감지 방법.
  21. 제 20 항에 있어서,
    상기 제2 슬립의 발생이 감지되면, 상기 이동 로봇은 기설정된 거리 또는 시간동안 후진한 후에 상기 슬립 발생영역을 회피하여 주행하는 것을 특징으로 하는 로봇의 슬립 감지 방법.
PCT/KR2009/006367 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법 Ceased WO2011052827A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012536639A JP5421461B2 (ja) 2009-10-30 2009-10-30 移動ロボットのスリップ感知装置および方法
EP09850898.9A EP2495079B1 (en) 2009-10-30 2009-10-30 Slip detection apparatus and method for a mobile robot
CN200980162244.7A CN102666032B (zh) 2009-10-30 2009-10-30 用于移动机器人的滑动检测装置和方法
US13/504,510 US8873832B2 (en) 2009-10-30 2009-10-30 Slip detection apparatus and method for a mobile robot

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0104168 2009-10-30
KR1020090104168A KR101152720B1 (ko) 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2011052827A1 true WO2011052827A1 (ko) 2011-05-05

Family

ID=43922245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/006367 Ceased WO2011052827A1 (ko) 2009-10-30 2009-10-30 이동 로봇의 슬립 감지 장치 및 방법

Country Status (6)

Country Link
US (1) US8873832B2 (ko)
EP (1) EP2495079B1 (ko)
JP (1) JP5421461B2 (ko)
KR (1) KR101152720B1 (ko)
CN (1) CN102666032B (ko)
WO (1) WO2011052827A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013185102A1 (en) 2012-06-08 2013-12-12 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
US9218003B2 (en) 2011-09-30 2015-12-22 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
CN115336945A (zh) * 2022-07-15 2022-11-15 广州科语机器人有限公司 清洁机器人的打滑检测方法、装置、存储介质和设备
US11835343B1 (en) * 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
KR20110021191A (ko) * 2009-08-25 2011-03-04 삼성전자주식회사 로봇의 슬립 감지 장치 및 방법
KR101938642B1 (ko) * 2012-06-12 2019-01-15 엘지전자 주식회사 유리창 청소 장치 및 그의 제어방법
KR20140062288A (ko) * 2012-11-14 2014-05-23 한국전자통신연구원 로봇 컴포넌트 오류 처리 장치 및 그 방법
KR101511992B1 (ko) * 2013-09-06 2015-04-14 현대모비스(주) 조향 휠 제어 방법 및 이를 위한 위한 시스템
JP6178677B2 (ja) * 2013-09-09 2017-08-09 シャープ株式会社 自走式電子機器
CN103552091B (zh) * 2013-09-29 2015-09-16 江苏恒义汽配制造有限公司 机械手装置上的移送滚轮与轨道状态的检测装置
KR101523848B1 (ko) * 2013-11-28 2015-05-28 울산대학교 산학협력단 이동 로봇의 슬립 추정 장치 및 그 방법
WO2017184478A1 (en) * 2016-04-17 2017-10-26 President And Fellows Of Harvard College Magnetic receptive sensor and optimized drawing and erasing for vertically driving robot
JP6481347B2 (ja) * 2014-11-28 2019-03-13 村田機械株式会社 移動量推定装置、自律移動体、及び移動量の推定方法
KR101697857B1 (ko) * 2015-04-08 2017-01-18 엘지전자 주식회사 이동 로봇 및 그의 위치인식방법
US11099554B2 (en) 2015-04-17 2021-08-24 Aktiebolaget Electrolux Robotic cleaning device and a method of controlling the robotic cleaning device
KR101649665B1 (ko) * 2015-04-29 2016-08-30 엘지전자 주식회사 이동 로봇 및 그 제어방법
GB2538779B (en) * 2015-05-28 2017-08-30 Dyson Technology Ltd A method of controlling a mobile robot
JP7036531B2 (ja) * 2016-01-08 2022-03-15 東芝ライフスタイル株式会社 自律走行体
CN108603935A (zh) 2016-03-15 2018-09-28 伊莱克斯公司 机器人清洁设备以及机器人清洁设备进行陡壁检测的方法
KR101854680B1 (ko) 2016-04-29 2018-06-14 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR101918228B1 (ko) * 2016-07-14 2019-01-29 엘지전자 주식회사 이동로봇 및 그 제어방법
US10274325B2 (en) * 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
JP7243967B2 (ja) 2017-06-02 2023-03-22 アクチエボラゲット エレクトロルックス ロボット清掃デバイスの前方の表面のレベル差を検出する方法
KR102024089B1 (ko) 2017-08-07 2019-09-23 엘지전자 주식회사 로봇 청소기
KR102014140B1 (ko) 2017-08-07 2019-08-26 엘지전자 주식회사 청소기
KR102014142B1 (ko) 2017-08-07 2019-08-26 엘지전자 주식회사 로봇 청소기
KR102033936B1 (ko) 2017-08-07 2019-10-18 엘지전자 주식회사 로봇청소기
KR102014141B1 (ko) 2017-08-07 2019-10-21 엘지전자 주식회사 로봇청소기
KR102000068B1 (ko) 2017-08-07 2019-07-15 엘지전자 주식회사 청소기
KR102011827B1 (ko) * 2017-08-07 2019-08-19 엘지전자 주식회사 로봇청소기 및 그 제어방법
KR102021828B1 (ko) 2017-08-07 2019-09-17 엘지전자 주식회사 청소기
CN107348910B (zh) 2017-09-12 2019-10-08 珠海市一微半导体有限公司 机器人打滑的检测方法和建图方法及芯片
CN109669350B (zh) * 2017-10-13 2021-07-20 电子科技大学中山学院 一种三轮全向移动机器人车轮滑动定量估计方法
KR102478124B1 (ko) * 2017-12-05 2022-12-16 현대자동차주식회사 차량 구동휠 제어시스템 및 이를 이용한 차량 구동휠 제어방법
JP7078057B2 (ja) * 2017-12-05 2022-05-31 日本電産株式会社 移動ロボットの制御装置および移動ロボットシステム
WO2019138640A1 (ja) * 2018-01-10 2019-07-18 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
KR102045003B1 (ko) 2018-01-25 2019-11-14 엘지전자 주식회사 로봇청소기의 제어방법
JP7047594B2 (ja) * 2018-05-23 2022-04-05 トヨタ自動車株式会社 自律移動体、その衝突位置検出方法、及びプログラム
US11199853B1 (en) * 2018-07-11 2021-12-14 AI Incorporated Versatile mobile platform
CN109394095B (zh) * 2018-10-23 2020-09-15 珠海市一微半导体有限公司 一种机器人运动地毯偏移的控制方法、芯片及清洁机器人
CN111700543B (zh) * 2019-03-18 2022-12-02 北京奇虎科技有限公司 遇障处理方法、装置、设备及计算机可读存储介质
WO2020191304A1 (en) 2019-03-21 2020-09-24 Sharkninja Operating Llc Adaptive sensor array system and method
CN114174011B (zh) * 2019-07-31 2024-04-19 Lg电子株式会社 移动机器人
KR102251550B1 (ko) * 2019-07-31 2021-05-12 엘지전자 주식회사 이동 로봇 및 그 제어방법
US12364378B2 (en) 2019-07-31 2025-07-22 Lg Electronics Inc. Moving robot and method of calculating moving distance of the same
TWI735022B (zh) * 2019-08-08 2021-08-01 和碩聯合科技股份有限公司 語意地圖定向裝置、方法及機器人
CN112549072B (zh) * 2019-09-10 2024-08-13 苏州科瓴精密机械科技有限公司 机器人的打滑检测方法
CN110716551A (zh) * 2019-11-06 2020-01-21 小狗电器互联网科技（北京）股份有限公司 移动机器人行驶策略确定方法、装置以及移动机器人
WO2021254462A1 (zh) * 2020-06-18 2021-12-23 南京德朔实业有限公司 割草机器人
CN113812251B (zh) * 2020-06-18 2025-07-01 南京泉峰科技有限公司 割草机器人和割草机器人的控制方法
CN114153197B (zh) * 2020-08-17 2023-08-18 速感科技（北京）有限公司 自主移动设备的脱困方法及装置
KR20230058652A (ko) * 2020-09-01 2023-05-03 세바 테크놀러지, 인크. 광학 흐름, 휠 인코더 및 관성 측정 유닛을 구비한 평면 로봇 추측 항법
DE102020211167A1 (de) * 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Roboter und Verfahren zu einer Ermittlung einer von einem Roboter zurückgelegten Strecke
CN113427485B (zh) * 2021-06-04 2022-08-12 北京旷视科技有限公司 移动机器人的打滑监控方法、装置及移动机器人
CN115597575B (zh) * 2021-07-09 2025-10-03 珠海一微半导体股份有限公司 一种机器人的侧滑检测方法、芯片及机器人
CN115700418B (zh) * 2021-07-16 2025-03-18 速感科技（北京）有限公司 地面材质识别方法、控制方法、装置及存储介质
CN113551692B (zh) * 2021-07-19 2024-04-02 杭州迅蚁网络科技有限公司 无人机磁力计和相机安装角度校准方法、装置
CN113894843B (zh) * 2021-07-22 2024-05-31 深兰机器人产业发展(河南)有限公司 移动机器人的打滑检测方法及相关装置
CN114325744B (zh) * 2021-12-29 2022-08-19 广东工业大学 一种无人车打滑检测方法、系统、设备及介质
CN114659819B (zh) * 2022-04-14 2024-03-19 阳春新钢铁有限责任公司 一种变频控制下的打滑检测方法
KR20230158668A (ko) * 2022-05-11 2023-11-21 삼성전자주식회사 로봇 및 그 제어 방법
JPWO2024057487A1 (ko) * 2022-09-15 2024-03-21
CN115793433B (zh) * 2023-01-06 2023-05-05 北京史河科技有限公司 一种机器人下滑纠偏控制方法和下滑纠偏底盘、机器人
CN116237982A (zh) * 2023-02-28 2023-06-09 九阳股份有限公司 一种打滑检测方法
CN116339344B (zh) * 2023-03-31 2026-04-21 深圳市正浩创新科技股份有限公司 自移动设备的控制方法、装置、电子设备及存储介质
CN119502008A (zh) * 2024-10-09 2025-02-25 浙江迈尔微视科技有限公司 一种基于光流的视觉导航移动机器人原地打滑检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022040A (ja) * 2003-07-03 2005-01-27 Toyota Motor Corp 位置ずれを修正する歩行ロボットとその制御方法
JP2006068884A (ja) * 2004-09-06 2006-03-16 Sony Corp ロボット装置及びその制御方法、並びに受動車輪装置
US20080188984A1 (en) * 2005-06-28 2008-08-07 Harwig Jeffrey L Methods to prevent wheel slip in an autonomous floor cleaner

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3395874B2 (ja) * 1996-08-12 2003-04-14 ミノルタ株式会社 移動走行車
JP4480843B2 (ja) 2000-04-03 2010-06-16 ソニー株式会社 脚式移動ロボット及びその制御方法、並びに、脚式移動ロボット用相対移動測定センサ
KR100500842B1 (ko) * 2002-10-31 2005-07-12 삼성광주전자 주식회사 로봇청소기와, 그 시스템 및 제어방법
JPWO2004106009A1 (ja) * 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
JP2005222226A (ja) * 2004-02-04 2005-08-18 Funai Electric Co Ltd 自律走行ロボットクリーナー
KR20050108923A (ko) 2004-05-14 2005-11-17 삼성광주전자 주식회사 모빌로봇, 모빌로봇 시스템, 및 그 경로보정방법
KR101297388B1 (ko) * 2006-06-16 2013-08-19 삼성전자주식회사 위치 보정 기능을 제공하는 이동 장치 및 위치 보정 방법
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
KR100843096B1 (ko) * 2006-12-21 2008-07-02 삼성전자주식회사 이동 로봇의 주행 상태 판별 장치 및 방법
JP4779982B2 (ja) * 2007-02-02 2011-09-28 トヨタ自動車株式会社 移動体及び移動体の制御方法
KR101409987B1 (ko) * 2007-12-11 2014-06-23 삼성전자주식회사 이동 로봇의 자세 보정 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022040A (ja) * 2003-07-03 2005-01-27 Toyota Motor Corp 位置ずれを修正する歩行ロボットとその制御方法
JP2006068884A (ja) * 2004-09-06 2006-03-16 Sony Corp ロボット装置及びその制御方法、並びに受動車輪装置
US20080188984A1 (en) * 2005-06-28 2008-08-07 Harwig Jeffrey L Methods to prevent wheel slip in an autonomous floor cleaner

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835343B1 (en) * 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
US9404756B2 (en) 2011-09-30 2016-08-02 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US10962376B2 (en) 2011-09-30 2021-03-30 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9218003B2 (en) 2011-09-30 2015-12-22 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9952053B2 (en) 2011-09-30 2018-04-24 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9427875B2 (en) 2012-06-08 2016-08-30 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
US20180297208A1 (en) * 2012-06-08 2018-10-18 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
CN105717924A (zh) * 2012-06-08 2016-06-29 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
CN104302453B (zh) * 2012-06-08 2016-07-06 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
EP2858794A4 (en) * 2012-06-08 2016-04-20 Irobot Corp CARPET MEASUREMENT MEASUREMENT THROUGH DIFFERENTIAL SENSORS OR VISUAL MEASUREMENTS
WO2013185102A1 (en) 2012-06-08 2013-12-12 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
US20160332304A1 (en) * 2012-06-08 2016-11-17 Irobot Corporation Carpet Drift Estimation Using Differential Sensors for Visual Measurements
US9223312B2 (en) 2012-06-08 2015-12-29 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
US9969089B2 (en) 2012-06-08 2018-05-15 Irobot Corporation Carpet drift estimation using differential sensors for visual measurements
AU2013270671B2 (en) * 2012-06-08 2016-05-26 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
CN105717924B (zh) * 2012-06-08 2018-12-28 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
CN104302453A (zh) * 2012-06-08 2015-01-21 艾罗伯特公司 使用差动传感器或视觉测量的地毯偏移估计
US10974391B2 (en) 2012-06-08 2021-04-13 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
EP2858794B1 (en) 2012-06-08 2021-04-14 iRobot Corporation Carpet drift estimation and compensation using two sets of sensors
EP3910440A1 (en) * 2012-06-08 2021-11-17 iRobot Corporation Carpet drift estimation
US11926066B2 (en) 2012-06-08 2024-03-12 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
US20130331988A1 (en) * 2012-06-08 2013-12-12 Irobot Corporation Carpet drift estimation using differential sensors or visual measurements
CN115336945A (zh) * 2022-07-15 2022-11-15 广州科语机器人有限公司 清洁机器人的打滑检测方法、装置、存储介质和设备

Also Published As

Publication number Publication date
KR20110047505A (ko) 2011-05-09
EP2495079A1 (en) 2012-09-05
JP5421461B2 (ja) 2014-02-19
JP2013508183A (ja) 2013-03-07
KR101152720B1 (ko) 2012-06-18
EP2495079B1 (en) 2018-09-05
CN102666032B (zh) 2015-01-07
EP2495079A4 (en) 2016-11-09
US8873832B2 (en) 2014-10-28
CN102666032A (zh) 2012-09-12
US20120219207A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
WO2011052827A1 (ko) 이동 로봇의 슬립 감지 장치 및 방법
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
WO2011013862A1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR101988811B1 (ko) 신호기 인식 장치 및 신호기 인식 방법
WO2019231127A1 (ko) 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
WO2021215672A1 (en) Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2015194868A1 (ko) 광각 카메라가 탑재된 이동 로봇의 주행을 제어하기 위한 장치 및 그 방법
WO2018097632A1 (en) Method and device for providing an image
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2019216673A1 (ko) 무인 이동체용 사물 유도 시스템 및 방법
WO2024029780A1 (ko) 움직임 인식 기반의 자율 주행 로봇 제어 시스템 및 이를 이용한 자율 주행 로봇 제어 방법
WO2015147371A1 (ko) 차량의 위치 보정 장치 및 방법과 이를 이용한 차량 위치 보정 시스템 및 무인 운행이 가능한 차량
WO2013022153A1 (en) Apparatus and method for detecting lane
EP3545387A1 (en) Method and device for providing an image
WO2022114455A1 (ko) 노면 영상정보를 이용한 자율주행 차량의 위치신호 보정장치
WO2012015156A2 (ko) 열적외선을 이용한 환경독립형 교통검지시스템
WO2020180076A1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
WO2019194602A1 (ko) 위치 보정 기능이 향상된 주행 제어장치 및 이를 이용한 로봇 청소기
WO2013018961A1 (en) Apparatus and method for detecting lane
WO2020204350A2 (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
JPH11345392A (ja) 障害物検出装置及び障害物検出方法
WO2020138954A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
JP2020076714A (ja) 位置姿勢推定装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980162244.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09850898

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13504510

Country of ref document: US

Ref document number: 2012536639

Country of ref document: JP

Ref document number: 2009850898

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE