EP3688663A1 - Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs - Google Patents

Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs

Info

Publication number
EP3688663A1
EP3688663A1 EP18792355.2A EP18792355A EP3688663A1 EP 3688663 A1 EP3688663 A1 EP 3688663A1 EP 18792355 A EP18792355 A EP 18792355A EP 3688663 A1 EP3688663 A1 EP 3688663A1
Authority
EP
European Patent Office
Prior art keywords
image
obstacle
pixel
pixels
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP18792355.2A
Other languages
English (en)
French (fr)
Inventor
Markus RAFFER
Kevin PAJESTKA
Friedrich Fraundorfer
David SCHINAGL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tec-Innovation GmbH
Original Assignee
Tec-Innovation GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tec-Innovation GmbH filed Critical Tec-Innovation GmbH
Publication of EP3688663A1 publication Critical patent/EP3688663A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Definitions

  • the invention relates to a method and a device for detecting the image of an obstacle-free region surrounding an image recording unit according to the preamble of patent claim 1.
  • AT 513881 A2 discloses a device for detecting an environment which can be used in rural areas or outdoors or for persons with impaired vision and reduced motor skills.
  • the device can be installed, for example, in a shoe or a cane or long stick and determined by means of a distance sensor, a distance to a potential obstacle. Depending on the distance determined, a warning is sent to the user via a feedback unit.
  • a disadvantage of the known device is that only a single distance value is specified, which determines how far an object is located away from the receiving unit, wherein the distance measurement is measured only along a single direction, starting from the receiving unit.
  • the object of the invention is therefore to improve the known from the prior art device for distance detection and to provide a method that ensures a safe movement of persons with limited vision and reduced motor skills in any environment.
  • the invention solves this problem in a method of the type mentioned, wherein a) with the image pickup unit at least one shot of a portion of the environment of the image pickup unit is created and based on this at least a recording is a digital image is created, with the features specified in claim 1. It is provided according to the invention
  • a boundary curve of the obstacle-free area in particular in the form of a train path, is determined as a curve on which there are pixels having a high limiting indicator value compared to pixels in their surroundings, e) that the image of the obstacle-free area by the Boundary curve and possibly further predetermined previously curves or lines, in particular the boundary edges of the digital image is set.
  • a path is selected as the limiting curve, which runs through a number of pixels of the digital image, wherein for a number of predetermined first parameters, in particular for each image column of the digital image or for a number of image columns each having a predetermined x-coordinate, one pixel each, in particular a pixel, is selected, through which the path runs.
  • an optimization method is carried out to determine the limiting curve in step d) for individual eligible boundary curves in each case for individual pixels on the respective boundary curve, in particular for a plurality of pixels respectively predetermined first parameters or x-coordinates, in each case a dimension value to be optimized is determined, which is composed of the following partial dimension values,
  • the value of the second parameter in particular the y-coordinate, or of a value derived therefrom, and / or
  • step d) an optimization method is carried out for determining the boundary curve in step d), in which for individual eligible boundary curves in each case those pixels on the respective boundary curve, in particular for a plurality of pixels each having predetermined first parameters or x-coordinates are selected
  • the boundary indicator value is calculated pixel-wise by means of a neural network, in particular for all pixels in the same way and independently of the remaining pixels, the neural network being the input value individual brightness or color values within a, in particular for each pixel the same predetermined environment around the respective pixel, in particular with a predetermined relative position to each pixel receives.
  • the neural network is created using a plurality of predetermined training images, with a training bounding curve being given for each of the training images and the neural network thereon is trained, for the respective training picture, in the In the area of the training boundary curve, the pixels to be supplied have a limit indicator value which differs from the limit indicator values determined in the rest of the image area.
  • Another advantage of the invention lies in the fact that, in contrast to known from the prior art method in the context of training only manually determines where the boundaries of the walk-in area are or not.
  • the Annotationsaufwand falls significantly lower than in known methods, which with the pixels each other information such as, for example, that it is a pixel, which z. B. represents a part of a window or a wall is, deposit.
  • the actual size and shape of the imaged obstacle-free area is determined within the surroundings of the image recording unit,
  • parameters of the image acquisition unit in particular resolution and focal length,
  • the at least one receptacle is mounted with a walking stick fixed to a person or to an animal, in particular a shoe, glove, harness or walker arranged, image pickup unit is added.
  • the digital images may be recorded with an image recording unit mounted in a shoe, the height of the image recording unit being determined above the ground when the shoe is resting on the floor and
  • the actual size and shape of the imaged obstacle-free area is determined according to the invention on the assumption that the image-recording unit is at the determined height.
  • a particularly safe locomotion can be made possible for persons with limited vision and reduced motor skills if, in addition to the limit indicator value, an obstacle indicator is also determined in step b) indicating the type of obstacle the obstacle-free area is limited to, and
  • the obstacle indicator is determined for individual pixels on the limiting curve and preferably the person is displayed.
  • a first distance of the limiting curve or at least one point on the boundary curve of the obstacle-free area is determined by the image recording unit
  • a detection area partially overlapping with the recording area of the image recording unit, - That the second distance and the first distance of the obstacle-free area are compared with each other and another distance measurement is created using the first distance and the second distance, preferably in each case deviations in the respective smaller distance is considered as another distance measurement.
  • the invention further relates to a method which ensures that a person with limited vision and reduced motor skills can move independently in an environment, since the person is warned of obstacles.
  • a distance value corresponding to the size of the obstacle-free area is determined or predetermined by one person, and then depending on this distance value at least one body location, in particular in at least one shoe, the person at least one of several sequentially in the direction of the more sensitive Actuator elements, in particular vibration elements, is activated, wherein the selection of the actuator elements is made depending on the distance value and wherein an actuator is selected in a sensitive body region, in particular the closer to the toe is selected, the smaller the Distance value is.
  • the invention further relates to an apparatus for detecting the image of an obstacle-free area surrounding an image recording unit, comprising an image recording unit and a processing unit connected downstream of the image recording unit.
  • the image recording unit is designed to produce at least one image of a subregion of the surroundings of the image recording unit and to transmit the image to the processing unit
  • the processing unit is designed to
  • a limiting indicator value as a function of the pixel-by-pixel predetermined image data of the digital image within an environment of the respective pixel, which indicates with which probability the image of the boundary of an obstacle-free region is located within a given pixel environment
  • the processing unit is designed to
  • predetermined first parameters for a number of predetermined first parameters, in particular for each image column of the digital image or for a number of image columns each having a predetermined x-coordinate, in each case one pixel, in particular a pixel, through which the path extends.
  • the processing unit is adapted to perform an optimization method for determining the boundary curve, wherein the processing unit is adapted for individual eligible boundary curves in each case for individual pixels on the respective Limit curve, in particular for a plurality of pixels each having predetermined first parameters or x-coordinates, each to determine a to be optimized measure value, which is composed of the following Sectionurgilose sentence:
  • the value of the second parameter in particular the y-coordinate, or of a value derived therefrom, and / or
  • the processing unit is adapted to perform the determination of the boundary curve, an optimization method, wherein the processing unit is adapted for each eligible boundary curves in each case those pixels on the respective boundary curve, in particular for a plurality of pixels each having predetermined first parameters or x coordinates, select
  • the processing unit is designed to
  • the processing unit is configured to
  • the processing unit is designed to determine the actual size and shape of the imaged obstacle-free area within the environment of the image recording unit,
  • parameters of the image acquisition unit in particular resolution and focal length,
  • the image pickup unit is fixedly mounted on a person or on an animal, especially in a shoe, glove, harness, helmet walking stick or Walker is arranged.
  • the processing unit is designed to monitor the position and orientation of the image acquisition unit and to carry out further processing steps only
  • the image acquisition unit is designed to create images only then
  • the image acquisition unit is mounted in a shoe, wherein the processing unit is adapted to determine the height of the image acquisition unit above the ground when the shoe is on the ground stands and
  • the processing unit is designed to
  • a device comprises an ultrasound sensor arranged in the region of the image recording unit, wherein the ultrasound sensor
  • an inventive Device comprises a feedback unit, wherein the feedback unit for, in particular wireless, data communication with the processing unit and for displaying the determined distance measured value and / or the determined obstacle indicator value and / or the actual size and shape of the imaged obstacle-free area for the person is formed ,
  • the invention further relates to a device which allows a person with impaired vision and motor skills to move independently in an unknown environment, as the device warns the person of obstacles.
  • the feedback unit is designed as a shoe with actuator elements
  • the processing unit is designed to
  • actuator elements in particular vibration elements, to make the selection of the actuator depending on the distance value, and to select an actuator in a more sensitive body area, in particular all the more closer to the toe, the smaller the distance value.
  • Fig. 1 shows an environment around an image pickup unit.
  • Fig. 2 shows a distribution of the boundary indicator values in an image of the environment.
  • Fig. 2a shows a section of pixels from Fig. 2.
  • Fig. 3 shows schematically the determined boundary curve in an image of the environment.
  • Fig. 4 shows a shoe with actuator elements.
  • Fig. 5 shows the column-by-column calculation of potentials by means of the Viterbi algorithm for the example in Fig. 2a.
  • Fig. 6 shows the calculated potentials for the example in Fig. 2a.
  • Fig. 7 shows the determined course of the limiting curve.
  • Fig. 1 shows an environment 10 in the form of a room in which a person with limited vision wants to move.
  • a window is arranged, wherein the window has a lower edge 12 of the window. Since the person's space is not known, she is dependent on aids that warn her of obstacles, such as two walls in the direction of the person's movement, and recognize, for example, the accessible obstacle-free area.
  • the person therefore wears a tool, such as a shoe 20, in which an image pickup unit 1 is arranged.
  • the image recording unit 1 mounted in the shoe 20 is a watertight, robust camera, which is frequently used, for example, in sports. Such cameras are small enough that they can also fit in a shoe 20.
  • the image recording unit 1 is arranged on the toe in the region of the toes of the wearer of the shoe 20 and aligned in the direction of movement of the wearer of the shoe 20.
  • a processing unit 4 an energy store 3 and an ultrasonic sensor 2 are arranged in the shoe 20.
  • the image recording unit 1 is designed to make recordings in the form of digital images available and to forward digital images D produced by it to the processing unit 4.
  • the processing unit 4 is designed to process the digital images D transmitted to it and to carry out the inventive method steps described in more detail below.
  • a plurality of ultrasonic sensors 2 can also be arranged in the shoe 20.
  • Other devices required for carrying out a method according to the invention or for transmitting the detected obstacles, such as a feedback unit, may likewise be arranged in the shoe 20, or else carried by the person on the body or otherwise carried along with the aid independently of the aids.
  • the image recording unit 1 In order to capture the image of an obstacle-free region which surrounds the image recording unit 1, at least one image of a subregion of the space is first created with the image recording unit 1. There is also the possibility to create several recordings and combine them into a single digital image D, in particular to select one from several different recordings and to create the digital image D based on this shot. Likewise, the digital image D can be created as a result of different intermediate processing steps such as in particular filtering, sharpening, color corrections etc from one or more recordings. Alternatively, these steps may be performed in the processing unit 4 described below.
  • the thus created digital image D is forwarded from the image acquisition unit 1 to the processing unit 4 and examined by the processing unit 4 for the presence of possible limitations B of the obstacle-free region.
  • This boundary B of the obstacle-free area to be found in the digital image D corresponds in the space shown in FIG. 1 to the wall edge 11.
  • a limiting indicator value Bl is determined by the processing unit 4 for individual pixels P, in particular for all pixels, of the digital image D.
  • an environment around each pixel P is defined for the pixel-wise predetermined image data of the digital image D, within which the boundary indicator value Bl for the respective pixel P is determined.
  • the limit indicator value Bl indicates the probability with which the image of the boundary B of an obstacle-free region is located within a given pixel environment.
  • a neural network is used to determine the boundary indicator value Bl in the embodiment shown.
  • the neural network calculates pixel by pixel, in particular for all pixels P in the same way, the boundary indicator value Bl.
  • the individual brightness or color values within an environment around the respective pixel P are transmitted to the neural network.
  • the environment around the respective pixel P can advantageously have a square shape with an edge length of 200 pixels, in the center of which the respective pixel P is located.
  • other environments may be used as input values for the neural network.
  • a probability distribution map is computed by means of the neural network, which includes a boundary indicator value Bl for each pixel P.
  • the size of the probability distribution map essentially corresponds to the size of the digital image, in particular except for border areas.
  • the Limiting indicator value Bl indicates a probability as to whether the searched boundary B of the obstacle-free area is imaged in the respective pixel P.
  • a multiplicity of predefined training images are used in a training phase, a training boundary curve being predetermined for each of the training images and the neural network being trained for the respective training image in the area adjacent to the training boundary curve Pixels to provide a Begrenzungsindikatorwert Bl, which differs from the rest of the image area determined boundary indicator values Bl.
  • training images are used that include both digital images D of indoor and outdoor environments 10, in which various types of indoor environment Limit B of an obstacle-free area are shown.
  • the illustrated boundaries B may be, for example, steps, sidewalk edges, walls or other boundaries B.
  • digital images D of outdoor environments 10 are also used in different weather conditions.
  • additional image transformations such as rotation, horizontal reflection, contrast change, brightness change and blur are applied.
  • FIG. 2 shows a schematic exemplary representation with a significantly reduced number of pixels for boundary value indicator values Bl determined by the neural network, in each case for the surroundings around pixels P of a section of an image of the space shown in FIG.
  • white areas correspond to pixels P for which a small limit indicator value Bl has been determined, ie that they contain the image of a boundary of the obstacle-free area only with low probability.
  • Long-hatched areas correspond to pixels P for which a higher limit indicator value Bl has been determined, so that these pixels P are more likely to contain the image of a boundary B.
  • the highest boundary indicator value Bl has been determined in FIG. 2 for longitudinally and crosshatched regions, so that these pixels P are most likely to image a boundary B.
  • a coordinate parameterization with two parameters is specified for the digital image, which corresponds in particular to the pixel coordinates, for example in the form of an x and y coordinate.
  • the x-coordinate indicates the column number and increases from the left edge of the picture to the right
  • the y-coordinate indicates the line number and decreases from the upper edge of the picture.
  • this parameterization is not mandatory.
  • another coordinate system can be selected in which, starting from a defined camera point, lines of the same distance to the camera point in the form of layer lines in the digital image D are predefined.
  • a limiting curve BK of the obstacle-free region is determined by the processing unit 4 as a curve.
  • the limiting curve BK is selected such that the image pixels are located on it which have a high limiting indicator value Bl compared to pixels in their surroundings. This means that the limiting curve BK is not necessarily selected to run through individual pixels P, but can also be selected to run through pixels interpolated between a plurality of pixels P.
  • the image of the obstacle-free area which is safely accessible to the person, is thus determined by the limiting curve BK and optionally further predetermined curves or straight lines, in particular the boundary edges of the digital image D.
  • the path train is selected such that it runs through a number of pixels P of the digital image D.
  • a pixel, in particular a pixel P is selected for a number of predefined first parameters, in particular for each image column of the digital image D or for a number of image columns each having a predetermined x coordinate, through which the path extends.
  • a pixel in particular a pixel P
  • predefined first parameters in particular for each image column of the digital image D or for a number of image columns each having a predetermined x coordinate, through which the path extends.
  • an optimization method is applied by the processing unit 4 in the exemplary embodiment shown.
  • a respective dimension value to be optimized is determined in each case for individual pixels on the respective limiting curve BK for individual individual boundary curves BK, in particular for a large number of pixels each having predetermined first parameters or x-coordinates.
  • the dimension value consists of the following partial dimension values:
  • the value of the second parameter in particular the y-coordinate, or of a value derived therefrom, and / or
  • obstacles closer to or closer to the person may be rated higher than those further from the person and in the background.
  • possible Limits B which are in the lower region of the digital image D, or a solid boundary B without jumps, are preferred.
  • Viterbi algorithm For the concrete determination of an optimal boundary curve BK with respect to the aforementioned criteria, it is possible, for example, to use the Viterbi algorithm, which is described, for example, in Viterbi, A., Error bounds for convolutional codes and asymptotically optimum decoding algorithm. In: IEEE Transactions on Information Theory. Vol. 13, No. 2, 1967, pp. 260-269.
  • the potential ⁇ to be maximized by the Viterbi algorithm for determining the profile of the limiting curve BK in the digital image D is composed of:
  • the output of the neural network ie the determined boundary indicator values Bl or the probabilities that a pixel P contains a boundary B of an obstacle-free area, weighted with a weighting factor vl n,
  • Value is weighted with a weighting factor.
  • x, or y respectively denotes the x-coordinate or the y-coordinate of the ith point P, on the limiting curve BK.
  • a bounding curve with the points Pi or coordinates xi, yi is searched for, for which the following sum expression ⁇ is maximal for a limiting curve:
  • the Viterbi algorithm is used to determine the boundary curve BK on the entire image.
  • the limit indicator values Bl determined by the neural network are compiled in a tabular form.
  • Table 1 Determined bound indicator values Bl of the selected pixels.
  • the number of columns and rows may range from 1000 to 5000.
  • the weighting factors or functions listed in Table 2 are specified:
  • Table 2 Weighting factors and functions used in the example.
  • the determined potential is in each case the magnitude of the difference of the y-coordinate values of the respective pixels
  • the last column looks for the pixel with the highest potential. Starting from this pixel, the pixel which was used in the calculation of the pixel of the potential is now searched backwards, that is to say, according to the decreasing column number.
  • the pixels thus determined are used in the framework of the Viterbi algorithm for determining the curve profile of the limiting curve BK.
  • FIG. 3 schematically shows the result of the application of such an optimization method for determining the limiting curve BK on the basis of the boundary indicator values Bl determined by the neural network for the pixels P of the section of the image of the environment 10 or of the space shown in FIG.
  • the path length was selected to pass through a number of pixels P of the digital image D.
  • This procedure is also particularly advantageous, for example, if the user of the invention uses them when climbing stairs, since in this case always the level closest to him is first identified so that he is effectively routed from one level to the next.
  • the actual size and shape of the imaged obstacle-free area within the environment 10 of the image acquisition unit 1 is then determined by the processing unit 4 to determine to the user of the method in which area he is safely traveling can, without encountering obstacles.
  • the created digital image D corresponds to the size of the imaged obstacle-free area the freely accessible space that extends between the image pickup unit 1 and the wall edge 1 1 in Fig. 1.
  • the position of the obstacle-free region in the digital image D In order to determine the shape and size of the obstacle-free region, the position of the obstacle-free region in the digital image D, the relative position, in particular height and orientation, of the image recording unit 1 with respect to the environment 10 and optionally parameters of the image recording unit 1, in particular resolution and focal length, are used. Furthermore, in order to determine the shape and size of the obstacle-free region, it is assumed that the obstacle-free region detected in the digital image D lies on a predetermined three-dimensional surface, in particular on a plane.
  • the position and orientation of the image recording unit 1 is advantageously monitored, so that only images are produced by the image recording unit 1 or method steps according to the invention are carried out when the image recording unit 1 is in a predetermined position.
  • a predetermined position for example, both a position can be defined in which both the orientation of the horizontal image axis of the image pickup unit 1, and the viewing direction of the image pickup unit 1 are aligned approximately horizontally, in particular with an angular deviation of at most 30 ° about a horizontal axis, or Also, a layer in which the image pickup unit 1 containing shoe 20 is completely placed on the ground.
  • the height of the image pickup unit 1 mounted in the shoe 20 above the ground occupied by the image pickup unit 1 when the shoe 20 stands on the ground is determined.
  • the actual size and shape of the imaged obstacle-free area is determined only on condition that the image acquisition unit 1 is at the determined height.
  • the height can be used as a further criterion for an energy-saving, efficient procedure.
  • the person wearing the shoe 20 with built-in image acquisition unit 1 rests on a lying surface, the person's feet and thus their shoes are no longer in a seated position and the viewing direction of the image pickup unit 1 is compared to the predetermined one Position rotates.
  • a creation of digital images D is not required because the person does not want to move and the image acquisition unit 1 does not need to be powered by the energy storage device 3.
  • the shoe 20 with the image pickup unit 1 mounted therein has no contact with the ground and thus is not at the determined height, then no digital images D are advantageously produced by the image pickup unit 1. This is the case, for example, when the person wearing the shoe 20 raises his or her feet while walking, or when the person is resting with his legs up.
  • the image acquisition unit 1 does not permanently consume voltage for the production of digital images D, but only when the image acquisition unit 1 is in a position in which the implementation of the method according to the invention is provided, i. that the person wearing the shoe 20 actually requires assistance in locomotion. In this case, it is also ensured at the same time that the size or shape of the obstacle-free area or the distance to potential obstacles can be reliably determined.
  • a first distance A1 of the boundary curve BK or at least one point on the boundary curve BK of the obstacle-free region can be determined by the image acquisition unit 1. From the known position of the image pickup unit 1 and assuming that the person wearing the shoe 20 with integrated image pickup unit 1 is standing on a plane, the distance from the two-dimensional image representing the digital image D taken by the image pickup unit 1 can be obtained become an obstacle.
  • a second distance A2 is determined by measuring the distance by means of ultrasound.
  • an ultrasonic sensor 2 used for this purpose is arranged in the shoe 20 near the image recording unit 1 and aligned in the same direction as the image recording unit 1, so that the recording area of the image recording unit 1 partially overlaps with the detection area of the ultrasonic sensor 2.
  • the first distance A1 and the second distance A2 of the obstacle-free area are compared with each other, and another distance measurement value A is created using the first distance A1 and the second distance A2.
  • the smaller distance is preferably regarded as a further distance measurement value A.
  • such determined distance lines are located in determined distances of 10 cm, 50 cm, 100 cm and 150 cm to the image pickup unit 1.
  • the processing unit 4 or the neural network NN is designed to determine the obstacle indicator H1 for individual pixels on the boundary curve BK and preferably to represent the person. In this way, the person wearing the shoe 20 can be notified, which obstacles or objects such. As sidewalk edges, walls, people, animals or the like, are in their direction of movement, so that they get the opportunity to respond accordingly.
  • the at least one receptacle is accommodated with an image recording unit 1 mounted permanently on a person or on an animal, in particular in a glove, belt, helmet, walking stick or walking aid. It is thus possible, for example, for frail persons who are dependent on walking aids, such as, for example, crutches or walking sticks, to mount the image recording unit 1 in crutches.
  • shoes 20 or collars for assistance dogs can be equipped with such an image recording unit 1, so that persons with impaired vision and reduced motor skills can move particularly safe in an unknown environment, as they assistance from their assistance dog and additionally inventively determined hints and warnings receive.
  • the results obtained are perceptibly displayed to the user of the invention.
  • the processing unit 4 is designed to forward the determined results, for example, to a feedback unit.
  • the user may, for example, wear the feedback unit on the body, so that the results obtained can be transmitted to him in a manner that can be perceived by him.
  • the feedback unit may be, for example, headphones used to carry the person upside down.
  • the processing unit 4 is designed to transmit the determined results on the shape and size of the accessible obstacle-free area to the feedback unit and to control the feedback unit such that, for example, as the distance to the boundary B of the obstacle-free area decreases, the sound sequences are louder or higher As soon as the sound is heard, it will be delivered at a speeding rhythm, so that the person can see that it is approaching an obstacle.
  • the 4 shows a shoe 20 with an image pickup unit 1, an ultrasound sensor 2, an energy store 3, a processing unit 4, and actuator elements 5 mounted therein.
  • the image pickup unit 1 and the ultrasound sensor 2 are installed in the toe, so that both are aligned in the same direction
  • the energy storage 3 and the processing unit 4 are arranged in the embodiment in paragraph 21 of the shoe 20.
  • Six actuator elements 5 are arranged in the region of the toes or the footwear of the wearer of the shoe 20 in the shoe sole region 22, wherein the actuator elements 5 are arranged such that they form a line extending from the ball of the foot in the direction of the toe.
  • the actuator elements 5 are designed as vibrating elements which vibrate when they are actuated, for example, by the processing unit 4.
  • the actuator elements may, for example, also be designed in the form of a pin and, when activated, press upwards into the foot.
  • a distance corresponding to the size of an obstacle-free area around the image pickup unit 1 arranged in the shoe tip, or a person who carries the shoe 20, is determined by the processing unit 4.
  • the processing unit 4 determines the distance value.
  • at least one digital image D and / or the ultrasonic sensor 2 created by the image recording unit 1 is used.
  • the selection of the actuator 5 is made depending on the distance value. As the distance to an obstacle becomes smaller, actuator elements 5 are selected in an all the more sensitive body region, in particular the closer to the tip of the toe.
  • the actuator element 5 is actuated in the area of the person's footing. If the distance to the obstacle becomes smaller, starting from the actuator element 5 in the area of the football, the actuator element 5 located closer to the toe tip is actuated until finally, at a short distance to the obstacle, the actuator element in FIG Area of the person's toes is chosen. This signals to the person that he / she is in danger of encountering an obstacle should it continue to move in the direction it was headed.
  • the invention can not only be used to facilitate the movement in everyday life for persons with limited vision and / or reduced motor skills.
  • the invention can also be used to detect an obstacle-free area around an image pickup unit 1 arranged, for example, in the area of the bumper of a vehicle, and to determine the shape and size of the freely passable area in the direction of travel of the vehicle. This may be of interest, for example, in the area of autonomous driving in order to determine the trafficable environment, or to detect the distance to a preceding vehicle and, for example, to regulate the speed of the autonomously driving vehicle, depending on the distance to the vehicle in front.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit (1) umgebenden Bereichs wobei a) mit der Bildaufnahmeeinheit (1) zumindest eine Aufnahme eines Teilbereichs der Umgebung (10) der Bildaufnahmeeinheit (1) erstellt wird und basierend auf dieser zumindest einen Aufnahme ein Digitalbild (D) erstellt wird, dadurch gekennzeichnet, b) dass das so erstellte Digitalbild (D) auf das Vorliegen möglicher Begrenzungen (B) eines hindernisfreien Bereichs untersucht wird, wobei für einzelne Pixel (P) des Digitalbilds (D) jeweils ein Begrenzungsindikatorwert (Bl) abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds (D) innerhalb einer Umgebung des jeweiligen Pixels (P) ermittelt wird, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung (B) eines hindernisfreien Bereichs befindet, c) dass für das Digitalbild (D) eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben wird, die insbesondere den Pixelkoordinaten entspricht, d) dass eine Begrenzungskurve (BK) des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt wird, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert (Bl) aufweisen, e) dass das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve (BK) und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds (D), festgelegt wird.

Description

Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit umgebenden Bereichs gemäß dem Oberbegriff des Patentanspruchs 1 Patentanspruch 14.
Aus dem Stand der Technik sind Orientierungshilfen wie z. B. taktile Bodenleitsysteme im städtischen Raum bekannt, anhand derer sich Personen mit eingeschränktem Sehvermögen z. B. mithilfe eines Blindenstock oder Langstocks selbstständig orientieren und bewegen können. Nachteil bei derartigen Orientierungshilfen ist allerdings, dass diese im ländlichen Raum kaum vorhanden sind und dass diese für Personen mit eingeschränkter Motorik schwer oder gar nicht nutzbar sind.
Aus der AT 513881 A2 ist weiters eine im ländlichen Raum oder der freien Natur oder auch für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik nutzbare Vorrichtung zur Detektierung einer Umgebung bekannt. Die Vorrichtung kann beispielsweise in einen Schuh oder einen Blindenstock oder Langstock eingebaut werden und ermittelt mithilfe eines Abstandssensors ein Abstand zu einem potentiellen Hindernis. Je nach ermitteltem Abstand wird über eine Feedback-Einheit eine Warnung an den Benutzer übermittelt.
Nachteil bei der bekannten Vorrichtung ist allerdings, dass lediglich ein einziger Abstandswert angegeben ist, der festlegt, wie weit sich ein Gegenstand vom der Aufnahmeeinheit entfernt befindet, wobei die Entfernungsmessung lediglich entlang einer einzigen Richtung ausgehend von der Aufnahmeeinheit gemessen wird.
Aufgabe der Erfindung ist es daher, die aus dem Stand der Technik bekannte Vorrichtung zur Abstandsdetektion zu verbessern und ein Verfahren bereitzustellen, das eine gefahrlose Fortbewegung von Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik in jeder Umgebung sicherstellt. Insbesondere ist es Aufgabe der Erfindung, auch richtungsabhängige Abstandsinformationen zur Verfügung zu stellen, die für eine Vielzahl von Richtungen, insbesondere für jede Bildspalte des Digitalbilds, jeweils einen auf diese Richtung bezogenen Abstand angeben.
Die Erfindung löst diese Aufgabe bei einem Verfahren der eingangs genannten Art, wobei a) mit der Bildaufnahmeeinheit zumindest eine Aufnahme eines Teilbereichs der Umgebung der Bildaufnahmeeinheit erstellt wird und basierend auf dieser zumindest einen Aufnahme ein Digitalbild erstellt wird, mit den in Anspruch 1 angegebenen Merkmalen. Es ist erfindungsgemäß vorgesehen,
b) dass das so erstellte Digitalbild auf das Vorliegen möglicher Begrenzungen eines hindernisfreien Bereichs untersucht wird, wobei für einzelne Pixel des Digitalbilds jeweils ein Begrenzungsindikatorwert abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds innerhalb einer Umgebung des jeweiligen Pixels ermittelt wird, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung eines hindernisfreien Bereichs befindet,
c) dass für das Digitalbild eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben wird, die insbesondere den Pixelkoordinaten entspricht,
d) dass eine Begrenzungskurve des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt wird, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert aufweisen, e) dass das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds, festgelegt wird.
Um ein besonders zuverlässiges Abbild des hindernisfreien, die Bildaufnahmeeinheit umgebenden Bereichs, zur Verfügung zu stellen, kann vorgesehen sein, dass als Begrenzungskurve ein Streckenzug gewählt wird, der durch eine Anzahl von Pixeln des Digitalbilds verläuft, wobei für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils ein Bildpunkt, insbesondere ein Pixel, ausgewählt wird, durch das der Streckenzug verläuft.
Um die Begrenzungskurve besonders zuverlässig zu ermitteln, kann vorgesehen sein, dass zur Ermittlung der Begrenzungskurve in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x- Koordinaten, jeweils ein zu optimierender Maßwert ermittelt wird, der sich aus den folgenden Teilmaßwerten zusammensetzt,
- dem Begrenzungsindikatorwert, sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds liegt, oder ein von diesem Unterschied abgeleiteter Wert.
Zur Ermittlung einer besonders glatten Begrenzungskurve welche vorzugsweise in Bodennähe verläuft, sodass beispielsweise vom Boden vertikal entfernt verlaufende Fensterkanten bei der Ermittlung der Begrenzungskurve ignoriert werden, kann vorgesehen sein, dass zur Ermittlung der Begrenzungskurve in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven jeweils diejenigen Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, gewählt werden,
- die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte und/oder
- die möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/oder
- die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungsweise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, insbesondere sodass aus der Lage der Bildpunkte eine Begrenzungskurve resultiert, deren Änderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
Eine hohe Genauigkeit und Zuverlässigkeit bei der Erkennung einer Begrenzung eines hindernisfreien Bereichs kann erzielt werden, wenn der Begrenzungsindikatorwert pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel auf dieselbe Weise und unabhängig von den übrigen Pixeln, berechnet wird, wobei das neuronale Netzwerk als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel gleich vorgegebenen, Umgebung um das jeweilige Pixel, insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel, erhält.
Um ein effektives Training für neuronale Netzwerke bereitzustellen, sodass sie genaue Begrenzungsindikatorwerte liefern, kann vorgesehen sein, dass das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern erstellt wird, wobei für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorgegeben wird und das neuronale Netzwerk darauf trainiert wird, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten abweicht.
Ein weiterer Vorteil der Erfindung ist darin begründet, dass im Gegensatz zu aus dem Stand der Technik bekannten Verfahren im Rahmen des Trainings lediglich manuell festgelegt wird, wo die Grenzen des begehbaren Bereichs liegen, oder nicht. Dadurch fällt der Annotationsaufwand wesentlich geringer aus, als bei bekannten Verfahren, welche mit den Pixeln jeweils noch weitere Informationen wie beispielsweise, dass es sich dabei um ein Pixel, welches z. B. einen Teil eines Fensters oder einer Wand darstellt, handelt, hinterlegen.
Um für einen Benutzer des Verfahrens eine besonders gefahrlose Fortbewegung sicherzustellen, kann vorgesehen sein, dass die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung der Bildaufnahmeeinheit ermittelt wird,
- aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds,
- aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit gegenüber der Umgebung,
- gegebenenfalls Parametern der Bildaufnahmeeinheit, insbesondere Auflösung und Brennweite,
sowie
- unter der Annahme, dass der im Digitalbild erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
Um ein erfindungsgemäßes Verfahren besonders für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik flexibel einsetzbar zu machen, kann vorgesehen sein, dass die zumindest eine Aufnahme mit einer fest an einer Person oder an einem Tier montierten, insbesondere in einem Schuh, Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordneten, Bildaufnahmeeinheit aufgenommen wird.
Um ein erfindungsgemäßes Verfahren nicht fortlaufend, sondern nur gezielt unter vorgegebenen Bedingungen durchzuführen, sodass beispielsweise eine zur Durchführung des Verfahrens benötigte Bildaufnahmeeinheit nicht permanent mit Spannung versorgt werden muss, kann vorgesehen sein, dass die Lage und Ausrichtung der Bildaufnahmeeinheit überwacht wird und die Bildaufnahmeeinheit nur dann Bilder erstellt oder die Schritte b) bis e) nur dann durchgeführt werden,
- wenn die Bildaufnahmeeinheit in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontalen Bildachse der Bildaufnahmeeinheit als auch die Blickrichtung der Bildaufnahmeeinheit annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
- wenn der die Bildaufnahmeeinheit enthaltende Schuh vollständig auf den Boden aufgesetzt ist.
Um den Ablauf eines erfindungsgemäßen Verfahrens gezielt zu starten, kann von Vorteil sein, dass die Digitalbilder mit einer in einem Schuh montierten Bildaufnahmeeinheit aufgenommen werden, wobei die Höhe der Bildaufnahmeeinheit über dem Boden ermittelt wird, wenn der Schuh auf dem Boden steht und
die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs erfindungsgemäß unter der Voraussetzung bestimmt wird, dass sich die Bildaufnahmeeinheit in der ermittelten Höhe befindet.
Eine besonders gefahrlose Fortbewegung kann für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik ermöglicht werden, wenn in Schritt b) neben dem Begrenzungsindikatorwert auch ein Hindernisindikator ermittelt wird, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und
wenn für einzelne Bildpunkte auf der Begrenzungskurve jeweils der Hindernisindikator ermittelt wird und vorzugsweise der Person dargestellt wird.
Zur einfachen und präzisen Bereitstellung eines Abstands zur Begrenzung des hindernisfreien Bereichs für einen Benutzer eines erfindungsgemäßen Verfahrens, kann vorgesehen sein, dass ein erster Abstand der Begrenzungskurve oder zumindest eines Punkts auf der Begrenzungskurve des hindernisfreien Bereichs von der Bildaufnahmeeinheit ermittelt wird,
- dass zusätzlich zur Aufnahme des Digitalbilds durch Abstandsmessung mittels Ultraschall ein zweiter Abstand bestimmt wird, wobei ein hierfür verwendeter Ultraschallsensor im Bereich der Bildaufnahmeeinheit angeordnet ist und
- nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit, oder
- einen mit dem Aufnahmebereich der Bildaufnahmeeinheit teilweise überlappenden Erfassungsbereich aufweist, - dass der zweite Abstand und der erste Abstand des hindernisfreien Bereichs miteinander verglichen werden und ein weiterer Abstandsmesswert unter Verwendung des ersten Abstands und des zweiten Abstands erstellt wird, wobei vorzugsweise bei Abweichungen jeweils der jeweils geringere Abstand als weiterer Abstandsmesswert angesehen wird.
Die Erfindung betrifft weiters ein Verfahren, das sicherstellt, dass sich eine Person mit eingeschränktem Sehvermögen und eingeschränkter Motorik selbstständig in einer Umgebung fortbewegen kann, da die Person vor Hindernissen gewarnt wird. Erfindungsgemäß ist dabei vorgesehen, dass ein der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Person ermittelt oder vorgegeben wird, und anschließend abhängig von diesem Abstandswert an zumindest einer Körperstelle, insbesondere in zumindest einem Schuh, der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen, insbesondere Vibrationselementen, aktiviert wird, wobei die Auswahl der Aktuatorelemente abhängig vom Abstandswert vorgenommen wird und wobei ein Aktuatorelement in einem umso sensibleren Körperbereich ausgewählt wird, insbesondere umso näher bei der Fußspitze ausgewählt wird, je kleiner der Abstandswert ist.
Die Erfindung betrifft weiters eine Vorrichtung zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit umgebenden Bereichs umfassend eine Bildaufnahmeeinheit und eine der Bildaufnahmeeinheit nachgeschaltete Verarbeitungseinheit. Erfindungsgemäß ist dabei vorgesehen, dass die Bildaufnahmeeinheit zur Erstellung zumindest einer Aufnahme eines Teilbereichs der Umgebung der Bildaufnahmeeinheit und zur Übermittlung der Aufnahme an die Verarbeitungseinheit ausgebildet ist und dass die Verarbeitungseinheit dazu ausgebildet ist,
- ein Digitalbild basierend auf dieser zumindest einen Aufnahme zu erstellen und das so erstellte Digitalbild auf das Vorliegen möglicher Begrenzungen eines hindernisfreien Bereichs zu untersuchen,
- für einzelne Pixel des Digitalbilds jeweils ein Begrenzungsindikatorwert abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds innerhalb einer Umgebung des jeweiligen Pixels zu ermitteln, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung eines hindernisfreien Bereichs befindet,
- für das Digitalbild eine Koordinaten-Parametrisierung mit zwei Parametern vorzugeben, die insbesondere den Pixelkoordinaten entspricht, - eine Begrenzungskurve des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve zu ermitteln, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert aufweisen, und
- das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds, festzulegen.
Zur Ermittlung eines zuverlässigen Abbilds des hindernisfreien, die Bildaufnahmeeinheit umgebenden Bereichs, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist,
- als Begrenzungskurve einen Streckenzug zu wählen, wobei der Streckenzug durch eine Anzahl von Pixeln des Digitalbilds verläuft, und
- für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x- Koordinate, jeweils einen Bildpunkt, insbesondere ein Pixel, auszuwählen, durch das der Streckenzug verläuft.
Zur besonders zuverlässig Ermittlung der Begrenzungskurve kann bei einer Ausführungsform der Erfindung vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve ein Optimierungsverfahren durchzuführen, wobei die Verarbeitungseinheit dazu ausgebildet ist, für einzelne in Betracht kommende Begrenzungskurven jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, jeweils ein zu optimierender Maßwert zu ermitteln, wobei sich der aus den folgenden Teilmaßwerten zusammensetzt:
- dem Begrenzungsindikatorwert, sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds liegt, oder ein von diesem Unterschied abgeleiteter Wert.
Um einen glatten Verlauf der Begrenzungskurve bevorzugt in Bodennähe sicherzustellen, bei dem vertikal vom Boden entfernt verlaufende Kanten unberücksichtigt bleiben, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve ein Optimierungsverfahren durchzuführen, wobei die Verarbeitungseinheit dazu ausgebildet ist, für einzelne in Betracht kommende Begrenzungskurven jeweils diejenigen Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, auszuwählen,
- die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte und/oder möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/oder
- die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungsweise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, sodass insbesondere aus der Lage der Bildpunkte eine Begrenzungskurve resultiert, deren Änderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
Zum Erzielen einer hohen Genauigkeit und Zuverlässigkeit bei der Erkennung einer Begrenzung eines hindernisfreien Bereichs kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist,
- den Begrenzungsindikatorwert pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel auf dieselbe Weise und unabhängig von den übrigen Pixeln, zu berechnen, und
- dem neuronalen Netzwerk als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel gleich vorgegebenen, Umgebung um das jeweilige Pixel, insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel, zu übergeben.
Zum effektiven Training der neuronalen Netzwerke, sodass diese genaue Begrenzungsindikatorwerte liefern, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist,
- das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern zu erstellen, und
- für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorzugeben und das neuronale Netzwerk darauf zu trainieren, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten abweicht.
Um eine gefahrlose Fortbewegung eines Benutzers einer erfindungsgemäßen Vorrichtung in einer ihm unbekannten Umgebung zu gewährleisten, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung der Bildaufnahmeeinheit zu ermitteln,
- aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds,
- aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit gegenüber der Umgebung,
- gegebenenfalls Parametern der Bildaufnahmeeinheit, insbesondere Auflösung und Brennweite,
sowie
- unter der Annahme, dass der im Digitalbild erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
Um eine erfindungsgemäße Vorrichtung für eine Person mit eingeschränktem Sehvermögen und eingeschränkter Motorik auf vielfältige Weise mitführbar zu machen, kann vorgesehen sein, dass die Bildaufnahmeeinheit fest an einer Person oder an einem Tier montiert ist, insbesondere in einem Schuh, Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordnet ist.
Bei einer besonders energiesparenden Ausführungsform der Erfindung, bei der beispielsweise die Bildaufnahmeeinheit nicht permanent mit Spannung versorgt werden muss, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, die Lage und Ausrichtung der Bildaufnahmeeinheit zu überwachen und weitere Verarbeitungsschritte nur dann durchzuführen,
- wenn die Bildaufnahmeeinheit in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit als auch die Blickrichtung der Bildaufnahmeeinheit annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
- wenn der die Bildaufnahmeeinheit enthaltende Schuh vollständig auf den Boden aufgesetzt ist
und/oder dass die Bildaufnahmeeinheit dazu ausgebildet ist, nur dann Bilder zu erstellen
- wenn die Bildaufnahmeeinheit in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit als auch die Blickrichtung der Bildaufnahmeeinheit annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder - wenn der die Bildaufnahmeeinheit enthaltende Schuh vollständig auf den Boden aufgesetzt ist.
Zum gezielten Starten der Aufnahme von Digitalbildern und ermitteln von Parametern mit der Bildaufnahmeeinheit kann vorgesehen sein, dass die Bildaufnahmeeinheit in einem Schuh montiert ist, wobei die Verarbeitungseinheit dazu ausgebildet ist, die Höhe der Bildaufnahmeeinheit über dem Boden zu ermitteln, wenn der Schuh auf dem Boden steht und
die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs unter der Voraussetzung zu bestimmen, dass sich die Bildaufnahmeeinheit in der ermittelten Höhe befindet.
Zur besonders gefahrlosen Fortbewegung für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik in einer ihnen fremden Umgebung kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist,
- neben dem Begrenzungsindikatorwert auch ein Hindernisindikator zu ermitteln, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und
- für einzelne Bildpunkte auf der Begrenzungskurve jeweils der Hindernisindikator zu ermitteln.
Zur einfachen und präzisen Bereitstellung eines Abstands zur Begrenzung des hindernisfreien Bereichs für einen Benutzer, kann vorgesehen sein, dass eine erfindungsgemäße Vorrichtung einen im Bereich der Bildaufnahmeeinheit angeordneten Ultraschallsensor umfasst, wobei der Ultraschallsensor
- nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit, oder
- einen mit dem Aufnahmebereich der Bildaufnahmeeinheit teilweise überlappenden Erfassungsbereich aufweist,
dadurch gekennzeichnet, dass die Verarbeitungseinheit dazu ausgebildet ist,
- einen ersten Abstand der Begrenzungskurve oder zumindest eines Punkts auf der Begrenzungskurve des hindernisfreien Bereichs von der Bildaufnahmeeinheit zu ermitteln,
- zusätzlich zur Aufnahme des Digitalbilds durch Abstandsmessung mittels des Ultraschallsensors einen zweiten Abstand zu bestimmen, und
- den zweiten Abstand und den ersten Abstand des hindernisfreien Bereichs miteinander zu vergleichen und einen weiteren Abstandsmesswert unter Verwendung des ersten Abstands und des zweiten Abstands zu erstellen, und
- vorzugsweise bei Abweichungen jeweils den jeweils geringeren Abstand als weiteren Abstandsmesswert festzulegen.
Zur Darstellung der ermittelten Parameter für einen Benutzer während der Fortbewegung in einer ihm unbekannten Umgebung kann vorgesehen sein, dass eine erfindungsgemäße Vorrichtung eine Feedback-Einheit umfasst, wobei die Feedback-Einheit zur, insbesondere drahtlosen, Datenkommunikation mit der Verarbeitungseinheit und zur Darstellung des ermittelten Abstandsmesswerts und/oder des ermittelten Hindernisindikatorwerts und/oder der tatsächlichen Größe und Form des abgebildeten hindernisfreien Bereichs für die Person ausgebildet ist.
Die Erfindung betrifft weiters eine Vorrichtung, die einer Person mit eingeschränktem Sehvermögen und eingeschränkter Motorik ein selbstständiges Fortbewegen in einer unbekannten Umgebung ermöglicht, da die Vorrichtung die Person vor Hindernissen warnt. Erfindungsgemäß ist dabei vorgesehen, dass die Feedback-Einheit als Schuh mit Aktuatorelementen ausgebildet ist, und dass die Verarbeitungseinheit dazu ausgebildet ist,
- einen der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Person zu ermitteln oder vorzugeben, und
- abhängig von diesem Abstandswert die Feedback-Einheit anzusteuern,
im Schuh der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen, insbesondere Vibrationselementen, zu aktivieren, die Auswahl der Aktuatorelemente abhängig vom Abstandswert vorzunehmen, und ein Aktuatorelement in einem umso sensibleren Körperbereich auszuwählen, insbesondere umso näher bei der Fußspitze auszuwählen, je kleiner der Abstandswert ist.
Weitere Vorteile und Ausgestaltung der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
Beispielhafte Ausführungsformen der Erfindung sind in den Zeichnungen schematisch dargestellt und werden im Folgenden unter Bezugnahme auf die Zeichnungen beispielhaft beschrieben.
Fig. 1 zeigt eine Umgebung um eine Bildaufnahmeeinheit. Fig. 2 zeigt eine Verteilung der Begrenzungsindikatorwerte in einem Abbild der Umgebung. Fig. 2a zeigt einen Ausschnitt von Pixeln aus Fig. 2. Fig. 3 zeigt schematisch die ermittelte Begrenzungskurve in einem Abbild der Umgebung. Fig. 4 zeigt einen Schuh mit Aktuatorelementen. Fig. 5 zeigt die spaltenweise Berechnung von Potentialen mittels des Viterbi-Algorithmus für das Beispiel in Fig. 2a. Fig. 6 zeigt die berechneten Potentiale für das Beispiel in Fig. 2a. Fig. 7 zeigt den ermittelten Verlauf der Begrenzungskurve. Fig. 1 zeigt eine Umgebung 10 in Form eines Raums, in dem sich eine Person mit eingeschränktem Sehvermögen fortbewegen möchte. In einer der den Raum begrenzenden Wände ist ein Fenster angeordnet, wobei das Fenster eine untere Fensterkante 12 aufweist. Da der Raum der Person nicht bekannt ist, ist sie auf Hilfsmittel angewiesen, die sie vor Hindernissen, wie beispielsweise zwei in Fortbewegungsrichtung der Person befindlichen Wänden, warnen und beispielsweise den begehbaren, hindernisfreien Bereich erkennen.
Die Person trägt daher ein Hilfsmittel, wie beispielsweise einen Schuh 20, in dem eine Bildaufnahmeeinheit 1 angeordnet ist. Bei der im Schuh 20 montierten Bildaufnahmeeinheit 1 handelt es sich um eine wasserdichte, robuste Kamera, wie sie häufig beispielsweise im Sportbereich Einsatz findet. Derartige Kameras sind klein genug, dass sie auch in einem Schuh 20 Platz finden. Die Bildaufnahmeeinheit 1 ist im in Fig. 1 gezeigten Ausführungsbeispiel an der Schuhspitze im Bereich der Zehen des Trägers des Schuhs 20 angeordnet und in Fortbewegungsrichtung des Trägers des Schuhs 20 ausgerichtet.
Im in Fig. 1 gezeigten Ausführungsbeispiel sind im Schuh 20 zusätzlich zur Bildaufnahmeeinheit 1 , eine Verarbeitungseinheit 4, ein Energiespeicher 3 und ein Ultraschallsensor 2 angeordnet. Die Bildaufnahmeeinheit 1 ist dazu ausgebildet Aufnahmen in Form von Digitalbildern zur Verfügung zu stellen und von ihr erstellte Digitalbilder D an die Verarbeitungseinheit 4 weiterzuleiten. Die Verarbeitungseinheit 4 ist dazu ausgebildet, die an sie übermittelten Digitalbilder D zu verarbeiten und die im Folgenden näher beschriebenen erfindungsgemäßen Verfahrensschritte durchzuführen. Dabei können selbstverständlich auch mehrere Ultraschallsensoren 2 im Schuh 20 angeordnet sein. Andere zur Durchführung eines erfindungsgemäßen Verfahrens oder zur Übermittlung der ermittelten Hindernisse benötigte Vorrichtungen wie beispielsweise eine Feedback-Einheit können ebenfalls im Schuh 20 angeordnet sein, oder auch unabhängig vom Hilfsmittel von der Person am Körper getragen oder auf andere Weise mit sich geführt werden.
Um das Abbild eines hindernisfreien Bereichs, der die Bildaufnahmeeinheit 1 umgibt, zu erfassen, wird zunächst mit der Bildaufnahmeeinheit 1 zumindest eine Aufnahme eines Teilbereichs des Raums erstellt. Es besteht dabei auch die Möglichkeit, mehrere Aufnahmen zu erstellen und diese zu einem einzigen Digitalbild D zusammenzufügen, insbesondere auch aus mehreren unterschiedlichen Aufnahmen eine auszuwählen und das Digitalbild D basierend auf dieser Aufnahme zu erstellen. Ebenso kann das Digitalbild D als Resultat unterschiedlicher Zwischenverarbeitungsschritte wie insbesondere Filtern, Schärfen, Farbkorrekturen etc aus einer oder mehreren Aufnahmen erstellt werden. Diese Schritte können alternativ auch in der unten beschriebenen Verarbeitungseinheit 4 vorgenommen werden.
Das so erstellte Digitalbild D wird von der Bildaufnahmeeinheit 1 an die Verarbeitungseinheit 4 weitergeleitet und von der Verarbeitungseinheit 4 auf das Vorliegen möglicher Begrenzungen B des hindernisfreien Bereichs untersucht. Diese im Digitalbild D zu findende Begrenzung B des hindernisfreien Bereichs entspricht im in Fig. 1 dargestellten Raum der Mauerkante 1 1 .
Zur Überprüfung, ob im Digitalbild D eine Begrenzung B eines hindernisfreien Bereichs vorliegt, wird von der Verarbeitungseinheit 4 für einzelne Pixel P, insbesondere für alle Pixel, des Digitalbilds D jeweils ein Begrenzungsindikatorwert Bl ermittelt. Dazu wird für die pixelweise vorgegebenen Bilddaten des Digitalbilds D jeweils eine Umgebung um jedes Pixel P festgelegt, innerhalb derer der Begrenzungsindikatorwert Bl für das jeweilige Pixel P ermittelt wird. Der Begrenzungsindikatorwert Bl gibt dabei an, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung B eines hindernisfreien Bereichs befindet.
Um die Bereiche zu bestimmen, an denen sich eine Begrenzung B befindet, die den begehbaren Bereich begrenzt, wird zur Ermittlung des Begrenzungsindikatorwerts Bl im gezeigten Ausführungsbeispiel ein neuronales Netzwerk verwendet. Das neuronale Netzwerk berechnet pixelweise, insbesondere für alle Pixel P auf dieselbe Weise, den Begrenzungsindikatorwert Bl. Als Eingangswerte werden dem neuronalen Netzwerk dabei die einzelnen Helligkeits- oder Farbwerte innerhalb einer Umgebung um das jeweilige Pixel P übergeben. Die Umgebung um das jeweilige Pixel P kann vorteilhafterweise eine quadratische Form aufweisen mit einer Kantenlänge von jeweils 200 Pixeln, in dessen Mittelpunkt sich das jeweilige Pixel P befindet. Selbstverständlich können im Zusammenhang mit der Erfindung auch andere Umgebungen als Eingangswerte für das neuronale Netzwerk verwendet werden.
Zunächst wird mittels des neuronalen Netzwerks eine Wahrscheinlichkeitsverteilungskarte berechnet, die für jedes Pixel P ein Begrenzungsindikatorwert Bl umfasst. Die Größe der Wahrscheinlichkeits-Verteilungskarte entspricht dabei im wesentlichen, insbesondere bis auf Randbereiche, der Größe des Digitalbilds. Der Begrenzungsindikatorwert Bl gibt dabei eine Wahrscheinlichkeit an, ob die gesuchte Begrenzung B des hindernisfreien Bereichs im jeweiligen Pixel P abgebildet ist.
Zur Erstellung des neuronalen Netzwerks werden in einer Trainingsphase eine Vielzahl von vorgegebenen Trainingsbildern verwendet, wobei für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorgegeben wird und das neuronale Netzwerk darauf trainiert wird, für das jeweilige Trainingsbild, in den im Bereich der Trainings- Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert Bl zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten Bl abweicht.
Um das neuronale Netzwerk so zu erstellen, dass es zuverlässige Begrenzungsindikatorwerte Bl liefert und möglichst effektiv Begrenzungen B des hindernisfreien Bereichs erkennt, werden Trainingsbilder verwendet, welche sowohl Digitalbilder D von Umgebungen 10 im Innen-, als auch im Außenbereich umfassen, in denen verschiedene Arten der Begrenzung B eines hindernisfreien Bereichs abgebildet sind. Bei den abgebildeten Begrenzungen B kann es sich beispielsweise um Stufen, Gehsteigkanten, Wände oder andere Begrenzungen B handeln.
Für das Training des neuronalen Netzwerks werden auch Digitalbilder D von Umgebungen 10 im Außenbereich bei unterschiedlichen Wetterbedingungen verwendet. Um die Effektivität des Trainings des neuronalen Netzwerks zu erhöhen, werden zusätzlich Bildtransformationen wie Rotation, horizontale Spiegelung, Kontrastveränderung, Helligkeitsveränderung und Weichzeichnung angewendet.
Fig. 2 zeigt eine schematische beispielhafte Repräsentation mit deutlich verringerter Pixelzahl für vom neuronalen Netzwerk ermittelte Begrenzungsindikatorwerte Bl jeweils für die Umgebung um Pixel P eines Ausschnitts eines Abbilds des in Fig. 1 dargestellten Raums. Dabei entsprechen weiße Bereiche Pixeln P, für die ein geringer Begrenzungsindikatorwert Bl ermittelt wurde, d.h. dass diese nur mit geringer Wahrscheinlichkeit das Abbild einer Begrenzung des hindernisfreien Bereichs enthalten. Längsschraffierte Bereiche entsprechen Pixeln P, für die ein höherer Begrenzungsindikatorwert Bl ermittelt wurde, sodass diese Pixel P mit höherer Wahrscheinlichkeit das Abbild einer Begrenzung B enthalten. Der höchste Begrenzungsindikatorwert Bl wurde in Fig. 2 für längs- und querschraffierte Bereiche ermittelt, sodass diese Pixel P mit der höchsten Wahrscheinlichkeit eine Begrenzung B abbilden. Als nächster Verfahrensschritt wird für das Digitalbild eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben, die insbesondere den Pixelkoordinaten, beispielsweise in Form von einer x- und y-Koordinate, entspricht. Im in Fig. 2 gezeigten schematischen Ausschnitts des Abbilds des Raums gibt die x-Koordinate die Spaltennummer an und nimmt ausgehend vom linken Bildrand nach rechts zu und die y-Koordinate gibt die Zeilennummer an und nimmt ausgehend vom oberen Bildrand nach unten zu.
Diese Parametrisierung ist jedoch nicht zwingend. Alternativ kann beispielsweise auch ein anderes Koordinatensystem gewählt werden, bei dem ausgehend von einem festgelegten Kamerapunkt Linien gleichen Abstands zum Kamerapunkt in Form von Schichtlinien im Digitalbild D vorgegeben werden.
Insbesondere ist es bei dieser Parametrisierung auch nicht zwingend, dass sich die einzelnen so vorgegebenen Koordinatenlinien unmittelbar in Pixeln P, d.h. in Bildpunkten, für die unmittelbar Begrenzungsindikatorwerte vorliegen, schneiden. Vielmehr ist es auch möglich, dass für die durch die Parametrisierung vorgegebenen Bildpunkte auch durch Interpolation aus naheliegenden Pixeln P erstellte Begrenzungsindikatorwerte Bl vorgegeben und verwendet werden.
Im Anschluss an die Ermittlung der Begrenzungsindikatorwerte Bl wird von der Verarbeitungseinheit 4 eine Begrenzungskurve BK des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt. Dabei wird die Begrenzungskurve BK so gewählt, dass sich auf ihr diejenigen Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert Bl aufweisen. Das heißt, dass die Begrenzungskurve BK nicht zwingend durch einzelne Pixel P verlaufend gewählt wird, sondern auch durch zwischen mehreren Pixeln P interpolierten Bildpunkten verlaufend gewählt werden kann.
Das Abbild des hindernisfreien Bereichs, der für die Person gefahrlos begehbar ist, wird somit durch die Begrenzungskurve BK und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds D, festgelegt. Im gezeigten Ausführungsbeispiel wird zur Ermittlung der Begrenzungskurve BK der Streckenzug so gewählt, dass er durch eine Anzahl von Pixeln P des Digitalbilds D verläuft. Dabei wird für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds D oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils ein Bildpunkt, insbesondere ein Pixel P, ausgewählt, durch das der Streckenzug verläuft. Wie in Fig. 2 ersichtlich ist, ist es auch möglich, dass für zwei oder mehr Pixel P beispielsweise mit derselben x-Koordinate ein gleich hoher Begrenzungsindikatorwert ermittelt wird. In Fig. 2 ist dies beispielsweise durch die in der Abbildung des Raums ebenfalls abgebildete Fensterkante 12 im linken oberen Bereich der Wahrscheinlichkeitsverteilungskarte der Fall.
Um derartige mögliche Mehrdeutigkeiten in der vom neuronalen Netzwerk geschätzten Wahrscheinlichkeits-Verteilungskarte zu reduzieren und die wahrscheinlichste Begrenzung des hindernisfreien Bereichs zu finden, wird im gezeigten Ausführungsbeispiel von der Verarbeitungseinheit 4 ein Optimierungsverfahren angewendet. Zur Ermittlung der Begrenzungskurve BK wird für einzelne in Betracht kommende Begrenzungskurven BK jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve BK, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, jeweils ein zu optimierender Maßwert ermittelt. Der Maßwert setzt sich dabei aus den folgenden Teilmaßwerten zusammen:
- dem Begrenzungsindikatorwert Bl, sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve BK liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds D liegt, oder ein von diesem Unterschied abgeleiteter Wert.
Da große Sprünge in der Begrenzungskurve BK zwischen zwei benachbarten Spalten meist auf Unsicherheiten in der Wahrscheinlichkeits-Verteilungskarte zurückzuführen sind, kann beispielsweise durch Festlegung von Übergangswahrscheinlichkeiten zwischen benachbarten Spalten festgelegt werden, welche mögliche Begrenzungskurve BK zu bevorzugen ist. Mit derartigen Übergangswahrscheinlichkeiten kann gewählt werden, wie stark die resultierende Begrenzungskurve BK durchgezogen sein soll, bzw. in wie weit Sprünge erlaubt sind.
Alternativ können beispielsweise Hindernisse, die der Person näher sind, bzw. sich unmittelbar vor der Person befinden, höher bewertet werden, als solche, die von der Person weiter entfernt sind und sich im Hintergrund befinden. Alternativ können mögliche Begrenzungen B, die sich im unteren Bereich des Digitalbilds D befinden, oder auch eine durchgezogene Begrenzung B ohne Sprünge, bevorzugt werden.
Zur konkreten Bestimmung einer hinsichtlich der vorher genannten Kriterien optimalen Begrenzungskurve BK kann beispielsweise der Viterbi-Algorithmus verwendet werden, der beispielsweise in Viterbi, A., Error bounds for convolutional codes and an asymptotically Optimum decoding algorithm. In: IEEE Transactions on Information Theory. Band 13, Nr. 2, 1967, S. 260-269, beschrieben ist.
Das durch den Viterbi-Algorithmus zu maximierende Potential Φ zur Ermittlung des Verlaufs der Begrenzungskurve BK im Digitalbild D setzt sich zusammen aus:
- dem Output des neuronalen Netzwerks d.h. den ermittelten Begrenzungungsindikatorwerten Bl bzw. den Wahrscheinlichkeiten, dass ein Pixel P eine Begrenzung B eines hindernisfreien Bereichs enthält, gewichtet mit einem Gewichtungsfaktor vln ,
- einem von der Höhe des Pixels P im Digitalbild D abhänigigen Wert, beispielsweise durch dessen y-Koordinate oder einem davon abgeleiteten Wert. Dieser
Wert wird mit einem Gewichtungsfaktor gewichtet.
- einem Wert, der von den Nachbarschaftsbeziehungen der einzelnen Punkte auf der Begrenzungskurve abhängt < h{Zi, Vi > Xi-fi ; Vi+i ) , gewichtet mit einem Gewichtungsfaktor
Dabei bezeichnet x, bzw. y, jeweils die x-Koordinate bzw. die y-Koordinate des i-ten Punkts P, auf der Begrenzungskurve BK. Es wird eine Begrenzungskurve mit den Punkten Pi bzw Koordinaten xi, yi gesucht, für die der folgende Summenausdruck Φ für eine Begrenzungskurve maximal ist:
Φ= ν>η φη ί Χι , //, ) + ^ ll <ph ( Xi > Vi ) + ^ Vi , X-i+l ?Ji-rl }
Im Folgenden wird eine mögliche Implementierung der Ermittlung des Verlaufs der Begrenzungskurve BK mittels des Viterbi-Algorithmus in einem stark vereinfachten Beispiel anhand der in Fig. 2 gekennzeichneten und in Fig. 2a vergrößert dargestellten Pixel erläutert. Typischerweise wird der Viterbi-Algorithmus zur Bestimmung der Begrenzungskurve BK auf das gesamte Bild angewendet.
Das gezeigte stark vereinfachte Beispiel (Fig. 2a) enthält dabei einen Ausschnitt des Digitalbilds D mit Spalten x = 1 ...4, und Zeilen y = 1 ...3, von Pixeln, wobei die Spaltenanzahl bei der Zählung nach links steigt und die Zeilenanzahl bei der Zählung nach unten erhöht wird. Für die gekennzeichneten Pixel sind in Tabelle 1 die vom neuronalen Netzwerk ermittelten Begrenzungsindikatorwerte Bl tabellarisch zusammengestellt.
Tabelle 1 : Ermittelte Begrenzungsindikatorwerte Bl der ausgewählten Pixel.
Bei der Ermittlung des Verlaufs der Begrenzungskurve BK basierend auf vollständigen Digitalbildern D kann die Anzahl der Spalten und Zeilen im Bereich von 1000 bis 5000 liegen. Im gezeigten Beispiel werden die in Tabelle 2 aufgelisteten Gewichtungsfaktoren bzw. Funktionen vorgegeben :
Tabelle 2: Im Beispiel verwendete Gewichtungsfaktoren und Funktionen.
Zur Ermittlung des Verlaufs der Begrenzungskurve BK wird zunächst für die Spalte x = 1 pixelweise die folgenden Berechnungen durchgeführt, die beispielsweise für das Pixel in der Zeile y=1 dargestellt werden. Dabei wird die Summe aus dem Begrenzungsindikatorwert Bl=1 ,0 multipliziert mit dem vorgegebenen Gewichtungsfaktor
=1 ,0 und der Höhe y(P1)=y1=1 multipliziert mit dem Gewichtungsfaktor 'l h=0,25 für die Höhe gebildet, sodass als Ergebnis 1 ,25 erhalten wird. Diese Berechnung wird anschließend auf dieselbe Weise für alle Pixel P der Spalte x,=1 durchgeführt. Die berechneten Ergebnisse für die Spalte x = 1 sind in Fig. 5 dargestellt.
Für die weiteren Spalten wird pixelweise für alle Pixel P die folgende Vorgehensweise gewählt, die beispielhaft für das Pixel in der Zeile y=1 der Spalte x=2 näher dargestellt wird, die Bestimmung erfolgt auf analoge Weise für die übrigen Pixel bzw Spalten. Unter allen Pixeln der jeweils vorhergehenden Spalte x,=1 wird jeweils dem ermittelten Potential jeweils der Betrag der Differenz der y-Koordinatenwerte der jeweiligen Pixel
|y(Pi+i)-y(Pi)|, gewichtet um den Gewichtungsfaktor für die Nachbarschaft wl!=-0,5 hinzugezählt (Fig. 5). Unter diesen pixelweise berechneten Werten wird jeweils der Maximalwert aus der jeweiligen Spalte ermittelt. So ergibt sich beispielsweise für das Pixel an der Position y=1 der Maximalwert unter Berücksichtigung des Pixels an der Position x,=1 , y=3.
Zu dem ermittelten Maximalwert werden noch der Begrenzungsindikatorwert Bl für das betreffende Pixel sowie die Höhe, jeweils mit den ihnen zugeordneten Gewichtungen addiert, wie dies bereits in Bezug auf die Pixel der ersten Zeile dargestellt wurde, um den Potentialwert für das betreffende Pixel zu bilden: Als Potentialwert Φ für das Pixel an der Position xi+1=2, y=1 ergibt sich:
4>(Pi+i ) = max i {Φ(Ρι) + wb |y(Pi+i)-y(Pi) |} + wh y(Pi+1) + wn Φπ (Pi+1)
Dabei kann zur Bestimmung des Potentials anstelle des y-Koordinatenwerts y(Pi+1) auch ein davon abgeleiteter Wert verwendet werden, beispielsweise das Ergebnis f(y(Pi+1)) der Auswertung einer Funktion f des y-Koordiatenwerts y(Pi+ ).
In Fig. 6 sind die einzelnen rechnerisch ermittelten Potentialwerte dargestellt. Ebenso sind diejenigen Pixel, deren Werte für die Bestimmung der Potentiale in den jeweils nachfolgenden Pixeln verwendet werden, mit diesen durch Pfeile verknüpft dargestellt, beispielsweise wird der Potentialwert des Pixels an der Stelle x=1 ,y=3 für die Bestimmung des Potentialwerts des Pixels an der Stelle x=2,y=2 verwendet.
In der letzten Spalte wird nach dem Pixel mit dem höchsten Potential gesucht. Ausgehend von diesem Pixel wird nun rückwärts, dh nach abfallender Spaltennummer, jeweils dasjenige Pixel gesucht, das bei der Berechnung des Pixels des Potentials herangezogen wurde.
In Fig. 7 wurde das größte Potential in dem Pixel an der Position x=4, y=2 gefunden. Für die Bestimmung dieses Pixels wurde das Pixel an der Position x=3, y=2 verwendet, da von diesem unter den Pixeln in der dritten Spalte (x=3) der größte Potential-Anteil (9.25) herrührt. Ausgehend von diesem Pixel wird nunmehr nach dem Pixel in der zweiten Spalte (x=2) gesucht, das bei der Berechnung des Potentials dieses Pixels verwendet wurde. Dabei handelt es sich um das Pixel an der Position x=2, y=2. Schließlich wird ausgehend von diesem Pixel nach dem Pixel in der ersten Spalte (x=1 ) gesucht, das bei der Berechnung des Potentials dieses Pixels verwendet wurde. Dabei handelt es sich um das Pixel an der Position x=1 , y=3.
Die so ermittelten Pixel werden im Rahmen des Viterbi-Algorithmus wird zur Festlegung des Kurvenverlaufs der Begrenzungskurve BK herangezogen.
Als weitere Vorgaben bei der Ermittlung des Kurvenverlaufs wird im gezeigten Beispiel berücksichtigt, dass die Begrenzungskurve BK keine abrupten Sprünge aufweisen und auf geringer Höhe im Digitalbild D, d.h. bei hohen y-Koordinaten verlaufen soll.
Dazu können zur Berechnung eines von der y-Koordinatenangabe abgeleiteten Werts zur Bestimmung des Potentials der Nachbarschaft beispielsweise Funktionen Anwendung finden, bei denen kleine Abweichungen vernachlässigt werden, sodass beispielsweise Betragsdifferenzen, die kleiner als ein vorgegebener Schwellenwert, beispielsweise 5, sind, vernachlässigt werden. Auch dadurch kann erzielt erreicht werden, dass die ermittelte Begrenzungsindikatorkurve BK keine raschen Änderungen bzw. Sprünge aufweist. Darüber hinaus können auch andere oder weitere Vorgaben für die Festlegung des Kurvenverlaufs getroffen werden.
Fig. 3 zeigt schematisch das Ergebnis der Anwendung eines derartigen Optimierungsverfahrens zur Ermittlung der Begrenzungskurve BK ausgehend von den vom neuronalen Netzwerk ermittelten Begrenzungsindikatorwerten Bl für die Pixel P des in Fig. 2 dargestellten Ausschnitts des Abbilds der Umgebung 10, bzw. des Raums. Bei der Ermittlung der in Fig. 3 dargestellten Begrenzungskurve BK wurde der Streckenzug so gewählt, dass er durch eine Anzahl von Pixeln P des Digitalbilds D verläuft.
Dabei wurde mit dem vorstehend beschriebenen Optimierungsverfahren für jede Bildspalte des Digitalbilds D mit jeweils einer vorgegebenen x-Koordinate jeweils ein Bildpunkt, insbesondere ein Pixel P, ausgewählt, das sich weit unten im Abbild befindet, um den Streckenzug hindurch verlaufen zu lassen. Auf diese Weise kann effektiv die in Fig. 2 noch teilweise vom neuronalen Netzwerk mit Begrenzungsindikatorwerten Bl versehene untere Fensterkante 12 als Begrenzung B eines hindernisfreien Bereichs ausgeschieden werden.
Diese Vorgangsweise ist beispielsweise ebenfalls besonders vorteilhaft, wenn der Benutzer der Erfindung diese beim Hinaufsteigen von Stufen verwendet, da in diesem Fall immer die ihm am nächsten gelegene Stufe zuerst identifiziert wird, sodass er effektiv von einer Stufe zur nächsten geleitet wird.
Nachdem zunächst die Begrenzung B des hindernisfreien Bereichs ermittelt wurde, wird anschließend die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung 10 der Bildaufnahmeeinheit 1 von der Verarbeitungseinheit 4 ermittelt, um für den Benutzer des Verfahrens festzustellen, in welchem Bereich er sich gefahrlos fortbewegen kann, ohne auf Hindernisse zu stoßen. Im erstellten Digitalbild D entspricht die Größe des abgebildeten hindernisfreien Bereichs dem frei begehbaren Raum, der sich zwischen der Bildaufnahmeeinheit 1 und der Mauerkante 1 1 in Fig. 1 erstreckt.
Zur Ermittlung der Form und Größe des hindernisfreien Bereichs werden die Lage des hindernisfreien Bereichs im Digitalbild D, die relative Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit 1 gegenüber der Umgebung 10 und gegebenenfalls Parameter der Bildaufnahmeeinheit 1 , insbesondere Auflösung und Brennweite genutzt. Weiters wird zur Ermittlung der Form und Größe des hindernisfreien Bereichs die Annahme getroffen, dass der im Digitalbild D erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
Im Ausführungsbeispiel wird vorteilhafterweise die Lage und Ausrichtung der Bildaufnahmeeinheit 1 überwacht, sodass von der Bildaufnahmeeinheit 1 nur dann Bilder erstellt oder erfindungsgemäße Verfahrensschritte durchgeführt werden, wenn sich die Bildaufnahmeeinheit 1 in einer vorgegebenen Lage befindet. Als vorgegebene Lage kann beispielsweise sowohl eine Lage definiert werden, in der sowohl die Ausrichtung der horizontalen Bildachse der Bildaufnahmeeinheit 1 , als auch die Blickrichtung der Bildaufnahmeeinheit 1 annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder auch eine Lage, in der die Bildaufnahmeeinheit 1 enthaltende Schuh 20 vollständig auf den Boden aufgesetzt ist.
Zusätzlich wird im Ausführungsbeispiel die Höhe der im Schuh 20 montierten Bildaufnahmeeinheit 1 über dem Boden, die die Bildaufnahmeeinheit 1 einnimmt, wenn der Schuh 20 auf dem Boden steht, ermittelt. Dabei wird beispielsweise die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs nur unter der Voraussetzung bestimmt, dass sich die Bildaufnahmeeinheit 1 in der ermittelten Höhe befindet. Somit ist die Höhe als weiteres Kriterium für einen energiesparenden, effizienten Verfahrensablauf nutzbar.
Wenn die Person, die den Schuh 20 mit eingebauter Bilderfassungseinheit 1 trägt, beispielsweise auf einer Liegefläche ruht, befinden sich die Füße der Person und somit deren Schuhe nicht mehr in einer auf dem Boden aufgesetzten Position und die Blickrichtung der Bildaufnahmeeinheit 1 ist im Vergleich zur vorgegebenen Lage rotiert. In diesem Fall ist eine Erstellung von Digitalbildern D nicht erforderlich, da sich die Person nicht fortbewegen möchte und die Bildaufnahmeeinheit 1 muss vom Energiespeicher 3 nicht mit Energie versorgt werden.
Wenn der Schuh 20 mit der darin montierten Bildaufnahmeeinheit 1 beispielsweise keinen Kontakt mit dem Boden hat und sich somit auch nicht in der ermittelten Höhe befindet, werden daher vorteilhafterweise keine Digitalbilder D von der Bildaufnahmeeinheit 1 erstellt. Dies ist beispielsweise der Fall, wenn die Person, die den Schuh 20 trägt, während des Gehens den Fuß anhebt oder wenn die Person ruht und dabei die Beine hoch lagert.
Somit kann sichergestellt werden, dass die Bildaufnahmeeinheit 1 nicht permanent Spannung für die Erstellung von Digitalbildern D verbraucht, sondern nur, wenn sich die Bildaufnahmeeinheit 1 in einer Position befindet, in der die Durchführung des erfindungsgemäßen Verfahrens vorgesehen ist, d.h. dass von der Person die den Schuh 20 trägt, auch tatsächlich eine Hilfestellung bei der Fortbewegung benötigt wird. In diesem Fall ist gleichzeitig auch sichergestellt, dass die Größe bzw. Form des hindernisfreien Bereichs bzw. der Abstand zu potentiellen Hindernissen zuverlässig ermittelt werden können.
Als Verbesserung des gezeigten Ausführungsbeispiels kann zusätzlich zur Ermittlung der Größe und Form des hindernisfreien Bereichs ein erster Abstand A1 der Begrenzungskurve BK oder zumindest eines Punkts auf der Begrenzungskurve BK des hindernisfreien Bereichs von der Bildaufnahmeeinheit 1 ermittelt werden. Aus der bekannten Position der Bildaufnahmeeinheit 1 und unter der Annahme, dass die Person, die den Schuh 20 mit integrierter Bildaufnahmeeinheit 1 trägt, auf einer Ebene steht, kann aus der zweidimensionalen Aufnahme, die das von der Bildaufnahmeeinheit 1 aufgenommene Digitalbild D darstellt, die Distanz zu einem Hindernis bestimmt werden. Zusätzlich zur Aufnahme des Digitalbilds D und der Auswertung hinsichtlich des ersten Abstands A1 wird durch Abstandsmessung mittels Ultraschall ein zweiter Abstand A2 bestimmt. Ein hierfür verwendeter Ultraschallsensor 2 ist im Ausführungsbeispiel in Fig. 1 im Schuh 20 im Bereich der Schuhspitze neben der Bildaufnahmeeinheit 1 angeordnet und nach derselben Richtung ausgerichtet, wie die Bildaufnahmeeinheit 1 , sodass der Aufnahmebereich der Bildaufnahmeeinheit 1 teilweise mit dem Erfassungsbereich des Ultraschallsensors 2 überlappt.
Anschließend werden der erste Abstand A1 und der zweite Abstand A2 des hindernisfreien Bereichs miteinander verglichen und ein weiterer Abstandsmesswert A unter Verwendung des ersten Abstands A1 und des zweiten Abstands A2 erstellt. Dabei wird vorzugsweise bei Abweichungen zwischen dem ersten Abstand A1 und dem zweiten Abstand A2 jeweils der geringere Abstand als weiterer Abstandsmesswert A angesehen. In Fig. 1 sind derart ermittelte Distanzlinien in ermittelten Abständen von 10 cm, 50 cm, 100 cm und 150 cm zur Bildaufnahmeeinheit 1 eingezeichnet.
Diese Vorgehensweise ist besonders vorteilhaft, da beispielsweise Hindernisse aus Glas wie z. B. Glastüren oder bodentiefe Glasfenster oder durchsichtige Trennwände von einer Bildaufnahmeeinheit 1 unter Umständen nur unzureichend aufgenommen werden können, sodass diese bei der Ermittlung der Begrenzungskurve BK mittels des neuronalen Netzwerk NN nicht richtig erkannt werden. Der Ultraschallsensor 2 ermittelt in diesem Fall den Abstand zum Hindernis aus Glas jedoch richtig. Dass der geringere der beiden mit verschiedenen Methoden ermittelte Abstände A1 , A2 als weiterer Abstandsmesswert A angenommen wird, bietet für die Person, die die Erfindung bei der Fortbewegung benutzt, zusätzliche Sicherheit, da die Gefahr, gegen ein Hindernis zu stoßen, durch diese Abstandswahl, reduziert wird.
Bei allen Ausführungsformen der Erfindung kann weiters vorgesehen sein, dass neben dem Begrenzungsindikatorwert Bl auch ein Hindernisindikator Hl ermittelt wird. Der Hindernisindikatorwert Hl gibt dabei an, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird. Die Verarbeitungseinheit 4 bzw das neuronale Netzwerk NN ist dabei ausgebildet, für einzelne Bildpunkte auf der Begrenzungskurve BK jeweils den Hindernisindikator Hl zu ermitteln und vorzugsweise der Person darzustellen. Auf diese Weise kann der Person, die den Schuh 20 trägt, mitgeteilt werden, welche Hindernisse bzw. Objekte wie z. B. Gehsteigkanten, Wände, Menschen, Tier oder dergleichen, sich in ihrer Bewegungsrichtung befinden, sodass sie die Möglichkeit erhält, dementsprechend darauf zu reagieren. Bei allen Ausführungsformen der Erfindung kann alternativ oder zusätzlich vorgesehen sein, dass die zumindest eine Aufnahme mit einer fest an einer Person oder an einem Tier montierten, insbesondere in einem Handschuh, Gurt, Helm, Gehstock oder Gehhilfe angeordneten, Bildaufnahmeeinheit 1 aufgenommen wird. So ist es beispielsweise möglich, dass für gebrechliche Personen, die auf Gehhilfen, wie beispielsweise Krücken oder Gehstöcken, angewiesen sind, die Bildaufnahmeeinheit 1 in Krücken verbaut wird.
Alternativ können beispielsweise auch Schuhe 20 oder Halsbänder für Assistenzhunde mit einer derartigen Bildaufnahmeeinheit 1 ausgerüstet werden, sodass Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik sich besonders sicher in einer ihnen unbekannten Umgebung bewegen können, da sie Hilfestellung von ihrem Assistenzhund und zusätzlich erfindungsgemäß ermittelte Hinweise und Warnungen erhalten.
Bei allen Ausführungsformen der Erfindung werden die ermittelten Ergebnisse, wie beispielsweise Form und Größe eines hindernisfreien Bereichs um die Bildaufnahmeeinheit 1 oder der Abstand der Bildaufnahmeeinheit 1 zu potentiell im Fortbewegungsrichtung befindlichen Hindernissen für den Benutzer der Erfindung wahrnehmbar dargestellt. Die Verarbeitungseinheit 4 ist dazu ausgebildet, die ermittelten Ergebnisse beispielsweise an eine Feedback-Einheit weiterzuleiten.
Der Benutzer kann die Feedback-Einheit dabei beispielsweise am Körper tragen, sodass die ermittelten Ergebnisse in einer für ihn wahrnehmbaren Form an ihn übermittelt werden können. Wenn der Benutzer der Erfindung beispielsweise eine Person mit eingeschränktem Sehvermögen ist, kann es sich bei der Feedback-Einheit beispielsweise um Kopfhörer handeln, die die Person auf dem Kopf trägt.
Die Verarbeitungseinheit 4 ist dazu ausgebildet, die ermittelten Ergebnisse zu Form und Größe des begehbaren hindernisfreien Bereichs an die Feedback-Einheit zu übermitteln und die Feedback-Einheit derart anzusteuern, dass beispielsweise mit Abnahme der Entfernung zur Begrenzung B des hindernisfreien Bereichs beispielsweise Tonfolgen lauter oder höher werdender Töne, in einem schneller werdenden Rhythmus, abgegeben werden, sodass für die Person erfassbar ist, dass sie sich einem Hindernis nähert.
Es kann beispielsweise auch vorgesehen sein, dass je nachdem, ob in welcher Richtung sich ein Hindernis im Verhältnis zur Person befindet, dh links oder rechts von der Person oder gerade vor der Person, nur Töne auf das linke oder das rechte Ohr oder an beide Ohren der Person appliziert werden, um sie auf die Lage des Hindernisses aufmerksam zu machen.
Fig. 4 zeigt einen Schuh 20 mit einer darin montierten Bildaufnahmeeinheit 1 , einem Ultraschallsensor 2, einem Energiespeicher 3, einer Verarbeitungseinheit 4, und Aktuatorelementen 5. Die Bildaufnahmeeinheit 1 und der Ultraschallsensor 2 sind in der Schuhspitze verbaut, sodass beide in dieselbe Richtung ausgerichtet sind. Der Energiespeicher 3 und die Verarbeitungseinheit 4 sind im Ausführungsbeispiel im Absatz 21 des Schuhs 20 angeordnet. Sechs Aktuatorelemente 5 sind im Bereich der Zehen bzw. des Fußballens des Trägers des Schuhs 20 im Schuhsohlebereich 22 angeordnet, wobei die Aktuatorelemente 5 derart angeordnet sind, dass sie eine vom Fußballen in Richtung der Fußspitze verlaufende Linie bilden. Die Aktuatorelemente 5 sind im Ausführungsbeispiel als Vibrationselemente ausgeführt, die vibrieren, wenn sie beispielsweise von der Verarbeitungseinheit 4 angesteuert werden. Die Aktuatorelemente können beispielsweise auch stiftförmig ausgeführt sein und bei Aktivierung nach oben in den Fuß drücken.
Zunächst wird ein der Größe eines hindernisfreien Bereichs um die in der Schuhspitze angeordnete Bildaufnahmeeinheit 1 , bzw. um eine Person, die den Schuh 20 trägt, entsprechender Abstandswert von der Verarbeitungseinheit 4 ermittelt. Zur Ermittlung des Abstandswerts wird zumindest ein von der Bildaufnahmeeinheit 1 erstelltes Digitalbild D und/oder der Ultraschallsensor 2 verwendet.
Um den ermittelten Abstand für die Person erfassbar zu machen, wird abhängig vom Abstandswert an zumindest einer Körperstelle im Schuh 20 der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen 5 aktiviert. Die Auswahl der Aktuatorelemente 5 wird dabei abhängig vom Abstandswert vorgenommen. Bei kleiner werdendem Abstandswert zu einem Hindernis werden Aktuatorelemente 5 in einem umso sensibleren Körperbereich, insbesondere umso näher bei der Fußspitze, ausgewählt.
Das heißt, dass bei vergleichsweise großem Abstand zu einem Hindernis zunächst das Aktuatorelement 5 im Bereich des Fußballens der Person angesteuert wird. Wenn der Abstand zum Hindernis geringer wird, wird ausgehend vom Aktuatorelement 5 im Bereich des Fußballens so lange das der Fußspitze näher gelegene Aktuatorelement 5 angesteuert, bis schließlich bei geringem Abstand zum Hindernis das Aktuatorelement im Bereich der Zehen der Person gewählt wird. Damit wird der Person signalisiert, dass sie Gefahr läuft, gegen ein Hindernis zu stoßen, falls sie sich noch weiter in der eingeschlagenen Richtung fortbewegen sollte.
Die Erfindung kann jedoch nicht nur dazu genutzt werden, Personen mit eingeschränktem Sehvermögen und/oder eingeschränkter Motorik die Fortbewegung im Alltag zu erleichtern. Alternativ kann die Erfindung auch dazu genutzt werden, einen hindernisfreien Bereich um eine beispielsweise im Bereich der Stoßstange eines Fahrzeugs angeordnete Bildaufnahmeeinheit 1 zu detektieren und Form und Größe des frei befahrbaren Bereichs in Fahrtrichtung des Fahrzeugs zu ermitteln. Dies kann beispielsweise im Bereich des autonomen Fahrens von Interesse sein, um die befahrbare Umgebung zu ermitteln, oder den Abstand zu einem vorausfahrenden Fahrzeug zu detektieren, und beispielsweise je nach Abstand zum vorausfahrenden Fahrzeug die Geschwindigkeit des autonom fahrenden Fahrzeugs zu regulieren.

Claims

Patentansprüche:
1 . Verfahren zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit (1 ) umgebenden Bereichs wobei
a) mit der Bildaufnahmeeinheit (1 ) zumindest eine Aufnahme eines Teilbereichs der Umgebung (10) der Bildaufnahmeeinheit (1 ) erstellt wird und basierend auf dieser zumindest einen Aufnahme ein Digitalbild (D) erstellt wird, dadurch gekennzeichnet, b) dass das so erstellte Digitalbild (D) auf das Vorliegen möglicher Begrenzungen (B) eines hindernisfreien Bereichs untersucht wird, wobei für einzelne Pixel (P) des Digitalbilds (D) jeweils ein Begrenzungsindikatorwert (Bl) abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds (D) innerhalb einer Umgebung des jeweiligen Pixels (P) ermittelt wird, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung (B) eines hindernisfreien Bereichs befindet,
c) dass für das Digitalbild (D) eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben wird, die insbesondere den Pixelkoordinaten entspricht,
d) dass eine Begrenzungskurve (BK) des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt wird, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert (Bl) aufweisen,
e) dass das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve (BK) und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds (D), festgelegt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Begrenzungskurve (BK) ein Streckenzug gewählt wird, der durch eine Anzahl von Pixeln (P) des Digitalbilds (D) verläuft, wobei für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds (D) oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils ein Bildpunkt, insbesondere ein Pixel (P), ausgewählt wird, durch das der Streckenzug verläuft.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Ermittlung der Begrenzungskurve (BK) in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven (BK) jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, jeweils ein zu optimierender Maßwert ermittelt wird, der sich aus den folgenden Teilmaßwerten zusammensetzt,
- dem Begrenzungsindikatorwert (Bl), sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve (BK) liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds (D) liegt, oder ein von diesem Unterschied abgeleiteter Wert.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Begrenzungskurve (BK) in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven (BK) jeweils diejenigen Bildpunkte auf der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x- Koordinaten, gewählt werden,
- die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte (Bl) und/oder
- die möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/oder
- die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungsweise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, insbesondere sodass aus der Lage der Bildpunkte eine Begrenzungskurve (BK) resultiert, deren Änderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Begrenzungsindikatorwert (Bl) pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel (P) auf dieselbe Weise und unabhängig von den übrigen Pixeln (P), berechnet wird, wobei das neuronale Netzwerk (NN) als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel (P) gleich vorgegebenen, Umgebung um das jeweilige Pixel (P), insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel (P), erhält.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern erstellt wird, wobei für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorgegeben wird und das neuronale Netzwerk darauf trainiert wird, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert (Bl) zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten (Bl) abweicht.
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung (10) der Bildaufnahmeeinheit (1 ) ermittelt wird,
- aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds (D),
- aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit (1 ) gegenüber der Umgebung (10),
- gegebenenfalls Parametern der Bildaufnahmeeinheit (1 ), insbesondere Auflösung und Brennweite,
sowie
- unter der Annahme, dass der im Digitalbild (D) erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest eine Aufnahme mit einer fest an einer Person oder an einem Tier montierten, insbesondere in einem Schuh (20), Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordneten, Bildaufnahmeeinheit aufgenommen wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Lage und Ausrichtung der Bildaufnahmeeinheit überwacht wird und die Bildaufnahmeeinheit (1 ) nur dann Bilder erstellt oder die Schritte b) bis e) des Anspruchs 1 nur dann durchgeführt werden,
- wenn die Bildaufnahmeeinheit (1 ) in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit (1 ) als auch die Blickrichtung der Bildaufnahmeeinheit (1 ) annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
- wenn der die Bildaufnahmeeinheit (1 ) enthaltende Schuh (20) vollständig auf den Boden aufgesetzt ist.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Digitalbilder mit einer in einem Schuh (20) montierten Bildaufnahmeeinheit (1 ) aufgenommen werden, wobei die Höhe der Bildaufnahmeeinheit (1 ) über dem Boden ermittelt wird, wenn der Schuh (20) auf dem Boden steht und
die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs nach Anspruch 6 unter der Voraussetzung bestimmt wird, dass sich die Bildaufnahmeeinheit (1 ) in der ermittelten Höhe befindet.
1 1 . Verfahren nach einem der vorangehenden Ansprüche, insbesondere nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass in Schritt b) neben dem Begrenzungsindikatorwert (Bl) auch ein Hindernisindikator ermittelt wird, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und
dass für einzelne Bildpunkte auf der Begrenzungskurve (BK) jeweils der Hindernisindikator ermittelt wird und vorzugsweise der Person dargestellt wird.
12. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet,
- dass ein erster Abstand (A1 ) der Begrenzungskurve (BK) oder zumindest eines Punkts auf der Begrenzungskurve (BK) des hindernisfreien Bereichs von der Bildaufnahmeeinheit (1 ) ermittelt wird,
- dass zusätzlich zur Aufnahme des Digitalbilds (D) durch Abstandsmessung mittels Ultraschall ein zweiter Abstand (A2) bestimmt wird, wobei ein hierfür verwendeter Ultraschallsensor (2) im Bereich der Bildaufnahmeeinheit (1 ) angeordnet ist und
- nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit (1 ), oder
- einen mit dem Aufnahmebereich der Bildaufnahmeeinheit (1 ) teilweise überlappenden Erfassungsbereich aufweist,
- dass der zweite Abstand (A2) und der erste Abstand (A1 ) des hindernisfreien Bereichs miteinander verglichen werden und ein weiterer Abstandsmesswert (A) unter Verwendung des ersten Abstands (A1 ) und des zweiten Abstands (A2) erstellt wird, wobei vorzugsweise bei Abweichungen jeweils der jeweils geringere Abstand als weiterer Abstandsmesswert (A) angesehen wird.
13. Verfahren, insbesondere nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Person ermittelt oder vorgegeben wird, und anschließend abhängig von diesem Abstandswert an zumindest einer Körperstelle, insbesondere in zumindest einem Schuh (20), der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen (5), insbesondere Vibrationselementen, aktiviert wird, wobei die Auswahl der Aktuatorelemente (5) abhängig vom Abstandswert vorgenommen wird und wobei ein Aktuatorelement (5) in einem umso sensibleren Körperbereich ausgewählt wird, insbesondere umso näher bei der Fußspitze ausgewählt wird, je kleiner der Abstandswert ist.
14. Vorrichtung zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit (1 ) umgebenden Bereichs umfassend eine Bildaufnahmeeinheit (1 ) und eine der Bildaufnahmeeinheit (1 ) nachgeschaltete Verarbeitungseinheit (4),
wobei die Bildaufnahmeeinheit (1 ) zur Erstellung zumindest einer Aufnahme eines Teilbereichs der Umgebung (10) der Bildaufnahmeeinheit (1 ) und zur Übermittlung der Aufnahme an die Verarbeitungseinheit (4) ausgebildet ist und
wobei die Verarbeitungseinheit (4) dazu ausgebildet ist,
- ein Digitalbild (D) basierend auf dieser zumindest einen Aufnahme zu erstellen und das so erstellte Digitalbild (D) auf das Vorliegen möglicher Begrenzungen (B) eines hindernisfreien Bereichs zu untersuchen,
- für einzelne Pixel (P) des Digitalbilds (D) jeweils ein Begrenzungsindikatorwert (Bl) abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds (D) innerhalb einer Umgebung des jeweiligen Pixels (P) zu ermitteln, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung (B) eines hindernisfreien Bereichs befindet,
- für das Digitalbild (D) eine Koordinaten-Parametrisierung mit zwei Parametern vorzugeben, die insbesondere den Pixelkoordinaten entspricht,
- eine Begrenzungskurve (BK) des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve zu ermitteln, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert (Bl) aufweisen, und
- das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve (BK) und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds (D), festzulegen.
15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist,
- als Begrenzungskurve (BK) einen Streckenzug zu wählen, wobei der Streckenzug durch eine Anzahl von Pixeln (P) des Digitalbilds (D) verläuft, und
- für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds (D) oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x- Koordinate, jeweils einen Bildpunkt, insbesondere ein Pixel (P), auszuwählen, durch das der Streckenzug verläuft.
16. Vorrichtung nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve (BK) ein Optimierungsverfahren durchzuführen, wobei die Verarbeitungseinheit (4) dazu ausgebildet ist, für einzelne in Betracht kommende Begrenzungskurven (BK) jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x- Koordinaten, jeweils ein zu optimierender Maßwert zu ermitteln, wobei sich der aus den folgenden Teilmaßwerten zusammensetzt:
- dem Begrenzungsindikatorwert (Bl), sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve (BK) liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds (D) liegt, oder ein von diesem Unterschied abgeleiteter Wert.
17. Vorrichtung nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve (BK) ein Optimierungsverfahren durchzuführen, wobei die Verarbeitungseinheit dazu ausgebildet ist, für einzelne in Betracht kommende Begrenzungskurven (BK) jeweils diejenigen Bildpunkte auf der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x- Koordinaten, auszuwählen,
- die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte (Bl) und/oder möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/oder
- die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungsweise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, sodass insbesondere aus der Lage der Bildpunkte eine Begrenzungskurve (BK) resultiert, deren Änderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
18. Vorrichtung nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist,
- den Begrenzungsindikatorwert (Bl) pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel (P) auf dieselbe Weise und unabhängig von den übrigen Pixeln (P), zu berechnen, und
- dem neuronalen Netzwerk als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel (P) gleich vorgegebenen, Umgebung um das jeweilige Pixel (P), insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel (P), zu übergeben.
19. Vorrichtung nach einem der Ansprüche 14 bis 18, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist,
- das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern zu erstellen, und
- für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorzugeben und das neuronale Netzwerk darauf zu trainieren, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert (Bl) zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten (Bl) abweicht.
20. Vorrichtung nach einem der Ansprüche 14 bis 19, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist, die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung (10) der Bildaufnahmeeinheit (1 ) zu ermitteln,
- aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds (D),
- aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit (1 ) gegenüber der Umgebung (10),
- gegebenenfalls Parametern der Bildaufnahmeeinheit (1 ), insbesondere Auflösung und Brennweite,
sowie
- unter der Annahme, dass der im Digitalbild (D) erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
21 . Vorrichtung nach einem der Ansprüche 14 bis 20, dadurch gekennzeichnet, dass die Bildaufnahmeeinheit (1 ) fest an einer Person oder an einem Tier montiert ist, insbesondere in einem Schuh (20), Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordnet ist.
22. Vorrichtung nach Anspruch 21 , dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist, die Lage und Ausrichtung der Bildaufnahmeeinheit (1 ) zu überwachen und weitere Verarbeitungsschritte nur dann durchzuführen,
- wenn die Bildaufnahmeeinheit (1 ) in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit (1 ) als auch die Blickrichtung der Bildaufnahmeeinheit (1 ) annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
- wenn der die Bildaufnahmeeinheit (1 ) enthaltende Schuh (20) vollständig auf den Boden aufgesetzt ist
und/oder dass die Bildaufnahmeeinheit (1 ) dazu ausgebildet ist, nur dann Bilder zu erstellen
- wenn die Bildaufnahmeeinheit (1 ) in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontalen Bildachse der Bildaufnahmeeinheit (1 ) als auch die Blickrichtung der Bildaufnahmeeinheit (1 ) annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
- wenn der die Bildaufnahmeeinheit (1 ) enthaltende Schuh (20) vollständig auf den Boden aufgesetzt ist.
23. Vorrichtung nach Anspruch 22, dadurch gekennzeichnet, dass die Bildaufnahmeeinheit (1 ) in einem Schuh (20) montiert ist, wobei die Verarbeitungseinheit (4) dazu ausgebildet ist, die Höhe der Bildaufnahmeeinheit (1 ) über dem Boden zu ermitteln, wenn der Schuh (20) auf dem Boden steht und
die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs unter der Voraussetzung zu bestimmen, dass sich die Bildaufnahmeeinheit (1 ) in der ermittelten Höhe befindet.
24. Vorrichtung nach einem der Ansprüche 14 bis 23, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist,
- neben dem Begrenzungsindikatorwert (Bl) auch ein Hindernisindikator zu ermitteln, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und
- für einzelne Bildpunkte auf der Begrenzungskurve (BK) jeweils der Hindernisindikator zu ermitteln.
25. Vorrichtung nach einem der Ansprüche 14 bis 24 umfassend einen im Bereich der Bildaufnahmeeinheit (1 ) angeordneten Ultraschallsensor (2), wobei der Ultraschallsensor (2)
- nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit (1 ), oder
- einen mit dem Aufnahmebereich der Bildaufnahmeeinheit (1 ) teilweise überlappenden Erfassungsbereich aufweist,
dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist,
- einen ersten Abstand (A1 ) der Begrenzungskurve (BK) oder zumindest eines Punkts auf der Begrenzungskurve (BK) des hindernisfreien Bereichs von der Bildaufnahmeeinheit (1 ) zu ermitteln,
- zusätzlich zur Aufnahme des Digitalbilds (D) durch Abstandsmessung mittels des Ultraschallsensors (2) einen zweiten Abstand (A2) zu bestimmen, und
- den zweiten Abstand (A2) und den ersten Abstand (A1 ) des hindernisfreien Bereichs miteinander zu vergleichen und einen weiteren Abstandsmesswert (A) unter Verwendung des ersten Abstands (A1 ) und des zweiten Abstands (A2) zu erstellen, und
- vorzugsweise bei Abweichungen jeweils den jeweils geringeren Abstand als weiteren Abstandsmesswert (A) festzulegen.
26. Vorrichtung nach einem der Ansprüche 14 bis 25, gekennzeichnet durch eine Feedback-Einheit, wobei die Feedback-Einheit zur, insbesondere drahtlosen, Datenkommunikation mit der Verarbeitungseinheit (4) und zur Darstellung des ermittelten Abstandsmesswerts und/oder des ermittelten Hindernisindikatorwerts und/oder der tatsächlichen Größe und Form des abgebildeten hindernisfreien Bereichs für die Person ausgebildet ist.
27. Vorrichtung, insbesondere nach einem der Ansprüche 14 bis 26, vorzugsweise ein Schuh (20), umfassend eine Feedback-Einheit mit Aktuatorelementen (5) und eine Verarbeitungseinheit (4) die dazu ausgebildet ist,
- einen der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Person zu ermitteln oder vorzugeben, und
- abhängig von diesem Abstandswert die Feedback-Einheit anzusteuern,
im Schuh (20) der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen (5), insbesondere Vibrationselementen, zu aktivieren, die Auswahl der Aktuatorelemente (5) abhängig vom Abstandswert vorzunehmen, und ein Aktuatorelement (5) in einem umso sensibleren Körperbereich auszuwählen, insbesondere umso näher bei der Fußspitze auszuwählen, je kleiner Abstandswert ist.
EP18792355.2A 2017-09-26 2018-09-24 Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs Pending EP3688663A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50823/2017A AT520579B1 (de) 2017-09-26 2017-09-26 Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs
PCT/AT2018/060223 WO2019060936A1 (de) 2017-09-26 2018-09-24 Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs

Publications (1)

Publication Number Publication Date
EP3688663A1 true EP3688663A1 (de) 2020-08-05

Family

ID=63962992

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18792355.2A Pending EP3688663A1 (de) 2017-09-26 2018-09-24 Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs

Country Status (4)

Country Link
US (1) US11205074B2 (de)
EP (1) EP3688663A1 (de)
AT (1) AT520579B1 (de)
WO (1) WO2019060936A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200036678A (ko) * 2018-09-20 2020-04-07 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법
JP7221549B2 (ja) * 2018-12-17 2023-02-14 学校法人千葉工業大学 情報処理装置および移動ロボット
US20220417704A1 (en) * 2021-06-23 2022-12-29 Aarna RAGHAVAPUDI Visual assistance system
US11867514B2 (en) * 2021-09-24 2024-01-09 Telenav, Inc. Navigation system with independent positioning mechanism and method of operation thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100127007A (ko) 2009-05-25 2010-12-03 이용근 시각 장애인을 위한 보행 안내 장치 및 방법
KR101435546B1 (ko) * 2012-12-26 2014-09-16 건국대학교 산학협력단 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템
AT513882A2 (de) 2013-01-08 2014-08-15 Pajestka Kevin Vorrichtung zur Detektierung einer Umgebung
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
WO2015143203A1 (en) * 2014-03-19 2015-09-24 Schepens Eye Research Institute Active confocal imaging systems and methods for visual prostheses
US9811756B2 (en) * 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Canny edge detector", 23 May 2017 (2017-05-23), XP055830287, Retrieved from the Internet <URL:https://en.wikipedia.org/w/index.php?title=Canny_edge_detector&oldid=781894186> [retrieved on 20210805] *
PARAMONOV VLADIMIR ET AL: "Depth Camera Based on Color-Coded Aperture", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 1 July 2016 (2016-07-01), pages 910 - 918, XP055971326, ISBN: 978-1-5090-1437-8, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stampPDF/getPDF.jsp?tp=&arnumber=7789608&ref=aHR0cHM6Ly9pZWVleHBsb3JlLmllZWUub3JnL2RvY3VtZW50Lzc3ODk2MDg=> [retrieved on 20221012], DOI: 10.1109/CVPRW.2016.118 *
See also references of WO2019060936A1 *
YOSUKE BANDO ET AL: "Extracting depth and matte using a color-filtered aperture", ACM SIGGRAPH ASIA 2008 PAPERS ON, SIGGRAPH ASIA '08, ACM PRESS, NEW YORK, NEW YORK, USA, 1 December 2008 (2008-12-01), pages 1 - 9, XP058165771, ISBN: 978-1-4503-1831-0, [retrieved on 20221012], DOI: 10.1145/1457515.1409087 *
YU ZHIDING ET AL: "CASENet: Deep Category-Aware Semantic Edge Detection", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE COMPUTER SOCIETY, US, 21 July 2017 (2017-07-21), pages 1761 - 1770, XP033249517, ISSN: 1063-6919, [retrieved on 20171106], DOI: 10.1109/CVPR.2017.191 *

Also Published As

Publication number Publication date
US11205074B2 (en) 2021-12-21
US20200293776A1 (en) 2020-09-17
WO2019060936A1 (de) 2019-04-04
AT520579B1 (de) 2022-07-15
AT520579A1 (de) 2019-05-15

Similar Documents

Publication Publication Date Title
DE112015002934B4 (de) Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
DE69824225T2 (de) Das Bild einer Hand verwendende Hinweisvorrichtung
DE112015002948B4 (de) Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
EP3299996B1 (de) Landwirtschaftliche arbeitsmaschinen mit bildverarbeitungssystem
EP2382609B1 (de) Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeugs mit einem Lebewesen.
DE10301468B4 (de) Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
EP3688663A1 (de) Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs
DE102007019491B4 (de) Fahrzeugumgebungs-Überwachungsvorrichtung, Fahrzeug, Fahrzeugumgebungs-Überwachungsverfahren und Fahrzeugumgebungs-Überwachungsprogramm
WO2009019214A2 (de) Verfahren zum bestimmen eines wahrscheinlichen bewegungs-aufenthaltsbereichs eines lebewesens und fahrzeug zur durchführung des verfahrens
EP3803526A1 (de) Trainingsverfahren für ein fahrerassistenzverfahren, fahrerassistenzverfahren, steuergerät und fahrzeug mit dem steuergerät
EP3299995A1 (de) Bildanalysesystem für landwirtschaftliche arbeitsmaschinen
DE112011105445B4 (de) Rote-Augen-Bestimmungsvorrichtung
WO2014029738A1 (de) Verfahren zum ergänzen einer einem objekt zugeordneten objektinformation und verfahren zum selektieren von objekten in einem umfeld eines fahrzeugs
EP2766877A1 (de) Verfahren zur darstellung eines fahrzeugumfeldes
WO2013029722A2 (de) Verfahren zur umgebungsrepräsentation
EP4064819B1 (de) Verfahren zum bearbeiten von pflanzen auf einem feld, zum generieren von trainingsdaten und zum trainieren eines neuronalen netzes
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE112018007056T5 (de) Fahrunterstützungsvorrichtung, Fahrunterstützungsverfahren und Fahrunterstützungsprogramm
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102020110417A1 (de) Verfahren und System zur Assistenz eines Fahrers
DE102015211871A1 (de) Objekterkennungsvorrichtung
DE102017217872A1 (de) Verbesserte Ansicht eines Kraftfahrzeugumfelds
DE112017006982T5 (de) Bedienungseignungsbeurteilungsvorrichtung,bedienungseignungsbeurteilungsverfahren undbedienungseignungsbeurteilungsprogramm
DE112018007060T5 (de) Fahrtunterstützungsvorrichtung, Fahrtunterstützungsverfahren und Fahrtunterstützungsprogramm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200416

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210810

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0020100000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: A61H 3/06 20060101ALI20230208BHEP

Ipc: G09B 21/00 20060101ALI20230208BHEP

Ipc: G06V 20/10 20220101AFI20230208BHEP

INTG Intention to grant announced

Effective date: 20230310

19U Interruption of proceedings before grant

Effective date: 20230616