WO2005104014A1 - Verfahren zur erkennung eines einfachen objekts vor einem homogenen hintergrund - Google Patents

Verfahren zur erkennung eines einfachen objekts vor einem homogenen hintergrund Download PDF

Info

Publication number
WO2005104014A1
WO2005104014A1 PCT/EP2005/050064 EP2005050064W WO2005104014A1 WO 2005104014 A1 WO2005104014 A1 WO 2005104014A1 EP 2005050064 W EP2005050064 W EP 2005050064W WO 2005104014 A1 WO2005104014 A1 WO 2005104014A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
pixels
evaluation area
image
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2005/050064
Other languages
English (en)
French (fr)
Inventor
Ben St John
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Publication of WO2005104014A1 publication Critical patent/WO2005104014A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a method for recognizing simple objects against a homogeneous background and, in particular, to a method for recognizing prominent locations of simple objects for deriving a so-called mouse pointer for mobile devices.
  • a type of color classification scheme is used to connect or fill image areas with similar image content or image information from pixels, these combined or filled areas being used for object detection.
  • Such classification schemes are extremely slow, however, since each pixel or pixel of the image to be examined has to be viewed and, in addition, the area of germ cells grows outwards, which results in a significant iteration effort.
  • mobile end devices with their limited resources and, in particular, very low computing power can therefore be unsuitable for carrying out such methods for object recognition.
  • the invention is therefore based on the object of a method for recognizing simple objects in front of a homogeneous to create a background which is very simple and has a low susceptibility to errors.
  • the simple object preferably has a prominent position, in particular a tip or corner of a pen or other writing instrument being used.
  • the tip of the pen detected by the object recognition can thus be displayed on a display unit of the mobile terminal in order to implement a so-called mouse pointer.
  • the line-shaped evaluation area has, for example, a width of one pixel, the relevant transitions being detected by direct comparison of the individual image information from neighboring pixels.
  • the line-shaped evaluation area preferably has a width of several pixels and in particular five pixels, a local evaluation area consisting of several pixels and in particular five times five pixels and the relevant transitions by direct comparison of average image information of adjacent local evaluation areas corresponding to the local evaluation areas be recorded. Incorrect object detection can be avoided.
  • the individual image information of the individual pixels existing in the local evaluation area can be evaluated with different weighting factors in order to generate evaluated average image information, as a result of which incorrect object recognition due to noise and fine structures in the background can be further avoided.
  • a color and / or a brightness of the pixels or of the local evaluation areas during evaluation is preferably considered as image information.
  • a pixel difference of image information of immediately adjacent pixels or local evaluation areas for detecting a relevant transition via a macro threshold value is preferably evaluated during the evaluation, which means that only significant , ie strong, transitions are detected with regard to, for example, a brightness or a color difference.
  • a pixel area difference between a large number of pieces of image information can also be used exceeded micro-threshold values of neighboring pixels or local evaluation areas for detecting the relevant transition by means of the macro-threshold value.
  • edge areas of the image are first selected, a next evaluation area to be defined preferably being placed between a respectively last evaluation area with detected transitions and a respectively last evaluation area without detected transitions.
  • a prominent position of a simple object can be determined in a very short time and with very little computing power.
  • the next evaluation area to be defined is preferably placed exactly in the middle between the last evaluation areas with and without relevant transitions, the recognition of a prominent point being completed when a distance between two evaluation areas falls below a predetermined value.
  • the number of operations required is up to 70 times lower.
  • evaluation areas are preferably defined in the form of cells and / or columns within the image, they can in principle also be defined at an angle to the sides of the recorded image, as a result of which the object recognition can possibly be further improved.
  • Figure 1 is a simplified representation of an image with a recorded object to illustrate the method according to a first embodiment
  • FIG. 2 shows a simplified graphical representation of a cell-shaped evaluation area according to FIG. 1 as a function of a number of pixels and a detected brightness;
  • FIG. 3 shows a partially enlarged view of the illustration according to FIG. 2 to illustrate a micro threshold value and a macro threshold value
  • FIG. 4 shows a simplified representation of an image with a recorded object to illustrate a method according to a second exemplary embodiment
  • FIG. 5 shows a simplified illustration to illustrate a 5-pixel-wide evaluation area with a local evaluation area that has 5 ⁇ 5 pixels
  • FIG. 6 shows a simplified perspective view of a mobile telecommunication terminal to illustrate an application for the method according to the invention.
  • FIG. 1 shows a simplified representation of an image to illustrate the method according to a first exemplary embodiment, the image I recorded by a recording unit being, for example, a VGA image with 640 x 480 pixels or pixels or a so-called QVGA image with 320 x 240 Pixels represents how it is used for example in mobile devices such as a mobile telecommunications device or cell phone or a so-called PDA to display information.
  • a recording unit being, for example, a VGA image with 640 x 480 pixels or pixels or a so-called QVGA image with 320 x 240 Pixels represents how it is used for example in mobile devices such as a mobile telecommunications device or cell phone or a so-called PDA to display information.
  • Such an image I is recorded using a conventional recording unit or a camera which is integrated, for example, in the mobile terminal or can be plugged onto it.
  • the present invention relates in particular to a method for recognizing simple objects against a homogeneous background, wherein according to FIG. 1 a writing instrument such as a pen, a ballpoint pen or a fountain pen is recorded by a camera or recording unit as a simple object. Since the present method is a very simple object recognition, an essentially homogeneous background is assumed, which is hardly structured. This can be, for example, a wall, a sheet of paper, an unstructured carpet, but also homogeneous desk surfaces up to a background recorded by the camera as very blurred.
  • the captured object or the illustrated pen OE is now to be recognized in the captured image I.
  • a prominent location MS of the pen such as that which represents the tip of the pen OI, is to be recognized in order to display this information, for example, as the location or X / Y coordinate of a mouse pointer in a display unit of the mobile terminal.
  • this linear evaluation area ABI for a first line evaluation is located in a lower edge area of the image I and has, for example, a width of one pixel or pixel.
  • This evaluation area which is one pixel wide is consequently defined in a cell-like manner parallel to the lower side of the image I.
  • the pixels of the first evaluation area ABI are then evaluated in order to detect relevant transitions x, with a relevant transition subsequently being understood to mean, for example, a substantial change in brightness and / or color of neighboring pixels.
  • FIG. 2 shows a simplified representation of the different brightness values within the first evaluation area ABI, as they are represented by the 240 pixels of image I.
  • a first transition or a first relevant change in brightness and, for example, a second relevant brightness change or a second transition are recorded at approximately one pixel 70, only changes in brightness above a macro threshold value ⁇ T2 defining a transition and underlying brightness fluctuations , like you caused by noise or inhomogeneities in the background must be disregarded.
  • FIG. 3 shows a partially enlarged view of the representation according to FIG. 2, the brightness profile in the first evaluation area ABI for the pixels 67 to 80 being shown in more detail.
  • a first threshold value or macro threshold value .DELTA.T2 due to the essentially homogeneous background up to a pixel 70, there is only a slight fluctuation in brightness, which is below a first threshold value or macro threshold value .DELTA.T2 and consequently does not lead to a detection of a relevant transition x.
  • the differences in brightness result, for example, from slight inhomogeneities in the background or due to noise or due to gradual changes in lighting, such as occur in particular in mobile telecommunication terminals or cell phones.
  • this macro threshold value ⁇ T2 is exceeded ( ⁇ Trans> ⁇ T2) in a direct comparison of the individual image information or the individual brightness values of immediately adjacent pixels, a relevant transition x can be detected, for example. More specifically, for example, a difference ⁇ Trans of the image information or brightness values between the immediately adjacent pixels is evaluated using the macro threshold value ⁇ T2, a relevant transition being able to be detected if this macro threshold value is exceeded. Larger inhomogeneities in the background or shadowing, which leads to an apparent doubling of the pen OI recorded, can thus be reliably compensated for.
  • a noise immunity of the method can be further improved by using a second threshold value or a micro threshold value ⁇ T1.
  • difficult exposure conditions which can lead to an increased susceptibility to errors, are reliably evaluated.
  • Such difficult lighting conditions can be, for example, a continuous change in brightness from the left side to the right side of the image I.
  • a second threshold value or the Mikroschwellwert .DELTA.TL is used to form a picture element • ⁇ Trans range difference of image information and brightness values x to determine when all within the between a plurality of adjacent pixels for detecting the relevant transfer Pixel differences in the area must be> ⁇ Tl.
  • a large number of pixels are used to detect the relevant transition after the micro threshold value ⁇ Tl has been exceeded for the first time. drawn.
  • the associated pixel eg 70
  • the pixel determined first continues to be the initial trigger point.
  • the pixel difference is ⁇ Tl, as for example in the case of pixel 76
  • the last pixel with the exceeded micro-threshold value ⁇ Tl is used as the final trigger point for the macro-threshold value consideration.
  • a pixel area difference ⁇ Trans is started from the start trigger point 70 and ending at the end trigger point 75, i.e. a difference in brightness of several neighboring pixels, each with a pixel difference> ⁇ Tl, compared with the macro threshold value ⁇ T2, a relevant transition x being detected if ⁇ Trans> ⁇ T2 applies.
  • pixels in front of or behind the pixel with the first and last exceeded micro threshold value ⁇ Tl can also be used as so-called trigger points or start and end points. In this way, e.g. Detect light-dark transition very precisely and with extremely low susceptibility to errors.
  • the second transition x in the evaluation area from the dark area of the recorded pen 01 to the light background is detected in a similar manner but with the opposite sign.
  • a second line evaluation in an upper edge region of the image I is again carried out in a cell-like manner. Since there are no transitions for the picked-up pen in this second evaluation area AB2 OI are recorded, a new evaluation area is then determined using or taking into account the recorded transitions.
  • This new definition of the following evaluation areas can end, for example, in a reorientation of the evaluation areas, with, for example, after an original but unsuccessful cell-like alignment of the linear evaluation areas, the columnar alignment of the evaluation areas is finally continued.
  • the present exemplary embodiment does not switch to a column-shaped evaluation, but rather maintains the cell-shaped evaluation. More specifically, in the proposed binary search method, a new evaluation area is placed between an evaluation area with relevant transitions x, ie the evaluation area ABI, and an evaluation area without relevant transitions, ie the evaluation area ' _.AB2. This next, ie third, evaluation area AB3 is preferably placed exactly in the middle between the last evaluation area with relevant transitions and the last evaluation area AB2 without relevant transitions.
  • this selection can be determined very simply by forming the difference between the number of lines for the first area and the number of lines of the second area AB2.
  • the image information or the brightness values of the individual pixels are also evaluated in relation to one another in the third evaluation area AB3, again with relevant transitions x being recorded according to FIGS. 2 and 3.
  • a new evaluation rich or fourth evaluation area AB4 defined and a new evaluation carried out.
  • Tip MS of the recorded pen OI which is to be used to determine the position of a mouse pointer.
  • the recognition of the distinctive point MS can preferably be completed when the distance between two evaluation areas falls below a predetermined value, which, for example, defines sufficient accuracy.
  • the method according to the invention has an extremely high speed, since significantly fewer pixels or image points have to be checked in order to find, for example, a prominent position of a simple object. For a VGA image with a resolution of 640 x 480 pixels, this results in a decrease in operations or arithmetic steps of about 70 times. There. In addition, the computing operations used by the present method per pixel are fewer than in conventional methods for object recognition, the difference is actually even greater.
  • Another advantage is the exceptionally low susceptibility to errors and the high stability of the method. Since only linear evaluation areas are examined, a more localized threshold value method can be used, whereby differences in lighting can be taken into account with less effort. This means that the recorded objects can be captured more stably and reliably.
  • FIG. 4 shows a simplified representation of an image I to illustrate a second exemplary embodiment, the same reference numerals being the same or corresponding elements or define areas, which is why a repeated description is omitted below.
  • a rod-shaped object such as a pen or writing instrument
  • a simple object is not used as a simple object, but an entire-surface object that has, for example, a corner as a distinctive point MS.
  • a simple object OI can be, for example, a table corner, a corner of a sheet of paper or some other object, which in turn is recorded against a substantially homogeneous background by a recording unit or a camera.
  • the evaluation area is neither arranged in the form of a cell nor in the form of a column, but is at an angle ⁇ to the sides of the image, which results in advantages in the evaluation or recognition of the object shown.
  • the first step is preferably again in one
  • Border area ".. of the picture I a first linear Auswexte area ABI defined, which extends at an angle ⁇ to the side surfaces of the image. Since the first evaluation area lies entirely within the recorded object OI, no transitions are recorded here. Consequently, the evaluation region AB2 is defined as the next evaluation region in the opposite edge region or in the opposite corner of the image I, again with no relevant transition being detected. Although, for example, after such a diagonal evaluation, a switch can be made to a row evaluation or a column evaluation in order, for example, to obtain better evaluation results, the diagonal evaluation can initially remain in the present exemplary embodiment, with a third evaluation area AB3 in the middle, for example between the first and second evaluation area ABI and AB2. Since this third evaluation area does not result in any transitions either According to any rule for defining the evaluation areas, for example, a fourth evaluation area AB4 can again be arranged centrally between the third and first evaluation areas.
  • the first two relevant transitions x are now obtained, which is why a fifth evaluation area AB5 is now preferably arranged centrally between the third evaluation area AB3 and the fourth evaluation area AB4.
  • the further evaluation areas are further defined within the image, taking into account the detected transitions, until the object recognition is completed. Since, in the present case, the distinctive point MS or corner of the recorded object OI is again to be used as a mouse pointer, the object recognition can again be completed when a distance between two evaluation areas falls below a predetermined minimum distance or minimum value.
  • linear evaluation areas with a width of one pixel or pixel instead of the linear evaluation areas with a width of one pixel or pixel, a linear evaluation area with a width of several pixels can also be used, as a result of which filtering can be implemented and the method's noise immunity is improved.
  • FIG. 5 shows a simplified representation of an evaluation area which has a width of five pixels P to illustrate such a filter functionality, a central pixel is viewed together with two further neighboring pixels.
  • a local evaluation area LAB consisting of a field of 5 ⁇ 5 pixels is now considered, with the individual image information or the individual image brightnesses of the respective pixels for the local evaluation area LAB initially an average image information is created.
  • the acquisition of a relevant transition x takes place here analogously to the acquisition of a relevant transition when viewing only one image point, but adjacent local evaluation areas LAB are evaluated with regard to their associated average image information.
  • a pixel in the middle of the local evaluation area LAB can be evaluated differently than the pixels at the edge of the local evaluation area, e.g. the individual image information of the individual image points are evaluated with different weighting factors Gl, G2 and G3 in order to generate an evaluated average image information.
  • the weighting factors are preferably selected such that a Gaussian filter function results.
  • FIG. 6 finally shows an application for realizing the method according to the invention for recognizing simple objects against a homogeneous background, the method being carried out in a mobile telecommunication terminal, such as a mobile phone M.
  • the mobile phone M has a camera or recording unit K for recording the simple object 0, which for example represents a writing instrument or a pen.
  • the simple object 0 which for example represents a writing instrument or a pen.
  • the method described above is carried out, the prominent position or tip MS of the pen 0 being detected and used to determine the position of the mouse pointer MZ.
  • the pen or the recorded image of the pen OI can also be shown in the display unit of the mobile phone M.
  • the linear evaluation areas are essentially straight, in principle they can also have a different shape and in particular be circular, zigzag and meandering or have another shape. Furthermore, the linear evaluation areas do not necessarily have to be set parallel to one another within the image, but can also be arranged differently depending on predetermined setting rules. Furthermore, the simple objects can not only have rod-shaped and flat objects, but can also have any shape. In particular, specially shaped objects can already be taken into account by the method, which results in further optimization options.
  • the invention has been described above on the basis of brightness values to illustrate the respective image information of pixels or local evaluation areas. However, it is not limited to and includes the same
  • the present invention is not only mobile. End devices such as cell phones or PDAs limited, but can also be used in any other computer-based units that require simple, insensitive and fast object detection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von einfa­chen Objekten vor einem homogenen Hintergrund, wobei nach dem Aufnehmen eines einfachen Objekts (OI) zum Erzeugen eines Bildes (I) mit einer Vielzahl von Bildpunkten ein Teil der Bildpunkte als Auswertebereich (AB1) derart festgelegt wer­den, dass sie sich linienförmig durch das Bild erstrecken. Die Bildpunkte des Auswertebereichs (AB1) werden zum Erfassen von relevanten Über­gängen (x) anschließend ausgewertet, wobei unter Berücksich­tigung des Auswerteergebnisses weitere Auswertebereiche (AB2 bis AB7) wiederholt festgelegt werden und die weiteren Aus­wertebereiche wiederum ausgewertet werden. Dadurch erhält man eine besonders schnelle und robuste Objekterkennung.

Description

Beschreibung
VERFAHREN ZUR ERKENNUNG EINES EINFACHEN OBJEKTS VOR EINEM HOMOGENEN HINTERGRUND
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Erkennung von einfachen Objekten vor einem homogenen Hintergrund und insbesondere auf ein Verfahren zur Erkennung von markanten Stellen einfacher Objekte zur Herleitung eines so- 10 genannten Mauszeigers für mobile Endgeräte.
Auf dem Gebiet der elektronischen Objekterkennung sind eine Vielzahl von Verfahren bekannt, die jedoch üblicherweise eine hohe Rechenleistung erfordern und somit insbesondere für mo- 15 bile Endgeräte wie z.B. Handys, PDAs (Personal Digital Assi- tent) usw. auf Grund ihrer begrenzten Ressourcen und einer gewünschten Echtzeit-Verarbeitung ungeeignet sind.
Bei vereinfachten Verfahren zur Objekterkennung werden bei- 20 spielsweise eine Art von Farb-Klassifizierungsschema zum Verbinden bzw. Auffüllen von Bildbereichen mit ähnlichen Bildinhalten bzw. Bildinformationen von Bildpunkten verwendet, wobei diese zusammengefassten bzw. aufgefüllten Bereiche zur Objekterkennung herangezogen werden. Derartige Klassifizie- 25 rungsSchemata sind jedoch äußerst langsam, da ein jeder Bildpunkt bzw. Pixel des zu untersuchenden Bildes betrachtet werden muss und darüber hinaus die Bereich von Keimzellen ausgehend nach außen wachsen, wodurch ein signifikanter Iterations-Aufwand entsteht.
30 Insbesondere mobile Endgeräte mit ihren beschränkten Ressourcen und insbesondere einer sehr geringen Rechenleistung können folglich zur Durchführung derartiger Verfahren zur Ob- jekterkennung ungeeignet .
35 Der Erfindung liegt daher die Aufgabe zu Grunde ein Verfahren zur Erkennung von einfachen Objekten vor einem homogenen Hin- tergrund zu schaffen, welches sehr einfach ist und eine geringe Fehleranfälligkeit aufweist.
Erfindungsgemäß wird diese Aufgabe durch die Maßnahmen des Patentanspruchs 1 gelöst.
Insbesondere durch das Aufnehmen eines einfachen Objekts zum Erzeugen eines Bildes mit dem aufgenommenen Objekt vor einem homogenen Hintergrund, wobei das Bild eine Vielzahl von Bild- punkten aufweist, dem nachfolgenden Festlegen eines Teils der Bildpunkte als linienförmigen Auswertebereich, der das Bild durchquert, dem Durchführen einer Auswertung der Bildpunkte des Auswertebereichs zum Erfassen von relevanten Übergängen und einem wiederholten Festlegen eines neuen linienförmigen Auswertebereichs unter Berücksichtigung der Auswerteergebnisse bzw. der erfassten Übergänge und einem wiederholten Durchführen der Auswertung bis zum Abschluss der Objekterkennung, können insbesondere einfache Objekte vor einem homogenen Hintergrund äußerst schnell und mit geringer Fehleranfälligkeit erkannt werden. Die Anforderungen an eine Rechenleistung sowie an einen Speicherplatzbedarf sind. ierbei äußerst gering, weshalb das Verfahren insbesondere für mobile Endgeräte wie z.B. mobile Telekommunikationsendgeräte bzw. Handys, PDAs usw. verwendet werden kann.
Vorzugsweise weist das einfache Objekt eine markante Stelle auf, wobei insbesondere eine Spitze oder Ecke eines Stiftes oder sonstigen Schreibgerätes verwendet wird. Die von der Objekterkennung erfasste Spitze des Stiftes kann somit zur Rea- lisierung eines sogenannten Mauszeigers auf einer Anzeigeeinheit des mobilen Endgeräts dargestellt werden.
Der linienförmige Auswertebereich besitzt beispielsweise eine Breite von einem Bildpunkt, wobei die relevanten Übergänge durch direkten Vergleich der Einzel-Bildinformationen von benachbarten Bildpunkten erfasst werden. Vorzugsweise besitzt der linienförmige Auswertebereich jedoch eine Breite von mehreren Bildpunkten und insbesondere von fünf Bildpunkten, wobei ein lokaler Auswertebereich aus mehreren Bildpunkten und insbesondere aus fünf mal fünf Bildpunkten besteht und die relevanten Übergänge durch direkten Vergleich von den lokalen Auswertebereichen entsprechenden Durchschnitts-Bildinformationen benachbarter lokaler Auswertebereiche erfasst werden. Eine fehlerhafte Objekterkennung kann dadurch vermieden werden.
Darüber hinaus kann die im lokalen Auswertebereich existierende Einzel-Bildinformation der einzelnen Bildpunkte mit unterschiedlichen Gewichtungsfaktoren zum Erzeugen einer bewerteten Durchschnitts-Bildinformation bewertet werden, wodurch sich ein fehlerhafte O jekterkennung auf Grund von Rauschen und feiner Strukturen im Hintergrund weiterhin vermieden werden kann.
Als Bildinformation wird vorzugsweise eine Farbe und/oder ei- ne Helligkeit der Bildpunkte bzw. der lokalen Auswertebereiche beim Auswerten betrachtet.
Zum Ausfiltern von größeren Inhomogenitäten im Hintergrund und/oder im aufgenommenen Objekt und zur Vermeidung einer Empfindlichkeit gegenüber schwierigen Lichtverhältnissen wird beim Auswerten vorzugsweise eine Bildpunktdifferenz von Bildinformationen unmittelbar benachbarter Bildpunkten oder lokaler Auswertebereiche zum Erfassen eines relevanten Übergangs über einen Makroschwellwert bewertet, wodurch nur wesentli- ehe, d.h. starke, Übergänge hinsichtlich beispielsweise einer Helligkeit oder eines Farbunterschieds erfasst werden.
Zur weiteren Verbesserung insbesondere einer Rauschunempfind- lichkeit und zur Ausfilterung von kleineren Strukturen bzw. Inhomogenitäten und nicht signifikanten Objekten (z.B. Schatten) kann ferner eine Bildpunktbereichdifferenz einer Vielzahl von Bildinformationen zwischen mehreren mit jeweils überschrittenen Mikroschwellwerten benachbarter Bildpunkte oder lokaler Auswertebereiche zum Erfassen des relevanten Übergangs mittels des Makroschwellwerts erfasst werden.
Insbesondere werden beim Festlegen der linienförmigen Auswertebereiche zunächst Randbereiche des Bildes ausgewählt, wobei ein nächster festzulegender Auswertebereich vorzugsweise zwischen einem jeweils letzten Auswertebereich mit erfassten Übergängen und einem jeweils letzten Auswertebereich ohne er- fasste Übergänge gelegt wird. Auf diese Weise kann insbesondere eine markante Stelle eines einfachen Objekts in sehr kurzer Zeit und mit sehr geringer Rechenleistung ermittelt werden.
Vorzugsweise wird der nächste festzulegende Auswertebereich genau in die Mitte zwischen die letzten Auswertebereiche mit und ohne relevante Übergänge gelegt, wobei die Erkennung einer markanten Stelle abgeschlossen wird, wenn ein Abstand von zwei Auswertebereichen einen vorbestimmten Wert unterschrei- tet. Bei derzeit üblichen Anzeigeeinheiten bzw. aufgenommenen Bildern für mobile Endgeräte von 320 x 240 bis ,.640 x 480 Bildpunkten bzw. Pixeln ergibt sich dadurch eine bis zum 70- fachen geringere Anzahl von notwendigen Operationen.
Obwohl die Auswertebereiche vorzugsweise zellenförmig und/oder spaltenförmig innerhalb des Bildes festgelegt werden, können sie grundsätzlich auch in einem Winkel zu den Seiten des aufgenommenen Bildes festgelegt werden, wodurch sich die Objekterkennung gegebenenfalls weiter verbessern lässt.
In den weiteren Unteransprüchen sind weitere vorteilhafte Ausgestaltungen der Erfindung gekennzeichnet.
Die Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnung näher beschrieben. Es zeigen :
Figur 1 eine vereinfachte Darstellung eines Bildes mit aufgenommenem Objekt zur Veranschaulichung des Verfahrens gemäß einem ersten Ausführungsbeispiel;
Figur 2 eine vereinfachte graphische Darstellung eines zellenförmigen Auswertebereichs gemäß Figur 1 in Abhängigkeit von einer Anzahl von Bildpunkten und einer erfassten Hellig- keit;
Figur 3 eine teilvergrößerte Ansicht der Darstellung gemäß Figur 2 zur Veranschaulichung eines Mikroschwellwerts und eines Makroschwellwerts;
Figur 4 eine vereinfachte Darstellung eines Bildes mit aufgenommenem Objekt zur Veranschaulichung eines Verfahrens gemäß einem zweiten Ausführungsbeispiel;
Figur 5 eine vereinfachte Darstellung zur Veranschaulichung eines 5-Pixel-breiten Auswertebereichs mit einem lokalen Auswertebereich, der eine 5x5 Bildpunkte aufweist; und
Figur 6 eine vereinfachte perspektivische Ansicht eines mobi- len Telekommunikationsendgeräts zur Veranschaulichung eines Anwendungsfalls für das erfindungsgemäße Verfahren.
Figur 1 zeigt eine vereinfachte Darstellung eines Bildes zur Veranschaulichung des Verfahrens gemäß einem ersten Ausfüh- rungsbeispiel, wobei das von einer Aufnahmeeinheit aufgenommene Bild I beispielsweise ein VGA-Bild mit 640 x 480 Bildpunkten bzw. Pixel oder ein sogenanntes QVGA-Bild mit 320 x 240 Bildpunkten darstellt, wie es beispielsweise in mobilen Endgeräten wie z.B. einem mobilen Telekommunikationsendgerät bzw. Handy oder einem sogenannten PDA zur Anzeige von Informationen verwendet wird. Die Aufnahme eines derartigen Bildes I erfolgt mit einer herkömmlichen Aufnahmeeinheit bzw. einer Kamera, die beispielsweise im mobilen Endgerät integriert ist oder auf diese aufgesteckt werden kann.
Die vorliegende Erfindung bezieht sich insbesondere auf ein Verfahren zur Erkennung von einfachen Objekten vor einem homogenen Hintergrund, wobei gemäß Figur 1 als einfaches Objekt ein Schreibgerät wie beispielsweise ein Stift, ein Kugel- Schreiber oder ein Füllfederhalter von einer Kamera bzw. Aufnahmeeinheit aufgezeichnet wird. Da es sich bei dem vorliegenden Verfahren um eine sehr einfache Objekterkennung handelt, wird von einem im Wesentlichen homogenen Hintergrund ausgegangen, welcher kaum strukturiert ist. Dieses kann bei- spielsweise eine Wand, ein Blatt Papier, ein unstrukturiert Teppich jedoch auch homogene Schreibtischflächen bis hin zu einem von der Kamera als sehr unscharf aufgezeichneten Hintergrund sein.
Gemäß Figur 1 soll nunmehr im aufgenommenen Bild I das aufgenommene--Objekt bzw. der dargestellte Stift OE erkannt werden. Insbesondere soll eine markante Stelle MS des Stiftes, wie sie beispielsweise die Spitze des Stiftes OI darstellt, erkannt werden, um diese Information beispielsweise als Ort bzw. X-/Y-Koordinate eines Mauszeigers in einer Anzeigeeinheit des mobilen Endgeräts darzustellen.
Nach dem Aufnehmen des Stiftes OI wird zunächst ein Teil der Bildpunkte des Bildes I als linienförmiger Auswertebereich AB festgelegt, der das Bild I vollständig durchquert, d.h. von einer Seite bis zur gegenüberliegenden Seite des Bildes verläuft. Gemäß Figur 1 befindet sich dieser linienförmige Auswertebereich ABI für eine erste Zeilenauswertung in einem unteren Randbereich des Bildes I und weist beispielsweise eine Breite von einem Bildpunkt bzw. Pixel auf. Dieser einen Bildpunkt breite Auswertebereich wird folglich zellenförmig parallel zur unteren Seite des Bildes I festgelegt. Anschließend wird eine Auswertung der Bildpunkte des ersten Auswertebereichs ABI zum Erfassen von relevanten Übergängen x durchgeführt, wobei unter einem relevanten Übergang nachfol- gend beispielsweise eine wesentliche Änderung einer Helligkeit und/oder einer Farbe von benachbarten Bildpunkten verstanden wird.
Figur 2 zeigt eine vereinfachte Darstellung der unterschied- liehen Helligkeitswerte innerhalb des ersten Auswertebereichs ABI, wie sie von den 240 Bildpunkten des Bildes I wiedergegeben werden. Gemäß Figur 2 wird hierbei bei etwa einem Bildpunkt 70 ein erster Übergang bzw. eine erste relevante Helligkeitsänderung und bei etwa einem Bildpunkt 100 eine zweite relevante Helligkeitsänderung bzw. ein zweiter Übergang erfasst, wobei nur Helligkeitsänderungen oberhalb eines Makroschwellwertes ΔT2 einen Übergang festlegen und darunter liegende Helligkeitsschwankungen, wie sie z.B. durch Rauschen oder Inhomogenitäten im Hintergrund verursacht werden, unbe- rücksichtigt bleiben.
Figur 3 zeigt eine teilvergrößerte Ansicht der Darstellung gemäß Figur 2, wobei das Helligkeitsprofil im ersten Auswertebereich ABI für die Bildpunkte 67 bis 80 genauer darge- stellt ist. Demzufolge ist auf Grund des im Wesentlichen homogenen Hintergrundes bis zu einem Bildpunkt 70 lediglich eine geringe HelligkeitsSchwankung vorhanden, die unterhalb eines ersten Schwellwertes bzw. Makroschwellwertes ΔT2 liegt und demzufolge zu keiner Erfassung eines relevanten Übergan- ges x führt. Die Helligkeitsunterschiede ergeben sich beispielsweise auf Grund von geringfügigen Inhomogenitäten im Hintergrund oder auf Grund von Rauschen oder auf Grund von allmählichen Beleuchtungsänderungen, wie sie insbesondere in mobilen Telekommunikationsendgeräten bzw. Handys in Erschei- nung treten. Sobald jedoch bei einem direkten Vergleich der Einzel- Bildinformationen bzw. der Einzel-Helligkeitswerte von unmittelbar benachbarten Bildpunkten dieser Makroschwellwert ΔT2 überschritten wird (ΔTrans > ΔT2) , so kann beispielsweise ein relevanter Übergang x erfasst werden. Genauer gesagt wird beispielsweise eine Differenz ΔTrans der Bildinformationen bzw. Helligkeitswerte zwischen den unmittelbar benachbarten Bildpunkten unter Verwendung des Makroschwellwerts ΔT2 bewertet, wobei bei Überschreiten dieses Makroschwellwerts ein relevanter Übergang erfasst werden kann. Größere Inhomogenitäten im Hintergrund oder eine Schattenbildung, die zu einer scheinbaren Verdoppelung des aufgenommenen Stiftes OI führt, können somit zuverlässig kompensiert werden.
Obwohl eine derartige Auswertung von relevanten Übergängen in einem Auswertebereich bereits zu ausreichend genauen Ergebnissen führt kann insbesondere eine Rauschunempfindlichkeit des Verfahrens durch Verwendung eines zweiten Schwellwerts bzw. eines Mikroschwellwerts ΔT1 weiter verbessert werden. Insbesondere schwierige Belichtungsverhältnisse, welche zu einer erhöhten .Fehleranfälligkeit führen können, werden da-.., durch zuverlässig ausgewertet. Derartige schwierige Lichtverhältnisse können beispielsweise eine kontinuierliche HelligkeitsVeränderung von der linken Seite zur rechten Seite des Bildes I sein.
Gemäß Figur 3 wird demzufolge ein zweiter Schwellwert bzw. der Mikroschwellwert ΔTl dazu verwendet, um eine Bildpunkt- • bereichdifferenz ΔTrans von Bildinformationen bzw. Hellig- keitswerten zwischen einer Vielzahl von benachbarten Bildpunkten zum Erfassen des relevanten Übergangs x zu ermitteln, bei der alle innerhalb des Bereichs liegenden Bildpunktdifferenzen jeweils > ΔTl sein müssen.
Genauer gesagt werden gemäß Figur 3 eine Vielzahl von Bildpunkten zum Erfassen des relevanten Übergangs nach einer erstmaligen Überschreitung des Mikroschwellwerts ΔTl heran- gezogen. Sobald demzufolge eine Bildpunktdifferenz, d.h. ein Helligkeitsunterschied von zwei unmittelbar benachbarten Bildpunkten, größer ist als der Mikroschwellwert ΔTl, wird der zugehörige Bildpunkt (z.B. 70) als Anfangstriggerpunkt für die Makroschwellwertbetrachtung verwendet. Solange die nachfolgenden Bildpunkte 71 bis 75 weiterhin eine Bildpunktdifferenz > ΔTl aufweisen gilt der zuerst ermittelte Bildpunkt weiterhin als Anfangstriggerpunkt . Sobald jedoch die Bildpunktdifferenz < ΔTl ist, wie z.B. bei dem Bildpunkt 76, so wird der letzte Bildpunkt mit überschrittenem Mikroschwellwert ΔTl als Endtriggerpunkt für die Makroschwellwertbetrachtung verwendet.
Genauer gesagt wird beginnend bei dem Anfangstriggerpunkt 70 und endend bei dem Endtriggerpunkt 75 ein Bildpunktbereichdifferenz ΔTrans, d.h. ein Helligkeitsunterschied von mehreren benachbarten Bildpunkten mit jeweils einer Bildpunktdifferenz > ΔTl, mit dem Makroschwellenwert ΔT2 verglichen, wobei ein relevanter Übergang x erfasst wird, wenn ΔTrans > ΔT2 gilt.
Selbstverständlich können auch Bildpunkte vor oder hinter dem Bildpunkt mit erst- und letzmalig überschrittenem Mikroschwellwert ΔTl als sogenannte Triggerpunkte bzw. Anfangs- und Endpunkte verwendet werden. Auf diese Weise lässt sich ein z.B. Hell-Dunkel-Übergang sehr genau und mit äußerst geringer Fehleranfälligkeit erfassen.
Der zweite Übergang x im Auswertebereich vom dunklen Bereich des aufgenommenen Stiftes 01 zum hellen Hintergrund wird in ähnlicher Weise jedoch mit umgekehrten Vorzeichen erfasst.
Gemäß Figur 1 wird nach dieser ersten Zeilenauswertung in einem unteren Randbereich des Bildes I anschließend eine zweite Zeilenauswertung in einem oberen Randbereich des Bildes I wiederum zellenförmig durchgeführt. Da in diesem zweiten Auswertebereich AB2 keine Übergänge für den aufgenommenen Stift OI erfasst werden, wird anschließend unter Verwendung bzw. unter Berücksichtigung der erfassten Übergänge ein neuer Auswertebereich festgelegt. Diese neue Festlegung der folgenden Auswertebereiche kann beispielsweise in einer Neuorientierung der Auswertebereiche enden, wobei beispielsweise nach ursprünglicher, aber erfolgloser zellenförmiger Ausrichtung der linienförmigen Auswertebereiche schließlich mit einer spaltenförmigen Ausrichtung der Auswertebereiche fortgefahren wird.
Da jedoch der erste Auswertebereich im vorliegenden Ausführungsbeispiel bereits zwei brauchbare relevante Übergänge liefert, wird im vorliegenden Ausführungsbeispiel nicht in eine spaltenförmige Auswertung gewechselt, sondern die zellenförmige Auswertung beibehalten. Genauer gesagt wird bei dem vorgeschlagenen Binär-Suchverfahren ein neuer Auswertebereich jeweils zwischen einen Auswertebereich mit relevanten Übergängen x, d.h. dem Auswertebereich ABI, und einem Auswer- tebereich ohne relevante Übergänge, d.h. dem Auswertebereich '_.AB2, gelegt. Vorzugsweise wird dieser nächste, d.h. dritte, AusWertebereich AB3 genau in die Mitte zwischen den letzten Auswertebereich mit relevanten Übergängen und den letzten Auswertebereich AB2 ohne relevante Übergänge gelegt. Bei ei- nem üblicherweise matrixförmig aufgebauten Bild I kann diese Auswahl sehr einfach durch Differenzbildung der Zeilenzahl für den ersten Bereich von der Zeilenzahl des zweiten Bereichs AB2 ermittelt werden. Wiederum erfolgt auch im dritten Auswertebereich AB3 eine Auswertung der Bildinformationen bzw. der Helligkeitswerte der einzelnen Bildpunkte zueinander, wobei wiederum gemäß Figuren 2 und 3 relevante Übergänge x erfasst werden. Unter Verwendung dieses zuletzt verwendeten Auswertebereichs AB3 mit relevanten Übergängen und dem letzten Auswertebereich AB2 ohne relevante Übergänge wird wiederum ein neuer Auswertebe- reich bzw. vierter Auswertebereich AB4 festgelegt und eine erneute Auswertung durchgeführt.
Wie aus Figur 1 ersichtlich ist, erreicht man auf diese ein- fache Art und Weise sehr schnell die markante Stelle bzw.
Spitze MS des aufgenommenen Stiftes OI, der zur Positionsbestimmung eines Mauszeigers verwendet werden soll.
Die Erkennung der markanten Stelle MS kann vorzugsweise dann abgeschlossen werden, wenn der Abstand von zwei Auswertebereichen einen vorbestimmten Wert unterschreitet, der beispielsweise eine ausreichende Genauigkeit festgelegt.
Im Gegensatz zu herkömmlichen Verfahren zur Objekterkennung besitzt das erfindungsgemäße Verfahren eine außerordentlich hohe Geschwindigkeit, da wesentlich weniger Pixel bzw. Bildpunkte zum Auffinden von beispielsweise einer markanten Stelle eines einfachen Objekts überprüft werden müssen. Für ein VGA-Bild mit einer Auflösung von 640 x 480 Bildpunkten ergibt sich dadurch eine Abnahme der Operationen bzw. Rechenschritte um etwa das 70-fache. Da. darüber hinaus die vom vorliegenden Verfahren verwendeten Rechenoperationen pro Bildpunkt weniger sind als bei herkömmlichen Verfahren zur Objekterkennung, ist der Unterschied tatsächlich noch größer.
Ein weiterer Vorteil ist die außerordentlich geringe Fehleranfälligkeit bzw. die hohe Stabilität des Verfahrens. Da lediglich linienförmige Auswertebereiche untersucht werden, kann ein stärker lokalisiertes Schwellwertverfahren verwendet werden, wodurch Unterschiede bei der Beleuchtung mit geringerem Aufwand berücksichtigt werden können. Dieses bedeutet, dass die aufgenommenen Objekte stabiler und zuverlässiger erfasst werden können.
Figur 4 zeigt eine vereinfachte Darstellung eines Bildes I zur Veranschaulichung eines zweiten Ausführungsbeispiels, wobei gleiche Bezugszeichen gleiche oder entsprechende Elemente bzw. Bereiche definieren, weshalb auf eine wiederholte Beschreibung nachfolgend verzichtet wird.
Gemäß Figur 4 wird als einfaches Objekt nicht ein stabförmi- ger Gegenstand wie beispielsweise ein Stift oder Schreibgerät verwendet, sondern ein ganzflächiger Gegenstand, der beispielsweise eine Ecke als markante Stelle MS aufweist. Ein derartiges einfaches Objekt OI kann beispielsweise ein Tischeck, eine Ecke eines Blatt Papiers oder eines sonstigen Ge- genstandes sein, der wiederum vor einem im Wesentlichen homogenen Hintergrund von einer Aufnahmeeinheit bzw. einer Kamera aufgenommen wird.
Ferner ist im Ausführungsbeispiel gemäß Figur 4 der Auswerte- bereich weder zellenförmig noch spaltenförmig angeordnet, sondern befindet sich in einem Winkel α zu den Seiten des Bildes, wodurch sich Vorteile bei der Auswertung bzw. Erkennung des dargestellten Objekts ergeben.
Gemäß Figur 4 wird zunächst vorzugsweise wiederum in einem
Randbereich„..des Bildes I ein erster linienförmiger Auswexte- bereich ABI festgelegt, der sich in einem Winkel α zu den Seitenflächen des Bildes erstreckt. Da der erste Auswertebereich vollständig innerhalb des aufgenommenen Objektes OI liegt, werden hierbei keine Übergänge erfasst. Folglich wird als nächster Auswertebereich der Auswertebereich AB2 im gegenüberliegenden Randbereich bzw. in der gegenüberliegenden Ecke des Bildes I festgelegt, wobei wiederum kein relevanter Übergang erfasst wird. Obwohl beispielsweise nach einer der- artigen Diagonal-Auswertung in eine Zeilenauswertung oder eine Spaltenauswertung umgeschaltet werden kann, um beispielsweise bessere Auswerteergebnisse zu erhalten, kann im vorliegenden Ausführungsbeispiel zunächst noch in der Diagonal- Auswertung geblieben werden, wobei beispielsweise ein dritter Auswertebereich AB3 in der Mitte zwischen dem ersten und zweiten Auswertebereich ABI und AB2 festgelegt wird. Da auch dieser dritte Auswertebereich keine Übergänge ergibt, kann nach einer beliebigen Vorschrift zum Festlegen der Auswertebereiche beispielsweise ein vierter Auswertebereich AB4 zwischen dem dritten und ersten Auswertebereich wiederum mittig angeordnet werden.
Nunmehr erhält man die ersten beiden relevanten Übergänge x, weshalb ein fünfter Auswertebereich AB5 nunmehr zwischen dem dritten Auswertebereich AB3 und dem vierten Auswertebereich AB4 vorzugsweise mittig angeordnet wird. Wie beim ersten Aus- führungsbeispiel gemäß Figur 1 werden die weiteren Auswertebereiche unter Berücksichtigung der erfassten Übergänge weiter innerhalb des Bildes festgelegt, bis die Objekterkennung abgeschlossen ist. Da im vorliegenden Fall wiederum die markante Stelle MS bzw. Ecke des aufgenommenen Objektes OI als Mauszeiger verwendet werden soll, kann wiederum die Objekterkennung abgeschlossen werden, wenn ein Abstand von zwei Auswertebereichen eine vorbestimmte Mindestabstand bzw. Mindestwert unterschreitet.
Obwohl die Erfindung vorstehend insbesondere zur Erkennung einer markanten Stelle MS beschrieben wurde, kann, selbstverständlich anhand der erfassten Übergänge auch eine grundsätzliche Form der einfachen Objekte auf sehr schnelle und zuverlässige Art und Weise erkannt werden, wobei beispielsweise die erfassten Übergänge einfach miteinander verbunden werden können.
Ferner kann an Stelle der linienförmige Auswertebereiche mit einer Breite von einem Bildpunkt bzw. Pixel auch ein linien- förmiger Auswertebereich mit einer Breite von mehreren Pixeln verwendet werden, wodurch sich eine Filterung realisieren lässt und eine Rauschunempfindlichkeit des Verfahrens verbessert wird.
Figur 5 zeigt zur Veranschaulichung einer derartigen Filter- Funktionalität eine vereinfachte Darstellung eines Auswertebereichs, der eine Breite von fünf Bildpunkten P aufweist, wobei ein mittlerer Bildpunkt jeweils mit zwei weiteren benachbarten Bildpunkten bzw. Pixeln gemeinsam betrachtet wird. Genauer gesagt wird im Gegensatz zu der vorstehenden Betrachtung von lediglich einem Bildpunkt nunmehr ein lokaler Auswertebereich LAB bestehend aus einem Feld von 5 x 5 Bildpunkten betrachtet, wobei aus den Einzel-Bildinformationen bzw. den Einzel-Bildhelligkeiten der jeweiligen Bildpunkte für den lokalen Auswertebereich LAB zunächst eine Durchschnitts-Bild- information geschaffen wird.
Das Erfassen eines relevanten Übergangs x geschieht hierbei analog zum Erfassen eines relevanten Übergangs bei Betrachtung von nur einem Bildpunkt, wobei jedoch benachbarte lokale Auswertebereiche LAB hinsichtlich ihrer zugehörigen Durch- schnitts-Bildinformationen ausgewertet werden.
Zur weiteren Erhöhung einer Rauschunempfindlichkeit ohne die Genauigkeit zu verschlechtern kann hierbei ein Bildpunkt in der Mitte des lokalen Auswertebereichs LAB anders bewertet werden als die Bildpunkte am Rand des lokalen Auswertebereichs, wobei z.B. die Einzel-Bildinformationen der einzelnen Bildpunkte mit unterschiedlichen Gewichtungsfaktoren Gl, G2 und G3 zum Erzeugen einer bewerteten Durchschnitts-Bildinfor- mation bewertet werden.
Gemäß Figur 5 besitzt demzufolge das zentrale Pixel als Gewichtungsfaktor Gl den Wert 1, während die Rand-Bildpunkte im lokalen Auswertebereich den 'Gewichtungsfaktor G3 = 1/4 aufweisen und die dazwischen liegenden Bildpunkte den Gewich- tungsfaktor G2 = 1/2 besitzen. Auf diese Weise erhält man mit nur einem geringfügig vergrößerten Rechenaufwand eine wesentlich verbesserte Rauschunempfindlichkeit bei der Erfassung der Übergänge. Neben der beschriebenen Filterfunktion werden die Gewichtungsfaktoren vorzugsweise derart gewählt, dass sich eine Gauß' sehe Filterfunktion ergibt. Es können jedoch auch andere Filterfunktionen gewählt werden. Figur 6 zeigt abschließend einen Anwendungsfall zur Realisierung des erfindungsgemäßen Verfahrens zur Erkennung von einfachen Objekten vor einem homogenen Hintergrund, wobei das Verfahren in einem mobilen Telekommunikationsendgerät wie beispielsweise einem Handy M durchgeführt wird. Das Handy M besitzt hierbei eine Kamera bzw. Aufnahmeeinheit K zum Aufnehmen des einfachen Objekts 0, der beispielsweise ein Schreibgerät bzw. einen Stift darstellt. Um beispielsweise die in einer Anzeigeeinheit A des Handys M dargestellten Da- teiordner DO mittels eines Mauszeigers MZ auszuwählen wird das vorstehend beschriebene Verfahren durchgeführt, wobei die markante Stelle bzw. Spitze MS des Stiftes 0 erfasst und zur Positionsbestimmung des Mauszeigers MZ verwendet wird. Hierbei kann der Stift bzw. das aufgenommene Bild des Stiftes OI ebenfalls in der Anzeigeeinheit des Handys M dargestellt sein. Durch Bewegen des Stiftes 0 vor der Kamera K kann somit der Mauszeiger MZ zum Auswählen von beispielsweise bestimmten Dateiordnern DO bewegt werden.
Obwohl die vorliegende Erfindung insbesondere zur Erkennung einer markanten Stelle eines einfachen Objekts zur Realisierung eines Mauszeigers beschrieben wurde, ist sie nicht darauf beschränkt und umfasst in gleicher Weise auch eine vollständige Objekterkennung einfacher Objekte mittels linienför- miger Auswertebereiche und deren erfasster Übergänge.
Obwohl in der vorliegenden Erfindung die linienförmigen Auswertebereiche im Wesentlichen gerade ausgebildet sind, können sie grundsätzlich auch eine davon abweichende Form aufweisen und insbesondere kreis-, Zickzack- und mäanderförmig sein oder eine sonstige Form aufweisen. Ferner müssen die linienförmigen Auswertebereiche nicht zwingend parallel zueinander innerhalb des Bildes festgelegt werden, sondern können in Abhängigkeit von vorbestimmten Festlegungs-Vorschriften auch davon abweichend angeordnet werden. Ferner können die einfachen Objekte nicht nur stabförmige und flächige Gegenstände aufweisen, sondern eine beliebige Form aufweisen. Insbesondere können hierbei speziell geformte Objekte bereits vom Verfahren berücksichtigt werden, wodurch sich weitere Optimierungsmöglichkeiten ergeben.
Die Erfindung wurde vorstehend anhand von Helligkeitswerten zur Veranschaulichung der jeweiligen Bildinformationen von Bildpunkten oder lokalen Auswertebereichen beschrieben. Sie ist jedoch nicht darauf beschränkt und umfasst in gleicher
Weise auch andere Bildinformationen und insbesondere Farbwerte.
Obwohl die Erfindung anhand von Auswertebereichen mit einer Breite von einem Bildpunkt oder fünf Bildpunkten beschrieben wurde, ist sie nicht darauf beschränkt und umfasst in gleicher Weise Auswertebereichs-Breiten mit einer davon abweichenden Anzahl von Bildpunkten.
In gleicher Weise ist die vorliegende Erfindung nicht nur auf mobile. Endgeräte wie beispielsweise Handys oder PDAs beschränkt, sondern kann auch in beliebigen anderen computergestützten Einheiten verwendet werden, die eine einfache, unempfindliche und schnelle O jekterkennung benötigen.

Claims

Patentansprüche
1. Verfahren zur Erkennung von einfachen Obj ekten vor einem homogenen Hintergrund mit den Schritten: a) Aufnehmen eines einfachen Objekts (0) zum Erzeugen eines Bildes (I) mit dem aufgenommenen Objekt (OI) , wobei das Bild (I) eine Vielzahl von Bildpunkten (P) aufweist; b) Festlegen eines Teils der Bildpunkte (P) als linienförmigen Auswertebereich (AB) ; c) Durchführen einer Auswertung der Bildpunkte (P) des Auswertebereichs (AB) zum Erfassen von relevanten Übergängen (x) ; und d) Wiederholtes Festlegen eines Auswertebereichs (AB) unter Berücksichtigung von erfassten Übergängen (x) und Durchführen der Auswertung bis zum Abschluss der Objekterkennung.
2. Verfahren nach Patentanspruch 1, d a d u r c h g e k e n n z e i c h n e t, dass das aufgenommene Objekt (OI) eine markante Stelle (MS) aufweist.
3. Verfahren nach Patentanspruch 2, d a du r c h g e k e n n z e i c h n e t, dass die markante Stelle (MS) eine Spitze oder Ecke des aufgenommenen Objekts (OI) darstellt.
4. Verfahren nach einem der Patentansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t, dass der li- nienförmige Auswertebereich (AB) eine Breite von einem Bildpunkt aufweist, wobei die relevanten Übergänge (x) durch di- rekten Vergleich von Einzel-Bildinformationen benachbarter Bildpunkte erfasst werden.
5. Verfahren nach einem der Patentansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t, dass der li- nienförmige Auswertebereich (AB) eine Breite von mehreren
Bildpunkten aufweist, wobei ein lokaler Auswertebereich (LAB) aus mehreren Bildpunkten besteht und die relevanten Übergänge (x) durch direkten Vergleich von den lokalen Auswertebereichen (LAB) entsprechenden Durchschnitts-Bildinformationen benachbarter lokaler Auswertebereiche (LAB) erfasst werden.
6. Verfahren nach Patentanspruch 5, d a d u r c h g e k e n n z e i c h n e t, dass die im lokalen Auswertebereich (LAB) existierenden Einzel-Bildinformationen der jeweiligen Bildpunkte mit unterschiedlichen Gewichtungsfaktoren (Gl, G2, G3) zum Erzeugen einer gewichteten Durchschnitts-Bildinformationen bewertet werden.
7. Verfahren nach einem der Patentansprüche 1 bis 6, d a d u r c h g e k e n n z e i c h n e t, dass beim Auswerten des Auswertebereichs eine Farbe und/oder Helligkeit als Bildinformation betrachtet wird.
8. Verfahren nach einem der Patentansprüche 1 bis 7, d a d u r c h g e k e n n z e i c h n e t, dass beim Auswerten eine Bildpunktdifferenz von Bildinformationen zwischen unmittelbar benachbarten Bildpunkten (P) oder lokalen Auswer- tebereighen (LAB) zum Erfassen eines relevanten Übergangs (x) einen Makroschwellwert (ΔT2) überschreiten muss.
9. Verfahren nach Patentanspruch 1 bis 7, d a d u r c h g e k e n n z e i c h n e t, dass eine Bildpunktbereichdifferenz (ΔTrans) von Bildinformationen zwischen mehreren mit jeweils überschrittenem Mikroschwellwerten (ΔTl) benachbarten Bildpunkten (P) oder lokalen Auswertebereichen (LAB) zum Erfassen des relevanten Übergangs (x) einen Makroschwellwert (ΔT2) überschreiten muss.
10. Verfahren nach einem der Patentansprüche 1 bis 9, d a d u r c h g e k e n n z e i c h n e t, dass beim Festlegen der Auswertebereiche zunächst Randbereiche des Bildes (I) ausgewählt werden, wobei ein nächster festzulegender Auswertebereich (AB) zwischen einem jeweils letzten Auswertebereich mit und ohne relevante Übergänge (x) gelegt wird.
11. Verfahren nach einem der Patentansprüche 1 bis 10, d a d u r c h g e k e n n z e i c h n e t, dass die Auswertebereiche (AB) zellenförmig, spaltenförmig und/oder in einen Winkel ( ) zu den Seiten des Bildes (I) festgelegt werden.
12. Verfahren nach Patentanspruch 10 oder 11, d a d u r c h g e k e n n z e i c h n e t, dass der je- weils nächste Auswertebereich (AB) genau in die Mitte zwischen die letzten Auswertebereiche mit und ohne relevante Übergänge (x) gelegt wird, wobei die Erkennung einer markanten Stelle (MS) abgeschlossen wird, wenn ein Abstand von zwei Auswertebereichen einen vorbestimmten Wert unterschreitet.
PCT/EP2005/050064 2004-04-26 2005-01-07 Verfahren zur erkennung eines einfachen objekts vor einem homogenen hintergrund Ceased WO2005104014A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04009878 2004-04-26
EP04009878.2 2004-04-26

Publications (1)

Publication Number Publication Date
WO2005104014A1 true WO2005104014A1 (de) 2005-11-03

Family

ID=34924744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/050064 Ceased WO2005104014A1 (de) 2004-04-26 2005-01-07 Verfahren zur erkennung eines einfachen objekts vor einem homogenen hintergrund

Country Status (1)

Country Link
WO (1) WO2005104014A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006136738A3 (fr) * 2005-06-24 2007-03-22 Daniel Martin Dispositif de pointage digital sur ecran
DE102005057335A1 (de) * 2005-11-28 2007-06-06 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4398177A (en) * 1980-02-12 1983-08-09 Computer Gesellschaft Konstanz Mbh Method and circuit arrangement for formation of features for automatic character recognition
DE4229479A1 (de) * 1991-09-04 1993-03-11 Ricoh Kk Verfahren zum darstellen eines bildes in einem erkennungssystem
DE10104270A1 (de) * 2001-01-31 2002-08-01 Siemens Ag Verfahren und System zum Verarbeiten von auf Informationsträgern dargestellten Informationen
US20030082505A1 (en) * 2001-10-31 2003-05-01 David Mark Frohlich Assisted reading method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4398177A (en) * 1980-02-12 1983-08-09 Computer Gesellschaft Konstanz Mbh Method and circuit arrangement for formation of features for automatic character recognition
DE4229479A1 (de) * 1991-09-04 1993-03-11 Ricoh Kk Verfahren zum darstellen eines bildes in einem erkennungssystem
DE10104270A1 (de) * 2001-01-31 2002-08-01 Siemens Ag Verfahren und System zum Verarbeiten von auf Informationsträgern dargestellten Informationen
US20030082505A1 (en) * 2001-10-31 2003-05-01 David Mark Frohlich Assisted reading method and apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"VIRTUAL MOUSE", IBM TECHNICAL DISCLOSURE BULLETIN, IBM CORP. NEW YORK, US, vol. 34, no. 12, 1 May 1992 (1992-05-01), pages 213 - 214, XP000308493, ISSN: 0018-8689 *
HOU T-H ET AL: "A SHAPE CLASSIFIER BY USING IMAGE PROJECTION AND A NEURAL NETWORK", INTERNATIONAL JOURNAL OF PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, WORLD SCIENTIFIC PUBLISHING COMPAGNY, SINGAPORE, SI, vol. 14, no. 2, March 2000 (2000-03-01), pages 225 - 241, XP000963156, ISSN: 0218-0014 *
JÄHNE, BERND: "Digitale Bildverarbeitung", 2002, SPRINGER-VERLAG, BERLIN, ISBN: 3-540-41260-3, XP002300542, 283780 *
JÄHNE, BERND: "Digitale Bildverarbeitung", 2002, SPRINGER-VERLAG, BERLIN, ISBN: 3-540-41260-3, XP002300543, 283780 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006136738A3 (fr) * 2005-06-24 2007-03-22 Daniel Martin Dispositif de pointage digital sur ecran
DE102005057335A1 (de) * 2005-11-28 2007-06-06 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten
DE102005057335B4 (de) * 2005-11-28 2012-01-12 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten
DE102005057335B9 (de) * 2005-11-28 2012-08-02 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Bestimmung des aktuellen Hintergrundes in einem Digitalbild mit zumindest temporär beweglichen Objekten

Similar Documents

Publication Publication Date Title
DE60200122T2 (de) Optisches Navigationssystem
DE112009002576T5 (de) Berührungspositions-Auffindungsverfahren und -vorrichtung
DE69024094T2 (de) Berührungssensor-Matrixsysteme und Anzeigesysteme, die sie enthalten
DE102006041645B4 (de) Verfahren und Vorrichtung zur Orientierungsbestimmung in einem Bild
DE69229143T2 (de) Tafel mit integrierter Anzeige
DE102018113114B4 (de) Berührungsanzeigevorrichtung und Berührungspanel
DE69613656T2 (de) Betrieb eines berührungsempfindlichen Bildschirms
DE69426281T2 (de) Verfahren zur dynamischen Beibehaltung mehrfacher struktureller Interpretationen in einem Grafiksystem
DE3751111T2 (de) Dünnschichttransistorenmatrix für Flüssigkristallanzeige mit Testmöglichkeit während der Herstellung, Testmethode und Anordnung zur Informationseingabe mit einer solchen Matrix.
DE69121806T2 (de) System einer Berührungsmessfühlergruppe und Anzeigesystem
DE69810369T2 (de) Bildwiederauffindungsvorrichtung und -verfahren
DE112019001907T5 (de) Elektronische vorrichtungsanzeige für bildgebung durch eine anzeige
DE102016203011A1 (de) Arraysubstrat, Farbfilmsubstrat und Berührungsanzeigevorrichtung
DE102014102634A1 (de) Verfahren zum Kalibrieren einer optischen Anordnung, Verwendung eines Displays eines mobilen elektronischen Gerätes als Kalibrierplatte, Verfahren zum Darstellen eines periodischen Musters und Computerprogrammprodukt
DE112009003562T5 (de) Sensor für Sensorbildschirm
DE10257424B4 (de) Vorrichtung und Verfahren zum Erfassen einer Drehung
DE112018003422T5 (de) Sensor zum detektieren eines von einem stift übertragenen stiftsignals
DE982678T1 (de) Digitalisierungstafel mit einem aktiven Gebiet und mehreren Grenzgebieten
DE10226950A1 (de) Optische Navigation auf gemaserten Oberflächen unter Verwendung mehrerer Navigationssensoren
DE69526285T2 (de) Zeichenerkennung
DE2858688C2 (de)
CH639783A5 (de) Fluessigkristall-anzeigevorrichtung mit elektrodenmatrix.
DE112017004367T5 (de) Kapazitiver sensor
DE10156040A1 (de) Verfahren, Vorrichtung und Computerprogramm-Produkt zum Entzerren einer eingescannten Abbildung
EP2064672A2 (de) Verfahren und vorrichtung zur bildverarbeitung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase