EP1532500A1 - Verfahren und vorrichtung zum betrieb einer zeigeeinheit an einer arbeitsmaschine - Google Patents

Verfahren und vorrichtung zum betrieb einer zeigeeinheit an einer arbeitsmaschine

Info

Publication number
EP1532500A1
EP1532500A1 EP03747932A EP03747932A EP1532500A1 EP 1532500 A1 EP1532500 A1 EP 1532500A1 EP 03747932 A EP03747932 A EP 03747932A EP 03747932 A EP03747932 A EP 03747932A EP 1532500 A1 EP1532500 A1 EP 1532500A1
Authority
EP
European Patent Office
Prior art keywords
working
work
machines
machine
working machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03747932A
Other languages
English (en)
French (fr)
Inventor
Sven Horstmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of EP1532500A1 publication Critical patent/EP1532500A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/04—Program control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Program control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31048—Project on workpiece, image of finished workpiece, info or a spot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the invention relates to a method for operating a pointing unit on a work machine, and a pointing unit on a working machine according to the preambles of claims 1 and 16.
  • Industrial machines are often used for manufacturing purposes and for logistics tasks.
  • the palette ranges from permanently programmed machines to track-guided unmanned transport systems to autonomous systems that are automatically based on their surroundings.
  • Such machines have often only performed repetitive, predictable movements.
  • people who are only temporarily in the immediate vicinity of the work machine it is therefore often very difficult to understand the regular work flow of a work machine.
  • a pointing device is known with which it is possible to point to selected objects which are contained in video sequences.
  • the selection of an object is carried out using a search term specified by the user.
  • the search term can be entered into the pointing device, for example by means of a voice control.
  • An image that contains object hypotheses is recorded with an image acquisition unit.
  • the object hypotheses are checked with a query unit to determine whether they match a previously entered search term.
  • the check can in turn be carried out using text recognition.
  • the direction in which the object sought is located within the video sequence is calculated based on the result of the check.
  • a laser beam is emitted in the calculated direction by means of a laser in order to display the object sought within the video sequence.
  • Stationary work machines that interact with humans and display work processes are known, for example in Japanese patent application with publication number JP 11085237 a robot arm that extends objects to people is presented.
  • the working area of the robot arm is firmly defined and corresponds to a predetermined size, since this is a stationary system.
  • the future motion sequence of the robot arm and the target position at which an object is to be handed over to humans are projected based on a 3-dimensional geometric data model using a projector.
  • the projection is 2-dimensional on the work surface of the work area.
  • an automatically guided, unmanned vehicle which is equipped with a fastening element for receiving loads.
  • the fastener can be selectively opened and closed and is equipped with several sensors.
  • the sensors are used to monitor the load to be transported and the surfaces in the vicinity of the load, and on the other hand, to automatically to control the movement of the fastener.
  • one of these sensors also monitors the area in front of the vehicle, making it possible to automatically detect obstacles in the route and, if necessary, stop the vehicle.
  • the European patent with the patent number EP0800129 B1 describes an industrial truck which can be operated either manually or automatically.
  • the industrial truck has an on-board control system so that it is able to navigate freely in the room.
  • the control system can find a suitable route from the stored travel routes and guide the truck along this route.
  • the control system detects the position of the pallet and the movement sequence of the
  • the industrial truck is also provided with a means which allows the vehicle to be braked in the presence of people or obstacles.
  • the invention has for its object to provide a novel method for operating a pointing unit on a work machine and a work machine with a pointing device for performing the method according to the preambles of claims 1 and 16, which enables people and / or other work machines communicate.
  • a work machine is operated in connection with sensors.
  • the sensors are used for dynamic environmental detection on the work machine, object detection being carried out by means of a computer unit based on the environmental detection. Obstacles detected in the object recognition in the working area of the working machine are taken into account and cause a switch-off or a rescheduling / rescheduling of the working process of the working machine.
  • the work machine is now provided with a pointing unit, which is used to set up optical communication between the work machine and people and / or other work machines.
  • the pointing unit comprises an illumination unit, by means of which patterns are projected in a targeted manner for optical communication on objects located in the vicinity of the working machine.
  • the invention it is only possible to specifically predict objects in the working area of the working machine.
  • people and / or other work machines located in the vicinity of the work machine can intervene in the work process in good time and, for example, eliminate or even prevent any faults.
  • the invention also makes it possible to display the workflow of the work machine itself in a targeted manner in its surroundings. By trying patterns on objects, people can quickly understand which objects and other machines are currently involved in the workflow and which steps are to be carried out next. Interactions between man and machine as well as between cooperating machines are simplified considerably.
  • the objects are obstacles that are located in the working area of the working machine. With a predictive display of obstacles, it is not absolutely necessary to switch off the machine immediately. Rescheduling / rescheduling of the workflow is not inevitable due to a forward-looking obstacle display. In this way, people or other work machines can remove obstacles from the work area in good time before the work machine reacts automatically and reschedules the workflow, for example. It is also conceivable that the objects are objects which are related to the work flow of the work machine. By means of a predictive display of the next objects to be manipulated, people or other work machines can easily interact with the work machine. For example, a person can be one
  • a lighting unit that works in conjunction with an array of optical lenses, it is also possible to project patterns of any size onto the objects.
  • a lighting device comprising a fiber-coupled lens array can be used as the optical lighting unit.
  • lighting means known from automotive technology in the context of the invention, in which the shape and intensity of the light beam of the headlight can be varied. Such lighting is intended to prevent vehicle drivers from dazzling oncoming vehicles and to better illuminate the curves when cornering.
  • the international patent application WO 98/54030 proposes various forms for the design of such lighting means using the example of a vehicle headlight.
  • the lighting unit is a lighting unit that is already provided for other purposes in connection with the working machine.
  • lighting sources are often used in work machines to display the direction of travel.
  • costs are saved on the one hand, and less electrical power is consumed on the other hand, which is particularly advantageous in the case of battery-operated machines.
  • patterns of any shape can generally be projected.
  • Geometric shapes such as circles, triangles etc. are particularly suitable, but it is also conceivable to project characters or numbers. This makes it possible to assign a unique pattern for projection to each machine. People or other work machines can thus more easily assign the projected patterns to the respective work machine.
  • a clear assignment of the patterns to the machine can also be achieved, for example, by using different flashing frequencies in the projection.
  • the pattern to be projected extends completely over the surface of the object visible from the direction of view of the working machine and can thus be recognized at a glance.
  • a flashing projection of the pattern stands out better than a continuous projection from the background.
  • a flashing representation of a pattern can also be advantageously linked to a special event that occurs in the environment of the machine. For example, if the accumulator of a work machine is almost empty. A dynamic change in the flashing frequency is also conceivable. For example, after an obstacle in the workflow has been identified, this is initially illuminated continuously. If the obstacle is not removed, the working machine begins with an automatic rescheduling of the workflow. Until the changed workflow is actually continued, the pattern is displayed with an increasing flashing frequency.
  • a means must be provided that enables the respective light source to be operated in a pulsed manner.
  • the intensity of the lighting is automatically varied due to changing environmental conditions.
  • a change in the environmental conditions can mean that the backlight caused by daylight changes.
  • external light sources that change due to production processes (e.g. during welding) or changing light sources of other work machines can be compensated for well by automatically varying the intensity of the lighting.
  • Another important point is the change in the nature of the projection surface, so the color or the structure of the surface on which the pointing unit is pointing can be different at different points. Such differences can be compensated for particularly well by an automatic variation of the lighting intensity.
  • another means is to be provided with which such changes in the ambient conditions can be detected, in particular cameras or photo elements are suitable for this purpose.
  • light of different wavelengths is used for the illumination. If several autonomous work machines are operating in the same environment, a separate wavelength can be assigned to each work machine for better differentiation.
  • the wavelengths should be selected so that their difference is ideally more than 50 nm, which means that the wavelength range visible to a human observer can be divided into a variety of clearly distinguishable colors.
  • each autonomous system is preferably assigned a fixed wavelength in the infrared range.
  • the wavelengths for the respective machines can be very close to one another, so that a wavelength can be clearly assigned for a large number of machines.
  • the illuminants mentioned in connection with the pointing unit are partly. limited in their beam angle and can therefore not emit light in the entire area around a machine.
  • an additional means is therefore provided in order to automatically change the position and / or the orientation of the lighting unit on the work machine. It is only possible to cover the entire area around a work machine with a tightly concentrated source of lighting.
  • the invention can also be used in connection with mobile work machines, in particular driverless transport systems. Leave with it interactions between humans and work machines as well as between cooperating work machines are considerably simplified even in complex industrial scenarios.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

In der Industrie werden für Fertigungszwecke und für Logistikaufgaben häufig Arbeitsmaschinen eingesetzt. Bisher führen derartige Arbeitsmaschinen häufig jedoch nur sich wiederholende, in Grenzen vorhersagbare Bewegungen aus. Für Personen die sich in der Umgebung der Arbeitsmaschinen aufhalten ist es jedoch oft sehr schwierig den regelmässigen Arbeitsablauf einer Arbeitsmaschine zu begreifen. Auch ist es schwierig automatisch durchgeführte Änderungen des Arbeitsablaufs zu erkennen. Mit der Erfindung wird es erst möglich vorausschauend auf Objekte im Arbeitsbereich der Arbeitsmaschine gezielt zu deuten. Somit können sich im Umfeld der Arbeitsmaschine befindliche Personen und/oder andere Arbeitsmaschinen rechtzeitig in den Arbeitsablauf eingreifen und beispielsweise etwaige Störungen beseitigen oder sogar verhindern. Auch wird es durch die Erfindung möglich, den Arbeitsablauf der Arbeitsmaschine an sich, gezielt in deren Umgebung anzuzeigen. Durch das Aufprojizieren von Mustern auf Objekte können Personen sehr schnell begreifen, welche Objekte und Arbeitsmaschinen aktuell am Arbeitsablauf beteiligt sind und welche Schritte als nächstes ausgeführt werden sollen. Damit werden sowohl Interaktionen zwischen Mensch und Arbeitsmaschine als auch zwischen kooperierenden Arbeitsmaschinen wesentlich vereinfacht.

Description

Verfahren und Vorrichtung zum Betrieb einer Zeigeeinheit an einer Arbeitsmaschine
Die Erfindung betrifft ein Verfahren zum Betrieb einer Zeigeeinheit an einer Arbeitsmaschine, sowie eine Zeigeeinheit an einer Arbeitsmaschine nach den Oberbegriffen der Patentansprüche 1 und 16.
In der Industrie werden für Fertigungszwecke und für Logistikaufgaben häufig Arbeitsmaschinen eingesetzt. Die Palette reicht dabei von fest programmierten Maschinen über spurgeführte unbemannte Transportsysteme bis hin zu autonomen Systemen, welche sich automatisch an ihrer Umgebung orientieren. Bisher führen derartige Arbeitsmaschinen häufig jedoch nur sich wiederholende, in Grenzen vorhersagbare Bewegungen aus. Eine direkte Interaktion mit Personen, die am Arbeitsablauf beteiligt sind, findet dabei meist nicht statt. Für Personen die sich nur zeitweise in der unmittelbaren Umgebung der Ar- beitsmaschinen aufhalten, ist es deshalb oft sehr schwierig den regelmäßigen Arbeitsablauf einer Arbeitsmaschine zu begreifen. Auch ist es schwierig automatisch durchgeführte Änderungen des Arbeitsablaufs zu erkennen, eine Änderung am Arbeitsablauf kann beispielsweise aufgrund unerwarteter Störun- gen erforderlich werden.
Aus der japanischen Patentanmeldung mit der Veröffentlichungsnummer JP 2000089163 ist ein Zeigegerät bekannt, mit dem es möglich ist auf ausgesuchte Objekte die in Videose- quenzen enthalten sind zu zeigen. Die Auswahl eines Objekts erfolgt dabei mittels eines vom Benutzer vorgegebenen Suchbegriffs. Die Eingabe des Suchbegriffs in das Zeigegerät kann beispielsweise mittels einer Sprachsteuerung erfolgen. Mit einer Bildaufnahmeeinheit wird dabei ein Bild aufgenommen, welches Objekthypothesen enthält. Die Objekthypothesen werden mit einer Abfrageeinheit dahingehend überprüft, ob diese mit einem zuvor eingegebenen Suchbegriff übereinstimmen. Die Überprüfung kann wiederum mittels einer Texterkennung erfolgen. Mit einer weiteren Einheit wird basierend auf dem Ergeb- nis der Überprüfung die Richtung berechnet an der sich das gesuchte Objekt innerhalb der Videosequenz befindet. In der berechneten Richtung wird mittels eines Lasers schließlich ein Laserstrahl emittiert, um das gesuchte Objekt innerhalb der Videosequenz anzuzeigen.
Stationäre Arbeitsmaschinen die mit dem Menschen interagieren und Arbeitsabläufe anzeigen sind bekannt, beispielsweise wird in der Japanischen Patentanmeldung mit der Veröffentlichungsnummer JP 11085237 ein Roboterarm der Personen Gegenstände reicht, vorgestellt. Der Arbeitsbereich des Roboterarms ist dabei fest definiert und entspricht einer vorgegebenen Größe, da es sich hierbei um ein ortsfest installiertes System handelt. Zur Bewegungsüberwachung wird basierend auf einem 3 -dimensionalen geometrischen Datenmodell mittels eines Pro- jektors der künftige Bewegungsablauf des Roboterarms, sowie die Zielposition an der ein Gegenstand dem Menschen übergeben werden soll, projiziert. Die Projektion erfolgt dabei 2-Dimensional auf die Arbeitsfläche des Arbeitsbereichs.
In der US-Schrift mit der Patennummer US 4714399 wird ein automatisch geführtes, unbemanntes Fahrzeug vorgestellt, welches mit einem Befestigungselement zur Aufnahme von Lasten ausgestattet ist. Das Befestigungselement kann selektiv geöffnet und geschlossen werden und ist mit mehreren Sensoren ausgerüstet. Die Sensoren dienen einerseits dazu, um die zu transportierende Last und in der Umgebung der Last befindliche Oberflächen zu überwachen und andererseits dazu, um auto- matisch die Bewegung des Befestigungselements zu steuern. Einer dieser Sensor überwacht gleichzeitig aber auch den Bereich der vor dem Fahrzeug liegt, womit es möglich ist, Hindernisse die sich im Fahrweg befinden automatisch zu erkennen und ggf. das Fahrzeug zu stoppen.
Auch bekannt sind autonome Arbeitsmaschinen die sich selbsttätig an ihrer Umgebung orientieren. Im Europäischen Patent mit der Patentnummer EP0800129 Bl wird ein Flurförderzeug be- schrieben das wahlweise manuell oder automatisch betreibbar ist. Das Flurförderzeug verfügt über ein bordeigenes Kontrollsystem, damit ist es in der Lage frei im Raum zu navigieren. In Abhängigkeit von der vorgegebenen Transportaufgabe und der festgestellten Fahrzeugposition im Raum vermag das Kontrollsystem unter den gespeicherten Fahrtrouten einen geeigneten Weg herauszufinden und das Flurförderzeug entlang dieses Weges zu führen. Zur Manipulation von Paletten oder Lasten ist es nicht notwendig diese zuvor exakt in einer bestimmten Position im Raum anzuordnen, da das Kontrollsystem die Position der Palette erfasst und den Bewegungsablauf des
Flurförderzeugs dementsprechend anpasst . Das Flurförderzeug ist weiterhin mit einem Mittel versehen, welches es gestattet das Fahrzeug beim Vorhandensein von Personen oder Hindernissen abzubremsen.
In Proceedings of the international Symposium on automotive technology and automation (ISATA) , Florence, May 20-24, 1991, Nr. Symp 24, 20. Mai 1991, Seiten 615-622, Propert P.J. et al . : "Sensor based capabilities in guided vehicles for facto- ry automation" ist ein fahrerloses Transportsystem beschrieben, das mit zusätzlichen Einrichtungen versehen ist, um bei Störungen an einer vorgegebenen bzw. ausgewählten Fahrstrecke, beispielsweise einer durch ein Hindernis vollständig oder teilweise versperrten Fahrstrecke, einen weiteren Be- trieb des fahrerlosen Transportsystems zu ermöglichen. Hierzu ist das fahrerlose Transportsystem mit Sensoren und Steuereinrichtungen versehen, wodurch ein Hindernis auf der vorge- gebenen bzw. ausgewählten Fahrstrecke erfasst werden kann und ggf. automatisch eine Umplanung bzw. Neuplanung der Fahrstrecke erfolgt. Änderungen am regelmäßigen Arbeitsablaufs der Arbeitsmaschine werden den Personen die sich im Umfeld der Arbeitsmaschine befinden nicht kommuniziert.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zum Betrieb einer Zeigeeinheit an einer Arbeitsmaschine sowie eine Arbeitsmaschine mit einer Zeigeeinrichtung zur Durchführung des Verfahrens gemäß den Oberbegriffen der Patentansprüche 1 und 16 zu schaffen, welche es ermöglicht mit Personen und/oder anderen Arbeitsmaschinen zu kommunizieren.
Die Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Zeigeeinheit mit den Merkmalen der Patentansprüche 1 und 16 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt .
Gemäß der Erfindung wird eine Arbeitsmaschine im Zusammenhang mit Sensoren betrieben. Die Sensoren dienen dabei zur dynamischen Umgebungserfassung an der Arbeitsmaschine, wobei mittels einer Rechnereinheit auf der Grundlage der Umgebungserfassung eine Objekterkennung durchgeführt wird. Bei der Ob- jekterkennung detektierte Hindernisse im Arbeitsbereich der Arbeitsmaschine werden berücksichtigt und veranlassen eine Abschaltung oder eine Um-/Neuplanung des Arbeitsablaufs der Arbeitsmaschine. In einer erfinderischen Weise wird nun die Arbeitsmaschine mit einer Zeigeeinheit versehen, welche dem Aufbau einer optischen Kommunikation zwischen der Arbeitsmaschine und Personen und/oder anderen Arbeitsmaschinen dient. Hierzu umfasst die Zeigeeinheit eine Beleuchtungseinheit, mittels welcher zur optischen Kommunikation auf sich in der Umgebung der Arbeitsmaschine befindliche Objekte gezielt Mus- ter aufproj iziert werden.
Mit der Erfindung wird es erst möglich vorausschauend auf Objekte im Arbeitsbereich der Arbeitsmaschine gezielt zu deu- ten. Somit können sich im Umfeld der Arbeitsmaschine befindliche Personen und/oder andere Arbeitsmaschinen rechtzeitig in den Arbeitsablauf eingreifen und beispielsweise etwaige Störungen beseitigen oder sogar verhindern. Auch wird es durch die Erfindung möglich, den Arbeitsablauf der Arbeitsmaschine an sich, gezielt in deren Umgebung anzuzeigen. Durch das Aufpro izieren von Mustern auf Objekte können Personen sehr schnell begreifen, welche Objekte und andere Arbeitsmaschinen aktuell am Arbeitsablauf beteiligt sind und welche Schritte als nächstes ausgeführt werden sollen. Damit werden sowohl Interaktionen zwischen Mensch und Arbeitsmaschine als auch zwischen kooperierenden Arbeitsmaschinen wesentlich vereinfacht .
Denkbar ist es, dass es sich bei den Objekten um Hindernisse handelt, welche sich im Arbeitsbereich der Arbeitsmaschine befinden. Durch eine vorausschauende Anzeige von Hindernissen ist es nicht zwangsläufig erforderlich die Arbeitsmaschine sofort abzuschalten. Auch ist aufgrund einer vorausschauenden Hindernisanzeige eine Um- /Neuplanung des Arbeitsablaufs nicht unabwendbar. So können Personen oder andere Arbeitsmaschinen Hindernisse noch rechtzeitig aus dem Arbeitsbereich entfernen, bevor die Arbeitsmaschine selbsttätig darauf reagiert und beispielsweise eine Umplanung des Arbeitsablauf vornimmt. Auch ist es denkbar, dass es sich bei den Objekten um Objekte handelt, welche im Zusammenhang mit dem Arbeitsablauf der Arbeitsmaschine stehen. Mittels einer vorausschauenden Anzeige der nächsten zu manipulierenden Objekte können Personen oder andere Arbeitsmaschinen auf einfache Weise mit der Arbeitsma- schine interagieren. Beispielsweise kann eine Person einer
Arbeitsmaschine exakt das Objekt reichen das von ihr angezeigt wird, dasselbe gilt entsprechend für andere Arbeitsmaschinen; eine andere Arbeitsmaschine stellt beispielsweise ein Objekt exakt an der von der Arbeitsmaschine angezeigten Position bereit, dasselbe gilt entsprechend für Personen. In einer gewinnbringenden Ausführungsform der Erfindung ist es auch denkbar, einen Laserstrahl für die Projektion von Mustern zu verwenden. In diesem Zusammenhang eignen sich insbesondere Galvanometer-Scanner , welche es ermöglichen, den Laserstrahl sehr schnell und mit sehr hoher Positionsgenauigkeit zu projizieren. Galvanometer-Scanner lassen sich mittels einer rechnergesteuerten Ablenkeinheit steuern, so dass die zu proj izierenden Muster eine beliebige Form aufweisen können.
Durch die alternative Verwendung einer Beleuchtungseinheit die im Zusammenhang mit einem Array optischer Linsen arbeitet, ist es auch möglich beliebig ausgedehnte Muster auf die Objekte zu projizieren. Als optische Beleuchtungseinheit kann beispielsweise ein ein fasergekoppeltes Linsenarray umfassendes Beleuchtungsmittel verwendet werden. Gleichsam ist es auch denkbar, im Rahmen der Erfindung aus der Automobiltechnik bekannte Beleuchtungsmittel zu verwenden, bei denen die Form und Intensität des Lichtstrahls des Scheinwerfers vari- iert werden kann. Eine derartige Beleuchtung soll dazu dienen, Fahrzeuglenker entgegenkommender Fahrzeuge nicht zu blenden und bei Kurvenfahrten die Kurven besser auszuleuchten. In der internationalen Patentanmeldung WO 98/54030 werden verschiedene Formen für die Ausgestaltung derartiger Be- leuchtungsmittel am Beispiel eines Fahrzeugscheinwerfers vorgeschlagen.
Auch ist es denkbar, dass es sich bei der Beleuchtungseinheit um eine Beleuchtungseinheit handelt, welche bereits für ande- re Zwecke im Zusammenhang mit der Arbeitsmaschine vorgesehen ist. Beispielsweise kommen bei Arbeitsmaschinen Beleuchtungsquellen häufig zur Anzeige der Fahrtrichtung zum Einsatz. Durch die Nutzung derselben Beleuchtungsquelle für unterschiedliche werden einerseits Kosten eingespart, andererseits wird weniger elektrische Leistung verbraucht, was sich insbesondere bei akkubetriebenen Arbeitsmaschinen vorteilhaft auswirkt . Mit dem erfindungsgemäßen Verfahren lassen sich generell Muster mit beliebigen Formen projizieren. Es erweist sich jedoch besonders vorteilhaft, die Muster derart zu projizieren, dass es sich dabei um definierte symbolische Darstellungen handelt. Insbesondere eignen sich z.B. geometrische Formen wie Kreise, Dreiecke usw. aber auch ist es denkbar Schriftzeichen oder Ziffern zu projizieren. Damit ist es möglich, jeder Arbeitsmaschine ein eindeutiges Muster zur Projektion zuzuord- nen. Personen oder andere Arbeitsmaschinen können somit die projizierten Muster der jeweiligen Arbeitsmaschine leichter zuordnen.
Eine eindeutige Zuordnung der Muster zur Arbeitsmaschine kann beispielsweise aber auch durch die Verwendung unterschiedli- eher Blinkfrequenzen bei der Projektion erreicht werden.
Auch ist es denkbar, dass sich die zu proj izierenden Muster Vollständig über die aus der Blickrichtung der Arbeitsmaschine sichtbare Fläche des Objekts erstreckt und damit auf einen Blick zu erkennen ist. Daneben hat es sich auch bewährt, das Muster nur auf einen Teil der aus der Blickrichtung der Arbeitsmaschine sichtbaren Fläche des Objekts zu projizieren. Somit können bestimmte Informationen an ausgesuchten Positionen (z.B. linke obere E- cke) auf die Objektoberfläche projiziert werden.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung hat es sich bewährt, dass die Projektion der Muster blinkend erfolgt. Insbesondere bei sehr hellen Objekten oder bei strukturierten Projektionsflächen hebt sich eine blinkende Projektion der Muster besser als eine kontinuierliche Projektion vom Hintergrund ab. Eine blinkende Darstellung eines Musters kann aber auch in vorteilhafter Weise mit einem besonderen Ereignis das im Umfeld der Arbeitsmaschine auftritt verknüpft werden. Beispielsweise wenn der Akkumulator einer Arbeitsmaschine nahezu leer ist. Auch eine dynamische Änderung der Blinkfrequenz ist denkbar. So kann beispielsweise nachdem ein Hindernis im Arbeitsablauf erkannt worden ist, dieses zunächst kontinuierlich angeleuchtet werden. Wird das Hindernis nicht entfernt so beginnt die Arbeitsmaschine mit einer automatischen Neuplanung des Arbeitsablaufs. Bis zur tatsächlichen Fortsetzung des geänderten Arbeitsablauf wird das Muster mit einer ansteigenden Blinkfrequenz dargestellt. In Abhängigkeit von der gewählten Lichtquelle ist dazu ein Mittel vorzusehen, welches es ermöglicht die jeweilige Lichtquelle gepulst zu betreiben.
Auch ist es denkbar, dass die Intensität der Beleuchtung aufgrund sich ändernder Umgebungsbedingungen automatisch variiert wird. Eine Änderung der Umgebungsbedingungen kann bedeuten, dass sich die durch das Tageslicht verursachte Hintergrundbeleuchtung ändert. Aber auch Fremdlichtquellen die sich aufgrund von Fertigungsabläufen (z.B. beim Schweißen) ändern oder sich ändernde Lichtquellen anderer Arbeitsmaschinen lassen sich mittels einer automatischen Variation der Intensität der Beleuchtung gut kompensieren. Ein weiterer wesentlicher Punkt ist die Änderung bei der Beschaffenheit der Projekti- onsflache, so kann die Farbe oder die Struktur der Oberfläche auf das mit der Zeigeeinheit gezeigt wird, an verschiedenen Stellen unterschiedlich sein. Solche Unterschiede lassen sich besonders gut durch eine automatische Variation der Beleuchtungsintensität ausgleichen. In diesem Zusammenhang ist ein weiteres Mittel vorzusehen, mit dem derartige Änderungen der Umgebungsbedingungen erfasst werden können, insbesondere eigenen sich dazu Kameras oder Photoelemente.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung wird für die Beleuchtung Licht unterschiedlicher Wellenlängen verwendet. Agieren mehrere autonome Arbeitsmaschine in der selben Umgebung, so kann zur besseren Unterscheidung jeder Arbeitsmaschine eine separate Wellenlänge zugeordnet werden. Dabei sollten die Wellenlängen so gewählt werden, dass deren Unterschied idealerweise mehr als 50nm beträgt, wodurch sich der für ein menschlichen Betrachter sichtbare Wellenlängenbe- reich in eine Vielzahl, noch deutlich unterscheidbare Farben aufteilen lässt .
Es hat sich besonders bewährt, für die Beleuchtung Licht im nicht sichtbaren Wellenlängenbereich, insbesondere im Infraroten zu verwenden. Dadurch wird es möglich, dass sich autonome Systeme gegenseitig ihren Arbeitsablauf zuverlässig anzeigen, wodurch Einflüsse der Umgebungsbeleuchtung minimiert werden. Jedem autonomen System wird dazu vorzugsweise eine feste Wellenlänge im infraroten Bereich zugeordnet. Die Wellenlängen für die jeweiligen Maschinen können dabei sehr dicht beieinander liegen, so dass für eine große Anzahl an Arbeitsmaschinen eindeutig eine Wellenlänge zugeordnet werden kann.
Es hat sich auch bewährt die Beleuchtungsquelle zur Ausleuchtung des Arbeitsbereichs unter Berücksichtigung von Umgebungsbedingungen ein- und auszuschalten. Insbesondere wenn sich weder Personen noch irgendwelche andere autonome Systeme in der Umgebung der Arbeitsmaschine befinden ist es sinnvoll, das für die Projektion verwendete Beleuchtungsmittel auszuschalten und somit Energie einzusparen.
Die im Zusammenhang mit der Zeigeinheit genannten Beleuch- tungsmittel sind z.T. in ihrem Abstrahlwinkel begrenzt und können daher nicht im gesamten Bereich um eine Arbeitsmaschine Licht emittieren. In einer weiteren vorteilhaften Ausgestaltungsform der Erfindung ist deshalb ein zusätzliches Mittel vorgesehen, um automatisch die Lage und/oder die Orien- tierung der Beleuchtungseinheit an der Arbeitsmaschine zu verändern. So ist es erst möglich den gesamten Bereich um eine Arbeitsmaschine auch mit einer eng gebündelten Beleuchtungsquellen abzudecken.
In besonders vorteilhafter Weise kann die Erfindung auch im Zusammenhang mit mobilen Arbeitsmaschinen, insbesondere fahrerlosen Transportsystemen verwendet werden. Damit lassen sich auch in komplexen industriellen Szenarien Interaktionen zwischen Mensch und Arbeitsmaschine als auch zwischen kooperierenden Arbeitsmaschinen wesentlich vereinfachen.

Claims

Patentansprüche
1. Verfahren zum Betrieb an einer Arbeitsmaschine, wobei mittels Sensoren während des Betriebs eine Umgebungserfassung durchgeführt wird, auf deren Grundlage mittels einer Rechnereinheit eine Objekterkennung erfolgt, und wobei unter Berücksichtigung detektierter Hindernisse im Arbeitsbereich der Arbeitsmaschine eine Abschaltung oder eine Um- /Neuplanung des Arbeitsablaufs stattfindet, d a d u r c h g e k e n n z e i c h n e t , dass mittels einer an der Arbeitsmaschine angebrachten Zeigeeinheit zwischen der Arbeitsmaschine und Personen und/oder anderen Arbeitsmaschinen eine optische Kommunikation hergestellt wird, wobei zur optischen Kommunikation mittels einer Beleuchtungseinheit auf sich in der Umgebung der Arbeitsmaschine befindliche Objekte gezielt Muster aufproj iziert werden.
2. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , das es sich bei den Objekten um Hindernisse im Arbeitsbe- reich der Arbeitsmaschine handelt, welche durch Personen und/oder andere Arbeitsmaschinen entfernt werden sollen.
3. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , dass es sich bei den Objekten um Objekte handelt, welche im Zusammenhang mit dem Arbeitsablauf der Arbeitsmaschine stehen, und welche durch Personen und/oder andere Arbeitsmaschinen manipuliert werden sollen.
4. Verfahren nach einem der Ansprüche 1 bis 3 , d a d u r c h g e k e n n z e i c h n e t , dass zur Projektion von Mustern auf Objekte als Beleuchtungseinheit ein Laserstrahl verwendet wird, und der Laserstrahl mit einer rechnergesteuerten Ablenkeinheit gesteuert wird.
5. Verfahren nach einem der Ansprüche 1 bis 3, d a d u r c h g e k e n n z e i c h n e t , dass zur Projektion von Mustern auf Objekte eine Beleuchtungseinheit verwendet wird, welche im Zusammenhang mit einem Array verstellbarer optischer Linsen arbeitet.
6. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass es sich Bei der Beleuchtungseinheit um eine Beleuchtungsquelle handelt, welche bereits für andere Zwecke im Zusammenhang mit der Arbeitsmaschine vorgesehen ist .
7. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass das projizierte Muster einer definierten symbolischen Darstellung entspricht.
8. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass das projizierte Muster sich Vollständig über die aus der Blickrichtung der Arbeitsmaschine sichtbare Fläche des Objekts erstreckt.
Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass das Muster sich nur auf einen Teil der aus der Blickrichtung der Arbeitsmaschine sichtbaren Fläche des Objekts erstreckt.
10. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Projektion des Musters blinkend erfolgt.
11. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Intensität der Beleuchtung aufgrund sich ändernder Umgebungsbedingungen automatisch variiert.
12. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass für die Beleuchtung Licht unterschiedlicher Wellenlängen verwendet wird.
13. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass für die Beleuchtung Licht im nichtsichtbaren Wellenlängenbereich, insbesondere im Infraroten verwendet wird.
14. Verfahren nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Beleuchtungsquelle unter Berücksichtigung von Umgebungsbedingungen ein- und ausgeschaltet wird.
15. Verwendung des Verfahrens nach einem der vorhergehenden Ansprüche im Zusammenhang mit mobilen Arbeitsmaschinen, insbesondere fahrerlosen Transportsystemen.
16. Arbeitsmaschine, umfassend Sensoren mit denen während des Betriebs der Ar- beitsmaschine dynamisch Umgebungsdaten erfasst werden, eine Rechnereinheit mittels der auf der Grundlage der Umgebungsdaten eine Objekterkennung durchgeführt wird, eine Steuereinheit und weitere Mittel vorhanden sind, um unter Berücksichtigung detektierter Hindernisse im Arbeitsbereich der Arbeitsmaschine eine Abschaltung oder eine Um-/Neuplanung des Arbeitsablaufs durchzuführen, d a d u r c h g e k e n n z e i c h n e t , dass die Arbeitsmaschine zu Kommunikationszwecken mit einer Zeigeeinheit versehen ist, wobei die Zeigeeinheit eine Beleuchtungseinheit umfasst, mittels derer die Kommunikation zwischen der Arbeitsma- schine und Personen und/oder anderen Arbeitsmaschinen bewerkstelligt wird, und mittels derer auf sich in der Umgebung der Arbeitsmaschine befindliche Objekte gezielt Muster aufproj iziert werden.
17. Arbeitsmaschine nach Anspruch 16, d a d u r c h g e k e n n z e i c h n e t , dass als optische Beleuchtungseinheit ein Galvanometer- Scanner vorgesehen ist.
18. Arbeitsmaschine nach Anspruch 16, d a d u r c h g e k e n n z e i c h n e t , dass als optische Beleuchtungseinheit ein ein fasergekoppeltes Linsenarray umfassendes Beleuchtungsmittel vorge- sehen ist.
19. Arbeitsmaschine nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die optische Beleuchtungseinheit bereits für andere Zwecke im Zusammenhang mit der Arbeitsmaschine vorgesehen ist .
20. Arbeitsmaschine nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass ein Mittel vorgesehen ist, um das Beleuchtungsmittel gepulst zu betreiben.
21. Arbeitsmaschine nach einem der vorhergehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass ein zusätzliches Mittel vorgesehen ist, um automatisch die Lage und/oder die Orientierung der Beleuch- tungseinheit an der Arbeitsmaschine zu verändern.
22. Verwendung der Zeigeeinheit nach einem der vorhergehenden Ansprüche im Zusammenhang mit mobilen Arbeitsmaschinen, insbesondere fahrerlosen Transportsystemen.
EP03747932A 2002-08-28 2003-08-26 Verfahren und vorrichtung zum betrieb einer zeigeeinheit an einer arbeitsmaschine Withdrawn EP1532500A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10240225A DE10240225A1 (de) 2002-08-28 2002-08-28 Verfahren und Vorrichtung zum Betrieb einer Zeigeeinheit an einer Arbeitsmaschine
DE10240225 2002-08-28
PCT/EP2003/009440 WO2004025385A1 (de) 2002-08-28 2003-08-26 Verfahren und vorrichtung zum betrieb einer zeigeeinheit an einer arbeitsmaschine

Publications (1)

Publication Number Publication Date
EP1532500A1 true EP1532500A1 (de) 2005-05-25

Family

ID=31895623

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03747932A Withdrawn EP1532500A1 (de) 2002-08-28 2003-08-26 Verfahren und vorrichtung zum betrieb einer zeigeeinheit an einer arbeitsmaschine

Country Status (5)

Country Link
US (1) US20050237020A1 (de)
EP (1) EP1532500A1 (de)
JP (1) JP2005537146A (de)
DE (1) DE10240225A1 (de)
WO (1) WO2004025385A1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7236625B2 (en) 2003-07-28 2007-06-26 The Boeing Company Systems and method for identifying foreign objects and debris (FOD) and defects during fabrication of a composite structure
US8934702B2 (en) 2003-12-02 2015-01-13 The Boeing Company System and method for determining cumulative tow gap width
US7289656B2 (en) 2003-12-02 2007-10-30 The Boeing Company Systems and methods for determining inconsistency characteristics of a composite structure
US7193696B2 (en) 2004-04-12 2007-03-20 United Technologies Corporation Systems and methods for using light to indicate defect locations on a composite structure
US20060108048A1 (en) 2004-11-24 2006-05-25 The Boeing Company In-process vision detection of flaws and fod by back field illumination
US7424902B2 (en) 2004-11-24 2008-09-16 The Boeing Company In-process vision detection of flaw and FOD characteristics
US7889907B2 (en) 2005-01-12 2011-02-15 The Boeing Company Apparatus and methods for inspecting tape lamination
US7372556B2 (en) 2005-10-31 2008-05-13 The Boeing Company Apparatus and methods for inspecting a composite structure for inconsistencies
US7435947B2 (en) 2005-10-31 2008-10-14 The Boeing Company Apparatus and methods for integrating encoding functions in material placement machines
DE102010026479A1 (de) * 2010-07-07 2012-01-12 Frank Kellershohn Anzeigesystem für eine Steuerung einer Industrieanlage
CN104995573B (zh) 2013-02-25 2018-04-13 Abb 技术有限公司 用于监视并控制工业过程的方法和装置
JP5673716B2 (ja) * 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
DE102014012186A1 (de) * 2014-08-20 2016-02-25 Sig Technology Ag Verarbeitungsanlage, Verfahren zum Betreiben einer Verarbeitungsanlage und Verwendung einer Verarbeitungsanlage
JP2021131234A (ja) * 2020-02-18 2021-09-09 富士フイルムビジネスイノベーション株式会社 発光装置およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973838A (en) * 1981-04-24 1990-11-27 The United States Of America As Represented By The Secretary Of The Navy Pulsed laser beam deviation apparatus
AT391903B (de) * 1989-01-26 1990-12-27 Plasser Bahnbaumasch Franz Fahrbare gleisbearbeitungsmaschine mit einer einrichtung zur steuerung der arbeits-position ihrer arbeits-aggregate bzw. -werkzeuge
JPH1010233A (ja) * 1996-06-24 1998-01-16 Mitsui Eng & Shipbuild Co Ltd レーザ式障害物検知方法およびセンサ
DE19630823C1 (de) * 1996-07-31 1997-12-11 Zeiss Carl Fa Koordinatenmeßgerät mit Kollisionsschutz
AU6894100A (en) * 1999-08-06 2001-03-05 Roadrisk Technologies, Llc Methods and apparatus for stationary object detection
EP1083076A3 (de) * 1999-09-07 2005-01-12 Mazda Motor Corporation Anzeigegerät für Fahrzeug
JP2003057360A (ja) * 2001-08-09 2003-02-26 Keyence Corp 多光軸光電式安全装置
DE10327600A1 (de) * 2003-06-18 2005-01-27 Siemens Ag Vorrichtung und Verfahren zur Kollisionsüberwachung einer Maschinenkomponente mit einem Werkstück oder anderen Maschinenkomponenten

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004025385A1 *

Also Published As

Publication number Publication date
WO2004025385A1 (de) 2004-03-25
US20050237020A1 (en) 2005-10-27
JP2005537146A (ja) 2005-12-08
DE10240225A1 (de) 2004-03-25

Similar Documents

Publication Publication Date Title
WO2004024497A1 (de) Verfahren und vorrichtung zum betrieb einer anzeigeeinrichtung an einer arbeitsmaschine
EP1532500A1 (de) Verfahren und vorrichtung zum betrieb einer zeigeeinheit an einer arbeitsmaschine
EP3383595B1 (de) Darstellung variabler schutzfelder
DE102018206087B4 (de) Verfahren zur Kommunikation eines Kraftfahrzeugs mit einem Verkehrsteilnehmer sowie Kraftfahrzeug zur Durchführung des Verfahrens
DE102015201767B4 (de) Verfahren zum Erzeugen einer Lichtverteilung zur Ausgabe einer Fahranweisung für ein anderes Fahrzeug
EP3781439B1 (de) Verfahren zur kommunikation eines kraftfahrzeugs mit einem verkehrsteilnehmer sowie kraftfahrzeug zur durchführung des verfahrens
EP3781438B1 (de) Verfahren zur kommunikation eines kraftfahrzeugs mit einem verkehrsteilnehmer sowie kraftfahrzeug zur durchführung des verfahrens
EP3140087B1 (de) Warnverfahren und robotersystem
WO2017158044A1 (de) Kraftfahrzeug mit wenigstens einem scheinwerfer
DE102015016375A1 (de) System und Verfahren zur objektbasierten Ansteuerung eines hochauflösenden Scheinwerfers für ein Kraftfahrzeug
EP3592606B1 (de) Kraftfahrzeug mit einem beleuchtungsmodul zur generierung einer symbolik
DE102009051485A1 (de) Verfahren und Vorrichtung zur Steuerung eines Fahrlichts eines Fahrzeugs
DE102017200781A1 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Vermeidung von Verkehrsunfällen
EP3663252A1 (de) Verfahren zum betreiben eines autonomen flurförderzeugs und intralogistisches system mit einem autonomen flurförderzeug
DE102016001207B4 (de) Kraftfahrzeug
EP3242815B1 (de) Verfahren und fahrerassistenzsystem zum unterstützen eines fahrers eines fahrzeugs
DE102016001201B4 (de) Kraftfahrzeug
EP3865257A1 (de) Einrichtung und verfahren zur überwachung und steuerung eines technischen arbeitssystems
EP3609741B1 (de) Fahrzeugscheinwerfer sowie verfahren zur unterstützung eines einparkvorganges
EP0947898A2 (de) Verfahren und Vorrichtung zum Steuern eines beweglichen Gegenstandes
DE102016001202B4 (de) Kraftfahrzeug
DE102017007761A1 (de) Vorrichtung zur kamerabasierten Umgebungserfassung für ein Fahrzeug und Steuerungsverfahren hierfür
DE102016001205B4 (de) Kraftfahrzeug
EP3088248B1 (de) Verfahren zum betreiben einer beleuchtungseinrichtung eines kraftfahrzeugs und beleuchtungseinrichtung für ein kraftfahrzeug
DE102020101020A1 (de) Kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20041216

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

RBV Designated contracting states (corrected)

Designated state(s): DE FR GB

GRAC Information related to communication of intention to grant a patent modified

Free format text: ORIGINAL CODE: EPIDOSCIGR1

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20060921