EP0661108A2 - Verfahren zum optischen Sortieren von Schüttgut - Google Patents

Verfahren zum optischen Sortieren von Schüttgut Download PDF

Info

Publication number
EP0661108A2
EP0661108A2 EP94250285A EP94250285A EP0661108A2 EP 0661108 A2 EP0661108 A2 EP 0661108A2 EP 94250285 A EP94250285 A EP 94250285A EP 94250285 A EP94250285 A EP 94250285A EP 0661108 A2 EP0661108 A2 EP 0661108A2
Authority
EP
European Patent Office
Prior art keywords
color
test material
rejects
values
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP94250285A
Other languages
English (en)
French (fr)
Other versions
EP0661108B1 (de
EP0661108A3 (de
Inventor
Wolfgang Dr. Graudejus
Eberhard Briem
Wilhelm Dr. Hättich
Heribert Dr. Geisselmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reemtsma Cigarettenfabriken GmbH
Original Assignee
HF and PhF Reemtsma GmbH and Co
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HF and PhF Reemtsma GmbH and Co, Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical HF and PhF Reemtsma GmbH and Co
Publication of EP0661108A2 publication Critical patent/EP0661108A2/de
Publication of EP0661108A3 publication Critical patent/EP0661108A3/de
Application granted granted Critical
Publication of EP0661108B1 publication Critical patent/EP0661108B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/363—Sorting apparatus characterised by the means used for distribution by means of air
    • B07C5/365—Sorting apparatus characterised by the means used for distribution by means of air using a single separation means
    • B07C5/366—Sorting apparatus characterised by the means used for distribution by means of air using a single separation means during free fall of the articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S209/00—Classifying, separating, and assorting solids
    • Y10S209/939—Video scanning

Definitions

  • the invention relates to a method for the optical sorting of bulk material according to the preamble of patent claim 1.
  • test material is conveyed on tapes and its image is recorded for testing with a diode line camera or a television camera.
  • the signal is preferably recorded in flight, e.g. the test material is transferred from one belt to another belt.
  • the test material can be examined from several sides with a defined background.
  • the color is also recorded during image acquisition.
  • the color is used to detect conspicuous areas in the image.
  • the image of the test item is evaluated in step-by-step with the image scanning, so that a test item can be classified immediately after it has passed through the measuring station. This makes it possible to eject the parts in flight using flaps or air nozzles.
  • a disadvantage of the known methods is that the detection rate for color-heterogeneous products is low if the detection of conspicuous pixels is limited to the detection of color values that are not contained in the product because there are many different color values in the product. If the detection is expanded to include color values which are also contained in the product, an unbearably high proportion of the error-free product is generally detected as a reject even when extending to colors which rarely occur in the product.
  • the light of each pixel is blocked by color filters in front of the detection elements of a line e.g. broken down into the three color components red (R), green (G) and blue (B). It is thereby achieved that a detection of conspicuous pixels (points with color values which rarely occur in the fault-free product) is possible by evaluating the color values (intensities of the respective color components) measured by the line elements. The geometry is then evaluated in terms of local clusters of conspicuous pixels.
  • the entire range of possible color values in the color space is divided into several sub-areas, the color space being spanned by the different color components that are measured for each pixel.
  • the three color components red, green and blue form a three-dimensional color space.
  • Allow classifiers ie means for evaluating the measured values on the basis of predetermined criteria a classification of the measured color values, with a classifier concentrating on only one sub-area and thereby recognizing detection areas in this sub-area for the color-heterogeneous product, that is, coherent areas of conspicuous pixels.
  • the reject part is detected as a relatively large area of pixels of the color values of the selected sub-area and can be recognized by the classifier by evaluating this detection area.
  • the defect-free product within such a sub-area large areas of conspicuous pixels are generally found only in rare cases, and the number of incorrect detections thus remains small. This improvement in the classification is used in practical application by dividing the committee into typical classes and setting up a classifier for each class, with the classifiers working in parallel during the test.
  • the distribution of their color values is learned in the sub-areas in which reject parts are suspected by showing reject parts.
  • the bulk material preferably moves in flight past an observation head with a light source and a product signal receiver arranged in the vicinity of the light source.
  • the reflected light from each pixel of the test material is transmitted through different color filters of adjacent line elements of a camera line, e.g. a CCD line, the receiver divided into the three colors red (R), green (G) and blue (B).
  • the line elements thus measure the brightness of the pixels, also called color values, in their respective spectral ranges. This results in a three-dimensional distribution of color values, the evaluation of which is discussed below using one-dimensional examples.
  • the test material is measured without rejects in a pre-learning process and the frequency distribution 1 of the color values is determined.
  • the test material is also measured without rejects and in a first step a color value range for good test material is determined by placing a threshold 2 based on experience on the frequency distribution 1 of the color values, the intersection between the threshold 2 and the curve of the frequency distribution being derived from the intersection points 1 result in the limits of the test material color value range.
  • threshold 2 With the selected setting of threshold 2, pixels will also appear in the case of the error-free test material, which are classified as conspicuous. However, these pixels would erroneously serve as a committee if they clustered into large areas classified. Experience has shown that such an agglomeration in turn occurs preferentially in certain color value ranges. In order to measure these color value ranges, a large area detected in the error-free test material is stored in the learning process and the distribution of its color values is measured. This distribution is introduced as threshold 3 after standardization.
  • the color value ranges of the product are divided into sub-ranges.
  • each of the classifiers A, B and C working in parallel concentrates only on one sub-area. If the color components of the color-homogeneous reject part are preferably in the selected sub-area, the reject part is detected as a relatively large area and can be recognized by evaluating the detection areas.
  • the distributions of the color values of these large areas are measured and introduced as thresholds after their normalization. All color values at which these thresholds 4, 5 and 6 exceed the color value distribution 1 of the test material parts are interpreted as rejects and lead to an error detection.
  • the defect-free product large-area detection areas are detected in a color value range covered by a classifier, and the defect-free product is thus classified as a reject.
  • these color values in particular, which lead to large-area detection areas in the fault-free product area are learned and recognized as good test material by changing the thresholds.
  • the threshold 8 shows the Color value distribution of a reject part. Within the color value range determined by threshold 8, error-free test material is classified as a reject.
  • the color value distribution of this large-area detection area is measured in the error-free test material and introduced as a threshold 7 after standardization. All color values at which the threshold 7 exceeds the threshold 8 of the reject part are interpreted as belonging to the test material and thus do not lead to an error detection.
  • the classification system is doubled.
  • One system takes over the test task, while the other system measures the current color value distribution of the product.
  • the measurement of the current color value distribution is monitored by the checking classifier so that no color values of the rejects are recorded during this measurement.
  • the learning classifier with the newly measured distribution is activated for the test task, while the classifier which has been set to test so far takes over the learning task.
  • the test object When the signal is recorded, the test object is illuminated, for example, by two lamps from the direction of the line scan camera.
  • the optical axis of the line scan camera lies between the two lamps.
  • test material is taken up lying on the conveyor belt.
  • the tape is not of a uniform color due to dirt and wear.
  • shadows form on the conveyor belt, which leads to a significant expansion of the color value distribution when measuring the error-free test material. For this reason, the test material is observed in flight.
  • the background has the color of the test material, which has the advantage that the contrast between the background and the test material is low and therefore the color value distribution of the test material is not significantly expanded by edge effects at the transition from the background to the test material.
  • This variant provides the best results in terms of color and spatial resolution.
  • the background as a rotating roller, which immediately throws away deposits.
  • the shadow of the test material on the background becomes diffuse and, depending on the bulk density, harmless if the rotating roller is installed at a suitable distance from the test material.
  • the background can be a cylindrical emitter that emits the color of the test material and is surrounded by a transparent rotating roller that throws away the deposits.
  • the background is a dark hole, which has the advantage that the test material can be segmented from the background and there is no impairment due to dirt and shadows.
  • segmentation of the test material for example, the form for separating good parts and rejects can be used.
  • the line scan camera looks into this container through a slit.
  • the width of the slot is adapted to the aperture and focal length of the camera lens and to the distance to the focus plane.
  • the light of each pixel is broken down into the three colors red (R), green (G) and blue (B).
  • the color components are not ideally measured at the same location, but rather at different locations.
  • the color sensors are even located side by side, so that the color sensors see different spatial areas of the measurement object with respect to a pixel.
  • the color sensors (R, G, B) are arranged horizontally, while the measurement object moves past this horizontal line from top to bottom.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Sorting Of Articles (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Epoxy Compounds (AREA)
  • Treatment Of Sludge (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum optischen Sortieren von Schüttgut in einer Farbsortiermaschine, indem dieses über ein Transportband gefördert wird und sich an einem Beobachtungskopf mit einer Lichtquelle und einem in der Nähe der Lichtquelle angeordneten Produktsignalempfänger vorbeibewegt, wobei das reflektierte Licht der Bildpunkte des Prüfgutes durch verschiedene Farbfilter nebeneinanderliegender Nachweiselemente einer Zeile des Empfängers in mehrere Spektralbereiche zerlegt und das Prüfgut aufgrund der Farbwerte (Meßwert der Intensität in der jeweiligen Farbe) sortiert wird. Erfindungsgemäß ist zur Verbesserung der Detektionsrate vorgesehen, daß bei mit Ausschußteilen versetztem Prüfgut jeweils die Farbwerte des Produktes in mehreren ausgewählten Unterbereichen untersucht werden, indem in jedem Unterbereich ein Klassifikator zusammenhängende Flächen von Bildpunkten mit in den jeweiligen Unterbereich fallenden Farbwerten ermittelt und nach vorgegebenen Kriterien aus der Geometrie und der Größe dieser Detektionsflächen eine Klassifizierung durchführt.

Description

  • Die Erfindung betrifft eine Verfahren zum optischen Sortieren von Schüttgut gemäß Oberbegriff des Patentanspruchs 1.
  • Es ist bereits bekannt, daß Prüfgut auf Bändern gefördert und dessen Bild zur Prüfung mit einer Diodenzeilenkamera oder einer Fernsehkamera aufgenommen wird. Die Signalaufnahme erfolgt vorzugsweise im Flug, wenn z.B. das Prüfgut von einem Band auf ein anderes Band übergesetzt wird. Bei der Signalaufnahme im Flug kann das Prüfgut von mehreren Seiten bei definiertem Hintergrund begutachtet werden.
  • Bei der Bildaufnahme wird bei modernen Anlagen auch die Farbe erfaßt. Dabei wird die Farbe dazu genutzt, auffällige Gebiete im Bild zu detektieren.
  • Das Bild des Prüfgutes wird schritthaltend mit der Bildabtastung ausgewertet, so daß unmittelbar nach Durchlauf eines Prüfteils durch die Meßstation dieses klassifiziert werden kann. Damit ist eine Ausschleusung der Teile im Flug mittels Klappen oder Luftdüsen möglich.
  • Ein Nachteil der bekannten Verfahren besteht darin, daß die Detektionsrate bei farblich heterogenen Produkten gering ist, wenn man sich bei der Detektion auffälliger Bildpunkte auf die Detektion von Farbwerten beschränkt, die nicht im Produkt enthalten sind, weil sehr viele unterschiedliche Farbwerte im Produkt vorkommen. Erweitert man die Detektion auf Farbwerte, die auch im Produkt enthalten sind, wird im allgemeinen schon bei Erweiterungen auf selten im Produkt vorkommende Farben ein unerträglich hoher Anteil des fehlerfreien Produktes als Ausschuß detektiert.
  • Es ist Aufgabe der Erfindung, das Verfahren zum optischen Sortieren von Schüttgut dahingehend zu verbessern, daß bei farblich heterogenem Schüttgut zu detektierende Fremdkörper mit einer sehr geringen Fehlerquote erkannt werden.
  • Zur Lösung dieser Aufgabe dient das Verfahren mit den kennzeichnenden Merkmalen des Patentanspruchs 1.
  • Bei der Bildaufnahme wird das Licht jedes Bildpunktes durch Farbfilter vor den Nachweis-Elementen einer Zeile z.B. in die drei Farbkomponenten rot (R), grün (G) und blau (B) zerlegt. Dadurch wird erreicht, daß eine Detektion auffälliger Bildpunkte (Punkte mit Farbwerten, die selten im fehlerfreien Produkt vorkommen) durch Auswertung der von den Zeilenelementen gemessenen Farbwerte (Intensitäten der jeweiligen Farbkomponenten) möglich ist. Anschließend wird eine Auswertung der Geometrie in Hinblick auf lokale Anhäufungen von auffälligen Bildpunkten durchgeführt.
  • Zunächst wird die gesamte Bandbreite der möglichen Farbwerte im Farbraum in mehrere Unterbereiche unterteilt, wobei der Farbraum durch die verschiedenen Farbkomponenten aufgespannt wird, die für jeden Bildpunkt gemessen werden. Beispielsweise wird durch die drei Farbkomponenten rot, grün und blau ein dreidimensionaler Farbraum gebildet. Klassifikatoren, d.h. Mittel zum Auswerten der Meßwerte aufgrund vorgegebener Kriterien, erlauben eine Klassifizierung der gemessenen Farbwerte, wobei sich ein Klassifikator nur auf einen Unterbereich konzentriert und dabei in diesem Unterbereich bei dem farblich heterogenen Produkt Detektionsflächen erkennt, also zusammenhängende Flächen von auffälligen Bildpunkten.
  • Liegen die Farbwerte eines farblich homogenen Ausschußteils bevorzugt in dem ausgewählten Unterbereich, wird das Ausschußteil als relativ großflächiges Gebiet von Bildpunkten der Farbwerte des ausgewählten Unterbereichs detektiert und kann durch Auswertung dieser Detektionsfläche vom Klassifikator erkannt werden. Andererseits werden bei dem fehlerfreien Produkt innerhalb eines solchen Unterbereiches im allgemeinen nur in seltenen Fällen großflächige Gebiete von auffälligen Bildpunkten gefunden, und damit bleibt die Zahl der Fehldetektionen gering. Diese Verbesserung in der Klassifikation nutzt man in der praktischen Anwendung dadurch, daß der Ausschuß in typische Klassen unterteilt und für jede Klasse ein Klassifikator eingerichtet wird, wobei die Klassifikatoren bei der Prüfung parallel arbeiten.
  • In einem bevorzugten Ausführungsbeispiel wird in den Unterbereichen, in denen Ausschußteile vermutet werden, durch Vorzeigen von Ausschußteilen die Verteilung derer Farbwerte gelernt.
  • Die Erfindung wird im folgenden anhand von Zeichnungen näher erläutert:
    • Fig. 1
    zeigt beispielhaft eine eindimensionale Farbwertverteilung mit den Bereichen für gutes Prüfgut.
    Fig. 2
    zeigt ein eindimensionales Beispiel zur Klassifizierung mit parallelen Klassifikatoren bei der Erkennung von Ausschuß, dessen Farbwerte sich mit den Farbwerten des Produktes überlappen.
    Fig. 3
    zeigt ein eindimensionales Beispiel zur Korrektur eines Klassifikators durch das Nachlernen.
    Fig. 4
    zeigt ein Beispiel für die Farbverfälschung an Objektkanten bei Verwendung einer Kamera mit Bildpunkten, bei denen die Farbsensoren nebeneinander liegen.
  • In einer Farbsortiermaschine bewegt sich das Schüttgut bevorzugt im Flug an einem Beobachtungskopf mit einer Lichtquelle und einem in der Nähe der Lichtquelle angeordneten Produktsignalempfänger vorbei. Das reflektierte Licht jedes Bildpunktes des Prüfgutes wird durch verschiedene Farbfilter nebeneinanderliegender Zeilenelemente einer Kamerazeile, z.B. einer CCD-Zeile, des Empfängers in die drei Farben rot (R), grün (G) und blau (B) zerlegt. Die Zeilenelemente messen somit in ihren jeweiligen Spektralbereichen die Helligkeiten der Bildpunkte, auch Farbwerte genannt. Somit ergibt sich eine dreidimensionale Verteilung von Farbwerten, deren Auswertung im folgenden anhand von eindimensionalen Beispielen diskutiert wird.
  • Bezogen auf Fig. 1 wird in einem Vorlernprozeß das Prüfgut ohne Ausschußteile vermessen und die Häufigkeitsverteilung 1 der Farbwerte ermittelt.
  • In einem Nachlernprozeß wird ebenfalls das Prüfgut ohne Ausschußteile vermessen und in einem ersten Schritt ein Farbwertbereich für gutes Prüfgut festgelegt, indem eine erfahrungsgemäße Schwelle 2 über die Häufigkeitsverteilung 1 der Farbwerte gelegt wird, wobei sich aus den Schnittpunkten zwischen der Schwelle 2 und der Kurve der Häufigkeitsverteilung 1 die Grenzen des Prüfgutfarbwertbereiches ergeben.
  • Bei der gewählten Einstellung von Schwelle 2 werden auch beim fehlerfreien Prüfgut Bildpunkte vorkommen, die als auffällig eingestuft werden. Diese Bildpunkte würden aber, wenn sie sich zu großflächigen Gebieten zusammenballen, irrtümlich als Ausschuß klassifiziert. Die Erfahrung zeigt nun, daß eine solche Ballung wiederum bevorzugt in gewissen Farbwertbereichen vorkommt. Um diese Farbwertbereiche zu messen, werden in dem Nachlernprozeß ein im fehlerfreien Prüfgut detektiertes großflächiges Gebiet abgespeichert und die Verteilung dessen Farbwerte gemessen. Diese Verteilung wird nach einer Normierung als Schwelle 3 eingeführt. Alle Farbwerte, bei denen die Schwelle 3 die Farbwertverteilung 1 der Prüfgutteile übersteigt, d.h. die Farbwerte in dem Intervall zwischen den Schnittpunkten der Schwelle 3 mit der Kurve der Farbwertverteilung 1, werden als dem Prüfgut zugehörig interpretiert und führen damit nicht zu einer Fehlerdetektion.
  • Bei der Messung von mit Ausschußteilen versetztem Prüfgut werden die Farbwertbereiche des Produktes in Unterbereiche eingeteilt. Bezogen auf Fig. 2 konzentriert sich bei diesem Beispiel jeder der parallel arbeitenden Klassifikatoren A, B und C nur auf einen Unterbereich. Liegen die Farbanteile des farblich homogenen Ausschußteils bevorzugt in dem ausgewählten Unterbereich, wird das Ausschußteil als relativ großflächiges Gebiet detektiert und kann durch Auswertung der Detektionsflächen erkannt werden. Auch hier werden die Verteilungen der Farbwerte dieser großflächigen Gebiete gemessen und nach ihrer Normierung als Schwellen eingeführt. Alle Farbwerte, bei denen diese Schwellen 4, 5 und 6 die Farbwertverteilung 1 der Prüfgutteile übersteigen, werden als Ausschuß interpretiert und führen zu einer Fehlerdetektion.
  • Es ist ebenfalls möglich, daß bei einem fehlerfreien Produkt großflächige Detektionsgebiete in einem durch einen Klassifikator abgedeckten Farbwertbereich detektiert werden und somit das fehlerfreie Produkt als Ausschuß klassifiziert wird. In einem weiteren Nachlernprozeß werden speziell diese Farbwerte, die zu großflächigen Detektionsgebieten im fehlerfreien Produktbereich führen, gelernt und durch Veränderung der Schwellen als gutes Prüfgut erkannt. Bezogen auf Fig. 3 zeigt die Schwelle 8 die Farbwertverteilung eines Ausschußteils. Innerhalb des durch die Schwelle 8 bestimmten Farbwertbereiches wird fehlerfreies Prüfgut als Ausschuß klassifiziert. Durch den Nachlernprozeß wird die Farbwertverteilung dieses großflächigen Detektionsgebietes im fehlerfreien Prüfgut gemessen und nach einer Normierung als Schwelle 7 eingeführt. Alle Farbwerte, bei denen die Schwelle 7 die Schwelle 8 des Ausschußteils übersteigt, werden als dem Prüfgut zugehörig interpretiert und führen damit nicht zu einer Fehlerdetektion.
  • Nach dem Lernen wird zur automatischen Prüfung des Produktes übergegangen.
  • Bei der Prüfung, die sich über Tage hinziehen kann, ist mit systematischen driftartigen Veränderungen des Produktes zu rechnen. Diese Änderungen führen zu einer mit der Zeit nachlassenden Systemleistung. Um dies zu vermeiden, wird das Klassifikationssystem verdoppelt. Ein System übernimmt die Prüfaufgabe, während das andere System die aktuelle Farbwertverteilung des Produktes mißt. Die Messung der aktuellen Farbwertverteilung wird durch den prüfenden Klassifikator überwacht, damit bei dieser Messung keine Farbwerte des Ausschusses erfaßt werden. Nach Erfassung einer repräsentativen Zahl von Meßwerten wird der lernende Klassifikator mit der neu gemessenen Verteilung für die Prüfaufgabe aktiviert, während der bis jetzt auf Prüfen eingestellte Klassifikator die Lernaufgabe übernimmt.
  • Diese Anpassung ist nur möglich, wenn ein detektierter, als auffällig eingestufter Farbpunkt nicht in jedem Fall zu einer Ausschußentscheidung führt. Würde ein detektierter Farbpunkt immer zu einer Ausschußentscheidung führen, könnte der lernende Klassifikator keine neuen Farbwerte übernehmen, da bei einer Ausschußentscheidung die neu gelernte Farbwertverteilung verworfen wird. Da bei dem System aber detektierte Farbpunkte nur dann als Ausschuß klassifiziert werden, wenn sie eine größere zusammenhängende Fläche bilden, kann die gemessene Häufigkeit auch bei detektierten Farbwerten angepaßt werden. Umgekehrt kann das System mit dieser Anpassung zum Ausschuß gehörende Farbwerte detektieren, die bei einer früheren Messung in der Farbwertverteilung des Produktes vertreten waren und bei der aktuell gemessenen Verteilung nicht mehr enthalten sind.
  • Bei der Signalaufnahme wird das Prüfgut beispielsweise von zwei Lampen aus Richtung der Zeilenkamera beleuchtet. Zwischen den beiden Lampen liegt die optische Achse der Zeilenkamera. Bei dieser Anordnung kommt der Gestaltung des Hintergrundes eine wesentliche Bedeutung zu, weil der Hintergrund die Farbwertverteilung des fehlerfreien Produktes möglichst nicht erweitern sollte. Eine Erweiterung würde die Detektionsleistung senken.
  • Diese Forderung läßt sich nicht verwirklichen, wenn das Prüfgut auf dem Transportband liegend aufgenommen wird. Wegen Verschmutzung und Abnutzung hat das Band keine einheitliche Farbe. Zusätzlich bilden sich Schatten auf dem Transportband aus, was insgesamt zu einer wesentlichen Erweiterung der Farbwertverteilung beim Messen des fehlerfreien Prüfgutes führt. Aus diesem Grund wird das Prüfgut im Flug beobachtet.
  • In einer ersten Ausführungsvariante hat der Hintergrund die Farbe des Prüfgutes, was den Vorteil hat, daß der Kontrast zwischen Hintergrund und Prüfgut gering ist und daher die Farbwertverteilung des Prüfgutes durch Randeffekte am Übergang vom Hintergrund zu Prüfgut nicht wesentlich erweitert wird. Diese Ausführungsvariante liefert hinsichtlich Farb- und Ortsauflösung die besten Ergebnisse.
  • Der Nachteil der Verschmutzung wird vermieden, indem der Hintergrund als rotierende Rolle ausgeführt wird, welche Ablagerungen sofort wegschleudert. Der Schatten des Prüfgutes auf dem Hintergrund wird diffus und je nach Schüttungsdichte unschädlich, wenn die rotierende Rolle in einem angepaßten Abstand zum Prüfgut installiert wird. Bei großer Schüttungdichte des Prüfgutes wird eine zu starke Abdunkelung des Hintergrundes durch eine zusätzliche Beleuchtung des Hintergrundes vermieden. Alternativ kann der Hintergrund ein zylindrischer Strahler sein, der in der Farbe des Prüfgutes strahlt und von einer transparenten rotierenden Rolle umgeben ist, welche die Ablagerungen wegschleudert.
  • In einer zweiten Ausführungsvariante ist der Hintergrund ein dunkles Loch, was den Vorteil hat, daß sich das Prüfgut vom Hintergrund segmentieren läßt und keine Beinträchtigung durch Verschmutzung und Schattenbildung entsteht. Bei einer Segmentierung des Prüfgutes kann zum Beispiel die Form zur Trennung von Gutteilen und Ausschuß genutzt werden.
  • Zur Realisierung des dunklen Loches wird ein möglichst großer Behälter mit reflektionsarmen Wandungen gebaut. Die Zeilenkamera blickt durch einen Schlitz in diesen Behälter. Der Schlitz ist hinsichtlich seiner Breite an Blende und Brennweite des Kameraobjektivs sowie an den Abstand zur Schärfeebene angepaßt.
  • Bei der Bildaufnahme wird das Licht jedes Bildpunktes in die drei Farben rot (R), grün (G) und blau (B) zerlegt. Abhängig von dem gewählten Abtastprinzip und der Justage der Kamera werden die Farbkomponenten nicht idealerweise am gleichen Ort, sondern ortsversetzt gemessen. Bei gängigen Farbkameras liegen die Farbsensoren sogar örtlich nebeneinander, so daß die Farbsensoren hinsichtlich eines Bildpunktes unterschiedliche Ortsbereiche des Meßobjektes sehen. Bezogen auf Fig. 4 sind die Farbsensoren (R, G, B) waagerecht angeordnet, während sich das Meßobjekt von oben nach unten an dieser waagerechten Zeile vorbeibewegt. Der Hintergrund erzeugt in diesem Beispiel bei den jeweiligen Farbsensoren die Signalpegel R = 0, G = 0 und B = 0, während das Meßobjekt die Signalpegel R = 100, G = 50 und B = 20 bewirkt. In Fig. 4 mißt hier nur das Sensor-Tripel Xn, Yn die richtige Farbe des Meßobjektes. Bei allen anderen Tripeln werden Farbwerte gemessen, die mindestens einen Farbwert enthalten, der dunkler als der entsprechende Farbwert des Prüfgutes ist. So mißt zum Beispiel das Tripel Xn, Yn-1 die Pegel R = 50, G = 25 und B = 10. Um diese Störungen zu vermeiden, werden Bildpunkte, deren Farbwerte um einen einstellbaren Faktor dunkler als die des entsprechenden Nachbarpunktes sind, unterdrückt, indem die Signalpegel gespeichert werden und ein Vergleich der horizontalen und vertikalen Nachbarpunkte durchgeführt wird.

Claims (10)

  1. Verfahren zum optischen Sortieren von mit Ausschußteilen versetztem Schüttgut, wie Agrarprodukten, Arzneimittel, Erzen, etc. in einer Farbsortiermaschine, indem dieses über ein Transportband gefördert wird und sich an einem Beobachtungskopf mit einer Lichtquelle und einem in der Nähe der Lichtquelle angeordneten Produktsignalempfänger vorbeibewegt, wobei das reflektierte Licht der Bildpunkte des Prüfgutes durch verschiedene Farbfilter nebeneinanderliegender Nachweiselemente einer Zeile des Empfängers in mehrere Farbkomponenten zerlegt und das Prüfgut aufgrund der den gemessenen Intensitäten der jeweiligen Farbkomponenten entsprechenden Farbwerte sortiert wird, dadurch gekennzeichnet, daß jeweils die Farbwerte des Produktes in mehreren ausgewählten Unterbereichen des Farbraums untersucht werden, indem in jedem Unterbereich ein Klassifikator zusammenhängende Flächen von Bildpunkten mit in den jeweiligen Unterbereich fallenden Farbwerten ermittelt und nach vorgegebenen Kriterien aus der Geometrie und der Größe dieser Detektionsflächen eine Klassifizierung durchführt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
    - daß in einem Vorlernprozeß das Prüfgut ohne Ausschußteile vermessen und dessen Farbwert-Häufigkeitsverteilung abhängig von der Farbe ermittelt wird;
    - daß in einem Nachlernprozeß in einem ersten Schritt bei Verwendung von Prüfgut ohne Ausschußteile ein Farbwertbereich für gutes Prüfgut festgelegt wird, indem jeweils eine erfahrungsgemäße Schwelle über die Häufigkeitsverteilung der Farbwerte gelegt wird, wobei sich aus den Schnittpunkten zwischen der Schwelle und der Kurve der Häufigkeitsverteilung die Grenzen des Prüfgutfarbwertbereiches ergeben;
    - daß in dem Nachlernprozeß bei Verwendung von Prüfgut ohne Ausschußteile farbabhängig fremdkörperverdächtige Meßwerte, die nach den Grenzen des Prüfgutfarbwertbereiches des ersten Schrittes des Nachlernprozesses irrtümlich als Ausschuß klassifiziert würden, ermittelt werden und die Größe der örtlichen Ballung dieser Meßwerte bestimmt wird; und
    - daß in dem Nachlernprozeß bei Verwendung von Prüfgut ohne Ausschußteile bei Überschreiten einer vorgegebenen Größe dieser örtlichen Ballung von fremdkörperverdächtigen Meßwerten die Schwellenwertentscheidung des ersten Schrittes des Nachlernprozesses farbabhängig so geändert wird, daß für diese Meßwerte auf gutes Prüfgut entschieden wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bei Prüfung des mit Ausschußteilen versetzten Prüfgutes die parallel arbeitenden Klassifikatoren nur Unterbereiche des Farbraums analysieren, in denen Ausschußteile vermutet werden.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß in den Unterbereichen des Farbraums, in denen Ausschußteile vermutet werden, durch Vorzeigen von Ausschußteilen deren Farbwertverteilung gelernt wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Prüfung des mit Ausschußteilen versetzten Prüfgutes mit einem ersten Klassifikationssystem erfolgt, während die aktuelle Häufigkeitsverteilung der Farbwerte des Prüfgutes zur Anpassung an systematische driftartige Änderungen des Prüfgutes mit einem zweiten Klassifikationssystem gemessen wird, wobei die Messung vom prüfenden ersten Klassifikator überwacht wird, damit bei der Messung keine Ausschußwerte erfaßt werden.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß sich beide Klassifikationssysteme in ihrer Funktion abwechseln.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß durch Vergleich von Farbsignalen benachbarter Bildpunkte große Gradienten und diese im allgemeinen gestörten Farbwerte bei der Messung nicht berücksichtigt werden.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Sortieren des Gutes im Flug erfolgt, wenn das Gut beispielsweise von einem Band auf ein anderes Band übersetzt.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Meßhintergrund ein dunkles Loch ist.
  10. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß der Meßhintergrund als zylindrischer Strahler mit einer den Strahler umgebenden, rotierenden transparenten Rolle ausgeführt ist, wobei der Strahler Licht in einer dem Prüfgut angeglichenen Farbe aussendet.
EP94250285A 1993-12-28 1994-11-25 Verfahren zum optischen Sortieren von Schüttgut Expired - Lifetime EP0661108B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE4345106A DE4345106C2 (de) 1993-12-28 1993-12-28 Verfahren zum optischen Sortieren von Schüttgut
DE4345106 1993-12-28

Publications (3)

Publication Number Publication Date
EP0661108A2 true EP0661108A2 (de) 1995-07-05
EP0661108A3 EP0661108A3 (de) 1997-02-12
EP0661108B1 EP0661108B1 (de) 1999-11-03

Family

ID=6506597

Family Applications (1)

Application Number Title Priority Date Filing Date
EP94250285A Expired - Lifetime EP0661108B1 (de) 1993-12-28 1994-11-25 Verfahren zum optischen Sortieren von Schüttgut

Country Status (7)

Country Link
US (1) US5586663A (de)
EP (1) EP0661108B1 (de)
JP (1) JP3517292B2 (de)
AT (1) ATE186242T1 (de)
BR (1) BR9405268A (de)
CA (1) CA2136779C (de)
DE (2) DE4345106C2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511534A1 (de) * 1995-03-29 1996-10-02 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe farbtüchtiger Bildauswertungssysteme

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5577733A (en) * 1994-04-08 1996-11-26 Downing; Dennis L. Targeting system
DE19511901A1 (de) * 1995-03-31 1996-10-02 Commodas Gmbh Vorrichtung und Verfahren zum Sortieren von Schüttgut
JPH0943058A (ja) * 1995-05-23 1997-02-14 Olympus Optical Co Ltd 色分類装置及び色むら検査装置
EP0775533A3 (de) * 1995-11-24 1998-06-17 Elpatronic Ag Sortierverfahren
DE19609916A1 (de) * 1996-03-14 1997-09-18 Robert Prof Dr Ing Massen Preisgünstiger spektroskopischer Sensor für die Erkennung von Kunststoffen
AT3418U1 (de) 1999-04-30 2000-03-27 Waagner Biro Binder Aktiengese Verfahren und vorrichtung zum sortieren von altpapier
BR0311359A (pt) * 2002-05-28 2007-04-27 Satake Usa Inc fonte de iluminação para máquina classificadora
MX2008012726A (es) * 2006-04-04 2009-01-16 6511660 Canada Inc Sistema y metodo para identificar y clasificar material.
US20110068051A1 (en) * 2009-05-22 2011-03-24 6358357 Canada Inc. Ballistic separator
WO2013028196A1 (en) * 2011-08-25 2013-02-28 Alliance For Sustainable Energy, Llc On-line, continuous monitoring in solar cell and fuel cell manufacturing using spectral reflectance imaging
DE102012001868B4 (de) 2012-01-24 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Einrichtung einer dem optischen Identifizieren von Objekten dienender Anlage, Laborbildaufnahmesystem zum Durchführen eines solchen Verfahrens und Anordnung umfassend das Laborbildaufnahmesystem sowie die Anlage
US10480935B2 (en) 2016-12-02 2019-11-19 Alliance For Sustainable Energy, Llc Thickness mapping using multispectral imaging
DE102023113725A1 (de) 2023-05-25 2024-11-28 Multivac Sepp Haggenmüller Se & Co. Kg Optimierung der Gut- bzw. Schlechtprodukterkennung für Verpackungsmaschinen

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3560758A (en) * 1968-01-08 1971-02-02 Conductron Corp Color identification system taking into account the color and reflecting of the base material
DE2544703C3 (de) * 1975-10-07 1978-04-06 Dr.-Ing. Rudolf Hell Gmbh, 2300 Kiel Verfahren und Schaltungsanordnung zum Erkennen von Farben einer farbigen Fläche
US4122951A (en) * 1977-02-28 1978-10-31 Alaminos Jose I L Machine for the automatic detection of blemishes in olives and other fruits
US4246098A (en) * 1978-06-21 1981-01-20 Sunkist Growers, Inc. Method and apparatus for detecting blemishes on the surface of an article
IT1205622B (it) * 1982-12-21 1989-03-23 Illycaffe Spa Procedimento per effettuare una selezione in un materiale granuliforme e macchina per attuare il procedimento
GB2151018B (en) * 1983-12-06 1987-07-22 Gunsons Sortex Ltd Sorting machine and method
JPS63119887A (ja) * 1986-11-06 1988-05-24 カネボウ株式会社 選別装置
DE3802681C2 (de) * 1987-01-30 1997-01-09 Fuji Photo Film Co Ltd Verfahren zur Klassifizierung von Farbvorlagen und Vorrichtung hierfür
US5085325A (en) * 1988-03-08 1992-02-04 Simco/Ramic Corporation Color sorting system and method
EP0342354A3 (de) * 1988-04-15 1992-01-08 Tecnostral S.A. Industria E Tecnologia Vorrichtung zur Sortierung nach Farbe
JPH0670590B2 (ja) * 1988-09-10 1994-09-07 倉敷紡績株式会社 色順判定方式
NL8803112A (nl) * 1988-12-19 1990-07-16 Elbicon Nv Werkwijze en inrichting voor het sorteren van een stroom voorwerpen in afhankelijkheid van optische eigenschappen van de voorwerpen.
US5062714A (en) * 1990-02-12 1991-11-05 X-Rite, Incorporated Apparatus and method for pattern recognition
DE4210157C2 (de) * 1992-03-27 1994-12-22 Bodenseewerk Geraetetech Verfahren zum Sortieren von Glasbruch

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511534A1 (de) * 1995-03-29 1996-10-02 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe farbtüchtiger Bildauswertungssysteme
DE19511534C2 (de) * 1995-03-29 1998-01-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Erfassung von 3D-Fehlstellen bei der automatischen Inspektion von Oberflächen mit Hilfe farbtüchtiger Bildauswertungssysteme
US6064478A (en) * 1995-03-29 2000-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method of and apparatus for automatic detection of three-dimensional defects in moving surfaces by means of color vision systems

Also Published As

Publication number Publication date
CA2136779C (en) 2004-04-06
JP3517292B2 (ja) 2004-04-12
HK1013038A1 (en) 1999-08-13
CA2136779A1 (en) 1995-06-29
DE4345106A1 (de) 1995-06-29
US5586663A (en) 1996-12-24
DE59408885D1 (de) 1999-12-09
JPH08206611A (ja) 1996-08-13
EP0661108B1 (de) 1999-11-03
BR9405268A (pt) 1995-09-19
DE4345106C2 (de) 1995-11-23
ATE186242T1 (de) 1999-11-15
EP0661108A3 (de) 1997-02-12

Similar Documents

Publication Publication Date Title
EP0661108B1 (de) Verfahren zum optischen Sortieren von Schüttgut
DE69637172T2 (de) Hochgeschwindigkeits sortierapparat für den lebensmittelmassentransport zur optischen inspektion und sortierung von grossvolumigen lebensmitteln
DE69610925T2 (de) Vorrichtung zur untersuchung von flaschengewinden und verfahren zu deren betrieb
DE60213133T2 (de) Vorrichtung und verfahren zur erkennung von überlappungen
DE69822608T2 (de) Binarisierungsverfahren in einem Zeichenerkennungssystem
EP0619905B1 (de) Verfahren und anordnung zur optischen qualitätskontrolle und/oder klassifikation von pflanzen
DE3906281A1 (de) Verfahren und vorrichtung zum optischen ueberpruefen des aussehens chipartiger bauteile und zum sortieren der chipartigen bauteile
EP0682991A2 (de) Sortierautomat zur Sortierung bzw. Klassifikation von Kleinprodukten der pharmazeutischen und der Süsswarenindustrie nach Form und Farbe
DE2549457A1 (de) Einrichtung zur automatischen ueberwachung von fertigprodukten auf fabrikationsfehler
DE69331662T2 (de) Verfahren und gerät zur automatischen bewertung von getreidekörnern und anderen granularen produkten
DE3587927T2 (de) Verfahren und Vorrichtung zur automatischen Untersuchung von Tabletten.
EP1030740A1 (de) Verfahren und vorrichtung zum identifizieren und sortieren von bandgeförderten objekten
DE2820661C2 (de)
DE2937335A1 (de) Pruefsystem fuer das aeussere erscheinungsbild von gegenstaenden
DE3347472A1 (de) Verfahren und vorrichtung zum erfassen von radialen reflektierenden behaelterdefekten
DE69413482T2 (de) Anordnung zur Kontrolle von Hohlglasbehältern
EP0620050B1 (de) Vorrichtung und Verfahren zur Qualitäts- und Grössensortierung von Produkten und Artikeln
EP0669527A1 (de) Verfahren zum Ausscheiden von Mehrwegflaschen aus dem Mehrweg-Umlauf
EP3468727A1 (de) Sortiervorrichtung sowie entsprechendes sortierverfahren
DE112005000828B4 (de) Vorrichtung und Verfahren zur Prüfung von Halbleiter-Wafern
DE3514313C2 (de) Verfahren und Vorrichtung zur Inspektion und zum Sortieren von Glasbehältern
WO2001023869A1 (de) Vorrichtung und verfahren zur oberflächeninspektion eines kontinuierlich zulaufenden bandmaterials
DE4434475C2 (de) Verfahren und Vorrichtung zur Qualitätskontrolle eines Gegenstandes, insbesondere einer Compact-Disc
WO2019185184A1 (de) Vorrichtung und verfahren zur optischen positionserkennung transportierter objekte
EP1088601B1 (de) Vorrichtung zur Vermessung und Sortierung von Werkstücken

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LI LU MC NL PT SE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: H.F. & PH.F. REEMTSMA GMBH & CO

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LI LU MC NL PT SE

17P Request for examination filed

Effective date: 19970306

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: H.F. & PH.F. REEMTSMA GMBH

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

17Q First examination report despatched

Effective date: 19990121

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LI LU MC NL PT SE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: THE PATENT HAS BEEN ANNULLED BY A DECISION OF A NATIONAL AUTHORITY

Effective date: 19991103

Ref country code: GR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 19991103

Ref country code: ES

Free format text: THE PATENT HAS BEEN ANNULLED BY A DECISION OF A NATIONAL AUTHORITY

Effective date: 19991103

REF Corresponds to:

Ref document number: 186242

Country of ref document: AT

Date of ref document: 19991115

Kind code of ref document: T

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 19991103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 19991125

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 19991125

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 19991130

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 19991130

ITF It: translation for a ep patent filed
REF Corresponds to:

Ref document number: 59408885

Country of ref document: DE

Date of ref document: 19991209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: THE PATENT HAS BEEN ANNULLED BY A DECISION OF A NATIONAL AUTHORITY

Effective date: 20000103

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: GERMAN

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20000203

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20000203

ET Fr: translation filed
REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed
REG Reference to a national code

Ref country code: GB

Ref legal event code: IF02

NLS Nl: assignments of ep-patents

Owner name: REEMTSMA CIGARETTENFABRIKEN GMBH

REG Reference to a national code

Ref country code: FR

Ref legal event code: CD

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

REG Reference to a national code

Ref country code: FR

Ref legal event code: CA

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20071104

Year of fee payment: 14

Ref country code: DE

Payment date: 20071122

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20071127

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20071121

Year of fee payment: 14

Ref country code: FR

Payment date: 20071108

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: BE

Payment date: 20071130

Year of fee payment: 14

BERE Be: lapsed

Owner name: *REEMTSMA CIGARETTENFABRIKEN G.M.B.H.

Effective date: 20081130

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20081125

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090601

NLV4 Nl: lapsed or anulled due to non-payment of the annual fee

Effective date: 20090601

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081125

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20090731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081130

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20090603

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081125

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20081130