EP2362330A2 - Vorrichtung und Verfahren zum Erkennen von flächigen Produkten - Google Patents

Vorrichtung und Verfahren zum Erkennen von flächigen Produkten Download PDF

Info

Publication number
EP2362330A2
EP2362330A2 EP11003404A EP11003404A EP2362330A2 EP 2362330 A2 EP2362330 A2 EP 2362330A2 EP 11003404 A EP11003404 A EP 11003404A EP 11003404 A EP11003404 A EP 11003404A EP 2362330 A2 EP2362330 A2 EP 2362330A2
Authority
EP
European Patent Office
Prior art keywords
products
detection
beam profile
electronic camera
transport
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP11003404A
Other languages
English (en)
French (fr)
Other versions
EP2362330A3 (de
EP2362330B1 (de
Inventor
Steven Brossi
Carl Conrad Maeder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ferag AG
Original Assignee
Ferag AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ferag AG filed Critical Ferag AG
Publication of EP2362330A2 publication Critical patent/EP2362330A2/de
Publication of EP2362330A3 publication Critical patent/EP2362330A3/de
Application granted granted Critical
Publication of EP2362330B1 publication Critical patent/EP2362330B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H43/00Use of control, checking, or safety devices, e.g. automatic devices comprising an element for sensing a variable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H29/00Delivering or advancing articles from machines; Advancing articles to or into piles
    • B65H29/003Delivering or advancing articles from machines; Advancing articles to or into piles by grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H29/00Delivering or advancing articles from machines; Advancing articles to or into piles
    • B65H29/02Delivering or advancing articles from machines; Advancing articles to or into piles by mechanical grippers engaging the leading edge only of the articles
    • B65H29/04Delivering or advancing articles from machines; Advancing articles to or into piles by mechanical grippers engaging the leading edge only of the articles the grippers being carried by endless chains or bands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H29/00Delivering or advancing articles from machines; Advancing articles to or into piles
    • B65H29/66Advancing articles in overlapping streams
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H43/00Use of control, checking, or safety devices, e.g. automatic devices comprising an element for sensing a variable
    • B65H43/08Photoelectric devices
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00Design features of general application
    • G06M1/08Design features of general application for actuating the drive
    • G06M1/10Design features of general application for actuating the drive by electric or magnetic means
    • G06M1/101Design features of general application for actuating the drive by electric or magnetic means by electro-optical means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M7/00Counting of objects carried by a conveyor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2301/00Handling processes for sheets or webs
    • B65H2301/40Type of handling process
    • B65H2301/42Piling, depiling, handling piles
    • B65H2301/422Handling piles, sets or stacks of articles
    • B65H2301/4224Gripping piles, sets or stacks of articles
    • B65H2301/42242Gripping piles, sets or stacks of articles by acting on the outermost articles of the pile for clamping the pile
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2301/00Handling processes for sheets or webs
    • B65H2301/40Type of handling process
    • B65H2301/42Piling, depiling, handling piles
    • B65H2301/422Handling piles, sets or stacks of articles
    • B65H2301/4224Gripping piles, sets or stacks of articles
    • B65H2301/42244Sets in which articles are offset to each other
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2511/00Dimensions; Position; Numbers; Identification; Occurrences
    • B65H2511/10Size; Dimensions
    • B65H2511/13Thickness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2511/00Dimensions; Position; Numbers; Identification; Occurrences
    • B65H2511/10Size; Dimensions
    • B65H2511/16Irregularities, e.g. protuberances
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2511/00Dimensions; Position; Numbers; Identification; Occurrences
    • B65H2511/10Size; Dimensions
    • B65H2511/17Deformation, e.g. stretching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2511/00Dimensions; Position; Numbers; Identification; Occurrences
    • B65H2511/30Numbers, e.g. of windings or rotations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2513/00Dynamic entities; Timing aspects
    • B65H2513/40Movement
    • B65H2513/42Route, path
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2553/00Sensing or detecting means
    • B65H2553/40Sensing or detecting means using optical, e.g. photographic, elements
    • B65H2553/41Photoelectric detectors
    • B65H2553/414Photoelectric detectors involving receptor receiving light reflected by a reflecting surface and emitted by a separate emitter
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2553/00Sensing or detecting means
    • B65H2553/40Sensing or detecting means using optical, e.g. photographic, elements
    • B65H2553/42Cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2553/00Sensing or detecting means
    • B65H2553/40Sensing or detecting means using optical, e.g. photographic, elements
    • B65H2553/46Illumination arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2557/00Means for control not provided for in groups B65H2551/00 - B65H2555/00
    • B65H2557/50Use of particular electromagnetic waves, e.g. light, radiowaves or microwaves
    • B65H2557/51Laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2701/00Handled material; Storage means
    • B65H2701/10Handled articles or webs
    • B65H2701/19Specific article or web
    • B65H2701/1932Signatures, folded printed matter, newspapers or parts thereof and books
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M2207/00Indexing scheme relating to counting of objects carried by a conveyor
    • G06M2207/02Counting of generally flat and overlapped articles, e.g. cards, newspapers

Definitions

  • the present invention relates to a device for detecting sheet-like products according to the preamble of claim 1 and a method for detecting sheet-like products according to claim 11.
  • Devices for counting flat products are generally known technical aids to determine the number of flat products. Upon detection of a deviation between an expected number of sheets and the number determined by the meter, corresponding error correction processes may be initiated. In counting devices optical sensors are often used to detect the number of flat products contactlessly and quickly.
  • Counting devices are for example in the EP-A-1 661 833 and the WO 2007/012206 disclosed.
  • flat products transported in brackets are equipped with identification information which is subjected to an optical-electronic control when the flat products move past at a control point. Images of the identification information are registered by means of an image recording device. The captured images are processed electronically and, as a result of this processing, control signals are generated for downstream processing devices.
  • planar products In the case of the known device, the planar products must additionally be provided with identification information which is then to be detected in an image acquisition process which is frequently dependent on ambient lighting. Completely flat adjacent products are not counted in this way or only with great effort.
  • the object of the present invention is to provide an apparatus and a method for detecting sheet-like products, which makes it possible to detect defects in sheet-like products.
  • the device according to the invention for detecting sheet-like products, in particular printed products has a light source, an optical sensor and an evaluation unit connected to the optical sensor.
  • the light source in a preferred embodiment, a laser, has a beam shaping optics, for example in the form of optical lenses, in particular of cylindrical lenses, of apertures or diffractive optical elements, through which the emitted light, a predetermined illumination beam profile "imprinted" is.
  • a predetermined illumination beam profile "imprinted" Within the illumination beam profile objects are irradiated with light.
  • the light source can be assigned via the beam shaping optical system an optical axis, which is based on the light source extends in a straight line in the room. For the purposes of this application, this optical axis simultaneously forms a central beam axis of the illumination beam profile and is also referred to below as an illumination beam axis.
  • the optical sensor in a preferred embodiment for example an electronic camera with a plurality of photosensitive elements, is equipped with a detection optical system for forming a detection beam profile.
  • detection optics for example, a camera lens is used.
  • the detection beam profile includes all the locations from which the optical sensor can detect light.
  • the detection beam profile of the optical sensor is composed of the individual detection beam profiles associated with each individual photosensitive element.
  • the detection beam profile of the optical sensor could be visualized by replacing the photosensitive elements with small light sources.
  • an optical axis can also be assigned to the optical sensor via the detection optics. For the purposes of this application, this optical axis simultaneously forms a central beam axis of the detection beam profile and is also referred to below as a detection beam axis.
  • the illumination beam profile and the detection beam profile are aligned with an angle offset from one another such that they overlap in a detection area.
  • the illumination beam axis and the detection beam axis are even in one plane.
  • To count the Flat products must be at least a portion of the surface profile of the sheet products in the detection area.
  • This section is according to the invention at least partially limited by the illumination beam profile and detectable by means of the optical sensor.
  • the optical sensor may generate a detection signal with information about the detected portion of the surface profile.
  • the detection signal is forwarded to a downstream evaluation unit.
  • the evaluation unit preferably a computer, can use the detection signal to determine the number of areal products which were located in the detection area at the time of detection.
  • the device for detecting sheet-like products is assigned a transport device.
  • the flat products which are moved through the detection area along a transport direction by means of the transport device are preferably continuously counted in order, for example, to check their completeness.
  • the illumination beam axis is preferably aligned inclined relative to the surface normal of, for example, resting on a conveyor belt or transported by means of brackets or grippers flat products.
  • the illumination beam profile in the detection area is preferably formed by means of the beam shaping optics as a substantially rectilinear region, in particular as a so-called illumination line, which illuminates the section of the surface profile of the planar products in a defined manner.
  • the illumination line extends substantially parallel to Transport direction.
  • a camera as an optical sensor.
  • the detection beam profile is formed by the detection optics such that an image of the light line projected onto the surface of the planar products by the light source is generated on the photosensitive elements of the camera.
  • an image recorded by the camera is projected from the illumination line projected onto this uneven "projection surface” whose bends and heels reflect.
  • This image information is forwarded in the detection signal to an electrically connected computer.
  • a computer-executable image processing program can then determine from the image of the projected illumination line on the basis of the curvatures and paragraphs the number of planar products that have been in the detection area. So that the image information is influenced as little as possible by movement artefacts due to the transport of the sheet-like products during image acquisition, the recording or detection time is short compared to the time within which a flat product has moved by the amount of its thickness.
  • the imperfections of the area in the detection area sheet products is determined solely from the detected surface profile of the sheet products. It is not necessary to attach identification information to the sheet products. Due to the relative to the ambient light comparatively high intensity of the light generated by the light source in the illumination beam profile, in particular within the illumination line in the detection area, there is sufficient contrast in the image recordings, so that a reliable identification of the illuminated surface profile is guaranteed.
  • the optical sensor may be provided with corresponding filter elements to further reduce the interference of ambient light.
  • the device according to the invention and the method according to the invention are, in addition to the recognition of sheet-like products, also suitable for counting the sheet-like products.
  • FIG Fig. 1 A particularly preferred embodiment of the device according to the invention for counting and detecting sheet-like products (also referred to below as counting device) 10 with a transport device 12 assigned to it is shown in FIG Fig. 1 shown schematically.
  • the light source 16 preferably lasers, in particular laser diodes or gas lasers, LEDs, but also classical radiation sources, such as incandescent or halogen lamps, can be used.
  • the light source 16 is equipped with beam shaping optics 22 which provide a predetermined illumination beam profile 24 and define an optical axis of the light source 16.
  • the illumination beam profile 24 of the light source 16 arranged laterally relative to a transport direction T along which the planar products 14 are transported has a cross section (also beam cross section) with a substantially at least partially rectilinear boundary, substantially line-like, preferably substantially rectilinear shape.
  • the beam cross section is measured at right angles to the optical axis of the light source 16, hereinafter also referred to as the illumination beam axis 26.
  • the line-like, preferably straight beam cross-section is also referred to as the illumination line.
  • the illumination beam profile 24 with its line-like beam cross-section extends substantially in one plane.
  • Elongated, essentially line-like beam cross-sections can be produced with known beam-shaping optics 22, which are equipped, for example, with cylindrical lenses, diaphragms or diffractive elements.
  • the illumination beam profile 24 preferably has a higher light intensity than the ambient light, at least in a detection area defined below.
  • the light source 16 preferably provides substantially monochromatic light, such as that produced by lasers, single color LEDs, or classic light sources equipped with filters. In this way, it is possible to distinguish the light generated by the light source 16 and scattered by the planar products 14 and detected by the optical sensor 18 from the ambient light, both because of its intensity and its spectral range, and thus reliable detection and counting of the sheet-like products 14 to ensure.
  • an optical sensor 18 in the described embodiments of the inventive counting device 10 is an electronic camera with a plurality of photosensitive elements, such as a CCD camera, used.
  • the optical sensor 18 is equipped with a detection lens 28 in the form of a camera lens, which provides a detection beam profile 30 and defines an optical axis of the optical sensor 18.
  • the optical axis of the optical sensor 18 will hereinafter be referred to as the detection beam axis 32.
  • the optical sensor 18 is arranged above the sheet-like products 14, so that an image of the light line projected onto the flat products 14 on the photosensitive elements of the optical sensor 18 is generated by means of the detection optics 28.
  • the illumination beam profile 24 of the light source 16 and the detection beam profile 30 of the optical sensor 18 are aligned with angular offset from each other so that they overlap in a detection area in which there is at least a portion 33 of a surface profile of the sheet products 14 for counting.
  • the located in the detection area and thus illuminated portion 33 of the surface profile is at least partially limited by the predetermined illumination beam profile 24.
  • a scattering angle ⁇ included by the illumination beam axis 26 and the detection beam axis 32 is preferably between 10 ° and less than 180 °, more preferably between 30 ° and 45 °.
  • the light source 16 may be arranged laterally with respect to the sheet-like products 14, that the longitudinal axis of the illumination line is aligned substantially parallel to the transport direction T.
  • the illumination line preferably extends over an edge region of the sheet-like products 14 folded flat products 14 preferably over the collar 34th
  • the optical sensor 18 can be arranged both above and laterally from the flat products 14.
  • the illustrated positions of light source 16 and optical sensor 18 are also interchangeable.
  • the detection beam axis 32 or the illumination beam axis 26 is preferably aligned inclined to the surface normal of the flat products 14 and at right angles to the transport direction T.
  • the basic principle of the counting device 10 is that the known in their form, substantially rectilinear illumination line is projected onto an uneven by the thickness and / or arrangement of the sheet 14 products section 33 of the surface profile of the sheet products 14 and at a staggered detection, the height changes the surface profile of the sheet-like products as curvatures and paragraphs in the capture of the optical sensor 18 image of the illumination line can be detected.
  • the illuminated portion 33 of the surface profile of the flat products 14 detected by the optical sensor 18 is in the considered embodiment, in which a camera is used as an optical sensor 18, as an image recording.
  • the image information is forwarded by means of a detection signal via an electrical connection to the evaluation unit 20, for example a computer.
  • the relevant information about the detected section 33 of the surface profile is extracted from the detection signal by means of a suitable computer program, in particular by means of an image processing program, and associated curvatures, edges and paragraphs are assigned to a specific number of planar products 14.
  • a suitable computer program in particular by means of an image processing program, and associated curvatures, edges and paragraphs are assigned to a specific number of planar products 14.
  • disturbing additional information still present in the images for example signs and images visible on the surface of the planar products 14 due to the ambient light, can be filtered out by known discrimination methods.
  • a scanned by means of the inventive counting device surface profile is in the Fig. 1 and 3 by dashed lines, which are provided with the reference numeral A shown.
  • the sheet products 14 are in Fig. 1 transported by means belonging to the counting device 10 transport 36 in the form of brackets.
  • two planar products 14 are each held by a respective transporting means 36 in such a way that a flat product 14 leading in the transport direction T extends further into a clamping mouth of the transporting means 36, as a trailing further flat product 14 partially resting on the leading flat product 14.
  • the respective transport means 36 themselves can, as also in Fig. 1 shown, by a further sensor 38, for example in the form of a light barrier, to be detected.
  • a further sensor 38 for example in the form of a light barrier
  • the number of areal products 14 detected at a specific time can now be assigned to a specific transport means 36.
  • a predetermined target number of flat products which should be held by a transport means 36 is now determined whether errors in the placement of the transport means 36 or the transport have occurred, so that, for example, a corresponding control signal can be triggered to a downstream processing device ,
  • the used for the assignment further sensor 38 is also in Fig. 2 shown. It can be seen in the transport direction T, both before the counting device 10 and after the counting device 10 may be arranged. At the in Fig. 2 shown embodiment of the transport device 12 are each two flat products 14 completely superimposed held by grippers trained transport 36.
  • Fig. 3 is a further embodiment of a transport device 12 with a conveyor belt shown as transport 36.
  • the sheet-like products 14 are transported with their collar 34 in the transport direction T leading in an imbricated formation on the transport means 36 resting through the detection area of the counting device 10.
  • the surface profile A of the planar products 14 scanned by the counting device 10 is represented by a dashed line.
  • the optical sensor 18 In an arrangement of the optical sensor 18 such that its detection beam axis 32 is aligned substantially along the longitudinal axis of the collar 34 of the sheet products 14, which could be in the FIGS. 5a to 5e be shown abstracted image taken.
  • the illumination beam axis 26 of the light source 16 is directed from the top to the camera-side free end region of the collar 34 and advantageously extends at least nearly parallel to product pages 40 of the sheet 14.
  • the illumination beam axis 26 and the detection beam axis 32 span here a plane that is in the Substantially perpendicular to the transport direction T extends.
  • FIGS. 5a to 5e In addition to the illuminated by the illumination line sections 33 of the surface profiles, which are shown as dashed lines, for clarity, the side views of each sampled planar products 14 in the abstracted images are shown. On the basis of these exemplary abstracted image recordings, it is shown that planar products 14 transported in a suspended manner by means of grippers or clamps (individually Fig. 5a ), in pairs ( Fig. 5b, 5c and 5e ) or in a multiple arrangement, for example, three ( Fig. 5d ), transported and counted.
  • a detection and counting is shown both with flat products 14 (FIG. Fig. 5c and Fig. 5d ), as well as in completely adjacent flat products 14 possible.
  • the optical quality of the image recordings and thus the reliability of the counting that the camera acting as the optical sensor 18 records image recordings within a time that is shorter , is preferably much shorter than the time within which a sheet product 14 moves by the amount of its thickness in the detection area.
  • the reliability of the counting can be increased if, as previously mentioned, the light intensity of the light source 16 is increased relative to the ambient light or a filter tuned to the wavelength of the light emitted by the light source 16 is used in the optical sensor 18 , In addition, it is by an increase in the angle ⁇ between the illumination beam axis 26 and the detection beam axis 32, it is possible to increase the curvatures, edges and heights in the images of the illuminated surface portions 33.
  • the counting device 10 according to the invention and the method according to the invention for counting sheet-like products 14 make it possible to count surface products 14 that are suitable and reliable for a variety of transport formats of sheet-like products 14 with moderate equipment complexity.
  • the sheet-like products 14 can be transported during detection and counting be, with the amount of transport speed is limited by the shortest possible recording time of the optical sensor 18, in which, despite resulting from the transport movement artifacts in the image recordings a reliable count possible.
  • both the illumination beam profile 24 and the detection beam profile 30 can be adapted to the specific needs. It is thus possible to project a plurality of illumination lines or also time-varying patterns of illumination lines onto the surface of the planar products 14 and to detect them by means of the optical sensor 18. It is important that the located in the detection area surface portion 33 of the sheet products 14 is at least partially limited by the predetermined illumination beam profile 24.
  • the device for detecting, and also counting, flat products 14, in particular printed products has a light source 16, an optical sensor 18 with detection optics 28 for forming a detection beam profile 30 and an evaluation unit 20 connected to the optical sensor 18, characterized in that in that the light source 16 is equipped with beam shaping optics 22 for shaping an illumination beam profile 24 which overlaps with the detection beam profile 30 of the optical sensor 18 in a detection area, and an angle-offset orientation of the illumination beam profile 24 relative to the detection beam profile 30 means that a section 33 of a surface profile of the planar products 14 located in the detection area and bounded at least partially by the illumination beam profile 24 can be detected by means of the optical sensor 18 and from one of the optical sensor 18 generated detection signal containing information about the detected portion 33 of the surface profile, the number of sheet products 14 in the detection area by means of the evaluation unit 20 can be determined.
  • the cross-section of the illumination beam profile 24 in the detection area, measured at right angles to the optical axis 32 of the light source 16, is substantially at least partially rectilinear, preferably substantially line-like, particularly preferably substantially rectilinearly shaped to form a line of illumination.
  • the optical axes 26, 32 of the light source 16 and of the optical sensor 18 enclose an angle between about 10 ° and less than 180 °, preferably between 30 ° and 45 °.
  • optical axes 26, 32 of the light source 16 and / or the optical sensor 18 are inclined to the surface normal of the sheet products 14 aligned.
  • planar products 14 are transported by means of an associated transport device 12 along a transport direction T, wherein the optical axis 32 of the optical Sensor 18 is oriented substantially perpendicular to the transport direction T and the longitudinal axis of a cross section of the illumination beam profile 24 in the detection region is substantially parallel to the transport direction T.
  • a further sensor 38 which, when a transport means 36 of the transport device 12 passes through a monitoring area of the further sensor 38, generates a trigger signal, so that the number of areal products 14 determined at a particular time can be assigned to the respective transport means 36 ,
  • the optical sensor 18 is a camera, preferably an electronic camera, particularly preferably a CCD or CMOS camera, which detects image recordings within a recording time which is shorter, preferably much shorter than the time within which a sheet product 14 is moved by the amount of its thickness in the detection area.
  • the light intensity in the illumination beam profile 24 of the light source 16 in the detection area is greater than the light intensity of the ambient light and that the light source 16 preferably provides substantially monochromatic light and is particularly preferably designed as a laser.
  • the invention relates to a method for detecting, and also counting, flat products 14, in particular printed products, using a device 10 for detecting sheet-like products 14 according to one of the preceding embodiments, wherein by a angularly offset alignment of the illumination beam profile 24 with respect to the detection beam profile 30, a section 33 of a surface profile of the planar products 14 which is located in the detection area and is limited at least partially by the illumination beam profile 24, is detected by means of the optical sensor 18 and wherein a detection signal generated by the optical sensor 18, contains information about the detected portion 33 of the surface profile, the number of sheet products 14 in the detection area is determined by means connected to the optical sensor 18 evaluation unit 20.
  • an edge region of one of the sheet-like products 14 is located in the detection region during the detection.
  • the flat products 14 are individually, partially overlapping or completely adjacent to one another in a scale formation relative to the device 10 along a transport direction T with the aid of transport means 36 of a transport device 12 associated with the device 10, in particular with the aid of clamps, grippers or a conveyor belt, transported in the detection area.
  • a trigger signal when a passage from one of the transport means 36 through a monitoring area of another sensor 38, a trigger signal can be generated, so that the determined at a specific time number of sheet products 14 can be assigned to exactly one transport 36.
  • the number of planar products 14 is determined from recordings recorded by the optical sensor 18 by means of an image processing program which is carried out in the evaluation unit 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Controlling Sheets Or Webs (AREA)
  • Shaping Of Tube Ends By Bending Or Straightening (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

Die erfindungsgemässe Vorrichtung (10) zum Erkennen von flächigen Produkten (14) weist eine Lichtquelle (16) mit einem Beleuchtungsstrahlprofil (24), einen optischen Sensor (18) mit einem Detektionsstrahlprofil (30) und eine mit dem optischen Sensor (18) verbundene Auswerteeinheit (20) auf. Das Detektionsstrahlprofil (30) überlappt mit dem Beleuchtungsstrahlprofil (24) in einem Detektionsbereich, in welchem ein Abschnitt (33) eines Oberflächenprofils der flächigen Produkte (14), der wenigstens teilweise durch das Beleuchtungsstrahlprofil (24) begrenzt ist, beleuchtet wird. Ein vom optischen Sensor (18) erzeugtes Detektionssignal wird an die Auswerteinheit (20) geleitet, die daraus deformierte, unvollständige und/oder verschiedenartige Produkte bestimmt.

Description

  • Die vorliegende Erfindung betrifft eine Vorrichtung zum Erkennen von flächigen Produkten gemäss dem Oberbegriff des Anspruchs 1 und ein Verfahren zum Erkennen von flächigen Produkten gemäss dem Anspruch 11.
  • Vorrichtungen zum Zählen von flächigen Produkten (kurz auch Zählvorrichtungen) sind allgemein bekannte technische Hilfsmittel, um die Anzahl flächiger Produkte zu ermitteln. Bei Feststellung einer Abweichung zwischen einer erwarteten Anzahl von flächigen Produkten und der von der Zählvorrichtung bestimmten Anzahl können entsprechende Fehlerkorrekturprozesse ausgelöst werden. In Zählvorrichtungen werden häufig optische Sensoren eingesetzt, um die Anzahl von flächigen Produkten berührungslos und schnell zu erfassen.
  • Zählvorrichtungen sind beispielsweise in der EP-A-1 661 833 und der WO 2007/012206 offenbart. Bei einer im letztgenannten Dokument beschriebenen Vorrichtung sind in Klammern transportierte flächige Produkte mit Identifikationsinformationen ausgestattet, die beim Vorbeibewegen der flächigen Produkten an einer Kontrollstelle einer optisch-elektronischen Kontrolle unterzogen werden. Mittels eines Bildaufnahmegerätes werden dabei Bilder von den Identifikationsinformationen registriert. Die aufgenommenen Bilder werden elektronisch verarbeitet und als Resultat dieser Verarbeitung Steuersignale für nachgeordnete Verarbeitungseinrichtungen erzeugt.
  • Bei der bekannten Vorrichtung müssen die flächigen Produkte zusätzlich mit Identifikationsinformationen ausgestattet werden, die dann in einem häufig von der Umgebungsbeleuchtung abhängigen Bildaufnahmeprozess zu detektieren sind. Vollständig flächig aneinander anliegende Produkte sind auf diese Weise nicht oder nur mit grösserem Aufwand zählbar.
  • Aufgabe der vorliegenden Erfindung ist es, eine Vorrichtung und ein Verfahren zum Erkennen von flächigen Produkten bereitzustellen, die bzw. das es erlaubt, Fehlstellen in flächigen Produkten zu erkennen.
  • Diese Aufgabe wird durch eine Vorrichtung zum Erkennen von flächigen Produkten gemäss Anspruch 1 und ein Verfahren zum Erkennen von flächigen Produkten gemäss Anspruch 11 gelöst. Besonders bevorzugte Ausführungsformen sind mit den in den abhängigen Ansprüchen aufgeführte Merkmalen ausgestattet.
  • Die erfindungsgemässe Vorrichtung zum Erkennen von flächigen Produkten, insbesondere von Druckereiprodukten, weist eine Lichtquelle, einen optischen Sensor und eine mit dem optischen Sensor verbundenen Auswerteeinheit auf. Die Lichtquelle, in einer bevorzugten Ausführungsform ein Laser, verfügt über eine Strahlformungsoptik, beispielsweise in Form von optischen Linsen, insbesondere von Zylinderlinsen, von Blenden oder diffraktiven optischen Elementen, durch welche dem ausgesendeten Licht ein vorbestimmtes Beleuchtungsstrahlprofil "aufgeprägt" wird. Innerhalb des Beleuchtungsstrahlprofils befindliche Objekte werden mit Licht bestrahlt. Der Lichtquelle kann über die Strahlformungsoptik eine optische Achse zugeordnet werden, die sich ausgehend von der Lichtquelle geradlinig im Raum erstreckt. Diese optische Achse bildet im Sinne dieser Anmeldung gleichzeitig eine zentrale Strahlachse des Beleuchtungsstrahlprofils und wird im Weiteren auch als Beleuchtungsstrahlachse bezeichnet.
  • Der optische Sensor, in einer bevorzugten Ausführungsform beispielsweise eine elektronische Kamera mit einer Mehrzahl von lichtempfindlichen Elementen, ist mit einer Detektionsoptik zur Formung eines Detektionsstrahlprofils ausgestattet. Als Detektionsoptik wird beispielsweise ein Kameraobjektiv eingesetzt. Das Detektionsstrahlprofil umfasst all die Orte, von denen der optische Sensor Licht detektieren kann. Bei Verwendung eines optischen Sensors mit mehreren lichtempfindlichen Elementen, wie bei der bereits erwähnten Kamera, setzt sich das Detektionsstrahlprofil des optischen Sensors aus den jedem einzelnen lichtempfindlichen Element zugeordneten einzelnen Detektionsstrahlprofilen zusammen. Das Detektionsstrahlprofil des optischen Sensors könnte beispielsweise sichtbar gemacht werden, in dem die lichtempfindlichen Elemente durch kleine Lichtquellen ersetzt werden würden. In Analogie zur Lichtquelle kann auch dem optischen Sensor über die Detektionsoptik eine optische Achse zugeordnet werden. Diese optische Achse bildet im Sinne dieser Anmeldung gleichzeitig eine zentrale Strahlachse des Detektionsstrahlprofils und wird im Weiteren auch als Detektionsstrahlachse bezeichnet.
  • Das Beleuchtungsstrahlprofil und das Detektionsstrahlprofil sind erfindungsgemäss derart winkelversetzt zueinander ausgerichtet, dass sie in einem Detektionsbereich überlappen. In einer bevorzugten Ausführungsform liegen die Beleuchtungsstrahlachse und die Detektionsstrahlachse sogar in einer Ebene. Zum Zählen der flächigen Produkte muss sich wenigstens ein Abschnitt des Oberflächenprofils der flächigen Produkte im Detektionsbereich befinden. Dieser Abschnitt ist erfindungsgemäss wenigstens teilweise durch das Beleuchtungsstrahlprofil begrenzt und mittels des optischen Sensors detektierbar. Der optische Sensor kann ein Detektionssignal mit Informationen über den detektierten Abschnitt des Oberflächenprofils erzeugen. Das Detektionssignal wird an eine nachgeschaltete Auswerteeinheit weitergeleitet. Die Auswerteeinhit, vorzugsweise ein Computer, kann aus dem Detektionssignal die Anzahl der flächigen Produkte, die sich zum Zeitpunkt der Detektion im Detektionsbereich befunden haben, bestimmen .
  • In einer besonders bevorzugten Ausführungsform ist der Vorrichtung zum Erkennen von flächigen Produkten eine Transportvorrichtung zugeordnet. Die mit Hilfe der Transportvorrichtung entlang einer Transportrichtung durch den Detektionsbereich bewegten flächige Produkte werden vorzugsweise fortlaufend gezählt, um beispielsweise deren Vollständigkeit zu kontrollieren. Die Beleuchtungsstrahlachse ist dabei bevorzugter Weise gegenüber den Flächennormalen der beispielsweise auf einem Förderband aufliegenden oder mittels Klammern oder Greifern transportierten flächigen Produkte geneigt ausgerichtet. Das Beleuchtungsstrahlprofil im Detektionsbereich ist mittels der Strahlformungsoptik vorzugsweise als ein im Wesentlichen geradliniger Bereich, insbesondere als eine sogenannte Beleuchtungslinie, ausgeformt, welche den Abschnitt des Oberflächenprofils der flächigen Produkte auf eine definierte Weise beleuchtet. Vorzugsweise erstreckt sich die Beleuchtungslinie im Wesentlichen parallel zur Transportrichtung. Unmittelbar oberhalb von den flächigen Produkten, mit seiner Detektionsstrahlachse leicht geneigt zu deren Flächennormalen und im Wesentlichen rechtwinklig zur Transportrichtung ausgerichtet, befindet sich eine Kamera als optischer Sensor. Das Detektionsstrahlprofil ist durch die Detektionsoptik derart ausgeformt, dass eine Abbildung von der durch die Lichtquelle auf die Oberfläche der flächigen Produkte projizierten Beleuchtungslinie auf den lichtempfindlichen Elementen der Kamera erzeugt wird.
  • Aufgrund der durch die Dicke und die Anordnung der flächigen Produkte hervorgerufenen Höhenunterschiede im "abzutastenden" Oberflächenprofil, insbesondere dann, wenn sich ein Randbereich eines flächigen Produkts im Detektionsbereich befindet, wird ein von der Kamera aufgenommenes Bild von der auf diese unebene "Projektionsfläche" projizierten Beleuchtungslinie deren Krümmungen und Absätze wiedergeben. Diese Bildinformationen werden im Detektionssignal an einen elektrisch verbundenen Computer weitergeleitet. Ein auf dem Computer ausführbares Bildverarbeitungsprogramm kann dann aus dem Abbild der projizierten Beleuchtungslinie anhand der Krümmungen und Absätze die Anzahl der flächigen Produkte, die sich im Detektionsbereich befunden haben, ermitteln. Damit die Bildinformationen möglichst wenig durch Bewegungsartefakte aufgrund des Transports der flächigen Produkte während der Bildaufnahme beeinflusst werden, ist die Aufnahme- bzw. Detektionszeit kurz im Vergleich zur Zeit, innerhalb der sich ein flächiges Produkt um den Betrag seiner Dicke bewegt hat.
  • Die Fehlstellen der sich im Detektionsbereich befindlichen flächigen Produkte wird allein aus dem detektierten Oberflächenprofil der flächigen Produkte bestimmt. Es ist nicht nötig, Identifikationsinformationen an den flächigen Produkten anzubringen. Aufgrund der gegenüber dem Umgebungslicht vergleichsweise hohen Intensität des von der Lichtquelle erzeugten Lichts im Beleuchtungsstrahlprofil, insbesondere innerhalb der Beleuchtungslinie im Detektionsbereich, ergibt sich ein ausreichender Kontrast in den Bildaufnahmen, so dass eine zuverlässige Identifizierung des angestrahlten Oberflächenprofils gewährleistet ist. Bei Verwendung einer im Wesentlichen monochromatischen Lichtquelle, beispielsweise eines Lasers, kann der optische Sensor zudem mit entsprechenden Filterelementen ausgestattet sein, um den Störeinfluss von Umgebungslicht zusätzlich zu verringern.
  • Die erfindungsgemässe Vorrichtung und das erfindungsgemässe Verfahren sind neben dem Erkennen von flächigen Produkten auch dazu geeignet, die flächigen Produkte zu Zählen.
  • Nachfolgend werden besonders bevorzugte Ausführungsformen der vorliegenden Erfindung anhand von schematischen Zeichnungen detailliert beschrieben. Es zeigen im Einzelnen:
  • Fig. 1
    in einer perspektivischen Darstellung eine bevorzugte Ausführungsform der erfindungsgemässen Vorrichtung zum Zählen und Erkennen von flächigen Produkten mit einer zugeordneten, die flächigen Produkte mittels Klammern transportierenden Transportvorrichtung, wobei eine seitlich von den flächigen Produkten angeordnete Laserlichtquelle eine Beleuchtungslinie auf die Oberfläche der durch einen Detektionsbereich transportierten flächigen Produkte projiziert und einer oberhalb der flächigen Produkte befindliche Kamera das dadurch beleuchtete Oberflächenprofil detektiert;
    Fig. 2
    in einer Seitenansicht einen Abschnitt einer weiteren Ausführung einer zugeordneten Transportvorrichtung, bei welcher jeweils zwei flächige Produkte von jeweils einem Greifer gehalten entlang einer Transportrichtung transportiert werden und ein weiterer Sensor der Vorrichtung zum Zählen und Erkennen von flächigen Produkten die vorbeibewegten Greifer detektiert, um mittels eines vom weiteren Sensor erzeugten Triggersignals eine vorgängig ermittelte Anzahl von flächigen Produkten einem bestimmten Greifer zuordnen zu können;
    Fig. 3
    in einer perspektivischen Darstellung einen Abschnitt der in Fig. 1 gezeigten Vorrichtung, wobei die transportierten flächigen Produkte nun in einer Schuppenanordnung auf einem Förderband aufliegend durch den Detektionsbereich transportiert werden;
    Fig. 4
    in einer Seitenansicht einen Abschnitt einer weiteren Ausführungsform einer zugeordneten Transportvorrichtung mit einzeln oder paarweise an Greifern gehaltenen flächigen Produkten; und
    Fig. 5a-5e
    abstrahierte Bildaufnahmen von hängend an Greifern durch den Detektionsbereich transportierten flächigen Produkten, wobei von der Beleuchtungslinie angestrahlte Oberflächenprofile jeweils gestrichelt gezeichnet und die jeweils schematischen Seitenansichten der flächigen Produkte lediglich hilfsweise mit dargestellt sind.
  • Eine besonders bevorzugte Ausführungsform der erfindungemässen Vorrichtung zum Zählen und Erkennen von flächigen Produkten (im Folgenden auch kurz Zählvorrichtung genannt) 10 mit einer ihr zugeordneten Transportvorrichtung 12 ist in Fig. 1 schematisch dargestellt. Die Zählvorrichtung 10 für mittels der Transportvorrichtung 12 transportierte flächige Produkte 14, insbesondere Druckereiprodukte, wie Zeitungen, Zeitschriften, Prospekte, usw., weist eine Lichtquelle 16, einen optischen Sensor 18 und eine mit dem optischen Sensor 18 verbundene Auswerteeinheit 20 auf.
  • Als Lichtquelle 16 können vorzugsweise Laser, insbesondere Laserdioden oder Gaslaser, LEDs, aber auch klassische Strahlungsquellen, wie Glüh- oder Halogenlampen, eingesetzt werden. Die Lichtquelle 16 ist mit einer Strahlformungsoptik 22 ausgestattet, die ein vorbestimmtes Beleuchtungsstrahlprofil 24 bereitstellt und eine optische Achse der Lichtquelle 16 definiert.
  • Bei der in Fig. 1 gezeigten Ausführungsform weist das Beleuchtungsstrahlprofil 24 der seitlich zu einer Transportrichtung T, entlang welcher die flächigen Produkte 14 transportiert werden, angeordneten Lichtquelle 16 einen Querschnitt (auch Strahlquerschnitt) mit einer im Wesentlichen wenigstens teilweise geradlinig begrenzten, im Wesentlichen linienartigen, vorzugsweise im Wesentlichen gradlinigen Form auf. Der Strahlquerschnitt wird dabei rechtwinklig zur optischen Achse der Lichtquelle 16, im Folgenden auch Beleuchtungsstrahlachse 26 genannt, gemessen. Der linienartige, vorzugsweise geradlinige Strahlquerschnitt wird auch als Beleuchtungslinie bezeichnet. Das Beleuchtungsstrahlprofil 24 mit seinem linienartigen Strahlquerschnitt erstreckt sich dabei im Wesentlichen in einer Ebene.
  • Längliche, im Wesentliche linienartige Strahlquerschnitte können mit bekannten Strahlformungsoptiken 22, die beispielsweise mit Zylinderlinsen, Blenden oder diffraktiven Elementen ausgestattet sind, erzeugt werden. Das Beleuchtungsstrahlprofil 24 weist vorzugsweise zumindest in einem nachfolgend definierten Detektionsbereich eine höhere Lichtintensität als das Umgebungslicht auf. Zudem stellt die Lichtquelle 16 vorzugsweise im Wesentlichen monochromatisches Licht, wie es beispielsweise von Lasern, einfarbigen LEDs oder mit Filter ausgestatteten klassischen Lichtquellen erzeugt wird, bereit. Auf diese Weise ist es möglich, dass von der Lichtquelle 16 erzeugte, an den flächigen Produkten 14 gestreute und vom optischen Sensor 18 detektierte Licht sowohl aufgrund seiner Intensität als auch seines Spektralbereichs vom Umgebungslicht zu unterscheiden und somit eine zuverlässige Detektion und Zählung der flächigen Produkte 14 zu gewährleisten.
  • Als optischer Sensor 18 wird bei der beschriebenen Ausführungsformen der erfindungsgemässen Zählvorrichtung 10 eine elektronische Kamera mit einer Mehrzahl von lichtempfindlichen Elementen, beispielsweise eine CCD-Kamera, verwendet. Der optische Sensor 18 ist mit einer Detektionsoptik 28 in Form eines Kameraobjektivs ausgestattet, die ein Detektionsstrahlprofil 30 bereitstellt und eine optische Achse des optischen Sensors 18 definiert. Die optische Achse des optischen Sensors 18 wird nachfolgend als Detektionsstrahlachse 32 bezeichnet. Der optische Sensor 18 ist oberhalb der flächigen Produkte 14 angeordnet, so dass mittels der Detektionsoptik 28 ein Bild von der auf die flächigen Produkte 14 projizierten Beleuchtungslinie auf den lichtempfindlichen Elementen des optischen Sensors 18 erzeugt wird. Das heisst, das Beleuchtungsstrahlprofil 24 der Lichtquelle 16 und das Detektionsstrahlprofil 30 des optischen Sensors 18 sind so winkelversetzt zueinander ausgerichtet, dass sie sich in einem Detektionsbereich, in dem sich zum Zählen wenigstens ein Abschnitt 33 eines Oberflächenprofils der flächigen Produkte 14 befindet, überlappen. Der im Detektionsbereich befindliche und dadurch beleuchtete Abschnitt 33 des Oberflächenprofils ist wenigstens teilweise durch das vorbestimmte Beleuchtungsstrahlprofil 24 begrenzt.
  • Ein Streuwinkel α, der von der Beleuchtungsstrahlachse 26 und der Detektionsstrahlachse 32 eingeschlossen wird, beträgt vorzugsweise zwischen 10° und weniger als 180°, besonders bevorzugt zwischen 30° und 45°. Dazu kann, wie bei der Anordnung in Fig. 1 und Fig. 3 gezeigt, die Lichtquelle 16 derart seitlich bezüglich der flächigen Produkte 14 angeordnet sein, dass die Längsachse der Beleuchtungslinie im Wesentlichen parallel zur Transportrichtung T ausgerichtet ist. Beim Detektionsvorgang zum Zählen der flächigen Produkte 14 erstreckt sich die Beleuchtungslinie vorzugsweise über einen Randbereich der flächigen Produkte 14, bei gefalteten flächigen Produkten 14 bevorzugt über deren Bund 34.
  • Der optische Sensor 18 kann sowohl oberhalb als auch seitlich von den flächigen Produkten 14 angeordnet sein. Die gezeigten Positionen von Lichtquelle 16 und optischem Sensor 18 sind auch austauschbar. Bei einer Anordnung oberhalb von den flächigen Produkten 14 ist die Detektionsstrahlachse 32 bzw. die Beleuchtungsstrahlachse 26 vorzugsweise geneigt zu den Flächennormalen der flächigen Produkte 14 und rechtwinklig zur Transportrichtung T ausgerichtet.
  • Das Grundprinzip der Zählvorrichtung 10 besteht darin, dass die in ihrer Form bekannte, im Wesentliche gradlinige Beleuchtungslinie auf einen durch die Dicke und / oder Anordnung der flächigen Produkte 14 unebenen Abschnitt 33 des Oberflächenprofils der flächigen Produkte 14 projiziert wird und bei einer winkelversetzten Detektion die Höhenänderungen des Oberflächenprofils der flächigen Produkte als Krümmungen und Absätze im vom optischen Sensor 18 erfassen Abbild der Beleuchtungslinie feststellbar sind.
  • Der vom optischen Sensor 18 detektierte beleuchtete Abschnitt 33 des Oberflächenprofils der flächigen Produkte 14 liegt bei der betrachteten Ausführungsform, bei welcher eine Kamera als optischer Sensor 18 verwendet wird, als Bildaufnahme vor. Die Bildinformationen werden mittels eines Detektionssignals über eine elektrische Verbindung an die Auswerteeinheit 20, beispielsweise einen Computer, weitergeleitet.
  • In der Auswerteinheit 20 werden mittels eines geeigneten Computerprogramms, insbesondere mittels eines Bildverarbeitungsprogramms, die relevanten Informationen über den detektierten Abschnitt 33 des Oberflächenprofils aus dem Detektionssignal extrahiert und aufgefundene Krümmungen, Kanten und Absätze einer bestimmten Anzahl flächiger Produkte 14 zugeordnet. Bei der Extraktion der relevanten Informationen über das Oberflächenprofil können noch in den Bildern vorhandene, störende Zusatzinformationen, beispielsweise aufgrund des Umgebungslichts sichtbare Zeichen und Bilder auf der Oberfläche der flächigen Produkte 14, durch bekannte Diskriminierungsverfahren herausgefiltert werden.
  • Ein mittels der erfindungsgemässen Zählvorrichtung abgetastetes Oberflächenprofil ist in den Fig. 1 und 3 durch gestrichelte Linien, die mit dem Bezugszeichen A versehen sind, dargestellt. Die flächigen Produkte 14 werden in Fig. 1 mittels zur Zählvorrichtung 10 gehörigen Transportmitteln 36 in Form von Klammern transportiert. Dabei sind jeweils zwei flächige Produkte 14 von jeweils einem Transportmittel 36 derart gehalten, dass ein in Transportrichtung T vorlaufendes flächiges Produkt 14 weiter in ein Klammermaul des Transportmittels 36 hineinreicht, als ein nachlaufendes, teilweise auf dem vorlaufenden flächigen Produkt 14 aufliegendes weiteres flächiges Produkt 14.
  • Auch die jeweiligen Transportmittel 36 selbst können, wie ebenfalls in Fig. 1 gezeigt, durch einen weiteren Sensor 38, beispielsweise in Form einer Lichtschranke, detektiert werden. Bei der Passage eines Transportmittels 36 durch einen Überwachungsbereich des weiteren Sensors 38 wird vom weiteren Sensor 38 ein Triggersignal erzeugt und an die Auswerteeinheit 20 weitergeleitet. Unter Berücksichtigung der Transportgeschwindigkeit der Transportmittel 36 kann nun die Anzahl zu einem bestimmten Zeitpunkt detektierter flächiger Produkte 14 jeweils einem bestimmten Transportmittel 36 zugeordnet werden. Durch einen Vergleich mit einer vorgegebenen Sollanzahl von flächigen Produkten, die von einem Transportmittel 36 gehalten werden sollten ist nun feststellbar, ob Fehler bei der Bestückung der Transportmittel 36 oder dem Transport aufgetreten sind, so dass beispielsweise ein entsprechendes Steuersignal an einen nachgeordnete Verarbeitungseinrichtung ausgelöst werden kann.
  • Der für die Zuordnung genutzte weitere Sensor 38 ist ebenso in Fig. 2 gezeigt. Er kann in Transportrichtung T gesehen sowohl vor der Zählvorrichtung 10 als auch nach der Zählvorrichtung 10 angeordnet sein. Bei der in Fig. 2 gezeigten Ausführungsform der Transportvorrichtung 12 sind jeweils zwei flächige Produkte 14 vollständig übereinanderliegend von als Greifern ausgebildeten Transportmitteln 36 gehalten.
  • In Fig. 3 ist eine weitere Ausführungsform einer Transportvorrichtung 12 mit einem Förderband als Transportmittel 36 dargestellt. Die flächigen Produkte 14 werden mit ihrem Bund 34 in Transportrichtung T vorlaufend in einer Schuppenformation auf dem Transportmittel 36 aufliegend durch den Detektionsbereich der Zählvorrichtung 10 transportiert. In dieser Darstellung ist, wie bereits vorgängig erwähnt, das durch die Zählvorrichtung 10 abgetastete Oberflächenprofil A der flächigen Produkte 14 durch eine gestrichelte Linie dargestellt.
  • Mittels der erfindungsgemässen Zählvorrichtung 10 können auch einzelne oder sich teilweise überlappende flächige Produkte 14, die, wie in Fig. 4 gezeigt, hängend von als Greifern ausgebildeten Transportmitteln 36 transportiert werden, gezählt werden.
  • Bei einer Anordnung des optischen Sensors 18 derart, dass seine Detektionsstrahlachse 32 im Wesentlichen entlang der Längsachse des Bundes 34 der flächigen Produkte 14 ausgerichtet ist, könnten die in den Figuren 5a bis 5e gezeigten abstrahierten Bildaufnahmen aufgenommen worden sein. Die Beleuchtungsstrahlachse 26 der Lichtquelle 16 ist dabei von oben auf den kameraseitigen freien Endbereich des Bundes 34 gerichtet und verläuft vorteilhafterweise wenigstens nahezu parallel zu Produktseiten 40 der flächigen Produkte 14. Die Beleuchtungsstrahlachse 26 und die Detektionsstrahlachse 32 spannen auch hier eine Ebene auf, die sich im Wesentlichen rechtwinklig zur Transportrichtung T erstreckt.
  • In den Figuren 5a bis 5e sind neben den von der Beleuchtungslinie beleuchteten Abschnitten 33 der Oberflächenprofile, die als gestrichelte Linien dargestellt sind, zur Verdeutlichung auch die Seitenansichten der jeweils abgetasteten flächigen Produkte 14 in den abstrahierten Bildaufnahmen dargestellt. Anhand dieser beispielhaften abstrahierten Bildaufnahmen wird gezeigt, dass mittels Greifern oder Klammern hängend transportierte flächige Produkte 14 einzeln (Fig. 5a), paarweise (Fig. 5b, 5c und 5e) oder auch in einer Mehrfachanordnung, beispielsweise zu dritt (Fig. 5d), transportiert und gezählt werden können.
  • Wie in den Figuren 5b und 5e gezeigt, ist dabei eine Detektion und Zählung sowohl bei gegeneinander versetzt angeordneten flächigen Produkten 14 (Fig. 5c und Fig. 5d), wie auch bei vollständig aneinander anliegenden flächigen Produkten 14 möglich. Dies gilt sowohl für mehrseitige, gefaltete flächige Produkte 14, wie in Fig. 5a bis 5d gezeigt, als auch für einzellagige, ungefaltete flächige Produkte 14, wie in Fig. 5e dargestellt. Um die Zuverlässigkeit der Zählung bei einer Mehrzahl von gemeinsam in einer Klammer oder einem Greifer gehaltenen einzellagigen, ungefalteten flächigen Produkten 14 zu erhöhen, können diese beispielsweise durch das Einblasen von Luft wenigstens teilweise aufgefächert und damit voneinander beabstandet werden.
  • Bei einer kontinuierlichen Zählung von mittels der zugeordneten Transportvorrichtung 12 fortlaufend durch den Detektionsbereich transportierten flächigen Produkten 14 ist es für die optische Qualität der Bildaufnahmen und damit die Zuverlässigkeit der Zählung bevorzugt, dass die als optischer Sensor 18 fungierende Kamera Bildaufnahmen innerhalb einer Zeit aufnimmt, die kürzer, vorzugsweise sehr viel kürzer als die Zeit ist, innerhalb welcher sich ein flächiges Produkt 14 um den Betrag seiner Dicke im Detektionsbereich bewegt.
  • Darüber hinaus kann die Zuverlässigkeit des Zählens erhöht werden, wenn, wie vorgängig bereits erwähnt, die Lichtintensität der Lichtquelle 16 gegenüber dem Umgebungslicht vergrössert oder ein Filter, der auf die Wellenlänge des von der Lichtquelle 16 ausgestrahlten Lichts abgestimmt ist, im optischen Sensor 18 eingesetzt wird. Zudem ist es durch eine Vergrösserung des Winkels α zwischen der Beleuchtungsstrahlachse 26 und der Detektionsstrahlachse 32 möglich, die Krümmungen, Kanten und Absätze in den Abbildungen von den beleuchteten Oberflächenabschnitten 33 zu vergrössern.
  • Die erfindungsgemässe Zählvorrichtung 10 und das erfindungsgemässe Verfahren zum Zählen von flächigen Produkten 14 ermöglicht eine mit moderatem apparativen Aufwand zu realisierende, zuverlässige und für verschiedenste Transportformationen von flächigen Produkten 14 geeignete Zählung von flächigen Produkten 14. Die flächigen Produkte 14 können während der Detektion und Zählung transportiert werden, wobei der Betrag der Transportgeschwindigkeit durch die kürzest mögliche Aufnahmezeit des optischen Sensors 18 begrenzt ist, bei welcher trotz aus dem Transport resultierender Bewegungsartefakte in den Bildaufnahmen eine zuverlässige Zählung möglich.
  • Im Übrigen kann sowohl das Beleuchtungsstrahlprofil 24 wie auch das Detektionsstrahlprofil 30 den spezifischen Bedürfnissen angepasst werden. So ist es möglich, eine Mehrzahl von Beleuchtungslinien oder auch sich zeitlich verändernde Muster aus Beleuchtungslinien auf die Oberfläche der flächigen Produkte 14 zu projizieren und mittels des optischen Sensors 18 zu detektieren. Wichtig ist dabei, dass der sich im Detektionsbereich befindliche Oberflächenabschnitt 33 der flächigen Produkte 14 wenigstens teilweise vom vorbestimmtem Beleuchtungsstrahlprofil 24 begrenzt ist.
  • Neben dem Zählen von flächigen Produkten 14 und damit der Ermittlung von fehlerhaften Anzahlen ist es auch möglich, deformierte und / oder unvollständige Produkte 14 anhand des vom optischen Sensor 18 detektierten Abbildes der Beleuchtungslinie zu Erkennen. Diese Produkte 14 weisen im Vergleich zu erwarteten Höhenänderungen im Oberflächenprofil Abweichungen auf, aus denen Rückschlüsse auf eine Deformation und / oder Unvollständigkeit gezogen werden kann. Dazu werden beispielsweise in der Auswerteeinheit 20 Vergleichsoperationen zwischen detektierten und erwarteten Signalen ausgeführt. Für den Fall, dass die Abweichungen ausserhalb von vorgegebenen Toleranzbereichen liegen, erzeugt die Auswerteeinheit 20 Signale, welche vorbestimmte Fehlerbearbeitungsprozeduren auslösen. Insbesondere kann an eine in Transportrichtung T der Zählvorrichtung 10 nachgeordnete Verarbeitungseinrichtung ein Signal zum Ausschleusen deformierter und / oder unvollständiger Produkte 14 weitergeleitet werden. Natürlich ist es auf diese Weise auch möglich, verschiedenartige Produkte 14, beispielsweise aufgrund ihrer unterschiedlichen Dicke, zu Erkennen und nachfolgend, beispielsweise durch eine Auftrennung des Produktstroms, zu sortieren.
  • Die Vorrichtung zum Erkennen, und auch Zählen, von flächigen Produkten 14, insbesondere Druckereiprodukten, weist eine Lichtquelle 16, einen optischen Sensor 18 mit einer Detektionsoptik 28 zur Formung eines Detektionsstrahlprofils 30 und eine mit dem optischen Sensor 18 verbundene Auswerteeinheit 20, auf dadurch gekennzeichnet, dass die Lichtquelle 16 mit einer Strahlformungsoptik 22 zur Formung eines Beleuchtungsstrahlprofils 24, das mit dem Detektionsstrahlprofil 30 des optischen Sensors 18 in einem Detektionsbereich überlappt, ausgestattet ist und dass durch eine winkelversetzte Ausrichtung des Beleuchtungsstrahlprofils 24 gegenüber dem Detektionsstrahlprofil 30 ein im Detektionsbereich befindlicher Abschnitt 33 eines Oberflächenprofils der flächigen Produkte 14, der wenigstens teilweise durch das Beleuchtungsstrahlprofil 24 begrenzt ist, mittels des optischen Sensors 18 detektierbar ist und wobei aus einem vom optischen Sensor 18 erzeugten Detektionssignal, das Informationen über den detektierten Abschnitt 33 des Oberflächenprofils enthält, die Anzahl der flächigen Produkte 14 im Detektionsbereich mittels der Auswerteinheit 20 bestimmbar ist.
  • In einer weiteren Ausführungsform ist der Querschnitt des Beleuchtungsstrahlprofils 24 im Detektionsbereich, gemessen rechtwinklig zur optischer Achse 32 der Lichtquelle 16, im Wesentlichen wenigstens teilweise geradlinig begrenzt, vorzugsweise im Wesentlichen linienartig, besonders bevorzugt im Wesentlichen geradlinig unter Bildung einer Beleuchtungslinie ausgeformt ist.
  • Gemäss einer weiteren Ausführungsform schliessen die optischen Achsen 26, 32 der Lichtquelle 16 und des optischen Sensors 18 einen Winkel zwischen etwa 10° und weniger als 180°, vorzugsweise zwischen 30° und 45° ein.
  • Weiter sind die optischen Achsen 26, 32 der Lichtquelle 16 und / oder des optischen Sensors 18 geneigt zur Flächennormalen der flächigen Produkte 14 ausgerichtet.
  • In einer weiteren Ausführungsform werden die flächigen Produkte 14 mittels einer zugeordneten Transportvorrichtung 12 entlang einer Transportrichtung T transportiert, wobei die optische Achse 32 des optischen Sensors 18 im Wesentlichen rechtwinklig zur Transportrichtung T orientiert ist und die Längsachse eines Querschnitts des Beleuchtungsstrahlprofils 24 im Detektionsbereich im Wesentlichen parallel zur Transportrichtung T verläuft.
  • Gemäss einer weiteren Ausführungsform erzeugt ein weiterer Sensor 38, welcher bei einer Passage eines Transportmittels 36 der Transportvorrichtung 12 durch einen Überwachungsbereich des weiteren Sensors 38 ein Triggersignal, so dass die zu einem bestimmten Zeitpunkt ermittelte Anzahl von flächigen Produkten 14 dem jeweiligen Transportmittel 36 zugeordnet werden können.
  • In einer weiteren bevorzugten Ausführungsform ist der optische Sensor 18 eine Kamera, vorzugsweise eine elektronische Kamera, besonders bevorzugt eine CCD- oder CMOS- Kamera, welche Bildaufnahmen innerhalb einer Aufnahmezeit detektiert, die kürzer, vorzugsweise sehr viel kürzer als die Zeit ist, innerhalb welcher sich ein flächiges Produkt 14 um den Betrag seiner Dicke im Detektionsbereich bewegt.
  • Weiter ist die Lichtintensität im Beleuchtungsstrahlprofil 24 der Lichtquelle 16 im Detektionsbereich grösser als die Lichtintensität des Umgebungslichts und dass die Lichtquelle 16 vorzugsweise im Wesentlichen monochromatisches Licht bereitstellt und besonders bevorzugt als ein Laser ausgebildet ist.
  • Weiter betrifft die Erfindung ein Verfahren zum Erkennen, und auch Zählen, von flächigen Produkten 14, insbesondere von Druckereiprodukten, unter Verwendung einer Vorrichtung 10 zum Erkennen von flächigen Produkten 14 nach einer der vorhergehenden Ausführungsformen, wobei durch eine winkelversetzte Ausrichtung des Beleuchtungsstrahlprofils 24 gegenüber dem Detektionsstrahlprofil 30 ein im Detektionsbereich befindlicher Abschnitt 33 eines Oberflächenprofils der flächigen Produkte 14, der wenigstens teilweise durch das Beleuchtungsstrahlprofil 24 begrenzt ist, mittels des optischen Sensors 18 detektiert wird und wobei aus einem vom optischen Sensor 18 erzeugten Detektionssignal, das Informationen über den detektierten Abschnitt 33 des Oberflächenprofils enthält, die Anzahl der flächigen Produkte 14 im Detektionsbereich mittels der mit dem optischen Sensor 18 verbundenen Auswerteinheit 20 bestimmt wird.
  • In einer weiteren bevorzugten Ausführungsform befindet sich bei der Detektion ein Randbereich eines der flächigen Produkte 14 im Detektionsbereich.
  • Gemäss einer weiteren bevorzugten Ausführungsform werden die flächigen Produkte 14 einzeln, in einer Schuppenformation sich teilweise überdeckend oder vollständig aneinander anliegend relativ zur Vorrichtung 10 entlang einer Transportrichtung T mit Hilfe von Transportmitteln 36 einer der Vorrichtung 10 zugeordneten Transportvorrichtung 12, insbesondere mit Hilfe von Klammern, Greifern bzw. einem Förderband, in den Detektionsbereich transportiert.
  • In einer weiteren bevorzugen Ausführungsform kann bei einer Passage von einem der Transportmittel 36 durch einen Überwachungsbereich eines weiteren Sensors 38 ein Triggersignal erzeugt werden, so dass die zu einem bestimmte Zeitpunkt ermittelte Anzahl von flächigen Produkten 14 genau einem Transportmittel 36 zugeordnet werden kann.
  • Gemäss einer weiteren Ausführungsform wird mittels eines Bildverarbeitungsprogramms, das in der Auswerteeinheit 20 ausgeführt wird, die Anzahl der flächigen Produkte 14 aus Aufnahmen, die vom optischen Sensor 18 aufgenommen wurden, bestimmt .

Claims (19)

  1. Vorrichtung zum Erkennen von flächigen Produkten (14), insbesondere Druckereiprodukten, aufweisend eine Lichtquelle (16), einen optischen Sensor (18) mit einer Detektionsoptik (28) zur Formung eines Detektionsstrahlprofils (30) und eine mit dem optischen Sensor (18) verbundene Auswerteeinheit (20), dadurch gekennzeichnet, dass der optische Sensor (18) eine elektronische Kamera ist und die Lichtquelle (16) mit einer Strahlformungsoptik (22) zur Formung eines Beleuchtungsstrahlprofils (24), das mit dem Detektionsstrahlprofil (30) der elektronischen Kamera (18) in einem Detektionsbereich überlappt, ausgestattet ist und dass durch eine winkelversetzte Ausrichtung des Beleuchtungsstrahlprofils (24) gegenüber dem Detektionsstrahlprofil (30) ein im Detektionsbereich befindlicher Abschnitt (33) eines Oberflächenprofils der flächigen Produkte (14), der wenigstens teilweise durch das Beleuchtungsstrahlprofil (24) begrenzt ist, mittels der elektronischen Kamera (18) detektierbar ist und wobei aus einem von der elektronischen Kamera (18) erzeugten Detektionssignal, das Informationen über den detektierten Abschnitt (33) des Oberflächenprofils enthält, deformierte, unvollständige und/oder verschiedenartige Produkte (14) im Detektionsbereich mittels der Auswerteinheit (20) bestimmbar sind.
  2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Querschnitt des Beleuchtungsstrahlprofils (24) im Detektionsbereich, gemessen rechtwinklig zur optischen Achse (32) der Lichtquelle (16), im Wesentlichen wenigstens teilweise geradlinig begrenzt, vorzugsweise im Wesentlichen linienartig, besonders bevorzugt im Wesentlichen geradlinig unter Bildung einer Beleuchtungslinie ausgeformt ist.
  3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die optischen Achsen (26, 32) der Lichtquelle (16) und der elektronischen Kamera (18) einen Winkel zwischen etwa 10° und weniger als 180°, vorzugsweise zwischen 30° und 45° einschliessen.
  4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die optischen Achsen (26, 32) der Lichtquelle (16) und / oder der elektronischen Kamera (18) geneigt zur Flächennormalen der Produkte (14) ausgerichtet sind.
  5. Vorrichtung nach einem der Ansprüche 1 bis 4, gekennzeichnet durch eine zugeordnete Transportvorrichtung (12) mittels welcher die Produkte (14) entlang einer Transportrichtung (T) transportiert werden, wobei die optische Achse (32) der elektronischen Kamera (18) im Wesentlichen rechtwinklig zur Transportrichtung (T) orientiert ist und die Längsachse eines Querschnitts des Beleuchtungsstrahlprofils (24) im Detektionsbereich im Wesentlichen parallel zur Transportrichtung (T) verläuft.
  6. Vorrichtung nach Anspruch 5, gekennzeichnet durch einen weiteren Sensor (38), welcher bei einer Passage eines Transportmittels (36) der Transportvorrichtung (12) durch einen Überwachungsbereich des weiteren Sensors (38) ein Triggersignal erzeugt, so dass die zu einem bestimmten Zeitpunkt ermittelten deformierten, unvollständigen und/oder verschiedenartigen Produkten (14) dem jeweiligen Transportmittel (36) zugeordnet werden können.
  7. Vorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die elektronische Kamera eine CCD- oder CMOS-Kamera ist, welche Bildaufnahmen innerhalb einer Aufnahmezeit detektiert, die kürzer, vorzugsweise sehr viel kürzer als die Zeit ist, innerhalb welcher sich ein Produkt (14) um den Betrag seiner Dicke im Detektionsbereich bewegt.
  8. Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Lichtintensität im Beleuchtungsstrahlprofil (24) der Lichtquelle (16) im Detektionsbereich grösser ist als die Lichtintensität des Umgebungslichts und dass die Lichtquelle (16) vorzugsweise im Wesentlichen monochromatisches Licht bereitstellt und besonders bevorzugt als ein Laser ausgebildet ist.
  9. Vorrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die elektronische Kamera (18) eine Mehrzahl von lichtempfindlichen Elementen aufweist.
  10. Vorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das Erkennen ein Zählen umfasst, wobei die Anzahl der Produkte (14) im Detektionsbereich mittels der Auswerteeinheit (20) bestimmbar ist.
  11. Verfahren zum Erkennen von flächigen Produkten (14), insbesondere von Druckereiprodukten, unter Verwendung einer Vorrichtung (10) zum Erkennen der Produkte (14) nach einem der Ansprüche 1 bis 10, wobei durch eine winkelversetzte Ausrichtung des Beleuchtungsstrahlprofils (24) gegenüber dem Detektionsstrahlprofil (30) ein im Detektionsbereich befindlicher Abschnitt (33) eines Oberflächenprofils der Produkte (14), der wenigstens teilweise durch das Beleuchtungsstrahlprofil (24) begrenzt ist, mittels der elektronischen Kamera (18) detektiert wird und wobei aus einem von der elektronischen Kamera (18) erzeugten Detektionssignal, das Informationen über den detektierten Abschnitt (33) des Oberflächenprofils enthält, deformierte, unvollständige und/oder verschiedenartige Produkte (14) im Detektionsbereich mittels der mit dem optischen Sensor (18) verbundenen Auswerteeinheit (20) bestimmt werden.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass sich bei der Detektion ein Randbereich eines der Produkte (14) im Detektionsbereich befindet.
  13. Verfahren nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die Produkte (14) einzeln, in einer Schuppenformation sich teilweise überdeckend oder vollständig aneinander anliegend relativ zur Vorrichtung (10) entlang einer Transportrichtung (T) mit Hilfe von Transportmitteln (36) einer der Vorrichtung (10) zugeordneten Transportvorrichtung (12) in den Detektionsbereich transportiert werden.
  14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass bei einer Passage von einem der Transportmittel (36) durch einen Überwachungsbereich eines weiteren Sensors (38) ein Triggersignal erzeugt wird, so dass die zu einem bestimmten Zeitpunkt ermittelten deformierten, unvollständigen und/oder verschiedenartigen Produkte (14) genau einem Transportmittel (36) zugeordnet werden können.
  15. Verfahren nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass mittels eines Bildverarbeitungsprogramms, das in der Auswerteeinheit (20) ausgeführt wird, die deformierten, unvollständigen und/oder verschiedenartigen Produkte (14) aus Aufnahmen, die von der elektronischen Kamera (18) aufgenommen wurden, bestimmt werden.
  16. Verfahren nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass bei Abweichungen die ausserhalb von vorgegebenen Toleranzbereichen liegen, durch die Auswerteeinheit (20) Signale erzeugt werden, durch die wiederum vorbestimmte Fehlerbearbeitungsprozeduren ausgelöst werden.
  17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass ein Signal zum Ausschleusen deformierter und/oder unvollständiger Produkte (14) an eine in Transportrichtung T der Vorrichtung (10) nachgeordnete Verarbeitungseinrichtung weitergeleitet wird.
  18. Verfahren nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass das Erkennen ein Zählen umfasst, wobei die Anzahl der flächigen Produkte (14) im Detektionsbereich mittels der mit der elektronischen Kamera (18) verbundenen Auswerteinheit (20) bestimmt wird.
  19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass verschiedenartige Produkte (14) sortiert werden.
EP11003404.8A 2007-04-03 2008-03-05 Vorrichtung und Verfahren zum Zählen und Erkennen von flächigen Produkten Not-in-force EP2362330B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH5392007 2007-04-03
EP08706386A EP2130163B1 (de) 2007-04-03 2008-03-05 Vorrichtung und verfahren zum zählen und erkennen von flächigen produkten

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
EP08706386.3 Division 2008-03-05

Publications (3)

Publication Number Publication Date
EP2362330A2 true EP2362330A2 (de) 2011-08-31
EP2362330A3 EP2362330A3 (de) 2011-09-14
EP2362330B1 EP2362330B1 (de) 2013-09-25

Family

ID=38261488

Family Applications (3)

Application Number Title Priority Date Filing Date
EP11003404.8A Not-in-force EP2362330B1 (de) 2007-04-03 2008-03-05 Vorrichtung und Verfahren zum Zählen und Erkennen von flächigen Produkten
EP10008415A Withdrawn EP2256075A3 (de) 2007-04-03 2008-03-05 Vorrichtung und Verfahren zum Kontrollieren von flächigen Produkten
EP08706386A Not-in-force EP2130163B1 (de) 2007-04-03 2008-03-05 Vorrichtung und verfahren zum zählen und erkennen von flächigen produkten

Family Applications After (2)

Application Number Title Priority Date Filing Date
EP10008415A Withdrawn EP2256075A3 (de) 2007-04-03 2008-03-05 Vorrichtung und Verfahren zum Kontrollieren von flächigen Produkten
EP08706386A Not-in-force EP2130163B1 (de) 2007-04-03 2008-03-05 Vorrichtung und verfahren zum zählen und erkennen von flächigen produkten

Country Status (8)

Country Link
US (1) US8324558B2 (de)
EP (3) EP2362330B1 (de)
JP (1) JP2010524065A (de)
AU (1) AU2008234396B2 (de)
CA (1) CA2682618A1 (de)
DK (2) DK2130163T3 (de)
ES (1) ES2387448T3 (de)
WO (1) WO2008119192A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3364381A1 (de) * 2017-02-21 2018-08-22 Harting Systems GmbH Warenautomat mit bestandsführungsmittel

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2301877B1 (de) 2009-09-23 2012-11-28 Ferag AG Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung
CH701910A1 (de) * 2009-09-23 2011-03-31 Ferag Ag Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung.
CH705026A2 (de) 2011-05-16 2012-11-30 Ferag Ag Einrichtung und Verfahren zur Erzeugung eines lückenlosen Schuppenstromes aus flächigen Produkteinheiten, insbesondere Druckprodukten.
JP6548504B2 (ja) * 2015-08-04 2019-07-24 キヤノン株式会社 シート処理方法、シート処理装置及び画像形成装置
CH712497A1 (de) 2016-05-30 2017-11-30 Ferag Ag Zuführvorrichtung zum Zuführen von Produkten an eine Weiterverarbeitungsvorrichtung.

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1661833A1 (de) 2004-11-26 2006-05-31 Ferag AG Verfahren und Vorrichtung zum Verarbeiten von Druckereierzeugnissen
WO2007012206A1 (de) 2005-07-29 2007-02-01 Ferag Ag Verfahren und vorrichtung zur kontrolle von klammertransportierten flächigen produkten

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2908825A (en) * 1956-12-10 1959-10-13 Midwest Automatic Control Co Photoelectric counter
US4248532A (en) * 1978-12-26 1981-02-03 Nosler John C Electro-optical distance-measuring system
SE433200B (sv) 1980-06-04 1984-05-14 Dagens Nyheters Ab Sett och anordning for att rekna fiskfjellsartat lagda foremal
US4384195A (en) * 1980-06-09 1983-05-17 The Coe Manufacturing Company Edge-responsive apparatus for counting conveyor-transported articles
JPS5977584A (ja) 1982-10-26 1984-05-04 Tokyo Kikai Seisakusho:Kk 印刷物の計数装置
US4677302A (en) * 1985-03-29 1987-06-30 Siemens Corporate Research & Support, Inc. Optical system for inspecting printed circuit boards wherein a ramp filter is disposed between reflected beam and photodetector
JPH0814840B2 (ja) 1986-03-27 1996-02-14 株式会社東京機械製作所 被搬送体計数装置
US4929843A (en) * 1989-06-28 1990-05-29 General Electric Company Apparatus and method for determining a dimension of an object
US5132791A (en) * 1990-09-25 1992-07-21 Ball Corporation Optical sheet inspection system
US5221837A (en) * 1992-03-27 1993-06-22 Faraday National Corporation Non-contact envelope counter using distance measurement
CH684656A5 (de) * 1992-05-06 1994-11-15 Baumer Electric Ag Verfahren und Vorrichtung zum Erkennen und Auswerten von Kanten an Gegenständen.
EP0626663A1 (de) 1993-04-29 1994-11-30 COPACO GESELLSCHAFT FÜR VERPACKUNGEN mbH & Co. KG Berührungsloser Detektor
US6133948A (en) * 1995-12-04 2000-10-17 Virginia Tech Intellectual Properties, Inc. Automatic identification of articles having contoured surfaces
JPH1134187A (ja) * 1997-07-15 1999-02-09 Mitsubishi Heavy Ind Ltd 製函用シート材の接合部判定方法及び製函用シート材の接合部判定装置
DE19842192A1 (de) * 1998-09-15 2000-03-16 Roland Man Druckmasch Einrichtung zur Überwachung des Bogenlaufes einer bogenverarbeitenden Vorrichtung
DE10012138B4 (de) 2000-03-13 2010-02-25 Sick Ag Verfahren und Vorrichtung zur Erfassung von Kantenbereichen von Objekten
DE10220186A1 (de) 2002-05-06 2003-11-27 Gramatec Gmbh Verfahren und Vorrichtung zum Zählen von Kanten von Produkten
US6876716B2 (en) * 2003-02-19 2005-04-05 Quipp Systems, Inc. Method and apparatus for utilizing a shadow effect for counting newspapers, magazines, books, printed products, signatures and other like printed matter
GB0418040D0 (en) 2004-08-12 2004-09-15 Wessex Technology Opto Electro Improvements in double feed mail detection
US7809158B2 (en) * 2005-05-02 2010-10-05 Siemens Industry, Inc. Method and apparatus for detecting doubles in a singulated stream of flat articles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1661833A1 (de) 2004-11-26 2006-05-31 Ferag AG Verfahren und Vorrichtung zum Verarbeiten von Druckereierzeugnissen
WO2007012206A1 (de) 2005-07-29 2007-02-01 Ferag Ag Verfahren und vorrichtung zur kontrolle von klammertransportierten flächigen produkten

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3364381A1 (de) * 2017-02-21 2018-08-22 Harting Systems GmbH Warenautomat mit bestandsführungsmittel

Also Published As

Publication number Publication date
EP2256075A3 (de) 2010-12-22
EP2130163B1 (de) 2012-06-27
EP2256075A2 (de) 2010-12-01
DK2130163T3 (da) 2012-07-30
EP2130163A1 (de) 2009-12-09
JP2010524065A (ja) 2010-07-15
ES2387448T3 (es) 2012-09-24
EP2362330A3 (de) 2011-09-14
US20100116975A1 (en) 2010-05-13
AU2008234396A1 (en) 2008-10-09
WO2008119192A1 (de) 2008-10-09
EP2362330B1 (de) 2013-09-25
CA2682618A1 (en) 2008-10-09
AU2008234396B2 (en) 2012-09-13
US8324558B2 (en) 2012-12-04
DK2362330T3 (da) 2013-11-18

Similar Documents

Publication Publication Date Title
EP2130163B1 (de) Vorrichtung und verfahren zum zählen und erkennen von flächigen produkten
EP0650911B1 (de) Vorrichtung und Verfahren zum Erkennen von Überlappungen von biegbaren flachen Sendungen
DE602004005678T2 (de) Sensorvorrichtung
EP1910202B1 (de) Verfahren und vorrichtung zur kontrolle von klammertransportierten flächigen produkten
DE102017006566B3 (de) Vorrichtung und Verfahren zur optischen Überwachung von Oberflächen eines Körpers
DE19842192A1 (de) Einrichtung zur Überwachung des Bogenlaufes einer bogenverarbeitenden Vorrichtung
EP2349889A1 (de) Verfahren und vorrichtung zum bearbeiten von wertdokumenten
EP1844865B1 (de) Elektronisches Markieren zum Sortieren von in Objektverbänden hergestellten und geprüften Einzelobjekten
EP2546177A1 (de) Verfahren und Vorrichtung zur Qualitätsprüfung flächiger Druckprodukte
EP0897887B1 (de) Verfahren und Vorrichtung zur Kontrolle der Dicke von kontinuierlich geförderten, flächigen Gegenständen
EP2480470B1 (de) Optisches kontrollverfahren zur qualitätsbeurteilung in der druckweiterverarbeitung
EP1992580A2 (de) Verfahren und Vorrichtung zum Öffnen von Druckereiprodukten
DE102006017787B4 (de) Verfahren und Vorrichtung zum Bestimmen der Soll-Position eines Trennschnitts zwischen plattenförmigen Werkstücken
DE102005008747B4 (de) Verfahren und Vorrichtung für die Erfassung von Banknoten
EP2301877B1 (de) Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung
DE102020114980B4 (de) Vorrichtung und system zur inspektion zumindest eines diffraktiven optischen elements eines dokuments
DE10233052A1 (de) Erkennung von Mehrfachabzügen
AT501375B1 (de) Briefmarkenerkennungsvorrichtung
AT521247B1 (de) Verfahren zur Oberflächenprüfung von Münzen
WO2024033197A1 (de) Wellpappenanlage sowie verfahren zur überwachung einer wellpappenanlage
DE102015003480A1 (de) Vorrichtung und Verfahren zum Prüfen von Wertdokumenten, insbesondere Banknoten, sowie Wertdokumentbearbeitungssystem
EP3388376A1 (de) Verfahren und vorrichtung zum überwachen des transports von produkten und system zur herstellung, verarbeitung und/oder prüfung von produkten
EP0815958A2 (de) Verfahren und Vorrichtung zur Erkennung von Behältern
DE102021200316A1 (de) Optische Spektroskopie mittels ortsaufgelöster Beleuchtung für Schüttgut
DE102019117162A1 (de) Verfahren zur Defekterkennung für Medienbögen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AC Divisional application: reference to earlier application

Ref document number: 2130163

Country of ref document: EP

Kind code of ref document: P

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

RIC1 Information provided on ipc code assigned before grant

Ipc: B65H 43/00 20060101AFI20110808BHEP

17P Request for examination filed

Effective date: 20120306

17Q First examination report despatched

Effective date: 20120912

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502008010733

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G06M0007100000

Ipc: B65H0029040000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: B65H 29/66 20060101ALI20130502BHEP

Ipc: B65H 43/08 20060101ALI20130502BHEP

Ipc: B65H 29/04 20060101AFI20130502BHEP

Ipc: G06M 1/10 20060101ALI20130502BHEP

Ipc: G06M 7/06 20060101ALI20130502BHEP

Ipc: B65H 43/00 20060101ALI20130502BHEP

INTG Intention to grant announced

Effective date: 20130531

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AC Divisional application: reference to earlier application

Ref document number: 2130163

Country of ref document: EP

Kind code of ref document: P

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: PATENTANWAELTE SCHAAD, BALASS, MENZL AND PARTN, CH

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 633618

Country of ref document: AT

Kind code of ref document: T

Effective date: 20131015

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20131115

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502008010733

Country of ref document: DE

Effective date: 20131121

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131225

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20130925

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20131226

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140125

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008010733

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140127

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

26N No opposition filed

Effective date: 20140626

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008010733

Country of ref document: DE

Effective date: 20140626

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140305

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20140305

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20141128

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140331

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140305

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140305

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 633618

Country of ref document: AT

Kind code of ref document: T

Effective date: 20140305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20140305

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20160321

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130925

Ref country code: BE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20140331

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20080305

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20170321

Year of fee payment: 10

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20170331

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170331

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20180322

Year of fee payment: 11

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180306

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20190605

Year of fee payment: 12

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502008010733

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20191001

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200331