EP0112761B1 - Dispositif de création sonore - Google Patents

Dispositif de création sonore Download PDF

Info

Publication number
EP0112761B1
EP0112761B1 EP83402385A EP83402385A EP0112761B1 EP 0112761 B1 EP0112761 B1 EP 0112761B1 EP 83402385 A EP83402385 A EP 83402385A EP 83402385 A EP83402385 A EP 83402385A EP 0112761 B1 EP0112761 B1 EP 0112761B1
Authority
EP
European Patent Office
Prior art keywords
signals
image
sounds
sound
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired
Application number
EP83402385A
Other languages
German (de)
English (en)
Other versions
EP0112761A1 (fr
Inventor
Sylvain Aubin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
France Telecom R&D SA
Original Assignee
Centre National dEtudes des Telecommunications CNET
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National dEtudes des Telecommunications CNET filed Critical Centre National dEtudes des Telecommunications CNET
Publication of EP0112761A1 publication Critical patent/EP0112761A1/fr
Application granted granted Critical
Publication of EP0112761B1 publication Critical patent/EP0112761B1/fr
Expired legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00—Instruments in which the tones are generated by means of electronic generators
    • G10H5/16—Instruments in which the tones are generated by means of electronic generators using cathode ray tubes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S84/00—Music
    • Y10S84/06—Cathode-ray tube

Definitions

  • the subject of the present invention is a method and a device for creating sound implying a transformation of images into sounds, which makes it possible to analyze images including at least one moving object and to produce musical sounds from this analysis.
  • the applications are located either in the study of an individual's perceptions in front of visual images combined with audible signals, or in the detection of a person entering a room, as in the French patent published under the number FR- A-2 206 030.
  • the sound production is sensitive to only one of the parameters of the moving object, either the position of the object, or its light intensity or possibly its speed. It is understood that under these conditions, only one of the sound parameters is varied, for example the sound intensity or the pitch, and that there is therefore no question of envisaging any production of a musical composition.
  • the present invention aims, on the contrary, to allow a sound creation comparable to a musical composition, with concomitant variation of several parameters of the sounds produced.
  • it makes it possible to exploit the variation observed for several different parameters of the moving object, for example: its position and its speed, or its volume and its speed, or even its deformation on itself as in body movements of a dancer.
  • a sound creation device characterized in that it comprises first means for observing an image including a moving object and means for producing image signals as a function of the movement of this object, characterized in that it comprises second means for producing image signals translating at least two parameters of the image varying independently during the movement of the object, and third means for producing from said image signals, signals sound control, and in that it provides a synthesis of sounds by using said sound control signals to control the variations of at least two different parameters of the sounds produced.
  • the first means can advantageously include a video signal generator producing the image signals.
  • the second and third means can advantageously be designed to control parameters of the sounds chosen from the pitch of the sound, its timbre, its intensity, and optionally the rhythm of succession of the sounds or their duration or any combination of these parameters. .
  • the invention involves the use of a device for transforming a video signal into sounds, comprising at least one generator of a signal video, an analog to digital converter if the video signal is not already digital, a means of transforming the digitized video signal into a multitude p of signals representative of P parameters, a set of analog to digital converters in number equal to the number of parameters, a matrix for connecting the P signals to a second multitude of q inputs of a sound synthesizer whose output is connected to a loudspeaker.
  • FIG. 1 represents the device according to the invention, in which 1 designates a video signal generator which can be constituted, as will be seen hereinafter, by one or more achrome or polychrome video cameras, or else by a video recorder, a videodisc or any other means. Except in the case of the video disc, the video signals coming from the means 1 are generally not in digital form. From the generator output 11 they then feed an analog / digital converter 2 (input 20), which transforms the analog signals into digital signals to transmit them from its output 21 to the input 30 of the interface 3, which can be constituted , either by a microprocessor device, or by a wired logic, which will be described later. In the event that the video signal is produced from origin in digital form, it would be admitted to interface 3 directly.
  • a video signal generator which can be constituted, as will be seen hereinafter, by one or more achrome or polychrome video cameras, or else by a video recorder, a videodisc or any other means. Except in the case of the video disc, the video signals
  • the multitude p of the P outputs of the interface also supply the P digital / analog converters, the P outputs of which are connected to a connection matrix 5, making it possible to modify the P outputs of the analog converters 4, into a multitude Q of outputs that l '' we connect to the inputs of the analog sound synthesizer 6, the only output of which is connected to a speaker 7.
  • the synthesizer 6 must have a sufficient number of voltage inputs. It is desirable to be able to control at least a first input 61, acting on the synthesizer circuit defining the pitch, a second input 62 acting on the synthesizer circuit defining the timbre of the sound and therefore the number of harmonics contained in the sound, a third input 63 acting on the synthesizer circuit regulating the intensity of the sound, a fourth input 64 acting on the synthesizer circuit regulating the rhythm of succession of the notes, and a fifth input, not shown, acting on the circuit of the synthesizer regulating the duration of said notes.
  • the sound synthesizer offers the possibility of controlling special effects in voltage, vibrato, distortion, reverberation, echo, etc., it is possible to provide connections to the inputs controlling the special effects.
  • connection matrix 5 therefore makes it possible, from a number of outputs P of the converter 4, to control the Q inputs of the synthesizer 6.
  • This matrix can easily be produced by any device making it possible to combine the P signals to transform them into Q signals.
  • This connection matrix is within the reach of any person skilled in the art; it can simply be produced by plug-in studs making it possible to connect the outputs and the inputs.
  • the main role of the interface 3 is to transform the digital video signal into P signals which we will use to control the synthesizer.
  • An example of selection in the image of P parameters representative of its evolution is given in FIG. 2.
  • a frame C represents either a television screen or the viewfinder of a camera which is used to film the image.
  • For each frame an object can be defined and represented by its dimensions x, y and by its position X, Y relative to an origin 0 chosen in a corner of the frame.
  • the image can be that of a dancer who moves on a stage and whose movements are translated by the variation of the parameters X, Y, y, x.
  • a module 38 for extracting the synchronization signals delivers the video signal to be digitized and the line and frame synchronization signals.
  • the converter 2 codes the video signal on a single bit.
  • the output of the analog / digital converter 2 is connected to the input 301 of a serial-parallel converter 101, controlled by a clock 102 (itself slaved to the line synchronization signal), which delivers to the input 305 of the 39 interface of 16-bit words.
  • the line and frame synchronization signals are connected at 302 and 303 and set the state organs of interface 39 to 1. They make it possible to synchronize the progress of the program with the line and frame scans, which is important for allow the system to operate in real time.
  • the exchanges between the interface 39 and the microprocessor are either programmed or triggered by interruption.
  • a data bus 33 connects this interface to the microprocessor 31.
  • An address bus 34 thus a control bus 35, also connect the interface 39 to the microprocessor.
  • the microprocessor 31 is also connected by the address 34, data 33 and control 35 buses to a memory 32 containing the program for processing the digital information arriving at 305.
  • the input-output interface 39 transmits by the p outputs 304, the P words resulting from the processing of the digital video signal, to the P digital / analog converters 4.
  • microprocessor 31 is programmed to work in the following manner, which will be explained with the aid of the flow diagram of FIG. 4.
  • a first phase, or word processing phase when the serial-parallel converter 101 has loaded 16 bits, corresponding to a complete word, the interface 39 delivers a "full word” indication and the microprocessor loads the word in a register internal and detects the position in the word of bits at state 1, after performing the filtering operation.
  • filtering which is optional, is to get rid of parasitic luminances, by deciding that the passage from 0 to 1 only took place after having seen a certain number of 1 pass and that the passage from 1 to 0 did not take place until after the passage of a certain number of 0 (which number will determine the filtering power), which amounts to requiring a transition to have a certain stability before taking it into account.
  • the microprocessor calculates the position (x min, or x max.), Stores this information in memory, examines in the interface the organ d 'state corresponding to line synchronization (bit at 1 during top line time), and if the latter is at 0, waits for the next complete word indication to redo the same operation.
  • the microprocessor executes the second phase, or line processing phase, by comparing the information x min. and x max. relating to line n processed with the information x min, and x max. that it has in memory and which result from the processing of the previous line n-1. It only remembers the smallest of the x min. and the largest of the x max., such that when all the lines have been processed, the will remain in memory only the extreme values in x of the position of the object in the frame i (x min. frame i, x maximum frame i).
  • the microprocessor also determines whether the rank of the line processed corresponds to y min, or y max. after filtering. In this filtrate, the decision is made that a line contains only 1's if a certain number of the following lines also contain (y min.); similarly, the decision that a line does not contain more than 1 is only taken if a certain number of the lines which follow does not contain either (y max.).
  • the microprocessor then stores the values of y min. and y max. It scans the output of the interface 39 corresponding to the frame synchronization signal which enters at 303. If this is 0, it waits for the next complete word indication to process a new line, otherwise it initiates a third phase, which is a frame processing phase.
  • the microprocessor performs calculations on the information it has in memory and which are: x max. frame i, x min. frame i, y min, frame i, y max. frame i.
  • the microprocessor restores this information to the digital / analog converters 4 by addressing the outputs 304 of the interface 39 and waits for the following complete word indication to process a new frame i + 1.
  • the only limit to the complexity of the programs is the execution time.
  • the -line comprises 10 words of 16 bits and since the scanning of a line lasts 52 seconds, the processing of a word must be carried out in less than 5.2 ps, processing a line (during line feed) in less than 12 ps, frame processing (during line feed) in less than 1.2 milliseconds.
  • a second embodiment of the interface 3, in wired logic, is represented in FIG. 5.
  • the output of the device 1 providing a video signal is connected to the input 380 of a circuit 48 for extracting the synchronization signals line and frame.
  • the output 382 of circuit 48 provides a line synchronization signal, which is used to synchronize a clock 42, and which, on the other hand, is connected to an input of a logic circuit 45 with fifty inputs, including the two outputs 351 and 352 respectively deliver the signals y and Y to the digital analog converters of circuit 4.
  • the other four inputs of logic circuit 45 receive the frame synchronization signal supplied at output 383 of circuit 48 two of the output signals of logic 46 and the comparator output signal 41, making it possible to digitize the video signal received at input 310 of circuit 41.
  • This video signal, supplied by output 381 of circuit 48 is compared with a reference voltage supplied at input 311 of the comparator circuit 41. By acting on the reference voltage, the luminance level on which the switching takes place is determined.
  • logic circuit 45 The role of logic circuit 45 is to detect the first blank line at the end of the object y max. (advantageously with filtering). It builds a first signal which goes to 1 as soon as a line not blank is encountered and drops to zero at the end of the frame. It is during its high position that a counter not shown will be authorized to count the line synchronization tops, which will provide the magnitude Y.
  • Logic 45 constructs a second signal which goes to 1 as soon as a non-blank line is encountered (like the previous signal) and which drops to zero after the end of object detection. It is during the high position of this signal that a second counter, not shown, will be authorized to count the line synchronization tops, which will provide the magnitude y.
  • the output 312 of the comparator 41 drives a shift register 43, looped on itself, the shift of which is synchronized by the signal from a clock 42, which is itself synchronized with the line synchronization signal.
  • This shift register constitutes a rotating memory which makes it possible to construct and then store the location of the parameter x on a line.
  • the output of circuit 43 is connected to an input of a logic block 44 has seven inputs, of which the other six inputs receive the line synchronization signal, the clock signal and the four signals of the outputs of logic block 46, which receives on its first input 362 the line synchronization signal and on its second input 363 the frame synchronization signal.
  • the logic circuit 46 consists of a counter and a demultiplexer. Its purpose is to provide a secondary time base in order to carry out the processing which takes place after the frame return top.
  • the circuit 46 thus provides four logic signals which, with the line and frame synchronization signals, allowing the sequencing of the operations carried out by the system.
  • the outputs 340 and 341 of the logic circuit 44 deliver the signals representative respectively of x and X to the analog digital converters of the circuit 4.
  • This circuit 44 will notably include a counter and buffers.
  • the values X and Y respectively designate the abscissas and ordinates at the start of the object in projection on each axis, and not the mediums between minimum and maximum as in the previous case, also illustrated by Figure 2.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Circuits (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Processing Or Creating Images (AREA)

Description

  • La présente invention a pour objet un-procédé et un dispositif de création sonore impliquant une transformation d'images en sons, qui permet d'analyser des images englobant au moins un objet en déplacement et de produire des sons musicaux à partir de cette analyse.
  • Il a déjà été envisagé dans plusieurs circonstances d'observer une image englobant un objet en déplacement et de produire des signaux sonores en fonction de ce déplacement de l'objet. Les applications se situent, soit dans l'étude des perceptions d'un individu devant des images visuelles combinées à des signaux audibles, soit dans la détection d'une personne pénétrant dans un local, comme dans le brevet français publié sous le numéro FR-A-2 206 030. Dans de telles réalisations, la production sonore est sensible à l'un seulement des paramètres de l'objét en déplacement, soit la position de l'objet, soit son -intensité lumineuse soit encore éventuellement sa vitesse. On comprend que dans ces conditions, on fait varier seulement l'un des paramètres du son, par exemple l'intensité sonore ou la hauteur du son, et qu'il n'est donc pas question d'envisager une production quelconque d'une composition musicale.
  • La présente invention vise au contraire à permettre une création sonore comparable à une composition musicale, avec variation concomitante de plusieurs paramètres des sons produits. A cet effet, elle permet d'exploiter la variation observée pour plusieurs paramètres différents de l'objet en déplacement, par exemple: sa position et sa vitesse, ou son volume et sa vitesse, ou encore sa déformation sur elle-même comme dans les mouvements du corps d'un danseur.
  • Elle a donc pour objet un procédé de création sonore, consistant essentiellement à observer une image englobant un objet en déplacement et à produire des signaux sonores en fonction du déplacement de l'objet, caractérisé en ce:
    • -qu'il est produit des signaux d'image traduisant au moins deux paramètres de l'image variant indépendamment au cours du déplacement de l'objet,
    • -qu'il est produit à partir desdits signaux d'image des signaux de commande sonore,
    • - et en ce que l'on assure une synthèse de sons en utilisant lesdits signaux de commande sonore pour commander la variation d'au moins deux paramètres différents de sons produits.
  • L'invention a ainsi pour objet un procédé de création sonore caractérisé en ce qu'il consiste essentiellement:
    • - observer une image englobant un objet en déplacement,
    • - produire des signaux d'image traduisant au moins deux paramètres de l'image variant au cours du déplacement de l'objet,
    • - produire à partir desdits signaux d'image, des signaux de commande sonore, et à assurer une synthèse de sons en utilisant lesdits signaux de commande sonore pour commander les variations d'au moins deux paramètres différents des sons produits.
  • Elle a aussi pour objet un dispositif de création sonore caractérisé en ce qu'il comprend des premiers moyens pour observer une image englobant un objet en déplacement et des moyens pour produire des signaux d'image en fonction du déplacement de cet objet, caractérisé en ce qu'il comprend des seconds moyens pour produire des signaux d'image traduisant au moins deux paramètres de l'image variant indépendamment au cours du déplacement de l'objet, et des troisièmes moyens pour produire à partir desdits signaux d'image, des signaux de commande sonore, et en ce qu'il assure une synthèse de sons en utilisant lesdits signaux de commande sonore pour commander les variations d'au moins deux paramètres différents des sons produits.
  • Dans un tel dispositif, les premiers moyens peuvent avantageusement comporter un générateur de signal vidéo produisant les signaux d'image. D'autre part, les seconds et troisèmes moyens peuvent avantageusement être conçus pour commander des paramètres des sons choisis parmi la hauteur du son, son timbre, son intensité, et éventuellememt le rythme de succession des sons ou leur durée ou toute combinaison de ces paramètres.
  • On peut rappeler qu'il est déjà connu de réaliser des appareils de synthèse de bruits ou de sons fonctionnant par exemple à partir d'une commande vocale comme décrit dans le brevet français FR-A-2 057 645, ou utilisant un analyseur de musique générer des signaux de commande d'un synthétiseur de sons comme dans le brevet français FR-A-2 226 092. Quant au brevet français FR-A-2 206 030 déjà cité, il décrit un sys- tèmé connu pour soumettre la création de sons à l'influence du déplacement d'énergie d'un être humain. Toutefois, aucun des documents précédents ne concerne l'utilisation d'images permettant de générer des signaux vidéo pour commander, après transformation de ces signaux, un synthétiseur de sons. Aucune des techniques connues ne conduit à prendre en compte véritablement les mouvements comme le permet l'invention, grâce à la possibilité qu'elle offre de faire intervenir une analyse de l'image dans la synthèse de sons, qui pourra ainsi être influencée par exemple par tel- ou tel mouvement de bras, de jambe, du corps, ou autre, d'un danseur ou d'un groupe de personnes. On notera d'autre part qu'à partir d'une analyse d'image détaillée, on peut jouer sur un nombre de paramètres importants dans la synthèse des sons, en exploitant des relations entre paramètres physiques et qualités des sons qui sont en elles-mêmes connues.
  • Selon un mode de réalisation particulier, l'invention implique l'utilisation d'un dispositif de transformation d'un signal vidéo en sons, comprenant au moins un générateur d'un signal vidéo, un convertisseur analogique numérique si le signal vidéo n'est pas déjà numérique, un moyen de transformer le signal vidéo numérisé en une multitude p de signaux représentatifs de P paramètres, un ensemble de convertisseurs analogique numérique en nombre égal au nombre des paramètres, une matrice de connexion des P signaux à une seconde multitude de q entrées d'un synthétiseur de sons dont la sortie est branchée à un haut-parleur.
  • D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description faite ci-après en référence aux figures annexées dans lesquelles:
    • - la figure 1 est une vue schématique des éléments constitutifs du dispositif,
    • - la figure 2 est un exemple de paramètres que l'on peut extraire d'une image pour les utiliser dans le dispositif,
    • - la figure 3 est une vue schématique des moyens de transformer un signal vidéo en une multitude de signaux, utilisés dans le dispositif de la figure 1;
    • - la figure 4 est un organigramme de l'analyse de l'image;
    • - la figure 5 une variante de l'interface de la figure 3, réalisée alors en logique câblée.
  • La figure 1 représente le dispositif selon l'invention, dans lequel 1 désigne un générateur de signaux vidéo qui peut être constitué, comme on le verra par la suite, par une ou plusieurs caméras vidéo achrome ou polychrome, ou bien par un magnétoscope, un vidéodisque ou tout autre moyen. Sauf dans le cas du vidéodisque, les signaux vidéo issus des moyens 1 ne sont en général pas sous forme numérique. De la sortie 11 du générateur ils alimentent alors un convertisseur analogique/numérique 2 (entrée 20), qui transforme les signaux analogiques en signaux numériques pour les transmettre de sa sortie 21 à l'entrée 30 de l'interface 3, laquelle peut être constituée, soit par un dispositif à microprocesseur, soit par une logique câblée, qui seront décrits par la suite. Dans le cas où le signal vidéo serait produit d'origine sous forme numérique, il serait admis à l'interface 3 directement. La multitude p des P sorties de l'interface alimentent également les P convertisseurs numérique/analogique dont les P sorties sont reliées à une matrice de connexion 5, permettant de modifier les P sorties des convertisseurs analogiques 4, en une multitude Q de sorties que l'on relie aux entrées du synthétiseur analogique de son 6, dont l'unique sortie est branchée à un haut-parleur 7.
  • Le synthétiseur 6 doit posséder un nombre suffisant d'entrées en tension. Il est souhaitable de pouvoir commander au moins une première entrée 61, agissant sur le circuit du synthétiseur définissant la hauteur du son, une seconde entrée 62 agissant sur le circuit du synthétiseur définissant le timbre du son et par conséquent le nombre d'harmoniques contenus dans le son, une troisième entrée 63 agissant sur le circuit du synthétiseur réglant l'intensité du son, une quatrième entrée 64 agissant sur le circuit du synthétiseur réglant le rythme de succession des notes, et une cinquième entrée, non représentée, agissant sur le circuit du synthétiseur réglant la durée desdites notes. Dans le cas où le synthétiseur de sons offre la possibilité de commander en tension des effets spéciaux, vibrato, distorsion, réverbération, écho, etc., il est possible de prévoir des branchements sur les entrées commandant les effets spéciaux.
  • La matrice 5 de connexion permet donc, à partir d'un nombre de sorties P du convertisseur 4, de commander les Q entrées du synthétiseur 6. Cette matrice peut facilement être réalisée par tout dispositif permettant de combiner les P signaux pour les transformer en Q signaux. Cette matrice de connexion est à la portée de tout homme de l'art elle peut simplement être réalisée par des plots enfichables permettant de connecter entre elles les sorties et les entrées.
  • L'interface 3 a pour rôle principal de tranformer le signal vidéo, numérise, en P signaux dont on va se servir pour commander le synthétiseur. Un exemple de sélection dans l'image de P paramètres représentatifs de son évolution est donné par la figure 2. Un cadre C représente soit un écran de téléviseur, soit le viseur d'une caméra qui sert à filmer l'image. A chaque trame un objet peut être défini et représenté par ses dimensions x, y et par sa position X, Y par rapport à une origine 0 choisie dans un coin du cadre. L'image peut être celle d'un danseur qui se meut sur une scène et dont les mouvements sont traduits par la variation des paramètres X, Y, y, x. Si l'on désire avoir un plus grand nombre de signaux pour commander- le synthétiseur, on utilise les signaux représentatifs de la vitesse de variation des paramètres, et même de l'accélération. On obtient ainsi, les signaux représentatifs des paramètres x, y, x', y x", y", X, Y, X', Y', X", Y".
  • Un exemple dé réalisation d'un interface en logique programmée, est représenté en figure 3.
  • Un module d'extraction 38 des signaux de synchronisation délivre le signal vidéo à numériser et les signaux de synchronisation de ligne et de trame. En fait, dans le cas simple de l'exemple, le convertisseur 2 code le signal vidéo sur un seul bit. La sortie du convertisseur analogique/numérique 2 est branchée à l'entrée 301 d'un convertisseur série-parallèle 101, piloté par une horloge 102 (elle-même asservie au signal de synchronisation ligne), qui délivre à l'entrée 305 de l'interface 39 des mots de 16 bits.
  • Les signaux de synchronisation de ligne et de trame sont branchés en 302 et 303 et mettent à 1 des organes d'états de l'interface 39. Ils permettent de synchroniser le déroulement du programme avec les balayages ligne et trame, ce qui est important pour permettre le fonctionnement du système en temps_ réel. Les échanges entre l'interface 39 et le microprocesseur sont soit programmés, soit déclenchés par interruption.
  • Un bus de données 33 raccorde cet interface au microprocesseur 31. Un bus d'adresses 34, ainsi qu'un bus de commande 35, raccordent également l'interface 39 au microprocesseur. Le microprocesseur 31 est également relié par les bus d'adresses 34, de données 33, de commande 35, à une mémoire 32, contenant le programme de traitement des informations numériques arrivant en 305.
  • En sortie, l'interface d'entrée-sortie 39 transmet par les p sorties 304, les P mots résultant du traitement du signal vidéo numérique, aux P convertisseurs numérique/analogique 4.
  • En fonctionnement, le microprocesseur 31 est programme pour travailler de la façon suivante, qui sera explicitée à l'aidé de l'organigramme de la figure 4.
  • Dans une première phase, ou phase de traitement de mot, lorsque le convertisseur série-parallèle 101 a chargé 16 bits, correspondant à un mot complet, l'interface 39 délivre une indication "mot complet" et le microprocesseur charge le mot dans un registre interne et détecte la position dans le mot des bits à l'état 1, après avoir effectué opération de filtrage.
  • Le but du filtrage, qui est optionnel, est de s'affranchir de luminances parasites, en décidant que le passage de 0 à 1 n'a eu lieu qu'après avoir vu passer un certain nombre de 1 et que le passage de 1 à 0 n'a eu lieu qu'après le passage d'un certain nombre de 0 (lequel nombredétermi- nera la puissance du filtrage), ce qui revient à exiger d'une transition une certain stabilité avant de la prendre en compte.
  • Si un passage de 0 à 1 ou de 1 à 0 a été détecté dans le mot, le microprocesseur en calcule la position (x min, ou x max.), stocke en mémoire cette information, scrute dans l'interface l'organe d'état correspondant à la synchronisation ligne (bit à 1 pendant le temps du top ligne), et si ce dernier est à 0, attend l'indication de mot complet suivant pour refaire la même opération.
  • A l'issue de la première phase, lorsque tous les mots constitutifs d'une ligne ont été traités, le microprocesseur exécute la deuxième phase, ou phase de traitement de ligne, en comparant les informations x min. et x max. relatives à la ligne n traitée avec les informations x min, et x max. qu'il possède en mémoire et qui résultent du traitement de la ligne précédente n-1. Il ne garde en mémoire que le plus petit des x min. et le plus grand des x max., de telle sortie que lorsque toutes les lignes auront été traitées, le ne subsistera en mémoire que les valeurs extrêmes en x de la position de l'objet dans la trame i (x min. trame i, x max. trame i).
  • Au cours de cette seconde phase de traitement le microprocesseur détermine aussi si le rang de la ligne traitée correspond à y min, ou y max. après filtrage. Dans ce filtrate, la décision est prise qu'une ligne contient des 1 seulement'si un certain nombre des lignes suivantes en contiennent aussi (y min.); de même, la décision qu'une ligne ne contient plus de 1 n'est prise qui si un certain nombre des lignes qui suivent n'en contient pas non plus (y max.).
  • L microprocesseur met alors en mémoire les valeurs de y min. et y max. Il scrute la sortie de l'interface 39 correspondant au signal de synchronisation trame qui entre en 303. Si celui-ci est à 0, il attend l'indication de mot complet suivant pour traiter une nouvelle ligne, sinon il amorce une troisième phase, qui est une phase de traitement de la trame.
  • Dans cette troisième phase, le microprocesseur opère des calculs sur les informations qu'il possède en mémoire et qui sont: x max. trame i, x min. trame i, y min, trame i, y max. trame i.
  • Il calcule les coordonnées moyennes en abscisse, et ordonnées, soit:
    Figure imgb0001
    ainsi que la largeur et la hauteur de l'objet, soit:
    • x=x max.-x min. et y=y max.-y min.
  • Ces calculs faits, le microprocesseur restitue ces informations aux convertisseurs numérique/ analogique 4 en adressant les sorties 304 de l'interface 39 et attend l'indication de mot complet suivant pour traiter une nouvelle trame i+1.
  • La seule limite à la complexité des programmes est le temps d'éxécution. A titre d'exemple, on peut décider que la-ligne comporte 10 mot de 16 bits et étant donné que le balayage d'une ligne dure 52 ils, le traitement d'un mot devra être réalisé en moins de 5,2 ps, le traitement d'une ligne (pendant le retour ligne) en moins de 12 ps, le traitement de trame (pendant le retour trame) en moins de 1,2 millisecondes. Ces contraintes de temps conditionnent le fonctionnement en temps réel du système.
  • Un deuxième mode de réalisation de l'interface 3, en logique câblée, est représenté en figure 5. La sortie du dispositif 1 fournissant un signal vidéo, est branchée à l'entrée 380 d'un circuit 48 d'extraction des signaux de synchronisation de ligne et de trame.
  • La sortie 382 du circuit 48 fournit un signal de synchronisation de ligne, qui sert à synchroniser une horloge 42, et qui d'autre part, est branché à une entrée d'un circuit logique 45 à cinqu entrées, dont les deux sorties 351 et 352 délivrent respectivement les signaux y et Y aux convertisseurs analogiques digitaux du circuit 4. Les quatre autres entrées du circuit logique 45 recoivent le signal de synchronisation de trame délivré à la sortie 383 du circuit 48 deux des signaux de sortie d'une logique 46 et le signal de sortie du comparateur 41, permettant de numériser le signal vidéo reçu à l'entrée 310 du circuit 41. Ce signal vidéo, fourni par la sortie 381 du circuit 48, est comparé avec une tension de référence fournie à l'entrée 311 du circuit comparateur 41. En agissant sur la tension de référence, on détermine le niveau de luminance sur lequel a lieu la commutation.
  • Le circuit logique 45 a pour rôle de détecter la première ligne vierge en fin d'objet y max. (avantageusement avec filtrage). Il construit un premier signal qui passe à 1 dès qu'une ligne non vierge est recontrée et qui retombe à zéro en fin de trame. C'est durant la position haute de celui-ci qu'un compteur non représenté sera autorisé à compter les tops de synchronisation ligne, ce qui fournira la grandeur Y.
  • La logique 45 construit un second signal qui passe à 1 dès qu'une ligne non vierge est rencontrée (comme le précédent signal) et qui retombe à zéro après la détection de fin d'objet. C'est durant la position haute de ce signal qu'un second compteur non répresenté, sera autorise à compter les tops de synchronisation ligne, ce qui fournira la grandeur y.
  • La sortie 312 du comparateur 41 attaque un registre à décalage 43, bouclé sur lui-même, dont le décalage est synchronisé par le signal d'une horloge 42, qui est elle-même synchronisée sur le signal de synchronisation de ligne. Ce registre à décalage constitue une mémoire tournante qui permet de construire, puis de mémoriser l'emplacement du paramètre x sur une ligne. La sortie du circuit 43 est reliée à une entrée d'un bloc logique 44 a sept entrées, dont les six autres entrées recoivent le signal de synchronisation ligne, le signal d'horloge et les quatre signaux des sorties du bloc logique 46, qui reçoit sur sa première entrée 362 le signal de synchronisation de ligne et sur sa seconde entrée 363 le signal de synchronisation de trame.
  • Le circuit logique 46 est constitué d'un compteur et d'un démultiplexeur. Son objet est de fournir une base de temps secondaire afin d'effectuer le traitement qui a lieu après le top de retour trame. Le circuit 46 fournit ainsi quatre signaux logiques qui, avec les signaux de synchronisation ligne et trame, permettant le séquencement des opérations effectuées par le système.
  • Les sorties 340 et 341 du circuit logique 44 délivrent les signaux représentatifs respectivement de x et X aux convertisseurs digitaux analogiques du circuit 4. Ce circuit 44 comprendra notamment un compteur et des buffers.
  • On remarquera que dans la variante de la figure 5 les valeurs X et Y désignent respectivement les abscisses et ordonnées au début de l'objet en projection sur chaque axe, et non les milieux entre minimum et maximum comme dans le cas précédent, illustré aussi par la figure 2.
  • Il est bien évident que toute modification à la portée de l'homme de l'artfait également partie de l'esprit de l'invention. Ainsi en particulier, quand on a parle d'un objet, il pourrait aussi s'agir de plusieurs sous-objets distincts, évoluant plus ou moins indépendamment les uns des autres. Il pourrait par ailleurs s'agir d'objets distingués les uns des autres par leur couleur. D'autre part, la même technique peut servir à réaliser un registre- ment sonore automatique sur un film vidéo.
  • On doit comprendre aussi que pour une production sonore différée par rapport à l'observation de l'image, on peut conserver aussi bien les signaux de commande sonore que les signaux d'image, ou les paramètres correspondants, dans des enregistrement réalisés soit en forme analogique, soit en forme numérique. Les sons synthétisés eux- mêmes comme l'image à analyser, peuvent être conservés enregistrés dans tous les détails qui les définissent.

Claims (8)

1. Procédé de création sonore, consistant essentiellement à observer une image englobant un objet en déplacement et à produire des signaux sonores en fonction du déplacement de l'objet, caractérisé en ce:
- qu'il est produit des signaux d'image (P; x, y, X, Y) traduisant au moins deux paramètres de l'image variant indépendamment au cours du déplacement de l'objet,
- qu'il est produit à partir desdits signaux d'image (P; x, y, X, Y) des signaux de commande sonore (Q),
- et en ce que l'on assure une synthèse de sons en utilisant lesdits signaux de commande sonore (Q) pour commander la variation d'au moins deux paramètres différents de sons produits.
2. Procédé de création sonore selon la revendication 1, caractérisé en ce que les signaux d'image (P; x, y, X, Y) traduisant au moins deux paramètres de l'image variant au ours du déplacement de l'objet sont obtenus en trois étapes;
- une première étape de traitement d'un signal vidéo d'observation de l'image pour en retirer pour chaque ligne la valeur d'abscisse minimum (x min.) et d'abscisse maximum (x max.) définissant le contour de l'objet;
- une deuxième étape permettant, en comparant les abscisses minimum de chaque ligne (n) et les abscisses maximum de chaque ligne (n), de déterminer la plus petite des abscisses minimum (x min. tram i) et la plus grande des abscisses maximum (x max. trame i), et permettant en déterminant les ordonnées de la première ligne et de la dernière ligne où l'on a détecté une abscisse, de détecter respectivement les valeurs de l'ordonnée maximum (y max.) et de l'ordonnée minimum (y min.);
- une troisième étape dans laquelle on détermine les coordonnées du point milieu de l'objet (X, Y) et les dimensions en abscisse et en ordonnée de l'objet (x, y), et l'on adresse ces résultats, constituant les signaux de commande sonore (Q), à des convertisseurs numériques-analogiques branchés aux entrées d'un synthétiseur de son produisant les sons (6).
3. Procédé selon la revendication 2, caractérisé en ce que ladite deuxième étape a lieu pendant le retour du spot du générateur du signal vidéo.
4. Dispositif de création sonore, comprenant des premiers moyens (1) pour observer une image englobant un objet en déplacement et des moyens (6, 7) pour produire des signaux sonores fonction du déplacement de cet objet, caractérisé en ce qu'il comprend:
- des seconds moyens (2, 3, 4) produisant des signaux d'image (P; x, y, X, Y) traduisant au moins deux paramètres de l'image variant indépendamment au cours du déplacement de l'objet,
- des troisièmes moyens (5) produisant à partir desdits signaux d'image (P; x, y, X, Y) des signaux de commande sonore (Q),
- et des moyens (6) pour assurer la synthèse de sons en utilisant lesdits signaux de commande sonore (Q) pour commander les variations d'au moins deux paramètres différents des sons produits.
5. Dispositif de création sonore selon la revendication 4, caractérisé en ce que lesdits premiers moyens comportent un générateur de signal vidéo (1) produisant lesdits signaux.
6. Dispositif selon l'une des revendications 4 et 5, caractérisé en ce que les signaux d'image comprennent des signaux représentatifs de la position de l'objet par rapport à un point de référence dans l'image, de la vitesse de déplacement de l'objet par rapport au point de référence, de l'ampleur de l'objet, de la vitesse de variation de l'ampleur de l'objet.
7. Dispositif selon la revendication 6, caractérisé en ce que les signaux d'image comprennent, en plus, des signaux représentatifs de l'accélération de l'objet et de l'accélération de la variation en ampleur de l'objet.
8. Dispositif selon l'une quelconque des revendications 4 à 7, caractérisé en ce que les paramètres des sons sont choisis au moins en partie parmi la hauteur du son, son timbre, son intensité, le rhthme de succession des sons, leur durée.
EP83402385A 1982-12-10 1983-12-09 Dispositif de création sonore Expired EP0112761B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR8220695A FR2537755A1 (fr) 1982-12-10 1982-12-10 Dispositif de creation sonore
FR8220695 1982-12-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
EP84201244.5 Division-Into 1984-08-29

Publications (2)

Publication Number Publication Date
EP0112761A1 EP0112761A1 (fr) 1984-07-04
EP0112761B1 true EP0112761B1 (fr) 1987-06-03

Family

ID=9279949

Family Applications (2)

Application Number Title Priority Date Filing Date
EP83402385A Expired EP0112761B1 (fr) 1982-12-10 1983-12-09 Dispositif de création sonore
EP84201244A Withdrawn EP0142179A1 (fr) 1982-12-10 1983-12-09 Dispositif de création sonore

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP84201244A Withdrawn EP0142179A1 (fr) 1982-12-10 1983-12-09 Dispositif de création sonore

Country Status (6)

Country Link
US (1) US4658427A (fr)
EP (2) EP0112761B1 (fr)
JP (1) JPS60500228A (fr)
DE (1) DE3371952D1 (fr)
FR (1) FR2537755A1 (fr)
WO (1) WO1984002416A1 (fr)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3584448D1 (de) * 1984-03-06 1991-11-21 Simon John Veitch Optisches wahrnehmungssystem.
JPS6451994U (fr) * 1987-09-25 1989-03-30
US4913297A (en) * 1988-09-09 1990-04-03 Tyee Trading Corporation Display unit
US5159140A (en) * 1987-09-11 1992-10-27 Yamaha Corporation Acoustic control apparatus for controlling musical tones based upon visual images
JPH083715B2 (ja) * 1987-09-11 1996-01-17 ヤマハ株式会社 音響処理装置
EP0390048B1 (fr) * 1989-03-28 1996-10-23 Matsushita Electric Industrial Co., Ltd. Appareil et méthode pour la mise en forme de données
EP0410045A1 (fr) * 1989-07-27 1991-01-30 Koninklijke Philips Electronics N.V. Système de transformation d'images en signaux sonores, en particulier pour les aveugles
US5469511A (en) * 1990-10-05 1995-11-21 Texas Instruments Incorporated Method and apparatus for presentation of on-line directional sound
USRE37422E1 (en) 1990-11-20 2001-10-30 Yamaha Corporation Electronic musical instrument
JP2518464B2 (ja) * 1990-11-20 1996-07-24 ヤマハ株式会社 楽音合成装置
US5286908A (en) * 1991-04-30 1994-02-15 Stanley Jungleib Multi-media system including bi-directional music-to-graphic display interface
WO1993022762A1 (fr) * 1992-04-24 1993-11-11 The Walt Disney Company Appareil et procede pour suivre un mouvement afin de generer un signal de commande
US5426510A (en) * 1992-06-05 1995-06-20 Dolman Associates, Inc. Audio-video system
US7661676B2 (en) 2001-09-28 2010-02-16 Shuffle Master, Incorporated Card shuffler with reading capability integrated into multiplayer automated gaming table
JP2728080B2 (ja) * 1996-02-07 1998-03-18 ヤマハ株式会社 楽音発生装置
DE19630330C2 (de) * 1996-07-26 1998-11-19 Sgs Thomson Microelectronics Audiosignalprozessor
DE69637504T2 (de) * 1996-09-13 2009-06-25 Hitachi, Ltd. Automatisches musikkomponierverfahren
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP4305971B2 (ja) * 1998-06-30 2009-07-29 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US7255351B2 (en) 2002-10-15 2007-08-14 Shuffle Master, Inc. Interactive simulated blackjack game with side bet apparatus and in method
US7309065B2 (en) 2002-12-04 2007-12-18 Shuffle Master, Inc. Interactive simulated baccarat side bet apparatus and method
WO2005122134A1 (fr) * 2004-06-09 2005-12-22 Toyota Motor Kyushu Inc. Dispositif de production de musique, procédé de production de musique, programme de production de musique et support d'enregistrement
US7525034B2 (en) * 2004-12-17 2009-04-28 Nease Joseph L Method and apparatus for image interpretation into sound
US8239032B2 (en) * 2006-08-29 2012-08-07 David Charles Dewhurst Audiotactile vision substitution system
US8475252B2 (en) 2007-05-30 2013-07-02 Shfl Entertainment, Inc. Multi-player games with individual player decks
FI20075530A0 (fi) * 2007-07-09 2007-07-09 Virtual Air Guitar Company Oy Eleohjattu musiikkisynteesijärjestelmä
WO2009065424A1 (fr) * 2007-11-22 2009-05-28 Nokia Corporation Musique variant selon la lumière
DE102010052527A1 (de) * 2010-11-25 2012-05-31 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur verbesserten Tondarstellung von Geräuschen bei einer Videoaufzeichnung
US9430954B1 (en) 2013-09-27 2016-08-30 David Charles Dewhurst System for presenting visual items
US10565898B2 (en) 2016-06-19 2020-02-18 David Charles Dewhurst System for presenting items

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE840185C (de) * 1948-10-02 1952-05-29 Siemens Ag Elektrisches Musikgeraet
FR2206030A5 (fr) * 1972-11-07 1974-05-31 Agam Yaacov
US3907434A (en) * 1974-08-30 1975-09-23 Zipcor Inc Binaural sight system
DE2511935A1 (de) * 1975-03-19 1976-09-30 Wolfgang Dipl Phys Dr Witte Orientierungsverfahren fuer blinde
US4000565A (en) * 1975-05-05 1977-01-04 International Business Machines Corporation Digital audio output device
CA1054407A (fr) * 1975-10-22 1979-05-15 Hiroshi Ichigaya Systeme generateur de signaux utilisant un tube a rayons cathodiques
US4215343A (en) * 1979-02-16 1980-07-29 Hitachi, Ltd. Digital pattern display system
US4322744A (en) * 1979-12-26 1982-03-30 Stanton Austin N Virtual sound system for the visually handicapped
US4378569A (en) * 1980-07-18 1983-03-29 Thales Resources, Inc. Sound pattern generator
US4483230A (en) * 1982-07-20 1984-11-20 Citizen Watch Company Limited Illumination level/musical tone converter

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICRO-SYSTEMES, janvier-février 1982, M.ROZENBERG:"Musique informtique", page 107-118 *

Also Published As

Publication number Publication date
FR2537755A1 (fr) 1984-06-15
DE3371952D1 (en) 1987-07-09
US4658427A (en) 1987-04-14
WO1984002416A1 (fr) 1984-06-21
JPS60500228A (ja) 1985-02-21
FR2537755B1 (fr) 1985-04-05
EP0112761A1 (fr) 1984-07-04
EP0142179A1 (fr) 1985-05-22

Similar Documents

Publication Publication Date Title
EP0112761B1 (fr) Dispositif de création sonore
US20090198495A1 (en) Voice situation data creating device, voice situation visualizing device, voice situation data editing device, voice data reproducing device, and voice communication system
FR2523332A1 (fr) Systeme et procede de creation d'images a palette synthetisee electroniquement
FR2523787A1 (fr) Procede et dispositif de traitement video pour rotation d'images
EP0089871B1 (fr) Dispositif de génération de signaux de test d'équipements électroniques
FR2500976A1 (fr) Installation pour le traitement numerique d'images de television en temps reel
FR2683415A1 (fr) Systeme d'analyse video du montage d'un programme televise diffuse ou enregistre et son utilisation pour les techniques de post production, notamment multilingues.
CA3123970A1 (fr) Mesure temporelle a haute precision d'evenements vibro-acoustiques en synchronisation avec un signal sonore sur dispositif a ecran tactile
CN101345047A (zh) 人声自动校正的混音系统及其混音方法
EP0978116B1 (fr) Procede et dispositif pour l'enregistrement en boucles cycliques de plusieurs sequences phoniques
EP0161175B1 (fr) Dispositif pour modifier l'aspect des points d'une image sur un écran d'une console de visualisation d'images graphiques
EP0011576B1 (fr) Synthétiseur polyphonique de signaux périodiques utilisant les techniques numériques
WO2001075861A1 (fr) Procede et equipement pour la production automatique en temps reel de sequences audiovisuelles virtuelles a partir d'un message textuel et d'evenements exterieurs et pour la diffusion de telles sequences
EP0689366A1 (fr) Circuit de détection de tonalité téléphonique
CN114511650B (zh) 一种基于gan的人像素描图像生成方法、装置、设备及介质
EP0446334B1 (fr) Dispositif de programmation d'enregistrement par reconnaissance de signaux de reference
KR20070094207A (ko) 영상을 소리로 변환하는 방법 및 장치
BE1001792A6 (fr) Systemes de correction et de production d'image.
JP2626473B2 (ja) 電子楽器の入力制御装置
EP0725961B1 (fr) Dispositif numerique de multi-comparaison dynamique notamment pour la surveillance en temps reel d'une pluralite de signaux
KR101133272B1 (ko) 입체 캐릭터 영상을 제공하는 가라오케 시스템 및 그 구동방법
CN118018676A (zh) 一种孪生视频会议的回放互动方法、装置及系统
EP4158622A1 (fr) Procede d'identification d'un locuteur
WO2007083063A1 (fr) Table de mixage vidéo
CN113345394A (zh) 音频数据的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Designated state(s): CH DE GB IT LI NL SE

XX Miscellaneous (additional remarks)

Free format text: EIN BERICHTIGUNGSANTRAG NACH REGEL 88 EPUE AUF NACHREICHUNG VON FUENF FIGUREN IST AM 28.02.84 EINGEGANGEN.

17P Request for examination filed

Effective date: 19841103

17Q First examination report despatched

Effective date: 19860623

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

ITF It: translation for a ep patent filed
AK Designated contracting states

Kind code of ref document: B1

Designated state(s): CH DE GB IT LI NL SE

XX Miscellaneous (additional remarks)

Free format text: EIN BERICHTIGUNGSANTRAG NACH REGEL 88 EPUE AUF NACHREICHUNG VON FUENF FIGUREN IST AM 28.02.84 EINGEGANGEN.

REF Corresponds to:

Ref document number: 3371952

Country of ref document: DE

Date of ref document: 19870709

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed
PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 19881231

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 19890203

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 19890223

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 19891130

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Effective date: 19891210

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Effective date: 19891231

Ref country code: CH

Effective date: 19891231

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 19900207

Year of fee payment: 7

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Effective date: 19900701

NLV4 Nl: lapsed or anulled due to non-payment of the annual fee
REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Effective date: 19901209

ITTA It: last paid annual fee
GBPC Gb: european patent ceased through non-payment of renewal fee
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Effective date: 19910903

EUG Se: european patent has lapsed

Ref document number: 83402385.5

Effective date: 19900830