EP1878308A2 - Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle - Google Patents

Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle

Info

Publication number
EP1878308A2
EP1878308A2 EP06742644A EP06742644A EP1878308A2 EP 1878308 A2 EP1878308 A2 EP 1878308A2 EP 06742644 A EP06742644 A EP 06742644A EP 06742644 A EP06742644 A EP 06742644A EP 1878308 A2 EP1878308 A2 EP 1878308A2
Authority
EP
European Patent Office
Prior art keywords
impulse response
sound
user interface
spatial
graphical user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP06742644A
Other languages
English (en)
French (fr)
Other versions
EP1878308B1 (de
Inventor
Frank Melchior
Jan Langhammer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP1878308A2 publication Critical patent/EP1878308A2/de
Application granted granted Critical
Publication of EP1878308B1 publication Critical patent/EP1878308B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Definitions

  • the present invention relates to modern audio technologies, and more particularly to the generation and processing of spatial sound impressions for sound reproduction systems.
  • the use of multiple loudspeakers makes it possible to precisely locate individual sound sources in the room and to give the impression within the playback environment that one would be within a simulated space, such as a sound space. A stage or a cathedral.
  • two different playback concepts can be distinguished.
  • conventional surround sound reproduction which is also customary in the home entertainment sector, the location and room information is already mixed during the sound mixing process into individual channels to be transmitted discretely, wherein a reproduction system comprising several loudspeakers is used to reproduce the individual channels.
  • the reproducing speakers should be in a predetermined position relative to the playback environment in order to achieve the best possible spatial impression.
  • More advanced systems such as the wave-field synthesis based room simulations, generate the drive signals for the individual speakers only during the reproduction, based on position information of a sound source with respect to the reproduction space and the space information of a reproduction environment to be simulated. This makes it possible to achieve much more authentic results with respect to the location and the spatial impression, since the individual loudspeaker setup is taken into account during the playback. can be considered in the playback environment to create a wavefront that represents the best to simulate space impression.
  • Applied to the acoustics can be simulated by a large number of speakers, which are arranged side by side (a so-called speaker array), any shape of an incoming wavefront.
  • a so-called speaker array any shape of an incoming wavefront.
  • the audio signals of each loudspeaker must be timed out. and amplitude scaling are fed so that the radiated sound fields of each speaker properly overlap.
  • the contribution to each speaker is calculated separately for each source and the resulting signals added together. If the sources to be reproduced are in a virtual room with reflective walls, reflections must also be reproduced as additional sources via the loudspeaker array. The effort involved in the calculation therefore depends heavily on the number of sound sources, the reflection characteristics of the room and the number of loudspeakers.
  • the advantage of this technique is in particular that a natural spatial sound impression over a large area of the playback room is possible.
  • the direction and distance of sound sources are reproduced very accurately.
  • virtual sound sources can even be positioned between the real speaker array and the listener.
  • Wave field synthesis thus allows a correct mapping of virtual sound sources over a large playback area. At the same time it offers the sound engineer and sound engineer new technical and creative potential in the creation of even complex soundscapes.
  • Wave field synthesis (WFS or sound field synthesis), as developed at the end of the 1980s at the TU Delft, represents a holographic approach to sound reproduction. The basis for this is the Kirchhoff-Helmholtz integral. This states that any sound fields within a closed volume can be generated by means of a distribution of monopole and dipole sound sources (loudspeaker arrays) on the surface of this volume. Details can be found in MM Boone, ENG Verheijen, PF v.
  • an audio signal that emits a virtual source at a virtual position is used to calculate a synthesis signal for each loudspeaker of the loudspeaker array, the synthesis signals being designed in amplitude and phase in such a way that a wave resulting from the superimposition of the loudspeaker array individual sound wave output by the speakers existing in the loudspeaker array corresponds to the wave which would have originated from the virtual source at the virtual position, if this virtual source at the virtual position was a real source with a real position.
  • the computation of the synthesis signals is performed for each virtual source at each virtual location, typically resulting in one virtual source in multiple speaker synthesis signals. Seen from a loudspeaker, this loudspeaker thus receives several synthesis signals, which go back to different virtual sources. A superimposition of these sources, which is possible on the basis of the linear superposition principle, then yields the playback signal actually transmitted by the loudspeaker.
  • Spatial sound reproduction systems such as wave field synthesis thus make it possible to generate the sound in 360 degrees around the listener's space with optimal spatial resolution. So far, these systems have been used essentially for positioning discrete sound sources and for direct sound reproduction. In addition, all known linear signal processing can be applied to the signals of the sound sources generated in this way, such as, for. B adding reverberation. In spatial sound reproduction systems such as Wave Field Synthesis (WFS), it is still possible to generate spatial effects based on direct sound. This happens, for example, in the room simulation, in which, for reasons of efficiency, the reproduction in a limited number of spatial directions (plane waves) can be simplified.
  • WFS Wave Field Synthesis
  • a room to be sounded is irradiated by as many individual loudspeakers as possible in order to allow the reconstruction of wavefronts with the best possible accuracy.
  • For the location of sound signals and the generation of a spatial impression usually a variety of parameters are used, which are to be determined individually for each speaker during the mixing of the sound signal.
  • the multichannel sound reproduction systems are characterized by extremely high complexity, so that the additional generation of spatial information or the location information during the mixing of the sound conditional to generate a variety of parameters, the speaker individually the location information or additional linear Signal processing steps (for generating acoustic effects) beschrei ⁇ ben.
  • This description based on a large number of abstract mathematical parameters without meaning that can be directly grasped intuitively is difficult to control, especially in wave field synthesis systems.
  • wave field synthesis offers the possibility of freely positioning sound sources on a two-dimensional listening plane. This is done by synthesizing different wavefronts depending on the position of the sound sources.
  • User interfaces as currently used, use a point in a plan view of the two-dimensional listening plane for positioning the sound source, the point representing the position of the sound source.
  • the spatial position of the sound source is adequately visualized in this approach, the sound impression of depth (spatial impression) can not be represented simultaneously in the visualization, so there are discrepancies between the real world Perception and representation, so that only in a few exceptional cases, a visual image is provided, which corresponds to the real sound impression or allows a conclusion on this.
  • the object of the present invention is to provide a graphical user interface that allows to more efficiently control a sound reproduction system for generating a spatial sound impression.
  • the present invention is based on the finding that a sound reproduction system which can generate a spatial sound impression in a reproduction environment can be controlled efficiently and intuitively by means of a graphical user interface, if an impulse response assigned to a spatial direction with respect to the reproduction environment or a graphic image obtained from the impulse response Representation is displayed graphically, and when the possibility is created that a user can change this representation graphically, so based on the Benut- change input the changed impulse response can be graphed and the changed graphical representation can be detected to control the sound reproduction system.
  • the inventive new tool for sound design consists of a simultaneous visualization of all direction-dependent impulse responses corresponding to a source.
  • the sound design takes place through direct interaction with this visualization.
  • the processing of the visual representation is converted into a parametric description and from this the corresponding impulse responses are generated.
  • the direction information or a spatiality is thus impressed on a sound signal by a mathematical convolution with an impulse response, which will be briefly explained below for a better understanding of the inventive concept.
  • a spatial signal or reflection pattern or location information by convolution with an impulse response g (x) is impressed on a tone signal f (y), so that the combined tone signal F (x) results according to the following folding integral:
  • the impulse response g (x) generally describes the response of a system to a dirac pulse ⁇ (x), that is, a pulse of infinitesimal length for which:
  • Dirac impulse is characterized by an infinitesimal length and additionally by the fact that its integral, as described above, is finite. In the case of a sound signal, this means that a Diracpuls is arbitrarily small, but carries fixed acoustic energy.
  • the simplest impulse response is again a Dirac pulse, which is registered with a propagation delay t for transmitting the test pulse at the place of emission of the test pulse. This is precisely the case when in the direction in which the test pulse was emitted there is an ideal reflector which reflects the acoustic test signal without attenuation, the transit time between the location of the emission of the source and the reflector then being exactly t / 2.
  • Diracpulse pulses whose width is finite and whose intensity is A are called Diracpulse.
  • such real pulses can be imagined, for example, from Gaussian curves of small width with area A.
  • the reflector described above absorbs a part of the acoustic energy, ie attenuates the test signal, then the reflected Dirac pulse received after transit time t would have a smaller area B under the curve than the original pulse (B ⁇ A).
  • impulse response In addition to the so far described, idealized simple cases of an impulse response, it is also possible, arbitrary to get complex impulse responses. For example, if two reflectors at different distances corresponding to the acoustic transit times ti and t 2 are at the location of the test signal, the impulse response will consist of two dirac pulses received at times 2 * ti and 2 * t2. Normally, acoustic scenes are very complex, so that a real impulse response will be a pulse sequence that becomes denser over time, starting with early reflections and describing, for example, a reverberation of their later arriving components.
  • an impulse response in the form of a Dirac pulse describes a delay or an echo.
  • a multiple echo can be represented by a sum of dire-shaped pulses.
  • the impulse response that is convolved with the sound signal will be continuous, e.g., a signal rising sharply at the instant t 0 and then gently decaying, which describes a multiple reflection, wherein the signals reflected at later times are more strongly damped.
  • sound signals are additionally attenuated in a frequency-selective manner; for example, high sound signals from carpets and tapestries are more strongly attenuated than deep sound signals.
  • different impulse responses for example, can be used and visualized separately for several frequency ranges or the visualization of the impulse response must include the time and frequency range.
  • the graphical user interface is used to represent the spatial position of a sound source relative to the sound reproduction system, and the resulting impulse responses individually for each loudspeaker of a display system spatial orientation represent the sound signal with respect to the reproducing speaker visualize.
  • the user can graphically change the position of the source with respect to the reproduction environment, whereby the loudspeaker-individual impulse response or the parameters for controlling the loudspeakers result automatically from the illustrated wavefront of the punctiform acoustic signal source.
  • a sound engineer has the opportunity to intuitively create the complex parameters that are used to control the note reproduction system.
  • the graphical user interface parts according to the invention are used to display impulse responses which contain information about a space to be simulated.
  • the impulse responses with respect to a fixed point within the reuse presented in the spatial directions for which they also carry the spatial information.
  • a user thus has the advantage that he receives all the information concerning the spatial sound impression at the same time, or that he can change it simultaneously, whereby the changed spatial sound impression resulting from a change is displayed and can be assessed at any time ,
  • the graphical representation also makes it possible to carry out the design process without technical conditions.
  • an impulse response function will be stored discreetly, i. H. for discrete periods, there is an associated amplitude value.
  • the intuitive operation of the graphical user interface does not need to take this into account since the relevant parameters are automatically generated based on a graphical change in the displayed impulse response.
  • Another advantage is that the complexity of a system can be easily increased without reducing the intuitiveness of the operation under the increased number of parameters.
  • the impulse responses more Spatial directions regarding frequency selective represent or edit.
  • This makes it possible to further increase the naturalness of the spatial impression, for example by assuming different frequency-dependent attenuation profiles for different spatial directions, which on the one hand increases the authenticity of the sound impression achieved, but on the other hand also increases the complexity of generating the parameters.
  • the visual presentation it is still possible to predict the achievable sound experience, and this also creatively to change, for example, at a certain frequency for a freely selectable spatial direction, a strong artificial damping is introduced. These changes are immediately visible and it is possible to reliably predict the impact on the entire sound scene in the context of the overall system.
  • the same parameters can be used to describe the room for all spatial directions, which corresponds to a diffuse reverberation.
  • Direction-dependent spatial portions earsly reflections
  • a further advantage of the three-dimensional representation according to the invention is that the frequency-selective impulse response representation for each direction can easily be converted by simple scanning into a matrix representation whose further processing is extremely efficient.
  • delay times are set individually for a given number of spatial directions, the delay times being represented as diraciform impulse responses. These are relative to a fixed point in the Playback environment are shown in a three-dimensional view.
  • the graphic manipulation which allows the shifting of the direct impulse responses relative to a reference point, directly visually reflects the spatial effect.
  • the direct response impulsive responses corresponding to a delay just describe reflection on an object, wherein increasing the distance of the impulse response relative to the reference point in the graph corresponds to increasing the propagation time of the reflected signal.
  • the direct correspondence of the graphical representation to the simulated reality can thus be used to simulate in a most efficient manner, for example, spaces within which the reproduction environment is located.
  • a particular advantage of this simplified type of interior design is the high degree of intuitiveness of the presentation and the associated reduced probability of error in the control of a sound reproduction system.
  • the graphical user interface for a sound reproduction system is operated with a signal generator which generates loudspeaker signals for a plurality of loudspeakers mounted at different spatial positions.
  • the high degree of intuitiveness and user-friendliness of the graphical user interface makes it possible to manipulate the reproduction of signal sources in real time in such a way that the acoustic location of a sound signal, for example a singer on the stage, matches the visual impression.
  • a Nachchten the moving sound source within the graphic user interface according to the invention is necessary, which would not be feasible by means of classical parameter input for a speaker system to be controlled.
  • Fig. 1 is a block diagram for explaining the operation of the graphical user interface
  • Fig. 2 block diagram for setting and editing the
  • 3a shows an example of a graphical user interface for processing impulse responses of the parameters describing the location of a sound source
  • Fig. 3b shows another example of a graphical user interface
  • Fig. 4 adding a spatial sound impression to a sound source
  • Fig. 5 Adds a spatial sound impression to individual loudspeaker signals
  • Fig. 6 is a graphical user interface for displaying and changing impulse responses
  • FIG. 7 shows a graphical user interface for displaying and changing frequency-selective pulse responses
  • Fig. 8 is a graphical user interface for displaying and changing time delays for different spatial directions.
  • FIG. 9 shows a system for driving a sound reproduction system with a graphical user interface.
  • 1 is a block diagram illustrating the operation of a graphical user interface 10 in accordance with the present invention including a display device 12 for graphically displaying an impulse response, means for permitting a change in the graphic display 14, means for receiving a user transition item 16, and means for detecting the changed one Impulse response 18 has.
  • the display device 12 graphically presents the impulse responses to the user such that the effects of changing the impulse responses presented can be intuitively interpreted and predicted.
  • the device for enabling the change of the graphic display 14 has access to the display device 12 and the data visualized by it.
  • a user input is required, which is received by the device for receiving a user change task 16, wherein the change, for example by means of a
  • Visualization can be done from systems for virtual reality.
  • the display device 12 can now graphically display a changed impulse response.
  • the modified impulse response is detected and stored for further use, for example.
  • the possibility of storing the impulse response can advantageously be used to reuse an already generated impulse response, which describes a special room to be simulated, for further projects.
  • FIG. 2 shows schematically how it is possible, based on the visualization of the graphical user interface shown in FIG. 3a or 3b, to determine the position of a sound source by means of a graphical user interface according to the invention or to change an existing position such that a desired position impression is created.
  • the position of a sound source relative to the reproduction environment is initially determined graphically.
  • the graphical user interface graphically illustrates, in the second step 22, the impulse responses representing the position of the sound source, which can be changed directly by the user.
  • both the position of the source varies, as well as the course of the calculated impulse responses can be manipulated directly. This additionally makes it possible to implement creative sound effects which need not be directly linked to "real" location information.
  • 3a or 3b shows an embodiment of a graphical user interface according to the invention for determining the spatial position of a sound source or for changing the impulse responses representing the sound source.
  • the position of the ball describes the position of the sound source 30 in space.
  • the wavefront 34 is shown, which results from the sound radiation of the point-shaped signal source. For example, moving the point source 30 to a point in space farther from the rendering environment 32 will make the wavefront 34 flatter. If the point source 30 is moved closer to the loudspeaker system, then the corresponding wavefront will be more strongly curved.
  • the curvature of the wavefront can also be changed directly with the aid of two graspers 36a and 36b. This has a direct effect on the perceived position of the point source 30, which is automatically displayed by the graphic user interface according to the invention.
  • the graphical user interface in Fig. 3a or 3b also shows a delay radius 38 which serves to avoid acausal states in the reproduction of a wave field synthesis based system, the position of wavefront 34 being determined by the delay radius.
  • the delay radius 38 corresponds to a basic delay, which requires a wave field synthesis system, and which corresponds to the distance of the speaker farthest from the center of the system.
  • the basic delay makes it possible to position sources arbitrarily within and outside the loudspeaker system / reconstruction area or the reproduction environment 32.
  • the position of the wavefront is defined by the intersection of the connecting line between the center of the system and the position of the sound source 30 with the retardation radius.
  • the thus determined position of the wavefront 34 is thus equivalent to a vanishing delay, since the delay radius 38 determines just the minimum delay time to be observed.
  • a real signal propagation time depends on the distance of the sound source to the listening space. This is determined by the distance between the sound source position and the center of the Playback system. In the creation of imaginary auditory scenes, this runtime is usually not desirable because it restricts the positioning options of the sources, as this, for example, temporal relationships can be changed in a music recording. This delay can therefore be deactivated in wave field synthesis systems, which may be required for an authentic sound impression.
  • This important additional parameter is represented in the graphic user interface according to the invention as a circle 40, wherein the position of the circle 40 on the connecting line between the system center and the sound source 30 visualizes the set delay time.
  • the circle 40 is located directly on the boundary of the delay radius 38, the runtime shown has its minimum possible value, which corresponds to the basic delay of the wave field synthesis system. If the case of a real sound propagation time / deceleration is to be simulated, the position of the circle 40 would be located directly below the sphere representing the sound source 30, it being understood that all intermediate values can additionally be displayed and adjusted.
  • the important delay time parameters can be set and changed intuitively, which further increases the creative freedom and, moreover, increases the efficiency of the design process in spatial sound reproduction.
  • the graphical user interface according to the invention has the advantage of extremely great flexibility, so that further parameters can be easily added, for example the area of circle 40 could describe a ratio of diffuse sound to direct sound, which is considered by a listener to be another feature for the removal of a sound Sound source for listening position is understood, changing this ratio, for example, by a Moving the circle 40 or changing its surface could be implemented.
  • the wave field synthesis algorithm calculates the impulse response IR LL . L ⁇ for each speaker involved (amplitude, delay). If, at a time t, these impulse responses are lined up next to one another, the peaks result in a sampled version of the wavefront emanating from the virtual sound source.
  • the wavefront can be simplified and displayed with interaction elements. If the user now interacts with these elements, the graphical representation of the wavefront changes. In the next step, this representation change can be applied to the individual impulse responses IR LL . L ⁇ be imprinted
  • the graphical user interface allows the manipulation of impulse responses, which are preferably to be computed for each individual loudspeaker which illuminates the reproduction volume 32.
  • the graphical user interface allows the manipulation of impulse responses to be computed for each individual loudspeaker which illuminates the display volume 32.
  • the representation of the impulse responses results directly from the representation of the graphical user interface, for which purpose a connection line 42 between the sound source 30 and an imaginary loudspeaker at the edge of the reproduction volume 32 is shown by way of example.
  • the impulse response to be calculated is given directly by the shape of the wavefront at the location at which the connecting line 42 intersects the wavefront 34.
  • the spatial position of a sound source 30, as can be seen in Fig. 3a or 3b, for each individual speaker translated into a time delay and an amplitude.
  • the amplitude results directly from the height of the graphical representation of the wavefront 34, wherein the time delay is also determined by the intersection of the Gera 42 with the wavefront 34, wherein for the determination of the time delay, the length of the cut sections of the line 42 relevant is.
  • the size of the sound source descriptive ball 30 can be used to represent the volume of a sound source.
  • the above-mentioned manipulation of the direct sound / diffuse sound ratio can also be displayed again here. If the volume of the direct sound corresponds to the size of the ball 30, z. For example, a distant source of sound tends to be quieter and thus corresponds to a small sphere. A link with the distance-dependent calculation of the volume of a sound source is thus easily realized by this representation.
  • the graphical user interface according to the invention in FIG. 3 a or 3 b it is thus possible to intuitively and generally understand the mathematical function which embodies the impulse response in such a way that the impulse response can be manipulated to the effect that a desired directional impression is created.
  • the graphical user interface of Fig. 3a or 3b for positioning a sound source ie for determining a sound impression, which reflects the location of the sound source have related, will be explained with reference to FIGS. 4-8 that the graphical user interface according to the invention is also suitable for visualizing such impulse responses and for enabling them to change, which produce a sound impression corresponding to that of a room to be simulated, such as a cathedral.
  • FIG. 4 shows a possibility in which the sound sources are initially arranged in space in a positioning step 50, as has been described, for example, with reference to FIG. 3a or 3b.
  • the impulses are assigned impulse responses for each sound source.
  • a spatial sound impression of the sound source can be imprinted directly when it is in a spatial direction with respect to the reproduction environment for which a specific spatial sound impression is to be simulated.
  • an impulse response function is generated for each sound source and spatial direction, which is sent to a reproduction system together with the Sound source in a transfer step 54 must be transmitted in order to achieve the desired spatial sound impression during playback.
  • a positioning step 60 in which impulse responses are generated for loudspeakers for each sound source which describe the position. Since the loudspeakers used in the reproduction system are also assigned to fixed spatial directions, the impression of space that is to be created in a listening direction can also be generated by additionally generating for each loudspeaker in a room simulation step 62 an impulse response which is the information contains over the space located in the direction of the respective speaker.
  • a transfer or storage step 64 the sound reproduction system and then the sound source and, for each individual loudspeaker, a position impulse response and a room impulse response must be transmitted to the sound reproduction system.
  • the flexibility of the graphical user interface according to the invention the assignment can thus be effected either individually for each sound source, or it may groups of sound sources, the playback environment are arranged with respect to in a similar direction in space, are grouped together to a plurality of discrete space Rich ⁇ obligations represent a spatial sound impression, which the required computing capacity is reduced during playback.
  • FIG. 1 An embodiment of the graphical user interface according to the invention showing the manipulation of an impulse response in an impulse response time representation is shown in FIG.
  • the spatial directions with respect to a reproduction environment 70 are subdivided into eight discrete sectors 72a-72h. For each of the sectors 72a-72h, therefore, a common Spatial impression achieved by means of an impulse response time representation.
  • the envelopes of the eight impulse responses used for the space simulation are extruded to surfaces. These surfaces are arranged in the form of an octagon and connected to a common surface 74.
  • the height of the area above the area defined by the sectors 72a-72i corresponds to the amplitude of the impulse response.
  • the distance from the center of the replay environment 70 represents the time, therefore, events occurring at the end of the impulse response are farther from the center of the replay environment 70.
  • the amplitude characteristics of the room impulse responses over time can be represented according to their spatial direction.
  • the change takes place interactively by moving interaction elements 76a, b and c exemplified here. It is thus possible to grasp the entire spatial sound situation at a glance and to recognize and eliminate deviations from the desired behavior.
  • the reverberation time in the direction of the sector 72h is reduced, which can easily be recognized by the asymmetry of the total area 74, so that the difference to the real, uniformly reverberant room can be recognized immediately.
  • Fig. 7 describes a representation of spatial impulse responses in a time-frequency representation. Shown is the rendering environment 80 and eight time-frequency representations of impulse responses 82a-82h associated with eight discrete spatial directions relative to the rendering environment 80.
  • both the time and the To visualize frequency components of impulse responses related to their spatial directions and to manipulate them can be changed, for example, by means of interaction elements 86a-86c.
  • the exemplified interaction elements 86a-86c allow the manipulation of the amplitude frequency response at a certain time, in the example shown here at the beginning of the impulse response.
  • low frequencies are located farther left and high frequencies farther to the right, so that it can be seen immediately that in the spatial simulation, the low frequencies begin with a higher amplitude and fade out longer than the high frequencies.
  • This complex relationship which can be stored in the form of a matrix, for example by describing the areas 82a-82h, can be intuitively recorded and changed here.
  • the type of representation also makes it possible to attach additional effects or to recognize their effect, for example, strong reflections from certain spatial directions would be visible as elevations on the surfaces of the corresponding spatial impulse response in this representation.
  • FIG. 8 shows a further example of a graphical user interface according to the invention, in which the impulse response words of the individual spatial directions consist of discrete peaks. Shown are a rendering environment 90, eight discrete spatial directions 92a-92i, and five exemplary delta-shaped impulse responses 94a-94e.
  • the wavefronts 94a-94e represent echoes from the spatial directions assigned to them. Their distance to the center of the playback volume indicates the time of the repetition of the original signal.
  • the position of the repetitions can be influenced by radial movements of the impulse responses from or to the center of the system.
  • the amplitude of the repetitions can be influenced by the height of the wavefronts in the vertical direction.
  • a time-frequency representation can also be implemented here in order to additionally impress an individual frequency response on each echo.
  • FIG. 9 describes a spatial sound effects visualization and processing system 100 composed of a signal processing part 102 and a visualization and interaction part 104.
  • the signal processing consists in that incoming audio signals 106 are folded by means of a mathematical convolution 108 with the impulse responses determined by means of the visualization and interaction part 104 in order to generate therefrom audio signals 110 which carry the sound impression of a space to be simulated.
  • the visualization and interaction part 104 has a display device for displaying calculated impulse responses 112, a device for receiving a user handling item 114, a device for changing a graphical display 116 and a device for detecting the changed impulse response 118.
  • the device for receiving a user change input 114 comprises an interaction device 120 and a device for implementing the interaction 122.
  • the device for enabling a change in the graphical display of the impulse response 116 comprises an output device 124 for representing the original impulse response and an image calculation unit 126 for visualizing the original impulse response.
  • a visual model 112 is generated based on parameters describing the impulse responses and thus containing the information about the space to be simulated. If a suitable visual model has been created by repeated interaction and visualization, the means for detecting the changed impulse response 118 extracts the parameters on which the visualization is based, and transmits them as impulse responses to the signal processor 102.
  • the signal processing comprises the convolution of N input signals with n impulse responses to n output signals.
  • N can be of z.
  • impulse responses required for the signal processing are thus generated with the help of the visualization and interaction part of the system. From an impulse response, sound-relevant parameters can be generated. It must be distinguished whether it is room signals or direct signals.
  • parameters can also be obtained from the interface. However, these can only be converted into impulse responses for the loudspeaker channel by the application of the wave field synthe- sis algorithm. The parameters are thus at a more abstract level. However, the structure of the block diagram in Fig. 9 does not change.
  • a significant advantage of the graphical user interface according to the invention is that complex mathematical parameters are made intuitively accessible. This makes it possible to generate or set these parameters, with it being possible in particular to keep an eye on the entire sound event at all times. It is particularly advantageous that in the described embodiments, which are based on 3D visualizations, the direction in which the playback environment is considered, can be varied, so that a resulting sound impression can be even better predicted that this from different Spaces is assessed.
  • the graphical user interface has individual discrete function blocks, such a division is only to be understood as an example, in principle any combinations and summaries of the individual function blocks are possible. So z.
  • the display 12 is combined with the means 14 for altering the graphical display, as is partially the case in the illustrated embodiments, where the possibility of modification is already implemented as part of the display, for example in the form of the handles 36a and 36b in Fig. 3a or 3b.
  • the user input may be by means of a mouse, a touchscreen, or any other means of moving a cursor on a screen.
  • the direct input of discrete change steps by means of a keyboard can also be represented, for example in the case of a discretized representation of an impulse response, where in defined time ranges the value of the impulse response in discrete steps can be adjusted, which is easily possible for example by means of a conventional keyboard.
  • any other suitable representation of impulse response functions is likewise possible in order according to the invention to enable the setting or generation of a spatial impression.
  • a sound-dependent spatial sound character could advantageously be represented by the fact that for each spatial direction only the difference to the common impulse response function is displayed, so that one easily gets an impression of how the observed spatial direction differs in its spatial properties from the overall sound image (middle sound image) ,
  • An order of processing the impulse response functions that describe the position of a sound source or the spatial impression is not fixed. It is possible to first position all the sound sources in the room and then create a spatial impression, as well as to first define the room to be simulated in order to subsequently position the sound sources within the room.
  • the processing steps for a system for driving a sound reproduction system which comprises a graphic user interface according to the invention and a signal generator for supplying loudspeaker signals differ.
  • each sound source which is located in a defined spatial direction, to memorize a spatial information by folding with a spatial impulse response function, and then, in a further step, to perform a convolution with an individual speaker. make pulse responses that describe the position of the sound sources relative to the playback volume.
  • the signal processing which is represented individually for each speaker by convolution of a sound signal with an impulse response function, can be implemented both continuously and discretely, whereby alternative mathematical methods of imparting the spatial impression, which an impulse response describes, to a sound signal are also possible.
  • the space enclosing the reproduction environment is subdivided into eight discrete spatial directions, wherein a spatial sound character can be determined individually for each spatial direction.
  • a spatial sound character can be determined individually for each spatial direction.
  • the inventive method of using a graphical user interface to use a sound reproduction system may be implemented in hardware or in software.
  • the implementation can be carried out on a digital storage medium, in particular a disk or CD with electronically readable control signals, which can cooperate with a programmable computer system so that the inventive method for verifying the success of a decortication process is performed.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
  • the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass ein Tonwiedergabesystem, das in einer Wiedergabeumge-bung einen räumlichen Toneindruck erzeugen kann, effizient und intuitiv mittels einer graphischen Benutzerschnittstel-le gesteuert werden kann, wenn eine einer Raumrichtung bezüglich der Wiedergabeumgebung zugeordnete Impulsantwort graphisch dargestellt wird (12), und wenn die Möglichkeit geschaffen wird, dass ein Benutzer die Impulsantwort gra-phisch verändern kann (14), so dass basierend auf der Benutzeränderungseingabe die geänderte Impulsantwort gra-phisch dargestellt sowie die geänderte graphische Darstel-lung erfasst werden kann (16), um das Tonwiedergabesystem anzusteuern. Da es systemtheoretisch möglich ist, alle bekannten linearen Signalverarbeitungen durch Impulsantwor-ten zu beschreiben, ist es mit der erfindungsgemäßen gra-phischen Benutzerschnittstelle möglich, einem Tongestalter über eine graphische Repräsentierung einen intuitiven Zugriff auf richtungsabhängige Klangeffekte zu geben.

Description

Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
Beschreibung
Die vorliegende Erfindung bezieht sich auf moderne Audio- technologien und insbesondere auf die Erzeugung und Bear- beitung von räumlichen Toneindrucken für Tonwiedergabesysteme .
In modernen Tonwiedergabesystemen kann durch den Einsatz von mehreren Lautsprechern erreicht werden, dass einzelne Tonquellen im Raum präzise geortet werden können und dass innerhalb der Wiedergabeumgebung der Eindruck erzeugt wird, man befände sich innerhalb eines simulierten Raumes, wie z. B. einem Stadium oder einer Kathedrale. Dabei kann man prinzipiell zwei unterschiedliche Wiedergabekonzepte unter- scheiden. Bei der herkömmlichen auch im Homeentertainment- bereich üblichen Surroundwiedergabe wird die Ortungs- und Rauminformation bereits wahrend des Tonmischvorgangs in einzelne, diskret zu übertragende Kanäle gemischt, wobei ein Wiedergabesystem aus mehreren Lautsprechern dazu ver- wendet wird, die einzelnen Kanäle wiederzugeben. Dabei sollten sich die wiedergebenden Lautsprecher an einer vorgegebenen Position relativ zur Wiedergabeumgebung befinden, um einen bestmöglichen Raumeindruck zu erzielen.
Fortgeschrittenere Systeme, wie die auf Wellenfeldsynthese basierenden Raumsimulationen, erzeugen die Ansteuersignale für die einzelnen Lautsprecher erst wahrend der Wiedergabe, basierend auf einer Positionsinformation einer Tonquelle bezüglich des Wiedergaberaums und der Rauminformation einer zu simulierenden Wiedergabeumgebung. Dadurch lassen sich bezüglich der Ortung und des räumlichen Eindrucks wesentlich authentischere Ergebnisse erzielen, da hier wahrend der Wiedergabe das individuelle Lautsprechersetup berück- sichtigt werden kann, um in der Wiedergabeumgebung eine Wellenfront zu erzeugen, die den zu simulierenden Raumeindruck bestmöglich repräsentiert.
Nachfolgend wird zum besseren Verständnis der vorliegenden Erfindung auf die Wellenfeldsynthese-Technik naher eingegangen .
Ein besserer natürlicher Raumeindruck sowie eine stärkere Einhüllung bei der Audiowiedergabe kann mit Hilfe einer neuen Technologie erreicht werden. Die Grundlagen dieser
Technologie, die so genannte Wellenfeldsynthese (WFS; WFS =
Wave-Field Synthesis), wurden an der TU Delft erforscht und erstmals m den spaten 80er-Jahren vorgestellt (Berkhout, A. J.; de Vries, D.; Vogel, P.: Acoustic control by Wave- field Synthesis. JASA 93, 1993) .
Infolge der enormen Anforderungen dieser Methode an Rech- nerleistung und Ubertragungsraten wurde die Wellenfeldsyn- these bis jetzt nur selten in der Praxis angewendet. Erst die Fortschritte in den Bereichen der Mikroprozessortechnik und der Audiocodierung gestatten heute den Einsatz dieser Technologie in konkreten Anwendungen.
Die Grundidee von WFS basiert auf der Anwendung des Huy- gens' sehen Prinzips der Weilentheorie:
Jeder Punkt, der von einer Welle erfasst wird, ist Ausgangspunkt einer Elementarwelle, die sich kugelförmig bzw. kreisförmig ausbreitet.
Angewandt auf die Akustik kann durch eine große Anzahl von Lautsprechern, die nebeneinander angeordnet sind (einem so genannten Lautsprecherarray) , jede beliebige Form einer einlaufenden Wellenfront nachgebildet werden. Im einfachsten Fall, einer einzelnen wiederzugebenden Punktquelle und einer linearen Anordnung der Lautsprecher, müssen die Audiosignale eines jeden Lautsprechers mit einer Zeitverzo- gerung und Amplitudenskalierung so gespeist werden, dass sich die abgestrahlten Klangfelder der einzelnen Lautsprecher richtig überlagern. Bei mehreren Schallquellen wird für jede Quelle der Beitrag zu jedem Lautsprecher getrennt berechnet und die resultierenden Signale addiert. Befinden sich die wiederzugebenden Quellen in einem virtuellen Raum mit reflektierenden Wänden, dann müssen auch Reflexionen als zusätzliche Quellen über das Lautsprecherarray wiedergegeben werden. Der Aufwand bei der Berechnung hängt daher stark von der Anzahl der Schallquellen, den Reflexionseigenschaften des Raums und der Anzahl der Lautsprecher ab.
Der Vorteil dieser Technik liegt im Besonderen darin, dass ein natürlicher räumlicher Klangeindruck über einen großen Bereich des Wiedergaberaums möglich ist. Im Gegensatz zu den bekannten Techniken werden Richtung und Entfernung von Schallquellen sehr exakt wiedergegeben. In beschränktem Maße können virtuelle Schallquellen sogar zwischen dem realen Lautsprecherarray und dem Hörer positioniert werden.
Die Wellenfeldsynthese ermöglicht somit eine korrekte Abbildung von virtuellen Schallquellen über einen großen Wiedergabebereich. Gleichzeitig bietet sie dem Tonmeister und Toningenieur neues technisches und kreatives Potential bei der Erstellung auch komplexer Klanglandschaften. Die Wellenfeldsynthese (WFS oder auch Schallfeldsynthese) , wie sie Ende der 80-er Jahre an der TU Delft entwickelt wurde, stellt einen holographischen Ansatz der Schallwiedergabe dar. Als Grundlage hierfür dient das Kirchhoff-Helmholtz- Integral. Dieses besagt, dass beliebige Schallfelder inner¬ halb eines geschlossenen Volumens mittels einer Verteilung von Monopol- und Dipolschallquellen (Lautsprecherarrays ) auf der Oberfläche dieses Volumens erzeugt werden können. Details hierzu finden sich in M. M. Boone, E. N. G. Verheijen, P. F. v. ToI, „Spatial Sound-Field Reproduction by Wave- Field Synthesis", Delft University of Technology Laboratory of Seismics and Acoustics, Journal of J. Audio Eng. Soc, Bd. 43, Nr. 12, Dezember 1995 und Diemer de Vries, „Sound Reinforcement by Wavefield Synthesis: Adaption of the Synthesis Operator to the Loudspeaker Directivity Charac- teristics", Delft University of Technology Laboratory of Seismics and Acoustics, Journal of J. Audio Eng. Soc . , Bd. 44, Nr. 12, Dezember 1996.
Bei der Wellenfeldsynthese wird aus einem Audiosignal, das eine virtuelle Quelle an einer virtuellen Position aussendet, eine Synthesesignal für jeden Lautsprecher des Laut- sprecherarrays berechnet, wobei die Synthesesignale derart hinsichtlich Amplitude und Phase gestaltet sind, dass eine Welle, die sich aus der Überlagerung der einzelnen durch die im Lautsprecherarray vorhandenen Lautsprecher ausgegebenen Schallwelle ergibt, der Welle entspricht, die von der virtuellen Quelle an der virtuellen Position herrühren wurde, wenn diese virtuelle Quelle an der virtuellen Position eine reale Quelle mit einer realen Position wäre.
Typischerweise sind mehrere virtuelle Quellen an verschie- denen virtuellen Positionen vorhanden. Die Berechnung der Synthesesignale wird für jede virtuelle Quelle an jeder virtuellen Position durchgeführt, so dass typischerweise eine virtuelle Quelle in Synthesesignalen für mehrere Lautsprecher resultiert. Von einem Lautsprecher aus be- trachtet empfangt dieser Lautsprecher somit mehrere Synthesesignale, die auf verschiedene virtuelle Quellen zurückgehen. Eine Überlagerung dieser Quellen, die aufgrund des linearen Superpositionsprinzips möglich ist, ergibt dann das von dem Lautsprecher tatsächlich ausgesendete Wiederga- besignal.
Die Möglichkeiten der Wellenfeldsynthese können um so besser ausgeschöpft werden, je geschlossener die Lautspre- cherarrays sind, d. h. um so mehr einzelne Lautsprecher möglichst nah beieinander angeordnet werden können. Damit steigt jedoch auch die Rechenleistung, die eine Wellenfeld- syntheseeinheit vollbringen muss, da typischerweise auch Kanalinformationen berücksichtigt werden müssen. Dies bedeutet im einzelnen, dass von jeder virtuellen Quelle zu jedem Lautsprecher prinzipiell ein eigener Ubertragungska- nal vorhanden ist, und dass prinzipiell der Fall vorhanden sein kann, dass jede virtuelle Quelle zu einem Synthesesig- nal für jeden Lautsprecher fuhrt, bzw. dass jeder Lautsprecher eine Anzahl von Synthesesignalen erhalt, die gleich der Anzahl von virtuellen Quellen ist.
Darüber hinaus sei an dieser Stelle angemerkt, dass die Qualität der Audiowiedergabe mit der Anzahl der zur Verfugung gestellten Lautsprecher steigt. Dies bedeutet, dass die Audiowiedergabequalitat um so besser und realistischer wird, um so mehr Lautsprecher in dem bzw. den Lautsprecher- arrays vorhanden sind.
Räumliche Tonwiedergabesysteme wie die Wellenfeldsynthese ermöglichen es also, den Ton in 360 Grad um den Zuhorerraum mit optimaler raumlicher Auflosung zu generieren. Bisher wurden diese Systeme im Wesentlichen zum Positionieren von diskreten Schallquellen und zur Direktschallwiedergabe verwendet. Auf die Signale der so generierten Schallquellen lassen sich zusätzlich alle bekannten linearen Signalverar- beitungen anwenden, wie z. B das Hinzufugen von Nachhall. In räumlichen Tonwiedergabesystemen wie der Wellenfeldsyn- these (WFS) ist es weiterhin möglich, räumliche Effekte basierend auf dem Direktschall zu generieren. Dies geschieht beispielsweise bei der Raumsimulation, bei der aus Gründen der Effizienz die Wiedergabe auf eine begrenzte Anzahl von Raumrichtungen (ebene Wellen) vereinfacht werden kann.
In einem sehr einfachen Fall der Raumsimulation werden gleiche Parameter zur Beschreibung des Raumes für alle Raumrichtungen verwendet (diffuser Nachhall) und richtungs- abhangige Raumanteile (frühe Reflexionen) automatisiert generiert. Ein Erzeugen räumlicher Effekte ist nicht nur dann sinnvoll, wenn es um die Nachbildung natürlicher Raumeffekte geht, da die prinzipiellen Möglichkeiten dieser Art der Signalverarbeitυng auch anderweitig kreativ genutzt werden können.
Bei der Wellenfeldsynthese wird ein zu beschallender Raum von möglichst vielen individuellen Lautsprechern beschallt, um die Rekonstruktion von Wellenfronten mit bestmöglicher Genauigkeit zu erlauben. Für die Ortbarkeit von Tonsignalen und die Erzeugung eines Raumeindrucks werden üblicherweise eine Vielzahl von Parametern herangezogen, die für jeden Lautsprecher während des Abmischens des Tonsignals individuell zu bestimmen sind.
Wie im Vorhergehenden beschrieben wurde, zeichnen sich die mehrkanaligen Tonwiedergabesysteme durch außerordentlich hohe Komplexität aus, so dass das zusätzliche Erzeugen einer Rauminformation bzw. der Ortungsinformation während des Abmischens des Tons bedingt, eine Vielzahl von Parametern zu erzeugen, die lautsprecherindividuell die Ortungsinformation bzw. zusätzliche lineare Signalverarbeitungs- schritte (zum Erzeugen von akustischen Effekten) beschrei¬ ben. Diese Beschreibung anhand einer Vielzahl abstrakter mathematischer Parameter ohne unmittelbar intuitiv erfassbare Bedeutung ist insbesondere bei Wellenfeldsynthesesys- temen schwer beherrschbar.
Beispielsweise bietet die Wellenfeldsynthese die Möglichkeit, Schallquellen auf einer zweidimensionalen Hörebene frei zu positionieren. Dies geschieht durch die Synthetisierung unterschiedlicher Wellenfronten abhängig von der Position der Schallquellen. Benutzeroberflächen, wie sie derzeit verwendet werden, verwenden zur Positionierung der Schallquelle einen Punkt in einer Aufsicht der zweidimensionalen Hörebene, wobei der Punkt die Position der Schallquelle repräsentiert. Da bei diesem Ansatz die räumliche Position der Schallquelle zwar hinreichend visualisiert wird, der klangliche Tiefeneindruck (Raumeindruck) jedoch prinzipiell in der Visualisierung nicht simultan darstellbar ist, kommt es zu Diskrepanzen zwischen der realen Wahrnehmung und der Darstellung, so dass nur in wenigen Ausnahmefallen ein visuelles Bild zur Verfugung gestellt wird, welches dem realen Klangeindruck entspricht oder einen Ruckschluss auf diesen zulasst.
Die Aufgabe der vorliegenden Erfindung besteht darin, eine graphische Benutzerschnittstelle zu schaffen, die es erlaubt, ein Tonwiedergabesystem zur Erzeugung eines räumlichen Toneindrucks effizienter zu steuern.
Diese Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 oder 20 sowie durch ein Verfahren gemäß Anspruch 25 oder 26 gelost .
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass ein Tonwiedergabesystem, das in einer Wiedergabeumgebung einen räumlichen Toneindruck erzeugen kann, effizient und intuitiv mittels einer graphischen Benutzerschnittstelle gesteuert werden kann, wenn eine einer Raumrichtung bezuglich der Wiedergabeumgebung zugeordnete Impulsantwort bzw. eine aus der Impulsantwort gewonnene graphische Repräsentation graphisch dargestellt wird, und wenn die Möglichkeit geschaffen wird, dass ein Benutzer diese Darstellung graphisch verandern kann, so dass basierend auf der Benut- zeranderungseingabe die geänderte Impulsantwort graphisch dargestellt sowie die geänderte graphische Darstellung erfasst werden kann, um das Tonwiedergabesystem anzusteuern.
Da es systemtheoretisch möglich ist, alle bekannten linearen Signalverarbeitungen durch Impulsantworten zu beschreiben, ist es mit der erfindungsgemaßen graphischen Benutzerschnittstelle möglich, einem Tongestalter über eine graphi¬ sche Reprasentierung einen intuitiven Zugriff auf rich- tungsabhangige Klangeffekte zu geben, um somit die Effi¬ zienz und die Qualität bei der Steuerung des Tonwiedergabe¬ systems zu erhohen. Durch Faltung eines ursprünglichen Signals mit Impulsantworten lassen sich alle linearen Signalverarbeitungsalgorithmen darstellen. Als Beispiel können so bei einer auf Wellenfeldsynthese basierenden Raumsimulation die Signale für ebene Wellen durch Faltung mit entsprechenden Raumimpulsantworten, die korrespondierenden Raumrichtungen zugeordnet sind, erzeugt werden. Damit können auch Räume nachgebildet werden, wobei die verwendeten Impulsantworten erfindungsgemäß neben einer Beschreibung durch die ihnen zugrundeliegenden Parameter auch direkt visualisiert werden. Das erfindungsgemäße neue Werkzeug zur Tongestaltung besteht aus eine simultanen Visualisierung aller richtungsabhängigen Impulsantworten korrespondierend zu einer Quelle. Die Klanggestaltung findet durch direkte Interaktion mit dieser Visualisierung statt. Die Bearbeitung der visuellen Darstellung wird in eine parametrische Beschreibung umgerechnet und aus dieser werden die zugehörigen Impulsantworten generiert .
Die Richtungsinformation bzw. eine Räumlichkeit wird einem Tonsignal also durch eine mathematische Faltung mit einer Impulsantwort eingeprägt, was zum besseren Verständnis des Erfindungsgedankens im Folgenden kurz erläutert wird.
Einem Tonsignal f (y) wird ein Raumeindruck oder Reflexionsmuster bzw. eine Ortungsinformation durch Faltung mit einer Impulsantwort g(x) eingeprägt, so dass sich das kombinierte Tonsignal F(x) gemäß folgendem Faltungsintegral ergibt:
Die Impulsantwort g(x) beschreibt allgemein die Antwort eines Systems auf einen Diracimpuls δ(x), also einen Impuls infinitesimaler Länge für den gilt:
Das heißt also, ein idealer Diracimpuls zeichnet sich durch eine infinitesimale Länge aus und zusätzlich dadurch, dass sein Integral, wie oben beschrieben, endlich ist. Im Falle eines Tonsignals bedeutet dies, dass ein Diracpuls beliebig klein ist, jedoch feste akustische Energie trägt.
Testet man einen Raum mit einem Diracpuls, so erhalt man als einfachste Impulsantwort wiederum einen Diracpuls, der mit einer Laufzeitverzögerung t zum Aussenden des Testpulses am Ort des Aussendens des Testpulses registriert wird. Dies ist genau dann der Fall, wenn in der Richtung, in die der Testpuls emittiert wurde, ein idealer Reflektor befind- lieh ist, der das akustische Testsignal ohne Dämpfung reflektiert, wobei die Laufzeit zwischen dem Ort des Aussendens der Quelle und dem Reflektor dann genau t/2 beträgt.
Es sei hier bemerkt, dass es in der Realität unmöglich ist, einen idealen Diracpuls zu erzeugen, stattdessen werden von jetzt an auch Pulse, deren Breite endlich ist und deren Intensität A beträgt, als Diracpulse bezeichnet.
Anschaulich kann man sich solche realen Impulse beispielsweise aus gaussförmige Kurven geringer Breite mit Flächeninhalt A vorstellen.
Würde der oben beschriebene Reflektor einen Teil der akus- tischen Energie absorbieren, das Testsignal also dämpfen, so würde der nach Laufzeit t empfangene, reflektierte Diracpuls eine geringere Fläche B unter der Kurve aufweisen als der ursprüngliche Puls (B < A) .
Neben den bislang beschriebenen, idealisierten einfachen Fällen einer Impulsantwort ist es ferner möglich, beliebig komplexe Impulsantworten zu erhalten. Befinden sich beispielsweise zwei Reflektoren in voneinander unterschiedlichen Entfernungen, die den akustischen Laufzeiten ti und t2 entsprechen, zum Ort des Aussendens des Testsignals, so wird die Impulsantwort aus zwei zu den Zeitpunkten 2*ti und 2*t2 empfangenen Diracpulsen bestehen. Normalerweise sind akustische Szenen sehr komplex, so dass eine reale Impulsantwort eine mit der Zeit dichter werdende Pulsfolge sein wird, die mit frühen Reflexionen beginnt, und deren zeit- lieh spater eintreffenden Komponenten beispielsweise einen Nachhall beschreiben.
Wie oben erläutert beschreibt eine Impulsantwort in Form eines Diracpulses ein Delay bzw. ein Echo. Ebenso lasst sich beispielsweise ein Mehrfachecho durch eine Summe von diraeformigen Pulsen darstellen. Zur realistischen Raumsimulation wird im Allgemeinen die Impulsantwort, die mit dem Tonsignal gefaltet wird, kontinuierlich sein, z. B. ein zum Zeitpunkt t0 stark ansteigendes und dann sanft ausklmgen- des Signal, das eine Mehrfachreflexion beschreibt, wobei die zu spateren Zeitpunkten reflektierten Signale starker gedampft sind.
In realen Szenarien werden Tonsignale zusatzlich frequenz- selektiv gedampft, beispielsweise werden hohe Tonsignale von Teppichen und Wandbehangen starker gedampft als tiefe Tonsignale. Um diesem Sachverhalt gerecht zu werden, können beispielsweise für mehrere Frequenzbereiche getrennt unterschiedliche Impulsantworten verwendet und visualisiert werden oder muss die Visualisierung der Impulsantwort den Zeit- und Frequenzbereich umfassen.
In einem weiteren Ausfuhrungsbeispiel der vorliegenden Erfindung wird die graphische Benutzerschnittstelle dazu verwendet, die räumliche Position einer Tonquelle relativ zum Tonwiedergabesystem darzustellen, und die daraus resultierenden Impulsantworten, die für jeden Lautsprecher eines Wiedergabesystems individuell die räumliche Orientierung des Tonsignals bezüglich des wiedergebenden Lautsprechers darstellen, zu visualisieren .
Dabei kann der Benutzer auf anschauliche Art und Weise die Position der Quelle bezüglich der Wiedergabeumgebung graphisch verandern, wobei sich aus der dargestellten Wellenfront der punktförmigen akustischen Signalguelle automatisch die lautsprecherindividuelle Impulsantwort bzw. die Parameter zur Ansteuerung der Lautsprecher ergeben. Em Toningenieur hat somit die Möglichkeit, auf intuitive Art und Weise die komplexen Parameter, die zur Steuerung des Tonwiedergabesystems von Noten sind, zu erzeugen.
Dabei ist ein wesentlicher Aspekt, dass zusätzlich die Möglichkeit geschaffen wird, durch graphische Interaktion mit der Benutzerschnittstelle die Impulsantworten direkt zu verandern, wobei unmittelbar dargestellt wird, wie sich die aktuelle Änderung auf die Wahrnehmung der Position der Tonquelle auswirkt. Mit der erfindungsgemaßen graphischen Benutzerschnittstelle hat man also vorteilhafterweise die Wahl, ob man von der physikalischen Realität ausgehend die Tonquelle direkt platzieren will oder ob man die Möglich¬ keiten der Veränderung der Impulsantwort kreativ nutzen mochte. Im letzteren Fall erhalt man dabei zusätzlich eine Abschätzung, wie die manuelle Änderung der Impulsantworten in der Wahrnehmung eines Zuhörers interpretiert wird. Ein Toningenieur kann also zwischen zwei Möglichkeiten der visuellen Klangbearbeitung wählen und dabei den Ansatz verfolgen, der für das gewünschte klangliche Ergebnis bzw. den räumlichen Toneindruck, den es zu erzielen gilt, am vorteilhaftesten ist.
In einem weiteren Ausfuhrungsbeispiel der vorliegenden Erfindung wird die erfindungsgemaße graphische Benutzer- schnittsteile genutzt, um Impulsantworten, die Informationen über einen zu simulierenden Raum beinhalten, darzustellen. Dabei werden von der Anzeigeeinrichtung die Impulsantworten bezüglich eines festen Punktes innerhalb der Wieder- gabeumgebung in den Raumrichtungen dargestellt, für die sie auch die Rauminformationen tragen.
Von der Anzeigeeinrichtung werden also simultan alle für den raumlichen Gesamteindruck relevanten Daten (Impulsantworten) dargestellt, wobei sie als dreidimensionales Abbild der Umgebung visualisiert werden. Ein Benutzer hat also den Vorteil, dass er samtliche Informationen, die den räumlichen Klangeindruck betreffen, zeitgleich dargestellt be- kommt bzw. dass er diese simultan verandern kann, wobei zu jedem Zeitpunkt der durch eine Veränderung entstandene veränderte raumliche Klangeindruck dargestellt wird und beurteilt werden kann.
Dadurch wird es ermöglicht, auf intuitive Art und Weise einen Klangeindruck mit Nachhall bzw. gewünschten Dampfungen und anderen Signalmanipulationen zu erzielen, ohne die den Impulsantworten zugrundeliegenden Parameter manuell verandern zu müssen, was ein erhebliches Maß an Abstraktion erfordert.
Die graphische Darstellung erlaubt es ferner, den Design- prozess losgelost von technischen Rahmenbedingungen durchzufuhren. So wird im Allgemeinen eine Impulsantwortfunktion diskret abgespeichert sein, d. h. für diskrete Zeitabschnitte existiert ein zugeordneter Amplitudenwert. Bei der intuitiven Bedienung der graphischen Benutzerschnittstelle muss darauf keine Rucksicht genommen werden, da die relevanten Parameter basierend auf einer graphischen Änderung der angezeigten Impulsantwort automatisch erzeugt werden.
Ein weiterer Vorteil besteht darin, dass die Komplexität eines Systems leicht erhöht werden kann, ohne dass die Intuitivitat der Bedienung unter der erhöhten Anzahl von Parametern verringert wird.
In einem weiteren Ausfuhrungsbeispiel der vorliegenden Erfindung wird es ermöglicht, die Impulsantworten mehrere Raumrichtungen betreffend frequenzselektiv darzustellen bzw. zu bearbeiten. Dadurch wird es möglich, die Natürlichkeit des Raumeindrucks weiter zu erhohen, indem man beispielsweise für unterschiedliche Raumrichtungen verschiede- ne frequenzabhangige Dampfungsprofile annimmt, was die Authentizität des erzielten Klangeindrucks einerseits erhöht, andererseits jedoch die Komplexität der Erzeugung der Parameter ebenfalls ansteigen lasst. In der visuellen Darstellung ist es dabei dennoch möglich, das erzielbare Klangerlebnis vorherzusagen, und dieses darüber hinaus kreativ zu verandern, indem beispielsweise bei einer bestimmten Frequenz für eine frei wahlbare Raumrichtung eine starke kunstliche Dampfung eingeführt wird. Diese Änderungen sind sofort sichtbar und es ist möglich, im Kontext des Gesamtsystems den Einfluss auf das gesamte Klanggeschehen zuverlässig vorauszusagen.
In einem einfachen Beispiel können gleiche Parameter zur Beschreibung des Raumes für alle Raumrichtungen verwendet werden, was einem diffusen Nachhall entspricht. Richtungs- abhangige Raumanteile (frühe Reflexionen) werden erst im Anschluss daran angebracht. Daraus entsteht für jede Raumrichtung eine spezifische Raumimpulsantwort, eine unge- wunschte Abweichung der Parameter für eine Raumrichtung kann sofort erkannt und korrigiert werden.
Ein weiterer Vorteil der erfindungsgemaßen dreidimensionalen Darstellung ist, dass die frequenzselektive Impulsantwortdarstellung für jede Richtung durch einfaches Abtasten leicht in eine Matrixdarstellung überfuhrt werden kann, deren weitere Verarbeitung außerordentlich effizient möglich ist.
Bei einem weiteren Ausfuhrungsbeispiel der vorliegenden Erfindung werden für eine vorgegebene Anzahl von Raumrichtungen individuell Delayzeiten eingestellt, wobei die Delayzeiten als diracformige Impulsantworten dargestellt werden. Diese sind bezüglich eines festen Punktes in der Wiedergabeumgebung in einer dreidimensionalen Ansicht dargestellt sind. Dabei ist besonders vorteilhaft, dass die graphische Manipulation, die das Verschieben der diracfor- migen Impulsantworten bezuglich eines Referenzpunktes erlaubt, unmittelbar den raumlichen Effekt visuell widerspiegelt. Die einem Delay entsprechenden diracformigen Impulsantworten beschreiben gerade eine Reflexion an einem Gegenstand, wobei das Vergrößern des Abstands der Impulsantwort bezuglich des Referenzpunktes in der graphischen Darstellung einem Vergrößern der Laufzeit des reflektierten Signals entspricht. Durch die unmittelbare Entsprechung der graphischen Darstellung zur simulierten Realität können somit auf effizienteste Art und Weise beispielsweise Räume simuliert werden, innerhalb derer sich die Wiedergabeumge- bung befindet.
Ein besonderer Vorteil dieser vereinfachten Art der Raumgestaltung ist die hohe Intuitivitat der Darstellung und die damit verbundene reduzierte Fehlerwahrscheinlichkeit bei der Steuerung eines Tonwiedergabesystems.
Bei einem weiteren Ausfuhrungsbeispiel der vorliegenden Erfindung wird die graphische Benutzerschnittstelle für ein Tonwiedergabesystem mit einem Signalgenerator betrieben, der Lautsprechersignale für eine Mehrzahl von an unterschiedlichen räumlichen Positionen angebrachte Lautsprecher erzeugt. Die hohe Intuitivitat und Benutzerfreundlichkeit der graphischen Benutzerschnittstelle macht es dabei möglich, die Wiedergabe von Signalquellen auch in Echtzeit so zu manipulieren, dass die akustische Ortbarkeit eines Tonsignals, beispielsweise eines Sangers auf der Buhne, mit dem optischen Eindruck übereinstimmt. In diesem Fall ist lediglich ein Nachfuhren der bewegten Tonquelle innerhalb der erfindungsgemaßen graphischen Benutzeroberflache notwendig, was mittels klassischer Parametereingabe für ein zu steuerndes Lautsprechersystem nicht realisierbar wäre. Bevorzugte Ausfuhrungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen naher erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild zur Erläuterung der Funktionsweise der graphischen Benutzerschnittstelle;
Fig. 2 Blockschaltbild zum Festlegen und Bearbeiten der
Position von Schallquellen;
Fig. 3a ein Beispiel für eine graphische Benutzerschnittstelle zum Bearbeiten von Impulsantworten der Parameter, die den Ort einer Schallquelle beschreiben;
Fig. 3b ein weiteres Beispiel für eine graphische Benutzerschnittstelle
Fig. 4 Hinzufugen eines räumlichen Klangeindrucks für zu einer Tonquelle;
Fig. 5 Hinzufugen eines räumlichen Klangeindrucks zu einzelnen Lautsprechersignalen;
Fig. 6 eine graphische Benutzerschnittstelle zum Anzeigen und Andern von Impulsantworten;
Fig. 7 eine graphische Benutzerschnittstelle zum Anzeigen und Verandern von frequenzselektiven Impuls- antworten;
Fig. 8 eine graphische Benutzerschnittstelle zum Anzeigen und Andern von Zeitverzogerungen für verschiedene Raumrichtungen; und
Fig. 9 ein System zum Ansteuern eines Tonwiedergabesystems mit einer graphischen Benutzeroberflache. Fig. 1 zeigt in einem Blockschaltbild die Funktionsweise einer erfindungsgemaßen graphischen Benutzerschnittstelle 10, die eine Anzeigeeinrichtung 12 zum graphischen Anzeigen einer Impulsantwort, eine Einrichtung zum Ermöglichen einer Änderung der graphischen Anzeige 14, eine Einrichtung zum Empfangen einer Benutzeranderungsemgabe 16 und eine Einrichtung zum Erfassen der geänderten Impulsantwort 18 aufweist .
Die Anzeigeeinrichtung 12 stellt die Impulsantworten für den Benutzer graphisch aufbereitet so dar, dass die Auswirkungen einer Veränderung der dargestellten Impulsantworten intuitiv interpretiert und vorhergesagt werden können.
Die Einrichtung zum Ermöglichen der Änderung der graphischen Anzeige 14 hat dabei Zugriff auf die Anzeigeeinrichtung 12 und die von ihr visualisierten Daten.
Um eine Änderung der Impulsantworten zu ermöglichen, ist eine Benutzereingabe erforderlich, die von der Einrichtung zum Empfangen einer Benutzeranderungsemgabe 16 empfangen wird, wobei die Änderung beispielsweise mittels einer
Computer-Maus, eines Touchpads oder Interaktions- und
Visualisierungstechmken aus Systemen für virtuelle Reali- tat geschehen kann.
Basierend auf der Benutzeranderungsemgabe kann nun von der Anzeigeeinrichtung 12 eine geänderte Impulsantwort graphisch dargestellt.
Durch das Zusammenspiel der Anzeigeeinrichtung 12, der Einrichtung zum Ermöglichen einer Änderung 14 und der Einrichtung zum Empfangen einer Benutzeranderungsemgabe 16 wird ein iteratives Anderungsverfahren aus Benutzereingabe und darauf folgender graphischer Aktualisierung möglich. Dies hat den großen Vorteil, dass die Auswirkung einer Benutzeranderung unmittelbar graphisch oder akustisch kontrolliert werden kann. Ein explizites Durchfuhren der Änderungen und eine anschließende Kontrolle durch Testhören innerhalb eines Tonwiedergabesystems kann dadurch entfallen, was erheblich zur Kosten- und Zeitersparnis beiträgt.
Von der Einrichtung zum Erfassen der geänderten Impulsantwort 18 wird die modifizierte Impulsantwort erfasst und beispielsweise zur weiteren Verwendung gespeichert. Die Möglichkeit, die Impulsantwort zu speichern, kann vorteilhafterweise dazu genutzt werden, eine bereits einmal er- zeugte Impulsantwort, die einen speziellen zu simulierenden Raum beschreibt, für weitere Projekte wieder zu verwenden.
Es ist zu bemerken, dass verschiedene Möglichkeiten denkbar sind, Impulsantworten zu visualisieren. Die einfachste Möglichkeit ist, die Impulsantworten entsprechend ihrer Richtung um den Mittelpunkt eines Wiedergabesystems anzuordnen. In dem daraus entstehenden, dargestellten „Gebirge" können frequenzunabhängige Bearbeitungen der Amplitudenverläufe der Impulsantworten vorgenommen werden. Für Beispiele von Visualisierungsmethoden wird auf die folgenden Figuren verwiesen, in denen die folgenden vier Varianten der Visualisierung beschrieben werden:
Wellenfeldsynthese Punktquelle - Impulsantwort-Zeit Darstellung
Impulsantwort-Zeit-Frequenz Darstellung Multitapdelay
Fig. 2 zeigt schematisch, wie es anhand der in Fig. 3a oder 3b gezeigten Visualisierung der graphischen Benutzerschnittstelle möglich ist, die Position einer Tonquelle mittels einer erfindungsgemäßen graphischen Benutzerschnittstelle festzulegen oder eine bestehende Position so zu verändern, dass ein gewünschter Positionseindruck ent- steht. Im Positionierungsschritt 20 wird dabei zunächst die Position einer Tonquelle relativ zur Wiedergabeumgebung graphisch festgelegt.
Die graphische Benutzerschnittstelle stellt im zweiten Schritt 22 die die Position der Tonquelle repräsentierenden Impulsantworten graphisch dar, welche vom Benutzer direkt verändert werden können.
Dabei ist zu bemerken, dass, wie es im Folgenden anhand von Fig. 3a oder 3b zu sehen sein wird, sowohl die Position der Quelle variiert, als auch der Verlauf der errechneten Impulsantworten direkt manipuliert werden kann. Dies ermöglicht es zusätzlich, kreative Toneffekte zu implementieren, welche nicht unmittelbar mit einer „realen" Ortsinformation verknüpft sein müssen.
Fig. 3a oder 3b zeigt eine Ausfuhrungsform einer erfin- dungsgemaßen graphischen Benutzerschnittstelle zum Festle- gen der räumlichen Position einer Tonquelle bzw. zum Andern der die Tonquelle repräsentierenden Impulsantworten.
Dargestellt ist eine punktförmige Schallquelle 30 in Form einer Kugel, eine Wiedergabeumgebung 32 und eine zur Punkt- quelle korrespondierende Wellenfront 34.
Die Position der Kugel beschreibt die Position der Schallquelle 30 im Raum. Basierend auf der Position der Punktquelle 30 wird die Wellenfront 34 dargestellt, die sich aus der Schallabstrahlung der punktförmigen Signalquelle ergibt. Wird beispielsweise die Punktquelle 30 zu einem Punkt im Raum bewegt, der weiter von der Wiedergabeumgebung 32 entfernt ist, so wird die Wellenfront 34 flacher. Wird die Punktquelle 30 naher an das Lautsprechersystem heran be- wegt, dann wird die entsprechende Wellenfront starker gekrümmt sein. Erfindungsgemäß lässt sich die Krümmung der Wellenfront auch direkt mit Hilfe von zwei Anfassern 36a und 36b verändern. Dies wirkt sich unmittelbar auf die wahrgenommene Position der Punktquelle 30 aus, was von der erfindungsge- mäßen graphischen Benutzerschnittstelle automatisch dargestellt wird.
Die graphische Benutzerschnittstelle in Fig. 3a oder 3b zeigt ferner einen Verzögerungsradius 38, der dazu dient, akausale Zustände bei der Wiedergabe eines auf Wellenfeld- synthese basierenden Systems zu vermeiden wobei die Position der Wellenfront 34 durch den Verzögerungsradius bestimmt wird. Der Verzögerungsradius 38 entspricht dabei einer Grundverzögerung, die ein Wellenfeldsynthesesystem benö- tigt, und die der Entfernung des am weitesten vom Mittelpunkt des Systems entfernten Lautsprechers entspricht. Durch die Grundverzögerung wird es möglich, Quellen beliebig innerhalb und außerhalb des Lautsprechersys- tems/Rekonstruktions-gebiets bzw. der Wiedergabeumgebung 32 zu positionieren.
Wie es Fig. 3a oder 3b zeigt, wird die Position der Wellenfront durch den Schnittpunkt der Verbindungslinie zwischen Systemmittelpunkt und Position der Schallquelle 30 mit dem Verzögerungsradius definiert. Die so bestimmte Position der Wellenfront 34 ist somit gleichbedeutend mit einer verschwindenden Verzögerung, da der Verzögerungsradius 38 ja gerade die minimal einzuhaltende Verzögerungszeit bestimmt. Mit der erfindungsgemäßen graphischen Benutzerschnittstelle ist es möglich, eine Schallquelle beliebig zu positionieren und deren Wellenfront bzw. die die Wellenfront repräsentierende Impulsantwort zu verändern.
Bezüglich der Laufzeitverzögerungen ist zu bemerken, dass es bei der eines realen Schallfeldes abhängig von der Entfernung der Schallquelle zum Abhörraum zu einer realen Signallaufzeit kommt. Diese bestimmt sich durch den Abstand zwischen der Schallquellenposition und dem Mittelpunkt des Wiedergabesystems. Bei der Erstellung von imaginären auditiven Szenen ist diese Laufzeit in der Regel nicht erwünscht, da sie die Positionierungsmöglichkeiten der Quellen einschränkt, da dadurch beispielsweise zeitliche Zusammenhänge bei einer Musikaufnahme verändert werden können. Diese Verzögerung kann daher in Wellenfeldsynthese- systemen deaktiviert werden, was für einen authentischen Klangeindruck erforderlich sein kann. Dieser wichtige zusätzliche Parameter wird in der erfindungsgemäßen graphi- sehen Benutzerschnittstelle als Kreis 40 dargestellt, wobei die Position des Kreises 40 auf der Verbindungslinie zwischen dem Systemmittelpunkt und der Schallquelle 30 die eingestellte Verzögerungszeit visualisiert .
Im in Fig. 3a oder 3b gezeigten Fall befindet sich der Kreis 40 direkt an der Grenze des Verzögerungsradius 38, die dargestellte Laufzeit hat ihren minimal möglichen Wert, welcher der Grundverzögerung des Wellenfeldsynthesesystems entspricht. Soll der Fall einer realen Schalllauf- zeit/Verzögerung nachgebildet werden, würde die Position des Kreises 40 direkt unterhalb der die Schallquelle 30 repräsentierenden Kugel befindlich sein, wobei selbstverständlich sämtliche Zwischenwerte zusätzlich dar- und einstellbar sind. Mittels der erfindungsgemäßen graphischen Benutzeroberfläche lassen sich also auch die wichtigen Delayzeitparameter intuitiv einstellen und verändern, was die gestalterische Freiheit weiter erhöht und darüber hinaus die Effizienz des Designvorganges bei der räumliche Tonwiedergabe steigert.
Die erfindungsgemäße graphische Benutzerschnittstelle hat zusätzlich den Vorteil einer äußerst großen Flexibilität, so dass weitere Parameter leicht hinzugefügt werden können, beispielsweise könnte die Fläche des Kreises 40 ein Ver- hältnis von Diffusschall zu Direktschall beschreiben, was von einem Zuhörer als weiteres Merkmal für die Entfernung einer Schallquelle zur Abhörposition aufgefasst wird, wobei das Ändern dieses Verhältnisses beispielsweise durch ein Verschieben des Kreises 40 bzw. das Ändern seiner Fläche implementiert werden könnte.
Entsprechend der Position einer virtuellen Schallquelle S gegenüber den einzelnen Lautsprecherpositionen Li.. n berechnet der Wellenfeldsynthesealgorithmus die Impulsantwort IRLL.LΠ für jeden beteiligten Lautsprecher (Amplitude, Verzögerung) . Betrachtet man zu einem Zeitpunkt t diese Impulsantworten nebeneinander aufgereiht, so ergeben die Peaks eine abgetastete Version der von der virtuellen Schallquelle ausgehenden Wellenfront. In einem weiteren graphischen Verarbeitungsschritt (siehe Fig. 3a) kann daraus die Wellenfront vereinfacht dargestellt und mit Interaktionselementen dargestellt werden. Interagiert der Nutzer nun mit diesen Elementen, so verändert sich die graphische Darstellung der Wellenfront. Diese Darstellungsänderung kann im nächsten Schritt auf die einzelnen Impulsantworten IRLL.LΠ aufgeprägt werden
Allgemein gesagt wird durch das graphische Benutzerinterface die Manipulation von Impulsantworten ermöglicht, die für jeden einzelnen Lautsprecher, der das Wiedergabevolumen 32 beschallt, vorzugsweise zu berechnen sind.
Bei dem in Fig. 3b gezeigten Ausführungsbeispiel wird durch das graphische Benutzerinterface die Manipulation von Impulsantworten ermöglicht, die für jeden einzelnen Lautsprecher, der das Wiedergabevolumen 32 beschallt, zu berechnen sind. Die Darstellung der Impulsantworten ergibt sich dabei direkt aus der Darstellung der graphischen Benutzerschnittstelle, wozu exemplarisch eine Verbindungslinie 42 zwischen der Tonquelle 30 und einem gedachten Lautsprecher am Rand des Wiedergabevolumens 32 dargestellt ist. Die zu berechnende Impulsantwort ist dabei unmittelbar durch die Form der Wellenfront an dem Ort gegeben, an dem die Verbindungslinie 42 die Wellenfront 34 schneidet. Die räumliche Position einer Tonquelle 30 wird, wie es in Fig. 3a oder 3b zu sehen ist, für jeden einzelnen Lautsprecher in eine Zeitverzögerung und eine Amplitude übersetzt. Die Amplitude ergibt sich dabei unmittelbar aus der Höhe der graphischen Repräsentierung der Wellenfront 34, wobei die Zeitverzögerung ebenfalls durch den Schnittpunkt der Gera- den 42 mit der Wellenfront 34 bestimmt ist, wobei für die Bestimmung der Zeitverzögerung die Länge der geschnittenen Teilstücke der Geraden 42 maßgeblich ist.
Alternativ zu den bereits beschriebenen Manipulationsfor- men, die in der graphischen Benutzerschnittstelle implementiert sind, ist eine Reihe weiterer alternativer Szenarien leicht implementierbar.
So wird z. B. die Wellenfrontdarstellung 34 in der Abbil- düng durch zwei Kugeln bzw. Anfasser 36a und 36b begrenzt. Die Manipulation der Wellenfront an diesen Punkten wirkt sich letztendlich auf die Delays bzw. die Zeitverzögerungen der an der Synthese beteiligten Lautsprecher des Wellen- feldsynthesesystems aus. Weitere Anfasser auf der darge- stellten Wellenfront 34 könnten beispielsweise zur Veränderung der Lautsprecheramplituden benutzt werden. Damit wird die einfache Justierung einer Fensterung zur Vermeidung von Randeffekten genauso möglich wie die Definition eines Punktes mit maximaler Amplitude. Dieser Punkt kann dann der Schallquelle, zumindest bezogen auf die Intensität, eine frequenzunabhängige Richtcharakteristik geben.
Für die Darstellung der Lautstärke einer Schallquelle kann beispielsweise die Größe der die Tonquelle beschreibenden Kugel 30 benutzt werden. Die oben erwähnte Manipulation des Direktschall/Diffusschall-Verhältnisses kann auch hier noch einmal angezeigt werden. Wenn die Lautstärke des Direktschalls der Größe der Kugel 30 entspricht, ist z. B. eine entfernte Schallquelle eher leiser und entspricht somit einer kleinen Kugel. Eine Verknüpfung mit der entfernungsabhängigen Berechnung der Lautstärke einer Schallquelle ist durch diese Darstellung somit einfachst realisierbar. Mit der erfindungsgemäßen graphischen Benutzerschnittstelle in Fig. 3a oder 3b gelingt es also, die mathematische Funktion, die die Impulsantwort verkörpert, intuitiv und allgemein verständlich so darzustellen, dass die Impulsant- wort zielgerichtet dahingehend manipuliert werden kann, dass ein gewünschter Richtungseindruck entsteht.
Während sich die Möglichkeiten der graphischen Benutzeroberfläche aus Fig. 3a oder 3b zur Positionierung einer Tonquelle, also zum Bestimmen eines Klangeindrucks, der den Ort der Tonquelle wiedergibt, bezogen haben, wird anhand der Fig. 4 - 8 erläutert werden, dass die erfindungsgemäße graphische Benutzerschnittstelle auch dazu geeignet ist, solche Impulsantworten zu visualisieren und deren Änderung zu ermöglichen, die einen Klangeindruck bewirken, der dem eines zu simulierenden Raums, wie beispielsweise einer Kathedrale, entspricht.
Um dies zu ermöglichen, gibt es zwei prinzipielle Möglich- keiten, die anhand der Fig. 4 und 5 im Folgenden erläutert werden sollen.
Fig. 4 zeigt dabei eine Möglichkeit, bei der zunächst in einem Positionierungsschritt 50 die Tonquellen im Raum angeordnet werden, wie es beispielsweise anhand von Fig. 3a oder 3b beschrieben wurde. Dabei werden den Lautsprechen für jede Tonquelle Impulsantworten zugeordnet.
Da sich die Tonquelle in definierter räumlicher Position bezüglich der Wiedergabeumgebung befindet, kann ein räumlicher Klangeindruck der Tonquelle direkt aufgeprägt werden, wenn sich diese in einer Raumrichtung bezüglich der Wiedergabeumgebung befindet, für die ein bestimmter räumlicher Klangeindruck zu simulieren ist.
In diesem Fall wird in einem Raumsimulationsschritt 52 für jede Tonquelle und Raumrichtung eine Impulsantwortfunktion erzeugt, die an ein Wiedergabesystem zusammen mit der Tonquelle in einem Transferschritt 54 übertragen werden muss, um bei der Wiedergabe den gewünschten räumlichen Klangeindruck zu erzielen.
Wie es Fig. 5 zeigt, ist es alternativ auch möglich, zunächst die Position der Tonquellen in einem Positionierungsschritt 60 festzulegen, in dem für Lautsprecher für jede Tonquelle Impulsantworten erzeugt werden, die die Position beschreiben. Der Raumeindruck, der in einer Hör- richtung entstehen soll, kann, da die im Wiedergabesystem verwendeten Lautsprecher ebenfalls festen Raumrichtungen zugeordnet sind, auch dadurch erzeugt werden, dass für jeden Lautsprecher in einem Raumsimulationsschritt 62 zusätzlich eine Impulsantwort erzeugt wird, die die Infor- mation über den in der Richtung des betreffenden Lautsprechers befindlichen Raum enthält.
In einem Transfer- bzw. Speicherschritt 64 muss an das Tonwiedergabesystem dann die Tonquelle und für jeden ein- zelnen Lautsprecher eine Positionsimpulsantwort und eine Raumimpulsantwort übertragen werden. Durch die Flexibilität der erfindungsgemäßen graphischen Benutzerschnittstelle kann die Zuordnung eines räumlichen Klangeindrucks also entweder zu jeder Tonquelle individuell erfolgen oder es können Gruppen von Tonquellen, die in einer ähnlichen Raumrichtung bezüglich der Wiedergabeumgebung angeordnet sind, zusammengefasst werden, um mehrere diskrete Raumrich¬ tungen darzustellen, wodurch bei der Wiedergabe die erforderliche Rechenkapazität verringert wird.
Eine Ausführungsform der erfindungsgemäßen graphischen Benutzerschnittstelle, die die Manipulation einer Impulsantwort in einer Impulsantwort-Zeitdarstellung zeigt, ist in Fig. 6 gezeigt.
Dazu werden die Raumrichtungen bezüglich einer Wiedergabeumgebung 70 in acht diskrete Sektoren 72a - 72h unterteilt. Für jeden der Sektoren 72a - 72h wird also ein gemeinsamer Raumeindruck mittels einer Impulsantwort-Zeitdarstellung erzielt. Zur Visualisierung werden dabei die Einhüllenden der zur Raumsimulation verwendeten acht Impulsantworten zu Flachen extruiert. Diese Flachen werden in Form eines Achtecks angeordnet und zu einer gemeinsamen Flache 74 verbunden. Dabei entspricht die Hohe der Flache über der durch die Sektoren 72a - 72i definierten Flache der Amplitude der Impulsantwort. Die Entfernung vom Mittelpunkt der Wiedergabeumgebung 70 stellt die Zeit dar, zeitlich am Ende der Impulsantwort auftretende Ereignisse sind daher weiter entfernt vom Mittelpunkt der Wiedergabeumgebung 70.
Mit dieser Darstellung können die Amplitudenverlaufe der Raumimpulsantworten über die Zeit entsprechend ihrer Raum- richtung dargestellt werden. Die Veränderung erfolgt interaktiv durch Bewegen von hier beispielhaft dargestellten Interaktionselementen 76a, b und c. Es wird also ermöglicht, mit einem Blick die gesamte raumliche Klangsituation zu erfassen und Abweichungen von dem gewünschten Verhalten zu erkennen und zu beseitigen.
Beispielsweise soll für einen realen Raum die Nachhallzeit aus allen Richtungen in der Regel nahezu gleich sein. In dem aufgezeigten Beispiel von Fig. 6 ist die Nachhallzeit in Richtung des Sektors 72h jedoch reduziert, was sich durch die Unsymmetrie der Gesamtflache 74 leicht erkennen lasst, so dass der Unterschied zum realen, gleichmaßig nachhallenden Raum sofort erkannt werden kann.
Fig. 7 beschreibt eine Darstellung von raumlichen Impulsantworten in einer Zeit-Frequenz-Darstellung. Dargestellt ist die Wiedergabeumgebung 80 und acht Zeit-Frequenz- Darstellungen von Impulsantworten 82a - 82h, die acht diskreten Raumrichtungen bezuglich der Wiedergabeumgebung 80 zugeordnet sind.
Allgemein ist es mit dem erfindungsgemäßen Ausfuhrungsbeispiel in Fig. 7 möglich, sowohl die Zeit- als auch die Frequenzkomponenten von Impulsantworten bezogen auf ihre Raumrichtungen zu visualisieren und manipulierbar zu machen. Die Zeitachse der Visualisierung läuft dabei ausgehend vom Mittelpunkt der Wiedergabeumgebung 80 nach außen, so dass weiter entfernte Punkte spätere Ereignisse beschreiben. Die acht Flächen 82a - 82h, die die Impulsantworten in Form eines Wasserfalldiagramms darstellen, können beispielsweise anhand von Interaktionselementen 86a - 86c verändert werden. Die beispielhaft dargestellten Interakti- onselemente 86a - 86c erlauben die Manipulation des Ampli- tudenfrequenzgangs zu einer bestimmten Zeit, im hier dargestellten Beispiel also am Anfang der Impulsantwort. In dem hier dargestellten Fall sind tiefe Frequenzen weiter links und hohe Frequenzen weiter rechts angeordnet, so dass sofort zu erkennen ist, dass in der raumlichen Simulation die tiefen Frequenzen mit höherer Amplitude beginnen und länger ausklingen als die hohen Frequenzen. Dieser komplexe Zusammenhang, der beispielsweise durch Beschreibung der Flächen 82a - 82h in Form einer Matrix gespeichert werden kann, ist hier intuitiv zu erfassen und zu verändern.
Die Art der Darstellung erlaubt es weiterhin, zusätzliche Effekte anzubringen bzw. deren Wirkung zu erkennen, beispielsweise würden in dieser Darstellung starke Reflexionen aus bestimmten Raumrichtungen als Erhebungen auf den Flächen der entsprechenden Raumimpulsantwort sichtbar werden.
Es ist also durch die gleichzeitige Ansicht der Zeit- und Frequenzkomponente ersichtlich, welche Frequenzanteile reflektiert werden. Mit einer Verschiebung der Interaktionselemente 86a - 86c an eine entsprechende Stelle in der Impulsantwort kann diese Reflexion sowohl zeitlich als auch frequenzbezogen bearbeitet werden, so dass die große Anzahl von der Visualisierung zugrundeliegenden Parameter günstig und effizient abgetastet und gespeichert werden können.
Fig. 8 zeigt ein weiteres Beispiel einer erfindungsgemäßen graphischen Benutzerschnittstelle, bei dem die Impulsant- worten der einzelnen Raumrichtungen aus diskreten Peaks bestehen. Dargestellt sind eine Wiedergabeumgebung 90, acht diskrete Raumrichtungen 92a - 92i und fünf exemplarische, deltaformige Impulsantworten 94a - 94e.
Da peak- oder deltaformige Impulsantworten Zeitverzogerun- gen eines Tonsignals entsprechen, können somit nchtungsab- hangige Multi-Tap-Delays realisiert werden. Dabei repräsentieren die Wellenfronten 94a - 94e Echos aus den ihnen zugeordneten Raumrichtungen. Ihr Abstand zum Mittelpunkt des Wiedergabevolumens gibt den Zeitpunkt der Wiederholung des Ursprungssignals an. Erfindungsgemaß kann beispielsweise mittels eines Interaktionselementes 96 in Form einer Kugel die Position der Wiederholungen durch radiale Bewe- gungen der Impulsantworten von oder zum Mittelpunkt des Systems beeinflusst werden. Dabei kann gleichzeitig die Amplitude der Wiederholungen durch die Hohe der Wellenfronten in der vertikalen Richtung beeinflusst werden.
Der Vorteil der hohen Intuitivitat der erfindungsgemaßen graphischen Benutzerschnittstelle wird hier besonders deutlich, da die Position der deltaformigen Peaks die Verzogerungszeit eines Echos beschreibt, was akustisch gleichbedeutend ist mit einer reflektierenden Wand mit vorgegebener Dampfung, die sich an der Position der Impulsantworten befindet.
In einer erweiterten Variante der erfindungsgemaßen graphischen Benutzerschnittstelle ist hier auch eine Zeit- Frequenz-Darstellung realisierbar, um jedem Echo zusätzlich einen individuellen Frequenzgang einzuprägen.
Fig. 9 beschreibt ein System zum Visualisieren und Bearbeiten von räumlichen Toneffekten 100, das sich aus einem Signalverarbeitungsteil 102 und einem Visualisierungs- und Interaktionsteil 104 zusammensetzt. Erfindungsgemaß besteht die Signalverarbeitung darin, dass eingehende Audiosignale 106 mittels einer mathematischen Faltung 108 mit denen mittels des Visualisierungs- und Interaktionsteils 104 bestimmten Impulsantworten gefaltet werden, um daraus Audiosignale 110 zu erzeugen, die den Klangeindruck eines zu simulierenden Raumes tragen. Der Visualisierungs- und Interaktionsteil 104 weist eine Anzeigeeinrichtung zum Anzeigen von berechneten Impulsantworten 112, eine Einrichtung zum Empfangen einer Benutzerande- rungsemgabe 114, eine Einrichtung zum Ermöglichen einer Änderung der graphischen Anzeige 116 sowie eine Einrichtung zum Erfassen der geänderten Impulsantwort 118 auf. Die Einrichtung zum Empfangen einer Benutzeränderungseingabe 114 umfasst ein Interaktionsgerat 120 sowie eine Einrich- tung zum Umsetzen der Interaktion 122. Die Einrichtung zum Ermöglichen einer Änderung der graphischen Anzeige der Impulsantwort 116 umfasst eine Ausgabeeinrichtung 124 zum Darstellen der ursprunglichen Impulsantwort sowie eine Bildberechnungseinheit 126 zum Visualisieren der ursprung- liehen Impulsantwort.
Von der Einrichtung zum Empfangen einer Benutzeränderungseingabe und der Einrichtung zum Ermöglichen einer Änderung der graphischen Anzeige der Impulsantwort 116 wird ein visuelles Modell 112 erzeugt, das auf Parametern basiert, die die Impulsantworten beschreiben und somit die Information über den zu simulierenden Raum beinhalten. Wenn durch mehrmalige Interaktion und Visualisierung ein geeignetes visuelles Modell erstellt wurde, wird von der Einrichtung zum Erfassen der geänderten Impulsantwort 118 die Parameter, die der Visualisierung zugrunde liegen, extrahiert und als Impulsantworten an die Signalverarbeitung 102 übermittelt.
Bei einem bevorzugten Ausfuhrungsbeispiel der vorliegenden Erfindung umfasst die Signalverarbeitung die Faltung von N Eingangssignalen mit n Impulsantworten zu n Ausgangssignalen. N kann dabei von z. B. acht Signalen bei der Generie- rung von Halleffekten für die Wellenfeldsynthesewiedergabe bis hm zu einer sehr großen Zahl bei der Generierung eines ganzen Wellenfeldes schwanken. Werden mehrere Effekte oder Quellen gleichzeitig erzeugt, so müssen die Ausgangssignale für jeden Effekt oder jede Quelle am Ende aufsummiert werden .
Die für die Signalverarbeitung benotigten Impulsantworten werden also mit Hilfe des Visualisierungs- und Interakti- onsteils des Systems generiert. Aus einer Impulsantwort können klangrelevante Parameter generiert werden. Dabei ist zu unterscheiden, ob es sich um Raumsignale oder Direktsignale handelt.
Bei Raumsignalen können unterschiedliche Methoden nach angewendet werden. Die gewonnenen Werte lassen sich dann wie im Abschnitt zur Visualisierung beschrieben grafisch darstellen. Mit Hilfe der Graphiken und den eingebauten Interaktionselementen können die Parameter verändert und zu einer neuen Impulsantwort verarbeitet werden.
Im Falle der Positionierung von Direktschall können aus dem Interface ebenfalls Parameter gewonnen werden. Allerdings können diese erst durch die Anwendung des Wellenfeldsynthe- se-Algorithmus in Impulsantworten für die Lautsprecherkana- Ie umgewandelt werden. Die Parameter sind damit auf einer abstrakteren Ebene. Doch der Aufbau des Blockschaltbildes in Fig. 9 ändert sich dadurch nicht.
Mit Hilfe dieses Systems können also alle raumlichen Toneffekte von Raumsimulation bis hin zu Multi-Tap-Delays visua- lisiert und editiert werden. Dieses Konzept kann in allen herkömmlichen Mehrkanalsystemen bis hin zur Wellenfeldsyn- these eingesetzt werden. Es bietet einen universellen Losungsweg für räumliche Klangeffekte und deren intuitive Nutzbarmachung für den Benutzer. Wie es durch die beschriebenen Ausführungsbeispiele verdeutlicht wird, besteht ein wesentlicher Vorteil der erfindungsgemäßen graphischen Benutzerschnittstelle darin, dass komplexe mathematische Parameter intuitiv zugänglich ge- macht werden. Dadurch wird das Erzeugen bzw. Einstellen dieser Parameter ermöglicht, wobei insbesondere das gesamte Klanggeschehen jederzeit im Auge behalten werden kann. Besonders vorteilhaft ist dabei, dass bei den beschriebenen Ausführungsbeispielen, die auf 3D-Visualisierungen basie- ren, die Richtung, in der die Wiedergabeumgebung betrachtet wird, variiert werden kann, so dass ein entstehender Klangeindruck dadurch noch besser vorhergesagt werden kann, dass dieser aus verschiedenen Raumrichtungen beurteilt wird.
Obwohl in der Darstellung in Fig. 1 die graphische Benutzerschnittstelle einzelne diskrete Funktionsblöcke aufweist, ist eine derartige Aufteilung nur als beispielhaft zu verstehen, es sind prinzipiell beliebige Kombinationen und Zusammenfassungen der einzelnen Funktionsblöcke mög- lieh. So kann z. B. in naheliegender Weise die Anzeigeeinrichtung 12 mit der Einrichtung zum Ermöglichen einer Änderung 14 der graphischen Anzeige kombiniert werden, wie es in den dargestellten Ausführungsbeispielen teilweise der Fall ist, wo die Änderungsmöglichkeit als Teil der Anzeige bereits implementiert ist, beispielsweise in Form der Anfasser 36a und 36b in Fig. 3a oder 3b.
Bei der Einrichtung zum Empfangen einer Benutzeränderungseingabe sind prinzipiell auch andere Verfahren als die in den Ausführungsbeispielen gezeigten denkbar. Die Benutzereingabe kann mittels einer Maus, eines Touchscreens oder jedweden anderen Möglichkeit der Bewegung eines Cursors auf einem Bildschirm erfolgen. Auch die direkte Eingabe von diskreten Änderungsschritten mittels einer Tastatur ist darstellbar, beispielsweise bei einer diskretisierten Darstellung einer Impulsantwort, wo in definierten Zeitbereichen der Wert der Impulsantwort in diskreten Schritten eingestellt werden kann, was beispielsweise mittels einer herkömmlichen Tastatur leicht möglich ist .
Die Darstellung der Wellenfronten bzw. Impulsantworten und die Möglichkeit zur Manipulation derselben sind nur als Beispiele zu verstehen, es ist jedwede andere geeignete Darstellung von Impulsantwortfunktionen ebenfalls möglich, um erfindungsgemaß das Einstellen bzw. das Erzeugen eines Raumeindrucks zu ermöglichen. Beispielsweise wäre es denk- bar, bei der Betrachtung verschiedener Raumrichtungen eine gemeinsame Impulsantwortfunktion darzustellen, die gewissermaßen den raumlichen Grundcharakter vorgibt, die also für alle Raumrichtungen dieselbe ist. Einen nchtungsabhan- gigen Raumklangcharakter konnte man vorteilhafterweise dadurch darstellen, dass für jede Raumrichtung lediglich die Differenz zur gemeinsamen Impulsantwortfunktion dargestellt wird, so dass man leicht einen Eindruck davon erhalt, wie sich die betrachtete Raumrichtung in ihren räumlichen Eigenschaften von dem Gesamtklangbild (mittleres Klangbild) unterscheidet.
Eine Reihenfolge der Bearbeitung der Impulsantwortfunktionen, die die Position einer Tonquelle bzw. den Raumeindruck beschreiben, ist nicht fest vorgegeben. Es ist sowohl möglich, zuerst alle Tonquellen im Raum zu positionieren und danach einen Raumeindruck zu erzeugen, als auch zuerst den zu simulierenden Raum zu definieren, um darauffolgend die Tonquellen innerhalb des Raums zu positionieren.
Demzufolge unterscheiden sich die Bearbeitungsschritte für ein System zur Ansteuerung eines Tonwiedergabesystems, das eine erfindungsgemaße graphische Benutzerschnittstelle sowie einen Signalgenerator zum Liefern von Lautsprechersignalen aufweist. Zum einen ist es möglich, jeder Tonquel- Ie, die in einer definierten Raumrichtung befindlich ist, eine Rauminformation durch Falten mit einer räumlichen Impulsantwortfunktion einzuprägen, um dann in einem weiteren Schritt lautsprecherindividuell eine Faltung mit Im- pulsantworten vorzunehmen, welche die Position der Tonquellen relativ zum Wiedergabevolumen beschreiben.
Alternativ ist es möglich, zunächst die Tonquelle lautspre- cherindividuell zu bearbeiten, d. h. individuelle Lautsprechersignale durch Faltung des Tonsignals mit den die Position der Tonquelle beschreibenden Impulsantworten zu erzeugen, um danach Lautsprecher individuell eine weitere Faltung durchzuführen, die den Raumeindruck erzeugt, wobei die Lautsprecher, die in fester geometrischer Richtung zur Wiedergabeumgebung angeordnet sind, mit einer räumlichen Impulsantwort gefaltet werden, die dem zu simulierenden Raumeindruck in der Richtung der Lautsprecher entsprechen.
Die Form der graphischen Elemente, die in den Ausführungsbeispielen zur Visualisierung der einzelnen wesentlichen Komponenten, wie der Position der Tonquelle oder der Form einer Impulsantwort, dargestellt sind, sind als bevorzugte Ausführungsbeispiele zu verstehen, jedoch ist die erfin- dungsgemäße Funktionsweise ebenso sichergestellt, wenn sich die Art der geometrischen Darstellung bezüglich der Form unterscheidet, je nach Anwendungszweck könnte eine unterschiedliche Form sogar funktionalen Charakter haben, d. h. verschiedene Eigenschaften beispielsweise einer Tonquelle beschreiben.
Die Signalbearbeitung, die lautsprecherindividuell durch Faltung eines Tonsignals mit einer Impulsantwortfunktion dargestellt ist, kann sowohl kontinuierlich als auch dis- kret implementiert sein, wobei auch alternative mathematische Methoden, den Raumeindruck, den eine Impulsantwort beschreibt, einem Tonsignal aufzuprägen, möglich sind.
In den Ausführungsbeispielen, die im Vorhergehenden gezeigt sind, ist zur Erzeugung eines Raumeindrucks der die Wiedergabeumgebung umschließende Raum in acht diskrete Raumrichtungen unterteilt, wobei für jede Raumrichtung individuell ein räumlicher Klangcharakter festgelegt werden kann. Dies ist nur als Beispiel zu verstehen, es sind selbstverständlich beliebige andere Anzahlen von Raumrichtungen möglich, prinzipiell ist die Zahl der Richtungen nach oben nicht begrenzt, so dass es erfindungsgemaß leicht möglich ist, den gesamten Klangeindruck noch weiter zu verbessern.
Abhangig von den Gegebenheiten kann das erfindungsgemaße Verfahren zum Verwenden einer graphischen Benutzerschnittstelle zum Benutzen eines Tonwiedergabesystems in Hardware oder in Software implementiert werden. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das erfindungsgemaße Verfahren zum Überprüfen des Erfolges eines Entkernvorganges ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Trager gespeicherten Programmcode zur Durchfuhrung des erfindungsgemaßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner ablauft. In anderen Worten ausgedruckt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchfuhrung des Verfahrens realisiert werden, wenn das Computer- Programm auf einem Computer ablauft.

Claims

Patentansprüche
1. Graphische Benutzerschnittstelle (10) für ein Tonwiedergabesystem, das ausgebildet ist, um in einer Wie- dergabeumgebung (32; 70; 80; 90) einen räumlichen Toneindruck zu erzeugen, mit folgenden Merkmalen:
einer Anzeigeeinrichtung (12) zum graphischen Anzeigen einer Impulsantwort (34; 74; 82a - 82h; 94a - 94e), die einer Raumrichtung der Wiedergabeumgebung (32; 70; 80; 90) zugeordnet ist;
einer Einrichtung zum Ermöglichen einer Änderung (14) der graphischen Anzeige der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) durch den Benutzer;
einer Einrichtung zum Empfangen (16) einer Benutzeränderungseingabe, um durch die Anzeigeeinrichtung (12) eine geänderte Impulsantwort graphisch darzustellen; und
einer Einrichtung zum Erfassen der geänderten Impulsantwort' (18) .
2. Graphische Benutzerschnittstelle nach Anspruch 1, bei der die Anzeigeeinrichtung (12) ausgebildet ist, um die Impulsantwort (74; 82a - 82h; 94a - 94e) als zeitlichen Verlauf einer Intensitätsgröße darzustellen.
3. Graphische Benutzerschnittstelle nach Anspruch 2, bei der die Anzeigeeinrichtung (12) ausgebildet ist, um den zeitlichen Verlauf der Impulsantwort (74; 82a - 82h; 94a - 94e) so darzustellen, dass dieser in diskrete Zeitabschnitte unterteilt ist, wobei jedem Zeit- abschnitt eine Intensitätsgröße zugeordnet ist.
4. Graphische Benutzerschnittstelle nach einem der vorhergehenden Ansprüche, bei der die Anzeigeeinrichtung (12) ausgebildet ist, um die Impulsantwort (82a - 82h) graphisch als Funktion der Frequenz darzustellen.
5. Graphische Benutzerschnittstelle nach Anspruch 4, bei der die Anzeigeeinrichtung (12) ausgebildet ist, um den Frequenzverlauf der Impulsantwort (74; 82a - 82h; 94a - 94e) so darzustellen, dass dieser in diskrete Frequenzabschnitte unterteilt ist, wobei jedem Frequenzabschnitt eine Intensitätsgröße zugeordnet ist.
6. Graphische Benutzerschnittstelle nach einem der vorhergehenden Ansprüche, bei der die Anzeigeeinrichtung (12) ausgebildet ist, um die Impulsantwort (82a - 82h) graphisch als Funktion der Zeit und als Funktion der Frequenz in einer dreidimensionalen Repräsentation darzustellen, wobei die Funktionswerte als Höhe über einer zweidimensionalen Fläche dargestellt sind, von der eine erste Seite als Maßstab die Zeit aufweist und von der eine an die erste Seite anschließende zweite Seite als Maßstab die Frequenz aufweist.
7. Graphische Benutzerschnittstelle nach einem der vorhergehenden Ansprüche, bei der die Anzeigeeinrichtung (12) ausgebildet ist, um zusätzlich eine graphische Repräsentation der Wiedergabeumgebung (32; 70; 80; 90) in einer dreidimensionalen Repräsentation anzuzeigen, wobei die Impulsantworten (34; 74; 82a - 82h; 94a - 94e) bezüglich der Wiedergabeumgebung (32; 70; 80; 90) in den Raumrichtungen dargestellt sind, der die Im- pulsantworten (34; 74; 82a - 82h; 94a - 94e) zugeordnet sind.
8. Graphische Benutzerschnittstelle nach einem der vorhergehenden Ansprüche, bei der die Einrichtung zum Er- möglichen einer Änderung (14) der graphischen Anzeige der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) aus¬ gebildet ist, um eine Änderung der graphischen Dar¬ stellung der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) an jedem beliebigen Punkt der graphischen Darstellung der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) zu ermöglichen.
9. Graphische Benutzerschnittstelle nach einem der Ansprüche 1 bis 7, bei der die Einrichtung zum Ermöglichen einer Änderung (14) der graphischen Anzeige der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) ausgebildet ist, um eine Änderung der graphischen Anzeige der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) an vorbe- stimmten Punkten zu ermöglichen.
10. Graphische Benutzerschnittstelle nach einem der Ansprüche 1 bis 8, bei der die Einrichtung zum Ermögli- chen einer Änderung (14) der graphischen Anzeige der Impulsantwort (94a - 94e) ausgebildet ist, um als Änderung der graphischen Darstellung der Impulsantwort (94a - 94e) ein Verschieben der Impulsantwort (94a - 94e) in der Zeit zu ermöglichen.
11. Graphische Benutzerschnittstelle nach einem der vorhergehenden Ansprüche, bei der die Einrichtung zum Empfangen einer Benutzeränderungseingabe (16) ausgebildet ist, um Signale einer Computermaus, eines Touchpads, eines Touchscreens, eines Trackballs oder einer Tastatur zu empfangen.
12. Graphische Benutzerschnittstelle nach einem der vorhergehenden Ansprüche, bei der die Einrichtung zum Er- fassen (18) der geänderten Impulsantwort ausgebildet ist, um zur Erfassung die geänderte, graphisch dargestellte Impulsantwort abzutasten und die abgetasteten Werte in einem Speicher zu speichern.
13. Graphische Benutzerschnittstelle nach einem der vorhergehenden Ansprüche, bei der die Anzeigeeinrichtung (12) ausgebildet ist, eine Impulsantwort (74; 82a - 82h; 94a - 94e) graphisch anzuzeigen, welche eine Information über einen zu simulierenden Raum enthält.
14. Graphische Benutzerschnittstelle nach einem der vor- hergehenden Ansprüche, bei der die Anzeigeeinrichtung
(12) ausgebildet ist, eine Impulsantwort (34) graphisch anzuzeigen, welche eine Information über die Position einer Tonquelle (30) bezüglich der Wiedergabeumgebung (32) beinhaltet.
15. Ansteuereinrichtung für ein Tonwiedergabesystem, das ausgebildet ist, um in einer Wiedergabeumgebung einen räumlichen Toneindruck zu erzeugen, mit folgenden Merkmalen :
einer Anzeigeeinrichtung (112) zum graphischen Anzei¬ gen einer Impulsantwort, die einer Raumrichtung der Wiedergabeumgebung zugeordnet ist;
einer Einrichtung zum Ermöglichen einer Änderung der graphischen Anzeige (116) der Impulsantwort durch den Benutzer;
einer Einrichtung zum Empfangen einer Benutzerände- rungseingabe (114), um durch die Anzeigeeinrichtung (112) eine geänderte Impulsantwort graphisch darzustellen;
einer Einrichtung zum Erfassen der geänderten Impuls- antwort (118); und
einem Signalgenerator (102) zum Liefern von Lautsprechersignalen (110) für Lautsprecher einer Mehrzahl von an unterschiedlichen räumlichen Positionen anbringba- ren Lautsprechern.
16. Ansteuereinrichtung nach Anspruch 15, bei der der Signalgenerator (102) eine Kombinationseinrichtung (108) zum Kombinieren wenigstens eines Tonsignals (106) mit der geänderten Impulsantwort aufweist, wobei das Tonsignal (106) für einen Lautsprecher vorgesehen ist, der an einer räumlichen Position angeordnet ist, die mit der Raumrichtung korrespondiert, der die Impulsantwort zugeordnet ist, um ein Lautsprechersignal zu (110) zu erhalten, wobei die Kombinationseinrichtung (108) ausgebildet ist, um so zu kombinieren, dass das Lautsprechersignal (110) die Information über den zu simulierenden Raum enthält.
17. Ansteuereinrichtung nach Anspruch 15, bei der der Signalgenerator (102) eine Kombinationseinrichtung (108) zum Kombinieren wenigstens eines Tonsignals (106) mit der geänderten Impulsantwort aufweist, um ein Lautsprechersignal (110) zu erhalten, wobei die Kombinationseinrichtung (108) ausgebildet ist, so zu kombinieren, dass das Lautsprechersignal (110) die Information über die relative Position einer dem Tonsig- nal (106) zugeordneten Tonquelle enthält.
18. Ansteuereinrichtung nach einem der Ansprüche 16 oder 17, bei der die Kombinationseinrichtung (108) ausgebildet ist, um beim Kombinieren das Tonsignal (106) mit der geänderten Impulsantwort zu falten.
19. Verfahren zum Verwenden einer graphischen Benutzerschnittstelle zum Benutzen eines Tonwiedergabesystems, das ausgebildet ist, um in einer Wiedergabeumgebung (32; 70; 80; 90) einen räumlichen Toneindruck zu erzeugen, mit folgenden Schritten:
graphisches Anzeigen einer Impulsantwort (34; 74; 82a - 82h; 94a - 94e) , die einer Raumrichtung der Wieder- gabeumgebung (32; 70; 80; 90) zugeordnet ist; Ermöglichen einer Änderung der graphischen Anzeige der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) durch den Benutzer;
Empfangen einer Benutzeränderungseingabe, um eine geänderte Impulsantwort graphisch darzustellen; und
Erfassen der geänderten Impulsantwort.
20. Verfahren zum Ansteuern eines Tonwiedergabesystems, das ausgebildet ist, um in einer Wiedergabeumgebung (32; 70; 80; 90) einen räumlichen Toneindruck zu erzeugen, mit folgenden Schritten:
graphisches Anzeigen einer Impulsantwort (34; 74; 82a - 82h; 94a - 94e) , die einer Raumrichtung der Wiedergabeumgebung (32; 70; 80; 90) zugeordnet ist;
Ermöglichen einer Änderung der graphischen Anzeige der Impulsantwort (34; 74; 82a - 82h; 94a - 94e) durch den Benutzer;
Empfangen einer Benutzeränderungseingabe, um eine geänderte Impulsantwort graphisch darzustellen;
Erfassen der geänderten Impulsantwort; und
Liefern von Lautsprechersignalen für Lautsprecher eine Mehrzahl von an unterschiedlichen räumlichen Positio- nen anbringbarer Lautsprechern basierend auf der geänderten Impulsantwort.
21. Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß Patentanspruch 19, wenn das Com- puterprogramm auf einem Rechner abläuft.
2. Computerprogramm mit einem Programmcode zum Ausführen des Verfahrens gemäß Patentanspruch 20, wenn das Computerprogramm auf einem Rechner abläuft.
EP06742644A 2005-05-04 2006-04-21 Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle Expired - Lifetime EP1878308B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102005021378 2005-05-04
DE102005043641A DE102005043641A1 (de) 2005-05-04 2005-09-13 Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
PCT/EP2006/003709 WO2006117089A2 (de) 2005-05-04 2006-04-21 Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle

Publications (2)

Publication Number Publication Date
EP1878308A2 true EP1878308A2 (de) 2008-01-16
EP1878308B1 EP1878308B1 (de) 2009-08-19

Family

ID=37111576

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06742644A Expired - Lifetime EP1878308B1 (de) 2005-05-04 2006-04-21 Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle

Country Status (7)

Country Link
US (1) US8325933B2 (de)
EP (1) EP1878308B1 (de)
JP (1) JP4651710B2 (de)
CN (1) CN101171882B (de)
AT (1) ATE440459T1 (de)
DE (2) DE102005043641A1 (de)
WO (1) WO2006117089A2 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799819B2 (en) * 2007-03-01 2014-08-05 Apple Inc. Graphical user interface for multi-tap delay
CA2729744C (en) * 2008-06-30 2017-01-03 Constellation Productions, Inc. Methods and systems for improved acoustic environment characterization
JP5580585B2 (ja) * 2009-12-25 2014-08-27 日本電信電話株式会社 信号分析装置、信号分析方法及び信号分析プログラム
WO2011114310A2 (en) * 2010-03-18 2011-09-22 Versonic Pte. Ltd. Digital sound mixing system with graphical controls
WO2012140525A1 (en) 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
DE102011119642A1 (de) 2011-11-28 2013-05-29 Shure Europe GmbH Vorrichtung und Verfahren zur Raumklangsimulation
US10448161B2 (en) 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
US9286898B2 (en) * 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
EP3146730B1 (de) * 2014-05-21 2019-10-16 Dolby International AB Konfigurierung der wiedergabe von audio über ein heimaudiowiedergabesystem
USD784360S1 (en) 2014-05-21 2017-04-18 Dolby International Ab Display screen or portion thereof with a graphical user interface
US9706330B2 (en) * 2014-09-11 2017-07-11 Genelec Oy Loudspeaker control
USD828845S1 (en) 2015-01-05 2018-09-18 Dolby International Ab Display screen or portion thereof with transitional graphical user interface
EP3453190A4 (de) 2016-05-06 2020-01-15 DTS, Inc. Systeme zur immersiven audiowiedergabe
CN105979469B (zh) * 2016-06-29 2020-01-31 维沃移动通信有限公司 一种录音处理方法及终端
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
CN109933297B (zh) * 2017-12-15 2023-09-19 阿尔派株式会社 电子装置及其信号源的控制方法
CN115862665B (zh) * 2023-02-27 2023-06-16 广州市迪声音响有限公司 一种回声混响效果参数的可视化曲线界面系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2738099B1 (fr) * 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
JPH10257583A (ja) * 1997-03-06 1998-09-25 Asahi Chem Ind Co Ltd 音声処理装置およびその音声処理方法
JP2000356994A (ja) * 1999-06-15 2000-12-26 Yamaha Corp オーディオシステム、その制御方法および記録媒体
EP1158486A1 (de) 2000-05-18 2001-11-28 TC Electronic A/S Verfahren zur Signalsverarbeitung
GB2357409A (en) * 1999-12-13 2001-06-20 Sony Uk Ltd Audio signal processing
GB2367409B (en) 2000-07-13 2003-12-03 Fire & Rescue Equipment Ltd As Shutter latch sensing switch
US20030007648A1 (en) 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
JP4077279B2 (ja) * 2002-08-30 2008-04-16 アルパイン株式会社 残響レベル制御装置
DE10254404B4 (de) * 2002-11-21 2004-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
JP4464064B2 (ja) * 2003-04-02 2010-05-19 ヤマハ株式会社 残響付与装置および残響付与プログラム
JP2005080124A (ja) * 2003-09-02 2005-03-24 Japan Science & Technology Agency リアルタイム音響再現システム
WO2005036523A1 (en) 2003-10-09 2005-04-21 Teac America, Inc. Method, apparatus, and system for synthesizing an audio performance using convolution at multiple sample rates
JP3931872B2 (ja) * 2003-10-09 2007-06-20 ヤマハ株式会社 パラメータ編集装置およびパラメータ編集方法を実現するためのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006117089A3 *

Also Published As

Publication number Publication date
CN101171882A (zh) 2008-04-30
US8325933B2 (en) 2012-12-04
DE102005043641A1 (de) 2006-11-09
WO2006117089A3 (de) 2007-05-10
DE502006004596D1 (de) 2009-10-01
WO2006117089A2 (de) 2006-11-09
JP4651710B2 (ja) 2011-03-16
JP2008541520A (ja) 2008-11-20
ATE440459T1 (de) 2009-09-15
US20080101616A1 (en) 2008-05-01
CN101171882B (zh) 2010-10-06
EP1878308B1 (de) 2009-08-19

Similar Documents

Publication Publication Date Title
EP1878308B1 (de) Vorrichtung und verfahren zur generierung und bearbeitung von toneffekten in räumlichen tonwiedergabesystemen mittels einer graphischen benutzerschnittstelle
EP1652405B1 (de) Vorrichtung und verfahren zum erzeugen, speichern oder bearbeiten einer audiodarstellung einer audioszene
EP3005737B1 (de) Mischpult, verfahren und computerprogramm zum bereitstellen eines tonsignals
EP1671516B1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
DE3413181C3 (de)
EP1972181B1 (de) Vorrichtung und verfahren zur simulation von wfs-systemen und kompensation von klangbeeinflussenden wfs-eigenschaften
EP1844627B1 (de) Vorrichtung und verfahren zum simulieren eines wellenfeldsynthese-systemes
WO2004103024A1 (de) Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem
EP2754151B1 (de) Vorrichtung, verfahren und elektroakustisches system zur nachhallzeitverlängerung
EP3105753B1 (de) Verfahren zur synthetischen erzeugung eines digitalen audiosignals
EP2503799B1 (de) Verfahren und System zur Berechnung synthetischer Außenohrübertragungsfunktionen durch virtuelle lokale Schallfeldsynthese
EP2485504B1 (de) Erzeugung von stillen Gebieten innerhalb der Zuhörerzone vielkanaliger Wiedergabesysteme
DE60130654T2 (de) Verfahren zur verarbeitung eines signals
DE112023001131T5 (de) Klangerzeugungsvorrichtung, klangerzeugungsverfahren und klangerzeugungsprogramm
DE19745392A1 (de) Tonwiedergabevorrichtung und Verfahren zur Tonwiedergabe
DE102022129642A1 (de) Verfahren zur richtungsabhängigen Korrektur des Frequenzganges von Schallwellenfronten
EP2571290B1 (de) Lokale Schallfeldsynthese durch einen virtuellen Streukörper
DE4007841A1 (de) Tonsignalaufbereitungsverfahren

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20071010

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

REF Corresponds to:

Ref document number: 502006004596

Country of ref document: DE

Date of ref document: 20091001

Kind code of ref document: P

LTIE Lt: invalidation of european patent or patent extension

Effective date: 20090819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091219

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091130

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091119

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091221

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20100520

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20091120

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20100220

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20090819

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 440459

Country of ref document: AT

Kind code of ref document: T

Effective date: 20110421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110421

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 11

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 12

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20200423

Year of fee payment: 15

Ref country code: CH

Payment date: 20200423

Year of fee payment: 15

Ref country code: FR

Payment date: 20200421

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20200423

Year of fee payment: 15

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502006004596

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20210421

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210430

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210430

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211103

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210430

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20210421