WO2023120902A1 - 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치 - Google Patents

사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치 Download PDF

Info

Publication number
WO2023120902A1
WO2023120902A1 PCT/KR2022/015087 KR2022015087W WO2023120902A1 WO 2023120902 A1 WO2023120902 A1 WO 2023120902A1 KR 2022015087 W KR2022015087 W KR 2022015087W WO 2023120902 A1 WO2023120902 A1 WO 2023120902A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
point
sound
diffraction
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/015087
Other languages
English (en)
French (fr)
Inventor
박우찬
김은재
김지영
최인화
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academy Cooperation Foundation of Sejong University
Original Assignee
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academy Cooperation Foundation of Sejong University filed Critical Industry Academy Cooperation Foundation of Sejong University
Priority to US18/022,874 priority Critical patent/US12309571B2/en
Publication of WO2023120902A1 publication Critical patent/WO2023120902A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • the present invention relates to a 3D sound processing technology, and more particularly, to an edge detection method for diffraction of sound tracing capable of real-time processing of sound rendering for a dynamic scene by calculating diffractable edge candidates during runtime in a sound tracing process. and devices.
  • HRTF Head Related Transfer Function
  • Existing 3D sound technology can use a pre-calculated sound control filter or reproduce an auditory sense of space in a simple virtual space such as a cuboid-shaped shoebox. Since the physical effects of the surrounding environment in the virtual space and the material of complex objects are not reflected, these technologies may have limitations in reproducing realistic sound.
  • Sound tracing is a type of sound rendering technique and may correspond to a technique of generating sound by tracing sound propagation paths between a listener and a sound source.
  • Sound tracing may generate various sound propagation paths such as direct, reflection, and edge-diffraction paths to reproduce realistic sound.
  • diffraction is an effect in which sound is transmitted to a shaded area and may be essential to create a realistic sound source.
  • edge-diffraction involves an edge-detection algorithm for finding an edge, real-time processing may be very difficult. Therefore, in the case of existing methods, edge detection is performed in a pre-processing step, and thus it may be very difficult to apply to processing of a dynamic scene.
  • An embodiment of the present invention is to provide an edge detection method and apparatus for sound tracing diffraction capable of processing sound rendering for a dynamic scene in real time by calculating diffractive edge candidates during runtime in the sound tracing process.
  • an edge detection method for diffraction of sound tracing includes a triangle-detection step of detecting collision triangles colliding with a ray departing from a sound source; And calculating at least an edge-point based on the collision triangles and performing an intersection-test on a test ray departing toward the at least edge-point based on the sound source or listener to obtain the edge-point It includes; an edge-detection step of determining whether diffraction occurs in .
  • the triangle detection step may include generating the ray by defining an origin and a direction; Searching for an acceleration structure (AS) in a three-dimensional space in which the sound source is located; and determining the collision triangles by performing an intersection test between the ray and triangles while searching for triangles of the acceleration structure.
  • AS acceleration structure
  • the edge detection step includes determining an edge between a colliding triangle and an adjacent triangle; determining a point closest to a straight line between the sound source and the listener among points on the edge as the edge point; and generating at least one sub-edge point by moving from the edge point by a predetermined value in a specific direction.
  • the edge detecting step may include expressing the edge and the straight line with first and second vector equations, respectively; defining a first vector connecting starting points of the edge and the straight line and a second vector connecting closest points between the edge and the straight line; expressing the edge point as a vector equation by defining the magnitude of vector u of the first vector equation as an unknown; and calculating the edge point by calculating the unknown through a dot product between each of the edge and the straight line and the second vector.
  • the edge detection step may include generating two different sub-edge points by moving the edge point by the predetermined value in a positive direction and a negative direction according to the specific direction based on the edge point.
  • the edge detection step may include determining a first sub-edge point from among the two sub-edge points if it is closer to the listener and determining a second sub-edge point if it is closer to the sound source.
  • the edge detection step may include generating a first test ray departing from the listener toward the first sub-edge point; generating a second test ray departing from the listener toward the second sub-edge point; and generating a third test ray departing from the sound source toward the second sub-edge point.
  • the edge detecting may include determining diffraction at the edge point when the first test ray collides with the collision triangle and the second and third test rays do not collide with the collision triangle.
  • the edge detection step may be repeatedly performed for each of the collision triangles.
  • an edge detection apparatus for diffraction of sound tracing includes a triangle-detection processing unit for detecting collision triangles colliding with a ray departing from a sound source; And calculating at least an edge-point based on the collision triangles and performing an intersection-test on a test ray departing toward the at least edge-point based on the sound source or listener to obtain the edge-point and an edge-detection processing unit that determines whether diffraction occurs in .
  • the edge detection processor may determine an edge between a collision triangle and an adjacent triangle, and determine a point closest to a straight line between the sound source and the listener among points on the edge as the edge point.
  • the edge detection processor may generate two different sub-edge points by moving the edge point by a predetermined value in a positive direction and a negative direction according to a specific direction based on the edge point.
  • the edge detection processing unit may determine a first sub-edge point from among the two sub-edge points if it is closer to the listener and a second sub-edge point if it is closer to the sound source.
  • the edge detection processing unit includes a first test ray departing from the listener toward the first sub-edge point, a second test ray departing from the listener toward the second sub-edge point, and the second sub-edge from the sound source. Diffraction may be determined at the edge point based on a third test ray departing toward the point.
  • the disclosed technology may have the following effects. However, it does not mean that a specific embodiment must include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.
  • the edge detection method and apparatus for sound tracing diffraction according to the present invention can process sound rendering for a dynamic scene in real time by calculating diffractable edge candidates during runtime in a sound tracing process.
  • the edge detection method and apparatus for diffraction of sound tracing can calculate diffractable edges in real time at run-time, can perform diffraction in dynamic scenes as well as static scenes, and can perform diffraction in dynamic scenes. As edge detection is performed at runtime in , high immersion and realistic sound can be provided to users.
  • 1 is a diagram explaining a pipeline of sound tracing.
  • 2 is a diagram for explaining types of sound propagation paths.
  • 3 is a diagram explaining an edge diffraction path.
  • FIG. 4 is a diagram illustrating an edge detection method using preprocessing.
  • FIG. 5 is a diagram explaining the functional configuration of the edge detection device according to the present invention.
  • FIG. 6 is a diagram illustrating an edge detection process according to the present invention.
  • FIG. 7 and 8 are diagrams illustrating a process of calculating edge points according to the present invention.
  • FIG. 9 is a flowchart illustrating an edge detection process according to the present invention.
  • first and second are used to distinguish one component from another, and the scope of rights should not be limited by these terms.
  • a first element may be termed a second element, and similarly, a second element may be termed a first element.
  • the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step clearly follows a specific order in context. Unless otherwise specified, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be implemented as computer readable code on a computer readable recording medium
  • the computer readable recording medium includes all types of recording devices storing data that can be read by a computer system.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.
  • the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.
  • 1 is a diagram explaining a pipeline of sound tracing.
  • a sound tracing pipeline may include sound synthesis, sound propagation, and sound generation and auralization steps.
  • the sound propagation step may correspond to the most important step for imparting a sense of immersion to virtual reality, and may correspond to a step with high computational complexity and the longest computational time. Also, whether or not this step is accelerated can influence real-time processing of sound tracing.
  • a sound synthesis step may correspond to a step of generating a sound effect according to user interaction.
  • sound synthesis may process a sound generated when a user knocks on a door or drops an object, and may correspond to a technology commonly used in existing games, UIs, and the like.
  • the sound propagation step simulates the process in which the synthesized sound is transmitted to the listener through virtual reality, and the acoustic characteristics of virtual reality (reflection coefficient, absorption coefficient, etc.) etc.) may correspond to a step of processing based on the scene geometry of virtual reality.
  • the sound generation step corresponds to a step of regenerating the input sound based on the configuration of the listener's speaker using the sound characteristic values (reflection/transmission/absorption coefficients, distance attenuation characteristics, etc.) calculated in the sound propagation step.
  • sound characteristic values reflection/transmission/absorption coefficients, distance attenuation characteristics, etc.
  • 2 is a diagram for explaining types of sound propagation paths.
  • a direct path may correspond to a path directly transmitted between a listener and a sound source without any obstruction.
  • the reflection path corresponds to the path on which sound reaches the listener after being reflected after colliding with the obstacle
  • the transmission path corresponds to the path where the sound penetrates the obstacle and reaches the listener when there is an obstacle between the listener and the sound source. It may correspond to the path to be.
  • Sound tracing may shoot a ray at each location of a plurality of sound sources.
  • Each shot ray can find a geometric structure object that collided with itself and generate a ray corresponding to reflection, transmission, and diffraction with respect to the collided object. This process may be repeated recursively.
  • rays shot from sound sources and rays shot from listeners may meet each other, and the path they meet may be referred to as a sound propagation path.
  • the sound propagation path may refer to an effective path through which sound, starting from a sound source, arrives at a listener through reflection, transmission, absorption, diffraction, and the like. The final sound can be calculated with these sound propagation paths.
  • the sound propagation processing process includes a setup processing step, a ray generation step, a traversal/intersection test (TnI) step, a hit point calculation step, a PPVnRGC step, and An IR calculation step may be included.
  • the setup processing step controls the switching of the mode (SPU mode) of the sound propagation unit, guide ray information generated from the listener for the visibility test and the sound source ) may correspond to a step of setting information necessary for generating reverb ray information generated from.
  • the mode of the sound propagation unit SPU mode
  • the guide ray or reverb ray information generated in the setup processing stage itself and the PPV (S450) You can select one of the reflection ray's information and send it to the ray generation stage.
  • a corresponding ray may be generated based on ray information generated in the setup processing step, and an origin and direction of the ray may be calculated.
  • the generated ray may be stored in a TnI input buffer, which is a space in which input data for a visit/traversal/intersection test is stored.
  • the ray generated from the ray generation step is read from the TnI input buffer, and the triangle colliding with the ray in the acceleration structure ( triangle) can be checked.
  • the TnI unit may repeatedly perform a traversal and a ray-triangle intersection test on an acceleration structure.
  • the determination result of the TnI unit may be stored in a TnI output buffer.
  • an intersection point between a ray and a geometry may be calculated based on a result transmitted from a TnI output buffer.
  • triangle info. data for a corresponding hit triangle ID may be requested.
  • the calculated result and hit triangle info. data may be delivered to perform PPVnRGC.
  • the PPVnRGC step is a key functional block that performs sound propagation simulation, and proceeds with either a reflection sound path test or reverb geometry collection depending on the ray characteristics of the received data. can decide whether to The PPVnRGC stage may consist of a propagation path validator (PPV) and a reverb geometry collector (RGC).
  • PPV propagation path validator
  • RRC reverb geometry collector
  • the PPV step is a step of searching for a direct, transmission, reflection, and diffraction sound path.
  • PPV typically uses a uniform theory diffraction method (UTD) to find the diffraction sound path, and may use an image source method to find the reflection sound path. If the direct sound path or the transmission sound path or the diffraction sound path or the reflection sound path is found, the PPV is used to compute the impulse response. Necessary information can be generated and transmitted to the IR Calculator.
  • UTD uniform theory diffraction method
  • the RGC may use reverb geometry information necessary for calculating a reverb time.
  • Reverb time is one of the important factors for generating a natural reverb sound, and a statistical acoustic model can generally be used to calculate the reverb time.
  • the Eyring model is a model that calculates energy decay in a single space and is widely used for speed and simplicity.
  • a reverb triangle which is information about a hit triangle found, can be used.
  • the impulse response (IR) or reverb impulse response of the effective direct/transmission, reflection, and diffraction paths processed from the PPVnRGC step reverb IR) can be calculated and stored in the valid path buffer.
  • path data is stored in the valid path buffer, sound propagation for the current frame is completed, and may be sent to an auralization processing step.
  • 3 is a diagram explaining an edge diffraction path.
  • edge-diffraction may mean a phenomenon in which sound passes into a shadow region through an edge of an obstacle between a sound source and a listener.
  • Edge diffraction of the GA method can be divided into a Biot-Tolstoy-Medwin (BTM) method and a Uniform Theory of Diffraction (UTD) method.
  • BTM Biot-Tolstoy-Medwin
  • UTD Uniform Theory of Diffraction
  • the UTD method is known as a suitable method for achieving real-time.
  • edge candidates can be found using an edge detection algorithm.
  • edge detection algorithm it can be checked whether the edge candidates satisfy the UTD condition.
  • IR frequency-band based impulse response
  • the first step, the edge detection step may correspond to the step with the highest computational cost. For this reason, existing solutions can store edge candidates capable of diffraction among all edges by pre-processing edge detection in a pre-processing step.
  • the second step can check whether the edge candidates create a diffraction path based on the listener's location. This may be determined according to whether the listener is in a shaded area, which is an area not directly visible from the sound source.
  • IR can be calculated for each frequency band based on the edges that have passed the above steps. To this end, the distance between the edge and the listener, the distance between the edge and the sound source, and angles between the edge and triangles may be calculated. The final IR may be generated by substituting the above factors into the IR calculation formula based on the UTD.
  • FIG. 4 is a diagram illustrating an edge detection method using preprocessing.
  • edge detection may be performed through pre-processing in a conventional manner.
  • This method can classify edges into four types and select edges capable of performing diffraction.
  • Figure (a) can represent triangles sharing an edge.
  • the triangles in figure (a) can have normals (i.e., corresponding to arrows) in the same direction. In this case, it may be determined that diffraction does not occur.
  • Figure (b) can also represent triangles sharing an edge.
  • the triangles in figure (b) can have normals in different directions outward. In this case, it may be determined as an edge where diffraction occurs.
  • Figures (c) and (d) may indicate that the normals of the triangles face inward.
  • Figure (c) may represent a case where there are triangles sharing an edge
  • figure (d) may represent a case where there are no triangles sharing an edge.
  • the user can separately set whether to determine whether the edge can be directly diffracted according to the scene design.
  • the above operation can be performed on the edges of all triangles and edge candidates can be selected.
  • sound tracing may determine whether there is an edge candidate based on triangles hit with a ray shot from a sound source at run-time. If there is an edge candidate, sound tracing can check from the edge whether the listener is in the shadow region. If it is in the shaded area, diffraction IR (diffraction IR) may be calculated based on the corresponding edge.
  • FIG. 5 is a diagram explaining the functional configuration of the edge detection device according to the present invention.
  • the edge detection device 130 may include a triangle detection processing unit 510 , an edge detection processing unit 530 and a control unit 550 .
  • the triangle detection processing unit 510 may detect collision triangles colliding with a ray departing from a sound source. That is, the triangle detection processing unit 510 may perform a sound propagation step of the sound tracing process, and the sound propagation step may correspond to a step of sequentially performing ray generation, search, and collision detection.
  • the triangle detection processing unit 510 generates a ray by defining an origin and a direction, searches for an acceleration structure (AS) for a 3D space where a sound source is located, Hit triangles may be determined by performing an intersection test between rays and triangles while searching for triangles of an acceleration structure.
  • the acceleration structure may be independently generated for the static scene and the dynamic scene.
  • the triangle detection processing unit 510 may find collision triangles collided with the ray through the triangle detection step, and after the triangle detection step is completed, the edge detection step may be performed based on the collision triangles.
  • the edge detection processing unit 530 calculates at least an edge-point based on the collision triangles and performs an intersection-test on a test ray departing toward at least the edge-point based on the sound source or listener, Whether or not diffraction occurs at the edge point can be determined.
  • the edge detection step may include calculating an edge point, generating a test ray, and performing a cross test on the test ray.
  • the edge detection processing unit 530 may repeatedly perform the edge detection step for each of the colliding triangles. That is, the edge detection step may be repeatedly performed for each collision triangle, and when the edge detection step is completed for all collision triangles detected in the triangle detection step, a final sound for the corresponding scene may be generated.
  • the edge detection processing unit 530 determines an edge between a collision triangle and an adjacent triangle, determines a point on the edge closest to a straight line between the sound source and the listener as an edge point, and determines a specific direction from the edge point It is possible to create at least one sub-edge point by moving by a predetermined value. In one embodiment, the edge detection processing unit 530 generates a first test ray departing from the listener toward a first sub-edge point, and generates a second test ray departing from the listener toward a second sub-edge point; A third test ray departing from the sound source toward the second sub-edge point may be generated.
  • the edge detection processing unit 530 may determine the diffraction at the edge point if the first test ray collides with the colliding triangle and the second and third test rays do not collide with the colliding triangle. This will be described in more detail with reference to FIG. 6 .
  • the edge detection processing unit 530 expresses the edge and the straight line with first and second vector equations, respectively, and calculates the closest points between the first vector connecting the starting points of the edge and the straight line and the edge and the straight line. Defines a second vector to connect, defines the size of the u vector of the first vector equation as an unknown, expresses the edge point as a vector equation, and through a dot product between each edge and a straight line and the second vector The edge point can be calculated by calculating the unknown.
  • the edge detection processor 530 may generate two different sub-edge points by moving the edge point by a predetermined value in a positive direction and a negative direction according to a specific direction based on the edge point.
  • the edge detection processing unit 530 may determine a first sub-edge point from among the two sub-edge points if it is closer to the listener and a second sub-edge point if it is closer to the sound source. This will be described in more detail with reference to FIGS. 7 and 8 .
  • the control unit 550 may control the overall operation of the edge detection device 130 and manage a control flow or data flow between the triangle detection processing unit 510 and the edge detection processing unit 530 .
  • FIG. 6 is a diagram illustrating an edge detection process according to the present invention.
  • the left triangle 610 is a collision triangle transmitted from triangle-detection
  • the right triangle 620 corresponds to an adjacent triangle sharing an edge with the left triangle 610.
  • L 640 may represent a listener position
  • S 630 a sound source position
  • a red circle may represent an edge-point
  • a hatched circle may represent a sub-edge point.
  • the upward arrow from each triangle is the triangle normal
  • the left arrow is the normal perpendicular to the triangle normal.
  • An edge point may be defined as a point closest to a straight line (LS straight line) connecting L (640) and S (630) among points on the edge.
  • the sub edge point may be divided into 'sub edge point +', which is a value obtained by adding epsilon (i.e., a very small value) from the edge point in a specific direction, and 'sub edge point -', which is a value subtracted from the edge point. These values can be very important when determining whether a diffraction is possible edge.
  • a normal that is perpendicular to a triangle normal can be used for a specific direction. The corresponding perpendicular normal may be calculated using a cross product of the triangle normal and the edge.
  • sub-edge point- may correspond to the first sub-edge point
  • sub-edge point + may correspond to the second sub-edge point
  • rays (1), (2) and (3) are rays for performing edge detection.
  • Ray (1) is a ray shot from L (640) to the sub-edge point-.
  • Ray (2) is a ray shot from L (640) to the sub-edge point+.
  • ray (3) is a ray shot from S (630) to the sub-edge point+. That is, the rays (1), (2), and (3) may correspond to the first to third test rays, respectively.
  • edge detection is to first calculate an edge point for a triangle hit by a ray, and then calculate sub-edge point- and sub-edge point+ based on that value, and through this, ray (1), ( 2) and (3) can be calculated respectively. If ray (1) in FIG. 6 collides with a triangle and rays (2) and (3) do not collide, the corresponding edge may be determined as an edge where diffraction may occur.
  • FIG. 7 and 8 are diagrams illustrating a process of calculating edge points according to the present invention.
  • the edge straight line 710 and the LS straight line 730 in FIG. 6 are shown as a top-view in order to calculate the edge point. That is, the LS straight line 730 and the edge straight line 710 may each be expressed as a vector equation corresponding to the straight line.
  • the LS straight line 730 is a v vector in the (L ⁇ S) direction, t, the magnitude of the vector, and the starting point Through the can be expressed as
  • the edge straight line 710 is ( ⁇ ), uvector in the direction, s, the magnitude of the vector, starting point Through the can be expressed as
  • FIG. 7 is shown as a front-view, and an embodiment of finding the closest point (a red circle based on an edge) between two straight lines may be shown.
  • Is from is a vector pointing to is the vector joining the two closest points between the two straight lines.
  • the magnitude of the u vector is unknown can be defined as That is, the edge point is can be expressed as if unknown If the value of can be obtained, the edge point can be calculated.
  • the closest point between two straight lines is and may be a point perpendicular to each other. That two straight lines are perpendicular to each other may mean that a dot product value between the straight lines is 0. Using this characteristic The value of can be calculated.
  • FIG. 9 is a flowchart illustrating an edge detection process according to the present invention.
  • triangle-detection is first performed to find triangles colliding with a ray shot from a sound source (S910).
  • Edge detection according to the present invention may then be performed.
  • the edge point, sub-edge point+, and sub-edge point- of the collided triangle can be calculated.
  • whether the corresponding edge can perform diffraction can be checked.
  • steps of LSE-I, LSE+I, and SSE+I may be performed in sequence (S930). This process may correspond to edge-detection, and may be repeatedly performed for each of the triangles detected through triangle detection (S910).
  • LSE-I is a process corresponding to ray (1) in FIG. 6, shooting a ray from the listener in a sub-edge point- direction and performing an intersection-test. can If the shot ray collides with any triangle, the intersection test is determined to be successful, and LSE+I may be performed in the next step. If not, the algorithm may end.
  • LSE+I is a process corresponding to ray (2) in FIG. 6, and a ray may be shot from the listener in the direction of a sub-edge point+ and an intersection test may be performed. If the shot ray collides with any triangle, the intersection test is determined to be successful, and SSE+I may be performed by proceeding to the next step. If not, the algorithm may end.
  • SSE+I is a process corresponding to ray (3) in FIG. 6, and a ray may be shot from the sound source in the direction of a sub-edge point + and an intersection test may be performed. If the shot ray does not collide with any triangle, the intersection test is determined to be successful, and the corresponding edge can finally be determined as an edge capable of performing diffraction. This series of operations may be performed for all triangles calculated through the triangle-detection step (S910).
  • the edge detection method according to the present invention may have a differentiating factor of finding an edge capable of performing diffraction at runtime in a dynamic scene. While existing sound tracing calculates and stores edge candidates in the pre-processing step, it is impossible to respond to dynamic scenes, whereas the method according to the present invention finds edges in every frame, so it can respond even to dynamic scenes. Through this, users can receive higher realism and immersive sound in dynamic scenes.
  • triangle detection processing unit 530 edge detection processing unit
  • control unit 550 control unit
  • edge straight line 730 LS straight line

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

본 발명은 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치에 관한 것으로, 상기 방법은 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 사운드 전파(sound propagation) 단계; 및 상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 단계;를 포함한다.

Description

사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치
본 발명은 3차원 사운드 처리 기술에 관한 것으로, 보다 상세하게는 사운드 트레이싱 과정에서 런타임 동안 회절 가능한 에지 후보들을 계산함으로써 동적 장면에 대한 사운드 렌더링을 실시간 처리할 수 있는 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치에 관한 것이다.
현실감 있는 가상현실 환경을 지원하기 위해, 가상공간을 통한 고품질의 청각적 공간감 재현이 필수적이다. 이를 위해, 머리전달함수 (HRTF: Head Related Transfer Function)를 이용한 3D 사운드 기술이 기본적으로 사용될 수 있다.
기존의 3D 사운드 기술은 미리 계산된 음향조절필터를 사용하거나 직육면체 모양의 슈박스와 같은 간단한 가상공간 안에서 청각적 공간감을 재현할 수 있다. 가상공간 상의 주변 환경과 복잡한 객체(object)의 재질(material)에 대한 물리적인 효과가 반영 되어있지 않기 때문에 이러한 기술은 현실감 있는 사운드를 재현하기에 한계를 가질 수 있다.
이를 해결하기 위하여 기하학적 음향 방법(Geometric Acoustic method, GA) 기반으로 한 3D 사운드 기술이 지속적으로 발표되고 있다. 이러한 방식들 중에서, 3D graphics의 레이 트레이싱(ray tracing) 기술과 사운드 처리(sound processing) 기술을 융합한 방식을 사운드 트레이싱(혹은 sound ray tracing)이라 할 수 있다. 사운드 트레이싱은 사운드 렌더링(sound rendering) 기법의 한 종류로써 청취자(listener)와 음원(sound source) 사이의 사운드 전파 경로(sound propagation path)들을 추적하여 사운드를 생성하는 기법에 해당할 수 있다.
사운드 트레이싱은 현실감 있는 사운드를 재현하기 위해 직접(direct), 반사(reflection), 에지-회절 경로(edge-diffraction path)와 같은 다양한 사운드 전파 경로(sound propagation path)를 생성할 수 있다. 특히, 회절(diffraction)은 소리가 음영 영역으로 전달되는 효과로써 현실감 있는 음원을 생성하기 위해 필수적일 수 있다. 하지만, 에지-회절은 에지(edge)를 찾는 에지 검출(edge-detection) 알고리즘을 수반하기 때문에 실시간으로 처리가 매우 어려울 수 있다. 따라서, 기존 방식들의 경우 에지 검출은 전처리(pre-processing) 단계에서 수행되며, 이로 인하여 동적 장면(dynamic scene)의 처리에 적용하기가 매우 어려울 수 있다.
[선행기술문헌]
[특허문헌]
한국등록특허 제10-1828908호 (2018.02.07)
본 발명의 일 실시예는 사운드 트레이싱 과정에서 런타임 동안 회절 가능한 에지 후보들을 계산함으로써 동적 장면에 대한 사운드 렌더링을 실시간 처리할 수 있는 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치를 제공하고자 한다.
실시예들 중에서, 사운드 트레이싱의 회절을 위한 에지 검출 방법은 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 단계; 및 상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 단계;를 포함한다.
상기 삼각형 검출 단계는 원점(origin) 및 방향(direction)을 정의하여 상기 레이를 생성하는 단계; 상기 음원이 위치하는 3차원 공간에 관한 가속구조(AS)를 탐색하는 단계; 및 상기 가속구조의 삼각형들을 탐색하면서 상기 레이와 삼각형 간의 교차 테스트를 수행하여 상기 충돌 삼각형들을 결정하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하는 단계; 상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정하는 단계; 및 상기 에지 포인트로부터 특정 방향으로 소정의 값만큼 이동하여 적어도 하나의 서브 에지 포인트(sub-edge point)를 생성하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 에지 및 상기 직선을 각각 제1 및 제2 벡터방정식들로 표현하는 단계; 상기 에지 및 상기 직선의 시작점들을 연결하는 제1 벡터와 상기 에지 및 상기 직선 사이의 가장 가까운 점들을 연결하는 제2 벡터를 정의하는 단계; 상기 제1 벡터방정식의 u 벡터의 크기를 미지수로 정의하여 상기 에지 포인트를 벡터 방정식으로 표현하는 단계; 및 상기 에지 및 상기 직선 각각과 상기 제2 벡터 사이의 내적 연산(dot product)을 통해 상기 미지수를 산출하여 상기 에지 포인트를 산출하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 에지 포인트를 기준으로 상기 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 상기 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이를 생성하는 단계; 상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이를 생성하는 단계; 및 상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 생성하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 제1 테스트 레이가 상기 충돌 삼각형과 충돌하고 상기 제2 및 제3 테스트 레이들이 상기 충돌 삼각형과 충돌하지 않는 경우 상기 에지 포인트에서 회절을 결정하는 단계를 포함할 수 있다.
상기 에지 검출 단계는 상기 충돌 삼각형들 각각에 대해 반복적으로 수행될 수 있다.
실시예들 중에서, 사운드 트레이싱의 회절을 위한 에지 검출 장치는 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 처리부; 및 상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 처리부;를 포함한다.
상기 에지 검출 처리부는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하고 상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정할 수 있다.
상기 에지 검출 처리부는 상기 에지 포인트를 기준으로 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성할 수 있다.
상기 에지 검출 처리부는 상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정할 수 있다.
상기 에지 검출 처리부는 상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이, 상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이, 및 상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 기초로 상기 에지 포인트에서 회절을 결정할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에 따른 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치는 사운드 트레이싱 과정에서 런타임 동안 회절 가능한 에지 후보들을 계산함으로써 동적 장면에 대한 사운드 렌더링을 실시간 처리할 수 있다.
기존의 방식은 전처리(pre-processing) 단계에서 회절이 가능한 에지 후보들을 미리 계산할 수 있으며, 정적 장면(static scene)을 위한 회절에 적합하지만 동적 장면(dynamic scene)을 위한 회절에는 적합하지 않을 수 있다.
본 발명에 따른 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치는 런타임(run-time)에 회절이 가능한 에지들을 실시간으로 계산할 수 있고, 정적 장면뿐만 아니라 동적 장면에서도 회절 수행이 가능할 수 있으며, 동적 장면에서 런타임에 에지 검출이 수행됨으로써 사용자들에게 높은 몰입감과 현실감 있는 사운드를 제공할 수 있다.
도 1은 사운드 트레이싱의 파이프라인을 설명하는 도면이다.
도 2는 사운드 전파 경로의 종류를 설명하는 도면이다.
도 3은 에지 회절 경로를 설명하는 도면이다.
도 4는 전처리를 이용한 에지 검출 방법을 설명하는 도면이다.
도 5는 본 발명에 따른 에지 검출 장치의 기능적 구성을 설명하는 도면이다.
도 6은 본 발명에 따른 에지 검출 과정을 설명하는 도면이다.
도 7 및 8은 본 발명에 따른 에지 포인트의 산출 과정을 설명하는 도면이다.
도 9는 본 발명에 따른 에지 검출 과정을 설명하는 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 사운드 트레이싱의 파이프라인을 설명하는 도면이다.
도 1을 참조하면, 사운드 트레이싱(sound tracing) 파이프라인(pipeline)은 사운드 합성(sound synthesis), 사운드 전파(sound propagation), 사운드 생성(sound generation, auralization) 단계로 구성될 수 있다. 사운드 트레이싱 처리 단계 중에 사운드 전파 단계는 가상현실에 몰입감을 부여하는 가장 중요한 단계에 해당할 수 있고, 계산 복잡도가 높고 계산 시간이 가장 오래 걸리는 단계에 해당할 수 있다. 또한, 이 단계의 가속여부가 사운드 트레이싱의 실시간 처리를 좌우할 수 있다.
사운드 합성(sound synthesis) 단계는 사용자의 상호작용에 따른 사운드 효과를 생성하는 단계에 해당할 수 있다. 예를 들어, 사운드 합성은 사용자가 문을 두드리거나 또는 물건을 떨어뜨린 경우 발생하는 소리에 관한 처리를 수행할 수 있고, 기존 게임, UI 등에서 일반적으로 사용되는 기술에 해당할 수 있다.
사운드 전파(sound propagation) 단계는 합성된 사운드가 가상현실을 통해 청취자에게 전달되는 과정을 시뮬레이션 하는 단계로 가상현실의 음향적 특성(반사계수, 흡수계수 등)과 소리의 특성(반사, 흡수, 투과 등)을 가상현실의 기하적 특성(scene geometry)에 기반하여 처리하는 단계에 해당할 수 있다.
사운드 생성(sound generation) 단계는 사운드 전파 단계에서 계산된 소리의 특성값 (반사/투과/흡수 계수, 거리 감쇠 특성 등)을 이용하여 청취자 스피커의 구성을 바탕으로 입력 음향을 재생성하는 단계에 해당할 수 있다.
도 2는 사운드 전파 경로의 종류를 설명하는 도면이다.
도 2를 참조하면, 직접 경로(Direct Path)는 청취자(Listener)와 음원(Sound source) 사이에 어떤 장애물(Obstruction)도 없이 직접적으로 전달되는 경로에 해당할 수 있다. 반사 경로(Reflection Path)는 사운드가 장애물과 충돌 후 반사되어 청취자에게 도달하는 경로에 해당하고, 투과 경로(Transmission Path)는 청취자와 음원 사이에 장애물이 있을 때, 사운드가 장애물을 투과하여 청취자에게 전달되는 경로에 해당할 수 있다.
사운드 트레이싱은 다수개의 음원들의 각각의 위치에서 레이(ray)를 슈팅(shooting)할 수 있다. 슈팅된 각각의 레이는 자신과 충돌된 기하구조 물체를 찾고, 충돌된 물체에 대하여 반사, 투과, 회절에 해당하는 레이를 생성할 수 있다. 이러한 과정은 재귀적으로 반복 수행될 수 있다. 이렇게 음원들에서 슈팅된 레이와 청취자에서 슈팅된 레이들은 서로 만나게 될 수 있으며, 만나게 되는 경로를 사운드 전파 경로(Sound propagation path)라고 할 수 있다. 결과적으로, 사운드 전파 경로는 음원 위치에서 출발한 사운드가 반사, 투과, 흡수, 회절 등을 거쳐서 청취자에 도착하는 유효한 경로를 의미할 수 있다. 최종 사운드는 이러한 사운드 전파 경로들을 가지고 계산될 수 있다.
한편, 사운드 전파 처리 과정은 셋업 처리(Setup processing) 단계, 레이 생성(Ray Generation) 단계, 방문/교차 테스트(Traversal/Intersection test, TnI)단계, 충돌 지점 계산(Hit Point Calculation) 단계, PPVnRGC 단계 및 IR 산출(IR calculation) 단계를 포함할 수 있다.
셋업 처리(Setup processing) 단계는 사운드 전파 유닛의 모드(SPU mode)의 전환을 제어하고, 가시성 테스트(visibility test)를 위해 청취자(listener)로부터 생성된 가이드 레이(guide ray) 정보와 음원(sound source)으로부터 생성된 리버브 레이(reverb ray) 정보를 생성하는데 필요한 정보를 설정하는 단계에 해당할 수 있다. 설정이 완료된 후, 사운드 전파 유닛의 모드(SPU mode)에 따라 셋업 처리(setup processing) 단계 자체에서 생성된 가이드 레이(guide ray) 혹은 리버브 레이(reverb ray) 정보와 PPV(S450)를 거쳐서 생성된 반사 레이(reflection ray)의 정보 중 하나를 선택해서 이를 레이 생성(ray generation) 단계로 보낼 수 있다.
레이 생성(Ray Generation) 단계에서는 셋업 처리(setup processing) 단계에서 생성된 레이(ray) 정보를 기반으로 해당 레이를 생성하고, 레이의 원점(origin)과 방향(direction)을 계산할 수 있다. 생성된 레이는 방문/교차 테스트traversal/intersection test)를 위한 입력 데이터(input data)가 저장되는 공간인 TnI 입력 버퍼(TnI input buffer)에 저장될 수 있다.
방문/교차 테스트(Traversal/Intersection test, TnI)단계에서는 레이 생성(ray generation) 단계로부터 생성된 레이를 TnI 입력 버퍼(TnI input buffer)로부터 읽어오고 가속구조(acceleration structure)에서 레이와 충돌하는 삼각형(triangle)이 있는지 검사할 수 있다. 충돌검사를 위해서, TnI 유닛(TnI unit)은 가속구조에 대한 방문(traversal)과 레이-삼각형 교차 테스트(ray-triangle intersection test)를 반복 수행할 수 있다. TnI 유닛(TnI unit)의 판별결과는 TnI 입력 버퍼(TnI output buffer)에 저장할 수 있다.
충돌 지점 계산(Hit Point Calculation) 단계에서는 TnI 입력 버퍼(TnI output buffer)로부터 전달된 결과를 기반으로 레이와 기하구조(geometry) 사이의 교차 지점(intersection point)를 계산할 수 있다. 레이가 충돌(hit)된 경우, 해당 충돌 삼각형(hit triangle) ID에 대한 삼각형 정보 데이터(triangle info. data)를 요청할 수 있다. 계산된 결과와 충돌 삼각형 정보 데이터(hit triangle info. data)는 PPVnRGC를 수행하기 위해 전달될 수 있다.
PPVnRGC 단계는 사운드 전파 시뮬레이션(sound propagation simulation)을 수행하는 핵심 기능블록으로써, 전달받은 데이터의 레이 특성에 따라 반사 사운드 경로 테스트(reflection sound path test)를 진행할지 리버브 기하 수집(reverb geometry collection)을 진행할지 결정할 수 있다. PPVnRGC 단계는 전파 경로 검증기(propagation path validator)(PPV)와 리버브 기하구조 수집기(reverb geometry collector)(RGC)로 구성될 수 있다.
PPV 단계는 직접(direct), 투과(transmission), 반사(reflection), 회절(diffraction) 사운드 경로(sound path)의 탐색을 수행하는 단계이다. 전형적으로 PPV는 회절 사운드 경로(diffraction sound path)를 찾기 위해 uniform theory diffraction method(UTD)를 사용하고, 반사 사운드 경로(reflection sound path)를 찾기 위해 이미지 소스 기법(image source method)를 사용할 수 있다. 만약 직접 사운드 경로(direct sound path) 또는 투과 사운드 경로(transmission sound path) 또는 회절 사운드 경로(diffraction sound path) 또는 반사 사운드 경로(reflection sound path)를 찾았다면, PPV는 임펄스 응답(impulse response) 계산에 필요한 정보를 생성하여 IR 계산기(IR Calculator)로 전달할 수 있다.
RGC는 리버브 시간(reverb time) 계산에 필요한 리버브 기하구조(reverb geometry) 정보를 이용할 수 있다. 리버브 시간(Reverb time)은 자연스러운 잔향음(reverb sound) 생성을 위한 중요한 요소 중 하나로써, 리버브 시간(reverb time)을 계산하기 위해 일반적으로 통계 음향 모델을 사용할 수 있다. 이 중 Eyring 모델은 단일 공간 내 에너지 붕괴(energy decay)를 계산하는 모델로 속도와 간소성을 위해 많이 사용된다. 리버브 시간(Reverb time) 계산을 위해 가이드 레이(guide ray)와 충돌된 삼각형(triangle) 정보 중 전파 경로 테스트(propagation path test)를 거쳐서 찾은 유효한 경로 삼각형(path triangle)과 리버브 레이(reverb ray)로 찾은 충돌 삼각형(hit triangle) 정보인 리버브 삼각형(reverb triangle)을 이용할 수 있다.
이 때, 경로 삼각형(path triangle)이 전부 생성되지 않았다면 리버브(reverb)를 계산할 수 없기 때문에 경로 삼각형(path triangle)의 정보가 전부 생성될 때까지 사운드 경로 모드(sound path mode)를 반복 수행할 수 있다. 경로 삼각형(Path triangle) 및 리버브 삼각형(reverb triangle)의 정보가 준비되면, 경로 삼각형(path triangle)과 리버브 삼각형(reverb triangle)에서 중복되는 삼각형 제거 및 경로 삼각형(path triangle)과 리버브 삼각형(reverb triangle) ID 비교를 효율적이고 빠르게 처리하기 위해 정렬(sorting)을 수행할 수 있다. 정렬된 경로 삼각형(path triangle)과 리버브 삼각형(reverb triangle)의 ID를 비교하여 동일한 ID에 대한 삼각형을 찾고 유효한 잔향(reverberation) 정보를 계산할 수 있다. 계산된 유효한 리버브 데이터(reverberation data)는 IR 계산기(IR calculator)로 전달될 수 있다.
최종적으로, IR 산출(IR calculation) 단계에서는 PPVnRGC 단계로부터 처리된 유효한 직접/투과(direct/transmission), 반사(reflection), 회절(diffraction) 경로(path)의 임펄스 응답(IR) 혹은 리버브 임펄스 응답(reverb IR)을 계산하여 유효 경로 버퍼(valid path buffer)에 저장할 수 있다. 유효 경로 버퍼(Valid path buffer)에 경로 데이터가 저장되면 현재 프레임(frame)에 대한 사운드 전파(sound propagation) 수행이 완료되며, 가청화(auralization) 처리 단계로 보내어질 수 있다.
도 3은 에지 회절 경로를 설명하는 도면이다.
도 3을 참조하면, 에지 회절(Edge-diffraction)은 음원(sound source)과 청취자(listener) 사이에 있는 장애물의 에지를 통해 소리가 음영 영역(shadow region)으로 넘어가는 현상을 의미할 수 있다. GA방식의 에지 회절은 Biot-Tolstoy-Medwin(BTM)과 균일 회절 이론(Uniform Theory of Diffraction, UTD) 방식으로 나뉠 수 있다. 이 중 UTD 방식이 실시간으로 달성하기 위한 적합한 방식으로 알려져 있다.
에지 회절 경로(Edge-diffraction path)를 찾기 위해서는 크게 3가지 작업이 수행될 수 있다. 첫째, 에지 검출 알고리즘을 이용하여 에지 후보들을 찾을 수 있다. 둘째, 에지 후보들이 UTD 조건에 부합하는지 검사할 수 있다. 마지막으로, UTD 조건에 맞는 에지들을 기반으로 주파수 대역(frequency-band) 기반 충돌 응답(Impulse Response, IR)를 계산할 수 있다.
첫 번째 단계인 에지 검출 단계는 계산 비용이 가장 많이 드는 단계에 해당할 수 있다. 이와 같은 이유로 기존의 솔루션은 에지 검출을 전처리(pre-processing) 단계에서 미리 처리하여 모든 에지들 중 회절이 가능한 에지 후보들을 저장할 수 있다.
두 번째 단계는 에지 후보들이 청취자의 위치 기반으로 회절 경로를 생성하는지 검사할 수 있다. 이는 청취자가 음원으로부터 직접적으로 보이지 않는 영역인 음영 영역 안에 있는지에 따라서 결정될 수 있다.
마지막으로, 위 단계들을 통과한 에지 기반으로 주파수 대역마다 IR이 계산될 수 있다. 이를 위해, 에지와 청취자와의 거리, 에지와 음원과의 거리, 에지와 삼각형들의 각도 등이 계산될 수 있다. 위 요소(factor)들이 UTD 기반에 IR 계산식에 대입되어서 최종 IR이 생성될 수 있다.
도 4는 전처리를 이용한 에지 검출 방법을 설명하는 도면이다.
도 4를 참조하면, 기존의 방식으로써 전처리(pre-processing)를 통하여 에지 검출을 수행할 수 있다. 해당 방법은 에지를 4개의 형태로 분류하고 회절이 수행 가능한 에지들을 선별할 수 있다. 그림 (a)는 에지를 공유하는 삼각형들을 나타낼 수 있다. 그림 (a)의 삼각형들은 같은 방향의 노말(normal)(즉, 화살표에 해당함)을 가질 수 있다. 이 경우 회절이 발생하지 않는 것으로 판단될 수 있다.
그림 (b)도 에지를 공유하는 삼각형들을 나타낼 수 있다. 그림 (b)의 삼각형들은 바깥쪽으로 각각 다른 방향의 노말(normal)을 가질 수 있다. 이 경우 회절이 발생하는 에지로 판단될 수 있다. 그림 (c)와 그림 (d)는 삼각형들의 노말(normal)이 안쪽으로 향하는 것을 나타낼 수 있다.
그림 (c)는 에지를 공유하는 삼각형들이 있는 경우이며, 그림 (d)는 에지를 공유하는 삼각형들이 없는 경우를 나타낼 수 있다. 그림 (c)와 그림 (d)의 경우, 장면 설계(scene design)에 따라서 유저가 직접 회절이 가능한 에지로 판단할지를 별도로 세팅할 수 있다.
위와 같은 작업은 모든 삼각형들의 에지에 대해 수행될 수 있고 에지 후보를 선별할 수 있다. 위 작업이 수행된 후, 사운드 트레이싱은 런타임(run-time)에 음원으로부터 슈팅된 레이(ray)와 충돌(hit)된 삼각형(triangle)들을 기반으로 에지 후보가 있는지 판단할 수 있다. 만약 에지 후보가 있다면, 사운드 트레이싱은 에지로부터 청취자가 음영 영역(shadow region) 안에 있는지 검사할 수 있다. 만약 음영 영역 안에 있다면, 해당 에지를 기준으로 회절 IR(diffraction IR)이 계산될 수 있다.
도 5는 본 발명에 따른 에지 검출 장치의 기능적 구성을 설명하는 도면이다.
도 5를 참조하면, 에지 검출 장치(130)는 삼각형 검출 처리부(510), 에지 검출 처리부(530) 및 제어부(550)를 포함할 수 있다.
삼각형 검출 처리부(510)는 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출할 수 있다. 즉, 삼각형 검출 처리부(510)는 사운드 트레이싱 과정의 사운드 전파(sound propagation) 단계를 수행할 수 있으며, 사운드 전파 단계는 레이의 생성, 탐색 및 충돌 검사를 순차적으로 수행하는 단계에 해당할 수 있다.
일 실시예에서, 삼각형 검출 처리부(510)는 원점(origin) 및 방향(direction)을 정의하여 레이를 생성하고, 음원이 위치하는 3차원 공간에 관한 가속구조(Acceleration Structure, AS)를 탐색하며, 가속구조의 삼각형들을 탐색하면서 레이와 삼각형 간의 교차 테스트(intersection test)를 수행하여 충돌 삼각형(hit triangle)들을 결정할 수 있다. 이때, 가속구조는 정적 장면 및 동적 장면에 대해 독립적으로 생성될 수 있다. 삼각형 검출 처리부(510)는 삼각형 검출 단계를 통해 레이와 충돌된 충돌 삼각형들을 찾을 수 있으며, 삼각형 검출 단계가 완료된 이후 충돌 삼각형들을 기초로 에지 검출 단계가 수행될 수 있다.
에지 검출 처리부(530)는 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 음원 또는 청취자를 기준으로 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 에지 포인트에서의 회절 여부를 결정할 수 있다. 에지 검출 단계는 에지 포인트를 산출하는 과정과, 테스트 레이(test ray)를 생성하는 과정 및 테스트 레이에 관한 교차 테스트를 수행하는 과정을 포함할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 충돌 삼각형들 각각에 대해 에지 검출 단계를 반복적으로 수행할 수 있다. 즉, 에지 검출 단계는 충돌 삼각형마다 반복적으로 수행될 수 있으며, 삼각형 검출 단계에서 검출된 충돌 삼각형들 모두에 대해 에지 검출 단계가 수행 완료되면 해당 장면에 대한 최종 사운드가 생성될 수 있다.
일 실시예에서, 에지 검출 처리부(530)는 충돌 삼각형과 인접 삼각형 사이의 에지를 결정하고, 에지 상의 점들 중에서 음원 및 청취자 사이의 직선과 가장 가까운 점을 에지 포인트로서 결정하며, 에지 포인트로부터 특정 방향으로 소정의 값만큼 이동하여 적어도 하나의 서브 에지 포인트(sub-edge point)를 생성할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 청취자로부터 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이를 생성하고, 청취자로부터 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이를 생성하며, 음원으로부터 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 생성할 수 있다.
일 실시예에서, 에지 검출 처리부(530)는 제1 테스트 레이가 충돌 삼각형과 충돌하고 제2 및 제3 테스트 레이들이 충돌 삼각형과 충돌하지 않는 경우 에지 포인트에서 회절을 결정할 수 있다. 이에 대해서는 도 6을 통해 보다 자세히 설명한다.
일 실시예에서, 에지 검출 처리부(530)는 에지 및 직선을 각각 제1 및 제2 벡터방정식들로 표현하고, 에지 및 직선의 시작점들을 연결하는 제1 벡터와 에지 및 직선 사이의 가장 가까운 점들을 연결하는 제2 벡터를 정의하며, 제1 벡터방정식의 u 벡터의 크기를 미지수로 정의하여 에지 포인트를 벡터 방정식으로 표현하고, 에지 및 직선 각각과 제2 벡터 사이의 내적 연산(dot product)을 통해 미지수를 산출하여 에지 포인트를 산출할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 에지 포인트를 기준으로 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성할 수 있다. 일 실시예에서, 에지 검출 처리부(530)는 2개의 서브 에지 포인트들 중에서 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 음원과 가까우면 제2 서브 에지 포인트로 결정할 수 있다. 이에 대해서는 도 7 및 8을 통해 보다 자세히 설명한다.
제어부(550)는 에지 검출 장치(130)의 전체적인 동작을 제어하고, 삼각형 검출 처리부(510) 및 에지 검출 처리부(530) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 6은 본 발명에 따른 에지 검출 과정을 설명하는 도면이다.
도 6을 참조하면, 왼쪽 삼각형(610)은 삼감형 검출(triangle-detection)로부터 전달받은 충돌 삼각형이며, 오른쪽 삼각형(620)은 왼쪽 삼각형(610)과 에지(edge)를 공유하는 인접 삼각형에 해당할 수 있다. L(640)은 청취자 위치, S(630)는 음원 위치, 빨간 원은 에지 포인트(edge-point), 빗금친 원은 서브 에지 포인트(sub-edge point)를 각각 나타낼 수 있다. 각 삼각형으로부터 위 방향의 화살표는 삼각형 노말(triangle normal)이고 왼쪽 방향의 화살표는 삼각형 노말(triangle normal)에 수직인 노말(normal perpendicular to the triangle normal)이다.
에지 포인트는 에지 위의 점들 중 L(640)과 S(630)를 이은 직선(LS 직선)로부터 가장 가까운 점으로 정의될 수 있다. 서브 에지 포인트는 에지 포인트로부터 특정 방향으로 엡실론(epsilon, 즉 매우 작은 값)만큼 더한 값인 '서브 에지 포인트+'와 뺀 값인 '서브 에지 포인트-'로 각각 구분될 수 있다. 이 값들은 회절(diffraction)이 가능한 에지인지를 판단할 때 매우 중요하게 사용될 수 있다. 특정 방향은 삼각형 노말(triangle normal)의 수직인 노말을 사용할 수 있다. 해당 수직인 노말은 삼각형 노말과 에지와의 외적(cross product)을 이용해 계산될 수 있다. 만약 서브 에지 포인트가 L과 가깝다면 서브 에지 포인트-(sub-edge point-)라고 정의되고 그렇지 않다면 서브 에지 포인트+(sub-edge point+)라고 정의될 수 있다. 이때, 서브 에지 포인트-는 제1 서브 에지 포인트에 해당할 수 있고, 서브 에지 포인트+는 제2 서브 에지 포인트에 해당할 수 있다.
도 6에서, 레이 (1), (2) 및 (3)은 에지 검출을 수행하기 위한 레이들이다. 레이 (1)은 L(640)로부터 서브 에지 포인트-까지 슈팅한 레이이다. 레이 (2)는 L(640)로부터 서브 에지 포인트+까지 슈팅한 레이이다. 마지막으로 레이 (3)은 S(630)로부터 서브 에지 포인트+까지 슈팅한 레이이다. 즉, 레이 (1), (2) 및 (3)은 각각 제1 내지 제3 테스트 레이에 대응될 수 있다.
에지 검출의 핵심 아이디어는 먼저 레이와 충돌(hit)된 삼각형에 대해서 에지 포인트를 계산하고, 해당 값을 기반으로 서브 에지 포인트-와 서브 에지 포인트+를 계산할 수 있으며, 이를 통하여 레이 (1), (2) 및 (3)을 각각 산출할 수 있다. 만약, 도 6에서의 레이 (1)은 삼각형에 충돌되고 레이 (2)와 (3)은 충돌되지 않으면 해당 에지는 회절이 발생될 수 있는 에지로 판정될 수 있다.
도 7 및 8은 본 발명에 따른 에지 포인트의 산출 과정을 설명하는 도면이다.
도 7의 경우, 에지 포인트를 산출하기 위하여 도 6에서의 에지 직선(710)와 LS 직선(730)을 탑뷰(top-view)로 도시하고 있다. 즉, LS 직선(730)과 에지 직선(710)은 각각 직선에 대응되는 벡터방정식으로 표현될 수 있다. LS 직선(730)은 (L→S) 방향의 v벡터, 벡터의 크기인 t, 시작점
Figure PCTKR2022015087-appb-img-000001
를 통해
Figure PCTKR2022015087-appb-img-000002
로 표현될 수 있다. 에지 직선(710)은 (
Figure PCTKR2022015087-appb-img-000003
→
Figure PCTKR2022015087-appb-img-000004
) 방향의 u벡터, 벡터의 크기인 s, 시작점
Figure PCTKR2022015087-appb-img-000005
를 통해
Figure PCTKR2022015087-appb-img-000006
로 표현될 수 있다.
도 8을 참조하면, 도 7을 프론트뷰(front-view)로 도시하고 있으며, 두 직선 사이의 가장 가까운 점(에지 기준으로 빨간 원)을 찾는 실시예를 나타낼 수 있다.
Figure PCTKR2022015087-appb-img-000007
는 LS 직선과 에지 직선의 시작점끼리 연결한 벡터이다. 즉,
Figure PCTKR2022015087-appb-img-000008
는
Figure PCTKR2022015087-appb-img-000009
로부터
Figure PCTKR2022015087-appb-img-000010
로 향하는 벡터이다.
Figure PCTKR2022015087-appb-img-000011
는 두 직선 사이의 가장 가까운 두 개의 점을 이은 벡터이다.
또한, 에지 포인트를 벡터 방정식으로 표현하기 위해 u 벡터의 크기는 미지수
Figure PCTKR2022015087-appb-img-000012
로 정의될 수 있다. 즉, 에지 포인트는
Figure PCTKR2022015087-appb-img-000013
로 표현될 수 있다. 만약 미지수인
Figure PCTKR2022015087-appb-img-000014
의 값을 구할 수 있다면, 에지 포인트가 계산될 수 있다.
두 직선 사이의 가장 가까운 점은 두 직선이
Figure PCTKR2022015087-appb-img-000015
와 서로 수직이 되는 지점일 수 있다. 두 직선이 서로 수직이라는 것은 직선들 간의 내적(dot product) 값이 0이라는 것을 의미할 수 있다. 이와 같은 특성을 이용하면
Figure PCTKR2022015087-appb-img-000016
의 값이 산출될 수 있다.
도 9는 본 발명에 따른 에지 검출 과정을 설명하는 순서도이다.
도 9를 참조하면, 먼저 삼각형 검출(Triangle-detection)이 수행되어 음원으로부터 슈팅한 레이와 충돌되는 삼각형들을 찾을 수 있다(S910). 그 이후에 본 발명에 따른 에지 검출이 수행될 수 있다. 에지 포인트 산출(Edge-point calculation) 단계에서는 위에서 설명했듯이 충돌된 삼각형에 대한 에지 포인트, 서브 에지 포인트+(Sub-edge point+) 및 서브 에지 포인트-(Sub-edge point-)를 계산될 수 있다. 그 후, 해당 정보를 기반으로 해당 에지가 회절이 수행 가능한지 검사할 수 있다. 이를 위해 LSE-I, LSE+I, SSE+I 단계가 순서대로 수행될 수 있다(S930). 해당 과정은 에지 검출(Edge-detection)에 해당할 수 있으며, 삼각형 검출(S910)을 통해 검출된 삼각형들 각각에 대해 반복적으로 수행될 수 있다.
보다 구체적으로, LSE-I는 도 6의 레이 (1)에 해당하는 과정으로써, 청취자로부터 서브 에지 포인트-(Sub-edge point-) 방향으로 레이를 슈팅하고 교차 테스트(intersection-test)를 수행할 수 있다. 만약 슈팅된 레이가 어떠한 삼각형과 충돌된다면, 해당 교차 테스트는 성공한 것으로 판단하고 다음 단계로 진행하여 LSE+I가 수행될 수 있다. 그렇지 않은 경우 알고리즘은 종료될 수 있다.
LSE+I는 도 6의 레이 (2)에 해당하는 과정으로써, 청취자로부터 서브 에지 포인트+(Sub-edge point+) 방향으로 레이를 슈팅하고 교차 테스트를 수행할 수 있다. 만약 슈팅된 레이가 어떠한 삼각형과 충돌된다면, 해당 교차 테스트는 성공한 것으로 판단하고 다음 단계로 진행하여 SSE+I가 수행될 수 있다. 그렇지 않은 경우 알고리즘은 종료될 수 있다.
SSE+I는 도 6의 레이 (3)에 해당하는 과정으로써, 음원으로부터 서브 에지 포인트+(Sub-edge point+) 방향으로 레이를 슈팅하고 교차 테스트를 수행할 수 있다. 만약 슈팅된 레이가 어떠한 삼각형과 충돌되지 않는다면, 해당 교차 테스트는 성공한 것으로 판단하며 최종적으로 해당 에지를 회절이 수행 가능한 에지로 판단할 수 있다. 이러한 일련의 작업은 삼각형 검출(Triangle-detection) 단계(S910)를 통해 계산된 모든 삼각형들에 대해 수행될 수 있다.
본 발명에 따른 에지 검출 방법은 동적 장면에서 런타임에 회절이 수행 가능한 에지를 찾는다는 차별요소를 가질 수 있다. 기존의 사운드 트레이싱은 전처리 단계에서 에지 후보들을 계산하고 저장하기 때문에 동적 장면에서 대응이 불가능한 반면, 본 발명에 따른 방법은 매프레임마다 에지들을 찾음으로써 동적 장면에서도 대응이 가능할 수 있다. 이를 통해, 동적 장면에서 사용자들은 더 높은 현실감과 몰입감 있는 사운드를 전달받을 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
500: 에지 검출 장치
510: 삼각형 검출 처리부 530: 에지 검출 처리부;
550: 제어부
610: 왼쪽 삼각형 620: 오른쪽 삼각형
630: S(음원 위치) 640: L(청취자 위치)
710: 에지 직선 730: LS 직선

Claims (14)

  1. 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 단계; 및
    상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 단계;를 포함하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  2. 제1항에 있어서, 상기 삼각형 검출 단계는
    원점(origin) 및 방향(direction)을 정의하여 상기 레이를 생성하는 단계;
    상기 음원이 위치하는 3차원 공간에 관한 가속구조(AS)를 탐색하는 단계; 및
    상기 가속구조의 삼각형들을 탐색하면서 상기 레이와 삼각형 간의 교차 테스트를 수행하여 상기 충돌 삼각형들을 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  3. 제1항에 있어서, 상기 에지 검출 단계는
    충돌 삼각형과 인접 삼각형 사이의 에지를 결정하는 단계;
    상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정하는 단계; 및
    상기 에지 포인트로부터 특정 방향으로 소정의 값만큼 이동하여 적어도 하나의 서브 에지 포인트(sub-edge point)를 생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  4. 제3항에 있어서, 상기 에지 검출 단계는
    상기 에지 및 상기 직선을 각각 제1 및 제2 벡터방정식들로 표현하는 단계;
    상기 에지 및 상기 직선의 시작점들을 연결하는 제1 벡터와 상기 에지 및 상기 직선 사이의 가장 가까운 점들을 연결하는 제2 벡터를 정의하는 단계;
    상기 제1 벡터방정식의 u 벡터의 크기를 미지수로 정의하여 상기 에지 포인트를 벡터 방정식으로 표현하는 단계; 및
    상기 에지 및 상기 직선 각각과 상기 제2 벡터 사이의 내적 연산(dot product)을 통해 상기 미지수를 산출하여 상기 에지 포인트를 산출하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  5. 제3항에 있어서, 상기 에지 검출 단계는
    상기 에지 포인트를 기준으로 상기 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 상기 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  6. 제5항에 있어서, 상기 에지 검출 단계는
    상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  7. 제6항에 있어서, 상기 에지 검출 단계는
    상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이를 생성하는 단계;
    상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이를 생성하는 단계; 및
    상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  8. 제7항에 있어서, 상기 에지 검출 단계는
    상기 제1 테스트 레이가 상기 충돌 삼각형과 충돌하고 상기 제2 및 제3 테스트 레이들이 상기 충돌 삼각형과 충돌하지 않는 경우 상기 에지 포인트에서 회절을 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  9. 제1항에 있어서, 상기 에지 검출 단계는
    상기 충돌 삼각형들 각각에 대해 반복적으로 수행되는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 방법.
  10. 음원(sound source)로부터 출발한 레이(ray)와 충돌하는 충돌 삼각형들을 검출하는 삼각형 검출(triangle-detection) 처리부; 및
    상기 충돌 삼각형들을 기초로 적어도 에지 포인트(edge-point)를 산출하고 상기 음원 또는 청취자를 기준으로 상기 적어도 에지 포인트를 향해 출발하는 테스트 레이에 관한 교차 테스트(intersection-test)를 수행하여 상기 에지 포인트에서의 회절 여부를 결정하는 에지 검출(edge-detection) 처리부;를 포함하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
  11. 제10항에 있어서, 상기 에지 검출 처리부는
    충돌 삼각형과 인접 삼각형 사이의 에지를 결정하고 상기 에지 상의 점들 중에서 상기 음원 및 상기 청취자 사이의 직선과 가장 가까운 점을 상기 에지 포인트로서 결정하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
  12. 제11항에 있어서, 상기 에지 검출 처리부는
    상기 에지 포인트를 기준으로 특정 방향에 따라 양의 방향 및 음의 방향으로 각각 소정의 값만큼 이동하여 서로 다른 2개의 서브 에지 포인트들을 생성하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
  13. 제12항에 있어서, 상기 에지 검출 처리부는
    상기 2개의 서브 에지 포인트들 중에서 상기 청취자와 가까우면 제1 서브 에지 포인트로 결정하고 상기 음원과 가까우면 제2 서브 에지 포인트로 결정하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
  14. 제13항에 있어서, 상기 에지 검출 처리부는
    상기 청취자로부터 상기 제1 서브 에지 포인트를 향해 출발하는 제1 테스트 레이, 상기 청취자로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제2 테스트 레이, 및 상기 음원으로부터 상기 제2 서브 에지 포인트를 향해 출발하는 제3 테스트 레이를 기초로 상기 에지 포인트에서 회절을 결정하는 것을 특징으로 하는 사운드 트레이싱의 회절을 위한 에지 검출 장치.
PCT/KR2022/015087 2021-12-20 2022-10-07 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치 Ceased WO2023120902A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/022,874 US12309571B2 (en) 2021-12-20 2022-10-07 Method and apparatus for edge detection for diffraction of sound tracing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210183124A KR102620729B1 (ko) 2021-12-20 2021-12-20 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치
KR10-2021-0183124 2021-12-20

Publications (1)

Publication Number Publication Date
WO2023120902A1 true WO2023120902A1 (ko) 2023-06-29

Family

ID=86902791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/015087 Ceased WO2023120902A1 (ko) 2021-12-20 2022-10-07 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치

Country Status (3)

Country Link
US (1) US12309571B2 (ko)
KR (1) KR102620729B1 (ko)
WO (1) WO2023120902A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102800536B1 (ko) * 2023-11-10 2025-04-25 인하대학교 산학협력단 가상 환경과 지형에서 기하학적 접근 방식을 통해 사운드를 전파하고 리매핑하는 방법과 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9241212B2 (en) * 2009-05-29 2016-01-19 Siliconarts, Inc. Ray tracing apparatus and method
KR101955552B1 (ko) * 2017-11-29 2019-03-07 세종대학교 산학협력단 사운드 트레이싱 코어 및 이를 포함하는 사운드 트레이싱 시스템
KR102019179B1 (ko) * 2018-12-19 2019-09-09 세종대학교산학협력단 사운드 트레이싱 장치 및 방법
KR102117932B1 (ko) * 2018-12-26 2020-06-02 세종대학교산학협력단 사운드 트레이싱 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101828908B1 (ko) 2016-12-28 2018-02-13 세종대학교 산학협력단 사운드 트레이싱 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9241212B2 (en) * 2009-05-29 2016-01-19 Siliconarts, Inc. Ray tracing apparatus and method
KR101955552B1 (ko) * 2017-11-29 2019-03-07 세종대학교 산학협력단 사운드 트레이싱 코어 및 이를 포함하는 사운드 트레이싱 시스템
KR102019179B1 (ko) * 2018-12-19 2019-09-09 세종대학교산학협력단 사운드 트레이싱 장치 및 방법
KR102117932B1 (ko) * 2018-12-26 2020-06-02 세종대학교산학협력단 사운드 트레이싱 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCHISSLER CARL; MÜCKL GREGOR; CALAMIA PAUL: "Fast diffraction pathfinding for dynamic sound propagation", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 40, no. 4, 19 July 2021 (2021-07-19), US , pages 1 - 13, XP059134485, ISSN: 0730-0301, DOI: 10.1145/3450626.3459751 *

Also Published As

Publication number Publication date
US20250080938A1 (en) 2025-03-06
KR102620729B1 (ko) 2024-01-05
US12309571B2 (en) 2025-05-20
KR20230094002A (ko) 2023-06-27

Similar Documents

Publication Publication Date Title
WO2015060660A1 (en) Method of generating multi-channel audio signal and apparatus for carrying out same
WO2013019022A2 (en) Method and apparatus for processing audio signal
WO2010137821A2 (ko) 레이 트레이싱 장치 및 방법
WO2020138716A1 (ko) 사운드 트레이싱 장치 및 방법
WO2016006786A1 (en) Rendering system and rendering method thereof
WO2016027910A1 (ko) 레이 트레이싱 방법, 이를 수행하는 레이 트레이싱 장치 및 이를 저장하는 기록매체
Liu et al. Visually guided binaural audio generation with cross-modal consistency
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
US12309571B2 (en) Method and apparatus for edge detection for diffraction of sound tracing
Hong et al. MVANet: Multi-stage video attention network for sound event localization and detection with source distance estimation
KR20220125955A (ko) 사운드 전파 성능 향상을 위한 사운드 트레이싱 방법
KR102019179B1 (ko) 사운드 트레이싱 장치 및 방법
KR101955552B1 (ko) 사운드 트레이싱 코어 및 이를 포함하는 사운드 트레이싱 시스템
WO2020080718A1 (ko) 모듈화된 신경망의 데이터 처리를 제어하는 전자 장치 및 그 제어 방법
WO2024136409A1 (ko) 화자 분할 방법 및 시스템
WO2025225796A1 (ko) 사운드 트레이싱 기반의 실시간 음향 시각화 장치 및 방법
KR102474824B1 (ko) 사운드 전파 성능 향상을 위한 사운드 트레이싱 장치
WO2024177299A1 (ko) 그래픽 성능과 동기화 가능한 사운드 트레이싱 장치 및 방법
WO2017217595A1 (ko) 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템
WO2016027912A1 (ko) 레이 트레이싱 방법, 이를 수행하는 레이 트레이싱 장치 및 이를 저장하는 기록매체
WO2023203806A1 (ja) 作業支援装置
US20250168588A1 (en) Method and system for enhancing audio fidelity in a virtual teleconferencing environment
WO2026071748A1 (ko) 가상 사운드 전파공간의 특성을 최적화한 입체 사운드 재생성 장치
WO2016163833A1 (ko) 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
JP2022173917A (ja) 最適視点検出装置及びそのプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 18022874

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911541

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22911541

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18022874

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 18022874

Country of ref document: US