WO2015129977A1 - 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치 - Google Patents

대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치 Download PDF

Info

Publication number
WO2015129977A1
WO2015129977A1 PCT/KR2014/008720 KR2014008720W WO2015129977A1 WO 2015129977 A1 WO2015129977 A1 WO 2015129977A1 KR 2014008720 W KR2014008720 W KR 2014008720W WO 2015129977 A1 WO2015129977 A1 WO 2015129977A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
weighted average
band
source position
snr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/008720
Other languages
English (en)
French (fr)
Inventor
송재종
박성주
양창모
박호종
구자성
한택진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2015129977A1 publication Critical patent/WO2015129977A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves

Definitions

  • the present invention relates to a method and apparatus for detecting a sound source position having a direction through a panning technique in a music signal in which several musical instrument sources including vocals are mixed.
  • position estimation in a stereo sound source estimates a sound source position of a primary component having a direction.
  • the sound source position of the main component is shaken.
  • the main component is separated using the PCA and the sound source position of the main component is estimated.
  • the sound source position is estimated for each band, the estimated sound source position is converted into one frame position to detect the actual sound source position.
  • the accuracy of the sound source position estimated for each band is different, there is a problem that the accuracy is reduced when estimating the frame position using a uniform average.
  • the surrounding components have more energy at low frequencies, reducing the accuracy of the low band estimated sound source position. This is because both the main component and the surrounding components decrease in energy at higher frequencies.
  • the sound source position estimated in the low energy section is not accurate, and thus, when the frame position is estimated using a uniform average without considering accuracy, the accuracy of the detected sound source position is lowered.
  • the prior art does not efficiently estimate the accuracy of the position of the correct sound source object in the music signal including several sound sources.
  • An object of the present invention is to provide an apparatus and method for improving the accuracy of sound source object position estimation efficiently and accurately.
  • another object of the present invention is to determine the high accuracy interval of the estimated sound source position in the estimation of the sound source position, the high accuracy interval can be obtained using the estimated SNR and energy for each band using the PCA, accuracy It is aimed at estimating the position of a sound source more precisely through a weighted average.
  • the input stereo signal is separated into a main component and a peripheral component by a PCA (Principle Component Analysis) technique and an eigenvector for the main component of the stereo signal. Extracting; Extracting a sound source position for each band of the stereo signal using the extracted eigenvectors; And calculating a weighted average according to the accuracy of the extracted sound source position using energy of each band of the stereo signal.
  • PCA Principal Component Analysis
  • the method for detecting a sound source position using a weighted average according to the accuracy of each band may further include detecting a frame sound source position of the stereo signal using the calculated weighted average.
  • the calculating of the weighted average may include determining whether to calculate a weighted average according to the energy of each band; And calculating a weighted average using SNR for the band in which the calculation of the weighted average is determined.
  • the calculating of the weighted average using the SNR may include calculating an estimated SNR using an estimated original signal and a peripheral component signal separated by the PCA technique, and using the calculated estimated SNR to weight the frame sound source position. It is preferable to calculate the average.
  • the sound source position detection apparatus using a weighted average according to the present embodiment for solving the technical problem is to separate the input stereo signal into a principal component and a peripheral component by the PCA (Principle Component Analysis) technique to the eigenvector for the principal component of the stereo signal
  • a vector extraction unit for extracting the
  • a band-specific sound source position extracting unit for extracting a band-specific sound source position of the stereo signal using the extracted eigenvectors
  • a weighted average calculator configured to calculate a weighted average according to the accuracy of the extracted sound source position using energy of each band of the stereo signal
  • a frame sound source position detector for detecting a frame sound source position of the stereo signal using the calculated weighted average.
  • the position estimation accuracy of the sound source object can be improved, the position of the sound source object in the next source music signal can be more accurately implemented. It is possible to effectively improve the sound source object position estimation accuracy by using.
  • the sound source object may be rearranged.
  • FIG. 1 is a block diagram illustrating a sound source position detection apparatus using a weighted average according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a sound source position detection method using a weighted average according to an embodiment of the present invention.
  • FIG 3 is an exemplary view showing an estimated sound source position error according to SNR of the sound source position detection method using a weighted average according to an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram illustrating weights according to SNR of a sound source position detection method using a weighted average according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram illustrating an estimated sound source position error according to energy of a sound source position detection method using a weighted average according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a sound source position detection apparatus using a weighted average according to band-specific accuracy according to an embodiment of the present invention.
  • the sound source position detection apparatus using the weighted average according to the accuracy of each band according to the present embodiment includes a vector extractor 100, a sound source extractor 200 for each band, a weighted average calculator 300, and a sound source position detector.
  • the vector extractor 100 extracts an eigenvector for the main component of the stereo signal by separating the input stereo signal into a main component and a peripheral component by a PCA (Principle Component Analysis) technique.
  • PCA Principal Component Analysis
  • the band-specific sound source extractor 200 extracts the band-specific sound source positions of the stereo signal using the extracted eigenvectors.
  • the weighted average calculator 300 calculates a weighted average according to the accuracy of the extracted sound source position using energy of each band of the stereo signal.
  • the sound source position detector detects the frame sound source position of the stereo signal using the calculated weighted average.
  • the weighted average calculation unit 300 calculates a weighted average using the SNR for the energy weighted average calculation unit 300 for determining whether to calculate the weighted average according to the energy for each band, and the band for which the calculation of the weighted average is determined
  • the SNR weighted average calculation unit 300 is further included.
  • the SNR weighted average calculation unit 300 calculates an estimated SNR by using the estimated original signal and the peripheral component signals separated by the PCA method, and the calculated estimation. The SNR is used to calculate a weighted average for detection of the frame sound source position.
  • the sound source position detector detects the frame sound source position of the stereo signal using the calculated weighted average.
  • FIG. 2 is a flowchart illustrating a sound source position detection method using a weighted average according to band-specific accuracy.
  • the sound source position detection method using a weighted average according to the accuracy of each band according to the present embodiment is a vector extraction step (S100), a band-specific sound source extraction step (S200), a weighted average calculation step (S300), a sound source Position detection step (S400).
  • the vector extractor extracts the eigenvectors for the main components of the stereo signal by separating the main components and the peripheral components by the PCA (Principle Component Analysis) technique.
  • PCA Principal Component Analysis
  • eigenvectors first, for extracting the eigenvectors, first perform N-point Discrete Fourier Transform (DFT) per frame of the input stereo signal, and then obtain covariance in the frequency domain.
  • DFT Discrete Fourier Transform
  • the eigenvectors of the left and right signals are estimated after separating the main and peripheral components using the PCA technique.
  • the band-specific sound source extractor 200 estimates the panning gain for each band using the estimated eigenvectors and converts the panning gain to the sound source position to extract the sound source position for each band of the stereo signal. do.
  • the weighted average calculator 300 calculates a weighted average according to the accuracy of the sound source position extracted by using band-specific energy of the stereo signal.
  • a method of calculating the weighted average according to the present embodiment will be described in detail.
  • the weighted average calculation step S300 may extract energy for each band. That is, it is determined whether the weighted average is calculated according to the energy for each band, and the weighted average using the SNR is calculated for the band in which the calculation of the weighted average is determined.
  • the error becomes large and the accuracy decreases for the section where the energy of each band is too low.
  • the sound source position extracted for the section below the random energy is excluded when detecting the frame position through the weighted average or sets a very small weight. To minimize the impact.
  • the weighted average calculation step S300 calculates an estimated SNR weighted average using PCA.
  • the estimated SNR is estimated using the peripheral component signal and the input signal separated by PCA.
  • the weighted average is calculated using the SNR-weight curve obtained through learning.
  • SNR operates in the frequency domain to estimate the SNR using the input signal and the peripheral signal separated by PCA and to obtain the band-specific SNR.
  • the SNR may be extracted in dB scale.
  • P original means power of an original signal
  • P noise means power of a noise signal.
  • SNR is expressed as the ratio of power to the original signal and noise. It is assumed that the signal consisting of the main component is the original signal, and the peripheral component is noise. However, since the information on the original signal is unknown in the sound source position estimation technology, the estimated SNR is used. In this case, the original signal is estimated by separating the main component and the peripheral component of the input signal by using the PCA.
  • X input is the input signal and X primary and X ambient are the main and peripheral components.
  • X ⁇ original is the original signal estimated using the input signal and ambient components
  • X ⁇ ambient is the ambient component separated using PCA. Since the input signal X input has main and peripheral components, the estimated original signal can be obtained by subtracting the X ⁇ ambient extracted from the input signal from the input signal. The estimated SNR is obtained using the surrounding components separated from the estimated original signal and the input signal.
  • FIG. 3 is an exemplary diagram illustrating an estimated sound source position error according to SNR. As the error approaches 0, the sound source position with high accuracy is estimated. In FIG. 3, when the SNR decreases, the error increases, and when the SNR increases, the error decreases. Therefore, the weight corresponding to the SNR value can be estimated using the graph of FIG. 4.
  • FIG. 4 is an exemplary diagram illustrating weights according to SNRs, and is a result calculated by using FIG. 3 as training data. That is, the weight according to the estimated SNR can be obtained using the graph shown in FIG. 4 and the equation for obtaining the weight is as follows.
  • weight is the weight and SNR estimate is the estimated SNR.
  • the reduction in accuracy at higher bands is due to the reduction in energy per band. This is because directionality is difficult to find in the low energy section. Therefore, it is not possible to estimate the sound source position in the low energy section.
  • the energy weighted average may be calculated in parallel with the SNR weighted average. At this time, it is alternatively performed differently from the SNR weighted average. That is, if the energy of a specific band falls below a certain value, the position estimate of the band is not used to extract the frame average.
  • FIG. 5 is an exemplary diagram illustrating an estimated sound source position error according to energy, and an error value is an angle and represents the smallest error at zero.
  • (a) is a graph of the whole energy band, and (b) is an enlarged portion of the energy 0 to 0.1 in the (a) graph.
  • the weighted average is estimated except for a band having an energy of 0.02 or less at the weighted average.
  • the weighted average calculation step (S300) may be performed by the weighted average calculator 300 to calculate a weighted average according to the accuracy of the extracted sound source location using band-specific energy of a stereo signal. After extracting the energy and determining the weighted average, it is possible to perform the SNR weighted average calculation for the low band according to an arbitrary criterion and to perform the alternative energy weighted average calculation for the high band.
  • the sound source position detecting step detects the frame sound source position of the stereo signal using the weighted average calculated by the sound source position detector.
  • the position estimation accuracy of the sound source object can be improved, the position of the sound source object in the next source music signal can be more accurately implemented. It is possible to effectively improve the sound source object position estimation accuracy by using.
  • the sound source object may be rearranged.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Stereophonic System (AREA)
  • Auxiliary Devices For Music (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 보컬을 포함하여 여러 악기 음원이 혼합된 음악 신호에서, 패닝 기법을 통해 방향성을 가지고 있는 음원 위치의 검출 방법 및 장치에 관한 것으로, 본 발명에 따른 가중 평균을 이용한 음원 위치 검출 방법은 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 단계; 상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 단계; 및 상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 단계를 포함한다. 본 발명에 따르면 음원 객체의 위치 추정 정확도를 향상할 수 있기 때문에 다음원 음악 신호에서 음원 객체별 위치를 보다 정확하게 구현하여 주며, 종래 기술에 사용하는 균일 평균 방식을 사용하지 않고 추정 SNR과 밴드별 에너지를 이용하여 효과적으로 음원 객체 위치 추정 정확도를 향상할 수 있다. 또한, 다양한 종류의 음악에 대하여 음원 객체의 위치를 추정함에 따라 음원 객체별 재 배치가 가능하다.

Description

대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치
본 발명은 보컬을 포함하여 여러 악기 음원이 혼합된 음악 신호에서, 패닝 기법을 통해 방향성을 가지고 있는 음원 위치의 검출 방법 및 장치에 관한 것이다.
일반적으로 스테레오 음원에서 위치 추정은 방향성을 가지고 있는 주성분(primary)의 음원 위치를 추정한다. 하지만 음원에 주성분과 방향성이 없는 주변 성분이 더해지면 주성분의 음원 위치가 흔들린다.
따라서, 주성분으로 이루어진 원본 신호에 주변 성분이 더해지면 주성분의 음원 위치를 정확하게 추정할 수 없으므로 PCA를 이용하여 주성분을 분리하고 주성분의 음원 위치를 추정한다. 밴드별로 음원 위치가 추정되면 추정된 음원 위치를 하나의 프레임 위치로 변환하여, 실제 음원 위치를 검출하게 된다.
이때 밴드별로 추정된 음원 위치의 정확도는 서로 다르므로 균일 평균을 이용하여 프레임 위치를 추정하는 경우 정확도가 감소하는 문제점이 있다. 즉, 주변 성분은 낮은 주파수에 더 많은 에너지를 가지고 있어, 낮은 밴드의 추정 음원 위치의 정확도를 감소시킨다. 주성분과 주변 성분 모두 높은 주파수로 갈수록 에너지가 감소하기 때문이다. 에너지가 낮은 구간에서 추정된 음원 위치는 정확도가 떨어지게 되고 따라서, 정확도를 고려하지 않고 균일 평균을 이용하여 프레임 위치를 추정하는 경우 검출된 음원 위치의 정확도가 떨어지게 된다.
즉, 종래 기술은 여러 음원을 포함하는 음악 신호에서 정확한 음원 객체의 위치의 정확도를 효율적으로 추정하지 못한다.
본 발명의 목적은 효율적이고 정확하게 음원 객체 위치 추정의 정확도의 향상 장치 및 방법을 제공함에 있다.
보다 상세하게는 본 발명의 다른 목적은 음원 위치의 추정에 있어 추정된 음원 위치 중 정확도가 높은 구간을 판단하여 정확도가 높은 구간은 PCA를 이용한 추정 SNR과 밴드별 에너지를 이용하여 구할 수 있으며, 정확도에 따른 가중 평균(weighted average)을 통하여 좀 더 정밀하게 음원의 위치를 추정하는 것을 목적으로 한다.
상기 기술적 과제를 해결하기 위한 본 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법은 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 단계; 상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 단계; 및 상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 단계를 포함한다.
상기 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법은, 상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 단계를 더 포함하는 것이 바람직하다.
상기 가중 평균을 산출하는 단계는 상기 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 단계; 및 상기 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 단계를 포함한다.
상기 SNR을 이용한 가중 평균을 산출하는 단계는 추정 원본 신호와 상기 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고, 상기 산출된 추정 SNR을 이용하여 상기 프레임 음원 위치의 검출을 위한 가중 평균을 산출하는 것이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 실시예에 따른 가중 평균을 이용한 음원 위치 검출 장치는 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 벡터 추출부; 상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 대역별 음원 위치 추출부; 상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 가중 평균 산출부; 및 상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 프레임 음원 위치 검출부를 포함한다.
본 발명에 따르면 음원 객체의 위치 추정 정확도를 향상할 수 있기 때문에 다음원 음악 신호에서 음원 객체별 위치를 보다 정확하게 구현하여 주며, 종래 기술에 사용하는 균일 평균 방식을 사용하지 않고 추정 SNR과 밴드별 에너지를 이용하여 효과적으로 음원 객체 위치 추정 정확도를 향상할 수 있다.
또한, 다양한 종류의 음악에 대하여 음원 객체의 위치를 추정함에 따라 음원 객체별 재 배치가 가능하다.
도 1은 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법의 SNR에 따른 추정 음원 위치 오차를 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법의 SNR에 따른 가중치를 나타내는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 가중 평균을 이용한 음원 위치 검출 방법의 에너지에 따른 추정 음원 위치 오차를 나타내는 예시도이다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치에 대하여 설명한다.
먼저 도 1을 참조하면, 도 1은 본 발명의 일실시예에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치를 나타내는 블록도이다.
본 실시예에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치는 벡터 추출부(100), 대역별 음원 추출부(200), 가중 평균 산출부(300), 음원 위치 검출부를 포함한다.
본 실시예에서 벡터 추출부(100)는 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 스테레오 신호의 주성분에 대한 고유벡터를 추출한다.
고유벡터가 추축되면 대역별 음원 추출부(200)는 추출된 고유벡터를 이용하여 스테레오 신호의 대역별 음원 위치를 추출한다.
다음, 가중 평균 산출부(300)는 스테레오 신호의 대역별 에너지를 이용하여 추출된 음원 위치의 정확도에 따른 가중 평균을 산출한다.
음원 위치 검출부는 산출된 가중 평균을 이용하여 스테레오 신호의 프레임 음원 위치를 검출하게 된다.
또한, 가중 평균 산출부(300)는 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 에너지 가중 평균 산출부(300)와, 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 SNR 가중 평균 산출부(300)를 더 포함하고, 본 실시예에서 SNR 가중 평균 산출부(300)는 추정 원본 신호와 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고, 산출된 추정 SNR을 이용하여 프레임 음원 위치의 검출을 위한 가중 평균을 산출한다.
다음 음원 위치 검출부가 산출된 가중 평균을 이용하여 스테레오 신호의 프레임 음원 위치를 검출하게 된다.
이하 도 2를 참조하여 본 발명에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치의 동작에 대하여 보다 상세히 설명한다.
도 2는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법을 나타내는 흐름도이다.
도 2를 참조하면, 본 실시예에 따른 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법은 벡터 추출 단계(S100), 대역별 음원 추출 단계(S200), 가중 평균 산출 단계(S300), 음원 위치 검출 단계(S400)를 포함한다.
상술한 바와 같이 벡터 추출 단계(S100)는 백터 추출부가 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 스테레오 신호의 주성분에 대한 고유벡터를 추출한다.
구체적으로, 고유벡터의 추출을 위하여 먼저 먼저 입력된 스테레오 신호의 프레임별 N-point DFT(Discrete Fourier Transform)를 수행한 후 주파수 영역에서의 공분산을 구한다. 구해진 공분산을 이용하여 PCA 기법으로 주성분과 주변 성분을 분리한 후 좌, 우 신호의 고유벡터를 추정한다.
다음 대역별 음원 추출 단계(S200)는 대역별 음원 추출부(200)가, 추정한 고유벡터를 이용해 패닝 게인을 대역 별로 추정하고 패닝 게인을 음원 위치로 변환하여 스테레오 신호의 대역별 음원 위치를 추출한다.
이때 대역별로 추정된 음원 위치의 정확도는 상술한 바와 같이 서로 다르므로 균일 평균(uniform average)으로 음원 위치를 결정하면 정확한 위치를 찾을 수 없으므로, 추정된 음원 위치 중 정확도가 높은 구간을 판단하고, 이에 따라 가중치를 얻고 프레임에 대한 가중 평균을 산출하여야 한다.
따라서, 가중 평균 산출 단계(S300)는 가중 평균 산출부(300)가 스테레오 신호의 대역별 에너지를 이용하여 추출된 음원 위치의 정확도에 따른 가중 평균을 산출한다. 이하 본 실시예에 따른 가중 평균의 산출방법에 대하여 상세히 설명한다.
먼저 본 실시예에서 가중 평균 산출 단계(S300)는 대역별 에너지를 추출할 수 있다. 즉, 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하고 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출한다.
대역별 에너지가 너무 적은 구간에 대해서는 오차가 커지고 정확도가 떨어지는 문제가 발생하는 바, 임의의 에너지 이하의 구간에 대하여 추출된 음원 위치는 가중 평균을 통한 프레임 위치 검출시 제외하거나, 매우 작은 가중치를 설정하여 영향을 최소화 할 수 있다.
다음, 대역별 에너지가 가중 평균의 산출에 적합한 수준 이상인 경우 본 실시예에서 가중 평균 산출 단계(S300)는 PCA를 이용한 추정 SNR 가중 평균을 산출 한다.
추정 SNR은 PCA로 분리한 주변 성분 신호와 입력신호를 이용하여 추정한다. 추정 SNR이 높을수록 추정치의 정확도가 높아지며 에너지가 클수록 추정치의 정확도가 높아진다. 학습을 통해 미리 얻은 SNR-weight 곡선을 이용하여 가중 평균의 가중치를 산출한다.
즉, 낮은 밴드에서는 주변 성분이 많이 더해져 있어 SNR을 이용하여 가중치를 추정할 수 있다. SNR은 입력 신호와 PCA로 분리한 주변 신호를 이용하여 추정하고 밴드별 SNR을 구하기 위해 주파수 도메인에서 동작한다.
[수학식 1]
Figure PCTKR2014008720-appb-I000001
수학식 1을 참조하면 본 실시예에서 SNR은 dB스케일로 추출될 수 있다. 수학식 1에서 Poriginal은 원본 신호에 대한 파워, Pnoise는 노이즈 신호에 대한 파워를 의미한다.
즉, SNR은 원본 신호와 잡음에 대한 파워의 비로 나타낸다. 주성분으로 이루어진 신호를 원본 신호, 주변 성분을 노이즈라 가정한다. 다만, 음원 위치 추정 기술에서 원본 신호에 대한 정보를 알 수 없으므로 추정 SNR을 사용한다. 이때 원본 신호의 추정은 입력 신호의 주성분과 주변 성분을 PCA를 이용하여 분리하고 수학식 2를 통해 추정한다.
[수학식 2]
Xinput 〓 Xprimary ＋ Xambient
X^original 〓 Xinput － X^ambient
위 식에서 Xinput은 입력신호이고 Xprimary와 Xambient는 주성분과 주변 성분이다. 그리고 X^original은 입력신호와 주변성분을 이용해 추정한 원본신호이고 X^ambient는 PCA를 이용하여 분리한 주변성분이다. 입력 신호 Xinput에 주성분과 주변성분이 있으므로 입력 신호에서 추출한 X^ambient을 입력신호와 빼면 추정 원본신호를 구할 수 있다. 추정 원본 신호와 입력신호에서 분리한 주변 성분을 이용해 추정 SNR을 구한다.
즉, 도 3을 참조하면 도 3은 SNR에 따른 추정 음원 위치 오차를 나타내는 예시도로서, 오차가 0에 가까울수록 정확도가 높은 음원 위치를 추정한 것이다. 도 3에서 SNR이 감소하면 오차는 커지고 SNR이 상승하면 오차는 감소한다. 따라서 SNR값에 대응하는 가중치는 도 4에 따른 그래프를 이용하여 추정할 수 있다.
도 4는 SNR에 따른 가중치를 나타내는 예시도로서, 도 3을 training 데이터로 사용하여 추정하여 산출된 결과이다. 즉, 도 4에 나타난 그래프를 이용하여 추정 SNR에 따른 가중치를 구할 수 있고 가중치를 구하기 위한 식은 다음과 같다.
[수학식 3]
Figure PCTKR2014008720-appb-I000002
위 식에서 weight는 가중치, SNRestimate은 추정 SNR이다. 위 식에 추정 SNR을 대입하여 SNR에 따른 가중치를 얻고 프레임에 대한 가중 평균을 얻을 수 있다.
이하, 또 다른 가중치 판별 방법으로서 높은 대역에 대한 가중 평균 산출 방법에 대하여 설명한다.
즉, 높은 밴드에서의 정확도 감소는 밴드별 에너지 감소 때문에 발생한다. 에너지가 작은 구간에서는 방향성을 찾기 어렵기 때문이다. 따라서 에너지가 작은 구간에서는 음원 위치 추정을 할 수 없다.
본 실시예에서는 SNR 가중 평균 산출과 병행하여 에너지 가중 평균 산출을 수행할 수 있다. 이때 SNR 가중 평균과 다르게 양자택일로 진행된다. 즉, 특정 밴드의 에너지가 일정 값 이하로 떨어지면 그 밴드의 위치 추정값은 프레임 평균을 추출하는 데 사용하지 않는다.
도 5를 참조하면, 도 5는 에너지에 따른 추정 음원 위치 오차를 나타내는 예시도로서, 오차 값은 각도이고 0에서 가장 작은 오차를 나타낸다. (a)는 에너지 전대역에 대한 그래프를 그린 것이고 (b)는 (a) 그래프에서 에너지 0 ∼ 0.1 사이의 부분을 확대하여 그린 것이다. 에너지와 작을 때 정확도가 함께 떨어지고 특히 밴드 에너지 값이 0.02 이하부터 오차 값이 커지기 시작한다. 따라서 본 실시예에서는 가중 평균시 에너지 0.02 이하의 밴드는 제외하고 가중 평균을 추정한다.
즉, 본 실시예에서 가중 평균 산출 단계(S300)는 가중 평균 산출부(300)가 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출함에 있어, 먼저 대역별 에너지를 추출하고 가중 평균의 산출 여부를 결정한 다음, 임의의 기준에 따라 낮은 밴드에 대해서는 SNR 가중 평균 산출을 수행할 수 있으며 또한 높은 밴드에 대해서는 양자 택일 적인 에너지 가중 평균 산출을 수행할 수 있다.
이상의 실시예에 따라 가중 평균이 산출되면 음원 위치 검출 단계는 음원 위치 검출부가 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하게 된다.
본 발명에 따르면 음원 객체의 위치 추정 정확도를 향상할 수 있기 때문에 다음원 음악 신호에서 음원 객체별 위치를 보다 정확하게 구현하여 주며, 종래 기술에 사용하는 균일 평균 방식을 사용하지 않고 추정 SNR과 밴드별 에너지를 이용하여 효과적으로 음원 객체 위치 추정 정확도를 향상할 수 있다.
또한, 다양한 종류의 음악에 대하여 음원 객체의 위치를 추정함에 따라 음원 객체별 재 배치가 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

  1. 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 단계;
    상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 단계; 및
    상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 단계를 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법.
  2. 제 1 항에 있어서,
    상기 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법은,
    상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 단계를 더 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법.
  3. 제 1 항에 있어서,
    상기 가중 평균을 산출하는 단계는 상기 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 단계; 및
    상기 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 단계를 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법.
  4. 제 3 항에 있어서,
    상기 SNR을 이용한 가중 평균을 산출하는 단계는 추정 원본 신호와 상기 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고,
    상기 산출된 추정 SNR을 이용하여 상기 프레임 음원 위치의 검출을 위한 가중 평균을 산출하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법.
  5. 입력된 스테레오 신호를 PCA(Principle Component Analysis) 기법으로 주성분과 주변성분으로 분리하여 상기 스테레오 신호의 주성분에 대한 고유벡터를 추출하는 벡터 추출부;
    상기 추출된 고유벡터를 이용하여 상기 스테레오 신호의 대역별 음원 위치를 추출하는 대역별 음원 위치 추출부;
    상기 스테레오 신호의 대역별 에너지를 이용하여 상기 추출된 음원 위치의 정확도에 따른 가중 평균을 산출하는 가중 평균 산출부; 및
    상기 산출된 가중 평균을 이용하여 상기 스테레오 신호의 프레임 음원 위치를 검출하는 프레임 음원 위치 검출부를 더 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치.
  6. 제 5 항에 있어서,
    상기 가중 평균 산출부는 상기 대역별 에너지에 따라 가중 평균의 산출 여부를 결정하는 에너지 가중 평균 산출부; 및
    상기 가중 평균의 산출이 결정된 대역에 대하여 SNR을 이용한 가중 평균을 산출하는 SNR 가중 평균 산출부를 포함하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치.
  7. 제 6 항에 있어서,
    상기 SNR 가중 평균 산출부는 추정 원본 신호와 상기 PCA 기법으로 분리된 주변성분 신호를 이용하여 추정 SNR을 산출하고,
    상기 산출된 추정 SNR을 이용하여 상기 프레임 음원 위치의 검출을 위한 가중 평균을 산출하는 것을 특징으로 하는 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 장치.
PCT/KR2014/008720 2014-02-27 2014-09-18 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치 Ceased WO2015129977A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140023339A KR101509649B1 (ko) 2014-02-27 2014-02-27 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치
KR10-2014-0023339 2014-02-27

Publications (1)

Publication Number Publication Date
WO2015129977A1 true WO2015129977A1 (ko) 2015-09-03

Family

ID=53032633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/008720 Ceased WO2015129977A1 (ko) 2014-02-27 2014-09-18 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101509649B1 (ko)
WO (1) WO2015129977A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108375763A (zh) * 2018-01-03 2018-08-07 北京大学 一种应用于多声源环境的分频定位方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101825949B1 (ko) * 2015-10-06 2018-02-09 전자부품연구원 음원 분리를 포함하는 음원 위치 추정 장치 및 방법
CN119667343A (zh) * 2024-12-23 2025-03-21 广东电网有限责任公司东莞供电局 一种应用于变压器直流偏磁检测的宽带声学成像方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030046727A (ko) * 2001-12-06 2003-06-18 박규식 서브밴드 씨피에스피 알고리듬을 이용한 음원위치추정방법및 그 시스템
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR20090050380A (ko) * 2007-11-15 2009-05-20 삼성전자주식회사 오디오 매트릭스 디코딩 방법 및 장치
JP2013507048A (ja) * 2009-10-05 2013-02-28 ハーマン インターナショナル インダストリーズ インコーポレイテッド オーディオ信号の空間的抽出のためのシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030046727A (ko) * 2001-12-06 2003-06-18 박규식 서브밴드 씨피에스피 알고리듬을 이용한 음원위치추정방법및 그 시스템
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR20090050380A (ko) * 2007-11-15 2009-05-20 삼성전자주식회사 오디오 매트릭스 디코딩 방법 및 장치
JP2013507048A (ja) * 2009-10-05 2013-02-28 ハーマン インターナショナル インダストリーズ インコーポレイテッド オーディオ信号の空間的抽出のためのシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108375763A (zh) * 2018-01-03 2018-08-07 北京大学 一种应用于多声源环境的分频定位方法
CN108375763B (zh) * 2018-01-03 2021-08-20 北京大学 一种应用于多声源环境的分频定位方法

Also Published As

Publication number Publication date
KR101509649B1 (ko) 2015-04-07

Similar Documents

Publication Publication Date Title
US10602267B2 (en) Sound signal processing apparatus and method for enhancing a sound signal
JP5701164B2 (ja) 位置検出装置及び位置検出方法
EP1701587A2 (en) Acoustic signal processing
KR20120080409A (ko) 잡음 구간 판별에 의한 잡음 추정 장치 및 방법
WO2018139882A1 (ko) 레이더를 이용한 거리 측정 방법 및 장치
WO2016056683A1 (ko) 전자 장치 및 이의 잔향 제거 방법
KR100877914B1 (ko) 음원위치-지연시간차 상관관계 역 추정에 의한 음원 방향검지 시스템 및 방법
WO2013048029A1 (en) Method for measuring position of user terminal
IL155000A (en) Balanced object tracker in an image sequence
US20160033615A1 (en) Acoustic processing device and acoustic processing method
KR20130014895A (ko) 음원 분리 기준 결정 장치와 방법 및 음원 분리 장치와 방법
Li et al. Estimation of relative transfer function in the presence of stationary noise based on segmental power spectral density matrix subtraction
WO2019212069A1 (ko) 딥-러닝을 통한 무선신호 전파 채널 해석을 이용한 실내공간의 구조를 예측하는 방법
WO2018139887A1 (ko) 레이더를 이용하여 객체 탐지를 위한 임계 값을 적응적으로 설정하는 방법 및 장치
CN107121669A (zh) 声源探测装置、声源探测方法及非瞬时性记录介质
WO2011136407A1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
US20130156221A1 (en) Signal processing apparatus and signal processing method
WO2018159902A1 (ko) 복수의 라이다 센서 캘리브레이션 방법 및 장치
KR101509649B1 (ko) 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치
WO2017030233A1 (ko) 모바일 컴퓨팅 장치의 위치 검출 방법 및 이를 수행하는 모바일 컴퓨팅 장치
WO2016108406A1 (ko) 차량 위치 검출 장치 및 방법
WO2012138175A2 (ko) 선체부착형 음파탐지기 및 이를 구비한 선박
WO2017111386A1 (ko) 입력 신호의 특징 파라미터 추출 장치 및 그를 이용한 화자 인식 장치
WO2011136405A1 (ko) 3ｄ 카메라를 이용한 영상인식장치 및 방법
WO2017122855A1 (ko) 무선 통신 신호의 도달 시간을 추정하는 방법 및 이를 수록한 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14884177

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14884177

Country of ref document: EP

Kind code of ref document: A1