WO2011046474A2 - Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания - Google Patents

Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания Download PDF

Info

Publication number
WO2011046474A2
WO2011046474A2 PCT/RU2010/000661 RU2010000661W WO2011046474A2 WO 2011046474 A2 WO2011046474 A2 WO 2011046474A2 RU 2010000661 W RU2010000661 W RU 2010000661W WO 2011046474 A2 WO2011046474 A2 WO 2011046474A2
Authority
WO
WIPO (PCT)
Prior art keywords
formant
phonograms
phonogram
speech
fragments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/RU2010/000661
Other languages
English (en)
French (fr)
Other versions
WO2011046474A3 (ru
Inventor
Сергей Львович КОВАЛЬ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Obschestvo S Ogranichennoi Otvetstvennost'yu <<centr Rechevyh Tehnologij>>
Original Assignee
Obschestvo S Ogranichennoi Otvetstvennost'yu <<centr Rechevyh Tehnologij>>
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Obschestvo S Ogranichennoi Otvetstvennost'yu <<centr Rechevyh Tehnologij>> filed Critical Obschestvo S Ogranichennoi Otvetstvennost'yu <<centr Rechevyh Tehnologij>>
Priority to EA201290082A priority Critical patent/EA019949B1/ru
Priority to EP10823678.7A priority patent/EP2482277B1/en
Priority to ES10823678.7T priority patent/ES2547731T3/es
Publication of WO2011046474A2 publication Critical patent/WO2011046474A2/ru
Publication of WO2011046474A3 publication Critical patent/WO2011046474A3/ru
Priority to US13/429,260 priority patent/US9047866B2/en
Anticipated expiration legal-status Critical
Priority to US13/956,240 priority patent/US20130325470A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/20—Pattern transformations or operations aimed at increasing system robustness, e.g. against channel noise or different working conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information

Definitions

  • a method for identifying a speaker by phonograms of arbitrary oral speech based on formant alignment is based on formant alignment.
  • the invention relates to the field of recognition of a speaker by voice, in particular, to automatic, automated and expert methods for identifying a speaker by phonograms of arbitrary oral speech, intended, inter alia, for forensic research.
  • identification of a speaker by phonograms of arbitrary oral speech in particular, applicable for forensic purposes and taking into account the above problems, namely, methods that make it possible to identify speakers by short phonograms recorded in various recording channels with a high level of interference and distortion, by phonograms, containing oral speech, delivered by speakers in different psychophysiological states, with different verbal content, with different pronunciation languages.
  • the speech signal is filtered using a comb of 24 band-pass filters, then it is detected, smoothed, and then, using an analog-to-digital converter and switch, the signal is input into a digital processing device, where the individualizing features associated with the integrated spectrum of speech are automatically extracted and stored.
  • this method has a large percentage of rejections of the identification decision, since it requires phonograms of an unknown and verified speaker with the same verbal content.
  • the speech signal is subjected to short-term spectral analysis, then the contours of the dependence of the characteristics of the spectrum and the fundamental tone of the voice on time are highlighted.
  • the resulting contours are individualizing features. Identification of speakers is based on a comparison of the resulting contours for the phonograms of the tested and unknown speakers.
  • the areas of voiced speech are extracted from the speech signal, the energy values in each of the 24 spectral filters in the region of higher formant areas are averaged over the time of their existence.
  • the fundamental tone is determined based on the allocation of the first harmonic of the signal in the spectrum. Also determine the pace of speech.
  • This method is inoperative on phonograms of oral speech obtained under conditions of increased distortion in the recording channel and differences in the state of the speakers due to loss of reliability of the selection of a set of individualizing features.
  • the state of the speakers and / or the channels used to record phonograms differ significantly in properties, or the speakers are in different emotional states.
  • speaker recognition is performed by constructing and comparing covariance matrices of feature descriptions of the input speech signal and speech signal standards of known speakers.
  • This known method is also not suitable for situations where the used voice messages are short (5 seconds or less), and is also very sensitive to a significant decrease in signal power in certain parts of the frequency speech range due to ambient noise and low-quality microphones and sound and audio channels.
  • a known method of recognizing isolated speech words with adaptation to the speaker (Patent RU J b2047912, IPC G 10 L 7/06), based on the sampling of the input speech signal, its predistortion, sequential segmentation of the speech signal, encoding segments with discrete elements, calculating the energy spectrum, measuring formant frequencies and the determination of amplitudes and energy in different frequency bands of a speech signal, the classification of articulatory events and states, the formation and sorting of word patterns, the calculation of the distances between standards of words with the implementation of recognizable words, decisions on the recognition or denial of recognition vocabulary words with the addition of standards in the process of adaptation to the speaker.
  • the prediction of the input speech signal is performed in the time domain by differentiation with smoothing, quantization of the energy spectrum is performed depending on the variance of the noise of the communication channel, formant frequencies are determined by finding the global maximum of the logarithmic spectrum and subtracting the specified frequency-dependent function from this spectrum when classifying articulatory events and states determine the shares of periodic and noise excitation sources when compared with the threshold of autocorrelation coefficients
  • sequences of rectangular pulses in several frequency bands are determined by comparing with the threshold likelihood function of the values
  • the speech signal is segmented into intervals between the beginning and the end
  • the word standards are formed in the form of matrices with binary values of the likelihood of signs, and the rejection of recognition is carried out with the normalized difference of the distance from the unknown implementation to the two nearest standards,
  • a known system for secrecy based on voice recognition (Patent US j4 ° 5265191, IPC G 10 L 005/00), requiring both the teacher and the unknown speaker to re-pronounce at least one voice message.
  • the system compares the parametric representations of repeated pronunciations of the speech of an unknown and known speaker and makes a positive decision on the identity of the compared speakers only if each pronunciation of the unknown speaker is close enough to the pronunciations of the training speaker, and a negative decision if their representations are far enough from each other.
  • a known method of automatic identification of a person by the characteristics of the pronunciation of a passphrase by that person (Patent RU ⁇ 2161826, IPC G 10 L 17/00), which consists in the fact that the speech signal is divided into voiced zones, time intervals in voiced zones are distinguished - in the region of maximum speech intensity signal, as well as at the beginning of the first and at the end of the last
  • the parameters of the speech signal are determined, compare them with the standards, which are formed taking into account
  • the duration of time intervals is set as a multiple of the period of the main tone of the speech signal, estimates of the correlation coefficients of the parameters of the speech signal are determined, which include the number of compared with the standards, in the formation of the standards additionally take into account the correlation coefficients
  • a device for verifying a speaker based on the measurement of the distance of the "nearest neighbor" (US Pat. No. 5,339,385, IPC G 10 L 9/00), including a display, a random prompt generator, a word recognition unit,
  • the speaker verifier, keyboard and primary signal processing unit while the input of the primary signal processing unit is the input of the device, and its output is connected to the first inputs of the word recognizer and speaker verifier, the first output of the prompt generator is connected to the second input of the word recognizer, the output of which is connected to display.
  • the keyboard is connected to the third input of the word recognizer and to the third input of the speaker verifier, the output of which is the output devices.
  • the speaker verifier of this device for determining the similarity or difference in the pronunciation of voice passwords uses the splitting of the input speech signal into separate analysis frames, calculating nonparametric speech vectors for each analysis frame, and then determining the proximity of the thus obtained descriptions of the speech signal of the compared pronunciations based on the Euclidean distance of the nearest neighbor.
  • non-parametric speech vectors and the Euclidean metric when determining the degree of similarity / difference in pronunciation of voice passwords, as well as low recognition reliability (high false reject rate) due to the use of word-order variables of voice passwords, caused by the inevitable individual variability of pronunciation of the same words in different contexts even the same announcer.
  • ensuring the pronunciation of both compared speakers specified hints of speech content in practice is difficult to implement.
  • a known speaker recognition method comprising comparing the input speech signal of an unknown speaker with patterns representing speech of previously known speakers, of which at least one is represented by at least two standards. Serial segments of the input signal are compared with successive segments of the reference, obtaining a measure of the proximity of the compared segments of the input speech signal and the reference. For each reference of a well-known speaker with at least two references, a composite result of comparing this reference and the input speech signal is formed based on the choice of the closest reference segment to be used for each segment of the input speech signal. An unknown speaker is then identified based on the composite results of comparing the input speech signal and the standards.
  • the known method of speaker recognition is limited in practice, since the mandatory requirement for a recognizable, well-known speaker is at least two standards for each of his speech utterances is not always feasible in real conditions.
  • this method does not provide a high level of reliability of speaker recognition when working in real acoustic noise office premises, streets or vehicles, with a difference in the emotional state of the speakers, since the segmented parametric description of speech signals used in the method is strongly influenced by additive acoustic noise and natural speech variability.
  • the low reliability of the method in noise is due to the fact that the segment closest to the used measure of proximity
  • the compared standard is searched for each segment of the input speech signal, which leads to the presence among the close segments found as a large number of purely noise segments corresponding to segments of speech pauses in both the standard and the input speech signal.
  • a known method of identifying a person by phonograms of arbitrary oral speech (Patent RU N ° 2107950, IPC G 10L5 / 06). It is based on the spectral-band-time analysis of a speech signal, the identification of the characteristics of the individuality of oral speech and in comparison of these characteristics with the reference ones, while the characteristics of the individuality of oral speech use acoustic integral signs, which are estimates of the parameters of the statistical distribution of the components of the current spectrum and histograms of the distribution of periods and fundamental frequencies measured on phonograms of speech with both arbitrary and fixed context, among which During retraining, they select the most informative features for the speech of the speaker, independent of interference and distortion present in
  • a known method for the recognition of speakers (Patent RU JV ° 2230375, IPC G10L15 / 00, G10L17 / 00), having the largest number of features of the invention that matches the claimed method, and selected as a prototype, including a step-by-step comparison of the input speech signal of the speaker with the standards of voice passwords, pronounced by well-known speakers, and assess the similarity between the first phonogram of the speaker and the second, reference phonogram by the coincidence of the formant frequencies on the reference fragments of the speech selected for comparison on the first and second phonograms.
  • formant vectors of successive segments and statistical characteristics of the power spectrum of the input speech signal and speech signal of the samples are extracted, and then they are compared respectively with the formant vectors of the successive segments of each reference and the statistical characteristics of the power spectrum of the speech signal of the reference, and a composite metric for comparing the input signal is formed and reference.
  • a weighted modulus of the frequency difference of the formant vectors is used as a measure of proximity of the formant vectors of the segments.
  • the nearest segment of the standard with the same number of formants is found for this proximity measure, and the weighted average of the proximity measures between this segment of the input speech signal is included in the composite metric the signal and the closest reference segment found for it, as well as the cross-correlation coefficient of the statistical characteristics of the power spectra of the input speech signal cash and reference.
  • Speaker recognition is performed based on the result of comparing the input speech signal and the reference by a composite metric.
  • This method does not provide reliable recognition of speakers when
  • An object of the present invention is to provide a method for identifying a speaker using phonograms of arbitrary oral speech, in which such fragments of a speech signal are selected for comparison, and for making an identification decision, such individualizing features and methods for their comparison are used that allow reliable identification of the speaker for
  • the problem is solved in that in a method for identifying a speaker by phonograms of oral speech, including assessing the similarity between the first phonogram of the speaker and the second, reference phonogram by the coincidence of the formant frequencies at the reference fragments of speech selected for comparison on the first and second phonograms, according to the invention , in the speech signals of the first and second phonograms, reference fragments are selected, on which there are formant trajectories of at least three formant frequencies, they compare the reference fragments of the first and second phonograms, in which the values of at least two formant frequencies coincide, evaluate the similarity of the compared reference fragments by the coincidence of the values of the other formant frequencies, and the similarity of the phonograms as a whole is determined by the total assessment of the similarity of all compared reference fragments .
  • the individualizing characteristics of the speakers use the resonant parameters of the acoustics of the vocal tract, defined as the characteristic values of the frequencies on the formant trajectories that specify the perceived quality of each speech sound.
  • the values of the formant frequencies at each selected reference fragment are calculated as the average values at time intervals
  • reference fragments are compared with each other if they correspond to portions of the speech signal in phonograms on which comparable articulatory events are realized, that is, sounds are made when the resonant structure of the signal spectrum is pronounced and coincides in the frequencies of two or more resonance frequencies (formants), regardless of which phonemes in the text of the voice message these sounds correspond.
  • the indicated sections are found on speech fragments, on which the speakers pronounce both the same and different phonemes.
  • At least two reference fragments of the speech signal are selected, related to the pronunciation of the most articulately different sounds with
  • reference fragments are compared for several sounds as articulatory as possible, that is, for the most differing variants of the implementation of the geometric shape of the vocal tract.
  • the speaker can be identified in situations where the sound content of phonograms varies significantly, in particular for long and short phonograms, for phonograms containing speech of speakers who are in different psychophysiological states, as well as speaking the same or
  • the power spectrum of the speech signal of each phonogram is divided by its inverse (inverted) average value.
  • FIG. 1 is an example of a spectrogram with superimposed formant trajectories for the syllable “te”;
  • FIG. 2-3 examples of comparing spectrograms with superimposed formant trajectories for matching speakers for sounds of the type “E”;
  • FIG. 4 is an example of comparing spectrograms with superimposed formants
  • FIG. 5 is an example of comparing spectrograms with superimposed formants
  • FIG. 6 is an example of comparing three spectrograms of the same speaker speech signal (reference fragment with the syllable “On”) before and after inverse filtering.
  • FIG. 7 is an example of comparing average power spectra of a speech signal of three phonograms in FIG. 6
  • FIG. 8 is an example of comparing the spectra of the formant vectors highlighted in the spectrograms in FIG. 6.
  • the claimed method includes comparing at least two phonograms of arbitrary oral speech.
  • one of the phonograms may be the phonogram of the speech of the checked speaker, and the second is the phonogram of speech of an unknown person (reference).
  • the purpose of this study is to establish the identity or difference of persons whose voice is recorded on the compared phonograms.
  • the digitized images using a PC are subjected to spectral analysis, in accordance with generally accepted procedures for the spectral analysis of signals (Marple S.L. Digital spectral analysis and its applications Mir, 1990), calculate them
  • reference fragments are selected, on which the formant frequencies are compared.
  • formant frequencies constantly smoothly pass from one value to another, forming formant trajectories.
  • formant frequencies at each reference fragment of the speech signal their specific, rigidly fixed values must be selected.
  • the choice of the formant frequencies, by which the reference fragments and phonograms are compared is carried out as follows.
  • reference fragments that satisfy two criteria are selected on the spectrograms of the first second phonograms:
  • the number of formant trajectories on the selected reference fragment should usually be equal to four for the announcers of men and three for women.
  • formant vectors are selected on each selected reference fragment for subsequent comparison of the formant frequencies, on which the formant frequency values are calculated as average values at fixed-length time intervals, on which the formant frequency values are relatively constant.
  • the use of formant vectors within each reference fragment for comparing formant frequencies allows one to select sections in the set of formants “trembling” in frequency and sometimes “disappearing” values of formants, on which formants interpolated, smoothed and in frequency and time frequency form sections with
  • the duration of the reference fragment is determined by the boundaries of the portion of the speech signal for which formant trajectories are uniquely determined for those formants, which are then used to select the position of the formant vectors.
  • Long and substantially nonuniform in sound composition portions of the speech signal, suitable for use as reference fragments, are divided into several reference fragments, for each of which the first two formants basically do not go beyond the typical boundaries of the variation of formant frequencies for one type of vowel phoneme for given language.
  • FIG. one An example of such a spectrogram with superimposed formant trajectories is shown in FIG. one.
  • the spectrogram in FIG. 1 is a spectrogram of the syllable "Te" in the pronunciation of the announcer - men.
  • the horizontal axis represents time in seconds.
  • Vertical - frequency in Hz.
  • the degree of blackening of the spectrogram corresponds to the signal power at a given point in frequency and time.
  • Thin dark lines mark the automatically selected values of the formant frequencies forming the formant trajectories.
  • the formant vector is a narrow interval within the boundaries of the reference fragment, inside which the value of the formant frequency is relatively constant.
  • Horizontal cursors mark the position of formant frequencies. On the spectrogram pic. 1 they are approximately equal: 430, 1345, 2505 and 3485 Hz.
  • Such a choice of compared reference fragments and formant vectors corresponds to the selection and comparison of sections of the speech signal in the first and second phonograms on which comparable articulatory events are realized, that is, sounds are said by the speakers at which the resonant structure of the signal spectrum is pronounced, and the frequencies of two or more resonances ( formant) coincide, regardless of which phonemes the speakers are currently pronouncing.
  • the indicated formantly aligned speech fragments are found in the speech sections in which the speakers uttered both the same and different phonemes.
  • a stationary vowel pronunciation fragment can be selected as a reference fragment for comparison, and a pronunciation fragment of a quick transition from one phoneme to another, on which there is a section where at least two formant frequency values coincide with the corresponding values, can be selected as a reference fragment formant frequencies of a stationary vowel in the first phonogram.
  • the coincidence or non-coincidence of the formant frequencies is carried out in accordance with the known threshold method.
  • the thresholds of the permissible deviation themselves depend on the quality of the signal recorded on a particular phonogram (on the signal-to-noise ratio, the type and severity of noise and distortion, the physical and psychophysiological state of the speaker), and are determined based on the natural variability of the frequencies of the formants of each speaker inside this phonogram, for sounds of this type for each formant separately.
  • This variability and corresponding thresholds for example, are determined by search and compare among themselves reference fragments and formant vectors inside the phonogram, that is, for the speech signal of each of the phonograms.
  • a formant-aligned reference fragment is found that does not match the frequencies of the formants of the corresponding formant vectors with the reference fragment of the first phonogram, then a reverse search of the formant-aligned fragment with the same formant frequencies in the first phonogram should be performed. Only if it is not possible to find a matching vector, then a decision is made about the formant vectors of the two phonograms not matching for the sound of a given type and, therefore, about the difference between the speakers for this type of fragments. Such a situation corresponds to the fact that for the pronunciations of sounds of this type at comparable moments of time, the compared speakers do not coincide with the main ones characterized by their acoustic resonances
  • the speaker can be identified in situations where the sound content of phonograms varies significantly.
  • it is thanks to this approach it is possible to identify speakers for short phonograms, for phonograms containing speech of speakers who are in different psychophysiological states, as well as speaking the same or
  • sounds in a representative set of reference fragments for male announcers should have values of formant frequencies in the following typical areas with
  • Second 700 1000 1300 1800 2100 1650 1350 1500
  • the minimum necessary set of sounds is the presence of support fragments in it, close in formant frequencies to at least three different types of sounds in the table.
  • the solution may be uncertain if the quality and quantity of the phonograms speech material is not enough to reliably select support fragments and formant vectors on them. Based on the totality of private identification decisions for different types of sounds, a synthesizing, general identification decision is made about the identity or difference of the speakers, whose speech is recorded on the compared phonograms.
  • a categorical positive synthesizing decision is usually made with positive private identification decisions for at least 5 different sounds with a total number of reference fragments being compared at least 15 and in the absence of identifying private negative speakers
  • a negative identification decision is made in the presence of at least one categorical negative quotient
  • identification solutions for one type of sound may be possible if the quality of the phonogram is poor and it is not possible to isolate a sufficient number of reference fragments, and the position of the formants can be determined with sufficient accuracy.
  • Figure 2-4 shows examples of comparison of spectrograms with superimposed
  • FIG. . 2 Spectrograms with superimposed formant trajectories for sounds of type “E” of the syllable “te” (on the left side of the figure) and the words “can” (on the right side of the figure) in pronouncing the same man’s announcer.
  • the horizontal axis represents time in seconds.
  • Thin dark lines mark the automatically selected values of the formant frequencies forming the trajectories of the formants.
  • Vertical lines mark the boundaries of the reference fragments and formant vectors inside them selected for comparison.
  • Horizontal cursors mark the coincident position of the formant frequencies. They are approximately equal: 430, 1345, 2505 and 3485 Hz. On the marked formant vectors, different phonemes have
  • Fig. 3 Spectrograms with superimposed formant trajectories for matching speakers for sounds of the type "E” of the syllable “te” (on the left side of the figure) and the central section of the syllable “court” from the word “State” (on the right side of the figure) in the pronunciation of the same man’s announcer.
  • the horizontal axis represents time in seconds.
  • Thin dark lines mark the automatically selected formant frequencies forming the trajectories of the formants.
  • Vertical lines mark the boundaries of the reference fragments and formant vectors inside them selected for comparison.
  • Horizontal cursors mark the coincident position of the formant frequencies. They are approximately equal: 430, 1345, 2505 and 3485 Hz.
  • different phonemes On the marked formant vectors, different phonemes have the same frequency values (middle of the shock “E” and the beginning of the pre-shock “U”).
  • Thin dark lines mark the automatically selected values of the formant frequencies forming the trajectories of the formants.
  • Vertical lines mark the boundaries of the reference fragments and formant vectors inside them selected for comparison.
  • the horizontal cursors mark the coincident position of the formant frequencies for the formant vectors of shock phonemes “E”. They are approximately equal: 340, 1850, 2430 and 3505Hz.
  • Fig. 5 Spectrograms with superimposed formant trajectories for non-matching speakers for pronunciation of sounds like “E” of the syllable “re” from the word “interesting” (on the left side of the figure) and syllable “de” from the word “statement” (on the right side of the figure ), Pronunciation by different announcers by men.
  • the horizontal axis represents time in seconds.
  • Thin dark lines mark the automatically selected values of the formant frequencies forming the trajectories of the formants.
  • Vertical lines mark the boundaries of the selected ones for comparing support fragments and formant vectors inside them.
  • Horizontal cursors mark the coinciding position of the frequencies of the three formants. They are approximately equal: 340, 1850 and 3505Hz.
  • the speaker on the spectrogram on the left is 2430 Hz; the speaker on the spectrogram on the right has a third formant in the region of 2800 Hz.
  • an embodiment of the method for identifying speakers is proposed in which the speech signal of the compared phonograms is invertedly filtered before performing all stages of the method described above.
  • the signal spectrum of each phonogram undergoes inverse filtering, in which the average time spectrum is calculated for the phonogram as a whole or its individual fragments, and then the initial value of the signal spectrum power of the processed phonogram for each frequency is divided by the inverse value of the average spectrum power for a given frequency.
  • the inverse power value is the value of the spectrum power obtained by dividing the unit by this value.
  • the inverse filtering procedure can be implemented not by dividing, but by using the logarithm and subtraction of the corresponding spectra.
  • the signal spectrum of each phonogram is converted to the logarithm of the spectrum, for the phonogram as a whole or its individual fragments, the time average logarithm of the spectrum is calculated, and then subtract from the initial value of the logarithm of the spectrum power of the signal of the processed phonogram for each frequency the logarithm of the power of the middle spectrum for each frequency.
  • Figures 6-8 illustrate an example of the use of inverse filtering in determining the frequencies of the formants for the selected formant vector.
  • the figure 6 shows three spectrograms of the same speech signal of the speaker (reference fragment with the syllable "On"):
  • the spectrogram in the left window refers to the original speech signal recorded through a high-quality microphone
  • the spectrogram in the central window refers to the same speech signal recorded through a low-quality telephone path; - the spectrogram in the right window refers to the same speech signal recorded through a low-quality telephone path after applying inverse filtering to it according to the proposed options for implementing the method.
  • each spectrogram in FIG. 6 the horizontal axis represents time in seconds from the beginning of the phonogram, the vertical axis represents the frequency in Hz.
  • the degree of blackening of the spectrogram is proportional to the power of the spectrum of the signal at a given point in frequency and time.
  • Horizontal cursors mark the frequencies of the five low-frequency resonances of the speaker’s vocal tract for the formant vector marked by vertical cursors for the original phonogram.
  • ovals with numbers 2 and 3 indicate regions of the spectrum in which there are no traces of the manifestation of formants F1 and F3 present on
  • curve (1) is the average power spectrum of the original speech signal of the entire phonogram, the spectrogram of which is shown in the left window in FIG. 6;
  • curve (2) is the average power spectrum of the phonogram speech signal,
  • curve (3) is the average power spectrum of the phonogram speech signal, the spectrogram of which is shown in the right window of FIG. 6;
  • FIG. 8 shows averaged spectra and marked formant frequencies for the formant vector highlighted in the spectrograms in FIG. 6.
  • Curve (1) shows the average spectrum of the formant vector for the original spectrogram shown in the left window of FIG. 6, curve (2) - for the same phonogram passed through
  • the proposed method can be implemented using known hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Receiver Circuits (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Telephonic Communication Services (AREA)

Abstract

Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания. Предлагаемый способ позволяет осуществлять надежную идентификацию говорящего, как для длинных, так и для коротких фонограмм, фонограмм, записанных в различных каналах с высоким уровнем помех и искажений, а также фонограмм с произвольной устной речью дикторов, находящихся в различных психофизиологических состояниях, говорящих на различающихся языках, что обеспечивает широкую область применения предлагаемого способа, в том числе в криминалистических исследованиях. Идентификации говорящего по фонограммам устной речи осуществляют путем оценки сходства между первой фонограммой говорящего, и второй, эталонной фонограммой. Для указанной оценки на первой и второй фонограммах выбирают опорные фрагменты речевых сигналов, на которых присутствуют формантные траектории по крайней мере трех формант сравнивают между собой опорные фрагменты, в которых совпадают значения по крайней мере двух формантных частот, оценивают сходство сравниваемых опорных фрагментов по совпадению значений остальных формантных частот, а сходство фонограмм в целом определяют по суммарной оценке сходства всех сравниваемых опорных фрагментов.

Description

Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания.
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к области опознавания говорящего по голосу, в частности, к автоматическим, автоматизированным и экспертным способам идентификации говорящего по фонограммам произвольной устной речи, предназначенным, в том числе, для криминалистических исследований.
Известно, что при практическом, в частности, криминалистическом исследовании и сравнении фонограмм устной речи, с целью идентификации говорящего, в ряде случаев, экспертиза сталкиваются с такими затрудняющими принятие решения проблемами, как малая длительность и низкое качество исследуемых фонограмм, различие
психофизиологических состояний говорящих в момент произнесения речи на
сравниваемых фонограммах, различное словесное содержание и различающиеся языки, на которых поизносится речь, различающиеся по типу и уровню помех и искажений каналы звукозаписи и пр.
Поэтому, в настоящее время актуальной является разработка способов
идентификации говорящего по фонограммам произвольной устной речи, в частности, применимых для целей криминалистики и учитывающих указанные выше проблемы, а именно, способов, обеспечивающих возможность идентификации говорящих по коротким фонограммам, записанным в различных каналах звукозаписи, с высоким уровнем помех и искажений, по фонограммам, содержащим устную речь, произносимую говорящими в разных психофизиологических состояниях, с различным словесным содержанием, при различных языках произнесения.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Известен способ идентификации дикторов по фонограммам, который проводится путем экстрагирования характерных особенностей диктора из произносимых однотипных фраз (Патент DE 2431458, МПК G 10 L 1/04, 05.02.1976.).
В данном способе речевой сигнал фильтруют с помощью гребенки из 24 полосовых фильтров, затем детектируют, сглаживают, далее с помощью аналого-цифрового преобразователя и коммутатора сигнал вводят в цифровое обрабатывающее устройство, где автоматически выделяют и сохраняют индивидуализирующие признаки, связанные с интегральным спектром речи. Данный способ идентификации дикторов теряет работоспособность на
фонограммах устной речи, полученных в условиях повышенных искажений и помех из-за ограниченного набора индивидуализирующих признаков. Также этот способ имеет большой процент отказов от решения по идентификации, поскольку он требует фонограмм неизвестного и проверяемого диктора с одинаковым словесным содержанием.
Известен способ, в котором для идентификации личности в речи на сравниваемых фонограммах находятся и сравниваются однотипные ключевые слова (Патент US
Jfe 3,466,394, МПК Н04М1/24)
В данном способе речевой сигнал подвергается кратковременному спектральному анализу, затем выделяются контуры зависимости особенностей спектра и основного тона голоса от времени. Полученные контуры являются индивидуализирующими признаками. Идентификация дикторов основана на сравнении полученных контуров для фонограмм проверяемого и неизвестного дикторов.
Недостатком способа является зависимость результатов идентификации от качества фонограмм, полученных в условиях повышенных искажений и помех. Также этот способ имеет большой процент отказов от решения по идентификации, поскольку он требует фонограмм неизвестного и проверяемого с одинаковыми словами.
Известен способ идентификации дикторов, основанный на спектрально-полосно- временном анализе произвольной устной речи (Рамишвили Г.С., Чикоидзе Г.Б.
Криминалистическое исследование фонограмм речи и идентификация личности говорящего. Тбилиси: "Мецниереба", 1991. с265 ).
Для исключения зависимости результатов идентификации от смыслового содержания произносимого текста из речевого сигнала выделяют участки звонкой речи, усредняют по времени их существования значения энергии в каждом из 24 спектральных фильтров в области высших формантных участков. Основной тон определяют на основе выделения первой гармоники сигнала в спектре. Также определяют темп речи.
Перечисленные параметры используют в качестве индивидуализирующих признаков.
Данный способ неработоспособен на фонограммах устной речи, полученных в условиях повышенных искажений в канале звукозаписи и различий в состоянии дикторов из-за потери надежности выделения набора индивидуализирующих признаков.
Известен способ и устройство распознавания дикторов на основе построения и сравнения чисто статистических моделей кепстральных признаков речевого сигнала известных и неизвестных дикторов, например (Патент US Г°641 1930, МПК G 10 L 15/08). В данном способе распознавание диктора выполняют при использовании
дискриминантных моделей Гауссовых смесей.
Данный способ, как и большинство, чисто статистических подходов к
распознаванию дикторов, не пригоден для ситуации, когда используемые голосовые сообщения очень короткие (1 -10 секунд), состояние дикторов и/или используемые для записи фонограмм каналы существенно различаются по свойствам, или дикторы находятся в различных эмоциональных состояниях.
Известен способ распознавания дикторов на основе чисто стохастического подхода (Патент US JV°5995927, МПК G 10 L 9/00).
В данном способе распознавание диктора выполняют путем построения и сравнения матриц ковариации признаковых описаний входного речевого сигнала и эталонов речевого сигнала известных дикторов.
Этот известный способ также не пригоден для ситуации, когда используемые голосовые сообщения короткие (5 секунд и менее), а также очень чувствителен к существенному снижению мощности сигнала на отдельных участках частотного речевого диапазона за счет окружающего шума и низкокачественных микрофонов и каналов звукопередачи и звукозаписи.
Известен способ распознавания изолированных слов речи с адаптацией к диктору (Патент RU J b2047912, МПК G 10 L 7/06), основанный на дискретизации входного речевого сигнала, его предыскажении, последовательной сегментации речевого сигнала, кодировании сегментов дискретными элементами, вычислении энергетического спектра, измерении формантных частот и определении амплитуд и энергии в различных частотных полосах речевого сигнала, классификации артикуляторных событий и состояний, формировании и сортировке эталонов слов, вычислении расстояний между эталонами слов с реализацией распознаваемого слова, принятии решений о распознавании или отказе от распознавания слова с дополнением словаря эталонов в процессе адаптации к диктору. Предискажение входного речевого сигнала выполняют во временной области путем дифференцирования со сглаживанием, квантование энергетического спектра выполняют в зависимости от дисперсии шума канала связи, формантные частоты определяют при нахождении глобального максимума логарифмического спектра и вычитании из этого спектра заданной частотно-зависимой функции, при классификации артикуляторных событий и состояний определяют доли периодического и шумового источников возбуждения при сравнении с порогом коэффициентов автокорреляции
последовательности прямоугольных импульсов в нескольких частотных полосах, начало и конец артикуляторных движений и соответствующих им акустических процессов определяют при сравнении с порогом функции правдоподобия от значений
коэффициентов автокорреляции, формантных частот и энергий в заданных частотных полосах, речевой сигнал сегментируют на интервалы между началом и концом
акустических процессов, соответствующих специфическим артикуляторным движениям, и последовательно, начиная с гласных звуков, причем опознавание сегмента производят только в случае совпадения типов переходов на его левой и правой границах и
заканчивают сегментацию при опознавании слева и справа по времени сегментов паузы между словами. Эталоны слов формируют в виде матриц с бинарными значениями правдоподобия признаков, а отказ от распознавания осуществляют при нормированной разности расстояния от неизвестной реализации до двух ближайших эталонов,
принадлежащих разным словам, меньшей установленного порога.
Недостатками данного известного способа распознавания изолированных слов речи с адаптацией к диктору является слабая различительная сила данного способа при его использовании для распознавания дикторов по произнесению произвольной речи, так как данный способ в большинстве случаев не различает дикторов одного пола при
произнесении ими сообщений с совпадающим словесным составом.
Известна система для обеспечения секретности на основе распознавания голоса (Патент US j4°5265191 , МПК G 10 L 005/00), требующая и от обучающего и от неизвестного диктора обязательного повторного произнесения, по крайней мере, одного речевого сообщения. Система сравнивает параметрические представления повторных произнесений речи неизвестного и известного диктора и принимает положительное решение о тождестве сравниваемых дикторов только в случае, если каждое произнесение неизвестного диктора достаточно близко произнесениям обучающего диктора, и отрицательное решение, если их представления достаточно далеки друг от друга.
Недостатком данной системы является низкая помехоустойчивость в шумах переменного характера (в транспортном средстве, в условиях шума улицы,
производственного помещения), а также обязательное требование произнесения сравниваемыми дикторами одинаковых речевых сообщений. Известен способ автоматической идентификации личности по особенностям произношения парольной фразы этой личностью (Патент RU Кя2161826, МПК G 10 L 17/00), заключающийся в том, что речевой сигнал разбивают на вокализованные зоны, выделяют временные интервалы в вокализованных зонах - в области максимумов интенсивности речевого сигнала, а также в начале первой и в конце последней
вокализованных зон. Для выделенных временных интервалов определяют параметры речевого сигнала, сравнивают их с эталонами, которые формируют с учетом
математических ожиданий и допустимых разбросов этих параметров, для чего в конце первой, начале последней, в начале и конце остальных вокализованных зон выделяют временные интервалы, длительность временных интервалов устанавливают кратной периоду основного тона речевого сигнала, определяют оценки коэффициентов корреляции параметров речевого сигнала, которые включают в число сравниваемых с эталонами, при формировании эталонов дополнительно учитывают коэффициенты корреляции
параметров речевого сигнала. На основании полученных параметров речевого сигнала и соответствующих им статистических характеристик принимают решение по
идентификации личности.
Недостатком данного известного способа идентификации личности является низкая помехоустойчивость метода, так как для его работы требуется выделение во входном речевом сигнале точного положения границ периодов основного тона голоса, что в условиях наличия акустических и электромагнитных помех (шум офисного помещения, улицы, наводки в каналах речевой связи и т.п.) часто практически невозможно, кроме того, дикторы должны произносить одинаковые голосовые пароли, что на практике не всегда реализуемо.
Известно устройство для верификации диктора на основе измерения расстояния "ближайшего соседа" (Патент US -N°5339385, МПК G 10 L 9/00), включающее дисплей, генератор выдачи подсказок по случайному закону, блок распознавания слова,
верификатор диктора, клавиатуру и блок первичной обработки сигнала, при этом вход блока первичной обработки сигнала является входом устройства, а его выход соединен с первыми входами распознавателя слов и верификатора дикторов, ко второму входу распознавателя слов подключен первый выход генератора выдачи подсказок, выход которого соединен с дисплеем. Клавиатура подключена к третьему входу распознавателя слов и к третьему входу верификатора дикторов, выход которого является выходом устройства. Верификатор дикторов данного устройства для определения сходства или различия произнесения голосовых паролей использует разбиение входного речевого сигнала на отдельные кадры анализа, вычисление непараметрических речевых векторов для каждого кадра анализа и далее определение близости таким образом полученных описаний речевого сигнала сравниваемых произнесений на основе Эвклидова расстояния ближайшего соседа.
Недостатком данного устройства являются низкая помехоустойчивость при работе в акустических шумах офисных помещений и улицы в силу использования
непараметрических речевых векторов и Эвклидовой метрики при определении степени сходства/отличия произнесений голосовых паролей, а также низкая надежность распознавания (высокий процент ложных отказов) за счет использования переменных по порядку слов голосовых паролей, вызванная неизбежной индивидуальной вариативностью произнесения одних и тех же слов в разном контексте даже одним и тем же диктором. Кроме того, обеспечение произнесения обоими сравниваемыми дикторами заданного подсказками речевого содержания на практике труднореализуемо.
Известен способ распознавания говорящего (Патент US -N 6389392, МПК G 10 L 17/00), включающий сравнивание входного речевого сигнала неизвестного диктора с эталонами, представляющими речь заранее известных дикторов, из которых, по меньшей мере, один представлен, по меньшей мере, двумя эталонами. Последовательные сегменты входного сигнала сравнивают с последовательными сегментами эталона, получая меру близости сравниваемых сегментов входного речевого сигнала и эталона. Для каждого эталона заранее известного диктора, имеющего, по крайней мере, два эталона, формируют композитный результат сравнения данного эталона и входного речевого сигнала на основе выбора для каждого сегмента входного речевого сигнала ближайшего по используемой мере близости сегмента сравниваемого эталона. Далее идентифицируют неизвестного диктора на основе композитных результатов сравнения входного речевого сигнала и эталонов.
Известный способ распознавания диктора ограниченно применим на практике, так как обязательное требование наличия для распознаваемого, заранее известного диктора не менее двух эталонов на каждое его речевое высказывание не всегда осуществимо в реальных условиях. Кроме того, данный способ не обеспечивает высокий уровень надежности распознавания дикторов при работе в условиях акустического шума реальных офисных помещений, улицы или транспортных средств, при различии эмоционального состояния дикторов, поскольку используемое в способе посегментное параметрическое описание речевых сигналов подвержено сильному влиянию аддитивных акустических шумов и естественной вариативности речи. Кроме того, низкая надежность работы метода в шумах связана с тем, что ближайший по используемой мере близости сегмент
сравниваемого эталона ищут для каждого сегмента входного речевого сигнала, что приводит к наличию среди найденных близких по мере сегментов большого числа чисто шумовых сегментов, соответствующих сегментам речевых пауз и в эталоне и во входном речевом сигнале.
Известен способ идентификации личности по фонограммам произвольной устной речи (Патент RU N°2107950, МПК G 10L5/06). Он основан на спектрально-полосно- временном анализе речевого сигнала, выделении характеристик индивидуальности устной речи и в сравнении этих характеристик с эталонными, при этом в качестве характеристик индивидуальности устной речи используют акустические интегральные признаки, являющиеся оценками параметров статистического распределения компонент текущего спектра и гистограмм распределения периодов и частот основного тона, измеренных на фонограммах речи как с произвольным, так и фиксированным контекстом, среди которых при адаптивном переобучении выбирают наиболее информативные для речи данного говорящего признаки, независимые от помех и искажений, присутствующих в
сравниваемых фонограммах, а также используют лингвистические признаки, фиксируемые экспертом при слуховом анализе фонограмм с применением автоматизированного банка опорных звуковых эталонов диалектных, акцентных и дефектных особенностей устной речи.
Данный метод в силу применения интегрального, то есть усредняющего
характеристики речевого сигнала подхода и лингвистического анализа теряет надежность при сравнении дикторов, имеющих короткие сравниваемые фонограммы, а также говорящих на разных языках или находящихся в существенно различных
психофизиологических состояниях.
Известен способ распознавания дикторов (Патент RU JV°2230375, МПК G10L15/00, G10L17/00), имеющий наибольшее количество совпадающих с заявляемым способом признаков изобретения, и выбранный в качестве прототипа, включающий посегментное сравнение входного речевого сигнала диктора с эталонами голосовых паролей, произносимых известными дикторами, и оценку сходства между первой фонограммой говорящего, и второй, эталонной фонограммой по совпадению значений формантных частот на выбранных для сравнения опорных фрагментах речевого согнала на первой и второй фонограммах.
В известном способе выделяют формантные вектора последовательных сегментов и статистические характеристики спектра мощности входного речевого сигнала и речевого сигнала эталонов, а затем их сравнивают соответственно с формантными векторами последовательных сегментов каждого эталона и со статистическими характеристиками спектра мощности речевого сигнала эталона, и формируют композитную метрику сравнения входного сигнала и эталона. В качестве меры близости формантных векторов сегментов используют взвешенный модуль разности частот формантных векторов. Для вычисления композитной метрики сравнения входного сигнала и эталона находят для каждого сегмента входного речевого сигнала ближайший по этой мере близости сегмент эталона с равным числом формант, а в композитную метрику включают взвешенное среднее по всем используемым сегментам входного речевого сигнала значение мер близости между данным сегментом входного речевого сигнала и найденным для него ближайшим сегментом эталона, а также коэффициент кросс-корреляции статистических характеристик спектров мощности входного речевого сигнала и эталона. Распознавание диктора выполняют на основе результата сравнения входного речевого сигнала и эталона по композитной метрике.
Данный метод не обеспечивает надежное распознавание дикторов при
существенно различном звуковом составе входного речевого сигнала и речевого сигнала образцов (например, при коротких сообщениях, при речи во входном сигнале и эталонах на разных языках), а также при существенном различии свойств каналов звукозаписи и различии психофизиологического состояния дикторов, произносящих речь на
сравниваемых фонограммах. Эти недостатки обусловлены, во-первых, применением в качестве компонента композитной метрики статистических характеристик спектра мощности, которые существенно зависят от свойств канала записи, состояния диктора и звукового состава речи, а также сегментной меры близости в виде взвешенного среднего по всем используемым сегментам обрабатываемого речевого сигнала, что приводит к усреднению ошибок при сравнении сегментов и подавлению влияния больших межсегментных отклонений, говорящих о различии дикторов даже при малом среднем различии сегментов.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Задачей настоящего изобретения является создание способа идентификации говорящего по фонограммам произвольной устной речи, в котором для сравнения выбирают такие фрагменты речевого сигнала, а для принятия идентификационного решения используют такие индивидуализирующие признаки и методы их сравнения, которые позволяют осуществлять надежную идентификацию говорящего для
большинства, встречающихся на практике ситуаций, в частности, как для длинных, так и для коротких сравниваемых фонограмм, записанных в различных каналах с высоким уровнем помех и искажений, для фонограмм с произвольной устной речью дикторов, находящихся в различных психофизиологических состояниях, говорящих на
различающихся языках, с тем чтобы расширить область применения способа, в том числе для его использования в криминалистических исследованиях.
Поставленная задача решается тем, что в способе идентификации говорящего по фонограммам устной речи, включающем оценку сходства между первой фонограммой говорящего, и второй, эталонной фонограммой по совпадению значений формантных частот на выбранных для сравнения опорных фрагментах речевого согнала на первой и второй фонограммах, согласно предлагаемому изобретению, в речевых сигналах первой и второй фонограмм выбирают опорные фрагменты, на которых присутствуют формантные траектории, по крайней мере, трех формантных частот, осуществляют сравнение между собой опорных фрагментов первой и второй фонограмм, в которых совпадают значения, по крайней мере, двух формантных частот, оценивают сходство сравниваемых опорных фрагментов по совпадению значений остальных формантных частот, а сходство фонограмм в целом определяют по суммарной оценке сходства всех сравниваемых опорных фрагментов.
Основанием для создания данного способа идентификации говорящего послужил тот экспериментальный факт, что низкочастотные резонансы вокального тракта
(форманты) человека при изменении артикуляции меняются по частоте взаимно согласовано. В частности, это верно для первых по частоте 3- 5 резонансов, в зависимости от длины вокального тракта. Если меняется частота хотя бы одной из первых четырех формант, то, в большинстве ситуаций на практике, обязательно одновременно меняется и 0661
10
значение частоты одной или нескольких других низкочастотных формант данного диктора. Данное изменение обусловлено акустической взаимосвязью резонансов вокального тракта и анатомической ограниченностью возможности произвольного изменения поперечной площади вокального тракта диктора. Теоретическое обоснование такого факта имеется в научной литературе (Г. Фант Акустическая теория
речеобразования.- М.: Наука. 1964, В.Н. Сорокин. Теория речеобразования.- М.: Радио и связь. 1985.).
В заявляемом способе, при сравнении фонограмм в качестве
индивидуализирующих признаков говорящих используют резонансные параметры акустики вокального тракта, определяемые как характеристические значения частот на формантных траекториях, задающих воспринимаемое качество каждого речевого звука.
Эти признаки помехоустойчивы для фонограмм, записанных в условиях высоких шумов и искажений записываемого сигнала
Экспериментально выявлено, что наличие трех и более траекторий формант внутри спектрограммы опорного фрагмента в большинстве ситуаций позволяет однозначно определить характеристические значения формантных частот и обеспечить на основе их сравнения надежную идентификацию дикторов.
Для обеспечения дополнительной помехоустойчивости выделяемых признаков в аддитивных широкополосных шумах, значения формантных частот на каждом выбранном опорном фрагменте вычисляют как средние значения на интервалах времени
фиксированной длины, на которых значения частот формант относительно постоянны.
При этом, на каждом опорном фрагменте речевого сигнала для сравнения используют конкретные, жестко зафиксированные значения формантных частот, относящихся к заданному временному интервалу, - формантные вектора.
Для обеспечения надежности идентификации целесообразно, сравнивать опорные фрагменты, в которых совпадают значения частот первых двух формант, которые находятся в границах стандартной вариативности значений формантных частот для выбранного типа звука из фиксированного набора гласноподобных звуков.
Опорные фрагменты при сравнении фонограмм сопоставляют между собой, если они соответствуют участкам речевого сигнала на фонофаммах, на которых реализуются сопоставимые артикуляторные события, то есть произносятся звуки, при которых резонансная структура спектра сигнала ярко выражена и совпадает по частотам двух или более частот резонансов (формант), независимо от того, каким фонемам в тексте речевого сообщения данные звуки соответствуют. Указанные участки встречаются на речевых фрагментах, на которых дикторы произносят как одинаковые, так и различающиеся фонемы.
Сопоставляемые по значениям формант речевые фрагменты в экспертной
литературе принято называть «формантно - выровненными» фрагментами речи.
Для принятия синтезирующего, общего идентификационного решения на фонограммах выбирают, по крайней мере, два опорных фрагмента речевого сигнала, относящихся к произнесению максимально артикуляторно различных звуков с
максимальными и минимальными для данной фонограммы значениями частот первой и второй формант.
Для обеспечения высокой надежности идентификации сравнение опорных фрагментов производят для нескольких, максимально артикуляторно различных звуков, то есть максимально различающихся вариантов реализации геометрической формы вокального тракта.
Благодаря тому, что для сравнения выбирают формантно - выровненные фрагменты речи, соответствующие разным, не обязательно тождественным звукам, обеспечивается возможность идентификации говорящего в ситуациях, когда звуковое содержание фонограмм существенно различается, в частности, и для длинных и для коротких фонограмм, для фонограмм, содержащих речь дикторов, находящихся в различных психофизиологических состояниях, а также говорящих на одном и том же или
различающихся языках.
Для обеспечения повышенной надежности идентификации говорящего в условиях сильного искажения речевого сигнала за счет существенно неравномерной АЧХ каналов звукозаписи, не совпадающей для сравниваемых фонограмм, предпочтительно, перед вычислением значений формантных частот спектр мощности речевого сигнала каждой фонограммы подвергать инверсной фильтрации, при которой для каждой частотной компоненты спектра мощности вычисляют ее среднее по времени значение, по крайней мере, для отдельных фрагментов фонограммы, и затем исходное значение спектра мощности сигнала фонограммы для каждой частотной компоненты спектра делят на ее инверсное (инвертированное) среднее значение. Возможно также реализовать инверсную фильтрацию вместо деления спектров путем применения операции логарифмирования спектров и вычитания из логарифма мощности спектра исходного сигнала фонограммы логарифма мощности среднего спектра для каждой частотной компоненты .
В дальнейшем предлагаемое изобретение будет более подробно раскрыто на конкретном примере его выполнения со ссылками на иллюстрации.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - пример спектрограммы с наложенными формантными траекториями для слога «тэ»;
Фиг. 2-3 - примеры сравнения спектрограмм с наложенными формантными траекториями для совпавших дикторов для звуков типа «Э»;
Фиг. 4 - пример сравнения спектрограмм с наложенными формантными
траекториями для совпавших дикторов для звуков типа «Е» ;
Фиг. 5 - пример сравнения спектрограмм с наложенными формантными
траекториями для не совпавших дикторов для звука типа «Е» ;
Фиг. 6 - пример сравнения трех спектрограмм одного и того речевого сигнала диктора (опорный фрагмент со слогом «На») до и после инверсной фильтрации.
Фиг. 7 - пример сравнения средних спектров мощности речевого сигнала трех фонограмм на Фиг. 6
Фиг. 8 - пример сравнения спектров формантных векторов, выделенных на спектрограммах на Фиг. 6.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Заявленный способ включает сравнение, по крайней мере, двух фонограмм произвольной устной речи. В частности, для целей криминалистического исследования, одной из фонограмм может быть фонограмма речи проверяемого говорящего, а второй - фонограмма речи неизвестного лица (эталонная). Целью такого исследования является установление идентичности или различия лиц, голос которых записан на сравниваемых фонограммах.
Сравниваемые фонограммы преобразуют в цифровую форму и хранят их
оцифрованные образы в памяти ПЭВМ в виде цифровых файлов звукового сигнала.
Оцифрованные образы с помощью ПЭВМ подвергают спектральному анализу, в соответствии с общепринятыми процедурами спектрального анализа сигналов (Марпл С.Л. Цифровой спектральный анализ и его приложения Мир, 1990) , вычисляют их
динамические спектрограммы и по ним - формантные траектории, как линии
последовательного изменения во времени значений резонансных частот вокального тракта, отражающихся на спектрограммах в виде локальных максимумов спектра. Формантные частоты при необходимости корректируют путем наложения их на спектрограмму и исправления видимых отличий в движении формант.
На спектрограммах первой и второй сравниваемых фонограмм выбирают опорные фрагменты, на которых осуществляют сравнение формантных частот.
Формантные частоты сами по себе в момент произнесения конкретных звуков испытывают влияние многих случайных факторов, в силу чего на некоторых сегментах могут «исчезать», а также «дрожать» от сегмента к сегменту. Кроме того, поскольку во время речеобразования геометрия вокального тракта постоянно меняется, то и
формантные частоты постоянно плавно переходят от одних значений к другим, образуя формантные траектории. В то же время для сравнения формантных частот на каждом опорном фрагменте речевого сигнала должны быть выбраны их конкретные, жестко зафиксированные значения.
С целью обеспечения указанного условия, в заявляемом варианте реализации способа идентификации выбор значений формантных частот, по которым проводят сравнение опорных фрагментов и фонограмм, осуществляют следующим образом.
Первоначально, на спектрограммах первой второй фонограмм отбирают опорные фрагменты, которые удовлетворяют двум критериям:
(1) - наличие на опорном фрагменте формантных траекторий 3-х или более формант;
(2) - значения частот первых двух формант указанных формантных траекторий находятся в пределах стандартной вариативности для одного из заданных типов звука из
фиксированного набора гласноподобных звуков.
Экспериментально выявлено, что для частотного диапазона телефонного канала число формантных траекторий на выбранном опорном фрагменте обычно должно быть равно четырем для дикторов мужчин и трем для женщин.
Далее, на каждом выбранном опорном фрагменте для последующего сравнения формантных частот выбирают формантные вектора, на которых значения формантных частот вычисляют как средние значения на интервалах времени фиксированной длины, на которых значения частот формант относительно постоянны. Использование формантных векторов внутри каждого опорного фрагмента для сравнения формантных частот позволяет в наборе «дрожащих» по частоте и иногда «исчезающих» значений формант выбрать участки, на которых интерполированные, сглаженные и по частоте и по времени частоты формант образуют участки с
относительно стабильными значениями, пригодными для уверенной фиксации и последующего сравнения, и тем самым обеспечить дополнительную помехоустойчивость индивидуализирующих признаков в аддитивных широкополосных шумах.
Экспериментально выявлено, что наличие трех и более траекторий формант внутри спектрограммы опорного фрагмента в большинстве ситуаций позволяет однозначно определить значение формантных частот для, хотя бы одного формантного вектора внутри опорного фрагмента, и при последующем сравнении обеспечить надежную
идентификацию дикторов.
Длительность опорного фрагмента определяют по границам участка речевого сигнала, для которого однозначно определяются формантные траектории для тех формант, которые затем используются для выбора положения формантных векторов. Длительные и существенно неоднородные по звуковому составу участки речевого сигнала, подходящие для использования в качестве опорных фрагментов, разбивают на несколько опорных фрагментов, для каждого из которых первые две форманты, в основном, не выходят за типовые границы вариативности формантных частот для одного типа гласной фонемы для данного языка.
Пример такой спектрограммы с наложенными формантными траекториями приведен на фиг. 1.
Спектрограмма на фиг. 1 представляет собой спектрограмму слога «Тэ» в произнесении диктора - мужчины. По горизонтальной оси отложено время в секундах. По вертикальной - частота в Гц. Степень зачернения спектрограммы соответствует мощности сигнала в данной точке частоты и времени. Тонкие темные линии отмечают автоматически выделенные значения формантных частот, образующие формантные траектории.
Вертикальные линии отмечают границы выделенного опорного фрагмента и формантного вектора для сравнения. Формантный вектор - это узкий интервал в границах опорного фрагмента, внутри которого значение формантной частоты относительно постоянно.
Горизонтальные курсоры отмечают положение частот формант. На спектрограмме рис. 1 они приблизительно равны: 430, 1345, 2505 и 3485Гц. После того, как для сравниваемых речевых сигналов первой и второй фонограмм выбраны опорные фрагменты и в них определены формантные вектора, для каждого опорного фрагмента и формантного вектора речевого сигнала первой фонограммы в речевом сигнале на второй фонограмме для сравнения выбирают опорный фрагмент и в нем формантный вектор, так, чтобы у сравниваемых формантных векторов совпали значения частот по крайней мере двух формант. Если это не удается сделать - то опорные фрагменты считаются не сопоставимыми, и в дальнейшем их сравнение между собой не проводится.
Такой выбор сравниваемых опорных фрагментов и формантных векторов соответствует выбору и сравнению участков речевого сигнала на первой и второй фонограммах, на которых реализуются сопоставимые артикуляторные события, то есть говорящими произносятся звуки, при которых резонансная структура спектра сигнала ярко выражена, а частоты двух или более резонансов ( формант) совпадают, независимо от того, какие фонемы в данный момент произносили дикторы.
Как указывалось ранее , такие речевые фрагменты, сопоставляемые по значениям части частот формант, в экспертной литературе принято называть «формантно
выровненными речевыми фрагментами». Указанные формантно выровненные речевые фрагменты встречаются на речевых участках, на которых дикторы произносили как одинаковые, так и различающиеся фонемы. Например, на первой фонограмме в качестве опорного фрагмента для сравнения может быть выбран фрагмент произнесения стационарной гласной, а на второй фонограмме - фрагмент произнесения быстрого перехода от одной фонемы к другой, на котором имеется участок, где не менее двух значений формантных частот совпадает с соответствующими значениями формантных частот стационарной гласной на первой фонограмме.
Совпадение или не совпадение формантных частот проводится в соответствии с известным пороговым методом. Сами пороги допустимого отклонения зависят от качества сигнала, записанного на конкретной фонограмме (от соотношения сигнал/шум, типа и выраженности шумов и искажений, физического и психофизиологического состояния диктора), и определяются, исходя из естественной вариативности частот формант каждого диктора внутри данной фонограммы, для звуков данного типа для каждой форманты отдельно. Эта вариативность и соответствующие пороги, например, определяют путем поиска и сравнения между собой опорных фрагментов и формантных векторов внутри фонограммы, то есть для речевого сигнала каждой из фонограмм.
На формантно выровненных речевых фрагментах сравнивают значения частот других, не выровненных формант. По совпадению или не совпадению значений этих частот определяют совпадение/не совпадение данных, сравниваемых опорных фрагментов
(определенных фрагментов речи). Например, в типовых практических ситуациях отличие в
3% считают допустимым, а в 10% - не допустимым.
Если значения частот формантных векторов совпадают, то считают, что для данного типа звуков дикторы тождественны. Такая ситуация соответствует тому, что для произнесений звуков данного типа в сопоставляемые моменты времени у сравниваемых дикторов совпадают основные геометрические размеры вокальных трактов,
характеризуемых своими акустическими резонансами.
Решение о совпадении - не совпадении формантно выровненных фрагментов фонограмм принимается для каждого выбранного опорного фрагмента первой
фонограммы. Для надежности принимаемого решения по каждому типу звуков
необходимо сравнивать несколько (обычно 3-5) опорных фрагментов соответствующих по формантным частотам данному типу звука
Если во второй фонограмме для выбранного опорного фрагмента первой
фонограммы найден формантно-выровненный опорный фрагмент, не совпадающий по частотам формант соответствующих формантных векторов с опорным фрагментом первой фонограммы, то следует провести обратный поиск форманто - выровненного фрагмента с такими же формантными частотами в первой фонограмме. Только, если совпадающего вектора найти не удается, то принимается решение о не совпадении формантных векторов двух фонограмм для звука данного типа и, следовательно, о различии дикторов для данного типа фрагментов. Такая ситуация соответствует тому, что для произнесений звуков данного типа в сопоставляемые моменты времени у сравниваемых дикторов не совпадают характеризуемые своими акустическими резонансами основные
геометрические размеры вокальных трактов для сопоставимых артикуляций.
Благодаря тому, что для идентификации говорящего выбирают формантно- выровненные фрагменты, соответствующие разным, не обязательно тождественным звукам, обеспечивается возможность идентификации говорящего в ситуациях, когда звуковое содержание фонограмм существенно различается. В частности, именно благодаря такому подходу, обеспечивается возможность идентификации дикторов для коротких фонограмм, для фонограмм, содержащих речь дикторов, находящихся в различных психофизиологических состояниях, а также говорящих на одном и том же или
различающихся языках.
Автором экспериментально выявлено, что для обеспечения высокой надежности идентификации для дикторов мужчин, в большинстве практических ситуаций
предпочтительно выравнивать (подбирать равными) значения частот трех формант и сравнивать значение четвертой форманты. Для женских и детских голосов желательно также выравнивать три форманты, но во многих практических ситуаций это не удается и возможно выравнивать (подбирать равными) значения частот двух формант и сравнивать значение третьей форманты.
Для принятия синтезирующего, общего идентификационного решения необходимо провести на фонограммах поиск и сравнение сопоставимых, формантно-выровненных фрагментов для представительного набора максимально различающихся типов
артикуляции, то есть, для максимально различающихся вариантов геометрии вокальных трактов сравниваемых дикторов. Эти типы артикуляции, как известно из теории,
(Бондарко Л. В., Вербицкая Л. А., Гордина М. В. Основы общей фонетики. - СПб.: СПбГУ, 2004, Г. Фант Акустическая теория речеобразования.- М.: Наука. 1964, В.Н. Сорокин. Теория речеобразования.- М.: Радио и связь. 1985.) соответствуют гласным в вершинах так называемого, «фонетического треугольника», то есть, гласным звукам с
максимальными и минимальными значениями частот первой и второй формант для всего диапазона встречающихся изменений первых двух формантных частот.
Например, для русского языка, типичным является требование выбора в
представительный набор опорных фрагментов звуков, близким по формантным частотам к средним значениям для гласных типа А,р,У,Э,И. Для английского языка - для гласных типа А, О, U, Е, I.
Например, для большинства языков различных типов, по значениям формантных частот звуки в представительном наборе опорных фрагментов для дикторов мужчин должны иметь значения формантных частот в следующих типовых областях с
отклонением - около + или - 20%
Тип 1 2 3 4 5 6 7 8
звука (U) (О) (А) (Е) (О (ε) 00 (Э) Первая 300 430 700 420 300 500 350 500 форманта
F1 , Гц
Вторая 700 1000 1300 1800 2100 1650 1350 1500
форманта
F2 , Tu
Желательно выбирать опорные фрагменты, близкие по формантным частотам для всех типов указанных в таблице звуков. При этом , предпочтительно выбирать для каждого типа звука несколько опорных фрагментов. Экспериментально выявлено, что для каждого типа звука, для надежности принимаемого идентификационного решения, достаточно найти в каждой из сравниваемых фонограмм 3-4 опорных фрагмента. В целом, для принятия окончательного синтезирующего идентификационного решения, целесообразно использовать 4-8 типов различных звуков. Таким образом, в сравниваемых фонограммах целесообразно использовать 12-32 опорных фрагментов, в зависимости от качества речевого сигнала.
В случае малого объема речевого материала фонограмм минимально необходимым набором звуков является наличие в нем опорных фрагментов, близких по формантным частотам хотя бы к трем различным типам звуков в таблице.
Для опорных фрагментов каждого типа звука (обычно, не менее 3-х) применяется описанная процедура формантного выравнивания и сравнения значений формант и по каждому типу звука принимается частное идентификационное решение о совпадении или не совпадении формант для каждого типа звука. По совокупности решений по
формантно-выровненным опорным фрагментам для каждого типа звука принимают решение о совпадении формантных частот для звука данного типа, к которому
принадлежат сравниваемые опорные фрагменты. Решение принимается положительным, если для всех формантно выровненных фрагментов данного типа имеется совпадение формантных частот всех рассматриваемых формант. Решение может быть вероятным, если качество фонограммы низкое и не позволяет определять положение формант с
достаточной точностью. Решение может быть неопределенным, если качество и количество речевого материала фонограмм недостаточно для надежного выделения опорных фрагментов и формантных векторов на них. По совокупности частных идентификационных решений для разных типов звуков принимается синтезирующее, общее идентификационное решение о тождестве или различии дикторов, речь которых записана на сравниваемых фонограммах.
Категорическое положительное синтезирующее решение обычно принимается при положительных частных идентификационных решениях для не менее, чем 5 различных звуков при общем количестве сравниваемых опорных фрагментов не менее 15 и при отсутствии исключающих тождество дикторов частных отрицательных
идентификационных решений. Отрицательное идентификационное решение принимается при наличии хотя бы одного категорического отрицательного частного
идентификационного решения для одного типа звука. Решение может быть вероятным, если качество фонограммы низкое и не позволяет выделить достаточное количество опорных фрагментов, а положение формант определить с достаточной точностью.
Реализация способа подтверждается приведенными ниже примерами сравнения спектрограмм с наложенными формантными траекториями для совпавших и не совпавших дикторов.
На Фиг.2-4 приведены примеры сравнения спектрограмм с наложенными
формантными траекториями для совпавших формантных частот для звуков типа «Э» ( Фиг. 2,3) , для звука типа «Е» ( Фиг. 4) и не совпавших формантных векторов для звука типа «Е» (Фиг..5).
Фиг. . 2 - Спектрограммы с наложенными формантными траекториями для звуков типа «Е» слога «тэ» (в левой части рисунка) и слова «могут» (в правой части рисунка) в произнесении одного и того же диктора мужчины. По горизонтальной оси отложено время в секундах. По вертикальной - частота в Гц, Степень зачернения спектрограммы
соответствует мощности сигнала в данной точке частоты и времени. Тонкие темные линии отмечают автоматически выделенные значения формантных частот, образующих траектории формант. Вертикальные линии отмечают границы выбранных для сравнения опорных фрагментов и формантных векторов внутри них. Горизонтальные курсоры отмечают совпадающее положение частот формант. Они приблизительно равны: 430, 1345, 2505 И 3485Гц. На отмеченных формантных векторах разные фонемы имеют
совпадающие значения частот (середина ударного «Э» и самый конец заударного «У»).
Фиг .3 - Спектрограммы с наложенными формантными траекториями для совпавших дикторов для звуков типа «Е» слога «тэ» (в левой части рисунка) и центрального участка слога «суда» из слова «Государство» (в правой части рисунка) в произнесении одного и того же диктора мужчины. По горизонтальной оси отложено время в секундах. По вертикальной - частота в Гц, Степень зачернения спектрограммы
соответствует мощности сигнала в данной точке частоты и времени. Тонкие темные линии отмечают автоматически выделенные формантные частоты, образующие траектории формант. Вертикальные линии отмечают границы выбранных для сравнения опорных фрагментов и формантных векторов внутри них. Горизонтальные курсоры отмечают совпадающее положение частот формант. Они приблизительно равны: 430, 1345, 2505 и 3485Гц. На отмеченных формантных векторах разные фонемы имеют совпадающие значения частот (середина ударного «Э» и начало предударного «У»).
Фиг .4 - Спектрограммы с наложенными формантными траекториями для произнесения совпадающими дикторами для звуков типа «Е» слога «ре» из слова
«интересный» (в левой части рисунка) и слога «ше» из слова «решение» (в правой части рисунка) в произнесении одного и того же диктора мужчины. По горизонтальной оси отложено время в секундах. По вертикальной - частота в Гц, Степень зачернения спектрограммы соответствует мощности сигнала в данной точке частоты и времени.
Тонкие темные линии отмечают автоматически выделенные значения формантных частот, образующих траектории формант. Вертикальные линии отмечают границы выбранных для сравнения опорных фрагментов и формантных векторов внутри них. Горизонтальные курсоры отмечают совпадающее положение значений частот формант для формантных векторов ударных фонем «Е». Они приблизительно равны: 340, 1850, 2430 и 3505Гц.
Фиг .5 - Спектрограммы с наложенными формантными траекториями для не совпавших дикторов для произношения звуков типа «Е» слога «ре» из слова «интересный» (в левой части рисунка) и слога «де» из слова «утверждение» (в правой части рисунка), Произнесение разными дикторами мужчинами. По горизонтальной оси отложено время в секундах. По вертикальной - частота в Гц, Степень зачернения спектрограммы
соответствует мощности сигнала в данной точке частоты и времени. Тонкие темные линии отмечают автоматически выделенные значения формантных частот, образующих траектории формант. Вертикальные линии отмечают границы выбранныхдля сравнения опорных фрагментов и формантных векторов внутри них. Горизонтальные курсоры отмечают совпадающее положение значений частот трех формант. Они приблизительно равны: 340, 1850 и 3505Гц. Вместо третьей форманты у диктора на спектрограмме слева 2430 Гц у диктора на спектрограмме справа есть третья форманта в районе 2800 Гц.
Для повышенной надежность идентификации в условиях сильного искажения речевого сигнала за счет существенно неравномерной АЧХ каналов звукозаписи, не совпадающей для сравниваемых фонограмм предлагается вариант реализации способа идентификации дикторов, в котором перед выполнением всех стадий описанного выше способа проводят инверсную фильтрацию речевого сигнала сравниваемых фонограмм.
Перед выполнением вычисления спектрограмм и формантных частот спектр сигнала каждой фонограммы подвергается инверсной фильтрации, при которой для фонограммы в целом или ее отдельных фрагментов вычисляют средний по времени спектр, а далее исходное значение мощности спектра сигнала обрабатываемой фонограммы для каждой частоты делят на инверсное значение мощности среднего спектра для данной частоты. Инверсным значением мощности считается значение мощности спектра, полученное при делении единицы на данное значение.
Процедура инверсной фильтрации может быть реализована не путем деления, а с помощью логарифмирования и вычитания соответствующих спектров. В этом случае перед выполнением вычисления спектрограмм и формантных частот спектр сигнала каждой фонограммы переводится в форму логарифма спектра, для фонограммы в целом или ее отдельных фрагментов вычисляют средний по времени логарифм спектра, а далее из исходного значения логарифма мощности спектра сигнала обрабатываемой фонограммы для каждой частоты вычитают логарифма мощности среднего спектра для каждой частоты.
Фигуры 6-8 иллюстрируют пример применения инверсной фильтрации при определении значений частот формант для выбранного формантного вектора.
На фигуре 6 приведены три спектрограммы одного и того речевого сигнала диктора (опорный фрагмент со слогом «На»):
- спектрограмма в левом окне относится к оригинальному речевому сигналу, записанному через высококачественный микрофон;
- спектрограмма в центральном окне относится к тому же речевому сигналу, записанному через низкокачественный телефонный тракт; - спектрограмма в правом окне относится к тому же речевому сигналу, записанному через низкокачественный телефонный тракт после применения к нему инверсной фильтрации согласно предлагаемым вариантам реализации способа.
На каждой спектрограмме на Фиг. 6 по горизонтальной оси отложено время в секундах от начала фонограммы, по вертикальной оси - частота в Гц. Степень зачернения спектрограммы пропорциональна мощности спектра сигнала в данной точке частоты и времени. Горизонтальные курсоры отмечают для оригинальной фонограммы значения частот пяти низкочастотных резонансов вокального тракта диктора для формантного вектора, отмеченного вертикальными курсорами.
На центральной фонограмме овалами с цифрами 2 и 3 отмечены области спектра, в которых отсутствуют следы проявления формант F1 и F3, присутствующие на
оригинальной фонограмме. Овал с отметкой 1 показывает ложную формантную частоту, появившуюся только на спектрограмме 2 благодаря влиянию низкокачественного телефонного канала.
На Фиг. 7 показаны : кривая (1) - средний спектр мощности оригинального речевого сигнала всей фонограммы, спектрограмма которого показана в левом окне на Фиг. 6; кривая (2) - средний спектр мощности речевого сигнала фонограммы,
спектрограмма которого показана в центральном окне на Фиг. 6; кривая (3) - средний спектр мощности речевого сигнала фонограммы, спектрограмма которого показана в правом окне на Фиг. 6;
На Фиг. 8 показаны усредненные спектры и отмеченные формантные частоты для формантного вектора, выделенного на спектрограммах на Фиг. 6. Кривая (1) изображает средний спектр формантного вектора для оригинальной спектрограммы, показанной в левом окне на Фиг. 6, кривая (2) - для той же фонограммы, пропущенной через
низкокачественный телефонный тракт (соответствует центральному окну на Фиг. 6), кривая (3) - для фонограммы, пропущенной через низкокачественный телефонный тракт и подвергнутой инверсной фильтрации (правое окно на Фиг. 6) . Вертикальные курсоры отмечают форманты Fl , F2, F3, F4, F5, совпадающие для оригинальной фонограммы (левое окно на Фиг. 6) и фонограммы после инверсной фильтрации (правое окно на Фиг.6) . Форманты F 1 и F 3 на кривой 2 не видны. На кривой 2 отчетливо видна дополнительная ложная форманта WF3, отсутствующая у данного формантного вектора на оригинальной фонограмме. Таким образом, в области спектра речевого сигналу, записанного через
низкокачественный телефонный тракт, в которой отсутствуют следы проявления формант F1 и F3 (отмечены овалами с цифрами 2 и 3 на спектрограмме центрального окна на Фиг. 6 ), на Фиг. 8 указанные форманты F1 и F3 отмечены, как имеющиеся на оригинальной фонограмме (кривая 1) и фонограмме после инверсной фильтрации (кривая 3). На фонограмме после низкокачественного телефонного тракта они отсутствуют (кривая 2 на Фиг. 8). В то же время, на фонограмме 2 присутствует ложная форманта WF3.
Приведенные примеры показывают, что предлагаем инверсная фильтрация позволяет восстановить оригинальную формантную структуру фонофаммы, нарушенную в случае прохождения фонофамм через низкокачественные каналы связи.
При этом экспериментально авторами выявлено, что инверсная фильтрация реализованная как делением, так и с помощью логарифмирования и вычитания соответствующих спектров дает практически эквивалентный результат.
Предлагаемый способ может быть реализован с помощь известных аппаратных средств.

Claims

Формула изобретения
1. Способ идентификации говорящего по фонограммам устной речи, включающий оценку сходства между первой фонограммой говорящего, и второй, эталонной
фонограммой по совпадению значений формантных частот на выбранных для сравнения опорных фрагментах речевого сигнала на первой и второй фонограммах, отличающийся тем, что на первой и второй фонограммах выбирают опорные фрагменты речевых сигналов, на которых присутствуют формантные траектории, по крайней мере, трех формантных частот, из выбранных опорных фрагментов сравнивают между собой опорные фрагменты, в которых совпадают значения, по крайней мере, двух формантных частот, оценивают сходство сравниваемых опорных фрагментов по совпадению значений остальных формантных частот, а сходство фонограмм в целом определяют по суммарной оценке сходства всех сравниваемых опорных фрагментов.
2. Способ по п.1, отличающийся тем, что значения формантных частот на каждом выбранном опорном фрагменте вычисляют как средние значения на интервалах времени фиксированной длины, на которых значения частот формант относительно постоянны.
3. Способ по п.1, отличающий тем, что выбирают и сравнивают опорные
фрагменты, в которых совпадают значения частот первых двух формант, которые находятся в заданных границах типичной вариативности значений формантных частот для соответствующего типа гласной фонемы для данного языка.
4. Способ по п.1 , отличающийся тем, что для сравнения на фонограммах выбирают, по крайней мере, два опорных фрагмента речевого сигнала, относящихся к произнесению максимально артикуляторно различных звуков с максимальными и минимальными для данной фонограммы значениями частот первой и второй формант.
5. Способ по п. 1 - 4, отличающийся тем, что перед вычислением значений формантных частот спектр мощности речевого сигнала каждой фонограммы подвергают инверсной фильтрации, при которой для каждой частотной компоненты спектра мощности вычисляют ее среднее по времени значение, по крайней мере, для отдельных фрагментов фонограммы, и затем исходное значение спектра мощности сигнала фонограммы для каждой частотной компоненты спектра делят на ее инверсное среднее значение.
6. Способ по п. 1 - 4, отличающийся тем, что перед вычислением значений формантных частот спектр мощности речевого сигнала каждой фонограммы подвергают инверсной фильтрации, при которой для каждой частотной компоненты спектра мощности вычисляют ее среднее по времени значение, по крайней мере, для отдельных фрагментов фонограммы, и затем проводят операцию логарифмирования спектров и из логарифма исходного значения каждой частотной компоненты спектра мощности сигнала фонограммы вычитают логарифм ее среднего значения.
PCT/RU2010/000661 2009-09-24 2010-11-03 Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания Ceased WO2011046474A2 (ru)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EA201290082A EA019949B1 (ru) 2009-09-24 2010-11-03 Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания
EP10823678.7A EP2482277B1 (en) 2009-09-24 2010-11-03 Method for identifying a speaker using formant equalization
ES10823678.7T ES2547731T3 (es) 2009-09-24 2010-11-03 Procedimiento para identificar a un hablante usando ecualización de formante
US13/429,260 US9047866B2 (en) 2009-09-24 2012-03-23 System and method for identification of a speaker by phonograms of spontaneous oral speech and by using formant equalization using one vowel phoneme type
US13/956,240 US20130325470A1 (en) 2009-09-24 2013-07-31 System and method for identification of a speaker by phonograms of spontaneous oral speech and by using formant equalization

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2009136387/09A RU2419890C1 (ru) 2009-09-24 2009-09-24 Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания
RU2009136387 2009-09-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/429,260 Continuation US9047866B2 (en) 2009-09-24 2012-03-23 System and method for identification of a speaker by phonograms of spontaneous oral speech and by using formant equalization using one vowel phoneme type

Publications (2)

Publication Number Publication Date
WO2011046474A2 true WO2011046474A2 (ru) 2011-04-21
WO2011046474A3 WO2011046474A3 (ru) 2011-06-16

Family

ID=43876755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2010/000661 Ceased WO2011046474A2 (ru) 2009-09-24 2010-11-03 Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания

Country Status (6)

Country Link
US (2) US9047866B2 (ru)
EP (1) EP2482277B1 (ru)
EA (1) EA019949B1 (ru)
ES (1) ES2547731T3 (ru)
RU (1) RU2419890C1 (ru)
WO (1) WO2011046474A2 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047866B2 (en) 2009-09-24 2015-06-02 Speech Technology Center Limited System and method for identification of a speaker by phonograms of spontaneous oral speech and by using formant equalization using one vowel phoneme type
CN111879397A (zh) * 2020-09-01 2020-11-03 国网河北省电力有限公司检修分公司 高压断路器储能机构故障诊断方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5589537B2 (ja) 2010-04-30 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法、プログラム、情報提供装置および情報処理システム
RU2459281C1 (ru) * 2011-09-15 2012-08-20 Общество с ограниченной ответственностью "Цифрасофт" Устройство и способ формирования сигнатуры акустического сигнала, устройство идентификации акустического сигнала
DE102011085280A1 (de) * 2011-10-27 2013-05-02 Robert Bosch Gmbh Überwachung einer differentiellen mehrkanalübertragungsstrecke
US20140095161A1 (en) * 2012-09-28 2014-04-03 At&T Intellectual Property I, L.P. System and method for channel equalization using characteristics of an unknown signal
US20140188468A1 (en) * 2012-12-28 2014-07-03 Dmitry Dyrmovskiy Apparatus, system and method for calculating passphrase variability
US9015045B2 (en) 2013-03-11 2015-04-21 Nuance Communications, Inc. Method for refining a search
EP3042377B1 (en) * 2013-03-15 2023-01-11 Xmos Inc. Method and system for generating advanced feature discrimination vectors for use in speech recognition
US20140309992A1 (en) * 2013-04-16 2014-10-16 University Of Rochester Method for detecting, identifying, and enhancing formant frequencies in voiced speech
RU2530314C1 (ru) * 2013-04-23 2014-10-10 Общество с ограниченной ответственностью "ЦРТ-инновации" Способ гибридной генеративно-дискриминативной сегментации дикторов в аудио-потоке
RU2598314C2 (ru) * 2013-08-05 2016-09-20 Общество с ограниченной ответственностью "Центр речевых технологий" (ООО "ЦРТ") Способ оценки вариативности парольной фразы (варианты)
JP6316685B2 (ja) * 2014-07-04 2018-04-25 日本電信電話株式会社 声まね音声評価装置、声まね音声評価方法及びプログラム
BR102014023647B1 (pt) * 2014-09-24 2022-12-06 Fundacao Cpqd - Centro De Pesquisa E Desenvolvimento Em Telecomunicacoes Método e sistema para detecção de fraudes em aplicações baseadas em processamento de voz
GB2552722A (en) * 2016-08-03 2018-02-07 Cirrus Logic Int Semiconductor Ltd Speaker recognition
US10672402B2 (en) * 2017-04-11 2020-06-02 International Business Machines Corporation Speech with context authenticator
WO2019063547A1 (en) * 2017-09-26 2019-04-04 Sony Europe Limited METHOD AND ELECTRONIC DEVICE FOR ATTENUATION / AMPLIFICATION OF FORMER
KR102585231B1 (ko) * 2018-02-02 2023-10-05 삼성전자주식회사 화자 인식을 수행하기 위한 음성 신호 처리 방법 및 그에 따른 전자 장치
CN108670199B (zh) * 2018-05-28 2023-05-23 暨南大学 一种构音障碍元音评估模板及评估方法
CN111986698B (zh) * 2019-05-24 2023-06-30 腾讯科技（深圳）有限公司 音频片段的匹配方法、装置、计算机可读介质及电子设备
WO2021127976A1 (zh) * 2019-12-24 2021-07-01 广州国音智能科技有限公司 一种可供比对音素选取方法和装置
CN111933172B (zh) * 2020-08-10 2024-09-06 广州九四智能科技有限公司 人声分离提取方法、装置、计算机设备及存储介质
CN114360585B (zh) * 2021-12-14 2025-09-16 深圳市声扬科技有限公司 语谱图的处理方法、装置、电子设备及存储介质
CN114400010A (zh) * 2021-12-17 2022-04-26 深圳市声扬科技有限公司 一种语谱图的显示处理方法、装置、设备及存储介质
CN115547338A (zh) * 2022-08-10 2022-12-30 深圳市声扬科技有限公司 语音同一性检测方法、检测装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3466394A (en) 1966-05-02 1969-09-09 Ibm Voice verification system
DE2431458A1 (de) 1974-07-01 1976-02-05 Philips Patentverwaltung Verfahren zur automatischen sprechererkennung
US5265191A (en) 1991-09-17 1993-11-23 At&T Bell Laboratories Technique for voice-based security systems
US5339385A (en) 1992-07-22 1994-08-16 Itt Corporation Speaker verifier using nearest-neighbor distance measure
RU2047912C1 (ru) 1994-04-20 1995-11-10 Виктор Николаевич Сорокин Способ распознавания изолированных слов речи с адаптацией к диктору
RU2107950C1 (ru) 1996-08-08 1998-03-27 Николай Владимирович Байчаров Способ идентификации личности по фонограммам произвольной устной речи
US5995927A (en) 1997-03-14 1999-11-30 Lucent Technologies Inc. Method for performing stochastic matching for use in speaker verification
RU2161826C2 (ru) 1998-08-17 2001-01-10 Пензенский научно-исследовательский электротехнический институт Способ автоматической идентификации личности
US6389392B1 (en) 1997-10-15 2002-05-14 British Telecommunications Public Limited Company Method and apparatus for speaker recognition via comparing an unknown input to reference data
US6411930B1 (en) 1998-11-18 2002-06-25 Lucent Technologies Inc. Discriminative gaussian mixture models for speaker verification
RU2230375C2 (ru) 2002-09-03 2004-06-10 Общество с ограниченной ответственностью "Центр речевых технологий" Метод распознавания диктора и устройство для его осуществления

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3700815A (en) * 1971-04-20 1972-10-24 Bell Telephone Labor Inc Automatic speaker verification by non-linear time alignment of acoustic parameters
WO1992015090A1 (en) * 1991-02-22 1992-09-03 Seaway Technologies, Inc. Acoustic method and apparatus for identifying human sonic sources
US5839103A (en) * 1995-06-07 1998-11-17 Rutgers, The State University Of New Jersey Speaker verification system using decision fusion logic
SE515447C2 (sv) * 1996-07-25 2001-08-06 Telia Ab Metod och anordning för talverifiering
GB9913773D0 (en) * 1999-06-14 1999-08-11 Simpson Mark C Speech signal processing
US6389398B1 (en) * 1999-06-23 2002-05-14 Lucent Technologies Inc. System and method for storing and executing network queries used in interactive voice response systems
AU2002322302A1 (en) * 2001-06-25 2003-01-08 Science Applications International Corporation Identification by analysis of physiometric variation
US20050171774A1 (en) * 2004-01-30 2005-08-04 Applebaum Ted H. Features and techniques for speaker authentication
JP4455417B2 (ja) * 2005-06-13 2010-04-21 株式会社東芝 移動ロボット、プログラム及びロボット制御方法
US20100217591A1 (en) * 2007-01-09 2010-08-26 Avraham Shpigel Vowel recognition system and method in speech to text applictions
RU2419890C1 (ru) 2009-09-24 2011-05-27 Общество с ограниченной ответственностью "Центр речевых технологий" Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3466394A (en) 1966-05-02 1969-09-09 Ibm Voice verification system
DE2431458A1 (de) 1974-07-01 1976-02-05 Philips Patentverwaltung Verfahren zur automatischen sprechererkennung
US5265191A (en) 1991-09-17 1993-11-23 At&T Bell Laboratories Technique for voice-based security systems
US5339385A (en) 1992-07-22 1994-08-16 Itt Corporation Speaker verifier using nearest-neighbor distance measure
RU2047912C1 (ru) 1994-04-20 1995-11-10 Виктор Николаевич Сорокин Способ распознавания изолированных слов речи с адаптацией к диктору
RU2107950C1 (ru) 1996-08-08 1998-03-27 Николай Владимирович Байчаров Способ идентификации личности по фонограммам произвольной устной речи
US5995927A (en) 1997-03-14 1999-11-30 Lucent Technologies Inc. Method for performing stochastic matching for use in speaker verification
US6389392B1 (en) 1997-10-15 2002-05-14 British Telecommunications Public Limited Company Method and apparatus for speaker recognition via comparing an unknown input to reference data
RU2161826C2 (ru) 1998-08-17 2001-01-10 Пензенский научно-исследовательский электротехнический институт Способ автоматической идентификации личности
US6411930B1 (en) 1998-11-18 2002-06-25 Lucent Technologies Inc. Discriminative gaussian mixture models for speaker verification
RU2230375C2 (ru) 2002-09-03 2004-06-10 Общество с ограниченной ответственностью "Центр речевых технологий" Метод распознавания диктора и устройство для его осуществления

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
G. FANT: "Acoustic theory of speech production", 1964, MOSCOW: NAUKA
G.S. RAMISHVILI: "G.B. Chikoidze Forensic processing of phonograms and identification of a speaker", MEZNIEREBA, 1991, pages 265
L.V. BONDARKO; L.A. VERBITSKAYA; M.V. GORDINA: "Basics of General Phonetics", 2004, ST. PETERSBURG: SPSU
MARPLE: "Digital spectral analysis and its applications", 1990, MIR
See also references of EP2482277A4
V.N. SOROKIN, THEORY OF SPEECH PRODUCTION. - M.: RADIO AND COMMUNICATION, 1985

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047866B2 (en) 2009-09-24 2015-06-02 Speech Technology Center Limited System and method for identification of a speaker by phonograms of spontaneous oral speech and by using formant equalization using one vowel phoneme type
CN111879397A (zh) * 2020-09-01 2020-11-03 国网河北省电力有限公司检修分公司 高压断路器储能机构故障诊断方法

Also Published As

Publication number Publication date
US9047866B2 (en) 2015-06-02
WO2011046474A3 (ru) 2011-06-16
EA019949B1 (ru) 2014-07-30
US20130325470A1 (en) 2013-12-05
ES2547731T3 (es) 2015-10-08
EA201290082A1 (ru) 2012-07-30
EP2482277B1 (en) 2015-06-24
RU2419890C1 (ru) 2011-05-27
EP2482277A2 (en) 2012-08-01
EP2482277A4 (en) 2013-04-10
US20120232899A1 (en) 2012-09-13

Similar Documents

Publication Publication Date Title
RU2419890C1 (ru) Способ идентификации говорящего по фонограммам произвольной устной речи на основе формантного выравнивания
US8160877B1 (en) Hierarchical real-time speaker recognition for biometric VoIP verification and targeting
Bezoui et al. Feature extraction of some Quranic recitation using mel-frequency cepstral coeficients (MFCC)
Archana et al. Gender identification and performance analysis of speech signals
Hasija et al. Recognition of children Punjabi speech using tonal non-tonal classifier
Sigmund Voice recognition by computer
Tzudir et al. Analyzing RMFCC feature for dialect identification in Ao, an under-resourced language
Espy-Wilson et al. A new set of features for text-independent speaker identification.
Kumari et al. Comparison of LPCC and MFCC features and GMM and GMM-UBM modeling for limited data speaker verification
Babu et al. Forensic speaker recognition system using machine learning
Yusnita et al. Malaysian English accents identification using LPC and formant analysis
Mary et al. Evaluation of mimicked speech using prosodic features
Maazouzi et al. MFCC and similarity measurements for speaker identification systems
Kakade et al. An automatic real time speech-speaker recognition system: a real time approach
KR101560833B1 (ko) 음성 신호를 이용한 감정 인식 장치 및 방법
RU2530314C1 (ru) Способ гибридной генеративно-дискриминативной сегментации дикторов в аудио-потоке
Joseph et al. Indian accent detection using dynamic time warping
Imam et al. Speaker recognition using automated systems
Bhukya et al. End point detection using speech-specific knowledge for text-dependent speaker verification
Upadhyay et al. Analysis of different classifier using feature extraction in speaker identification and verification under adverse acoustic condition for different scenario
Ouzounov Cepstral features and text-dependent speaker identification–A comparative study
Pradhan et al. Excitation source features for improving the detection of vowel onset and offset points in a speech sequence
Singh et al. A comparative study on feature extraction techniques for language identification
Bapineedu Analysis of Lombard effect speech and its application in speaker verification for imposter detection
Nair et al. A reliable speaker verification system based on LPCC and DTW

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10823678

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 201290082

Country of ref document: EA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010823678

Country of ref document: EP