KR20090117890A - 부호화 장치 및 부호화 방법 - Google Patents

부호화 장치 및 부호화 방법 Download PDF

Info

Publication number
KR20090117890A
KR20090117890A KR20097018303A KR20097018303A KR20090117890A KR 20090117890 A KR20090117890 A KR 20090117890A KR 20097018303 A KR20097018303 A KR 20097018303A KR 20097018303 A KR20097018303 A KR 20097018303A KR 20090117890 A KR20090117890 A KR 20090117890A
Authority
KR
South Korea
Prior art keywords
encoding
gain
vector
range
subbands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR20097018303A
Other languages
English (en)
Other versions
KR101414354B1 (ko
Inventor
마사히로 오시키리
도시유키 모리이
도모후미 야마나시
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20090117890A publication Critical patent/KR20090117890A/ko
Application granted granted Critical
Publication of KR101414354B1 publication Critical patent/KR101414354B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

모음과 같이 토나리티가 강한 신호의 스펙트럼의 형상을 보다 정확하게 부호화할 수 있는 음성 부호화 장치등을 제공한다. 이 장치에 있어서, 서브밴드 구성부(151)는, 부호화 대상이 되는 제1 레이어 오차 변환계수를 M개의 서브밴드로 분할하여 M개의 서브밴드 변환계수를 생성하고, 형상 벡터 부호화부(152)는, M개의 서브밴드 변환계수 각각에 대해 부호화를 행하여 M개의 형상 부호화 정보를 얻는 것과 동시에, M개의 서브밴드 변환계수 각각의 타겟 게인을 산출하고, 게인 벡터 구성부(153)는, M개의 타겟 게인을 이용하여 1개의 게인 벡터를 구성하고, 게인 벡터 부호화부(154)는, 게인 벡터에 대해 부호화를 행하여 게인 부호화 정보를 얻고, 다중화부(155)는, 형상 부호화 정보와 게인 부호화 정보를 다중화한다.

Description

부호화 장치 및 부호화 방법{ENCODING DEVICE AND ENCODING METHOD}
본 발명은, 음성 신호등의 입력 신호를 부호화해서 전송하는 통신 시스템에 이용되는 부호화 장치 및 부호화 방법에 관한 것이다.
이동체 통신 시스템에서는, 전파 자원등의 유효 이용을 위해서, 음성 신호를 저비트레이트(低bit rate)로 압축해서 전송하는 것이 요구되고 있다. 그 한편, 통화 음성의 품질 향상이나 현장감 높은 통화 서비스의 실현도 희망되고 있어, 그 실현에는, 음성 신호의 고품질화 뿐만 아니라, 보다 대역이 넓은 오디오 신호등, 음성 신호 이외의 신호도 고품질로 부호화 하는 것이 바람직하다.
이와 같이 상반되는 2개의 요구에 대해, 복수의 부호화 기술을 계층적으로 통합하는 기술이 유망시 되고 있다. 이 기술은, 음성 신호에 적합한 모델로 입력 신호를 저비트레이트로 부호화하는 기본 레이어와, 입력 신호와 기본 레이어의 복호 신호와의 차분 신호를 음성 이외의 신호에도 적합한 모델로 부호화 하는 확장 레이어를 계층적으로 조합하는 것이다. 이와 같이 계층적으로 부호화를 행하는 기술은, 부호화 장치로부터 얻어지는 비트 스트림에 스케일러빌리티성(scalability), 즉, 비트 스트림의 일부의 정보로부터에서도 복호 신호를 얻을 수 있는 성질을 가지기 때문에, 일반적으로 스케일러블 부호화(계층 부호화)라고 불리고 있다.
스케일러블 부호화 방식은, 그 성질때문에, 비트레이트가 다른 네트워크간의 통신에 유연하게 대응할 수 있기 때문에, IP(Internet Protocol)로 다양한 네트워크가 통합되어 가는 향후의 네트워크 환경에 적합한 것이라고 말할 수 있다.
MPEG－4(Moving Picture Experts Group phase-4)로 규격화된 기술을 이용해 스케일러블 부호화를 실현하는 예로서, 예를 들면, 비특허 문헌 1에 개시되어 있는 기술이 있다. 이 기술은, 기본 레이어에 있어서, 음성 신호에 적합한 CELP(Code Excited Linear Prediction；부호 여진 선형 예측) 부호화를 이용하고, 확장 레이어에 있어서, 원신호로부터 제1 레이어 복호 신호를 뺀 잔차신호에 대해서, AAC(Advanced Audio Coder)나 TwinVQ(Transform Domain Weighted Interleave Vector Quantization；주파수 영역 가중 인터리브 벡터 양자화) 등의 변환 부호화를 이용한다.
또, 이종망간 핸드 오버나 폭주 발생등에 의해 통신 속도가 동적으로 변동하는 등의 네트워크 환경에 유연하게 대응시키기 위해서는, 비트레이트 피치가 세세한 스케일러블 부호화의 실현이 필요하며, 따라서, 저비트레이트화 된 레이어를 다수 계층화하여 스케일러블 부호화를 구성할 필요가 있다.
한편, 특허 문헌 1 및 특허 문헌 2에는, 부호화 대상이 되는 신호를 주파수 영역으로 변환하고, 얻어진 주파수 영역 신호에 있어서 부호화를 행하는 변환 부호화의 기술이 개시되어 있다. 이러한, 변환 부호화에서는, 우선, 서브밴드마다 주파수 영역 신호의 에너지 성분, 즉 게인(스케일 팩터)을 산출 및 양자화하고, 다음에, 상기 주파수 영역 신호의 미세 성분, 즉 형상 벡터를 산출 및 양자화한다.
[비특허 문헌1]삼목필일(三木弼一/미키스케이치)편저, 「MPEG－4의 모든 것」, 초판, (주) 공업 조사회, 1998년 9월 30일, p.126－127
[특허 문헌 1]특표 2006－513457호 공보
[특허 문헌 2]특개평 7－261800호 공보
그렇지만, 2개의 파라미터를 전후 차례로 양자화하는 경우, 나중에 양자화되는 파라미터는, 먼저 양자화되는 파라미터의 양자화 왜곡의 영향을 받기때문에, 양자화 왜곡이 커지는 경향이 있다. 따라서, 게인, 형상 벡터의 순서로 양자화를 행하는 특허 문헌 1 및 특허 문헌 2 기재의 변환 부호화에 있어서는, 형상 벡터의 양자화 왜곡이 커져, 스펙트럼의 형상을 정확하게 나타낼 수 없게 되는 경향이 있다. 이 문제는, 모음과 같이 토나리티(Tonality)가 강한 신호, 즉, 피크 형상이 다수 관찰되는 스펙트럼 특성 신호에 대해서 커다란 품질 열화를 발생시킨다. 이 문제는 저비트레이트화를 꾀했을 때에 현저해진다.
본 발명의 목적은, 모음과 같이 토나리티가 강한 신호, 즉, 피크 형상이 다수 관찰되는 스펙트럼 특성 신호의 스펙트럼의 형상을 정확하게 부호화 할 수가 있어, 복호 음성의 음질등, 복호 신호의 품질을 향상시킬 수 있는 부호화 장치 및 부호화 방법을 제공하는 것이다.
본 발명의 부호화 장치는, 입력 신호를 부호화하여 기본 레이어 부호화 데이터를 얻는 기본 레이어 부호화부와, 상기 기본 레이어 부호화 데이터를 복호하여 기본 레이어 복호 신호를 얻는 기본 레이어 복호부와, 상기 입력 신호와 상기 기본 레이어 복호 신호와의 차(差)인 잔차신호를 부호화하고 확장 레이어 부호화 데이터를 얻는 확장 레이어 부호화부를 구비하는 부호화 장치로서, 상기 확장 레이어 부호화부는, 상기 잔차신호를 복수의 서브밴드로 분할하는 분할 수단과, 상기 복수의 서브밴드 각각에 대해 부호화를 행하여 제1 형상 부호화 정보를 얻음과 동시에, 상기 복수의 서브밴드 각각의 타겟 게인을 산출하는 제1 형상 벡터 부호화 수단과, 상기 복수의 타겟 게인을 이용해 1개의 게인 벡터를 구성하는 게인 벡터 구성 수단과, 상기 게인 벡터에 대해 부호화를 행하여 제1 게인 부호화 정보를 얻는 게인 벡터 부호화 수단을 구비하는 구성을 취한다.
본 발명의 부호화 방법은, 입력 신호를 주파수 영역으로 변환하여 얻어지는 변환계수를 복수의 서브밴드로 분할하는 단계과, 상기 복수의 서브밴드의 변환계수 각각에 대해 부호화를 행하여 제1 형상 부호화 정보를 얻음과 동시에, 상기 복수의 서브밴드의 변환계수 각각의 타겟 게인을 산출하는 단계과, 상기 복수의 타겟 게인을 이용해 1개의 게인 벡터를 구성하는 단계과, 상기 게인 벡터에 대해 부호화를 행하여 제1 게인 부호화 정보를 얻는 단계를 구비하도록 했다.
[효과]
본 발명에 의하면, 모음과 같이 토나리티가 강한 신호, 즉 피크 형상이 다수 관찰되는 스펙트럼 특성 신호의 스펙트럼의 형상을 보다 정확하게 부호화할 수 있어, 복호 음성의 음질등, 복호 신호의 품질을 향상시킬 수 있다.
도 1은 본 발명의 실시형태 1에 따른 음성 부호화 장치의 주요한 구성을 나 타내는 블록도.
도 2는 본 발명의 실시형태 1에 따른 제2 레이어 부호화부의 내부의 구성을 나타내는 블록도.
도 3은 본 발명의 실시형태 1에 따른 제2 레이어 부호화부에 있어서의 제2 레이어 부호화 처리의 절차를 나타내는 흐름도.
도 4는 본 발명의 실시형태 1에 따른 형상 벡터 부호화부의 내부의 구성을 나타내는 블록도.
도 5는 본 발명의 실시형태 1에 따른 게인 벡터 구성부의 내부의 구성을 나타내는 블록도.
도 6은 본 발명의 실시형태 1에 따른 타겟 게인 배치부의 동작을 상세하게 설명하기 위한 도면.
도 7은 본 발명의 실시형태 1에 따른 게인 벡터 부호화부의 내부의 구성을 나타내는 블록도.
도 8은 본 발명의 실시형태 1에 따른 음성 복호 장치의 주요한 구성을 나타내는 블록도.
도 9는 본 발명의 실시형태 1에 따른 제2 레이어 복호부의 내부의 구성을 나타내는 블록도.
도 10은 본 발명의 실시형태 2에 따른 형상 벡터 코드북을 설명하기 위한 도면.
도 11은 본 발명의 실시형태 2에 따른 형상 벡터 코드북에 포함되는 다수의 형상 벡터 후보를 예시하는 도면.
도 12는 본 발명의 실시형태 3에 따른 제2 레이어 부호화부의 내부의 구성을 나타내는 블록도.
도 13은 본 발명의 실시형태 3에 따른 범위 선택부에 있어서의 범위 선택 처리를 설명하기 위한 도면.
도 14는 본 발명의 실시형태 3에 따른 제2 레이어 복호부의 내부의 구성을 나타내는 블록도.
도 15는 본 발명의 실시형태 3에 따른 범위 선택부의 베리에이션을 나타내는 도면.
도 16은 본 발명의 실시형태 3에 따른 범위 선택부에 있어서의 범위 선택 방법의 베리에이션을 나타내는 도면.
도 17은 본 발명의 실시형태 3에 따른 범위 선택부의 구성의 베리에이션을 나타내는 블록도.
도 18은 본 발명의 실시형태 3에 따른 범위 정보 구성부에 있어서 범위 정보를 구성하는 양상을 예시하는 도면.
도 19는 본 발명의 실시형태 3에 따른 제1 레이어 오차 변환계수 생성부의 베리에이션의 동작을 설명하기 위한 도면.
도 20은 본 발명의 실시형태 3에 따른 범위 선택부에 있어서의 범위 선택 방법의 베리에이션을 나타내는 도면.
도 21은 본 발명의 실시형태 3에 따른 범위 선택부에 있어서의 범위선택 방 법의 베리에이션을 나타내는 도면.
도 22는 본 발명의 실시형태 4에 따른 제2 레이어 부호화부의 내부의 구성을 나타내는 블록도.
도 23은 본 발명의 실시형태 5에 따른 음성 부호화 장치의 주요한 구성을 나타내는 블록도.
도 24는 본 발명의 실시형태 5에 따른 제1 레이어 부호화부의 내부의 주요한 구성을 나타내는 블록도.
도 25는 본 발명의 실시형태 5에 따른 제1 레이어 복호부의 내부의 주요한 구성을 나타내는 블록도.
도 26은 본 발명의 실시형태 5에 따른 음성 복호 장치의 주요한 구성을 나타내는 블록도.
도 27은 본 발명의 실시형태 6에 따른 음성 부호화 장치의 주요한 구성을 나타내는 블록도.
도 28은 본 발명의 실시형태 6에 따른 음성 복호 장치의 주요한 구성을 나타내는 블록도.
도 29는 본 발명의 실시형태 7에 따른 음성 부호화 장치의 주요한 구성을 나타내는 블록도.
도 30은 본 발명의 실시형태 7에 따른 음성 부호화 장치의 부호화 처리에 있어서 부호화 대상이 되는 범위의 선택 처리를 설명하기 위한 도면.
도 31은 본 발명의 실시형태 7에 따른 음성 복호 장치의 주요한 구성을 나타 내는 블록도.
도 32는 본 발명의 실시형태 7에 따른 음성 부호화 장치의 부호화 처리에 있어서 등간격으로 배치되어 있는 범위의 후보로부터 부호화 대상을 선택하는 경우를 설명하기 위한 도면.
도 33은 본 발명의 실시형태 7에 따른 음성 부호화 장치의 부호화 처리에 있어서 등간격으로 배치되어 있는 범위의 후보로부터 부호화 대상을 선택하는 경우를 설명하기 위한 도면.
이하, 본 발명의 실시형태에 대해서, 도면을 참조해 상세하게 설명한다. 이하에 있어서는, 본 발명의 부호화 장치/복호 장치의 예로서 음성 부호화 장치/음성 복호 장치를 이용해 설명한다.
(실시형태 1)
도1은, 본 발명의 실시형태 1에 따른 음성 부호화 장치(100)의 주요한 구성을 나타내는 블록도이다. 본 실시형태에 따른 음성 부호화 장치 및 음성 복호 장치의 구성으로서 2 레이어의 스케일러블 구성을 취하는 예를 들어 설명한다. 또한, 제1 레이어는 기본 레이어를 구성하고, 제2 레이어는 확장 레이어를 구성한다.
도1에 있어서, 음성 부호화 장치(100)는, 주파수 영역 변환부(101), 제1 레이어 부호화부(102), 제1 레이어 복호부(103), 감산기(104), 제2 레이어 부호화부(105), 및 다중화부(106)를 구비한다.
주파수 영역 변환부(101)는, 시간 영역의 입력 신호를 주파수 영역의 신호로 변환하고, 얻어지는 입력 변환계수를 제1 레이어 부호화부(102) 및 감산기(104)에 출력한다.
제1 레이어 부호화부(102)는, 주파수 영역 변환부(101)로부터 입력되는 입력 변환계수에 대해 부호화 처리를 행하고, 얻어지는 제1 레이어 부호화 데이터를 제1 레이어 복호부(103) 및 다중화부(106)에 출력한다.
제1 레이어 복호부(103)는, 제1 레이어 부호화부(102)로부터 입력되는 제1 레이어 부호화 데이터를 이용해 복호 처리를 행하고, 얻어지는 제1 레이어 복호 변환계수를 감산기(104)에 출력한다.
감산기(104)는, 주파수 영역 변환부(101)로부터 입력되는 입력 변환계수로부터, 제1 레이어 복호부(103)로부터 입력되는 제1 레이어 복호 변환계수를 빼고, 얻어지는 제1 레이어 오차 변환계수를 제2 레이어 부호화부(105)에 출력한다.
제2 레이어 부호화부(105)는, 감산기(104)로부터 입력되는 제1 레이어 오차 변환계수에 대해 부호화 처리를 행하고, 얻어지는 제2 레이어 부호화 데이터를 다중화부(106)에 출력한다. 또한, 제2 레이어 부호화부(105)의 상세한 것에 대해서는 후술한다.
다중화부(106)는, 제1 레이어 부호화부(102)로부터 입력되는 제1 레이어 부호화 데이터와, 제2 레이어 부호화부(105)로부터 입력되는 제2 레이어 부호화 데이터를 다중화하고, 얻어지는 비트 스트림을 통신로에 출력한다.
도2는, 제2 레이어 부호화부(105)의 내부의 구성을 나타내는 블록도이다.
도2에 있어서, 제2 레이어 부호화부(105)는, 서브밴드 구성부(151), 형상 벡 터 부호화부(152), 게인 벡터 구성부(153), 게인 벡터 부호화부(154), 및 다중화부(155)를 구비한다.
서브밴드 구성부(151)는, 감산기(104)로부터 입력되는 제1 레이어 오차 변환계수를 M개의 서브밴드로 분할하고, 얻어지는 M개의 서브밴드 변환계수를 형상 벡터 부호화부(152)에 출력한다. 여기서, 제1 레이어 오차 변환계수를 el(k)라고 표시할 경우, 제m(0≤m≤M－1) 서브밴드 변환계수 e(m, k)는, 아래와 같은 수학식(1)으로 표시된다.
[수학식1]
Figure 112009053820821-PCT00001
식(1)에 있어서, F(m)은, 각 서브밴드 경계의 주파수를 나타내며, 0≤F(0)＜F(1)＜…＜F(M)≤FH의 관계에 있다. 여기서, FH는 제1 레이어 오차 변환계수의 최대 주파수를 나타내며, m은 0≤m≤M－1의 정수를 취한다.
형상 벡터 부호화부(152)는, 서브밴드 구성부(151)로부터 순차적으로 입력되는 M개의 서브밴드 변환계수 각각에 대해서 형상 벡터 양자화를 행하여 M개의 서브밴드 각각의 형상 부호화 정보를 생성함과 동시에, M개의 서브밴드 변환계수 각각의 타겟 게인을 산출한다. 형상 벡터 부호화부(152)는, 생성된 형상 부호화 정보를 다중화부(155)에 출력하고, 타겟 게인을 게인 벡터 구성부(153)에 출력한다. 또한, 형상 벡터 부호화부(152)의 상세한 것에 대해서는 후술한다.
게인 벡터 구성부(153)는, 형상 벡터 부호화부(152)로부터 입력되는 M개의 타겟 게인으로부터 1개의 게인 벡터를 구성하여 게인 벡터 부호화부(154)에 출력한다. 또한, 게인 벡터 구성부(153)의 상세한 것에 대해서는 후술한다.
게인 벡터 부호화부(154)는, 게인 벡터 구성부(153)로부터 입력되는 게인 벡터를 목표치로 하여 벡터 양자화를 행하고, 얻어지는 게인 부호화 정보를 다중화부(155)에 출력한다. 또한, 게인 벡터 부호화부(154)의 상세한 것에 대해서는 후술한다.
다중화부(155)는, 형상 벡터 부호화부(152)로부터 입력되는 형상 부호화 정보와, 게인 벡터 부호화부(154)로부터 입력되는 게인 부호화 정보를 다중화하고, 얻어지는 비트 스트림을 제2 레이어 부호화 데이터로서 다중화부(106)에 출력한다.
도3은, 제2 레이어 부호화부(105)에 있어서의 제2 레이어 부호화 처리 절차를 나타내는 흐름도이다.
우선, 단계(이하,「ST」라고 약칭함) 1010에 있어서, 서브밴드 구성부(151)는, 제1 레이어 오차 변환계수를 M개의 서브밴드로 분할하고, M개의 서브밴드 변환계수를 구성한다.
그 다음에, ST1020에 있어서, 제2 레이어 부호화부(105)는, 서브밴드를 카운트하는 서브밴드 카운터 m을 「0」으로 초기화한다.
그 다음에, ST1030에 있어서, 형상 벡터 부호화부(152)는, 제m서브밴드 변환계수에 대해서 형상 벡터 부호화를 행하여, 제m서브밴드의 형상 부호화 정보를 생성함과 동시에, 제m서브밴드 변환계수의 타겟 게인을 생성한다.
그 다음에, ST1040에 있어서, 제2 레이어 부호화부(105)는, 서브밴드 카운터 m을 1 인크리먼트(increment) 한다.
그 다음에, ST1050에 있어서, 제2 레이어 부호화부(105)는, m＜M인지 아닌지를 판정한다.
ST1050에 있어서, m＜M이라고 판정했을 경우 (ST1050：「YES」)에는, 제2 레이어 부호화부(105)는, 처리 절차를 ST1030으로 되돌린다.
한편, ST1050에 있어서, m＜M이 아니라고 판정했을 경우(ST1050：
「NO」)에는, 게인 벡터 구성부(153)는, ST1060에 있어서, M개의 타겟 게인을 이용해 1개의 게인 벡터를 구성한다.
그 다음에, ST1070에 있어서, 게인 벡터 부호화부(154)는, 게인 벡터 구성부(153)에서 구성된 게인 벡터를 목표치로 하여 벡터 양자화를 행하고, 게인 부호화 정보를 생성한다.
그 다음에, ST1080에 있어서, 다중화부(155)는, 형상 벡터 부호화부(152)에서 생성된 형상 부호화 정보와, 게인 벡터 부호화부(154)에서 생성된 게인 부호화 정보를 다중화한다.
도4는, 형상 벡터 부호화부(152)의 내부의 구성을 나타내는 블록도이다.
도4에 있어서, 형상 벡터 부호화부(152)는, 형상 벡터 코드북(521), 상호 상관 산출부(522), 자기 상관 산출부(523), 탐색부(524), 및 타겟 게인 산출부(525)를 구비한다.
형상 벡터 코드북(521)은, 제1 레이어 오차 변환계수의 형상을 나타내는 형상 벡터 후보를 다수 저장하고 있으며, 탐색부(524)로부터 입력되는 제어 신호에 기초하여, 형상 벡터 후보를 상호 상관 산출부(522) 및 자기 상관 산출부(523)에 순차적으로 출력한다. 또한 일반적으로, 형상 벡터 코드북은, 실제로 기억 영역을 확보해 형상 벡터 후보를 기억하는 형태를 취하는 경우도 있고, 또는 미리 정해진 처리 순서에 따라 형상 벡터 후보를 구성하는 경우도 있다. 후자의 경우, 실제로 기억 영역을 확보할 필요는 없다. 본 실시형태에서 이용하는 형상 벡터 코드북은 어느것이라도 좋지만, 이하에서는 도4에 표시되어 있는 것같은 형상 벡터 후보가 기억되어 있는 형상 벡터 코드북(521)을 가지는 것을 전제로 설명을 행한다. 이하, 형상 벡터 코드북(521)에 저장되어 있는 다수의 형상 벡터 후보 중 제i번째를 c(i, k)라고 표시한다.
여기서, k는, 형상 벡터 후보를 구성하는 복수의 요소 중 제k개째를 나타낸다.
상호 상관 산출부(522)는, 아래의 수학식(2)에 따라, 서브밴드 구성부(151)로부터 입력되는 제m서브밴드 변환계수와, 형상 벡터 코드북(521)으로부터 입력되는 제i형상 벡터 후보와의 상호 상관 ccor(i)를 산출하여, 탐색부(524), 및 타겟 게인 산출부(525)에 출력한다.
[수학식2]
Figure 112009053820821-PCT00002
자기 상관 산출부(523)는, 아래의 수학식(3)에 따라, 형상 벡터 코드북(521)으로부터 입력되는 형상 벡터 후보 c(i, k)의 자기 상관 acor(i)를 산출하여, 탐색 부(524), 및 타겟 게인 산출부(525)에 출력한다.
[수학식3]
Figure 112009053820821-PCT00003
탐색부(524)는, 상호 상관 산출부(522)로부터 입력되는 상호 상관 ccor(i)와, 자기 상관 산출부(523)로부터 입력되는 자기 상관 acor(i)를 이용하여 아래의 수학식(4)으로 표시되는 기여도 A를 산출하고, 기여도 A의 최대치가 탐색될 때까지, 형상 벡터 코드북(521)에 제어 신호를 출력한다. 탐색부(524)는, 기여도 A가 최대가 될 때의 형상 벡터 후보의 인덱스 iopt를 최적 인덱스로서 타겟 게인 산출부(525)에 출력함과 동시에, 형상 부호화 정보로서 다중화부(155)에 출력한다.
[수학식4]
Figure 112009053820821-PCT00004
타겟 게인 산출부(525)는, 상호 상관 산출부(522)로부터 입력되는 상호 상관 ccor(i), 자기 상관 산출부(523)로부터 입력되는 자기 상관 acor(i), 및 탐색부(524)로부터 입력되는 최적 인덱스 iopt를 이용하여 아래의 수학식(5)에 따라 타겟 게인을 산출하여, 게인 벡터 구성부(153)에 출력한다.
[수학식5]
Figure 112009053820821-PCT00005
도5는, 게인 벡터 구성부(153)의 내부의 구성을 나타내는 블록도이다.
도5에 있어서, 게인 벡터 구성부(153)는, 배치 위치 결정부(531) 및 타겟 게인 배치부(532)를 구비한다.
배치 위치 결정부(531)는, 초기값이 「0」인 카운터를 구비하여, 형상 벡터 부호화부(152)로부터 타겟 게인이 입력될 때마다 카운터의 값을 1 인크리먼트하고, 카운터의 값이 서브밴드의 총수 M이 될 때, 다시 카운터의 값을 제로로 설정한다. 여기서, M은, 게인 벡터 구성부(153)에 있어서 구성되는 게인 벡터의 벡터길이이기도 하며, 배치 위치 결정부(531)가 구비하는 카운터의 처리는, 카운터의 값을 게인 벡터의 벡터길이로 잉여를 취하는 것에 상당한다. 즉, 카운터의 값은 「0」~M－1까지의 정수이다. 배치 위치 결정부(531)는, 카운터의 값이 갱신될 때마다, 갱신된 카운터값을 배치 정보로서 타겟 게인 배치부(532)에 출력한다.
타겟 게인 배치부(532)는, 초기값이 각각 「0」인 M개의 버퍼, 및 형상 벡터 부호화부(152)로부터 입력되는 타겟 게인을 각 버퍼에 배치하는 스윗치를 구비하고, 이 스윗치는, 배치 위치 결정부(531)로부터 입력되는 배치 정보가 나타내는 값을 번호로 하는 버퍼에, 형상 벡터 부호화부(152)로부터 입력되는 타겟 게인을 배치한다.
도6은, 타겟 게인 배치부(532)의 동작을 상세하게 설명하기 위한 도면이다.
도6에 있어서, 스윗치에 입력되는 배치 정보가 「0」인 경우에는, 타겟 게인이 제0 버퍼에 배치되고, 배치 정보가 M－1인 경우에는, 타겟 게인이 제M－1 버퍼에 배치된다. 모든 버퍼에 타겟 게인이 배치되었을 경우, 타겟 게인 배치부(532) 는, M개의 버퍼에 배치된 타겟 게인으로 된 게인 벡터를 게인 벡터 부호화부(154)에 출력한다.
도7은, 게인 벡터 부호화부(154)의 내부의 구성을 나타내는 블록도이다.
도7에 있어서, 게인 벡터 부호화부(154)는, 게인 벡터 코드북(541), 오차 산출부(542), 및 탐색부(543)를 구비한다.
게인 벡터 코드북(541)은, 게인 벡터를 나타내는 게인 벡터 후보를 다수 저장하고 있으며, 탐색부(543)로부터 입력되는 제어 신호를 기초로, 게인 벡터 후보를 오차 산출부(542)에 순차적으로 출력한다. 일반적으로, 게인 벡터 코드북은, 실제로 기억 영역을 확보하여 게인 벡터 후보를 기억하는 형태를 취하는 경우도 있고, 또는 미리 정해진 처리 순서에 따라 게인 벡터 후보를 구성하는 경우도 있다. 후자의 경우, 실제로 기억 영역을 확보할 필요는 없다. 본 실시형태에서 이용하는 게인 벡터 코드북은 어느것이라도 좋지만, 이하에서는 도7에 표시되어 있는 것 같은 게인 벡터 후보가 기억되어 있는 게인 벡터 코드북(541)을 가지는 것을 전제로 설명한다. 이하, 게인 벡터 코드북(541)에 저장되어 있는 다수의 게인 벡터 후보 중 제j번째를 g(j, m)라고 나타낸다. 여기서, m은, 게인 벡터 후보를 구성하는 M개의 요소 중 제m개째를 나타낸다.
오차 산출부(542)는, 게인 벡터 구성부(153)로부터 입력되는 게인 벡터, 및 게인 벡터 코드북(541)으로부터 입력되는 게인 벡터 후보를 이용해, 아래의 수학식(6)에 따라, 오차 E(j)를 산출하여 탐색부(543)에 출력한다.
[수학식6]
Figure 112009053820821-PCT00006
식(6)에 있어서, m은, 서브밴드의 번호를 나타내고, gｖ(m)은, 게인 벡터 구성부(153)로부터 입력되는 게인 벡터를 나타낸다.
탐색부(543)는, 오차 산출부(542)로부터 입력되는 오차 E(j)의 최소치가 탐색될 때까지, 게인 벡터 코드북(541)에 제어 신호를 출력하고, 오차 E(j)가 최소가 될 때의 게인 벡터 후보의 인덱스 jopt를 탐색하여, 게인 부호화 정보로서 다중화부(155)에 출력한다.
도8은, 본 실시형태에 따른 음성 복호 장치(200)의 주요한 구성을 나타내는 블록도이다.
도8에 있어서, 음성 복호 장치(200)는, 분리부(201), 제1 레이어 복호부(202), 제2 레이어 복호부(203), 가산기(204), 전환부(205), 시간 영역 변환부(206), 및 포스트 필터(207)를 구비한다.
분리부(201)는, 통신로를 경유하여 음성 부호화 장치(100)로부터 전송되는 비트 스트림을 제1 레이어 부호화 데이터 및 제2 레이어 부호화 데이터로 분리하고, 제1 레이어 부호화 데이터를 제1 레이어 복호부(202)에 출력하고, 제2 레이어 부호화 데이터를 제2 레이어 복호부(203)에 출력한다. 단, 통신로의 상황(폭주 발생 등)에 따라서는, 부호화 데이터의 일부분, 예를 들면 제2 레이어 부호화 데이터가 소실하든가, 또는 제1 레이어 부호화 데이터 및 제2 레이어 부호화 데이터를 포 함한 부호화 데이터 모두가 소실해 버리는 경우가 있다. 그래서, 분리부(201)는, 수신한 부호화 데이터에 제1 레이어 부호화 데이터만이 포함되어 있는지, 또는 제1 레이어 및 제2 레이어 부호화 데이터의 양쪽 모두가 포함되어 있는지를 판정하고, 전자의 경우에는 레이어 정보로서 「1」을 전환부(205)에 출력하고, 후자의 경우에는 레이어 정보로서 「2」를 전환부(205)에 출력한다. 또, 분리부(201)는, 제1 레이어 부호화 데이터 및 제2 레이어 부호화 데이터를 포함한 부호화 데이터 전부가 소실했다고 판정했을 경우에는, 소정의 보상 처리를 실시해 제1 레이어 부호화 데이터 및 제2 레이어 부호화 데이터를 생성하여, 제1 레이어 복호부(202) 및 제2 레이어 복호부(203)각각에 출력하고, 레이어 정보로서 「2」를 전환부(205)에 출력한다.
제1 레이어 복호부(202)는, 분리부(201)로부터 입력되는 제1 레이어 부호화 데이터를 이용해 복호 처리를 행하고, 얻어지는 제1 레이어 복호 변환계수를 가산기(204) 및 전환부(205)에 출력한다.
제2 레이어 복호부(203)는, 분리부(201)로부터 입력되는 제2 레이어 부호화 데이터를 이용해 복호 처리를 행하고, 얻어지는 제1 레이어 오차 변환계수를 가산기(204)에 출력한다.
가산기(204)는, 제1 레이어 복호부(202)로부터 입력되는 제1 레이어 복호 변환계수와, 제2 레이어 복호부(203)로부터 입력되는 제1 레이어 오차 변환계수를 가산하고, 얻어지는 제2 레이어 복호 변환계수를 전환부(205)에 출력한다.
전환부(205)는, 분리부(201)로부터 입력되는 레이어 정보가 「1」인 경우에 는, 제1 레이어 복호 변환계수를 복호 변환계수로서 시간 영역 변환부(206)에 출력하고, 레이어 정보가 「2」인 경우에는, 제2 레이어 복호 변환계수를 복호 변환계수로서 시간 영역 변환부(206)에 출력한다.
시간 영역 변환부(206)는, 전환부(205)로부터 입력되는 복호 변환계수를 시간 영역의 신호로 변환하고, 얻어지는 복호 신호를 포스트필터(207)에 출력한다.
포스트필터(207)는, 시간 영역 변환부(206)로부터 입력되는 복호 신호에 대해서, 포만트(formant) 강조, 피치 강조, 및 스펙트럼 경사 조정 등의 포스트필터 처리를 행한뒤 복호 음성으로서 출력한다.
도9는, 제2 레이어 복호부(203)의 내부의 구성을 나타내는 블록도이다.
도9에 있어서, 제2 레이어 복호부(203)는, 분리부(231), 형상 벡터 코드북(232), 게인 벡터 코드북(233), 및 제1 레이어 오차 변환계수 생성부(234)를 구비한다.
분리부(231)는, 분리부(201)로부터 입력되는 제2 레이어 부호화 데이터를 다시 형상 부호화 정보 및 게인 부호화 정보로 분리하고, 형상 부호화 정보를 형상 벡터 코드북(232)에 출력하고, 게인 부호화 정보를 게인 벡터 코드북(233)에 출력한다.
형상 벡터 코드북(232)는, 도4의 형상 벡터 코드북(521)이 구비하는 다수의 형상 벡터 후보와 동일한 형상 벡터 후보를 구비하고, 분리부(231)로부터 입력되는 형상 부호화 정보가 나타내는 형상 벡터 후보를 제1 레이어 오차 변환계수 생성부(234)에 출력한다.
게인 벡터 코드북(233)은, 도7의 게인 벡터 코드북(541)이 구비하는 다수의 게인 벡터 후보와 동일한 게인 벡터 후보를 구비하고, 분리부(231)로부터 입력되는 게인 부호화 정보가 나타내는 게인 벡터 후보를 제1 레이어 오차 변환계수 생성부(234)에 출력한다.
제1 레이어 오차 변환계수 생성부(234)는, 형상 벡터 코드북(232) 으로부터 입력되는 형상 벡터 후보에, 게인 벡터 코드북(233)으로부터 입력되는 게인 벡터 후보를 곱해 제1 레이어 오차 변환계수를 생성하여, 가산기(204)에 출력한다. 구체적으로는, 게인 벡터 코드북(233)으로부터 입력되는 게인 벡터 후보를 구성하는 M개의 요소 중 제m번째 요소를, 즉 제m서브밴드 변환계수의 타겟 게인을, 형상 벡터 코드북(232) 으로부터 순차적으로 입력되는 제m번째의 형상 벡터 후보를 곱한다. 여기서, M은 전술한 바와 같이 서브밴드의 총수를 나타낸다.
이와 같이, 본 실시형태에 의하면, 서브밴드 마다의 목표 신호(본 실시형태에서는 제1 레이어 오차 변환계수)의 스펙트럼의 형상을 부호화 하고(형상 벡터의 부호화), 다음에 목표 신호와 부호화된 형상 벡터와의 왜곡을 최소로 하는 타겟 게인(이상 게인)을 산출하고, 이것을 부호화 하는(타겟 게인의 부호화) 구성을 취한다. 이에 의해, 종래 기술과 같이, 서브밴드 마다의 목표 신호의 에너지 성분을 부호화하고(게인 또는 스케일 팩터의 부호화), 이것을 이용하여 목표 신호를 정규화한 후에 스펙트럼의 형상을 부호화(형상 벡터의 부호화) 하는 방식에 비해, 목표 신호와의 왜곡을 최소화하는 타겟 게인을 부호화하는 본 실시형태가 원리적으로 부호화 왜곡을 작게 할 수 있다. 또한, 타겟 게인은, 수학식(5)로 나타내는 바와 같 이, 형상 벡터를 부호화하여 그제서야 처음으로 산출할 수 있는 파라미터이기때문에, 종래 기술과 같이 형상 벡터의 부호화가 게인 정보의 부호화보다 시간적으로 후단에 위치하는 부호화 방식으로는 타겟 게인을 게인 정보의 부호화의 대상으로 할 수가 없는데 비해, 본 실시형태에서는 그것이 가능하게 되어, 보다 부호화 왜곡을 작게 할 수 있다.
또 본 실시형태에서는, 복수의 인접하는 서브밴드의 타겟 게인을 이용해 1개의 게인 벡터를 구성하고, 이것을 부호화 하는 구성을 취한다. 목표 신호의 인접하는 서브밴드간의 에너지 정보는 유사(類似)하기 때문에, 인접 서브밴드간의 타겟 게인의 유사도도 마찬가지로 높다. 이 때문에, 벡터 공간상에서의 게인 벡터의 분포에 편향이 생기게 된다. 게인 코드북에 포함되는 게인 벡터 후보를 이 편향에 적합하도록 배치함으로써, 타겟 게인의 부호화 왜곡을 저감시킬 수 있다.
이와 같이 본 실시형태에 의하면, 목표 신호의 부호화 왜곡을 저감시킬 수 있으며, 이 때문에 복호 음성의 음질을 향상시킬 수 있다. 더욱이, 본 실시형태에 의하면, 음성의 모음이나 음악 신호와 같이 토나리티가 강한 신호의 스펙트럼에 대해서도, 스펙트럼의 형상을 정확하게 부호화할 수 있기때문에, 음질을 향상시킬 수 있다.
또, 종래 기술에서는, 서브밴드 게인과 형상 벡터라고 하는 2개의 파라미터를 이용해 스펙트럼의 크기를 제어하고 있다. 이것은, 스펙트럼의 크기를 서브밴드 게인과 형상 벡터의 2개의 파라미터로 나누어 나타내고 있으면 파악할 수 있다. 그에 비해서 본 실시형태에서는, 타겟 게인이라는 1개의 파라미터만으로 스펙트럼 의 크기를 제어하고 있다. 더욱이, 이 타겟 게인은, 부호화된 형상 벡터에 대해서 부호화 왜곡을 최소로 하는 이상적인 게인(이상(理想)게인)이다. 이 때문에, 종래 기술에 비해 효율적인 부호화를 행할 수 있으며, 저비트레이트시에 있어서도 고음질화를 실현할 수 있다.
또한, 본 실시형태에서는, 서브밴드 구성부(151)에 의해 주파수 영역을 복수의 서브밴드로 분할하여 서브밴드마다 부호화를 행하는 경우를 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않고, 게인 벡터 부호화보다 형상 벡터 부호화를 시간적으로 먼저 행하면, 복수의 서브밴드를 모아서 부호화해도 좋으며, 본 실시형태와 마찬가지로 모음과 같이 토나리티가 강한 신호 스펙트럼의 형상을 보다 정확하게 부호화할 수 있는 효과가 얻어진다. 예를 들면, 먼저 형상 벡터 부호화를 행하고, 그 후에 형상 벡터를 서브밴드로 분할하여 서브밴드 마다의 타겟 게인을 산출해 게인 벡터를 구성하여, 게인 벡터 부호화를 행하는 구성이어도 좋다.
또, 본 실시형태에서는, 제2 레이어 부호화부(105)에 있어서 다중화부(155)(도2 참조)를 구비하는 경우를 예를 들어 설명했지만, 본 발명은 이것으로 한정되지 않으며, 형상 벡터 부호화부(152) 및 게인 벡터 부호화부(154) 각각은, 형상 부호화 정보 및 게인 부호화 정보 각각을 직접 음성 부호화 장치(100)의 다중화부(106)(도1 참조)에 출력해도 좋다. 이에 대응하여, 제2 레이어 복호부(203)도 분리부(231)(도9 참조)를 구비하지 않고, 음성 복호 장치(200)의 분리부(201)(도8 참조)가 비트 스트림을 이용해, 직접 형상 부호화 정보 및 게인 부호화 정보를 분리하고 직접 형상 벡터 코드북(232) 및 게인 벡터 코드북(233) 각각에 출력해도 좋 다.
또, 본 실시형태에서는, 상호 상관 산출부(522)는, 식(2)에 따라 상호 상관 ccor(i)를 산출하는 경우를 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않으며, 청감적으로 중요한 스펙트럼에 큰 가중을 부여하여 청감적으로 중요한 스펙트럼 기여를 크게 하는 것을 목적으로, 상호 상관 산출부(522)는, 다음의 수학식(7)에 따라 상호 상관 ccor(i)를 산출해도 좋다.
[수학식7]
Figure 112009053820821-PCT00007
식(7)에 있어서, w(k)는, 인간의 청감 특성에 관련하는 가중을 나타내며, 청감 특성상, 중요도가 높은 주파수일수록 w(k)가 커지게 된다.
또, 마찬가지로 자기 상관 산출부(523)도, 청감적으로 중요한 스펙트럼에 큰 가중을 부여함으로써 청감적으로 중요한 스펙트럼의 기여를 크게 하기 위해, 다음의 수학식(8)에 따라 자기 상관 acor(i)를 산출해도 좋다.
[수학식8]
Figure 112009053820821-PCT00008
또, 마찬가지로, 오차 산출부(542)도, 청감적으로 중요한 스펙트럼에 큰 가중을 부여함으로써 청감적으로 중요한 스펙트럼의 기여를 크게 하기 위해, 다음의 수학식(9)에 따라 오차 E(j)를 산출해도 좋다.
[수학식9]
Figure 112009053820821-PCT00009
식(7), 식(8) 및 식(9)에 있어서의 가중으로서는, 예를 들면, 입력 신호 또는 하위 레이어의 복호 신호(제1 레이어 복호 신호)를 기초로 산출된 청각 마스킹 임계값이나, 인간의 청각의 라우드네스 특성을 이용하여 구한 것을 이용해도 좋다.
또, 본 실시형태에서는, 형상 벡터 부호화부(152)가 자기 상관 산출부(523)를 구비하는 경우를 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않으며, 식(3)에 따라 산출되는 자기 상관계수 acor(i), 또는 식(8)에 따라 산출되는 자기 상관계수 acor(i)가 정수(定數)가 될 경우에는, 자기 상관 acor(i)를 미리 산출해 두고, 자기 상관 산출부(523)를 설치하지않고, 미리 산출된 자기 상관 acor(i)를 이용해도 좋다.
(실시형태 2)
본 발명의 실시형태 2에 따른 음성 부호화 장치 및 음성 복호 장치는, 실시형태 1에 나타낸 음성 부호화 장치(100) 및 음성 복호 장치(200)와 동일한 구성을 가지고 동일한 동작을 행하며, 이용하는 형상 벡터 코드북에 있어서만 상위하다.
도10은, 본 실시형태에 따른 형상 벡터 코드북을 설명하기 위한 도면이며, 모음(母音)의 일례로서 일본어의 모음「오」의 스펙트럼을 나타낸다.
도10에 있어서, 가로축은 주파수를 나타내고, 세로축은 스펙트럼의 대수 에너지를 나타낸다. 도10에 나타내는 바와 같이, 모음의 스펙트럼에 있어서는, 다수 의 피크 형상이 관찰되며, 강한 토나리티를 나타낸다. 또, Fx는 다수의 피크 형상 중의 1개가 위치하는 주파수를 나타낸다.
도11은, 본 실시형태에 따른 형상 벡터 코드북에 포함되는 다수의 형상 벡터 후보를 예시하는 도면이다.
도11에 있어서, (a)는, 형상 벡터 후보에 대해 진폭값이 「＋1」또는 「－1」인 샘플(즉 펄스)을 예시하고, (b)는, 진폭값이 「0」인 샘플을 예시한다. 도11에 나타내는 복수의 형상 벡터 후보는, 임의의 주파수에 위치하는 펄스를 복수 포함한다. 따라서, 도11에 나타내는 것 같은 형상 벡터 후보를 탐색함으로써, 도10에 나타내는 것 같은 토나리티가 강한 스펙트럼을 보다 정확하게 부호화할 수 있다. 구체적으로는, 도10에 표시되어 있는 것 같은 토나리티가 강한 신호에 대해서는, 피크 형상이 위치하는 주파수에 대응하는 진폭값, 예를 들면 도10에 나타내는 Fx 위치의 진폭값이 「＋1」 또는 「－1」의 펄스(도11에 나타내는 샘플(a))가 되고, 피크 형상 이외의 주파수의 진폭값이 「0」(도11에 나타내는 샘플(b))이 되도록, 형상 벡터 후보를 탐색에 의해 결정한다.
형상 벡터 부호화보다 게인 부호화를 시간적으로 먼저 행하는 종래 기술에서는, 서브밴드 게인의 양자화, 및 서브밴드 게인을 이용한 스펙트럼의 정규화를 행한 후에 스펙트럼의 미세 성분(형상 벡터)의 부호화를 행한다. 저비트레이트화에 의해 서브밴드 게인의 양자화 왜곡이 커지면 정규화의 효과가 작아져, 정규화 후의 스펙트럼의 다이나믹 레인지(Dynamic Range)를 충분히 작게 할 수 없다. 이에 의해, 다음의 형상 벡터 부호화부의 양자화 단계를 조잡하게 하지않으면 안되게 되 고, 그 결과, 양자화 왜곡이 증대해 버린다. 이 양자화 왜곡의 영향에 의해, 스펙트럼의 피크 형상이 감쇠해 버리거나(진정한 피크 형상의 상실), 피크 형상이 아닌 스펙트럼이 증폭하여 피크 형상 처럼 나타나 버린다(가짜 피크 형상의 출현). 이에 의해 피크 형상의 주파수 위치가 바뀌어 버려, 피크성이 강한 음성 신호의 모음부나 음악 신호의 음질 열화를 일으킨다.
그에 대해서 본 실시형태에서는, 먼저 형상 벡터를 결정하고, 다음에 타겟 게인을 산출하고, 이것을 양자화하는 구성을 취한다. 본 실시형태처럼 벡터의 요소의 몇개인가가 ＋1또는 -1 펄스로 표시되는 형상 벡터를 가질 때, 먼저 형상 벡터를 결정한다고 하는 것은 해당 펄스를 출력하는 주파수 위치를 먼저 결정하는 것을 의미한다. 게인의 양자화의 영향을 받지 않고 펄스를 출력하는 주파수 위치를 결정할 수 있기때문에, 진정한 피크 형상의 상실이나 가짜 피크 형상의 출현이라고 하는 현상을 일으키는 일이 없으며, 전술한 종래 기술의 과제를 회피할 수 있다.
이와 같이, 본 실시형태에 의하면, 먼저 형상 벡터를 결정하는 구성이면서 그리고 또 펄스를 포함하는 형상 벡터로 된 형상 벡터 코드북을 이용하여 형상 벡터 부호화를 행하기때문에, 피크성이 강한 스펙트럼의 주파수를 특정하여, 거기에 펄스를 출력할 수가 있다. 이것에 의해, 음성 신호의 모음이나 음악 신호와 같이 토나리티가 강한 스펙트럼을 가지는 신호를 고품질로 부호화할 수 있다.
(실시형태 3)
본 발명의 실시형태 3에 있어서는, 음성 신호의 스펙트럼 중에서 토나리티가 강한 범위(영역)를 선택하고, 선택된 범위에 한정하여 부호화를 행하는 점에 있어 서, 실시형태 1과 상위하다.
본 발명의 실시형태 3에 따른 음성 부호화 장치는, 실시형태 1에 따른 음성 부호화 장치(100)(도1 참조)와 동일한 구성을 가지고 있고, 제2 레이어 부호화부(105) 대신에 제2 레이어 부호화부(305)를 가지는 점에 있어서만 음성 부호화 장치(100)와 상위하다. 이 때문에, 본 실시형태에 따른 음성 부호화 장치의 전체 구성은 도시하지 않으며, 상세한 설명을 생략한다.
도12는, 본 실시형태 에 따른 제2 레이어 부호화부(305)의 내부의 구성을 나타내는 블록도이다. 또한, 제2 레이어 부호화부(305)는, 실시형태 1에 나타낸 제2 레이어 부호화부(105)(도1 참조)와 동일한 기본적 구성을 가지고 있으며, 동일한 구성요소에는 동일한 부호를 붙이며, 그 설명을 생략한다.
제2 레이어 부호화부(305)는, 범위 선택부(351)를 더 구비하는 점에 있어서, 실시형태 1에 따른 제2 레이어 부호화부(105)와 상위하다. 또한, 제2 레이어 부호화부(305)의 형상 벡터 부호화부(352)는, 제2 레이어 부호화부(105)의 형상 벡터 부호화부(152)와는 처리의 일부에 차이점이 있으며, 그것을 나타내기 위해서 다른 부호를 붙인다.
범위 선택부(351)는, 서브밴드 구성부(151)로부터 입력되는 M개의 서브밴드 변환계수 중, 임의수의 인접하는 복수의 서브밴드를 이용하여 복수의 범위를 구성하고, 각 범위의 토나리티를 산출한다. 범위 선택부(351)는, 토나리티가 가장 높은 범위를 선택하고, 선택된 범위를 나타내는 범위 정보를 다중화부(155)와 형상 벡터 부호화부(352)에 출력한다. 또한, 범위 선택부(351)에 있어서의 범위 선택 처리의 상세한 것에 대해서는 후술한다.
형상 벡터 부호화부(352)는, 범위 선택부(351)로부터 입력되는 범위 정보에 기초하여, 범위에 포함되는 서브밴드 변환계수를 서브밴드 구성부(151)로부터 입력되는 서브밴드 변환계수중에서 선택하고, 선택된 서브밴드 변환계수에 대해 형상 벡터 양자화를 행하는 점에 있어서만, 실시형태 1에 따른 형상 벡터 부호화부(152)와 상위하여, 여기에서는 상세한 설명을 생략한다.
도13은, 범위 선택부(351)에 있어서의 범위 선택 처리를 설명하기 위한 도면이다.
도13에 있어서, 가로축은 주파수를 나타내고, 세로축은 스펙트럼의 대수 에너지를 나타낸다. 또, 도13에 있어서는, 서브밴드의 총수 M이 「8」이고, 제0 서브밴드~ 제3 서브밴드를 이용해 범위 0을 구성하고, 제2 서브밴드~ 제5 서브밴드를 이용해 범위 1을 구성하며, 제4 서브밴드~ 제7 서브밴드를 이용해 범위 2를 구성하는 경우를 예시한다. 범위 선택부(351)에 있어서, 소정 범위의 토나리티를 평가하는 지표로서 소정 범위에 포함되어 있는 복수의 서브밴드 변환계수의 기하 평균과 산술 평균의 비를 이용하여 표시되는 스펙트럴 플래트니스 메저(SFM：
Spectral Flatness Measure)를 산출한다. SFM은 「0」~ 「1」까지의 값을 취하여, 「0」에 가까울수록 보다 강한 토나리티를 나타낸다. 따라서, 각 범위에서 SFM를 산출하여, SFM이 「0」에 가장 가까운 범위가 선택되게 된다.
본 실시형태에 따른 음성 복호 장치는, 실시형태 1에 따른 음성 복호 장치(200)(도8 참조)와 동일한 구성을 가지고 있으며, 제2 레이어 복호부(203)대신에 제2 레이어 복호부(403)를 가지는 점에 있어서만 음성 복호 장치(200)와 상위하다. 이 때문에, 본 실시형태에 따른 음성 복호 장치의 전체 구성은 도시하지않으며, 상세한 설명을 생략한다.
도14는, 본 실시형태 에 따른 제2 레이어 복호부(403)의 내부의 구성을 나타내는 블록도이다. 또한, 제2 레이어 복호부(403)는, 실시형태 1에 나타낸 제2 레이어 복호부(203)와 동일한 기본적 구성을 가지고 있으며, 동일한 구성요소에는 동일한 부호를 붙이며, 그 설명을 생략한다.
제2 레이어 복호부(403)의 분리부(431) 및 제1 레이어 오차 변환계수 생성부(434)는, 제2 레이어 복호부(203)의 분리부(231) 및 제1 레이어 오차 변환계수 생성부(234)와 처리의 일부에 차이점이 있으며, 그것을 나타내기 위해서 다른 부호를 붙인다.
분리부(431)는, 형상 부호화 정보 및 게인 부호화 정보 외에, 범위 정보를 더 분리하여 제1 레이어 오차 변환계수 생성부(434)에 출력하는 점에 있어서만, 실시형태 1에 나타낸 분리부(231)와 상위하며, 여기에서는, 상세한 설명을 생략한다.
제1 레이어 오차 변환계수 생성부(434)는, 형상 벡터 코드북(232) 으로부터 입력되는 형상 벡터 후보에, 게인 벡터 코드북(233)으로부터 입력되는 게인 벡터 후보를 곱하여 제1 레이어 오차 변환계수를 생성하고, 이것을 범위 정보가 나타내는 범위에 포함되는 서브밴드에 배치하여 가산기(204)에 출력한다.
이와 같이, 본 실시형태에 의하면, 음성 부호화 장치는 토나리티가 가장 높은 범위를 선택하고, 선택된 범위에 있어서, 각 서브밴드의 게인보다 형상 벡터를 시간적으로 먼저 부호화한다. 이에 의해, 음성의 모음이나 음악 신호와 같이 토나리티가 강한 신호의 스펙트럼의 형상을 한층 더 정확하게 부호화하면서, 선택된 범위에서만 부호화를 행하기 때문에 부호화 비트레이트를 저감할 수 있다.
또한, 본 실시형태에서는 소정의 각 범위의 토나리티를 평가하는 지표로서 SFM을 산출하는 경우를 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않으며, 예를 들면, 소정 범위의 평균 에너지와 토나리티 크기와의 관련이 높기 때문에, 소정의 범위에 포함되는 변환계수의 평균 에너지를 토나리티 평가의 지표로서 산출해도 좋다. 이에 의해, SFM을 구하는 것보다도 연산량을 저감할 수 있다.
구체적으로는, 범위 선택부(351)는, 아래의 수학식(10)에 따라, 범위 j에 포함되는 제1 레이어 오차 변환계수 e1(k)의 에너지 ER(j)를 산출한다.
[수학식10]
Figure 112009053820821-PCT00010
이 식에 있어서, j는 범위를 특정하는 식별자, FRL(j)는 범위 j의 최저 주파수, FRH(j)는 범위 j의 최고 주파수를 나타낸다. 범위 선택부(351)는, 이와 같이 범위의 에너지 ER(j)를 구하고, 다음에, 제1 레이어 오차 변환계수의 에너지가 가장 큰 범위를 특정하고, 이 범위에 포함되는 제1 레이어 오차 변환계수를 부호화한다.
또, 아래의 수학식(11)에 따라, 인간의 청감 특성을 반영한 가중을 행하여 제1 레이어 오차 변환계수의 에너지를 구해도 좋다.
[수학식11]
Figure 112009053820821-PCT00011
그러한 경우, 청감 특성상의 중요도가 높은 주파수일수록 가중 w(k)를 보다 크게 해, 그 주파수를 포함한 범위가 선택되기 쉽도록 하고, 중요도가 낮은 주파수일수록 중량감 w(k)를 보다 작게 해, 그 주파수를 포함한 범위가 선택되기 어렵도록 한다. 이에 의해, 청감적으로 중요한 대역일수록 우선적으로 선택되기때문에, 복호 음성의 음질을 향상시킬 수 있다. 이 가중 w(k) 로서는, 예를 들면, 입력 신호 또는 하위 레이어의 복호 신호(제1 레이어 복호 신호)를 기초로 산출된 청각 마스킹 임계값이나, 인간 청각의 라우드네스 특성을 이용해서 구한 것을 이용해도 좋다.
또, 범위 선택부(351)는, 소정의 주파수(기준 주파수)보다 낮은 주파수에 배치된 범위중에서 선택을 행하는 구성이어도 좋다.
도15는, 범위 선택부(351)에 있어서, 소정의 주파수(기준 주파수)보다 낮은 주파수에 배치된 범위중에서 선택을 행하는 방법을 설명하기 위한 도면이다.
도15에 있어서는, 소정의 기준 주파수 Fy보다 낮은 대역에 8개의 선택 범위의 후보가 배치되는 경우를 예로 들어 설명한다. 이 8개 범위는, 각각 F1, F2,…, F8을 기점으로 하여 소정 길이의 대역으로 되어있으며, 범위 선택부(351)는, 이러한 8개의 후보중에서, 상술한 선택 방법에 기초하여 1개의 범위를 선택한다. 이에 의해, 소정의 기준 주파수 Fy 보다 낮은 주파수에 위치하는 범위가 선택된다. 이 와 같이, 저역(또는 저중역(低中域))을 중시하여 부호화를 행하는 이점은 이하와 같다.
음성 신호의 특징의 하나인 조파 구조(또는 하모닉스(Harmonics) 구조라고 부름), 즉, 어느 주파수 간격으로 스펙트럼이 피크 상태로 나타나는 구조는, 고역부에 비해 저역부에 피크가 크게 나타난다. 부호화 처리에 의해 생기는 양자화 오차(오차 스펙트럼 또는 오차 변환계수)에 있어서도 동일하게 피크성이 남아, 고역부보다는 저역부의 피크성이 강하다. 그 때문에, 저역부의 오차 스펙트럼의 에너지가 고역부와 비교해 작은 경우라도, 오차 스펙트럼의 피크성이 강하기 때문에, 오차 스펙트럼이 청각 마스킹 임계값(인간이 소리를 감지할 수 있는 임계값)을 초과하기 쉽고, 청감적인 음질 열화를 일으킨다. 즉, 오차 스펙트럼의 에너지가 작더라도, 저역부는 고역부보다 청감적인 감도가 높아진다. 따라서, 범위 선택부(351)는, 소정 주파수보다 낮은 주파수에 배치된 후보중에서 범위를 선택하는 구성을 취함으로써, 오차 스펙트럼의 피크성이 강한 저역부중에서 부호화의 대상이 되는 범위를 특정하여, 복호 음성의 음질을 향상시킬 수 있다.
또, 부호화 대상이 되는 범위의 선택 방법으로서, 과거의 프레임에서 선택한 범위에 관련화하여 현프레임의 범위를 선택해도 좋다. 예를 들면, (1)전 프레임에서 선택한 범위의 근방에 위치하는 범위중에서 현프레임의 범위를 결정한다, (2)전 프레임에서 선택한 범위의 근방에 현프레임의 범위의 후보를 재배치하고, 그 재배치된 범위의 후보중에서 현프레임의 범위를 결정한다, (3)범위 정보를 몇 프레임에 1번의 비율로 전송하고, 범위 정보를 전송하지 않는 프레임에서는 과거에 전송된 범위 정보가 나타내는 범위를 이용한다(범위 정보의 간헐 전송) 등의 방법을 들 수 있다.
또, 범위 선택부(351)는, 도16에 나타내는 바와 같이 전대역을 미리 복수의 부분대역으로 분할하고, 각 부분대역중에서 각각 1개 범위를 선택하고, 각 부분대역의 선택된 범위를 결합하고, 이 결합 범위를 부호화 대상으로 해도 좋다. 도16에서는, 부분대역의 수가 2이고, 저역부를 커버하도록 부분대역 1이 설정되고, 고역부를 커버하도록 부분대역 2가 설정되는 경우를 예시한다. 또한, 부분대역 1 및 부분대역 2는, 각각 복수의 범위로 구성된다. 범위 선택부(351)는, 부분대역 1 및 부분대역 2 중에서, 각각 1개 범위를 선택한다. 예를 들면, 도16에 나타내는 바와 같이, 부분대역 1에 있어서는 범위 2가 선택되고, 부분대역 2에 있어서는 범위 4가 선택된다. 이하, 부분대역 1중에서 선택된 범위를 나타내는 정보를 제1 부분대역 범위 정보라고 부르고, 부분대역 2중에서 선택된 범위를 나타내는 정보를 제2 부분대역 범위 정보라고 부른다. 이어서, 범위 선택부(351)는, 부분대역 1중에서 선택된 범위와, 부분대역 2중에서 선택된 범위를 결합하여 결합 범위를 구성한다. 이 결합 범위가 범위 선택부(351)에 있어서 선택된 범위가 되고, 형상 벡터 부호화부(352)는, 이 결합 범위에 대해서 형상 벡터 부호화를 행한다.
도17은, 부분대역의 수가 N인 경우에 대응하는 범위 선택부(351)의 구성을 나타내는 블록도이다. 도17에 있어서, 서브밴드 구성부(151) 로부터 입력되는 서브밴드 변환계수는, 부분대역 1 선택부(511－1)~ 부분대역 N선택부(511－N) 각각에 주어진다. 각각의 부분대역 n선택부(511－n(n=1~N))는, 각 부분대역 n중에서 1개 의 범위를 선택하고, 선택한 범위를 나타내는 정보, 즉 제n부분대역 범위 정보를 범위 정보 구성부(512)에 출력한다. 범위 정보 구성부(512)는, 부분대역 1 선택부(511－1)~부분대역 N선택부(511－N)로부터 입력되는 각 제n부분대역 범위 정보(n=1~N)가 나타내는 각 범위를 결합하고 결합 범위를 얻는다. 그리고, 범위 정보 구성부(512)는, 결합 범위를 나타내는 정보를 범위 정보로서 형상 벡터 부호화부(352) 및 다중화부(155)에 출력한다.
도18은, 범위 정보 구성부(512)에 있어서 범위 정보를 구성하는 양상을 예시하는 도면이다. 도18에 나타내는 바와 같이, 범위 정보 구성부(512)는, 제1 부분대역 범위 정보(A1비트)~ 제N부분대역 범위 정보(AN비트)를 순서대로 배열하여 범위 정보를 구성한다. 여기서, 각 제n부분대역 범위 정보의 비트길이(An)는, 각 부분대역 n에 포함되는 후보 범위의 수에 따라 결정되며, 각각 다른 값을 가져도 좋다.
도19는, 도17에 나타낸 범위 선택부(351)에 대응하는 제1 레이어 오차 변환계수 생성부(434)(도14 참조)의 동작을 설명하기 위한 도면이다. 여기에서는, 부분대역의 수가 2인 경우를 예로 든다. 제1 레이어 오차 변환계수 생성부(434)는, 형상 벡터 코드북(232)으로부터 입력되는 형상 벡터 후보에 게인 벡터 코드북(233)으로부터 입력되는 게인 벡터 후보를 곱한다. 그리고, 제1 레이어 오차 변환계수 생성부(434)는, 부분대역 1 및 부분대역 2 각각의 범위 정보가 나타내는 각 범위에 상기의 게인 후보 곱셈 후의 형상 벡터 후보를 배치한다. 이와 같이 하여 구해진 신호는, 제1 레이어 오차 변환계수로서 출력된다.
도16에 나타내는 것 같은 범위 선택 방법에 의하면, 각각의 부분대역중에서 1개의 범위가 결정되기때문에, 부분대역에 적어도 1개의 복호 스펙트럼을 배치하는 것이 가능하게 된다. 따라서, 음질을 개선하고 싶은 복수의 대역을 미리 설정해 둠으로써, 전(全)대역중에서 1개의 범위만을 선택하는 범위 선택 방법보다 복호 음성의 품질을 향상시킬 수 있다. 예를 들면 저역부와 고역부의 양쪽의 품질 개선을 동시에 꾀하고 싶은 경우 등에, 도16에 나타내는 등의 범위 선택 방법은 유효하다.
또한, 도16에 나타내는 범위 선택 방법의 베리에이션으로서 도20에 예시하고 있는 바와 같이 특정 부분대역에 있어서 항상 고정된 범위가 선택되도록 해도 좋다. 도20에 나타내는 예에서는, 부분대역 2에 있어서 항상 범위 4가 선택되고, 이것이 결합 범위의 일부가 되어 있다. 도 20에 나타낸 범위 선택 방법에 의하면, 도16에 나타낸 범위 선택 방법의 효과와 마찬가지로, 음질을 개선하고 싶은 대역을 미리 설정해 두는 것이 가능하게 되고, 또, 예를 들면, 부분대역 2의 부분대역 범위 정보가 불필요하게 되기때문에, 범위 정보를 나타내기 위한 비트수를 보다 작게 할 수 있다.
또, 도20은, 고역부(부분대역 2)에 있어서 항상 고정된 범위가 선택되는 경우를 예로 들어 나타내고 있지만, 이것으로 한정되지 않으며, 저역부(부분대역 1)에 있어서 항상 고정된 범위가 선택되도록 해도 좋고, 또 도20에는 도시되어 있지않은 중역부의 부분대역에 있어서, 항상 고정된 범위가 선택되도록 해도 좋다.
또, 도16 및 도20에 나타내는 범위 선택 방법의 베리에이션으로서, 도21에 나타내는 바와 같이, 각 부분대역에 포함되는 후보 범위의 대역폭은 달라도 좋다. 도21에 있어서는, 부분대역 1에 포함되는 후보 범위보다 부분대역 2에 포함되는 후보 범위의 대역폭이 보다 짧은 경우를 예시하고 있다.
(실시형태 4)
본 발명의 실시형태 4에 있어서는, 프레임마다 토나리티의 정도를 판단하고, 그 결과에 따라 형상 벡터 부호화 및 게인 부호화의 절차를 결정한다.
본 발명의 실시형태 4에 따른 음성 부호화 장치는, 실시형태 1에 따른 음성 부호화 장치(100)(도1 참조)와 동일한 구성을 가지고 있으며, 제2 레이어 부호화부(105)대신에 제2 레이어 부호화부(505)를 가지는 점에 있어서만 음성 부호화 장치(100)와 상위하다. 이 때문에, 본 실시형태에 따른 음성 부호화 장치의 전체 구성은 도시하지 않으며, 상세한 설명을 생략한다.
도22는, 제2 레이어 부호화부(505)의 내부의 구성을 나타내는 블록도이다. 또한, 제2 레이어 부호화부(505)는, 도1에 나타낸 제2 레이어 부호화부(105)와 동일한 기본적 구성을 가지고 있으며, 동일한 구성요소에는 동일한 부호를 붙이며, 그 설명을 생략한다.
제2 레이어 부호화부(505)는, 토나리티 판정부(551), 전환부(552), 게인 부호화부(553), 정규화부(554), 형상 벡터 부호화부(555), 및 전환부(556)를 더 갖추는 점에 있어서, 실시형태 1에 따른 제2 레이어 부호화부(105)와 상위하다. 또한, 도22에 있어서, 형상 벡터 부호화부(152), 게인 벡터 구성부(153), 및 게인 벡터 부호화부(154)는 부호화 계통 (a)를 구성하고, 게인 부호화부(553), 정규화부(554), 및 형상 벡터 부호화부(555)는 부호화 계통 (b)를 구성한다.
토나리티 판정부(551)는, 감산기(104)로부터 입력되는 제1 레이어 오차 변환계수의 토나리티를 평가하는 지표로서 SFM을 구하고, 구해진 SFM이 소정의 임계값보다 작은 경우에는, 토나리티 판정 정보로서 「고(高)」를 전환부(552)와 전환부(556)에 출력하고, 구해진 SFM이 소정의 임계값 이상인 경우에는, 토나리티 판정 정보로서 「저(低)」를 전환부(552)와 전환부(556)에 출력한다.
또한, 여기에서는 토나리티를 평가하는 지표로 SFM을 이용해 설명하고 있지만, 이것으로 한정되는 일 없이, 예를 들면 제1 레이어 오차 변환계수의 분산등, 다른 지표를 이용하여 판정해도 좋다. 또, 토나리티의 판정에 입력 신호등의 다른 신호를 이용하여 판정해도 좋다. 예를 들면, 입력 신호의 피치 분석 결과나, 입력 신호를 저위 레이어(본 실시형태에서는 제1 레이어 부호화부)에서 부호화한 결과를 이용해도 좋다.
전환부(552)는, 토나리티 판정부(551)로부터 입력되는 토나리티 판정 정보가「고」인 경우에는, 서브밴드 구성부(151)로부터 입력되는 M개의 서브밴드 변환계수를 형상 벡터 부호화부(152)에 순차적으로 출력하고, 토나리티 판정부(551)로부터 입력되는 토나리티 판정 정보가 「저」인 경우에는, 서브밴드 구성부(151)로부터 입력되는 M개의 서브밴드 변환계수를 게인 부호화부(553) 및 정규화부(554)에 순차적으로 출력한다.
게인 부호화부(553)는, 전환부(552)로부터 입력되는 M개의 서브밴드 변환계수의 평균 에너지를 산출하고, 산출된 평균 에너지를 양자화해, 양자화 인덱스를 게인 부호화 정보로서 전환부(556)에 출력한다. 또, 게인 부호화부(553)는, 게인 부호화 정보를 이용해 게인 복호 처리를 행하고, 얻어진 복호 게인을 정규화부(554)에 출력한다.
정규화부(554)는, 게인 부호화부(553)로부터 입력되는 복호 게인을 이용해, 전환부(552)로부터 입력되는 M개의 서브밴드 변환계수를 정규화하고, 얻어진 정규화 형상 벡터를 형상 벡터 부호화부(555)에 출력한다.
형상 벡터 부호화부(555)는, 정규화부(554)로부터 입력되는 정규화 형상 벡터에 대해서 부호화 처리를 행하고, 얻어진 형상 부호화 정보를 전환부(556)에 출력한다.
전환부(556)는, 토나리티 판정부(551)로부터 입력되는 토나리티 판정 정보가 「고」인 경우에는, 형상 벡터 부호화부(152) 및 게인 벡터 부호화부(154) 각각으로부터 입력되는 형상 부호화 정보 및 게인 부호화 정보를 다중화부(155)에 출력하고, 토나리티 판정부(551)로부터 입력되는 토나리티 판정 정보가 「저」인 경우에는, 게인 부호화부(553) 및 형상 벡터 부호화부(555) 각각으로부터 입력되는 게인 부호화 정보 및 형상 부호화 정보를 다중화부(155)에 출력한다.
상기와 같이, 본 실시형태에 따른 음성 부호화 장치에 있어서는, 제1 레이어 오차 변환계수의 토나리티가 「고」인 경우에 맞추어, 계통 (a)을 이용해, 게인 부호화보다 형상 벡터 부호화를 먼저 실시하고, 제1 레이어 오차 변환계수의 토나리티가 「저」인 경우에 맞추어, 계통 (b)를 이용해, 형상 벡터 부호화보다 게인 부호화를 먼저 행한다.
이와 같이, 본 실시형태에 의하면, 제1 레이어 오차 변환계수의 토나리티에 따라, 게인 부호화 및 형상 벡터 부호화의 순서를 적응적으로 변화시키기때문에, 부호화 대상이 되는 입력 신호에 따라 게인 부호화 왜곡 및 형상 벡터 부호화 왜곡의 양쪽 모두를 억제할 수가 있어, 복호 음성의 음질을 한층 더 향상시킬 수 있다.
(실시형태 5)
도23은, 본 발명의 실시형태 5에 따른 음성 부호화 장치(600)의 주요한 구성을 나타내는 블록도이다.
도23에 있어서, 음성 부호화 장치(600)는, 제1 레이어 부호화부(601), 제1 레이어 복호부(602), 지연부(603), 감산기(604), 주파수 영역 변환부(605), 제2 레이어 부호화부(606) 및 다중화부(106)를 구비한다. 그 중에서 다중화부(106)는 도 1에 나타낸 다중화부(106)와 동일하기때문에, 상세한 설명을 생략한다. 또한, 제2 레이어 부호화부(606)와, 도12에 나타낸 제2 레이어 부호화부(305)는 처리의 일부에 차이점이 있으며, 그것을 나타내기 위해서 다른 부호를 붙인다.
제1 레이어 부호화부(601)는, 입력 신호를 부호화하고, 생성되는 제1 레이어 부호화 데이터를 제1 레이어 복호부(602) 및 다중화부(106)에 출력한다. 제1 레이어 부호화부(601)의 상세한 것에 대하여는 후술한다.
제1 레이어 복호부(602)는, 제1 레이어 부호화부(601)로부터 입력되는 제1 레이어 부호화 데이터를 이용해 복호 처리를 행하고, 생성되는 제1 레이어 복호 신호를 감산기(604)에 출력한다. 제1 레이어 복호부(602)의 상세한 것에 대하여는 후술한다.
지연부(603)는, 입력 신호에 대해서 소정의 지연을 부여한 뒤 감산기(604)에 출력한다. 지연의 길이는, 제1 레이어 부호화부(601) 및 제1 레이어 복호부(602)의 처리에 있어서 생기는 지연의 길이와 동일하다.
감산기(604)는, 지연부(603)로부터 입력되는 지연된 입력 신호와, 제1 레이어 복호부(602)로부터 입력되는 제1 레이어 복호 신호와의 차(差)를 산출하고, 얻어진 오차 신호를 주파수 영역 변환부(605)에 출력한다.
주파수 영역 변환부(605)는, 감산기(604)로부터 입력되는 오차 신호를 주파수 영역의 신호로 변환시켜, 얻어진 오차 변환계수를 제2 레이어 부호화부(606)에 출력한다.
도24는, 제1 레이어 부호화부(601)의 내부의 주요한 구성을 나타내는 블록도이다.
도24에 있어서, 제1 레이어 부호화부(601)는, 다운 샘플링부(611) 및 코어 부호화부(612)를 구비한다.
다운 샘플링부(611)는, 시간 영역의 입력 신호를 다운 샘플링하여, 소망하는 샘플링 레이트로 변환하고, 다운 샘플링된 시간 영역 신호를 코어 부호화부(612)에 출력한다.
코어 부호화부(612)는, 소망하는 샘플링 레이트로 변환된 입력 신호에 대해서 부호화 처리를 행하고, 생성된 제1 레이어 부호화 데이터를 제1 레이어 복호부(602) 및 다중화부(106)에 출력한다.
도25는, 제1 레이어 복호부(602)의 내부의 주요한 구성을 나타내는 블록도이다.
도25에 있어서, 제1 레이어 복호부(602)는, 코어 복호부(621), 업 샘플링부(622), 및 고역성분 부여부(623)를 구비하여, 고역부를 잡음등에 의한 근사(近似) 신호로 대용한다. 이것은, 청감적으로 중요도가 낮은 고역부를 근사 신호로 나타내고, 그 대신에 청감적으로 중요한 저역부(또는 저중역부)의 비트 배분을 늘려 이 대역의 원신호에 대한 충실도를 향상시킴으로써, 전체적으로 복호 음성의 음질의 향상을 꾀한다고 하는 기술에 기초하고 있다.
코어 복호부(621)는, 제1 레이어 부호화부(601)로부터 입력되는 제1 레이어 부호화 데이터를 이용해 복호 처리를 행하고, 얻어지는 코어 복호 신호를 업 샘플링부(622)에 출력한다. 또, 코어 복호부(621)는, 복호 처리에 의해 구해진 복호 LPC 계수를 고역성분 부여부(623)에 출력한다.
업 샘플링부(622)는, 코어 복호부(621)로부터 입력되는 복호 신호를 업 샘플링해, 입력 신호와 동일한 샘플링 레이트로 변환하고, 업 샘플링된 코어 복호 신호를 고역성분 부여부(623)에 출력한다.
고역성분 부여부(623)는, 다운 샘플링부(611)에 있어서의 다운 샘플링 처리에 의해 결손된 고역성분을 근사 신호로 보충한다. 근사 신호의 생성 방법으로서 코어 복호부(621)의 복호 처리에 있어서 구해진 복호 LPC 계수에 의해 합성 필터를 구성하여, 에너지 조정된 잡음 신호를 해당 합성 필터 및 밴드 패스 필터를 이용하여 순차적으로 필터링하는 방법이 알려져 있다. 이 수법으로 구해지는 고역성분은 청감적인 대역감의 확대에는 기여하지만, 원신호의 고역성분과는 완전히 다른 파형이 되기때문에, 감산기에서 구해지는 오차 신호의 고역부의 에너지가 증대한다.
제1 레이어 부호화 처리가 이러한 특징을 가지는 경우, 오차 신호의 고역부의 에너지가 증대하기때문에, 본래 청감적인 감도가 높은 저역부가 선택되기 어려워진다. 따라서, 본 실시형태에 따른 제2 레이어 부호화부(606)는, 소정의 주파수(기준 주파수)보다 낮은 주파수에 배치된 후보중에서 범위를 선택함으로써, 전술한 고역부의 오차 신호의 에너지가 증가하는 것으로 인한 폐해를 회피한다. 즉, 제2 레이어 부호화부(606)는, 도15에 나타낸 것 같은 선택 처리를 행한다.
도26은, 본 발명의 실시형태 5에 따른 음성 복호 장치(700)의 주요한 구성을 나타내는 블록도이다. 또한, 음성 복호 장치(700)는, 도8에 나타낸 음성 복호 장치(200)와 동일한 기본적 구성을 가지고 있으며, 동일한 구성요소에는 동일한 부호를 붙이며, 그 설명을 생략한다.
음성 복호 장치(700)의 제1 레이어 복호부(702)와, 음성 복호 장치(200)의 제1 레이어 복호부(202)는 일부의 처리가 상위하기 때문에, 다른 부호를 붙인다. 또한, 제1 레이어 복호부(702)의 구성 및 동작은 음성 부호화 장치(600)의 제1 레이어 복호부(602)와 동일하기때문에, 상세한 설명을 생략한다.
음성 복호 장치(700)의 시간 영역 변환부(706)와, 음성 복호 장치(200)의 시간 영역 변환부(206)는, 배치 위치만 상위하고, 동일한 처리를 행하기때문에, 다른 부호를 붙이고, 상세한 설명을 생략한다.
이와 같이, 본 실시형태에 의하면, 제1 레이어의 부호화 처리에 있어서 고역부를 잡음등에 의한 근사 신호로 대용하고, 그 대신에 청감적으로 중요한 저역부(또는 저중 역부)의 비트 배분을 늘려 이 대역의 원신호에 대한 충실도를 향상시키 고, 더욱이 제2 레이어의 부호화 처리에 있어서 소정의 주파수보다 낮은 범위를 부호화 대상으로 하여 고역부의 오차 신호의 에너지가 증대하는 것으로 인한 폐해를 회피하여, 게인의 부호화보다 형상 벡터의 부호화를 시간적으로 먼저 행하기 때문에, 모음과 같이 토나리티가 강한 신호의 스펙트럼의 형상을 보다 정확하게 부호화함과 동시에, 비트레이트를 증가시키지않고 게인 벡터 부호화 왜곡을 더욱 저감시킬 수 있어, 복호 음성의 음질을 한층 더 향상시킬 수 있다.
또한, 본 실시형태에서는, 감산기(604)는, 시간 영역의 신호의 차(差)를 취하는 경우를 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않고, 감산기(604)는, 주파수 영역의 변환계수의 차(差)를 취해도 좋다. 그러한 경우, 주파수 영역 변환부(605)를 지연부(603)와 감산기(604) 사이에 배치해서 입력 변환계수를 구하고, 또, 제1 레이어 복호부(602)와 감산기(604) 사이에 또 하나의 주파수 영역 변환부를 배치해 제1 레이어 복호 변환계수를 구한다. 그리고, 감산기(604)는, 입력 변환계수와 제1 레이어 복호 변환계수의 차(差)를 취하고, 그 오차 변환계수를 제2 레이어 부호화부(606)에 직접 준다. 이 구성에 의해, 어느 대역에서는 차를 취하고, 다른 대역에서는 차를 취하지 않는다고 하는 적응적인 감산 처리가 가능하게 되어, 복호 음성의 음질을 한층 더 향상시킬 수 있다.
또, 본 실시형태에서는, 고역부에 관한 정보를 음성 복호 장치에 송신하지 않는 구성을 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않으며, 고역부의 신호를 저역부에 비해 저비트레이트로 부호화하여 음성 복호 장치에 송신하는 구성으로 해도 좋다.
(실시형태 6)
도27은, 본 발명의 실시형태 6에 따른 음성 부호화 장치(800)의 주요한 구성을 나타내는 블록도이다. 또한, 음성 부호화 장치(800)는, 도23에 나타낸 음성 부호화 장치(600)와 동일한 기본적 구성을 가지고 있으며, 동일한 구성요소에는 동일한 부호를 붙이며, 그 설명을 생략한다.
음성 부호화 장치(800)는, 가중 필터(801)를 더 구비하는 점에 있어서, 음성 부호화 장치(600)와 상위하다.
가중 필터(801)는, 오차 신호를 필터링함으로써 청감적인 가중을 행하고, 가중된 오차 신호를 주파수 영역 변환부(605)에 출력한다. 가중 필터(801)는, 입력 신호의 스펙트럼을 평탄화(백색화) 혹은 거기에 가까운 스펙트럼 특성으로 변화시킨다. 예를 들면, 가중 필터의 전달 함수 w(z)는, 제1 레이어 복호화부(602)에서 얻어지는 복호 LPC 계수를 이용해 아래의 수학식(12)을 이용해 표시된다.
[수학식12]
Figure 112009053820821-PCT00012
식(12)에 있어서, α(i)는 LPC 계수, NP는 LPC 계수의 차수, 그리고 γ는 스펙트럼 평탄화(백색화)의 정도를 제어하는 파라미터이며, 0≤γ≤1의 범위의 값을 취한다. γ가 클수록 평탄화의 정도가 커지며, 여기에서는 예를 들면 γ에 0.92를 이용한다.
도28은, 본 발명의 실시형태 6에 따른 음성 복호 장치(900)의 주요한 구성을 나타내는 블록도이다. 또한, 음성 복호 장치(900)는, 도26에 나타낸 음성 복호 장치(700)와 동일한 기본적 구성을 가지고 있으며, 동일한 구성요소에는 동일한 부호를 붙이며, 그 설명을 생략한다.
음성 복호 장치(900)는, 합성 필터(901)를 더 구비하는 점에 있어서, 음성 복호 장치(700)와 상위하다.
합성 필터(901)는, 음성 부호화 장치(800)의 가중 필터(801)와 역(逆)의 스펙트럼 특성을 가지는 필터로 되어있으며, 시간 영역 변환부(706)로부터 입력되는 신호에 대해 필터링 처리를 행한뒤 가산부(204)에 출력한다. 합성 필터(901)의 전달 함수 B(z)는, 아래의 수학식(13)을 이용해 표시된다.
[수학식13]
Figure 112009053820821-PCT00013
식(13)에 있어서, α(i)는 LPC 계수, NP는 LPC 계수의 차수, 그리고 γ은 스펙트럼 평탄화(백색화)의 정도를 제어하는 파라미터이며, 0≤γ≤1의 범위의 값을 취한다. γ이 클수록 평탄화의 정도가 커지고, 여기에서는 예를 들면 γ에 0.92를 이용한다.
상기와 같이, 음성 부호화 장치(800)의 가중 필터(801)는, 입력 신호의 스펙트럼 포락과 반대되는 스펙트럼 특성을 가지는 필터로 되어있고, 음성 복호 장치(900)의 합성 필터(901)는, 가중 필터와 반대의 스펙트럼 특성을 가지는 필터로 되어있다. 따라서, 합성 필터는, 입력 신호의 스펙트럼 포락과 동일한 특성을 가진다. 일반적으로, 음성 신호의 스펙트럼 포락은 저역부의 에너지가 고역부의 에너지보다 크게 나타나기 때문에, 합성 필터를 통과시키기 전의 신호의 부호화 왜곡이 저역부와 고역부에서 동등하더라도, 합성 필터를 통과한 뒤에는 저역부의 부호화 왜곡이 커진다. 본래, 음성 부호화 장치(800)의 가중 필터(801), 음성 복호 장치(900)의 합성 필터(901)는, 청각 마스킹 효과에 의해 부호화 왜곡을 들리기 어렵도록 하기 위해 도입되는 것이지만, 저비트레이트에 의해 부호화 왜곡을 작게 할 수 없을 경우에 청각 마스킹 효과가 충분히 기능하지 않아, 부호화 왜곡이 지각되기 쉬워진다. 이러한 경우, 음성 복호 장치(900)의 합성 필터(901)에 의해 부호화 왜곡의 저역부의 에너지를 증대시키고 있기때문에, 저역부의 품질 열화가 나타나기 쉽게 된다. 본 실시형태에 대해서는, 실시형태 5에 나타낸 것처럼 제2 레이어 부호화부(606)가 소정 주파수(기준 주파수)보다 낮은 주파수에 배치된 후보중에서 부호화 대상이 되는 범위를 선택함으로써, 전술한 저역부의 부호화 왜곡이 강조되어 버리는 폐해를 완화하여, 복호 음성의 음질의 향상을 도모한다.
이와 같이, 본 실시형태에 의하면, 음성 부호화 장치에 가중 필터를 구비하고, 음성 복호 장치에 합성 필터를 구비하여 청각 마스킹 효과를 이용해 품질 개선을 꾀하고, 그리고 제2 레이어의 부호화 처리에 있어서, 소정의 주파수보다 낮은 범위를 부호화 대상으로 함으로써, 부호화 왜곡의 저역부의 에너지를 증대시키고 있는 폐해를 완화하면서, 또 게인의 부호화보다 형상 벡터의 부호화를 시간적으로 먼저 행하기 때문에, 모음과 같이 토나리티가 강한 신호의 스펙트럼의 형상을 보다 정확하게 부호화함과 동시에, 비트레이트를 증가시키지 않고 게인 벡터 부호화 왜곡을 저감시킬 수 있어, 복호 음성의 음질을 한층 더 향상시킬 수 있다.
(실시형태 7)
본 발명의 실시형태 7에 있어서는, 음성 부호화 장치 및 음성 복호 장치가 1개의 기본 레이어와 복수의 확장 레이어로 되어있는 3 계층 이상의 구성을 취할 경우, 각 확장 레이어에 있어서 부호화 대상이 되는 범위의 선택에 대해 설명한다.
도29는, 본 발명의 실시형태 7에 따른 음성 부호화 장치(1000)의 주요한 구성을 나타내는 블록도이다.
음성 부호화 장치(1000)는, 주파수 영역 변환부(101), 제1 레이어 부호화부(102), 제1 레이어 복호부(603), 감산기(604), 제2 레이어 부호화부(606), 제2 레이어 복호부(1001), 가산기(1002), 감산기(1003), 제3 레이어 부호화부(1004), 제3 레이어 복호부(1005), 가산기(1006), 감산기(1007), 제4 레이어 부호화부(1008), 및 다중화부(1009)를 구비하고, 4 레이어를 구비한다. 그 중에서 주파수 영역 변환부(101), 제1 레이어 부호화부(102)의 구성 및 동작은, 도1에 나타낸 대로이며, 제1 레이어 복호부(603), 감산기(604), 제2 레이어 부호화부(606)의 구성 및 동작은, 도23에 나타낸 대로이며, 1001~1009까지의 번호를 가지는 각 블록의 구성 및 동작은, 101, 102, 603, 604, 606의 각 블록의 구성 및 동작과 유사하여 유추할 수 있기때문에, 여기에서는 상세한 설명을 생략한다.
도30은, 음성 부호화 장치(1000)의 부호화 처리에 있어서 부호화 대상이 되는 범위의 선택 처리를 설명하기 위한 도면이다. 그 중에서 도30A~도30C는, 제2 레이어 부호화부(606)의 제2 레이어 부호화, 제3 레이어 부호화부(1004)의 제3 레이어 부호화, 및 제4 레이어 부호화부(1008)의 제4 레이어 부호화 각각에 있어서의 범위 선택의 처리를 설명하기 위한 도면이다.
도30A에 나타내는 바와 같이, 제2 레이어 부호화에 있어서는, 제2 레이어용 기준 주파수 Fy(L2)보다 낮은 대역에 선택 범위의 후보가 배치되어 있고, 제3 레이어 부호화에 있어서는, 제3 레이어용 기준 주파수 Fy(L3)보다 낮은 대역에 선택 범위의 후보가 배치되고, 제4 레이어 부호화에 있어서는, 제4 레이어용 기준 주파수 Fy(L4)보다 낮은 대역에 선택 범위의 후보가 배치된다. 또한, 각 확장 레이어의 기준 주파수 간에는, Fy(L2)＜Fy(L3)＜Fy(L4)의 관계가 있다. 각 확장 레이어의 선택 범위의 후보의 수는 동일하며, 여기에서는 4개의 경우를 예로 든다. 즉, 비트레이트가 낮은 저위 레이어일수록(예를 들면 제2 레이어), 청감적인 감도가 높은 저역의 대역중에서 부호화의 대상이 되는 범위를 선택하고, 비트레이트가 높은 고위 레이어(예를 들면 제4 레이어)에서는 고역부까지 포함한 보다 넓은 대역중에서 부호화의 대상이 되는 범위를 선택한다. 이러한 구성을 취함으로써, 저위 레이어에 있어서 저역부를 중시하고, 고위 레이어에 있어서 보다 넓은 대역을 커버하도록 하기때문에, 음성 신호의 고음질화를 실현할 수 있다.
도31은, 본 실시형태에 따른 음성 복호 장치(1100)의 주요한 구성을 나타내는 블록도이다.
도31에 있어서, 음성 복호 장치(1100)는 분리부(1101), 제1 레이어 복호부(1102), 제2 레이어 복호부(1103), 가산부(1104), 제3 레이어 복호부(1105), 가 산부(1106), 제4 레이어 복호부(1107), 가산부(1108), 전환부(1109), 시간 영역 변환부(1110), 및 포스트필터(1111)를 구비하고, 4 레이어로 되어있는 스케일러블 음성 복호 장치이다. 또한, 이러한 각 블록의 구성 및 동작은 도8에 나타낸 음성 복호 장치(200)의 각 블록의 구성 및 동작과 유사하여 유추할 수 있기때문에, 여기에서는 상세한 설명을 생략한다.
이와 같이, 본 실시형태에 의하면, 스케일러블 음성 부호화 장치에 있어서, 비트레이트가 낮은 저위 레이어일수록 청감적인 감도가 높은 저역의 대역중에서 부호화의 대상이 되는 범위를 선택하고, 비트레이트가 높은 고위 레이어일수록 고역부까지 포함한 보다 넓은 대역중에서 부호화의 대상이 되는 범위를 선택함으로써, 저위 레이어에 있어서 저역부를 중시하고, 고위 레이어에 있어서 보다 넓은 대역을 커버하도록 하고, 또 게인의 부호화보다 형상 벡터의 부호화를 시간적으로 먼저 행하기때문에 모음과 같이 토나리티가 강한 신호의 스펙트럼의 형상을 보다 정확하게 부호화함과 동시에, 비트레이트를 증가시키지 않고 게인 벡터 부호화 왜곡을 더욱 저감시킬 수 있어, 복호 음성의 음질을 한층 더 향상시킬 수 있다.
또한, 본 실시형태에서는, 각 확장 레이어의 부호화 처리에 있어서 도30에 나타내는 것 같은 범위 선택의 후보중에서 부호화 대상을 선택하는 경우를 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않으며, 도32 및 도33에 나타내는 바와 같이 등간격으로 배치되어 있는 범위의 후보로부터 부호화 대상을 선택해도 좋다.
도32A, 도32B, 도33은, 제2 레이어 부호화, 제3 레이어 부호화, 및 제4 레이 어 부호화 각각에 있어서의 범위 선택 처리를 설명하기 위한 도면이다. 도32 및 도33에 나타내는 것처럼, 각 확장 레이어에 있어서의 선택 범위의 후보 수는 다르며, 여기에서는 각각 4개, 6개, 8개인 경우를 예시한다. 이러한 구성에서는, 저위 레이어에서는 저역 대역중에서 부호화의 대상이 되는 범위를 결정하고, 또 선택 범위의 후보 수가 고위 레이어에 비교해 보다 적기때문에, 연산량과 비트레이트의 삭감도 가능하게 된다.
또, 각 확장 레이어에 있어서 부호화 대상이 되는 범위의 선택 방법으로서 저위 레이어에서 선택한 범위에 관련화하여 현재의 레이어의 범위를 선택해도 좋다. 예를 들면, (1)저위 레이어에서 선택한 범위의 근방에 위치하는 범위중에서 현재 레이어의 범위를 결정하는 방법, (2)저위 레이어에서 선택한 범위의 근방에 현재 레이어의 범위의 후보를 재배치하고, 그 재배치된 범위의 후보중에서 현재 레이어의 범위를 결정하는 방법, (3)범위 정보를 몇 프레임에 1번의 비율로 전송하고, 범위 정보를 전송하지 않는 프레임에서는 과거에 전송된 범위 정보가 나타내는 범위를 이용하는(범위 정보의 간헐 전송) 방법등을 들 수 있다.
이상, 본 발명의 각 실시형태에 대해서 설명했다.
또한, 상기 각 실시형태에서는, 음성 부호화 장치 및 음성 복호 장치의 구성으로서 2 레이어의 스케일러블 구성을 예로 들어 설명했지만, 본 발명은 이것으로 한정되지 않으며, 3 레이어 이상의 스케일러블 구성이라도 좋다. 더욱이, 본 발명은, 스케일러블 구성이 아닌 음성 부호화 장치에도 적용 가능하다.
또, 상기 각 실시형태에서는, 제1 레이어의 부호화 방법으로서 CELP의 방법 을 이용하는 것이 가능하다.
또, 상기 각 실시형태에 있어서의 주파수 영역 변환부는, FFT, DFT(Discrete Fourier Transform), DCT(Discrete Cosine Transform), MDCT(Modified Discrete Cosine Transform), 서브밴드 필터 등에 의해 실현된다.
또, 상기 각 실시형태에서는, 복호 신호로서 음성 신호를 상정하고 있지만, 본 발명은 이것에 한하지 않으며, 예를 들면, 오디오 신호 등이라도 좋다.
또, 상기 각 실시형태에서는, 본 발명을 하드웨어로 구성하는 경우를 예로 들어 설명했지만, 본 발명은 소프트웨어로 실현하는 것도 가능하다.
또, 상기 각 실시형태의 설명에 이용한 각 기능 블록은, 전형적으로는 집적회로인 LSI로서 실현된다. 이들은 개별적으로 1 칩화되어도 괜찮고, 일부 또는 모두를 포함하도록 1 칩화되어도 괜찮다. 여기에서는, LSI라고 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 불리는 일도 있다.
또, 집적회로화의 수법은 LSI에 한하는 것은 아니며, 전용 회로 또는 범용 프로세서로 실현해도 괜찮다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블 프로세서를 이용해도 괜찮다.
또, 반도체 기술의 진보 또는 파생하는 별개의 기술에 의해 LSI에 대체되는 집적회로화의 기술이 등장하면, 당연히 그 기술을 이용해 기능 블록의 집적화를 행해도 좋다. 바이오 기술의 적용등이 가능성으로서 있을 수 있다.
2007년 3월 2 일에 출원한 특허출원 2007-053502의 일본 출원, 2007년 5월 18 일에 출원한 특허출원 2007-133545의 일본 출원, 2007년 7월 13 일에 출원한 특허출원 2007-185077, 및 2008년 2월 26 일에 출원한 특허출원 2008-045259의 일본 출원의 일본 출원에 포함되는 명세서, 도면 및 요약서의 개시 내용은, 모두 본 원에 원용된다.
본 발명에 따른 음성 부호화 장치 및 음성 부호화 방법은, 이동체 통신 시스템에 있어서의 무선통신 단말장치, 기지국 장치등에 적용할 수 있다.

Claims (14)

  1. 입력 신호를 부호화하여 기본 레이어 부호화 데이터를 얻는 기본 레이어 부호화부와,
    상기 기본 레이어 부호화 데이터를 복호하여 기본 레이어 복호 신호를 얻는 기본 레이어 복호부와,
    상기 입력 신호와 상기 기본 레이어 복호 신호의 차(差)인 잔차신호를 부호화하여 확장 레이어 부호화 데이터를 얻는 확장 레이어 부호화부를 구비하는 부호화 장치이며,
    상기 확장 레이어 부호화부는,
    상기 잔차신호를 복수의 서브밴드로 분할하는 분할 수단과,
    상기 복수의 서브밴드 각각에 대해 부호화를 행하여 제1 형상 부호화 정보를 얻음과 동시에, 상기 복수의 서브밴드 각각의 타겟 게인을 산출하는 제1 형상 벡터 부호화 수단과,
    상기 복수의 타겟 게인을 이용해 1개의 게인 벡터를 구성하는 게인 벡터 구성 수단과,
    상기 게인 벡터에 대해 부호화를 행하여 제1 게인 부호화 정보를 얻는 게인 벡터 부호화 수단을 구비하는, 부호화 장치.
  2. 청구항1에 있어서,
    상기 제1 형상 벡터 부호화 수단은,
    임의의 주파수에 위치하는 펄스를 1개 이상 포함하는, 복수의 형상 벡터 후보로 되어있는 형상 벡터 코드북을 이용하여, 상기 복수의 서브밴드 각각에 대해 부호화를 행하는 부호화 장치.
  3. 청구항2에 있어서,
    상기 제1 형상 벡터 부호화 수단은,
    상기 형상 벡터 코드북으로부터 선택된 상기 형상 벡터 후보에 관한 상관 정보를 이용하여, 상기 복수의 서브밴드 각각에 대해 부호화를 행하는, 부호화 장치.
  4. 청구항1에 있어서,
    상기 확장 레이어 부호화부는,
    임의수의 인접하는 상기 서브밴드를 이용해 구성되는 복수 범위의 토나리티(Tonality)를 산출하고, 상기 복수의 범위중에서 상기 토나리티가 가장 높은 1개를 선택하는 범위선택 수단을 더 구비하고,
    상기 제1 형상 벡터 부호화 수단, 상기 게인 벡터 구성 수단, 및 상기 게인 벡터 부호화 수단은, 상기 선택된 범위를 구성하는 복수의 서브밴드에 대해 동작하는 부호화 장치.
  5. 청구항1에 있어서,
    상기 확장 레이어 부호화부는,
    임의 수의 인접하는 상기 서브밴드를 이용해 구성되는 복수 범위의 평균 에너지를 산출하고, 상기 복수의 범위중에서 상기 평균 에너지가 가장 높은 1개를 선택하는 범위 선택 수단을 더 구비하고,
    상기 제1 형상 벡터 부호화 수단, 상기 게인 벡터 구성 수단, 및 상기 게인 벡터 부호화 수단은, 상기 선택된 범위를 구성하는 복수의 서브밴드에 대해 동작하는 부호화 장치.
  6. 청구항1에 있어서,
    상기 확장 레이어 부호화부는,
    임의 수의 인접하는 상기 서브밴드를 이용해 구성되는 복수 범위의 청감 가중 에너지를 산출하고, 상기 복수의 범위중에서 상기 청감 가중 에너지가 가장 높은 1개를 선택하는 범위 선택 수단을 더 구비하고,
    상기 제1 형상 벡터 부호화 수단, 상기 게인 벡터 구성 수단, 및 상기 게인 벡터 부호화 수단은, 상기 선택된 범위를 구성하는 복수의 서브밴드에 대해 동작하는 부호화 장치.
  7. 청구항 4 내지 6 중 어느 한 항에 있어서,
    상기 범위 선택 수단은,
    소정 주파수보다 낮은 대역의 복수 범위 중에서 1개를 선택하는,
    부호화 장치.
  8. 청구항 4 내지 6 중 어느 한 항에 있어서,
    상기 확장 레이어를 복수 구비하고, 고위 레이어일수록 상기 소정 주파수가 보다 높은 부호화 장치.
  9. 청구항1에 있어서,
    상기 확장 레이어 부호화부는,
    임의수의 인접하는 상기 서브밴드를 이용해 복수의 범위를 구성하고, 임의 수의 상기 범위를 이용해 복수의 부분대역을 구성하고, 상기 복수의 부분대역 각각에 있어서, 평균 에너지가 가장 높은 1개의 범위를 선택하고, 선택한 복수의 범위를 결합해 결합 범위를 구성하는 범위 선택 수단을 더 구비하고,
    상기 제1 형상 벡터 부호화 수단, 상기 게인 벡터 구성 수단, 및 상기 게인 벡터 부호화 수단은, 상기 선택된 결합 범위를 구성하는 복수의 서브밴드에 대해 동작하는 부호화 장치.
  10. 청구항9에 있어서,
    상기 범위 선택 수단은,
    상기 복수의 부분대역의 적어도 1개에 있어서, 항상 미리 특정된 고정의 범위를 선택하는, 부호화 장치.
  11. 청구항1에 있어서,
    상기 확장 레이어 부호화부는,
    상기 입력 신호의 토나리티의 세기를 판정하는 토나리티 판정 수단을 더 구비하여,
    상기 입력 신호의 토나리티의 세기가 소정 레벨 이상이라고 판정했을 경우에,
    상기 잔차신호를 복수의 서브밴드로 분할하고,
    상기 복수의 서브밴드 각각에 대해 부호화를 행하여 제1 형상 부호화 정보를 얻음과 동시에, 상기 복수의 서브밴드 각각의 타겟 게인을 산출하고,
    상기 복수의 타겟 게인을 이용해 1개의 게인 벡터를 구성하고,
    상기 게인 벡터에 대해 부호화를 행하여 제1 게인 부호화 정보를 얻는, 부호화 장치.
  12. 청구항 1 내지 11 중 어느 한 항에 있어서,
    상기 기본 레이어 부호화부는,
    상기 입력 신호에 대해 다운 샘플링을 행하여 다운 샘플링 신호를 얻는 다운 샘플링 수단과,
    상기 다운 샘플링 신호에 대해 부호화를 행하여 부호화 데이터인 코어 부호화 데이터를 얻는 코어 부호화 수단을 구비하고,
    상기 기본 레이어 복호부는,
    상기 코어 부호화 데이터를 복호하여 코어 복호 신호를 얻는 코어 복호 수단과,
    상기 코어 복호 신호에 대해 업 샘플링을 행하여 업 샘플링 신호를 얻는 업 샘플링 수단과,
    상기 업 샘플링 신호의 고역성분을 잡음으로 대용하는 대용 수단을 구비하는, 부호화 장치.
  13. 청구항1에 있어서,
    상기 복수의 서브밴드의 변환계수 각각의 게인을 부호화하여 제2 게인 부호화 정보를 얻는 게인 부호화 수단과,
    상기 게인 부호화 정보를 복호하여 얻어지는 복호 게인을 이용해 상기 복수의 서브밴드의 변환계수 각각을 정규화하여 정규화 형상 벡터를 얻는 정규화 수단과,
    상기 복수의 정규화 형상 벡터 각각을 부호화하여 제2 형상 부호화 정보를 얻는 제2 형상 벡터 부호화 수단과,
    프레임마다 상기 입력 신호의 토나리티를 산출하고, 상기 토나리티가 상기 임계값 이상이라고 판정했을 경우에는 상기 복수의 서브밴드의 변환계수를 상기 제1 형상 벡터 부호화 수단에 출력하고, 상기 토나리티가 상기 임계값보다 작다고 판정했을 경우에는 상기 복수의 서브밴드의 변환계수를 상기 게인 부호화 수단에 출 력하는 판정 수단을 더 구비하는 부호화 장치.
  14. 입력 신호를 주파수 영역으로 변환하여 얻어지는 변환계수를 복수의 서브밴드로 분할하는 단계과,
    상기 복수의 서브밴드의 변환계수 각각에 대해 부호화를 행하여 제1 형상 부호화 정보를 얻음과 동시에, 상기 복수의 서브밴드의 변환계수 각각의 타겟 게인을 산출하는 단계과,
    상기 복수의 타겟 게인을 이용해 1개의 게인 벡터를 구성하는 단계과,
    상기 게인 벡터에 대해 부호화를 행하여 제1 게인 부호화 정보를 얻는 단계를 구비하는 부호화 방법.
KR1020097018303A 2007-03-02 2008-02-29 부호화 장치 및 부호화 방법 Expired - Fee Related KR101414354B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JPJP-P-2007-053502 2007-03-02
JP2007053502 2007-03-02
JP2007133545 2007-05-18
JPJP-P-2007-133545 2007-05-18
JPJP-P-2007-185077 2007-07-13
JP2007185077 2007-07-13
JP2008045259A JP4871894B2 (ja) 2007-03-02 2008-02-26 符号化装置、復号装置、符号化方法および復号方法
JPJP-P-2008-045259 2008-02-26
PCT/JP2008/000408 WO2008120440A1 (ja) 2007-03-02 2008-02-29 符号化装置および符号化方法

Publications (2)

Publication Number Publication Date
KR20090117890A true KR20090117890A (ko) 2009-11-13
KR101414354B1 KR101414354B1 (ko) 2014-08-14

Family

ID=39808027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097018303A Expired - Fee Related KR101414354B1 (ko) 2007-03-02 2008-02-29 부호화 장치 및 부호화 방법

Country Status (11)

Country Link
US (3) US8554549B2 (ko)
EP (1) EP2128857B1 (ko)
JP (1) JP4871894B2 (ko)
KR (1) KR101414354B1 (ko)
CN (3) CN101622662B (ko)
AU (1) AU2008233888B2 (ko)
BR (1) BRPI0808428A8 (ko)
MY (1) MY147075A (ko)
RU (3) RU2471252C2 (ko)
SG (2) SG178728A1 (ko)
WO (1) WO2008120440A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339919B2 (ja) * 2006-12-15 2013-11-13 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
KR101599875B1 (ko) * 2008-04-17 2016-03-14 삼성전자주식회사 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
KR20090110242A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 신호를 처리하는 방법 및 장치
KR20090110244A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
EP2237269B1 (en) * 2009-04-01 2013-02-20 Motorola Mobility LLC Apparatus and method for processing an encoded audio data signal
WO2010137300A1 (ja) 2009-05-26 2010-12-02 パナソニック株式会社 復号装置及び復号方法
FR2947944A1 (fr) * 2009-07-07 2011-01-14 France Telecom Codage/decodage perfectionne de signaux audionumeriques
FR2947945A1 (fr) * 2009-07-07 2011-01-14 France Telecom Allocation de bits dans un codage/decodage d'amelioration d'un codage/decodage hierarchique de signaux audionumeriques
US9009037B2 (en) * 2009-10-14 2015-04-14 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device, and methods therefor
WO2011048798A1 (ja) * 2009-10-20 2011-04-28 パナソニック株式会社 符号化装置、復号化装置およびこれらの方法
JP5774490B2 (ja) 2009-11-12 2015-09-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置およびこれらの方法
WO2011058758A1 (ja) 2009-11-13 2011-05-19 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
EP2555186A4 (en) * 2010-03-31 2014-04-16 Korea Electronics Telecomm CODING METHOD AND DEVICE AND DECODING METHOD AND DEVICE
WO2011132368A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 符号化装置、復号装置、符号化方法及び復号方法
US8751225B2 (en) * 2010-05-12 2014-06-10 Electronics And Telecommunications Research Institute Apparatus and method for coding signal in a communication system
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
CA2981539C (en) 2010-12-29 2020-08-25 Samsung Electronics Co., Ltd. Apparatus and method for encoding/decoding for high-frequency bandwidth extension
KR20130111611A (ko) * 2011-01-25 2013-10-10 니뽄 덴신 덴와 가부시키가이샤 부호화 방법, 부호화 장치, 주기성 특징량 결정 방법, 주기성 특징량 결정 장치, 프로그램, 기록 매체
PT2681734T (pt) * 2011-03-04 2017-07-31 ERICSSON TELEFON AB L M (publ) Correção de ganho de pós quantificação em codificação de áudio
EP3441967A1 (en) * 2011-04-05 2019-02-13 Nippon Telegraph and Telephone Corporation Decoding method, decoder, program, and recording medium
PL2908313T3 (pl) 2011-04-15 2019-11-29 Ericsson Telefon Ab L M Adaptacyjny podział współczynnika kształt - wzmocnienie
CN102800317B (zh) * 2011-05-25 2014-09-17 华为技术有限公司 信号分类方法及设备、编解码方法及设备
WO2013002696A1 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget Lm Ericsson (Publ) Transform audio codec and methods for encoding and decoding a time segment of an audio signal
US8712076B2 (en) 2012-02-08 2014-04-29 Dolby Laboratories Licensing Corporation Post-processing including median filtering of noise suppression gains
US9173025B2 (en) 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
EP3288033B1 (en) 2012-02-23 2019-04-10 Dolby International AB Methods and systems for efficient recovery of high frequency audio content
JP5997592B2 (ja) * 2012-04-27 2016-09-28 株式会社Ｎｔｔドコモ 音声復号装置
JP6113294B2 (ja) * 2012-11-07 2017-04-12 ドルビー・インターナショナル・アーベー 軽減された計算量の変換器ｓｎｒ計算
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP3117432B1 (en) 2014-03-14 2019-05-08 Telefonaktiebolaget LM Ericsson (publ) Audio coding method and apparatus
ES2768090T3 (es) 2014-03-24 2020-06-19 Nippon Telegraph & Telephone Método de codificación, codificador, programa y soporte de registro
KR101883817B1 (ko) * 2014-05-01 2018-07-31 니폰 덴신 덴와 가부시끼가이샤 부호화 장치, 복호 장치 및 그 방법, 프로그램, 기록 매체
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックＩｐマネジメント株式会社 音声信号復号装置及び音声信号復号方法
CN106096892A (zh) * 2016-06-22 2016-11-09 严东军 供应链随货单编码及其编码规则和使用方法
WO2018211050A1 (en) 2017-05-18 2018-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Managing network device
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483879A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
CN110874402B (zh) * 2018-08-29 2024-05-14 北京三星通信技术研究有限公司 基于个性化信息的回复生成方法、设备和计算机可读介质
WO2020253941A1 (en) * 2019-06-17 2020-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder with a signal-dependent number and precision control, audio decoder, and related methods and computer programs
US11361776B2 (en) * 2019-06-24 2022-06-14 Qualcomm Incorporated Coding scaled spatial components
US12308034B2 (en) 2019-06-24 2025-05-20 Qualcomm Incorporated Performing psychoacoustic audio coding based on operating conditions
US12142285B2 (en) * 2019-06-24 2024-11-12 Qualcomm Incorporated Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding
US11538489B2 (en) 2019-06-24 2022-12-27 Qualcomm Incorporated Correlating scene-based audio data for psychoacoustic audio coding
TWI866996B (zh) 2019-06-26 2024-12-21 美商杜拜研究特許公司 具有改善頻率解析度的低延遲音訊濾波器組
EP4018440B1 (en) 2019-08-20 2024-07-31 Dolby International AB Multi-lag format for audio coding
UA129473C2 (uk) 2019-09-03 2025-05-07 Долбі Лабораторіс Лайсензін Корпорейшн Банк аудіофільтрів із декореляційними компонентами
EP4170912A4 (en) * 2020-06-18 2023-11-22 Panasonic Intellectual Property Corporation of America CODING APPARATUS, DECODING APPARATUS, CODING METHOD AND DECODING METHOD
CN115116454B (zh) * 2022-06-15 2024-10-01 腾讯科技（深圳）有限公司 音频编码方法、装置、设备、存储介质及程序产品
CN115171709B (zh) * 2022-09-05 2022-11-18 腾讯科技（深圳）有限公司 语音编码、解码方法、装置、计算机设备和存储介质

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03263100A (ja) * 1990-03-14 1991-11-22 Mitsubishi Electric Corp 音声符号化・復号化装置
DE4492048C2 (de) * 1993-03-26 1997-01-02 Motorola Inc Vektorquantisierungs-Verfahren
KR100269213B1 (ko) * 1993-10-30 2000-10-16 윤종용 오디오신호의부호화방법
US5684920A (en) * 1994-03-17 1997-11-04 Nippon Telegraph And Telephone Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein
JP3186007B2 (ja) 1994-03-17 2001-07-11 日本電信電話株式会社 変換符号化方法、復号化方法
JPH0846517A (ja) * 1994-07-28 1996-02-16 Sony Corp 高能率符号化及び復号化システム
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
CA2213909C (en) 1996-08-26 2002-01-22 Nec Corporation High quality speech coder at low bit rates
KR100261253B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치
JP3063668B2 (ja) 1997-04-04 2000-07-12 日本電気株式会社 音声符号化装置及び復号装置
JP3134817B2 (ja) 1997-07-11 2001-02-13 日本電気株式会社 音声符号化復号装置
DE19747132C2 (de) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
KR100304092B1 (ko) * 1998-03-11 2001-09-26 마츠시타 덴끼 산교 가부시키가이샤 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화/복호화 장치
US6353808B1 (en) 1998-10-22 2002-03-05 Sony Corporation Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal
JP4281131B2 (ja) 1998-10-22 2009-06-17 ソニー株式会社 信号符号化装置及び方法、並びに信号復号装置及び方法
US6978236B1 (en) * 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
BR9906090A (pt) * 1999-12-22 2001-07-24 Conselho Nacional Cnpq Sìntese de um potente agonista paramagnético (epm-3) do hormÈnio estimulador de melanócito contendo radical livre estável em forma de aminoácido
US7013268B1 (en) * 2000-07-25 2006-03-14 Mindspeed Technologies, Inc. Method and apparatus for improved weighting filters in a CELP encoder
EP1199812A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Perceptually improved encoding of acoustic signals
US7606703B2 (en) * 2000-11-15 2009-10-20 Texas Instruments Incorporated Layered celp system and method with varying perceptual filter or short-term postfilter strengths
US7013269B1 (en) * 2001-02-13 2006-03-14 Hughes Electronics Corporation Voicing measure for a speech CODEC system
US6931373B1 (en) * 2001-02-13 2005-08-16 Hughes Electronics Corporation Prototype waveform phase modeling for a frequency domain interpolative speech codec system
JP3881946B2 (ja) * 2002-09-12 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
US7752052B2 (en) * 2002-04-26 2010-07-06 Panasonic Corporation Scalable coder and decoder performing amplitude flattening for error spectrum estimation
JP3881943B2 (ja) 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
FR2849727B1 (fr) 2003-01-08 2005-03-18 France Telecom Procede de codage et de decodage audio a debit variable
JP2004302259A (ja) * 2003-03-31 2004-10-28 Matsushita Electric Ind Co Ltd 音響信号の階層符号化方法および階層復号化方法
US7299174B2 (en) * 2003-04-30 2007-11-20 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus including enhancement layer performing long term prediction
KR20060131793A (ko) * 2003-12-26 2006-12-20 마츠시타 덴끼 산교 가부시키가이샤 음성ㆍ악음 부호화 장치 및 음성ㆍ악음 부호화 방법
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
JP4464707B2 (ja) * 2004-02-24 2010-05-19 パナソニック株式会社 通信装置
JP4771674B2 (ja) 2004-09-02 2011-09-14 パナソニック株式会社 音声符号化装置、音声復号化装置及びこれらの方法
JP4871501B2 (ja) 2004-11-04 2012-02-08 パナソニック株式会社 ベクトル変換装置及びベクトル変換方法
JP4977471B2 (ja) * 2004-11-05 2012-07-18 パナソニック株式会社 符号化装置及び符号化方法
US7983904B2 (en) * 2004-11-05 2011-07-19 Panasonic Corporation Scalable decoding apparatus and scalable encoding apparatus
JP4842147B2 (ja) 2004-12-28 2011-12-21 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
CN101147191B (zh) 2005-03-25 2011-07-13 松下电器产业株式会社 语音编码装置和语音编码方法
EP1876586B1 (en) 2005-04-28 2010-01-06 Panasonic Corporation Audio encoding device and audio encoding method
CN101167124B (zh) 2005-04-28 2011-09-21 松下电器产业株式会社 语音编码装置和语音编码方法
DE602006018129D1 (de) * 2005-05-11 2010-12-23 Panasonic Corp Codierer, decodierer und verfahren dafür
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
US7562021B2 (en) * 2005-07-15 2009-07-14 Microsoft Corporation Modification of codewords in dictionary used for efficient coding of digital media spectral data
JP4170326B2 (ja) 2005-08-16 2008-10-22 富士通株式会社 メール送受信プログラムおよびメール送受信装置
WO2007052612A1 (ja) 2005-10-31 2007-05-10 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置およびステレオ信号予測方法
JP2007133545A (ja) 2005-11-09 2007-05-31 Fujitsu Ltd 運用管理プログラムおよび運用管理方法
JP2007185077A (ja) 2006-01-10 2007-07-19 Yazaki Corp ワイヤーハーネス固定具
US7835904B2 (en) * 2006-03-03 2010-11-16 Microsoft Corp. Perceptual, scalable audio compression
EP1988544B1 (en) * 2006-03-10 2014-12-24 Panasonic Intellectual Property Corporation of America Coding device and coding method
JP5173795B2 (ja) 2006-03-17 2013-04-03 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
EP2017830B9 (en) * 2006-05-10 2011-02-23 Panasonic Corporation Encoding device and encoding method
EP1887118B1 (de) 2006-08-11 2012-06-13 Groz-Beckert KG Bestückungsset zur Bestückung einer gegebenen Anzahl von Systemteilen einer Strickmaschine, insbesondere einer Rundstrickmaschine
KR101412255B1 (ko) * 2006-12-13 2014-08-14 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치 및 이들의 방법
WO2008084688A1 (ja) * 2006-12-27 2008-07-17 Panasonic Corporation 符号化装置、復号装置及びこれらの方法
JP4871894B2 (ja) * 2007-03-02 2012-02-08 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
CN101599272B (zh) * 2008-12-30 2011-06-08 华为技术有限公司 基音搜索方法及装置

Also Published As

Publication number Publication date
RU2012135697A (ru) 2014-02-27
US8918314B2 (en) 2014-12-23
SG178728A1 (en) 2012-03-29
EP2128857A4 (en) 2013-08-14
RU2579663C2 (ru) 2016-04-10
JP2009042734A (ja) 2009-02-26
CN103903626B (zh) 2018-06-22
RU2471252C2 (ru) 2012-12-27
RU2009132934A (ru) 2011-03-10
US8554549B2 (en) 2013-10-08
EP2128857B1 (en) 2018-09-12
MY147075A (en) 2012-10-31
EP2128857A1 (en) 2009-12-02
US20100017204A1 (en) 2010-01-21
CN102411933B (zh) 2014-05-14
CN103903626A (zh) 2014-07-02
BRPI0808428A8 (pt) 2016-12-20
CN102411933A (zh) 2012-04-11
RU2012135696A (ru) 2014-02-27
KR101414354B1 (ko) 2014-08-14
AU2008233888B2 (en) 2013-01-31
US8918315B2 (en) 2014-12-23
WO2008120440A1 (ja) 2008-10-09
US20130332154A1 (en) 2013-12-12
JP4871894B2 (ja) 2012-02-08
SG178727A1 (en) 2012-03-29
US20130325457A1 (en) 2013-12-05
RU2579662C2 (ru) 2016-04-10
AU2008233888A1 (en) 2008-10-09
CN101622662A (zh) 2010-01-06
BRPI0808428A2 (pt) 2014-07-22
CN101622662B (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
KR101414354B1 (ko) 부호화 장치 및 부호화 방법
KR101363793B1 (ko) 부호화 장치, 복호 장치 및 그 방법
JP5236040B2 (ja) 符号化装置、復号装置、符号化方法および復号方法
EP1806737A1 (en) Sound encoder and sound encoding method
KR20070083856A (ko) 스케일러블 부호화 장치, 스케일러블 복호화 장치 및이러한 방법
JP5236032B2 (ja) 音声符号化装置、音声復号装置およびそれらの方法
RU2459283C2 (ru) Кодирующее устройство, декодирующее устройство и способ

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20180518

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20190516

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20200519

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20210524

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20220503

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20250626

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20250626

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20250626