KR19990077753A

KR19990077753A - 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화/복호화 장치

Info

Publication number: KR19990077753A
Application number: KR1019990007928A
Authority: KR
Inventors: 이시카와도모카즈; 츠시마미네오; 노리마츠다케시
Original assignee: 마츠시타 덴끼 산교 가부시키가이샤
Priority date: 1998-03-11
Filing date: 1999-03-10
Publication date: 1999-10-25
Anticipated expiration: 2019-03-10
Also published as: EP0942411A2; DE69915400T2; CN1240978A; CN1131507C; ES2216367T3; DE69915400D1; US6871106B1; EP0942411A3; EP0942411B1; KR100304092B1

Abstract

종래 방식의 고정 스케일러블 코딩에서는, 저역, 중역, 고역의 각 대역양자화기가 고정되어 있기 때문에, 원 오디오 신호의 분포에 의해 양자화 오차를 될 수 있는 한 적게 하도록 부호화하는 것이 곤란하였다. 그러므로, 다종, 다양한 성질이나 분포를 갖는 오디오 신호의 부호화를 실행할 때에는, 충분한 성능을 발휘할 수 없어, 고음질이고, 고효율인 스케일러블 코딩을 실행하는 것이 곤란하였다. 그래서, 다종 다양한 오디오 신호의 부호화를 실행할 때에, 충분한 성능을 발휘하도록 적응적으로 스케일러블 코딩하는 오디오 신호 부호화, 복호화 장치를 제공한다.

본 발명은, 고정 스케일러블 코딩 수단을 이용하지 않고, 원 오디오 신호의 성질·분포를 자동적으로 판정하여, 부호화하는 주파수 범위를 변화시키는 적응 스케일러블 코딩 수단을 구비하였다.

Description

오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화/복호화 장치{AUDIO SIGNAL CODING APPARATUS, AUDIO SIGNAL DECODING APPARATUS, AND AUDIO SIGNAL CODING AND DECODING APPARATUS}

본 발명은, 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화·복호화 장치에 관한 것으로, 특히, 음성 신호나 음악 신호 등의 오디오 신호로부터 얻어지는 특징량, 특히 오디오 신호를 직교 변환 등의 방법을 이용하여, 시간 영역으로부터 주파수 영역으로 변환한 신호를 이용해 그 변환한 신호를 원(原) 오디오 신호와 비교하고, 가능한 한 적은 부호열로 표현하기 위해 효율적으로 부호화하는 장치와, 부호화된 신호인 부호화열의 전부, 혹은 그 일부만을 이용하여, 높은 품질과 광대역의 오디오 신호를 복호할 수 있는 구성의 복호화 장치에 관한 것이다.

오디오 신호를 효율적으로 부호화 및 복호화하는 여러가지 방법이 제안되어 있다. 음악 신호 등, 20kHz 이상의 주파수 대역을 갖는 오디오 신호의 압축 부호화 방식에는, MPEG 오디오 방식이나, Twin VQ(TC-WVQ) 방식 등이 있다. MPEG 방식으로 대표되는 부호화 방식은, 시간축의 디지탈 오디오 신호를, 코사인 변환 등의 직교 변환을 이용하여 주파수축상의 데이터로 변환하고, 그 주파수축상의 정보를, 인간의 청각적인 감도 특성을 이용하여 청각적으로 중요한 정보부터 부호화해 가는 방식으로서, 청각적으로 중요하지 않은 정보나, 용장의 정보는 부호화하지 않는 방식이다. 한편, Twin VQ(TC-WVQ) 방식은, 벡터 양자화 방법을 이용하여, 원 디지털 신호의 정보량에 대해, 상당히 적은 정보량으로 표현하고자 하는 부호화 방식이 있다. MPEG 오디오 및 Twin VQ(TC-WVQ)는, 각각 ISO/IEC 표준 IS-11172-3 및 T.Moriya, H.Suga : An 8Kbits transform coder for noisy channels, Proc.ICASSP 89, pp196-199, 등에 기술되어 있다.

여기서, 도 10을 이용하여 일반적인 Twin VQ 방식의 개요를 설명한다.

원 오디오 신호(101)를 해석 길이 판정부(102)에 입력하여, 해석 길이를 산출한다. 또한 동시에, 해석 길이 판정부(102)는 해석 길이(112)를 양자화하여, 해석 길이 부호열(111)을 출력한다. 다음에, 그 해석 길이(112)에 따라, 시간 주파수 변환부(103)에서, 원 오디오 신호(101)를 주파수 영역의 원 오디오 신호(104)로 변환한다. 다음에, 주파수 영역의 원 오디오 신호(104)는, 정규화 처리부(평탄화 처리부)(106)에서 정규화 처리(평탄화 처리)되어, 정규화 처리후의 오디오 신호(108)를 얻는다. 정규화 처리는, 원 오디오 신호(104)로부터 주파수 개형(105)을 계산하여, 원 오디오 신호(104)를 산출한 주파수 개형(105)으로 나눔으로써 실행된다. 또한, 정규화 처리부(106)는, 정규화 처리에 이용한 주파수 개형 정보를 양자화하여, 정규화 부호열(107)을 출력한다. 다음에, 정규화 처리후의 오디오 신호(108)를 벡터 양자화부(109)에 의해 양자화하여 부호열(110)을 얻을 수 있다.

최근, 복호기에 입력되는 부호열의 일부를 이용하더라도, 오디오 신호를 재생할 수 있는 구조를 갖는 것이 있다. 상기한 구조를 스케일러블 구조라고 부르고, 스케일러블 구조를 실현할 수 있도록 부호화하는 것을, 스케일러블 코딩(scalable coding)이라고 부른다.

도 11에, 일반적인, Twin VQ 방식에서 채용되고 있는, 고정 스케일러블 코딩의 일례를 나타낸다.

원 오디오 신호(1301)로부터 해석 길이 판정부(1303)에 의해 판정된 해석 길이(1314)에 따라서, 시간 주파수 변환부(1302)에 의해, 주파수 영역의 원 오디오 신호(1304)를 얻는다. 다음에, 주파수 영역의 원 오디오 신호(1304)를 저역 부호화기(1305)에 입력하면, 양자화 오차(1306)와 저역 부호열(1311)이 출력된다. 또한, 양자화 오차(1306)를 중역 부호화기(1307)에 입력하면, 양자화 오차(1308)와 중역 부호열(1312)이 출력된다. 또한, 양자화 오차(1308)를 고역 부호화기(1309)에 입력하면, 양자화 오차(1310)와 고역 부호열(1313)이 출력된다. 여기서, 상기 저역, 또는 중역, 또는 고역 부호화기는, 정규화 처리부와 벡터 양자화부를 아울러 갖고, 그 출력은, 양자화 오차, 및 정규화 처리부 및 벡터 양자화부에 의해 출력된 각 부호열을 포함한, 저역, 중역, 또는 고역 부호열을 출력하는 것이다.

종래 방식의 고정 스케일러블 코딩에서는, 도 11에 도시하는 바와 같이 저역, 중역, 고역의 각 대역양자화기가 고정되어 있기 때문에, 도 12에 도시하는 바와 같이 원 오디오 신호의 분포에 대하여, 양자화 오차를 가능한 한 적게 하도록 부호화하는 것이 곤란하였다. 그러므로, 다종 다양(多種多樣)한 성질이나 분포를 갖는 오디오 신호의 부호화를 실행할 때에는, 충분한 성능을 발휘할 수 없어, 고음질 고효율의 스케일러블 코딩을 실행하는 것이 곤란하였다.

본 발명의 목적은 상기한 문제점을 해소하기 위해서 이루어진 것으로, 다종 다양한 오디오 신호의 부호화에 있어서, 오디오 신호를 부호화할 때, 도 13에 도시하는 바와 같이 다종 다양한 오디오 신호를 적응적으로 스케일러블 코딩함으로써, 효율적으로, 낮은 비트레이트로, 또한 고음질로 부호화를 실행할 수 있는 오디오 신호 부호화 장치 및 오디오 신호 복호화 장치, 오디오 신호 부호화·복호화 장치를 제공하는 것이다.

도 1은 본 발명의 실시예 1에 의한 오디오 신호 부호화 장치에 있어서의 적응 스케일러블 코딩의 블럭도,

도 2는 상기 실시예 1의 부호화 장치에 있어서의 시간 주파수 변환부를 도시하는 도면,

도 3은 상기 실시예 1의 부호화 장치에 있어서의 부호화기를 도시하는 도면,

도 4는 상기 실시예 1의 부호화 장치에 있어서의 정규화부를 도시하는 도면,

도 5는 상기 실시예 1의 부호화 장치에 있어서의 주파수 개형 정규화부를 도시하는 도면,

도 6은 상기 실시예 1의 부호화 장치에 있어서의 특성 판정부를 도시하는 도면,

도 7은 상기 실시예 1의 부호화 장치에 있어서의 부호화 대역 제어부를 도시하는 도면,

도 8은 상기 실시예 1의 부호화 장치에 있어서의 양자화부를 도시하는 도면,

도 9는 상기 실시예 1의 부호화 장치에 있어서의 복호화기를 도시하는 도면,

도 10은 일반적인 Twin VQ 방식의 개요를 나타내는 도면,

도 11은 일반적인 Twin VQ 스케일러블 코딩 방식을 도시하는 도면,

도 12는 일반적인 고정 스케일러블 코딩의 단점을 나타내는 도면,

도 13은 일반적인 적응 스케일러블 코딩의 장점을 나타내는 도면,

도 14는 본 발명의 실시예 2에 의한 오디오 신호 부호화 장치에 있어서의 적응 스케일러블 코딩의 블럭도,

도 15는 상기 실시예 2의 부호화 장치에 있어서의 부호화기를 도시하는 도면,

도 16은 상기 실시예 2의 부호화 장치에 있어서의 특성 판정부를 도시하는 도면,

도 17은 상기 실시예 2의 부호화 장치에 있어서의 부호화 대역 제어부를 도시하는 도면,

도 18은 상기 실시예 2의 부호화 장치에 있어서의 복호화기를 도시하는 도면,

도 19는 상기 실시예 2의 부호화 장치에 있어서의 복호화 대역 제어부를 도시하는 도면,

도 20은 상기 실시예 2의 부호화 장치에 있어서의 스펙트럼 쉬프트 수단을 도시하는 도면.

도면의 주요 부분에 대한 부호의 설명

1 : 부호화 장치 2 : 복호화 장치

501 : 원 오디오 신호 502 : 해석 길이 판정부

503 : 시간 주파수 변환부 504 : 해석 길이

505 : 원 오디오 신호의 스펙트럼 506 : 특성 판정부

507 : 부호화 대역 제어부 508 : 대역 제어 부호열

510 : 해석 길이 부호열 511 : 저역 부호화기

512 : 중역 부호화기 513 : 고역 부호화기

511b : 제 2 단 저역 부호화기 518, 519, 520, 518b : 양자화 오차

521 : 저역 부호열 522 : 중역 부호열

523 : 고역 부호열 521b : 제 2 단 저역 부호열

701 : 필터 5 : 주파수 시간 변환부

6 : 윈도우 설정부 7 : 프레임 중첩부

8 : 복호 신호 9 : 대역 합성부

1201 : 복호화 대역 제어부 1202 : 저역 복호화기

1203 : 중역 복호화기 1204 : 고역 복호화기

1202b : 제 2 단 저역 복호화기 201 : 프레임 분할부

202 : 윈도우 설정부 203 : MDCT부

3 : 부호화기 301 : 정규화부

302 : 양자화부 303 : 정규화 부호열

304 : 부호열 401 : 주파수 개형 정규화부

402 : 대역 진폭 정규화부 403 : 대역 테이블

601 : 선형 예측 분석부 602 : 개형 양자화부

603 : 포락 특성 정규화부 803 : 스펙트럼 파워 계산부

804 : 배치 결정부 517 : 대역 제어 가중치

516 : 부호화 대역 배치 정보 901 : 대역폭 산출부

902 : 양자화 순서 결정부 903 : 부호화기수 결정부

1001 : 양자화부의 양자화하는 대역의 MDCT

1002 : 동일 양자화 대역의 정규화 성분

1003 : 음원 서브벡터 1004 : 가중치 서브벡터

1005 : 벡터 양자화기 1006 : 거리 계산 수단

1007 : 코드 결정 수단 1008 : 잔차 생성 수단

1009 : 코드북 1010 : 잔차 서브벡터

1011 : 임의의 소정 양자화부가 양자화하는 대역의 MDCT의 잔차

101 : 원 오디오 신호 102 : 해석 길이 판정부

103 : 시간 주파수 변환부 104 : 주파수 영역의 원 오디오 신호

105 : 주파수 개형 106 : 정규화 처리부

107 : 정규화 부호열 108 : 정규화 처리후의 오디오 신호

109 : 벡터 양자화부 110 : 부호열

111 : 해석 길이 부호열 1301 : 원 오디오 신호

1302 : 시간 주파수 변환부 1303 : 해석 길이 판정부

1304 : 주파수 영역의 원 오디오 신호

1305 : 저역 부호화기 1306 : 양자화 오차

1307 : 중역 부호화기 1308 : 양자화 오차

1309 : 고역 부호화기 1310 : 양자화 오차

1311 : 저역 부호열 1312 : 중역 부호열

1313 : 고역 부호열 1314 : 해석 길이 부호열

2001 : 부호화 장치 2002 : 복호화 장치

200105 : 부호화 조건 200107 : 특성 판정부

200108 : 차분 스펙트럼 200109 : 부호화 대역 배치 정보

200110 : 부호화 대역 제어부 200111 : 부호화열

200112 : 전송 부호화열 합성기 200150 : 전송 부호화열 분해기

200151 : 부호화열 200152 : 해석 길이 부호화열

200153 : 복호화 대역 제어부 200154 : 복호화 스펙트럼

2003 : 부호화기 200305 : 부호화 대역 정보

200601 : 부호화 대역 산출부 200602 : 청각 심리 모델 계산부

200603 : 배치 결정부

200604 : 부호화 대역 배치 정보 생성 수단

200605 : 청각 가중치 200701 : 스펙트럼 쉬프트 수단

200702 : 부호화 대역 정보 200703 : 차분 계산 수단

200704 : 차분 스펙트럼 유지 수단 2004 : 복호화기

200901 : 역양자부 200902 : 역정규화부

2001001 : 합성 스펙트럼 2001002 : 쉬프트된 합성 스펙트럼

2001003 : 복호화 스펙트럼 산출부

2001101 : 원 스펙트럼 2001102 : 쉬프트된 스펙트럼

이러한 과제를 해결하기 위해서, 본 발명에 관한 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화·복호화 장치는, 고정 스케일러블 코딩 수단을 이용하지 않고서, 원 오디오 신호의 성질, 분포에 맞춰 부호화하는 주파수 범위를 변화시키는 적응 스케일러블 코딩을 실행하는 것으로 한 것이다.

본 발명의 청구항 1에 관한 오디오 신호 부호화 장치는, 주파수 변환된 오디오 신호를 수신하여, 상기 오디오 신호를 부호화해서 출력하는 오디오 신호 부호화 장치에 있어서, 상기 주파수 변환된 오디오 신호를 양자화하는 초단(初段)의 부호화기와, 이전단의 부호화기의 출력인 양자화 오차를 양자화하는 2단째 이후의 부호화기와, 상기 주파수 변환된 오디오 신호의 특징을 판정하여, 상기 복수의 각 단의 각 부호화기가 양자화하는 오디오 신호의 주파수 대역을 결정하는 특성 판정부와, 상기 특성 판정부에서 결정된 주파수 대역과, 상기 주파수 변환된 오디오 신호를 그 입력으로 하여, 상기 복수의 각 단의 각 부호화기의 접속 순서를 결정하고, 상기 각 부호화기의 양자화 대역 및 접속 순서를 부호열로 변환하는 부호화 대역 제어부를 구비한 것을 특징으로 하는 것이다. 이에 따라, 입력 오디오 신호의 특성에 따라서, 복수의 각 부호화기가 양자화하는 주파수 대역과, 각 부호화기의 접속 순서를 결정하여, 적응 스케일러블 코딩을 실행함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 2에 관한 오디오 신호 부호화 장치는, 청구항 1에 기재된 오디오 신호 부호화 장치에 있어서, 상기 복수의 각 단의 각 부호화기는,

상기 주파수 변환된 오디오 신호로부터, 이것을 정규화하기 위한 정규화 계수열을 계산하여, 상기 정규화 계수열을 벡터 양자화 방법을 이용해 양자화하고, 상기 주파수 변환된 오디오 신호를 정규화하여 이루어지는 정규화된 신호를 출력하는 정규화 처리부와,

상기 정규화 처리부에 의해 정규화된 신호를 양자화하는, 적어도 1단 이상의 벡터 양자화부를 구비한 것으로 한 것이다. 이에 따라, 각 부호화기가, 주파수 변환된 오디오 신호의 정규화를 실행한 후, 적어도 1단 이상의 벡터 양자화를 실행함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 3에 관한 오디오 신호 부호화 장치는, 청구항 1 또는 청구항 2에 기재된 오디오 신호 부호화 장치에 있어서, 상기 부호화 대역 제어부는, 상기 각 부호화기가 양자화하는 오디오 신호의 주파수 대역으로서, 양자화 오차의 에너지 가산합이 소정값보다 큰 대역을 선출하는 것으로 한 것이다. 이에 따라, 양자화 오차의 에너지 가산합이 큰 대역에 대하여, 선택적으로 양자화를 실행함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 4에 관한 오디오 신호 부호화 장치는, 청구항 1 또는 청구항 2에 기재된 오디오 신호 부호화 장치에 있어서, 상기 부호화 대역 제어부는, 상기 각 부호화기가 양자화하는 오디오 신호의 주파수 대역으로서, 인간의 청각 심리 특성을 고려하여 소정의 대역에 큰 가중치를 부여한 양자화 오차 에너지 가산합이 소정값보다 큰 대역을 선출하는 것으로 한 것이다. 이에 따라, 인간의 청각 심리 특성을 고려하여 소정의 대역에 큰 가중치를 부여한 양자화 오차 에너지 가산합이 큰 대역에 대하여, 선택적으로 양자화를 실행함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 5에 관한 오디오 신호 부호화 장치는, 청구항 1 또는 청구항 2에 기재된 오디오 신호 부호화 장치에 있어서, 상기 부호화 대역 제어부는, 적어도 1회는 입력된 오디오 신호의 전체 주파수 대역에 걸친 제어를 실행하는 것으로 한 것이다. 이에 따라, 적어도 1회는 입력 오디오 신호의 전체 주파수 대역에 걸쳐 양자화가 실행됨으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 6에 관한 오디오 신호 부호화 장치는, 상기 벡터 양자화부는 코드북을 이용하는 벡터 양자화 방법을 이용하여 벡터 양자화의 양자화 오차를 산출하고, 또한 그 벡터 양자화한 결과를 부호열에 출력하는 것으로 한 것이다. 이에 따라, 그 양자화에 있어서 코드북을 이용한 벡터 양자화 방법을 이용함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 7에 관한 오디오 신호 부호화 장치는, 청구항 6에 기재된 오디오 신호 부호화 장치에 있어서, 상기 벡터 양자화부는 벡터 양자화에 있어서의 최적 코드의 검색시에, 벡터의 부호의 전부, 또는 일부가 반전된 코드 벡터를 이용하는 것으로 한 것이다. 이에 따라, 반전한 코드 벡터를 이용함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 8에 관한 오디오 신호 부호화 장치는, 청구항 6에 기재된 오디오 신호 부호화 장치에 있어서, 상기 벡터 양자화부는, 벡터 양자화에 있어서의 최적 코드의 검색시에 이용하는 거리를 계산할 때에, 상기 정규화 처리부에 의해 산출된 입력 신호의 정규화 계수열을 가중치로 하여, 최소 거리를 부여하는 코드를 추출하는 것으로 한 것이다. 이에 따라, 벡터 양자화에 있어서의 최적 코드의 검색시에 있어서의 거리를 계산하는 데 있어서, 입력 신호의 정규화 계수열을 가중치로서 이용하여, 최소 거리를 부여하는 코드를 추출함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 9에 관한 오디오 신호 부호화 장치는, 청구항 6에 기재된 오디오 신호 부호화 장치에 있어서, 상기 벡터 양자화부는 벡터 양자화에 있어서의 최적 코드의 검색시에 이용하는 거리를 계산할 때에, 상기 정규화 처리부에 의해 산출된 정규화 계수열과, 인간의 청각 심리 특성을 고려한 값의 양자(兩者)를 가중치로 하여, 최소 거리를 부여하는 코드를 추출하는 것으로 한 것이다. 이에 따라, 벡터 양자화에 있어서의 최적 코드의 검색시에 있어서의 거리를 계산하는 데 있어서, 입력 신호의 정규화 계수열과, 인간의 청각 심리 특성을 고려한 값을 가중치로서 이용하여, 최소 거리를 부여하는 코드를 추출함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 10에 관한 오디오 신호 부호화 장치는, 청구항 1에 기재된 오디오 신호 부호화 장치로부터 출력되는 부호화 오디오 신호를 복호화하여, 오디오 신호를 출력하는 오디오 신호 복호화 장치에 있어서,

상기 오디오 신호 부호화 장치에 있어서의 상기 특성 판정부, 및 부호화 대역 제어부에 의해 결정된, 상기 복수의 각 단의 각 부호화기의 양자화 대역, 및 접속 순서에 근거하여, 입력되는 오디오 신호 부호화열로부터, 주파수 변환된 오디오 입력 신호의 계수열을 재생하는 1단, 혹은 복수단의 역양자화기로 이루어지는 역양자화 수단과,

상기 역양자화 수단의 출력인 주파수 변환된 오디오 입력 신호의 계수열을, 본래의 오디오 입력 신호에 상당하는 신호로 변환하는 역주파수 변환부를 구비한 것을 특징으로 하는 것이다. 이에 따라, 청구항 1의 부호화 장치로부터의 출력 부호화열을 복호화할 수 있는 복호화 장치를 얻을 수 있다.

본 발명의 청구항 11에 관한 오디오 신호 부호화 장치는, 청구항 10에 기재된 오디오 신호 복호화 장치에 있어서, 상기 1단의, 혹은, 복수단의 역양자화기로 이루어지는 역양자화 수단은, 청구항 2에 기재된 오디오 신호 부호화 장치의 각 대역의 부호화기로부터 출력되는 부호화열을 입력으로 하여, 입력되는 오디오 신호 부호화열로부터, 주파수 변환된 오디오 입력 신호의 계수열을 재생하는 것이고,

상기 역양자화 수단의 출력인 주파수 변환된 오디오 입력 신호의 계수열과, 상기 오디오 신호 부호화 장치의 각 대역의 부호화기로부터 출력되는 정규화 부호열을 입력으로 하여, 상기 주파수 변환된 오디오 입력 신호에 대응하는 신호를 얻는 역정규화부를 포함하며,

상기 역주파수 변환부는, 상기 역정규화부의 출력을, 본래의 오디오 입력 신호에 상당하는 신호로 변환하는 것인 것을 특징으로 하는 것이다. 이에 따라, 청구항 10의 부호화 장치로부터의 출력 부호화열을 복호화할 수 있는 복호화 장치를 얻을 수 있다.

본 발명의 청구항 12에 관한 오디오 신호 부호화 장치는, 청구항 10 또는 청구항 11에 기재된 오디오 신호 복호화 장치에 있어서, 상기 역양자화 수단은, 상기 오디오 신호 부호화 장치의 복수의 부호화기 중 몇개의 부호화기가 출력한 부호만을 이용하여, 역양자화를 실행하는 것을 특징으로 하는 것이다. 이에 따라, 복수의 부호화기의 양자화 대역 및 접속 순서를 오디오 신호의 특징에 따라 변화시켜 부호화한 경우에 있어서, 복호화측에서는 그들 부호화기의 일부의 것만의 출력을 이용하여, 고품질의 복호화를 실행하는 간편한 구성의 복호화 장치를 구성할 수 있다.

본 발명의 청구항 13에 관한 오디오 신호 부호화 장치는, 청구항 1에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 저역 통과 필터에 의해 가공한 신호에 따라서, 양자화하는 대역을 적절히 선출하는 것으로 한 것이다. 이에 따라, 저역 통과 필터의 특성에 따른, 저역을 청취하기 쉬운, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 14에 관한 오디오 신호 부호화 장치는, 청구항 3에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 대수 계산을 포함한 처리에 의해 가공한 신호에 따라서, 양자화하는 대역을 적절히 선출하는 것으로 한 것이다. 이에 따라, 대수 계산을 포함한 처리에 따른, 인간의 청각 특성에 맞는, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 15에 관한 오디오 신호 부호화 장치는, 청구항 3에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 고역 통과 필터에 의해 가공한 신호에 따라서, 양자화하는 대역을 적절히 선출하는 것으로 한 것이다. 이에 따라, 고역 통과 필터의 특성에 따른, 고역을 청취하기 쉬운, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 16에 관한 오디오 신호 부호화 장치는, 청구항 1에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 대역폭 통과 필터, 또는 대역 억제 필터에 의해 가공한 신호에 따라서 양자화하는 대역을 적절히 선출하는 것으로 한 것이다. 이에 따라, 대역폭 통과 필터, 또는 대역 억제 필터의 특성에 따른, 소정의 대역폭만을 청취하기 쉬운, 혹은 소정의 대역을 억제한, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 17에 관한 오디오 신호 부호화 장치는, 청구항 1에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 오디오 신호의 특징을 판정하여, 상기 판정 결과에 따라 상기 복수의 각 단의 각 부호화기가 양자화하는 대역을 적절히 선택하는 것으로 한 것이다. 이에 따라, 오디오 신호의 특징에 따라서, 각 부호화기가 양자화하는 대역을 적절히 선택하여, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 18에 관한 오디오 신호 부호화 장치는, 청구항 17에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 오디오 신호의 특징을 판정하여, 상기 판정 결과에 따라 상기 각 부호화기가 양자화하는 대역을 제한하는 것으로 한 것이다. 이에 따라, 오디오 신호의 특징에 따라서, 각 부호화기가 양자화하는 대역을 제한하여, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 19에 관한 오디오 신호 부호화 장치는, 청구항 18에 기재된 오디오 신호 부호화 장치에 있어서, 상기 각 부호화기가 양자화하는 대역을, 저역, 중역, 고역의 3개로 나누어, 상기 각 부호화기가 양자화하는 대역을 제한하는 경우에, 상기 입력 오디오 신호가 변화가 심한 특징을 갖는 것인 경우, 고역이 다른 대역보다 많이 선택되도록 상기 각 부호화기가 양자화하는 대역을 제한하는 것으로 한 것이다. 이에 따라, 입력 오디오 신호가 변화가 심한 특징을 갖는 경우, 고역이 많이 선택되도록 양자화하는 대역 제한을 실행함으로써, 변화가 심한 고역 부분을 청취하기 쉬운, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 20에 관한 오디오 신호 부호화 장치는, 청구항 18에 기재된 오디오 신호 부호화 장치에 있어서, 상기 각 부호화기가 양자화하는 대역을, 저역, 중역, 고역의 3개로 나누어, 상기 각 부호화기가 양자화하는 대역으로서 고역이 많이 선택된 경우, 그 시점으로부터 일정 시간 동안, 상기 각 부호화기가 양자화하는 대역이 고역에 많아지도록 제어하는 것으로 한 것이다. 이에 따라, 입력 오디오 신호의 특징에 따라 양자화 대역으로서, 고역을 선택한 경우, 그 후로부터 일정 시간 동안, 고역을 많이 양자화 대역으로서 선택함으로써, 고역을 청취하기 쉬운 상태가 순간적으로 이와는 상이한 상태로 변화하는 것을 막을 수 있다.

본 발명의 청구항 21에 관한 오디오 신호 부호화 장치는, 청구항 18에 기재된 오디오 신호 부호화 장치에 있어서, 상기 각 부호화기가 양자화하는 대역을, 저역, 중역, 고역의 3개로 나누어, 상기 원(原) 입력 오디오 신호의 특징을 판정하고, 상기 판정 결과에 따라서, 상기 각 양자화기가 양자화하는 대역을 고정시키도록 제어하는 것으로 한 것이다. 이에 따라, 입력 오디오 신호의 특징에 의해서는, 각 부호화기가 양자화하는 대역을 고정시켜, 고효율의 고정 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 22에 관한 오디오 신호 부호화 장치는, 청구항 1에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 상기 주파수 변환된 오디오 신호의 주파수 개형(槪形)과, 상기 정규화 처리부에 의해 계산된 정규화 계수열 중 어느 하나, 또는 양쪽의 값을, 상기 복수의 각 단의 각 부호화기의 양자화 대역 결정시의 가중치로서 이용하는 것으로 한 것이다. 이에 따라, 주파수 변환된 오디오 신호의 주파수 개형과 정규화 처리부에 의해 계산된 정규화 계수열 중의 한쪽, 또는 양쪽을 각 부호화기의 양자화 대역 결정시의 가중치로서 이용함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 23에 관한 오디오 신호 부호화 장치는, 청구항 1에 기재된 오디오 신호 부호화 장치에 있어서, 상기 복수의 각 단의 각 부호화기가 양자화하는 오디오 신호의 청각적 및 물리적인 특성을 판정하여, 상기 각 부호화기가 양자화하는 부호화 대역의 배치를 결정하는 특성 판정부와, 상기 특성 판정부에서 결정된 부호화 대역 배치 정보에 근거하여, 상기 복수의 각 단의 각 부호화기의 양자화 대역의 배치를 제어하는 부호화 대역 제어부를 갖고, 상기 복수의 각 단의 각 부호화기, 상기 특성 판정부 및 상기 부호화 대역 제어부의 동작을, 소정의 부호화 조건이 만족될 때까지, 반복하여 실행하는 것을 특징으로 하는 것이다. 이에 따라, 오디오 신호의 청각적, 물리적인 특성을 판정한 결과에 근거하여, 각 부호화기의 양자화 대역의 배치를결정하고, 해당 각 부호화기의 양자화 대역 배치의 조정, 제어를 부호화 조건이 만족될 때까지 실행함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 24에 관한 오디오 신호 부호화 장치는, 청구항 23에 기재된 오디오 신호 부호화 장치에 있어서, 상기 특성 판정부는, 소정의 부호화 조건을 입력으로 하여, 상기 복수의 각 단의 각 부호화기의 부호화 대역에 관한 부호화 대역 정보를 산출하는 부호화 대역 산출부와, 상기 부호화 대역 정보, 및 상기 주파수 영역의 오디오 신호 또는 차분 스펙트럼 중 어느 한쪽에 대하여 소정의 필터를 부가했을 때의 필터 출력을 입력으로 하여, 상기 부호화 대역 정보의 부호화 대역에 있어서의 청각적인 중요도를 나타내는 청각 가중치를 출력하는 청각 심리 모델 계산부와, 상기 청각 가중치, 및 해석 길이 판정부의 출력인 해석 길이를 입력으로 하여, 상기 부호화기의 배치를 결정해 상기 부호화기의 대역 번호를 출력하는 배치 결정부와, 상기 부호화 대역 정보, 및 대역 번호를 입력으로 하여, 소정의 부호화 조건에 따라서, 부호화 대역 배치 정보를 출력하는 부호화 대역 배치 정보 생성 수단을 갖는 것으로 한 것이다. 이에 따라, 인간의 청각적인 중요도를 나타내는 청각 가중치를 고려한 각 부호화기의 부호화 대역 배치를 결정함으로써, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 25에 관한 오디오 신호 부호화 장치는, 청구항 23에 기재된 오디오 신호 부호화 장치에 있어서, 상기 부호화 대역 제어부는, 상기 주파수 변환된 오디오 신호의 스펙트럼, 및 상기 부호화 대역 배치 정보를 그 입력으로 하여, 상기 입력된 오디오 신호의 스펙트럼을 지정된 대역으로 쉬프트하는 스펙트럼 쉬프트 수단과 상기 스펙트럼 쉬프트 수단의 출력에 대하여, 이것을 부호화해 부호화열을 출력하는 부호화기와, 상기 부호화열의 입력에 대하여, 이것을 복호화해 복호화 스펙트럼을 출력하는 복호화 대역 제어부와, 상기 입력된 오디오 신호의 스펙트럼과, 상기 복호화 스펙트럼과의 차분을 계산하는 차분 계산 수단과, 상기 부호화 대역 제어부의 다음 동작 주기까지, 상기 차분 계산 수단으로부터 출력된 차분 정보를 유지하는 차분 스펙트럼 유지 수단을 갖는 것으로 한 것이다. 이에 따라, 원 오디오 신호의 스펙트럼을 부호화 대역 배치 정보에 의해 지정되는 대역으로 쉬프트하여, 이것을 부호화하고, 또한 그것을 복호화하여 얻어지는 복호화 스펙트럼과 상기 원 오디오 신호의 스펙트럼과의 차분을 계산하여, 과거의 이 차분의 값에 따라서, 상기 원 오디오 신호의 스펙트럼의 쉬프트량을 결정함으로써, 부호화하는 대역을 여러 가지 쉬프트한 각 부호화의 차분에 따라서, 그 때의 양자화 오차가 적어지도록, 다음번의 각 부호화기의 접속 상태를 제어할 수 있어, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 26에 관한 오디오 신호 부호화 장치는, 청구항 25에 기재된 오디오 신호 부호화 장치에 있어서, 상기 복호화 대역 제어부는, 상기 부호화열의 입력에 대하여, 이것을 복호화해 합성 스펙트럼을 출력하는 복호화기와, 상기 부호화열 중의 부호화 대역 배치 정보에 따라서, 상기 합성 스펙트럼을 지정된 대역으로 쉬프트하는 스펙트럼 쉬프트 수단과, 상기 복호화 대역 제어부의 다음 동작 주기까지, 상기 복호화기로부터 출력되는 합성 스펙트럼을 유지하여, 과거의 합성 스펙트럼과 현재의 합성 스펙트럼을 가산하는 복호화 스펙트럼 산출부를 갖는 것으로 한 것이다. 이에 따라, 과거의 각 부호화기가 양자화해야 할 대역의 배치, 접속 상태에 따라 현재의 각 부호화기가 양자화해야 할 대역의 배치, 및 접속 상태를 제어할 수 있어, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 27에 관한 오디오 신호 복호화 장치는, 청구항 26에 기재된 오디오 신호 부호화 장치로부터 출력되는 부호화 오디오 신호를 복호화하여 오디오 신호를 출력하는 오디오 신호 복호화 장치에 있어서, 상기 오디오 신호 부호화 장치에 있어서의 상기 복호화 대역 제어부와 동일 구성으로 이루어지는 복호화 대역 제어부를 갖는 것으로 한 것이다. 이에 따라, 과거의 각 부호화기가 양자화해야 할 대역의 배치, 접속 상태에 따라 현재의 각 부호화기가 양자화해야 할 대역의 배치, 및 접속 상태를 제어할 수 있어, 고품질, 고효율의 적응 스케일러블 코딩을 실행한 코딩 출력을 복호화할 수 있는 오디오 신호 복호화 장치를 얻을 수 있다.

본 발명의 청구항 28에 관한 오디오 신호 부호화·복호화 장치는, 청구항 26에 기재된 오디오 신호 부호화 장치와, 상기 오디오 신호 부호화 장치로부터 출력되는 부호화 오디오 신호를 복호화하여 오디오 신호를 출력하는 오디오 신호 복호화 장치로 이루어지고, 상기 오디오 신호 복호화 장치는, 상기 오디오 신호 부호화 장치에 있어서의 상기 복호화 대역 제어부와 동일 구성으로 이루어지는 복호화 대역 제어부를 갖는 것으로 한 것이다. 이에 따라, 과거의 각 부호화기가 양자화해야 할 대역의 배치, 접속 상태에 따라 현재의 각 부호화기가 양자화해야 할 대역의 배치, 및 접속 상태를 제어할 수 있어, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있는 오디오 신호 부호화 장치 및 그 부호화 출력을 복호화할 수 있는 오디오 신호 복호화 장치로 이루어지는, 오디오 신호 부호화·복호화 장치를 얻을 수 있다.

청구항 29에 기재된 오디오 신호 부호화 장치는, 청구항 27에 기재된 오디오 신호 복호화 장치에 있어서, 상기 오디오 신호 부호화 장치에 있어서의 상기 스펙트럼 쉬프트 수단은, 상기 오디오 신호의 스펙트럼과, 상기 부호화 대역 배치 정보를 그 입력으로 하여, 상기 부호화 대역 정보와 쉬프트한 스펙트럼을 출력하는 것으로 한 것이다. 이에 따라, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 30에 관한 오디오 신호 부호화 장치는, 청구항 24에 기재된 오디오 신호 부호화 장치에 있어서, 상기 배치 결정부는, 상기 입력 오디오 신호가 변화가 심한 특징을 갖는, 상기 해석 길이가 "소(小)"인 것인 경우, 상기 복수의 각 단의 각 부호화기의 부호화 대역의 배치를, 고역이 타(他) 대역보다 많이 선택된 것으로 하는 것으로 한 것이다. 이에 따라, 입력 오디오 신호가 변화가 심한 특징을 갖는 경우, 변화가 심한 고역 부분을 청취하기 쉬운, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 31에 관한 오디오 신호 부호화 장치는, 청구항 24에 기재된 오디오 신호 부호화 장치에 있어서, 상기 배치 결정부는, 상기 입력 오디오 신호가 변화가 심한 특징을 갖는, 상기 해석 길이가 "소"인 것인 경우, 그 시점으로부터 일정 시간 동안, 상기 각 부호화기의 부호화 대역의 배치를, 고역이 타 대역보다 많이 선택된 것으로 하는 것이다. 이에 따라, 입력 오디오 신호가 변화가 심한 특징을 갖는 것인 경우, 그 후로부터 일정 시간 동안, 고역을 청취하기 쉬운 상태로부터, 순간적으로 고역을 청취하기 어려운 상태로 변화하는 것을 막을 수 있어, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 32에 관한 오디오 신호 부호화 장치는, 청구항 24에 기재된 오디오 신호 부호화 장치에 있어서, 상기 부호화 대역 산출부는, 그 출력인 부호화 대역 정보와, 상기 입력으로 되는 부호화 조건 중의, 비트레이트, 혹은 입력 오디오 신호의 샘플링 주파수와의 사이에, 다항식 함수, 또는 대수 함수, 혹은 이들의 조합을 이용한 함수 관계를 갖는 것으로 한 것이다. 이에 따라, 상기 부호화 조건에 따른, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 33에 관한 오디오 신호 부호화 장치는, 청구항 32에 기재된 오디오 신호 부호화 장치에 있어서, 상기 부호화 조건 중, 상기 부호화기의 총수가 3 이상일 때의, 주파수가 높아지는 순서로 3번째의 부호화기는, 그 부호화 대역의 상한이 원 오디오 신호의 주파수 대역의 1/2인 것으로 한 것이다. 이에 따라, 적어도 3개의 부호화기를 갖는 것에 의해, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 34에 관한 오디오 신호 부호화 장치는, 청구항 32에 기재된 오디오 신호 부호화 장치에 있어서, 상기 부호화 대역 산출부는, 상기 함수 관계를 형성하는 함수를, 바크(Bark) 스케일, 멜(Mel) 계수 등의, 인간의 청각 특성을 고려한 가중치 부여를 갖는 것으로 한 것이다. 이에 따라, 인간의 청각 특성을 고려한, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 35에 관한 오디오 신호 부호화 장치는, 청구항 24에 기재된 오디오 신호 부호화 장치에 있어서, 상기 배치 결정부는, 상기 복수의 각 단의 각 부호화기가 부호화하는 대역의 배치를 결정하는 것이며,

상기 각 부호화기의 배치 패턴을, 미리 복수개 준비해 두고, 부호화 효율을 높일 수 있도록, 그것들을 전환하는 것으로 한 것이다. 이에 따라, 간단한 구성으로, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 36에 관한 오디오 신호 부호화 장치는, 청구항 24에 기재된 오디오 신호 부호화 장치에 있어서, 상기 배치 결정부는, 상기 입력 오디오 신호가 변화가 심하지 않고, 정상인 특징을 갖는, 상기 해석 길이가 "대(大)"인 것인 경우, 상기 복수의 각 단의 각 부호화기가 부호화하는 대역의 최대값으로서, 작은 값을 갖는 것으로 한 것이다. 이에 따라, 입력 오디오 신호가 변화가 심하지 않은 정상적인 특징을 갖는 경우, 변화가 심하지 않은 저역의 오디오 신호를 청취하기 쉬운, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 37에 관한 오디오 신호 부호화 장치는, 청구항 24에 기재된 오디오 신호 부호화 장치에 있어서, 상기 각 단의 부호화의 전단에 접속되는 필터는, 저역 통과 필터, 고역 통과 필터, 대역 통과 필터, 혹은, 대역 억제 필터(Band Rejection Filter) 중 어느 하나, 혹은 2개 이상의 조합인 것으로 한 것이다. 이에 따라, 대응하는 대역을 고려한, 고품질, 고효율의 적응 스케일러블 코딩을 실행할 수 있다.

본 발명의 청구항 38에 관한 오디오 신호 부호화 장치는, 청구항 27에 기재된 오디오 신호 복호화 장치에 있어서, 상기 역양자화 수단은, 상기 오디오 신호 부호화 장치가 출력한 부호의 일부만을 이용하여, 역양자화를 실행하는 것으로 한 것이다. 이에 따라, 고품질, 고효율의 적응 스케일러블 코딩을 실행하는 오디오 신호 부호화 장치로부터의 부호화 출력을 복호화할 수 있는 오디오 신호 복호화 장치를 얻을 수 있다.

본 발명의 상기 및 그 밖의 목적, 특징, 국면 및 이익 등은 첨부 도면을 참조로 하여 설명하는 이하의 상세한 실시예로부터 더욱 명백해질 것이다.

발명의 실시예

이하, 본 발명의 실시예 1에 대하여, 도 1 내지 도 9를 이용하고, 또한, 실시예 2에 대하여, 도 14 내지 도 20을 이용하여 설명한다.

(실시예 1)

도 1은, 본 발명의 실시예 1에 의한, 적응 스케일러블 코딩을 실행하는 오디오 신호 부호화 장치의 블럭도를 나타낸다.

도 1에 있어서, (1001)은 원(原) 오디오 신호(501)를 부호화하는 부호화 장치이다. 해당 부호화 장치(1001)에 있어서, (502)는 상기 원 오디오 신호(501)를 해석할 때의 해석 길이(504)를 판정하는 해석 길이 판정부, (503)은 상기 해석 길이(504)의 단위로, 원 오디오 신호(501)의 시간축을 주파수축으로 변환하는 시간 주파수 변환부, (504)는 상기 해석 길이 판정부(502)에서 판정된 해석 길이, (505)는 원 오디오 신호의 스펙트럼, (701)은 해당 원 오디오 신호의 스펙트럼(505)이 입력되는 필터, (506)은 원 오디오 신호의 스펙트럼(505)의 특성을 판정하여, 상기 부호화 장치(1001)에 있어서의 복수의 각 단의 각 부호화기(511, 512, 513, 511b) 등이 양자화하는 오디오 신호의 주파수 대역을 결정하는 특성 판정부, (507)은 해당 특성 판정부(506)에서 결정된 각 부호화기의 주파수 대역과, 상기 주파수 변환된 오디오 신호를 그 입력으로 하여, 복수의 각 단의 각 부호화기(511, 512, 513, 511b) 등의 접속 순서를 결정하며, 각 부호화기의 양자화 대역 및 접속 순서를 부호열로 변환하는 부호화 대역 제어부, (508)은 해당 부호화 대역 제어부(507)로부터 출력되는 상기 부호열의 대역 제어 부호열, (510)은 상기 해석 길이 판정부(502)로부터 출력된 상기 해석 길이(504)를 부호열로 한 해석 길이 부호열, (511, 512, 513)은 상술한, 각각의 저역, 중역, 고역의 신호를 부호화하는 저역 부호화기, 중역 부호화기, 고역 부호화기, (511b)는 제 1 단의 저역 부호화기(511)의 양자화 오차(518)를 부호화하는 제 2 단 저역 부호화기, (521, 522, 523)은 해당 각 부호화기(511, 512, 513)로부터 출력되는 부호화 신호의 저역 부호열, 중역 부호열, 고역 부호열, (521b)는 제 2 단 저역 부호화기(511b)의 부호화 출력인 제 2 단 저역 부호열, (518, 519, 520)은 해당 각 부호화기(511, 512, 513)로부터 출력되는, 부호화되기 전의 신호와 상기 각 부호화 신호와의 차인 양자화 오차, (518b)는 제 2 단 저역 부호화기(511b)의 양자화 오차인 제 2 단 양자화 오차이다.

한편, (1002)는 상기 부호화 장치(1001)에서 부호화된 부호화열을 복호화하는 복호화 장치이다. 해당 복호화 장치(1002)에 있어서, (5)는 상기 부호화 장치(1001)에 있어서의 시간 주파수 변환부(503)와 역의 변환을 실행하는 주파수 시간 변환부, (6)은 시간축상에서 윈도우 함수를 승산하는 윈도우 설정을 실행하는 윈도우 설정부, (7)은 프레임 중첩부, (8)은 복호 신호, (9)는 대역 합성부, (1201)은 복호화 대역 제어부, (1202, 1203, 1204)는 각각 상기 저역 부호화기, 중역 부호화기, 고역 부호화기(511, 512, 513)에 대응하여, 복호화를 실행하는 저역 복호화기, 중역 복호화기, 고역 복호화기, (1202b)는 제 1 단 저역 복호화기(1202)의 출력을 복호화하는 제 2 단 저역 복호화기이다.

여기서, 제 2 단 이후의 부호화기, 복호화기는 또한 다른 대역에도, 또한, 다단에도 마련하더라도 좋은 것이며, 이것이 다단으로 될수록, 필요에 따라서, 부호화, 복호화의 정밀도를 향상시킬 수 있는 것이다.

이하, 우선, 부호화 장치(1001)의 동작에 대하여 설명한다.

부호화하고자 하는 원 오디오 신호(501)는, 시간적으로 연속하는 디지털 신호 계열이라고 한다. 예를 들면, 음성 신호를 샘플링 주파수 48kHz에서 16 비트로 양자화한 디지털 신호라고 한다.

상기 원 오디오 신호(501)를 해석 길이 판정부(502)에 입력한다. 상기 해석 길이 판정부(502)는, 입력된 상기 원 오디오 신호(501)의 특성을 판단하여, 해석 길이(504)를 결정하며, 그 결과는 해석 길이 부호열(510)로서, 복호화 장치(1002)에 보내어진다. 해석 길이(504)로서는, 예를 들면 256, 1024, 4096 등이 이용된다. 예를 들어, 원 오디오 신호(501)에 포함되는 고역주파수 성분이 소정의 값을 초과하는 경우에는, 해석 길이(504)를 256으로 하고, 저역주파수 성분이 소정의 값을 초과하며, 또한 고역주파수 성분이 소정의 값보다 작은 경우에는, 해석 길이(504)를 4096으로 하고, 그 이외의 경우에는, 해석 길이(504)를 1024로 한다.

이렇게 해서 결정된 해석 길이(504)에 따라서, 시간 주파수 변환부(503)에 의해 원 오디오 신호(501)의 스펙트럼(505)을 산출한다.

도 2에, 본 발명의 실시예 1에 의한 오디오 신호 부호화 장치에 있어서의, 시간 주파수 변환부(503)의 블럭도를 나타낸다.

상기 원 오디오 신호(501)는, 그 샘플값이 소정의 샘플수에 도달할 때까지 프레임 분할부(201)에서 축적되고, 해당 축적된 샘플수가 상기 해석 길이 판정부(502)에서 결정된 해석 길이(504)에 도달하면, 출력을 실행한다. 또한, 프레임 분할부(201)는, 임의의 쉬프트 길이마다 출력을 실행하는 구성의 것으로, 예를 들어, 해석 길이(504)를 4096 샘플로 한 경우에 있어서, 해석 길이(504)의 절반의 쉬프트 길이를 설정하면, 해석 길이(504)가 2048 샘플에 도달하는 것에 상당하는 시간마다, 최신의 4096 샘플을 출력하는 등의 구성을 갖는다. 당연하면서, 해석 길이(504)나, 샘플링 주파수가 변하더라도, 마찬가지로, 쉬프트 길이를 해석 길이(504)의 절반으로 설정한 구성을 갖는 것은 가능하다.

그리고, 이 프레임 분할부(201)로부터의 출력은, 후단의 윈도우 설정부(202)로 입력된다. 윈도우 설정부(202)에서는, 프레임 분할부(201)로부터의 출력에 대하여, 시간축상에서 윈도우 함수를 곱하여, 윈도우 설정부(202)의 출력으로 한다. 이 상태는, 예를 들면, 수학식 1로 나타내어진다.

단, 여기서, x_i는 프레임 분할부(201)로부터의 출력이고, h_i는 윈도우 함수, hxi는 윈도우 설정부(202)로부터의 출력이다. 아직, i는 시간의 접미부(suffix)이다. 또, 수학식 1로 나타낸 윈도우 함수 h_i는 일례이며, 윈도우 함수는 반드시, 수학식 1의 것일 필요는 없다.

윈도우 함수의 선택은, 윈도우 설정부(202)에 입력되는 신호의 특징과, 프레임 분할부(201)의 해석 길이(504)와, 시간적으로 전후에 위치하는 프레임에 있어서의 윈도우 함수의 형상에 의존한다. 예를 들어, 윈도우 설정부(202)에 입력되는 신호의 특징으로서, 프레임 분할부(201)의 해석 길이(504)를 N으로 한 경우, N/4마다 입력되는 신호의 평균 전원을 산출하고, 그 평균 전원이 대단히 크게 변동하는 경우에는, 해석 길이(504)를 N 보다도 짧게 하여 수학식 1에 나타낸 연산을 실행하는 등의 선택을 실행한다. 또한, 이전(前) 시각의 프레임의 윈도우 함수의 형상과, 차후(後) 프레임의 윈도우 함수의 형상에 따라서, 현재 시각의 프레임의 윈도우 함수의 형상에 왜곡이 없도록, 적절히 선택하는 것이 바람직하다.

이어서, 윈도우 설정부(202)로부터의 출력은, MDCT부(203)에 입력되고, 여기서 변형 이산 코사인 변환이 실시되어, MDCT 계수가 출력된다. 변형 이산 코사인 변환의 일반식은, 수학식 2로 나타내어진다.

이와 같이 MDCT부(203)의 출력인 MDCT 계수는, 수학식 2 중의, y_k로 나타낸다라고 하면, MDCT부(203)의 출력은 주파수 특성을 나타내고, y_k의 변수 k가 0에 가까울수록 낮은 주파수 성분에, 0으로부터 증대하여 N/2-1에 가까울수록 높은 주파수 성분에, 선형에 대응한다. 이렇게 해서 산출된 상기 MDCT 계수가, 원 오디오 신호의 스펙트럼(505)으로 된다.

다음에, 상기 원 오디오 신호의 스펙트럼(505)을 필터(701)로 입력한다. 해당 필터(701)의 입력을, x₇₀₁(i), 출력을 y₇₀₁(i)로 하면, 예를 들면, 수학식 3으로 나타내어지는 필터를 이용한다.

여기서, fs는 해석 길이(504)이다.

수학식 3으로 나타내어지는 필터(701)는, 일종의 이동 평균 필터이지만, 당연하면서, 이동 평균 필터에 한정할 필요는 없고, 다른, 예를 들어 고역 통과 필터이더라도 좋고, 대역 억제 필터이더라도 좋다.

필터(701)의 출력과, 해석 길이 판정부(502)에서 산출한 해석 길이(504)를, 특성 판정부(506)에 입력한다. 도 6에, 특성 판정부(506)의 상세를 나타낸다. 특성 판정부(506)에서는, 원 오디오 신호(501) 및 원 오디오 신호의 스펙트럼(505)의 청각적, 물리적인 특성을 결정한다. 원 오디오 신호(501) 및 해당 스펙트럼(505)의 청각적, 물리적 특성이란, 예를 들면, 음성이나, 음악의 차이이다. 음성의 경우, 예를 들면 6kHz보다 저역에, 대부분의 주파수 성분이 있는 것이다.

다음에, 특성 판정부(506)의 동작을, 도 6을 이용하여 설명한다.

특성 판정부(506)에 입력된 원 오디오 신호의 스펙트럼(505)을 필터(701)에 의해 필터링한 신호를, x₅₀₆(i)로 하면, 이 x₅₀₆(i)를 기초로 스펙트럼 파워 p₅₀₆(i)를 수학식 4에 의해, 스펙트럼 파워 계산부(803)에서 계산한다.

이 스펙트럼 파워 p₅₀₆(i)를, 부호화 대역 제어부(507)의 입력의 하나로 하여, 각 부호화기의 대역 제어 가중치(517)로 한다.

또한, 해석 길이(504)가 작은 경우, 예를 들어 256로 될 때, 각 부호화기를 고정적으로 배치하도록, 배치 결정부(804)에서 결정하여 부호화 대역 제어부(507)에서 부호화 대역 배치 정보(516)를 고정 배치로 하여 보낸다.

해석 길이(504)가 작은 경우 이외의 경우, 예를 들어 4096이나 1024일 때에는, 각 부호화기를 동적으로 배치하도록, 배치 결정부(804)에서 결정하여, 부호화 대역 제어부(507)에서 부호화 대역 배치 정보(516)를 동적 배치로 하여 보낸다.

다음에, 부호화 대역 제어부(507)의 동작을, 도 7을 이용하여 설명한다.

부호화 대역 제어부(507)에는, 상기 특성 판정부(506)로부터의 출력인 대역 제어 가중치(517)와, 부호화 대역 배치 정보(516) 및 원 오디오 신호의 스펙트럼(505)을 필터(701)에서 필터링한 신호와, 각 부호화기의 출력한 양자화 오차(518 또는 519 또는 520)가 입력된다. 단, 이들의 입력이 있는 경우에는, 각 부호화기(511, 512, 513, 511b)와, 부호화 대역 제어부(507)가, 재귀적(再歸的)으로 동작하기 때문에, 첫회의 부호화 대역 제어부(507)의 동작에 있어서는, 양자화 오차가 없기 때문에, 양자화 오차를 제외한 3개의 입력으로 된다.

상기한 바와 같이, 해석 길이(504)가 작고, 부호화 대역 배치 정보(516)가 고정 배치로 되는 경우에는, 사전 정의된 대역의 고정 배치에 따라서 부호화를, 저역으로부터 중역, 고역으로 순서대로 실행하도록, 양자화 순서 결정부(902) 및 부호화기수 결정부(903), 대역폭 산출부(901)에 의해 부호화기의 양자화 대역, 개수, 접속 순서를 결정하여 부호화를 실행한다. 즉, 그 때의 대역 제어 부호열(508)에는, 부호화기의 대역 정보, 부호화기수 및 그 접속 순서가 정보로서 부호화된다.

예를 들어, 각 부호화기의 부호화 대역 및 부호화기수를, 각각 0Hz∼4kHz에 1개, 0Hz∼8kHz에 1개, 4kHz∼12kHz에 1개, 8kHz∼16kHz에 2개, 16kHz ∼24kHz에 3개로 되도록 부호화기를 배치하여 부호화를 실행한다.

다음에, 부호화 대역 배치 정보(516)가 동적 배치로 되어 있는 경우의, 부호화 대역 제어부(507)의 동작에 대하여 설명한다.

부호화 대역 제어부(507)는, 각 부호화기의 양자화 대역폭을 결정하는 대역폭 산출부(901), 각 부호화기의 양자화 순서를 결정하는 양자화 순서 결정부(902), 또한 각 대역의 부호화기의 수를 결정하는 부호화기수 결정부(903)의 3개로 이루어진다. 부호화 대역 제어부(507)에 입력된 신호를 바탕으로, 각 부호화기의 대역폭을 결정하는 이유이지만, 소정의 대역, 예를 들어, 0Hz∼4kHz, 0kHz∼8kHz, 4kHz∼12kHz, 8kHz∼16kHz, 16kHz∼24kHz의 각 대역에 있어서, 대역 제어 가중치(517), 및 각 부호화기가 부호화한 후의 양자화 오차를 승산한 것의 평균값을 산출한다. 여기서, 대역 제어 가중치(517)를, weight₅₁₇(i), 양자화 오차를, err₅₀₇(i)로 하면, 수학식 5에 의해, 평균값을 산출한다.

여기서, j는 각 대역의 인덱스, Ave₉₀₁(j)는 대역 j에 있어서의 평균값, f_upper(j) 및 f_lower(j)는 대역 j의 상한 주파수 및 하한 주파수이다. 이렇게 해서 얻어진 평균값 Ave₉₀₁(j)가 최대로 되는 j를 검색하여, 그것이, 부호화기가 부호화하는 대역으로 된다. 또한, 검색된 j의 값을 부호화기수 결정부(903)로 보내어, j에 대응하는 대역의 부호화기수를 하나 늘리도록 하고, 소정의 부호화 대역에 몇개의 부호화기가 존재하고 있는가를 기억해 놓고, 기억하고 있는 부호화기수의 합계가, 사전 결정해 놓은 부호화기의 총수로 될 때까지 부호화를 반복한다. 마지막으로, 부호화기의 대역 및 부호화기수를 대역 제어 부호열(508)로서 복호화기로 전송한다.

다음에, 부호화기(3)의 동작에 대하여, 도 3을 이용하여 설명한다.

부호화기(3)는 정규화부(301)와 양자화부(302)로 이루어진다.

정규화부(301)에서는, 프레임 분할부(201)로부터의 출력인 시간축의 신호와, MDCT부(203)로부터의 출력인 MDCT 계수 양자 모두를 입력으로 하고, 몇개의 파라미터를 이용하여 MDCT 계수를 정규화한다. 여기서, MDCT 계수의 정규화란, 저역 성분과 고역 성분에서 크기에 큰 차이가 있는 MDCT 계수의 크기의 격차를 억압하는 것을 의미하고, 예를 들어, 저역 성분이 고역 성분에 대하여 대단히 큰 경우 등은, 저역 성분으로서는 큰 값, 고역 성분으로서는 작은 값으로 되는 파라미터를 선출하여, 이것으로 상기 MDCT 계수를 제산함으로써, MDCT 계수의 크기의 격차를 억압하는 것을 가리킨다. 또한 정규화부(301)에서는, 정규화에 이용한 파라미터를 표현하는 인덱스를, 정규화 부호열(303)에서 부호화한다.

양자화부(302)에서는, 정규화부(301)에서 정규화된 MDCT 계수를 입력으로 하여, MDCT 계수의 양자화를 실행한다. 이 때, 해당 양자화부(302)는, 해당 양자화한 값과, 코드북중에 있는 복수의 코드 인덱스에 대응하는 각 양자화 출력과의 사이의 차가 가장 작아지는, 그와 같은 해당 코드 인덱스를 출력한다. 이 경우, 상기 양자화부(302)에서 양자화한 값과, 해당 양자화부(302)로부터 출력되는 코드 인덱스에 대응하는 값과의 차가 양자화 오차이다.

다음에, 도 4를 이용하여, 상기 정규화부(301)의 상세한 일례를 설명한다.

도 4에 있어서, (401)은 프레임 분할부(201)와 MDCT부(203)의 출력을 받는 주파수 개형 정규화부, (402)는 상기 주파수 개형 정규화부(401)의 출력을 받아, 대역 테이블(403)을 참조하여, 정규화를 실행하는 대역 진폭 정규화부이다.

다음에, 동작에 대하여 설명한다.

주파수 개형 정규화부(401)에서는, 프레임 분할부(201)로부터의 시간축상의 데이터 출력을 이용하여, 대범한 주파수의 개형인 주파수 개형을 산출하여, MDCT부(203)로부터의 출력인 MDCT 계수를 제산한다. 주파수 개형을 표현하는 데 이용한 파라미터는, 정규화 부호열(303)로서 부호화된다. 대역 진폭 정규화부(402)에서는, 주파수 개형 정규화부(401)로부터의 출력 신호를 입력으로 하여, 대역 테이블(403)에서 나타내어진 대역마다 정규화를 실행한다. 예를 들면, 주파수 개형 정규화부(401)의 출력인 MDCT 계수가, dct(i)(i=0∼2047)로 하고, 대역 테이블(403)이, 예를 들어, 표 1에 나타내어지는 바와 같다라고 하면, 수학식 6 등을 이용하여, 각 대역마다 진폭의 평균값을 산출한다.

여기서, bjlow, bjhigh는, 대역 테이블(403)에 나타내어진 j 번째의 대역에 있어서의 dct(i)가 속하는 가장 저역의 인덱스 i와, 가장 고역의 인덱스 i를 각각 나타내고 있다. 또한, p는 거리 계산에 있어서의 기준이고, 2 등이 바람직하다. avej는, 각 대역 번호 j에 있어서의 진폭의 평균값이다. 대역 진폭 정규화부(402)에서는, avej를 양자화하여, gavej를 산출하여, 예를 들면, 수학식 7을 이용하여 정규화한다.

avej의 양자화는, 스칼라의 양자화를 이용하더라도 좋고, 코드북을 이용하여 벡터 양자화를 실행하더라도 좋다. 대역 진폭 정규화부(402)에서는, gavej를 표현하는 데 이용한 파라미터의 인덱스를, 정규화 부호열(303)로서 부호화한다.

또, 부호화기에 있어서의 정규화부(301)의 구성은, 도 4의 주파수 개형 정규화부(401)와, 대역 진폭 정규화부(402) 양자 모두를 이용한 구성의 것을 나타내었지만, 주파수 개형 정규화부(401)만을 이용한 구성이라도 좋고, 대역 진폭 정규화부(402)만을 이용한 구성이라도 좋다. 또한, MDCT부(203)로부터 출력되는 MDCT 계수의 저역 성분과, 고역 성분에 큰 격차가 없는 경우에는, 상기 양자를 이용하지 않는 구성으로, MDCT부(203)의 출력 신호를 그대로 양자화부(302)에 입력하는 구성으로 하여도 좋다.

다음에, 도 5를 이용하여 도 4의 주파수 개형 정규화부(401)의 상세에 대하여 설명한다.

도 5에 있어서, (601)은 프레임 분할부(201)의 출력을 받는 선형 예측 분석부, (602)는 선형 예측 분석부(601)의 출력을 받는 개형 양자화부, (603)은 MDCT부(203)의 출력을 받는 포락(包絡) 특성 정규화부이다.

다음에, 상기 주파수 개형 정규화부(401)의 동작에 대하여 도 5를 참조하여 설명한다.

상기 선형 예측 분석부(601)에서는, 프레임 분할부(201)로부터의 시간축상의 오디오 신호를 입력으로 하여, 선형 예측 분석(Linear Predictive Coding)을 실행한다. 선형 예측 분석의 선형 예측 계수(LPC 계수)는, 허밍 윈도우 등의 윈도우 설정된 신호의 자기 상관 함수를 산출하고, 정규 방정식 등을 풀음으로써 일반적으로 산출 가능하다. 산출된 선형 예측 계수는 선 스펙트럼쌍 계수(LSP(Line Spectrum Pair) 계수)등으로 변환되어 개형 양자화부(602)에서 양자화된다. 여기서의 양자화 방법으로서는 벡터 양자화를 이용하더라도 좋고, 스칼라 양자화를 이용하더라도 좋다. 그리고, 개형 양자화부(602)에서 양자화된 파라미터가 표현하는 주파수 전달 특성을 포락 특성 정규화부(603)에서 산출하고, MDCT부(203)로부터의 출력인 MDCT 계수를 이것으로 제산함으로써 정규화한다. 구체적인 산출예로서는 개형 양자화부(602)에서 양자화된 파라미터와 등가인 선형 예측 계수를 qlpc(i)라고 하면, 포락 특성 정규화부(603)에서 산출되는 상기 주파수 전달 특성은, 예를 들면, 수학식 8로 나타낼 수 있다.

여기서, ORDER는 10∼40 정도가 바람직하다. fft()는 고속 퓨리에 변환을 의미한다. 산출된 주파수 전달 특성 env(i)를 이용하여, 포락 특성 정규화부(603)에서는, 예를 들면, 하기에 나타내는 수학식 9를 이용하여, 정규화를 실행한다.

여기서, mdct(i)는 MDCT부(203)로부터의 출력 신호이고, fdct(i)는 정규화된 포락 특성 정규화부(603)로부터의 출력 신호이다.

다음에 도 8을 이용하여 상기 부호화 장치(1)에 있어서의 양자화부(302)의 양자화 방법의 상세한 동작에 대하여 설명한다.

양자화부(302)에 입력되는 MDCT 계수(1001)는, 그 MDCT 계수(1001)로부터 얼마를 뽑아 내어, 음원 서브벡터(1003)를 구성한다. 마찬가지로, 정규화부(301)에서 정규화부(301)의 입력인 MDCT 계수를 정규화부(301)의 출력인 MDCT 계수로 나눈 계수열을, 정규화 성분(1002)으로 할 때, 이 정규화 성분(1002)에 대해서도, MDCT 계수(1001)로부터 음원 서브벡터(1003)를 뽑아 낸 것과 같은 규칙으로, 해당 정규화 성분(1002)으로부터 서브벡터를 추출하여, 가중치 서브벡터(1004)를 구성할 수 있다. 음원 서브벡터(1003) 및 가중치 서브벡터(1004)를 MDCT 계수(1001) 및 정규화 성분(1002)으로부터 각각 추출하는 규칙은, 예를 들면, 수학식 10으로 나타내는 방법 등이 있다.

여기서, i 번째의 음원 서브벡터의 j 번째의 요소는 subvector_i(j)이고, MDCT 계수(1001)는 vector()이며, MDCT 계수(1001)의 총 요소수가 TOTAL이고, 음원 서브벡터(1003)의 요소수가 CR, VTOTAL은 TOTAL과 동일한 값이거나 보다 큰 값으로, VTOTAL/CR이 정수값으로 되도록 설정한다. 예를 들면, TOTAL이 2048일 때, CR이 19이고, VTOTAL이 2052, CR이 23이며, VTOTAL이 2070, CR이 21이고, VTOTAL이 2079 등이다. 가중치 서브벡터(1004)도, 수학식 10의 순서로 추출 가능하다. 벡터 양자화기(1005)에서는, 코드북(1009)중의 코드 벡터중으로부터, 음원 서브벡터(1003)와의 거리가, 가중치 서브벡터(1004)로 가중하여 가장 작아지는 것을 찾아서, 그 최소의 거리를 부여한 코드 벡터의 인덱스와, 최소의 거리를 부여한 코드 벡터와 입력 음원 서브벡터(1003)와의 양자화 오차에 상당하는 잔차 서브벡터(1010)를 출력한다.

실제의 계산 순서예에 있어서는, 벡터 양자화기(1005)가, 거리 계산 수단(1006), 코드 결정 수단(1007), 잔차 생성 수단(1008)의 3개의 구성 요소로 이루어지는 것으로서 설명한다.

거리 계산 수단(1006)에서는, 예를 들어, 수학식 11을 이용하여, i 번째의 음원 서브벡터(1003)와, 코드북(1009)의 k 번째의 코드 벡터와의 거리를 산출한다.

여기서, w_j는 가중치 서브벡터의 j 번째의 요소, C_k(j)는 k 번째의 코드 벡터의 j 번째의 요소, R, S는 거리 계산의 기준이고, R, S의 값으로서는, 1, 1.5, 2 등이 바람직하다. 또, 이 기준 R과 S는 동일한 값일 필요는 없다. dik는 i 번째의 음원 서브벡터에 대한 k 번째의 코드 벡터의 거리를 의미한다. 코드 결정 수단(1007)에서는 수학식 11 등으로 산출된 거리중에서 최소로 되는 코드 벡터를 선출하여 그 인덱스를 부호열(304)로서 부호화한다. 예를 들어, 복수의 상기 dik가 있는 중, diu가 최소값인 경우, i 번째의 서브벡터에 대한 부호화되는 인덱스는, u로 된다. 잔차 생성 수단(1008)에서는, 코드 결정 수단(1007)에 의해 선출된 코드 벡터를 이용하여, 수학식 12에 의해 잔차 서브벡터(1010)를 생성한다.

여기서, i 번째의 잔차 서브벡터(1010)의 j 번째의 요소는 res_i(j)이고, 코드 결정 수단(1007)에 의해 선출된 코드 벡터의 j 번째의 요소를 C_u(j)로 한다. 상기 잔차 서브벡터(1010)를 이용하여 수학식 10의 역과정의 연산을 실행하여 벡터를 구하고, 해당 벡터와, 해당 부호화기의 원래의 부호화 대상이던 벡터와의 차를, 그 이후의 각 부호화기의 양자화 대상으로 되는 MDCT 계수로서 유지한다. 단, 소정의 대역의 부호화가, 그 이후의 부호화기에 영향을 부여하지 않은 대역에 대하여 부호화를 실행하고 있는 경우, 즉, 이후의 부호화기가 부호화를 실행하는 일이 없는 경우에는, 잔차 생성 수단(1008)에 의한 잔차 서브벡터(1010), MDCT(1011)의 생성은 필요없다. 또, 코드북(1009)이 갖는 코드 벡터의 개수는 몇개라도 좋지만, 메모리 용량, 계산 시간 등을 고려하면, 64 정도로 하는 것이 바람직하다.

또, 상기 벡터 양자화기(1005)의 다른 예로서는, 이하와 같은 구성도 가능하다. 즉, 거리 계산 수단(1006)에서는, 수학식 13을 이용하여 거리를 산출한다.

단, K는 코드북(1009)의 코드 검색에 이용하는 코드 벡터의 총수이다.

코드 결정 수단(1007)에서는, 수학식 13에서 산출된 거리 dik의 최소값을 부여하는 k를 선출하여 그 인덱스를 부호화한다. 단, k는 0으로부터 2K-1까지의 값으로 된다. 잔차 생성 수단(1008)에서는, 수학식 14를 이용하여 잔차 서브벡터(1010)를 생성한다.

여기서, 코드북(1009)이 갖는 코드 벡터의 개수는 몇개라도 좋지만, 메모리의 용량, 계산 시간 등을 고려하면, 64 정도로 하는 것이 바람직하다.

또한, 상기에서는, 가중치 서브벡터(1004)를 정규화 성분(1002)만으로 생성하는 구성에 대하여 기술하였지만, 가중치 서브벡터(1004)에 인간의 청각 특성을 고려한 가중치를 더 승산하여, 가중치 서브벡터를 생성하는 것도 가능하다.

이상과 같이 하여, 복수의 각 단의 각 부호화기의 대역폭, 부호화기의 개수, 및 접속 순서가 동적으로 결정된다. 그리고, 이렇게 해서 결정된 각 부호화기의 정보를 기초로 양자화를 실행한다.

한편, 복호화 장치(1002)에서는, 각 대역의 부호화기의 출력인 정규화 부호열과, 해당 정규화 부호열에 대응한 양자화부로부터의 부호열, 또한 부호화 장치에 있어서의 부호화 대역 제어부의 출력인 대역 제어 부호열, 또한 해석 길이 판정부의 출력인 해석 길이 부호열을 이용하여 복호를 실행한다.

도 9에, 복호화기(1202, 1203, …)의 구성을 나타낸다. 각 복호화기는, 정규화된 MDCT 계수를 재생하는 역양자화부(1101)와, 정규화 계수를 복호하여 상기 재생된 정규화된 MDCT 계수와 정규화 계수를 승산하는 역정규화부(1102)로 이루어진다.

역정규화부(1102)에서는, 각 부호화기의 정규화부(301)로부터의 정규화 부호열(303)로부터, 부호화 장치(1)에서 정규화에 이용한 파라미터의 복원을 실행하고, 역양자화부(1101)의 출력과 해당 파라미터를 승산하여, MDCT 계수의 복원을 실행한다.

복호화 대역 제어부(1201)에서는, 부호화 대역 제어부(507)의 출력인 대역 제어 부호열(508)을 이용하여, 부호화 장치에서 이용한 부호화기의 배치나, 부호화기의 개수의 정보를 복원하고, 그 정보에 근거하여 각 대역에 각 복호화기(1202, 1203, 1204, 1202b)를 배치하며, 부호화 장치에서의 각 부호화기(511, 512, 513, 511b)의 부호화 순서와는 역순으로 대역을 합성하는 대역 합성부(9)에 의해, MDCT 계수를 얻는다. 이렇게 해서 얻어진 해당 MDCT 계수를 입력으로 하는 주파수 시간 변환부(5)에서는, 역MDCT을 실행하여 주파수 영역의 신호로부터 시간 영역의 신호로의 복원을 실행한다. 상기 역MDCT 계수의 계산은, 예를 들면, 수학식 15로 나타내어진다.

여기서, yy_k는 대역 합성부(9)에서 복원된 MDCT 계수이고, xx(n)은 역MDCT 계수이며, 이것을 주파수 시간 변환부(5)의 출력으로 한다.

윈도우 설정부(6)에서는, 주파수 시간 변환부(5)로부터의 출력 xx(i)를 이용하여 윈도우 설정을 실행한다. 윈도우 설정은, 부호화 장치(1)의 시간 주파수 변환부(503)에 있는 윈도우 설정부(202)에서 이용한 윈도우를 이용하고, 예를 들면, 수학식 16으로 나타내어지는 처리를 실행한다.

여기서, z(i)는 윈도우 설정부(6)의 출력이다.

프레임 중첩부(7)에서는, 윈도우 설정부(6)로부터의 출력을 이용하여 오디오 신호를 재생한다. 윈도우 설정부(6)로부터의 출력은, 시간적으로 중복된 신호로 되어 있기 때문에, 프레임 중첩부(7)에서는, 예를 들어, 수학식 17을 이용하여 복호화 장치(1002)의 출력 신호로 한다.

여기서, z_m(i)는, 제 m 시각 프레임의 제 i 번째의 윈도우 설정부(6)의 출력 신호 z(i)이고, z_m-1(i)는, 제 m-1 시각 프레임의 제 i 번째의 윈도우 설정부(6)의 출력 신호로 하며, SHIFT는 부호화 장치의 해석 길이(504)에 상당하는 샘플수, out_m(i)는 프레임 중첩부(7)의 제 m 시각 프레임에 있어서의 복호화 장치(1002)의 출력 신호로 한다.

또한, 본 실시예 1에 있어서는, 아래와 같이 부호화 대역 제어부(507)에 있어서, 대역폭 산출부(901)에서 산출하는 양자화 가능 주파수 범위를 해석 길이(504)에 의해 제한하는 경우도 있다.

예를 들어, 해석 길이(504)가 256인 경우, 각 부호화기의 양자화 가능 주파수 범위의 하한을 4kHz 정도, 상한을 24kHz 정도로 한다. 해석 길이가 1024 혹은 2048인 경우, 하한을 0Hz, 상한을 16kHz 정도로 한다. 또한 일단, 해석 길이(504)가 256으로 되면, 그 후 일정 시간 동안, 예를 들어 20msec 정도동안, 각 양자화기의 양자화 가능 주파수 범위나, 양자화기의 배치를 고정하도록 양자화 순서 결정부(902)에 의해 제어할 수도 있다. 이 처리를 이용함으로써, 시간 경과적으로 양자화기의 배치를 일정하게 하고, 청감(聽感)적인 대역의 출입감(임의의 소정 순간까지 높은 대역이 중심 음성이었던 것이, 갑자기 낮은 대역이 중심 음성으로 변하였을 때와 같이, 음성 대역의 출입이 있었던 것과 같은 감각)이 발생하는 것을 억제할 수 있다.

이러한 본 실시예 1에 의한 오디오 신호 부호화 장치 및 복호화 장치에서는, 복수의 각 단의 부호화기가 양자화하는 오디오 신호의 주파수 대역을 결정하는 특성 판정부와, 상기 특성 판정부에서 결정된 주파수 대역과, 주파수 변환된 원래의 오디오 신호를 그 입력으로 하여 상기 복수의 각 단의 부호화기의 접속 순서를 결정하고, 부호화기의 양자화 대역 및 접속 순서를 부호열로 변환하는 부호화 대역 제어부를 구비하며, 적응적으로 스케일러블 코딩을 실행하는 구성으로 하였기 때문에, 다종 다양한 오디오 신호의 부호화를 실행할 때에도, 고품질, 고효율의 충분한 성능을 발휘할 수 있는 적응 스케일러블 코딩을 실행하는 오디오 신호 부호화 장치 및 이것을 복호하는 복호화 장치를 얻을 수 있다.

(실시예 2)

본 발명의 실시예 2에 대하여, 도 14 내지 도 20을 이용하여 설명한다.

도 14는, 본 발명의 실시예 2에 의한 적응 스케일러블 코딩을 실행하는 부호화 장치(2001) 및 복호화 장치(2002)의 블럭도를 나타낸다. 도면에 도시하는 바와 같이, 부호화 장치(2001)에 있어서, (200105)는 부호화기의 개수, 비트레이트, 입력 오디오 신호의 샘플링 주파수, 각 부호화기의 부호화 대역 정보 등의 부호화 조건, (200107)은 복수의 각 단의 각 부호화기가 양자화하는 오디오 신호의 주파수 대역을 결정하는 특성 판정부, (200109)는 부호화 대역 배치 정보, (200110)은 특성 판정부(200107)에서 결정된 주파수 대역과 주파수 변환된 오디오 입력 신호를 입력으로 하여, 상기 복수의 각 단의 부호화기가 양자화 대역 및 접속 순서를 부호열로 변환하는 부호화 대역 제어부, (200111)은 부호화열, (200112)는 전송 부호화열 합성기이다.

또한, 복호화 장치(2002)에 있어서, (200150)은 전송 부호화열 분해기, (200151)는 부호화열, (200153b)는 부호화열(200151)을 입력으로 하여 이것을 복호화하는 각 복호화기의 복호화 대역을 제어하는 복호화 대역 제어부, (200154b)는 복호화 스펙트럼이다.

본 발명의 실시예 2에 의한 부호화 장치(2001)는, 상기 실시예 1과 마찬가지로, 적응 스케일러블 코딩을 실행하는 것이지만, 실시예 1에 비하여, 새롭게 부호화 장치(2001)에 복호화 대역 제어부(200153)를 포함하는 부호화 대역 제어부(200110)를, 복호화 장치(2002)에 상기 복호화 대역 제어부(200153)와 동일한 처리를 실행하는 복호화 대역 제어부(200153b)를 추가하고, 또한, 본 실시예 2의 특성 판정부(200107)에 있어서는, 상기 실시예 1에 있어서의 특성 판정부(506)의 스펙트럼 파워 계산부(803) 대신에, 도 16에 도시하는 바와 같이 청각 심리 모델 계산부(200602)를 마련하며, 또한, 해당 특성 판정부(200107) 내에 부호화 조건(200105)과, 부호화 대역 산출부(200601)로부터 계산되는 부호화 대역 정보(200702)와, 배치 결정부(200603)로부터 출력되는 대역 번호(200606)로부터, 부호화 대역 배치 정보(200109)를 생성하는 부호화 대역 배치 정보 생성 수단(200604)을 마련한 것이다.

또한, 복호화 장치(2002)에 있어서, (200150)은 전송 부호화열 분해기, (200151)은 부호화열, (200153b)는 부호화열(200151)을 입력으로 하여, 이것을 복호화하는 각 복호화기의 복호화 대역을 제어하는 복호화 대역 제어부, (200154b)는 복호화 스펙트럼이다. 다음에, 본 실시예 2의 동작에 대하여 설명한다.

본 실시예 2에 있어서, 부호화하고자 하는 원 오디오 신호(501)는, 상기 실시예 1과 마찬가지로, 시간적으로 연속하는 디지털 신호 계열이라고 한다.

우선, 상기 실시예 1과 마찬가지의 처리에 의해서, 원 오디오 신호의 스펙트럼(505)을 얻는다. 본 실시예 2에서는, 부호화 장치(2001)에 대하여, 부호화기수, 비트레이트, 입력 오디오 신호의 샘플링 주파수, 각 부호기의 부호화 대역 정보를 포함하는 부호화 조건(200105)을 해당 부호화 장치(2001)에 있어서의 특성 판정부(200107)에 입력한다. 특성 판정부(200107)는, 복수의 각 단의 각 부호화기의 양자화 대역, 개수 및 접속 순서의 정보를 포함하는 부호화 대역 배치 정보(200109)를 출력하여, 이것을 부호화 대역 제어부(200110)로 입력한다. 부호화 대역 제어부(200110)에는, 도 17에 도시하는 바와 같이, 부호화 대역 배치 정보(200109) 이외에, 원 오디오 신호의 스펙트럼(505)이 입력되고, 이들을 기초로 해당 부호화 대역 제어부(200110)에 의해 제어하는 각 부호화기에서 부호화를 실행한 부호화열(200111)을 출력하며, 이것은 전송 부호화열 합성기(200112)로 입력되고 이에 따라 합성되어, 그 합성된 출력이, 또한 복호화 장치(2002)로 송신된다.

복호화 장치(2002)에서는, 부호화 장치(2001)의 전송 부호화열 합성기(200112)의 출력을 전송 부호화열 분해기(200150)에서 수취하여, 부호화열(200151)과 해석 길이 부호열(200152)로 분해한다. 부호화열(200151)은 복호화 대역 제어부(200153b)로 입력되고, 해당 복호화 대역 제어부에 의해 제어되는 각 복호화기에서 복호화된 복호화 스펙트럼(200154b)을 얻는다. 그리고, 해당 복호화 스펙트럼(200154b)과, 상기 전송 부호화열 분해기(200150)의 출력인 해석 길이 부호화열(200152)로부터, 상기 실시예 1과 마찬가지로, 주파수 시간 변환부(5), 윈도우 설정부(6) 및 프레임 중첩부(7)를 이용하여, 복호 신호(8)를 얻는다.

다음에, 특성 판정부(200107)의 동작을, 도 15∼도 20을 이용하여 설명한다.

해당 특성 판정부(200107)는, 부호화 조건(200105)을 이용하여 부호화 대역 배치 정보(200702)를 산출하는 부호화 대역 산출부(200601), 원 오디오 신호의 스펙트럼(505) 및 차분 스펙트럼(200108) 등의 스펙트럼 정보, 및 부호화 대역 정보(200702)로부터, 인간의 청각 심리 모델에 근거하여 청각 가중치(200605)를 산출하는 청각 심리 모델 계산부(200602), 해석 길이(503)를 참조하여, 이것에 따라 청각 가중치(200605)에 더욱 가중치를 부여하고, 각 부호화기의 대역의 배치를 결정하여 대역 번호(200606)를 출력하는 배치 결정부(200603), 및 부호화 조건(200105)과 부호화 대역 산출부(200601)로부터 계산되는 부호화 대역 정보(200702)와, 배치 결정부(200603)로부터 출력되는 대역 번호(200606)로부터, 부호화 대역 배치 정보(200109)를 생성하는 부호화 대역 배치 정보 생성 수단(200604)으로 구성된다. 부호화 대역 산출부(200601)는, 부호화 장치(2001)가 동작을 개시하기 전에 설정하는 부호화 조건(200105)을 이용하여, 도 15에 도시하는 부호화기(2003)가 부호화하는 부호화 대역의 상한 f_pu(k), 하한 f_pl(k)를 산출하여, 부호화 대역 정보(200702)로서, 부호화 대역 배치 정보 생성 수단(200604)에 보내어진다. 여기서, k는 부호화 대역을 취급하기 위한 수이고, k가 0으로부터 사전 설정된 최대수인 pmax로 됨에 따라서, 주파수가 큰 대역을 나타내고 있다. pmax의 일례는 4이다. 부호화 대역 산출부(200601)의 동작의 일례를 표 2에 나타낸다.

청각 심리 모델 계산부(200602)는, 필터(701)로부터의 출력 신호, 또는 부호화 대역 제어부(200110)의 출력인 차분 스펙트럼(200108) 등의 스펙트럼 정보, 및 부호화 대역 산출부(200601)의 출력인 부호화 대역 정보(200702)로부터, 인간의 청각 심리 모델에 근거하여, 청각 가중치(200605)를 산출한다. 해당 청각 가중치(200605)는 청각상 중요한 대역이 큰 값으로, 청각상 그 정도 중요하지 않는 대역이 작은 값으로 되는 것이다. 청각 심리 모델 계산부(200602)의 일례로서는, 입력 스펙트럼의 전원을 계산하는 방법을 이용하는 것이 있다. 입력되는 스펙트럼을 x₆₀₂(i)로 할 때에, 청각 가중치 w_psy(k)는,

로 된다. 이렇게 해서 산출된 청각 가중치(200605)는, 배치 결정부(200603)에 입력되고, 해당 배치 결정부(200603)에서는, 해석 길이(503)를 참조하면서, 해석 길이(503)가 소(小)이고, 예를 들어 128일 때에는, 대역 번호(200606)가 대(大)(예컨대, 4)인 대역의 청각 가중치(200605)가 커지도록, 예를 들면, 이 대역 번호가 4인 대역의 청각 가중치를 2배로 가중하여 부여하고, 또한, 해석 길이(503)가 소가 아닐 때에는, 청각 가중치(200605)를 그대로 하며, 해당 청각 가중치(200603)가 최대로 되는 대역을 계산하여, 그 대역 번호(200606)를, 부호화 대역 배치 정보 생성 수단(200604)에 보낸다.

부호화 대역 배치 정보 생성 수단(200604)은, 상기 부호화 대역 정보(200702) 및 대역 번호(200606), 그 위에 부호화 조건(200105)을 입력으로 하여, 부호화 대역 배치 정보(200109)를 출력하는 것이다. 즉, 해당 부호화 대역 배치 정보 생성 수단(200604)은, 부호화 조건(200105)을 항상 참조하면서, 해당 부호화 조건으로부터 하여, 부호화 대역 배치 정보(200109)가 필요로 되는 동안에는, 상기 부호화 대역 정보(200702)와 대역 번호(200606)를 연결하여 이루어지는 부호화 대역 배치 정보(200109)를 출력하고, 이것이 필요가 없어지면 그 출력을 멈추는 동작을 실행한다. 예를 들면, 부호화 조건(200105)으로 지정된 부호화기수가 될 때까지 대역 번호(200606)를 출력한다. 또, 상기 배치 결정부(200603)에 있어서, 해석 길이(503)가 소(小)로 될 때에는, 출력하는 대역 번호(200606)를 고정하는 경우도 있다.

다음에, 도 17을 이용하여 부호화 대역 제어부(200110)의 동작에 대하여 설명한다.

부호화 대역 제어부(200110)는, 상기 특성 판정부(200107)로부터의 출력인 부호화 대역 배치 정보(200109) 및 원 오디오 신호의 스펙트럼(505)을 입력으로 하고, 부호화열(200111) 및 차분 스펙트럼(200108)을 그 출력으로 하며, 그 내부에는 부호화 대역 배치 정보(200109)를 받아, 원 오디오 신호의 스펙트럼(505) 및 과거의 해당 원 오디오 신호의 스펙트럼(505)과 해당 스펙트럼(505)을 부호화하며 또한 복호화한 스펙트럼(200705)과의 차분 스펙트럼(200108)을 대역 번호(200606)의 대역으로 쉬프트하는 스펙트럼 쉬프트 수단(200701), 부호화기(2003), 상기 원 오디오 신호의 스펙트럼(505)과 복호화 스펙트럼(200705)과의 차분을 취하는 차분 계산 수단(200703), 차분 스펙트럼 유지 수단(200704) 및 부호열(200111)을 복호화기(2004)에서 복호한 합성 스펙트럼(2001001)을 부호화 대역 배치 정보(200702)에 근거하여, 스펙트럼 쉬프트를 실행하고, 이것을 순차적으로 합성하여 합성 스펙트럼을 얻으며, 복호화 스펙트럼(2007056)을 산출하는 복호화 대역 제어부(200153)를 포함하고 있다. 스펙트럼 쉬프트 수단(200701)의 구성은, 도 20에 나타내는 바대로이지만, 입력으로서는 쉬프트하고 싶은 원(元) 스펙트럼(2001101)과, 부호화 대역 배치 정보(200109)를 이용한다. 부호화 대역 제어부(200110)에 있어서의 스펙트럼 쉬프트 수단(200701)의 입력중, 쉬프트하고 싶은 스펙트럼(2001101)은, 원 오디오 신호의 스펙트럼(505), 또는 차분 스펙트럼(200108)이고, 그것들을 대역 번호(200606)의 대역으로 쉬프트하여, 쉬프트된 스펙트럼(2001102)과, 부호화 대역 배치 정보(200109)중의 부호화 대역 정보(200702)를 출력한다. 대역 번호(200606)에 대응하는 대역은, 부호화 대역 정보(200702)의 fpl(k) 및 fpu(k)로부터 구할 수 있다. 쉬프트하는 순서는, 상기 fpl(k)와 fpu(k) 사이의 스펙트럼을 부호화기(2003)가 처리할 수 있는 대역까지 이동하는 것이다.

이렇게 해서, 쉬프트된 스펙트럼(2001102)을 입력으로 하는 부호화기(2003)는, 도 15에 도시하는 바와 같이 정규화 부호열(303) 및 잔차 부호열(304)을 출력하고, 그것들과, 스펙트럼 쉬프트 수단(200701)의 출력인 부호화 대역 정보(200702)를 합친 것이, 부호열(200111)로서, 전송 부호화 합성기(200112) 및 복호화 대역 제어부(200153)로 보내어진다.

상기 부호화기(2003)의 출력인 상기 부호화열(200111)은, 해당 부호화 대역 제어부(200110) 내에 있는 복호화 대역 제어부(200153)로 입력된다. 해당 복호화 대역 제어부(200153)는 복호화 장치(2002) 내에 존재하는 것(200153b)으로 동작은 동일하다.

다음에, 상기 복호화 장치(2002) 내에 존재하는 복호화 대역 제어부(200153b)의 구성을 도 19에 나타낸다.

복호화 대역 제어부(200153b)는 전송 부호화열 분해기(200150)로부터의 부호열(200111)을 입력으로 하여 복호화 스펙트럼(200705b)을 출력하는 것으로, 그 내부에는 복호화기(2004), 스펙트럼 쉬프트 수단(200701), 복호화 스펙트럼 산출부(2001003)를 갖는다.

상기 복호화기(2004)의 구성을 도 18에 나타낸다.

복호화기(2004)는 역양자화부(1101)와 역정규화부(1102)로 구성되어 있고, 역양자화부(1101)는 부호열(200111) 중 잔차 부호열(304)을 입력으로 하여, 해당 잔차 부호열(304)을 코드 인덱스로 변환하고, 부호화기(2003)에서 이용한 코드북을 참조하여, 그 코드를 재생한다. 재생된 코드는 역정규화부(1102)에 보내어지고, 부호열(200111) 내의 정규화 부호열(303)로부터 재생된 정규화 계수열(303a)과 승산되어, 합성 스펙트럼(2001001)을 얻는다. 해당 합성 스펙트럼(2001001)은 스펙트럼 쉬프트 수단(200701)에 입력된다.

또, 부호화 대역 제어부(200110) 내의 복호화 대역 제어부(200153)의 출력은, 복호화 스펙트럼(200705)으로 되어 있지만, 이것은, 복호화 장치(2002) 내의 복호화 대역 제어부(200153b)의 출력인 복호화 스펙트럼(200705b)과 동일한 것이다.

복호화기(2004)에 의해서 합성된 합성 스펙트럼(2001001)은, 스펙트럼 쉬프트 수단(200701)에 의해 쉬프트되어, 쉬프트된 합성 스펙트럼(2001002)이 얻어지며, 이것은 복호화 스펙트럼 산출부(2001003)에 입력된다.

복호화 스펙트럼 산출부(2001003) 내에서는, 입력된 합성 스펙트럼을 유지하고 있고, 유지하고 있는 스펙트럼과 최신의 합성 스펙트럼을 가산하여, 복호화 스펙트럼(200705b)으로서 출력하는 동작을 실행한다.

부호화 대역 제어부(200110) 내의 차분 계산 수단(200703)은, 원 오디오 신호의 스펙트럼(505)과, 복호화 스펙트럼(200705)과의 차분을 계산하여, 차분 스펙트럼(200108)을 출력하며, 이것은 특성 판정부(200107)로 피드백된다. 또한 동시에, 상기 차분 스펙트럼(200108)은 차분 스펙트럼 유지 수단(200704)에 의해 유지되고, 스펙트럼 쉬프트 수단(200701)으로도 보내어지며, 다음 부호화 대역 배치 정보(200109)가 입력될 때에 구비하도록 구성되어 있다. 특성 판정부(200107)에서는, 부호화 조건을 참조하면서, 해당 부호화 조건을 만족할 때까지 부호화 대역 배치 정보(200109)를 계속 출력하고, 그것이 없어진 단계에서, 부호화 대역 제어부(200110)의 동작도 정지한다. 또, 상기 부호화 대역 제어부(200110)는, 차분 스펙트럼(200108)을 계산하기 위해서, 차분 스펙트럼 유지 수단(200704)을 가지고 있다. 이것은, 차분 스펙트럼을 유지하기 위해서 필요한 기억 영역으로, 예를 들면, 2048개의 수를 기억할 수 있는 배열이다.

이상과 같이, 부호화 조건(200105)을 만족하도록, 특성 판정부(200107)와, 그것에 계속되는 부호화 대역 제어부(200110)에 의한 처리가 반복되고, 차차, 부호화열(200111)이 출력되며, 그것이 전송 부호화열 합성기(200112)로 보내어지고, 해석 길이 부호열(510)과 동시에, 전송 부호화열로서 합성되며, 복호화 장치(2002)로 전송된다.

복호화 장치(2002)에서는, 부호화 장치(2001)로부터 전송되어 온 전송 부호화열을 전송 부호화열 분해기(200150)에 의해, 부호화열(200151)과 해석 길이 부호열(200152)로 분해한다. 해당 부호화열(200151)과 해석 길이 부호열(200152)은, 부호화 장치(2001) 내의 부호화열(200111) 및 해석 길이 부호열(510)과 동일한 것이다.

분해된 부호화열(200151)은 복호화 대역 제어부(200153b)에 있어서 복호화 스펙트럼(200154b)으로 변환되고, 해당 복호화 스펙트럼(200154b)은 해석 길이 부호열(200152)의 정보를 이용하여, 주파수 시간 변환부(5), 윈도우 설정부(6) 및 프레임 중첩부(7)에 의해, 시간 영역의 신호로 변환되며, 그것이 복호화 신호(8)로 된다.

이와 같이 본 실시예 2에 의한 오디오 신호 부호화 장치, 복호화 장치에 의하면, 상기 실시예 1과 같이, 복수의 각 단의 부호화기가 양자화하는 오디오 신호의 주파수 대역을 결정하는 특성 판정부와, 상기 특성 판정부에서 결정된 주파수 대역과, 주파수 변환된 원래의 오디오 신호를 그 입력으로 하여, 상기 복수의 각 단의 부호화기의 접속 순서를 결정하고, 부호화기의 양자화 대역 및 접속 순서를 부호열로 변환하는 부호화 대역 제어부를 구비하며, 적응적으로 스케일러블 코딩을 실행하는 구성에 있어서, 부호화 장치에는 복호화 대역 제어부를 포함하는 부호화 대역 제어부를, 복호화 장치에는 복호화 대역 제어부를 마련함과 동시에, 또한, 특성 판정부에 있어서의 스펙트럼 파워 계산부를 청각 심리 모델 계산부로 하고, 또한, 해당 특성 판정부에 있어서, 부호화 대역 배치 정보 생성 수단을 마련한 구성으로 하였기 때문에, 특성 판정부의 스펙트럼 파워 계산부 대신에 청각 심리 모델 계산부를 이용함으로써, 청각적으로 중요한 부분의 판정을 정밀도 좋게 실행하여, 그 대역을 보다 더 선택할 수 있다. 또한, 본 발명이 대상으로 하는 오디오 신호 부호화 장치, 복호화 장치에서는, 부호화기의 배치를 결정하는 연산을 실행하고 있을 때에, 부호화 조건이 만족되면, 부호화의 처리가 OK라고 판정되어 부호화 대역 배치 정보도 나오지 않는 것으로 되지만, 이 부호화기의 배치를 결정하기 위한 연산에 있어서, 상기 실시예 1에서는, 부호화기를 배치할 때의 대역을 선택할 때의 각 대역폭 및 각 대역의 가중치가 고정인 데 대하여, 본 실시예 2에서는, 특성 판정부의 판정 조건으로서, 입력 신호의 샘플링 주파수와, 압축율, 즉, 부호화의 비트레이트도 들어가 있는 것으로부터, 이들에 따라서, 상기 각 부호화기의 대역 배치를 선택할 때의 각 대역에 대한 가중치 부여 정도를 바꿀 수 있는 것이며, 또한, 특성 판정부의 판정 조건으로서, 압축율의 조건도 들어가 있는 것에 의해, 압축율이 높을 때, 즉, 비트레이트가 낮을 때에는 상기 각 부호화기의 대역 배치를 선택할 때의 각 대역의 가중치 부여 정도를 너무 변화시키지 않도록 하고, 한편, 압축율이 낮을 때, 즉, 비트레이트가 높을 때에는 효율을 보다 더 추구하기 위해서, 상기 각 부호화기의 대역 배치를 선택할 때의 각 대역의 가중치 부여 정도를, 청각상, 보다 중요한 곳을 강조하도록 하고, 이에 따라, 압축율과 품질이 최상인 밸런스를 얻을 수 있는 것이다. 이와 같이, 다종 다양한 오디오 신호의 부호화를 실행할 때에도, 충분한 성능을 발휘하여, 고품질, 고효율의 적응 스케일러블 코딩을 실행하는 오디오 신호 부호화, 복호화 장치를 얻을 수 있다.

이상과 같이, 본 발명에 이러한 오디오 신호 부호화 장치, 오디오 신호 복호화 장치, 및 오디오 신호 부호화·복호화 장치에 따르면, 복수개의 부호화기가 양자화하는 오디오 신호의 주파수 대역을 결정하는 특성 판정부와, 상기 특성 판정부에서 결정된 주파수 대역과, 상기 주파수 변환된 오디오 신호를 그 입력으로 하여, 상기 복수개의 각 단의 각 부호화기의 접속 순서를 결정하고, 부호화기의 양자화 대역 및 접속 순서를 부호열로 변환하는 부호화 대역 제어부를 구비하여, 적응 스케일러블 코딩을 실행함으로써, 다종 다양한 성질을 갖는 오디오 신호에 대하여, 보다 고음질이고, 보다 고효율의 적응 스케일러블 코딩을 실행할 수 있다고 하는 유리한 효과를 얻을 수 있다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

Claims

주파수 변환된 오디오 신호를 수신하여, 상기 오디오 신호를 부호화해서 출력하는 오디오 신호 부호화 장치에 있어서,

상기 주파수 변환된 오디오 신호를 양자화하는 초단(初段)의 부호화기와,

이전단의 부호화기의 출력인 양자화 오차를 양자화하는 2단째 이후의 부호화기와,

상기 주파수 변환된 오디오 신호의 특징을 판정하여, 상기 복수의 각 단의 각 부호화기가 양자화하는 오디오 신호의 주파수 대역을 결정하는 특성 판정부와,

상기 특성 판정부에서 결정된 주파수 대역과, 상기 주파수 변환된 오디오 신호를 그 입력으로 하여, 상기 복수의 각 단의 각 부호화기의 접속 순서를 결정하고, 상기 각 부호화기의 양자화 대역 및 접속 순서를 부호열로 변환하는 부호화 대역 제어부

를 포함한 것을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항에 있어서,

상기 복수의 각 단의 각 부호화기는,

상기 주파수 변환된 오디오 신호로부터, 이것을 정규화하기 위한 정규화 계수열을 계산하여, 상기 정규화 계수열을 벡터 양자화 방법을 이용해 양자화하고, 상기 주파수 변환된 오디오 신호를 정규화하여 이루어지는 정규화된 신호를 출력하는 정규화 처리부와,

상기 정규화 처리부에 의해 정규화된 신호를 양자화하는, 적어도 1단 이상의 벡터 양자화부

를 포함하는 것인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항 또는 제 2 항에 있어서,

상기 부호화 대역 제어부는, 상기 각 부호화기가 양자화하는 오디오 신호의 주파수 대역으로서, 양자화 오차의 에너지 가산합이 소정값보다 큰 대역을 선출하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항 또는 제 2 항에 있어서,

상기 부호화 대역 제어부는, 상기 각 부호화기가 양자화하는 오디오 신호의 주파수 대역으로서, 인간의 청각 심리 특성을 고려하여 소정의 대역에 큰 가중치를 부여한 양자화 오차 에너지 가산합이 소정값보다 큰 대역을 선출하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항 또는 제 2 항에 있어서,

상기 부호화 대역 제어부는, 적어도 1회는, 입력된 오디오 신호의 전체 주파수 대역에 걸친 제어를 실행하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 2 항에 있어서,

상기 벡터 양자화부는, 코드북을 이용하는 벡터 양자화 방법을 이용하여 벡터 양자화의 양자화 오차를 산출하고, 또한 그 벡터 양자화한 결과를 부호열에 출력하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 6 항에 있어서,

상기 벡터 양자화부는, 벡터 양자화에 있어서의 최적 코드의 검색시에, 벡터의 부호의 전부, 또는 일부가 반전된 코드 벡터를 이용하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 6 항에 있어서,

상기 벡터 양자화부는, 벡터 양자화에 있어서의 최적 코드의 검색시에 이용하는 거리를 계산할 때에, 상기 정규화 처리부에 의해 산출된 입력 신호의 정규화 계수열을 가중치로 하여, 최소 거리를 부여하는 코드를 추출하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 6 항에 있어서,

상기 벡터 양자화부는, 벡터 양자화에 있어서의 최적 코드의 검색시에 이용하는 거리를 계산할 때에, 상기 정규화 처리부에 의해 산출된 정규화 계수열과, 인간의 청각 심리 특성을 고려한 값의 양자(兩者)를 가중치로 하여, 최소 거리를 부여하는 코드를 추출하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
청구항 1에 기재된 오디오 신호 부호화 장치로부터 출력되는 부호화 오디오 신호를 복호화하여, 오디오 신호를 출력하는 오디오 신호 복호화 장치에 있어서,

상기 오디오 신호 부호화 장치에 있어서의 상기 특성 판정부, 및 부호화 대역 제어부에 의해 결정된, 상기 복수의 각 단의 각 부호화기의 양자화 대역, 및 접속 순서에 근거하여, 입력되는 오디오 신호 부호화열로부터, 주파수 변환된 오디오 입력 신호의 계수열을 재생하는 1단, 혹은 복수단의 역양자화기로 이루어지는 역양자화 수단과,

상기 역양자화 수단의 출력인 주파수 변환된 오디오 입력 신호의 계수열을, 본래의 오디오 입력 신호에 상당하는 신호로 변환하는 역주파수 변환부

를 포함한 것을 특징으로 하는 오디오 신호 복호화 장치.
제 10 항에 있어서,

상기 1단의, 혹은, 복수단의 역양자화기로 이루어지는 역양자화 수단은, 청구항 2에 기재된 오디오 신호 부호화 장치의 각 대역의 부호화기로부터 출력되는 부호화열을 입력으로 하여, 입력되는 오디오 신호 부호화열로부터, 주파수 변환된 오디오 입력 신호의 계수열을 재생하는 것이고,

상기 역양자화 수단의 출력인 주파수 변환된 오디오 입력 신호의 계수열과, 상기 오디오 신호 부호화 장치의 각 대역의 부호화기로부터 출력되는 정규화 부호열을 입력으로 하여, 상기 주파수 변환된 오디오 입력 신호에 대응하는 신호를 얻는 역정규화부를 포함하며,

상기 역주파수 변환부는, 상기 역정규화부의 출력을, 본래의 오디오 입력 신호에 상당하는 신호로 변환하는 것

인 것을 특징으로 하는 오디오 신호 복호화 장치.
제 10 항 또는 제 11 항에 있어서,

상기 역양자화 수단은, 상기 오디오 신호 부호화 장치의 복수의 부호화기 중 몇개의 부호화기가 출력한 부호만을 이용하여, 역양자화를 실행하는 것

인 것을 특징으로 하는 오디오 신호 복호화 장치.
제 1 항에 있어서,

상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 저역 통과 필터에 의해 가공한 신호에 따라서, 양자화하는 대역을 적절히 선출하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항에 있어서,

상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 대수 계산을 포함한 처리에 의해 가공한 신호에 따라서, 양자화하는 대역을 적절히 선출하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항에 있어서,

상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 고역 통과 필터에 의해 가공한 신호에 따라서, 양자화하는 대역을 적절히 선출하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항에 있어서,

상기 특성 판정부는, 상기 특성 판정부에 입력되는 주파수 변환된 오디오 신호를, 대역폭 통과 필터, 또는 대역 억제 필터에 의해 가공한 신호에 따라서 양자화하는 대역을 적절히 선출하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항에 있어서,

상기 특성 판정부는, 오디오 신호의 특징을 판정하여, 상기 판정 결과에 따라 상기 복수의 각 단의 각 부호화기가 양자화하는 대역을 적절히 선택하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 17 항에 있어서,

상기 특성 판정부는, 오디오 신호의 특징을 판정하여, 상기 판정 결과에 따라 상기 각 부호화기가 양자화하는 대역을 제한하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 18 항에 있어서,

상기 각 부호화기가 양자화하는 대역을, 저역, 중역, 고역의 3개로 나누어, 상기 각 부호화기가 양자화하는 대역을 제한하는 경우에, 상기 입력 오디오 신호가 변화가 심한 특징을 갖는 것인 경우, 고역이 다른 대역보다 많이 선택되도록 상기 각 부호화기가 양자화하는 대역을 제한하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 18 항에 있어서,

상기 각 부호화기가 양자화하는 대역을, 저역, 중역, 고역의 3개로 나누어, 상기 각 부호화기가 양자화하는 대역으로서 고역이 많이 선택된 경우, 그 시점으로부터 일정 시간 동안, 상기 각 부호화기가 양자화하는 대역이 고역에 많아지도록 제어하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 18 항에 있어서,

상기 각 부호화기가 양자화하는 대역을, 저역, 중역, 고역의 3개로 나누어, 상기 원(原) 입력 오디오 신호의 특징을 판정하고, 상기 판정 결과에 따라서, 상기 각 양자화기가 양자화하는 대역을 고정시키도록 제어하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항에 있어서,

상기 특성 판정부는, 상기 주파수 변환된 오디오 신호의 주파수 개형(槪形)과, 상기 정규화 처리부에 의해 계산된 정규화 계수열 중 어느 하나, 또는 양쪽의 값을, 상기 복수의 각 단의 각 부호화기의 양자화 대역 결정시의 가중치로서 이용하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 1 항에 있어서,

상기 복수의 각 단의 각 부호화기가 양자화하는 오디오 신호의 청각적 및 물리적인 특성을 판정하여, 상기 각 부호화기가 양자화하는 부호화 대역의 배치를 결정하는 특성 판정부와,

상기 특성 판정부에서 결정된 부호화 대역 배치 정보에 근거하여, 상기 복수의 각 단의 각 부호화기의 양자화 대역의 배치를 제어하는 부호화 대역 제어부를 갖고,

상기 복수의 각 단의 각 부호화기, 상기 특성 판정부 및 상기 부호화 대역 제어부의 동작을, 소정의 부호화 조건이 만족될 때까지, 반복하여 실행하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 23 항에 있어서,

상기 특성 판정부는,

소정의 부호화 조건을 입력으로 하여, 상기 복수의 각 단의 각 부호화기의 부호화 대역에 관한 부호화 대역 정보를 산출하는 부호화 대역 산출부와,

상기 부호화 대역 정보, 및 상기 주파수 영역의 오디오 신호 또는 차분 스펙트럼 중 어느 한쪽에 대하여 소정의 필터를 부가했을 때의 필터 출력을 입력으로 하여, 상기 부호화 대역 정보의 부호화 대역에 있어서의 청각적인 중요도를 나타내는 청각 가중치를 출력하는 청각 심리 모델 계산부와,

상기 청각 가중치, 및 해석 길이 판정부의 출력인 해석 길이를 입력으로 하여, 상기 부호화기의 배치를 결정해 상기 부호화기의 대역 번호를 출력하는 배치 결정부와,

상기 부호화 대역 정보, 및 대역 번호를 입력으로 하여, 소정의 부호화 조건에 따라서, 부호화 대역 배치 정보를 출력하는 부호화 대역 배치 정보 생성 수단

을 갖는 것인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 23 항에 있어서,

상기 부호화 대역 제어부는,

상기 주파수 변환된 오디오 신호의 스펙트럼, 및 상기 부호화 대역 배치 정보를 그 입력으로 하여, 상기 입력된 오디오 신호의 스펙트럼을 지정된 대역으로 쉬프트하는 스펙트럼 쉬프트 수단과,

상기 스펙트럼 쉬프트 수단의 출력에 대하여, 이것을 부호화해 부호화열을 출력하는 부호화기와,

상기 부호화열의 입력에 대하여, 이것을 복호화해 복호화 스펙트럼을 출력하는 복호화 대역 제어부와,

상기 입력된 오디오 신호의 스펙트럼과, 상기 복호화 스펙트럼과의 차분을 계산하는 차분 계산 수단과,

상기 부호화 대역 제어부의 다음 동작 주기까지, 상기 차분 계산 수단으로부터 출력된 차분 정보를 유지하는 차분 스펙트럼 유지 수단

을 갖는 것인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 25 항에 있어서,

상기 복호화 대역 제어부는,

상기 부호화열의 입력에 대하여, 이것을 복호화해 합성 스펙트럼을 출력하는 복호화기와,

상기 부호화열 중의 부호화 대역 배치 정보에 따라서, 상기 합성 스펙트럼을 지정된 대역으로 쉬프트하는 스펙트럼 쉬프트 수단과,

상기 복호화 대역 제어부의 다음 동작 주기까지, 상기 복호화기로부터 출력되는 합성 스펙트럼을 유지하여, 과거의 합성 스펙트럼과 현재의 합성 스펙트럼을 가산하는 복호화 스펙트럼 산출부

를 갖는 것인 것을 특징으로 하는 오디오 신호 부호화 장치.
청구항 26에 기재된 오디오 신호 부호화 장치로부터 출력되는 부호화 오디오 신호를 복호화하여 오디오 신호를 출력하는 오디오 신호 복호화 장치에 있어서,

상기 오디오 신호 부호화 장치에 있어서의 상기 복호화 대역 제어부와 동일 구성으로 되는 복호화 대역 제어부

를 갖는 것을 특징으로 하는 오디오 신호 복호화 장치.
청구항 26에 기재된 오디오 신호 부호화 장치와, 상기 오디오 신호 부호화 장치로부터 출력되는 부호화 오디오 신호를 복호화하여 오디오 신호를 출력하는 오디오 신호 복호화 장치로 이루어지고,

상기 오디오 신호 복호화 장치는,

상기 오디오 신호 부호화 장치에 있어서의 상기 복호화 대역 제어부와 동일 구성으로 되는 복호화 대역 제어부

를 갖는 것인 것을 특징으로 하는 오디오 신호 부호화·복호화 장치.
제 27 항에 있어서,

상기 오디오 신호 부호화 장치에 있어서의 상기 스펙트럼 쉬프트 수단은, 상기 오디오 신호의 스펙트럼과, 상기 부호화 대역 배치 정보를 그 입력으로 하여, 상기 부호화 대역 정보와, 쉬프트한 스펙트럼을 출력하는 것

인 것을 특징으로 하는 오디오 신호 복호화 장치.
제 24 항에 있어서,

상기 배치 결정부는, 상기 입력 오디오 신호가 변화가 심한 특징을 갖는, 상기 해석 길이가 "소(小)"인 것인 경우, 상기 복수의 각 단의 각 부호화기의 부호화 대역의 배치를, 고역이 타(他) 대역보다 많이 선택된 것으로 하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 24 항에 있어서,

상기 배치 결정부는, 상기 입력 오디오 신호가 변화가 심한 특징을 갖는, 상기 해석 길이가 "소"인 것인 경우, 그 시점으로부터 일정 시간 동안, 상기 각 부호화기의 부호화 대역의 배치를, 고역이 타 대역보다 많이 선택된 것으로 하는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 24 항에 있어서,

상기 부호화 대역 산출부는, 그 출력인 부호화 대역 정보와, 상기 입력으로 되는 부호화 조건 중의, 비트레이트, 혹은 입력 오디오 신호의 샘플링 주파수와의 사이에, 다항식 함수, 또는 대수 함수, 혹은 이들의 조합을 이용한 함수 관계를 갖는 것

인 것을 특징으로 하는 오디오 신호 부호화 장치.
제 32 항에 있어서,

상기 부호화 조건 중, 상기 부호화기의 총수가 3 이상일 때의, 주파수가 높아지는 순서로 3번째의 부호화기는, 그 부호화 대역의 상한이 원 오디오 신호의 주파수 대역의 1/2인 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 32 항에 있어서,

상기 부호화 대역 산출부는, 상기 함수 관계를 형성하는 함수를, 바크(Bark) 스케일, 멜(Mel) 계수 등의, 인간의 청각 특성을 고려한 가중치 부여를 갖는 것으로 한 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 24 항에 있어서,

상기 배치 결정부는, 상기 복수의 각 단의 각 부호화기가 부호화하는 대역의 배치를 결정하는 것이며,

상기 각 부호화기의 배치 패턴을, 미리 복수개 준비해 두고, 부호화 효율을 높일 수 있도록, 그것들을 전환하는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 24 항에 있어서,

상기 배치 결정부는, 상기 입력 오디오 신호가 변화가 심하지 않고, 정상인 특징을 갖는, 상기 해석 길이가 "대(大)"인 것인 경우, 상기 복수의 각 단의 각 부호화기가 부호화하는 대역의 최대값으로서, 작은 값을 갖는 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 24 항에 있어서,

상기 각 단의 부호화의 전단에 접속되는 필터는, 저역 통과 필터, 고역 통과 필터, 대역 통과 필터, 혹은, 대역 억제 필터(Band Rejection Filter) 중 어느 하나, 혹은 2개 이상의 조합인 것

을 특징으로 하는 오디오 신호 부호화 장치.
제 27 항에 있어서,

상기 역양자화 수단은, 상기 오디오 신호 부호화 장치가 출력한 부호의 일부만을 이용하여, 역양자화를 실행하는 것

인 것을 특징으로 하는 오디오 신호 복호화 장치.