KR20170117210A - 복호 장치 및 방법, 및 기록 매체 - Google Patents

Abstract

본 발명은, 주파수 대역의 확장에 의해, 음악 신호를 보다 고음질로 재생할 수 있는 파수 대역 확장 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법 및 프로그램에 관한 것이다. 대역 통과 필터(13)는, 입력 신호를 복수의 서브 밴드 신호로 분할하고, 특징량 산출 회로(14)는, 분할된 복수의 서브 밴드 신호와 입력 신호 중 적어도 어느 한쪽을 사용하여, 특징량을 산출하고, 고역 서브 밴드 파워 추정 회로(15)는, 산출된 특징량에 기초하여, 고역 서브 밴드 파워의 추정값을 산출하고, 고역 신호 생성 회로(16)는, 대역 통과 필터(13)에 의해 분할된 복수의 서브 밴드 신호와, 고역 서브 밴드 파워 추정 회로(15)에 의해 산출된 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성한다. 주파수 대역 확장 장치(10)는, 고역 신호 성분을 사용하여, 입력 신호의 주파수 대역을 확장한다. 본 발명은, 예를 들어 주파수 대역 확장 장치에 적용할 수 있다.

Description

복호 장치 및 방법, 및 기록 매체{DECODING APPARATUS AND METHOD, AND RECORDING MEDIUM}

본 발명은, 주파수 대역 확장 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것으로, 특히, 주파수 대역의 확장에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 주파수 대역 확장 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것이다.

최근, 인터넷 등을 통해 음악 데이터를 배신하는 음악 배신 서비스가 확장되고 있다. 이 음악 배신 서비스에서는, 음악 신호를 부호화함으로써 얻어지는 부호화 데이터를 음악 데이터로서 배신한다. 음악 신호의 부호화 방법으로서는, 다운로드 시에 시간이 걸리지 않도록, 부호화 데이터의 파일 용량을 억제하여 비트율을 낮게 하는 부호화 방법이 주류로 되어 있다.

이러한 음악 신호의 부호화 방법으로서는, 크게 구별하여, MP3(MPEG(Moving Picture Experts Group) Audio Layer 3)(국제 표준 규격 ISO/IEC 11172-3) 등의 부호화 방법이나 HE-AAC(High Efficiency MPEG 4 AAC)(국제 표준 규격 ISO/IEC 14496-3) 등의 부호화 방법이 존재한다.

MP3로 대표되는 부호화 방법에서는, 음악 신호 중 사람의 귀에는 지각되기 어려운 약 15㎑ 이상의 고주파수 대역(이하, 고역이라 칭함)의 신호 성분을 삭제하고, 남은 저주파수 대역(이하, 저역이라 칭함)의 신호 성분을 부호화한다. 이러한 부호화 방법을, 이하, 고역 삭제 부호화 방법이라고 칭한다. 이 고역 삭제 부호화 방법에서는, 부호화 데이터의 파일 용량을 억제할 수 있다. 그러나, 고역의 소리는, 근소하지만 사람이 지각 가능하므로, 부호화 데이터를 복호 함으로써 얻어지는 복호 후의 음악 신호로부터, 소리를 생성하여 출력하면, 원음이 갖는 임장감이 상실되어 있거나, 소리가 분명하지 못하다고 하는 음질의 열화가 발생하는 일이 있었다.

이에 대해, HE-AAC로 대표되는 부호화 방법에서는, 고역의 신호 성분으로부터 특징적인 정보를 추출하고, 저역의 신호 성분과 맞추어 부호화한다. 이러한 부호화 방법을, 이하, 고역 특징 부호화 방법이라고 칭한다. 이 고역 특징 부호화 방법에서는, 고역의 신호 성분의 특징적인 정보만을 고역의 신호 성분에 관한 정보로서 부호화하므로, 음질의 열화를 억제하면서, 부호화 효율을 향상시킬 수 있다.

이 고역 특징 부호화 방법에서 부호화된 부호화 데이터의 복호에 있어서는, 저역의 신호 성분과 특징적인 정보를 복호하고, 복호 후의 저역의 신호 성분과 특징적인 정보로부터, 고역의 신호 성분을 생성한다. 이와 같이, 고역의 신호 성분을, 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확장하는 기술을, 이하, 대역 확장 기술이라고 칭한다.

대역 확장 기술의 응용 예의 하나로서, 상술한 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후의 후처리가 있다. 이 후처리에 있어서는, 부호화로 상실된 고역의 신호 성분을, 복호 후의 저역의 신호 성분으로부터 생성함으로써, 저역의 신호 성분의 주파수 대역을 확장한다(특허문헌 1 참조). 또한, 특허문헌 1의 주파수 대역 확장의 방법을, 이하, 특허문헌 1의 대역 확장 방법이라고 칭한다.

특허문헌 1의 대역 확장 방법에서는, 장치는, 복호 후의 저역의 신호 성분을 입력 신호로 하여, 입력 신호의 파워 스펙트럼으로부터, 고역의 파워 스펙트럼(이하, 적절히, 고역의 주파수 포락이라 칭함)을 추정하고, 그 고역의 주파수 포락을 갖는 고역의 신호 성분을 저역의 신호 성분으로부터 생성한다.

도 1은, 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 나타내고 있다.

도 1에 있어서, 종축은, 파워를 대수로 나타내고, 횡축은, 주파수를 나타내고 있다.

장치는, 입력 신호에 관한 부호화 방식의 종류나, 샘플링 레이트, 비트율 등의 정보(이하, 사이드 정보라고 칭한다)로부터, 고역의 신호 성분의 저역단의 대역(이하, 확장 개시 대역이라고 칭한다)을 결정한다. 이어서, 장치는, 저역의 신호 성분으로서의 입력 신호를 복수의 서브 밴드 신호로 분할한다. 장치는, 분할 후의 복수의 서브 밴드 신호, 즉, 확장 개시 대역보다 저역측(이하, 간단히, 저역측이라고 칭한다)의 복수의 서브 밴드 신호 각각의 파워의, 시간 방향에 관한 그룹마다의 평균(이하, 그룹 파워라고 칭한다)을 구한다. 도 1에 도시된 바와 같이, 장치는, 저역측의 복수의 서브 밴드의 신호 각각의 그룹 파워의 평균을 파워로 하고, 또한, 확장 개시 대역의 하단의 주파수를 주파수로 하는 점을 기점으로 한다. 장치는, 그 기점을 지나는 소정의 기울기의 1차 직선을, 확장 개시 대역보다 고역측(이하, 간단히, 고역측이라고 칭한다)의 주파수 포락으로서 추정한다. 또한, 기점의 파워 방향에 관한 위치는, 유저에 의해 조정 가능하게 된다. 장치는, 고역측의 복수의 서브 밴드의 신호 각각을, 추정한 고역측의 주파수 포락이 되도록, 저역측의 복수의 서브 밴드의 신호로부터 생성한다. 장치는, 생성한 고역측의 복수의 서브 밴드의 신호를 가산해서 고역의 신호 성분으로 하고, 또한, 저역의 신호 성분을 가산해서 출력한다. 이에 의해, 주파수 대역의 확장 후의 음악 신호는, 본래의 음악 신호에 의해 근접한 것으로 된다. 따라서, 보다 고음질의 음악 신호를 재생하는 것이 가능하게 된다.

상술한 특허문헌 1의 대역 확장 방법은, 여러 가지 고역 삭제 부호화 방법이나 여러 가지 비트율의 부호화 데이터에 대해, 그 부호화 데이터의 복호 후의 음악 신호에 관한 주파수 대역을 확장할 수 있다고 하는 특징을 갖고 있다.

일본 특허 공개 제2008-139844호 공보

그러나, 특허문헌 1의 대역 확장 방법은, 추정한 고역측의 주파수 포락이 소정의 기울기의 1차 직선이 되어 있는 점에서, 즉, 주파수 포락의 형상이 고정이 되어 있는 점에서 개선의 여지가 있다.

즉, 음악 신호의 파워 스펙트럼은 여러 가지 형상을 갖고 있어, 음악 신호의 종류에 따라서는, 특허문헌 1의 대역 확장 방법에 의해 추정되는 고역측의 주파수 포락으로부터 크게 벗어날 경우도 적지 않다.

도 2는, 예를 들어 드럼을 한 번 강하게 두드렸을 때와 같은, 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호(어택성 음악 신호)의 본래의 파워 스펙트럼의 일례를 나타내고 있다.

또한, 도 2에는, 특허문헌 1의 대역 확장 방법에 의해, 어택성 음악 신호 중 저역측의 신호 성분을 입력 신호로 하여, 그 입력 신호로부터 추정한 고역측의 주파수 포락에 대해서도 병행해서 나타내고 있다.

도 2에 도시한 바와 같이, 어택성 음악 신호의 본래의 고역측의 파워 스펙트럼은, 거의 평탄하게 되어 있다.

이에 대해, 추정한 고역측의 주파수 포락은, 소정의 부(-)의 기울기를 갖고 있으며, 기점에서, 본래의 파워 스펙트럼에 가까운 파워로 조절하였다고 해도, 주파수가 높아짐에 따라서 본래의 파워 스펙트럼과의 차가 커진다.

이와 같이, 특허문헌 1의 대역 확장 방법에서는, 추정한 고역측의 주파수 포락은, 본래의 고역측의 주파수 포락을 고정밀도로 재현할 수 없다. 그 결과, 주파수 대역의 확장 후의 음악 신호로부터 소리를 생성하여 출력하면, 청감상, 원음보다도 소리의 명료성이 상실되는 일이 있었다.

또한, 전술의 HE-AAC 등의 고역 특징 부호화 방법에서는, 부호화되는 고역의 신호 성분의 특징적인 정보로서, 고역측의 주파수 포락이 사용되지만, 복호 측에서 본래의 고역측의 주파수 포락을 고정밀도로 재현하는 것이 요구된다.

본 발명은, 이러한 상황을 감안하여 이루어진 것이며, 주파수 대역의 확장에 의해, 음악 신호를 보다 고음질로 재생할 수 있도록 하는 것이다.

본 발명의 제1 측면의 주파수 대역 확장 장치는, 입력 신호를 복수의 서브 밴드 신호로 분할하는 신호 분할 수단과, 상기 신호 분할 수단에 의해 분할된 상기 복수의 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽을 사용하여, 상기 입력 신호의 특징을 나타내는 특징량을 산출하는 특징량 산출 수단과, 상기 특징량 산출 수단에 의해 산출된 상기 특징량에 기초하여, 상기 입력 신호보다 고역의 서브 밴드 신호의 파워인 고역 서브 밴드 파워의 추정값을 산출하는 고역 서브 밴드 파워 추정 수단과, 상기 신호 분할 수단에 의해 분할된 상기 복수의 서브 밴드 신호와, 상기 고역 서브 밴드 파워 추정 수단에 의해 산출된 상기 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성하는 고역 신호 성분 생성 수단을 구비하고, 상기 고역 신호 성분 생성 수단에 의해 생성된 상기 고역 신호 성분을 사용하여, 상기 입력 신호의 주파수 대역을 확장한다.

상기 특징량 산출 수단은, 상기 복수의 서브 밴드 신호의 파워인 저역 서브 밴드 파워를 상기 특징량으로서 산출시킬 수 있다.

상기 특징량 산출 수단은, 상기 복수의 서브 밴드 신호의 파워인 저역 서브 밴드 파워의 시간 변동을 상기 특징량으로서 산출시킬 수 있다.

상기 특징량 산출 수단은, 상기 입력 신호의, 소정의 주파수 대역에 있어서의 파워의 최대값과 최소값의 차를 상기 특징량으로서 산출시킬 수 있다.

상기 특징량 산출 수단은, 상기 입력 신호의, 소정의 주파수 대역에 있어서의 파워의 최대값과 최소값의 차의 시간 변동을 상기 특징량으로서 산출시킬 수 있다.

상기 특징량 산출 수단은, 상기 입력 신호의, 소정의 주파수 대역에 있어서의 파워의 경사를 상기 특징량으로서 산출시킬 수 있다.

상기 특징량 산출 수단은, 상기 입력 신호의, 소정의 주파수 대역에 있어서의 파워의 경사의 시간 변동을 상기 특징량으로서 산출시킬 수 있다.

상기 고역 서브 밴드 파워 추정 수단은, 상기 특징량과, 미리 학습에 의해 얻어진 고역의 서브 밴드마다의 계수에 기초하여, 상기 고역 서브 밴드 파워의 추정값을 산출시킬 수 있다.

상기 고역의 서브 밴드마다의 계수는, 복수의 교사 신호를 사용한 회귀 분석에 의해 얻어진 고역의 서브 밴드마다의 계수가 사용되어 산출된, 상기 고역 신호 성분의 잔차 벡터를 클러스터링하고, 상기 클러스터링에 의해 얻어진 클러스터마다, 상기 클러스터에 속하는 상기 교사 신호를 사용하여 회귀 분석을 행함으로써 생성되도록 할 수 있다.

상기 잔차 벡터는, 복수의 상기 잔차 벡터의 각 성분의 분산값에 의해 정규화되고, 정규화 후의 상기 벡터가 클러스터링 되도록 할 수 있다.

상기 고역 서브 밴드 파워 추정 수단은, 상기 특징량과, 상기 고역의 서브 밴드마다의 계수 및 상수에 기초하여, 상기 고역 서브 밴드 파워의 추정값을 산출하고, 상기 상수는, 상기 클러스터에 속하는 상기 교사 신호를 사용한 회귀 분석에 의해 얻어진 고역의 서브 밴드마다의 계수를 사용하며, 또한 상기 잔차 벡터를 산출하고, 그 상기 잔차 벡터를 복수의 새로운 클러스터에 클러스터링하여 얻어진, 상기 새로운 클러스터의 무게 중심 벡터로부터 산출할 수 있다.

상기 고역 서브 밴드 파워 추정 수단은, 상기 고역의 서브 밴드마다의 계수와, 상기 고역의 서브 밴드마다의 계수를 특정하는 포인터를 대응시켜 기록함과 함께, 상기 포인터와 상기 상수의 세트를 복수 기록하고, 복수의 상기 포인터 중 몇인가에는, 포인터가 동일값을 나타내는 것이 포함되도록 할 수 있다.

상기 고역 신호 생성 수단은, 상기 복수의 서브 밴드 신호의 파워인 저역 서브 밴드 파워와, 상기 고역 서브 밴드 파워의 추정값으로부터, 상기 고역 신호 성분을 생성시킬 수 있다.

본 발명의 제1 측면의 주파수 대역 확장 방법은, 입력 신호를 복수의 서브 밴드 신호로 분할하는 신호 분할 단계과, 상기 신호 분할 단계의 처리에 의해 분할된 상기 복수의 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽을 사용하여, 상기 입력 신호의 특징을 나타내는 특징량을 산출하는 특징량 산출 단계와, 상기 특징량 산출 단계의 처리에 의해 산출된 상기 특징량에 기초하여, 상기 입력 신호보다 고역의 서브 밴드 신호의 파워인 고역 서브 밴드 파워의 추정값을 산출하는 고역 서브 밴드 파워 추정 단계와, 상기 신호 분할 단계의 처리에 의해 분할된 상기 복수의 서브 밴드 신호와, 상기 고역 서브 밴드 파워 추정 단계의 처리에 의해 산출된 상기 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성하는 고역 신호 성분 생성 단계를 포함하고, 상기 고역 신호 성분 생성 단계의 처리에 의해 생성된 상기 고역 신호 성분을 사용하여, 상기 입력 신호의 주파수 대역을 확장한다.

본 발명의 제1 측면의 프로그램은, 입력 신호를 복수의 서브 밴드 신호로 분할하는 신호 분할 단계와, 상기 신호 분할 단계의 처리에 의해 분할된 상기 복수의 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽을 사용하여, 상기 입력 신호의 특징을 나타내는 특징량을 산출하는 특징량 산출 단계와, 상기 특징량 산출 단계의 처리에 의해 산출된 상기 특징량에 기초하여, 상기 입력 신호보다 고역의 서브 밴드 신호의 파워인 고역 서브 밴드 파워의 추정값을 산출하는 고역 서브 밴드 파워 추정 단계와, 상기 신호 분할 단계의 처리에 의해 분할된 상기 복수의 서브 밴드 신호와, 상기 고역 서브 밴드 파워 추정 단계의 처리에 의해 산출된 상기 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성하는 고역 신호 성분 생성 단계를 포함하고, 상기 고역 신호 성분 생성 단계의 처리에 의해 생성된 상기 고역 신호 성분을 사용하여, 상기 입력 신호의 주파수 대역을 확장하는 처리를 컴퓨터에 실행시킨다.

본 발명의 제1 측면에 있어서는, 입력 신호가 복수의 서브 밴드 신호로 분할되고, 분할된 복수의 서브 밴드 신호와 입력 신호 중 적어도 어느 한쪽을 사용하여, 입력 신호의 특징을 나타내는 특징량이 산출되고, 산출된 특징량에 기초하여, 입력 신호보다 고역의 서브 밴드 신호의 파워인 고역 서브 밴드 파워의 추정값이 산출되고, 분할된 복수의 서브 밴드 신호와, 산출된 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분이 생성되고, 생성된 고역 신호 성분을 사용하여, 입력 신호의 주파수 대역이 확장된다.

본 발명의 제2 측면의 부호화 장치는, 입력 신호를 복수의 서브 밴드로 분할하고, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과, 상기 서브 밴드 분할 수단에 의해 생성된 상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽을 사용하여, 상기 입력 신호의 특징을 나타내는 특징량을 산출하는 특징량 산출 수단과, 상기 특징량 산출 수단에 의해 산출된 상기 특징량에 기초하여, 상기 고역 서브 밴드 신호의 의사적인 파워인 의사 고역 서브 밴드 파워를 산출하는 의사 고역 서브 밴드 파워 산출 수단과, 상기 서브 밴드 분할 수단에 의해 생성된 상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출하고, 상기 의사 고역 서브 밴드 파워 산출 수단에 의해 산출된 상기 의사 고역 서브 밴드 파워와의 차분인 의사 고역 서브 밴드 파워 차분을 산출하는 의사 고역 서브 밴드 파워 차분 산출 수단과, 상기 의사 고역 서브 밴드 파워 차분 산출 수단에 의해 산출된 상기 의사 고역 서브 밴드 파워 차분을 부호화하여, 고역 부호화 데이터를 생성하는 고역 부호화 수단과, 상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여, 저역 부호화 데이터를 생성하는 저역 부호화 수단과, 상기 저역 부호화 수단에 의해 생성된 상기 저역 부호화 데이터와 상기 고역 부호화 수단에 의해 생성된 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 얻는 다중화 수단을 구비한다.

상기 부호화 장치는, 상기 저역 부호화 수단에 의해 생성된 상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 수단을 더 구비하고, 상기 서브 밴드 분할 수단은, 상기 저역 복호 수단에 의해 생성된 상기 저역 신호로부터, 상기 저역 서브 밴드 신호를 생성시킬 수 있다.

상기 고역 부호화 수단은, 상기 의사 고역 서브 밴드 파워 차분과, 미리 설정한 복수의 의사 고역 서브 밴드 파워 차분 공간에서의 대표 벡터 혹은 대표값과의 유사도를 산출하여, 유사도가 최대가 되는 대표 벡터 혹은 대표값과 대응하는 인덱스를, 상기 고역 부호화 데이터로서 생성시킬 수 있다.

상기 의사 고역 서브 밴드 파워 차분 산출 수단은, 상기 의사 고역 서브 밴드 파워를 산출하기 위한 복수의 계수마다, 각 서브 밴드의 상기 의사 고역 서브 밴드 파워와 상기 고역 서브 밴드 파워에 기초하여 평가값을 산출하고, 상기 고역 부호화 수단은, 가장 평가가 높은 상기 평가값의 상기 계수를 나타내는 인덱스를, 상기 고역 부호화 데이터로서 생성시킬 수 있다.

상기 의사 고역 서브 밴드 파워 차분 산출 수단은, 각 서브 밴드의 상기 의사 고역 서브 밴드 파워 차분의 제곱합, 상기 서브 밴드의 상기 의사 고역 서브 밴드 파워 차분의 절대값의 최대값 또는 각 서브 밴드의 상기 의사 고역 서브 밴드 파워 차분의 평균값 중 적어도 어느 하나에 기초하여, 상기 평가값을 산출시킬 수 있다.

상기 의사 고역 서브 밴드 파워 차분 산출 수단은, 서로 다른 프레임의 상기 의사 고역 서브 밴드 파워의 차분에 기초하여, 상기 평가값을 산출시킬 수 있다.

상기 의사 고역 서브 밴드 파워 차분 산출 수단은, 서브 밴드마다의 가중치이며, 저역측의 서브 밴드일수록 보다 커지는 가중치가 승산된 상기 의사 고역 서브 밴드 파워 차분을 사용하여, 상기 평가값을 산출시킬 수 있다.

상기 의사 고역 서브 밴드 파워 차분 산출 수단은, 서브 밴드마다의 가중치이며, 상기 고역 서브 밴드 파워가 큰 서브 밴드일수록 보다 커지는 가중치가 승산된 상기 의사 고역 서브 밴드 파워 차분을 사용하여, 상기 평가값을 산출시킬 수 있다.

본 발명의 제2 측면의 부호화 방법은, 입력 신호를 복수의 서브 밴드로 분할하고, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하는 서브 밴드 분할 단계와, 상기 서브 밴드 분할 단계의 처리에 의해 생성된 상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽을 사용하여, 상기 입력 신호의 특징을 나타내는 특징량을 산출하는 특징량 산출 단계와, 상기 특징량 산출 단계의 처리에 의해 산출된 상기 특징량에 기초하여, 상기 고역 서브 밴드 신호의 의사적인 파워인 의사 고역 서브 밴드 파워를 산출하는 의사 고역 서브 밴드 파워 산출 단계와, 상기 서브 밴드 분할 단계의 처리에 의해 생성된 상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출하고, 상기 의사 고역 서브 밴드 파워 산출 단계의 처리에 의해 산출된 상기 의사 고역 서브 밴드 파워와의 차분인 의사 고역 서브 밴드 파워 차분을 산출하는 의사 고역 서브 밴드 파워 차분 산출 단계와, 상기 의사 고역 서브 밴드 파워 차분 산출 단계의 처리에 의해 산출된 상기 의사 고역 서브 밴드 파워 차분을 부호화하여, 고역 부호화 데이터를 생성하는 고역 부호화 단계와, 상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여, 저역 부호화 데이터를 생성하는 저역 부호화 단계와, 상기 저역 부호화 단계의 처리에 의해 생성된 상기 저역 부호화 데이터와 상기 고역 부호화 단계의 처리에 의해 생성된 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 얻는 다중화 단계를 포함한다.

본 발명의 제2 측면의 프로그램은, 입력 신호를 복수의 서브 밴드로 분할하고, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호를 생성하는 서브 밴드 분할 단계와, 상기 서브 밴드 분할 단계의 처리에 의해 생성된 상기 저역 서브 밴드 신호와 상기 입력 신호 중 적어도 어느 한쪽을 사용하여, 상기 입력 신호의 특징을 나타내는 특징량을 산출하는 특징량 산출 단계와, 상기 특징량 산출 단계의 처리에 의해 산출된 상기 특징량에 기초하여, 상기 고역 서브 밴드 신호의 의사적인 파워인 의사 고역 서브 밴드 파워를 산출하는 의사 고역 서브 밴드 파워 산출 단계와, 상기 서브 밴드 분할 단계의 처리에 의해 생성된 상기 고역 서브 밴드 신호로부터, 상기 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워를 산출하고, 상기 의사 고역 서브 밴드 파워 산출 단계의 처리에 의해 산출된 상기 의사 고역 서브 밴드 파워와의 차분인 의사 고역 서브 밴드 파워 차분을 산출하는 의사 고역 서브 밴드 파워 차분 산출 단계와, 상기 의사 고역 서브 밴드 파워 차분 산출 단계의 처리에 의해 산출된 상기 의사 고역 서브 밴드 파워 차분을 부호화하여, 고역 부호화 데이터를 생성하는 고역 부호화 단계와, 상기 입력 신호의 저역의 신호인 저역 신호를 부호화하여, 저역 부호화 데이터를 생성하는 저역 부호화 단계와, 상기 저역 부호화 단계의 처리에 의해 생성된 상기 저역 부호화 데이터와 상기 고역 부호화 단계의 처리에 의해 생성된 상기 고역 부호화 데이터를 다중화하여 출력 부호열을 얻는 다중화 단계를 포함하는 처리를 컴퓨터에 실행시킨다.

본 발명의 제2 측면에 있어서는, 입력 신호가 복수의 서브 밴드로 분할되고, 저역측의 복수의 서브 밴드로 구성되는 저역 서브 밴드 신호와, 고역측의 복수의 서브 밴드로 구성되는 고역 서브 밴드 신호가 생성되고, 생성된 저역 서브 밴드 신호와 입력 신호 중 적어도 어느 한쪽을 사용하여, 입력 신호의 특징을 나타내는 특징량이 산출되고, 산출된 특징량에 기초하여, 고역 서브 밴드 신호의 의사적인 파워인 의사 고역 서브 밴드 파워가 산출되고, 생성된 고역 서브 밴드 신호로부터, 고역 서브 밴드 신호의 파워인 고역 서브 밴드 파워가 산출되고, 산출된 의사 고역 서브 밴드 파워와의 차분인 의사 고역 서브 밴드 파워 차분이 산출되고, 산출된 의사 고역 서브 밴드 파워 차분이 부호화되어, 고역 부호화 데이터가 생성되고, 입력 신호의 저역의 신호인 저역 신호가 부호화되어, 저역 부호화 데이터가 생성되고, 생성된 저역 부호화 데이터와 고역 부호화 수단에 의해 생성된 고역 부호화 데이터가 다중화되어 출력 부호열이 얻어진다.

본 발명의 제3 측면의 복호 장치는, 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와, 인덱스로 역다중화하는 역다중화 수단과, 상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 수단과, 상기 저역 신호의 대역을 복수의 저역 서브 밴드로 분할하고, 상기 저역 서브 밴드마다의 저역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과, 상기 인덱스와, 상기 저역 서브 밴드 신호에 기초하여, 상기 고역 신호를 생성하는 생성 수단을 구비한다.

상기 인덱스는, 입력 신호를 부호화하여 상기 부호화 데이터를 출력하는 장치에 있어서, 부호화 전의 상기 입력 신호와, 상기 입력 신호로부터 추정된 상기 고역 신호에 기초하여 구해진 것으로 할 수 있다.

상기 인덱스는, 부호화되어 있지 않은 것으로 할 수 있다.

상기 인덱스는, 상기 고역 신호의 생성에 사용하는 추정 계수를 나타내는 정보로 할 수 있다.

상기 생성 수단은, 복수의 상기 추정 계수 중, 상기 인덱스에 의해 나타내어지는 상기 추정 계수에 기초하여, 상기 고역 신호를 생성시킬 수 있다.

상기 생성 수단은, 상기 저역 서브 밴드 신호와 상기 저역 신호 중 적어도 어느 한쪽을 사용하여, 상기 부호화 데이터의 특징을 나타내는 특징량을 산출하는 특징량 산출 수단과, 상기 고역 신호의 대역을 구성하는 복수의 고역 서브 밴드 각각에 대해, 상기 특징량과 상기 추정 계수를 사용한 연산에 의해, 상기 고역 서브 밴드의 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하는 고역 서브 밴드 파워 산출 수단과, 상기 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호에 기초하여, 상기 고역 신호를 생성하는 고역 신호 생성 수단을 구비할 수 있다.

상기 고역 서브 밴드 파워 산출 수단은, 복수의 상기 특징량을, 상기 고역 서브 밴드마다 준비된 상기 추정 계수를 사용하여 선형 결합함으로써, 상기 고역 서브 밴드의 상기 고역 서브 밴드 파워를 산출시킬 수 있다.

상기 특징량 산출 수단은, 상기 특징량으로서, 상기 저역 서브 밴드마다 상기 저역 서브 밴드 신호의 저역 서브 밴드 파워를 산출시킬 수 있다.

상기 인덱스는, 복수의 상기 추정 계수 중, 부호화 전의 입력 신호의 상기 고역 신호로부터 얻어진 상기 고역 서브 밴드 파워와, 상기 추정 계수에 기초하여 생성된 상기 고역 서브 밴드 파워의 비교의 결과, 상기 부호화 전의 입력 신호의 상기 고역 신호로부터 얻어진 상기 고역 서브 밴드 파워에 가장 가까운 상기 고역 서브 밴드 파워가 얻어지는 상기 추정 계수를 나타내는 정보로 할 수 있다.

상기 인덱스는, 상기 고역 서브 밴드마다 구해진, 상기 부호화 전의 입력 신호의 상기 고역 신호로부터 얻어진 상기 고역 서브 밴드 파워와, 상기 추정 계수에 기초하여 생성된 상기 고역 서브 밴드 파워와의 차분의 제곱합이 최소로 되는 상기 추정 계수를 나타내는 정보로 할 수 있다.

상기 부호화 데이터에는, 상기 부호화 전의 입력 신호의 상기 고역 신호로부터 얻어진 상기 고역 서브 밴드 파워와, 상기 추정 계수에 기초하여 생성된 상기 고역 서브 밴드 파워와의 차분을 나타내는 차분 정보가 더 포함되도록 할 수 있다.

상기 차분 정보는 부호화되어 있도록 할 수 있다.

상기 고역 서브 밴드 파워 산출 수단은, 상기 특징량과 상기 추정 계수를 사용한 연산에서 얻어진 상기 고역 서브 밴드 파워에, 상기 부호화 데이터에 포함되는 상기 차분 정보에 의해 나타내어지는 상기 차분을 가산시키고, 상기 고역 신호 생성 수단은, 상기 차분이 가산된 상기 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호에 기초하여, 상기 고역 신호를 생성시킬 수 있다.

상기 추정 계수는, 상기 특징량을 설명 변수로 하고, 상기 고역 서브 밴드 파워를 피설명 변수로 한, 최소 제곱법을 사용한 회귀 분석에 의해 구해지는 것으로 할 수 있다.

상기 인덱스는, 부호화 전의 입력 신호의 상기 고역 신호로부터 얻어진 상기 고역 서브 밴드 파워와, 상기 추정 계수에 기초하여 생성된 상기 고역 서브 밴드 파워와의 차분을 요소로 하고, 상기 고역 서브 밴드마다의 상기 차분으로 이루어지는 차분 벡터를 나타내는 정보로 할 수 있고, 상기 추정 계수마다 미리 구해진, 각 상기 고역 서브 밴드의 상기 차분을 요소로 하는 상기 차분의 특징 공간에 있어서의 대표 벡터 또는 대표값과, 상기 인덱스에 의해 나타내어지는 상기 차분 벡터와의 거리를 구하고, 복수의 상기 추정 계수 중, 상기 거리가 최단으로 되는 상기 대표 벡터 또는 상기 대표값의 상기 추정 계수를, 상기 고역 서브 밴드 파워 산출 수단에 공급하는 계수 출력 수단을 더 구비할 수 있다.

상기 인덱스는, 복수의 상기 추정 계수 중, 부호화 전의 입력 신호의 상기 고역 신호와, 상기 추정 계수에 기초하여 생성된 상기 고역 신호의 비교 결과, 상기 부호화 전의 입력 신호의 상기 고역 신호에 가장 가까운 상기 고역 신호가 얻어지는 상기 추정 계수를 나타내는 정보로 할 수 있다.

상기 추정 계수는, 회귀 분석에 의해 구해지도록 할 수 있다.

상기 생성 수단은, 부호화된 상기 인덱스를 복호하여 얻어진 정보에 기초하여, 상기 고역 신호를 생성시킬 수 있다.

상기 인덱스는, 엔트로피 부호화되어 있도록 할 수 있다.

본 발명의 제3 측면의 복호 방법 또는 프로그램은, 입력된 부호화 데이터를, 적어도 저역 부호화 데이터와, 인덱스로 역다중화하는 역다중화 단계와, 상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 단계와, 상기 저역 신호의 대역을 복수의 저역 서브 밴드로 분할하고, 상기 저역 서브 밴드마다의 저역 서브 밴드 신호를 생성하는 서브 밴드 분할 단계와, 상기 인덱스와, 상기 저역 서브 밴드 신호에 기초하여, 상기 고역 신호를 생성하는 생성 단계를 포함한다.

본 발명의 제3 측면에 있어서는, 입력된 부호화 데이터가, 적어도 저역 부호화 데이터와, 인덱스로 역다중화되고, 상기 저역 부호화 데이터가 복호되어, 저역 신호가 생성되고, 상기 저역 신호의 대역이 복수의 저역 서브 밴드로 분할되어, 상기 저역 서브 밴드마다의 저역 서브 밴드 신호가 생성되고, 상기 인덱스와, 상기 저역 서브 밴드 신호에 기초하여, 상기 고역 신호가 생성된다.

본 발명의 제4 측면의 복호 장치는, 입력된 부호화 데이터를, 저역 부호화 데이터와, 고역 신호의 생성에 사용하는 추정 계수를 얻기 위한 인덱스로 역다중화하는 역다중화 수단과, 상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 수단과, 상기 저역 신호의 대역을 복수의 저역 서브 밴드로 분할하고, 상기 저역 서브 밴드마다의 저역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과, 상기 저역 서브 밴드 신호와 상기 저역 신호 중 적어도 어느 한쪽을 사용하여, 상기 부호화 데이터의 특징을 나타내는 특징량을 산출하는 특징량 산출 수단과, 상기 고역 신호의 대역을 구성하는 복수의 고역 서브 밴드 각각에 대해, 미리 준비된 복수의 상기 추정 계수 중, 상기 인덱스에 의해 특정되는 상기 추정 계수를 상기 특징량에 승산하고, 상기 추정 계수가 승산된 상기 특징량의 합을 구함으로써, 상기 고역 서브 밴드의 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하는 고역 서브 밴드 파워 산출 수단과, 상기 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호를 사용하여, 상기 고역 신호를 생성하는 고역 신호 생성 수단을 구비한다.

상기 특징량 산출 수단은, 상기 특징량으로서, 상기 저역 서브 밴드 신호의 저역 서브 밴드 파워를 상기 저역 서브 밴드마다 산출시킬 수 있다.

상기 인덱스는, 상기 복수의 상기 추정 계수 중, 상기 고역 신호의 참값으로부터 얻어진 상기 고역 서브 밴드 파워와, 상기 추정 계수를 사용하여 생성된 상기 고역 서브 밴드 파워와의 차분이며, 상기 고역 서브 밴드마다 구해진 차분의 제곱합이 최소로 되는 상기 추정 계수를 얻기 위한 정보로 할 수 있다.

상기 인덱스에는, 상기 참값으로부터 얻어진 상기 고역 서브 밴드 파워와, 상기 추정 계수를 사용하여 생성된 상기 고역 서브 밴드 파워와의 차분을 나타내는 차분 정보가 더 포함되도록 하고, 상기 고역 서브 밴드 파워 산출 수단은, 상기 추정 계수가 승산된 상기 특징량의 합을 구하여 얻어진 상기 고역 서브 밴드 파워에, 상기 인덱스에 포함되는 상기 차분 정보에 의해 나타내어지는 상기 차분을 더 가산하고, 상기 고역 신호 생성 수단은, 상기 고역 서브 밴드 파워 산출 수단에 의해 상기 차분이 가산된 상기 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호를 사용하여, 상기 고역 신호를 생성시킬 수 있다.

상기 인덱스는, 상기 추정 계수를 나타내는 정보로 할 수 있다.

상기 인덱스를, 상기 추정 계수를 나타내는 정보가 엔트로피 부호화되어 얻어진 정보로 하고, 상기 고역 서브 밴드 파워 산출 수단은, 상기 인덱스를 복호하여 얻어진 정보에 의해 나타내어지는 상기 추정 계수를 사용하여, 상기 고역 서브 밴드 파워를 산출시킬 수 있다.

상기 복수의 상기 추정 계수는, 상기 특징량을 설명 변수로 하고, 상기 고역 서브 밴드 파워를 피설명 변수로 한, 최소 제곱법을 사용한 회귀 분석에 의해 미리 구해져 있도록 할 수 있다.

상기 인덱스를, 상기 고역 신호의 참값으로부터 얻어진 상기 고역 서브 밴드 파워와, 상기 추정 계수를 사용하여 생성된 상기 고역 서브 밴드 파워와의 차분을 요소로 하고, 상기 고역 서브 밴드마다의 상기 차분으로 이루어지는 차분 벡터를 나타내는 정보로 하고, 상기 추정 계수마다 미리 구해진, 각 상기 고역 서브 밴드의 상기 차분을 요소로 하는 상기 차분의 특징 공간에 있어서의 대표 벡터 또는 대표값과, 상기 인덱스에 의해 나타내어지는 상기 차분 벡터와의 거리를 구하고, 상기 복수의 상기 추정 계수 중, 상기 거리가 최단으로 되는 상기 대표 벡터 또는 상기 대표값의 상기 추정 계수를, 상기 고역 서브 밴드 파워 산출 수단에 공급하는 계수 출력 수단을 더 구비할 수 있다.

본 발명의 제4 측면의 복호 방법 또는 프로그램은, 입력된 부호화 데이터를, 저역 부호화 데이터와, 고역 신호의 생성에 사용하는 추정 계수를 얻기 위한 인덱스로 역다중화하는 역다중화 단계와, 상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 단계와, 상기 저역 신호의 대역을 복수의 저역 서브 밴드로 분할하고, 상기 저역 서브 밴드마다의 저역 서브 밴드 신호를 생성하는 서브 밴드 분할 단계와, 상기 저역 서브 밴드 신호와 상기 저역 신호 중 적어도 어느 한쪽을 사용하여, 상기 부호화 데이터의 특징을 나타내는 특징량을 산출하는 특징량 산출 단계와, 상기 고역 신호의 대역을 구성하는 복수의 고역 서브 밴드 각각에 대해, 미리 준비된 복수의 상기 추정 계수 중, 상기 인덱스에 의해 특정되는 상기 추정 계수를 상기 특징량에 승산하고, 상기 추정 계수가 승산된 상기 특징량의 합을 구함으로써, 상기 고역 서브 밴드의 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하는 고역 서브 밴드 파워 산출 단계와, 상기 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호를 사용하여, 상기 고역 신호를 생성하는 고역 신호 생성 단계를 포함한다.

본 발명의 제4 측면에 있어서는, 입력된 부호화 데이터가, 저역 부호화 데이터와, 고역 신호의 생성에 사용하는 추정 계수를 얻기 위한 인덱스로 역다중화되고, 상기 저역 부호화 데이터가 복호되어, 저역 신호가 생성되고, 상기 저역 신호의 대역이 복수의 저역 서브 밴드로 분할되어, 상기 저역 서브 밴드마다의 저역 서브 밴드 신호가 생성되고, 상기 저역 서브 밴드 신호와 상기 저역 신호 중 적어도 어느 한쪽을 사용하여, 상기 부호화 데이터의 특징을 나타내는 특징량이 산출되고, 상기 고역 신호의 대역을 구성하는 복수의 고역 서브 밴드 각각에 대해, 미리 준비된 복수의 상기 추정 계수 중, 상기 인덱스에 의해 특정되는 상기 추정 계수가 상기 특징량에 승산되고, 상기 추정 계수가 승산된 상기 특징량의 합을 구함으로써, 상기 고역 서브 밴드의 고역 서브 밴드 신호의 고역 서브 밴드 파워가 산출되고, 상기 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호를 사용하여, 상기 고역 신호가 생성된다.

본 발명의 제1 내지 제4 측면에 따르면, 주파수 대역의 확장에 의해, 음악 신호를 보다 고음질로 재생할 수 있다.

도 1은 입력 신호로서의 복호 후의 저역의 파워 스펙트럼과, 추정한 고역의 주파수 포락의 일례를 나타내는 도면이다.
도 2는 시간적으로 급격한 변화를 수반하는 어택성의 음악 신호의 본래의 파워 스펙트럼의 일례를 나타내는 도면이다.
도 3은 본 발명의 제1 실시 형태에 있어서의 주파수 대역 확장 장치의 기능적 구성예를 도시하는 블록도이다.
도 4는 도 3의 주파수 대역 확장 장치에 의한 주파수 대역 확장 처리의 예를 설명하는 흐름도이다.
도 5는 도 3의 주파수 대역 확장 장치에 입력되는 신호의 파워 스펙트럼과 대역 통과 필터의 주파수축 상의 배치를 도시하는 도면이다.
도 6은 보컬 구간의 주파수 특성과, 추정된 고역의 파워 스펙트럼의 예를 나타내는 도면이다.
도 7은 도 3의 주파수 대역 확장 장치에 입력되는 신호의 파워 스펙트럼의 예를 나타내는 도면이다.
도 8은 도 7의 입력 신호의 리프터링 후의 파워 스펙트럼의 예를 나타내는 도면이다.
도 9는 도 3의 주파수 대역 확장 장치의 고역 신호 생성 회로에서 사용되는 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 나타내는 블록도이다.
도 10은 도 9의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 흐름도이다.
도 11은 본 발명의 제2 실시 형태에 있어서의 부호화 장치의 기능적 구성예를 나타내는 블록도이다.
도 12는 도 11의 부호화 장치에 의한 부호화 처리의 예를 설명하는 흐름도이다.
도 13은 본 발명의 제2 실시 형태에 있어서의 복호 장치의 기능적 구성예를 나타내는 블록도이다.
도 14는 도 13의 복호 장치에 의한 복호 처리의 예를 설명하는 흐름도이다.
도 15는 도 11의 부호화 장치의 고역 부호화 회로에서 사용되는 대표 벡터 및 도 13의 복호 장치의 고역 복호 회로에서 사용되는 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하기 위한 계수 학습 장치의 기능적 구성예를 나타내는 블록도이다.
도 16은 도 15의 계수 학습 장치에 의한 계수 학습 처리의 예를 설명하는 흐름도이다.
도 17은 도 11의 부호화 장치가 출력하는 부호열의 예를 나타내는 도면이다.
도 18은 부호화 장치의 기능적 구성예를 나타내는 블록도이다.
도 19는 부호화 처리를 설명하는 흐름도이다.
도 20은 복호 장치의 기능적 구성예를 나타내는 블록도이다.
도 21은 복호 처리를 설명하는 흐름도이다.
도 22는 부호화 처리를 설명하는 흐름도이다.
도 23은 복호 처리를 설명하는 흐름도이다.
도 24는 부호화 처리를 설명하는 흐름도이다.
도 25는 부호화 처리를 설명하는 흐름도이다.
도 26은 부호화 처리를 설명하는 흐름도이다.
도 27은 부호화 처리를 설명하는 흐름도이다.
도 28은 계수 학습 장치의 구성예를 나타내는 도면이다.
도 29는 계수 학습 처리를 설명하는 흐름도이다.
도 30은 본 발명이 적용되는 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

이하, 본 발명의 실시 형태에 대해서 도를 참조하여 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 제1 실시 형태(주파수 대역 확장 장치에 본 발명을 적용한 경우)

2. 제2 실시 형태(부호화 장치 및 복호 장치에 본 발명을 적용한 경우)

3. 제3 실시 형태(계수 인덱스를 고역 부호화 데이터에 포함하는 경우)

4. 제4 실시 형태(계수 인덱스와 의사 고역 서브 밴드 파워 차분을 고역 부호화 데이터에 포함하는 경우)

5. 제5 실시 형태(평가값을 사용하여 계수 인덱스를 선택하는 경우)

6. 제6 실시 형태(계수의 일부를 공통으로 하는 경우)

<1. 제1 실시 형태>

제1 실시 형태에서는, 고역 삭제 부호화 방법으로 부호화 데이터를 복호하여 얻어지는 복호 후의 저역의 신호 성분에 대하여, 주파수 대역을 확장시키는 처리(이하, 주파수 대역 확장 처리라고 칭함)가 실시된다.

[주파수 대역 확장 장치의 기능적 구성예]

도 3은, 본 발명을 적용한 주파수 대역 확장 장치의 기능적 구성예를 나타내고 있다.

주파수 대역 확장 장치(10)는, 복호 후의 저역의 신호 성분을 입력 신호로 하여, 그 입력 신호에 대하여, 주파수 대역 확장 처리를 실시하고, 그 결과 얻어지는 주파수 대역 확장 처리 후의 신호를 출력 신호로서 출력한다.

주파수 대역 확장 장치(10)는, 저역 통과 필터(11), 지연 회로(12), 대역 통과 필터(13), 특징량 산출 회로(14), 고역 서브 밴드 파워 추정 회로(15), 고역 신호 생성 회로(16), 고역 통과 필터(17) 및 신호 가산기(18)로 구성된다.

저역 통과 필터(11)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서, 저역의 신호 성분인 저역 신호 성분을 지연 회로(12)에 공급한다.

지연 회로(12)는, 저역 통과 필터(11)로부터의 저역 신호 성분과 후술하는 고역 신호 성분을 가산할 때의 동기를 취하기 위해서, 저역 신호 성분을, 일정한 지연 시간만큼 지연해서 신호 가산기(18)에 공급한다.

대역 통과 필터(13)는, 각각 상이한 통과 대역을 갖는 대역 통과 필터(13-1) 내지(13-N)으로 구성된다. 대역 통과 필터(13-i)(1≤i≤N)는, 입력 신호 중 소정의 통과 대역의 신호를 통과시키고, 복수의 서브 밴드 신호 중 1개로서, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다.

특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와, 입력 신호의 적어도 어느 한쪽을 사용하여, 1개 또는 복수의 특징량을 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다. 여기서, 특징량이란, 입력 신호의, 신호로서의 특징을 나타내는 정보이다.

고역 서브 밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의, 1개 또는 복수의 특징량에 기초하여, 고역의 서브 밴드 신호의 파워인 고역 서브 밴드 파워의 추정값을 고역 서브 밴드마다 산출하여, 이들을 고역 신호 생성 회로(16)에 공급한다.

고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와, 고역 서브 밴드 파워 추정 회로(15)로부터의 복수의 고역 서브 밴드 파워의 추정값에 기초하여, 고역의 신호 성분인 고역 신호 성분을 생성하여, 고역 통과 필터(17)에 공급한다.

고역 통과 필터(17)는, 고역 신호 생성 회로(16)로부터의 고역 신호 성분을, 저역 통과 필터(11)에 있어서의 차단 주파수에 대응하는 차단 주파수로 필터링하여, 신호 가산기(18)에 공급한다.

신호 가산기(18)는, 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하여, 출력 신호로서 출력한다.

또한, 도 3의 구성에 있어서는, 서브 밴드 신호를 취득하기 위해서 대역 통과 필터(13)를 적용하도록 하였지만, 이에 한정하지 않고, 예를 들어 특허문헌 1에 기재되어 있는 것 같은 대역 분할 필터를 적용하도록 해도 된다.

또한, 마찬가지로, 도 3의 구성에 있어서는, 서브 밴드 신호를 합성하기 위해서 신호 가산기(18)를 적용하도록 하였지만, 이에 한정하지 않고, 예를 들어 특허문헌 1에 기재되어 있는 것 같은 대역 합성 필터를 적용하도록 해도 된다.

[주파수 대역 확장 장치의 주파수 대역 확장 처리]

이어서, 도 4의 흐름도를 참조하여, 도 3의 주파수 대역 확장 장치에 의한 주파수 대역 확장 처리에 대해서 설명한다.

스텝 S1에 있어서, 저역 통과 필터(11)는, 입력 신호를 소정의 차단 주파수로 필터링하여, 필터링 후의 신호로서의 저역 신호 성분을 지연 회로(12)에 공급한다.

저역 통과 필터(11)는, 차단 주파수로서 임의의 주파수를 설정하는 것이 가능하지만, 본 실시 형태에서는, 소정의 대역을 후술하는 확장 개시 대역으로서, 그 확장 개시 대역의 하단의 주파수에 대응하여 차단 주파수가 설정된다. 따라서, 저역 통과 필터(11)는, 필터링 후의 신호로서, 확장 개시 대역보다 저역의 신호 성분인 저역 신호 성분을, 지연 회로(12)에 공급한다.

또한, 저역 통과 필터(11)는, 입력 신호의 고역 삭제 부호화 방법이나 비트율 등의 부호화 파라미터에 따라, 최적의 주파수를 차단 주파수로서 설정할 수도 있다. 이 부호화 파라미터로서는, 예를 들어 특허문헌 1의 대역 확장 방법에서 채용되어 있는 사이드 정보를 이용할 수 있다.

스텝 S2에 있어서, 지연 회로(12)는, 저역 통과 필터(11)로부터의 저역 신호 성분을 일정한 지연 시간만큼 지연해서 신호 가산기(18)에 공급한다.

스텝 S3에 있어서, 대역 통과 필터(13)(대역 통과 필터(13-1) 내지(13-N)는, 입력 신호를 복수의 서브 밴드 신호로 분할하고, 분할 후의 복수의 서브 밴드 신호 각각을, 특징량 산출 회로(14) 및 고역 신호 생성 회로(16)에 공급한다. 또한, 대역 통과 필터(13)에 의한 입력 신호의 분할의 처리에 대해서는, 그 상세를 후술한다.

스텝 S4에 있어서, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와, 입력 신호의, 적어도 어느 한쪽을 사용하여, 1개 또는 복수의 특징량을 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다. 또한, 특징량 산출 회로(14)에 의한 특징량의 산출의 처리에 대해서는, 그 상세를 후술한다.

스텝 S5에 있어서, 고역 서브 밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의, 1개 또는 복수의 특징량에 기초하여, 복수의 고역 서브 밴드 파워의 추정값을 산출하여, 고역 신호 생성 회로(16)에 공급한다. 또한, 고역 서브 밴드 파워 추정 회로(15)에 의한 고역 서브 밴드 파워의 추정값의 산출의 처리에 대해서는, 그 상세를 후술한다.

스텝 S6에 있어서, 고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와, 고역 서브 밴드 파워 추정 회로(15)로부터의 복수의 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분을 생성하여, 고역 통과 필터(17)에 공급한다. 여기에서 말하는 고역 신호 성분이란, 확장 개시 대역보다 고역의 신호 성분이다. 또한, 고역 신호 생성 회로(16)에 의한 고역 신호 성분의 생성의 처리에 대해서는, 그 상세를 후술한다.

스텝 S7에 있어서, 고역 통과 필터(17)는, 고역 신호 생성 회로(16)로부터의 고역 신호 성분을 필터링함으로써, 고역 신호 성분에 포함되는 저역으로 되돌아 가려고 하는 성분 등의 노이즈를 제거하고, 그 고역 신호 성분을 신호 가산기(18)에 공급한다.

스텝 S8에 있어서, 신호 가산기(18)는, 지연 회로(12)로부터의 저역 신호 성분과, 고역 통과 필터(17)로부터의 고역 신호 성분을 가산하여, 출력 신호로서 출력한다.

이상의 처리에 의하면, 복호 후의 저역의 신호 성분에 대하여, 주파수 대역을 확장시킬 수 있다.

이어서, 도 4의 흐름도의 스텝 S3 내지 S6 각각의 처리의 상세에 대해서 설명한다.

[대역 통과 필터에 의한 처리의 상세]

우선, 도 4의 흐름도의 스텝 S3에 있어서의 대역 통과 필터(13)에 의한 처리의 상세에 대해서 설명한다.

또한, 설명의 편의를 위하여, 이하에 있어서는, 대역 통과 필터(13)의 개수 N을 N=4로 한다.

예를 들어, 입력 신호의 나이키스트 주파수를 16등분으로 분할함으로써 얻어지는 16개의 서브 밴드 중 1개를 확장 개시 대역으로 하고, 그들 16개의 서브 밴드 중 확장 개시 대역보다 저역의 4개의 서브 밴드 각각을, 대역 통과 필터(13-1) 내지(13-4)의 통과 대역의 각각으로 한다.

도 5는, 대역 통과 필터(13-1) 내지(13-4)의 각 통과 대역 각각의 주파수축 상에 있어서의 배치를 나타내고 있다.

도 5에 도시된 바와 같이, 확장 개시 대역보다 저역의 주파수 대역(서브 밴드) 중 고역으로부터 1번째의 서브 밴드의 인덱스를 sb, 2번째의 서브 밴드의 인덱스를 sb-1, I번째의 서브 밴드의 인덱스를 sb-(I-1)로 하면, 대역 통과 필터(13-1) 내지(13-4) 각각은, 확장 개시 대역보다 저역의 서브 밴드 중, 인덱스가sb 내지 Sb-3의 서브 밴드 각각을, 통과 대역으로서 할당한다.

또한, 본 실시 형태에서는, 대역 통과 필터(13-1) 내지(13-4)의 통과 대역 각각은, 입력 신호의 나이키스트 주파수를 16등분 하여 얻어지는 16개의 서브 밴드 중 소정의 4개의 각각인 것으로 하였지만, 이에 한정하지 않고, 입력 신호의 나이키스트 주파수를 256등분 하여 얻어지는 256개의 서브 밴드 중 소정의 4개 각각이도록 해도 된다. 또한, 대역 통과 필터(13-1) 내지(13-4) 각각의 대역 폭은, 각각 달라도 된다.

[특징량 산출 회로에 의한 처리의 상세]

이어서, 도 4의 흐름도의 스텝 S4에 있어서의 특징량 산출 회로(14)에 의한 처리의 상세에 대해서 설명한다.

특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호와, 입력 신호의, 적어도 어느 한쪽을 사용하여, 고역 서브 밴드 파워 추정 회로(15)가 고역 서브 밴드 파워의 추정값을 산출하기 위해 사용하는, 1개 또는 복수의 특징량을 산출한다.

보다 구체적으로는, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 4개의 서브 밴드 신호로부터, 서브 밴드마다, 서브 밴드 신호의 파워(서브 밴드 파워(이하, 저역 서브 밴드 파워라고도 말한다))를 특징량으로서 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다.

즉, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터 공급된, 4개의 서브 밴드 신호 x(ib, n)로부터, 어떤 소정의 시간 프레임 J에 있어서의 저역 서브 밴드 파워 power(ib, J)를, 이하의 수학식 1에 의해 구한다. 여기서, ib는, 서브 밴드의 인덱스, n은 이산 시간의 인덱스를 나타내고 있다. 또한, 1프레임의 샘플수를 FSIZE로 하고, 파워는 데시벨로 표현되는 것으로 한다.

[수학식 1]

이와 같이 하여, 특징량 산출 회로(14)에 의해 구해진 저역 서브 밴드 파워 power(ib, J)는, 특징량으로서 고역 서브 밴드 파워 추정 회로(15)에 공급된다.

[고역 서브 밴드 파워 추정 회로에 의한 처리의 상세]

이어서, 도 4의 흐름도의 스텝 S5에 있어서의 고역 서브 밴드 파워 추정 회로(15)에 의한 처리의 상세에 대해서 설명한다.

고역 서브 밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터 공급된 4개의 서브 밴드 파워에 기초하여, 인덱스가 sb+1인 서브 밴드(확장 개시 대역) 이후의, 확장하고자 하는 대역(주파수 확장 대역)의 서브 밴드 파워(고역 서브 밴드 파워)의 추정값을 산출한다.

즉, 고역 서브 밴드 파워 추정 회로(15)는, 주파수 확장 대역의 최고역의 서브 밴드의 인덱스를 eb로 하면, 인덱스가 sb+1 내지 eb인 서브 밴드에 대해, (eb-sb) 개의 서브 밴드 파워를 추정한다.

주파수 확장 대역에 있어서의, 인덱스가 ib인 서브 밴드 파워의 추정값power_est(ib, J)는, 특징량 산출 회로(14)로부터 공급된 4개의 서브 밴드 파워 power(ib, j)를 사용하여, 예를 들어 이하의 수학식 2에 의해 표현된다.

[수학식 2]

여기서, 수학식 2에 있어서, 계수 A_ib(kb), B_ib은, 서브 밴드 ib마다 상이한 값을 갖는 계수이다. 계수 A_ib(kb), B_ib은, 여러 가지 입력 신호에 대하여 적합한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브 밴드sb의 변경에 의해, 계수 A_ib(kb), B_ib도 최적의 값으로 변경된다. 또한, 계수 A_ib(kb), B_ib의 도출에 대해서는 후술한다.

수학식 2에 있어서, 고역 서브 밴드 파워의 추정값은, 대역 통과 필터(13)로부터의 복수의 서브 밴드 신호 각각의 파워를 사용한 1차 선형 결합에 의해 산출되어 있지만, 이에 한정하지 않고, 예를 들어 시간 프레임 J의 전후 수 프레임의 복수의 저역 서브 밴드 파워의 선형 결합을 사용하여 산출되도록 해도 되고, 비선형 함수를 사용하여 산출되도록 해도 된다.

이와 같이 하여, 고역 서브 밴드 파워 추정 회로(15)에 의해 산출된 고역 서브 밴드 파워의 추정값은, 고역 신호 생성 회로(16)에 공급된다.

[고역 신호 생성 회로에 의한 처리의 상세]

이어서, 도 4의 흐름도의 스텝 S6에 있어서의 고역 신호 생성 회로(16)에 의한 처리의 상세에 대해서 설명한다.

고역 신호 생성 회로(16)는, 대역 통과 필터(13)로부터 공급된 복수의 서브 밴드 신호로부터, 상술한 수학식 1에 기초하여, 각각의 서브 밴드의 저역 서브 밴드 파워 power(ib, J)를 산출한다. 고역 신호 생성 회로(16)는, 산출한 복수의 저역 서브 밴드 파워 power(ib, J)와, 고역 서브 밴드 파워 추정 회로(15)에 의해 상술한 수학식 2에 기초하여 산출된 고역 서브 밴드 파워의 추정값power_est(ib, J)를 사용하여, 이하의 수학식 3에 의해, 이득량G(ib, J)를 구한다.

[수학식 3]

여기서, 수학식 3에 있어서, sb_map(ib)은, 서브 밴드 ib를 사상 처(先)의 서브 밴드로 하였을 경우의 사상 원(元)의 서브 밴드의 인덱스를 나타내고 있고, 이하의 수학식 4로 표현된다.

[수학식 4]

또한, 수학식 4에 있어서, INT(a)은, 값a의 소수점 이하를 잘라 버리는 함수이다.

이어서, 고역 신호 생성 회로(16)는, 이하의 수학식 5를 사용하여, 수학식 3에 의해 구한 이득량G(ib, J)를 대역 통과 필터(13)의 출력에 곱함으로써, 이득 조정 후의 서브 밴드 신호 x2(ib, n)을 산출한다.

[수학식 5]

또한, 고역 신호 생성 회로(16)는, 이하의 수학식 6에 의해, 인덱스가sb-3인 서브 밴드의 하단의 주파수에 대응하는 주파수로부터, 인덱스가sb인 서브 밴드의 상단의 주파수에 대응하는 주파수에 코사인 변조를 행함으로써, 이득 조정 후의 서브 밴드 신호 x2(ib, n)로부터, 코사인 변환된 이득 조정 후의 서브 밴드 신호 x3(ib, n)을 산출한다.

[수학식 6]

또한, 수학식 6에 있어서, Π은 원주율을 나타낸다. 이 수학식 6은, 이득 조정 후의 서브 밴드 신호 x2(ib, n)가, 각각 4 밴드분 고역측의 주파수로 시프트되는 것을 의미하고 있다.

그리고, 고역 신호 생성 회로(16)는, 이하의 수학식 7에 의해, 고역측으로 시프트한 이득 조정 후의 서브 밴드 신호 x3(ib, n)로부터, 고역 신호 성분x_high(n)을 산출한다.

[수학식 7]

이와 같이 하여, 고역 신호 생성 회로(16)에 의해, 대역 통과 필터(13)로부터의 4개의 서브 밴드 신호에 기초하여 산출한 4개의 저역 서브 밴드 파워 및 고역 서브 밴드 파워 추정 회로(15)로부터의 고역 서브 밴드 파워의 추정값에 기초하여, 고역 신호 성분이 생성되어, 고역 통과 필터(17)에 공급된다.

이상의 처리에 의하면, 고역 삭제 부호화 방법에 의한 부호화 데이터의 복호 후에 얻어진 입력 신호에 대하여, 복수의 서브 밴드 신호로부터 산출된 저역 서브 밴드 파워를 특징량으로 하고, 이것과 적절하게 설정된 계수에 기초하여, 고역 서브 밴드 파워의 추정값이 산출되고, 저역 서브 밴드 파워와 고역 서브 밴드 파워의 추정값으로부터 적응적으로 고역 신호 성분이 생성되므로, 주파수 확장 대역의 서브 밴드 파워를 고정밀도로 추정할 수 있고, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

이상에 있어서는, 특징량 산출 회로(14)가, 복수의 서브 밴드 신호로부터 산출된 저역 서브 밴드 파워만을 특징량으로서 산출하는 예에 대해서 설명하였지만, 이 경우, 입력 신호의 종류에 따라서는, 주파수 확장 대역의 서브 밴드 파워를 고정밀도로 추정할 수 없는 경우가 있다.

따라서, 특징량 산출 회로(14)가, 주파수 확장 대역의 서브 밴드 파워가 생성되는 형태(고역의 파워 스펙트럼의 형상)와 상관이 강한 특징량을 산출하도록 함으로써, 고역 서브 밴드 파워 추정 회로(15)에 있어서의 주파수 확장 대역의 서브 밴드 파워의 추정을 보다 고정밀도로 행할 수도 있다.

[특징량 산출 회로에 의해 산출되는 특징량의 다른 예]

도 6은, 어떤 입력 신호에 있어서, 보컬이 그 대부분을 차지하는 구간인 보컬 구간의 주파수 특성의 일례와, 저역 서브 밴드 파워만을 특징량으로서 산출해서 고역 서브 밴드 파워를 추정함으로써 얻어진 고역의 파워 스펙트럼을 나타내고 있다.

도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에 있어서는, 추정된 고역의 파워 스펙트럼이, 원신호의 고역의 파워 스펙트럼보다도 위에 위치하는 일이 많다. 사람의 가성의 위화감은 사람의 귀에 지각되기 쉽기 때문에, 보컬 구간에서는 고역 서브 밴드 파워의 추정을 특히 고정밀도로 행할 필요가 있다.

또한, 도 6에 도시된 바와 같이, 보컬 구간의 주파수 특성에 있어서는, 4.9㎑로부터 11.025㎑의 사이에 1개의 큰 오목부가 있는 경우가 많다.

따라서, 이하에서는, 보컬 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로서, 주파수 영역에서의 4.9㎑로부터 11.025㎑에 있어서의 오목부의 정도를 적용하는 예에 대해서 설명한다. 또한, 이 오목부의 정도를 나타내는 특징량을, 이하, 딥이라고 칭한다.

이하, 시간 프레임 J에 있어서의 딥dip(J)의 산출예에 대해서 설명한다.

우선, 입력 신호 중, 시간 프레임 J를 포함하는 전후 수 프레임의 범위에 포함되는 2048 샘플 구간의 신호에 대하여, 2048점 FFT(Fast Fourier Transform)를 실시하고, 주파수축 상에서의 계수를 산출한다. 산출된 각 계수의 절대값에 db 변환을 실시함으로써 파워 스펙트럼을 얻는다.

도 7은, 상술한 바와 같이 해서 얻어진 파워 스펙트럼의 일례를 나타내고 있다. 여기서, 파워 스펙트럼의 미세한 성분을 제거하기 위해서, 예를 들어 1. 3㎑이하의 성분을 제거하도록 리프터링 처리를 행한다. 리프터링 처리에 의하면, 파워 스펙트럼의 각 차원을 시간 계열로 가정하고, 저역 통과 필터에 거는 것에 의해 필터링 처리를 행함으로써, 스펙트럼 피크의 미세한 성분을 평활화할 수 있다.

도 8은, 리프터링 후의 입력 신호의 파워 스펙트럼의 일례를 나타내고 있다. 도 8에 나타내어지는 리프터링 후의 파워 스펙트럼에 있어서, 4.9㎑로부터 11.025㎑에 상당하는 범위에 포함되는 파워 스펙트럼의 최소값과 최대값과의 차를 딥dip(J)로 한다.

이와 같이 하여, 주파수 확장 대역의 서브 밴드 파워와 상관이 강한 특징량이 산출된다. 또한, 딥dip(J)의 산출예는, 상술한 방법에 한하지 않고, 다른 방법이여도 된다.

이어서, 주파수 확장 대역의 서브 밴드 파워와 상관이 강한 특징량의 산출의 다른 예에 대해서 설명한다.

[특징량 산출 회로에 의해 산출되는 특징량의 또 다른 예]

어떤 입력 신호에, 어택성 음악 신호를 포함하는 구간인 어택 구간의 주파수 특성에 있어서는, 도 2를 참조하여 설명한 바와 같이 고역측의 파워 스펙트럼은 거의 평탄하게 되어 있는 경우가 많다. 저역 서브 밴드 파워만을 특징량으로서 산출하는 방법에서는, 어택 구간을 포함하는 입력 신호 특유의 시간 변동을 나타내는 특징량을 사용하지 않고 주파수 확장 대역의 서브 밴드 파워를 추정하기 때문에, 어택 구간에서 볼 수 있는 거의 평탄한 주파수 확장 대역의 서브 밴드 파워를 고정밀도로 추정하는 것은 어렵다.

따라서, 이하에서는, 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로서, 저역 서브 밴드 파워의 시간 변동을 적용하는 예에 대해서 설명한다.

어떤 시간 프레임 J에 있어서의 저역 서브 밴드 파워의 시간 변동power_d(J)는, 예를 들어 이하의 수학식 8에 의해 구해진다.

[수학식 8]

수학식 8에 의하면, 저역 서브 밴드 파워의 시간 변동power_d(J)는, 시간 프레임 J에 있어서의 4개의 저역 서브 밴드 파워의 합과, 시간 프레임 J의 1프레임 전의 시간 프레임(J-1)에 있어서의 4개의 저역 서브 밴드 파워의 합의 비를 나타내고 있고, 이 값이 클수록, 프레임간의 파워의 시간 변동이 크고, 즉, 시간 프레임 J에 포함되는 신호는 어택성이 강하다고 생각된다.

또한, 도 1로 나타낸 통계적으로 평균적인 파워 스펙트럼과, 도 2에 나타낸 어택 구간(어택성 음악 신호)의 파워 스펙트럼을 비교하면, 어택 구간의 파워 스펙트럼은 중간 영역에서는 우측 상승으로 되고 있다. 어택 구간에서는, 이러한 주파수 특성을 나타내는 경우가 많다.

따라서, 이하에서는, 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로서, 그 중간 영역에 있어서의 경사를 적용하는 예에 대해서 설명한다.

어떤 시간 프레임 J에 있어서의 중간 영역의 경사slope(J)는, 예를 들어 이하의 수학식 9에 의해 구해진다.

[수학식 9]

수학식 9에 있어서, 계수w(ib)는, 고역 서브 밴드 파워에 가중치를 부여할 수 있게 조정된 가중 계수이다. 수학식 9에 의하면, slope(J)는, 고역에 가중치가 부여된 4개의 저역 서브 밴드 파워의 합과, 4개의 저역 서브 밴드 파워의 합의 비를 나타내고 있다. 예를 들어, 4개의 저역 서브 밴드 파워가 중간 영역의 서브 밴드에 대한 파워로 되어 있는 경우, slope(J)는, 중간 영역의 파워 스펙트럼이 우측 상승일 때는 큰 값을, 우측 하강일 때는 작은 값을 취한다.

또한, 어택 구간의 전후에서 중간 영역의 경사는 크게 변동하는 경우가 많으므로, 이하의 수학식 10으로 표현되는 경사의 시간 변동slope_d(J)를, 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로 하도록 해도 된다.

[수학식 10]

또한, 마찬가지로, 이하의 수학식 11로 표현되는, 상술한 딥dip(J)의 시간 변동dip_d(J)를, 어택 구간의 고역 서브 밴드 파워의 추정에 사용되는 특징량으로 하도록 해도 된다.

[수학식 11]

이상의 방법에 의하면, 주파수 확장 대역의 서브 밴드 파워와 상관이 강한 특징량이 산출되므로, 이들을 사용함으로써 고역 서브 밴드 파워 추정 회로(15)에 있어서의 주파수 확장 대역의 서브 밴드 파워의 추정을 보다 고정밀도로 행할 수 있게 된다.

이상에 있어서는, 주파수 확장 대역의 서브 밴드 파워와 상관이 강한 특징량을 산출하는 예에 대해서 설명해 왔지만, 이하에서는, 이와 같이 산출된 특징량을 사용하여 고역 서브 밴드 파워를 추정하는 예에 대해서 설명한다.

[고역 서브 밴드 파워 추정 회로에 의한 처리의 상세]

여기에서는, 도 8을 참조하여 설명한 딥과, 저역 서브 밴드 파워를 특징량으로서 사용하여, 고역 서브 밴드 파워를 추정하는 예에 대해서 설명한다.

즉, 도 4의 흐름도의 스텝 S4에 있어서, 특징량 산출 회로(14)는, 대역 통과 필터(13)로부터의 4개의 서브 밴드 신호로부터, 서브 밴드마다, 저역 서브 밴드 파워와, 딥을 특징량으로서 산출하여, 고역 서브 밴드 파워 추정 회로(15)에 공급한다.

그리고, 스텝 S5에 있어서, 고역 서브 밴드 파워 추정 회로(15)는, 특징량 산출 회로(14)로부터의 4개의 저역 서브 밴드 파워 및 딥에 기초하여, 고역 서브 밴드 파워의 추정값을 산출한다.

여기서, 서브 밴드 파워와 딥에서는, 취할 수 있는 값의 범위(스케일)가 다르기 때문에, 고역 서브 밴드 파워 추정 회로(15)는, 딥의 값에 대하여, 예를 들어 이하와 같은 변환을 행한다.

고역 서브 밴드 파워 추정 회로(15)는, 미리 대량의 수의 입력 신호에 대해, 4개의 저역 서브 밴드 파워 중 최고역의 서브 밴드 파워와, 딥의 값을 산출하고, 각각에 대해서 평균값과 표준 편차를 구해 둔다. 여기서, 서브 밴드 파워의 평균값을 power_ave, 서브 밴드 파워의 표준 편차를 power_std, 딥의 평균값을 dip_ave, 딥의 표준 편차를 dip_std로 한다.

고역 서브 밴드 파워 추정 회로(15)는, 이들 값을 사용하여 딥의 값dip(J)를, 이하의 수학식 12와 같이 변환하고, 변환 후의 딥dips(J)를 얻는다.

[수학식 12]

수학식 12로 나타내어지는 변환을 행함으로써, 고역 서브 밴드 파워 추정 회로(15)는, 딥의 값dip(J)를, 통계적으로 저역 서브 밴드 파워의 평균과 분산과 다름없는 변수(딥)dips(J)으로 변환할 수 있고, 딥이 취할 수 있는 값의 범위를, 서브 밴드 파워가 취할 수 있는 값의 범위와 거의 동일하게 하는 것이 가능하게 된다.

주파수 확장 대역에 있어서의, 인덱스가ib인 서브 밴드 파워의 추정값power_est(ib, J)는, 특징량 산출 회로(14)로부터의 4개의 저역 서브 밴드 파워 power(ib, J)와, 수학식 12로 나타낸 딥dip_s(J)와의 선형 결합을 사용하여, 예를 들어 이하의 수학식 13에 의해 표현된다.

[수학식 13]

여기서, 수학식 13에 있어서, 계수 C_ib(kb), D_ib, E_ib은, 서브 밴드 ib마다 상이한 값을 갖는 계수이다. 계수 C_ib(kb), D_ib, E_ib은, 여러 가지 입력 신호에 대하여 적합한 값이 얻어지도록 적절하게 설정되는 계수로 한다. 또한, 서브 밴드sb의 변경에 의해, 계수 C_ib(kb), D_ib, E_ib도 최적인 값으로 변경된다. 또한, 계수 C_{ib (}kb), D_ib, E_ib의 도출에 대해서는 후술한다.

수학식 13에 있어서, 고역 서브 밴드 파워의 추정값은, 일차 선형 결합에 의해 산출되고 있지만, 이에 한정하지 않고, 예를 들어 시간 프레임 J의 전후 수 프레임의 복수의 특징량의 선형 결합을 사용하여 산출되도록 해도 되고, 비선형 함수를 사용하여 산출되도록 해도 된다.

이상의 처리에 의하면, 고역 서브 밴드 파워의 추정에, 보컬 구간 특유의 딥의 값을 특징량으로서 사용함으로써, 저역 서브 밴드 파워만을 특징량으로 하는 경우와 비교하여, 보컬 구간에서의 고역 서브 밴드 파워의 추정 정밀도가 향상되고, 저역 서브 밴드 파워만을 특징량으로 하는 방법에서, 고역의 파워 스펙트럼이 원신호의 고역 파워 스펙트럼보다도 크게 추정됨으로써 발생하는, 사람의 귀에 지각되기 쉬운 위화감이 저감되므로, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

그런데, 상술에서 설명한 방법에 있어서 특징량으로서 산출된 딥(보컬 구간의 주파수 특성에 있어서의 오목부의 정도)에 대해, 서브 밴드의 분할수가 16인 경우, 주파수 분해능이 낮기 때문에, 저역 서브 밴드 파워만으로, 이 오목부의 정도를 표현할 수는 없다.

따라서, 서브 밴드의 분할수를 증가시켜(예를 들어 16배의 256 분할), 대역 통과 필터(13)에 의한 대역 분할수를 증가시켜(예를 들어 16배의 64개), 특징량 산출 회로(14)에 의해 산출되는 저역 서브 밴드 파워의 수를 증가시키는 것에 의해(예를 들어 16배의 64개), 주파수 분해능을 향상시켜, 저역 서브 밴드 파워만으로 오목부의 정도를 나타내는 것이 가능하게 된다.

이에 의해, 저역 서브 밴드 파워만으로, 상술한 딥을 특징량으로서 사용한 고역 서브 밴드 파워의 추정과 거의 동등한 정밀도로, 고역 서브 밴드 파워를 추정하는 것이 가능하다고 생각된다.

그러나, 서브 밴드의 분할수, 대역 분할수 및 저역 서브 밴드 파워의 수를 증가시킴으로써 계산량은 증가한다. 어느 것의 방법도 동등한 정밀도로 고역 서브 밴드 파워를 추정할 수 있는 것을 생각하면, 서브 밴드의 분할수는 증가시키지 않고, 딥을 특징량으로서 사용하여 고역 서브 밴드 파워를 추정하는 방법의 쪽이, 계산량의 면으로 효율적이라고 생각된다.

이상에 있어서는, 딥과, 저역 서브 밴드 파워를 사용하여 고역 서브 밴드 파워를 추정하는 방법에 대해서 설명해 왔지만, 고역 서브 밴드 파워의 추정에 사용하는 특징량으로서는, 이 조합에 한하지 않고, 상술에서 설명한 특징량(저역 서브 밴드 파워, 딥, 저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동) 중 1개 또는 복수를 사용하도록 해도 된다. 이에 의해, 고역 서브 밴드 파워의 추정에 있어서, 더욱 정밀도를 향상시키도록 할 수 있다.

또한, 상술한 바와 같이, 입력 신호에 있어서, 고역 서브 밴드 파워의 추정이 곤란한 구간에 특유의 파라미터를, 고역 서브 밴드 파워의 추정에 사용하는 특징량으로서 사용함으로써, 그 구간의 추정 정밀도를 향상시킬 수 있다. 예를 들어, 저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동은, 어택 구간에 특유의 파라미터이며, 이들의 파라미터를 특징량으로서 사용함으로써, 어택 구간에서의 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다.

또한, 저역 서브 밴드 파워와 딥 이외의 특징량, 즉, 저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동을 사용하여 고역 서브 밴드 파워의 추정을 행하는 경우에 대해서도, 상술에서 설명한 방법과 같은 방법으로 고역 서브 밴드 파워를 추정할 수 있다.

또한, 여기에서 나타낸 특징량 각각의 산출 방법은, 상술에서 설명한 방법에 한하지 않고, 다른 방법을 사용하도록 해도 된다.

[계수 C_ib(kb), D_ib, E_ib를 구하는 방법]

이어서, 상술한 수학식 13에 있어서의 계수 C_ib(kb), D_ib, E_ib를 구하는 방법에 대해서 설명한다.

계수 C_ib(kb), D_ib, E_ib를 구하는 방법으로서, 계수 C_ib(kb), D_ib, E_ib이, 주파수 확장 대역의 서브 밴드 파워를 추정한 후에 여러 가지 입력 신호에 대하여 적합한 값이도록 하기 위해서, 미리 광대역의 교사 신호(이하, 광대역 교사 신호라고 칭한다)에 의해 학습을 행하고, 그 학습 결과에 기초하여 결정하는 방법을 적용한다.

계수 C_ib(kb), D_ib, E_ib의 학습을 행할 때에는, 확장 개시 대역보다도 고역에, 도 5를 참조하여 설명한 대역 통과 필터(13-1) 내지(13-4)와 같은 통과 대역 폭을 갖는 대역 통과 필터를 배치한 계수 학습 장치를 적용한다. 계수 학습 장치는, 광대역 교사 신호가 입력되면 학습을 행한다.

[계수 학습 장치의 기능적 구성예]

도 9는, 계수 C_ib(kb), D_ib, E_ib의 학습을 행하는 계수 학습 장치의 기능적 구성예를 나타내고 있다.

도 9의 계수 학습 장치(20)에 입력되는 광대역 교사 신호의, 확장 개시 대역보다도 저역의 신호 성분은, 도 3의 주파수 대역 확장 장치(10)에 입력되는 대역 제한된 입력 신호가, 부호화 시에 실시된 부호화 방식과 같은 방식으로 부호화된 신호이면 적합하다.

계수 학습 장치(20)는, 대역 통과 필터(21), 고역 서브 밴드 파워 산출 회로(22), 특징량 산출 회로(23) 및 계수 추정 회로(24)로 구성되어 있다.

대역 통과 필터(21)는, 각각 상이한 통과 대역을 갖는 대역 통과 필터[(21-1) 내지(21-(K+N)]로 구성된다. 대역 통과 필터(21-i)(1≤i≤K+N)는, 입력 신호 중 소정의 통과 대역의 신호를 통과시키고, 복수의 서브 밴드 신호 중 1개로서, 고역 서브 밴드 파워 산출 회로(22) 또는 특징량 산출 회로(23)에 공급한다. 또한, 대역 통과 필터[(21-1) 내지(21-(K+N)] 중 대역 통과 필터[(21-1 내지(21-K)]은, 확장 개시 대역보다 고역의 신호를 통과시킨다.

고역 서브 밴드 파워 산출 회로(22)는, 대역 통과 필터(21)로부터의 고역의 복수의 서브 밴드 신호에 대하여, 어떤 일정한 시간 프레임마다, 서브 밴드마다의 고역 서브 밴드 파워를 산출하여, 계수 추정 회로(24)에 공급한다.

특징량 산출 회로(23)는, 고역 서브 밴드 파워 산출 회로(22)에 의해 고역 서브 밴드 파워가 산출되는 일정한 시간 프레임과 같은 시간 프레임마다, 도 3의 주파수 대역 확장 장치(10)의 특징량 산출 회로(14)에 의해 산출되는 특징량과 같은 특징량을 산출한다. 즉, 특징량 산출 회로(23)는, 대역 통과 필터(21)로부터의 복수의 서브 밴드 신호와, 광대역 교사 신호의, 적어도 어느 한쪽을 사용하여, 1개 또는 복수의 특징량을 산출하여, 계수 추정 회로(24)에 공급한다.

계수 추정 회로(24)는, 일정한 시간 프레임마다의, 고역 서브 밴드 파워 산출 회로(22)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(23)로부터의 특징량에 기초하여, 도 3의 주파수 대역 확장 장치(10)의 고역 서브 밴드 파워 추정 회로(15)에서 사용되는 계수(계수 데이터)를 추정한다.

[계수 학습 장치의 계수 학습 처리]

이어서, 도 10의 흐름도를 참조하여, 도 9의 계수 학습 장치에 의한 계수 학습 처리에 대해서 설명한다.

스텝 S11에 있어서, 대역 통과 필터(21)는, 입력 신호(광대역 교사 신호)를 (K+N) 개의 서브 밴드 신호로 분할한다. 대역 통과 필터[(21-1 내지(21-K)]는, 확장 개시 대역보다도 고역의 복수의 서브 밴드 신호를, 고역 서브 밴드 파워 산출 회로(22)에 공급한다. 또한, 대역 통과 필터[(21-(K+1) 내지 (21-(K+N)]는, 확장 개시 대역보다도 저역의 복수의 서브 밴드 신호를, 특징량 산출 회로(23)에 공급한다.

스텝 S12에 있어서, 고역 서브 밴드 파워 산출 회로(22)는, 대역 통과 필터(21)(대역 통과 필터[(21-1 내지(21-K)]로부터의 고역의 복수의 서브 밴드 신호에 대하여, 어떤 일정한 시간 프레임마다, 서브 밴드마다의 고역 서브 밴드 파워 power(ib, J)를 산출한다. 고역 서브 밴드 파워 power(ib, J)는, 상술한 수학식 1에 의해 구해진다. 고역 서브 밴드 파워 산출 회로(22)는, 산출한 고역 서브 밴드 파워를, 계수 추정 회로(24)에 공급한다.

스텝 S13에 있어서, 특징량 산출 회로(23)는, 고역 서브 밴드 파워 산출 회로(22)에 의해 고역 서브 밴드 파워가 산출되는 일정한 시간 프레임과 같은 시간 프레임마다, 특징량을 산출한다.

또한, 이하에서는, 도 3의 주파수 대역 확장 장치(10)의 특징량 산출 회로(14)에 있어서, 저역의 4개의 서브 밴드 파워와 딥이 특징량으로서 산출되는 것을 상정하고, 계수 학습 장치(20)의 특징량 산출 회로(23)에 있어서도 마찬가지로, 저역의 4개의 서브 밴드 파워와 딥이 산출되는 것으로서 설명한다.

즉, 특징량 산출 회로(23)는, 대역 통과 필터(21)(대역 통과 필터[(21-(K+1) 내지(21-(K+4)]로부터의, 주파수 대역 확장 장치(10)의 특징량 산출 회로(14)에 입력되는 4개의 서브 밴드 신호와 각각 동일한 대역의 4개의 서브 밴드 신호를 사용하여, 4개의 저역 서브 밴드 파워를 산출한다. 또한, 특징량 산출 회로(23)는, 광대역 교사 신호로부터 딥을 산출하고, 상술한 수학식 12에 기초하여 딥dips(J)를 산출한다. 특징량 산출 회로(23)는, 산출한 4개의 저역 서브 밴드 파워와 딥dips(J)를, 특징량으로서 계수 추정 회로(24)에 공급한다.

스텝 S14에 있어서, 계수 추정 회로(24)는, 고역 서브 밴드 파워 산출 회로(22)와 특징량 산출 회로(23)로부터 동일 시간 프레임에 공급된 (eb-sb) 개의 고역 서브 밴드 파워와 특징량(4개의 저역 서브 밴드 파워 및 딥dips(J))과의 다수의 조합에 기초하여, 계수 C_ib(kb), D_ib, E_ib의 추정을 행한다. 예를 들어, 계수 추정 회로(24)는, 어떤 고역의 서브 밴드의 1개에 대해, 5개의 특징량(4개의 저역 서브 밴드 파워 및 딥dip_s(J))을 설명 변수로 하고, 고역 서브 밴드 파워의 power(ib, J)를 피설명 변수로 하여, 최소 제곱법을 사용한 회귀 분석을 행함으로써, 수학식 13에 있어서의 계수 C_ib(kb), D_ib, E_ib을 결정한다.

또한, 당연한 바와 같이, 계수 C_ib(kb), D_ib, E_ib의 추정 방법은, 상술한 방법에 한하지 않고, 일반적인 각종 파라미터 동정법을 적용해도 된다.

이상의 처리에 의하면, 미리 광대역 교사 신호를 사용하여, 고역 서브 밴드 파워의 추정에 사용되는 계수의 학습을 행하도록 하였으므로, 주파수 대역 확장 장치(10)에 입력되는 여러 가지 입력 신호에 대하여 적합한 출력 결과를 얻는 것이 가능하게 되고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

또한, 상술한 수학식 2에 있어서의 계수 A_ib(kb), B_ib도, 상술한 계수 학습 방법에 의해 구하는 것이 가능하다.

이상에 있어서는, 주파수 대역 확장 장치(10)의 고역 서브 밴드 파워 추정 회로(15)에 있어서, 고역 서브 밴드 파워의 추정값 각각은, 4개의 저역 서브 밴드 파워와 딥과의 선형 결합에 의해 산출되는 것을 전제로 한 계수 학습 처리에 대해서 설명해 왔다. 그러나, 고역 서브 밴드 파워 추정 회로(15)에 있어서의 고역 서브 밴드 파워의 추정의 방법은, 상술한 예에 한하지 않고, 예를 들어 특징량 산출 회로(14)가, 딥 이외의 특징량(저역 서브 밴드 파워의 시간 변동, 경사, 경사의 시간 변동 및 딥의 시간 변동) 중 1개 또는 복수를 산출함으로써, 고역 서브 밴드 파워를 산출해도 되고, 시간 프레임 J의 전후 복수 프레임의 복수의 특징량의 선형 결합을 사용하거나, 비선형 함수를 사용하도록 해도 된다. 즉, 계수 학습 처리에 있어서, 계수 추정 회로(24)는, 주파수 대역 확장 장치(10)의 고역 서브 밴드 파워 추정 회로(15)에 의해 고역 서브 밴드 파워가 산출될 때에 사용되는 특징량, 시간 프레임 및 함수에 대한 조건과 마찬가지의 조건에서, 계수를 산출(학습) 할 수 있으면 된다.

<2. 제2 실시 형태>

제2 실시 형태에서는, 부호화 장치 및 복호 장치에 의해, 고역 특징 부호화 방법에 있어서의 부호화 처리 및 복호 처리가 실시된다.

[부호화 장치의 기능적 구성예]

도 11은, 본 발명을 적용한 부호화 장치의 기능적 구성예를 나타내고 있다.

부호화 장치(30)는, 저역 통과 필터(31), 저역 부호화 회로(32), 서브 밴드 분할 회로(33), 특징량 산출 회로(34), 의사 고역 서브 밴드 파워 산출 회로(35), 의사 고역 서브 밴드 파워 차분 산출 회로(36), 고역 부호화 회로(37), 다중화 회로(38) 및 저역 복호 회로(39)로 구성된다.

저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서, 차단 주파수보다 저역의 신호(이하, 저역 신호라고 칭한다)를, 저역 부호화 회로(32), 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.

저역 부호화 회로(32)는, 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를, 다중화 회로(38) 및 저역 복호 회로(39)에 공급한다.

서브 밴드 분할 회로(33)는, 입력 신호 및 저역 통과 필터(31)로부터의 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하고, 특징량 산출 회로(34) 또는 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다. 보다 구체적으로는, 서브 밴드 분할 회로(33)는, 저역 신호를 입력으로 하여 얻어지는 복수의 서브 밴드 신호(이하, 저역 서브 밴드 신호라고 칭한다)를, 특징량 산출 회로(34)에 공급한다. 또한, 서브 밴드 분할 회로(33)는, 입력 신호를 입력으로 하여 얻어지는 복수의 서브 밴드 신호 중, 저역 통과 필터(31)에 설정되어 있는 차단 주파수보다 고역의 서브 밴드 신호(이하, 고역 서브 밴드 신호라고 칭한다)를, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.

특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 통과 필터(31)로부터의 저역 신호의, 적어도 어느 한쪽을 사용하여, 1개 또는 복수의 특징량을 산출하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.

의사 고역 서브 밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 1개 또는 복수의 특징량에 기초하여, 의사 고역 서브 밴드 파워를 생성하고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.

의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초하여, 후술하는 의사 고역 서브 밴드 파워 차분을 계산하고, 고역 부호화 회로(37)에 공급한다.

고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.

다중화 회로(38)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터와, 고역 부호화 회로(37)로부터의 고역 부호화 데이터를 다중화하고, 출력 부호열로서 출력한다.

저역 복호 회로(39)는, 저역 부호화 회로(32)로부터의 저역 부호화 데이터를, 적절히 복호하고, 그 결과 얻어지는 복호 데이터를 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.

[부호화 장치의 부호화 처리]

이어서, 도 12의 흐름도를 참조하여, 도 11의 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다.

스텝 S111에 있어서, 저역 통과 필터(31)는, 입력 신호를 소정의 차단 주파수로 필터링하고, 필터링 후의 신호로서의 저역 신호를, 저역 부호화 회로(32), 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 공급한다.

스텝 S112에 있어서, 저역 부호화 회로(32)는, 저역 통과 필터(31)로부터의 저역 신호를 부호화하고, 그 결과 얻어지는 저역 부호화 데이터를 다중화 회로(38)에 공급한다.

또한, 스텝 S112에 있어서의 저역 신호의 부호화에 관해서는, 부호화 효율이나 요구되는 회로 규모에 따라서 적절한 부호화 방식이 선택되면 되고, 본 발명은 이 부호화 방식에 의존하는 것은 아니다.

스텝 S113에 있어서, 서브 밴드 분할 회로(33)는, 입력 신호 및 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할한다. 서브 밴드 분할 회로(33)는, 저역 신호를 입력으로 하여 얻어지는 저역 서브 밴드 신호를, 특징량 산출 회로(34)에 공급한다. 또한, 서브 밴드 분할 회로(33)는, 입력 신호를 입력으로 하여 얻어지는 복수의 서브 밴드 신호 중, 저역 통과 필터(31)에 설정된, 대역 제한의 주파수보다도 높은 대역의 고역 서브 밴드 신호를, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.

스텝 S114에 있어서, 특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 통과 필터(31)로부터의 저역 신호의, 적어도 어느 한쪽을 사용하여, 1개 또는 복수의 특징량을 산출하고, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다. 또한, 도 11의 특징량 산출 회로(34)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S114에 있어서의 처리는, 도 4의 흐름도의 스텝 S4에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.

스텝 S115에 있어서, 의사 고역 서브 밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터의, 1개 또는 복수의 특징량에 기초하여, 의사 고역 서브 밴드 파워를 생성하고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다. 또한, 도 11의 의사 고역 서브 밴드 파워 산출 회로(35)는, 도 3의 고역 서브 밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S115에 있어서의 처리는, 도 4의 흐름도의 스텝 S5에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.

스텝 S116에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초하여, 의사 고역 서브 밴드 파워 차분을 계산하고, 고역 부호화 회로(37)에 공급한다.

보다 구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호에 대해, 어떤 일정한 시간 프레임 J에 있어서의 (고역) 서브 밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드의 모두를, 인덱스 ib을 사용하여 식별하는 것으로 한다. 서브 밴드 파워의 산출 방법은, 제1 실시 형태와 마찬가지의 방법, 즉, 수학식 1을 사용한 방법을 적용할 수 있다.

이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 고역 서브 밴드 파워 power(ib, J)와, 시간 프레임 J에 있어서의 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워 powerlh(ib, J)의 차분(의사 고역 서브 밴드 파워 차분)power_diff(ib, J)를 구한다. 의사 고역 서브 밴드 파워 차분power_diff(ib, J)는, 이하의 수학식 14에 의해 구해진다.

[수학식 14]

수학식 14에 있어서, 인덱스sb+1은, 고역 서브 밴드 신호에 있어서의 최저역의 서브 밴드의 인덱스를 나타내고 있다. 또한, 인덱스eb은, 고역 서브 밴드 신호에 있어서 부호화되는 최고역의 서브 밴드의 인덱스를 나타내고 있다.

이와 같이 하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 의해 산출된 의사 고역 서브 밴드 파워 차분은 고역 부호화 회로(37)에 공급된다.

스텝 S117에 있어서, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어지는 고역 부호화 데이터를 다중화 회로(38)에 공급한다.

보다 구체적으로는, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터의 의사 고역 서브 밴드 파워 차분을 벡터화한 것(이하, 의사 고역 서브 밴드 파워 차분 벡터라고 칭한다)이, 미리 설정된 의사 고역 서브 밴드 파워 차분의 특징 공간에서의 복수의 클러스터 중, 어느 클러스터에 속하는 지를 결정한다. 여기서, 어떤 시간 프레임 J에 있어서의 의사 고역 서브 밴드 파워 차분 벡터는, 인덱스 ib마다의 의사 고역 서브 밴드 파워 차분power_diff(ib, J)의 값을 벡터의 각 요소로서 갖는, (eb-sb) 차원의 벡터를 나타내고 있다. 또한, 의사 고역 서브 밴드 파워 차분의 특징 공간도 마찬가지로 (eb-sb) 차원의 공간으로 되고 있다.

그리고, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서, 미리 설정된 복수의 클러스터의 각 대표 벡터와, 의사 고역 서브 밴드 파워 차분 벡터와의 거리를 측정하고, 거리가 가장 짧은 클러스터의 인덱스(이하, 의사 고역 서브 밴드 파워 차분 ID라고 칭한다)를 구하고, 이것을 고역 부호화 데이터로 하여, 다중화 회로(38)에 공급한다.

스텝 S118에 있어서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 출력된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 출력된 고역 부호화 데이터를 다중화하여, 출력 부호열을 출력한다.

그런데, 고역 특징 부호화 방법에 있어서의 부호화 장치로서는, 일본 특허 공개 제2007-17908호 공보에, 저역 서브 밴드 신호로부터 의사 고역 서브 밴드 신호를 생성하고, 의사 고역 서브 밴드 신호와, 고역 서브 밴드 신호의 파워를 서브 밴드마다 비교하고, 의사 고역 서브 밴드 신호의 파워를 고역 서브 밴드 신호의 파워와 일치시키기 위해서 서브 밴드마다의 파워의 이득을 산출하고, 이것을 고역 특징의 정보로서 부호열에 포함하도록 하는 기술이 개시되어 있다.

한편, 이상의 처리에 의하면, 복호 시에 고역 서브 밴드 파워를 추정하기 위한 정보로서, 출력 부호열에 의사 고역 서브 밴드 파워 차분 ID만을 포함하는 것만으로도 된다. 즉, 예를 들어 미리 설정한 클러스터의 수가 64개인 경우, 복호 장치에 있어서 고역 신호를 복원하기 위한 정보로서는, 1개의 시간 프레임당, 6비트의 정보를 부호열에 추가하는 것만으로 되고, 일본 특허 공개 제2007-17908호 공보에 개시된 방법과 비교하여, 부호열에 포함하는 정보량을 저감할 수 있으므로, 부호화 효율을 보다 향상시킬 수 있고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

또한, 이상의 처리에 있어서, 계산량에 여유가 있으면, 저역 복호 회로(39)가, 저역 부호화 회로(32)로부터의 저역 부호화 데이터를 복호 함으로써 얻어지는 저역 신호를, 서브 밴드 분할 회로(33) 및 특징량 산출 회로(34)에 입력하도록 해도 된다. 복호 장치에 의한 복호 처리에 있어서는, 저역 부호화 데이터를 복호한 저역 신호로부터 특징량을 산출하고, 그 특징량에 기초하여 고역 서브 밴드의 파워를 추정한다. 그로 인해, 부호화 처리에 있어서도, 복호한 저역 신호로부터 산출한 특징량에 기초하여 산출되는 의사 고역 서브 밴드 파워 차분 ID를 부호열에 포함하는 편이, 복호 장치에 의한 복호 처리에 있어서, 보다 고정밀도로 고역 서브 밴드 파워를 추정할 수 있다. 따라서, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

[복호 장치의 기능적 구성예]

이어서, 도 13을 참조하여, 도 11의 부호화 장치(30)에 대응하는 복호 장치의 기능적 구성예에 대해서 설명한다.

복호 장치(40)는, 역다중화 회로(41), 저역 복호 회로(42), 서브 밴드 분할 회로(43), 특징량 산출 회로(44), 고역 복호 회로(45), 복호 고역 서브 밴드 파워 산출 회로(46), 복호 고역 신호 생성 회로(47) 및 합성 회로(48)로 구성된다.

역다중화 회로(41)는, 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터로 역다중화하여, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.

저역 복호 회로(42)는, 역다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행한다. 저역 복호 회로(42)는, 복호의 결과 얻어지는 저역의 신호(이하, 복호 저역 신호라고 칭한다)를, 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.

서브 밴드 분할 회로(43)는, 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하고, 얻어진 서브 밴드 신호(복호 저역 서브 밴드 신호)를, 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.

특징량 산출 회로(44)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 복호 회로(42)로부터의 복호 저역 신호의, 적어도 어느 한쪽을 사용하여, 1개 또는 복수의 특징량을 산출하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.

고역 복호 회로(45)는, 역다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 사용하여, 미리 ID(인덱스)마다 준비되어 있는, 고역 서브 밴드의 파워를 추정하기 위한 계수(이하, 복호 고역 서브 밴드 파워 추정 계수라고 칭한다)를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.

복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터의, 1개 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하여, 복호 고역 신호 생성 회로(47)에 공급한다.

복호 고역 신호 생성 회로(47)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 생성하여, 합성 회로(48)에 공급한다.

합성 회로(48)는, 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하여, 출력 신호로서 출력한다.

[복호 장치의 복호 처리]

이어서, 도 14의 흐름도를 참조하여, 도 13의 복호 장치에 의한 복호 처리에 대해서 설명한다.

스텝 S131에 있어서, 역다중화 회로(41)는, 입력 부호열을 고역 부호화 데이터와 저역 부호화 데이터로 역다중화하여, 저역 부호화 데이터를 저역 복호 회로(42)에 공급하고, 고역 부호화 데이터를 고역 복호 회로(45)에 공급한다.

스텝 S132에 있어서, 저역 복호 회로(42)는, 역다중화 회로(41)로부터의 저역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 복호 저역 신호를, 서브 밴드 분할 회로(43), 특징량 산출 회로(44) 및 합성 회로(48)에 공급한다.

스텝 S133에 있어서, 서브 밴드 분할 회로(43)는, 저역 복호 회로(42)로부터의 복호 저역 신호를, 소정의 대역 폭을 갖는 복수의 서브 밴드 신호로 등분할하고, 얻어진 복호 저역 서브 밴드 신호를, 특징량 산출 회로(44) 및 복호 고역 신호 생성 회로(47)에 공급한다.

스텝 S134에 있어서, 특징량 산출 회로(44)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호 중 복수의 서브 밴드 신호와, 저역 복호 회로(42)로부터의 복호 저역 신호의, 적어도 어느 한쪽으로부터, 1개 또는 복수의 특징량을 산출하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 또한, 도 13의 특징량 산출 회로(44)는, 도 3의 특징량 산출 회로(14)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S134에 있어서의 처리는, 도 4의 흐름도의 스텝 S4에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.

스텝 S135에 있어서, 고역 복호 회로(45)는, 역다중화 회로(41)로부터의 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어지는 의사 고역 서브 밴드 파워 차분 ID를 사용하여, 미리 ID(인덱스)마다 준비되어 있는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.

스텝 S136에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터의, 1개 또는 복수의 특징량과, 고역 복호 회로(45)로부터의 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하여, 복호 고역 신호 생성 회로(47)에 공급한다. 또한, 도 13의 복호 고역 서브 밴드 파워 산출 회로(46)는, 도 3의 고역 서브 밴드 파워 추정 회로(15)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S136에 있어서의 처리는, 도 4의 흐름도의 스텝 S5에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.

스텝 S137에 있어서, 복호 고역 신호 생성 회로(47)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터의 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 출력한다. 또한, 도 13의 복호 고역 신호 생성 회로(47)는, 도 3의 고역 신호 생성 회로(16)와 기본적으로 마찬가지의 구성 및 기능을 갖고 있으며, 스텝 S137에 있어서의 처리는, 도 4의 흐름도의 스텝 S6에 있어서의 처리와 기본적으로 마찬가지이므로, 그 상세한 설명은 생략한다.

스텝 S138에 있어서, 합성 회로(48)는, 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하여, 출력 신호로서 출력한다.

이상의 처리에 의하면, 부호화 시에 미리 산출된 의사 고역 서브 밴드 파워와, 실제의 고역 서브 밴드 파워와의 차분의 특징에 따른, 복호 시의 고역 서브 밴드 파워 추정 계수를 사용함으로써, 복호 시의 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있고, 그 결과, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

또한, 이상의 처리에 의하면, 부호열에 포함되는 고역 신호 생성을 위한 정보가, 의사 고역 서브 밴드 파워 차분 ID만으로 적으므로, 효율적으로 복호 처리를 행할 수 있다.

이상에 있어서는, 본 발명을 적용한 부호화 처리 및 복호 처리에 대해서 설명해 왔지만, 이하에 있어서는, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에 있어서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 산출 방법에 대해서 설명한다.

[의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터의 대표 벡터 및 각 클러스터에 대응한 복호 고역 서브 밴드 파워 추정 계수의 산출 방법]

복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수의 구하는 방법으로서, 부호화 시에 산출되는 의사 고역 서브 밴드 파워 차분 벡터에 따라, 복호 시의 고역 서브 밴드 파워를 고정밀도로 추정할 수 있도록 계수를 준비해서 둘 필요가 있다. 이를 위해, 미리 광대역 교사 신호에 의해 학습을 행하고, 그 학습 결과에 기초하여 이들을 결정하는 방법을 적용한다.

[계수 학습 장치의 기능적 구성예]

도 15는, 복수의 클러스터의 대표 벡터 및 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하는 계수 학습 장치의 기능적 구성예를 나타내고 있다.

도 15의 계수 학습 장치(50)에 입력되는 광대역 교사 신호의, 부호화 장치(30)의 저역 통과 필터(31)에 설정되는 차단 주파수 이하의 신호 성분은, 부호화 장치(30)에의 입력 신호가 저역 통과 필터(31)를 통과하고, 저역 부호화 회로(32)에 의해 부호화되고, 또한 복호 장치(40)의 저역 복호 회로(42)에 의해 복호된 복호 저역 신호인 것이 적합하다.

계수 학습 장치(50)는, 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53), 의사 고역 서브 밴드 파워 산출 회로(54), 의사 고역 서브 밴드 파워 차분 산출 회로(55), 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56) 및 계수 추정 회로(57)로 구성된다.

또한, 도 15의 계수 학습 장치(50)에 있어서의 저역 통과 필터(51), 서브 밴드 분할 회로(52), 특징량 산출 회로(53) 및 의사 고역 서브 밴드 파워 산출 회로(54) 각각은, 도 11의 부호화 장치(30)에 있어서의 저역 통과 필터(31), 서브 밴드 분할 회로(33), 특징량 산출 회로(34) 및 의사 고역 서브 밴드 파워 산출 회로(35) 각각과, 기본적으로 마찬가지의 구성과 기능을 구비하므로, 그 설명은 적절히 생략한다.

즉, 의사 고역 서브 밴드 파워 차분 산출 회로(55)는, 도 11의 의사 고역 서브 밴드 파워 차분 산출 회로(36)와 마찬가지의 구성 및 기능을 구비하지만, 계산한 의사 고역 서브 밴드 파워 차분을, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 공급함과 함께, 의사 고역 서브 밴드 파워 차분을 계산할 때에 산출하는 고역 서브 밴드 파워를, 계수 추정 회로(57)에 공급한다.

의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 클러스터링하고, 각 클러스터에서의 대표 벡터를 산출한다.

계수 추정 회로(57)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(53)로부터의 1개 또는 복수의 특징량에 기초하여, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)에 의해 클러스터링된 클러스터 마다의 고역 서브 밴드 파워 추정 계수를 산출한다.

[계수 학습 장치의 계수 학습 처리]

이어서, 도 16의 흐름도를 참조하여, 도 15의 계수 학습 장치(50)에 의한 계수 학습 처리에 대해서 설명한다.

또한, 도 16의 흐름도에 있어서의 스텝 S151 내지 S155의 처리는, 계수 학습 장치(50)에 입력되는 신호가 광대역 교사 신호인 이외는, 도 12의 흐름도에 있어서의 스텝 S111, S113 내지 S116의 처리와 마찬가지이므로, 그 설명은 생략한다.

즉, 스텝 S156에 있어서, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는, 다수(대량의 시간 프레임)의 의사 고역 서브 밴드 파워 차분 벡터를, 예를 들어 64개의 클러스터에 클러스터링하고, 각 클러스터의 대표 벡터를 산출한다. 클러스터링의 방법의 일례로서는, 예를 들어 k-means법에 의한 클러스터링을 적용할 수 있다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, k-means법에 의한 클러스터링을 행한 결과 얻어지는, 각 클러스터의 무게 중심 벡터를, 각 클러스터의 대표 벡터로 한다. 또한, 클러스터링 방법이나 클러스터의 수는, 상술한 것에 한하지 않고, 다른 방법을 적용하도록 해도 된다.

또한, 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 시간 프레임 J에 있어서의, 의사 고역 서브 밴드 파워 차분 산출 회로(55)로부터의 의사 고역 서브 밴드 파워 차분으로부터 얻어지는 의사 고역 서브 밴드 파워 차분 벡터를 사용하여, 64개의 대표 벡터와의 거리를 측정하고, 가장 거리가 짧아지는 대표 벡터가 속하는 클러스터의 인덱스CID(J)를 결정한다. 또한, 인덱스CID(J)는 1로부터 클러스터 수(이 예에서는 64개)까지의 정수값을 취하는 것으로 한다. 의사 고역 서브 밴드 파워 차분 클러스터링 회로(56)는, 이와 같이 하여 대표 벡터를 출력하고, 또한, 인덱스CID(J)를 계수 추정 회로(57)에 공급한다.

스텝 S157에 있어서, 계수 추정 회로(57)는, 의사 고역 서브 밴드 파워 차분 산출 회로(55) 및 특징량 산출 회로(53)로부터 동일 시간 프레임에 공급된 (eb-sb) 개의 고역 서브 밴드 파워와 특징량의 다수의 조합 중, 동일한 인덱스CID(J)를 갖는(동일한 클러스터에 속한다) 집합마다, 각 클러스터에서의 복호 고역 서브 밴드 파워 추정 계수의 산출을 행한다. 또한, 계수 추정 회로(57)에 의한 계수의 산출의 방법은, 도 9의 계수 학습 장치(20)에 있어서의 계수 추정 회로(24)에 의한 방법과 같은 것으로 하지만, 그 밖의 방법이어도 물론 된다.

이상의 처리에 의하면, 미리 광대역 교사 신호를 사용하여, 도 11의 부호화 장치(30)의 고역 부호화 회로(37)에 있어서 미리 설정되어 있는 의사 고역 서브 밴드 파워 차분의 특징 공간에 있어서의 복수의 클러스터 각각의 대표 벡터와, 도 13의 복호 장치(40)의 고역 복호 회로(45)에 의해 출력되는 복호 고역 서브 밴드 파워 추정 계수의 학습을 행하도록 하였으므로, 부호화 장치(30)에 입력되는 여러 가지 입력 신호 및 복호 장치(40)에 입력되는 여러 가지 입력 부호열에 대하여 적합한 출력 결과를 얻는 것이 가능하게 되고, 나아가서는, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

또한, 신호의 부호화 및 복호에 대해, 부호화 장치(30)의 의사 고역 서브 밴드 파워 산출 회로(35)나 복호 장치(40)의 복호 고역 서브 밴드 파워 산출 회로(46)에 있어서 고역 서브 밴드 파워를 산출하기 위한 계수 데이터는, 다음과 같이 취급하는 것도 가능하다. 즉, 입력 신호의 종류에 따라 상이한 계수 데이터를 사용하는 것으로 하여, 그 계수를 부호열의 선두에 기록해 두는 것도 가능하다.

예를 들어, 스피치나 재즈 등의 신호에 의해 계수 데이터를 변경함으로써, 부호화 효율의 향상을 도모할 수 있다.

도 17은, 이와 같이 하여 얻어진 부호열을 나타내고 있다.

도 17의 부호열 A는, 스피치를 부호화한 것이며, 스피치에 최적인 계수 데이터α가 헤더에 기록되어 있다.

이에 대해, 도 17의 부호열 B는, 재즈를 부호화한 것이며, 재즈에 최적인 계수 데이터β가 헤더에 기록되어 있다.

이러한 복수의 계수 데이터를 미리 동종의 음악 신호로 학습함으로써 준비하고, 부호화 장치(30)에서는 입력 신호의 헤더에 기록되어 있는 장르 정보로 그 계수 데이터를 선택해도 된다. 혹은, 신호의 파형 해석을 행함으로써 장르를 판정하고, 계수 데이터를 선택해도 된다. 즉, 이러한, 신호의 장르 해석 방법은 특별히 한정되지 않는다.

또한, 계산 시간이 허용되면, 부호화 장치(30)에 상술한 학습 장치를 내장시키고, 그 신호 전용의 계수를 사용하여 처리를 행하고, 도 17의 부호열C에 나타낸 바와 같이, 마지막으로 그 계수를 헤더에 기록하는 것도 가능하다.

이 방법을 사용하는 것에 의한 이점을, 이하에 설명한다.

고역 서브 밴드 파워의 형상은, 1개의 입력 신호 내에서 유사한 개소가 다수 존재한다. 많은 입력 신호가 갖는 이 특징을 이용하고, 고역 서브 밴드 파워의 추정을 위한 계수의 학습을 입력 신호마다 별개로 행함으로써, 고역 서브 밴드 파워의 유사 개소의 존재에 의한 용장도를 저감시켜, 부호화 효율을 향상시킬 수 있다. 또한, 복수의 신호로 통계적으로 고역 서브 밴드 파워의 추정을 위한 계수를 학습하는 것보다도, 보다 고정밀도로 고역 서브 밴드 파워의 추정을 행할 수 있다.

또한, 이와 같이, 부호화 시에 입력 신호로부터 학습되는 계수 데이터를 수 프레임에 1회 삽입하는 형태를 취하는 것도 가능하다.

<3. 제3 실시 형태>

[부호화 장치의 기능적 구성예]

또한, 이상에 있어서는, 의사 고역 서브 밴드 파워 차분 ID가 고역 부호화 데이터로서, 부호화 장치(30)로부터 복호 장치(40)에 출력되면 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수를 얻기 위한 계수 인덱스가, 고역 부호화 데이터로 되어도 된다.

그러한 경우, 부호화 장치(30)는, 예를 들어 도 18에 도시한 바와 같이 구성된다. 또한, 도 18에 있어서, 도 11에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 병기하고, 그 설명은 적절히 생략한다.

도 18의 부호화 장치(30)는, 도 11의 부호화 장치(30)와 저역 복호 회로(39)가 구비되어 있지 않은 점에서 상이하고, 그 밖의 점에서는 동일하다.

도 18의 부호화 장치(30)에서는, 특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터 공급된 저역 서브 밴드 신호를 사용하여, 저역 서브 밴드 파워를 특징량으로서 산출하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.

또한, 의사 고역 서브 밴드 파워 산출 회로(35)에는, 미리 회귀 분석에 의해 구해진, 복수의 복호 고역 서브 밴드 파워 추정 계수와, 그들의 복호 고역 서브 밴드 파워 추정 계수를 특정하는 계수 인덱스가 대응되어 기록되어 있다.

구체적으로는, 복호 고역 서브 밴드 파워 추정 계수로서, 상술한 수학식 2의 연산에 사용되는 각 서브 밴드의 계수 A_ib(kb)와 계수 B_ib의 세트가, 미리 복수 준비되어 있다. 예를 들어, 이들의 계수 A_ib(kb)과 계수 B_ib은, 저역 서브 밴드 파워를 설명 변수로 하고, 고역 서브 밴드 파워를 피설명 변수로 한, 최소 제곱법을 사용한 회귀 분석에 의해, 미리 구해져 있다. 회귀 분석에서는, 저역 서브 밴드 신호와 고역 서브 밴드 신호로부터 되는 입력 신호가 광대역 교사 신호로서 사용된다.

의사 고역 서브 밴드 파워 산출 회로(35)는, 기록되어 있는 복호 고역 서브 밴드 파워 추정 계수마다, 복호 고역 서브 밴드 파워 추정 계수와, 특징량 산출 회로(34)로부터의 특징량을 사용하여, 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워를 산출하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.

의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 고역 서브 밴드 신호로부터 구해지는 고역 서브 밴드 파워와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워를 비교한다.

그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 비교의 결과, 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 가장 고역 서브 밴드 파워에 가까운 의사 고역 서브 밴드 파워가 얻어진 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스를 고역 부호화 회로(37)에 공급한다. 바꾸어 말하면, 복호 시에 재현되어야 할 입력 신호의 고역 신호, 즉 참값에 가장 가까운 복호 고역 신호가 얻어지는, 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.

[부호화 장치의 부호화 처리]

이어서, 도 19의 흐름도를 참조하여, 도 18의 부호화 장치(30)에 의해 행해지는 부호화 처리에 대해서 설명한다. 또한, 스텝 S181 내지 스텝 S183의 처리는, 도 12의 스텝 S111 내지 스텝 S113의 처리와 마찬가지이기 때문에, 그 설명은 생략한다.

스텝 S184에 있어서, 특징량 산출 회로(34)는, 서브 밴드 분할 회로(33)로부터의 저역 서브 밴드 신호를 사용하여 특징량을 산출하여, 의사 고역 서브 밴드 파워 산출 회로(35)에 공급한다.

구체적으로는, 특징량 산출 회로(34)는, 상술한 수학식 1의 연산을 행하고, 저역측의 각 서브 밴드 ib(단, sb-3≤ib≤sb)에 대해, 프레임 J(단, 0≤J)의 저역 서브 밴드 파워 power(ib, J)를 특징량으로서 산출한다. 즉, 저역 서브 밴드 파워 power(ib, J)는, 프레임 J를 구성하는 저역 서브 밴드 신호의 각 샘플의 샘플 값의 제곱 평균값을, 대수화함으로써 산출된다.

스텝 S185에 있어서, 의사 고역 서브 밴드 파워 산출 회로(35)는, 특징량 산출 회로(34)로부터 공급된 특징량에 기초하여, 의사 고역 서브 밴드 파워를 산출하여, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에 공급한다.

예를 들어, 의사 고역 서브 밴드 파워 산출 회로(35)는, 복호 고역 서브 밴드 파워 추정 계수로서 미리 기록되어 있는 계수 A_ib(kb) 및 계수 B_ib와, 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)을 사용하여 상술한 수학식 2의 연산을 행하고, 의사 고역 서브 밴드 파워 power_est(ib, J)를 산출한다.

즉, 특징량으로서 공급된 저역측의 각 서브 밴드의 저역 서브 밴드 파워 power(kb, J)에, 서브 밴드마다의 계수 A_ib(kb)가 승산되어, 계수가 승산된 저역 서브 밴드 파워의 합에, 더 계수 B_ib가 가산되어, 의사 고역 서브 밴드 파워 power_est(ib, J)로 된다. 이 의사 고역 서브 밴드 파워는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해서 산출된다.

또한, 의사 고역 서브 밴드 파워 산출 회로(35)는, 미리 기록되어 있는 복호 고역 서브 밴드 파워 추정 계수마다 의사 고역 서브 밴드 파워의 산출을 행한다. 예를 들어, 계수 인덱스가 1 내지 K(단, 2≤K)의 K개의 복호 고역 서브 밴드 파워 추정 계수가 미리 준비되어 있는 것으로 한다. 이 경우, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출되게 된다.

스텝 S186에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호와, 의사 고역 서브 밴드 파워 산출 회로(35)로부터의 의사 고역 서브 밴드 파워에 기초하여, 의사 고역 서브 밴드 파워 차분을 산출한다.

구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터의 고역 서브 밴드 신호에 대해, 상술한 수학식 1과 같은 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드의 모두를, 인덱스 ib을 사용하여 식별하는 것으로 한다.

이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 14와 같은 연산을 행하여, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)와, 의사 고역 서브 밴드 파워 power_est(ib, J)의 차분을 구한다. 이에 의해, 복호 고역 서브 밴드 파워 추정 계수마다, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 의사 고역 서브 밴드 파워 차분 power_diff(ib, J)이 얻어진다.

스텝 S187에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 복호 고역 서브 밴드 파워 추정 계수마다, 다음 수학식 15를 계산하고, 의사 고역 서브 밴드 파워 차분의 제곱합을 산출한다.

[수학식 15]

또한, 수학식 15에 있어서, 차분 제곱합 E(J, id)은, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 프레임 J의 의사 고역 서브 밴드 파워 차분의 제곱합을 나타내고 있다. 또한, 수학식 15에 있어서, power_diff(ib, J, id)은, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워 차분 power_diff(ib, J)를 나타내고 있다. 차분 제곱합 E(J, id)은, K개의 각 복호 고역 서브 밴드 파워 추정 계수에 대해 산출된다.

이와 같이 하여 얻어진 차분 제곱합 E(J, id)은, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 사용하여 산출된 의사 고역 서브 밴드 파워와의 유사의 정도를 나타낸다.

결국, 고역 서브 밴드 파워의 참값에 대한 추정값의 오차를 나타내고 있다. 따라서, 차분 제곱합 E(J, id)이 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 사용한 연산에 의해, 실제의 고역 신호에 의해 가까운 복호 고역 신호가 얻어지게 된다. 바꾸어 말하면, 차분 제곱합 E(J, id)이 최소로 되는 복호 고역 서브 밴드 파워 추정 계수가, 출력 부호열의 복호 시에 행해지는 주파수 대역 확장 처리에 가장 적합했던 추정 계수다라고 말할 수 있다.

따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 차분 제곱합 E(J, id) 중 값이 최소로 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.

스텝 S188에 있어서, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된 계수 인덱스를 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.

예를 들어, 스텝 S188에서는, 계수 인덱스에 대하여 엔트로피 부호화 등이 행하여진다. 이에 의해, 복호 장치(40)에 출력되는 고역 부호화 데이터의 정보량을 압축할 수 있다. 또한, 고역 부호화 데이터는, 최적의 복호 고역 서브 밴드 파워 추정 계수가 얻어지는 정보이면, 어떤 정보이어도 되며, 예를 들어 계수 인덱스가 그대로 고역 부호화 데이터로 되어도 된다.

스텝 S189에 있어서, 다중화 회로(38)는, 저역 부호화 회로(32)로부터 공급된 저역 부호화 데이터와, 고역 부호화 회로(37)로부터 공급된 고역 부호화 데이터를 다중화하고, 그 결과 얻어진 출력 부호열을 출력하고, 부호화 처리는 종료한다.

이와 같이, 저역 부호화 데이터와 함께, 계수 인덱스를 부호화하여 얻어진 고역 부호화 데이터를 출력 부호열로서 출력함으로써, 이 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확장 처리에 가장 적합하였던, 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있다. 이에 의해, 보다 음질이 좋은 신호를 얻을 수 있게 된다.

[복호 장치의 기능적 구성예]

또한, 도 18의 부호화 장치(30)로부터 출력된 출력 부호열을, 입력 부호열로서 입력하고, 복호하는 복호 장치(40)는, 예를 들어 도 20에 도시한 바와 같이 구성된다. 또한, 도 20에 있어서, 도 13에 있어서의 경우와 대응하는 부분에는, 동일한 부호를 부여하고, 그 설명은 생략한다.

도 20의 복호 장치(40)는, 역다중화 회로(41) 내지 합성 회로(48)로부터 구성되는 점에서는, 도 13의 복호 장치(40)와 같지만, 저역 복호 회로(42)로부터의 복호 저역 신호가 특징량 산출 회로(44)에는 공급되지 않는 점에서, 도 13의 복호 장치(40)와 상이하다.

도 20의 복호 장치(40)에서는, 고역 복호 회로(45)는, 도 18의 의사 고역 서브 밴드 파워 산출 회로(35)가 기록하고 있는 복호 고역 서브 밴드 파워 추정 계수와 같은 복호 고역 서브 밴드 파워 추정 계수를 미리 기록하고 있다. 즉, 미리 회귀 분석에 의해 구해진 복호 고역 서브 밴드 파워 추정 계수로서의 계수 A_ib(kb)과 계수 B_ib의 세트가, 계수 인덱스와 대응되어 기록되어 있다.

고역 복호 회로(45)는, 역다중화 회로(41)로부터 공급된 고역 부호화 데이터를 복호하고, 그 결과 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.

[복호 장치의 복호 처리]

이어서, 도 21의 흐름도를 참조하여, 도 20의 복호 장치(40)에 의해 행해지는 복호 처리에 대해서 설명한다.

이 복호 처리는, 부호화 장치(30)로부터 출력된 출력 부호열이, 입력 부호열로서 복호 장치(40)에 공급되면 개시된다. 또한, 스텝 S211 내지 스텝 S213의 처리는, 도 14의 스텝 S131 내지 스텝 S133의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S214에 있어서, 특징량 산출 회로(44)는, 서브 밴드 분할 회로(43)로부터의 복호 저역 서브 밴드 신호를 사용하여 특징량을 산출하여, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 구체적으로는, 특징량 산출 회로(44)는, 상술한 수학식 1의 연산을 행하고, 저역측의 각 서브 밴드 ib에 대해, 프레임 J(단, 0≤J)의 저역 서브 밴드 파워 power(ib, J)를 특징량으로서 산출한다.

스텝 S215에 있어서, 고역 복호 회로(45)는, 역다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행하고, 그 결과 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다. 즉, 고역 복호 회로(45)에 미리 기록되어 있는 복수의 복호 고역 서브 밴드 파워 추정 계수 중, 복호에 의해 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수가 출력된다.

스텝 S216에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출하여, 복호 고역 신호 생성 회로(47)에 공급한다.

즉, 복호 고역 서브 밴드 파워 산출 회로(46)는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 A_ib(kb) 및 계수 B_ib과, 특징량으로서의 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)을 사용하여 상술한 수학식 2의 연산을 행하고, 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 복호 고역 서브 밴드 파워가 얻어진다.

스텝 S217에 있어서, 복호 고역 신호 생성 회로(47)는, 서브 밴드 분할 회로(43)로부터 공급된 복호 저역 서브 밴드 신호와, 복호 고역 서브 밴드 파워 산출 회로(46)로부터 공급된 복호 고역 서브 밴드 파워에 기초하여, 복호 고역 신호를 생성한다.

구체적으로는, 복호 고역 신호 생성 회로(47)는, 복호 저역 서브 밴드 신호를 사용하여 상술한 수학식 1의 연산을 행하고, 저역측의 각 서브 밴드에 대해서 저역 서브 밴드 파워를 산출한다. 그리고, 복호 고역 신호 생성 회로(47)는, 얻어진 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워를 사용하여 상술한 수학식 3의 연산을 행하고, 고역측의 서브 밴드마다의 이득량G(ib, J)를 산출한다.

또한, 복호 고역 신호 생성 회로(47)는, 이득량G(ib, J)와, 복호 저역 서브 밴드 신호를 사용하여 상술한 수학식 5 및 수학식 6의 연산을 행하고, 고역측의 각 서브 밴드에 대해, 고역 서브 밴드 신호 x3(ib, n)를 생성한다.

즉, 복호 고역 신호 생성 회로(47)는, 저역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 비에 따라, 복호 저역 서브 밴드 신호 x(ib, n)를 진폭 변조하고, 그 결과, 얻어진 복호 저역 서브 밴드 신호 x2(ib, n)를, 더 주파수 변조한다. 이에 의해, 저역측의 서브 밴드의 주파수 성분의 신호가, 고역측의 서브 밴드의 주파수 성분의 신호로 변환되어, 고역 서브 밴드 신호 x3(ib, n)가 얻어진다.

이와 같이 각 서브 밴드의 고역 서브 밴드 신호를 얻는 처리는, 보다 상세하게는 이하와 같은 처리이다.

주파수 영역에서 연속해서 배열한 4개의 서브 밴드를, 대역 블록으로 칭하는 것으로 하고, 저역측에 있는 인덱스가 sb 내지 Sb-3인 4개의 서브 밴드로부터, 1개의 대역 블록(이하, 특히 저역 블록이라고 칭한다)이 구성 되도록, 주파수 대역을 분할한 것으로 한다. 이때, 예를 들어 고역측의 인덱스가 sb+1 내지 Sb+4인 서브 밴드로 이루어지는 대역이, 1개의 대역 블록으로 된다. 또한, 이하, 고역측, 즉 인덱스가 sb+1 이상인 서브 밴드로 이루어지는 대역 블록을, 특히 고역 블록으로 칭하는 것으로 한다.

지금, 고역 블록을 구성하는 1개의 서브 밴드에 주목하고, 그 서브 밴드(이하, 주목 서브 밴드라고 칭한다)의 고역 서브 밴드 신호를 생성하는 것으로 한다. 우선, 복호 고역 신호 생성 회로(47)는, 고역 블록에 있어서의 주목 서브 밴드의 위치와 동일 위치 관계에 있는, 저역 블록의 서브 밴드를 특정한다.

예를 들어, 주목 서브 밴드의 인덱스가 sb+1이면, 주목 서브 밴드는, 고역 블록 중 가장 주파수가 낮은 대역이므로, 주목 서브 밴드와 동일 위치 관계에 있는 저역 블록의 서브 밴드는, 인덱스가 sb-3인 서브 밴드가 된다.

이와 같이 하여, 주목 서브 밴드와 동일 위치 관계에 있는 저역 블록의 서브 밴드가 특정되면, 그 서브 밴드의 저역 서브 밴드 파워 및 복호 저역 서브 밴드 신호와, 주목 서브 밴드의 복호 고역 서브 밴드 파워가 사용되고, 주목 서브 밴드의 고역 서브 밴드 신호가 생성된다.

즉, 복호 고역 서브 밴드 파워와 저역 서브 밴드 파워가, 수학식 3에 대입되어, 그들의 파워의 비에 따른 이득량이 산출된다. 그리고, 산출된 이득량이 복호 저역 서브 밴드 신호에 승산되고, 또한 이득량이 승산된 복호 저역 서브 밴드 신호가, 수학식 6의 연산에 의해 주파수 변조되어, 주목 서브 밴드의 고역 서브 밴드 신호로 된다.

이상의 처리에 의해, 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 얻어진다. 그러면, 복호 고역 신호 생성 회로(47)는, 또한 상술한 수학식 7의 연산을 행하고, 얻어진 각 고역 서브 밴드 신호의 합을 구하고, 복호 고역 신호를 생성한다. 복호 고역 신호 생성 회로(47)는, 얻어진 복호 고역 신호를 합성 회로(48)에 공급하고, 처리는 스텝 S217로부터 스텝 S218에 진행한다.

스텝 S218에 있어서, 합성 회로(48)는, 저역 복호 회로(42)로부터의 복호 저역 신호와, 복호 고역 신호 생성 회로(47)로부터의 복호 고역 신호를 합성하여, 출력 신호로서 출력한다.

그리고, 그 후, 복호 처리는 종료한다.

이상과 같이, 복호 장치(40)에 의하면, 입력 부호열의 역다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스를 얻고, 그 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수를 사용하여 복호 고역 서브 밴드 파워를 산출하므로, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있다. 이에 의해, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

<4. 제4 실시 형태>

[부호화 장치의 부호화 처리]

또한, 이상에 있어서는, 고역 부호화 데이터에 계수 인덱스만이 포함되는 경우를 예로서 설명하였지만, 다른 정보가 포함되도록 해도 된다.

예를 들어, 계수 인덱스가 고역 부호화 데이터에 포함되도록 하면, 실제의 고역 신호의 고역 서브 밴드 파워에 가장 가까운 복호 고역 서브 밴드 파워가 얻어지는, 복호 고역 서브 밴드 파워 추정 계수를, 복호 장치(40) 측에 있어서 알 수 있다.

그러나, 실제의 고역 서브 밴드 파워(참값)와, 복호 장치(40) 측에서 얻어지는 복호 고역 서브 밴드 파워(추정값)에는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)에서 산출된 의사 고역 서브 밴드 파워 차분 power_diff(ib, J)와 거의 동일한 값만큼 차가 발생한다.

따라서, 고역 부호화 데이터에, 계수 인덱스뿐만 아니라, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분도 포함되도록 하면, 복호 장치(40) 측에 있어서, 실제의 고역 서브 밴드 파워에 대한 복호 고역 서브 밴드 파워의 대략의 오차를 알 수 있다. 그렇게 하면, 이 오차를 이용하여, 고역 서브 밴드 파워의 추정 정밀도를 더욱 향상시킬 수 있다.

이하, 도 22 및 도 23의 흐름도를 참조하여, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되는 경우에 있어서의 부호화 처리와 복호 처리에 대해서 설명한다.

우선, 도 22의 흐름도를 참조하여, 도 18의 부호화 장치(30)에 의해 행해지는 부호화 처리에 대해서 설명한다. 또한, 스텝 S241 내지 스텝 S246의 처리는, 도 19의 스텝 S181 내지 스텝 S186의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S247에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 상술한 수학식 15의 연산을 행하고, 복호 고역 서브 밴드 파워 추정 계수마다, 차분 제곱합 E(J, id)을 산출한다.

그리고, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 차분 제곱합E(J, id) 중 값이 최소로 되는 차분 제곱합을 선택하고, 그 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 선택된 차분 제곱합에 대응하는 복호 고역 서브 밴드 파워 추정 계수에 대해서 구한, 각 서브 밴드의 의사 고역 서브 밴드 파워 차분 power_diff(ib, J)를 고역 부호화 회로(37)에 공급한다.

스텝 S248에 있어서, 고역 부호화 회로(37)는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)로부터 공급된, 계수 인덱스 및 의사 고역 서브 밴드 파워 차분을 부호화하고, 그 결과 얻어진 고역 부호화 데이터를 다중화 회로(38)에 공급한다.

이에 의해, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 의사 고역 서브 밴드 파워 차분, 결국 고역 서브 밴드 파워의 추정 오차가 고역 부호화 데이터로서, 복호 장치(40)에 공급되게 된다.

고역 부호화 데이터가 얻어지면, 그 후, 스텝 S249의 처리가 행해져서 부호화 처리는 종료되지만, 스텝 S249의 처리는, 도 19의 스텝 S189의 처리와 마찬가지이기 때문에, 그 설명은 생략한다.

이상과 같이, 고역 부호화 데이터에 의사 고역 서브 밴드 파워 차분이 포함되도록 하면, 복호 장치(40)에 있어서, 고역 서브 밴드 파워의 추정 정밀도를 더욱 향상시킬 수 있고, 보다 음질이 좋은 음악 신호를 얻을 수 있게 된다.

[복호 장치의 복호 처리]

이어서, 도 23의 흐름도를 참조하여, 도 20의 복호 장치(40)에 의해 행해지는 복호 처리에 대해서 설명한다. 또한, 스텝 S271 내지 스텝 S274의 처리는, 도 21의 스텝 S211 내지 스텝 S214의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S275에 있어서, 고역 복호 회로(45)는, 역다중화 회로(41)로부터 공급된 고역 부호화 데이터의 복호를 행한다. 그리고, 고역 복호 회로(45)는, 복호에 의해 얻어진 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수와, 복호에 의해 얻어진 각 서브 밴드의 의사 고역 서브 밴드 파워 차분을, 복호 고역 서브 밴드 파워 산출 회로(46)에 공급한다.

스텝 S276에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 특징량 산출 회로(44)로부터 공급된 특징량과, 고역 복호 회로(45)로부터 공급된 복호 고역 서브 밴드 파워 추정 계수에 기초하여, 복호 고역 서브 밴드 파워를 산출한다. 또한, 스텝 S276에서는, 도 21의 스텝 S216과 마찬가지의 처리가 행해진다.

스텝 S277에 있어서, 복호 고역 서브 밴드 파워 산출 회로(46)는, 복호 고역 서브 밴드 파워에, 고역 복호 회로(45)로부터 공급된 의사 고역 서브 밴드 파워 차분을 가산하여, 최종적인 복호 고역 서브 밴드 파워로 하여 복호 고역 신호 생성 회로(47)에 공급한다. 즉, 산출된 각 서브 밴드의 복호 고역 서브 밴드 파워에, 동일한 서브 밴드의 의사 고역 서브 밴드 파워 차분이 가산된다.

그리고, 그 후, 스텝 S278 및 스텝 S279의 처리가 행해지고, 복호 처리는 종료되지만, 이들의 처리는 도 21의 스텝 S217 및 스텝 S218과 마찬가지이므로, 그 설명은 생략한다.

이상과 같이 하여, 복호 장치(40)는, 입력 부호열의 역다중화에 의해 얻어진 고역 부호화 데이터로부터 계수 인덱스와, 의사 고역 서브 밴드 파워 차분을 얻는다. 그리고, 복호 장치(40)는, 계수 인덱스에 의해 나타내어지는 복호 고역 서브 밴드 파워 추정 계수와, 의사 고역 서브 밴드 파워 차분을 사용하여 복호 고역 서브 밴드 파워를 산출한다. 이에 의해, 고역 서브 밴드 파워의 추정 정밀도를 향상시킬 수 있고, 음악 신호를 보다 고음질로 재생하는 것이 가능하게 된다.

또한, 부호화 장치(30)와, 복호 장치(40) 사이에서 발생하는 고역 서브 밴드 파워의 추정값의 차, 즉 의사 고역 서브 밴드 파워와 복호 고역 서브 밴드 파워의 차(이하, 장치간 추정차라고 칭한다)가 고려되도록 해도 된다.

그러한 경우, 예를 들어 고역 부호화 데이터로 되는 의사 고역 서브 밴드 파워 차분이, 장치간 추정 차로 보정되거나, 고역 부호화 데이터에 장치간 추정 차가 포함되도록 하고, 복호 장치(40) 측에서, 장치간 추정차에 의해, 의사 고역 서브 밴드 파워 차분이 보정되거나 한다. 또한, 미리 복호 장치(40) 측에서, 장치간 추정차를 기록해 두도록 하고, 복호 장치(40)가, 의사 고역 서브 밴드 파워 차분에 장치간 추정차를 가산하여, 보정을 행하도록 해도 된다. 이에 의해, 실제의 고역 신호에, 보다 가까운 복호 고역 신호를 얻을 수 있다.

<5. 제5 실시 형태>

또한, 도 18의 부호화 장치(30)에서는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)가, 차분 제곱합 E(J, id)을 지표로 하여, 복수의 계수 인덱스로부터 최적의 것을 선택하는 것으로 설명하였지만, 차분 제곱합과는 다른 지표를 이용하여 계수 인덱스를 선택해도 된다.

예를 들어, 계수 인덱스를 선택하는 지표로서, 고역 서브 밴드 파워와 의사 고역 서브 밴드 파워의 잔차의 제곱 평균값, 최대값 및 평균값 등을 고려한 평가값을 이용하도록 해도 된다. 그러한 경우, 도 18의 부호화 장치(30)는, 도 24의 흐름도에 나타내는 부호화 처리를 행한다.

이하, 도 24의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S301 내지 스텝 S305의 처리는, 도 19의 스텝 S181 내지 스텝 S185의 처리와 마찬가지이므로, 그 설명은 생략한다. 스텝 S301 내지 스텝 S305의 처리가 행해지면, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 각 서브 밴드의 의사 고역 서브 밴드 파워가 산출된다.

스텝 S306에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상이 되고 있는 현 프레임 J를 사용한 평가값 Res(id, J)를 산출한다.

구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 사용하여, 상술한 수학식 1과 같은 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다. 또한, 본 실시 형태에서는, 저역 서브 밴드 신호의 서브 밴드와 고역 서브 밴드 신호의 서브 밴드의 모두를, 인덱스 ib을 사용하여 식별하는 것으로 한다.

고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 16을 계산하고, 잔차 제곱 평균값 Res_std(id, J)를 산출한다.

[수학식 16]

즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해지고, 그들의 차분의 제곱합이 잔차 제곱 평균값 Res_std(id, J)로 된다. 또한, 의사 고역 서브 밴드 파워 power_est(ib, id, J)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워를 나타내고 있다.

계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 17을 계산하고, 잔차 최대값 Res_max(id, J)를 산출한다.

[수학식 17]

또한, 수학식 17에 있어서, max_ib {|power(ib, J)-power_est(ib, id, J)|}은, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분의 절대값 중의 최대의 것을 나타내고 있다. 따라서, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분의 절대값의 최대값이 잔차 최대값 Res_max(id, J)로 된다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 18을 계산하고, 잔차 평균값 Res_ave(id, J)를 산출한다.

[수학식 18]

즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해지고, 그들의 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수 (eb-sb)로 제산해서 얻어지는 값의 절대값이 잔차 평균값 Res_ave(id, J)로 된다. 이 잔차 평균값 Res_ave(id, J)는, 부호가 고려된 각 서브 밴드의 추정 오차의 평균값의 크기를 나타내고 있다.

또한, 잔차 제곱 평균값 Res_std(id, J), 잔차 최대값 Res_max(id, J) 및 잔차 평균값 Res_ave(id, J)이 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 19를 계산하고, 최종적인 평가값 Res(id, J)를 산출한다.

[수학식 19]

즉, 잔차 제곱 평균값 Res_std(id, J), 잔차 최대값 Res_max(id, J) 및 잔차 평균값 Res_ave(id, J)이 가중치가 부여되어 가산되어, 최종적인 평가값 Res(id, J)로 된다. 또한, 수학식 19에 있어서, W_max 및 W_ave는, 미리 정해진 가중치이며, 예를 들어 W_max=0.5, W_ave=0.5 등으로 된다.

의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하고, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 즉 K개의 계수 인덱스 id마다, 평가값 Res(id, J)를 산출한다.

스텝 S307에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 계수 인덱스 id마다의 평가값 Res(id, J)에 기초하여, 계수 인덱스 id를 선택한다.

이상의 처리에서 얻어진 평가값 Res(id, J)는, 실제의 고역 신호로부터 산출된 고역 서브 밴드 파워와, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수를 사용하여 산출된 의사 고역 서브 밴드 파워와의 유사한 정도를 나타내고 있다. 즉, 고역 성분의 추정 오차의 크기를 나타내고 있다.

따라서, 평가값 Res(id, J)이 작을수록, 복호 고역 서브 밴드 파워 추정 계수를 사용한 연산에 의해, 실제의 고역 신호에 의해 가까운 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값 Res(id, J) 중 값이 최소로 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.

계수 인덱스가 고역 부호화 회로(37)에 출력되면, 그 후, 스텝 S308 및 스텝 S309의 처리가 행해져서 부호화 처리는 종료되지만, 이들의 처리는 도 19의 스텝 S188 및 스텝 S189과 마찬가지이므로, 그 설명은 생략한다.

이상과 같이, 부호화 장치(30)에서는, 잔차 제곱 평균값 Res_std(id, J), 잔차 최대값 Res_max(id, J) 및 잔차 평균값 Res_ave(id, J)으로부터 산출된 평가값 Res(id, J)이 사용되고, 최적의 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.

평가값 Res(id, J)를 사용하면, 차분 제곱합을 사용한 경우에 비하여, 보다 많은 평가 척도를 사용하여 고역 서브 밴드 파워의 추정 정밀도를 평가할 수 있으므로, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있게 된다. 이에 의해, 출력 부호열의 입력을 받는 복호 장치(40)에서는, 주파수 대역 확장 처리에 가장 적합하였던, 복호 고역 서브 밴드 파워 추정 계수를 얻을 수 있어, 보다 음질이 좋은 신호를 얻을 수 있게 된다.

<변형예 1>

또한, 이상에 있어서 설명한 부호화 처리를 입력 신호의 프레임마다 행하면, 입력 신호의 고역측의 각 서브 밴드의 고역 서브 밴드 파워의 시간적인 변동이 적은 정상부에서는, 연속하는 프레임마다 상이한 계수 인덱스가 선택되게 되는 경우가 있다.

즉, 입력 신호의 정상부를 구성하는, 연속하는 프레임에서는, 각 프레임의 고역 서브 밴드 파워는 거의 동일값이 되므로, 그들의 프레임에서는 계속해서 동일한 계수 인덱스가 선택되어야 한다. 그런데, 이들의 연속하는 프레임의 구간에 있어서, 프레임마다 선택되는 계수 인덱스가 변화하고, 그 결과, 복호 장치(40) 측에 있어서 재생되는 음성의 고역 성분이 정상으로 되지 않는 경우가 있다. 그러면, 재생된 음성에는, 청감상 위화감이 발생해버린다.

따라서, 부호화 장치(30)에 있어서 계수 인덱스를 선택하는 경우에, 시간적으로 이전의 프레임에서의 고역 성분의 추정 결과도 고려되도록 해도 된다. 그러한 경우, 도 18의 부호화 장치(30)는, 도 25의 흐름도에 나타내는 부호화 처리를 행한다.

이하, 도 25의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S331 내지 스텝 S336의 처리는, 도 24의 스텝 S301 내지 스텝 S306의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S337에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 사용한 평가값 ResP(id, J)를 산출한다.

구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임 J보다도 시간적으로 1개 전의 프레임(J-1)에 대해, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다. 여기서, 최종적으로 선택된 계수 인덱스란, 고역 부호화 회로(37)에 의해 부호화되어, 복호 장치(40)에 출력된 계수 인덱스이다.

이하에서는, 특히 프레임(J-1)에 있어서 선택된 계수 인덱스 id를 id_selected(J-1)로 한다. 또한, 계수 인덱스 id_selected(J-1)의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 인덱스가 ib(단, sb+1≤ib≤eb)인 서브 밴드의 의사 고역 서브 밴드 파워를 power_est(ib, id_selected(J-1), J-1)로 하여 설명을 계속한다.

의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 다음 수학식 20을 계산하고, 추정 잔차 제곱 평균값 ResP_std(id, J)를 산출한다.

[수학식 20]

즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 프레임(J-1)의 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와, 프레임 J의 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해진다. 그리고, 그들의 차분의 제곱합이 추정 잔차 제곱 평균값 ResP_std(id, J)로 된다. 또한, 의사 고역 서브 밴드 파워 power_est(ib, id, J)는, 계수 인덱스가 id인 복호 고역 서브 밴드 파워 추정 계수에 대해서 구해진, 인덱스가 ib인 서브 밴드의 프레임 J의 의사 고역 서브 밴드 파워를 나타내고 있다.

이 추정 잔차 제곱 평균값 ResP_std(id, J)는, 시간적으로 연속하는 프레임간의 의사 고역 서브 밴드 파워의 차분 제곱합이기 때문에, 추정 잔차 제곱 평균값 ResP_std(id, J)이 작을수록, 고역 성분의 추정값의 시간적인 변화가 적게 된다.

계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 21을 계산하고, 추정 잔차 최대값 ResP_max(id, J)를 산출한다.

[수학식 21]

또한, 수학식 21에 있어서, maxib {|power_est(ib, id_selected(J-1), J-1)-power_est(ib, id, J)|}은, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분의 절대값 중 최대의 것을 나타내고 있다. 따라서, 시간적으로 연속하는 프레임간의 의사 고역 서브 밴드 파워의 차분의 절대값의 최대값이 추정 잔차 최대값 ResP_max(id, J)로 된다.

추정 잔차 최대값 ResP_max(id, J)는, 그 값이 작을수록, 연속하는 프레임간의 고역 성분의 추정 결과가 가깝게 된다.

추정 잔차 최대값 ResP_max(id, J)가 얻어지면, 다음에 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 22를 계산하고, 추정 잔차 평균값 ResP_ave(id, J)를 산출한다.

[수학식 22]

즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 프레임(J-1)의 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와, 프레임 J의 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해진다. 그리고, 각 서브 밴드의 차분의 총합이 고역측의 서브 밴드수 (eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResP_ave(id, J)로 된다. 이 추정 잔차 평균값 ResP_ave(id, J)는, 부호가 고려된 프레임간의 서브 밴드의 추정값의 차의 평균값의 크기를 나타내고 있다.

또한, 추정 잔차 제곱 평균값 ResP_std(id, J), 추정 잔차 최대값 ResP_max(id, J) 및 추정 잔차 평균값 ResP_ave(id, J)이 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 23을 계산하고, 평가값 ResP(id, J)를 산출한다.

[수학식 23]

즉, 추정 잔차 제곱 평균값 ResP_std(id, J), 추정 잔차 최대값 ResP_max(id, J) 및 추정 잔차 평균값 ResP_ave(id, J)이 가중치가 부여되어 가산되어, 평가값 ResP(id, J)로 된다. 또한, 수학식 23에 있어서, W_max 및 W_ave는, 미리 정해진 가중치이며, 예를 들어 W_max=0.5, W_ave=0.5 등으로 된다.

이와 같이 하여, 과거 프레임과 현 프레임을 사용한 평가값 ResP(id, J)이 산출되면, 처리는 스텝 S337로부터 스텝 S338에 진행한다.

스텝 S338에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 24를 계산하고, 최종적인 평가값 Res_all(id, J)를 산출한다.

[수학식 24]

즉, 구한 평가값 Res(id, J)와 평가값 ResP(id, J)이 가중치가 부여되어 가산된다. 또한, 수학식 24에 있어서, W_p(J)는, 예를 들어 다음 수학식 25에 의해 정의되는 가중치이다.

[수학식 25]

또한, 수학식 25에 있어서의 power_r(J)는, 다음 수학식 26에 의해 정해지는 값이다.

[수학식 26]

이 power_r(J)는, 프레임(J-1)과 프레임 J의 고역 서브 밴드 파워의 차분의 평균을 나타내고 있다. 또한, 수학식 25로부터 W_p(J)는, power_r(J)가 0 근방의 소정의 범위 내의 값일 때는, power_r(J)가 작을수록 1에 가까운 값이 되고, power_r(J)가 소정의 범위의 값보다 클 때는 0이 된다.

여기서, power_r(J)가 0 근방의 소정 범위 내의 값일 경우, 연속하는 프레임간의 고역 서브 밴드 파워의 차분의 평균은 어느 정도 작은 것이 된다. 바꾸어 말하면, 입력 신호의 고역 성분의 시간적인 변동이 적고, 입력 신호의 현 프레임은 정상부인 것이 된다.

가중치 W_p(J)는, 입력 신호의 고역 성분이 정상일수록, 보다 1에 가까운 값이 되고, 반대로 고역 성분이 정상이 아닐수록 보다 0에 가까운 값이 된다. 따라서, 수학식 24에 나타내어지는 평가값 Res_all(id, J)에서는, 입력 신호의 고역 성분의 시간적 변동이 적을수록, 보다 직전의 프레임에서의 고역 성분의 추정 결과와의 비교 결과를 평가 척도로 한 평가값 ResP(id, J)의 기여율이 커진다.

그 결과, 입력 신호의 정상부에서는, 직전의 프레임에 있어서의 고역 성분의 추정 결과에 가까운 것이 얻어지는 복호 고역 서브 밴드 파워 추정 계수가 선택됨으로써, 복호 장치(40) 측에 있어서, 보다 자연스러운 음질이 좋은 음성을 재생할 수 있게 된다. 반대로, 입력 신호의 비정상부에서는, 평가값 Res_all(id, J)에 있어서의 평가값 ResP(id, J)의 항은 0이 되어, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.

의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 이상의 처리를 행하고, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 평가값 Res_all(id, J)를 산출한다.

스텝 S339에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 구한 복호 고역 서브 밴드 파워 추정 계수마다의 평가값 Res_all(id, J)에 기초하고, 계수 인덱스 id를 선택한다.

이상의 처리에서 얻어진 평가값 Res_all(id, J)는, 가중치를 사용하여 평가값 Res(id, J)와 평가값 ResP(id, J)를 선형 결합한 것이다. 상술한 바와 같이, 평가값 Res(id, J)는, 값이 작을수록, 실제의 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다. 또한, 평가값 ResP(id, J)는, 그 값이 작을수록, 직전의 프레임의 복호 고역 신호에 보다 가까운 복호 고역 신호가 얻어진다.

따라서, 평가값 Res_all(id, J)이 작을수록, 보다 적절한 복호 고역 신호가 얻어지게 된다. 따라서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 평가값 Res_all(id, J) 중 값이 최소로 되는 평가값을 선택하고, 그 평가값에 대응하는 복호 고역 서브 밴드 파워 추정 계수를 나타내는 계수 인덱스를, 고역 부호화 회로(37)에 공급한다.

계수 인덱스가 선택되면, 그 후, 스텝 S340 및 스텝 S341의 처리가 행해져서 부호화 처리는 종료되지만, 이들의 처리는 도 24의 스텝 S308 및 스텝 S309과 마찬가지이므로, 그 설명은 생략한다.

이상과 같이, 부호화 장치(30)에서는, 평가값 Res(id, J)와 평가값 ResP(id, J)를 선형 결합해서 얻어지는 평가값 Res_all(id, J)이 사용되고, 최적의 복호 고역 서브 밴드 파워 추정 계수의 계수 인덱스가 선택된다.

평가값 Res_all(id, J)를 사용하면, 평가값 Res(id, J)를 사용한 경우와 마찬가지로, 보다 많은 평가 척도에 의해, 보다 적절한 복호 고역 서브 밴드 파워 추정 계수를 선택할 수 있다. 게다가, 평가값 Res_all(id, J)를 사용하면, 복호 장치(40) 측에 있어서, 재생하고자 하는 신호의 고역 성분의 정상부에 있어서의 시간적인 변동을 억제할 수 있고, 보다 음질이 좋은 신호를 얻을 수 있다.

<변형예 2>

그런데, 주파수 대역 확장 처리에서는, 보다 음질이 좋은 음성을 얻고자 하면, 보다 저역측의 서브 밴드일수록 청감상 중요해진다. 즉, 고역측의 각 서브 밴드 중, 보다 저역측에 가까운 서브 밴드의 추정 정밀도가 높을수록, 보다 고음질의 음성을 재생할 수 있다.

따라서, 각 복호 고역 서브 밴드 파워 추정 계수에 관한 평가값이 산출되는 경우에, 보다 저역측의 서브 밴드에 중점이 놓이도록 해도 된다. 그러한 경우, 도 18의 부호화 장치(30)는, 도 26의 흐름도에 나타내는 부호화 처리를 행한다.

이하, 도 26의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S371 내지 스텝 S375의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S376에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상이 되고 있는 현 프레임 J를 사용한 평가값 ResW_band(id, J)를 산출한다.

구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 사용하여, 상술한 수학식 1과 같은 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다.

고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 27을 계산하고, 잔차 제곱 평균값 Res_stdW_band(id, J)를 산출한다.

[수학식 27]

즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 프레임 J의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해지고, 그들의 차분에 서브 밴드마다의 가중치 W_band(ib)가 승산된다. 그리고, 가중치 W_band(ib)가 승산된 차분의 제곱합이 잔차 제곱 평균값 Res_stdW_band(id, J)로 된다.

여기서, 가중치 W_band(ib)(단, sb+1≤ib≤eb)은, 예를 들어 다음 수학식 28로 정의된다. 이 가중치 W_band(ib)의 값은, 보다 저역측의 서브 밴드일수록 커진다.

[수학식 28]

계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 최대값 Res_maxW_band(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분에, 가중치 W_band(ib)가 승산된 것 중의 절대값의 최대값이, 잔차 최대값 Res_maxW_band(id, J)로 된다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 평균값 Res_aveW_band(id, J)를 산출한다.

구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해져서 가중치 W_band(ib)가 승산되어, 가중치 W_band(ib)가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수 (eb-sb)로 제산해서 얻어지는 값의 절대값이 잔차 평균값 Res_aveW_band(id, J)로 된다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResW_band(id, J)를 산출한다. 즉, 잔차 제곱 평균값 Res_stdW_band(id, J), 가중치 W_max가 승산된 잔차 최대값 Res_maxW_band(id, J) 및 가중치 W_ave가 승산된 잔차 평균값 Res_aveW_band(id, J)의 합이 평가값 ResW_band(id, J)로 된다.

스텝 S377에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 사용한 평가값 ResPW_band(id, J)를 산출한다.

구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임 J보다도 시간적으로 1개 전의 프레임(J-1)에 대해, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.

의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 추정 잔차 제곱 평균값 ResP_stdW_band(id, J)를 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와, 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해져서 가중치 W_band(ib)가 승산된다. 그리고, 가중치 W_band(ib)가 승산된 차분의 제곱합이 추정 잔차 제곱 평균값 ResP_stdW_band(id, J)로 된다.

계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 최대값 ResP_maxW_band(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분에, 가중치 W_band(ib)가 승산된 것 중의 절대값의 최대값이, 추정 잔차 최대값 ResP_maxW_band(id, J)로 된다.

이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 평균값 ResP_aveW_band(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해, 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와, 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해지고, 가중치 W_band(ib)가 승산된다. 그리고, 가중치 W_band(ib)가 승산된 차분의 총합이 고역측의 서브 밴드수 (eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResP_aveW_band(id, J)로 된다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값 ResP_stdW_band(id, J), 가중치 W_max가 승산된 추정 잔차 최대값 ResP_maxW_band(id, J) 및 가중치 W_ave가 승산된 추정 잔차 평균값 ResP_aveW_band(id, J)의 합을 구하고, 평가값 ResPW_band(id, J)로 한다.

스텝 S378에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResW_band(id, J)와, 수학식 25의 가중치 W_p(J)가 승산된 평가값 ResPW_band(id, J)를 가산하고, 최종적인 평가값 Res_allW_band(id, J)를 산출한다. 이 평가값 Res_allW_band(id, J)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.

그리고, 그 후, 스텝 S379 내지 스텝 S381의 처리가 행해져서 부호화 처리는 종료되지만, 이들의 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S379에서는, K개의 계수 인덱스 중, 평가값 Res_allW_band(id, J)이 최소로 되는 것이 선택된다.

이와 같이, 보다 저역측의 서브 밴드에 중점이 놓이게, 서브 밴드마다 가중치를 부여함으로써, 복호 장치(40) 측에 있어서, 고음질의 음성을 더 얻을 수 있게 된다.

또한, 이상에 있어서는, 평가값 Res_allW_band(id, J)에 기초하고, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행하여지는 것으로 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값 ResW_band(id, J)에 기초하여 선택되도록 해도 된다.

<변형예 3>

또한, 사람의 청각은, 진폭(파워)이 큰 주파수 대역일수록 잘 지각한다는 특성을 갖고 있으므로, 보다 파워가 큰 서브 밴드에 중점이 놓이게, 각 복호 고역 서브 밴드 파워 추정 계수에 관한 평가값이 산출되어도 된다.

그러한 경우, 도 18의 부호화 장치(30)는, 도 27의 흐름도에 나타내는 부호화 처리를 행한다. 이하, 도 27의 흐름도를 참조하여, 부호화 장치(30)에 의한 부호화 처리에 대해서 설명한다. 또한, 스텝 S401 내지 스텝 S405의 처리는, 도 25의 스텝 S331 내지 스텝 S335의 처리와 마찬가지이므로, 그 설명은 생략한다.

스텝 S406에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다, 처리 대상이 되고 있는 현 프레임 J를 사용한 평가값 ResW_power(id, J)를 산출한다.

구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 서브 밴드 분할 회로(33)로부터 공급된 각 서브 밴드의 고역 서브 밴드 신호를 사용하여, 상술한 수학식 1과 같은 연산을 행하고, 프레임 J에 있어서의 고역 서브 밴드 파워 power(ib, J)를 산출한다.

고역 서브 밴드 파워 power(ib, J)가 얻어지면, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 다음 수학식 29를 계산하고, 잔차 제곱 평균값 Res_stdW_power(id, J)를 산출한다.

[수학식 29]

즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해지고, 그들의 차분에 서브 밴드마다의 가중치 W_power(power(ib, J))가 승산된다. 그리고, 가중치 W_power(power(ib, J))가 승산된 차분의 제곱합이 잔차 제곱 평균값 Res_stdW_power(id, J)로 된다.

여기서, 가중치 W_power(power(ib, J))(단, sb+1≤ib≤eb)은, 예를 들어 다음 수학식 30으로 정의된다. 이 가중치 W_power(power(ib, J))의 값은, 그 서브 밴드의 고역 서브 밴드 파워 power(ib, J)가 클수록, 커진다.

[수학식 30]

계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 최대값 Res_maxW_power(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분에, 가중치 W_power(power(ib, J))가 승산된 것 중의 절대값의 최대값이, 잔차 최대값 Res_maxW_power(id, J)로 된다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 잔차 평균값 Res_aveW_power(id, J)를 산출한다.

구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해, 고역 서브 밴드 파워 power(ib, J)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해져서 가중치 W_power(power(ib, J))가 승산되어, 가중치 W_power(power(ib, J))가 승산된 차분의 총합이 구해진다. 그리고, 얻어진 차분의 총합을 고역측의 서브 밴드수 (eb-sb)로 제산해서 얻어지는 값의 절대값이 잔차 평균값 Res_aveW_power(id, J)로 된다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResW_power(id, J)를 산출한다. 즉, 잔차 제곱 평균값 Res_stdW_power(id, J), 가중치 W_max가 승산된 잔차 최대값 Res_maxW_power(id, J) 및 가중치 W_ave가 승산된 잔차 평균값 Res_aveW_power(id, J)의 합이 평가값 ResW_power(id, J)로 된다.

스텝 S407에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 과거 프레임과 현 프레임을 사용한 평가값 ResPW_power(id, J)를 산출한다.

구체적으로는, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 처리 대상의 프레임 J보다도 시간적으로 1개 전의 프레임(J-1)에 대해, 최종적으로 선택된 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 사용하여 얻어진, 각 서브 밴드의 의사 고역 서브 밴드 파워를 기록하고 있다.

의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 우선 추정 잔차 제곱 평균값 ResP_stdW_power(id, J)를 산출한다. 즉, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드에 대해, 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와, 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해져서 가중치 W_power(power(ib, J))가 승산된다. 그리고, 가중치 W_power(power(ib, J))가 승산된 차분의 제곱합이 추정 잔차 제곱 평균값 ResP_stdW_power(id, J)로 된다.

계속해서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 최대값 ResP_maxW_power(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드의 의사 고역 서브 밴드 파워 power_est(ib, idselected(J-1), J-1)와 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분에, 가중치 W_power(power(ib, J))가 승산된 것 중의 최대값의 절대값이, 추정 잔차 최대값 ResP_maxW_power(id, J)로 된다.

이어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 평균값 ResP_aveW_power(id, J)를 산출한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 각 서브 밴드에 대해, 의사 고역 서브 밴드 파워 power_est(ib, id_selected(J-1), J-1)와, 의사 고역 서브 밴드 파워 power_est(ib, id, J)의 차분이 구해지고, 가중치 W_power(power(ib, J))가 승산된다. 그리고, 가중치 W_power(power(ib, J))가 승산된 차분의 총합이 고역측의 서브 밴드수 (eb-sb)로 제산되어 얻어진 값의 절대값이, 추정 잔차 평균값 ResP_aveW_power(id, J)로 된다.

또한, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 추정 잔차 제곱 평균값 ResP_stdW_power(id, J), 가중치 W_max가 승산된 추정 잔차 최대값 ResP_maxW_power(id, J) 및 가중치 W_ave가 승산된 추정 잔차 평균값 ResP_aveW_power(id, J)의 합을 구하고, 평가값 ResPW_power(id, J)로 한다.

스텝 S408에 있어서, 의사 고역 서브 밴드 파워 차분 산출 회로(36)는, 평가값 ResW_power(id, J)와, 수학식 25의 가중치 W_p(J)가 승산된 평가값 ResPW_power(id, J)를 가산하여, 최종적인 평가값 Res_allW_power(id, J)를 산출한다. 이 평가값 Res_allW_power(id, J)는, K개의 복호 고역 서브 밴드 파워 추정 계수마다 산출된다.

그리고, 그 후, 스텝 S409 내지 스텝 S411의 처리가 행해져서 부호화 처리는 종료되지만, 이들의 처리는 도 25의 스텝 S339 내지 스텝 S341의 처리와 마찬가지이므로, 그 설명은 생략한다. 또한, 스텝 S409에서는, K개의 계수 인덱스 중, 평가값 Res_allW_power(id, J)이 최소로 되는 것이 선택된다.

이와 같이, 파워가 큰 서브 밴드에 중점이 놓이게, 서브 밴드마다 가중치를 부여함으로써, 복호 장치(40) 측에 있어서, 고음질의 음성을 더 얻을 수 있게 된다.

또한, 이상에 있어서는, 평가값 Res_allW_power(id, J)에 기초하고, 복호 고역 서브 밴드 파워 추정 계수의 선택이 행하여지는 것으로 설명하였지만, 복호 고역 서브 밴드 파워 추정 계수가, 평가값 ResW_power(id, J)에 기초하여 선택되도록 해도 된다.

<6. 제6 실시 형태>

[계수 학습 장치의 구성]

그런데, 도 20의 복호 장치(40)에는, 복호 고역 서브 밴드 파워 추정 계수로서의 계수 A_ib(kb)과 계수 B_ib의 세트가, 계수 인덱스에 대응되어 기록되어 있다. 예를 들어, 복호 장치(40)에 128개의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 기록되면, 그들의 복호 고역 서브 밴드 파워 추정 계수를 기록하는 메모리 등의 기록 영역으로서, 큰 영역이 필요해진다.

따라서, 몇 개의 복호 고역 서브 밴드 파워 추정 계수의 일부를 공통의 계수로 하고, 복호 고역 서브 밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 하도록 해도 된다. 그러한 경우, 복호 고역 서브 밴드 파워 추정 계수를 학습에 의해 구하는 계수 학습 장치는, 예를 들어 도 28에 도시한 바와 같이 구성된다.

계수 학습 장치(81)는, 서브 밴드 분할 회로(91), 고역 서브 밴드 파워 산출 회로(92), 특징량 산출 회로(93) 및 계수 추정 회로(94)로 구성된다.

이 계수 학습 장치(81)에는, 학습에 사용되는 악곡 데이터 등이 광대역 교사 신호로서 복수 공급된다. 광대역 교사 신호는, 고역의 복수의 서브 밴드 성분과, 저역의 복수의 서브 밴드 성분이 포함되어 있는 신호이다.

서브 밴드 분할 회로(91)는, 대역 통과 필터 등으로 이루어지고, 공급된 광대역 교사 신호를, 복수의 서브 밴드 신호로 분할하고, 고역 서브 밴드 파워 산출 회로(92) 및 특징량 산출 회로(93)에 공급한다. 구체적으로는, 인덱스가 sb+1 내지 eb인 고역측의 각 서브 밴드의 고역 서브 밴드 신호가 고역 서브 밴드 파워 산출 회로(92)에 공급되고, 인덱스가 sb-3 내지 Sb인 저역측의 각 서브 밴드의 저역 서브 밴드 신호가 특징량 산출 회로(93)에 공급된다.

고역 서브 밴드 파워 산출 회로(92)는, 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하여, 계수 추정 회로(94)에 공급한다. 특징량 산출 회로(93)는, 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 기초하여, 저역 서브 밴드 파워를 특징량으로서 산출하여, 계수 추정 회로(94)에 공급한다.

계수 추정 회로(94)는, 고역 서브 밴드 파워 산출 회로(92)로부터의 고역 서브 밴드 파워와, 특징량 산출 회로(93)로부터의 특징량을 사용하여 회귀 분석을 행함으로써 복호 고역 서브 밴드 파워 추정 계수를 생성하여, 복호 장치(40)에 출력한다.

[계수 학습 처리의 설명]

이어서, 도 29의 흐름도를 참조하여, 계수 학습 장치(81)에 의해 행해지는 계수 학습 처리에 대해서 설명한다.

스텝 S431에 있어서, 서브 밴드 분할 회로(91)는, 공급된 복수의 광대역 교사 신호 각각을, 복수의 서브 밴드 신호로 분할한다. 그리고, 서브 밴드 분할 회로(91)는, 인덱스가 sb+1 내지 eb인 서브 밴드의 고역 서브 밴드 신호를 고역 서브 밴드 파워 산출 회로(92)에 공급하고, 인덱스가 sb-3 내지 Sb인 서브 밴드의 저역 서브 밴드 신호를 특징량 산출 회로(93)에 공급한다.

스텝 S432에 있어서, 고역 서브 밴드 파워 산출 회로(92)는, 서브 밴드 분할 회로(91)로부터 공급된 각 고역 서브 밴드 신호에 대해, 상술한 수학식 1과 같은 연산을 행해서 고역 서브 밴드 파워를 산출하여, 계수 추정 회로(94)에 공급한다.

스텝 S433에 있어서, 특징량 산출 회로(93)는, 서브 밴드 분할 회로(91)로부터 공급된 각 저역 서브 밴드 신호에 대해, 상술한 수학식 1의 연산을 행해서 저역 서브 밴드 파워를 특징량으로서 산출하여, 계수 추정 회로(94)에 공급한다.

이에 의해, 계수 추정 회로(94)에는, 복수의 광대역 교사 신호의 각 프레임에 대해, 고역 서브 밴드 파워와 저역 서브 밴드 파워가 공급되게 된다.

스텝 S434에 있어서, 계수 추정 회로(94)는, 최소 제곱법을 사용한 회귀 분석을 행하고, 인덱스가 sb+1 내지 eb인 고역측의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 계수 A_ib(kb)과 계수 B_ib을 산출한다.

또한, 회귀 분석에서는, 특징량 산출 회로(93)로부터 공급된 저역 서브 밴드 파워가 설명 변수로 되고, 고역 서브 밴드 파워 산출 회로(92)로부터 공급된 고역 서브 밴드 파워가 피설명 변수로 된다. 또한, 회귀 분석은, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임의 저역 서브 밴드 파워와 고역 서브 밴드 파워가 사용되어 행하여진다.

스텝 S435에 있어서, 계수 추정 회로(94)는, 구한 서브 밴드 ib마다의 계수 A_ib(kb)과 계수 B_ib을 사용하여, 광대역 교사 신호의 각 프레임의 잔차 벡터를 구한다.

예를 들어, 계수 추정 회로(94)는, 프레임 J의 서브 밴드 ib(단, sb+1≤ib≤eb)마다, 고역 서브 밴드 파워 power(ib, J)로부터, 계수 A_ib(kb)가 승산된 저역 서브 밴드 파워 power(kb, J)(단, sb-3≤kb≤sb)의 총합과 계수 B_ib와의 합을 감산해서 잔차를 구한다. 그리고, 프레임 J의 각 서브 밴드 ib의 잔차로 이루어지는 벡터가 잔차 벡터로 된다.

또한, 잔차 벡터는, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호를 구성하는, 모든 프레임에 대해서 산출된다.

스텝 S436에 있어서, 계수 추정 회로(94)는, 각 프레임에 대해서 구한 잔차 벡터를 정규화한다. 예를 들어, 계수 추정 회로(94)는, 각 서브 밴드 ib에 대해, 전 프레임의 잔차 벡터의 서브 밴드 ib의 잔차의 분산값을 구하고, 그 분산값의 평방근으로, 각 잔차 벡터에 있어서의 서브 밴드 ib의 잔차를 제산함으로써, 잔차 벡터를 정규화한다.

스텝 S437에 있어서, 계수 추정 회로(94)는, 정규화된 전 프레임의 잔차 벡터를, k-means법 등에 의해 클러스터링한다.

예를 들어, 계수 A_ib(kb)과 계수 B_ib을 사용하여, 고역 서브 밴드 파워의 추정을 행하였을 때에 얻어진, 전 프레임이 평균적인 주파수 포락을 평균 주파수 포락 SA로 칭하는 것으로 한다. 또한, 평균 주파수 포락 SA보다도 파워가 큰 소정의 주파수 포락을 주파수 포락 SH로 하고, 평균 주파수 포락 SA보다도 파워가 작은 소정의 주파수 포락을 주파수 포락 SL로 한다.

이때, 평균 주파수 포락 SA, 주파수 포락 SH 및 주파수 포락 SL에 가까운 주파수 포락이 얻어진 계수의 잔차 벡터 각각이, 클러스터 CA, 클러스터 CH 및 클러스터 CL에 속하도록, 잔차 벡터의 클러스터링이 행하여진다. 바꾸어 말하면, 각 프레임의 잔차 벡터가, 클러스터 CA, 클러스터 CH 또는 클러스터 CL 중 어느 하나에 속하도록 클러스터링이 행하여진다.

저역 성분과 고역 성분의 상관에 기초하여 고역 성분을 추정하는 주파수 대역 확장 처리에서는, 그 특성상, 회귀 분석에 의해 얻어진 계수 A_ib(kb)와 계수 B_ib을 사용하여 잔차 벡터를 산출하면, 보다 고역측의 서브 밴드일수록 잔차가 커진다. 그로 인해, 잔차 벡터를 그대로 클러스터링하면, 고역측의 서브 밴드일수록 중점이 놓여서 처리가 행해지게 된다.

이에 대해, 계수 학습 장치(81)에서는, 잔차 벡터를, 각 서브 밴드의 잔차의 분산값으로 정규화함으로써, 외관상 각 서브 밴드의 잔차의 분산을 동등한 것으로 하고, 각 서브 밴드에 균등한 가중치를 부여하여 클러스터링을 행할 수 있다.

스텝 S438에 있어서, 계수 추정 회로(94)는, 클러스터 CA, 클러스터 CH 또는 클러스터 CL 중 어느 하나의 클러스터를 처리 대상의 클러스터로서 선택한다.

스텝 S439에 있어서, 계수 추정 회로(94)는, 처리 대상의 클러스터로서 선택한 클러스터에 속하는 잔차 벡터의 프레임을 사용하여, 회귀 분석에 의해 각 서브 밴드 ib(단, sb+1≤ib≤eb)의 계수 A_ib(kb)와 계수 B_ib를 산출한다.

즉, 처리 대상의 클러스터에 속하는 잔차 벡터의 프레임을, 처리 대상 프레임으로 칭하는 것으로 하면, 모든 처리 대상 프레임의 저역 서브 밴드 파워와 고역 서브 밴드 파워가, 설명 변수 및 피설명 변수로 되고, 최소 제곱법을 사용한 회귀 분석이 행하여진다. 이에 의해, 서브 밴드 ib마다 계수 A_ib(kb)와 계수 B_ib가 얻어진다.

스텝 S440에 있어서, 계수 추정 회로(94)는, 모든 처리 대상 프레임에 대해, 스텝 S439의 처리에 의해 얻어진 계수 A_ib(kb)와 계수 B_ib를 사용하여, 잔차 벡터를 구한다. 또한, 스텝 S440에서는, 스텝 S435과 마찬가지의 처리가 행하여져서, 각 처리 대상 프레임의 잔차 벡터가 구해진다.

스텝 S441에 있어서, 계수 추정 회로(94)는, 스텝 S440의 처리에서 구한 각 처리 대상 프레임의 잔차 벡터를, 스텝 S436과 마찬가지의 처리를 행해서 정규화한다. 즉, 서브 밴드마다, 잔차가 분산값의 평방근으로 제산되어 잔차 벡터의 정규화가 행하여진다.

스텝 S442에 있어서, 계수 추정 회로(94)는, 정규화된 전 처리 대상 프레임의 잔차 벡터를, k-means법 등에 의해 클러스터링한다. 여기에서의 클러스터 수는, 다음과 같이 해서 정해진다. 예를 들어, 계수 학습 장치(81)에 있어서, 128개의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 생성하고자 하는 경우에는, 처리 대상 프레임 수에 128을 승산하고, 또한 전 프레임 수로 제산해서 얻어지는 수가 클러스터 수로 된다. 여기서, 전 프레임 수는, 계수 학습 장치(81)에 공급된 모든 광대역 교사 신호의 전 프레임의 총수이다.

스텝 S443에 있어서, 계수 추정 회로(94)는, 스텝 S442의 처리에서 얻어진 각 클러스터의 무게 중심 벡터를 구한다.

예를 들어, 스텝 S442의 클러스터링에서 얻어진 클러스터는, 계수 인덱스에 대응하고 있어, 계수 학습 장치(81)에서는, 클러스터마다 계수 인덱스가 할당되고, 각 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 구해진다.

구체적으로는, 스텝 S438에 있어서 클러스터 CA가, 처리 대상의 클러스터로서 선택되어, 스텝 S442에 있어서의 클러스터링에 의해, F개의 클러스터가 얻어진 것으로 한다. 지금, F개의 클러스터 중 1개의 클러스터 CF에 주목하면, 클러스터 CF의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수는, 스텝 S439에서 클러스터 CA에 대해서 구해진 계수 A_ib(kb)가 선형 상관항인 계수 A_ib(kb)로 된다. 또한, 스텝 S443에서 구해진 클러스터 CF의 무게 중심 벡터에 대하여 스텝 S441에서 행한 정규화의 역 처리(역 정규화)를 실시한 벡터와, 스텝 S439에서 구한 계수 B_ib과의 합이, 복호 고역 서브 밴드 파워 추정 계수의 상수항인 계수 B_ib로 된다. 여기에서 말하는 역 정규화는, 예를 들어 스텝 S441에서 행한 정규화가, 서브 밴드마다 잔차를 분산값의 평방근으로 제산한 것이었던 경우, 클러스터 CF의 무게 중심 벡터의 각 요소에 대하여 정규화시와 동일값(서브 밴드마다의 분산값의 평방근)을 승산하는 처리가 된다.

결국, 스텝 S439에서 얻어진 계수 A_ib(kb)와, 상술한 바와 같이 해서 구한 계수 B_ib과의 세트가, 클러스터 CF의 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수가 된다. 따라서, 클러스터링에서 얻어진 F개의 클러스터 각각은, 복호 고역 서브 밴드 파워 추정 계수의 선형 상관항으로서, 클러스터 CA에 대해서 구해진 계수 A_ib(kb)를 공통으로 갖게 된다.

스텝 S444에 있어서, 계수 학습 장치(81)는, 클러스터 CA, 클러스터 CH 및 클러스터 CL의 모든 클러스터를 처리 대상의 클러스터로서 처리하였는지의 여부를 판정한다. 스텝 S444에 있어서, 아직 모든 클러스터를 처리하고 있지 않다고 판단되었을 경우, 처리는 스텝 S438로 복귀되고, 상술한 처리가 반복된다. 즉, 다음 클러스터가 처리 대상으로서 선택되어, 복호 고역 서브 밴드 파워 추정 계수가 산출된다.

이에 대해, 스텝 S444에 있어서, 모든 클러스터를 처리하였다고 판정된 경우, 구하고자 하는 소정수의 복호 고역 서브 밴드 파워 추정 계수가 얻어졌으므로, 처리는 스텝 S445로 진행한다.

스텝 S445에 있어서, 계수 추정 회로(94)는, 구한 계수 인덱스와, 복호 고역 서브 밴드 파워 추정 계수를 복호 장치(40)에 출력해서 기록시켜, 계수 학습 처리는 종료한다.

예를 들어, 복호 장치(40)에 출력되는 복호 고역 서브 밴드 파워 추정 계수 중에는, 선형 상관항으로서 동일한 계수 A_ib(kb)를 가지는 것이 몇 개 있다. 따라서, 계수 학습 장치(81)는, 이들이 공통되는 계수 A_ib(kb)에 대하여, 그 계수 A_ib(kb)를 특정하는 정보인 선형 상관항 인덱스(포인터)를 대응시키는 동시에, 계수 인덱스에 대하여, 선형 상관항 인덱스와 상수항인 계수 B_ib를 대응시킨다.

그리고, 계수 학습 장치(81)는, 대응된 선형 상관항 인덱스(포인터)와 계수 A_ib(kb), 및 대응된 계수 인덱스와 선형 상관항 인덱스(포인터) 및 계수 B_ib을, 복호 장치(40)에 공급하고, 복호 장치(40)의 고역 복호 회로(45) 내의 메모리에 기록시킨다. 이와 같이, 복수의 복호 고역 서브 밴드 파워 추정 계수를 기록해 두는 것에 있어서, 각 복호 고역 서브 밴드 파워 추정 계수를 위한 기록 영역에, 공통되는 선형 상관항에 대해서는, 선형 상관항 인덱스(포인터)를 저장해 두면, 기록 영역을 대폭 작게 할 수 있다.

이 경우, 고역 복호 회로(45) 내의 메모리에는, 선형 상관항 인덱스와 계수 A_ib(kb)가 대응되어 기록되어 있으므로, 계수 인덱스로부터 선형 상관항 인덱스와 계수 B_ib을 얻고, 또한 선형 상관항 인덱스로부터 계수 A_ib(kb)를 얻을 수 있다.

또한, 본 출원인에 의한 해석의 결과, 복수의 복호 고역 서브 밴드 파워 추정 계수의 선형 상관항을 3 패턴 정도로 공통화해도, 주파수 대역 확장 처리한 음성의 청감상의 음질의 열화는 거의 없는 것을 알 수 있다. 따라서, 계수 학습 장치(81)에 의하면, 주파수 대역 확장 처리 후의 음성의 음질을 열화 시키지 않고, 복호 고역 서브 밴드 파워 추정 계수의 기록에 필요한 기록 영역을 보다 작게 할 수 있다.

이상과 같이 하여, 계수 학습 장치(81)는, 공급된 광대역 교사 신호로부터, 각 계수 인덱스의 복호 고역 서브 밴드 파워 추정 계수를 생성하여, 출력한다.

또한, 도 29의 계수 학습 처리에서는, 잔차 벡터를 정규화하는 것으로 설명하였지만, 스텝 S436 또는 스텝 S441의 한쪽 또는 양쪽에 있어서, 잔차 벡터의 정규화를 행하지 않도록 해도 된다.

또한, 잔차 벡터의 정규화는 행하여지도록 하고, 복호 고역 서브 밴드 파워 추정 계수의 선형 상관항의 공통화는 행하여지지 않도록 해도 된다. 그러한 경우, 스텝 S436에 있어서의 정규화 처리 후, 정규화된 잔차 벡터가, 구하고자 하는 복호 고역 서브 밴드 파워 추정 계수의 수와 동수의 클러스터에 클러스터링된다. 그리고, 각 클러스터에 속하는 잔차 벡터의 프레임이 사용되고, 클러스터마다 회귀 분석이 행하여져, 각 클러스터의 복호 고역 서브 밴드 파워 추정 계수가 생성된다.

상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되고 있는 컴퓨터 또는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.

도 30은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)은, 버스(104)에 의해 서로 접속되어 있다.

버스(104)에는, 또한, 입출력 인터페이스(105)가 접속되어 있다. 입출력 인터페이스(105)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(106), 디스플레이, 스피커 등으로 이루어지는 출력부(107), 하드 디스크나 불휘발성이 메모리 등으로 이루어지는 기억부(108), 네트워크 인터페이스 등으로 이루어지는 통신부(109), 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(111)를 구동하는 드라이브(110)가 접속되어 있다.

이상과 같이 구성되는 컴퓨터에서는, CPU(101)가, 예를 들어 기억부(108)에 기억되어 있는 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 개재하여, RAM(103)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU 101)가 실행하는 프로그램은, 예를 들어 자기 디스크(플렉시블 디스크를 포함한다), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(111)에 기록하고, 혹은, 근거리 네트워크, 인터넷, 디지털 위성 방송이라고 등의, 유선 또는 무선의 전송 매체를 개재해서 제공된다.

그리고, 프로그램은, 리무버블 미디어(111)를 드라이브(110)에 장착함으로써, 입출력 인터페이스(105)를 개재하고, 기억부(108)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 개재하여, 통신부(109)에서 수신하고, 기억부(108)에 인스톨할 수 있다. 그 외, 프로그램은, ROM(102)이나 기억부(108)에, 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등이 필요한 타이밍에서 처리가 행해지는 프로그램이어도 된다.

또한, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

10 : 주파수 대역 확장 장치
11 : 저역 통과 필터
12 : 지연 회로
13, 13-1 내지 13-N : 대역 통과 필터
14 : 특징량 산출 회로
15 : 고역 서브 밴드 파워 추정 회로
16 : 고역 신호 생성 회로
17 : 고역 통과 필터
18 : 신호 가산기
20 : 계수 학습 장치
21, 21-1 내지 21-(K+N) : 대역 통과 필터
22 : 고역 서브 밴드 파워 산출 회로
23 : 특징량 산출 회로
24 : 계수 추정 회로
30 : 부호화 장치
31 : 저역 통과 필터
32 : 저역 부호화 회로
33 : 서브 밴드 분할 회로
34 : 특징량 산출 회로
35 : 의사 고역 서브 밴드 파워 산출 회로
36 : 의사 고역 서브 밴드 파워 차분 산출 회로
37 : 고역 부호화 회로
38 : 다중화 회로
40 : 복호 장치
41 : 역다중화 회로
42 : 저역 복호 회로
43 : 서브 밴드 분할 회로
44 : 특징량 산출 회로
45 : 고역 복호 회로
46 : 복호 고역 서브 밴드 파워 산출 회로
47 : 복호 고역 신호 생성 회로
48 : 합성 회로
50 : 계수 학습 장치
51 : 저역 통과 필터
52 : 서브 밴드 분할 회로
53 : 특징량 산출 회로
54 : 의사 고역 서브 밴드 파워 산출 회로
55 : 의사 고역 서브 밴드 파워 차분 산출 회로
56 : 의사 고역 서브 밴드 파워 차분 클러스터링 회로
57 : 계수 추정 회로
101 : CPU
102 : ROM
103 : RAM
104 : 버스
105 : 입출력 인터페이스
106 : 입력부
107 : 출력부
108 : 기억부
109 : 통신부
110 : 드라이브
111 : 리무버블 미디어

Claims (1)

1. 입력된 부호화 데이터를, 저역 부호화 데이터와, 고역 신호의 생성에 이용하는 추정 계수를 나타내는 인덱스에 역다중화하는 역다중화 수단과,
   상기 저역 부호화 데이터를 복호하여, 저역 신호를 생성하는 저역 복호 수단과,
   상기 저역 신호의 대역을 복수의 저역 서브 밴드로 분할하고, 상기 저역 서브 밴드마다의 저역 서브 밴드 신호를 생성하는 서브 밴드 분할 수단과,
   상기 저역 서브 밴드 신호와 상기 저역 신호 중 적어도 어느 한쪽을 이용하여, 상기 부호화 데이터의 특징을 나타내는 특징량을 산출하는 특징량 산출 수단과,
   상기 고역 신호의 대역을 구성하는 복수의 고역 서브 밴드 각각에 있어서, 미리 준비된 복수의 상기 추정 계수 중, 상기 인덱스에 의해 나타내어지는 상기 추정 계수를 상기 특징량에 승산하고, 상기 추정 계수가 승산된 상기 특징량의 합을 구함으로써, 상기 고역 서브 밴드의 고역 서브 밴드 신호의 고역 서브 밴드 파워를 산출하는 고역 서브 밴드 파워 산출 수단과,
   상기 고역 서브 밴드 파워와, 상기 저역 서브 밴드 신호를 이용하여, 상기 고역 신호를 생성하는 고역 신호 생성 수단
   을 구비하는 복호 장치.

Images