WO2006137425A1

WO2006137425A1 - オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置

Info

Publication number: WO2006137425A1
Application number: PCT/JP2006/312390
Authority: WO
Inventors: Naoya Tanaka
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-06-23
Filing date: 2006-06-21
Publication date: 2006-12-28
Anticipated expiration: 2007-12-23
Also published as: EP1895511A4; US7974837B2; JP5032314B2; CN101203907B; US20100100390A1; EP1895511A1; EP1895511B1; CN101203907A; JPWO2006137425A1

Abstract

　伝送情報量を低減し、かつ復号装置における処理量を低減する。　符号化装置（１０）は、予め定められた時間周波数変換フレーム長ごとに、入力されるオーディオ信号を周波数パラメータに変換するＭＤＣＴ部（１０４）と、当該周波数パラメータを符号化するＭＤＣＴ係数符号化部（１０５）とを有する装置であって、オーディオ信号のピッチ周期を検出するピッチ検出部（１０２）と、検出されたピッチ周期に基づいて、入力オーディオ信号をフレーミングするフレーミング部（１０１）と、ピッチ周期に基づいて、フレーミングされたオーディオ信号を、時間周波数変換フレーム長に合わせて波形変形し、波形変形したオーディオ信号をＭＤＣＴ部（１０４）に出力する波形変形部（１０３）と、ＭＤＣＴ係数符号化部（１０５）により符号化された周波数パラメータと、ピッチ周期とを多重化し、ビットストリームとして出力するビットストリーム多重化部（１０６）とを備える。

Description

オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置

技術分野

[0001] 本発明は、オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置に関し、特に、視聴時の再生速度の可変に対応しつつ、オーディオ信号を少ない情報量で効率的に符号化し、また、符号化された情報を復号化する技術に関する。

背景技術

[0002] オーディオ符号化の目的は、デジタルィ匕されたオーディオ信号をできるだけ効率的に圧縮符号化し、伝送し、デコーダにおける復号ィ匕処理によって、できるだけ高い品質のオーディオ信号を再生することにある。

[0003] オーディオの符号ィ匕方式としては、対象となる信号の種類や、ビットレート、要求される音質等の条件により、様々な方式が提案されている。例えば、 ISOZIECの標準規格である MPEG— 4 Audio (非特許文献 1)では、 AAC (Advanced Audio C oding)、 CELP (Code Excited Linier Prediction)、 HVXC (Harmonic Vec tor eXcitation Coding)等の符号化方式が公開されている。特に、 AAC方式は、音楽を含む一般のオーディオ信号を、高い品質 (例えば、コンパクトディスクオーディォと同等）で符号化できる、優れた方式であり、 MDCT (Modified Discrete Co sine Transform)と呼ばれる時間周波数変換を用いることを特徴とする。これらの符号化方式は、通信、放送および蓄積型のオーディオ機器において、幅広く用いられている。

[0004] 一方、放送および蓄積されたオーディオもしくは、オーディオ 'ビデオ複合情報の視聴においては、視聴時の再生速度を可変にすることに対する需要が高まっている。情報蓄積手段の大容量化と情報入手方法の多様化に伴って、個人が視聴可能な情報の量は、飛躍的に増加している。従って、限られた時間内に、より多くの情報を視聴するための高速再生機能が重要となる。 [0005] オーディオ信号を可変速再生する方法としては、時間オーディオ信号のピッチ周期に基づいて、ピッチ波形の削除や、挿入を行う第 1の方法 (特許文献 1)や、オーディォ信号をパラメータ化した後、そのパラメータの更新周期を変化させる第 2の方法 (特許文献 2)があるが、高品質な入力信号に対する処理方法としては、前者の、ピッチ周期に基づく時間信号処理を用いるのが一般的である。この理由は、第 2の方法は低品質のスピーチに用いられるだけであり、高品質な入力信号に対する処理方法に向かないためである。

[0006] MDCTによるオーディオ符号化方式を用いて符号化されたオーディオ信号に対して、可変速再生を実現するための、オーディオ復号化装置の構成の一例を、図 1〖こ示す。

[0007] 復号化装置 9000は、図 1に示されるように、ビットストリーム分離部 9901と、 MDC T係数復号化部 9902と、逆 MDCT部 9903と、ピッチ分析部 9904と、再生速度制御部 9905と、波形変形部 9906と、波形接続部 9907とを備える。

[0008] 入力ビットストリーム 9908は、ビットストリーム分離部 9901において、各符号要素に分離される。 MDCT係数の復号に必要な符号要素である、 MDCT符号 9909が、 M DCT係数復号化部 9902に入力され、 MDCT係数 9910が復号される。逆 MDCT 部 9903は、 MDCT係数 9910に対して逆変換処理を行い、時間オーディオ信号 99 11を生成する。ピッチ分析部 9904は、時間オーディオ信号 9911のピッチ周期を分析する。再生速度制御部 9905は、再生速度変換の指示 9913を受けて、分析されたピッチ周期 9912に基づ、て再生速度変換処理の開始位置 9914を決定する。波形変形部 9906は、処理の開始位置 9914において、ピッチ周期 9912に基づく波形の変形 (ピッチ波形の削除や、挿入)を行い、波形接続部 9907は、変形された波形 9 915を接続して、出力オーディオ信号 9916を生成する。

[0009] また、（特許文献 3)に示されるように、ピッチ分析部 9904によって分析されるピッチ周期 9912の代わりに、入力ビットストリームに含まれるピッチ周期情報を用いるようにする構成も可能である。

特許文献 1：特許第 3147562号公報

特許文献 2：特開平 9 6397号公報特許文献 3 :国際公開第 98Z21710号パンフレット

非特許文献 l :ISO/lEC 14496— 3 : 2001

非特許文献 2 :IEEE Trans. ASSP— 34 No. 5 Oct. 1986, John P. Pri ncen and Alan Bernard Bradley, Analysis/ Synthesis Filter Bank Design Based on Time Domain Aliasing Cancellation"

発明の開示

発明が解決しょうとする課題

[0010] しカゝしながら、オーディオ符号ィ匕方式によって圧縮されたオーディオ信号を、可変速再生する処理において、従来では、復号されたオーディオ信号に対して、時間領域での、ピッチ周期に基づく波形挿入処理や削除処理を行う構成を採用している。

[0011] このため、このような従来の構成には、大きく分けて以下の二つの課題がある。

[0012] この課題を明らかにするために、従来技術の前提を説明する。

[0013] 図 2は、従来の復号装置が用いられるシステムの全体構成を示す図である。

[0014] このシステムは、入力される音声信号 (PCM)を圧縮符号ィ匕するエンコーダ 9100と、圧縮符号化された音声信号を記録する記録媒体 9200と、圧縮符号化された音声信号を復号化するデコーダ 9300と、可変速再生するための速度変換器 9400とを備えている。

[0015] デコーダ 9300は、図 1に示される復号化装置 9000のビットストリーム分離部 9901 、 MDCT係数復号ィ匕部 9902および逆 MDCT部 9903を有している。また、速度変 ^^9400は、復号ィ匕装置 9000のピッチ分析部 9904、再生速度制御部 9905、波形変形部 9906および波形接続部 9907を有している。

[0016] 例えば 2倍速で可変速再生する場合、記録媒体 9200からデコーダ 9300に直接あるいはアンテナ 9500, 9600を介して符号化された音声信号が伝送されるが、その伝送速度が通常再生の 2倍必要となる。また、デコーダ 9300および速度変換器 940 0における処理量も通常再生の 2倍必要となる。

[0017] したがって、従来の技術では下記（1)の処理量と、（2)の伝送情報量についての課題が必然的に伴うことになる。

[0018] (1)処理量時間領域における、ピッチ波形の挿入および削除処理を行うためには、処理の対象となる区間の時間信号波形が必要である。これは、対象となるオーディオ信号が、符号化されている場合、その区間の信号をすベて復号することが必要であることを示している。

[0019] 例えば、 2倍速の再生を実現する場合、実際の再生時間の 2倍の長さの時間波形をデコードした後、時間波形を半分にする。

[0020] 従って、デコードに必要な処理量は、通常再生時の 2倍となる。

[0021] さらに、ピッチ波形の抽出と、波形挿入および削除処理を加えると、さらに処理量が増加する。

[0022] (2)伝送情報量

対象となるオーディオ信号が符号化されている場合、対象区間の時間信号波形を得るためには、その区間に対応するビットストリームを受信する必要がある。

[0023] 例えば、 2倍速の再生を実現する場合、実際の再生時間の 2倍の長さの時間波形をデコードするため、 2倍のビットストリームを受信しなければならな、。

[0024] このとき、再生時間は実時間で固定であるので、ビットストリームは 2倍の速さで受信する必要がある。

[0025] このことは、通信路としてより広い帯域を必要とすることを意味し、また、通信路が固定ビットレートの場合には、（バッファリングによる部分的な可変速再生を除いて、）可変速再生が不可能であることを示して、る。

[0026] そこで、本発明は上述の技術的課題を解決し、伝送情報量を低減し、かつ復号装置における処理量を低減することが可能なオーディオ符号ィ匕装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置を提供することを目的とする。

課題を解決するための手段

[0027] 上記目的を達成するために、本発明に係る符号ィ匕装置においては、予め定められた時間周波数変換フレーム長ごとに、入力されるオーディオ信号を周波数パラメータに変換する時間周波数変換手段と、当該周波数パラメータを符号ィ匕する符号ィ匕手段とを有する符号ィ匕装置であって、前記オーディオ信号のピッチ周期を検出するピッチ周期検出手段と、検出されたピッチ周期に基づいて、入力オーディオ信号をフレーミングするフレーミング手段と、前記ピッチ周期に基づいて、フレーミングされたオーディォ信号を、前記時間周波数変換フレーム長に合わせて波形変形し、波形変形したオーディオ信号を前記時間周波数変換手段に出力する第 1波形変形手段と、前記符号ィ匕手段により符号化された周波数パラメータと、前記ピッチ周期とを多重化し、ビットストリームとして出力する多重化手段とを備えることを特徴とする。

[0028] これにより、可変速再生時の復号化装置への情報伝送量を、等速再生時と同程度まで低減し、かつ復号化装置での処理量を等速再生時の復号化処理と同程度まで低減することが可能となる。

[0029] また、本発明に係るオーディオ復号ィ匕装置においては、入力されたビットストリームに含まれる符号化フレームの周波数パラメータを復号化する復号化手段と、予め定められた時間周波数変換フレーム長ごとに、前記周波数パラメータをオーディオ信号に逆時間周波数変換する逆時間周波数変換手段とを有する復号ィヒ装置であって、前記ビットストリームには、オーディオ信号のピッチ周期を表すピッチ周期情報が含まれており、前記逆時間周波数変換されたオーディオ信号は、予め前記ピッチ周期に基づ、て、フレーミングされたオーディオ信号を前記時間周波数変換フレーム長に合わせて波形変形されたものであり、前記入力ビットストリームに含まれるピッチ周期情報を分離するビットストリーム分離手段と、前記ピッチ周期情報に基づいて、前記時間周波数変換フレーム長のオーディオ信号を前記ピッチ周期長のオーディオ信号に変形する第 2波形変形手段と、変形されたピッチ周期長のオーディオ信号を接続する波形接続手段とを備えることを特徴とする。

[0030] これにより、復号化装置が受信する情報伝送量を通常のビットレートと同程度まで低減し、かつ復号ィ匕の処理量を通常の復号ィ匕処理と同程度まで低減することが可能となる。

[0031] 具体的には、本発明に係るオーディオ復号ィ匕装置においては、前記オーディオ復号化装置は、さら〖こ、前記周波数パラメータを復号する復号ィ匕処理をスキップさせ、オーディオ信号の再生速度を変換させる第 1再生速度変換手段を備えることを特徴とすることができる。

[0032] これにより、ビットストリームの操作によって可変速再生が可能となるため、復号化に必要な処理量が削減される。また、復号化処理に必要とされるビットストリーム量が減少するため、可変速再生時の必要伝送帯域が削減される。

[0033] また、本発明に係るオーディオ符号化情報伝送装置にお!ヽては、符号化されたォ一ディォ信号のビットストリームを送出するための送出装置と、符号化されたオーディォ信号のビットストリームを受信し、入力されたビットストリームに含まれる符号ィ匕フレームの周波数パラメータを復号ィ匕する復号ィ匕手段と、予め定められた時間周波数変換フレーム長ごとに、前記周波数パラメータをオーディオ信号に逆時間周波数変換する逆時間周波数変換手段とを含む受信装置とを有するオーディオ符号化情報伝送装置であって、前記送出装置は、符号化されたオーディオ信号のビットストリームを保持する情報記憶手段と、前記ビットストリームの送出をオンオフするスィッチ手段と、再生速度変換の指示と、前記ビットストリームに含まれるフレーム識別子に基づいて、前記スィッチを制御する第 4再生速度変換手段とを備え、前記ビットストリームには、オーディオ信号のピッチ周期を表すピッチ周期情報が含まれており、前記逆時間周波数変換されたオーディオ信号は、予め前記ピッチ周期に基づいて、フレーミングされたオーディオ信号を前記時間周波数変換フレーム長に合わせて波形変形されたものであり、前記受信装置は、前記入力ビットストリームに含まれるピッチ周期情報を分離するビットストリーム分離手段と、前記ピッチ周期情報に基づいて、前記時間周波数変換フレーム長のオーディオ信号を前記ピッチ周期長のオーディオ信号に変形する第 2波形変形手段と、変形されたピッチ周期長のオーディオ信号を接続する波形接続手段とを備えることを特徴とする。

[0034] これにより、受信装置が受信する情報伝送量を通常のビットレートと同程度まで低減し、かつ受信装置における復号ィ匕の処理量を通常の復号ィ匕処理と同程度まで低減することが可能となる。

[0035] なお、本発明は、このようなオーディオ符号化装置、オーディオ復号化装置およびオーディオ符号ィ匕情報伝送装置として実現することができるだけでなぐこのようなォ一ディォ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置が備える特徴的な手段をステップとするオーディオ符号化方法、オーディオ復号化方法等として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、 CD— ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

発明の効果

[0036] 以上の説明から明らかなように、本発明に係るオーディオ符号ィヒ装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置によれば、情報伝送量を通常のビットレートと同程度まで低減し、かつ復号ィ匕の処理量を通常の復号ィ匕処理と同程度まで低減することが可能となるという効果が奏される。

[0037] よって、本発明により、既存の装置との親和性が高くなり、情報蓄積手段の大容量化と情報入手方法の多様化に伴って、個人が視聴可能な情報の量は、飛躍的に増加し、オーディオの高速再生が要望されている今日における本願発明の実用的価値は極めて高い。

図面の簡単な説明

[0038] [図 1]図 1は、従来のオーディオ復号ィ匕装置の構成を示す図である。

[図 2]図 2は、従来の復号装置が用いられるシステムの全体構成を示す図である。

[図 3]図 3は、本発明のオーディオ符号ィ匕装置の構成を示す図である。

[図 4]図 4は、本発明のオーディオ復号ィ匕装置の構成を示す図である。

[図 5]図 5は、 MDCTの原理を示す図である。

[図 6]図 6は、ピッチ周期を利用した再生速度変換を示す図である。

[図 7]図 7は、 MDCT窓を利用した再生速度変換を示す図である。

[図 8]図 8は、符号化処理における波形変形処理を示す図である。

[図 9]図 9は、復号化処理における波形変形処理を示す図である。

[図 10]図 10は、フレーム加算処理における、符号ィ匕フレーム間の関係を示す図である。

[図 11]図 11は、本発明のオーディオ符号ィ匕装置の構成を示す図である。

[図 12]図 12は、本発明のオーディオ符号ィ匕装置の構成を示す図である。

[図 13]図 13は、符号化処理における波形変形処理を示す図である。

[図 14]図 14は、フレーム加算処理における、符号ィ匕フレーム間の関係を示す図である。

[図 15]図 15は、本発明のオーディオ符号ィ匕装置の構成を示す図である。

[図 16]図 16は、ビットストリームの構成を示す図である。

[図 17]図 17は、ビットストリームの構成を示す図である。

[図 18]図 18は、本発明のオーディオ復号ィ匕装置の構成を示す図である。

[図 19]図 19は、本発明のオーディオ復号ィ匕装置の構成を示す図である。

[図 20]図 20は、本発明のオーディオ符号化情報伝送装置の構成を示す図である。符号の説明

10, 11, 12, 13 符号化装置

20, 21, 22 復号化装置

30 オーディオ符号化情報伝送装置

101 フレーミング咅

102 ピッチ検出部

103, 604, 1001, 1301 波形変形部

104 MDCT部

105 MDCT係数符号化部

106 ビットストリーム多重化部

601, 1602 ビットストリーム分離部

602 MDCT係数復号化部

603 逆 MDCT部

605 波形接続部

901 ピッチ修正部

1302 フレーム識別子生成部

1601, 1801 情報記憶部

1603 再生速度制御部

1604, 1803 スィッチ

1701 ノッファリング部

1802 再生速度制御部 1804 送出装置

1805 受信装置

発明を実施するための最良の形態

[0040] 以下、本発明の実施の形態について、図面を用いて詳細に説明する。

[0041] (実施の形態 1)

図 3は、本発明の実施の形態 1に係る符号ィ匕装置の構成を示す機能ブロック図である。なお、以下の説明においては、時間周波数変換として MDCTを用いる例を示す。ただし、 MDCTは、 TDAC (Time Domain Aliasing Cancellation)非特許文献 2技術に基づく変換アルゴリズムの一例であり、 MDCTに代えて、 TDAC技術に基づぐいかなる時間周波数変換を用いることも可能である。そして、この符号化装置 10は、図 2のシステムにおいては、エンコーダ 9100に代えて用いられる。

[0042] 符号化装置 10は、 PCM等のデジタル化されたオーディオ信号を、可変速再生に対応できるように変形させつつ、圧縮符号ィ匕する装置であり、図 1に示されるように、フレーミング部 101と、ピッチ検出部 102と、波形変形部 103と、 MDCT部 104と、 M DCT係数符号化部 105と、ビットストリーム多重化部 106とを備える。

[0043] なお、波形変形部 103は、フレーミングされたオーディオ信号を、オーディオ信号のピッチ周期に合わせて切断する切断部 103aと、隣接符号化フレームの信号波形の一部を、現在の符号ィ匕フレームに複製することによって、時間周波数変換フレーム長の波形信号を生成するコピー部 103bと、コピー部 103bにより生成された時間周波数変換フレーム長の波形信号に不連続点が生じないように、窓処理を行う窓部 10 3cとを有する。

[0044] 入力オーディオ信号 107は、フレーミング部 101およびピッチ検出部 102に入力される。

[0045] ピッチ検出部 102は、入力オーディオ信号 107を分析し、ピッチ周期 108を出力する。

[0046] フレーミング部 101は、ピッチ周期 108を参照して、入力オーディオ信号 107を、ピツチ周期長の符号ィ匕フレーム信号 109に分割する。

[0047] 波形変形部 103は、符号化フレーム信号 109を、 MDCT変換が可能な形に変形する。なお、波形変形部 103の動作については、その詳細を後述する。

[0048] 変形された MDCTフレーム信号 110は、 MDCT部 104において MDCT係数 111 に変換される。

[0049] MDCT係数符号ィ匕部 105は、 MDCT係数 111を符号ィ匕し、 MDCT符号ィ匕情報 1 12を出力する。

[0050] ビットストリーム多重化部 106は、 MDCT符号化情報 112と、ピッチ周期 108を多重化し、出力ビットストリーム 113を構成する。

[0051] ここで、 MDCT係数符号ィ匕部 105としては、ベクトル量子化や、エントロピー符号ィ匕など、公知のいかなる符号ィ匕手段でも用いることが可能であるが、本発明の要旨ではないので、詳細な説明は省略する。

[0052] MDCT符号ィ匕情報 112は、用いる MDCT係数符号ィ匕部 105の構成によって、その内容が異なり、 MDCT係数を直接表す符号の他に、 MDCT係数を効率的に符号化するための補助情報を含んでも良い。例えば、 MDCT係数符号ィ匕部 105として、

MPEG AAC方式を用いる場合、補助情報として、スケールファクタ情報、ジョイントステレオ情報、予測係数情報等が含まれる。

[0053] 図 4は、本発明の復号ィ匕装置の構成を示す機能ブロック図である。なお、この復号化装置 20は、図 2のシステムにおいては、デコーダ 9300および速度変換器 9400に代えて用いられる。

[0054] 復号化装置 20は、図 4に示されるように、ビットストリーム分離部 601と、 MDCT係数復号化部 602と、逆 MDCT部 603と、波形変形部 604と、波形接続部 605とを備える。

[0055] なお、波形変形部 604は、波形変形部 103と逆の動作を行うための切断部 604aと

、窓部 604bと、接続部 604cとを有する。

[0056] ビットストリーム分離部 601は、入力ビットストリーム 606を、 MDCT係数 607と、ピッチ周期 610とに分離する。

[0057] MDCT係数復号化部 602は、 MDCT係数 607を復号し、 MDCT係数 608を得る

。ここで、 MDCT係数復号ィ匕部 602としては、公知のいかなる手段でも用いることが可能であり、本発明の要旨ではないので、詳細な説明は省略する。 MDCT係数復号ィ匕部 602に入力される MDCT係数 607は、用いる MDCT係数復号ィ匕部 602の構成によって、その内容が異なり、 MDCT係数を直接表す符号の他に、 MDCT係数を効率的に符号ィ匕するための補助情報を含んでも良い。例えば、 MDCT係数復号ィ匕部 602として、 MPEG AAC方式を用いる場合、補助情報として、スケールファクタ情報、ジョイントステレオ情報、予測係数情報等が含まれる。

[0058] 逆 MDCT部 603は、 MDCT係数 618を逆変換し、フレーム復号信号 609を得る。

[0059] 波形変形部 604は、ピッチ周期 610を参照しながらフレーム復号信号 609を変形し、変形されたフレーム復号信号 611を出力する。波形変形部 604の動作の詳細については、後述する。

[0060] 波形接続部 605は、変形されたフレーム復号信号 611を接続し、出力オーディオ信号 612を生成する。

[0061] 次いで、符号ィ匕装置 10の波形変形部 103の動作について、詳しく説明するが、その前にまず、処理の前提となる MDCT変換 (逆 MDCT変換)とその特性について説明する。

[0062] 図 5は、 MDCTの復号原理を示す図である。

[0063] MDCTは、 TDACと呼ばれる技術に基づいており、隣接する符号化フレーム間の時間信号において、オーバラップ処理を行うことにより、時間信号上でエイリアシングキャンセルを行う。

[0064] 図 5において、 201は第 n— 1フレームにおける、 202は第 nフレームにおける MDC Tフレームの波形信号をそれぞれ示して、る。

[0065] 符号化フレーム長を Nサンプルとすると、 MDCTフレーム長は、 2Nサンプルとなる。また、隣接 MDCTフレーム間では、 MDCTフレーム長の半分に当たる Nサンプルのオーバラップ 203があり、このオーバラップ部分力復号されたフレーム波形信号となる。波形信号 201のオーバラップ部分に相当する区間（MDCTフレーム後半）は、実信号成分 204と、エイリアシング成分 205から成っている。同様に、波形信号 202 のオーバラップ部分に相当する区間（MDCTフレーム前半）は、実信号成分 206と、エイリアシング成分 207から成っている。ここで、実信号成分 204および 206は、互いに同位相の信号であるのに対して、エイリアシング成分 205と 207は、互いに逆位相の信号となっている。実信号成分 204およびエイリアシング成分 205に対して第 1の窓関数 208を、また、実信号成分 206およびエイリアシング成分 207に対して第 2の窓関数 209を掛けた後、すべての信号を加算する。

[0066] ここで、第 1の窓関数 208と第 2の窓関数 209は、第 1の窓関数を f (t)、第 2の窓関数を g (t)とすると、式（1)を満たさなければならな！/、。

[0067] [数 1]

…ひ）

[0068] 加算処理により、エイリアシング成分 205と 207は、互いに逆位相の信号であるため、打ち消しあって 0となり、実信号成分 204と 206の加算部分力復号されたフレーム波形信号 211となる。

[0069] この説明から明らかなように、逆 MDCT変換では、第 n番目の MDCTフレーム波形信号の 2Nサンプルの入力に対し、入力 MDCTフレームの前半部分に当たる Nサンプノレが出力となる。

[0070] 次に、ピッチ周期を利用した再生速度変換の原理と、 MDCT変換との共通性を示す。

[0071] 図 6は、ピッチ周期を利用した再生速度変換の原理を示す図である。

[0072] 図 6において、 301は第 n— 1フレームの波形信号、 302は第 nフレームの波形信号

、 303は第 n+ 1フレームの波形信号である。また、各フレームの長さは、ピッチ周期である Lサンプルである。

[0073] 波形信号 302に対して、第 3の窓関数 304を、また、波形信号 303に対して第 4の窓関数 305を掛け、それぞれを加算することによって、加算されたフレーム波形信号

306を得る。

[0074] ここで、第 3の窓関数 304と第 4の窓関数 305の関係は、第 3の窓関数を p (t)、第 4 の窓関数を q (t)とすると、式（2)で表される。

[0075] [数 2] p{t)+ q(t)= ^ (o≤t <L) …

[0076] 式（1)と比較して、各窓関数の 2乗項が無いのは、 MDCTでは、窓が変換時と逆変換時それぞれ、計 2回掛けられるのに対して、本例では、速度変換処理時に 1回しか掛けられないからである。

[0077] 波形信号 301を、出力側の第 k— 1フレームの波形信号 307とし、加算されたフレーム波形信号 306を、第 kフレームの波形信号 308とすれば、再生速度変換処理が完了する。

[0078] このように、 MDCTと、ピッチ波形に基づく再生速度変換処理は、共に窓関数を用

V、たオーバラップ加算処理を用いて、ることがわかる。

[0079] このことは、 MDCT窓を利用して、再生速度変換処理が可能であることを示している。

[0080] 図 7は、 MDCT窓を用いた再生速度変換の原理を示す図である。

[0081] 通常の MDCT逆変換では、第 n— 1番目の MDCTフレーム 401の後半と、第 n番目の MDCTフレーム 402の前半をオーバラップカ卩算する力ここでは、第 n—l番目の MDCTフレーム 401の後半と、第 n+ 1番目の MDCTフレーム 403の前半を、ォーバラップ加算する。先に説明した通常の MDCTの例と同様に、エイリアシング成分 405とエイリアシング成分 407は加算によりキャンセルされ、実信号成分 404と実信号成分 406の加算により、フレーム波形信号 410が復号される。第 n— 1番目の MD CTフレームに対する復号フレーム波形信号を、出力側の第 k 1フレームの波形信号 411とし、フレーム波形信号 410を、出力側の第 kフレームの波形信号 412とすれば、再生速度変換処理が完了する。

[0082] この処理においては、第 n番目の MDCTフレームの波形信号 402は全く使用されないため、第 n番目の MDCTフレームの波形信号 402の伝送およびデコード処理は不要であり、再生速度変換を行った場合の処理量は、再生速度変換を行わない場合と等しくなる。すなわち、処理量を増加させずに、再生速度の変換が可能となる。

[0083] ここで、図 6を用いて説明したように、ピッチ周期を利用して再生速度変換を行うためには、符号ィ匕フレーム長 N力ピッチ周期 Lに等しくなければならない。

[0084] ところが、ピッチ周期 Lは、入力オーディオ信号の状態によって異なるので、符号ィ匕フレーム長 Nは、ピッチ周期 Lに同期して可変長としなければならない。

[0085] しかしながら、通常、符号化フレーム長 Nは、 2のべき乗（例えば 512、 1024など）で固定ある。これは、 2のべき乗サンプルの MDCTは、 FFTを用いた高速変換により

、容易に実現できるためである。また、 2のべき乗以外のフレーム長についても、高速変換は実現できる力フレーム長毎に変換アルゴリズムを変更する必要があり、ピッチ周期に同期して可変長とするのは、現実的ではない。

[0086] 従って、ピッチ周期 Lサンプル分の波形信号を、あらかじめ定められた長さ、好ましくは 2のべき乗で表されるサンプル数 Nの波形信号に変換する必要がある。

[0087] 波形変形部 103は、ピッチ周期 Lサンプルの波形信号を、符号化フレーム長 Nサンプルの波形信号に変換する機能を持つ。

[0088] 図 8は、波形変形部 103の動作の一例を示す図である。

[0089] 第 n— 1番目、第 n番目、第 n+ 1番目のピッチ周期フレームにそれぞれ対応する波形信号 501、 502、 503は、ピッチ周期 Lに等しい長さを持つ。

この例においては、 L< =Nの関係を仮定する。

[0090] ピッチ周期長 Lサンプルに区切られた波形信号は、符号化フレーム Nサンプル長をベースとするフレームに再配置される。図 8において、波形信号 501は、符号化フレーム 506の領域に、波形信号 502は符号ィ匕フレーム 507の領域に配置される。

[0091] このとき、 L<Nならば、符号化フレーム 506内に、波形信号の存在しない区間 508 が生じるため、この部分に対しては、次フレームの先頭部分から、区間 508と同じサンプル数の波形信号 509をコピーする。

[0092] この時、フレーム境界 510には、不連続点が発生するため、コピーされた区間 508 に対して、フレーム境界 510で 0となる、減少窓 511を掛ける。同時に、区間 509に対しても、フレーム境界 510で 0となる、増加窓 512を掛ける。

[0093] 減少窓 511を r(t)、増加窓 512を s (t)とし、いずれの窓についても、その開始位置を t=0とすると、減少窓 511と増加窓 512は、式（3)の関係を満たす。

[0094] [数 3] r² (t)+ s²(i) ^ l (0 < t < N-L) … ）

[0095] ピッチ周期 Lサンプルの波形信号の切断、上記波形信号の複製と、窓掛けを、すべての符号ィ匕フレーム境界において行うことにより、変形された波形信号 513を得る。

[0096] このようにして得られた波形信号 513は、符号ィ匕フレーム長 Nをピッチ周期とする時間波形となり、先に説明した、 MDCT窓を用いた再生速度変換を実現するための条件、ピッチ周期 =符号ィ匕フレーム長の条件を満たす。

[0097] 変形された波形信号 513は、図 3における変形された MDCTフレーム信号 110として出力され、 MDCT部 104において、通常の MDCT変換と同様に、 2Nサンプル長の MDCT窓 505を用いて変換される。

[0098] 続いて、復号ィ匕装置 20の波形変形部 604の動作を説明する。

[0099] 図 9は、波形変形部 604の動作を説明する図である。

[0100] 図 9において、 701は第 nフレームのフレーム復号信号であり、 702は第 n+ 1フレームのフレーム復号信号であり、 703は第 n— 1フレームの最後力 N—Lサンプルのフレーム復号信号である。ここで、 Nは符号化フレームのサンプル数であり、 Lはピッチ周期 610が表すピッチ周期のサンプル数である。

[0101] 第 nフレームのフレーム復号信号 702が入力されると、その先頭力 N—Lサンプルに対して、増加窓 705が乗算される。前フレームの復号信号 703に対しては、減少窓 704が乗算される。

[0102] 減少窓 704を r(t)、増加窓 705を s (t)とすると、減少窓 704と増加窓 705は、式 (4

)の関係を満たす。

[0103] [数 4] r²(t) + s² {f) = l (0 < t < N-L)

…(

[0104] また、減少窓 704と増加窓 705は、それぞれ、符号ィ匕処理において用いられた、減少窓 511と増加窓 512に等しい。窓掛けされたそれぞれの信号は足し合わされ、区間 706の波形信号が生成される。

[0105] 区間 707の波形信号については、入力された第 nフレームのフレーム復号信号 70 2がそのまま用いられる。

[0106] 区間 708の波形信号は、第 n+ 1フレームの復号処理において使用するために、保持される。

[0107] 区間 706と区間 707の波形信号を接続した信号 709が、波形変形部 604の出力である変形されたフレーム復号信号 611となる。

[0108] この処理によって、 Nサンプルのフレーム復号信号は、ピッチ周期のサンプル数と等しい Lサンプルの復号信号に変形される。変形された Lサンプルの復号信号は、符号化処理にぉ、て分割された、 Lサンプルのピッチ波形信号と等しくなる。

[0109] 以上の構成においては、復号化装置における等速再生時と可変速再生時の処理は、全く同一である。

[0110] また、符号化装置 10から復号化装置 20への情報伝送量を、等速再生時と同程度まで低減し、かつ復号化装置 20での処理量を等速再生時の復号化処理と同程度まで低減することが可能となる。

[0111] なお、可変速再生する場合、例えば 2倍速で再生する場合には、周波数パラメータを復号する復号化処理をスキップさせ、オーディオ信号の再生速度を変換させるようにすればよい。

[0112] これにより、ビットストリームの操作によって可変速再生が可能となるため、復号化に必要な処理量が削減される。また、復号化処理に必要とされるビットストリーム量が減少するため、可変速再生時の必要伝送帯域が削減される。

[0113] ところで、以上の説明において、ピッチ周期 Lは、一定の固定値であると仮定して説明したが、実際には、入力オーディオ信号の状態によって、ピッチ周期は異なる。

[0114] 従って、可変のピッチ周期 Lに対して、符号ィ匕および復号ィ匕処理を正しく行うための条件を、次に説明する。

[0115] 図 10は、 MDCT変換における、フレーム加算処理を示す図である。

[0116] 図 10において、 801は第 n— 1番目の MDCTフレームの前半区間の信号波形であり、 802は第 n— 1番目の MDCTフレームの後半区間の波形信号であり、 803は第 n 番目の MDCTフレームの前半区間の信号波形であり、 804は第 n番目の MDCTフレームの後半区間の波形信号であり、 805は第 n+ 1番目の MDCTフレームの前半区間の信号波形であり、 806は第 n+ 1番目の MDCTフレームの後半区間の波形信号である。

[0117] 再生速度変換を行わない場合、区間 802と区間 803、及び区間 804と 805が加算される。これに対して、再生速度変換を行い、第 n番目の MDCTフレームをスキップした場合、区間 802と区間 805が加算されることになる。

[0118] 復号ィ匕の処理において、加算される 2つの区間のピッチ周期は、同一でなければならないので、区間 802と、区間 805に設定されたピッチ周期は同一である必要がある。これは同時に、第 n番目のフレームにおける、区間 803と区間 804に設定されたピツチ周期が等しくなければならな、ことを示して、る。

[0119] 逆に、区間 803と区間 804のピッチ周期が異なれば、必然的に区間 802と区間 80 5のピッチ周期も異なり、両者の間での加算処理はできなくなる。区間 803と区間 804 に対し、等しいピッチ周期を設定することにより、第 n番目の符号ィ匕フレームと第 n+ 1 番目の符号ィ匕フレームのそれぞれに対応するビットストリームに対して、等しいピッチ周期を表す情報が多重化されることになる。

[0120] なお、フレームスキップを許可しない MDCTフレームについては、前半区間と後半区間のピッチ周期は異なっていても良い。例えば、区間 801と区間 802 (=区間 803 )のピッチ周期は異なっていても良ぐその場合、第 n— 1番目の符号ィ匕フレームと第 n番目の符号化フレームのそれぞれに対応するビットストリームには、それぞれ異なつたピッチ周期を表す情報が多重化されることになる。

[0121] MDCTフレームのスキップにより、任意の再生速度変換を実現するためには、要求条件によって定められた頻度で、スキップ可能な MDCTフレームが存在する必要がある。先に説明したように、スキップ可能な MDCTフレームを生成するには、その前半区間と後半区間において、等しいピッチ周期を設定すれば良いが、入力オーディォ信号力検出されるピッチ周期は、区間ごとに異なることが多い。

[0122] この問題を解決するためには、入力オーディオ信号力検出されるピッチ周期を修正し、 1つの MDCTフレームの前半区間と後半区間が同じピッチ周期であるとして取り扱えば良い。

[0123] 図 11は、符号ィ匕装置 11の構成を示す機能ブロック図である。 [0124] この符号ィ匕装置 11は、図 3に示される本発明の符号ィ匕装置 10に対して、ピッチ修正部 901を追加し、ピッチ周期 108の代わりに、修正されたピッチ周期 902をフレーミング部 101および、ビットストリーム多重化部 106に入力するように構成されている。

[0125] ピッチ修正部 901は、入力されるピッチ周期 108を参照しながら、あらかじめ定められた頻度で、隣接する 2つの符号ィ匕フレームに対して、等しいピッチ周期を設定し、修正されたピッチ周期 902として出力する。

[0126] ピッチ周期を修正する方法としては、隣接する 2つの符号ィ匕フレームのそれぞれのピッチ周期の平均値を取り、求めた平均ピッチ周期を、前記隣接する 2つの符号ィ匕フレームの共通ピッチ周期とする方法などがある。

[0127] 修正されたピッチ周期 902が、フレーミング部 101に入力された以降の処理は、図 3を用いて説明した処理と同じである。このような構成をとることにより、あらかじめ定められた、任意の頻度で、スキップ処理が可能な MDCTフレームを設定することができ、結果、任意の再生速度の変換を実現することが可能になる。

[0128] なお、以上の説明においては、 1つの符号ィ匕フレーム内に、 1周期のピッチ波形信号が配置される例を用いたが、 2周期もしくはそれ以上の周期分のピッチ波形信号を、新たな 1周期のピッチ波形信号とみなして用いることができるのは、自明である。

[0129] この構成においては、 1つの 2Nサンプルの MDCTフレーム内に、偶数個のピッチ波形信号が含まれることになる。

[0130] (実施の形態 2)

本発明の符号化および復号化装置において、符号化フレーム長 Nとピッチ周期 L の関係は重要である。

[0131] 例えば、 L>Nの関係が成り立つ場合には、実施の形態 1の技術では適用することが不可能であり、また、 Lが、 Nに対して非常に小さくなると、相対的にオーバラップ区間が増加し、符号化効率の低下を招く。

[0132] この課題を解決するため、実施の形態 2においては、 L>Nもしくは、 2Nサンプルの MDCTフレーム内に、奇数個のピッチ波形信号が存在する場合にも適用可能な構成を示す。

[0133] 図 12は、実施の形態 2に関わる符号ィ匕装置 12の構成を示す機能ブロック図である [0134] 符号化装置 12は、図 3に示す符号化装置 10の構成に対して、波形変形部 103〖こ代えて、第 2の波形変形部 1001を備え、ピッチ周期 108を第 2の波形変形部 1001 にも入力し、波形変形部 1001において新たに生成された第 2のピッチ周期 1002をビットストリーム多重化部 106に入力する構成である。

[0135] 図 13は、実施の形態 2における波形変形部 1001の動作を示す図である。

[0136] ピッチ波形信号 1101は、それぞれ L1く =N、 L2< =Nとなる 2つの波形信号 110 2および 1103に分割される。 L1と L2のサンプル数は任意であり、等しくても、異なつていても良い。

[0137] N—L1サンプルの区間 1104に対しては、区間 1105の波形信号が複製される。同様に、 N—L2サンプルの区間 1106に対しては、区間 1107の波形信号が複製される。このとき、符号ィ匕フレーム境界 1108および 1109は不連続点となる。

[0138] これらの不連続点を解消するため、例えば、複製された区間 1104に対して、フレーム境界において 0となるような減少窓 1110を掛ける。また、複製元となった区間 1105 に対してもフレーム境界にぉ、て 0となるような増加窓 1111を掛ける。不連続点 110 9の前後区間 1106および 1107についても同様の処理を行う。

[0139] 以上の変形処理により、 Lサンプルのピッチ波形信号 1101は、 2Nサンプルの MD CTフレームに対応する波形信号 1112に変形される。波形信号 1112は、変形された MDCTフレーム信号 110として出力され、 MDCT変換された後、符号化される。また、 Ll、 L2は、第 2のピッチ周期 1002として、それぞれの符号化フレームに対応するピッチ周期として出力される。符号化された MDCT係数と、第 2のピッチ周期情報は、ビットストリーム多重化部 106において多重化される。

[0140] 以上のように変形された後、符号化された波形信号 1112は、再生速度変換を行わな、限りにお、ては、実施の形態 1にお、て説明した復号化装置と同一の処理によつて、復号することができる。つまり、実施の形態 1および実施の形態 2の符号化装置に対して、同一の復号ィ匕装置を用いることができる。また、再生速度変換を行う場合についても、 MDCTフレームのスキップ方法が異なるだけであり、復号化装置ついては、同一でよい。 [0141] 図 14は、実施の形態 2の符号ィ匕装置によって符号ィ匕されたビットストリームにおいて、 MDCTフレームのスキップによる、再生速度変換を説明する図である。

[0142] 実施の形態 1においては、 MDCTフレーム内の波形信号は、符号化フレーム長 N サンプルを周期とする信号であった。これに対して、実施の形態 2においては、 MDC Tフレーム内の波形信号は、 MDCTフレーム長 2Nサンプルを周期とする信号である。この場合、符号ィ匕フレーム単位で波形信号を見た場合、同一パターンは 1フレームおきに現れる。つまり、図 14において、通常変換時の区間 1202に対する加算区間は区間 1203である力区間 1203と同一パターンは、第 n+ 2番目の MDCTフレームにおける、区間 1207に現れる。従って、 MDCTフレームのスキップによる再生速度変換を実現するためには、区間 1203と区間 1207を加算すベぐ第 n番目と第 n+ 1番目の 2つの MDCTフレームをスキップすればよい。

[0143] なお、この構成においては、 L> 2Nとなるピッチ周期には対応できないが、 Nをある程度大きな値に設定すれば、実用上問題は起きない。例えば、 N= 1024サンプルとすれば、対応できない最小ピッチ周期は 2049サンプルとなる。これは、 48kHzサンプリングの信号において、約 23. 4Hzに相当する力一般の音楽やスピーチ信号が、このような長いピッチ周期を持つことはまれである。

[0144] なお、本実施の形態 2の例にぉ、ても、実施の形態 1の例と同様に、ピッチ修正部 901を設け、修正されたピッチ周期を用いて、フレーミングおよび波形変形処理を行うように構成することができる。

[0145] このような構成とすることにより、あら力じめ定められた、任意の頻度で、スキップ処理が可能な MDCTフレームを設定することができ、結果、任意の再生速度の変換を実現することが可能になる。

[0146] なお、実施の形態 1の符号化装置と、実施の形態 2の符号化装置は、共通化することが可能である。つまり、波形変形部 103と、第 2の波形変形部 1001の両方の機能を有する第 3の波形変形手段を設け、 MDCTフレーム内存在するピッチ波形信号の個数に従って、その数が偶数である場合と、奇数である場合とで、波形変形部 103と、第 2の波形変形部 1001の機能を切り替えるようにすれば良い。

[0147] ここで、波形変形部 103が用いるピッチ周期と、第 2の波形変形部 1001が用いる第 2のピッチ周期 1002は、共に 0から Nサンプルの長さを表す情報であり、符号化情報としては、全く同一の情報として取り扱うことができる。従って、波形変形部 103の機能が選択された場合には、入力されたピッチ周期 108もしくは、修正されたピッチ周期 902を、そのまま第 2のピッチ周期 1002として出力すればよい。この構成によれば、入力オーディオ信号が、どのようなピッチ周期を有していたとしても、適切な符号化処理を行うことができ、符号ィ匕効率を高めることができる。

[0148] なお、上記のすべての波形変形部の説明にお、て、分割されたピッチ波形信号は、 MDCTフレームにおける、各符号化フレーム境界の先頭に合わせるように配置されているが、この分割されたピッチ波形信号の配置は任意である。すなわち、各符号化フレーム内の任意の位置に配置されたピッチ波形信号に対し、その前後に生じる無信号区間に対して、それぞれ前後フレームに配置されたピッチ波形信号から、本来連続していた区間の波形信号を複製することによって、符号ィ匕フレーム長の信号を生成する様にすれば良い。符号ィ匕フレーム境界における、窓掛け処理に使用する減少窓および増加窓の長さは、ピッチ波形信号の配置に関わらず、符号化フレームの長さを N、ピッチ周期を Lとして、 N— Lである。このような、符号ィ匕装置における、分割されたピッチ波形信号の配置の違、は、符号ィ匕されたオーディオ信号の位相の差異として現れるのみであり、復号ィ匕装置の構成および処理には、なんらの影響も与えない。

[0149] (実施の形態 3)

図 15は、実施の形態 3における、本発明の符号ィ匕装置の構成を示す図である。

[0150] この符号ィ匕装置 13は、図 15に示されるように、図 11の符号化装置 11の構成に対して、波形変形部 103に代えて、第 3の波形変形部 1301を設け、修正されたピッチ周期 902を、第 3の波形変形部 1301に入力することと、新たにフレーム識別子生成部 1302を設け、第 3の波形変形部 1301から出力されるフレームスキップ情報 1304 を基に、フレーム識別子 1305を生成することと、第 3の波形変形部 1301から出力される、第 2のピッチ周期 1303と、フレーム識別子 1305とを、ビットストリーム多重化部 106に入力する様に構成した点が異なる。

[0151] 以下、本構成における追加機能である、フレームスキップ情報 1304と、フレーム識別子 1305および、第 3の波形変形部 1301と、フレーム識別子生成部 1302の動作について説明する。

[0152] 第 3の波形変形部 1301は、入力されたピッチ情報を基に、 1つの MDCTフレーム内に含まれるピッチ波形信号の数と、 2つもしくはそれ以上の隣接フレーム間におけるピッチ周期の同一性を基準に、スキップ可能な符号ィ匕フレームを検出する。

[0153] 先に説明したように、 1つの MDCTフレーム内に含まれるピッチ波形信号の数が偶数の場合には、 1つの符号ィ匕フレームを単独でスキップすることが可能であり、また、 1つの MDCTフレーム内に含まれるピッチ波形信号の数が奇数の場合には、連続する 2つの符号化フレームをセットとしてスキップする必要がある。

[0154] よって、フレームスキップ情報 1304には、

(A)現在の符号化フレームがスキップ可能なフレームであるか否力、及び、

(B) MDCTフレームに含まれるピッチ波形信号の数は、偶数である力奇数であるか、

を示す 2つの情報が含まれる。

[0155] フレーム識別子生成部 1302は、フレームスキップ情報 1304に基づいて、現在の符号ィ匕フレームに付加するフレーム識別子 1305を生成する。

[0156] 生成するフレーム識別子としては、

(1)スキップ不可な符号化フレーム。

(2)スキップ可能かつ、 MDCTフレームに含まれるピッチ波形信号の数が偶数。

(3)スキップ可能かつ、 MDCTフレームに含まれるピッチ波形信号の数が奇数。の 3通りを区別できるものであれば、どのようなものであっても良いが、一例として、（1 )の条件に対して「0」、（2)の条件に対して「1」、（3)の条件に対して「2」を、値として設定することにより、フレーム識別子とすることができる。

[0157] 図 16は、フレーム識別子 1305を多重化したビットストリームの一例であり、フレーム識別子として、「0」と「1」が与えられている。

[0158] 第 n符号化フレームのビットストリームには、フレーム識別子フィールド 1401と、符号化情報フィールド 1402が配置されている。フレーム識別子フィールド 1401には、フレーム識別子 1305が、符号化情報フィールドには、 MDCT符号化情報112ぉょびピッチ周期 1303が書き込まれる。フレーム識別子「1」は、符号化フレーム単独でスキップ可能であることを示すので、図 16に示すように、フレーム識別子「0」と「1」は交互に存在できる。

[0159] また、図 17は、フレーム識別子 1305を多重化したビットストリームの一例であり、フレーム識別子として、「0」と「2」が与えられている。

[0160] フレーム識別子「2」は、連続する 2つの符号ィ匕フレームをセットとしてスキップ可能であることを示すので、フレーム識別子「2」が連続する 2つの符号化フレームの、フレーム識別子フィールド 1503と 1504に書き込まれる。

[0161] なお、（3)の条件に対応する識別子を、さらに細分ィ匕することも可能である。つまり、連続する 2つの符号ィ匕フレームのうち、先の符号ィ匕フレームに対して、フレーム識別子「2」を、後の符号ィ匕フレームに対してフレーム識別子「3」を割り振っても良い。このようなフレーム識別子を付けることによって、ビットストリームの途中力も再生した場合等にも、フレームスキップ可能かどうかを、瞬時に判定できる利点が生じる。

[0162] また、使用するフレーム識別子の種類を制限することも可能である。例えば、（3)の条件を満たす場合において、フレームスキップを不許可とすれば、必要な識別子は、 (1)と（2)の条件に対応するものだけとなり、フレーム識別子の記述に必要な情報量を削減できる。

[0163] なお、図 16および図 17において、フレーム識別子フィールドは、符号化フレームごとに、ビットストリームの先頭に配置されている力その位置は任意である。

[0164] (実施の形態 4)

図 18は、本発明の実施の形態 4に関わる復号ィ匕装置 21の構成を示す機能ブロック図である。

[0165] 復号化装置 21の情報記憶部 1601には、例えば、本発明の実施の形態 3による符号ィ匕装置によって符号ィ匕されたビットストリームが記憶されている。情報記憶部 1601 としては、光学ディスク、磁気ディスク、半導体メモリ等を用いることができる。情報記憶部 1601より読み出されたビットストリーム 1605は、ビットストリーム分離部 1602において、 MDCT符号 607、ピッチ周期 610、フレーム識別子 1607に分離される。

[0166] 再生速度制御部 1603は、外部から与えられる再生速度変換の指示 1606に従つて、指示された再生速度を実現するために必要な、フレームスキップ処理の頻度を算出する。例えば、 k倍速の再生速度を得るために必要なフレームスキップ処理の頻度 fは、式（5)で表される。

[0167] [数 5] k = 全フレーム数/復号フレーム数

f = スキップフレーム数ノ全フレーム数

= (全フレーム数一復号フレーム数） /全フレーム数

= 1 . 0— 1 . 0 1く

… ）

[0168] 例えば、 2倍速を実現するためには、 k= 2. 0を代入して、 f=0. 5が得られるので、全体のフレーム数の 50%をスキップすることになる。

[0169] 再生速度制御部 1603は、フレーム識別子 1607を参照し、算出したフレームスキップ処理の頻度 fに基づ、て、フレームスキップ可能な符号化フレームをスキップする。具体的には、フレームスキップ処理を行うと判定した符号ィ匕フレームにおいては、スィツチ 1604を制御し、 MDCT符号 607およびピッチ周期 610の送出を遮断する。

[0170] MDCT係数復号化部 602から波形接続部 605に至る処理は、先に図 4を用いて説明した本発明の復号ィ匕装置の処理と同一である。波形接続部 605からは、再生速度が変換された出力オーディオ信号 612が出力される。

[0171] なお、上記の説明において、再生速度制御部 1603に、ピッチ周期 610を参照して、フレームスキップ処理の頻度 fを調整する機能を持たせることもできる。本発明の復号化装置において、波形変形部 604から出力される、符号ィ匕フレーム単位のフレーム復号信号 611の時間長は、その符号ィ匕フレームに設定されたピッチ周期 610に依存する。通常、ピッチ周期は滑らかに変化するので、隣接符号ィ匕フレーム間のピッチ周期の変化は小さぐその条件においては、数 5の関係が成り立つ。し力しながら、ピツチ周期の変化が大きい区間においては、数 5から算出されるフレームスキップ処理の頻度 fと、実際のフレームスキップ処理の頻度 fとの間にずれが生じる。このずれを補正するためには、再生速度制御部 1603において、ピッチ周期 610を参照して、各符号ィ匕フレームにおける正確な復号信号の時間長を求め、その結果に基づいて、フレームスキップ処理の頻度 fを調整すればよ、。

[0172] なお、図 19に示すように、波形接続部 605の出力を、ノッファリング部 1701において一度保持した後、固定フレーム長の復号オーディオ信号として出力するように構成することちでさる。

[0173] 先に説明したように、本発明の復号ィ匕装置において、波形変形部 604から出力される、符号ィ匕フレーム単位のフレーム復号信号 611の時間長は、その符号ィ匕フレームに設定されたピッチ周期 610に依存する。従って、出力オーディオ信号 612の時間サンプル数も変動することになる。そこで、出力復号オーディオ信号を、ノッファリング部 1701に一度蓄えておき、あら力じめ定められた一定の間隔において、固定サンプル長のオーディオ信号として取り出せば、固定フレーム長の出力オーディオ信号 1702を得ることができる。出力オーディオ信号を固定フレーム長とすることにより、出力オーディオ信号の取扱、が容易になると、う利点が生じる。

[0174] (実施の形態 5)

図 20は、本発明の実施の形態 5に関わる符号ィヒ情報伝送装置の構成を示す図である。

[0175] 本構成においては、情報記憶部 1801、再生速度制御部 1802、スィッチ 1803から構成される送出装置 1804と、ビットストリーム分離部 601、 MDCT係数復号化部 60 2、逆 MDCT部 603、波形変形部 604および、波形接続部 605から構成される受信装置 1805が、伝送路 1807を介して接続されている。

[0176] 受信装置 1805の構成および動作は、図 4を用いて示した本発明の復号ィ匕装置と同一である。

[0177] 情報記憶部 1801には、例えば、本発明の実施の形態 3による符号ィ匕装置によって符号ィ匕されたビットストリームが記憶されている。

[0178] 再生速度変換の指示 1808は伝送路 1807を介して、送出装置 1804に送られる。

[0179] 再生速度制御部 1802は、再生速度変換の指示 1808に従って、情報記憶部 180 1力も読み出されるビットストリーム 1806に含まれるフレーム識別子情報もしくは、フレーム識別子情報とピッチ周期情報を参照しながら、スィッチ 1803を制御する。再生速度制御部 1802の動作の詳細は、本発明の実施の形態 4において説明した、再生速度制御部 1603の動作と同一である。

[0180] スィッチ 1803は、符号化フレーム単位で、ビットストリーム 1806の送出をオン Zォフする。スィッチ 1803を通過したビットストリームは、伝送路 1807を介して、入力ビットストリーム 1809として、受信装置 1805に入力される。

[0181] 本構成の復号ィ匕装置では、送出装置 1804において、すべての再生速度変換に関わる処理が完結する。これにより、受信装置においては、再生速度変換に関わる一切の処理が不要であり、再生速度変換を行うことによる、受信装置の処理量の増加は無い。

[0182] また、スィッチ 1803によって、再生速度変換された出力オーディオ信号に相当する符号ィ匕フレームのビットストリームのみが送出されるため、伝送路 1807を介して伝送されるビットストリームの時間当たりの情報量は、再生速度変換を行わない場合とほぼ等しくなる。すなわち、時間当たりの伝送情報量を増加させることなぐ再生速度の変換を行うことができる。

[0183] なお、伝送路 1807としては、再生速度変換の指示 1808および、ビットストリーム 18 09の伝送が可能ならば、有線、無線の関わり無ぐまた、どのような伝送プロトコルを用いても良い。

[0184] (その他変形例）

なお、本発明を上記実施の形態に基づいて説明してきた力本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる

[0185] (1)上記の各装置は、具体的には、マイクロプロセッサ、 ROM, RAM,ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記 RAMまたはハードディスクユニットには、コンピュータプロダラムが記憶されている。前記マイクロプロセッサ力前記コンピュータプログラムにしたがつて動作することにより、各装置は、その機能を達成する。ここでコンピュータプロダラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

[0186] (2)上記の各装置を構成する構成要素の一部または全部は、 1個のシステム LSI ( Large Scale Integration:大規模集積回路）から構成されているとしてもよい。システム LSIは、複数の構成部を 1個のチップ上に集積して製造された超多機能 LSIであり、具体的には、マイクロプロセッサ、 ROM、 RAMなどを含んで構成されるコンビユータシステムである。前記 RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサ力 S、前記コンピュータプログラムにしたがって動作することにより

、システム LSIは、その機能を達成する。

[0187] (3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能な ICカードまたは単体のモジュール力も構成されて、るとしてもよ、。前記 ICカードまたは前記モジュールは、マイクロプロセッサ、 ROM, RAMなどから構成されるコンピュータシステムである。前記 ICカードまたは前記モジュールは、上記の超多機能 L SIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記 ICカードまたは前記モジュールは、その機能を達成する。この ICカードまたはこのモジュールは、耐タンパ性を有するとしてもよ!/、。

[0188] (4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンビュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラム力もなるデジタル信号であるとしてもよい。

[0189] また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンビユータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、 CD— R OM、 MO、 DVD, DVD-ROM, DVD -RAM, BD (Blu— ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよ、。

[0190] また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

[0191] また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

[0192] また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送すること〖こより、独立した他のコンピュータシステムにより実施するとしてもよい。

[0193] (5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよ!/ヽ。

産業上の利用可能性

[0194] 圧縮符号化された音声もしくは、オーディオ信号を、記憶媒体から、直接もしくは伝送路を介して取り出し、元の音声もしくは、オーディオ信号を、再生速度を変換しながら復号する装置、例えば携帯電話機や、音楽プレーヤ等の機器一般に適用することが可能である。具体的には、光学ディスク ·磁気ディスク ·半導体メモリ等を記憶媒体とする音声 ·音楽プレーヤ、音声 '音楽'ビデオ等のオンデマンド配信等するのに適している。

Claims

請求の範囲

[1] 予め定められた時間周波数変換フレーム長ごとに、入力されるオーディオ信号を周波数パラメータに変換する時間周波数変換手段と、当該周波数パラメータを符号ィ匕する符号化手段とを有する符号化装置であって、

前記オーディオ信号のピッチ周期を検出するピッチ周期検出手段と、

検出されたピッチ周期に基づいて、入力オーディオ信号をフレーミングするフレーミング手段と、

前記ピッチ周期に基づいて、フレーミングされたオーディオ信号を、前記時間周波数変換フレーム長に合わせて波形変形し、波形変形したオーディオ信号を前記時間周波数変換手段に出力する第 1波形変形手段と、

前記符号化手段により符号化された周波数パラメータと、前記ピッチ周期とを多重化し、ビットストリームとして出力する多重化手段と

を備えることを特徴とするオーディオ符号ィ匕装置。

[2] 前記第 1波形変形手段は、

前記フレーミングされたオーディオ信号を、前記ピッチ周期に合わせて切断する切断手段と、

隣接符号ィ匕フレームの信号波形の一部を、現在の符号化フレームに複製することによって、前記時間周波数変換フレーム長の波形信号を生成する複製手段とを有することを特徴とする請求項 1記載のオーディオ符号ィ匕装置。

[3] 前記第 1波形変形手段は、さらに

前記複製手段により生成された前記時間周波数変換フレーム長の波形信号に不連続点が生じないように、窓処理を行う窓処理手段

を有することを特徴とする請求項 2記載のオーディオ符号ィ匕装置。

[4] 前記時間周波数変換手段で変換される波形信号には、偶数個のピッチ波形信号が含まれる

ことを特徴とする請求項 1記載のオーディオ符号ィ匕装置。

[5] 前記時間周波数変換手段で変換される波形信号には、奇数個のピッチ波形信号が含まれることを特徴とする請求項 1記載のオーディオ符号ィ匕装置。

[6] 前記時間周波数変換手段は、 MDCT手段であり、

前記周波数パラメータは、 MDCT係数である

[7] 前記オーディオ符号化装置は、さらに

前記ピッチ周期と、前記時間周波数変換フレーム長の波形信号に含まれるピッチ波形信号の個数に基づ、て、符号ィ匕フレームのスキップ処理が可能力否かを判定し、判定結果に従ってフレーム識別子を生成するフレーム識別子生成手段を備え、前記多重化手段は、生成されたフレーム識別子を前記ビットストリームに多重化する

[8] 入力されたビットストリームに含まれる符号ィ匕フレームの周波数パラメータを復号ィ匕する復号化手段と、予め定められた時間周波数変換フレーム長ごとに、前記周波数パラメータをオーディオ信号に逆時間周波数変換する逆時間周波数変換手段とを有する復号化装置であって、

前記ビットストリームには、オーディオ信号のピッチ周期を表すピッチ周期情報が含まれており、

前記逆時間周波数変換されたオーディオ信号は、予め前記ピッチ周期に基づいて、フレーミングされたオーディオ信号を前記時間周波数変換フレーム長に合わせて波形変形されたものであり、

前記入力ビットストリームに含まれるピッチ周期情報を分離するビットストリーム分離手段と、

前記ピッチ周期情報に基づいて、前記時間周波数変換フレーム長のオーディオ信号を前記ピッチ周期長のオーディオ信号に変形する第 2波形変形手段と、

変形されたピッチ周期長のオーディオ信号を接続する波形接続手段とを備えることを特徴とするオーディオ復号ィ匕装置。

[9] 前記オーディオ復号化装置は、さらに、

前記周波数パラメータを復号する復号ィ匕処理をスキップさせ、オーディオ信号の再生速度を変換させる第 1再生速度変換手段

を備えることを特徴とする請求項 8記載のオーディオ復号ィ匕装置。

[10] 前記周波数パラメータおよびピッチ周期の伝送をオンオフするスィッチ手段と、再生速度変換の指示と、入力ビットストリームに含まれるフレーム識別子に基づいて、前記スィッチ手段を制御する第 2再生速度変換手段とを備え、

前記第 2再生速度変換手段は、前記周波数パラメータおよびピッチ周期の伝送をオフすることによって、再生速度を変換させる

ことを特徴とする請求項 8記載のオーディオ復号ィ匕装置。

[11] 周波数パラメータおよびピッチ周期の伝送をオンオフするスィッチ手段と、

再生速度変換の指示と、入力ビットストリームに含まれるピッチ周期およびフレーム識別子とに基づいて、前記スィッチ手段を制御する第 3再生速度変換手段とを備え、前記第 3再生速度変換手段は、前記周波数パラメータおよびピッチ周期の伝送をオフすることによって、再生速度を変換させる

[12] 前記逆時間周波数変換手段は、逆 MDCT手段であり、

前記周波数パラメータは、 MDCT係数である

[13] 符号化されたオーディオ信号のビットストリームを送出するための送出装置と、符号化されたオーディオ信号のビットストリームを受信し、入力されたビットストリームに含まれる符号ィ匕フレームの周波数パラメータを復号ィ匕する復号ィ匕手段と、予め定められた時間周波数変換フレーム長ごとに、前記周波数パラメータをオーディオ信号に逆時間周波数変換する逆時間周波数変換手段とを含む受信装置とを有するオーディォ符号化情報伝送装置であって、

前記送出装置は、

符号化されたオーディオ信号のビットストリームを保持する情報記憶手段と、前記ビットストリームの送出をオンオフするスィッチ手段と、

再生速度変換の指示と、前記ビットストリームに含まれるフレーム識別子に基づいて、前記スィッチを制御する第 4再生速度変換手段とを備え、前記ビットストリームには、オーディオ信号のピッチ周期を表すピッチ周期情報が含まれており、

前記受信装置は、

変形されたピッチ周期長のオーディオ信号を接続する波形接続手段とを備えることを特徴とするオーディオ符号ィ匕情報伝送装置。

[14] 前記第 4再生速度変換手段は、前記フレーム識別子に加えて、前記ピッチ周期情報を参照して前記スィッチを制御する

ことを特徴とする請求項 13記載のオーディオ符号ィ匕情報伝送装置。

[15] 予め定められた時間周波数変換フレーム長ごとに、入力されるオーディオ信号を周波数パラメータに変換する変換ステップと、当該周波数パラメータを符号ィ匕する符号ィ匕ステップとを有する符号ィ匕方法であって、

前記オーディオ信号のピッチ周期を検出するピッチ周期検出ステップと、検出されたピッチ周期に基づいて、入力オーディオ信号をフレーミングするフレーミングステップと、

前記ピッチ周期に基づいて、フレーミングされたオーディオ信号を、前記時間周波数変換フレーム長に合わせて波形変形する第 1波形変形ステップと、

前記符号化ステップで符号化された周波数パラメータと、前記ピッチ周期とを多重化し、ビットストリームとして出力する多重化ステップと

を含むことを特徴とするオーディオ符号ィ匕方法。

[16] 請求項 15に記載の符号ィ匕方法に含まれるステップをコンピュータに実行させるためのプログラム。

[17] 入力されたビットストリームに含まれる符号ィ匕フレームの周波数パラメータを復号ィ匕する復号化ステップと、予め定められた時間周波数変換フレーム長ごとに、前記周波数パラメータをオーディオ信号に逆時間周波数変換する逆時間周波数変換ステップとを有する復号ィ匕方法であって、

前記入力ビットストリームに含まれるピッチ周期情報を分離するビットストリーム分離ステップと、

前記ピッチ周期情報に基づいて、前記時間周波数変換フレーム長のオーディオ信号を前記ピッチ周期長のオーディオ信号に変形する第 2波形変形ステップと、変形されたピッチ周期長のオーディオ信号を接続する波形接続ステップとを含むことを特徴とするオーディオ復号ィ匕方法。

[18] 請求項 17に記載の復号ィ匕方法に含まれるステップをコンピュータに実行させるためのプログラム。