JPH08500452A

JPH08500452A - 音声和音発生方法及び装置

Info

Publication number: JPH08500452A
Application number: JP6502785A
Authority: JP
Inventors: シー．ギブソン，ブライアン; ポールバーシュ，ジョン
Original assignee: アイヴイエルテクノロジーズリミテッド
Priority date: 1991-06-21
Filing date: 1992-07-02
Publication date: 1996-01-16
Also published as: DE69222782D1; AU2242392A; EP0648365A1; US5231671A; US5301259A; DE69222782T2; EP0648365B1; WO1994001858A1

Abstract

(57)【要約】開示されるのは、入力音声信号を分析し、該入力音声信号と組み合わせられる複数の和音信号を生成し、多音声信号を生成する方法及び装置である。この方法は、前記入力音声信号の基本周波数の現在の予測を行い、当該現在の予測値が基本周波数の正しい予測値であるかについて判断する。前記現在の予測値が正しければ、この現在の予測値に対応するように基準音を割り当てると共に、この基準音に対応するように複数の和音を選択する。次に前記方法は、前記入力音声信号をハニング・ウインドウの区分線形近似を用いて調整し前記入力音声信号の一部を抽出し、前記和音の各々の基本周波数に等しい複数の速度で、前記抽出部分を複製することによって、複数の和音信号を発生する。前記複数の和音信号と前記入力音声信号とを組み合わせて前記多音声信号を生成する。前記方法のステップは、マイクロプロセッサ及び信号処理回路を用いて実行される。

Description

【発明の詳細な説明】音声和音発生方法及び装置発明の分野本発明は、一般的に音楽的和音（musical harmonies）発生装置及び方法に関し、特に音声和音発生装置及び方法に関するものである。発明の背景音楽的和音発生器とは、所与の音楽入力信号に対応する１組の和音信号を生成するように動作する機械である。かかる機械を用いると、音楽家が旋律線（melo dy line）を演奏しつつ、当該機械が和音線を発生することができるので、一人の音楽家でも数人いるかのような音を出すことができる。ギターやシンセサイザのような楽器からの信号と共に動作する和音発生器は、長年にわたってよく知られている。かかる装置は、一般的に、入力信号をサンプリングし、その周波数をシフトして和音を発生することにより、動作するものである。周期的な音楽信号では、その信号の特定のピッチ及び多くの和音を決める基本周波数が常にあり、これが音楽信号の性質を与える。例えば、ギターとバイオリンが同じ音を演奏しても互いに異なる音が聞こえるのは、基本周波数と高調波周波数（harmonic frequencies）の特定の組み合わせのためである。ギター、フルート、サクソホン、又はキーボードのような楽器では、音のピッチが変化すると、ピッチが上にシフトされるか又は下にシフトされるかによって、基本周波数及び和音のスペクトル包絡線（spectral envelope）が伸びたり縮んだりする。従って、楽器からの音をサンプリングし、サンプリングされた音をより速い又はより遅い速度で演奏し直すことによって、人工的には聞こえない和音を楽器のために作ることができる。この和音発生方法は楽器にはうまく作用するが、音声和音の発生についてはそうはいかない。音声信号では、典型的に、個人が歌う音のピッチ、及びその音に特徴や音質を加える１組の和音周波数を決める基本周波数がある。楽器とは異なり、音声信号のピッチが変化しても、和音のスペクトル包絡線は同じ形状を保持するが、スペクトル包絡線を構成する個々の周波数は、強度が変化する。従って、歌われる音をサンプリングしその周波数を変化させることによって音声の和音信号を発生しても、その方法はスぺクトル包絡線の形状を変化させるので、自然に聞こえない。音声信号の和音（harmony note）を発生するためには、基本周波数を変化しつつ、そのスペクトル包絡線の全体的な形状は保持する方法が必要である。本願発明者は、レントケー．の「デジタル的にサンプリングされた音のピッチ（調子）をシフトする効率的な方法」（Computer Music Journal, Volume 13 ,No.4,Wlnter,pp．65-71(1989)）という論文に記載されている方法（以降、レント法と呼ぶ）は、スペクトル包絡線の形状を維持するため、音声和音の発生に用いるのに特に適していることを発見した。しかしながら、引用した論文に記載されているように、レント法を実際に行うと、計算が複雑で、安価な計算器ではリアルタイムで実行するのは困難である。加えて、レント法は、信号の基本周波数が正確に分かっていることを必要とする。しかしながら、音声について和音信号を発生する際の問題は、音声信号の分析が難しいことと、レント法はノイズが存在する中で複雑な音声信号の基本周波数を精度高く判定するという課題を対象にしたものではないという事実である。例えば、歌う時の所与の音の基本周波数は大きく変化するので、和音発生器の基本周波数の判定及び適正な和音の発生が困難となる。従って、デジタル的にサンプリングされた音声信号のピッチをシフトすることによって音声和音を発生するために用いられる方法は、実質的にリアルタイムで動作し、安価な計算機器を用いるようにしなければならない。この技術は、従って、多部分音声信号（multipart vocal signal）を発生するために入力音声信号を精度高く分析する方法を備えなければならない。発明の概要本発明は、複数の和音信号を生成しそれを入力音声信号と組み合わせて多音声信号（multivoice signal）を生成するために、音符（musical note）を表わす入力音声信号を分析する方法及び装置から成る。前記方法は、入力信号の基本周波数の現在の予測を繰り返し決定すると共に、基本周波数の以前の予測から得られた１組のパラメータに基づいて現在の予測を試験するステップを含む。現在の予測が正しい予測であれば、現在の予測に対応する基準音が割り当てられる。基準音に基づいた複数の和音が選択され、この複数の和音に対応するように複数の和音信号が発生される。入力音声信号を複数の和音信号と組み合わせ、多音声信号を生成する。好適実施例では、ハニング・ウインドウの区分線形近似（piecewise liner approximation of Hanning window）によって入力音声信号を調整し、入力音声信号の一部を抽出し、前記和音信号の各々の基本周波数に実質的に等しい複数の速度で抽出された部分の複製を作ることによって複数の和音信号を生成する。図面の簡単な説明第１図は、本発明による音声和音発生器のブロック図である。第２図は、本発明による多音声信号を発生する方法のステップを図示したフローチャートである。第３図は、音（note）が始まっているかを判断する方法のステップを示すフローチャートである。第４図は、音が続いているかを判断する方法のステップを示すフローチャートである。第５図は、本発明の方法において用いられるオクターブ・エラーを検出するフローチャートである。第６図は、どのように和音信号が生成されるかを示す図である。第７図は、本発明によるハニング・ウインドウの区分線形近似を発生するために用いられるステップを示す。第８図は、本発明による単一処理チップのブロック図である。第９図は、前記単一処理チップ内に含まれるピッチ・シフタのブロック図である。及び第１０図は、歯擦音（sibilant sound）を表わす入力信号のグラフである。図面の詳細な説明第１図は、本発明による音声和音発生器１０のブロック図である。この音声和音発生器１０は、入力音声信号２０を受け取り、多音声出力信号２２を発生するものである。多音声出力信号２２は、入力音声信号２０と実質的に同一ピッチで音を出す出力信号２２ａと、入力音声信号２０と和音関係にある４つまでの和音２２ｂ，２２ｃ，２２ｄ，及び２２ｅから成る。音声和音発生器１０は、マイクロホン又は記録装置のような他の音源から入力音声信号２０を受け、対応する電気信号を生成し、線３４を通じて入力フィルタ・ブロック３２に渡す。フィルタ・ブロック３２は、マイクロホン３０が拾い上げた高周波ノイズ量を低減するアンチ・エイリアシング・フィルタを含むことが好ましい。フィルタ・ブロック３２によってフィルタ処理された後、入力音声信号２０は、リード３８によってフィルタ・ブロック３２に結合されているアナログ／デジタル（Ａ／Ｄ）変換器３６によってアナログからデジタル形状に変換される。Ａ／Ｄ変換器３６は、リード４２によって信号処理ブロック５０に結合されており、このリードを通じて出力音声信号２０を表わすデジタル信号が搬送される。信号処理ブロック５０は、リード４６によって信号処理ブロック５０に結合されているランダム・アクセス・メモリ（ＲＡＭ）４４内の循環アレイに記憶される。信号処理ブロック５０は、ＲＡＭ４４に記憶されている入力音声信号２０の一部を抽出し、和音信号の各々の基本周波数と実質的に等しい複数の速度で抽出部分の複製を作ることによって、多音声信号を発生する。これについては、後に述べる。リード５２は、信号処理ブロック５０をマイクロプロセッサ４０に結合し、信号処理ブロック５０によって用いられる１組のパラメータをマイクロプロセッサが供給し、和音信号を発生できるようにする。マイクロプロセッサ４０は、インテル社製造の８ビット・アーキテクチャ型チップ、モデル８０Ｃ３１号であることが好ましい。リード４１によってマイクロプロセッサ４０に結合されているのは、外部ランダム・アクセス・メモリ（ＲＡＭ）４０ａ及び外部リード・オンリ・メモリ（ＲＯＭ）４０ｂである。信号処理ブロック５０の出力は、リード５６によってデジタル／アナログ（Ｄ／Ａ）変換器５４に結合され、デジタル・フォーマットの和音信号をアナログ・フォーマットに変換する。Ｄ／Ａ変換器５４の出力信号は、リード６２によって一対の再生フィルタ６０ａ、６０ｂに結合される。これらの出力フィルタは、信号処理ブロック５０によって和音信号に加えられた可能性がある高周波ノイズを除去するものである。混合器６４が、１対のリード６６ａ及び６６ｂを通じて、出力フィルタ６０ａ及び６０ｂからのアナログ多音声信号、及びリード３４上の入力音声信号を受け取る。混合器６４は、リード６８によってマイクロプロセッサ４０に結合され、左側音響出力７０ａと右側音響出力７０ｂとの間の多音声信号のバランス、及び和音信号の入力音声信号のバランスを制御する。へッドホン増幅器７２が混合器６４の出力に結合され、リード７４上の音響出力信号をへッドホンに供給する。更に和音発生器１０内に含まれているのは１組のスイッチ７６であり、これは、音楽家が和音発生器１０を操作してその動作を調整できるようするものである。入力スイッチ７６はリード７８によってマイクロプロセッサ４０に結合されている。表示装置８０は、和音発生器１０の操作者に、和音発生器の動作がどのように設定されているかについての指示を与える。表示装置８０は、リード８２によってマイクロプロセッサ４０に結合されている。第２図は、１組の和音信号を発生し、これを入力音声信号と組み合わせて本発明による多音声信号を生成するために、入力音声信号を分析する、全体的に１００で示されている方法に用いられるロジックを表わす。この方法は開始ブロック１０５から始まり、ブロック１１０に進む。ここで、入力音声信号がサンプリングされ、ＲＡＭ４４内の循環アレイ（図示せず）に記憶される。ブロック１１０と並列にかつ独立して処理を行うのは、ブロック１１２及びブロック１１１に示される２つのサブルーチンである。ブロック１１２は、基本周波数の予測値、入力音声信号のレベル、及び当該入力信号が周期的であるかについて判断する処理を行う。入力信号が周期的ではない場合、ブロック１１２は、当該入力音声信号が非周期的であることの指示、及び入力音声信号が歯擦音を表わすか否かの指示を戻す。歯擦音とは、「ｈ」「ｃｈ」「ｓ」等のような音である。和音信号が自然に聞こえるためには、このような音の周波数をシフトしてはならない。従って、以下に述べるように、それらを検出し、ピッチ・シフト・アルゴリズムを迂回させる必要がある。ブロック１１２の処理は、以下に述べる歯擦音の検出方法を除いて、共に譲渡されたアメリカ合衆国特許第４，６８８，４６４号に記載されている。端的に言えば、ブロック１１２は、入力信号が１組の交流の正及び負のしきい値を交差するのに要する時間を基に、入力音声信号の基本周波数を求めるものである。ブロック１１１は、ブロック１１０と並列に処理され、オクターブ・エラー・サブルーチン４００を呼び出す。以下に更に詳しく述べるが、サブルーチン４００は、ブロック１１２で決定された入力音声信号の基本周波数が、入力音声信号の実際の基本周波数よりも１オクターブ低いかについて判断する。レント法は音声和音の生成にはうまく作用するが、オクターブ・エラーには特に敏感であり、音楽家が歌っている音のオクターブに関して間違った判断を行う。従って、正確なオクターブ判断がなされたことを保証するために余分にチェックを行う。ブロック１１１及び１１２は、方法１００の実施中実行し続けるルーチンを表わす。ブロック１１０の後、前記方法はブロック１１４に進み、サブルーチン２００を呼び出す。サブルーチン２００は、ブロック１１０でサンプリングされた入力音声信号が、音楽家によって歌われた新しい音の開始を印していないかを判断する。サブルーチン２００の結果は、判断ブロック１１５で試験される。判断ブロック１１５への回答が否定の場合、新しい音が始まっていないことを意味し、前記方法はブロック１１８に進む。ここで、音「オフ」カウンタが増分され、音「オン」カウンタがクリアされる。音「オフ」カウンタは、最後の音が歌われ和音発生器に入力されてからの時間長を追跡する。同様に、音「オン」カウンタは、現在の音が音楽家によって歌われている時間長を追跡する。ブロック１１８の後、判断ブロック１１５からの回答が肯定になるまで、前記方法はブロック１１４に戻る。一旦判断ブロック１１５によって、ある音が始まっていると判断されたなら、前記方法はブロック１１９に進み、ここで変数Curr ent Noteが、入力音声信号に対応するように割り当てられる。例えば、入力音声信号が約４４０へルツの基本周波数を有するなら、前記方法は、音Ａを変数Curr ent Noteに割り当てる。どの音符（musical note）を変数Current Noteに割り当てるかを決めるため、マイクロプロセッサ４０に結合されている外部ＲＯＭ４０ｂ内に記憶されている参照テーブルが用いられる。参照テーブル内に含まれているのは、基本周波数の範囲として記憶されている、等しく調律された尺度（equal tempered scale）の音である。従って、与えらるあらゆる入力に対して対応する１つの音が前記テーブルから対応付けられ、変数Current Noteに割り当てられる。好適実施例では、所与の音に対応する周波数範囲は、基本周波数のいずれの側でも＋／−５０セント（cent）（セミトーン（semitone）の１００倍）に及び、現在の音を割り当てる時の、入力音声信号の基本周波数の多少のばらつきを考慮している。例えば、音楽家がフラット（flat）を歌っており、入力音声信号が４３５へルツの基本周波数を有する場合、前記方法は、音Ａを変数CurrentNoteに割り当てる。ブロック１１９の後、前記方法はブロック１２０に進み、ここで変数Current Noteに対応する和音が決定される。好適実施例では、ブロック１２０はＲＡＭ４０ａに記憶された参照テーブルを含み、このテーブルは、後に述べるが、可能性のある各Current Noteの周期に対応する和音の各々に対する周期を含んでいる。次に示すのは、和音信号を発生するために本発明によって用いられる参照テーブルである。好適実施例では、上記和音テーブルは、″E 上″等のような語を含んいるのではなく、和音（harmony notes）がCurrent Noteから離れているセント（cent）数を含んでいる。例えば、Current Note がＣの場合、ＲＡＭ４４は、和音１に対して十４００をテーブルに含んでいる（Ｃから４００セントは、４セミトーン又はE上）。和音信号は、所与のCurrent Noteに対応する和音の周期を調べることによって発生される。例えば、Current NoteがＦの場合、和音がA上，C上，D 上及びF下であると決定した後に、前記方法は、これら和音（harmony notes）各々の周期を調べる。次に和音信号の周期を用いて、後に述べるように、一対のピッチ・シフタが多音声信号を生成する。音楽家がシャープ又はフラットを歌っている時、和音を最も近い真のピッチと調和するように調節する代わりに、それらが対応してシャープ又はフラットとなるように調整することができる。例えば、音楽家が″E″のCurrent Noteを選択して（on pitch）歌う場合、和音１の音は正確にG上Eとしなければならない。しかしながら、音楽家がシャープ、例えば＋３０セント（即ちセミトーンの３０／１００）を歌っているなら、和音はG上＋３０セント（即ちセミトーンの３０／１００）と計算される。和音を選択する際に用いられる第２の選択は、「無変化の選択」である。この選択を用いると、和音テーブルは以下のように構成される。これからわかるように、１つ置きの和音は変化しない。これによって、和音を大きく変えることなく、音楽家はある量のビブラートをCurrent Noteに加えることができるようになる。このヒステリシス効果によって、多音声信号に安定性が与えられ、より現実的な音とすることができる。和音表をＲＡＭ４４内に記憶することで、所望のタイプの音に応じて、音楽家は、発生された特定のタイプの和音に対して、様々な選択をプログラムできるようになる。（この明細書全体では、ある音の基本周波数及びその周期は単に互いの逆であり、これらの用語の一方又は他方が適切と思われる場合に、それを用いて明確さを期したことに注意すべきであろう。） Current Noteに対応する和音を決定した後、前記方法はブロック１２２に進み、ここでCurrent Note及び当該和音を含む多音声信号を発生する。ブロック１２２の処理は、後により詳細に記載する。ブロック１２２の後、前記方法はブロック１２４に進み、前記多音声信号を出力する。ブロック１２４の後、前記方法はブロック１２６に進み、ここで次の音に対する許容周波数範囲を決定する。好適実施例では、一旦ブロック１１９で変数Curr ent Noteが入力音声信号の基本周波数に対応するように割り当てられたなら、基本周波数の許容範囲が、最初にCurrent Note ＋／−２５パーセントの基本周波数となるように設定される。許容周波数範囲を次の音に対して割り当てることによって、より根拠のある割り当てがCurrent Note毎にできるようになる。このロジックは、人間の声はある限られた速度でしか音を変えられないという仮定に基づいている。従って、ブロック１１２で決定した基本周波数が、＋／−２５パーセント許容周波数範囲から外れているなら、前記方法は、ブロック１１２で読み取った基本周波数は間違いであると想定する。ブロック１２６の後、前記方法はブロック１２７に進み、サブルーチン３００を呼び出す。これは、Current Noteが音楽家によって歌い続けられているか、或いは終了したかを判断するものである。サブルーチン３００の処理については、後に詳しく説明する。サブルーチン３００から戻ると、判断ブロック１２８で、サブルーチン３００がCurrent Noteが続いていると解釈したかについて判断する。判断ブロック１２８に対する答えが肯定ならば、前記方法はブロック１３０に進み、音「オン」カウンタを増分する。ブロック１３０の後、前記方法はブロック１１９に戻り、上述のように、Current Noteを更新し、和音を決定し、多音声信号を発生する。判断ブロック１２８に対する答えが否定ならば、前記方法はブロック１３２に進み、ここで音「オン」カウンタをクリアすると共に、音「オフ」カウンタを１に設定する。ブロック１３２の後、前記方法はブロック１３４に進み、一対のピッチ・シフタ（図示せず）を動作不能にする。ブロック１３４の後、前記方法はブロック１１４に戻り、入力音声信号内の新しい音を探し始める。方法１００は、音楽家が歌い続ける限り、入力音声信号内で新しい音が始まるのを探し、多音声信号を発生し、次の音に対する許容周波数範囲を計算する。第３図は、サブルーチン２００の更に詳細なフローチャートである。これは、第２図のブロック１１４に示すように、音楽家が新しい音を歌っているかについて判断するものである。サブルーチン２００はブロック２０５から始まり、ブロック２１０に進み、ここで入力音声信号の基本周波数とレべルとをブロック１１２から読み取る（図２に示す）。ブロック２１０の後、前記サブルーチンは判断ブロック２１２に進み、入力音声信号の結合レベル（tie level）が所定のしきい値より高いかについて判断する。このしきい値は、マイクロホン３０（図１に示す）に入る背景ノイズのレベルよりも高くなるように、音楽家によって設定されることが好ましい。前記入力音声のレベルがしきい値よりも高くない場合、サブルーチン２００はリターン・ブロック２１４に進み、新しい音が始まっていないことを示す。前記入力音声信号のレベルが前記所定のしきい値よりも高い場合、サブルーチン２００は判断ブロック２１６に進み、当該入力音声信号が歯擦音を表わすかについて判断する。ブロック２１６の処理は、後により完全に説明する。入力音声信号が歯擦音ではない場合、前記サブルーチンは判断ブロック２１８に進み、前記入力音声信号が周期的かについて判断する。判断ブロック２１８に対する答えは、ブロック１１２によっても与えられる（図２に示す）。入力音声信号が周期的ではない場合、前記サブルーチンはリターン・ブロック２１４に進み、新しい音が始まっていないことを示す。入力信号が周期的である場合、サブルーチン２００はブロック２１９に進み、前記入力音声信号の基本周波数が、人間の声で歌うことができる範囲を越えていないかについて判断する。具体的には、基本周波数が約１０００へルツを越える場合、前記サブルーチンはブロック２１４において戻る。基本周波数が人間の声の範囲内であることがわかったなら、サブルーチンは音「オフ」カウンタを読み取る。ブロック２２０の後、サブルーチン２００は判断ブロック２２４に進み、直前の音が１００ミリ秒以下の間「オフ」であったかについて判断する。直前の音が１００ミリ秒未満前に終わっていない場合、サブルーチンはリターン・ブロック１２６に進み、新しい音が音楽家によって歌われていることを示す。判断ブロック１２４に対する答えが肯定である場合、直前の音が終わったのが１００ミリ秒前以降であったことを意味し、サブルーチン２００は判断ブロック２２５に進む。判断ブロック２２５は、サブルーチン２００が最後に呼び出されてから、入力音声信号レベルに大きな上昇があったかについて判断する。入力信号レベルが２倍、即ち二重に増加している場合、サブルーチン２００はブロック２２７に進み、第２図のブロック１２６で決定された許容周波数範囲を狭くする。好適実施例では、許容範囲は、直前の音の基本周波数＋／−２５パーセントから、直前の音の基本周波数の＋／−１２．５パーセントに狭められる。本方法は、入力音声信号に大きな増加があると、基本周波数の決定が難しくなるという仮定の下に動作する。許容周波数範囲を狭くすることで、サブルーチン２００は、基本周波数ではなく代わりに入力音声信号の和音である周波数を「追跡する」ことを回避する。判断ブロック２２５に対する答えが「否定」である場合、又はブロック２２７で許容周波数範囲を狭くした後、サブルーチン２００は判断ブロック２２８に進み、入力信号の基本周波数が許容範囲（第２図のブロック１２６で計算したもの、或いはブロック２２７で狭くしたもの）以内にあるかについて判断する。判断ブロック２２８に対する答えが「肯定」である場合、サブルーチン２００はリターン・ブロック２２６に進み、新しい音が始まっていることを示す。判断ブロック２２８に対する答えが「否定」である場合、基本周波数が許容範囲外であることを意味し、サブルーチン２００は判断ブロック２３０に進み、基本周波数の整数倍（２，３，４ｘ）又は分数（１／２，１／３，１／４）が前記許容範囲内にあるかについて判断する。判断ブロック２３０に対する答えが否定である場合、サブルーチン２００はリターン・ブロック２１４に進み、新しい音が始まっていないことを示す。判断ブロック２３０に対する答えが「肯定」である場合、前記基本周波数の整数倍又は分数が許容範囲内にあることを意味し、サブルーチンはブロック２３２に進み、前記基本周波数を除算又は乗算し、その結果が許容範囲に入るようにする。例えば、基本周波数が予想周波数＋／−２５パーセントの１／３であるとすると、基本周波数に３等を乗算する。ブロック２３２の後、サブルーチン２００はリターン・ブロック２２６に進み、新しい音が音楽家によって歌われていることを示す。第４図は、ブロック１２７（第２図に示す）で呼び出されたサブルーチン３００の詳細なフローチャートである。サブルーチン３００の目的は、音楽家によって歌われるCurrent Noteが続いているか、或いは終了しているかを判断することである。サブルーチン３００はブロック３１０にて開始し、ブロック３１２に進んで、ブロック１１２（第２図に示す）で決定した入力音声信号の基本周波数とレベルとを読み取る。ブロック３１２の後、サブルーチン３００は判断ブロック３１４に進み、前記入力信号のレベルが所定のしきい値を越えているかについて判断する。ブロック３１４に対する答えが「否定」である場合、サブルーチン３００はリターン・ブロック３１７に進み、Current Noteは続いていないことを示す。前記レベルがしきい値より高い場合、サブルーチン３００は判断ブロック３１６に進み、前記入力音声信号が歯擦音を表しているかについて判断する。判断ブロック３１６に対する答えが「肯定」である場合、サブルーチン３００はリターン・ブロック３１７に進む。判断ブロック３１６に対する答えが「否定」である場合、サブルーチン３００は判断ブロック３１８に進み、ブロック１１２の結果をチェックすることにより、前記入力音声信号が周期的かについて判断する。判断ブロック３１８に対する答えが「否定」である場合、サブルーチン３００はリターン・ブロック３１７に進む。判断ブロック３１８に対する答えが「肯定」である場合、サブルーチン３００は判断ブロック３１９に進み、前記入力音声音の基本周波数が人間の声の範囲内にあるかについて判断する。ブロック３１９は、ブロック２１９（第３図に示す）と同様に処理を行う。判断ブロック３１９に対する答えが「否定」である場合、サブルーチン３００はリターン・ブロック３１７に進む。判断ブロック３１９に対する答えが「肯定」である場合、サブルーチン３００は判断ブロック３２０に進む。判断ブロック３２０はブロック２２５（第３図に示す）と同様に処理を行い、入力音声信号のレベルに大きな上昇があるかについて判断する。ブロック３２０に対する答えが「肯定」である場合、ブロック３２２において許容周波数範囲を狭くする。判断ブロック３２０に対する答えが「否定」であるか、或いはブロック３２２で許容周波数範囲を狭くした後、サブルーチン３００は判断ブロック３２４に進み、前記入力信号の基本周波数が、上述のブロック１２６（第２図）で判断された或いはブロック３２２で狭められた、許容範囲内にあるかにっいて判断する。判断ブロック３２４に対する答えが「肯定」である場合、サブルーチンはリターン・ブロック３２６に進み、前記音が続いていることを示す。判断ブロック３２４に対する答えが否定である場合、基本周波数が許容範囲内にないことを意味し、サブルーチン３００は判断ブロック３２８に進み、前記基本周波数の整数倍（２ｘ，３ｘ，４ｘ）又は分数（１／２，１／３，１／４）が前記許容範囲内にあるかについて判断する。判断ブロック３２８に対する答えが「否定」である場合、サブルーチン３００はリターン・ブロック３１７に進み、前記音は続いていないことを示す。判断ブロック３２８に対する答えが「肯定」の場合、サブルーチン３００はブロック３２９に進み、入力信号にオクタブのジャンプがあったかについて判断する。「オクターブ・ジャンプ」は、基本周波数の２倍になったことが検出され、一方「オクターブ・ダウン」は基本周波数が半分になったことが検出される。一対の変数Octabe Up及びOctave Downが、それぞれ入力音声信号のオクターブ・アップ及びダウンの回数を追跡する。これらの変数は、サブルーチンが判断ブロック３３０に進む前に、ブロック３２９において更新される。入力音声信号を分析する本方法は、ブロック１１２によって決定された基本周波数に１オクターブのジャンプが生じる回数を追跡することによって処理を行う。例えば、Ａ−４４０へルツの「Ｗ」で始まる歌詞(word)を音楽家が歌い始めたとすると、基本周波数はＡ−２２０へルツで始まり、Ａ−４４０へルツにジャンプし、Ａ−２２０へルツに戻り、Ａ−９８０ヘルツに上昇する等となる。前記２つの変数Octabe Up及びOctave Downは、基本周波数にＡ−４４０へルツから１オクターブのジャンプが生じる回数を追跡する。本方法にはＡ−２２０へルツ、Ａ −４４０へルツ、又はＡ−８８０ヘルツのどれが、音楽家が歌っている正確な周波数であるかを知る方法がないので、初期予測を行う。この初期予測は正しいものと仮定するが、サブルーチン３００を６回行う間に上又は下に変更することができる。１００−２００ミリ秒の間にわたって音が「オン」であった後、本方法は複数のオクターブの１つを「追跡」又は選択しなければならない。しかしながら、約２００ミリ秒の後、オンになっていた音の時間長と比較した場合の、基本周波数が１オクターブ低下した回数の率が５０パーセントを越える場合、前記方法はオクターブ・エラーが生じたかについて、従って、オクターブに対する最初の選択が間違っていたのではないかについて判断する必要がある。判断ブロック３３０は、現在の音が２００ミリ秒以上の時間にわたってオンであるかについて、音「オン」カウンタによって判断する。判断ブロック３３０に対する答えが「否定」である場合、サブルーチン３００はリターン・ブロック３２６に進み、Current Noteが続いていることを示す。ブロック１１９（第２図に示す）に戻った時に、変数Current Noteを更新し、新しい基本周波数を反映させる。判断ブロック３３０に対する答えが肯定である場合、サブルーチン３００は判断ブロック３３４に進み、オクターブ・ダウン・カウンタ内のカウントの、現在の音がオンである時間に対する比率を決定する。この比率が５０％を越えるなら、サブルーチン３００はブロック３３６に進み、第２図に示されるように、オクターブ・エラー・サブルーチン４００の結果を読み取る。判断ブロック３３４に対する答えが否定である場合、サブルーチン３００はブロック３３５に進み、オクターブ・アップ・カウンタ内のカウントのCurrent No teがオンである時間に対する比率を計算する。この比率が５０％を越える場合、サブルーチンはブロック３３２に進み、基本周波数を補正する。例えば、６回の読み取りで基本周波数が４４０へルツであったことが示され、そして次に基本周波数が８８０Ｈｚであると判定された場合、オクターブ・アップ・カウンタの音「オン」カウンタに対する比率は５０％を越えておらず、８８０へルツの読み取り値を２で割る。ブロック３３２の後、サブルーチンはリターン・ブロック３２６に進む。判断ブロック３３５に対する答えが「肯定」である場合、基本周波数は正しい基本周波数であり、Current Noteに値を割り当てる時に初期エラーが生じたものと見なす。従って、サブルーチン３００はリターン・ブロック３２６に進む。リターンの際、Current Noteを更新し、新しい高いオクターブを反映させる。判断ブロック３３４に対する答えが「肯定」である場合、サブルーチン３００はブロック３３６に進み、前記オクターブ・エラー・サブルーチンの結果を読み取る。このオクターブ・エラー・サブルーチンの結果を、判断ブロック２２８で試験する。オクターブ・エラーがなければ（即ち、入力音声信号のオクターブの初期予測が正しかった）、その時決定した基本周波数は、入力音声信号の実際の基本周波数よりも１オクターブ低い。従って、ブロック３３２でこの周波数に２を乗算する。オクターブ・エラーがある場合、その時決定した基本周波数が正しい周波数であると仮定し、サブルーチンはリターン・ブロック３２６に進み、音楽家が歌っていたオクターブの初期予測は正しくなかったことになる。従って、ブロック３２６に戻る前に、ブロック３３７で音「オン」カウンタ及びオクターブ・カウンタをクリアするので、新しい基本周波数がここで現在の音に割り当てられる。第５図は、オクターブ・エラー・サブルーチン４００（図２で参照した）の処理を示す詳細なフローチャートである。サブルーチン４００は開始ブロック４１０にて開始し、ブロック４１２に進んで、Ｌサンプリング期間について入力音声信号の０次遅れ自己相関（Ｒ_x（０））を計算する。好適実施例では、Ｌは２５６に等しく設定されている。０次遅れ自己相関は、式１に与えられる数式を用いて決定される。ここでｘ（ｎ）はＲＡＭ４４（図１に示す）内に記憶されている入力音声信号である。ブロック４１２の後、サブルーチン４００はブロック４１４に進み、式２に従ってｐ／２次遅れ自己相関（Ｒ_x（Ｐ／２）を計算する。ここでＰは入力音声信号の基本周波数の周期である。０次遅れ自己相関のＰ／２次遅れ自己相関に対する比率が判断ブロック４１６で判断され、0.10を越える場合、サブルーチン４００は判断ブロック４１８に進み、基本周波数が許容範囲の半分であるか、即ち予想よりも１オクターブ低いかについて判断する。判断ブロック４１８に対する答えが肯定である場合、サブルーチン４００はブロック４２０に進み、オクターブ・エラーを宣告する。判断ブロック４１６又は４１８の何れかに対する答えが否定である場合、サブルーチン４００は直接リターン・ブロック４２２に進む。実際、サブルーチン４００は入力音声信号の基本周波数強度を偶数の高調波(even harmonics)の強度と比較する。オクターブ・エラーは典型的に、基本周波数と比較して、偶数の高調波の大きな値によって示されるので、比率による決定(ratiometric determination)が可能であり、基本周波数の初期予測を補正して、入力音声信号の実際の基本周波数を反映させる。第６図は、本発明方法がどのような処理で和音信号を発生するかを示す図である。入力音声信号５００は、周期τ_fを有するものとして示されている。好ましくは基本周波数の周期τ_fの２倍に等しい期間を有するウインドウ５０２を入力音声信号に乗算することによって、当該信号の一部を抽出する。好適実施例では、前記ウインドウはハニング・ウインドウの近似であるような形状としており、最終的な多音声信号の高周波ノイズを低減するために設けられている。しかしながら、多くの円滑に変化する関数を用いることもできる。入力音声信号５００をウインドウ５０２で乗算した結果は、調整入力音声信号５０４として示される。これからわかるように、調整入力音声信号は、ウインドウ５０２の釣り鐘型部分以外では、どこでも実質的にゼロである。従って、入力音声信号５００から抽出されたのは、周期τ_f の２倍の期間である。前記調整入力音声信号５０４を入力信号５００の基本周波数の２倍の速度で複製し、入力信号５００より１オクターブ高い和音信号を形成することによって、和音信号５０６が生成される。入力音声信号５００よりも１オクターブ低い和音信号を形成するためには、前記調整入力音声信号５０４を、入力信号の基本周波数の半分の速度で複製する。従って、調整入力信号５０４を複製する速度を調整することによって、先に論じたように、入力音声信号５００のスペクトル包絡線の形状を変えることなく、いかなる和音(harmony note)でも生成することができる。第６図に示したハニング・ウインドウ５０２は、単純なマイクロプロセッサを用いてリアルタイムで計算するのが、計算上難しいので、本発明は区分線形近似 (peicewise linearapproximation)を用いてハニング・ウインドウを近似する。第７図は、ウインドウ関数５２０の近似をいかにして計算するかを示したものである。例示のために、入力音声信号の基本周波数の周期τ_fを６３と仮定する。この数は、先に述べた第２図に示されるブロック１１２から得られたものである。区分線形近似は、各々異なる傾斜と異なる期間とを有する２本の線５２２及び５２４を用いて発生される。線５２２は、２つの部分５２２ａ及び５２２ｂに分割され、第２の線５２４がそれらの間に配置される。線５２２の傾斜をSlope₁と表記し、線５２４の傾斜をSlope₂と表記する。これら傾斜及び期間の計算は、式３−６によって与えられる。 Slope₁=Int(Peak/τ_f) (３) Slope₂=Slope₁＋１ (４) Slope₂の期間＝Peak−（τ_f・slope₁） (５) Slope₁の期間＝τ_f−slope₁の期間 (６) 変数Peakは予め定義された変数であり、好適実施例では１２８に等しい。これらの式を区分線形近似５２０（第７図に示す）に適用することにより、線５２２に対して２の傾斜、及び線５２４に対して３の傾斜が得られる。部分５２２ａの期間は４０、部分５２２ｂの期間は３１、そして線５２４の期間は２である。奇数の期間はいずれも常に線５２２ｂに加算される。区分線形近似５２０の後半は、同一期間と負の傾斜とを有する左半分の鏡像を形成することによって行われる。整数値を有する傾斜のみを用いることによって、波形の一部を抽出するのに必要な乗算処理が単純になるので、本方法は実質的にリアルタイムで安価なマイクロプロセッサを用いて処理することができる。更に、非整数の傾斜値を用いると、望ましくない高周波変調が多音声信号に混入することになる。第９図は、信号処理ブロック（第１図に示す）のブロック図を示す。信号処理ブロック５０は、入力音声信号と複数の和音信号とから成る多音声出力信号を発生する。左ピッチ・シフタ５５０及び右ピッチ・シフタ６００が、先に決定した和音信号の各々の周波数に等しい複数の速度で、前記調整入力音声信号を複製する。左ピッチ・シフタ５５０は、それぞれリード５５２及び５５４上の第１及び第２和音信号の周期を受け取る。更に左ピッチ・シフタ５５０に印加されるのは、リード５５６上のハニング・ウインドウの区分線形近似の記述である。同様に、右ピッチ・シフタ６００は、それぞれリード６０６及び６０８上の第３及び第４和音信号の周期、及びリード６１０上のハニング・ウインドウの記述である。基本周波数の周期τ_fが、リード６１２から基本タイマ６０２に印加される。基本タイマ６０２には、適切な数をロードすることによって、所定間隔で時間を設定する。基本タイマ６０２に入力音声信号の基本周波数の周期 τ_fをロードすることにより、基本タイマ６０２は、入力信号の基本周波数と同じ期間を有する間隔を計時(time)する。基本タイマがその間隔を計時する毎に、開始ポインタ６０４がＲＡＭ４４内のアドレスにロードされ、ここから入力音声信号の当該部分が読み出される。上述のように、ＲＡＭ４４は循環アレイとして構成されており、その中に入力音声データが記憶される。書き込みポインタ４５が常に更新され、入力音声データを記憶できるメモリ内の、次に使用可能な場所を指示する。本方法は、ピッチ検出サブルーチン１１２（第２図に示す）が入力信号の基本周波数の決定を完了するのに２０ミリ秒かかることを想定している。従って、読み出すべき入力音声信号部分の先頭は、書き込みポインタ４５のアドレスから２０ミリ秒内にサンプリングされたデータ量を減算することによって決定することができる。このように、基本タイマ６０２及び開始ポインタ６０４は一緒に動作し、抽出する入力音声信号部分のＲＡＭ４４内のアドレスを決定する。左ピッチ・シフタ５５０及び右ピッチ・シフタ６００は、ＲＡＭ４４内に記憶されている入力音声データをウインドウ関数と乗算する。各ピッチ・シフタ５５０、６００は、リード６１４上のサンプリングされた入力音声データを受け取り、結果をそれぞれリード６１６及び６１８に出力する。一対のスイッチ６２０、６２２が信号処理ブロック５０の出力を一対のリード５６ａ及び５６ｂに接続する。スイッチ６２０及び６２２は、マイクロプロセッサからリード６２４上を転送されるバイパス信号によって制御される。音が検出されない場合（歯擦、低レベル等のため）、リード５６ａ及び５６ｂは、直接リード６１４からサンプリングされた入力音声データを受け、ピッチ・シフタ５５０及び６００を迂回する。上述のように、多音声信号が自然に聞こえるようにするには、歯擦音の周波数をシフトすべきではない。第９図は、第８図に示した左ピッチ・シフタ５５０の詳細なブロック図を示す。上述のように、ピッチ・シフタ５５０は、サンプリングされた入力音声データの一部をウインドウ関数と複数の速度で乗算し、和音信号を生成する。左ピッチ・シフタ５５０内に含まれているのは、２つのタイマ５５８及び５６２であり、これらにはそれぞれ第１及び第２和音信号の周期がロードされる。タイマ５５８及び５６２は、前記第１及び第２和音信号の周期に等しい間隔を計時する。タイマ５５８が第１和音信号の周期τ_h1に等しい間隔を計時すると、リード５６２を通じてフェーダ割り当てブロック５６６に信号を送る。同様に、タイマ５６２が第２和音信号の周期τ_h2に等しい間隔を計時すると、リード５６２を通じてフェーダ割り当てブロック５６６に信号を送る。フェーダ割り当てブロック５６６は、４つのフェーダ５６８、５７０、５７２及び５７４の１つを起動し、サンプリングされた入力音声信号とウインドウ関数を乗算することにより、多音声信号の一部を発生し始める。フェーダ割り当てブロック５６６は、前記フェーダに、１組のリード５６６ａ、５６６ｂ、５６６ｃ、及び５６６ｄによって結合されている。フェーダ５６８ａ、５７０ａ、５７２ａ、及び５７４ａの各々に含まれているのは、読み出しポインタとウインドウ・ポインタ５６８ｂ、５７０ｂ、５７２ｂ、及び５７４ｂである。フェーダが要求される毎に、現在の開始ポインタ６０４が起動されたフェーダの読み出しポインタにロードされ、入力音声データを読み出すべきＲＡＭ４４内のアドレスを指示する。また、フェーダ５６８、５７０、５７２、及び５７４の各々の中に含まれているのは、入力音声データと乗算すべきウインドウ関数の区分線形近似部分を追跡するためのウインドウ・ポインタである。左ピッチ・シフタ５５０も、ウインドウの区分線形近似の数学的記述を含む、ウインドウ・テーブル５７８を含む。ウインドウ・テーブル５７８は、前記フェーダの各々にリード５８０を介して接続されている。ピッチ・シフタ内に含まれている各フェーダは、同様に動作する。従って、フェーダ５６８についての以下の説明は、他のフェーダにも同等に適用されるものである。第１和音信号が入力音声信号より１オクターブ下となるように選択された場合、周期τ_h1は周期τ_fの２倍に等しくなる。タイマ５５８が値τ_h1に到達すると、フェーダ割り当てブロック５６６は使用可能なフェーダを選択し、サンプリングされた入力音声信号とウインドウ関数との乗算を開始する。フェーダ５６８が使用可能と仮定すると、フェーダ５６８に含まれている読み出しポインタは、データが読み出されるＲＡＭ４４内のアドレスと等しくなるように更新される。次に、フェーダ５６８は、リード６１４から受け取られたサンプリングされた入力音声データとリード５８０から得られたウインドウ関数との乗算を、乗算ブロック５６９において開始する。この乗算結果はリード５７６ａを通じて加算器５８２に出力され、ここでこの結果が他のフェーダの出力と組み合わせられ、左ピッチ・シフタの出力に等しい信号をリード６１６に供給する。ウインドウ関数は、入力音声信号の基本周波数の２倍に等しい期間を有するように選択されるので、入力音声信号の周波数に等しい周波数を有する信号を生成するには、２つのフェーダが必要である。入力音声信号よりも１オクターブ低い和音信号を生成するには１つのフェーダのみがあればよいが、入力信号のそれの２倍の周波数を有する和音信号を生成するには、４つのフェーダが必要である。必要なフェーダの数を減らすために、入力信号の２周期未満の期間を有するように、ウインドウ関数を変更することができる。しかしながら、かかるウインドウ期間の短縮は、これに対応して音質が低下する結果となる。ハニング・ウインドウにある信号を乗算してその信号の和音を形成する処理は、先に引用したレントの論文に詳しく記載されており、当技術において公知である。第１０図は、歯擦音を検出するためにサブルーチン１１２によって用いられた一連の予め定められたしきい値を交差する入力音声信号５００のグラフを示す。上述のように、歯擦音は、大振幅、高周波数変動によって検出される。アメリカ合衆国特許第4,688,464号に記載されているピッチ検出方法は、本発明では変更されている。正ピーク値の５０パーセントと負ピーク値の５０パーセントの２つのしきい値が決定される。前記従来方法は、入力音声信号が、高しきい値即ちピーク値の５０パーセントのしきい値を交差し、そして前記高しきい値を再び交差するという、連続動作を完了する毎に記録が行われるような変更も行われる。第１０図において、この連続動作は点Ａ及びＣで完了することが示されている。同様に、この方法は、入力信号が、低しきい値即ち負ピーク値の５０パーセントのしきい値を交差し、そして前記低しきい値を再び交差するという連続動作を完了する毎に記録を行う。この連続動作の完了は、点Ｂ及びＤとして示されている。これらの動作が８ミリ秒未満の内に１６回以上１６０回まで生じた場合、前記方法は、歯擦音が検出されたものとし、ピッチ・シフタの各々への迂回線をイネーブルすることによって、上述のように、ピッチ・シフタを迂回する。好適実施例では、歯擦音を知らせるのに必要な前記連続動作の回数は、音楽家によって調整可能とすべきである。本発明をその好適実施例に関して開示したが、該好適実施例に対する変更が、この発明の範囲における精神から離れることなく、形状及び内容において可能であることを、当業者は認めよう。それ故、範囲は、続く請求の範囲によってのみ限定されるものである

【手続補正書】特許法第１８４条の７第１項【提出日】１９９３年３月２５日【補正内容】１９９３年３月２５日付け補正の請求の範囲請求の範囲２１．音符(vocal note)を表わす入力音声信号を分析し、前記入力音声信号と組み合わせる複数の和音信号を生成し、多音声信号を発生する装置であって、前記入力信号をサンプリングするアナログ／デジタル変換器と、前記アナログ／デジタル変換器に結合され、サンプリングされた入力信号を記憶するデジタル・メモリと、前記デジタル・メモリに結合され、前記記憶された入力信号を分析して、前記入力信号の基本周波数を決定する計算手段と、前記入力信号の基本周波数に応答して、前記音符に対して予め定められた音楽的関係を有する１つ以上の和音信号を発生する手段と、前記１つ以上の和音信号を前記入力信号と組み合わせ、多音声出力を生成する混合器と、から成る装置。２２．前記１つ以上の和音信号を発生する手段が、前記入力信号の基本周波数に応答して、１つ以上の基本和音周波数を選択する手段であって、前記１つ以上の基本和音信号は、前記音符に対して音楽的関係を持つ１つ以上の和音を規定する手段と、前記記憶された入力信号の一部を抽出する手段と、前記１つ以上の和音の各々の基本和音周波数の関数である複数の速度で、前記抽出部分を複製する手段と、から成る請求項２１記載の装置。２３．前記記憶された入力信号の一部を抽出する手段が、前記記憶された入力信号を、ウインドウ関数で調整する請求項２２記載の装置。２４．前記記憶された入力信号の一部を抽出する手段が、前記入力信号の基本周波数の周期よりも長い期間を有するハニング・ウインドウの区分線形近似を計算する手段と、前記記憶された入力信号を、前記ハニング・ウインドウの区分線形近似で調整する手段と、から成る請求項２２記載の装置。２５．音符を表す入力信号を分析し、前記音符に和音的に関連する１つ以上の和音信号を生成する装置であって、前記入力信号をサンプリングするアナログ／デジタル変換器と、前記アナログ／デジタル変換器に結合され、前記サンプリングされた入力信号を記憶するデジタル・メモリと、前記デジタル・メモリに結合され、前記記憶された入力信号を分析して、該入力信号の基本周波数を決定し、前記入力信号の基本周波数に応答して生成される１つ以上の和音信号を選択し、前記選択された１つ以上の和音信号の基本周波数を決定するマィクロプロセッサと、前記マイクロプロセッサに結合され、前記記憶された入力信号の一部を抽出し、前記選択された１つ以上の和音信号の基本周波数の関数である速度で前記記憶された入力信号の抽出部分を複製し、前記複製部分を加算して、前記１つ以上の和音信号に実質的に不連続がなくなるようにすることによって、前記１つ以上の和音信号を生成する、１つ以上のピッチ・シフタと、から成る装置。２６．前記記憶された入力信号の一部を抽出し、該抽出された部分を複製する１つ以上のピッチ・シフタが、前記１つ以上の和音信号の基本周波数に関連する周期的間隔で、前記記憶された入力信号をウインドウ関数で調整する、１つ以上のフェーダを含む請求項２５記載の装置。２７．前記ウインドウ関数は、ハニング・ウインドウの区分線形近似である請求項２６記載の装置。２８．前記１つ以上のピッチ・シフタが、前記記憶された入力信号をウインドウ関数で調整することによって、前記記憶された入力信号の一部を抽出する１つ以上のフェーダと、前記１つ以上の和音信号の基本周波数の関数である時間間隔で前記１つ以上のフェーダに、前記記憶された入力信号を前記ウインドウ関数による調整を開始させる１つ以上のタイマと、から成る請求項２５記載の装置。２９．前記入力信号を前記１つ以上の和音信号と組み合わせて、多音声信号を生成する混合器を更に含む請求項２５記載の装置。３０．入力音声信号を分析し、該入力音声信号に対して予め定められた音楽的関係を有する１つ以上の和音信号を発生する方法であって、前記入力音声信号をサンプリングし、前記入力音声信号を表すデジタル表現を形成するステップと、前記入力音声信号のデジタル表現を分析し、前記入力音声信号の基本周波数を判定するステップと、前記入力音声信号の基本周波数に基づいて、１つ以上の和音信号を規定する１つ以上の基本周波数を選択するステップと、前記入力音声信号のデジタル表現の一部を抽出するステップと、前記１つ以上の和音信号を規定する基本周波数の関数である１つ以上の速度で、前記入力音声信号のデジタル表現の抽出部分を複製するステップと、から成る方法。３１．入力音声信号と共に用いる１つ以上の和音信号を生成し、多音声出力を生成する方法であって、前記入力音声信号を分析し、該入力信号の基本周波数を決定するステップと、前記入力音声信号の基本周波数に基づいて、前記入力音声信号に音楽的に関連する１つ以上の和音信号を生成するステップと、前記１つ以上の和音信号と前記入力音声信号とを用いて前記多音声信号を生成するステップと、から成る方法。３２．前記１つ以上の和音信号を生成するステップが、前記音声信号をサンプリングするステップと、前記入力音声入力を記憶するステップと、前記１つ以上の和音信号の各々の基本周波数の関数である速度で、前記記憶された入力音声信号の一部を複製するステップと、から成る請求項３１記載の方法。【手続補正書】特許法第１８４条の８【提出日】１９９４年６月６日【補正内容】請求の範囲排他的所有権または特権を主張する本発明の実施例は、次のように規定されるものとする。１．デジタル的にサンプリングされた信号のピッチのシフトを、当該信号の一部を抽出し、該抽出部分を所定の速度で複製することによって行うシステムにおいて、入力音声信号を分析し、該入力音声信号に対して所定の音楽的関連を有する１つ以上の和音信号を発生する方法であって、前記入力音声信号をサンプリングして、該入力音声信号のデジタル表現を作成するステップと、前記入力音声信号のデジタル表現を繰り返し分析することによって、前記入力音声信号の基本周波数の現在の予測値を決定するステップと、前記基本周波数の以前の予測値から得られた１組のパラメータに基づいて前記現在の予測値を試験し、該現在の予測値が前記基本周波数の正しい予測値であるかについて判断するステップと、前記入力音声信号の基本周波数の現在の予測値に基づいて、１つ以上の和音信号を規定する１つ以上の和音周波数(harmony frequency) を選択するステップと、前記入力音声信号のデジタル表現の一部を抽出するステップと、前記入力音声のデジタル表現の抽出部分を、前記１つ以上の和音信号を規定する和音周波数(harmony frequency)の関数である、１つ以上の速度で複製するステップと、から成る改良方法。２．前記基本周波数の現在の予測値を試験するステップが、更に、前記基本周波数の現在の予測値が、前記以前の予測値に関連する周波数範囲内にあるかについて判断するステップを含む請求項１記載の方法。３．前記現在の予測値の整数倍または分数が前記周波数範囲内にあるかについて判断し、そうであれば、前記現在の予測値を前記周波数範囲内に入るように調節するステップを更に含む請求項２記載の方法。４．前記現在の予測値が前記入力音声信号の基本周波数の正しい予測値である場合、前記基本周波数の現在の予測に対応する基準音を割り当てるステップを更に含む請求項１記載の方法。５．前記入力音声信号は複数のオクターブにわたる範囲に及び得るものであり、前記現在の予測に対応する前記基準音を割り当てるステップが、更に、前記入力音声信号のオクターブの予測値を繰り返し作成するステップと、前記入力信号のオクターブの予測値が正しくないかについて判断するステップと、前記予測値が正しくない場合、前記オクターブの予測値を更新するステップと、を含む請求項４記載の方法。６．前記オクターブの初期予測値が正しくないかについて判断するステップが、更に、前記基準音が割り当てられた時間長を判定するステップと、前記入力音声信号のオクターブの予測値が、前記オクターブの初期予測値よりも１オクターブ上または１オクターブ下に変化する回数をカウントするステップと、前記入力音声信号のオクターブの予測値が前記オクターブの初期予測値よりも１オクターブ上に変化する回数と前記基準音が割り当てられた時間との関数である第１変数を決定するステップと、前記入力音声信号のオクターブの予測値が、前記オクターブの初期予測値よりも１オクターブ下に変化する回数と前記基準音が割り当てられた時間との関数である第２変数を決定するステップと、から成る請求項５記載の方法。７．前記入力信号のオクターブの初期予測値を更新し、前記第１変数が第１所定限度を越える場合、前記オクターブの初期予測値よりも１オクターブ上に等しくそれを設定するステップ、または前記入力信号のオクターブの初期予測値を更新し、前記第２変数が第２所定限度を越える場合、前記オクターブの初期予測値よりも１オクターブ下に等しくそれを設定するステップ、を更に含む請求項６記載の方法。８．前記オクターブの予測値が正しくないかについて判断するステップが、更に、前記入力音声信号の０次遅れ自己相関を計算するステップと、前記入力音声信号のＰ／２次遅れ自己相関を計算するステップと、前記入力音声信号の０次およびＰ／２次遅れ自己相関の比率を計算するステップと、前記比率が予め規定された限度を越える場合、前記入力音声信号のオクターブの予測値を、前記初期予測値より１オクターブ低いものに等しくなるように更新するステップと、を含む請求項５記載の方法。９．前記入力音声信号のデジタル表現の一部を抽出するステップが、前記入力音声信号をウインドウ関数で調整し、前記入力音声信号のデジタル表現の一部を抽出するステップを含む請求項１記載の方法。１０．前記入力音声信号をウインドウ関数で調整するステップが、更に、前記基本周波数の現在の予測値の周期よりも実質的に大きい期間を有するハニング・ウインドウの区分線形近似を発生するステップを含む請求項８記載の方法。１１．前記入力音声信号が歯擦音を表わすかについて判断し、前記入力音声信号が歯擦音を表わすのではない場合にのみ、１つ以上の和音信号を発生するステップを更に含む請求項１記載の方法。１２．前記基本周波数の以前の予測値から得られる１組のパラメータが、前記基準音が割り当てられた時間長と、以前の音が終了した時間と前記基準信号が割り当てられた時間との間の時間長と、前記基本周波数の以前の予測値に関連する周波数範囲と、前記入力音声信号のレベルと、から成る請求項６記載の方法。１３．デジタル的にサンプリングされた信号のピッチのシフトを、当該信号の一部を抽出し、該抽出部分を所定の速度で複製することによって行うシステムにおいて、音符を表わす入力音声信号（２０）を分析し、前記入力音声信号と組み合わせる複数の和音信号（２２）を生成し、多音声信号を発生する装置（１０）であって、前記入力音声信号をサンプリングし、サンプリングされた入力音声信号をデジタル・メモリ（４４）に記憶する信号処理手段（５０）と、前記入力音声信号の基本周波数の現在の予測値を決定する周波数検出器（４０）と、前記入力音声信号の基本周波数に基づいて、前記複数の和音信号の基本周波数を判定する手段（４０）と、前記複数の和音信号の基本周波数に実質的に等しい周波数を有するトリガ信号を生成する複数のタイミング手段（５５８）と、前記複数の和音信号の基本周波数に実質的に等しい周波数を有するトリガ信号を生成する複数のフェーダ（５６８）と、前記トリガ信号に応答して、前記入力音声信号の一部を抽出すると共に、前記複数の和音信号の基本周波数に実質的に等しい速度で前記抽出部分を複製する、複数のフェーダ手段（５６８）と、前記入力音声信号の抽出部分と前記入力音声信号とを受信するように接続され、それらを組み合わせて前記多音声信号を生成する混合器（６４）と、から成る改良装置。１４．前記入力音声信号の基本周波数の以前の予測値から得られる１組のパラメータに基づいて、前記基本周波数の現在の予測値を試験し、該現在の予測値が前記入力音声信号の基本周波数の正しい予測値であるかについて判断する手段（４０）を更に含む請求項１３記載の装置。１５．前記サンプリングされた入力音声信号の一部を抽出する前記フェーダ手段（５６８）が、前記サンプリングされた入力音声信号をウインドウ関数で調整する請求項１３記載の装置。１６．前記入力音声信号の基本周波数の現在の予測値の周期よりも長い期間を有するハニング・ウインドウの区分線形近似を発生する手段（４０）を更に含む請求項１５記載の装置。１７．前記入力音声信号が歯擦音を表わすかについて判断する歯擦検出手段（４０）を更に含むことを特徴とする請求項１３記載の装置。１８．前記歯擦検出手段に応答して、前記混合手段（６４）を前記複数の和音信号の受信から切断し、前記入力音声信号が歯擦音を表わす時、前記多音声信号が前記和音信号を含まないようにする迂回スイッチ（６２０）を更に含む請求項１７記載の装置。１９．前記入力音声信号は複数のオクターブにわたる範囲に及び得るものであり、前記計算手段（４０）が、更に、前記入力音声のオクターブの初期予測値を形成し、前記初期予測値が正しくないかについて判断し、該初期予測値が正しくない場合、前記オクターブの初期予測を更新する請求項１３記載の装置。２０．前記計算手段（４０）は前記入力音声信号の０次遅れ自己相関と前記入力音声信号のＰ／２次遅れ自己相関とを計算し、前記０次遅れ自己相関を前記Ｐ／２次遅れ自己相関で除算した比率が、予め定められた限度を越える場合、前記オクターブの初期予測を、前記初期予測より１オクターブ低いものに等しくなるように更新する請求項１９記載の装置。２１．前記入力音声信号の基本周波数の変動に拘わらず、前記和音信号の選択を維持し、前記入力音声信号の基本周波数が所定間隔以上で変化するまで、前記和音信号が変化しないようにする手段（４０）を更に含む請求項１３記載の装置。

Claims

【特許請求の範囲】排他的所有権又は特権を主張する本発明の実施例は、次のように規定されるものとする。１．音符（musical note）を表わす入力音声信号を分析し、前記入力音声信号と組み合わせる複数の和音信号を生成し、多音声信号を生成する方法であって、前記入力音声信号の基本周波数の現在の予測値を繰り返し決定し、前記基本周波数の以前の予測値から得られる１組のパラメータを基に、前記現在の予測値を試験し、該現在の予測値は前記基本周波数の正しい予測値であるかについて判断し、前記現在の予測値が正しい予測値であれば、前記現在の予測値に対応する基準音（reference note）を割り当て、前記基準音に基づいて複数の和音を選択し、前記複数の和音に対応する複数の和音信号を発生し、前記複数の和音信号を前記入力音声信号と組み合わせて、前記多音声信号を生成することから成る音符を表わす入力音声信号を分析する方法。２．前記現在の予測値を試験するステップは、更に、前記基本周波数の現在の予測値が、以前の予測値に関連する許容周波数範囲内にあるかについて判断するステップを含む請求項１記載の方法。３．前記現在の予測値の正数倍又は分数が、前記許容周波数範囲内にあるかについて判定し、そうであれば、前記現在の予測値を調整し、前記許容周波数範囲内に入るようにするステップを含む請求項２記載の方法。４．前記入力音声信号が、複数のオクターブの範囲にわたり、前記現在の予測値に対応する基準音を割り当てるステップが、更に、前記入力音声信号のオクターブの初期予測値を形成するステップと、前記入力音声信号のオクターブの初期予測値は正しくないかについて判断するステップと、前記初期予測値が正しくない場合、前記オクターブの初期予測値を更新するステップと、を含む請求項１記載の方法。５．前記オクターブの初期予測値が正しくないかについて判断するステップが、更に、前記基準音が割り当てられた時間長を判定するステップと、前記入力音声信号のオクターブの現在の予測値が、前記オクターブの初期予測値よりも１オクターブ上又は１オクターブ下に変動した回数をカウントするステップと、前記入力音声信号のオクターブの現在の予測値が前記オクターブの初期予測値よりも１オクターブ上に変動した回数と、前記基準音が割り当てられた時間との関数である、第１変数を決定するステップと、前記入力音声信号のオクターブの現在の予測値が前記オクターブの初期予測値よりも１オクターブ下に変動した回数と、前記基準音が割り当てられた時間との関数である、第２変数を決定するステップと、を含む請求項４記載の方法。６．前記入力音声信号のオクターブの初期予測値を更新し、前記第１変数が第１の予め定められた限度を越えた場合、前記オクターブの初期予測値よりも１オクターブ上にそれを設定するステップ、又は前記入力音声信号のオクターブの初期予測値を更新し、前記第２変数が第２の予め定められた限度を越えた場合、前記オクターブの初期予測値よりも１オクターブ下にそれを設定するステップ、を含む請求項５記載の方法。７．前記複数の和音信号を発生するステップが、前記和音の各々の基本周波数を判定するステップと、前記入力音声信号をウインドウ関数によって調整し、前記入力音声信号の一部を抽出するステップと、前記入力音声信号の抽出部分を、前記和音の各々の基本周波数の関数として、複数の速度で複製するステップと、を含む請求項１記載の方法。８．前記入力音声信号をウインドウ関数によって調整するステップが、更に、前記基本周波数の現在の予測値の周期よりも実質的に長い期間を有するハニング・ウインドウの区分線形近似を発生するステップを含む請求項７記載の方法。９．前記オクターブの初期予測値が正しくないかについて判断するステップは、更に、前記入力音声信号の０次遅れ自己相関を計算するステップと、前記入力音声信号のＰ／２次遅れ自己相関を計算するステップと、前記入力信号の０次及びＰ／２次遅れ自己相関の比率を計算するステップと、前記比率が予め定められた限度を越えた場合、前記入力信号のオクターブの初期予測を更新し、前記オクターブの初期予測値よりも１オクターブ下に設定するステップと、を含む請求項５記載の方法。１０．前記入力音声信号が歯擦音を表わすかについて判断し、前記入力音声信号が歯擦音を表わすのではない場合にのみ、１つ以上の和音信号を発生するステップを実行するステップを含む請求項１記載の方法。１１．前記基本周波数の以前の予測値から得られる１組のパラメータは、前記基準音が割り当てられた時間長と、以前の音が終了する時間と前記基準信号が割り当てらる時間との間の時間長と、前記基本周波数の以前の予測値に関連する許容周波数範囲と、前記入力音声信号のレベルと、から成る請求項５記載の方法。１２．音符を表わす入力音声信号を分析し、前記入力音声信号と組み合わせる複数の和音信号を生成し、多音声信号を発生する装置であって、前記入力音声信号をサンプリングし、サンプリングされた入力音声信号をデジタル・メモリに記憶する信号処理手段と、前記入力音声信号の基本周波数の現在の予測値を決定する周波数検出器と、前記入力音声信号の基本周波数の以前の予測値から得られる１組のパラメータに基づいて、現在の予測値を試験し、該現在の予測値が前記基本周波数の正しい予測値であるかについて判断する計算手段であって、前記現在の予測値が正しい予測値である場合、前記現在の予測値に対応する基準音を割り当てる前記計算手段と、前記基準音に基づいて複数の和音を決定する手段と、前記複数の和音に対応する複数の和音信号を発生する手段と、前記複数の和音信号と前記入力音声信号とを受信するように接続され、それらを組み合わせて前記多音声信号を生成する混合器と、から成る装置。１３．前記サンプリングされた入力音声信号の一部を抽出する手段と、前記複数の和音の基本周波数の関数として、複数の速度で、前記抽出部分を複製する手段と、を更に含む請求項１２記載の装置。１４．前記サンプリングされた入力音声信号の一部を抽出する手段が、前記サンプリングされた入力音声信号をウインドウ関数で調整する請求項１３記載の装置。１５．前記サンプリングされた入力音声信号の一部を抽出する手段が、更に、前記基本周波数の現在の予測値の周期よりも大きい期間を有するハニング・ウインドウの区分線形近似を発生する手段を含む請求項１４記載の装置。１６．前記入力音声信号が歯擦音を表わすかについて判断する歯擦検出手段を含む請求項１１記載の装置。１７．前記混合器を前記複数の和音信号の受信から切断し、前記多音声信号が前記和音信号を含まないようにする迂回スイッチを含み、該迂回スイッチは、前記歯擦検出手段に応答する請求項１６記載の装置。１８．前記入力音声信号は複数のオクターブにわたる範囲に及ぶことができ、前記計算手段は、前記入力音声信号のオクターブの初期予測値を計算し、該初期予測値が正しくないかかについて判断し、前記初期予測値が正しくない場合、前記オクターブの初期予測値を更新する請求項１記載の装置。１９．前記計算手段は、前記入力音声信号の０次遅れ自己相関と、前記入力音声信号のＰ／２次遅れ自己相関とを計算し、前記０次を前記Ｐ／２次遅れ自己相関で割った比率が予め定められた限度を越える場合、前記オクターブの初期予測を更新して、該初期予測値より１オクターブ低いものに等しくする請求項１８記載の装置。２０．前記基準音の変動に拘わらず和音の選択を維持し、前記基準音が予め定められた間隔以上に変化するまで、該和音が変化しないようにする手段を含む請求項１１記載の装置。