JP2007201818A - オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム - Google Patents

Abstract

【課題】本発明は、音源のオリジナルの音質を変えることなく音像を制御してユーザ所望の音場空間を提供できるようにする。
【解決手段】本発明は、少なくとも２チャンネル以上のオーディオ信号ＬＳ１及びＲＳ１をそれぞれ複数の周波数帯域に分割し、分割された複数の周波数帯域ごとのサブバンド信号ＳＢＲ及びサブバンド信号ＳＢＥにおける位相差やレベル比をそれぞれ算出し、そのレベル比又は位相差に基づいて複数周波数帯域ごとの音像定位を推定し、レベル比又は位相差をゲイン調整することにより当該推定した複数周波数帯域ごとの音像を制御することにより、音源のオリジナルの音質を変えることなくユーザの嗜好に合わせた音場空間を生成することができる。
【選択図】図２

Description

本発明は、オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムに関し、例えば室内等の音場空間で、聴取者が所定の角度に定位していると感じる音像定位の定位位置を任意に変更して音像全体の拡がりを制御する場合に適用して好適なものである。

従来、ＣＤ(Compact Disc)やＤＶＤ(Digital Versatile Disc)等に収録されているコンテンツや、ＴＶ(Television)放送番組等のコンテンツにおけるオーディオ信号には、様々な種類の音源が含まれている。例えば、音楽のコンテンツであれば、歌声や楽器の音等といった音源が含まれている。またＴＶ放送番組のコンテンツであれば、出演者の声や効果音、笑い声、拍手等といった音源が含まれている。

これらの音源は、収録時には別々のマイクロフォンにより録音されることもあるが、その場合においてもオーディオ信号自体としては最終的に２チャンネル等の予め定められたチャンネル数に絞られることが多い。

このような２チャンネルのオーディオ信号に対して音場空間の拡がり感を増大させるバーチャルサラウンドの実現方法として、右チャンネルのオーディオ信号及び左チャンネルのオーディオ信号における波形的な差信号をサラウンドスピーカから出力する方法や、左耳に届くように演算処理されて発信された音が右耳にも届いてしまって仮想音源の方向が認識できなくなることを防止するため、それを打ち消すための音を発信するクロストークキャンセラ方式の音像音場制御装置が一般に知られている（例えば、特許文献１参照）。
特開平8-146974号公報

ところでかかる構成のクロストークキャンセラ方式の音像音場制御装置においては、スピーカの配置や、部屋の形状等の影響を大きく受けるため、リスナーの試聴位置等が変わると、バーチャルサラウンド効果が変化してしまうという問題があった。

また右チャンネルのオーディオ信号及び左チャンネルのオーディオ信号における波形的な差信号をサラウンドスピーカから出力する方法では、右チャンネルのオーディオ信号及び左チャンネルのオーディオ信号の差信号に対して遅延時間を持った多数の残響成分を加えることによりバーチャルサラウンド効果を得るようにしているため、オリジナルの音色とは異なる音色になったり、音像がぼやけてしまうという問題があった。

本発明は以上の点を考慮してなされたもので、音源のオリジナルの音質を変えることなく音像を制御してユーザ所望の音場空間を提供し得るオーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムを提案しようとするものである。

かかる課題を解決するため本発明のオーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムにおいては、少なくとも２チャンネル以上のオーディオ信号をそれぞれ複数の周波数帯域に分割し、分割された複数の周波数帯域ごとに２チャンネル以上のオーディオ信号における位相差やレベル比をそれぞれ算出し、レベル比又は位相差に基づいて複数周波数帯域ごとの音像定位を推定し、レベル比又は位相差を調整することにより当該推定した複数周波数帯域ごとの音像定位を制御するようにする。

これにより、複数周波数帯域ごとの各音像定位の定位位置を、推定結果よりも外側へ移動させて全体の音像を拡げたり、内側へ移動させて全体の音像を狭めたりすることができるので、ユーザの嗜好に合わせた音場空間を生成することができる。

本発明によれば、複数周波数帯域ごとの各音像定位の定位位置を、推定結果よりも外側へ移動させて全体の音像を拡げたり、内側へ移動させて全体の音像を狭めたりすることができるので、ユーザの嗜好に合わせた音場空間を生成することができ、かくして音源のオリジナルの音質を変えることなく音像を制御してユーザ所望の音場空間を提供し得るオーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムを実現することができる。

以下、図面について、本発明の一実施の形態を詳述する。

（１）本願発明の基本概念
本願発明では、少なくとも２チャンネルステレオ以上のオーディオ信号に含まれる種々の音源の音像をユーザの嗜好に合わせて任意に拡げたり、或いは狭めたりすることを可能とし、当該オーディオ信号におけるオリジナルの音質を変えることなく音像全体の拡がりを制御し、バーチャルサラウンド効果を高め得るようになされている。

ここで音像の定位とは、人間の感覚的なものであり、厳密な定義はされておらず数式などによって表すことは難しい。例えばＬｃｈ、Ｒｃｈのステレオオーディオ信号について、各ｃｈのオーディオ信号が完全に等しい場合、左スピーカ及び右スピーカの真中辺りに音源（音像）が存在するような印象を聴取者は受ける。また、Ｌｃｈのみにオーディオ信号が含まれている場合は、左スピーカ付近に音源（音像）が存在するような印象を聴取者は受ける。

本願明細書では、このように感覚的に知覚される音像の位置を「音像定位」と呼び、ある点（例えば聴取者の聴取位置）を基準としたときの音像定位の角度を「定位角度」と呼び、以下説明する。

音像を定位させる手法としては各種存在するが、聴取者の各耳に到達する音声信号の位相差（時間差）と、レベル比（音圧レベル比）とに基づいて音場空間における特定位置（特定方向）に音源を感じさせるようにするものがある。この手法では、音源からのオーディオ信号にフーリエ変換処理を施し、周波数軸上における各チャンネルのオーディオ信号に対して、周波数に依存したレベル比と位相差とを与えることにより、所定方向へ音像を定位させるようにしている。

このような手法の逆の発想として、本願発明では、Ｌｃｈ及びＲｃｈに対応した各チャンネルのオーディオ信号の位相差及びレベル比を、音源が定位している角度を表す情報として用いるようにしている。このため本願発明では、各チャンネルのオーディオ信号の位相差と、各チャンネルのオーディオ信号のレベル比とを解析することにより、音源の定位角度（定位位置）を推定し得るようになされている。

そして本願発明では、このようにして推定した音源の定位角度を、各チャンネルのオーディオ信号の位相差又はレベル比を調整することにより任意に動かし、推定したときの定位位置よりも外側へ音像を再マッピングしたり（以下、これをズームアップと呼ぶ）、又は内側へ音像を再マッピングする（以下、これをズームダウンと呼ぶ）ことにより、オリジナルの音質を変えることなく聴取者の嗜好に合わせた定位角度の音像定位を実現し、聴取者が所望する立体感のある音場空間を提供し得るようになされている。

（２）第１の実施の形態
（２−１）再生装置の構成
図１において、１は全体として第１の実施の形態における再生装置を示し、マイクロコンピュータ構成でなるシステムコントローラ５が所定のオーディオ信号処理プログラムに従って全体を統括制御することにより、メディア再生部２によって例えばＣＤやＤＶＤ、或いはブルーレイディスク(Blue-Ray Disc)等の光ディスク記録媒体や、ＭＤ(Mini Disc：ソニー株式会社の商標)、ハードディスク等の磁気ディスク、半導体メモリを内蔵した記録媒体等、種々の記録媒体を再生し、その結果得られるＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１をオーディオ信号処理部３へ送出する。

オーディオ信号処理部３は、メディア再生部２から供給されたＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１に対して、操作部６からシステムコントローラ５を介して供給されるズームアップ又はズームダウンのためのズーム変数信号Ｚ１に応じて音像定位を制御するための信号処理を施し、その結果得られるＬｃｈのオーディオデータＬＤ及びＲｃｈのオーディオデータＲＤをディジタルアナログ変換器４へ送出する。

ディジタルアナログ変換器４は、オーディオデータＬＤ及びＲＤに対してディジタルアナログ変換処理を施し、その結果得られるＬｃｈのオーディオ信号ＬＳ２及びＲｃｈのオーディオ信号ＲＳ２に応じた音声を左スピーカＳＰＬ及び右スピーカＳＰＲを介して出力するようになされている。

システムコントローラ５は、ＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)及びＲＡＭ(Random Access Memory)のマイクロコンピュータ構成でなり、所定のオーディオ信号処理プログラムに従って再生装置１全体を統括制御する。

このシステムコントローラ５は、操作部６の操作子を介して入力されたコマンド信号（例えば再生命令、停止命令、ズーム変数命令）に応じた各種処理をメディア再生部２又はオーディオ信号処理部３に対して実行させるようになされている。

（２−２）オーディオ信号処理部の回路構成
図２に示すようにオーディオ信号処理部３は、Ｌｃｈのオーディオ信号ＬＳ１を入力する分析フィルタバンク１１及びＲｃｈのオーディオ信号ＲＳ１を入力する分析フィルタバンク１２を有し、当該分析フィルタバンク１１及び１２によってオーディオ信号ＬＳ１及びＲＳ１を複数の等帯域又は非等帯域の周波数帯域成分に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、これらを成分解析器１３Ａ、１３Ｂ、……、１３ｎ及びゲイン器１４Ａ１、１４Ａ２、１４Ｂ１、１４Ｂ２、……、１４ｎ１、１４ｎ２へそれぞれ送出する。

なお、分析フィルタバンク１１及び１２がオーディオ信号ＬＳ１及びＲＳ１を複数の周波数帯域に分割する方法としては、ＤＦＴ(Discrete Fourier Transform)フィルタバンク、ウェーブレットフィルタバンク、ＱＭＦ(Quadrature Mirror Filter)等のフィルタバンクと呼ばれる種々の手法がある。

ここで、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１とは同じ周波数帯域であり、双方共に成分解析器１３Ａへ送出されると共に、サブバンド信号ＳＢＬ１がゲイン器１４Ａ１へ送出され、サブバンド信号ＳＢＲ１がゲイン器１４Ａ２へ送出される。

同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２についても同じ周波数帯域であり、双方共に成分解析器１３Ｂへ送出されると共に、サブバンド信号ＳＢＬ２がゲイン器１４Ｂ１へ送出され、サブバンド信号ＳＢＲ２がゲイン器１４Ｂ２へ送出される。

さらに、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎについても同じ周波数帯域であり、双方共に成分解析器１３ｎへ送出されると共に、サブバンド信号ＳＢＬｎがゲイン器１４ｎ１へ送出され、サブバンド信号ＳＢＲｎがゲイン器１４ｎ２へ送出される。

成分解析器１３Ａでは、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１との位相遅れの差（以下、これを位相差と呼ぶ）やレベル比を解析することにより、サブバンド信号ＳＢＬ１及びＳＢＲ１に対応した音像の定位角度を推定し、その定位角度とシステムコントローラ５から供給されるズーム変数信号Ｚ１とに応じてゲイン値Ｇ１及びＧ２を決定し、このゲイン値Ｇ１をゲイン器１４Ａ１へ送出すると共にゲイン値Ｇ２をゲイン器１４Ａ２へ送出する。

ゲイン器１４Ａ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ１を乗算することによりサブバンド信号ＳＢＬ１１を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ａ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ２を乗算することによりサブバンド信号ＳＢＲ１１を生成し、これを合成フィルタバンク１６へ送出する。

また成分解析器１３Ｂでも、成分解析器１３Ａと同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２との位相差やレベル比を解析することにより、サブバンド信号ＳＢＬ２及びＳＢＲ２に対応した音像の定位角度を推定し、その定位角度とシステムコントローラ５から供給されるズーム変数信号Ｚ１とに応じてゲイン値Ｇ３及びＧ４を決定し、このゲイン値Ｇ３をゲイン器１４Ｂ１へ送出すると共にゲイン値Ｇ４をゲイン器１４Ｂ２へ送出する。

ゲイン器１４Ｂ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ３を乗算することによりサブバンド信号ＳＢＬ２２を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ｂ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ４を乗算することによりサブバンド信号ＳＢＲ２２を生成し、これを合成フィルタバンク１６へ送出する。

さらに成分解析器１３ｎでも、成分解析器１３Ａ及び１３Ｂと同様に、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎとの位相差やレベル比を解析することにより、サブバンド信号ＳＢＬｎ及びＳＢＲｎに対応した音像の定位角度を推定し、その定位角度とシステムコントローラ５から供給されるズーム変数信号Ｚ１とに応じてゲイン値Ｇｍ及びＧｎを決定し、このゲイン値Ｇｍをゲイン器１４ｎ１へ送出すると共にゲイン値Ｇｎをゲイン器１４ｎ２へ送出する。

ゲイン器１４ｎ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｍを乗算することによりサブバンド信号ＳＢＬｍｍを生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４ｎ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｎを乗算することによりサブバンド信号ＳＢＲｎｎを生成し、これを合成フィルタバンク１６へ送出する。

合成フィルタバンク１５は、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することによりＬｃｈのオーディオ信号ＬＤを生成し、これを後段のディジタルアナログ変換器４（図１）へ出力する。同様に、合成フィルタバンク１６は、ゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することによりＲｃｈのオーディオ信号ＲＤを生成し、これを後段のディジタルアナログ変換器４（図１）へ出力する。

なおオーディオ信号処理部３では、ユーザの操作により音像のズームアップ又はズームダウンするためのコマンド信号が与えられていないときは、ズーム変数信号Ｚ１がシステムコントローラ５から成分解析器１３Ａ１、１３Ａ２、……、１３ｎ２へ供給されることはなく、分析フィルタバンク１１から供給されるサブバンド信号ＳＢＬ１、ＳＢＬ２、……、ＳＢＬｎをゲイン調整せずにそのまま合成フィルタバンク１５へ送出すると共に、分析フィルタバンク１２から供給されるサブバンド信号ＳＢＲ１、ＳＢＲ２、……、ＳＢＲｎをゲイン調整せずにそのまま合成フィルタバンク１６へ送出するようになされている。

（２−３）成分解析器の回路構成
次に、上述の成分解析器１３Ａ、１３Ｂ、……、１３ｎの回路構成について説明するが、全て同一の回路構成であるため、ここでは便宜上、成分解析器１３Ａの回路構成についてのみ説明し、他の成分解析器１３Ｂ、……、１３ｎについてはその説明を省略する。

図３に示すように成分解析器１３Ａは、分析フィルタバンク１１（図２）から供給されるサブバンド信号ＳＢＬ１をフーリエ変換器２１へ入力すると共に、分析フィルタバンク１２（図２）から供給されるサブバンド信号ＳＢＲ１をフーリエ変換器２２へ入力する。

フーリエ変換器２１及び２２では、サブバンド信号ＳＢＬ１及びＳＢＲ１をそれぞれフーリエ変換処理し、その結果得られる複素サブバンド信号ＳＢＬ１ｉ及びＳＢＲ１ｉをそれぞれ位相差算出器２３及びレベル比算出器２４へ送出する。

位相差算出器２３は、フーリエ変換器２１から供給される複素サブバンド信号ＳＢＬ１ｉとフーリエ変換器２２から供給される複素サブバンド信号ＳＢＲ１ｉとの位相差θ１を算出し、その位相差θ１をゲイン値算出器２５へ送出する。

レベル比算出器２４は、フーリエ変換器２１から供給される複素サブバンド信号ＳＢＬ１ｉとフーリエ変換器２２から供給される複素サブバンド信号ＳＢＲ１ｉとのレベル比Ｃ１を算出し、そのレベル比Ｃ１をゲイン値算出器２５へ送出する。

ゲイン値算出器２５では、位相差算出器２３から供給される位相差θ１、レベル比算出器２４から供給されるレベル比Ｃ１及びシステムコントローラ５から供給されるズーム変数信号Ｚ１に応じたゲイン値Ｇ１及びＧ２を決定し、これを出力するようになされている。

これによりオーディオ信号処理部３は、ゲイン器１４Ａ１（図２）によってゲイン値Ｇ１が乗算されたときのサブバンド信号ＳＢＬ１と、ゲイン器１４Ａ２（図２）によってゲイン値Ｇ２が乗算されたときのサブバンド信号ＳＢＲ１との位相差やレベル比を信号処理前よりも大きく又は小さくすることができる。

かくしてオーディオ信号処理部３は、合成フィルタバンク１５を介して合成されたサブバンド信号ＳＢＬ１の含まれているオーディオ信号ＬＤに応じた音声、及び合成フィルタバンク１６を介して合成されたサブバンド信号ＳＢＲ１の含まれているオーディオ信号ＲＤに応じた音声を左スピーカＳＰＬ及び右スピーカＳＰＲからそれぞれ出力したとき、サブバンド信号ＳＢＬ１及びＳＢＲ１の周波数帯に対応する音源の音像を拡げたり或いは狭める等の変更を容易に実行し得るようになされている。

なお、音像定位の定位角度を変更する具体的方法については、録音スタジオ等で用いられるミキサーでは左右チャンネルのレベル比によって音像の定位を操作していることから明らかなように、Ｌｃｈのオーディオ信号とＲｃｈのオーディオ信号とのレベル比を変更することにより音像の定位角度を変更することが可能である。

具体的には、例えば８０００Ｈｚ近辺におけるサブバンド信号の音像の定位角度を右３０度から右４５度へ変更することを考えた場合、定位角度が右３０度の音像は左右チャンネルのレベル比が１：２となっており、このレベル比を１：３となるように上述のゲイン値Ｇ１及びＧ２を決定し、そのゲイン値Ｇ１及びＧ２に応じて左右チャンネルのサブバンド信号の振幅レベルを調整すれば、音像の定位角度を右３０度から右４５度へ変更することができる。

また、一般的に約３５００Ｈｚ以下の周波数帯のサブバンド信号については、左右チャンネルのレベル比よりも位相差の方が定位角度を決定する上での重要な要素となることが一般的に知られており、このため約３５００Ｈｚ以下についてはＬｃｈ及びＲｃｈのサブバンド信号のレベル比を調整するのではなく、各々のサブバンド信号における位相差を調整するようになされている。但し、必ずしもこれに限るものではなく、レベル比及び位相差の双方共に調整することにより音像の定位角度を変更することも可能である。

（２−４）音像のズームアップ及びズームダウン
次に、オーディオ信号処理部３による音像のズームアップ又はズームダウン前の音像定位の定位角度を、ズームアップ又はズームダウン後の音像定位の定位角度がどのように変化するかについては様々なパターンが考えられるが、ここでは幾つかの具体例を挙げて示す。

図４に示すように、ズームアップ又はズームダウンによるオーディオ信号処理部３の信号処理前における音像定位としては、例えば２個の左スピーカＳＰＬ及び右スピーカＳＰＲのほぼ真中正面に位置するリスナーＬＮＲを基準として、左側から５つの音像Ａ、音像Ｂ、音像Ｃ、音像Ｄ及び音像Ｅが位置するものとする。この場合、例えば音像Ａは音源がピアノであり、音像Ｂは音源がベースであり、音像Ｃは音源がドラムであり、音像Ｄは音源がサックスであり、音像Ｅは音源がギターである。

このときリスナーＬＮＲを基準とした場合、当該リスナーＬＮＲの正面に定位する音像Ｃの定位角度は０度であり、音像Ｄの定位角度は右２２．５度、音像Ｂの定位角度は左２２．５度、音像Ｅの定位角度は右４５度、音像Ａの定位角度は左４５度となっている。

（２−４−１）均等に拡がりを変更する手法
図５に示すように、システムコントローラ５（図１）から供給されるズーム変数信号Ｚ１に応じてオーディオ信号処理部３が信号処理前の音像Ａ〜音像Ｅ（図４）をそれぞれ均等に拡げた（ズームアップした）場合、音像Ｃの中心はその定位位置が変化することはないが、音像Ｄの定位角度は右３０度、音像Ｂの定位角度は左３０度、音像Ｅの定位角度は右６０度、音像Ａの定位角度は左６０度に変化する。

このとき、もとの音像Ａ及び音像ＥについてはリスナーＬＮＲからみて左スピーカＳＰＬ及び右スピーカＳＰＲの外側へその定位位置が移動してしまうことになるため、オーディオ信号処理部３では音像Ａ及び音像Ｅに対応したサブバンド信号の出力を停止するようになされており、これにより音像Ａの音源（ピアノ）及び音像Ｅの音源（ギター）については、リスナーＬＮＲに感じさせることがないように考慮されている。

因みに、オーディオ信号処理部３では、音像Ａ及び音像Ｅに対応したサブバンド信号の出力を停止するようにしたが、ユーザの好みに合わせて、左スピーカＳＰＬ及び右スピーカＳＰＲの外側へ定位する音像Ａ及び音像Ｅに対応したサブバンド信号を出力させるようにしても良い。

また図６に示すように、システムコントローラ５（図１）から供給されるズーム変数信号Ｚ１に応じてオーディオ信号処理部３が音像Ａ〜音像Ｅの音像をそれぞれ均等に狭めた（ズームダウンした）場合、音像Ｃの中心はその定位位置が変化することはないが、音像Ｄの定位角度は右１７度、音像Ｂの定位角度は左１７度、音像Ｅの定位角度は右３０度、音像Ａの定位角度は左３０度に変化する。

この場合は、全ての音像Ａ〜音像Ｅが左スピーカＳＰＬ及び右スピーカＳＰＲの中心に向かってその定位位置が移動することになるため、オーディオ信号処理部３では、音像Ａ〜音像Ｅをそれぞれ均等に拡げたときのように当該音像Ａ及び音像Ｅに対応したサブバンド信号の出力を停止することはなく、全ての音像Ａ〜音像Ｅを中央寄りの位置に定位させるようになされている。

このようにズーム変数信号Ｚ１のズーム変数に応じて、オーディオ信号処理部３による音声信号処理前（再マッピング前）における音像Ａ〜音像Ｅの定位角度と、音声信号処理後（再マッピング後）における音像Ａ〜音像Ｅの定位角度とが変化する相互関係については、図７に表すことができる。この場合、横軸には信号処理前の定位角度が示されると共に、縦軸には信号処理後の定位角度が示されている。

例えば、システムコントローラ５（図２）からオーディオ信号処理部３に供給されるズーム変数信号Ｚ１のズーム変数が「０」の場合、当該オーディオ信号処理部３による信号処理前の音像Ａ〜音像Ｅに対する定位角度と、オーディオ信号処理部３による信号処理後の音像Ａ〜音像Ｅに対する定位角度とは同じになり、音像Ａ〜音像Ｅに変化はない。

また、システムコントローラ５からオーディオ信号処理部３に供給されるズーム変数信号Ｚ１のズーム変数が「＋０．５」や「＋１」の場合、一点鎖線や２点鎖線で示すように、オーディオ信号処理部３による信号処理前の音像Ａ〜音像Ｅに対する定位角度よりも、オーディオ信号処理部３による信号処理後の音像Ａ〜音像Ｅに対する定位角度の方が大きくなる。すなわち図５に示したように、ズーム変数が正数のときは音像Ａ〜音像Ｅが全体的に拡げられることになる。

具体的には、例えばズーム変数が「＋１」の場合、信号処理前の音像Ｅの定位角度が右４５度の場合、信号処理後にはその定位角度が右９０度に変更されることになる。なおシステムコントローラ５は、信号処理前の定位角度が左９０度の場合、この音のサブバンド信号については出力を停止するようになされている。

これに対して、システムコントローラ５からオーディオ信号処理部３に供給されるズーム変数信号Ｚ１のズーム変数が「−０．５」や「−１」の場合、破線や点線で示すように、オーディオ信号処理部３による信号処理前の音像Ａ〜音像Ｅに対する定位角度よりも、オーディオ信号処理部３による信号処理後の音像Ａ〜音像Ｅに対する定位角度の方が小さくなる。すなわち図６に示したように、ズーム変数が負数のときは音像Ａ〜音像Ｅが全体的に狭められることになる。

具体的には、例えばズーム変数が「−１」の場合、信号処理前の定位角度が右９０度の場合、信号処理後には定位角度が右４５度に変更されることになる。なおシステムコントローラ５は、信号処理前の定位角度が左９０度の場合、この音のサブバンド信号については出力を停止するようになされている。

（２−４−２）中央付近を重視して拡がりを変更する手法
図８に示すように、システムコントローラ５（図１）から供給されるズーム変数信号Ｚ１に応じてオーディオ信号処理部３が信号処理前の音像Ａ〜音像Ｅ（図４）に対して、中央付近の音像Ｃを最も重点的に拡げ、最両端の音像Ａ及び音像Ｅを狭めた場合、音像ＣがリスナーＬＮＲの正面を占める割合が大きくなる。

その結果、音像Ｃの中心はその定位位置が変化することはないが、音像Ｃが全体的に拡がることに呼応して音像Ａ、音像Ｂ及び音像Ｄ、音像Ｅについても外側へ移動し、その定位位置が変化することになる。

また図９に示すように、システムコントローラ５（図１）から供給されるズーム変数信号Ｚ１に応じてオーディオ信号処理部３が信号処理前の音像Ａ〜音像Ｅ（図４）に対して、中央付近の音像Ｃを狭め、最両端の音像Ａ及び音像Ｅを最も重点的に拡げた場合、中央付近に定位する音像Ｃとその両側の音像Ｂ及び音像Ｄが内側へ移動することになる。

このようにズーム変数信号Ｚ１のズーム変数に応じて、オーディオ信号処理部３による音声信号処理前における音像Ａ〜音像Ｅの定位角度と、音声信号処理後における音像Ａ〜音像Ｅの定位角度とが変化する相互関係については、図１０に表すことができる。この場合、横軸には信号処理前の定位角度が示されると共に、縦軸には信号処理後の定位角度が示されている。

例えば、システムコントローラ５（図２）からオーディオ信号処理部３に供給されるズーム変数信号Ｚ１のズーム変数が「０」の場合、当該オーディオ信号処理部３による信号処理前の音像Ａ〜音像Ｅに対する定位角度と、オーディオ信号処理部３による信号処理後の音像Ａ〜音像Ｅに対する定位角度とは同じになり、音像Ａ〜音像Ｅに変化はない。

また、システムコントローラ５からオーディオ信号処理部３に供給されるズーム変数信号Ｚ１のズーム変数が「＋０．５」や「＋１」の場合、点線や破線で示すように、オーディオ信号処理部３による信号処理前の音像Ａ〜音像Ｅに対する定位角度よりも、オーディオ信号処理部３による信号処理後の音像Ａ〜音像Ｅに対する定位角度の方が非線形的に大きくなる。すなわち図８に示したように、ズーム変数が正数のときは中央付近の音像Ｃが拡げられ、最両端の音像Ａ及び音像Ｅが狭められることになる。

具体的には、例えばズーム変数が「＋１」の場合、信号処理前の定位角度が右４５度の場合、信号処理後には定位角度が右７２度に変更されることになる。なおシステムコントローラ５は、信号処理前の定位角度が左９０度の場合、定位角度の変更を行わないようになされている。

これに対して、システムコントローラ５からオーディオ信号処理部３に供給されるズーム変数信号Ｚ１のズーム変数が「−０．５」や「−１」の場合、一点鎖線や二点鎖線で示すように、オーディオ信号処理部３による信号処理前の音像Ａ〜音像Ｅに対する定位角度よりも、オーディオ信号処理部３による信号処理後の音像Ａ〜音像Ｅに対する定位角度の方が非線形的に小さくなる。すなわち図９に示したように、ズーム変数が負数のときは中央付近の音像Ｃが狭められ最両端の音像Ａ及び音像Ｅが拡げられることになる。

具体的には、例えばズーム変数が「−１」の場合、信号処理前の定位角度が右４５度の場合、信号処理後には定位角度が右３２度に変更されることになる。なおシステムコントローラ５は、信号処理前の定位角度が左９０度の場合、定位角度の変更を行わないようになされている。

（２−５）定位角度変更処理手順
次に、上述したような音像Ａ〜音像Ｅについての定位角度を変更する処理手順について図１１のフローチャートを用いて説明する。

再生装置１のシステムコントローラ５は、ルーチンＲＴ１の開始ステップから入って次のステップＳＰ１へ移り、メディア再生部２からオーディオ信号処理部３の分析フィルタバンク１１及び１２に入力されるＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１が定位角度を変更するための処理可能な信号形式であるか否かを判定する。

例えば、オーディオ信号ＬＳ１及びＲＳ１がＭＰ３(MPEG-1 Audio Layer 3)等の圧縮方式によって圧縮された信号である場合や、想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では定位角度の変更処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようになされている。

すなわちステップＳＰ１で肯定結果が得られるとシステムコントローラ５は次のステップＳＰ２へ移るのに対し、当該ステップＳＰ１で否定結果が得られると、このことはオーディオ信号処理部３がオーディオ信号ＬＳ１及びＲＳ１に対して音像定位の定位角度の変更処理を実行することができないことを表しており、このときシステムコントローラ５は次のステップＳＰ２へ移る。

ステップＳＰ２においてシステムコントローラ５は、定位角度の変更処理を実行することが可能な信号フォーマットにオーディオ信号ＬＳ１及びＲＳ１を変換し、次のステップＳＰ３へ移る。

ステップＳＰ３においてシステムコントローラ５は、操作部６（図１）に対するユーザの操作に応じてオーディオ信号処理部３に送出されるズーム変数信号Ｚ１のズーム変数が「０」であるか否かを判定する。

ここで肯定結果が得られると、このことはズーム変数が「０」すなわち定位角度の変更処理を行うためのコマンド信号が供給されていないことを表しており、このときシステムコントローラ５はオーディオ信号処理部３に対して定位角度の変更処理を行わせることなく、ステップＳＰ９へ移る。

これに対してステップＳＰ３で否定結果が得られると、このことはズーム変数が「０」以外すなわち定位角度の変更処理を行うためのコマンド信号が供給されていることを表しており、このときシステムコントローラ５はオーディオ信号処理部３に対して定位角度の変更処理を行わせるべく、次のステップＳＰ４へ移る。

ステップＳＰ４においてシステムコントローラ５は、Ｌｃｈのオーディオ信号ＬＳ１をオーディオ信号処理部３の分析フィルタバンク１１によって複数の周波数帯域に分割すると共に、Ｒｃｈのオーディオ信号ＲＳ１を分析フィルタバンク１２によって複数の周波数帯域に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、これを成分解析器１３Ａ〜１３ｎのフーリエ変換器２１、２２へ送出した後、次のステップＳＰ５へ移る。

ステップＳＰ５においてシステムコントローラ５は、成分解析器１３Ａ〜１３ｎのフーリエ変換機２１、２２によってサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをそれぞれフーリエ変換処理し、その結果得られる複素サブバンド信号ＳＢＬ１ｉ〜ＳＢＬｎｉ及びＳＢＲ１ｉ〜ＳＢＲｎｉを位相差算出器２３及びレベル比算出器２４へ送出した後、次のステップＳＰ６へ移る。

ステップＳＰ６においてシステムコントローラ５は、成分解析器１３Ａ〜１３ｎの位相差算出器２３及びレベル比算出器２４によって位相差θ１及びレベル比Ｃ１をそれぞれ算出し、それらをゲイン値算出器２５へ送出した後、次のステップＳＰ７へ移る。

ステップＳＰ７においてシステムコントローラ５は、位相差θ１、レベル比Ｃ１及びズーム変数信号Ｚ１のズーム変数に応じたゲイン値Ｇ１及びＧ２を決定し、これを用いてオーディオ信号処理部３のゲイン器１４Ａ１〜１４ｎ２によりサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをゲイン調整し、その結果得られるサブバンド信号ＳＢＬ１１〜ＳＢＬｍｍを合成フィルタバンク１５へ送出すると共に、サブバンド信号ＳＢＲ１１〜ＳＢＲｎｎを合成フィルタバンク１６へ送出した後、次のステップＳＰ８へ移る。

ステップＳＰ８においてシステムコントローラ５は、合成フィルタバンク１５によって、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することによりＬｃｈのオーディオ信号ＬＤを生成すると共に、合成フィルタバンク１６によって、ゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することによりＲｃｈのオーディオ信号ＲＤを生成し、次のステップＳＰ９へ移る。

ステップＳＰ９においてシステムコントローラ５は、オーディオ信号処理部３の合成フィルタバンク１５及び１６から出力されるオーディオ信号ＬＤ及びＲＤに対してディジタルアナログ変換器４によりディジタルアナログ変換処理を施した後、左スピーカＳＰＬ及び右スピーカＳＰＲからそれぞれ出力し、次のステップＳＰ１０へ移る。

このとき左スピーカＳＰＬ用のオーディオ信号ＬＤに含まれるサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍと、右スピーカＳＰＲ用のオーディオ信号ＲＤに含まれるサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎとは、同じ周波数帯同士においてズーム変数に応じたレベル比や位相差が与えられているため、左スピーカＳＰＬ及び右スピーカＳＰＲから音声が出力された際に、信号処理前の音像Ａ〜音像Ｅ（図４）の定位角度がズーム変数信号Ｚ１に応じたユーザ所望の定位角度に変更されることになる。

ステップＳＰ１０においてシステムコントローラ５は、続いてオーディオ信号処理部３の分析フィルタバンク１１及び１２に入力される次のＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１が存在するか否かを判定し、否定結果が得られた場合、定位角度の変更処理を行うべき対象が存在しないため、次のステップＳＰ１２へ移って処理を終了する。

これに対してステップＳＰ１０で肯定結果が得られると、このことは次に定位角度度の変更処理を行うべき次のオーディオ信号ＬＳ１及びＲＳ１が存在することを表しており、このときシステムコントローラ５は上述のズーム変数をリセットし、再度ステップＳＰ１へ戻って当該ステップＳＰ１以降の処理を繰り返す。

（２−６）第１の実施の形態における動作及び効果
以上の構成において、再生装置１のオーディオ信号処理部３ではＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１を等帯域に周波数分割し、その結果得られる同じ周波数帯同士のサブバンド信号ＳＢＬ及びサブバンド信号ＳＢＲのレベル比Ｃ１又は位相差θ１を、ズーム変数信号Ｚ１が表すズーム変数に応じたゲイン値Ｇ１、Ｇ２を用いてゲイン調整することにより、音像Ａ〜音像Ｅの定位角度を任意に変更することができる。

これによりオーディオ信号処理部３は、図５及び図６に示したように音像Ａ〜音像Ｅを線形的（均等）に拡げたり狭めたりすることができると共に、図８及び図９に示したように音像Ａ〜音像Ｅを非線形的に拡げたり狭めたりすることができる。

特にオーディオ信号処理部３は、図５に示したように音像Ａ〜音像Ｅを均等に拡げた場合、音像Ｂ〜音像Ｄが拡がって左スピーカＳＰＬ及び右スピーカＳＰＲの内側に定位すると共に、左スピーカＳＰＬ及び右スピーカＳＰＲの外側に定位することになる音像Ａ及び音像Ｅについては消滅させることができる。

この場合、オーディオ信号処理部３は、オーディオ信号ＬＳ１及びＲＳ１に含まれる種々の音源のうち、ユーザ所望の音像Ｂ〜音像Ｄに対応した音源の音だけをユーザに対して聴取させることができるので、オーディオ信号ＬＳ１及びＲＳ１のオリジナルの音質を変えることなくユーザの嗜好に合わせたバーチャルサラウンド効果をリスナーＬＮＲに与えることができる。

またオーディオ信号処理部３は、図８及び図９に示したように音像Ａ〜音像Ｅを非線形的に拡げたり狭めることができるため、音像Ｃを拡げて音像Ａ及び音像Ｅを狭めたり、或いは音像Ａ及び音像Ｅを拡げて音像Ｃを狭めることができ、かくして音像Ａ〜音像Ｅの音像定位をユーザの好みに合わせて変更したバリエーション豊かな音場空間を提供することができる。

以上の構成によれば、再生装置１はオーディオ信号処理部３の信号処理だけで音像定位の定位角度を自在に変更し得るようにしたことにより、左スピーカＳＰＬ及び右スピーカＳＰＲの配置や部屋の形状、リスナーＬＮＲの聴取位置に拘わることなく、かつオリジナルの音質を変えることもなく、オーディオ信号ＬＳ１及びＲＳ１による音像全体の拡がりを連続的に変更することができる。

また再生装置１は、左スピーカＳＰＬ及び右スピーカＳＰＲの中央に定位している音像Ｃの拡がり感については変更することなく、他の音像Ａ、音像Ｂ、音像Ｄ及び音像Ｅの拡がり感を変更したり、音像Ａ〜音像Ｅの定位角度に応じて異なる拡がり感を設定することができるので、ユーザの嗜好に合わせた一段と拡がり感のある音場空間や、狭まり感のある音場空間を生成することができる。

（３）第２の実施の形態
（３−１）撮像装置の構成
図１２において、３１は全体として第２の実施の形態における撮像装置を示し、マイクロコンピュータ構成の図示しない制御部が所定のオーディオ信号処理プログラムに従って全体を統括制御し、撮像時には被写体（図示せず）からの光を、レンズブロック部３２の内部レンズを介して撮像デバイスであるＣＣＤ(Charge Coupled Device)３３に結像するようになされている。

ここでＣＣＤ３３は、複数の受光部から構成されるイメージセンサいわゆるイメージャであり、このＣＣＤ３３によって受光されて検出された光量が電気信号に変換される。ＣＣＤ３３は、撮像面に結像した被写体象の光量を電気信号に変換し、これをビデオ信号処理部３４へ送出する。

ビデオ信号処理部３４は、ＣＣＤ３３から供給された電気信号に対して所定の信号処理を施すことにより、例えばカラーテレビジョン放送用に用いられている輝度信号Ｙ及び２つの色差信号Ｒ−Ｙ、Ｂ−Ｙを多重化したＮＴＳＣ(National Television System Committee)方式又はＰＡＬ(Phase Alternation by Line color television)方式の標準カラーテレビジョン信号を生成し、これを後段のモニタ（図示せず）へ出力するようになされている。なおビデオ信号処理部３４は、輝度信号Ｙをオートフォーカス検波器３６へ送出するようになされている。

レンズブロック部３２は、被写体の撮像時に被写界深度を可変するためのズームレンズを有し、被写体に対する焦点を調整するためのフォーカスレンズを有している。レンズブロック部３２は、レンズ駆動回路３５からの制御信号により駆動制御されるステッピングモータを介してズームレンズを駆動し、その位置を移動制御することにより被写界深度を可変し得るようになされている。

またレンズブロック部３２は、レンズ駆動回路３５からの制御信号により駆動制御されるステッピングモータを介してフォーカスレンズを駆動し、その位置を移動制御することにより被写体に対する焦点を調整し得るようになされている。

オートフォーカス検波器３６は、ビデオ信号処理部３４から供給された輝度信号Ｙに基づいて、オートフォーカス動作時におけるフォーカスレンズの移動量を検出し、その結果得られる検波信号をレンズ駆動回路３５へ送出する。

レンズ駆動回路３５では、オートフォーカス検波器３６から供給される検波信号の絞り値に応じて、被写体に対して自動的に焦点を合焦させるオートフォーカス動作時のフォーカスレンズに対する移動速度を制御するためのフォーカスレンズ移動量信号を生成し、これを制御信号としてレンズブロック部３２へ供給するようになされている。

ところで撮像装置３１では、ズームスイッチ３７を介してユーザによるズーム変更操作が行われた場合、レンズ駆動回路３５及びオーディオ信号処理部４０に対してズーム変数信号Ｚ２を送出する。

レンズ駆動回路３５では、ズーム変数信号Ｚ２に応じて、レンズブロック部３２におけるズームレンズの位置を移動制御するためのズームレンズ移動量信号を生成し、これを制御信号としてステッピングモータを駆動制御することによりズームレンズの位置を移動させ、被写界深度を調整するようになされている。

また撮像装置３１は、撮像時には、周囲の音を２本のステレオマイク３８を介して集音し、その結果得られるＬｃｈのアナログステレオオーディオ信号ＡＬＳ１及びＲｃｈのアナログステレオオーディオ信号ＡＲＳ１をアナログディジタル変換器３９へ送出する。

アナログディジタル変換器３９は、Ｌｃｈのアナログステレオオーディオ信号ＡＬＳ１及びＲｃｈのアナログステレオオーディオ信号ＡＲＳ１をアナログディジタル変換することによりＬｃｈのディジタルステレオオーディオ信号ＤＬＳ１及びＲｃｈのディジタルステレオオーディオ信号ＤＲＳ１に変換し、これをオーディオ信号処理部４０へ送出する。

オーディオ信号処理部４０は、ズームスイッチ３７から供給されるズーム変数信号Ｚ２をズーム変数として用いることにより、ディジタルステレオオーディオ信号ＤＬＳ１及びＤＲＳ１による音像全体の拡がりをズーム変数に応じて変更し、その結果得られる音像変更後のオーディオ信号ＬＤ及びＲＤを図示しない後段のディジタルアナログ変換器を介してアナログ変換した後、左スピーカ及び右スピーカから出力するようになされている。

（３−２）第２の実施の形態におけるオーディオ信号処理部の回路構成
図２との対応部分に同一符号を付した図１３に示すように、第２の実施の形態におけるオーディオ信号処理部４０の回路構成としては、第１の実施の形態におけるオーディオ信号処理部３（図２）の回路構成と基本的に同じである。

この場合オーディオ信号処理部４０では、Ｌｃｈのディジタルステレオオーディオ信号ＤＬＳ１を分析フィルタバンク１１に入力し、Ｒｃｈのディジタルステレオオーディオ信号ＤＲＳ１を分析フィルタバンク１２に入力し、当該分析フィルタバンク１１及び１２によってディジタルステレオオーディオ信号ＤＬＳ１及びＤＲＳ１を複数の等帯域又は非等帯域の周波数帯域成分に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、それぞれ成分解析器１３Ａ、１３Ｂ、……、１３ｎ及びゲイン器１４Ａ１、１４Ａ２、１４Ｂ１、１４Ｂ２、……、１４ｎ２へ送出する。

ここで、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１とは同じ周波数帯域であり、双方共に成分解析器１３Ａへ送出されると共に、サブバンド信号ＳＢＬ１がゲイン器１４Ａ１へ送出され、サブバンド信号ＳＢＲ１がゲイン器１４Ａ２へ送出される。

同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２についても同じ周波数帯域であり、双方共に成分解析器１３Ｂへ送出されると共に、サブバンド信号ＳＢＬ２がゲイン器１４Ｂ１へ送出され、サブバンド信号ＳＢＲ２がゲイン器１４Ｂ２へ送出される。

さらに、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎについても同じ周波数帯域であり、双方共に成分解析器１３ｎへ送出されると共に、サブバンド信号ＳＢＬｎがゲイン器１４ｎ１へ送出され、サブバンド信号ＳＢＲｎがゲイン器１４ｎ２へ送出される。

成分解析器１３Ａでは、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１との位相差やレベル比を解析することによりサブバンド信号ＳＢＬ１及びＳＢＲ１に対応した音像の定位角度を推定し、その定位角度とシステムコントローラ５から供給されるズーム変数信号Ｚ２とに応じてゲイン値Ｇ１及びＧ２を決定し、このゲイン値Ｇ１をゲイン器１４Ａ１へ送出すると共にゲイン値Ｇ２をゲイン器１４Ａ２へ送出する。

ゲイン器１４Ａ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ１を乗算することによりサブバンド信号ＳＢＬ１１を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ａ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ２を乗算することによりサブバンド信号ＳＢＲ１１を生成し、これを合成フィルタバンク１６へ送出する。

また成分解析器１３Ｂでも、成分解析器１３Ａと同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２との位相差やレベル比を解析することによりサブバンド信号ＳＢＬ２及びＳＢＲ２に対応した定位角度を推定し、その定位角度とシステムコントローラ５から供給されるズーム変数信号Ｚ２とに応じてゲイン値Ｇ３及びＧ４を決定し、このゲイン値Ｇ３をゲイン器１４Ｂ１へ送出すると共にゲイン値Ｇ４をゲイン器１４Ｂ２へ送出する。

ゲイン器１４Ｂ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ３を乗算することによりサブバンド信号ＳＢＬ２２を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ｂ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ４を乗算することによりサブバンド信号ＳＢＲ２２を生成し、これを合成フィルタバンク１６へ送出する。

さらに成分解析器１３ｎでも、成分解析器１３Ａ及び１３Ｂと同様に、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎとの位相差やレベル比を解析することによりサブバンド信号ＳＢＬｎ及びＳＢＲｎに対応した定位角度を推定し、その定位角度とシステムコントローラ５から供給されるズーム変数信号Ｚ２とに応じてゲイン値Ｇｍ及びＧｎを決定し、このゲイン値Ｇｍをゲイン器１４ｎ１へ送出すると共にゲイン値Ｇｎをゲイン器１４ｎ２へ送出する。

ゲイン器１４ｎ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｍを乗算することによりサブバンド信号ＳＢＬｍｍを生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４ｎ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｎを乗算することによりサブバンド信号ＳＢＲｎｎを生成し、これを合成フィルタバンク１６へ送出する。

合成フィルタバンク１５は、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することによりＬｃｈのオーディオ信号ＬＤを生成し、これを後段のディジタルアナログ変換器へ出力する。同様に、合成フィルタバンク１６は、ゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することによりＲｃｈのオーディオ信号ＲＤを生成し、これを後段のディジタルアナログ変換器へ出力する。

なおオーディオ信号処理部４０では、ユーザのズームスイッチ３７に対するズーム変更操作が行われていないときは、ズーム変数信号Ｚ２が成分解析器１３Ａ、１３Ｂ、……、１３ｎへ供給されることはなく、分析フィルタバンク１１から供給されるサブバンド信号ＳＢＬ１、ＳＢＬ２、……、ＳＢＬｎをゲイン調整せずにそのまま合成フィルタバンク１５へ送出すると共に、分析フィルタバンク１２から供給されるサブバンド信号ＳＢＲ１、ＳＢＲ２、……、ＳＢＲｎをゲイン調整せずにそのまま合成フィルタバンク１６へ送出するようになされている。

因みに成分解析器１３Ａ〜１３ｎの回路構成についても、第１の実施の形態におけるオーディオ信号処理部３の成分解析器１３Ａ〜１３ｎ（図３）と同一であるため、便宜上その説明を省略する。

（３−３）映像ズーム機構に連動した音像の拡がり
このような構成の撮像装置１において、ズームスイッチ３７により被写体を拡大して撮像する映像ズーム機構に連動させるように音像の拡がりを変更する際の具体例について次に説明する。

例えば撮像装置１では、図１４に示すように、５人の被写体が映し出された映像Ｖ１を撮像中、ユーザによるズームスイッチ３７の操作により、５人の被写体のうち中央の３人だけを映し出すように拡大した映像Ｖ２に切り換えるとき、その映像ズーム機構によるズーム変更操作に合わせて音像全体の拡がりについても変更し得るようになされている。

すなわち図１５（Ａ）に示すように、５人の被写体が映し出された映像Ｖ１を撮像中の音像定位については、５人の被写体をそれぞれ音源とするように音像Ａ〜音像Ｅが左スピーカＳＰＬ及び右スピーカＳＰＲの間に定位している。

その後、５人の被写体のうち中央の３人だけを映し出すように拡大された映像Ｖ２に切り換えたとき、オーディオ信号処理部４０ではズーム変数信号Ｚ２に合わせて音像Ａ〜音像Ｅを拡げるようになされている。すなわちオーディオ信号処理部４０では、ズーム変数信号Ｚ２に応じて成分解析器１３Ａ〜１３ｎによるゲイン値Ｇ１〜Ｇｎを決定することにより音像Ａ〜音像Ｅを拡げて、その定位角度を変更し得るようになされている。

このときオーディオ信号処理部４０では、中央の３人の被写体をそれぞれ音源とする音像Ｂ〜音像Ｅだけを残し、映像Ｖ２に映し出されていない両脇２人の被写体をそれぞれ音源とする音像Ａ及び音像Ｅの音声についてはその出力を停止するようになされている。

これにより撮像装置３１のオーディオ信号処理部４０では、ズームスイッチ３７に対するユーザのズーム変更操作に合わせ、撮像結果の被写体を拡大して記録することに連動させながら音像Ａ〜音像Ｅの定位角度を変更することができるので、被写体のズーム変更撮影に合わせて音像全体の拡がりを変化させながら記録し得るようになされている。

（３−４）映像ズームに連動した定位角度変更処理手順
次に、上述したような撮像装置３１のユーザによるズーム変更操作に連動させて音像Ａ〜音像Ｅを拡げ、その定位角度を変更する処理手順について図１６のフローチャートを用いて説明する。

撮像装置３１は、ルーチンＲＴ２の開始ステップから入って次のステップＳＰ２１へ移り、図示しないマイクロコンピュータ構成の制御部によって、ステレオマイク３８からオーディオ信号処理部４０の分析フィルタバンク１１及び１２に入力されるＬｃｈのディジタルステレオオーディオ信号ＤＬＳ１及びＲｃｈのディジタルステレオオーディオ信号ＤＲＳ１がその定位角度を変更するための処理可能な信号形式であるか否かを判定する。

例えば、ディジタルステレオオーディオ信号ＤＬＳ１及びＤＲＳ１のサンプリング周波数が、オーディオ信号処理部４０で想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では定位角度の変更処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようになされている。

すなわちステップＳＰ２１で肯定結果が得られるとステップＳＰ２３へ移るのに対し、当該ステップＳＰ２１で否定結果が得られると、このことはオーディオ信号処理部４０がディジタルステレオオーディオ信号ＤＬＳ１及びＤＲＳ１に対して定位角度の変更処理を実行することができないことを表しており、このとき撮像装置３１の制御部は次のステップＳＰ２２へ移る。

ステップＳＰ２２において撮像装置３１の制御部は、定位角度の変更処理を実行することが可能な信号フォーマットにディジタルステレオオーディ信号ＤＬＳ１及びＤＲＳ１を変換し、次のステップＳＰ２３へ移る。

ステップＳＰ２３において撮像装置３１の制御部は、ズームスイッチ３７（図１２）に対するユーザのズーム変更操作に応じて当該ズームスイッチ３７から供給されるズーム変数信号Ｚ２のズーム変数が「０」であるか否かを判定する。

ここで肯定結果が得られると、このことはズーム変数が「０」すなわち映像ズームが行われていないことを表しており、このとき撮像装置３１の制御部は音像定位の定位角度の変更処理を行うことなく、ステップＳＰ２９へ移る。

これに対してステップＳＰ２３で否定結果が得られると、このことはズーム変数が「０」以外すなわち映像ズームが行われていることを表しており、このとき撮像装置３１の制御部は映像ズームに連動させて音像定位の定位角度を変更するべく、次のステップＳＰ２４へ移る。

ステップＳＰ２４において撮像装置３１の制御部は、Ｌｃｈのディジタルステレオオーディオ信号ＤＬＳ１をオーディオ信号処理部４０の分析フィルタバンク１１によって複数の周波数帯域に分割すると共に、Ｒｃｈのディジタルステレオオーディオ信号ＤＲＳ１を分析フィルタバンク１２によって複数の周波数帯域に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、これを成分解析器１３Ａ〜１３ｎへ送出した後、次のステップＳＰ２５へ移る。

ステップＳＰ２５において撮像装置３１の制御部は、成分解析器１３Ａ〜１３ｎのフーリエ変換機２１、２２（図３）によってサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをそれぞれフーリエ変換処理し、その結果得られる複素サブバンド信号ＳＢＬ１ｉ〜ＳＢＬｎｉ及びＳＢＲ１ｉ〜ＳＢＲｎｉを位相差算出器２３及びレベル比算出器２４へ送出した後、次のステップＳＰ２６へ移る。

ステップＳＰ２６において撮像装置３１の制御部は、成分解析器１３Ａ〜１３ｎの位相差算出器２３及びレベル比算出器２４によって位相差θ１及びレベル比Ｃ１をそれぞれ算出し、それらをゲイン値算出器２５へ送出した後、次のステップＳＰ２７へ移る。

ステップＳＰ２７において撮像装置３１の制御部は、位相差θ１、レベル比Ｃ１及びズーム変数信号Ｚ２のズーム変数に応じたゲイン値Ｇ１及びＧ２を決定し、これを用いてオーディオ信号処理部４０のゲイン器１４Ａ１〜１４ｎ２によりサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをゲイン調整し、その結果得られるサブバンド信号ＳＢＬ１１〜ＳＢＬｍｍを合成フィルタバンク１５へ送出すると共に、サブバンド信号ＳＢＲ１１〜ＳＢＲｎｎを合成フィルタバンク１６へ送出した後、次のステップＳＰ２８へ移る。

ステップＳＰ２８において撮像装置３１の制御部は、オーディオ信号処理部４０の合成フィルタバンク１５によって、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することによりＬｃｈのオーディオ信号ＬＤを生成すると共に、合成フィルタバンク１６によって、ゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することによりＲｃｈのオーディオ信号ＲＤを生成し、次のステップＳＰ２９へ移る。

ステップＳＰ２９において撮像装置３１の制御部は、合成フィルタバンク１５及び１６から出力されるオーディオ信号ＬＤ及びＲＤに対して、後段のディジタルアナログ変換器によりディジタルアナログ変換処理を施した後、左スピーカＳＰＬ及び右スピーカＳＰＲからそれぞれ出力し、次のステップＳＰ３０へ移る。

このとき、左スピーカＳＰＬ用のオーディオ信号ＬＤに含まれるサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍと、右スピーカＳＰＲ用のオーディオ信号ＲＤに含まれるサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎとは、同じ周波数帯同士においてズーム変数に応じたレベル比や位相差が与えられているため、左スピーカＳＰＬ及び右スピーカＳＰＲから音声が出力された際に、信号処理前の音像Ａ〜音像Ｅ（図１５（Ａ））が拡げられ、その定位角度がズーム変数信号Ｚ２に応じたユーザ所望の定位角度に変更されることになる。

ステップＳＰ３０において撮像装置３１の制御部は、続いて分析フィルタバンク１１及び１２に入力される次のＬｃｈのディジタルステレオオーディオ信号ＤＬＳ１及びＲｃｈのディジタルステレオオーディオ信号ＤＲＳ１が存在するか否かを判定し、否定結果が得られた場合、定位角度の変更処理を行うべき対象が存在しないため、次のステップＳＰ３２へ移って処理を終了する。

これに対してステップＳＰ３０で肯定結果が得られると、このことは定位角度の変更処理を行うべき次のディジタルステレオオーディオ信号ＤＬＳ１及びＤＲＳ１が存在することを表しており、このとき撮像装置３１の制御部は上述のズーム変数をリセットし、再度ステップＳＰ２１へ戻って当該ステップＳＰ２１以降の処理を繰り返す。

（３−５）第２の実施の形態における動作及び効果
以上の構成において、撮像装置３１では、映像Ｖ１（図１４）における５人の被写体をそれぞれ音源とする音像Ａ〜音像Ｅの定位位置を予め認識しており、その後、ズームスイッチ３７に対するユーザのズーム変更操作に応じて５人の被写体のうち、中央の３人だけを映し出すように拡大した映像Ｖ２に切り換えて撮像するとき、ズーム変数信号Ｚ２に応じて音像Ａ〜音像Ｅをそれぞれ拡げて音像全体の拡がりについても変更することができる。

特にオーディオ信号処理部４０は、映像ズームにより映像Ｖ２（図１４）に表示される被写体を５人から３人へ変更したこと（すなわちズームインしたこと）に合わせて音像Ａ〜音像Ｅをそれぞれ拡げると共に、３人の被写体を音源とする音像Ｂ〜音像Ｄを出力し、映像Ｖ２に映し出されなくなった両端２人の被写体を音源とする音像Ａ及び音像Ｅについてはその出力を停止することにより、映像Ｖ２に映し出された３人の被写体の音声だけを記録し得、映像と音声との一体感を向上させることができる。

以上の構成によれば、撮像装置３１は映像ズームに連動させながら音像Ａ〜音像Ｅの定位角度をオーディオ信号処理部４０の信号処理だけで自在に変更し得るようにしたことにより、オリジナルの音質を変えることなく、映像ズームに連動して音像の拡がりを変更しながら記録することができる。

（４）第３の実施の形態
（４−１）映像音声処理装置の構成
図１との対応部分に同一符号を付した図１７において、４１は全体として第３の実施の形態における映像音声処理装置を示し、マイクロコンピュータ構成のシステムコントローラ５が所定のオーディオ信号処理プログラムに従って当該映像音声処理装置４１全体を統括制御するようになされている。

メディア再生部２は、システムコントローラ５からの命令に従って再生した動画コンテンツの映像信号ＶＳ１をビデオ信号解析処理部４３へ送出すると共に、当該再生した動画コンテンツにおけるＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１をオーディオ信号処理部４４へ送出する。

ビデオ信号解析処理部４３は、システムコントローラ５からの命令に従って映像信号ＶＳ１を解析することにより映像中に存在する顔画像を検出するようになされており、その顔画像の画面上の位置（２次元座標）に基づいて画面中心からのずれを定位角度として求め、これを定位角度信号Ｆ１としてオーディオ信号処理部４４へ出力する。同時に映像信号解析処理部４３は、映像信号ＶＳ１に対して所定の信号処理を施し、若しくは施すことなく後段のモニタ（図示せず）へ出力する。

ここでビデオ信号解析処理部４３による顔画像の検出方式としては、様々な方式が存在するが、例えば特開平9-251534号公報には、目、鼻、口といった造作を検出し、その位置関係に基づいて正面顔濃淡パターンを切り出す手法が開示されており、このような手法を用いることによって顔画像の位置を検出することができる。なお、顔画像の検出方式としては、これに限るものではなく、その他種々の検出方式によって顔画像を検出するようにしても良い。

オーディオ信号処理部４４は、ビデオ信号解析処理部４３から供給された定位角度信号Ｆ１に基づいてズーム変数信号Ｚ３（後述する）を生成し、これを用いて顔画像の画面上の位置に対応させて当該顔画像に対応した音像を動かし、その音像定位を変更するようになされている。

（４−２）第３の実施の形態におけるオーディオ信号処理部の回路構成
図２との対応部分に同一符号を付した図１８に示すように、第３の実施の形態におけるオーディオ信号処理部４４の回路構成としては、第１の実施の形態におけるオーディオ信号処理部３（図２）の回路構成に対してズーム変数生成部４９が設けられている点以外は基本的に同じである。

このズーム変数生成部４９は、ビデオ信号解析処理部４３から供給される定位角度信号Ｆ１に基づき、顔画像の画面中心からのずれ量に応じたズーム変数信号Ｚ３を生成するようになされており、これを成分解析器１３Ａ〜１３ｎへそれぞれ送出する。

オーディオ信号処理部４４は、メディア再生部２から供給されるＬｃｈのオーディオ信号ＬＳ１を分析フィルタバンク１１に入力し、Ｒｃｈのオーディオ信号ＲＳ１を分析フィルタバンク１２に入力し、当該分析フィルタバンク１１及び１２によってオーディオ信号ＬＳ１及びＲＳ１を複数の等帯域又は非等帯域の周波数帯域成分に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、それぞれ成分解析器１３Ａ、１３Ｂ、……、１３ｎ及びゲイン器１４Ａ１、１４Ａ２、１４Ｂ１、１４Ｂ２、……、１４ｎ２へ送出する。

ここで、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１とは同じ周波数帯域であり、双方共に成分解析器１３Ａへ送出されると共に、サブバンド信号ＳＢＬ１がゲイン器１４Ａ１へ送出され、サブバンド信号ＳＢＲ１がゲイン器１４Ａ２へ送出される。

同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２についても同じ周波数帯域であり、双方共に成分解析器１３Ｂへ送出されると共に、サブバンド信号ＳＢＬ２がゲイン器１４Ｂ１へ送出され、サブバンド信号ＳＢＲ２がゲイン器１４Ｂ２へ送出される。

さらに、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎについても同じ周波数帯域であり、双方共に成分解析器１３ｎへ送出されると共に、サブバンド信号ＳＢＬｎがゲイン器１４ｎ１へ送出され、サブバンド信号ＳＢＲｎがゲイン器１４ｎ２へ送出される。

成分解析器１３Ａでは、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１との位相差やレベル比を解析することにより、サブバンド信号ＳＢＬ１及びＳＢＲ１に対応した音像の定位角度を推定し、その定位角度とズーム変数生成部４９から供給されるズーム変数信号Ｚ３とに応じてゲイン値Ｇ１及びＧ２を決定し、このゲイン値Ｇ１をゲイン器１４Ａ１へ送出すると共にゲイン値Ｇ２をゲイン器１４Ａ２へ送出する。

ゲイン器１４Ａ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ１を乗算することによりサブバンド信号ＳＢＬ１１を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ａ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ２を乗算することによりサブバンド信号ＳＢＲ１１を生成し、これを合成フィルタバンク１６へ送出する。

また成分解析器１３Ｂでも、成分解析器１３Ａと同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２との位相差やレベル比を解析することにより、サブバンド信号ＳＢＬ２及びＳＢＲ２に対応した音像の定位角度を推定し、その定位角度とズーム変数生成部４９から供給されるズーム変数信号Ｚ３とに応じてゲイン値Ｇ３及びＧ４を決定し、このゲイン値Ｇ３をゲイン器１４Ｂ１へ送出すると共にゲイン値Ｇ４をゲイン器１４Ｂ２へ送出する。

ゲイン器１４Ｂ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ３を乗算することによりサブバンド信号ＳＢＬ２２を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ｂ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ４を乗算することによりサブバンド信号ＳＢＲ２２を生成し、これを合成フィルタバンク１６へ送出する。

さらに成分解析器１３ｎでも、成分解析器１３Ａ及び１３Ｂと同様に、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎとの位相差やレベル比を解析することによりサブバンド信号ＳＢＬｎ及びＳＢＲｎに対応した音像の定位角度を推定し、その定位角度とズーム変数生成部４９から供給されるズーム変数信号Ｚ３とに応じてゲイン値Ｇｍ及びＧｎを決定し、このゲイン値Ｇｍをゲイン器１４ｎ１へ送出すると共にゲイン値Ｇｎをゲイン器１４ｎ２へ送出する。

ゲイン器１４ｎ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｍを乗算することによりサブバンド信号ＳＢＬｍｍを生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４ｎ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｎを乗算することによりサブバンド信号ＳＢＲｎｎを生成し、これを合成フィルタバンク１６へ送出する。

合成フィルタバンク１５は、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することにより、Ｌｃｈのオーディオ信号ＬＤを生成し、これを後段のディジタルアナログ変換器へ出力する。同様に、合成フィルタバンク１６は、ゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することにより、Ｒｃｈのオーディオ信号ＲＤを生成し、これを後段のディジタルアナログ変換器へ出力する。

なおオーディオ信号処理部４４では、ビデオ信号解析処理部４３から定位角度信号Ｆ１が供給されていないときは、ズーム変数生成部４９からズーム変数信号Ｚ３が成分解析器１３Ａ、１３Ｂ、……、１３ｎへ供給されることはなく、分析フィルタバンク１１から供給されるサブバンド信号ＳＢＬ１、ＳＢＬ２、……、ＳＢＬｎをゲイン調整せずにそのまま合成フィルタバンク１５へ送出すると共に、分析フィルタバンク１２から供給されるサブバンド信号ＳＢＲ１、ＳＢＲ２、……、ＳＢＲｎをゲイン調整せずにそのまま合成フィルタバンク１６へ送出するようになされている。

すなわち、ビデオ信号解析処理部４３から定位角度信号Ｆ１が供給されていないということは、顔画像が画面中心に位置しているので、その顔画像を音源とする音像を２つの左スピーカＳＰＬ及び右スピーカＳＰＲのほぼ中心に定位したまま動かす必要がないことを意味する。

因みに成分解析器１３Ａ〜１３ｎの回路構成についても、第１の実施の形態におけるオーディオ信号処理部３の成分解析器１３Ａ〜１３ｎと同一であるため、ここでも便宜上その説明を省略する。

（４−３）顔画像の位置変化に連動した音像定位
このような構成の映像音声処理装置４１において、メディア再生部２によって再生されたコンテンツの映像信号ＶＳ１における顔画像の画面中心からのずれに連動させて、その顔画像を音源とする音像定位の定位位置を動かす際の具体例について次に説明する。

図１９（Ａ）に示すように映像音声処理装置４１は、メディア再生部２からビデオ信号解析処理部４３へ供給される映像信号ＶＳ１に基づく映像ＶＳ１Ｇの画面中心に顔画像ＦＶが位置している場合、図１９（Ｂ）に示すように、その顔画像ＦＶに対応した音声の音像Ａが左スピーカＳＰＬ及び右スピーカＳＰＲの真中に位置することになる。

その後、図２０（Ａ）に示すように映像音声処理装置４１は、映像信号ＶＳ１に基づく映像ＶＳ１Ｇの画面中心から顔画像ＦＶが移動して画面右上隅に位置することになった場合、その顔画像ＦＶの画面中心からのずれ量に応じた定位角度ＲＡを求め、これを定位角度信号Ｆ１としてオーディオ信号処理部４４へ出力する。

オーディオ信号処理部４４は、定位角度信号Ｆ１から算出したズーム変数信号Ｚ３に応じてゲイン値Ｇを決定し、そのゲイン値Ｇを用いてサブバンド信号ＳＢＬ及びＳＢＲをゲイン調整することにより、図２０（Ｂ）に示すように当該顔画像ＦＶに対応した音像Ａを右スピーカＳＰＲ寄りの位置へ移動させる。

すなわち映像音声処理装置４１は、顔画像ＦＶの動きによって当該顔画像ＦＶが画面中心からずれることに合わせて、顔画像ＦＶを音源とする音像Ａを連続的に移動させ得るようになされている。

従って映像音声処理装置４１は、動画コンテンツの顔画像ＦＶの動きに合わせて音像Ａを連続的に移動させることにより、顔画像ＦＶとその音像Ａとの間の一体感が損なわれることを防止し、映像信号ＶＳ１に対応した映像ＶＳ１Ｇを視聴しているリスナーＬＮＲに対して違和感を生じさせることがないようになされている。

なお映像音声処理装置４１では、映像ＶＳ１Ｇ中の顔画像ＦＶの動きに合わせて音像Ａを動かすことに加えて、例えば顔画像ＦＶが画面下側に近づいたときは音像Ａの音量を下げ、画面上側に近づいたときは音像Ａの音量を上げるような音量調整処理を組み合わせることも可能であり、この場合には立体感及び臨場感を一段と向上させた音響効果をリスナーＬＮＲに体感させ得るようになされている。

因みに、音像Ａの音量を調整するためには、Ｌｃｈのサブバンド信号ＳＢＬ及びＲｃｈのサブバンド信号ＳＢＲの振幅レベルを双方共に上げるようにゲイン調整すれば良く、このときレベル比については変更しないようにすれば音像Ａの音像定位が変化することなく当該音像Ａの音量だけが増大することになる。

（４−４）顔画像の動きに連動した音像定位変更処理手順
次に、上述したような映像音声処理装置４１の映像信号ＶＳ１に応じた映像ＶＳ１Ｇ中の顔画像ＦＶの動きに連動させて、当該顔画像ＦＶに対応した音像Ａを動かすことによりその音像定位を変更する処理手順について図２１及び図２２のフローチャートを用いて説明する。

映像音声処理置４１のシステムコントローラ５は、ルーチンＲＴ３の開始ステップから入って次のステップＳＰ４１へ移り、メディア再生部２から供給された映像信号ＶＳ１がビデオ信号解析処理部４３によって解析可能であるか否かを判定し、否定結果が得られると次のステップＳＰ４２へ移り、肯定結果が得られると次のステップＳＰ４３へ移る。

ステップＳＰ４２においてシステムコントローラ５は、映像信号ＶＳ１をビデオ信号解析処理部４３で解析可能な信号形式に変換し、次のステップＳＰ４３へ移る。

ステップＳＰ４３においてシステムコントローラ５は、メディア再生部２からオーディオ信号処理部４４の分析フィルタバンク１１及び１２に入力されるＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１が音像定位を変更するための処理可能な信号形式であるか否かを判定する。

例えば、オーディオ信号ＬＳ１及びＲＳ１のサンプリング周波数が、オーディオ信号処理部４４で想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では音像定位の変更処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようになされている。

すなわちステップＳＰ４３で肯定結果が得られるとシステムコントローラ５はステップＳＰ４５へ移るのに対し、当該ステップＳＰ４３で否定結果が得られると、このことはオーディオ信号処理部４４がオーディオ信号ＬＳ１及びＲＳ１に対して音像定位の変更処理を実行することが出来ないことを表しており、このときシステムコントローラ５は次のステップＳＰ４４へ移る。

ステップＳＰ４４においてシステムコントローラ５は、オーディオ信号処理部４４によって音像定位の変更処理を実行することが可能な信号フォーマットにオーディオ信号ＬＳ１及びＲＳ１を変換し、次のステップＳＰ４５へ移る。

ステップＳＰ４５においてシステムコントローラ５は、メディア再生部２から供給された映像信号ＶＳ１をビデオ信号解析処理部４３で解析することにより、当該映像信号ＶＳ１に対応した映像ＶＳ１Ｇ中の顔画像ＦＶの位置を検出し、次のステップＳＰ４６へ移る。

ステップＳＰ４６においてシステムコントローラ５は、顔画像ＦＶが画面中のどのような位置に存在するかを検出できたか否かを判定する。ここで否定結果が得られると、このことは顔画像ＦＶが検出できていない以上、動画コンテンツの顔画像ＦＶの動きに合わせて音像Ａの音像定位を変更する必要が無いことを表しており、このときシステムコントローラ５はステップＳＰ５４（図２２）へ移る。

これに対してステップＳＰ４６で肯定結果が得られると、このことは顔画像ＦＶに対する画面中の位置を検出できたので、当該顔画像ＦＶの動きに合わせて音像Ａの音像定位を変更する必要があることを表しており、このときシステムコントローラ５は次のステップＳＰ４７へ移る。

ステップＳＰ４７においてシステムコントローラ５は、オーディオ信号処理部４４のズーム変数生成部４９によって、顔画像ＦＶの画面中心からのずれ量に応じた定位角度信号Ｆ１に基づきズーム変数信号Ｚ３を生成し、次のステップＳＰ４８へ移る。

ステップＳＰ４８においてシステムコントローラ５は、ズーム変数信号Ｚ３が意味するズーム変数が「０」であるか否かを判定する。

ここで肯定結果が得られると、このことはズーム変数が「０」すなわち顔画像ＦＶが画面中心に位置し、当該顔画像ＦＶの動きに合わせて音像Ａの音像定位を変更する必要がないことを表しており、このときシステムコントローラ５は音像定位の変更処理を行うことなく、ステップＳＰ５４（図２２）へ移る。

これに対してステップＳＰ４８で否定結果が得られると、このことはズーム変数が「０」以外すなわち顔画像ＦＶが画面中心に位置しておらず、当該顔画像ＦＶの動きに合わせて音像Ａの音像定位を変更する必要があることを表しており、このときシステムコントローラ５は音像定位の変更処理を行うべく次のステップＳＰ４９へ移る。

ステップＳＰ４９においてシステムコントローラ５は、メディア再生部２から供給されるＬｃｈのオーディオ信号ＬＳ１をオーディオ信号処理部４４の分析フィルタバンク１１によって複数の周波数帯域に分割すると共に、Ｒｃｈのオーディオ信号ＲＳ１をオーディオ信号処理部４４の分析フィルタバンク１２によって複数の周波数帯域に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、これを成分解析器１３Ａ〜１３ｎへ送出した後、次のステップＳＰ５０へ移る。

ステップＳＰ５０においてシステムコントローラ５は、成分解析器１３Ａ〜１３ｎのフーリエ変換機２１、２２（図３）によってサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをそれぞれフーリエ変換処理し、その結果得られる複素サブバンド信号ＳＢＬ１ｉ〜ＳＢＬｎｉ及びＳＢＲ１ｉ〜ＳＢＲｎｉを位相差算出器２３及びレベル比算出器２４へ送出した後、次のステップＳＰ５１へ移る。

ステップＳＰ５１においてシステムコントローラ５は、成分解析器１３Ａ〜１３ｎの位相差算出器２３及びレベル比算出器２４によって位相差θ１及びレベル比Ｃ１をそれぞれ算出し、それらをゲイン値算出器２５へ送出した後、次のステップＳＰ５２へ移る。

ステップＳＰ５２においてシステムコントローラ５は、位相差θ１、レベル比Ｃ１及びズーム変数信号Ｚ３のズーム変数に応じたゲイン値Ｇ１及びＧ２を決定し、これを用いてオーディオ信号処理部４４のゲイン器１４Ａ１〜１４ｎ２によりサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをゲイン調整し、その結果得られるサブバンド信号ＳＢＬ１１〜ＳＢＬｍｍを合成フィルタバンク１５へ送出すると共に、サブバンド信号ＳＢＲ１１〜ＳＢＲｎｎを合成フィルタバンク１６へ送出した後、次のステップＳＰ５３へ移る。

ステップＳＰ５３においてシステムコントローラ５は、合成フィルタバンク１５によって、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することによりＬｃｈのオーディオ信号ＬＤを生成すると共に、合成フィルタバンク１６によって、ゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することによりＲｃｈのオーディオ信号ＲＤを生成し、次のステップＳＰ５４へ移る。

ステップＳＰ５４においてシステムコントローラ５は、合成フィルタバンク１５及び１６から出力されるオーディオ信号ＬＤ及びＲＤに対して、後段のディジタルアナログ変換器によりディジタルアナログ変換処理を施した後、２個の左スピーカＳＰＬ及び右スピーカＳＰＲからそれぞれ出力し、次のステップＳＰ５５へ移る。なお、このときシステムコントローラ５は、オーディオ信号ＬＤ及びＲＤに対応した映像信号ＶＳ１を映像信号解析処理部４３から後段のモニタ（図示せず）へ出力させる。

このとき、左スピーカＳＰＬ用のオーディオ信号ＬＤに含まれるサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍと、右スピーカＳＰＲ用のオーディオ信号ＲＤに含まれるサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎとは、同じ周波数帯同士においてズーム変数に応じたレベル比や位相差が与えられているため、左スピーカＳＰＬ及び右スピーカＳＰＲから音声が出力された際に、顔画像ＦＶの動きに合わせて音像Ａの位置が移動され、その音像定位が変化することになる。

ステップＳＰ５５においてシステムコントローラ５は、メディア再生部２から分析フィルタバンク１１及び１２に入力される次のＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１が存在するか否かを判定し、否定結果が得られた場合、音像Ａの音像定位の変更処理を行うべき対象が存在しないため、次のステップＳＰ５７へ移って処理を終了する。

これに対してステップＳＰ５５で肯定結果が得られると、このことは音像Ａの音像定位の変更処理を行うべき次のオーディオ信号ＬＳ１及びＲＳ１が存在することを表しており、このときシステムコントローラ５は上述のズーム変数をリセットし、再度ステップＳＰ４１へ戻って当該ステップＳＰ４１以降の処理を繰り返す。

（４−５）第３の実施の形態における動作及び効果
以上の構成において、映像音声処理装置４１では、動画コンテンツにおける顔画像ＦＶの画面中心からのずれに合わせて、当該顔画像ＦＶに対応した音像Ａの音像定位を変更することにより、画面中心に顔画像ＦＶがあるときには左スピーカＳＰＬ及び右スピーカＳＰＲの真中付近に音像Ａを定位させ（図１９（Ｂ））、画面右上端に顔画像ＦＶが移動したときには右スピーカＳＰＲ寄りの位置に音像Ａを定位させるように当該音像Ａを動かすことができる（図２０（Ｂ））。

これにより映像音声処理装置４１は、動画コンテンツ中の顔画像ＦＶの動きに合わせた一定の音像変化パターンに従って音像Ａの定位位置を変化させることができるので、画面中の顔画像ＦＶの動きと、音像Ａの定位位置との間の一体感を生じさせ、立体感ある音響効果をリスナーＬＮＲに体感させることができる。

また映像音声処理装置４１は、動画コンテンツ中の顔画像ＦＶの動きに合わせて音像Ａの音像定位を変更することに加えて、例えば顔画像ＦＶが画面下側に近づいたときは音像Ａの音量を下げ、画面上側に近づいたときは音像Ａの音量を上げるような音量調整処理を組み合わせることにより、立体感及び臨場感を一段と向上させた音響効果をリスナーＬＮＲに体感させることができる。

以上の構成によれば、映像音声処理装置４１は、動画コンテンツにおける顔画像ＦＶの画面中心からのずれ量に合わせて、当該顔画像ＦＶに対応した音像Ａの音像定位を変更することにより、オリジナルの音質を変えることなく、顔画像ＦＶの動きに連動させた音像Ａの音像定位を実現し、立体感及び臨場感に優れた音場空間をリスナーＬＮＲに提供することができる。

（５）第４の実施の形態
（５−１）ディスク再生装置の構成
図２３において、５１は全体として第４の実施の形態におけるディスク再生装置を示し、マイクロコンピュータ構成のシステムコントロール部５６が所定のオーディオ信号処理プログラムに従って全体を統括制御し、例えば再生処理部５２によって光ディスク５９から再生した２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を、最終的に４チャンネルのマルチチャンネルオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒに変換して出力するようになされている。

実際上ディスク再生装置５１は、再生処理部５２により光ディスク５９を回転駆動し、当該光ディスク５９に記録された２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を読み出し、水晶発振回路５５から供給されるシステムクロックＰＣＬＫに同期したタイミングで当該オーディオ信号ＬＳ１及びＲＳ１をマルチチャンネル変換処理部５３へ送出する。

マルチチャンネル変換処理部５３は、再生処理部５２から供給されたオーディオ信号ＬＳ１及びＲＳ１を、システムコントロール部５６から受け取ったズーム変数信号Ｚ４に従って音像全体の拡がりを変更した計４チャンネルのマルチチャンネルオーディオ信号ＬＤＦ、ＬＤＲ、ＲＤＦ及びＲＤＲに変換し、これを後段のディジタルアナログ変換器５４へ送出する。

ディジタルアナログ変換器５４は、マルチチャンネル変換処理部５３から受け取ったマルチチャンネルオーディオ信号ＬＤＦ、ＬＤＲ、ＲＤＦ及びＲＤＲをディジタルアナログ変換し、その結果得られるアナログオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒを２個のフロントスピーカ及び２個のリアスピーカへ出力する。

またディスク再生装置５１は、リモートコマンダ５８を介してユーザのリモコン操作が行われると、それに応じた赤外線のリモコン信号をリモートコマンダ５８からリモコン受信／デコード部５７で受け取り、当該リモコン信号を復号し、それをシステムコントロール部５６へ受け渡す。

システムコントロール部５６は、リモコン受信／デコード部５７から供給されたリモコン信号の内容を解釈し、ユーザのリモコン操作に応じた制御を行うようにプログラムを実行するようになされており、リモートコマンダ５８を通じてユーザのチャンネル数変更操作に応じたズーム変数信号Ｚ４を生成し、これをマルチチャンネル変換処理部５３へ送出する。

（５−２）マルチチャンネル変換処理部の回路構成
図２との対応部分に同一符号を付した図２４に示すように、マルチチャンネル変換処理部５１は、第１の実施の形態におけるオーディオ信号処理部３と基本的構成は同じであるが、光ディスク５９から再生した２チャンネルのオーディオ信号ＬＳ１及びＲＳ１をフロント２チャンネル及びリア２チャンネルの計４チャンネルからなるマルチチャンネルオーディオ信号ＬＤＦ、ＬＤＲ、ＲＤＦ及びＲＤＲに変換する関係上、リアスピーカに対応させたリア２チャンネル分のゲイン器１４Ａ３、ゲイン器１４Ａ４、ゲイン器１４Ｂ３、ゲイン器１４Ｂ４、……、ゲイン器１４ｎ３、ゲイン器１４ｎ４及び合成フィルタバンク１５Ｒ及び１６Ｒが新たに追加された構成を有している。

ここでゲイン器１４Ａ３、ゲイン器１４Ａ４、ゲイン器１４Ｂ３、ゲイン器１４Ｂ４、……、ゲイン器１４ｎ３、ゲイン器１４ｎ４は、リア２チャンネルのマルチチャンネルオーディオ信号ＬＤＲ及びＲＤＲを生成するためのものであり、合成フィルタバンク１５Ｒ及び１６Ｒはディジタルアナログ変換器５４を介して２個のリアスピーカへオーディオ信号ＬＳ２Ｒ及びＲＳ２Ｒを出力するためのものである。

マルチチャンネル変換処理部５３は、Ｌｃｈのオーディオ信号ＬＳ１を入力する分析フィルタバンク１１及びＲｃｈのオーディオ信号ＲＳ１を入力する分析フィルタバンク１２を有し、当該分析フィルタバンク１１及び１２によってオーディオ信号ＬＳ１及びＲＳ１を複数の等帯域又は非等帯域の周波数帯域成分に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、それぞれ成分解析器１３Ａ、１３Ｂ、……、１３ｎへ送出する。

このときマルチチャンネル変換処理部５３は、分析フィルタバンク１１によって分割されたサブバンド信号ＳＢＬ１についてはゲイン器１４Ａ１及びゲイン器１４Ａ３へ出力し、サブバンド信号ＳＢＬ２についてはゲイン器１４Ｂ１及び１４Ｂ３へ出力し、サブバンド信号ＳＢＬｎについてはゲイン器１４ｎ１及びゲイン器１４ｎ３へ出力すると共に、分析フィルタバンク１２によって分割されたサブバンド信号ＳＢＲ１についてはゲイン器１４Ａ２及びゲイン器１４Ａ４へ出力し、サブバンド信号ＳＢＲ２についてはゲイン器１４Ｂ２及びゲイン器１４Ｂ４へ出力し、サブバンド信号ＳＢＲｎについてはゲイン器１４ｎ２及びゲイン器１４ｎ４へ出力する。

なお、分析フィルタバンク１１及び１２がオーディオ信号ＬＳ１及びＲＳ１を複数の周波数帯域に分割する方法としては、ＤＦＴフィルタバンク、ウェーブレットフィルタバンク、ＱＭＦ等のフィルタバンクと呼ばれる種々の手法がある。

ここで、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１とは同じ周波数帯域であり、双方共に成分解析器１３Ａへ送出される。同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２についても同じ周波数帯域であり、双方共に成分解析器１３Ｂへ送出される。さらに、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎについても同じ周波数帯域であり、双方共に成分解析器１３ｎへ送出される。

成分解析器１３Ａでは、Ｌｃｈのサブバンド信号ＳＢＬ１とＲｃｈのサブバンド信号ＳＢＲ１との位相差やレベル比を解析することによりサブバンド信号ＳＢＬ１及びＳＢＲ１に対応した音像の定位角度を推定し、その定位角度とシステムコントロール部５６から供給されるズーム変数信号Ｚ４とに応じてゲイン値Ｇ１、Ｇ１´、Ｇ２及びＧ２´を決定し、このゲイン値Ｇ１をゲイン器１４Ａ１へ送出し、ゲイン値Ｇ１´をゲイン器１４Ａ３へ送出し、ゲイン値Ｇ２をゲイン器１４Ａ２へ送出し、ゲイン値Ｇ２´をゲイン器１４Ａ４へ送出する。

ゲイン器１４Ａ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ１を乗算することによりサブバンド信号ＳＢＬ１１を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ａ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ２を乗算することによりサブバンド信号ＳＢＲ１１を生成し、これを合成フィルタバンク１６へ送出する。

同様にしてゲイン器１４Ａ３は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ１´を乗算することによりサブバンド信号ＳＢＬ１１´を生成し、これを合成フィルタバンク１５Ｒへ送出する。またゲイン器１４Ａ４は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ１に対して、成分解析器１３Ａから供給されたゲイン値Ｇ２´を乗算することによりサブバンド信号ＳＢＲ１１´を生成し、これを合成フィルタバンク１６Ｒへ送出する。

また成分解析器１３Ｂでも、成分解析器１３Ａと同様に、Ｌｃｈのサブバンド信号ＳＢＬ２とＲｃｈのサブバンド信号ＳＢＲ２との位相差やレベル比を解析することにより、サブバンド信号ＳＢＬ２及びＳＢＲ２に対応した音像の定位角度を推定し、その定位角度とシステムコントロール部５６から供給されるズーム変数信号Ｚ４とに応じてゲイン値Ｇ３、Ｇ３´、Ｇ４及びＧ４´を決定し、このゲイン値Ｇ３をゲイン器１４Ｂ１へ送出し、ゲイン値Ｇ３´をゲイン器１４Ｂ３へ送出し、ゲイン値Ｇ４をゲイン器１４Ｂ２へ送出し、ゲイン値Ｇ４´をゲイン器１４Ｂ４へ送出する。

ゲイン器１４Ｂ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ３を乗算することによりサブバンド信号ＳＢＬ２２を生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４Ｂ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ４を乗算することによりサブバンド信号ＳＢＲ２２を生成し、これを合成フィルタバンク１６へ送出する。

同様にしてゲイン器１４Ｂ３は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ３´を乗算することによりサブバンド信号ＳＢＬ２２´を生成し、これを合成フィルタバンク１５Ｒへ送出する。またゲイン器１４Ｂ４は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲ２に対して、成分解析器１３Ｂから供給されたゲイン値Ｇ４´を乗算することによりサブバンド信号ＳＢＲ２２´を生成し、これを合成フィルタバンク１６Ｒへ送出する。

さらに成分解析器１３ｎでも、成分解析器１３Ａ及び１３Ｂと同様に、Ｌｃｈのサブバンド信号ＳＢＬｎとＲｃｈのサブバンド信号ＳＢＲｎとの位相差やレベル比を解析することにより、サブバンド信号ＳＢＬｎ及びＳＢＲｎに対応した音像の定位角度を推定し、その定位角度とシステムコントロール部５６から供給されるズーム変数信号Ｚ４とに応じてゲイン値Ｇｍ、Ｇｍ´、Ｇｎ及びＧｎ´を決定し、このゲイン値Ｇｍをゲイン器１４ｎ１へ送出し、ゲイン値Ｇｍ´をゲイン器１４ｎ３へ送出し、ゲイン値Ｇｎをゲイン器１４ｎ２へ送出し、ゲイン値Ｇｎ´をゲイン器１４ｎ４へ送出する。

ゲイン器１４ｎ１は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｍを乗算することによりサブバンド信号ＳＢＬｍｍを生成し、これを合成フィルタバンク１５へ送出する。ゲイン器１４ｎ２は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｎを乗算することによりサブバンド信号ＳＢＲｎｎを生成し、これを合成フィルタバンク１６へ送出する。

同様にしてゲイン器１４Ｔｎ３は、分析フィルタバンク１１から供給されたサブバンド信号ＳＢＬｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｍ´を乗算することによりサブバンド信号ＳＢＬｍｍ´を生成し、これを合成フィルタバンク１５Ｒへ送出する。またゲイン器１４ｎ４は、分析フィルタバンク１２から供給されたサブバンド信号ＳＢＲｎに対して、成分解析器１３ｎから供給されたゲイン値Ｇｎ´を乗算することによりサブバンド信号ＳＢＲｎｎ´を生成し、これを合成フィルタバンク１６Ｒへ送出する。

合成フィルタバンク１５は、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することにより、フロント左スピーカへ出力するためのオーディオ信号ＬＤＦを生成し、これを後段のディジタルアナログ変換器５４へ出力する。同様に、合成フィルタバンク１６は、ゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することにより、フロント右スピーカへ出力するためのオーディオ信号ＲＤＦを生成し、これを後段のディジタルアナログ変換器５４へ出力する。

同様に、合成フィルタバンク１５Ｒは、ゲイン器１４Ａ３、１４Ｂ３、……、１４ｎ３から供給されたサブバンド信号ＳＢＬ１１´、ＳＢＬ２２´、……、ＳＢＬｍｍ´を合成することにより、リア左スピーカへ出力するためのオーディオ信号ＬＤＲを生成し、これを後段のディジタルアナログ変換器５４へ出力する。同様に、合成フィルタバンク１６Ｒは、ゲイン器１４Ａ４、１４Ｂ４、……、１４ｎ４から供給されたサブバンド信号ＳＢＲ１１´、ＳＢＲ２２´、……、ＳＢＲｎｎ´を合成することにより、リア右スピーカへ出力するためのオーディオ信号ＲＤＲを生成し、これを後段のディジタルアナログ変換器５４へ出力する。

これによりマルチチャンネル変換処理部５３では、メディア再生部２から供給された２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を、システムコントロール部５６から受け取ったズーム変数信号Ｚ４に従って音像全体の拡がりを変更した計４チャンネルのマルチチャンネルオーディオ信号ＬＤＦ、ＬＤＲ、ＲＤＦ及びＲＤＲに変換し、これらをディジタルアナログ変換器５４へ出力し得るようになされている。

なおマルチチャンネル変換処理部５３では、ユーザのリモートコマンダ５８に対するユーザのチャンネル数変更操作によるコマンド信号が与えられていないときは、ズーム変数信号Ｚ４がシステムコントロール部５６からマルチチャンネル変換処理部５３へ供給されることはなく、分析フィルタバンク１１から供給されるサブバンド信号ＳＢＬ１、ＳＢＬ２、……、ＳＢＬｎをゲイン調整せずにそのまま合成フィルタバンク１５へ送出すると共に、分析フィルタバンク１２から供給されるサブバンド信号ＳＢＲ１、ＳＢＲ２、……、ＳＢＲｎをゲイン調整せずにそのまま合成フィルタバンク１６へ送出するようになされている。

すなわち、この場合マルチチャンネル変換処理部５３は、メディア再生部２から供給された２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を、そのまま２チャンネルのオーディオ信号ＬＤＦ及びＲＤＦとしてディジタルアナログ変換器５３を介してフロント左スピーカ及びフロント右スピーカへ出力するようになされている。

（５−３）成分解析器の回路構成
次に、上述の成分解析器１３Ａ、１３Ｂ、……、１３ｎの回路構成について説明するが、全て同一の回路構成であると共に、上述した成分解析器１３Ａのゲイン値算出器２５がズーム変数信号Ｚ４に応じて４種類のゲイン値Ｇ１、Ｇ１´、Ｇ２及びＧ２´を算出して出力する以外は全て同一の処理を行うものであるため、ここでは便宜上、第４の実施の形態における成分解析器１３Ａの回路構成についてのみ説明し、他の成分解析器１３Ｂ、……、１３ｎについては省略する。

図２５に示すように成分解析器１３Ａは、分析フィルタバンク１１から供給されるサブバンド信号ＳＢＬ１をフーリエ変換器２１へ入力すると共に、分析フィルタバンク１２から供給されるサブバンド信号ＳＢＲ１をフーリエ変換器２２へ入力する。

フーリエ変換器２１及び２２では、サブバンド信号ＳＢＬ１及びＳＢＲ１をそれぞれフーリエ変換処理し、その結果得られる複素サブバンド信号ＳＢＬ１ｉ及びＳＢＲ１ｉをそれぞれ位相差算出器２３及びレベル比算出器２４へ送出する。

位相差算出器２３は、フーリエ変換器２１から供給される複素サブバンド信号ＳＢＬ１ｉとフーリエ変換器２２から供給される複素サブバンド信号ＳＢＲ１ｉとの位相差θ１を算出し、その位相差θ１をゲイン値算出器２５へ送出する。

レベル比算出器２４は、フーリエ変換器２１から供給される複素サブバンド信号ＳＢＬ１ｉとフーリエ変換器２２から供給される複素サブバンド信号ＳＢＲ１ｉとのレベル比Ｃ１を算出し、そのレベル比Ｃ１をゲイン値算出器２５へ送出する。

ゲイン値算出器２５では、位相差算出器２３から供給される位相差θ１、レベル比算出器２４から供給されるレベル比Ｃ１及びシステムコントロール部５６（図２３）から供給されるズーム変数信号Ｚ４に応じたゲイン値Ｇ１、Ｇ１´、Ｇ２及びＧ２´をそれぞれ決定し、これを出力するようになされている。

これにより成分解析器１３Ａは、ゲイン器１４Ａ１（図２４）によってゲイン値Ｇ１が乗算されたときのサブバンド信号ＳＢＬ１１と、ゲイン器１４Ａ２（図２４）によってゲイン値Ｇ２が乗算されたときのサブバンド信号ＳＢＲ１１との位相差やレベル比を信号処理前よりも大きく又は小さくすることができる。

同様に成分解析器１３Ａは、ゲイン器１４Ａ３（図２４）によってゲイン値Ｇ１´が乗算されたときのサブバンド信号ＳＢＬ１１´と、ゲイン器１４Ａ４（図２４）によってゲイン値Ｇ２´が乗算されたときのサブバンド信号ＳＢＲ１１´との位相差やレベル比を信号処理前よりも大きく又は小さくすることができる。

かくしてマルチチャンネル変換処理部５３は、合成フィルタバンク１５を介して合成されたサブバンド信号ＳＢＬ１１の含まれているオーディオ信号ＬＤＦ及び合成フィルタバンク１６を介して合成されたサブバンド信号ＳＢＲ１１の含まれているオーディオ信号ＲＤＦに応じた音声をフロント左スピーカ及びフロント右スピーカからそれぞれ出力したとき、サブバンド信号ＳＢＬ１１及びＳＢＲ１１の周波数帯に対応する音像を拡げたり或いは狭める等の変更を容易に実行し得るようになされている。

またマルチチャンネル変換処理部５３は、合成フィルタバンク１５Ｒを介して合成されたサブバンド信号ＳＢＬ１１´の含まれているオーディオ信号ＬＤＲ及び合成フィルタバンク１６Ｒを介して合成されたサブバンド信号ＳＢＲ１１´の含まれているオーディオ信号ＲＤＲに応じた音声をリア左スピーカ及びリア右スピーカからそれぞれ出力したとき、サブバンド信号ＳＢＬ１１´及びＳＢＲ１１´の周波数帯に対応する音像を拡げたり或いは狭める等の変更を容易に実行し得るようになされている。

（５−４）マルチチャンネル化したときの音像定位の変化
このような構成のディスク再生装置５１においては、図２６に示すように、光ディスク５９から再生した２チャンネルのオーディオ信号ＬＳ１及びＲＳ１をフロント左スピーカＦＳＰＬ及びフロント右スピーカＦＳＰＲから出力し、フロント左スピーカＦＳＰＬ及びフロント右スピーカＦＳＰＲの間で音像Ａ〜音像Ｅを定位させているマルチチャンネル化前の状態を基準として説明する。

ディスク再生装置５１では、２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を４チャンネル化すると共に、フロント左スピーカＦＳＰＬ及びフロント右スピーカＦＳＰＲに加えてリア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲを用いるようにする。

この場合ディスク再生装置５１では、マルチチャンネル変換処理部５３により、２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を４チャンネルのマルチチャンネルオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒに変換し、これをそれぞれフロント左スピーカＦＳＰＬ、フロント右スピーカＦＳＰＲ、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲから音声出力する。

この４チャンネルのマルチチャンネルオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒは、マルチチャンネル変換処理部５３により、それぞれ異なるゲイン値Ｇ１、Ｇ１´、Ｇ２及びＧ２´によってゲイン調整されているので、例えば図２７に示すように、フロント左スピーカＦＳＰＬ、フロント右スピーカＦＳＰＲ、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲから出力された音声の音像Ａ〜音像ＥがリスナーＬＮＲの周囲を取り囲むような位置に移動されて音像全体が拡がることになる。

このようにディスク再生装置５１では、２チャンネルのオーディオ信号ＬＳ１及びＲＳ１だけのときは、リスナーＬＮＲの前面に音像Ａ〜音像Ｅが定位していたので立体感が乏しい状態であったが、４チャンネルのマルチチャンネルオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒに変換し、これをそれぞれフロント左スピーカＦＳＰＬ、フロント右スピーカＦＳＰＲ、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲから出力するようにしたことにより、例えばリスナーＬＮＲの左側に音像Ａを定位させ、かつリスナーＬＮＲの右側に音像Ｅを定位させることができるので、マルチチャンネル化前よりもマルチチャンネル化後の音像Ａ〜音像Ｅが大きく拡がって、音声の立体感を一段と向上させることができる。

一方、ディスク再生装置５１では、２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を４チャンネル化する際、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲに供給するオーディオ信号ＬＳ２Ｒ及びＲＳ２Ｒのゲインを０にして、フロント左スピーカＦＳＰＬ及びフロント右スピーカＦＳＰＲに供給するオーディオ信号ＬＳ２Ｆ及びＲＳ２Ｆのレベル比や位相差を調整することにより、例えば４チャンネル分のスピーカを有していながら、フロント左スピーカＦＳＰＬ及びフロント右スピーカＦＳＰＲの間で音像Ａ〜音像Ｅを均等に狭めるように定位させることもできる。

（５−５）マルチチャンネル化に伴う音像定位変更処理手順
次に、上述したような２チャンネルから４チャンネルに変換するマルチチャンネル化を行う際に、音像Ａ〜音像Ｅの音像定位についても変更する処理手順について図２９のフローチャートを用いて説明する。

ディスク再生装置５１のシステムコントロール部５６は、ルーチンＲＴ４の開始ステップから入って次のステップＳＰ６１へ移り、光ディスク５９から再生したＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１がマルチチャンネル変換処理部５３により音像定位を変更するための処理可能な信号形式であるか否かを判定する。

例えば、オーディオ信号ＬＳ１及びＲＳ１がＭＰ３等の圧縮方式によって圧縮された信号である場合や、ディスク再生装置５１で想定している信号フォーマットのサンプリング周波数と異なるような場合には、そのままの信号形式では定位角度の変更処理を実行することが出来ないので、処理可能な信号フォーマットに変換するようになされている。

すなわちステップＳＰ６１で肯定結果が得られるとシステムコントロール部５６は次のステップＳＰ６２へ移るのに対し、当該ステップＳＰ６１で否定結果が得られると、このことはマルチチャンネル変換処理部５３がオーディオ信号ＬＳ１及びＲＳ１に対して音像定位の変更処理を実行することができないことを表しており、このときシステムコントロール部５６は次のステップＳＰ６２へ移る。

ステップＳＰ６２においてシステムコントロール部５６は、音像定位の変更処理を実行することが可能な信号フォーマットにオーディオ信号ＬＳ１及びＲＳ１を変換し、次のステップＳＰ６３へ移る。

ステップＳＰ６３においてシステムコントロール部５６は、リモートコマンダ５８（図２３）に対するユーザの操作に応じてマルチチャンネル変換処理部５３へ出力するズーム変数信号Ｚ４のズーム変数が「０」であるか否かを判定する。

ここで肯定結果が得られると、このことはズーム変数が「０」すなわちマルチチャンネル化に伴い、音像定位の変更処理を行うためのコマンド信号がリモートコマンダ５８から供給されていないことを表しており、このときシステムコントロール部５６はマルチチャンネル変換処理部５３に対してマルチチャンネル化及び音像定位の変更処理を行わせることなく、ステップＳＰ６９へ移る。

これに対してステップＳＰ６３で否定結果が得られると、このことはズーム変数が「０」以外すなわち音像定位の変更処理を行うためのコマンド信号がリモートコマンダ５８から供給されていることを表しており、このときシステムコントロール部５６はマルチチャンネル変換処理部５３に対してマルチチャンネル化及び音像定位の変更処理を行わせるべく、次のステップＳＰ６４へ移る。

ステップＳＰ６４においてシステムコントロール部５６は、Ｌｃｈのオーディオ信号ＬＳ１をマルチチャンネル変換処理部５３の分析フィルタバンク１１によって複数の周波数帯域に分割すると共に、Ｒｃｈのオーディオ信号ＲＳ１を分析フィルタバンク１２によって複数の周波数帯域に分割することにより複数のサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎを生成し、これを成分解析器１３Ａ〜１３ｎのフーリエ変換器２１、２２へ送出した後、次のステップＳＰ６５へ移る。

ステップＳＰ６５においてシステムコントロール部５６は、成分解析器１３Ａ〜１３ｎのフーリエ変換機２１、２２によってサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをそれぞれフーリエ変換処理し、その結果得られる複素サブバンド信号ＳＢＬ１ｉ〜ＳＢＬｎｉ及びＳＢＲ１ｉ〜ＳＢＲｎｉを位相差算出器２３及びレベル比算出器２４へ送出した後、次のステップＳＰ６６へ移る。

ステップＳＰ６６においてシステムコントロール部５６は、成分解析器１３Ａ〜１３ｎの位相差算出器２３及びレベル比算出器２４によって位相差θ１及びレベル比Ｃ１をそれぞれ算出し、それらをゲイン値算出器２５へ送出した後、次のステップＳＰ６７へ移る。

ステップＳＰ６７においてシステムコントロール部５６は、位相差θ１、レベル比Ｃ１及びズーム変数信号Ｚ４のズーム変数に応じた４種類のゲイン値を成分解析器１３Ａ〜１３ｎのゲイン値算出器２５によって生成させ、これを用いてマルチチャンネル変換処理部５３の各ゲイン器１４によりサブバンド信号ＳＢＬ１〜ＳＢＬｎ、ＳＢＲ１〜ＳＢＲｎをゲイン調整し、その結果得られるサブバンド信号ＳＢＬ１１〜ＳＢＬｍｍを合成フィルタバンク１５へ送出し、サブバンド信号ＳＢＬ１１´〜ＳＢＬｍｍ´を合成フィルタバンク１５Ｒへ送出し、サブバンド信号ＳＢＲ１１〜ＳＢＲｎｎを合成フィルタバンク１６へ送出すると共に、サブバンド信号ＳＢＲ１１´〜ＳＢＲｎｎ´を合成フィルタバンク１６Ｒへ送出した後、次のステップＳＰ６８へ移る。

ステップＳＰ６８においてシステムコントロール部５６は、合成フィルタバンク１５によって、ゲイン器１４Ａ１、１４Ｂ１、……、１４ｎ１から供給されたサブバンド信号ＳＢＬ１１、ＳＢＬ２２、……、ＳＢＬｍｍを合成することによりフロント左スピーカＦＳＰＬ用のオーディオ信号ＬＤＦを生成し、合成フィルタバンク１６によってゲイン器１４Ａ２、１４Ｂ２、……、１４ｎ２から供給されたサブバンド信号ＳＢＲ１１、ＳＢＲ２２、……、ＳＢＲｎｎを合成することによりフロント右スピーカＦＳＰＲ用のオーディオ信号ＲＤＦを生成し、合成フィルタバンク１５Ｒによってゲイン器１４Ａ３、１４Ｂ３、……、１４ｎ３から供給されたサブバンド信号ＳＢＬ１１´、ＳＢＬ２２´、……、ＳＢＬｍｍ´を合成することによりリア左スピーカＲＳＰＬ用のオーディオ信号ＬＤＲを生成し、合成フィルタバンク１６Ｒによってゲイン器１４Ａ４、１４Ｂ４、……、１４ｎ４から供給されたサブバンド信号ＳＢＲ１１´、ＳＢＲ２２´、……、ＳＢＲｎｎ´を合成することによりリア右スピーカＲＳＰＲ用のオーディオ信号ＲＤＲを生成した後、次のステップＳＰ６９へ移る。

ステップＳＰ６９においてシステムコントロール部５６は、マルチチャンネル変換処理部５３の合成フィルタバンク１５、１５Ｒ、１６及び１６Ｒからそれぞれ出力される４チャンネル分のオーディオ信号ＬＤＦ、ＬＤＲ、ＲＤＦ及びＲＤＲに対してディジタルアナログ変換器５４によりディジタルアナログ変換処理を施した後、フロント左スピーカＦＳＰＬ、フロント右スピーカＦＳＰＲ、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲからそれぞれ音声を出力させ、次のステップＳＰ７０へ移る。

ステップＳＰ７０においてシステムコントロール部５６は、続いてマルチチャンネル変換処理部５３の分析フィルタバンク１１及び１２に入力される次のＬｃｈのオーディオ信号ＬＳ１及びＲｃｈのオーディオ信号ＲＳ１が存在するか否かを判定し、否定結果が得られた場合、マルチチャンネル化に伴って音像定位の変更処理を行うべき対象が存在しないため、次のステップＳＰ７２へ移って処理を終了する。

これに対してステップＳＰ７０で肯定結果が得られると、このことはマルチチャンネル化に伴って音像定位の変更処理を行うべき次のオーディオ信号ＬＳ１及びＲＳ１が存在することを表しており、このときシステムコントロール部５６は上述のズーム変数をリセットし、再度ステップＳＰ６１へ戻って当該ステップＳＰ６１以降の処理を繰り返す。

（５−６）第４の実施の形態における動作及び効果
以上の構成において、第４の実施の形態におけるディスク再生装置５１では、２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を４チャンネルにマルチチャンネル化する際、それぞれ異なるゲイン値Ｇ１、Ｇ１´、Ｇ２及びＧ２´によってゲイン調整したマルチチャンネルオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒを生成するようにしたことにより、当該４チャンネルのマルチチャンネルオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒをフロント左スピーカＦＳＰＬ、フロント右スピーカＦＳＰＲ、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲからそれぞれ出力したとき、２チャンネル分のフロント左スピーカＦＳＰＬ及びフロント右スピーカＦＳＰＲだけを用いたときに比べて音像Ａ〜音像Ｅからなる音像全体を格段に拡げることができる。

このようにディスク再生装置５１では、フロント左スピーカＦＳＰＬ及びフロント右スピーカＦＳＰＲだけではなく、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲ側にもかけて音像Ａ〜音像Ｅからなる音像を全体的に拡げることができる分、音像Ａ〜音像ＥによってリスナーＬＮＲを前方向及び横方向から取り囲むような立体的な音場空間を生成することができる。

以上の構成によれば、ディスク再生装置５１では、２チャンネルのオーディオ信号ＬＳ１及びＲＳ１を、ズーム変数に応じた４種類の異なる値のゲイン値によってゲイン調整することにより４チャンネルのマルチチャンネルオーディオ信号ＬＳ２Ｆ、ＬＳ２Ｒ、ＲＳ２Ｆ及びＲＳ２Ｒを生成し、これをフロント左スピーカＦＳＰＬ、フロント右スピーカＦＳＰＲ、リア左スピーカＲＳＰＬ及びリア右スピーカＲＳＰＲからそれぞれ出力することにより、２チャンネルのときに定位する音像Ａ〜音像Ｅを一段と大きく拡げ、マルチチャンネル化に伴って格段的にサラウンド効果を向上させることができる。

（６）他の実施の形態
なお上述の第１〜第４の実施の形態においては、３５００[Hz]以下の周波数帯のオーディオ信号については位相差を調整し、３５００[Hz]を超える周波数帯のオーディオ信号についてはレベル比を調整することにより音像の定位位置を変更するようにした場合について述べたが、本発明はこれに限らず、位相差及びレベル比の双方を調整することにより音像の定位位置を変更するようにしても良い。

また上述の第１の実施の形態においては、音像Ａ〜音像Ｅの定位角度が左右９０度よりも内側にある場合に、その音像Ａ及び音像Ｅに対応したサブバンド信号を出力するようにした場合について述べたが、本発明はこれに限らず、左右９０度の外側にある音像に対応したサブバンド信号を出力したり、また定位角度の範囲を左右９０度よりも大きくしたり、小さくしたり任意に変更するようにしても良い。

さらに上述の第１の実施の形態においては、ズーム変数の例として、「−１」、「−０．５」、「０」、「＋０．５」、「＋１」に対応した５個のパターンに応じて信号処理前の定位角度を変更するようにした場合について述べたが、本発明はこれに限らず、全体の音像Ａ〜音像Ｅの拡がりとしては連続的に変更することが可能であり、ズーム変数自体としては連続的なその他種々の値に対応したパターンに応じて定位角度を変更するようにしても良い。

さらに上述の第２の実施の形態においては、撮像装置３１が２本のステレオマイク３８を使用するようにした場合について述べたが、本発明はこれに限らず、２本のモノラルマイクを組み合わせて使用したり、３本以上のモノラルマイクを組み合わせて使用するようにしても良い。

さらに上述の第２の実施の形態においては、撮像装置３１が２本のステレオマイク３８を用いた２チャンネル構成とするようにした場合について述べたが、本発明はこれに限らず、２チャンネル以上であれば、４チャンネル等のその他種々のチャンネル数構成とするようにしても良い。

さらに上述の第２の実施の形態においては、撮像装置３１が２本のステレオマイク３８を介して集音したアナログステレオオーディオ信号ＡＬＳ１及びＡＲＳ１をアナログディジタル変換器３９によりディジタルステレオオーディオ信号ＤＬＳ１及びＤＲＳ１に変換し、これをオーディオ信号処理部４０により信号処理するようにした場合について述べたが、本発明はこれに限らず、アナログディジタル変換器３９を用いることなくアナログステレオオーディ信号ＡＬＳ１及びＡＲＳ１のままオーディオ信号処理部４０により信号処理するようにしても良い。

さらに上述の第２の実施の形態においては、ズームスイッチ３７により被写体を拡大して撮像する映像ズーム機構に連動させるように音像Ａ〜音像Ｅの拡がりを変更するようにした場合について述べたが、本発明はこれに限らず、ズームスイッチ３７により被写体を縮小して撮像する映像ズーム機構に連動させるように音像Ａ〜音像Ｅの拡がりを狭めるようにしても良い。

さらに上述の第３の実施の形態においては、２ｃｈのオーディオ信号ＬＳ１及びＲＳ１を用いるようにした場合について述べたが、本発明はこれに限らず、２チャンネル以上であれば５．１ｃｈ等のその他種々のチャネル数のオーディオ信号を用いるようにしても良い。

さらに上述の第３の実施の形態においては、画面中に存在する顔画像ＦＶを検出し、その動きに合わせて音像Ａの音像定位を変化させるようにした場合について述べたが、本発明はこれに限らず、動画コンテンツの映像中に登場した音源となる例えば自動車画像を検出し、その動きに合わせて当該自動車画像に対応する音像の音像定位を変化させるようにしても良い。

さらに上述の第３の実施の形態においては、画面中に存在する顔画像ＦＶを検出し、その動きに合わせて音像Ａを移動させるようにした場合について述べたが、本発明はこれに限らず、画面が切り換わる際のシーンチェンジ検出を行い、そのシーンチェンジの仕方に合わせた音像変化パターンを生成し、その音像変化パターンに従って音像を移動させるようにしても良い。

さらに上述の第４の実施の形態においては、音像Ａ〜音像ＥによってリスナーＬＮＲを前方向及び横方向から取り囲むような立体的な音場空間を生成するようにした場合について述べたが、本発明はこれに限らず、例えば図３０に示すように、音像Ａや音像ＥをリスナーＬＮＲの後方向に定位させ、音像Ｂ及び音像ＤをリスナーＬＮＲの横方向に定位させることにより、当該リスナーＬＮＲを前後左右から取り囲むような立体的な音場空間を生成するようにしても良い。

さらに上述の第４の実施の形態においては、音像Ａ〜音像Ｅの音像定位を均等に拡げたり、狭めたりするようにした場合について述べたが、本発明はこれに限らず、図３１に示すように、中央付近の音像Ｃを拡げ、両端の音像Ａ及び音像Ｅを狭めたり、或いは図３２に示すように、中央付近の音像Ｃを狭め、両端の音像Ａ及び音像Ｅを拡げるようにしても良い。

さらに上述の第４の実施の形態においては、２チャンネルから４チャンネルへマルチチャンネル化するようにした場合について述べたが、本発明はこれに限らず、元となるチャンネル数は２チャンネル以上であれば５．１チャンネル等の多チャンネルであれば良く、また変換後のチャンネル数についても２チャンネル以上であれば９．１チャンネル等の多チャンネルであれば良い。なお、この場合、２つのチャンネルから１つのチャンネルを生成しても良く、また１つのチャンネルから３つのチャンネルを生成するようにしても良い。

さらに上述の第１〜４の実施の形態においては、室内等の音場空間で、聴取者が所定の角度に定位していると感じる音像定位の定位位置を変更して音像全体の拡がりを制御するようにした場合について述べたが、本発明はこれに限らず自動車等の室内空間における音像全体の拡がりを制御するようにしても良い。

さらに上述の第１〜４の実施の形態においては、分割手段としての分析フィルタバンク１１及び１２、位相差算出手段としての位相差算出器２３、レベル比算出手段としてのレベル比算出器２４、音像定位推定手段としてのシステムコントローラ５、制御手段としてのシステムコントローラ５及びオーディオ信号処理部３によって本発明のオーディオ信号処理装置を実現するようにした場合について述べたが、本発明はこれに限らず、その他種々の分割手段、位相差算出手段、レベル比算出手段、音像定位推定手段及び制御手段によって本発明のオーディオ信号処理装置を実現するようにしても良い。

本発明のオーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラムは、例えば室内等の音場空間に限らず、屋外空間における音像全体の拡がりを制御するオーディオ装置に適用することができる。

第１の実施の形態における再生装置の構成を示す略線的ブロック図である。 第１の実施の形態におけるオーディオ信号処理部の回路構成を示す略線的ブロック図である。 成分解析器の回路構成を示す略線的ブロック図である。 再マッピング前の音像定位を示す略線図である。 各音像が均等に拡げられた音像定位を示す略線図である。 各音像が均等に狭められた音像定位を示す略線図である。 再マッピング前後の定位角度の関係（１）を示す略線図である。 中央付近の音像が拡げられ両端の音像が狭められた音像定位を示す略線図である。 中央付近の音像が狭められ両端の音像が拡げられた音像定位を示す略線図である。 再マッピング後の定位角度の関係（２）を示す略線図である。 第１の実施の形態における定位角度変更処理手順の説明に供するフローチャートである。 第２の実施の形態における撮像装置の構成を示す略線図である。 第２の実施の形態におけるオーディオ信号処理部の回路構成を示す略線的ブロック図である。 映像ズーム機構によるズーム操作の説明に供する略線図である。 ズーム変更前後の音像定位を示す略線図である。 第２の実施の形態における映像ズームに連動した音像定位変更処理手順の説明に供するフローチャートである。 第３の実施の形態における映像音声処理装置の構成を示す略線図である。 第３の実施の形態におけるオーディオ信号処理部の回路構成を示す略線的ブロック図である。 顔画像が画面中心に位置するときの音像定位を示す略線図である。 顔画像が画面中心に位置しないときの音像定位を示す略線図である。 第３の実施の形態における音像定位変更処理手順（１）の説明に供するフローチャートである。 第３の実施の形態における音像定位変更処理手順（２）の説明に供するフローチャートである。 第４の実施の形態におけるディスク再生装置の構成を示す略線図である。 第４の実施の形態におけるマルチチャンネル変換処理部の回路構成を示す略線的ブロック図である。 第４の実施の形態における成分解析器の回路の構成を示す略線的ブロック図である。 マルチチャンネル化前の音像定位を示す略線図である。 各音像が均等に拡げられた音像定位を示す略線図である。 各音像が均等に狭められた音像定位を示す略線図である。 第４の実施の形態における音像定位変更処理手順の説明に供するフローチャートである。 他の実施の形態における４チャンネル化したときの音像定位（１）を示す略線図である。 他の実施の形態における４チャンネル化したときの音像定位（２）を示す略線図である。 他の実施の形態における４チャンネル化したときの音像定位（３）を示す略線図である。

符号の説明

１……再生装置、２……メディア再生部、３、４０、４４……オーディオ信号処理部、４、５４……ディジタルアナログ変換器、５……システムコントローラ、６……操作部、１１、１２……分析フィルタバンク、１３……成分解析器、１４……ゲイン器、１５、１６……合成フィルタバンク、２１、２２……フーリエ変換器、２３……位相差算出器、２４……レベル比算出器、２５……ゲイン値算出器、３１……撮像装置、３２……レンズブロック部、３３……ＣＣＤ、３４……ビデオ信号処理部、３５……レンズ駆動回路、３６……オートフォーカス検波器、３７……ズームスイッチ、３８……ステレオマイク、３９……アナログディジタル変換器、４１……映像音声処理装置、４３……ビデオ信号解析処理部、４９……ズーム変数生成部、５１……ディスク再生装置、５２……再生処理部、５３……マルチチャンネル変換処理部、５６……システムコントロール部、５７……リモコン受信／デコード部、５８……リモートコマンダ。

Claims (8)

1. 少なくとも２チャンネル以上のオーディオ信号をそれぞれ複数の周波数帯域に分割する分割手段と、
   上記分割手段により分割された上記複数の周波数帯域ごとに上記２チャンネル以上のオーディオ信号における位相差をそれぞれ算出する位相差算出手段と、
   上記分割手段により分割された上記複数の周波数帯域ごとに上記２チャンネル以上のオーディオ信号におけるレベル比をそれぞれ算出するレベル比算出手段と、
   上記レベル比又は上記位相差に基づいて上記複数周波数帯域ごとの音像定位を推定する音像定位推定手段と、
   上記レベル比又は上記位相差を調整することにより上記音像定位推定手段によって推定した上記複数周波数帯域ごとの音像定位を制御する制御手段と
   を具えることを特徴とするオーディオ信号処理装置。
2. 上記制御手段は、上記複数周波数帯域ごとの各音像定位を均等に拡げる又は狭める
   ことを特徴とする請求項１に記載のオーディオ信号処理装置。
3. 上記制御手段は、上記複数周波数帯域ごとの各音像定位を非均等に拡げる又は狭める
   ことを特徴とする請求項１に記載のオーディオ信号処理装置。
4. 上記制御手段は、上記オーディオ信号と同期した映像に対するズーム変更動作に応じて上記レベル比又は上記位相差を調整する
   ことを特徴とする請求項１に記載のオーディオ信号処理装置。
5. 上記制御手段は、上記オーディオ信号と同期した映像中に存在する所定の音源画像の画面中心からのずれ量に応じて上記レベル比又は上記位相差を調整する
   ことを特徴とする請求項１に記載のオーディオ信号処理装置。
6. 上記オーディオ信号処理装置は、
   上記分割手段によって分割された上記複数の周波数帯域毎に複数のゲイン値を用いてそれぞれ異なるゲイン調整を行うことにより、２チャンネル以上のオーディオ信号を更に多くの多チャンネル数からなるマルチチャンネルオーディオ信号に変換するマルチチャンネル変換手段と
   を具え、
   上記制御手段は、上記マルチチャンネルオーディオ信号における上記レベル比又は上記位相差を調整する
   ことを特徴とする請求項１に記載のオーディオ信号処理装置。
7. 少なくとも２チャンネル以上のオーディオ信号をそれぞれ複数の周波数帯域に分割する分割ステップと、
   上記分割ステップで分割された上記複数の周波数帯域ごとに上記２チャンネル以上のオーディオ信号における位相差をそれぞれ算出する位相差算出ステップと、
   上記分割ステップで分割された上記複数の周波数帯域ごとに上記２チャンネル以上のオーディオ信号におけるレベル比をそれぞれ算出するレベル比算出ステップと、
   上記レベル比又は上記位相差に基づいて上記複数周波数帯域ごとの音像定位を推定する音像定位推定ステップと、
   上記レベル比又は上記位相差を調整することにより上記音像定位推定ステップで推定した上記複数周波数帯域ごとの音像定位を制御する制御ステップと
   を具えることを特徴とするオーディオ信号処理方法。
8. 音声信号処理装置に対して、
   少なくとも２チャンネル以上のオーディオ信号をそれぞれ複数の周波数帯域に分割する分割ステップと、
   上記分割ステップで分割された上記複数の周波数帯域ごとに上記２チャンネル以上のオーディオ信号における位相差をそれぞれ算出する位相差算出ステップと、
   上記分割ステップで分割された上記複数の周波数帯域ごとに上記２チャンネル以上のオーディオ信号におけるレベル比をそれぞれ算出するレベル比算出ステップと、
   上記レベル比又は上記位相差に基づいて上記複数周波数帯域ごとの音像定位を推定する音像定位推定ステップと、
   上記レベル比又は上記位相差を調整することにより上記音像定位推定ステップで推定した上記複数周波数帯域ごとの音像定位を制御する制御ステップと
   を実行させることを特徴とするオーディオ信号処理プログラム。

Images