JP2004180197A - 情報処理装置、情報処理方法および記録媒体 - Google Patents

Abstract

【課題】複数マイク（ステレオ）で録音録画を行なったデータを再生する際、再生画像の注目する点を指示することにより、その方向の音の焦点を当てた再生を行う。音へのフォーカシングはマイクロフォンアレーの技術を用いる。これにより、画像が注目する方向とは別で、かつ任意な方向にフォーカスを当てることができる。
【解決手段】複数のマイクからなるマイクロホンアレーと、前記マイクロホンアレーを構成する個々のマイクロホンからの入力音響信号を、マイクロホンごと保持する複数の保持手段と、位置情報を入力する入力手段と、前記保持された複数チャンネルの音響信号を用い前記取得位置方向へ音響的なフォーカスを行うフォーカス手段を持つ。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
音情報および画像情報の両方を収録可能な情報記録装置一般に利用可能である。
【０００２】
特にマイクロホンアレーを収音に利用した情報記録装置に関する。
【０００３】
【従来の技術】
近年マイクロホンアレーを利用し、音の収集時に指向特性を制御できる技術の開発が行われている。従来も単一指向性マイクロホンなど音圧傾度を利用した指向性マイクなどアナログによる処理によるものが存在したが、近年デジタル信号処理が高速化したことにより、デジタル制御技術を導入した指向性制御が行われるようになってきた。具体的なデジタル制御技術による指向性制御については例えば日本音響学会誌５１巻第５号、 ｐｐ。３９０−３９４「マイクロホンアレーによる指向性制御」に詳しい。
【０００４】
またマイクロホンアレーをビデオカメラに利用した場合の発明も種々提案されている。例えば「特開平５−３０８５５３」においては、指向特性を制御できるマイクロホンと、ビデオカメラの被写体へのフォーカシングに同期して指向性マイクロホンの指向特性を被写体にフォーカシングする音声信号フォーカス処理部を備えることを特徴とするビデオカメラについて開示されている。この技術によればある被写体に対し、画像的にフォーカスすれば、音もフォーカスされるという効果が得られる。
【０００５】
また「特開２０００−１９６９４１」によれば、ビデオカメラとマイクを備えるシステムにおいて、録画中にモニター用画面上で音のフォーカスを行いたい点をユーザが示せば、その点へ音のフォーカスをするという技術が開示されている。
【０００６】
【発明が解決しようとする課題】
上記、特開平５−３０８５５３では、カメラが向く方向にたいし音もフォーカスすることは出来るが、カメラの向く方向と別方向に音のフォーカスを当てることはできない。また特開２０００−１９６９４１においては、ユーザは収録時にモニターに出力された画像に対して操作することにより、カメラ方向とは別の方向に音のフォーカスを向けることは可能であるが、収録後の再生時にユーザが指示する任意の点へ、音のフォーカスを行うことは不可能であった。
【０００７】
本発明では上記の点を可能とすることを目的とする。すなわち、収録時ではなく、再生時に事後的にユーザが指示する任意の方向に対し音のフォーカスができる装置を提供する。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。
【０００９】
すなわち、
請求項１にかかる情報処理装置は、
複数のマイクからなるマイクロホンアレーと、前記マイクロホンアレーを構成する個々のマイクロホンからの入力音響信号を、マイクロホンごと保持する複数の保持手段と、位置情報を入力する入力手段と、前記保持された複数チャネルの音響信号を用い前記取得位置方向へ音響的なフォーカスを行うフォーカス手段を持つ。
【００１０】
請求項２にかかる情報処理装置は、
第１の装置において、音響的なフォーカスを行った信号をフィードバックするフィードバック手段と、フォーカス方向を変動させ、前記フィードバック信号から最大出力が得られる方向を定める方向決定手段と、前記決定された方向に基づき、音のフォーカス方向を変更するフォーカス変更手段を持つ。
【００１１】
請求項３にかかる情報処理装置は、
第２の装置において、前記最大出力を求めるためにフォーカス方向を変動させる変動範囲を、前記位置情報入力手段により取得された位置情報の近傍に制限する制限手段を持つ。
【００１２】
請求項４にかかる情報処理装置は、
第１ないし第３の装置において、フォーカス後の音響信号に対し、音響効果を与えるために音響信号を加工する加工手段を持つ。
【００１３】
請求項５にかかる情報処理装置は、
第１ないし第３の装置において、フォーカス後の音響信号を認識するための音声認識手段を持つ。
【００１４】
請求項６にかかる情報処理装置は、
第１ないし第５の装置において、位置情報を入力する手段で位置を入力した場合、前記入力位置をディスプレィに表示する表示手段を持つ。
【００１５】
請求項７にかかる情報処理装置は、
第１ないし第６において、ビデオカメラもしくはデジタルカメラとして動作する。
【００１６】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面を参照して説明する。
【００１７】
（実施形態１）
図１は、本発明の一実施形態に係る情報出力装置の構成図を示した図である。
【００１８】
また動作の流れをフローチャート図２および図３に示す。これらの図を使い実施形態の説明を以下で行う。
【００１９】
図１において１００は音響信号を収集するためのマイクロホンアレーであり、１０１から１０ｎに示される、ｎ個の特性の同等なマイクの集合からなる。１５０はＡＤ変換部であり１５１から１５ｎの各々のＡＤ変換器の集合からなる。ここではマイクから収録された音響信号をデジタル信号に変換する。１１０はメモリ部であり、１１１から１１ｎに至るｎ個のメモリからなる。
【００２０】
おのおののメモリはマイクロホンアレーを構成するマイクおよび個々のＡＤ変換器と一対一に対応し、マイク、ＡＤ変換器、メモリの順で接続される。１２０はｎ個のスイッチが連動してオン・オフする連動スイッチである。１３０は電気的に遅延を発生させる遅延器である。１４０は遅延された情報を加算する加算器である。
【００２１】
１４２は音響信号をＤＡしたのちに増幅するＤＡ／アンプである。１４５は音を出力するスピーカーである。
【００２２】
１７０はユーザが位置を入力するためのポインティングデバイスと映像情報を表示するためのディスプレーであり、本実施例ではＬＣＤのようなディスプレーとディスプレー上のタッチパネルで実現される。１８０は１３０の遅延量を制御する遅延制御部である。１９０は動画や静止画を撮像するためのカメラである。１９２はカメラにより取得された映像情報をデジタル信号に変換するＡＤ変換器である。１９５は１９２でデジタル信号に変換した映像情報を記録するためのメモリである。１９７はスイッチであり１２０と連動してもよい。
【００２３】
次に図２および図３の流れ図を用いて動作の説明を行う。図２は映像および音響信号の収録時の動作を示し、図３は収録した映像・音響信号を再生する場合の動作を示す。
【００２４】
まず収録時の動作について説明する。Ｓ１００で動画および音響信号の取得を行う。
【００２５】
動画の取得は１９０のカメラで行い、音響信号の取得は１００のマイクロホンアレーで行う。Ｓ１０１では動画および音響信号をそれぞれアナログ信号からデジタル信号へ変換する。音響信号については１５０のＡＤ変換部にて、動画信号については１９２のＡＤ変換器にてそれぞれ行う。Ｓ１０２では動画や音響信号のデジタル変換後の情報の記憶が行われる。音響信号のデジタル変換後の情報はメモリ集合１１０に属する各々のメモリ１１１から１１ｎに記憶される。動画のデジタル変換後の情報は１９５のメモリに記憶される。メモリの形態は磁気テープ、ＲＡＭ、ハードディスクなど一般にコンピュータで使用される記憶装置ならいずれでも使用可能である。
【００２６】
次に再生時の動作について説明する。Ｓ２００では１９７の動画情報のスイッチおよび、１２０の音響情報のスイッチを入れ動画および音響信号をそれぞれ、ディスプレー１７０および遅延器の集合１３０に入力する。Ｓ２０１では１７０のポインティングデバイス情報の取得を行う。ここでは再生を表示するディスプレー表面がタッチパネルとして、ユーザの指示する画面上の位置情報が取れるポインティングデバイスであると想定して説明する。この場合例えば図４のように映像情報が表示されるものとする。ここで２００がディスプレーを示す。ユーザはディスプレー２００上のあるポイントを押すことにより位置を示す。このポイントを２１０で示す。Ｓ２０１では２１０の位置を例えばＸ、Ｙ座標の形で取得する。
【００２７】
以下のステップのうちＳ２０２およびＳ２０３は遅延制御部１８０で行う。まずＳ２０２では取得した位置情報を用いて方向情報の算出を行う。本実施例では簡単のためにマイクロホンアレーが横一列の２次元に配置された場合について説明する。同様に３次元にマイクが配置されている場合も実現は可能であるが説明は省略する。
【００２８】
まず２１０の座標情報から図４のｘの値、すなわち撮像の中心方向からの距離を求める。また撮像装置の焦点距離からｄが求まる。これらの値よりｓｉｎθを求める。次にＳ２０３では遅延時間の制御を行う。本実施例では音響情報の指向性制御法として遅延和アレーを例に説明するが、音響情報の指向性制御として利用できる技術であれば必ずしも遅延和アレーである必要はない。
【００２９】
遅延和アレーでは複数の遅延器に対しある遅延時間を与えることにより、目的信号に関して同相化した後、加算をして目的信号を強調することができる。本技術に関しては日本音響学会誌５１巻第５号、 ｐｐ。３９０−３９４「マイクロホンアレーによる指向性制御」に記述されている。この方式では音速ｃ、 マイクロホン間隔をｓ、音波の入射角をθとすると遅延時間τは以下で計算できる。
【００３０】
τ ＝ ｓ・（ｓｉｎθ）／ｃ
以上の遅延を与えることにより目的信号は同相化される。Ｓ２０３ではＳ２０２で求めた角度情報（ｓｉｎθ）を元に遅延時間を計算し、遅延器の集合１３０に属する各遅延器に対し遅延時間を与える。
【００３１】
Ｓ２０４では加算器１４０にて、遅延器の集合１３０で同相化された音響信号を加算し目的信号の強調を行う。同相化された目的信号は値が加算されるので出力が大きくなるが、その他の信号は相対的に出力は小さくなり、目的方向の信号、すなわちｓｉｎθ方向からの信号のみ強調される。
【００３２】
Ｓ２０５では加算器１４０で加算された信号を１４２にてアナログ信号に変換した後アンプで増幅し、スピーカー１４５で音響信号として出力する。以上により再生時にユーザがポインティングデバイスにより指示した方向に対し音のフォーカスを当てることが可能になる。またメモリにチャネルごとに音響信号を記憶しているため、ユーザが指示方向を変えても、その都度フォーカスの方向を変えることが可能となる。
【００３３】
（実施形態２）
実施形態１ではユーザが音のフォーカスを当てたい位置を指定する方法を開示したが、必ずしも正確に音源位置を指定できない場合がある。そこでシステム側が、正確な位置を探索しフォーカスを当てる方法について開示する。図５に本実施例にかかる探索範囲の説明図を示す。ディスプレィ３００においてユーザは３１０の位置を指定するのは実施形態１と同様である。しかし、何らかの音源がこの近傍に存在する場合、ユーザの指定位置と音源位置にずれが生じる可能性もある。
【００３４】
そこで本実施例では３２０に示すユーザの指定位置の近傍を探索し、音源位置に正確にフォーカスする方法について述べる。
【００３５】
図６が本実施例にかかる構成図である。４４０にて加算するまでは実施例１と同様の動作であるため説明は省略する。４４０にて求められた信号は遅延偏移部４９７にフィードバックされる。４９７では３２０の範囲を探索するためにｓｉｎθ±αの範囲の値を再設定し、再度遅延および加算を行って同相化する。これを繰り返しｓｉｎθ±αの範囲で同相信号が最大となる点を音源方向と定め、４４２や４４５を通じて出力する。ユーザにより指定する点が再度設定された場合は、再度同様の方法で最大値を探索し出力を定める。
【００３６】
（実施形態３）
実施形態１や３において、１４０または４４０にて、音に対しフォーカスした後に、音響的な加工を行う。加工は１４２や４４２のＤＡする前、デジタル信号の段階で行ってもよいし、アナログに変換した後に行っても構わない。加工の種類としては、エコー、ビブラート、ディストーションなど、一般に用いられる音響的な処理であればいずれでも選択できる。
【００３７】
（実施形態４）
実施形態１や３において、フォーカスした音響信号が音声であった場合、１４０または４４０にて、音声に対しフォーカスした後に、音声認識技術を使用して認識を行い、認識結果をディスプレーに表示したり、認識結果に基づきアプリケーションなどの動作をさせてもよい。この場合他の方向から到来する雑音を抑圧するという抑圧効果が得られる。
【００３８】
【発明の効果】
以上説明したように、本発明によれば再生時にユーザが示す任意の点に対し音をフォーカスすることができる。音のフォーカスは事後的に処理しているため、再生中にユーザが別の点にフォーカスしたいと思えば、その時点でフォーカス点を変更することができる。また実施形態２によれば、ある音源に対しフォーカスしようとユーザが考え指示した場合、多少のずれがあっても自動補正し、音源に対しフォーカスが向けることができるため、ユーザは大まかな位置を指定するだけでよいという効果が得られる。また実施形態３によれば、得られた音を加工することにより、種々の効果音が得られるという特徴を持つ。
【００３９】
さらに実施形態４によれば、フォーカスした音響信号が音声の場合、音声認識を行いアプリケーションを動作することができる。フォーカスした位置以外の音が抑圧されるため、雑音下の音声認識の誤動作を防ぐという効果が得られる。さらに複数人が発声している場合、ユーザがどの話者の音声を認識するか任意に指定できるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態１における情報出力装置の構成を示した図である。
【図２】本発明の実施形態１における情報出力装置の収録時の動作を表す流れ図である。
【図３】本発明の実施形態１における情報出力装置の再生時の動作を表す流れ図である。
【図４】本発明の実施形態１におけるディスプレーとポインティングデバイスの操作を説明する図である。
【図５】本発明の実施形態２におけるディスプレーとポインティングデバイスの例と、音源探索範囲を説明する図である。
【図６】本発明の実施形態２における情報出力装置の構成を示した図である。
【符号の説明】
１００ マイクロホンアレー
１１０ メモリ部
１２０ 連動スイッチ
１３０ 遅延器

Claims (7)

1. 複数のマイクからなるマイクロホンアレーと、前記マイクロホンアレーを構成する個々のマイクロホンからの入力音響信号を、マイクロホンごと保持する複数の保持手段と、位置情報を入力する入力手段と、前記保持された複数チャネルの音響信号を用い前記取得位置方向へ音響的なフォーカスを行うフォーカス手段を持つ情報処理装置、情報処理方法および記録媒体。
2. 請求項１において、音響的なフォーカスを行った信号をフィードバックするフィードバック手段と、フォーカス方向を変動させ、前記フィードバック信号から最大出力が得られる方向を定める方向決定手段と、前記決定された方向に基づき、音のフォーカス方向を変更するフォーカス変更手段を持つ請求項１にかかる情報処理装置、情報処理方法および記録媒体。
3. 請求項２において、前記最大出力を求めるためにフォーカス方向を変動させる変動範囲を、前記位置情報入力手段により取得された位置情報の近傍に制限する制限手段を持つことを特徴とする請求項２にかかる情報処理装置、情報処理方法および記録媒体。
4. 請求項１ないし３のいずれか１項に記載の、フォーカス後の音響信号に対し、音響効果を与えるために音響信号を加工する加工手段を持つことを特徴とする、請求項１ないし３のいずれか１項に記載の、情報処理装置、情報処理方法および記録媒体。
5. 請求項１ないし３のいずれかイ１項に記載の、フォーカス後の音響信号を認識するための音声認識手段を持つことを特徴とする、請求項１ないし３にかかる、情報処理装置、情報処理方法および記録媒体。
6. 請求項１ないし５のいずれか１項に記載の、位置情報を入力する手段で位置を入力した場合、前記入力位置をディスプレィに表示する表示手段を持つことを特徴とする請求項１ないし５のいずれか１項に記載の、情報処理装置、情報処理方法および記録媒体。
7. 請求項１ないし６のいずれか１項に記載の、本情報処理装置はビデオカメラもしくはデジタルカメラであることを特徴とする請求項１ないし６のいずれか１項に記載のビデオカメラもしくはデジタルカメラ。

Images