JP2000209689A - サウンド処理装置およびその制御方法、並びに、記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 収音指向性を遠隔制御可能な収音装置におい
て、得られたサウンド信号の出力および指向性の制御は
一系統のみであり、ネットワーク接続された多数のクラ
イアントからサウンド信号の出力および指向性の制御を
要求されるような場合には対応していない。 【解決手段】 収音部102は、マイクロホンアレイ、お
よび、各マイクロホンにより収音されたサウンド情報を
それぞれ記憶するメモリを有し、クライアントから受信
される制御命令に基づき各マイクロホンにおける収音タ
イミングを計算した結果に基づきメモリからサウンド情
報を読み出し、読み出されたサウンド情報を合成してク
ライアントへ送信する。複数のクライアントからサウン
ド情報の送信要求がある場合、それらクライアントそれ
ぞれから受信される制御命令に従い上記処理を行い、そ
の制御命令を発行したクライアントへサウンド情報を送
信する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はサウンド処理装置お
よびその制御方法に関し、例えば、収音指向性が遠隔操
作可能なサウンド処理装置およびその制御方法、並び
に、そのような装置を遠隔制御するサウンド処理装置お
よびその制御方法に関するものである。

【０００２】

【従来の技術】指向性を変えることが可能なマイクロホ
ンアレイを用いて、特定の方向からくる音声を含むサウ
ンドを重点的に収音する装置、ビデオカメラ装置の視線
位置オートフォーカス(AF)機能に連動してマイクの指向
性を変化させる視線位置検出収音装置、遠隔制御可能な
カメラに固定された指向性マイクを行いて、カメラの向
きを操作することにより収音方向を変化させる装置など
がある。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
収音装置においては、得られたサウンド信号の出力およ
び指向性の制御は一系統のみであり、ネットワーク接続
された多数のクライアントからサウンド信号の出力およ
び指向性の制御を要求されるような場合には対応してい
ない。

【０００４】本発明は、上述の問題を解決するためのも
のであり、複数のクライアントが独立に収音指向性を設
定することができる、収音指向性を遠隔制御可能なサウ
ンド処理装置およびその制御方法を提供することを目的
とする。

【０００５】また、収音指向性を遠隔制御可能な収音装
置の収音指向性を分り易く表示するとともに、収音指向
性の操作が容易なサウンド処理装置およびその制御方法
を提供することを他の目的とする。

【０００６】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【０００７】本発明にかかるサウンド処理装置は、収音
指向性を遠隔制御可能なサウンド処理装置であって、複
数の収音デバイスを有する収音アレイと、前記複数の収
音デバイスそれぞれにより収音されたサウンド情報をそ
れぞれ記憶する複数の記憶手段と、受信される制御命令
に基づき各収音デバイスにおける収音タイミングを計算
し、その計算結果に基づき前記複数の記憶手段からサウ
ンド情報を読み出す制御手段と、前記複数の記憶手段か
ら読み出されたサウンド情報を合成した結果を送信する
送信手段とを有し、複数のクライアントからサウンド情
報の送信要求がある場合、前記制御手段は、それらクラ
イアントそれぞれから受信される制御命令に従い計算さ
れた各収音デバイスにおける収音タイミングに基づき前
記複数の記憶手段からサウンド情報を読み出し、前記送
信手段は前記制御命令に対応するサウンド情報を合成し
た結果を、その制御命令を発行したクライアントへ送信
することを特徴とする。

【０００８】また、収音指向性が制御可能な収音装置を
遠隔制御するサウンド処理装置であって、前記収音装置
から送られてくる収音可能な領域を示す画像を表示する
表示手段と、前記表示手段に表示された画像に重畳し
て、前記収音装置の収音指向性を表示する指向性表示手
段と、前記収音装置の指向性を制御する命令を入力する
入力手段とを有することを特徴とする。

【０００９】本発明にかかるサウンド処理装置の制御方
法は、複数の収音デバイスを有する収音アレイ、およ
び、前記複数の収音デバイスそれぞれにより収音された
サウンド情報をそれぞれ記憶する複数の記憶手段を有
し、収音指向性を遠隔制御可能なサウンド処理装置の制
御方法であって、受信される制御命令に基づき各収音デ
バイスにおける収音タイミングを計算し、その計算結果
に基づき前記複数の記憶手段からサウンド情報を読み出
し、前記複数の記憶手段から読み出されたサウンド情報
を合成した結果を送信し、複数のクライアントからサウ
ンド情報の送信要求がある場合は、それらクライアント
それぞれから受信される制御命令に従い各収音デバイス
における収音タイミングを計算し、その計算結果に基づ
き前記複数の記憶手段からサウンド情報を読み出し、前
記制御命令に対応するサウンド情報を合成した結果を、
その制御命令を発行したクライアントへ送信することを
特徴とする。

【００１０】また、収音指向性が制御可能な収音装置を
遠隔制御するサウンド処理装置の制御方法であって、前
記収音装置から送られてくる収音可能な領域を示す画像
を表示し、前記数音可能な領域を示す画像に重畳して、
前記収音装置の収音指向性を表示し、前記収音装置の指
向性を制御する命令が入力されることを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明にかかる一実施形態
の収音装置およびサウンド再生装置を図面を参照して詳
細に説明する。

【００１２】図1は本実施形態の収音装置およびサウン
ド再生装置の構成例を示すブロック図である。

【００１３】図1において、100は収音装置で、主に以下
に述べるブロック101から106によって構成される。ま
た、200はサウンド再生装置で、主に以下に述べるブロ
ック201から209によって構成される。

【００１４】［収音装置］撮像部101は、レンズユニッ
ト、レンズユニットを介して入射される光学像を電気的
な信号に変換する電荷結合素子(CCD)、および、CCDから
得られる電気信号をディジタル画像信号に変換するアナ
ログ-ディジタル(A/D)変換器などからなる。

【００１５】複数の収音部102は、音声を含むサウンド
を電気的な信号に変換する収音デバイスであるマイク、
および、マイクから得られた電気信号をディジタルサウ
ンド信号に変換するA/D変換器などからなる。

【００１６】ネットワークインタフェイス(I/F)103は、
撮像部101および収音部102より得られた映像およびサウ
ンドデータをサウンド再生装置200に送るとともに、収
音部102の指向性制御に必要な制御情報をサウンド再生
装置200から受信する。

【００１７】CPU104は、収音装置100全体を統括制御す
るもので、ROM105に格納されたプログラムをRAM106に読
み出し、そのプログラムおよびサウンド再生装置200か
ら受信される制御情報に基づき、各部に適切な処理また
は動作を実行させる。

【００１８】ROM105は、CPU104により実行される各種処
理のプログラムを格納し、RAM106は、CPU104が処理を実
行するための作業領域、および、収音部102から得られ
るサウンドデータの蓄積領域を提供する。

【００１９】［サウンド再生装置］ネットワークI/F201
は、収音装置100から映像およびサウンドデータを受信
するとともに、収音装置100へ制御情報を送る。

【００２０】外部記憶装置202は、フロッピディスクド
ライブ(FDD)、ハードディスクドライブ(HDD)、または、
CD-ROMなどの光ディスクドライブなどであり、これらの
メディアにサウンド再生装置200の処理プログラムを記
憶させることができる。サウンド再生装置200のCPU204
は、その処理プログラムを読み出すことによって、映像
およびサウンドを再生する処理、および、収音装置100
を制御するための処理を実行する。

【００２１】入力部203は、キーボードおよび/またはポ
インティングデバイスとして機能するマウスなどによっ
て構成され、ユーザが制御指令を入力するためのもので
ある。

【００２２】CPU204は、サウンド再生装置200全体を統
括制御するもので、ROM205および/または外部記憶装置2
02から読み出したプログラムをRAM206に記憶させ、その
プログラムに基づいて各種の動作および処理を実行す
る。

【００２３】ROM205には、入力部203から入力されるデ
ータの処理およびCPU204が実行する処理のための各種プ
ログラムが格納されている。また、RAM206は、CPU204が
処理を実行する際の作業領域、および、入力部203から
入力されるデータなどの一時格納領域を提供する。

【００２４】アンプ207は、収音装置100から受信される
ディジタルサウンド信号をディジタル-アナログ(D/A)変
換し、得られたアナログサウンド信号をスピーカ209に
出力する。

【００２５】CRTあるいはLCDなどからなるディスプレイ
208は、収音装置100から受信される映像データを基に収
音装置100の撮像部101により撮影された映像および/ま
たは画像を表示する。

【００２６】図5はディスプレイ208上の表示画面を示す
図で、撮影画像501は収音可能な範囲を示し、指向性表
示502は収音方向を示す。この指向性表示502は、収音部
102の指向性を制御するためのグラフィックユーザイン
タフェイス(GUI)（指向性操作部）を兼ね、入力部203の
ポインティングデバイスなどにより指向性表示502の位
置を操作することによって、収音部102へ制御指令が伝
達され、ユーザが希望する指向性で収音することができ
る。

【００２７】なお、収音装置100とサウンド再生装置200
とを結ぶネットワークは、とくに限定されないが、Ethe
rnetのようなLAN型のネットワークやInternetのような
ネットワークが利用できる。また、ネットワークに限ら
ず、電話回線や専用線でカメラ・マイク装置100と映像
サウンド再生装置200とを結んでもよく、両装置の間で
交換される情報、データ、信号を必要な転送速度で伝達
することができるものであれば、その形態に制限はな
い。

【００２８】［指向性の制御］図2は本実施形態の収音
装置100におけるマイクロホンアレイの構成例を示す図
である。

【００２９】マイクロホン301は、サウンドを電気的な
アナログ信号に変換する。A/D変換器302は、アナログサ
ウンド信号をディジタルサウンド信号に変換する。音声
データ蓄積部303は、RAM106の所定領域に割り付けられ
ている。このようなマイクロホンアレイに対して、角度
θの方向に指向性を与えるには、音波が音源から二つの
マイクロホンに達するまで距離の差に相当する遅延を、
一方のマイクロホンにより収音されたサウンドデータに
与えた後、二つのマイクロホンにより収音されたサウン
ドデータを加算すればよい。遅延時間Dは下式から算出
される。 D = B・sinθ/M …(1) ただし、 B: マイクロホンの間の距離 M: 音速 θ: 収音方向

【００３０】図3は本実施形態の収音装置100において、
複数の異なる指向性をもつサウンド出力を生成する方法
を示す図である。

【００３１】加算器401は、収音方向にθ1の指向性をも
たせるために、サウンドデータ蓄積部303から、遅延時
間(delay)が零および遅延時間がD1を考慮したタイミン
グのサウンドデータを取り出し、これらデータを加算す
る。同様に、加算器402も、収音方向にθ2の指向性をも
たせるために、サウンドデータ蓄積部303から遅延時間
(delay)が零および遅延時間がD2を考慮したタイミング
のサウンドデータを取り出し、これらデータを加算す
る。このような操作を行えば、共有されるサウンドデー
タ蓄積部303から所定の時間差をもつサウンドデータの
組を取り出して加算することにより、単一の収音装置10
0において、任意の指向性をもつサウンド出力を得るこ
とが可能になる。

【００３２】図4は本実施形態の収音装置100において、
収音方向だけでなく収音対象までの距離を考慮して選択
的に収音を行う方法を説明する図である。この場合は、
複数のマイクロホンを用い、音の波面を球面状として、
音波が音源から複数のマイクロホンに達するまで距離の
差に相当する遅延を求める。そして、その遅延時間を考
慮したサウンドデータの組をメモリから取り出して加算
することにより、単一の収音装置100において、収音方
向および収音対象までの距離を考慮した選択的な収音を
行うことができる。

【００３３】［GUI］図5は本実施形態のサウンド再生装
置200におけるディスプレイ208の画面表示例を示す図で
ある。

【００３４】図5において、501は撮像画像を示し、撮像
画像501に示される領域は収音装置100により収音可能な
領域にほぼ等しい。収音方向を表示するポインタ502が
撮像画像501に重畳して表示され、撮像画像501中におい
て収音方向を示すとともに、収音方向を変更するための
手段を提供する。つまり、ポインタ502を入力部230のポ
インティングデバイスなどにより操作することで、収音
方向を制御する命令（指向性制御命令）が生成される。
撮像画像501の幅503および高さ504に対する、ポインタ5
02の画面中心からのオフセット505および506が、撮像画
角507に対する収音方向の角度508になる。

【００３５】さらに、図4に示すような収音距離に関す
る選択性を有する収音装置100の場合、ユーザがスライ
ダ509を操作することにより、収音距離を調整すること
が可能である。

【００３６】［動作］次に、本実施形態の収音装置100
の動作を説明する。図6は収音装置100の動作を説明する
フローチャートで、CPU104により実行される処理であ
る。

【００３７】ステップS101において、ネットワークI/F1
03により指向性制御命令が受信されたか否かを判断し、
制御命令が受信されていない場合はステップS103へ進
む。

【００３８】指向性制御命令が受信されていると判断し
た場合はステップS102へ進み、指向性制御命令に基づ
き、各マイクロホンに対応する遅延時間Dを算出し、収
音指向性を変更する。

【００３９】続いて、ステップS103でサウンドデータの
加算処理（合成処理）を行い、ステップS104で加算され
た音声データの符号化圧縮を行い、ステップS105で撮像
部101から得られる映像をディジタル画像に変換し、必
要ならば符号化圧縮を行う。次に、ステップS106で、得
られたサウンドおよび画像のディジタルデータをネット
ワークI/F103を介してサウンド再生装置200へ送信し、
ステップS101へ戻る。なお、画像およびサウンドの符号
化圧縮には、MPEG4に規定される符号化圧縮方式などを
採用する。

【００４０】次に、本実施形態のサウンド再生装置200
の動作を説明する。図7はサウンド再生装置200の動作を
説明するフローチャートで、CPU204により実行される処
理である。

【００４１】ステップS201において、ネットワークI/F2
01により映像および/またはサウンドデータが受信され
たか否かを判断し、受信された場合はステップS202で画
像データのデコードを、ステップS203でサウンドデータ
のデコードを行い、ステップS204で、デコードされた映
像をディスプレイ208に表示させるとともに、デコード
されたサウンドをアンプ207へ送り再生させる。また、
受信データがない場合はステップS202からS204の処理は
行われない。

【００４２】次に、ステップS205で、入力部203により
収音指向性を制御する操作入力があったか否かを判断
し、操作入力があった場合はステップS206で、ポインタ
502のオフセット505および506を用いて収音方向を決定
し、指向性制御命令を生成してネットワークI/F201を介
して収音装置100へ送信する。さらに、ステップS207
で、撮像画像501に対して相対的な収音方向を表すポイ
ンタ502の再描画を行う。その後、ステップS201へ戻
る。

【００４３】収音装置100とサウンド再生装置200が一対
一で対応する場合は、上記の構成および手順で得られた
サウンド信号を出力し、指向性の制御要求を受け付ける
ことが可能である。

【００４４】一つの収音装置100に対して複数のサウン
ド再生装置200がクライアントとして存在する場合、収
音装置100のCPU104は、ネットワークI/F103により受信
されるTCP(Transfer Control Protocol)/IP(Internet P
rotocol)などのプロトコルに従うパケットにより、収音
および/または指向性制御を要求したクライアントのネ
ットワークアドレス（例えばインターネットアドレス）
を認識することができる。従って、図6に示したステッ
プS106におけるデータの送信先をそのネットワークアド
レスを有する装置に設定することができる。つまり、複
数のクライアントから収音が要求される場合は、図6に
示す処理を各クライアントごとに並列または直列に実行
することにより、クライアントが要求する指向性方向に
基づき合成したサウンドデータのパケット（映像データ
も含む）を、そのクライアント宛てに送信すればよい。

【００４５】

【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、一
つの機器からなる装置（例えば、複写機、ファクシミリ
装置など）に適用してもよい。

【００４６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはCPUやM
PU）が記憶媒体に格納されたプログラムコードを読出し
実行することによっても、達成されることは言うまでも
ない。この場合、記憶媒体から読出されたプログラムコ
ード自体が前述した実施形態の機能を実現することにな
り、そのプログラムコードを記憶した記憶媒体は本発明
を構成することになる。また、コンピュータが読出した
プログラムコードを実行することにより、前述した実施
形態の機能が実現されるだけでなく、そのプログラムコ
ードの指示に基づき、コンピュータ上で稼働しているOS
（オペレーティングシステム）などが実際の処理の一部
または全部を行い、その処理によって前述した実施形態
の機能が実現される場合も含まれることは言うまでもな
い。

【００４７】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張カード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張カードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００４８】

【発明の効果】以上説明したように、本発明によれば、
複数のクライアントが独立に収音指向性を設定すること
ができる、収音指向性を遠隔制御可能なサウンド処理装
置およびその制御方法を提供することができる。

【００４９】また、収音指向性を遠隔制御可能な収音装
置の収音指向性を分り易く表示するとともに、収音指向
性の操作が容易なサウンド処理装置およびその制御方法
を提供することができる。

【図面の簡単な説明】

【図１】本発明にかかる一実施形態の収音装置およびサ
ウンド再生装置の構成例を示すブロック図、

【図２】収音装置におけるマイクロホンアレイの構成例
を示す図、

【図３】収音装置において、複数の異なる指向性をもつ
サウンド出力を生成する方法を示す図、

【図４】収音装置において、収音方向だけでなく収音対
象までの距離を考慮して選択的に収音を行う方法を説明
する図、

【図５】サウンド再生装置におけるディスプレイの画面
表示例を示す図、

【図６】収音装置の動作を説明するフローチャート、

【図７】サウンド再生装置の動作を説明するフローチャ
ートである。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 収音指向性を遠隔制御可能なサウンド処
   理装置であって、 複数の収音デバイスを有する収音アレイと、 前記複数の収音デバイスそれぞれにより収音されたサウ
   ンド情報をそれぞれ記憶する複数の記憶手段と、 受信される制御命令に基づき各収音デバイスにおける収
   音タイミングを計算し、その計算結果に基づき前記複数
   の記憶手段からサウンド情報を読み出す制御手段と、 前記複数の記憶手段から読み出されたサウンド情報を合
   成した結果を送信する送信手段とを有し、 複数のクライアントからサウンド情報の送信要求がある
   場合、前記制御手段は、それらクライアントそれぞれか
   ら受信される制御命令に従い計算された各収音デバイス
   における収音タイミングに基づき前記複数の記憶手段か
   らサウンド情報を読み出し、前記送信手段は前記制御命
   令に対応するサウンド情報を合成した結果を、その制御
   命令を発行したクライアントへ送信することを特徴とす
   るサウンド処理装置。
2. 【請求項２】 前記制御手段は、前記複数の記憶手段か
   ら収音タイミングの異なるサウンド情報を読み出すこと
   により、前記収音指向性を制御することを特徴とする請
   求項1に記載されたサウンド処理装置。
3. 【請求項３】 前記制御手段は、前記複数の記憶手段か
   ら収音タイミングの異なるサウンド情報を読み出すこと
   により、前記収音指向性および収音距離を制御すること
   を特徴とする請求項1に記載されたサウンド処理装置。
4. 【請求項４】 さらに、収音可能な領域の画像を取得す
   る撮像手段を有し、取得された画像は、前記送信手段に
   より前記サウンド情報とともに送信されることを特徴と
   する請求項1から請求項3の何れかに記載されたサウンド
   処理装置。
5. 【請求項５】 複数の収音デバイスを有する収音アレ
   イ、および、前記複数の収音デバイスそれぞれにより収
   音されたサウンド情報をそれぞれ記憶する複数の記憶手
   段を有し、収音指向性を遠隔制御可能なサウンド処理装
   置の制御方法であって、 受信される制御命令に基づき各収音デバイスにおける収
   音タイミングを計算し、 その計算結果に基づき前記複数の記憶手段からサウンド
   情報を読み出し、 前記複数の記憶手段から読み出されたサウンド情報を合
   成した結果を送信し、 複数のクライアントからサウンド情報の送信要求がある
   場合は、それらクライアントそれぞれから受信される制
   御命令に従い各収音デバイスにおける収音タイミングを
   計算し、その計算結果に基づき前記複数の記憶手段から
   サウンド情報を読み出し、前記制御命令に対応するサウ
   ンド情報を合成した結果を、その制御命令を発行したク
   ライアントへ送信することを特徴とする制御方法。
6. 【請求項６】 収音指向性が制御可能な収音装置を遠隔
   制御するサウンド処理装置であって、 前記収音装置から送られてくる収音可能な領域を示す画
   像を表示する表示手段と、 前記表示手段に表示された画像に重畳して、前記収音装
   置の収音指向性を表示する指向性表示手段と、 前記収音装置の指向性を制御する命令を入力する入力手
   段とを有することを特徴とするサウンド処理装置。
7. 【請求項７】 前記収音指向性を示す画像は、収音方向
   を制御する命令を入力するための入力手段を兼ねること
   を特徴とする請求項6に記載されたサウンド処理装置。
8. 【請求項８】 収音指向性が制御可能な収音装置を遠隔
   制御するサウンド処理装置の制御方法であって、 前記収音装置から送られてくる収音可能な領域を示す画
   像を表示し、 前記数音可能な領域を示す画像に重畳して、前記収音装
   置の収音指向性を表示し、 前記収音装置の指向性を制御する命令が入力されること
   を特徴とする制御方法。
9. 【請求項９】 複数の収音デバイスを有する収音アレ
   イ、および、前記複数の収音デバイスそれぞれにより収
   音されたサウンド情報をそれぞれ記憶する複数の記憶手
   段を有し、収音指向性を遠隔制御可能なサウンド処理装
   置の制御プログラムコードが記録された記録媒体であっ
   て、前記プログラムコードは少なくとも、 受信される制御命令に基づき各収音デバイスにおける収
   音タイミングを計算するステップのコードと、 その計算結果に基づき前記複数の記憶手段からサウンド
   情報を読み出すステップのコードと、 前記複数の記憶手段から読み出されたサウンド情報を合
   成した結果を送信するステップのコードとを有し、 複数のクライアントからサウンド情報の送信要求がある
   場合は、それらクライアントそれぞれから受信される制
   御命令に従い各収音デバイスにおける収音タイミングを
   計算し、その計算結果に基づき前記複数の記憶手段から
   サウンド情報を読み出し、前記制御命令に対応するサウ
   ンド情報を合成した結果を、その制御命令を発行したク
   ライアントへ送信することを特徴とする記録媒体。
10. 【請求項１０】 収音指向性が制御可能な収音装置を遠
    隔制御するサウンド処理装置の制御プログラムが記録さ
    れた記録媒体であって、 前記収音装置から送られてくる収音可能な領域を示す画
    像を表示するステップのコードと、 前記数音可能な領域を示す画像に重畳して、前記収音装
    置の収音指向性を表示するステップのコードと、 前記収音装置の指向性を制御する命令が入力されるステ
    ップのコードとを有することを特徴とする記録媒体。