WO2007139040A1

WO2007139040A1 - 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム

Info

Publication number: WO2007139040A1
Application number: PCT/JP2007/060743
Authority: WO
Inventors: Toshiyuki Hata
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2006-05-25
Filing date: 2007-05-21
Publication date: 2007-12-06
Anticipated expiration: 2008-11-25
Also published as: US20090198495A1; JP2007318438A; CN101454827A; CN101454827B; EP2026329A4; EP2026329A1

Abstract

複数の音源からの音声データを経時的に記録したデータを利用する際に、利用者に対して使い勝手の良い状態でデータを提供することができる音声状況データ生成装置が提供される。制御部1の方位･話者同定部3は、音声通信データから得られる方位データの変化を観測し、単方位を示す方位データまたは複数方位を示す方位データで且つ所定時間に亘り変化がなければ、それぞれ単方位データおよび複数方位の組み合わせ方位データを話者織別データに設定する。方位･話者同定部3は、所定時間内で方位データの変化があれば話者音声DB53から音声特徴量データScを読み出し、音声データ解析部2で解析された音声特徴量と比較して話者同定を行い、話者同定されれば話者名データを話者識別データに設定し、同定されなければ方位未検出データを話者識別データに設定する。音声状況データ生成部4はこれら話者識別データの時間変化に基づいて音声状況データを生成する。

Description

明細書音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム

技術分野

本発明は、会議音声等の音声を記録して利用する音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システムに関する。

背景技術

従来、多地点をネットワークで結んで音声会議を行う音声会議システムが各種考案されている（例えば、特開 2 0 0 5— 8 0 1 1 0公報及び特許第 2 8 1 6 1 6 3号公報参照）。

このような音声会議システムでは、会議を行う各地点（会議室）に音声会議装置が配置され、各音声会議装置に対して一人または複数の会議者が在席する。各音声会議装置は、自室内の会議者の発言を収音して音声データ化し、ネットワークを介して相手先の音声会議装置に送信する。また、各音声会議装置は、相手先の音声会議装置からの音声データを受信し、該音声データを音声化して放音する。

そして、特開 2 0 0 5— 8 0 1 1 0公報に記載の音声会議システムでは、 R F I Dタグとマイクとを各会議者の近傍に配置し、音声会議装置は、マイクで収音すると、収音音声信号と対応する R F I Dタグにより得られる会議者情報とを関連付けして送信する。この音声会議システムには録音サーバが備えられており、録音サーバに記憶される収音音声信号には前記会議者情報が関連付けされている。

また、特許第 2 8 1 6 1 6 3号公報に記載の話者照合方法では、音声会議装置の処理として、入力音声信号を所定時間単位に分割して、各音声区間の特徴量から話者を検出する。

特開 2 0 0 5— 8 0 1 1 0公報に記載の音声通信システムでは、会議後に会議参加者の 1人が議事録作成等のために、録音サーバにバソコン等を接続して記録された音声データを再生すると、関連付けされた会議者情報が表示される。

しかしながら、特開 2 0 0 5— 8 0 1 1 0公報に記載の音声通信システムでは、単に時系列で録音サーバに記憶された音声データを選択することで、対応する会議者を初めて知ることができるため、特定の会議者の発言を抽出したり、記録された会議の全体の流れ（状況）を把握したりすることが容易ではない。

また、音声データや会議者情報から得られる音声状況（会議状況）に基づいて各音声データを区分化する等の編集を行い、この音声状況を記憶しておくことができない。

このため、会議後等に録音サーバに記録された音声データを利用する際に、利用者が使い辛いものとなっている。

また、特許第 2 8 1 6 1 6 3号公報に記載の話者照合方法では、話者音声の解析を随時行いながら相手先に送信しなければならず処理負荷が大きい。また、この負荷を軽減させるため音声解析を簡素化すると話者の検出精度が低下し、正確な話者情報を取得することが難しい。

本発明の目的は、多地点音声会議後に議事録を作成する等のように、複数の音源からの音声データを経時的に記録したデータを利用する際に、簡素な処理で音声データに対する話者特定情報を検出して、音声データに関連付けして記憶し、利用者に対して使い勝手の良い状態でデータを提供することができる音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システムを提供することにある。

発明の開示

上記目的を達成するために、本発明の第 1の態様によれば、受音声データと当該音声データの到来方向を示す方位データとを経時的に取得するデータ取得手段と、各話者の話者音声特徴量を記憶する話者音声特徴データベースと、取得した前記方位データが所定時間に亘り単一方位を示して変化が無ければ、当該単方向データである前記方位データを話者識別データに設定し、前記方位データが所定時間に亘り同一の組み合わせからなる複数方位を示して変化が無ければ、当該複数方位データである前記方位データを前記話者識別データに設定し、前記話者識別データが当該単方位データおよび前記複数方位データでない場合に、前記音声データから音声特徴量を抽出して前記話者音声特徴量と比較することによって話者同定を行い、話者が同定されれば同定話者に対応す ·る話者名データを前記話者識別データに設定し、話者が同定されなければ方位未検出データを前記話者識別データに設定する方位 ·話者同定手段と、前記話者識別データの判定結果の時間分布を分析したデータである音声状況データを生成する音声状況データ生成手段と、前記音声データおよび前記音声状況データを記憶する記憶手段とを備えたことを特徴とする音声状況データ生成装置が提供される。

このような構成により、まず方位データで話者識別をして、音声特徴量で話者識別をすることになるので、全てを音声特徴量で解析するよりも、簡素で正確に話者識別が行われる。

具体的に、音声会議の議事録作成の場合であれば、比較的容易に発言者情報が得られ、発言内容（音声データ）と関連付けして記憶される。また、議事録作成者が会議後にこれらのデータを利用する際に、方位データおよび話者名データにより会議者が識別され、時間データにより発言時間が識別されるので、発言者が 1人でも複数人でも移動していても、各会議者の発言タイミングが容易に識別される。また、会議全体の発言状況（会議の流れ）が容易に識別される。本発明の好ましい態様によれば、前記方位 ·話者同定手段は、通信中に入力される話者音声から得られる話者音声特徴量に基づいて随時話者音声特徴データベースの更新を行うことを特徴とする。

この構成では、予め話者音声特徴データベースを構築しておかなくても、順次更新記憶していくことで、話者音声特徴データベースが構築される。本発明の第 2の態様によれば、上記本発明に係る音声状況データ生成装置と、前記音声状況データに基づいて前記音声データの時間分布を話者別で時系列にグラフ化して表示する表示手段とを備えたことを特徴とする音声状況可視化装置が提供される。

この構成では、表示手段により、時間区分化された音声データが方位別および話者別で時系列にグラフ表示されることで、利用者へ視覚的に音声状況が提供される。表示手段とは、具体的に液晶ディスプレイ等の表示器と、表示器上に画像を映し出す制御部および表示アプリケーションとを有し、制御部が表示アプリケーションを実行することで、音声状況データに基づいて、音声データ全体を方位別および話者別で時系列に区分した区分化音声データがタイムチャートのように表示される。これにより、利用者に対して、音声状況がより分かりやすく提供される。

具体的に、前述の音声会議の議事録作成の場合であれば、各会議者の発言タイミングゃ会議全体の発言状況がタイムチヤ一ト等で表示され、議事録作成者へ視覚的に提供される。これにより、議事録作成者に対して会議の発言状況等がより分かりやすく提供される。本発明の第 3の態様によれば、上記本発明に係る音声状況可視化装置と、前記音声状況データを編集する操作入力を受け付ける操作受付手段と、該操作受付手段により受け付けた編集内容を解析して、前記音声状況データを編集するデータ編集手段とを備えたことを特徴とする音声状況データ編集装置が提供される。

この構成では、データ編集手段により、音声状況データの各項目が変更される。この際、利用者からの操作は操作受付手段により受け付けられる。例えば、方位と話者との関係が分かっており、方位名を話者名に変更したい場合には、利用者は操作受付手段により方位名変更の操作を行う。操作受付手段はこの操作を受け付けてデータ編集手段に与える。データ編集手段は、データ編集アプリケーションを有し、前記制御部でデータ編集アプリケーションを実行することで、指示された内容にしたがい方位名を話者名に変更し、音声状況データの更新記録を行う。

具体的に、前述の音声会議の議事録作成の場合であれば、方位名を会議者名に変更する等の操作が可能となる。これにより、会議者が直接的に分からない方位名ではなく、会議者名がそのまま表示されるので、より分かりやすい議事録が作成される。

本発明の第 4の態様によれば、上記本発明に係る音声状況データ編集装置と、前記操作受付手段により選択された話者の音声データを全音声データ中から選択して再生する再生手段とを備えたことを特徴とする音声データ再生装置が提供される。

この構成では、操作受付手段を操作することで、区分化音声データが選択されると、該当する区分化音声データが再生手段により再生される。これにより、各区分化音声データを、会議後に再度聴くことができる。また、前述の編集時に各区分化音声データの再生音を聴くことで、話者の特定を聴覚的にも行うことができる。具体的に、前述の音声会議の議事録作成の場合であれば、各区分化音声データを選択して再生することで、会議者を聴覚的に特定することができるとともに、どの会議者が何を話したかを、会議後であっても確実に知ることができる。

本発明の第 5の態様によれば、複数の放収音装置がネットワークを介して音声データを通信する音声通信システムであって、上記本願発明に係る音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、及び音声データ再生装置のいずれかは、前記複数の放収音装置とは別体でネットワークに接続され、前記データ取得手段は、前記複数の放収音装置間で通信される音声データと方位データとを取得することを特徴とする音声通信システムが提供される。

この構成では、各放収音装置で収音した音声データがネットワークを介して前述の音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、および音声データ再生装置（以下、総称して「音声データ処理装置」とする。）に入力される。このように、放収音装置と音声データ処理装置とが別体で構成されていることで、膨大な記憶容量を要する音声データ処理装置を、比較的小型化が要求される放収音装置に備え付ける必要がなくなる。本発明の第 6の態様によれば、複数の放収音装置がネットワークを介して音声データを通信する音声通信システムであって、上記本願発明に係る音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、及び音声データ再生装置のいずれかは、前記複数の放収音装置のいずれかに内蔵され、前記データ取得手段は、音声データ処理装置が内蔵される放収音装置で送受信される音声データと方位データとを取得することを特徴とする音声通信システムが提供される。

この構成では、前述の音声データ処理装置を放収音装置に備える。これにより、サーバレスで音声通信を記録することができる。本発明の好ましい態様によれば、前記放収音装置は、マイクアレイを備え、該マイクアレイの各マイクの収音音声信号に基づいて、それぞれに異なる方位に強い指向性を有する複数の収音ビーム信号を形成し、該複数の収音ビーム信号を比較して、最も信号強度の強い収音ビーム信号を選択するとともに、選択された収音ビーム信号に対応する方位を検出して、前記選択された収音ビーム信号を音声データとし、前記検出した方位を方位データとして出力することを特徴とする。

この構成では、放収音装置は、マイクアレイの各マイクの収音音声信号から複数の収音ビーム信号を形成して、最も信号強度の高い収音ビーム信号を選択するとともに、当該収音ビーム信号に対応する方位を検出する。そして、放収音装置は、選択した収音ビーム信号を音声データとし、検出方位を方位データとして出力する。これにより、従来のように、会議者を識別する R F I Dタグ等を必要としないので、より簡素に音声通信システムが構成される。また、音声特徴量による処理を行わないので、識別負荷が低減し、且つ方位情報を用いることで識別精度が向上する。図面の簡単な説明

第 1図は、本発明の実施の形態に係る議事録作成システムの構成を概略的に示す図である。

第 2図は、図 1における音声会議装置の主要構成を示すブロック図である。

第 3図は、図 1における録音サーバの主要構成を示すプロック図である。第 4図は、話者音声 D Bの構成を示す概略図である。

第 5図は、図 1における録音サーバの録音処理フローを示すフローチヤ一トである。第 6 A図は、地点 aの話者 Aが発言した状態を示す図であり、第 6 B図は、地点 aの話者 A， Eが同時に発言した状態を示す図である。

第 7図は、地点 aの話者 Eが移動しながら発言した状態を示す図である。第 8図は、図 1における録音サーバに記録された音声ファイル、音声状況データの概念図である。

第 9図は、議事録作成時の音声通信システムの構成図である。第 1 0図は、図 9における録音サーバ及ぴパソコンの主要構成を示すブロック図である。

第 1 1 A図は、編集アプリ実行時にパソコンの表示部に表示される初期表示画像の一例を示す図であり、第 1 I B図は、編集後の表示画像の一例を示す図である。

第 1 2 A図及び第 1 2 B図は、それぞれ編集アプリ実行時の初期表示画像の他の一例を示す図である。

第 1 3 A図は、方位データをも含む話者音声 D Bの構成を示す概略図であり、第 1 3 B図は、第 1 3 A図の話者音声 D Bを用いた場合の編集画面の一例を示す図である。

第 1 4図は、パソコンが録音サーバを兼用する場合のパソコンの主要構成を示すプロック図である。第 1 5図は、録音サーバが内蔵された音声会議装置の構成を示すプロック図である。

発明を実施するための最良の形態

以下の実施形態では具体的なシステム例として議事録作成システムについて説明する。

本発明の実施形態に係る議事録作成システムについて図を参照して説明する。図 1は本実施の形態に係る議事録作成システムの構成を概略的に示す図である。図 2は、図 1における音声会議装置 1 1 1 , 1 1 2の主要構成を示すプロック図である。図 3は、図 1における録音サーバ 1 0 1の主要構成を示すブロック図である。

本実施形態の議事録作成システムは、ネットワーク 1 00に接続された音声会議装置 1 1 1， 1 1 2と、録音サーバ 1 0 1 とを備える。 '

音声会議装置 1 1 1、 1 1 2は、それぞれ離れた地点 a、地点 bにそれぞれ配置されている。地点 aには、音声会議装置 1 1 1が配置されており、該音声会議装置 1 1 1を囲むように話者 A〜Eの 5人が音声会議装置 1 1 1に対してそれぞれ方位 D i r l l , D i r l 2， D i r 1 4 , D i r 1 5 , D

1 r 1 8で在席している。地点 bには、音声会議装置 1 1 2が配置されており、該音声会議装置 1 1 2を囲むように会議者 F〜 Iの 4人が音声会議装置 1 1 2に対してそれぞれ方位 D i r 2 1 , D i r 24 , D i r 2 6 , D i r

2 8で在席している。

音声会議装置 1 1 1、 1 1 2は、図 2に示すように、制御部 1 1、入出力 I ZF 1 2、放音指向性制御部 1 3、 D/ Aコンバータ 1 4、放音アンプ 1 5、スピーカ S P 1〜S P 1 6、マイク M I C 1 0 1〜： L 1 6、 2 0 1〜 2 1 6、収音アンプ 1 6、 AZDコンバータ 1 7、収音ビーム生成部 1 8、収音ビーム選択部 1 9、エコーキャンセル回路 20、操作部 3 1、表示部 3 2 を備える。制御部 1 1は、音声会議装置 1 1 1 , 1 1 2の全体制御を行う。入出力 I ZF 1 2はネットワーク 1 0 0に接続し、ネットワーク 1 00を介して入力された相手装置からの音声ファイルを、ネットワーク形式のデータから一般的な音声信号に変換してエコーキャンセル回路 20を介して放音指向性制御部 1 3に出力する。この際、制御部 1 1は、入力音声信号に添付された方位データを取得して、放音指向性制御部 1 3に対して放音制御を行う。放音指向性制御部 1 3は、放音制御内容に応じてスピーカ S P 1〜S P 1 6に対する放音音声信号を生成する。スピ一力 S P 1〜S P 1 6に対する放音音声信号は、入力音声データを遅延制御や振幅制御等の信号制御処理を行うことにより形成される。 DZAコンバータ 1 4はディジタル形式の放音音声信号をアナログ形式に変換し、放音アンプ 1 5は放音音声信号を増幅してスピー力 S P 1〜S P 1 6に与え、スピー力 S P 1〜S P 1 6は、放音音声信号を音声変換して放音する。これにより、自装置の会議者に、ネットヮ一クで接続された相手先装置の会議者の音声を放音する。

マイク M I C 1 0 1〜： L 1 6、 20 1〜 2 1 6は自装置の会議者の発声音を含む周囲の音を収音して電気信号変換し、収音音声信号を生成する。収音アンプ 1 6は収音音声信号を増幅し、 A Dコンバータ 1 7はアナログ形式の収音音声信号を所定のサンプリング間隔で順次デイジタル形式に変換する。収音ビーム生成部 1 8は、マイク M I C 1 0 1〜： L 1 6、 20 1〜 2 1 6 の収音信号に対して遅延処理等を行い、所定方位に強い指向性を有する収音ビーム音声信号 MB 1〜MB 8を生成する。収音ビーム音声信号 M B 1〜M B 8はそれぞれ異なる方位に強い指向性を有するように設定されている。図 1の音声会議装置 1 1 1であれば、 MB 1を方位 D i r 1 1に、 MB 2を方位 D i r l 2に、 MB 3を方位 D i r 1 3に、 MB 4を方位 D i r 14に、 MB 5を方位 D i r 1 5に、 MB 6を方位 D i r 1 6に、 MB 7を方位 D i r 1 7に、 MB 8を方位 D i r 1 8に設定される。一方、音声会議装置 1 1 2であれば、 MB 1を方位 D i r 2 1に、 M B 2を方位 D i r 2 2に、 MB 3を方位 D i r 2 3に、 MB 4を方位 D i r 24に、 MB 5を方位 D i r 2 5に、 MB 6を方位 D i r 26に、 MB 7を方位 D i r 2 7に、 MB 8を方位 D i r 2 8に設定される。

収音ビーム選択部 1 9は、収音ビーム音声信号 MB 1〜MB 8の信号強度を比較して、最も強度の高い収音ビーム音声信号を選択し、収音ビーム音声信号 MBとしてエコーキャンセル回路 2 0に出力する。収音ビーム選択部 1 9は、選択した収音ビーム音声信号 MBに対応する方位 D i rを検出して制御部 1 1に与える。エコーキャンセル回路 20は、適応型フィルタ 2 1で入力音声信号に基づいて擬似回帰音信号を生成して、ボストプロセッサ 22で収音ビーム音声信号 MBから擬似回帰音信号を減算する。これにより、スピ一力 S Pからマイク M I Cへの回り込み音を抑圧する。入出力 I ZF 1 2は、エコーキャンセル回路 20からの収音ビーム音声信号 MBをネットワーク形式で所定データ長からなる音声ファイルに変換し、制御部 1 1から得られる方位データと収音時間データとを添付して、順次ネットワーク 1 00に出力する。これら音声ファイル、方位データ、収音時間データ、および自装置を示す装置データを含み送信されるデータを通信音声データとする。

このような構成により、ネットワーク 1 00に接続された音声会議装置 1 1 1 , 1 1 2で多地点会議を行うことができる。

録音サーバ 1 0 1は、制御部 1、記録部 5、およびネットワーク I /F 6 を備える。この録音サーバ 1 0 1は、音声会議装置 1 1 1 , 1 1 2のいずれかと同じ場所に配置しても、これらとは全く異なる場所に配置してもよい。制御部 1は、音声データ解析部 2、方位 ·話者同定部 3、音声状況データ生成部 4を備えるとともに、ネットワーク I /F 6に対するネットワーク通信制御や記録部 5に対する記録制御等からなる録音サーバ 1 0 1の全体制御を行う。そして、制御部 1は例えば 1つの演算処理用チップと、 ROMと、演算用メモリである RAM等により構成され、 ROMに記憶された音声データ解析プログラム、方位 ·話者同定プログラム、音声状況データ生成プログラムを実行することにより、音声データ解析部 2、方位 ·話者同定部 3、音声状況データ生成部 4として機能する。

音声データ解析部 2は、音声会議装置間で通信される通信音声データをネットワーク I 6を介して取得し、解析する。音声データ解析部 2は、通信音声データから音声ファイル、収音時間データ、方位データ、装置データを取得する。

方位 ·話者同定部 3は、所定時間に亘る方位データの変化に基づいて、取得したそのままの方位データ、話者名データ、または方位未検出データを音声状況データ生成部 4に与える。

音声状況データ生成部 4は、与えられた方位データ、話者名データ、方位未検出データの時間変化に基づいて、音声ファイルの該当部に関連付けした状態で音声状況データを生成する。

なお、これら音声データ解析部 2、方位 ·話者同定部 3、音声状況データ生成部 4、すなわち制御部 1の具体的な処理内容については、図 4を用いて後述する。

記録部 5は、大容量のハードディスク装置等からなり、音声ファイル記録部 5 1、音声状況データ記録部 5 2、話者音声 D B 5 3を備える。音声ファィル記録部 5 1は、音声データ解析部 2で取得した音声ファイルを順次記録し、音声状況データ記録部 5 2は、音声状況データ生成部 4で生成した音声状況データを順次記録する。

話者音声 D B 5 3は、通信会議を行う各会議者（話者）の音声特徴量をデータベース化して記憶したものである。

図 4は、図 3における話者音声 D B 5 3の構成を示す概略図である。図 4に示すように、話者音声 D B 5 3は、話者名データ S i と音声特徴量データ S c と装置データ A pとを関連付けして記憶する。例えば、図 1に示すような会議の場合、地点 aに在席する各話者 A〜Eにそれぞれ話者名データ S i A〜 S i Eが割り当てられるとともに、音声会議装置 1 1 1に対応する装置データ A p i l lが割り当てられて記憶される。そして、各話者 A〜 Eの音声をそれぞれに解析して得られる音声特徴量（フォルマント等）力各話者 A〜E (話者名データ S i A〜 S i E ) にそれぞれ対応して音声特徴量データ S c A〜 S c Eとして記憶される。また、地点 bに在席する各話者 F〜 Iにそれぞれ話者名データ S i F〜S i Iが割り当てられるとともに、音声会議装置 1 1 2に対応する装置データ A p 1 1 2が割り当てられて記憶される。そして、各話者 F〜 Iの音声をそれぞれに解析して得られる音声特徴量（フォルマント等）力 S、各話者 F〜 I (話者名データ S i F ~ S i I ) にそれぞれ対応して音声特徴量データ S c F〜 S c I として記憶される。これらの関連付けは、予め会議前に各会議者が個別に発声して自分の発声音および話者名を登録することにより実現できる。また、会議の進行中に、録音サーバ 1 0 1の音声データ解析部 2が、順次話者名データ S i と音声特徴量データ S c とを自動的に関連付けして、話者音声 D B 5 3を更新記録していくことでも実現できる。

次に、録音サーバ 1 0 1の録音フローについて図 5、図 6を参照して説明する。

図 5は、図 1における録音サーバ 1 0 1の録音処理フローを示すフローチヤートである。図 6 Aは、地点 aの話者 Aが発言した状態を示す図であり、図 6 Bは、地点 aの話者 A， Eが同時に発言した状態を示す図である。図 7は地点 aの話者 Eが移動しながら発言した状態を示す図である。図 8 は、図 1における録音サーバ 1 0 1に記録された音声ファイル、音声状況データの概念図である。

録音サーバ 1 0 1は、ネットワーク 1 0 0での通信音声データを監視し、会議開始トリガを検出すると録音を開始する（S 1→S 2 ) 。この際、会議開始トリガは、ネットワーク 1 0 0に通信音声データが送受信されたことを検知することで得られ、例えば、各音声会議装置 1 1 1 , 1 1 2が会議開始スィッチの押下により会議開始パルスを発して、録音サーバ 1 1 1がこれを検知することにより得られる。また、録音サーバ 1 0 1に録音開始スィッチが予め備えられており、この録音開始スィツチが押下されることにより会議開始トリガが得られる。

録音が開始されると、録音サーバ 1 0 1 (制御部 1 ) は録音開始時間を取得し、音声状況データ生成部 4は、この録音開始時刻を 1つの音声状況データのタイトルとして保存する（S 3 ) 。

音声データ解析部 ₂は、順次取得した通信音声データから音声ファイルを復元して、記録部 5の音声ファイル記録部 5 1に記録する（S 4 ) 。

この際、音声データ解析部 2は、取得した通信音声データから装置データを取得して記憶部 5に与える。記憶部 5は、与えられた装置データに従い、前記音声ファイルを装置別に順次音声ファイル記録部 5 1に記録する。なお、音声会議装置 1 1 1， 1 1 2は並行して音声ファイルをネットワークに出力するので、これらの音声ファイルを同時に記憶するため、記録サーバ 1 0 1 はマルチタスク処理を実行可能とするように構成されている。

音声データ解析部 2は、通信音声データから装置データ、方位データ、収音時間データを取得し、方位 ·話者同定部 3に与える（S 5 ) 。

方位 ·話者同定部 3は、順次入力される方位データの変化を観測し、方位データが単方位を示し、且つ所定時間以上に亘り方位データの変化がないことを検出すると、単方位データである当該方位データを、話者識別データとして音声状況データ生成部 4に与える（S 6— S 7 ) 。この際、単方位データからなる話者識別データは、対応する音声ファイルの部分と関連付けされた状態で、音声状況データ生成部 4に与えられる。

例えば、図 6 A図に示すように、地点 aの話者 Aが継続的に発言する場合、方位データ D i r 1 1が単方位データで認識され、当該方位データ D i r 1 1が話者識別データとして音声状況データ生成部 4に与えられる。

方位 ·話者同定部 3は、方位データが前記単方位データではない（単方位で且つ時間変化有り）と判断すると、音声ファイルに対応する方位データが複数であるかを検出する。そして、方位 ·話者同定部 3は同一の組み合わせからなる複数方位データが所定時間以上に亘り変化しないことを検出すると、当該複数方位データを、話者識別データとして音声状況データ生成部 4に与える（S 6→S 8→S 1 0 ) 。この際も、複数方位データからなる話者識別データは、対応する音声ファイルの部分と関連付けされた状態で、音声状況データ生成部 4に与えられる。

例えば、図 6 B図に示すように、地点 aの話者 A , Eが同時に且つ継続的に発言する場合、方位データ D i r 1 1 , D i r 1 8の組み合わせが複数方位データで認識され、当該方位データ D i r 1 1 , D i r 1 8の組み合わせが話者識別データとして音声状況データ生成部 4に与えられる。

方位 ·話者同定部 3は、前述の 2つの場合と異なり、方位データが前記所定時間内で変化することを検出すると、話者音声 D B 5 3を読み出して話者同定を行う。具体的に、話者同定処理が選択されると、方位 ·話者同定部 3 は、音声データ解析部 2に取得音声ファイルの解析を行わせ、当該音声ファィルの音声特徴量データ (フォルマント等) を取得する。方位 ·話者同定部 3は、解析して取得した音声特徴量データを話者音声 D B 5 3に記録されている各音声特徴量データ S cと比較して、一致する音声特徴量データ S cがあれば、当該音声特徴量データ S cに対応する話者名データ S i を選択する。方位 ·話者同定部 3は、この選択した話者名データ S iを話者識別データとして音声状況データ生成部 4に与える（S 6→ S 8→ S 9→ S 1 1 ) 。この際も、話者名データ S iからなる話者識別データは、対応する音声ファイルの部分と関連付けされた状態で、音声状況データ生成部 4に与えられる。例えば、図 7に示すように、地点 aの話者 Eが方位 D i r 1 8から方位 D i r l 6へ移動しながら発言する場合、方位データが話者識別データとして認識されず、話者同定により得られた話者名データ S i Eが話者識別データとして音声状況データ生成部 4に与えられる。なお、この説明では、話者 E が単独で移動する場合を示したが、複数の話者が発言しながら同時に移動するような場合には、複数の話者名データの組み合わせが話者識別データとして音声状況データ生成部 4に与えられる。

方位'話者同定部 3は、上記のいずれの場合にも該当しないと判断すると、方位未検出データを話者識別データとして音声状況データ生成部 4に与える ( S 6→ S 8→S 9→ S 1 2 ) 。

音声状況データ生成部 4は、方位 ·話者同定部 3から順次与えられる話者識別データを、対応する音声ファイルに関連付けし、時系列に並べた形式のデータである音声状況データを生成する。そして、音声状況データ生成部 4 は、音声状況データを記録部 5の音声状況データ記録部 5 2に記録する（S 1 3 ) ₀

このような方位 ·話者同定と、音声状況データの生成、記録処理と、音声ファイルの記録処理とは、録音終了トリガが検出されるまで繰り返し行われる（S 1 4→S 4 ) 。

そして、録音終了トリガが検出されれば、制御部 1は録音終了処理を行う ( S 1 4→S 1 5 ) 。なお、録音終了トリガは、ネットワーク 1 0 0に接続された音声会議装置 1 1 1， 1 1 2の会議終了スィツチ押下や電源オフ等を検出することにより得られる。制御部 1は、最終の音声状況データを生成、記録するとともに、音声状況データ記録部 5 2に記録された各音声状況データを録音開始時に取得したタイトルでグループ化するグループ化指示データを生成して音声状況データ記録部 5 2に記録する。

このような構成と処理とにより、図 8に示すように、音声ファイル記録部 5 1には、経時的に連続する音声ファイルが装置毎に記録される。この際、音声ファイルは、音声状況データ記録部 5 2に記録された音声状況データの話者識別データ毎により区分される。すなわち、方位データ、話者名データ、方位未検出データで区分される。以下、この区分化された音声ファイルのそれぞれを区分化音声データと称する。

例えば、地点 aの音声ファイルであれば、方位データ D i r 1 1〜D i r 1 8のいずれかからなる単方位データの音声ファイル、方位データ D i r 1 1〜D i r 1 8のうちの複数を組み合わせてなる複数方位データの音声ファィル、話者名データ S i A〜S i Eのいずれかからなる話者名データの音声ファイル、方位未検出データ U n K n o w nの音声ファイル、有効な収音声の無い無音部に対応する音声ファイルで区分される。そして、区分化音声フアイルのそれぞれには、区分の開始時間データが関連付けされている。ここで、図 8に示す例では、音声会議装置 1 1 1を利用する会議者が 5人であるのに対し、記録されている方位データが 4個（D i r l l , D i r l 2， D i r 1 5 , D i r 1 8 ) であり、話者名データが 1個（S i E ) であり、方位未検出データが 1個であり、音声状況データにはこれらのデータしか記録されない。すなわち、発言のない話者に関する話者識別データは音声状況データに記録されない。

このように、本実施形態の構成および処理を用いることで、方位（単方位、複数の組み合わせによる方位）および話者名と、方位も話者名も分からないが発言があったことを示す方位未検出情報とにより、確実に話者を区別した状態で会議者の発言を記録することができる。

また、元々話者識別要素であり通信音声データに含まれる方位データを用いて話者識別データを生成する方が、音声特徴量を解析してデータベースと比較することで話者同定して話者識別データを生成するよりも、当然に同定処理が簡素で且つ高速となる。したがって、本実施形態の構成を用いることにより、従来の全てを音声特徴量で同定する方法よりも、高速で話者識別データを生成することができ、リアルタイム性に優れる。また、各発言に関する区分化音声ファイルは、会議の経過時刻に関する時間データが関連付けされているので、各会議者、地点の議事の進行状況をも含んで議事録を記録することができる。これにより、後述するような議事録作成処理を行う場合に、議事録作成者に対して使い勝手の良い会議の記録データを提供することができる。

次に、議事録作成時の構成おょぴ処理について説明する。

図 9は議事録作成時の音声通信システムの構成図である。図 1 0は図 9における録音サーバ及びパソコン 1 0 2の主要構成を示すプロック図である。図 1 1 Aは、編集アプリ実行時にバソコン 1 0 2の表示部 1 2 3に表示される初期表示画像の一例を示す図であり、図 1 1 Bは、編集後の表示画像の一例を示す図である。

図 9に示すように、議事録作成時には、議事録作成者はパソコン 1 0 2をネットワーク 1 0 0に接続する。この際、ネットワーク 1 0 0には、録音サーパ 1 0 1が O N状態で接続され、音声会議装置 1 1 1， 1 1 2は接続されていない。なお、音声会議装置 1 1 1， 1 1 2はネットワーク 1 0 0に接続されていてもよいが、議事録作成処理とは無関係であるので、実質的に接続していないのと同じである。

ノ、。ソコン 1 0 2は、 C P U 1 2 1、ハードディスク等の記憶部 1 2 2、表示部 1 2 3、操作入力部 1 2 4、ネットワーク 1ノ 1 2 5、スピー力 1 2 6を備える。

C P U 1 2 1は通常のパソコンの処理制御を行うとともに、記憶部 1 2 2 に記憶されている、編集アプリや再生アプリを読み出して実行することで、音声状況データの内容をタイムチヤ一ト的に表示する表示手段、音声状況データを編集する編集手段や、音声ファイルの再生手段として機能する。記憶部 1 2 2は、ハードディスク等の磁気ディスクゃメモリからなり、編集アプリや再生アプリを記憶するとともに、 C P U 1 2 1が各機能を実行する際の作業部として利用される。なお、本実施形態では編集アプリに表示ァプリも含まれているが、編集アプリと表示アプリとを別にしてもよい。

表示部 1 2 3は、液晶ディスプレイ等により構成され、 C PU 1 2 1で編集アプリが実行されると、編集アプリ内の表示アプリが起動して C PU 1 2 1から表示画像情報が与えられ図 1 1 Aに示すような画像を表示する。

操作入力部 1 2 4は、キーボードやマウスからなり、ユーザ（議事録作成者）の操作入力を受け付けて C PU 1 2 1に与える。例えば、マウスで表示画面上のカーソルを移動させ、該当位置でマウスをクリックすることにより、クリック情報が C P U 1 2 1に与えられ、 C PU 1 2 1はタリック位置とクリック状況から操作入力内容を判断して後述するような所定の編集、再生処理を行う。

ネットワーク I /F 1 2 5は、ノソコン 1 0 2をネットワーク 1 0 0に接続させる機能部であり、 C P U 1 2 1からの通信制御に応じて、 C PU 1 2 1からの制御信号や、録音サーバ 1 0 1から音声状況データおよび音声ファィルを通信する。

スピー力 1 2 6は、 C PU 1 2 1の制御に従い音声ファイルを放音する。次に、音声状況データの編集方法について図 1 1を参照しながら詳述する。議事録作成者が会議後にパソコン 1 0 2を操作して編集アプリを実行すると、パソコン 1 0 2は、録音サーバ 1 0 1から音声状況データを取得し、図 1 1 Aに示すような画面を表示する。

図 1 1 Aに示すように編集画面は、表題表示部 2 0 1、タイムチャート表示部 2 0 2、を備える。タイムチャート表示部 2 0 2は、各音声ファイルを示すバーグラフ 2 0 3、話者識別情報表示部 2 0 4、装置 ·地点表示部 2 0 5、内容表示部 2 0 6を備える。

( 1 ) 表題表示部 2 0 1 初期状態で、図 1 1 Aに示すように表題表示部 20 1には音声状況フアイルのファイル名に相当する、議事録記録年月日が表示される。議事録作成者がマウスを用いて表題表示部 20 1を選択すると、表題表示部 20 1は編集可能となる。そして、議事録作成者が、会議名である「商品販売検討会豳」をキーボ一ド等で入力すると、図 1 1 Bに示すように表題表示部 20 1には、「商品販売検討会議」が表示される。 C PU 1 2 1は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、音声状況ファイルに表題名が「商品販売検討会議」であることを関連付けする。この場合、音声状況ファイル名を直接「商品販売検討会議」に変更して、録音サーバ 1 0 1に記憶させても良い。これにより、表題が単なる年月日表示から具体的な会議名の表示になるので、後からでも容易に議事録を認識することができる。

(2) タイムチャート表示部 20 2

タイムチヤ一ト表示部 2 0 2は、音声状況ファイルから得られる区分化の情報に従い、各区分化音声ファイルを話者識別情報別で時系列に並べてバーグラフ 20 3として表示する。この際、バーグラフ 2 0 3の長さは区分化音声ファイルの時間長を表す。この際、話者識別情報は話者識別情報表示部 2 04に表示される。

各話者識別表示部 204には、図 1 1 Aに示すように、音声状況ファイルから得られた方位データ（D i r l l , D i r l l +D i r l 8, D i r l 5, D i r 1 2 , D i r 2 1 , D i r 24 , D i r 2 6 , D i r 2 8 ) と、話者名データ（S i E) と、方位未検出データ（Un Kn o wn) とが初期状態で表示される。議事録作成者がマウスを用いて話者識別情報表示部 20 4を選択すると、話者識別情報表示部 2 04は編集可能となる。

ここで、議事録作成者が各区分化音声ファイルをマウスでダブルクリックする等の操作を行えば、 C PU 1 2 1はこれを認識して、該当する区分化音声ファイルを録音サーバ 1 0 1から読み出して再生する。再生音はスピーカ 1 2 6から議事録作成者に放音される。議事録作成者はこの音声を聞くことにより、各区分化音声ファイルに対応する話者を聴覚的に把握することがでさる。

そして、議事録作成者が、この再生音に基づいて話者識別データ毎に対応する会議者（話者）名をキーボード等で入力すると、話者識別情報表示部 2 0 4には、図 1 1 Bに示すように、各話者識別データに対応した話者名（話者 A〜話者 I ) が表示される。 C P U 1 2 1は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、各話者識別データを、入力された話者名に置き換えて録音サーバ 1 0 1に記憶させる。この際、各話者識別データと入力話者名とを対応付けして記録するようにしても良い。これにより、各区分化音声ファイルが明確に名前の分かる話者名で識別される。

なお、前述の再生において、話者識別情報表示部 2 0 4の各話者識別データ部分をマウスでダブルクリックすると、 C P U 1 2 1はこれを認識して、選択された話者識別情報表示部 2 0 4の各話者識別データ部分に対応する区分化音声ファイルを録音サーバ 1 0 1から読み出して再生することもできる。このような方法でも話者名を特定することができる。さらにこの方法を用いれば、会議全体をいちいち聞き直すことなく、必要な話者の発言のみを容易に抽出して聴き取ることができる。

装置 ·地点表示部 2 0 5には、図 1 1 Aに示すように、音声状況ファイルから得られた装置データ（A p 1 1 1 , A p 1 1 2 ) が初期状態で表示される。議事録作成者がマウスを用いて装置 ·地点表示部 2 0 5を選択すると、装置 ·地点表示部 2 0 5は編集可能となる。そして、議事録作成者が、各装置の配置場所をキーボード等で入力すると、装置表示部 2 0 5には、図 1 1 Bに示すように場所名（「本社」、「大阪支社」）が表示される。 C P U 1 2 1は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、各装 gデータに対応する場所名を関連付けする。この場合、装置データを場所名データに直接置き換えて、録音サーバ 1 0 1に記憶させても良い。これにより、どの地点間で会議が行われたかを容易に識別することができる。

内容表示部 2 0 6には、図 1 1 Aに示すように初期状態では枠しか表示されない。議事録作成者がマウスを用いて内容表示部 2 0 6を選択すると、内容表示部 2 0 6は編集可能となる。そして、議事録作成者が議事内容をキーポード等で入力すると、内容表示部 2 0 6には、図 1 1 Bに示すように議事内容（「会議の趣旨確認」.、「コスト見積もり」、「マーケティング」）が表示される。この際、各内容表示部 2 0 6は、それぞれ異なる色やパターンで表示される。そして、いずれかの内容表示部 2 0 6を選択した状態で、各区分化音声ファイルのバーグラフ 2 0 3を選択すると、これらが関連付けされて、内容表示部 2 0 6と同じ色、パターンで表示される。 C P U 1 2 1は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、各内容表示部 2 0 6に対応する議事内容を関連付けして記憶するとともに、さらに各区分化音声ファイルと議事内容とを関連付けして記憶する。なお、これらの情報は音声状況ファイルに付加されるものである。これにより、各区分化音声ファイルの内容を容易に識別することができる。さらに、このように関連付けされた後、内容表示部 2 0 6をマウスでダブルクリックすると、 C P U 1 2 1はこれを認識して、選択された内容表示部 2 0 6に関連付けされている区分化音声ファイルを録音サーバ 1 0 1から読み出して再生する。これにより、会議全体をいちいち聞き直すことなく、必要な内容の部分のみを容易に抽出して聴き取ることができる。以上のような構成および処理を用いることで、より分かりやすい議事録を簡単に形成することができる。また、会議の必要部のみを容易に聞き直すことができる。

ところで、議事録の初期表示パターンは、図 1 1 Aに示すようなパターンに限らず、図 1 2 A、図 1 2 Bに示すようなパターンや、図 1 2 A、図 1 2 Bを組み合わせたようなパターンであってもよい。

図 1 2 A及び図 1 2 Bは、それぞれ編集アプリ実行時の初期表示画像の他の一例を示す図である。

図 1 1 Aは、単方位、複数方位の組み合わせによる方位で区別することなく、話者識別データを並べて表示する方法を示したが、図 1 2 Aに示すように、複数方位の組み合わせの場合には、それぞれの方位に分割してバーグラフ 2 0 3を表示するようにしてもよレ、。また、図 1 2 Bに示すように話者識別データの表示順を優先させてバ一グラフ 2 0 3を表示するようにしてもよレ、。

また、話者音声 D B 5 3において、図 1 3 Aに示すように方位データをさらに追加することで、図 1 3 Bに示すように、初期状態から話者名のみで話者識別情報を表示することができる。

図 1 3 Aは方位データをも含む話者音声 D B 5 3の構成を示す概略図であり、図 1 3 Bは図 1 3 Aの話者音声 D Bを用いた場合の編集画面の一例を示す図である。

図 1 3 Aに示すように、話者音声 D B 5 3には、話者名データ S i A〜 S i I、音声特徴量データ S c A〜 S c I、装置データ A p i l l , A p 1 1 2とともに、各話者名データ S i A〜S i Iにそれぞれ対応する方位データ D i r 1 1 , D i r 1 2 , D i r 1 4 , D i r 1 5 , D i r 1 8 , D i r 2 1 , D i r 2 4 , D i r 2 6 , D i r 2 8力話者名データ S i A〜 S i I に関連付けされて記録されている。ここで、話者名データ S i と方位データ D i rの関連付けは、会議前に各会議者が個別に発声して自分の発声音および話者名と座席位置（方位）とを記録することにより実現できる。また、会議の進行中に、録音サーバ 1 0 1 の音声データ解析部 2が、順次話者名データ S i と方位データ D i r との関連を自動的に検出して話者音声 D B 5 3を更新記録していくことでも実現でさる。

編集アプリが実行されると、パソコン 1 0 2の C P U 1 2 1は、音声状況データから話者識別データを読み出すとともに、図 1 3 Aに示す話者音声 D B 5 3を読み出して、方位データ D i rを話者名データ S iに置き換える。そして、置き換えられた話者名データ S iを、図 1 3 Bに示すように話者識別情報表示部 2 0 4へ表示する。このような方法を用いることで、方位未検出データ以外は話者名で表示されるので、議事録作成者に対して、発言者がより分かりやすいように議事録編集画面を表示することができる。この方位データ D i rを話者名データ S iに変換する処理は、編集時に行う場合に限らず、音声状況データの生成時に行ってもよい。

なお、前述の説明では、録音サーバ 1 0 1 と、音声状況ファイルの表示、編集装置であり、音声ファイルの再生装置であるパソコン 1 0 2とがネットワーク接続される場合を示したが、パソコン 1 0 2が録音サーバ 1 0 1を備えるような構成としてもよい。

図 1 4は、パソコンが録音サーバを兼用する場合のパソコンの主要構成を示すプロック図である。

図 1 4に示すように、録音サーバを兼用したパソコンは、音声データ解析部 2と方位 ·話者同定部 3と音声状況データ生成部 4とを含む制御部（C P U ) 1、記録部 5、ネットワーク I 6'、スピー力 7、操作入力部 8、表示部 9を備える。記録部 5は、録音サーバとして記録部（図 3の記録部 5 ) とバソコンのアプリのための記憶部（図 1 0の記憶部 1 2 2 )とを兼ね備え、ネットワーク I ZF 6は、録音サーバとしてのネットワーク I /F (図 3のネットワーク I ZF 6 ) とパソコンとしてのネットワーク I ZF (図 1 0のネットワーク I /F 1 2 5) とを兼ね備える。制御部 1はパソコンの制御部 (C PU) であるとともに、録音サーバの制御部として機能する。スピーカ 7、操作入力部 8、表示部 9は、前述のバソコン 1 0 2のスピーカ 1 2 6、操作入力部 1 2 4、表示部 1 2 3とそれぞれ同じである。

このような構成とすることで、録音サーバ（音声ファイルの記録と音声状況ファイルの生成記録とを行う装置）、音声状況（会議発言状況）を可視化する装置、音声状況データの編集装置、音声ファイルの再生装置を一体形成することができる。なお、記録部はパソコンに内蔵される磁気記録装置であつても、外付けされる各種の記録装置であってもよい。

また、前述の説明では、録音サーバ 1 0 1 と音声会議装置 1 1 1， 1 1 2 とを別体形成した例を示したが、ネットワーク 1 0 0に接続する音声会議装置のうち、少なくともいずれか 1つの音声会議装置に内蔵させても良い。図 1 5は、録音サーバが内蔵された音声会議装置の構成を示すブロック図である。

図 1 5に示すように、録音サーバを音声会議装置に内蔵させる場合、図 2 に示した構成に対して、記憶部 3 0を追加する。

記憶部 3 0には、エコーキャンセル回路 2 0の収音ビーム音声信号 MBが入力されるとともに、入出力 I /F 1 2からの入力音声信号が入力される。記憶部 3 0はこれらを音声ファイルとして記憶する。制御部 1 0は収音ビ一ム音声信号が記憶部 3 0に入力される場合、自身の装置データと収音ビーム選択部 1 9から得られる方位データと、収音時間データとを添付して記憶するとともに、前述の方位 ·話者同定を行って音声状況データを生成して記億部 3 0に記憶する。また、制御部 1 0は入力音声信号が記憶部 3 0に入力される場合、入出力 I /F 1 2から受信元の装置データ、入力音声信号に添付された方位データ、収音時間データを取得して、前述の方位 .話者同定を行つて記憶部 3 0の音声状況データを更新する。この際、まだ、音声状況データが生成、記憶されていなければ、音声状況データを生成、記憶する。

このような構成とすることで、録音サーバを別途設ける必要が無く、議事録作成システムをより簡素な構造で実現することができる。なお、記憶部を備える音声会議装置はネットワークに接続する 1台のみである必要はなく、複数台に備えさせても良い。

また、音声会議装置に備えられる記憶部はあまり大きなものとすることができないので、音声会議装置に記憶部を備えさせるとともに、別途録音サーパを設けても良い。この場合、音声会議装置の記憶部で対応可能な時間までは、音声会議装置の記憶部で音声ファイルおよび音声状況データを記憶し続け、記憶部の容量が一杯となる時点で録音サーバに転送を行ってもよい。また、前述の説明では、ネットワークに接続する複数の音声会議装置で多地点会議を行う場合を示したが、単一の音声会議装置のみを使う場合であつても同時に方位を検出して収音音声信号に関連付けすることで同様の作用 · 効果を得ることができる。

また、前述の説明では、議事録作成の場合を例に説明したが、他の多地点間の通信音声を記録する装置（システム）に対しても同様の作用 ·効果を得ることができる。

産業上の利用の可能性

本発明によれば、複数の音源からの音声データを経時的に記録したデータを利用する場合に、利用者に対して使い勝手の良い状態でデータを比較的簡素な処理により形成して提供することができる。具体例として、多地点会議システムで各会議者の発言を記録しておくような場合に、各会議者の発言をタイムチヤ一ト等により、より分かりやすく議事録作成者に提供することができる。

また、本発明によれば、収音信号により話者方向を自動検出する放収音装置を用いることで、音声通信システムおよびこのシステムで通信される音声データの記録を、従来よりも簡素な構成で実現することができる。

Claims

請求の範囲

1 . 音声データと当該音声データの到来方向を示す方位データとを経時的に取得するデータ取得手段と、

各話者の話者音声特徴量を記憶する話者音声特徴データベースと、取得した前記方位データが所定時間に亘り単一方位を示して変化が無ければ、当該単方向データである前記方位データを話者識別データに設定し、前記方位データが所定時間に亘り同一の組み合わせからなる複数方位を示して変化が無ければ、当該複数方位データである前記方位データを前記話者識別データに設定し、

前記話者識別データが当該単方位データおよび前記複数方位データでない場合に、前記音声データから音声特徴量を抽出して前記話者音声特徴量と比較することによって話者同定を行い、話者が同定されれば同定話者に対応する話者名データを前記話者識別データに設定し、話者が同定されなければ方位未検出データを前記話者識別データに設定する方位 ·話者同定手段と、前記話者識別データの判定結果の時間分布を分析したデータである音声状況データを生成する音声状況データ生成'手段と、

前記音声データおよぴ前記音声状況データを記憶する記憶手段と、を備えたことを特徴とする音声状況データ生成装置。

2 . 前記方位 ·話者同定手段は、通信中に入力される話者音声から得られる話者音声特徴量に基づいて随時話者音声特徴データベースの更新を行うことを特徴とする請求の範囲第 1項記載の音声状況データ生成装置。

3 . 請求の範囲第 1項記載の音声状況データ生成装置と、

前記音声状況データに基づいて前記音声データの時間分布を話者別で時系列にグラフ化して表示する表示手段と、

を備えたことを特徴とする音声状況可視化装置。

4 . 請求の範囲第 3項記載の音声状況可視化装置と、前記音声状況データを編集する操作入力を受け付ける操作受付手段と、該操作受付手段により受け付けた編集内容を解析して、前記音声状況データを編集するデータ編集手段と、

を備えたことを特徴とする音声状況データ編集装置。

5 . 請求の範囲第 4項記載の音声状況データ編集装置と、

前記操作受付手段により選択された話者の音声データを全音声データ中から選択して再生する再生手段と、

を備えたことを特徴とする音声データ再生装置。

6 . 複数の放収音装置がネットワークを介して音声データを通信する音声通信システムであって、

請求の範囲第 1項記載の音声状況データ生成装置、請求の範囲第 3項記載の音声状況可視化装置、請求の範囲第 4項記載の音声状況データ編集装置、及び請求の範囲第 5項記載の音声データ再生装置のいずれかは、前記複数の放収音装置とは別体でネットワークに接続され、

前記データ取得手段は、前記複数の放収音装置間で通信される音声データと方位データとを取得することを特徴とする音声通信システム。

7 . 複数の放収音装置がネットワークを介して音声データを通信する音声通信システムであって、

請求の範囲第 1項記載の音声状況データ生成装置、請求の範囲第 3項記載の音声状況可視化装置、請求の範囲第 4項記載の音声状況データ編集装置、及ぴ請求の範囲第 5項記載の音声データ再生装置のいずれかは、前記複数の放収音装置のいずれかに内蔵され、

前記データ取得手段は、音声データ処理装置が内蔵される放収音装置で送受信される音声データと方位データとを取得することを特徴とする音声通信システム。

8 . 前記放収音装置は、マイクてレイを備え、該マイクアレイの各マイクの収音音声信号に基づいて、それぞれに異なる方位に強い指向性を有する複数の収音ビーム信号を形成し、該複数の収音ビーム信号を比較して、最も信号強度の強い収音ビーム信号を選択するとともに、選択された収音ビーム信号に対応する方位を検出して、前記選択された収音ビーム信号を音声データとし、前記検出した方位を方位データとして出力することを特徴とする請求の範囲第 6項記載の音声通信システム。