JP2016220132A - サーバ装置、端末、通話システムおよび電話会議システム - Google Patents

サーバ装置、端末、通話システムおよび電話会議システム Download PDF

Info

Publication number
JP2016220132A
JP2016220132A JP2015105540A JP2015105540A JP2016220132A JP 2016220132 A JP2016220132 A JP 2016220132A JP 2015105540 A JP2015105540 A JP 2015105540A JP 2015105540 A JP2015105540 A JP 2015105540A JP 2016220132 A JP2016220132 A JP 2016220132A
Authority
JP
Japan
Prior art keywords
terminal
connection
voice
conference
server device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015105540A
Other languages
English (en)
Inventor
小林 正典
Masanori Kobayashi
正典 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015105540A priority Critical patent/JP2016220132A/ja
Publication of JP2016220132A publication Critical patent/JP2016220132A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】外部機器を用いることなく、サーバ装置の処理負荷を分散させた端末の接続構造を構築する。【解決手段】通話会議への参加を要求する端末20,30について、音声データを合成する機能を有するか否かを示す音声合成機能に関する情報を取得する制御部11と、制御部11が取得した音声合成機能に関する情報と、端末20,30が参加を要求する通話会議の音声通信に既に接続された機器の音声合成機能に関する情報、接続階層を示す情報および機器種別を示す情報とから、参加を要求する端末20,30を接続させる機器を探索する接続位置検索部14とを備え、制御部11が接続位置検索部14が検索した機器に端末20,30の追加接続を要求する信号を出力する。【選択図】図2

Description

この発明は、複数の端末から受信した音声データを合成して配信する、多地点接続の通話技術に関するものである。
従来、電話会議のように複数の会議参加者が音声通話を行う通話システムは、サーバ装置が、会議参加者が利用する端末を管理して当該端末から送信される音声データを合成し、合成音声データを各端末に配信することで実現していた。しかし、会議参加者の端末数が増えると、サーバ装置における音声データの合成処理の処理負荷が増加するという問題があった。
サーバ装置の処理負荷の増加を抑制する対策として、非特許文献1には複数台の音声合成装置を階層構造で接続して処理負荷を分散する分散型ミキシングカンファレンスの技術が開示されている。また、特許文献1には、端末およびサーバに接続されたリソースを備え、サーバ装置によって決定されたリソースがそれぞれの端末から受信したトラフィック信号をまとめ、まとめた信号を会議通話の参加者の他の端末に送信する会議システムが開示されている。また、特許文献2には、1または複数台のテレビ電話装置との間で通信する通信エンジンと、当該テレビ電話装置から受信したデータを合成するグラフィックエンジンと、合成したデータをテレビ電話装置へ出力する制御手段とを有する外部モジュールを備えたテレビ電話システムが開示されている。
国際公開2004−021655 特開2004−356814号公報
Network Working Group Request for Comments:4353 Category:Informational,J.Rosenberg Cisco System,February 2006
しかしながら、上述した非特許文献1に記載された技術では、音声合成装置を接続するための階層構造を構築するには手間がかかり、さらに当該階層構造を構築するためにはネットワークの知識を要するという課題があった。また、適切に処理負荷を分散するためには、個々の音声合成装置の処理負荷の状況をリアルタイムに取得する必要があるが、処理負荷の状況をリアルタイムに取得する構成は開示されていないという課題があった。
また、上述した特許文献1および特許文献2に記載された技術では、リソースあるいは外部モジュールがデータを合成するため、サーバ装置の処理負荷は分散される。しかし、サーバ装置の処理負荷を適切に分散させるための具体的構成については開示されておらず、特許文献1および特許文献2の技術をそのまま適用することは困難であるという課題があった。
この発明は、上記のような課題を解決するためになされたもので、外部機器を用いることなく、サーバ装置の処理負荷を分散させた端末の接続構造を構築することを目的とする。
この発明に係るサーバ装置は、通話会議への参加を要求する端末について、音声データを合成する機能を有するか否かを示す音声合成機能に関する情報を取得する制御部と、制御部が取得した音声合成機能に関する情報と、端末が参加を要求する通話会議の音声通信に既に接続された機器の音声合成機能に関する情報、接続階層を示す情報および機器種別を示す情報とから、参加を要求する端末を接続させる機器を探索する接続位置検索部とを備え、制御部が接続位置検索部が検索した機器に端末の追加接続を要求する信号を出力するものである。
この発明によれば、外部機器を用いることなく、サーバ装置の処理負荷を分散させた端末の適切な接続構造を構築することができる。
実施の形態1に係るサーバ装置を用いた通話システムの構成例を示す説明図である。 実施の形態1に係るサーバ装置の構成を示すブロック図である。 実施の形態1に係るサーバ装置の接続端末記憶部に記憶された接続端末テーブルの構成例を示す図である。 音声合成機能を有する端末の構成を示すブロック図である。 実施の形態1に係るサーバ装置のハードウェア構成を示す図である。 実施の形態1に係るサーバ装置を備える通話システムの処理を示すシーケンス図である。 実施の形態1に係るサーバ装置の動作を示すフローチャートである。 実施の形態1に係るサーバ装置による端末接続の構築を示す図である。 実施の形態1に係るサーバ装置による端末接続の構築を示す図である。 実施の形態1に係るサーバ装置による端末接続の構築を示す図である。 実施の形態1に係るサーバ装置による端末接続の構築を示す図である。 実施の形態2に係るサーバ装置を用いた通話システムの構成例を示す説明図である。 実施の形態2に係るサーバ装置の動作を示すフローチャートである。
実施の形態1.
実施の形態1に係るサーバ装置を用いた通話システムについて、図1を参照しながら説明を行う。図1は、実施の形態1に係るサーバ装置を用いた通話システムの構成例を示す説明図である。
通話システム100は、サーバ装置10および複数の端末20,30で構成されている。図1の例では、会議200および会議300が開催されており、サーバ装置10は会議200および会議300に参加するユーザの6つの端末20,30a,30b,30c,30d,30eの通信を制御している。サーバ装置10は会議200および会議300に参加するユーザの6つの端末20,30a,30b,30c,30d,30eから出力される音声データの合成処理を行い、合成した音声データを各ユーザの端末20,30に向けて配信する。サーバ装置10は、音声合成処理以外にも、各端末20,30との通信接続の確立を行い、各端末20,30の情報の管理を行う。
端末20,30は、例えば携帯端末などで構成され、音声入出力機能および通信機能を備える機器であれば、どのような機器でも構成可能である。図1において、端末20、端末30aおよび端末30bのユーザは、会議200の音声通話に参加し、端末20、端末30aおよび端末30bを介して発話および会議200の傍聴を行っている。同様に端末30c、端末30dおよび端末30eのユーザは、会議300の音声通話に参加し、端末30c、端末30dおよび端末30eを介して発話および会議300の傍聴を行っている。会議200,300は、音声通話による通話会議に加え、画像データの送受信も伴ってテレビ電話会議として構成することも可能である。
端末20は、音声データを合成する機能を有しており、会議200に参加する他の端末30aおよび端末30bから送信された音声に、自端末20の音声データを合成し、合成した音声データをサーバ装置10に送信する。サーバ装置10は端末20によって合成された音声データを受信するため、音声合成処理を行う必要がない。これにより、サーバ装置10の処理負荷が低減される。端末30は、音声データを合成する機能を有しておらず、音声データを合成する機能を有するサーバ装置10または端末20の下位層に接続される。
サーバ装置10と端末20と端末30は所定の通信プロトコル(以下では、SIP(Session Initiation Protocol)を例に説明する)に準拠した手順で通信を確立する。なお、通信プロトコルはSIPに制限されるものではなく一例である。
図2は、実施の形態1に係るサーバ装置10の構成を示すブロック図である。
サーバ装置10は、制御部11、音声合成処理部12、接続端末記憶部13および接続位置検索部14を備える。
制御部11は、端末20,30から通信開始を要求する通知を受信すると、当該端末20,30との通信を確立するための制御を行う。端末20,30から送信される通信開始を要求する信号(例えば、SIPメッセージ、具体例としてはINVITEメッセージ)には、当該端末20,30の音声合成機能に関する情報が付与されている。制御部11は、受信した音声合成機能に関する情報を接続端末記憶部13の接続端末テーブルに格納する。なお、通信開始を要求する信号に音声合成機能に関する情報が付与されていない場合には、当該通信開始を要求する信号の送信元である端末30が音声合成の機能を有していないと判断し、接続端末テーブルに音声合成の機能を有していない旨を格納する。
音声合成処理部12は、通信接続の確立先である複数の端末20,30から送信される音声データを合成し、合成結果である音声データを、制御部11を介して各端末20,30へ配信する。音声データの合成には、既知の技術を適用する。
接続端末記憶部13は、接続端末テーブルを記憶している。
図3は、実施の形態1に係るサーバ装置10の接続端末記憶部13が記憶する接続端末テーブルの構成例を示す図である。なお、図3は図1で示した通話システムに対応した接続端末テーブルを示している。
接続端末テーブルは、端末ID、会議ID、音声合成可能台数、接続台数および接続階層の項目で構成されている。端末IDは、端末20,30がサーバ装置10に対して通信開始要求を行った際に、サーバ装置10が割り当てるIDである。図3の例では、端末ID「0」にはサーバ装置10、端末ID「1」には端末20、端末ID「2」には端末30a、端末ID「3」には端末30b、端末ID「4」には端末30c、端末ID「5」には端末30d、端末ID「6」には端末30eが割り当てられている。
会議IDは、各端末20,30がどの会議に参加するかを識別するためのIDである。サーバ装置10は、いずれの会議の発話および傍聴にも参加しないため、図3の例では、端末ID「0」の会議IDは「−」となっている。会議ID「1」は会議200であり、会議ID「2」は会議300である。
音声合成可能台数は、サーバ装置10および端末20,30が音声データを合成することができる端末の台数を示す。端末ID「1」の端末20の音声合成可能台数は「8」であり、音声合成機能を有しており、最大8台の端末の音声データを合成可能であることを示している。また、端末ID「2」の端末30aの音声合成可能台数は「0」であり、音声合成機能を有していないことを示している。
接続台数は、自装置あるいは自端末に接続された上位の階層の機器および下位の階層の機器全ての数を示している。端末ID「1」の端末20の場合、上位のサーバ装置10に接続し、下位の2つの端末30a,30bに接続していることから、接続台数が「3」となっている。また、端末ID「0」のサーバ装置10の接続台数「30」は、サーバ装置10が図1で示した会議200および会議300以外の会議にも参加し、図示した端末以外の端末とも接続を行っていることを示している。
接続階層は、サーバ装置10を最上位階層「1」として、各端末20,30がいずれの階層でサーバ装置10または端末20と接続しているかを示す。図3の例では、端末ID「1」の端末20は、サーバ装置10の下位層に接続されていることから接続階層「2」となり、当該端末20の下位層に接続された端末ID「2」の端末30aは、接続階層「3」となる。
接続位置検索部14は、優位性評価部14a、評価値比較部14b、最大評価値記憶部14cおよび接続位置決定部14dを備える。
優位性評価部14aは、新規端末が参加希望の会議に既に参加している端末20,30が存在し、且つ音声合成機能を有する端末20が存在する場合に、新規端末がサーバ装置10またはいずれかの端末20に接続するのが優位であるかを評価する。優位性評価部14aは、サーバ装置10も接続機器として優位性の評価の対象としている。以下においても同様である。
評価値比較部14bは、優位性評価部14aが算出した評価値と、最大評価値記憶部14cに記憶された最大評価値とを比較し、算出した評価値が最大評価値よりも大きい場合には、最大評価値の書き換え処理を行う。最大評価値記憶部14cは、優位性評価部14aが算出した評価値の中で最も大きい評価値を最大評価値として記憶する。接続位置決定部14dは、最大評価値記憶部14cに記憶された最大評価値を有するサーバ装置または端末20(以下、機器と称する)を、新規端末が接続する接続機器に決定する。
図4は、音声合成機能を備える端末20の構成を示すブロック図である。
端末20は制御部21および音声合成処理部22を備える。制御部21は、サーバ装置10との通信を確立し、操作部(不図示)を介して入力された指示に応じて通信開始要求を生成し、生成した通信開始要求をサーバ装置10に送信する。また、制御部21は、サーバ装置10から送信される通信開始要求に対する応答を受信する。音声合成処理部22は、音声入力部(不図示)によって収音した音声データと、同一の会議に参加する端末20,30であって、下層に接続された端末20,30から送信された音声データとを合成し、合成した音声データを上層の端末20またはサーバ装置10に送信する。また、音声合成処理部22は、上層の端末20またはサーバ装置10から配信された音声データを、接続された下層の端末20,30に配信する。
図5は、実施の形態1に係るサーバ装置10のハードウェア構成を示す図である。
図5(a)に示す構成の場合、サーバ装置10の制御部11、音声合成処理部12および接続位置検索部14は、プロセッサ901がメモリ902に記憶されたプログラムを実行することにより、実現される。接続端末記憶部13は、メモリ902を構成する。また、複数のプロセッサ901および複数のメモリ902が連携して上述した機能を実行するように構成してもよい。
図5(b)に示す構成の場合、制御部11、音声合成処理部12および接続位置検索部14の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリに格納される。処理回路903は、メモリに記憶されたプログラムを読み出して実行することにより各部の機能を実現する。ここで、メモリとは、例えば、RAM、ROM、フラッシュメモリーなどの不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスクなどが該当する。
次に、サーバ装置10と複数の端末20,30とが接続を確立する際の概要について、図6を参照して説明する。
図6は、実施の形態1に係るサーバ装置10を備えた通話システムの処理を示すシーケンス図であり、サーバ装置10と2つの端末20,30が接続を確立する際の処理を示す図である。なお、図6では、音声合成機能を有する端末20と、音声合成機能を有しない端末30が、サーバ装置10に接続する場合を例に示している。また以下では、サーバ装置10、端末20および端末30が、セッションプロトコルとしてSIPプロトコルを用いた場合を例に説明を行う。
端末20は、会議200に参加するために、サーバ装置10に通信開始を要求する信号を送信する(ステップST1)。端末20は、通信開始を要求する信号としてInitial-INVITEを送信するが、当該端末20が音声合成機能を有していることから、音声合成機能を有していることを示す情報をInitial-INVITEに付与して送信する。サーバ装置10はステップST1で送信された信号を受信すると、信号からInitial-INVITEと、Initial-INVITEに付与されていた音声合成機能を有していることを示す情報を取得し、端末20の端末ID、参加会議IDおよび音声合成機能を有していることを示す情報を、接続端末記憶部13の接続端末テーブルに記憶し、接続位置検索処理を実行する(ステップST2)。
サーバ装置10は、端末20の接続位置をサーバ装置10に決定し、端末20に対して接続を許可する応答を出力する(ステップST3)。これにより、端末20とサーバ装置10との間に、音声データストリームの通信が確立する(ステップST4)。次に、端末30は、端末20と同一の会議200に参加するために、サーバ装置10に通信開始を要求する信号を送信する(ステップST5)。端末30は、通信開始を要求する信号としてInitial-INVITEを送信するが、当該端末30は音声合成機能を有していないことから、音声合成機能を有していないことを示す情報をInitial-INVITEに付与して送信する。
サーバ装置10はステップST5で送信された信号を受信すると、信号からInitial-INVITEと、Initial-INVITEに付与されていた音声合成機能を有していないことを示す情報を取得し、端末30の端末ID、参加会議IDおよび音声合成機能を有していないことを示す情報を、接続端末記憶部13の接続端末テーブルに記憶し、接続位置検索処理を実行する(ステップST6)。ステップST6の接続位置検索処理では、接続端末テーブルに音声合成機能を有する端末20が存在することから、サーバ装置10は、当該端末20とサーバ装置10との優位性を評価する。サーバ装置10は、端末20を接続位置として選定したものとする。
サーバ装置10は、接続位置検索結果に基づいて、端末30を端末20に接続するために、ステップST5で送信されたInitial-INVITEを用いてメディア追加を要求する信号であるRe−INVITEを生成し、端末20に送信する(ステップST7)。端末20はステップST7で送信された信号を受信すると、信号であるRe−INVITEから端末30のメディア情報を取得し、音声データ合成の対象に端末30を追加する(ステップST8)。端末20は、自身のメディア情報を付与した許可応答を生成し、サーバ装置10に送信する(ステップST9)。サーバ装置10は、ステップST9で送信された許可応答を受信し、当該許可応答から端末20のメディア情報を取得する。さらにサーバ装置10は、取得した端末20のメディア情報を付与した許可応答を生成し、端末30に送信する(ステップST10)。これにより、端末20と端末30との間に、音声データストリームの通信が確立する(ステップS11)。
次に、サーバ装置10の動作について詳しく説明する。
図7は、実施の形態1に係るサーバ装置10の動作を示すフローチャートである。
端末20,30が通信開始を要求する信号を送信し、サーバ装置10が当該信号を受信すると(ステップST21)、制御部11は受信した通信開始を要求する信号から参加を希望する会議IDおよび音声合成機能に関する情報を抽出し(ステップST22)、新規端末IDを割り当てる(ステップST23)。制御部11は、新規端末ID、会議IDおよび音声合成機能に関する情報を、接続端末記憶部13の接続端末テーブルに登録する(ステップST24)。続いて制御部11は、接続位置検索部14に新規端末の接続位置の検索を指示する(ステップST25)。
接続位置検索部14の優位性評価部14aは、接続端末記憶部13の接続端末テーブルを参照し、サーバ装置10以外であって、新規端末が参加を希望する会議IDに既に参加している端末20,30が存在するか判定を行う(ステップST26)。参加している端末20,30が存在する場合(ステップST26;YES)、優位性評価部14aは既に参加している端末20,30を抽出し、抽出した端末20,30に音声合成機能を有する端末20が存在するか判定を行う(ステップST27)。音声合成機能を有する端末20が存在する場合(ステップST27;YES)、優位性評価部14aは音声合成機能を有する端末20を抽出し(ステップST28)、優位性評価のためのパラメータを初期化する(ステップST29)。また、ステップST29のパラメータの初期化は、具体的には優位性評価部14aが現在選択している評価対象の機器情報を消去し、最大評価値記憶部14cに記憶された最大評価値を「0」に設定する。
次に、優位性評価部14aは、ステップST28で抽出した端末20およびサーバ装置10(以下、機器と称する)から1つの機器を選択し、当該機器を音声合成処理を行う機器とした場合の優位性を評価し、評価値を取得する(ステップST30)。なお、優位性の評価の詳細については、後述する。評価値比較部14bは、ステップST30で取得した評価値と、最大評価値記憶部14cに記憶された最大評価値とを比較し、ステップST30で取得した評価値が最大評価値よりも大きいか判定する(ステップST31)。ステップST30で取得した評価値が最大評価値以下である場合(ステップST31;NO)、ステップST33の処理に進む。
一方、評価値が最大評価値よりも大きい場合(ステップST31;YES)、接続位置決定部14dは最大評価値記憶部14cに記憶された評価値をステップST30で取得した評価値に書き換える(ステップST32)。評価値比較部14bは、全ての機器について優位性の評価を行ったか判定を行う(ステップST33)。全ての機器について優位性の評価を行っていない場合(ステップST33;NO)、ステップST30の処理に戻る。一方、全ての機器について優位性の評価を行った場合(ステップST33;YES)、接続位置決定部14dは最大評価値記憶部14cに記憶された最大評価値を有する機器を、新規端末が接続する接続機器に決定する(ステップST34)。
制御部11は、ステップST34で決定した接続機器が端末20であるか判定を行う(ステップST35)。決定した接続機器が端末20である場合(ステップST35;YES)、制御部11は決定した接続機器に対してメディア追加要求を出力する(ステップST36)。制御部11は、ステップST36で出力したメディア追加要求に対して、接続機器が送信した許可応答を受信すると(ステップST37)、新規端末に対して接続機器のメディア情報を付加した許可応答を出力し(ステップST38)、処理を終了する。
一方、参加している端末20,30が存在しない場合(ステップST26;NO)、音声合成機能を有する端末30が存在しない場合(ステップST27;NO)、および決定した接続機器が端末20でない場合(ステップST35;NO)、制御部11は新規端末に対してサーバ装置10への接続を許可する許可応答を出力し(ステップST39)、処理を終了する。
次に、上述したフローチャートのステップST30で示した、優位性評価部14aによる優位性の評価について説明する。
優位性の評価は、複数の指標値に基づいて、ある機器を音声合成処理を行う機器とした場合に、他の機器よりも優位であるかを数値化するものである。上述したように、機器にはサーバ装置10と端末20が含まれるものとする。
評価値は、各機器の処理負荷の程度を考慮して決定される。評価値を決定する条件としては、例えば以下に示す3つの条件が挙げられる。
条件1.評価対象の機器が、新規端末を接続可能である。即ち、接続端末テーブルにおける「音声合成可能台数」と「接続台数」が、「音声合成可能台数−接続台数≧1」の条件を満たしている。
条件2.新規端末が音声合成機能を有している場合、評価対象の機器が、新規端末の「接続階層」よりも上位の「接続階層」である場合、優位となる。
条件3.端末20はサーバ装置10よりも優位となる。これは、サーバ装置10の処理負荷を端末20に分散することを目的とし、可能な限りサーバ装置10を新規端末の接続対象としない接続構造を構築するためである。
条件4.音声合成の能力を有する新規端末は上位階層に接続し、音声合成の能力を有しない新規端末は下位階層に接続する。
上述した4つの条件に基づいて、以下の式(1)および式(2)で示す評価式が得られる。
式(1)は新規端末が音声合成の能力を有している場合に適用し、式(2)は新規端末が音声合成の能力を有していない場合に適用する。
N×(1+×S/H) (1)
N×(1+×S×H) (2)
N:評価対象の機器が、「音声合成可能台数−接続台数≧1」の条件を満たす場合は「1」、満たさない場合は「0」
H:評価対象の機器の接続階層を示す値
S:評価対象の機器がサーバ装置10である場合「0」、評価対象の機器がサーバ装置10ではない場合「1」
式(1)または式(2)で示した評価式に基づいて得られる評価値が大きい評価対象の機器ほど優位性を有している、即ち新規端末が接続するのにより優位な機器であることを意味している。また、上述した式(1)または式(2)では、サーバ装置10に加わる処理負荷に基づいて評価対象の機器の優位性を評価しており、音声合成においてサーバ装置10に加わる処理負荷を分散させた接続構造が構築される。
次に、図8から図11を参照して複数の端末が会議400に参加する場合に、階層的な接続構造が構築される手順について説明する。
図8は、会議が開始される前の接続状態を示す図である。図8(a)は会議の開始前のサーバ装置10の接続状態を示す図であり、図8(b)はサーバ装置10の接続端末記憶部13が記憶する接続端末テーブルを示す図である。
会議開始前であることから、図8(a)に示すようにサーバ装置10にいずれの端末20,30も接続されていない。一方、図8(b)の接続端末テーブルでは、接続台数「55」となっている。これは、サーバ装置10が複数の会議の音声通話を同時に処理可能であり、既に開催されている他の会議に参加している端末が接続されていることを示している。図8(b)では記載を省略したが、端末IDとして1から55を設定し、各端末IDについて会議ID、音声可能合成台数、接続台数および接続階層を記載した接続端末テーブルとしてもよい。
図9は、図8で示した接続状態に対して、新規に音声合成機能を有しない端末30f,30gが会議400に参加した接続状態を示す図である。図9(a)は会議400のサーバ装置10の接続状態を示す図であり、図9(b)はサーバ装置10の接続端末テーブルを示す図である。
図9(b)に示すように、音声合成機能を有するのはサーバ装置10のみであり、優位性評価部14aは、ステップST26の判定処理において会議400に既に参加している端末20,30が存在しないと判定し、制御部11は、ステップST39として、端末30f,30gに対してサーバ装置10への接続を許可する許可応答を出力する。許可応答を受信した端末30f,30gは、9(a)に示すようにサーバ装置10に接続される。
図10は、図9で示した接続状態に対して、新規に音声合成機能を有する端末20aが会議400に参加した接続状態を示す図である。
図10(a)は会議400のサーバ装置10の接続状態を示す図であり、図10(b)はサーバ装置10の接続端末テーブルを示す図である。
図10(b)に示すように、端末20a以外に音声合成機能を有するのはサーバ装置10のみである。そのため、優位性評価部14aは、ステップST27の判定処理において音声合成機能を有する端末20が存在しないと判定し、制御部11は、ステップST39として端末20aに対してサーバ装置10への接続を許可する許可応答を出力する。許可応答を受信した端末20aは、図10(a)に示すようにサーバ装置10に接続される。
図11は、図10で示した接続状態に対して、新規に音声合成機能を有しない端末30hが会議400に参加した接続状態を示す図である。
図11(a)は会議400のサーバ装置10の接続状態を示す図であり、図11(b)はサーバ装置10の接続端末テーブルを示す図である。
図11(b)に示すように、音声合成機能を有するのはサーバ装置10および端末20aである。そのため、優位性評価部14aは、ステップST27の判定処理において音声合成機能を有する端末20が存在すると判定し、ステップST28からステップST33の処理を行い、サーバ装置10と端末20aの優位性を評価して比較する。サーバ装置10と端末20aについて、上述した式(2)および図11(b)の接続端末テーブルに基づいて優位性の評価値を算出すると、サーバ装置10の評価値は「1」であり、端末20aの評価値は「3」である。そのため、最大評価値記憶部14cには端末20aの評価値「3」が記憶される。
接続位置決定部14dは、ステップST34において最大評価値記憶部14cに記憶された最大評価値を参照し、端末30hの接続位置を、最大評価値「3」を有する端末20aに決定する。制御部11は、ステップST38として、端末30hに対して端末20aへの接続を許可する許可応答を出力する。許可応答を受信した端末30hは、図11(a)に示すように、端末20aに接続される。
以上のように、この実施の形態1によれば、新規に接続する端末から通信開始を要求する通知を受信し、当該通知に付与された音声合成機能に関する情報を抽出し、抽出した音声合成機能に関する情報に基づいて当該新規に接続する端末との通信を確立するための制御を行う制御部11と、音声合成機能に関する情報と、評価対象の機器の接続階層と、評価対象の機器種別とに基づく評価値から、当該端末の接続位置を検索する接続位置検索部14とを備えるように構成したので、サーバ装置の処理負荷を分散させた階層的な接続構造を構築することができる。また、新規に接続する端末の接続位置は、評価値に基づいて決定されるため、管理者がネットワークの知識を有していない場合にも、通話システムの階層的な接続構造を構築することができる。
また、この実施の形態1によれば、上述した式(1)または式(2)に基づいて評価対象の機器に新規端末を接続した場合の優位性を評価する優位性評価部14aと、優位性評価部14aが算出した評価対象の機器の評価値と、最大評価値記憶部14cに記憶された最大評価値とを比較する評価値比較部14bと、最大評価値を有する評価対象の機器を新規端末の接続位置に決定する接続位置決定部14dとを備えるように構成したので、評価値に基づいて、新規端末の接続位置を一意に決定することができる。
また、この実施の形態1によれば、通信開始を要求するメッセージに音声合成機能に関する情報を付与する構成としたので、音声合成機能に関する情報を送信するための専用のメッセージを新たに作成する必要がない。これにより通話システム全体の制御遅延を抑制することができる。
また、この実施の形態1によれば、SIPメッセージのINVITEメッセージの、例えばリザーブ領域に音声合成機能に関する情報を付与することができる。これにより、SIPプロトコルに準じた機器との整合性を得ることができる。
実施の形態2.
上述した実施の形態1では、会議への参加を希望する端末が送信する通信開始を要求する信号に、音声合成機能に関する情報を付与する構成を示したが、この実施の形態2では会議に参加する端末の音声合成機能を示す情報を予め記憶しておき、サーバ装置10が会議開催前に各端末の音声合成機能を示す情報を取得する構成を示す。
図12は、実施の形態2に係るサーバ装置10を備えた通話システム100aの構成例を示す説明図である。
なお、実施の形態2に係るサーバ装置10の構成は、実施の形態1と同様に制御部11、音声合成処理部12、接続端末記憶部13および接続位置検索部14であることから、図示を省略する。また、実施の形態1に係る通話システム100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
実施の形態1と同様に、サーバ装置10と端末20と端末30は所定の通信プロトコル(以下では、SIP(Session Initiation Protocol)を例に説明する)に準拠した手順で通信を確立する。なお、通信プロトコルはSIPに制限されるものではなく一例である。
通話システム100aは、サーバ装置10、レジストラサーバ40および複数の端末20,30で構成されている。各端末20,30は、当該通話システム100aを利用する前に、レジストラサーバ40に対して予め登録を行い、登録完了後に当該通話システムを利用する。各端末20,30は、登録を要求するメッセージあるいは登録を要求する信号(例えば、REGISTERメッセージ)に、自端末20,30の音声合成機能に関する情報を付与し、レジストラサーバ40に送信する。
レジストラサーバ40は、制御部41および登録端末テーブル記憶部42を備える。制御部41は、端末20,30から送信された登録を要求するメッセージまたは信号から音声合成機能に関する情報を抽出し、抽出した情報を登録端末テーブル記憶部42に記憶された登録端末テーブルに記憶させる。登録端末テーブルは、制御部41が抽出した音声合成機能に関する情報と、端末IDとが紐づけて記憶されている。具体的には、制御部41がSIP REGISTERを受信すると、SIP SUBSCRIBEおよびSIP NOTIFYを利用することにより、レジストラサーバ40から端末20,30の音声合成機能に関する情報を抽出し、登録端末テーブルに記憶させる。
サーバ装置10の制御部11は、会議開催前にレジストラサーバ40に接続し、制御部41を介して登録端末の音声合成機能に関する情報を取得し、接続端末記憶部13に記憶された接続端末テーブルに音声合成機能に関する情報を書き込む。
次に、サーバ装置10の動作について詳しく説明する。
図13は、実施の形態2に係るサーバ装置10の動作を示すフローチャートである。
いずれかの端末20,30から会議開催要求が入力されると(ステップST41)、サーバ装置10の制御部11はレジストラサーバ40と通信を行い、登録端末テーブル記憶部42に記憶された登録端末テーブルから端末IDおよび音声合成機能に関する情報を取得する(ステップST42)。制御部11は、ステップST42で取得した端末IDおよび音声合成機能に関する情報を、接続端末記憶部13に記憶された接続端末テーブルに登録する(ステップST43)。
次に、端末20,30が通信開始を要求する信号を送信し、サーバ装置10が当該信号を受信すると(ステップST21)、制御部11は受信した通信開始を要求する信号から、端末ID、参加を希望する会議IDを抽出する(ステップST44)。ステップST44で抽出する端末IDは、ステップST43で接続端末テーブルに登録された端末IDと一致する。制御部11は、接続位置検索部14に新規端末の接続位置の検索を指示する(ステップST25)。その後、図7で示したステップST26以降の処理と同一の処理を実行する。
以上のように、この実施の形態2によれば、会議開催要求が入力されると、レジストラサーバ40の登録端末テーブル記憶部42に記憶された登録端末テーブルの端末IDおよび音声合成機能に関する情報を取得し、接続端末記憶部13の接続端末テーブルに登録するように構成したので、音声合成機能に関する情報を記憶する処理を一括で行うことができ、サーバ装置の処理負荷を低減することができる。また、各端末の音声合成機能を予め把握することができ、サーバ装置の処理負荷を適切に分散させた接続構成を構築することができる。
また、この実施の形態2によれば、端末20,30は、通話システム100aを利用する前にレジストラサーバ40に対して予め登録を行い、登録は、登録を要求するメッセージあるいは登録を要求する信号に、自端末20,30の音声合成機能に関する情報を付与し、レジストラサーバ40に送信するように構成したので、音声合成機能に関する情報を送信するための専用のメッセージを新たに作成する必要がない。これにより通話システム全体の制御遅延を抑制することができる。
なお、上述した実施の形態2において、サーバ装置10は会議が開催される前にレジストラサーバ40から端末IDおよび音声合成機能に関する情報を取得し、音声合成機能を有する機器の負荷状況に応じて、通話システム100aの階層的な接続構造を予め構築しておいてもよい。
上述した実施に形態1および実施の形態2のサーバ装置10と、端末20,30とを組み合わせて電話会議システムを構築することができる。電話会議システムに接続される端末は、全て音声合成機能を有する端末20で構成する、全て音声合成機能を有しない端末30で構成する、あるいは音声合成機能を有する端末20と音声合成機能を有しない端末30との組み合わせで構成することが可能である。
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
10 サーバ装置、11,41 制御部、12 音声合成処理部、13 接続端末記憶部、14 接続位置検索部、14a 優位性評価部、14b 評価値比較部、14c 最大評価値記憶部、14d 接続位置決定部、20,30 端末、40 レジストラサーバ、42 登録端末テーブル記憶部、100,100a 通話システム、200,300,400 会議。

Claims (8)

  1. 通話会議への参加を要求する端末について、音声データを合成する機能を有するか否かを示す音声合成機能に関する情報を取得する制御部と、
    前記制御部が取得した音声合成機能に関する情報と、前記端末が参加を要求する通話会議の音声通信に既に接続された機器の音声合成機能に関する情報、接続階層を示す情報および機器種別を示す情報とから、前記参加を要求する端末を接続させる機器を探索する接続位置検索部とを備え、
    前記制御部は、前記接続位置検索部が検索した機器に前記端末の追加接続を要求する信号を出力するサーバ装置。
  2. 前記制御部は、前記参加を要求する端末から送信された接続要求信号を受信し、受信した前記接続要求信号に付加された前記音声合成機能に関する情報を取得することを特徴とする請求項1記載のサーバ装置。
  3. 前記制御部は、前記通話会議が開始される前に、外部記憶領域から前記通話会議の音声通信に接続する機器の音声合成機能に関する情報を取得することを特徴とする請求項1記載のサーバ装置。
  4. 前記接続位置検索部は、
    前記端末が参加を要求する通話会議の音声通信に既に接続された機器であり、且つ音声合成機能を有する機器を、接続候補機器として抽出し、抽出した前記接続候補機器に前記端末を接続した場合の優位性を示す評価値を算出する優位性評価部と、
    前記優位性評価部が算出した評価値を、前記接続候補機器間で比較する評価値比較部と、
    前記評価値比較部の比較結果を参照し、最も高い評価値を有する前記接続候補機器を前記端末の接続位置に決定する接続位置決定部とを備えたことを特徴とする請求項1から請求項3のうちのいずれか1項記載のサーバ装置。
  5. 前記通話会議の音声通信に既に接続された機器の音声合成機能に関する情報、接続階層を示す情報および機器種別を示す情報を格納した接続端末テーブルを記憶した接続端末記憶部を備え、
    前記制御部は前記通話会議への参加を要求する端末について取得した音声合成機能に関する情報を当該接続端末記憶部の接続端末テーブルに記憶させることを特徴とする請求項1から請求項4のうちのいずれか1項記載のサーバ装置。
  6. 通話会議への参加を要求する信号に、自端末が音声データを合成する機能を有することを示す音声合成機能に関する情報を付加した接続要求信号を出力する制御部と、
    前記制御部が出力した接続要求信号に基づいて前記通話会議の音声通信に接続した後、自端末の下位層に接続された端末が送信する音声データと、自端末の音声データとを合成する音声合成処理部とを備え、
    前記制御部は、前記音声合成処理部が合成した音声データを上位層に位置する端末またはサーバ装置に送信する端末。
  7. 通話会議の音声通信を制御するサーバ装置と、前記サーバ装置に接続され音声データの送受信を行う端末とを備える通話システムにおいて、
    前記サーバ装置は、前記通話会議への参加を要求する前記端末について、音声データを合成する機能を有するか否かを示す音声合成機能に関する情報を取得するサーバ制御部と、前記サーバ制御部が取得した音声合成機能に関する情報と、前記端末が参加を要求する通話会議の音声通信に既に接続された機器の音声合成機能に関する情報、接続階層を示す情報および機器種別を示す情報とから、前記参加を要求する端末を接続させる機器を検索する接続位置検索部とを備え、前記サーバ制御部が、前記接続位置検索部が検索した機器に前記端末の追加接続を要求する信号を出力し、
    前記端末は、前記通話会議への参加を要求する信号に、自端末の前記音声合成機能に関する情報を付加した接続要求信号を出力する端末制御部と、前記端末制御部が出力した接続要求信号に基づいて前記通話会議の音声通信に接続した後、自端末の下位層に接続された端末が送信する音声データと、自端末の音声データとを合成する音声合成処理部とを備え、前記端末制御部が、前記音声合成処理部が合成した音声データを上位層に位置する端末または前記サーバ装置に送信することを特徴とする通話システム。
  8. 請求項7記載の通話システムを備えた電話会議システム。
JP2015105540A 2015-05-25 2015-05-25 サーバ装置、端末、通話システムおよび電話会議システム Pending JP2016220132A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015105540A JP2016220132A (ja) 2015-05-25 2015-05-25 サーバ装置、端末、通話システムおよび電話会議システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015105540A JP2016220132A (ja) 2015-05-25 2015-05-25 サーバ装置、端末、通話システムおよび電話会議システム

Publications (1)

Publication Number Publication Date
JP2016220132A true JP2016220132A (ja) 2016-12-22

Family

ID=57581896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015105540A Pending JP2016220132A (ja) 2015-05-25 2015-05-25 サーバ装置、端末、通話システムおよび電話会議システム

Country Status (1)

Country Link
JP (1) JP2016220132A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230048107A (ko) * 2020-10-06 2023-04-10 텐센트 아메리카 엘엘씨 오디오 믹싱을 위한 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230048107A (ko) * 2020-10-06 2023-04-10 텐센트 아메리카 엘엘씨 오디오 믹싱을 위한 방법 및 장치
JP2023538548A (ja) * 2020-10-06 2023-09-08 テンセント・アメリカ・エルエルシー オーディオミキシングのための方法および装置
JP7521112B2 (ja) 2020-10-06 2024-07-23 テンセント・アメリカ・エルエルシー オーディオミキシングのための方法および装置
JP2024133169A (ja) * 2020-10-06 2024-10-01 テンセント・アメリカ・エルエルシー オーディオミキシングのための方法および装置
KR102774376B1 (ko) * 2020-10-06 2025-03-05 텐센트 아메리카 엘엘씨 오디오 믹싱을 위한 방법 및 장치
US12254242B2 (en) 2020-10-06 2025-03-18 Tencent America LLC Recommending audio mixing parameters by audio stream sender
JP7765559B2 (ja) 2020-10-06 2025-11-06 テンセント・アメリカ・エルエルシー オーディオミキシングのための方法および装置

Similar Documents

Publication Publication Date Title
CN101401109B (zh) 显示在多个位置之间的可视会议中的用户的系统和方法
US9661270B2 (en) Multiparty communications systems and methods that optimize communications based on mode and available bandwidth
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
JP2017518716A (ja) メッシュエンドポイントと非メッシュエンドポイントのハイブリッドをサポートするフレームワーク
US9560096B2 (en) Local media rendering
WO2011150868A1 (zh) 会议级联方法及系统
CN110910860A (zh) 线上ktv实现方法、装置、电子设备及存储介质
JP2022133291A (ja) 伝送管理装置
US12160684B2 (en) Dynamic aspect ratio adjustment during video conferencing
JP2023508130A (ja) テレカンファレンスの方法
JP2017028658A (ja) 情報処理装置、画像表示方法、通信システム、プログラム
WO2014079302A1 (zh) 低码流的视频会议系统及方法、发送端设备、接收端设备
JP2008288974A (ja) ビデオ会議システム及びビデオ会議装置
WO2016147826A1 (ja) 通信制御装置、通信システム、及び通信制御プログラム並びに通信制御方法
JP7520661B2 (ja) サーバ装置
CN113726534A (zh) 会议控制方法、装置、电子设备及存储介质
KR20140003150A (ko) 네트워크를 통해 다자간 영상 회의 서비스를 제공하는 방법 및 시스템
JP2016167658A (ja) 情報処理装置、情報処理プログラム、及び情報処理システム並びに情報処理方法
US9936164B2 (en) Media control method and device
WO2015135408A1 (zh) 一种对等网络会议接入方法、客户端及系统
US12481479B2 (en) Identifying co-located devices within a teleconferencing session
US20100225733A1 (en) Systems and Methods for Managing Virtual Collaboration Systems
KR100953509B1 (ko) 다자간 영상 통신 방법.
JP2013026843A (ja) テレビ会議システム
WO2017173953A1 (zh) 一种服务器、会场终端以及云会议处理方法