JPH09252462A - 送信処理装置、テレビ会議システム、送信処理方法及び記憶媒体 - Google Patents

送信処理装置、テレビ会議システム、送信処理方法及び記憶媒体

Info

Publication number
JPH09252462A
JPH09252462A JP15940396A JP15940396A JPH09252462A JP H09252462 A JPH09252462 A JP H09252462A JP 15940396 A JP15940396 A JP 15940396A JP 15940396 A JP15940396 A JP 15940396A JP H09252462 A JPH09252462 A JP H09252462A
Authority
JP
Japan
Prior art keywords
video
audio
transmission processing
transmission
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP15940396A
Other languages
English (en)
Other versions
JP3659528B2 (ja
Inventor
Atsushi Kumagai
篤 熊谷
Hiroaki Sato
宏明 佐藤
Tomoaki Kawai
智明 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP15940396A priority Critical patent/JP3659528B2/ja
Priority to US08/777,409 priority patent/US6249324B1/en
Publication of JPH09252462A publication Critical patent/JPH09252462A/ja
Application granted granted Critical
Publication of JP3659528B2 publication Critical patent/JP3659528B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148Interfacing a video terminal to a particular transmission medium, e.g. ISDN

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

(57)【要約】 【課題】 各通信端末に映像/音声符号化手段を設けな
くて済むようにする。 【解決手段】 スイッチ12は、複数の映像・音声入力
から1つを選択する。送信処理装置14のビデオ・キャ
プチャ16は、選択された映像信号をディジタル化す
る。ビデオ・エンコーダ18は、ビデオ・キャプチャ1
6の出力をモーションJPEG、MPEG及びH.26
1に従って圧縮符号化する。セレクタ20は、各符号化
方式の圧縮映像データの内、送信すべき圧縮映像データ
を選択し、通信バッファ22に供給する。音声エンコー
ダ24は、選択された音声信号をディジタル化及び符号
化して、通信バッファ22に供給する。通信バッファ2
2の符号化映像データ及び符号化音声データはネットワ
ーク30に読み出される。制御回路26は、ネットワー
ク30を介して受信した制御コマンドに従いデバイス1
2〜24を制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の映像/音声
ソースからの映像/音声信号を選択的にネットワークに
出力する送信処理装置、テレビ会議システム、送信処理
方法及び記憶媒体に関し、より具体的には、コンピュー
タ・ネットワークに対応する送信処理装置、テレビ会議
システム及び送信処理方法及び記憶媒体に関する。
【0002】
【従来の技術】コンピュータ(パーソナル・コンピュー
タ又はワークステーション)にカメラ、映像モニタ、マ
イク及びスピーカなどの映像音声入出力機器を接続し
て、端末間で映像及び音声を送受信できるようにした通
信端末装置の構成は周知であり、例えば、テレビ会議又
はビデオ会議のための通信端末装置として既に一般に使
用されている。
【0003】カメラから入力された映像信号及びマイク
により入力された音声信号はそれぞれ、ディジタル化さ
れ、所定方式で符号化されてローカル・エリア・ネット
ワーク又はワイド・エリア・ネットワーク等のネットワ
ークに出力される。ネットワークからの符号化された映
像信号及び音声信号は復号化され、それぞれ、映像モニ
タ及びスピーカから出力される。マイクとスピーカは、
音声の回り込みによるエコーを回避するためのエコーキ
ャンセラと組みあわされる。スピーカ・フォンとして構
成されているものもある。
【0004】従来、このようなテレビ会議システムは専
用通信端末により構成されていたが、コンピュータの処
理能力の向上により、オフィスの各人のデスクトップに
あるコンピュータを通信端末としてテレビ会議又はビデ
オ会議を行なえるようになってきている。
【0005】映像及び/音声を遠隔地に伝送する用途で
は、テレビ会議だけでなく、色々な場所の様子を観察す
る遠隔監視システムなどがある。
【0006】
【発明が解決しようとする課題】映像伝送では、カメラ
の出力映像信号をディジタル化して取り込むためのビデ
オ・キャプチャ装置と圧縮符号化のビデオ圧縮装置に大
きなコストがかかる。各人のコンピュータに装備した場
合、その稼働率からみて、コスト効果比が低い。
【0007】また、遠隔監視システムのような用途で
は、ビデオ圧縮装置の性能(例えば、秒間30フレーム
の符号化が可能)に対して、必ずしも1地点の画像をそ
んな高いフレーム・レートで更新する必要がなく、例え
ば秒間1フレームで良いといった利用形態がある。その
ような利用形態では、秒間30フレームの能力を持つビ
デオ圧縮装置は過剰仕様となる。
【0008】本発明は、このような問題点に鑑み、簡便
な構成でコスト効果比の良い送信処理装置、テレビ会議
システム及び送信処理方法及び記憶媒体を堤供すること
を目的とする。
【0009】
【課題を解決するための手段】本発明では、映像/音声
信号の符号化手段を複数の端末で共用でき、従って、各
端末に映像/音声の符号化手段を設けなくてよくなる。
これにより、符号化手段の稼働率を高め、コスト効果比
を改善することができる。
【0010】複数の入力信号から任意の複数の信号を選
択するスイッチを用いすることにより、スイッチの切り
替えによる時間的損失を少なくする。合成手段を設ける
ことにより、より多くの映像/音声情報を送信できる。
【0011】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を詳細に説明する。
【0012】図1は、本発明の第1実施例の概略構成ブ
ロック図を示す。本実施例の映像/音声送信処理装置1
0は、複数の(本実施例では4つの)映像・音声入力か
ら送信処理すべき映像音声信号を選択するスイッチ12
と、スイッチ12により選択された映像音声信号を送信
処理する送信処理装置14とからなる。
【0013】送信処理装置14内のビデオ・キャプチャ
16は、スイッチ12により選択された映像信号をディ
ジタル化する。ビデオ・エンコーダ18は、モーション
JPEG、MPEG及びH.261の各符号化方式に対
応する符号化モジュールを具備し、ビデオ・キャプチャ
16の出力信号をモーションJPEG、MPEG及び
H.261に従って圧縮符号化する。セレクタ20は、
各符号化方式の圧縮映像データの内、送信すべき圧縮映
像データを選択し、選択したデータを通信バッファ22
に供給する。他方、音声エンコーダ24は、スイッチ1
2により選択された音声信号をディジタル化及び符号化
して、通信バッファ22に供給する。通信バッファ22
に書き込まれた符号化映像データ及び符号化音声データ
は、適宜のフォーマット及び速度でネットワーク30に
読み出される。
【0014】制御回路26は、ネットワーク30を介し
て受信した制御コマンドに従い、スイッチ12、ビデオ
・キャプチャ16、ビデオ・エンコーダ18、セレクタ
20及び音声エンコーダ24を制御する。
【0015】図2は、図1に示す実施例の動作を示すフ
ローチャートである。先ず、送信要求、送信終了要求及
び送信起動などのイベントの待ち状態になる(S1)。
映像/音声送信要求を受け付けると(S2)、新たな送
信処理を開始する(S3)。映像/音声送信終了要求を
受け付けると(S4)、指定された映像/音声の送信処
理を終了する(S5)。送信スケジューラにより映像音
声送信動作を起動するイベントが発生すると(S6)、
カメラからの画像データの獲得と送信処理を開始する
(S7)。
【0016】本実施例には、2種類の送信要求がある。
第1は、テレビ会議のように高いフレーム・レートの映
像データ通信を要求する場合である。この場合、スイッ
チ12又は送信処理装置14の切り替え速度を上回るフ
レーム・レートが要求されたときには、その要求に応じ
るために全ての送信動作を占有する必要が発生する。こ
のような要求を占有的処理要求と呼ぶことにする。第2
は、カメラを切り替えながらの監視のように、高いフレ
ーム・レートを要求されない場合である。このような要
求を非占有的処理要求と呼ぶことにする。
【0017】非占有的処理要求は複数、受け付け可能で
あり、送信スケジューラが、指定の映像/音声ソースか
らの信号を順に選択し、送信する。送信スケジューラ
は、実際にはタイマ・イベントにより実現される。
【0018】制御回路26は、まず、イベント待ち状態
(S1)になる。外部からの通信又は送信スケジューラ
のタイマ・イベントが発生すると、通信内容及びイベン
トの種類に応じて、S2、S4又はS6の何れかに進
む。
【0019】通信されてきたメッセージが新たな送信要
求である場合、映像/音声送信要求受け付け処理(S
2)に進み、メッセージの内容を読み出す。次いで、メ
ッセージ内容に従って送信開始処理(S3)を実行す
る。
【0020】通信されてきたメッセージが送信終了の要
求である場合、音声/映像送信終了要求の受け付け処理
(S4)に進み、メッセージの内容を読み出す。次い
で、メッセージの内容に従って送信終了処理(S5)を
実行する。
【0021】タイマ・イベントが発生した場合には、送
信処理プロセスを再起動し、イベント待ち状態(S1)
に戻る。起動された送信処理プロセスが、カメラからの
映像データの獲得と送信の処理を実行し、タイマを設定
する(S7)。
【0022】図3は、図2の送信開始処理(S3)の詳
細なフローチャートを示す。制御回路26は、まず、占
有的処理要求が既にあるか否かを判定する(S11)。
占有的処理要求がある場合(S11)、他の要求を受け
つけられないので、当該開始要求を拒否する(S1
5)。占有的処理要求が無い場合(S11)、開始しよ
うとしている処理自体が占有的処理要求であるか否かを
判定する(S12)。非占有的処理要求の場合(S1
2)、送信スケジューラに送信要求処理プロセスを追加
し、起動のためのタイマを設定して終了する(S1
3)。占有的処理要求の場合(S12)、他の要求と共
存できないので、既存の要求の処理プロセスを一時停止
させた(S14)、その後、送信スケジューラに送信要
求処理プロセスを追加し、起動のためのタイマを設定し
て終了する(S13)。
【0023】図4は、図2の送信終了処理(S5)の詳
細なフローチャートを示す。制御回路26は、まず、指
定された終了すべき処理が実際に存在するかどうかを、
送信スケジューラを参照して判定する(S21)。終了
指定された処理が無い場合(S21)、エラー・メッセ
ージを返す(S24)。終了指定された処理が存在する
場合(S21)、対応する送信要求処理プロセスに終了
信号を送り、送信スケジューラからそのプロセスを削除
する(S22)。その後、終了したプロセスが占有的処
理要求によるものかどうかを判定し(S23)、占有的
処理要求によるものであれば(S23)、そのプロセス
により一時停止状態にされたプロセスを送信スケジュー
ラを参照して再起動可能な状態に戻し、終了する(S2
5)。
【0024】カメラからの映像データの獲得と送信処理
(S7)の内容は、処理要求が占有的処理要求であるか
否かによって異なる。図5は、図2のS7の詳細であっ
て、非占有的処理要求に対する処理の流れを示す。先
ず、制御回路26は、要求されたカメラの映像を入力す
るようにスイッチ12を設定し(S31)、要求された
映像サイズになるようにビデオ・キャプチャ16を設定
する(S32)、ビデオ・エンコーダ18の3つの出力
の内、要求された圧縮方式に応じた符号化データを選択
するようにセレクタ20を設定し(S33)、ビデオ・
エンコーダ18の符号化パラメータを設定する(S3
4)。
【0025】その後、カメラ映像が取り込まれ、データ
送信される。即ち、ビデオ・キャプチャ16がスイッチ
12からの映像信号をディジタル化し(S35)、ビデ
オ・エンコーダ18がディジタル化された映像信号を圧
縮符号化する(S36)。指定の符号化方式の符号化映
像データがセレクタ20により選択され、通信バッファ
22に格納される(S37)。同時に、音声エンコーダ
24が、選択された音声信号をディジタル化及び符号化
し、通信バッファ22に格納する。通信バッファ22に
格納された符号化映像データ及び符号化音声データは、
適当なレート及びフォーマットでネットワーク30に読
み出され、要求元(又は指定の相手)に送信される(S
38)。送信後、タイマを次の送信時期に設定して、終
了する。
【0026】なお、この実施例では、ビデオ・エンコー
ダ18内の3つのエンコード・モジュール全てにおいて
符号化処理が行なわれているが、選択された符号化方式
に対応するものだけが動作するようにしてもよい。
【0027】図6及び図7は、図2のS7の詳細であっ
て、占有的処理要求に対する処理の流れを示す。図6は
初期化処理であり、図7は、カメラからの映像データの
獲得と送信処理の流れを示す。占有的処理要求の場合、
非占有的処理要求のS31〜S34に相当する初期化設
定操作が1回目(及び送信要求パラメータの変更時)に
のみ行なわれ、その後はデータ獲得と送信動作のみが繰
り返される。
【0028】初期化処理として、図6に示すように、先
ず、制御回路26は、要求されたカメラの映像を入力す
るようにスイッチ12を設定し(S41)、要求された
映像サイズになるようにビデオ・キャプチャ16を設定
する(S42)、ビデオ・エンコーダ18の3つの出力
の内、要求された圧縮方式に応じた符号化データを選択
するようにセレクタ20を設定し(S43)、ビデオ・
エンコーダ18の符号化パラメータを設定する(S4
4)。これらの処理は、図5のS31〜S34と同じで
ある。
【0029】これらの初期化処理の後、実際に、カメラ
映像の獲得と送信処理を繰り返す。即ち、ビデオ・キャ
プチャ16が、スイッチ12からの映像信号をディジタ
ル化し(S51)、ビデオ・エンコーダ18が、ディジ
タル化された映像信号を圧縮符号化する(S52)。指
定の符号化方式の符号化映像データがセレクタ20によ
り選択され、通信バッファ22に格納される(S5
3)。同時に、音声エンコーダ24が、選択された音声
信号をディジタル化及び符号化し、通信バッファ22に
格納する。通信バッファ22に格納された符号化映像デ
ータ及び符号化音声データは、適当なレート及びフォー
マットでネットワーク30に読み出され、要求元(又は
指定の相手)に送信される(S54)。送信後、タイマ
を次の送信時期に設定して、終了する。
【0030】以上の説明では、1つのカメラ又はマイク
からの入力信号を1つの送信先に送る動作を示したが、
1つのカメラ又はマイクからの入力信号に対する送信要
求が複数の端末からあった場合、これらを一括して複数
の送信先に送ることができることはネットワーク技術と
して明らかである。
【0031】送信データのサイズやレート等のパラメー
タ変更要求があった際には、図6の初期化処理が再実行
された後に、図7の動作が続く。この際、パラメータの
変更により占有的処理要求が非占有的処理要求となる場
合には、停止された処理プロセスを再起動可能な状態に
戻す。
【0032】また、映像/音声データの符号化及び通信
バッファ22への格納までのステップ(図5のS31〜
S37、及び図7のS51〜S53)と通信バッファ2
2に格納されるデータの送信(図5のS38及び図7の
S54)を別々のプロセス(符号化処理プロセスと送信
プロセス)とすると共に2つのバッファを用意し、S3
8又はS54を実行する送信プロセスが一方のバッファ
のデータをネットワークに出力している間に、符号化処
理プロセスが次に送るべきデータをもう一方のバッファ
に格納するようにすることで、データ送信を効率を向上
させることができる。このような技術自体は、並列処理
技術として公知である。
【0033】図8は、図1に示す実施例を利用するテレ
ビ会議システムのネットワーク構成の模式図を示す。図
1に示す映像送信処理装置10のスイッチ12には、2
台の端末40a,40bのカメラ出力及びマイク出力が
入力されている。端末40aはワークステーション42
aをベースとし、端末40bはパーソナル・コンピュー
タ42bをベースとしており、それぞれ、カメラ44
a,44b、マイク46a,46b、映像モニタ48
a,48b及びスピーカ50a,50bが接続されてい
る。マイク46a,46bとスピーカ50a,50b
は、例えばスピーカ・フォン構成になっている。
【0034】一例として、端末40aは、FDDIなど
の高速ネットワークを介してネットワーク30に接続
し、ワークステーション42aは例えば、映像/音声の
符号化信号を復号化するハードウェアを具備する。ま
た、端末40bは、イーサネット52及びルータ54を
介してネットワーク30に接続し、コンピュータ42b
は、映像/音声の符号化信号を復号化するソフトウエア
を具備する。ここでは、映像送信処理装置10の出力が
接続するネットワーク30は、基幹ネットワーク又はそ
れに近い高速ネットワークであるとする。
【0035】この環境下でテレビ会議の行なわれる様子
を説明する。なお、端末40aと図示しない別の端末と
の間でテレビ会議が行なわれるとする。
【0036】テレビ会議では、自分の画像と通信相手
(複数人も可)の画像をモニタ上に表示し、相手の声を
自分の端末のスピーカから出力する。端末40aを自端
末とすると、これは、自端末映像の受信処理を起動する
と共に、相手端末の映像及び音声の受信処理を起動する
ことで、実現される。
【0037】自端末映像の受信処理と相手端末の映像及
び音声の受信処理は、ほぼ同様の動作となるので、以
下、相手端末の映像及び音声の受信処理を例に説明す
る。
【0038】図9は、自端末上で動作する映像音声受信
処理と、相手側のカメラ出力及びマイク出力が入力する
映像音声送信処理装置(以下、相手側映像音声送信処理
装置という。)のデータ送信処理との関係を示す。S6
1〜S67は自端末上で動作する映像音声の受信処理を
示し、S68〜S70は、相手側映像音声送信処理装置
のデータ送信処理を示す。
【0039】まず、自端末上で受信処理が起動する。映
像表示及び音声出力に必要なウィンドウ・システム上の
モジュールなどが初期設定され(S61)、データ受信
のためのバッファが用意される(S62)。受信のため
のポートが開かれ、受け付け可能状態になる(S6
3)。相手側映像音声送信処理装置に、相手端末のカメ
ラ出力及びマイク出力の送信を要求する(S64)。相
手側映像音声送信処理装置はこの要求を受けると、もし
受け入れられるならば、送信の初期設定を実行し、相手
端末(端末40a)側の受信ポートへの通信コネクショ
ンを要求する(S68)。これにより、自端末(端末4
0a)は、相手側映像音声送信処理装置との間に通信コ
ネクションを確立する(S65)。
【0040】相手側映像音声送信処理装置は、映像及び
音声データを獲得及び符号化して通信バッファに格納し
(S69)、通信バッファに格納されるデータを通信相
手(端末40a)に送信する(S70)。
【0041】自端末(端末40a)は、符号化されたデ
ータを受信し(S66)、これを復号化して、映像を映
像モニタ48aのウィンドウに表示し、音声をスピーカ
50aから出力する(S67)。
【0042】その後、相手側映像音声送信処理装置は、
S69とS70を繰り返し、端末40aも、S66とS
67を繰り返す。これにより、映像及び音声が連続的に
転送され、再生される。
【0043】カメラの映像出力及びマイク出力はアナロ
グ信号のレベルで分岐されコンピュータ42a,42b
と映像音声送信処理装置10の両方に入力されるように
構成しても良い。その場合、自分の映像を受信する必要
はなくなるが、カメラ入力をディジタル化するビデオ・
キャプチャ機能がコンピュータ42a,42bに必要に
なる。
【0044】尚、カメラ44a,44b及びマイク46
a,46bの出力を無線により映像音声送信処理装置1
0に送信することで、配線の負担を無くすことができ
る。
【0045】このようにして、多数のカメラ・マイクの
映像音声情報を伝送する環境を低コストで実現できる。
また、受信端末の性能や機能に応じて、異なる圧縮符号
化方式や適切な送信パラメータを用いて映像音声データ
を送受信できる。
【0046】音声信号の処理を省いて、映像信号のみを
送信処理するようにしてもよい。図10は、音声信号の
処理を省略した映像送信処理装置の概略構成ブロック図
を示す。図1に示す実施例から、スイッチ12の音声入
力を無くし、送信処理装置14の音声デコーダ24を除
去した構成になっている。映像を用いた監視などの用途
には、音声情報が不要な場合もあり、図10に示すよう
に構成することで、よりコスト効果比の良いシステムと
することができる。図11は、図10に示す映像送信処
理装置を用いた遠隔監視システムの構成例であり、図8
に示す構成から、音声の入出力装置を取り除いたものに
なっている。
【0047】このように構成することにより、より安価
な構成で、監視のような目的に最適のシステムを安価に
構成できる。
【0048】図8に示す構成をワイド・エリア・ネット
ワーク(WAN)に拡張できることは明らかである。例
えば、図12に示すように、一般にビデオ・ゲートウエ
イなどと呼ばれる映像音声WAN交換機60を組みあわ
せればよい。
【0049】このように構成することにより、ISDN
などの公衆通信回線網を介して外部のネットワークとの
間でデータ交換できる。
【0050】上述の実施例では、映像信号を取り込むビ
デオ・キャプチャ及び映像と音声のエンコーダを共用す
ることにより、そのためのコストを低減できるが、一般
二、スイッチ12としてあまり高速のものを利用できな
い(高価になる、大型になる。)ので、高いフレーム・
レートを要求される用途では、複数の信号を実質的にも
同時に扱うことができない。
【0051】以下に、この問題点を解決した実施例を説
明する。図13は、本発明の第3実施例の概略構成ブロ
ック図を示す。110は映像音声送信サーバ、112は
8つの映像音声入力から任意の4つの映像音声信号を選
択し、選択された4つの映像音声信号の4つの出力ポー
トから任意に出力できるマトリクス・スイッチ、114
は、マトリクス・スイッチ112からの4つの映像音声
信号の1つを選択するか、又は、4つの映像音声信号を
時間軸圧縮し、映像信号については4画面のマルチ画構
成に合成し、音声信号については時間軸で1/4に圧縮
して合成する画面分割ユニットである。
【0052】映像音声送信サーバ110は、画面分割ユ
ニット114から出力される映像信号を取り込み、ディ
ジタル化する映像キャプチャ装置116と、映像キャプ
チャ装置116の出力映像データを圧縮符号化する映像
エンコーダ118と、画面分割ユニット114から出力
される音声信号を取り込み、ディジタル化する音声キャ
プチャ装置120と、音声キャプチャ装置120の出力
音声データを圧縮符号化する音声エンコーダ122と、
エンコーダ118,122の符号化データ及び送信すべ
き情報を一時格納する通信バッファ124と、映像音声
送信サーバ110の全体、マトリクス・スイッチ112
及び画面分割ユニット114を制御する制御回路126
からなる。
【0053】画面分割ユニット114は、図14に示す
ように分割モードと選択モードの2つの動作モードを具
備する。分割モードは4つの入力映像を水平及び垂直で
1/2に縮小して1画面に合成するモードである。この
とき、画面分割ユニット114は4つの入力音声を時間
軸で圧縮及び合成して出力する。選択モードは、4つの
入力映像音声信号の内の任意の1つを選択して出力する
モードである。このような機能を有する装置として、例
えば、ソニー株式会社製YS−Q430などがある。
【0054】エンコーダ118は、例えば、図15に示
すように、それぞれ異なる圧縮符号化方式(例えば、M
otionJPEG、MPEG及びITU−T勧告H.
261)に対応する複数のエンコーダ130,132,
134を設け、制御回路126の制御下で、スイッチ1
36が、入力映像データを何れか指定のエンコーダ13
0,132,134に供給するようにした構成であって
もよい。音声エンコーダ122についても、同様であ
る。
【0055】制御回路126は外部からの送信要求の内
容に応じて、マトリクス・スイッチ112及び画面分割
ユニット114を設定すると共に、映像キャプチャ装置
116、映像エンコーダ118、音声キャプチャ装置1
20及び音声エンコーダ122を制御して、適切な送信
データを生成し、通信バッファ124を介して外部ネッ
トワークに送信させる。
【0056】図16は、図13の実施例の動作を示す流
れ図である。先ず、送信要求、送信終了要求及び送信起
動などのイベントの待ち状態になる(S101)。映像
/音声送信要求を受け付けると(S102)、新たな送
信処理を開始する(S103)。映像/音声送信終了要
求を受け付けると(S104)、指定された映像/音声
の送信処理を終了する(S105)。送信スケジューラ
により映像音声送信動作を起動するイベントが発生する
と(S106)、カメラ/マイクからの映像/音声の獲
得と送信処理を開始する(S107)。
【0057】この実施例でも、送信要求には占有的処理
要求と非占有的処理要求の2種類がある。占有的処理要
求は、全ての送信動作を特定のデータで占有させること
により高いフレーム・レートでのデータ通信を可能にす
る送信要求である。映像音声送信サーバ110に要求す
るフレーム・レートがマトリクス・スイッチ112の切
り替え速度を上回る場合、占有的処理要求にする必要が
ある。非占有的処理要求は、高いフレーム・レートを割
り当てずに、複数の映像音声信号を送信する送信要求で
ある。非占有的処理要求は、複数受け付けることがで
き、送信スケジューラにより順に起動される。送信スケ
ジューラは、実際にはタイマ・イベントにより実現され
る。
【0058】各送信要求は、さらに2種類に分けられ
る。第1は、テレビ会議などを行うために、解像度より
も映像のフレーム・レートを優先したデータ送信要求で
ある。このときには、画面分割ユニット114の動作モ
ードを分割モードに設定し、複数画面をマトリクス・ス
イッチ112の切り替えなしに取り込み、符号化するこ
とで実現される。第2は、物体の細部の観察などを行な
うためにフレーム・レートよりも解像度を優先したデー
タ送信要求である。このときは、画面分割ユニット11
4の動作モードを選択モードに設定し、マトリクス・ス
イッチ112により、送信したい映像音声信号を選択す
る。
【0059】制御回路126は、まず、イベント待ち状
態(S101)になる。外部からの通信又は送信スケジ
ューラのタイマ・イベントが発生すると、通信内容及び
イベントの種類に応じて、S102、S104又はS1
06の何れかに進む。
【0060】受信したメッセージが新たな送信要求であ
る場合、映像/音声送信要求受け付け処理(S102)
に進み、メッセージの内容を読み出す。次いで、メッセ
ージ内容に従って送信開始処理(S103)を実行す
る。
【0061】受信したメッセージが送信終了の要求であ
る場合、音声/映像送信終了要求の受け付け処理(S1
04)に進み、メッセージの内容を読み出す。次いで、
メッセージの内容に従って送信終了処理(S105)を
実行する。
【0062】タイマ・イベントが発生した場合には、送
信処理プロセスを再起動し、イベント待ち状態(S10
1)に戻る。起動された送信処理プロセスが、カメラ/
マイクからの映像/音声の獲得と送信の処理を実行し、
再びタイマを設定する(S107)。
【0063】図17は、図16の送信開始処理S103
の詳細なフローチャートを示す。制御回路126は、ま
ず、占有的処理要求が既にあるか否かを判定する(S1
11)。占有的処理要求がある場合(S111)、他の
要求を受けつけられないので、当該開始要求を拒否する
(S115)。占有的処理要求が無い場合(S11
1)、開始しようとしている処理自体が占有的処理要求
であるか否かを判定する(S112)。非占有的処理要
求の場合(S112)、送信スケジューラに、解像度優
先かフレームレート優先かに応じた送信要求プロセスを
追加し、起動のためのタイマを設定して終了する(S1
13)。占有的処理要求の場合(S112)、他の要求
と共存できないので、既存の要求の処理プロセスを一時
停止させた(S114)、その後、送信スケジューラに
送信要求処理プロセスを追加し、起動のためのタイマを
設定して終了する(S113)。
【0064】非占有的処理要求の処理プロセスを送信ス
ケジューラに追加する手順を、図18に示す。まず、処
理要求を受け取り(S121)、受け取った処理要求が
要求するカメラと同じカメラに帯する送信処理要求が既
に送信スケジューラに存在するかどうかを調べる(S1
22)。同じカメラに対する送信処理要求が存在すれば
(S122)、その送信処理プロセスに、今受け取った
送信要求の送信先を追加して終了する(S123)。同
じカメラに対する送信処理要求が存在しない場合(S1
22)、S121で受け取った処理要求が解像度優先か
フレーム・レート優先かを判断する(S124)。解像
度優先の場合(S124)、新たに起動のためのタイマ
を設定して終了する(S125)。フレーム・レート優
先であれば(S124)、フレームレート優先処理要求
の待ち行列に空きが存在するかどうかを、送信スケジュ
ーラを参照して調べ(S126)、空きが存在しなけれ
ば(S126)、新たに起動のためのタイマを設定して
終了し8S125)、空きがあれば(S126)、空い
ている場所に処理を追加して終了する8S127)。
【0065】このような手順により、図19に例示する
ような送信要求列に対し、送信スケジューラの送信スケ
ジュールは、図20に示すようになる。
【0066】図21は、図16の送信終了処理S105
の詳細なフローチャートである。制御回路126は、ま
ず、指定された終了すべき処理が実際に存在するかどう
かを、送信スケジューラを参照して判定する(S13
1)。終了指定された処理が無い場合(S131)、エ
ラー・メッセージを返す(S134)。終了指定された
処理が存在する場合(S131)、対応する送信要求処
理プロセスに終了信号を送り、送信スケジューラからそ
のプロセスを削除する(S132)。その後、終了した
プロセスが占有的処理要求によるものかどうかを判定し
(S133)、占有的処理要求によるものであれば(S
133)、そのプロセスにより一時停止状態にされたプ
ロセスを送信スケジューラを参照して再起動可能な状態
に戻し、終了する(S135)。
【0067】図16のS107、即ち、カメラ/マイク
からの映像/音声データの獲得と送信処理の内容は、処
理要求が占有的処理要求であるか否かによって異なる。
【0068】図22は、図16のS107の詳細であっ
て、非占有的処理要求の場合のフローチャートを示す。
先ず、制御回路126は、画面分割ユニット114の動
作モードを、要求が解像度優先であれば選択モードに、
要求がフレーム・レート優先であれば分割モードにそれ
ぞれ設定する(S141)。要求されたカメラ/マイク
の映像/音声を取り込むように、マトリクス・スイッチ
112を設定し(S142)、要求された映像サイズ及
び音質になるように映像キャプチャ装置116及び音声
キャプチャ装置120のパラメータを設定する(S14
3)。映像キャプチャ装置116及び音声キャプチャ装
置120は映像/音声データを取り込んでディジタル化
する(S144)。
【0069】映像エンコーダ118及び音声エンコーダ
122に圧縮符号化パラメータ(符号化方式と圧縮率等
のパラメータ、更には符号化する範囲)を設定し(S1
45)、キャプチャ装置116,120の出力をその条
件で圧縮符号化させる(S146)。圧縮符号化条件の
符号化する範囲は、例えば、送信要求が解像度優先であ
る場合には画面全体、フレーム・レート優先の場合に
は、画面分割ユニット114によって分割された画面の
内、未だ符号化されていない領域の一つである。符号化
された映像/音声データは通信バッファ124に一時格
納され(S147)、通信バッファ124からネットワ
ークを介して要求元(又は指定の相手)に送出される。
この送信後、送信スケジューラに次の送信要求処理プロ
セスを追加する。キャプチャされた全ての領域が送信さ
れ終えるまで、S145〜S148を繰り返す(S14
9)。
【0070】各入力ごと及び分割された各領域ごとに符
号化パラメータを設定するので(S145)、各領域を
異なった符号化条件で符号化できる。また、エンコーダ
118,122が複数の圧縮符号化方式に対応している
場合には、各入力ごとに異なった圧縮符号化方式で符号
化することも可能になる。
【0071】図23及び図24は、図16のS107の
詳細であって、占有的処理要求の場合の流れを示す。図
23は初期化処理であり、図24は、カメラ/マイクか
らの映像/音声データの獲得と送信処理の流れを示す。
占有的処理要求の場合、図22のS141乃至S14
3、及びS145に相当する初期化設定操作が1回目
(及び送信要求パラメータの変更時)にのみ行なわれ、
その後はデータ獲得と送信動作のみが繰り返される。
【0072】図23を説明する。まず、画面分割ユニッ
ト114を選択モードに設定する(S151)。このよ
うに設定することにより、ある特定のカメラからの信号
を高速に送信できる。次いで、要求されたカメラ/マイ
クの映像/音声が入力されるようにマトリクス・スイッ
チ112を設定する(S152)。映像キャプチャ装置
116及び音声キャプチャ装置120に送信要求の内容
に応じたパラメータを設定し(S153)、映像エンコ
ーダ118及び音声エンコーダ122にも送信要求の内
容に応じたパラメータを設定する(S122)。なお、
S151で画面分割ユニット114を分割モードに設定
すれば、複数のカメラ(図14の例では、最大4箇所)
からの映像を高速に送信できる。
【0073】図24を説明する。映像キャプチャ装置1
16及び音声キャプチャ装置120は、画面分割ユニッ
ト114から出力される映像信号及び音声信号をそれぞ
れ取り込んでディジタル化する(S161)。映像エン
コーダ118及び音声エンコーダ122はそれぞれ映像
キャプチャ装置116及び音声キャプチャ装置120の
出力データを圧縮符号化し(S162)、符号化データ
を通信バッファ124に格納する(S163)。通信バ
ッファ124に格納されたデータは、所定のレート及び
フォーマットでネットワークを介して送信要求元(又は
指定の相手)に送信される(S164)。送信後、タイ
マを次の送信時期に設定して、終了する。
【0074】図22及び図24に示す送信処理プロセス
で映像/音声データの符号化及び通信バッファ124へ
の格納のステップ(S145〜S147及びS161〜
S163)と、通信バッファ124に格納されているデ
ータの送信(S148及びS164)を別のプロセスと
すると共に2つのバッファを用意し、S148及びS1
64を実行する送信プロセスが一方のバッファのデータ
を転送している間に、符号化プロセスが次に送信すべき
データを他方のバッファに格納するようにして、通信バ
ッファの書き込みと読み出しを同時に実行し、データ送
信の効率を向上させることができる。
【0075】図25は、図13に示す実施例を利用する
テレビ会議システムのネットワーク構成の模式図を示
す。140は、図13に示す映像音声送信サーバ11
0、マトリクス・スイッチ112及び画面分割ユニット
114からなる映像音声送信処理装置であり、ローカル
・エリア・ネットワーク(LAN)、ワイド・エリア・
ネットワーク、一般公衆電話回線、その他のネットワー
クなどからなる通信ネットワーク142に接続してい
る。
【0076】映像音声送信処理装置140のマトリクス
・スイッチ112の入力には、個人の机上又はサイドに
配置される2台の端末144a,144bのカメラ出力
及びマイク出力が接続されている。端末144aはワー
クステーション146aをベースとし、端末144bは
パーソナル・コンピュータ146bをベースとしてお
り、それぞれ、カメラ148a,148b、マイク15
0a,150b、映像モニタ152a,152b及びス
ピーカ154a,154bが接続されている。マイク1
50a,150bとスピーカ154a,154bは、例
えばスピーカ・フォン構成になっている。
【0077】一例として、端末144aは、FDDIな
どの高速ネットワークを介してネットワーク142に接
続し、ワークステーション146aは例えば、映像/音
声の符号化信号を復号化するハードウェアを具備する。
また、端末142bは、イーサネット156及びルータ
158を介してネットワーク142に接続し、コンピュ
ータ146bは、映像/音声の符号化信号を復号化する
ソフトウエアを具備する。ここでは、映像音声送信処理
装置140の出力が接続するネットワーク142は、基
幹ネットワーク又はそれに近い高速ネットワークである
とする。
【0078】この環境下でテレビ会議の行なわれる様子
を説明する。なお、端末144aと図示しない別の端末
との間でテレビ会議が行なわれるとする。
【0079】テレビ会議では、自分の画像と通信相手
(複数人も可)の画像をモニタ上に表示し、相手の声を
自分の端末のスピーカから出力する。端末144aを自
端末とすると、これは、自端末映像の受信処理を起動す
ると共に、相手端末の映像及び音声の受信処理を起動す
ることで、実現される。
【0080】自端末映像の受信処理と相手端末の映像及
び音声の受信処理は、ほぼ同様の動作となるので、以
下、相手端末の映像及び音声の受信処理を例に説明す
る。
【0081】図26は、自端末上で動作する映像音声受
信処理と、相手側のカメラ出力及びマイク出力が入力す
る映像音声送信処理装置(以下、相手側映像音声送信処
理装置という。)のデータ送信処理との関係を示す。S
171〜S177は自端末上で動作する映像音声の受信
処理を示し、S178〜S180は、相手側映像音声送
信処理装置のデータ送信処理を示す。
【0082】まず、自端末上で受信処理が起動する。映
像表示及び音声出力に必要なウィンドウ・システム上の
モジュールなどが初期設定され(S171)、データ受
信のためのバッファが用意される(S172)。受信の
ためのポートが開かれ、受け付け可能状態になる(S1
73)。相手側映像音声送信処理装置に、相手端末のカ
メラ出力及びマイク出力の送信を要求する(S17
4)。相手側映像音声送信処理装置はこの要求を受ける
と、もし受け入れられるならば、送信の初期設定を実行
し、相手端末(端末144a)側の受信ポートへの通信
コネクションを要求する(S178)。これにより、自
端末(端末144a)は、相手側映像音声送信処理装置
との間に通信コネクションを確立する(S175)。
【0083】相手側映像音声送信処理装置は、映像及び
音声データを獲得及び符号化して通信バッファに格納し
(S179)、通信バッファに格納されるデータを通信
相手(端末144a)に送信する(S180)。
【0084】自端末(端末144a)は、符号化された
データを受信し(S176)、これを復号化して、映像
を映像モニタ152aのウィンドウに表示し、音声をス
ピーカ154aから出力する(S177)。
【0085】その後、相手側映像音声送信処理装置は、
S179とS180を繰り返し、端末144aも、S1
76とS177を繰り返す。これにより、映像及び音声
が連続的に転送され、再生される。
【0086】カメラの映像出力及びマイク出力はアナロ
グ信号のレベルで分岐されコンピュータ146a,14
6bと映像音声送信処理装置140の両方に入力される
ように構成しても良い。その場合、自分の映像を受信す
る必要はなくなるが、カメラ入力をディジタル化するビ
デオ・キャプチャ機能がコンピュータ146a,146
bに必要になる。
【0087】尚、カメラ148a,148b及びマイク
150a,150bの出力を無線により映像音声送信処
理装置140に送信することで、配線の負担を無くすこ
とができる。
【0088】以上説明したように構成することで、複数
のカメラ及びマイクから4つ以内の複数のソースからの
映像音声情報を自由に選択して送信できるようになる。
【0089】図27は、図13に示す実施例の変更例の
概略構成ブロック図を示す。160はマトリクス・スイ
ッチ112と同様の8入力・4出力のマトリクス・スイ
ッチ、162a,162b,162c,162dは、マ
トリクス・スイッチ160の4出力の各映像/音声出力
信号を取り込み、符号化してネットワークに送出する映
像音声送信サーバ、164は、外部からの制御信号に従
い、映像音声送信サーバ162a〜d及びマトリクス・
スイッチ160を制御する制御装置である。
【0090】映像音声送信サーバ162a〜162d
は、マトリクス・スイッチ160の映像音声出力信号を
取り込むキャプチャ装置166a〜166d、キャプチ
ャ装置166a〜166dの出力を圧縮符号化するエン
コーダ168a〜168d及びエンコーダ168a〜1
68dの出力をネットワークに送出するために一時格納
する通信バッファ170a〜170dからなる。
【0091】各映像音声送信サーバ162a〜162d
は、他の映像音声送信サーバ162a〜162dとは独
立に、マトリクス・スイッチ160の出力を取り込み、
符号化してネットワークに出力する。従って、各映像音
声情報を高品質に送信できる。多地点間で高フレームレ
ートかつ高解像度の信号が必要な用途では、本実施例の
ように複数のエンコーダを用いることにより、各端末に
キャプチャ装置及びエンコーダを設置するよりもコスト
効果比を高めつつ負荷を分散して、、同時に複数の信号
を送信処理できる。
【0092】図27に示す実施例では、ある送信処理要
求を、複数の映像音声送信サーバ162a〜162dの
どれに割り当てるかは、以下のように決定される。即
ち、送信要求を出す側(受信側)は、送信要求を受け取
る側(送信側)の映像音声送信処理装置の制御装置16
4を通じて映像音声送信サーバ162a〜162dの送
信スケジューラを参照する。参照した結果に基づいて、
どの映像音声送信サーバ162a〜162dに送信処理
を要求するかを受信側が決定し、制御装置164を通じ
て映像音声送信サーバ162a〜162dを指定して送
信処理を指令する。
【0093】また、受信側が指定なしに送信側の制御装
置164に送信処理を要求すると、送信側の制御装置1
64が、映像音声送信サーバ162a〜162dの送信
スケジューラを参照し、負荷や能力などに応じて自動的
に適切な映像音声送信サーバ162a〜162dに処理
を割り振るようにしてもよい。この場合には、受信側
は、送信スケジューラの参照や映像音声送信サーバの指
定などの負担を負わずに済むという効果がある。
【0094】いずれにしても、どの送信処理要求をどの
映像音声送信サーバ162a〜162dに割り当てるか
が決定されると、各映像音声送信サーバ162a〜16
2dの送信スケジューラに、割り振られた送信処理が追
加される。制御装置164は、各映像音声送信サーバ1
62a〜162dの送信スケジューラを参照して、マト
リクス・スイッチ160を適切に設定する。各映像音声
送信サーバ162a〜162dは、設定されたマトリク
ス・スイッチ160の各出力を取り込み、圧縮符号化し
てネットワークに送出する。
【0095】図28は、図27に示す映像音声送信処理
装置を使用したテレビ会議システムの概略構成ブロック
図を示す。180は図27に図示した映像音声送信処理
装置である。図25と同じ構成要素には同じ符号を付し
てある。このように構成することにより、コスト効果比
を低下させずに、負荷を分散し、複数の信号を同時にデ
ィジタル化及び圧縮符号化することができる。
【0096】本発明は、複数の機器(例えば、ホストコ
ンピュータ、インタフェース機器、リーダ又はプリンタ
等)から構成されるシステムに適用しても、単一の機器
(例えば、複写機又はファクシミリ装置など)からなる
装置に適用してもよい。
【0097】また前述した実施形態の機能を実現する各
種デバイスを動作させる様に当該各種デバイスと接続さ
れた装置又はシステム内のコンピュータに、前記実施形
態の機能を実現するためのソフトウエアのプログラムコ
ードを供給し、その装置又はシステムのコンピュータ
(CPU又はMPU)が、格納されたプログラムに従っ
て前記各種デバイスを動作させるようにしたものも、本
願発明の技術的範囲に含まれる。この場合、前記ソフト
ウエアのプログラムコード自体が前述した実施形態の機
能を実現することに相当し、そのプログラムコード自
体、及びそのプログラムコードをコンピュータに供給す
るための手段、例えばかかるプログラムコードを格納し
た記憶媒体は、本発明を構成する。
【0098】かかるプログラムコードを格納する記憶媒
体としては、例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、磁気
テープ、不揮発性のメモリカード及びROM等を用いる
ことが出来る。
【0099】またコンピュータが供給されたプログラム
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティング
システム)又は他のアプリケーションソフトウエア等と
共同して前述の実施形態の機能が実現される場合にも、
かかるプログラムコードは本願発明の実施形態に含まれ
ることは言うまでもない。
【0100】更に、供給されたプログラムコードが、コ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能格納ユニットに備わるCPU等が実際の処理の
一部または全部を行い、その処理によって前述した実施
形態の機能が実現される場合も、本願発明に含まれるこ
とは言うまでもない。
【0101】
【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、映像音声情報送信処理の資源を複
数の端末で共用でき、これら資源の稼働率を上げて、コ
スト効果比を改善できる。
【0102】複数の圧縮符号化手段を設け、通信先との
情報交換及び/又は通信経路の状況に基づき、圧縮符号
化手段を選択することにより、送信先の性能や状況に応
じた適切な通信品質で映像/音声情報を送信できる。
【0103】テレビ会議システムに組み込むことで、よ
り低コストでテレビ会議システムを構築できる。映像/
音声の符号化手段を集中化することで、テレビ会議シス
テム用端末を安価なものとすることができる。
【0104】また、本発明によれば、複数の入力信号か
ら任意の複数の信号を選択するスイッチを使用すること
で、キャプチャ装置及びエンコーダなどを共用化でき、
これらのモジュールの稼働率を上げてコスト効果比の向
上を図ることができる。また、複数の入力信号を同時に
ディジタル化及び圧縮符号化することにより、スイッチ
の切り替えによる時間的損失を低減できる。
【0105】また、本発明によれば、通信先との情報交
換及び通信経路の状況に基づき圧縮符号化手段を選択す
るので、送信先の性能や状況に応じた適切な通信品質で
情報を送信できる。
【図面の簡単な説明】
【図1】 本発明の第1実施例の概略構成ブロック図で
ある。
【図2】 図1に示す実施例の基本動作のフローチャー
トである。
【図3】 図2のS3の詳細なフローチャートである。
【図4】 図2のS5の詳細なフローチャートである。
【図5】 非占有的処理要求に対する送信処理のフロー
チャートである。
【図6】 占有的処理要求に対する送信処理の初期化処
理のフローチャートである。
【図7】 占有的処理要求に対するデータ送信処理のフ
ローチャートである。
【図8】 図1に示す実施例を組み込んだテレビ会議シ
ステムの概略構成ブロック図である。
【図9】 相手側映像音声送信処理装置の映像音声送信
処理と自端末の映像音声受信処理のフローチャートであ
る。
【図10】 本発明の第2実施例の概略構成ブロック図
である。
【図11】 図10に示す実施例を組み込んだ遠隔監視
システムの概略構成ブロック図である。
【図12】 図8に示すシステムの変更例の概略構成ブ
ロック図である。
【図13】 マトリクス・スイッチを使用する本発明の
第1の実施例を表す構成図である。
【図14】 画面分割ユニット114の動作モードの説
明図である。
【図15】 映像エンコーダ118の構成例の概略ブロ
ック図である。
【図16】 図13の実施例の動作を示す流れ図であ
る。
【図17】 図16の送信開始処理S103の流れ図で
ある。
【図18】 非占有的処理要求の処理プロセスを送信ス
ケジューラに追加する手順のフローチャートである。
【図19】 送信要求列の一例である。
【図20】 図19に示す送信要求列に対する送信スケ
ジュールである。
【図21】 図16の送信終了処理S105の詳細なフ
ローチャートである。
【図22】 非占有的処理要求の場合の、図16のS1
07の詳細なフローチャートである。
【図23】 占有的処理要求の場合の、図16のS10
7の初期化処理のフローチャートである。
【図24】 占有的処理要求の場合の、図16のS10
7のデータ送信処理のフローチャートである。
【図25】 図13に示す実施例を使用したテレビ会議
システムの概略構成ブロック図である。
【図26】 図13に示す実施例における、相手側映像
音声送信処理装置の映像音声送信処理と自端末の映像音
声受信処理のフローチャートである。
【図27】 マトリクス・スイッチを使用する本発明の
第2の実施例の概略構成ブロック図である。
【図28】 図27に示す実施例を使用するテレビ会議
システムの概略構成ブロック図である。
【符号の説明】
10:映像/音声送信処理装置 12:スイッチ 14:送信処理装置 16:ビデオ・キャプチャ 18:ビデオ・エンコーダ 20:セレクタ 22:通信バッファ 24:音声エンコーダ 26:制御回路 30:ネットワーク 40a,40b:端末 42a:ワークステーション 42b:パーソナル・コンピュータ 44a,44b:カメラ 46a,46b:マイク 48a,48b:映像モニタ 50a,50b:スピーカ 52:イーサネット 54:ルータ 110:映像音声送信サーバ 112:マトリクス・スイッチ 114:画面分割ユニット 116:映像キャプチャ装置 118:映像エンコーダ 120:音声キャプチャ装置 122:音声エンコーダ 124:通信バッファ 126:制御回路 130,132,134:エンコーダ 136:スイッチ 140:映像音声送信処理装置 142:通信ネットワーク 144a,144b:端末 146a:ワークステーション 146b:パーソナル・コンピュータ 148a,148b:カメラ 150a,150b:マイク 152a,152b:映像モニタ 154a,154b:スピーカ 156:イーサネット 158:ルータ 160:マトリクス・スイッチ 162a,162b,162c,162d:映像音声送
信サーバ 164:制御装置 166a〜166d:キャプチャ装置 168a〜168d:エンコーダ 170a〜170d:通信バッファ

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 映像及び音声の少なくとも一方について
    の複数の入力から1つを選択して、ネットワークに送信
    する送信処理装置であって、複数のアナログ入力信号を
    与えられた指示に応じて切り換える切り換え手段と、当
    該切り換え手段から出力されるアナログ信号をディジタ
    ル化するA/D変換手段と、当該A/D変換手段のディ
    ジタル出力を圧縮符号化する符号化手段と、当該符号化
    手段により符号化されたデータをネットワークに出力す
    る出力手段とからなることを特徴とする送信処理装置。
  2. 【請求項2】 上記符号化手段が複数の圧縮符号化手段
    を有し、制御手段が、通信先との情報交換及び通信経路
    の状況に基づき、使用する圧縮符号化手段を選択する請
    求項1に記載の送信処理装置。
  3. 【請求項3】 上記符号化手段が、映像符号化手段と音
    声符号化手段を具備する請求項1又は2に記載の送信処
    理装置。
  4. 【請求項4】 前記指示を発生する発生手段を有する請
    求項1に記載の送信処理装置。
  5. 【請求項5】 映像及び音声の少なくとも一方について
    の複数の入力から1つを選択してネットワークに送信す
    る送信処理装置であって、ネットワークを介した複数の
    入力を切り換える切り換え手段、当該切り換え手段から
    の信号を圧縮符号化する符号化手段、当該手段による符
    号化出力をネットワークに出力する出力手段とを有する
    ことを特徴とする送信処理装置。
  6. 【請求項6】 映像と音声の通信により複数の通信端末
    間でテレビ会議を行うテレビ会議システムであって、請
    求項3に記載の送信処理装置を少なくとも1台具備し、
    1以上の通信端末に関連するカメラの映像及びマイクの
    音声が所定の送信処理装置に接続され、1以上の通信端
    末が、符号化映像情報及び符号化音声情報の復号化手段
    のみを具備することを特徴とするテレビ会議システム。
  7. 【請求項7】 複数のアナログ入力信号から任意の複数
    の信号を選択するスイッチと、当該スイッチにより選択
    される複数のアナログ信号を時間軸上で圧縮して合成す
    る合成手段と、当該合成手段から出力されるアナログ信
    号をディジタル化するA/D変換手段と、当該A/D変
    換手段から出力されるディジタル信号を圧縮符号化する
    符号化手段と、通信及び当該スイッチを制御する制御手
    段とからなることを特徴とする送信処理装置。
  8. 【請求項8】 上記符号化手段が複数の圧縮符号化手段
    を有し、通信先との情報交換及び通信経路の状況に基づ
    き、使用すべき圧縮符号化手段が選択される請求項7に
    記載の送信処理装置。
  9. 【請求項9】 送受信される情報が映像情報と音声情報
    である請求項8に記載の送信処理装置。
  10. 【請求項10】 複数のアナログ入力信号から任意の複
    数の信号を選択するスイッチと、当該スイッチにより選
    択された複数のアナログ信号の夫々をディジタル化する
    複数のA/D変換手段と、当該複数のA/D変換手段か
    ら出力されるディジタル信号のそれぞれを圧縮符号化す
    る複数の符号化手段と、通信及び当該スイッチを制御す
    る制御手段とからなることを特徴とする送信処理装置。
  11. 【請求項11】 映像及び音声の少なくとも一方につい
    ての複数の入力から1つを選択して、ネットワークに送
    信する送信処理方法であって、複数のアナログ入力信号
    を与えられた指示に応じて切り換え、A/D変換手段に
    よりディジタル化し、そのディジタル出力を圧縮符号化
    し、符号化されたデータをネットワークに出力すること
    を特徴とする送信処理方法。
  12. 【請求項12】 通信先との情報交換及び通信経路の状
    況に基づき、複数の圧縮符号化方式から使用すべき圧縮
    符号化方式が選択される請求項11に記載の送信処理方
    法。
  13. 【請求項13】 映像符号化手段と音声符号化手段を具
    備する請求項11又は12に記載の送信処理方法。
  14. 【請求項14】 前記指示を発生する発生手段を有する
    請求項11に記載の送信処理方法。
  15. 【請求項15】 映像及び音声の少なくとも一方につい
    ての複数の入力から1つを選択してネットワークに送信
    する送信処理方法であって、ネットワークを介した複数
    の入力を切り換えて、圧縮符号化し、符号化出力をネッ
    トワークに出力することを特徴とする送信処理方法。
  16. 【請求項16】 複数のアナログ入力信号から任意の複
    数の信号を選択し、選択された複数のアナログ信号を時
    間軸上で圧縮して合成し、合成されたアナログ信号をデ
    ィジタル化し、ディジタル化された合成信号を圧縮符号
    化することを特徴とする送信処理方法。
  17. 【請求項17】 通信先との情報交換及び通信経路の状
    況に基づき、複数の圧縮符号化方式から使用すべき圧縮
    符号化方式が選択される請求項16に記載の送信処理方
    法。
  18. 【請求項18】 送受信される情報が映像情報と音声情
    報である請求項17に記載の送信処理方法。
  19. 【請求項19】 複数のアナログ入力信号から任意の複
    数の信号を選択し、選択された複数のアナログ信号の夫
    々をディジタル化し、各ディジタル信号を圧縮符号化す
    ることを特徴とする送信処理方法。
  20. 【請求項20】 請求項11に記載の送信処理方法の各
    ステップを実施するソフトウエアが外部から読み出し自
    在に格納されたことを特徴とする記憶媒体。
JP15940396A 1996-01-08 1996-06-20 テレビ会議システム Expired - Fee Related JP3659528B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP15940396A JP3659528B2 (ja) 1996-01-08 1996-06-20 テレビ会議システム
US08/777,409 US6249324B1 (en) 1996-01-08 1996-12-30 Transmission processing apparatus, television conference system, transmission processing method and memory medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-686 1996-01-08
JP68696 1996-01-08
JP15940396A JP3659528B2 (ja) 1996-01-08 1996-06-20 テレビ会議システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004337892A Division JP2005151584A (ja) 1996-01-08 2004-11-22 送信処理装置及び方法

Publications (2)

Publication Number Publication Date
JPH09252462A true JPH09252462A (ja) 1997-09-22
JP3659528B2 JP3659528B2 (ja) 2005-06-15

Family

ID=26333731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15940396A Expired - Fee Related JP3659528B2 (ja) 1996-01-08 1996-06-20 テレビ会議システム

Country Status (2)

Country Link
US (1) US6249324B1 (ja)
JP (1) JP3659528B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002080562A1 (en) * 2001-03-28 2002-10-10 Mitsubishi Denki Kabushiki Kaisha Multimedia communication device
KR100493281B1 (ko) * 2001-10-15 2005-06-02 엘지전자 주식회사 디지털 티브이의 영상신호 처리장치
JP2006333409A (ja) * 2005-05-30 2006-12-07 Sanyo Electric Co Ltd 画像伝送装置
JP2016100845A (ja) * 2014-11-25 2016-05-30 シャープ株式会社 受信装置、映像表示方法、及びプログラム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243725B1 (en) * 1997-05-21 2001-06-05 Premier International, Ltd. List building system
JP4703794B2 (ja) * 1997-05-30 2011-06-15 ソニー株式会社 データ受信方法及び装置
DE69827824T3 (de) * 1997-06-24 2009-09-03 Massachusetts Institute Of Technology, Cambridge Kontrolle der verspannungsdichte durch verwendung von gradientenschichten und durch planarisierung
KR100287728B1 (ko) * 1998-01-17 2001-04-16 구자홍 영상프레임동기화장치및그방법
US6532218B1 (en) * 1999-04-05 2003-03-11 Siemens Information & Communication Networks, Inc. System and method for multimedia collaborative conferencing
US6973501B1 (en) * 2000-06-21 2005-12-06 Adc Telecommunications, Inc. Reducing loss in transmission quality under changing network conditions
US7219364B2 (en) * 2000-11-22 2007-05-15 International Business Machines Corporation System and method for selectable semantic codec pairs for very low data-rate video transmission
US8126276B2 (en) * 2001-02-21 2012-02-28 International Business Machines Corporation Business method for selectable semantic codec pairs for very low data-rate video transmission
EP1343162A3 (en) * 2002-03-05 2006-06-28 D&M Holdings, Inc. Audio reproducing apparatus
US6788225B2 (en) * 2002-12-19 2004-09-07 Sony Corporation System and method for intraframe timing in multiplexed channel
US8107525B1 (en) * 2003-06-10 2012-01-31 Avaya Inc. Variable bit rate video CODEC using adaptive tracking for video conferencing
JP4616135B2 (ja) * 2005-09-21 2011-01-19 オリンパス株式会社 撮像装置および画像記録装置
US7817557B2 (en) * 2006-08-29 2010-10-19 Telesector Resources Group, Inc. Method and system for buffering audio/video data
US7940653B2 (en) * 2006-08-29 2011-05-10 Verizon Data Services Llc Audiovisual data transport protocol
JP5047607B2 (ja) * 2006-12-26 2012-10-10 パナソニック株式会社 ストリーム記録装置、ストリーム記録方法、記録システム、および記録再生システム
KR101611531B1 (ko) * 2009-11-13 2016-04-12 삼성전자주식회사 촬영장치 및 촬영영상 제공방법
CN101778306B (zh) * 2010-02-08 2012-07-04 冠林电子有限公司 一种可视对讲系统调试设备
US9357215B2 (en) * 2013-02-12 2016-05-31 Michael Boden Audio output distribution
US20230097803A1 (en) * 2021-09-28 2023-03-30 eScapes Network LLC Hybrid Audio/Visual Imagery Entertainment System With Live Audio Stream Playout And Separate Live Or Prerecorded Visual Imagery Stream Playout

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS647791A (en) * 1987-06-30 1989-01-11 Nec Corp Multiscreen video conference method and device therefor
JP3617089B2 (ja) * 1993-12-27 2005-02-02 株式会社日立製作所 映像蓄積配送装置及び映像蓄積配送システム
US5652630A (en) * 1995-05-31 1997-07-29 International Business Machines Corporation Video receiver display, three axis remote control, and microcontroller for executing programs
JP3088268B2 (ja) * 1995-06-21 2000-09-18 日本電気株式会社 ビデオ・オン・デマンドシステムにおけるビデオサーバ
US5734443A (en) * 1995-12-28 1998-03-31 Philips Electronics North America Corporation Method and device for performing source transitions in a video system which performs entropy encoding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002080562A1 (en) * 2001-03-28 2002-10-10 Mitsubishi Denki Kabushiki Kaisha Multimedia communication device
KR100493281B1 (ko) * 2001-10-15 2005-06-02 엘지전자 주식회사 디지털 티브이의 영상신호 처리장치
JP2006333409A (ja) * 2005-05-30 2006-12-07 Sanyo Electric Co Ltd 画像伝送装置
JP2016100845A (ja) * 2014-11-25 2016-05-30 シャープ株式会社 受信装置、映像表示方法、及びプログラム

Also Published As

Publication number Publication date
JP3659528B2 (ja) 2005-06-15
US6249324B1 (en) 2001-06-19

Similar Documents

Publication Publication Date Title
JP3659528B2 (ja) テレビ会議システム
US5821987A (en) Videophone for simultaneous audio and video communication via a standard telephone line
US6646677B2 (en) Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method
JP2002007294A (ja) 画像配信システム及び方法並びに記憶媒体
JP2003532347A (ja) ビデオ会議ネットワークにおけるメディアの役割管理
CN101640784A (zh) 一种在视频会议系统中控制多画面复合的控制装置及方法
JP2003530787A (ja) ビデオ会議の記録
US7508413B2 (en) Video conference data transmission device and data transmission method adapted for small display of mobile terminals
JP3252936B2 (ja) 映像情報フォーマット制御装置
JPH11220711A (ja) 多地点会議システム及び会議端末装置
JPH1169330A (ja) 留守録機能を備えた画像通信装置
JP3110037B2 (ja) 画像伝送システム
JPS62200883A (ja) 電子会議システムにおける図形表示装置
JP2005151584A (ja) 送信処理装置及び方法
JP2002290940A (ja) テレビ会議システム
JPH1023383A (ja) テレビ会議システム
US7499085B2 (en) Information terminal with controller for stopping voice data
JP2902220B2 (ja) 通信会議システム
JP2003281014A (ja) 多地点通信システムおよび中継装置
JPH06209470A (ja) 映像伝送処理装置
JPH06268757A (ja) 端末識別方法
JPH0888842A (ja) 画像伝送システム
JPH08294102A (ja) 動画像通信会議システム及びその通信方法
JP2004282785A (ja) 表示制御装置及び表示制御方法
JP3491932B2 (ja) テレビ会議システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080325

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090325

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100325

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100325

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110325

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120325

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees