JPH07336461A - 画像通信装置 - Google Patents
画像通信装置Info
- Publication number
- JPH07336461A JPH07336461A JP12287794A JP12287794A JPH07336461A JP H07336461 A JPH07336461 A JP H07336461A JP 12287794 A JP12287794 A JP 12287794A JP 12287794 A JP12287794 A JP 12287794A JP H07336461 A JPH07336461 A JP H07336461A
- Authority
- JP
- Japan
- Prior art keywords
- image
- decoding
- terminals
- terminal
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【目的】 時分割処理で復号化し、しかも復号化部の受
信能力を上回るようなデータを受信しないようにするこ
とを目的とする。 【構成】 受信手段と、復号化手段と、調整手段
と、伝達手段と、送信手段とを設け、複数端末から
の符号化画像信号を上記受信手段で受信し、それを上
記復号化手段でもって復号化するとともに、上記受信
手段により受信された符号化画像信号の総計が上記画
像復号化手段の処理能力を越えないように上記調整手
段により調整し、更に、その調整結果に基づいて、処
理能力に応じた受信能力を上記複数の通信端末にそれぞ
れ割り当てるとともに、それを上記伝達手段により上
記複数の通信端末に伝えるようにすることにより、上記
符号化画像信号を時分割処理で復号化する際に、復号化
手段の処理能力を上回るようなデータを受信してしま
う不都合を防止する。
信能力を上回るようなデータを受信しないようにするこ
とを目的とする。 【構成】 受信手段と、復号化手段と、調整手段
と、伝達手段と、送信手段とを設け、複数端末から
の符号化画像信号を上記受信手段で受信し、それを上
記復号化手段でもって復号化するとともに、上記受信
手段により受信された符号化画像信号の総計が上記画
像復号化手段の処理能力を越えないように上記調整手
段により調整し、更に、その調整結果に基づいて、処
理能力に応じた受信能力を上記複数の通信端末にそれぞ
れ割り当てるとともに、それを上記伝達手段により上
記複数の通信端末に伝えるようにすることにより、上記
符号化画像信号を時分割処理で復号化する際に、復号化
手段の処理能力を上回るようなデータを受信してしま
う不都合を防止する。
Description
【0001】
【産業上の利用分野】本発明は画像通信装置に係わり、
例えば、通信回線を介して映像および音声の送受信を行
う画像通信装置に用いて好適なものである。
例えば、通信回線を介して映像および音声の送受信を行
う画像通信装置に用いて好適なものである。
【0002】
【従来の技術】従来のアナログの電話回線の場合、音声
は通常の速度で伝送可能であるが、データは低速でしか
伝送することができなかった。
は通常の速度で伝送可能であるが、データは低速でしか
伝送することができなかった。
【0003】しかし、近年、通信技術や半導体技術、お
よび光技術等の進歩に伴って、ディジタル回線が整備さ
れ、大容量のデータを高速に伝送することが可能になっ
た。特に、ディジタル伝送の場合には伝送による品質低
下がなく、伝送を行った後も同レベルの品質が保たれる
特徴を有している。また、伝送データのメディアの特性
に応じた伝送路を必要とせず、メディアの統合が図れる
特徴を有しており、これらの特徴により複合メディア端
末間の伝送が可能になった。このため、最近は従来の音
声のみの電話から映像をも同時に伝送することができる
電話端末が出現している。
よび光技術等の進歩に伴って、ディジタル回線が整備さ
れ、大容量のデータを高速に伝送することが可能になっ
た。特に、ディジタル伝送の場合には伝送による品質低
下がなく、伝送を行った後も同レベルの品質が保たれる
特徴を有している。また、伝送データのメディアの特性
に応じた伝送路を必要とせず、メディアの統合が図れる
特徴を有しており、これらの特徴により複合メディア端
末間の伝送が可能になった。このため、最近は従来の音
声のみの電話から映像をも同時に伝送することができる
電話端末が出現している。
【0004】こうした状況の中、異なる複合端末間にお
いても相互通信が可能になるように、ITUなどによる
国際標準かが進められており、ディジタル回線を用いた
テレビ電話、テレビ会議システムなどのAV(Audi
o Visual)サービスとしてAVサービス用のサ
ービス規定、プロトコル規定、マルチメディア多重化フ
レーム構成規定等がITU勧告H.320、H.24
2、H.221などとして発表されている。
いても相互通信が可能になるように、ITUなどによる
国際標準かが進められており、ディジタル回線を用いた
テレビ電話、テレビ会議システムなどのAV(Audi
o Visual)サービスとしてAVサービス用のサ
ービス規定、プロトコル規定、マルチメディア多重化フ
レーム構成規定等がITU勧告H.320、H.24
2、H.221などとして発表されている。
【0005】上記H.221では、64Kbpsから1
920KbpsまでのAVサービスにおけるフレーム構
成および端末能力の交換や、通信モードのFAS(Fr
amAlignment Signal)、BAS(B
it Allocation Signal)の符号割
当等が定義されている。
920KbpsまでのAVサービスにおけるフレーム構
成および端末能力の交換や、通信モードのFAS(Fr
amAlignment Signal)、BAS(B
it Allocation Signal)の符号割
当等が定義されている。
【0006】また、上記H.242では、BASを用い
たAV端末間での能力交換、および通信モード切り替え
などのプロトコルが定義されており、上記H.320で
はAVサービス全般のシステムアスペクトが定義されて
いる。
たAV端末間での能力交換、および通信モード切り替え
などのプロトコルが定義されており、上記H.320で
はAVサービス全般のシステムアスペクトが定義されて
いる。
【0007】また、上記勧告においては、エンドツーエ
ンドの物理コネクションの設定、およびインチャネルで
のFASによる同期確立後、インチャネルでBASを用
いた端末能力の交換シーケンス、通信モードの指定によ
るモード切り替えシーケンスなどの手順により端末間で
画像、音声、データなどのマルチメディア通信を行うた
めの方法が規定されている。ただし、各端末において自
己の端末能力を状況に応じて変化させたり交換された能
力の範囲内でどの通信モードを用いるかは規定の範囲外
である。
ンドの物理コネクションの設定、およびインチャネルで
のFASによる同期確立後、インチャネルでBASを用
いた端末能力の交換シーケンス、通信モードの指定によ
るモード切り替えシーケンスなどの手順により端末間で
画像、音声、データなどのマルチメディア通信を行うた
めの方法が規定されている。ただし、各端末において自
己の端末能力を状況に応じて変化させたり交換された能
力の範囲内でどの通信モードを用いるかは規定の範囲外
である。
【0008】ところで、マルチメディア通信における各
メディアの情報転送速度は、音声情報は音声符号化方式
を指定することで決定される。また、データ情報は、そ
の使用の有無、使用する場合の転送速度を指定すること
により決定され、設定した通信路全体の情報転送速度か
ら、音声情報の転送速度とデータ情報の転送速度を引い
た残りが画像情報の転送速度になる。
メディアの情報転送速度は、音声情報は音声符号化方式
を指定することで決定される。また、データ情報は、そ
の使用の有無、使用する場合の転送速度を指定すること
により決定され、設定した通信路全体の情報転送速度か
ら、音声情報の転送速度とデータ情報の転送速度を引い
た残りが画像情報の転送速度になる。
【0009】また、パーソナルコンピュータやワークス
テーションにおいてもマルチメディア化が進行してお
り、従来のデータ通信から音声や映像などの通信が可能
になりつつある。この場合の通信媒体は、主にローカル
エリアネットワークであり、データをパケット化して通
信を行うようにしている。
テーションにおいてもマルチメディア化が進行してお
り、従来のデータ通信から音声や映像などの通信が可能
になりつつある。この場合の通信媒体は、主にローカル
エリアネットワークであり、データをパケット化して通
信を行うようにしている。
【0010】上記ローカルエリアネットワークは、通
常、構内で閉じているネットワークである。しかし、最
近では通信プロトコルについても、ネットワークにおけ
るノードの持つ機能を階層的に分割したレイヤの内の一
つである(7)フィジカルレイヤで規定され、ゲートウ
ェイやサーバーを介してかなり広域のネットワークでの
相互通信も盛んに行われている。
常、構内で閉じているネットワークである。しかし、最
近では通信プロトコルについても、ネットワークにおけ
るノードの持つ機能を階層的に分割したレイヤの内の一
つである(7)フィジカルレイヤで規定され、ゲートウ
ェイやサーバーを介してかなり広域のネットワークでの
相互通信も盛んに行われている。
【0011】
【発明が解決しようとする課題】しかしながら、上記従
来例のTV電話装置によれば、一つの端末との相互通信
しか行うことができなかったので、多地点間との相互通
信を考えた場合には、回線部を複数持つ必要があった。
来例のTV電話装置によれば、一つの端末との相互通信
しか行うことができなかったので、多地点間との相互通
信を考えた場合には、回線部を複数持つ必要があった。
【0012】また、画像や音声の通信をする際には、通
信路の通信容量に限りがあるのでデータの圧縮伸張する
符号化復号化を行うため、同時に相互通信する端末数分
だけ画像復号化部を持つ必要があった。
信路の通信容量に限りがあるのでデータの圧縮伸張する
符号化復号化を行うため、同時に相互通信する端末数分
だけ画像復号化部を持つ必要があった。
【0013】ところで、音声の圧縮の場合はデータ量が
画像に比べて少ないので、符号化復号化部を複数持つこ
とはさほど問題にはならない。しかし、画像の圧縮の場
合は、アルゴリズムが複雑であり、かつデータ量も多い
ため、回路規模が膨大となる。さらに、高速な演算処理
が必要となるとともに、使用する記憶容量も非常に大き
いため、複数個持つのは難しいという問題があった。
画像に比べて少ないので、符号化復号化部を複数持つこ
とはさほど問題にはならない。しかし、画像の圧縮の場
合は、アルゴリズムが複雑であり、かつデータ量も多い
ため、回路規模が膨大となる。さらに、高速な演算処理
が必要となるとともに、使用する記憶容量も非常に大き
いため、複数個持つのは難しいという問題があった。
【0014】そこで、時分割処理で復号化する方法が考
えられるが、その場合には、各端末から受信するデータ
を受信して一時的にバッファリングし、そのバッファリ
ングした蓄積量に応じて復号化して行かなければならな
い。しかし、このようにした場合には、複数の相手端末
から非同期にかつ完全に独立に画像信号を受信するの
で、復号化部の処理能力を上回るようなデータを受信し
てしまうという問題があった。
えられるが、その場合には、各端末から受信するデータ
を受信して一時的にバッファリングし、そのバッファリ
ングした蓄積量に応じて復号化して行かなければならな
い。しかし、このようにした場合には、複数の相手端末
から非同期にかつ完全に独立に画像信号を受信するの
で、復号化部の処理能力を上回るようなデータを受信し
てしまうという問題があった。
【0015】本発明は上述の問題点にかんがみ、時分割
処理で復号化し、しかも復号化部の受信能力を上回るよ
うなデータを受信しないようにすることを目的とする。
処理で復号化し、しかも復号化部の受信能力を上回るよ
うなデータを受信しないようにすることを目的とする。
【0016】
【課題を解決するための手段】本発明の画像通信装置
は、複数の通信端末と画像通信を行う画像通信装置にお
いて、上記複数端末から送られる符号化画像信号を受信
する受信手段と、上記受信手段により受信された符号化
画像信号を復号化する復号化手段と、上記受信手段によ
り受信された符号化画像信号の量が上記画像復号化手段
の処理能力を越えないように調整する調整手段とを具備
している。
は、複数の通信端末と画像通信を行う画像通信装置にお
いて、上記複数端末から送られる符号化画像信号を受信
する受信手段と、上記受信手段により受信された符号化
画像信号を復号化する復号化手段と、上記受信手段によ
り受信された符号化画像信号の量が上記画像復号化手段
の処理能力を越えないように調整する調整手段とを具備
している。
【0017】また、本発明の他の特徴とするところは、
上記調整手段によって上記複数の通信端末にそれぞれ割
り当てられた処理能力に応じた受信能力を、上記複数の
通信端末に伝える伝達手段とを具備している。
上記調整手段によって上記複数の通信端末にそれぞれ割
り当てられた処理能力に応じた受信能力を、上記複数の
通信端末に伝える伝達手段とを具備している。
【0018】また、本発明その他の特徴とするところ
は、上記調整手段は、各端末ごとに異なる処理能力を割
り当てるようにしている。
は、上記調整手段は、各端末ごとに異なる処理能力を割
り当てるようにしている。
【0019】また、本発明その他の特徴とするところ
は、上記伝達手段は、上記複数の端末が符号化するため
の符号化制御情報を上記複数の通信端末に伝えることを
特徴としている。
は、上記伝達手段は、上記複数の端末が符号化するため
の符号化制御情報を上記複数の通信端末に伝えることを
特徴としている。
【0020】また、本発明のその他の特徴とするところ
は、複数の通信端末と画像通信を行う画像通信装置にお
いて、上記複数端末から送られる符号化画像信号を受信
する受信手段と、上記受信手段により受信された符号化
画像信号を復号化する復号化手段と、上記受信手段によ
り受信された全ての端末からの符号化画像信号をある任
意の時間内に処理する画素数が、上記画像復号化手段の
ある任意の時間内に処理する画素数を越えないように調
整する調整手段と、上記調整結果に基づいて各端末に割
り当てられた上記任意の時間内に処理する画素数に応じ
た受信能力を上記複数の通信端末に伝える伝達手段とを
具備している。
は、複数の通信端末と画像通信を行う画像通信装置にお
いて、上記複数端末から送られる符号化画像信号を受信
する受信手段と、上記受信手段により受信された符号化
画像信号を復号化する復号化手段と、上記受信手段によ
り受信された全ての端末からの符号化画像信号をある任
意の時間内に処理する画素数が、上記画像復号化手段の
ある任意の時間内に処理する画素数を越えないように調
整する調整手段と、上記調整結果に基づいて各端末に割
り当てられた上記任意の時間内に処理する画素数に応じ
た受信能力を上記複数の通信端末に伝える伝達手段とを
具備している。
【0021】また、本発明のその他の特徴とするところ
は、複数の通信端末と画像通信を行う画像通信装置にお
いて、上記複数端末から送られる符号化画像信号を受信
する受信手段と、上記受信手段により受信された符号化
画像信号を復号化する復号化手段と、上記受信手段によ
り受信された全ての端末からの符号化画像信号をある任
意の時間内に処理する画素数が、上記画像復号化手段の
ある任意の時間内に処理する画素数を越えないように調
整する第1の調整手段と、上記受信手段により受信され
た符号化画像信号の総計が上記画像復号化手段の処理能
力を越えないように調整する第2の調整手段と、上記調
整結果に基づいて各端末に割り当てられた上記任意の時
間内に処理する画素数と上記フレーム当たりの画素数に
応じた受信能力とを各相手端末に伝える伝達手段とを具
備している。
は、複数の通信端末と画像通信を行う画像通信装置にお
いて、上記複数端末から送られる符号化画像信号を受信
する受信手段と、上記受信手段により受信された符号化
画像信号を復号化する復号化手段と、上記受信手段によ
り受信された全ての端末からの符号化画像信号をある任
意の時間内に処理する画素数が、上記画像復号化手段の
ある任意の時間内に処理する画素数を越えないように調
整する第1の調整手段と、上記受信手段により受信され
た符号化画像信号の総計が上記画像復号化手段の処理能
力を越えないように調整する第2の調整手段と、上記調
整結果に基づいて各端末に割り当てられた上記任意の時
間内に処理する画素数と上記フレーム当たりの画素数に
応じた受信能力とを各相手端末に伝える伝達手段とを具
備している。
【0022】また、本発明のその他の特徴とするところ
は、上記調整手段は、各端末ごとに異なる処理能力を割
り当てるようにしている。
は、上記調整手段は、各端末ごとに異なる処理能力を割
り当てるようにしている。
【0023】また、本発明のその他の特徴とするところ
は、上記調整手段は、処理能力の割当ての比率を優先度
の高い端末には高く割り当て、優先度の低い端末には低
く割り当てるようにしている。
は、上記調整手段は、処理能力の割当ての比率を優先度
の高い端末には高く割り当て、優先度の低い端末には低
く割り当てるようにしている。
【0024】また、本発明のその他の特徴とするところ
は、上記調整手段は、画像を表示する画面サイズが大き
い端末には処理能力を多く割り当て、画面を表示する画
面サイズが小さい端末には処理能力を少なく割り当てる
ようにしている。
は、上記調整手段は、画像を表示する画面サイズが大き
い端末には処理能力を多く割り当て、画面を表示する画
面サイズが小さい端末には処理能力を少なく割り当てる
ようにしている。
【0025】
【作用】本発明は上記技術手段を有するので、受信手段
で受信された複数端末からの符号化画像信号を復号化手
段でもって復号化する際に、上記符号化画像信号の総計
が上記画像復号化手段の処理能力を越えないように調整
されるとともに、処理能力に応じた受信能力が上記複数
の通信端末にそれぞれ割り当てられ、それが伝達手段に
より上記複数の通信端末に伝えられるようになるので、
上記符号化画像信号を時分割処理で復号化する際に、上
記復号化手段の処理能力を上回るようなデータを受信し
てしまう不都合が防止されるようになる。
で受信された複数端末からの符号化画像信号を復号化手
段でもって復号化する際に、上記符号化画像信号の総計
が上記画像復号化手段の処理能力を越えないように調整
されるとともに、処理能力に応じた受信能力が上記複数
の通信端末にそれぞれ割り当てられ、それが伝達手段に
より上記複数の通信端末に伝えられるようになるので、
上記符号化画像信号を時分割処理で復号化する際に、上
記復号化手段の処理能力を上回るようなデータを受信し
てしまう不都合が防止されるようになる。
【0026】
【実施例】以下、本発明の画像通信装置の一実施例を図
面を参照して説明する。図1は、本実施例の画像通信装
置の主な機能を説明するための機能構成図である。図1
において、は受信手段、は復号化手段、は調整手
段、は伝達手段、は送信手段、9は画像出力部、8
は表示部である。
面を参照して説明する。図1は、本実施例の画像通信装
置の主な機能を説明するための機能構成図である。図1
において、は受信手段、は復号化手段、は調整手
段、は伝達手段、は送信手段、9は画像出力部、8
は表示部である。
【0027】上記受信手段は、通信中の複数端末から
送信される符号化画像信号を受信するために設けられて
いるものである。また、復号化手段は上記複数端末か
ら送信され、上記受信手段によって受信された符号化画
像信号を復号化するために設けられているものである。
送信される符号化画像信号を受信するために設けられて
いるものである。また、復号化手段は上記複数端末か
ら送信され、上記受信手段によって受信された符号化画
像信号を復号化するために設けられているものである。
【0028】調整手段は、全ての端末から受信した符
号化画像信号を復号化処理する能力の総計が上記画像復
号化手段の処理能力を越えないように調整するために
設けられているものであり、伝達手段は上記調整結果
に基づき各端末に割り当てられた処理能力に応じた受信
能力を各相手端末に伝えるためのものである。
号化画像信号を復号化処理する能力の総計が上記画像復
号化手段の処理能力を越えないように調整するために
設けられているものであり、伝達手段は上記調整結果
に基づき各端末に割り当てられた処理能力に応じた受信
能力を各相手端末に伝えるためのものである。
【0029】送信手段は、上記伝達手段から出力さ
れる受信能力情報を相手の端末に送信するためのであ
る。また、画像出力部9は、後で詳細に説明するように
上記復号化手段から出力される復号化画像信号をテレ
ビ信号に変換するためのものであり、8は上記画像出力
部9から出力されるテレビ信号を画面上に表示するため
のものである。
れる受信能力情報を相手の端末に送信するためのであ
る。また、画像出力部9は、後で詳細に説明するように
上記復号化手段から出力される復号化画像信号をテレ
ビ信号に変換するためのものであり、8は上記画像出力
部9から出力されるテレビ信号を画面上に表示するため
のものである。
【0030】図2は、本発明の一実施例に係わるTV電
話装置の構成を示すブロック図であり、特に、回線数を
4回線とし、同時通信を4端末と想定した場合の構成を
示すブロック図である。
話装置の構成を示すブロック図であり、特に、回線数を
4回線とし、同時通信を4端末と想定した場合の構成を
示すブロック図である。
【0031】なお、本発明の画像通信装置の場合は、回
線数には制限はないが、便宜上、4回線にした場合につ
いて説明する。図2において、1は音声入出力手段の一
つであるハンドセット、2は音声入出力手段の一つであ
るマイク、3は音声出力手段の一つであるスピーカであ
る。
線数には制限はないが、便宜上、4回線にした場合につ
いて説明する。図2において、1は音声入出力手段の一
つであるハンドセット、2は音声入出力手段の一つであ
るマイク、3は音声出力手段の一つであるスピーカであ
る。
【0032】4は音声インタフェース部である。この音
声インタフェース部4は、後述するシステム制御部12
の識別情報により、上記ハンドセット1、マイク2およ
びスピーカ3を切り換える機能を有している。また、音
量レベル調整のための利得調整機能と、ハンドセット1
が、オンフック状態かオフフック状態かを検知するオン
/オフ検知機能と、マイク2とスピーカ3を使用した時
にエコーを消去するためのエコーキャンセル機能と、ダ
イヤルトーン、呼出トーン、ビジートーン、着信音など
のトーン生成機能等も有している。
声インタフェース部4は、後述するシステム制御部12
の識別情報により、上記ハンドセット1、マイク2およ
びスピーカ3を切り換える機能を有している。また、音
量レベル調整のための利得調整機能と、ハンドセット1
が、オンフック状態かオフフック状態かを検知するオン
/オフ検知機能と、マイク2とスピーカ3を使用した時
にエコーを消去するためのエコーキャンセル機能と、ダ
イヤルトーン、呼出トーン、ビジートーン、着信音など
のトーン生成機能等も有している。
【0033】5は音声符号化復号化部(×4)である。
上記音声符号化復号化部5は、システム制御部12の指
示により、64kbpsPCM(A−law)、64k
bpsPCM(μ−law)、7kHzオーディオ(S
B−ADPCM)、32kbpsADPCM,16kb
ps(例えば、APC−AB)8kbpsなどの音声符
号化/復号化アルゴリズムに従って、送信音声信号をA
/D変換して符号化する機能と、受信音声信号を復号化
してD/A変換する機能を有している。
上記音声符号化復号化部5は、システム制御部12の指
示により、64kbpsPCM(A−law)、64k
bpsPCM(μ−law)、7kHzオーディオ(S
B−ADPCM)、32kbpsADPCM,16kb
ps(例えば、APC−AB)8kbpsなどの音声符
号化/復号化アルゴリズムに従って、送信音声信号をA
/D変換して符号化する機能と、受信音声信号を復号化
してD/A変換する機能を有している。
【0034】6は、標準装備され人物を撮像する撮像カ
メラ、7は画像入力手段の一つであり、絵や図面などを
入力するための書画カメラ、8は撮像カメラ6または書
画カメラ7からの入力画像信号や、通信の相手から送ら
れてきた受信画像信号や、システム制御部12から入力
される画像信号を表示する表示部である。
メラ、7は画像入力手段の一つであり、絵や図面などを
入力するための書画カメラ、8は撮像カメラ6または書
画カメラ7からの入力画像信号や、通信の相手から送ら
れてきた受信画像信号や、システム制御部12から入力
される画像信号を表示する表示部である。
【0035】9は画像入力部/出力部であり、上記シス
テム制御部12の指示により画像入力手段の切り換え機
能と、上述した各画像信号の表示切り換えおよび表示分
割機能と、各画像入出力部の映像信号と電気的/信号的
な整合をとるための信号変換機等を有している。
テム制御部12の指示により画像入力手段の切り換え機
能と、上述した各画像信号の表示切り換えおよび表示分
割機能と、各画像入出力部の映像信号と電気的/信号的
な整合をとるための信号変換機等を有している。
【0036】10は画像符号化復号化部であり、送信画
像信号をA/D変換し符号化する機能と、受信画像信号
を復号化しD/A変換する機能とを有している。上記画
像符号化復号化部10は、大容量の画像信号の生データ
に、動き補償、駒落とし、フレーム間補償およびフレー
ム間補償、DCT変換、ベクトル量子化変換などの種々
の手法によって帯域圧縮を行い、小容量化してデジタル
回線で伝送可能にしている。なお、現在のISDN回線
の基本インタフェースは64kbpsであるが、この伝
送速度でも伝送可能な画像信号の符号化方式としては、
ITU勧告H.261がある。
像信号をA/D変換し符号化する機能と、受信画像信号
を復号化しD/A変換する機能とを有している。上記画
像符号化復号化部10は、大容量の画像信号の生データ
に、動き補償、駒落とし、フレーム間補償およびフレー
ム間補償、DCT変換、ベクトル量子化変換などの種々
の手法によって帯域圧縮を行い、小容量化してデジタル
回線で伝送可能にしている。なお、現在のISDN回線
の基本インタフェースは64kbpsであるが、この伝
送速度でも伝送可能な画像信号の符号化方式としては、
ITU勧告H.261がある。
【0037】11は、画像通信装置の制御をするための
操作部であり、制御情報入力のためのキーボード、タッ
チパネルなどを有している。12はシステム制御部であ
り、CPU、ROM、RAM、補助記憶装置、キャラク
タジェネレータ、画像信号生成回路などを備え、各部の
状態を監視し装置全体の制御、状態に応じた操作/表示
画面作成およびアプリケーションプログラムの実行など
を行う。13は多重分離部(×4)であり、音声符号化
部復号化部5からの音声データ、ビデオ符号化復号化部
10からの画像データ、システム制御部12からのBA
Sを送信フレーム単位に多重化するとともに、受信フレ
ームを構成単位の各メディアに分離し各部に通知する機
能を有している。ITU勧告としては、H.221があ
る。
操作部であり、制御情報入力のためのキーボード、タッ
チパネルなどを有している。12はシステム制御部であ
り、CPU、ROM、RAM、補助記憶装置、キャラク
タジェネレータ、画像信号生成回路などを備え、各部の
状態を監視し装置全体の制御、状態に応じた操作/表示
画面作成およびアプリケーションプログラムの実行など
を行う。13は多重分離部(×4)であり、音声符号化
部復号化部5からの音声データ、ビデオ符号化復号化部
10からの画像データ、システム制御部12からのBA
Sを送信フレーム単位に多重化するとともに、受信フレ
ームを構成単位の各メディアに分離し各部に通知する機
能を有している。ITU勧告としては、H.221があ
る。
【0038】14は、ISDNユーザ網インタフェース
に従って回線を制御する回線インタフェース(×4)で
ある。また、15は画像復号化処理能力制御部であり、
画像復号化部の復号化処理能力に応じて、各端末ごとに
処理能力を割り当てる制御を行うためのものである。な
お、4端末とは、4つの回線部14と4つの多重化部1
3を介して同時に通信が可能となる。音声復号化部5
は、4端末から受信した音声符号化データを4つの音声
復号化部で同時に復号化し、画像復号化部10はひとつ
の復号化部で4つの画像符号化データを時分割処理で復
号化を行う。
に従って回線を制御する回線インタフェース(×4)で
ある。また、15は画像復号化処理能力制御部であり、
画像復号化部の復号化処理能力に応じて、各端末ごとに
処理能力を割り当てる制御を行うためのものである。な
お、4端末とは、4つの回線部14と4つの多重化部1
3を介して同時に通信が可能となる。音声復号化部5
は、4端末から受信した音声符号化データを4つの音声
復号化部で同時に復号化し、画像復号化部10はひとつ
の復号化部で4つの画像符号化データを時分割処理で復
号化を行う。
【0039】次に、図3を参照しながら画像復号化部の
内部構成を説明する。図3において、16〜19は画像
符号化データのBCHフレームを外すためのBCH復号
化部である。また、20〜23はBCHフレームが外さ
れ画像データ多重化フレームを一次蓄積し復号化部との
同期をとる受信バッファである。
内部構成を説明する。図3において、16〜19は画像
符号化データのBCHフレームを外すためのBCH復号
化部である。また、20〜23はBCHフレームが外さ
れ画像データ多重化フレームを一次蓄積し復号化部との
同期をとる受信バッファである。
【0040】24は、各受信バッファ20〜23の画像
符号化データのうち復号化する画像符号化データを一つ
選択する復号化選択回路、25は画像データ多重化フレ
ームのフレームヘッダとGOBヘッダとを外す画像フレ
ーム分離部、26は画像データを可変長復号化する可変
長復号化(VLD)部である。
符号化データのうち復号化する画像符号化データを一つ
選択する復号化選択回路、25は画像データ多重化フレ
ームのフレームヘッダとGOBヘッダとを外す画像フレ
ーム分離部、26は画像データを可変長復号化する可変
長復号化(VLD)部である。
【0041】27は各マクロブロックの係数データを逆
量子化する逆量子化部、28は係数データを基に逆DC
Tする逆DCT部、29はフレームヘッダの内容を解読
するFH解読部、30はGOBヘッダの内容を解読する
GOBH解読部、31はマクロブロックの内容を解読す
るMBH解読部である。
量子化する逆量子化部、28は係数データを基に逆DC
Tする逆DCT部、29はフレームヘッダの内容を解読
するFH解読部、30はGOBヘッダの内容を解読する
GOBH解読部、31はマクロブロックの内容を解読す
るMBH解読部である。
【0042】32はGOBヘッダおよびマクロブロック
ヘッダからのヘッダ情報の量子化ステップサイズを設定
する量子化ステップサイズ設定部である。33および3
4はINTERモード時に受信した画像データと前フレ
ームの画像データとの差分をとりフレームメモリに書き
込むか、INTRAモード時に受信した画像データをそ
のままフレームメモリに書き込むかを切り換えるスイッ
チである。35および36はフィルタ処理するか否かを
切り換えるスイッチである。37はフィルタであり、動
き補償モード時に前フレームにフィルタ処理をする。
ヘッダからのヘッダ情報の量子化ステップサイズを設定
する量子化ステップサイズ設定部である。33および3
4はINTERモード時に受信した画像データと前フレ
ームの画像データとの差分をとりフレームメモリに書き
込むか、INTRAモード時に受信した画像データをそ
のままフレームメモリに書き込むかを切り換えるスイッ
チである。35および36はフィルタ処理するか否かを
切り換えるスイッチである。37はフィルタであり、動
き補償モード時に前フレームにフィルタ処理をする。
【0043】38は第1のフレーム制御部であり、復号
化時に前フレームの画像データを記憶しているフレーム
メモリから読み出すメモリアドレスを出力する。39は
第2のフレーム制御部であり、復号化時に復号化処理を
施した画像データをフレームメモリに書き込むメモリア
ドレスを出力する。40は第3のフレーム制御部であ
り、フレームメモリの画像データを画像入出力部に転送
するためフレームメモリから読み出すメモリアドレスを
出力する。
化時に前フレームの画像データを記憶しているフレーム
メモリから読み出すメモリアドレスを出力する。39は
第2のフレーム制御部であり、復号化時に復号化処理を
施した画像データをフレームメモリに書き込むメモリア
ドレスを出力する。40は第3のフレーム制御部であ
り、フレームメモリの画像データを画像入出力部に転送
するためフレームメモリから読み出すメモリアドレスを
出力する。
【0044】41および42は、フレームメモリ(F
M)である。43はスイッチであり、第1〜第3のフレ
ーム制御部38、39、40から選択してフレームメモ
リ42へメモリアドレスを出力するためのものである。
44は上記第1〜第3のフレーム制御部38、39、4
0から選択してフレームメモリ42へメモリアドレスを
出力するスイッチである。
M)である。43はスイッチであり、第1〜第3のフレ
ーム制御部38、39、40から選択してフレームメモ
リ42へメモリアドレスを出力するためのものである。
44は上記第1〜第3のフレーム制御部38、39、4
0から選択してフレームメモリ42へメモリアドレスを
出力するスイッチである。
【0045】45はフレームメモリへの書込み時にどの
フレームメモリに書き込むかを選択するスイッチであ
る。46はスイッチであり、INTERモード時に前フ
レームを参照するが、そのときにどのフレームメモリか
ら読み出すかを選択するためのものである。
フレームメモリに書き込むかを選択するスイッチであ
る。46はスイッチであり、INTERモード時に前フ
レームを参照するが、そのときにどのフレームメモリか
ら読み出すかを選択するためのものである。
【0046】47は画像復号化部の全体を制御する復号
化制御部であり、48は管理テーブル等を記憶する記憶
部、49は画像出力部へ出力する画像データのフレーム
メモリを選択するスイッチである。上記の構成により、
複数の画像データを時分割で処理し、あたかも同時に処
理しているように見せることが可能となる。
化制御部であり、48は管理テーブル等を記憶する記憶
部、49は画像出力部へ出力する画像データのフレーム
メモリを選択するスイッチである。上記の構成により、
複数の画像データを時分割で処理し、あたかも同時に処
理しているように見せることが可能となる。
【0047】次に、画像出力部9の内部構成を、図4に
示す。図4において、50は画像メモリへの書込み読出
し時のメモリ空間を指定する画像メモリ制御部、51は
各端末からの画像データを記憶するメモリ空間領域登録
しておく記憶部である。
示す。図4において、50は画像メモリへの書込み読出
し時のメモリ空間を指定する画像メモリ制御部、51は
各端末からの画像データを記憶するメモリ空間領域登録
しておく記憶部である。
【0048】また、52はカラールックアップテーブ
ル、53はグラフィック画像データと受信画像データと
を切り換えるスイッチ、54はビデオ同期信号発生部、
55はA/D変換部である。
ル、53はグラフィック画像データと受信画像データと
を切り換えるスイッチ、54はビデオ同期信号発生部、
55はA/D変換部である。
【0049】56はグラフィック画像データのある特定
のデータの時に画像データに切り換える制御を行うスイ
ッチ制御部である。57は各端末からの画像データを別
々に記憶する画像メモリ、58は復号化部からの画像デ
ータを画素密度変換する画素密度変換部である。
のデータの時に画像データに切り換える制御を行うスイ
ッチ制御部である。57は各端末からの画像データを別
々に記憶する画像メモリ、58は復号化部からの画像デ
ータを画素密度変換する画素密度変換部である。
【0050】このように構成された画像出力部9によ
り、カラールックアップテーブル52からのグラフィッ
クデータを画面の全面に表示し、その画面上に複数の受
信画像データをウィンドウ表示させることができる。ま
た、受信画像データ上にスーパーインポーズ表示のよう
にカラールックアップテーブル52からのグラフィック
データを表示させることが可能である。また、複数の受
信画像データが重なり合った時に、その重なり部分をど
ちらかの受信画像を選択して表示することができる。
り、カラールックアップテーブル52からのグラフィッ
クデータを画面の全面に表示し、その画面上に複数の受
信画像データをウィンドウ表示させることができる。ま
た、受信画像データ上にスーパーインポーズ表示のよう
にカラールックアップテーブル52からのグラフィック
データを表示させることが可能である。また、複数の受
信画像データが重なり合った時に、その重なり部分をど
ちらかの受信画像を選択して表示することができる。
【0051】次に、上記構成図の動作を説明するが、そ
の前に、画像データの符号化について簡単に説明する。
符号化処理を行う画像の構成については、図5および図
6の(a)、(b)に示す。上記H.261勧告におい
ては、取り扱うビデオ信号は、NTSC,PAL,デジ
タルテレビ規格などの異なった複数の規格が存在するた
め、お互いに通信ができるように世界共通のビデオ信号
フォーマットを採用している。
の前に、画像データの符号化について簡単に説明する。
符号化処理を行う画像の構成については、図5および図
6の(a)、(b)に示す。上記H.261勧告におい
ては、取り扱うビデオ信号は、NTSC,PAL,デジ
タルテレビ規格などの異なった複数の規格が存在するた
め、お互いに通信ができるように世界共通のビデオ信号
フォーマットを採用している。
【0052】このフォーマットは、CIFフォーマット
と称し、標本数が輝度Yは352画素×288ライン、
色差Cr,Cbは176画素×144ラインで規定され
ている。また、標本点(サンプリング点)については、
色差(Cr,Cb)は、輝度4地点(Y1,Y2,Y
3,Y4)の等距離にある点と定められている。
と称し、標本数が輝度Yは352画素×288ライン、
色差Cr,Cbは176画素×144ラインで規定され
ている。また、標本点(サンプリング点)については、
色差(Cr,Cb)は、輝度4地点(Y1,Y2,Y
3,Y4)の等距離にある点と定められている。
【0053】更に、CIFの1/4はQCIFフォーマ
ットと称し、標本数が輝度Yは176画素×144ライ
ン、色差Cr,Cbは、88画素×72ラインで定義さ
れている。
ットと称し、標本数が輝度Yは176画素×144ライ
ン、色差Cr,Cbは、88画素×72ラインで定義さ
れている。
【0054】ここで、上記フォーマットは、複数個のG
OBフォーマットで構成され、そのGOBフォーマット
は33個のMBフォーマットで構成されている。更に、
MBフォーマットは8画素×8ラインの輝度ブロック
を、輝度Y1,輝度Y2,輝度Y3,輝度Y4の4つの
ブロックと、8画素×8ラインの色差ブロックをCr、
Cbの2ブロックで構成されており、階層構造となって
いる。
OBフォーマットで構成され、そのGOBフォーマット
は33個のMBフォーマットで構成されている。更に、
MBフォーマットは8画素×8ラインの輝度ブロック
を、輝度Y1,輝度Y2,輝度Y3,輝度Y4の4つの
ブロックと、8画素×8ラインの色差ブロックをCr、
Cbの2ブロックで構成されており、階層構造となって
いる。
【0055】この階層構造により、符号化をMBフォー
マット単位で行うことが可能となる。GOBフォーマッ
トは、標本数が輝度176画素×48ライン、色差C
r,Cb88画素×24ラインに定義され、CIFフォ
ーマットの1/12,QCIFフォーマットの1/3に
相当し、GOBフォーマットの番号がCIFフォーマッ
トはGOB1からGOB12まで割り当てられ、QCI
Fフォーマットは、GOB1,GOB3,GOB5が割
り当てられている。
マット単位で行うことが可能となる。GOBフォーマッ
トは、標本数が輝度176画素×48ライン、色差C
r,Cb88画素×24ラインに定義され、CIFフォ
ーマットの1/12,QCIFフォーマットの1/3に
相当し、GOBフォーマットの番号がCIFフォーマッ
トはGOB1からGOB12まで割り当てられ、QCI
Fフォーマットは、GOB1,GOB3,GOB5が割
り当てられている。
【0056】符号化された画像データのフレーム構成
は、図7に示すような多重化フレーム構成となってい
る。ただし、ここでは説明の都合上、フレームヘッダF
Hを付加したまま説明することとする。
は、図7に示すような多重化フレーム構成となってい
る。ただし、ここでは説明の都合上、フレームヘッダF
Hを付加したまま説明することとする。
【0057】図7は、はGOBのブロックによる構成を
示している。このように、画面の1フレームのデータの
先頭にフレームヘッダFHがつき、画面を12分割した
1ブロックをGOBとして、GOB1からGOB12ま
で順次伝送される。
示している。このように、画面の1フレームのデータの
先頭にフレームヘッダFHがつき、画面を12分割した
1ブロックをGOBとして、GOB1からGOB12ま
で順次伝送される。
【0058】フレームヘッダFHは、PSCとTRとP
TYPEとで構成されている。フレームヘッダPSC
は、フレーム開始符号で20ビットの“0000 00
000000 0001 0000”である。
TYPEとで構成されている。フレームヘッダPSC
は、フレーム開始符号で20ビットの“0000 00
000000 0001 0000”である。
【0059】フレームヘッダTRは、フレーム番号で5
ビットの“1”から“30”までの値を使用する。PT
YPEはタイプ情報で6ビットで、スプリット・スクリ
ーン指示情報、書画カメラ指示情報、画面凍結解除、情
報源フォーマット指示情報(CIF,QCIF)が含ま
れている。つまり、FH解読部は、上記内容の解読結果
を制御部28に通知することになる。
ビットの“1”から“30”までの値を使用する。PT
YPEはタイプ情報で6ビットで、スプリット・スクリ
ーン指示情報、書画カメラ指示情報、画面凍結解除、情
報源フォーマット指示情報(CIF,QCIF)が含ま
れている。つまり、FH解読部は、上記内容の解読結果
を制御部28に通知することになる。
【0060】GOBヘッダは、GBSCとGNとGQU
ANTで構成されている。ヘッダGBSCはGOB開始
符号で16ビットの“0000 0000 0000
0001”である。
ANTで構成されている。ヘッダGBSCはGOB開始
符号で16ビットの“0000 0000 0000
0001”である。
【0061】ヘッダGNは、GOB番号で4ビットで、
“1”から“12”まで使用する。ヘッダGNが“0”
の場合には、フレームヘッダPSCで使用しているの
で、フレームヘッダFHのPSCとGOBのGBSC+
GNは、ともに20ビットで連続した値と見なすことが
できる。
“1”から“12”まで使用する。ヘッダGNが“0”
の場合には、フレームヘッダPSCで使用しているの
で、フレームヘッダFHのPSCとGOBのGBSC+
GNは、ともに20ビットで連続した値と見なすことが
できる。
【0062】ヘッダGQUANTは、量子化特性情報で
5ビットで量子化ステップサイズの情報を含む。MBヘ
ッダはマクロブロック(MB)と称する画素ブロックの
ヘッダである。
5ビットで量子化ステップサイズの情報を含む。MBヘ
ッダはマクロブロック(MB)と称する画素ブロックの
ヘッダである。
【0063】マクロブロックMBは、上述したように、
33個のマクロブロックMBで1つのGOBヘッダを構
成しており、1MBは8画素×8ラインの輝度信号
(Y)4個と、8画素×8ラインの色差信号(Cb,C
r)2個で構成されている。
33個のマクロブロックMBで1つのGOBヘッダを構
成しており、1MBは8画素×8ラインの輝度信号
(Y)4個と、8画素×8ラインの色差信号(Cb,C
r)2個で構成されている。
【0064】ここで、各ブロックの番号として、輝度Y
には1から4まで、Cbには5、Crには6の番号が割
り当てられている。このMBヘッダはMBAとMTYP
EとMQUANTとMVDとCBPとで構成されてい
る。
には1から4まで、Cbには5、Crには6の番号が割
り当てられている。このMBヘッダはMBAとMTYP
EとMQUANTとMVDとCBPとで構成されてい
る。
【0065】MBAは、マクロブロックMBの位置を表
すマクロブロックアドレスで先頭のマクロブロックMB
のみ絶対値で、それ以降は、差分の可変長符号ある。M
TYPEは、マクロブロックMBのタイプ情報で、IN
TRA(フレーム内符号化)、INTER(フレーム間
差分符号化)、MC(動き補償付きフレーム間差分符号
化)、FIL(フィルター)などそのマクロブロックM
Bのデータに処理を施した処理タイプが挿入されてい
る。MQUANTは、GQUANTと同じである。
すマクロブロックアドレスで先頭のマクロブロックMB
のみ絶対値で、それ以降は、差分の可変長符号ある。M
TYPEは、マクロブロックMBのタイプ情報で、IN
TRA(フレーム内符号化)、INTER(フレーム間
差分符号化)、MC(動き補償付きフレーム間差分符号
化)、FIL(フィルター)などそのマクロブロックM
Bのデータに処理を施した処理タイプが挿入されてい
る。MQUANTは、GQUANTと同じである。
【0066】MVDは、動きベクトル情報である。CB
Pは有意ブロックパターンで先ほどのマクロブロックM
Bの輝度Yの4個とCr,Cbのうちの有効な画素ブロ
ックの番号を情報として含んでいる。このMBヘッダの
後には、圧縮符号化した画像データが先述したように、
輝度Y4個Cr,Cbのうち有意ブロックとなった画素
ブロックが番号順に入っている。
Pは有意ブロックパターンで先ほどのマクロブロックM
Bの輝度Yの4個とCr,Cbのうちの有効な画素ブロ
ックの番号を情報として含んでいる。このMBヘッダの
後には、圧縮符号化した画像データが先述したように、
輝度Y4個Cr,Cbのうち有意ブロックとなった画素
ブロックが番号順に入っている。
【0067】回線に出力されるデータは、図8に示すよ
うなフォーマットの誤り訂正フレームである。図8に示
したように、1フレームは、誤り訂正フレームビットが
1ビット、フィル識別子が1ビット、画像データが49
2ビット、誤り訂正パリティーが18ビットの512ビ
ットで構成されている。更に、このフレームが8フレー
ムで1マルチフレームを構成している。
うなフォーマットの誤り訂正フレームである。図8に示
したように、1フレームは、誤り訂正フレームビットが
1ビット、フィル識別子が1ビット、画像データが49
2ビット、誤り訂正パリティーが18ビットの512ビ
ットで構成されている。更に、このフレームが8フレー
ムで1マルチフレームを構成している。
【0068】この画像データの圧縮方法および画像フォ
ーマットは、ITUでH.261勧告として既に勧告化
されており、その勧告に準拠していれば、他の勧告に準
拠したTV電話とも相互通信が可能となる。
ーマットは、ITUでH.261勧告として既に勧告化
されており、その勧告に準拠していれば、他の勧告に準
拠したTV電話とも相互通信が可能となる。
【0069】次に、符号化方法を簡単に説明する。ま
ず、自然界の映像には画素間の相関が強いことや周波数
成分が低周波に集中し高周波は小さいことなどを利用し
てフレーム内のデータを8画素×8画素のブロックとし
2次元DCT変換するフレーム内符号化がある。
ず、自然界の映像には画素間の相関が強いことや周波数
成分が低周波に集中し高周波は小さいことなどを利用し
てフレーム内のデータを8画素×8画素のブロックとし
2次元DCT変換するフレーム内符号化がある。
【0070】次いで、前フレームと現フレームの同位置
の画像ブロックにおいて両者の相関が強い時にフレーム
間の差分を取りその差分値に対して8画素×8画素のブ
ロックを2次元DCT変換するフレーム間符号化があ
る。
の画像ブロックにおいて両者の相関が強い時にフレーム
間の差分を取りその差分値に対して8画素×8画素のブ
ロックを2次元DCT変換するフレーム間符号化があ
る。
【0071】次いで、前フレームから現フレームへ類似
した画像ブロックが相対的に隣接移動した場合に、これ
を検知してその画像ブロックの移動量と移動方向の情報
を送るのみで、画像データそのものを送らずに済ませる
ことで発生データ量を減らす動き補償がある。
した画像ブロックが相対的に隣接移動した場合に、これ
を検知してその画像ブロックの移動量と移動方向の情報
を送るのみで、画像データそのものを送らずに済ませる
ことで発生データ量を減らす動き補償がある。
【0072】次いで、DCT変換後の各周波数ごとの係
数値が低周波領域では値が発生するが、高周波領域では
値が発生しにくくゼロ値が続くことを利用したゼロラン
レングス符号化がある。
数値が低周波領域では値が発生するが、高周波領域では
値が発生しにくくゼロ値が続くことを利用したゼロラン
レングス符号化がある。
【0073】次いで、データの発生量に応じてデータの
量子化ステップ幅を変更することでデータの発生量を調
整する量子化がある。
量子化ステップ幅を変更することでデータの発生量を調
整する量子化がある。
【0074】次いで、発生頻度の高いデータパターンに
対しては短い符号値を、発生頻度の低いデータパターン
に対しては長い符号値を割り当てることで、トータル的
には発生したデータ量よりも少ないデータ量に変換する
可変長符号化がある。
対しては短い符号値を、発生頻度の低いデータパターン
に対しては長い符号値を割り当てることで、トータル的
には発生したデータ量よりも少ないデータ量に変換する
可変長符号化がある。
【0075】また、フレームをスキップして、画像デー
タそのものを落としてしまう駒落しなど、複数の圧縮技
術をハイブリットにして、低レートの通信においても動
画像の通信を可能としている。
タそのものを落としてしまう駒落しなど、複数の圧縮技
術をハイブリットにして、低レートの通信においても動
画像の通信を可能としている。
【0076】次に、画像復号化処理能力制御部について
図9および図10を参照して説明する。図9は、復号化
処理能力の割り当て制御の動作フローであり、図10
は、復号化部処理可能なメモリ空間の割り付け制御の動
作フローである。なお、画像処理能力は、一つの例とし
て、単位時間当たりに処理可能な画素数がある。
図9および図10を参照して説明する。図9は、復号化
処理能力の割り当て制御の動作フローであり、図10
は、復号化部処理可能なメモリ空間の割り付け制御の動
作フローである。なお、画像処理能力は、一つの例とし
て、単位時間当たりに処理可能な画素数がある。
【0077】例えば、CIFで60fpsの場合には、
1秒当たりの処理する画素数は、352画素×288ラ
イン×60フレーム=6,082,560画素である。
なお、QCIFの場合には、その1/4である。
1秒当たりの処理する画素数は、352画素×288ラ
イン×60フレーム=6,082,560画素である。
なお、QCIFの場合には、その1/4である。
【0078】ここで、処理能力を説明する際に、1秒当
たりに処理する画素数での説明を簡略化するため、以降
は、画素数ではなく、画像フォーマット(例えば、CI
F/QCIF)とフレームレート(例えば、フレーム/
秒)の組み合わせで説明することにする。ただし、本発
明の画像通信装置はこの組み合わせに限定されるもので
はない。
たりに処理する画素数での説明を簡略化するため、以降
は、画素数ではなく、画像フォーマット(例えば、CI
F/QCIF)とフレームレート(例えば、フレーム/
秒)の組み合わせで説明することにする。ただし、本発
明の画像通信装置はこの組み合わせに限定されるもので
はない。
【0079】画像復号化処理能力制御部の動作が開始さ
れると、まず、ステップS1において初期化処理を行っ
た後で、ステップS2にて画像復号化部の復号化処理能
力Xを設定する。次に、ステップS3に進み、同時通信
する端末数を設定するとともに、次のステップS3でそ
の端末について優先順位の順に番号nを付ける。
れると、まず、ステップS1において初期化処理を行っ
た後で、ステップS2にて画像復号化部の復号化処理能
力Xを設定する。次に、ステップS3に進み、同時通信
する端末数を設定するとともに、次のステップS3でそ
の端末について優先順位の順に番号nを付ける。
【0080】その後、ステップS5において、番号nと
輝度Y0は“0”を設定し、ステップS6にて番号nを
+1する。次に、ステップS7に進み、画像復号化部の
復号化処理能力を端末数で割り、各端末に割り当てる平
均の復号化処理能力を求め、優先係数αnを乗ずること
により、端末に割り当てる処理能力Ynを算出する。そ
して、次のステップS8で、その算出された処理能力Y
nを第n番目の端末の処理能力として設定する。
輝度Y0は“0”を設定し、ステップS6にて番号nを
+1する。次に、ステップS7に進み、画像復号化部の
復号化処理能力を端末数で割り、各端末に割り当てる平
均の復号化処理能力を求め、優先係数αnを乗ずること
により、端末に割り当てる処理能力Ynを算出する。そ
して、次のステップS8で、その算出された処理能力Y
nを第n番目の端末の処理能力として設定する。
【0081】次に、ステップS9に進み、その処理能力
を累計する。そして、次のステップS10において、そ
の累計した処理能力が画像復号化部の処理能力を越えて
いないか否かを判断し、越えていなければステップS1
1に進んで全ての端末へ処理能力の割り当てが終了した
か否かを調べる。そして、もし終了していなければ、ス
テップS6に戻る。
を累計する。そして、次のステップS10において、そ
の累計した処理能力が画像復号化部の処理能力を越えて
いないか否かを判断し、越えていなければステップS1
1に進んで全ての端末へ処理能力の割り当てが終了した
か否かを調べる。そして、もし終了していなければ、ス
テップS6に戻る。
【0082】ここで、番号nを+1して、次の端末の処
理能力の割り当てを行うが、その際に、画像復号同時通
信する端末数を設化部の処理能力から既に割り当て済み
の累計の処理能力を減じた処理能力を割り当ての完了し
ていない端末数で割り、その平均を算出する。そして、
ステップS7において、それにその端末の優先係数を乗
じてその端末の復号化処理能力を算出する。
理能力の割り当てを行うが、その際に、画像復号同時通
信する端末数を設化部の処理能力から既に割り当て済み
の累計の処理能力を減じた処理能力を割り当ての完了し
ていない端末数で割り、その平均を算出する。そして、
ステップS7において、それにその端末の優先係数を乗
じてその端末の復号化処理能力を算出する。
【0083】次に、ステップS8にてその算出された処
理能力をその端末の処理能力として設定し、以下同様の
処理を行う。こうして、全ての端末に処理能力の割り当
てを完了すると終了する。
理能力をその端末の処理能力として設定し、以下同様の
処理を行う。こうして、全ての端末に処理能力の割り当
てを完了すると終了する。
【0084】また、上記ステップS10の判断の結果、
累計した処理能力が画像復号化部の処理能力を越えてい
る場合は、ステップS12に進んでエラー処理を行い、
処理を終了する。画像復号化処理制御部は上記のように
して、算出された各端末の処理能力を基に、各端末に対
して、その割り当てられた処理能力に応じた端末受信能
力を送信する。
累計した処理能力が画像復号化部の処理能力を越えてい
る場合は、ステップS12に進んでエラー処理を行い、
処理を終了する。画像復号化処理制御部は上記のように
して、算出された各端末の処理能力を基に、各端末に対
して、その割り当てられた処理能力に応じた端末受信能
力を送信する。
【0085】次に、図10のフローチャートを説明す
る。ここで、画像復号化部の画像メモリ空間は、現フレ
ームとの差分をとるために前フレームが蓄積されている
参照メモリと現メモリを蓄積するメモリが必要である。
る。ここで、画像復号化部の画像メモリ空間は、現フレ
ームとの差分をとるために前フレームが蓄積されている
参照メモリと現メモリを蓄積するメモリが必要である。
【0086】しかし、この両者に割り当てられる許容メ
モリ空間は、復号化部が持つメモリ容量により決定して
しまう。そこで、この許容されるメモリ容量の範囲内で
如何に各端末にメモリ容量を割り振るかを制御すること
が重要である。
モリ空間は、復号化部が持つメモリ容量により決定して
しまう。そこで、この許容されるメモリ容量の範囲内で
如何に各端末にメモリ容量を割り振るかを制御すること
が重要である。
【0087】図10に示したように、まず、ステップS
21にて初期化処理を行った後で、ステップS2に進ん
で画像復号化部の処理可能な画素数Vを設定する。次
に、ステップS23に進み、同時通信する端末数を設定
した後、ステップS24においてその端末について優先
順位の順に番号nを付ける。
21にて初期化処理を行った後で、ステップS2に進ん
で画像復号化部の処理可能な画素数Vを設定する。次
に、ステップS23に進み、同時通信する端末数を設定
した後、ステップS24においてその端末について優先
順位の順に番号nを付ける。
【0088】その後、ステップS25にて番号nと画素
数W0に“0”を設定するとともに、ステップS26に
て番号nを+1する。次に、ステップS27に進み、画
像復号化部の処理可能な画素数を端末数で割り、各端末
に割り当てる平均の処理可能な画素数を求め、優先係数
βnを乗ずることにより、端末に割り当てる画素数Wn
を算出する。
数W0に“0”を設定するとともに、ステップS26に
て番号nを+1する。次に、ステップS27に進み、画
像復号化部の処理可能な画素数を端末数で割り、各端末
に割り当てる平均の処理可能な画素数を求め、優先係数
βnを乗ずることにより、端末に割り当てる画素数Wn
を算出する。
【0089】次に、ステップS28において、その算出
された画素数Wnを、第n番目の端末の画素数として許
容されるメモリ領域に割り当てる。次に、ステップS2
9において、その画素数を累計するとともに、ステップ
S30においてその累計した画素数が画像復号化部の処
理可能な画素数を越えているか否かを調べる。
された画素数Wnを、第n番目の端末の画素数として許
容されるメモリ領域に割り当てる。次に、ステップS2
9において、その画素数を累計するとともに、ステップ
S30においてその累計した画素数が画像復号化部の処
理可能な画素数を越えているか否かを調べる。
【0090】上記ステップS30の判断の結果、処理可
能な画素数を越えていなければ、ステップS31にて全
ての端末へ処理可能な画素数の割り当てが終了したか否
かを調べ、もし終了していなければ、ステップS6へ戻
る。
能な画素数を越えていなければ、ステップS31にて全
ての端末へ処理可能な画素数の割り当てが終了したか否
かを調べ、もし終了していなければ、ステップS6へ戻
る。
【0091】ここで、番号nを+1した後、次のステッ
プS27で次の端末の処理可能な画素数の割り当てを行
う。その際に、画像復号化部の処理可能な画素数から既
に割り当て済みの累計の処理可能な画素数を減じた画素
数を割り当ての完了していない端末数で割り、その平均
を算出し、それにその端末の優先係数を乗じてその端末
の復号化処理能力を算出する。次のステップS28に
て、その算出された処理可能な画素数をその端末の画素
数として設定する。以下同様の処理を行う。こうして、
全ての端末に処理可能な画素数の割り当てを完了すると
終了する。
プS27で次の端末の処理可能な画素数の割り当てを行
う。その際に、画像復号化部の処理可能な画素数から既
に割り当て済みの累計の処理可能な画素数を減じた画素
数を割り当ての完了していない端末数で割り、その平均
を算出し、それにその端末の優先係数を乗じてその端末
の復号化処理能力を算出する。次のステップS28に
て、その算出された処理可能な画素数をその端末の画素
数として設定する。以下同様の処理を行う。こうして、
全ての端末に処理可能な画素数の割り当てを完了すると
終了する。
【0092】画像復号化処理制御部は、上記のようにし
て算出された各端末の画素数を基に、各端末に対して、
その割り当てられた画素数に応じた端末受信能力を送信
する。なお、上記の説明では、相手端末に送信する制御
情報として、上記処理能力や処理可能な画素数に応じた
端末受信能力に置き換えて送信しているが、上記情報を
そのまま伝達し相手端末でその情報に基づいた符号化制
御を行うようにしてもい。
て算出された各端末の画素数を基に、各端末に対して、
その割り当てられた画素数に応じた端末受信能力を送信
する。なお、上記の説明では、相手端末に送信する制御
情報として、上記処理能力や処理可能な画素数に応じた
端末受信能力に置き換えて送信しているが、上記情報を
そのまま伝達し相手端末でその情報に基づいた符号化制
御を行うようにしてもい。
【0093】また、更に、上記情報以外に、符号化に係
わるあらゆる制御情報(例えば、データの転送レート、
動き優先か画質優先かの優先モードなど)も図9および
図10に示した割り当て制御の動作フローで同様に、各
端末の割り当てを行い、その割り当て情報を相手端末に
送信し、相手端末がその情報に基いて制御したり、ある
いは、その情報に応じた端末受信能力を送信することは
可能である。
わるあらゆる制御情報(例えば、データの転送レート、
動き優先か画質優先かの優先モードなど)も図9および
図10に示した割り当て制御の動作フローで同様に、各
端末の割り当てを行い、その割り当て情報を相手端末に
送信し、相手端末がその情報に基いて制御したり、ある
いは、その情報に応じた端末受信能力を送信することは
可能である。
【0094】ここでは、上述したH.221やH.26
1等の勧告に限定されないことは明白であるが、便宜
上、上記勧告に沿って説明することにする。例えば、画
像復号化部の復号化処理能力がCIFフォーマットを3
0fpsで処理可能な場合に、4端末と通信する場合
に、各端末に優先順位が設定されていなければ各端末に
割り当てられる処理能力は、CIFフォーマットで7.
5fpsの処理能力かQCIFで30fpsの処理能力
である。
1等の勧告に限定されないことは明白であるが、便宜
上、上記勧告に沿って説明することにする。例えば、画
像復号化部の復号化処理能力がCIFフォーマットを3
0fpsで処理可能な場合に、4端末と通信する場合
に、各端末に優先順位が設定されていなければ各端末に
割り当てられる処理能力は、CIFフォーマットで7.
5fpsの処理能力かQCIFで30fpsの処理能力
である。
【0095】また、4端末のうち、1端末が優先順位が
設定されていて優先係数が2の場合には、平均の処理能
力の2倍の能力が割り当てられるので、通常の2端末分
が割り当てられ、残りの2端末分を3端末で平均するこ
とになり、結果として、各端末の処理能力の比率は、
3:1:1:1になる。この場合には、1端末がCIF
フォーマットで15fps、3端末がCIFで5fps
となるか、1端末がCIFフォーマットで15fps、
3端末がQCIFで20fpsとなる。
設定されていて優先係数が2の場合には、平均の処理能
力の2倍の能力が割り当てられるので、通常の2端末分
が割り当てられ、残りの2端末分を3端末で平均するこ
とになり、結果として、各端末の処理能力の比率は、
3:1:1:1になる。この場合には、1端末がCIF
フォーマットで15fps、3端末がCIFで5fps
となるか、1端末がCIFフォーマットで15fps、
3端末がQCIFで20fpsとなる。
【0096】また、算出された各処理能力を各相手端末
に伝えることにより、各相手端末は、その能力に応じて
画像信号を符号化して送信してくるので、画像復号化部
が持つ復号化能力を最大限利用するとともに、各端末に
対して最適な処理能力の割り当てが可能となるので、非
常に効率の良い優れた多地点画像通信が実現できる。
に伝えることにより、各相手端末は、その能力に応じて
画像信号を符号化して送信してくるので、画像復号化部
が持つ復号化能力を最大限利用するとともに、各端末に
対して最適な処理能力の割り当てが可能となるので、非
常に効率の良い優れた多地点画像通信が実現できる。
【0097】次に、復号化部全体の動作について説明す
る。上記の方法で各端末から受信された符号化画像デー
タは、各々別々にBCH復号化されて各々の受信バッフ
ァに蓄積される。なお、ここでは複数のBCH復号化部
にしているが、時分割処理により一つにすることは可能
である。
る。上記の方法で各端末から受信された符号化画像デー
タは、各々別々にBCH復号化されて各々の受信バッフ
ァに蓄積される。なお、ここでは複数のBCH復号化部
にしているが、時分割処理により一つにすることは可能
である。
【0098】復号化制御部47は、復号化する前に受信
バッファの蓄積状況を検索し、フレームヘッダを検知す
る。あるいは、受信バッファの蓄積容量を算出する
(H.261では、QCIFフォーマットでは1フレー
ム当たり最大64kbit、CIFでは1フレーム当た
り最大256kbitと定められている)などの方法に
より1フレーム蓄積されているようであれば、この1フ
レーム以上蓄積されている受信バッファのうちの一つか
ら選択して画像符号化データを読み出す。
バッファの蓄積状況を検索し、フレームヘッダを検知す
る。あるいは、受信バッファの蓄積容量を算出する
(H.261では、QCIFフォーマットでは1フレー
ム当たり最大64kbit、CIFでは1フレーム当た
り最大256kbitと定められている)などの方法に
より1フレーム蓄積されているようであれば、この1フ
レーム以上蓄積されている受信バッファのうちの一つか
ら選択して画像符号化データを読み出す。
【0099】そして、そのデータに対して、VLD、逆
量子化、逆DCTなどの復号化を施して画像データにす
る。そして、INTERモードの時には、選択された受
信バッファの画像データの全画像データを蓄積している
フレームメモリのメモリ領域を記憶部48に登録されて
いるフレームメモリ管理テーブルから検索する。そし
て、スイッチ46でそのフレームメモリのメモリ領域を
選択し、フレームメモリ制御1のアドレス制御によりそ
の全画像データを読み出し、フィルタが必要であればフ
ィルタ37でフィルタ処理を施す。
量子化、逆DCTなどの復号化を施して画像データにす
る。そして、INTERモードの時には、選択された受
信バッファの画像データの全画像データを蓄積している
フレームメモリのメモリ領域を記憶部48に登録されて
いるフレームメモリ管理テーブルから検索する。そし
て、スイッチ46でそのフレームメモリのメモリ領域を
選択し、フレームメモリ制御1のアドレス制御によりそ
の全画像データを読み出し、フィルタが必要であればフ
ィルタ37でフィルタ処理を施す。
【0100】次に、スイッチ33とスイッチ34により
加算器を選択し、先ほどの復号化された画像データと全
画像データを加算し、空いているフレームメモリのメモ
リ領域をフレームメモリ管理テーブルから検索する。そ
して、スイッチ45でそのフレームメモリのメモリ領域
を選択し、第2のフレームメモリ制御部39のアドレス
制御により加算した画像データを書き込む。
加算器を選択し、先ほどの復号化された画像データと全
画像データを加算し、空いているフレームメモリのメモ
リ領域をフレームメモリ管理テーブルから検索する。そ
して、スイッチ45でそのフレームメモリのメモリ領域
を選択し、第2のフレームメモリ制御部39のアドレス
制御により加算した画像データを書き込む。
【0101】また、INTRAモードの時には、スイッ
チ46で選択したフレームメモリのメモリ領域からの読
み出しはなく、復号化された画像データをスイッチ33
とスイッチ34により加算器OFFを選択し、先ほどス
イッチ45で選択したフレームメモリのメモリ領域にそ
の画像データを書き込む。
チ46で選択したフレームメモリのメモリ領域からの読
み出しはなく、復号化された画像データをスイッチ33
とスイッチ34により加算器OFFを選択し、先ほどス
イッチ45で選択したフレームメモリのメモリ領域にそ
の画像データを書き込む。
【0102】また、画像データを画像出力部へ転送する
際には、スイッチ49により読み出す画像データのフレ
ームメモリのメモリ領域を選択し、第3のフレーム制御
部40からのアドレス制御により、画像データを読み出
す。そして、この画像データを転送する際には、画像復
号化部10から画像出力部9へその画像データがどの受
信バッファからの画像データであるかを識別する情報も
転送する。
際には、スイッチ49により読み出す画像データのフレ
ームメモリのメモリ領域を選択し、第3のフレーム制御
部40からのアドレス制御により、画像データを読み出
す。そして、この画像データを転送する際には、画像復
号化部10から画像出力部9へその画像データがどの受
信バッファからの画像データであるかを識別する情報も
転送する。
【0103】次に、受信画像のフレームメモリの割当例
を、図11および図12に示す。図11の(a)は、C
IFフォーマットで、1:1通信において受信した場合
のフレームメモリの使用である。
を、図11および図12に示す。図11の(a)は、C
IFフォーマットで、1:1通信において受信した場合
のフレームメモリの使用である。
【0104】また、図11の(b)は、QCIFフォー
マットで1:1通信した場合のフレームメモリの使用で
ある。つまり、QCIFで通信している場合にはメモリ
の未使用領域が多くかなり無駄である。
マットで1:1通信した場合のフレームメモリの使用で
ある。つまり、QCIFで通信している場合にはメモリ
の未使用領域が多くかなり無駄である。
【0105】図11の(c)は、本実施例において4端
末が同じ復号化処理能力を割り当てられ同時通信する場
合で、各端末からはQCIFフォーマットで受信され
る。また、A,B,C,Dに対してフレームメモリのメ
モリ領域を4分割してQCIF(A),QCIF
(B),QCIF(C),QCIF(D)に割り当てら
れている。
末が同じ復号化処理能力を割り当てられ同時通信する場
合で、各端末からはQCIFフォーマットで受信され
る。また、A,B,C,Dに対してフレームメモリのメ
モリ領域を4分割してQCIF(A),QCIF
(B),QCIF(C),QCIF(D)に割り当てら
れている。
【0106】図12の(d)は、図11の(c)の時の
CIFで割り当てられた場合を示している。この場合
は、メモリはQCIFで受信する場合より多く必要であ
る。図12の(e)は、本実施例において4端末中1端
末が優先され、その処理能力の比率が3:1:1:1の
場合で、1端末がCIFで3端末がQCIFの場合であ
る。
CIFで割り当てられた場合を示している。この場合
は、メモリはQCIFで受信する場合より多く必要であ
る。図12の(e)は、本実施例において4端末中1端
末が優先され、その処理能力の比率が3:1:1:1の
場合で、1端末がCIFで3端末がQCIFの場合であ
る。
【0107】なお、復号化処理に必要な参照フレームは
同様に必要なので、フレームメモリは上記フレームメモ
リの2倍必要になる。こうして、各端末からの画像デー
タの復号化は、上記割り当てられたメモリ領域を使用し
て行われる。また、画像入出力部への画像データの転送
も、各端末の割り当てられたメモリ領域ごとに転送され
る。
同様に必要なので、フレームメモリは上記フレームメモ
リの2倍必要になる。こうして、各端末からの画像デー
タの復号化は、上記割り当てられたメモリ領域を使用し
て行われる。また、画像入出力部への画像データの転送
も、各端末の割り当てられたメモリ領域ごとに転送され
る。
【0108】図13に、フレーム制御タイミングを示
す。図13において、画像データは、現在復号化されて
いる画像データを示している。フレームの処理周期に対
して、1フレームの画像データの復号化処理時間は短く
なるようにフレーム周期は設定されている。
す。図13において、画像データは、現在復号化されて
いる画像データを示している。フレームの処理周期に対
して、1フレームの画像データの復号化処理時間は短く
なるようにフレーム周期は設定されている。
【0109】また、ブロックの大きさは処理時間を示し
ている。そして、ブロック内の数字はフレーム識別番号
で受信バッファとフレーム番号で現している。例えば、
A1は受信バッファAのフレーム番号1番目である。
ている。そして、ブロック内の数字はフレーム識別番号
で受信バッファとフレーム番号で現している。例えば、
A1は受信バッファAのフレーム番号1番目である。
【0110】書き込みフレームメモリは、上記の画像デ
ータが書き込まれるフレームメモリ番号である。読み出
しフレームメモリは、上記画像データと加算されるため
の全画像データが読み出されるフレームメモリ番号であ
る。
ータが書き込まれるフレームメモリ番号である。読み出
しフレームメモリは、上記画像データと加算されるため
の全画像データが読み出されるフレームメモリ番号であ
る。
【0111】このことから、画像データがA2で書込み
フレームメモリがFM2(A)で読み出しフレームメモ
リがFM1(A)の場合には、受信バッファAから読み
出された画像符号化データを復号化した画像データを、
INTERモード時はFM1(A)に蓄積されている前
回の受信バッファAの画像データA1と加算してFM2
(A)に書込み、INTRAモード時はそのままFM
(A)に書き込むことを現している。
フレームメモリがFM2(A)で読み出しフレームメモ
リがFM1(A)の場合には、受信バッファAから読み
出された画像符号化データを復号化した画像データを、
INTERモード時はFM1(A)に蓄積されている前
回の受信バッファAの画像データA1と加算してFM2
(A)に書込み、INTRAモード時はそのままFM
(A)に書き込むことを現している。
【0112】また、バッファに復号化すべき画像符号化
データが1フレーム分蓄積されていない場合には、その
フレーム処理周期は何もしない。また、画像符号化デー
タを復号化している途中でエラーが発生した場合は、復
号化処理を中断し書き込まれていたフレームメモリは直
ちに更新されずに引き続き空のフレームメモリとして登
録される。また、読み出されていたフレームメモリも更
新されずに引き続き保持されて、次回の復号化処理まで
持ち越される。そのため、フレーム処理周期ごとにフレ
ームメモリの使用状況を管理する必要がある。
データが1フレーム分蓄積されていない場合には、その
フレーム処理周期は何もしない。また、画像符号化デー
タを復号化している途中でエラーが発生した場合は、復
号化処理を中断し書き込まれていたフレームメモリは直
ちに更新されずに引き続き空のフレームメモリとして登
録される。また、読み出されていたフレームメモリも更
新されずに引き続き保持されて、次回の復号化処理まで
持ち越される。そのため、フレーム処理周期ごとにフレ
ームメモリの使用状況を管理する必要がある。
【0113】図14は、そのために用いるフレームメモ
リ管理テーブルを示している。この管理テーブルは、記
憶部47に記憶されており、毎フレーム周期ごとに画像
データの書込みの最初に空きフレームメモリを参照す
る。そして、書込みが終了すると、加算するために読み
出されていたフレームメモリの画像データは古くなり、
この古い画像データは不要となるためこのフレームメモ
リは空として登録され、書き込まれていたフレームメモ
リの画像データが古い画像データに取って替わることに
なる。このため、このフレームメモリが新規に登録され
る。
リ管理テーブルを示している。この管理テーブルは、記
憶部47に記憶されており、毎フレーム周期ごとに画像
データの書込みの最初に空きフレームメモリを参照す
る。そして、書込みが終了すると、加算するために読み
出されていたフレームメモリの画像データは古くなり、
この古い画像データは不要となるためこのフレームメモ
リは空として登録され、書き込まれていたフレームメモ
リの画像データが古い画像データに取って替わることに
なる。このため、このフレームメモリが新規に登録され
る。
【0114】なお、図14の場合は、図13の矢印の位
置での登録状況が示されている。画像データB2をFM
1(B)から画像データB1を読み出して加算しFM
(B)への書込みが終了したところなので、FM1
(B)が空き、FM2(B)がB2となっている。
置での登録状況が示されている。画像データB2をFM
1(B)から画像データB1を読み出して加算しFM
(B)への書込みが終了したところなので、FM1
(B)が空き、FM2(B)がB2となっている。
【0115】復号化された画像データを画像出力部へ転
送するためにフレームメモリから読み出す場合には、フ
レーム処理周期の1周期前に復号化処理された画像デー
タを次のフレーム処理周期の時に読み出すのが容易な制
御でよい。
送するためにフレームメモリから読み出す場合には、フ
レーム処理周期の1周期前に復号化処理された画像デー
タを次のフレーム処理周期の時に読み出すのが容易な制
御でよい。
【0116】ただし、復号化のために書込み処理中のフ
レームメモリ以外であればどのフレームメモリから画像
データを読み出してよい。また、その読み出された画像
データとともに、フレーム識別番号も図4の画像出力部
へ転送される。
レームメモリ以外であればどのフレームメモリから画像
データを読み出してよい。また、その読み出された画像
データとともに、フレーム識別番号も図4の画像出力部
へ転送される。
【0117】転送された画像データは画素密度変換され
て、画像メモリへ記憶される。その際に、画像メモリ制
御部50は、記憶部51に記憶されている各相手端末用
に割振られた画像メモリのメモリ空間を参照して、先ほ
どのフレーム識別番号により対応する画像メモリ空間へ
画像データを書き込む。そして、書き込まれた画像デー
タを表示する場合は、そのメモリ空間を読出しスイッチ
54とA/D変換器を経て表示部に出力される。
て、画像メモリへ記憶される。その際に、画像メモリ制
御部50は、記憶部51に記憶されている各相手端末用
に割振られた画像メモリのメモリ空間を参照して、先ほ
どのフレーム識別番号により対応する画像メモリ空間へ
画像データを書き込む。そして、書き込まれた画像デー
タを表示する場合は、そのメモリ空間を読出しスイッチ
54とA/D変換器を経て表示部に出力される。
【0118】このように、複数端末からの複数の画像デ
ータを時分割処理で復号化することにより、復号部を複
数持たずに一つでよくなる。また、復号部のフレームメ
モリの数も同時に通信する必要がある端末の台数の数分
に、1つ分だけ加算した数だけあればよいので、複数の
端末と同時に通信する場合でも経済的に復号化部を構築
できるようになる。
ータを時分割処理で復号化することにより、復号部を複
数持たずに一つでよくなる。また、復号部のフレームメ
モリの数も同時に通信する必要がある端末の台数の数分
に、1つ分だけ加算した数だけあればよいので、複数の
端末と同時に通信する場合でも経済的に復号化部を構築
できるようになる。
【0119】図15は、フレームメモリFM1とFM2
をフルに活用した場合のメモリ割り当て例を示すもので
ある。この場合は、フレームメモリFM1とFM2を、
QCIFフォーマットで8つに分割し、最大7台の端末
と同時通信することが可能となる。
をフルに活用した場合のメモリ割り当て例を示すもので
ある。この場合は、フレームメモリFM1とFM2を、
QCIFフォーマットで8つに分割し、最大7台の端末
と同時通信することが可能となる。
【0120】この場合、各QCIFのメモリ領域は端末
ごとに固定されず、各端末の復号化される画像データ
は、INTRAモードの時は、図16のフレームメモリ
管理テーブルから空いている若番のメモリ領域を検出し
て、該当するメモリ領域に書き込まれる。
ごとに固定されず、各端末の復号化される画像データ
は、INTRAモードの時は、図16のフレームメモリ
管理テーブルから空いている若番のメモリ領域を検出し
て、該当するメモリ領域に書き込まれる。
【0121】INTERモードの時は、加算の対象とな
る全画像データは図16のフレームメモリ管理テーブル
から検出し、該当するメモリ領域の画像データを読み出
し、復号化された画像データと加算して上記のメモリ領
域に書き込まれる。
る全画像データは図16のフレームメモリ管理テーブル
から検出し、該当するメモリ領域の画像データを読み出
し、復号化された画像データと加算して上記のメモリ領
域に書き込まれる。
【0122】このように、画像復号化部の復号化処理能
力を最大限利用して、大容量の画像メモリも最大限利用
し、更に、端末ごとの転送能力が最適になるように処理
能力を割り付けることが可能となるので、無駄の全くな
い最適な多地点間の画像通信が可能となる。
力を最大限利用して、大容量の画像メモリも最大限利用
し、更に、端末ごとの転送能力が最適になるように処理
能力を割り付けることが可能となるので、無駄の全くな
い最適な多地点間の画像通信が可能となる。
【0123】
【発明の効果】本発明は上述したように、複数端末から
送信される複数の画像データを時分割処理で復号化し、
しかも復号化部の受信能力を上回るようなデータを受信
しないようにしたので、画像復号化部を複数個持たずに
済ますことができるとともに、画像復号化部のフレーム
メモリの数も必要最小限に抑えることができ、また、復
号化部を経済的に構築することができるようになる。こ
れにより、各端末に安価に多地点間通信機能を付加する
ことができ、そのサービスを容易に受けられ、使用者の
利便性を飛躍的に向上させることができる。
送信される複数の画像データを時分割処理で復号化し、
しかも復号化部の受信能力を上回るようなデータを受信
しないようにしたので、画像復号化部を複数個持たずに
済ますことができるとともに、画像復号化部のフレーム
メモリの数も必要最小限に抑えることができ、また、復
号化部を経済的に構築することができるようになる。こ
れにより、各端末に安価に多地点間通信機能を付加する
ことができ、そのサービスを容易に受けられ、使用者の
利便性を飛躍的に向上させることができる。
【0124】また、画像復号化部の処理能力を最大限に
利用し、かつ、各端末ごとにその処理能力を最適に振り
分けて複数の端末と同時に通信することができるので、
多地点の画像通信の最適化と効率化の向上を図ることが
できる。
利用し、かつ、各端末ごとにその処理能力を最適に振り
分けて複数の端末と同時に通信することができるので、
多地点の画像通信の最適化と効率化の向上を図ることが
できる。
【図1】本発明の一実施例を示す画像通信装置の機能構
成図である。
成図である。
【図2】本発明の一実施例を示すTV電話装置の構成を
示すブロック図である。
示すブロック図である。
【図3】画像復号化部の内部構成を示すブロック図であ
る。
る。
【図4】画像出力部の内部構成を示すブロック図であ
る。
る。
【図5】画像フォーマットを示す図である。
【図6】画像フォーマットおよびサンプリング点を示す
図である。
図である。
【図7】画像データ多重フレームを示す図である。
【図8】誤り訂正フレームを示す図である。
【図9】画像復号化処理能力制御部の動作を示すフロー
チャートである。
チャートである。
【図10】画像復号化処理能力制御部の動作を示すフロ
ーチャートである。
ーチャートである。
【図11】受信画像フレームメモリの割り当てを示す図
である。
である。
【図12】受信画像フレームメモリの割り当てを示す図
である。
である。
【図13】フレーム制御タイミングを示す図である。
【図14】フレームメモリ管理テーブルの一例を示す図
である。
である。
【図15】受信画像のフレームメモリの割り当ての一例
を示す図である。
を示す図である。
【図16】フレームメモリ管理テーブルの一例を示す図
である。
である。
【符号の説明】 受信手段 復号化手段 調整手段 伝達手段 送信手段 1 ハンドセット 2 マイク 3 スピーカ 4 音声インタフェース部 5 音声符号化部 6 撮像カメラ 7 書画カメラ 8 表示部 9 画像入出力部 10 画像符号化部 11 操作部 12 システム制御部 13 多重分離部 14 回線インタフェース部 15 画像復号化処理能力制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/18 A
Claims (9)
- 【請求項1】 複数の通信端末と画像通信を行う画像通
信装置において、 上記複数端末から送られる符号化画像信号を受信する受
信手段と、 上記受信手段により受信された符号化画像信号を復号化
する復号化手段と、 上記受信手段により受信された符号化画像信号の量が上
記画像復号化手段の処理能力を越えないように調整する
調整手段とを具備することを特徴とする画像通信装置。 - 【請求項2】 上記調整手段によって上記複数の通信端
末にそれぞれ割り当てられた処理能力に応じた受信能力
を、上記複数の通信端末に伝える伝達手段を設けたこと
を特徴とする請求項1に記載の画像通信装置。 - 【請求項3】 上記調整手段は、各端末ごとに異なる処
理能力を割り当てることを特徴とする請求項1に記載の
画像通信装置。 - 【請求項4】 上記伝達手段は、上記複数の端末が符号
化するための符号化制御情報を上記複数の通信端末に伝
えることを特徴とする請求項2に記載の画像通信装置。 - 【請求項5】 複数の通信端末と画像通信を行う画像通
信装置において、 上記複数端末から送られる符号化画像信号を受信する受
信手段と、 上記受信手段により受信された符号化画像信号を復号化
する復号化手段と、 上記受信手段により受信された全ての端末からの符号化
画像信号をある任意の時間内に処理する画素数が、上記
画像復号化手段のある任意の時間内に処理する画素数を
越えないように調整する調整手段と、 上記調整結果に基づいて各端末に割り当てられた上記任
意の時間内に処理する画素数に応じた受信能力を上記複
数の通信端末に伝える伝達手段とを具備することを特徴
とする画像通信装置。 - 【請求項6】 複数の通信端末と画像通信を行う画像通
信装置において、 上記複数端末から送られる符号化画像信号を受信する受
信手段と、 上記受信手段により受信された符号化画像信号を復号化
する復号化手段と、 上記受信手段により受信された全ての端末からの符号化
画像信号をある任意の時間内に処理する画素数が、上記
画像復号化手段のある任意の時間内に処理する画素数を
越えないように調整する第1の調整手段と、 上記受信手段により受信された符号化画像信号の総計が
上記画像復号化手段の処理能力を越えないように調整す
る第2の調整手段と、 上記調整結果に基づいて各端末に割り当てられた上記任
意の時間内に処理する画素数と上記フレーム当たりの画
素数に応じた受信能力とを各相手端末に伝える伝達手段
とを具備することを特徴とする画像通信装置。 - 【請求項7】 上記調整手段は、各端末ごとに異なる処
理能力を割り当てることを特徴とする請求項6に記載の
画像通信装置。 - 【請求項8】 上記調整手段は、処理能力の割当ての比
率を優先度の高い端末には高く割り当て、優先度の低い
端末には低く割り当てることを特徴とする請求項6に記
載の画像通信装置。 - 【請求項9】 上記調整手段は、画像を表示する画面サ
イズが大きい端末には処理能力を多く割り当て、画面を
表示する画面サイズが小さい端末には処理能力を少なく
割り当てることを特徴とする請求項6に記載の画像通信
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12287794A JPH07336461A (ja) | 1994-06-03 | 1994-06-03 | 画像通信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12287794A JPH07336461A (ja) | 1994-06-03 | 1994-06-03 | 画像通信装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07336461A true JPH07336461A (ja) | 1995-12-22 |
Family
ID=14846850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12287794A Pending JPH07336461A (ja) | 1994-06-03 | 1994-06-03 | 画像通信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07336461A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007124417A (ja) * | 2005-10-28 | 2007-05-17 | Kyocera Corp | 通信方法、通信システム及び通信端末 |
| JP2009071879A (ja) * | 1997-02-13 | 2009-04-02 | Mitsubishi Electric Corp | 動画像予測装置 |
| JP2012060529A (ja) * | 2010-09-10 | 2012-03-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
-
1994
- 1994-06-03 JP JP12287794A patent/JPH07336461A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009071879A (ja) * | 1997-02-13 | 2009-04-02 | Mitsubishi Electric Corp | 動画像予測装置 |
| JP2011250470A (ja) * | 1997-02-13 | 2011-12-08 | Mitsubishi Electric Corp | 動画像予測方法 |
| JP2012120244A (ja) * | 1997-02-13 | 2012-06-21 | Mitsubishi Electric Corp | 動画像符号化装置及び動画像符号化方法及び動画像予測装置 |
| US8553772B2 (en) | 1997-02-13 | 2013-10-08 | Mitsubishi Electric Corporation | Moving picture prediction system |
| US9225945B2 (en) | 1997-02-13 | 2015-12-29 | Mitsubishi Electric Corporation | Moving picture encoder and encoding method |
| US9232198B2 (en) | 1997-02-13 | 2016-01-05 | Mitsubishi Electric Corporation | Moving picture prediction system |
| JP2007124417A (ja) * | 2005-10-28 | 2007-05-17 | Kyocera Corp | 通信方法、通信システム及び通信端末 |
| JP2012060529A (ja) * | 2010-09-10 | 2012-03-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3431373B2 (ja) | マルチメディア通信システムのための符号化領域画像複合化 | |
| EP0719055B1 (en) | Video transmission rate matching for multimedia communication systems | |
| US6313863B1 (en) | Image communication apparatus and system | |
| US5953505A (en) | Communication apparatus and method for reading out stored function information in response to identifying information | |
| US5691767A (en) | Video conferencing system with high resolution still image capability | |
| US5903734A (en) | Multimedia information communication apparatus which stores received information in an encoded state | |
| US5675393A (en) | Image processing apparatus with generating unit for generating image data and decoding unit for decoding image data | |
| WO1999057910A1 (en) | A method for transmitting video images, a data transmission system and a multimedia terminal | |
| JPH07203434A (ja) | 画像送信装置 | |
| JPH07336461A (ja) | 画像通信装置 | |
| JP3927606B2 (ja) | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 | |
| JPH0918846A (ja) | 多地点間通信装置 | |
| JPH10285588A (ja) | 画像通信端末装置および画像通信方法 | |
| JP3605063B2 (ja) | 通信システム及び通信制御方法 | |
| JPH0723377A (ja) | 画像送信装置 | |
| JP3437191B2 (ja) | 端末装置及び端末装置の制御方法 | |
| JPH07115627A (ja) | 画像通信端末装置 | |
| JPH0746553A (ja) | 画像通信装置及びシステム | |
| JP3065647B2 (ja) | マルチメディア端末およびその受信映像表示方法 | |
| JPH08130514A (ja) | 画像通信端末装置 | |
| JPH0775077A (ja) | Tv電話装置 | |
| JPH11239331A (ja) | 多地点通信システム | |
| JPH05130601A (ja) | 多地点間制御装置 | |
| JPH0795551A (ja) | テレビ会議端末 | |
| JP3328370B2 (ja) | テレビ会議通信装置の制御方法 |