JPH10262228A - 通信システム、多地点制御装置、映像情報表示方法 - Google Patents
通信システム、多地点制御装置、映像情報表示方法Info
- Publication number
- JPH10262228A JPH10262228A JP9064454A JP6445497A JPH10262228A JP H10262228 A JPH10262228 A JP H10262228A JP 9064454 A JP9064454 A JP 9064454A JP 6445497 A JP6445497 A JP 6445497A JP H10262228 A JPH10262228 A JP H10262228A
- Authority
- JP
- Japan
- Prior art keywords
- information
- bit stream
- motion vector
- variable
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
(57)【要約】
【課題】 多地点間のＴＶ会議を行う中で、ある画面を
分割した複数の小画面の表示位置の変更や配置換えを効
率よく行う。 【解決手段】この多地点ＴＶ会議通信システムのＭＣＵ
６の映像位置処理部１０は、可変長符号化されたMPEG2
ビットストリームデータを可変長復号してスタートコー
ドなどのへッダ情報や動きベクトル情報およびＤＣΤ係
数成分情報などの符号化情報を持ったビットストリーム
とし、符号化情報の中に含まれる画像の移動前と移動先
の動きベクトル情報を抽出する可変長復号器３１と、抽
出された画像の移動前と移動先との動きベクトル情報の
差を求める動き情報処理部３２と、求められた動きベク
トル情報の差情報をビットストリームに付加した上で１
画面のビットストリームを再構築するデータ再構築部３
３と、データ再構築部３３により再構築されたビットス
トリームをMPEG2 ビットストリームデータに復号して出
力する可変長符号化器３４とを具備する。
分割した複数の小画面の表示位置の変更や配置換えを効
率よく行う。 【解決手段】この多地点ＴＶ会議通信システムのＭＣＵ
６の映像位置処理部１０は、可変長符号化されたMPEG2
ビットストリームデータを可変長復号してスタートコー
ドなどのへッダ情報や動きベクトル情報およびＤＣΤ係
数成分情報などの符号化情報を持ったビットストリーム
とし、符号化情報の中に含まれる画像の移動前と移動先
の動きベクトル情報を抽出する可変長復号器３１と、抽
出された画像の移動前と移動先との動きベクトル情報の
差を求める動き情報処理部３２と、求められた動きベク
トル情報の差情報をビットストリームに付加した上で１
画面のビットストリームを再構築するデータ再構築部３
３と、データ再構築部３３により再構築されたビットス
トリームをMPEG2 ビットストリームデータに復号して出
力する可変長符号化器３４とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、通信システムとこ
の通信システムに利用される多地点制御装置および映像
表示方法に関する。
の通信システムに利用される多地点制御装置および映像
表示方法に関する。
【０００２】
【従来の技術】従来から、異なる地点に設置した複数の
画像通信端末を双方向通信回線で接続し、それぞれの端
末間の動画像通信を多地点制御装置が中継して行う通信
システムの場合、情報量が多いことから多地点制御装置
（ＭＣＵ）での変換時間の遅延問題があり、改善が望ま
れている。
画像通信端末を双方向通信回線で接続し、それぞれの端
末間の動画像通信を多地点制御装置が中継して行う通信
システムの場合、情報量が多いことから多地点制御装置
（ＭＣＵ）での変換時間の遅延問題があり、改善が望ま
れている。
【０００３】近年、通信技術の進歩に伴い、離れた場所
にいながらにして会議を行うことができる遠隔地間の通
信システム（ΤＶ会議システム）の普及が進んでいる。
このようなΤＶ会議システムは、簡素な構成のものとし
て、２地点間の画像通信端末を双方向通信回線で接続し
てなるものがある。この場合、両方向の動画像通信を同
じ符号化方式および同じ伝送速度で伝送するのが一般的
である。動画像を符号化する方式としては、国際標準と
して、例えばH.261(ITU-T Rec.H.261)やMPEG2(ISO/IEC
138 18｜ITU-T Rec.H.261)などがある。
にいながらにして会議を行うことができる遠隔地間の通
信システム（ΤＶ会議システム）の普及が進んでいる。
このようなΤＶ会議システムは、簡素な構成のものとし
て、２地点間の画像通信端末を双方向通信回線で接続し
てなるものがある。この場合、両方向の動画像通信を同
じ符号化方式および同じ伝送速度で伝送するのが一般的
である。動画像を符号化する方式としては、国際標準と
して、例えばH.261(ITU-T Rec.H.261)やMPEG2(ISO/IEC
138 18｜ITU-T Rec.H.261)などがある。
【０００４】ところで、現在では、図５に示すように、
双方向通信回線５１に３地点以上に点在する複数の画像
通信端末５２ａ〜５２ｃなどと多地点制御装置（ＭＣ
Ｕ）５３とを接続した多地点ΤＶ会議システムを構成し
て通信が行われることもある。上記ＭＣＵ５３は、図６
に示すように、各端末５２ａ〜５２ｃなどから双方向通
信回線５１を通じて送られてきたビットストリームを画
面毎の情報に復号処理する複数のデコーダ６１ａ〜６１
ｃと、復号された画面毎の情報を編集する画面編集部６
２と、編集された画面毎の情報を符号化し各地点の端末
５２ａ〜５２ｃへ送るエンコーダ６３ａ〜６３ｃとから
構成されている。
双方向通信回線５１に３地点以上に点在する複数の画像
通信端末５２ａ〜５２ｃなどと多地点制御装置（ＭＣ
Ｕ）５３とを接続した多地点ΤＶ会議システムを構成し
て通信が行われることもある。上記ＭＣＵ５３は、図６
に示すように、各端末５２ａ〜５２ｃなどから双方向通
信回線５１を通じて送られてきたビットストリームを画
面毎の情報に復号処理する複数のデコーダ６１ａ〜６１
ｃと、復号された画面毎の情報を編集する画面編集部６
２と、編集された画面毎の情報を符号化し各地点の端末
５２ａ〜５２ｃへ送るエンコーダ６３ａ〜６３ｃとから
構成されている。
【０００５】この多地点ΤＶ会議システムの場合、複数
の端末５２ａ〜５２ｃから送信される映像情報（画像情
報）は、H.261 方式などでビットストリームに符号化さ
れ、その上で双方向通信回線５１に送信され、ある地点
に設置されたＭＣＵ５３が中継して通信を行うことにな
る。
の端末５２ａ〜５２ｃから送信される映像情報（画像情
報）は、H.261 方式などでビットストリームに符号化さ
れ、その上で双方向通信回線５１に送信され、ある地点
に設置されたＭＣＵ５３が中継して通信を行うことにな
る。
【０００６】ＭＣＵ５３では、各端末５２ａ〜５２ｃか
ら双方向通信回線５１を通じて送られてきたビットスト
リームが各デコーダ６１ａ〜６１ｃで一度復号処理され
てから画面編集部６２で画面の編集が行われ、編集後の
画面が対応する各エンコーダ６３ａ〜６３ｃで符号化さ
れて各地点の端末５２ａ〜５２ｃへ送られる。
ら双方向通信回線５１を通じて送られてきたビットスト
リームが各デコーダ６１ａ〜６１ｃで一度復号処理され
てから画面編集部６２で画面の編集が行われ、編集後の
画面が対応する各エンコーダ６３ａ〜６３ｃで符号化さ
れて各地点の端末５２ａ〜５２ｃへ送られる。
【０００７】ところで、この多地点間ΤＶ会議システム
において、テレビ会議を行う中で各端末の画面をいくつ
かの小画面に分割して残りの複数地点数分あるいは選択
された何地点かの端末の映像を表示し、分割した各小画
面に表示されている映像の位置を配置換えすることもあ
る。
において、テレビ会議を行う中で各端末の画面をいくつ
かの小画面に分割して残りの複数地点数分あるいは選択
された何地点かの端末の映像を表示し、分割した各小画
面に表示されている映像の位置を配置換えすることもあ
る。
【０００８】この場合も上記同様にＭＣＵ５３では、送
られてきたビットストリームを各デコーダ６１ａ〜６１
ｃで復号処理した後、各画面毎に画面編集部６２にて画
面編集を行い、編集処理後の画面毎の情報を各エンコー
ダ６３ａ〜６３ｃで再びビットストリームへ符号化を行
い伝送する。
られてきたビットストリームを各デコーダ６１ａ〜６１
ｃで復号処理した後、各画面毎に画面編集部６２にて画
面編集を行い、編集処理後の画面毎の情報を各エンコー
ダ６３ａ〜６３ｃで再びビットストリームへ符号化を行
い伝送する。
【０００９】この場合、画面編集部６２では画面毎に映
像情報を編集するため、動画像のように情報量が非常に
多い場合、復号、画面編集および符号化などの各処理に
多くの時間がかかってしまい、テレビ会議のようにリア
ルタイム性が要求される通信ではこのような構成は不適
である。
像情報を編集するため、動画像のように情報量が非常に
多い場合、復号、画面編集および符号化などの各処理に
多くの時間がかかってしまい、テレビ会議のようにリア
ルタイム性が要求される通信ではこのような構成は不適
である。
【００１０】一方、MPEG2 方式では、復号後に再び符号
化を行うというような無駄な処理を行わずに、送信され
てきたビットストリームをそのまま処理し多地点との接
続を行うことができる。
化を行うというような無駄な処理を行わずに、送信され
てきたビットストリームをそのまま処理し多地点との接
続を行うことができる。
【００１１】すなわち、MPEG2 方式を利用したＭＣＵ７
０は、図７に示すように、可変長復号部（ＶＬＤ）７
１、データ再構築部７２、可変長符号化部（ＶＬＣ）７
３といった構成になる。
０は、図７に示すように、可変長復号部（ＶＬＤ）７
１、データ再構築部７２、可変長符号化部（ＶＬＣ）７
３といった構成になる。
【００１２】この場合、ＭＣＵ７０では、各端末から送
信されてきたMPEG2 ビットストリームを可変長復号部
（ＶＬＤ）７１で可変長復号（ＶＬＤ）を行い、スター
トコードなどのへッダ情報や動きベクトル情報およびＤ
ＣΤ係数成分情報などの符号化情報を持ったビットスト
リームに変換し、そのビットストリームをデータ再構築
部７２で１画面へ再構築し、再構築後のビットストリー
ムを再び可変長符号化部（ＶＬＣ）７３で可変長符号化
し、その後、各地点の端末へMPEG2 ビットストリームで
送る。
信されてきたMPEG2 ビットストリームを可変長復号部
（ＶＬＤ）７１で可変長復号（ＶＬＤ）を行い、スター
トコードなどのへッダ情報や動きベクトル情報およびＤ
ＣΤ係数成分情報などの符号化情報を持ったビットスト
リームに変換し、そのビットストリームをデータ再構築
部７２で１画面へ再構築し、再構築後のビットストリー
ムを再び可変長符号化部（ＶＬＣ）７３で可変長符号化
し、その後、各地点の端末へMPEG2 ビットストリームで
送る。
【００１３】この場合、MPEG2 方式では、前の映像（画
面情報）を参照して符号化処理や復号処理を行うため、
小画面の配置換えなどを行うときもフレーム間符号の映
像タイミングで画像位置の変更を行うことになる。
面情報）を参照して符号化処理や復号処理を行うため、
小画面の配置換えなどを行うときもフレーム間符号の映
像タイミングで画像位置の変更を行うことになる。
【００１４】しかしながら、ＭＣＵ７０は、前の映像を
参照して復号することから、あまりに大きく画像位置の
変更が生じた場合、目的とする映像が得られなくなる。
したがって、画面の配置換え処理などは、フレーム内符
号の映像のタイミングで映像の位置変換を行うこととな
り、これでは所望の時間で行うことができなくなる。
参照して復号することから、あまりに大きく画像位置の
変更が生じた場合、目的とする映像が得られなくなる。
したがって、画面の配置換え処理などは、フレーム内符
号の映像のタイミングで映像の位置変換を行うこととな
り、これでは所望の時間で行うことができなくなる。
【００１５】
【発明が解決しようとする課題】このように上述した従
来のMPEG2 方式を利用したＭＣＵ、つまり多地点制御装
置では、ΤＶ会議を行う中で画面を複数の小画面に分割
し、各小画面に表示する映像の位置変更を行うときに
は、フレーム間符号の映像タイミングで画像位置の変更
を行うことになり、映像の配置換えを行う場合の変換効
率が悪いという問題点があった。
来のMPEG2 方式を利用したＭＣＵ、つまり多地点制御装
置では、ΤＶ会議を行う中で画面を複数の小画面に分割
し、各小画面に表示する映像の位置変更を行うときに
は、フレーム間符号の映像タイミングで画像位置の変更
を行うことになり、映像の配置換えを行う場合の変換効
率が悪いという問題点があった。
【００１６】本発明はこのような課題を解決するために
なされたもので、映像位置の変更や配置換えを効率よく
行うことのできる通信システム、多地点制御装置、映像
情報表示方法を提供することを目的としている。
なされたもので、映像位置の変更や配置換えを効率よく
行うことのできる通信システム、多地点制御装置、映像
情報表示方法を提供することを目的としている。
【００１７】
【課題を解決するための手段】上記した目的を達成する
ために、請求項１記載の発明の通信システムは、異なる
地点に配置された複数の画像通信端末を多地点制御装置
および双方向通信路を介して接続し、前記多地点制御装
置が前記各画像通信端末間の通信を中継する通信システ
ムにおいて、前記多地点制御装置が、可変長符号化され
た所定符号化方式のビットストリームデータを可変長復
号して少なくとも動きベクトル情報を含む符号化情報を
持ったビットストリームとし、このビットストリームの
符号化情報中に含まれる画像の移動前と移動先の動きベ
クトル情報を抽出する可変長復号手段と、前記可変長復
号手段により抽出された画像の移動前と移動先との動き
ベクトル情報の差を求める動き情報差算出手段と、前記
動き情報差算出手段により求められた動きベクトル情報
の差を、前記可変長復号手段により可変長復号されたビ
ットストリームに付加した上で１画面のビットストリー
ムを再構築するデータ再構築手段と、前記データ再構築
手段により再構築されたビットストリームを復号して出
力する可変長符号化手段とを具備している。
ために、請求項１記載の発明の通信システムは、異なる
地点に配置された複数の画像通信端末を多地点制御装置
および双方向通信路を介して接続し、前記多地点制御装
置が前記各画像通信端末間の通信を中継する通信システ
ムにおいて、前記多地点制御装置が、可変長符号化され
た所定符号化方式のビットストリームデータを可変長復
号して少なくとも動きベクトル情報を含む符号化情報を
持ったビットストリームとし、このビットストリームの
符号化情報中に含まれる画像の移動前と移動先の動きベ
クトル情報を抽出する可変長復号手段と、前記可変長復
号手段により抽出された画像の移動前と移動先との動き
ベクトル情報の差を求める動き情報差算出手段と、前記
動き情報差算出手段により求められた動きベクトル情報
の差を、前記可変長復号手段により可変長復号されたビ
ットストリームに付加した上で１画面のビットストリー
ムを再構築するデータ再構築手段と、前記データ再構築
手段により再構築されたビットストリームを復号して出
力する可変長符号化手段とを具備している。
【００１８】請求項２記載の発明の多地点制御装置は、
可変長符号化された所定符号化方式のビットストリーム
データを可変長復号して少なくとも動きベクトル情報を
含む符号化情報を持ったビットストリームとし、このビ
ットストリームの符号化情報中に含まれる画像の移動前
と移動先の動きベクトル情報を抽出する可変長復号手段
と、前記可変長復号手段により抽出された画像の移動前
と移動先との動きベクトル情報の差を求める動き情報差
算出手段と、前記動き情報差算出手段により求められた
動きベクトル情報の差を、前記可変長復号手段により可
変長復号されたビットストリームに付加した上で１画面
のビットストリームを再構築するデータ再構築手段と、
前記データ再構築手段により再構築されたビットストリ
ームを復号して出力する可変長符号化手段とを具備して
いる。
可変長符号化された所定符号化方式のビットストリーム
データを可変長復号して少なくとも動きベクトル情報を
含む符号化情報を持ったビットストリームとし、このビ
ットストリームの符号化情報中に含まれる画像の移動前
と移動先の動きベクトル情報を抽出する可変長復号手段
と、前記可変長復号手段により抽出された画像の移動前
と移動先との動きベクトル情報の差を求める動き情報差
算出手段と、前記動き情報差算出手段により求められた
動きベクトル情報の差を、前記可変長復号手段により可
変長復号されたビットストリームに付加した上で１画面
のビットストリームを再構築するデータ再構築手段と、
前記データ再構築手段により再構築されたビットストリ
ームを復号して出力する可変長符号化手段とを具備して
いる。
【００１９】請求項３記載の映像表示方法は、映像を所
定の動画符号化方式で圧縮符号化した符号化情報を、符
号化を行った映像の画面よりも大きい表示画面内の所望
位置に表示する映像表示方法において、前記符号化を行
った映像を符号化時と異なる位置に表示する場合、前記
符号化情報から移動前と移動先の動きベクトル情報を抽
出し、互いの動きベクトルの差を算出し、その差情報を
基に１画面の符号化情報を再構築し、再構築した符号化
情報を復号して前記表示画面内の移動位置に映像を表示
することを特徴としている。
定の動画符号化方式で圧縮符号化した符号化情報を、符
号化を行った映像の画面よりも大きい表示画面内の所望
位置に表示する映像表示方法において、前記符号化を行
った映像を符号化時と異なる位置に表示する場合、前記
符号化情報から移動前と移動先の動きベクトル情報を抽
出し、互いの動きベクトルの差を算出し、その差情報を
基に１画面の符号化情報を再構築し、再構築した符号化
情報を復号して前記表示画面内の移動位置に映像を表示
することを特徴としている。
【００２０】本発明では、符号化したビットストリーム
データを少なくとも動きベクトル情報を含む符号化情報
を持ったビットストリームへ復号し、その動きベクトル
情報に映像の位置変更による動き情報を付加した上で、
１画面のビットストリームデータを再構築し符号化す
る。つまりビットストリーム上で映像位置の変更や配置
換えの処理を行うので、表示画面に表示する映像の位置
変更を効率良く行うことができる。
データを少なくとも動きベクトル情報を含む符号化情報
を持ったビットストリームへ復号し、その動きベクトル
情報に映像の位置変更による動き情報を付加した上で、
１画面のビットストリームデータを再構築し符号化す
る。つまりビットストリーム上で映像位置の変更や配置
換えの処理を行うので、表示画面に表示する映像の位置
変更を効率良く行うことができる。
【００２１】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。
を参照して詳細に説明する。
【００２２】図１は本発明に係る一つの実施形態である
多地点通信システムの構成を示す概略図である。
多地点通信システムの構成を示す概略図である。
【００２３】同図において、１はＣＡＴＶなどの情報通
信網（伝送路）である。この伝送路１には、複数の端末
２〜５がＭＣＵ６を介して接続されている。つまりこの
多地点通信システムは各端末２〜５からの映像信号をＭ
ＣＵ６が中継するよう構成されている。
信網（伝送路）である。この伝送路１には、複数の端末
２〜５がＭＣＵ６を介して接続されている。つまりこの
多地点通信システムは各端末２〜５からの映像信号をＭ
ＣＵ６が中継するよう構成されている。
【００２４】各端末２〜５には、会議参加者に向けて配
置され、会議参加者を撮影しその映像を取得するカメラ
２ａ、３ａ、４ａ、５ａと、各カメラ２ａ、３ａ、４
ａ、５ａで撮影された映像信号をMPEG2 方式でビットス
トリームデータに圧縮符号化し伝送路１を通じてＭＣＵ
６へ送信する符号化器２ｂ、３ｂ、４ｂ、５ｂと、ＭＣ
Ｕ６から伝送路１を通じてMPEG2 ビットストリームデー
タを受信し、映像信号に復号する復号器２ｃ、３ｃ、４
ｃ、５ｃと、復号された映像信号を表示画面上に表示す
るモニタ２ｄ、３ｄ、４ｄ、５ｄとが設けられている。
ＭＣＵ６には、ビットストリーム上で映像位置を変更処
理する映像位置処理部１０が設けられている。映像位置
処理部１０は、受信されたMPEG2 ビットストリームデー
タに移動すべき画像位置情報を付加して各端末へ送信す
るものである。MPEG2 方式では、伝送する画面のサイズ
をエンコーダ側で指定できるので、この実施形態では、
画像符号化方式としてMPEG2 方式を利用している。
置され、会議参加者を撮影しその映像を取得するカメラ
２ａ、３ａ、４ａ、５ａと、各カメラ２ａ、３ａ、４
ａ、５ａで撮影された映像信号をMPEG2 方式でビットス
トリームデータに圧縮符号化し伝送路１を通じてＭＣＵ
６へ送信する符号化器２ｂ、３ｂ、４ｂ、５ｂと、ＭＣ
Ｕ６から伝送路１を通じてMPEG2 ビットストリームデー
タを受信し、映像信号に復号する復号器２ｃ、３ｃ、４
ｃ、５ｃと、復号された映像信号を表示画面上に表示す
るモニタ２ｄ、３ｄ、４ｄ、５ｄとが設けられている。
ＭＣＵ６には、ビットストリーム上で映像位置を変更処
理する映像位置処理部１０が設けられている。映像位置
処理部１０は、受信されたMPEG2 ビットストリームデー
タに移動すべき画像位置情報を付加して各端末へ送信す
るものである。MPEG2 方式では、伝送する画面のサイズ
をエンコーダ側で指定できるので、この実施形態では、
画像符号化方式としてMPEG2 方式を利用している。
【００２５】画像位置処理部１０は、図２に示すよう
に、入力されたMPEG2 ビットストリームを情報の損失が
なるべく発生しないように可変長復号（ＶＬＤ）のみを
行い、MPEG2 ビットストリームに含まれる動きベクトル
情報を抽出する可変長復号部（MPEG2 VLD)３１と、その
動きベクトル情報に映像位置を変更するための動き情報
を付加する動き情報処理部３２と、動きベクトル情報が
付加された動きベクトル情報を基にMPEG2 ビットストリ
ームのデータ書き換えを行い、１画面のMPEG2ビットス
トリームを再構築するデータ再構築部と、再構築された
１画面のMPEG2ビットストリームを可変長符号化（ＶＬ
Ｃ）し元の伝送形態のMPEG2 ビットストリームデータへ
戻し、伝送路１へ出力する可変長符号化部（MPEG2 VLC)
３４とから構成されている。
に、入力されたMPEG2 ビットストリームを情報の損失が
なるべく発生しないように可変長復号（ＶＬＤ）のみを
行い、MPEG2 ビットストリームに含まれる動きベクトル
情報を抽出する可変長復号部（MPEG2 VLD)３１と、その
動きベクトル情報に映像位置を変更するための動き情報
を付加する動き情報処理部３２と、動きベクトル情報が
付加された動きベクトル情報を基にMPEG2 ビットストリ
ームのデータ書き換えを行い、１画面のMPEG2ビットス
トリームを再構築するデータ再構築部と、再構築された
１画面のMPEG2ビットストリームを可変長符号化（ＶＬ
Ｃ）し元の伝送形態のMPEG2 ビットストリームデータへ
戻し、伝送路１へ出力する可変長符号化部（MPEG2 VLC)
３４とから構成されている。
【００２６】この実施形態の多地点通信システムは、図
３に示すように、端末２〜５の表示画面内に複数の端末
の会議参加者Ａ〜Ｄの映像の画面を表示する中で、図４
に示すように、会議参加者Ａの画面と会議参加者Ｄの画
面とを入れ替える場合にＭＣＵ６においてデータ中継効
率を落さずに行うものである。
３に示すように、端末２〜５の表示画面内に複数の端末
の会議参加者Ａ〜Ｄの映像の画面を表示する中で、図４
に示すように、会議参加者Ａの画面と会議参加者Ｄの画
面とを入れ替える場合にＭＣＵ６においてデータ中継効
率を落さずに行うものである。
【００２７】すなわち、ＭＣＵ６では、送られてきたビ
ットストリームデータを完全にデコードした画面とはせ
ずに、ビットストリームの形態のままで画面情報の移動
処理や再構成などを行う。
ットストリームデータを完全にデコードした画面とはせ
ずに、ビットストリームの形態のままで画面情報の移動
処理や再構成などを行う。
【００２８】以下、この多地点通信システムの具体的な
動作について説明する。
動作について説明する。
【００２９】この多地点通信システムの場合、各端末２
〜５に接続されたカメラ２ａ、３ａ、４ａ、５ａで撮影
された会議参加者の映像は、各端末２〜５内の符号化器
２ｂ、３ｂ、４ｂ、５ｂでMPEG2 ビットストリームデー
タに符号化され、伝送路１を通してＭＣＵ６に伝送され
る。
〜５に接続されたカメラ２ａ、３ａ、４ａ、５ａで撮影
された会議参加者の映像は、各端末２〜５内の符号化器
２ｂ、３ｂ、４ｂ、５ｂでMPEG2 ビットストリームデー
タに符号化され、伝送路１を通してＭＣＵ６に伝送され
る。
【００３０】ＭＣＵ６では、伝送路１からMPEG2 ビット
ストリームデータを受信すると、そのMPEG2 ビットスト
リームデータが映像位置処理部１０に渡される。
ストリームデータを受信すると、そのMPEG2 ビットスト
リームデータが映像位置処理部１０に渡される。
【００３１】映像位置処理部１０では、その可変長復号
部（MPEG2 VLD)３１によってMPEG2ビットストリームデ
ータがヘッダ情報および動きベクトル情報などのMPEG2
ビットストリームの持つ情報が分かる程度に可変長復号
（ＶＬＤ）のみ行われる。ＶＬＤされたMPEG2 ビットス
トリームに含まれる動きベクトル情報が抽出され、そし
て映像の移動先のロケーション番号の差が動き情報とし
て求められる。
部（MPEG2 VLD)３１によってMPEG2ビットストリームデ
ータがヘッダ情報および動きベクトル情報などのMPEG2
ビットストリームの持つ情報が分かる程度に可変長復号
（ＶＬＤ）のみ行われる。ＶＬＤされたMPEG2 ビットス
トリームに含まれる動きベクトル情報が抽出され、そし
て映像の移動先のロケーション番号の差が動き情報とし
て求められる。
【００３２】動き情報として求められたロケーション番
号の差は、動き情報処理部３２へ渡される。またＶＬＤ
のみを行ったMPEG2 ビットストリームはデータ再構築部
３３へ出力される。
号の差は、動き情報処理部３２へ渡される。またＶＬＤ
のみを行ったMPEG2 ビットストリームはデータ再構築部
３３へ出力される。
【００３３】動き情報処理部３２では、渡された動き情
報を基に、画像位置情報を生成し、生成した画像位置情
報を動きベクトル情報に付加し、その動きベクトル情報
をデータ再構築部３３へ出力する。
報を基に、画像位置情報を生成し、生成した画像位置情
報を動きベクトル情報に付加し、その動きベクトル情報
をデータ再構築部３３へ出力する。
【００３４】この場合、動き情報処理部３２では、求め
られた動き情報の差情報を可変長復号（ＶＬＤ）を行っ
た後、抽出した情報へ付加する。
られた動き情報の差情報を可変長復号（ＶＬＤ）を行っ
た後、抽出した情報へ付加する。
【００３５】例えばその動き情報の垂直成分をスライス
のポジション情報であるslice-vertical-position へ、
垂直、水平両成分をマクロブロックのアドレス情報であ
るmacroblock-addressに付加しロケーション番号の更新
を行ったり、動きベクトル情報自体へ動き情報を付加す
ることにより、データ再構築部３３において前の映像を
参照するフレーム間符号として映像位置の変更を行う。
のポジション情報であるslice-vertical-position へ、
垂直、水平両成分をマクロブロックのアドレス情報であ
るmacroblock-addressに付加しロケーション番号の更新
を行ったり、動きベクトル情報自体へ動き情報を付加す
ることにより、データ再構築部３３において前の映像を
参照するフレーム間符号として映像位置の変更を行う。
【００３６】なおスライスの先頭のマクロブロックやイ
ントラマクロブロックなどの動きベクトル予測器のリセ
ット情報が検出されたときには、動きベクトル予測器で
検出されたマクロブロックヘ、その都度、動きベクトル
情報を付加する。
ントラマクロブロックなどの動きベクトル予測器のリセ
ット情報が検出されたときには、動きベクトル予測器で
検出されたマクロブロックヘ、その都度、動きベクトル
情報を付加する。
【００３７】データ再構築部３３では、ＶＬＤのみを行
ったMPEG2 ビットストリームに、動き情報処理部３２か
らの動きベクトル情報が元の位置に挿入されて、ビット
ストリームが１画面のMPEG2 ビットストリームに再構築
される。再構築された１画面のMPEG2 ビットストリーム
は、可変長符号化部（MPEG2 VLC)３４で元の伝送形態の
MPEG2 ビットストリームデータへ戻されて伝送路１を通
じて各端末２〜５へ伝送される。
ったMPEG2 ビットストリームに、動き情報処理部３２か
らの動きベクトル情報が元の位置に挿入されて、ビット
ストリームが１画面のMPEG2 ビットストリームに再構築
される。再構築された１画面のMPEG2 ビットストリーム
は、可変長符号化部（MPEG2 VLC)３４で元の伝送形態の
MPEG2 ビットストリームデータへ戻されて伝送路１を通
じて各端末２〜５へ伝送される。
【００３８】伝送路１から各端末２〜５へ送られたMPEG
2 ビットストリームデータは、各端末２〜５内の復号器
２ｃ、３ｃ、４ｃ、５ｃで映像信号へ復号され、各端末
２〜５に接続されたモニタ２ｄ、３ｄ、４ｄ、５ｄに出
力される。
2 ビットストリームデータは、各端末２〜５内の復号器
２ｃ、３ｃ、４ｃ、５ｃで映像信号へ復号され、各端末
２〜５に接続されたモニタ２ｄ、３ｄ、４ｄ、５ｄに出
力される。
【００３９】なお各端末２〜５のモニタ２ｄ、３ｄ、４
ｄ、５ｄの表示画面上に表示されている複数の映像画面
の切り替えや配置換えなどの指示操作は、各端末２〜５
から直接操作して、図６に示した会議参加者Ａの映像と
会議参加者Ｄの映像とを入れ替えるよう指示を出すこと
が考えられるが、この他、話をしている会議参加者の映
像画面を、表示画面上の一定のポジション、例えば表示
画面内の左上などに表示するというように、話している
人が常に一定位置に表示されるようにしても良い。この
場合、ＭＣＵ６では、話をしている会議参加者の端末が
どれであるかを各端末から送られてきたビットストリー
ムに含まれる音声データから検出し、ビットストリーム
変換による映像位置の入れ替えを行うことになる。
ｄ、５ｄの表示画面上に表示されている複数の映像画面
の切り替えや配置換えなどの指示操作は、各端末２〜５
から直接操作して、図６に示した会議参加者Ａの映像と
会議参加者Ｄの映像とを入れ替えるよう指示を出すこと
が考えられるが、この他、話をしている会議参加者の映
像画面を、表示画面上の一定のポジション、例えば表示
画面内の左上などに表示するというように、話している
人が常に一定位置に表示されるようにしても良い。この
場合、ＭＣＵ６では、話をしている会議参加者の端末が
どれであるかを各端末から送られてきたビットストリー
ムに含まれる音声データから検出し、ビットストリーム
変換による映像位置の入れ替えを行うことになる。
【００４０】このようにこの実施形態の多地点通信シス
テムによれば、各端末２〜５のモニタの表示画面上に複
数表示された映像画面の全てまたはいずれかを移動させ
る場合、ＭＣＵ６では、MPEG2 ビットストリームをMPEG
2 ビットストリームの持つ情報が分かる程度に可変長復
号（ＶＬＤ）し、ＶＬＤしたMPEG2 ビットストリームに
含まれる動きベクトル情報を抽出し、映像の移動前と移
動先のロケーション番号の差を求め、その差を基に１画
面のMPEG2 ビットストリームに再構築し、それを可変長
符号化して出力する、つまりMPEG2 ビットストリームの
形態のままで映像位置の変更や配置換えの位置変換処理
を行うので、映像位置の変更や配置換えを効率よく行う
ことができる。
テムによれば、各端末２〜５のモニタの表示画面上に複
数表示された映像画面の全てまたはいずれかを移動させ
る場合、ＭＣＵ６では、MPEG2 ビットストリームをMPEG
2 ビットストリームの持つ情報が分かる程度に可変長復
号（ＶＬＤ）し、ＶＬＤしたMPEG2 ビットストリームに
含まれる動きベクトル情報を抽出し、映像の移動前と移
動先のロケーション番号の差を求め、その差を基に１画
面のMPEG2 ビットストリームに再構築し、それを可変長
符号化して出力する、つまりMPEG2 ビットストリームの
形態のままで映像位置の変更や配置換えの位置変換処理
を行うので、映像位置の変更や配置換えを効率よく行う
ことができる。
【００４１】つまり送られてきたMPEG2 ビットストリー
ムをデコーダで映像画面にまで復号し４つの画面を１つ
の画面に再構築するときに映像位置を移動させるのでは
ないので、画像再編時の遅延の発生が少なく済む。
ムをデコーダで映像画面にまで復号し４つの画面を１つ
の画面に再構築するときに映像位置を移動させるのでは
ないので、画像再編時の遅延の発生が少なく済む。
【００４２】また上記処理はビットストリームデータの
状態で行われるので、１枚毎の画像を再生してから位置
変更を行うときよりも画質の劣化を少なくすることがで
きる。 なお、本発明は上述した実施形態のみに限定さ
れるものではない。
状態で行われるので、１枚毎の画像を再生してから位置
変更を行うときよりも画質の劣化を少なくすることがで
きる。 なお、本発明は上述した実施形態のみに限定さ
れるものではない。
【００４３】上述した実施形態では、画像符号化方式と
してMPEG2 方式を適用したが、これ以外に例えばH.261
などの符号化方式を適用してもよい。
してMPEG2 方式を適用したが、これ以外に例えばH.261
などの符号化方式を適用してもよい。
【００４４】
【発明の効果】以上説明したように本発明によれば、Τ
Ｖ会議システムにより会議を行う中で映像の位置変更や
配置換えを行う場合に、ビットストリーム上で映像位置
の変更や配置換え処理を行うので、映像通信のリアルタ
イム性を落すことなく、映像位置の変更や配置換えを効
率よく行うことができる。
Ｖ会議システムにより会議を行う中で映像の位置変更や
配置換えを行う場合に、ビットストリーム上で映像位置
の変更や配置換え処理を行うので、映像通信のリアルタ
イム性を落すことなく、映像位置の変更や配置換えを効
率よく行うことができる。
【図１】本発明の一つの実施形態の多地点ΤＶ会議シス
テムの構成を示す図。
テムの構成を示す図。
【図２】図１の多地点ΤＶ会議システムのＭＣＵの構成
を示すブロック図。
を示すブロック図。
【図３】ある端末の画面を４つの小画面に分割して映像
を表示した一例を示す図。
を表示した一例を示す図。
【図４】図３の画面の映像の配置換えを行う場合を示す
図。
図。
【図５】従来の多地点ΤＶ会議システムの構成を示す
図。
図。
【図６】図５の多地点ΤＶ会議システムの多地点制御装
置（ＭＣＵ）の構成を示す図。
置（ＭＣＵ）の構成を示す図。
【図７】従来のMPEG2 方式を利用したＭＣＵの構成を示
す図。
す図。
１…伝送路、２〜５…端末（MPEG2 CODEC 端末）、６…
多地点制御装置（ＭＣＵ）、１０…動き情報処理部、２
ａ、３ａ、４ａ、５ａ…カメラ、２ｂ、３ｂ、４ｂ、５
ｂ…符号化器（ ENCODER）、２ｃ、３ｃ、４ｃ、５ｃ…
復号器（ DECODER）、２ｄ、３ｄ、４ｄ、５ｄ…モニ
タ、３１…MPEG2 符号化器（MPEG2 VLD ）、３２…画像
位置情報格納部、３３…データ再構築部、３４…MPEG2
復号器（MPEG2 VLC ）。
多地点制御装置（ＭＣＵ）、１０…動き情報処理部、２
ａ、３ａ、４ａ、５ａ…カメラ、２ｂ、３ｂ、４ｂ、５
ｂ…符号化器（ ENCODER）、２ｃ、３ｃ、４ｃ、５ｃ…
復号器（ DECODER）、２ｄ、３ｄ、４ｄ、５ｄ…モニ
タ、３１…MPEG2 符号化器（MPEG2 VLD ）、３２…画像
位置情報格納部、３３…データ再構築部、３４…MPEG2
復号器（MPEG2 VLC ）。
Claims (3)
- 【請求項１】 異なる地点に配置された複数の画像通信
端末を多地点制御装置および双方向通信路を介して接続
し、前記多地点制御装置が前記各画像通信端末間の通信
を中継する通信システムにおいて、 前記多地点制御装置が、 可変長符号化された所定符号化方式のビットストリーム
データを可変長復号して少なくとも動きベクトル情報を
含む符号化情報を持ったビットストリームとし、このビ
ットストリームの符号化情報中に含まれる画像の移動前
と移動先の動きベクトル情報を抽出する可変長復号手段
と、 前記可変長復号手段により抽出された画像の移動前と移
動先との動きベクトル情報の差を求める動き情報差算出
手段と、 前記動き情報差算出手段により求められた動きベクトル
情報の差を、前記可変長復号手段により可変長復号され
たビットストリームに付加した上で１画面のビットスト
リームを再構築するデータ再構築手段と、 前記データ再構築手段により再構築されたビットストリ
ームを復号して出力する可変長符号化手段とを具備した
ことを特徴とする通信システム。 - 【請求項２】 可変長符号化された所定符号化方式のビ
ットストリームデータを可変長復号して少なくとも動き
ベクトル情報を含む符号化情報を持ったビットストリー
ムとし、このビットストリームの符号化情報中に含まれ
る画像の移動前と移動先の動きベクトル情報を抽出する
可変長復号手段と、 前記可変長復号手段により抽出された画像の移動前と移
動先との動きベクトル情報の差を求める動き情報差算出
手段と、 前記動き情報差算出手段により求められた動きベクトル
情報の差を、前記可変長復号手段により可変長復号され
たビットストリームに付加した上で１画面のビットスト
リームを再構築するデータ再構築手段と、 前記データ再構築手段により再構築されたビットストリ
ームを復号して出力する可変長符号化手段とを具備した
ことを特徴とする多地点制御装置。 - 【請求項３】 映像を所定の動画符号化方式で圧縮符号
化した符号化情報を、符号化を行った映像の画面よりも
大きい表示画面内の所望位置に表示する映像表示方法に
おいて、 前記符号化を行った映像を符号化時と異なる位置に表示
する場合、前記符号化情報から移動前と移動先の動きベ
クトル情報を抽出し、互いの動きベクトルの差を算出
し、その差情報を基に１画面の符号化情報を再構築し、
再構築した符号化情報を復号して前記表示画面内の移動
位置に映像を表示することを特徴とする映像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9064454A JPH10262228A (ja) | 1997-03-18 | 1997-03-18 | 通信システム、多地点制御装置、映像情報表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9064454A JPH10262228A (ja) | 1997-03-18 | 1997-03-18 | 通信システム、多地点制御装置、映像情報表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10262228A true JPH10262228A (ja) | 1998-09-29 |
Family
ID=13258716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9064454A Withdrawn JPH10262228A (ja) | 1997-03-18 | 1997-03-18 | 通信システム、多地点制御装置、映像情報表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10262228A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006279220A (ja) * | 2005-03-28 | 2006-10-12 | Kddi Corp | 多地点会議装置 |
| US7145594B2 (en) | 2003-07-18 | 2006-12-05 | Lg Electronics Inc. | Digital video signal processing apparatus of mobile communication system and method thereof |
| JP2007522761A (ja) * | 2004-02-13 | 2007-08-09 | タンベルグ テレコム エーエス | 連続的存在イメージを生成する方法と装置 |
| KR100754552B1 (ko) * | 2001-12-28 | 2007-09-05 | 삼성전자주식회사 | 고속 순방향 패킷 접속 방식을 사용하는 통신 시스템에서고속 공통 제어 채널 송수신 장치 및 방법 |
| AU2003264434B2 (en) * | 2002-09-17 | 2007-09-20 | Ginganet Corporation | Sign language interpretation system and sign language interpretation method |
| US8270484B2 (en) | 2007-06-26 | 2012-09-18 | Kabushiki Kaisha Toshiba | Information processing apparatus, conversion circuit, and program |
-
1997
- 1997-03-18 JP JP9064454A patent/JPH10262228A/ja not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100754552B1 (ko) * | 2001-12-28 | 2007-09-05 | 삼성전자주식회사 | 고속 순방향 패킷 접속 방식을 사용하는 통신 시스템에서고속 공통 제어 채널 송수신 장치 및 방법 |
| AU2003264434B2 (en) * | 2002-09-17 | 2007-09-20 | Ginganet Corporation | Sign language interpretation system and sign language interpretation method |
| US7145594B2 (en) | 2003-07-18 | 2006-12-05 | Lg Electronics Inc. | Digital video signal processing apparatus of mobile communication system and method thereof |
| JP2007522761A (ja) * | 2004-02-13 | 2007-08-09 | タンベルグ テレコム エーエス | 連続的存在イメージを生成する方法と装置 |
| JP2006279220A (ja) * | 2005-03-28 | 2006-10-12 | Kddi Corp | 多地点会議装置 |
| US8270484B2 (en) | 2007-06-26 | 2012-09-18 | Kabushiki Kaisha Toshiba | Information processing apparatus, conversion circuit, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8184636B2 (en) | Information processing device and method, and computer readable medium for packetizing and depacketizing data | |
| US8760492B2 (en) | Method and system for switching between video streams in a continuous presence conference | |
| CN101822046B (zh) | 用于由至少两个编码输入视频流来建立一个编码输出视频流的方法和装置 | |
| KR100248427B1 (ko) | 압축 영역에서의 엠펙 부호 영상의 화면 분할 장치 및 그 방법 | |
| JP2001238221A (ja) | ビデオ通信システム、デコーダ回路、ビデオディスプレイシステム、エンコーダ回路、及びビデオデータ受信方法 | |
| WO2022021519A1 (zh) | 视频解码方法、系统、设备及计算机可读存储介质 | |
| JP2001274689A (ja) | データ処理装置及びデータ処理方法 | |
| EP2557780A2 (en) | Method and system for switching between video streams in a continuous presence conference | |
| JPH10262228A (ja) | 通信システム、多地点制御装置、映像情報表示方法 | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| JP2002142227A (ja) | 映像信号の階層型符号化装置および階層型復号化装置 | |
| CN117692650A (zh) | 图像编码/解码方法、电子设备和计算机可读存储介质 | |
| JP4171940B2 (ja) | 送信装置、受信装置、送信方法及び受信方法 | |
| CN120281938A (zh) | 一种视频处理方法以及相关装置 | |
| JPS62200883A (ja) | 電子会議システムにおける図形表示装置 | |
| JP3655363B2 (ja) | 情報通信システムおよびセンター局 | |
| JP4693096B2 (ja) | 多地点会議装置 | |
| JPH10262229A (ja) | 通信システム、多地点制御装置および映像表示方法 | |
| JPH09247667A (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
| JP3205839B2 (ja) | 画像符号化装置 | |
| JPH0723395A (ja) | 画像処理装置 | |
| JPH09130798A (ja) | 情報合成装置および情報合成方法 | |
| JPH11239331A (ja) | 多地点通信システム | |
| JP2001045495A (ja) | 画面合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040601 |