JPH09135227A - 伝送システム及び伝送方法 - Google Patents
伝送システム及び伝送方法Info
- Publication number
- JPH09135227A JPH09135227A JP8127351A JP12735196A JPH09135227A JP H09135227 A JPH09135227 A JP H09135227A JP 8127351 A JP8127351 A JP 8127351A JP 12735196 A JP12735196 A JP 12735196A JP H09135227 A JPH09135227 A JP H09135227A
- Authority
- JP
- Japan
- Prior art keywords
- data
- compressed
- time
- stream
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/18—Time-division multiplex systems using frequency compression and subsequent expansion of the individual signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronisation processes, e.g. processing of PCR [Programme Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Time-Division Multiplex Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
ータストリームを動的に同期させる伝送システム及び伝
送方法を提供する。 【解決手段】 圧縮器14は、映像信号を圧縮して圧縮
映像信号を生成すると共に、映像信号を圧縮するのに必
要なフレーム符号化時間を生成する。圧縮器15は、音
声信号を圧縮して圧縮音声信号を生成する。制御情報エ
ンコーダ16は、制御情報にフレーム符号化時間を挿入
する。伸長器22は、圧縮映像信号を伸長し、映像信号
を出力する。伸長器23は、圧縮音声信号を伸長し、音
声信号を遅延回路25に供給する。制御情報デコーダ2
4は、フレーム符号化時間に基づき、ルックアップ・テ
ーブルを用いて音声信号を遅延すべき遅延時間を決定す
る。遅延回路25は、この遅延時間だけ音声信号を遅延
して出力する。
Description
数のデータストリームを同期させる伝送システム及び伝
送方法に関し、特に、伝送路を介して伝送される時間的
に関連がある複数の圧縮データストリームを同期させる
ことができる伝送システム及び伝送方法に関する。
に、時間的に関連がある複数の圧縮されたデータストリ
ーム(以下、単に圧縮データストリームという。)を伝
送路を介して伝送するようになっている。音声信号と映
像信号は、互いに異なる圧縮(符号化)アルゴリズムに
よって処理される。したがって、所定の時間毎にサンプ
リングされたサンプル値に対応する音声ビットストリー
ムを圧縮/伸長するための処理時間は、同じ時間の映像
信号に対応する映像ビットストリームを圧縮/伸長する
ための処理時間とは異なる。
した従来のテレビ電話・会議システムの構成を示す。例
えば、会議室内のビデオカメラからの映像信号は、映像
入力端子31を介して圧縮器34に入力される。圧縮器
34は、例えばCCITT勧告H.261規格における
アルゴリズム等の多くのアルゴリズムのいずれかを用い
て、映像信号を圧縮する。H.261規格では、映像信
号の各フレームは、復号化された前フレームを参照フレ
ームとする動き補償予測符号化によって符号化された
後、デッドゾーン付き量子化、ランレングス符号化等に
よって符号化される。
4に示し、説明する。
タは、符号化モード決定回路52、加算器53、セレク
タ54及び動き予測回路66に供給される。符号化モー
ド決定回路52は、入力される映像データに基づいて、
例えば、通常はいわゆるインタ(フレーム間)モードを
とし、シーンチェンジやいわゆるリフレッシュのときは
イントラ(フレーム内)モードをとして、セレクタ5
4、64を制御する。
ードでは、入力端子51を介して入力される現フレーム
の映像データを選択し、インタモードでは、加算器53
から供給される後述の復号化された前フレームの映像デ
ータと現フレームの映像データとの差分データ(いわゆ
る予測誤差)を選択して、離散余弦変換器(以下、DC
Tという。)55に供給する。
ータ又は差分データを離散余弦変換し、得られる変換係
数を量子化器56に供給する。
におけるDC成分の変換係数を直線量子化すると共に、
他の変換係数をいわゆるデッドゾーン付き直線量子化
し、得られる量子化インデックスを逆量子化器61に供
給する。さらに、量子化器56は、例えば、量子化イン
デックスを、いわゆるジグザクにスキャンすると共に、
ランレングス符号化及びハフマン符号化により2次元可
変長符号化して、符号化器57に供給する。
れた量子化インデックス、符号化モードを示すマクロブ
ロックタイプ情報、後述する動き予測回路66からの動
きベクトル等を統計的性質を利用した可変長符号化方式
によって符号化し、圧縮されたデータをバッファ58に
供給する。バッファ58は、圧縮データを一定のビット
レートでデータストリームとして出力端子59を介し、
図3に示すマルチプレクサ36に供給する。また、この
とき、バッファ58は、格納しているデータ量に基づい
て、アンダーフローやオーバーフローが生じないよう
に、量子化器56等を制御する。
の一部を構成するものであり、量子化器56からの量子
化インデックスを逆量子化し、DCT55の出力に相当
する変換係数を逆離散余弦変換器(以下、IDCTとい
う。)62に供給する。
換し、イントラモードでは、出力端子59を介して出力
された圧縮データストリームに対応する現フレームの映
像データを再生してセレクタ64に供給し、インタモー
ドでは加算器53の出力に相当する差分データを再生し
て、加算器63に供給する。
て供給される前フレームの動き補償された映像データと
差分データを加算し、現フレームの映像データを再生し
てセレクタ64に供給する。
CT62からの映像データを選択し、インタモードでは
加算器63からの映像データを選択して、フレームメモ
リ65に供給する。
端子59を介して出力された圧縮映像データストリーム
に対応したフレームの映像データが記憶される。そし
て、この映像データは、次フレームの映像データを符号
化するための前フレームの映像データとして用いられ
る。すなわち、次フレームの映像データを符号化する際
に、動き予測回路66は、インタモードではフレームメ
モリ65から映像データを動き補償して読み出し、ルー
プフィルタ67に供給する。また、動き予測回路66
は、所定の範囲の画素を検索して動きベクトルを検出
し、上述したように、この動きベクトルを符号化器57
に供給する。
像データを必要に応じて濾波し、加算器53に供給す
る。加算器53は、上述したように、入力端子51を介
して供給される映像データからループフィルタ67を介
して供給される映像データを減算し、得られる差分デー
タをセレクタ54に供給する。
る映像データは、インタモードすなわち通常は、フレー
ム間予測符号化され、イントラモードすなわちシーンチ
ェンジやリフレッシュのときはフレーム内符号化され、
圧縮映像データストリームとして出力される。すなわ
ち、この圧縮器34では、1フレーム分の映像データを
符号化した後のデータ量は、フレーム毎に異なると共
に、1フレーム分の映像データを圧縮するのに必要な時
間もフレーム毎に異なる。
の構成を図5に示し、説明する。
局部復号化器と同様の構成を有する。すなわち、復号化
器73は、入力端子71及びバッファ72を介して供給
される圧縮データを、圧縮器34での符号化に対応して
復号化し、量子化インデックスを逆量子化器74に、マ
クロブロックタイプ情報をセレクタ76に、動きベクト
ルをフレームメモリ77にそれぞれ供給する。
子化インデックスを逆量子化し、再生された変換係数を
IDCT75に供給する。
換し、イントラモードでは現フレームの映像データを再
生してセレクタ76に供給し、インタモードでは差分デ
ータを再生して加算器79に供給する。
て供給される前フレームの動き補償された映像データと
差分データを加算して、現フレームの映像データを再生
し、この映像データをセレクタ76に供給する。
CT75からの映像データを選択し、インタモードでは
加算器79からの映像データを選択し、選択された映像
データを出力端子80を介して出力すると共に、フレー
ムメモリ77に供給する。
復号化されたフレームの映像データが記憶される。そし
て、この映像データは、次フレームの映像データを復号
化するための前フレームの映像データとして用いられ
る。すなわち、次フレームの映像データを復号化する際
に、フレームメモリ77からは、復号化器73からの動
きベクトルに基づいて動き補償された映像データが読み
出され、ループフィルタ78は、この読み出された映像
データを必要に応じて濾波して、加算器79に供給す
る。かくして、この伸長器43で映像データが再生され
る。
室内のマイクロフォンによって生成された映像信号に対
応する音声信号は、音声入力端子32を介して圧縮器3
5に供給される。圧縮器35は、例えば16kbit/
s低遅延符号励振形線形予測(low delay code excited
linear prediction)の音声コーダを用いたものであ
り、CCITT勧告G.728規格に基づいて動作す
る。音声信号に割り当てられた帯域幅は、映像信号の帯
域幅よりも大幅に狭く、この帯域幅となるように符号化
するには、処理時間が短く、簡単な圧縮アルゴリズムが
必要とされる。
制御情報は、マルチプレクサ36に供給される。制御情
報は、典型的には、マルチプレクサ36が所定のパター
ン又はプロトコルに従って複数のデータストリームを多
重化(マルチプレクス)又はアセンブルするように指令
するデータで構成されている。圧縮器34からの圧縮映
像信号と圧縮器35からの圧縮音声信号は、マルチプレ
クサ36に供給される。
H.221規格に従って、圧縮映像信号、圧縮音声信号
及び制御情報を時分割多重化し、多重化された信号(以
下、多重化信号という。)を伝送路1を介して送信す
る。CCITT勧告H.221規格では、64kbit
/sチャンネルは、8KHz周期で伝送されるオクテッ
ト(8ビット)から構成されている。各オクテットの第
8ビットは、8kbit/sのサブチャンネルとして用
いられる。このサブチャンネルは、典型的には、サービ
ス・チャンネル(SC:Service Channel)と呼ばれ、端
末間のシグナリングのために用いられ、3つに部分から
成っている。
に示すように、いわゆるフレーム・アライメント信号
(FAS:Frame Alignment Signal)と、ビットレート
・アロケーション信号(BAS:Bit-rate Allocation
Signal)と、アプリケーション・チャンネル(AC:Ap
plication Channel)とから構成されている。
成は、1フレームが80オクテットから構成され、1サ
ブマルチフレームが2フレームから構成され、1マルチ
フレームが8サブマルチフレーム(16フレーム)から
構成されるようになっている。そして、フレーム・アラ
イメント信号は、フレーム及びマルチフレームの同期を
とるために用いられる。また、フレーム・アライメント
信号には、フレーム情報及びマルチフレーム情報に加え
て、制御情報及びアラーム情報、並びに端末間の誤り特
性を制御し、フレーム同期の有効性をチェックするため
の誤り検出情報が挿入される。更に、フレーム・アライ
メント信号は、伝送網からは供給されないオクテットの
タイミングを得るためにも用いられる。
りの62.4kbit/sのビットを様々な用途で用い
る端末能力を記述した符号ワードの伝送に用いられ、上
述のような構成の信号をデマルチプレクスして利用する
ことを受信側に指示する。例えばn×64kbit/s
のサービス・チャンネルのような他の64kbit/s
のチャンネルが関連しているときに、ビットレート・ア
ロケーション信号は、この関連を定義するのにも用いら
れる。
テレマティク情報等の6400bit/sまでのメッセ
ージ・タイプのデータチャンネルの挿入のバイナリィ情
報を伝送するために用いられる。必要最小限の指令及び
表示チャンネルが用意されており、これらは、アプリケ
ーション・チャンネルの一部として定義されている。ア
プリケーション・チャンネルの残りのビットを用いて、
音声データ又は映像データを伝送することができる。
らは、多重化信号が、パシフィック・ベル等の地域電話
会社やAT&T、MCI、スプリント等の遠距離電話通
信会社によって提供されているサービス総合ディジタル
網(以下、ISDN:Integrated Service Digital Net
workという。)のような伝送路1に出力される。
して多重化信号が供給される。デマルチプレクサ41
は、CCITT勧告H.221規格に従って、多重化信
号をデマルチプレクスし、得られる圧縮映像信号を伸長
器42に、圧縮音声信号を伸長器43に供給すると共
に、制御情報を出力端子47を介して出力する。
規格に従って、圧縮映像信号を伸長し、再構築された
(圧縮されて伸長された)映像信号を、映像出力端子4
5を介して出力する。そして、映像出力端子45からの
映像信号に基づく画像が適当なビデオモニタ(図示せ
ず)に表示される。
規格に従って、圧縮音声信号を伸長し、再構築された音
声信号を遅延回路44に供給する。遅延回路44は、伸
長された音声信号を、映像信号のフレーム毎の伸長時間
とは無関係に、一定の時間又は可変の時間だけ遅延す
る。このように、遅延回路44は、音声信号のタイミン
グが映像信号の一部である画像と同期するように、伸長
音声信号を遅延する。遅延された伸長音声信号は、音声
出力端子46を介して出力され、例えばテレビ電話・会
議システムにおいては、この音声信号により、スピーカ
及び/又はヘッドフォンを含むオーディオ・システムが
駆動される。
と、テレビ電話・会議システムでは、参加者の顔の動き
をその参加者が話す音声と同期することが極めて望まし
い。そうでないと、伝送路1の他端にいる視聴者は、音
声がダビングされたような印象を受ける。
では、映像信号内の動きの量とは無関係に一定の遅延量
又は可変な遅延量を用いている。しかし、これは、許容
できる画像解像度を維持して伝送帯域幅をより狭くする
ために、圧縮技術を用い、その代わりに、これらの遅延
量を導入しているにすぎない。
ら教示する際に利用されるリアルタイムのウインド画像
システム等、複数の映像信号を、関連する音声信号と共
に伝送するようなテレビ電話・会議システムでは、各画
像に要求される解像度及びリフレッシュ間隔が、各映像
信号毎に最適化されなければならない。したがって、各
映像信号に対して異なる圧縮アルゴリズムを用いること
が望ましい。さらに、このように映像信号を処理する際
の圧縮アルゴリズムが各映像信号において異なっていて
も、各画像内に示される動きが画像間及び関連した音声
信号との間において同期していることが極めて望まし
い。
いに時間的に関連がある複数の圧縮データストリームを
動的に同期させ、より鮮鋭でリアルな視聴覚表現が得ら
れる方法及び装置や、テレビ電話・会議システムを提供
することが望ましい。
たものであり、本発明は、伝送路を介して伝送される互
いに時間的に関連がある複数の圧縮データストリームを
動的に同期させる伝送システム及び伝送方法を提供する
ことを目的とする。
の圧縮データストリームに多重化される制御情報内に同
期データを効率良く組み込む伝送システム及び伝送方法
を提供することを目的とする。
ムの圧縮及び伸長に要する合計時間と、第2のデータス
トリームの圧縮及び伸長に要する合計時間との差に基づ
いて、第2のデータストリームを遅延させる際の遅延量
を動的に制御する伝送システム及び伝送方法を提供する
ことを目的とする。
めに、本発明に係る伝送システムは、時間的に関連があ
る複数のデータストリームを動的に同期させる伝送シス
テムにおいて、第1のデータストリームを圧縮して第1
の圧縮データストリームを生成すると共に、第1のデー
タストリームを圧縮するために必要な第1の時間t1 を
表す圧縮時間データを生成する第1の圧縮手段と、第1
のデータストリームと時間的に関連した第2のデータス
トリームを第2の時間t2 内で圧縮して、第2の圧縮デ
ータストリームを生成する第2の圧縮手段と、第1の圧
縮手段からの第1の圧縮データストリーム、第2の圧縮
手段からの第2の圧縮データストリーム、第1の圧縮手
段からの圧縮時間データを伝送する伝送手段と、第1の
圧縮データストリームを第3の時間t3 内で伸長して、
第1の伸長信号を生成する第1の伸長手段と、第2の圧
縮データストリームを第4の時間t4 内で伸長して、第
2の伸長信号を生成する第2伸長手段と、第2伸長手段
からの第2の伸長信号を(t1+t3)−(t2+t4)に
実質的に等しい時間だけ遅延する遅延手段とを備える。
的に関連がある複数のデータストリームを動的に同期さ
せる伝送システムにおいて、第1のデータストリームを
圧縮して第1の圧縮データストリームを生成すると共
に、第1のデータストリームを圧縮するために必要な時
間を表す圧縮時間データを生成する第1圧縮手段と、第
1のデータストリームと時間的に関連した第2のデータ
ストリームを圧縮して、第2の圧縮データストリームを
生成する第2圧縮手段と、第1の圧縮手段からの第1の
圧縮データストリーム、第2の圧縮手段からの第2の圧
縮データストリーム、第1の圧縮手段からの圧縮時間デ
ータを時分割多重化して、多重化信号を送出するマルチ
プレクサと、マルチプレクサからの多重化信号を伝送す
る伝送路と、伝送路を介して受信される多重化信号をデ
マルチプレクスして、第1の圧縮データストリーム、第
2の圧縮データストリーム及び圧縮時間データを再生す
るデマルチプレクサと、デマルチプレクスで再生された
第1の圧縮データストリームを伸長して、第1の伸長信
号を生成する第1伸長手段と、デマルチプレクスで再生
された第2の圧縮データストリームを伸長して、第2の
伸長信号を生成する第2伸長手段と、デマルチプレクス
で再生された圧縮時間データから、第2の伸長信号を遅
延させる遅延時間を決定する遅延時間決定手段と、遅延
時間決定手段からの遅延時間に従って、第2の伸長手段
からの第2の伸長信号を遅延する遅延手段とを備える。
ある複数のデータストリームを動的に同期させる伝送方
法において、第1のデータストリームを圧縮して、第1
の圧縮データストリームと、第1のデータストリームを
圧縮するために必要な第1の時間t1 を表す圧縮時間デ
ータとを生成するステップと、第1のデータストリーム
と時間的に関連した第2のデータストリームを第2の時
間t2 内で圧縮して、第2の圧縮データストリームを生
成するステップと、第1の圧縮データストリーム、第2
の圧縮データストリーム及び圧縮時間データを伝送する
ステップと、第1の圧縮データストリームを第3の時間
t3 内で伸長して、第1の伸長信号を生成するステップ
と、第2の圧縮データストリームを第4の時間t4 内で
伸長して、第2の伸長信号を生成するステップと、第2
の伸長信号を(t1+t3)−(t2+t4 )に実質的に
等しい時間だけ遅延するステップとを有する。
関連がある複数のデータストリームを動的に同期させる
伝送方法において、第1のデータストリームを圧縮して
第1の圧縮データストリームを生成すると共に、第1の
データストリームを圧縮するために必要な時間を表す圧
縮時間データを生成するステップと、第1のデータスト
リームと時間的に関連した第2のデータストリームを圧
縮して、第2の圧縮データストリームを生成するステッ
プと、第1の圧縮データストリーム、第2の圧縮データ
ストリーム、圧縮時間データを時分割多重化して、多重
化信号を伝送路に送出するステップと、多重化信号を伝
送するステップと、多重化信号をデマルチプレクスし
て、第1の圧縮データストリーム、第2の圧縮データス
トリーム及び圧縮時間データを再生するステップと、再
生された第1の圧縮データストリームを伸長して、第1
の伸長信号を生成するステップと、再生された第2の圧
縮データストリームを伸長して、第2の伸長信号を生成
するステップと、再生された圧縮時間データから、第2
の伸長信号を遅延させる遅延時間を決定するステップ
と、遅延時間だけ第2の伸長信号を遅延するステップと
を有する。
連がある複数のデータストリームを動的に同期させる伝
送システムにおいて、第1のデータストリームを圧縮し
て第1の圧縮データストリームを生成すると共に、第1
のデータストリームを圧縮するために必要な時間を表す
圧縮時間データを生成する第1圧縮手段と、第1のデー
タストリームと時間的に関連した第2のデータストリー
ムを圧縮して、第2の圧縮データストリームを生成する
第2圧縮手段と、第1の圧縮手段からの第1の圧縮デー
タストリーム、第2の圧縮手段からの第2の圧縮データ
ストリーム、第1の圧縮手段からの圧縮時間データを伝
送する伝送手段と、第1の圧縮データストリームを伸長
して、第1の伸長信号を生成する第1伸長手段と、第2
の圧縮データストリームを伸長して、第2の伸長信号を
生成する第2伸長手段と、第2の伸長信号を、圧縮時間
データから決定される時間だけ遅延する遅延手段とを備
える。
ある複数のデータストリームを動的に同期させる伝送方
法において、第1のデータストリームを圧縮して、第1
の圧縮データストリームと、第1のデータストリームを
圧縮するために必要な時間を表す圧縮時間データとを生
成するステップと、第1のデータストリームと時間的に
関連した第2のデータストリームを圧縮して、第2の圧
縮データストリームを生成するステップと、第1の圧縮
データストリーム、第2の圧縮データストリーム及び圧
縮時間データを伝送するステップと、第1の圧縮データ
ストリームを伸長して、第1の伸長信号を生成するステ
ップと、第2の圧縮データストリームを伸長して、第2
の伸長信号を生成するステップと、第2の伸長信号を、
圧縮時間データから決定される時間だけ遅延するステッ
プとを有する。
連がある音声データ及び映像データの複数のストリーム
を動的に同期させる伝送システムにおいて、映像データ
のフレームに対応した各ストリームを圧縮して映像デー
タの圧縮ストリームを生成し、映像データの各ストリー
ムを圧縮するために必要な時間を表す圧縮時間データを
生成すると共に、映像データの各圧縮ストリームに対応
するフレームを識別するフレーム識別データを生成する
第1の圧縮手段と、映像データのストリームと時間的に
関連した音声データの各ストリームを圧縮して音声デー
タの圧縮ストリームを生成する第2圧縮手段と、第1の
圧縮手段からの映像データの各圧縮ストリーム、第2の
圧縮手段からの音声データの各圧縮ストリーム、第1の
圧縮手段からの圧縮時間データ及びフレーム識別データ
を伝送する伝送手段と、映像データの各圧縮ストリーム
を伸長して、映像データの伸長ストリームを生成する第
1伸長手段と、音声データの各圧縮ストリームを伸長し
て、音声データの伸長ストリームを生成する第2伸長手
段と、フレーム識別データによって特定されたフレーム
に対応する音声データの各伸長ストリームを、圧縮時間
データから決定される時間だけ遅延する遅延手段とを備
える。
ある音声データ及び映像データの複数のストリームを動
的に同期させる伝送方法において、映像データのフレー
ムに対応した各ストリームを圧縮して、映像データの圧
縮ストリームを生成するステップと、映像データの各ス
トリームを圧縮するために必要な時間を表す圧縮時間デ
ータを生成するステップと、映像データの各圧縮ストリ
ームに対応するフレームを識別するフレーム識別データ
を生成するステップと、映像データのストリームと時間
的に関連した音声データの各ストリームを圧縮して、音
声データの圧縮ストリームを生成するステップと、映像
データの各圧縮ストリーム、音声データの各圧縮ストリ
ーム、圧縮時間データ及びフレーム識別データを伝送す
るステップと、映像データの各圧縮ストリームを伸長し
て、映像データの伸長ストリームを生成するステップ
と、音声データの各圧縮ストリームを伸長して、音声デ
ータの伸長ストリームを生成するステップと、フレーム
識別データによって特定されたフレームに対応する音声
データの各伸長ストリームを、圧縮時間データから決定
される時間だけ遅延するるステップとを有する。
データ等の第1のデータストリームを圧縮して第1の圧
縮データストリームを生成すると共に、第1のデータス
トリームを圧縮するために必要な時間を表す圧縮時間デ
ータを生成する。また、第1のデータストリームと時間
的に関連した例えば音声データ等の第2のデータストリ
ームを圧縮して、第2の圧縮データストリームを生成す
る。そして、第1の圧縮データストリーム、第2の圧縮
データストリーム、圧縮時間データを時分割多重化し、
得られる多重化信号を受信側に伝送する。受信側におい
て、多重化信号をデマルチプレクスして、第1の圧縮デ
ータストリーム、第2の圧縮データストリーム及び圧縮
時間データを再生する。そして、再生された第1の圧縮
データストリームを伸長して、第1の伸長信号を生成
し、この第1の伸長信号を出力する。また、再生された
第2の圧縮データストリームを伸長して、第2の伸長信
号を生成する。このとき、再生された圧縮時間データか
ら、第2の伸長信号を遅延させる遅延時間を決定し、こ
の遅延時間だけ第2の伸長信号を遅延して出力する。
ム及び伝送方法の好ましい実施の形態について、図面を
参照して説明する。上述した本発明の目的、特徴及びそ
の効果を、この説明によってより明らかにする。
ストリームを動的に同期させる本発明を適用した伝送シ
ステムの構成を示す図である。
映像信号を所定の圧縮アルゴリズムを用いて圧縮すると
共に、映像信号の1フレーム分を圧縮するのに必要な時
間(以下、フレーム符号化時間という。)を生成する圧
縮器14と、音声信号を所定の圧縮アルゴリズムを用い
て圧縮する圧縮器15と、制御情報に圧縮器14からの
フレーム符号化時間を挿入する制御情報エンコーダ16
と、圧縮器14からの圧縮映像信号、圧縮器15からの
圧縮音声信号、制御情報エンコーダ16からの制御情報
を時分割多重化するマルチプレクサ17とを備える。
映像信号を所定の圧縮アルゴリズムを用いて圧縮する。
この実施の形態では、圧縮器14の圧縮アルゴリズムと
しては、例えばCCITT勧告H.261規格に準拠し
たものが用いられる。そして、圧縮器14は、圧縮され
た映像信号(以下、圧縮映像信号という。)を生成し
て、マルチプレクサ17に供給する。この圧縮器14
は、図1に示す従来の圧縮器34とは異なり、映像信号
の1フレーム分を圧縮するのに必要な時間t1 を示す時
間データ、すなわちフレーム符号化時間を生成し、この
フレーム符号化時間を16に供給する。
に、圧縮器14から供給されるフレーム符号化時間を、
制御情報入力端子13を介して供給される制御情報に挿
入する。そして、制御情報エンコーダ16は、フレーム
符号化時間が挿入された制御情報(以下、符号化制御情
報という。)をマルチプレクサ17に供給する。
介して供給される音声信号を所定の圧縮アルゴリズムを
用いて圧縮する。この実施の形態では、圧縮器15の圧
縮アルゴリズムとしては、例えばCCITT勧告G.7
28規格に準拠したものが用いられる。そして、圧縮器
15は、得られる圧縮音声信号をマルチプレクサ17に
供給する。
給される圧縮映像信号と、圧縮器15から供給される圧
縮音声信号と、制御情報エンコーダ16から供給される
フレーム符号化時間を含む符号化制御情報とを時分割多
重化する。この実施の形態では、マルチプレクサ17
は、例えばCCITT勧告H.221規格に従って、こ
れらの信号を時分割多重化する。そして、マルチプレク
サ17からの多重化信号は、例えばISDN等の伝送路
1に送出される。
ルチプレクサ21に供給される。デマルチプレクサ21
は、この実施の形態では、例えばCCITT勧告H.2
21規格に従って多重化信号をデマルチプレクスし、得
られる圧縮映像信号を伸長器22に供給する。伸長器2
2は、この実施の形態では、例えばCCITT勧告H.
221規格に従って圧縮映像信号を伸長し、伸長された
映像信号(以下、伸長映像信号という。)を、映像出力
端子26を介して出力する。そして、映像出力端子26
からの映像信号に基づく画像が順次、例えばビデオモニ
タ(図示せず)に表示される。
号をデマルチプレクスして得られる圧縮音声信号を伸長
器23に供給する。この実施の形態では、伸長器23
は、例えばCCITT勧告G.728規格に従って、圧
縮音声信号を伸長し、得られる伸長音声信号を遅延回路
25に供給する。
伸長映像信号を同期させるために必要な時間だけ伸長音
声信号を遅延する。
重化信号をデマルチプレクスして得られる符号化制御情
報、すなわちフレーム符号化時間を含む制御情報を制御
情報デコーダ24に供給する。制御情報デコーダ24
は、各映像フレーム毎にフレーム符号化時間を表すデー
タを抽出し、ルックアップ・テーブルを用いて伸長音声
信号を遅延すべき遅延時間を決定する。すなわち、伸長
音声信号のフレーム毎の遅延時間を得るためには、それ
ぞれの数値計算が必要であるが、ここでは、ルックアッ
プ・テーブルを用いている。
レーム復号化時間t3 よりも長い。一方、圧縮器15に
おける音声信号の圧縮に要する時間t2 は、人間の会話
の予測可能性により、比較的に一定であり、また、伸長
器23での圧縮音声信号の伸長に要する時間t4 は、比
較的に一定であることから、音声信号を圧縮及び伸長す
るのに必要な合計時間(t2+t4)は、一定であると合
理的にいうことができる。すなわち、各フレーム符号化
時間にそれぞれ対応する遅延時間を示すルックアップ・
テーブルを用い、伸長音声信号を遅延して伸長映像信号
と同期させることができる。そして、このルックアップ
・テーブルでは、音声信号を圧縮した後、伸長するため
の合計時間(t2+t4)を一定値とすることができる。
ックアップ・テーブルを用いて、映像信号のフレーム符
号化時間から、伸長音声信号を伸長映像信号の各フレー
ムに同期させるのに必要な総計の遅延時間((t1+
t3)−(t2+t4))を決定する。そして、制御情報
デコーダ24は、この総計遅延時間を示すデータを遅延
回路25に供給する。また、制御情報デコーダ24は、
制御情報を出力端子28を介して出力する。この制御情
報は、ビデオディスプレイ装置(図示せず)を制御する
のに用いられる。
長音声信号を遅延させる。この遅延された伸長音声信
号、すなわち伸長映像信号と同期した伸長音声信号は、
音声出力端子27を介して、典型的には、スピーカやヘ
ッドフォン等の電気機械変換器や圧電変換器を駆動する
オーディオアンプに供給される。
情報エンコーダ16の詳細について説明する。
ITT勧告H.221規格におけるサービス・チャンネ
ルを用いて伝送することができる。具体的には、サービ
ス・チャンネル(SC:Service Channel)中のアプリケ
ーション・チャンネル(AC:Application Channel)
は、4800bit/s以上のデータ・チャンネルを含
み、このアプリケーション・チャンネル(AC:Applic
ation Channel)を用いて、フレーム符号化時間を表すデ
ータ伝送することができる。
を用いて説明したように、端末間のシグナリングのため
に用いられ、フレーム・アライメント信号(FAS:Fr
ameAlignment Signal)と、ビットレート・アロケーシ
ョン信号(BAS:Bit-rateAllocation Signal)と、
アプリケーション・チャンネルとから構成されている。
そして、まず、ビットレート・アロケーション信号のチ
ャンネルを用いて、データ・チャンネルの帯域幅が、図
1に示すマルチプレクサ17からデマルチプレクサ21
に送られる。ビットレート・アロケーション信号のコー
ド(符号)は、偶数フレーム毎に伝送される。ビットレ
ート・アロケーション信号のコードは、8ビットからな
り、最初の3ビット(b0、b1、b2)が音声符号化モー
ド、映像符号化モード、転送レート、データレートの選
択のための能力符号、コマンド符号等の定義に用いら
れ、残りの5ビット(b3〜b7)が属性値を表現するの
に用いられる。そして、例えば4800bit/sのチ
ャンネルを確立するためには、最初の3ビットが、”0
11”(データコマンド)に設定され、残りの5ビット
が”00011”に設定される。
延回路25に対して、伸長器23から出力される伸長音
声信号に適用する遅延時間を適正に指令するためには、
フレーム符号化時間に加えて、どのフレーム符号化時間
がどのフレーム(ピクチャ)に対応するのかを特定する
データが送信されなければならない。したがって、この
実施の形態では、フレームを特定するフレーム識別情報
を、圧縮器14から制御情報エンコーダ16に供給す
る。例えばCCITT勧告H.261規格では、ピクチ
ャ・レイヤのフォーマットは、図2に示すように、ピク
チャ・レイヤがピクチャ・ヘッダとグループ・オブ・ブ
ロックのデータ(GOB data)から構成され、このピ
クチャ・ヘッダがフレーム開始符号(PSC)、フレー
ム番号(TR:Temporal Reference)、タイプ情報(P
TYPE)、拡張用データ挿入信号(PEI)、予備情
報(PSPARE)から構成されるようになっている。
ることができる5ビットからなる。このフレーム番号
は、前に伝送されたピクチャ・ヘッダでの値に、最後に
伝送されたピクチャ以降の伝送されなかったピクチャ
(29.97Hz)の数と1を加算した値となってい
る。このような演算は、5つのビットだけで行われる。
フレーム番号(TR)は、確立された4800bit/
s以上のデータ・チャンネルにおいて伝送される符号化
時間データと共に制御情報デコーダ24に伝送され、制
御情報デコーダ24は、伸長音声信号を各フレームに対
応して適正に遅延することができ、伸長映像信号と伸長
音声信号の同期をとることができる。
像信号を圧縮するのに必要とされる時間のデータ(以下
圧縮時間データという。)と、伸長音声信号を遅延させ
る遅延の総計時間とからなるルックアップ・テーブルが
用いられる。この圧縮時間データは、映像信号のフレー
ム符号化時間によって表され、遅延の総計時間には、対
応するフレーム復号時間だけではなく、対応する音声信
号を符号化及び復号化するための所定の合計時間も含ま
れる。したがって、ルックアップ・テーブルの値として
は、映像信号の1フレーム分の符号化時間と復号化時間
の合計時間から、所定値を減算したものを用いる。
再生開始時刻に適用される遅延時間を表すルックアップ
・テーブルのインデックス(索引)とされる。そして、
この遅延時間としては、映像信号を圧縮するのに要する
時間t1 と伸長するのに要する時間t3 の合計時間(t
1+t3)から、対応する音声信号を圧縮するのに要する
時間t2 と伸長するのに要する時間t4 の合計時間(t
2+t4)を減算した時間((t1+t3)−(t2+
t4))を用いる。したがって、この実施の形態では、
映像信号の圧縮時間に基づいて、音声信号を遅延する時
間を動的に変化させることができる。
るものではなく、上述の実施の形態では、単一の映像信
号及びその映像信号に関連した単一の音声信号に本発明
を適用したものであったが、例えば、複数のビデオカメ
ラが動作しているが、各ビデオカメラからの映像信号の
リフレッシュ周期が各映像信号によって異なる、例えば
病院の手術室のような単一の場所から伝送される複数の
映像信号及び複数の音声信号を伝送するシステムにも、
本発明を適用することができる。また、本発明は、特
に、多重化されたデータストリームの同期が必要なアプ
リケーションにおいて有益である。
なく、多くの変更が可能であることが、通常の技術を有
する当業者によって明白に理解されるだろう。このよう
な変更は、全て特許請求の範囲内に包含されるものであ
る。
では、送信側において、例えば映像データ等の第1のデ
ータストリームを圧縮して第1の圧縮データストリーム
を生成すると共に、第1のデータストリームを圧縮する
ために必要な時間を表す圧縮時間データを生成する。ま
た、第1のデータストリームと時間的に関連した例えば
音声データ等の第2のデータストリームを圧縮して、第
2の圧縮データストリームを生成する。そして、第1の
圧縮データストリーム、第2の圧縮データストリーム、
圧縮時間データを時分割多重化し、得られる多重化信号
を受信側に伝送する。受信側において、多重化信号をデ
マルチプレクスして、第1の圧縮データストリーム、第
2の圧縮データストリーム及び圧縮時間データを再生す
る。そして、再生された第1の圧縮データストリームを
伸長して、第1の伸長信号を生成し、この第1の伸長信
号を出力する。また、再生された第2の圧縮データスト
リームを伸長して、第2の伸長信号を生成する。このと
き、再生された圧縮時間データから、第2の伸長信号を
遅延させる遅延時間を決定し、この遅延時間だけ第2の
伸長信号を遅延して出力することにより、従来の伝送シ
ステムや伝送方法に比して、第1の伸長信号と第2の伸
長信号を正確に同期させて出力することができる。さら
に、本発明では、伝送路の帯域幅を大幅に増大すること
なく、従来の伝送システムや伝送方法よりも正確に、第
1の伸長信号と第2の伸長信号を同期させることができ
る。
ロック図である。
明を適用したピクチャ・レイヤのフォーマットを示すで
ある。
伝送システムの構成を示すブロック図である。
器の構成を図である。
器の構成を示すブロック図である。
ビス・チャンネルのフレームフォーマットを示す図であ
る。
マルチプレクサ、21 デマルチプレクサ、22、2
3 伸長器、24 制御情報デコーダ、25遅延回路
Claims (38)
- 【請求項1】 時間的に関連がある複数のデータストリ
ームを動的に同期させる伝送システムにおいて、 第1のデータストリームを圧縮して第1の圧縮データス
トリームを生成すると共に、上記第1のデータストリー
ムを圧縮するために必要な第1の時間t1 を表す圧縮時
間データを生成する第1の圧縮手段と、 上記第1のデータストリームと時間的に関連した第2の
データストリームを第2の時間t2 内で圧縮して、第2
の圧縮データストリームを生成する第2の圧縮手段と、 上記第1の圧縮手段からの第1の圧縮データストリー
ム、上記第2の圧縮手段からの第2の圧縮データストリ
ーム、上記第1の圧縮手段からの圧縮時間データを伝送
する伝送手段と、 上記第1の圧縮データストリームを第3の時間t3 内で
伸長して、第1の伸長信号を生成する第1の伸長手段
と、 上記第2の圧縮データストリームを第4の時間t4 内で
伸長して、第2の伸長信号を生成する第2伸長手段と、 上記第2伸長手段からの第2の伸長信号を(t1+t3)
−(t2+t4)に実質的に等しい時間だけ遅延する遅延
手段と、 を備えることを特徴とする伝送システム。 - 【請求項2】 上記圧縮時間データから第2の伸長信号
を遅延させる時間を決定する遅延時間決定手段を、 備えることを特徴とする請求項1記載の伝送システム。 - 【請求項3】 上記遅延時間決定手段は、ルックアップ
・テーブルからなる、 ことを特徴とする請求項2記載の伝送システム。 - 【請求項4】 上記伝送手段は、上記第1の圧縮データ
ストリーム、第2の圧縮データストリーム、圧縮時間デ
ータの各帯域幅の合計と少なくとも等しい帯域幅を有す
る伝送路を、 備えることを特徴とする請求項1記載の伝送システム。 - 【請求項5】 上記第1の圧縮手段からの第1の圧縮デ
ータストリーム、上記第2の圧縮手段からの第2の圧縮
データストリーム、上記第1の圧縮手段からの圧縮時間
データを時分割多重化して多重化信号を生成し、該多重
化信号を上記伝送路に送出するマルチプレクサと、 上記伝送路を介して受信される多重化信号をデマルチプ
レクスして、上記第1の圧縮データストリーム、第2の
圧縮データストリーム及び圧縮時間データを再生するデ
マルチプレクサと、 を備えることを特徴とする請求項4記載の伝送システ
ム。 - 【請求項6】 上記第1の圧縮手段からの圧縮時間デー
タに制御情報を結合して、結合データを生成するエンコ
ーダと、 上記結合データを制御情報と圧縮時間データに分離する
デコーダと、 を備えることを特徴とする請求項1記載の伝送システ
ム。 - 【請求項7】 上記第2の時間t2 と第4の時間t4 の
合計時間(t2+t4)として、所定値を用いる、 ことを特徴とする請求項1記載の伝送システム。 - 【請求項8】 時間的に関連がある複数のデータストリ
ームを動的に同期させる伝送システムにおいて、 第1のデータストリームを圧縮して第1の圧縮データス
トリームを生成すると共に、上記第1のデータストリー
ムを圧縮するために必要な時間を表す圧縮時間データを
生成する第1圧縮手段と、 上記第1のデータストリームと時間的に関連した第2の
データストリームを圧縮して、第2の圧縮データストリ
ームを生成する第2圧縮手段と、 上記第1の圧縮手段からの第1の圧縮データストリー
ム、上記第2の圧縮手段からの第2の圧縮データストリ
ーム、上記第1の圧縮手段からの圧縮時間データを時分
割多重化して、多重化信号を送出するマルチプレクサ
と、 上記マルチプレクサからの多重化信号を伝送する伝送路
と、 上記伝送路を介して受信される多重化信号をデマルチプ
レクスして、上記第1の圧縮データストリーム、第2の
圧縮データストリーム及び圧縮時間データを再生するデ
マルチプレクサと、 上記デマルチプレクスで再生された第1の圧縮データス
トリームを伸長して、第1の伸長信号を生成する第1伸
長手段と、 上記デマルチプレクスで再生された第2の圧縮データス
トリームを伸長して、第2の伸長信号を生成する第2伸
長手段と、 上記デマルチプレクスで再生された圧縮時間データか
ら、上記第2の伸長信号を遅延させる遅延時間を決定す
る遅延時間決定手段と、 上記遅延時間決定手段からの遅延時間に従って、上記第
2の伸長手段からの第2の伸長信号を遅延する遅延手段
と、 を備えることを特徴とする伝送システム。 - 【請求項9】 時間的に関連がある複数のデータストリ
ームを動的に同期させる伝送方法において、 第1のデータストリームを圧縮して、第1の圧縮データ
ストリームと、上記第1のデータストリームを圧縮する
ために必要な第1の時間t1 を表す圧縮時間データとを
生成するステップと、 上記第1のデータストリームと時間的に関連した第2の
データストリームを第2の時間t2 内で圧縮して、第2
の圧縮データストリームを生成するステップと、 上記第1の圧縮データストリーム、第2の圧縮データス
トリーム及び圧縮時間データを伝送するステップと、 上記第1の圧縮データストリームを第3の時間t3 内で
伸長して、第1の伸長信号を生成するステップと、 上記第2の圧縮データストリームを第4の時間t4 内で
伸長して、第2の伸長信号を生成するステップと、 上記第2の伸長信号を(t1+t3)−(t2+t4)に実
質的に等しい時間だけ遅延するステップと、 を有することを特徴とする伝送方法。 - 【請求項10】 上記第1の時間t1 から第2の伸長信
号を遅延させる時間を決定するステップを、 有することを特徴とする請求項9記載の伝送方法。 - 【請求項11】 上記第2の伸長信号を遅延させる時間
を決定するステップは、上記圧縮時間データを、各第1
の時間t1 と対応する第3の時間t3 の関係を表す記憶
されたデータに関係づけるステップを、 有することを特徴とする請求項10記載の伝送方法。 - 【請求項12】 上記伝送するステップは、上記第1の
圧縮データストリーム、第2の圧縮データストリーム、
圧縮時間データの各帯域幅の合計と少なくとも等しい帯
域幅で伝送する、 ことを特徴とする請求項9記載の伝送方法。 - 【請求項13】 上記第1の圧縮データストリーム、第
2の圧縮データストリーム及び圧縮時間データを時分割
多重化して多重化信号を生成し、該多重化信号を伝送路
に送出するステップと、 上記多重化信号をデマルチプレクスして、上記第1の圧
縮データストリーム、第2の圧縮データストリーム及び
圧縮時間データを再生するステップと、 を有することを特徴とする請求項9記載の伝送方法。 - 【請求項14】 上記圧縮時間データに制御情報を結合
して、結合データを生成するステップと、 上記結合データを制御情報と圧縮時間データに分離する
ステップと、 を有することを特徴とする請求項9記載の伝送方法。 - 【請求項15】 上記第2の時間t2 と第4の時間t4
の合計時間(t2+t4)として、所定値を用いる、 ことを特徴とする請求項9記載の伝送方法。 - 【請求項16】 時間的に関連がある複数のデータスト
リームを動的に同期させる伝送方法において、 第1のデータストリームを圧縮して第1の圧縮データス
トリームを生成すると共に、上記第1のデータストリー
ムを圧縮するために必要な時間を表す圧縮時間データを
生成するステップと、 上記第1のデータストリームと時間的に関連した第2の
データストリームを圧縮して、第2の圧縮データストリ
ームを生成するステップと、 上記第1の圧縮データストリーム、第2の圧縮データス
トリーム、圧縮時間データを時分割多重化して、多重化
信号を伝送路に送出するステップと、 上記多重化信号を伝送するステップと、 上記多重化信号をデマルチプレクスして、上記第1の圧
縮データストリーム、第2の圧縮データストリーム及び
圧縮時間データを再生するステップと、 上記再生された第1の圧縮データストリームを伸長し
て、第1の伸長信号を生成するステップと、 上記再生された第2の圧縮データストリームを伸長し
て、第2の伸長信号を生成するステップと、 上記再生された圧縮時間データから、上記第2の伸長信
号を遅延させる遅延時間を決定するステップと、 上記遅延時間だけ第2の伸長信号を遅延するステップ
と、 を有することを特徴とする伝送方法。 - 【請求項17】 時間的に関連がある複数のデータスト
リームを動的に同期させる伝送システムにおいて、 第1のデータストリームを圧縮して第1の圧縮データス
トリームを生成すると共に、上記第1のデータストリー
ムを圧縮するために必要な時間を表す圧縮時間データを
生成する第1圧縮手段と、 上記第1のデータストリームと時間的に関連した第2の
データストリームを圧縮して、第2の圧縮データストリ
ームを生成する第2圧縮手段と、 上記第1の圧縮手段からの第1の圧縮データストリー
ム、上記第2の圧縮手段からの第2の圧縮データストリ
ーム、上記第1の圧縮手段からの圧縮時間データを伝送
する伝送手段と、 上記第1の圧縮データストリームを伸長して、第1の伸
長信号を生成する第1伸長手段と、 上記第2の圧縮データストリームを伸長して、第2の伸
長信号を生成する第2伸長手段と、 上記第2の伸長信号を、上記圧縮時間データから決定さ
れる時間だけ遅延する遅延手段と、 を備えることを特徴とする伝送システム。 - 【請求項18】 上記第2の伸長信号を遅延させる時間
を決定する遅延時間決定手段を、 備えることを特徴とする請求項17記載の伝送システ
ム。 - 【請求項19】 上記遅延時間決定手段は、ルックアッ
プ・テーブルからなる、 ことを特徴とする請求項18記載の伝送システム。 - 【請求項20】 上記伝送手段は、上記第1の圧縮デー
タストリーム、第2の圧縮データストリーム、圧縮時間
データの各帯域幅の合計と少なくとも等しい帯域幅を有
する伝送路を、 備えることを特徴とする請求項17記載の伝送システ
ム。 - 【請求項21】 上記第1の圧縮手段からの第1の圧縮
データストリーム、上記第2の圧縮手段からの第2の圧
縮データストリーム、上記第1の圧縮手段からの圧縮時
間データを時分割多重化して多重化信号を生成し、該多
重化信号を伝送路に送出するマルチプレクサと、 上記伝送路を介して受信される多重化信号をデマルチプ
レクスして、上記第1の圧縮データストリームと、第2
の圧縮データストリーム及び圧縮時間データを再生する
デマルチプレクサと、 を備えることを特徴とする請求項20記載の伝送システ
ム。 - 【請求項22】 上記第1の圧縮手段からの圧縮時間デ
ータに制御情報を結合して、結合データを生成するエン
コーダと、 上記結合データを制御情報と圧縮時間データに分離する
デコーダと、 を備えることを特徴とする請求項17記載の伝送システ
ム。 - 【請求項23】 時間的に関連がある複数のデータスト
リームを動的に同期させる伝送方法において、 第1のデータストリームを圧縮して、第1の圧縮データ
ストリームと、上記第1のデータストリームを圧縮する
ために必要な時間を表す圧縮時間データとを生成するス
テップと、 上記第1のデータストリームと時間的に関連した第2の
データストリームを圧縮して、第2の圧縮データストリ
ームを生成するステップと、 上記第1の圧縮データストリーム、第2の圧縮データス
トリーム及び圧縮時間データを伝送するステップと、 上記第1の圧縮データストリームを伸長して、第1の伸
長信号を生成するステップと、 上記第2の圧縮データストリームを伸長して、第2の伸
長信号を生成するステップと、 上記第2の伸長信号を、上記圧縮時間データから決定さ
れる時間だけ遅延するステップと、 を有することを特徴とする伝送方法。 - 【請求項24】 上記第2の伸長信号を遅延させる時間
を決定するステップは、上記圧縮時間データを、上記第
1のデータストリームを圧縮するのに必要な時間と上記
第1の圧縮データストリームを伸長するのに必要な時間
の関係を表す記憶データに関係づけるステップを、 有することを特徴とする請求項23記載の伝送方法。 - 【請求項25】 上記伝送するステップは、上記第1の
圧縮データストリーム、第2の圧縮データストリーム、
圧縮時間データの各帯域幅の合計と少なくとも等しい帯
域幅で伝送する、 ことを特徴とする請求項23記載の伝送方法。 - 【請求項26】 上記第1の圧縮データストリーム、第
2の圧縮データストリーム及び圧縮時間データを時分割
多重化して多重化信号を生成し、該多重化信号を伝送路
に送出するステップと、 上記多重化信号をデマルチプレクスして、上記第1の圧
縮データストリーム、第2の圧縮データストリーム及び
圧縮時間データを再生するステップと、 を有することを特徴とする請求項23記載の伝送方法。 - 【請求項27】 上記圧縮時間データに制御情報を結合
して、結合データを生成するステップと、 上記結合データを制御情報と圧縮時間データに分離する
ステップと、 を有することを特徴とする請求項23記載の伝送方法。 - 【請求項28】 圧縮時間データに関係づけられる記憶
データに、上記第2のデータストリームを圧縮する時間
と第2の圧縮データストリームを伸長する時間の合計時
間を表す所定値を含める、 ことを特徴とする請求項24記載の伝送方法。 - 【請求項29】 時間的に関連がある音声データ及び映
像データの複数のストリームを動的に同期させる伝送シ
ステムにおいて、 映像データのフレームに対応した各ストリームを圧縮し
て映像データの圧縮ストリームを生成し、上記映像デー
タの各ストリームを圧縮するために必要な時間を表す圧
縮時間データを生成すると共に、上記映像データの各圧
縮ストリームに対応するフレームを識別するフレーム識
別データを生成する第1の圧縮手段と、 上記映像データのストリームと時間的に関連した音声デ
ータの各ストリームを圧縮して音声データの圧縮ストリ
ームを生成する第2圧縮手段と、 上記第1の圧縮手段からの映像データの各圧縮ストリー
ム、上記第2の圧縮手段からの音声データの各圧縮スト
リーム、上記第1の圧縮手段からの圧縮時間データ及び
フレーム識別データを伝送する伝送手段と、 上記映像データの各圧縮ストリームを伸長して、映像デ
ータの伸長ストリームを生成する第1伸長手段と、 上記音声データの各圧縮ストリームを伸長して、音声デ
ータの伸長ストリームを生成する第2伸長手段と、 上記フレーム識別データによって特定されたフレームに
対応する音声データの各伸長ストリームを、上記圧縮時
間データから決定される時間だけ遅延する遅延手段と、 を備えることを特徴とする伝送システム。 - 【請求項30】 上記圧縮時間データから音声データの
伸長ストリームを遅延させる時間を決定する遅延時間決
定手段を、 備えることを特徴とする請求項29記載の伝送システ
ム。 - 【請求項31】 上記遅延時間決定手段は、ルックアッ
プ・テーブルからなる、 ことを特徴とする請求項30記載の伝送システム。 - 【請求項32】 上記伝送手段は、上記映像データの圧
縮ストリームの1つ、音声データの圧縮ストリームの1
つ、圧縮時間データ及びフレーム識別データの各帯域幅
の合計と少なくとも等しい帯域幅を有する伝送路を、 備えることを特徴とする請求項29記載の伝送システ
ム。 - 【請求項33】 上記映像データの各圧縮ストリーム、
音声データの各圧縮ストリーム、圧縮時間データ及びフ
レーム識別データを時分割多重化して多重化信号を生成
し、該多重化信号を伝送路に送出するマルチプレクサ
と、 上記伝送路を介して受信される多重化信号をデマルチプ
レクスして、映像データの各伸長ストリーム、音声デー
タの各伸長ストリーム、圧縮時間データ及びフレーム識
別データを再生するデマルチプレクサと、 を備えることを特徴とする請求項32記載の伝送システ
ム。 - 【請求項34】 上記圧縮時間データ及びフレーム識別
データに制御情報を結合して、結合データを生成するエ
ンコーダと、 上記結合データを制御情報、圧縮時間データ、フレーム
識別データに分離するデコーダと、 を備えることを特徴とする請求項29記載の伝送システ
ム。 - 【請求項35】 時間的に関連がある音声データ及び映
像データの複数のストリームを動的に同期させる伝送方
法において、 映像データのフレームに対応した各ストリームを圧縮し
て、映像データの圧縮ストリームを生成するステップ
と、 上記映像データの各ストリームを圧縮するために必要な
時間を表す圧縮時間データを生成するステップと、 上記映像データの各圧縮ストリームに対応するフレーム
を識別するフレーム識別データを生成するステップと、 上記映像データのストリームと時間的に関連した音声デ
ータの各ストリームを圧縮して、音声データの圧縮スト
リームを生成するステップと、 上記映像データの各圧縮ストリーム、音声データの各圧
縮ストリーム、圧縮時間データ及びフレーム識別データ
を伝送するステップと、 上記映像データの各圧縮ストリームを伸長して、映像デ
ータの伸長ストリームを生成するステップと、 上記音声データの各圧縮ストリームを伸長して、音声デ
ータの伸長ストリームを生成するステップと、 上記フレーム識別データによって特定されたフレームに
対応する音声データの各伸長ストリームを、上記圧縮時
間データから決定される時間だけ遅延するるステップ
と、 を有することを特徴とする伝送方法。 - 【請求項36】 ルックアップ・テーブルから音声デー
タの伸長ストリームを遅延させる時間を決定する、 ことを特徴とする請求項35記載の伝送方法。 - 【請求項37】 上記映像データの各圧縮ストリーム、
音声データの各圧縮ストリーム、圧縮時間データ及びフ
レーム識別データを時分割多重化して、多重化信号を生
成するステップと、 上記多重化信号をデマルチプレクスして、映像データの
各圧縮ストリーム、音声データの各圧縮ストリーム、圧
縮時間データ及びフレーム識別データを再生するステッ
プと、 を有することを特徴とする請求項35記載の伝送方法。 - 【請求項38】 上記圧縮時間データ及びフレーム識別
データに制御情報を結合して、結合データを生成するス
テップと、 上記結合データを制御情報、圧縮時間データ、フレーム
識別データに分離するステップと、 を有することを特徴とする請求項35記載の伝送方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/445854 | 1995-05-22 | ||
| US08/445,854 US5751694A (en) | 1995-05-22 | 1995-05-22 | Methods and apparatus for synchronizing temporally related data streams |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09135227A true JPH09135227A (ja) | 1997-05-20 |
| JP3809220B2 JP3809220B2 (ja) | 2006-08-16 |
Family
ID=23770459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12735196A Expired - Lifetime JP3809220B2 (ja) | 1995-05-22 | 1996-05-22 | 伝送システム及び伝送方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5751694A (ja) |
| JP (1) | JP3809220B2 (ja) |
| DE (1) | DE19620186B4 (ja) |
| GB (1) | GB2301265B (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998010557A1 (en) * | 1996-09-05 | 1998-03-12 | Matsushita Electric Industrial Co,. Ltd. | Transmitter, receiver, transmission system, sending method, receiving method, and transmitting method |
| JP2013153428A (ja) * | 2011-12-30 | 2013-08-08 | Gn Resound As | 音響信号の映像表示への同期性を向上させるシステム、補聴器、および方法 |
| US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
| US9386316B2 (en) | 2007-10-12 | 2016-07-05 | Qualcomm Incorporated | Adaptive coding of video block header information |
| JP2016213612A (ja) * | 2015-05-01 | 2016-12-15 | 日本テレビ放送網株式会社 | 映像信号伝送システム及び映像信号伝送方法 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5918225A (en) * | 1993-04-16 | 1999-06-29 | Sybase, Inc. | SQL-based database system with improved indexing methodology |
| US7012630B2 (en) * | 1996-02-08 | 2006-03-14 | Verizon Services Corp. | Spatial sound conference system and apparatus |
| US6212208B1 (en) * | 1996-11-11 | 2001-04-03 | Matsushita Electric Industrial Co., Ltd. | Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data |
| EP2175666B1 (en) * | 1996-12-04 | 2012-11-14 | Panasonic Corporation | Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| US6240094B1 (en) * | 1997-12-22 | 2001-05-29 | Bell Atlantic Network Services, Inc. | Statistical time division multiplexer for a wireless asymmetric local loop communication system |
| US6697632B1 (en) * | 1998-05-07 | 2004-02-24 | Sharp Laboratories Of America, Inc. | Multi-media coordinated delivery system and method |
| GB2357674B (en) * | 1999-10-26 | 2003-12-10 | Snell & Wilcox Ltd | Compressed bitstreams |
| GB0000874D0 (en) * | 2000-01-14 | 2000-03-08 | Koninkl Philips Electronics Nv | Latency handling for interconnected devices |
| US6912010B2 (en) * | 2002-04-15 | 2005-06-28 | Tektronix, Inc. | Automated lip sync error correction |
| JP4401063B2 (ja) * | 2002-09-11 | 2010-01-20 | シャープ株式会社 | 映像音声伝送送信装置及びそれを備えた映像音声伝送システム |
| DE10302228A1 (de) * | 2003-01-20 | 2004-08-05 | Siemens Ag | Verfahren zur Synchronisation in heterogenen Netzen |
| US7512851B2 (en) * | 2003-08-01 | 2009-03-31 | Syntest Technologies, Inc. | Method and apparatus for shifting at-speed scan patterns in a scan-based integrated circuit |
| US6816093B1 (en) | 2003-12-03 | 2004-11-09 | International Business Machines Corporation | Apparatus method and system for increased digital media recording throughput |
| US20070047590A1 (en) * | 2005-08-26 | 2007-03-01 | Nokia Corporation | Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream |
| KR101841313B1 (ko) | 2010-09-22 | 2018-03-22 | 톰슨 라이센싱 | 멀티미디어 흐름 처리 방법 및 대응하는 장치 |
| KR101682508B1 (ko) * | 2010-10-13 | 2016-12-07 | 삼성전자주식회사 | 라우팅 장치 및 네트워크 장치 |
| US8643696B2 (en) * | 2011-01-19 | 2014-02-04 | Broadcom Corporation | Synchronizing media streams using time signal(s) from an independent time source |
| JP2016096523A (ja) * | 2014-11-17 | 2016-05-26 | 富士通株式会社 | 無線通信装置及びタイミング制御方法 |
| JP6949970B2 (ja) * | 2016-10-11 | 2021-10-13 | ゲノムシス エスアー | バイオインフォマティクスデータを送信する方法及びシステム |
| US10063907B1 (en) * | 2017-06-06 | 2018-08-28 | Polycom, Inc. | Differential audio-video synchronization |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3732111A1 (de) * | 1987-09-24 | 1989-04-06 | Bosch Gmbh Robert | Verfahren zur laufzeitanpassung von video- und audiosignalen an ein referenzsignal |
| FR2621767A1 (fr) * | 1987-10-12 | 1989-04-14 | Guichard Jacques | Systeme de transmission d'image et de son |
| US5157491A (en) * | 1988-10-17 | 1992-10-20 | Kassatly L Samuel A | Method and apparatus for video broadcasting and teleconferencing |
| US5508733A (en) * | 1988-10-17 | 1996-04-16 | Kassatly; L. Samuel A. | Method and apparatus for selectively receiving and storing a plurality of video signals |
| US5231492A (en) * | 1989-03-16 | 1993-07-27 | Fujitsu Limited | Video and audio multiplex transmission system |
| US5050167A (en) * | 1989-08-10 | 1991-09-17 | Bell Communications Research, Inc. | Timing extraction in multiplexed multichannel high speed fiber optic transmission system |
| WO1994000934A1 (en) * | 1992-06-29 | 1994-01-06 | Baxter Diagnostics Inc. | High-speed time-multiplexed data transmission system |
| US5287182A (en) * | 1992-07-02 | 1994-02-15 | At&T Bell Laboratories | Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks |
| CA2107727C (en) * | 1992-10-07 | 1999-06-01 | Hiroaki Ueda | Synchronous compression and reconstruction system |
| GB9224622D0 (en) * | 1992-11-24 | 1993-01-13 | British Broadcasting Corp | Synchronisation of audio and video signals |
| JP3002348B2 (ja) * | 1992-11-30 | 2000-01-24 | シャープ株式会社 | 画像通信システム |
| JP3255308B2 (ja) * | 1992-12-18 | 2002-02-12 | ソニー株式会社 | データ再生装置 |
| US5486864A (en) * | 1993-05-13 | 1996-01-23 | Rca Thomson Licensing Corporation | Differential time code method and apparatus as for a compressed video signal |
| EP0739558B1 (en) * | 1993-06-09 | 2003-04-16 | BTG International Inc. | Method and apparatus for multiple media digital communication system |
| US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
| US5451942A (en) * | 1994-02-04 | 1995-09-19 | Digital Theater Systems, L.P. | Method and apparatus for multiplexed encoding of digital audio information onto a digital audio storage medium |
| US5506844A (en) * | 1994-05-20 | 1996-04-09 | Compression Labs, Inc. | Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth |
-
1995
- 1995-05-22 US US08/445,854 patent/US5751694A/en not_active Expired - Lifetime
-
1996
- 1996-05-20 DE DE19620186A patent/DE19620186B4/de not_active Expired - Lifetime
- 1996-05-21 GB GB9610626A patent/GB2301265B/en not_active Expired - Lifetime
- 1996-05-22 JP JP12735196A patent/JP3809220B2/ja not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998010557A1 (en) * | 1996-09-05 | 1998-03-12 | Matsushita Electric Industrial Co,. Ltd. | Transmitter, receiver, transmission system, sending method, receiving method, and transmitting method |
| US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
| US9386316B2 (en) | 2007-10-12 | 2016-07-05 | Qualcomm Incorporated | Adaptive coding of video block header information |
| JP2013153428A (ja) * | 2011-12-30 | 2013-08-08 | Gn Resound As | 音響信号の映像表示への同期性を向上させるシステム、補聴器、および方法 |
| JP2016213612A (ja) * | 2015-05-01 | 2016-12-15 | 日本テレビ放送網株式会社 | 映像信号伝送システム及び映像信号伝送方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| HK1014817A1 (en) | 1999-09-30 |
| DE19620186A1 (de) | 1996-12-19 |
| JP3809220B2 (ja) | 2006-08-16 |
| GB2301265B (en) | 2000-02-09 |
| GB2301265A (en) | 1996-11-27 |
| DE19620186B4 (de) | 2012-02-16 |
| US5751694A (en) | 1998-05-12 |
| GB9610626D0 (en) | 1996-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3809220B2 (ja) | 伝送システム及び伝送方法 | |
| CA2159847C (en) | Coded domain picture composition for multimedia communications systems | |
| JP3002348B2 (ja) | 画像通信システム | |
| US5623312A (en) | Compressed-domain bit rate reduction system | |
| EP0618734B1 (en) | Picture signal processing | |
| US6031575A (en) | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium | |
| JP3371191B2 (ja) | 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置 | |
| JP2005524304A (ja) | ビデオ符号化システムにおける量子化器パラメータを表示するための方法および装置 | |
| JPH11225168A (ja) | 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置 | |
| JP2003199045A (ja) | 情報記録信号の生成方法、情報信号の再生方法、情報信号の伝送方法、情報記録信号生成装置、情報信号再生装置、情報信号伝送装置、情報信号記録媒体、及び情報信号伝送用プログラム | |
| EP0805600A2 (en) | Compressed video text overlay | |
| US6441841B1 (en) | Picture combining technique in multipoint control unit | |
| JPH1118083A (ja) | ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法 | |
| JPH10178639A (ja) | 画像コーデック部および画像データ符号化方法 | |
| US5900906A (en) | Image communication apparatus having automatic answering and recording function | |
| WO2002005558A1 (en) | Multimedia communication terminal | |
| JP3469866B2 (ja) | 符号化ビデオピクチャのデータストリームのビットレートを変化させる方法 | |
| JP3927606B2 (ja) | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 | |
| KR100754736B1 (ko) | 영상 수신 시스템에서 영상 프레임의 재생 방법 및 그 장치 | |
| JPH08191434A (ja) | 動画/音声符号化データ多重化方法及び動画/音声符号化データ多重化装置 | |
| JPH0823539A (ja) | 高能率符号化におけるトランスコーダ装置 | |
| JP2596333B2 (ja) | 画像符号化復号化装置及び画像リフレッシュ方法 | |
| JPH09130263A (ja) | データ通信装置、符号化装置及び復号化装置 | |
| JP2002204451A (ja) | 符号圧縮化/データ変換装置及び符号圧縮化/データ変換方法 | |
| JPH11346348A (ja) | 映像音声同期方法及び映像音声多重化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050928 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20051011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090526 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100526 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110526 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120526 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130526 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |