JPH0795242A - 通信端末及び通信方法 - Google Patents
通信端末及び通信方法Info
- Publication number
- JPH0795242A JPH0795242A JP6016058A JP1605894A JPH0795242A JP H0795242 A JPH0795242 A JP H0795242A JP 6016058 A JP6016058 A JP 6016058A JP 1605894 A JP1605894 A JP 1605894A JP H0795242 A JPH0795242 A JP H0795242A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- data unit
- digital audio
- data
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/64—Hybrid switching systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
オ情報との同期を取る通信端末を提供する。 【構成】 ビデオ会議を行うための両端末間のオーディ
オ通信は音声をディジタル化してこれをパケット方式デ
ータ・ネットワーク経由で送信する。ビデオ会議に参加
する各当事者は、マウスまたはボールなどによって制御
されるポインタを用いて相手方の注意をスクリーン上の
対象物に向けさせる。マルチプレクサにより、各当事者
のポインタの座標はディジタル化音声を含むデータ・パ
ケットに取り込まれて相手方端末に送信される。これに
よりポインタ情報をディジタル化音声に同期させること
が出来る。
Description
オ会議システムに用いられる通信端末装置に関するもの
である。
ンピュータを使用することにより異なる場所にいる個人
間で対話型の共同作業を行う設備を提供する。ユーザは
通常のビデオ会議システムの中に別々のデータ・リンク
およびオーディオ・リンクを持っていることがある。ユ
ーザが両者の影像を表す可視的データを用いて共同作業
を進めるようなアプリケーションに関するデータはパケ
ット方式のデータ・ネットワークを介して交換される。
オーディオ・リンクおよびデータ・リンクは電話ネット
ワークおよびパケット方式データ・ネットワークを用い
て設定されるのが普通である。
ロジェクトの財務計画の討論に関することもあり、この
プロジェクトに関して両者は財務モデルを持っていて、
例えば普通良く行われるように黒板の上に計算表を広げ
てこれを扱うこともある。各ユーザは自己の通信端末ま
たはビデオ会議端末のスクリーン上に関係する財務モデ
ルのコピーを有することになるであろうが、モデルの操
作については一方のユーザだけしか全体的に支配するこ
とができない。つまり一方のユーザだけがモデルに変更
を加えることができることになる。討論および対話はデ
ータ・リンクおよびオーディオ・リンクを用いて行われ
る。発言者は、マウス、その他の入力装置によって制御
されるポインタを用いて聞き手の注意をモデルの特定の
事項に引きつける。両者のポインタは両方の端末スクリ
ーンに同時に表示される。両者のスクリーンへのポイン
タの同時表示はパケット方式データ・ネットワークを介
してポインタの位置を交換することによって行われる。
パケット方式データ・ネットワークは交換型でも非交換
型でも良い。会議への参加者がシステムをリアルタイム
であるように感じとり、また対話の感覚を感じとるよう
にするために、ポインタ一位置の座標は毎秒15乃至2
5回交換されることが必要である。
常パケット方式データ・ネットワークを介して行われ
る。このことはオーディオ情報が電話ネットワークを介
して交換されるのと対照的である。電話ネットワークの
場合には通信は殆ど瞬時的であるが、パケット方式デー
タ・ネットワークの場合には端点間の遅延またはネット
ワークの待ちが常に存在する。
同時に「これを見て下さい」と言いながらモデルの特定
の事項に聞き手の注意を向けようとするが、ネットワー
ク待ちのために発言者端末のポインタの現位置に対応す
る新しいポインタ座標が、これを言った時点では聞き手
の端末に未だ到着していないと言う事態が生じる可能性
がある。これが生じると、モデルのどのような事項であ
れ、発言者の古いポインタ位置座標が指し示していた事
項に聞き手の注意が向けられ、このために両者の間に誤
解の余地が生じることになる。
端末の諸問題を緩和するビデオ会議端末を提供すること
にある。
いて、表示手段と、ディジタル・オーディオ・データ単
位を発生する手段と、入力手段と、該入力手段に応答し
てポインタ位置データ単位を発生する手段と、パケット
方式データ・ネットワークを介してデータ・パケットを
遠隔端末に送信する手段と、を有する送信端末であっ
て、ディジタル・オーディオ・データ単位およびポイン
ター位置データ単位をマルチプレクサに与える手段と、
上記与えられたディジタル・オーディオ・データ単位お
よびポインター位置データ単位を同じデータ・パケット
の中に多重化して詰め込み、これにより上記パケット方
式データ・ネットワークを介して送信するための合成デ
ータ・パケットを形成する手段と、を更に含むことを特
徴とする送信端末が提供される。
るためには適当な受信端末が必要とされる。
表示手段を有する受信端末が提供され、この受信端末
は、パケット方式データ・ネットワークを介して遠隔端
末から、多重化されたディジタル・オーディオ・データ
単位およびポインター位置データ単位より成る合成デー
タ・パケットを受信する手段と、上記受信した合成デー
タ・パケットを別々のディジタル・オーディオ・データ
単位およびポインター位置データ単位となるように解多
重化する手段と、上記解多重化したディジタル・オーデ
ィオ・データ単位およびポインター位置データ単位を上
記表示手段および音声合成手段に与える手段と、上記デ
ィジタル・オーディオ・データ単位およびポインター位
置データ単位を利用して上記遠隔端末の表示手段上のポ
インタの現在位置を反映するポインタを表示しかつ上記
音声合成手段を介して音声を発生し、これにより上記ポ
インタの表示を上記遠隔端末からの上記ディジタル・オ
ーディオの出力と実質的に同期させる手段と、を含むこ
とを特徴とする。
み込まれるならば経済的に成り立つ可能性がより高い本
発明の実施例が実現されることが判る。
示手段と、ディジタル・オーディオ・データ単位を発生
する手段と、入力手段と、該入力手段に応答してポイン
タ位置データ単位を発生する手段と、パケット方式デー
タ・ネットワークを介してデータ・パケットを遠隔端末
に送信する手段と、を有する通信端末が提供され、この
通信端末は、ディジタル・オーディオ・データ単位およ
びポインター位置データ単位をマルチプレクサに与える
手段と、上記与えられたディジタル・オーディオ・デー
タ単位およびポインター位置データ単位を同じデータ・
パケットの中に多重化して詰め込み、これにより上記パ
ケット方式データ・ネットワークを介して送信するため
の合成データ・パケットを形成する手段と、パケット方
式データ・ネットワークを介して遠隔端末から、多重化
されたディジタル・オーディオ・データ単位およびポイ
ンター位置データ単位より成る合成データ・パケットを
受信する手段と、上記受信した合成データ・パケットを
別々のディジタル・オーディオ・データ単位およびポイ
ンター位置データ単位となるように解多重化する手段
と、上記解多重化したディジタル・オーディオ・データ
単位およびポインター位置データ単位を上記表示手段お
よび音声合成手段に与える手段と、上記ディジタル・オ
ーディオ・データ単位およびポインター位置データ単位
を利用して上記遠隔端末の表示手段上のポインタの現在
位置を反映するポインタを表示しかつ上記音声合成手段
を介して音声を発生し、これにより上記ポインタの表示
を上記遠隔端末からの上記ディジタル・オーディオの出
力と実質的に同期させる手段と、を含むことを特徴とす
る。
及びこれに伴うポインタ情報を通信する方法が提供さ
れ、この方法は送信されるべき音からディジタル・オー
ディオ・データ単位およびポインタの物理的位置を表す
ポインター位置データ単位を発生するステップを含み、
更に、ディジタル・オーディオ・データ単位およびポイ
ンター位置データ単位をマルチプレクサに与えるステッ
プと、上記与えられたディジタル・オーディオ・データ
単位およびポインター位置データ単位を同じデータ・パ
ケットの中に多重化して詰め込み、これにより上記パケ
ット方式データ・ネットワークを介して送信するための
合成データ・パケットを形成するステップと、を含むこ
とを特徴とする。
及びこれに伴うポインタ情報を通信する方法が提供さ
れ、この方法は、上記遠隔端末から送信された音を表す
ディジタル・オーディオ・データ単位および上記遠隔端
末におけるポインタの物理的位置を表すポインター位置
データ単位を多重化したものより成る合成データ・パケ
ットを遠隔端末からパケット方式データ・ネットワーク
を介して受信するステップと、上記受信した合成データ
・パケットを別々のディジタル・オーディオ・データ単
位およびポインター位置データ単位となるように解多重
化するステップと、上記解多重化したディジタル・オー
ディオ・データ単位およびポインター位置データ単位を
上記表示手段および音声合成手段に与えるステップと、
上記ディジタル・オーディオ・データ単位およびポイン
ター位置データ単位を利用して上記遠隔端末の表示手段
上のポインタの現在位置を反映するポインタを表示しか
つ上記音声合成手段を介して音声を発生し、これにより
上記ポインタの表示を上記遠隔端末からの上記ディジタ
ル・オーディオの出力と実質的に同期させるステップ
と、を含むことを特徴とする。
及びこれに伴うポインタ情報を通信する方法が提供さ
れ、この方法は、上記遠隔端末から送信された音を表す
ディジタル・オーディオ・データ単位および上記遠隔端
末におけるポインタの物理的位置を表すポインター位置
データ単位を発生するステップを含み、更に、ディジタ
ル・オーディオ・データ単位およびポインター位置デー
タ単位をマルチプレクサに与えるステップと、上記与え
られたディジタル・オーディオ・データ単位およびポイ
ンター位置データ単位を同じデータ・パケットの中に多
重化して詰め込み、これにより上記パケット方式データ
・ネットワークを介して送信するための合成データ・パ
ケットを形成するステップと、パケット方式データ・ネ
ットワークを介して遠隔端末から、多重化されたディジ
タル・オーディオ・データ単位およびポインター位置デ
ータ単位より成る合成データ・パケットを受信するステ
ップと、上記受信した合成データ・パケットを別々のデ
ィジタル・オーディオ・データ単位およびポインター位
置データ単位となるように解多重化するステップと、上
記解多重化したディジタル・オーディオ・データ単位お
よびポインター位置データ単位を上記表示手段および音
声合成手段に与える手段と、上記ディジタル・オーディ
オ・データ単位およびポインター位置データ単位を利用
して上記遠隔端末の表示手段上のポインタの現在位置を
反映するポインタを表示しかつ上記音声合成手段を介し
て音声を発生し、これにより上記ポインタの表示を上記
遠隔端末からの上記ディジタル・オーディオの出力と実
質的に同期させるステップを含むことを特徴とする。
テムに用いられる2つの通信端末表示装置100及び1
10が概略図示されている。各表示装置はポインタ12
0および130、他方の端末のポインタのコピー150
および140、黒板上の計算表のコピー160および1
70を有するものであることが判る。両者はこの計算表
を用いて共同作業しようとするものとする。各通信端末
はパケット方式データ・ネットワーク180に接続され
ている。ネットワーク待ちのため一方の端末のポインタ
120と他方の端末のポインタのコピー150は異なる
位置になる可能性がある。
ムの概要が図示されている。端末200および210の
ユーザはパケット方式データ・ネットワーク180を介
して普通のやりかたでデータを交換する。交換ネットワ
ークの場合、各通信端末200、210および295は
パケット交換機220、230または240を介してパ
ケット方式データ・ネットワーク180に接続される。
通信端末200および210はパケット交換機220及
び230を利用することが判る。パケット方式データ・
ネットワーク180内において、それに接続された端末
間のネットワークを介して何等の物理的接続がなされて
いないことがある。従って、端末200および210間
で交換されるすべてのデータはソース・アドレスおよび
宛先アドレスを有するパケットの中に組み込まれて普通
の方法で伝送される。各パケットは端末が接続されてい
るパケット交換機を介してパケット方式データ・ネット
ワーク180に提出される。パケット交換機は通常各ネ
ットワーク・アドレスによって利用される出リンク27
0、280、290を指示する経路ディレクトリを持っ
ている。各パケットを受信するとパケット交換機は通常
のストア・アンド・フォーワード方式でそのパケットを
適正なリンクに送る。この結果、端末200および21
0のユーザ間の通信の間に、あるパケットは交換機24
0を経由し、他のパケットはこれより直接的な経路を経
由することが考えられ、これにより追加の遅延が生じる
ことがある。
ト交換データ・ネットワークを参照しているが、本発明
がこれに限定されるものでないことは勿論である。本発
明はローカル・エリア・ネットワークのような非交換デ
ータ・ネットワークを用いても等しく良好に実施でき
る。
オーディオ通信を与えるために通常は使用される。電話
リンク250を介してなされるオーディオ交換と比べて
各データ・パケットを送るのには比較的大なる伝送遅延
に遭遇する可能性があることは明らかである。従って、
発言者が例えば「これを見て下さい」と言いながら、こ
れと同時にモデルの特定の事項をポインタで指し示すこ
とにより聞き手の注意をその事項に向けさせようとする
ような場合、声の通信は殆ど瞬時であるからこのとき聞
き手は発言者のポインタのコピーが現在指し示している
スクリーン上の項目を調べることになるが、このコピー
の位置は必ずしも最新の位置ではないと言うことがあり
得る。
711のような通常の手法に従ってオーディオをディジ
タル化し、パケット方式データ・ネットワークによる伝
送に適したパケットにこれを組み込むようなビデオ会議
システムがある。オーディオ・パケットやその他のデー
タ・パケットはパケット方式データ・ネットワークを介
して別々に伝送される。このため、あるタイプのパケッ
ト方式データ・ネットワークで採用されている伝送及び
経路指定手法が原因で、「これを見て下さい」というデ
ィジタル化発言を含むオーディオ・データ・パケット
が、ポインタ座標を含むデータ・パケットの相当期間前
または後に到着すると言うような事態が考えられる。こ
のため両者の間に誤解の余地が本来的に生じる可能性が
ここにもある。
が示されている。これは例えばボコーダ320及び表示
手段またはメモリ330からのディジタル化オーディオ
およびポインタ情報を受信するためのマルチプレクサ3
10、およびパケット方式データ・ネットワークによる
通信を可能ならしめるネットバイオス340を有する。
マルチプレクサ310はボコーダ320からのディジタ
ル化オーディオのブロックを受信してこれをパケット方
式データ・ネットワークによる伝送に適したデータ・パ
ケットに取り込む。ここで述べられる本発明の実施例に
おいては、ディジタル化オーディオのブロックは毎秒約
50の割合で生じる。ディジタル化オーディオの各ブロ
ックはしたがって約20ミリ秒の発声に相当する。会話
は概して連続的でないので、本発明の更に別の実施例で
はマルチプレクサ310が発声に応答してディジタル化
オーディオ・データおよびポインタ位置データを発声の
検出時のみ多重化するようにされている。マルチプレク
サ310は伝送用の各データ・パケットにディジタル化
オーディオ・ブロック及び現在のポインタ位置座標を含
んでいる。このポインタ位置座標はディジタル化オーデ
ィオ・ブロックの終わりに付随している。ポインタ位置
座標のサンプリング率は毎秒約25回である。1より多
くのパケットにポインタ位置座標を含ませることにより
パケットが消失したときの効果が軽減される。ポインタ
位置座標のサンプリング率は、ディジタル化オーディオ
・ブロックのサンプリング率に合わせてオーディオとビ
デオとの同期を変えるようにするか、または本発明をチ
ャネルの帯域幅制約に合わせるように変えることができ
る。
ンタ位置座標がディジタル化オーディオ・ブロックの終
わりに付随しているが、これに限られるものでないこと
は勿論である。ポインタ位置座標およびディジタル化オ
ーディオ・ブロックのその他の配置を用いて本発明を等
しく良好に実施できることは勿論である。
がマルチプレクサに上記ディジタル化オーディオ・デー
タ単位及びポインタ位置データ単位を与える手段をなす
ことが判るであろう。適当な命令と共にマイクロプロセ
ッサを用いるかまたは専用のハードウエアを用いること
によりマルチプレクサを実現することができ、これが上
記与えられたディジタル化オーディオ・データ単位およ
びポインタ位置データ単位をパケット方式データ・ネッ
トワークでの伝送のため同じパケットに多重化して詰め
込む手段を与えるようにすることが出来ることも当業者
にとっては明らかであろう。ここで述べられた本発明の
実施例は合成データ・パケットを作るためにマルチプレ
クサを利用しているが、これに限られるものでないこと
は当業者にとって明らかであろう。ディジタル化オーデ
ィオ・データ単位およびポインタ位置データ単位を同じ
データ・パケットに配置する何らかの別の手段を用いる
ことによってこれは同様に良好に実現されうる。
の注意をモデルの特定の事項及び発言者の現在のポイン
タ位置に向けさせるために、ポインタの座標は聞き手に
送られるディジタル化音声が入っているすべてのデータ
・パケットに包含される。個の実施例ではポインタ座標
が各データ・パケットに入れられるが、本発明はこれに
限定されるものでないことに留意されたい。これはその
他の周期性または規則的間隔を用いて同様に実現するこ
とが出来る。
タ・ネットワーク180から合成データ・パケットが受
信される。ネットバイオス340または360は多重化
されたディジタル化オーディオ・データ単位およびポイ
ンタ位置データ単位より成る合成データ・パケットを遠
隔端末からパケット方式データ・ネットワークを介して
受信する手段を構成する。合成データ・パケットは解多
重化されてディジタル化オーディオ・データ単位および
ポインタ位置データ単位に分離される。合成データ・パ
ケットを解多重化してディジタル化オーディオ・データ
単位およびポインタ位置データ単位に分離する手段は、
適当な命令を実行するマイクロプロセッサまたは専用ハ
ードウエアにより構成されうることは当業者にとって明
らかである。ディジタル化オーディオ・データ単位及び
ポインタ位置データ単位はボコーダ及び表示手段または
その他の適当な装置にその後出力するために与えられ
る。与えられたディジタル化オーディオ・データ単位お
よびポインタ位置データ単位を利用して上記遠隔端末の
表示手段上のポインタの現在位置を反映するポインタを
表示し、上記音声合成手段によって音声を発生させて、
これのよりポインタの表示を上記遠隔端末からのディジ
タル化オーディオの出力に実質的に同期させるための手
段が、適当な命令を与えられて動作するマイクロプロセ
ッサにより実施できることもまた当業者にとって明らか
であろう。
ク弐よる伝送に適した本発明の合成データ・パケット4
00が図示されている。このデータ・パケットは通常の
ソース・アドレス410および宛先アドレス420、デ
ィジタル化オーディオ・データ430(これは例えばC
CITT勧告G.711に従ってヂジタル化されてい
る)、および縦軸座標440および横軸座標450で表
した最新のポインタ位置座標を含んでいる。ここで述べ
られる実施例においては合計4バイトがポインタの座標
を表すのに用いられる。合成データ・パケット内のディ
ジタル化オーディオ・データ単位およびポインタ位置デ
ータ単位の配置は重要でない。
て伝送された合成データ・パケット400は遠隔端末に
おいて解多重化されることになる。パケットの中の種々
のマルチメディア・データが抽出される。各合成パケッ
トにポインタ位置データ単位およびディジタル化オーデ
ィオ・データ単位を詰め込みこれによってオーディオ・
データとポインタ・データとを同期させた結果、相手方
端末のポインタのコピーの位置は、遠隔端末で表示され
るとき、ディジタル化オーディオ・データが解読される
前にまたはその解読出力と殆ど同時に更新される。
るためにはディジタル・オーディオとポインタの表示の
正確な一時的同期は必要でないことが当業者に理解され
るである。ヒューマン・ファクタが関係するので、、2
つの出力が両者によってほぼ同期しているものと感得す
る或程度の許容範囲がある。例えば、唇の同期には約1
0ないし20ミリ秒の許容範囲があり、高速写真ではマ
イクロ秒単位の許容範囲となる。また、多くのマルチメ
ディア・アプリケーションはIBM社のプレゼンテーシ
ョン・マネジャーのようなウインドウ機能を利用するの
で、本発明が組み込まれたシステムで行われる動作の観
点からはポインタ情報は高い優先順位を持っている。こ
の結果、ポインタ位置がディジタル化オーディオの出力
の前に更新される可能性が高くなる。
ステムに固有な優先処理方式が適切な同期を達成するの
に不十分である場合には、本発明を別の形で実施するこ
とが出来、この場合ディジタル化オーディオおよびポイ
ンタ表示の両方とも、マイクロプロセッサまたはその他
の制御装置の制御によって共通ラッチ信号を用いてそれ
ぞれの出力装置に同時にラッチされる。
情報とポインタ情報の同期に関して記述されたが、本発
明の教示がこのような同期を必要とする任意のその他の
パケット方式のアプリケーションに等しく利用されうる
ことは当業者にとって明らかであろう。
ポインタ表示との間の同期を有利な形で提供する。
信通信端末に接続された送信通信端末は1対複数の指名
方式を有利な形で提供する。
つの通信端末の概要を示す、
ークを介して送信されるべきデータを収容するデータ・
パケット構造の1例を示す。 符号の説明 100、110:表示装置 160、170:計算表 120、130:ポインタ 140、150:ポインタのコピー 180 :パケット方式データ・ネットワーク 200、210:通信端末 220、230:パケット交換機 320 :ボコーダ 330 :表示装置 310 :マルチプレクサ 340 :ネットバイオス 410 :ソース・アドレス 420 :宛先アドレス 430 :ディジタル化オーディオ・データ 440 :ポインタ縦軸座標 450 :ポインタ横軸座標
Claims (14)
- 【請求項1】表示手段と、ディジタル・オーディオ・デ
ータ単位を発生する手段と、入力手段と、該入力手段に
応答してポインタ位置データ単位を発生する手段と、パ
ケット方式データ・ネットワークを介してデータ・パケ
ットを遠隔端末に送信する手段と、を有する送信端末で
あって、 ディジタル・オーディオ・データ単位およびポインター
位置データ単位をマルチプレクサに与える手段と、 上記与えられたディジタル・オーディオ・データ単位お
よびポインター位置データ単位を同じデータ・パケット
の中に多重化して詰め込み、これにより上記パケット方
式データ・ネットワークを介して送信するための合成デ
ータ・パケットを形成する手段と、 を更に含むことを特徴とする送信端末。 - 【請求項2】表示手段を有する受信端末であって、 パケット方式データ・ネットワークを介して遠隔端末か
ら、多重化されたディジタル・オーディオ・データ単位
およびポインター位置データ単位より成る合成データ・
パケットを受信する手段と、 上記受信した合成データ・パケットを別々のディジタル
・オーディオ・データ単位およびポインター位置データ
単位となるように解多重化する手段と、 上記解多重化したディジタル・オーディオ・データ単位
およびポインター位置データ単位を上記表示手段および
音声合成手段に与える手段と、 上記ディジタル・オーディオ・データ単位およびポイン
ター位置データ単位を利用して上記遠隔端末の表示手段
上のポインタの現在位置を反映するポインタを表示しか
つ上記音声合成手段を介して音声を発生し、これにより
上記ポインタの表示を上記遠隔端末からの上記ディジタ
ル・オーディオの出力と実質的に同期させる手段と、 を更に含むことを特徴とする受信端末。 - 【請求項3】表示手段と、ディジタル・オーディオ・デ
ータ単位を発生する手段と、入力手段と、該入力手段に
応答してポインタ位置データ単位を発生する手段と、パ
ケット方式データ・ネットワークを介してデータ・パケ
ットを遠隔端末に送信する手段と、を有する通信端末で
あって、 ディジタル・オーディオ・データ単位およびポインター
位置データ単位をマルチプレクサに与える手段と、 上記与えられたディジタル・オーディオ・データ単位お
よびポインター位置データ単位を同じデータ・パケット
の中に多重化して詰め込み、これにより上記パケット方
式データ・ネットワークを介して送信するための合成デ
ータ・パケットを形成する手段と、 パケット方式データ・ネットワークを介して遠隔端末か
ら、多重化されたディジタル・オーディオ・データ単位
およびポインター位置データ単位より成る合成データ・
パケットを受信する手段と、 上記受信した合成データ・パケットを別々のディジタル
・オーディオ・データ単位およびポインター位置データ
単位となるように解多重化する手段と、 上記解多重化したディジタル・オーディオ・データ単位
およびポインター位置データ単位を上記表示手段および
音声合成手段に与える手段と、 上記ディジタル・オーディオ・データ単位およびポイン
ター位置データ単位を利用して上記遠隔端末の表示手段
上のポインタの現在位置を反映するポインタを表示しか
つ上記音声合成手段を介して音声を発生し、これにより
上記ポインタの表示を上記遠隔端末からの上記ディジタ
ル・オーディオの出力と実質的に同期させる手段を含む
ことを特徴とする通信端末。 - 【請求項4】上記ディジタル化オーディオ・データ単位
およびポインタ位置データ単位は連続したデータ流から
取り出されることを特徴とする請求項1、2または3記
載の端末。 - 【請求項5】上記マルチプレクサは音声の発生に応答す
るものであることを特徴とする請求項1、2、3または
4記載の端末。 - 【請求項6】上記与えられたディジタル・オーディオ・
データ単位およびポインター位置データ単位を利用して
上記遠隔端末の表示手段上のポインタの現在位置を反映
するポインタを表示しかつ上記音声合成手段を介して音
声を発生し、これにより上記ポインタの表示を上記遠隔
端末からの上記ディジタル・オーディオの出力と実質的
に同期させる手段は、 上記解多重化されたデータ単位を出力装置内の適当なレ
ジスタにロードし、共通制御信号を利用して上記データ
単位をラッチする手段を更に含むことを特徴とする請求
項2、3、4または5記載の端末。 - 【請求項7】通信媒体を介して請求項2記載の受信端末
に接続された請求項1記載の送信端末から成ることを特
徴とするビデオ会議システム。 - 【請求項8】通信媒体を介して接続された請求項3記載
の通信端末の複数より成るビデオ会議システム。 - 【請求項9】音及びこれに伴うポインタ情報を通信する
方法であって、 送信されるべき音からディジタル・オーディオ・データ
単位を発生しかつポインタの物理的位置を表すポインタ
ー位置データ単位を発生するステップを含み、更に、 ディジタル・オーディオ・データ単位およびポインター
位置データ単位をマルチプレクサに与えるステップと、 上記与えられたディジタル・オーディオ・データ単位お
よびポインター位置データ単位を同じデータ・パケット
の中に多重化して詰め込み、これにより上記パケット方
式データ・ネットワークを介して送信するための合成デ
ータ・パケットを形成するステップと、 を含むことを特徴とする通信方法。 - 【請求項10】音及びこれに伴うポインタ情報を通信す
る方法であって、 上記遠隔端末から送信された音を表すディジタル・オー
ディオ・データ単位および上記遠隔端末におけるポイン
タの物理的位置を表すポインター位置データ単位を多重
化したものより成る合成データ・パケットを遠隔端末か
らパケット方式データ・ネットワークを介して受信する
ステップと、 上記受信した合成データ・パケットを別々のディジタル
・オーディオ・データ単位およびポインター位置データ
単位となるように解多重化するステップと、 上記解多重化したディジタル・オーディオ・データ単位
およびポインター位置データ単位を上記表示手段および
音声合成手段に与えるステップと、 上記ディジタル・オーディオ・データ単位およびポイン
ター位置データ単位を利用して上記遠隔端末の表示手段
上のポインタの現在位置を反映するポインタを表示しか
つ上記音声合成手段を介して音声を発生し、これにより
上記ポインタの表示を上記遠隔端末からの上記ディジタ
ル・オーディオの出力と実質的に同期させるステップ
と、 を含むことを特徴とする通信方法。 - 【請求項11】音及びこれに伴うポインタ情報を通信す
る方法であって、 伝送されるべき音声からディジタル・オーディオ・デー
タ単位を発生しかつポインタの物理的位置を表すポイン
ター位置データ単位を発生するステップを含み、更に、 上記ディジタル・オーディオ・データ単位およびポイン
ター位置データ単位をマルチプレクサに与えるステップ
と、 上記与えられたディジタル・オーディオ・データ単位お
よびポインター位置データ単位を同じデータ・パケット
の中に多重化して詰め込み、これにより上記パケット方
式データ・ネットワークを介して送信するための合成デ
ータ・パケットを形成するステップと、 パケット方式データ・ネットワークを介して遠隔端末か
ら、多重化されたディジタル・オーディオ・データ単位
およびポインター位置データ単位より成る合成データ・
パケットを受信するステップと、 上記受信した合成データ・パケットを別々のディジタル
・オーディオ・データ単位およびポインター位置データ
単位となるように解多重化するステップと、 上記解多重化したディジタル・オーディオ・データ単位
およびポインター位置データ単位を上記表示手段および
音声合成手段に与える手段と、 上記ディジタル・オーディオ・データ単位およびポイン
ター位置データ単位を利用して上記遠隔端末の表示手段
上のポインタの現在位置を反映するポインタを表示しか
つ上記音声合成手段を介して音声を発生し、これにより
上記ポインタの表示を上記遠隔端末からの上記ディジタ
ル・オーディオの出力と実質的に同期させるステップを
含むことを特徴とする通信方法。 - 【請求項12】上記ディジタル・オーディオ・データ単
位およびポインター位置データ単位は連続したデータ流
から取り出されることを特徴とする請求項9、10また
は11記載の通信方法。 - 【請求項13】上記多重化は音声の発生に応答すること
を特徴とする請求項9、10または11記載の通信方
法。 - 【請求項14】上記解多重化されたデータ単位を出力装
置内の適当なレジスタにロードし、共通制御信号を利用
して上記データ単位をラッチするステップを更に含むこ
とを特徴とする請求項10、11、12、13または1
4記載の通信方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9312481A GB2279204A (en) | 1993-06-17 | 1993-06-17 | Communication terminal |
| GB9312481.6 | 1993-06-17 | ||
| US08/261,548 US5526354A (en) | 1993-06-17 | 1994-06-17 | Packet communication terminal having synchronized audio and cursor data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0795242A true JPH0795242A (ja) | 1995-04-07 |
| JP2886437B2 JP2886437B2 (ja) | 1999-04-26 |
Family
ID=26303083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6016058A Expired - Lifetime JP2886437B2 (ja) | 1993-06-17 | 1994-02-10 | 通信端末及び通信方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5526354A (ja) |
| EP (1) | EP0634857B1 (ja) |
| JP (1) | JP2886437B2 (ja) |
| GB (1) | GB2279204A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7924891B2 (en) | 2000-11-15 | 2011-04-12 | Qualcomm, Incorporated | Method and apparatus for allocating data streams onto a single channel |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5736982A (en) * | 1994-08-03 | 1998-04-07 | Nippon Telegraph And Telephone Corporation | Virtual space apparatus with avatars and speech |
| JP2726630B2 (ja) * | 1994-12-07 | 1998-03-11 | インターナショナル・ビジネス・マシーンズ・コーポレイション | ゲートウェイ装置及びゲートウェイ方法 |
| US5604509A (en) * | 1995-04-14 | 1997-02-18 | Advent Design, Inc. | Remote display monitor system |
| KR100188084B1 (ko) * | 1995-05-12 | 1999-06-01 | 김광호 | 비디오 신호선을 이용한 오디오 데이타의 전달 장치 및 그 방법 |
| US6241612B1 (en) | 1998-11-09 | 2001-06-05 | Cirrus Logic, Inc. | Voice communication during a multi-player game |
| US8977683B2 (en) * | 2000-12-26 | 2015-03-10 | Polycom, Inc. | Speakerphone transmitting password information to a remote device |
| US7864938B2 (en) * | 2000-12-26 | 2011-01-04 | Polycom, Inc. | Speakerphone transmitting URL information to a remote device |
| US8948059B2 (en) * | 2000-12-26 | 2015-02-03 | Polycom, Inc. | Conference endpoint controlling audio volume of a remote device |
| US8964604B2 (en) * | 2000-12-26 | 2015-02-24 | Polycom, Inc. | Conference endpoint instructing conference bridge to dial phone number |
| US7221663B2 (en) * | 2001-12-31 | 2007-05-22 | Polycom, Inc. | Method and apparatus for wideband conferencing |
| US9001702B2 (en) * | 2000-12-26 | 2015-04-07 | Polycom, Inc. | Speakerphone using a secure audio connection to initiate a second secure connection |
| US7339605B2 (en) * | 2004-04-16 | 2008-03-04 | Polycom, Inc. | Conference link between a speakerphone and a video conference unit |
| JP4231698B2 (ja) * | 2001-05-10 | 2009-03-04 | ポリコム イスラエル リミテッド | 多地点マルチメディア/音声システムの制御ユニット |
| US8934382B2 (en) * | 2001-05-10 | 2015-01-13 | Polycom, Inc. | Conference endpoint controlling functions of a remote device |
| US8976712B2 (en) | 2001-05-10 | 2015-03-10 | Polycom, Inc. | Speakerphone and conference bridge which request and perform polling operations |
| US7668907B1 (en) | 2001-08-16 | 2010-02-23 | Microsoft Corporation | Method and system for selectively viewing participants of a multimedia network conference |
| US20040004942A1 (en) * | 2001-09-24 | 2004-01-08 | Teleware, Inc. | Multi-media communication management system having graphical user interface conference session management |
| US8934381B2 (en) * | 2001-12-31 | 2015-01-13 | Polycom, Inc. | Conference endpoint instructing a remote device to establish a new connection |
| US8144854B2 (en) * | 2001-12-31 | 2012-03-27 | Polycom Inc. | Conference bridge which detects control information embedded in audio information to prioritize operations |
| US8102984B2 (en) | 2001-12-31 | 2012-01-24 | Polycom Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
| US8023458B2 (en) * | 2001-12-31 | 2011-09-20 | Polycom, Inc. | Method and apparatus for wideband conferencing |
| US8223942B2 (en) | 2001-12-31 | 2012-07-17 | Polycom, Inc. | Conference endpoint requesting and receiving billing information from a conference bridge |
| US7787605B2 (en) * | 2001-12-31 | 2010-08-31 | Polycom, Inc. | Conference bridge which decodes and responds to control information embedded in audio information |
| US8705719B2 (en) | 2001-12-31 | 2014-04-22 | Polycom, Inc. | Speakerphone and conference bridge which receive and provide participant monitoring information |
| US7742588B2 (en) | 2001-12-31 | 2010-06-22 | Polycom, Inc. | Speakerphone establishing and using a second connection of graphics information |
| US7978838B2 (en) * | 2001-12-31 | 2011-07-12 | Polycom, Inc. | Conference endpoint instructing conference bridge to mute participants |
| US8885523B2 (en) * | 2001-12-31 | 2014-11-11 | Polycom, Inc. | Speakerphone transmitting control information embedded in audio information through a conference bridge |
| US20050213726A1 (en) * | 2001-12-31 | 2005-09-29 | Polycom, Inc. | Conference bridge which transfers control information embedded in audio information between endpoints |
| US8947487B2 (en) * | 2001-12-31 | 2015-02-03 | Polycom, Inc. | Method and apparatus for combining speakerphone and video conference unit operations |
| JP3825416B2 (ja) * | 2003-04-14 | 2006-09-27 | 国立大学法人北陸先端科学技術大学院大学 | データ同期方法、データ同期システム及びデータ同期プログラム |
| US7619994B2 (en) * | 2003-11-26 | 2009-11-17 | Nortel Networks Limited | Adapter for use with a tandem-free conference bridge |
| US8199791B2 (en) * | 2005-06-08 | 2012-06-12 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with enhanced concealment of data |
| US7796565B2 (en) | 2005-06-08 | 2010-09-14 | Polycom, Inc. | Mixed voice and spread spectrum data signaling with multiplexing multiple users with CDMA |
| US8126029B2 (en) * | 2005-06-08 | 2012-02-28 | Polycom, Inc. | Voice interference correction for mixed voice and spread spectrum data signaling |
| US8296662B2 (en) * | 2007-02-05 | 2012-10-23 | Brother Kogyo Kabushiki Kaisha | Image display device |
| US9565426B2 (en) | 2010-11-12 | 2017-02-07 | At&T Intellectual Property I, L.P. | Lip sync error detection and correction |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0244834A (ja) * | 1988-08-05 | 1990-02-14 | Toshiba Corp | テレビ会議装置 |
| JPH0413355A (ja) * | 1990-05-01 | 1992-01-17 | Hitachi Ltd | 通信端末装置 |
| JPH0537930A (ja) * | 1991-07-26 | 1993-02-12 | Nec Corp | テレビ会議システム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4589107A (en) * | 1982-11-30 | 1986-05-13 | Itt Corporation | Simultaneous voice and data communication and data base access in a switching system using a combined voice conference and data base processing module |
| US4769833A (en) * | 1986-03-31 | 1988-09-06 | American Telephone And Telegraph Company | Wideband switching system |
| US5119319A (en) * | 1989-12-14 | 1992-06-02 | Options Unlimited Research Corp. | Full-duplex video communication system |
| AU2788692A (en) * | 1991-10-21 | 1993-05-21 | Timesavers Limited | Computer-based drawing apparatus |
| US5392400A (en) * | 1992-07-02 | 1995-02-21 | International Business Machines Corporation | Collaborative computing system using pseudo server process to allow input from different server processes individually and sequence number map for maintaining received data sequence |
| US5408470A (en) * | 1993-10-14 | 1995-04-18 | Intel Corporation | Deferred synchronization of distributed objects |
-
1993
- 1993-06-17 GB GB9312481A patent/GB2279204A/en not_active Withdrawn
-
1994
- 1994-02-10 JP JP6016058A patent/JP2886437B2/ja not_active Expired - Lifetime
- 1994-06-14 EP EP94304281A patent/EP0634857B1/en not_active Expired - Lifetime
- 1994-06-17 US US08/261,548 patent/US5526354A/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0244834A (ja) * | 1988-08-05 | 1990-02-14 | Toshiba Corp | テレビ会議装置 |
| JPH0413355A (ja) * | 1990-05-01 | 1992-01-17 | Hitachi Ltd | 通信端末装置 |
| JPH0537930A (ja) * | 1991-07-26 | 1993-02-12 | Nec Corp | テレビ会議システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7924891B2 (en) | 2000-11-15 | 2011-04-12 | Qualcomm, Incorporated | Method and apparatus for allocating data streams onto a single channel |
Also Published As
| Publication number | Publication date |
|---|---|
| US5526354A (en) | 1996-06-11 |
| JP2886437B2 (ja) | 1999-04-26 |
| EP0634857B1 (en) | 2001-11-07 |
| GB2279204A (en) | 1994-12-21 |
| GB9312481D0 (en) | 1993-08-04 |
| EP0634857A2 (en) | 1995-01-18 |
| EP0634857A3 (en) | 1998-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2886437B2 (ja) | 通信端末及び通信方法 | |
| US7542068B2 (en) | Method and system for controlling multimedia video communication | |
| JP4352381B2 (ja) | テレビ電話装置 | |
| US6330022B1 (en) | Digital processing apparatus and method to support video conferencing in variable contexts | |
| US20060234193A1 (en) | Sign language interpretation system and a sign language interpretation method | |
| JPH10150647A (ja) | ビデオ会議システム | |
| WO1997008895A1 (en) | Chirological telephone system | |
| JPH09505448A (ja) | マルチメディアが可能とされたネットワーク | |
| US6621514B1 (en) | Video conferencing system | |
| JPH08228329A (ja) | 通信会議方法および通信会議端末装置 | |
| WO2003063484A1 (en) | Method and system for controlling multimedia video communication | |
| JPH0670040A (ja) | 多地点テレビ会議システムにおける表示形態変更方式 | |
| JPH06165173A (ja) | 仮想社交界実現システム | |
| JP2823571B2 (ja) | 分散多地点通信会議装置 | |
| ITTO940282A1 (it) | Unita' periferica per multivideoconferenza via satellite | |
| JPH10126757A (ja) | ビデオ会議システム | |
| JP2003339034A (ja) | ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム | |
| JP3189869B2 (ja) | 多地点テレビ会議システム | |
| JPH03270390A (ja) | 擬似動画tv電話 | |
| JP3278906B2 (ja) | 画像一斉切替制御装置及びグループ共有画像切替制御装置 | |
| JPS62108691A (ja) | 多地点間映像会議方式 | |
| JP2000022832A (ja) | 情報処理装置及び方法 | |
| JPH1013803A (ja) | 多地点テレビ会議制御装置 | |
| JPH07322231A (ja) | テレビ会議システム、端末装置及び共有画面表示制御装置 | |
| JPH0210635B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080212 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090212 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100212 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110212 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110212 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120212 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120212 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 15 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| EXPY | Cancellation because of completion of term |