JPH0865687A - 圧縮ビデオ・データの伸張システム - Google Patents

圧縮ビデオ・データの伸張システム

Info

Publication number
JPH0865687A
JPH0865687A JP7167312A JP16731295A JPH0865687A JP H0865687 A JPH0865687 A JP H0865687A JP 7167312 A JP7167312 A JP 7167312A JP 16731295 A JP16731295 A JP 16731295A JP H0865687 A JPH0865687 A JP H0865687A
Authority
JP
Japan
Prior art keywords
video data
decompression
decompressed
frame
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7167312A
Other languages
English (en)
Other versions
JP3892063B2 (ja
Inventor
Christopher Adams
クリストファ・アダムス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=23066248&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH0865687(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JPH0865687A publication Critical patent/JPH0865687A/ja
Application granted granted Critical
Publication of JP3892063B2 publication Critical patent/JP3892063B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【目的】圧縮ビデオ・データの複数の連続的なストリー
ムを伸張して、連続的で中断のない伸張ビデオ・データ
・ストリームを作成するビデオ伸張システム(100)
を提供する。 【構成】本システムは、各々が圧縮ビデオ・データ・バ
ッファ(121)を持つ複数の伸張回路(120)、復
号器(123)および伸張ビデオ・データバッファ(1
25)を有する。圧縮ビデオ・データ・バッファ(12
1)の各々は、入力スイッチ(105)に接続され、伸
張ビデオ・データ・バッファ(125)の各々は、出力
スイッチ(115)に接続される。コントローラ(11
0)が、システム(100)を操作する。伸張は伸張回
路のすべてで同時に実行できるので、各伸張回路(12
0)は、伸張されたビデオ・データが実際に必要となる
前に、いくつかのフレームを即時に表示できる状態で保
持することができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ビデオ・データおよび
ビデオ・データのユーザへの提供に関するもので、特
に、圧縮されたビデオ・データを伸張する方法と装置に
関するものである。
【0002】
【従来の技術】本明細書における説明の目的のため、ビ
デオ・データは、典型的には、記憶されたビデオ・プロ
グラムに含まれるビデオおよび音声データから構成され
るものとする。しかし、テキストやグラフィックスに限
らずその他のデータも、どんな形であれ本発明の動作ま
たは本明細書の記載に影響を及ぼすことなく、ビデオ・
データに含めることはできる。従って、本明細書におけ
るビデオ・データという呼称は、最も幅広い意味を持
つ。
【0003】ビデオ・データをユーザに提供するビデオ
・サーバーは、よく知られている。ビデオ・データが圧
縮されないままそのようなサーバーに記憶され、ユーザ
に送り出されるこはできるとはいえ、短いビデオ・プロ
グラムにおいてさえデータは多量であるため、ビデオ・
データは、通常、圧縮形式で記憶され、処理されること
を必要とする。ビデオ・データの圧縮と伸張を実行する
方法と装置は、よく知られている。
【0004】既知の圧縮形式の1つは、Motion Picture
Expert Group(動画専門家グループ)によって提唱さ
れているMPEGとして知られる形式である。MPEG
−1およびMPEG−2圧縮形式はともに知られている
が、両者の相違は、本発明に関係していない。
【0005】MPEG形式への圧縮は、物体または人が
動いているときでも、フレームからフレームへのビデオ
・データの変化は比較的少ないという事実に基づいてい
る。従って、各フレームに含まれるビデオ・データのす
べてを記憶する必要はない。むしろ、基礎フレームが記
憶された後、後続のフレームのそれぞれにおいて、変化
または移動した物体または人物を記述するビデオ・デー
タだけを記憶することによって、フレームを再作成する
ことができる。周期的に、ビデオ・データの完全なフレ
ームが記憶され、プロセスを再初期化する。このタイプ
のデータ圧縮は、動作補間と呼ばれる。
【0006】MPEG形式に圧縮されたビデオ・データ
は、3つのタイプのフレームからなる。第1は、内部符
号化フレーム(Intra coded frame)、略称I−フレーム
で、その特定のフレームを完全に記述するために必要と
されるすべてのビデオ・データを提供する。次は、予想
フレーム(Predicted frame)、略称P−フレームで、当
該P−フレームが最後(直前)のI−フレームまたはP
−フレームとどのように相違するかに関する情報のみを
提供する。最後は、両方向フレーム(Bidirectional fra
me)、略称B−フレームで、 当該B−フレームが先行し
たフレーム(IまたはP−フレーム)と後続のフレーム
(IまたはP−フレーム)の両方とどのように相違する
かに関する情報を提供する。B−フレームに含まれるビ
デオ・データの伸張は、前後のI−フレーム、IとP−
フレーム、または前後のP−フレームのいずれかの2つ
のフレームの伸張を必要とする。P−フレームの伸張
は、先行のPまたはI−フレームに含まれるビデオ・デ
ータを必要とする。典型的には、I−フレームを記憶す
るには、P−フレームの3倍のビットを必要とし、P−
フレームを記憶するには、B−フレームのほぼ3倍のビ
ットを必要とする。I、BおよびP−フレームの上記の
相対的必要記憶量は、比較の目的に対してだけ提示され
ているのであり、上記の相対的必要記憶量へ本発明を制
限する意味を含むものではない。
【0007】図1は、一連のMPEG圧縮ビデオ・デー
タ・フレームの典型的な伝送と表示の順序を示す。P−
フレームが、複合されるI−フレームに含まれるビデオ
・データを必要とし、B−フレームが、復号されるI−
フレーム、P−フレームのいずれかまたは両方のビデオ
・データを必要とするので、圧縮されたMPEGフレー
ムの伝送順序は、伸張されたMPEGフレームの表示順
序と異なる。伝送フレームと表示フレームはともに、I
−フレームで始まり、後続のI−フレームは、ほぼ15
フレーム毎に発生する。伝送の間、2つのB−フレーム
の前に、1つのP−フレームがある。表示の時、最初の
I−フレームの後、2つのB−フレームが続き、次に、
P−フレームが続く。B−フレームもP−フレームも、
I−フレームの参照なしには伸張できないので、すべて
の圧縮されたビデオ・データ・ストリームは、I−フレ
ームから始まらなければならない。
【0008】MPEGビデオ・データ・ストリームを復
号するための既知のアーキテクチャが、図2に示されて
いる。伸張システム10は、圧縮ビデオ・データ・バッ
ファ11、復号器13および伸張ビデオ・データ・バッ
ファ17から構成される。入力バス15が、圧縮された
MPEGビデオ・データのストリームをバッファ11に
提供する。バス15がビデオ・データを固定された速度
で提供するので、復号器13がビデオ・データの伸張を
開始できる十分なビデオ・データがバッファ11に記憶
されるまで、若干の時間が経過する。
【0009】復号器13が伸張を開始できる十分なビデ
オ・データがバッファ11に入るまで、1定の待ち時間
が存在する。この待ち時間を、本明細書では、バッファ
充填待ち時間と呼ぶ。MPEGビデオ・データの性質
上、長めの待ち時間が起きることもある。B−フレーム
が伸張される前に、2つのI−フレーム、IとP−フレ
ーム、または2つのP−フレームのいずれかの2つのフ
レームが伸張され、利用できる状態になっていなければ
ならない。典型的には、2つのB−フレームが、P−フ
レームの後に伝送される。B−フレームを伸張する前
に、システムは、これらのIやP−フレームを受け取
り、伸張しなければならない。この復号と再順序付けに
要する時間を、本明細書では、再順序付け待ち時間と呼
ぶ。
【0010】新しいビデオ・プログラムが開始する時は
常に、この待ち時間の影響が目につく。再順序付け待ち
時間とバッファ充填待ち時間が原因で、システムは、新
しいビデオ・プログラムが表示のため伸張されている
間、新と旧のビデオ・プログラムの間にいくつかのブラ
ンクのフレームを生成する。一部の既知のシステムで
は、2つの連続するビデオ・プログラムの間に、そのよ
うなブランクのフレームが8フレーム生成される。これ
らのブランク・フレームは、まったく望ましいものでは
ない。現時点において、許容できるコストでこの欠点を
補正する既知のシステムはない。
【0011】
【発明が解決しようとする課題】動画などのビデオ・デ
ータを圧縮する方法として、MPEG形式を用いた圧縮
技術が広く使用されている。複数のビデオ・プログラム
を含むMPEG圧縮ビデオ・データ・ストリームを伸張
させながら、ディスプレイ画面などの出力に複数のビデ
オ・プログラムを連続的に提供する場合、MPEG形式
の特性から、プログラムの開始時、あるいはプログラム
とプログラムの間に、ユーザにとって不要な一定の待ち
時間ないしはいくつかのブランクのフレームが発生す
る。このような待ち時間やブランク・フレームのない複
数の連続するビデオ・プログラムを提供することのでき
る圧縮ビデオ・データ伸張システムが望まれている。
【0012】
【課題を解決するための手段】このような要求は、次の
システムによって満足される。すなわち、複数の圧縮ビ
デオ・データ入力線に接続され、上記入力線を選択する
機能を有し、かつ、上記選択された入力線のビデオ・デ
ータ流入速度(レート)を制御する機能を有する入力ス
イッチと、上記入力スイッチに接続され、上記入力スイ
ッチから受け取った圧縮ビデオ・データを伸張し、伸張
したビデオ・データを記憶する複数の伸張モジュール
と、上記伸張モジュールに接続され、1時点でただ1つ
の上記伸張モジュールを出力バスへ接続する出力スイッ
チと、上記入力スイッチ、上記伸張モジュールおよび上
記出力スイッチに接続され、上記出力スイッチに命令し
て、あらかじめ規定された第1の速度(レート)でビデ
オ・データを受け取るべき伸張モジュールを選択し、上
記選択された伸張モジュールを上記出力バスへ接続させ
るコントローラとを備える圧縮ビデオ・データ伸張シス
テム。
【0013】また、上記の要求は、次の方法によっても
満足される。すなわち、複数の圧縮ビデオ・データ・ス
トリーから1つの出力ストリームとして連続的な伸張ビ
デオ・データを作成する方法であって、複数の圧縮ビデ
オ・データ・ストリームを受け取るステップと、第1の
ビデオ・データ・ストリームを選択するステップと、第
1のビデオ・データ・ストリームの流入の間、第1の速
度で上記選択された第1のビデオ・データ・ストリーム
を伸張するステップと、第1のビデオ・データ・ストリ
ームが終了する前に、残りのビデオ・データ・ストリー
ムを第2の速度で伸張するステップと、伸張された上記
第1のビデオ・データ・ストリームを出力するステップ
と、すべてのビデオ・データ・ストリームの出力が終了
するまで、上記選択と伸張と出力のステップを繰り返す
ステップと、を含む方法。
【0014】
【実施例】本発明の第1の好ましい実施例は、複数の圧
縮ビデオ・データ・ストリームを入力として受け入れる
ことができるビデオ伸張システムを含む。この実施例で
は、圧縮されたビデオ・データ・ストリームが、単一の
ビデオ・プログラムでも複数のビデオ・プログラムでも
含むことができる。従って、異なるビデオ・データ・ス
トリームは、異なる個々のビデオ・プログラムを含むこ
ともある。複数のビデオ・データ・ストリームは、入力
時点で同時に利用可能となるとしてもよく、また異なる
時点で受け取られるものとしてもよい。システムは、第
1のビデオ・データ・ストリームを伸張して、表示す
る。第1のビデオ・データ・ストリームの終了に先立
ち、システムは、もう1つのビデオ・データ・ストリー
ムを入力として受け入れ、伸張を開始する。第2のビデ
オ・データ・ストリームを含む圧縮されたMPEGビデ
オ・データのいくつかのフレームが、第1のビデオ・デ
ータ・ストリームが終わるや否や表示できるように伸張
されていなければならない。本発明のシステムがその第
1のビデオ・データ・ストリームの伸張を開始する時に
起きるバッファ充填と再順序づけ待ち時間は、オフライ
ンで起きるので、本発明のシステムのユーザが、それを
直接経験することはない。後続のビデオ・データ・スト
リームが開始すると、前のビデオ・データ・ストリーム
が伸張され表示されている間に、バッファ充填と再順序
づけ待ち時間が発生する。ユーザは、これらの待ち時間
のどれも経験することはない。既知のシステムにおいて
は、ユーザは、新しいビデオ・データ・ストリームが始
まる毎に、連続するビデオ・データ・ストリームの間の
ブランク・フレーム、および、バッファ充填と再順序づ
けの待ち時間を経験する。
【0015】本発明の好ましい実施例では、入力スイッ
チが、この実施例の入力を構成する2つのビデオ・デー
タ入力線で2つのビデオ・データ・ストリームの流入速
度を制御する。初期的には、第1のビデオ・データ・ス
トリームが、第1の流入速度で本発明のシステムへ流入
する。2番目のビデオ・データ・ストリームがその後で
流入を許される時、それは第2の入力線から第2の流入
速度でシステムに流入する。本発明の好ましい実施例で
は、第1の流入速度は第2の速度より大きい。他の実施
例では、必ずしもそうである必要はない。入力スイッチ
は、いずれのストリームの流入をも停止させることがで
きる。
【0016】次に、入力スイッチは、2つの伸張回路
(またはモジュール)に接続される。各回路は、圧縮ビ
デオ・データ・バッファ、復号器および伸張ビデオ・デ
ータ・バッファを含む。流入する圧縮ビデオ・データ
は、圧縮ビデオ・データ・バッファに記憶され、復号器
で伸張され、一時的に、伸張ビデオ・データ・バッファ
に記憶される。両方の回路の伸張ビデオ・データ・バッ
ファは、出力スイッチに接続される。
【0017】両方の伸張回路、入力スイッチおよび出力
スイッチは、マイクロコントローラに接続される。スト
リーム・スケジュール回路の命令によって、マイクロコ
ントローラは、伸張回路が、第1の速度でビデオ・デー
タを受け取るか、第2の速度で受け取るかを決める。第
1の伸張回路は、第1の速度で第1のビデオ・データ・
ストリームを受け取り、伸張し、それを出力バスへ送出
する。
【0018】第1のビデオ・データ・ストリームの終了
に先立ち、システムは、入力スイッチに対し、第2の速
度で第2の伸張回路へ第2のビデオ・データ・ストリー
ムの流入を開始するように命令する。第1のビデオ・デ
ータ・ストリームが終わる前に、第2のビデオ・データ
・ストリームのいくつかのフレームが、伸張され、伸張
ビデオ・データ・バッファに記憶される。第1のビデオ
・データ・ストリームが終了すると、システムは、直ち
に、伸張された第2のビデオ・データ・ストリームの表
示を開始し、同時に、第2の伸張回路へのビデオ・デー
タ流入速度を第1の流入速度へと増加させる。このよう
にして、ユーザがビデオ・データ・ストリームの間のブ
ランク・フレームを見ることなく、あるいは、バッファ
充填と再順序づけの待ち時間を経験することなく、連続
したビデオ・データ・ストリームが表示される。伸張回
路による第1と第2の流入速度での交互の処理は、すべ
てのビデオ・データ・ストリームの表示が終わるまで、
継続する。
【0019】本発明の好ましい実施例を添付の図面を参
照しながら詳細に説明する。本発明の第1の好ましい実
施例が、図3に示されている。伸張システム100は、
入力スイッチ105、第1と第2の伸張回路120と1
30、出力スイッチ115、およびマイクロコントロー
ラ110を含み、上記第1と第2の伸張回路120と1
30はそれぞれ、圧縮ビデオ・データ・バッファ121
と131、第1と第2の復号器123と133、伸張ビ
デオ・データ・バッファ125と135を含む。ストリ
ーム・スケジュール回路150が、マイクロコントロー
ラ110に接続する。マイクロコントローラ110は、
市販のモトローラ68331マイクロコントローラであ
り、本明細書でこれ以上の説明はしない。
【0020】各伸張回路において、圧縮ビデオ・データ
・バッファが、その復号器に接続し、さらにその復号器
は、伸張ビデオ・データ・バッファに接続している。本
発明の好ましい実施例の復号器は、SGS Thompson社から
発売されているSTI 3500 MPEG Decoderであり、この明
細書ではこれ以上の説明をしない。
【0021】入力スイッチ105は、2つの圧縮ビデオ
・データの入力線、両方の圧縮ビデオ・データ・バッフ
ァ121と131、そしてマイクロコントローラ110
に接続している。同様に、スイッチ115は、伸張ビデ
オ・データ・バッファ125と135、およびマイクロ
コントローラ110に接続している。マイクロコントロ
ーラ110は、両方の復号器123と133、2つの圧
縮ビデオ・データ・バッファ121と131、およびサ
ーバー・コントローラ(すなわちストリーム・スケジュ
ール回路)150に接続している。マイクロコントロー
ラ110がストリーム・スケジュール回路150から命
令を受け取るが、ストリーム・スケジュール回路150
は本発明の一部ではない。
【0022】圧縮および伸張ビデオ・データ・バッファ
は、図3において別々のバッファとして示されてはいる
が、既知の方法でアクセスされる単一のバッファとして
実施することもできる。従って、バッファの正確な構成
は、本発明を本質的に変えずに、図示されている実施例
からかなり変更させることができる。好ましい実施例で
は、バッファは、復号器に接続する8個の256Kワー
ド(1ワード16ビット)DRAMで構成される。DR
AMは日立を含む多くの業者から市販されているので、
この明細書でこれ以上の説明はしない。
【0023】動作的には、2つの別々の圧縮ビデオ・デ
ータ・ストリームが、入力スイッチ105に入る。マイ
クロコントローラ110の命令の下、ビデオ・データ
は、第1の流入速度で伸張回路の1つに流入し、第2の
流入速度で別の伸張回路に流入する。本明細書の説明の
目的から、また、一切の制限を意味することなしに、ビ
デオ・データは、初期的に、大きい速度で伸張回路12
0に流入し、それより小さい速度で伸張回路130に流
入すると仮定する。ここで第2の速度が第1の速度より
小さくなければならない訳ではない。本発明の第1の好
ましい実施例が、毎秒15メガ・ビットという第1の流
入速度と毎秒7.5メガ・ビットという第2の流入速度
を使用するが、これらの速度は、全体的帯域幅要求を少
なくするように選択された。他の実施例では、第2の速
度が、第1の速度と同じであったり、または、実際にそ
れより大きい場合もあり得る。
【0024】圧縮ビデオ・データ・バッファ121が、
大きい速度で受け取るビデオ・データを記憶し始める
と、復号器123は、そのビデオ・データの伸張を開始
する。伸張されたビデオ・データのフレームは、伸張ビ
デオ・データ・バッファ125に記憶される。最初のI
−とP−フレームが伸張され、伸張ビデオ・データ・バ
ッファ125に記憶された後、I−とP−フレームを分
離させたB−フレームの伸張が開始する。伸張されたビ
デオ・データ・フレームは、マイクロコントローラ11
0の命令のもと、適正な順序で、伸張ビデオ・データ・
バッファ125から取り出され、出力スイッチ115を
介して、出力バスへ送出される。
【0025】第1の圧縮ビデオ・データ・ストリームが
終了に近づくと、伸張プロセスが、伸張回路130で始
まる。マイクロコントローラ110は、入力スイッチ1
05に命令して、第2の圧縮ビデオ・データ・ストリー
ムの伸張回路130への第2の小さい流入速度での流入
を開始させる。伸張回路120で伸張されているビデオ
・ストリームが非常に長い場合、マイクロコントローラ
が予測した第1のビデオ・データ・ストリームの終了予
定時間の直前に動作を開始するように第2の伸張回路に
命じたとしても、第1のビデオ・データ・ストリームが
終了する前に、伸張回路130が、その伸張ビデオ・デ
ータ・バッファの容量一杯まで記憶してしまう可能性が
ある。マイクロコントローラ110は、そのような場
合、伸張回路130へのビデオ・データの流入を中止さ
せるように入力スイッチ105に命令する。
【0026】伸張回路120へ流入するビデオ・プログ
ラムが終了する時、伸張回路130は、伸張され、直ち
に表示または出力できるビデオ・データ・フレームをい
くつか保持している。出力スイッチ115は、伸張回路
120からの出力が終わるとともに伸張回路130に出
力を切り換えるように、マイクロコントローラ110に
よって命令され、これによって、ビデオ・ストリームの
間にブランク・フレームのない伸張ビデオ・データの連
続的生成が保証される。入力スイッチ105は、また、
ビデオ・データの大きい流入速度で、伸張回路130へ
第2のビデオ・データ・ストリームを流入させ始める。
入力スイッチ105は、直ちに伸張回路120に小さい
流入速度のビデオ・データを与えるかもしれないが、伸
張回路120にビデオ・データが少なくともある時間流
入しない可能性の方が高い。このようなプロセスが交互
に続き、各伸張回路が交互にシステムからの出力を提供
する。このようにして、バッファ充填と再順序づけの待
ち時間がシステム・ユーザによって経験されることな
く、また、ビデオ・プログラムの間でブランク・フレー
ムが発生することもない。
【0027】ビデオ・データを伸張回路120と130
に交互に提供するプロセスの1例が、図4のグラフで示
されている。時間Tlにおいて、伸張回路120は、大
きい速度で第1のビデオ・データ・ストリームを受け取
り、伸張している。伸張回路130は、ビデオ・データ
を受け取っていない。時間T2で、マイクロコントロー
ラ110は、第2のビデオ・データ・ストリームを小さ
い速度で伸張回路130に流入させ始めるよう入力スイ
ッチ105に命令する。時間T3で、伸張回路120に
よって処理されていた第1のビデオ・データ・ストリー
ムが終了する。直ちに伸張回路130は、大きい速度で
ビデオ・データを受け取りはじめる一方、同時に、その
記憶された伸張ビデオ・データ・フレームを出力バスに
送出する。時間T4で、マイクロコントローラ110
は、次のビデオ・データ・ストリームを第2の小さい速
度で第1の伸張回路120へ流入し始めるように入力ス
イッチ105に命令する。時間T5で、伸張回路120
のバッファがいっぱいとなり、その回路へのビデオ・デ
ータの流入は止まる。時間T6で、伸張回路130によ
って伸張されていたビデオ・データ・ストリームが終わ
る。そこで、伸張回路120は第1の大きい速度で次の
ビデオ・データを受け取り、一方、その記憶された伸張
ビデオ・データ・フレームを出力バスに送出する。伸張
回路130へのビデオ・データ・ストリームの入力は、
時間T7まで停止していて、時間T7で、マイクロコン
トローラ110は、次のビデオ・データ・ストリームを
第2の小さい速度で伸張回路130へ流入し始めるよう
に入力スイッチ105に命令する。時間T8で、伸張回
路120によって伸張されていたビデオ・データ・スト
リームが終了し、またその回路へのデータ・ストリーム
の入力も終了し、一方、同時に、伸張回路130へのビ
デオ・データ・ストリームの入力が第1の、大きい速度
に増加され、伸張回路130のバッファに記憶されてい
た伸張ビデオ・データのフレームが、出力として提供さ
れる。入力として提供されたビデオ・データ・ストリー
ムがすべて伸張され、連続の出力ストリームとして出力
されるまで、この順次プロセスは継続する。
【0028】本発明を2つの伸張回路だけを参照して詳
細に説明したが、本発明が2つの回路に制限されている
と解釈されてはならない。より多数の伸張回路へシステ
ムを拡張することは簡単であり、より大きい柔軟性と有
用性が得られる。3つ以上の伸張回路を有するシステム
においては、切り換えプロセスが、交互または順次に起
きる必要はないことが明らかである。
【0029】種々のビデオ・プログラムがポーズ(停
止)することなく連続的に表示されなければならないリ
アルタイム表示システムにおいて、本発明を使用するこ
とができる。ビデオの「クリップ」が、ランダムな開始
点からランダムな終了点まで実行でき、次のビデオの
「クリップ」が、2つの「クリップ」の間での遅延やブ
ランク・フレームの発生を起こすことなく、ランダムな
開始点からランダムな終了点まで実行できる。「ランダ
ムな」開始点に対応できるよう十分早くビデオ・データ
・ストリームの伸張を開始しなければならず、また、す
べての先行する伸張ビデオ・データ・ストリームは、選
択された開始点までビデオ・データ・ストリームを伸張
するために使用され、そこで破棄されなければならない
ので、上記のようなランダムな開始点は、システムの一
層の柔軟性を必要とする点に注意しなければならない。
本発明は、また、ビデオ・データ・プログラムまたはそ
のプログラムの一部を継ぎ合わさなければならないビデ
オ・データ編集システムにおいて役立つ。ビデオ・プロ
グラム挿入、広告挿入およびビデオ編集はすべて、本発
明が有用性を示すシステム環境である。
【0030】本発明には、例として次のような実施様態
が含まれる。 (1)複数の圧縮ビデオ・データ・ストリームを伸張
し、連続するビデオ・データを出力するシステム(10
0)であって、複数の圧縮ビデオ・データ入力線に接続
され、上記入力線を選択する機能を有し、かつ、上記選
択された入力線のビデオ・データ流入速度を制御する機
能を有する入力スイッチ(105)と、上記入力スイッ
チ(105)に接続され、上記入力スイッチ(105)
から受け取った圧縮ビデオ・データを伸張し、伸張した
ビデオ・データを記憶する複数の伸張モジュール(12
0)と、上記伸張モジュール(120)に接続され、1
時点でただ1つの上記伸張モジュール(120)を出力
バスへ接続する出力スイッチ(115)と、上記入力ス
イッチ(105)、上記伸張モジュール(120)およ
び上記出力スイッチ(115)に接続され、上記出力ス
イッチ(115)に命令して、あらかじめ定義された第
1の速度でビデオ・データを受け取るべき伸張モジュー
ル(120)を選択し、上記選択された伸張モジュール
(120)を上記出力バスへ接続させるコントローラ
(110)と、を含むシステム。 (2)上記第1の速度でビデオ・データを受け取る上記
伸張モジュールに続いて、上記第1の速度でビデオ・デ
ータを受け取っていない伸張モジュールが、あらかじめ
定義された第2の速度でビデオ・データを受け取る、上
記(1)に記載のシステム。 (3)上記あらかじめ定義された第2の速度が、上記あ
らかじめ定義された第1の速度よりも小さい毎秒ビット
速度を持つ、上記(2)に記載のシステム。 (4)上記あらかじめ定義された第2の速度が、上記あ
らかじめ定義された第1の速度と同じ毎秒ビット速度を
持つ、上記(2)に記載のシステム。 (5)上記あらかじめ定義された第2の速度が、上記あ
らかじめ定義された第1の速度よりも大きい毎秒ビット
速度を持つ、上記(3)に記載のシステム。 (6)上記伸張モジュールが、圧縮されたビデオ・デー
タを記憶するためのバッファ(121)と、圧縮された
ビデオ・データを伸張する符号器(123)と、伸張さ
れたビデオ・データを記憶するためのバッファ(12
5)と、を更に含む、上記(1)に記載のシステム。 (7)圧縮されたビデオ・データを記憶するためのバッ
ファ(121)と伸張されたビデオ・データを記憶する
ためのバッファ(125)が単一のバッファとして形成
される、上記(6)に記載のシステム。
【0031】(8)少くとも2つのビデオ・データ入力
線に接続され、上記ビデオ・データ入力線からのビデオ
・データ流入の方向と速度を制御する第1のスイッチ
(105)と、上記第1のスイッチ(105)に接続さ
れ、圧縮されたビデオ・データを記憶し、記憶された圧
縮ビデオ・データを伸張し、伸張されたビデオ・データ
を記憶する少くとも2つのビデオ・データ伸張アレイ
(120)と、上記ビデオ・データ伸張アレイ(12
0)と出力バスに接続され、上記少くとも2つのビデオ
・データ伸張アレイ(120)からの出力を上記出力バ
スに向かわせる第2のスイッチ(115)と、上記第1
のスイッチ(105)、上記ビデオ・データ伸張アレイ
(120)および上記第2のスイッチ(115)に接続
され、上記各スイッチおよびアレイの間のビデオ・デー
タの流れを制御するコントローラ(110)と、を含む
ビデオ伸張システム。 (9)上記コントローラ(110)が上記第1のスイッ
チに命令して、第1のビデオ・データ伸張アレイ(12
0)に第1の速度でビデオ・データを提供し、上記第1
のビデオ・データ伸張アレイ(120)が第1の速度で
ビデオ・データを受け取ることを開始してからあらかじ
め定義された時間が経過した後、残りの上記ビデオ・デ
ータ伸張アレイ(120)に第2の速度でビデオ・デー
タを提供させる、上記(8)に記載のシステム。 (10)上記第1の速度が上記第2の速度よりも速い、
上記(9)に記載のシステム。 (11)上記第1の速度が上記第2の速度と同じであ
る、上記(9)に記載のシステム。 (12)上記第1の速度が上記第2の速度よりも遅い、
上記(9)に記載のシステム。 (13)上記コントローラが第1のスイッチ(105)
に命令して、第2の速度でビデオ・データを受け取って
いる上記ビデオ・データ伸張アレイ(120)が、伸張
されたビデオ・データをそれ以上記憶することができな
い場合、第2の速度でのビデオ・データの流入を停止さ
せる、上記(7)に記載のシステム。 (14)上記コントローラ(110)が上記第1のスイ
ッチに命令して、上記第1のビデオ・データ伸張アレイ
(120)によって伸張されていたビデオ・データ・ス
トリームが終了した後、上記第1のビデオ・データ伸張
アレイ(120)へのビデオ・データ流入を停止し、上
記第1のビデオ・データ・ストリームが終了した後、第
1の速度で第2のビデオ・データ伸張アレイ(120)
にビデオ・データを提供させる、上記(9)に記載のシ
ステム。 (15)上記コントローラ(110)が第2のスイッチ
(115)に命令して、上記第1のビデオ・データ伸張
アレイ(120)が第1の速度でビデオ・データを受け
取っている間に、第1のビデオ・データ伸張アレイ(1
20)を出力バスに接続させる、上記(9)に記載のシ
ステム。
【0032】(16)複数の圧縮ビデオ・データ・スト
リーから1つの出力ストリームとして連続的な伸張ビデ
オ・データを作成する方法であって、複数の圧縮ビデオ
・データ・ストリームを受け取るステップと、第1のビ
デオ・データ・ストリームを選択するステップと、第1
のビデオ・データ・ストリームの流入の間、第1の速度
で上記選択された第1のビデオ・データ・ストリームを
伸張するステップと、第1のビデオ・データ・ストリー
ムが終了する前に、残りのビデオ・データ・ストリーム
を第2の速度で伸張するステップと、伸張された上記第
1のビデオ・データ・ストリームを出力するステップ
と、すべてのビデオ・データ・ストリームの出力が終了
するまで、上記選択と伸張と出力のステップを繰り返す
ステップと、を含む方法。 (17)上記第1の速度が上記第2の速度よりも大き
い、上記(16)に記載の方法。 (18)上記第1の速度が上記第2の速度と同じであ
る、上記(16)に記載の方法。 (19)上記第1の速度が上記第2の速度よりも小さ
い、上記(16)に記載の方法。 (20)上記ビデオ伸張アレイ(120)が、圧縮およ
び伸張ビデオ・データを記憶するためのビデオ・データ
記憶手段(121、125)と、上記ビデオ・データ記
憶手段(121、125)に接続され、圧縮ビデオ・デ
ータを復号する復号器と、を更に含む、上記(8)に記
載のシステム。
【0033】
【発明の効果】本発明の圧縮ビデオ・データの伸張シス
テムによって、複数のMPEG形式圧縮ビデオ・プログ
ラムを伸張しながら連続的にスクリーン表示を行う場
合、従来技術では必然的に発生するビデオ・プログラム
間の待ち時間またはブランク・フレームの挿入を排除し
て、中断のない連続したビデオ・データ・ストリームが
提供される。
【図面の簡単な説明】
【図1】従来技術における典型的MPEG圧縮フレーム
伝送と伸張フレーム表示の順序を示す図である。
【図2】ビデオ・データを伸張するための従来技術のシ
ステムを示す図である。
【図3】本発明の好ましい実施例のブロック図である。
【図4】本発明の第1と第2の伸張回路を通過するビデ
オ・データの相対的伝送速度の1例を示す図である。
【符号の説明】
11 ビデオ・データ・バッファ 13 復号器 15 MPEGビデオ・データ 17 伸張ビデオ・データ出力バッファ 100 圧縮ビデオ・データ伸張システム 105 入力スイッチ 115 出力スイッチ 110 マイクロコントローラ 120、130 伸張回路 121、131 圧縮ビデオ・データ・バッファ 123、133 復号器 125、135 伸張ビデオ・データ・バッファ 150 ストリーム・スケジュール回路

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】複数の圧縮ビデオ・データ・ストリームを
    伸張し、連続するビデオ・データを出力するシステムで
    あって、 複数の圧縮ビデオ・データ入力線に接続され、上記入力
    線を選択する機能を有し、かつ、上記選択された入力線
    のビデオ・データ流入速度を制御する機能を有する入力
    スイッチと、 上記入力スイッチに接続され、上記入力スイッチから受
    け取った圧縮ビデオ・データを伸張し、伸張したビデオ
    ・データを記憶する複数の伸張モジュールと、 上記伸張モジュールに接続され、1時点でただ1つの上
    記伸張モジュールを出力バスへ接続する出力スイッチ
    と、 上記入力スイッチ、上記伸張モジュールおよび上記出力
    スイッチに接続され、上記出力スイッチに命令して、あ
    らかじめ規定された第1の速度でビデオ・データを受け
    取るべき伸張モジュールを選択し、上記選択された伸張
    モジュールを上記出力バスへ接続させるコントローラ
    と、 を備えるシステム。
JP16731295A 1994-07-22 1995-07-03 圧縮ビデオ・データの伸張システム Expired - Lifetime JP3892063B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US278,761 1994-07-22
US08/278,761 US5495291A (en) 1994-07-22 1994-07-22 Decompression system for compressed video data for providing uninterrupted decompressed video data output

Publications (2)

Publication Number Publication Date
JPH0865687A true JPH0865687A (ja) 1996-03-08
JP3892063B2 JP3892063B2 (ja) 2007-03-14

Family

ID=23066248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16731295A Expired - Lifetime JP3892063B2 (ja) 1994-07-22 1995-07-03 圧縮ビデオ・データの伸張システム

Country Status (4)

Country Link
US (1) US5495291A (ja)
EP (1) EP0695094B1 (ja)
JP (1) JP3892063B2 (ja)
DE (1) DE69510414T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025489A1 (ja) * 2004-09-01 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像再生方法及び画像再生装置
WO2007007496A1 (ja) * 2005-07-12 2007-01-18 Nec Corporation 多地点会議システム、多地点会議方法及びプログラム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9405914D0 (en) 1994-03-24 1994-05-11 Discovision Ass Video decompression
US5768561A (en) 1992-06-30 1998-06-16 Discovision Associates Tokens-based adaptive video processing arrangement
US6330665B1 (en) 1992-06-30 2001-12-11 Discovision Associates Video parser
US5821885A (en) 1994-07-29 1998-10-13 Discovision Associates Video decompression
US6079009A (en) 1992-06-30 2000-06-20 Discovision Associates Coding standard token in a system compromising a plurality of pipeline stages
US6263422B1 (en) 1992-06-30 2001-07-17 Discovision Associates Pipeline processing machine with interactive stages operable in response to tokens and system and methods relating thereto
US6067417A (en) 1992-06-30 2000-05-23 Discovision Associates Picture start token
DE69229338T2 (de) 1992-06-30 1999-12-16 Discovision Associates, Irvine Datenpipelinesystem
US6047112A (en) 1992-06-30 2000-04-04 Discovision Associates Technique for initiating processing of a data stream of encoded video information
US5784631A (en) 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US5809270A (en) 1992-06-30 1998-09-15 Discovision Associates Inverse quantizer
US6112017A (en) 1992-06-30 2000-08-29 Discovision Associates Pipeline processing machine having a plurality of reconfigurable processing stages interconnected by a two-wire interface bus
US6034674A (en) * 1992-06-30 2000-03-07 Discovision Associates Buffer manager
US5812216A (en) * 1994-04-19 1998-09-22 Avid Technology, Inc. Method and apparatus for creating motion picture transitions according to non-linear light response
US5861894A (en) 1993-06-24 1999-01-19 Discovision Associates Buffer manager
US5805914A (en) 1993-06-24 1998-09-08 Discovision Associates Data pipeline system and data encoding method
CA2145361C (en) 1994-03-24 1999-09-07 Martin William Sotheran Buffer manager
CA2145365C (en) 1994-03-24 1999-04-27 Anthony M. Jones Method for accessing banks of dram
GB9417138D0 (en) * 1994-08-23 1994-10-12 Discovision Ass Data rate conversion
US5677969A (en) * 1995-02-23 1997-10-14 Motorola, Inc. Method, rate controller, and system for preventing overflow and underflow of a decoder buffer in a video compression system
US6005546A (en) * 1996-03-21 1999-12-21 S3 Incorporated Hardware assist for YUV data format conversion to software MPEG decoder
US5883670A (en) * 1996-08-02 1999-03-16 Avid Technology, Inc. Motion video processing circuit for capture playback and manipulation of digital motion video information on a computer
US5838927A (en) * 1996-11-22 1998-11-17 Webtv Networks Method and apparatus for compressing a continuous, indistinct data stream
JP3763172B2 (ja) * 1996-12-16 2006-04-05 ソニー株式会社 ディジタル信号復号方法及び装置、並びにディジタル信号再生装置
US6097435A (en) * 1997-01-31 2000-08-01 Hughes Electronics Corporation Video system with selectable bit rate reduction
US6005620A (en) * 1997-01-31 1999-12-21 Hughes Electronics Corporation Statistical multiplexer for live and pre-compressed video
US6091455A (en) * 1997-01-31 2000-07-18 Hughes Electronics Corporation Statistical multiplexer for recording video
US6188436B1 (en) 1997-01-31 2001-02-13 Hughes Electronics Corporation Video broadcast system with video data shifting
US6084910A (en) * 1997-01-31 2000-07-04 Hughes Electronics Corporation Statistical multiplexer for video signals
US6078958A (en) * 1997-01-31 2000-06-20 Hughes Electronics Corporation System for allocating available bandwidth of a concentrated media output
GB9704027D0 (en) * 1997-02-26 1997-04-16 Discovision Ass Memory manager for mpeg decoder
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
US6167083A (en) * 1997-04-04 2000-12-26 Avid Technology, Inc. Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques
US6105083A (en) * 1997-06-20 2000-08-15 Avid Technology, Inc. Apparatus and method for controlling transfer of data between and processing of data by interconnected data processing elements
GB2327548B (en) * 1997-07-18 2002-05-01 British Broadcasting Corp Switching compressed video bitstreams
EP0917144B1 (en) * 1997-11-11 2003-05-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for controlling a data buffer
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6637031B1 (en) * 1998-12-04 2003-10-21 Microsoft Corporation Multimedia presentation latency minimization
US6408436B1 (en) * 1999-03-18 2002-06-18 Next Level Communications Method and apparatus for cross-connection of video signals
US6842724B1 (en) * 1999-04-08 2005-01-11 Lucent Technologies Inc. Method and apparatus for reducing start-up delay in data packet-based network streaming applications
JP4660879B2 (ja) * 2000-04-27 2011-03-30 ソニー株式会社 情報提供装置および方法、並びにプログラム
JP2002359833A (ja) * 2001-03-27 2002-12-13 Hitachi Ltd データ通信システムおよび送信装置、通信端末
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
WO2006120778A1 (ja) * 2005-05-12 2006-11-16 Matsushita Electric Industrial Co., Ltd. 信号再生装置
CN101366213A (zh) * 2006-07-21 2009-02-11 维德约股份有限公司 用于可缩放编码中的抖动缓冲器降低的系统和方法
JP4398987B2 (ja) * 2007-03-19 2010-01-13 株式会社東芝 マルチデコーダ装置及び方法
US8548061B2 (en) * 2008-08-05 2013-10-01 Panasonic Corporation Image decoding apparatus and image decoding method
US8781000B2 (en) * 2010-12-30 2014-07-15 Vixs Systems, Inc. Dynamic video data compression

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146325A (en) * 1991-04-29 1992-09-08 Rca Thomson Licensing Corporation Video signal decompression apparatus for independently compressed even and odd field data
WO1993011617A1 (en) * 1991-11-25 1993-06-10 Actv, Inc. Compressed digital data interactive television system
JPH05300494A (ja) * 1992-01-30 1993-11-12 Nec Corp 動画像符号化器とその制御方式
CA2141607A1 (en) * 1992-08-10 1994-02-17 Charlie Kellner System and method of selecting among multiple data streams
KR0121301B1 (ko) * 1992-09-30 1997-11-17 사또오 후미오 편집신호 디코딩 장치
US5379070A (en) * 1992-10-02 1995-01-03 Zoran Corporation Parallel encoding/decoding of DCT compression/decompression algorithms
US5381145A (en) * 1993-02-10 1995-01-10 Ricoh Corporation Method and apparatus for parallel decoding and encoding of data

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025489A1 (ja) * 2004-09-01 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像再生方法及び画像再生装置
JP4780617B2 (ja) * 2004-09-01 2011-09-28 パナソニック株式会社 画像再生方法及び画像再生装置
WO2007007496A1 (ja) * 2005-07-12 2007-01-18 Nec Corporation 多地点会議システム、多地点会議方法及びプログラム
JPWO2007007496A1 (ja) * 2005-07-12 2009-01-29 日本電気株式会社 多地点会議システム、多地点会議方法及びプログラム
US8253775B2 (en) 2005-07-12 2012-08-28 Nec Corporation Multipoint conference system, multipoint conference method, and program

Also Published As

Publication number Publication date
EP0695094B1 (en) 1999-06-23
JP3892063B2 (ja) 2007-03-14
DE69510414T2 (de) 1999-10-21
EP0695094A3 (en) 1997-06-18
EP0695094A2 (en) 1996-01-31
DE69510414D1 (de) 1999-07-29
US5495291A (en) 1996-02-27

Similar Documents

Publication Publication Date Title
JP3892063B2 (ja) 圧縮ビデオ・データの伸張システム
JP4223567B2 (ja) 符号化ビデオシーケンスの切り替え方法及び装置
US6327421B1 (en) Multiple speed fast forward/rewind compressed video delivery system
US6628719B1 (en) MPEG video decoder and MPEG video decoding method
JP3836143B2 (ja) 複数のディジタルビデオビットストリームを復号化する方法及び装置及びこのような装置を含む受信装置
KR20030014709A (ko) 비디오 오류 회복
US5828425A (en) Apparatus for decoding video data
CN101258748B (zh) 多点会议服务器、多点会议系统和多点会议方法
US5754243A (en) Letter-box transformation device
US7363647B1 (en) Mapping process for use in sending trick-mode video streams with a high performance
JP3123938B2 (ja) 映像フレームデータを一メモリに貯蔵する方法
JP3034173B2 (ja) 画像信号処理装置
US7974523B2 (en) Optimal buffering and scheduling strategy for smooth reverse in a DVD player or the like
CN112672147A (zh) 一种基于投屏的解码方法、设备及系统
JP4255685B2 (ja) 画像伝送方法および画像伝送装置
US20060093322A1 (en) Data processing apparatus, data processing method, data processing system, program, and storage medium
US7383565B1 (en) Directing process for use in sending trick-mode video streams with a high performance
JP2001309371A (ja) Mpegデコーダ
JPH1127662A (ja) 画像符号化装置
JP4892541B2 (ja) 画像伝送方法および画像伝送システム
EP1755343A1 (en) Signal reproducing device
JPH10215449A (ja) 信号処理装置
JP2003244643A (ja) 情報再生装置、情報再生方法
KR0180168B1 (ko) 영상부호화를 위한 프레임 재배열 장치
Psannis et al. MPEG-based interactive video streaming: a review.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040927

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050705

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051004

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061206

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121215

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131215

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term