JPH0630396A - 動画像符号化復号化装置 - Google Patents

動画像符号化復号化装置

Info

Publication number
JPH0630396A
JPH0630396A JP20743092A JP20743092A JPH0630396A JP H0630396 A JPH0630396 A JP H0630396A JP 20743092 A JP20743092 A JP 20743092A JP 20743092 A JP20743092 A JP 20743092A JP H0630396 A JPH0630396 A JP H0630396A
Authority
JP
Japan
Prior art keywords
picture
skipped
coding
image
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20743092A
Other languages
English (en)
Other versions
JP2871316B2 (ja
Inventor
Takayuki Sugawara
隆幸 菅原
Ichiro Ando
一郎 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP20743092A priority Critical patent/JP2871316B2/ja
Publication of JPH0630396A publication Critical patent/JPH0630396A/ja
Priority to US08/544,471 priority patent/US5689307A/en
Application granted granted Critical
Publication of JP2871316B2 publication Critical patent/JP2871316B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】 動画像を予測符号化して伝送する動画像符号
化装置及び復号化装置を改良して、シーンチェンジなど
の画像の急激な変化があっても、オーバーフロー・画質
低下がなく、予測符号化に障害が生じることもない装置
を提供する。 【構成】 伝送レート超過判定手段24で、符号化され
たデータを伝送した時、所定の伝送レートを超過するか
を判定する。超過する場合は、切換え制御回路23,セ
レクタ21により当該ピクチャーをスキップして、スキ
ップコード格納メモリ22のスキップコードを伝送す
る。スキップしたピクチャーがその後から符号化するピ
クチャーの予測参照ピクチャーにあたる場合には、符号
化装置入力順序において時間的に過去のピクチャーであ
って、かつ、スキップしないピクチャーで予測符号化す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、テレビジョン信号のよ
うな動画像を圧縮して伝送するための動画像符号化装置
及び復号化装置に関する。
【0002】
【従来の技術】従来の動画像符号化装置として、図6に
示す構成のものがある。同図において、符号化される動
画像信号は、符号化制御回路2の制御により動き補償予
測ブロック毎に画像メモリ(FM1)1に格納され、ま
た、画像メモリ(FM2)11には例えば1フレーム前
または1フィールド前の画像に応じた基準画像(復号画
像)が格納されている。そして、動きベクトル検出回路
(ME)3は、画像メモリ(FM2)11に格納された
基準画像に対する動きベクトルMVを検出し、ついで、
動き補償予測回路(MC)4は、この動きベクトルMV
と画像メモリ11の基準画像を用いて動き補償予測ブロ
ック毎の動き補償予測値を発生するとともに、動き補償
予測モード情報MC−modeを出力する。
【0003】そして、画像メモリ(FM1)1に格納さ
れた動画像からこの動き補償予測値が減算されて予測誤
差が算出され(減算器5)、この予測誤差が直交変換回
路6により直交変換され、この直交変換係数が量子化回
路(Q)7により量子化される。ついで、この直交変換
係数の量子化値と、動きベクトル検出回路(ME)3に
より検出された動きベクトルMVと、動き補償予測回路
(MC)4からの動き補償予測モード情報MC−mod
eが可変長符号化回路(VLC)8により可変長で符号
化され、この符号とヘッダ情報発生回路15からのヘッ
ダ情報がマルチプレックス回路(MUX)9により多重
化される。そして、この符号化データは、発生符号レー
トと伝送路に出力される伝送レートを調整するための出
力バッファメモリ10により一旦格納され、伝送路に出
力される伝送レートに応じて読み出される。
【0004】また、量子化回路(Q)7により量子化さ
れたデータは、逆量子化回路(Q-1)12により元の直
交変換係数に変換され、逆直交変換回路13により元の
予測誤差の復号値が求められ、この予測誤差と動き補償
予測回路(MC)4により算出された予測値が加算され
(加算器14)、復号画像が画像メモリ(FM2)11
に格納される。
【0005】また、符号化される画像の動きが激しい場
合や、細かな絵柄部分が動いている場合には予測誤差が
大きいので、発生符号レートが伝送路に出力される伝送
レートを上回り、出力バッファメモリ10がオーバフロ
ーする場合がある。そこで、このオーバフローを防止す
るために、出力バッファメモリ10に格納されたデータ
量に応じて量子化回路7の量子化ステップが粗くなるよ
うに符号量制御回路17により制御される。
【0006】ここで、動き補償予測符号化方法として
は、前述したように数フレーム前または数フィールド前
の画像(画像メモリ11の復号画像)を用いた符号化方
法(P:片方向予測符号化)と、前記の符号化方法で符
号化された前後のフレームまたはフィールドの画像を適
応的に用いた符号化方法(B:両方向予測符号化)が知
られている。後者の符号化方法では、動き補償予測ブロ
ック毎に直前と直後の復号画像の各予測値とその平均値
の内、予測誤差が最小のものが選択される。したがっ
て、後者の符号化方法では、時間軸上の画像の並びにお
いて直後の画像を符号化した後に現画像の符号化が開始
される。これらは、予測を行わずにピクチャー内で独立
に符号化する方法(I:独立符号化)と併用される。
【0007】
【発明が解決しようとする課題】しかしながら、実際の
一般画像にはシーンチェンジを伴うものがあり、予測符
号化を行うにあたっては、そのような場所で大きな予測
誤差が発生する。符号化は所定のバッファ量の範囲内で
変動を許しながら所定の伝送レートに制御されるが、上
記の場合、発生符号量を所定の伝送レートに制御するこ
とができずオーバーフローしてしまう。この場合、シー
ンチェンジをあらかじめ検出し、量子化ステップを粗く
して強制的に制御する方法もある。しかし、このように
構成すると所定の伝送レート内に制御することができて
も、局所的に画質の劣化が生じてしまい、目立ってしま
う。
【0008】
【課題を解決するための手段】本発明は上記課題を解決
するために、動画像をピクチャー内符号化及びピクチャ
ー間予測符号化により高能率符号化する動画像符号化装
置であって、符号化手段と、前記符号化手段により符号
化された符号化データを格納する記憶手段と、前記記憶
手段の符号化データを伝送した時、所定の伝送レートを
超過するかどうかを判定する伝送レート超過判定手段と
を有し、前記伝送レート超過判定手段により、超過して
いると判定された場合には、前記符号化データを伝送す
ることなく当該ピクチャーをスキップして、スキップ情
報を伝送すると共に、スキップしたピクチャーがその後
から符号化するピクチャーの予測参照ピクチャーにあた
る場合には、符号化装置入力順序において時間的に過去
のピクチャーであって、かつ、スキップしないピクチャ
ーで予測符号化するようにしたことを特徴とする動画像
符号化装置を提供する。
【0009】さらに、ピクチャー内符号化及びピクチャ
ー間予測符号化により高能率符号化された動画像を復号
する動画像復号化装置であって、伝送された符号化デー
タを格納する記憶手段と、復号化手段と、スキップ情報
を検出する手段とを有し、スキップ情報が伝送された場
合には、スキップされたピクチャーとして最も時間的に
近く、かつ、スキップされていないピクチャーを出力す
ると共に、スキップされたピクチャーが予測参照ピクチ
ャーにあたる場合には、符号化装置入力順序において時
間的に過去で、かつ、スキップされていないピクチャー
を使用して予測復号化するようにしたことを特徴とする
動画像復号化装置を提供するものである。
【0010】
【作用】上記のような動画像符号化復号化装置によれ
ば、シーンチェンジなどにより、予測誤差が急激に大き
くなる場合、そのピクチャーの符号化データの代わり
に、非常に短いコード長のスキップすることを示すスキ
ップコード(及びスキップした符号化データの表示タイ
ミングを示すコード)を伝送するので所定の伝送レート
を超過することを防ぐことができる。また、スキップす
ることにより、そのピクチャーが送られてくるべき期間
にバッファメモリ内の符号量が減少し、スキップ直後の
ピクチャーは十分な符号を与えることができるようにな
るので、画質の劣化も避けることができる。すなわち、
シーンチェンジなどにより、予測誤差が急激に大きくな
ったにもかかわらず、バッファメモリ内の符号量が大き
く伝送できない場合には、バッファメモリ内の符号量が
減少するまで、ピクチャータイミングをずらして、画質
を劣化させることなく、シーンチェンジに実質的に対応
させる。
【0011】さらに、スキップしたピクチャーがその後
から符号化するピクチャーの予測参照ピクチャーにあた
る場合には、スキップしないピクチャーであって、か
つ、符号化装置入力順序において時間的に過去のピクチ
ャーを使用して予測符号化がなされる。
【0012】
【実施例】以下、図面を参照して本発明の実施例を説明
する。図1は本発明に係る動画像符号化装置の実施例を
示すブロック図、図2は図1の切換え制御回路の詳細な
構成を示す回路図、図3は本発明に係る動画像復号化装
置の実施例を示すブロック図である。
【0013】(動画像符号化装置)図1において、まず
従来例と同様に、符号化される動画像信号は、符号化制
御回路2の制御により動き補償予測ブロック毎に画像メ
モリ(FM1)1に格納され、また、画像メモリ(FM
2)11には前後の1フレームまたはフィールドの画像
に応じた基準画像(復号画像)が格納されている。そし
て、動きベクトル検出回路(ME)3は、画像メモリ
(FM2)11に格納された基準画像に対する動きベク
トルMVを検出し、ついで、動き補償予測回路(MC)
4は、この動きベクトルMVと画像メモリ11の基準画
像を用いて動き補償予測ブロック毎の動き補償予測値を
発生するとともに、動き補償予測モード情報MC−mo
deを出力する。
【0014】そして、画像メモリ(FM1)1に格納さ
れた動画像からこの動き補償予測値が減算されて予測誤
差が算出され(減算器5)、この予測誤差が直交変換回
路6により直交変換され、この直交変換係数が量子化回
路(Q)7により量子化される。ついで、この直交変換
係数の量子化値と、動きベクトル検出回路(ME)3に
より検出された動きベクトルMVと、動き補償予測回路
(MC)4からの動き補償予測モード情報MC−mod
eが可変長符号化回路(VLC)8により可変長で符号
化される。
【0015】ついで、この実施例では、可変長符号化回
路(VLC)8により可変長で符号化された1画像分の
符号は、バッファメモリ20により一旦格納された後セ
レクタ21を介してマルチプレックス回路(MUX)9
に出力される。そして、バッファメモリ20または後述
するスキップコード格納メモリ22に格納された符号化
データは、図2に詳しく示すような切換え制御回路23
により選択され、この符号とヘッダ情報発生回路15か
らのヘッダ情報がマルチプレックス回路(MUX)9に
より多重化される。スキップコード格納メモリ22には
スキップコード(スキップ情報)が格納されている。ヘ
ッダ情報にはピクチャーの表示タイミングを示す表示タ
イミングコードが含まれている。ついで、この符号デー
タは、発生符号レートと伝送路に出力される伝送レート
を調整するための出力バッファメモリ10により一旦格
納され、伝送路に出力される伝送レートに応じて読み出
される。
【0016】また、量子化回路(Q)7により量子化さ
れたデータは、逆量子化回路(Q-1)12により元の直
交変換係数に変換され、逆直交変換回路13により元の
予測誤差の復号値が求められ、この予測誤差と動き補償
予測回路(MC)4により算出された予測値が加算され
(加算器14)、復号画像が画像メモリ(FM2)11
に格納される。
【0017】ここで、従来例において説明したように、
符号化される画像の動きが激しい場合や、細かな絵柄部
分が動いている場合には予測誤差が大きいので、発生符
号レートが伝送路に出力される符号レートを上回り、出
力バッファメモリ10がオーバフローする場合がある。
そこで、このオーバフローを防止するために、出力バッ
ファメモリ10に格納されたデータ量に応じて量子化回
路7の量子化ステップが符号量制御回路17により制御
される。
【0018】さらに、本実施例では伝送レート超過判定
回路24は、出力バッファメモリ10に格納されたデー
タ量とバッファメモリ20に格納された1画像分の符号
化データ量D1により、符号化データ量D1とヘッダ情
報量の合計量を出力バッファメモリ10に格納した場合
に出力バッファメモリ10が所定伝送レートを超過する
か否かを判定し、判定結果(フラグK1)を切換え制御
回路23に出力する。
【0019】そして、画質判定回路25は、符号量制御
回路17から量子化回路7に印加された量子化制御値に
より復号化側の画質が劣化するか否かを判定し、判定結
果(フラグK2)を切換え制御回路23に出力する。な
お、この画質の判定は、例えば1画像内の量子化制御値
の最大値と所定値を比較して量子化ステップが粗くなる
値である場合に、復号化側の画質が劣化すると判定され
る。
【0020】つぎに、図2を参照して切換え制御回路2
3の詳細な構成を説明する。出力バッファメモリ10が
所定伝送レートを超過するか否かの判定フラグK1と画
質が劣化するか否かの判定フラグK2の論理和信号は、
ORゲート23aを介してDラッチ23bのD端子とO
Rゲート23cの一方の入力端子に印加される。Dラッ
チ23bのQ端子の出力信号は、ORゲート23cの他
方の入力端子に印加され、ORゲート23cの出力信号
がハイレベルの場合に、スキップコード格納メモリ22
に格納されたスキップコードがセレクタ21により選択
されるように制御される。また、Dラッチ23bは、数
フレーム前または数フィールド前の画像を用いた符号化
方法Pの開始パルスと終了パルスが印加され、ORゲー
ト23aの出力信号がロウレベルの場合であって符号化
方法P(片方向予測符号化)のモードでない場合にハイ
レベルの信号を出力する。
【0021】したがって、出力バッファメモリ10のデ
ータ量が所定伝送レートを超過する場合、または復号化
側の画質が劣化する場合には、スキップコード格納メモ
リ22に格納されたスキップコードが選択され、当該ピ
クチャーはスキップされる(すなわち、画質が劣化した
ピクチヤーとして伝送されることなく、間引かれる)。
したがって、出力バッファのオーバフローを防止するこ
とができるとともに、「スキップしなければ転送されて
いたであろう符号量−スキップコードの情報量」を次の
ピクチャーにまわすことができるので、復号化側の画質
の劣化を防止することができる。なお、スキップしたピ
クチャーがその後から符号化するピクチャーの予測参照
ピクチャーにあたる場合の予測符号化については後述す
る。
【0022】(動画像復号化装置)次に、図3に示す動
画像復号化装置について説明する。符号化データ(ビッ
トストリーム)は入力バッファメモリ(FM3)31に
バッファリングされる。バッファリングされたデータは
デマルチプレックス(MUX-1)32に送られる。デマ
ルチプレックス(MUX-1)32で、MV,MCモード
情報と、スキップコード,ヘッダ情報,画像データに分
割され、スキップコード,ヘッダ情報,画像データはス
キップコード検出回路33に送られる。スキップコード
検出回路33はスキップコードを検出したらセレクタ4
0をB側にセットし、それ以外の場合はA側にセットす
る。ヘッダ情報検出回路34では画像の表示タイミング
を検出し、表示タイミング制御器41に表示タイミング
情報を送る。
【0023】画像データは逆可変長符号化回路(VLC
-1)32でヘッダ情報(ピクチャーの表示タイミング,
ピクチャータイプなど),符号化画像データとMV,M
Cモードとに分割されて、MV,MCモードは逆動き補
償回路(MC-1)35,逆量子化回路(Q-1)36,逆
直交変換回路37を介して動き補償差分誤差復号画像に
変換される。
【0024】動き補償差分誤差復号画像は、逆動き補償
回路35において、MV,MCモード情報を用いて予測
参照ピクチャーを逆動き補償した画像と加算されて(加
算器42)、セレクタ40を介して表示タイミング制御
器41に送られる。加算された復号化画像データはフレ
ームメモリ(FM4)38に記憶されていて、スキップ
コード検出回路33でスキップコードを検出した場合に
はこのフレームメモリに格納されている画像が表示タイ
ミング制御器41に送られ、表示タイミング情報に従っ
て出力される。すなわち、スキップコードが伝送された
場合には、スキップされたピクチャーとして最も時間的
に近く、かつ、スキップされていないピクチャーを出力
する。
【0025】(スキップ時の予測符号化復号化の方法)
以上のようなスキップコードを使用した符号化装置,復
号化装置を用いることで出力画像としてはコマ送りのよ
うな画像出力を得ることになる。そして、符号化装置の
予測構造や、符号化装置入力順序において時間的に過去
のピクチャーの内、どのピクチャーを使用するかによっ
て出力画像が変わってくる。さらに、本装置では、スキ
ップしたピクチャーがその後から符号復号化するピクチ
ャーの予測参照ピクチャーにあたる場合には、スキップ
しないピクチャーであって、かつ、符号化装置入力順序
において時間的に過去のピクチャーを使用して予測符号
復号化がなされるように構成されている。したがって、
予測復号化に際して、予測参照ピクチャーがなくなるな
どの、予測符号復号化への障害が生じることがない。
【0026】ところで、動き補償予測符号化は、前述し
たように、代表的な符号化タイプとして以下の3タイプ
がある。 I:予測を行わずに、Iピクチャー内で独立に符号化す
るタイプ P:片方向予測(過去のピクチャーを予測参照画像とす
る)を行って符号化するタイプ B:両方向予測(過去と未来のどちらか、若しくは両方
を予測参照画像とする)を符号化するタイプ
【0027】(ア)片方向予測の場合 最初に、図4を参照して片方向予測の場合を説明する。
これは、基本的な予測構造でIとPのみで構成された場
合である。実線の矢印は予測関係を示し、例えば、P4
はP3 から予測されて符号化される関係を示す。点線の
矢印はスキップしたときの代替画面を示す。数字はピク
チャーの表示タイミングを示す。図4(A)は符号化手
段への入力順序、同図(B)は復号化装置への入力順序
(すなわち、符号化手段からの出力順序)、同図(C)
は復号化装置からの出力順序(スキップなし)、同図
(D)はピクチャーをスキップしたときの符号化手段の
出力順序を示す図、同図(E)はスキップしたときの復
号化装置の出力画像状態を示すものである。
【0028】P3 とP4 との間でシーンチェンジが生じ
たとする。すると、前述した処理手順により同図(D)
に示すように、P4 のピクチャーがスキップされ、伝送
量が小さくなる。この結果、バッファメモリの符号量が
減少して、次のP5 のピクチャーが高画質で符号化伝送
される。そして、同図(E)に示すように、最終出力は
ピクチヤーP4 のタイミングでピクチャーP3 と同じ画
像が出力されることとなる。さらに、スキップしたピク
チャーP4 (のタイミング)がその後から符号化するピ
クチャーP5 の予測参照ピクチャーにあたるので、符号
化手段入力順序において時間的に過去のピクチャーで、
かつ、スキップしないピクチャーであるP3 を使用して
予測符号復号化がなされる。
【0029】このように処理すると、同図(B)及び
(C)に示すように従来のように少ない情報量ですべて
を符号化した場合のP4 (これは量子化を粗くした画
像),P5 (これは粗いピクチャーP4 を予測参照ピク
チャーとした予測画像)の画像と比べて、スキップした
P4 (これはP3 と同じ画像),P5 (これはP3 を予
測参照ピクチャーとした画像)は高画質なものとなり、
高品位な画像を得ることができる。すなわち、シーンチ
ェンジなどにより、予測誤差が急激に大きくなったにも
かかわらず、バッファメモリ内の符号量が大きく伝送で
きない場合には、バッファメモリ内の符号量が減少する
まで、実質的なシーンチェンジのピクチャータイミング
をずらし、画質を劣化させることなく、シーンチェンジ
に実質的に対応することとなる。
【0030】(イ)両方向予測の場合 さらに、IとPとBを組み合わせた予測構造の場合を図
5に示す。P4 とB5との間でシーンチェンジが生じた
とする。同図(D)及び(E)はB5 とB6 をスキップ
した例である。ピクチャーBは両側から予測することが
できるので、スキップするときは2つのピクチャーBが
それぞれ、あらかじめ未来か過去のどちらかを予測参照
画像とするか決定しておく必要がある。
【0031】ここで、時間的に近いほうのピクチャーP
を参照するとすれば、同図(D)のように予測符号復号
化され、ピクチャーB5 とB6 のタイミングで2枚つづ
同じ画像が出力される、すなわち、P4 と同じ画面がピ
クチャーB5 のタイミングで出力され(丸印の画面B4
)、P7 と同じ画面がピクチャーB6 のタイミングで
出力される(丸印の画面B7 )。また、2つのBはどち
らにも過去のPを参照するとすれば、同図(E)のよう
に復号され、3枚同じ画像が出力される、すなわち、P
4 と同じ画面がピクチャーB5 ,B6 のタイミングで出
力される(2枚の丸印の画面B4 )。
【0032】さらに、同図(F)はB5 ,B6 及びP7
をスキップした例である。P7 をスキップした場合に
は、このピクチャーP7 は予測参照ピクチャーあたるの
で、予測参照ピクチャーとしては、スキップしないピク
チャーであって、かつ、符号化装置入力順序において時
間的に過去のピクチャーを使用して予測符号復号化がな
される。つまり、ピクチャーP7 のタイミングの予測参
照ピクチャーとして、ピクチヤーP4 が使用されて予測
符号復号化がなされる。その結果、ピクチャーP4 とP
7 の2枚を用いて予測される2枚のB5 ,B6 は未来で
も過去でもどちらを参照してもP4 と同じ画像となり、
4枚同じ画像、すなわち、P4 と同じ画面がピクチャー
B5 ,B6 ,P7 のタイミングで出力される(3枚の丸
印の画面B4 ,B4 ,P4 )。このように処理されるの
で、(ア)で述べたと同様に、従来のように少ない情報
量ですべてを符号化した場合のB5 ,B6 ,P7 (これ
は量子化を粗くした画像)の画像と比べて、高画質な画
像を得ることができる。
【0033】以上詳述したように、本発明によれば、シ
ーンチェンジなどにより予測誤差が急激に大きくなる場
合に、当該ピクチャーはスキップされ、1ピクチャーの
時間内で伝送路に出力される符号量よりは少ない符号量
のスキップすることを示すスキップコード(及びスキッ
プした符号化データの表示タイミングを示すコード)の
みが伝送されるので、伝送レートのオーバーフローを防
止することができる。また、シーンチェンジなどにより
予測誤差が急激に大きくなる場合に、スキップすること
により、そのピクチャーが送られてくるべき期間にバッ
ファメモリ内の符号が減少し、スキップ直後のピクチャ
ーは十分な符号を与えることができるようになるので、
量子化ステップを小さくでき、(大きい符号量を使うこ
とができ)画質の劣化も避けることができる。さらに、
スキップしたピクチャーがその後から符号化するピクチ
ャーの予測参照ピクチャーにあたる場合には、スキップ
しないピクチャーであって、かつ、符号化手段入力順序
において時間的に過去のピクチャーを使用して予測符号
化がなされので、予測符号復号化に障害が生じることも
ない。
【0034】
【発明の効果】本発明によれば、動画像をピクチャー内
符号化及びピクチャー間予測符号化により高能率符号化
するに際して、シーンチェンジなどの画像の急激な変化
があっても、符号化装置と復号装置間の伝送がオーバー
フローしたり、逆に量子化が粗くなって画質が低下する
こともなく、さらに、予測符号復号化に障害が生じるこ
ともない。したがって、シーンチェンジなどの画像の急
激な変化が多い、実用的使用に耐え得る装置が提供され
る。
【図面の簡単な説明】
【図1】本発明に係る動画像符号化装置の実施例を示す
ブロック図である。
【図2】図1の切換え制御回路の詳細な構成を示す回路
図である。
【図3】本発明に係る動画像復号化装置の実施例を示す
ブロック図である。
【図4】スキップ時のピクチャー処理を説明する図であ
る(片方向予測の場合)。
【図5】スキップ時のピクチャー処理を説明する図であ
る(両方向予測の場合)。
【図6】従来の動画像符号化装置のー例を示すブロック
図である。
【符号の説明】
4 動き補償回路 7 量子化回路(Q) 10 出力バッファメモリ 20 バッファメモリ 21 セレクタ 22 スキップコード格納メモリ 23 切換え制御回路 24 伝送レート超過判定回路 25 画質判定回路 31 バッファメモリ 33 スキップコード検出回路 36 逆量子化回路(Q-1) 37 逆直交変換回路 38 予測参照ピクチャー用フレームメモリ 39 逆動き補償回路(MC-1) 40 セレクタ

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】動画像をピクチャー内符号化及びピクチャ
    ー間予測符号化により高能率符号化する動画像符号化装
    置であって、 符号化手段と、前記符号化手段により符号化された符号
    化データを格納する記憶手段と、前記記憶手段の符号化
    データを伝送した時、所定の伝送レートを超過するかど
    うかを判定する伝送レート超過判定手段とを有し、 前記伝送レート超過判定手段により、超過していると判
    定された場合には、前記符号化データを伝送することな
    く当該ピクチャーをスキップして、スキップ情報を伝送
    すると共に、 スキップしたピクチャーがその後から符号化するピクチ
    ャーの予測参照ピクチャーにあたる場合には、符号化装
    置入力順序において時間的に過去のピクチャーであっ
    て、かつ、スキップしないピクチャーで予測符号化する
    ようにしたことを特徴とする動画像符号化装置。
  2. 【請求項2】ピクチャー内符号化及びピクチャー間予測
    符号化により高能率符号化された動画像を復号する動画
    像復号化装置であって、 伝送された符号化データを格納する記憶手段と、復号化
    手段と、スキップ情報を検出する手段とを有し、 スキップ情報が伝送された場合には、スキップされたピ
    クチャーとして最も時間的に近く、かつ、スキップされ
    ていないピクチャーを出力すると共に、 スキップされたピクチャーが予測参照ピクチャーにあた
    る場合には、符号化装置入力順序において時間的に過去
    で、かつ、スキップされていないピクチャーを使用して
    予測復号化するようにしたことを特徴とする動画像復号
    化装置。
JP20743092A 1992-07-10 1992-07-10 動画像符号化装置 Expired - Lifetime JP2871316B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP20743092A JP2871316B2 (ja) 1992-07-10 1992-07-10 動画像符号化装置
US08/544,471 US5689307A (en) 1992-07-10 1995-10-18 Encoding and decoding systems for transmitting moving pictures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20743092A JP2871316B2 (ja) 1992-07-10 1992-07-10 動画像符号化装置

Publications (2)

Publication Number Publication Date
JPH0630396A true JPH0630396A (ja) 1994-02-04
JP2871316B2 JP2871316B2 (ja) 1999-03-17

Family

ID=16539632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20743092A Expired - Lifetime JP2871316B2 (ja) 1992-07-10 1992-07-10 動画像符号化装置

Country Status (2)

Country Link
US (1) US5689307A (ja)
JP (1) JP2871316B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191451A (ja) * 1995-01-10 1996-07-23 Canon Inc 動画像送信装置
WO1997039588A1 (fr) * 1996-04-12 1997-10-23 Sony Corporation Procede et dispositif de codage d'image et support d'enregistrement du programme de codage d'image
EP0757490A3 (en) * 1995-08-02 1999-01-13 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
EP0849952A4 (en) * 1996-07-05 2000-01-05 Nippon Telegraph & Telephone IMAGE TRANSFER DEVICE AND METHOD
KR20040046055A (ko) * 2002-11-26 2004-06-05 엘지전자 주식회사 동영상 전송 비트율 조절방법
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
JP2007060498A (ja) * 2005-08-26 2007-03-08 Aiphone Co Ltd Jpeg圧縮装置
JP2007282266A (ja) * 1996-03-06 2007-10-25 Hewlett Packard Co <Hp> 画像縮小サンプリング方法
JP2010034939A (ja) * 2008-07-30 2010-02-12 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
CN101854556A (zh) * 2009-03-30 2010-10-06 索尼公司 信息处理设备和方法
JP2011182284A (ja) * 2010-03-03 2011-09-15 Mega Chips Corp 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法
JP2020039086A (ja) * 2018-09-05 2020-03-12 富士通株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3082585B2 (ja) * 1994-09-09 2000-08-28 富士ゼロックス株式会社 画像情報符号化処理装置、画像情報復号化処理装置及び画像情報符号化復号化処理装置
US6549666B1 (en) * 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
JP2000023162A (ja) * 1998-06-29 2000-01-21 Sony Corp 符号化装置及び符号化方法
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
TW527832B (en) 2000-04-20 2003-04-11 Matsushita Electric Industrial Co Ltd Video encoding apparatus that adjusts code amount by skipping encoding of image data
JP3690259B2 (ja) * 2000-09-27 2005-08-31 日本電気株式会社 動画像高速符号化装置及び動画像高速符号化方法
KR100563781B1 (ko) * 2002-09-24 2006-03-27 가부시키가이샤 히다치 고쿠사이 덴키 주목해야 할 화상의 표시방법과 장치 및 원격화상감시시스템
JP4644097B2 (ja) * 2005-10-31 2011-03-02 富士通セミコンダクター株式会社 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
US20130287100A1 (en) * 2012-04-30 2013-10-31 Wooseung Yang Mechanism for facilitating cost-efficient and low-latency encoding of video streams

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH036184A (ja) * 1989-06-02 1991-01-11 Nec Corp フレーム間予測符号化方式

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2599201A1 (fr) * 1986-05-23 1987-11-27 Trt Telecom Radio Electr Dispositif de codage a modulation differentielle par impulsions codees, dispositif de decodage associe et systeme de transmission comportant au moins un tel dispositif de codage ou de decodage
GB8722394D0 (en) * 1987-09-23 1987-10-28 British Telecomm Video coder
GB8929152D0 (en) * 1989-12-22 1990-02-28 Gen Electric A digital augmentation system for actv-ii
US5164828A (en) * 1990-02-26 1992-11-17 Sony Corporation Video signal transmission and method and apparatus for coding video signal used in this
FR2660139B1 (fr) * 1990-03-23 1995-08-25 France Etat Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants.
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
JP2514114B2 (ja) * 1991-01-31 1996-07-10 株式会社グラフィックス・コミュニケーション・テクノロジーズ 動画像符号化装置
JP2514115B2 (ja) * 1991-02-15 1996-07-10 株式会社グラフィックス・コミュニケーション・テクノロジーズ 画像信号符号化装置
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
US5144425A (en) * 1991-08-26 1992-09-01 General Electric Company Apparatus for hierarchically dividing video signals
SE468736B (sv) * 1991-11-15 1993-03-08 Televerket Foerfarande och apparat foer bildkodning med oeverhoppning av bilder och/eller komponenter
US5283646A (en) * 1992-04-09 1994-02-01 Picturetel Corporation Quantizer control method and apparatus
US5440345A (en) * 1992-07-17 1995-08-08 Kabushiki Kaisha Toshiba High efficient encoding/decoding system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH036184A (ja) * 1989-06-02 1991-01-11 Nec Corp フレーム間予測符号化方式

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191451A (ja) * 1995-01-10 1996-07-23 Canon Inc 動画像送信装置
EP0757490A3 (en) * 1995-08-02 1999-01-13 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US6356309B1 (en) 1995-08-02 2002-03-12 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
JP2007282266A (ja) * 1996-03-06 2007-10-25 Hewlett Packard Co <Hp> 画像縮小サンプリング方法
WO1997039588A1 (fr) * 1996-04-12 1997-10-23 Sony Corporation Procede et dispositif de codage d'image et support d'enregistrement du programme de codage d'image
US6347117B1 (en) 1996-04-12 2002-02-12 Sony Corporation Apparatus and method for encoding images and medium in which image encoding program has been recorded
US6535556B1 (en) 1996-04-12 2003-03-18 Sony Corporation Apparatus and method for encoding images and medium in which image encoding program has been recorded
EP0849952A4 (en) * 1996-07-05 2000-01-05 Nippon Telegraph & Telephone IMAGE TRANSFER DEVICE AND METHOD
US6111917A (en) * 1996-07-05 2000-08-29 Nippon Telegraph And Telephone Corporation Image communication system and method
KR100484148B1 (ko) * 2002-07-27 2005-04-18 삼성전자주식회사 개선된 비트율 제어 방법과 그 장치
US7068718B2 (en) 2002-07-27 2006-06-27 Samsung Electronics Co., Ltd. Advanced method for rate control and apparatus thereof
KR20040046055A (ko) * 2002-11-26 2004-06-05 엘지전자 주식회사 동영상 전송 비트율 조절방법
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
JP2007060498A (ja) * 2005-08-26 2007-03-08 Aiphone Co Ltd Jpeg圧縮装置
JP2010034939A (ja) * 2008-07-30 2010-02-12 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
CN101854556A (zh) * 2009-03-30 2010-10-06 索尼公司 信息处理设备和方法
JP2010239288A (ja) * 2009-03-30 2010-10-21 Sony Corp 情報処理装置および方法
US8687488B2 (en) 2009-03-30 2014-04-01 Sony Corporation Information processing device and method
JP2011182284A (ja) * 2010-03-03 2011-09-15 Mega Chips Corp 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法
JP2020039086A (ja) * 2018-09-05 2020-03-12 富士通株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム

Also Published As

Publication number Publication date
JP2871316B2 (ja) 1999-03-17
US5689307A (en) 1997-11-18

Similar Documents

Publication Publication Date Title
JP2871316B2 (ja) 動画像符号化装置
US5768469A (en) Apparatus for coding and decoding a digital video signal having duplicate pictures and frames with fields originating from different film source frames
US5974185A (en) Methods and apparatus for encoding video data using motion vectors for decoding by regular or downconverting decoders
JPH07109990B2 (ja) 適応型フレーム間予測符号化方法及び復号方法
JPH0851626A (ja) 動画像信号の変換係数量子化方法及び装置、並びに動画像信号圧縮装置
JP3210082B2 (ja) 符号化装置及びその方法
JPH0813145B2 (ja) 領域分割を用いた動画像符号化方式
JP3738511B2 (ja) 動画像符号化方式
JP3432886B2 (ja) 階層符号化/復号化装置及び方法及び送受信方式
JPH08154250A (ja) 動画像符号化装置
JP2830881B2 (ja) インタレース画像信号の予測符号化方法
GB2341032A (en) Motion-dependent scanning frequency conversion
JPH0918873A (ja) 画像符号化方法、画像符号化装置及び画像記録媒体
JP3202270B2 (ja) 動画像符号化装置
JP4359273B2 (ja) 符号化モード選択方法
JP2000013802A (ja) フレーム間予測を用いた映像信号符号化装置
JPH05236456A (ja) 動画像符号化方法および装置
JPH06153181A (ja) 予測符号化方法、予測復号化方法、予測符号化装置及び予測復号化装置
JP2921755B2 (ja) インタレース画像信号の予測符号化装置
JP4353928B2 (ja) データ圧縮方法、記録方法、及び伝送方法
JP3168723B2 (ja) 映像信号の符号化装置
JP2656059B2 (ja) 動画像の高能率符号化方式
JP4359274B2 (ja) 動画像圧縮符号化装置
JPH07255056A (ja) 動画像再生方法及び装置
JP3517795B2 (ja) 画像符号化装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090108

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090108

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100108

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110108

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120108

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120108

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 14

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 14