JP2003204554A - 画像信号の符号化装置および符号化方法 - Google Patents
画像信号の符号化装置および符号化方法Info
- Publication number
- JP2003204554A JP2003204554A JP2002285573A JP2002285573A JP2003204554A JP 2003204554 A JP2003204554 A JP 2003204554A JP 2002285573 A JP2002285573 A JP 2002285573A JP 2002285573 A JP2002285573 A JP 2002285573A JP 2003204554 A JP2003204554 A JP 2003204554A
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- information
- quantization
- quantized
- activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
子化ステップを制御する処理を良好に行う。 【解決手段】 S1で現在のmin qqに対してアクティビ
ティの順番を求め、S2で順番を示す変数iが0に初期
化され、S3で変数にi番目のアクティビティを代入す
る。S4でq-scaIeを求める。S5でq-scaIeを一ステッ
プ下げた時の総符号量を求める。S6で総符号量と目標
符号量とを比較する。総符号量が目標符号量以下であれ
ば、量子化ステップを下げることができるので、S7で
アクティビティの順番を示す変数iを進め、S8でtota
lを更新し、S3に戻る。S6において、発生符号量が
目標符号量より大と判定されれば、処理がマクロブロッ
ク単位の処理に移る。総符号量が目標符号量以下のmin
actが設定される。各マクロブロックのアクティビティ
の順番とmin actとの比較結果に応じて量子化ステップ
を下げるか否かが制御される。
Description
とDCT(Discrete Cosine Transform)を用いた符号化
に対して適用できる画像信号の符号化装置および符号化
方法に関する。
p)規格に代表されるDCTを用いた画像圧縮方式では、
伝送路に送出されるビットストリームが所望のレートに
なるように、符号量制御を行なっている。例えば量子化
ステップを表す量子化インデックスを制御することによ
って、符号量制御がなされる。MPEG2でTM5とし
て提案されている符号量制御では、仮想バッファの残量
と、以前エンコードした際の量子化インデックスと発生
符号量の関係を用いて量子化ステップをフィードバック
制御している。
のである。シーケンス層、GOP(Group Of Picture)
層、ピクチャ層、スライス層、マクロブロック層からな
る階層構造が規定されている。より具体的には、図1に
示すように、スライス層や、マクロブロック層に含まれ
るデータ(Qスケールと呼ぶ)で量子化ステップを変化
させることによって、1フレーム等の所定期間で発生す
る符号量を調節している。例えば(4:2:0)のフォ
ーマットでは、4個の輝度信号のブロックと、色信号U
の1個のブロックと、色信号Vの1個のブロックとによ
って、マクロブロックが構成されている。
て、Q1〜Q31の31種類が用意されている。Qスケ
ールの番号が大きくなるにしたがって、量子化ステップ
が大きい値となるようにされている。図2に示すよう
に、量子化と合計符号長(適宜総符号量とも言う)の関
係は、量子化ステップを大きくすると、量子化が粗くな
り合計符号長が少なくなる。逆に、量子化ステップを小
さくすると、量子化は細かくなり合計符号長が多くな
る。また、量子化は離散値しかとれないため、合計符号
長も離散的になる。
子化ステップと総符号量の関係を用いて、現在の平均レ
ートに対してフィードバックをかける方式が一般的であ
る。すなわち、現在の平均レートが目標レートよりも高
めならば量子化ステップを若干粗めにして総符号量を下
げ、現在の平均レートが低めならば量子化ステップを若
干細かくして総符号量を増やす。このようにして平均的
に目標レートを実現するように制御を行う。すなわち、
細かい時間で見ると総符号量は増減するものの、長いス
パンで見ると平均的に総符号量を目標値とするものであ
る。
のようアプリケーションでは、前述のような平均レート
だけで制御すると不具合がおきてしまう。このようなア
プリケーションでは、例えばフレーム毎での編集といっ
た操作があるため、編集単位毎にその総符号量が一定量
を絶対に超えないような制御が必要となる。以下、この
ような制御を固定長符号量制御と呼ぶことにする。
制御ではこの様な制御が困難なため、再生画像の破綻を
来したり、あるいは符号量が超えないようにマージンを
見込み過ぎて画質が劣化してしまうことがあった。そこ
で、予め異なる量子化ステップの固定量子化器を複数用
いて量子化を行ない、そのときの総符号量に基づいて、
量子化制御を行なうという技術が知られている。例え
ば、国際公開公報WO96/28937には、フィード
フォワード方式の符号量制御が開示されている。
スケールをそれぞれ持つ量子化器を設け、各量子化器で
量子化された量子化DCT係数の1フレーム期間の総符
号量をそれぞれを求め、総符号量が目標符号量(図2に
おけるターゲットビットレングス)を超えず、且つ目標
符号量に対する差が小さいQスケールを決定する。図2
の例では、Q4がそのようなQスケールに該当する。
種類の量子化の時の総符号量をもとに、どのように量子
化ステップを決めるのかが問題となる。Qスケールは、
離散的なものであるので、ビットレートも離散的な値し
かとれず細かな制御ができず、目標符号量との差が充分
に小さくならない問題があった。
フォワード方式の符号量制御において、アクティビティ
に応じて、目標符号量を超えないで、且つ目標符号量と
総符号量との差をより小さくすることが可能な画像信号
の符号化装置および符号化方法を提供することにある。
のブロックによって構成される等長化単位毎に、目標符
号量内で画像信号を量子化する画像信号の符号化装置に
おいて、予測部を設け、予測部は、複数の量子化情報で
差分をそれぞれ量子化し、各量子化情報で量子化したと
きに、等長化単位で発生する総符号量を求める手段と、
等長化単位で発生する総符号量が目標符号量を超えない
で、総符号量と目標符号量との差が最小の第1の量子化
情報を決定する手段と、画像の処理ブロック毎の局所的
情報を検出し、局所的情報を出力する手段と、第1の量
子化情報を局所的情報により変化させて最終的な第2の
量子化情報を決定する決定手段とからなり、決定手段
は、第1の量子化情報毎に、局所的情報を考慮した量子
化情報とその量子化情報を一段階小さくしたものとの差
が小さい順に、順番を求め、順番の早いものから開始し
て局所的情報毎に符号量を集計し、集計された符号量か
ら目標符号量を満足する局所的情報を設定する第1の設
定手段と、第1の設定手段によって設定された局所的情
報に基づいて、無条件に量子化情報を一つ減じることが
できる処理ブロックと、量子化情報を減じることが不可
能な処理ブロックと、量子化情報を減じることが可能か
否かの検証を行う処理ブロックとの何れであるかを決定
することによって第2の量子化情報を決定し、量子化情
報を減じることが可能か否かの検証を行う場合には、一
つ減じた量子化情報による総符号量と目標符号量とを比
較する第2の設定手段とからなる画像信号の符号化装置
である。
て構成される等長化単位毎に、目標符号量内で画像信号
を量子化する画像信号の符号化方法において、複数の量
子化情報で差分をそれぞれ量子化し、各量子化情報で量
子化したときに、等長化単位で発生する総符号量を求め
るステップと、等長化単位で発生する総符号量が目標符
号量を超えないで、総符号量と目標符号量との差が最小
の第1の量子化情報を決定するステップと、画像の処理
ブロック毎のアクティビティを検出し、局所的情報を出
力するステップと、第1の量子化情報を局所的情報によ
り変化させて最終的な第2の量子化情報を決定する決定
ステップとからなり、決定ステップは、第1の量子化情
報毎に、局所的情報を考慮した量子化情報とその量子化
情報を一段階小さくしたものとの差が小さい順に、順番
を求め、順番の早いものから開始して局所的情報毎に符
号量を集計し、集計された符号量から目標符号量を満足
する局所的情報を設定する第1の設定ステップと、第1
の設定ステップによって設定された局所的情報に基づい
て、無条件に量子化情報を一つ減じることができる処理
ブロックと、量子化情報を減じることが不可能な処理ブ
ロックと、量子化情報を減じることが可能か否かの検証
を行う処理ブロックとの何れであるかを決定することに
よって第2の量子化情報を決定し、量子化情報を減じる
ことが可能か否かの検証を行う場合には、一つ減じた量
子化情報による総符号量と目標符号量とを比較する第2
の設定ステップとからなる画像信号の符号化方法であ
る。
離散的な値であるので、目標符号量と総符号量との間に
差が存在する。これを小さくするために、例えば各マク
ロブロックの量子化ステップを一つずつ小にする。その
場合に、量子化ステップ毎に局所的情報に関して順番を
求め、順番の早いものから順に総符号量が目標符号量を
超えない局所的情報を設定する。次に、処理ブロック単
位で量子化ステップを制御する。その場合に、設定され
た局所的情報より順番が早い処理ブロックは、無条件に
量子化ステップを一つ減じ、設定された局所的情報と同
じ順番の処理ブロックは、量子化ステップを一つ減じる
ことが可能かどうかが検証される。
いて図面を参照して説明する。図3は、この発明が適用
されたエンコーダの全体的構成を示す。一例として、1
フレーム、すなわち、1画面単位で合計符号長が固定長
になるように制御する。図3において、参照符号1が走
査変換部を示す。走査変換部1において、入力画像信号
がマクロブロックに分割される。入力画像がプログレッ
シブ走査の場合では、そのままマクロブロックに分割さ
れ、インターレース走査の場合は、フィールド−フレー
ム変換してマクロブロックに分割される。MPEGで
は、輝度信号に関して、4個のDCTブロックから構成
される(16×16)のサイズのブロックが構成され
る。色差信号Cr、Cbに関して、(4:2:0)の場
合、それぞれが(8×8)のブロックが構成される。こ
れらの合計6個のDCTブロックをまとめて一つのマク
ロブロックが構成される。
れたデータが本線系2および予測系3にそれぞれ入力さ
れる。本線系2は、参照符号4が付されたFIFO、参
照符号5が付されたDCT処理部、参照符号6が付され
た量子化部、参照符号7が付されたVLC(Variable Le
ngth Coding) 、参照符号8が付されたバッファとから
なる。
われ、入力画素値そのものがDCTされる。なお、前フ
レームのローカル復号値を動き補償することによって形
成された予測値と入力画素値とのフレーム間差分を求
め、フレーム間差分をDCTするようにしても良い。量
子化部6には、予測系3においてマクロブロックmb毎に
決定された量子化ステップQ final[mb]が供給され、こ
の量子化ステップQ final[mb]でDCT係数が量子化さ
れる。FIFO4は、予測系3において、量子化ステッ
プQ finalが決定されるまでの時間を補償するための遅
延素子である。
C部7において可変長符号化される。VLC部7の出力
がバッファ8に供給される。バッファ8によって平滑化
がなされ、ビットストリームが出力される。
部と、参照符号10−1,10−2,・・・,10−n
で示すn個の量子化器と、参照符号11−1,11−
2,・・・,11−nで示すn個の符号量検出器と、参
照符号12で示すメモリと、参照符号13で示す量子化
ステップ決定部と、参照符号14で示す作業用のメモリ
と、アクティビティ算出回路15とからなる。量子化ス
テップ決定部13からの量子化ステップが上述した本線
系2の量子化部6に供給される。
・,10−nは、それぞれ異なる量子化ステップで量子
化する。各量子化器で発生した量子化DCT係数が符号
量検出器11−1,11−2,・・・,11−nに供給
され、各マクロブロックの符号量が符号量検出器11−
1,11−2,・・・,11−nからそれぞれ発生す
る。符号量検出器11−1,11−2,・・・,11−
nは、量子化DCT係数をVLC部7と同様に可変長符
号化し、可変長符号をマクロブロックについて集計する
構成とされている。このようにして求められた各マクロ
ブロックについての各量子化の符号量をバッファメモリ
12に保存する。
して、q scaIeで量子化した符号量をLength[mb,q sca1
e]といった二次元配列の形で保存する。例えば1画面内
のマクロブロック数が1350個で、量子化ステップの
種類が31個であれば、縦および横方向のアドレスの一
方が(mb=1)から(mb=1350)までとされ、
縦および横方向のアドレスの他方が(q scaIe=1)か
ら(q scaIe=31)までとされ、両者で指定されるメ
モリ上のアドレスに各マクロブロックの符号量のデータ
が格納される。
マクロブロック毎に1つの量子化ステップを選択しなが
ら、1画面分を総和した時の符号量が目標符号量GEN
TGT(図2参照)を上回らずに最も近くなる様な量
子化ステップの組合せを探す。この量子化ステップの組
合せを求める方法がこの発明に係わるものである。実際
のアプリケーションでは、各マクロブロックの量子化ス
テップを同じにするのではなく、マクロブロック毎にそ
の性質を加味して変化させるようになされる。このため
に、アクティビティ算出回路15が設けられ、各マクロ
ブロックの局所的情報Act(mb)が算出される。アクティ
ビティAct(mb)がバッファメモリ12に供給される。
の内容を使用して目標符号量を超えないで、且つ目標符
号量との差が最小となる参照量子化min qqを求め、ま
た、メモリ12の内容を使用して、後述するように、最
終的なものである、Q finalを決定するものである。
ブロックmbに対応して決定された量子化ステップがQ f
inal[mb]という配列の形で格納される。この情報は本線
系2に伝送される。本線系2の量子化部6では、各マク
ロブロックmb no毎に検出された量子化ステップQ fina
l[mb]によってそのマクロブロックのDCT係数が量子
化される。
1画面単位の合計符号長を所望の量以下にする、固定長
符号量制御が実現できる。この制御において、目標符号
量GEN TGTを上回らず、これに最も近くなるよう
な量子化ステップの組合せを見つける方法が重要であ
る。図2の例では、Q3では、合計符号長が目標符号量
GEN TGTを上回り、Q4が合計符号長が目標符号
量GEN TGTを超えない範囲で、最も近いものであ
る。そうであっても、Q4を適用した場合、合計符号長
と目標符号量GEN TGTとの間の差が存在する。こ
の差ができる限り小さいことが望ましい。
ロブロックのアクティビティ情報を用いて量子化ステッ
プを変化させることが効果的である。アクティビティと
は、画面内の局所的な画像の性質を表すものである。コ
ンポーネント信号の場合では、輝度信号を使用してアク
ティビティが算出される。
は、従来から知られているように、差の絶対値の合計等
いくつかのものが使用できるが、例えばアクティビティ
として、下記の式1で示すようなマクロブロックを構成
する複数の画素値の分散を使用できる。式1でNは、マ
クロブロックを構成する画素の数であり、xが画素値で
あり、ΣがN画素についての集計を表し、x^がマクロ
ブロックの画素値の平均値である。
成を示す。参照符号101がマクロブロックの平均値算
出回路であり、参照符号102が時間合わせ用の遅延素
子としてのFIFOであり、参照符号103で示す減算
器によって平均値に対する各画素値の差が演算される。
差が参照符号104で示す二乗器で二乗され、さらに積
算器105で積算され、積算値が106で示す割算回路
で割り算される。割算回路106から式1で表されるア
クティビティ情報Act(mb)が発生する。
・・・1・10−nでは、アクティビティを考慮した量
子化を行なっていない。各量子化器では、Qスケールで
1画面全体に渡ってDCT係数を量子化する。なお、図
3におけるアクティビティ算出回路15は、上述した図
4の構成を有するものである。
定値Qref に対して、各マクロブロックに適用するアク
ティビティを考慮した量子化ステップQact (mb)が得ら
れる。この量子化ステップで量子化した時のそのマクロ
ブロックの符号量Length[mb,Qact (mb)]を使用して1
画面の総符号量が求まる。次にQref を変えていった時
の総符号量のうちで、目標符号量GEN TGTを超え
ないで、且つ目標符号量との差を最小とする総符号量を
生じさせるQref が参照量子化min qqが量子化ステップ
決定部13によって求められる。
いて説明する。予測系3では、上述したように、31種
類のQスケールによって量子化を行ないそのときの総符
号量Length[mb,q scaIe]をメモリ12上に保存してい
る。ここでは、アクティビティが考慮されていない。こ
の時の量子化ステップq scaIe がある参照量子化ステッ
プQref に対して、当該マクロブロックのアクティビテ
ィを考慮した場合のものQact の場合、求められた符号
量を、Qref をインデックスとして1画面に渡り累算す
る。この結果、1画面分の予測系の処理が終った時に
は、各参照量子化Q ref に対して、アクティビティを考
慮した画面総和の符号量が得られることになる。
離散的に変化させて、目標符号量GEN TGTを超え
ないで目標符号量GEN TGTとの差が最小になるよ
うな参照量子化を見つける。このようにしてmin qqが求
められる。この処理は、Qre f の総数に等しい回数の比
較で済む。
は、量子化ステップ決定部13が設けられている。量子
化ステップ決定部13の一例の構成を図5に示す。入力
として与えられるデータは、そのマクロブロック(mb番
目のマクロブロック)のアクティビティ情報Act(mb)
と、Qスケールと、Qスケールで量子化した時の符号量
Length(mb)である。量子化ステップ決定部13は、メモ
リ12に対してアドレスを出力してアドレスに対応する
Length(mb)を受け取るので、Qスケールの値が分かる。
各マクロブロックごとにAct(mb)が一つ決定され、Qス
ケールは、量子化器10−1,・・・,10−nによっ
て、各マクロブロック内で異なる値を並列に適用し、各
々に対するLength(mb)が計算される。アクティビティ情
報Act(mb)は、アクティビティ算出回路15から供給さ
れる。符号量Length(mb)は、メモリ12から読み出され
たものである。量子化ステップ決定部13に対する入力
としては、n個のQスケールに対応する符号量Length(m
b)が1画面の最初のマクロブロックに関するものからそ
の最後のマクロブロックに関するものまで順に供給され
る。
て、Act(mb)およびQスケールが供給される。マッピン
グ部301は、一例として下記の式2と逆の関係でもっ
て入力されたQスケール(Qact )をQref に変換する
ものである。すなわち、Qスケールをアクティビティを
考慮したものと仮定し、アクティビティを考慮しない値
Qrefをマッピング部301が出力する。
の劣化が目立ちにくく、量子化ステップを相対的に粗く
することが可能であり、また、アクティビティが小さい
箇所は比較的画質の劣化が目立ちやすいため、量子化ス
テップを相対的に細かくする必要がある。アクティビテ
ィと量子化ステップを関連づける方法を以下に説明す
る。
ティビティを考慮した場合の量子化ステップ(実際に使
用される量子化ステップ)をQact (mb)とすると、次の
式2でQact (mb)が決定される。この場合、総符号量を
目標符号量以下に制御することは無視されている。な
お、参照量子化ステップQref とは、アクティビティを
考慮しないで、1画面全体を量子化する量子化ステップ
を意味する。この一実施形態は、画面の局所的情報とし
てのアクティビティを考慮するものであるので、仮想的
なQrefを導入し、Qrefをアクティビティに応じて変更
するものである。変更する割合は、Qrefの値と無関係
にアクティビティに応じて一定である。
ref からQact (mb)を計算するためのものである。例え
ばMPEGのTM(Test Model)5で使用されているもの
を次の式3で示す。
均であるが、システムデイレイを考慮して、前画面の値
を用いることもある。式3において、act(mb)=N act
であれば、Qref に対して乗じられる係数kが1とな
る。act(mb)=0であれば、Qr efに対して乗じられる係
数kが0.5となる。係数kは、0.5から2までの範囲
の値をとりうる。このような関数fmap() を用いて、Q
act (mb)を算出する。本来、アクティビティ情報Act(m
b)は、連続値(小数点以下の値を有する値)であるが、
適当に丸めた代表値、例えば16ステップの代表値であ
っても画質的には十分である。
ブロックが存在し、各マクロブロックのアクティビティ
情報Act(mb)を考慮した量子化の操作が(×0.5,×1.0,×
0.5,×2.0) であったとする。参照量子化Qref が例え
ば10の場合では、各マクロブロックに対するアクティ
ビティを考慮した量子化Qact は、Qref に対してAct
(mb)を考慮した操作を行うことで、(5,10,5,20)とな
る。例えばマッピング部301に対してAct(mb)=0.5
でQact =10が供給されるときには、Qref が20で
あることが分かる。
ref がアドレス生成部302に供給される。アドレス生
成部302は、Qref からメモリ303のアドレスを発
生する。メモリ303は、予めフレームの先頭でクリア
される。Qref として31通りのものが用意されている
時には、Qref と対応して31個のメモリ303のアド
レスが存在する。1画面内のマクロブロック毎に31種
類のQスケールと各Qスケールに対応したLengthが量子
化ステップ決定部13へ入力される。
と、そのアドレスに既に書かれているデータ量がメモリ
303から読み出され、加算器304にフィードバック
される。そして、加算器304にて入力Lengthと加算さ
れたものがメモリ303の同じアドレスに書き込まれ、
積算動作がなされる。したがって、1画面の全てのマク
ロブロックの処理が終了すると、Qref のそれぞれにつ
いての総符号量がメモリ303上に格納される。
ウント値がアドレス生成部302およびレジスタ309
に供給される。このカウント値は、Qref の31通りの
値に対応して例えば30,29,・・・,0とデクリメ
ントするものである。Qrefがデクリメントされるにし
たがって総符号量が増大する。アドレス生成部302
は、カウント値に応じてリードアドレス(すなわち、Q
ref )をメモリ303に与える。メモリ303からその
アドレスの総符号量が読み出され、減算器306に総符
号量が供給される。
GTが供給され、メモリ303から読み出された総符号
量が目標符号量GEN TGTから減算される。減算器
306の出力が比較器307およびレジスタ308に供
給される。比較器307の出力がレジスタ308および
309に対してイネーブルとして供給される。比較器3
07の他方の入力としてレジスタ308の出力が供給さ
れる。
とレジスタ308に蓄えられているレジスタデータとを
比較し、減算出力がレジスタデータより小さい場合に、
レジスタ308および309が入力を取り込むイネーブ
ルとしての比較出力を発生する。減算出力が負の場合で
は、比較器307がイネーブルを発生しない。したがっ
て、Qref の全てに対応するリードアドレスを発生し終
えた時点では、レジスタ308には、最小の減算出力が
格納され、レジスタ309には、最小減算出力を発生し
たQref に対応するカウント値が格納されている。この
カウント値がmin qqとして出力される。なお、減算出力
が負となった時点で、カウンタ305のカウントを停止
しても良い。
て、図6を参照してより具体的に説明する。簡単のため
に、量子化ステップ(q scale)の種類が1,2,4,
8,16であり、アクティビティを考慮した量子化の操
作(係数k)が0.5,1.0,2.0 であるとする。この場合で
は、Qref とQact とは、図6Aに示すような関係とな
る。例えばQref =2の例では、アクティビティを考慮
した量子化ステップQactがQact =1,Qact =2,
Qact =4となる。
3からなる1画面を考える。それぞれのアクティビティ
情報(係数k)を(2.0,0.5,2.0,1.0)とする。画面内の
Qref を2,4,8とした場合、各マクロブロックmbn
のアクティビティを考慮した量子化ステップは、図6B
に示すものとなる。Qref =1およびQref =16の場
合には、操作後の値が規定の範囲からはみ出してしまう
ために除外している。すなわち、該当なしとして処理す
る。
号量total length(Qref )は、下記に示すものとなる。
[mb1,1]+Length[mb2,4]+Length[mb3,2] total length(4)=Length[mb0,8]+Length[mb1,2]+Len
gth[mb2,8]+Length[mb3,4] total length(8)=Length[mb0,16]+Length[mb1,4]+Le
ngth[mb2,16]+Length[mb3,8]
クに対して全ての量子化ステップ1,2,4,8,16
によってそれぞれ量子化を行う。まず、total length
(2)、total length(4)、total length(8)が0に初期化
される。最初のマクロブロックmb0について、Length[mb
0,1],Length[mb0,2],Length[mb0,4],Length[mb0,
8],Length[mb0,16]が得られる。mb0 のアクティビティ
を考慮した量子化ステップの操作(係数k)が2である
ので、図6Aを参照してQact からQrefの関係を求め
ることにより下記のように各Qrefに対する符号量が分
かる。
が1になるようなQrefが存在しないという意味であ
る。) Length[mb0,2]・・・・Qref =1でアクティビティを
考慮した符号量 Length[mb0,4]・・・・Qref =2でアクティビティを
考慮した符号量 Length[mb0,8]・・・・Qref =4でアクティビティを
考慮した符号量 Length[mb0,16]・・・・Qref =8でアクティビティを
考慮した符号量
部301(図5参照)である。マッピング部301から
のQref に応じてメモリ303のアドレスを変化させて
積算する。それによってマクロブロックmb0 だけでのto
tal lengthは,下記のものとなる。
ビティを考慮した量子化ステップの操作(係数k)が0.
5 であるので、図6Aを参照して同様に符号量が分か
る。
ティビティを考慮した符号量 Length[mb1,2]・・・・Qref =4でアクティビティを
考慮した符号量 Length[mb1,4]・・・・Qref =8でアクティビティを
考慮した符号量 Length[mb1,8]・・・・Qref =16でアクティビティ
を考慮した符号量 Length[mb1,16]・・・・該当無し
l lengthは,下記のものとなる。
ビティを考慮した量子化ステップの操作(係数k)が2.
0 であるので、図6Aを参照して同様に符号量が分か
る。
考慮した符号量 Length[mb2,4]・・・・Qref =2でアクティビティを
考慮した符号量 Length[mb2,8]・・・・Qref =4でアクティビティを
考慮した符号量 Length[mb2,16] ・・・・Qref =8でアクティビティ
を考慮した符号量
l lengthは,下記のものとなる。
[mb1,1]+Length[mb2,4] total length(4)=Length[mb0,8]+Length[mb1,2]+Len
gth[mb2,8] total length(8)=Length[mb0,16]+Length[mb1,4]+Le
ngth[mb2,16] となる。
ビティを考慮した量子化ステップの操作(係数k)が1.
0 であるので、図6Aを参照して同様に符号量が分か
る。
ティビティを考慮した符号量 Length[mb3,2]・・・・Qref =2でアクティビティを
考慮した符号量 Length[mb3,4]・・・・Qref =4でアクティビティを
考慮した符号量 Length[mb3,8]・・・・Qref =8でアクティビティを
考慮した符号量 Length[mb3,16] ・・・Qref =16でアクティビティ
を考慮した符号量
わち、1画面)のtotal lengthは,下記のものとなる。
[mb1,1]+Length[mb2,4]+Length[mb3,2] total length(4)=Length[mb0,8]+Length[mb1,2]+Len
gth[mb2,8]+Length[mb3,4] total length(8)=Length[mb0,16]+Length[mb1,4]+Le
ngth[mb2,16]+Length[mb3,8] となる。以上のようにして、2,4,8のQref に対す
る1画面の総符号量が求められる。
TGTを超えないで、目標符号量GEN TGTとの差
が最小の参照量子化Qref がmin qqとして求められる。
しかしながら、Qref を離散的に操作しているので、ビ
ットレートも離散的な値しかとれず細かな制御ができな
いため、目標符号量GEN TGTとの差が充分に小さ
くならない可能性がある。そこで、この発明は、量子化
ステップが飛び飛びの離散値しか選ぶことができず、実
際に使用できるQact (mb)が丸め等の処理によって近い
値にマッピングをしていることを利用して、目標符号量
GEN TGTとの差をより小さくするものである。丸
め処理を利用して細かくビットレートを調整する。
合には、いくつかのマクロブロックに対してQスケール
を大きくして総符号量を少なくすれば良い。このとき、
アクティビティを考慮した際の丸め処理によって切り捨
てられた量が大きいもの、すなわち、切り上げても弊害
が少なそうなものから順に切り上げるようにする。逆
に、ビットレートを若干上げたい場合には、いくつかの
マクロブロックに対してQスケールを小さくして総符号
量を大きくすれば良い。このとき、丸め処理によって切
り上げられた量が大きいものから順に切り捨てるように
する。それによって、アクティビティを考慮してQスケ
ールを変化させた時に、本来のQスケールに対して誤差
が少ないようにする。
のマクロブロックによって構成されているとする。所望
のビットレートを得るため各マクロブロックに対するア
クティビティを考慮して連続値(小数点以下まで求めら
れる値)の量子化ステップは、(3.2、5.9、4.1、10.5)
とする。これを四捨五入で丸めをすると、(3、6、
4、11)となる。若し、この組み合わせにより得られ
るビットレートが所望のものよりも高く、ビットレート
を下げたい場合には、下記の順にQスケールを変化させ
る。()内の値は、元の連続値に対する差を示す。
1)、11→12(1.5)
く、ビットレートを上げたい場合には、下記の順にす
る。()内の値は、元の連続値に対する差を示す。
(1.1)、3→2(1.2)
ように設定されており、目標符号量までは、未だ余裕が
あるので、この余裕を利用してビットレートを上げよう
とするので、この場合は、ビットレートが所望のものよ
りも低く、ビットレートを上げたい場合に該当し、Qス
ケールを小さくする処理が必要である。しかしながら、
処理の順序例えば画面の上の左端から順に下の右端に向
かってQスケールを小さくした時には、処理の最初の部
分のQスケールのみが制御され、後半の部分では、Qス
ケールが制御されず、画質の改善にとってそれほど有効
ではない不都合が生じる。このような不都合を生じない
で、アクティビティ情報に応じて量子化ステップを制御
することが必要である。そのような処理を実現する方法
(アクティビティ部分和法と称する)について以下に説
明する。
照量子化min qqを求めるために符号量の集計をとると同
時に、各アクティビティ毎の符号量の和を求めるように
する。すなわち、アクティビティAct(mb)とq scaIeの二
変数でインデックスされる配列データact sub ttl[acti
vity,q scaIe]を生成する。このデータをアクティビテ
ィ部分和と呼ぶことにする。アクティビティに離散値を
用いれば、q scaIeも離散値であるので、このデータを
格納するための容量は、実現可能なものである。
一例の構成を示す。前述した図5の構成と同様のもので
ある。すなわち、量子化ステップ決定部13には、図5
の構成と共に、図7のアクティビティ部分和算出回路も
設けられている。図5の構成では、1画面の全てのマク
ロブロックの処理が終了すると、Qref のそれぞれにつ
いての総符号量がメモリ上に格納される。一方、図7の
構成では、1画面の全てのマクロブロックの処理が終了
すると、アクティビティとq scaIeの二変数でインデッ
クスされる積算符号量がメモリ上に格納される。
生成回路を示し、参照符号402がメモリを示す。アド
レス生成回路401では、メモリ402に対する書き込
みアドレスおよび読み出しアドレスを生成する。書き込
みアドレスは、アクティビティAct(mb)とq scaIe(mb)と
の両者で決定される。読み出しアドレスとしては、任意
のアドレスが与えられる。同じ書き込みアドレスが指定
されると、メモリ402からの読み出しデータと入力デ
ータ(Length)とが加算器403が加算され、加算出力
がメモリ402の同一アドレスに対して書き込まれる。
メモリ402が1フレーム毎にクリアされる。したがっ
て、メモリ402上には、アクティビティとq scaIeの
二変数でインデックスされる1画面の積算符号量が格納
される。各符号量がアクティビティ部分和である。
して、「アクティビティを考慮した丸めない量子化ステ
ップQact(mb)」と「その量子化ステップを一段階小
さくしたもの」との差が小さくなるアクティビティの順
番を求める。これは、アクティビティおよびq scaIeが
離散値であるので、あらかじめ計算でき、全てのq scaI
eのそれぞれについて、アクティビティの順番をテーブ
ルにしておくことで、容易に順番を求めることができ
る。
クティビティ部分和を用いて量子化ステップを一段階ず
らしてその符号量の増加を調べる。すなわち、順番が早
いものから順に量子化ステップを一つ下げる。総符号量
が目標符号量GEN TGTを超えることなく、GEN
TGTとの差が最小となるアクティビティを見つけ
る。これをmin actとする。この処理は、アクティビテ
ィの総数に等しい回数によってなされる。
わち、アクティビティの順番がmin actよりも早いマクロ
ブロックについては、無条件に量子化ステップを一段階
下げる。アクティビティの順番がmin actと同じマクロ
ブロックについては、量子化ステップを一段階下げるこ
とが可能か否かを調べる。アクティビティの順番がmin
actより一つ遅いマクロブロックについては量子化ステ
ップを一段階下げることが不可能とする。この処理は、
マクロブロックの総数に等しい回数、行なわれる。
ィ部分和法を説明するためのフローチャートである。図
3の構成では、量子化ステップ決定部13においてフロ
ーチャートで示す処理がなされる。これらの図は、一連
の処理を示すものであるが、作図スペースの制約から二
つの図に分けたものである。最初のステップS1では、
テーブルを参照して現在のmin qqに対してアクティビテ
ィの順番act queue[ ]を求める。この順番は、最も早い
順が0で、以下、1,2,・・・と遅くなる。最も遅い
順位は、アクティビティの総数から1を減じたものであ
る。
を示す変数iが0に初期化される。ステップS3では、
変数actにi番目のアクティビティを代入する。
scaIeを求める。ステップS5では、q scaIeを一ステ
ップ下げた時の総符号量を求める。総符号量をtmpと表
記する。
総和が増加するので、ステップS6では、総符号量tmp
と目標符号量GEN TGTとを比較する。総符号量が
GEN TGT以下であれば、量子化ステップを下げる
ことができるので、処理が次のステップS7に進む。ス
テップS7では、アクティビティの順番を示す変数iを
進め、ステップS8でtotalを更新し、ステップS3に
戻る。次のアクティビティの順番に関して上述と同様の
処理がなされる。
符号量GEN TGTより大と判定されれば、処理がス
テップS9に進む。ステップS9以降のフローが図9に
示されている。図9のフローは、マクロブロック単位の
処理である。ステップS9では、アクティビティの順番
を示す変数iが一つ減じられる。この減じた結果のアク
ティビティの順番は、総符号量tmpが目標符号量GEN
TGTを超えないものである。
ンデックスである変数mbがゼロに初期化される。ステッ
プS11では、変数mbが総マクロブロック数MB NUMであ
るか否かが判定される。そうであれば、全マクロブロッ
クの処理が終了したことになるので、処理が終了する。
変数mbが総マクロブロック数MB NUMに達していないなら
ば、ステップS12に処理が移る。
ブロックのアクティビティの順番とステップS9のmin
actとを比較する。順番がmin actより小の場合では、量
子化ステップを無条件に下げることができるので、ステ
ップS17にジャンプし、そのマクロブロックmbの量子
化ステップが一つ減じられる。順番がmin actより大の
場合では、量子化ステップを下げることができないの
で、ステップS18にジャンプし、量子化ステップを下
げることなく、マクロブロックmbが進められる。順番が
min actと等しい場合では、量子化ステップを下げられ
る可能性があるので、検証のために次のステップS13
に進む。
てq scaIeが求められる。ステップS14では、マクロ
ブロックmbのq scaIeを一つ減じた時の総符号量tmpが求
められる。すなわち、q scaIeを一つ減じたことによる
符号量の増加分が元の総符号量に加算された結果が総符
号量tmpに代入される。
符号量GEN TGTとを比較する。総符号量tmpがG
EN TGT以下であれば、量子化ステップを下げるこ
とができるので、処理が次のステップS16に進む。そ
うでなければ、ステップS18(mbを進める処理)にジ
ャンプする。
新する。そして、ステップS17において、マクロブロ
ックmbの量子化ステップを一つ減じる。ステップS18
において、mbを一つ進めて、ステップS11(mbと総マ
クロブロック数MB NUMの比較)に戻る。
処理を説明するものである。各参照量子化Qref および
各アクティビティ毎に、q scaleを変化させる順番の一
例が示されている。ここで、kは、アクティビティ情報
に応じて量子化ステップを操作するための係数、すなわ
ち、式(3)において、Qref (mb)に乗じられる係数部
分を表している。前述したように、アクティビティが大
きいマクロブロックは、量子化ステップを粗くし、アク
ティビティが小さいマクロブロックは、量子化ステップ
を細かくする必要がある。すなわち、アクティビティが
小さい場合では、係数が小さくされ、量子化ステップが
細かくされ、逆に、アクティビティが大きい場合では、
係数が大きくされ、量子化ステップが粗くされる。した
がって、この係数kをアクティビティとして扱うことが
できる。図10では、簡単のため、アクティビティkが
5種類の離散的な値(0.5,0.75,1.0,1.5,2.0) をとりう
るものとしている。
量子化ステップQact(mb)(5,7.5,10,15,20)」と「丸
めた量子化ステップを一段階小さくしたもの(4,7,9,14,
19)」との差が小さい順、すなわち、本来連続値でとる
べき値との差が小さい順に順位が付けられる。
ビティkを乗じた値が(5,7.5,10,15,20)となり、四捨五
入で丸めた値が (5,8,10,15,20) となる。ビットレート
を上げるために、丸め後の量子化から1を減算し、(4,
7,9,14,19) を得る。差が小さい順に順番付けがなされ
る。この場合では、アクティビティが0.75が最も早い順
位となる。Qref =11の場合でも、同様に順位が求め
られる。例えば図2に示されるQ1〜Q31の他のQ
ref についても同様にアクティビティの順番が求められ
る。この図10に示すテーブルは、予め求めることがで
きる。図8におけるステップS1では、テーブルを参照
してアクティビティの順番を求めることができる。
の信号が画像信号または画像信号と予測画像信号の差分
の何れであっても良い。また、以上の説明では、変換符
号化としてDCTを用いたが、DCTに限られず、ウェ
ーブレット変換、Haar変換、K−L変換等に対しても、
この発明を適用することができる。
タを磁気テープに記録したり、ハードディスク、光磁気
ディスクに記録する場合に対して適用できる。
(4:2:0)に限らず、(4:2:2)、(4:4:
4)、(4:1:1)等の構造であっても良い。マクロ
ブロック内に含まれるDCTブロックの個数も限定され
るものではない。よりさらに、符号量を制御する等長化
単位としては、1フレームに限らず、より短い期間を設
定しても良い。
あるので、フィードバック制御における問題を回避する
ことができる。すなわち、シーンチェンジ時のデータ量
の急変による再生画像の破綻を来すことなく、ある決め
られた枚数のフレームをある決められたビットレートに
押さえ込むように制御することができる。
の局所的性質により可変されるので、復号画像の画質を
向上することができる。この場合、アクティビティ情報
を離散値とし、アクティビティ情報の順番を求め、目標
符号量を超えない範囲で、目標符号量との差が最も小さ
いアクティビティを設定する。次に、マクロブロック単
位の処理を行う場合に、設定アクティビティと各マクロ
ブロックのアクティビティ情報を比較することによっ
て、量子化ステップを制御する必要のあるマクロブロッ
クを限定することができるので、比較的簡単な処理で量
子化ステップを決定できる。
を示す略線図である。
合計符号長の変化の一例を示す略線図である。
ク図である。
ある。
決定部の一例のブロック図である。
のQref およびQact の関係を説明するための略線図で
ある。
部分和算出回路の一例のブロック図である。
の制御の方法を説明するためのフローチャートである。
の制御の方法を説明するためのフローチャートである。
ィ情報に応じて量子化ステップを制御する方法を説明す
るための略線図である。
10−1〜10−n・・・量子化器、13・・・量子化
ステップ決定部、15・・・アクティビティ算出部
Claims (4)
- 【請求項1】 複数のブロックによって構成される等長
化単位毎に、目標符号量内で画像信号を量子化する画像
信号の符号化装置において、 予測部を設け、 上記予測部は、複数の量子化情報で差分をそれぞれ量子
化し、各量子化情報で量子化したときに、上記等長化単
位で発生する総符号量を求める手段と、上記等長化単位
で発生する総符号量が目標符号量を超えないで、上記総
符号量と上記目標符号量との差が最小の第1の量子化情
報を決定する手段と、画像の処理ブロック毎の局所的情
報を検出し、局所的情報を出力する手段と、上記第1の
量子化情報を上記局所的情報により変化させて最終的な
第2の量子化情報を決定する決定手段とからなり、 上記決定手段は、上記第1の量子化情報毎に、上記局所
的情報を考慮した量子化情報とその量子化情報を一段階
小さくしたものとの差が小さい順に、順番を求め、上記
順番の早いものから開始して上記局所的情報毎に符号量
を集計し、集計された上記符号量から目標符号量を満足
する局所的情報を設定する第1の設定手段と、 上記第1の設定手段によって設定された局所的情報に基
づいて、無条件に量子化情報を一つ減じることができる
処理ブロックと、量子化情報を減じることが不可能な処
理ブロックと、量子化情報を減じることが可能か否かの
検証を行う処理ブロックとの何れであるかを決定するこ
とによって上記第2の量子化情報を決定し、上記量子化
情報を減じることが可能か否かの検証を行う場合には、
一つ減じた量子化情報による総符号量と上記目標符号量
とを比較する第2の設定手段とからなる画像信号の符号
化装置。 - 【請求項2】 請求項1において、 さらに、上記予測部は、上記第1の量子化情報毎の上記
順番の情報をルックアップテーブルとして持つようにし
た画像信号の符号化装置。 - 【請求項3】 複数のブロックによって構成される等長
化単位毎に、目標符号量内で画像信号を量子化する画像
信号の符号化方法において、 複数の量子化情報で差分をそれぞれ量子化し、各量子化
情報で量子化したときに、上記等長化単位で発生する総
符号量を求めるステップと、 上記等長化単位で発生する総符号量が目標符号量を超え
ないで、上記総符号量と上記目標符号量との差が最小の
第1の量子化情報を決定するステップと、 画像の処理ブロック毎のアクティビティを検出し、局所
的情報を出力するステップと、 上記第1の量子化情報を上記局所的情報により変化させ
て最終的な第2の量子化情報を決定する決定ステップと
からなり、 上記決定ステップは、上記第1の量子化情報毎に、上記
局所的情報を考慮した量子化情報とその量子化情報を一
段階小さくしたものとの差が小さい順に、順番を求め、
上記順番の早いものから開始して上記局所的情報毎に符
号量を集計し、集計された上記符号量から目標符号量を
満足する局所的情報を設定する第1の設定ステップと、 上記第1の設定ステップによって設定された局所的情報
に基づいて、無条件に量子化情報を一つ減じることがで
きる処理ブロックと、量子化情報を減じることが不可能
な処理ブロックと、量子化情報を減じることが可能か否
かの検証を行う処理ブロックとの何れであるかを決定す
ることによって上記第2の量子化情報を決定し、上記量
子化情報を減じることが可能か否かの検証を行う場合に
は、一つ減じた量子化情報による総符号量と上記目標符
号量とを比較する第2の設定ステップとからなる画像信
号の符号化方法。 - 【請求項4】 請求項3において、 さらに、上記第1の量子化情報毎の上記順番の情報をル
ックアップテーブルとして持つようにした画像信号の符
号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002285573A JP4127006B2 (ja) | 2001-10-24 | 2002-09-30 | 画像信号の符号化装置および符号化方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001326614 | 2001-10-24 | ||
| JP2001-326614 | 2001-10-24 | ||
| JP2002285573A JP4127006B2 (ja) | 2001-10-24 | 2002-09-30 | 画像信号の符号化装置および符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003204554A true JP2003204554A (ja) | 2003-07-18 |
| JP4127006B2 JP4127006B2 (ja) | 2008-07-30 |
Family
ID=27666455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002285573A Expired - Fee Related JP4127006B2 (ja) | 2001-10-24 | 2002-09-30 | 画像信号の符号化装置および符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4127006B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060343A (ja) * | 2004-08-18 | 2006-03-02 | Fuji Xerox Co Ltd | パラメータ決定装置、符号化装置、パラメータ決定方法及びそのプログラム |
| US12041234B2 (en) | 2007-09-28 | 2024-07-16 | Dolby Laboratories Licensing Corporation | Video compression and transmission techniques |
-
2002
- 2002-09-30 JP JP2002285573A patent/JP4127006B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006060343A (ja) * | 2004-08-18 | 2006-03-02 | Fuji Xerox Co Ltd | パラメータ決定装置、符号化装置、パラメータ決定方法及びそのプログラム |
| US12041234B2 (en) | 2007-09-28 | 2024-07-16 | Dolby Laboratories Licensing Corporation | Video compression and transmission techniques |
| US12355965B2 (en) | 2007-09-28 | 2025-07-08 | Dolby Laboratories Licensing Corporation | Video compression and transmission techniques |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4127006B2 (ja) | 2008-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2963416B2 (ja) | 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置 | |
| JP2001510311A (ja) | 符号化方式におけるオブジェクトベースのレート制御装置及びその方法 | |
| JP3960451B2 (ja) | シーン特性検出型動画像符号化装置 | |
| JP4221655B2 (ja) | 符号化装置および符号化方法、プログラム、並びに記録媒体 | |
| JPH0723422A (ja) | ディジタルvtrの映像信号帯域圧縮装置 | |
| KR20010021879A (ko) | 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법 | |
| JPWO1996028937A1 (ja) | 画像信号の符号化方法及びその装置 | |
| KR20060036934A (ko) | 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 | |
| JP3846424B2 (ja) | 画像信号量子化装置およびその方法 | |
| JP3872849B2 (ja) | 動画像符号化装置 | |
| JPH10108184A (ja) | 画像データ処理装置およびその方法 | |
| JP3511893B2 (ja) | 映像信号符号化方法及び装置 | |
| JPH05227520A (ja) | 画像圧縮符号化装置 | |
| JP2003204554A (ja) | 画像信号の符号化装置および符号化方法 | |
| JP2847569B2 (ja) | 動画像符号化制御方式 | |
| JP3149673B2 (ja) | 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク | |
| JP3200518B2 (ja) | 画像信号符号化装置 | |
| US8111748B2 (en) | Method and apparatus for video coding | |
| JPH07236137A (ja) | 画像符号化制御方式 | |
| JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
| JP4857243B2 (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム | |
| JP4007398B2 (ja) | 量子化制御装置およびその方法 | |
| JP2003204553A (ja) | 画像信号の符号化装置および符号化方法 | |
| JP3918208B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP2891250B2 (ja) | 動画像符号化方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070619 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071114 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080505 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |