JP2003209848A - 動き推定及びモード決定装置並びにその方法 - Google Patents

動き推定及びモード決定装置並びにその方法

Info

Publication number
JP2003209848A
JP2003209848A JP2002263307A JP2002263307A JP2003209848A JP 2003209848 A JP2003209848 A JP 2003209848A JP 2002263307 A JP2002263307 A JP 2002263307A JP 2002263307 A JP2002263307 A JP 2002263307A JP 2003209848 A JP2003209848 A JP 2003209848A
Authority
JP
Japan
Prior art keywords
macroblock
vector
motion
candidate
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002263307A
Other languages
English (en)
Other versions
JP3908633B2 (ja
Inventor
Byung-Cheol Song
秉哲 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2003209848A publication Critical patent/JP2003209848A/ja
Application granted granted Critical
Publication of JP3908633B2 publication Critical patent/JP3908633B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 走査フォーマット変換において再圧縮性能を
低下させず符号化速度をアップする動き推定及びモード
決定のための装置並びにその方法を提供するところにあ
る。 【解決手段】 本発明の動き推定及びモード決定装置並
びにその方法は、候補ベクトル群生成部はスケーリング
以前の第1マクロブロックの属する映像と同一な下位映
像グループに存する隣接映像の動きベクトルのうち第1
マクロブロックを通過する動きベクトルで構成された候
補ベクトル群を生成する。動きベクトル推定部はスケー
リング以後の第2マクロブロックと重畳される第1マク
ロブロックに対する候補ベクトル群及び第1マクロブロ
ックの動きベクトルから第2マクロブロックの基準動き
ベクトルを推定する。モード決定部は推定された動きベ
クトル及び第1マクロブロックのモードから第2マクロ
ブロックのモードを決める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動き推定及びモード
決定装置並びに方法に係り、さらに詳しくは走査フォー
マットを変換する場合高速で動き推定及びモード決定を
行うための装置及びその方法に関する。
【0002】
【従来の技術】一般にデジタル映像画面を具現する方式
は、フレームの構成方法に応じて飛越走査(interlaced)
方式及び順次走査(progressive)方式とに区分される。
図1aを参照すれば、飛越走査方式は二フィールドを一
行ずつ順番に具現した後、二つフィールドを一列ずつ挟
み込むことによって一つのフレームを構成する。すなわ
ち、一フィールド(top field)は奇数ライン(実線で示
す)だけ、他のフィールド(bottom field)は偶数ライン
(点線で示す)だけ走査した後、二つのフィールドを用い
て一フレームを具現する。従って、各フィールドの高さ
はフレーム高さの半分である。この方式は低周波数でも
1024*768のような高解像度の画面を具現するた
めに使われるが、画面のちらつきと映像ジッタが酷い。
一方、図1bを参照すれば、順次走査方式は一つのフレ
ームの具現時一列ずつ順番に映像信号を走査して一つの
フレームを構成する。順次走査方式は飛越走査方式に比
べて画面ジッタが少ない。
【0003】一方、MPEG標準には内符号化(inter c
oded frame : Iフレーム)、予測符号化(predictive co
ded frame Pフレーム)及び両方向予測符号化(bi-direc
tionally-predicitve coded frame : Bフレーム)など
の三つのタイプのフレームが定義されている。Pフレー
ム及びBフレームは動き補償予測を行なうことによって
高い圧縮率を有する。
【0004】Iフレームは他のフレームの参照なしで符
号化される。Pフレームは過去、すなわち以前Iフレー
ムや以前Pフレームを参照して符号化される。デジタル
映像の圧縮符号化は以前Iフレームや以前Pフレームと
現在Pフレーム間の移動情報推定及び移動補償予測を行
なった後予測誤差と移動情報を符号化すれば効率よくな
される。
【0005】Bフレームは圧縮率が最大のフレームであ
る。そして、Bフレームは以後IまたはPフレームだけ
ではなく、以後IまたはPフレームも参照して予測を行
なう。BフレームはPフレームと同様に移動補償予測を
用いる。また、Bフレームは二つの参照フレームを使用
し、このうち一層優れた予測性能を選択するため圧縮率
が最大である。しかし、Bフレームは他のフレームのた
めの参照フレームにならない。これとは違って、I及び
Pピクチャは参照フレームと呼ばれる。
【0006】図2は従来の技術に係るトランスコーダを
概略的に示した図である。図2を参照すれば、トランス
コーダ200は可変長復号器(Variable Length Decode
r :VLD)201、第1及び第2逆量子化器(Inverse Q
uantizater : IQ)203a、203bと、第1及び第
2逆DCT変換器(Inverse Discrete Cosine Transfor
mer: IDCT)205a、205bと、第1及び第2加
算器207a、207b、動き補償器(Motion Compensa
ter : MC)209a、動き予測補償器(Motion Estimat
ion Compensater : MEC)209b、ダウンサンプラ
(Down sampler: DSamp)211、減算器213、DCT
変換器(Discrete Cosine Transformer: DCT)215
と、量子化器(Quantizater : Q)217、及び可変長符
号器(Variable Length Coder : VLC)219と、を備
える。
【0007】VLD201はデータの発生頻度によって
符号の長さを相違に表現することによってデータ量を減
らす。IQ1(203a)はVLD201によって符号
化されたDCT係数を逆量子化する。IQ1(203a)
は逆量子化されたDCT係数をIDCT1及びIDCT
2(205a、205b)に提供する。IDCT1及びI
DCT2(205a、205b)は逆量子化されたDCT
係数を逆DCT変換して得られた予測誤差信号を第1加
算器207aに提供する。第1加算器207aは入力さ
れた予測誤差信号と予測信号を加算する。ここで、予測
とはフレーム/フィールド間画素データの差を求めるこ
とを指す。すなわち、過去に処理された他のフレーム/
フィールド上のデータのうち現在処理しようとするフレ
ーム/フィールド上のマクロブロックと最上に一致する
マクロブロックを探索した後、最上に一致したマクロブ
ロックが動く方向に基づき動きベクトル(motion vecto
r)を検出する。
【0008】MC209aは入力された動きベクトルか
ら符号化順序に従って一つ以上の過去のフレームから動
き補償を予測し、予測した予測信号を第1加算器207
aに転送する。第1加算器207aは入力された予測誤
差信号及び予測信号を加算し、加算された信号をDSa
mp211に転送する。DSamp211は復元及び加
算された信号のサイズを縮めるよう働く。サイズが縮小
された映像信号は減算器213に入力される。減算器2
13は入力された映像信号から予測信号を減算して得ら
れた予測誤差信号をDCT215に提供する。DCT2
15は入力された予測誤差信号をDCT変換した後DC
T係数をQ217に提供する。Q217は入力されたD
CT係数を量子化する。
【0009】Q217は量子化されたDCT係数をVL
C219に提供すると同時に、IQ2(203b)に提供
する。IQ2(203b)は入力されたDCT係数を逆量
子化する。IQ2(203b)は逆量子化されたDCT係
数をIDCT205bに提供する。IDCT205bは
入力されたDCT係数を逆DCT変換して得られた予測
誤差信号を加算器207bに提供する。加算器207b
は入力された予測誤差信号と予測信号を加算し、加算さ
れた信号をMEC209bに提供する。MEC209b
は入力された動きベクトルから符号化順序に従って一つ
以上の過去フレームから動き補償を予測する。MEC2
09bは得られた予測信号を減算器213に提供すると
同時に、第2加算器207bに提供する。VLC219
は入力されたピクチャタイプ、動きベクトル及び量子化
されたDCT係数を可変長符号化して得られたビットス
トリームを出力する。
【0010】一方、ディスプレイ装置によってトランス
コーダ300に入力されるMPEG2ビットストリーム
が飛越走査方式である一方、出力は順次走査方式に変換
する必要がある。ところが、従来のトランスコーダは入
力される走査フォーマット及び出力される走査フォーマ
ットが同一な場合にトランスコーディングが可能であ
る。従って、トランスコーダのデコーダに入力される走
査フォーマット(scan format)とエンコーダから出力さ
れる走査フォーマットが相異なる場合、変換されたシー
ケンスを効率よく再符号化できるトランスコーダは提示
されていない。
【0011】また、従来のトランスコーダは18種のA
TSCフォーマットを支援できない。すなわち映像のサ
イズ及びビット率を減らしたり、あるいはフレーム率を
減らすトランスコーディングは提示されたが、スキャン
フォーマットが変る場合は提示されていないとの問題点
がある。例えば、1920×1080インタレース入力
映像が720×480順次出力映像に変換される場合、
トランスコーディング時フレームタイプが変って高速で
動き推定するのに限界があった。
【0012】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するために案出されたもので、その目的は走査
フォーマット変換において再圧縮性能を劣化させず符号
化速度をアップさせる動き推定及びモード決定のための
装置及び方法を提供するところにある。
【0013】
【課題を解決するための手段】前述した目的を達成する
ための本発明に係る動き推定及びモード決定装置は、ス
ケーリング以前映像のマクロブロックである第1マクロ
ブロックが属する映像と同一な下位映像グループ(sub-G
OP)に存在する隣接映像の動きベクトルのうち前記第1
マクロブロックを通過する動きベクトルで構成された候
補ベクトル群を生成する候補ベクトル群生成部と、スケ
ーリング以後映像のマクロブロックである第2マクロブ
ロックと重畳される前記第1マクロブロックに対する前
記候補ベクトル群及び重畳される前記第1マクロブロッ
クの動きベクトルから前記第2マクロブロックの基準ベ
クトルを推定する動きベクトル推定部と、選択された前
記基準ベクトル及び前記第1マクロブロックのモードか
ら前記第2マクロブロックのモードを決定するモード決
定部と、を備える。
【0014】さらに詳しくは、前記動きベクトル推定部
は、映像の種類に応じて、前記第2マクロブロックと重
畳される前記第1マクロブロックに対する候補ベクトル
群及び重畳される前記第1マクロブロックの動きベクト
ルに対応するSAD(Sum ofAbsolute Difference)を求
め、前記SADが最小の動きベクトルを前記第2マクロ
ブロックの前記基準ベクトルと推定する。
【0015】前記動きベクトル推定部は、前記第2マク
ロブロックと重畳される前記第1マクロブロックの動き
ベクトルから中間値を求め、前記中間値と近接した動き
ベクトルを有する候補マクロブロックを前記第2マクロ
ブロックと重畳される前記第1マクロブロックから抽出
する候補マクロブロック抽出部と、抽出された前記候補
マクロブロックの候補ベクトル群及び前記候補マクロブ
ロックの動きベクトルに対応する前記SADを求め、前
記SADが最小の動きベクトルを前記第2マクロブロッ
クの前記基準ベクトルと推定する基準ベクトル推定部
と、を備える。
【0016】前記モード決定部は、前記第2マクロブロ
ックと重畳される前記第1マクロブロックのうちイント
ラモードの占める比重が所定値以上ならば、前記第2マ
クロブロックをイントラモードと決定し、前記第2マク
ロブロックと重畳される前記第1マクロブロックのうち
イントラモードの占める比重が所定値以下ならば、前記
第2マクロブロックをインターモードと決定する。
【0017】また、前記第2マクロブロックがインター
モードであると決定され、前記第1マクロブロックの前
記候補ベクトル群が存在しない場合、前記動きベクトル
推定部は、前記第2マクロブロックに隣接した少なくと
も一つ以上の周辺マクロブロックの動きベクトルから候
補ベクトルを求める候補ベクトル抽出部と、抽出された
前記候補ベクトル及び前記第2マクロブロックと重畳さ
れる前記第1マクロブロックの動きベクトルのSADを
比較して最小SADを有する動きベクトルを前記基準ベ
クトルと推定する基準ベクトル推定部と、を備える。前
記候補ベクトルは少なくとも一つ以上の前記周辺マクロ
ブロックの動きベクトルの中間値及び/または平均値で
ある。
【0018】そして、前記第2マクロブロックに隣接し
た前記周辺マクロブロックがない場合、前記動きベクト
ル推定部は前記第2マクロブロックと重畳される前記第
1マクロブロックの動きベクトルのSADを比較して最
小SADを有する動きベクトルを前記基準ベクトルと定
める。また、前記第2マクロブロックと重畳される前記
第1マクロブロックのモードがイントラモードの場合、
前記モード決定部は前記第2マクロブロックのモードタ
イプをイントラモードと決定する。
【0019】望ましくは、前記第1マクロブロックの走
査方式及び前記第2マクロブロックの走査方式を比較・
判断する走査方式判断部をさらに備える。前記第1マク
ロブロックの走査方式及び前記第2マクロブロックの走
査方式が相異なると判断されれば、前記候補ベクトル群
生成部は前記候補ベクトル群を生成する。
【0020】一方、本発明に係る動き推定及びモード決
定のための方法は、スケーリング以前映像のマクロブロ
ックである第1マクロブロックの属する映像と同一な下
位映像グループ(sub-GOP)に存在する隣接映像の動きベ
クトルのうち前記第1マクロブロックを通過する動きベ
クトルで構成された候補ベクトル群を生成する候補ベク
トル群生成段階と、スケーリング以後映像のマクロブロ
ックである第2マクロブロックと重畳される前記第1マ
クロブロックに対する前記候補ベクトル群及び重畳され
る前記第1マクロブロックの動きベクトルから前記第2
マクロブロックの基準ベクトルを推定する動きベクトル
推定段階と、選択された前記基準ベクトル及び前記第1
マクロブロックのモードから前記第2マクロブロックの
モードを決定するモード決定段階と、を備える。
【0021】さらに詳しくは、前記動きベクトル推定段
階は、映像の種類に応じて、前記第2マクロブロックと
重畳される前記第1マクロブロックに対する候補ベクト
ル群及び重畳される前記第1マクロブロックの動きベク
トルに対応するSAD(Sum of Absolute Difference)を
求め、前記SADが最小の動きベクトルを前記第2マク
ロブロックの前記基準ベクトルと推定する。
【0022】前記動きベクトル推定段階は、前記第2マ
クロブロックと重畳される前記第1マクロブロックの動
きベクトルから中間値を求め、該中間値と近接した動き
ベクトルを有する候補マクロブロックを前記第2マクロ
ブロックと重畳される前記第1マクロブロックから抽出
する候補マクロブロック抽出段階と、抽出された前記候
補マクロブロックの候補ベクトル群及び前記候補マクロ
ブロックの動きベクトルに対応する前記SADを求め、
前記SADが最小の動きベクトルを前記第2マクロブロ
ックの前記基準ベクトルと推定する基準ベクトル推定段
階と、を備える。
【0023】前記モード決定段階は、前記第2マクロブ
ロックと重畳される前記第1マクロブロックのうちイン
トラモードの占める比重が所定値以上ならば前記第2マ
クロブロックをイントラモードと決定し、前記第2マク
ロブロックと重畳される前記第1マクロブロックのうち
イントラモードの占める比重が所定値以下ならば前記第
2マクロブロックをインターモードと決定する。
【0024】また、前記第2マクロブロックがインター
モードであると決定され、前記第1マクロブロックの前
記候補ベクトル群が存在しない場合、前記動きベクトル
推定段階は、前記第2マクロブロックに隣接した少なく
とも一つ以上の周辺マクロブロックの動きベクトルから
候補ベクトルを求める段階と、前記候補ベクトル及び前
記第2マクロブロックと重畳される前記第1マクロブロ
ックの動きベクトルのSADを比較して最小SADを有
する動きベクトルを前記基準ベクトルと推定する段階
と、を備える。前記候補ベクトルは少なくとも一つ以上
の前記周辺マクロブロックの動きベクトルの中間値及び
/または平均値である。
【0025】前記第2マクロブロックに隣接した前記周
辺マクロブロックがない場合、前記動きベクトル推定段
階は前記第2マクロブロックと重畳される前記第1マク
ロブロックの動きベクトルのSADを比較して最小SA
Dを有する動きベクトルを前記基準ベクトルと定める段
階をさらに備える。また、前記第2マクロブロックと重
畳される前記第1マクロブロックのモードがイントラモ
ードの場合、前記モード決定段階は前記第2マクロブロ
ックのモードタイプをイントラモードと決定する。
【0026】望ましくは、前記第1マクロブロックの走
査方式及び前記第2マクロブロックの走査方式を比較・
判断する走査方式判断段階をさらに備える。前記第1マ
クロブロックの走査方式及び前記第2マクロブロックの
走査方式が相異なると判断されれば、前記候補ベクトル
群生成段階は前記候補ベクトル群を生成する。
【0027】以上述べた通り、本発明によれば飛越走査
から順次走査に、または順次走査から飛越走査に走査方
式が変換する場合、再圧縮性能を劣化させず再符号化速
度を向上させることができる。また、復号された動きベ
クトルで候補ベクトル群を生成して走査変換された映像
の動きを推定することによって少ない計算量で動き推定
することができる。ひいては、本発明を用いることによ
って18種のATSCDTVフォーマットを支援するト
ランスコーディングが可能である。
【0028】
【発明の実施の形態】以下、添付した図面に基づき本発
明をさらに詳述する。図3は本発明に係る動き推定及び
モード決定のための装置が適用されたトランスコーダの
基本的な構成を示したブロック図であり、図4は本発明
に係る動き推定及びモード決定のための装置の詳細な構
成を示したブロック図である。
【0029】図3を参照すれば、本発明に係るトランス
コーダ300はデコーダ310とエンコーダ330との
間に走査フォーマット変換部320を有する。本発明に
係るトランスコーダ300は順次走査(progressive sca
n)及び飛越走査(interlacedscan)を初めとした18種の
ATSC DTVフォーマットを支援する。デコーダ3
10は入力ビットストリームを復号化して入力映像を復
元する。復号過程が完了されれば、走査フォーマット変
換部320は復元された映像のサイズを縮めるスケーリ
ング(down-scaling)だけではなく、復元された映像を再
符号化して走査フォーマットを変換する。
【0030】例えば、飛越走査方式の地上波放送を映像
で懸示するディスプレイ装置がパソコンの場合、走査フ
ォーマット変換部320は飛越走査を順次走査に変換す
る。また、走査フォーマット変換部320はパソコンの
画面サイズに合わせて入力される映像のサイズを縮める
スケーリング作業を行なう。すなわち、走査フォーマッ
ト変換部320は、ダウンスケ-ラモジュール、デイン
タレースモジュール及びインタレースモジュールを含
む。映像スケ-ラ及び走査フォーマット変換はエンコー
ダ330に入力される前になされる。エンコーダ330
は走査フォーマット変換部320によって縮小または同
一なサイズに変換された映像を与えられたビット率で再
符号化する。
【0031】入力される第1マクロブロックの映像シー
ケンスは、図4に示した通り復号化(Decoding)及び再符
号化(Re-encoding)される。トランスコーディングの基
本処理単位はIBBP、PBBI、PBBPなどのよう
な下位-映像グループ(sub-Group of Picture : sub-GO
P)の場合を考慮する。以下、GOP=12、M(Pフレー
ム間の距離)=3の場合に例えば説明する。示されたそれ
ぞれの下付け数字は入力される映像シーケンスの順序、
上付けのtはトップフィールド(top、例えば奇数ライ
ン)、上付けのbはボトムフィールド(例えば偶数ライ
ン)、I・B・Pは映像フレーム、矢印は各フレーム間
の対応関係を示す。デコーダ310の復号化は図4に示
した順序通りなされる。復号された映像は走査フォーマ
ット変換部320によって映像のサイズが変り、順次走
査方式(または飛越走査方式)に変更される。変更された
映像はエンコーダ330に符号化順序通り入力される。
【0032】図4を参照すれば、走査方式変換部320
は、一番目Iフレームを除いた一番目sub-GOP内の全て
のマクロブロックについて、各マクロブロックの候補ベ
クトル群を生成するためには少なくともB フレーム
まで復号過程を終える。Iフレームは動き推定が要らな
いため除かれる。一方、B−2とB−1を除いて始めに
動き推定が必要なフレームはPである。Pを符号化
する時点から一番目sub-GOPから生成された候補ベク
トル群を使用すべきなので、符号化の最も早い時点はB
が復号される時である。
【0033】以下、飛越走査で入力された映像を順次走
査の映像に変換するデインタレース(de-interlaced)に
例えて説明する。エンコーダ330は、図5のような動
き推定/補償部(Motion Estimation/Motion Compensate
r)500を有する。動き推定/補償部500は動き推定
及びモード決定のための装置である。動き推定/補償部
500はデコーダ310で復号された各マクロブロック
の動きベクトル及びモード情報を用いて新たな映像のマ
クロブロックの動きベクトルを推定及び補償する。
【0034】図5を参照すれば、動き推定/補償部50
0は、走査方式判断部510、候補ベクトル群生成部5
20、動きベクトル推定部530及びモード決定部54
0を有する。走査方式判断部510は入力映像の走査方
式と出力映像の走査方式とを比較する。入力映像はスケ
ーリング以前の映像であり、出力映像はスケーリング以
後の映像である。入力映像と出力映像の走査方式が同一
であると判断されれば、動き推定/補償部500は動き
推定のための候補ベクトル群を生成せず、復号された動
きベクトルだけを用いて動き推定を行なう。これとは違
って、各走査方式が相異なることと判断されれば、動き
推定/補償部500は候補ベクトル群を生成して動き推
定を行なう。
【0035】候補ベクトル群生成部520は、スケーリ
ング以前映像の第1マクロブロックが属する映像と同一
なsub-GOP内に存在する隣接映像の動きベクトルのうち
第1マクロブロックを通過する動きベクトルで構成され
た候補ベクトル群を生成する。
【0036】図6及び図7は本発明に係る任意のsub-GO
P内の各マクロブロックに該当する候補ベクトル群を決
定する例を示した図である。図6を参照すれば、一番目
フレームの斜線で示したマクロブロックは第1マク
ロブロックMB1'と称する。以下、第1マクロブロッ
クMB_1'の候補ベクトル群生成過程を説明する。図6
において太線で示したマクロブロックMB'は空間的に
同じ位置に存するマクロブロックを意味する。Pフレ
ームの一つのマクロブロックMB'の動きベクトルMV'
が第1マクロブロックMB_1'を通過すれば、該当動き
ベクトルMV'は第1マクロブロックMB_1'の候補ベ
クトルになる。
【0037】同様に、図7のように二番目Bフレーム
の一つのマクロブロックMB"の動きベクトルMV"が第
1マクロブロックMB_1"を通過すれば、動きベクトル
MV"は第1マクロブロックMB_1"の候補ベクトルに
なる。すなわち、sub-GOP内の全てのマクロブロックの
動きベクトルのうち第1マクロブロックを通過する動き
ベクトルを候補ベクトル群と設定する。このような方法
でトランスコーディングを行なう全てのマクロブロック
それぞれに対する候補ベクトル群を生成する。しかし、
マクロブロックによって候補ベクトル群が存在しない場
合もある。すなわち、走査方式判断部510で入力及び
出力映像の走査方式が同一であると判断されれば、候補
ベクトル群生成部520は候補ベクトル群を生成しな
い。
【0038】図8は本発明に係る動きベクトル推定部5
30の詳細な構成を示したブロック図である。図8を参
照すれば、本発明に係る動きベクトル推定部530は候
補マクロブロック抽出部532と、候補ベクトル抽出部
534及び基準ベクトル推定部536を有する。
【0039】動きベクトル推定部530は、スケーリン
グ以後映像のマクロブロックである第2マクロブロック
MB_0と重畳されるそれぞれのマクロブロックMB_1
に対する候補ベクトル群及び重畳されるマクロブロック
MB_1の動きベクトルから第2マクロブロックMB_0
の基準ベクトルを推定する。
【0040】スケーリング以前のマクロブロックの動き
ベクトルのサイズはスケーリング以後の画面サイズの変
化、すなわちスケーリング比率によって変る。もし、与
えられた比率によって画面のサイズが縮小されれば、エ
ンコーダ330に入力される映像の第2マクロブロック
MB_0は図9に示した通りデコーダ310から出力さ
れる映像のマクロブロックMB_1、 MB_2、 MB_
3、 MB_4を一個以上含む。
【0041】図9はスケーリング以前及び以後の映像サ
イズの変化を示した図である。図9を参照すれば、(a)
はスケーリング以前の映像(Original Resolution)、
(b)はスケーリング以後の映像(Scaled Resolution)の
一部を示す。図9において(a)の点線内のブロックは第
2マクロブロックMB_0に対応するブロックである。
しかし、点線内のブロックのうち16×16サイズを有
するそれぞれのマクロブロックMB_1、MB_2、MB
_3、MB_4だけが第2マクロブロックMB_0の動き
推定に考慮される。すなわち、図9はエンコーダ330
でマクロブロック一個当たりデコーダ310から出力さ
れる四つのマクロブロックを考慮して動き推定する場合
である。すなわち、第2マクロブロックMB_0は各マ
クロブロックMB_1、MB_2、MB_3、MB_4の数
に該当する4倍ほどの動きベクトル及び候補群を考慮す
る。第2マクロブロックMB_0の動き推定は各マクロ
ブロックMB_1、MB_2、MB_3、MB_4の復号さ
れた動きベクトル及び各マクロブロックMB_1、MB_
2、MB_3、MB_4の候補ベクトル群を考慮して推定
される。
【0042】動き推定の例として、動きベクトル推定部
530は各マクロブロックMB_1、MB_2、MB_
3、MB_4の復号された動きベクトル及び各マクロブ
ロックMB_1、MB_2、MB_3、MB_4の候補ベク
トル群に対応するSAD(Sum of Absolute Difference)
を計算する。そして、最小SADを有する動きベクトル
を第2マクロブロック(MB_0)の基準ベクトル(base
MV)と推定する。SADは[数式1]によって求める。
【0043】
【数1】
【0044】マクロブロックは16画素×16画素=2
56画素で構成される。x(i.j)は現在マクロブロッ
クの動きベクトルが示す(i、j)位置の画素、x'(i+
x、j+y)は以前フレームにおいて動きベクトル(x、
y)が示す(i+x、j+y)位置の画素である。すなわ
ち、SADは二つのマクロブロック内の同じ位置に存在
する画素の差に絶対値を取った後絶対値を加えて求め
る。SADが小さいほど二つのマクロブロックは類似で
あり、SADが大きいほど二つのマクロブロックは相違
である。
【0045】本発明において、現在マクロブロックは前
記スケーリングの対象になるマクロブロックであって、
時間的に第1マクロブロックと第2マクロブロックとの
間に位置するマクロブロックである。
【0046】このように第2マクロブロックMB_0と
重畳されるそれぞれのマクロブロックMB_1、MB_
2、MB_3、MB_4の候補ベクトル群を求め、それぞ
れのマクロブロックMB_1、MB_2、MB_3、MB_
4の動きベクトル及び候補ベクトル群に対するSADを
比較すれば、正確で鮮明な輪郭線及び映像を画面にディ
スプレイすることができる。
【0047】動き推定の他の例として、第2マクロブロ
ックMB_0と重畳されるそれぞれのマクロブロックM
B_1、MB_2、MB_3、MB_4のうち一つのマクロ
ブロックを選定して早くて少ない計算で第2マクロブロ
ックMB_0の動きベクトル、すなわち基準ベクトル(ba
se MV)を推定する高速動き推定も可能である。
【0048】以下、候補マクロブロックを抽出した後基
準ベクトル(base MV)を推定する高速動き推定に例え
て説明する。候補マクロブロック抽出部532は第2マ
クロブロックMB_0と重畳されるそれぞれのマクロブ
ロックMB_1、MB_2、MB_3、MB_4のうち一つ
のマクロブロックを選定した後、各マクロブロックMB
_1、MB_2、MB_3、MB_4の復号された動きベク
トルの第1中間値を求める。そして、候補マクロブロッ
ク抽出部532は求められた第1中間値と最も近接した
動きベクトルを有するマクロブロックをそれぞれのマク
ロブロックMB_1、MB_2、MB_3、MB_4から抽
出して候補マクロブロックと指定する。例えば、図9に
おいて第1中間値と最も近接した動きベクトルがマクロ
ブロックMB_3に位置する場合、候補マクロブロック
抽出部532はマクロブロックMB_3を候補マクロブ
ロックと指定する。
【0049】基準ベクトル推定部536は、候補ベクト
ル群生成部520で生成された候補マクロブロックMB
_3の候補ベクトル群及び候補マクロブロックMB_3の
復号された動きベクトルに対応するSADを[数式1]に
よって求める。そして、最小SADを有する動きベクト
ルを第2マクロブロックMB_0の基準ベクトル(baseM
V)と推定する。
【0050】また、動き推定の他の例として、動きベク
トル推定部530は各マクロブロックMB_1、MB_
2、MB_3、MB_4の復号された動きベクトル及び各
マクロブロックMB_1、MB_2、MB_3、MB_4の
候補ベクトル群に対応する中間値または平均値を算出す
る。そして、動きベクトル推定部530は算出された中
間値または平均値を有する動きベクトルを第2マクロブ
ロックMB_0の基準ベクトル(base MV)と推定する。
この場合、基準ベクトル推定部536は候補ベクトル群
生成部520で生成された候補マクロブロックMB_3
の候補ベクトル群及び候補マクロブロックMB_3の復
号された動きベクトルに対応する中間値または平均値を
算出する。そして、算出された中間値または平均値を有
する動きベクトルを第2マクロブロックMB_0の基準
ベクトル(base MV)と推定する。
【0051】モード決定部540は基準ベクトル推定部
536で推定された基準ベクトル(base MV)及び各マ
クロブロックMB_1、MB_2、MB_3、MB_4のモ
ードから第2マクロブロックMB_0のモードを決定す
る。
【0052】モード決定部540は第2マクロブロック
MB0と重畳されるそれぞれのマクロブロック(MB_
1、MB_2、MB_3、MB_4のうち25%以上がイ
ントラモード(intra mode)ならば、第2マクロブロック
MB_0はイントラモードと決定する。そうでない場合
は第2マクロブロックMB_0はインターモード(interm
ode)と決定して動き推定を行なう。一方、モード決定部
540はそれぞれのマクロブロックMB_1、MB_2、
MB_3、MB_4のうち少なくとも一つのマクロブロッ
クがスキップした形態のマクロブロックならば、第2マ
クロブロックMB_0はインターモードと決定する。ま
た、モード決定部540は全てのマクロブロックMB_
1、MB_2、MB_3、MB_4がスキップした形態の
マクロブロックならば、第2マクロブロックMB_0も
スキップしたマクロブロックと決定する。
【0053】一方、高速の動き推定を適用しない場合の
モード決定は次の通りである。フレームまたはピクチャ
タイプ(I、B及びP)の変換パターンによって候補ベ
クトル群を必要としない場合、モード決定部540はス
ケーリング以後の第2マクロブロックMB_0をイント
ラモードと決定する。例えば、BフレームからIフレー
ムに変換する場合、スケーリング以後の第2マクロブロ
ックMB_0はイントラモードと決定される。そして、
スケーリング以前の各マクロブロックMB_1、MB_
2、MB_3、MB_4の復号されたモードがイントラモ
ードの場合、モード決定部540はスケーリング以後の
第2マクロブロックMB_0を候補ベクトル群とは無関
係にイントラモードと決定する。
【0054】図10は本発明に係る候補ベクトル群が存
在しない場合の基準ベクトル設定方法を説明するための
図である。場合によっては、第2マクロブロックMB_
0がインターモードでありながら、第2マクロブロック
MB_0と重畳されるそれぞれのマクロブロック(MB_
1、 MB_2、MB_3、MB_4に候補ベクトル群が存
在しない場合もある。例えば、第2マクロブロックMB
_0が境界線を示したり、または周辺のマクロブロック
MB_1、MB_2、MB_3、MB_4がイントラモード
ならば候補ベクトル群は存在しない。この場合、動きベ
クトル推定部530は図8のように候補ベクトル抽出部
534をさらに有する。
【0055】図10を参照すれば、候補ベクトル抽出部
534は第2マクロブロックMB_0に隣接した一つ以
上の周辺マクロブロックの動きベクトルMV1、MV
2、MV3から候補ベクトルを抽出する。候補ベクトル
抽出部534は周辺マクロブロックの動きベクトルMV
1、MV2、MV3の中間値または平均値を第2マクロ
ブロックMB_0の候補ベクトルとして使用する。基準
ベクトル推定部536は候補ベクトル及び第2マクロブ
ロックMB_0と重畳されるそれぞれのマクロブロック
MB_1、MB_2、MB_3、MB_4の動きベクトルに
対するSADを[数式1]によって計算する。そして、最
小SADを有する動きベクトルを第2マクロブロックM
B_0の基準ベクトル(base MV)と推定する。
【0056】また、第2マクロブロック(MB_0)に隣
接した周辺マクロブロックが一つもない場合はそれぞれ
のマクロブロックMB_1、MB_2、MB_3、MB_4
の動きベクトル及び動きベクトル(0、0)のSADを
[数式1]によって計算する。そして、最小SADを有す
る動きベクトルを第2マクロブロックMB_0の基準ベ
クトル(base MV)と推定する。
【0057】図11は本発明に係る動き推定及びモード
決定方法を示した流れ図である。図11において、スケ
ーリング以前映像のマクロブロックである第1マクロブ
ロックはMB_1、MB_2、スケーリング以後映像のマ
クロブロックである第2マクロブロックはMB_0と称
する。図11を参照すれば、本発明に係る動き推定及び
モード決定方法は、MB_1、MB_2及びMB_0の走
査方式を比較する(S1110)。比較結果、二つの走査
方式が相異なると、MB_1及びMB_2の属する映像と
同一な下位映像グループ(sub-GOP)に存在する隣接映像
の動きベクトルのうちMB_1及びMB_2を通過する動
きベクトルがあるかを確認する(S1120)。そして、
MB_1及びMB_2を通過する動きベクトルによってM
B_1及びMB_2の候補ベクトル群を生成する(S11
30)。各MB_1及びMB_2の候補ベクトル群が生成
されれば高速で動き推定を行なうため、各MB_1及び
MB_2の復号された動きベクトルの第1中間値を求め
る。それから求められた第1中間値と近接した動きベク
トルを有するマクロブロックを各MB_1及びMB_2の
中から選択して候補マクロブロックを抽出する(S11
40)。そして、抽出された候補マクロブロックの候補
ベクトル群及び動きベクトルのSAD(Sum of Absolute
Difference)、中間値及び平均値のうちいずれか一つを
求める(S1150)。本発明ではSADを用いて基準ベ
クトルを求める。SADは[数式1]によって求める。求
められた各動きベクトルのSADを比較して最小SAD
を有する動きベクトルをMB_0の基準ベクトルと推定
する(S1160)。最終的に、MB_0の基準ベクトル
及びMB_1、MB_2のモードからMB_0のモードを
決定する(S1170)。
【0058】また、S1120段階においてMB_1及
びMB_2の属する映像と同一な下位映像グループ(sub-
GOP)に存在する隣接映像の動きベクトルのうちMB_1
及びMB_2を通過する動きベクトルが存在しなければ
(S1120)、MB_0の周辺に位置した周辺マクロブ
ロックの動きベクトルから候補動きベクトルを抽出する
(S1180)。候補動きベクトルは各動きベクトルの中
間値または平均値を使用する。そして、抽出された候補
動きベクトル及び各MB_1、MB_2の動きベクトルの
SADを[数式1]によって計算する(S1190)。最小
SADを有する動きベクトルをMB_0の基準ベクトル
と推定した後(S1160)モードを決定する(S117
0)。
【0059】そして、S1110段階において比較結
果、二つの走査方式が同一であると判断されれば、MB
_1、MB_2の復号された動きベクトルだけを考慮して
(S1115)MB_0の基準ベクトルを推定した後(S1
160)モードを決定する(S1170)。
【0060】図12は本発明に係る動き推定及びモード
決定の実施例を示した図である。図12を参照すれば、
映像グループ(GOP)=9、M=3であり、I・B・Pは走
査方式変換前後のピクチャタイプ、tはトップ(top)フ
ィールド、bはボトム(bottom)フィールド、各数字はフ
レーム番号、丸内の数字は再符号化される順序を意味
し、デインタレースの場合を考慮する。この際、画面サ
イズは変るかまたはそうでない場合もありうる(De-inte
rlacing with/without resizing)。また、動き推定は復
号されたモードがインターモードの場合だけ考慮する。
以下、図12aのインタレース映像の各マクロブロック
が図12bのプログレッシーブ映像に走査変換された後
どうように適用されるか説明する。また、スケーリング
以前のマクロブロックはMB_b、スケーリング以後の
マクロブロックはMB_n、動きベクトルはMVと表示
する。
【0061】1.I フレームがIフレームに対応
する場合、全てのMB_nのモードはイントラモードで
ある。
【0062】2.B フレームがPフレームに対応
する場合。 第1に、MB_bの復号されたモードがフォワード(forw
ard)MCモードの場合、MB_bの候補ベクトル群はM
B_bを通過するMVのうちフォワード(forward)MV及
びMB_bの復号されたMVとからなる。そして、求め
られた候補ベクトル群によって前述した方法(例えば、
中間値を用いた高速推定技法)を用いて基準ベクトル(ba
se MV)を決める。第2に、MB_bの復号されたモー
ドがバックワード(backward)MCモードの場合、MB_
bの候補ベクトル群はMB_bを通過するMVのうちフ
ォワード(forward)MVとからなる。そして、求められ
た候補ベクトル群によって前述した方法を用いて基準ベ
クトル(base MV)を決める。第3に、復号されたモー
ドが両方向(bi-direcitional)MCモードの場合、MB_
bの候補ベクトル群はMB_bを通過するMVのうちフォ
ワード(forward)MV及びMB_bのMVのうちバックワ
ード(backward)MVとからなる。そして、求められた候
補ベクトル群によって前述した方法を用いて基準ベクト
ル(base MV)を決定する。
【0063】3.I フレームがBフレームに対応
する場合。 MB_bの候補ベクトル群はMB_bを通過するMVのう
ち全てのバックワード/フォワード(backward/forward)
MVとからなる。そして、求められた候補ベクトル群に
よって前述した方法を用いて同時に基準ベクトル(base
MV)及びバックワード・フォワード・両方向MCモー
ドを決定する。
【0064】4.B フレームがBフレームに対応
する場合。 第1に、MB_bの復号されたモードがフォワード(forw
ard)MCモードの場合、MB_bの候補ベクトル群はM
B_bを通過するMVのうちバックワード及びフォワー
ド(backward/forward)MV及びMB_bの復号されたM
VのフォワードMVとからなる。そして、求められた候
補ベクトル群を用いて基準ベクトル(baseMV)及びバッ
クワード・フォワード・両方向(backward/forward/bi-d
irectional)MCモードを決定する。第2に、MB_bの
復号されたモードがバックワード(backward)MCモード
の場合、MB_bの候補ベクトル群はMB_bを通過する
MVのうちバックワード及びフォワード(backward/forw
ard)MV及びMB_bの復号されたMVのバックワード
MVとからなる。そして、求められた候補ベクトル群を
用いて基準ベクトル(base MV)及びバックワード・フ
ォワード・両方向(backward/forward/bi-directional)
MCモードを決定する。第3に、復号されたモードが両
方向(bi-direcitional)MCモードの場合、MB_bの候
補ベクトル群はMB_bを通過するMVのうちバックワ
ード及びフォワード(backward/forward)MV及びMB_
bのMVのうちバックワード及びフォワード(backward/
forward)MVとからなる。そして、求められた候補ベク
トル群を用いて基準ベクトル(base MV)及びバックワ
ード・フォワード・両方向(backward/forward/bi-direc
tional)MCモードを決定する。
【0065】5.P フレームがPフレームに対応
する場合 MB_bの候補ベクトル群はMB_bを通過するMVのう
ち(forward)MV及びMB_bのMVとからなる。そし
て、求められた候補ベクトル群を用いて基準ベクトル(b
ase MV)を決定する。
【0066】6.B フレームがBフレームに対応
する場合は前記4.B フレームがBフレームに対
応する場合と同様である。
【0067】7.B フレームがBフレームに対応
する場合は前記4.B フレームがBフレームに対
応する場合と同様である。
【0068】8.B フレームがIフレームに対応
する場合、全てのMB_nのモードはイントラモードで
ある。
【0069】9.P フレームがBフレームに対応
する場合 MB_bの候補ベクトル群はMB_bを通過するMVのう
ちバックワード/フォワード(backward/forward)MV及
びMB_bのMVとからなる。そして、求められた候補
ベクトル群を用いて基準ベクトル(base MV)及びバッ
クワード・フォワード・両方向(backward/forward/bi-d
irectional)MCモードを決定する。
【0070】10.B tフレームがBフレームに
対応する場合は前記4.B フレームがBフレーム
に対応する場合と同様である。
【図面の簡単な説明】
【図1】 a及びbは一般の飛越走査及び順次走査方式
を説明するための図
【図2】 従来のトランスコーダを示した図
【図3】 本発明に係るトランスコーダの基本的な構成
を示した図
【図4】 本発明に係るトランスコーダで映像フレーム
の復号化及び再符号化順序の実施形態を示した図
【図5】 本発明に係る動き推定/補償装置の基本的な
構成を示したブロック図
【図6】 本発明に係る任意のsub-GOP内の各マクロブ
ロックに該当する候補ベクトル群を決定する実施形態を
示した図
【図7】 本発明に係る任意のsub-GOP内の各マクロブ
ロックに該当する候補ベクトル群を決定する実施形態を
示した図
【図8】 本発明に係る動きベクトル推定部530の詳
細な構成を示した図
【図9】 スケーリング以前及び以後の映像サイズの変
化を実施形態を挙げて示した図
【図10】 本発明に係る候補ベクトル群が存在しない
場合の基準ベクトル設定方法を説明するための図
【図11】 本発明に係る動き推定及びモード決定のた
めの方法を示した流れ図
【図12A】 本発明に係る動き推定及びモード決定の
実施形態を示した図
【図12B】 本発明に係る動き推定及びモード決定の
実施形態を示した図
【符号の説明】
300 トランスコーダ 310 デコーダ 320 走査フォーマット変換部 330 エンコーダ 500 動き推定/補償部 510 走査方式判断部 520 候補ベクトル群生成部 530 動きベクトル推定部 540 モード決定部
フロントページの続き Fターム(参考) 5C059 KK41 MA05 MA14 NN10 NN21 NN28 PP05 PP06 PP07 SS02 TA25 TA65 TC12 TC42 TD01 TD02 TD03 TD05 TD06 TD11 UA02 UA05 5C063 AB03 AC01 BA04 BA12 CA05 CA07 CA11 CA12 5J064 AA03 BA13 BB03 BB13 BC02 BC08 BC14 BC29 BD01

Claims (24)

    【特許請求の範囲】
  1. 【請求項1】 スケーリング以前映像のマクロブロック
    である第1マクロブロックが属する映像と同一な下位映
    像グループ(sub-GOP)に存在する隣接映像の動きベクト
    ルのうち前記第1マクロブロックを通過する動きベクト
    ルで構成された候補ベクトル群を生成する候補ベクトル
    群生成部と、 スケーリング以後映像のマクロブロックである第2マク
    ロブロックと重畳される前記第1マクロブロックに対す
    る前記候補ベクトル群及び重畳される前記第1マクロブ
    ロックの動きベクトルから前記第2マクロブロックの基
    準ベクトルを推定する動きベクトル推定部と、 選択された前記基準ベクトル及び前記第1マクロブロッ
    クのモードから前記第2マクロブロックのモードを決定
    するモード決定部と、を備えることを特徴とする動き推
    定及びモード決定装置。
  2. 【請求項2】 前記動きベクトル推定部は、映像の種類
    に応じて前記第2マクロブロックと重畳される前記第1
    マクロブロックに対する候補ベクトル群及び重畳される
    前記第1マクロブロックの動きベクトルに対応するSA
    D(Sum of Absolute Difference)を求め、前記SADが
    最小の動きベクトルを前記第2マクロブロックの前記基
    準ベクトルと推定することを特徴とする請求項1に記載
    の動き推定及びモード決定装置。
  3. 【請求項3】 前記動きベクトル推定部は、前記第2マ
    クロブロックと重畳される前記第1マクロブロックの動
    きベクトルから第1中間値を求め、該第1中間値と近接
    した動きベクトルを有する候補マクロブロックを前記第
    2マクロブロックと重畳される前記第1マクロブロック
    から抽出する候補マクロブロック抽出部と、 抽出された前記候補マクロブロックの候補ベクトル群及
    び前記候補マクロブロックの動きベクトルに対応する前
    記SADを求め、前記SADが最小の動きベクトルを前
    記第2マクロブロックの前記基準ベクトルと推定する基
    準ベクトル推定部と、を備えることを特徴とする請求項
    2に記載の動き推定及びモード決定装置。
  4. 【請求項4】 前記動きベクトル推定部は、映像の種類
    に応じて前記第2マクロブロックと重畳される前記第1
    マクロブロックに対する候補ベクトル群及び重畳される
    前記第1マクロブロックの動きベクトルの中間値及び平
    均値のうちいずれか一つを算出して基準ベクトルと推定
    することを特徴とする請求項1に記載の動き推定及びモ
    ード決定装置。
  5. 【請求項5】 前記動きベクトル推定部は、前記第2マ
    クロブロックと重畳される前記第1マクロブロックの動
    きベクトルから第1中間値を求め、該第1中間値と近接
    した動きベクトルを有する候補マクロブロックを前記第
    2マクロブロックと重畳される前記第1マクロブロック
    から抽出する候補マクロブロック抽出部と、 抽出された前記候補マクロブロックの候補ベクトル群及
    び前記候補マクロブロックの動きベクトルの前記中間値
    及び前記平均値のうちいずれか一つの値を算出し、算出
    された前記値を前記第2マクロブロックの前記基準ベク
    トルと推定する基準ベクトル推定部と、を備えることを
    特徴とする請求項4に記載の動き推定及びモード決定装
    置。
  6. 【請求項6】 前記モード決定部は、前記第2マクロブ
    ロックと重畳される前記第1マクロブロックのうちイン
    トラモードが占める比重が所定値以上ならば前記第2マ
    クロブロックをイントラモードと決定し、前記第2マク
    ロブロックと重畳される前記第1マクロブロックのうち
    イントラモードの占める比重が所定値以下ならば前記第
    2マクロブロックをインターモードと決定することを特
    徴とする請求項1に記載の動き推定及びモード決定装
    置。
  7. 【請求項7】 前記第2マクロブロックがインターモー
    ドであると決定され、前記第1マクロブロックの前記候
    補ベクトル群が存在しない場合、前記動きベクトル推定
    部は、前記第2マクロブロックに隣接した少なくとも一
    つ以上の周辺マクロブロックの動きベクトルから候補ベ
    クトルを求める候補ベクトル抽出部と、 抽出された前
    記候補ベクトル及び前記第2マクロブロックと重畳され
    る前記第1マクロブロックの動きベクトルのSADを比
    較して最小SADを有する動きベクトルを前記基準ベク
    トルと推定する基準ベクトル推定部と、を備えることを
    特徴とする請求項6に記載の動き推定及びモード決定装
    置。
  8. 【請求項8】 前記候補ベクトルは、少なくとも一つ以
    上の前記周辺マクロブロックの動きベクトルの中間値及
    び/または平均値であることを特徴とする請求項7に記
    載の動き推定及びモード決定装置。
  9. 【請求項9】 前記第2マクロブロックに隣接した前記
    周辺マクロブロックがない場合、前記動きベクトル推定
    部は前記第2マクロブロックと重畳される前記第1マク
    ロブロックの動きベクトルのSADとを比較して最小S
    ADを有する動きベクトルを前記基準ベクトルと定める
    ことを特徴とする請求項7に記載の動き推定及びモード
    決定装置。
  10. 【請求項10】 前記第2マクロブロックと重畳される
    前記第1マクロブロックのモードがイントラモードの場
    合、前記モード決定部は前記第2マクロブロックのモー
    ドタイプをイントラモードと決定することを特徴とする
    請求項1に記載の動き推定及びモード決定装置。
  11. 【請求項11】 前記第1マクロブロックの走査方式及
    び前記第2マクロブロックの走査方式を比較・判断する
    走査方式判断部をさらに備えることを特徴とする請求項
    1に記載の動き推定及びモード決定装置。
  12. 【請求項12】 前記第1マクロブロックの走査方式及
    び前記第2マクロブロックの走査方式が相異なると判断
    されれば、前記候補ベクトル群生成部は前記候補ベクト
    ル群を生成することを特徴とする請求項10に記載の動
    き推定及びモード決定装置。
  13. 【請求項13】 スケーリング以前映像のマクロブロッ
    クである第1マクロブロックが属する映像と同一な下位
    映像グループ(sub-GOP)に存在する隣接映像の動きベク
    トルのうち前記第1マクロブロックを通過する動きベク
    トルで構成された候補ベクトル群を生成する候補ベクト
    ル群生成段階と、 スケーリング以後映像のマクロブロックである第2マク
    ロブロックと重畳される前記第1マクロブロックに対す
    る前記候補ベクトル群及び重畳される前記第1マクロブ
    ロックの動きベクトルから前記第2マクロブロックの基
    準ベクトルを推定する動きベクトル推定段階と、 選択された前記基準ベクトル及び前記第1マクロブロッ
    クのモードから前記第2マクロブロックのモードを決定
    するモード決定段階と、を備えることを特徴とする動き
    推定及びモード決定方法。
  14. 【請求項14】 前記動きベクトル推定段階は、映像の
    種類に応じて前記第2マクロブロックと重畳される前記
    第1マクロブロックに対する候補ベクトル群及び重畳さ
    れる前記第1マクロブロックの動きベクトルに対応する
    SAD(Sum of Absolute Difference)を求め、前記SA
    Dが最小の動きベクトルを前記第2マクロブロックの前
    記基準ベクトルと推定することを特徴とする請求項13
    に記載の動き推定及びモード決定方法。
  15. 【請求項15】 前記動きベクトル推定段階は、前記第
    2マクロブロックと重畳される前記第1マクロブロック
    の動きベクトルから第1中間値を求め、該第1中間値と
    近接した動きベクトルを有する候補マクロブロックを前
    記第2マクロブロックと重畳される前記第1マクロブロ
    ックから抽出する候補マクロブロック抽出段階と、 抽出された前記候補マクロブロックの候補ベクトル群及
    び前記候補マクロブロックの動きベクトルに対応する前
    記SADを求め、前記SADが最小の動きベクトルを前
    記第2マクロブロックの前記基準ベクトルと推定する基
    準ベクトル推定段階と、を備えることを特徴とする請求
    項14に記載の動き推定及びモード決定方法。
  16. 【請求項16】 前記動きベクトル推定段階は、映像の
    種類に応じて前記第2マクロブロックと重畳される前記
    第1マクロブロックに対する候補ベクトル群及び重畳さ
    れる前記第1マクロブロックの動きベクトルの中間値及
    び平均値のうちいずれか一つを算出して基準ベクトルと
    推定することを特徴とする請求項13に記載の動き推定
    及びモード決定方法。
  17. 【請求項17】 前記動きベクトル推定段階は、 前記第2マクロブロックと重畳される前記第1マクロブ
    ロックの動きベクトルから第1中間値を求め、前記第1
    中間値と近接した動きベクトルを有する候補マクロブロ
    ックを前記第2マクロブロックと重畳される前記第1マ
    クロブロックから抽出する候補マクロブロック抽出段階
    と、 抽出された前記候補マクロブロックの候補ベクトル群及
    び前記候補マクロブロックの動きベクトルの前記中間値
    及び前記平均値のうちいずれか一つの値を算出し、算出
    された前記値を前記第2マクロブロックの前記基準ベク
    トルと推定する基準ベクトル推定段階と、を備えること
    を特徴とする請求項16に記載の動き推定及びモード決
    定装置。
  18. 【請求項18】 前記モード決定段階は、前記第2マク
    ロブロックと重畳される前記第1マクロブロックのうち
    イントラモードの占める比重が所定値以上ならば前記第
    2マクロブロックをイントラモードと決定し、前記第2
    マクロブロックと重畳される前記第1マクロブロックの
    うちイントラモードの占める比重が所定値以下ならば前
    記第2マクロブロックをインターモードと決定すること
    を特徴とする請求項13に記載の動き推定及びモード決
    定方法。
  19. 【請求項19】 前記第2マクロブロックがインターモ
    ードであると決定され、前記第1マクロブロックの前記
    候補ベクトル群が存しない場合、前記動きベクトル推定
    段階は、前記第2マクロブロックに隣接した少なくとも
    一つ以上の周辺マクロブロックの動きベクトルから候補
    ベクトルを求める段階と、前記候補ベクトル及び前記第
    2マクロブロックと重畳される前記第1マクロブロック
    の動きベクトルのSADを比較して最小SADを有する
    動きベクトルを前記基準ベクトルと推定する段階と、を
    備えることを特徴とする請求項18に記載の動き推定及
    びモード決定方法。
  20. 【請求項20】 前記候補ベクトルは、少なくとも一つ
    以上の前記周辺マクロブロックの動きベクトルの中間値
    及び/または平均値であることを特徴とする請求項19
    に記載の動き推定及びモード決定方法。
  21. 【請求項21】 前記第2マクロブロックに隣接した前
    記周辺マクロブロックがない場合、前記動きベクトル推
    定段階は前記第2マクロブロックと重畳される前記第1
    マクロブロックの動きベクトルのSADを比較して最小
    SADを有する動きベクトルを前記基準ベクトルと定め
    る段階をさらに備えることを特徴とする請求項19に記
    載の動き推定及びモード決定方法。
  22. 【請求項22】 前記第2マクロブロックと重畳される
    前記第1マクロブロックのモードがイントラモードの場
    合、前記モード決定段階は前記第2マクロブロックのモ
    ードタイプをイントラモードと決定することを特徴とす
    る請求項13に記載の動き推定及びモード決定方法。
  23. 【請求項23】 前記第1マクロブロックの走査方式及
    び前記第2マクロブロックの走査方式を比較・判断する
    走査方式判断段階をさらに備えることを特徴とする請求
    項13に記載の動き推定及びモード決定方法。
  24. 【請求項24】 前記第1マクロブロックの走査方式及
    び前記第2マクロブロックの走査方式が相異なると判断
    されれば、前記候補ベクトル群生成段階は前記候補ベク
    トル群を生成することを特徴とする請求項23に記載の
    動き推定及びモード決定方法。
JP2002263307A 2002-01-02 2002-09-09 動き推定及びモード決定装置並びにその方法 Expired - Fee Related JP3908633B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2002-000110 2002-01-02
KR10-2002-0000110A KR100446083B1 (ko) 2002-01-02 2002-01-02 움직임 추정 및 모드 결정 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2003209848A true JP2003209848A (ja) 2003-07-25
JP3908633B2 JP3908633B2 (ja) 2007-04-25

Family

ID=19718091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002263307A Expired - Fee Related JP3908633B2 (ja) 2002-01-02 2002-09-09 動き推定及びモード決定装置並びにその方法

Country Status (4)

Country Link
US (1) US7251279B2 (ja)
JP (1) JP3908633B2 (ja)
KR (1) KR100446083B1 (ja)
CN (1) CN1183489C (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109418A (ja) * 2004-10-02 2006-04-20 Samsung Electronics Co Ltd トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
JP2008167449A (ja) * 2006-12-28 2008-07-17 Samsung Electronics Co Ltd 映像の符号化、復号化方法及び装置
JP2009532741A (ja) * 2006-04-03 2009-09-10 クゥアルコム・インコーポレイテッド 顕微鏡スライド自動読み取りシステム
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1395061A1 (en) * 2002-08-27 2004-03-03 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for compensation of erroneous motion vectors in video data
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 B-픽처의 움직임 보상 모드 결정방법 및 장치
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
KR101044934B1 (ko) * 2003-12-18 2011-06-28 삼성전자주식회사 움직임 벡터 추정방법 및 부호화 모드 결정방법
EP1592249B1 (en) * 2004-04-30 2007-06-13 Matsushita Electric Industrial Co., Ltd. Reverse film mode extrapolation
US20060088105A1 (en) * 2004-10-27 2006-04-27 Bo Shen Method and system for generating multiple transcoded outputs based on a single input
KR100727989B1 (ko) * 2005-10-01 2007-06-14 삼성전자주식회사 동영상 부호화시의 인터 모드 결정 방법 및 장치
DE102005049017B4 (de) * 2005-10-11 2010-09-23 Carl Zeiss Imaging Solutions Gmbh Verfahren zur Segmentierung in einem n-dimensionalen Merkmalsraum und Verfahren zur Klassifikation auf Grundlage von geometrischen Eigenschaften segmentierter Objekte in einem n-dimensionalen Datenraum
US8085849B1 (en) * 2006-11-03 2011-12-27 Keystream Corporation Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks
US8208745B2 (en) * 2008-01-31 2012-06-26 Analog Devices, Inc. Spatial domain video enhancement/scaling system and method
KR101543301B1 (ko) * 2008-10-15 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
EP2378776B1 (en) * 2009-01-15 2018-03-21 Renesas Electronics Corporation Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder
KR101348613B1 (ko) * 2009-12-23 2014-01-10 한국전자통신연구원 영상의 부호화/복호화 장치 및 그 방법
WO2011093688A2 (ko) * 2010-02-01 2011-08-04 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8498334B1 (en) * 2010-02-03 2013-07-30 Imagination Technologies Limited Method and system for staggered parallelized video decoding
CN107483928B (zh) 2011-09-09 2020-05-12 株式会社Kt 用于解码视频信号的方法
TWI499283B (zh) * 2012-07-05 2015-09-01 Ind Tech Res Inst 視訊壓縮方法與視訊壓縮裝置
JP2014225718A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 画像処理装置および画像処理方法
CN104980737B (zh) * 2014-04-01 2018-04-13 扬智科技股份有限公司 帧间模式选择方法
KR102195663B1 (ko) 2020-08-27 2020-12-28 백기선 귀걸이 끈 없는 목걸이용 끈 조절 마스크
CN114422793B (zh) * 2022-01-14 2025-03-21 稿定(厦门)科技有限公司 计算视频帧中的目标宏块的运动向量的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
KR0128859B1 (ko) * 1993-08-20 1998-04-10 배순훈 적응적인 영상부호화 제어장치
KR100266708B1 (ko) * 1997-10-16 2000-09-15 전주범 양방향 예측 픽쳐의 조건부 보충 부호화 방법
DE69803195T2 (de) * 1997-11-27 2002-08-29 British Telecommunications P.L.C., London Codeumsetzung
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
WO2001006793A1 (en) * 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Drift-free transcoder and related method
US6671319B1 (en) * 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
KR100364748B1 (ko) * 2001-01-05 2002-12-16 엘지전자 주식회사 영상 변환 부호화 장치
KR100460950B1 (ko) * 2001-12-18 2004-12-09 삼성전자주식회사 트랜스코더 및 트랜스코딩 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109418A (ja) * 2004-10-02 2006-04-20 Samsung Electronics Co Ltd トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing
US9071822B2 (en) 2005-09-27 2015-06-30 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US9088776B2 (en) 2005-09-27 2015-07-21 Qualcomm Incorporated Scalability techniques based on content information
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
JP2009532741A (ja) * 2006-04-03 2009-09-10 クゥアルコム・インコーポレイテッド 顕微鏡スライド自動読み取りシステム
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
JP2008167449A (ja) * 2006-12-28 2008-07-17 Samsung Electronics Co Ltd 映像の符号化、復号化方法及び装置

Also Published As

Publication number Publication date
CN1430182A (zh) 2003-07-16
JP3908633B2 (ja) 2007-04-25
CN1183489C (zh) 2005-01-05
US20030123547A1 (en) 2003-07-03
KR20030058873A (ko) 2003-07-07
US7251279B2 (en) 2007-07-31
KR100446083B1 (ko) 2004-08-30

Similar Documents

Publication Publication Date Title
JP3908633B2 (ja) 動き推定及びモード決定装置並びにその方法
US7426308B2 (en) Intraframe and interframe interlace coding and decoding
US8687697B2 (en) Coding of motion vector information
EP1528812B1 (en) Predicting motion vectors for fields forward-predicted interlaced video frames
US7609763B2 (en) Advanced bi-directional predictive coding of video frames
EP2677753B1 (en) Method for decoding motion vectors
CN110786013B (zh) 用于运动向量细化的搜索区域
US8514939B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
Wee et al. Field-to-frame transcoding with spatial and temporal downsampling
JP2002125236A (ja) 動きベクトル変換方法及び変換装置
US7839933B2 (en) Adaptive vertical macroblock alignment for mixed frame video sequences
JP3649370B2 (ja) 動き補償符号化装置及び動き補償符号化方法
KR20040070490A (ko) 비월 주사 방식의 동영상 부호화/복호화 방법 및 그 장치
US8098946B2 (en) Apparatus and method for image encoding and decoding using prediction
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
CN119299690A (zh) 用于解码图像的方法及其装置
JP2868445B2 (ja) 動画像圧縮方法および装置
JP2002044669A (ja) 画像情報変換装置及び方法
JP2002218468A (ja) 動きベクトル変換装置及び動きベクトル変換方法
Golin Fast Transcoding of Compressed Bitstreams by Reusing Incoming Motion Vectors
HK1155017B (en) Predicting motion vectors for fields of forward-predicted interlaced video frames
HK1155017A (en) Predicting motion vectors for fields of forward-predicted interlaced video frames

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060830

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070118

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120126

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130126

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees